JPH09231369A

JPH09231369A - 画像情報入力装置

Info

Publication number: JPH09231369A
Application number: JP8057057A
Authority: JP
Inventors: Katsumi Iijima; 克己飯島; Katsuhiko Mori; 克彦森; Motohiro Ishikawa; 基博石川; Sunao Kurahashi; 直倉橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-02-21
Filing date: 1996-02-21
Publication date: 1997-09-05

Abstract

(57)【要約】【課題】被写体を目的とする画像形態に変換するため
の処理に柔軟に対応可能な奥行き情報を得ることができ
る画像情報入力装置を提供する。【解決手段】奥行き情報抽出処理＃１では、分離処理
が行われ、この分離処理によって、カメラヘッド１の撮
像基準点を示す主点１１１０で撮像された画像は背景１
１０２と被写体１１０１とが分離された背景分離画像１
１００になる。各線分１１３０〜１１３４によってボク
セル空間１１２０に対する主被写体の存在確率の投票が
行われる。この投票する行為は、この線分１１３０〜１
１４０より内側部分は被写体であるとし、例えば「１」
を積算していく行為であり、線分１１３０〜１１４０よ
り内側部分がボクセル空間内部に存在すれば、「１」の
加算が行われる。このように、被写体の輪郭から主点を
通る複数の線分による投票すなわち積算処理が行われ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、任意の位置から撮
像した被写体像に基づきその被写体の奥行き情報を抽出
する画像情報入力装置に関する。

【０００２】

【従来の技術】従来、物体の三次元形状を求める技術と
しては、大別して受動的手法と能動的手法とがある。

【０００３】受動的手法の代表的なものとして、２台の
カメラを用いて三角測量を行うステレオ画像法があり、
このステレオ画像法では、左右の画像から同じものが写
し出されている場所を探索し、その場所を示す位置のず
れ量から被写体の三次元位置を計測する。

【０００４】これに対し、能動的手法の代表的なものと
しては、被写体に対し所定位置から光を投影し、被写体
からの反射光がその所定位置に戻るまでの時間を計測
し、その計測した時間から被写体までの距離を求める手
法があり、この手法は光レーダ型のレンジファインダー
などに適用されている。

【０００５】また、被写体に対しスリット状の光パター
ンを投影し、その被写体に写るパターン形状の変位から
その被写体の三次元形状を測定するスリット光投影法な
どがある。

【０００６】これらの方法で得られた被写体の三次元デ
ータから被写体を任意の視点から見た場合における被写
体像を生成し、その被写体上を２次元のディスプレイな
どに表示するなど、上述の物体の三次元形状を求める技
術は、画像処理分野で広く用いられている。

【０００７】近年、パーソナルコンピュータの普及およ
びその急速な性能向上に伴い、パーソナルコンピュータ
によって、電子カメラで撮像した画像を取り込み、その
画像編集を行うことが可能なアプリケーションソフトが
出現している。例えば、電子カメラで風景を複数の画像
に分けて撮影するとすると、この複数の画像はパーソナ
ルコンピュータに取り込まれ、パーソナルコンピュータ
では、アプリケーションソフトを起動することによっ
て、その取り込まれた画像に対しその画像の編集などの
処理を施すなど、取り込まれた画像をある限定された範
囲で処理することが可能である。

【０００８】

【発明が解決しようとする課題】しかし、上述のステレ
オ画像法においては、カメラが設置されている特定位置
からの距離情報算出が主目的であり、被写体の立体形状
そのものを直接計測することを目的としていない。

【０００９】また、能動的手法では、被写体に対する投
影を、レーザ光などを被写体に照射することによって行
うから、その利用において煩雑な作業が必要である。

【００１０】さらに、受動的手法、能動的手法のいずれ
かを、ある物体をその周囲を移動しながら撮像するよう
な動的な撮像方式に適用することにより、その物体に対
する奥行き情報を抽出する方法があるが、その方法によ
っては、画像処理に柔軟に対応可能な奥行き情報を抽出
することはできない。

【００１１】さらに、処理された画像は２次元ディスプ
レイまたは紙などに出力されることが多く、またその画
像形態は自然画である場合、被写体を輪郭線で表す線画
である場合などの各種形態の場合からなる。すなわち、
上述の手法などで得られた距離情報などに基づき被写体
形状を２次元ディスプレイまたは紙などに忠実に出力す
ることに主眼がおかれているから、一般的には、被写体
の三次元データを様々な側面から加工するための画像処
理に柔軟に対応可能な奥行き情報の抽出は行われておら
ず、柔軟に対応可能な奥行き情報が必要とされる画像形
態へ被写体を変換することは行われていない。

【００１２】一方、電子カメラで撮像した画像を取り込
み、その画像編集を行うことが可能なアプリケーション
ソフトは出現しているが、アプリケーションソフトで
は、被写体の三次元データを様々な側面から加工するた
めの画像処理に柔軟に対応可能な奥行き情報が得られな
いから、その取り込まれた画像に対する処理内容が制限
され、被写体を目的とする画像形態に変換することはで
きない。

【００１３】本発明の目的は、被写体を目的とする画像
形態に変換するための処理に柔軟に対応可能な奥行き情
報を得ることができる画像情報入力装置を提供すること
にある。

【００１４】

【課題を解決するための手段】請求項１記載の発明は、
少なくとも１つの光学系を介して被写体を撮像し、その
被写体像を出力する撮像手段と、前記撮像手段で任意の
位置から撮像した被写体像に基づきその被写体の奥行き
情報を抽出する奥行き情報抽出手段とを備える画像情報
入力装置において、前記奥行き情報抽出手段は、複数視
点から撮像された被写体像の境界部から奥行き情報をボ
クセル空間上に求めるための処理をし、その処理によっ
て得られたボクセル空間上に存在する前記被写体像の割
合を積算し、その積算結果に応じて前記奥行き情報を抽
出することを特徴とする。

【００１５】請求項２記載の発明は、請求項１記載の画
像情報入力装置において、前記奥行き情報抽出手段は、
前記ボクセル空間上に存在する前記被写体像の割合の積
算を、前記各視点からの存在確率を積算することによっ
て行い、その積算結果の内設定された閾値を超えたもの
を前記奥行き情報として抽出することを特徴とする。

【００１６】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて図を参照しながら説明する。

【００１７】（実施の第１形態）図１は本発明の画像情
報入力装置の実施の第１形態の構成を示すブロック図で
ある。

【００１８】画像情報入力装置は、図１に示すように、
被写体を撮像するカメラヘッド１を備える。本例では、
カメラヘッド１は、背面３を背景とする検出物（被写
体）２を撮像する。

【００１９】カメラヘッド１は、左右に設けられている
撮像レンズ１００Ｌ，１００Ｒと、撮像レンズ１００Ｌ
と撮像レンズ１００Ｒとの間に配置されている照明部２
００とを有する。

【００２０】撮像レンズ１００Ｌは装置側からみて左側
に、撮像レンズ１００Ｒは装置側からみて右側にそれぞ
れ配置されている。撮像レンズ１００Ｌによる撮像範囲
は、図中の１０Ｌで表される範囲からなり、撮像レンズ
１００Ｒによる撮像範囲は、図中の１０Ｒで表される範
囲からなる。カメラヘッド１は、各撮像レンズ１００
Ｌ，１００Ｒを介して捕らえられた被写体をＣＣＤから
なる撮像素子（図示せず）に結像し、ＣＣＤは被写体像
を光電変換によって対応する電気信号に変換し、この電
気信号はアナログ・デジタル変換によってデジタル信号
の画像データに変換される。

【００２１】カメラヘッド１の姿勢および位置は、カメ
ラ姿勢位置検知部４で検知される。カメラ姿勢位置検知
部４は、ジャイロなどのセンサからの検出信号に基づき
角度情報を算出する手段と、背面３から得られる情報に
基づき画像処理を行うことによって姿勢位置情報を算出
する手段とを有し、これらの手段によってカメラヘッド
１の姿勢、位置を検出する。本実施の形態では、カメラ
ヘッド１はＡ０−Ａｎ間の位置を撮像位置として移動さ
れ、そのカメラヘッド１の位置はカメラ姿勢位置検知部
４で検知される。

【００２２】カメラヘッド１で得られた画像データおよ
びそれに対応するカメラ姿勢位置検知部４で得られた姿
勢位置情報は、各画像メモリ５ａ，５ｂの一方に対応付
けられて格納される。画像メモリ５ａ，５ｂに格納され
た画像データおよびそれに対応する姿勢位置情報は、奥
行き情報演算部６に与えられる。

【００２３】奥行き情報演算部６は、画像データとそれ
に対応する姿勢位置情報に基づき演算を行い、この演算
によって被写体の立体形状を規定する３次元画像データ
（奥行き情報）を算出する。

【００２４】この算出された３次元画像データは２次元
画像データ演算部７に与えらえ、２次元画像データ演算
部７は、３次元画像データに基づき使用者が指定する画
像形態および指定された視点から見ることを条件に被写
体の２次元画像データを算出する。この算出された被写
体の２次元画像データからは、使用者が指定する画像形
態でかつ指定された視点から見た２次元画像が得られる
ことになる。この画像形態の指定および視点の指定は操
作手段１１から行われ、この視点は任意の位置に指定す
ることが可能である。

【００２５】２次元画像データ演算部７は、カメラヘッ
ド１、カメラ姿勢位置検知部４、各画像メモリ５ａ，５
ｂ、奥行き情報演算部６と共働して画像情報入力装置を
構成する。

【００２６】２次元画像データ演算部７で算出された２
次元画像データは、操作手段１１、データ合成手段１０
００またはプリンタ９に供給される。

【００２７】データ合成手段１０００は、操作手段１１
の指示に基づき文章データ作成手段１００１が作成した
文章に供給された２次元画像データが示す画像をはめ込
むための合成処理を行い、その合成処理の結果は操作手
段１１を介してモニタ８に表示される。

【００２８】プリンタ９は操作手段１１に指示に基づき
供給された２次元画像データが示す画像を印刷するとと
もに、操作手段１１を介して供給された画像合成文章を
印刷する。

【００２９】操作手段１１は、上述した条件などの設定
を行うとともに、データ合成手段１０００およびプリン
タ９への指示、供給された２次元画像データが示す画
像、供給された画像合成文章のモニタ８への表示などを
行う。

【００３０】本画像情報入力装置による撮影動作につい
て説明する。

【００３１】まず、カメラヘッド１が、その初期位置と
して例えばＡ０の位置において検出物２に向けられる。
次いで、使用者によってレリーズボタン（図示せず）が
操作され、位置Ａ０において検出物２の撮影が行われ
る。

【００３２】位置Ａ０における撮影が終了すると、カメ
ラヘッド１は検出物２を中心に順次位置Ａ０から位置Ａ
ｎに向けて所定の移量角度量で円弧上を移動される。カ
メラ姿勢位置検知部４がカメラヘッド１の所定角度量の
移動を検出すると、次の撮影が行われ、以降順に位置Ａ
ｎまでの撮影が行われる。例えば、Ａ０〜Ａｎ間が１８
０度で３度の移動ピッチで撮影が順に行われると、６０
個の画像データが得られることになる。

【００３３】この移動角度量の設定は、カメラ姿勢位置
検知部４のジャイロなどのセンサの検知性能および求め
たい奥行き情報の分解能から決定される。例えば、ジャ
イロの検出能力が９０度／ｓｅｃであるとき、移動角度
量として３度／フレーム速度に設定される。

【００３４】この撮影中、画像データとその撮影位置お
よび方向に対する変位量とは、対応付けて画像メモリ５
ａ，５ｂに格納される。また、カメラヘッド１の位置お
よび方向の少なくとも一方が所定より大きく移動する
と、警告手段（図示せず）から警告が発せられる。さら
に、検出物２の奥行き情報の演算に対し十分な画像デー
タが得られると、撮影終了報知手段（図示せず）で十分
な画像データが得られた旨が使用者に通知され、使用者
はその通知に基づき撮影を終了する。

【００３５】撮影が終了すると、画像メモリ５ａ，５ｂ
に格納された画像データおよびそれに対応する姿勢位置
情報は奥行き情報演算部６に与えら、奥行き情報演算部
６は、画像データとそれに対応する姿勢位置情報に基づ
き演算を行い、この演算によって被写体の立体形状を規
定する３次元画像データ（奥行き情報）が算出される。

【００３６】この算出された３次元画像データは２次元
画像データ演算部７に与えらえ、２次元画像データ演算
部７は、３次元画像データに基づき使用者が指定する画
像形態および指定された視点から見ることを条件に被写
体の２次元画像データを算出する。この算出された被写
体の２次元画像データからは、使用者が指定する画像形
態でかつ指定された視点から見た２次元画像が得られ、
この得られた２次元画像はモニタ８に表示される。この
画像形態および視点の変更が操作手段１１から行われる
と、変更した画像形態でかつ視点から見た２次元画像が
得られる。

【００３７】次に、画像情報入力装置の詳細な構成につ
いて図２ないし図４を参照しながら説明する。図２およ
び図３は図１の画像情報入力装置の詳細な構成を示すブ
ロック図、図４は図２のシステムコントローラの構成を
示すブロック図である。

【００３８】カメラヘッド１は、図２および図３に示す
ように、左右撮像レンズ１００Ｌ，１００Ｒに対しほぼ
対象に構成されている。

【００３９】撮像レンズ１００Ｌは、図２に示すよう
に、ズーム機構（図示せず）およびオートフォーカス機
構（図示せず）を有し、ズーム機構はズーム制御部１０
６Ｌで、オートフォーカス機構はフォーカス制御部１０
７Ｌでそれぞれ駆動、制御される。

【００４０】撮像レンズ１００Ｌの後方には光量を調節
するための絞り１０１Ｌが配置され、絞り１０１Ｌの絞
り量は絞り制御部１０８Ｌで駆動、制御される。

【００４１】光量が調節された被写体像はイメージセン
サ（ＣＣＤ）１０２Ｌに結像され、イメージセンサ１０
２Ｌは光電変換によって被写体像を対応する電気信号に
変換する。イメージセンサ１０２Ｌはイメージセンサド
ライバ１２０Ｌで駆動、制御される。

【００４２】イメージセンサ１０２Ｌの電気信号はＡ／
Ｄ変換部１０３Ｌでデジタル信号に変換され、このデジ
タル信号は各メモリ８３，８５に格納される。

【００４３】撮像レンズ１００Ｒは、撮像レンズ１００
Ｌと同様に、ズーム機構（図示せず）およびオートフォ
ーカス機構（図示せず）を有し、ズーム機構はズーム制
御部１０６Ｒで、オートフォーカス機構はフォーカス制
御部１０７Ｒでそれぞれ駆動、制御される。

【００４４】撮像レンズ１００Ｒの後方には光量を調節
するための絞り１０１Ｒが配置され、絞り１０１Ｒの絞
り量は絞り制御部１０８Ｒで駆動、制御される。

【００４５】光量が調節された被写体像はイメージセン
サ（ＣＣＤ）１０２Ｒに結像され、イメージセンサ１０
２Ｒは光電変換によって被写体像を対応する電気信号に
変換する。イメージセンサ１０２Ｒはイメージセンサド
ライバ１２０Ｒで駆動、制御される。

【００４６】イメージセンサ１０２Ｒの電気信号はＡ／
Ｄ変換部１０３Ｒでデジタル信号に変換され、このデジ
タル信号は各メモリ７３，７５に格納される。

【００４７】ズーム制御部１０６Ｌ、フォーカス制御部
１０７Ｌ、絞り制御部１０８Ｌ、イメージセンサドライ
バ１２０Ｌ、ズーム制御部１０６Ｒ、フォーカス制御部
１０７Ｒ、絞り制御部１０８Ｒ、イメージセンサドライ
バ１２０Ｒにはシステムコントローラ２１０から制御内
容を示す指示が与えられる。

【００４８】システムコントローラ２１０は、照明２０
０を駆動制御するとともに、カメラ姿勢位置検知部４か
ら姿勢位置情報を監視し、上述した警告音を発するため
の発音体９７の駆動を制御する。発音体９７は、警告音
とともに、システムコントローラ２１０からの指示に基
づき撮影終了通知の旨を示す撮影終了通知音を発する。
発音体９７は、上述の警告手段と撮影終了報知手段とを
構成する。

【００４９】各メモリ８３、８５に格納されている画像
データは、図３に示すように、映像信号処理部１０４Ｌ
およびオーバラップ検出部９２に与えられる。

【００５０】映像信号処理部１０４Ｌは、各メモリ８
３，８５のデジタル信号を適正な形態の輝度信号および
色信号に変換するための変換処理を行う。映像信号処理
部１０４Ｌの輝度信号および色信号は、被写体分離部１
０５Ｌおよび表示部２４０に与えられる。

【００５１】被写体分離部１０５Ｌは、映像信号処理部
１０４Ｌの輝度信号および色信号から奥行き情報の計測
対象となる主被写体とその背景とを分離する。この分離
方法としては、例えば、予め背面の映像を撮像し、その
画像をメモリに保持した後に、計測対象となる主被写体
をその背景とともに撮像し、撮像した映像と予めメモリ
に格納している背面の映像とのマッチングおよび差分処
理を施し、背面領域を分離する方法が用いられる。この
方法に代えて、色またはテクスチャの情報に基づき主被
写体とその背景とを分離する方法を用いることもでき
る。なお、本実施の形態では、主被写体として検出物２
が背面３から分離される。

【００５２】被写体分離部１０５Ｌで背景と分離された
主被写体の画像は、画像処理部２２０および合焦検出部
２７０に与えられる。

【００５３】同様に、各メモリ７３、７５に格納されて
いる画像データは、映像信号処理部１０４Ｒおよびオー
バラップ検出部９２に与えられる。

【００５４】映像信号処理部１０４Ｒは、各メモリ７
３，７５のデジタル信号を適正な形態の輝度信号および
色信号に変換するための変換処理を行う。映像信号処理
部１０４Ｒの輝度信号および色信号は、被写体分離部１
０５Ｒおよび表示部２４０に与えられる。

【００５５】被写体分離部１０５Ｒは、映像信号処理部
１０４Ｒの輝度信号および色信号から奥行き情報の計測
対象となる主被写体とその背景とを分離する。この分離
方法としては、上述した方法と同じ方法である。

【００５６】被写体分離部１０５Ｒで背景と分離された
主被写体の画像データは、画像処理部２２０および合焦
検出部２７０に与えられる。

【００５７】オーバーラップ検出部９２は、各撮像レン
ズ１００Ｌ，１００Ｒで捕らえられた各画像データに基
づき各撮像レンズ１００Ｌ，１００Ｒで捕らえられた被
写体の重りの程度を検出し、その検出結果情報はシステ
ムコントローラ２１０（図２に示す）に与えられる。

【００５８】画像処理部２２０は、各撮像レンズ１００
Ｌ，１００Ｒで捕らえられた各主被写体の画像データに
基づき被写体の奥行き情報を抽出するとともに、その抽
出した各撮像地点における被写体の奥行き情報をカメラ
姿勢位置検知部４から得られる姿勢位置情報に基づき統
合し、出力する。この奥行き情報の抽出およびその統合
については後述する。なお、この画像処理部２２０に
は、図１に示す、画像メモリ５ａ，５ｂ、奥行き情報演
算部６、２次元画像データ演算部７が含まれている。画
像処理部２２０で抽出された奥行き情報は、記録部２５
０に記録される。

【００５９】表示部２４０は、各撮像レンズ１００Ｌ，
１００Ｒで捕らえられた被写体画像を表示する。

【００６０】合焦検出部２７０は、各主被写体の画像デ
ータに基づき演算を行い、その演算によって各撮像レン
ズ１００Ｌ，１００Ｒにおける焦点距離情報を求める。
この求められた各撮像レンズ１００Ｌ，１００Ｒにおけ
る焦点距離情報は、システムコントローラ２１０に与え
られる。

【００６１】システムコントローラ２１０には、オーバ
ラップ検出部９２、映像信号処理部１０４Ｌ，１０４
Ｒ、被写体分離部１０５Ｌ，１０５Ｒ、画像処理部２２
０、れリーズボタン２３０、合焦検出部２７０および外
部入力Ｉ／Ｆ７６０が接続され、これらのブロック間の
情報の転送制御、動作制御を行う。

【００６２】外部入力Ｉ／Ｆ７６０はコンピュータなど
の外部装置に接続され、外部装置からの設定指示が外部
入力Ｉ／Ｆ７６０を介してシステムコントローラ２１０
に与えられる。

【００６３】システムコントローラ２１０は、図４に示
すように、マイクロコンピュータ９００、メモリ９１
０、および画像演算処理部９２０から構成されている。

【００６４】次に、本画像情報入力装置における奥行き
情報の抽出動作について図を参照しながら説明する。

【００６５】まず、画像処理部２２０（図３に示す）に
おける奥行き情報の抽出処理について詳細に説明する。

【００６６】画像処理部２２０は、各撮像レンズ１００
Ｌ，１００Ｒで捕らえられた各主被写体の撮像時の各パ
ラメータに基づき各主被写体に対する奥行き情報の抽出
処理（奥行き情報抽出処理＃１という）と、奥行き情報
の計測対象となる各主被写体の輝度信号および色信号に
基づき視差を求め、この求められた視差から奥行き情報
を抽出する抽出処理（奥行き情報抽出処理＃２という）
とを行い、処理＃１による奥行き情報と処理＃２による
奥行き情報とを組み合わせて全体の奥行き情報を求め
る。

【００６７】また、焦点距離の設定は、距離情報に基づ
き設定される。この焦点距離と距離情報との関係は次の
（１）式で表される。

【００６８】

【数１】この式中のｒは距離、ｆは焦点距離、ｂは基線長、ｄは
視差をそれぞれ示す。

【００６９】ここで、視差により決定される距離分解能
をパラメータとすると、次の（２），（３）式から焦点
距離ｆが算出される。

【００７０】

【数２】

【００７１】

【数３】よって、外部入力Ｉ／Ｆ７６０を介してコンピュータな
どから分解能を設定し、この分解能の値に基づき焦点距
離ｆを設定することも可能である。

【００７２】次に、奥行き情報抽出処理＃１について図
５ないし図９を参照しながら説明する。図５は極座標ボ
クセル空間を用いた奥行き情報抽出処理を概念的に示す
図、図６は多視点の輪郭画像から奥行き情報を抽出する
手法を概念的に示す図、図７は８視点の輪郭画像に対す
る投票処理を様子を概念的に示す図、図８は図７の投票
処理による得票状況を示す図である。

【００７３】奥行き情報抽出処理＃１には、ボクセル空
間座標系において、背景と分離された主被写体の画像か
ら奥行き情報を抽出する手法が用いられる。この手法で
は、まず、被写体分離部１０５Ｌ，１０５Ｒで、映像信
号処理部１０４Ｌ，１０４Ｒの輝度信号および色信号か
ら奥行き情報の計測対象となる主被写体とその背景とが
分離される。

【００７４】この分離処理によって、図５に示すよう
に、カメラヘッド１の撮像基準点を示す主点１１１０で
撮像された画像は背景１１０２と被写体１１０１とが分
離された背景分離画像１１００になる。この分離方法は
上述した方法であり、分離後の主被写体には奥行き計測
対象の被写体であることを示すフラグ「１」が、背景１
１０２にはフラグ「０」がそれぞれセットされ、これに
よって背景分離画像１１００が得られる。この背景１１
０２と分離された被写体１１０１の輪郭からは主点１１
１０を通る複数の線分１１３０〜１１３４が極座標で表
されるボクセル空間１１２０に向けて伸ばされる。

【００７５】各線分１１３０〜１１３４によってボクセ
ル空間１１２０に対する主被写体の存在確率の投票が行
われる。この投票する行為は、この線分１１３０〜１１
４０より内側部分は被写体であるとし、例えば「１」を
積算していく行為であり、線分１１３０〜１１４０より
内側部分がボクセル空間内部に存在すれば、「１」の加
算が行われる。

【００７６】次に、主点を変えながら、上述したよう
に、被写体の輪郭からは主点を通る複数の線分による投
票すなわち積算処理が行われる。本実施の形態では、カ
メラヘッド１は被写体を中心に順次位置Ａ０から位置Ａ
ｎに向けて所定の移量角度量で円弧上に沿って移動する
ものとし、そのカメラヘッド１の移動断面を見ながら本
処理の説明を行う。

【００７７】例えば、図６（ａ）に示すように、カメラ
ヘッド１が主点をすなわち視点を順に位置１２００〜１
２０３に変えながら撮影することによってセンサ面１２
４０〜１２４３に得られた各被写体毎にその輪郭から各
主点１２００〜１２０３を経てボクセル空間１２１０に
向けて伸びる境界線１２２０〜１２２７が引かれ、その
各境界線１２２０〜１２２７の内側部分を被写体とする
投票によって最高得票領域として領域１２３０が得られ
る。

【００７８】この多視点からの被写体を用いることによ
って、ボクセル空間１２１０上には被写体の抽出結果と
してａｂｃｄｅｆｇｈで囲まれる領域１２３０が得られ
る。

【００７９】この得られた領域１２３０は、図６（ｂ）
に示すように、真の被写体形状１２３１を含む形状にな
り、さらに視点を増すことにより、ボクセル空間上に得
られる形状は真の被写体形状に近く付くことが分かる。

【００８０】上述の説明では、処理をカメラヘッド１の
移動が２次元平面に沿って行われるものとしてしている
が、この処理を３次元的に行う場合には、例えば図７に
示すように、ボクセル空間側の位置（Ｘ，Ｙ，Ｚ）から
逆に主点を通る線分を計算し、その線分の画像に対する
投影位置を計算し、その投影位置に対する画像のフラグ
を参照して背景を示すか被写体を示すかを判断すること
により、ボクセル空間上に被写体に対する領域が得られ
る。この操作はボクセル空間の原点（０，０，０）から
（Ｘ０，Ｙ０，Ｚ０）まで繰り返し行われる。

【００８１】ここで、投影される点を（ｘ，ｙ）とする
と、ｘ，ｙは次の（４），（５），（６）式から求めら
れる。

【００８２】

【数４】

【００８３】

【数５】

【００８４】

【数６】ただし、（ａ，ｂ，ｃ）は主点１１１０の座標を示す。

【００８５】その投影位置（ｘ，ｙ）が背景領域か被写
体領域かの判断は、その投影位置のフラグを参照するこ
とによって行われるが、ｘ，ｙが整数値でないときに
は、近傍領域のフラグから背景領域か被写体領域かの判
断を行う。すなわち、フラグデータに基づきボクセルデ
ータが被写体内にあるかないかの判断が行われ、被写体
内にあるときには、得票を「１」加算する。

【００８６】このようにボクセル空間側から画像に向け
て線分を引く操作を主点を変えながら繰り返し行うこと
によって、被写体の奥行き情報がボクセル空間上に得票
として表現される。

【００８７】なお、上述の例では、得票結果から最高得
票部のみを奥行き情報の抽出結果としているが、予め所
定の閾値を設定し、その閾値以上の投票結果を奥行き情
報として組み入れるようにする方法を用いることもでき
る。この方法では、誤差の軽減を図ることができる。そ
の理由としては、この投票処理に類似した処理として被
写体の境界部（輪郭部）を用いてボクセル空間を切り出
す処理があり、この処理による切出し後の結果、最高得
票部領域と同じ領域が得られるが、境界によって切り出
される位置が内側になりすぎるなどの切り過ぎが生じる
ことがある。これに対し、予め所定の閾値を設定する方
法では、最高得票、次点、さらにその次点を取り込む事
が可能になり、切り過ぎなどに起因する誤差の発生を極
力少なく抑制することができる。

【００８８】次に、円柱形状の被写体に対する、図６
（ｂ）に示す処理と同様の投票処理について図７および
図８を参照しながら説明する。なお、本７図では、８視
点からの投票状態の結果を２次元的に示し、センサ断
面、境界線などは省略している。

【００８９】この円柱形状の被写体に対する投票状態
は、図７に示すように、直交座標系におけるボクセル空
間の一部５２１０上に得票を示す程度が階調によって２
次元的に表示されている。本図中において、黒は得票
「０」を示し、白に向けて階調が上がるほど得票が高い
なり、最大得票部は白で表されている。

【００９０】この投票結果を３次元的に表すと、図８に
示すように、横軸をボクセル空間の断面の座標を示す軸
として、縦軸に得票数が表されている。本図では、最高
得票数が８票、次点が７票などとなり、本図から明らか
なように、得票数が高い部分ほど被写体の正しい形状に
近いことが分かる。なお、上述したように、誤差を軽減
するために、予め設定された閾値を７票とし、この７票
以上の部分が奥行き情報として抽出される。

【００９１】次に、ステレオ画像からの奥行き情報抽出
処理について図９ないし図１１を参照しながら説明す
る。図９は輪郭画像から奥行き情報を抽出する処理過程
を示す図、図１０は点プレートマッチングを示す図、図
１１はステレオ画像からの奥行き情報の算出を概略的に
示す図である。

【００９２】まず、ステレオ画像から奥行き情報を抽出
する処理手順について図９を参照しながら説明する。

【００９３】図９を参照するに、画像メモリに格納され
ている、Ｒ画像１１０Ｒ（以下、画像１１０Ｒという）
と共働してステレオ画像を構成するＬ画像１１０Ｌ（以
下、画像１１０Ｌという）は、エッジ抽出部１１１Ｌ、
特徴点抽出部１１７Ｌ、ステレオ画像対応点抽出部１１
２に与えられる。同様に、画像１１０Ｒは、エッジ抽出
部１１１Ｒ、特徴点抽出部１１７Ｒ、ステレオ画像対応
点抽出部１１２に与えられる。

【００９４】各エッジ抽出部１１１Ｌ，１１１Ｒは、対
応する画像からエッジを抽出した画像を生成する。特徴
点抽出部１１７Ｌ，１１７Ｒは、背面部の特徴を同定す
る処理を行う。ステレオ画像対応点抽出部１１２は、各
画像の画素の対応関係を抽出する処理を行う。

【００９５】各エッジ抽出部１１１Ｌ，１１１Ｒで生成
された画像はエッジ画像対応点抽出部１１３に与えら
れ、エッジ画像対応点抽出部１１３は各画像の画素の対
応関係を抽出する処理を行い、この処理では、各画像の
輝度値からそれぞれの画素の対応関係を抽出する。

【００９６】エッジ画像対応点抽出部１１３で抽出され
た対応関係は、ステレオ画像対応点抽出部１１２で抽出
された対応関係とともに除去処理部１１４に与えられ
る。除去処理部１１４は、エッジ画像対応点抽出部１１
３で抽出された対応関係と、ステレオ画像対応点抽出部
１１２で抽出された対応関係との間に矛盾があるか否か
を判定し、その判定結果に応じて各対応関係間における
矛盾箇所を除去する処理を行う。この処理では、エッジ
画像対応点抽出部１１３で抽出された対応関係と、ステ
レオ画像対応点抽出部１１２で抽出された対応関係とが
一致しないとき、その対応関係は信頼性が低いとして排
除される。また、各対応関係に重み付けをして判断を行
うようすることもできる。

【００９７】除去処理部１１４の処理結果は、オクルー
ジョン領域判定処理部１１５および奥行き情報分布算出
処理部１１６に与えられる。

【００９８】オクルージョン領域判定処理部１１５は、
除去処理部１１４の処理結果から求められた対応点箇所
と、対応点を求める途中で使用している相関の程度を表
す指数、例えば残差からオクルージョン領域を判断し、
その判断結果に信頼性を付加して出力する。例えば、相
関の程度を表す指数として、相関係数または残差を用い
て、その相関係数が低いときまたはその残差が大きいと
きには、対応関係の信頼が低いと判断し、その低い部分
をオクルージョン領域または対応がない領域として取り
扱う。

【００９９】奥行き情報分布算出処理部１１６は、各対
応関係から三角測量の原理で奥行き情報分布を算出し、
その算出された奥行き情報分布は出力される。この奥行
き情報分布の算出には、後述する補正データ算出処理部
１１８からの撮影パラメータ、位置検出情報などが用い
られる。なお、この三角測量については（１）式で説明
した通りである。

【０１００】各特徴点抽出部１１７Ｌ，１１７Ｒで同定
された背面部の特徴点は補正データ算出処理部１１８に
与えられ、補正データ算出処理部１１８は撮影パラメー
タを取得するとともに、ジャイロ８８０で検出された角
度変化などの情報からカメラヘッド１の姿勢、移動関係
を取得する。この取得された撮影パラメータ、およびカ
メラヘッド１の姿勢、移動関係を含む位置検出情報は奥
行き情報分布算出処理部１１６に与えられる。

【０１０１】次に、エッジ画像対応点抽出部１１３にお
ける対応点抽出方法について図１０を参照しながら説明
する。

【０１０２】エッジ画像対応点抽出部１１３における対
応点抽出方法の代表的なものとしては、テンプレートマ
ッチング法がある。テンプレートマッチング法は、図１
０に示すように、Ｎ×Ｎ画素のテンプレート画像が左の
撮像レンズから得られた画像から切り出される。この切
り出されたＮ×Ｎ画素は右の撮像レンズから得られた画
像のＭ×Ｍ画素の入力画素内の探索領域範囲ＲＡ（以下
の（７）式で表される領域）上で動かされ、残差Ｒ
（ａ，ｂ）（以下の（８）式で求められる）が最小にな
るようにテンプレート画像の位置が求められる。この求
められた位置がＮ×Ｎのテンプレート画像の中心画素位
置とされる。

【０１０３】

【数７】

【０１０４】

【数８】次に、エッジ抽出方法について図１１を参照しながら説
明する。

【０１０５】エッジ抽出方法としては、例えばロバート
フィルタなどの手法が用いられ、またこれに代えて、ゾ
ーベルフィルタを用いることもできる。

【０１０６】ロバートフィルタを用いるとき、入力画像
ｆ（ｉ，ｊ）、出力画像ｇ（ｉ，ｊ）とすると、出力画
像ｇ（ｉ，ｊ）は次の（９）式または（１０）式から求
められる。

【０１０７】

【数９】

【０１０８】

【数１０】ゾーベルフィルタの場合、次の（１１），（１２），
（１３）式から求められる。

【０１０９】

【数１１】

【０１１０】

【数１２】

【０１１１】

【数１３】このようにして、エッジ部が強調された画像に対し２値
化処理を行うことによってエッジ成分が抽出される。な
お、２値化処理は、適当な閾値を用いて行われる。

【０１１２】以上の手法によれば、図１１に示すよう
に、○印で示す奥行き情報が得られる。なお、Ｂは基線
長を示す。

【０１１３】次に、多視点でのステレオ画像より得られ
た奥行き情報の処理について図１２を参照しながら説明
する。図１２は多視点ステレオ画像からの奥行き情報を
統合する処理の流れを示す図である。

【０１１４】多視点で撮像されたステレオ画像のそれぞ
れからは、上述の１視点のステレオ画像からの奥行き情
報抽出処理によって個々の視点の奥行き情報が抽出さ
れ、各奥行き情報を順に加えらることによって統合され
る。

【０１１５】各視点のステレオ画像から得られた奥行き
情報１２０は、図１２に示すように、対応するカメラヘ
ッドの位置方向情報１２５とともに、座標系変換手段１
２１に供給される。

【０１１６】座標系変換手段１２１は、各視点毎に得ら
れた奥行き情報を対応するカメラヘッドの位置方向情報
１２５に基づき任意の統一された座標系の情報に変換さ
れる。この統一された座標系の一例としては、極座標系
のボクセル空間が用いられる。各視点毎に得られた奥行
き情報を任意の統一された座標系の情報に変換すること
によって、後に行われる多視点の奥行き情報の統合が容
易になる。また、奥行き情報を統一された座標系の情報
に変換する方法としては、アフィン変換などを用いてオ
イラー角を同じにする方法が用いられる。

【０１１７】統一座標系の奥行き情報は、オクルージョ
ン領域情報送出手段１２３から送出されたオクルージョ
ン情報とともに、奥行き情報統合手段１２２に与えら
れ、奥行き情報統合手段１２２は、オクルージョン情報
に対応する奥行き情報を排除しながら各統一座標系の奥
行き情報を統合する処理を行う。この統合処理では、少
なくとも２つ以上の任意の位置からの被写体の奥行き情
報１２０に対し局所的なずれ情報を得、そのずれ情報に
基づき同一座標系から見た奥行き情報にするように各奥
行き情報１２０が位置する点を決めるとともに、その点
の座標間の補間を行い、さらに、少なくとも３つ以上の
複数視点で得られた各奥行き情報の内の、重複する領域
の奥行き情報を多数決する処理を行う。

【０１１８】奥行き情報統合手段１２２で統合された奥
行き情報は、オクルージョン領域情報送出手段１２３か
らのオクルージョン情報とともに表示部１２４に与えら
れ、表示部１２４は、統合された奥行き情報とオクルー
ジョン情報とを表示する。

【０１１９】次に、奥行き情報統合手段１２２の処理に
ついて図１３を参照しながら説明する。図１３は図１２
の奥行き情報統合手段１２２における多数決処理の内容
を示す図である。

【０１２０】各視点における奥行き情報として、図１３
に示すように、３つの視点における奥行き情報が得られ
たとし、その１つは△（２００００）で示す奥行き情報
であり、その奥行き情報には２００２０〜２００２２ま
での情報が含まれている。他の１つは○（２０００１）
で示す奥行き情報であり、さらに他の１つは□（２００
０２）で示す奥行き情報である。なお、本例では、簡単
化のために、奥行き情報はｒ−θの２次元座標で示さ
れ、被写体はφ軸方向に変化がないものとする。

【０１２１】現在、３視点からの奥行き情報、△（２０
０００），○（２０００１）、□（２０００２）が得ら
れており、その情報が重複領域２００１０において、複
数求められている。

【０１２２】しかし、奥行き情報２００２０〜２００２
２は他の視点から得られた情報に比して異なることがあ
る。これは、例えば被写体の表面の鏡面反射成分が強い
場合が考えられる。一般に、鏡面反射が強い場合は、そ
の輝度強度が他に比して突出していたりする。このよう
な場合では、対応点抽出処理はその強い輝度情報に影響
され、視差情報を正確に求めることができない。従っ
て、上述したように、奥行き情報２００２０〜２００２
２が他の視点から得られた情報に比して異なるような状
況が発生する。

【０１２３】奥行き情報２００２０〜２００２２の信頼
性は低いと見做され、この奥行き情報２００２０〜２０
０２２は他の視点の奥行き情報を利用して除去される。
視点が変わると、別の箇所に強い輝度成分をもたらすか
ら、この奥行き情報２００２０〜２００２２は他の場所
本例ではθ軸方向における他の場所という意味で図中外
に移動している。

【０１２４】このことから、少なくとも３視点からの奥
行き情報が重複する領域２００１０で２つ以上が同じ奥
行きを示す場合を採用し、１つだけ大きく異なる奥行き
情報は除去されることになる。本例では、奥行き情報２
００２０〜２００２２が除去される。この除去の基準に
は閾値が用いられ、この閾値を超えた奥行き情報は除去
される。

【０１２５】信頼性の低い奥行き情報２００２０〜２０
０２２が除去された後には、奥行き情報、△（２０００
０），○（２０００１）、□（２０００２）から平均を
取り、その平均した結果として☆（２０００３）で示す
奥行き情報が得られる。

【０１２６】奥行き情報は重複領域２００１０内で得ら
れるから、全体を得るために、他の３視点による重複領
域を用いてその領域の奥行き情報を得る操作が順に行わ
れ、鏡面反射成分の悪影響を取り除いた形で奥行き情報
を得ることが可能になる。

【０１２７】次に、平均処理、１つの選択処理の他に局
所的なずれを補間する処理があり、この処理について図
１４および図１５を参照しながら説明する。図１４は多
視点ステレオ画像からの奥行き情報の統合の様子を模擬
的に示す図、図１５は中間点補間方法を示す図である。
本説明では、説明の簡単化のために、３視点からの情報
を扱わずに、２視点からの情報を扱うものとする。

【０１２８】多視点ステレオ画像からの奥行き情報の統
合処理において、図１４（ａ）に示すように、１つの視
点（ｔ）で得られた奥行き情報はｒｔ（θ，φ）であ
り、次の視点（ｔ＋δｔ）で得られた奥行き情報ｒｔ＋
δｔ（θ，φ）は、図１４（ｂ）に示すように、統一さ
れた方向から見ると、ｒ´ｔ＋δｔ（θ，φ）となる。

【０１２９】次いで、図１４（ｃ）に示すように、奥行
き情報ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，φ）とがぞ
れぞれ局所的に（ｉ０，ｊ０）ずれていると、図１４
（ｄ）に示すように、ずれ（ｉ０，ｊ０）分の移動によ
って奥行き情報ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，
φ）とはほぼ重ね合わされた状態になる。

【０１３０】カメラ姿勢位置検知部（図１に示す）が非
常に高精度であり、ステレオ画像からの奥行き抽出精度
も高精度であるとき、局所的ずれ（ｉ０，ｊ０）は小さ
い値となる。また、既に鏡面反射成分の悪影響は除去さ
れている。

【０１３１】上述のずれ量は次の（１４）式に基づき算
出される。

【０１３２】

【数１４】この式中のＱの内、最小のＱを与える（ｉ０，ｊ０）が
導き出され、その（ｉ０，ｊ０）をずれ量として奥行き
情報が移動され、例えば図１４（ｄ）に示すように奥行
き情報ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，φ）とがほ
ぼ重ね合わされる。

【０１３３】この重ね合わせが行われた後に、同一点が
存在すれば、その同一点の排除が行われるとともに、中
間点の補間が行われる。

【０１３４】この同一点の排除では、同一点と判断され
た点の中の１つを取り出し、他の点を排除する。よっ
て、情報量の削減が図られる。この同一点であるか否か
の判断は、次の（１５）式または（１６）式で示す関係
を満足するか否かによって行われる。

【０１３５】

【数１５】

【０１３６】

【数１６】ただし、ε１，ε２は基準値、ａ，ｂ，ｃ，ｄは適当に
選択された係数である。例えば、ｂ＝ｃ＝１、ａ＝２と
することによって、距離の違いに対してより敏感に判定
することが可能になる。

【０１３７】次に求められた点の座標から補間が行われ
る。この補間方法について図１５を参照しながら説明す
る。

【０１３８】奥行き情報ｒｔ（θ，φ）は、図１５に示
すように、○印で、（ｉ０，ｊ０）シフトされたｒ´ｔ
＋δｔ（θ，φ）は●印でそれぞれ表され、奥行き情報
ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，φ）とは、１次元
平面であるＺ−Ｘ平面に投影されている。この奥行き情
報ｒｔ（θ，φ）とｒ´ｔ＋δｔ（θ，φ）とに対する
中間補間によって、□印で表される中間データが得ら
れ、この中間データが新たな奥行き情報ｒｎｅｗとな
る。

【０１３９】この補間方法としては、線形補間、スプラ
イン補間などを用いることができる。

【０１４０】このように、鏡面反射成分からの悪影響を
取り除き、補間された奥行き情報が得られることになる
が、さらに、撮像系の深度情報からのフラグに基づき奥
行き情報の座標の信頼性を判断することによって、信頼
性がより高い奥行き情報を得ることができる。この処理
では、撮像レンズの焦点深度情報に基づき信頼性が低い
情報を排除する。また、オクルージョン情報によって情
報の取捨選択が行われる。

【０１４１】次に、輪郭からの奥行き情報とステレオ画
像からの奥行き情報との統合について図１６を参照しな
がら説明する。図１６は輪郭からの奥行き情報とステレ
オ画像からの奥行き情報との統合処理内容を示す図であ
る。

【０１４２】輪郭からの奥行き情報とステレオ画像から
の奥行き情報との統合処理では、図１８に示すように、
輪郭からの奥行き情報抽出処理＃１（図１６（ａ）に示
す）で得られた奥行き情報と、ステレオ画像からの奥行
き情報抽出処理＃２（図１６（ｂ）に示す）で得られた
奥行き情報とがある断面において単純に組み合わされ、
この組み合わせによってその断面には、図１６（ｃ）に
示すように、処理＃１で得られた奥行き情報（ハッチン
グ入り矩形で示す）と処理＃２で得られた奥行き情報
（ハッチング入り白丸で示す）とが単純に並べられる。

【０１４３】この図１６（ｃ）から明らかなように、奥
行き情報１０００１，１０００２は輪郭線より外側に位
置することが分かり、奥行き情報１０００１，１０００
２が何らかの誤差により輪郭線より外側に位置すると考
えられるから、奥行き情報１０００１，１０００２は採
用されない。これに対し、奥行き情報１０００３は輪郭
線より外側に位置するから、新たな奥行き情報として採
用され、また奥行き情報１００４は削除される。このこ
とは、輪郭からの奥行き情報において、一般に凸部は適
正に抽出可能であるが、凹部は適正に抽出できないとい
う性質に基づくものである。

【０１４４】したがって、輪郭線の奥行き情報より外側
に位置する情報の除去、輪郭線の奥行き情報より凹部を
表現可能な情報の採用、輪郭からの情報とステレオ画像
かららの情報とを繋ぐ処理に用いる残りの情報の採用な
どを含む統合処理が行われ、その処理結果、図１６
（ｄ）に示すように、被写体に忠実で滑らかな奥行き情
報が得られる。

【０１４５】（実施の第２形態）次に、本発明の実施の
第２形態について説明する。

【０１４６】本実施の形態は、実施の第１形態と同じ構
成を有し、本実施の形態では、実施の第１形態と異なる
投票処理を行う。

【０１４７】具体的には、実施の第１形態では、被写体
の内部から見てボクセル内に均一に１票投じる投票処理
を行うが、１視点からの投票行為が必ず均一である必要
はなく、本実施の形態では、例えばカメラヘッド１に近
い側の所では１票であり、パッドに近付くほど２票、３
票と投票するなど、パッドとの距離に応じて投票する票
数に重み付けをするように投票処理を行う。

【０１４８】この重み付けによる投票処理によって、投
票数が高くなるところ、すなわち被写体部派より加速さ
れた得票数が多くなる。なお、投票する場所か否かの判
定は実施の第１形態と同じように行われる。

【０１４９】（実施の第３形態）次に、本発明の実施の
第３形態について説明する。

【０１５０】本実施の形態は、実施の第１形態と同じ構
成を有し、本実施の形態では、実施の第１形態と異なる
投票処理を行う。

【０１５１】具体的には、実施の第１形態では、被写体
の内部から見てボクセル内に均一に１票投じ、それが設
定された閾値を超えると、得票として採用する投票処理
を行うが、本実施の形態は、実施の第１形態の処理を段
階的に行う方法を採用し、この方法では、ある視点数に
対し投票行為を行い、その後閾値を用いておおまかに見
込みがある場所を選択し、選択された範囲に対し投票を
行い、これを段階的に繰り返す。

【０１５２】上述の方法を用いることによって、見込み
がない所の処理は省略され、処理速度の向上を図ること
ができる。

【０１５３】

【発明の効果】以上に説明したように、請求項１記載の
画像情報入力装置によれば、奥行き情報抽出手段で、複
数視点から撮像された被写体像の境界部から奥行き情報
をボクセル空間上に求めるための処理をし、その処理に
よって得られたボクセル空間上に存在する被写体像の割
合を積算し、その積算結果に応じて前記奥行き情報を抽
出するから、被写体を目的とする画像形態に変換するた
めの処理に柔軟に対応可能な奥行き情報を得ることがで
きる。

【０１５４】請求項２記載の画像情報入力装置によれ
ば、奥行き情報抽出手段で、ボクセル空間上に存在する
被写体像の割合の積算を、各視点からの存在確率を積算
することによって行い、その積算結果の内設定された閾
値を超えたものを奥行き情報として抽出するから、切り
過ぎなどに起因する誤差の発生を極力少なく抑制するこ
とができる。

【図面の簡単な説明】

【図１】本発明の画像情報入力装置の実施の第１形態の
構成を示すブロック図である。

【図２】図１の画像情報入力装置の詳細な構成を示すブ
ロック図である。

【図３】図１の画像情報入力装置の詳細な構成を示すブ
ロック図である。

【図４】図２のシステムコントローラの構成を示すブロ
ック図である。

【図５】極座標ボクセル空間を用いた奥行き情報抽出処
理を概念的に示す図である。

【図６】多視点の輪郭画像から奥行き情報を抽出する手
法を概念的に示す図である。

【図７】８視点の輪郭画像に対する投票処理を様子を概
念的に示す図である。

【図８】図７の投票処理による得票状況を示す図であ
る。

【図９】輪郭画像から奥行き情報を抽出する処理過程を
示す図である。

【図１０】点プレートマッチングを示す図である。

【図１１】ステレオ画像からの奥行き情報の算出を概略
的に示す図である。

【図１２】多視点ステレオ画像からの奥行き情報を統合
する処理の流れを示す図である。

【図１３】図１２の奥行き情報統合手段１２２における
多数決処理の内容を示す図である。

【図１４】多視点ステレオ画像からの奥行き情報の統合
の様子を模擬的に示す図である。

【図１５】中間点補間方法を示す図である。

【図１６】輪郭からの奥行き情報とステレオ画像からの
奥行き情報との統合処理内容を示す図である。

【符号の説明】

１カメラヘッド４カメラ姿勢位置検知部５ａ，５ｂ画像メモリ６奥行き情報演算部７２次元画像データ演算部１００Ｌ，１００Ｒ撮像レンズ１０１Ｌ，１０１Ｒ絞り１０２Ｌ，１０２Ｒイメージセンサ１０４Ｌ，１０４Ｒ映像信号処理部１０５Ｌ，１０５Ｒ被写体分離部２２０画像処理部２５０記録部２７０合焦検出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者倉橋直東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】少なくとも１つの光学系を介して被写体
を撮像し、その被写体像を出力する撮像手段と、前記撮
像手段で任意の位置から撮像した被写体像に基づきその
被写体の奥行き情報を抽出する奥行き情報抽出手段とを
備える画像情報入力装置において、前記奥行き情報抽出
手段は、複数視点から撮像された被写体像の境界部から
奥行き情報をボクセル空間上に求めるための処理をし、
その処理によって得られたボクセル空間上に存在する前
記被写体像の割合を積算し、その積算結果に応じて前記
奥行き情報を抽出することを特徴とする画像情報入力装
置。
【請求項２】前記奥行き情報抽出手段は、前記ボクセ
ル空間上に存在する前記被写体像の割合の積算を、前記
各視点からの存在確率を積算することによって行い、そ
の積算結果の内設定された閾値を超えたものを前記奥行
き情報として抽出することを特徴とする請求項１記載の
画像情報入力装置。