JPH09229648A - 画像情報入出力装置及び画像情報入出力方法 - Google Patents

Abstract

(57)【要約】 【課題】 あらゆる被写体について、任意の視点からの
高精度で利用価値の高い奥行き情報を得ることができる
画像情報入出力装置を提供する 【解決手段】 第２処理による奥行き情報のうち、第１
処理による奥行き情報よりも外側を示すもの（図１，
（Ｃ）の１０００１）は除去する。一方、内側（凹部）
を示すもの（同図の１０００３）は採用すると共に、略
同一部位に係る第１処理による奥行き情報（同図の１０
００４）は除去する。そして、残された第１処理及び第
２処理による奥行き情報については、両者を互いに繋ぐ
ように採用する（図１の（Ｃ），（Ｄ））。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を撮像して
得た画像から、ＣＧ（コンピュータグラフィックス）、
ＣＡＤ（キャド）または文書ファイルとの合成等、各種
目的に利用される三次元形状情報を抽出する画像情報入
出力装置に関する。

【０００２】

【従来の技術】従来より、被写体の三次元形状を求める
手法には、大別すると、受動的手法と能動的手法があ
る。

【０００３】受動的手法の代表的なものではいわゆるス
テレオ画像法があり、この手法は、二台のカメラを用い
て三角測量を行うものである。すなわち、左右のカメラ
で得られる各画像中に、同一物点が写っている箇所を探
索し、その位置のずれ量から物点の三次元位置を計測す
るものである。

【０００４】一方、能動的手法の代表的なものには、投
影した光が帰ってくるまでの時間を計測して距離を求め
る光レーダ型のレンジファインダや、スリット状の光パ
ターンを投影して被写体に写るパターン形状の変位から
三次元形状を測定するスリット光投影法等がある。

【０００５】ところで、従来より、被写体を任意の視点
からみた場合の像を、得られた被写体の三次元情報に基
づき二次元のディスプレイ等に出力・再生することが一
般に行われている。

【０００６】また、パーソナルコンピュータの普及に伴
い、電子カメラで撮像した画像を取り込んで、編集する
ことが可能になった。例えば、電子カメラで複数の画像
に分けて撮像された風景画像を、パーソナルコンピュー
タに取り込んで、アプリケーションソフトにより任意に
加工・処理を施すことも既に可能となっている。

【０００７】このような背景から、多様な被写体につい
て、目的に応じた精度の高い三次元形状情報を取得する
ことが必要となってきている。例えば、オフィス等で一
般に扱われる画像情報は、最終的には紙に出力されるこ
とが多く、利用が要求される画像形態は、自然画だけで
なく、被写体を輪郭線のみで表す線画もある。従って、
被写体の画像情報をあらゆる側面（視点）から捉え、自
由に加工・処理できるようにすることが望まれている。

【０００８】

【発明が解決しようとする課題】しかしながら、例えば
ステレオ画像法のような受動的手法では、測定情報は離
散的であり、ノイズを含む場合もある。また、特定位置
からの距離情報の算出を主目的とするため、被写体の立
体形状そのものを計測するには必ずしも十分ではない。
そのため、高精度でなめらかな三次元形状情報を得るこ
とは困難である。

【０００９】一方、能動的手法では、被写体へのレーザ
光線照射等を必要とする場合があるため、測定対象とな
る被写体の種類に一定の制限があり、その測定自体も煩
雑で、容易でない。

【００１０】また、上記受動的手法、能動的手法のいず
れにおいても、被写体の周囲を移動しながら撮像するよ
うな動的な撮像方法に柔軟に対応して、任意の視点によ
る精度の高い距離測定（以下「奥行き情報抽出」ともい
う）を行うことは困難であった。

【００１１】そのため、被写体の種類に制限を受けるこ
となく、任意の視点による高精度の奥行き情報を得て、
目的に応じた利用を図る上で、改善の余地があった。

【００１２】本発明は上記従来技術の問題を解決するた
めになされたものであり、その目的は、あらゆる被写体
について、任意の視点からの高精度で利用価値の高い奥
行き情報を得ることができる画像情報入出力装置を提供
することにある。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に本発明の請求項１の画像情報入出力装置は、被写体を
撮像し該被写体の各部位の奥行き情報を得る画像情報入
出力装置において、前記被写体の画像を複数の視点に投
影し、該投影された複数の画像の輪郭に基づき前記被写
体の各部位の奥行き情報を求める輪郭計測手段と、前記
被写体を二つの視点により撮像し、該二つの視点により
撮像された被写体の二つの画像から前記二つの視点の視
差を用いて前記被写体の各部位の奥行き情報を求めるス
テレオ計測手段と、前記輪郭計測手段により得られた奥
行き情報と前記ステレオ計測手段により得られた奥行き
情報とに基づいて前記被写体の各部位の奥行き情報を求
める統合手段とを備えたことを特徴とする。

【００１４】同じ目的を達成するために本発明の請求項
２の画像情報入出力装置は、上記請求項１の構成におい
て、前記統合手段は、前記被写体の各部位に関して、前
記輪郭計測手段により得られた奥行き情報及び前記ステ
レオ計測手段により得られた奥行き情報を取捨選択する
取捨選択手段を備えたことを特徴とする。

【００１５】同じ目的を達成するために本発明の請求項
３の画像情報入出力装置は、上記請求項２の構成におい
て、前記取捨選択手段は、前記被写体の略同一部位に関
して、前記輪郭計測手段により得られた奥行き情報及び
前記ステレオ計測手段により得られた奥行き情報のうち
外側に係るものを除去することを特徴とする。

【００１６】同じ目的を達成するために本発明の請求項
４の画像情報入出力方法は、被写体を撮像し該被写体の
各部位の奥行き情報を得る画像情報入出力方法におい
て、前記被写体の画像を複数の視点に投影し、該投影さ
れた複数の画像の輪郭に基づき前記被写体の各部位の奥
行き情報を求める輪郭計測段階と、前記被写体を二つの
視点により撮像し、該二つの視点により撮像された被写
体の二つの画像から前記二つの視点の視差を用いて前記
被写体の各部位の奥行き情報を求めるステレオ計測段階
と、前記輪郭計測段階により得られた奥行き情報と前記
ステレオ計測段階により得られた奥行き情報とに基づい
て前記被写体の各部位の奥行き情報を求める統合段階と
を含むことを特徴とする。

【００１７】同じ目的を達成するために本発明の請求項
５の画像情報入出力方法は、被写体の画像を複数の視点
に投影し、該投影された複数の画像の輪郭の外側に係る
座標情報を前記被写体を含む空間の各座標を表現する空
間座標情報から除去することにより、前記空間座標情報
に残された座標情報から前記被写体の三次元形状を把握
することを特徴とする。

【００１８】ここで、「奥行き」とは、被写体各部位の
視点からの距離を意味する。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００２０】以下に、本発明の実施の一形態に係る画像
情報入出力装置を説明する。

【００２１】まず、図２〜図４を用いて画像情報入出力
装置の構成を説明し、次に図５〜図１３を用いて奥行き
情報抽出処理について説明した上で、最後に図１を用い
て奥行き情報の統合処理について説明する。

【００２２】図２は、本実施の形態に係る画像情報入出
力装置と、その周辺環境の概略を示すブロック図であ
る。

【００２３】同図において、画像情報入出力装置２０に
は撮像ヘッド部（カメラヘッド）１の他、カメラ姿勢位
置検知部４、画像メモリ５、奥行き情報演算部６及び２
次元画像データ演算部７から成る処理部２１が含まれ
る。

【００２４】撮像ヘッド部１は、撮像開始の位置Ａ０か
ら撮像終了の位置Ａｎまで、円弧状に移動しながら検出
対象である被写体２を撮像する。左側の撮像レンズ１０
０Ｌの撮像範囲は円弧１０Ｌで、右側の撮像レンズ１０
０Ｒの撮像範囲は円弧１０Ｒで示されている。照明部２
００は、撮像環境に応じて照明光を被写体２に照射す
る。また、被写体２の背後には、パッド（以下「背面」
という）３が配置される。

【００２５】カメラ姿勢位置検知部４は、ジャイロ等の
センサにより角度情報を算出すると共に、背面３から得
られる情報に基づく画像処理により、姿勢・位置情報を
算出することにより、撮像系の姿勢・位置を検知する。

【００２６】なお、撮像ヘッド部１によるＡ０−Ａｎ間
の各撮像地点における位置の情報は、このカメラ姿勢位
置検知部４から周辺機器等へ送出される。

【００２７】画像メモリ５は、撮像ヘッド１で得られた
画像情報とカメラ姿勢位置検知部４で得られた撮像ヘッ
ド部１の位置情報とを記憶する。

【００２８】奥行き情報演算部６は、画像メモリ５に記
憶された上記画像情報、位置情報に基づき被写体２の立
体形状を演算する。

【００２９】２次元画像データ演算部７は、上記演算さ
れた被写体２の立体形状に係る三次元情報に基づいて、
任意の視点から見た場合の被写体２について、使用者の
指定する画像形態での２次元画像情報を演算する。

【００３０】次に、本装置の使用時の処理を略説する。

【００３１】まず使用者は、撮像ヘッド部１を被写体２
に向け図示しないレリーズボタンを操作すると、被写体
２の撮像が行われ、最初の画像情報が画像メモリに５に
記憶される。

【００３２】次に使用者が撮像ヘッド部１を、被写体２
を中心に位置Ａ０から位置Ａｎへ移動させる。位置Ａ０
からＡｎへ移動している最中に、位置Ａ０に対して撮像
ヘッド部１の位置および撮像方向が所定量変化したこと
をカメラ姿勢検知部４が検知すると、次に２度目の撮像
が行なわれ、以下順々にｎ度目まで同様に撮像が行われ
る。

【００３３】例えば３°毎の角度間隔で撮像されるとす
ると、位置Ａ０〜Ａｎが１８０°である場合には、合計
６０回撮像されることになる。角度間隔の設定は、ジャ
イロ等の性能及び求めたい奥行き情報の分解能から決定
する。例えばジャイロの検出能力が９０°／ｓｅｃなら
ば、３°／フレーム速度と設定する。

【００３４】被写体２の画像情報は、カメラ姿勢位置検
知部４により得られた撮像ヘッド部１の位置Ａ０に対す
る位置の変位量及び撮像方向の変位量と共に、画像メモ
リ５に記憶される。そして、この位置の変位量および方
向の変位量の少なくとも一方が所定量より大きい場合に
は、警告が行われる。

【００３５】この撮像動作が数回繰り返され、被写体２
の奥行き情報を演算するのに十分な数の画像情報が得ら
れると、図示しない撮影終了検知器等でその旨が使用者
に知らされ、撮像が終了する。

【００３６】次に、奥行き情報演算部６では画像メモリ
５に記憶された画像情報とそれぞれの画像データに対応
する撮像ヘッド部１の位置情報とから、被写体２の三次
元画像情報が演算される。２次元画像データ演算部７
は、画像情報入出力装置２０に接続された操作部１１に
より指定された画像形態で、かつ被写体２を最初に撮影
した位置Ａ０から見た場合の二次元画像情報を、被写体
２の三次元画像情報に基づき演算し、操作部１１に接続
されたモニタ８に表示させる。

【００３７】使用者は、操作部１１を操作して、２次元
画像データ演算部７に操作に応じた演算を行わせること
により、二次元画像情報を、被写体２を任意の視点から
見た場合の情報に変更することができる。さらに、操作
部１１の操作により、モニタ８に表示される被写体２の
画像形態を変更することができる。

【００３８】なお、プリンタ９は処理部２１及び操作部
１１に接続され、各種情報を印刷出力する。また、画像
情報入出力装置２０及び文章データ作成部１００１に接
続されたデータ合成部１０００は、画像情報入出力装置
２０から送られてきた画像情報と文章データ作成部１０
０１により作成され送られてきた文書ファイルとを合成
する。

【００３９】図３は、本実施の形態に係る画像情報入出
力装置の全体構成図であり、図２の撮像ヘッド部１及び
処理部２１の構成要素を詳細に示したものである。

【００４０】同図中、図２と同一の要素には同一符号を
付してある。

【００４１】システムコントローラ２１０には、照明部
２００、カメラ姿勢位置検知部４、ズーム制御部１０６
Ｌ，１０６Ｒ、フォーカス制御部１０７Ｌ，１０７Ｒ、
絞り制御部１０８Ｌ，１０８Ｒ、発音体９７、イメージ
センサドライバ１０２Ｌ１，１０２Ｒ１、映像信号処理
部１０４Ｌ，１０４Ｒ、被写体分離部１０５Ｌ，１０５
Ｒ、合焦検出部２７０、画像処理部２２０、レリーズボ
タン２３０、外部入力Ｉ／Ｆ（インタフェイス）部７６
０、オーバラップ検出部９２が接続され、システムコン
トローラ２１０は、これら全体を制御する。

【００４２】レリーズボタン２３０が押下されると、被
写体からの光像は、ズームレンズからなる撮像レンズ１
００Ｌ，１００Ｒを経て絞り１０１Ｌ，１０１Ｒによっ
て絞られ、ＣＣＤ等を用いてイメージセンサ１０２Ｌ
２，１０２Ｒ２により電気信号に交換される。なお、イ
メージセンサ１０２Ｌ２，１０２Ｒ２は、それぞれに接
続されたイメージセンサドライバ１０２Ｌ１，１０２Ｒ
１を介して制御される。

【００４３】上記電気信号は、イメージセンサ１０２Ｌ
２，１０２Ｒ２に接続されたＡ／Ｄ変換部１０３Ｌ，１
０３Ｒによってアナログ信号からデジタル信号に変換さ
れ、Ａ／Ｄ変換部１０３Ｌに接続されたメモリ８３及び
メモリ８５、並びにＡ／Ｄ変換部１０３Ｒに接続された
メモリ７３及びメモリ７５にそれぞれ格納される。

【００４４】メモリ８３，８５及びメモリ７３，７５に
格納されたデジタル信号は、映像信号処理部１０４Ｌ及
び映像信号処理部１０４Ｒによって適切な形態の輝度信
号及び色信号から成る映像信号に変換される。

【００４５】上記変換された映像信号は、映像信号処理
部１０４Ｌ，１０４Ｒに接続された被写体分離部１０５
Ｌ，１０５Ｒによって立体形状情報として抽出されるべ
き被写体２の信号と背面３の信号とに分離される。

【００４６】ここで、分離は例えば次のようにして行
う。

【００４７】予め背面３を撮像してその画像情報をメモ
リに保持しておき、その後被写体２を上記背面３の前部
に配置して被写体２ごと撮像する。そして、メモリに保
持された背面３のみの画像とのマッチング処理及び差分
処理を施すことにより背面領域のみを分離する。なお、
分離の方法はこれに限るものでなく、色またはテクスチ
ャの情報を基に分離するようにしてもよい。

【００４８】このようにして分離された被写体２の映像
信号は、被写体分離部１０５Ｌ，１０５Ｒに接続された
画像処理部２２０により、撮像時のパラメータに基づく
奥行き情報の抽出処理（以下「第１処理」といい、詳細
は後述する）が施された後、記録部２５０に記録され
る。

【００４９】一方、映像信号処理部１０４Ｌ，１０４Ｒ
で得られた輝度信号及び色信号から成る映像信号は、画
像処理部２２０により、視差を用いた奥行き情報の抽出
処理（以下「第２処理」といい、詳細は後述する）が施
された後、記録部２５０に記録される。

【００５０】そして、上記第１処理及び第２処理により
得られた奥行き情報を、システムコントローラ２１０の
制御により画像処理部２２０にて、取捨選択することに
より統合し、被写体２全体の最終的奥行き情報を求める
（後述）。

【００５１】また、被写体分離部１０５Ｌ，１０５Ｒに
接続された合焦検出部２７０により、合焦が行われる。

【００５２】焦点距離の設定は、次のようにして行う。

【００５３】まず、距離情報は下記数式１により表わさ
れる。

【００５４】

【数１】Ｚ＝ｆｂ／ｄ ここに、Ｚは視点と被写体２との距離を、ｆは焦点距離
を、ｂは基線長を、ｄは二つの視点の視差を示す。視差
により決まる距離分離能をパラメータとして考え、下記
数式２を得る。

【００５５】

【数２】∂Ｚ／∂ｄ＝−ｆｂ／ｄ² よって、焦点距離は、下記数式３により与えられる。

【００５６】

【数３】ｆ＝（−ｄ²／ｂ）・（∂Ｚ／∂ｄ） また、外部入力Ｉ／Ｆ７６０を介してコンピュータ等か
ら分解能を設定し、この値に基づいて、焦点距離ｆを設
定することも可能である。

【００５７】この他、表示部２４０は、映像信号処理部
１０４Ｌ，１０４Ｒに接続され、種々の画像情報を出力
表示する。

【００５８】また、オーバーラップ検出部９２は、メモ
リ７３，７５，８３，８５に接続されている。

【００５９】図４は、システムコントローラ２１０の構
成を示すブロック図である。同図に示すように、システ
ムコントローラ２１０は、マイクロコンピュータ９００
に、画像情報の演算処理を行う画像演算処理部９２０
と、画像情報を格納するメモリ９１０とがバスにて接続
されている。

【００６０】以下に、第１処理を図５〜図７を用いて説
明する。

【００６１】図５は、本実施の形態において、第１処理
を説明するための図である。

【００６２】同図中、１１２０は空間を所定の座標間隔
で区切ったボクセル空間であり、三次元座標（Ｘ，Ｙ，
Ｚ）により各ボクセルが表現される。ボクセル空間１１
２０は、球形状の被写体２全体を内包し、被写体２表面
の各部位の位置情報は、カメラの主点１１１０からの奥
行き情報として三次元座標により表現される。

【００６３】また、１１００は、得られた画像に前述し
た手法により被写体２と背面３との分離処理が施された
背景分離画像であり、被写体画像１１０１と背景画像１
１０２とから成る。

【００６４】ここで、背景分離画像１１００は、画像の
各部分について、被写体２を表す部分か背面３を表す部
分かが判断されたものであり、上記分離処理の後に、例
えば被写体２を表す部分の画像情報にはフラグ「１」を
付加すると共に、背面３を表わす部分の画像情報にはフ
ラグ「０」を付加することにより得ることができる。

【００６５】線分１１３０〜１１３４は、分離された被
写体画像の輪郭部から主点１１１０を通り、被写体２に
接する。被写体２の表面上の点Ｐ１，Ｐ２，Ｐ３，Ｐ
４，Ｐ５は、被写体画像１１０１の輪郭上の点ｐ１，ｐ
２，ｐ３，ｐ４，ｐ５に対応し、それぞれ線分１１３
０，１１３１，１１３２，１１３３，１１３４により結
ばれる。

【００６６】第１処理は、ボクセル空間１１２０から被
写体２の輪郭の外部を除去することにより行う。すなわ
ち、外側のボクセルデータを多数の線分で切るのであ
る。これは、例えば線分１１３０〜１１３４よりも外側
にあるボクセルは、被写体部分ではないものとして扱
い、内側のボクセルのみで形成される立体形状が被写体
２の形状であるとみなすことを意味する。具体的な処理
は、各ボクセルについて、フラグを立て、例えばフラグ
「０」ならそのボクセルの座標情報をボクセル空間１１
２０の空間座標から除去し、フラグ「１」なら採用する
ことにより行う。

【００６７】図６は、第１処理による座標情報除去処理
を模式的に示したものであり、被写体２の断面図を示し
たものである。本図では、説明を容易化するため、被写
体２を撮像するカメラを二次元的に移動させ、同一平面
内で処理を行った場合について示している。

【００６８】同図中、（ａ）の１２１０はボクセル空間
の一部（平面で捉えたものである）であり、その中に平
面体としての被写体２がある。

【００６９】本図では撮像する視点は４つとし、各カメ
ラの主点１２００〜１２０３がそれに該当する。

【００７０】被写体２の画像は各主点１２００〜１２０
３を経て、イメージセンサ１２０Ｌ２等の断面１２４０
〜１２４３に投影される。

【００７１】被写体２の輪郭に接する線分１２２０〜１
２２７は、被写体２の内側の境界線となる。線分１２２
０，１２２１は主点１２００を通り、線分１２２２，１
２２３は主点１２０１を通り、線分１２２４，１２２５
は主点１２０２を通り、線分１２２６，１２２７は主点
１２０３を通る。

【００７２】ここで、各線分１２００〜１２０７により
被写体２の外側の部分をボクセル空間の一部１２１０か
ら除去すると、同図に示す交点ａ，ｂ，ｃ，ｄ，ｅ，
ｆ，ｇ，ｈで囲まれた領域１２３０が、境界線の内側と
して残る。同図の（ｂ）は、本処理が施された領域を抽
出し、被写体２の真の領域１２３１をオーバラップさせ
て示したものである。

【００７３】このような処理を三次元的に行うことで、
被写体２の立体的輪郭を把握できる。

【００７４】なお、このような処理は、ボクセル空間側
から投影画像を見て、三次元的に行うこともできる。す
なわち、例えばボクセル空間内のある座標から、逆に主
点１１１０を通る線分を計算すると共に、その座標に係
る点が背景分離画像１１００のどこに投影されるかを計
算し、その投影点が被写体画像１１０１を示すかそれと
も背景画像１１０２を示すかを、フラグにより判断する
ようにしてもよい。そして、この処理をボクセル空間の
点（０，０，０）から（Ｘ₀，Ｙ₀，Ｚ₀）まで、各点に
ついて行うのである。

【００７５】この処理は、以下のような算術処理により
行われる。

【００７６】まず、主点１１１０の座標を（ａ₀，ｂ₀，
ｃ₀）とし、ボクセル空間座標（Ｘ，Ｙ，Ｚ）に対応す
る背景分離画像１１００への投影点を（ｘ，ｙ）とする
と、投影点（ｘ，ｙ）は、下記数式４を介して、下記数
式５，６により求められる。

【００７７】

【数４】

【００７８】

【数５】ｘ＝ｆＸ′／Ｚ′

【００７９】

【数６】ｙ＝ｆＹ′／Ｚ′ ここに、ωは、Ｘ軸に関し、Ｙ軸からＺ軸方向へ回転す
る方向へのねじれ角であり、θは、Ｙ軸に関し、Ｚ軸か
らＸ軸方向へ回転する方向へのねじれ角であり、φは、
Ｚ軸に関し、Ｘ軸からＹ軸方向へ回転する方向へのねじ
れ角である。これらのねじれ角ω，θ，φは、カメラの
主点１１１０の座標系と、ボクセル空間１１２０の座標
系とのねじれ関係を示すパラメータである。

【００８０】次に、投影点（ｘ，ｙ）のフラグを参照す
ることにより、当該ボクセルが被写体２の内部に属する
ものであるか否かを判別する。なお、ｘ，ｙの値が整数
値でない場合は、その近傍領域からフラグを判断する。
そして、この処理を多視点から繰り返し行うことによ
り、被写体２の奥行き情報がボクセル空間１１２０の中
に抽出される。この処理の過程を、図７に示す。同図
中、図５と同一の要素には同一符号を付してある。

【００８１】以上説明した第１処理により、被写体２の
輪郭を把握できる。

【００８２】以下に、図８〜図１３を用いて、上記第２
処理について説明する。

【００８３】図８は、第２処理により被写体２の奥行き
情報を抽出する手順を示すブロック図である。

【００８４】本処理は、いわゆるステレオ画像から奥行
き情報を求めるものである。ステレオ画像１１０は画像
メモリ５に蓄積されており、左画像と右画像とからな
る。

【００８５】ステレオ画像１１０は、エッジ抽出部１１
１に入力され、後述する手法によりエッジが抽出された
エッジ画像が生成される。このエッジ画像は、エッジ画
像対応点抽出部１１３により、左右の画像中の各画素
が、互いにどのような対応関係になっているかが判断さ
れ、その対応関係の情報は矛盾排除処理部１１４に出力
される。

【００８６】一方、ステレオ画像１１０は、ステレオ画
像対応点抽出部１１２にも入力され、後述する手法に
て、ステレオ画像１１０の輝度値から各画素が互いにど
のような対応関係になっているかが判断されて、その対
応関係の情報が矛盾排除処理部１１４に出力される。

【００８７】矛盾排除処理部１１４では、エッジ画像対
応点抽出部１１３で求められた対応関係と、ステレオ画
像対応点抽出部１１２で求められた対応関係とを比較
し、両者に矛盾があるかどうかを判別する。そして、両
者に矛盾があるときは、対応関係の信頼性が低いものと
してその情報を排除する。このときの判断においては、
両者に適当に重み付けをするようにしてもよい。

【００８８】矛盾排除処理部１１４の処理結果はオクル
ージョン領域判定処理部１１５に出力される。ここで
は、既に求められた対応点の個所と、対応点を求める途
中で使用されている相関の程度を表す指数、例えば残差
とにより、オクルージョン領域を判断される。これは、
対応点抽出処理により一応の結果は得られるが、その信
頼性をさらに高めるために行われるものである。

【００８９】相関の程度を表す指数としては相関係数ま
たは残差が用いられ、例えば残差が非常に大きいときや
相関係数が低いときは、対応関係の信頼性が低いと判断
される。そして、この信頼性の低い部分が、オクルージ
ョン領域または対応関係が存在しない領域として扱われ
る。

【００９０】奥行き情報分布算出処理部１１６では、得
られた対応関係に基づいて、三角測量の原理により、被
写体２の奥行き情報が算出される。なお三角測量は、前
記数式１を用いて行う。

【００９１】ステレオ画像１１０は、さらに特徴点抽出
部１１７にも入力され、背景部の特徴点が同定処理され
る。その処理結果は補正データ算出処理部１１８に出力
され、背景部の特徴点を利用して、撮像パラメータ，姿
勢及び移動関係が取得される。その際、ジャイロ８８０
による角度変化等の情報が補正データ算出処理部１１８
に出力される。

【００９２】ここで、上記ステレオ画像対応点抽出部１
１２による対応点抽出処理方法の代表として、テンプレ
ートマッチング法について説明する。

【００９３】図９は、ステレオ画像１１２によるテンプ
レートマッチング法を説明するための図である。

【００９４】同図のように、例えば左画像からＮ×Ｎ画
素のテンプレート画像を切り出す。そしてこれを、右画
像から得られたＭ×Ｍ画素の入力画像内の探索領域（Ｍ
−Ｎ＋１）²上で動かす。さらに、下記数式７に基づ
き、残差Ｒ（ａ１，ｂ１）が最小となるようなテンプレ
ート画像の位置を求め、Ｎ×Ｎ画素のテンプレート画像
の中心画素を一致個所として求める。

【００９５】

【数７】 ここで、（ａ１，ｂ１）はＮ×Ｎ画素のテンプレート画
像の左上位置を示し、Ｉ_R(a1,b1)（ｉ，ｊ）は右画像の
部分画像に、Ｔ_L（ｉ，ｊ）は、左画像から切り出した
テンプレート画像に対応する。

【００９６】次に、エッジ抽出部１１１によるエッジ抽
出方法を説明する。エッジ抽出には、例えばロバートフ
ィルタ等の手法のほかゾーベルフィルタを用いることも
できる。

【００９７】ロバートフィルタによれば、入力画像をｆ
（ｉ，ｊ）とすると、出力画像をｇ（ｉ，ｊ）は下記数
式８または下記数式９により算出される。

【００９８】

【数８】 g(i,j)=[{f(i,j)-f(i+1,j+1)}²+{f(i+1,j)-f(i,j+1)²]^1/2

【００９９】

【数９】 g(i,j)=|{f(i,j)-f(i+1,j+1)}|+|{f(i+1,j)-f(i,j+1)}| ゾーベルフィルタによれば、下記数式１０及び数式１１
によりマトリックスｆｘ，ｆｙを得た後、下記数式１２
によりエッジの強さの方向を表わす指数θ₁が算出され
る。

【０１００】

【数１０】

【０１０１】

【数１１】

【０１０２】

【数１２】θ₁＝ｔａｎ^-1（ｆｙ／ｆｘ） このようにして、エッジ部が強調された画像に対し二値
化処理を行いエッジ成分を抽出する。なお、二値化処理
は適当な閾値を用いて行う。

【０１０３】以上のような処理によりステレオ画像に基
づいて求められた奥行き情報を、図１０に示す。

【０１０４】同図において、図５と同一要素には同一符
号を付してその説明を省略する。同図中、点Ｑ₁〜Ｑ
₇は、奥行き情報が求められた点を示し、点ｑ₁〜ｑ
₇は、各点Ｑ₁〜Ｑ₇に対応する背景分離画像１１００中
の投影点を示す。また、左右の画像から得られた２つの
背景分離画像の中心間の距離を基線長Ｂとする。

【０１０５】次に、多視点においてステレオ画像から得
られた奥行き情報の統合処理を、図１１〜図１３に基づ
き説明する。

【０１０６】図１１は、第２処理における奥行き情報統
合処理の手順を示すブロック図である。

【０１０７】例えば同図に示す第１の視点ｔによる奥行
き情報Ｚ^t、次に第２の視点ｔ＋δｔによる奥行き情報
Ｚ^t+δtというように、１対のステレオ画像からは、奥
行き情報１２０が時々刻々と生成される。

【０１０８】各視点による奥行き情報は、座標系変換部
１２１に入力され、カメラ姿勢位置検知部４からも入力
される位置情報を用いて、後述する手法により、任意の
統一された座標系に変換される。統一された座標系とし
て、例えば図５に示すようなボクセル空間と同様の座標
系を採用してもよい。統一された座標系への変換には、
アフィン変換等を用い、オイラー角が同一になるように
する。このように変換することにより、多視点で得られ
た奥行き情報の統合処理を容易にできるのである。

【０１０９】上記統一された座標系に変換された各奥行
き情報は、奥行き情報統合部１２２にて、オクルージョ
ン領域情報送出部１２３からの情報をも用いて統合され
る。その処理の詳細は後述する。

【０１１０】ここでいう「統合」とは、少なくとも二つ
以上の任意の視点による被写体２の奥行き情報１２０に
対して、各々の局所的なずれ量に係る情報を得て、得ら
れたずれ情報を基に、同一座標系から見た奥行き情報と
することをいい、同一点は同一であると判断すること、
求められた各点の座標の間を補間すること等により行わ
れる。

【０１１１】なお、統合された奥行き情報及びオクルー
ジョン領域情報送出部からの情報は、表示部１２４によ
り表示される。

【０１１２】次に、奥行き情報統合部１２２による統合
処理を図１２を用いて説明する。同図の（ａ）は、第１
の視点ｔにより得られた奥行き情報Ｚ^t（Ｘ，Ｙ）を一
例として描いたものである。

【０１１３】（ｂ）は、次の第２の視点ｔ＋δｔにより
得られた奥行き情報Ｚ^t+δt（Ｘ，Ｙ）を、統一された
方向から見た場合の奥行き情報Ｚ′^t+δt（Ｘ，Ｙ）を
描いたものである。

【０１１４】（ｃ）は、（ａ）と（ｂ）とを描いたもの
であり、奥行き情報Ｚ^t（Ｘ，Ｙ）とＺ′^t+δt（Ｘ，
Ｙ）とは局所的に（ｉ０，ｊ０）だけずれている。

【０１１５】（ｄ）は、（ｃ）に対して奥行き情報Ｚ′
^t+δt（Ｘ，Ｙ）を（−ｉ０，−ｊ０）だけシフトして
描いたものである。奥行き情報Ｚ′^t+δt（Ｘ，Ｙ）を
シフトしたものは、点線で描いてある。

【０１１６】ここで、上記シフト量を決定する量ｉ０及
びｊ０は、次のように導出する。

【０１１７】カメラ姿勢位置検知部４による検知輝度及
びステレオ画像からの奥行き抽出精度が高精度である場
合は、ずれ量Ｑ（ｉ，ｊ）は小さな値となる。ずれ量Ｑ
（ｉ，ｊ）は、下記数式１３により算出される。

【０１１８】

【数１３】 このずれ量Ｑ（ｉ，ｊ）が最小となるような量ｉ，ｊを
求め、それを量ｉ０，ｊ０とする。

【０１１９】この量ｉ０，ｊ０によりシフトされ、
（ｄ）のように重ねられた奥行き情報から、以下に説明
する同一点の排除及び中間点の補間の処理を行う。

【０１２０】まず、同一点排除処理を説明する。

【０１２１】本処理では、互いの奥行き情報中、被写体
２の同一の点を示す情報がある場合には、いずれか一方
の情報を採用し、他方を排除する。これには情報量を削
減するという意義もある。対比される情報が同一の点を
示すか否かは下記数式１４また数式１５により判断し、
いずれか一方の式が成立する場合に同一と判断する。

【０１２２】

【数１４】（ｘ０−ｘ１）²＋（ｙ０−ｙ１）²＋（ｚ０
−ｚ１）²＜ε１

【０１２３】

【数１５】ａ２（ｘ０−ｘ１）²＋ｂ２（ｙ０−ｙ１）²
＋ｃ２（ｚ０−ｚ１）²＜ε２ ここで、ε１，ε２は所定の基準値であり、ａ２，ｂ
２，ｃ２は係数である。例えばａ２＝ｂ２＝１とし、ｃ
２＝２とすることにより、距離の違いに対してより敏感
に判断することができる。

【０１２４】次に、中間点の補間処理を図１３を用いて
説明する。

【０１２５】同図は、説明を簡略化するために図１２の
（ｄ）の奥行き情報をＺ−Ｘ平面に投影し、一次元で示
したものである。

【０１２６】同図の（ａ）の白丸が奥行き情報Ｚ
^t（Ｘ，Ｙ）を示し、黒丸が奥行き情報Ｚ′^t+δt（Ｘ，
Ｙ）を（ｉ０，ｊ０）シフトした奥行き情報Ｚ′^t+δt
（Ｘ＋ｉ０，Ｙ＋ｊ０）を示す。

【０１２７】ここで行う補間は、例えば互いの奥行き情
報から中間点を採用する中間点補間とする。中間点補間
により求められた新たな奥行き情報Ｚｎｅｗを、（ｂ）
に白い四角で示す。

【０１２８】補間方法としては、線形補間、スプライン
補間等を用いることができる。

【０１２９】次に、撮像系の深度情報から得たフラグを
基に、各奥行き情報Ｚｎｅｗの信頼性を判断する。例え
ば、撮像系の光学系の焦点深度情報を利用して、信頼性
の低い奥行き情報Ｚｎｅｗは排除する。

【０１３０】さらに、オクルージョン領域情報送出部１
２３からの検知情報に基づき、各奥行き情報Ｚｎｅｗを
取捨選択する。

【０１３１】以上説明した第２処理により、被写体２の
立体形状を把握できる。特に被写体２の凹部についても
奥行き情報を得ることが容易であるという利点がある。

【０１３２】以下に、上述した第１処理で求めた奥行き
情報と第２処理で求めた奥行き情報とを統合する処理に
ついて、図１を用いて説明する。

【０１３３】図１は、本実施の形態に係る画像情報入出
力装置において、奥行き情報取捨選択による統合処理を
説明するための図である。

【０１３４】同図の（Ａ）は、第１処理の模式図であ
り、図５をより簡略化して描いたものである。また、
（Ｂ）は、第２処理の模式図であり、図１０をより簡略
化して描いたものである。

【０１３５】本統合処理の説明を簡略化するため、特定
の断面について述べる。（Ａ），（Ｂ）において、特定
断面を斜線で示し、その特定断面を上から（Ｙ軸方向か
ら中心点方向へ）見た場合を（Ｃ），（Ｄ）に示す。

【０１３６】（Ｃ）は、第１処理の出力結果を示す斜線
の四角と、第２処理の出力結果を示す斜線の白丸とを単
純に組み合わせ、重ねて表示したものである。なお、こ
の斜線の白丸は、（Ｂ）の白丸に対応するものである。

【０１３７】本統合処理は、次の（１），（２），
（３）の手順により行う。

【０１３８】（１）第２処理による奥行き情報のうち、
第１処理による奥行き情報よりも外側を示すものは除去
する。

【０１３９】（２）第２処理による奥行き情報のうち、
第１処理による奥行き情報よりも内側、すなわち凹部を
表現できるものは採用すると共に、略同一部位に係る第
１処理による奥行き情報は除去する。

【０１４０】（３）残された第１及び第２処理による奥
行き情報は、両者を互いに繋ぐように採用する。

【０１４１】例えば、（Ｃ）の奥行き情報１０００１，
１０００２に着目すると、この情報に係る部位について
は、第１処理による奥行き情報よりも奥行き情報１００
０１，１０００２の方が外側を示している（飛び出して
いる）ことがわかる。この現象は、何らかの誤差による
ものと考えられるので、奥行き情報１０００１，１００
０２は採用せず除去する。

【０１４２】一方、奥行き情報１０００３のように、第
１処理による奥行き情報よりも内側を示す（引っ込んで
いる）情報は採用すると共に、同一部位に係る第１処理
による奥行き情報１０００４は除去する。

【０１４３】このように取捨選択するのは、第１処理及
び第２処理の性質を考慮したものである。すなわち、第
１処理は一般に被写体の凸部の抽出精度は高く、凹部の
抽出は困難である一方、第２処理は一般に被写体の凹部
についても抽出が容易である。従って、原則として凸部
については第１処理の結果を、凹部については第２処理
の結果を採用することにより、信頼性の高い奥行き情報
を得ることができるのである。

【０１４４】このような統合処理の結果を（Ｄ）に示
す。本処理を三次元的に行うことにより、被写体２の立
体形状に忠実で、滑らかな奥行き情報を得ることができ
る。

【０１４５】なお、凹部の処理について、上記例では、
二つの奥行き情報１０００３が隣接している場合を説明
したが、両情報が離れているときは、情報の繋ぎ方を工
夫する。例えば、両情報の間隔が２画素（セル）以下の
場合は両者を繋ぎ、３画素以上の場合は、その３画素に
ついては第１処理の奥行き情報を採用して繋ぐようにす
る。

【０１４６】このように繋ぐことにより、より忠実で滑
らかな奥行き情報が得られる。

【０１４７】なお、統合処理の手順は、前述した
（１），（２），（３）に限るものではない。例えば、
手順（３）に代えて、第１処理及び第２処理の互いの奥
行き情報を適当に重み付けをして補間したものを採用す
るようにしてもよい。

【０１４８】これにより、第２処理の奥行き情報が離散
的（とびとび）である場合にも、滑らかな奥行き情報の
取得を確保できる。

【０１４９】また、統合処理の手順は、前述した
（１），（２），（３）のうち、（２）に代えて、次の
手順を採用してもよい。すなわち、第２処理による奥行
き情報のうち、第１処理による奥行き情報よりも内側、
すなわち凹部を表現できるものがある場合には、両者の
中間点付近をその部位の奥行き情報として採用する。こ
れにより、奥行き情報をより滑らかにすることができ
る。

【０１５０】以上説明したように、本実施の形態に係る
画像情報入出力装置によれば、第１処理及び第２処理の
いずれによっても被写体２の奥行き情報を得ることがで
き、さらに両者の特性を考慮して情報を統合することに
より、被写体２の立体形状に忠実で、滑らかな最終的奥
行き情報を得ることができる。また、あらゆる側面から
の精度の高い奥行き情報により、目的に応じた利用価値
の高い画像形態を得ることができる。

【０１５１】なお、本実施の形態において、第１処理及
び第２処理を直交空間座標を用いて行うようにしたが、
これに限るものでなく、極座標または円柱座標等の曲線
座標を用いて行うようにしてもよい。

【０１５２】

【発明の効果】以上説明したように、本発明の請求項１
に係る画像情報入出力装置によれば、輪郭計測手段によ
り被写体の画像が複数の視点に投影され、該投影された
複数の画像の輪郭に基づき前記被写体の各部位の奥行き
情報が求められ、ステレオ計測手段により前記被写体が
二つの視点により撮像され、該二つの視点により撮像さ
れた被写体の二つの画像から前記二つの視点の視差を用
いて前記被写体の各部位の奥行き情報が求められ、前記
輪郭計測手段により得られた奥行き情報と前記ステレオ
計測手段により得られた奥行き情報とに基づいて前記被
写体の各部位の奥行き情報が統合手段により求められる
ので、あらゆる被写体について、任意の視点からの高精
度で滑らかな奥行き情報を得ることができ、三次元形状
情報の利用価値を高めることができる。

【０１５３】本発明の請求項２に係る画像情報入出力装
置によれば、前記被写体の各部位に関して、前記輪郭計
測手段により得られた奥行き情報及び前記ステレオ計測
手段により得られた奥行き情報が取捨選択手段により取
捨選択されるので、より信頼性が高く被写体形状に忠実
な奥行き情報を得ることができる。

【０１５４】本発明の請求項３に係る画像情報入出力装
置によれば、前記被写体の略同一部位に関して、前記輪
郭計測手段により得られた奥行き情報及び前記ステレオ
計測手段により得られた奥行き情報のうち外側に係るも
のが前記取捨選択手段により除去されるので、より信頼
性が高く被写体に忠実な奥行き情報を得ることができ
る。

【０１５５】本発明の請求項４に係る画像情報入出力方
法によれば、輪郭計測段階で被写体の画像が複数の視点
に投影され、該投影された複数の画像の輪郭に基づき前
記被写体の各部位の奥行き情報が求められ、ステレオ計
測段階で前記被写体が二つの視点により撮像され、該二
つの視点により撮像された被写体の二つの画像から前記
二つの視点の視差を用いて前記被写体の各部位の奥行き
情報が求められ、前記輪郭計測段階で得られた奥行き情
報と前記ステレオ計測段階で得られた奥行き情報とに基
づいて前記被写体の各部位の奥行き情報が統合段階で求
められるので、あらゆる被写体について、任意の視点か
らの高精度で滑らかな奥行き情報を得ることができ、三
次元形状情報の利用価値を高めることができる。

【０１５６】本発明の請求項５に係る画像情報入出力方
法によれば、被写体の画像を複数の視点に投影され、該
投影された複数の画像の輪郭の外側に係る座標情報が前
記被写体を含む空間の各座標を表現する空間座標情報か
ら除去されることにより、前記空間座標情報に残された
座標情報から前記被写体の三次元形状が把握されるの
で、被写体の三次元形状を、簡易な構成で容易に把握で
きる。

【図面の簡単な説明】

【図１】本発明の実施の一形態に係る画像情報入出力装
置において、奥行き情報の取捨選択による統合処理を説
明するための図である。

【図２】同実施の形態に係る画像情報入出力装置と、そ
の周辺環境の概略を示すブロック図である。

【図３】同実施の形態に係る画像情報入出力装置の全体
構成図である。

【図４】同装置に係る、システムコントローラの構成を
示すブロック図である。

【図５】同実施の形態において、第１処理を説明するた
めの図である。

【図６】第１処理による座標情報除去処理に係る、被写
体断面図である。

【図７】第１処理の処理過程を示す図である。

【図８】第２処理により被写体の奥行き情報を抽出する
手順を示すブロック図である。

【図９】第２処理におけるテンプレートマッチング法を
説明するための図である。

【図１０】第２処理を説明するための図である。

【図１１】第２処理における奥行き情報統合処理の手順
を示すブロック図である。

【図１２】第２処理において、奥行き情報統合部による
統合処理を説明するための図である。

【図１３】第２処理において、中間点補間処理を説明す
るための図である。

【符号の説明】

１ 撮像ヘッド部 ２ 被写体 ３ 背面 ４ カメラ姿勢位置検知部 ５ 画像メモリ ６ 奥行き情報演算部 ７ ２次元画像データ演算部 １００Ｒ 撮像レンズ １００Ｌ 撮像レンズ １０２Ｒ２ イメージセンサ １０２Ｌ２ イメージセンサ １０４Ｒ 映像信号処理部 １０４Ｌ 映像信号処理部 １０５Ｒ 被写体分離部 １０５Ｌ 被写体分離部 ２１０ システムコントローラ ２２０ 画像処理部 ９００ マイクロコンピュータ ９２０ 画像演算処理部 １１６ 奥行き情報分布算出処理部 １２２ 奥行き情報統合部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 石川 基博 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 被写体を撮像し該被写体の各部位の奥行
   き情報を得る画像情報入出力装置において、前記被写体
   の画像を複数の視点に投影し、該投影された複数の画像
   の輪郭に基づき前記被写体の各部位の奥行き情報を求め
   る輪郭計測手段と、前記被写体を二つの視点により撮像
   し、該二つの視点により撮像された被写体の二つの画像
   から前記二つの視点の視差を用いて前記被写体の各部位
   の奥行き情報を求めるステレオ計測手段と、前記輪郭計
   測手段により得られた奥行き情報と前記ステレオ計測手
   段により得られた奥行き情報とに基づいて前記被写体の
   各部位の奥行き情報を求める統合手段とを備えたことを
   特徴とする画像情報入出力装置。
2. 【請求項２】 前記統合手段は、前記被写体の各部位に
   関して、前記輪郭計測手段により得られた奥行き情報及
   び前記ステレオ計測手段により得られた奥行き情報を取
   捨選択する取捨選択手段を備えたことを特徴とする請求
   項１記載の画像情報入出力装置。
3. 【請求項３】 前記取捨選択手段は、前記被写体の略同
   一部位に関して、前記輪郭計測手段により得られた奥行
   き情報及び前記ステレオ計測手段により得られた奥行き
   情報のうち外側に係るものを除去することを特徴とする
   請求項２記載の画像情報入出力装置。
4. 【請求項４】 被写体を撮像し該被写体の各部位の奥行
   き情報を得る画像情報入出力方法において、前記被写体
   の画像を複数の視点に投影し、該投影された複数の画像
   の輪郭に基づき前記被写体の各部位の奥行き情報を求め
   る輪郭計測段階と、前記被写体を二つの視点により撮像
   し、該二つの視点により撮像された被写体の二つの画像
   から前記二つの視点の視差を用いて前記被写体の各部位
   の奥行き情報を求めるステレオ計測段階と、前記輪郭計
   測段階により得られた奥行き情報と前記ステレオ計測段
   階により得られた奥行き情報とに基づいて前記被写体の
   各部位の奥行き情報を求める統合段階とを含むことを特
   徴とする画像情報入出力方法。
5. 【請求項５】 被写体の画像を複数の視点に投影し、該
   投影された複数の画像の輪郭の外側に係る座標情報を前
   記被写体を含む空間の各座標を表現する空間座標情報か
   ら除去することにより、前記空間座標情報に残された座
   標情報から前記被写体の三次元形状を把握することを特
   徴とする画像情報入出力方法。