JPH08201941A

JPH08201941A - ３次元画像形成方法

Info

Publication number: JPH08201941A
Application number: JP7003431A
Authority: JP
Inventors: Toshio Nagata; 敏雄永田
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1995-01-12
Filing date: 1995-01-12
Publication date: 1996-08-09

Abstract

(57)【要約】【目的】本発明は、少ない画像データによって、高画
質の３次元画像を形成することを目的とする。【構成】物体２に対して一直線上に配列されたカメラ
１０ａ、１０ｂ，１０ｃにより視差画像を生成し、隣接
するカメラ１０ａと１０ｂからの一対の視差画像から仮
想カメラ１１における画像を補間により生成し、同様
に、隣接するカメラ１０ｂと１０ｃからの一対の視差画
像から仮想カメラ１２における画像を補間により生成す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は３次元（３Ｄ）画像の形
成方法に関し、特に、多眼カメラ画像（multiple camer
a images) についてカラー・ブロック・マッチングによ
る対応性を検出し、これに基づき画像の補間を行う３次
元画像の形成方法に関する。

【０００２】

【従来の技術及びその課題】３次元画像は、リモートセ
ンシング、ロボット工学及びＣＡＤのような分野におい
て、重要度を増している。また、コンスーマ・エレクト
ロニクス分野においても、３次元ＴＶの潜在的な需要
は、ＨＤＴＶよりも高いものと期待されている。これ
は、３次元ＴＶが、２次元ＴＶでは行えない、視差をも
った自然画像を観察者に提供することができるという利
点を持つためである。

【０００３】今日利用されている３次元表示装置は、ス
テレオ技術に基づくものであり、これは、視差をもった
若干異なる２つの画像を観察者に提供するものである。
このような２つの画像（ステレオ画像）は交互にスクリ
ーンに表示され、つまり、観測者が、右または左の画像
を、それぞれ対応する目で観測することができるよう
に、液晶シャッタと同期して表示される。あるいは、左
右の画像を異なる偏向を有する光で表示し、偏向メガネ
を利用して左右の目にそれぞれ呈示するようにする。

【０００４】ステレオ画像は、通常、コンピュータグラ
フィックス（ＣＧ）か、または互いに平行に配置された
２つのＴＶカメラによって生成される。ＣＧを用いた場
合、視点または観察角度を観察者の要求によって容易に
変えることができる。しかし、自然画像の場合、カメラ
の位置はほとんど固定されているため、観測者の要求に
応じてこれらのパラメータを変えることは困難である。

【０００５】極く自然の３次元的な知覚を得るために
は、多くの画像が必要である。テレビ番組のような動画
への用途を考えた場合、このデータ量は現実的ではな
い。３次元ＴＶへの用途において、多眼カメラ画像が受
け入れられるようにする為には、画像の数を減らすこと
が鍵である。

【０００６】

【従来技術の課題】これまでに比較的少数の視差画像か
ら任意の角度の画像を生成する補間方式が提案されてい
る。しかしながら、これらの従来技術は、画像間の対応
点の検出に、１次元すなわち水平線上のエッジ位置や画
素値等の情報しか利用しておらず、このため、視差が大
きくなると、垂直方向のエッジの対応づけが滑らかに行
われないという課題があった。

【０００７】本発明の目的は、上記従来技術の課題を解
決し、画像データを削減しつつも、画像品質の優れた３
次元画像を形成可能な３次元画像形成方法を提供する。
本発明の他の目的は、多眼カメラ画像に対するカラー・
ブロック・マッチングに基く対応性検出方式を用いた３
次元画像形成方法を提供する。本発明の他の目的は、階
層サーチにより画素毎の対応性を検出し、これによって
画素を補間生成する３次元画像形成方法を提供する。本
発明の他の目的は、画像データを削減し、画像形成に要
する処理時間を短縮可能な３次元画像形成方法を提供す
る。本発明の他の目的は、既存のＴＶ動画に適用可能な
３次元画像形成方法を提供する。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係る３次元画像形成方法は、以下の手段を
採用する。３次元画像形成方法は、少なくとも一対の視
差画像を生成するステップと、上記一対の視差画像相互
間において、各画素間の対応性を検出するステップと、
相互に対応性がある画素を参照して、上記一対の視差画
像間に補間される画像の画素を生成するステップと、上
記一対の視差画像及び補間された画像を用いて３次元画
像形成を行うステップとを有する。

【０００９】また、他の手段として、本発明の３次元画
像形成装置は、複数の視差画像を生成するステップと、
各々隣接する視差画像を対として、各対の視差画像相互
間において、各画素間の対応性を示す視差ベクトルを検
出するステップと、上記視差ベクトルの連続性から視差
画像内のオクルージョン領域を識別するステップと、オ
クルージョン領域を含む視差画像に隣接する視差画像に
ついて得られた視差ベクトルを参照して、オクルージョ
ン領域内の対応性を示すべき画素位置を表する第２の視
差ベクトルを算出するステップと、上記第２の視差ベク
トルによって特定された画素位置の画素を、隣接する視
差画像の対応する画素を補間することによって生成する
ステップと、上記視差ベクトル及び第２の視差ベクトル
によって特定された各画素を参照して、上記複数の視差
画像間に補間すべき画像を生成するステップと、上記複
数の視差画像及び補間された画像を用いて３次元画像形
成を行うステップとを有する。

【００１０】本発明の好ましい態様では、多眼カメラ画
像についてカラー・ブロック・マッチングに基く対応性
検出を行い、３次元画像を形成する。即ち、隣接するカ
メラ画像における画素毎の対応性（a pixel-by-pixel c
orrespondence)を利用して、仮想カメラの位置における
画像を補間によって生成する。

【００１１】また、他の態様では、計算量を減少させる
ために、階層サーチ方法（hierachical search method)
を適用する。さらに、従来のテレビ装置との両立性を維
持するため、入力画像のフォーマットは４：２：２と仮
定する。補間には、カメラの距離に応じた重み付け平均
を用いる。物体の陰に隠れて見えないようなオクルージ
ョン領域（occluded area)に対する対応性も一連の多眼
カメラ画像における視差ベクトル（disparity vector)
の連続性を利用して処理する。

【００１２】

【作用】このように、本発明によれば、視差画像間の画
素毎の対応性を検出し、この検出結果に基づき視差画像
間に画像を補間するため、３次元画像を生成するに当た
って、従来のように膨大な画像データを必要とするもの
ではなく、しかも、適切な補間処理を行うことにより高
画質の画像を期待することができる。

【００１３】

【実施例】本発明の一実施例を図面を参照して説明す
る。先ず、本発明の概念を図１及び２を参照して説明す
る。１組の視差画像は、図１に示すように、一直線ＡＢ
上に整列された複数の多眼カメラ１によって物体２を撮
像することにより得ることができる。カメラ間の距離が
観察者の眼球の距離に概ね等しく、そして、隣り合う一
対の画像、即ち、左右の画像が対応する目に呈示されれ
ば、これらの画像は、３次元的な感覚を提供することが
できる。なお、画像の中心に物体を保つ為に、カメラ１
は、各々の位置で回転できるようにしておかなければな
らない。このようなカメラの配置により、捉えられた画
像に歪みが生ずるが、これは前処理で補正される。前処
理の目的は、カメラの配列（図１の線ＡＢ）と平行な面
上に像を投影することにより、同じ水平線上にあるべき
各画像の画素を同じ水平線上に正しく配置し直し、歪を
取り除くことである。

【００１４】極く自然の３次元的な感覚を得るために
は、約１００枚の画像が必要であると言われている。最
新の圧縮技術を用いても、現存の通信回線を通じて伝送
するには、このデータ量は現実的ではない。このため、
データ削減技術が必要である。３次元画像の質を劣化さ
せることなく、幾つかのカメラ位置における画像を省略
することができれば、データを削減することができる。

【００１５】本実施例は、物体２に対して一直線上に配
列されたカメラ１０ａ、１０ｂ，１０ｃにより視差画像
を生成し、隣接するカメラ１０ａと１０ｂからの一対の
視差画像から仮想カメラ１１における画像を補間により
生成し、同様に、隣接するカメラ１０ｂと１０ｃからの
一対の視差画像から仮想カメラ１２における画像を補間
により生成する。このように、図１に示すような中間に
位置するカメラを削除し、隣り合う一対のカメラから得
られた一対のステレオ画像を用いて、削除されたカメラ
位置１１、１２における画像を補間するものである。そ
して、この補間に必要な情報は、左右の視差画像間の画
素毎の対応性である。

【００１６】以下に、画素毎の対応性の検出、及び画像
の補間を行うためのアルゴリズムを説明する。図２に示
すように、１組の視差画像は一対のステレオ画像に相当
する。第１段階では、隣接する一対のステレオ画像の対
応性を検出し、第２段階では、オクルージョン（occlus
ion)領域の対応性を検出する。

【００１７】図３は、本実施例に係る対応性検出方法を
示すブロック図である。先ず、第１ステップ１０１にお
いて、画像を２回サブサンプルすることにより、解像度
が１／１６及び１／４の層を生成する。ここで、既存の
ＴＶとの両立性を考慮して、画像フォーマットを４：
２：２とするため、Ｙ成分について水平方向及び垂直方
向の双方でサブサンプルし、１／４層を生成する。他
方、Ｃｂ及びＣｒ成分について垂直方向でだけサブサン
プルし、１／４層を生成する。次に、３つの成分（Ｙ，
Ｃｂ，Ｃｒ）について水平及び垂直の双方向で再びサブ
サンプルし、１／１６層を生成する。

【００１８】第２ステップ１０２において、ソーベル・
オペレータ（Sobel operator) を用い、フルサイズのＹ
成分（７２０×４８０）についてのエッジ（edge) 画像
を検出する。なお、エッジとは、画像において、ルミナ
ンス（輝度）が急峻に変化する部分の意である。次に、
このフルサイズのエッジ画像を用い、夫々隣合う２×２
及び４×４画素の論理和を局所的に実施することによ
り、１／４層と１／１６層のエッジ画像を生成する。

【００１９】第３ステップ１０３ないし第５ステップ１
０５は、階層サーチによるブロックマッチングの処理を
示すものである。本実施例において、ブロックのマッチ
ングは、計算を少なくし、かつ、平坦な領域（例えば、
壁などのようにエッジのない領域）で誤った対応性を摘
出するのを避けるために、エッジポイント（edge poin
t) だけを対象にする。これは３つの層全部に対して言
えることである。階層サーチ法は、より高い（またはよ
り小さいサイズの）層で検出された対応性を使って、よ
り低い（またはより大きいサイズの）層の対応性を検出
するものであり、こうして、対応した点の間の座標の差
から視差ベクトルが求められる。

【００２０】このため、先ず、１／１６層のエッジ画像
において、エッジ回りのブロックのマッチングが行われ
る（ステップ１０３）。例えば、左側の画像のあるエッ
ジポイントについてのサーチを行う場合、当該エッジポ
イントを中心とするブロックを想定し、右側の１／１６
層のエッジ画像内の対応する位置に前記ブロックと同じ
高さで一定の幅をもったサーチ領域を画定し、該サーチ
領域内のブロックを１画像づつ左右に移動させることに
より領域内のブロックとのマッチングが行われ、マッチ
ング位置を示す視差ベクトルが求められる。ブロックの
大きさは、画像の詳細さに応じて、７×７から１１×１
１の範囲で選択する。こうして、各エッジポイントを含
むブロックについてのマッチングが行われ、視差ベクト
ルが算出される。

【００２１】次に、１／１６層で検出された視差ベクト
ルの周りで、１／４層についての更に細かいサーチが実
施される（ステップ１０４）。最後に、１／４層におい
て得られた視差ベクトルを参照し、フル解像度の層（fu
ll resolution layer)について、詳細なサーチが行われ
る。

【００２２】また、ステレオ画像は、上述したように、
前処理によって各画像の水平線を予め調整しているた
め、水平の視差しか存在せず、従って、ブロックマッチ
ングにおけるサーチは、水平方向にのみ行えば良い。つ
まり、１つの画像から次の画像へのサーチが、１つの方
向、例えば左から右への順序に沿って行なわれる。式
（１）に、本実施例におけるサーチの判断基準を示す。
ここで、Ｗはブロックの矩形窓であり、その中心がエッ
ジ点である。添字Ｒ及びＬは、それぞれ右側及び左側の
画像の成分を表わす。この式では、クロミナンス（色）
情報（Chrominanceinformation)を活用している。つま
り、赤や灰色の色彩についての階調において、その差を
識別できない場合があるため、特に高い層にとってクロ
ミナンス情報は重要なものとなる。他方、式（１）にク
ロミナンス情報を用いる欠点は、誤差の評価の為に３倍
の計算を要することである。更に、水平方向のクロミナ
ンスのフル解像度がルミナンス（Ｙ）の解像度の半分で
あるため、フルサイズのクロミナンス情報を利用するこ
とができない。この為、式（１）の第２項及び第３項
は、１／１６層についてのみ評価する。また、ａの値は
１／１６層について０．５と設定する。フル解像度の層
と１／４層については、ａを０とし、Ｙ成分だけを用い
てマッチングを行う。

【００２３】適合するブロックが、最小の誤差値Ｅ_min
（ｐ_min）を与えるブロックとして検出される。

【数１】ここでｐ_minは視差ベクトルである。

【００２４】次に、隣合う一対のステレオ画像から中間
の画像を補間する方法を説明する。図４において、左右
のカメラ２０ａ，２０ｂ間の距離がＬであるとし、これ
らの２つのカメラの間に仮想カメラ２１を配置したと仮
定する。左側及び右側のカメラから測った仮想カメラの
距離を、それぞれＤ_L及びＤ_Rとする。対応性はエッジ
ポイントに対してだけ検出されるが、オクルージョンの
ために対応性をもたない幾つかのエッジポイントがあ
る。画素毎の対応性を求めるために、２つの対応した点
を結ぶ水平線分上にある点も対応性を持つものと仮定す
る（図５参照）。

【００２５】図５は、Ｐ_L1Ｐ_L2とＰ_R1Ｐ_R2の間の線の対
応性を用いてＰ_L及びＰ_Rの間の点の対応性を求める方
法を説明する図である。求めるべきＰ_L及びＰ_Rのｘ座
標は、短い方の線上の点を長い方の線上に線形写像する
ことによって決定される。点Ｐ_L1 ^,Ｐ_L2 ^,Ｐ_R1 ^,Ｐ_R2 ^,
Ｐ_L及びＰ_Rのｘ座標を、それぞれｘＰ_L1 ^,ｘＰ_L2 ^,ｘ
Ｐ_R1 ^,ｘＰ_R2 ^,ｘＰ_L及びｘＰ_Rとする。｜ｘＰ_L2−ｘ
Ｐ_L1｜＜｜ｘＰ_R2−ｘＰ_R1｜と仮定すると、ｘＰ_L1は次
式に示すように、ｘＰ_Rから導き出される。

【数２】

【００２６】また、不等号が逆になれば、上の式で左側
及び右側の添字Ｌ及びＲを入れ替えなければならない。
このようにして検出された対応する点の左右の画像の各
画素値を、それぞれｐ _L及びｐ_Rとすると、補間される
画素値Ｐ_Iは、次式で表わされる。

【００２７】

【数３】但し

【数４】Ｌ＝Ｄ_R＋Ｄ_L (4) ここで、Ａは、０＜Ａ＜１を満足する定数である。

【００２８】式（３）及び（４）に示されるように、２
つのカメラ間の任意の位置にある画像は、補間によって
生成可能であることが明らかであろう。また、対応性検
出過程で解決しなければならない問題は、オクルージョ
ンである。１つの物体に対する視線が特定の観察角度で
他の物体によって覆われる時、オクルージョンが生じ
る。一般に、オクルージョンとされた物体は、異なる観
察点から観測することができる。このことは、一連の画
像の視差ベクトル（disparity vector) の連続性を活用
することによって、オクルージョン領域についての対応
性を求めることができることを意味している。

【００２９】図６に示された視差画像を例にしてオクル
ージョン処理を説明する。図６（ａ）に示すように、一
列に配置された多眼カメラ６１、・・・６５を仮定し、
図６（ｂ）ないし（ｆ）は、各々多眼カメラ６１ないし
６５の画像であるとする。図６（ｂ），（ｃ），（ｅ）
及び（ｆ）に丸で囲った領域７０は、図６（ｄ）では物
体７１の陰となって見ることがでいない。前述した対応
性の検出アルゴリズムは、カメラ６２、６３に対応する
一対の画像（ｃ）と（ｄ）、及びカメラ６３、６４に対
応する一対の画像（ｄ）と（ｅ）について、丸で囲った
領域７０に対する対応性を検出することができない。つ
まり、図５の点Ｐ_L又はＰ_Rの内の一方が存在しないの
で、補間された画像に重大な歪みが生ずる。

【００３０】本実施例では、オクルージョンの点に対す
る対応性を求めるために、一連の視差ベクトルの連続性
を調べる。図７に示すように、先ず、カメラ６１と６２
により撮像された画像（ｂ）と（ｃ）間の対応性検出に
より視差ベクトルＶ₁が検出される。次に、画像（ｃ）
と（ｄ）間の対応が検出できなかった時、言換えれば、
視差ベクトルＶ₂を定めることができない時、Ｖ₁と大
体同じベクトル値を持つベクトルＶ₄（Ｖ₁Ｖ₄）が見
付かるまで、前のベクトルＶ₁を隣りの画像（ｄ）にま
で延長をする。その後、２つの点Ｐ₂及びＰ₄の間で式
（１）に定められた誤差値を計算する。この誤差値が閾
値より小さければ、ベクトルＶ₂及びＶ ₃は次に示すよ
うに、Ｐ₂及びＰ₄のｘ座標によって定められる。

【００３１】

【数５】ここで、式（１）の評価の為、１／１６層についてだけ
クロミナンス情報を用い、１／４層とフル解像度の層に
ついては、ルミナンス項だけが評価される。

【００３２】補間では、オクルージョンの点の画素値を
式（３）の右辺の第１項又は第２項によって計算しなけ
ればならない。オクルージョンの点が見えるかどうか
は、仮想カメラの位置に依存することに注意されたい。
また、オクルージョンの点が見えるかどうかの曖昧さを
避ける為、補間は、視差ベクトルの値から得られる奥行
情報を用いて、奥行方向の遠点から近点へと行なうべき
である。即ち、補間は小さい視差ベクトルを持つ点から
開始され、大きな視差ベクトルを持つ点へと進む。こう
して、遠方に於けるオクルージョンによる歪みは、オク
ルージョンが存在しない近距離の画素値によって上書き
され、是正することができる。

【００３３】このように、本実施例では、３次元画面に
おける空間的なサンプリングのギャップを埋めるための
補間アルゴリズムを説明した。このアルゴリズムは、ブ
ロックのマッチングに基づいており、これは、誤ったベ
クトルを抽出するのを避ける為に、階層サーチの最上層
でクロミナンス情報を用いる。そして、ルミナンス情報
を用いて、２番目及び３番目の層に対するベクトルの手
直しを行っている。オクルージョン領域に対する対応性
も、相次ぐ一連の画像を活用した視差ベクトルの連続性
を利用して処理している。

【００３４】図８は本実施例の３次元表示方法を利用し
たシステムの構成例である。画像を幾つかのカメラによ
って捉え、これらの視差画像をコントローラ８１内のデ
ィスクに記憶する。視差ベクトルが前述した方法によっ
て予め計算され、同じようにディスクに記憶される。偏
向眼鏡を備えた視点位置追跡装置８２（アイ・ポジショ
ン・トラッカー）が、観察者の目の位置を検出し、その
位置をコントローラ８１へ送る。コントローラ８１が、
一対のステレオ画像を発生し、プロジェクタ８３を介し
てそれをスクリーン８４に表示する。表示される画像の
観察角度が、観察者の目の位置の変化に従って更新され
る。

【００３５】以上、本発明の一実施例に関し詳述した
が、本発明はこれに限定されるものではない。

【００３６】

【発明の効果】本発明によれば、視差画像間の画素毎の
対応性を検出し、この検出結果に基づき視差画像間に画
像を補間するため、少ない多眼カメラ画像から３次元画
像を生成することができ、従来のように膨大な画像デー
タを必要とするものではない。その結果、データ伝送ま
たは処理に要する時間も短縮可能である。しかも、適切
な補間処理を行うことにより高画質の画像を期待するこ
とができる。

【図面の簡単な説明】

【図１】多眼カメラによる画像生成を説明する図、

【図２】本発明の概念である補間を利用した画像生成を
説明する図、

【図３】本発明の実施例に係るステレオ画像における対
応性検出のステップを示すブロック図、

【図４】本発明の実施例に係る画像補間を説明する図、

【図５】画像補間における画素毎の対応性検出方法を説
明する図、

【図６】視差画像におけるオクルージョン領域を説明す
る図、

【図７】オクルージョン領域に対する対応性検出方法を
説明する図、

【図８】本実施例に係る３Ｄ表示システムの一例を示す
図。

【符号の説明】

１、１０ａ、１０ｂ、１０ｃ、２０ａ、２０ｂカメラ２、７１物体１１、１２仮想カメラ

Claims

【特許請求の範囲】

【請求項１】少なくとも一対の視差画像を生成し、上記一対の視差画像相互間において、各画素間の対応性
を検出し、相互に対応性がある画素を参照して、上記一対の視差画
像間に補間される画像の画素を生成し、上記一対の視差画像及び補間された画像を用いて３次元
画像形成を行うことを特徴とする３次元画像形成方法。
【請求項２】請求項第１項において、上記各画素間の
対応性を検出するステップは、上記一対の視差画像をサ
ブサンプリングし、サブサンプリングして得られた低解
像度の層相互間において各画素間の第１の対応性を検出
し、該第１の対応性の検出結果を利用して上記一対の視
差画像相互間の画素の対応性を検出する階層サーチステ
ップを含むことを特徴とする３次元画像形成方法。
【請求項３】請求項第２項において、上記階層サーチ
ステップは、上記一対の視差画像についてエッジ画像を
生成し、該エッジ画像により上記第１の対応性を検出す
るステップを含むことを特徴とする３次元画像形成方
法。
【請求項４】請求項第３項において、上記階層サーチ
ステップは、さらに上記一対の視差画像の色差情報を考
慮して上記第１の対応性を検出するステップを含むこと
を特徴とする３次元画像形成方法。
【請求項５】請求項第１項の３次元画像形成方法は、
物体に対して複数の撮像装置を配列し、各撮像装置から
視差画像を生成することを特徴とする３次元画像形成方
法。
【請求項６】複数の視差画像を生成し、各々隣接する視差画像を対として、各対の視差画像相互
間において、各画素間の対応性を示す視差ベクトルを検
出し、上記視差ベクトルの連続性から視差画像内のオクルージ
ョン領域を識別し、オクルージョン領域を含む視差画像に隣接する視差画像
について得られた視差ベクトルを参照して、オクルージ
ョン領域内の対応性を示すべき画素位置を表す第２の視
差ベクトルを算出し、上記第２の視差ベクトルによって表された画素位置の画
素を、隣接する視差画像の対応する画素を補間すること
によって生成し、上記視差ベクトル及び第２の視差ベクトルによって特定
された各画素を参照して、上記複数の視差画像間に補間
すべき画像を生成し、上記複数の視差画像及び補間された画像を用いて３次元
画像形成を行うことを特徴とする３次元画像形成方法。