JPH1013860A - 立体画像補間装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 カメラによる撮像または計算機上の処理によ
り得られた立体画像を、ディスプレイや印刷により立体
視可能にする立体画像装置に係り、特に両眼用の２つの
映像より更に多くの視点の映像を再生可能とする立体画
像の撮像・処理・表示装置に関する。 【解決手段】 多くの視点の画像を用いた立体画像を扱
う立体画像補間装置において、異なった視点の左右２つ
の既存画像を用いて、既存画像の視点に挟まれる視点に
相当する画像を補間して作る際に、移動ベクトルの探索
範囲を、既存画像の視点距離に応じて設定し、左右２つ
の既存画像間の絵柄のずれを表わす移動ベクトルを求め
る移動ベクトル検出手段８と、補間画像と既存画像の視
点位置関係及び移動ベクトルから、補間のための左右の
既存画像の移動量をブロック単位で算出する移動量算出
手段９と、左右の既存画像を夫々の移動量分だけブロッ
ク単位で移動させる画像移動手段３，１３と、移動した
左右の既存画像を被補間画像と既存画像の位置関係に応
じた係数を乗じて、加算して補間画像を得る手段４，
５，１４とで構成した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】カメラによる撮像または計算
機上の処理により得られた立体画像を、ディスプレイや
印刷により立体視可能にする立体画像装置に係り、特に
両眼用の２つの映像より更に多くの視点の映像を再生可
能とする立体画像の撮像・処理・表示装置に関する。

【０００２】

【従来の技術】

＜立体画像＞画像の立体撮像及び立体表示では、右目用
の画像と左目用の画像の２種類の画像のみを得て表示す
る装置が一般的であり、この場合、見られる立体画像は
１種類だけとなる。

【０００３】一方、より多くの視点（角度）から画像を
撮像し、各画像をそれに応じた視点から見られるように
表示することで、多くの視点に応じた立体画像表示が可
能になる。この場合、再生画像を見る際に、視点を変え
ると、それに応じて実際に見える画像も変化するので、
非常に自然な立体画像表示となる。多くの画像を角度に
応じて表示するのは、高精度の印刷及びレンチキュラレ
ンズを用いることで可能となる。

【０００４】この様な装置では、多くの視点の画像を得
るのに、対象が静物の場合はカメラを移動しながら撮像
する。この場合、視点を細かく設定して立体画像の品質
を上げようとすると、多くの画像を取り込むことになる
ので、時間を要し、その間は静物の撮影状態を保持する
必要がある。

【０００５】対象が人物や動物の場合には、瞬間的にす
べての視点の画像を得る必要があるので、視点毎にカメ
ラを置いて同時に撮像する。この場合、非常に多くのカ
メラが必要になり、その画像情報の蓄積も瞬間的に行な
わなければならない。夫々のカメラの位置や状態( ズー
ム、フォーカス、アイリス) を合わせる必要があり、多
くの視点の画像を得るのは困難である。

【０００６】そこで、すべての視点の画像を撮像により
得るのではなく、撮像する視点を間引き、他の視点の画
像は得られた画像からコンピュータ等を用いた画像処理
により補間作成する方法が検討されている。

【０００７】この場合の撮像形態を図４に示す。立体画
像の対象物に対して左と右の２方向から視点を変えて撮
像し、得られた画像から電子的処理により補間画像を得
る。これらの処理手法は、"Electronically Interpolat
ed Integral PhotographySystem"(ＵＳＰ−５４５５６
８９) や「ステレオ画像から奥行き画像のための中間画
像を構成する方法及び装置」（特開平７−２１０６８６
号）に示されている。

【０００８】

【発明が解決しようとする課題】従来の立体画像補間装
置は、演算の高速化のため移動ベクトルの検出を１走査
線内( 水画素列内) に限定している。そのため視点の変
化に奥行きが変わるために起こる画像の垂直方向の微小
移動や撮像位置のずれに対応出来ない。

【０００９】また、移動ベクトル演算に用いる画素数が
十分でないために、ノイズや画素サンプル位置の微小な
ずれ等により誤った移動ベクトルが求められる可能性が
高い。一方、動画像の動きベクトル検出で用いられる手
法をそのまま適用すると、移動ベクトルを求めるパター
ンマッチング演算量は非常に多く、その処理に多くの時
間や回路を要する。

【００１０】本発明は以上の点に着目してなされたもの
で、得られた複数の視点の画像から、その間の画像を補
間するのに必要な画像間のずれである移動ベクトルを求
める際に、ブロックマッチングで探索範囲を適切に設定
することにより、正確な移動ベクトルを得て補間を行な
う立体画像補間装置を提供することを目的とする。

【００１１】また、従来の立体画像補間装置は、対象物
と背景の境界部分などで、左画像と右画像が適合（マッ
チ）せず、正しい移動ベクトルが求められない。そのた
め、適切な補間画像が得られない。また、画像の端では
同様に正しい移動ベクトルが求められず、適切な補間画
像が得られない。特に既存画像の視点距離を離すと、広
範囲に渡って左右画像が適合しない部分が生じ、補間画
像の画質が悪くなる。本発明は以上の点に着目してなさ
れたもので、周辺と異なる移動ベクトルを修正すること
で、正確な移動ベクトルを得て適切な補間を行なう立体
画像補間装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明は、多くの視点の
画像を用いた立体画像を扱う装置において、異なった視
点の左右２つの既存画像を用いて、前記既存画像の視点
に挟まれる視点に相当する画像を補間して作る際に、移
動ベクトルの探索範囲を、既存画像の視点距離に応じて
設定し、前記左右２つの既存画像間の絵柄のずれを表わ
す移動ベクトルを求め、補間画像と既存画像の視点位置
関係及び前記移動ベクトルから、補間のための左右の既
存画像の移動量をブロック単位で算出し、左右の既存画
像を夫々の移動量分だけブロック単位で移動加算して補
間画像を得る立体画像補間装置である。

【００１３】また、移動ベクトル検出手段において、視
点の変化する方向である水平方向の探索範囲を、それと
直交する垂直方向の探索範囲の２倍以上に設定し、前記
移動ベクトルを求める立体画像補間装置である。さら
に、移動ベクトル検出手段において、視点の変化する方
向である水平方向の探索範囲を、左方向の範囲と右方向
の範囲でその絶対値を変えて設定し、前記移動ベクトル
を求める立体画像補間装置である。

【００１４】本発明では、補間するのに必要な画像間の
ずれである移動ベクトルを求める際に、ブロックマッチ
ングによりマッチング演算の参照画素が多くなり誤検出
が少なくなる。既存画像の視点距離に基づき、水平方向
を垂直方向より広く探索することにより、垂直方向の移
動が僅かである立体画像の画像移動に適合する。

【００１５】また、左右の探索範囲を変え、背景がある
場合は背景の移動が対象物より大きいので、広い方を背
景の移動方向とすることで、背景がない場合は、対象物
の手前のみの移動で背景の移動がないので、背景の移動
方向を小さくすることで実際の移動に適合出来る。以上
のように探索範囲を実際の移動範囲に適合させること
で、誤検出が少なく演算量も少ない画像補間が可能とな
る。

【００１６】また、本発明は、多くの視点の画像を用い
た立体画像を扱う装置において、異なった視点の左右２
つの既存画像を用いて、前記既存画像の視点に挟まれる
視点に相当する画像を補間して作る際に、前記左右２つ
の既存画像間の絵柄のずれを表す移動ベクトルを求め、
移動ベクトルが周辺大きく異なる場合、移動ベクトルを
周辺の移動ベクトルに修正し、補間画像と既存画像の視
点位置関係及び前記移動ベクトルから、補間のための左
右の既存画像の移動量をブロック単位で算出し、左右の
既存画像をそれぞれの移動量分だけブロック単位で移動
し、移動ブロックを修正しないブロックでは左右画像を
加算して、修正したブロックでは右または左の画像のど
ちらか一方のみを用いて補間画像を得る立体画像補間装
置である。

【００１７】前記処理で移動ベクトルの修正で、隣接す
る周辺のいずれとも移動ブロックが異なるブロックを修
正対象とし、右または左のブロックで移動ベクトルの絶
対値の大きな方を選択する立体画像補間装置である。ま
た、前記処理で移動ベクトルを修正したブロックの補間
で、移動ベクトルが交差しない方向の画像のみを用いる
立体画像補間装置である。さらに、前記処理で移動ベク
トルが適切に求められない画像の末端で、移動ベクトル
を正しく求められた領域のものに修正する立体画像補間
装置である。

【００１８】本発明では、補間するのに必要な画像間の
ずれである移動ベクトルを求め、移動ベクトルが周辺の
ブロックと異なる場合に移動ベクトルを修正するが、立
体画像の画像ずれはブロック間の相関が高いので、周辺
と異なる移動ベクトルは左右の既存画像両方に適合部分
が存在せず、それにより誤った移動ベクトルである可能
性が高にので、周辺のいずれかの移動ベクトルに修正す
ることでより確からしい移動ベクトルとなる。この様な
ブロックは左右両方に適合部分が存在しないが、立体画
像の場合、左か右のどちらかには適合部分存在するの
で、片方から補間することで、適切な補間が可能にな
る。

【００１９】また、移動ベクトルの修正で、右または左
のブロックで移動ベクトルの絶対値の大きな方を選択す
るが、画像の視点移動で出現する画像は移動量の大きな
画像部分の領域である確率が高く、これにより確からし
い移動ベクトルとなる。さらに、移動ベクトルを修正し
たブロックの補間で、移動ベクトルが交差しない方向の
画像のみを用いることで、移動領域の大きな画像部分を
補間に用いることになり、適合部分が補間に使われる可
能性が高い。

【００２０】画像の末端では適切な移動ベクトルが求め
られないが、ある程度以上内側のブロックは、末端の影
響を受けないので、その移動ベクトルで置き換えること
で正しい補間となる。以上の様に移動ベクトルを修正
し、片方の画像のみを補間に用いることで、より確から
しい補間が可能になり、補間画像の画質もよくなる。

【００２１】

【発明の実施の形態】

＜立体画像補間装置１＞本発明の立体画像補間装置の一
実施例について図と共に以下に説明する。図１は、本発
明の立体画像補間装置の一実施例のブロック構成図であ
る。右画像入力１と左画像入力１１から供給された既存
画像は、夫々画像メモリ２と１２に蓄積される。画像メ
モリ２と１２に蓄えられている右左の既存画像は、画像
移動器３と１３に与えられると共に、移動ベクトル検出
器８で画像間の移動ベクトルを求めるために使われる。

【００２２】移動ベクトル検出器８は、左右の既存画像
と、既存画像視点情報入力７から与えられる既存画像の
視点情報（視点距離）から、移動ベクトルを４×４乃至
１６×１６画素のブロック毎に求める。ここで行なわれ
る移動ベクトルの検出処理手法は、動画像のフォーマッ
ト変換用の動き補償画像補間で用いられる動きベクトル
の検出処理手法に類似している。

【００２３】フォーマット変換用の処理手法は、「画像
信号の走査線変換装置」（特開平６−１３３２８０号及
び特開平６−１４１２９１号）、“Video Signal Inter
polation Using Motion Estimation”（ＵＳＰ−４３８
３２７２）に記載されており、そこで時間の異なった画
像の代わりに視点の異なった画像を用いる。既存画像に
挟まれる視点の補間画像を得る際に、既存画像と補間画
像の相対位置（角度）が視点情報入力から与えられる。

【００２４】移動量算出器９は、視点情報と移動ベクト
ル情報から右画像と左画像の移動量を算出する。移動ベ
クトル情報は視点によらず、入力された既存画像に対し
てひとつであるが、移動量は視点によって変化する。

【００２５】移動ベクトルが（ｘ，ｙ）で、補間画像と
右画像の視点の距離がａ、補間画像と左画像との視点の
距離がｂなら、右画像の移動（ｘ´，ｙ´）は、 ｘ´＝ｘ×ａ／（ａ＋ｂ），ｙ´＝ｙ×ａ／（ａ＋ｂ）
となる。

【００２６】画像移動器３，１３は、画像をブロック毎
に画像メモリ２，１２から得て、移動量算出器９から与
えられる移動量分だけ移動し、出力を乗算器４と１４に
供給する。乗算器４と１４は、画像信号に係数ｋと（１
−ｋ）を夫々乗じる。

【００２７】係数ｋは視点情報により決まり、視点に近
い方の画像の割合が多くなるようにする。具体的方法の
ひとつは、ｋ＝ｂ／（ａ＋ｂ）とする。また、これを簡
略化し、ｋを０と１／２と１に近似してもよい。

【００２８】乗算器４，１４で重み付けされた画像は、
加算器５で加算され、補間画像となって補間画像出力６
から出力される。視点情報は必要に応じて順次変更さ
れ、それに応じた補間画像が得られる。既存画像の視点
が１０度異なっていた場合、それを１０分割した視点の
補間画像を得れば、最終的に１度毎の視点に相当する画
像１１枚となる。

【００２９】＜移動ベクトル検出での探索範囲＞本実施
例で特徴となる項目が、図５に示した移動ベクトル検出
における探索範囲の設定である。移動ベクトルを求める
際に、探索範囲を必要十分なものに設定することは、正
しい補間画像を得る上で重要である。

【００３０】探索範囲が必要以上に広いと誤った移動ベ
クトルを検出する可能性が高くなる。これは、動画像の
動きベクトルの検出の探索範囲が一般に広いほど良いの
と大きく異なる。

【００３１】動き補償においては、動きベクトルの発生
状況は、水平方向にやや広がるが、垂直方向と水平方向
で大きな差はない。一方、立体画像の場合は大きく異な
り、基本的に水平方向のみであり、従来例では水平方向
に限定した処理をしている。しかし、対象物体の位置が
無限遠でない限り、視点の違いで奥行方向の位置（視点
から対象までの距離）が変化すると、画像の上部や下部
では垂直方向にも若干のずれを生じる。

【００３２】一方、既存画像間の視点のずれと対象物の
位置関係から、画像の移動は必ずある範囲に収まる。従
って、水平方向の探索範囲もそれにより制限される。図
３の様な形態で撮像する場合、基本的に対象物が画像中
央に来るように撮像するのが常なので、対象物から奥行
き方向に離れた背景部分の移動ベクトルが大きくなる。

【００３３】ここで背景を暗幕等とし、絵柄をなくした
場合は、その移動ベクトルを無視出来るので、対象物の
みの移動となり探索範囲を小さく出来る。

【００３４】移動ベクトル検出器８の内部構成を図４と
共に以下に示す。図４で画像メモリ２、１２は図１の画
像メモリ２、１２に相当するである。基本動作はブロッ
ク単位のパターンマッチングで行なわれる。この処理
は、既存画像が記録されている画像メモリ２，１２のア
ドレスを設定し、探索範囲内の移動ベクトル毎に既存画
像データを得て、マッチング誤差の最も少ない移動ベク
トルを選ぶ。

【００３５】アドレス発生器４１で移動ベクトルが０の
場合の画像アドレスが発生され、出力される。これはブ
ロック単位に変化するアドレスと、ブロック内の画素単
位で変化するアドレスがある。

【００３６】一方、仮ベクトル発生器４６から、探索範
囲内の移動ベクトルが順次出力される。仮ベクトル発生
器４６からの仮移動ベクトルとアドレス発生器４１から
のブロックアドレスが加算器４２と４７で加算され、移
動ベクトルを含んだアドレスが画像メモリ２，１２に与
えられる。

【００３７】加算器４２で加算される移動ベクトルは、
ベクトル反転器４５で逆の値となったもので、図２に示
されるように右画像と左画像とで逆方向に移動するよう
にする。ここで、探索範囲は、図５（ａ）のように水平
方向には広く、垂直方向には狭くする。

【００３８】画像メモリ２，１２からは指定アドレスの
画像データが出力され、除算器４３で差がとられる。除
算器４３の出力は二乗誤差検出器４４で二乗され、ブロ
ック単位に各画素差分が累積加算され、仮移動ベクトル
毎の二乗誤差値となる。

【００３９】この値は最小値選択器４８で、探索範囲内
のすべての仮移動ベクトルの間で誤差を比較し、最小値
を与える仮移動ベクトルを、そのブロックの移動ベクト
ルとして移動ベクトル出力端子５０より出力する。

【００４０】＜立体画像補間装置２＞実施例１での移動
ベクトル検出では、図５（ａ）に示されるように、水平
探索範囲を−１５画素から＋１５画素などと正負（左
右）均等にしている。一方、立体画像で各視点から撮像
する画像の中央を対象物の中央に固定した場合、画像間
の移動ベクトルは両方の画像の中央が交差する点（対象
物の中央）より奥と手前で逆になる。また、その量は対
象物の中央より離れるに従って大きくなる。

【００４１】従って、撮像される対象物は対象物の中央
より手前がほとんどで、逆に背景はすべて対象物より奥
で、対象物より離れている。従って、対象物の移動ベク
トルに対して、背景の移動ベクトルは逆向きで値が大き
くなる。

【００４２】そこで、水平方向探索範囲は、図５（ｂ）
に示されるように、＋５画素から−１５画素、または＋
１５画素から−５画素等、正負で絶対値の異なったもの
とする。２種類のいずれかはベクトルの定義（どちら向
きを正にするか）により入れ代わるが、背景部分の移動
方向を探索範囲の広い方に設定する。

【００４３】背景が暗幕等で存在しない場合は、背景の
移動ベクトルを無視出来る。従って、図５（ｃ）に示さ
れるように、上記ベクトルの広い方を０に出来、０画素
から−５画素、または＋５画素から０画素とすることが
出来る。この場合、対象物の移動方向が広い方になり、
広くする方向は背景のある場合と逆になる。

【００４４】＜立体画像補間装置３＞本発明の他の一実
施例の動きベクトル検出装置について以下に説明する。
図６は、立体画像補間を行なう立体画像補間装置の構成
図である。

【００４５】右画像入力２１と左画像入力３１とから入
力された既存画像は、夫々画像メモリ２２と３２に蓄積
される。画像メモリ２２と３２に蓄えられている右左の
既存画像は、画像移動器２３と３３に供給されると共
に、移動ベクトル検出器２８で画像間の移動ベクトルを
求めるために使われる。

【００４６】移動ベクトル検出器２８は、左右の既存画
像と、既存画像視点情報入力２７から与えられる既存画
像の視点情報( 視点距離) から、移動ベクトルを４×４
乃至１６×１６画素のブロック毎に求める。ここで行な
われる移動ベクトルの検出処理手法は、動画像のフォー
マット変換用の動き補償画像補間で用いられる動きベク
トル検出の手法に類似している。

【００４７】フォーマット変換用の処理手法は、「画像
信号の走査線変換装置」( 特開平６−１３３２８０号及
び特開平６−１４１２９１号) 、“Video Signal Inter
polation Using Motion Estimation ”( ＵＳＰ−４３
８３２７２) に記載されており、そこで時間の異なった
画像の代わりに視点の異なった画像を用いる。

【００４８】この様にして求められた移動ベクトルは、
対象物の領域と背景の領域でその値が大きく異なり、対
象物内でも奥行方向に異なった位置の部分で変化する。
基本的に奥行き位置が連続する対象物の部分や背景内で
は、ブロック間の変化は僅かである。

【００４９】移動ベクトル検出において問題となるの
は、その変化部分であり、左右の画像間でマッチする画
像がなくなるので、正しい移動ベクトルを求めることが
出来ない。しかし、立体画像では被補間画像に対応する
画像が左右両方ともに存在しないことは希であり、通常
少なくともどちらか一方には対応画像が存在する。そこ
で、移動ベクトルを修正し、片方のみを用いて補間を行
なうことで、ほとんどの場合に適切な補間が可能にな
る。

【００５０】移動ベクトル検出器２８で得られた移動ベ
クトルは、ベクトル修正器２９に与えられる。このベク
トル修正器２９は、移動ベクトルを１画面分保持し、対
象ブロックと隣接する周辺ブロックの移動ベクトルを比
較する。この周辺ブロックの移動ベクトル検出に関する
情報を参照して、対象ブロックのみによる移動ベクトル
検出結果に対して修正を加えた移動ベクトルを出力する
ようにする。

【００５１】この比較においては、１画素程度以下の相
違は無視して、それ以上の相違のみを異なったベクトル
と判定する。上下左右の４ブロック、または、斜めも加
えた周辺８ブロックと比較し、そのすべてでベクトルが
相違する場合に、誤ベクトルと判断して修正する。

【００５２】その移動ベクトルの様子を図７に示す。図
７で区分はブロックであり、矢印がその移動ベクトルを
示す。図では中央が被修正ブロックであり、周辺のすべ
てと異なるので、修正が行なわれる。

【００５３】具体的な修正の方法としては、右ブロック
と左ブロックの移動ベクトルの絶対値を比較して、その
絶対値の大きな方のベクトルに変更する。図７では右の
方が大きいのでそれが選択される。この様子を１走査線
分切り出し、右左既存画像と補間画像、そして移動ベク
トルについて示したのが図８である。

【００５４】図８で補間画像上の区切りが各ブロックを
示し、既存画像において太線で示されたものが対象物の
部分であり他が背景部分である。図に示されるように、
移動量の大きな部分( 背景画像) の端で、補間に適合す
る画像が左右片方にしか存在しなくなる場合が多いた
め、移動ベクトルが大きい右側のベクトルに修正するの
が適当であることが判る。この様にして修正された移動
ベクトルは、次の移動量算出器３０に出力される。

【００５５】一方、移動ベクトルの修正が行なわれた場
合には、左右どちらかのみを補間に用いるので、その判
断もベクトル修正器２９で行なわれる。これは選択ベク
トルのブロックの方向とベクトルの水平方向成分の正負
によって決まり、修正ベクトルが逆方向ブロックのベク
トルと接近（交差）しない方向の画像を選ぶ。

【００５６】すなわち、図８で選択された修正ベクトル
が正とベクトルが定義されているなら、選択ベクトルが
右方向からで正ならは右画像とする。図８では、実線の
ベクトル方向が有効となり、破線で示された方向は補間
に使わない。

【００５７】同様にして、右方向で負なら左画像、左方
向で正なら左画像、左方向で負なら右画像となる。これ
により乗算器２４、３４を制御する重み係数ｋを決定し
出力する。即ち、移動ベクトル修正が行なわれない場合
は、ｋ＝０．５とし、移動ベクトルの修正が行なわれた
場合は、右画像選択ではｋ＝１、左画像選択ではｋ＝０
とする。

【００５８】移動量算出器３０は、補間画像視点情報と
移動ベクトル情報から右画像と左画像の移動量を算出す
る。既存画像と補間画像の相対位置( 角度) は視点情報
入力３５から与えられる。移動ベクトル情報は視点によ
らず、入力された既存画像に対して１つであるが、移動
量は視点によって変化する。

【００５９】移動ベクトルが( ｘ，ｙ) で、補間画像と
右画像の視点の距離がａ、補間画像と左画像との視点の
距離がｂなら、右画像の移動( ｘ´，ｙ´)は、 ｘ´＝ｘ×ａ／( ａ＋ｂ) ，ｙ´＝ｙ×ａ／( ａ＋ｂ)
となる。

【００６０】画像移動器２３、３３は、画像をブロック
毎に画像メモリから得て、移動量算出器３０から与えら
れる移動量分だけ移動し、出力を乗算器２４と３４に与
える。乗算器２４と３４は、供給される画像信号にベク
トル修正器２９から与えられる係数ｋと係数（１−ｋ）
を乗じる。

【００６１】乗算器２４、３４で重み付けされた夫々の
画像は、加算器２５で加算され、補間画像となって補間
画像出力端子２６から出力される。視点情報は必要に応
じて順次変更され、それに応じた補間画像が得られる。
既存画像の視点が１０度異なっていた場合、それを１０
分割した視点の補間画像を得れば、最終的に１度毎の視
点に相当する画像１１枚となる。

【００６２】＜立体画像補間装置４＞この実施例は画像
の末端における処理に関するものである。立体画像の補
間では、右既存画像と左既存画像で画像がずれているの
で、画像の末端では片方の画像にしか存在しない領域が
存在する。そこでは、移動ベクトルが正しく求められな
いが、どちらかの画像には補間画像に対応する画像が存
在するので、第３の実施例と同様に移動ベクトルを修正
し、片側の画像により補間が可能になる。

【００６３】この実施例の立体画像補間装置の構成は第
３の実施例と同様であるが、ベクトル修正器２９の動作
のみが異なる。ベクトル修正器２９では、移動ベクトル
が誤りと判断されるブロック( 無効ブロック) を画像の
末端からどこまでかを判断し、そのブロックの移動ベク
トルを、正しいと判断されるもの( 有効ブロック) の中
で最も末端に近いブロック( 無効ブロックに隣接するブ
ロック) のベクトル値で置き換える。

【００６４】有効ブロックか無効ブロックかの判断は次
のようにして行なわれる。画像の左右末端からある程度
以上内側は画像末端による影響は受けないわけですが、
その領域は画像のずれ、すなわち移動ベクトルの値で決
まる。

【００６５】具体的には、ベクトル探索範囲である移動
ベクトルの水平最大値の画素数より内側のブロックは、
末端の影響を受けない。そこで、そのブロックの移動ベ
クトルを基準とする。次にその基準ベクトルの値によっ
て画像の背景部分の移動量が大体決まるので、その水平
値の画素数分までのブロックが無効ブロックになる。

【００６６】この移動ベクトルの様子を図９に示すが、
ブロックが４×４画素、水平探索範囲が±１０画素とす
ると末端の影響を受けないものは図で基準と示された４
ブロック目迄である。そのブロックの移動ベクトルの水
平絶対値が６であったとすると、末端から６画素分が不
可領域であり、その境界を含む２ブロック( ８画素) ま
でが無効ブロックとなる。その隣の３ブロック目は有効
ブロックなので、３ブロック目の移動ベクトル値を無効
ブロックに入れる。

【００６７】もうひとつのブロック有効／無効判定方法
は、基準ブロックから順次外側に隣接するブロックの移
動ベクトルの差分を取り、それが１画素程度以下なら有
効ブロックと判断し、それ以上なら無効ブロックとす
る。その無効ブロックの外側のブロックはすべて無効ブ
ロックとする。

【００６８】この様にしてベクトルが修正されたブロッ
クでは、実施例３と同様に両方向からの補間ではなく、
片方向からの補間に切り換えられる。ここで、片方の補
間画像は画像末端をはみ出すものとなるので、必然的に
存在する方の画像が補間に使われる。

【００６９】この処理は基本的に水平方向のブロック単
位で独立に行なわれるが、有効／無効領域や修正される
ベクトル値自体も垂直方向であまり変化しない。従っ
て、垂直方向での加算平均化や間引き処理が可能となる
のは当然である。

【００７０】実施例３及び４で、水平方向とされている
のは、厳密には視点の移動方向であり、通常は水平方向
であるが、視点が他の方向に変化する場合はその方向と
で処理される。

【００７１】

【発明の効果】本発明では、補間するのに必要な画像間
のずれである移動ベクトルを求める際に、ブロックマッ
チングを用い、移動ベクトルの探索範囲を必要最小限に
制限することで、移動ベクトルの誤検出が少なくなり、
正確な補間画像を得ることが可能になる。

【００７２】これにより、立体画像の表示において自然
な立体画像が得られる。また、探索範囲が狭いので、移
動ベクトル検出の演算量も少なくて済む。移動ベクトル
の検出では、既存画像の視点が離れるに従って誤補間が
多くなりがちだが、誤補間が少なく出来るので、既存画
像の視点距離を離すことも可能になり、より広い範囲の
視点（角度）の画像が得られ、より広範囲から見ること
が可能な立体画像となる。

【００７３】また、同一の範囲なら、撮像が必要な既存
画像数を減らすことが可能になり、撮像装置や撮像に要
する時間を軽減することが可能になる。

【００７４】本発明では、補間するのに必要な画像間の
ずれである移動ベクトルを求め、移動ベクトルが周辺の
ブロックと異なる場合に移動ベクトルを周辺のものに修
正し片方の画像から補間することで、移動ベクトルの変
化部分で従来適切な画像補間が出来なかった部分でも適
切な立体画像補間が可能になる。

【００７５】立体画像補間では、既存画像の視点が離れ
るに従って誤補間が多くなりがちだが、誤補間が少なく
出来るので、既存画像の視点距離を離すことも可能にな
り、より広い範囲の視点( 角度) の画像が得られ、より
広範囲から見ることが可能な立体画像となる。

【００７６】また、同一の範囲なら、撮像が必要な既存
画像数を減らすことが可能になり、撮像装置や撮像に要
する時間を軽減することが可能になる。

【００７７】また、画像の末端では、移動ベクトルが求
められない領域が必ず存在するが、移動ベクトルの修正
によりそこでも補間可能になり、補間画像でも既存画像
と同じ画素サイズの画像が得られる。

【図面の簡単な説明】

【図１】本発明の立体画像補間装置の一実施例の構成を
示す図である。

【図２】本発明の補間画像作成の様子を示す図である。

【図３】本発明の立体画像撮像と補間との対応関係を示
す図である。

【図４】本発明の移動ベクトル検出器の構成を示す図で
ある。

【図５】本発明の移動ベクトル検出における探索範囲を
示す図である。

【図６】本発明の立体画像補間装置の他の一実施例の構
成を示す図である。

【図７】本発明の移動ベクトルの様子を示す図である。

【図８】本発明の移動ベクトルの修正と画像選択の様子
を示す図である。

【図９】本発明の画像末端での移動ベクトルの様子を示
す図である。

【符号の説明】 １，２１ 右画像入力 ２，１２，２２，３２ 画像メモリ ３，１３，２３，３３ 画像移動器 ４，１４，２４，３４ 乗算器 ５，２５，４２，４７ 加算器 ６，２６ 補間画像出力 ７，２７ 既存画像視点情報入力 ８，２８ 移動ベクトル検出器 ９，３０ 移動量算出器 １０，３５ 補間画像視点情報入力 １１，３１ 左画像入力 ２９ ベクトル修正器 ４１ アドレス発生器 ４３ 除算器 ４４ 二乗誤差算出器 ４５ ベクトル反転器 ４６ 仮ベクトル発生器 ４８ 最小値選択器 ５０ 移動ベクトル出力 ｋ，（１−ｋ） 重み係数

Claims (9)

【特許請求の範囲】
1. 【請求項１】多くの視点の画像を用いた立体画像を扱う
   立体画像補間装置において、異なった視点の左右２つの
   既存画像を用いて、前記既存画像の視点に挟まれる視点
   に相当する画像を補間して補間画像として作る際に、 移動ベクトルの探索範囲を、前記既存画像の視点距離に
   応じて設定し、前記左右２つの既存画像間の絵柄のずれ
   を表わす移動ベクトルを求める移動ベクトル検出手段
   と、 前記補間画像と前記既存画像の視点位置関係及び前記移
   動ベクトルから、補間のための左右の既存画像の移動量
   をブロック単位で算出する移動量算出手段と、 前記左右の既存画像を夫々の移動量分だけブロック単位
   で移動させる画像移動手段と、 移動した左右の既存画像を補間画像と既存画像の位置関
   係に応じた係数を乗じて、加算して補間画像を得る手段
   とより構成したことを特徴とする立体画像補間装置。
2. 【請求項２】多くの視点の画像を用いた立体画像を扱う
   立体画像補間方法において、異なった視点の左右２つの
   既存画像を用いて、前記既存画像の視点に挟まれる視点
   に相当する画像を補間して補間画像として作る際に、 移動ベクトルの探索範囲を、前記既存画像の視点距離に
   応じて設定し、前記左右２つの既存画像間の絵柄のずれ
   を表わす移動ベクトルを求め、前記補間画像と前記既存
   画像の視点位置関係及び前記移動ベクトルから、補間の
   ための左右の既存画像の移動量をブロック単位で算出
   し、左右の既存画像を夫々の移動量分だけブロック単位
   で移動し、移動した左右の既存画像を補間画像と既存画
   像の位置関係に応じた係数を乗じて、加算して補間画像
   を得るようにしたことを特徴とする立体画像補間方法。
3. 【請求項３】請求項１の立体画像補間装置において、視
   点の変化する方向である水平方向の探索範囲を、それと
   直交する垂直方向の探索範囲の略２倍以上に設定して、
   前記移動ベクトルを求めるようにしたことを特徴とする
   立体画像補間装置。
4. 【請求項４】請求項１の立体画像補間装置において、視
   点の変化する方向である水平方向の探索範囲を、左方向
   の範囲と右方向の範囲でその絶対値を変えて設定して、
   前記移動ベクトルを求めるようにしたことを特徴とする
   立体画像補間装置。
5. 【請求項５】多くの視点の画像を用いた立体画像を扱う
   立体画像補間装置において、異なった視点の左右２つの
   既存画像を用いて、前記既存画像の視点に挟まれる視点
   に相当する画像を補間して補間画像として作る際に、 前記左右２つの既存画像間の絵柄のずれを表わす移動ベ
   クトルを、画像を細かく分割したブロック毎に求める際
   に、周辺ブロックの移動ベクトル検出に関する情報を参
   照して、対象ブロックのみによる移動ベクトル検出結果
   に対して修正を加えた移動ベクトルを出力する移動ベク
   トル検出手段と、 前記移動ベクトル検出手段で求められた移動ベクトル
   が、周辺ブロックと大きく異なる場合に、移動ベクトル
   を隣接するブロックの値に修正し、そのベクトル値と補
   間に使用する画像の情報を出力するベクトル修正手段
   と、 前記補間画像と既存画像の視点位置関係及び前記移動ベ
   クトルから、補間のための左右の既存画像の移動量をブ
   ロック単位で算出し、左右の既存画像を夫々の移動量分
   だけブロック単位で移動する画像移動手段と、 前記対象ブロックの移動ベクトルと周辺ブロックの移動
   ベクトルの差分が、所定値に達しないブロックについて
   は、移動した左右２つの既存画像を加算して、前記差分
   が前記所定値以上のブロックについては、左または右の
   どちらか一方のみを用いて補間画像を得る補間画像作成
   手段を有するようにしたことを特徴とする立体画像補間
   装置。
6. 【請求項６】多くの視点の画像を用いた立体画像を扱う
   立体画像補間方法において、異なった視点の左右２つの
   既存画像を用いて、前記既存画像の視点に挟まれる視点
   に相当する画像を補間して補間画像として作る際に、 前記左右２つの既存画像間の絵柄のずれを表わす移動ベ
   クトルを、画像を細かく分割したブロック毎に求める際
   に、周辺ブロックの移動ベクトル検出に関する情報を参
   照して、対象ブロックのみによる移動ベクトル検出結果
   に対して修正を加えた移動ベクトルを出力し、前記移動
   ベクトルが、周辺ブロックと大きく異なる場合に、移動
   ベクトルを隣接するブロックの値に修正し、そのベクト
   ル値と補間に使用する画像の情報を出力し、前記補間画
   像と既存画像の視点位置関係及び前記移動ベクトルか
   ら、補間のための左右の既存画像の移動量をブロック単
   位で算出し、左右の既存画像をそれぞれの移動量分だけ
   ブロック単位で移動させ、前記対象ブロックの移動ベク
   トルと周辺ブロックの移動ベクトルの差分が、所定値に
   達しないブロックについては、移動した左右２つの既存
   画像を加算して、前記差分が前記所定値以上のブロック
   については、左または右のどちらか一方のみを用いて補
   間画像を得るようにしたことを特徴とする立体画像補間
   方法。
7. 【請求項７】請求項５に記載された立体画像補間装置に
   おいて、対象ブロックのみによる移動ベクトル検出結果
   に対して修正を加える際に、視点の変化する方向である
   左または右の隣接ブロックの移動ベクトルのうち、ベク
   トル絶対値の大きな方を選択するベクトル修正手段を有
   するようにしたことを特徴とする立体画像補間装置。
8. 【請求項８】請求項５に記載された立体画像補間装置に
   おいて、どちらか一方のみから補間される際に、視点の
   変化する方向である左または右の隣接ブロックの移動ベ
   クトルのうち、移動ベクトル絶対値の大きなブロックが
   左右どちらであるかに基づいて補間する既存画像の方向
   を決定する補間画像作成手段を有するようにしたことを
   特徴とする立体画像補間装置。
9. 【請求項９】請求項５に記載された立体画像補間装置に
   おいて、画像内で左または右の末端から移動ベクトル探
   索範囲の水平最大値分の範囲のブロックではそれに隣接
   するブロック移動ベクトルの比較を行ない、隣接ブロッ
   クの移動ベクトルと所定値以上異なる場合に、移動ベク
   トルを隣接ブロックの値に修正するベクトル修正手段を
   有するようにしたことを特徴とする立体画像補間装置。