JPH0749944A

JPH0749944A - 画像処理方法およびその装置

Info

Publication number: JPH0749944A
Application number: JP5193737A
Authority: JP
Inventors: Akihiro Katayama; 昭宏片山; Kouichirou Tanaka; 宏一良田中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-08-04
Filing date: 1993-08-04
Publication date: 1995-02-21

Abstract

(57)【要約】【目的】観察者が視点をスムーズに移動できる画像処
理装置を提供する。【構成】画像入力部１および２によって入力された画
像は、画像補正部３に入力される。ここで感度むら等の
補正処理が行われる。画像補正部３により補正処理が行
われた画像は、画像補間処理部４に入力され、ここで入
力された２枚の画像とは異なった視点から得られる画像
が補間処理により生成される。画像補間処理部４より出
力された画像は画像表示部５に入力される。ここでは入
力された画像の内の適当な２枚をステレオペアとして扱
い、この２枚の画像を交互に高速に切り替えながら表示
する。この場合、観察者はこれと同期するシャッターメ
ガネ等を用いて観察することにより立体像を見る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の撮像手段（カメ
ラ）により複数の視点から撮影した画像を立体表示する
ための画像処理を行う画像処理方法およびその装置に関
する。

【０００２】

【従来の技術】従来、複数の視点から見た画像を立体表
示する装置として、ステレオディスプレイやレンチキュ
ラディスプレイ等がある。ステレオディスプレイは、２
つのカメラからの映像を交互に高速に切り替えて表示
し、観察者はそれに同期するシヤッターメガネや偏光メ
ガネを用いることにより、映像を立体的に観察すること
ができる。また、レンチキュラディスプレイは、例えば
４台のカメラからの画像をそれぞれＡ，Ｂ，Ｃ，Ｄと
し、Ａの画素位置（１，１）をＡ（１，１）と表記する
と、図１７に示すようにＡ，Ｂ，Ｃ，Ｄを画素単位に並
べ、前面にレンチキュラシートを張り付けることにより
４視点の映像を立体的に表現することができるというも
のである（電学論Ｃ，１１２巻５号，平成４年，ｐ．
ｐ．２８１−２８２、特開平３−２６９６８０号公
報）。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例ではカメラで狙った方向の立体像しか観察すること
ができなかった。すなわち、ステレオディスプレイで
は、２台のカメラを固定して物体を撮影した場合、観察
者が視点を移動しても見える画像は同じであった。ま
た、レンチキュラディスプレイでは、観察者の視点の移
動はできるが、それは複数のカメラのどれかから見た画
像をとびとびに見るというものであり、連続的に視点の
移動はできなかった。もし、連続的に表示しようとすれ
ばカメラの台数が飛躍的に多くなり、実用的ではないと
いう欠点があった。

【０００４】本発明は、上記問題点に鑑みてなされたも
ので、Ｍ台の撮像手段（カメラ）の画像からＮ視点の画
像（Ｍ＜Ｎ）を生成することにより、観察者が視点をス
ムーズに移動できる画像処理方法および装置を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】本発明の画像処理方法
は、複数の視点から撮影した画像を入力する画像入力工
程と、これらの入力した画像間の対応点を検出する対応
点検出工程と、入力した画像および検出した対応点を用
いて補間を行うことにより、入力画像の視点とは異なっ
た視点からの画像を生成する画像補間工程とを有するこ
とを特徴とする。

【０００６】画像入力工程は、複数台のカメラからの画
像を入力するものや、画像データベースからの画像を入
力するものである。

【０００７】入力した画像間の対応点はエピポーラプレ
ーン上で検出することができ、対応点の検出は、エピポ
ーラプレーン上での直線検出におきかえることができ
る。

【０００８】画像の補間は、入力した画像の各エピポー
ラプレーン毎に行うことが好ましい。

【０００９】本発明の画像処理装置は、複数の視点から
撮影した画像を入力する画像入力手段と、これらの入力
した画像間の対応点を検出する対応点検出手段と、入力
した画像および検出した対応点を用いて補間を行うこと
により、入力画像の視点とは異なった視点からの画像を
生成する画像補間手段とを備えたことを特徴とする。

【００１０】画像入力手段は、複数台のカメラからの画
像が入力可能であるものや、画像データベースからの画
像が入力可能であるものとすることができる。

【００１１】入力した画像間の対応点はエピポーラプレ
ーン上での直線検出により求めることができる。

【００１２】画像の補間は、入力した画像の各エピポー
ラプレーン毎に行うことが好ましい。

【００１３】

【作用】本発明は、上記構成により、複数の視点から得
られた画像を補間処理し、入力画像とは異なった視点か
ら見た場合に得られる画像を生成するものである。

【００１４】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００１５】［第１実施例］図１は本発明の第１実施例
のブロック図である。

【００１６】図１において、１および２は画像を入力す
る画像入力部、３は入力された画像を補正する画像補正
部、４は補正された２枚の画像から補間処理により１お
よび２とは別の視点からの画像を生成する画像補間処理
部、５は画像入力部１，２より入力された画像と画像補
間処理部４で生成された画像を表示する画像表示部であ
る。画像入力部１および２はＳＶカメラやＴＶカメラ等
の画像入力機器により構成される。画像入力部１および
２によって入力された画像は、画像補正部３に入力され
る。ここでレンズの色収差や歪、光軸のずれ、カメラの
姿勢・位置等の幾何学的な補正処理およびＣＣＤセンサ
の感度むら等の補正処理が行われる。この処理は、あら
かじめキャリブレーションしてその補正用データをＲＯ
ＭやＲＡＭの中に記録しておけば、テーブル参照の形で
高速に補正処理が行える。また、この補正用データを画
像入力前に毎回求めればより正確な補正が可能となる。
画像補正部３により幾何学的補正および感度むら補正等
の補正処理が行われた画像は、画像補間処理部４に入力
され、ここで入力された２枚の画像とは異なった視点か
ら得られる画像が補間処理により生成される。この処理
については後で詳述する。画像補間処理部４より出力さ
れた画像は画像表示部５に入力される。ここでは入力さ
れた画像の内の適当な２枚をステレオペアとして扱い、
この２枚の画像を交互に高速に切り替えながら表示す
る。この場合、観察者はこれと同期するシャッターメガ
ネ等を用いて観察することにより立体像を見ることがで
きる。画像表示部５において、交互に高速に切り替える
ときに交互に異なった偏光をかける場合は、左目と右目
に表示時の偏光と対応した偏光メガネをかけることによ
り立体像を観察できる。

【００１７】図２は画像補間処理部４のブロック図であ
る。

【００１８】図２において、１１および１２は画像補正
処理部３で補正処理された入力画像を格納するフレーム
メモリ、１３はフレームメモリ１１および１２に記憶さ
れている画像から動きベクトルを検出する動きベクトル
検出部、１４は動きベクトル検出部１３の結果を用いて
補間画像を求める補間画像推定部、１５は推定された補
間画像を記憶しておくフレームメモリである。まず、画
像補正処理部３において補正処理を施された入力画像
は、フレームメモリ１１および１２に記憶される。次に
動きベクトル検出部１３においてフレームメモリ１１お
よび１２に記憶された画像から、動きベクトルの検出
（対応点検出）を行う。この処理の流れを図３のフロー
チャートに従って説明する。

【００１９】まず初期設定として、ステップＳ１でｘ＝
１，ｙ＝１，Ｎｘ＝ｘ方向の画像サイズ、Ｎｙ＝ｙ方向
の画像サイズをセットする。次にステップＳ２において
フレームメモリ１１から注目画素（ｘ，ｙ）を中心とし
た５×３画素のブロックの画像データを読み込み、しき
い値ＴＨの計算をし、各変数ＥＥ＝ＴＨ，ｋ＝０，ｍ＝
０をセットする。この（ｘ，ｙ）を中心とした５×３画
素ブロックの画像データをＡｘ，ｙと表す。ここでフレ
ームメモリ１１および１２に記憶されている画像は、図
４に示すように画像入力部から物体を見た場合の右側の
画像入力部を１、左側の画像入力部を２とし、画像入力
部１からの画像データが補正処理されてフレームメモリ
１１に記憶され、画像入力部２からの画像データが補正
処理されてフレームメモリ１２に記憶されているとす
る。フレームメモリ１１に記憶されている画像を画像
Ａ、フレームメモリ１２に記憶されている画像を画像Ｂ
とする（図５参照）。図５は入力画像中の注目画素とブ
ロックの関係を説明するための図である。しきい値ＴＨ
は、１００×ブロック中の総画素数で計算する。ただ
し、画像の端の方で５×３画素のブロックが確保できな
い場合については次のように処理する。例えば、画像Ａ
の（１，１）画素を注目画素とした場合、（１，１）画
素を中心に５×３画素のブロックは確保できないので
（１，１），（２，１），（３，１），（２，１），
（２，２），（２，３）の６画素をブロックとして上記
の処理を行う。この場合、ＴＨ＝６００となる。また、
画像Ａの（２，１）画素を注目画素とした場合、（１，
１），（２，１），（３，１），（２，１），（２，
２），（２，３），（３，１），（３，２），（３，
３）の９画素をブロックとして上記の処理を行う。この
場合はＴＨ＝９００である。対応点探索のためのブロッ
クを５×３画素としたとき例外処理が発生する個所は、
ｘ＝１，２，Ｎｘ−１，Ｎｘおよびｙ＝１，Ｎｙであ
る。この部分に関しては、上記の例にならって処理を行
えばよい。本実施例ではしきい値ＴＨの値を上記のよう
に１００×ブロック中の総画素数としているが、これに
限るわけではなく他の適当な値でもよい。

【００２０】次にステップＳ３において画像Ｂの（ｘ＋
ｋ，ｙ）画素を中心とした５×３画素のブロックを読み
だし、これをＢｘ＋ｋ，ｙとして以下の計算を行う（ス
テップＳ４）。ＥｋはＡｘ，ｙとＢｘ＋ｋ，ｙの誤差と
定義する。

【００２１】

【数１】ただし、Ａｘ，ｙ（ｉ，ｊ）およびＢｘ＋ｋ（ｉ，ｊ）
はそれぞれＡｘ，ｙおよびＢｘ＋ｋ，ｙ中の画素位置が
（ｉ，ｊ）で表される画素の値を示し、ｋは０以上Ｎ以
下の整数で、このＮはカメラの間隔とカメラと物体の距
離によって決まる値である。例えばカメラの間隔を固定
した場合、カメラと物体の距離を短くするとＮは大きな
値になり、逆に長くすると小さな値となる。ここではＮ
＝２０となるようにカメラ間隔と物体とカメラの距離を
調整した、すなわち、カメラからある距離以上離れた物
体しか撮影しないとして説明を行う。

【００２２】ステップＳ５において、変数Ｅｋと変数Ｅ
Ｅを比較し、Ｅｋの方が小さければステップＳ６へ進
み、そうでなければステップＳ７へ進む。ステップＳ６
ではＥＥ＝Ｅｋおよびｍ＝ｋをセットする。ステップ７
では、探索範囲ｋ＝０〜２０まで全て済んだかあるいは
画像の右端まで探索が行われたかが判定され、まだ行わ
れていなければ、ステップＳ８においてｋの値を“１”
増やしてステップＳ３に戻る。もし行われていれば、ス
テップＳ９に移り、ＥＥの値がＴＨと一致するかどうか
を判定する。ＥＥ＝ＴＨならば画像Ａの（ｘ，ｙ）に対
応する点は画像Ｂ上に存在しないと判断する。またＥＥ
＝Ｅｋならば画像Ａの（ｘ，ｙ）に対応する点は画像Ｂ
の（ｘ＋ｋ，ｙ）であると判断する。ただし、複数個の
Ｅｋが該当する場合はｋの値の一番若いものを採用す
る。ＥＥの値がＴＨと一致するならばステップＳ１０に
進み、ｍの値を周囲の画素のｍから推定する。この推定
方法に関しては、例えば周囲の画素のｍの平均値をとる
あるいは最も多く発生しているｍの値をとるといった方
法がある。一致しなければステップＳ１１に移り、不図
示のワークメモリ上にｘ，ｙ，ｍの値を記憶する。そし
てステップＳ１２に移りｘ方向の最終画素まで処理が済
んだかどうかが判定され、まだならば、ステップＳ１３
においてｘの値が“１”増やされて、ステップＳ２に戻
る。ｘ方向の最終画素まで処理が済んだならばステップ
Ｓ１４に進み、ｙ方向の最終ラインまで処理が済んだか
どうかが判定される。まだ済んでいなければステップＳ
１５においてｙの値を“１”増やし、ｘの値を“１”に
セットして、ステップＳ２に戻る。ｙ方向の最終ライン
まで処理が済んだならば対応点探索の処理を終える。た
だし、画像Ａの右端１９画素に関しては、画像Ｂの探索
範囲（ｋがとり得る値の範囲）が２０画素とれないの
で、この場合はとれる範囲で処理を行う。もし、探索可
能範囲内で対応点が検出できない場合は、周囲の対応点
（動きベクトル）の平均値（ただし、ｘ軸方向の平均値
のみを使用する）をもって、この点の対応点とするかあ
るいは周囲で最も多く発生している値（上記のｍ）をも
って対応点とする。

【００２３】補間画像推定部１４では、動きベクトル検
出部１３の結果に従って任意の視点から見た画像を内挿
する。このときの方法について説明する。図６〜図９は
補間画像推定部１４の動作を説明するための図である。
図６は、画像入力部１および２から得られた補正済の画
像（説明を簡単にするために画像中の白地の輝度値は２
５５、斜線部の輝度値を１００とする）を表している。
この画像に対し、動きベクトル検出を行った結果を表１
に示す。

【００２４】

【表１】ここでは説明を簡単にするために、動きベクトル検出部
１３で記述した５×３画素ブロックを３×１画素ブロッ
クに変更して説明を進める。表１に示されていない画素
については動きがないということを示している。まずテ
ーブル（表１）中の画像Ａのエリアをサーチし、動きの
ない点を抽出し、フレームメモリ１５にコピーする。そ
の様子を図７に示す。

【００２５】図７中の網のかかった部分が動きのない点
として抽出された点である。網のかかった部分の輝度値
は画像Ａ中の同一座標の点の輝度値と同じである。次に
テーブル（表１）中に記録された点に関して補間を行
う。ここでは、画像Ａと画像Ｂの視線間を３等分したと
きの２つの視点から見た画像を補間する。すなわち、こ
れを図示すれば図８のようになる。図８中のＡ１および
Ｂ１はそれぞれ画像Ａ，Ｂを撮影したカメラの位置（光
軸）を表し、Ｈ１とＨ２はそれぞれ補間画像を仮想的に
撮影すると考えたときの仮想カメラの位置（光軸）を表
している。Ｈ１の位置から見た画像を補間する場合は、
画像Ａの点をａとしてそれに対応する画像Ｂの点をｂと
する。点ａと点ｂを１：２に内分する点をｃとし、点ｃ
の輝度値は点ａの輝度値と同じにする。ここでは点ｃの
輝度値を点ａの輝度値と同じにしたが、点ａと点ｂの輝
度値が異なる場合は、内分の比率に従ってｃの輝度値を
決定してもよい。例えば、ｃ’＝（Ｒ１・ｂ’＋Ｒ２・
ａ’）／（Ｒ１＋Ｒ２）とする。ただし、ａ’，ｂ’，
ｃ’はそれぞれａ，ｂ，ｃの輝度値を示し、また、Ｒ
１，Ｒ２は点ａと点ｂをＲ１：Ｒ２に内分したときの比
率を示す。

【００２６】この操作をテーブル（表１）の全ての点に
関して行う。この処理を行い、フレームメモリ１５に記
億する。この様子を図９に示す。図９中の網のかかった
部分である画像５１は動きのない点の集合であり、第１
の斜線部分である画像５２（輝度値１００）と第２の斜
線部分である画像５３（輝度値２５５）は内分により求
まった点の集合である。次に図９の白地の部分の補間を
行う。白地の部分は物体が動いて背景が露出した部分で
ある。したがって図６中の画像Ａおよび画像Ｂの点の
内、白地の点と同一座標の点を調べ、動きのないほうの
点を補間した点として採用し、フレームメモリ１５に記
憶する。例えば、図９の白地の点（２，３），（２，
４）と同一の座標を持つ点で、動きのないのは画像Ｂ中
の点（２，３），（２，４）であるから、それぞれこの
点の輝度値を補間画像の点（２，３），（２，４）の輝
度値とする。また、補間画像の点（７，３），（７，
４），（８，３），（８，４）と同一の座標を持つ動き
のない点は画像Ａ中の（７，３），（７，４），（８，
３），（８，４）であるから、補間画像の点（７，
３），（７，４），（８，３），（８，４）の輝度値は
それぞれ画像Ａ中の点（７，３），（７，４），（８，
３），（８，４）の輝度値とする。上記の処理により仮
想的に図８のＨ１から見たときの補間画像を得ることが
できる。Ｈ２から見た補間画像も同様な処理により得る
ことができる。

【００２７】表示時は、画像入力部１，２から得られた
画像と補間により求まった画像の適当な組み合わせによ
り、複数の視点から見た立体像を表示することができ
る。

【００２８】以上の構成で処理を行うことにより、少な
い画像入力機器を用いた場合でもより多くの画像入力機
器を用いたときと同等の画像を得ることができるので、
例えば２台のカメラからの画像に対しても視点を変えて
立体像を観察することができるようになる。また、画像
入力部をコンパクトに構成することができるのでその分
全体構成を小さくできる。

【００２９】［第２実施例］第１実施例中の動きベクト
ル検出部１３において、使用するマスク（５×３画素ブ
ロック）に重み付けを行うことで局所的に変化する部分
の対応点探索にも対応できるようになる。重みの付け方
としては、注目する画素の存在するラインとその他のラ
インで重みを変えるという方法や注目画素から離れるに
従って重みを小さくするという方法が考えられる。ま
た、使用するマスクのサイズも画像の種類に応じて複雑
な画像では小さく、単純な画像では大きくすることによ
り、対応点探索の精度を向上させることができる。

【００３０】さらに画像補間処理部１４では、フレーム
メモリを仮定した処理方法を説明したが、この処理は画
素単位に逐次行えることは明らかである。また、動きベ
クトル探索（対応点探索）および補間処理は並列処理が
可能であり、複数のラインを同時に処理するハードウエ
ア構成にすれば処理速度の向上を図ることができる。

【００３１】［第３実施例］画像入力手段として３台以
上のカメラがあるときは、対応点探索（動きベクトル検
出）の精度を向上させることができる。図１０は画像入
力部にカメラを４台用いた場合の例である本発明の第３
実施例のブロック図である。図１０において、２０〜２
３は画像入力部であるカメラ、２４は入力ポート、２５
はＣＰＵ、２６はＲＡＭ、２７はＲＯＭ、２８はディス
クＩ／０ポート、２９はハードディスク、３０はＶＲＡ
Ｍ、３１はビデオ信号出力用Ｉ／Ｆ、３２はレンチキュ
ラディスプレイである。カメラ２０〜２３は図１中の画
像入力部１，２と同じものである。ここでは４台のカメ
ラ２０〜２３を用いて説明しているが、カメラの台数は
これに限らず、何台でもよい。

【００３２】図１１は第３実施例の処理の流れを示すフ
ローチャートである。カメラ等の画像入力機器から入力
された原画像は、まずステップＳ１６において、第１実
施例で示した画像補正処理部２と同様の処理、すなわ
ち、レンズの色収差や歪、光軸のずれ、カメラの姿勢・
位置等の幾何学的な補正処理およびＣＣＤセンサの感度
むら等の補正処理が行われる。この処理は、あらかじめ
キャリブレーションしてその補正用データをＲＯＭやＲ
ＡＭの中に記録しておけば、テーブル参照の形で高速に
補正処理が行える。また、この補正用データを画像入力
前に毎回求めればより正確な補正が可能となる。これら
の補正処理が済むとステップＳ１７に移り、各画像間の
対応点探索（動きベクトル検出）を行う。対応点探索が
終了すると次にステップＳ１８に移り、画像の補間処理
を行ったのち、ステップＳ１９でレンチキュラディスプ
レイに補正済の入力画像と補間された画像を表示する。
図１２はステップＳ１７の対応点探索処理のフローチャ
ートである。

【００３３】ステップＳ２１において初期設定として注
目ラスタを各画像の第１ラスタにセットする。次にステ
ップＳ２２において各画像の注目ラスタをワークメモリ
に読み込み、仮想的に１番目のエピポーラプレーンを構
成する。ここでいうｊ番目のエピポーラプレーンとは、
図１３に示すように画像平面上の各点ＥＰ_j （ｘ，ｉ）
が、ＥＰ_j （ｘ，ｉ）＝Ｎｉ（ｘ，ｊ）を満たすような点ＥＰ_j （ｘ，ｉ）の集合のことであ
る。ただし、Ｎｉ（ｘ，ｊ）はｉ番目の画像（ここで
は、ｉ＝１〜４）のｊライン目におけるｘ番目の画素
値、すなわちｉ番目の画像において座標が（ｘ，ｊ）で
表される画素の値を表している。入力機器（カメラ）が
等間隔で並行に設置されている場合、このエピポーラプ
レーン上では、対応する点は全て直線上に並んで存在す
る。したがって、画像の補間はこの直線上で行えばよい
ことになる。そこでステップＳ２３において対応点が存
在する直線を抽出し、ステップＳ２４において、得られ
た直線から対応点を計算し、記憶する。具体的なアルゴ
リズムを次に示す。

【００３４】処理Ａ１．ＥＰ_j （ｘ，１）を注目画素と
し、ｍ＝０〜ｋ１の範囲内で、

【００３５】

【数２】を満足するｍを全て求める。ただしＴＨ２は対応点を見
つけるためのしきい値であり、ここでは１６００（＝４
×２０² ）に設定している。また、ｋ１はカメラ間隔と
物体までの距離により決定される値で、ここでは２０に
設定（すなわち、２０画素以上は移動しないと仮定）し
ている。

【００３６】処理Ａ２．ｘ＝１〜ｎｘの全てのｘについ
て、上記処理Ａ１を繰り返し、ｘの値と対応するｍの値
を全て保持する。ただし、ｎｘは画像の主走査方向の画
素数を表す。また、ＥＰ_j （（ｘ＋ｍ×−１），ｉ）が
存在しない場合は、このｍにおける対応点は存在しない
として処理を続ける。

【００３７】処理Ａ３．上記処理Ａ１およびＡ２により
求まった傾きｍの直線から優先順位１の対応点を求め、
メモリに記憶する。複数の対応点が求まる場合は、便宜
上全てを優先順位１の対応点として記憶する。対応点と
して求まった画素は処理済の画素とする。

【００３８】処理Ａ４．上記処理Ａ１，Ａ２，Ａ３を１
サイクルとして、処理済でない画素に対して上記のサイ
クルを繰り返す。処理Ａ１においてＥＰ_j （ｘ＋ｍ×
（ｉ−１），ｉ）が処理済の場合は、ＥＰ_j （ｘ＋ｍ×
（ｉ−１），ｉ）−ＥＰ_j （ｘ，１）＝０として処理を
続ける。処理Ａ３において傾きｍの直線より求まった対
応点が既に処理済の場合は、この点を対応点から除外す
る。第ｎサイクル目で求まった対応点は優先順位ｎの対
応点として記憶する。

【００３９】処理Ａ５．上記処理Ａ４を行っても未処理
の画素が減らなくなったならば、ＥＰ_j （ｘ，２）を注
目画素として処理Ａ１〜Ａ４と同様の処理を行う。ただ
し、ｘ＝１〜ｎＸとする。

【００４０】処理Ａ６．上記処理Ａ５を行っても未処理
の画素が減らなくなったならば、ＥＰ_j （ｘ，３）を注
目画素として処理Ａ１〜Ａ４と同様の処理を行う。ただ
し、ｘ＝１〜ｎＸとする。

【００４１】処理Ａ７．上記ｊの値を“１”増やして処
理Ａ１に戻る。

【００４２】処理Ａ８．最終ラスタまで処理が済んだな
らば、対応点探索処理を終える。

【００４３】上記のように処理を行うことにより、２枚
の画像からでは求まらなかった対応点が検出でき、ま
た、オクルージョン等にも対応できるので、対応点探索
の精度が向上する。

【００４４】次にステップＳ１８に移り、画像の補間処
理を行う。画像の補間処理は、ステップＳ１７より求ま
った対応点を用いて行う。具体的なアルゴリズムを図１
４、図１５を例にして説明する。

【００４５】図１４はｊ番目のエピポーラプレーンを表
している。ａ１，ｂ１は優先順位１の対応点を示し、ｃ
２は優先順位２の対応点を示している。入力画像間に等
間隔にｎ枚の画像を補間する場合を考える。ここでは説
明を簡単にするため、ｎ＝２とする。このことをｊ番目
のエピポーラプレーンで考えた場合、図１５に示すよう
にエピポーラプレーンのライン間に２本ずつラインを内
挿し、原画のエピポーラプレーンの対応点同士を結んだ
直線上にある内挿されたラインの画素値は対応点同士の
平均値に設定すればよい。すなわち、以下の処理Ｂ１〜
Ｂ５を行う。

【００４６】処理Ｂ１．優先順位１の対応点を結んだ直
線を考え、この直線上にある内挿ラインの画素値を直線
上にある原画の画素値の平均値にセットする。図１５の
対応点ａ１およびｂ１を例に取れば、対応点同士を結ん
だ直線上の点ａおよびｂの画素値は、それぞれａ１，ｂ
１で示される画素値の平均値をとる。

【００４７】処理Ｂ２．優先順位１の対応点の処理が終
わったら、次に優先順位２の対応点の処理を行う。この
処理は、基本的には処理Ｂ１と同じであるが、処理Ｂ１
において既に補間された画素に対しては処理を行わな
い。これを図１５を用いて説明する。画素（３，８）と
（２，９）は対応点ｃ２により通常は補間されるが、既
に優先順位１のａ１という対応点により補間されている
ため、この画素に対しては何も処理を行わない。したが
って対応点ｃ２により補間される画素は（９，２），
（８，３），（６，５），（５，６）の４画素である。
図１５の例では、この部分でオクルージョンが発生して
いるが、このように処理することによりオクルージョン
の問題を解決できる。

【００４８】処理Ｂ３．優先順位２の対応点の処理が終
わったならば、次に優先順位３の対応点の処理に入る。
処理Ｂ２と同様に既に補間処理済の画素に対しては、何
も行わない。以下同様にして、最終の優先順位の対応点
まで処理を行う。

【００４９】処理Ｂ４．処理Ｂ１〜Ｂ３の各処理を終え
ても補間されなかった画素に対しては、周囲の画素から
内挿を行う。このときの方法としては、周囲の画素値の
平均値を用いる方法や最近傍画素の値をそのまま用いる
方法などがある。

【００５０】処理Ｂ５．ｊ＝１〜ｎｙについて、処理Ｂ
１〜Ｂ４の処理を行い、ラインｊ２，ｊ３，ｊ５，ｊ
６，ｊ８，ｊ９を用いて補間画像を得る。ただし、図１
５に示すように処理Ｂ１〜Ｂ４により内挿されたライン
をｊ２，ｊ３，ｊ５，ｊ６，ｊ８，ｊ９と表すことにす
る。例えば補間画像２は、内挿ラインｊ２（ｊ＝１〜ｎ
ｙ）を並べることによって構成できる（図１６参照）。
補間画像３，５，６，８，９に関しても同様である。

【００５１】以上述べた構成および方法を用いて多数枚
の入力画像から補間画像を生成することにより、２枚の
画像からでは求めることができなかった対応点を検出す
ることができるので、補間の精度が向上する。また、多
数の画像から対応点を求めるので前述のようにオクルー
ジョン等の問題も解決できる。

【００５２】［第４実施例］立体表示する手法として、
ホログラフィがある。これは、対象物の物体光にレーザ
光（参照光）を照射して生成した干渉縞に、再び参照光
を照射することにより立体像を表示する手法である。こ
のとき、レーザ光があてられない、あるいは、対象物が
大きいような場合には、ホログラフィック・ステレオグ
ラムという手法を用いることができる。この手法は、少
しずつ視点を変えて多数の写真を撮影し、それぞれの写
真を透過拡散版などに投影し、その投影面に参照光を照
射して干渉縞を生成し、生成された干渉縞を切り出して
ひとつの干渉縞に合成し、この干渉縞に参照光を照射す
ることにより立体像を得る方式である。詳しくは、辻内
順平編著「ホログラフィック・ディスプレイ」（産業図
書）の１９１頁〜２０７頁に掲載されている。

【００５３】このホログラフィック・ステレオグラムと
いう手法では、少しずつ視点を変えて撮影した多数枚の
画像を必要とするため、カメラの台数が多数必要とな
る。静止画像の場合ならば１台のカメラを少しずつ移動
させるという手法が使えるが、動画像の場合は、多数の
カメラを用いざるをえない。本発明の補間画像を用いれ
ば、この問題を解決できる。すなわち、数台〜数十台の
カメラから得られる画像を入力画像として、カメラ間の
視点から得られるであろう画像を本発明の補間により生
成する。この方法を用いれば、カメラの台数が少なくて
よいというメリットがある。ホログラフィック・ステレ
オグラムを用いたテレビを考えた場合、数枚〜数十枚の
画像を伝送し、受信側で補間画像を生成すればデータ圧
縮にもなるというメリットがある。また入力画像を伝送
する際に画像圧縮の手法を用いれば、さらにデータを圧
縮することが可能である。

【００５４】

【発明の効果】以上説明したように本発明は、複数の視
点から得られた画像を補間処理し、入力画像とは異なっ
た視点から見た場合に得られる画像を生成することによ
って、入力画像よりも多くの視点からの画像が得られる
ので、立体表示した際に視点移動などが滑らかに行え、
視点数が増えることにより立体像のリアリティが向上す
る。また、入力用の撮像手段（カメラ）の台数も少なく
できるので、装置をコンパクトに構成できる。

【００５５】また、本発明を用いてデータベース等に蓄
積された多視点画像（視点を少しずつずらして撮影した
画像）の補間画像を生成することにより、より視点数の
多いレンチキュラディスプレイやホログラフィックディ
スプレイに表示することが可能となるので、よりリアリ
ティのある立体像を得ることが可能であると同時に視点
数が増えるのでスムーズな視点移動が可能となる。

【図面の簡単な説明】

【図１】本発明の第１実施例のブロック図である。

【図２】画像補間処理部４のブロック図である。

【図３】動きベクトル検出部１３の動作を示すフローチ
ャートである。

【図４】物体とカメラの位置関係を示す図である。

【図５】入力画像中の注目画素とブロックの関係を説明
するための図である。

【図６】補間画像推定部１４の動作を説明するための図
である。

【図７】補間画像推定部１４の動作を説明するための図
である。

【図８】補間画像推定部１４の動作を説明するための図
である。

【図９】補間画像推定部１４の動作を説明するための図
である。

【図１０】本発明の第３実施例のブロック図である。

【図１１】第３実施例の処理の流れを示すフローチャー
トである。

【図１２】対応点探索処理の流れを示すフローチャート
である。

【図１３】エピポーラプレーンを説明するための図であ
る。

【図１４】エピポーラプレーン上での補間処理を説明す
るための図である。

【図１５】エピポーラプレーン上での補間処理を説明す
るための図である。

【図１６】補間画像の構成を説明するための図である。

【図１７】レンチキュラディスプレイを説明するための
図である。

【符号の説明】

１，２画像入力部３画像補正処理部４画像補間処理部５ステレオディスプレイ１１，１２，１５フレームメモリ１３動きベクトル検出部１４補間画像推定部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 13/04

Claims

【特許請求の範囲】

【請求項１】複数の視点から撮影した画像を入力する
画像入力工程と、これらの入力した画像間の対応点を検出する対応点検出
工程と、入力した画像および検出した対応点を用いて補間を行う
ことにより、入力画像の視点とは異なった視点からの画
像を生成する画像補間工程とを有することを特徴とする
画像処理方法。
【請求項２】画像入力工程は、複数台のカメラからの
画像を入力するものであることを特徴とする請求項１記
載の画像処理方法。
【請求項３】画像入力工程は、画像データベースから
の画像を入力するものであることを特徴とする請求項１
記載の画像処理方法。
【請求項４】入力した画像間の対応点をエピポーラプ
レーン上で検出することを特徴とする請求項１記載の画
像処理方法。
【請求項５】画像の補間は、入力した画像の各エピポ
ーラプレーン毎に行うことを特徴とする請求項１記載の
画像処理方法。
【請求項６】複数の視点から撮影した画像を入力する
画像入力手段と、これらの入力した画像間の対応点を検出する対応点検出
手段と、入力した画像および検出した対応点を用いて補間を行う
ことにより、入力画像の視点とは異なった視点からの画
像を生成する画像補間手段とを備えたことを特徴とする
画像処理装置。
【請求項７】画像入力手段は、複数台のカメラからの
画像が入力可能であることを特徴とする請求項６記載の
画像処理装置。
【請求項８】画像入力手段は、画像データベースから
の画像が入力可能であることを特徴とする請求項６記載
の画像処理装置。
【請求項９】入力した画像間の対応点をエピポーラプ
レーン上で検出することを特徴とする請求項６記載の画
像処理装置。
【請求項１０】画像の補間は、入力した画像の各エピ
ポーラプレーン毎に行うことを特徴とする請求項６記載
の画像処理装置。