JPH09200803A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 観察者の眼の位置が前後方向を含む各方向へ
移動した場合に、その移動した位置から立体的に画像を
観察することができるようにした。 【解決手段】 階層データ生成部１５は、入力多視点画
像データ保持部からの多視点画像データを異なる解像度
の多視点画像データに変換して階層データを生成し、次
いで、対応点軌跡判定部１１は、軌跡係数制御部１２か
ら出力される軌跡係数、判定二重閾値制御部１４から出
力される閾値、及び既に検出済として検出奥行き配列保
持部１５に記憶された奥行き情報に基づいてパラメトリ
ックデータを検出する。一方、階層データ選択部１７は
ＣＰＵのマシンパワー等に基づいて階層データを選択
し、該選択された階層データに応じたパラメトリックデ
ータと視点位置に基づいて対応点軌跡の内挿処理を行い
画像表示部２１を経て立体画像を表示スクリーン８に表
示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視点の異なる複数
の画像を入力し、観察者の現在の目の位置に応じた視点
位置を有する画像を出力する画像処理装置及び画像処理
方法に関する。

【０００２】

【従来の技術】従来、複数の視点から見た画像を立体表
示する画像処理装置として、ステレオディスプレイやレ
ンチキュラディスプレイ等が知られている。

【０００３】ステレオディスプレイは、２台のカメラか
ら得られる画像を交互に高速に切り替えて表示される。
観察者は、この切り替えに同期するシャッタメガネや偏
光メガネを使用することにより、映像を立体的に観察す
ることができる。

【０００４】また、レンチキュラディスプレイは、例え
ば４台のカメラからの画像をそれぞれ画素単位に並べ替
え、前面にレンチキュラシートを張り付けることによ
り、４視点の映像を立体的に観察することができる。

【０００５】

【発明が解決しようとしている課題】しかしながら、上
記従来のステレオディスプレイでは、画像の撮影時にお
けるカメラの撮影方向の立体像しか観察することができ
ないという欠点があった。すなわち、従来のステレオデ
ィスプレイは、一般に２台のカメラを固定して被写体を
撮影するため、観察者が視点（眼の位置）を移動しても
見える画像は同じであり、この結果、観察者側での視点
移動を映像に反映することができず、臨場感に欠けると
いう問題点があった。

【０００６】また、上記レンチキュラディスプレイで
は、観察者の視点の左右方向の移動には対応できるもの
の、複数のカメラのいずれかの画像を飛び飛びに見ると
いうものであって、連続的な視点移動には対応できない
うえに、前後方向への視点を移動させることはできない
という問題点があった。

【０００７】すなわち、前後方向への視点移動に関して
は、従来は、コンピュータ・グラフィックスで作成され
た画像を基にして立体視する場合には行われているが、
コンピュータ・グラフィックスは画像としては単純であ
り、しかも画像内の点に対応する３次元空間内での座標
値が全て明らかになっている特殊な状況下で立体視を実
現したものであり、カメラで撮影した画像を立体視する
場合についての前後方向への視点移動は、現在のところ
検討されていないというのが実情である。

【０００８】本発明は、上記事情に鑑みてなされたもの
で、カメラ等の撮像装置で画像を撮影した場合であって
も観察者の眼の位置が前後方向を含む各方向へ移動した
場合に、その移動した位置から立体的に画像を観察する
ことができる画像処理装置及び画像処理方法を提供する
ことを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は、視点に応じた画像を生成す
るための画像処理装置において、それぞれ異なる複数の
位置を視点とする多視点画像データを保持する多視点画
像データ保持手段と、該多視点画像データ保持手段が保
持する多視点画像データを異なる解像度の多視点画像デ
ータに変換する階層データ生成手段と、該階層データ生
成手段により生成された複数の多視点画像データにおい
てそれぞれの多視点画像中の画像間で相互に対応する対
応点を規定する係数を順次検出する対応点軌跡検出手段
と、前記対応点軌跡係数から画像生成に使用する演算処
理手段に応じた階層データに対応する対応点軌跡係数デ
ータを選択する階層データ選択手段と、選択された対応
点軌跡係数データを入力するデータ入力手段と、観察者
の視点位置を入力する視点位置入力手段と、観察者の視
点位置に応じて前記対応点軌跡係数データから画像を生
成する対応点軌跡内挿手段と、生成された画像を表示す
る画像表示手段を有することを特徴としている。

【００１０】また、本発明の画像処理方法は、視点に応
じた画像を生成するための画像処理方法において、それ
ぞれ異なる複数の位置を視点とする多視点画像データを
保持する多視点画像データ保持工程と、該多視点画像デ
ータ保持工程が保持する多視点画像データを異なる解像
度の多視点画像データに変換する階層データ生成工程
と、該階層データ生成工程により生成された複数の多視
点画像データにおいてそれぞれの多視点画像中の画像間
で相互に対応する対応点を規定する係数を順次検出する
対応点軌跡検出工程と、前記対応点軌跡係数から画像生
成に使用する演算処理手段に応じた階層データに対応す
る対応点軌跡係数データを選択する階層データ選択工程
と、選択された対応点軌跡係数データを入力するデータ
入力工程と、観察者の視点位置を入力する視点位置入力
工程と、観察者の視点位置に応じて前記対応点軌跡係数
データから画像を生成する対応点軌跡内挿工程と、生成
された画像を表示する画像表示工程とを含むことを特徴
としている。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づき説明する。

【００１２】図１は本発明に係る画像処理装置の一実施
の形態を模式的に示した斜視図であって、該画像処理装
置は、水平方向に並設されて被写体１を撮影する複数の
多眼カメラ２…と、該多眼カメラ２…から出力される多
視点画像中の画素間で相互に対応する対応点を検出する
対応点軌跡検出部３と、該対応点軌跡検出部３から出力
されるパラメトリックデータ（対応点軌跡係数）を格納
するディスク等の蓄積メディア４と、利用者の眼の位置
を検出する視点検出器５が付設された眼鏡６と、パラメ
トリックデータ及び視点検出器５の検出結果に基づいて
適宜対応点軌跡を内挿し眼の位置から目視できる画像を
生成するオンデマンド内挿表示部７と、該オンデマンド
内挿表示部７により作成された画像を表示する表示スク
リーン８とから構成されている。

【００１３】このようにシステム構成された画像処理装
置においては、対応点軌跡検出部３が、入力多視点画像
を受け取り、パラメトリックデータを蓄積メディア４に
出力する。オンデマンド内挿表示部７は蓄積メディア４
からパラメトリックデータを受け取り、利用者の視点位
置の変化に応じて表示スクリーン８に画像を表示する。
ここで、パラメトリックデータは、任意の視点表示に必
要十分な情報を含んでおり、しかもそのデータ量は、考
えられ得る視点移動に対応した画像のすべてを保持する
場合に比べて極めて小さいデータ量とされ、機器に必要
なメモリ量が少なくなるように構成されている。

【００１４】図２は上記画像処理装置の内部詳細を示す
ブロック構成図である。

【００１５】すなわち、上記対応点軌跡検出部３は、多
眼カメラ２により撮影された被写体１の画像を保持する
入力多視点画像保持部９と、該入力多視点画像保持部９
に保持された多視点画像から異なる解像度の多視点画像
を生成する階層データ生成部１０と、該階層データ生成
部１０で生成された多視点画像中で、撮影された輝点の
像の直線状の軌跡を判定する対応点軌跡判定部１１と、
該対応点軌跡判定部１１が検出する直線状の対応点軌跡
係数を制御する軌跡係数制御部１２と、対応点軌跡判定
部１１が検出した対応点軌跡係数および軌跡の濃淡値を
記憶する検出軌跡記憶部１３と、対応点軌跡判定部１１
の対応点軌跡判定に用いる２個の可変閾値（閾値Ａ、閾
値Ｂ）を制御する判定二重閾値制御部１４と、対応点軌
跡判定部１１が検出した対応点軌跡の画像中での位置情
報と奥行き情報を保持する検出奥行き配列保持部１５
と、検出軌跡記憶部１３に記憶された対応点軌跡係数を
出力するデータ出力部１６とを有している。

【００１６】また、オンデマンド内挿表示部７は、蓄積
メディア４に格納されたパラメトリックデータの中から
いずれの階層データを入力するかを決定する階層データ
選択部１７と、該階層データ選択部１７の選択結果に基
づいて蓄積メディア４から所望の階層データを入力する
データ入力部１８と、視点位置に基づいてデータ入力部
１８の対応点軌跡を内挿することにより当該視点（眼の
位置）から見える画像を生成する対応点軌跡内挿部１９
と、視点検出器５により検出された視点位置を入力する
視点位置入力部２０と、表示スクリーン８へ画像を表示
する画像表示部２１とを有している。

【００１７】次に、上記対応点軌跡検出部３の動作を説
明する。

【００１８】まず、入力多視点画像保持部９で水平方向
に並設された多眼カメラ２…を介して多数の視点から撮
影した画像を保持し、次いで、階層データ生成部１０は
前記入力多視点画像保持部９に保持された画像に基づい
て解像度の異なる複数の多視点画像の組を生成する。

【００１９】解像度が異なる多視点画像は、図３（ａ）
に示すように、画像サイズがＮ×Ｍであるｎ枚（ｎは２
以上の整数）の入力多視点画像がある場合、例えば、サ
ブサンプリング時に折り返し歪みが出ないように、これ
らの画像をフィルタリングし、１：Ｓにサブサンプリン
グすることにより得られる。すなわち、解像度の異なる
複数の多視点画像の組とは、図３（ｂ）に示すように、
Ｓを、例えば、Ｓ＝２、４、８、１６、・・・とした時
に得られる多視点画像の組のことであって、このとき各
画像のサイズは（Ｎ／Ｓ）×（Ｍ／Ｓ）となる。そして
これらの複数の多視点画像が階層データとなって以下の
処理を行う。

【００２０】まず、最も解像度の低い多視点画像におい
て、軌跡係数制御部１２は、被写空間中の仮想的な輝点
を順次想定し、その輝点が階層データ生成部１０で生成
された多視点画像中で成す軌跡係数を算出する。対応点
軌跡判定部１１は軌跡係数制御部１２の軌跡係数が示す
軌跡について該軌跡が入力多視点画像保持部９の入力画
像中に存在するかどうか判定する。このとき、判定二重
閾値制御部１４は後述するように対応点軌跡判定部１１
の判定条件を順次制御する。そして、対応点軌跡判定部
１１は検出した対応点軌跡係数を検出軌跡記憶部１３に
記憶すると同時に、検出した対応点軌跡の、画像中での
位置情報や奥行き情報等を検出奥行き配列保持部１５に
記憶し、後述する軌跡判定時に使用する。対応点軌跡判
定部１１の処理が終了すると、データ出力部１６は検出
軌跡記憶部１３に記憶された対応点軌跡係数をパラメト
リックデータとして出力し蓄積メディア４に格納する。

【００２１】次に、２番目に解像度の低い多視点画像に
おいて、同様の処理を行い、データ出力部１６から当該
階層データに対応するパラメトリックデータが出力され
る。このように順次解像度の低い多視点画像から解像度
の高い多視点画像について、同様の処理がなされ、再
び、データ出力部１６からこの階層データに対応するパ
ラメトリックデータが出力される。つまり、ｍ階層の階
層データを有する場合は、上記処理をｍ回繰り返すこと
になり、これにより、各階層データに対応したパラメト
リックデータが生成され、蓄積メディア４に格納され
る。

【００２２】次に、上記対応点軌跡判定部１１の動作を
詳説する。対応点軌跡判定部１１は、図４（ａ）に示す
ように、階層データ生成部１０より出力される画像につ
いて、或る水平ライン２２…に着目し、該水平ライン２
２…のエピポーラ・プレーン画像（ＥＰＩ) を作成す
る。すなわち、複数の多眼カメラ２…の各々視点から撮
影された画像について、或る水平ライン２２…を共通ラ
インとして集めて視点順に並べ、図４（ｂ）に示すよう
に、横軸が画像水平表示位置からなり、縦軸が視点位置
からなるＥＰＩを作成する。ここで、入力多視点画像保
持部９の入力画像が水平方向に並設された多眼カメラ２
…から撮影された画像であることから、ある輝点の像の
軌跡はこのＥＰＩ上で直線となり、上述した軌跡係数は
直線の位置と傾きとの組で構成される。また、直線の傾
きは、カメラから輝点までの奥行き距離が長いほど、垂
直に近くなり、奥行き距離が短いほど水平になる。さら
に、斯かる直線軌跡の検出処理においては、手前にある
輝点の直線軌跡が、奥にある輝点の直線軌跡を覆い隠す
現象が生じうるが、かかる現象は検出画素がオクルージ
ョン関係にあるといわれている。

【００２３】以上より、対応点軌跡判定部１１で行うべ
き対応点軌跡の判定処理はＥＰＩ上で直線軌跡か否かを
判定することと等価なものとなり、本実施の形態では対
応点軌跡は直線軌跡か否かを判定することにより行われ
る。

【００２４】図５は対応点軌跡判定部１１の判定手順を
示すフローチャートである。すなわち、軌跡係数制御部
１２は、軌跡係数（直線の位置と直線の傾き）について
考えられる全てをの軌跡係数を順次想定し、算出する
と、対応点軌跡判定部１１は、まずステップＳ１で、算
出された直線上に対応するＥＰＩ上で、未処理の画素が
存在するかどうかを検索し、未処理の画素が存在しない
場合は後述するステップＳ６に進む一方、未処理の画素
が存在する場合は、ステップＳ２に進み、直線判定処理
を行う。

【００２５】以下、該直線判定処理について詳述する。

【００２６】図６は直線上の各点毎に直線軌跡か否かの
判定条件を示す図であって、直線上の全ての画素につい
て各点毎に後述する３つの条件を判定し、有効画素が少
なくとも２以上存在する場合は直線軌跡と判別する。

【００２７】ここで、３つの条件とは、 （１）色条件として画素間の濃淡値の差分値が閾値以下
か否かを判定する第１の条件 （２）当該画素が既に別の直線軌跡の一部として検出済
の画素か否かを判定する第２の条件 （３）第２の条件により検出済画素と判定された場合
に、それがオクルージョン関係にあるか否かを判定する
第３の条件をいう。

【００２８】すなわち、第１の条件により、濃淡値の差
分値が閾値以下のときは画素の色は同一色であると判断
して直線軌跡と判定し、有効画素としてカウントする一
方、濃淡値の差分値が閾値以上のときは画素の色は異な
る色を呈していると考えられるため、不適切画素と判断
し原則として直線軌跡ではないと判定する。

【００２９】また、第２の条件で検出済画素と判定され
たときは検出奥行き配列保持部１５に記憶されている奥
行き情報、すなわち直線の傾きと現在検出しようとして
いる直線の傾きの大きさを比較する。そして、直線軌跡
は手前から順次検出されるので、今検出しようとしてい
る直線の傾きが検出奥行き配列保持部１５に記憶されて
いる直線の傾きより大きい場合はオクルージョン関係に
あると判断し、逆に小さい場合はオクルージョン関係に
ないと判断する。そして、検出済であるにもかかわら
ず、オクルージョン関係にない場合は、第１の条件の判
定結果の如何にかかわらず不適切画素として処理し直線
軌跡の存在を否定する。またオクルージョン関係にある
場合は、濃淡値の差分値が閾値以下の場合は勿論、濃淡
値が閾値以上の場合であっても、オクルージョンにより
直線軌跡が隠れているため同一色ではないと判断されて
も当該画素は直線軌跡上にあると判断してスキップし次
の画素の処理に移る。

【００３０】ここで、閾値は可変制御され、判定二重閾
値制御部１４により制御される。すなわち、閾値として
は、未検出の画素のときの閾値Ａが濃淡値の差分値の判
別値とされ、画素がオクルージョン関係にあるときは閾
値Ｂが濃淡値の差分値の判別値とされる。閾値Ａ及び閾
値Ｂは、具体的には図７に示すように、各点が直線軌跡
上にあるか否かを判定する繰返しループに応じて可変と
されている。すなわち、繰返しループにおいて、まず、
閾値Ｂを初期値に固定した状態を維持しつつ閾値Ａを繰
返しループが繰り返される毎に徐々に大きくして対応点
軌跡判定部１１の判定処理を繰り返す。そして、閾値Ａ
が所定上限値に到達したときは、該閾値Ａを前記所定上
限値に固定し、閾値Ｂを徐々に大きくして判定処理を繰
り返し、閾値Ｂも前記所定上限値に到達したときに判定
処理を終了する。すなわち、直線軌跡を判定する場合は
当初は未検出の画素について処理を行うこととなるが、
その場合は閾値Ａでもって第１の条件である色条件を判
別し、その後オクルージョン関係が生じたときは閾値Ｂ
でもって色条件を判別する。

【００３１】このように２個の閾値（閾値Ａ、閾値Ｂ）
を使用して直線軌跡の判定をしているのは、閾値Ａのみ
を使用して直線判定を行った場合、上限値近傍で直線判
定の検出制度が悪化するからであり、このように異なる
２個の閾値（閾値Ａ、閾値Ｂ）を使用することにより、
検出精度の向上を図ることができる。

【００３２】そして、ステップＳ３では直線判定処理に
より、直線軌跡と判定されたか否かを判別し、その答が
否定（Ｎｏ）のときは直線軌跡ではないと判別してステ
ップＳ６に進む。一方、その答が肯定（Ｙｅｓ）のとき
は直線軌跡であると判別してステップＳ４に進み、検出
奥行き配列保持部１５に直線の傾き（奥行き情報）とし
て記録し、続くステップＳ５で、軌跡係数（直線の位置
と傾き）及び対応点の濃淡値情報（例えば対応点の濃淡
値の平均値）をパラメトリックデータとして検出軌跡記
憶部１３に記憶する。尚、前記検出奥行き配列保持部１
５に記憶された直線の傾きにより直線判定の対象となっ
ている現画素が既に別の直線軌跡として検出済の画素か
否かを判定する際の資料となる。続くステップＳ６では
軌跡係数制御部１２から出力された全ての軌跡係数（直
線の位置及び直線の傾き）に対して上述した直線判定処
理等の処理が終了したか否かを判別し、その答が否定
（Ｎｏ）のときはステップＳ１に戻って上述の処理を繰
り返す一方、その答が肯定（Ｙｅｓ）のときはステップ
Ｓ７に進み、判定二重閾値制御部１４に可変制御される
全ての閾値（閾値Ａ又は閾値Ｂ）に対して上述の処理が
終了したか否かを判別する。すなわち、閾値は上述した
ように繰返しループの回数に応じて適宜可変制御されて
おり（図７参照）、これら可変とされた閾値（閾値Ａ又
は閾値Ｂ）の全ての値に対して処理が終了したか否かを
判別する。そして、その答が否定（Ｎｏ）のときはステ
ップＳ１に戻って上述の処理を繰り返す一方、その答が
肯定（Ｙｅｓ）のときは処理を終了する。

【００３３】そして、これにより、データ出力部１６に
よって出力されるパラメトリックデータは、各水平ライ
ン毎に検出された直線状軌跡の本数分の、直線の位置、
傾き及び濃淡値情報の組となる。

【００３４】次に、オンデマンド内挿表示部７の動作を
説明する。階層データ選択部１７は、使用している計算
機のＣＰＵの処理速度やＲＡＭの容量などから入力する
階層データを決定する。データ入力部１８は階層データ
選択部１７の決定に従って所望の階層データに対応する
蓄積メディア４を入力して対応点軌跡内挿部１９へ送
る。表示スクリーン８を観察している利用者が頭の位置
を変えて視点（眼の位置）を移動させると、視点検出器
５の信号が変化する。視点位置入力部２０は、この変化
を受けて、視点位置を対応点軌跡内挿部１９へ送る。対
応点軌跡内挿部１９は視点位置を受けると、視点移動に
対応した新たな画像の生成を行い、画像表示部２１へ画
像を送る。

【００３５】該対応点軌跡内挿部１９は、具体的には、
視点位置入力部２０を介して視点検出器５からの左右方
向の視点位置を得る。パラメトリックデータの各水平ラ
インのすべての対応点軌跡について、輝点の画像中の水
平方向の表示位置を算出し、その表示位置に輝点の濃淡
値を描画して視点位置に対応した１枚の画像を作成す
る。

【００３６】ここで、ある水平ライン中のある輝点の水
平方向の表示位置をｘ、対応点軌跡の直線位置をｘ０、
直線傾きをｋ、視点位置をＸとすると、表示位置は数式
（１）により算出される。

【００３７】ｘ = ｘ０＋ｋ・Ｘ …（１） このようにして視点位置Ｘに対応した表示位置ｘを算出
して新たな画像を生成し、画像表示部２１に画像を送
り、該画像表示部２１は表示スクリーン８に画像を表示
する。

【００３８】このように本第１の実施の形態において
は、階層データ選択部１７の決定に従って、ＣＰＵの処
理速度やＲＡＭの記憶容量等マシンパワーに応じた画像
サイズのパラメトリックデータを入力し対応点軌跡内挿
部１９に送っているので、マシンパワーが不足するため
に視点移動時の画像生成が間に合わないという事態が生
じるのを回避することができ、観察者は快適に視点を移
動させながら画像を観察できる。すなわち、本第１の実
施の形態では、異なる解像度の多視点画像の組の夫々に
対して独立に補間処理を行ったデータを階層データとし
て保持しているため、再生するマシンパワーが低い時は
低解像度の階層データを使用し、高い時は、高解像度の
階層データを使用することにより、マシンパワーが異な
っても、同等の操作感（視点の追従性等）を得ることが
できる。

【００３９】さらに、画像を再生する際、任意視点表示
に必要十分な被写体のパラメトリックデータがあればよ
く、そのデータ量は考えられうる視点移動に対応した画
像を全て保持する場合に比べ、極めて小さい記憶容量で
済み、したがって装置に搭載されるメモリ容量も少なく
て済む。

【００４０】さらに、上記第１の実施の形態において、
表示スクリーン８および画像表示部２１に、レンチキュ
ラ方式やメガネ方式などの両眼立体視が可能な立体表示
スクリーン及び立体画像表示部を使用し、かつ、視点位
置入力部２０が左右夫々の眼の位置に対応する視点パラ
メータを算出し、該視点パラメータに対応して対応点軌
跡内挿部１９が左右夫々の眼に目視されるための画像を
生成することにより、前後左右に視点移動可能な両眼立
体表示装置としての画像処理装置を得ることもできる。

【００４１】図８は上記前後左右に視点移動可能な画像
処理装置として本発明を適用した場合における対応点軌
跡内挿部１９の内挿処理を説明するための図である（第
２の実施の形態）。

【００４２】図中、横軸（Ｘ軸）は視点からの水平方向
の位置を示し、縦軸（Ｚ軸）は視点からの奥行き方向の
位置を示している。

【００４３】３１は或る特定された輝点（Ｘ１、Ｚ
１）、３２は移動後の輝点（Ｘ１＋Ｘ、Ｚ１＋Ｚ）、３
３は視点から焦点距離ｆの位置にある撮像面を示してい
る。輝点３１の像が視点からの水平方向距離がｘ０だけ
離間した撮像面上に投影され、移動後の像が視点からの
水平方向距離がｘだけ離間した撮像面上に投影されると
した場合、視点がある方向へ移動することは、逆方向へ
輝点３１が移動することと等価であり、この原理を利用
して、輝点３１が輝点３２に移動した場合の移動後の像
の水平方向の表示位置ｘを求める。

【００４４】すなわち、画素ピッチをｐとすると、図８
より数式（２）、数式（３）式が成立し、かかる数式
（２）、数式（３）から数式（４）に示すように表示位
置ｘが算出される。

【００４５】 Ｘ１／Ｚ１＝（ｐ・ｘ０）／ｆ …（２） （Ｘ１＋Ｘ）／（Ｚ１＋Ｚ）＝（ｐ・ｘ）／ｆ …（３） ｘ = (ｘ０+ ｋ・Ｘ）／（１＋ａ・ｋ・Ｚ) …（４） ここで、ａは数式（５）で定義される定数であり、直線
傾きｋは数式（６）で示される。

【００４６】 ａ＝ｆ／ｐ …（５） ｋ＝ｆ／（ｐ・Ｚ１） …（６） このように上記数式（４）により、視点移動に対応し
た、移動後の表示位置ｘを算出することができ、移動後
の像の位置を求めることができる。

【００４７】すなわち、視点検出器５が左右前後の視点
位置を対応点軌跡内挿部１９に送り、対応点軌跡内挿部
１９が、パラメトリックデータの各水平ラインのすべて
の対応点軌跡について数式（４）により表示位置ｘを算
出することにより、前後左右の視点移動に対応した画像
を生成することができる。

【００４８】本第２の実施の形態においては、入力画像
に上下方向の視差がないため、前後の視点移動に対して
生成される画像には上下方向の歪みが生じるが、被写体
までの距離に応じて、画像の表示時に上下方向に対して
拡大縮小変換を行っで該歪みを補正することにより、か
かる歪みに対処することができる。

【００４９】次に、第３の実施の形態として上記第２の
実施の形態の処理を高速に行う場合を示す。

【００５０】まず、第２の実施の形態において、数式
（４）は数式（７）の如く変形することができる。

【００５１】 ｘ＝（（ｘ０／ｋ）＋Ｘ）／（（１／ｋ) ＋（ａ・Ｚ）） ＝ (ｘ′＋Ｘ）／（ｋ′＋Ｚ′） …（７） ここで、ｘ′、ｋ′、Ｚ′は数式（８）〜数式（１０）
で表される。

【００５２】ｘ′＝ｘ０／ｋ …（８） ｋ′＝１／ｋ …（９） Ｚ′＝ａ・Ｚ …（１０） ｘ′およびｋ′は視点位置に依存しないため、あらかじ
め計算しておくことができる。また、Ｚ′は対応点軌跡
に依存しないため、視点位置の変化に対して１回だけ計
算すればよく、数式（４）のように一々演算する手間を
省略することができ、高速演算処理を行うことが可能と
なる。

【００５３】図９は第３の実施の形態の画像処理装置の
対応点軌跡内挿部１９における高速計算処理のフローチ
ャートである。

【００５４】対応点軌跡内挿部１９は、まずステップＳ
１１及びステップＳ１２において、すべての対応点軌跡
係数について、それぞれｘ′及びｋ′を数式（８）及び
数式（９）に基づいて算出する。次にステップＳ１３で
視点位置を視点位置入力部２０から取得し、続くステッ
プＳ１４で視点位置が変化するごとに１回だけ、数式
（１０）に基づきＺ′を計算する。そして、各水平ライ
ンのすべての対応点軌跡係数について、ステップ１５で
数式（７）に基づき輝点の表示位置を算出し、ステップ
１６で輝点の濃淡値を描画し、続くステップＳ６で水平
ライン毎にすべての対応点軌跡について処理を終了した
か否かを判別する。そして、その答が否定（Ｎｏ）のと
きはステップＳ１５に戻る一方、その答が肯定（Ｙｅ
ｓ）のときはステップＳ１８に進み、視点位置、すなわ
ち観察者の眼の位置が変化した場合の全ての視点位置に
ついて処理を終了したか否かを判別し、その答が否定
（Ｎｏ）のときはステップＳ１４に戻って視点検出器５
を介して新たな視点位置を取得し処理を続行する一方、
その答が肯定（Ｙｅｓ）のときは処理を終了する。

【００５５】以上の処理により、本第３の実施の形態で
は対応軌跡内挿処理を高速に行うことができ、よりスム
ーズな視点移動が可能になる。

【００５６】次に、第４の実施の形態として前後上下左
右に視点移動可能な画像処理装置について説明する。

【００５７】図１０は第４の実施の形態の画像処理装置
を模式的に示した斜視図であって、複数の多眼カメラ２
…が上下左右方向に平面上に配設されている。

【００５８】本第４の実施の形態では、入力多視点画像
保持部９の入力画像は、左右上下にＸＹ平面上に並んだ
視点から撮影された画像である。このため、ある輝点の
像の軌跡は、入力多視点画像保持部９の多視点画像がな
す４次元画像空間中の平面となる。したがって、対応点
軌跡判定部１１の対応点軌跡判定処理は、この入力４次
元画像空間中の平面判定処理に等しい。この平面は、視
点の位置の座標を（Ｘ, Ｙ）、軌跡上の輝点の位置座標
を（ｘ, ｙ）、軌跡の位置座標を（ｘ０, ｙ０）とする
と数式（１１）で表される。

【００５９】 （ｘ, ｙ）＝（（ｘ０＋ｋ・Ｘ）, （ｙ０＋ｋ・Ｙ）） …（１１） 軌跡係数制御部１２の算出する軌跡係数は平面の位置と
傾きを示す（ｘ０, ｙ０, ｋ）の３つの係数の組とな
る。対応点軌跡判定部１１は、軌跡係数制御部１２及び
判定二重閾値制御部１４により順次制御され、画像空間
中で平面状軌跡を判定し、検出した平面の係数を検出軌
跡記憶部１３に記憶する。データ出力部１６によって出
力されるパラメトリックデータは、検出された平面状軌
跡の枚数分の、係数の組みである。

【００６０】本第４の実施の形態においては、ＸＹ平面
上の表示位置（ｘ，ｙ）は数式（７）を変形して、数式
（１２）の如く表される。

【００６１】 （ｘ, ｙ）＝（ (ｘ′＋Ｘ）／（ｋ′＋Ｚ′），ｙ′+Ｙ） …（１２） ここで、ｙ′は数式（１３）で表される。

【００６２】ｙ′＝ｙ０／ｋ …（１３） 図１１は本第４の実施の形態における対応点軌跡内挿部
１９の処理手順を示すフローチャートである。

【００６３】対応点軌跡内挿部１９は、まずステップＳ
２１及びステップＳ２２において、すべての対応点軌跡
係数について、それぞれｘ′、ｙ′及びｋ′を数式
（８）、数式（１３）及び数式（９）に基づいて算出す
る。次にステップＳ２３で視点位置を視点位置入力部２
０から取得し、続くステップＳ２４で視点位置が変化す
るごとに１回だけ、数式（１０）に基づきＺ′を算出す
る。そして、ステップ２５で数式（７）に基づき輝点の
表示位置を算出し、ステップ２６で輝点の濃淡値を描画
し、続くステップＳ２７ですべての対応点軌跡について
処理を終了したか否かを判別する。ここで、全ての対応
点軌跡における処理は、各水平ライン及び各垂直ライン
を連立させて解析することにより行う。そして、その答
が否定（Ｎｏ）のときはステップＳ２５に戻る一方、そ
の答が肯定（Ｙｅｓ）のときはステップＳ２８に進み、
視点位置の変化について全て処理を終了したか否かを判
別し、その答が否定（Ｎｏ）のときはステップＳ２４に
戻って新たな視点位置を取得し処理を続行する一方、そ
の答が肯定（Ｙｅｓ）のときは処理を終了する。

【００６４】本第４の実施の形態では、入力画像が上下
方向の視差を持つため、第２の実施の形態、及び第３の
実施の形態で生じるような上下方向の画像の歪みが生じ
ることもなくなる。

【００６５】本実施の形態では、計算機のＣＰＵの処理
速度やＲＡＭの記憶容量に応じて階層データを入力する
ようにしていたが、これを以下のようにすれば、より高
画質な画像を生成できるようになる。

【００６６】まず、すべての階層のパラメトリックデー
タを蓄積メディア４から読み込む。そして、観察者の視
点移動速度と計算機パワーとの兼ね合いから、画像生成
に使用する最適な階層データをパラメトリックデータか
ら選択し、画像生成・表示する。観察者が視点を移動さ
せない時、例えば、１秒以上同じ視点位置で観察してい
た場合は、その部分をより詳しく見たいと解釈し、より
解像度の高い階層データを使用して画像生成・表示す
る。さらに、観察者が視点位置を変えない時間を計測
し、一定時間毎に使用する階層データの解像度を上げて
ゆくようにすることも可能である。

【００６７】また、人間の視覚特性により、高速に移動
している時は、物体を明確に識別することはできない。
従って、観察者が視点移動を始めた時は、そのスピード
に応じて画像生成負荷の軽い低解像度の階層データを画
像生成に使用しても、観察者はあまり画質の低下を感じ
ないので、そのスピードに応じて負荷の軽い低解像度の
階層データを画像生成に利用する。

【００６８】以上により、計算機パワーが低くても、視
点移動速度に応じて適当な階層データを利用し画像を生
成する事で、より高画質な画像を観察者に提示可能とな
る。また、上記各実施の形態では、あらかじめ撮影され
た多視点画像が入力多視点画像保持部９に保持されてい
る構成としたが、これを、多視点画像を実時間で取り込
むことのできる多眼テレビカメラに置き換えることによ
り、実時間の任意視点画像撮影・表示システムとなる。

【００６９】さらに、パラメトリックデータを通信デー
タとして遠隔端末間でデータの授受を行う場合は、実時
間の任意視点画像通信システムとなる。

【００７０】なお、本発明は単体の画像処理装置に適用
しても良いし、多視点テレビ、多視点テレビ電話端末や
多視点テレビ会議システムのようなシステム機器に適用
しても良いし、コンピュータや他の画像処理装置と組み
合わせた複合装置にも適用できる。

【００７１】

【発明の効果】以上説明したように本発明は、観察者の
目の位置を検出し、観察者から見える画像を複数枚の画
像から再構成することにより、観察者の視点が移動した
場合にそれに対応した画像をスムーズに出力することが
でき、また、装置に必要な記憶容量も、考えられうる視
点移動に対応した画像をすべて保持する場合に比べて、
極めて少なくて済む。

【００７２】また、入力多視点画像を解像度の異なる多
視点画像へ変換し、複数の解像度の多視点画像データに
対して画像生成を可能としたので、使用する計算機のパ
ワーに応じて対応点軌跡係数を選択して使用することに
より、視点移動時の画像生成時間が短縮されて反応が早
くなり、快適な観察が可能となる。

【００７３】さらに、本発明によれば、従来では対応で
きなかった前後方向への視点移動も可能となる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置の一実施の形態を模
式的に示した斜視図である。

【図２】上記画像処理装置の内部詳細を示すブロック構
成図である。

【図３】解像度の異なる多視点画像の組を示す図であ
る。

【図４】エピポーラ・プレーン画像、対応点軌跡及び軌
跡係数の説明を示す図である。

【図５】対応点軌跡判定部の処理手順を示すフローチャ
ートである。

【図６】直線判定処理の判定条件を示す図である。

【図７】判定二重閾値制御部の二重閾値制御シーケンス
を示す図である。

【図８】第２の実施の形態における対応点軌跡内挿部の
処理手順を説明するための説明図である。

【図９】第３の実施の形態の対応点軌跡内挿部の処理手
順を示すフローチャートである。

【図１０】第４の実施の形態を模式的に示した斜視図で
ある。

【図１１】第４の実施の形態の対応点軌跡内挿部の処理
手順を示すフローチャートである。

【符号の説明】

９ 入力多視点画像保持部 １０ 階層データ生成部 １１ 対応点軌跡判定部 １２ 軌跡係数制御部 １３ 検出軌跡記憶部 １４ 判定二重閾値制御部（基準値制御手段） １５ 検出奥行き配列保持部 １６ データ出力部 １７ 階層データ選択部 １８ データ入力部 １９ 対応点軌跡内挿部 ２０ 視点位置入力部 ２１ 画像表示部

Claims (12)

【特許請求の範囲】
1. 【請求項１】 視点に応じた画像を生成するための画像
   処理装置において、それぞれ異なる複数の位置を視点と
   する多視点画像データを保持する多視点画像データ保持
   手段と、該多視点画像データ保持手段が保持する多視点
   画像データを異なる解像度の多視点画像データに変換す
   る階層データ生成手段と、該階層データ生成手段により
   生成された複数の多視点画像データにおいてそれぞれの
   多視点画像中の画像間で相互に対応する対応点を規定す
   る係数を順次検出する対応点軌跡検出手段と、前記対応
   点軌跡係数から画像生成に使用する演算処理手段に応じ
   た階層データに対応する対応点軌跡係数データを選択す
   る階層データ選択手段と、選択された対応点軌跡係数デ
   ータを入力するデータ入力手段と、観察者の視点位置を
   入力する視点位置入力手段と、観察者の視点位置に応じ
   て前記対応点軌跡係数データから画像を生成する対応点
   軌跡内挿手段と、生成された画像を表示する画像表示手
   段を有することを特徴とする画像処理装置。
2. 【請求項２】 前記階層データ生成手段は、前記多視点
   画像データの各々について、解像度の異なる複数の画像
   を生成することを特徴とする請求項１に記載の画像処理
   装置。
3. 【請求項３】 前記階層データ選択手段は、前記演算処
   理手段の処理速度及び該演算処理手段に内蔵された記憶
   手段の記憶容量のうちの少なくともいずれか一方に応じ
   て、対応点軌跡データ中の階層データを選択することを
   特徴とする請求項１又は請求項２記載の画像処理装置。
4. 【請求項４】 前記対応点軌跡検出手段は、前記多視点
   画像データのエピポーラ・プレーン画像上での対応点軌
   跡である直線を規定する対応点軌跡係数を検出すること
   を特徴とする請求項１乃至請求項３のいずれかに記載の
   画像処理装置。
5. 【請求項５】 前記対応点軌跡検出手段は、前記多視点
   画像データの対応点軌跡である平面を規定する対応点軌
   跡係数を検出することを特徴とする請求項１乃至請求項
   ４のいずれかに記載の画像処理装置。
6. 【請求項６】 前記対応点軌跡検出手段は、対応点の検
   出基準となる基準値を可変制御することを特徴とする請
   求項１乃至請求項５のいずれかに記載の画像処理装置。
7. 【請求項７】 視点に応じた画像を生成するための画像
   処理方法において、それぞれ異なる複数の位置を視点と
   する多視点画像データを保持する多視点画像データ保持
   工程と、該多視点画像データ保持工程が保持する多視点
   画像データを異なる解像度の多視点画像データに変換す
   る階層データ生成工程と、該階層データ生成工程により
   生成された複数の多視点画像データにおいてそれぞれの
   多視点画像中の画像間で相互に対応する対応点を規定す
   る係数を順次検出する対応点軌跡検出工程と、前記対応
   点軌跡係数から画像生成に使用する演算処理手段に応じ
   た階層データに対応する対応点軌跡係数データを選択す
   る階層データ選択工程と、選択された対応点軌跡係数デ
   ータを入力するデータ入力工程と、観察者の視点位置を
   入力する視点位置入力工程と、観察者の視点位置に応じ
   て前記対応点軌跡係数データから画像を生成する対応点
   軌跡内挿工程と、生成された画像を表示する画像表示工
   程とを含むことを特徴とする画像処理方法。
8. 【請求項８】 前記階層データ生成工程は、前記多視点
   画像データの各々について、解像度の異なる複数の画像
   を生成することを特徴とする請求項７記載の画像処理方
   法。
9. 【請求項９】 前記階層データ選択工程は、前記演算処
   理手段の処理速度及び該演算処理手段に内蔵された記憶
   手段の記憶容量のうちの少なくともいずれか一方に応じ
   て、対応点軌跡データ中の階層データを選択することを
   特徴とする請求項７又は請求項８記載の画像処理方法。
10. 【請求項１０】 前記対応点軌跡検出工程は、前記多視
    点画像データのエピポーラ・プレーン画像上での対応点
    軌跡である直線を規定する対応点軌跡係数を検出するこ
    とを特徴とする請求項７乃至請求項９のいずれかに記載
    の画像処理方法。
11. 【請求項１１】 前記対応点軌跡検出工程は、前記多視
    点画像データの対応点軌跡である平面を規定する対応点
    軌跡係数を検出することを特徴とする請求項７乃至請求
    項１０のいずれかに記載の画像処理方法。
12. 【請求項１２】 前記対応点軌跡検出工程は、対応点の
    検出基準となる基準値を可変制御することを特徴とする
    請求項７乃至請求項１１のいずれかに記載の画像処理方
    法。