JPH0877356A

JPH0877356A - 三次元多眼画像の処理方法及び処理装置

Info

Publication number: JPH0877356A
Application number: JP6215523A
Authority: JP
Inventors: Hiroshi Harashima; 博原島; Robaato Suu Poochien; ロバートスーポーチェン; Kazuya Kodama; 和也児玉
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1994-09-09
Filing date: 1994-09-09
Publication date: 1996-03-22
Also published as: US5710875A

Abstract

(57)【要約】【目的】三次元多眼画像を基に任意の視点の三次元物
体の画像を形成する三次元多眼画像の処理方法及び処理
装置に関し、経済的且つ高速で画像処理を行う。【構成】三次元多眼画像の処理装置は、三次元物体を
複数の地点から見た画像を取得する画像取得手段１と、
複数の画像からなる三次元多眼画像を解析して、三次元
物体の同一点を繋ぐ軌跡群からなる階層的軌跡特徴情報
を求める画像解析手段２と、階層的軌跡特徴情報を基に
指定された視点からの三次元物体の画像を補間処理によ
って形成する画像補間手段３と、階層的軌跡特徴情報の
個々の軌跡について形状情報と色情報とを近似して圧縮
符号化する情報圧縮手段４と、符号化階層的軌跡特徴情
報を記憶する記憶手段６と、この記憶手段６から読出し
た符号化階層的軌跡特徴情報を元の階層的軌跡特徴情報
に復元して画像補間手段３に加える画像復元手段５とを
備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、三次元物体を複数の地
点から見たそれぞれの画像からなる三次元多眼画像を処
理して、任意の方向から三次元物体を見た画像を生成す
る三次元多眼画像の処理方法及び処理装置に関する。任
意の地点から三次元物体を見た画像を生成して表示する
ことにより、対象物体のデザイン的な評価を行ったり、
或いは仮想現実感環境を形成することができる。このよ
うな三次元物体についての画像処理を高速且つ経済的に
実現することが要望されている。

【０００２】

【従来の技術】三次元物体を任意の視点から見た画像を
コンピュータ処理によって生成して表示する方式とし
て、ＣＧ（Ｃomputer Ｇraphics ）モデル方式と画像方
式とが知られている。前者のＣＧモデル方式は、リアル
な画像を生成するには、非常に多くのポリゴン（polygo
n)を必要とし、複雑なシーンの実時間によるレンダリン
グ(rendering) の計算量がシーンの複雑性により増大す
る。又後者の画像方式は、複数の画像を蓄積しておき、
任意の視点に対応する画像を抽出して表示するものであ
る。

【０００３】この画像方式は、任意視点に対応する画像
を表示する為には無限に近い画像を取得する必要があ
る。そこで、隣接する視点からの画像を用いて、その視
点間の画像を近似する各種の方式が提案されている。例
えば、新たな視点からの三次元ポリゴンとしてピクセル
群で表される環境マップを作成し、ピクセルをレンダリ
ングすることによって補間画像を得る手段が知られてい
る（Ｎ．Ｇreene and Ｍ．Ｋass,“Ａpproximating vis
ibility with environment maps ”，ＴechnicalＲepor
t 43, Ａpple Ｃomputer,Ｉnc.,1993, 参照) 。

【０００４】又蓄積された画像と、画像間の関係マップ
を基に、ある種のモーフィングを用いることによって、
任意の補間画像を得る手段も知られている。この関係マ
ップは、画像に対応するレンジデータから予め計算され
て求められている（Ｓ．Ｅ．Ｃhen and Ｌ．Ｗilliams,
“Ｖiew interpolation for image synthesis ,"Ｓiggr
aph'93 Ｐroceedings,pp.279-288,1993, 参照) 。

【０００５】

【発明が解決しようとする課題】前述のＣＧモデル方式
は、シーンの複雑性に従って計算量が増大し、実時間で
三次元物体を任意の視点から見た画像を生成することが
困難となる問題がある。又前述の画像方式は、シーンの
複雑性に依存する点が少ないが、指定された任意の視点
からの三次元画像を表示するには、無限に近い画像を取
得する必要があり、技術的にも経済的にも実現が困難で
ある。又画像間の関係を補間する処理を行う方式は、単
純な画像方式に比較して取得する画像数が少なくなると
しても、隣接画像間の関係については、三次元構造を復
元する必要があるから、補間処理に必要な計算量が増大
する問題がある。本発明は、任意の視点から見た三次元
画像の生成を経済的に且つ高速で実行できるようにする
ことを目的とする。

【０００６】

【課題を解決するための手段】本発明の三次元多眼画像
の処理方法は、図１を参照して説明すると、（１）三次
元物体を複数の地点から見た画像群からなる三次元多眼
画像を画像取得手段１によって取得し、この画像取得手
段１によって得られた前記三次元多眼画像の各画像間の
三次元物体の同一点を繋ぐ階層的軌跡特徴情報を画像解
析手段２によって求め、階層的軌跡特徴情報を基に任意
の視点から三次元物体を見た画像を画像補間手段３によ
る補間処理によって求める過程を含むものである。

【０００７】（２）又画像解析手段２によって得られた
階層的軌跡特徴情報を情報圧縮手段４によって圧縮符号
化し、この圧縮符号化された階層的軌跡特徴情報を記憶
手段６に記憶し、この記憶手段６から読出された圧縮符
号化階層的軌跡特徴情報を復号して、元の階層的軌跡特
徴情報を情報復元手段５によって復元し、画像補間手段
３に入力する過程を含むことができる。

【０００８】（３）又三次元多眼画像の処理装置は、三
次元物体を複数の地点から見た画像群からなる三次元多
眼画像を取得する画像取得手段１と、この画像取得手段
１によって得られた三次元多眼画像の各画像間の三次元
物体の同一点を繋ぐ階層的軌跡特徴情報を求める画像解
析手段２と、この画像解析手段２によって得られた階層
的軌跡特徴情報を基に任意の視点から三次元物体を見た
画像を補間処理によって求める画像補間手段３とを備え
ている。

【０００９】（４）又画像解析手段２によって得られた
階層的軌跡特徴情報を圧縮符号化する情報圧縮手段４
と、この情報圧縮手段４による符号化階層的軌跡特徴情
報を記憶する記憶手段６と、この記憶手段６に記憶され
た符号化階層的軌跡特徴情報を読出して復号化し、画像
補間手段３に入力する情報復元手段５とを設けることが
できる。

【００１０】（５）又画像取得手段１は、単一又は複数
の曲線に沿った複数の地点から三次元物体を見た画像を
取得する構成を備えることができる。

【００１１】（６）又画像取得手段１は、三次元物体の
一部又は全部を取り囲む曲面上に形成された複数の曲線
に沿った複数の地点から、三次元物体を見た画像を取得
する構成を備えることができる。

【００１２】（７）又画像解析手段２は、三次元多眼画
像の各画像間の三次元物体の同一点を繋ぐ軌跡群を求め
る軌跡群生成手段と、軌跡群のオーバーラップする点を
検出し、このオーバーラップ点の前後関係を認識するオ
ーバーラップ点認識手段と、軌跡群を基に三次元物体の
穴若しくは凹面による見え隠れする部分を検出する検出
手段と、軌跡群の座標，形状及び色情報を求める手段
と、前記各手段により得られた情報を階層的軌跡特徴情
報として出力する解析出力手段とを備えることができ
る。

【００１３】（８）又画像解析手段２は、複数の曲線に
沿って取得した三次元多眼画像の複数の軌跡群を、幾何
不変量又は色不変量に基づいて対応付けを行う対応付け
手段と、軌跡群間の移動量を求める手段と、この移動量
と視点による射影関係を基に階層的軌跡特徴情報の変形
量を求める手段とを含む構成とすることができる。

【００１４】（９）又画像解析手段２により求めた階層
的軌跡特徴情報の変形量を基に、指定した視点による任
意の高さに於ける階層的軌跡特徴情報を補間する補間手
段と、この補間手段による補間結果を基に指定した視点
からの三次元画像を生成する生成手段とを含む構成とす
ることができる。

【００１５】（１０）又画像解析手段２は、三次元多眼
画像中に剛体運動又は非剛体運動を行う物体について移
動量を求め、この移動量を基に階層的軌跡特徴情報を変
形する運動補正手段を備えることができる。

【００１６】（１１）又運動補正手段は、剛体運動の平
行移動の移動量を基に視点と剛体運動物体中心との射影
関係を求める射影関係算出手段と、視点からの射影関係
によりアドレス変換を行う変換手段と、この変換手段に
より変換されたアドレスを基に階層的軌跡特徴情報を変
形する変形手段と、剛体の回転の移動量を基に、変形手
段により変形された階層的軌跡特徴情報を移動する移動
手段とを備えることができる。

【００１７】（１２）又運動補正手段は、非剛体運動を
大局的な剛体運動と局所的な剛体運動とに分類する分類
手段と、この分類手段による大局的な剛体運動の移動量
により、全体的に階層的軌跡特徴情報を変形する第１の
変形手段と、分類手段による局所的な剛体運動の移動量
により、部分的に階層的軌跡特徴情報を変形する第２の
変形手段とを備えることができる。

【００１８】（１３）又画像解析手段２の三次元物体の
穴若しくは凹面による見え隠れする部分を検出する検出
手段は、この見え隠れする部分について画像取得手段１
により更に細かい間隔で三次元物体を見た画像を取得す
るように制御する制御手段を含むことができる。

【００１９】（１４）又画像解析手段２の軌跡群のオー
バーラップ点を検出し、このオーバーラップ点の前後関
係を認識するオーバーラップ点認識手段は、軌跡群を基
に不連続な点を識別し、この不連続点を基に領域を分割
する分割手段と、分割された領域から三次元物体の同一
部分を表す領域を選択する選択手段と、選択された領域
間を接続する接続手段と、この接続手段による接続部分
と他の領域の接続部分との前後関係を判定して識別子を
付加する付加手段とを含むことができる。

【００２０】（１５）又画像補間手段３は、視点による
射影関係を求める射影手段と、この射影手段による射影
関係を基にアドレス変換を行うアドレス変換手段と、こ
のアドレス変換によるアドレスを基に階層的軌跡特徴情
報を変形する変形手段と、射影関係によりオーバーラッ
プ部分の前後関係を決定する決定手段と、三次元多眼画
像に対応する階層的軌跡特徴情報を合成する合成手段
と、階層的軌跡特徴情報を基に三次元多眼画像を生成す
る生成手段と、三次元多眼画像を基に指定された視点か
らの画像を形成する画像形成手段とを含むことができ
る。

【００２１】（１６）又画像補間手段３のアドレス変換
手段は、指定された視点と三次元物体中心との距離が、
三次元多眼画像取得時の距離と相違する時、指定された
視点に対して形成された画像の拡大，縮小を施す拡大，
縮小手段を備えることができる。

【００２２】（１７）又画像解析手段２によって得られ
た階層的軌跡特徴情報を圧縮符号化する情報圧縮手段４
は、階層的軌跡特徴情報の個々の軌跡について、それぞ
れ形状情報と色情報とを関数で近似する近似手段と、軌
跡についてグループ化するグループ化手段と、グループ
化された各グループの形状情報と色情報との各近似関数
の代表値を求める手段と、この代表値に符号を割当てる
割当手段とを備えることができる。

【００２３】（１８）又情報圧縮手段４は、形状情報の
近似関数として多項式を用いることができる。

【００２４】（１９）又情報圧縮手段４は、色情報の近
似関数としてフラクタル変換を用いることができる。

【００２５】（２０）情報復元手段５は、記憶手段６か
ら読出したデータを基に軌跡の形状と色の情報とを復元
し、階層的軌跡特徴情報を復元する手段を備えている。

【００２６】

【作用】

（１）三次元多眼画像の処理方法は、三次元物体を複数
の地点から見た画像を、テレビカメラによって実際に撮
像して取得するか、又はＣＧ等によって取得し、各地点
からそれぞれ見た画像からなる三次元多眼画像を解析し
て、階層的軌跡特徴情報を求める。この階層的軌跡特徴
情報は、各画像に於ける三次元物体の同一点を繋ぐ軌跡
群を基に形成する。この軌跡群は、三次元物体の或る点
が三次元物体を見る方向によって見え方が変化する様子
を示し、画像間の補間が簡単となる。即ち、階層的軌跡
特徴情報を基に、指定された視点からの三次元物体の画
像を形成する時に、画像補間手段３による補間処理によ
って三次元多眼画像を形成し、指定された視点からの画
像を求めるものである。

【００２７】（２）又軌跡群を分類し、境界線等の形状
を近似関数によって近似することにより、階層的軌跡特
徴情報を圧縮符号化し、半導体記憶装置や磁気ディスク
装置等の記憶手段６に記憶する。又この記憶手段６から
読出した符号化階層的軌跡特徴情報を情報復元手段５に
よって元の階層的軌跡特徴情報に復元し、指定された視
点からの画像を、画像補間手段３に於ける補間処理によ
って形成する。

【００２８】（３）又三次元多眼画像の処理装置は、画
像取得手段１と、画像解析手段２と、画像補間手段３と
を少なくとも備え、画像取得手段１は、三次元物体を複
数地点から実際に撮像するテレビカメラや、ＣＧ（コン
ピュータ・グラフィックス）による画像形成手段を用い
ることができる。又三次元物体の一部又は全部を取り囲
む単一の曲線又は複数の曲線或いは曲面上の任意方向の
曲線に沿って等間隔或いは不等間隔で三次元物体を見た
画像を取得する。又画像解析手段２と画像補間手段３と
は、コンピュータの演算処理手段によってその機能を実
現することができる。画像解析手段２は、画像取得手段
１からの三次元多眼画像を蓄積し、例えば、同一水平ラ
インについて各画像間の三次元物体の同一点を繋ぐ軌跡
を求める。これを全水平ラインについて行う。又各軌跡
群は、三次元物体のある点の見え方を示すものであり、
輝度情報や色情報を含めて軌跡群の特徴を示す階層的軌
跡特徴情報を求める。又複数の軌跡群を、形状，距離等
による幾何不変量又は色不変量に基づいて対応付けを行
う。又画像補間手段３は、三次元物体を見る位置が指定
された時、階層的軌跡特徴情報を基に三次元多眼画像を
復元し、指定された視点の画像を表示することができ
る。

【００２９】（４）又情報圧縮手段４は、階層的軌跡特
徴情報を近似関数等によって特徴部分を近似して符号割
当てを行い、記憶手段６の所要容量を削減する。又情報
復元手段５は、情報圧縮手段４とは逆の処理により、階
層的軌跡特徴情報を復元し、画像補間手段３に加える。
この情報圧縮手段４と情報復元手段５とは、画像解析手
段２や画像補間手段３と共に、コンピュータの演算処理
手段によってその機能を実現することができる。

【００３０】（５）又三次元物体が静止状態の場合のみ
でなく、運動している場合についても、画像解析手段２
に運動補正手段を設けることにより三次元多眼画像の解
析を行うことができる。この三次元物体の運動を、剛体
運動と非剛体運動とに分け、剛体運動の場合は平行移動
及び回転を検出し、その移動量に対応して階層的軌跡特
徴情報を変形する。又非剛体運動の場合は、大局的な剛
体運動と局所的な剛体運動とに分けて、それぞれの移動
量に応じて階層的軌跡特徴情報を変形する。それによっ
て、指定された視点からの運動物体の画像を再生するこ
とができる。

【００３１】

【実施例】図１は本発明の実施例の説明図であり、１は
画像取得手段、２は画像解析手段、３は画像補間手段、
４は情報圧縮手段、５は情報復元手段、６は記憶手段で
ある。画像取得手段１は、三次元物体を複数地点から見
たそれぞれの画像からなる三次元多眼画像を取得するも
のであり、例えば、テレビカメラにより三次元物体を実
際に撮像する構成或いはＣＧ（コンピュータ・グラフィ
ックス）により各種の画像を形成する構成等を適用でき
る。

【００３２】又画像解析手段２及び画像補間手段３は、
コンピュータの演算処理機能を用いて実現することが可
能であり、画像解析手段２は、三次元多眼画像の各画像
間の三次元物体の同一点を繋ぐ軌跡群を求める軌跡群生
成手段と、この軌跡群のオーバーラップ点を検出して、
その前後関係を認識するオーバーラップ点認識手段と、
軌跡群を基に三次元物体の穴若しくは凹面による見え隠
れする部分を検出する検出手段と、軌跡群の座標，形状
及び色情報を求める手段と、各手段により得られた情報
を階層的軌跡特徴情報として出力する解析出力手段とを
含むものであり、更に三次元物体が運動する場合の運動
補正手段を含むことができる。

【００３３】又画像補間手段３は、視点による射影関係
を求める射影手段と、この射影手段による射影関係を基
にアドレス変換を行うアドレス変換手段と、このアドレ
ス変換によるアドレスを基に階層的特徴情報を変形する
変形手段と、射影関係によりオーバーラップ部分の前後
関係を決定する決定手段と、三次元多眼画像に対応する
階層的軌跡特徴情報を合成する合成手段と、階層的軌跡
特徴情報を基に三次元多眼画像を形成する生成手段と、
三次元多眼画像を基に指定された視点からの画像を形成
する画像形成手段とを含むものである。

【００３４】又情報圧縮手段４は、階層的軌跡特徴情報
の個々の軌跡についてそれぞれ形状情報と色情報とを関
数で近似する近似手段と、軌跡についてアスペクトの分
類等によってグループ化するグループ化手段と、各グル
ープの形状情報と色情報との各近似関数の代表値を求め
る手段と、この代表値に符号を割当てる割当手段とを含
むものである。又情報復元手段５は、情報圧縮手段４と
逆の処理により階層的軌跡特徴情報を復元するものであ
る。又記憶手段６は、半導体記憶装置や磁気ディスク装
置等の比較的大容量の記憶装置により構成することがで
きる。

【００３５】図２は画像取得手段の説明図であり、単一
の曲線１２又は間隔Ｄの複数の曲線１２に沿って、三次
元物体１０をテレビカメラ１１により間隔ｄ毎に撮像し
た画像を三次元多眼画像とする。この場合、曲線１２間
の間隔Ｄ及び曲線１２に沿って三次元物体１０の画像を
取得する地点間の間隔ｄは、等間隔とする場合が一般的
であるが、間隔Ｄ，ｄの何れか一方或いは両方を不等間
隔とすることも可能である。又曲線１２は半径無限大に
近い曲線を含むものである。

【００３６】又曲線１２は、三次元物体１０の一部又は
全部を取り囲む曲面上に形成されることになり、この曲
面としては、球面が一般的であるが、円柱，立方体，楕
円面，超二次曲面等を適用することができる。又曲面の
中心に相当する位置に三次元物体１０を配置する必要は
なく、三次元物体１０と曲面との関係は任意に選定でき
るものである。又画像解析手段２による三次元多眼画像
の解析結果、三次元物体１０の穴若しくは凹面による見
え隠れする部分を検出手段によって検出した時、制御手
段によって、更に細かい間隔で三次元物体１０を見た画
像を取得するように制御する。例えば、間隔ｄの数分の
１或いは数１０分の１の間隔で三次元物体１０の画像を
取得することができる。

【００３７】図３は本発明の実施例の画像解析手段の説
明図であり、（ａ）は図２に示す画像取得手段を示し、
三次元物体１０を複数の地点から見た画像は、（ｂ）に
示すものとなる。即ち、複数の地点から三次元物体１０
を見た画像群によって三次元多眼画像が形成される。こ
の場合、θは曲線１２に沿った地点からの三次元物体１
０に対する角度を示す視差軸、ｕは画像の垂直方向の
軸、ｖは画像の水平方向の軸を示す。

【００３８】又三次元多眼画像（ｂ）について、例え
ば、同一水平走査線で切り出して注目２点の関係を示す
と、（ｃ）に示す軌跡が得られる。これをピクセルと対
応付け（ｄ）、分解し且つ交差部分の前後関係を識別し
て、階層的軌跡特徴情報とする（ｅ）。そして、位置，
形状，色，前後関係等の情報とする（ｆ）。

【００３９】図４は三次元多眼画像と軌跡特徴情報との
対応説明図であり、三次元物体１０を任意の曲線に沿っ
た視点Ａ，Ｂ，Ｃ，Ｄから見た三次元多眼画像の各画像
間の三次元物体１０の同一点１０ａは、左側の曲線上の
視点Ａ，Ｂ，Ｃ，Ｄで示す軌跡となる。

【００４０】図５は複数の曲線に沿った地点から見た三
次元物体の画像と視点との説明図であり、（ａ）に於い
て、半径Ｒの円筒面上の間隔ａの複数の軌道（曲線）に
沿ってカメラを移動させて三次元物体（図示を省略）を
撮像して画像系列を取得した場合、この画像系列全体で
所望の範囲をカバーできるものとすると、（ｂ）に示す
ように、視点とカメラ（半径Ｒの円筒面）との距離を
ｄ、カメラとカメラ画像平面との距離をｒ、この時の視
線方向に対して角度θをなす方向の対象物体（三次元物
体）上の点をＰとすると、画像系列＃１，＃２上に於け
る点Ｐの相対ｙ座標をそれぞれｙ₁，ｙ₂とする（但
し、ｙ₁＜０，ｙ₂＞０）。又点Ｐのカメラ画像平面か
らの距離をｋとすると、ａ／（ａ＋ｙ₁−ｙ₂）＝（ｋ＋ｒ）／ｋ …（１）ｋ＝ｒ（ａ＋ｙ₁−ｙ₂）／（ｒ₂−ｙ₁） …（２）

【００４１】又ｙ₂とθとの間には、次式の関係が成り
立つ。Ｙ＋（ｄ＋ｒ＋ｋ）ｔａｎθ＝｛（ｒ＋ｋ）／ｒ｝ｙ₂ …（３）よって、点Ｐは、画像系列＃２上の（２），（３）式に
より定まるｙ＝ｙ₂の位置の点に対応する。

【００４２】前述のように、視野に入る部分に対応する
画像系列上の範囲を求めることができる。そして、元の
画像系列から該当する部分の輝度値データを切り出し
て、視野幅に合うようにスケーリングを行う。この場
合、隣接する画像系列間でピクセルの対応付けが可能で
あることが必要である。又画像合成に於いて、複数の軌
跡群から合成する場合、異なる軌跡群の対応付けは、幾
何不変量や色不変量に基づいて行うことができる。幾何
不変量としては、例えば、形状に基づく場合の輪郭の曲
率や特徴点間の距離とすることができる。又色不変量と
しては、カラー画像の場合に、色情報はＲＧＢの輝度値
で表現されており、照明の影響がない理想的な状態で
は、対象物体表面の或る点の輝度値は、撮影位置が異な
っても不変であるから、これを不変量とすることができ
る。

【００４３】軌跡群間の対応付けは、次のようなアルゴ
リズムによって行うことができる。１．隣接する画像系列から視点と同じ回転角の画像を取
り出して両眼画像を用意する。２．両眼画像に於いて、エッジ検出を行って輪郭を抽出
し、方向性を持つフィルタによって輪郭の傾きや曲率を
求める。３．輪郭の傾きや曲率を基に、輪郭に於ける幾何不変量
を計算し、この幾何不変量により両眼画像間の輪郭の対
応付けをする。４．輪郭の対応付けと、軌跡群間の色不変量とを基に、
隣接する画像系列間で軌跡群間の対応付けを行う。

【００４４】図６は階層的軌跡特徴情報の説明図であ
り、（ａ）の三次元多眼画像の同一水平ライン１５上の
二つの点ａ１，ａ２について、視差軸θ方向の各画像間
の関係は（ｂ）に示すものとなる。即ち、点ａ１，ａ２
が離れている状態から、三次元物体１０を見る方向が変
化することによって次第に接近し、点ａ１，ａ２が重な
って見えた後、次第に離れる状態の軌跡が得られる。

【００４５】図７はエピポーラ平面画像の説明図であ
り、（ａ）は、見る方向によって幅が変化しないが、間
隔が変化する二つの点ａ１１，ａ１２を含む三次元物体
について視点を変えた場合の軌跡を示し、最初は離れて
いる点ａ１１，ａ１２は、視点を変えることにより次第
に接近し、遂には重なって点ａ１２のみが見える状態と
なり、その後は再び離れる状態を繰り返すことになる。

【００４６】又（ｂ）は、正面が正方形となる点ｂ１
１，ｂ１２，ｂ１３の集合による三次元物体について視
点を変えた場合の軌跡を示し、点ｂ１１，ｂ１２，ｂ１
３は縄のように撚った状態となり、それらの間には空間
が生じない状態となる。

【００４７】図８はオーバーラップ部分の処理の説明図
であり、画像解析手段２のオーバーラップ点認識手段の
矢印方向の処理を示し、このオーバーラップ点認識手段
が、分割手段と選択手段と接続手段と付加手段とを含む
構成に於いて、軌跡ａ２１，ａ２２のオーバーラップ部
分により、軌跡ａ２２は軌跡ａ２１によって分断されて
不連続の状態となるから、オーバーラップ部分ａ２３に
より軌跡ａ２１ａ，ａ２１ｂ，ａ２２ａ，ａ２２ｂのよ
うに分割する。

【００４８】分割された各軌跡ａ２１ａ，ａ２１ｂ，ａ
２２ａ，ａ２２ｂについて、選択手段により三次元物体
の同一部分を表すか否かを判定し、接続手段により同一
部分と判定された軌跡ａ２１ａ，ａ２１ｂ間と、軌跡ａ
２２ａ，ａ２２ｂ間とを接続し、それぞれａ２１’，ａ
２２’の軌跡とし、且つオーバーラップ部分ａ２３の前
後関係を判定し、付加手段によって接続部分（オーバー
ラップ部分）ａ２３ａ，ａ２３ｂに、前後関係を示す識
別子を付加する。

【００４９】図９はアスペクト・グラフの説明図であ
り、白の面と右斜線の面と左斜線の面と黒の面とからな
る正四面体について示す。アスペクト・グラフは、或る
物体について、視点の位置による見え方（アスペクト）
の相違を定性的に複数に分類し、類と類との関係をグラ
フ化したものであり、或る見え方の類の中では、適当な
定量的情報を補ってやることにより、視点の移動による
見え方の変化を予測し得るが、他の類へ視点が移動する
場合は対応がとれなくなることに基づいた分類法であ
る。

【００５０】このアスペクト・グラフに於いて、一つの
ノードが一つのアスペクトに対応し、一本のエッジが見
え方の類の変化＝イベント（例えば、新たな面が見える
ようになる）を示す。又一つのアスペクトに対応する視
点の位置の集合（空間領域）をセル（ｃｅｌｌ）と称
し、視点がセル間の境界を越えることがイベントに対応
している。従って、アスペクト・グラフは、定量的情報
を処理するに当たって、一つの規範となるものといえ
る。

【００５１】図１０はアスペクトの分類の説明図であ
り、横軸は水平軸ｖ、縦軸は視差軸θを示す。アスペク
ト・グラフは、三次元物体と空間との境界線がどのよう
な形状をとるかで分類したものであり、或る一つのエピ
ポーラ平面のみについてアスペクトの分類を行う。この
アスペクトの分類も補間等に用いることを目的として、
三次元物体の表面上の任意の点のうち、どの点が見えて
いるかによって分類するものである。

【００５２】即ち、図１０に模式的に示す多面体のエピ
ポーラ平面の一部分の太線２１〜２４がエピポーラ平面
による多面体の切り口（多角形）の頂点の軌跡を示し、
三次元上の点の多眼画像への射影は、それぞれ矢印のよ
うに移動する。この矢印がピクセルの対応付けそのもの
であり、この場合はアスペクトは３種類（アスペクト
１，２，３）に分類される。即ち、エピポーラ平面上の
ピクセルのみを対象とすれば、元の多眼画像に写ってい
る物体の表面領域の組合せは、水平軸方向の分割線２
５，２６で分割して示すように三通りである。

【００５３】図１１は三次元多眼画像とエピポーラ平面
画像との説明図であり、（ａ）〜（ｄ）は、三次元ＣＧ
による三次元物体（立方体）を基に、その三次元物体の
全体を取り囲む曲線に沿って２度毎の地点からその三次
元物体を見た画像を形成し、その１８０枚の画像を形成
順序に従って並べ、その１０，５５，１００，１４５番
目（フレーム）の画像を示す。

【００５４】又（ｅ）〜（ｈ）は前述の１８０枚の画像
からなる三次元多眼画像について、１３，２０，３０，
３９番目の水平ラインに於けるエピポーラ平面画像を示
す。三次元物体の或る高さの一点について三次元多眼画
像の取得位置の順序で追跡すると、連続的に取得した三
次元多眼画像の場合は勿論のこと、或る間隔をおいて取
得した三次元多眼画像を用いた場合でも、一本の曲線を
描くことになる。即ち、（ｅ）〜（ｈ）に示すように、
或る高さ（或る水平ライン）毎のエピポーラ平面画像を
得ることができる。

【００５５】実際は、総ての三次元物体の表面上の点に
ついてエピポーラ平面画像上の軌跡を認識できるもので
はない。何故ならば、エピポーラ平面画像は輝度値画像
であり、近似した輝度値で表される三次元物体の表面上
の２点間は区別できない。そこで、三次元物体の似通っ
た輝度値を生じる表面領域のエピポーラ平面画像上での
広がりを認識する為に、エピポーラ平面画像に対して輝
度値に基づくセグメンテーションを行う。

【００５６】このセグメンテーションは、例えば、ソー
ベルフィルタを用いてエッジ検出を行う。このエッジ検
出の結果を図１２の（ａ）〜（ｄ）に示す。このエッジ
として検出された点の上を１ピクセル毎に領域を拡張し
てラベル付けを行う。

【００５７】図１３はラベル付け処理とソーベルフィル
タとの説明図であり、（ｄ）はソーベルフィルタを示
し、３×３の構成の場合を示す。このソーベルフィルタ
の中心を注目画素に一致させて、各画素に対してソーベ
ルフィルタの係数を乗算した値の和の絶対値と、このソ
ーベルフィルタを９０度回転して同様に演算処理した絶
対値とを加算し、この加算値を、ＲＧＢの各色について
実行し、閾値（例えば、４０）以上の場合は、この注目
画素をエッジ点と認識する。前述の図１１の（ｅ）〜
（ｈ）のエピポーラ平面画像についてエッジ検出した結
果が、図１２の（ａ）〜（ｄ）に示すものとなる。

【００５８】又図１３の（ａ）はラベル付けの初期状態
を示し、エッジ点のピクセルを空白で表し、矢印で示す
ように、相対輝度値１，２，３のピクセルについて、上
下左右に１ピクセル毎に領域拡張を行う。その場合、一
つのエッジ点に対して同時に複数の領域からの拡張が行
われる時は、例えば、そのエッジ点に対する上の領域，
左の領域，右の領域，下の領域の順に優先権を与え、優
先順位の高い領域から拡張を行わせる。

【００５９】図１３の（ｂ）は（ａ）の矢印で示す領域
の拡張を行った結果を示す。この状態から更に領域拡張
を継続することにより、（ｃ）に示すようにエッジ点の
ラベル付けが行われる。図１２の（ａ）〜（ｄ）のエッ
ジ検出結果のエピポーラ平面画像に対するラベル付けに
よるセグメンテーションの結果を図１４の（ａ）〜
（ｄ）に示す。

【００６０】図１５はアスペクトの分類の説明図であ
り、エピポーラ平面画像の一部について境界線が直線で
表されるものとした場合を示し、境界線の交差点を水平
軸方向に通る分割線３１〜３４によって分割し、アスペ
クトＡＳ１，ＡＳ２，ＡＳ３，・・・として分類でき
る。

【００６１】図１６はピクセルの対応付けの説明図であ
り、アスペクトの分割線と輝度値による境界線とにより
分割された領域の例えば斜線を施した部分の上部を１ピ
クセル幅とすると、その両側のピクセル幅をｘ，ｙとし
た時、下部はｐ，ｑ，ｒの幅で、ｘ：１：ｙ＝ｐ：ｑ：
ｒの関係の場合を示す。又この斜線を施した部分は、三
次元物体の表面上の或る点のエピポーラ平面画像上の軌
跡と考えることができる。元の多眼画像では、この斜線
部分に当たるピクセルは、同じ表面領域が写っていると
認識できる（対応付けができる）。

【００６２】図１７はアスペクトの分類結果の説明図で
あり、（ａ）〜（ｄ）は、図１４の（ａ）〜（ｄ）に示
すセグメンテーション結果を基にアスペクトの分類を行
った結果を示す。即ち、セグメンテーションによる境界
線の交差点（新たな面が見え始めるイベント或いは或る
面が見えなくなるイベントを示す）を通る分割線によっ
て分割する。この場合、境界線の形状を３次多項式等の
関数で近似した形状情報と、境界線間の色情報と、分割
線情報と、その分割線上の輝度情報とによってエピポー
ラ平面画像を表すことができるから、情報圧縮ができ
る。

【００６３】図１８は境界線の近似説明図であり、セグ
メンテーションによる境界線を多項式で近似するもの
で、実線の曲線が境界線であるとすると、視差軸方向に
３分割する白丸で示す４点を結ぶ３次式を用いることが
できる。又近似関数として１次式を用いると、点線の関
係を示すことになる。なお、１次式を用いた場合より３
次式を用いた場合に、復元された階層的軌跡特徴情報が
元の階層的軌跡特徴情報に近いものとなる。

【００６４】例えば、輝度値による境界線を３次多項式
で近似し、又図１６に於ける例えば斜線を施した領域の
輝度値の平均値を上方の分割線上に射影し、これを分割
線上の各ピクセルについて実行し、分割線上の１ライン
分の輝度値情報とする。或いは分割線上の輝度値をその
まま輝度値情報とすることができる。

【００６５】この場合、情報圧縮手段４に於いて階層的
軌跡特徴情報の個々の軌跡について近似手段によって形
状情報と色情報とを関数で近似し、この形状情報を例え
ば前述のように３次多項式で近似し、色情報を例えばフ
ラクタル変換（自己相似モデル）で近似し、グループ化
手段により軌跡を、アスペクトの分類のようにグループ
化し、各グループの形状情報と色情報との各近似関数の
代表値を求め、その代表値に符号を割当手段によって割
り当てて圧縮符号化することができる。

【００６６】図１９は剛体運動の補償説明図であり、三
次元物体４０ａ，４０ｂを剛体としてその運動を剛体運
動検出手段４１により検出する。この剛体運動の平行移
動の移動量を基に視点と剛体運動物体中心との射影関係
を射影関係算出手段４２によって求める。軌跡の変形手
段４３は、視点の射影関係によりアドレス変換を行う変
換手段を含み、変換されたアドレスを基に階層的軌跡特
徴情報を変形する。又剛体運動の回転の移動量を基に、
軌跡の変形手段４３により変形された階層的軌跡特徴情
報を移動し、剛体運動の補償を行うことができる。

【００６７】図２０は非剛体運動の補償説明図であり、
三次元物体５０ａ，５０ｂを非剛体として、その運動を
非剛体運動検出手段５１により検出する。この非剛体運
動を、分類手段５２により大局的な剛体運動５３と局所
的な剛体運動５４とに分類し、大局的な剛体運動５３の
移動量に応じて第１の変形手段５５により全体的に階層
的軌跡特徴情報を変形し、局所的な剛体運動５４の移動
量に応じて第２の変形手段５６により部分的に階層的軌
跡特徴情報を変形して、非剛体運動の補償を行うことが
できる。

【００６８】従って、動画像について、対象物体が剛体
運動か非剛体運動かを判定し、その対象物体の移動量を
求め、その移動量に応じて階層的軌跡特徴情報を変形す
ることにより、対象物体の動きについて補償することが
できる。

【００６９】二次元画像は三次元物体の投影図であると
仮定し、画像上の三次元物体の次のフレームに於けるカ
メラ座標系の三次元位置をＰｃ＝（ｐｃ_x，ｐｃ_y，ｐ
ｃ_z）とすると、これに対応する二次元座標での二次元
位置は、Ｐｉ＝（ｐｉ_x，ｐｉ_y）＝（ｐｃ_x／ｐ
ｃ_z，ｐｃ_y／ｐｃ_z）で表すことができる。すると、
二次元動きベクトルｙ＝（ｕ，ｖ）は、ｊ＝Ｎとして次
式で表される。

【数１】

【００７０】（５）式の右辺のη（ｋ）は定常白色性の
雑音プロセスであり、二つの独立したガウス性の白色雑
音の和としてモデル化することができる。一方は観測雑
音であり、他方はシステムが潜在的に持っているノイズ
である。拡張カルマンフィルタの状態ベクトルは、６個
の三次元動きパラメータ（剛体の並進及び回転）とＮ個
の特徴点の三次元構造パラメータとから構成される。

【数２】

【００７１】（６）式の状態ベクトルｘ（ｋ）は、非線
形関数ｆにより次式のように更新される。

【数３】

【００７２】三次元物体を中心にしたフレームの起点に
関しての三次元物体の回転的な動きは、ｑｕａｔｅｒｎ
ｉｏｎｓを用いて直接求めることができる。ｔ₀に於い
て三次元物体を中心にしたフレームと、初めのカメラを
中心としたフレームとが一直線になっていると仮定する
と、三次元物体を中心にしたフレームに関する回転行列
Ｒ_COは、ｑ_co（ｋ）＝（ｑ₁，ｑ₂，ｑ₃，ｑ₄）の項
を用いて次式のように表される。

【数４】

【００７３】この（８）式のω_c（ｋ）が第ｋフレーム
目と第ｋ−１フレーム目との間で一定であると仮定する
と、ｑｕａｔｅｒｎｉｏｎｓは、ω_c（ｋ）を用いて次
式で表すことができる。

【数５】

【００７４】前述の（７）式に従ってｘ（ｋ）を更新し
た後、回転行列を計算することにより回転ベクトルω_c
（ｋ）が導出される。第ｋフレーム目と第ｋ−１フレー
ム目との間で回転ベクトルω_c（ｋ）が一定であるとい
う仮定は、“ｚｅｒｏ−ｏｒｄｅｒ”近似、つまりテイ
ラー展開に於いて１次以降の剰余項を省略して近似する
ことと同じことである。このようにして、三次元物体の
回転的な動きが一定速度でない時、若しくは一定の並進
でない時の状態方程式を容易に導出することができる。

【００７５】対象物体（三次元物体）の剛体運動と三次
元構造の推定について要約すると、１．対象物体に特徴点の組を選び、それらの初期画像に
於ける座標Ｐｉ（ｋ）を自動的或いは手動で指定して抽
出する。２．特徴点のフレーム間のオプティカルフローｙ（ｋ）
を計算する。３．フレーム間の三次元変換ベクトルｔ_c（ｋ），ω_c
（ｋ）及び回転ベクトルω_c（ｋ）を計算し、（５），
（７）式を拡張カルマンフィルタを用いて解くことによ
って三次元構造パラメータＰ_c（ｋ）を更新する。４．ω_c（ｋ）から（９）式を用いてフレーム間の四次
元列ベクトルｑ_co（ｋ）を計算する。５．四次元列ベクトルｑ_co（ｋ）から（８）式を用いて
回転行列Ｒ_co（ｋ）を計算する。

【００７６】対象物体追跡の為の対象物体の特徴点を選
ぶ時に、曖昧な動きの時に動かないでいる特徴点ではな
く、厳密な動きの結果として動く特徴点を選ぶもので、
実画像を対象物体と背景とに分割し、その対象物体であ
る領域から特徴点を、最大曲率，端点或いは節点として
検出する。この場合の特徴点の検出は、人間によって簡
単に行うことができるが、コンピュータ処理によって行
うことも可能である。

【００７７】又特徴点の追跡は、オプティカルフロー法
によって計算する。このオプティカルフローには、主に
二つの方法があり、その一つは、正規化相互相関に基づ
くブロックマッチングであり、例えば、８×８ブロック
を用い、探索範囲を±１０ピクセルと設定した時、最も
良い追跡精度が得られた。他の一つは、勾配法であり、
例えば、４点からの一次微分を計算し、５×５ブロック
について最小二乗法を用いて速度を推定することができ
る。

【００７８】又カルマンフィルタに対して、初期値を次
のように設定する。状態ベクトルについて、６個の三次
元運動パラメータを０に設定し、構造パラメータを設定
し、推定誤差の共分散行列を０に設定する。オプティカ
ルフローを勾配法を用いて計算する場合、測定誤差の共
分散行列を更新するが、ブロックマッチングを用いる場
合は、その共分散行列は定常的な零平均ガウス分布とし
て更新する。

【００７９】又視点を固定して対象物体が動くと仮定す
ると、視点の移動量に於ける性質は、剛体運動の移動量
の性質と同等であると見做される。その為、画像補間手
段により剛体運動を補正することができる。即ち、１．平行移動ｔ_cの移動量により、その視点と物体中心
との射影関係を求める。２．視点からの射影関係によりアドレス変換を行う。３．アドレス変換により階層的軌跡情報を変形する。４．回転ω_c或いはＲ_coの移動量により、その変形した
階層的軌跡情報を移動する。

【００８０】図２１は三次元多眼画像の透視射影関係の
説明図であり、視点Ｃと三次元物体中心との距離が、こ
の三次元物体の三次元多眼画像取得時の距離と異なる場
合、視点Ｃからの視線Ｖ１，Ｖ２，Ｖ３が画面ＩＰの点
Ｓ１，Ｓ２，Ｓ３を通る透視射影を求め、視点Ｃからの
射影関係により画像位置を表すアドレスを変換し、変換
されたアドレスによって階層的軌跡特徴情報を変形す
る。この場合、視点Ｃと三次元物体中心との間の距離が
短い場合は、アドレス変換により画像は拡大されること
になる。又視点Ｃと三次元物体中心との間の距離が長い
場合は、アドレス変換により画像は縮小されることにな
る。

【００８１】図２２は画像補間手段の説明図であり、
（ａ）は記憶手段に記憶された符号化階層的軌跡特徴情
報であり、位置，形状，色情報，見え方の前後関係を含
み、形状，色情報は近似関数により近似され、又前後関
係は識別子等によって表されている。従って、（ｂ）に
示す階層的軌跡特徴情報の軌跡ａ２１’，ａ２２’及び
前後関係を示すオーバーラップ部分ａ２３ａ，ａ２３ｂ
（図８参照）が得られ、前後関係を示す識別子によって
（ｃ）に示す軌跡ａ２１，ａ２２が得られる。

【００８２】この軌跡ａ２１，ａ２２は、三次元物体の
見え方を示し、従って、三次元物体を見る方向が異なる
と、この軌跡ａ２１，ａ２２の形状は異なったものとな
る。そこで、指定された入力視点に応じて軌跡ａ２１，
ａ２２の補間処理を行う。即ち、（ｃ）の軌跡ａ２１，
ａ２２は、例えば、（ｄ）に示す軌跡ａ２１Ａ，ａ２２
Ａとなる。このような補間処理を行うことにより、
（ｅ）に示す軌跡群が得られるから、視差軸θ上の入力
視点に対応した位置のｕ，ｖ方向の軌跡群から、三次元
物体の画像を形成することができる。即ち、（ｆ）に於
ける三次元多眼画像を取得する画像取得手段１による画
像取得位置と異なる視点が指定された場合でも、（ｅ）
に示す軌跡群から三次元物体の画像を形成することがで
きる。

【００８３】図２３は情報圧縮手段の説明図であり、図
３の（ｅ）について説明した場合と同様に、階層的軌跡
特徴情報が画像解析手段２から情報圧縮手段４に加えら
れ、矢印で処理過程を示すように、階層的軌跡特徴情報
の個々の軌跡について、位置，形状，色情報，見え方の
前後関係を求め、位置，形状近似関数，色情報近似関
数，見え方の前後関係を符号化階層的軌跡特徴情報と
し、階層的軌跡特徴情報の冗長性を取り除いて圧縮符号
化し、記憶手段６に記憶させる。

【００８４】図２４は情報復元手段の説明図であり、矢
印で処理過程を示すように、図２３に示す情報圧縮手段
の処理と逆の処理によって、記憶手段６から読出した符
号化階層的軌跡特徴情報（位置，形状近似関数，色情報
近似関数，見え方の前後関係）を順次復元し、元の階層
的軌跡特徴情報を得ることができる。

【００８５】この階層的軌跡特徴情報が得られると、図
２２について説明したように、入力視点に対応して軌跡
を変形し、それを基に入力視点に対応した画像を形成す
ることができる。この場合、三次元物体の画像を補間処
理するものであるが、画像情報は三次元構造が必要でな
いことから、処理量は従来例に比較して著しく低減でき
る。

【００８６】

【発明の効果】以上説明したように、本発明は、三次元
物体を複数の地点から見た画像群からなる三次元多眼画
像を取得し、その三次元多眼画像の各画像から階層的軌
跡特徴情報を求め、この階層的軌跡特徴情報を基に任意
の視点から三次元物体を見た画像を補間処理によって形
成するもので、従来例のような三次元構造情報を用いる
必要がなく、二次元構造情報を用いることにより、任意
の視点からの三次元物体の画像を形成できる。又シーン
の複雑性によらず計算量はほぼ一定となり、且つ回想的
軌跡特徴情報の圧縮符号化によって冗長性を除くことに
より、記憶容量の削減が可能となる。従って、経済的に
且つ高速で三次元多眼画像の処理が可能となる利点があ
る。

【００８７】又三次元物体を複数の曲線に沿った複数の
地点から見た画像系列を取得した場合は、階層的軌跡特
徴情報を解析し、軌跡群間の対応付け，軌跡群間の移動
量算出，視点による射影関係を基に階層的軌跡特徴情報
の変形量算出を行うことにより、任意の視点からの三次
元物体の画像を補間処理によって容易に形成することが
できる。又三次元物体が運動する場合に於いても、その
運動量を求めることにより、容易に三次元物体の画像を
形成することができる。

【図面の簡単な説明】

【図１】本発明の実施例の説明図である。

【図２】画像取得手段の説明図である。

【図３】本発明の実施例の画像解析手段の説明図であ
る。

【図４】三次元多眼画像と軌跡特徴情報との対応説明図
である。

【図５】複数の曲線に沿った地点から見た三次元物体の
画像と視点との説明図である。

【図６】階層的軌跡特徴情報の説明図である。

【図７】エピポーラ平面画像の説明図である。

【図８】オーバーラップ部分の処理の説明図である。

【図９】アスペクト・グラフの説明図である。

【図１０】アスペクトの分類の説明図である。

【図１１】三次元多眼画像とエピポーラ平面画像との説
明図である。

【図１２】エッジ検出結果の説明図である。

【図１３】ラベル付け処理とソーベルフィルタとの説明
図である。

【図１４】セグメンテーション結果の説明図である。

【図１５】アスペクトの分類の説明図である。

【図１６】ピクセルの対応付けの説明図である。

【図１７】アスペクトの分類結果の説明図である。

【図１８】境界線の近似説明図である。

【図１９】剛体運動の補償説明図である。

【図２０】非剛体運動の補償説明図である。

【図２１】三次元多眼画像の透視射影関係の説明図であ
る。

【図２２】画像補間手段の説明図である。

【図２３】情報圧縮手段の説明図である。

【図２４】情報復元手段の説明図である。

【符号の説明】

１画像取得手段２画像解析手段３画像補間手段４情報圧縮手段５情報復元手段６記憶手段

Claims

【特許請求の範囲】

【請求項１】三次元物体を複数の地点から見た画像群
からなる三次元多眼画像を画像取得手段によって取得
し、該画像取得手段によって得られた前記三次元多眼画
像の各画像間の前記三次元物体の同一点を繋ぐ階層的軌
跡特徴情報を画像解析手段によって求め、前記階層的軌
跡特徴情報を基に任意の視点から前記三次元物体を見た
画像を画像補間手段による補間処理によって求める過程
を含むことを特徴とする三次元多眼画像の処理方法。
【請求項２】前記画像解析手段によって得られた前記
階層的軌跡特徴情報を情報圧縮手段によって圧縮符号化
し、該圧縮符号化された階層的軌跡特徴情報を記憶手段
に記憶し、該記憶手段から読出された前記圧縮符号化階
層的軌跡特徴情報を復号して、元の階層的軌跡特徴情報
を情報復元手段により復元し、前記画像補間手段に入力
する過程を含むことを特徴とする請求項１記載の三次元
多眼画像の処理方法。
【請求項３】三次元物体を複数の地点から見た画像群
からなる三次元多眼画像を取得する画像取得手段と、該画像取得手段によって得られた前記三次元多眼画像の
各画像間の前記三次元物体の同一点を繋ぐ階層的軌跡特
徴情報を求める画像解析手段と、該画像解析手段によって得られた前記階層的軌跡特徴情
報を基に任意の視点から前記三次元物体を見た画像を補
間処理によって求める画像補間手段とを備えたことを特
徴とする三次元多眼画像の処理装置。
【請求項４】前記画像解析手段によって得られた前記
階層的軌跡特徴情報を圧縮符号化する情報圧縮手段と、該情報圧縮手段による符号化階層的軌跡特徴情報を記憶
する記憶手段と、該記憶手段に記憶された前記符号化階層的軌跡特徴情報
を読出して復号化し、前記画像補間手段に入力する情報
復元手段とを備えたことを特徴とする請求項３記載の三
次元多眼画像の処理装置。
【請求項５】前記画像取得手段は、単一又は複数の曲
線に沿った複数の地点から前記三次元物体を見た画像を
取得する構成を備えていることを特徴とする請求項３記
載の三次元多眼画像の処理装置。
【請求項６】前記画像取得手段は、前記三次元物体の
一部又は全体を取り囲む曲面上に形成された複数の曲線
に沿った複数の地点から、前記三次元物体を見た画像を
取得する構成を備えていることを特徴とする請求項３記
載の三次元多眼画像の処理装置。
【請求項７】前記画像解析手段は、前記三次元多眼画
像の各画像間の前記三次元物体の同一点を繋ぐ軌跡群を
求める軌跡群生成手段と、前記軌跡群のオーバーラップ
する点を検出して、該オーバーラップ点の前後関係を認
識するオーバーラップ点認識手段と、前記軌跡群を基に
前記三次元物体の穴若しくは凹面による見え隠れする部
分を検出する検出手段と、前記軌跡群の座標，形状及び
色情報を求める手段と、前記各手段により得られた情報
を階層的軌跡特徴情報として出力する解析出力手段とを
含むことを特徴とする請求項３記載の三次元多眼画像の
処理装置。
【請求項８】前記画像解析手段は、前記複数の曲線に
沿って取得した前記三次元多眼画像の前記複数の軌跡群
を、幾何不変量又は色不変量に基づいて対応付けを行う
対応付け手段と、前記軌跡群間の移動量を求める手段
と、該移動量と視点による射影関係とを基に前記階層的
軌跡特徴情報の変形量を求める手段とを含むことを特徴
とする請求項３又は７記載の三次元多眼画像の処理装
置。
【請求項９】前記画像解析手段により求めた前記階層
的軌跡特徴情報の変形量を基に、指定した視点による任
意の高さに於ける階層的軌跡特徴情報を補間する補間手
段と、該補間手段による補間結果を基に、前記視点から
の三次元画像を生成する生成手段とを含むことを特徴と
する請求項３，７又は８記載の三次元多眼画像の処理装
置。
【請求項１０】前記画像解析手段は、前記三次元多眼
画像中に剛体運動又は非剛体運動を行う物体について該
物体の移動量を求め、該移動量を基に前記階層的軌跡特
徴情報を変形する運動補正手段を備えたことを特徴とす
る請求項３又は７記載の三次元多眼画像の処理装置。
【請求項１１】前記運動補正手段は、剛体運動の平行
移動の移動量を基に視点と剛体運動物体中心との射影関
係を求める射影関係算出手段と、前記視点からの射影関
係によりアドレス変換を行う変換手段と、該変換手段に
より変換されたアドレスを基に階層的軌跡特徴情報を変
形する変形手段と、前記剛体の回転の移動量を基に、前
記変形手段により変形された階層的軌跡特徴情報を移動
する移動手段とを含む構成を備えたことを特徴とする請
求項３又は１０記載の三次元多眼画像の処理装置。
【請求項１２】前記運動補正手段は、非剛体運動を大
局的な剛体運動と局所的な剛体運動とに分類する分類手
段と、該分類手段による前記大局的な剛体運動の移動量
により、全体的に階層的軌跡特徴情報を変形する第１の
変形手段と、前記分類手段による前記局所的な剛体運動
の移動量により、部分的に階層的軌跡特徴情報を変形す
る第２の変形手段とを含む構成を備えたことを特徴とす
る請求項１０記載の三次元多眼画像の処理装置。
【請求項１３】前記画像解析手段の前記三次元物体の
穴若しくは凹面による見え隠れする部分を検出する検出
手段は、該見え隠れする部分について前記画像取得手段
により更に細かい間隔で前記三次元物体を見た画像を取
得するように制御する制御手段を含む構成を備えたこと
を特徴とする請求項３又は７記載の三次元多眼画像の処
理装置。
【請求項１４】前記画像解析手段の前記軌跡群のオー
バーラップ点を検出し、該オーバーラップ点の前後関係
を認識するオーバーラップ点認識手段は、前記軌跡群を
基に不連続な点を識別し、該不連続点を基に領域を分割
する分割手段と、分割された領域から前記三次元物体の
同一部分を表す領域を選択する選択手段と、選択された
領域間を接続する接続手段と、該接続手段による接続部
分と他の領域の接続部分との前後関係を判定して識別子
を付加する付加手段とを含む構成を備えたことを特徴と
する請求項３又は７記載の三次元多眼画像の処理装置。
【請求項１５】前記画像補間手段は、視点による射影
関係を求める射影手段と、該射影手段による射影関係を
基にアドレス変換を行うアドレス変換手段と、該アドレ
ス変換によるアドレスを基に前記階層的軌跡特徴情報を
変形する変形手段と、前記射影関係によりオーバーラッ
プ部分の前後関係を決定する決定手段と、三次元多眼画
像に対応する階層的軌跡特徴情報を合成する合成手段
と、該階層的軌跡特徴情報を基に三次元多眼画像を生成
する生成手段と、該三次元多眼画像を基に指定された視
点からの画像を形成する画像形成手段とを含む構成を備
えたことを特徴とする請求項３記載の三次元多眼画像の
処理装置。
【請求項１６】前記画像補間手段の前記アドレス変換
手段は、指定された視点と三次元物体中心との距離が、
三次元多眼画像取得時の距離と相違する時、該指定され
た視点に対して形成された画像の拡大，縮小を施す拡
大，縮小手段を備えたことを特徴とする請求項１５記載
の三次元多眼画像の処理装置。
【請求項１７】前記画像解析手段によって得られた階
層的軌跡特徴情報を圧縮符号化する情報圧縮手段は、前
記階層的軌跡特徴情報の個々の軌跡について、それぞれ
形状情報と色情報とを関数で近似する近似手段と、前記
軌跡についてグループ化するグループ化手段と、前記グ
ループ化された各グループの形状情報と色情報との各近
似関数の代表値を求める手段と、前記代表値に符号を割
当てる割当手段とを備えたことを特徴とする請求項３又
は４項記載の三次元多眼画像の処理装置。
【請求項１８】前記情報圧縮手段は、前記形状情報の
近似関数として多項式を用いることを特徴とする請求項
１７記載の三次元多眼画像の処理装置。
【請求項１９】前記情報圧縮手段は、前記色情報の近
似関数としてフラクタル変換を用いることを特徴とする
請求項１７記載の三次元多眼画像の処理装置。
【請求項２０】前記情報復元手段は、前記記憶装置か
ら読出したデータを基に軌跡の形状と色の情報とを復元
し、階層的軌跡特徴情報を復元する手段を備えたことを
特徴とする請求項３又は４記載の三次元多眼画像の処理
装置。