JPH11351843A - ３次元画像生成の装置および方法 - Google Patents

Abstract

(57)【要約】 ［課題］ディジタルカメラなどによる複数の記録画像を
用いて、対象物体の３次元画像データを構築し、記録時
以外の任意の視点及び方向から見た際の画像を合成する ［解決手段］ 複数の視点（１、２、．．．ｉ）から見
た、ディジタル値化された画素からなる複数の記録画像
から、それらの画素が表わす対象物体の位置情報を得る
事で、３次元画像データを構築する

Description

【発明の詳細な説明】

【０００１】［発明の属する技術分野］本発明は、色情
報を保持する画素を単位として構成される画像を用い
て、対象物体の３次元的な形状と色のデータを構築する
手段と方法、ならびにそのデータから任意の視点及び方
位から観察した時の対象物体の画像を合成する手段と方
法に関する。

【０００２】［従来の技術］３次元物体を数値データと
して構成しかつそれを表示する効果的な手段として従来
所謂ポリゴン技術が広く使われている。これを用いるに
は物体を表現するポリゴンの多数の頂点座標を何らかの
方法で取得せねばならず、それは一般には容易ではない
ため様々な工夫がされてきた。またこれら頂点の間は単
純な平面などで近似されるため、相当多数のポリゴン頂
点を生成しない限り、表現される画像は実体とは異なる
所が多くなり易い。従って現実の物体の３次元的な様相
を忠実に画像として表現するのは容易に一般に行える状
況ではない。

【０００３】［発明が解決しようとする課題］本発明
は、ディジタルカメラなどにより得られる複数の記録画
像を用いて、容易に対象物体の３次元的様子を数値デー
タとして構築し、更にこれより任意の位置から見た対象
物体の画像を合成し表示しようとするものである。

【０００４】［課題を解決するための手段］本発明で
は、まず対象物体を任意の複数の視点（図１のＶ１、Ｖ
２、Ｖ３、．．．Ｖｉ）から記録した、色データを保持
する画素からなる複数の画像（図１のＧ１，Ｇ
２，．．．Ｇｉ）を生成する。この際、合成画像として
表現したい対象物体の部分がいずれかの画像に含まれる
よう、記録の視点位置および方位を選び、またこれらの
画像の中では３次元形状を忠実に表現しようとする対象
物体の同一部分が２以上出来るだけ多数の画像の中に含
まれるようにする。

【０００５】ここで説明を分かりやすくするため、まず
図１において、２つの画像Ｇ１およびＧ２について説明
する。 この場合、対象物体Ｏの一点ｐが画像Ｇ１の中
では画素ｐ１として、画像Ｇ２の中では画素ｐ２として
記録されているとする。ここでもし記録時のカメラの視
点（結像の射影の中心点）Ｖ１およびＶ２の座標、及び
カメラの撮像レンズの主軸ならびにこれに直交する画像
面内の位置の基準となる互いに直交する２つの基準軸の
３方位（以降これをカメラの方位、あるいは記録の方位
と言う）の座標が既知であれば、カメラの方位に対して
の直線ｐ１−Ｖ１およびｐ２−Ｖ２の方位（すなわちＶ
１−ｐおよびＶ２−ｐの方位）は画素ｐ１、ｐ２の画像
中における位置座標から定まるので、カメラの結像距離
（十分カメラから離れている対象物体に対しては撮像レ
ンズの焦点距離）と画素の大きさが分かっていれば、図
１において三角形ｐ−Ｖ１−Ｖ２−ｐについての三角測
量の原理からｐの３次元位置座標が計算できる。

【０００６】ところでこの様に、ｐの３つの未知数から
なる３次元位置座標を求めるのに利用できる条件は、２
次元的な画像中における画素ｐ１、ｐ２の位置座標値各
２、合わせて４つの値が満足されるための４条件とな
る。すなわち未知数の数よりも条件式の数が過剰である
ため常に厳密に満たされる訳にはいかない。このため実
際には、条件式の誤差が最小になるように、例えば最小
二乗法によって、ｐの位置座標を定める必要がある。

【０００７】この事は同時に、これまで既知であるとし
てきたカメラの視点や方位、更には画像毎のカメラの結
像距離、或いは撮像レンズ固有の結像の歪み係数などが
未知である場合でも、もし対象物体の同一点を表わすと
して画像の間で対応付けられる画素の組み合わせ（以降
これを対応画素セットと呼ぶ）が十分に得られれば、ｐ
の位置座標だけでなくこれらの新たな未知数も同時に求
められる事を意味する。この事はまた、２つの画像の間
で言えるのみではなく、更に多数の画像の間であっても
未知数を決めるのに必要以上の独立な条件式の数が得ら
れれば常に出来る事である。

【０００８】例えば２つの画像の場合、画像記録時のカ
メラの視点、方位、結像距離も未知であるとし、必要最
小限の独立な対応画素セットをＮ組みとすれば、未知数
の数は、カメラの視点と方位は相対的なものであるの
で、一方のカメラの視点を直交座標系の原点とし、その
カメラの方位に座標軸をとれば、もう一方のカメラの視
点について３、そのカメラの方位について３、結像距離
については各画像に各１、計２ｘ１＝２、対応画素セッ
トに係わる対象物体中の点の位置座標について各３、計
Ｎｘ３、総計３Ｎ＋８となるのに対し、条件式の数は対
応画素セットについて各４、計Ｎｘ４となるから、３Ｎ
＋８＝４Ｎより、Ｎ＝８となる。独立な対応画素セット
が９以上得られて条件式が過剰になった場合には、最小
二乗法によって、これら未知数が求められる。すなわち
条件式の誤差の２乗をすべての条件式について加えた値
が最小になるように上記の未知数を選べばよい。なお、
撮像レンズの結像歪みの係数（必要に応じた次数までの
複数の係数）なども、十分な数の独立な対応画素セット
が得られれば、未知数として同様に求められる。

【０００９】かくしてこれら画像の間で対応画素セット
として対応付けをされた画素については、その画素が表
わす対象物体の点の３次元的位置が確定する。もし対象
物体が滑らかな表面からなると仮定すると、これら位置
の確定した点の間の表面を平面あるいは適当な曲面と仮
定する事で、位置の確定した点の間にあるまだ位置の知
られていない点の３次元的位置も近似的に算定できる。
従ってこれら画像のすべての画素について、その画素が
係わる対象物体の点の３次元的位置とその色の情報が決
定される。

【００１０】ところで上記の方法で得られた対象物体の
３次元情報がどれだけ現実に近いかは、どれだけ多くの
対応画素セットが抽出出来るかに依存する。しかし画像
間の画素の対応関係は、単に画像中の特徴的な点を探す
だけでは、コンピュータプログラムによって画像を解析
して求めるかあるいは目視によって求めるかに係わら
ず、常に十分に得られる訳ではない。

【００１１】本発明では、かかる問題を改善するため、
画像中に存在する特徴的な線（直線あるいは曲線）を利
用する。これは例えば、人間の着用する衣服にある模様
や皺、あるいは箱などの表面の折れ目、照明の具合で生
じる陰影、カメラの視点と対象物体との位置関係から生
じる対象物体の輪郭線などとして画像中には多数存在
し、かつ対象物体の同じ部分を表わすとして画像間で、
例えば目視によって、容易に対応付けられるものが多い
（このうち、輪郭線はやや事情が異なるが、これについ
ては後に別に説明する）。

【００１２】しかしこれらの線の殆どにおいて、線とし
ては画像間で対応するのは明白であっても、その線のど
の部分（画素）が対応する線のどの部分（画素）に対応
するかは直ちには判断できない。本発明によると、以下
の様にして、線の間の対応関係から、その線に属する画
素の間の対応関係を求める事が出来、従ってそれらが新
たな対応画素セットとして、３次元的位置を確定する対
象物体の点を増やす事に寄与する。

【００１３】まず、既に述べた様に、画像中の特徴的な
点を調べて対応画素セットを出来るだけ多く抽出し、そ
れら対応画素セットに係わる３次元的位置座標を求める
と同時に、これら画像の記録時の視点と方位の座標等を
求める。もしあらかじめ何らかの方法で既にその視点方
位等が解っている画像では、これを割愛出来る。一旦画
像記録の視点方位（その他、結像距離など対象物体の点
の位置座標を決めるに必要な数値も含めて）が定まる
と、図２に示すように、対応関係がある二つの線から画
素の対応関係を求める事ができる。

【００１４】即ち、図２に示される様に、対応関係があ
る二つの線、画像Ｇ３のｓ３および画像Ｇ４のｓ４、の
うち一方の線ｓ３に含まれる画素をｐｓ３、ｐｓ３が表
わす対象物体の点をｐｏとして、ｐｓ３、画像Ｇ３の視
点Ｖ３、Ｐｏ、画像Ｇ４の視点Ｖ４を含む平面Ｌを考え
る。この時、ｐｏに対応するｓ４中の画素ｐｓ４は当然
平面Ｌに含まれる。もともとｐｏはｐｓ３に対応するの
であるからｓ４とＬとの交点にある画素ｐｓ４がｐｓ３
に対応した画素である事がわかる。このような画素の対
応関係は原理上当該線のどの画素についても適応できる
ので、これら線の中から必要なだけ多数の対応画素セッ
トを得る事ができる。

【００１５】なを、この様にして対応画素が精度良く定
まるには、平面Ｌと線ｓ３、ｓ４とが十分な角度を持っ
て交わる事が必要である。またｓ３またはｓ４が２回以
上Ｌと交差しない事も望ましい。２回以上交差するとき
は、交差が１回となるよう、線を細かく区切って対応画
素を求めるか、あるいは周囲の別の画像情報を使って対
応画素を特定する必要が生じる。

【００１６】この方法の特徴は、従来の画像間の相関関
数の解析から画素に係わる３次元的位置情報を得る場合
とは違って、両画像の記録の視点が近接している必要は
ない。画像の相関法では、視点が離れ過ぎると画像の構
図が異なりすぎて有効な相関関数を得難くなるが、ここ
では両画像の視点が大きく離れていても差し支えない。

【００１７】これら画像の特徴的な線の中、輪郭線はそ
の性質が異なる。輪郭線が表面の折れ目と一致するな
ど、対象物体の他の構造的な特徴線と一致する場合は上
述と同じく扱えるので別として、表面の湾曲とそれを見
る視点との位置関係から生じる輪郭線は、これに対応す
る対象物体の構造上あるいは模様上の線を持たない。従
って、この様な輪郭線に対応する明確な線を他の画像の
中に得るのは困難である。

【００１８】しかし画像記録時の視点の位置関係から決
まる画像の構図を考慮すると、その輪郭線を形成する対
象物体上の点列のおよその位置を他の画像の中に推測す
るのは十分に出来る事が多い。この様な場合、そのおよ
その位置に人為的に線を設定し、本発明ではこれを該輪
郭線におよそ対応する特別の対応線として以下のように
利用する、もともとこの様な輪郭線は、対象物体表面を
真横から眺めてその面の形状を明確に捕らえたものであ
るので、これより表面の３次元的位置情報を得ることは
大いに有効である。

【００１９】この様な輪郭線ｓ５（図３）に対応する特
別な対応線ｓ６（図３）は、およその対応関係を示すも
のであって正確なものではない。そこで、これ以外から
得られた対応画素セットだけを用いて対象物体の点の３
次元位置情報をまず求める。次にこれら３次元位置の解
った点を滑らかに繋ぐ対象物体表面の近似曲面を考え、
さらにこの曲面が、当該特別な対応線ｓ６に対応する対
象物体上の線ｓｏ６の近傍（たとえばあらかじめ定めら
れた距離誤差の範囲内）において、該輪郭線ｓ５の属す
る画像Ｇ５（図３）の記録時の視点Ｖ５（図３）から見
た時、該輪郭線ｓ５を形成する様に曲面を条件付けるの
である。

【００２０】即ち、図３において、該輪郭線ｓ５に属す
る画素ｐｓ５と視点Ｖ５を結ぶ直線と該曲面とが、対応
線ｓ６を視点Ｖ６に関して該曲面上に投影した線ｓｏ６
の近傍で接する事を曲面に条件付ける。この時の接点ｐ
ｏ５の位置は、必ずしもｓｏ６上には無く、その近傍の
既に３次元位置の定まった対象物体の点群を該曲面が通
ると言う条件も含めて、上述の諸条件が最も良く適合す
るように該曲面を最適化する事で、例えばあらかじめ定
められた次数の３次元座標変数の多項式で曲面を表現し
その各項の係数を最小２乗法によって最適化すること
で、定められる。このようにして、該輪郭線ｓ５上の画
素ｐｓ５を随意選択することで、それらに対応するｐｏ
５の位置が、対応する対象物体上の点の３次元位置とし
て決定され、またｐｏ５に対応するｓ６の近傍の画素ｐ
ｓ６ｐがｐｓ５に対応する画素として得られる。

【００２１】勿論、正確さは劣る事になるが、上述の方
法を簡略化して、およその対応関係を意味する線ｓ６を
位置の確定的な対応線として、これまでの対応線セット
と同じく扱うのも良い。

【００２２】以上より、３次元位置座標の解った多数の
対象物体の点が得られる。これらの情報は、そのまま３
次元ポリゴンモデルの頂点座標として、従来技術による
対象物体のモデル化とその表示に使う事ができる。

【００２３】更に一般的に言えば、記録画像をあらかじ
め対象物体の形状に応じて複数の領域に分割しておき、
これらの３次元位置座標の情報から、各領域毎に、対象
物体を平面あるいは曲面として、例えば直交座標系の座
標変数の多項式で近似し、その多項式の係数としてこれ
ら情報を保持し、対象物体の表示に用い事が出来る。こ
の場合、各記録画像毎に３次元モデルが形成出来るが、
当然ながら対象物体の全ての側面を一つの画像が記録し
ているとは限らない。このため、上記画像を記録した時
の視点および方位とは異なる所からの対象物体の画像を
合成しようとする場合、これら複数の記録画像から、画
素の３次元位置情報ばかりでなく、色情報も寄せ集める
必要が生じる。

【００２４】ところで、各画像では、その記録時の条件
が異なる為、対象物体の同一点であっても互いに異なっ
た色情報で記録されるのが普通である。その為、上記の
画像合成に際して、色情報の調整が望ましい。その方法
として、本発明では、上述の画像の分割領域毎に、それ
に対応する対象物体の部分の同じ部分あるいはそれと同
じ色を有する部分を有する他の画像の分割領域との間で
それぞれの画素の色を比較し、それらが同じ色に表示さ
れるよう、調整する。その為に、まず互いに色を調整す
る複数の領域を選び出し、その各領域から色を合わせる
べき画素あるいは画素群を選定する。つぎにこれらの画
素の色情報から、平均操作などにより、基準とする色を
決定し、これに合わせて各領域の例えばＲＧＢ値の調整
係数を算出する。そして各領域の画素をこの係数で補正
する。補正された色情報は各画素の新たな色情報とし
て、補正された画像などの形でこれを保持して画像合成
に利用しても良いし、あるいは、調整係数の形で保持し
て画像合成時に色を補正しても良い。

【００２５】［発明の実施の形態］画像生成手段として
は、半導体撮像素子を用いたディジタルカメラを使用す
るのが最も直接的かつ容易である。その画像出力は既に
画素単位にディジタル化された色情報になっているの
で、これをコンピュータに入力し、上述の処理をコンピ
ュータプログラムで実行する。実際の処理の過程には様
々な変形が考えられるが、以下にその一例を述べる。

【００２６】まず、入力された画像各々について、対象
物体を面（一般には曲面）で近似するのに備えて、画像
中の物体を構成する面毎に適宜境界線を設定すること
で、画像を領域に分割する。これは、コンピュータの表
示装置に該画像を表示し、境界線の主要点をポインティ
ングデバイスで指定する事でおこなわれる。その際、境
界線にはそれに隣接する面（あるいは領域）が互いにど
のような位置関係にあるのか（連続しているのか、ある
いは一方の面が他方を隠しているのかなど）の情報を保
持させる。

【００２７】つぎに、画像の間を比較して、対象物体の
特徴的な同一点が２つ以上の画像に記録されているのを
目視によって探し、それらの点をポインティングデバイ
スで指定する事で、それらの画素座標を対応画素セット
としてテーブルに保持する。もし対象物体の同一点が３
つ以上の画素に対応する時は、２つの画素ずつ、一部の
画素を重複させて、対応画素セットとして保持するとよ
い。画像間の相関関数を用いた解析などによってこの作
業を自動的に行ってもよい。

【００２８】つぎに、画像の間を比較して、対象物体の
特徴的な同一線が２つ以上の画像に記録されているのを
目視によって探し、それらの主要点をポインティングデ
バイスで指定する事で、それらの画素座標を対応線セッ
トとして テーブルに保持する。もし対象物体の同一線
が３つ以上の画像の線に対応する時は、２つの線ずつ、
一部の線を重複させて、対応線セットとして保持すると
よい。画像中のコントラストの解析や画像間の相関関数
の計算などによってこの作業を自動的に行ってもよい。
この際、対応線セットが、上述の輪郭線に係わる特別の
ものであるときはその線を識別出来るよう、情報を付加
する。

【００２９】つぎに、上で得られた対応画素セットを用
いて、その画素に係わる対象物体の点の３次元位置座標
と、これら画像を記録した時のカメラの位置と方位の座
標、結像距離などを、既に述べた方法によって求める
（これらの値の中、既知のものがあれば、あらかじめそ
れを入力しておく）。

【００３０】つぎに、上で得られたカメラの位置と方位
の座標、結像距離などをもちいて、輪郭線に係わる特別
の対応線セットを除く対応線セットから、既に述べた方
法によって、新たな対応画素セットを生成し、それに係
わる対象物体の点の３次元位置座標をもとめる。

【００３１】つぎに、輪郭線に係わる特別の対応線セッ
トに属する画素の３次元位置座標を、既に述べた様に、
これまでに得られた位置の知られた対象物体の点の間を
曲面で近似する方法で求める。この曲面は、ここの例で
は、分割された画像の領域毎に生成される。

【００３２】ここで、分割領域毎に生成される曲面は、
その領域に属する上記対応点セットと対応線セットとの
みから決定される場合だけとしない。各領域はその境界
線で他の領域と接しているので、隣の領域の曲面との３
次元的な位置関係（互いの隠蔽関係や互いの連続関係）
を考慮する。すなわち、当該曲面はその領域に属する上
記対応点セットと対応線セットから得られる３次元位置
情報に加えて、周囲の領域の曲面の状態に左右される境
界条件にも合わせて最適化される。この最適化において
は、各曲面を直交座標系の座標変数の多項式あるいはそ
の変形で近似する。

【００３３】この曲面の最適化は次のように、逐次法に
よって全ての記録画像の全ての領域の曲面について行わ
れる。まず最初は全ての領域の面を適当な平面として近
似式を定める。次に各領域の曲面一つずつについて、上
述の最適化を行う。全ての領域についてこの最適化が一
巡すると、各曲面にはそれまでに得られたそれぞれの近
似式を用いて、また最初から各領域の曲面一つずつにつ
いて、上述の最適化を繰り返す。そしてこの最適化の繰
り返しを、あらかじめ決められた誤差範囲に全ての曲面
の最適化がおさまるまで行う。なお、これらの一部の曲
面について平面に限定して近似し計算の簡素化を行う事
もできる。

【００３４】こうして、対象物体の多数の点の３次元位
置情報が得られると同時に、各記録画像毎に曲面で近似
された３次元モデルが生成される。既に述べたように、
この結果をそのまま従来の３次元ポリゴンモデルの頂点
データとして用いる事ができる。その場合、対応点セッ
トと対応線セットから得られる対象物体の点の３次元位
置情報に加えて、曲面近似からこれらの点の間の点の３
次元位置情報も加えて、より一層の緻密なデータとする
ことも出来る。

【００３５】ここでは、生成された曲面モデルを直接使
って、簡単に３次元画像を合成する。それにはコンピュ
ータと以下の処理を行うコンピュータプログラム、およ
び結果を表示するための表示装置を用いる。すなわち、
生成された記録画像毎の３次元モデルのうち適当な一つ
を選んで、これより、任意の視点と方位における対象物
体の画像を光線追跡により合成する。これは、合成画像
の各画素を、それに対応する光線を視点より発して、当
該モデルの中から得る事により行われる。もしそれに失
敗した場合は、順次別の記録画像の３次元モデルの中
を、画素が見つかるか或いは全ての３次元モデルを調べ
尽くすかまで行う。画素の色情報については、既に述べ
たように、各領域毎に即ち各曲面毎に調整する。かくし
て得られた合成画を表示装置に表示する。

【００３６】

【発明の効果】本発明によると、ディジタルカメラなど
による複数の記録画像から、極めて多数の対象物体の３
次元位置情報を取得する事が可能となり、物体の緻密な
３次元モデルを生成でき、これより、任意の視点および
方位における画像を合成できる。この方法は記録画像に
含まれるすべての対象物体に等しく適応出来るので、比
較的少数の画像を記録するだけで広い範囲に渡る物体な
いし風景の３次元モデルを一括して生成することも可能
となる。

【図面の簡単な説明】

【図１】対象物体とその複数の記録画像を生成する際の
視点と方位等の関係を示す図である。

【図２】対象物体上の１つの特徴線とこれの画像におけ
る対応線セット、およびそれらに含まれる画素の対応関
係を説明する図である。

【図３】対象物体の輪郭線から生成される特別な対応線
セットにおいて画素の対応関係を説明する図である。

【符号の説明】

Ｏ 対象物体 Ｏ５、Ｏ６ 対象物体の像 Ｇ１、Ｇ２、Ｇ３、．．．、Ｇｉ 複数の画像 Ｖ１、Ｖ２、Ｖ３、．．．、Ｖｉ 複数の画像の記録
の視点 ｐ 対象物体上の点 ｐ１、ｐ２ ｐに対応する画像中の画素 ｓｏ 対象物体上の特徴線 ｓ３、ｓ４ ｓｏに対応する対応線セットの線 ｐｏ ｓｏに属する対象物体上の点 ｐｓ３、ｐｓ４ ｐｏに対応する画像中の画素（対応
画素セットの画素） Ｌ ｐｓ３、Ｖ３、ｐｏ、Ｖ４を通る平面 ｓ５、ｓ６ 対象物体の輪郭線から生成される特別な
対応線セットの線。ｓ５は対象物体の輪郭線、ｓ６はそ
れにおよそ対応する線 ｓｏ６ ｓ６に対応する対象物体上の線 ｐｓ５ ｓ５に属する画素 ｐｏ５ ｐｓ５、Ｖ５を通る直線が対象物体の表面に
接する点 Ｄ ｐｓ５、Ｖ５、Ｖ６を通る平面による対象物体の
断面 ｐｓ６ ｐｓ５、Ｖ５、Ｖ６を通る平面とｓ６との交
点 ｐｏ６ ｐｓ６に対応する対象物体上の点 ｓｏ６ｐ ｓ５に対応する対象物体上の線 ｓ６ｐ ｓｏ６ｐに対応する画像中の線

Claims (5)

【特許請求の範囲】
1. 【請求項１】対象物体の各点のディジタル値化された色
   情報からなる画素を構成単位とする画像を生成する画像
   生成手段によって生成された複数の視点ならびに方位に
   おける対象物体の複数の記録画像から、対象物体の同一
   点を記録する複数の画素を計算あるいは目視によって抽
   出してこれらを対応画素セットとして取得保持し、この
   対応画素セットを複数取得してこれら対応画素セットを
   基に、これら記録画像の一部または全部の画素それぞれ
   に対応する上記対象物体の点の３次元位置座標に関する
   情報を取得すると共に、各該画像を記録した際の撮像の
   視点ならびに方位の座標、あるいは各該画像を記録した
   際の撮像レンズの結像距離、あるいは該撮像レンズの結
   像歪みの係数等に関する情報を取得するのを可能とする
   手段から成る装置およびその情報取得方法。
2. 【請求項２】対象物体の各点のディジタル値化された色
   情報からなる画素を構成単位とする画像を生成する画像
   生成手段によって生成された複数の視点ならびに方位に
   おける対象物体の複数の記録画像から、対象物体の同一
   点を記録する複数の画素を計算あるいは目視によって抽
   出してこれらを対応画素セットとして取得保持し、この
   対応画素セットを複数取得してこれら対応画素セットを
   基に、これら記録画像の一部の画素それぞれに対応する
   上記対象物体の点の３次元位置座標に関する情報を取得
   し、更に同時に各該画像を記録した際の撮像の視点なら
   びに方位の座標、あるいは各該画像を記録した際の撮像
   レンズの結像距離、あるいは該撮像レンズの結像歪みの
   係数等を取得し、あるいはこれら各該画像を記録した際
   の撮像の視点ならびに方位の座標、あるいは各該画像を
   記録した際の撮像レンズの結像距離、あるいは該撮像レ
   ンズの結像歪みの係数等の全部又は一部についてはあら
   かじめ他の測定手段等によって取得し、更に上記対象物
   体の複数の画像において、対象物体の同一部分を記録す
   る複数の曲線的あるいは直線的画素集団を計算あるいは
   目視によって抽出してこれらを対応線セットとして取得
   保持し、この対応線セットを１ないし複数個取得してこ
   れらと上記視点ならびに方位の情報とを用いて、各該対
   応線セットのうちの一つの線の中の任意の画素に対し、
   これに対象物体の同一点を表わすものとして対応する同
   じ対応線セットの中の他の線の中の画素を計算によって
   取得し、これら互いに対応する画素を新たな対応画素セ
   ットとして保持し、これらの新たな対応画素セットを各
   対応線セット毎に必要かつ可能な数だけ取得保持し、こ
   れらの新たな対応画素セットから得られるそれらの画素
   に対応する対象物体の点の３次元位置座標に関する情報
   と、最初から対応画素セットとして取得保持された画素
   に係わる対象物体の点の３次元位置座標に関する情報と
   を併せて、より緻密な上記対象物体の３次元的な形状を
   得る手段を有する装置および上記対応線セット内の画素
   に対応する対象物体の点の３次元位置座標に関する情報
   を得る方法。
3. 【請求項３】請求項２にかかわる装置および方法におい
   て、上記対応線セットの中、対象物体の輪郭線とそれに
   およそ対応する線とからなる対応線セットの全部或いは
   一部については、請求項２の記載にかかわらず、対象物
   体を近似する面を当該対応線セットの中の対象物体の輪
   郭線が属する画像の記録の視点から見た時、当該対応線
   セットの中の該輪郭線におよそ対応する線に対応する対
   象物体上の線の近傍で、該輪郭線を形成するよう対象物
   体を近似する面を条件付ける事で、該輪郭線の画素に対
   応する対象物体の点の３次元位置を取得し、かつこの対
   象物体の点に対応する該輪郭線におよそ対応する線の近
   傍の画素を得る事により、より一層正確な対象物体の３
   次元形状の情報を得る事を特徴とする装置および方法。
4. 【請求項４】請求項１あるいは請求項２あるいは請求項
   ３の装置あるいは方法において、上記複数の記録画像を
   あらかじめ対象物体の形状に応じて複数の領域に分割し
   て、その領域毎に対象物体の形状を曲面（平面を含む）
   で近似する事とし、その分割の境界線に、該境界線で互
   いに接する領域の部分に対応する対象物体の部分の間の
   ３次元的位置関係を規定する境界条件を付与し、請求項
   １あるいは請求項２あるいは請求項３の装置あるいは方
   法によって得られる対象物体の点の３次元位置情報と、
   請求項３に係わる時はその輪郭線形成に関する条件と、
   当該境界条件とを併せて、該領域における近似曲面を最
   適化するのを特徴とする装置および方法。
5. 【請求項５】請求項１あるいは請求項２あるいは請求項
   ３あるいは請求項４の装置あるいは方法によって得られ
   た情報等を用いて、対象物体を記録した際の視点ならび
   に方位以外を含めた任意の視点ならびに方位から見た際
   の該対象物体の画像を合成する手段からなる装置および
   その合成方法において、上記情報取得に用いる複数の記
   録画像をあらかじめ対象物体の形状に応じて複数の領域
   に分割し、その領域毎に上記情報を用いて対象物体の表
   面を平面あるいは曲面で近似し、更に上記領域毎に、対
   応する対象物体上の部分の同じ部分あるいはそれと同じ
   色を有する部分を有する他の一つあるいは複数の画像の
   中の領域と互いの画素の色情報を比較する事で、それぞ
   れの領域に属する画素の色を調整して、上記複数の画像
   の画素情報を複合して用いて一つの画像を合成するのを
   特徴とする装置およびその合成方法。