JPH11167628A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH11167628A
JPH11167628A JP10222178A JP22217898A JPH11167628A JP H11167628 A JPH11167628 A JP H11167628A JP 10222178 A JP10222178 A JP 10222178A JP 22217898 A JP22217898 A JP 22217898A JP H11167628 A JPH11167628 A JP H11167628A
Authority
JP
Japan
Prior art keywords
image
images
point
points
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP10222178A
Other languages
English (en)
Inventor
A Davison
ダビソン アラン
Jane Haslam
ハスラム ジェーン
Alex Lyons
リオンス アレックス
Simon Rowe
ロウエ サイモン
Richard Taylor
テイラー リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB9716517.9A external-priority patent/GB9716517D0/en
Priority claimed from GBGB9716504.7A external-priority patent/GB9716504D0/en
Priority claimed from GBGB9716514.6A external-priority patent/GB9716514D0/en
Priority claimed from GBGB9716502.1A external-priority patent/GB9716502D0/en
Application filed by Canon Inc filed Critical Canon Inc
Publication of JPH11167628A publication Critical patent/JPH11167628A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 （修正有） 【課題】 オブジェクトの３次元モデルを生成するため
の相違及び方法において、異なる未知の位置からとられ
たオブジェクトのイメージが処理され、実際のオブジェ
クト上の同一のポイントに対応するイメージ内のポイン
ト（すなわち、マッチングポイント）を特定する。 【解決手段】 複数の異なるテクニックがマッチングポ
イントを特定するのに用いられ、複数の解が計算され、
相対位置についてテストされる。そして、最も多くのマ
ッチングポイントについて一致する解が選択される。一
つのマッチングテクニックにおいては、まずイメージ内
のコーナーポイントを特定し、ピクセルのエッジ方向値
に基づいてコーナーポイント間のエッジを特定すること
により、イメージ内のエッジが特定され、エッジは、ク
ロスオーバーを除去するために強さの順に処理される。

Description

【発明の詳細な説明】
【０００１】本装置は画像処理装置および方法に関する
ものである。
【０００２】実生活におけるオブジェクトの３次元コン
ピュータモデルの生成は伝統的に時間浪費型で高価であ
り、熟練した人材および／または高価な設備を必要とし
た。このことの一つの理由は、オブジェクト上の点につ
いて、２次元における相対的な位置とともに、相対的な
深さ（奥行き）も決定しなければならないことにある。
【０００３】実在するオブジェクトからの３次元コンピ
ュータモデルの生成のための周知のテクニックは、動的
技法と受動的技法の２つのカテゴリのうちのいずれかひ
とつに属する。動的技法では、奥行き情報はオブジェク
トの表面を動的にセンスすることで得られる。また、受
動的技法では、奥行き情報はオブジェクトのイメージか
ら得られる。
【０００４】動的技法の例としては、パルスレーザビー
ムでオブジェクトをスキャンし、それらの伝送時間に対
するパルスの検出時間を測定して奥行き情報を決定する
こと（レーザのレンジファインダーとして）、および位
置感知用のプローブでもってオブジェクトの表面上の複
数のポイントに接触することがあげられる。
【０００５】また、一般的な受動的な技法においては、
異なるカメラポジションから撮影した少なくとも２つの
オブジェクトのイメージが必要である。そのイメージか
ら３次元コンピュータモデルを構築するために、まず第
１に、各イメージにおいて、オブジェクト上の実際に同
じポイントが表すポイントの位置を知ること、そして第
２に、そのイメージが撮影された位置からの相対的な距
離を知ることが必要である。これらは、特に、負担の大
きな要求である。結果として、周知の受動的なシステム
においては、識別するためのマーク／キャリブレーショ
ンがオブジェクトやその周囲に付加されて、マッチング
ポイントをイメージ中においてより容易に識別しうるよ
うにし、および／またはイメージはあらかじめ知られた
カメラ位置から撮影される。
【０００６】たとえば、ＷＯ−Ａ−９０／１０１６４
は、オブジェクトの２つのイメージから計算されたオブ
ジェクト表面上の３次元座標におけるポイントを用い
て、オブジェクト中のひずみ分布を測定するシステムを
開示している。イメージにおけるポイントのマッチング
を促進（容易化）するために、そのイメージが撮影され
る前に、電気化学的なエッチングもしくはシルクスクリ
ーンによって、一様な矩形のグリッドパターンがオブジ
ェクトに施される。こうして、グリッド線の交点の対応
する点は、イメージ中において容易に識別されるように
なる。さらに、オブジェクトは回転テーブル上に置かれ
る。その回転テーブルは、イメージの間のあらかじめ知
られた角度だけ回転する。これにより、相対的なカメラ
位置が決定される。
【０００７】また、米国特許第４８０３６４５号はオブ
ジェクト上の点の３次元座標を決定するシステムを開示
する。このシステムにおいて、グリッドもしくは類似の
周期的パターンが光プロジェクタを用いてオブジェクト
上に投影され、そして、オブジェクトのイメージは、固
定された予め決められた位置で３つのイメージングシス
テムを用いて撮影される。
【０００８】ＷＯ−Ａ−８８／０２５１８は、予め決め
られた、既知のコンフィグレーションにおいてセットさ
れたイメージングデバイスから撮影された複数のイメー
ジから、オブジェクトの深さマップ（ｄｅｐｔｈ ｍａ
ｐ）を生成するシステムを開示する。同様に、米国特許
第５３０７１３６号は、自動車距離検出システムを開示
する。それは、ユーザの自動車内に、予め決められた、
既知のコンフィグレーションで装着された複数のカメラ
から撮影されたイメージを用いて自動車のレンジ（距
離）を決定するものである。
【０００９】ＧＢ−Ａ−２２４４６２１、ＷＯ−Ａ−９
２／０６４４４、および米国特許第４６９５１５６号
は、既知のカメラ位置から撮影されたオブジェクトのス
テレオイメージから、オブジェクトの表面上の点の３次
元座標を決定するシステムを開示している。
【００１０】しかしながら、多くの場合において、参照
用グリッドあるいはマーキング・キャリブレーションを
オブジェクト上に提供すること、あるいは、既知の相対
的位置からイメージを撮影することは不便であり、高価
であり、実用的でない。イメージ中におけるポイントを
マッチさせること、及び／或いは相対的なカメラ位置を
計算することは、信頼性のある、正確な技術を必要とす
る。
【００１１】さらに、たとえ、マッチングポイントが参
照特徴を用いて特定されても、もしもイメージが既知の
相対的位置から撮影されたのでなければ、そのイメージ
が撮影された位置を決定するための正確で信頼性のある
技術が必要である。
【００１２】受動的技術が採用されるとき、オブジェク
トもしくはその周辺における参照用のマーキングあるか
否か、且つ／又は既知のカメラ位置が用いられるか否か
にかかわらず、マッチしたイメージポイント及びカメラ
位置を用いて３次元座標ポイントを正確に生成する方法
が必要である。しかしながら、参照マーキングが用いら
れずカメラ位置が未知である場合には、これは特に重要
である。イメージにおいて特定されたマッチングポイン
トの不正確さ、及び計算されたカメラ位置の不正確さが
ポイントの計算された３次元座標の不正確さの原因とな
るからである。
【００１３】本発明は上述した一つもしくはそれ以上の
問題に鑑みてなされたものである。
【００１４】一つの態様において、本発明はオブジェク
トのイメージが撮られた位置を決定するための装置及び
方法を提供することを目的とする。
【００１５】他の態様において、本発明は、マッチした
イメージ特徴とイメージの相対的な位置関係を用いて、
３次元空間におけるポイントを決定するための装置及び
方法が提供される。
【００１６】本発明によって提供される画像処理装置及
び方法においては、第１、第２及び第３のイメージの間
の位置的関係が、イメージ内のマッチした特徴を用いて
複数回決定され、各回において上記３つのイメージ間の
変換の異なる組み合わせが用いられ、最も正確な関係が
選択される。好ましくは、考慮される変換の組み合わせ
は、アフィン（ａｆｆｉｎｅ）−アフィン、アフィンー
パースペクティブ（ｐｅｒｓｐｅｃｔｉｖｅ）、パース
ペクティブーアフィン、パースペクティブーパースペク
ティブであり、或いはもしも１つのイメージペア間の変
換が固定されるならば、既知の変換−アフィンと既知の
変換−パースペクティブである。
【００１７】本発明によって提供される画像処理装置或
いは方法においては、イメージが撮られた位置の間の関
係に関する従来の情報をその関係を決定するために用い
ることなく、異なるテクニックを用いて第１及び第２の
イメージにおいてマッチした特徴を表す信号を処理す
る。その関係は、複数回決定され、その関係の選択がな
される。ここで、各回においては、異なる１つ又は複数
のマッチングテクニックでマッチされた特徴が用いられ
る。
【００１８】本発明によって提供される画像処理装置及
び方法においては、画像が撮られた位置の間の関係につ
いての従来の情報を用いることなく、第１及び第２の画
像においてマッチした特徴を表す信号が、その関係を決
定するために処理される。以下のステップが複数回実行
される。マッチした特徴が非物理的な実現化行列（たと
えば、ｆｕｎｄａｍｅｎｔａｌ行列など）をセットアッ
プするのに用いられ、その行列は物理的な実現化行列
（たとえば、物理的ｆｕｎｄａｍｅｎｔａｌ行列など）
に変換され、その正確さがテストされる。最も正確な物
理的実現化行列が選択される。
【００１９】また、本発明によって提供される画像処理
装置或いは方法においては、オブジェクトの少なくとも
３つのイメージにおける対応するオブジェクト特徴を表
す信号と、イメージングポジションの間の関係を表す信
号とが処理され、当該オブジェクト上のポイントを表す
３次元空間における位置を生成する。対応する特徴の各
ペアが３Ｄ空間におけるポイントを特定するのに用いら
れ、同一の対応特徴から生成される３Ｄポイントが、対
応するオブジェクト上のポイントを表す３Ｄポイントを
定義するのに持ちいられる。続いて、その３Ｄオブジェ
クトポイントがオブジェクト上の同一のポイントを表す
ことができたかどうかを調べるべく処理を実行し、でき
ていれば更なる処理が実行される。
【００２０】
【発明の実施の形態】これから説明する実施形態におい
て、２次元写真から再生されるオブジェクトの３次元モ
デルを表すオブジェクトデータは、選択されたあらゆる
視点方向からのオブジェクトのイメージをユーザに対し
て表示するために処理されるものである。しかしなが
ら、このオブジェクトデータは、異なる応用のために、
多くの他の方法においても処理され得るものである。た
とえば、３次元モデルは、オブジェクトのモデルを製造
するための製造設備を制御するのに用いられてもよい。
或いは、オブジェクトデータはオブジェクトを認識する
ために処理されてもよい。たとえば、オブジェクトデー
タをデータベースに予め格納されたデータと比較するこ
とによりオブジェクトの認識ができる。データは、ま
た、オブジェクト上での測定を行うために処理されても
よい。これは、オブジェクト上で測定が実行できないよ
うな場合、たとえば、そのような測定を行うのが非常に
危険であるような場合、たとえばオブジェクトが放射性
を有する場合等において特に有効である。また、３次元
モデルは、オブジェクトに生じた変化、たとえばオブジ
ェクト自身に生じた実際の物理的変化等を判断するため
に、以前に生成されたオブジェクトの３次元モデルと比
較されてもよい。また、３次元モデルは、ロボットがオ
ブジェクトと衝突するのを防ぐために、ロボットの動作
を制御するのにも用いられ得る。もちろん、オブジェク
トデータは、上述の処理が施される前に、遠隔の処理装
置に伝送されて、上述の処理が施されるようにしてもよ
い。特に、オブジェクトは、インターネット上の伝送の
ために、仮想現実マークアップ言語（ＶＲＭＬ：ｖｉｒ
ｔｕａｌ ｒｅａｌｉｔｙ ｍａｒｋ−ｕｐ ｌａｎｇ
ｕａｇｅ）フォーマットで提供されてもよい。
【００２１】図１は、本実施形態における画像処理装置
の全体的な構成を示すブロック図である。本装置におい
て、コンピュータ２は、中央処理ユニット（ＣＰＵ）４
を有し、中央処理ユニット４にはメモリ６が接続されて
いる。メモリ６はＣＰＵ４によって実行される動作を規
定するプログラムを格納するとともに、オブジェクト及
びＣＰＵ４によって処理されたイメージデータを格納す
る。
【００２２】ディスクドライブ８がメモリ６に接続され
る。ディスクドライブ８は、フロッピーディスク１０の
ような着脱可能なデータ格納メディアを受容し、そこに
格納されているデータをメモリ６へ伝送する。中央処理
ユニット４のための動作命令は、ディスクドライブ８を
用いて、着脱可能なデータ格納メディアからメモリ６へ
入力されてもよい。
【００２３】また、ＣＰＵ４によって処理されるイメー
ジデータは、ディスクドライブ８を用いて、着脱可能な
データ格納メディアからコンピュータ２へ入力されても
よい。或いはそれに加えて、処理されるべきイメージデ
ータはキヤノンパワーショット６００のようなディジタ
ルイメージデータ出力部を有するカメラ１２から直接的
にメモリ６へ入力されてもよい。イメージデータはメモ
リ６に入力される前にカメラ１２に格納されてもよい
し、或いは、カメラ１２によってデータを集めながら
（撮影しながら）、リアルタイムでメモリ６へ転送する
ようにしてもよい。イメージデータはまたディジタルカ
メラ１２の代わりに一般的なフィルムカメラから入力さ
れてもよい。この場合、カメラによって撮影された写真
をスキャンし、ディジタルイメージデータを生成してメ
モリ６に入力するために、スキャナ（不図示）が用いら
れる。加えて、イメージデータは、ローカルデータベー
スとの接続（不図示）を介して、イメージデータを格納
する遠隔データベースからメモリ６へダウンロードされ
てもよい。なお、ローカルデータベースとしては、たと
えば、イメージデータが光ディスクに格納されるコダッ
クのフォトＣＤ装置があげられる。
【００２４】入力装置１４がＣＰＵ４の入力ポートに接
続される。この入力装置１４は、たとえば、キーボー
ド、及び／或いはマウスやトラックボールのような位置
検出入力装置を備える。
【００２５】また、ＣＰＵ４にはフレームバッファ１６
が接続される。フレームバッファ１６は、イメージを構
成する各ピクセルのためにひとつ（或いは複数）のメモ
リロケーションを提供し、これにより、中央処理ユニッ
ト４によって生成された少なくともひとつのイメージに
関連するイメージデータを格納するべく構成されたメモ
リユニットを備える。
【００２６】また、フレームバッファ１６には、ディス
プレイユニット１８が接続される。ディスプレイユニッ
ト１８は、一般的な方法で、フレームバッファ１６に格
納されたイメージを表示する。また、フレームバッファ
１６にはビデオテープレコーダ（ＶＴＲ）２０、或いは
ペーパープリンタや３５ｍｍフィルムレコーダのよう
な、他の画像記録装置が接続される。
【００２７】ハードディスクドライブのような、大きな
データ格納容量を有する大容量格納装置は、メモリ６
（典型的にはＣＰＵ４を介して）に接続され、また、フ
レームバッファ１６にも接続される。大容量格納装置２
２は中央処理ユニット４によって処理されたデータをメ
モリ６から受信することができ、また、フレームバッフ
ァ１６からの、表示ユニット１８上に表示されるべきデ
ータを受信することができる。
【００２８】ＣＰＵ４、メモリ６、フレームバッファ１
６、ディスプレイユニット１８及び大容量格納装置２２
は、たとえばサンマイクロシステムズのスパークステー
ションのようなワークステーションなどの、商用的に入
手可能なコンピュータシステムの一部分を形成するもの
であってもよい。
【００２９】本発明の実施形態のようにコンピュータ２
を動作させるための処理命令は、フロッピーディスク１
０或いは他のデータ格納メディアに格納されたプログラ
ムの形態で商用的に提供し得るものである。或いは、そ
のような処理命令は、それを受信するコンピュータ２
が、本発明を実施する装置へと再構築されるように、デ
ータリンク（不図示）を介してコンピュータ２へ信号と
して送信され得る。
【００３０】図２は、ＣＰＵ４によって処理されるため
のイメージデータの収集を示した図である。
【００３１】オブジェクト２４はカメラ１２を用いて、
複数の異なる位置からイメージ化される。例として、図
２は、オブジェクト２４が、５つの異なる、ランダムな
位置Ｌ１〜Ｌ５からイメージ化されている。また、図２
における矢印は、それら異なる位置の間におけるカメラ
１２の動きを表す。
【００３２】位置Ｌ１〜Ｌ５において記録されたイメー
ジデータはカメラ１２に格納されて、続いて、コンピュ
ータ２のメモリ６へダウンロードされる。そして、以下
で説明する方法でＣＰＵ４によって処理される。本実施
形態において、ＣＰＵ４は、それらイメージが撮影され
た位置を特定する情報を、絶対的な条項（ｔｅｒｍ）で
も或いは相互の相対的な条項でも受け取らない。
【００３３】図３は、ＣＰＵ４によってカメラ１２から
のイメージデータを処理するための、最上位レベルの処
理ルーチンを示す図である。
【００３４】ステップＳ２において、初期のデータ入力
のためのルーチンが実行される。この処理については、
図４及び図５を参照して後述する。このルーチンの目的
は、カメラ１２から受信したイメージデータを、それに
続く処理を容易にするような方法で格納するとともに、
カメラ１２のパラメータに関わる情報を格納することで
ある。
【００３５】ステップＳ４において、初期特徴マッチン
グ（ｉｎｉｔｉａｌ ｆｅａｔｕｒｅ ｍａｔｃｈｉｎ
ｇ）が実行される。ここでは、オブジェクト２４の撮影
された異なるイメージ間の特徴をマッチングする（すな
わち、それらイメージ間において、オブジェクト２４の
同じ物理的ポイントに対応するポイントを特定する）。
この処理は、図６〜図１９を参照して後述する。
【００３６】ステップＳ６において、それらイメージが
撮影された異なるカメラ位置（図２のＬ１〜Ｌ５）の間
の変換（ｔｒａｎｓｌａｔｉｏｎ）、すなわち相対的な
形態によるそれらカメラ自身の位置が、イメージ中にお
いてマッチした位置を用いて計算される。この処理は、
図２０〜図３８を参照して後述する。
【００３７】ステップＳ８において、ステップＳ６で計
算されたカメラ変換を用いて、イメージ中の更なる特徴
がマッチされる（計算されたカメラ変換は、他のイメー
ジにおいて与えられたポイントにマッチングするポイン
トをそのイメージにおいて探すために、イメージにおけ
る位置を計算、すなわち制約するために用いられてい
る）。この処理は、図３９及び図４０を参照して後述す
る。
【００３８】ステップＳ１０において、オブジェクト２
４の表面上の実際のポイントを表す３次元モデリング空
間におけるポイントが、図４１から図４８を参照して後
述するように、生成される。
【００３９】ステップＳ１２において、ステップＳ１０
で生成された３次元空間のポイントは、３次元における
面を生成するために連結され、これらの面はオブジェク
ト２４の３次元モデルを表す。この処理は図４９を参照
して後述する。
【００４０】ステップＳ１４では、所望の視点方向から
のオブジェクト２４のイメージを表示ユニット１８上に
表示するために、ステップＳ１２で生成された３Ｄモデ
ルが処理される。この処理は図５０を参照して後述す
る。
【００４１】図４は図３のステップＳ２における初期デ
ータ入力ルーチンにおいて実行されるステップを示す図
である。図４を参照すると、ステップＳ１６において、
ＣＰＵ４はイメージデータがメモリ６内に受信されるま
で待つ。上述したように、このイメージデータはディジ
タルカメラ１２から受信されてもよいし、フロッピーデ
ィスク１０を介して受信されてもよいし、スキャナ（不
図示）を用いて写真をディジタル化することによって受
信されてもよいし、或いは、たとえばデータリンク（不
図示）等を介して受信されてもよい。
【００４２】全イメージに対するデータが受信された
後、ステップＳ１８で、ＣＰＵ４は各イメージのデータ
を別々の「プロジェクト」ファイルとしてメモリ６に再
格納する。ステップＳ２０では、ＣＰＵ４はメモリ６か
ら格納されたデータを読み出し、そのイメージを表示ユ
ニット１８上で、ユーザに表示する。
【００４３】図５はユーザへのイメージの表示を表す図
である。ＣＰＵ４は、まず最初に、イメージデータが受
信された順番でイメージを表示する。図２を参照する
と、イメージは位置Ｌ１，Ｌ２，Ｌ３，Ｌ４そしてＬ５
から撮影されている。したがって、これらの位置から撮
影されたイメージのイメージデータが、同じ順番で、カ
メラ１２に格納され、カメラ１２からイメージデータが
ダウンロードされるときは同じ順番でコンピュータ２に
よって受信されることになる。したがって、図５におい
て示されているように、ＣＰＵ４は初期において、撮影
時と同じ順番で、すなわちＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ
５の順番でイメージを表示する。
【００４４】イメージを表示するのと同時に、ＣＰＵ４
はユーザに、たとえば表示ユニット１８上にメッセージ
（不図示）を表示することにより、ユーザにイメージを
アレンジしなおすよう促す。この再アレンジでは、最初
の表示のような時間的順序ではなく、オブジェクト２４
の周りにおける、イメージが取られた位置に関わる位置
的順序を表す順番にイメージがアレンジされる。時間的
順序と位置的順序は同じであってもかまわない。しかし
ながら、図２において示された例では、位置Ｌ３は位置
Ｌ１とＬ２の間にある。それゆえ、オブジェクト２４の
周囲のイメージの位置的な順序は、Ｌ１，Ｌ３，Ｌ２，
Ｌ４そしてＬ５となる。したがって、ステップＳ２２に
おいて、ユーザはディスプレイ１８上のイメージを再度
アレンジする。たとえば、イメージの正しい位置的順序
を与えるために、位置Ｌ２において撮影されたイメージ
をハイライトし、それを位置Ｌ３とＬ４イメージの間に
ドラッグする（図５において矢印で示されているよう
に）。
【００４５】これに続いて、ステップＳ２４で、ＣＰＵ
４はディスプレイ１８上のイメージの中心間の距離を計
算する。そして、各イメージに対して最も近隣のものを
決定する。こうして、たとえば、図５を参照すると、位
置Ｌ１で撮影されたイメージに対して、ＣＰＵ４はその
中心と他のイメージの各々の中心との間の距離を計算
し、最も近隣のイメージが位置Ｌ３で撮影されたもので
あると判断する。位置Ｌ３において撮影されたイメージ
に対して、ＣＰＵ４はその中心と位置Ｌ２，Ｌ４および
Ｌ５で撮影されたイメージの各々の中心との間の距離を
計算する（ＣＰＵは、位置Ｌ１で撮影されたイメージ
が、位置Ｌ３で撮影されたイメージのひとつの側におい
て、最近隣であることをすでに決定している）。このよ
うにして、ＣＰＵ４は、位置Ｌ２において撮影されたイ
メージが、位置Ｌ３の他の側において撮影されたイメー
ジの最も近い近隣であると決定する。ＣＰＵは同じルー
チンを、位置Ｌ２，Ｌ４及びＬ５で撮影されたイメージ
に対して実行する。
【００４６】ステップＳ２６において、ＣＰＵ４はメモ
リ６にイメージの位置的な順序を表すリンクを格納す
る。たとえば、ＣＰＵ４は、そのリンクを別々の実体と
して生成し、メモリ６に格納する。各リンクに関するデ
ータは、リンクの各端におけるイメージを特定する。こ
うして、図２及び図５において示されている例のよう
に、Ｌ１とＬ３の位置において撮影されたイメージをそ
の端に有するもの、Ｌ３とＬ２の位置において撮影され
たイメージをその端に有するもの、Ｌ２とＬ４の位置に
おいて撮影されたイメージをその端に有するもの、そし
て、Ｌ４とＬ５の位置において撮影されたイメージをそ
の端に有するものという４つのリンクをＣＰＵ４は生成
する。
【００４７】ステップＳ２６において、ＣＰＵ４はま
た、各イメージのためのプロジェクトファイル（ステッ
プＳ１８において生成されたもの）に、そのイメージに
接続される各リンクの実体へのポインタを格納する。た
とえば、位置Ｌ３で撮影されたイメージのためのプロジ
ェクトファイルは、第１及び第２リンクへのポインタを
有する。
【００４８】ステップＳ２８において、ＣＰＵ４は、そ
のイメージデータを記憶したカメラに関する情報を入力
するようユーザに要求する。ＣＰＵ４はこれを、ユーザ
への要求メッセージの表示によって実現する。ここで
は、カメラレンズの焦点距離や、カメラ内のＣＣＤ撮像
素子或いはフィルムのサイズの入力を要求する。ＣＰＵ
４はまた、ディスプレイ１８上に、標準的なカメラのリ
ストを表示する。この情報はメモリ６に予め格納されて
いる。そして、ユーザは直接的に各情報を入力する変わ
りに、使用したカメラをそのリストから選択することが
できる。ステップＳ３０において、ユーザは要求された
カメラデータを入力する、或いはリスト表示されたカメ
ラの一つを選択する。そして、ステップＳ３２におい
て、ＣＰＵ４は、以降の処理において使用するために、
入力されたカメラデータをメモリ６に格納する。
【００４９】ＣＰＵ４によってメモリ６に格納されたイ
メージデータの処理は、図６〜図５０を参照して以下に
説明する。
【００５０】図６は、ステップＳ４，Ｓ６，Ｓ８におい
てＣＰＵ４によって実行される、初期特徴マッチングの
ルーチン、カメラ変換の計算ルーチン、制約的特徴マッ
チング（ｃｏｎｓｔｒａｉｎｅｄ ｆｅａｔｕｒｅ ｍ
ａｔｃｈｉｎｇ）のルーチン間の、トップレベルにおけ
る関連を示す。これらのルーチンの目的のために、ＣＰ
Ｕ４は、イメージを３つのイメージからなるグループで
考慮する。そのグループは、ステップＳ２２（図４）に
おいて生成された位置的な順序における順番で生成さ
れ、各グループはイメージの「トリプル」（以下、イメ
ージトリプル）と称される。こうして、メモリ６に（図
２及び図５の例のように）５つのイメージのためのデー
タが格納された場合、ＣＰＵ４は３つのイメージトリプ
ルを考慮する（すなわち、位置的順序を１〜５としたと
き、イメージ１−２−３、イメージ２−３−４、そして
イメージ３−４−５である）。各イメージトリプル内に
おいて、２つのイメージペアが存在する。すなわち、当
該トリプル内における第１及び第２イメージからなるペ
アと、当該トリプル内における第２及び第３イメージか
らなるペアである。
【００５１】図６を参照すると、ステップＳ４０におい
て、次のイメージトリプルが処理のために考慮される
（最初にステップＳ４０が実行されときには、最初のト
リプル、すなわち位置的順序におけるイメージ１−２−
３となる）。ステップＳ４２において、トリプルにおけ
るイメージのペア間にわたるポイントをマッチさせるた
めに、或いは３つのイメージのすべてにわたるポイント
をマッチさせるために初期特徴マッチングがその３つの
イメージに対して実行される。そして、ステップＳ４４
において、ステップＳ４２でマッチさせたポイントを用
いて、これら３つのイメージが撮影された位置の間のカ
メラ変換が計算される。計算されたカメラ変換は、その
位置的順序におけるイメージ間のカメラの移動及び回転
を特定する。この点についてはさらに詳細に後述する。
【００５２】ステップＳ４６において、ＣＰＵ４はステ
ップＳ４４で計算されたカメラ変換が十分に正確かどう
かを判断する。もし、その変換が十分に正確であると判
定された場合は、ステップＳ４８において、その計算さ
れたカメラ変換を用いて、その３つのイメージについて
更なる特徴のマッチングを行う。ステップＳ４８におい
て、ＣＰＵ４によって実行される特徴マッチングは、制
約的特徴マッチングと称される。というのは、ステップ
Ｓ４４で計算されたカメラ変換が、そのトリプルのある
イメージにおいて与えられたポイントにマッチするであ
ろう別のイメージ内のポイントを特定するために、当該
別のイメージにおいて検索する領域を制約するのに用い
られるからである。ステップＳ４６において、計算され
たカメラ変換が十分に正確でないと判断された場合は、
ステップＳ４２からステップＳ４６が、十分な精度のカ
メラ変換が得られるまで繰り返される。しかしながら、
以下に説明されるように、ＣＰＵ４が、計算されたカメ
ラ変換が十分に正確ではないと判断された後に、ステッ
プＳ４２において３つのイメージの初期特徴マッチング
を繰り返し実行するときの第１回目の処理において、ス
テップＳ４２が一番最初に実行された際に用いられた第
１のテクニックとは異なる第２のテクニックが用いられ
る。さらに、ステップＳ４２の引き続く再実行におい
て、ＣＰＵ４は第２テクニックを用いて初期特徴マッチ
ングを実行するが、入力としてのマッチングポイントの
数はその都度異なる（ステップＳ４２が繰り返される都
度その数は増加する）。
【００５３】ステップＳ５０において、ＣＰＵ４は、イ
メージの位置的順序においてまだ考慮されていない他の
イメージがが存在するかどうかを判断し、もし存在すれ
ば、ステップＳ４０からＳ５０が次のイメージトリプル
を考慮するために繰り返される。これらのステップは、
すべてのイメージが上述したような方法で処理されるま
で繰り返されることになる。
【００５４】図７は、初期特徴マッチング、カメラ変換
計算、及び制約的特徴マッチングの間のさらに詳細な関
連を説明する図である。
【００５５】図７を参照すると、ステップＳ５２におい
て、ＣＰＵ４は、第１のテクニックを用いてイメージト
リプル中の最初のペアに対して、後述するような、初期
特徴マッチングを実行する。この第１の初期特徴マッチ
ングテクニックはユーザからの入力を要求しないという
点において、自動的である。ステップＳ５４において、
ＣＰＵ４は、そのトリプル中の第２のイメージペアに対
して、自動的なテクニックを用いた第１の初期特徴マッ
チングを実行する。ステップＳ５６において、ＣＰＵ４
はトリプル中におけるイメージ間のカメラ変換を計算す
る。ステップＳ５８において、ＣＰＵ４はステップＳ５
６で計算されたカメラ変換が十分に正確であるかどうか
を判断する。もしそれらが十分に正確であるならば、そ
のトリプルのイメージにおける、更なるポイントをマッ
チさせるために、ステップＳ７４において制約的特徴マ
ッチングが実行される。
【００５６】一方、ステップＳ５８において、計算され
たカメラ変換が十分に正確ではないと判定された場合、
ＣＰＵ４はそのイメージトリプルについて、異なるテク
ニックを用いて、ステップＳ６０からＳ６８において初
期特徴マッチングを実行する。この実施形態において
は、後述するように、アフィン（ａｆｆｉｎｅ）テクニ
ック（これは、イメージ中のオブジェクト２４が、その
イメージの小領域に渡って意味のあるパースペクティブ
プロパティ（ｐｅｒｓｐｅｃｔｉｖｅ ｐｒｏｐｅｒｔ
ｙ）を提示しないことを仮定する）が用いられる。
【００５７】ステップＳ６０において、ユーザは、トリ
プル中の第１のイメージペア、及びトリプル中の第２の
イメージペアにおけるマッチングポイント（すなわち、
オブジェクト２４上の同一な物理的ポイントに対応する
ポイント）を特定することを要求される。これは、ユー
ザに対して、トリプル中の３つのイメージをディスプレ
イユニット１８上に表示することでなされる。ユーザ
は、表示されたカーソルを入力手段１４を用いて動か
し、第１のイメージ中のポイントを特定するとともに、
第２のイメージ中の対応するマッチングするポイント
（オブジェクト２４上の同一の物理的ポイントを表す）
を特定する。この処理は、第１と第２のイメージの間に
おいて１０対のポイントがマッチされるまで繰り返され
る。ユーザは、次に、第２と第３のイメージにおける１
０組のマッチしたポイントのペアを特定するために上記
の処理を繰り返す。ユーザにとって、ポイントを選択す
る際に、表示されたカーソルを所望のポイント（それは
１ピクセルを占める大きさを有する）に正確に合わせる
のは困難であろう。したがって、ユーザによって特定さ
れたあるポイントが、ステップＳ５２もしくはＳ５４に
おいてＣＰＵによって前もってそのイメージ中に特定さ
れたポイントの２ピクセル以内であれば、もしくは、ス
テップＳ６２、Ｓ６４或いはＳ７４が前もって実行され
た場合にそれらの処理においてＣＰＵによってそのイメ
ージ中に特定されたポイントの２ピクセル以内であれ
ば、ＣＰＵ４はユーザが特定しようと意図したものが、
ＣＰＵが前もって自動的に特定したポイントであると判
断し、続いて、ディスプレイ１８上でユーザによって実
際に特定されたポイントではなく、このポイントの座標
を格納する。
【００５８】ステップＳ６２において、ＣＰＵ４は、ア
フィンマッチングテクニックを用いてトリプル中の第１
のイメージペアにおいてポイントをマッチさせる。そし
て、ステップＳ６４において、このテクニックを用い
て、そのトリプル中の第２のイメージペアにおいてポイ
ントをマッチさせる。以下で説明するように、アフィン
特徴マッチングにおいては、ＣＰＵ４は、各イメージの
ペアにおけるイメージ間の関連を決定するために、すな
わち、一方のイメージから他方のイメージへポイントを
変換するために必要な数学的な変換を得るために、ステ
ップＳ６０でユーザによってマッチされたポイントを用
いる。そして、ＣＰＵ４は、これを用いて、イメージ中
における更なるマッチングポイントを特定する。
【００５９】ステップＳ６６において、ＣＰＵ４は、そ
の時点でマッチされているポイントのすべてを用いて、
そのトリプルにおける３つのイメージが撮影された位置
の間のカメラ変換を再度決定する。そして、ステップＳ
６８において、計算された変換が十分に正確かどうかを
判断する。その変換が十分に正確であると判断された場
合は、ＣＰＵ４はステップＳ７４においてその３つのイ
メージに対して制約的特徴マッチングを実行する。一
方、その変換が十分に正確でないと判断された場合は、
ＣＰＵ４はステップＳ７０で、当該トリプル中の各イメ
ージのペアに関してより多くのポイントをマッチさせる
ようユーザに（すなわち、各イメージのペアにおいて、
オブジェクト２４上の同一の物理的なポイントに対応す
るイメージポイントを特定するように）要求する。この
実施形態において、ユーザは、イメージトリプルにおけ
る第１のイメージペアにおいて１０ペアの更なるマッチ
ングポイントを特定するように要求され、さらに、イメ
ージトリプルにおける第２のイメージペアにおいて１０
ペアの更なるマッチングポイントを特定するように要求
される。ステップＳ７２において、ユーザは、ステップ
Ｓ６０において前述したのと同様の方法でマッチングポ
イントを特定する。そして再び、ユーザによって特定さ
れたポイントがＣＰＵ４によって（ステップＳ５２又は
Ｓ５４のいずれか、或いはステップＳ６２、Ｓ６４或い
はステップＳ７４において）以前に特定されたポイント
から２ピクセル内にあればユーザはそのポイントを特定
するべく意図したものと判断され、ユーザによって特定
されたポイントではなく、ＣＰＵによって特定されたポ
イントの座標が格納される。
【００６０】ステップＳ６２からＳ７２は、ステップＳ
６８において、トリプルにおけるイメージ間の十分に正
確なカメラ変換が計算されたと判断されるまで、繰り返
される。すなわち、第２の特徴マッチングテクニック
（本実施形態ではアフィンテクニック）が、異なる数の
ユーザ特定されたマッチングポイントを各回の入力とし
て用いて、計算されるべき十分な精度のカメラ変換を可
能とするのに必要なマッチングがなされるまで繰り返さ
れる。そして、トリプルにおける３つのイメージのため
の制約的特徴マッチングがステップＳ７４において実行
される。
【００６１】ステップＳ７６において、ＣＰＵ４は処理
すべき位置的順序の中に他のイメージが存在するかどう
かを判断する。もし存在するならば、ステップＳ５４か
らＳ７６が、すべてのイメージが処理されるまで繰り返
される。図７からわかるように、ステップＳ５２は、後
続のイメージが考慮される場合には実行されない。図２
及び図５に示される例を参照すると、ＣＰＵ４によって
処理されるべきオブジェクト２４の５つのイメージがあ
る。位置的順序におけるイメージ１とイメージ２のポイ
ントはステップＳ５２（そして、第２特徴マッチングテ
クニックが用いられるならばステップＳ６２）において
マッチングされる。また、イメージ２とイメージ３のポ
イントはステップＳ５４（そして、第２マッチングテク
ニックが用いられるのであればステップＳ６４）でマッ
チされる。上述したように、トリプルを単位としてイメ
ージが考慮される。したがって、イメージ４が最初に考
慮されるのは、イメージ２，３及び４を備えたトリプル
が考慮される場合である。しかしながら、イメージ２と
３におけるポイントは、ステップＳ５４（及びステップ
Ｓ６４）においてＣＰＵ４によって既にマッチングされ
ている。したがって、処理はステップＳ５４から開始さ
れ、ステップＳ５２は省略されるのである。ステップＳ
５４では、トリプル中の第２のイメージペア（すなわ
ち、イメージ３、４）におけるポイントの自動的な特徴
マッチングが実行される。もしも自動的なテクニック
が、ステップＳ５６及び５８において十分に正確なカメ
ラ変換を生成できなかった場合は、トリプル中のイメー
ジの第１のペアと第２のペアの両方についてアフィンテ
クニックが実行される。すなわち、ユーザがステップＳ
６０においてこれらイメージにおける更なるマッチング
ポイントを特定するので、第１のイメージペアに対して
初期特徴マッチングが再実行される。
【００６２】本実施形態において、制約的特徴マッチン
グは、その順序における次のイメージが考慮され、初期
の特徴マッチングがそれに対して実行される前に、与え
られたイメージのトリプルに対して実行される。上述し
たように、制約的特徴マッチングのステップは、考慮中
のイメージトリプルにおける更なるマッチングポイント
を生成する。実際、後述するように、第１のイメージペ
アにおいて以前にマッチされたポイントとマッチするポ
イントがそのトリプルの最終イメージにおいて特定され
る（このようにして、すべての３つのイメージにおいて
マッチさせられたポイントを与える）。従って本実施形
態は、トリプルにおける次のイメージに対して初期特徴
マッチングを実行する際に、トリプルの最終イメージに
おけるこれらの新たにマッチしたポイントが用いられる
という長所を提供する。例えば、図５に示されるシーケ
ンスにおける最初の３つのイメージが処理される場合、
ステップＳ７４における制約的特徴マッチングのステッ
プは、イメージ１とイメージ２内のポイントにマッチす
るイメージ３内のポイントを特定する。ＣＰＵ４がイメ
ージ４を考慮し、ステップＳ５４（及びステップＳ６
４）において初期特徴マッチングを実行する場合、ステ
ップＳ７４で生成された新しいポイントが考慮され、マ
ッチングポイントがイメージ４の中に存在するかどうか
を判断するために、処理が実行される。マッチングポイ
ントがイメージ４において特定された場合、ステップＳ
７４における制約的特徴マッチングによってマッチされ
た新しいポイント、およびポイントのトリプルから初期
特徴マッチングによって特定された新たなポイントが、
ステップＳ５６もしくはＳ６６でカメラ変換を計算する
際に考慮に入れられる。このように、ステップＳ７４の
制約的特徴マッチングのステップは、次のイメージトリ
プルに対するカメラ変換の計算に用いられるポイントを
生成する可能性がある（すなわち、次のトリプルにおけ
るイメージの第２のペアに対するステップＳ５４或いは
Ｓ６４における初期特徴マッチングが、制約的特徴マッ
チングにおいてイメージの第１のペアにわたってマッチ
したポイントの少なくともひとつを新しいトリプルの第
３のイメージヘマッチさせる場合）。これについてはさ
らに詳しく後述する。
【００６３】こうして、図７に示される処理は、次の初
期特徴マッチング処理の入力のために、および次のカメ
ラ変換処理を計算するために、計算されたカメラ変換を
用いて決定された新しいマッチングされたポイントのフ
ローを形成する。
【００６４】図７におけるステップＳ５２とＳ５４にお
ける自動的な初期の特徴マッチングにおいてＣＰＵ４に
よって実行される処理について以下に説明する。
【００６５】図８は、トリプルにおける第１のイメージ
ペアに対して自動的な初期特徴マッチングが実行される
際の、ＣＰＵ４によってステップＳ５２で実行される処
理を示す。
【００６６】ステップＳ８０において、トリプルの第１
のイメージにおける各ピクセルに対して、そのピクセル
に関するエッジおよびコーナーの量を表す値が計算され
る。これは、例えば、一般的なピクセルマスクを第１の
イメージに適用し、各ピクセルが考慮されるようにこの
マスクを動かすことによりなされる。そのようなテクニ
ックは、「Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖ
ｉｓｉｏｎ Ｖｏｌｕｍｅ １、Ｒ．Ｍ．Ｈａｒａｌｉ
ｃｋ、Ｌ．Ｇ．Ｓｈａｐｉｒｏ著、第８版、Ａｄｄｉｓ
ｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐ
ａｎｙ出版、１９９２、ＩＳＢＮ ０−２０１−１０８
７７−１（Ｖ．１）」に記載されている。ステップＳ８
２において、所定の閾値を超えるエッジおよびコーナー
の値を有するあらゆるピクセルは、一般的な方法で、第
１のイメージにおけるストロングコーナーとして特定さ
れる。ステップＳ８４において、ＣＰＵ４は第１のイメ
ージに対してステップＳ８０で実行される上述の処理を
第２のイメージに対して実行する。そして、同様に、ス
テップＳ８２で前に実行されたのと同じテクニックを用
いて、ステップＳ８６で第２のイメージにおけるストロ
ングコーナーを特定する。
【００６７】ステップＳ８８において、ＣＰＵ４は、ス
テップＳ８２で第１のイメージにおいて特定された各ス
トロングコーナーを、ステップＳ８６で第２のイメージ
において特定されたあらゆるストロングコーナーと比較
する。ここで比較に用いられる第２のイメージのピクセ
ルは、第１および第２のイメージにおけるコーナーの相
似性測度をプロデュースするための第１のイメージにお
ける考慮中のコーナーポイントと同じピクセル座標を有
する第２イメージ内のピクセルを中心とする所定のウイ
ンドウ領域内に存在するものである。この実施形態にお
いて、第２のイメージにおいて考慮される領域のサイズ
はｙ方向に中心ピクセルの±１０ピクセル、ｘ方向に中
心ピクセルの±２００ピクセルである。第２のイメージ
における検索領域を減少させるためのそのようなウイン
ドウ領域の使用は、オブジェクト２４の異なる部分に存
在する類似のポイントがマッチングしたと特定されない
ようにすることをより確実にする。本実施形態における
ウインドウは小さいｙ値（高さ）と比較的大きなｘ値
（幅）を有する。これは、オブジェクト２４のイメージ
がしばしばカメラ１２を用いてユーザにより、垂直方向
にはほぼ同じ高さで（オブジェクト２４の表面上のポイ
ントが、イメージ中の垂直方向（ｙ）には移動しないよ
うに）、水平方向にオブジェクト２４の周りで移動して
記録されるからである。本実施形態において、ポイント
の比較は、適応的最小二乗相関テクニックが用いられ
る。これは、例えば、Ａｄａｐｔｉｖｅ Ｌｅａｓｔ
Ｓｑｕａｒｅｓ Ｃｏｒｒｅｌａｔｉｏｎ：Ａ Ｐｏｗ
ｅｒｆｕｌ Ｉｍａｇｅ Ｍａｔｃｈｉｎｇ Ｔｅｃｈ
ｎｉｑｕｅ Ａ．Ｗ．Ｇｒｕｅｎ ｉｎ Ｐｈｏｔｏｇ
ｒａｍｍｅｔｒｙ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ａ
ｎｄ Ｃａｒｔｏｇｒａｐｈｙ １９８５、１７５−１
８７頁に記載されている。
【００６８】ステップＳ９０において、ＣＰＵ４はマッ
チングポイントを特定し格納する。これは、以下に説明
するように、緩和（ｒｅｌａｘａｔｉｏｎ）テクニック
を用いて実行される。ステップＳ８８は第１のイメージ
における各ストロングコーナーと第２のイメージにおけ
る複数のストロングコーナー（すなわち、上述した第２
イメージにおけるウインドウ内に存在するもの）との間
の相似性測度を生成する。ステップＳ９０において、Ｃ
ＰＵ４は効果的にこれらの値をテーブルアレイ（配列）
に並べる。例えば、第１のイメージにけるすべてのスト
ロングコーナーをカラム（行）にリスティングし、第２
のイメージにおけるすべてのストロングコーナーをロー
（列）にリスティングする。そして、テーブル内の適切
な交点によって与えられる各コーナーのペアについて相
似性測度を表す。この方法において、テーブルアレイの
１つのローは、第１のイメージにおける与えられたコー
ナーポイントと第２のイメージにおける各コーナーポイ
ントとの間の相似性測度を明示する（第１のイメージに
おけるコーナーが第２のイメージにおけるコーナーと比
較されなかった場合、ステップＳ８８において相似性測
度はゼロとなる）。同様に、アレイ内のコラムは、第２
イメージ内の与えられたコーナーポイントと第１のイメ
ージ内の各コーナーポイントとの間の相似性測度を明示
する（ここでも、ステップＳ８８においてポイントが比
較されなかったいくつかの値はゼロとなる）。ＣＰＵ４
は、次に、値の第１行目を考慮し、当該行において最も
高い相似性測度値を有するものを選択し、この選択され
た値が、それが存在するコラムの中においても最も高い
値であるかどうかを判断する。その値がローおよびカラ
ムにおいて最も高い値である場合、これは第２のイメー
ジにおけるそのコーナーポイントが第１のイメージに対
する最もマッチングするポイントであり、また第１のイ
メージにおけるそのコーナーポイントが第２のイメージ
に対する最もマッチングするポイントでもある。この場
合、ＣＰＵ４は当該ローおよび当該カラムにおけるすべ
ての値をゼロにセットし（これらの値が更なる処理にお
いて考慮されることのないように）、最高の相似性測度
値が所定の閾値（本実施形態では０．１とする）を超え
たか否かを判断する。類似性計測がその閾値を越えた場
合、ＣＰＵ４は、第１のイメージにおけるそのポイント
と第２のイメージにおける対応するポイントをマッチン
グしたポイントとして格納する。一方、類似性計測が閾
値を越えていない場合は、たとえそのポイントが互いに
最もよいマッチングポイントであったとしても、類似性
の度合いがマッチングポイントとしてそのポイントを格
納するには十分ではないと決定する。
【００６９】ＣＰＵ４は、すべてのローが考慮されるま
で、テーブルアレイの各ローに対してこの処理を繰り返
す。ローにおける最も高い類似性計測が、それが存在す
るカラムにおいては最も高いものとならない場合は、Ｃ
ＰＵ４は次のローを考慮するべく処理を移す。従って、
ステップＳ９０においてマッチングポイントのペアがひ
とつも特定されない可能性もある。
【００７０】ＣＰＵ４は、すべてのローが考慮された前
回の処理でマッチングポイントが特定された場合、上記
の処理を繰り返すために、テーブルアレー内の各ローを
再度考慮する。ＣＰＵ４はそのような反復を繰り返し実
行し、それは、繰り返しにおいてひとつのマッチングポ
イントも特定されなくなるまで繰り返される。
【００７１】図９は、トリプル内の第２のイメージペア
に対する自動的な初期特徴マッチングを実行する際の、
図７のステップＳ５４においてＣＰＵ４により実行され
るステップを示す。この場合、そのペアの第１のイメー
ジ内のポイントはすでに特定されている。すなわち、先
行するイメージペアが考慮されたときの、図８のステッ
プＳ８４とＳ８６におけるストロングコーナーであり、
或いはまた、自動的な初期特徴マッチング（ステップＳ
５４）、アフィン初期特徴マッチング（ステップＳ６
０、Ｓ６４およびＳ７２）、制約的特徴マッチング（ス
テップＳ７４）からの他方の特徴ポイントである。これ
は、ただし、これらのステップが先行するイメージトリ
プルに対して実行された場合のことである。したがっ
て、ＣＰＵ４は第２のイメージペアにおけるストロング
コーナーを特定するのみでよい（トリプルの第３のイメ
ージが考慮中のとき）。
【００７２】図９を参照すると、ステップＳ９２におい
て、ＣＰＵ４はトリプルの第３のイメージに対してピク
セルマスクを適用し、第３のイメージの、各ピクセルに
ついて、エッジとコーナーの量を示す値を計算する。こ
れは前述したステップＳ８０における処理と同じ方法で
実行される。ステップＳ９４において、ＣＰＵ４は第３
のイメージにおけるストロングコーナーを特定し格納す
る。これは前述のステップＳ８２と同じ方法で実行され
る。ステップＳ９６において、ＣＰＵ４は先行するステ
ップＳ８６、Ｓ５４、Ｓ６０、Ｓ６４、Ｓ７２およびＳ
７４において、そのトリプル中の第２のイメージに対し
て特定され格納されたストロングポイントと、そのトリ
プル中の第３のイメージに対してステップＳ９４で特定
され格納されたストロングコーナーとを考慮し、ポイン
ト対の間で相似性測度を計算する。これは前述したステ
ップＳ８８と同様の方法で実現される（ここでも、第２
のイメージにおける各ポイントに対して比較される第３
のイメージにおけるポイントを限定するためのウインド
ウを用いる）。ステップＳ９８において、そのトリプル
の第２および第３のイメージにおけるマッチングポイン
トが特定され格納される。これは前述のステップＳ９０
と同じ方法で実現される。
【００７３】ステップＳ５２およびＳ５４（上述した）
においてＣＰＵ４によって実行された特徴マッチングテ
クニックは、オブジェクト２４が類似した複数の特徴ポ
イントを含む場合に、すなわち、同じ視覚的特徴を有す
る複数のポイントがオブジェクト２４の面に渡って分散
している場合に、正確にマッチしたポイントを生成し得
ないであろうことが見出されている。これは、このよう
な状態において、同じ視覚的特徴を有するが、オブジェ
クト２４の表面上の正確に同じ物理的ポイントを表して
いないポイントがイメージにおいてマッチングしてしま
うからである。このことを考慮するために、本実施形態
においては、第２の初期特徴マッチングテクニックがＣ
ＰＵ４によって実行される。このテクニックは、イメー
ジ間において正確に一致することがわかっている少数の
ポイントを用いてイメージを小さい領域に分割し、各イ
メージ内の対応する小領域においてポイントをマッチさ
せることを試みる。この第２のテクニックは、イメージ
内の対応する領域間のアフィン変換が計算できるよう
に、生成された小領域がフラット（パースペクティブ的
な質を提示するものではない）であることを仮定してい
る。第２のテクニックは、したがって、アフィン初期特
徴マッチングテクニックと称される。
【００７４】図１０ａと１０ｂは、パースペクティブプ
ロパティを表すオブジェクト（図１０ａ）とアフィンプ
ロパティを表すオブジェクト（図１０ｂ）との間の相違
を表す図である。（ＣＰＵ４による処理のためにメモリ
６へインプット可能な他のタイプのイメージとしてはフ
ラットオブジェクトのイメージがある。この場合におい
て、オブジェクト上のすべてのポイントは共通のフラッ
トな面に存在するので、オブジェクトの３次元モデルを
生成することは不可能である）。
【００７５】以下、ＣＰＵ４が、図７のステップＳ６２
においてトリプル中の第１のイメージペアに対してアフ
ィン初期特徴マッチングを実行する方法、および図７の
ステップＳ６４においてトリプル中の第２のイメージペ
アに対してアフィン初期特徴マッチングを実行する方法
について説明する。
【００７６】図１１は、図７におけるステップＳ６２も
しくはＳ６４でトリプル中のイメージペアにおけるアフ
ィン初期特徴マッチングを実行するときの、トップレベ
ルにおける、ＣＰＵ４によって実行される処理を示す図
である。
【００７７】図１１を参照すると、ステップＳ１００に
おいて、ＣＰＵ４は、ステップＳ６０もしくはＳ７２で
ユーザによって他のイメージ中のポイントにマッチさせ
られた、ペア内の各イメージ内におけるポイントを考慮
し、これらのポイント間にエッジが存在するか否かを判
定するためにイメージデータを処理する。これらのユー
ザによって特定されたポイントは正確にイメージ中のマ
ッチングポイントを特定している（例えばステップＳ５
２、Ｓ５４、Ｓ６２、Ｓ６４或いはＳ７４においてＣＰ
Ｕ４によって計算されたポイントは正確ではなく、それ
ゆえに本実施形態のステップＳ１００においては用いら
れない）ので、これらユーザ特定ポイントが用いられ
る。
【００７８】図１２はステップＳ１００においてＣＰＵ
４が実行する方法を示す図である。図１２を参照する
と、ステップＳ１０６において、ＣＰＵ４は、そのペア
内の第１のイメージにおいて特定されたポイント（すな
わち、そのペアの第２のイメージにおけるポイントに対
応するとしてユーザによって前もって特定されたポイン
ト）間に存在するあらゆるエッジの非２値の強さ（ｎｏ
ｎ−ｂｉｎａｒｙ ｓｔｒｅｎｇｔｈ）を計算する。そ
して、ステップＳ１０８において、ＣＰＵ４は当該ペア
の第２のイメージにおける特定されたポイント（すなわ
ち、そのペアの第１のイメージにおけるポイントに対応
するとしてユーザによって前もって特定されたポイン
ト）に対して同じ計算を実行する。
【００７９】図１３および図１４は、図１２におけるス
テップＳ１０６およびＳ１０８においてＣＰＵ４がエッ
ジ強度を決定する方法を示す。図１３を参照すると、Ｃ
ＰＵ４は、ユーザによって特定されたイメージ内の２つ
のポイント３０、３２の間に存在する領域「Ａ」におけ
るイメージデータを考慮する。領域Ａは、図１３に示さ
れるように、ポイント３０と３２を通る直線が通過する
ピクセルの両側の、ある設定された数のピクセル（本実
施形態では２ピクセル）以内に存在するピクセルと、ポ
イント３０、３２から距離ａのところ、本実施形態では
２ピクセル分に相当する距離、に終端境界を設定し、こ
の終端境界内に存在するピクセルとを備える。ユーザ特
定ポイント（例えばポイント３０、３２）はディスプレ
イ上でユーザによって特定される際に正確には配置され
ないかもしれず、それゆえ、エッジ（もし、あれば）は
ポイント間を正確に通らないかもしれないので、そのラ
インの上および下のピクセルが考慮される。もしも、ポ
イント３０、３２が、それらポイントの間のラインが水
平よりも垂直に近いように配置された場合、ラインの上
及び下の２つのピクセルではなく、ラインが通過するピ
クセルの両横側の２つのピクセルが考慮される。図７に
おけるステップＳ６０或いはＳ７２でユーザによって他
のイメージ内のポイントとマッチングされるイメージ内
のポイントがエッジの端（すなわち、コーナー）に存在
するポイントである傾向があることが見出されているた
め、終端境界がセットされる。ポイントが本当にエッジ
の端にある場合、これらの近くにあるピクセルはエッジ
を特定するために用いられるオリエンテーション計算を
ゆがめる。これは、ポイント３０と３２がエッジの端に
ある場合、エッジがポイント３０と３２の近くで曲がり
始めるからである。これらのポイントは、ポイント間の
中央領域におけるオリエンテーションとは異なるオリエ
ンテーションの値を各ピクセルに与える。この理由か
ら、ポイント３０、３２の２ピクセル以内のピクセル
は、強度／方向の計算から省略される。
【００８０】図１４を参照すると、ステップＳ１１４に
おいて、ＣＰＵ４は一般的な方法を用いてイメージデー
タを滑らかにする（スムージング）。この方法として
は、例えば、Ｔｏｎｙ Ｌｉｎｄｅｂｅｒｇ著、Ｋｌｕ
ｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ出版
の、Ｓｃａｌｅ−Ｓｐａｃｅ Ｔｈｅｏｒｙ ｉｎ Ｃ
ｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ＩＳＢＮ ０−７９２
３−９４１８−６の第４章に記載されているものを用い
ることができる。１．０ピクセルのスムージングパラメ
ータ（これはスムージング処理において用いられるマス
ク演算子の標準偏差である）が本実施形態では用いられ
る。
【００８１】ステップＳ１１５において、ＣＰＵ４はイ
メージ中における各ピクセルに対するのエッジマグニチ
ュードと方向値を計算する。これは一般的な方法でピク
セルマスクを適用することによりなされる。この処理
は、例えば、”Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ
Ｖｉｓｉｏｎ”ＨａｒａｌｉｃｋとＳｈａｐｉｒｏ
著、Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ Ｐｂｌｉｓｈｉｎ
ｇ Ｃｏｍｐａｎｙ，３３７〜３４６ページ、ＩＳＢＮ
０−２０１−１０８７７−１（Ｖ．１）に記載されてい
る。本実施形態において、ステップＳ１１４で、イメー
ジ全体のデータは平滑化され、ステップＳ１１５でエッ
ジマグニチュード及び方向値があらゆるピクセルに対し
て計算される。しかしながら、その代わりに、これらス
テップの各々における処理のために、イメージの関連す
る領域のみを選択することも可能である。
【００８２】ステップＳ１１６において、ＣＰＵ４は、
ユーザによって特定されたポイントの各ペアの間の領域
Ａ内に存在するピクセルを考慮する。そして、それらの
ポイント間のあらゆるエッジラインのマグニチュードを
計算する。図１３を再度参照すると、ＣＰＵ４は、領域
Ａ内のピクセルの最初のカラム、例えばそのイメージ中
における最も左側にあるピクセルのカラム、を考慮する
ことにより開始する。このカラム内において、ＣＰＵ４
は最初に最上位のピクセルを考慮する。そして、このピ
クセルに対してステップＳ１１５で計算されたエッジマ
グニチュードと方向値を閾値と比較する。この実施形態
において、マグニチュードの閾値は、ピクセル毎のスム
ースグレーレベル０．０１のという非常に低い値にセッ
トされる。これは、しばしばエッジが、例えばエッジを
横切るように影等を生成し得るライティングによって、
イメージにおいて弱められるからである。したがって、
小さいマグニチュード閾値を用いることにより、あらゆ
る合理的なエッジマグニチュードの値を有するすべての
ピクセルが考慮されることを保証する。方向値の閾値
は、ポイント３０と３２をつなぐ直線の方向の小さい角
度の偏差内（本実施形態では０．５ラジアン）に存在さ
せるために、ピクセルの方向値に対して比較的厳しい要
求を課するように設定される。これは、ピクセルマグニ
チュード値よりも、方向の方が、ピクセルが実際にエッ
ジを表しているかどうかを決定するのにはるかに正確な
方法であることが見出されているからである。
【００８３】もしも、ピクセルカラム中における最上位
のピクセルが、マグニチュード閾値を越える値を有し、
方向の閾値よりも小さい値を有するのであれば、そのカ
ラムに対して「票決（ｖｏｔｅ）」が登録される。「票
決」はポイント３０、３２の間のエッジの一部分がその
ピクセルカラムに存在することを表す。もしも、最上位
ピクセルの値がこの条件を満たさなければ、同じテスト
がそのカラム中の残りのピクセルに適用され、そのカラ
ムを下降して行く。その閾値条件を満足するピクセルが
一旦見出されると、「票決」がそのカラムに関して登録
され、次のカラムのピクセルが考慮される。一方、その
カラムの中にその閾値条件を満足するピクセルが見つか
らなかった場合は、そのカラムに関して「票決」は登録
されない。ピクセルカラムのすべてがこの方法で処理さ
れると、ＣＰＵ４は、登録された「票決」を有するカラ
ムのパーセンテージを決定し、このパーセンテージを格
納する。このパーセンテージはエッジの強さを表すもの
である。
【００８４】再び図１２において、ステップＳ１０６と
Ｓ１０８を実行することで、ＣＰＵ４は、そのペアの各
イメージにおける各エッジに対する強さを計算し格納す
ることになる。
【００８５】ステップＳ１１０において、ＣＰＵ４は、
そのペアの第１のイメージとそのペアの第２のイメージ
におけるエッジに対応する、結合された強さを計算す
る。これは、例えば、第１のイメージ内のエッジに対し
てステップＳ１０６で計算され、格納されたエッジ強さ
のパーセンテージと、第２のイメージにおける対応する
エッジに対してステップＳ１０８で計算され格納された
値とを読み出し、パーセンテージの幾何平均（すなわ
ち、パーセンテージの積の平方根）を計算することによ
り得られる。もしも結果として、結合された強さの値が
９０％未満であった場合、ＣＰＵ４はそのエッジは以降
の処理で考慮するほどには十分に強くないものと判断
し、それらを破棄する。また、もしも、結合された強さ
の値が９０％以上であれば、ＣＰＵ４はその値を格納
し、両イメージにおけるそのエッジを、以降の処理にお
いて使用するための強いエッジとして特定する。
【００８６】ステップＳ１１０を実行することにより、
ＣＰＵ４は効果的に、与えられたポイント間にエッジが
実際に存在するかどうかを判断するためにイメージペア
の両イメージ内のエッジ強さを考慮する。この方法にお
いて、たとえそれが両イメージの一方においていくらか
ゆがめられても（例えば、破壊されても）、エッジはな
お特定される。他のイメージにおけるエッジの強さがそ
れを埋め合わせるからである。
【００８７】ステップＳ１１２において、ＣＰＵ４はそ
のペアにおける第１のイメージにおける強いエッジ、す
なわち、ステップＳ１１０において弱いエッジが取り除
かれた後に残ったエッジを考慮し、エッジ間のあらゆる
交差を除去するためにイメージデータを処理する。
【００８８】図１５はエッジの間にクロスオーバが生じ
ているかどうかを判断しそれらを除去するためにＣＰＵ
４が実行する処理を示す図である。図１５を参照する
と、ステップＳ１２０において、ＣＰＵ４は、ペア中の
第１のイメージにおけるエッジのリストを生成する。こ
のエッジのリストでは、結合された強さの順番にエッジ
が並べられる。最も高い結合された強さを有するエッジ
を当該リストのトップとする。エッジの強さは浮動小数
点で計算され格納されるので、２つのエッジが同じ結合
された強さを有することはめったにない。ステップＳ１
２２において、ＣＰＵ４はリスト内のエッジの次のペア
を考慮する（そのステップが最初に実行されたとき、こ
れは第１のペアとなる）。そして、ステップＳ１２４に
おいて、ＣＰＵ４は、各エッジの端部のポイントの座標
を比較し、第１のエッジの両端のポイントが第２のエッ
ジの同じ側に存在するかどうかを判断する。もし同じ側
に存在すると判断された場合は、エッジが図１６（ａ）
で示される場合に対応する関係を有し、従って、ＣＰＵ
４はステップＳ１２６において、それらは交差していな
いと判断する。一方、ステップＳ１２４において第１エ
ッジの両端のポイントが第２エッジの同じ側に存在しな
いと判断された場合は、エッジは、図１６（ｂ）或いは
図１６（ｃ）のいずれかに示されるような関係を有す
る。そして、これらの関係のうちのいずれであるかを判
断するために、ステップＳ１２８において、ＣＰＵ４は
再びポイントの座標を考慮し、第２エッジの両端部のポ
イントが第１エッジの同じ側に存在するかどうかを判断
する。もし同じ側に存在するのであれば、エッジの関係
は図１６（ｂ）に示されるような場合に対応しており、
ＣＰＵ４はステップＳ１２６において両エッジは交差し
ていないと判断する。一方、ステップＳ１２８におい
て、第２エッジの両端のポイントも第１エッジの同じ側
に存在しないと判定された場合は、ＣＰＵ４は図１６
（ｃ）に示されるように両エッジが交差していると判断
する。そして、ステップＳ１３０において、当該ペアに
おける第２エッジを除去する。これは結合された強さが
より低いエッジを消去することになる。この処理は、そ
のエッジの結合された強さをゼロにセットすることによ
ってなされ、こうすることにより第１及び第２イメージ
からそのエッジを効率的に除去することができる。ステ
ップＳ１３２において、ＣＰＵ４は、まだ比較されてい
ない他のエッジがリスト中にあるかどうかを判定する。
ステップＳ１２２からＳ１３２は、すべてのエッジが上
述した方法で考慮されるまで繰り返される。すなわち、
ステップ１２２から１３２は、まず最初に、最も高い結
合された強さを有するエッジをリストの下位にある各エ
ッジと比較し（リストを下方へ進む）、その次に、順次
リストに残っているその次に高いエッジとリストに残っ
ているものの内のそれよりも下位にある各エッジとを比
較する（リストを下方へ進む）。こうして、すべての比
較がなされるまで、強さの減少する順番でエッジを比較
しつづける（すなわち、次に高いエッジがそのリスト中
の最後のものとなるまで続ける）。
【００８９】ステップＳ１２０において、エッジがこの
順番に比較されるように、結合された強さの順番にエッ
ジを並べることにより、後の処理のために、より高い結
合された値を有するエッジの最大数が保持されることが
保証される。例えば、もしもエッジが異なる順序で考慮
されると、第３番目の強さを有するエッジが、第２番目
の強さを有するエッジに交差するので消去され得る。し
かし、２番の強さを有するエッジ自身は、次に、最も強
い結合された強さを有するエッジと交差することが見出
されると、消去されてしまう。これは、本実施形態にお
ける処理ではおこらないことである。
【００９０】再び図１１を参照すると、ステップＳ１０
０を実行した後、コンピュータ２は、そのペア内の各イ
メージにおいて、設定された閾値を越える強さを有し、
他のエッジと交差しないエッジを格納していることにな
る。ステップＳ１０２において、ＣＰＵ４はユーザによ
って特定されたそのイメージ内のポイントを接続し、三
角形を生成する。
【００９１】図１７は、図１１のステップＳ１０２にお
いてＣＰＵ４によって実行される処理を示す図である。
図１７を参照すると、ステップＳ１４０において、ＣＰ
Ｕ４はまずはじめに、ペア内の第１のイメージにおける
ユーザ特定ポイントを接続する。ここで、これらのポイ
ントは、ステップＳ１００（図１１）の処理が実行され
た後に残る強いエッジによって接続されたものである。
ステップＳ１４２において、ＣＰＵ４は、２つの強いエ
ッジを有するあらゆる三角形を完成するように、適切な
ポイントを結合し、それら三角形の第３の辺を生成す
る。ステップＳ１４２は、もしも２つの強いエッジが出
会った場合に、それらエッジの他の端が相互に接続され
て、強いエッジを辺として有する単一の三角形を生成す
るという利点を提供する。この方法によれば、オブジェ
クト２４のイメージにおけるエッジが、通常は、表面上
の特徴もしくは表面上のエッジに対応するので、他の方
法でポイントが接続された場合よりもオブジェクト２４
の物理的な面上に存在するより多くの三角形を生成する
ことができる。
【００９２】ステップＳ１４０とＳ１４２において、も
しもエッジが閾値を越える強さを有しているならば（す
なわち、強いエッジならば）、三角形の辺は完全なエッ
ジから形成されることが観察される。これは、エッジの
全長にわたる辺を有する三角形が生成されるように、エ
ッジが分割されないという利点を提供する。
【００９３】ステップＳ１４４において、ＣＰＵ４は、
ペアの第１のイメージ内のユーザによって特定されたポ
イントの座標を考慮し、ステップＳ１４０及びＳ１４２
でまだ接続されていないあらゆるポイントを接続するま
っすぐなエッジの長さを計算する。これらの接続は、接
続長というターム（ｔｅｒｍ）で格納される。ステップ
Ｓ１４６において、ＣＰＵ４は、次に短い接続長を有す
るポイントのペア（本ステップが最初に実行されるとき
は、もっとも短い接続長を有するポイントのペアとな
る）の座標を考慮し、もしも新しいエッジが既存のエッ
ジとオーバーラップしないならば、それらポイントを接
続してエッジを生成する（もしもオーバーラップするな
らば、それらのポイントは接続されない）。ステップＳ
１４８において、ＣＰＵ４は、ステップＳ１４４におい
て生成されたリスト中に、まだ考慮されていないポイン
トのペアが存在するかどうかを判断する。そして、もし
存在するならば、ステップＳ１４６が繰り返される。ス
テップＳ１４６とＳ１４８は、ユーザによって特定され
たポイントのすべてが考慮されるまで繰り返される。ス
テップＳ１５０において、ＣＰＵ４は、接続したエッジ
によって特定される三角形の頂点のリストをメモリ６内
に格納する。
【００９４】図１１を再び参照すると、ステップＳ１０
４において、ＣＰＵ４は、イメージのペアにおいてさら
に対応するポイントを計算するために、ステップＳ１０
２におけるユーザ特定ポイントから決定された三角形を
用いる。
【００９５】図１８Ａ、Ｂは、ステップＳ１０４におい
てＣＰＵ４によって実行される処理を示す図である。図
１８Ａ、Ｂを参照すると、ステップＳ１６０において、
ＣＰＵ４は、ステップＳ１５０（図１７）において格納
された三角形の頂点の座標を読み出し、ペア内のイメー
ジ間の各三角形に対する変換を計算する。これは第１の
イメージ内の三角形の頂点と第２のイメージにおける対
応する三角形の頂点（すなわち、第１のイメージにおけ
る頂点のポイントに対して以前にマッチした第２のイメ
ージにおけるポイント）を考慮することにより実行され
る。与えられた三角形内のイメージの小さな部分はフラ
ットであり、したがって、パースペクティブによって影
響されないと仮定される。したがって、ひとつのイメー
ジ内における三角形内の各ポイントは、以下のような、
数学的なアフィン変換によって他のイメージにおける対
応するポイントに関連付けられる。
【００９６】
【数１】
【００９７】ここで、（ｘ，ｙ，１）は、ペア内の第１
のイメージにおけるポイントの同次の座標であり、
（ｘ’，ｙ’，１）は、そのペア内の第２のイメージに
おけるポイントの同次の座標であり、そして、Ａ，Ｂ，
Ｃ，Ｄ，Ｅ及びＦはその変換を決定する未知の変数であ
る。
【００９８】ＣＰＵ４において、変数Ａ〜Ｆを計算する
ために、数学的変換は三角形の各頂点に対して同じであ
ると仮定する（なぜならば、各三角形の面積は、三角形
内のイメージにおいて表されるオブジェクトの表面の部
分が平面であると仮定できるほどに、十分に小さいから
である）。以下の数式が、第１のイメージ内の三角形の
３つの既知の頂点と第２のイメージにおける３つの対応
する既知の頂点を用いて確立される。
【００９９】
【数２】
【０１００】ここで、（ｘ，ｙ，１）は、第１のイメー
ジにおける三角形の頂点の同次の座標であり、座標番号
はその座標がどの頂点に関連付けられているかを表し、
（ｘ’，ｙ’，１）は、第２のイメージにおける、第１
のイメージ内の三角形の頂点にマッチするポイントの同
次の座標である（ここでも、座標番号はその座標がどの
頂点に関連付けられているかを表す）。この等式は、Ａ
〜Ｆの値を計算するための一般的な方法によって解か
れ、ゆえに、各三角形の変換が特定される。
【０１０１】ステップＳ１６２において、ＣＰＵ４は第
１のイメージを２５ピクセル×２５ピクセルの大きさの
一連のグリッド矩形に分割する。そして、矩形が「空」
であることを示すためのフラグを各矩形にセットする。
図１９はグリッド矩形に分割されたイメージを表す図で
ある。ステップＳ１６４において、ＣＰＵ４は、考慮中
のペアの第１のイメージ内に、先行するイメージにおけ
るポイントとマッチするが、当該ペアの第２のイメージ
におけるポイントとはマッチしないポイントが存在する
か否かを判定する。考慮中のペアのその第１のイメージ
がその処理における一番最初のイメージである場合（図
２の例において、位置Ｌ１で撮影されたイメージ）、そ
の順番において先立つイメージが存在しないので、ステ
ップＳ１６４ではそのようなポイントは存在しない。ま
た、その順番における第２のイメージ（図２の例におい
て位置Ｌ３において撮影されたイメージ）が、考慮中の
ペアにおける第１のイメージである場合、図７に見られ
るように、ポイントは先行するイメージ（その順番にお
ける第１のイメージ）と、ステップＳ５２における自動
的な初期特徴マッチング、ステップＳ６０またはＳ７２
におけるユーザマッチング、或いはステップＳ６２にお
けるアフィン初期特徴マッチングにより、一致させられ
ている可能性がある。考慮中のペアの第１のイメージが
第３或いはその順番における後続のイメージ（位置Ｌ
２、Ｌ３或いはＬ５で撮影されたイメージのうちのひと
つ）である場合、ポイントは先行するイメージと、ステ
ップＳ５４における自動的な初期特徴マッチング、ステ
ップＳ６０またはＳ７２におけるユーザマッチング、ス
テップＳ６２またはＳ６４におけるアフィン初期特徴マ
ッチングと一致させられている可能性があり、或いは前
述され、さらにその詳細が後述されるステップＳ７４に
おける制約的特徴マッチングにより追加的に一致させら
れている可能性がある。
【０１０２】再び図１８Ａを参照すると、ステップＳ１
６４でそのようなポイントが存在するとＣＰＵ４が判定
すると、ＣＰＵ４は、ステップＳ１６６において「以前
にマッチした」ポイントのひとつを考慮し、ステップＳ
１６８において、このポイントが、そのペアの第１のイ
メージ内における図１１中のステップＳ１０２で生成し
た三角形内に存在するかどうかを判断する。もしもポイ
ントが三角形内に存在しない場合は、処理はステップＳ
１７８へ進み、ＣＰＵ４は当該ペアの第１のイメージ中
に別の、以前にマッチしたポイントがあるかどうかを判
断する。ステップＳ１６６、Ｓ１６８、Ｓ１７６は、そ
のペアの第１のイメージ中の三角形内に存在する以前に
マッチしたポイントが特定されるまで、或いはそのよう
な以前にマッチしたポイントのすべてが考慮されるま
で、繰り返される。ステップＳ１６８において考慮中の
以前にマッチしたポイントがそのペアの第１のイメージ
内の三角形内に存在すると判断された場合、ステップＳ
１７０において、ＣＰＵ４はそのペアの第２のイメージ
内の対応するポイントを見つけようと試みる。これは、
そのポイントが存在する三角形に関するアフィン変換
（ステップＳ１６０において計算されたもの）を、その
ポイントに適用し、第２のイメージ中におけるポイント
を特定することによりなされる。そして、最小二乗相関
ルーチンを適用し、第２のイメージにおける特定された
ポイントとその周りの少領域内のポイントを考慮し、そ
のペアの第１イメージ内における以前にマッチしたポイ
ントと同じ画像特性を有するポイントがあるかどうかを
判断する。なお、適用される最小二乗相関ルーチンとし
ては、「Ａｄａｐｔｉｖｅ Ｌｅａｓｔ Ｓｑｕａｒｅ
ｓＣｏｒｒｅａｌａｔｉｏｎ：Ａ Ｐｏｗｅｒｆｕｌ
Ｉｍａｇｅ Ｍａｔｃｈｉｎ Ｔｅｃｈｎｉｑｕｅ，
Ａ．Ｗ．Ｇｒｕｅｎ、ＰｈｏｔｏｇｒａｍｍｅｔｒｙＲ
ｅｍｏｔｅ Ｓｅｎｓｉｎｇ ａｎｄ Ｃａｒｔｏｇｒ
ａｐｈｙ、１９８５、１７５−１８７ページ」に記載さ
れているものを用いることができる。これは、第２のイ
メージ内のポイントに関する相似性測度をもたらす。ス
テップＳ１７２において、ＣＰＵ４は、そのペアの第２
のイメージ内に対応するポイントが見つかったかどうか
を、その相似性測度値を閾値（本例では０．４）と比較
することにより判断する。もしも類似性測度が閾値より
も大きければ、この相似性測度を有する第２のイメージ
のポイントが第１のイメージの以前にマッチしたポイン
トに対応するものであると決定する。そして、ステップ
Ｓ１７４において、ＣＰＵ４は第１のイメージ内のその
ポイントが存在するグリッド矩形に対するフラッグを、
そのグリッド矩形が「フル」であることを示すように変
更する。ステップＳ１７６において、ＣＰＵ４は、マッ
チしたポイントを特定するデータを格納する。
【０１０３】ステップＳ１７８において、ＣＰＵ４は、
そのペアの第１のイメージ内に、まだ考慮されていな
い、別の、以前にマッチしたポイントが存在するかどう
かを判断する。そして、もしも存在するならば、ステッ
プＳ１６６からＳ１７８が繰り返され、そのペアの第１
のイメージ内のすべての以前にマッチしたポイントが上
述した方法で処理されるまで行われる。
【０１０４】そのペアの第１のイメージ内の以前にマッ
チしたポイントのすべてが処理された場合、もしくは、
ステップＳ１６４において以前にマッチしたポイントが
存在しないと判断された場合は、ステップＳ１８０にお
いて、ＣＰＵ４はそのペアの第１のイメージ内の次の空
のグリッド矩形を考慮する。そして、ステップＳ１８２
において、三角形（図１１のステップＳ１０２において
特定されたもの）の部分がその矩形内に存在するかどう
かを判断する。もしも、例えば、図１９における矩形３
４、３６、３８の場合のように、三角形のどの一部分も
その矩形内に存在しないのであれば、処理はステップＳ
１９２に進む。ステップＳ１９２において、ＣＰＵ４
は、第１のイメージ内にまだ考慮されていない別の空の
グリッド矩形があるかどうかを判断する。三角形の部分
を含むグリッド矩形（例えば、図１９の矩形４０）が特
定されるまで、ステップＳ１８０、Ｓ１８２及びＳ１９
２が繰り返される。三角形の少なくとも一部が含まれる
矩形が特定されると、次に、処理はステップＳ１８４へ
進む。ステップＳ１８４において、ＣＰＵ４は、三角形
とグリッド矩形の両方に存在し最も高いマッチング特性
を有するポイントを特定する。この実施形態において、
この選択は、「Ｓｃａｌｅ−Ｓｐａｃｅ Ｔｈｅｏｒｙ
ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｔｏｎｙ
Ｌｉｎｄｅｂｅｒｇ、Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ
Ｐｕｂｌｉｓｈｅｒｓ、ＩＳＢＮ ０−７９２３−９
４１８−６、１５８−１６０、Ｊｕｎｃｔｉｏｎ（ｃｏ
ｒｎｅｒ）Ｄｅｔｅｃｔｉｏｎ」に記載されているよう
なテクニックを用いて行われ、最も強いコーナー値を持
つポイントを特定する。
【０１０５】ステップＳ１８５において、ＣＰＵ４はそ
の最良のポイントの値を閾値と比較する（本実施形態で
はコーナー値が１．０の閾値と比較される）。もしもそ
の値が閾値よりも小さい場合は、ＣＰＵ４はその最良の
ポイントのマッチング特性は、そのポイントを他のイメ
ージにおけるポイントにマッチさせようとする処理を正
しく行うのに十分に強くはないと判断する。そして、ス
テップＳ１９２へ進む。
【０１０６】一方、その値が閾値と等しいかそれより大
きければ（それは、そのポイントがマッチングに適して
いることを表す）、ステップＳ１８６において、ＣＰＵ
４はそのポイントが存在する三角形に対するアフィン変
換（ステップＳ１６０において計算されたもの）をステ
ップＳ１８４において選択されたポイントの座標に適用
し、第２のイメージにおけるポイントを特定する。そし
て、適応化最小二乗相関ルーチンを適用し、第２のイメ
ージにおける特定されたポイントの周囲領域内のピクセ
ルを考慮し、第１のイメージにおけるポイントと第２の
イメージ内のその領域内における最良のマッチングポイ
ントとの間の類似性の度合いを示す値を生成する。ここ
で、適応化最小二乗相関ルーチンは、「Ａｄａｐｔｉｖ
ｅ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｃｏｒｒｅａｌａｔ
ｉｏｎ：Ａ ＰｏｗｅｒｆｕｌＩｍａｇｅ Ｍａｔｃｈ
ｉｎ Ｔｅｃｈｎｉｑｕｅ，Ａ．Ｗ．Ｇｒｕｅｎ、Ｐｈ
ｏｔｏｇｒａｍｍｅｔｒｙ Ｒｅｍｏｔｅ Ｓｅｎｓｉ
ｎｇ ａｎｄ Ｃａｒｔｏｇｒａｐｈｙ、１９８５、１
７５−１８７ページ」に示されるようなテクニックを用
いることができる。ステップＳ１８８において、ＣＰＵ
４は、相似性測度を閾値と比較することにより、マッチ
ングポイントがそのペアの第２のイメージ内において見
つかったかどうかを判断する。もしも相似性測度が閾値
よりも大きければ、ＣＰＵ４は第２のイメージにおいて
特定されたポイントが第１のイメージにおけるポイント
とマッチするものと判断し、ステップＳ１９０におい
て、そのマッチングを格納する。もしも、相似性測度が
閾値よりも低ければ、ＣＰＵ４は第２のイメージにおい
てマッチングポイントが見つからなかったと判断する。
【０１０７】ステップＳ１９２において、ＣＰＵ４は、
第１のイメージにおいて、まだ考慮されていない空のグ
リッド矩形があるかどうかを判断する。ステップＳ１８
０からＳ１９２は、上述した方法ですべてのグリッド矩
形が考慮されるまで繰り返される。
【０１０８】そのペアの第２のイメージにおけるポイン
トにマッチングさせるための当該ペアの第１のイメージ
におけるポイントを特定するために上述したようにグリ
ッドを用いることは、マッチングに考慮された第１のイ
メージ内のポイントが、均一な度合いの間隔を有して広
いエリアにわたって広がる（イメージの小領域内に互い
に群れ合うのではない）という利点をもたらす。そのペ
アの第１のイメージにおけるマッチングに考慮されるべ
きポイントの数と密度はグリッドの面積の大きさを変更
することでなされる。もしも矩形が小さければ、より接
近した間隔のより多くの数のポイントが考慮される。一
方、グリッド矩形が大きければ、より少ない数のより広
い間隔を有したポイントが考慮される。
【０１０９】次に、ＣＰＵ４が、図７のステップＳ５６
とＳ６６で、トリプル内の３つのイメージの間における
カメラ変換を計算する方法を、図２０〜３８を参照して
以下に説明する。
【０１１０】図２０は、カメラ変換計算においてＣＰＵ
４によって実行されるトップレベルの処理を示す図であ
る。ステップＳ２００において、ＣＰＵ４は、カメラ変
換が計算されるトリプルにおけるイメージが、位置的順
序における最初３つのイメージであるかどうかを判定す
る。図７を再度参照すると、位置的順序における最初の
３つのイメージ（すなわち、図２の例では、位置Ｌ１、
Ｌ２及びＬ３において撮影されたイメージ）が処理され
る場合、そのトリプルにおけるイメージの第１のペアの
ためのカメラ変換はそれより前には計算されていない。
しかしながら、その順序における次のイメージトリプル
が考慮されるときには、処理されているイメージトリプ
ルは、その順序における第２、第３及び第４のイメージ
を備えることになる。この場合、その順序における第２
と第３のイメージの間のカメラ変換は、これらのイメー
ジが以前のイメージトリプル（このトリプルは、当該順
序における第１、第２、及び第３のイメージを含む）に
関して処理されたときにすでに計算されている。同様に
して、当該順序の後続のイメージが考慮されるときに
は、第１のイメージペアに関するカメラ変換がそれに先
行するイメージトリプルに関する計算においてすでに計
算されたものとなっている。
【０１１１】そのトリプルの第１のイメージペアに対す
るカメラ変換がそれまでに計算されていた場合は、ＣＰ
Ｕ４によって実行される処理は先行して計算された変換
を用いることにより簡素化される。したがって、ＣＰＵ
４は、そのトリプルにおける第１のペアに関するカメラ
変換が先行して計算されたかどうかに依存して、異なる
計算ルーチンを実行する。考慮されているイメージトリ
プルが位置的順序における最初の３つのイメージを備え
る場合、第１のルーチンがステップＳ２０２において実
行され、他のイメージトリプルに対してはステップＳ２
０４において第２のルーチンが実行される。
【０１１２】図２１は、図２０におけるステップＳ２０
２で実行される計算ルーチンの中で、ＣＰＵ４によって
実行されるトップレベルの処理を示す図である。図２１
を参照すると、ステップＳ２０６において、ＣＰＵ４は
計算に必要なパラメータをセットアップする。ステップ
Ｓ２０８において、ＣＰＵ４はそのトリプル内の第１の
イメージペア間のカメラ変換を計算し、その結果を格納
する。そして、ステップＳ２１０において、ＣＰＵ４は
そのトリプル内の第２のイメージペア間のカメラ変換を
計算し、その結果を格納する。ステップＳ２１２におい
て、ステップＳ２０８において計算された第１のイメー
ジペアに対するカメラ変換と、ステップＳ２１０におい
て計算された第２のイメージペアに対するカメラ変換と
を用いて、当該トリプル内の３つのイメージすべてに対
するカメラ変換を計算し、これらの変換を格納する。
【０１１３】図２２は、ステップＳ２０６においてパラ
メータをセットアップする際の、ＣＰＵ４によって実行
される処理を示す図である。図２２を参照すると、ステ
ップＳ２１４において、ＣＰＵ４は、ステップＳ３０
（図４）でユーザによって入力されたカメラデータを読
む。ステップＳ２１６において、ＣＰＵ４は、ステップ
Ｓ５２、Ｓ６０、Ｓ６２及びＳ７２（図７）における初
期特徴マッチングの間にそのトリプルの第１のイメージ
ペア内でマッチしたポイントと、ステップＳ５４、Ｓ６
０、Ｓ６４及びＳ７２（図７）における初期特徴マッチ
ングの間にそのトリプル内の第２のイメージペア内でマ
ッチしたポイントとを読む。
【０１１４】ステップＳ２１８において、ＣＰＵ４は、
各イメージペアに対して、ユーザ特定による（すなわ
ち、図７のステップＳ６０もしくはＳ７２においてユー
ザによって特定された）マッチングポイントのリスト、
及びＣＰＵ４によってマッチングするものとして（図７
のステップＳ５２、Ｓ５４、Ｓ６２或いはＳ６４におい
て）計算されたポイントとユーザ特定によるポイントの
両方を備えるマッチングポイントのリストを生成する。
計算されたマッチングポイントのいくらかは、ユーザに
よって特定されたマッチングポイントと同じになるであ
ろう。この場合、ＣＰＵ４は、マッチングポイントの重
複をなくすために、ＣＰＵによって計算された方のポイ
ントをそのリストから消去する。ＣＰＵによって計算さ
れたポイントを消去することにより、ＣＰＵ４は、計算
に使用されることになる１つのポイントが両方のリスト
に出現することを保証する（上記のように、２つのリス
トのうちの１つはユーザ特定されたポイントのみをリス
トアップしており、それゆえ、重複を除去するためにユ
ーザ特定されたポイントの方を消去すると、そのリスト
においてそのポイントが消滅してしまう）。なお、ユー
ザ特定されたマッチングポイントのリストにおけるリス
トの数はゼロであってもよい。これは、図７のステップ
Ｓ６０からＳ７２におけるアフィン初期特徴マッチング
が実行されなかった場合である。
【０１１５】ステップＳ２１８においても、ＣＰＵ４は
トリプルポイント、すなわち、その考慮中のイメージト
リプル中の３つのイメージ全てにわたってマッチするポ
イント（ユーザマッチポイントとＣＰＵ計算ポイントの
両方を含む）のリストを生成する。
【０１１６】ステップＳ２２０において、ＣＰＵ４はス
テップＳ２１８において生成されたリスト内のポイント
の座標を正規化する。この段階までにおいて、ポイント
の座標は、そのイメージの左上コーナーから横及び下へ
のピクセルの数によって表されている。そこで、ステッ
プＳ２２０において、ＣＰＵ４は、ステップＳ２１４に
て読み出したカメラ焦点距離とイメージプレーン（フィ
ルム或いはＣＣＤ）のサイズを用いて、そのポイントの
座標を、ピクセルから、カメラの光学中心を原点に持つ
ミリメータ単位の座標系へ変換する。ミリメータ座標は
ピクセル座標と以下のように関連付けられる。
【０１１７】
【数３】
【０１１８】ここで、（ｘ＊，ｙ＊）はミリメータ座標
であり、（ｘ，ｙ）はピクセル座標、（Ｃｘ，Ｃｙ）は
イメージの中心（ピクセル座標による）であり、水平方
向及び垂直方向のピクセル数の半分として定義されたも
の、“ｈ”と“ｖ”は隣接するピクセル間の水平及び垂
直方向距離（ｍｍ単位）である。
【０１１９】ＣＰＵ４はミリメータ座標とピクセル座標
の両方を格納する。
【０１２０】ステップＳ２２２において、ＣＰＵ４は、
以下に示すように、ユーザ特定ポイントのリストとステ
ップＳ２１８で生成されたユーザ特定及び計算されたポ
イントのための測度行列（ｍｅａｓｕｒｅｍｅｎｔ ｍ
ａｔｒｉｘ）、Ｍをセットアップする。
【０１２１】
【数４】
【０１２２】ここで、（ｘ、ｙ）はペア内の第１イメー
ジにおけるポイントのピクセル座標であり、（ｘ’、
ｙ’）は当該ペアの第２イメージにおける対応する（マ
ッチした）ポイントのピクセル座標であり、１〜ｋの数
字は、その座標がどのポイントのペアに対応するかを表
す（リスト内にはトータルでｋペアのポイントがあり、
それは、もちろん、ユーザ特定リストとユーザ特定及び
計算ポイントリストとで異なっていてよい）。
【０１２３】ステップＳ２２４において、ＣＰＵ４は、
第１のイメージペアのカメラ変換を計算するのに用いる
４つの異なる計算テクニックと、第２のイメージペアの
カメラ変換を計算するのに用いる４つの異なる計算テク
ニックとの実行するべき繰り返しの回数を決定する。カ
メラ変換を計算するのに用いられる４つのテクニック
（第１のイメージペアと第２のイメージペアに対して同
じテクニックが用いられる）は、ユーザ特定ポイントの
リストを用いたパースペクティブ計算（ｐｅｒｓｐｅｃ
ｔｉｖｅ ｃａｌｃｕｌａｔｉｏｎ）、ユーザ特定ポイ
ントと計算されたポイントのリストを用いたパースペク
ティブ計算、ユーザ特定ポイントリストのリストを用い
たアフィン計算、ユーザ特定及び計算されたポイントの
リストを用いたアフィン計算である。
【０１２４】図２３は、図２２のステップＳ２２４にお
いてＣＰＵ４によって実行されるステップを示す図であ
り、このステップでは各計算において用いられるべき繰
り返し回数を決定する。図２３を参照すると、ステップ
Ｓ２３０において、ＣＰＵ４は、ステップＳ２１８にお
いて生成されたリストのひとつを考慮し、そのリスト中
のポイントの数が４よりも小さいかどうかを判断する。
もし小さいのであれば、ステップＳ２３２において、Ｃ
ＰＵ４は、そのリスト内のポイントを用いたパースペク
ティブ計算のために実行されるべき繰り返し数“ｎｐ”
をゼロに設定し、そのリスト内のポイントを用いたアフ
ィン計算のために実行されるべき繰り返し数“ｎａ”も
ゼロに設定する。すなわち、ステップＳ２３０において
リスト内のポイントの数が４よりも小さいことが見出さ
れた場合には、十分な数のマッチングポイントのペアが
存在しないので、パースペクティブ計算もアフィン計算
も実行されないことを保証するために、それらの繰り返
し数がステップＳ２３２においてゼロに設定されるので
ある。
【０１２５】もしもステップＳ２３０においてリスト内
のポイントのペアの数が４以上であると判定されたなら
ば、ステップＳ２３４において、ＣＰＵ４はポイントの
ペアの数が７よりも小さいかどうかを判定する。もし７
よりも小さいのであれば、ステップＳ２３６において、
そのリスト内のポイントを用いたパースペクティブ計算
のための繰り返し数“ｎｐ”をゼロに設定する（その計
算を実行するのには十分ではないからである）。そし
て、そのリスト内のポイントに対するアフィン計算を実
行する際の繰り返し数“ｎａ”を１５に設定する。“ｎ
ａ”が１５に設定されるのは、その数が、アフィン計算
において、ポイントの６個（７未満の最大の数）のペア
を用いて重複することなく実行することが可能な最大の
繰り返し数だからである。
【０１２６】もしもステップＳ２３４において、リスト
中のポイントのペアの数が７以上であると判定された場
合は、ステップＳ２３８においてＣＰＵ４は、そのリス
ト内のポイントを用いたパースペクティブ計算のための
繰り返し数“ｎｐ”を、４，０００かｋ（ｋ−１）（ｋ
−２）（ｋ−３）（ｋ−４）（ｋ−５）（ｋ−６）／２
０１６０の整数部分のうちの小さいほうにセットすると
ともに、そのリスト内のポイントを用いたアフィン計算
のための実行すべき繰り返し数“ｎａ”を、８００とｋ
（ｋ−１）（ｋ−２）（ｋ−３）／４８の整数部分の小
さいほうにセットする。後述するように、ｋ（ｋ−１）
（ｋ−２）（ｋ−３）（ｋ−４）（ｋ−５）（ｋ−６）
／２０１６０の値は、重複した計算なしにパースペクテ
ィブ計算を実行することが可能な繰り返しの最大数の２
５％を表す。また、ｋ（ｋ−１）（ｋ−２）（ｋ−３）
／４８の値は、重複することなくアフィン計算を行うこ
とが可能な繰り返しの最大数の５０％を表す。４，００
０及び８００という値は、合理的な時間的制限の中にお
いて許容できる結果を得るために、経験的に決定された
ものである。
【０１２７】図２３に関連して上述した処理は、第１の
イメージペア及び第２のイメージペアに対して４つのカ
メラ変換計算テクニックすべてにおいて実行されるべき
繰り返し数を計算するために、トリプルポイントのリス
トを除く、ステップＳ２１８においてセットアップした
リストの各々に対して実行される。
【０１２８】図２４は、ステップＳ２０８（図２１）に
おいてトリプル内の第１のイメージペアに関するカメラ
変換を計算するとき、及びステップＳ２１０（図２１）
においてトリプル内の第２のイメージペアに関するカメ
ラ変換を計算するときに、ＣＰＵ４によって実行される
処理のトップレベルを示す図である。
【０１２９】図２４を参照すると、ステップＳ２４０に
おいて、ＣＰＵ４はパースペクティブ計算を用いて、ペ
アである２つのイメージ間のカメラ変換を計算し、その
結果を格納する。ステップＳ２４２において、ＣＰＵ４
はアフィン計算を用いてイメージペアのカメラ変換を計
算し、その結果を格納する。すなわち、ＣＰＵ４は２つ
のテクニックを用いて各イメージペアに関するカメラ変
換を計算する。それらの各々は、処理のために入力され
得るイメージの２つの可能なタイプのそれぞれに対応す
る（前述したように、第３のタイプのイメージ、すなわ
ちフラットオブジェクトのイメージは、オブジェクトの
３Ｄモデルを生成する処理を実行することができな
い）。
【０１３０】図２５Ａ〜Ｃは、図２４のステップＳ２４
０においてパースペクティブ計算を用いて、カメラ変換
の計算を行ったときの、ＣＰＵ４によって実行される処
理を示す図である。図２５Ａ〜Ｃを参照すると、ＣＰＵ
４はまず、ユーザ特定されたポイントのリスト中のポイ
ントペアを用いてパースペクティブ計算を実行し（ステ
ップＳ２４４〜Ｓ２６２）、そして次に、ユーザ特定さ
れたポイントと計算されたポイントの両方含むリスト中
のポイントペアを用いて、パースペクティブ計算を実行
する（ステップＳ２６２からＳ２８２）。ＣＰＵ４は、
どのポイントリストが最も正確な結果を生成したかを決
定し、これらの結果をそのイメージのペアのためのカメ
ラ変換に変換する（ステップＳ２８４）。これらの処理
では、複数の異なるポイントのセットを用いて変換が計
算され、このため、正確な変換が計算されるという点に
関して大きな可能性をもたらすという利点を提供する。
演算のより詳細については後述する。
【０１３１】図２５Ａ〜Ｃを参照すると、ステップＳ２
４４において、ＣＰＵ４は、ステップＳ２２４（図２
２）で決定された、ユーザ特定によるポイントを用いた
パースペクティブ計算のために実行されるべき繰り返し
数を示す値を読み出し、この値がゼロより大きいかどう
かを判定する。もしそうでなかったならば、パースペク
ティブ計算を実行するのにはユーザ特定されたポイント
だけでは十分でないと判断されるので、処理はステップ
Ｓ２６４へ進み、ユーザ特定されたポイントと計算され
たポイントの両方のリストを用いてパースペクティブ計
算のための処理を開始する。
【０１３２】一方、ステップＳ２４４において、繰り返
しの値がゼロよりも大きいならば、ステップＳ２４６に
おいてＣＰＵ４はカウンタの値を１つだけ増加させる
（最初にステップＳ２４６が実行されるときには、ＣＰ
Ｕ４はこのステップにおいてカウンタ値を１にセットす
る）。ステップＳ２４８において、ＣＰＵ４は、ステッ
プＳ２１８（図２２）でセットアップされたマッチング
したユーザ特定ポイントのリストから、ランダムに７個
のポイントペアを選択する。ステップＳ２５０におい
て、ＣＰＵ４はその選択された７つのポイントペアと、
ステップＳ２２２においてセットされた測度行列とを用
いて、ｆｕｎｄａｍｅｎｔａｌ行列Ｆを計算する。この
行列は、イメージ間の幾何学的関係を表し、Ｆは以下の
等式を満足する３×３の行列である。
【０１３３】
【数５】
【０１３４】ここで、（ｘ，ｙ，１）は、そのペアの第
１のイメージ内の、選択された７つのポイントのすべて
の同次のピクセル座標であり、（ｘ’，ｙ’，１）はそ
のペアの第２のイメージにおける、対応する同次のピク
セル座標である。
【０１３５】Ｆｕｎｄａｍｅｎｔａｌ行列は一般的な方
法で計算される。例えば、「Ｒｏｂｕｓｔ Ｄｅｔｅｃ
ｔｉｏｎｏｆ Ｄｅｇｅｎｅｒａｔｅ Ｃｏｎｆｉｇｕ
ｒａｔｉｏｎｓ Ｗｈｉｌｓｔ Ｅｓｔｉｍａｔｉｎｇ
ｔｈｅ Ｆｕｎｄａｍｅｎｔａｌ Ｍａｔｒｉｘ、
Ｐ．Ｈ．Ｓ．Ｔｏｒｒ、Ａ．Ｚｉｓｓｅｒｍａｎ及び
Ｓ．Ｍａｙｂａｎｋ著，Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓ
ｉｔｙ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ２０９０／
９０」に記載されているテクニックを用いることができ
る。
【０１３６】ステップＳ２４８において８つ以上のマッ
チしたポイントのペアを選択して、これらを用いてステ
ップＳ２５０でｆｕｎｄａｍｅｎｔａｌ行列を計算する
ことも可能である。しかしながら、この実施形態では７
個のポイントのペアを用いている。この数が、経験的に
満足の行く結果をもたらすものであることが見出されて
おり、また、ｆｕｎｄａｍｅｎｔａｌ行列のパラメータ
を計算するのに必要な最小のペア数を表し、必要となる
処理を減少させるからである。
【０１３７】ステップＳ２５２において、ＣＰＵ４は、
ステップＳ２１４（図２２）で読み出したカメラデータ
を用いて、ｆｕｎｄａｍｅｎｔａｌ行列Ｆを物理的なｆ
ｕｎｄａｍｅｎｔａｌ行列Ｆｐｈｙｓに変換する。これ
は一般的な方法において実行される。例えば、”Ｍｏｔ
ｉｏｎ ａｎｄ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｔｗ
ｏ Ｐｅｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ：Ａｌｇｏｒ
ｉｔｈｍｓ，Ｅｒｒｏｒ Ａｎａｌｙｓｉｓ ａｎｄ
Ｅｒｒｏｒ Ｅｓｔｉｍａｔｉｏｎ”、Ｊ．Ｗｅｎｇ，
Ｔ．Ｓ．Ｈｕａｎｇ及びＮ．Ａｈｕｊａ著，ＩＥＥＥ
Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａ
ｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌ
ｌｉｇｅｎｃｅ，ｖｏｌ．１１，Ｎｏ．５，Ｍａｙ １
９８９，の４５１−４７６頁に記載されているテクニッ
クを用いることができる。以下に要点を示す。
【０１３８】まず、以下の等式を満足するｅｓｓｅｎｔ
ｉａｌ行列Ｅが計算される。
【０１３９】
【数６】
【０１４０】ここで、（ｘ＊，ｙ＊，ｆ）はイメージの
中心を原点とするミリメートル座標系における第１のイ
メージ中の選択された７個のポイントの座標であり、ｚ
座標はカメラの焦点距離ｆに対応するべく正規化されて
おり、（ｘ＊’，ｙ＊’，ｆ）は、当該ペアの第２イメ
ージにおいて、対応するマッチングポイントの座標を表
す。Ｆｕｎｄａｍｅｎｔａｌ行列Ｆは，以下の式を用い
て、ｅｓｓｅｎｔｉａｌ行列Ｅに変換される。
【０１４１】
【数７】
【０１４２】ここで、カメラパラメータｈ、ｖ、ｃｘ、
ｃｙ及びｆは予め特定されたものであり、シンボルＴは
転置行列を示し、シンボルｔｒは行列ｔｒａｃｅを表
す。
【０１４３】移動ベクトル（ｔｒａｎｓｌａｔｉｏｎ
ｖｅｃｔｏｒ）（単位長さの）と回転行列（この最も近
い行列はＥｐｈｙｓ）に直接的に分解が可能な、Ｅに最
も最も近い行列を見つけることにより、計算されたｅｓ
ｓｅｎｔｉａｌ行列Ｅは、物理的なｅｓｓｅｎｔｉａｌ
行列Ｅｐｈｙｓに変換される。
【０１４４】最後に、物理的なｅｓｓｅｎｔｉａｌ行列
は、以下の式を用いて、物理的なｆｕｎｄａｍｅｎｔａ
ｌ行列へ変換される。
【０１４５】
【数８】
【０１４６】シンボル−１は逆行列を示す。
【０１４７】物理的なｅｓｓｅｎｔｉａｌ行列Ｅ
ｐｈｙｓ、物理的なｆｕｎｄａｍｅｎｔａｌ行列Ｆ
ｐｈｙｓの各々は、物理的に信頼性のある行列である。
すなわち、それは直接的に回転行列と移動ベクトルへ分
解される。
【０１４８】物理的なｆｕｎｄａｍｅｎｔａｌ行列Ｆ
ｐｈｙｓは、連結イメージ座標（ｃｏｎｃａｔｅｎａｔ
ｅｄ ｉｍａｇｅｃｏｏｒｄｉｎａｔｅ）として知られ
る、座標（ｘ，ｙ，ｘ’，ｙ’）で表される４次元空間
における曲面を決定する。曲がった面は上述の式（６）
によって与えられ、それは連結イメージ座標における４
Ｄ空間内の３Ｄ２次曲面を定義する。
【０１４９】ステップＳ２５３において、ＣＰＵ４は計
算された物理的なｆｕｎｄａｍｅｎｔａｌ行列を、ステ
ップＳ２５０においてそのｆｕｎｄａｍｅｎｔａｌ行列
を計算するのに用いられた各ポイントのペアに対してテ
ストする。これは、物理的なｆｕｎｄａｍｅｎｔａｌ行
列を表す面から、ポイントの各ペアを表す４Ｄポイント
までの４Ｄユークリッド距離（連結イメージ座標におけ
る）の近似値を計算することによりなされる。この距離
は、サンプソン距離（Ｓａｍｐｓｏｎ ｄｉｓｔａｎｃ
ｅ）として知られるもので、一般的な方法で計算され
る。このテクニックは、上述の「Ｒｏｂｕｓｔ Ｄｅｔ
ｅｃｔｉｏｎ ｏｆ Ｄｅｇｅｎｅｒａｔｅ Ｃｏｎｆ
ｉｇｕｒａｔｉｏｎｓ Ｗｈｉｌｓｔ Ｅｓｔｉｍａｔ
ｉｎｇ ｔｈｅ Ｆｕｎｄａｍｅｎｔａｌ Ｍａｔｒｉ
ｘ、Ｐ．Ｈ．Ｓ．Ｔｏｒｒ、Ａ．Ｚｉｓｓｅｒｍａｎ及
びＳ．Ｍａｙｂａｎｋ著，Ｏｘｆｏｒｄ Ｕｎｉｖｅｒ
ｓｉｔｙ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ２０９
０／９６」に記載されている。
【０１５０】図２６は、ステップＳ２５３においてＣＰ
Ｕ４が物理的なｆｕｎｄａｍｅｎｔａｌ行列をテストす
る方法を示す図である。図２６を参照すると、ステップ
Ｓ２９０において、ＣＰＵ４はカウンタをゼロにセット
する。ステップＳ２９２において、ＣＰＵ４は、ユーザ
特定によるポイントの７個のペア（ペアにおける各ポイ
ントを特定する２つの座標は、連結されたイメージ座標
の４次元空間における単一のポイントを特定するために
使用される）におけるポイントの次のペアの座標によっ
て定義される４次元ポイントにおいて、物理的なｆｕｎ
ｄａｍｅｎｔａｌ行列を表す面のタンジェント平面を計
算する。ステップＳ２９２は、事実上、ポイントペアの
座標によって特定されるポイントに接触するために面を
シフトすることを備える。これは、一般的な方法によっ
て実行される。例えば、「Ｒｏｂｕｓｔ Ｄｅｔｅｃｔ
ｉｏｎ ｏｆ Ｄｅｇｅｎｅｒａｔｅ Ｃｏｎｆｉｇｕ
ｒａｔｉｏｎｓ Ｗｈｉｌｓｔ Ｅｓｔｉｍａｔｉｎｇ
ｔｈｅ Ｆｕｎｄａｍｅｎｔａｌ Ｍａｔｒｉｘ、
Ｐ．Ｈ．Ｓ．Ｔｏｒｒ、Ａ．Ｚｉｓｓｅｒｍａｎ及び
Ｓ．Ｍａｙｂａｎｋ著，Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓ
ｉｔｙ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ２０９０
／９６」に記載されているテクニックを用いることがで
きる。
【０１５１】ステップＳ２９４において、ＣＰＵ４はス
テップＳ２９２で計算されたタンジェント平面の法線を
計算する。そして、ステップＳ２９６において、マッチ
したポイントのペアの座標によって特定される４Ｄ空間
におけるポイントから、物理的ｆｕｎｄａｍｅｎｔａｌ
行列を表す面までの、法線に沿った距離（サンプソン距
離（Ｓａｍｐｓｏｎ ｄｉｓｔａｎｃｅ））を計算す
る。ステップＳ２９８において、計算された距離は閾値
と比較される。この閾値は、本実施形態では、２．８ピ
クセルにセットされる。もしも距離がその閾値よりも小
さければ、そのポイントはその表面に十分に接近して存
在しており、物理的なｆｕｎｄａｍｅｎｔａｌ行列は、
考慮されているマッチしたポイントの特定のペアに関し
て、カメラのそのペアの第１のイメージからそのペアの
第２のイメージへの移動を正確に表すとみなされる。し
たがって、もしも距離が閾値よりも小さければ、ステッ
プＳ３００において、ＣＰＵ４はステップＳ２９０で初
期値０にセットされたカウンタをインクリメントし、そ
のポイントを格納し、ステップＳ２９６において計算さ
れた距離を格納する。
【０１５２】ステップＳ３０２において、ＣＰＵ４は、
ｆｕｎｄａｍｅｎｔａｌ行列を計算するのに用いられた
７つのポイントペアにおいて別のポイントペアがあるか
どうかを判断する。そして、ステップＳ２９２からＳ３
０２が、そのようなポイントのすべてが上述したように
処理されるまで繰り返される。
【０１５３】再び図２５に戻り、ステップＳ２５４にお
いて、ＣＰＵ４は、ステップＳ２５２において計算され
た物理的ｆｕｎｄａｍｅｎｔａｌ行列が、ユーザ特定さ
れたポイントと計算されたポイントのすべてに対してそ
れをテストするために、更なる処理を正当化するのに十
分に正確であるかどうかを判断する。本実施形態におい
ては、ステップＳ２５４が、ステップＳ３００にてセッ
トされたカウンタ値（ステップＳ２９８において閾値よ
りも小さい距離を有するポイントのペアの数を表す、そ
れゆえ、物理的ｆｕｎｄａｍｅｎｔａ行列と一致してい
ると考えられる）が７に等しいかどうかを判断する。す
なわち、ＣＰＵ４は、物理的ｆｕｎｄａｍｅｎｔａｌ行
列が、物理的ｆｕｎｄａｍｅｎｔａｌ行列が派生するｆ
ｕｎｄａｍｅｎｔａｌ行列を計算するために用いられる
すべてのポイントについて一貫しているかどうかを判断
する。カウンタ値が７より小さい場合は、ＣＰＵ４は物
理的ｆｕｎｄａｍｅｎｔａｌ行列のテストをそれ以上行
わず、処理はステップＳ２５６へ進む。一方、カウンタ
値が７に等しければ、ステップＳ２５５においてＣＰＵ
４は、ユーザ特定ポイントと計算ポイントの両方を含む
リスト中のポイントの各ペアに対して物理的ｆｕｎｄａ
ｍｅｎｔａｌ行列をテストする（たとえ物理的ｆｕｎｄ
ａｍｅｎｔａｌ行列が、ユーザ特定ポイントのみを含む
リストからのポイントを用いて派生したものであって
も）。これは、以下の（ｉ）〜（ｉｉｉ）の点を除い
て、上述したステップＳ２５３と同じ方法で実行され
る。 （ｉ）ステップＳ２９０において、ＣＰＵ４は、ステッ
プＳ２５３においてすでにテストされたポイントの７個
のペアを反映するためにカウンタを７にセットし、これ
らは物理的ｆｕｎｄａｍｅｎｔａｌ行列と一致すると判
断される。 （ｉｉ）物理的ｆｕｎｄａｍｅｎｔａｌ行列はすべての
ユーザ特定されたポイント及び計算されたポイントに対
してテストされる（ただし、ステップＳ２５３において
以前にテストされたポイントのペアは再度テストされな
い）。 （ｉｉｉ）ＣＰＵ４は、以下の式を用いて、ステップＳ
３００において格納された全ポイントに対するトータル
エラーを計算する。
【０１５４】
【数９】
【０１５５】ここで、ｅｉは、それらの座標によって表
された４ＤポイントとステップＳ２９６で計算された物
理的ｆｎｎｄａｍｅｎｔａｌ行列を表す面との間のマッ
チしたポイントのｉ番目のペアの距離である。この値
は、無符号とするために二乗される（それにより、その
ポイントが物理的ｆｕｎｄａｍｅｎｔａｌ行列のどの側
にあるかということが結果に影響しないことを保証す
る）。ｐはステップＳ３００において格納されたポイン
トの合計値であり、ｅｔｈはステップＳ２９８で比較に
用いられた距離の閾値である。
【０１５６】ステップＳ２５５において、カウンタ値、
ステップＳ３００（図２６）において格納されたポイン
ト、及び上述のトータルエラーは、ステップＳ２５３に
おいてテストされた上述の７個のポイントペアを含む。
【０１５７】ステップＳ２５５の効果は、ステップＳ２
５２において計算された物理的ｆｕｎｄａｍｅｎｔａｌ
行列が、ユーザ特定されたポイント及び計算されたポイ
ントの各ペアに対して正確かどうか、計算された行列が
十分に正確であるために必要なポイントの合計数を表す
最終的な（ステップＳ３００）カウンタの値に対して正
確かどうかを判断することである。
【０１５８】ステップＳ２５６において、ＣＰＵ４はス
テップＳ２５５でテストされた物理的ｆｕｎｄａｍｅｎ
ｔａｌ行列が、ユーザ特定されたポイントだけについて
パースペクティブ計算を用いて以前に計算したものより
も正確であるかどうかを判断する。ここでは、図２６の
ステップＳ３００において最後に計算された物理的ｆｕ
ｎｄａｍｅｎｔａｌ行列のために格納されたカウンタ値
（この値は、物理的ｆｕｎｄａｍｅｎｔａｌ行列が正確
なカメラ解であるためのポイント数を表す）を以前に計
算された最も正確な物理的ｆｕｎｄａｍｅｎｔａｌ行列
に関して格納された対応するカウンタ値とを比較する。
最も高いポイント数の行列（カウンタ値）は最も正確で
あるとしてとられる。もしもポイントの数が２つの行列
で同じであったならば、各マトリックスのトータルエラ
ー（上述のごとく計算されたもの）が比較され、低いエ
ラー値を有するものが最も正確な行列として採用され
る。もしも、ステップＳ２５６において、物理的ｆｕｎ
ｄａｍｅｎｔａｌ行列が現在格納されているものよりも
正確であったならば、ステップＳ２５８において以前の
ものが破棄され、新しい行列が格納される。このとき、
この新しい行列とともに、図２６におけるステップＳ３
００にて格納されたポイント数（カウンタ値）、それら
のポイント自体及びその行列について計算されたトータ
ルエラーが格納される。
【０１５９】ステップＳ２６０において、ＣＰＵ４はス
テップＳ２４６においてインクリメントされたカウンタ
の値が図２２のステップＳ２２４において設定された、
繰り返し回数を定義する値“ｎｐ”以上であるかどうか
を判断する。もしも値が“ｎｐ”以上であれば、要求さ
れた繰り返しの回数が実行されており、ユーザ特定され
たポイントと計算されたポイントの両方を備えたリスト
内のポイントに対してパースペクティブ計算を実行する
ために、処理はステップＳ２６４へ進む。一方、もしも
要求された繰り返し数に達していない場合は（ステップ
Ｓ２６０においてカウンタ値が“ｎｐ”未満である）、
ステップＳ２６２において、ＣＰＵ４は、物理的なｆｕ
ｎｄａｍｅｎｔａｌ行列の正確さ（ステップＳ２５８に
おいて格納されたカウンタ値とトータルエラーによって
表される）が、過去のｎｐ／２回の繰り返しのすべてに
て、増加したかを判断する。もしそうならば、更なる繰
り返しを実行する価値があり、ステップＳ２４６〜Ｓ２
６２が繰り返される。過去ｎｐ／２回の繰り返しにおい
て、物理的ｆｕｎｄａｍｅｎｔａｌ行列の正確さに変化
が無ければ、たとえ図２２のステップＳ２２４で設定さ
れた値“ｎｐ”に繰り返し回数が到達していなくても処
理を止める。この方法により、繰り返し回数すべてを実
行することがそれほどに、より正確な結果を生まないよ
うな場合に、処理時間が節約されることになる。図２３
に関して述べたように、“ｎｐ”の値は、ステップＳ２
４８において７つのペアをランダムに選択するのに用い
たポイントリスト内のポイントのペアの数に基づいて設
定される。図２３のステップＳ２３８を参照すると、
（ｋ−１）（ｋ−２）（ｋ−３）（ｋ−４）（ｋ−５）
（ｋ−６）／２０１６０の値は、重複することなしに実
行可能な繰り返しの最大数の２５％を表す（この最大数
は、そのリストから選択された７つのポイントペアの異
なる組み合わせの合計数を表す）。ステップＳ２６２に
おいて用いられる値ｎｐ／２は、合理的な時間で許容で
きる結果を生じるために経験的に決定されるものであ
る。
【０１６０】再び図２５Ａ〜Ｃを参照すると、ステップ
Ｓ２６４〜Ｓ２８２において、ＣＰＵ４は、ユーザ特定
されたポイントと計算されたポイントの両方を備えるリ
ストからランダムに選択されたポイントのペアを用い
て、そのイメージペアについてパースペクティブ計算を
実行する。これらのステップは、上述したステップＳ２
４４〜Ｓ２６２で実行した処理とほぼ同じである。異な
るのは、実行されるべき繰り返し数を特定する値“ｎ
ｐ”が異なって設定され（図２２のステップＳ２２
４）、ランダムに選択されたｆｕｎｄａｍｅｎｔａｌ行
列を計算するために用いられる７個のポイントペアがユ
ーザ特定されたポイントと計算されたポイントの両方を
備えたリストから選択されるという点である。この処理
において実行される処理については、それゆえ、繰り返
し記載しない。上述のように、図２６は、ユーザ特定さ
れたポイントと計算されたポイントの各ペアに対して物
理的なｆｕｎｄａｍｅｎｔａｌ行列をテストするときに
実行されるステップ（ステップＳ２７３、Ｓ２７５）を
示す。
【０１６１】ステップＳ２８４において、ＣＰＵ４は、
ユーザ特定されたポイントのみを用いて計算された最も
正確な物理的ｆｕｎｄａｍｅｎｔａｌ行列（ステップＳ
２５８にて格納されたもの）と、ユーザ特定されたポイ
ントと計算されたポイントの両方を用いて計算された最
も正確な物理的ｆｕｎｄａｍｅｎｔａｌ行列（ステップ
Ｓ２７８で格納されたもの）とを比較し、両者のうちの
より正確なほうを選択する（これは、行列が正確な解で
あるためのポイントの数を表すカウンタ値を比較するこ
とにより行われる。またこれが同一であった場合は、合
計のエラー値を比較することで行う）。最も正確な物理
的ｆｕｎｄａｍｅｎｔａｌ行列は、次に、イメージペア
間におけるカメラの動きを表すカメラ回転行列と移動ベ
クトルとに変換される。この変換は、一般的な方法で実
行される。例えば、”Ｍｏｔｉｏｎ ａｎｄ Ｓｔｒｕ
ｃｔｕｒｅ ｆｒｏｍ Ｔｗｏ Ｐｅｒｓｐｅｃｔｉｖ
ｅＶｉｅｗｓ：Ａｌｇｏｒｉｔｈｍｓ，Ｅｒｒｏｒ Ａ
ｎａｌｙｓｉｓ ａｎｄＥｒｒｏｒ Ｅｓｔｉｍａｔｉ
ｏｎ”、Ｊ．Ｗｅｎｇ，Ｔ．Ｓ．Ｈｕａｎｇ、Ｎ．Ａｈ
ｕｊａ著，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ
ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈ
ｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１１，Ｎ
ｏ．５，Ｍａｙ１９８９，４５１−４７６頁に記載され
ている方法を用いることができる。
【０１６２】図２５Ａ〜Ｃに関して上述した処理におい
て、ＣＰＵ４はｆｕｎｄａｍｅｎｔａｌ行列を計算し
（ステップＳ２５０及びＳ２７０）、ユーザ特定された
ポイントと計算されたポイントに対してテストする（ス
テップＳ２５５及びＳ２７５）ために、この行列を物理
的ｆｕｎｄａｍｅｎｔａｌ行列に変換する（ステップＳ
２５２及びＳ２７２）。これは、ｆｕｎｄａｍｅｎｔａ
ｌ行列を物理的なｆｕｎｄａｍｅｎｔａｌ行列に変換す
るという付加的な処理が必要とはなるが、ステップＳ２
８４において最終的に選択された物理的なｆｕｎｄａｍ
ｅｎｔａｌ行列自身がテストされるという長所を有す
る。もしもｆｕｎｄａｍｅｎｔａｌ行列がユーザ特定ポ
イント及び計算ポイントに対してテストされ、最も正確
なｆｕｎｄａｍｅｎｔａｌ行列が選択されたならば、そ
れ自身はテストされていない物理的なｆｕｎｄａｍｅｎ
ｔａｌ行列へ変換されなければならないであろう。
【０１６３】図２４を再度参照すると、ＣＰＵ４は、い
まや、イメージペアのためのパースペクティブ計算を完
結し、ステップＳ２４２に進む。ステップＳ２４２にお
いては、ＣＰＵ４は、第２のタイプの計算、すなわち、
アフィン計算をそのイメージペアに対して実行する。
【０１６４】図２７Ａ、Ｂはアフィン変換を実行すると
きのＣＰＵ４によって実行される処理を示す図である。
【０１６５】パースペクティブ計算を実行したときのよ
うに、ＣＰＵ４は、ユーザ特定されたポイントだけのリ
スト（ステップＳ３１０〜Ｓ３２７）から選択されたポ
イントのペアを用いてアフィン計算を実行し、そして、
ユーザ特定されたポイントと計算されたポイントの両方
を備えたポイントリスト（ステップＳ３２８からＳ３４
５）よりのポイントのペアを用いてアフィン計算を実行
する。そして、最も正確なアフィン解を求める（ステッ
プＳ３４６）。この場合においても、変換が複数のポイ
ントの異なる集合を用いて計算され、それにより、正確
な変換が計算される可能性をより高くするという長所を
生ずる。
【０１６６】パースペクティブ計算を実行するとき、そ
のｆｕｎｓａｍｅｎｔａｌ行列Ｆのすべてのコンポーネ
ントを計算することが可能である。しかしながら、その
イメージのペア間の関係がアフィン関係にある場合、そ
のｆｕｎｄａｍｅｎｔａｌ行列の４個の独立したコンポ
ーネントのみを計算することができる。これら４個の独
立したコンポーネントは、アフィンｆｕｎｄａｍｅｎｔ
ａｌ行列として一般に知られたものを定義する。
【０１６７】図２７Ａを参照すると、ステップＳ３１０
において、ＣＰＵ４は、ユーザ特定されたポイントのみ
を用いたアフィン計算のための、ステップＳ２２４（図
２２）でセットされた繰り返し数“ｎａ”がゼロより大
きいか否かを判断する。もしもゼロ以下ならば、アフィ
ン計算を実行するのに十分なポイントペアがユーザ特定
されたポイントのリスト中には無いので、処理はステッ
プＳ３２８へ進む。ステップＳ３２８では、ユーザ特定
されたポイントと計算されたポイントの両方を備えるリ
ストが考慮される。一方、ステップＳ３１０において、
実行されるべき繰り返し数がゼロより大きい場合、ステ
ップＳ３１２においてＣＰＵ４はカウンタの値をインク
リメントする（ただし、ステップＳ３１２の最初の処理
では、カウンタの値は１にセットされる）。
【０１６８】ステップＳ３１４において、ＣＰＵ４は、
ユーザ特定されたポイントだけを含むポイントリストか
ら４個のマッチしたポイントのペアをランダムに選択す
る。ステップＳ３１６において、ＣＰＵ４はその選択さ
れた４つのポイントペアとステップＳ２２２でセットさ
れた測度行列とを用いて、そのｆｕｎｄａｍｅｎｔａｌ
行列（アフィンｆｕｄｎａｍｅｎｔａｌ行列を与える）
の４個の独立したコンポーネントを計算する。これに
は、「Ａｆｆｉｎｅ Ａｎａｌｙｓｉｓ ｏｆＩｍａｇ
ｅ Ｓｅｑｕｅｎｃｅｓ」Ｌ．Ｓ．Ｓｈａｐｉｒｏ著，
Ｓｅｃｔｉｏｎ５，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒ
ｓｉｔｙ Ｐｒｅｓｓ１９９５，ＩＳＢＮ ０−５２１
−５５０６３−７、に記載されているような技術を用い
ることができる。ステップＳ３１４において４個より多
いポイントペアを選択し、ステップＳ３１６においてア
フィンｆｕｎｄａｍｅｎｔａｌ行列を計算することは可
能である。しかしながら、本実施形態においては、４つ
のペアのみが選択される。これは、この数が、経験的に
満足の行く結果を生じるものであり、そして、この数が
アフィンｆｕｎｄａｍｅｎｔａｌ行列のコンポーネント
を計算するために要求される最小の数を表しており、そ
れゆえ必要な処理を減少させるものであるからである。
【０１６９】ステップＳ３１８において、ＣＰＵ４はア
フィンｆｕｎｄａｍｅｎｔａｌ行列を、ユーザ特定され
たポイントと計算されたポイントの両方を備えるリスト
内の各ポイントペアに対してテストする（たとえ、アフ
ィンｆｕｎｄａｍｅｎｔａｌ行列がユーザ特定されたポ
イントのみを含むリストからのポイントを用いて派生し
たものであっても）。これには、「Ａｆｆｉｎｅ Ａｎ
ａｌｙｓｉｓ ｏｆＩｍａｇｅ Ｓｅｑｕｅｎｃｅ
ｓ」、Ｌ．Ｓ．Ｓｈａｐｉｒｏ著，Ｓｅｃｔｉｏｎ
５，Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒ
ｅｓｓ，１９９５，ＩＳＢＮ ０−５２１−５５０６３
−７に記載のテクニックを用いることができる。アフィ
ンｆｕｎｄａｍｅｎｔａｌ行列は、４次元の、連結され
たイメージ空間における平らな表面（ハイパープレー
ン）を表す。そして、このテストは、マッチしたポイン
トのペアの座標によって特定される４次元空間における
ポイントとそのアフィンｆｕｎｄａｍｅｎｔａｌ行列に
よって表される平らな面との間の距離を決定することを
含む。ステップＳ２５５とＳ２７５（図２５）で計算さ
れたパースペクティブ計算の間に実行されるテストのよ
うに、ステップＳ３１８で実行されるテストは、ユーザ
特定されたポイントと計算されたポイントのリスト内の
アフィンｆｕｎｄａｍｅｎｔａｌ行列がカメラ変換のた
めに十分に正確な解を表すポイントペアの数を生成する
と共に、これらのポイントに関するトータルエラー値を
生成する。
【０１７０】ステップＳ３２０において、ＣＰＵ４は、
ステップＳ３１６で計算され、ステップＳ３１８でテス
トされたアフィンｆｕｎｄａｍｅｎｔａｌ行列が、ユー
ザ特定されたポイントだけを用いて以前に計算されたい
かなるものよりも正確であるかどうかを判断する。これ
は、行列が正確な解を表すためのポイントの数を、以前
に計算された最も正確なアフィンｆｕｎｄａｍｅｎｔａ
ｌ行列のためのポイント数と比較することによりなされ
る。ポイントの数が最も多い行列が最も正確である。も
しも、ポイントの数が同じであったならば、その中で最
も低いエラーを有する行列が最も正確である。もしもア
フィンｆｕｎｄａｍｅｎｔａｌ行列が以前に計算された
どの行列よりも正確であるならば、ステップＳ３２２に
おいて、それは、十分に正確な解を表すためのポイン
ト、これらポイントの総数及び行列のトータルエラーと
ともに格納される。
【０１７１】ステップＳ３２４において、ＣＰＵ４はス
テップＳ３１２においてインクリメントされたカウンタ
の値が繰り返し数“ｎａ”よりも小さいかどうかを判断
する。この“ｎａ”はステップＳ２２４（図２２）にお
いてユーザ特定されたポイントだけにかかわるアフィン
計算のためにセットされたものである。そして、これに
より、セットされた回数の繰り返しが実行される。もし
もカウンタの値が設定された繰り返し数以上であったな
らば、要求された繰り返し回数が実行されており、処理
はステップＳ３２８へ進む。もしも、カウンタの値が設
定された繰り返し回数未満であったならば、ＣＰＵ４は
更なるテストをステップＳ３２６において実行する。そ
して、そのアフィンｆｕｎｄａｍｅｎｔａｌ行列の正確
さが最近のｎａ／２回の繰り返しのすべてにおいて増加
したかどうかを判断する。もしも正確さが増加していな
ければ、たとえ設定された繰り返し回数“ｎａ”回の処
理がまだ実行されていなくても、処理を停止する。この
ようにして、アフィンｆｕｎｄａｍｅｎｔａｌ行列の正
確さの増加の発生しない無駄な繰り返しが実行されなく
なる。このため、処理時間が節約される。一方、正確さ
が増加したのであれば、ステップＳ３２４において設定
された回数の繰り返しが実行されたと判断されるか、或
いはステップＳ３２６において、先行するｎａ／２回の
繰り返しにおいてアフィンｆｕｎａｍｅｎｔａｌ行列の
正確さが増加していないと判断されるまで、ステップＳ
３１２からＳ３２６が繰り返される。
【０１７２】ステップＳ３２７において、ＣＰＵ４は格
納されたアフィンｆｕｎｄａｍｅｎｔａｌ行列（すなわ
ち、ユーザ特定されたポイントだけを用いて計算された
最も正確なもの）を、カメラ変換を表す３つの物理的変
数に変換する。これら３つの物理的変数は、すなわち２
つのイメージ間のオブジェクトのマグニフィケーション
（ｍａｇｎｉｆｉｃａｔｉｏｎ）ｍと、カメラの回転の
軸φ、及びカメラのサイクロトーションローテーション
（ｃｙｃｌｏｔｏｒｓｉｏｎ ｒｏｔａｔｉｏｎ）θで
ある（変数φとθはより詳細に後述する）。アフィンｆ
ｕｎｄａｍｅｎｔａｌ行列のこれら物理的変数への変換
は、一般的な方法において実行される。例えば、「Ａｆ
ｆｉｎｅ Ａｎａｌｙｓｉｓ ｏｆ Ｉｍａｇｅ Ｓｅ
ｑｕｅｎｃｅｓ」、Ｌ．Ｓ．Ｓｈａｐｉｒｏ著，Ｓｅｃ
ｔｉｏｎ７，ＣａｍｂｒｉｄｇｅＵｎｉｖｅｒｓｉｔｙ
Ｐｒｅｓｓ，１９９５，ＩＳＢＮ ０−５２１−５５
０６３−７に記載されている方法を用いることができ
る。
【０１７３】ステップＳ３２８からＳ３４５において、
ＣＰＵ４は、ユーザ特定されたポイントと計算されたポ
イントの両方を含むリストからランダムに選択されたポ
イントペアを用いてアフィン計算を実行する。これらの
ステップは、上述したステップＳ３１０〜Ｓ３２７にお
いてユーザ特定されたポイントだけに関してＣＰＵ４に
よって実行されたものと同じである。ただし、繰り返し
回数“ｎａ”は図２２のステップＳ２２４でセットされ
たのとは異なる値となり、ステップＳ３３２においてラ
ンダムに選択された４つのポイントペアはユーザ特定さ
れたポイントと計算されたポイントの両方を備えたリス
トから選択されたものとなる。ここでは、これらのステ
ップについては再び記述しない。
【０１７４】以上のようにして、ユーザ特定されたポイ
ントだけを含むリストからのポイントのペアを用いたア
フィン計算（ステップＳ３１０〜Ｓ３２７）、ユーザ特
定されたポイントと計算されたポイントの両方を備える
リストからのポイントのペアを用いたアフィン計算（ス
テップＳ３２８〜Ｓ３４５）を行い、各計算に関して最
も正確なアフィンｆｕｎｄａｍｅｎｔａｌ行列を生成し
終えると、ステップＳ３４６において、ＣＰＵ４はこれ
ら２つのアフィンｆｕｎｄａｍｅｎｔａｌ行列を比較
し、最も正確なものを選択する。これはポイント（ステ
ップＳ３２２とＳ３４０で格納された）数が最も多いも
のであり、もしもポイントの数が同じならば、最も低い
行列トータルエラーを有するものとなる。
【０１７５】再び図２１を参照すると、ステップＳ２０
８において上述したパースペクティブ及びアフィンテク
ニックを用いてトリプル内の第１のイメージペアについ
てカメラ変換を計算し、ステップＳ２１０において同じ
パースペクティブ及びアフィンテクニックを用いてその
トリプル内の第２のイメージペアについてカメラ変換を
計算すると、ＣＰＵ４はステップＳ２１２においてその
結果を用いて、そのトリプル内の３つのイメージ全てに
ついてのカメラ変換を計算する。
【０１７６】図２８は、ステップＳ２１２においてトリ
プル内の３つのイメージ全てについてのカメラ変換の計
算において、ＣＰＵ４によって実行される処理を示す図
である。
【０１７７】トリプル内の３つのイメージ全てを考慮す
る場合、２つのカメラ変換が存在する。１つはそのトリ
プル内の第１のイメージが撮られた位置から第２のイメ
ージが撮られた位置まで、もう１つは、第２のイメージ
が撮られた位置から第３のイメージが撮られた位置まで
の変換である。これら変換の各々は、アフィン変換或い
はパースペクティブ変換のいずれでもよく、したがって
イメージ間の４つの可能な組み合わせが与えられる（す
なわち、アフィン−アフィン、アフィン−パースペクテ
ィブ、パースペクティブ−アフィン、パースペクティブ
−パースペクティブ）。したがって、ステップＳ３５
０、Ｓ３５２、Ｓ３５４及びＳ３５６において、ＣＰＵ
４はそれら４つの可能な組み合わせのそれぞれを考慮
し、ステップＳ３５８においてその４つから最も正確な
解を選択する。以下、この処理についてより詳細に説明
する。
【０１７８】ステップＳ３５０において、ＣＰＵ４は、
トリプル内の第１のイメージペア間の変換がアフィンで
あり、第２のイメージペア間の変換もまたアフィンであ
る場合を考慮する。先行するステップＳ２０８（図２
１）において、ＣＰＵ４は、そのトリプル内の第２のイ
メージペア間のアフィン変換を特定するアフィンｆｕｎ
ｄａｍｅｎｔａｌ行列と、関連する３つの物理的変数を
計算した。前述したように、アフィンｆｕｎｄａｍｅｎ
ｔａｌ行列から派生したこれら３つの物理的変数は、イ
メージのペア間のカメラの移動を完全に特定するもので
はない。ステップＳ３５０において、ＣＰＵ４は前もっ
て計算された３つの物理的変数を用いて、各イメージペ
ア間におけるカメラの移動を完全に定義するために必要
なパラメータを計算する。
【０１７９】図２９（ａ）及び２９（ｂ）は、カメラの
移動を完全に定義するために、ステップＳ３５０の計算
で必要なパラメータを表す図である。図２９（ａ）は、
３つの異なる位置及び方向における、イメージがその上
に形成されるＣＣＤイメージデバイス或いはフィルム５
０の配置を示し、トリプル中の第１、第２及び第３イメ
ージが撮られる位置と方向を表している。ライン５２は
カメラ１２の光軸を表す。光軸５２は、第１位置から第
２位置へ移動するにおいて距離ｄ１を移動し、第２位置
から第３位置へ移動するにおいて距離ｄ２を移動する。
【０１８０】各イメージング位置におけるＣＣＤ５０の
回転は、光軸５２回りの回転と、イメージ平面に平行な
軸回りの回転に分解される。これは、「ＫｖＤ分解」と
して知られるものであり、「Ａｆｆｉｎｅ Ａｎａｌｙ
ｓｉｓ ｏｆ ＩｍａｇｅＳｅｑｕｅｎｃｅｓ」、Ｌ．
Ｓ．Ｓｈａｐｉｒｏ著、Ａｐｐｅｎｄｉｘ Ｄ，Ｃａｍ
ｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，１
９９５，ＩＳＢＮ０−５２１−５５０６３−７に記載さ
れている。光軸回りの回転は、サイクロトーション角度
（ｃｙｃｌｏｔｏｒｔｉｏｎ ａｎｇｌｅ）として知ら
れるものであり、図２９（ａ）においてθで示されてい
る。図２９（ａ）に示される例において、ＣＣＤ４０
は、第１イメージのランドスケープ方向から第２イメー
ジのポートレート方向へθ１＝９０゜回転している。そ
して、さらに、θ２＝−９０゜回転して、第３のイメー
ジのランドスケープ方向へ戻る。
【０１８１】イメージ平面に平行な軸回りの回転は、軸
−角度公式により、２つの角度へ分解される。すなわ
ち、図２９（ｂ）に示されるφとρである。φはローテ
ーションの起こるイメージプレーン内の軸５４を定義す
る。φは「軸角度」として知られている。ρは軸５４回
りを通ってカメラが回転した角度を定義し、「ターン角
度」として知られている。
【０１８２】カメラ回転の３つの角度への変換は、各ト
リプルにおける第１及び第２イメージの間のカメラの変
換に適用され（これらの角度はθ１、φ１、ρ１とす
る）、また、第２及び第３イメージ間のカメラの変換に
適用される（これらの角度をθ２、φ２、ρ２とす
る）。
【０１８３】また、カメラの２つの変換がともにアフィ
ンであると考慮された場合、ｓ＝ｄ２／ｄ１として定義
されたスケールｓ、そして回転角度ρ１及びρ２はステ
ップＳ２０８とＳ２１０（図２１）において計算された
アフィンｆｕｎｄａｍｅｎｔａｌ行列では未定義で残さ
れ、ステップＳ３５０で計算されなければならない。
【０１８４】イメージのペア間のカメラ変換がパースペ
クティブ変換であるとき、ρ、ｄ、θ、φの値はステッ
プＳ２０８もしくはＳ２１０（図２１）で計算された回
転行列及び変換ベクトルにおいてすでに定義されてい
る。しかしながら、スケールは未知である。したがっ
て、ＣＰＵ４がアフィン−パースペクティブケースを考
慮するときはステップＳ３５２においてスケールｓ及び
ρ１を計算することが必要であり、ＣＰＵ４がパースペ
クティブ−アフィンケースを考慮するときはステップＳ
３５４においてスケールｓ及びρ２を計算することが必
要である。また、ＣＰＵ４がパースペクティブ−パース
ペクティブの場合を考慮するときには、ステップＳ３５
６においてスケールｓのみを計算することが必要であ
る。
【０１８５】図３０はステップＳ３５０、Ｓ３５２、Ｓ
３５４及びＳ３５６において、スケール、ρ１及びρ２
を計算するときに、ＣＰＵ４によって実行される処理を
示す図である。
【０１８６】図３０を参照すると、ステップＳ３８０に
おいて、ＣＰＵ４はρ１、ρ２の次の値をとる。図３１
の（ａ）〜（ｄ）は、ステップＳ３５０からＳ３５６に
おける異なるケースにおいて、ＣＰＵ４によって考慮さ
れるρ１とρ２の値を示す図である。
【０１８７】図３１（ａ）は、ρ１及びρ２がともに既
知であるステップＳ３５０において考慮されるアフィン
−アフィンのケースのためのρ１及びρ２の値を示す図
である。ρ１及びρ２の６４個の値が考慮され、１０゜
〜４５゜の間を５゜刻みで変化するρ１の８個の値と、
１０゜〜４５゜の間を５゜刻みで変化するρ２の８個の
値と、を比較する。ρ１とρ２の値について１０゜〜４
５°の間が考慮されるのは、オブジェクト２４の少なく
とも３つのイメージが撮影される場合に、連続的なイメ
ージの間において、ユーザがカメラ１２をほとんどこの
範囲内で動かすからである。より広い、（或いは、より
狭い）値の範囲が考慮されてもよいことはいうまでもな
い。
【０１８８】図３１（ｂ）は、ステップＳ３５２におい
て考慮される、アフィン−パースペクティブケースのた
めのρ１、ρ２の値を示す図である。このケースにおい
て、第２カメラ変換がパースペクティブであるので、ρ
２が既知であり、それゆえ、ρ１のみの異なる値が考慮
される必要がある。再び、１０゜〜４５゜の間を５°刻
みで変化するρ１の８個の値が、既知のρ２の値のため
に考慮される。
【０１８９】図３１（ｃ）はステップＳ３５４において
考慮される、パースペクティブ−アフィンケースのため
に考慮されるρ１及びρ２の値を示す図である。第１の
カメラ変換がパースペクティブであるので、ρ１の値が
既知である。それゆえ、１０゜〜４５゜の間を５゜刻み
で変化するρ２の８個の値が、既知のρ１の値のために
考慮される。
【０１９０】図３１（ｄ）は、ステップＳ３５６におい
てパースペクティブ−パースペクティブケースにおいて
考慮されるρ１とρ２の値を示す図である。この場合、
２つのカメラ変換がパースペクティブであるので、ρ１
とρ２の両方の値が既知である。したがって、図示の如
く単一の値が考慮される。
【０１９１】再び、図３０を参照すると、ステップＳ３
８２において、ＣＰＵ４は、ステップＳ３８０において
考慮されたρ１、ρ２の値に最もよくフィットするスケ
ールを計算する。
【０１９２】図３２は、ステップＳ３８２において最良
のスケールを計算するときにＣＰＵ４によって実行され
る処理を示す図である。図３２を参照すると、ステップ
Ｓ３９０において、ＣＰＵ４はカウンタの値をゼロにセ
ットし、ステップＳ３９２においてカウンタの値を１つ
ずつインクリメントする。ステップＳ３９４において、
ＣＰＵ４はマッチした次のトリプルポイントにおけるポ
イントの座標を読み取る。すなわち、ステップＳ２１８
（図２２）において生成されたリストから、考慮されて
いる３個のイメージ全てにおいてマッチしたポイントの
座標を読み取る。ステップＳ３９６において、ＣＰＵ４
は、ステップＳ２０８もしくはＳ２１０（図２１）にお
いて前もって計算された適切なカメラ変換（アフィン或
いはパースペクティブ）を用いて、そのトリプル内のイ
メージの相対的構築（ｒｅｌａｔｌｖｅ ｃｏｎｆｉｇ
ｕｒａｔｉｏｎ）を定義し、次いで、ステップＳ３９４
において読み出されたトリプルにおける各ポイントから
カメラの光学中心を通る光線（ｒａｙ）（無限のライ
ン）を投射する（これは、カメラの焦点距離分だけ、イ
メージプレーンの中心から垂直方向に変位されたポイン
トである）。
【０１９３】図３３はトリプル内の各ポイントから投射
される光線を示す図である。
【０１９４】ステップＳ２０８或いはＳ２１０において
計算されたカメラ変換における不正確さ、及びマッチし
たポイント自身における不正確さのゆえに、トリプル内
のポイントからの光線のいずれもが交差するということ
はまず起こらない。したがって、ステップＳ３９８にお
いて、ＣＰＵ４は、第１のイメージと第２のイメージの
間のカメラ変換を計算する。この変換は、第２のイメー
ジからの光線を第１のイメージからの光線とポイント６
０のところで交差させる。この計算はＣＰＵ４によって
以下のように実行される。
【０１９５】ａ）もしも、ｓｉｎ（ρ１）×ｓｉｎ（φ
１）＞０ならば、ρ１の符号がフリップ（反転）され
る。これは、イメージの順序付けの知識によってなされ
る。
【０１９６】ｂ）回転行列Ｒが、角度（θ１、φ１、ρ
１）より以下の式を用いて定義される。
【０１９７】
【数１０】
【０１９８】ここでＩは恒等（ｉｄｅｎｔｉｔｙ）行列
である。
【０１９９】ｃ）２つのイメージξ、ξ’におけるポイ
ント位置からの変換ベクトルｔ、回転行列Ｒ及び２つの
イメージの間のマグニフィケーションにおける変化ｍは
等式を用いて以下のように定義される。
【０２００】
【数１１】
【０２０１】同様に、ステップＳ４００において、ＣＰ
Ｕ４は、第２と第３イメージの間でカメラの変換を変更
し、第３イメージからの光線を第２イメージからの光線
とポイント６２において交差させる。
【０２０２】ステップＳ４０２において、ＣＰＵ４は、
第２のイメージのためのカメラ位置の光学的中心からポ
イント６２までの距離ｄ６２とこの光学的中心からポイ
ント６０までの距離ｄ６０との比を用いて、第１及び第
２カメラ位置の間の変換ベクトルの長さｄ１
ｉｎｉｔｉａｌと第２及び第３カメラ位置の間の変換ベ
クトルの長さｄ２ｉｎｉｔｉａｌを、以下のように調整
する。
【０２０３】
【数１２】
【０２０４】図３３を参照すると、上記のように計算さ
れた長さｄ１ｆｉｎａｌとｄ２ｆｉｎａｌは全３つのイ
メージからの光線を同一のポイント６４でクロスさせる
変換ベクトルの長さである。そして、ＣＰＵ４は、スケ
ールｓを計算するためにその結果値を用いる。
【０２０５】
【数１３】
【０２０６】ステップＳ４０４において、ＣＰＵ４はス
テップＳ４０２において計算されたスケールをステップ
Ｓ２１８（図２２）において生成されたリスト内のすべ
てのトリプルポイントに対してテストする。
【０２０７】図３４は、すべてのトリプルポイントに対
してそのスケールをテストする際に、ＣＰＵ４によって
実行される処理を示す図である。図３４を参照すると、
ステップＳ４２０において、ＣＰＵ４はカメラの相対的
な位置（図２１のステップＳ２０８からＳ２１０におい
て決定されたものから、アフィン−アフィンであるか、
アフィン−パースペクティブであるか、パースペクティ
ブ−アフィンであるか、或いはパースペクティブ−パー
スペクティブのいずれが考慮されているかに依存した、
適切な変換によって定義される）を、ステップＳ４０２
（図３２）において計算されたスケールを考慮に入れる
ために、３つのイメージ全てに関して調整する。これ
は、一般的な方法で実行される。例えば、座標系の原点
を、その第２ポジション（イメージ２）にあるカメラの
光学中心に固定し、ｘ、ｙ、ｚ軸の配置をこの位置にお
けるカメラの方向によって与える（ｚ軸はイメージ平面
に対して直角である）、そして以下の式を用いる。
【０２０８】
【数１４】
【０２０９】ここでｔは添え字によって表されるイメー
ジ間の変換ベクトルであり、上記の式（１７）によって
与えられ、Ｒは添え字によって表されるイメージ間の回
転を定義する回転行列であり、上記の式（１３）によっ
て与えられる。
【０２１０】ステップＳ４２２において、ＣＰＵ４は変
数Ｐをゼロにセットし、ステップＳ４２４において、ス
テップＳ２１８（図２２）で生成したリストから、次の
マッチしたトリプルポイントを読み出す。ステップＳ４
２６において、ＣＰＵ４は、そのトリプルの第１イメー
ジ内にあるそのトリプルポイントから、第１位置にある
カメラの光学中心を通る光線と、そのトリプルの第３の
イメージ内に存在するトリプルポイントから第３位置に
あるカメラの光学中心を通る光線とを投射する。
【０２１１】図３５はステップＳ４２６における光線の
投射を示す図である。
【０２１２】ステップＳ４２８において、ＣＰＵ４は、
第１及び第３イメージから投射された光線の最も接近し
たアプローチラインに沿った中央ポイント６８（図３
５）を計算する。この最も接近するアプローチラインは
図３５に示されるように、第１イメージからの光線と第
３のイメージからの光線の両方に対して直角なラインで
ある。ステップＳ４３０において、ＣＰＵ４はステップ
Ｓ４２８で計算された中央ポイントをそのトリプルの第
２イメージに投影する。すなわち、ＣＰＵ４は中央ポイ
ント６８を第２イメージに位置するカメラの光学中心を
通る光線で第２イメージと接続する。この結果、第２イ
メージ上にポイント７０が生成される（図３５）。
【０２１３】ステップＳ４３２において、ＣＰＵ４は、
第２のイメージ内の投影されたポイント７０と、ステッ
プＳ４２４において読み出されたトリプルポイントから
得られる第２のイメージ内の実際のポイント７２との距
離“ｔ”を計算する。ステップＳ４３４において、ＣＰ
Ｕ４は、設定された閾値（この実施形態においては３ピ
クセル）よりもステップＳ４３２で計算された距離の方
が小さいかどうかを判断する。第２のイメージにおいて
投影されたポイント７０と実際のポイント７２が互いに
近ければ近いほど、このトリプルポイントは、ステップ
Ｓ４０２（図３２）で計算されたスケールのためのこの
値をサポートする。したがって、もしも距離が閾値より
も小さければ、計算されたスケールは十分に正確である
とみなされ、ステップＳ４３６において、ＣＰＵ４は、
スケールが正確であるトリプルポイントの数を表す変数
Ｐをインクリメントする。このとき、考慮中のトリプル
ポイントに考慮中のスケールに対して正確である旨の注
釈を付加する。そして、トータルの距離エラーを（すな
わち、それまでに、ステップＳ４３２において計算され
た距離がステップＳ４３４において閾値よりも小さいと
みなされたすべてのポイントに対するエラー）ステップ
Ｓ４３２で計算された新しい距離で更新する。トータル
エラーは以下の式を用いて計算される。
【０２１４】
【数１５】
【０２１５】ここで、ｅｉは、トリプル内のｉ番目のイ
メージにおける、投影されたポイント７０と実際のポイ
ント７２との距離である。この値は、符号無しとするた
めに二乗される。（それにより、その方向ではなく、投
影されたポイントと実際のポイントの間の距離の大きさ
（マグニチュード）だけが考慮されることを確実にす
る）。Ｐは、ポイントのトータル数である。そして、ｅ
ｔｈはステップＳ４３４において比較のために用いられ
る距離の閾値である。
【０２１６】一方、ステップＳ４３４において、距離が
閾値より小さくない場合は、変数Ｐがインクリメントさ
れないように、ステップＳ４３６は省略される。
【０２１７】ステップＳ４３８において、ＣＰＵ４は、
ステップＳ２１８（図２２）において生成されたリスト
中に、別のトリプルポイントがあるかどうかを判断す
る。ステップＳ４２４からＳ４３８は、上述の処理がリ
スト内のすべてのトリプルポイントに対して実行される
まで繰り返される。この点において、変数Ｐの値は、計
算されたスケールが十分に正確であるトリプルポイント
のトータル数を示す。
【０２１８】再び図３２を参照すると、上述した方法を
用いてステップＳ４０４においてスケールをテストした
後、ＣＰＵ４は、ステップＳ４０６において、計算され
たスケールが現在格納されているいかなるものよりも正
確であるかどうかを判断する。これは、ステップＳ４３
６で格納されたポイント数Ｐ及びトータルエラー（図３
４）を、それまでに格納された最良のスケールに対する
ポイント数及びトータルエラーと比較することでなされ
る。最も正確なスケールは、最も多くのポイント数を有
するものであるか、或いは、ポイントの数が同じであれ
ば、最も小さいトータルエラーを有するものである。も
しも新たに計算されたスケールがより正確ならば、それ
までの最も正確なスケール、ポイント数及びトータルエ
ラーに替えて、そのスケール、ポイント数Ｐ及びトータ
ルエラーがステップＳ４０８において格納される。そう
でなければ、以前の最も正確なスケール、ポイント数、
トータルエラーが維持される。
【０２１９】ステップＳ４１０において、ＣＰＵ４は、
ステップＳ３９２においてインクリメントされたカウン
タの値が２０より小さいかどうかを判断する。もしも小
さければ、ステップＳ４１２において、ＣＰＵ４はステ
ップＳ２１８（図２２）において格納されたリスト内の
別のトリプルポイントがあるかどうかを判断する。ステ
ップＳ３９２からＳ４１２は、２０個のトリプルポイン
トがスケール（ステップＳ４１０で決定された）を計算
するのに用いられるまで、或いはもしもトリプルポイン
トの数が２０よりも小さければステップＳ２１８（図２
２）において格納されたリスト内のすべてのトリプルポ
イントがスケール（ステップＳ４１２で決定された）を
計算するのに用いられた判定されるまで、繰り返され
る。この値２０は、合理的な時間内にスケール計算のた
めの正確な結果を得るための、経験的に見出された値で
ある。
【０２２０】再び図３０を参照すると、ステップＳ３８
２において考慮下にあるρ１、ρ２の値のための最良の
スケールを計算した後、ステップＳ３８４において、Ｃ
ＰＵ４はその解が、すなわち、ρ１、ρ２、ｓの値が、
現在格納されている解よりもより正確であるかどうかを
判断する。こうして、ＣＰＵ４は、ステップＳ３８０及
びステップＳ３８２で計算された最後の値ρ１、ρ２及
びｓが、ステップＳ３８０及びＳ３８２でそれまでに計
算された値よりも正確なカメラ変換を生み出したかどう
かを判定する。これは、現在の最も正確な解のために格
納されたポイント数Ｐと、最も最近の解としてステップ
Ｓ４０８（図３２）及びステップＳ４３６（図３４）に
て格納されたポイント数とを比較することで行われる。
最も正確な解は、最も多くのポイント数を有するもので
あり、ポイント数が同じであれば最も小さいトータルエ
ラーを有するものである。もしも、新しい解が現在格納
されている解よりも正確であったならば、ステップＳ３
８６において、ＣＰＵ４は現在格納された解を新しいも
のに置き換える。一方、もしも現在格納されている解の
方がより正確であったならば、それは維持される。
【０２２１】ステップＳ３８８において、ＣＰＵ４は、
考慮するべきさらなるρ１、ρ２の値があるかどうかを
判断し、ステップＳ３８０〜Ｓ３８８が、すべてのρ１
及びρ２の値が上述のように処理されるまで繰り返され
る。再び、図３１を参照すると、図３１（ａ）より、ス
テップＳ３５０（図２８）においてアフィン−アフィン
ケースのためにステップＳ３８０〜Ｓ３８８が６４回繰
り返されることがわかるであろう。また、図３１（ｂ）
及び図３１（ｃ）から、ステップＳ３５２（図２８）に
おいてアフィン−パースペクティブケースのためにステ
ップＳ３８０〜Ｓ３８８が８回繰り返され、ステップＳ
３５４（図２８）においてパースペクティブ−アフィン
ケースのためにステップＳ３８０〜Ｓ３８８が８回繰り
返される。また、ステップＳ３５６（図２８）における
パースペクティブ−パースペクティブ計算のケースにつ
いてはステップＳ３８０〜Ｓ３８８は１回だけ行われ
る。図３１（ｄ）に示されるように、ρ１、ρ２のただ
ひとつの値がステップＳ３８０において考慮されるのに
有効だからである。
【０２２２】再び図２８を参照すると、ステップＳ３５
０におけるアフィン−アフィンケースのためのカメラ変
換、ステップＳ３５２におけるアフィン−パースペクテ
ィブケースのためのカメラ変換、ステップＳ３５４にお
けるパースペクティブ−アフィンケースのためのカメラ
変換、そしてステップＳ３５６におけるパースペクティ
ブ−パースペクティブケースのためのカメラ変換のそれ
ぞれの解を計算すると、ステップＳ３５８において、Ｃ
ＰＵ４はこれら４つの解から最も正確なものを選択す
る。これもまた、各解について格納されたトータルのポ
イント数Ｐを考慮してなされる（図３０のステップＳ３
８６、図３２のステップＳ４０８及び図３４のステップ
Ｓ４３６）。最も正確な解は最も多くのポイント数を有
する（なぜなら、この数は、トリプル内の解が正確なポ
イントの数だからである）。もしも解が同数のポイント
を有するならば、次に各解のトータルエラーが考慮さ
れ、最も小さいエラーの解が最も正確なものとして選択
される。
【０２２３】ステップＳ３６０において、ＣＰＵ４は、
最も正確な解のポイントの数Ｐが４よりも小さいかどう
かを判定する。これは、図７のステップＳ５８及びＳ６
８において、計算されたカメラ変換が十分に正確かどう
かを判断するためにＣＰＵ４が実行する方法である。も
しもポイント数Ｐが４より小さいならば、ＣＰＵ４は、
ステップＳ３６２において、計算されたカメラ変換が十
分に正確ではないと判断する。一方、ポイント数が４以
上であったならば、ＣＰＵ４は計算されたカメラ変換が
十分に正確であると判断し、処理はステップＳ３６４へ
進む。ステップＳ３６４において、ＣＰＵ４は、最も正
確な解のポイント数Ｐが、ステップＳ２１８（図２２）
において格納されたリスト内のトリプルポイントの総数
の８０％よりも大きいかどうかを判断する。もしもポイ
ント数が８０％よりも大きいならば、ＣＰＵ４は、計算
されたカメラ変換をそれ以上に正確にするために処理す
る必要はないと判断する。なぜなら、それらは、すでに
十分に正確なものとなっているからである。したがっ
て、処理はステップＳ３７０へ進み、ここで、ＣＰＵ４
は、解をフルのカメラ回転及び移動行列（ｆｕｌｌ ｃ
ａｍｅｒａ ｒｏｔａｔｉｏｎ ａｎｄ ｔｒａｎｓｌ
ａｔｉｎ ｍａｔｒｉｃｅｓ）に変換し、そのトリプル
内の３つのイメージの相対的位置を定義する（スケール
とρ値を含む）。
【０２２４】もしも、ステップＳ３６４において、ポイ
ントの数Ｐが８０％よりも小さいと判断されたならば、
ステップＳ３６６においてＣＰＵ４は、最も正確な解
が、パースペクティブ−パースペクティブケースのため
に計算された解であるかどうかを判断する。もしもそう
ならば、ＣＰＵ４は、その解はそれ以上に最適化される
べきではないと判断する。したがって、この場合も処理
はステップＳ３７０へ進み、解は、フルのカメラ回転及
び移動行列に変換される。尚、パースペクティブ−パー
スペクティブケースのための解は最適化されない。これ
は、ρ値がすでに十分に正確であると考えられるからで
ある（図２４のステップＳ２４０でＣＰＵ４によって計
算されたｆｕｎｄａｍｅｎｔａｌ行列において定義され
る）。一方、最も正確な解がパースペクティブ−パース
ペクティブケースに対応するものでなければ、ステップ
Ｓ３６８において、ＣＰＵ４は一般的な最適化手法を用
いて、以下の関数、ｆ（ρ）を最小化する。ここで用い
られる手法としては、例えば、「Ｎｕｍｅｒｉｃａｌ
Ｒｅｃｉｐｅｓ ｉｎ”Ｃ”」、Ｗ．Ｈ．Ｐｒｅｓｓ，
Ｓ．Ａ．Ｔｅｕｋｏｌｓｋｙ，Ｗ．Ｔ．Ｖｅｔｔｅｒｌ
ｉｎｇ，及びＢ．Ｐ．Ｆｌａｎｎｅｒｙ著，１９９２，
４１２−４２０頁，ＩＳＢＮ ０−５２１−４３１０８
−５に記載されているパウエルの最適化手法（Ｐｏｗｅ
ｌｌ’ｓ ｍｅｔｈｏｄ ｆｏｒ ｏｐｔｉｍｉｓａｔ
ｉｏｎ）が用いられ得る。
【０２２５】
【数１６】
【０２２６】ここで、関数は、図３０のステップＳ３８
０、Ｓ３８２及びＳ３８６と同じステップを用いて評価
される。Ｐはその解のために格納されたポイントの数で
ある（図３０のステップＳ３８６、図３２のステップＳ
４０８及び図３４のステップＳ４３６）、そして、マイ
ナス符号はＰが最大化されることを表し、“ｅｒｒｏ
ｒ”はステップＳ４３６（図３４）で格納された解のト
ータルエラーであり、プラス符号はこれが最小化される
ことを示している。
【０２２７】ステップＳ３７０において、ＣＰＵ４はス
テップＳ３６８にて計算された最適化された解（もしく
は、もしもポイントの数が８０％より多ければ、或いは
もしも解がパースペクティブ−パースペクティブケース
に対応する解であった場合には、改良されない解）をフ
ルのカメラ回転行列と変換ベクトルに変換する。
【０２２８】図２０に関して、上述したように、ＣＰＵ
４は、そのトリプルにおける第１のイメージがイメージ
の順序における第１のイメージではないならば、そのト
リプルのイメージに対するカメラ変換の計算を異なるル
ートで実行する（図２０のステップＳ２０４）。
【０２２９】図３６は、そのような場合においてカメラ
変換を計算する際の、ステップＳ２０７（図２０）にお
いてＣＰＵ４によって実行される処理の、トップレベル
を示す図である。
【０２３０】トリプルにおける第１のイメージがその順
序における第１のイメージではない場合、そのトリプル
における第１のイメージペアに関してカメラ変換を計算
する必要はない。そのイメージペアがそれに先行するイ
メージトリプルに関連して先に考慮されたときに、すで
に計算されてしまっているからである。（そのペアは、
先行するトリプルの第２のイメージペアを形成してい
る。）。
【０２３１】図３６を参照すると、ステップＳ４５０に
おいて、ＣＰＵ４はそのトリプルの第１のイメージペア
に対して存在するパラメータを読み出し、そのトリプル
の新たなイメージペア（第２のイメージペア）のための
パラメータをセットアップする。
【０２３２】図３７は、ステップＳ４５０においてＣＰ
Ｕ４によって実行される処理を示す図である。図３７を
参照すると、ステップＳ４６０において、ＣＰＵ４は、
図２１のステップＳ２１２において以前に計算されたト
リプルの第１のイメージペアに対するカメラ解を読み出
す。ステップＳ４６２において、ＣＰＵ４は、図７のス
テップＳ５４、Ｓ６０、Ｓ６４或いはＳ７２において特
定されたトリプル内の第２のイメージペアに対するマッ
チしたポイントペアを読み出す。ステップＳ４６４にお
いて、ＣＰＵ４は図７のステップＳ６０もしくはステッ
プＳ７２でユーザによって、第２のイメージペアにおい
てマッチさせられたポイントペア（ユーザ特定されたポ
イントペア）のリストと、図７のステップＳ５４もしく
はＳ６４において、第１と第２イメージにおいてマッチ
するべく計算されたポイントペアとユーザ特定されたポ
イントとを備えるポイントペアのリストと（ＣＰＵ４
は、図２２のステップＳ２１８に関して上述した方法で
このリストから同じポイントを除去する）、トリプルポ
イントのリスト、すなわち、イメージトリプルにおける
３つのイメージ全てにわたってマッチしたポイントのリ
ストとを生成する。（なお、ステップＳ５４もしくはス
テップＳ６４は、そのトリプルの第３のイメージにおけ
るポイントを、そのトリプルの第２のイメージにおけ
る、以前にそのトリプルの第１のイメージ内のポイント
と図７のステップＳ７４における制約的特徴マッチング
によってマッチされたポイントにマッチさせてもよい。
この場合、制約的特徴マッチングによって特定されたポ
イントは、トリプルポイントの一部を形成し、もし選択
されれば、ステップＳ４０４及び恐らくステップＳ３９
４においてカメラ位置を計算するのに用いられる。）図
２２におけるステップＳ２１８に関して上述したよう
に、ユーザ特定されたポイントの数は、アフィン初期特
徴マッチングが実行されなかったのならば、ゼロであろ
う。
【０２３３】ステップＳ４６６において、ＣＰＵ４はス
テップＳ４６４及びステップＳ４６８において生成され
たリストにおけるポイントを正規化し、２つの測度行列
をセットアップする。ひとつは、ユーザ特定されたポイ
ントのリストのためのものであり、もうひとつはユーザ
特定及び計算されたポイントのリストのためのものであ
る。これらのステップは、上述した図２２のステップＳ
２２０及びＳ２２２と同じ方法で実行される。したがっ
て、ここでは説明を省略する。ステップＳ４７０におい
て、ＣＰＵ４は、そのトリプルにおける第２のイメージ
ペアに対するパースペクティブ及びアフィン計算を実行
する際の実行されるべき繰り返し回数を決定する。これ
は、上述の図２２のステップＳ２２４と同じ方法で実行
される。したがって、ここでは繰り返し説明は行わな
い。
【０２３４】再び図３６を参照すると、ステップＳ４５
０において必要なパラメータのセットアップを行うと、
ステップＳ４５２において、ＣＰＵ４はそのトリプル内
の第２のイメージペアに関してカメラ変換を計算し、そ
の結果を格納する。これは、上述した図２１のステップ
Ｓ２０８及びＳ２１０と同じ方法で実行される。したが
ってここでは繰り返し説明しない。
【０２３５】ステップＳ４５４において、ＣＰＵ４は、
そのトリプル内のすべての３つのイメージの間のカメラ
変換を計算するために、ステップＳ４６０（図３７）で
読み出された第１のイメージペアのためのカメラ解を、
そのトリプル内の第２イメージペアに関してステップＳ
４５２で計算されたカメラ変換とともに用いる。
【０２３６】図３８は、図３６のステップＳ４５４にお
けるトリプル内の３つのイメージ間のカメラ変換を計算
するときの、ＣＰＵ４によって実行される処理を示す図
である。これらの処理は、位置順序における最初の３つ
のイメージの間のカメラ変換を計算するときの、ステッ
プＳ２１２（図２１）で実行された処理、そして図２８
に関して上述した処理に非常に類似している。上述した
ように、そのトリプルの第１のイメージペアに対するカ
メラ間の関係は、先行するトリプルに関する計算によっ
て既知となっている。したがって、第２のイメージペア
のみの間の変換を考慮する。ステップＳ４７２におい
て、ＣＰＵ４は第２のイメージペアの間の変換がアフィ
ンである場合を考慮する。これは、第１のイメージペア
に関するカメラ解（図３６のステップＳ４５０において
読み出される）を、ステップＳ４５２（図３６）におい
て第２のイメージペアのために計算された最も正確なア
フィンｆｕｎｄａｍｅｎｔａｌ行列とともに考慮するこ
とにより、そして、図２８のステップＳ３５４に関して
上述したのと同じ処理を用いてスケールｓ及びρ２を計
算することによりなされる。
【０２３７】ステップＳ４７４において、ＣＰＵ４は第
２のイメージペア間の変換がパースペクティブである場
合を考慮する。ＣＰＵ４は、ステップＳ４６０（図３
７）において読み出されたカメラの第１のペアのための
計算を、ステップＳ４５２（図３６）で得られた第２の
イメージペアのためのカメラの正確な回転行列と変換ベ
クトルとともに用いて、ステップＳ３５６（図２８）と
同じ処理を用いてスケールを計算する。ステップＳ４７
６からＳ４８８において、ＣＰＵ４は、上述した図２８
のステップＳ３５８からＳ３７０で実行されたものと同
じ処理を実行する。すなわち、ＣＰＵ４は、ステップＳ
４７２で計算されたものと、ステップＳ４７４で計算さ
れたものから最も正確な解を選択し、それが十分に正確
かどうかを判断し、必要ならばステップＳ４８６にて最
適化する（それは、図２８のステップＳ３６８に対応す
る）。（ただし、ステップＳ４８４において解が＊−パ
ースペクティブの場合に対応すると判断され場合は、ρ
は最適化されているので、解は最適化されない。そし
て、第２のイメージペアに対するパースペクティブ変換
において、ρは、常に、十分に正確である。それは、計
算されたｆｕｎｄａｍｅｎｔａｌ行列において定義され
るからである。そして、第１のイメージペアに対するρ
の値は、変換がパースペクティブである場合にはｆｕｎ
ｄａｍｅｎｔａｌ行列において定義され、変換がアフィ
ンである場合には、図２８のステップＳ３６８において
すでに最適化されている）。
【０２３８】再び図７において、ステップＳ７４にてイ
メージのトリプルのための制約的特徴マッチングをＣＰ
Ｕ４が実行する方法について説明する。
【０２３９】図３９は、制約的特徴マッチングを実行す
る場合のＣＰＵ４によって実行される処理のトップレベ
ルを示す図である。
【０２４０】図３９を参照すると、ステップＳ５００に
おいて、ＣＰＵ４はそのトリプル内の第１のイメージペ
アにおける「ダブル」ポイントを考慮する。ダブルポイ
ントは、すなわち、ステップＳ５２、Ｓ５４、Ｓ６０、
Ｓ６２、Ｓ６４、Ｓ７２或いはＳ７４において、第１の
イメージペアの間でマッチするが（ステップＳ５４、Ｓ
６４およびＳ７４は、先行するイメージトリプルについ
て実行されていれば、適用可能である）、当該トリプル
内の第２及び第３のイメージの間ではマッチしないポイ
ントである。そのような「ダブル」ポイントの各ペアに
対して、ＣＰＵ４は、第３のイメージにおける対応する
ポイントを特定することを試みる。もしそれが成功した
場合、トリプルのポイント（すなわち、３つのイメージ
のすべてにわたってマッチするポイント）が生成され
る。
【０２４１】同様に、ステップＳ５０２において、ＣＰ
Ｕ４は、現在のトリプルの第２及び第３イメージにおけ
る「ダブル」ポイント（すなわち、図７のステップＳ５
４、Ｓ６０、Ｓ６４もしくはＳ７２において第２のイメ
ージペアにわたってマッチするが、当該トリプルの第１
のイメージペアにわたってはマッチしていないポイン
ト）を考慮する。そして、新しいトリプルのポイントを
生成するために、第１のイメージにおける対応するポイ
ントを特定することを試みる。
【０２４２】図４０は、図３９のステップＳ５００及び
ステップＳ５０２においてＣＰＵ４により実行される処
理を示す図である。図４０を参照すると、ステップＳ５
０４において、ＣＰＵ４は、そのペアの他のイメージ
（ステップＳ５００を実行するときの第１のイメージ、
もしくはステップＳ５０２を実行するときの第３のイメ
ージ）とダブルポイントを形成するトリプルの第２のイ
メージ（中央）における次のポイントを考慮する。そし
て、図７のステップＳ５６もしくはステップＳ６６で計
算されたカメラ変換を用いて、そのトリプルの残りのイ
メージ（ステップＳ５００を実行する際は第３のイメー
ジであり、ステップＳ５０２を実行する際は第１イメー
ジである）内の対応する位置におけるポイントを特定す
る。
【０２４３】ステップＳ５０６において、ＣＰＵ４は、
第２イメージ内のポイントと、その残りのイメージ内に
特定されたポイントのｘ方向の両側の設定されたピクセ
ル数（本実施形態では、２ピクセル）の範囲内、および
特定されたポイントのｙ方向の両側の設定されたピクセ
ル数（本実施形態では、２ピクセル）の範囲内に存在す
るピクセルとの間の類似性測度を計算する。こうして、
そのトリプルの残りのイメージ内の５ピクセル×５ピク
セルの矩形内のポイントが考慮される。ＣＰＵ４は、適
応化最小二乗相関テクニック（ａｄａｐｔｉｖｅ ｌｅ
ａｓｔ ｓｑｕａｒｅｓ ｃｏｒｒｅｌａｔｉｏｎ ｔ
ｅｃｈｎｉｑｕｅ）を用いて相似性測度を計算する。こ
こで、例えば、「Ａｄａｐｔｉｖｅ ＬｅａｓｔＳｑｕ
ａｒｅｓＣｏｒｒｅｌａｔｉｏｎ：Ａ Ｐｏｗｅｒｆｕ
ｌ Ｉｍａｇｅ Ｍａｔｃｈｉｎｇ Ｔｅｃｈｎｉｑｕ
ｅ」、Ａ．Ｗ．Ｇｒｕｅｎ著、Ｐｈｏｔｏｇｒａｍｍｅ
ｔｒｙ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ａｎｄ Ｃａ
ｒｔｏｇｒａｐｈｙ、１９８５、１７５−１８７頁に記
載されているテクニックを、最良のマッチポイントを特
定するのに用いることができる。
【０２４４】ステップＳ５１０において、ＣＰＵ４は、
ステップＳ５０６において特定された最良のマッチポイ
ントの相似性測度が閾値（本実施形態では０．７）より
大きいかどうかを判断する。もしも相似性測度が閾値よ
りも大きければ、ＣＰＵ４は第２イメージにおけるポイ
ントとそのトリプルの残りのイメージにおけるポイント
との間の類似性が、そのポイントがマッチングポイント
であるとみなすのに十分に高いと判断し、ステップＳ５
１２において、ダブルポイントと、そのイメージのトリ
プルの残りのイメージにおいて特定された新しいポイン
トとからトリプルポイントを形成する。一方、ＣＰＵ４
がステップＳ５１０において類似性測度が閾値以下であ
ると判断した場合、考慮中のダブルポイントに関しての
トリプルポイントを形成しないよう、ステップＳ５１２
が省略される。
【０２４５】ステップＳ５１４において、ＣＰＵ４は、
考慮中のイメージペアにおいて別のダブルポイントがあ
るかどうかを判断する。ステップＳ５０４〜Ｓ５１４
は、考慮中のイメージペアに関してすべてのダブルポイ
ントが上述の方法で処理されるまで繰り返される。
【０２４６】図７のステップＳ７４における制約的特徴
マッチングを実行するにおいて、ＣＰＵ４がそのイメー
ジトリプルの第２及び第３のイメージにおけるポイント
間の新しいマッチング（図３９のステップＳ５００）、
そして、そのトリプルの第１のイメージペアにおけるポ
イント間の新しいマッチング（図３９のステップＳ５０
２）を生成することは歓迎すべきことである。これらの
新しいマッチングは、図３のステップＳ１０において、
ＣＰＵ４が３次元データを生成するのに用いられる。こ
の点は後述する。加えて、図７を参照すると、トリプル
内の第２のイメージペアにおけるポイント間について生
成された新しいマッチングは、次のイメージトリプルの
ために引き続き行われる初期特徴マッチングにおいて考
慮される。これは、前述したように、トリプル内の第２
のイメージペアに対する新しいマッチングを特定するた
めにステップＳ７４において制約的特徴マッチングが実
行される場合、このイメージペアは、考慮される次のイ
メージトリプルにおける第１のイメージペアになる。そ
して、ステップＳ５４で実行された初期自動的特徴マッ
チングとステップＳ６４で実行された初期アフィン特徴
マッチングの両方は、そのトリプルの第２のイメージペ
アにわたって、以前に第１のイメージペアにわたってマ
ッチしたポイントをマッチさせることを試みる。制約的
特徴マッチング（図３９のステップＳ５０２）の間に計
算された第１のイメージペア内のポイント間の新しいマ
ッチングは、次のイメージトリプルの初期特徴マッチン
グを実行する際には考慮されないが、これらの新しいマ
ッチングは、ＣＰＵ４が図３のステップＳ１０において
３次元データを生成する際に考慮される。この処理は後
述する。その順序における最終の３つのイメージに対し
て、図７のステップＳ７４において制約的特徴マッチン
グが実行されるとき、これに続く考慮されるべきイメー
ジトリプルは存在しない。従って、そのトリプルにおけ
る第２のイメージペアにわたって生成される新しいマッ
チングは、初期特徴マッチングの間は考慮されない（こ
の処理は再び実行されないからである）。しかしなが
ら、これらの新しいマッチングは、図３におけるステッ
プＳ１０で３Ｄデータを生成するときに考慮されること
になる。
【０２４７】図３を再び参照すると、初期特徴マッチン
グ（ステップＳ４）、カメラ変換の計算（ステップＳ
６）、そして上述した方法で制約的特徴マッチングを実
行（ステップＳ８）した後、ＣＰＵ４はステップＳ１０
において、それらの結果を用いて３Ｄデータを生成す
る。この処理の目的は、オブジェクト２４の表面上のポ
イントを表すために正しく配置された３次元空間におけ
るポイントの単一の集合を生成する。
【０２４８】図４１は、図３のステップＳ１０において
３Ｄデータを生成するときの、ＣＰＵ４によって実行さ
れる処理を示す図である。図４１を参照すると、ステッ
プＳ５２０において、ＣＰＵ４は、当該シーケンスにお
ける順番に、各イメージペアを考慮する（図２及び図５
の例においては、Ｌ１Ｌ３、Ｌ３Ｌ２、Ｌ２Ｌ４及びＬ
４Ｌ５のペア）。そして、ユーザ特定された「ダブル」
ポイント（すなわち、図７のステップＳ６０またはＳ７
２において、イメージペア間でユーザによってマッチさ
れたポイントペアであって、そのイメージペアの直前或
いは直後のイメージにおけるポイントとはマッチしない
もの）、もしくは後続のイメージのトリプルポイントの
部分（すなわち、そのペア内のイメージ間及び位置的順
序においてそのペアの第２のイメージとこれに続くイメ
ージとの間でユーザもしくはＣＰＵ４によってマッチさ
れたポイント）のいずれかを形成するペア内のポイント
を投影し、そのようなポイントの各ペアから３Ｄ空間に
おける単一のポイントを計算する。ステップＳ５２０に
おいて、ＣＰＵ４は次の（ｉ）〜（ｉｉｉ）のマッチし
たポイントペアのみを考慮する。すなわち、（ｉ）図３
のステップＳ６においてこの変換が計算されたときに、
計算されたカメラ変換で十分に正確であるとみなされた
ポイントペア、（ｉｉ）ステップＳ８において制約的特
徴マッチングが実行されたときに新たなマッチングポイ
ントとして特定されたポイントペア、（ｉｉｉ）図３の
ステップＳ６における制約的特徴マッチングの間にペア
からトリプルへ拡張された、その元のポイントペアを形
成したポイントペアである。このように、ステップＳ５
２０においては、計算されたカメラ変換に関して十分に
正確であるとみなされなかった初期特徴マッチングの間
にマッチしたポイントはＣＰＵ４によって考慮されない
（それらが、制約的特徴マッチングによって、その後
に、トリプルへ拡張されない限り）。
【０２４９】図４２は、ステップＳ５２０において３Ｄ
ポイントを計算するときにＣＰＵ４によって実行される
処理を示す。図４２を参照すると、ステップＳ５３０に
おいて、ＣＰＵ４はその順序における次のペアを考慮す
る（ステップＳ５３０が最初に実行されるときは第１の
ペアとなる）。ステップＳ５３２において、ＣＰＵ４
は、ステップＳ５３０において考慮されたイメージペア
における、次の、ポイントペアの各ポイントから、その
ポイントに対するカメラの光学的中心を通る３次元空間
内のラインを投射する。なお、ここで、ラインが投射さ
れる各ポイントとは、ユーザ特定されたダブルポイント
よりのポイント、或いはトリプルポイントよりのポイン
トである。これは、図３５で示したものと類似の光線を
生成する。ただし、図３５においては、イメージがペア
で考慮されるので、光線が隣接するイメージから投射さ
れるという点が異なっている。
【０２５０】ステップＳ５３４において、ＣＰＵ４は、
ステップＳ５３２において投射された両ラインを接続
し、かつ両ラインに直角である線分の中点を計算する
（この中点は、図３５において示されるポイント６８に
対応し、オブジェクト２４の表面上の物理的ポイントを
表す）。ステップＳ５３６において、ＣＰＵ４は、対応
するポイントがその順序における次のイメージにおいて
マッチしているかを判断する。すなわち、ステップＳ５
３２において光線の投射元のポイントが、続くイメージ
にてトリプルポイントの部分を形成するかどうかを判断
する。もしも、対応するポイントが次のイメージにおい
てマッチすると判断されたならば、ＣＰＵ４は次のイメ
ージにおけるマッチしたポイントからラインを投射す
る。これは、ステップＳ５３２においてポイントからラ
インを投射したのと同じ方法で行われる。ステップＳ５
４０において、ＣＰＵ４は、ステップＳ５３８で投射さ
れた新しいラインと、以前のステップＳ５３２でそのポ
イントから投射されたラインとを接続するとともにそれ
らに直角である線分の中点を計算する。これは、ステッ
プＳ５４０において中点が計算されたのと同じ方法で行
われる。
【０２５１】ステップＳ５４２において、ＣＰＵ４は、
その順序の次のイメージにおいて対応するポイントがマ
ッチしたかどうか判断する。ステップＳ５３８からＳ５
４２は、その順序における次のイメージが対応するマッ
チポイントを含まなくなるか、その順序におけるすべて
のイメージが処理されるまで、繰り返される。
【０２５２】例として、図２及び図５で示したような、
５つのイメージを含むイメージシーケンスを参照する。
ステップＳ５３２及びＳ５３４は、第１のイメージにお
けるポイント及び第２のイメージにおけるマッチしたポ
イントから光線を投射し、単一の３次元ポイントを計算
する（ステップＳ５３４における中点）。それは、第１
のイメージにおけるポイントと第２のイメージにおける
ポイントの投影を表す。こうして、オブジェクト２４の
表面上の物理的ポイントを表す３次元空間内の単一のポ
イントが、その順序における隣接したイメージ間のポイ
ントペアから得られる。その順序における第３のイメー
ジが、第１及び第２イメージにおけるそれらのポイント
にマッチするポイントを含んでいる場合（ステップＳ５
３６において決定される）、ステップＳ３５８及びＳ５
４０は第３のイメージにおけるそのポイントからライン
を投射し、第２のイメージにおけるポイントからのライ
ンと第３のイメージにおけるポイントからのラインを接
続しそれらに直角な線分の中点を計算する。この中点は
第２イメージ及び第３イメージにおけるポイントの投射
からの結果である３Ｄポイントを表わす。同様に、その
順序における第４のイメージが第３のイメージにおける
ポイントとマッチするポイントを有する場合（ステップ
Ｓ５４２において決定される）、第４のイメージにおけ
るポイントからのラインを投射し、第４のイメージから
のラインと第３のイメージからのラインを接続しそれら
に直角名な分の中点を計算するために、ステップＳ５３
８とＳ５４０が繰り返される。そのシーケンスにおける
第４及び第５のイメージからのポイントの投射を表すさ
らなる３Ｄポイントは、ステップＳ５４２において対応
するポイントがその順番における第５のイメージにおい
てマッチしたと判断された場合に、ステップＳ５３８と
Ｓ５４０を実行することによって得られる。こうして、
ポイントがその順番における５つのイメージの全てにお
いてマッチしたならば、４つの３Ｄポイントが生成され
る（これはオブジェクト２４の同じ物理的ポイントを表
す）。これらの３Ｄ位置は、計算されたカメラ変換にお
けるエラーにより、及びそれらマッチング自体のエラー
により、正確に一致することはまずない。代わりに、図
４３に示されるように、それらのポイントは３Ｄ空間に
おいて群８０を形成する。
【０２５３】再び、図４２を参照すると、ステップＳ５
４４において、ＣＰＵ４は、現在のイメージペアにおい
て、まだ考慮されていない、そのイメージペアにわたっ
てユーザ特定された「ダブル」ポイントを形成するポイ
ント、或いは後続のイメージとともにトリプルポイント
の一部をなすポイントがあるかどうかを判断する。ステ
ップＳ５３２からＳ５４４はそのようなポイントのすべ
てが考慮されるまで繰り返される。そのようなポイント
ペアの各々は、ステップＳ５３６で対応するポイントが
次のイメージにおいてマッチしないと判断された場合の
３Ｄ空間における単一のポイント８２（図４３）、もし
くは、対応するポイントが少なくとも次のイメージにお
いてマッチする場合のポイント群、のいずれかを生成す
る。もしもポイントがその順序における連続する３つの
イメージにわたってマッチするならばクラスタは２つの
ポイントを含み、もしもそれがその順序における連続す
る４つのイメージにわたってマッチするならばそれは３
つのポイントを含み、上述のようにその順序において５
つのイメージにわたってマッチするなら、クラスタは図
４３の群８０において示されるように４つのポイントを
備える。
【０２５４】ステップＳ５４６において、ＣＰＵ４はそ
の順序において別のペアがあるかどうかを考慮する。ス
テップＳ５３２からＳ５４６は、その順序におけるすべ
てのイメージペアが上述のごとく処理されるまで繰り返
される。結果は、図４３に示されるように、単一の３Ｄ
ポイントであるべきものに対応する各群のポイントとと
もに、３次元空間における複数のポイント群となる（こ
れはオブジェクト２４の表面上の点を表す）。
【０２５５】図４１を再び考慮すると、ステップＳ５２
２において、ＣＰＵ４はステップＳ５２０で計算された
３Ｄポイントを用いて、各カメラに対して前もって計算
された変換におけるエラーを計算し、不正確な３Ｄポイ
ントを特定し、破棄する。
【０２５６】図４４Ａ、Ｂは、図４１のステップＳ５２
２でＣＰＵ４により実行される処理を示す。図４４Ａ、
Ｂを参照すると、ステップＳ５５０で、ＣＰＵ４はステ
ップＳ５２０（図４１）で計算された３次元空間の全ポ
イントを考慮し、ｘ座標の標準偏差Δｘと、ｙ座標の標
準偏差Δｙと、ｚ座標の標準偏差Δｚを計算する。ステ
ップＳ５５２において、ＣＰＵ４は３次元空間のポイン
トで作られたオブジェクトのサイズ（ｓｉｚｅ）を以下
の式を用いて計算する。
【０２５７】
【数１７】
【０２５８】ステップＳ５５４からＳ５６２において、
ＣＰＵ４は、与えられたイメージペアより生成された３
次元空間内の不正確なポイントを特定し、これを破棄す
る。ステップＳ５４６４からＳ５６８において、ＣＰＵ
４は残りのポイント、すなわち不正確なポイントが破棄
された後に残ったポイントを用いて、後続のカメラポジ
ションのペアについてカメラエラーを計算する。
【０２５９】ステップＳ５５４において、ＣＰＵ４は、
次のカメラポジションのペアを考慮し（そのステップが
最初に実行されるときは、第１のカメラポジションが考
慮される）、ステップＳ５２０で計算された、後続のイ
メージとでトリプルポイントとなる部分を起源とする３
次元座標系の次のポイントを考慮し、この３Ｄポイント
とステップＳ５２０（図４１）で前もって後続のカメラ
ポジションペアのために計算された３Ｄ空間内の対応ポ
イントとの間のベクトルシフトを計算する。これは図４
５Ａに示されている。図４５Ａを参照すると、３次元空
間におけるポイント群９０は、ステップＳ５２０（図４
１）で計算された４つのポイントを備える。それらポイ
ントは、上述のように、実際のオブジェクト２４の表面
上の単一のポイントに対応する。＃１とラベルされてい
るポイント９２はステップＳ５３４（図４２）でカメラ
ポジション（イメージ）の第１のペアから生成されたポ
イントであり、＃２とラベルされているポイント９６は
ステップＳ５４０（図４２）でカメラポジション（イメ
ージ）の第２のペアから生成されたポイントである。同
様に、＃３のポイントは、ステップＳ５４０でカメラポ
ジションの第３のペアから生成されたポイントであり、
＃４のポイントは、ステップＳ５４０でカメラポジショ
ンの第４のペアから生成されたポイントである。これら
のポイントの各々は、図４５Ａにおいてドットで表され
ている。第１のカメラポジションペアに関するポイント
９２と後続のカメラポジションペア（第２のペア）のた
めに前もって計算された対応ポイント９６との間の、ス
テップＳ５５４で計算されたシフトが図４５Ａに示され
ている。このシフトは、第２のカメラポジションのペア
における、このポイントペアのエラーを表し、従って、
“ＳＨＩＦＴ２”とラベル付けられている。カメラポジ
ションの第３のペアに関するエラー（ＳＨＩＦＴ３）、
及び、カメラポジションの第４のペアに関するエラー
（ＳＨＩＦＴ４）、これらはステップＳ５５４でカメラ
ポジションの後続のペアが考慮されるときに計算される
ことになるが、これらもまたポイント群を表す図４５Ａ
において示されている。
【０２６０】再び図４４Ａを参照すると、ステップＳ５
５８において、ＣＰＵ４はステップＳ５５４で計算され
たシフトのマグニチュードが、ステップＳ５５２で計算
されたオブジェクトサイズの１０％よりも大きいかどう
かを判断する。もしそうならば、現在のカメラポジショ
ンペアに関して考慮中のポイントと、後続のカメラポジ
ションペアに関する対応ポイントが不正確であるとみな
され、従って、ステップＳ５６０で破棄される。図４５
Ａを再び参照すると、ステップＳ５５８（図４４）で、
ＳＨＩＦＴ２のマグニチュードがオブジェクトサイズの
１０％よりも大きいと判断されると、ポイント９２、９
６は破棄される。一方、ステップＳ５５８においてその
シフトのマグニチュードがオブジェクトサイズの１０％
以下であると判断されると、ポイントは十分に正確であ
ると判断され、従ってそれらのポイントは維持される。
上述したように３Ｄポイントは、計算されたカメラ変換
について正確とみなされなかったポイントのペアからス
テップＳ５２０（図４１）で生成されることはないが、
３ＤポイントはステップＳ５２０で制約的特徴マッチン
グの間に特定された新しいマッチングから生成される。
従って、図４４のステップＳ５５４からＳ５６０で、Ｃ
ＰＵ４によって実行される処理は、制約的特徴マッチン
グがテストされている間に特定される新しいマッチング
から生成される３Ｄポイントの正確さを確実にする（よ
って、新しいマッチング自体がテストされる）。
【０２６１】図４４Ａを再び参照すると、ステップＳ５
６２において、ＣＰＵ４は、ステップＳ５２０（図４
１）にて、後続のイメージとともにトリプルの一部を形
成したポイントを起点とするカメラポジションの現在の
ペアに関して、計算された３次元空間における別のポイ
ントがあるかどうかを判断する。ステップＳ５５４から
Ｓ５６２は、そのようなすべてのポイントが上述のよう
に処理されるまで繰り返される。図４５Ｂは、この処理
がカメラポジションの第１ペアについて完了したときの
状態を表している。各ポイント群について、第１のイメ
ージペアにおけるポイントから生成された３Ｄポイント
と後続のイメージペアにおけるポイントを用いて生成さ
れた対応ポイントとの間のシフトが計算される。もし
も、シフトが、オブジェクトサイズの１０％よりも大き
ければ、カメラポジションの現在（第１）のペアに対す
るポイントとカメラポジションの後続（第２）のペアに
対するポイントは破棄される。図４５Ｂから、３次元空
間における単一ポイントについて、シフト、すなわち、
群の部分を形成しないポイント、は計算されない。これ
は、これらのポイントはステップＳ５２０（図４１）に
おいて２つの連続するイメージのみにわたってマッチす
るポイントペアから派生し、従って、シーケンスの連続
するイメージにおいてマッチした対応ポイントから派生
した３次元空間におけるポイントは存在しないので、シ
フトを計算することは可能ではない。
【０２６２】再び図４４Ａを参照すると、ステップＳ５
６４において、ＣＰＵ４は、カメラポジションの現在の
ペアのためのポイントと後続のカメラポジションペアの
ためのポイントとの間の全シフトの正味（ｎｅｔ）を計
算する（オブジェクトの１０％より大きいシフト（ステ
ップＳ５５８で決定される）は考慮されない）。これ
は、カメラポジションの後続のペアに対するエラー回転
行列とエラー変換ベクトルを与える。シフトの正味は、
一般的な方法で計算される。その方法は例えば、「Ｃｌ
ｏｓｅｄ−Ｆｏｒｍ Ｓｏｌｕｔｉｏｎ ｏｆ Ａｂｓ
ｏｌｕｔｅ Ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ Ｕ
ｎｉｔ Ｑｕａｔｅｒｎｉｏｎｓ」、Ｂ．Ｋ．Ｐ．Ｈｏ
ｒｎ ｉｎ Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｏｐｔｉ
ｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ，４
（４）：６２９−６４９，Ａｐｒ．１９８７、に記載さ
れたｑｕａｔｅｒｎｉｏｎｓのホルンの方法を用いるこ
とができる。要約すると、後続のカメラポジションペア
に対するポイントを現在のカメラポジションペアの対応
ポイントに最も正確にマップするための回転行列Ｒ、変
換ベクトルｔが計算される。もし、Ｐｃを現在のカメラ
ポジションペアのポイントとし、Ｐｎを次のカメラポジ
ションペアの対応ポイントとし、Ｐｎ’がＰｎの再マッ
プされたものであるとすれば、以下の式が成立する。
【０２６３】
【数１８】
【０２６４】合計は内積（ｄｏｔ ｐｒｏｄｕｃｔ）で
ある、（Ｐｎ’−Ｐｃ）Ｔ・（Ｐｎ’−Ｐｃ）のモジュ
ール（ｍｏｄｕｌｅ）の全共通ポイントにわたって最小
化される。
【０２６５】ステップＳ５６６において、ＣＰＵ４は、
ステップＳ５６４で計算されたエラー回転行列とエラー
変換ベクトルを、後続のカメラポジションペア（図４５
Ｂの＃２）について前もって計算された各ポイントに適
用する。前に計算された各ポイントに対し、これは、正
しいポイント（上述の式（３２）によって与えられるＰ
ｎ’）を与える。このポイントは、図４６に示されるよ
うに、現在のカメラポジションペアに対するポイントの
より近くに位置する。なお、図４６では、カメラポジシ
ョンの現在のペアに対するポイントが、前のようにドッ
トであらわされ、カメラポジションの後続のペアについ
ての修正されたポイントがクロスによって表されてい
る。
【０２６６】ステップＳ５６８において、ＣＰＵ４は、
ステップＳ５６６で計算された各修正された３Ｄポイン
トの座標と、その対応ポイントとの間の差を計算し、そ
して、その結果である差の共分散行列（ｃｏ−ｖａｒｉ
ａｎｃｅ ｍａｔｒｉｘ）を計算する。これは、一般的
な数学的テクニックを用いて実行される。結果としての
共分散行列は、３次元におけるガウス分布（Ｇａｕｓｓ
ｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）を備える。ガウス
分布は、ステップＳ５６４で計算されたエラー変換のた
めの３次元のエラー楕円（ｅｒｒｏｒｅｌｌｉｐｓｏｉ
ｄ）を表す。こうして、ステップＳ５６４からＳ５６８
において、ＣＰＵ４は、後続のカメラポジションペアの
ためのエラー変換と、エラー変換に関連するエラー（エ
ラー楕円）を計算する。
【０２６７】ステップＳ５７０において、ＣＰＵ４は、
まだ考慮されていないカメラポジションペアがあるかど
うかを判断する。ステップＳ５５４からＳ５７０は、す
べてのカメラポジションペアについてのデータが上述し
た方法で処理されるまで繰り返される。
【０２６８】その順序におけるカメラポジションの第１
のペアに関して、ステップＳ５６４でエラー変換が計算
されないのは歓迎すべきことである。このカメラポジシ
ョンペアはゼロのエラーを有すると仮定される。また、
与えられたカメラポジションペアのためのエラー変換
が、前のカメラポジションペアに関連して起算されるこ
とも歓迎すべきことである。こうして、第２のカメラポ
ジションペア（すなわち、その順序における第２と第３
のイメージを生成する位置）のためのカラー変換は、累
積エラー（ｃｕｍｕｌａｔｉｖｅ ｅｒｒｏｒ）を含ま
ない。第１のカメラポジションペアに対するエラーがゼ
ロと仮定されるからである。一方、後続のカメラポジシ
ョンペアの各々に対するエラー変換は、累積エラーを含
む。例えば、第３のカメラポジションペア（すなわち、
その順序における第３と第４のイメージを生成する位
置）のためのエラー変換は、第２のカメラポジションペ
アのエラー変換に関連して計算される。従って、第３の
カメラポジションペアのためのトータルの累積エラーを
与えるために、第３のカメラポジションペアのための計
算されたエラー変換と共分散行列は、第２のカメラポジ
ションペアのためのエラー変換と共分散行列によって調
整される必要がある。同様に、第４のカメラポジション
ペア（その順序の第４及び第５のイメージを生成する位
置）のための計算されたエラー変換と共分散行列は、第
４のカメラポジションペアのトータルな累積エラーを与
えるために、第２のカメラポジションペアと第３のカメ
ラポジションペアのためのエラー変換及び共分散行列に
よって調整される必要がある。
【０２６９】これは、ＣＰＵ４により、ステップＳ５７
２で次のように実現される。
【０２７０】
【数１９】
【０２７１】ここで、Ｒｉ’はｉ番目の累積エラー変換
のための回転行列であり、Ｒｉはｉ番目の個別のエラー
変換のための回転行列であり、ｔｉ’はｉ番目の累積エ
ラー変換のための変換ベクトルであり、ｔｉはｉ番目の
個別のエラー変換のための変換ベクトルであり、ｃｉ’
はｉ番目の累積エラー変換のための分散行列であり、Ｃ
ｎはｎ番目の個別エラー変換のための分散行列である。
【０２７２】図４１を再び参照すると、ステップＳ５２
２において各カメラポジションペアのためのエラーの計
算の後に、ＣＰＵ４は、ステップＳ５２４において、適
切なカメラポジションエラーにより３次元空間における
各残りのポイント（すなわちステップＳ５２０で計算さ
れたポイントで、図４４のステップＳ５６０で破棄され
たもの以外のポイント）の座標を調整する。これは、累
積エラー変換（図４４のステップＳ５７２で既に計算さ
れた）をポイントポジションに適用し、適切なエラー累
積（これも図４４のステップＳ５７２で計算された）を
そのポイントに加えることによりなされる。例えば、そ
の順序における第１のイメージペアからステップＳ５２
０で生成されたポイントはステップＳ５２４で調整され
ない。上述したように、このイメージペアに対するカメ
ラポジションエラーはゼロと仮定されるからである。そ
の順序内の第２と第３のイメージを用いて、ステップＳ
５２０で生成されたポイントは、第２カメラポジション
ペアのために計算されたエラー変換によって移動され、
第２カメラポジションペアのために計算された共分散行
列が移動されたポイントに加えられる。その順序内の第
３と第４のイメージからステップＳ５２０で生成された
ポイントは、第３カメラポジションペアのために図４４
のステップＳ５７２で計算された累積エラー変換により
移動され、第３カメラポジションペアのためにステップ
Ｓ５７２で計算された累積共分散行列がその移動された
ポイントに加えられる。その順序内の第４と第５のイメ
ージを用いてステップＳ５２０で計算されたポイント
は、第４のカメラポジションペアのためにステップＳ５
７２で計算された累積エラー変換により移動され、第４
カメラポジションペアのためにステップＳ５７２で計算
された累積共分散行列がその移動されたポイントに加え
られる。
【０２７３】ステップＳ５２６において、ＣＰＵ４は、
３次元空間中における実際のオブジェクト２４上の共通
ポイントに関連するポイントを結合する。すなわち、各
個別の群内のポイントは結合ポイントを生成すべく結合
される。その結合ポイントの位置は群内に存在するポイ
ントの位置に依存し、群内のポイントのエラー累積に依
存するエラー累積を有する。エラー累積は、３Ｄ空間に
おけるガウス確率密度関数であり、同じ３Ｄポイントの
位置の独立した測度を表す。それらは独立しているの
で、個別の測度がこのステップにおいて、ガウス確率密
度関数を一般的な方法で互いに乗算することにより、結
合され、結合されたガウス確率密度関数もしくはエラー
累積を与える。
【０２７４】ステップＳ５２６で生成されたポイント
が、オブジェクト２４上のユニークなポイントと実際に
は関連していないこともある。例えば、図４７に示され
るように、ポイント１００，１０２及び１０４に対する
エラー累積は、実際にはオーバーラップし、従ってこれ
らのポイントはオブジェクト２４上の同一ポイントに関
連している。従って、ステップＳ５２８において、ＣＰ
Ｕ４は、ステップＳ５２６で生成された結合ポイントが
オブジェクト２４上のユニークなイメージポイントに対
応するかどうかをチェックし、そうなっていないものを
マージする。
【０２７５】図４８は、ステップＳ５２８において、Ｃ
ＰＵ４によって実行される処理を示す。図４８を参照す
ると、ステップＳ５８０において、ＣＰＵ４は、ステッ
プＳ５２６（図４１）で生成されたポイントを、それら
のエラー楕円（すなわち、ステップＳ５２６で生成され
た結合エラー楕円）の大きさでソートし、最も小さいエ
ラー楕円のポイントを先頭としたリストを生成する。
【０２７６】ステップＳ５８２において、ＣＰＵ４はリ
スト中の次に高い順位にあるポイント（これはステップ
Ｓ５８２が最初に実行されるときには最も高いポイント
である）をリスト中の後続の全ポイントと比較する。現
在のポイントが、その１標準偏差に等価な３Ｄ距離（マ
ハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ ｄｉｓｔａ
ｎｃｅ））内に存在する全ての後続のポイントを特定す
る。
【０２７７】ステップＳ５８４において、考慮中の最高
順位のポイントは、リスト中のより下位の次の条件を満
足するポイントと結合される。その条件は、それらのポ
イント間の距離が、低順位のポイントのエラー楕円のマ
ハラノビス距離よりも小さいということである。これ
は、ステップＳ５２６で一般的な数学的手法を用いてポ
イントが結合されたのと同じ方法で、単一の結合された
ポイントを生成するための全ポイントと結合することに
より実現される。考慮中の最も高い順位のポイントは、
ステップＳ５８０で生成されたリスト中において結合さ
れたポイントへ置き換えられ、リスト中の結合ポイント
を生成するために使用されたすべての低順位ポイント
は、リストより除去される。ステップＳ５８６におい
て、ＣＰＵ４は、まだ考慮していない別のポイントがそ
のリスト中にあるかどうかを判断する。ステップＳ５８
２〜Ｓ５８６は、上述した方法で、リスト中のすべての
ポイントが処理されるまで繰り返される。
【０２７８】図４１を再び参照すると、ステップＳ５２
０からＳ５２８を実行した後で、ＣＰＵ４は３次元空間
における複数ポイントを生成する。それらポイントの各
々は、オブジェクト２４の表面上のポイントと関連して
いる。
【０２７９】図３を再び参照すると、ステップＳ１２に
おいて、ＣＰＵ４はオブジェクト２４の表面を表す面を
生成するために、ポイントを処理する。
【０２８０】図４９は、図３のステップＳ１２において
面を生成する際の、ＣＰＵ４によって実行される処理を
示す図である。図４９を参照すると、ステップＳ５９０
において、ＣＰＵ４は、一般的な手法における３次元空
間内のポイントのデラウナリの三角生成（Ｄｅｌａｕｎ
ａｒｙ ｔｒｉａｎｇｕｌａｔｉｏｎ）を実行する。そ
の手法は、例えば、「Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎ
ａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」、Ｆａｕｇｅ
ｒａｓ著、Ｃｈａｐｔｅｒ １０、ＭＩＴ Ｐｒｅｓ
ｓ、ＩＳＢＮ ０−２６２−０６１５８−９に記載され
ている。この処理は、複数の平らな三角形面を生成すべ
く、ポイントを相互に接続する。しかし、オブジェクト
２４の内側を通して、多数の相互接続がポイント間にお
いてなされ、外部からは見えないオブジェクト２４の内
部における面を生成する。加えて、それは、オブジェク
ト２４の凹部領域にまたがる擬似的表面を生成する可能
性がある。それによって、実際の凹部表面が覆い隠され
てしまう。従って、ステップＳ５９２〜Ｓ６００におい
て、ＣＰＵ４はこれらの隠れた擬似的な表面を除去する
ためにデータを処理する。
【０２８１】ステップＳ５９２において、ＣＰＵ４は、
その順序における次のカメラ（これは、ステップＳ５９
２が最初に処理されるときは第１のカメラとなる）を考
慮する。そして、ステップＳ５９４において、そのカメ
ラから見える次の３Ｄポイント（ステップＳ５９４が最
初に実行されるときは最初の３Ｄポイント）へ、そのカ
メラから光線を投射する。すなわち、そのカメラに関す
るイメージデータ内でマッチしたポイントからオリジネ
イトされる３次元空間における次のポイントである。そ
のカメラと３Ｄポイント間で光線を投射するとき、ＣＰ
Ｕ４は、そのポイントのエラー楕円を横切る最も近いポ
イントでその光線をストップする。ステップＳ５９６に
おいて、ＣＰＵ４は一般的なテクニックを用いて、その
光線がステップＳ５９０で生成された面を横切るかどう
かを判断する。そのテクニックは、例えば「Ｇｒａｐｈ
ｉｃｓ Ｇｅｍｓ」、Ａ．Ｇｌａｓｓｎｅｒ著、Ａｃａ
ｄｅｍｉｃ Ｐｒｅｓｓ Ｐｒｏｆｅｓｓｉｏｎａｌ，
１９９０、 ＩＳＢＮ ０−１２−２８６１６６−３の
Ｃｈａｐｔｅｒ ７に記載されている。明らかに、その
ポイントとカメラの間には面は存在しない。さもなけれ
ば、カメラはそのポイントを見ることができない。従っ
て、光線によって横切られるあらゆる面がステップＳ５
９６で除去される。ステップＳ５９８でＣＰＵ４は、カ
メラによって見ることのできる別のポイントが３次元空
間内にあるかどうかを判断する。ステップＳ５９４から
Ｓ５９８は、上述した方法ですべてのポイントが処理さ
れるまで繰り返される。ステップＳ６００において、Ｃ
ＰＵ４は、その順序において別のカメラがあるかどうか
を判断する。ステップＳ５９２〜Ｓ６００は、上述のよ
うな面を除去するためにすべてのカメラが考慮されるま
で繰り返される。
【０２８２】上述した処理において、ステップＳ５９４
で、ＣＰＵ４はカメラからポイントのためのエラー楕円
のエッジへ光線を設定する（ポイント自身ではなく）、
そして、光線がいずれかの面を横切るかどうかを考慮す
る。これは、ポイントの位置的なエラーが考慮されると
いう長所をもたらす。例えば、もしも光線が、ポイント
までの間で投射されるならば、ポイントとそのエラー楕
円のカメラに最も近いエッジとの間にある面はその光線
によって横切られ、従って、除去される。しかしなが
ら、これは不正確な結果をもたらす。３Ｄポイントは正
確にそのエラー楕円内のあらゆるところに存在し、よっ
て面の前に存在する可能性があるからである。本実施形
態における処理はこれを考慮する。
【０２８３】ステップＳ６０２において、ＣＰＵ４は、
残りの三角面を考慮する。そして、自由空間に接触する
面を持たないあらゆる三角形（これは、そのオブジェク
ト内に閉じ込められた面に対応する）を除去する。これ
は、一般的なテクニックを用いて実行される。そのよう
なテクニックは、例えば、「Ｔｈｒｅｅ−Ｄｉｍｅｎｓ
ｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」、Ｆａ
ｕｇｅｒａｓ著、Ｃｈａｐｔｅｒ １０， ＭＩＴ Ｐ
ｒｅｓｓ， ＩＳＢＮ ０−２６２−０６１５８−９に
記載されている。
【０２８４】ステップＳ５９０からＳ６０２を実行した
後、ＣＰＵ４はオブジェクト２４を表す３次元空間にお
ける複数の面を生成する。ステップＳ６０４からＳ６１
０において、ＣＰＵ４は、各三角形表面に表示すべきテ
クスチャを決定する。
【０２８５】ステップＳ６０４において、ＣＰＵ４は、
次の残りの三角形（ステップＳ６０４が最初に実行され
るとき、これは、第１の残余三角形である）に対する法
線を計算する。ステップＳ６０６において、ＣＰＵ４
は、ステップＳ６０４で計算された法線と各カメラの光
軸との内積を計算し、法線に最も近い角度で三角形を見
たカメラを特定する（これは、その光軸と面の法線との
間の角度が最も小さいカメラである）。ステップＳ６０
８において、ＣＰＵ４は、ステップＳ６０６で特定され
たカメラのためのデータを読み出し（図４のステップＳ
１８で格納されたもの）、三角形のためのテクスチャを
決定するためにその三角形の頂点の間にあるイメージデ
ータを読み出す。ステップＳ６１０において、ＣＰＵ４
は、テクスチャを決定すべき別の残余の三角形があるか
どうかを判断する。ステップＳ６０４からＳ６１０は、
すべての三角形についてテクスチャが決定されるまで繰
り返される。
【０２８６】図３を再度参照すると、本実施形態におい
て、ステップＳ１２でオブジェクトを表す面を生成した
後、ＣＰＵ４はステップＳ１４にてその面を表示する。
これは一般的な方法で実行される。たとえば、「Ｃｏｍ
ｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｐｒｉｎｃｉｐｌｅ
ａｎｄＰｒａｃｔｉｃｅ」、Ｆｏｌｅｙ，ｖａｎ Ｄａ
ｍ，Ｆｅｉｎｅｒ及びＨｕｇｈｅｓ著、Ｓｅｃｏｎｄ
Ｅｄｉｔｉｏｎ、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ Ｐｕ
ｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ Ｉｎｃ．，ＩＳＢ
Ｎ ０−２０１−１２１１０−７に記載の方法を用いる
ことができる。この方法の概要を以下に述べる。
【０２８７】図５０は、ステップＳ１４で表面データを
表示する際のＣＰＵ４によって実行される処理を示す。
図５０を参照すると、ステップＳ６２０において、ＣＰ
Ｕ４は、オブジェクトに対するライティングパラメータ
（照明パラメータ）、すなわち、どのようにオブジェク
ト画が照らされるかを定義するデータを計算する。この
データは、入力デバイス１４を用いてユーザによって入
力されてもよいし、或いは、デフォルトの照明パラメー
タが用いられてもよい。ステップＳ６２２において、オ
ブジェクトが観察されるべき方向が、入力デバイス１４
を用いてユーザにより定義される。
【０２８８】ステップＳ６２４において、オブジェクト
のｐｌａｎａｒ三角形面を特定する頂点は、それらが定
義されるオブジェクト空間から、光源が定義されるモデ
ル空間へ変換される。ステップＳ６２６において、光源
の位置に関するデータ及び各三角形面のテクスチャデー
タ（ステップＳ６０８で前もって決定されている）を処
理することで、三角形面が照らされる。その後、ステッ
プＳ６２８において、モデリング空間は、ステップＳ６
２２で選択されて方向付けられたビューイングに依存す
るビューイング空間に変換される。この変換は、ビュー
の特定のフィールドを定義する。それは、通常、モデリ
ング空間の全体よりも小さい空間をカバーする。従っ
て、ステップＳ６３０において、ＣＰＵ４は面を除去、
或いはそれらのビューのフィールドの外に出る部分を除
去するために、クリッピング処理を実行する。
【０２８９】この段階までに、ＣＰＵ４によって処理さ
れたオブジェクトデータは、３次元空間座標位置を決定
する。ステップＳ６３２において、三角形面の頂点が、
２次元イメージを特定するために、投影される。
【０２９０】２次元イメージを投影した後、「前向き」
の三角形面、すなわち、観察者の方向を向くもの、及び
「後ろ向き」の三角形面、すなわち観察者には見えない
ものを特定する必要がある。従って、ステップＳ６３４
において、後ろ向きの面が特定され、抜き取られる。こ
うして、ステップＳ６３４において、可視のポリゴンの
三角形面を特定する頂点が２次元において定義される。
【０２９１】ステップＳ６３６において、面を定義する
２次元データはＣＰＵ４により、ピクセル値を生成する
べく、図４９のステップＳ６０８で前もって決定された
各面のテクスチャを定義するデータを考慮に入れて、ス
キャンコンバート（ｓｃａｎ−ｃｏｎｖｅｒｔ）され
る。
【０２９２】ステップＳ６３８において、ステップＳ６
３６で生成されたピクセル値が、フレームバッファに面
毎に書き込まれる。それにより、完全な２次元イメージ
のためのデータを生成する。
【０２９３】ステップＳ６４０において、ＣＰＵ４は、
ピクセル値を定義する信号を生成する。信号は、ディス
プレイユニット１８上にオブジェクトのイメージを生成
するために用いられ、及び／又は、例えばビデオレコー
ダ２０内のビデオテープ上に記録される。或いは、信号
は表示或いは記録のために遠隔の受信機に送信されても
よい。
【０２９４】これまで記述してきた実施形態に対し、種
々の変形が可能である。
【０２９５】上述の実施形態において、図２に関連して
記述したように、カメラ１２は、オブジェクトのイメー
ジを記録するために、オブジェクト２４のまわりの異な
る位置へ移動される。しかしながら、これに限られるも
のではなく、カメラ１２が固定位置に維持され、オブジ
ェクト２４が移動してもよい。もちろんカメラ１２とオ
ブジェクト２４の位置の双方が動いてイメージを記録し
てもよい。
【０２９６】カメラ１２は、オブジェクト２４のイメー
ジの連続的なシーケンスを記録するビデオカメラであっ
てもよい。ＣＰＵ４によって処理されるイメージデータ
は、ビデオシーケンスからイメージデータフレームを選
択することによって得られる。
【０２９７】上記実施形態において、図４のステップＳ
２２及びＳ２４でイメージの位置的順序をアレンジする
とき、ユーザがその順序における正しい位置へディスプ
レイ上のイメージを移動する（図５に関連して記述した
通りである）、そして、ＣＰＵ４は、その順序における
それらの位置を決定するためにイメージ間の距離を計算
する。これに替えて、ユーザがその順序における位置を
表す数字を各イメージに割り当ててもよい。利便のため
に、ＣＰＵ４は、割り当てられた番号に従ってユーザに
イメージを再表示する。
【０２９８】上記実施形態の記述において、３Ｄモデル
を生成するためにオブジェクト２４の５つのイメージが
処理された。しかし、他の数のイメージが用いられても
よいことはもちろんである。
【０２９９】図７のステップＳ５２、Ｓ５４、Ｓ６２、
Ｓ６４で実行された上述の処理のために、異なる初期特
徴マッチングテクニックが用いられてもよい。例えば、
ステップＳ５２とＳ５４で実行された初期特徴マッチン
グは、イメージ中のコーナーを検出するが、この処理
は、イメージデータのカラー或いは輝度値における最
小、最大或いはサドル（ｓａｄｄｌｅ）点を検出するテ
クニックで置き換えてもよい。この種のテクニックは、
例えば、「Ｃｏｍｐｕｔｅｒ ａｎｄ ＲｏｂｏｔＶｉ
ｓｉｏｎ Ｖｏｌｕｍｅ １」、Ｈａｒａｌｉｃｋ ＆
Ｓｈａｐｉｒｏ著、Ｃｈａｐｔｅｒ ８、Ａｄｄｉｓ
ｏｎ−Ｗｅｓｌｅｙ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐ
ａｎｙ，ＩＳＢＮ ０−２０１−１０８７７−１（Ｖ．
１）に記載された方法が、そのようなポイントを検出す
るのに用いられ得る。検出されたポイントは、前述の適
応化最小二乗相関を用いてマッチングされる。上述で参
照されたすべてのタイプのポイント、すなわち、コーナ
ーポイント、最小ポイント、最大ポイント及びサドルポ
イントを検出し、マッチする初期特徴マッチングテクニ
ックが採用されてもよい。
【０３００】上記実施形態では、ピクセルのエッジマグ
ニチュードとエッジ方向値を用いて、ステップＳ１０６
とＳ１０８でイメージ中におけるエッジを特定する。こ
れに替えて、エッジは、ピクセルのエッジマグニチュー
ドもしくはエッジ方向値の一方のみを用いて特定されて
もよい。
【０３０１】上記実施形態では、図７のステップＳ６２
とＳ６４でアフィン初期特徴マッチングを実行する際
に、ＣＰＵ４は、各イメージにおけるユーザ特定ポイン
トを三角形で結び、その三角形内に含まれるイメージの
部分間の関係を計算するために、対応する三角形の各頂
点の座標を用いることにより、イメージペアの部分間の
関係を計算する。変形例として、ユーザ特定ポイントの
みを用いる代わりに、三角形を生成するためにＣＰＵ４
はユーザ特定およびＣＰＵ特定ポイントをコネクトする
ようにアレンジされてもよいし、ＣＰＵ特定ポイント
（例えば、コーナーポイント）だけを用いるようにアレ
ンジされてもよい。
【０３０２】上記実施形態において、アフィン初期特徴
マッチングを実行する際に、ステップＳ１６２におい
て、ＣＰＵ４は、イメージを矩形に分割するために水平
および垂直のグリッドを用いる。しかしながら、イメー
ジは、他の方法において、より小さい領域へ均等に分割
されてもよい。例えば、長方形へ分割するグリッドが用
いられてもよい。また、非水平および非垂直ラインを有
するグリッドが用いられてもよい。
【０３０３】上述の実施形態において、ステップＳ５６
とＳ６６で、カメラ変位を計算する際に、ＣＰＵ４はパ
ースペクティブ計算を２度実行する（図２５）。１つは
ユーザ特定ポイントのみを用いて（ステップＳ２４６〜
Ｓ２６２）、そしてもう１つはユーザ特定ポイントとＣ
ＰＵ計算ポイントの両方を用いて（ステップＳ２６６か
らＳ２８２）行われる。同様にＣＰＵ４は、アフィン計
算を２回（図２７）実行する。１つは、ユーザ特定ポイ
ントのみを用いて（ステップＳ３１２からＳ３２７）、
そしてもう１つはユーザ特定およびＣＰＵ特定ポイント
を用いる（ステップＳ３３０からＳ３４５）。変形例と
して、ＣＰＵ４は、各パースペクティブ計算とアフィン
計算のそれぞれの２回の計算を次のようにしてもよい。
すなわち、 ・１回はユーザ特定ポイントのみを用いて、次にＣＰＵ
計算されたポイントのみを用いて計算する。 ・１回は、ＣＰＵ家違算されたポイントのみを用い、も
う１回ではユーザ特定およびＣＰＵ計算ポイントの両方
を用いる。
【０３０４】また、各パースペクティブおよび各アフィ
ン計算は、３回計算されてよい。例えば、１回は、ユー
ザ特定ポイントで、もう１回はＣＰＵ計算ポイント、さ
らにもう１回はユーザ特定およびＣＰＵ計算ポイントの
両方で行う。
【０３０５】上述した実施形態において、ステップＳ２
４０におけるパースペクティブカメラ変換を計算する際
に、ＣＰＵ４は物理的なｆｕｎｄａｍｅｎｔａｌ行列を
テストする（図２５のステップＳ２５３、２５５、２７
３およびＳ２７５）。代わりに、他の物理的に信頼性の
ある行列、たとえば物理的ｅｓｓｅｎｔｉａｌ行列（Ｅ
ｐｈｙｓ）がテストされもよい。
【０３０６】上記実施形態において、ステップＳ５００
とステップＳ５０２（図３９）で、制約的特徴マッチン
グを実行する際（図７のステップＳ７４）、「ダブル」
ポイント（すなわち、トリプル中のイメージペアにたわ
たってマッチするポイント）が考慮され、トリプルポイ
ント（すなわち、３つのイメージにわたってマッチする
ポイント）を形成すべくトリプル内の別のイメージにお
ける対応ポイントを特定するべく試みるために処理が実
行される。また、シングルポイント、すなわちトリプル
内の１つのイメージで特定されるものの他のイメージと
の間ではマッチするポイントが見出されていないポイン
ト、を考慮することは可能であり、トリプルの他の２つ
のイメージの各々において対応点を特定するべく試みる
処理を実行することは可能である。たとえば、トリプル
中の第１イメージよりシングルポイントを取り出し、図
７のステップＳ５６或いはステップＳ６６で前もって計
算されたカメラ変換を用いて、第２イメージの対応する
位置のポイントを特定することができる。適応化最小二
乗相関テクニック、たとえば、前述で参照した、「Ａｄ
ａｐｔｉｖｅ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｃｏｒｒ
ｅｌａｔｉｏｎ：ＡＰｏｗｅｒｆｕｌ Ｉｍａｇｅ Ｍ
ａｔｃｈｉｎｇ Ｔｅｃｈｎｉｑｕｅ」、Ａ．Ｗ．Ｇｒ
ｕｅｎ著、Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ Ｒｅｍｏｔ
ｅ Ｓｅｎｓｉｎｇ ａｎｄ Ｃａｒｔｏｇｒａｐｈ
ｙ、１９８５、１７５−１８７頁に記載のテクニック
が、第２イメージ中の対応ポイントの付近におけるピク
セルの相似性測度を決定するのに用いられてもよい。そ
して最も高い相似性測度を閾値と比較し、そのような相
似性測度値を有するピクセルが第１のイメージのポイン
トとマッチするかを判断する。マッチが見出されたら、
第３イメージにおけるポイントについてマッチが見出さ
れるかどうかを判断するために、類似の処理が実行さ
れ、それによりトリプルポイントが特定される。
【０３０７】上記実施形態において、図７のステップＳ
６２或いはステップＳ６４でイメージペアについてアフ
ィン初期特徴マッチングを実行する際、ＣＰＵ４は、そ
の順序において先行するイメージ内のポイントとマッチ
するが、第２イメージペア中のポイントとはマッチしな
い第１イメージペア中の点を考慮し、そのようなポイン
トを第２イメージペアにおけるポイントとマッチするよ
う試みる（図１８のステップＳ１６６、Ｓ１７６）。こ
うしてＣＰＵ４は、イメージのシーケンスを通して現在
のイメージから当該順序の後続のイメージヘマッチした
ポイントを伝播するために処理を実行する。また、その
ようなポイントを伝播する処理を反対方向に行うことも
可能である。すなわち、現在のイメージから、当該順序
における先行イメージへポイントを伝播してもよい。た
とえば、順序内のイメージは反対方向に考慮され得る。
すなわち、当該順序中の最終イメージ（図２の例で、位
置Ｌ５から撮られたイメージ）からはじめて、上述と同
様の方法データを処理するようにしてもよい。また、処
理は、両方向へポイントを伝播すべく実行されてよい。
これは、単一方向へポイントを伝播するべく処理が実行
される場合よりもポイント間のより多くのマッチングを
提供する可能性がある。これは、図７のステップＳ６６
で計算されるべきより正確なカメラ変換を可能とする。
【０３０８】上記の実施形態において、図７のステップ
Ｓ７４で制約的特徴マッチングをＣＰＵ４が実行する
際、図３９のステップＳ５００においてイメージトリプ
ルの第２および第３イメージ内のポイント間の新たなマ
ッチが特定される。前述のように、これらのポイントは
後続の処理において考慮される。その新たなポイントが
マッチングするイメージペアは、考慮される次のイメー
ジトリプルにおける第１のイメージペアとなるからであ
る。こうして、ステップＳ５４或いはＳ６４において、
次のトリプルにおける第２イメージペアのために自動的
な初期特徴マッチング、或いはアフィン初期特徴マッチ
ングが実行されるとき、制約的特徴マッチングによって
得られる新たなマッチングポイントは、上述のように、
そのトリプルの第３のイメージにおいて、マッチングポ
イントを特定するために用いられ得る。一方、上記実施
形態において、ＣＰＵ４が制約的特徴マッチングを実行
する際に、図３９のステップＳ５０２で生成された、ト
リプルにおける第１および第２イメージ内のポイント間
の新たなマッチングは、いかなる後続の初期特徴マッチ
ング処理においても考慮されない。これは、新たなマッ
チングがトリプル内の第１のイメージペアにわたってマ
ッチし、このペアは、さらに後続の初期特徴マッチング
処理において考慮されないからである。しかしながら、
新たなマッチングは、ＣＰＵ４がステップＳ１０（図
３）にて３Ｄデータを生成する際に考慮される。新たに
マッチしたポイントは、トリプルポイントの部分を形成
するからである。変形例としては、制約的なマッチング
の間に特定された新しいマッチングのすべてを考慮に入
れてカメラ変換を再計算するための追加的な処理を実行
することを可能とする。これは、各イメージトリプルに
関するカメラ変換について２つの解を生成する。すなわ
ち、第１は、図７に関して上述した方法において生成さ
れる解であり、第２は、新たなマッチングを考慮するた
めの付加的処理によって生成される。これらの２つの解
のうち、最も正確な解が選択される。
【０３０９】上述した実施形態において、ステップＳ５
２、Ｓ５４、Ｓ６０、Ｓ６２、Ｓ６４、Ｓ７２およびＳ
７４において、ポイント（コーナーポイント、最小ポイ
ント、最大ポイント、サドルポイント等）がイメージ内
でマッチングされる。しかしながら、例えば線等の、他
の特徴で特定およびマッチングを行うことも可能であ
る。
【０３１０】ステップＳ５２８において、上記実施形態
では、ＣＰＵ４は、ポイントが互いの１標準偏差内にあ
ればそれらをマージする。しかしながら、それらを結合
する代わりにポイントのひとつを削除してもよい。
【０３１１】上述した実施形態において、図３のステッ
プＳ１２において面を生成し、ＣＰＵ４は、ステップ１
４で面データを表示すべく処理を実行する。これに替え
て、もしくは付加的に、ステップＳ１４で面データを表
示する代わりに、ＣＰＵ４が以下の処理を実行してもよ
い。すなわち、 ・例えば、適切な形状へ材料をカットするカッティング
装置を制御することにより、オブジェクト２４のモデル
を製造する製造設備を制御する。 ・例えばデータベースに格納されたデータと比較するこ
とにより、オブジェクトを認識するための処理を実行す
る。 ・オブジェクトのサイズを記録するための絶対的な計測
値を取ることにより、或いは、前もって生成されたオブ
ジェクトのモデルとそのモデルを比較してそれらの間に
おける変化を判断することにより、そのオブジェクトを
計測するための処理を実現する。 ・ロボットを制御して、そのオブジェクトの回りをナビ
ゲートするための処理を実行する。 ・モデルを表すオブジェクトデータを、遠隔の処理装置
に伝送する（たとえば、ＣＰＵ４はオブジェクトデータ
をＶＲＭＬフォーマットでインターネットを介して伝送
し、ＷＷＷブラウザで処理することを可能とする）。も
ちろん、オブジェクトデータは他の方法で利用されても
よい。
【０３１２】また、上述したテクニックは、たとえば、
地理情報システム（ＧＩＳ）もしくは他の地形データベ
ースに入力されている３次元データ地形図作成および地
形調査において用いられてもよい。
【０３１３】
【図面の簡単な説明】
【図１】本発明の実施形態における画像処理装置のコン
ポーネントを示す概略図である。
【図２】オブジェクトの周囲の異なる位置がらオブジェ
クトをイメージングすることによりイメージデータを収
集する様子を表す図である。
【図３】本発明の実施形態における図１に示される画像
処理装置によって実行される処理のトップレベルを表す
図である。
【図４】図３のステップＳ２において、初期のデータ入
力の間に実行されるステップを示す図である
【図５】図４のステップＳ２２において、ユーザによる
イメージの並べ替えを説明する図である。
【図６】図１の、ステップＳ４における初期特徴マッチ
ング、ステップＳ６におけるカメラ変換の計算、ステッ
プＳ８における制約的な特徴マッチングにおける処理の
間の関係を説明する図である。
【図７】図６に示される処理の間の関連を詳細に示す図
である。
【図８】図７のステップＳ５２における、イメージトリ
プル内の第１のイメージペアにわたる自動的な初期特徴
マッチングにおける処理を示す図である。
【図９】図７のステップＳ５４における、イメージトリ
プル内の第２のイメージペアにわたる自動的な初期特徴
マッチングにおける処理を示す図である。
【図１０】（ａ）はパースペクティブ画像を、（ｂ）は
アフィン画像を概略的に示した図である。
【図１１】図７のステップＳ６２もしくはステップＳ６
４において、トリプルイメージ内の第１（もしくは第
２）のイメージペアのためのアフィン初期特徴マッチン
グの間に実行される処理のトップレベルを示す図であ
る。
【図１２】図１１のステップＳ１００における、各イメ
ージペア内のエッジを検出する処理を示す図である。
【図１３】図１２のステップＳ１０６もしくはステップ
Ｓ１０８におけるエッジ強度の計算において考慮される
ピクセルを表す図である。
【図１４】図１２のステップＳ１０６及びステップＳ１
０８におけるエッジ強度の計算で実行される処理を示す
図である。
【図１５】図１２のステップＳ１１２において他のエッ
ジとクロスオーバするエッジを除去する際に実行される
処理を示す図である。
【図１６】２つのエッジの例を説明する図であり、
（ａ）及び（ｂ）はエッジがクロスしない例を、（ｃ）
はエッジがクロスする例を示す図である。
【図１７】図１１のステップＳ１０２においてポイント
を三角形に接続する際の処理手順を説明する図である。
【図１８Ａ】図１１におけるステップＳ１０４で、イメ
ージペアにおける更なる対応ポイントを計算する際に実
行される処理手順を説明する図である。
【図１８Ｂ】図１１におけるステップＳ１０４で、イメ
ージペアにおける更なる対応ポイントを計算する際に実
行される処理手順を説明する図である。
【図１９】図１８のステップＳ１６２、Ｓ１７４及びＳ
１８０における矩形のグリッドの使用を示す図である。
【図２０】図７のステップＳ５６及び６６においてイメ
ージトリプルに関するカメラ変換を計算するときに実行
される処理のトップレベルを示す図である。
【図２１】図２０のステップＳ２０２においてルーチン
１を実行する際に実行される処理のトップレベルを示す
図である。
【図２２】図２１のステップＳ２０６においてパラメー
タをセットアップする際に実行される処理を示す図であ
る。
【図２３】図２２のステップＳ２２４において実行され
るべき繰り返し数を決定するための処理手順を説明する
図である。
【図２４】図２１のステップＳ２０８もしくはＳ２１０
において、トリプル内の第１のイメージペアもしくはト
リプル内の第２のイメージペアのためのカメラ変換を計
算する際の処理手順を説明する図である。
【図２５Ａ】図２４のステップＳ２４０におけるイメー
ジペアのためのパースペクティブ計算を実行する際の処
理手順を説明する図である。
【図２５Ｂ】図２４のステップＳ２４０におけるイメー
ジペアのためのパースペクティブ計算を実行する際の処
理手順を説明する図である。
【図２５Ｃ】図２４のステップＳ２４０におけるイメー
ジペアのためのパースペクティブ計算を実行する際の処
理手順を説明する図である。
【図２６】図２５のステップＳ２５４及びＳ２７４で、
物理的ｆｕｎｄａｍｅｎｔａｌ行列をマッチしたユーザ
特定ポイント及び計算ポイントに対してテストする際の
処理手順説明を説明する図である。
【図２７Ａ】図２４のステップＳ２４２において、イメ
ージペアのためにアフィン計算を実行する際の処理手順
を説明する図である。
【図２７Ｂ】図２４のステップＳ２４２において、イメ
ージペアのためにアフィン計算を実行する際の処理手順
を説明する図である。
【図２８】図２１のステップＳ２１２における、トリプ
ル内の３つのイメージ全てに対するカメラ変換を計算す
る際の処理手順を説明する図である。
【図２９】トリプルの３つのイメージのための、スケー
ルｓ、回転角度ρ１、ρ２を説明する図である。
【図３０】図２８のステップＳ３５０、Ｓ３５２、Ｓ３
５４及びＳ３５６において、ｓ及び／又はρ１及び／又
はρ２を計算する際の処理手順を表す図である。
【図３１】（ａ）〜（ｄ）は、図３０のステップＳ３８
０において考慮された異なるρ１、ρ２の組み合わせを
説明する図である。
【図３２】図３０のステップＳ３８２における、最良の
スケールを計算する際の処理手順を示す図である。
【図３３】３つのカメラ全てからの光線を単一のポイン
トでクロスさせるために、図３２のステップＳ４００に
おいてカメラの変換をどのように変化させるかを説明す
る図である。
【図３４】図３２のステップＳ４０４において、全ての
トリプルポイントに対して計算されたスケールをテスト
するための処理手順を説明する図である。
【図３５】図３４のステップＳ４２６において、トリプ
ルイメージの外側のイメージにおけるポイントに対する
光線の投射を説明する図である。
【図３６】図２０のステップＳ２０４におけるルーチン
２の処理を実行する際の処理手順のトップレベルを示す
図である。
【図３７】図３６のステップＳ４５０において、存在す
るパラメータを読み、新たなイメージペアのためのパラ
メータをセットアップする際の処理手順を説明する図で
ある。
【図３８】図３６のステップＳ４５４においてトリプル
内の３つのイメージ全てに関するカメラ変換を計算する
際の処理手順を示す図である。
【図３９】図７のステップＳ７４における、トリプルイ
メージのための制約的な特徴マッチングを実行する際の
処理のトップレベルを示す図である。
【図４０】図３９のステップＳ５００及びＳ５０２にお
ける処理を説明する図であって、存在するダブルポイン
トの各々に関して対応するポイントを特定するための処
理手順を示す図である。
【図４１】図３のステップＳ１０における、３Ｄデータ
の生成の処理手順を示す図である。
【図４２】図４１のステップＳ５２０において、ユーザ
特定されたダブルポイントの各々、もしくは後続のイメ
ージとのトリプルの一部を形成するポイントの３Ｄ投射
を計算する際の処理を説明する図である。
【図４３】図４１のステップＳ５２０が５つのイメージ
にわたるポイントに関して実行された場合の結果を説明
する図である。
【図４４Ａ】図４１のステップＳ５２２において、不正
確な３Ｄポイントを特定、破棄し、各カメラポジション
ペアのためのエラーを計算する処理手順を説明する図で
ある。
【図４４Ｂ】図４１のステップＳ５２２において、不正
確な３Ｄポイントを特定、破棄し、各カメラポジション
ペアのためのエラーを計算する処理手順を説明する図で
ある。
【図４５Ａ】図４４のステップＳ５５６において、与え
られたカメラポジションペアの３Ｄポイントと次のカメ
ラポジションペアの対応ポイントとの間について計算さ
れたシフトを説明する図である。
【図４５Ｂ】図４４のステップＳ５５６において、与え
られたカメラポジションペアの３Ｄポイントと次のカメ
ラポジションペアの対応ポイントとの間について計算さ
れたシフトを説明する図である。
【図４６】図４４のステップＳ５６６を実行した結果の
次のカメラポジションペアのための修正された３Ｄポイ
ントと、現在のカメラポジションペアのための対応する
ポイントを説明する図である。
【図４７】３Ｄ空間におけるポイントの数とそれらに関
連付けられたエラー楕円を説明する図である。
【図４８】結合された３Ｄポイントがユニークなイメー
ジポイントに対応するかをチェックし、そうでないもの
を図４１のステップＳ５２８においてマージする際の処
理手順を説明する図である。
【図４９】図３のステップＳ１２において面を生成する
際の処理手順を示す図である。
【図５０】図３のステップＳ１４において面データを表
示する際に実行される処理手順を示す図である。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１０年１０月９日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 画像処理装置
【特許請求の範囲】
【発明の詳細な説明】
【０００１】本装置は画像処理装置および方法に関する
ものである。
【０００２】実生活におけるオブジェクトの３次元コン
ピュータモデルの生成は伝統的に時間浪費型で高価であ
り、熟練した人材および／または高価な設備を必要とし
た。このことの一つの理由は、オブジェクト上の点につ
いて、２次元における相対的な位置とともに、相対的な
深さ（奥行き）も決定しなければならないことにある。
【０００３】実在するオブジェクトからの３次元コンピ
ュータモデルの生成のための周知のテクニックは、動的
技法と受動的技法の２つのカテゴリのうちのいずれかひ
とつに属する。動的技法では、奥行き情報はオブジェク
トの表面を動的にセンスすることで得られる。また、受
動的技法では、奥行き情報はオブジェクトのイメージか
ら得られる。
【０００４】動的技法の例としては、パルスレーザビー
ムでオブジェクトをスキャンし、それらの伝送時間に対
するパルスの検出時間を測定して奥行き情報を決定する
こと（レーザのレンジファインダーとして）、および位
置感知用のプローブでもってオブジェクトの表面上の複
数のポイントに接触することがあげられる。
【０００５】また、一般的な受動的な技法においては、
異なるカメラポジションから撮影した少なくとも２つの
オブジェクトのイメージが必要である。そのイメージか
ら３次元コンピュータモデルを構築するために、まず第
１に、各イメージにおいて、オブジェクト上の実際に同
じポイントが表すポイントの位置を知ること、そして第
２に、そのイメージが撮影された位置からの相対的な距
離を知ることが必要である。これらは、特に、負担の大
きな要求である。結果として、周知の受動的なシステム
においては、識別するためのマーク／キャリブレーショ
ンがオブジェクトやその周囲に付加されて、マッチング
ポイントをイメージ中においてより容易に識別しうるよ
うにし、および／またはイメージはあらかじめ知られた
カメラ位置から撮影される。
【０００６】たとえば、WO-A-90/10164は、オブジェク
トの２つのイメージから計算されたオブジェクト表面上
の３次元座標におけるポイントを用いて、オブジェクト
中のひずみ分布を測定するシステムを開示している。イ
メージにおけるポイントのマッチングを促進（容易化）
するために、そのイメージが撮影される前に、電気化学
的なエッチングもしくはシルクスクリーンによって、一
様な矩形のグリッドパターンがオブジェクトに施され
る。こうして、グリッド線の交点の対応する点は、イメ
ージ中において容易に識別されるようになる。さらに、
オブジェクトは回転テーブル上に置かれる。その回転テ
ーブルは、イメージの間のあらかじめ知られた角度だけ
回転する。これにより、相対的なカメラ位置が決定され
る。
【０００７】また、米国特許第4803645号はオブジェク
ト上の点の３次元座標を決定するシステムを開示する。
このシステムにおいて、グリッドもしくは類似の周期的
パターンが光プロジェクタを用いてオブジェクト上に投
影され、そして、オブジェクトのイメージは、固定され
た予め決められた位置で３つのイメージングシステムを
用いて撮影される。
【０００８】WO-A-88/02518は、予め決められた、既知
のコンフィグレーションにおいてセットされたイメージ
ングデバイスから撮影された複数のイメージから、オブ
ジェクトの深さマップ（depth map）を生成するシステ
ムを開示する。同様に、米国特許第5307136号は、自動
車距離検出システムを開示する。それは、ユーザの自動
車内に、予め決められた、既知のコンフィグレーション
で装着された複数のカメラから撮影されたイメージを用
いて自動車のレンジ（距離）を決定するものである。
【０００９】GB-A-2244621、WO-A-92/06444、および米
国特許第4695156号は、既知のカメラ位置から撮影され
たオブジェクトのステレオイメージから、オブジェクト
の表面上の点の３次元座標を決定するシステムを開示し
ている。
【００１０】しかしながら、多くの場合において、参照
用グリッドあるいはマーキング・キャリブレーションを
オブジェクト上に提供すること、あるいは、既知の相対
的位置からイメージを撮影することは不便であり、高価
であり、実用的でない。イメージ中におけるポイントを
マッチさせること、及び／或いは相対的なカメラ位置を
計算することは、信頼性のある、正確な技術を必要とす
る。
【００１１】さらに、たとえ、マッチングポイントが参
照特徴を用いて特定されても、もしもイメージが既知の
相対的位置から撮影されたのでなければ、そのイメージ
が撮影された位置を決定するための正確で信頼性のある
技術が必要である。
【００１２】受動的技術が採用されるとき、オブジェク
トもしくはその周辺における参照用のマーキングあるか
否か、且つ／又は既知のカメラ位置が用いられるか否か
にかかわらず、マッチしたイメージポイント及びカメラ
位置を用いて３次元座標ポイントを正確に生成する方法
が必要である。しかしながら、参照マーキングが用いら
れずカメラ位置が未知である場合には、これは特に重要
である。イメージにおいて特定されたマッチングポイン
トの不正確さ、及び計算されたカメラ位置の不正確さが
ポイントの計算された３次元座標の不正確さの原因とな
るからである。
【００１３】本発明は上述した一つもしくはそれ以上の
問題に鑑みてなされたものである。
【００１４】一つの態様において、本発明はオブジェク
トのイメージが撮られた位置を決定するための装置及び
方法を提供することを目的とする。
【００１５】他の態様において、本発明は、マッチした
イメージ特徴とイメージの相対的な位置関係を用いて、
３次元空間におけるポイントを決定するための装置及び
方法が提供される。
【００１６】本発明によって提供される画像処理装置及
び方法においては、第１、第２及び第３のイメージの間
の位置的関係が、イメージ内のマッチした特徴を用いて
複数回決定され、各回において上記３つのイメージ間の
変換の異なる組み合わせが用いられ、最も正確な関係が
選択される。好ましくは、考慮される変換の組み合わせ
は、アフィン（affine）−アフィン、アフィン−パース
ペクティブ（perspective）、パースペクティブ−アフ
ィン、パースペクティブ−パースペクティブであり、或
いはもしも１つのイメージペア間の変換が固定されるな
らば、既知の変換−アフィンと既知の変換−パースペク
ティブである。
【００１７】本発明によって提供される画像処理装置或
いは方法においては、イメージが撮られた位置の間の関
係に関する従来の情報をその関係を決定するために用い
ることなく、異なるテクニックを用いて第１及び第２の
イメージにおいてマッチした特徴を表す信号を処理す
る。その関係は、複数回決定され、その関係の選択がな
される。ここで、各回においては、異なる１つ又は複数
のマッチングテクニックでマッチされた特徴が用いられ
る。
【００１８】本発明によって提供される画像処理装置及
び方法においては、画像が撮られた位置の間の関係につ
いての従来の情報を用いることなく、第１及び第２の画
像においてマッチした特徴を表す信号が、その関係を決
定するために処理される。以下のステップが複数回実行
される。マッチした特徴が非物理的な実現化行列（たと
えば、fundamental行列など）をセットアップするのに
用いられ、その行列は物理的な実現化行列（たとえば、
物理的fundamental行列など）に変換され、その正確さ
がテストされる。最も正確な物理的実現化行列が選択さ
れる。
【００１９】また、本発明によって提供される画像処理
装置或いは方法においては、オブジェクトの少なくとも
３つのイメージにおける対応するオブジェクト特徴を表
す信号と、イメージングポジションの間の関係を表す信
号とが処理され、当該オブジェクト上のポイントを表す
３次元空間における位置を生成する。対応する特徴の各
ペアが３Ｄ空間におけるポイントを特定するのに用いら
れ、同一の対応特徴から生成される３Ｄポイントが、対
応するオブジェクト上のポイントを表す３Ｄポイントを
定義するのに持ちいられる。続いて、その３Ｄオブジェ
クトポイントがオブジェクト上の同一のポイントを表す
ことができたかどうかを調べるべく処理を実行し、でき
ていれば更なる処理が実行される。
【００２０】
【発明の実施の形態】これから説明する実施形態におい
て、２次元写真から再生されるオブジェクトの３次元モ
デルを表すオブジェクトデータは、選択されたあらゆる
視点方向からのオブジェクトのイメージをユーザに対し
て表示するために処理されるものである。しかしなが
ら、このオブジェクトデータは、異なる応用のために、
多くの他の方法においても処理され得るものである。た
とえば、３次元モデルは、オブジェクトのモデルを製造
するための製造設備を制御するのに用いられてもよい。
或いは、オブジェクトデータはオブジェクトを認識する
ために処理されてもよい。たとえば、オブジェクトデー
タをデータベースに予め格納されたデータと比較するこ
とによりオブジェクトの認識ができる。データは、ま
た、オブジェクト上での測定を行うために処理されても
よい。これは、オブジェクト上で測定が実行できないよ
うな場合、たとえば、そのような測定を行うのが非常に
危険であるような場合、たとえばオブジェクトが放射性
を有する場合等において特に有効である。また、３次元
モデルは、オブジェクトに生じた変化、たとえばオブジ
ェクト自身に生じた実際の物理的変化等を判断するため
に、以前に生成されたオブジェクトの３次元モデルと比
較されてもよい。また、３次元モデルは、ロボットがオ
ブジェクトと衝突するのを防ぐために、ロボットの動作
を制御するのにも用いられ得る。もちろん、オブジェク
トデータは、上述の処理が施される前に、遠隔の処理装
置に伝送されて、上述の処理が施されるようにしてもよ
い。特に、オブジェクトは、インターネット上の伝送の
ために、仮想現実マークアップ言語（VRML:virtual rea
lity mark-up language）フォーマットで提供されても
よい。
【００２１】図１は、本実施形態における画像処理装置
の全体的な構成を示すブロック図である。本装置におい
て、コンピュータ２は、中央処理ユニット（ＣＰＵ）４
を有し、中央処理ユニット４にはメモリ６が接続されて
いる。メモリ６はＣＰＵ４によって実行される動作を規
定するプログラムを格納するとともに、オブジェクト及
びＣＰＵ４によって処理されたイメージデータを格納す
る。
【００２２】ディスクドライブ８がメモリ６に接続され
る。ディスクドライブ８は、フロッピーディスク１０の
ような着脱可能なデータ格納メディアを受容し、そこに
格納されているデータをメモリ６へ伝送する。中央処理
ユニット４のための動作命令は、ディスクドライブ８を
用いて、着脱可能なデータ格納メディアからメモリ６へ
入力されてもよい。
【００２３】また、ＣＰＵ４によって処理されるイメー
ジデータは、ディスクドライブ８を用いて、着脱可能な
データ格納メディアからコンピュータ２へ入力されても
よい。或いはそれに加えて、処理されるべきイメージデ
ータはキヤノンパワーショット６００のようなディジタ
ルイメージデータ出力部を有するカメラ１２から直接的
にメモリ６へ入力されてもよい。イメージデータはメモ
リ６に入力される前にカメラ１２に格納されてもよい
し、或いは、カメラ１２によってデータを集めながら
（撮影しながら）、リアルタイムでメモリ６へ転送する
ようにしてもよい。イメージデータはまたディジタルカ
メラ１２の代わりに一般的なフィルムカメラから入力さ
れてもよい。この場合、カメラによって撮影された写真
をスキャンし、ディジタルイメージデータを生成してメ
モリ６に入力するために、スキャナ（不図示）が用いら
れる。加えて、イメージデータは、ローカルデータベー
スとの接続（不図示）を介して、イメージデータを格納
する遠隔データベースからメモリ６へダウンロードされ
てもよい。なお、ローカルデータベースとしては、たと
えば、イメージデータが光ディスクに格納されるコダッ
クのフォトＣＤ装置があげられる。
【００２４】入力装置１４がＣＰＵ４の入力ポートに接
続される。この入力装置１４は、たとえば、キーボー
ド、及び／或いはマウスやトラックボールのような位置
検出入力装置を備える。
【００２５】また、ＣＰＵ４にはフレームバッファ１６
が接続される。フレームバッファ１６は、イメージを構
成する各ピクセルのためにひとつ（或いは複数）のメモ
リロケーションを提供し、これにより、中央処理ユニッ
ト４によって生成された少なくともひとつのイメージに
関連するイメージデータを格納するべく構成されたメモ
リユニットを備える。
【００２６】また、フレームバッファ１６には、ディス
プレイユニット１８が接続される。ディスプレイユニッ
ト１８は、一般的な方法で、フレームバッファ１６に格
納されたイメージを表示する。また、フレームバッファ
１６にはビデオテープレコーダ（ＶＴＲ）２０、或いは
ペーパープリンタや３５ｍｍフィルムレコーダのよう
な、他の画像記録装置が接続される。
【００２７】ハードディスクドライブのような、大きな
データ格納容量を有する大容量格納装置は、メモリ６
（典型的にはＣＰＵ４を介して）に接続され、また、フ
レームバッファ１６にも接続される。大容量格納装置２
２は中央処理ユニット４によって処理されたデータをメ
モリ６から受信することができ、また、フレームバッフ
ァ１６からの、表示ユニット１８上に表示されるべきデ
ータを受信することができる。
【００２８】ＣＰＵ４、メモリ６、フレームバッファ１
６、ディスプレイユニット１８及び大容量格納装置２２
は、たとえばサンマイクロシステムズのスパークステー
ションのようなワークステーションなどの、商用的に入
手可能なコンピュータシステムの一部分を形成するもの
であってもよい。
【００２９】本発明の実施形態のようにコンピュータ２
を動作させるための処理命令は、フロッピーディスク１
０或いは他のデータ格納メディアに格納されたプログラ
ムの形態で商用的に提供し得るものである。或いは、そ
のような処理命令は、それを受信するコンピュータ２
が、本発明を実施する装置へと再構築されるように、デ
ータリンク（不図示）を介してコンピュータ２へ信号と
して送信され得る。
【００３０】図２は、ＣＰＵ４によって処理されるため
のイメージデータの収集を示した図である。
【００３１】オブジェクト２４はカメラ１２を用いて、
複数の異なる位置からイメージ化される。例として、図
２は、オブジェクト２４が、５つの異なる、ランダムな
位置Ｌ１〜Ｌ５からイメージ化されている。また、図２
における矢印は、それら異なる位置の間におけるカメラ
１２の動きを表す。
【００３２】位置Ｌ１〜Ｌ５において記録されたイメー
ジデータはカメラ１２に格納されて、続いて、コンピュ
ータ２のメモリ６へダウンロードされる。そして、以下
で説明する方法でＣＰＵ４によって処理される。本実施
形態において、ＣＰＵ４は、それらイメージが撮影され
た位置を特定する情報を、絶対的な条項（term）でも或
いは相互の相対的な条項でも受け取らない。
【００３３】図３は、ＣＰＵ４によってカメラ１２から
のイメージデータを処理するための、最上位レベルの処
理ルーチンを示す図である。
【００３４】ステップＳ２において、初期のデータ入力
のためのルーチンが実行される。この処理については、
図４及び図５を参照して後述する。このルーチンの目的
は、カメラ１２から受信したイメージデータを、それに
続く処理を容易にするような方法で格納するとともに、
カメラ１２のパラメータに関わる情報を格納することで
ある。
【００３５】ステップＳ４において、初期特徴マッチン
グ（initial feature matching）が実行される。ここで
は、オブジェクト２４の撮影された異なるイメージ間の
特徴をマッチングする（すなわち、それらイメージ間に
おいて、オブジェクト２４の同じ物理的ポイントに対応
するポイントを特定する）。この処理は、図６〜図１９
を参照して後述する。
【００３６】ステップＳ６において、それらイメージが
撮影された異なるカメラ位置（図２のＬ１〜Ｌ５）の間
の変換（translation）、すなわち相対的な形態による
それらカメラ自身の位置が、イメージ中においてマッチ
した位置を用いて計算される。この処理は、図２０〜図
３８を参照して後述する。
【００３７】ステップＳ８において、ステップＳ６で計
算されたカメラ変換を用いて、イメージ中の更なる特徴
がマッチされる（計算されたカメラ変換は、他のイメー
ジにおいて与えられたポイントにマッチングするポイン
トをそのイメージにおいて探すために、イメージにおけ
る位置を計算、すなわち制約するために用いられてい
る）。この処理は、図３９及び図４０を参照して後述す
る。
【００３８】ステップＳ１０において、オブジェクト２
４の表面上の実際のポイントを表す３次元モデリング空
間におけるポイントが、図４１から図４８を参照して後
述するように、生成される。
【００３９】ステップＳ１２において、ステップＳ１０
で生成された３次元空間のポイントは、３次元における
面を生成するために連結され、これらの面はオブジェク
ト２４の３次元モデルを表す。この処理は図４９を参照
して後述する。
【００４０】ステップＳ１４では、所望の視点方向から
のオブジェクト２４のイメージを表示ユニット１８上に
表示するために、ステップＳ１２で生成された３Ｄモデ
ルが処理される。この処理は図５０を参照して後述す
る。
【００４１】図４は図３のステップＳ２における初期デ
ータ入力ルーチンにおいて実行されるステップを示す図
である。図４を参照すると、ステップＳ１６において、
ＣＰＵ４はイメージデータがメモリ６内に受信されるま
で待つ。上述したように、このイメージデータはディジ
タルカメラ１２から受信されてもよいし、フロッピーデ
ィスク１０を介して受信されてもよいし、スキャナ（不
図示）を用いて写真をディジタル化することによって受
信されてもよいし、或いは、たとえばデータリンク（不
図示）等を介して受信されてもよい。
【００４２】全イメージに対するデータが受信された
後、ステップＳ１８で、ＣＰＵ４は各イメージのデータ
を別々の「プロジェクト」ファイルとしてメモリ６に再
格納する。ステップＳ２０では、ＣＰＵ４はメモリ６か
ら格納されたデータを読み出し、そのイメージを表示ユ
ニット１８上で、ユーザに表示する。
【００４３】図５はユーザへのイメージの表示を表す図
である。ＣＰＵ４は、まず最初に、イメージデータが受
信された順番でイメージを表示する。図２を参照する
と、イメージは位置Ｌ１，Ｌ２，Ｌ３，Ｌ４そしてＬ５
から撮影されている。したがって、これらの位置から撮
影されたイメージのイメージデータが、同じ順番で、カ
メラ１２に格納され、カメラ１２からイメージデータが
ダウンロードされるときは同じ順番でコンピュータ２に
よって受信されることになる。したがって、図５におい
て示されているように、ＣＰＵ４は初期において、撮影
時と同じ順番で、すなわちＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ
５の順番でイメージを表示する。
【００４４】イメージを表示するのと同時に、ＣＰＵ４
はユーザに、たとえば表示ユニット１８上にメッセージ
（不図示）を表示することにより、ユーザにイメージを
アレンジしなおすよう促す。この再アレンジでは、最初
の表示のような時間的順序ではなく、オブジェクト２４
の周りにおける、イメージが取られた位置に関わる位置
的順序を表す順番にイメージがアレンジされる。時間的
順序と位置的順序は同じであってもかまわない。しかし
ながら、図２において示された例では、位置Ｌ３は位置
Ｌ１とＬ２の間にある。それゆえ、オブジェクト２４の
周囲のイメージの位置的な順序は、Ｌ１，Ｌ３，Ｌ２，
Ｌ４そしてＬ５となる。したがって、ステップＳ２２に
おいて、ユーザはディスプレイ１８上のイメージを再度
アレンジする。たとえば、イメージの正しい位置的順序
を与えるために、位置Ｌ２において撮影されたイメージ
をハイライトし、それを位置Ｌ３とＬ４イメージの間に
ドラッグする（図５において矢印で示されているよう
に）。
【００４５】これに続いて、ステップＳ２４で、ＣＰＵ
４はディスプレイ１８上のイメージの中心間の距離を計
算する。そして、各イメージに対して最も近隣のものを
決定する。こうして、たとえば、図５を参照すると、位
置Ｌ１で撮影されたイメージに対して、ＣＰＵ４はその
中心と他のイメージの各々の中心との間の距離を計算
し、最も近隣のイメージが位置Ｌ３で撮影されたもので
あると判断する。位置Ｌ３において撮影されたイメージ
に対して、ＣＰＵ４はその中心と位置Ｌ２，Ｌ４および
Ｌ５で撮影されたイメージの各々の中心との間の距離を
計算する（ＣＰＵは、位置Ｌ１で撮影されたイメージ
が、位置Ｌ３で撮影されたイメージのひとつの側におい
て、最近隣であることをすでに決定している）。このよ
うにして、ＣＰＵ４は、位置Ｌ２において撮影されたイ
メージが、位置Ｌ３の他の側において撮影されたイメー
ジの最も近い近隣であると決定する。ＣＰＵは同じルー
チンを、位置Ｌ２，L４及びＬ５で撮影されたイメージ
に対して実行する。
【００４６】ステップＳ２６において、ＣＰＵ４はメモ
リ６にイメージの位置的な順序を表すリンクを格納す
る。たとえば、ＣＰＵ４は、そのリンクを別々の実体と
して生成し、メモリ６に格納する。各リンクに関するデ
ータは、リンクの各端におけるイメージを特定する。こ
うして、図２及び図５において示されている例のよう
に、Ｌ１とＬ３の位置において撮影されたイメージをそ
の端に有するもの、Ｌ３とＬ２の位置において撮影され
たイメージをその端に有するもの、Ｌ２とＬ４の位置に
おいて撮影されたイメージをその端に有するもの、そし
て、Ｌ４とＬ５の位置において撮影されたイメージをそ
の端に有するものという４つのリンクをＣＰＵ４は生成
する。
【００４７】ステップＳ２６において、ＣＰＵ４はま
た、各イメージのためのプロジェクトファイル（ステッ
プＳ１８において生成されたもの）に、そのイメージに
接続される各リンクの実体へのポインタを格納する。た
とえば、位置Ｌ３で撮影されたイメージのためのプロジ
ェクトファイルは、第１及び第２リンクへのポインタを
有する。
【００４８】ステップＳ２８において、ＣＰＵ４は、そ
のイメージデータを記憶したカメラに関する情報を入力
するようユーザに要求する。ＣＰＵ４はこれを、ユーザ
への要求メッセージの表示によって実現する。ここで
は、カメラレンズの焦点距離や、カメラ内のＣＣＤ撮像
素子或いはフィルムのサイズの入力を要求する。ＣＰＵ
４はまた、ディスプレイ１８上に、標準的なカメラのリ
ストを表示する。この情報はメモリ６に予め格納されて
いる。そして、ユーザは直接的に各情報を入力する変わ
りに、使用したカメラをそのリストから選択することが
できる。ステップＳ３０において、ユーザは要求された
カメラデータを入力する、或いはリスト表示されたカメ
ラの一つを選択する。そして、ステップＳ３２におい
て、ＣＰＵ４は、以降の処理において使用するために、
入力されたカメラデータをメモリ６に格納する。
【００４９】ＣＰＵ４によってメモリ６に格納されたイ
メージデータの処理は、図６〜図５０を参照して以下に
説明する。
【００５０】図６は、ステップＳ４，Ｓ６，Ｓ８におい
てＣＰＵ４によって実行される、初期特徴マッチングの
ルーチン、カメラ変換の計算ルーチン、制約的特徴マッ
チング（constrained feature matching）のルーチン間
の、トップレベルにおける関連を示す。これらのルーチ
ンの目的のために、ＣＰＵ４は、イメージを３つのイメ
ージからなるグループで考慮する。そのグループは、ス
テップＳ２２（図４）において生成された位置的な順序
における順番で生成され、各グループはイメージの「ト
リプル」（以下、イメージトリプル）と称される。こう
して、メモリ６に（図２及び図５の例のように）５つの
イメージのためのデータが格納された場合、ＣＰＵ４は
３つのイメージトリプルを考慮する（すなわち、位置的
順序を１〜５としたとき、イメージ１−２−３、イメー
ジ２−３−４、そしてイメージ３−４−５である）。各
イメージトリプル内において、２つのイメージペアが存
在する。すなわち、当該トリプル内における第１及び第
２イメージからなるペアと、当該トリプル内における第
２及び第３イメージからなるペアである。
【００５１】図６を参照すると、ステップＳ４０におい
て、次のイメージトリプルが処理のために考慮される
（最初にステップＳ４０が実行されときには、最初のト
リプル、すなわち位置的順序におけるイメージ１−２−
３となる）。ステップＳ４２において、トリプルにおけ
るイメージのペア間にわたるポイントをマッチさせるた
めに、或いは３つのイメージのすべてにわたるポイント
をマッチさせるために初期特徴マッチングがその３つの
イメージに対して実行される。そして、ステップＳ４４
において、ステップＳ４２でマッチさせたポイントを用
いて、これら３つのイメージが撮影された位置の間のカ
メラ変換が計算される。計算されたカメラ変換は、その
位置的順序におけるイメージ間のカメラの移動及び回転
を特定する。この点についてはさらに詳細に後述する。
【００５２】ステップＳ４６において、ＣＰＵ４はステ
ップＳ４４で計算されたカメラ変換が十分に正確かどう
かを判断する。もし、その変換が十分に正確であると判
定された場合は、ステップＳ４８において、その計算さ
れたカメラ変換を用いて、その３つのイメージについて
更なる特徴のマッチングを行う。ステップＳ４８におい
て、ＣＰＵ４によって実行される特徴マッチングは、制
約的特徴マッチングと称される。というのは、ステップ
Ｓ４４で計算されたカメラ変換が、そのトリプルのある
イメージにおいて与えられたポイントにマッチするであ
ろう別のイメージ内のポイントを特定するために、当該
別のイメージにおいて検索する領域を制約するのに用い
られるからである。ステップＳ４６において、計算され
たカメラ変換が十分に正確でないと判断された場合は、
ステップＳ４２からステップＳ４６が、十分な精度のカ
メラ変換が得られるまで繰り返される。しかしながら、
以下に説明されるように、ＣＰＵ４が、計算されたカメ
ラ変換が十分に正確ではないと判断された後に、ステッ
プＳ４２において３つのイメージの初期特徴マッチング
を繰り返し実行するときの第１回目の処理において、ス
テップＳ４２が一番最初に実行された際に用いられた第
１のテクニックとは異なる第２のテクニックが用いられ
る。さらに、ステップＳ４２の引き続く再実行におい
て、ＣＰＵ４は第２テクニックを用いて初期特徴マッチ
ングを実行するが、入力としてのマッチングポイントの
数はその都度異なる（ステップＳ４２が繰り返される都
度その数は増加する）。
【００５３】ステップＳ５０において、ＣＰＵ４は、イ
メージの位置的順序においてまだ考慮されていない他の
イメージがが存在するかどうかを判断し、もし存在すれ
ば、ステップＳ４０からＳ５０が次のイメージトリプル
を考慮するために繰り返される。これらのステップは、
すべてのイメージが上述したような方法で処理されるま
で繰り返されることになる。
【００５４】図７は、初期特徴マッチング、カメラ変換
計算、及び制約的特徴マッチングの間のさらに詳細な関
連を説明する図である。
【００５５】図７を参照すると、ステップＳ５２におい
て、ＣＰＵ４は、第１のテクニックを用いてイメージト
リプル中の最初のペアに対して、後述するような、初期
特徴マッチングを実行する。この第１の初期特徴マッチ
ングテクニックはユーザからの入力を要求しないという
点において、自動的である。ステップＳ５４において、
ＣＰＵ４は、そのトリプル中の第２のイメージペアに対
して、自動的なテクニックを用いた第１の初期特徴マッ
チングを実行する。ステップＳ５６において、ＣＰＵ４
はトリプル中におけるイメージ間のカメラ変換を計算す
る。ステップＳ５８において、ＣＰＵ４はステップＳ５
６で計算されたカメラ変換が十分に正確であるかどうか
を判断する。もしそれらが十分に正確であるならば、そ
のトリプルのイメージにおける、更なるポイントをマッ
チさせるために、ステップＳ７４において制約的特徴マ
ッチングが実行される。
【００５６】一方、ステップＳ５８において、計算され
たカメラ変換が十分に正確ではないと判定された場合、
ＣＰＵ４はそのイメージトリプルについて、異なるテク
ニックを用いて、ステップＳ６０からＳ６８において初
期特徴マッチングを実行する。この実施形態において
は、後述するように、アフィン（affine）テクニック
（これは、イメージ中のオブジェクト２４が、そのイメ
ージの小領域に渡って意味のあるパースペクティブプロ
パティ（perspective property）を提示しないことを仮
定する）が用いられる。
【００５７】ステップＳ６０において、ユーザは、トリ
プル中の第１のイメージペア、及びトリプル中の第２の
イメージペアにおけるマッチングポイント（すなわち、
オブジェクト２４上の同一な物理的ポイントに対応する
ポイント）を特定することを要求される。これは、ユー
ザに対して、トリプル中の３つのイメージをディスプレ
イユニット１８上に表示することでなされる。ユーザ
は、表示されたカーソルを入力手段１４を用いて動か
し、第１のイメージ中のポイントを特定するとともに、
第２のイメージ中の対応するマッチングするポイント
（オブジェクト２４上の同一の物理的ポイントを表す）
を特定する。この処理は、第１と第２のイメージの間に
おいて１０対のポイントがマッチされるまで繰り返され
る。ユーザは、次に、第２と第３のイメージにおける１
０組のマッチしたポイントのペアを特定するために上記
の処理を繰り返す。ユーザにとって、ポイントを選択す
る際に、表示されたカーソルを所望のポイント（それは
１ピクセルを占める大きさを有する）に正確に合わせる
のは困難であろう。したがって、ユーザによって特定さ
れたあるポイントが、ステップＳ５２もしくはＳ５４に
おいてＣＰＵによって前もってそのイメージ中に特定さ
れたポイントの２ピクセル以内であれば、もしくは、ス
テップＳ６２、Ｓ６４或いはＳ７４が前もって実行され
た場合にそれらの処理においてＣＰＵによってそのイメ
ージ中に特定されたポイントの２ピクセル以内であれ
ば、ＣＰＵ４はユーザが特定しようと意図したものが、
ＣＰＵが前もって自動的に特定したポイントであると判
断し、続いて、ディスプレイ１８上でユーザによって実
際に特定されたポイントではなく、このポイントの座標
を格納する。
【００５８】ステップＳ６２において、ＣＰＵ４は、ア
フィンマッチングテクニックを用いてトリプル中の第１
のイメージペアにおいてポイントをマッチさせる。そし
て、ステップＳ６４において、このテクニックを用い
て、そのトリプル中の第２のイメージペアにおいてポイ
ントをマッチさせる。以下で説明するように、アフィン
特徴マッチングにおいては、ＣＰＵ４は、各イメージの
ペアにおけるイメージ間の関連を決定するために、すな
わち、一方のイメージから他方のイメージへポイントを
変換するために必要な数学的な変換を得るために、ステ
ップＳ６０でユーザによってマッチされたポイントを用
いる。そして、ＣＰＵ４は、これを用いて、イメージ中
における更なるマッチングポイントを特定する。
【００５９】ステップＳ６６において、ＣＰＵ４は、そ
の時点でマッチされているポイントのすべてを用いて、
そのトリプルにおける３つのイメージが撮影された位置
の間のカメラ変換を再度決定する。そして、ステップＳ
６８において、計算された変換が十分に正確かどうかを
判断する。その変換が十分に正確であると判断された場
合は、ＣＰＵ４はステップＳ７４においてその３つのイ
メージに対して制約的特徴マッチングを実行する。一
方、その変換が十分に正確でないと判断された場合は、
ＣＰＵ４はステップＳ７０で、当該トリプル中の各イメ
ージのペアに関してより多くのポイントをマッチさせる
ようユーザに（すなわち、各イメージのペアにおいて、
オブジェクト２４上の同一の物理的なポイントに対応す
るイメージポイントを特定するように）要求する。この
実施形態において、ユーザは、イメージトリプルにおけ
る第１のイメージペアにおいて１０ペアの更なるマッチ
ングポイントを特定するように要求され、さらに、イメ
ージトリプルにおける第２のイメージペアにおいて１０
ペアの更なるマッチングポイントを特定するように要求
される。ステップＳ７２において、ユーザは、ステップ
Ｓ６０において前述したのと同様の方法でマッチングポ
イントを特定する。そして再び、ユーザによって特定さ
れたポイントがＣＰＵ４によって（ステップＳ５２又は
Ｓ５４のいずれか、或いはステップＳ６２、Ｓ６４或い
はステップＳ７４において）以前に特定されたポイント
から２ピクセル内にあればユーザはそのポイントを特定
するべく意図したものと判断され、ユーザによって特定
されたポイントではなく、ＣＰＵによって特定されたポ
イントの座標が格納される。
【００６０】ステップＳ６２からＳ７２は、ステップＳ
６８において、トリプルにおけるイメージ間の十分に正
確なカメラ変換が計算されたと判断されるまで、繰り返
される。すなわち、第２の特徴マッチングテクニック
（本実施形態ではアフィンテクニック）が、異なる数の
ユーザ特定されたマッチングポイントを各回の入力とし
て用いて、計算されるべき十分な精度のカメラ変換を可
能とするのに必要なマッチングがなされるまで繰り返さ
れる。そして、トリプルにおける３つのイメージのため
の制約的特徴マッチングがステップＳ７４において実行
される。
【００６１】ステップＳ７６において、ＣＰＵ４は処理
すべき位置的順序の中に他のイメージが存在するかどう
かを判断する。もし存在するならば、ステップＳ５４か
らＳ７６が、すべてのイメージが処理されるまで繰り返
される。図７からわかるように、ステップＳ５２は、後
続のイメージが考慮される場合には実行されない。図２
及び図５に示される例を参照すると、ＣＰＵ４によって
処理されるべきオブジェクト２４の５つのイメージがあ
る。位置的順序におけるイメージ１とイメージ２のポイ
ントはステップＳ５２（そして、第２特徴マッチングテ
クニックが用いられるならばステップＳ６２）において
マッチングされる。また、イメージ２とイメージ３のポ
イントはステップＳ５４（そして、第２マッチングテク
ニックが用いられるのであればステップＳ６４）でマッ
チされる。上述したように、トリプルを単位としてイメ
ージが考慮される。したがって、イメージ４が最初に考
慮されるのは、イメージ２，３及び４を備えたトリプル
が考慮される場合である。しかしながら、イメージ２と
３におけるポイントは、ステップＳ５４（及びステップ
Ｓ６４）においてＣＰＵ４によって既にマッチングされ
ている。したがって、処理はステップＳ５４から開始さ
れ、ステップＳ５２は省略されるのである。ステップＳ
５４では、トリプル中の第２のイメージペア（すなわ
ち、イメージ３、４）におけるポイントの自動的な特徴
マッチングが実行される。もしも自動的なテクニック
が、ステップＳ５６及び５８において十分に正確なカメ
ラ変換を生成できなかった場合は、トリプル中のイメー
ジの第１のペアと第２のペアの両方についてアフィンテ
クニックが実行される。すなわち、ユーザがステップＳ
６０においてこれらイメージにおける更なるマッチング
ポイントを特定するので、第１のイメージペアに対して
初期特徴マッチングが再実行される。
【００６２】本実施形態において、制約的特徴マッチン
グは、その順序における次のイメージが考慮され、初期
の特徴マッチングがそれに対して実行される前に、与え
られたイメージのトリプルに対して実行される。上述し
たように、制約的特徴マッチングのステップは、考慮中
のイメージトリプルにおける更なるマッチングポイント
を生成する。実際、後述するように、第１のイメージペ
アにおいて以前にマッチされたポイントとマッチするポ
イントがそのトリプルの最終イメージにおいて特定され
る（このようにして、すべての３つのイメージにおいて
マッチさせられたポイントを与える）。従って本実施形
態は、トリプルにおける次のイメージに対して初期特徴
マッチングを実行する際に、トリプルの最終イメージに
おけるこれらの新たにマッチしたポイントが用いられる
という長所を提供する。例えば、図５に示されるシーケ
ンスにおける最初の３つのイメージが処理される場合、
ステップＳ７４における制約的特徴マッチングのステッ
プは、イメージ１とイメージ２内のポイントにマッチす
るイメージ３内のポイントを特定する。ＣＰＵ４がイメ
ージ４を考慮し、ステップＳ５４（及びステップＳ６
４）において初期特徴マッチングを実行する場合、ステ
ップＳ７４で生成された新しいポイントが考慮され、マ
ッチングポイントがイメージ４の中に存在するかどうか
を判断するために、処理が実行される。マッチングポイ
ントがイメージ４において特定された場合、ステップＳ
７４における制約的特徴マッチングによってマッチされ
た新しいポイント、およびポイントのトリプルから初期
特徴マッチングによって特定された新たなポイントが、
ステップＳ５６もしくはＳ６６でカメラ変換を計算する
際に考慮に入れられる。このように、ステップＳ７４の
制約的特徴マッチングのステップは、次のイメージトリ
プルに対するカメラ変換の計算に用いられるポイントを
生成する可能性がある（すなわち、次のトリプルにおけ
るイメージの第２のペアに対するステップＳ５４或いは
Ｓ６４における初期特徴マッチングが、制約的特徴マッ
チングにおいてイメージの第１のペアにわたってマッチ
したポイントの少なくともひとつを新しいトリプルの第
３のイメージへマッチさせる場合）。これについてはさ
らに詳しく後述する。
【００６３】こうして、図７に示される処理は、次の初
期特徴マッチング処理の入力のために、および次のカメ
ラ変換処理を計算するために、計算されたカメラ変換を
用いて決定された新しいマッチングされたポイントのフ
ローを形成する。
【００６４】図７におけるステップＳ５２とＳ５４にお
ける自動的な初期の特徴マッチングにおいてＣＰＵ４に
よって実行される処理について以下に説明する。
【００６５】図８は、トリプルにおける第１のイメージ
ペアに対して自動的な初期特徴マッチングが実行される
際の、ＣＰＵ４によってステップＳ５２で実行される処
理を示す。
【００６６】ステップＳ８０において、トリプルの第１
のイメージにおける各ピクセルに対して、そのピクセル
に関するエッジおよびコーナーの量を表す値が計算され
る。これは、例えば、一般的なピクセルマスクを第１の
イメージに適用し、各ピクセルが考慮されるようにこの
マスクを動かすことによりなされる。そのようなテクニ
ックは、「Computer and Robot Vision Volume 1、R.M.
Haralick、L.G. Shapiro著、第８版、Addison-Wesley
Publishing Company出版、1992、ISBN 0-201-10877-1
(V.1)」に記載されている。ステップＳ８２において、
所定の閾値を超えるエッジおよびコーナーの値を有する
あらゆるピクセルは、一般的な方法で、第１のイメージ
におけるストロングコーナーとして特定される。ステッ
プＳ８４において、ＣＰＵ４は第１のイメージに対して
ステップＳ８０で実行される上述の処理を第２のイメー
ジに対して実行する。そして、同様に、ステップＳ８２
で前に実行されたのと同じテクニックを用いて、ステッ
プＳ８６で第２のイメージにおけるストロングコーナー
を特定する。
【００６７】ステップＳ８８において、ＣＰＵ４は、ス
テップＳ８２で第１のイメージにおいて特定された各ス
トロングコーナーを、ステップＳ８６で第２のイメージ
において特定されたあらゆるストロングコーナーと比較
する。ここで比較に用いられる第２のイメージのピクセ
ルは、第１および第２のイメージにおけるコーナーの相
似性測度をプロデュースするための第１のイメージにお
ける考慮中のコーナーポイントと同じピクセル座標を有
する第２イメージ内のピクセルを中心とする所定のウイ
ンドウ領域内に存在するものである。この実施形態にお
いて、第２のイメージにおいて考慮される領域のサイズ
はｙ方向に中心ピクセルの±１０ピクセル、ｘ方向に中
心ピクセルの±２００ピクセルである。第２のイメージ
における検索領域を減少させるためのそのようなウイン
ドウ領域の使用は、オブジェクト２４の異なる部分に存
在する類似のポイントがマッチングしたと特定されない
ようにすることをより確実にする。本実施形態における
ウインドウは小さいｙ値（高さ）と比較的大きなｘ値
（幅）を有する。これは、オブジェクト２４のイメージ
がしばしばカメラ１２を用いてユーザにより、垂直方向
にはほぼ同じ高さで（オブジェクト２４の表面上のポイ
ントが、イメージ中の垂直方向（ｙ）には移動しないよ
うに）、水平方向にオブジェクト２４の周りで移動して
記録されるからである。本実施形態において、ポイント
の比較は、適応的最小二乗相関テクニックが用いられ
る。これは、例えば、Adaptive Least Squares Correla
tion: A Powerful Image Matching Technique A.W. Gr
uen in Photogrammetry Remote Sensing and Cartograp
hy 1985、175-187頁に記載されている。
【００６８】ステップＳ９０において、ＣＰＵ４はマッ
チングポイントを特定し格納する。これは、以下に説明
するように、緩和（relaxation）テクニックを用いて実
行される。ステップＳ８８は第１のイメージにおける各
ストロングコーナーと第２のイメージにおける複数のス
トロングコーナー（すなわち、上述した第２イメージに
おけるウインドウ内に存在するもの）との間の相似性測
度を生成する。ステップＳ９０において、ＣＰＵ４は効
果的にこれらの値をテーブルアレイ(配列)に並べる。例
えば、第１のイメージにけるすべてのストロングコーナ
ーをカラム(行)にリスティングし、第２のイメージにお
けるすべてのストロングコーナーをロー(列)にリスティ
ングする。そして、テーブル内の適切な交点によって与
えられる各コーナーのペアについて相似性測度を表す。
この方法において、テーブルアレイの１つのローは、第
１のイメージにおける与えられたコーナーポイントと第
２のイメージにおける各コーナーポイントとの間の相似
性測度を明示する（第１のイメージにおけるコーナーが
第２のイメージにおけるコーナーと比較されなかった場
合、ステップＳ８８において相似性測度はゼロとな
る）。同様に、アレイ内のコラムは、第２イメージ内の
与えられたコーナーポイントと第１のイメージ内の各コ
ーナーポイントとの間の相似性測度を明示する（ここで
も、ステップＳ８８においてポイントが比較されなかっ
たいくつかの値はゼロとなる）。ＣＰＵ４は、次に、値
の第１行目を考慮し、当該行において最も高い相似性測
度値を有するものを選択し、この選択された値が、それ
が存在するコラムの中においても最も高い値であるかど
うかを判断する。その値がローおよびカラムにおいて最
も高い値である場合、これは第２のイメージにおけるそ
のコーナーポイントが第１のイメージに対する最もマッ
チングするポイントであり、また第１のイメージにおけ
るそのコーナーポイントが第２のイメージに対する最も
マッチングするポイントでもある。この場合、ＣＰＵ４
は当該ローおよび当該カラムにおけるすべての値をゼロ
にセットし（これらの値が更なる処理において考慮され
ることのないように）、最高の相似性測度値が所定の閾
値（本実施形態では０．１とする）を超えたか否かを判
断する。類似性計測がその閾値を越えた場合、ＣＰＵ４
は、第１のイメージにおけるそのポイントと第２のイメ
ージにおける対応するポイントをマッチングしたポイン
トとして格納する。一方、類似性計測が閾値を越えてい
ない場合は、たとえそのポイントが互いに最もよいマッ
チングポイントであったとしても、類似性の度合いがマ
ッチングポイントとしてそのポイントを格納するには十
分ではないと決定する。
【００６９】ＣＰＵ４は、すべてのローが考慮されるま
で、テーブルアレイの各ローに対してこの処理を繰り返
す。ローにおける最も高い類似性計測が、それが存在す
るカラムにおいては最も高いものとならない場合は、Ｃ
ＰＵ４は次のローを考慮するべく処理を移す。従って、
ステップＳ９０においてマッチングポイントのペアがひ
とつも特定されない可能性もある。
【００７０】ＣＰＵ４は、すべてのローが考慮された前
回の処理でマッチングポイントが特定された場合、上記
の処理を繰り返すために、テーブルアレー内の各ローを
再度考慮する。ＣＰＵ４はそのような反復を繰り返し実
行し、それは、繰り返しにおいてひとつのマッチングポ
イントも特定されなくなるまで繰り返される。
【００７１】図９は、トリプル内の第２のイメージペア
に対する自動的な初期特徴マッチングを実行する際の、
図７のステップＳ５４においてＣＰＵ４により実行され
るステップを示す。この場合、そのペアの第１のイメー
ジ内のポイントはすでに特定されている。すなわち、先
行するイメージペアが考慮されたときの、図８のステッ
プＳ８４とＳ８６におけるストロングコーナーであり、
或いはまた、自動的な初期特徴マッチング（ステップＳ
５４）、アフィン初期特徴マッチング（ステップＳ６
０、Ｓ６４およびＳ７２）、制約的特徴マッチング（ス
テップＳ７４）からの他方の特徴ポイントである。これ
は、ただし、これらのステップが先行するイメージトリ
プルに対して実行された場合のことである。したがっ
て、ＣＰＵ４は第２のイメージペアにおけるストロング
コーナーを特定するのみでよい（トリプルの第３のイメ
ージが考慮中のとき）。
【００７２】図９を参照すると、ステップＳ９２におい
て、ＣＰＵ４はトリプルの第３のイメージに対してピク
セルマスクを適用し、第３のイメージの、各ピクセルに
ついて、エッジとコーナーの量を示す値を計算する。こ
れは前述したステップＳ８０における処理と同じ方法で
実行される。ステップＳ９４において、ＣＰＵ４は第３
のイメージにおけるストロングコーナーを特定し格納す
る。これは前述のステップＳ８２と同じ方法で実行され
る。ステップＳ９６において、ＣＰＵ４は先行するステ
ップＳ８６、Ｓ５４、Ｓ６０、Ｓ６４、Ｓ７２およびＳ
７４において、そのトリプル中の第２のイメージに対し
て特定され格納されたストロングポイントと、そのトリ
プル中の第３のイメージに対してステップＳ９４で特定
され格納されたストロングコーナーとを考慮し、ポイン
ト対の間で相似性測度を計算する。これは前述したステ
ップＳ８８と同様の方法で実現される（ここでも、第２
のイメージにおける各ポイントに対して比較される第３
のイメージにおけるポイントを限定するためのウインド
ウを用いる）。ステップＳ９８において、そのトリプル
の第２および第３のイメージにおけるマッチングポイン
トが特定され格納される。これは前述のステップＳ９０
と同じ方法で実現される。
【００７３】ステップＳ５２およびＳ５４（上述した）
においてＣＰＵ４によって実行された特徴マッチングテ
クニックは、オブジェクト２４が類似した複数の特徴ポ
イントを含む場合に、すなわち、同じ視覚的特徴を有す
る複数のポイントがオブジェクト２４の面に渡って分散
している場合に、正確にマッチしたポイントを生成し得
ないであろうことが見出されている。これは、このよう
な状態において、同じ視覚的特徴を有するが、オブジェ
クト２４の表面上の正確に同じ物理的ポイントを表して
いないポイントがイメージにおいてマッチングしてしま
うからである。このことを考慮するために、本実施形態
においては、第２の初期特徴マッチングテクニックがＣ
ＰＵ４によって実行される。このテクニックは、イメー
ジ間において正確に一致することがわかっている少数の
ポイントを用いてイメージを小さい領域に分割し、各イ
メージ内の対応する小領域においてポイントをマッチさ
せることを試みる。この第２のテクニックは、イメージ
内の対応する領域間のアフィン変換が計算できるよう
に、生成された小領域がフラット（パースペクティブ的
な質を提示するものではない）であることを仮定してい
る。第２のテクニックは、したがって、アフィン初期特
徴マッチングテクニックと称される。
【００７４】図１０ａと１０ｂは、パースペクティブプ
ロパティを表すオブジェクト（図１０ａ）とアフィンプ
ロパティを表すオブジェクト（図１０ｂ）との間の相違
を表す図である。（ＣＰＵ４による処理のためにメモリ
６へインプット可能な他のタイプのイメージとしてはフ
ラットオブジェクトのイメージがある。この場合におい
て、オブジェクト上のすべてのポイントは共通のフラッ
トな面に存在するので、オブジェクトの３次元モデルを
生成することは不可能である）。
【００７５】以下、ＣＰＵ４が、図７のステップＳ６２
においてトリプル中の第１のイメージペアに対してアフ
ィン初期特徴マッチングを実行する方法、および図７の
ステップＳ６４においてトリプル中の第２のイメージペ
アに対してアフィン初期特徴マッチングを実行する方法
について説明する。
【００７６】図１１は、図７におけるステップＳ６２も
しくはＳ６４でトリプル中のイメージペアにおけるアフ
ィン初期特徴マッチングを実行するときの、トップレベ
ルにおける、ＣＰＵ４によって実行される処理を示す図
である。
【００７７】図１１を参照すると、ステップＳ１００に
おいて、ＣＰＵ４は、ステップＳ６０もしくはＳ７２で
ユーザによって他のイメージ中のポイントにマッチさせ
られた、ペア内の各イメージ内におけるポイントを考慮
し、これらのポイント間にエッジが存在するか否かを判
定するためにイメージデータを処理する。これらのユー
ザによって特定されたポイントは正確にイメージ中のマ
ッチングポイントを特定している（例えばステップＳ５
２、Ｓ５４、Ｓ６２、Ｓ６４或いはＳ７４においてＣＰ
Ｕ４によって計算されたポイントは正確ではなく、それ
ゆえに本実施形態のステップＳ１００においては用いら
れない）ので、これらユーザ特定ポイントが用いられ
る。
【００７８】図１２はステップＳ１００においてＣＰＵ
４が実行する方法を示す図である。図１２を参照する
と、ステップＳ１０６において、ＣＰＵ４は、そのペア
内の第１のイメージにおいて特定されたポイント（すな
わち、そのペアの第２のイメージにおけるポイントに対
応するとしてユーザによって前もって特定されたポイン
ト）間に存在するあらゆるエッジの非２値の強さ（non-
binary strength）を計算する。そして、ステップＳ１
０８において、ＣＰＵ４は当該ペアの第２のイメージに
おける特定されたポイント（すなわち、そのペアの第１
のイメージにおけるポイントに対応するとしてユーザに
よって前もって特定されたポイント）に対して同じ計算
を実行する。
【００７９】図１３および図１４は、図１２におけるス
テップＳ１０６およびＳ１０８においてＣＰＵ４がエッ
ジ強度を決定する方法を示す。図１３を参照すると、Ｃ
ＰＵ４は、ユーザによって特定されたイメージ内の２つ
のポイント３０、３２の間に存在する領域「Ａ」におけ
るイメージデータを考慮する。領域Ａは、図１３に示さ
れるように、ポイント３０と３２を通る直線が通過する
ピクセルの両側の、ある設定された数のピクセル（本実
施形態では２ピクセル）以内に存在するピクセルと、ポ
イント３０、３２から距離ａのところ、本実施形態では
２ピクセル分に相当する距離、に終端境界を設定し、こ
の終端境界内に存在するピクセルとを備える。ユーザ特
定ポイント（例えばポイント３０、３２）はディスプレ
イ上でユーザによって特定される際に正確には配置され
ないかもしれず、それゆえ、エッジ（もし、あれば）は
ポイント間を正確に通らないかもしれないので、そのラ
インの上および下のピクセルが考慮される。もしも、ポ
イント３０、３２が、それらポイントの間のラインが水
平よりも垂直に近いように配置された場合、ラインの上
及び下の２つのピクセルではなく、ラインが通過するピ
クセルの両横側の２つのピクセルが考慮される。図７に
おけるステップＳ６０或いはＳ７２でユーザによって他
のイメージ内のポイントとマッチングされるイメージ内
のポイントがエッジの端（すなわち、コーナー）に存在
するポイントである傾向があることが見出されているた
め、終端境界がセットされる。ポイントが本当にエッジ
の端にある場合、これらの近くにあるピクセルはエッジ
を特定するために用いられるオリエンテーション計算を
ゆがめる。これは、ポイント３０と３２がエッジの端に
ある場合、エッジがポイント３０と３２の近くで曲がり
始めるからである。これらのポイントは、ポイント間の
中央領域におけるオリエンテーションとは異なるオリエ
ンテーションの値を各ピクセルに与える。この理由か
ら、ポイント３０、３２の２ピクセル以内のピクセル
は、強度／方向の計算から省略される。
【００８０】図１４を参照すると、ステップＳ１１４に
おいて、ＣＰＵ４は一般的な方法を用いてイメージデー
タを滑らかにする（スムージング）。この方法として
は、例えば、Tony Lindeberg著、Kluwer Academic Publ
ishers出版の、Scale-Space Theory in Computer Visio
n、ISBN 0-7923-9418-6の第４章に記載されているもの
を用いることができる。１．０ピクセルのスムージング
パラメータ（これはスムージング処理において用いられ
るマスク演算子の標準偏差である）が本実施形態では用
いられる。
【００８１】ステップＳ１１５において、ＣＰＵ４はイ
メージ中における各ピクセルに対するのエッジマグニチ
ュードと方向値を計算する。これは一般的な方法でピク
セルマスクを適用することによりなされる。この処理
は、例えば、"Computer and Robot Vision" Haralickと
Shapiro著、Addison Wesley Pblishing Company,３３７
〜３４６ページ、ISBN0-201-10877-1(V.1)に記載されて
いる。本実施形態において、ステップＳ１１４で、イメ
ージ全体のデータは平滑化され、ステップＳ１１５でエ
ッジマグニチュード及び方向値があらゆるピクセルに対
して計算される。しかしながら、その代わりに、これら
ステップの各々における処理のために、イメージの関連
する領域のみを選択することも可能である。
【００８２】ステップＳ１１６において、ＣＰＵ４は、
ユーザによって特定されたポイントの各ペアの間の領域
Ａ内に存在するピクセルを考慮する。そして、それらの
ポイント間のあらゆるエッジラインのマグニチュードを
計算する。図１３を再度参照すると、ＣＰＵ４は、領域
Ａ内のピクセルの最初のカラム、例えばそのイメージ中
における最も左側にあるピクセルのカラム、を考慮する
ことにより開始する。このカラム内において、ＣＰＵ４
は最初に最上位のピクセルを考慮する。そして、このピ
クセルに対してステップＳ１１５で計算されたエッジマ
グニチュードと方向値を閾値と比較する。この実施形態
において、マグニチュードの閾値は、ピクセル毎のスム
ースグレーレベル０．０１のという非常に低い値にセッ
トされる。これは、しばしばエッジが、例えばエッジを
横切るように影等を生成し得るライティングによって、
イメージにおいて弱められるからである。したがって、
小さいマグニチュード閾値を用いることにより、あらゆ
る合理的なエッジマグニチュードの値を有するすべての
ピクセルが考慮されることを保証する。方向値の閾値
は、ポイント３０と３２をつなぐ直線の方向の小さい角
度の偏差内（本実施形態では０．５ラジアン）に存在さ
せるために、ピクセルの方向値に対して比較的厳しい要
求を課するように設定される。これは、ピクセルマグニ
チュード値よりも、方向の方が、ピクセルが実際にエッ
ジを表しているかどうかを決定するのにはるかに正確な
方法であることが見出されているからである。
【００８３】もしも、ピクセルカラム中における最上位
のピクセルが、マグニチュード閾値を越える値を有し、
方向の閾値よりも小さい値を有するのであれば、そのカ
ラムに対して「票決（vote）」が登録される。「票決」
はポイント３０、３２の間のエッジの一部分がそのピク
セルカラムに存在することを表す。もしも、最上位ピク
セルの値がこの条件を満たさなければ、同じテストがそ
のカラム中の残りのピクセルに適用され、そのカラムを
下降して行く。その閾値条件を満足するピクセルが一旦
見出されると、「票決」がそのカラムに関して登録さ
れ、次のカラムのピクセルが考慮される。一方、そのカ
ラムの中にその閾値条件を満足するピクセルが見つから
なかった場合は、そのカラムに関して「票決」は登録さ
れない。ピクセルカラムのすべてがこの方法で処理され
ると、ＣＰＵ４は、登録された「票決」を有するカラム
のパーセンテージを決定し、このパーセンテージを格納
する。このパーセンテージはエッジの強さを表すもので
ある。
【００８４】再び図１２において、ステップＳ１０６と
Ｓ１０８を実行することで、ＣＰＵ４は、そのペアの各
イメージにおける各エッジに対する強さを計算し格納す
ることになる。
【００８５】ステップＳ１１０において、ＣＰＵ４は、
そのペアの第１のイメージとそのペアの第２のイメージ
におけるエッジに対応する、結合された強さを計算す
る。これは、例えば、第１のイメージ内のエッジに対し
てステップＳ１０６で計算され、格納されたエッジ強さ
のパーセンテージと、第２のイメージにおける対応する
エッジに対してステップＳ１０８で計算され格納された
値とを読み出し、パーセンテージの幾何平均（すなわ
ち、パーセンテージの積の平方根）を計算することによ
り得られる。もしも結果として、結合された強さの値が
９０％未満であった場合、ＣＰＵ４はそのエッジは以降
の処理で考慮するほどには十分に強くないものと判断
し、それらを破棄する。また、もしも、結合された強さ
の値が９０％以上であれば、ＣＰＵ４はその値を格納
し、両イメージにおけるそのエッジを、以降の処理にお
いて使用するための強いエッジとして特定する。
【００８６】ステップＳ１１０を実行することにより、
ＣＰＵ４は効果的に、与えられたポイント間にエッジが
実際に存在するかどうかを判断するためにイメージペア
の両イメージ内のエッジ強さを考慮する。この方法にお
いて、たとえそれが両イメージの一方においていくらか
ゆがめられても（例えば、破壊されても）、エッジはな
お特定される。他のイメージにおけるエッジの強さがそ
れを埋め合わせるからである。
【００８７】ステップＳ１１２において、ＣＰＵ４はそ
のペアにおける第１のイメージにおける強いエッジ、す
なわち、ステップＳ１１０において弱いエッジが取り除
かれた後に残ったエッジを考慮し、エッジ間のあらゆる
交差を除去するためにイメージデータを処理する。
【００８８】図１５はエッジの間にクロスオーバが生じ
ているかどうかを判断しそれらを除去するためにＣＰＵ
４が実行する処理を示す図である。図１５を参照する
と、ステップＳ１２０において、ＣＰＵ４は、ペア中の
第１のイメージにおけるエッジのリストを生成する。こ
のエッジのリストでは、結合された強さの順番にエッジ
が並べられる。最も高い結合された強さを有するエッジ
を当該リストのトップとする。エッジの強さは浮動小数
点で計算され格納されるので、２つのエッジが同じ結合
された強さを有することはめったにない。ステップＳ１
２２において、ＣＰＵ４はリスト内のエッジの次のペア
を考慮する（そのステップが最初に実行されたとき、こ
れは第１のペアとなる）。そして、ステップＳ１２４に
おいて、ＣＰＵ４は、各エッジの端部のポイントの座標
を比較し、第１のエッジの両端のポイントが第２のエッ
ジの同じ側に存在するかどうかを判断する。もし同じ側
に存在すると判断された場合は、エッジが図１６（ａ）
で示される場合に対応する関係を有し、従って、ＣＰＵ
４はステップＳ１２６において、それらは交差していな
いと判断する。一方、ステップＳ１２４において第１エ
ッジの両端のポイントが第２エッジの同じ側に存在しな
いと判断された場合は、エッジは、図１６（ｂ）或いは
図１６（ｃ）のいずれかに示されるような関係を有す
る。そして、これらの関係のうちのいずれであるかを判
断するために、ステップＳ１２８において、ＣＰＵ４は
再びポイントの座標を考慮し、第２エッジの両端部のポ
イントが第１エッジの同じ側に存在するかどうかを判断
する。もし同じ側に存在するのであれば、エッジの関係
は図１６（ｂ）に示されるような場合に対応しており、
ＣＰＵ４はステップＳ１２６において両エッジは交差し
ていないと判断する。一方、ステップＳ１２８におい
て、第２エッジの両端のポイントも第１エッジの同じ側
に存在しないと判定された場合は、ＣＰＵ４は図１６
（ｃ）に示されるように両エッジが交差していると判断
する。そして、ステップＳ１３０において、当該ペアに
おける第２エッジを除去する。これは結合された強さが
より低いエッジを消去することになる。この処理は、そ
のエッジの結合された強さをゼロにセットすることによ
ってなされ、こうすることにより第１及び第２イメージ
からそのエッジを効率的に除去することができる。ステ
ップＳ１３２において、ＣＰＵ４は、まだ比較されてい
ない他のエッジがリスト中にあるかどうかを判定する。
ステップＳ１２２からＳ１３２は、すべてのエッジが上
述した方法で考慮されるまで繰り返される。すなわち、
ステップ１２２から１３２は、まず最初に、最も高い結
合された強さを有するエッジをリストの下位にある各エ
ッジと比較し（リストを下方へ進む）、その次に、順次
リストに残っているその次に高いエッジとリストに残っ
ているものの内のそれよりも下位にある各エッジとを比
較する（リストを下方へ進む）。こうして、すべての比
較がなされるまで、強さの減少する順番でエッジを比較
しつづける（すなわち、次に高いエッジがそのリスト中
の最後のものとなるまで続ける）。
【００８９】ステップＳ１２０において、エッジがこの
順番に比較されるように、結合された強さの順番にエッ
ジを並べることにより、後の処理のために、より高い結
合された値を有するエッジの最大数が保持されることが
保証される。例えば、もしもエッジが異なる順序で考慮
されると、第３番目の強さを有するエッジが、第２番目
の強さを有するエッジに交差するので消去され得る。し
かし、２番の強さを有するエッジ自身は、次に、最も強
い結合された強さを有するエッジと交差することが見出
されると、消去されてしまう。これは、本実施形態にお
ける処理ではおこらないことである。
【００９０】再び図１１を参照すると、ステップＳ１０
０を実行した後、コンピュータ２は、そのペア内の各イ
メージにおいて、設定された閾値を越える強さを有し、
他のエッジと交差しないエッジを格納していることにな
る。ステップＳ１０２において、ＣＰＵ４はユーザによ
って特定されたそのイメージ内のポイントを接続し、三
角形を生成する。
【００９１】図１７は、図１１のステップＳ１０２にお
いてＣＰＵ４によって実行される処理を示す図である。
図１７を参照すると、ステップＳ１４０において、ＣＰ
Ｕ４はまずはじめに、ペア内の第１のイメージにおける
ユーザ特定ポイントを接続する。ここで、これらのポイ
ントは、ステップＳ１００（図１１）の処理が実行され
た後に残る強いエッジによって接続されたものである。
ステップＳ１４２において、ＣＰＵ４は、２つの強いエ
ッジを有するあらゆる三角形を完成するように、適切な
ポイントを結合し、それら三角形の第３の辺を生成す
る。ステップＳ１４２は、もしも２つの強いエッジが出
会った場合に、それらエッジの他の端が相互に接続され
て、強いエッジを辺として有する単一の三角形を生成す
るという利点を提供する。この方法によれば、オブジェ
クト２４のイメージにおけるエッジが、通常は、表面上
の特徴もしくは表面上のエッジに対応するので、他の方
法でポイントが接続された場合よりもオブジェクト２４
の物理的な面上に存在するより多くの三角形を生成する
ことができる。
【００９２】ステップＳ１４０とＳ１４２において、も
しもエッジが閾値を越える強さを有しているならば（す
なわち、強いエッジならば）、三角形の辺は完全なエッ
ジから形成されることが観察される。これは、エッジの
全長にわたる辺を有する三角形が生成されるように、エ
ッジが分割されないという利点を提供する。
【００９３】ステップＳ１４４において、ＣＰＵ４は、
ペアの第１のイメージ内のユーザによって特定されたポ
イントの座標を考慮し、ステップＳ１４０及びＳ１４２
でまだ接続されていないあらゆるポイントを接続するま
っすぐなエッジの長さを計算する。これらの接続は、接
続長というターム（term）で格納される。ステップＳ１
４６において、ＣＰＵ４は、次に短い接続長を有するポ
イントのペア（本ステップが最初に実行されるときは、
もっとも短い接続長を有するポイントのペアとなる）の
座標を考慮し、もしも新しいエッジが既存のエッジとオ
ーバーラップしないならば、それらポイントを接続して
エッジを生成する（もしもオーバーラップするならば、
それらのポイントは接続されない）。ステップＳ１４８
において、ＣＰＵ４は、ステップＳ１４４において生成
されたリスト中に、まだ考慮されていないポイントのペ
アが存在するかどうかを判断する。そして、もし存在す
るならば、ステップＳ１４６が繰り返される。ステップ
Ｓ１４６とＳ１４８は、ユーザによって特定されたポイ
ントのすべてが考慮されるまで繰り返される。ステップ
Ｓ１５０において、ＣＰＵ４は、接続したエッジによっ
て特定される三角形の頂点のリストをメモリ６内に格納
する。
【００９４】図１１を再び参照すると、ステップＳ１０
４において、ＣＰＵ４は、イメージのペアにおいてさら
に対応するポイントを計算するために、ステップＳ１０
２におけるユーザ特定ポイントから決定された三角形を
用いる。
【００９５】図１８Ａ、Ｂは、ステップＳ１０４におい
てＣＰＵ４によって実行される処理を示す図である。図
１８Ａ、Ｂを参照すると、ステップＳ１６０において、
ＣＰＵ４は、ステップＳ１５０（図１７）において格納
された三角形の頂点の座標を読み出し、ペア内のイメー
ジ間の各三角形に対する変換を計算する。これは第１の
イメ−ジ内の三角形の頂点と第２のイメージにおける対
応する三角形の頂点（すなわち、第１のイメージにおけ
る頂点のポイントに対して以前にマッチした第２のイメ
ージにおけるポイント）を考慮することにより実行され
る。与えられた三角形内のイメージの小さな部分はフラ
ットであり、したがって、パースペクティブによって影
響されないと仮定される。したがって、ひとつのイメー
ジ内における三角形内の各ポイントは、以下のような、
数学的なアフィン変換によって他のイメージにおける対
応するポイントに関連付けられる。
【００９６】
【数１】
【００９７】ここで、（x,y,1）は、ペア内の第１のイ
メージにおけるポイントの同次の座標であり、（x',y',
1）は、そのペア内の第２のイメージにおけるポイント
の同次の座標であり、そして、A,B,C,D,E及びFはその変
換を決定する未知の変数である。
【００９８】ＣＰＵ４において、変数Ａ〜Ｆを計算する
ために、数学的変換は三角形の各頂点に対して同じであ
ると仮定する（なぜならば、各三角形の面積は、三角形
内のイメージにおいて表されるオブジェクトの表面の部
分が平面であると仮定できるほどに、十分に小さいから
である）。以下の数式が、第１のイメージ内の三角形の
３つの既知の頂点と第２のイメージにおける３つの対応
する既知の頂点を用いて確立される。
【００９９】
【数２】
【０１００】ここで、（x,y,1）は、第１のイメージに
おける三角形の頂点の同次の座標であり、座標番号はそ
の座標がどの頂点に関連付けられているかを表し、
（x',y',1）は、第２のイメージにおける、第１のイメ
ージ内の三角形の頂点にマッチするポイントの同次の座
標である（ここでも、座標番号はその座標がどの頂点に
関連付けられているかを表す）。この等式は、Ａ〜Ｆの
値を計算するための一般的な方法によって解かれ、ゆえ
に、各三角形の変換が特定される。
【０１０１】ステップＳ１６２において、ＣＰＵ４は第
１のイメージを２５ピクセル×２５ピクセルの大きさの
一連のグリッド矩形に分割する。そして、矩形が「空」
であることを示すためのフラグを各矩形にセットする。
図１９はグリッド矩形に分割されたイメージを表す図で
ある。ステップＳ１６４において、ＣＰＵ４は、考慮中
のペアの第１のイメージ内に、先行するイメージにおけ
るポイントとマッチするが、当該ペアの第２のイメージ
におけるポイントとはマッチしないポイントが存在する
か否かを判定する。考慮中のペアのその第１のイメージ
がその処理における一番最初のイメージである場合（図
２の例において、位置Ｌ１で撮影されたイメージ）、そ
の順番において先立つイメージが存在しないので、ステ
ップＳ１６４ではそのようなポイントは存在しない。ま
た、その順番における第２のイメージ（図２の例におい
て位置Ｌ３において撮影されたイメージ）が、考慮中の
ペアにおける第１のイメージである場合、図７に見られ
るように、ポイントは先行するイメージ（その順番にお
ける第１のイメージ）と、ステップＳ５２における自動
的な初期特徴マッチング、ステップＳ６０またはＳ７２
におけるユーザマッチング、或いはステップＳ６２にお
けるアフィン初期特徴マッチングにより、一致させられ
ている可能性がある。考慮中のペアの第１のイメージが
第３或いはその順番における後続のイメージ（位置Ｌ
２、Ｌ３或いはＬ５で撮影されたイメージのうちのひと
つ）である場合、ポイントは先行するイメージと、ステ
ップＳ５４における自動的な初期特徴マッチング、ステ
ップＳ６０またはＳ７２におけるユーザマッチング、ス
テップＳ６２またはＳ６４におけるアフィン初期特徴マ
ッチングと一致させられている可能性があり、或いは前
述され、さらにその詳細が後述されるステップＳ７４に
おける制約的特徴マッチングにより追加的に一致させら
れている可能性がある。
【０１０２】再び図１８Ａを参照すると、ステップＳ１
６４でそのようなポイントが存在するとＣＰＵ４が判定
すると、ＣＰＵ４は、ステップＳ１６６において「以前
にマッチした」ポイントのひとつを考慮し、ステップＳ
１６８において、このポイントが、そのペアの第１のイ
メージ内における図１１中のステップＳ１０２で生成し
た三角形内に存在するかどうかを判断する。もしもポイ
ントが三角形内に存在しない場合は、処理はステップＳ
１７８へ進み、ＣＰＵ４は当該ペアの第１のイメージ中
に別の、以前にマッチしたポイントがあるかどうかを判
断する。ステップＳ１６６、Ｓ１６８、Ｓ１７６は、そ
のペアの第１のイメージ中の三角形内に存在する以前に
マッチしたポイントが特定されるまで、或いはそのよう
な以前にマッチしたポイントのすべてが考慮されるま
で、繰り返される。ステップＳ１６８において考慮中の
以前にマッチしたポイントがそのペアの第１のイメージ
内の三角形内に存在すると判断された場合、ステップＳ
１７０において、ＣＰＵ４はそのペアの第２のイメージ
内の対応するポイントを見つけようと試みる。これは、
そのポイントが存在する三角形に関するアフィン変換
（ステップＳ１６０において計算されたもの）を、その
ポイントに適用し、第２のイメージ中におけるポイント
を特定することによりなされる。そして、最小二乗相関
ルーチンを適用し、第２のイメージにおける特定された
ポイントとその周りの少領域内のポイントを考慮し、そ
のペアの第１イメージ内における以前にマッチしたポイ
ントと同じ画像特性を有するポイントがあるかどうかを
判断する。なお、適用される最小二乗相関ルーチンとし
ては、「Adaptive Least Squares Correalation: A Pow
erful Image Matchin Technique、A.W. Gruen、Photogr
ammetry Remote Sensing andCartography、1985、175-1
87ページ」に記載されているものを用いることができ
る。これは、第２のイメージ内のポイントに関する相似
性測度をもたらす。ステップＳ１７２において、ＣＰＵ
４は、そのペアの第２のイメージ内に対応するポイント
が見つかったかどうかを、その相似性測度値を閾値（本
例では０．４）と比較することにより判断する。もしも
類似性測度が閾値よりも大きければ、この相似性測度を
有する第２のイメージのポイントが第１のイメージの以
前にマッチしたポイントに対応するものであると決定す
る。そして、ステップＳ１７４において、ＣＰＵ４は第
１のイメージ内のそのポイントが存在するグリッド矩形
に対するフラッグを、そのグリッド矩形が「フル」であ
ることを示すように変更する。ステップＳ１７６におい
て、ＣＰＵ４は、マッチしたポイントを特定するデータ
を格納する。
【０１０３】ステップＳ１７８において、ＣＰＵ４は、
そのペアの第１のイメージ内に、まだ考慮されていな
い、別の、以前にマッチしたポイントが存在するかどう
かを判断する。そして、もしも存在するならば、ステッ
プＳ１６６からＳ１７８が繰り返され、そのペアの第１
のイメージ内のすべての以前にマッチしたポイントが上
述した方法で処理されるまで行われる。
【０１０４】そのペアの第１のイメージ内の以前にマッ
チしたポイントのすべてが処理された場合、もしくは、
ステップＳ１６４において以前にマッチしたポイントが
存在しないと判断された場合は、ステップＳ１８０にお
いて、ＣＰＵ４はそのペアの第１のイメージ内の次の空
のグリッド矩形を考慮する。そして、ステップＳ１８２
において、三角形（図１１のステップＳ１０２において
特定されたもの）の部分がその矩形内に存在するかどう
かを判断する。もしも、例えば、図１９における矩形３
４、３６、３８の場合のように、三角形のどの一部分も
その矩形内に存在しないのであれば、処理はステップＳ
１９２に進む。ステップＳ１９２において、ＣＰＵ４
は、第１のイメージ内にまだ考慮されていない別の空の
グリッド矩形があるかどうかを判断する。三角形の部分
を含むグリッド矩形（例えば、図１９の矩形４０）が特
定されるまで、ステップＳ１８０、Ｓ１８２及びＳ１９
２が繰り返される。三角形の少なくとも一部が含まれる
矩形が特定されると、次に、処理はステップＳ１８４へ
進む。ステップＳ１８４において、ＣＰＵ４は、三角形
とグリッド矩形の両方に存在し最も高いマッチング特性
を有するポイントを特定する。この実施形態において、
この選択は、「Scale-Space Theory in Computer Visio
n、Tony Lindeberg、Kluwer Academic Publishers、ISB
N 0-7923-9418-6、158-160、Junction (corner) Detect
ion」に記載されているようなテクニックを用いて行わ
れ、最も強いコーナー値を持つポイントを特定する。
【０１０５】ステップＳ１８５において、ＣＰＵ４はそ
の最良のポイントの値を閾値と比較する（本実施形態で
はコーナー値が１．０の閾値と比較される）。もしもそ
の値が閾値よりも小さい場合は、ＣＰＵ４はその最良の
ポイントのマッチング特性は、そのポイントを他のイメ
ージにおけるポイントにマッチさせようとする処理を正
しく行うのに十分に強くはないと判断する。そして、ス
テップＳ１９２へ進む。
【０１０６】一方、その値が閾値と等しいかそれより大
きければ（それは、そのポイントがマッチングに適して
いることを表す）、ステップＳ１８６において、ＣＰＵ
４はそのポイントが存在する三角形に対するアフィン変
換（ステップＳ１６０において計算されたもの）をステ
ップＳ１８４において選択されたポイントの座標に適用
し、第２のイメージにおけるポイントを特定する。そし
て、適応化最小二乗相関ルーチンを適用し、第２のイメ
ージにおける特定されたポイントの周囲領域内のピクセ
ルを考慮し、第１のイメージにおけるポイントと第２の
イメージ内のその領域内における最良のマッチングポイ
ントとの間の類似性の度合いを示す値を生成する。ここ
で、適応化最小二乗相関ルーチンは、「Adaptive Least
SquaresCorrealation: A Powerful Image Matchin Tec
hnique、A.W. Gruen、Photogrammetry Remote Sensing
and Cartography、1985、175-187ページ」に示されるよ
うなテクニックを用いることができる。ステップＳ１８
８において、ＣＰＵ４は、相似性測度を閾値と比較する
ことにより、マッチングポイントがそのペアの第２のイ
メージ内において見つかったかどうかを判断する。もし
も相似性測度が閾値よりも大きければ、ＣＰＵ４は第２
のイメージにおいて特定されたポイントが第１のイメー
ジにおけるポイントとマッチするものと判断し、ステッ
プＳ１９０において、そのマッチングを格納する。もし
も、相似性測度が閾値よりも低ければ、ＣＰＵ４は第２
のイメージにおいてマッチングポイントが見つからなか
ったと判断する。
【０１０７】ステップＳ１９２において、ＣＰＵ４は、
第１のイメージにおいて、まだ考慮されていない空のグ
リッド矩形があるかどうかを判断する。ステップＳ１８
０からＳ１９２は、上述した方法ですべてのグリッド矩
形が考慮されるまで繰り返される。
【０１０８】そのペアの第２のイメージにおけるポイン
トにマッチングさせるための当該ペアの第１のイメージ
におけるポイントを特定するために上述したようにグリ
ッドを用いることは、マッチングに考慮された第１のイ
メージ内のポイントが、均一な度合いの間隔を有して広
いエリアにわたって広がる（イメージの小領域内に互い
に群れ合うのではない）という利点をもたらす。そのペ
アの第１のイメージにおけるマッチングに考慮されるべ
きポイントの数と密度はグリッドの面積の大きさを変更
することでなされる。もしも矩形が小さければ、より接
近した間隔のより多くの数のポイントが考慮される。一
方、グリッド矩形が大きければ、より少ない数のより広
い間隔を有したポイントが考慮される。
【０１０９】次に、ＣＰＵ４が、図７のステップＳ５６
とＳ６６で、トリプル内の３つのイメージの間における
カメラ変換を計算する方法を、図２０〜３８を参照して
以下に説明する。
【０１１０】図２０は、カメラ変換計算においてＣＰＵ
４によって実行されるトップレベルの処理を示す図であ
る。ステップＳ２００において、ＣＰＵ４は、カメラ変
換が計算されるトリプルにおけるイメージが、位置的順
序における最初３つのイメージであるかどうかを判定す
る。図７を再度参照すると、位置的順序における最初の
３つのイメージ（すなわち、図２の例では、位置Ｌ１、
Ｌ２及びＬ３において撮影されたイメージ）が処理され
る場合、そのトリプルにおけるイメージの第１のペアの
ためのカメラ変換はそれより前には計算されていない。
しかしながら、その順序における次のイメージトリプル
が考慮されるときには、処理されているイメージトリプ
ルは、その順序における第２、第３及び第４のイメージ
を備えることになる。この場合、その順序における第２
と第３のイメージの間のカメラ変換は、これらのイメー
ジが以前のイメージトリプル（このトリプルは、当該順
序における第１、第２、及び第３のイメージを含む）に
関して処理されたときにすでに計算されている。同様に
して、当該順序の後続のイメージが考慮されるときに
は、第１のイメージペアに関するカメラ変換がそれに先
行するイメージトリプルに関する計算においてすでに計
算されたものとなっている。
【０１１１】そのトリプルの第１のイメージペアに対す
るカメラ変換がそれまでに計算されていた場合は、ＣＰ
Ｕ４によって実行される処理は先行して計算された変換
を用いることにより簡素化される。したがって、ＣＰＵ
４は、そのトリプルにおける第１のペアに関するカメラ
変換が先行して計算されたかどうかに依存して、異なる
計算ルーチンを実行する。考慮されているイメージトリ
プルが位置的順序における最初の３つのイメージを備え
る場合、第１のルーチンがステップＳ２０２において実
行され、他のイメージトリプルに対してはステップＳ２
０４において第２のルーチンが実行される。
【０１１２】図２１は、図２０におけるステップＳ２０
２で実行される計算ルーチンの中で、ＣＰＵ４によって
実行されるトップレベルの処理を示す図である。図２１
を参照すると、ステップＳ２０６において、ＣＰＵ４は
計算に必要なパラメータをセットアップする。ステップ
Ｓ２０８において、ＣＰＵ４はそのトリプル内の第１の
イメージペア間のカメラ変換を計算し、その結果を格納
する。そして、ステップＳ２１０において、ＣＰＵ４は
そのトリプル内の第２のイメージペア間のカメラ変換を
計算し、その結果を格納する。ステップＳ２１２におい
て、ステップＳ２０８において計算された第１のイメー
ジペアに対するカメラ変換と、ステップＳ２１０におい
て計算された第２のイメージペアに対するカメラ変換と
を用いて、当該トリプル内の３つのイメージすべてに対
するカメラ変換を計算し、これらの変換を格納する。
【０１１３】図２２は、ステップＳ２０６においてパラ
メータをセットアップする際の、ＣＰＵ４によって実行
される処理を示す図である。図２２を参照すると、ステ
ップＳ２１４において、ＣＰＵ４は、ステップＳ３０
（図４）でユーザによって入力されたカメラデータを読
む。ステップＳ２１６において、ＣＰＵ４は、ステップ
Ｓ５２、Ｓ６０、Ｓ６２及びＳ７２（図７）における初
期特徴マッチングの間にそのトリプルの第１のイメージ
ペア内でマッチしたポイントと、ステップＳ５４、Ｓ６
０、Ｓ６４及びＳ７２（図７）における初期特徴マッチ
ングの間にそのトリプル内の第２のイメージペア内でマ
ッチしたポイントとを読む。
【０１１４】ステップＳ２１８において、ＣＰＵ４は、
各イメージペアに対して、ユーザ特定による（すなわ
ち、図７のステップＳ６０もしくはＳ７２においてユー
ザによって特定された）マッチングポイントのリスト、
及びＣＰＵ４によってマッチングするものとして（図７
のステップＳ５２、Ｓ５４、Ｓ６２或いはＳ６４におい
て）計算されたポイントとユーザ特定によるポイントの
両方を備えるマッチングポイントのリストを生成する。
計算されたマッチングポイントのいくらかは、ユーザに
よって特定されたマッチングポイントと同じになるであ
ろう。この場合、ＣＰＵ４は、マッチングポイントの重
複をなくすために、ＣＰＵによって計算された方のポイ
ントをそのリストから消去する。ＣＰＵによって計算さ
れたポイントを消去することにより、ＣＰＵ４は、計算
に使用されることになる１つのポイントが両方のリスト
に出現することを保証する（上記のように、２つのリス
トのうちの１つはユーザ特定されたポイントのみをリス
トアップしており、それゆえ、重複を除去するためにユ
ーザ特定されたポイントの方を消去すると、そのリスト
においてそのポイントが消滅してしまう）。なお、ユー
ザ特定されたマッチングポイントのリストにおけるリス
トの数はゼロであってもよい。これは、図７のステップ
Ｓ６０からＳ７２におけるアフィン初期特徴マッチング
が実行されなかった場合である。
【０１１５】ステップＳ２１８においても、ＣＰＵ４は
トリプルポイント、すなわち、その考慮中のイメージト
リプル中の３つのイメージ全てにわたってマッチするポ
イント（ユーザマッチポイントとＣＰＵ計算ポイントの
両方を含む）のリストを生成する。
【０１１６】ステップＳ２２０において、ＣＰＵ４はス
テップＳ２１８において生成されたリスト内のポイント
の座標を正規化する。この段階までにおいて、ポイント
の座標は、そのイメージの左上コーナーから横及び下へ
のピクセルの数によって表されている。そこで、ステッ
プＳ２２０において、ＣＰＵ４は、ステップＳ２１４に
て読み出したカメラ焦点距離とイメージプレーン（フィ
ルム或いはＣＣＤ）のサイズを用いて、そのポイントの
座標を、ピクセルから、カメラの光学中心を原点に持つ
ミリメータ単位の座標系へ変換する。ミリメータ座標は
ピクセル座標と以下のように関連付けられる。
【０１１７】
【数３】
【０１１８】ここで、（ｘ*，ｙ*）はミリメータ座標で
あり、（ｘ，ｙ）はピクセル座標、（Ｃx，Ｃy）はイメ
ージの中心（ピクセル座標による）であり、水平方向及
び垂直方向のピクセル数の半分として定義されたもの、
“ｈ”と“ｖ”は隣接するピクセル間の水平及び垂直方
向距離（ｍｍ単位）である。
【０１１９】ＣＰＵ４はミリメータ座標とピクセル座標
の両方を格納する。
【０１２０】ステップＳ２２２において、ＣＰＵ４は、
以下に示すように、ユーザ特定ポイントのリストとステ
ップＳ２１８で生成されたユーザ特定及び計算されたポ
イントのための測度行列（measurement matrix）、Ｍを
セットアップする。
【０１２１】
【数４】
【０１２２】ここで、（ｘ、ｙ）はペア内の第１イメー
ジにおけるポイントのピクセル座標であり、（ｘ'、
ｙ'）は当該ペアの第２イメージにおける対応する（マ
ッチした）ポイントのピクセル座標であり、１〜ｋの数
字は、その座標がどのポイントのペアに対応するかを表
す（リスト内にはトータルでｋペアのポイントがあり、
それは、もちろん、ユーザ特定リストとユーザ特定及び
計算ポイントリストとで異なっていてよい）。
【０１２３】ステップＳ２２４において、ＣＰＵ４は、
第１のイメージペアのカメラ変換を計算するのに用いる
４つの異なる計算テクニックと、第２のイメージペアの
カメラ変換を計算するのに用いる４つの異なる計算テク
ニックとの実行するべき繰り返しの回数を決定する。カ
メラ変換を計算するのに用いられる４つのテクニック
（第１のイメージペアと第２のイメージペアに対して同
じテクニックが用いられる）は、ユーザ特定ポイントの
リストを用いたパースペクティブ計算（perspective ca
lculation）、ユーザ特定ポイントと計算されたポイン
トのリストを用いたパースペクティブ計算、ユーザ特定
ポイントリストのリストを用いたアフィン計算、ユーザ
特定及び計算されたポイントのリストを用いたアフィン
計算である。
【０１２４】図２３は、図２２のステップＳ２２４にお
いてＣＰＵ４によって実行されるステップを示す図であ
り、このステップでは各計算において用いられるべき繰
り返し回数を決定する。図２３を参照すると、ステップ
Ｓ２３０において、ＣＰＵ４は、ステップＳ２１８にお
いて生成されたリストのひとつを考慮し、そのリスト中
のポイントの数が４よりも小さいかどうかを判断する。
もし小さいのであれば、ステップＳ２３２において、Ｃ
ＰＵ４は、そのリスト内のポイントを用いたパースペク
ティブ計算のために実行されるべき繰り返し数“ｎｐ”
をゼロに設定し、そのリスト内のポイントを用いたアフ
ィン計算のために実行されるべき繰り返し数“ｎａ”も
ゼロに設定する。すなわち、ステップＳ２３０において
リスト内のポイントの数が４よりも小さいことが見出さ
れた場合には、十分な数のマッチングポイントのペアが
存在しないので、パースペクティブ計算もアフィン計算
も実行されないことを保証するために、それらの繰り返
し数がステップＳ２３２においてゼロに設定されるので
ある。
【０１２５】もしもステップＳ２３０においてリスト内
のポイントのペアの数が４以上であると判定されたなら
ば、ステップＳ２３４において、ＣＰＵ４はポイントの
ペアの数が７よりも小さいかどうかを判定する。もし７
よりも小さいのであれば、ステップＳ２３６において、
そのリスト内のポイントを用いたパースペクティブ計算
のための繰り返し数“ｎｐ”をゼロに設定する（その計
算を実行するのには十分ではないからである）。そし
て、そのリスト内のポイントに対するアフィン計算を実
行する際の繰り返し数“ｎａ”を１５に設定する。“ｎ
ａ”が１５に設定されるのは、その数が、アフィン計算
において、ポイントの６個（７未満の最大の数）のペア
を用いて重複することなく実行することが可能な最大の
繰り返し数だからである。
【０１２６】もしもステップＳ２３４において、リスト
中のポイントのペアの数が７以上であると判定された場
合は、ステップＳ２３８においてＣＰＵ４は、そのリス
ト内のポイントを用いたパースペクティブ計算のための
繰り返し数“ｎｐ”を、４，０００かｋ（ｋ−１）（ｋ
−２）（ｋ−３）（ｋ−４）（ｋ−５）（ｋ−６）／２
０１６０の整数部分のうちの小さいほうにセットすると
ともに、そのリスト内のポイントを用いたアフィン計算
のための実行すべき繰り返し数“ｎａ”を、８００とｋ
（ｋ−１）（ｋ−２）（ｋ−３）／４８の整数部分の小
さいほうにセットする。後述するように、ｋ（ｋ−１）
（ｋ−２）（ｋ−３）（ｋ−４）（ｋ−５）（ｋ−６）
／２０１６０の値は、重複した計算なしにパースペクテ
ィブ計算を実行することが可能な繰り返しの最大数の２
５％を表す。また、ｋ（ｋ−１）（ｋ−２）（ｋ−３）
／４８の値は、重複することなくアフィン計算を行うこ
とが可能な繰り返しの最大数の５０％を表す。４，００
０及び８００という値は、合理的な時間的制限の中にお
いて許容できる結果を得るために、経験的に決定された
ものである。
【０１２７】図２３に関連して上述した処理は、第１の
イメージペア及び第２のイメージペアに対して４つのカ
メラ変換計算テクニックすべてにおいて実行されるべき
繰り返し数を計算するために、トリプルポイントのリス
トを除く、ステップＳ２１８においてセットアップした
リストの各々に対して実行される。
【０１２８】図２４は、ステップＳ２０８（図２１）に
おいてトリプル内の第１のイメージペアに関するカメラ
変換を計算するとき、及びステップＳ２１０（図２１）
においてトリプル内の第２のイメージペアに関するカメ
ラ変換を計算するときに、ＣＰＵ４によって実行される
処理のトップレベルを示す図である。
【０１２９】図２４を参照すると、ステップＳ２４０に
おいて、ＣＰＵ４はパースペクティブ計算を用いて、ペ
アである２つのイメージ間のカメラ変換を計算し、その
結果を格納する。ステップＳ２４２において、ＣＰＵ４
はアフィン計算を用いてイメージペアのカメラ変換を計
算し、その結果を格納する。すなわち、ＣＰＵ４は２つ
のテクニックを用いて各イメージペアに関するカメラ変
換を計算する。それらの各々は、処理のために入力され
得るイメージの２つの可能なタイプのそれぞれに対応す
る（前述したように、第３のタイプのイメージ、すなわ
ちフラットオブジェクトのイメージは、オブジェクトの
３Ｄモデルを生成する処理を実行することができな
い）。
【０１３０】図２５Ａ〜Ｃは、図２４のステップＳ２４
０においてパースペクティブ計算を用いて、カメラ変換
の計算を行ったときの、ＣＰＵ４によって実行される処
理を示す図である。図２５Ａ〜Ｃを参照すると、ＣＰＵ
４はまず、ユーザ特定されたポイントのリスト中のポイ
ントペアを用いてパースペクティブ計算を実行し（ステ
ップＳ２４４〜Ｓ２６２）、そして次に、ユーザ特定さ
れたポイントと計算されたポイントの両方含むリスト中
のポイントペアを用いて、パースペクティブ計算を実行
する（ステップＳ２６２からＳ２８２）。ＣＰＵ４は、
どのポイントリストが最も正確な結果を生成したかを決
定し、これらの結果をそのイメージのペアのためのカメ
ラ変換に変換する（ステップＳ２８４）。これらの処理
では、複数の異なるポイントのセットを用いて変換が計
算され、このため、正確な変換が計算されるという点に
関して大きな可能性をもたらすという利点を提供する。
演算のより詳細については後述する。
【０１３１】図２５Ａ〜Ｃを参照すると、ステップＳ２
４４において、ＣＰＵ４は、ステップＳ２２４（図２
２）で決定された、ユーザ特定によるポイントを用いた
パースペクティブ計算のために実行されるべき繰り返し
数を示す値を読み出し、この値がゼロより大きいかどう
かを判定する。もしそうでなかったならば、パースペク
ティブ計算を実行するのにはユーザ特定されたポイント
だけでは十分でないと判断されるので、処理はステップ
Ｓ２６４へ進み、ユーザ特定されたポイントと計算され
たポイントの両方のリストを用いてパースペクティブ計
算のための処理を開始する。
【０１３２】一方、ステップＳ２４４において、繰り返
しの値がゼロよりも大きいならば、ステップＳ２４６に
おいてＣＰＵ４はカウンタの値を１つだけ増加させる
（最初にステップＳ２４６が実行されるときには、ＣＰ
Ｕ４はこのステップにおいてカウンタ値を１にセットす
る）。ステップＳ２４８において、ＣＰＵ４は、ステッ
プＳ２１８（図２２）でセットアップされたマッチング
したユーザ特定ポイントのリストから、ランダムに７個
のポイントペアを選択する。ステップＳ２５０におい
て、ＣＰＵ４はその選択された７つのポイントペアと、
ステップＳ２２２においてセットされた測度行列とを用
いて、fundamental行列Ｆを計算する。この行列は、イ
メージ間の幾何学的関係を表し、Ｆは以下の等式を満足
する３×３の行列である。
【０１３３】
【数５】
【０１３４】ここで、（ｘ，ｙ，１）は、そのペアの第
１のイメージ内の、選択された７つのポイントのすべて
の同次のピクセル座標であり、（ｘ'，ｙ'，１）はその
ペアの第２のイメージにおける、対応する同次のピクセ
ル座標である。
【０１３５】Fundamental行列は一般的な方法で計算さ
れる。例えば、「Robust Detectionof Degenerate Conf
igurations Whilst Estimating the Fundamental Matri
x、P.H.S. Torr、A. Zisserman及びS. Maybank著, Oxfo
rd University Technical Report 2090/90」に記載され
ているテクニックを用いることができる。
【０１３６】ステップＳ２４８において８つ以上のマッ
チしたポイントのペアを選択して、これらを用いてステ
ップＳ２５０でfundamental行列を計算することも可能
である。しかしながら、この実施形態では７個のポイン
トのペアを用いている。この数が、経験的に満足の行く
結果をもたらすものであることが見出されており、ま
た、fundamental行列のパラメータを計算するのに必要
な最小のペア数を表し、必要となる処理を減少させるか
らである。
【０１３７】ステップＳ２５２において、ＣＰＵ４は、
ステップＳ２１４（図２２）で読み出したカメラデータ
を用いて、fundamental行列Ｆを物理的なfundamental行
列Ｆ physに変換する。これは一般的な方法において実行
される。例えば、"Motion and Structure from Two Per
spective Views: Algorithms, Error Analysis and Err
or Estimation"、J. Weng, T.S. Huang 及び N. Ahuja
著, IEEE Transactionson Pattern Analysis and Machi
ne Intelligence, vol. 11, No. 5, May 1989,の451-47
6頁に記載されているテクニックを用いることができ
る。以下に要点を示す。
【０１３８】まず、以下の等式を満足するessential行
列Ｅが計算される。
【０１３９】
【数６】
【０１４０】ここで、（ｘ*，ｙ*，ｆ）はイメージの中
心を原点とするミリメートル座標系における第１のイメ
ージ中の選択された７個のポイントの座標であり、ｚ座
標はカメラの焦点距離ｆに対応するべく正規化されてお
り、（ｘ*’，ｙ*’，ｆ）は、当該ペアの第２イメージ
において、対応するマッチングポイントの座標を表す。
Fundamental行列Ｆは，以下の式を用いて、essential行
列Ｅに変換される。
【０１４１】
【数７】
【０１４２】ここで、カメラパラメータｈ、ｖ、ｃx、
ｃy及びｆは予め特定されたものであり、シンボルＴは
転置行列を示し、シンボルｔｒは行列traceを表す。
【０１４３】移動ベクトル（translation vector）（単
位長さの）と回転行列（この最も近い行列はＥphys）に
直接的に分解が可能な、Ｅに最も最も近い行列を見つけ
ることにより、計算されたessential行列Ｅは、物理的
なessential行列Ｅphysに変換される。
【０１４４】最後に、物理的なessential行列は、以下
の式を用いて、物理的なfundamental行列へ変換され
る。
【０１４５】
【数８】
【０１４６】シンボル−１は逆行列を示す。
【０１４７】物理的なessential行列Ｅphys、物理的なf
undamental行列Ｆphysの各々は、物理的に信頼性のある
行列である。すなわち、それは直接的に回転行列と移動
ベクトルへ分解される。
【０１４８】物理的なfundamental行列Ｆphysは、連結
イメージ座標（concatenated imagecoordinate）として
知られる、座標（ｘ，ｙ，ｘ'，ｙ'）で表される４次元
空間における曲面を決定する。曲がった面は上述の式
（６）によって与えられ、それは連結イメージ座標にお
ける４Ｄ空間内の３Ｄ２次曲面を定義する。
【０１４９】ステップＳ２５３において、ＣＰＵ４は計
算された物理的なfundamental行列を、ステップＳ２５
０においてそのfundamental行列を計算するのに用いら
れた各ポイントのペアに対してテストする。これは、物
理的なfundamental行列を表す面から、ポイントの各ペ
アを表す４Ｄポイントまでの４Ｄユークリッド距離（連
結イメージ座標における）の近似値を計算することによ
りなされる。この距離は、サンプソン距離（Sampson di
stance）として知られるもので、一般的な方法で計算さ
れる。このテクニックは、上述の「Robust Detection o
f Degenerate Configurations Whilst Estimating the
Fundamental Matrix、P.H.S. Torr、A.Zisserman及びS.
Maybank著, Oxford University Technical Report 209
0/96」に記載されている。
【０１５０】図２６は、ステップＳ２５３においてＣＰ
Ｕ４が物理的なfundamental行列をテストする方法を示
す図である。図２６を参照すると、ステップＳ２９０に
おいて、ＣＰＵ４はカウンタをゼロにセットする。ステ
ップＳ２９２において、ＣＰＵ４は、ユーザ特定による
ポイントの７個のペア（ペアにおける各ポイントを特定
する２つの座標は、連結されたイメージ座標の４次元空
間における単一のポイントを特定するために使用され
る）におけるポイントの次のペアの座標によって定義さ
れる４次元ポイントにおいて、物理的なfundamental行
列を表す面のタンジェント平面を計算する。ステップＳ
２９２は、事実上、ポイントペアの座標によって特定さ
れるポイントに接触するために面をシフトすることを備
える。これは、一般的な方法によって実行される。例え
ば、「Robust Detection of Degenerate Configuration
s Whilst Estimating the Fundamental Matrix、P.H.S.
Torr、A. Zisserman及びS. Maybank著, Oxford Univer
sity Technical Report 2090/96」に記載されているテ
クニックを用いることができる。
【０１５１】ステップＳ２９４において、ＣＰＵ４はス
テップＳ２９２で計算されたタンジェント平面の法線を
計算する。そして、ステップＳ２９６において、マッチ
したポイントのペアの座標によって特定される４Ｄ空間
におけるポイントから、物理的fundamental行列を表す
面までの、法線に沿った距離（サンプソン距離（Sampso
n distance））を計算する。ステップＳ２９８におい
て、計算された距離は閾値と比較される。この閾値は、
本実施形態では、２．８ピクセルにセットされる。もし
も距離がその閾値よりも小さければ、そのポイントはそ
の表面に十分に接近して存在しており、物理的なfundam
ental行列は、考慮されているマッチしたポイントの特
定のペアに関して、カメラのそのペアの第１のイメージ
からそのペアの第２のイメージへの移動を正確に表すと
みなされる。したがって、もしも距離が閾値よりも小さ
ければ、ステップＳ３００において、ＣＰＵ４はステッ
プＳ２９０で初期値０にセットされたカウンタをインク
リメントし、そのポイントを格納し、ステップＳ２９６
において計算された距離を格納する。
【０１５２】ステップＳ３０２において、ＣＰＵ４は、
fundamental行列を計算するのに用いられた７つのポイ
ントペアにおいて別のポイントペアがあるかどうかを判
断する。そして、ステップＳ２９２からＳ３０２が、そ
のようなポイントのすべてが上述したように処理される
まで繰り返される。
【０１５３】再び図２５に戻り、ステップＳ２５４にお
いて、ＣＰＵ４は、ステップＳ２５２において計算され
た物理的fundamental行列が、ユーザ特定されたポイン
トと計算されたポイントのすべてに対してそれをテスト
するために、更なる処理を正当化するのに十分に正確で
あるかどうかを判断する。本実施形態においては、ステ
ップＳ２５４が、ステップＳ３００にてセットされたカ
ウンタ値（ステップＳ２９８において閾値よりも小さい
距離を有するポイントのペアの数を表す、それゆえ、物
理的fundamenta行列と一致していると考えられる）が７
に等しいかどうかを判断する。すなわち、ＣＰＵ４は、
物理的fundamental行列が、物理的fundamental行列が派
生するfundamental行列を計算するために用いられるす
べてのポイントについて一貫しているかどうかを判断す
る。カウンタ値が７より小さい場合は、ＣＰＵ４は物理
的fundamental行列のテストをそれ以上行わず、処理は
ステップＳ２５６へ進む。一方、カウンタ値が７に等し
ければ、ステップＳ２５５においてＣＰＵ４は、ユーザ
特定ポイントと計算ポイントの両方を含むリスト中のポ
イントの各ペアに対して物理的fundamental行列をテス
トする（たとえ物理的fundamental行列が、ユーザ特定
ポイントのみを含むリストからのポイントを用いて派生
したものであっても）。これは、以下の（i）〜（iii）
の点を除いて、上述したステップＳ２５３と同じ方法で
実行される。 （i）ステップＳ２９０において、ＣＰＵ４は、ステッ
プＳ２５３においてすでにテストされたポイントの７個
のペアを反映するためにカウンタを７にセットし、これ
らは物理的fundamental行列と一致すると判断される。 （ii）物理的fundamental行列はすべてのユーザ特定さ
れたポイント及び計算されたポイントに対してテストさ
れる（ただし、ステップＳ２５３において以前にテスト
されたポイントのペアは再度テストされない）。 （iii）ＣＰＵ４は、以下の式を用いて、ステップＳ３
００において格納された全ポイントに対するトータルエ
ラーを計算する。
【０１５４】
【数９】
【０１５５】ここで、ｅiは、それらの座標によって表
された４ＤポイントとステップＳ２９６で計算された物
理的fnndamental行列を表す面との間のマッチしたポイ
ントのｉ番目のペアの距離である。この値は、無符号と
するために二乗される（それにより、そのポイントが物
理的fundamental行列のどの側にあるかということが結
果に影響しないことを保証する）。ｐはステップＳ３０
０において格納されたポイントの合計値であり、ｅthは
ステップＳ２９８で比較に用いられた距離の閾値であ
る。
【０１５６】ステップＳ２５５において、カウンタ値、
ステップＳ３００（図２６）において格納されたポイン
ト、及び上述のトータルエラーは、ステップＳ２５３に
おいてテストされた上述の７個のポイントペアを含む。
【０１５７】ステップＳ２５５の効果は、ステップＳ２
５２において計算された物理的fundamental行列が、ユ
ーザ特定されたポイント及び計算されたポイントの各ペ
アに対して正確かどうか、計算された行列が十分に正確
であるために必要なポイントの合計数を表す最終的な
（ステップＳ３００）カウンタの値に対して正確かどう
かを判断することである。
【０１５８】ステップＳ２５６において、ＣＰＵ４はス
テップＳ２５５でテストされた物理的fundamental行列
が、ユーザ特定されたポイントだけについてパースペク
ティブ計算を用いて以前に計算したものよりも正確であ
るかどうかを判断する。ここでは、図２６のステップＳ
３００において最後に計算された物理的fundamental行
列のために格納されたカウンタ値（この値は、物理的fu
ndamental行列が正確なカメラ解であるためのポイント
数を表す）を以前に計算された最も正確な物理的fundam
ental行列に関して格納された対応するカウンタ値とを
比較する。最も高いポイント数の行列（カウンタ値）は
最も正確であるとしてとられる。もしもポイントの数が
２つの行列で同じであったならば、各マトリックスのト
ータルエラー（上述のごとく計算されたもの）が比較さ
れ、低いエラー値を有するものが最も正確な行列として
採用される。もしも、ステップＳ２５６において、物理
的fundamental行列が現在格納されているものよりも正
確であったならば、ステップＳ２５８において以前のも
のが破棄され、新しい行列が格納される。このとき、こ
の新しい行列とともに、図２６におけるステップＳ３０
０にて格納されたポイント数（カウンタ値）、それらの
ポイント自体及びその行列について計算されたトータル
エラーが格納される。
【０１５９】ステップＳ２６０において、ＣＰＵ４はス
テップＳ２４６においてインクリメントされたカウンタ
の値が図２２のステップＳ２２４において設定された、
繰り返し回数を定義する値“ｎｐ”以上であるかどうか
を判断する。もしも値が“ｎｐ”以上であれば、要求さ
れた繰り返しの回数が実行されており、ユーザ特定され
たポイントと計算されたポイントの両方を備えたリスト
内のポイントに対してパースペクティブ計算を実行する
ために、処理はステップＳ２６４へ進む。一方、もしも
要求された繰り返し数に達していない場合は（ステップ
Ｓ２６０においてカウンタ値が“ｎｐ”未満である）、
ステップＳ２６２において、ＣＰＵ４は、物理的なfund
amental行列の正確さ（ステップＳ２５８において格納
されたカウンタ値とトータルエラーによって表される）
が、過去のｎｐ／２回の繰り返しのすべてにて、増加し
たかを判断する。もしそうならば、更なる繰り返しを実
行する価値があり、ステップＳ２４６〜Ｓ２６２が繰り
返される。過去ｎｐ／２回の繰り返しにおいて、物理的
fundamental行列の正確さに変化が無ければ、たとえ図
２２のステップＳ２２４で設定された値“ｎｐ”に繰り
返し回数が到達していなくても処理を止める。この方法
により、繰り返し回数すべてを実行することがそれほど
に、より正確な結果を生まないような場合に、処理時間
が節約されることになる。図２３に関して述べたよう
に、“ｎｐ”の値は、ステップＳ２４８において７つの
ペアをランダムに選択するのに用いたポイントリスト内
のポイントのペアの数に基づいて設定される。図２３の
ステップＳ２３８を参照すると、(k-1)(k-2)(k-3)(k-4)
(k-5)(k-6)/20160の値は、重複することなしに実行可能
な繰り返しの最大数の２５％を表す（この最大数は、そ
のリストから選択された７つのポイントペアの異なる組
み合わせの合計数を表す）。ステップＳ２６２において
用いられる値ｎｐ／２は、合理的な時間で許容できる結
果を生じるために経験的に決定されるものである。
【０１６０】再び図２５Ａ〜Ｃを参照すると、ステップ
Ｓ２６４〜Ｓ２８２において、ＣＰＵ４は、ユーザ特定
されたポイントと計算されたポイントの両方を備えるリ
ストからランダムに選択されたポイントのペアを用い
て、そのイメージペアについてパースペクティブ計算を
実行する。これらのステップは、上述したステップＳ２
４４〜Ｓ２６２で実行した処理とほぼ同じである。異な
るのは、実行されるべき繰り返し数を特定する値“ｎ
ｐ”が異なって設定され（図２２のステップＳ２２
４）、ランダムに選択されたfundamental行列を計算す
るために用いられる７個のポイントペアがユーザ特定さ
れたポイントと計算されたポイントの両方を備えたリス
トから選択されるという点である。この処理において実
行される処理については、それゆえ、繰り返し記載しな
い。上述のように、図２６は、ユーザ特定されたポイン
トと計算されたポイントの各ペアに対して物理的なfund
amental行列をテストするときに実行されるステップ
（ステップＳ２７３、Ｓ２７５）を示す。
【０１６１】ステップＳ２８４において、ＣＰＵ４は、
ユーザ特定されたポイントのみを用いて計算された最も
正確な物理的fundamental行列（ステップＳ２５８にて
格納されたもの）と、ユーザ特定されたポイントと計算
されたポイントの両方を用いて計算された最も正確な物
理的fundamental行列（ステップＳ２７８で格納された
もの）とを比較し、両者のうちのより正確なほうを選択
する（これは、行列が正確な解であるためのポイントの
数を表すカウンタ値を比較することにより行われる。ま
たこれが同一であった場合は、合計のエラー値を比較す
ることで行う）。最も正確な物理的fundamental行列
は、次に、イメージペア間におけるカメラの動きを表す
カメラ回転行列と移動ベクトルとに変換される。この変
換は、一般的な方法で実行される。例えば、"Motion an
d Structure from Two PerspectiveViews: Algorithms,
Error Analysis and Error Estimation"、J. Weng, T.
S.Huang、N. Ahuja著, IEEE Transactions on Pattern
Analysis and Machine Intelligence, Vol. 11, No. 5,
May 1989, 451-476頁に記載されている方法を用いるこ
とができる。
【０１６２】図２５Ａ〜Ｃに関して上述した処理におい
て、ＣＰＵ４はfundamental行列を計算し（ステップＳ
２５０及びＳ２７０）、ユーザ特定されたポイントと計
算されたポイントに対してテストする（ステップＳ２５
５及びＳ２７５）ために、この行列を物理的fundamenta
l行列に変換する（ステップＳ２５２及びＳ２７２）。
これは、fundamental行列を物理的なfundamental行列に
変換するという付加的な処理が必要とはなるが、ステッ
プＳ２８４において最終的に選択された物理的なfundam
ental行列自身がテストされるという長所を有する。も
しもfundamental行列がユーザ特定ポイント及び計算ポ
イントに対してテストされ、最も正確なfundamental行
列が選択されたならば、それ自身はテストされていない
物理的なfundamental行列へ変換されなければならない
であろう。
【０１６３】図２４を再度参照すると、ＣＰＵ４は、い
まや、イメージペアのためのパースペクティブ計算を完
結し、ステップＳ２４２に進む。ステップＳ２４２にお
いては、ＣＰＵ４は、第２のタイプの計算、すなわち、
アフィン計算をそのイメージペアに対して実行する。
【０１６４】図２７Ａ、Ｂはアフィン変換を実行すると
きのＣＰＵ４によって実行される処理を示す図である。
【０１６５】パースペクティブ計算を実行したときのよ
うに、ＣＰＵ４は、ユーザ特定されたポイントだけのリ
スト（ステップＳ３１０〜Ｓ３２７）から選択されたポ
イントのペアを用いてアフィン計算を実行し、そして、
ユーザ特定されたポイントと計算されたポイントの両方
を備えたポイントリスト（ステップＳ３２８からＳ３４
５）よりのポイントのペアを用いてアフィン計算を実行
する。そして、最も正確なアフィン解を求める（ステッ
プＳ３４６）。この場合においても、変換が複数のポイ
ントの異なる集合を用いて計算され、それにより、正確
な変換が計算される可能性をより高くするという長所を
生ずる。
【０１６６】パースペクティブ計算を実行するとき、そ
のfunsamental行列Ｆのすべてのコンポーネントを計算
することが可能である。しかしながら、そのイメージの
ペア間の関係がアフィン関係にある場合、そのfundamen
tal行列の４個の独立したコンポーネントのみを計算す
ることができる。これら４個の独立したコンポーネント
は、アフィンfundamental行列として一般に知られたも
のを定義する。
【０１６７】図２７Ａを参照すると、ステップＳ３１０
において、ＣＰＵ４は、ユーザ特定されたポイントのみ
を用いたアフィン計算のための、ステップＳ２２４（図
２２）でセットされた繰り返し数“ｎａ”がゼロより大
きいか否かを判断する。もしもゼロ以下ならば、アフィ
ン計算を実行するのに十分なポイントペアがユーザ特定
されたポイントのリスト中には無いので、処理はステッ
プＳ３２８へ進む。ステップＳ３２８では、ユーザ特定
されたポイントと計算されたポイントの両方を備えるリ
ストが考慮される。一方、ステップＳ３１０において、
実行されるべき繰り返し数がゼロより大きい場合、ステ
ップＳ３１２においてＣＰＵ４はカウンタの値をインク
リメントする（ただし、ステップＳ３１２の最初の処理
では、カウンタの値は１にセットされる）。
【０１６８】ステップＳ３１４において、ＣＰＵ４は、
ユーザ特定されたポイントだけを含むポイントリストか
ら４個のマッチしたポイントのペアをランダムに選択す
る。ステップＳ３１６において、ＣＰＵ４はその選択さ
れた４つのポイントペアとステップＳ２２２でセットさ
れた測度行列とを用いて、そのfundamental行列（アフ
ィンfudnamental行列を与える）の４個の独立したコン
ポーネントを計算する。これには、「Affine Analysis
of Image Sequences」L.S. Shapiro著, Section 5, Cam
bridge University Press 1995, ISBN 0-521-55063-7、
に記載されているような技術を用いることができる。ス
テップＳ３１４において４個より多いポイントペアを選
択し、ステップＳ３１６においてアフィンfundamental
行列を計算することは可能である。しかしながら、本実
施形態においては、４つのペアのみが選択される。これ
は、この数が、経験的に満足の行く結果を生じるもので
あり、そして、この数がアフィンfundamental行列のコ
ンポーネントを計算するために要求される最小の数を表
しており、それゆえ必要な処理を減少させるものである
からである。
【０１６９】ステップＳ３１８において、ＣＰＵ４はア
フィンfundamental行列を、ユーザ特定されたポイント
と計算されたポイントの両方を備えるリスト内の各ポイ
ントペアに対してテストする（たとえ、アフィンfundam
ental行列がユーザ特定されたポイントのみを含むリス
トからのポイントを用いて派生したものであっても）。
これには、「Affine Analysis of Image Sequences」、
L.S. Shapiro著, Section 5, Cambridge University
Press, 1995, ISBN 0-521-55063-7に記載のテクニッ
クを用いることができる。アフィンfundamental行列
は、４次元の、連結されたイメージ空間における平らな
表面（ハイパープレーン）を表す。そして、このテスト
は、マッチしたポイントのペアの座標によって特定され
る４次元空間におけるポイントとそのアフィンfundamen
tal行列によって表される平らな面との間の距離を決定
することを含む。ステップＳ２５５とＳ２７５（図２
５）で計算されたパースペクティブ計算の間に実行され
るテストのように、ステップＳ３１８で実行されるテス
トは、ユーザ特定されたポイントと計算されたポイント
のリスト内のアフィンfundamental行列がカメラ変換の
ために十分に正確な解を表すポイントペアの数を生成す
ると共に、これらのポイントに関するトータルエラー値
を生成する。
【０１７０】ステップＳ３２０において、ＣＰＵ４は、
ステップＳ３１６で計算され、ステップＳ３１８でテス
トされたアフィンfundamental行列が、ユーザ特定され
たポイントだけを用いて以前に計算されたいかなるもの
よりも正確であるかどうかを判断する。これは、行列が
正確な解を表すためのポイントの数を、以前に計算され
た最も正確なアフィンfundamental行列のためのポイン
ト数と比較することによりなされる。ポイントの数が最
も多い行列が最も正確である。もしも、ポイントの数が
同じであったならば、その中で最も低いエラーを有する
行列が最も正確である。もしもアフィンfundamental行
列が以前に計算されたどの行列よりも正確であるなら
ば、ステップＳ３２２において、それは、十分に正確な
解を表すためのポイント、これらポイントの総数及び行
列のトータルエラーとともに格納される。
【０１７１】ステップＳ３２４において、ＣＰＵ４はス
テップＳ３１２においてインクリメントされたカウンタ
の値が繰り返し数“ｎａ”よりも小さいかどうかを判断
する。この“ｎａ”はステップＳ２２４（図２２）にお
いてユーザ特定されたポイントだけにかかわるアフィン
計算のためにセットされたものである。そして、これに
より、セットされた回数の繰り返しが実行される。もし
もカウンタの値が設定された繰り返し数以上であったな
らば、要求された繰り返し回数が実行されており、処理
はステップＳ３２８へ進む。もしも、カウンタの値が設
定された繰り返し回数未満であったならば、ＣＰＵ４は
更なるテストをステップＳ３２６において実行する。そ
して、そのアフィンfundamental行列の正確さが最近の
ｎａ／２回の繰り返しのすべてにおいて増加したかどう
かを判断する。もしも正確さが増加していなければ、た
とえ設定された繰り返し回数“ｎａ”回の処理がまだ実
行されていなくても、処理を停止する。このようにし
て、アフィンfundamental行列の正確さの増加の発生し
ない無駄な繰り返しが実行されなくなる。このため、処
理時間が節約される。一方、正確さが増加したのであれ
ば、ステップＳ３２４において設定された回数の繰り返
しが実行されたと判断されるか、或いはステップＳ３２
６において、先行するｎａ／２回の繰り返しにおいてア
フィンfunamental行列の正確さが増加していないと判断
されるまで、ステップＳ３１２からＳ３２６が繰り返さ
れる。
【０１７２】ステップＳ３２７において、ＣＰＵ４は格
納されたアフィンfundamental行列（すなわち、ユーザ
特定されたポイントだけを用いて計算された最も正確な
もの）を、カメラ変換を表す３つの物理的変数に変換す
る。これら３つの物理的変数は、すなわち２つのイメー
ジ間のオブジェクトのマグニフィケーション（magnific
ation）ｍと、カメラの回転の軸φ、及びカメラのサイ
クロトーションローテーション（cyclotorsion rotatio
n）θである（変数φとθはより詳細に後述する）。ア
フィンfundamental行列のこれら物理的変数への変換
は、一般的な方法において実行される。例えば、「Affi
ne Analysis of Image Sequences」、L.S.Shapiro著, S
ection 7, Cambridge University Press, 1995, ISBN 0
-521-55063-7に記載されている方法を用いることができ
る。
【０１７３】ステップＳ３２８からＳ３４５において、
ＣＰＵ４は、ユーザ特定されたポイントと計算されたポ
イントの両方を含むリストからランダムに選択されたポ
イントペアを用いてアフィン計算を実行する。これらの
ステップは、上述したステップＳ３１０〜Ｓ３２７にお
いてユーザ特定されたポイントだけに関してＣＰＵ４に
よって実行されたものと同じである。ただし、繰り返し
回数“ｎａ“は図２２のステップＳ２２４でセットされ
たのとは異なる値となり、ステップＳ３３２においてラ
ンダムに選択された４つのポイントペアはユーザ特定さ
れたポイントと計算されたポイントの両方を備えたリス
トから選択されたものとなる。ここでは、これらのステ
ップについては再び記述しない。
【０１７４】以上のようにして、ユーザ特定されたポイ
ントだけを含むリストからのポイントのペアを用いたア
フィン計算（ステップＳ３１０〜Ｓ３２７）、ユーザ特
定されたポイントと計算されたポイントの両方を備える
リストからのポイントのペアを用いたアフィン計算（ス
テップＳ３２８〜Ｓ３４５）を行い、各計算に関して最
も正確なアフィンfundamental行列を生成し終えると、
ステップＳ３４６において、ＣＰＵ４はこれら２つのア
フィンfundamental行列を比較し、最も正確なものを選
択する。これはポイント（ステップＳ３２２とＳ３４０
で格納された）数が最も多いものであり、もしもポイン
トの数が同じならば、最も低い行列トータルエラーを有
するものとなる。
【０１７５】再び図２１を参照すると、ステップＳ２０
８において上述したパースペクティブ及びアフィンテク
ニックを用いてトリプル内の第１のイメージペアについ
てカメラ変換を計算し、ステップＳ２１０において同じ
パースペクティブ及びアフィンテクニックを用いてその
トリプル内の第２のイメージペアについてカメラ変換を
計算すると、ＣＰＵ４はステップＳ２１２においてその
結果を用いて、そのトリプル内の３つのイメージ全てに
ついてのカメラ変換を計算する。
【０１７６】図２８は、ステップＳ２１２においてトリ
プル内の３つのイメージ全てについてのカメラ変換の計
算において、ＣＰＵ４によって実行される処理を示す図
である。
【０１７７】トリプル内の３つのイメージ全てを考慮す
る場合、２つのカメラ変換が存在する。１つはそのトリ
プル内の第１のイメージが撮られた位置から第２のイメ
ージが撮られた位置まで、もう１つは、第２のイメージ
が撮られた位置から第３のイメージが撮られた位置まで
の変換である。これら変換の各々は、アフィン変換或い
はパースペクティブ変換のいずれでもよく、したがって
イメージ間の４つの可能な組み合わせが与えられる（す
なわち、アフィン−アフィン、アフィン−パースペクテ
ィブ、パースペクティブ−アフィン、パースペクティブ
−パースペクティブ）。したがって、ステップＳ３５
０、Ｓ３５２、Ｓ３５４及びＳ３５６において、ＣＰＵ
４はそれら４つの可能な組み合わせのそれぞれを考慮
し、ステップＳ３５８においてその４つから最も正確な
解を選択する。以下、この処理についてより詳細に説明
する。
【０１７８】ステップＳ３５０において、ＣＰＵ４は、
トリプル内の第１のイメージペア間の変換がアフィンで
あり、第２のイメージペア間の変換もまたアフィンであ
る場合を考慮する。先行するステップＳ２０８（図２
１）において、ＣＰＵ４は、そのトリプル内の第２のイ
メージペア間のアフィン変換を特定するアフィンfundam
ental行列と、関連する３つの物理的変数を計算した。
前述したように、アフィンfundamental行列から派生し
たこれら３つの物理的変数は、イメージのペア間のカメ
ラの移動を完全に特定するものではない。ステップＳ３
５０において、ＣＰＵ４は前もって計算された３つの物
理的変数を用いて、各イメージペア間におけるカメラの
移動を完全に定義するために必要なパラメータを計算す
る。
【０１７９】図２９（ａ）及び２９（ｂ）は、カメラの
移動を完全に定義するために、ステップＳ３５０の計算
で必要なパラメータを表す図である。図２９（ａ）は、
３つの異なる位置及び方向における、イメージがその上
に形成されるＣＣＤイメージデバイス或いはフィルム５
０の配置を示し、トリプル中の第１、第２及び第３イメ
ージが撮られる位置と方向を表している。ライン５２は
カメラ１２の光軸を表す。光軸５２は、第１位置から第
２位置へ移動するにおいて距離ｄ１を移動し、第２位置
から第３位置へ移動するにおいて距離ｄ２を移動する。
【０１８０】各イメージング位置におけるＣＣＤ５０の
回転は、光軸５２回りの回転と、イメージ平面に平行な
軸回りの回転に分解される。これは、「ＫｖＤ分解」と
して知られるものであり、「Affine Analysis of Image
Sequences」、L.S. Shapiro著、Appendix D, Cambrid
ge University Press, 1995, ISBN 0-521-55063-7に記
載されている。光軸回りの回転は、サイクロトーション
角度（cyclotortion angle）として知られるものであ
り、図２９（ａ）においてθで示されている。図２９
（ａ）に示される例において、ＣＣＤ４０は、第１イメ
ージのランドスケープ方向から第２イメージのポートレ
ート方向へθ１＝９０°回転している。そして、さら
に、θ２＝−９０°回転して、第３のイメージのランド
スケープ方向へ戻る。
【０１８１】イメージ平面に平行な軸回りの回転は、軸
−角度公式により、２つの角度ヘ分解される。すなわ
ち、図２９（ｂ）に示されるφとρである。φはローテ
ーションの起こるイメージプレーン内の軸５４を定義す
る。φは「軸角度」として知られている。ρは軸５４回
りを通ってカメラが回転した角度を定義し、「ターン角
度」として知られている。
【０１８２】カメラ回転の３つの角度への変換は、各ト
リプルにおける第１及び第２イメージの間のカメラの変
換に適用され（これらの角度はθ１、φ１、ρ１とす
る）、また、第２及び第３イメージ間のカメラの変換に
適用される（これらの角度をθ２、φ２、ρ２とす
る）。
【０１８３】また、カメラの２つの変換がともにアフィ
ンであると考慮された場合、ｓ＝ｄ２／ｄ１として定義
されたスケールｓ、そして回転角度ρ１及びρ２はステ
ップＳ２０８とＳ２１０（図２１）において計算された
アフィンfundamental行列では未定義で残され、ステッ
プＳ３５０で計算されなければならない。
【０１８４】イメージのペア間のカメラ変換がパースペ
クティブ変換であるとき、ρ、ｄ、θ、φの値はステッ
プＳ２０８もしくはＳ２１０（図２１）で計算された回
転行列及び変換ベクトルにおいてすでに定義されてい
る。しかしながら、スケールは未知である。したがっ
て、ＣＰＵ４がアフィン−パースペクティブケースを考
慮するときはステップＳ３５２においてスケールｓ及び
ρ１を計算することが必要であり、ＣＰＵ４がパースペ
クティブ−アフィンケースを考慮するときはステップＳ
３５４においてスケールｓ及びρ２を計算することが必
要である。また、ＣＰＵ４がパースペクティブ−パース
ペクティブの場合を考慮するときには、ステップＳ３５
６においてスケールｓのみを計算することが必要であ
る。
【０１８５】図３０はステップＳ３５０、Ｓ３５２、Ｓ
３５４及びＳ３５６において、スケール、ρ１及びρ２
を計算するときに、ＣＰＵ４によって実行される処理を
示す図である。
【０１８６】図３０を参照すると、ステップＳ３８０に
おいて、ＣＰＵ４はρ１、ρ２の次の値をとる。図３１
の（ａ）〜（ｄ）は、ステップＳ３５０からＳ３５６に
おける異なるケースにおいて、ＣＰＵ４によって考慮さ
れるρ１とρ２の値を示す図である。
【０１８７】図３１（ａ）は、ρ１及びρ２がともに既
知であるステップＳ３５０において考慮されるアフィン
−アフィンのケースのためのρ１及びρ２の値を示す図
である。ρ１及びρ２の６４個の値が考慮され、１０°
〜４５°の間を５°刻みで変化するρ１の８個の値と、
１０°〜４５°の間を５°刻みで変化するρ２の８個の
値と、を比較する。ρ１とρ２の値について１０°〜４
５°の間が考慮されるのは、オブジェクト２４の少なく
とも３つのイメージが撮影される場合に、連続的なイメ
ージの間において、ユーザがカメラ１２をほとんどこの
範囲内で動かすからである。より広い、（或いは、より
狭い）値の範囲が考慮されてもよいことはいうまでもな
い。
【０１８８】図３１（ｂ）は、ステップＳ３５２におい
て考慮される、アフィン−パースペクティブケースのた
めのρ１、ρ２の値を示す図である。このケースにおい
て、第２カメラ変換がパースペクティブであるので、ρ
２が既知であり、それゆえ、ρ１のみの異なる値が考慮
される必要がある。再び、１０°〜４５°の間を５°刻
みで変化するρ１の８個の値が、既知のρ２の値のため
に考慮される。
【０１８９】図３１（ｃ）はステップＳ３５４において
考慮される、パースペクティブ−アフィンケースのため
に考慮されるρ１及びρ２の値を示す図である。第１の
カメラ変換がパースペクティブであるので、ρ１の値が
既知である。それゆえ、１０°〜４５°の間を５°刻み
で変化するρ２の８個の値が、既知のρ１の値のために
考慮される。
【０１９０】図３１（ｄ）は、ステップＳ３５６におい
てパースペクティブ−パースペクティブケースにおいて
考慮されるρ１とρ２の値を示す図である。この場合、
２つのカメラ変換がパースペクティブであるので、ρ１
とρ２の両方の値が既知である。したがって、図示の如
く単一の値が考慮される。
【０１９１】再び、図３０を参照すると、ステップＳ３
８２において、ＣＰＵ４は、ステップＳ３８０において
考慮されたρ１、ρ２の値に最もよくフィットするスケ
ールを計算する。
【０１９２】図３２は、ステップＳ３８２において最良
のスケールを計算するときにＣＰＵ４によって実行され
る処理を示す図である。図３２を参照すると、ステップ
Ｓ３９０において、ＣＰＵ４はカウンタの値をゼロにセ
ットし、ステップＳ３９２においてカウンタの値を１つ
ずつインクリメントする。ステップＳ３９４において、
ＣＰＵ４はマッチした次のトリプルポイントにおけるポ
イントの座標を読み取る。すなわち、ステップＳ２１８
（図２２）において生成されたリストから、考慮されて
いる３個のイメージ全てにおいてマッチしたポイントの
座標を読み取る。ステップＳ３９６において、ＣＰＵ４
は、ステップＳ２０８もしくはＳ２１０（図２１）にお
いて前もって計算された適切なカメラ変換（アフィン或
いはパースペクティブ）を用いて、そのトリプル内のイ
メージの相対的構築（relative configuration）を定義
し、次いで、ステップＳ３９４において読み出されたト
リプルにおける各ポイントからカメラの光学中心を通る
光線（ray）（無限のライン）を投射する（これは、カ
メラの焦点距離分だけ、イメージプレーンの中心から垂
直方向に変位されたポイントである）。
【０１９３】図３３はトリプル内の各ポイントから投射
される光線を示す図である。
【０１９４】ステップＳ２０８或いはＳ２１０において
計算されたカメラ変換における不正確さ、及びマッチし
たポイント自身における不正確さのゆえに、トリプル内
のポイントからの光線のいずれもが交差するということ
はまず起こらない。したがって、ステップＳ３９８にお
いて、ＣＰＵ４は、第１のイメージと第２のイメージの
間のカメラ変換を計算する。この変換は、第２のイメー
ジからの光線を第１のイメージからの光線とポイント６
０のところで交差させる。この計算はＣＰＵ４によって
以下のように実行される。
【０１９５】ａ）もしも、ｓｉｎ(ρ１)×ｓｉｎ（φ
１）＞０ならば、ρ１の符号がフリップ（反転）され
る。これは、イメージの順序付けの知識によってなされ
る。
【０１９６】ｂ）回転行列Ｒが、角度（θ１、φ１、ρ
１）より以下の式を用いて定義される。
【０１９７】
【数１０】
【０１９８】ここでＩは恒等（identity）行列である。
【０１９９】ｃ）２つのイメージξ、ξ’におけるポイ
ント位置からの変換ベクトルｔ、回転行列Ｒ及び２つの
イメージの間のマグニフィケーションにおける変化ｍは
等式を用いて以下のように定義される。
【０２００】
【数１１】
【０２０１】同様に、ステップＳ４００において、ＣＰ
Ｕ４は、第２と第３イメージの間でカメラの変換を変更
し、第３イメージからの光線を第２イメージからの光線
とポイント６２において交差させる。
【０２０２】ステップＳ４０２において、ＣＰＵ４は、
第２のイメージのためのカメラ位置の光学的中心からポ
イント６２までの距離ｄ62とこの光学的中心からポイン
ト６０までの距離ｄ60との比を用いて、第１及び第２カ
メラ位置の間の変換ベクトルの長さｄ１initialと第２
及び第３カメラ位置の間の変換ベクトルの長さｄ２ini
tialを、以下のように調整する。
【０２０３】
【数１２】
【０２０４】図３３を参照すると、上記のように計算さ
れた長さｄ１finalとｄ２finalは全３つのイメージから
の光線を同一のポイント６４でクロスさせる変換ベクト
ルの長さである。そして、ＣＰＵ４は、スケールｓを計
算するためにその結果値を用いる。
【０２０５】
【数１３】
【０２０６】ステップＳ４０４において、ＣＰＵ４はス
テップＳ４０２において計算されたスケールをステップ
Ｓ２１８（図２２）において生成されたリスト内のすべ
てのトリプルポイントに対してテストする。
【０２０７】図３４は、すべてのトリプルポイントに対
してそのスケールをテストする際に、ＣＰＵ４によって
実行される処理を示す図である。図３４を参照すると、
ステップＳ４２０において、ＣＰＵ４はカメラの相対的
な位置（図２１のステップＳ２０８からＳ２１０におい
て決定されたものから、アフィン−アフィンであるか、
アフィン−パースペクティブであるか、パースペクティ
ブ−アフィンであるか、或いはパースペクティブ−パー
スペクティブのいずれが考慮されているかに依存した、
適切な変換によって定義される）を、ステップＳ４０２
（図３２）において計算されたスケールを考慮に入れる
ために、３つのイメージ全てに関して調整する。これ
は、一般的な方法で実行される。例えば、座標系の原点
を、その第２ポジション（イメージ２）にあるカメラの
光学中心に固定し、ｘ、ｙ、ｚ軸の配置をこの位置にお
けるカメラの方向によって与える（ｚ軸はイメージ平面
に対して直角である）、そして以下の式を用いる。
【０２０８】
【数１４】
【０２０９】ここでｔは添え字によって表されるイメー
ジ間の変換ベクトルであり、上記の式（１７）によって
与えられ、Ｒは添え字によって表されるイメージ間の回
転を定義する回転行列であり、上記の式（１３）によっ
て与えられる。
【０２１０】ステップＳ４２２において、ＣＰＵ４は変
数Ｐをゼロにセットし、ステップＳ４２４において、ス
テップＳ２１８（図２２）で生成したリストから、次の
マッチしたトリプルポイントを読み出す。ステップＳ４
２６において、ＣＰＵ４は、そのトリプルの第１イメー
ジ内にあるそのトリプルポイントから、第１位置にある
カメラの光学中心を通る光線と、そのトリプルの第３の
イメージ内に存在するトリプルポイントから第３位置に
あるカメラの光学中心を通る光線とを投射する。
【０２１１】図３５はステップＳ４２６における光線の
投射を示す図である。
【０２１２】ステップＳ４２８において、ＣＰＵ４は、
第１及び第３イメージから投射された光線の最も接近し
たアプローチラインに沿った中央ポイント６８（図３
５）を計算する。この最も接近するアプローチラインは
図３５に示されるように、第１イメージからの光線と第
３のイメージからの光線の両方に対して直角なラインで
ある。ステップＳ４３０において、ＣＰＵ４はステップ
Ｓ４２８で計算された中央ポイントをそのトリプルの第
２イメージに投影する。すなわち、ＣＰＵ４は中央ポイ
ント６８を第２イメージに位置するカメラの光学中心を
通る光線で第２イメージと接続する。この結果、第２イ
メージ上にポイント７０が生成される（図３５）。
【０２１３】ステップＳ４３２において、ＣＰＵ４は、
第２のイメージ内の投影されたポイント７０と、ステッ
プＳ４２４において読み出されたトリプルポイントから
得られる第２のイメージ内の実際のポイント７２との距
離“ｔ”を計算する。ステップＳ４３４において、ＣＰ
Ｕ４は、設定された閾値（この実施形態においては３ピ
クセル）よりもステップＳ４３２で計算された距離の方
が小さいかどうかを判断する。第２のイメージにおいて
投影されたポイント７０と実際のポイント７２が互いに
近ければ近いほど、このトリプルポイントは、ステップ
Ｓ４０２（図３２）で計算されたスケールのためのこの
値をサポートする。したがって、もしも距離が閾値より
も小さければ、計算されたスケールは十分に正確である
とみなされ、ステップＳ４３６において、ＣＰＵ４は、
スケールが正確であるトリプルポイントの数を表す変数
Ｐをインクリメントする。このとき、考慮中のトリプル
ポイントに考慮中のスケールに対して正確である旨の注
釈を付加する。そして、トータルの距離エラーを（すな
わち、それまでに、ステップＳ４３２において計算され
た距離がステップＳ４３４において閾値よりも小さいと
みなされたすべてのポイントに対するエラー）ステップ
Ｓ４３２で計算された新しい距離で更新する。トータル
エラーは以下の式を用いて計算される。
【０２１４】
【数１５】
【０２１５】ここで、ｅiは、トリプル内のｉ番目のイ
メージにおける、投影されたポイント７０と実際のポイ
ント７２との距離である。この値は、符号無しとするた
めに二乗される。（それにより、その方向ではなく、投
影されたポイントと実際のポイントの間の距離の大きさ
（マグニチュード）だけが考慮されることを確実にす
る）。Ｐは、ポイントのトータル数である。そして、ｅ
thはステップＳ４３４において比較のために用いられる
距離の閾値である。
【０２１６】一方、ステップＳ４３４において、距離が
閾値より小さくない場合は、変数Ｐがインクリメントさ
れないように、ステップＳ４３６は省略される。
【０２１７】ステップＳ４３８において、ＣＰＵ４は、
ステップＳ２１８（図２２）において生成されたリスト
中に、別のトリプルポイントがあるかどうかを判断す
る。ステップＳ４２４からＳ４３８は、上述の処理がリ
スト内のすべてのトリプルポイントに対して実行される
まで繰り返される。この点において、変数Ｐの値は、計
算されたスケールが十分に正確であるトリプルポイント
のトータル数を示す。
【０２１８】再び図３２を参照すると、上述した方法を
用いてステップＳ４０４においてスケールをテストした
後、ＣＰＵ４は、ステップＳ４０６において、計算され
たスケールが現在格納されているいかなるものよりも正
確であるかどうかを判断する。これは、ステップＳ４３
６で格納されたポイント数Ｐ及びトータルエラー（図３
４）を、それまでに格納された最良のスケールに対する
ポイント数及びトータルエラーと比較することでなされ
る。最も正確なスケールは、最も多くのポイント数を有
するものであるか、或いは、ポイントの数が同じであれ
ば、最も小さいトータルエラーを有するものである。も
しも新たに計算されたスケールがより正確ならば、それ
までの最も正確なスケール、ポイント数及びトータルエ
ラーに替えて、そのスケール、ポイント数Ｐ及びトータ
ルエラーがステップＳ４０８において格納される。そう
でなければ、以前の最も正確なスケール、ポイント数、
トータルエラーが維持される。
【０２１９】ステップＳ４１０において、ＣＰＵ４は、
ステップＳ３９２においてインクリメントされたカウン
タの値が２０より小さいかどうかを判断する。もしも小
さければ、ステップＳ４１２において、ＣＰＵ４はステ
ップＳ２１８（図２２）において格納されたリスト内の
別のトリプルポイントがあるかどうかを判断する。ステ
ップＳ３９２からＳ４１２は、２０個のトリプルポイン
トがスケール（ステップＳ４１０で決定された）を計算
するのに用いられるまで、或いはもしもトリプルポイン
トの数が２０よりも小さければステップＳ２１８（図２
２）において格納されたリスト内のすべてのトリプルポ
イントがスケール（ステップＳ４１２で決定された）を
計算するのに用いられた判定されるまで、繰り返され
る。この値２０は、合理的な時間内にスケール計算のた
めの正確な結果を得るための、経験的に見出された値で
ある。
【０２２０】再び図３０を参照すると、ステップＳ３８
２において考慮下にあるρ１、ρ２の値のための最良の
スケールを計算した後、ステップＳ３８４において、Ｃ
ＰＵ４はその解が、すなわち、ρ１、ρ２、ｓの値が、
現在格納されている解よりもより正確であるかどうかを
判断する。こうして、ＣＰＵ４は、ステップＳ３８０及
びステップＳ３８２で計算された最後の値ρ１、ρ２及
びｓが、ステップＳ３８０及びＳ３８２でそれまでに計
算された値よりも正確なカメラ変換を生み出したかどう
かを判定する。これは、現在の最も正確な解のために格
納されたポイント数Ｐと、最も最近の解としてステップ
Ｓ４０８（図３２）及びステップＳ４３６（図３４）に
て格納されたポイント数とを比較することで行われる。
最も正確な解は、最も多くのポイント数を有するもので
あり、ポイント数が同じであれば最も小さいトータルエ
ラーを有するものである。もしも、新しい解が現在格納
されている解よりも正確であったならば、ステップＳ３
８６において、ＣＰＵ４は現在格納された解を新しいも
のに置き換える。一方、もしも現在格納されている解の
方がより正確であったならば、それは維持される。
【０２２１】ステップＳ３８８において、ＣＰＵ４は、
考慮するべきさらなるρ１、ρ２の値があるかどうかを
判断し、ステップＳ３８０〜Ｓ３８８が、すべてのρ１
及びρ２の値が上述のように処理されるまで繰り返され
る。再び、図３１を参照すると、図３１（ａ）より、ス
テップＳ３５０（図２８）においてアフィン−アフィン
ケースのためにステップＳ３８０〜Ｓ３８８が６４回繰
り返されることがわかるであろう。また、図３１（ｂ）
及び図３１（ｃ）から、ステップＳ３５２（図２８）に
おいてアフィン−パースペクティブケースのためにステ
ップＳ３８０〜Ｓ３８８が８回繰り返され、ステップＳ
３５４（図２８）においてパースペクティブ−アフィン
ケースのためにステップＳ３８０〜Ｓ３８８が８回繰り
返される。また、ステップＳ３５６（図２８）における
パースペクティブ−パースペクティブ計算のケースにつ
いてはステップＳ３８０〜Ｓ３８８は１回だけ行われ
る。図３１（ｄ）に示されるように、ρ１、ρ２のただ
ひとつの値がステップＳ３８０において考慮されるのに
有効だからである。
【０２２２】再び図２８を参照すると、ステップＳ３５
０におけるアフィン−アフィンケースのためのカメラ変
換、ステップＳ３５２におけるアフィン−パースペクテ
ィブケースのためのカメラ変換、ステップＳ３５４にお
けるパースペクティブ−アフィンケースのためのカメラ
変換、そしてステップＳ３５６におけるパースペクティ
ブ−パースペクティブケースのためのカメラ変換のそれ
ぞれの解を計算すると、ステップＳ３５８において、Ｃ
ＰＵ４はこれら４つの解から最も正確なものを選択す
る。これもまた、各解について格納されたトータルのポ
イント数Ｐを考慮してなされる（図３０のステップＳ３
８６、図３２のステップＳ４０８及び図３４のステップ
Ｓ４３６）。最も正確な解は最も多くのポイント数を有
する（なぜなら、この数は、トリプル内の解が正確なポ
イントの数だからである）。もしも解が同数のポイント
を有するならば、次に各解のトータルエラーが考慮さ
れ、最も小さいエラーの解が最も正確なものとして選択
される。
【０２２３】ステップＳ３６０において、ＣＰＵ４は、
最も正確な解のポイントの数Ｐが４よりも小さいかどう
かを判定する。これは、図７のステップＳ５８及びＳ６
８において、計算されたカメラ変換が十分に正確かどう
かを判断するためにＣＰＵ４が実行する方法である。も
しもポイント数Ｐが４より小さいならば、ＣＰＵ４は、
ステップＳ３６２において、計算されたカメラ変換が十
分に正確ではないと判断する。一方、ポイント数が４以
上であったならば、ＣＰＵ４は計算されたカメラ変換が
十分に正確であると判断し、処理はステップＳ３６４へ
進む。ステップＳ３６４において、ＣＰＵ４は、最も正
確な解のポイント数Ｐが、ステップＳ２１８（図２２）
において格納されたリスト内のトリプルポイントの総数
の８０％よりも大きいかどうかを判断する。もしもポイ
ント数が８０％よりも大きいならば、ＣＰＵ４は、計算
されたカメラ変換をそれ以上に正確にするために処理す
る必要はないと判断する。なぜなら、それらは、すでに
十分に正確なものとなっているからである。したがっ
て、処理はステップＳ３７０へ進み、ここで、ＣＰＵ４
は、解をフルのカメラ回転及び移動行列（full camera
rotation and translatin matrices）に変換し、そのト
リプル内の３つのイメージの相対的位置を定義する（ス
ケールとρ値を含む）。
【０２２４】もしも、ステップＳ３６４において、ポイ
ントの数Ｐが８０％よりも小さいと判断されたならば、
ステップＳ３６６においてＣＰＵ４は、最も正確な解
が、パースペクティブ−パースペクティブケースのため
に計算された解であるかどうかを判断する。もしもそう
ならば、ＣＰＵ４は、その解はそれ以上に最適化される
べきではないと判断する。したがって、この場合も処理
はステップＳ３７０へ進み、解は、フルのカメラ回転及
び移動行列に変換される。尚、パースペクティブ−パー
スペクティブケースのための解は最適化されない。これ
は、ρ値がすでに十分に正確であると考えられるからで
ある（図２４のステップＳ２４０でＣＰＵ４によって計
算されたfundamental行列において定義される）。一
方、最も正確な解がパースペクティブ−パースペクティ
ブケースに対応するものでなければ、ステップＳ３６８
において、ＣＰＵ４は一般的な最適化手法を用いて、以
下の関数、ｆ（ρ）を最小化する。ここで用いられる手
法としては、例えば、「Numerical Recipes in "C"」、
W.H. Press，S.A. Teukolsky，W.T. Vetterling，及び
B.P. Flannery著，1992，412-420頁，ISBN 0-521-43108
-5に記載されているパウエルの最適化手法（Powell's m
ethod for optimisation）が用いられ得る。
【０２２５】
【数１６】
【０２２６】ここで、関数は、図３０のステップＳ３８
０、Ｓ３８２及びＳ３８６と同じステップを用いて評価
される。Ｐはその解のために格納されたポイントの数で
ある（図３０のステップＳ３８６、図３２のステップＳ
４０８及び図３４のステップＳ４３６）、そして、マイ
ナス符号はＰが最大化されることを表し、“error”は
ステップＳ４３６（図３４）で格納された解のトータル
エラーであり、プラス符号はこれが最小化されることを
示している。
【０２２７】ステップＳ３７０において、ＣＰＵ４はス
テップＳ３６８にて計算された最適化された解（もしく
は、もしもポイントの数が８０％より多ければ、或いは
もしも解がパースペクティブ−パースペクティブケース
に対応する解であった場合には、改良されない解）をフ
ルのカメラ回転行列と変換ベクトルに変換する。
【０２２８】図２０に関して、上述したように、ＣＰＵ
４は、そのトリプルにおける第１のイメージがイメージ
の順序における第１のイメージではないならば、そのト
リプルのイメージに対するカメラ変換の計算を異なるル
ートで実行する（図２０のステップＳ２０４）。
【０２２９】図３６は、そのような場合においてカメラ
変換を計算する際の、ステップＳ２０７（図２０）にお
いてＣＰＵ４によって実行される処理の、トップレベル
を示す図である。
【０２３０】トリプルにおける第１のイメージがその順
序における第１のイメージではない場合、そのトリプル
における第１のイメージペアに関してカメラ変換を計算
する必要はない。そのイメージペアがそれに先行するイ
メージトリプルに関連して先に考慮されたときに、すで
に計算されてしまっているからである。（そのペアは、
先行するトリプルの第２のイメージペアを形成してい
る。）。
【０２３１】図３６を参照すると、ステップＳ４５０に
おいて、ＣＰＵ４はそのトリプルの第１のイメージペア
に対して存在するパラメータを読み出し、そのトリプル
の新たなイメージペア（第２のイメージペア）のための
パラメータをセットアップする。
【０２３２】図３７は、ステップＳ４５０においてＣＰ
Ｕ４によって実行される処理を示す図である。図３７を
参照すると、ステップＳ４６０において、ＣＰＵ４は、
図２１のステップＳ２１２において以前に計算されたト
リプルの第１のイメージペアに対するカメラ解を読み出
す。ステップＳ４６２において、ＣＰＵ４は、図７のス
テップＳ５４、Ｓ６０、Ｓ６４或いはＳ７２において特
定されたトリプル内の第２のイメージペアに対するマッ
チしたポイントペアを読み出す。ステップＳ４６４にお
いて、ＣＰＵ４は図７のステップＳ６０もしくはステッ
プＳ７２でユーザによって、第２のイメージペアにおい
てマッチさせられたポイントペア（ユーザ特定されたポ
イントペア）のリストと、図７のステップＳ５４もしく
はＳ６４において、第１と第２イメージにおいてマッチ
するべく計算されたポイントペアとユーザ特定されたポ
イントとを備えるポイントペアのリストと（ＣＰＵ４
は、図２２のステップＳ２１８に関して上述した方法で
このリストから同じポイントを除去する）、トリプルポ
イントのリスト、すなわち、イメージトリプルにおける
３つのイメージ全てにわたってマッチしたポイントのリ
ストとを生成する。（なお、ステップＳ５４もしくはス
テップＳ６４は、そのトリプルの第３のイメージにおけ
るポイントを、そのトリプルの第２のイメージにおけ
る、以前にそのトリプルの第１のイメージ内のポイント
と図７のステップＳ７４における制約的特徴マッチング
によってマッチされたポイントにマッチさせてもよい。
この場合、制約的特徴マッチングによって特定されたポ
イントは、トリプルポイントの一部を形成し、もし選択
されれば、ステップＳ４０４及び恐らくステップＳ３９
４においてカメラ位置を計算するのに用いられる。）図
２２におけるステップＳ２１８に関して上述したよう
に、ユーザ特定されたポイントの数は、アフィン初期特
徴マッチングが実行されなかったのならば、ゼロであろ
う。
【０２３３】ステップＳ４６６において、ＣＰＵ４はス
テップＳ４６４及びステップＳ４６８において生成され
たリストにおけるポイントを正規化し、２つの測度行列
をセットアップする。ひとつは、ユーザ特定されたポイ
ントのリストのためのものであり、もうひとつはユーザ
特定及び計算されたポイントのリストのためのものであ
る。これらのステップは、上述した図２２のステップＳ
２２０及びＳ２２２と同じ方法で実行される。したがっ
て、ここでは説明を省略する。ステップＳ４７０におい
て、ＣＰＵ４は、そのトリプルにおける第２のイメージ
ペアに対するパースペクティブ及びアフィン計算を実行
する際の実行されるべき繰り返し回数を決定する。これ
は、上述の図２２のステップＳ２２４と同じ方法で実行
される。したがって、ここでは繰り返し説明は行わな
い。
【０２３４】再び図３６を参照すると、ステップＳ４５
０において必要なパラメータのセットアップを行うと、
ステップＳ４５２において、ＣＰＵ４はそのトリプル内
の第２のイメージペアに関してカメラ変換を計算し、そ
の結果を格納する。これは、上述した図２１のステップ
Ｓ２０８及びＳ２１０と同じ方法で実行される。したが
ってここでは繰り返し説明しない。
【０２３５】ステップＳ４５４において、ＣＰＵ４は、
そのトリプル内のすべての３つのイメージの間のカメラ
変換を計算するために、ステップＳ４６０（図３７）で
読み出された第１のイメージペアのためのカメラ解を、
そのトリプル内の第２イメージペアに関してステップＳ
４５２で計算されたカメラ変換とともに用いる。
【０２３６】図３８は、図３６のステップＳ４５４にお
けるトリプル内の３つのイメージ間のカメラ変換を計算
するときの、ＣＰＵ４によって実行される処理を示す図
である。これらの処理は、位置順序における最初の３つ
のイメージの間のカメラ変換を計算するときの、ステッ
プＳ２１２（図２１）で実行された処理、そして図２８
に関して上述した処理に非常に類似している。上述した
ように、そのトリプルの第１のイメージペアに対するカ
メラ間の関係は、先行するトリプルに関する計算によっ
て既知となっている。したがって、第２のイメージペア
のみの間の変換を考慮する。ステップＳ４７２におい
て、ＣＰＵ４は第２のイメージペアの間の変換がアフィ
ンである場合を考慮する。これは、第１のイメージペア
に関するカメラ解（図３６のステップＳ４５０において
読み出される）を、ステップＳ４５２（図３６）におい
て第２のイメージペアのために計算された最も正確なア
フィンfundamental行列とともに考慮することにより、
そして、図２８のステップＳ３５４に関して上述したの
と同じ処理を用いてスケールｓ及びρ２を計算すること
によりなされる。
【０２３７】ステップＳ４７４において、ＣＰＵ４は第
２のイメージペア間の変換がパースペクティブである場
合を考慮する。ＣＰＵ４は、ステップＳ４６０（図３
７）において読み出されたカメラの第１のペアのための
計算を、ステップＳ４５２（図３６）で得られた第２の
イメージペアのためのカメラの正確な回転行列と変換ベ
クトルとともに用いて、ステップＳ３５６（図２８）と
同じ処理を用いてスケールを計算する。ステップＳ４７
６からＳ４８８において、ＣＰＵ４は、上述した図２８
のステップＳ３５８からＳ３７０で実行されたものと同
じ処理を実行する。すなわち、ＣＰＵ４は、ステップＳ
４７２で計算されたものと、ステップＳ４７４で計算さ
れたものから最も正確な解を選択し、それが十分に正確
かどうかを判断し、必要ならばステップＳ４８６にて最
適化する（それは、図２８のステップＳ３６８に対応す
る）。（ただし、ステップＳ４８４において解が＊−パ
ースペクティブの場合に対応すると判断され場合は、ρ
は最適化されているので、解は最適化されない。そし
て、第２のイメージペアに対するパースペクティブ変換
において、ρは、常に、十分に正確である。それは、計
算されたfundamental行列において定義されるからであ
る。そして、第１のイメージペアに対するρの値は、変
換がパースペクティブである場合にはfundamental行列
において定義され、変換がアフィンである場合には、図
２８のステップＳ３６８においてすでに最適化されてい
る）。
【０２３８】再び図７において、ステップＳ７４にてイ
メージのトリプルのための制約的特徴マッチングをＣＰ
Ｕ４が実行する方法について説明する。
【０２３９】図３９は、制約的特徴マッチングを実行す
る場合のＣＰＵ４によって実行される処理のトップレベ
ルを示す図である。
【０２４０】図３９を参照すると、ステップＳ５００に
おいて、ＣＰＵ４はそのトリプル内の第１のイメージペ
アにおける「ダブル」ポイントを考慮する。ダブルポイ
ントは、すなわち、ステップＳ５２、Ｓ５４、Ｓ６０、
Ｓ６２、Ｓ６４、Ｓ７２或いはＳ７４において、第１の
イメージペアの間でマッチするが（ステップＳ５４、Ｓ
６４およびＳ７４は、先行するイメージトリプルについ
て実行されていれば、適用可能である）、当該トリプル
内の第２及び第３のイメージの間ではマッチしないポイ
ントである。そのような「ダブル」ポイントの各ペアに
対して、ＣＰＵ４は、第３のイメージにおける対応する
ポイントを特定することを試みる。もしそれが成功した
場合、トリプルのポイント（すなわち、３つのイメージ
のすべてにわたってマッチするポイント）が生成され
る。
【０２４１】同様に、ステップＳ５０２において、ＣＰ
Ｕ４は、現在のトリプルの第２及び第３イメージにおけ
る「ダブル」ポイント（すなわち、図７のステップＳ５
４、Ｓ６０、Ｓ６４もしくはＳ７２において第２のイメ
ージペアにわたってマッチするが、当該トリプルの第１
のイメージペアにわたってはマッチしていないポイン
ト）を考慮する。そして、新しいトリプルのポイントを
生成するために、第１のイメージにおける対応するポイ
ントを特定することを試みる。
【０２４２】図４０は、図３９のステップＳ５００及び
ステップＳ５０２においてＣＰＵ４により実行される処
理を示す図である。図４０を参照すると、ステップＳ５
０４において、ＣＰＵ４は、そのペアの他のイメージ
（ステップＳ５００を実行するときの第１のイメージ、
もしくはステップＳ５０２を実行するときの第３のイメ
ージ）とダブルポイントを形成するトリプルの第２のイ
メージ（中央）における次のポイントを考慮する。そし
て、図７のステップＳ５６もしくはステップＳ６６で計
算されたカメラ変換を用いて、そのトリプルの残りのイ
メージ（ステップＳ５００を実行する際は第３のイメー
ジであり、ステップＳ５０２を実行する際は第１イメー
ジである）内の対応する位置におけるポイントを特定す
る。
【０２４３】ステップＳ５０６において、ＣＰＵ４は、
第２イメージ内のポイントと、その残りのイメージ内に
特定されたポイントのｘ方向の両側の設定されたピクセ
ル数（本実施形態では、２ピクセル）の範囲内、および
特定されたポイントのｙ方向の両側の設定されたピクセ
ル数（本実施形態では、２ピクセル）の範囲内に存在す
るピクセルとの間の類似性測度を計算する。こうして、
そのトリプルの残りのイメージ内の５ピクセル×５ピク
セルの矩形内のポイントが考慮される。ＣＰＵ４は、適
応化最小二乗相関テクニック（adaptive least squares
correlation technique）を用いて相似性測度を計算す
る。ここで、例えば、「Adaptive LeastSquares Correl
ation: A Powerful Image Matching Technique」、A.W.
Gruen著、Photogrammetry Remote Sensing and Cartog
raphy、1985、175-187頁に記載されているテクニック
を、最良のマッチポイントを特定するのに用いることが
できる。
【０２４４】ステップＳ５１０において、ＣＰＵ４は、
ステップＳ５０６において特定された最良のマッチポイ
ントの相似性測度が閾値（本実施形態では０．７）より
大きいかどうかを判断する。もしも相似性測度が閾値よ
りも大きければ、ＣＰＵ４は第２イメージにおけるポイ
ントとそのトリプルの残りのイメージにおけるポイント
との間の類似性が、そのポイントがマッチングポイント
であるとみなすのに十分に高いと判断し、ステップＳ５
１２において、ダブルポイントと、そのイメージのトリ
プルの残りのイメージにおいて特定された新しいポイン
トとからトリプルポイントを形成する。一方、ＣＰＵ４
がステップＳ５１０において類似性測度が閾値以下であ
ると判断した場合、考慮中のダブルポイントに関しての
トリプルポイントを形成しないよう、ステップＳ５１２
が省略される。
【０２４５】ステップＳ５１４において、ＣＰＵ４は、
考慮中のイメージペアにおいて別のダブルポイントがあ
るかどうかを判断する。ステップＳ５０４〜Ｓ５１４
は、考慮中のイメージペアに関してすべてのダブルポイ
ントが上述の方法で処理されるまで繰り返される。
【０２４６】図７のステップＳ７４における制約的特徴
マッチングを実行するにおいて、ＣＰＵ４がそのイメー
ジトリプルの第２及び第３のイメージにおけるポイント
間の新しいマッチング（図３９のステップＳ５００）、
そして、そのトリプルの第１のイメージペアにおけるポ
イント間の新しいマッチング（図３９のステップＳ５０
２）を生成することは歓迎すべきことである。これらの
新しいマッチングは、図３のステップＳ１０において、
ＣＰＵ４が３次元データを生成するのに用いられる。こ
の点は後述する。加えて、図７を参照すると、トリプル
内の第２のイメージペアにおけるポイント間について生
成された新しいマッチングは、次のイメージトリプルの
ために引き続き行われる初期特徴マッチングにおいて考
慮される。これは、前述したように、トリプル内の第２
のイメージペアに対する新しいマッチングを特定するた
めにステップＳ７４において制約的特徴マッチングが実
行される場合、このイメージペアは、考慮される次のイ
メージトリプルにおける第１のイメージペアになる。そ
して、ステップＳ５４で実行された初期自動的特徴マッ
チングとステップＳ６４で実行された初期アフィン特徴
マッチングの両方は、そのトリプルの第２のイメージペ
アにわたって、以前に第１のイメージペアにわたってマ
ッチしたポイントをマッチさせることを試みる。制約的
特徴マッチング（図３９のステップＳ５０２）の間に計
算された第１のイメージペア内のポイント間の新しいマ
ッチングは、次のイメージトリプルの初期特徴マッチン
グを実行する際には考慮されないが、これらの新しいマ
ッチングは、ＣＰＵ４が図３のステップＳ１０において
３次元データを生成する際に考慮される。この処理は後
述する。その順序における最終の３つのイメージに対し
て、図７のステップＳ７４において制約的特徴マッチン
グが実行されるとき、これに続く考慮されるべきイメー
ジトリプルは存在しない。従って、そのトリプルにおけ
る第２のイメージペアにわたって生成される新しいマッ
チングは、初期特徴マッチングの間は考慮されない（こ
の処理は再び実行されないからである）。しかしなが
ら、これらの新しいマッチングは、図３におけるステッ
プＳ１０で３Ｄデータを生成するときに考慮されること
になる。
【０２４７】図３を再び参照すると、初期特徴マッチン
グ（ステップＳ４）、カメラ変換の計算（ステップＳ
６）、そして上述した方法で制約的特徴マッチングを実
行（ステップＳ８）した後、ＣＰＵ４はステップＳ１０
において、それらの結果を用いて３Ｄデータを生成す
る。この処理の目的は、オブジェクト２４の表面上のポ
イントを表すために正しく配置された３次元空間におけ
るポイントの単一の集合を生成する。
【０２４８】図４１は、図３のステップＳ１０において
３Ｄデータを生成するときの、ＣＰＵ４によって実行さ
れる処理を示す図である。図４１を参照すると、ステッ
プＳ５２０において、ＣＰＵ４は、当該シーケンスにお
ける順番に、各イメージペアを考慮する（図２及び図５
の例においては、Ｌ１Ｌ３、Ｌ３Ｌ２、Ｌ２Ｌ４及びＬ
４Ｌ５のペア）。そして、ユーザ特定された「ダブル」
ポイント（すなわち、図７のステップＳ６０またはＳ７
２において、イメージペア間でユーザによってマッチさ
れたポイントペアであって、そのイメージペアの直前或
いは直後のイメージにおけるポイントとはマッチしない
もの）、もしくは後続のイメージのトリプルポイントの
部分（すなわち、そのペア内のイメージ間及び位置的順
序においてそのペアの第２のイメージとこれに続くイメ
ージとの間でユーザもしくはＣＰＵ４によってマッチさ
れたポイント）のいずれかを形成するペア内のポイント
を投影し、そのようなポイントの各ペアから３Ｄ空間に
おける単一のポイントを計算する。ステップＳ５２０に
おいて、ＣＰＵ４は次の(i)〜(iii)のマッチしたポイン
トペアのみを考慮する。すなわち、(i)図３のステップ
Ｓ６においてこの変換が計算されたときに、計算された
カメラ変換で十分に正確であるとみなされたポイントペ
ア、(ii)ステップＳ８において制約的特徴マッチングが
実行されたときに新たなマッチングポイントとして特定
されたポイントペア、(iii)図３のステップＳ６におけ
る制約的特徴マッチングの間にペアからトリプルへ拡張
された、その元のポイントペアを形成したポイントペア
である。このように、ステップＳ５２０においては、計
算されたカメラ変換に関して十分に正確であるとみなさ
れなかった初期特徴マッチングの間にマッチしたポイン
トはＣＰＵ４によって考慮されない（それらが、制約的
特徴マッチングによって、その後に、トリプルへ拡張さ
れない限り）。
【０２４９】図４２は、ステップＳ５２０において３Ｄ
ポイントを計算するときにＣＰＵ４によって実行される
処理を示す。図４２を参照すると、ステップＳ５３０に
おいて、ＣＰＵ４はその順序における次のペアを考慮す
る（ステップＳ５３０が最初に実行されるときは第１の
ペアとなる）。ステップＳ５３２において、ＣＰＵ４
は、ステップＳ５３０において考慮されたイメージペア
における、次の、ポイントペアの各ポイントから、その
ポイントに対するカメラの光学的中心を通る３次元空間
内のラインを投射する。なお、ここで、ラインが投射さ
れる各ポイントとは、ユーザ特定されたダブルポイント
よりのポイント、或いはトリプルポイントよりのポイン
トである。これは、図３５で示したものと類似の光線を
生成する。ただし、図３５においては、イメージがペア
で考慮されるので、光線が隣接するイメージから投射さ
れるという点が異なっている。
【０２５０】ステップＳ５３４において、ＣＰＵ４は、
ステップＳ５３２において投射された両ラインを接続
し、かつ両ラインに直角である線分の中点を計算する
（この中点は、図３５において示されるポイント６８に
対応し、オブジェクト２４の表面上の物理的ポイントを
表す）。ステップＳ５３６において、ＣＰＵ４は、対応
するポイントがその順序における次のイメージにおいて
マッチしているかを判断する。すなわち、ステップＳ５
３２において光線の投射元のポイントが、続くイメージ
にてトリプルポイントの部分を形成するかどうかを判断
する。もしも、対応するポイントが次のイメージにおい
てマッチすると判断されたならば、ＣＰＵ４は次のイメ
ージにおけるマッチしたポイントからラインを投射す
る。これは、ステップＳ５３２においてポイントからラ
インを投射したのと同じ方法で行われる。ステップＳ５
４０において、ＣＰＵ４は、ステップＳ５３８で投射さ
れた新しいラインと、以前のステップＳ５３２でそのポ
イントから投射されたラインとを接続するとともにそれ
らに直角である線分の中点を計算する。これは、ステッ
プＳ５４０において中点が計算されたのと同じ方法で行
われる。
【０２５１】ステップＳ５４２において、ＣＰＵ４は、
その順序の次のイメージにおいて対応するポイントがマ
ッチしたかどうか判断する。ステップＳ５３８からＳ５
４２は、その順序における次のイメージが対応するマッ
チポイントを含まなくなるか、その順序におけるすべて
のイメージが処理されるまで、繰り返される。
【０２５２】例として、図２及び図５で示したような、
５つのイメージを含むイメージシーケンスを参照する。
ステップＳ５３２及びＳ５３４は、第１のイメージにお
けるポイント及び第２のイメージにおけるマッチしたポ
イントから光線を投射し、単一の３次元ポイントを計算
する（ステップＳ５３４における中点）。それは、第１
のイメージにおけるポイントと第２のイメージにおける
ポイントの投影を表す。こうして、オブジェクト２４の
表面上の物理的ポイントを表す３次元空間内の単一のポ
イントが、その順序における隣接したイメージ間のポイ
ントペアから得られる。その順序における第３のイメー
ジが、第１及び第２イメージにおけるそれらのポイント
にマッチするポイントを含んでいる場合（ステップＳ５
３６において決定される）、ステップＳ３５８及びＳ５
４０は第３のイメージにおけるそのポイントからライン
を投射し、第２のイメージにおけるポイントからのライ
ンと第３のイメージにおけるポイントからのラインを接
続しそれらに直角な線分の中点を計算する。この中点は
第２イメージ及び第３イメージにおけるポイントの投射
からの結果である３Ｄポイントを表わす。同様に、その
順序における第４のイメージが第３のイメージにおける
ポイントとマッチするポイントを有する場合（ステップ
Ｓ５４２において決定される）、第４のイメージにおけ
るポイントからのラインを投射し、第４のイメージから
のラインと第３のイメージからのラインを接続しそれら
に直角名な分の中点を計算するために、ステップＳ５３
８とＳ５４０が繰り返される。そのシーケンスにおける
第４及び第５のイメージからのポイントの投射を表すさ
らなる３Ｄポイントは、ステップＳ５４２において対応
するポイントがその順番における第５のイメージにおい
てマッチしたと判断された場合に、ステップＳ５３８と
Ｓ５４０を実行することによって得られる。こうして、
ポイントがその順番における５つのイメージの全てにお
いてマッチしたならば、４つの３Ｄポイントが生成され
る（これはオブジェクト２４の同じ物理的ポイントを表
す）。これらの３Ｄ位置は、計算されたカメラ変換にお
けるエラーにより、及びそれらマッチング自体のエラー
により、正確に一致することはまずない。代わりに、図
４３に示されるように、それらのポイントは３Ｄ空間に
おいて群８０を形成する。
【０２５３】再び、図４２を参照すると、ステップＳ５
４４において、ＣＰＵ４は、現在のイメージペアにおい
て、まだ考慮されていない、そのイメージペアにわたっ
てユーザ特定された「ダブル」ポイントを形成するポイ
ント、或いは後続のイメージとともにトリプルポイント
の一部をなすポイントがあるかどうかを判断する。ステ
ップＳ５３２からＳ５４４はそのようなポイントのすべ
てが考慮されるまで繰り返される。そのようなポイント
ペアの各々は、ステップＳ５３６で対応するポイントが
次のイメージにおいてマッチしないと判断された場合の
３Ｄ空間における単一のポイント８２（図４３）、もし
くは、対応するポイントが少なくとも次のイメージにお
いてマッチする場合のポイント群、のいずれかを生成す
る。もしもポイントがその順序における連続する３つの
イメージにわたってマッチするならばクラスタは２つの
ポイントを含み、もしもそれがその順序における連続す
る４つのイメージにわたってマッチするならばそれは３
つのポイントを含み、上述のようにその順序において５
つのイメージにわたってマッチするなら、クラスタは図
４３の群８０において示されるように４つのポイントを
備える。
【０２５４】ステップＳ５４６において、ＣＰＵ４はそ
の順序において別のペアがあるかどうかを考慮する。ス
テップＳ５３２からＳ５４６は、その順序におけるすべ
てのイメージペアが上述のごとく処理されるまで繰り返
される。結果は、図４３に示されるように、単一の３Ｄ
ポイントであるべきものに対応する各群のポイントとと
もに、３次元空間における複数のポイント群となる（こ
れはオブジェクト２４の表面上の点を表す）。
【０２５５】図４１を再び考慮すると、ステップＳ５２
２において、ＣＰＵ４はステップＳ５２０で計算された
３Ｄポイントを用いて、各カメラに対して前もって計算
された変換におけるエラーを計算し、不正確な３Ｄポイ
ントを特定し、破棄する。
【０２５６】図４４Ａ、Ｂは、図４１のステップＳ５２
２でＣＰＵ４により実行される処理を示す。図４４Ａ、
Ｂを参照すると、ステップＳ５５０で、ＣＰＵ４はステ
ップＳ５２０（図４１）で計算された３次元空間の全ポ
イントを考慮し、ｘ座標の標準偏差Δｘと、ｙ座標の標
準偏差Δｙと、ｚ座標の標準偏差Δｚを計算する。ステ
ップＳ５５２において、ＣＰＵ４は３次元空間のポイン
トで作られたオブジェクトのサイズ（size）を以下の式
を用いて計算する。
【０２５７】
【数１７】
【０２５８】ステップＳ５５４からＳ５６２において、
ＣＰＵ４は、与えられたイメージペアより生成された３
次元空間内の不正確なポイントを特定し、これを破棄す
る。ステップＳ５４６４からＳ５６８において、ＣＰＵ
４は残りのポイント、すなわち不正確なポイントが破棄
された後に残ったポイントを用いて、後続のカメラポジ
ションのペアについてカメラエラーを計算する。
【０２５９】ステップＳ５５４において、ＣＰＵ４は、
次のカメラポジションのペアを考慮し（そのステップが
最初に実行されるときは、第１のカメラポジションが考
慮される）、ステップＳ５２０で計算された、後続のイ
メージとでトリプルポイントとなる部分を起源とする３
次元座標系の次のポイントを考慮し、この３Ｄポイント
とステップＳ５２０（図４１）で前もって後続のカメラ
ポジションペアのために計算された３Ｄ空間内の対応ポ
イントとの間のベクトルシフトを計算する。これは図４
５Ａに示されている。図４５Ａを参照すると、３次元空
間におけるポイント群９０は、ステップＳ５２０（図４
１）で計算された４つのポイントを備える。それらポイ
ントは、上述のように、実際のオブジェクト２４の表面
上の単一のポイントに対応する。＃１とラベルされてい
るポイント９２はステップＳ５３４（図４２）でカメラ
ポジション（イメージ）の第１のペアから生成されたポ
イントであり、＃２とラベルされているポイント９６は
ステップＳ５４０（図４２）でカメラポジション（イメ
ージ）の第２のペアから生成されたポイントである。同
様に、＃３のポイントは、ステップＳ５４０でカメラポ
ジションの第３のペアから生成されたポイントであり、
＃４のポイントは、ステップＳ５４０でカメラポジショ
ンの第４のペアから生成されたポイントである。これら
のポイントの各々は、図４５Ａにおいてドットで表され
ている。第１のカメラポジションペアに関するポイント
９２と後続のカメラポジションペア（第２のペア）のた
めに前もって計算された対応ポイント９６との間の、ス
テップＳ５５４で計算されたシフトが図４５Ａに示され
ている。このシフトは、第２のカメラポジションのペア
における、このポイントペアのエラーを表し、従って、
“SHIFT2”とラベル付けられている。カメラポジション
の第３のペアに関するエラー（SHIFT3）、及び、カメラ
ポジションの第４のペアに関するエラー（SHIFT4）、こ
れらはステップＳ５５４でカメラポジションの後続のペ
アが考慮されるときに計算されることになるが、これら
もまたポイント群を表す図４５Ａにおいて示されてい
る。
【０２６０】再び図４４Ａを参照すると、ステップＳ５
５８において、ＣＰＵ４はステップＳ５５４で計算され
たシフトのマグニチュードが、ステップＳ５５２で計算
されたオブジェクトサイズの１０％よりも大きいかどう
かを判断する。もしそうならば、現在のカメラポジショ
ンペアに関して考慮中のポイントと、後続のカメラポジ
ションペアに関する対応ポイントが不正確であるとみな
され、従って、ステップＳ５６０で破棄される。図４５
Ａを再び参照すると、ステップＳ５５８（図４４）で、
SHIFT2のマグニチュードがオブジェクトサイズの１０％
よりも大きいと判断されると、ポイント９２、９６は破
棄される。一方、ステップＳ５５８においてそのシフト
のマグニチュードがオブジェクトサイズの１０％以下で
あると判断されると、ポイントは十分に正確であると判
断され、従ってそれらのポイントは維持される。上述し
たように３Ｄポイントは、計算されたカメラ変換につい
て正確とみなされなかったポイントのペアからステップ
Ｓ５２０（図４１）で生成されることはないが、３Ｄポ
イントはステップＳ５２０で制約的特徴マッチングの間
に特定された新しいマッチングから生成される。従っ
て、図４４のステップＳ５５４からＳ５６０で、ＣＰＵ
４によって実行される処理は、制約的特徴マッチングが
テストされている間に特定される新しいマッチングから
生成される３Ｄポイントの正確さを確実にする（よっ
て、新しいマッチング自体がテストされる）。
【０２６１】図４４Ａを再び参照すると、ステップＳ５
６２において、ＣＰＵ４は、ステップＳ５２０（図４
１）にて、後続のイメージとともにトリプルの一部を形
成したポイントを起点とするカメラポジションの現在の
ペアに関して、計算された３次元空間における別のポイ
ントがあるかどうかを判断する。ステップＳ５５４から
Ｓ５６２は、そのようなすべてのポイントが上述のよう
に処理されるまで繰り返される。図４５Ｂは、この処理
がカメラポジションの第１ペアについて完了したときの
状態を表している。各ポイント群について、第１のイメ
ージペアにおけるポイントから生成された３Ｄポイント
と後続のイメージペアにおけるポイントを用いて生成さ
れた対応ポイントとの間のシフトが計算される。もし
も、シフトが、オブジェクトサイズの１０％よりも大き
ければ、カメラポジションの現在（第１）のペアに対す
るポイントとカメラポジションの後続（第２）のペアに
対するポイントは破棄される。図４５Ｂから、３次元空
間における単一ポイントについて、シフト、すなわち、
群の部分を形成しないポイント、は計算されない。これ
は、これらのポイントはステップＳ５２０（図４１）に
おいて２つの連続するイメージのみにわたってマッチす
るポイントペアから派生し、従って、シーケンスの連続
するイメージにおいてマッチした対応ポイントから派生
した３次元空間におけるポイントは存在しないので、シ
フトを計算することは可能ではない。
【０２６２】再び図４４Ａを参照すると、ステップＳ５
６４において、ＣＰＵ４は、カメラポジションの現在の
ペアのためのポイントと後続のカメラポジションペアの
ためのポイントとの間の全シフトの正味(net)を計算す
る（オブジェクトの１０％より大きいシフト（ステップ
Ｓ５５８で決定される）は考慮されない）。これは、カ
メラポジションの後続のペアに対するエラー回転行列と
エラー変換ベクトルを与える。シフトの正味は、一般的
な方法で計算される。その方法は例えば、「Closed-For
m Solution of Absolute Orientation using Unit Quat
ernions」、B.K.P. Horn in Journal of the Optical S
ociety of America, 4(4): 629-649, Apr. 1987、に記
載されたquaternionsのホルンの方法を用いることがで
きる。要約すると、後続のカメラポジションペアに対す
るポイントを現在のカメラポジションペアの対応ポイン
トに最も正確にマップするための回転行列Ｒ、変換ベク
トルｔが計算される。もし、Ｐcを現在のカメラポジシ
ョンペアのポイントとし、Ｐnを次のカメラポジション
ペアの対応ポイントとし、Ｐn’がＰnの再マップされた
ものであるとすれば、以下の式が成立する。
【０２６３】
【数１８】
【０２６４】合計は内積（dot product）である、(Pn'-
Pc)T・(Pn'-Pc)のモジュール（module）の全共通ポイン
トにわたって最小化される。
【０２６５】ステップＳ５６６において、ＣＰＵ４は、
ステップＳ５６４で計算されたエラー回転行列とエラー
変換ベクトルを、後続のカメラポジションペア（図４５
Ｂの＃２）について前もって計算された各ポイントに適
用する。前に計算された各ポイントに対し、これは、正
しいポイント（上述の式（３２）によって与えられるＰ
n’）を与える。このポイントは、図４６に示されるよ
うに、現在のカメラポジションペアに対するポイントの
より近くに位置する。なお、図４６では、カメラポジシ
ョンの現在のペアに対するポイントが、前のようにドッ
トであらわされ、カメラポジションの後続のペアについ
ての修正されたポイントがクロスによって表されてい
る。
【０２６６】ステップＳ５６８において、ＣＰＵ４は、
ステップＳ５６６で計算された各修正された３Ｄポイン
トの座標と、その対応ポイントとの間の差を計算し、そ
して、その結果である差の共分散行列（co-variance ma
trix）を計算する。これは、一般的な数学的テクニック
を用いて実行される。結果としての共分散行列は、３次
元におけるガウス分布（Gaussian distribution）を備
える。ガウス分布は、ステップＳ５６４で計算されたエ
ラー変換のための３次元のエラー楕円（errorellipsoi
d）を表す。こうして、ステップＳ５６４からＳ５６８
において、ＣＰＵ４は、後続のカメラポジションペアの
ためのエラー変換と、エラー変換に関連するエラー（エ
ラー楕円）を計算する。
【０２６７】ステップＳ５７０において、ＣＰＵ４は、
まだ考慮されていないカメラポジションペアがあるかど
うかを判断する。ステップＳ５５４からＳ５７０は、す
べてのカメラポジションペアについてのデータが上述し
た方法で処理されるまで繰り返される。
【０２６８】その順序におけるカメラポジションの第１
のペアに関して、ステップＳ５６４でエラー変換が計算
されないのは歓迎すべきことである。このカメラポジシ
ョンペアはゼロのエラーを有すると仮定される。また、
与えられたカメラポジションペアのためのエラー変換
が、前のカメラポジションペアに関連して起算されるこ
とも歓迎すべきことである。こうして、第２のカメラポ
ジションペア（すなわち、その順序における第２と第３
のイメージを生成する位置）のためのカラー変換は、累
積エラー（cumulative error）を含まない。第１のカメ
ラポジションペアに対するエラーがゼロと仮定されるか
らである。一方、後続のカメラポジションペアの各々に
対するエラー変換は、累積エラーを含む。例えば、第３
のカメラポジションペア（すなわち、その順序における
第３と第４のイメージを生成する位置）のためのエラー
変換は、第２のカメラポジションペアのエラー変換に関
連して計算される。従って、第３のカメラポジションペ
アのためのトータルの累積エラーを与えるために、第３
のカメラポジションペアのための計算されたエラー変換
と共分散行列は、第２のカメラポジションペアのための
エラー変換と共分散行列によって調整される必要があ
る。同様に、第４のカメラポジションペア（その順序の
第４及び第５のイメージを生成する位置）のための計算
されたエラー変換と共分散行列は、第４のカメラポジシ
ョンペアのトータルな累積エラーを与えるために、第２
のカメラポジションペアと第３のカメラポジションペア
のためのエラー変換及び共分散行列によって調整される
必要がある。
【０２６９】これは、ＣＰＵ４により、ステップＳ５７
２で次のように実現される。
【０２７０】
【数１９】
【０２７１】ここで、Ｒi'はｉ番目の累積エラー変換の
ための回転行列であり、Ｒiはｉ番目の個別のエラー変
換のための回転行列であり、ｔi'はｉ番目の累積エラー
変換のための変換ベクトルであり、ｔiはｉ番目の個別
のエラー変換のための変換ベクトルであり、ｃi'はｉ番
目の累積エラー変換のための分散行列であり、ｃnはｎ
番目の個別エラー変換のための分散行列である。
【０２７２】図４１を再び参照すると、ステップＳ５２
２において各カメラポジションペアのためのエラーの計
算の後に、ＣＰＵ４は、ステップＳ５２４において、適
切なカメラポジションエラーにより３次元空間における
各残りのポイント（すなわちステップＳ５２０で計算さ
れたポイントで、図４４のステップＳ５６０で破棄され
たもの以外のポイント）の座標を調整する。これは、累
積エラー変換（図４４のステップＳ５７２で既に計算さ
れた）をポイントポジションに適用し、適切なエラー累
積（これも図４４のステップＳ５７２で計算された）を
そのポイントに加えることによりなされる。例えば、そ
の順序における第１のイメージペアからステップＳ５２
０で生成されたポイントはステップＳ５２４で調整され
ない。上述したように、このイメージペアに対するカメ
ラポジションエラーはゼロと仮定されるからである。そ
の順序内の第２と第３のイメージを用いて、ステップＳ
５２０で生成されたポイントは、第２カメラポジション
ペアのために計算されたエラー変換によって移動され、
第２カメラポジションペアのために計算された共分散行
列が移動されたポイントに加えられる。その順序内の第
３と第４のイメージからステップＳ５２０で生成された
ポイントは、第３カメラポジションペアのために図４４
のステップＳ５７２で計算された累積エラー変換により
移動され、第３カメラポジションペアのためにステップ
Ｓ５７２で計算された累積共分散行列がその移動された
ポイントに加えられる。その順序内の第４と第５のイメ
ージを用いてステップＳ５２０で計算されたポイント
は、第４のカメラポジションペアのためにステップＳ５
７２で計算された累積エラー変換により移動され、第４
カメラポジションペアのためにステップＳ５７２で計算
された累積共分散行列がその移動されたポイントに加え
られる。
【０２７３】ステップＳ５２６において、ＣＰＵ４は、
３次元空間中における実際のオブジェクト２４上の共通
ポイントに関連するポイントを結合する。すなわち、各
個別の群内のポイントは結合ポイントを生成すべく結合
される。その結合ポイントの位置は群内に存在するポイ
ントの位置に依存し、群内のポイントのエラー累積に依
存するエラー累積を有する。エラー累積は、３Ｄ空間に
おけるガウス確率密度関数であり、同じ３Ｄポイントの
位置の独立した測度を表す。それらは独立しているの
で、個別の測度がこのステップにおいて、ガウス確率密
度関数を一般的な方法で互いに乗算することにより、結
合され、結合されたガウス確率密度関数もしくはエラー
累積を与える。
【０２７４】ステップＳ５２６で生成されたポイント
が、オブジェクト２４上のユニークなポイントと実際に
は関連していないこともある。例えば、図４７に示され
るように、ポイント１００，１０２及び１０４に対する
エラー累積は、実際にはオーバーラップし、従ってこれ
らのポイントはオブジェクト２４上の同一ポイントに関
連している。従って、ステップＳ５２８において、ＣＰ
Ｕ４は、ステップＳ５２６で生成された結合ポイントが
オブジェクト２４上のユニークなイメージポイントに対
応するかどうかをチェックし、そうなっていないものを
マージする。
【０２７５】図４８は、ステップＳ５２８において、Ｃ
ＰＵ４によって実行される処理を示す。図４８を参照す
ると、ステップＳ５８０において、ＣＰＵ４は、ステッ
プＳ５２６(図４１)で生成されたポイントを、それらの
エラー楕円（すなわち、ステップＳ５２６で生成された
結合エラー楕円）の大きさでソートし、最も小さいエラ
ー楕円のポイントを先頭としたリストを生成する。
【０２７６】ステップＳ５８２において、ＣＰＵ４はリ
スト中の次に高い順位にあるポイント（これはステップ
Ｓ５８２が最初に実行されるときには最も高いポイント
である）をリスト中の後続の全ポイントと比較する。現
在のポイントが、その１標準偏差に等価な３Ｄ距離（マ
ハラノビス距離（Mahalanobis distance））内に存在す
る全ての後続のポイントを特定する。
【０２７７】ステップＳ５８４において、考慮中の最高
順位のポイントは、リスト中のより下位の次の条件を満
足するポイントと結合される。その条件は、それらのポ
イント間の距離が、低順位のポイントのエラー楕円のマ
ハラノビス距離よりも小さいということである。これ
は、ステップＳ５２６で一般的な数学的手法を用いてポ
イントが結合されたのと同じ方法で、単一の結合された
ポイントを生成するための全ポイントと結合することに
より実現される。考慮中の最も高い順位のポイントは、
ステップＳ５８０で生成されたリスト中において結合さ
れたポイントへ置き換えられ、リスト中の結合ポイント
を生成するために使用されたすべての低順位ポイント
は、リストより除去される。ステップＳ５８６におい
て、ＣＰＵ４は、まだ考慮していない別のポイントがそ
のリスト中にあるかどうかを判断する。ステップＳ５８
２〜Ｓ５８６は、上述した方法で、リスト中のすべての
ポイントが処理されるまで繰り返される。
【０２７８】図４１を再び参照すると、ステップＳ５２
０からＳ５２８を実行した後で、ＣＰＵ４は３次元空間
における複数ポイントを生成する。それらポイントの各
々は、オブジェクト２４の表面上のポイントと関連して
いる。
【０２７９】図３を再び参照すると、ステップＳ１２に
おいて、ＣＰＵ４はオブジェクト２４の表面を表す面を
生成するために、ポイントを処理する。
【０２８０】図４９は、図３のステップＳ１２において
面を生成する際の、ＣＰＵ４によって実行される処理を
示す図である。図４９を参照すると、ステップＳ５９０
において、ＣＰＵ４は、一般的な手法における３次元空
間内のポイントのデラウナリの三角生成（Delaunary tr
iangulation）を実行する。その手法は、例えば、「Thr
ee-Dimensional Computer Vision」、Faugeras著、Chap
ter 10、MIT Press、ISBN 0-262-06158-9に記載されて
いる。この処理は、複数の平らな三角形面を生成すべ
く、ポイントを相互に接続する。しかし、オブジェクト
２４の内側を通して、多数の相互接続がポイント間にお
いてなされ、外部からは見えないオブジェクト２４の内
部における面を生成する。加えて、それは、オブジェク
ト２４の凹部領域にまたがる擬似的表面を生成する可能
性がある。それによって、実際の凹部表面が覆い隠され
てしまう。従って、ステップＳ５９２〜Ｓ６００におい
て、ＣＰＵ４はこれらの隠れた擬似的な表面を除去する
ためにデータを処理する。
【０２８１】ステップＳ５９２において、ＣＰＵ４は、
その順序における次のカメラ（これは、ステップＳ５９
２が最初に処理されるときは第１のカメラとなる）を考
慮する。そして、ステップＳ５９４において、そのカメ
ラから見える次の３Ｄポイント（ステップＳ５９４が最
初に実行されるときは最初の３Ｄポイント）へ、そのカ
メラから光線を投射する。すなわち、そのカメラに関す
るイメージデータ内でマッチしたポイントからオリジネ
イトされる３次元空間における次のポイントである。そ
のカメラと３Ｄポイント間で光線を投射するとき、ＣＰ
Ｕ４は、そのポイントのエラー楕円を横切る最も近いポ
イントでその光線をストップする。ステップＳ５９６に
おいて、ＣＰＵ４は一般的なテクニックを用いて、その
光線がステップＳ５９０で生成された面を横切るかどう
かを判断する。そのテクニックは、例えば「Graphics G
ems」、A. Glassner著、Academic Press Professiona
l、1990、 ISBN 0-12-286166-3のChapter 7に記載され
ている。明らかに、そのポイントとカメラの間には面は
存在しない。さもなければ、カメラはそのポイントを見
ることができない。従って、光線によって横切られるあ
らゆる面がステップＳ５９６で除去される。ステップＳ
５９８でＣＰＵ４は、カメラによって見ることのできる
別のポイントが３次元空間内にあるかどうかを判断す
る。ステップＳ５９４からＳ５９８は、上述した方法で
すべてのポイントが処理されるまで繰り返される。ステ
ップＳ６００において、ＣＰＵ４は、その順序において
別のカメラがあるかどうかを判断する。ステップＳ５９
２〜Ｓ６００は、上述のような面を除去するためにすべ
てのカメラが考慮されるまで繰り返される。
【０２８２】上述した処理において、ステップＳ５９４
で、ＣＰＵ４はカメラからポイントのためのエラー楕円
のエッジへ光線を設定する（ポイント自身ではなく）、
そして、光線がいずれかの面を横切るかどうかを考慮す
る。これは、ポイントの位置的なエラーが考慮されると
いう長所をもたらす。例えば、もしも光線が、ポイント
までの間で投射されるならば、ポイントとそのエラー楕
円のカメラに最も近いエッジとの間にある面はその光線
によって横切られ、従って、除去される。しかしなが
ら、これは不正確な結果をもたらす。３Ｄポイントは正
確にそのエラー楕円内のあらゆるところに存在し、よっ
て面の前に存在する可能性があるからである。本実施形
態における処理はこれを考慮する。
【０２８３】ステップＳ６０２において、ＣＰＵ４は、
残りの三角面を考慮する。そして、自由空間に接触する
面を持たないあらゆる三角形（これは、そのオブジェク
ト内に閉じ込められた面に対応する）を除去する。これ
は、一般的なテクニックを用いて実行される。そのよう
なテクニックは、例えば、「Three-Dimensional Comput
er Vision」、Faugeras著、Chapter 10, MIT Press,
ISBN 0-262-06158-9に記載されている。
【０２８４】ステップＳ５９０からＳ６０２を実行した
後、ＣＰＵ４はオブジェクト２４を表す３次元空間にお
ける複数の面を生成する。ステップＳ６０４からＳ６１
０において、ＣＰＵ４は、各三角形表面に表示すべきテ
クスチャを決定する。
【０２８５】ステップＳ６０４において、ＣＰＵ４は、
次の残りの三角形（ステップＳ６０４が最初に実行され
るとき、これは、第１の残余三角形である）に対する法
線を計算する。ステップＳ６０６において、ＣＰＵ４
は、ステップＳ６０４で計算された法線と各カメラの光
軸との内積を計算し、法線に最も近い角度で三角形を見
たカメラを特定する（これは、その光軸と面の法線との
間の角度が最も小さいカメラである）。ステップＳ６０
８において、ＣＰＵ４は、ステップＳ６０６で特定され
たカメラのためのデータを読み出し（図４のステップＳ
１８で格納されたもの）、三角形のためのテクスチャを
決定するためにその三角形の頂点の間にあるイメージデ
ータを読み出す。ステップＳ６１０において、ＣＰＵ４
は、テクスチャを決定すべき別の残余の三角形があるか
どうかを判断する。ステップＳ６０４からＳ６１０は、
すべての三角形についてテクスチャが決定されるまで繰
り返される。
【０２８６】図３を再度参照すると、本実施形態におい
て、ステップＳ１２でオブジェクトを表す面を生成した
後、ＣＰＵ４はステップＳ１４にてその面を表示する。
これは一般的な方法で実行される。たとえば、「Comput
er Graphics Principle andPractice」、Foley, van Da
m, Feiner及びHughes著、Second Edition、Addison-Wes
ley Publishing Company Inc., ISBN 0-201-12110-7に
記載の方法を用いることができる。この方法の概要を以
下に述べる。
【０２８７】図５０は、ステップＳ１４で表面データを
表示する際のＣＰＵ４によって実行される処理を示す。
図５０を参照すると、ステップＳ６２０において、ＣＰ
Ｕ４は、オブジェクトに対するライティングパラメータ
（照明パラメータ）、すなわち、どのようにオブジェク
ト画が照らされるかを定義するデータを計算する。この
データは、入力デバイス１４を用いてユーザによって入
力されてもよいし、或いは、デフォルトの照明パラメー
タが用いられてもよい。ステップＳ６２２において、オ
ブジェクトが観察されるべき方向が、入力デバイス１４
を用いてユーザにより定義される。
【０２８８】ステップＳ６２４において、オブジェクト
のplanar三角形面を特定する頂点は、それらが定義され
るオブジェクト空間から、光源が定義されるモデル空間
へ変換される。ステップＳ６２６において、光源の位置
に関するデータ及び各三角形面のテクスチャデータ（ス
テップＳ６０８で前もって決定されている）を処理する
ことで、三角形面が照らされる。その後、ステップＳ６
２８において、モデリング空間は、ステップＳ６２２で
選択されて方向付けられたビューイングに依存するビュ
ーイング空間に変換される。この変換は、ビューの特定
のフィールドを定義する。それは、通常、モデリング空
間の全体よりも小さい空間をカバーする。従って、ステ
ップＳ６３０において、ＣＰＵ４は面を除去、或いはそ
れらのビューのフィールドの外に出る部分を除去するた
めに、クリッピング処理を実行する。
【０２８９】この段階までに、ＣＰＵ４によって処理さ
れたオブジェクトデータは、３次元空間座標位置を決定
する。ステップＳ６３２において、三角形面の頂点が、
２次元イメージを特定するために、投影される。
【０２９０】２次元イメージを投影した後、「前向き」
の三角形面、すなわち、観察者の方向を向くもの、及び
「後ろ向き」の三角形面、すなわち観察者には見えない
ものを特定する必要がある。従って、ステップＳ６３４
において、後ろ向きの面が特定され、抜き取られる。こ
うして、ステップＳ６３４において、可視のポリゴンの
三角形面を特定する頂点が２次元において定義される。
【０２９１】ステップＳ６３６において、面を定義する
２次元データはＣＰＵ４により、ピクセル値を生成する
べく、図４９のステップＳ６０８で前もって決定された
各面のテクスチャを定義するデータを考慮に入れて、ス
キャンコンバート（scan-convert）される。
【０２９２】ステップＳ６３８において、ステップＳ６
３６で生成されたピクセル値が、フレームバッファに面
毎に書き込まれる。それにより、完全な２次元イメージ
のためのデータを生成する。
【０２９３】ステップＳ６４０において、ＣＰＵ４は、
ピクセル値を定義する信号を生成する。信号は、ディス
プレイユニット１８上にオブジェクトのイメージを生成
するために用いられ、及び／又は、例えばビデオレコー
ダ２０内のビデオテープ上に記録される。或いは、信号
は表示或いは記録のために遠隔の受信機に送信されても
よい。
【０２９４】これまで記述してきた実施形態に対し、種
々の変形が可能である。
【０２９５】上述の実施形態において、図２に関連して
記述したように、カメラ１２は、オブジェクトのイメー
ジを記録するために、オブジェクト２４のまわりの異な
る位置へ移動される。しかしながら、これに限られるも
のではなく、カメラ１２が固定位置に維持され、オブジ
ェクト２４が移動してもよい。もちろんカメラ１２とオ
ブジェクト２４の位置の双方が動いてイメージを記録し
てもよい。
【０２９６】カメラ１２は、オブジェクト２４のイメー
ジの連続的なシーケンスを記録するビデオカメラであっ
てもよい。ＣＰＵ４によって処理されるイメージデータ
は、ビデオシーケンスからイメージデータフレームを選
択することによって得られる。
【０２９７】上記実施形態において、図４のステップＳ
２２及びＳ２４でイメージの位置的順序をアレンジする
とき、ユーザがその順序における正しい位置へディスプ
レイ上のイメージを移動する（図５に関連して記述した
通りである）、そして、ＣＰＵ４は、その順序における
それらの位置を決定するためにイメージ間の距離を計算
する。これに替えて、ユーザがその順序における位置を
表す数字を各イメージに割り当ててもよい。利便のため
に、ＣＰＵ４は、割り当てられた番号に従ってユーザに
イメージを再表示する。
【０２９８】上記実施形態の記述において、３Ｄモデル
を生成するためにオブジェクト２４の５つのイメージが
処理された。しかし、他の数のイメージが用いられても
よいことはもちろんである。
【０２９９】図７のステップＳ５２、Ｓ５４、Ｓ６２、
Ｓ６４で実行された上述の処理のために、異なる初期特
徴マッチングテクニックが用いられてもよい。例えば、
ステップＳ５２とＳ５４で実行された初期特徴マッチン
グは、イメージ中のコーナーを検出するが、この処理
は、イメージデータのカラー或いは輝度値における最
小、最大或いはサドル（saddle）点を検出するテクニッ
クで置き換えてもよい。この種のテクニックは、例え
ば、「Computer and Robot Vision Volume 1」、Harali
ck & Shapiro著、Chapter 8、Addison-Wesley Publishi
ng Company, ISBN 0-201-10877-1 (V.1)に記載された方
法が、そのようなポイントを検出するのに用いられ得
る。検出されたポイントは、前述の適応化最小二乗相関
を用いてマッチングされる。上述で参照されたすべての
タイプのポイント、すなわち、コーナーポイント、最小
ポイント、最大ポイント及びサドルポイントを検出し、
マッチする初期特徴マッチングテクニックが採用されて
もよい。
【０３００】上記実施形態では、ピクセルのエッジマグ
ニチュードとエッジ方向値を用いて、ステップＳ１０６
とＳ１０８でイメージ中におけるエッジを特定する。こ
れに替えて、エッジは、ピクセルのエッジマグニチュー
ドもしくはエッジ方向値の一方のみを用いて特定されて
もよい。
【０３０１】上記実施形態では、図７のステップＳ６２
とＳ６４でアフィン初期特徴マッチングを実行する際
に、ＣＰＵ４は、各イメージにおけるユーザ特定ポイン
トを三角形で結び、その三角形内に含まれるイメージの
部分間の関係を計算するために、対応する三角形の各頂
点の座標を用いることにより、イメージペアの部分間の
関係を計算する。変形例として、ユーザ特定ポイントの
みを用いる代わりに、三角形を生成するためにＣＰＵ４
はユーザ特定およびＣＰＵ特定ポイントをコネクトする
ようにアレンジされてもよいし、ＣＰＵ特定ポイント
（例えば、コーナーポイント）だけを用いるようにアレ
ンジされてもよい。
【０３０２】上記実施形態において、アフィン初期特徴
マッチングを実行する際に、ステップＳ１６２におい
て、ＣＰＵ４は、イメージを矩形に分割するために水平
および垂直のグリッドを用いる。しかしながら、イメー
ジは、他の方法において、より小さい領域へ均等に分割
されてもよい。例えば、長方形へ分割するグリッドが用
いられてもよい。また、非水平および非垂直ラインを有
するグリッドが用いられてもよい。
【０３０３】上述の実施形態において、ステップＳ５６
とＳ６６で、カメラ変位を計算する際に、ＣＰＵ４はパ
ースペクティブ計算を２度実行する（図２５）。１つは
ユーザ特定ポイントのみを用いて（ステップＳ２４６〜
Ｓ２６２）、そしてもう１つはユーザ特定ポイントとＣ
ＰＵ計算ポイントの両方を用いて（ステップＳ２６６か
らＳ２８２）行われる。同様にＣＰＵ４は、アフィン計
算を２回（図２７）実行する。１つは、ユーザ特定ポイ
ントのみを用いて（ステップＳ３１２からＳ３２７）、
そしてもう１つはユーザ特定およびＣＰＵ特定ポイント
を用いる（ステップＳ３３０からＳ３４５）。変形例と
して、ＣＰＵ４は、各パースペクティブ計算とアフィン
計算のそれぞれの２回の計算を次のようにしてもよい。
すなわち、 ・１回はユーザ特定ポイントのみを用いて、次にＣＰＵ
計算されたポイントのみを用いて計算する。 ・１回は、ＣＰＵ家違算されたポイントのみを用い、も
う１回ではユーザ特定およびＣＰＵ計算ポイントの両方
を用いる。
【０３０４】また、各パースペクティブおよび各アフィ
ン計算は、３回計算されてよい。例えば、１回は、ユー
ザ特定ポイントで、もう１回はＣＰＵ計算ポイント、さ
らにもう１回はユーザ特定およびＣＰＵ計算ポイントの
両方で行う。
【０３０５】上述した実施形態において、ステップＳ２
４０におけるパースペクティブカメラ変換を計算する際
に、ＣＰＵ４は物理的なfundamental行列をテストする
（図２５のステップＳ２５３、２５５、２７３およびＳ
２７５）。代わりに、他の物理的に信頼性のある行列、
たとえば物理的essential行列（Ephys）がテストされも
よい。
【０３０６】上記実施形態において、ステップＳ５００
とステップＳ５０２（図３９）で、制約的特徴マッチン
グを実行する際（図７のステップＳ７４）、「ダブル」
ポイント（すなわち、トリプル中のイメージペアにたわ
たってマッチするポイント）が考慮され、トリプルポイ
ント（すなわち、３つのイメージにわたってマッチする
ポイント）を形成すべくトリプル内の別のイメージにお
ける対応ポイントを特定するべく試みるために処理が実
行される。また、シングルポイント、すなわちトリプル
内の１つのイメージで特定されるものの他のイメージと
の間ではマッチするポイントが見出されていないポイン
ト、を考慮することは可能であり、トリプルの他の２つ
のイメージの各々において対応点を特定するべく試みる
処理を実行することは可能である。たとえば、トリプル
中の第１イメージよりシングルポイントを取り出し、図
７のステップＳ５６或いはステップＳ６６で前もって計
算されたカメラ変換を用いて、第２イメージの対応する
位置のポイントを特定することができる。適応化最小二
乗相関テクニック、たとえば、前述で参照した、「Adap
tive Least Squares Correlation: A Powerful Image M
atching Technique」、A.W. Gruen著、Photogrammetry
Remote Sensing and Cartography、1985、175-187頁に
記載のテクニックが、第２イメージ中の対応ポイントの
付近におけるピクセルの相似性測度を決定するのに用い
られてもよい。そして最も高い相似性測度を閾値と比較
し、そのような相似性測度値を有するピクセルが第１の
イメージのポイントとマッチするかを判断する。マッチ
が見出されたら、第３イメージにおけるポイントについ
てマッチが見出されるかどうかを判断するために、類似
の処理が実行され、それによりトリプルポイントが特定
される。
【０３０７】上記実施形態において、図７のステップＳ
６２或いはステップＳ６４でイメージペアについてアフ
ィン初期特徴マッチングを実行する際、ＣＰＵ４は、そ
の順序において先行するイメージ内のポイントとマッチ
するが、第２イメージペア中のポイントとはマッチしな
い第１イメージペア中の点を考慮し、そのようなポイン
トを第２イメージペアにおけるポイントとマッチするよ
う試みる（図１８のステップＳ１６６、Ｓ１７６）。こ
うしてＣＰＵ４は、イメージのシーケンスを通して現在
のイメージから当該順序の後続のイメージへマッチした
ポイントを伝播するために処理を実行する。また、その
ようなポイントを伝播する処理を反対方向に行うことも
可能である。すなわち、現在のイメージから、当該順序
における先行イメージへポイントを伝播してもよい。た
とえば、順序内のイメージは反対方向に考慮され得る。
すなわち、当該順序中の最終イメージ（図２の例で、位
置Ｌ５から撮られたイメージ）からはじめて、上述と同
様の方法データを処理するようにしてもよい。また、処
理は、両方向へポイントを伝播すべく実行されてよい。
これは、単一方向へポイントを伝播するべく処理が実行
される場合よりもポイント間のより多くのマッチングを
提供する可能性がある。これは、図７のステップＳ６６
で計算されるべきより正確なカメラ変換を可能とする。
【０３０８】上記の実施形態において、図７のステップ
Ｓ７４で制約的特徴マッチングをＣＰＵ４が実行する
際、図３９のステップＳ５００においてイメージトリプ
ルの第２および第３イメージ内のポイント間の新たなマ
ッチが特定される。前述のように、これらのポイントは
後続の処理において考慮される。その新たなポイントが
マッチングするイメージペアは、考慮される次のイメー
ジトリプルにおける第１のイメージペアとなるからであ
る。こうして、ステップＳ５４或いはＳ６４において、
次のトリプルにおける第２イメージペアのために自動的
な初期特徴マッチング、或いはアフィン初期特徴マッチ
ングが実行されるとき、制約的特徴マッチングによって
得られる新たなマッチングポイントは、上述のように、
そのトリプルの第３のイメージにおいて、マッチングポ
イントを特定するために用いられ得る。一方、上記実施
形態において、ＣＰＵ４が制約的特徴マッチングを実行
する際に、図３９のステップＳ５０２で生成された、ト
リプルにおける第１および第２イメージ内のポイント間
の新たなマッチングは、いかなる後続の初期特徴マッチ
ング処理においても考慮されない。これは、新たなマッ
チングがトリプル内の第１のイメージペアにわたってマ
ッチし、このペアは、さらに後続の初期特徴マッチング
処理において考慮されないからである。しかしながら、
新たなマッチングは、ＣＰＵ４がステップＳ１０（図
３）にて３Ｄデータを生成する際に考慮される。新たに
マッチしたポイントは、トリプルポイントの部分を形成
するからである。変形例としては、制約的なマッチング
の間に特定された新しいマッチングのすべてを考慮に入
れてカメラ変換を再計算するための追加的な処理を実行
することを可能とする。これは、各イメージトリプルに
関するカメラ変換について２つの解を生成する。すなわ
ち、第１は、図７に関して上述した方法において生成さ
れる解であり、第２は、新たなマッチングを考慮するた
めの付加的処理によって生成される。これらの２つの解
のうち、最も正確な解が選択される。
【０３０９】上述した実施形態において、ステップＳ５
２、Ｓ５４、Ｓ６０、Ｓ６２、Ｓ６４、Ｓ７２およびＳ
７４において、ポイント（コーナーポイント、最小ポイ
ント、最大ポイント、サドルポイント等）がイメージ内
でマッチングされる。しかしながら、例えば線等の、他
の特徴で特定およびマッチングを行うことも可能であ
る。
【０３１０】ステップＳ５２８において、上記実施形態
では、ＣＰＵ４は、ポイントが互いの１標準偏差内にあ
ればそれらをマージする。しかしながら、それらを結合
する代わりにポイントのひとつを削除してもよい。
【０３１１】上述した実施形態において、図３のステッ
プＳ１２において面を生成し、ＣＰＵ４は、ステップ１
４で面データを表示すべく処理を実行する。これに替え
て、もしくは付加的に、ステップＳ１４で面データを表
示する代わりに、ＣＰＵ４が以下の処理を実行してもよ
い。すなわち、 ・例えば、適切な形状へ材料をカットするカッティング
装置を制御することにより、オブジェクト２４のモデル
を製造する製造設備を制御する。 ・例えばデータベースに格納されたデータと比較するこ
とにより、オブジェクトを認識するための処理を実行す
る。 ・オブジェクトのサイズを記録するための絶対的な計測
値を取ることにより、或いは、前もって生成されたオブ
ジェクトのモデルとそのモデルを比較してそれらの間に
おける変化を判断することにより、そのオブジェクトを
計測するための処理を実現する。 ・ロボットを制御して、そのオブジェクトの回りをナビ
ゲートするための処理を実行する。 ・モデルを表すオブジェクトデータを、遠隔の処理装置
に伝送する（たとえば、ＣＰＵ４はオブジェクトデータ
をＶＲＭＬフォーマットでインターネットを介して伝送
し、ＷＷＷブラウザで処理することを可能とする）。も
ちろん、オブジェクトデータは他の方法で利用されても
よい。
【０３１２】また、上述したテクニックは、たとえば、
地理情報システム（ＧＩＳ）もしくは他の地形データベ
ースに入力されている３次元データ地形図作成および地
形調査において用いられてもよい。
【０３１３】
【図面の簡単な説明】
【図１】本発明の実施形態における画像処理装置のコン
ポーネントを示す概略図である。
【図２】オブジェクトの周囲の異なる位置がらオブジェ
クトをイメージングすることによりイメージデータを収
集する様子を表す図である。
【図３】本発明の実施形態における図１に示される画像
処理装置によって実行される処理のトップレベルを表す
図である。
【図４】図３のステップＳ２において、初期のデータ入
力の間に実行されるステップを示す図である
【図５】図４のステップＳ２２において、ユーザによる
イメージの並べ替えを説明する図である。
【図６】図１の、ステップＳ４における初期特徴マッチ
ング、ステップＳ６におけるカメラ変換の計算、ステッ
プＳ８における制約的な特徴マッチングにおける処理の
間の関係を説明する図である。
【図７】図６に示される処理の間の関連を詳細に示す図
である。
【図８】図７のステップＳ５２における、イメージトリ
プル内の第１のイメージペアにわたる自動的な初期特徴
マッチングにおける処理を示す図である。
【図９】図７のステップＳ５４における、イメージトリ
プル内の第２のイメージペアにわたる自動的な初期特徴
マッチングにおける処理を示す図である。
【図１０】（ａ）はパースペクティブ画像を、（ｂ）は
アフィン画像を概略的に示した図である。
【図１１】図７のステップＳ６２もしくはステップＳ６
４において、トリプルイメージ内の第１(もしくは第２)
のイメージペアのためのアフィン初期特徴マッチングの
間に実行される処理のトップレベルを示す図である。
【図１２】図１１のステップＳ１００における、各イメ
ージペア内のエッジを検出する処理を示す図である。
【図１３】図１２のステップＳ１０６もしくはステップ
Ｓ１０８におけるエッジ強度の計算において考慮される
ピクセルを表す図である。
【図１４】図１２のステップＳ１０６及びステップＳ１
０８におけるエッジ強度の計算で実行される処理を示す
図である。
【図１５】図１２のステップＳ１１２において他のエッ
ジとクロスオーバするエッジを除去する際に実行される
処理を示す図である。
【図１６】２つのエッジの例を説明する図であり、
（ａ）及び（ｂ）はエッジがクロスしない例を、（ｃ）
はエッジがクロスする例を示す図である。
【図１７】図１１のステップＳ１０２においてポイント
を三角形に接続する際の処理手順を説明する図である。
【図１８Ａ】図１１におけるステップＳ１０４で、イメ
ージペアにおける更なる対応ポイントを計算する際に実
行される処理手順を説明する図である。
【図１８Ｂ】図１１におけるステップＳ１０４で、イメ
ージペアにおける更なる対応ポイントを計算する際に実
行される処理手順を説明する図である。
【図１９】図１８のステップＳ１６２、Ｓ１７４及びＳ
１８０における矩形のグリッドの使用を示す図である。
【図２０】図７のステップＳ５６及び６６においてイメ
ージトリプルに関するカメラ変換を計算するときに実行
される処理のトップレベルを示す図である。
【図２１】図２０のステップＳ２０２においてルーチン
１を実行する際に実行される処理のトップレベルを示す
図である。
【図２２】図２１のステップＳ２０６においてパラメー
タをセットアップする際に実行される処理を示す図であ
る。
【図２３】図２２のステップＳ２２４において実行され
るべき繰り返し数を決定するための処理手順を説明する
図である。
【図２４】図２１のステップＳ２０８もしくはＳ２１０
において、トリプル内の第１のイメージペアもしくはト
リプル内の第２のイメージペアのためのカメラ変換を計
算する際の処理手順を説明する図である。
【図２５Ａ】図２４のステップＳ２４０におけるイメー
ジペアのためのパースペクティブ計算を実行する際の処
理手順を説明する図である。
【図２５Ｂ】図２４のステップＳ２４０におけるイメー
ジペアのためのパースペクティブ計算を実行する際の処
理手順を説明する図である。
【図２５Ｃ】図２４のステップＳ２４０におけるイメー
ジペアのためのパースペクティブ計算を実行する際の処
理手順を説明する図である。
【図２６】図２５のステップＳ２５４及びＳ２７４で、
物理的fundamental行列をマッチしたユーザ特定ポイン
ト及び計算ポイントに対してテストする際の処理手順説
明を説明する図である。
【図２７Ａ】図２４のステップＳ２４２において、イメ
ージペアのためにアフィン計算を実行する際の処理手順
を説明する図である。
【図２７Ｂ】図２４のステップＳ２４２において、イメ
ージペアのためにアフィン計算を実行する際の処理手順
を説明する図である。
【図２８】図２１のステップＳ２１２における、トリプ
ル内の３つのイメージ全てに対するカメラ変換を計算す
る際の処理手順を説明する図である。
【図２９】トリプルの３つのイメージのための、スケー
ルｓ、回転角度ρ１、ρ２を説明する図である。
【図３０】図２８のステップＳ３５０、Ｓ３５２、Ｓ３
５４及びＳ３５６において、ｓ及び／又はρ１及び／又
はρ２を計算する際の処理手順を表す図である。
【図３１】（ａ）〜（ｄ）は、図３０のステップＳ３８
０において考慮された異なるρ１、ρ２の組み合わせを
説明する図である。
【図３２】図３０のステップＳ３８２における、最良の
スケールを計算する際の処理手順を示す図である。
【図３３】３つのカメラ全てからの光線を単一のポイン
トでクロスさせるために、図３２のステップＳ４００に
おいてカメラの変換をどのように変化させるかを説明す
る図である。
【図３４】図３２のステップＳ４０４において、全ての
トリプルポイントに対して計算されたスケールをテスト
するための処理手順を説明する図である。
【図３５】図３４のステップＳ４２６において、トリプ
ルイメージの外側のイメージにおけるポイントに対する
光線の投射を説明する図である。
【図３６】図２０のステップＳ２０４におけるルーチン
２の処理を実行する際の処理手順のトップレベルを示す
図である。
【図３７】図３６のステップＳ４５０において、存在す
るパラメータを読み、新たなイメージペアのためのパラ
メータをセットアップする際の処理手順を説明する図で
ある。
【図３８】図３６のステップＳ４５４においてトリプル
内の３つのイメージ全てに関するカメラ変換を計算する
際の処理手順を示す図である。
【図３９】図７のステップＳ７４における、トリプルイ
メージのための制約的な特徴マッチングを実行する際の
処理のトップレベルを示す図である。
【図４０】図３９のステップＳ５００及びＳ５０２にお
ける処理を説明する図であって、存在するダブルポイン
トの各々に関して対応するポイントを特定するための処
理手順を示す図である。
【図４１】図３のステップＳ１０における、３Ｄデータ
の生成の処理手順を示す図である。
【図４２】図４１のステップＳ５２０において、ユーザ
特定されたダブルポイントの各々、もしくは後続のイメ
ージとのトリプルの一部を形成するポイントの３Ｄ投射
を計算する際の処理を説明する図である。
【図４３】図４１のステップＳ５２０が５つのイメージ
にわたるポイントに関して実行された場合の結果を説明
する図である。
【図４４Ａ】図４１のステップＳ５２２において、不正
確な３Ｄポイントを特定、破棄し、各カメラポジション
ペアのためのエラーを計算する処理手順を説明する図で
ある。
【図４４Ｂ】図４１のステップＳ５２２において、不正
確な３Ｄポイントを特定、破棄し、各カメラポジション
ペアのためのエラーを計算する処理手順を説明する図で
ある。
【図４５Ａ】図４４のステップＳ５５６において、与え
られたカメラポジションペアの３Ｄポイントと次のカメ
ラポジションペアの対応ポイントとの間について計算さ
れたシフトを説明する図である。
【図４５Ｂ】図４４のステップＳ５５６において、与え
られたカメラポジションペアの３Ｄポイントと次のカメ
ラポジションペアの対応ポイントとの間について計算さ
れたシフトを説明する図である。
【図４６】図４４のステップＳ５６６を実行した結果の
次のカメラポジションペアのための修正された３Ｄポイ
ントと、現在のカメラポジションペアのための対応する
ポイントを説明する図である。
【図４７】３Ｄ空間におけるポイントの数とそれらに関
連付けられたエラー楕円を説明する図である。
【図４８】結合された３Ｄポイントがユニークなイメー
ジポイントに対応するかをチェックし、そうでないもの
を図４１のステップＳ５２８においてマージする際の処
理手順を説明する図である。
【図４９】図３のステップＳ１２において面を生成する
際の処理手順を示す図である。
【図５０】図３のステップＳ１４において面データを表
示する際に実行される処理手順を示す図である。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正内容】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１６】
【図７】
【図８】
【図９】
【図２５Ｃ】
【図３０】
【図１０】
【図１１】
【図１７】
【図３６】
【図１２】
【図１３】
【図１５】
【図４３】
【図１４】
【図１８Ａ】
【図４１】
【図４５Ｂ】
【図１８Ｂ】
【図１９】
【図２１】
【図２０】
【図２２】
【図２６】
【図４８】
【図２３】
【図２４】
【図２９】
【図２５Ａ】
【図２５Ｂ】
【図４７】
【図２７Ａ】
【図２７Ｂ】
【図２８】
【図３１】
【図３３】
【図３２】
【図３４】
【図３５】
【図３９】
【図３７】
【図３８】
【図４０】
【図４４Ｂ】
【図４２】
【図４４Ａ】
【図４５Ａ】
【図４６】
【図４９】
【図５０】
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ９７１６５０２．１ (32)優先日 1997年８月５日 (33)優先権主張国 イギリス（ＧＢ） (72)発明者 アラン ダビソン イギリス国 １ オッカムコート，オッカ ムロード，サリーリサーチパーク，ギルド フォード，サリー ジー ユー ２ ５ ワイ ジェイ キヤノン リサーチ セン ター ヨーロッパ リミテッド．内 (72)発明者 ジェーン ハスラム イギリス国 １ オッカムコート，オッカ ムロード，サリーリサーチパーク，ギルド フォード，サリー ジー ユー ２ ５ ワイ ジェイ キヤノン リサーチ セン ター ヨーロッパ リミテッド．内 (72)発明者 アレックス リオンス イギリス国 １ オッカムコート，オッカ ムロード，サリーリサーチパーク，ギルド フォード，サリー ジー ユー ２ ５ ワイ ジェイ キヤノン リサーチ セン ター ヨーロッパ リミテッド．内 (72)発明者 サイモン ロウエ イギリス国 １ オッカムコート，オッカ ムロード，サリーリサーチパーク，ギルド フォード，サリー ジー ユー ２ ５ ワイ ジェイ キヤノン リサーチ セン ター ヨーロッパ リミテッド．内 (72)発明者 リチャード テイラー イギリス国 １ オッカムコート，オッカ ムロード，サリーリサーチパーク，ギルド フォード，サリー ジー ユー ２ ５ ワイ ジェイ キヤノン リサーチ セン ター ヨーロッパ リミテッド．内

Claims (158)

    【特許請求の範囲】
  1. 【請求項１】 オブジェクトの第１のイメージペアの間
    のアフィン変換を表す第１の入力信号と、該第１のイメ
    ージペア間のパースペクティブ変換を表す第２の入力信
    号と、該オブジェクトの第２のイメージペアの間のアフ
    ィン変換を表す第３の入力信号と、ここでひとつのイメ
    ージは第１のペアと第２のペアで共通であり、該第２の
    イメージペアの間のパースペクティブ変換を表す第４の
    信号と、該第１のペアと第２のペアの３つのイメージ全
    てにおいてマッチした特徴を表す第５の信号とを処理す
    るためのプロセッサを有する画像処理装置において、３
    つのイメージ全ての間の変換を表す信号を生成するべく
    前記各入力信号を処理する方法であって、 （ａ）前記第１、第３及び第５の入力信号を用いて３つ
    のイメージ全ての間の変換を計算するステップと、 （ｂ）前記第１、第４及び第５の入力信号を用いて３つ
    のイメージの全ての間の変換を計算するステップと、 （ｃ）前記第２、第３及び第５の入力信号を用いて３つ
    のイメージの全ての間の変換を計算するステップと、 （ｄ）前記第２、第４及び第５の入力信号を用いて３つ
    のイメージの全ての間の変換を計算するステップと、 （ｅ）計算された変換のうち最も正確なものを選択する
    ステップとを備えることを特徴とする画像処理方法。
  2. 【請求項２】 オブジェクトの第１のイメージペアの間
    の変換を表す第１の入力信号と、該オブジェクトの第２
    のイメージペア間のアフィン変換を表す第２の入力信号
    と、ここでひとつのイメージは第１のペアと第２のペア
    で共通であり、該第２のイメージペアの間のパースペク
    ティブ変換を表す第３の信号と、該第１のペアと第２の
    ペアの３つのイメージ全てにおいてマッチした特徴を表
    す第４の信号とを処理するためのプロセッサを有する画
    像処理装置において、３つのイメージ全ての間の変換を
    表す信号を生成するべく前記各入力信号を処理する方法
    であって、 （ａ）前記第１、第２及び第４の入力信号を用いて３つ
    のイメージ全ての間の変換を計算するステップと、 （ｂ）前記第１、第３及び第４の入力信号を用いて３つ
    のイメージの全ての間の変換を計算するステップと、 （ｃ）計算された変換のうち最も正確なものを選択する
    ステップとを備えることを特徴とする画像処理方法。
  3. 【請求項３】 請求項１又は２に記載の方法であって、 ３つのイメージ全ての間の変換が、前記第１のイメージ
    ペア間の回転角度と、前記第２のイメージペア間の回転
    角度の少なくとも一つの値のための変換スケールを計算
    することにより計算される。
  4. 【請求項４】 請求項３に記載の方法であって、 複数の変換スケールが、各回転角度の値のために計算さ
    れ、計算されたスケールの各々の正確さが判断され、判
    断された正確さが最も高いスケールが選択される。
  5. 【請求項５】 請求項３又は４に記載の方法であって、 ３つのイメージ全ての間の変換が、イメージ間のパース
    ペクティブ−アフィン変換、イメージ間のアフィン−パ
    ースペクティブ変換、或いはイメージ間のアフィン−ア
    フィン変換を表す新っごうを用いて計算され、前記変換
    スケールは回転角度の複数の値について計算され、計算
    されたスケールの各々の正確さが決定され、そして最高
    の正確さを有するスケールと回転角度の値が選択され
    る。
  6. 【請求項６】 請求項５に記載の方法であって、 複数の回転角度の値は、ある範囲にわたって分散され
    た、第１ペアにおけるイメージ間の回転角度と第２ペア
    におけるイメージ間の回転角度の少なくとも一つの値を
    備える。
  7. 【請求項７】 請求項３乃至６のいずれかに記載の方法
    であって、 変換スケールは変換及び関連付けられたスケールを計算
    することによって計算され、該関連付けられたスケール
    は、前記３つのイメージの第１のイメージにおける特徴
    点から投射された光と、第２のイメージにおけるマッチ
    した特徴から投射された光線と、第３のイメージにおけ
    るマッチした特徴から投射された光とを１つのポイント
    で交差させるものである。
  8. 【請求項８】 請求項３乃至７のいずれかに記載の方法
    であって、 計算された変換スケールの正確さは、（ｉ）第２及び第
    ３イメージのマッチング特徴に依存して決定された第１
    イメージ内の計算された特徴の位置と、（ｉｉ）第１イ
    メージにおけるマッチング特徴の位置、との間の距離を
    計算することにより決定される。
  9. 【請求項９】 請求項８に記載の方法であって、 前記第１のイメージにおける計算された特徴の位置が、
    第２のイメージにおける特徴から光線を投射し、第３の
    イメージにおいてマッチした特徴から光線を投射し、該
    投射された光線に依存して３次元空間におけるポイント
    を計算し、該３次元空間における該ポイントに依存して
    第１のイメージにおける特徴の位置を計算することによ
    り決定される。
  10. 【請求項１０】 請求項１乃至９のいずれかに記載の方
    法であって、 前記第５の入力信号において示される特徴がポイントを
    含む。
  11. 【請求項１１】 請求項１乃至１０のいずれかに記載の
    方法であって、 選択された最も正確な計算された変換を回転行列と移動
    ベクトルへ変換するステップを更に備える。
  12. 【請求項１２】 請求項１乃至１１のいずれかに記載の
    方法であって、 前記オブジェクトのイメージを表すイメージデータを処
    理して入力信号を生成するステップを更に備える。
  13. 【請求項１３】 請求項１乃至１２のいずれかに記載の
    方法であって、 ３次元空間におけるオブジェクトのモデルを表すオブジ
    ェクトデータを生成するステップを更に備える。
  14. 【請求項１４】 請求項１３に記載の方法であって、 イメージデータを生成するために前記オブジェクトデー
    タを処理するステップを更に備える。
  15. 【請求項１５】 請求項１４に記載の方法であって、 前記オブジェクトのイメージを表示するステップを更に
    備える。
  16. 【請求項１６】 請求項１４又は１５に記載の方法であ
    って、 前記イメージデータを記録するステップを更に備える。
  17. 【請求項１７】 請求項１３乃至１６のいずれかに記載
    の方法であって、 前記オブジェクトデータを運ぶ信号を伝送するステップ
    を更に備える。
  18. 【請求項１８】 請求項１３乃至１７のいずれかに記載
    の方法であって、 前記オブジェクトデータを記録するステップを更に備え
    る。
  19. 【請求項１９】 画像処理装置を操作し、３つのイメー
    ジの全ての間の関係を決定するために、第１のイメージ
    と第２のイメージの間及び第２のイメージと第３のイメ
    ージの間の第１と第２のタイプの変換を表す信号と、イ
    メージ内の対応する特徴を表す信号とを処理させる方法
    であって、 対応する特徴を用い、第１及び第２イメージ間の第１の
    タイプの変換と第２及び第３イメージ間の第２のタイプ
    の変換とに基づいて、前記関係を決定するステップと、 対応する特徴を用い、第１及び第２イメージ間の第１の
    タイプの変換と第２及び第３イメージ間の第１のタイプ
    の変換とに基づいて、前記関係を決定するステップと、 対応する特徴を用い、第１及び第２イメージ間の第２の
    タイプの変換と第２及び第３イメージ間の第２のタイプ
    の変換とに基づいて、前記関係を決定するステップと、 対応する特徴を用い、第１及び第２イメージ間の第２の
    タイプの変換と第２及び第３イメージ間の第１のタイプ
    の変換とに基づいて、前記関係を決定するステップと、 最も正確な関係を選択するステップとを備える。
  20. 【請求項２０】 画像処理装置を操作し、３つのイメー
    ジの全ての間の関係を決定するために、（ｉ）第１のイ
    メージと第２のイメージの間の第１及び第２のタイプの
    変換と、（ｉｉ）第２のイメージと第３のイメージの間
    の変換と、（ｉｉｉ）イメージ内の対応する特徴とを表
    す信号を処理させる方法であって、 対応する特徴を用い、第１及び第２イメージ間の第１の
    タイプの変換と、第２と第３のイメージ間の変換とに基
    づいて、前記関係を決定するステップと、 対応する特徴を用い、第１及び第２イメージ間の第２の
    タイプの変換と、第２と第３のイメージ間の変換とに基
    づいて、前記関係を決定するステップと、 最も正確な関係を選択するステップとを備える。
  21. 【請求項２１】 第１の入力信号と第２の信号を処理す
    るためのプロセッサを備えた画像処理装置において、全
    イメージ間の変換を表す信号を生成するためにそれら入
    力信号を処理する方法であって、ここで該第１の入力信
    号は、オブジェクトの少なくとも３つのイメージの間の
    変換を表し、該少なくとも３つのイメージは各イメージ
    ペアが他のペアのうちの一つのイメージを含むようにペ
    アが構成されており、該第１の入力信号は、（ｉ）各ペ
    アの各々におけるイメージ間のそれぞれの第１のタイプ
    の変換と（ｉｉ）該ペアの各々のイメージ間のそれぞれ
    の第２のタイプの変換とを表し、該第２の入力信号はイ
    メージ内のマッチした特徴を表し、該方法は、 （ａ）前記第１の入力信号において表されるイメージ間
    の変換のそれぞれの組み合わせの各々について、第２の
    入力信号において表されるマッチング特徴を用いて全イ
    メージ間の変換を計算するステップと、 （ｂ）計算された変換のうち最も正確なものを選択する
    ステップとを備えることを特徴とする画像処理方法。
  22. 【請求項２２】 第１乃至第４の入力信号を処理するた
    めのプロセッサを備えた画像処理装置において、全イメ
    ージ間の変換を表す信号を生成するためにそれら入力信
    号を処理する方法であって、ここで該第１の入力信号
    は、オブジェクトの少なくとも３つのイメージの間の変
    換を表し、該少なくとも３つのイメージは各イメージペ
    アが他のペアのうちの一つのイメージを含むようにペア
    が構成されており、該第２の入力信号は前記少なくとも
    ３つのイメージの一つと更に他のイメージとの間の第１
    のタイプの変換を表し、該第３の入力信号は前記少なく
    とも３つのイメージの前記一つと該更なる他のイメージ
    との間の第２のタイプの変換を表し、該第４の入力信号
    はイメージにおいてマッチした特徴を表し、該方法は、 （ａ）前記第１、第２及び第４の入力信号を用いて全イ
    メージ間の変換を計算するステップと、 （ｂ）前記第１、第３及び第４の入力信号を用いて全イ
    メージ間の変換を計算するステップと、 （ｃ）計算された変換のうち最も正確なものを選択する
    ステップとを備えることを特徴とする画像処理方法。
  23. 【請求項２３】 第１乃至第３の入力信号を処理するた
    めのプロセッサを有する画像処理装置において、全イメ
    ージ間の変換を表す信号を生成するためにそれら入力信
    号を処理する方法であって、該第１の入力信号は、少な
    くとも２つのオブジェクトイメージ間の変換を表し、該
    第２の入力信号は前記少なくとも２つのイメージのうち
    の第１のイメージを含む少なくとも３つのオブジェクト
    イメージと更なる２つのオブジェクトイメージとの間の
    複数の変換を表し、該少なくとも２つのイメージのうち
    の該第１のイメージと該更なる２つのイメージは各イメ
    ージペアが他のペアのうちの一つのイメージを含むよう
    にペアに構成されており、該第２の入力信号は、（ｉ）
    各ペアにおけるイメージ間のそれぞれの第１のタイプの
    変換と（ｉｉ）該ペアの各々のイメージ間のそれぞれの
    第２のタイプの変換とを表し、該第３の入力信号はイメ
    ージ内のマッチした特徴を表し、該方法は、 （ａ）前記第１と第２の入力信号において表されるイメ
    ージ間の変換のそれぞれの組み合わせの各々について、
    マッチング特徴を用いて全イメージ間の変換を計算する
    ステップと、 （ｂ）計算された変換のうち最も正確なものを選択する
    ステップとを備えることを特徴とする画像処理方法。
  24. 【請求項２４】 請求項２１乃至２３のいずれかに記載
    の方法であって、 前記第１のタイプの変換はアフィン変換であり、前記第
    ２のタイプの変換はパースペクティブ変換である。
  25. 【請求項２５】 画像処理装置に、各イメージペアが他
    のペアのうちの一つのイメージを含むようにペアが構成
    された少なくとも３つのオブジェクトイメージの間の変
    換を計算させる方法であって、ここで、全イメージの間
    の変換を決定するために、各ペアにおけるイメージ間の
    少なくとも一つの変換を表す信号が、ペアのイメージ間
    の前記入力信号において表されるそれぞれの変換の組み
    合わせに対して処理され、最も正確な変換が選択され
    る。
  26. 【請求項２６】 オブジェクトの第１のイメージペアの
    間のアフィン変換を表す第１の入力信号と、該第１のイ
    メージペア間のパースペクティブ変換を表す第２の入力
    信号と、該オブジェクトの第２のイメージペアの間のア
    フィン変換を表す第３の入力信号と、ここでひとつのイ
    メージは第１のペアと第２のペアで共通であり、該第２
    のイメージペアの間のパースペクティブ変換を表す第４
    の信号と、該第１のペアと第２のペアの３つのイメージ
    全てにおいてマッチした特徴を表す第５の信号とを処理
    して、３つのイメージ全ての間の変換を表す信号を生成
    する画像処理装置であって、 （ａ）前記第１、第３及び第５の入力信号を用いて３つ
    のイメージ全ての間の変換を計算する手段と、 （ｂ）前記第１、第４及び第５の入力信号を用いて３つ
    のイメージの全ての間の変換を計算する手段と、 （ｃ）前記第２、第３及び第５の入力信号を用いて３つ
    のイメージの全ての間の変換を計算する手段と、 （ｄ）前記第２、第４及び第５の入力信号を用いて３つ
    のイメージの全ての間の変換を計算する手段と、 （ｅ）計算された変換のうち最も正確なものを選択する
    手段とを備えることを特徴とする画像処理装置。
  27. 【請求項２７】 オブジェクトの第１のイメージペアの
    間の変換を表す第１の入力信号と、該オブジェクトの第
    ２のイメージペア間のアフィン変換を表す第２の入力信
    号と、ここでひとつのイメージは第１のペアと第２のペ
    アで共通であり、該第２のイメージペアの間のパースペ
    クティブ変換を表す第３の信号と、該第１のペアと第２
    のペアの３つのイメージ全てにおいてマッチした特徴を
    表す第４の信号とを処理して、３つのイメージ全ての間
    の変換を表す信号を生成する画像処理装置であって、 （ａ）前記第１、第２及び第４の入力信号を用いて３つ
    のイメージ全ての間の変換を計算する手段と、 （ｂ）前記第１、第３及び第４の入力信号を用いて３つ
    のイメージの全ての間の変換を計算する手段と、 （ｃ）計算された変換のうち最も正確なものを選択する
    手段とを備えることを特徴とする画像処理装置。
  28. 【請求項２８】 請求項２６又は２７に記載の装置であ
    って、 ３つのイメージ全ての間の変換が、前記第１のイメージ
    ペア間の回転角度と、前記第２のイメージペア間の回転
    角度の少なくとも一つの値のための変換スケールを計算
    することにより計算される。
  29. 【請求項２９】 請求項２８に記載の装置であって、 複数の変換スケールが、各回転角度の値のために計算さ
    れ、計算されたスケールの各々の正確さが判断され、判
    断された正確さが最も高いスケールが選択される。
  30. 【請求項３０】 請求項２８又は２９に記載の装置であ
    って、 ３つのイメージ全ての間の変換が、イメージ間のパース
    ペクティブ−アフィン変換、イメージ間のアフィン−パ
    ースペクティブ変換、或いはイメージ間のアフィン−ア
    フィン変換を表す新っごうを用いて計算され、前記変換
    スケールは回転角度の複数の値について計算され、計算
    されたスケールの各々の正確さが決定され、そして最高
    の正確さを有するスケールと回転角度の値が選択され
    る。
  31. 【請求項３１】 請求項３０に記載の装置であって、複
    数の回転角度の値は、ある範囲にわたって分散された、
    第１ペアにおけるイメージ間の回転角度と第２ペアにお
    けるイメージ間の回転角度の少なくとも一つの値を備え
    る。
  32. 【請求項３２】 請求項２８乃至３１のいずれかに記載
    の装置であって、 変換スケールは変換及び関連付けられたスケールを計算
    することによって計算され、該関連付けられたスケール
    は、前記３つのイメージの第１のイメージにおける特徴
    点から投射された光と、第２のイメージにおけるマッチ
    した特徴から投射された光線と、第３のイメージにおけ
    るマッチした特徴から投射された光とを１つのポイント
    で交差させるものである。
  33. 【請求項３３】 請求項２８乃至３２のいずれかに記載
    の装置であって、 計算された変換スケールの正確さは、（ｉ）第２及び第
    ３イメージのマッチング特徴に依存して決定された第１
    イメージ内の計算された特徴の位置と、（ｉｉ）第１イ
    メージにおけるマッチング特徴の位置、との間の距離を
    計算することにより決定される。
  34. 【請求項３４】 請求項３３に記載の装置であって、 第１のイメージにおける計算された特徴の位置が、第２
    のイメージにおける特徴から光線を投射し、第３のイメ
    ージにおいてマッチした特徴から光線を投射し、該投射
    された光線に依存して３次元空間におけるポイントを計
    算し、該３次元空間における該ポイントに依存して第１
    のイメージにおける特徴の位置を計算することにより決
    定される。
  35. 【請求項３５】 請求項２６乃至３４のいずれかに記載
    の装置であって、 前記第５の入力信号において示される特徴がポイントを
    含む。
  36. 【請求項３６】 請求項２６乃至３５のいずれかに記載
    の装置であって、 選択された最も正確な計算された変換を回転行列と移動
    ベクトルへ変換する手段を更に備える。
  37. 【請求項３７】 請求項２６乃至３６のいずれかに記載
    の装置であって、 前記オブジェクトのイメージを表すイメージデータを処
    理して入力信号を生成する手段を更に備える。
  38. 【請求項３８】 請求項２６乃至３７のいずれかに記載
    の装置であって、 ３次元空間におけるオブジェクトのモデルを表すオブジ
    ェクトデータを生成する手段を更に備える。
  39. 【請求項３９】 請求項３８に記載の装置であって、 イメージデータを生成するために前記オブジェクトデー
    タを処理する手段を更に備える。
  40. 【請求項４０】 請求項３９に記載の装置であって、 前記オブジェクトのイメージを表示する手段を更に備え
    る。
  41. 【請求項４１】 第１の入力信号と第２の信号を処理し
    て、全イメージ間の変換を表す信号を生成するためにそ
    れら入力信号を処理する画像処理装置であって、ここで
    該第１の入力信号は、オブジェクトの少なくとも３つの
    イメージの間の変換を表し、該少なくとも３つのイメー
    ジは各イメージペアが他のペアのうちの一つのイメージ
    を含むようにペアが構成されており、該第１の入力信号
    は、（ｉ）各ペアの各々におけるイメージ間のそれぞれ
    の第１のタイプの変換と（ｉｉ）該ペアの各々のイメー
    ジ間のそれぞれの第２のタイプの変換とを表し、該第２
    の入力信号はイメージ内のマッチした特徴を表し、 （ａ）前記第１の入力信号において表されるイメージ間
    の変換のそれぞれの組み合わせの各々について、第２の
    入力信号において表されるマッチング特徴を用いて全イ
    メージ間の変換を計算する手段と、 （ｂ）計算された変換のうち最も正確なものを選択する
    手段とを備えることを特徴とする画像処理装置。
  42. 【請求項４２】 第１乃至第４の入力信号を処理して全
    イメージ間の変換を表す信号を生成するする画像処理装
    置であって、ここで該第１の入力信号は、オブジェクト
    の少なくとも３つのイメージの間の変換を表し、該少な
    くとも３つのイメージは各イメージペアが他のペアのう
    ちの一つのイメージを含むようにペアが構成されてお
    り、該第２の入力信号は前記少なくとも３つのイメージ
    の一つと更に他のイメージとの間の第１のタイプの変換
    を表し、該第３の入力信号は前記少なくとも３つのイメ
    ージの前記一つと該更なる他のイメージとの間の第２の
    タイプの変換を表し、該第４の入力信号はイメージにお
    いてマッチした特徴を表し、該装置は、 （ａ）前記第１、第２及び第４の入力信号を用いて全イ
    メージ間の変換を計算する手段と、 （ｂ）前記第１、第３及び第４の入力信号を用いて全イ
    メージ間の変換を計算する手段と、 （ｃ）計算された変換のうち最も正確なものを選択する
    手段とを備えることを特徴とする画像処理装置。
  43. 【請求項４３】 第１乃至第３の入力信号を処理して全
    イメージ間の変換を表す信号を生成する画像処理装置で
    あって、該第１の入力信号は、少なくとも２つのオブジ
    ェクトイメージ間の変換を表し、該第２の入力信号は前
    記少なくとも２つのイメージのうちの第１のイメージを
    含む少なくとも３つのオブジェクトイメージと更なる２
    つのオブジェクトイメージとの間の複数の変換を表し、
    該少なくとも２つのイメージのうちの該第１のイメージ
    と該更なる２つのイメージは各イメージペアが他のペア
    のうちの一つのイメージを含むようにペアに構成されて
    おり、該第２の入力信号は、（ｉ）各ペアにおけるイメ
    ージ間のそれぞれの第１のタイプの変換と（ｉｉ）該ペ
    アの各々のイメージ間のそれぞれの第２のタイプの変換
    とを表し、該第３の入力信号はイメージ内のマッチした
    特徴を表し、 （ａ）前記第１と第２の入力信号において表されるイメ
    ージ間の変換のそれぞれの組み合わせの各々について、
    マッチング特徴を用いて全イメージ間の変換を計算する
    手段と、 （ｂ）計算された変換のうち最も正確なものを選択する
    手段とを備えることを特徴とする画像処理装置。
  44. 【請求項４４】 請求項４１乃至４３のいずれかに記載
    の装置であって、 前記第１のタイプの変換はアフィン変換であり、前記第
    ２のタイプの変換はパースペクティブ変換である。
  45. 【請求項４５】 各イメージペアが他のペアのうちの一
    つのイメージを含むようにペアが構成された少なくとも
    ３つのオブジェクトイメージの間の変換を計算するため
    の画像処理装置であって、全イメージの間の変換を決定
    するために、各ペアにおけるイメージ間の少なくとも一
    つの変換を表す信号が、ペアのイメージ間について前記
    入力信号によって表されるそれぞれの変換の組み合わせ
    に対して処理され、最も正確な変換が選択される。
  46. 【請求項４６】 プログラマブルな処理装置に、請求項
    １乃至２５のいずれかに記載の方法を実行させるための
    命令を格納する格納装置。
  47. 【請求項４７】 プログラマブルな処理装置に、請求項
    １乃至２５のいずれかに記載の方法を実行させるための
    信号。
  48. 【請求項４８】 第１及び第２のマッチングテクニック
    を用いて、未知のカメラ位置から撮られたオブジェクト
    の第１及び第２のイメージにおいてマッチした特徴を表
    す複数の特徴ペアを表す入力信号を処理するためのプロ
    セッサを有する画像処理装置において、前記カメラ位置
    の関係を表す信号を生成するべく前記入力信号を処理す
    る方法であって、 （ａ）前記カメラ位置の関係を計算するために、前記第
    １のマッチングテクニックによってマッチした特徴ペア
    を、少なくともいくらかの拡張を有して、用いるステッ
    プと、 （ｂ）前記カメラ位置の関係を計算するために、（ｉ）
    前記第２のマッチングテクニックによってマッチされた
    特徴ペアか、（ｉｉ）前記第１のマッチングテクニック
    によってマッチされた特徴ペアと前記第２のマッチング
    テクニックによってマッチされた特徴ペア、のいずれか
    を、少なくともいくらかの拡張を有して、用いるステッ
    プと、 （ｃ）計算された関係が最も正確なものを選択するステ
    ップとを備えることを特徴とする画像処理方法。
  49. 【請求項４９】 請求項４８に記載の方法であって、 前記ステップ（ａ）及び（ｂ）の各々において、前記カ
    メラ位置の間のパースペクティブ関係が計算される。
  50. 【請求項５０】 請求項４８に記載の方法であって、 前記ステップ（ａ）及び（ｂ）の各々において、前記カ
    メラ位置の間のアフィン関係が計算される。
  51. 【請求項５１】 請求項４８乃至５０のいずれかに記載
    の方法であって、 前記ステップ（ａ）及び（ｂ）の各々が、前記第１のマ
    ッチングテクニックによってマッチした特徴ペアと前記
    第２マッチングテクニックによってマッチした特徴ペア
    とを用いて、前記計算された関係ををテストするステッ
    プを更に備える。
  52. 【請求項５２】 請求項４８乃至５２のいずれかに記載
    の方法であって、 前記ステップ（ａ）及び（ｂ）の各々において、前記カ
    メラ位置の計算に関して用いられた特徴ペアがランダム
    にもしくは擬似的にランダムに選択される。
  53. 【請求項５３】 請求項４８乃至５２のいずれかに記載
    の方法であって、 前記マッチングテクニックの一つによってマッチされた
    特徴ペアはユーザによってマッチされたものであり、他
    のマッチングテクニックによってマッチされた特徴ペア
    は画像処理装置によってマッチされたものである。
  54. 【請求項５４】 請求項４８乃至５３のいずれかに記載
    の方法であって、 前記入力信号を生成するために、前記オブジェクトのイ
    メージを表すイメージデータを処理するステップを更に
    備える。
  55. 【請求項５５】 請求項４８乃至５４のいずれかに記載
    の方法であって、 前記特徴ペアはポイントペアを備える。
  56. 【請求項５６】 請求項４８乃至５５のいずれかに記載
    の方法であって、 ３次元空間における前記オブジェクトのモデルを表すオ
    ブジェクトデータを生成するためのに、前記入力信号
    と、前記カメラ位置の関係を表す信号とを処理するステ
    ップを更に備える。
  57. 【請求項５７】 請求項５６に記載の方法であって、 イメージデータを生成するために前記オブジェクトデー
    タを処理するステップを更に備える。
  58. 【請求項５８】 請求項５７に記載の方法であって、 前記オブジェクトのイメージを表示するステップを更に
    備える。
  59. 【請求項５９】 請求項５７又は５８に記載の方法であ
    って、 前記め一時データを記録するステップを更に疎なる。
  60. 【請求項６０】 請求項５６乃至５９のいずれかに記載
    の方法であって、 前記オブジェクトデータを運ぶ信号を伝送するステップ
    を更に備える。
  61. 【請求項６１】 請求項５６乃至６０のいずれかに記載
    の方法であって、 前記オブジェクトデータを記録するステップを更に備え
    る。
  62. 【請求項６２】 画像処理装置を稼動させて、未知のイ
    メージング位置からとられた第１及び第２のイメージに
    おいて第１のマッチングテクニックによってマッチされ
    たオブジェクト特徴を表す第１の信号と、第２の信号を
    用いて前記第１及び第２のイメージにおいてマッチした
    オブジェクト特徴を表す第２の信号とを処理させて、イ
    メージ間の位置的関係を決定させる方法であって、 （ａ）前記イメージ間の関係を決定するために前記第１
    の入力信号を処理するステップと、 （ｂ）前記イメージ間の関係を決定するために前記第２
    の入力信号を処理するステップと、 （ｃ）決定された関係で最も正確なものを選択するステ
    ップとを備えることを特徴とする画像処理方法。
  63. 【請求項６３】 請求項６２に記載の方法であって、 前記ステップ（ｂ）において、前記イメージ間の関係を
    決定するために前記第１の入力信号と前記第２の入力信
    号が処理される。
  64. 【請求項６４】 第１及び第２のマッチングテクニック
    を用いて、未知のカメラ位置から撮られたオブジェクト
    の第１及び第２のイメージにおいてマッチした特徴を表
    す複数の特徴ペアを表す入力信号を処理して、前記カメ
    ラ位置の関係を表す信号を生成する画像処理装置であっ
    て、 （ａ）前記カメラ位置の関係を計算するために、前記第
    １のマッチングテクニックによってマッチした特徴ペア
    を、少なくともいくらかの拡張を有して、用いる手段
    と、 （ｂ）前記カメラ位置の関係を計算するために、（ｉ）
    前記第２のマッチングテクニックによってマッチされた
    特徴ペアか、（ｉｉ）前記第１のマッチングテクニック
    によってマッチされた特徴ペアと前記第２のマッチング
    テクニックによってマッチされた特徴ペア、のいずれか
    を、少なくともいくらかの拡張を有して、用いる手段
    と、 （ｃ）計算された関係が最も正確なものを選択する手段
    とを備えることを特徴とする画像処理装置。
  65. 【請求項６５】 請求項６４に記載の装置であって、 前記手段（ａ）及び（ｂ）の各々において、前記カメラ
    位置の間のパースペクティブ関係が計算される。
  66. 【請求項６６】 請求項６４に記載の装置であって、 前記手段（ａ）及び（ｂ）の各々において、前記カメラ
    位置の間のアフィン関係が計算される。
  67. 【請求項６７】 請求項６４乃至６６のいずれかに記載
    の装置であって、 前記手段（ａ）及び（ｂ）の各々が、前記第１のマッチ
    ングテクニックによってマッチした特徴ペアと前記第２
    マッチングテクニックによってマッチした特徴ペアとを
    用いて、前記計算された関係ををテストする手段を更に
    備える。
  68. 【請求項６８】 請求項６４乃至６７のいずれかに記載
    の装置であって、 前記手段（ａ）及び（ｂ）の各々において、前記カメラ
    位置の計算に関して用いられた特徴ペアがランダムにも
    しくは擬似的にランダムに選択される。
  69. 【請求項６９】 請求項６４乃至６８のいずれかに記載
    の装置であって、 前記マッチングテクニックの一つによってマッチされた
    特徴ペアはユーザによってマッチされたものであり、他
    のマッチングテクニックによってマッチされた特徴ペア
    は画像処理装置によってマッチされたものである。
  70. 【請求項７０】 請求項６４乃至６９のいずれかに記載
    の装置であって、 前記入力信号を生成するために、前記オブジェクトのイ
    メージを表すイメージデータを処理する手段を更に備え
    る。
  71. 【請求項７１】 請求項６４乃至６９のいずれかに記載
    の装置であって、 前記特徴ペアはポイントペアを備える。
  72. 【請求項７２】 請求項６４乃至７１のいずれかに記載
    の装置であって、 ３次元空間における前記オブジェクトのモデルを表すオ
    ブジェクトデータを生成するためのに、前記入力信号
    と、前記カメラ位置の関係を表す信号とを処理する手段
    を更に備える。
  73. 【請求項７３】 請求項７２に記載の装置であって、 イメージデータを生成するために前記オブジェクトデー
    タを処理する手段を更に備える。
  74. 【請求項７４】 請求項７３に記載の装置であって、 前記オブジェクトのイメージを表示する手段を更に備え
    る。
  75. 【請求項７５】 プログラマブルな処理装置に、請求項
    ４８乃至６３のいずれかに記載の方法を実行させるため
    の命令を格納する格納装置。
  76. 【請求項７６】 プログラマブルな処理装置に、請求項
    ４８乃至６３のいずれかに記載の方法を実行させるため
    の信号。
  77. 【請求項７７】 末知のカメラ位置から撮られたオブジ
    ェクトの第１及び第２イメージにおいてマッチする特徴
    を表す少なくとも８組の特徴ペアを表す入力信号を処理
    するプロセッサを有する画像処理装置において、前記カ
    メラ位置の関係を表す信号を生成するために前記入力信
    号を処理する方法であって、 （ａ）少なくとも第１の７個のマッチした特徴ペアを用
    いてｆｕｎｄａｍｅｎｔａｌ行列を計算するステップ
    と、 （ｂ）前記計算されたｆｕｎｄａｍｅｎｔａｌ行列を物
    理的実現化行列（ｐｈｙｓｉｃａｌｌｙ ｒｅａｌｉｓ
    ａｂｌｅ ｍａｔｒｉｘ）へ変換するステップと、 （ｃ）複数のマッチした特徴を用いて前記計算された物
    理的実現化行列をテストするステップと、 （ｄ）前記ステップ（ａ）で異なる７つのマッチした特
    徴ペアを用いて前記ステップ（ａ）〜（ｃ）を繰り返す
    ステップと、 （ｅ）計算された物理的実現化行列のうち最も正確なも
    のを選択するステップとを備えることを特徴とする画像
    処理方法。
  78. 【請求項７８】 請求項７７に記載の方法であって、 前記ステップ（ａ）において、前記マッチした特徴ペア
    はランダムにもしくは擬似的ランダムに選択される。
  79. 【請求項７９】 請求項７７又は７８に記載の方法であ
    って、 前記ステップ（ｃ）において、 前記計算された物理的実現化行列は前記ステップ（ａ）
    においてｆｕｎｄａｍｅｎｔａｌ行列を計算するのに用
    いたマッチした特徴ペアの各々を用いてテストされ、 前記物理的現実化行列が、所定数のマッチした特徴ペア
    に関して一貫しているならば、該物理的実現化行列は前
    記入力信号において表される他のマッチした特徴ペアに
    対してテストされる。
  80. 【請求項８０】 請求項７９に記載の方法であって、 前記所定の数は、前記ｆｕｎｄａｍｅｎｔａｌ行列を計
    算するのに用いられたマッチした特徴ペアの全てを含む
    数である。
  81. 【請求項８１】 請求項７７乃至８０のいずれかに記載
    の方法であって、 前記ステップ（ｃ）において、前記計算された物理的実
    現化行列は前記入力信号において表されるマッチした特
    徴ペアを用いてテストされる。
  82. 【請求項８２】 請求項７７乃至８１のいずれかに記載
    の方法であって、 前記ステップ（ｄ）において、前記ステップ（ａ）から
    （ｃ）は複数回繰り返され、その繰り返し回数は、前記
    入力信号において表される特徴ペアの数に従って決定さ
    れる。
  83. 【請求項８３】 請求項８２に記載の方法であって、 前記ステップ（ａ）から（ｃ）の繰り返し回数は、前記
    ステップ（ａ）においてｆｕｎｄａｍｅｎｔａｌ行列を
    計算するために用いられた、前記入力信号において表さ
    れる特徴ペアから選択され得る、特徴ペアの数より得ら
    れることなる組み合わせの最大数のあるパーセンテージ
    である。
  84. 【請求項８４】 請求項８２又は８３に記載の方法であ
    って、 ステップ（ｃ）において、先行する所定回数の繰り返し
    で前記計算された物理的実現化行列の正確さが向上して
    いないと判断された場合、前記ステップ（ｄ）におい
    て、前記ステップ（ａ）〜（ｃ）の前記繰り返しを終了
    する。
  85. 【請求項８５】 請求項７７乃至８４のいずれかに記載
    の方法であって、 前記入力信号は、第１のマッチングテクニックを用いて
    特定された少なくとも８ペアのマッチング特徴と、第２
    のマッチングテクニックを用いて特定された少なくとも
    １ペアのマッチング特徴とを表し、前記方法は、 （ｉ）ステップ（ａ）から（ｅ）を実行し、前記第１の
    マッチングテクニックでもって特定されたものからステ
    ップ（ａ）で用いられるべき特徴ペアを選択し、 （ｉｉ）ステップ（ａ）から（ｅ）を実行し、前記第１
    のマッチングテクニックでもって特定されたもの及び前
    記第２のマッチングテクニックで特定されたものからス
    テップ（ａ）で用いられるべき特徴ペアを選択し、 （ｉｉｉ）ステップ（ｉ）（ｅ）において選択された物
    理的実現化行列とステップ（ｉｉ）（ｅ）において選択
    された物理的実現化行列から、最も正確な計算された物
    理的実現化行列を選択する。
  86. 【請求項８６】 請求項７７乃至８４のいずれかに記載
    の方法であって、 前記入力信号は、第１のマッチングテクニックを用いて
    特定された少なくとも８ペアのマッチング特徴と、第２
    のマッチングテクニックを用いて特定された少なくとも
    ８ペアのマッチング特徴とを表し、前記方法は、 （ｉ）ステップ（ａ）から（ｅ）を実行し、前記第１の
    マッチングテクニックでもって特定されたものからステ
    ップ（ａ）で用いられるべき特徴ペアを選択し、 （ｉｉ）ステップ（ａ）から（ｅ）を実行し、前記第２
    のマッチングテクニックで特定されたものからステップ
    （ａ）で用いられるべき特徴ペアを選択し、 （ｉｉｉ）ステップ（ｉ）（ｅ）において選択された物
    理的実現化行列とステップ（ｉｉ）（ｅ）において選択
    された物理的実現化行列から、最も正確な計算された物
    理的実現化行列を選択する。
  87. 【請求項８７】 請求項８５又は８６に記載の方法であ
    って、 前記マッチングテクニックの一つによってマッチした特
    徴ペアは、ユーザによってマッチされたものであり、も
    う一方のマッチングテクニックによってマッチした特徴
    ペアは画像処理装置によってマッチしたものである。
  88. 【請求項８８】 請求項７７乃至８７のいずれかに記載
    の方法であって、 選択された最も正確な物理的実現化行列を回転行列と移
    動ベクトルへ変換するステップを更に備える。
  89. 【請求項８９】 請求項７７乃至８８のいずれかに記載
    の方法であって、 前記入力信号を生成するために、オブジェクトのイメー
    ジを表すイメージデータを処理するステップを更に備え
    る。
  90. 【請求項９０】 請求項７７乃至８９のいずれかに記載
    の方法であって、 前記物理的実現化行列は物理的ｆｕｎｄａｍｅｎｔａｌ
    行列を備える。
  91. 【請求項９１】 請求項７７乃至９０のいずれかに記載
    の方法であって、 前記特徴ペアはポイントペアを備える。
  92. 【請求項９２】 請求項７７乃至９１のいずれかに記載
    の方法であって、 ３次元空間における前記オブジェクトのモデルを表すオ
    ブジェクトデータを生成するために、入力信号と、カメ
    ラ位置の間の関係を表す信号を処理する。
  93. 【請求項９３】 請求項９２に記載の方法であって、 イメージデータを生成するために前記オブジェクトデー
    タを処理するステップを更に備える。
  94. 【請求項９４】 請求項９３に記載の方法であって、 前記オブジェクトを表示するステップを更に備える。
  95. 【請求項９５】 請求項９３又は９４に記載の方法であ
    って、 前記イメージデータを記録するステップを更に備える。
  96. 【請求項９６】 請求項９２乃至９５のいずれかに記載
    の方法であって、 前記オブジェクトデータを運ぶ信号を伝送するステップ
    を更に備える。
  97. 【請求項９７】 請求項９２乃至９６のいずれかに記載
    の方法であって、 前記オブジェクトデータを記録するステップを更に備え
    る。
  98. 【請求項９８】 未知のイメージングポジションから取
    られた第１及び第２のイメージにおいてマッチしたオブ
    ジェクト特徴を表す信号を処理し、イメージ間尾位置的
    関係を決定するように画像処理装置を稼動させる方法で
    あって、 （ａ）マッチした特徴を用いて非物理的実現化行列を計
    算するステップと、 （ｂ）前記比物理的実現化行列を物理的実現化行列へ変
    換するステップと、 （ｃ）前記物理的実現化行列の正確さをテストするステ
    ップと、 （ｄ）前記ステップ（ａ）から（ｃ）を繰り返すステッ
    プと、 （ｅ）最も正確な物理的実現化行列を選択するステップ
    とを備えることを特徴とする画像処理方法。
  99. 【請求項９９】 未知のカメラ位置から撮られたオブジ
    ェクトの第１及び第２イメージにおいてマッチする特徴
    を表す少なくとも８組の特徴ペアを表す入力信号を処理
    して、前記カメラ位置の関係を表す信号を生成する画像
    処理装置であって、 （ａ）少なくとも第１の７個のマッチした特徴ペアを用
    いてｆｕｎｄａｍｅｎｔａｌ行列を計算する手段と、 （ｂ）前記計算されたｆｕｎｄａｍｅｎｔａｌ行列を物
    理的実現化行列（ｐｈｙｓｉｃａｌｌｙ ｒｅａｌｉｓ
    ａｂｌｅ ｍａｔｒｉｘ）へ変換する手段と、 （ｃ）複数のマッチした特徴を用いて前記計算された物
    理的実現化行列をテストする手段と、 （ｄ）前記手段（ａ）で異なる７つのマッチした特徴ペ
    アを用いて前記手段（ａ）〜（ｃ）を繰り返す手段と、 （ｅ）計算された物理的実現化行列のうち最も正確なも
    のを選択する手段とを備えることを特徴とする画像処理
    装置。
  100. 【請求項１００】 請求項９９に記載の装置であって、 前記手段（ａ）において、前記マッチした特徴ペアはラ
    ンダムにもしくは擬似的ランダムに選択される。
  101. 【請求項１０１】 請求項９９又は１００に記載の装置
    であって、 前記手段（ｃ）は、 前記計算された物理的実現化行列を、前記手段（ａ）に
    おいてｆｕｎｄａｍｅｎｔａｌ行列を計算するのに用い
    たマッチした特徴ペアの各々を用いてテストし、 前記物理的現実化行列が、所定数のマッチした特徴ペア
    に関して一貫しているならば、該物理的実現化行列を前
    記入力信号において表される他のマッチした特徴ペアに
    対してテストする。
  102. 【請求項１０２】 請求項１０１に記載の装置であっ
    て、 前記所定の数は、前記ｆｕｎｄａｍｅｎｔａｌ行列を計
    算するのに用いられたマッチした特徴ペアの全てを含む
    数である。
  103. 【請求項１０３】 請求項９９乃至１０２のいずれかに
    記載の装置であって、 前記手段（ｃ）は、前記計算された物理的実現化行列を
    前記入力信号において表されるマッチした特徴ペアを用
    いてテストする。
  104. 【請求項１０４】 請求項９９乃至１０３のいずれかに
    記載の装置であって、 前記手段（ｄ）において、前記手段（ａ）から（ｃ）は
    複数回繰り返され、その繰り返し回数は、前記入力信号
    において表される特徴ペアの数に従って決定される。
  105. 【請求項１０５】 請求項１０４に記載の装置であっ
    て、 前記手段（ａ）から（ｃ）の繰り返し回数は、前記手段
    （ａ）においてｆｕｎｄａｍｅｎｔａｌ行列を計算する
    ために用いられた、前記入力信号において表される特徴
    ペアから選択され得る、特徴ペアの数より得られること
    なる組み合わせの最大数のあるパーセンテージである。
  106. 【請求項１０６】 請求項１０４又は１０５に記載の装
    置であって、 手段（ｃ）は、先行する所定回数の繰り返しで前記計算
    された物理的実現化行列の正確さが向上していないと判
    断された場合、前記手段（ｄ）において、前記手段
    （ａ）〜（ｃ）の前記繰り返しを終了する。
  107. 【請求項１０７】 請求項９９乃至１０６のいずれかに
    記載の装置であって、 前記入力信号は、第１のマッチングテクニックを用いて
    特定された少なくとも８ペアのマッチング特徴と、第２
    のマッチングテクニックを用いて特定された少なくとも
    １ペアのマッチング特徴とを表し、前記装置は、 （ｉ）手段（ａ）から（ｄ）を実行し、前記第１のマッ
    チングテクニックでもって特定されたものから手段
    （ａ）で用いられるべき特徴ペアを選択し、 （ｉｉ）手段（ａ）から（ｄ）を実行し、前記第１のマ
    ッチングテクニックでもって特定されたもの及び前記第
    ２のマッチングテクニックで特定されたものから手段
    （ａ）で用いられるべき特徴ペアを選択し、 （ｉｉｉ）最も正確な計算された物理的実現化行列を、
    第１及び第２の選択された物理的実現化行列より選択す
    る。
  108. 【請求項１０８】 請求項９９乃至１０６のいずれかに
    記載の装置であって、 前記入力信号は、第１のマッチングテクニックを用いて
    特定された少なくとも８ペアのマッチング特徴と、第２
    のマッチングテクニックを用いて特定された少なくとも
    ８ペアのマッチング特徴とを表し、前記装置は、 （ｉ）手段（ａ）から（ｄ）を実行し、前記第１のマッ
    チングテクニックでもって特定されたものから手段
    （ａ）で用いられるべき特徴ペアを選択し、 （ｉｉ）手段（ａ）から（ｄ）を実行し、前記第２のマ
    ッチングテクニックで特定されたものから手段（ａ）で
    用いられるべき特徴ペアを選択し、 （ｉｉｉ）最も正確な計算された物理的実現化行列を、
    第１及び第２の選択された物理的実現化行列より選択す
    る。
  109. 【請求項１０９】 請求項１０７又は１０８に記載の装
    置であって、 前記マッチングテクニックの一つによってマッチした特
    徴ペアは、ユーザによってマッチされたものであり、も
    う一方のマッチングテクニックによってマッチした特徴
    ペアは画像処理装置によってマッチしたものである。
  110. 【請求項１１０】 請求項９９乃至１０９のいずれかに
    記載の装置であって、 選択された最も正確な物理的実現化行列を回転行列と移
    動ベクトルへ変換する手段を更に備える。
  111. 【請求項１１１】 請求項９９乃至１１０のいずれかに
    記載の装置であって、 前記入力信号を生成するために、オブジェクトのイメー
    ジを表すイメージデータを処理する手段を更に備える。
  112. 【請求項１１２】 請求項９９乃至１１１のいずれかに
    記載の装置であって、 前記物理的実現化行列は物理的ｆｕｎｄａｍｅｎｔａｌ
    行列を備える。
  113. 【請求項１１３】 請求項９９乃至１１２のいずれかに
    記載の装置であって、 前記特徴ペアはポイントペアを備える。
  114. 【請求項１１４】 請求項９９乃至１１３のいずれかに
    記載の装置であって、 ３次元空間における前記オブジェクトのモデルを表すオ
    ブジェクトデータを生成するために、入力信号と、カメ
    ラ位置の間の関係を表す信号を処理する。
  115. 【請求項１１５】 請求項１１４に記載の装置であっ
    て、 イメージデータを生成するために前記オブジェクトデー
    タを処理する手段を更に備える。
  116. 【請求項１１６】 請求項１１５に記載の装置であっ
    て、 前記オブジェクトを表示する手段を更に備える。
  117. 【請求項１１７】 プログラマブルな処理装置に、請求
    項７７乃至９８のいずれかに記載の方法を実行させるた
    めの命令を格納する格納装置。
  118. 【請求項１１８】 プログラマブルな処理装置に、請求
    項７７乃至９８のいずれかに記載の方法を実行させるた
    めの信号。
  119. 【請求項１１９】 異なるカメラ位置から撮られたオブ
    ジェクトの少なくとも３つのイメージの各々においてマ
    ッチする少なくとも２つのポイントを表す第１の入力信
    号と、カメラ位置を表す第２の入力信号とを処理するプ
    ロセッサを有する画像処理装置において、３次元空間に
    おいてオブジェクト上のポイントを表す信号を生成する
    ために前記入力信号を処理する方法であって、 （ａ）第１のイメージペアにおいてマッチしたポイント
    の各々について、そのペアの一つのイメージにおけるポ
    イントとそのペアの他のイメージにおけるポイントとを
    用いて３次元空間におけるポイントを計算するステップ
    と、 （ｂ）第２のイメージペアにおいてマッチしたポイント
    の各々について、そのペアの一つのイメージにおけるポ
    イントとそのペアの他のイメージにおけるポイントとを
    用いて３次元空間におけるポイントを計算するステップ
    と、 （ｃ）各イメージにおいてマッチしたポイントの各々に
    ついて、３次元空間における単一ポイントと関連する位
    置エラーとを計算するステップと、ここで、各単一ポイ
    ントはステップ（ａ）で生成されたポイントとステップ
    （ｂ）で生成されたポイントとに依存して、対応するマ
    ッチしたイメージポイントから計算され、 （ｄ）ステップ（ｃ）において生成された単一ポイント
    とそれらに関連する位置エラーとを処理して、前記オブ
    ジェクト上の同一のポイントを表す単一ポイントがある
    かどうかを判断するステップと、 （ｅ）前記オブジェクトの同一ポイントを表す単一ポイ
    ントを処理し、前記３次元空間における一つのポイント
    とするステップとを備えることを特徴とする画像処理方
    法。
  120. 【請求項１２０】 請求項１１９に記載の画像処理方法
    であって、 前記ステップ（ａ）及びステップ（ｂ）において、前記
    ３次元空間における各ポイントは、 前記ペアの第１のイメージ内のポイントから該第１のイ
    メージに対するカメラの概念的な光学中心を通る光線を
    投射し、 前記ペアの第２のイメージ内のポイントから該第２のイ
    メージに対するカメラの概念的な光学中心を通る光線を
    投射し、 前記投射された光線の両方に直角を成すラインの中央ポ
    イントを計算することにより計算される。
  121. 【請求項１２１】 請求項１１９又は１２０に記載の方
    法であって、 ステップ（ｃ）において、前記３次元空間における前記
    単一ポイントは、 （ｉ）ステップ（ａ）及び（ｂ）の少なくとも一つにお
    いて計算された３次元空間内の各ポイントについて位置
    エラーを計算し、 （ｉｉ）ステップ（ｉ）で計算された位置エラーに従っ
    て少なくとも１つのステップで計算されたポイントを再
    配置し、再配置されたポイントを与え、 （ｉｉｉ）再配置されたポイントと、ステップ（ａ）及
    び（ｂ）以外で、対応するマッチしたイメージポイント
    から生成された３次元空間におけるポイントとに従っ
    て、該３次元空間における各単一ポイントを計算するこ
    とにより計算される。
  122. 【請求項１２２】 請求項１２１に記載の方法であっ
    て、 前記ステップ（ｉ）が、 ステップ（ａ）において生成された３次元空間における
    ポイントの各々と、ステップ（ｂ）において、対応する
    マッチしたイメージポイントから生成されたポイントと
    の間の位置的差異を計算するステップと、 計算された、複数の位置的差異に従って、位置エラーを
    計算するステップとを備える。
  123. 【請求項１２３】 請求項１２２に記載の方法であっ
    て、 前記位置エラーは、閾値を越える位置的差異を除く、全
    ての計算された位置的差異に依存して計算される。
  124. 【請求項１２４】 請求項１２３に記載の方法であっ
    て、 前記閾値は、ステップ（ａ）及び（ｂ）において計算さ
    れた３次元空間内の空間的分散に依存して設定される。
  125. 【請求項１２５】 請求項１２１乃至１２４のいずれか
    に記載の方法であって、 前記ステップ（ｃ）において、３次元空間における前記
    単一ポイントに関連付けられる位置エラーは、各再配置
    されたポイントと、ステップ（ａ）及び（ｂ）以外にお
    いて対応するマッチしたイメージポイントから生成され
    たポイントとの３次元空間内の位置的差異に依存して計
    算される。
  126. 【請求項１２６】 請求項１２５に記載の方法であっ
    て、 前記ステップ（ｃ）において、３次元空間における前記
    単一ポイントに関連付けられた前記位置的エラーは前記
    ３次元空間における確率分布として計算される。
  127. 【請求項１２７】 請求項１２６に記載の方法であっ
    て、 前記確率分布はガウス分布である。
  128. 【請求項１２８】 請求項１２６又は１２７に記載の方
    法であって、 前記ステップ（ｉｉｉ）は、再配置されたポイントの確
    率分布と、もし存在すれば、ステップ（ａ）及び（ｂ）
    以外において対応するマッチしたイメージポイントから
    生成された３次元空間のポイントの確率分布とを組み合
    わせることにより３次元空間における単一ポイントの各
    々を計算するステップを備える。
  129. 【請求項１２９】 請求項１２６乃至１２８のいずれか
    に記載の方法であって、ステップ（ｄ）において、前記
    単一ポイントの第１のポイントが第２のポイントから所
    定距離以内にある場合、前記第１のポイントは前記オブ
    ジェクト上で前記第２のポイントと同じポイントを表す
    と決定し、該所定距離は前記第２のポイントの位置エラ
    ーの確率分布に依存する。
  130. 【請求項１３０】 請求項１２９に記載の方法であっ
    て、 前記所定距離は、前記第２のポイントの確率分布におけ
    るマハラノビス距離である。
  131. 【請求項１３１】 請求項１１９乃至１３０のいずれか
    に記載の方法であって、ステップ（ｅ）において、前記
    ２次元空間における前記１つのポイントが、前記オブジ
    ェクト上の同一のポイントを表す全ての単一ポイントと
    それらに関連付けられた位置エラーに依存して計算され
    る。
  132. 【請求項１３２】 請求項１１９乃至１３１のいずれか
    に記載の方法であって、 前記第１の入力信号を生成するために、前記オブジェク
    トを表すイメージデータを処理するステップを更に備え
    る。
  133. 【請求項１３３】 請求項１１９乃至１３２のいずれか
    に記載の方法であって、 前記第１の入力信号を処理して前記第２の入力信号を生
    成するステップを更に備える。
  134. 【請求項１３４】 請求項１１９乃至１３３のいずれか
    に記載の方法であって、 イメージデータを生成するために、前記オブジェクト上
    のポイントを表す３次元空間内のポイントを表す信号を
    処理するステップを更に備える。
  135. 【請求項１３５】 請求項１３４に記載の方法であっ
    て、 前記オブジェクトのイメージを表示するステップを更に
    備える。
  136. 【請求項１３６】 請求項１３４又は１３５に記載の方
    法であって、 前記イメージデータを記録するステップを更に備える。
  137. 【請求項１３７】 請求項１１９乃至１３６のいずれか
    に記載の方法であって、 前記オブジェクト上のポイントを表す３次元空間内のポ
    イントを表す信号を伝送するステップを更に備える。
  138. 【請求項１３８】 請求項１１９乃至１３７のいずれか
    に記載の方法であって、 前記オブジェクト上のポイントを表す３次元空間内のポ
    イントを表す信号を記録するステップを更に備える。
  139. 【請求項１３９】 オブジェクトの第１、第２及び第３
    のイメージの各々におけるポイントを備えた第１の複数
    ポイントを表す第１の入力信号と、オブジェクトの第
    １、第２及び第３のイメージの各々における他のポイン
    トを含む第２の複数ポイントを表す第２の入力信号と、
    第１、第２及び第３のイメージが記録された位置の間の
    関係を表す第３の入力信号とを処理し、３次元空間にお
    いて該オブジェクト上のポイントを表すポイントを決定
    するように画像処理装置を稼動させる方法であって、 前記第１及び第３の入力信号を処理して、前記第１及び
    第２のイメージ内のポイントに基づいて前記３次元空間
    における第１のポイントを決定し、前記第２及び第３の
    イメージにおけるポイントに基づいて前記３次元空間に
    おける第２のポイントを決定するステップと、 前記第２及び第３の入力信号を処理して、前記第１及び
    第２のイメージ内の更なるポイントに基づいて前記３次
    元空間における第３のポイントを決定し、前記第２及び
    第３のイメージにおける更なるポイントに基づいて前記
    ３次元空間における第４のポイントを決定するステップ
    と、 前記３次元空間における前記第１及び第２のポイントに
    依存して第５のポイントを決定するステップと、 前記３次元空間における前記第３及び第４のポイントに
    依存して第６のポイントを決定するステップと、 前記３次元空間における前記第５及び第６ポイントが前
    記オブジェクトの同一のポイントを表すかどうかを判断
    し、もしそうであれば、該第５及び第６ポイントに依存
    して前記３次元空間における第７のポイントを決定す
    る。
  140. 【請求項１４０】 異なるカメラ位置から撮られたオブ
    ジェクトの少なくとも３つのイメージの各々においてマ
    ッチする少なくとも２つのポイントを表す第１の入力信
    号と、カメラ位置を表す第２の入力信号とを処理して、
    ３次元空間においてオブジェクト上のポイントを表す信
    号を生成する画像処理装置であって、、 （ａ）第１のイメージペアにおいてマッチしたポイント
    の各々について、そのペアの一つのイメージにおけるポ
    イントとそのペアの他のイメージにおけるポイントとを
    用いて３次元空間におけるポイントを計算する手段と、 （ｂ）第２のイメージペアにおいてマッチしたポイント
    の各々について、そのペアの一つのイメージにおけるポ
    イントとそのペアの他のイメージにおけるポイントとを
    用いて３次元空間におけるポイントを計算する手段と、 （ｃ）各イメージにおいてマッチしたポイントの各々に
    ついて、３次元空間における単一ポイントと関連する位
    置エラーとを計算する手段と、ここで、各単一ポイント
    は手段（ａ）で生成されたポイントと手段（ｂ）で生成
    されたポイントとに依存して、対応するマッチしたイメ
    ージポイントから計算され、 （ｄ）手段（ｃ）において生成された単一ポイントとそ
    れらに関連する位置エラーとを処理して、前記オブジェ
    クト上の同一のポイントを表す単一ポイントがあるかど
    うかを判断する手段と、 （ｅ）前記オブジェクトの同一ポイントを表す単一ポイ
    ントを処理し、前記３次元空間における一つのポイント
    とする手段とを備えることを特徴とする画像処理装置。
  141. 【請求項１４１】 請求項１４０に記載の装置であっ
    て、 前記手段（ａ）及び手段（ｂ）は、 前記ペアの第１のイメージ内のポイントから該第１のイ
    メージに対するカメラの概念的な光学中心を通る光線を
    投射し、 前記ペアの第２のイメージ内のポイントから該第２のイ
    メージに対するカメラの概念的な光学中心を通る光線を
    投射し、 前記投射された光線の両方に直角を成すラインの中央ポ
    イントを計算することにより、前記３次元空間における
    各ポイントを計算する。
  142. 【請求項１４２】 請求項１４０又は１４１に記載の装
    置であって、 前記手段（ｃ）は、 （ｉ）手段（ａ）及び（ｂ）の少なくとも一つにおいて
    計算された３次元空間内の各ポイントについて位置エラ
    ーを計算し、 （ｉｉ）手段（ｉ）で計算された位置エラーに従って少
    なくとも１つの手段で計算されたポイントを再配置し、
    再配置されたポイントを与え、 （ｉｉｉ）再配置されたポイントと、手段（ａ）及び
    （ｂ）以外で、対応するマッチしたイメージポイントか
    ら生成された３次元空間におけるポイントとに従って、
    該３次元空間における各単一ポイントを計算することに
    より、前記３次元空間における前記単一ポイントを計算
    する。
  143. 【請求項１４３】 請求項１４２に記載の装置であっ
    て、 前記ステップ（ｉ）が、 手段（ａ）において生成された３次元空間におけるポイ
    ントの各々と、手段（ｂ）において、対応するマッチし
    たイメージポイントから生成されたポイントとの間の位
    置的差異を計算し、 計算された、複数の位置的差異に従って、位置エラーを
    計算する。
  144. 【請求項１４４】 請求項１４３に記載の装置であっ
    て、 前記位置エラーは、閾値を越える位置的差異を除く、全
    ての計算された位置的差異に依存して計算される。
  145. 【請求項１４５】 請求項１４４に記載の装置であっ
    て、 前記閾値は、手段（ａ）及び（ｂ）において計算された
    ３次元空間内の空間的分散に依存して設定される。
  146. 【請求項１４６】 請求項１４２乃至１４５のいずれか
    に記載の装置であって、 前記手段（ｃ）は、３次元空間における前記単一ポイン
    トに関連付けられる位置エラーを、各再配置されたポイ
    ントと、手段（ａ）及び（ｂ）以外において対応するマ
    ッチしたイメージポイントから生成されたポイントとの
    ３次元空間内の位置的差異に依存して計算する。
  147. 【請求項１４７】 請求項１４６に記載の装置であっ
    て、 前記手段（ｃ）は、３次元空間における前記単一ポイン
    トに関連付けられた前記位置的エラーを前記３次元空間
    における確率分布として計算する。
  148. 【請求項１４８】 請求項１４７に記載の装置であっ
    て、 前記確率分布はガウス分布である。
  149. 【請求項１４９】 請求項１４７又は１４８に記載の装
    置であって、 前記ステップ（ｉｉｉ）は、再配置されたポイントの確
    率分布と、もし存在すれば、手段（ａ）及び（ｂ）以外
    において対応するマッチしたイメージポイントから生成
    された３次元空間のポイントの確率分布とを組み合わせ
    ることにより３次元空間における単一ポイントの各々を
    計算するステップを備える。
  150. 【請求項１５０】 請求項１４７乃至１４９のいずれか
    に記載の装置であって、手段（ｄ）は、前記単一ポイン
    トの第１のポイントが第２のポイントから所定距離以内
    にある場合、前記第１のポイントは前記オブジェクト上
    で前記第２のポイントと同じポイントを表すと決定し、
    該所定距離は前記第２のポイントの位置エラーの確率分
    布に依存する。
  151. 【請求項１５１】 請求項１５０に記載の装置であっ
    て、 前記所定距離は、前記第２のポイントの確率分布におけ
    るマハラノビス距離である。
  152. 【請求項１５２】 請求項１４０乃至１５１のいずれか
    に記載の装置であって、手段（ｅ）は、前記２次元空間
    における前記１つのポイントを、前記オブジェクト上の
    同一のポイントを表す全ての単一ポイントとそれらに関
    連付けられた位置エラーに依存して計算する。
  153. 【請求項１５３】 請求項１４０乃至１５２のいずれか
    に記載の装置であって、 前記第１の入力信号を生成するために、前記オブジェク
    トを表すイメージデータを処理する手段を更に備える。
  154. 【請求項１５４】 請求項１４０乃至１５３のいずれか
    に記載の装置であって、 前記第１の入力信号を処理して前記第２の入力信号を生
    成する手段を更に備える。
  155. 【請求項１５５】 請求項１４０乃至１５４のいずれか
    に記載の装置であって、 イメージデータを生成するために、前記オブジェクト上
    のポイントを表す３次元空間内のポイントを表す信号を
    処理する手段を更に備える。
  156. 【請求項１５６】 請求項１５５に記載の装置であっ
    て、 前記オブジェクトのイメージを表示する手段を更に備え
    る。
  157. 【請求項１５７】 プログラマブルな処理装置に、請求
    項１１９乃至１３９のいずれかに記載の方法を実行させ
    るための命令を格納する格納装置。
  158. 【請求項１５８】 プログラマブルな処理装置に、請求
    項１１９乃至１３９のいずれかに記載の方法を実行させ
    るための信号。
JP10222178A 1997-08-05 1998-08-05 画像処理装置 Withdrawn JPH11167628A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
GB9716504.7 1997-08-05
GB9716517.9 1997-08-05
GBGB9716517.9A GB9716517D0 (en) 1997-08-05 1997-08-05 Image processing apparatus
GBGB9716504.7A GB9716504D0 (en) 1997-08-05 1997-08-05 Image processing apparatus
GBGB9716514.6A GB9716514D0 (en) 1997-08-05 1997-08-05 Image processing apparatus
GB9716502.1 1997-08-05
GB9716514.6 1997-08-05
GBGB9716502.1A GB9716502D0 (en) 1997-08-05 1997-08-05 Image processing apparatus

Publications (1)

Publication Number Publication Date
JPH11167628A true JPH11167628A (ja) 1999-06-22

Family

ID=27451685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10222178A Withdrawn JPH11167628A (ja) 1997-08-05 1998-08-05 画像処理装置

Country Status (3)

Country Link
US (1) US6516099B1 (ja)
EP (1) EP0901105A1 (ja)
JP (1) JPH11167628A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000283719A (ja) * 1999-03-29 2000-10-13 Oki Electric Ind Co Ltd 物体の位置測定方法及び装置並びに物体の位置測定方法のプログラムを記録した記録媒体
KR101428467B1 (ko) * 2013-07-03 2014-08-12 연세대학교 산학협력단 자동화된 4ｄ 캐드 건설 공정 모델 갱신 방법 및 장치

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647146B1 (en) * 1997-08-05 2003-11-11 Canon Kabushiki Kaisha Image processing apparatus
US7050624B2 (en) * 1998-12-04 2006-05-23 Nevengineering, Inc. System and method for feature location and tracking in multiple dimensions including depth
US7016595B1 (en) * 1999-05-28 2006-03-21 Nikon Corporation Television set capable of controlling external device and image storage controlled by television set
EP1063614A3 (en) * 1999-06-22 2002-05-29 Infiniteface.Com Inc. Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium
KR20010089664A (ko) * 1999-10-21 2001-10-08 요트.게.아. 롤페즈 3차원 모델링 시스템 및 방법
GB9927678D0 (en) 1999-11-23 2000-01-19 Canon Kk Image processing apparatus
US6975755B1 (en) 1999-11-25 2005-12-13 Canon Kabushiki Kaisha Image processing method and apparatus
US6970591B1 (en) 1999-11-25 2005-11-29 Canon Kabushiki Kaisha Image processing apparatus
US6957177B1 (en) * 1999-12-10 2005-10-18 Microsoft Corporation Geometric model database for use in ubiquitous computing
US6990228B1 (en) 1999-12-17 2006-01-24 Canon Kabushiki Kaisha Image processing apparatus
US6980690B1 (en) 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US6798923B1 (en) * 2000-02-04 2004-09-28 Industrial Technology Research Institute Apparatus and method for providing panoramic images
JP2001268594A (ja) * 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
JP3766578B2 (ja) * 2000-03-17 2006-04-12 ペンタックス株式会社 写真測量用画像処理装置およびこの写真測量用画像処理装置を用いた写真測量方法
GB2368117A (en) * 2000-05-08 2002-04-24 Neutral Ltd Optical viewing arrangement
US6771810B1 (en) * 2000-06-16 2004-08-03 Microsoft Corporation System and method for estimating the epipolar geometry between images
GB0023681D0 (en) * 2000-09-27 2000-11-08 Canon Kk Image processing apparatus
US7987186B1 (en) * 2000-11-06 2011-07-26 Navteq North America, Llc Method and system for wavelet-based representation and use of cartographic data
MXPA01012613A (es) * 2000-12-07 2003-08-20 Visteon Global Tech Inc Metodo para calibrar un modelo matematico.
US20020094134A1 (en) * 2001-01-12 2002-07-18 Nafis Christopher Allen Method and system for placing three-dimensional models
US20020164067A1 (en) * 2001-05-02 2002-11-07 Synapix Nearest neighbor edge selection from feature tracking
JP4877891B2 (ja) * 2001-08-03 2012-02-15 株式会社トプコン 校正用被写体
US7068274B2 (en) * 2001-08-15 2006-06-27 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
US7054491B2 (en) * 2001-11-16 2006-05-30 Stmicroelectronics, Inc. Scalable architecture for corresponding multiple video streams at frame rate
US6915310B2 (en) * 2002-03-28 2005-07-05 Harris Corporation Three-dimensional volumetric geo-spatial querying
US6701006B2 (en) 2002-06-26 2004-03-02 Nextengine, Inc. Apparatus and method for point cloud assembly
US6833811B2 (en) 2002-10-07 2004-12-21 Harris Corporation System and method for highly accurate real time tracking and location in three dimensions
GB2394873B (en) * 2002-10-29 2005-12-28 Canon Europa Nv Apparatus and method for generating texture maps for use in 3D computer graphics
GB2398469B (en) * 2003-02-12 2005-10-26 Canon Europa Nv Image processing apparatus
GB2400288B (en) * 2003-04-02 2005-12-28 Canon Europa Nv Generating texture maps for use in 3D computer graphics
US8064684B2 (en) * 2003-04-16 2011-11-22 Massachusetts Institute Of Technology Methods and apparatus for visualizing volumetric data using deformable physical object
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
GB2406252B (en) * 2003-09-18 2008-04-02 Canon Europa Nv Generation of texture maps for use in 3d computer graphics
US20050285947A1 (en) * 2004-06-21 2005-12-29 Grindstaff Gene A Real-time stabilization
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US7565029B2 (en) * 2005-07-08 2009-07-21 Seiko Epson Corporation Method for determining camera position from two-dimensional images that form a panorama
DE102006048166A1 (de) * 2006-08-02 2008-02-07 Daimler Ag Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
US20080089577A1 (en) * 2006-10-11 2008-04-17 Younian Wang Feature extraction from stereo imagery
CN101377851A (zh) * 2007-08-29 2009-03-04 鸿富锦精密工业（深圳）有限公司 点云到点云的最近距离计算系统及方法
US8036468B2 (en) * 2007-12-24 2011-10-11 Microsoft Corporation Invariant visual scene and object recognition
US9172940B2 (en) * 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
KR20120011653A (ko) * 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
JP2012075088A (ja) * 2010-09-03 2012-04-12 Pentax Ricoh Imaging Co Ltd 画像処理システムおよび画像処理方法
US20140015924A1 (en) * 2010-10-07 2014-01-16 Sungevity, Inc. Rapid 3D Modeling
US8600192B2 (en) 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US9124873B2 (en) 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
JP5625976B2 (ja) * 2011-02-09 2014-11-19 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにプログラム
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8447116B2 (en) * 2011-07-22 2013-05-21 Honeywell International Inc. Identifying true feature matches for vision based navigation
US9236024B2 (en) 2011-12-06 2016-01-12 Glasses.Com Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
CN102609983B (zh) * 2012-01-20 2014-07-09 华中科技大学 一种基于图像及立体视觉的闪电三维图像重建方法
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9311746B2 (en) 2012-05-23 2016-04-12 Glasses.Com Inc. Systems and methods for generating a 3-D model of a virtual try-on product
US10719967B2 (en) 2012-08-01 2020-07-21 Dreamworks Animation L.L.C. Techniques for placing masking window objects in a computer-generated scene for stereoscopic computer-animation
KR101370718B1 (ko) * 2012-10-26 2014-03-06 한국과학기술원 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치
US9552533B2 (en) * 2013-03-05 2017-01-24 Toshiba Medical Systems Corporation Image registration apparatus and method
US9542773B2 (en) * 2013-05-23 2017-01-10 Google Inc. Systems and methods for generating three-dimensional models using sensed position data
KR102161052B1 (ko) * 2013-08-27 2020-09-29 삼성전자주식회사 영상에서 객체를 분리하는 방법 및 장치.
US9235215B2 (en) 2014-04-03 2016-01-12 Honeywell International Inc. Feature set optimization in vision-based positioning
US9986155B2 (en) * 2014-09-05 2018-05-29 Htc Corporation Image capturing method, panorama image generating method and electronic apparatus
CN105044800B (zh) * 2015-05-29 2017-12-19 中国人民解放军理工大学 一种基于光学观测的雷电定位装置及方法
US9975241B2 (en) * 2015-12-03 2018-05-22 Intel Corporation Machine object determination based on human interaction
CN106296698B (zh) * 2016-08-15 2019-03-29 成都通甲优博科技有限责任公司 一种基于立体视觉的闪电三维定位方法
US9990728B2 (en) * 2016-09-09 2018-06-05 Adobe Systems Incorporated Planar region guided 3D geometry estimation from a single image
US10467768B2 (en) * 2017-04-07 2019-11-05 Intel Corporation Optical flow estimation using 4-dimensional cost volume processing
US11347816B2 (en) * 2017-12-01 2022-05-31 At&T Intellectual Property I, L.P. Adaptive clustering of media content from multiple different domains
WO2021056190A1 (en) * 2019-09-24 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Semantic-assisted multi-resolution point cloud registration
FR3113330B1 (fr) * 2020-08-10 2023-04-28 Continental Automotive Procédé d’alignement d’au moins deux images formées de points tridimensionnels
KR102242027B1 (ko) * 2020-08-28 2021-04-23 머지리티 주식회사 이미지 통합 방법 및 시스템
KR102398839B1 (ko) * 2020-12-01 2022-05-17 서울과학기술대학교 산학협력단 객체의 표면에 영상을 투영시키는 장치
WO2025034175A1 (en) * 2023-08-08 2025-02-13 Storage Sg Pte. Ltd. Method for constructing a 3-dimensional profile from at least two 2-dimensional images and system thereof
CN116863086B (zh) * 2023-09-04 2023-11-24 武汉国遥新天地信息技术有限公司 一种光学动作捕捉系统刚体稳定重建方法
US12579802B1 (en) * 2024-01-02 2026-03-17 Gm Cruise Holdings Llc Variable compute image backbones
CN119567247B (zh) * 2024-11-15 2025-11-11 广东轻工职业技术大学 一种运动控制方法及装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3901595A (en) 1974-02-13 1975-08-26 Bendix Corp Parallel line scanning system for stereomapping
US4175862A (en) 1975-08-27 1979-11-27 Solid Photography Inc. Arrangement for sensing the geometric characteristics of an object
US4925294A (en) 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
US4654872A (en) 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
FR2553912B1 (fr) 1983-10-21 1985-12-20 Onera (Off Nat Aerospatiale) Procede et appareillage pour determiner l'attitude d'un objet dans l'espace par rapport a un poste d'observation
JPH0619243B2 (ja) 1985-09-19 1994-03-16 株式会社トプコン 座標測定方法及びその装置
US4825393A (en) 1986-04-23 1989-04-25 Hitachi, Ltd. Position measuring method
US4695156A (en) 1986-07-03 1987-09-22 Westinghouse Electric Corp. Range finding method and apparatus
GB8623718D0 (en) 1986-10-02 1986-11-05 British Aerospace Real time generation of stereo depth maps
JPH0766445B2 (ja) 1988-09-09 1995-07-19 工業技術院長 画像処理方法
US4935810A (en) 1988-10-26 1990-06-19 Olympus Optical Co., Ltd. Three-dimensional measuring apparatus
US4969106A (en) 1989-02-27 1990-11-06 Camsys, Inc. Computerized method of determining surface strain distributions in a deformed body
NL8900867A (nl) 1989-04-07 1990-11-01 Theo Jogchum Poelstra Een systeem van "beeldmeetkunde" ten behoeve van de verkrijging van digitale, 3d topografische informatie.
US5144373A (en) 1989-08-02 1992-09-01 Loral Aerospace Corp. Detection of range discontinuities in stereoscopic imagery
US5589942A (en) 1990-04-05 1996-12-31 Intelligent Automation Systems Real time three dimensional sensing system
GB9011922D0 (en) 1990-05-29 1990-07-18 Europ Vision Syst Centre Machine vision stereo matching
US5220441A (en) 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
US5390291A (en) 1990-10-05 1995-02-14 Atlantic Richfield Company Method for interpolating between two regions of a display
IT1245014B (it) 1991-01-29 1994-09-13 Dea Spa Sistema per la misura tridimensionale di superfici sculturate da matematizzare
GB2257250B (en) 1991-06-29 1995-02-01 Camera Alive Limited Photogrammetric system
GB9121646D0 (en) 1991-10-11 1991-11-27 Marconi Gec Ltd Camera systems
JP3167752B2 (ja) 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
US5519485A (en) 1992-07-31 1996-05-21 Kabushiki Kaisha Topcon Stereo image measuring apparatus
US5454069A (en) 1992-08-25 1995-09-26 University Of Kentucky Research Foundation Process for converting serial image to the sterolithography apparatus (SLA) slice file with automatic base and support generation
GB2270435A (en) 1992-09-05 1994-03-09 Ibm Stereogrammetry
US5381526A (en) 1992-09-11 1995-01-10 Eastman Kodak Company Method and apparatus for storing and retrieving generalized image data
DE69430153T2 (de) * 1993-06-21 2002-09-05 Nippon Telegraph & Telephone Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten
US5848198A (en) * 1993-10-08 1998-12-08 Penn; Alan Irvin Method of and apparatus for analyzing images and deriving binary image representations
US5598515A (en) * 1994-01-10 1997-01-28 Gen Tech Corp. System and method for reconstructing surface elements of solid objects in a three-dimensional scene from a plurality of two dimensional images of the scene
JPH07222202A (ja) 1994-02-02 1995-08-18 Rohm Co Ltd 立体ビジョンカメラ
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US5559334A (en) 1995-05-22 1996-09-24 General Electric Company Epipolar reconstruction of 3D structures
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000283719A (ja) * 1999-03-29 2000-10-13 Oki Electric Ind Co Ltd 物体の位置測定方法及び装置並びに物体の位置測定方法のプログラムを記録した記録媒体
KR101428467B1 (ko) * 2013-07-03 2014-08-12 연세대학교 산학협력단 자동화된 4ｄ 캐드 건설 공정 모델 갱신 방법 및 장치

Also Published As

Publication number Publication date
EP0901105A1 (en) 1999-03-10
US6516099B1 (en) 2003-02-04

Similar Documents

Publication Publication Date Title
JPH11167628A (ja) 画像処理装置
JPH11149558A (ja) 画像処理装置
CN118314300B (zh) 工程测量精准定位与三维建模方法及系统
US6647146B1 (en) Image processing apparatus
US6801653B1 (en) Information processing apparatus and method as well as medium
Habib et al. Automatic calibration of low-cost digital cameras
US6950550B1 (en) Tracing technique and recording media of object motion
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
US6208769B1 (en) Method of accurately locating the fractional position of a template match point
JPH1074272A (ja) ３次元形状データ処理装置
CN113223176B (zh) 多维度管道特征参数的获取方法和装置
Wang et al. Automated road sign inventory system based on stereo vision and tracking
CN120976503A (zh) 一种基于点云的多尺度的线阵相机拼接方法和系统
Tóth et al. A minimal solution for image-based sphere estimation
CN106530342B (zh) 利用激光点云辅助的可量测全景影像生成方法
JP4524514B2 (ja) 画像処理装置、画像処理方法、および記録媒体
US6961459B2 (en) Three-dimensional data processing device, three-dimensional data processing method, and program providing medium
Mohammadi et al. Selective weighted least square and piecewise bilinear transformation for accurate satellite DSM generation
GB2328355A (en) Edge detection in image processing
GB2328127A (en) Image processing apparatus
Stylianidis Measurements: Introduction to photogrammetry
US6847359B1 (en) Image processing apparatus and image capturing apparatus, which approximate object shapes using a plurality of polygon patches
CN120615201A (zh) 用于2d全景图像的深度图生成
GB2328356A (en) Overlapping edge detection in image processing
JPH10320560A (ja) 画像測定装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20051101