JPH0348977A - 移動映像装置の映像から自己運動を算出する装置およびその方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は映像形成に関するものであシ、とくに、２次元
映像系列の３次元解釈に関するものである。

更に詳しくいえば、本発明は、動いている映像形成装置
の３次元自己運動の決定に関するものである。

〔従来の技術〕

自律陸上走行車の運転を成功させるためには視覚情報が
不可欠な手掛シである。精密な慣性航行装置を用いてさ
えも、位置誤差が累積するために定期的に修正する必要
がある。未昶の環境内での運転、または捜索、救助、あ
るいは操作を含む任務作業は視覚的な帰還に非常に依存
する。

動いている物体に遭遇する時、たとえば、自律陸上車が
コンポイに追従し、他の車両に接近し、または動いてい
る脅威を検出せねばならない時Ｋ、光景の動態を評価す
ることが極めて重要となる。

自律陸上車に搭載されているカメラのような動いている
カメラの与えられている場合に対しては、環境の空間的
な配置ｆ（ｒ運動ステレオ」）と、陸上車の実際の動き
とについての重要な情報を映像の動きが供給できる。

運動分析における以前の研究は、３次元（３Ｄ）運動と
、２次元（２Ｄ）映像系列の光景構造との回復の念めの
数値的手法に主として集中されてきた。

最も一般的なやシ万は、１次方程式の系または非線方程
式の系を解くことによシ、３Ｄ構造と運動を１つの計算
過程で見積ることである。との技術はいくつかの大きな
制限があることが特徴である。

第１に、この技術はノイズに弱いことが知られている。

この問題を解決するために、何人かの研究者は多くのフ
レームをカバーする之めＫこの技術を拡張した。第２に
、この技術は、１つの硬い物体の相対的な動きと３Ｄ構
造を分析するために構成されている。映像形成装置すな
わちカメラを有する自律陸上車（ＡＬＶ）の自己運動（
ｅｇｏｍｏｔｉｏｎ）と、附随する光景の構造を見積る
ために、環境を大きな硬い物体として取扱わねばならな
い。

しかし、光景中に動いている物体が存在する可能性があ
るために、環境が硬いことは保証できない。

最良の場合に、映像化され次環境を表す刀根式系に動い
ている３Ｄ点を偶発的に含む結果が、大きい残留誤差を
示す解（運動と構造に関する）であって、ある硬くない
挙動を示す。しかし、この解単独からは運動中の点を直
ちに識別することはできない。最悪の場合（いくつかの
運動態様に対して）には、点のセット中の実際の動きの
代シに、系は厳密な解（小さい誤差がある）へ向って収
斂する。これは別の（第３の）制限を再び示す。す々わ
ち、この第３の制限というのは、ダイナミック光景解析
に固有のあいまいさと不確定性を表す適当な手段がない
ことである。上記諸問題を解決する本発明は２つの重要
な面において新規である。

光景の構造は動きの計算の単なる副産物として処理され
るのではなくて、ダイナミック光景分析のあいまいさの
いくつかを克服する次めの貴重な手段として取扱われる
。重Ｊｉ！表考えは、光景の３Ｄ構造の記述を、動きの
分析と、閉塞からの形、ステレオ、空間的な推理等のよ
うな空間知覚を取扱うその他のプロセスとの間のリンク
として用いることである。動いている光景の３Ｄ解釈は
、含まれている全てのプロセスによシ許容できるならば
、その解釈を訂正できるだけである。

第２に、数値技術は推理とモデル化の定性的戦略によっ
て大きく置き換えられる。基本的には、単一の厳密な（
ただしおそらくは正しくない）数値解に達する方程式系
を持つ代ルに、光景の多くの定量的な解釈が維持される
。現存する全ての解釈は過去において行われ九観察で一
貫して維持されている。本発明のこのやり万の主な利点
は、現在支持されている解釈が好ましくないことが判明
した時に１新しい解釈を直ちに供給できることである。

動いているカメラの環境に対するそのカメラの運動パラ
メータを一連の映像から決定するという問題は、可動ロ
ボットにおけるコンピュータ視に応用する九めに重要で
ある。ハンドル操作および制動操作のような短時間の制
御と、走行および障害物検出／回避の全てはこの情報を
効果的に利用できる作業である。

〔発明の概要〕

本発明は、連続する映像対から得た１組の変位ベクトル
からセンナ台運動の計算を取扱うものである。それは自
律ロボットおよび自律陸上車に応用することが指令され
る。観察される映像に対するカメラの回転と移動の影響
は克服される。車の針路の向きをマークする（かつセン
ｔを回転させる）膨張の「ぼやけ九」焦点（ＦＯＥ）の
新規な概念が利用される。単一点ＦＯＥを求める代シに
可能なＦＯＥ位ｔ（ｒぼやけ次ＦＯＥＪ　　と名づけら
れる）の２Ｄ領域を計算することによυ、ＦＯＥ位置の
ための優れ急性能を達成できる。ぼやけたＦＯＥが与え
られると、３Ｄ光景の構造と動きについてのいくつかの
非常に効果的な推論が可能であシ、ダイナミック光景分
析における実際的な道具としてぼやけたＦＯＥを採用で
きる。その結果が実際の運動シーケンスで実現される。

光景ダイナミックスを理解するという問題は、２Ｄ映像
シーケンスにおいて観察されるどのような変化に対して
も、−貫した、もつともらしい３Ｄ解釈を見出すことで
ある。光景検出装置を含んでいる自律陸上車（ＡＬＶ　
）の動きのために、光景内の静止している物体は映像中
では静止しているようには全体として見えず、動いてい
る物体が動いているとは必ずしも見えない。目標の運動
検出および運動追従のための現在のや９万の主な３つの
作業は、１）車の動きを見積ること、２）静止している
環境の３Ｄ構造を得ること、３）光景内の個々の目標の
動きを検出し、分類すること、である。それら３つの作
業は相互に依存する。車の針路（すなわち、移動）の向
きと回転は、光景内の静止位置に対して見積られる。膨
張の焦点（ＦＯＥ）　　は特定の映像位置として決定さ
れるのではなくて、ぼやけ九ＦＯＥと呼ばれる可能なＦ
ＯＥ位置の領域として決定される。発明者らは、運動情
報から３Ｄ空間の知覚に対する推論とモデル化の定量的
戦略を提供するものである。時間的に観察された環境の
１つの定量的記述を洗練する代シに、多数の定性的観察
が同時に維持される。こうすることによシ、しばしば扱
いに＜＜、かつノイズに弱い伝統的な数値技術よシも強
力で、融通性に富む技術が得られる。この明細書ではと
のやシ万の規則を基にした実現について説明し、実際の
ＡＬＶ映像についての結果を提示する。

本発明の装置は、隅の点と、輪郭部分と、領域の境界と
、その他の２次元のしるしを基準として用いて、映像平
面内の視覚的環境の静止部分を追跡する。との結果とし
て、連続する各カメラ映像対に対して、選択されたしる
しに対する１組の２Ｄ変位ベクトルが得られることにな
る。カメラの自己運動は、レンズの中心を通る水平軸と
垂直軸を中心とする２つの別々の回転、および３Ｄ空間
内の移動としてモデル化される。３Ｄ空間内の直線に沿
ってカメラが純粋な移動を特徴とする特許映像平面内の
１つの特定の位置、前方移動の時には膨張の焦点（ＦＯ
Ｅ）と呼ばれ、後退移動の時には収縮の焦点（ＦＯＣ）
と呼ばれている、を通って全ての変位ベクトルが延びる
。レンズの中心とＦＯＥ（映像平面上の）を通る３Ｄベ
クトルは、３Ｄ平面内でのカメラの移動の向きに一致す
る。

本発明は、車の瞬時針路の向き（ＦＯＥ）を１度以内で
提供でき、動いている映像形成装置の自己運動を正確に
得ることができる。これには、水平方向と垂直方向にお
ける±５６ま九はそれより大きい回転が含まれる。変位
の場におけるノイズと誤差の問題を対処するために、１
つのＦＯＥの代シに可能なＦＯＥ位置の領域（すなわち
、ぼやけたＦＯＥ）が決定される。

しかし、実際には、映像形成ノイズ、空間的な打切９Ｗ
Ａ差等によシ、ＦＯＥを無限小映像位置として決定する
ことが実際的でなくされる。し危がって、本発明の方法
の中心的なやシ万は、従来のヤシ方よ）も厳密で、信頼
できる結果をもたらす可能なＦＯＥ位置（１つの位置の
代りＧＣ）の領域を計算することである。

〔実施例〕

第１図と第２図は本発明の主要部を示すものである。第
２図は、項目１１８　と　１２０における２Ｄ映像の３
Ｄ解釈についての拡張も示す。項目１１６は第１図の項
目１２２と１２４の部分も含む。まず、特徴抽出および
トラッキング１１４によシ映像データ１１２から重要な
特徴（点、境界、隅、等）が抽出され、２Ｄ変位ベクト
ルがこの特徴の群に対して計算される。ここで示す例の
場合には、特徴抽出およびトラッキング１１４によシ個
々のフレームの間で点が選択され、追従される。

この作業に適当な自動技術が関連する技術にある。

第２の過程においては、車が移動する向き、すなわち、
膨張の向き（ＦＯＥ）と、空間内の回転量とが決定され
る。ＦＯＥ計算に対する車の動きの影響については後で
説明する。ＦＯＥ計算段階において、必要な数値計算の
ほぼ全てが行われる。これについても後で説明する。第
３の段階（２Ｄ変化分析１１８における）は光景の内部
３Ｄモデルを構成する。また、定性光景モデル１２Ｇの
概念と動作についても説明する。動いているＡＬＶから
得た現実的な映像について行った本発明による実験につ
いては後で説明する。

装置１０はトークントラッキング１１４と、ＦＯＥ捜索
器１２４と、最適デローテーシヨン１２２（第１図）と
の３つの主な部品を含む。選択された映像トークンに対
する２Ｄ変位ベクトルは第１の段階（トークントラッキ
ング１１４）において決定される。それら元の変位ベク
トルは、カメラの回転を含め念、ある任意の、かつ（こ
の点においては）未知のカメラ運動によシひき起される
から、それらの変位ベクトルは純粋なカメラ移動の特性
放射パターンはまだ示さない。

第２の部品（ＦＯＥ捜索器１２４）はＦＯＥＫ対する１
組の候補位置を選択し、可能なＦＯＥ位置プラス対応す
るカメラ回転の範囲の連結された映像領域を、第３の部
品（最適デローテーシヨン１２２）からの結果を基にし
て形成する。対応する誤Ｅ’：ＣＲｔ適デローテーシヨ
ンモジュール１２２によシ計算された）が、ダイナミッ
クに調節されるあるしきい値よシ小さいと、特定のＦＯ
Ｅ位置が可能である。最後のＦＯＥ領域の寸法は、視覚
情報に含まれている不確定さの量を反映する（大きい領
域は高い不確定さを反映する）。

第３の部品（最適デローテーシヨンモジュール１２２）
は特定の（仮定された）ＦＯＥ位置に対する最適カメラ
回転を決定する。これは、与えられた変位ベクトル群に
対するカメラの逆回転の影響をシミュレートすることに
よシ行われる。修正され友変位フィールドが、選択され
九ＦＯＥ位置に関して放射状膨張パターンに最も近くな
るまで、カメラは事実上回転させられる。最適デローテ
ーシヨンモジュール１２２は必要な量の逆回転と、放射
状変位フィールド（すなわち、誤差値）からのずれとを
戻す。

ＦＯＥ捜索器１２４　と最適デローテーシヨンモジュー
ル１２２を含む部品１２３は、可能なＦＯＥ位置の領域
を出力するぼやけたＦＯＥ手段を表す。

本発明の第１の段階は、静止している環境に対する車の
動きを、視覚情報を用いて見積ることである。３Ｄ空間
内の物体の任意の動きと車自体の動きを、移動と回転の
組合わせとして記述できる。

制御の比めには車の複合運動についての知識が重要であ
るが、移動だけが３Ｄ光景の空間的配置（運動ステレオ
）についての情報を供給できる。しかし、車の回転から
及ぼされる全ての映像の影響を除去することをそれは要
求する。この目的のために、「純粋の」運動成分を個々
に加えるととによシひき起される映像の変化について説
明する。

空間内の２つの時点間の物体のどのように厳密な動きも
、移動と回転の組合わせに分解できることが良く知られ
ている。多くの研究者がこの問題の速度を基にした式化
を用いているが、下記の取扱いは運動を個々の時間ステ
ップで見る。

見る之めの形状化には第３図に示されている世界座標系
（ＸＹＺ）が含まれる。第３図はカメラを中心とした座
標系１３０　と、レンズ中心１２６と、映像子ｆ１２８
と、回転角φ、θ、Ｆとを示す。

座標系１３０の原点・０はレンズ中心１２６にある。

焦点距離ｆはレンズ中心１２６と映像平面１２８の間の
距離である。各３Ｄ点（ｘｙｚ）を映像位置（ｘ、ｙ）
に写像できる。角度φ、θ、ＦはそれぞれＸ軸、Ｙ軸、
ｚ軸を中心とするカメラ回転角を指定する。世界座標系
が与えられると、３Ｄ内の点 ｘ＝（ｘｙｚ）Ｔに加えられる変換 Ｔ＝（ＵＶＷ）　　がベクトル加算 によシ行われる。座標系１３Ｇの原点を通る任意の軸を
中心とする３Ｄ回転Ｒを、それの３つの軸Ｒを中心とす
る連続回転によシ記述できる。

Ｉｔ＝ＲＩＲａＲＦ　ここに　　　　　　　（２）なお
、Ｒ＋　、Ｒ６，ＲｙはそれぞれＸ軸、Ｙ軸、ｚ軸を中
心とする回転である。

空間内での移動と回転より成る一般的な厳密な動きは、
変換 Ｍ：Ｘ　−Ｘ’＝　Ｒ＊Ｒ１９ＲＦ（Ｔ＋Ｘ）　　　（
４）によシ記述される。それの６度の自由度はＵ、ＶＷ
、φ、θ、Ｆである。

この分解は独特のものではない。その理由は、変換は回
転の後で同様に加えられるからである。

また、回転マ）　ＩＪラックス乗算には交換剤は適用さ
れないから、回転度が異なると各軸についての回転量が
異なる結果となる。しかし、固定され念応用順序に対し
ては、この運動分解は独特である。

車の運動をモデル化するためＫ、カメラは静止している
ものとして、環境はカメラに対して１つの硬い物体とし
て動りているものとしてそれぞれ考える。座標１１３０
の原点はカメラのレンズの中心１２６　　Ｋある。

与えられた仕事は、視覚情報から車またはカメラの自己
運動（ｅｇｏｍｏｔｉｏｎ）を再構成することである。

し九がって、カメラの映像に及ぼす、車またはカメラの
動きの種々のキングの影響を知る必要がある。斜視的な
映像化の下においては、空間内の点 ｘ＝（ｘｙｚ）”が映像平面 ｘ＝（ＸＹ）”上の場所に、 であるよりに投影される。ここに、ｆはカメラの焦点距
離である（第３図参照）。

純粋なカメラ回転の影響を考慮に入れる。カメラがそれ
のレンズ中心１２６を中心として回転させられる時に境
界の努力を無視すると、得喪映像は変化するが、環境の
新しい画面は得られない。

純粋なカメラ回転は映像を単にそれ自体に写像するだけ
である。最も直観的な影響は、カメラに中心を置いた座
標系１３０の２軸を中心とする純粋な回転の結果である
。その２軸は光軸でもある。

映像中の任意の点は、映像位置！＝（００）を中心とす
る円に沿って動く。しかし、実際には、２軸を中心とす
る車の回転量Ｖは小さい。し穴がって、車の回転はＹ軸
とＹ軸に限られ、この場合には大きい回転量が生ずる。

Ｙ軸を中心として角度−φだけ、およびＹ軸を中心とし
て角度−〇だけ回転している車ま次はカメラは、各３Ｄ
、ａＸをカメラに対して点Ｘ′まで動かす。

Ｘ−＋Ｘ’＝Ｒφ・Ｒｏ・Ｘ　　　　　　　　　（６）
し九がって、Ｘの映像点であるＸは次式で与えられるＸ
′まで動く。

ようＫなる。

各映像点ｘ＝（ｘｙ）を、カメラの回転ＲφＲ６の下に
（すなわち、［パンＪ　（ｐａｎ）および［傾きＪ（を
目ｔ）の特定の系列）対応する映像点Ｘ′＝（Ｘ″ｙ’
　）へ動かす２Ｄ回転写像は次式によシ与えられる。

ＲφＲθ（Ｘ）：Ｘ−＋Ｘ’ ｒφｒθ（ｘ）：　ｘ＝（ｘ７）→ｘ　ｒ　＝（ｘ　ｒ
　ｙ　’　）（７ｍ） 元の映像点Ｘに対する遠近関係変換（ｐｅｒｓｐｅｃｔ
ｉｖｅ　　ｔｒａｎｓｆｏｒｍａｔｉｏｎ）　　を反転
すると次のこの変換は３Ｄ変数を含まず、したがって仁
の変換は映像自身への写像であることに注目することが
重要である。これは、光景の３Ｄ構造についての付加情
報は、純粋なカメラ回転の下では得ることができないこ
とを示すものである。

この写像の興味のある性質は明らかでないかもしれない
から、その性質についてこの点で述べることにする。カ
メラを回転させるだけで、映像点を映像の中心を４５度
の角度を成して通る対角線上を動かしても、Ｙ軸とＹ軸
を中心とする回転量が等しくなることはない。これは、
再び、２つの回転ＲθとＲφを連続して行わせる結果で
ある。

というのは、Ｙ軸を中心とする第１の回転が３Ｄ空間内
でカメラのＹ軸の向きを変えることもするからである。

それは、（７）式がθとφに関して対称的ではない理由
も説明するものである。

カメラの回転量の測定においては、解くべき問題は次の
通シである。すなわち、２つの映像位置ＸＯとＸｓが与
えられる。それらの映像位置は時刻ｔｏ　とｔｌにおけ
る同じ３Ｄ点の観察である。

ここでの質問は、カメラの移動が同時には起きないと仮
定して、時刻ｔｏとｔｌの間でカメラへ加えられる回転
ＲφとＲｏが、映像点ＸＯをｘｌの上へ動かす量である
。ＲφとＲｏがカメラへ別々に加えられるものとすると
、映像中の点は双曲線経路に沿って動く。カメラへ純粋
の水平回転が加見られるものとすると、与えられた映像
点Ｘｏが、によシ描かれる経路上を動く。同様に、純粋
な垂直カメラ回転は映像点ｘｉ　を に沿って動く。

カメラの３Ｄ回転は別々の２つの過程で（Ｒｏの後にＲ
φが続く）モデル化されるから１回転写儂ｒφｒθ　を
ｒφが続くｒθ　に分離できる。第１の過程においては
、Ｙ軸を中心とする純粋な（水平）回転ｒθ　を加える
と、点ｘｏが中間映像位置ｘＣへ動かされる。第２の過
程におりては、Ｙ軸を中心とする純粋な（垂直回転）ｒ
φを加えると、点Ｘ、は最後の映像位置ｘ１へ動かされ
る。これは次式で表すことができる。

ｒθφ＝ｒｏｒφ　　　　　　　　　　（１２）ここに
、 ｒθ：　ｘｌｌ　＝（ＸＯ７ｏ　）→ｘｃ＝（ｘｃｙｃ
）ｒφ：ｘｃ＝（ｘσ、）→ｘｌ＝　（ｘｔ　）’Ｉ　
）第４図は水平回転と垂直回転を連続して加える様子を
示すものである。カメラの純粋な水平回転と垂直回転に
よシ映像点ＸＯは位置ＸＩへ動かされる。水平回転（Ｙ
軸を中心とする）が最初に加えられ、点Ｘａを位置ｘｃ
へ動かす。その位置は水平回転と垂直回転のための２つ
の双曲線経路の交差点である。第２の過程においては、
点Ｘ、は位置Ｘｌへ動かされる。それから２つの回転角
θとφが直接見出される。更に第４図において、映像点
”ｃ＝（ＸＣｙＣ）は、カメラの水平回転（１０）から
生ずるｘｏを通る双曲線と、カメラの垂直回転（１１）
から生ずるＸ！を通る双曲線との交点である。２つの双
曲線の変差によ９次のような映像点ｘｃが得られる。

Ｒφが続くＲθを加えることによ’）　、ｘｏ　ｔ　ｘ
ｉへ写像する次めに必要なカメラの回転量は最後に次式
のように得られる。

時刻ｔとｔ′の間で車ま次はカメラが純粋表移動を行う
と、車上のあらゆる点は同じ３ＤベクトルＴ＝（ＵＶＷ
）”　　によシ動かされる。また、カメラを固定し、環
境内のあらゆる点Ｘｉを、−Ｔを加えることにより、ｘ
；へ動かすことによシ同じ作用が得られる。

環境内のあらゆる静止点はカメラに対して同じ移動を行
うから、対応する点ＸｉとＸｌの間の仮想線は３Ｄ空間
においては平行である。

平行線の映像が映像平面内の「消点」と呼ばれる１つの
点を通ることが透視図形からの基本的な結果である。カ
メラが直線に沿って動くと、あらゆる（静止）映像点こ
の消点から膨張し、またはカメラが後方へ動く時にそれ
へ向って収縮する。

し九がって、この特定の映像位置は膨張の焦点（ＦＯＥ
）または収縮の焦点（ＦＯＣ）　　と一般に呼ばれる。

各変位ベクトルはＦＯＥを通って、第５図に示す典型的
な半径方向膨張パターンを形成する。

第５図はＦＯＥの位置を示す。車が純粋な移動を行うと
、環境内の点（ＡＩＢ）が、レンズ中心１２６からカメ
ラ平面１２８（第３図）内のＦＯＥまで指すベクトルに
平行な３Ｄベクトルに沿って動く。それらのベクトルは
、透視映像中に共通の消点（ＦＯＥ）を有する平行線を
空間中に形成する。

第５図かられかるように、カメラのレンズ中心とＦＯＥ
を通る直線は３Ｄ変位ベクトルに平行でもある。したが
って、３ＤベクトルＯＦは空間内のカメラの移動する向
きを指す。カメラの内部構造（すなわち焦点距離ｆ）を
知ると、ＦＯＥを映像中に位置させることによシ車の移
動する向きを決定できる。カメラへ加えられる実際の移
動ベクトルＴはベクトルＯＦの倍数である。それはカメ
ラの移動の向きだけを供給し、大きさは供給しない。し
たがって、 Ｔ＝λｏｖ＝λＣｘｆｙｆｆ　］”、λｇＲ（１６）で
ある。

以前のほとんどの技術は３Ｄ運動の速度を基にしたモデ
ルを含んでいるから、膨張の焦点は瞬時針路の向き、す
なわち、無限に短い時間中の車の移動の向き、として一
般に解されていた。個々の時刻に撮影され九「スナップ
ショット」として映像が与えられると、それに従って、
空間内の１つの位置から次の位置への個々の動きとして
車の動きをモデル化すべきである。し念がって、ＦＯＥ
は、ある時点における移動の瞬時の向きとして解釈でき
ず、ある時間にわたる車の累積された動きの向きとして
解される。

第６図は個々の時間ステップに対するＦＯＥの概念を示
す。２つの時点間の車１３２の動きを、回転が続く移動
に分解できる。純粋な移動（ＦＯＥａ）の映像効果が映
像工０中に観察される。第６図は曲っている経路に沿っ
て走行している車１３２の２つの時刻ｔｏとｔｌにおけ
る上面図を示す。空間中の車１３２の位置は車上の基準
点Ｐの位置によシ与えられ、車の向きはΩである。第６
図は３Ｄ運動分解の採用され次計画も示す。第１に、移
動Ｔが加えられる。この移動は、車の基準点（すなわち
、カメラのレンズ中心１２６）を位置ＰＧから位置Ｐ１
へ、車の向きΩを変えることなしに、移動させる。３Ｄ
移動ベクトルＴＶｉＦＯＥａ　において映像面１２８と
交差する。第２の段階においては、車は新しい向きΩＩ
までωだけ回転させられる。移動Ｔは映像工◎を映像■
ｌ′へ変換する。その映像ＩＩｌ　は回転ωによシエ１
へ再び変換される。重要な事実は、映像１Ｇから映像Ｉ
／、へ移行の時にＦＯＥａ　が観察されることである。

これは映像ＩＩを一ωだけデローテートすることによυ
得られる。この明＃Ｉ書における説明を通じて、この手
法（第６図）は車ま友はカメラの動きのモデルとして用
いられる。

カメラの移動は測定できる。第７図は２Ｄの場合に対す
る幾何学的関係を示すものである。個別時間ステップに
対するＦＯＥからの膨張の量が示されている。第７図は
カメラの上面図、すなわち、カメラを中心とする座標系
１３０のＸ／Ｚ平面上への投影、と考えることができる
。映像面の横断面が直線として示されている。カメラは
３Ｄ空間内をベクトルＴだけ動く。このベクトルＴはレ
ンズ中心１２６と、カメラ平面１２８内のＦＯＥとを通
る。ａＤＸ軸はカメラの光軸でもある。カメラはＴ＝（
Ｘｆｆ）”によシ与えられる向きに左から右へ移動する
。

２つの時刻に静止３Ｄ点が観察される。その点は空間内
をカメラに対してＸからＸ′へ動き、その結果として２
つの映像Ｘ、！’　となる。

逆透視変換（８）を用いると Ｚ＝　　−Ｘ （１８） と が生ずる。同様な３角形（第７図に黒く塗＃）りぶして
示されている）から したがって、 し九がって、ＦＯＥからの映像点の膨張速度は、カメラ
からの対応する３Ｄ点の距離についての直接情報を含む
。したがって、車が直線に沿って動いておシ、ＦＯＥが
位置させられたとすると、光景の３Ｄ構造を影像中の膨
張パターンから決定できる。しかし、カメラからの３Ｄ
点の距離２は換算係数Δ２まで得ることができるだけで
ある。それは、経過時間中に２軸に沿って車が進んだ距
離である。

空間内の車の速度（ΔＺ／ｌ）が既知であると、任意の
静止点の絶対速度を計算できる。あるいは、光景内のあ
る点の実際の距離が既知であると（たとえばレーザ距離
データから）車の速度を得ることができる。もちろん、
実際にはそのような技術のいずれも、ＦＯＥを小さい面
積内に位置できること、および観察され之映像点がＦＯ
Ｅからの大きな膨張を示すことを求める。下に示すよう
に、映像形成ノイズとカメラの歪みのために、上記の問
題の両万全満すには問題が生ずる。

１組の静止している３Ｄ点（（Ｘｉ　Ｘ’、月が観察さ
れたとすると、２方向への移動はあらゆる点に対して同
じでおることはもちろんである。

全てのｉ、ｊに対して Ｚｉ−Ｚ’ｉ＝　Ｚｊ−Ｚ′ｊ＝ΔＺ　　　　　　　（
２１）したがって、あらゆる点の距離はＦＯＥからそれ
の映像の観察されｆｃ膨張の量に比例する。

これは点の群の相対的な３Ｄ構造を示す。

カメラ移動Ｔの効果を、１組の映像位置（ｘｉｌの別の
１組の映像位ｎ　（ｘ’ｉ　）の別の１組の映像位置ｆ
ｘ’１１への写像ｔとして式で表すことができる。純粋
のカメラ回転の場合におけるのと異り、この写像Ｆｉ３
Ｄ移動ベクトルに依存するばか夛でなく、観察される個
々の各点の実際の３Ｄ点にも依存する。したがって、一
般的には、ｔは映像のそれ自身への単なる写像ではない
。しかし、ｔの１つの重要な特性を映像平面１２８にお
いてのみ記述できること、すなわち、原点と映像中の１
つの独特の位置（ＦＯＥ）を通る直線上に各点を必ず写
像できることである。このことは、車１３２が純粋の移
動を行っているものとすると、写像ｔが条件放射状写像
ｔ（ｘｆ、Ｉ、Ｉ’）：ｔ＝　（（ｘｉ　、ｘ’ｉ　）
　ｇＩｘｌ’　ｌ　ｘｌ”　Ｘｉ十μ１（Ｘｉ　　Ｘｆ
）＋μｉｔＲ，μｍ≧０　）（２３） を写像ｔが満すような映像位置Ｘｆが存在せねばならな
い。

車が純粋な移動または回転を行わずに、１’４％Ｔの形
の組合わされた３Ｄ運動（すなわち、移動と回転）を行
うとすると、映像における作用は変換ｄ（変位に対して
）によシ記述される。この変換ｄは次式のようＫｒφ′
ｒθおよびｔの組合わせである。

ｄ：Ｉ→Ｉ′＝ｒφｒθｔ（Ｘ）（２４）ここに、■＝
（ｘ　ｉ）＋　”　＝（ｘ’１）は２組の対応する映像
点である。第８１図と第８ｂ図は水平回転と垂直回転お
よび移動を行っているカメラについての典型的な変位の
場を示す。点ＸｉξＩは小さい円１３８で示されている
。長方形１３４はＦＯＥの捜索領斌を示す。第８ｂ図に
はデローテートされ次変位が示されてお、９．ＦＯＥは
円１３６で示されている。

複合変位の場ｄを３つの成分子ゆ２．ｒ、およびｔに分
解することによシ、空間内での車の回転と移動の向きを
映像中で利用できる情報から計算できる。この問題につ
いては後で触れる。前に述べたように、Ｙ軸を中心とす
る回転ＲθとＸ軸を中心とする回転Ｒφが続く移動Ｔに
より、車の３Ｄ運動Ｍがモデル化される。すなわち、 Ｍ＝ＲφＲθＴ　　　　　　　　　　　　（２５）この
結果として、時刻ｔｏにおける元の映像１゜から、時刻
ｔ＋における新しい映像！！への写像ｄになる。

ｄ：　Ｉｏ　４Ｉｔ　＝　ｒφｒａｔｌｏ＝　ｒφｒθ
Ｉ’。

（２６） 式（２６）中の中間映像１０は車の動きの移動成分の結
果でｓｂ、放射状写像（２３）であるという性質を有す
る。２つの映像１１１１＋１１とは異なり（それらの映
像は実際に与えられる）、カメラの回転が零である時を
除き、映像には観察されない。それは、移動と回転の運
動成分に分離されている間に達成される中間結果として
作用する。

この点における質問は、この要求、すなわち解が独特で
あるかどうか、を満す回転写像ｒφとｒ。

の２つ以上の組合わせが存在するかどうかである。

Ｒφ、Ｒθ、ＲｖおよびＴへの３Ｄ運動の分解は固定さ
れた加える順序に対して独特であることを上で指摘し之
。しかし、透視映像への３Ｄ運動の影響は同様に′ＰＪ
ｉ特であることを意味するものではない。

点が空間内にある非常に特殊な形状に配置される少数の
場合を除き、硬い物体の運動と構造で独特の解釈を得る
ためには２つの透視図中の７個の点で十分であることを
関連する技術が示している。

多くの場合にＦｉ６個の点で十分であ）、７個または８
個の点はほとんどの場合に独特の解釈を生ずることを示
唆するコンピュータ実験を別の技術が報告している。

しかし、それの設計および応用のために、空間内での典
型的な自律陸上車（ＡＩ、Ｖ）の動きは非常に限られる
。車はある表面の上を上方へ移動できるだけであシ、そ
れの長いホイールベースのために向きは比較的小さく変
えることができるだけである。ＡＬＶはまた重いからか
ａｂの慣性を示す。

し九がって、最後の運動パラメータはある狭い範囲の中
に入っていなければならず、点の数が最少の近く、また
はそれよυ多い時でも独自の解を求めることができると
とを予測できる。

Ｉ′。＝　ｒ６−’ｒ６’ｌｔ＝　ｔＩｏ　　　　　（
２７）という事実は、運動成分を分離するために次の２
種類の戦略を示唆する。（１）、回転からのＦＯＥ　：
逆回転写像の組合わせ ｒθ、　　１４１＋ｒ６．　　ｒφ、　　、ｒＩ９ｋｒ
φｋを、結果映像工゛が元の映像ＩｏＫ関して放射状写
像であるまで、第２の映像へ逐次加える。次にＦ　ＯＥ
　ｘ　ｆｋをＩ◇中に位置させる。（２）、ＦＯＥから
の回転二　元の映像Ｉ、中のＦＯＥ位置（Ａなる向きの
車の移動）　Ｘｆｌ　＃　ｘｆ２　ｒ・・・ｘｆ、を逐
次選択し、それから、元の映像ｒｏ中の与えられたＦＯ
Ｅ　ｘｆ、に関して放射状写像を生ずる逆回転写像ｒＯ
，ｒゆ、　　を決定する。

前記したように限定されているが、現実的な車の運動と
いう仮定の下に、それら２つの別のやり万を調べ次。そ
の結果、回転からのＦＯＥのやり万における大きな問題
は、映像点の写像が、ＦＯＥの位置が未卸の時は、放射
状（またはそれに近い）かどうかを判定する仁とである
ことが判明し次。

もちろん、ノイズが存在するとこの問題はより一層困難
になる。第２のやυ万について調べ次が、ＦＯＥを探す
ために与えられた変位ベクトル群を後方へ延長させるど
の方法も、本来的に映像劣化に敏感であるようであつ之
。

過去においてはＦＯＥアルゴリズムのためにいくつかの
提案が行われているが、現実の屋外映像形成では実現の
結果は示されなかった。有用な結果が存在しないことの
１つの理由は、はとんどの研究者が１つの明確な映像位
置に関してＦＯＥを位置させようと試みたことにあるか
もしれない。

しかし、実際には、完全な移動変位の場を単にデジタル
化することによシ発生されたノイズが、結果ベクトルが
１つの画素を通らないようにする。

観察する人であっても、正確な進行の向き（すなわち、
網膜上のＦＯＥの位置）を決定することは困段なようで
ある。実際の向きからの人の判断の平均的なずれが１０
度程度であり、大きい回転が存在する場合には２０度ま
でであることが報告されている。したがって、この技術
においては、最後のアルゴリズムが、１つの（次だしお
そらくは不正確な）点の代シに潜在的なＦＯＥ位置（「
ぼやけたＦＯＥ　Ｊと呼ばれる）の領域を決定すべきで
あることが大きな前提である。

ＦＯＥは回転から得ることができる。この方法において
は、映像の動きは２段階で分解できる。

第１に、回転成分が見積られ、それらの成分の逆が映像
へ加えられ、したがって映像を部分的に「プローチ−テ
ィング」する。回転の見積りが正確であると、デローテ
ーシヨンの後の結果としての変位の場は１つの映像位ｆ
ｔ（ＦＯＥ）から外れる。

第２の段階は、変位の場は実際には放射状であって、Ｆ
ＯＥの位置を決定することを実証する。この目的の之め
に、（１）ＦＯＥの正確な位置を知ることなしに回転運
動成分をどのように見積るか、（２３［ゾロルチルジョ
ンの良さ」の測定とＦＯＥの位置決定をどのようにして
行うか、という２つの問題を解かねばならない。

回転成分を見積ることができる。変位の場における各ベ
クトルは、カメラの回転とカメラの移動によりひき起さ
れるベクトル成分の和である。移動によりひき起される
変位は３Ｄ空間内の対応する点の深さに依存しく　（１
８）式）、カメラから大きな距離の所にある点はカメラ
の移動によシ犬きく影響されるものではない。したがっ
て、車の回転を見積る１つの方法は、大きな距離にある
点に属することが刈られている変位ベクトルからθとφ
を計算することである。それらの変位ベクトルが回転に
よりひき起されるだけであるという仮定の下に、式（１
４）、　（ｉｓ）を２つの角度を求めるために適用でき
る。ある状況においては、離れている点は容易に選択さ
れる。たとえば、水平上の点は車から十分な距離の所に
しばしば位置させられる。移動の軸に近い映像点は好ま
しい。その理由は、それらの点が同じ深さにある別の点
よυも遅く膨張するからである。しかし、遠い距離にあ
る点は常に利用できるというものではなく、あるいは映
像中に存在することが矧られないこともある。それらの
場合には、回転成分を見積る次の方法を使用できる。Ａ
ＬＶ　（および他の可動ロボット）の設計により、車の
進行の向きを急速に変えることはできない。したがって
、２つのフレームの間のカメラの動きは拘束されるから
、ＦＯＥはある範囲内でのみそれの位置を変えることが
できると仮定できる。ＦＯＥが１つのフレームに位置さ
せられるとすると、次のフレーム内のＦＯＥは以前のＦ
ＯＥ位置の周囲のある映像値域内になければならない。

第９ａ図はこの状況を示す映像平面を示すものである。

前のフレームのＦＯＥは、現在のＦＯＥの探索領の輪郭
を成す正方形１４０の中心にあシ、シたがって与えられ
７’Ｃ７レーム中のＦＯＥは正号形１４０の内側に必ず
ある。３つの変位ベクトル（ＰＩ→ＰＩ’、Ｐ２→Ｐ２
’、Ｐ３→Ｐ３′）が示されている。それらの変位ベク
トルの移動成分（ＰＩ→Ｑ１、Ｐ２→Ｑ２、Ｐ３→Ｑ３
）とＦＯＥ　（正号形１４０の内側）はこの時点におい
ては知られていないが、第９ａ図に示されている。

この技術の主な考えは、示されている領域１４０の内側
にあるＦＯＥと両立するカメラ回転の可能な範囲を決定
することである。カメラは２本の軸を中心として回転す
るから、結果としての回転範囲を２Ｄ空間内の領域とし
て記述できる。第９ｂ図はこの回転空間を示し、２本の
軸θとφはそれぞれＹ軸とＸ軸を中心とするカメラ回転
の量に対応する。回転の最初の見積シは両方向で±１０
度の範囲である。とれは第９ｂ図の回転空間内の正号形
１４２によシ示されている。

一般に、可能な回転の範囲は回転空間内の閉じた凸状多
角形によシ記述される。あらゆる変位ベクトル（すなわ
ち、それの端点）へ特定の回転（θ′、φ′）を加える
と、最大ＦＯＥ領域を通る直線上にある新しいベクトル
を生ずるものとすると、その特定の回転が可能である。

全ての変位ベクトルに次のステップを加えることによシ
可能な回転の領域が逐次拘束される（第１０１１図と第
Ｊｏｂ図）。第１に、回転多角形の頂点によシ定められ
る回転写像を変位ベクトルＰ→Ｐ’　１４８の端点に加
える。これにより１組の映像点が生ずる。第２に、終点
Ｐ１を映像中の閉じた多角形１４８へ連結する。多角形
１４Ｂは回転多角形１４４に類似するが、第１０ａ図に
示すように非直線回転写像によシひすまされる。第３に
、映像中の多角形１４６　′ｆ：、変位ベクトル１４６
の始点Ｐによシ形成され、最大ＦＯＥ　＠斌への２つの
接線１５２と１５４によシ挾まれている開かれている３
角形１５０に交差させる。変位ベクトルの終点を３角形
１５０の外側にする回転は可能ではない。その結果とし
て、映像平面内の新しい（おそらくは空白の）多角形１
５６である。第４に、映像平面からの新しい多角形１５
６は第９ｂ図の回転空間へ戻る。第５に、回転多角形１
５８は空白（頂点の数はゼロ）であシ、それからストッ
プする。全ての変位ベクトルを与えられｆｃＦＯＥｍ域
に交差させるカメラの回転は可能でない。より大きいＦ
ＯＥ領域を用いてこの過程をくり返えす。

第１１ａ図、第１１ｂ図、第１１ｃ図、第８図の３つの
変位ベクトルにこの過程を加えられている間における回
転多角形の変化する形を示す。

映像平面への回転空間からの写像は非直線的であるから
（第９図）、回転多角形１６０における頂点の間の直線
は映像中の直線には対応しない。

しかし、開かれている３角形との交差を簡単にするため
に、それらの直線は直線として近似させられる。映像平
面中の破線は映像への回転多角形の実際の写像を示す。

直線からのずれは小さくて、無視できることがわかる。

第１１！１図は、変位ベクトルＰ１→ＰＩ’　を調べた
後の回転多角形を示す。多角形の内側でカメラがどれだ
け回転しても、Ｐｌを通って、映像平面内の正号形６８
によシ与えられた最大ＦＯＥ領域まで延びる接線１６４
　と１６６によシ形成され次、開かれている３角形の中
へ、変位ベクトル（ＰＩ’）の終点を動かす。映像平面
への回転多角形の実際の写像が破線輪郭で示されている
。

第１１ｂ図は、変位ベクトルＰ１→Ｐ１′およびＰ２→
Ｐ２’　を調べた後の回転多角形１７０を示す。

第１ｉｅ図は、３つの変位ベクトルＰ１→Ｐ１′、Ｐ２
→Ｐ２’　、Ｐ３→Ｐ３’　を調べた後の最後の回転多
角形を示す。カメラの実際の回転の食（θ＝　−２，０
度、φ＝５．０度）が小さい円（矢印）１７２で示され
ている。

変位ベクトルの数が増加すると回転の見積りが改善され
る。実際には、カメラの回転の量は両方向に１度以下の
範囲に制約できる。変位ベクトルが短い、すなわち、カ
メラの移動の量が小さい時には、回転はよシ正確に見積
ることができる。これは、長い変位ベクトルでは一層容
易であるカメラの移動を見積ることとは対照的である。

回転多角形が空白になる状況はいくつかの付加的な考察
を要する。先に述べたように、そのような場合において
は、全ての変位ベクトルを与えられたＦＯＥｍ域を通ら
せるカメラ回転は可能でない。これは２つの別のや多方
のうちの一万を示すことができる。第１に、少くとも１
つの変位ベクトルが動いている物体に属する。第２に、
与えられたＦＯＥ領域がＦＯＥの実際の位置を含まない
、すなわち、領域は可能でない。後の場合はとくに重要
である。ある領域がＦ’ＯＥを含まないとある領域を決
定できるものとすると、ＦＯＥはこの領域の外側に必ず
ある。したがって、上の方法はカメラの回転の量を見積
るために使用できるばかシでなく、ＦＯＥの位置を探す
ためにも使用できる。

不幸なことに回転多角形が空白にならないとすると、こ
れはＦＯＥが与えられた領域の実際に内側にあることは
意味しない。それは、全ての変位ベクトルがこの領域を
通ることを意味するだけで、この領域の内側では全ての
変位ベクトルが共通の交点を有することは意味しない。

しかし、ある領域を必ずしも全ての領域が通るわけでは
ないとすると、この領域はおそら＜　ＦＯＥを含むこと
鉱できない。下の回帰アルゴリズムは、ＦＯＥに対する
与えられ次領域をより小さｈ部分に分割する（分割およ
び克服）ことにより、その領域を探す。

ＭＩＮ−ＦＥＡＳＩＢＬＥ（ｒｅｇ４ｏｎ、ｍ１ｎ−ｓ
ｉｚｅ　、ｄｉｇｐ　−ｖｅｃｔｏｒｓ）　： ｉｆ　ＳＩＺＥ（ｒｅｇｉｏｎ）＜ｍ１ｎ−ｓｉｚｅ　
ｔｈｅｎ　ｒｅｔｕｒｎ（ｒｅｇｉｏｎ）　ｅｌｓｅ ｉｆ　ＦＥＡＳｆＢＬＥ（ｒｅｇｉｏｎ、ｄｉｓｐ−ｖ
ｅｃｔｏｒｓ）ｔｈｅｎ　ｒｅｔｕｒｎ（ｕｎｉｏｎ）
ＭＩＮ−ＦＥＡＳ　ＩＢＬＥ（ｓｕｂ−ｒｅｇｉｏｎ−
１、ｍ１ｎ−ｓｉｚｅ　。

ｄｉｓｐ−ｖｅｃｔｏｒｓ）。

ＭＩＮ−ＦＥＡＳ　ＩＢＬＥ（ｓｕｂ−ｒｅｇｉ　ｏｎ
−２、ｍ１ｎ−ｓｉｚｅ。

ｄｉｓｐ−ｖｅｃｔｏｒｓ）。

ＭＩＮ−ＦＥＡＳ　ＩＢＬＥ（ｓｕｂ−ｒｅｇｉｏｆｒ
−ｎ、ｍ１Ｐｓｉｚｅ。

ｄｉｓｐ−ｖｅｃｔｏｒｓ））） ｅｌｓｅ　ｒｅｔｕｒｎ（ｎｉｌ）（ｒｅｇｉｏｎ　ｄ
ｏｅｓ　ｎｏｔ　ｃｏｎｔａｉｎｔｈｅＦＯＥｌ このアルゴリズムは、それ以上の考察から副領域を組織
的に廃除することによシ、可能な最小のＦＯＥ領域を探
す。元の領域の形が正方形である場合に対しては、領域
を等しい寸法の４つの削正方形に分割することによシ副
領域を得ることができる。ここで示す簡単なバージョン
は、最小の副領域（パラメータ「最小寸法」Ｋより限ら
れる）まで深さを最初にする探索を行う。これは最も優
雅なや９万でも最も効率的なや夛万でもない。より高度
な戦略を加えることにより、友とえば、領域の内部を調
べる前Ｋ、周縁部の周囲のＩＩＪ領域を最初に排除する
ことを試みることにより、このアルゴリズムを大幅に改
良できる。後の方法では２つの大きい問題にぶつかる。

第１に、可能な回転を計算する過程を全ての副領域に対
してくプ返えさなければならないから、アルゴリズムは
計算に費用が高くつくことである。第２に、小さい領域
は大きい領域よう廃除されやすいことである。しかし、
領域の寸法が小さくなシすぎると、ノイズ、歪みま念は
点トラッキングによりひき起される誤差が、ＦＯＥを実
際に含んでいる領域を変位ベクトルが通ることを禁止す
ることがある。

このアルゴリズムは別の処理においては採用されないが
、従来のＦＯＥアルゴリズムから大きく離れた興味ある
別の処理をそれは示唆するものである。それの主な魅力
は、１つのＦＯＥ位置を探す他のほとんどの技術とは対
照的に１本来は領域に向けられたものである。回転の量
を見積るために、先に述べた遠い距離における点を用い
る方法がおそらくよシ実用的である。次Ｋ、回転成分が
見積られた時にＦＯＥの位置を求める別の２つのやり万
について説明する。

部分的にデローテートさせられた映像内のＦＯＥの位置
を探すことを試みることができる。特定のデローテーシ
ヨン写像を変位の場に加えた後では、質問は新しい変位
の場が放射状写像にどれだけ近いかということである。

その場合には全てのベクトルは１つの映像位置から発散
する。変位の場が実際に放射状であるとすると、映像は
完全にデローテートさせられ、カメラの移動による成分
だけが残る。この性質を測定するための２ｓ類の方法が
注目される。１つの方法は仮想の水平線と垂直線の交差
の分散を用いる。第２の方法は、変位の場がどれだけ「
放射状」であるかｔ−測定するために、直線相関係数を
計算する。関連する技術における交差の分散は、１つの
変位ベクトルと他の全てのベクトルとの交差の分散を計
算することにより、変位の場の乱れを見積ることを示唆
している。

交差が小さい近くのものにあるものとすると、分散は小
さい。この小さい分散は変位の場がほとんど放射状であ
ることを示す。その代りに仮相水平線と仮相垂直線を用
いることによシこの問題を簡単にできる。その線の向き
は種々のカメラ回転によシ影響を受けることはない。第
１２図は、ｙＩ・・・’ＩｓにおいてｘＫおける垂直線
と交差する５つの変位ベクトルＰ、→Ｐｌ′　・・・Ｐ
ｓ゛　を示す。垂直線をＸからＸＯへ動かすと交差点は
互いに近くなるから、交差の分散が小さくなる。変位ベ
クトルＰ１→Ｐｉ′　とＸにおける垂直線との交点は次
式で与えられる。

全ての変位ベクトルと位置Ｘにおける垂直線との交差の
分散は である。交差の最小分散における垂直横断面を求めるた
めに、　　（２９）式のＸについての一次微分がゼロに
セットされる。そうすると最小交差分散の位置ｘｏが得
られる。同様に、最小交差分散における水平横断面の位
置を得ることができる。

垂直線における交差の分散の平方根（標準側差）を、第
１３図に示す合成変位の場において求め次。

実際のＦＯＥは映像の中心に位置させられる。中心の周
囲（両方向に±１００ｉ！ｊ素）正号形１７４は、その
上で誤差関数を求めるような領域をマークする。

第１４ａ図、第１４ｂ図、第１４ｃ図および第１４ｄ図
は、ノイズがない時に垂直方向における残留回転を増加
させるために、交差の標準偏差の分布を示す。それらの
図によシ表されている全ての場合に水平回転は０度であ
る。変位ベクトルの位置は実数（整数値に丸められない
）により表される。第１４ａ図においては、残留回転は
存在しない、すなわち、変位の場が完全に放射状である
。

横断面の水平位置の値は実際のＦＯＥを中心として±１
００画素変化する。標準偏差は、Ｘ＝Ｘｆ（ＦＯＥのＸ
座標）に対してはゼロでちゃ、ＦＯＥの両側で直線的に
増加する。第１４ｂ〜１４ｄ図において、残留垂直回転
は０．２度から１．０度へ増加させられる。太い垂直棒
は最小標準偏差を示し、細い垂直棒はＦＯＥの位置（Ｘ
ｆ　）を示す。最小標準備差の量は回転による乱れが大
きくなるにつれて増大するが、最小偏差値の位置はＦＯ
Ｅからは必ずしも離れることはないことがわかる。

第１５〜１７図はノイズの影響の下における同じ関数を
示す。第１５ａ〜１５ｄ図において、変位ベクトルの位
置をそれの最も近い整数値へ単に丸めることによること
を除き、ノイズが加えられている。それらの図は、水平
回転がなく、異なる量の垂直回転に対して位置Ｘにおけ
る垂直横断面での交差の標準偏差（平方根）を示す。第
１６ａ〜１６ｄ図における映像位置に±１画素の−様な
ノイズが加えられている。第１７ａ〜１７ｄ図において
は、映像位置に±２画素の−様なノイズが加えられてい
る。ノイズの影響は残留回転成分によシひき起される影
響に類似することがわかる。

この誤差関数の目的は、ＦＯＥが位置されている場所を
決定し、かつ現在の変位の場がどのように「放射状」で
あるかを決定することである。

変位の場は既に完全にデローテートされているとすると
、最小交差標準偏差の位置はＦＯＥの位置である。理想
的には、全てのベクトルがＦＯＥを通るから、ＦＯＥを
通る横断面社零標準偏差を生ずる。問題は、完全にはデ
ローテートされていない映像中ＫＦＯＥをどれだけ良く
位置できるかである。第１８ａ〜１８ｄ図は、変化する
水平回転の下での最小交差標準偏差の位置のグラフであ
る。各グラフにおいては垂直回転は固定されたままであ
る。〜１度から＋１度までのカメラの水平回転が横軸に
示されている（　ｒｏｔ）。縦軸（ＸＯ）ｆｉ　ＦＯＥ
（ｘｉで示されている）を中心とする±１００画素の範
囲内の最小標準偏差の位置を与える。最小交差標準偏差
の位置は水平回転の量に強く依存する。

問題は、回転量が小さい時に、最小標準偏差の位置が必
ずしもＦＯＥ　Ｋより近くないことである。

関数は零回転を中心とする狭い範囲内で良く挙動するだ
けである。このことは、ＦＯＥの位置探索を成功させる
次めには、カメラの回転の見積りが非常に正確でなけれ
ばならないことを意味する。

この誤差関数の第２の目的は、部分的なデローテーシヨ
ンの後では変位の場の「放射状」の程度を測定すること
である。これは、最小交差標準偏差の量を計算すること
によシ可能とすべきである。

直観的には、より小さい最小交差標準偏差の量が、変位
の場が回転によシ乱されることが小さいことを示す。第
１９ｍ−１９ｄ図と２０　ｍ　＝　２０　ｄ図は、変化
する水平回転の下での最小交差標準偏差の量を示すこと
Ｋよシ、それが一般に真であることを示すものである。

第１９ａ図におけるノイズのない場合には、最小交差標
準偏差の量は、水平回転と垂直回転がない場合に零とな
って、デローテーシヨンが完全であることを示す。不幸
なことに１この比較的狭い回転範囲（±１．０度）にお
いてもこの関数は良く挙動させられない。カーブはいく
つかの鋭い極小を示す。それらの極小においては、最適
なデローテーシヨンを探しているアルゴリズムが容易に
わなにはまることになる。第１９ａ〜１９ｄ図は、映像
位置に加えられる±２画素の−様なノイズが存在する時
の同じ関数を示す。

変位の場が放射状パターンにどれだけ近いかを測定する
、直線相関を利用する第２の方法は、第２１図に示すよ
うに、垂直（ま念は水平）線χ！とｘ２における交差点
７ｓｌ＃７＋ｓとＹｅｓ　　’Ｉｔｓを再び用いる。変
位ベクトルＰ　Ｈ−４Ｐ’ｌ　”　Ｐ　５−４Ｆ’５は
２本の垂直線Ｘｉ　とｘ２によシ交差させられる。

両方の交差線は領域１７６内のＦＯＥの同じ側にある。

ＦＯＥの位置は未知であるから、２本の線Ｘ。

とＸ！は可能な任意のＦ’ＯＥ位置から十分な距離の所
に単に位置させられる。この結果として、２組の交差点
　ｔ　（ｘ＋　、７Ｈ）　ｌ　　と　（（Ｘ２　、　）
’２１））となる。全ての変位ベクトルが１つの映像位
置から出るものとすると、２組の又差点中の対応する交
差点の間の距離は比例せねばならない。すなわち、全て
の１＋Ｊ＋ｌ（に対して ７ｔｉ　　）’ｔｊ　　）’ｔｊ　　Ｙｌｋ　　　　（
３ｏ）ｙ２１−ｙ２ｊｙ２ｊ−ｙ２に である。したがって、それら２本の線における又差点の
垂直座標の間に直線関係が存在する。この直線関係の「
良さ」は、２組の点のｙ座標について相関係数を計算す
ることによって容易に測定される。結果として得られる
係数は−１，０から＋１．０の範囲の実数である。両刀
の垂直線がＦＯＥの同じ側にあるとすると、最適値は＋
１．０である。他の場合には、ＦＯＥが２本の線の間に
あるとすると、最適係数は−１，０である。２本の垂直
線の水平位置は、それらの条件の１つが満される限シ、
重要ではない。たとえば、映像の左右の境界線を使用で
きる。

第２２ａ図乃至第２２ｄ図と第２３！１図乃至第２３ｄ
図は、第１９ａ図乃至第１９ｄ図と第２０ａ図乃至第２
０ｄ図におけるのと同じ条件の下における、変化する水
平回転の下での２本の垂直線における変位ベクトルの交
差に対する相関係数のグラフを示す。第２２ａ図乃至第
２２ｄ図ではノイズは加えられていない。第２３ａ図乃
至第２３ｄ図においては、映像位置に±２画累の−様な
ノイズが加えられた。第２２ａ図乃至第２２ｄ図と第２
３ａ図乃至第２３ｄ図においては最適な係数は＋１．０
（水平軸）である。第２２ａ図乃至第２２ｄ図と第２３
ａ図乃至第２３ｄ図のカーブの形は、先に示した最小標
準偏差に対する第１９８図乃至第１９ｄ図と第２０ａ図
乃至第２０ｄ図にそれぞれ類似し、ピークが同じ位置に
ある。しかし、各カーブは、係数が最適値（＋１．０）
に近いいくつかの位置を有する、すなわち、明らかな包
括的最適値が存在する。その最適値はノイズが存在する
場合だけでない（第２３ａ図乃至第２３ｄ図）。

この事実に１υ、相関係数を最大にする方法がＦＯＥの
計算のためには役に立たなくされる。

いま説明し次、回転からＦＯＥを計算する際に出合う主
な問題は、調べられた関数は良く挙動せず、最適デロー
テーシヨンおよびＦＯＥの位置を探すことを困難にする
ことである。ノイズと残留回転成分により生じさせられ
る乱れは、短へ変位を直線へ延ばし、それらの直線の変
点を計算することによシ増大させられる。下に説明する
方法、ＦＯＥからの回転、はＦＯＥの位置を最初に推測
し、次に、この特定のＦＯＥに対する最適デローテーシ
ヨンを見積ることによシ、その問題を解決するものであ
る。

対応する点の２つの映像ＩＯとＩＩが与えられると、こ
のやり万の主なアルゴリズムステップは次の通りである
。（１）（現在の反復ｌに対する）映像ＩＯ中のＦＯＥ
位置ｘｆ（ｉ）を推測する。（２）写像（ｘ、（＋）　
、　Ｉｏ　ｌ　Ｉ’ｌ）が、最小誤差Ｅ（ｉ）　テ、放
射状写像（（２３）式）からずれるように、映像Ｉｔｔ
映像１１．に変換するデローテーシヨン写像ｒθ−１ｒ
φ−１を決定する。（３）最低最小誤差Ｅ（ｋｌを有す
るＦＯＥ位置Ｘｆ（転）が見出されるまでステップ（１
）と（２）をくり返えす。

ＦＯＥ位置の最初の推１Ｓ１１Ｊは、車に対するカメラ
の向きＫついての知識から行われる。次のフレーム対に
対しては、以前の対から計算されたＦＯＥ位置を始点と
して使用できる。

特定のＸｆがひとたび選択されると、問題は回転写像ｒ
、−１と　ｒφ−１を計算することである。それらの回
転写像が映像１１に加えられると、ＩＯとｘｆに関する
最適放射状写像となる結果となる。

与えられ九写像が放射状写像にどれだけ近いかを測定す
るために１第２の映像（ｘ’ｉ）中の点と「理想的な」
変位ベクトル中の点の間の垂直距離が測定される。「理
想的な」変位ベクトルは、ＦＯＥ　　ｘｆと、第１の映
像ｘ１　中の点とを通る直線上にある（第２４図参照）
。それは、Ｘｆ　から第２の映像中の点ｘｉを通る線の
間の垂直距離ｄ１を測定することを示す。自乗された垂
直距離ｄ１の和は最後の誤差測定値である。対応する映
像点（ｘｌｌ　、ｘ’、εｒ　）の各セットに対して誤
差測定値は Ｅ　（ｘｆ）”　Ｊ’　Ｅ　ｉ＝；ｄ　１（３１） として定義される。

以下の説明においては、水平方向と垂直方向の残留状偉
回転の童が適度に小さい（４度よシ小さい）と仮定する
。はとんどの実際的な場合には、フレームの間の時間間
隙が十分に短いとすると、その条件は満される。しかし
、何らかの理由により車の回転量が非常に大きいとする
と、実際の回転の粗い見積シを（上記のようにして）見
出して。

ＦＯＥ計算の前に映像へ加えることができる。回転量が
小さいと、水平双曲線経路と垂直双曲線経路の上を点が
動く実際の回転写像を、映像全体にわたって一定の長さ
だけの水平と垂直の移動により近似できる。この条件の
下においては、映像位置とは独立である一定ベクトルｓ
−＝（ｍ、ａア）を加えるととＫよシ、逆回転写像ｒＪ
１と　ｒｉｌを近似できる。

Ｉ’ｌ　　＝　　ｒＯ−”ｒ４ζ−”　　Ｉｔ　　＊　
　ｓ＋　　ｒｌ　　　　　　　　　　　（３２）２つの
映像工と■′が与えられると誤差測定値（（３１）式）
が Ｅ（Ｘｆ、８）＝ ここに、ｘｉｇＩ　　と　ｘ′ｉ８１である。与えられ
念ＦＯＥ位置Ｘｆ　　に対しては、問題は２つの未知量
３ｘと＄７に関してＥを最小にすることである。この問
題を１次元探索に縮減するために、「案内点」と呼ばれ
る１つの点Ｘｇが映像Ｉ中で選択される。

この映像は零誤差を維持させられる（第２５図参照）。

ＦＯＥ位置Ｘｆが与えられると、点ｘ′ｉ　に加えられ
る最適２Ｄシフトを決定するために、変位ベクトルセッ
トから１つのベクトルＸｇが選択される。第１に、１１
ｇが線１４１ｇ上にのせられ、それから、誤差値が最小
になるまで映像Ｉ′＝（Ｘ’ｌ　、　Ｘ’ｌ・・・）が
この線の方向へ移動させられる。

したがって、対応する点ｘ′ｇ　はＸｆとＸｇを通る直
線上に必ず含まれる。映像Ｉ′へ加えられるどの移動３
も１１ｇをこの直の上に保たねばならないから、 Ｘ’ｇ　＋　８　”　Ｘｆ＋λ（Ｘｇ−ｘｆ）　　　　
（３４ａ）全てのＳに対して、したがって、 ！　”　ｘｆｘＺｇ＋λ（ｘｇ　　ｘｆ）　（λｇＲ）
　　（３４ｂ）である。λ＝１、Ｓ　＝Ｘｇ　　’）Ｃ
’ｇに対して、それはベクトルｘ′ｇ−４ｘｇである。

これは、Ｘｇと１１ｇが重なり合うように映像工′が移
動させられることを意味する。これはλを自由な変数だ
けのままとし、誤差関数（（３３）式）は次式として得
られ（３５）式をλに関して微分し、得られた式を零に
すると最適シフ）Ｓ。ｐｔに対するパラメータをとして
生ずる。

与えられたＦＯＥＯＲ位置Ｘ対する最適シフト５ｏｐｔ
　と結果としての最小誤差Σ（λ。ｐｔ）が、λ。、ｔ
を式（３４ｂ）と（３５）に代入することにより得られ
、 ”ｍ１ｎ（”ｆ）＝λ２ｏｐｔΣへ＋２λ。、ｔＣ＆、
Ｂ、−ＸｔｑＣ，］−２ｆｆＢｉＣ・＋８ＢＹ＋槙　　
　　　（３７）以下の結果（第２７〜３２図）に示され
ている正規化された誤差Ｅｎが として定められる。ここに、ＮはＦＯＥの計算のために
用いられる変位ベクトルの数である。

カメラの純粋な移動によシひき起される変位の場におい
ては全てのベクトルはＦＯＥから離れる向きを必ず指す
から、この制限を任意の候補ＦＯＥ位置に対して保たね
ばならない（第２５図）。第２の映像■″へ３゜ｐｔ（
ｘｆ）を加えた後で、仮定されたＸｆを指すベクトルを
結果変位の場が含むとすると、とのＦＯＥ位置は禁止さ
れ、第２６図での点Ｘｌにおける場合のように、それ以
上の考察から廃除される。第２６図は５つの変位ベクト
ルの場を示す。与えられたｘｆに対する最適シフト３゜
、ｔが右下隅のベクトルとして示されている。

’ｏｐｔが点ｘ′ｌに加えられると、結果変位ベクトル
（太く示されている）はＦＯＥから離れて指すことはな
い。線ＸｆＸｌ上へのそれの射影がＦＯＥへ向って指す
から、放射状膨張パターンとは両立しないことは確かで
ある。

進行の向きと、カメラの水平と垂直の回転を決定するた
めの最後のアルゴリズムは、次のステップよシ成るｒ　
ＦＯＥを求めるアルゴリズム」である。（１）最初のＦ
ＯＥｘｆＯ次とえば、以前。７レーム対から得たＦＯＥ
位置を推測する。（２）Ｘｉから出発し、Ｅｍｌｎ（ｘ
ｆＯｐｔ）が最小である位置ｘｆ０ｐｔを探す。最も急
な低下の技術が用いられる。

この場合には誤差が最小の向きに探索が続けられる。

（３）　ｘ　１０ｐｔの周囲の、誤差があるしきい値よ
シ小さい領域を決定する。このＦＯＥ領域の探索は、幅
が一定である格子上のＦＯＥ位置において行われる。図
示の領においては、格子間隔はＸ方向とＸ方向で１０画
素である。

誤差関数Ｅ（ｘ（）は変位ベクトルの数Ｎに比例する時
間で計算される。ＦＯＥ領域の最後の寸法は誤差関数の
局部的な形に依存し、ある最大値Ｍをこえないように制
限できる。し念がって、時間の複雑さはＯ（ＭＮ）であ
る。

種々の条件、すなわち、変位ベクトルの平均長さ（長い
変位ベクトルではＦＯＥをよシ正確に見積れる）、映像
中の残留回転成分の量、映像点の位置へ加えられるノイ
ズの量、の下で誤差測定の厳動を調べるために、第１の
実験群を合成映像に対して行った。第２７ａ図乃至第２
７ｄ図は、７つのベクトルを含む、まばらで、比較的短
い変位の場に対して正規化された誤差ＥｎＣｘｆ）の分
布を示す。映像に対する残留回転成分の影響を視覚化す
るために、水平方向と垂直方向に±２度の残留回転成分
が第２７ｂ図乃至第２７ｄ図に示されている。合成デー
タについての他の実験に対する種々の平均ベクトル長（
長さ係数として示されている）Ｋその変位の場を用いた
。案内点を通る変位ベクトルは太い線で示されている。

との点の選択は重要でないが、ベクトルｘｆ；ｇの向き
に対するノイズの影響を小さくするために、ＦＯＥから
かなシの距離の所にその点を位置させるべきである。変
位の場と、選択されたＦＯＥ位置における最小誤差を示
す第２７ａ図乃至第２７ｄ図においては、小さい正方形
１７８で示されている実際のＦＯＥの周囲の２００Ｘ　
２００００画素積上の１０画素の幅の格子内で誤差関数
が標本化される。

各格子点においては、正規化された誤差の量が（（４１
）式）円１８００寸法によシ示される。黒い円１８０は
あるしきい値よシ大きい誤差値を示す。

ＦＯＥを指す変位ベクトルとなる（上記のようＫ）それ
らのＦＯＥ位置は禁止された（＋）として示されている
。２Ｄ誤差関数の形は広い面積にわ次って種々の残留回
転で滑らかく変化し、ＦｏＥの実際の位置へ最小接近を
示す。第２７ａ図は残留回転は表さず、第２７ｂ図はカ
メラの（左への）水平回転２．０度を表し、第２７ｃ図
は（上への）垂直回転２．０度を表し、第２７ｄ図は（
下への）垂直回転−２，０度を表す。

第２８図乃至第３３図は、第２７ａ図乃至第２７ｄ図に
おけるように、実際のＦＯＥの周囲の同じ２００Ｘ　２
００００画素方形におけるこの誤差関数の挙動に対する
種々の条件の影響を示す。

第２８ａ図乃至第２８ｄ図は、誤差関数の形が、残留回
転１＋はノイズ（デジタル化ノイズを除く）がない時に
おける、変位ベクトルの平均長さ（長さ係数は１から１
５まで変化する）にどのように依存するかを示す。誤差
関数の最小は変位量が増加するにつれて一層明らかＫな
る。第２９ａ図乃至第２９ｄ図は、ノイズがない時に、
比較的短いベクトル（長さ係数が２，０）に対して、水
平方向の残留回転の増大の誤差関数の形に対する影響を
示す。

第３０ｄ図乃至第３０ｅ図は、ノイズがない時の、短い
ベクトル（長さ係数２．０）に対する誤差関数の形に及
ぼす、垂直方向の残留回転の影響を示す。ここでは、用
いられる変位の場が映像平面のＹ軸に沿って極めて非対
称的であることに注目することが重要である。これは、
現実のＡＬＴ映ｇ／Ａにおいては、映像よシ下側の部分
に位置させられている地面上の点から最も見出されやす
いのが長い変位ベクトルであゐ、という事実にょシ刺激
される。し念がって、第３０ａ図乃至第３０ｅ図におい
て正と負の垂直回転が加えられている。

第３１ａ図乃至第３１ｊ図において、水平方向と垂直方
向の残留回転が、長さ係数が２．０である短いベクトル
に対して、存在する。第３１ａ図乃至第３１ｅ図におい
ては、誤差関数は映像中の回転成分に対して非常にがさ
つである。第３１ｆ図乃至第３１ｊ図は同じ条件の下に
おける最適直線シフト３゜、ｔの量を示す。第３１ｅ図
における結果は両方向における４、０度／４．０度の大
きな組合わされた回転の影響を示す。ここで、誤差関数
の極小はＦＯＥの実際の位置からかなシずれている。

その理由は、直線シフトを用いることにょシ生じさせら
れる誤差が非直線デローテーシヨン軍備に近似するから
である。その場合には、この誤差関数の極小において見
出される３゜、ｔに等しい回転の量だけ変位の場を実際
にデローテートし、デロ−デートされた変位プロセスを
くシ返えすためにそれは必要である。

一定の平均ベクトル長さ５．０に対する映像点長さに加
えられる−様なノイズの種々の量の影響が第３２ａ図乃
至第３２ｅ図に示されている。この目的のために、ラン
ダムな童の（−様な分布）変位が元の（連続）映像位置
へ加えられ、それから整数画素座標へ丸められる。ラン
ダムな変位が、水平方向と垂直方向に±０．５〜±４．
０画素の範囲で加えられ次。ノイズのレベルが高くなる
につれて、誤差関数の形はＦＯＥの極小の周囲で平らに
なる。変位の場はベクトルを７つだけ含む。ここで観察
されるのは、絶対最小誤差がノイズの量とともに大きく
なる。したがって、第３２ａ図乃至＠３２ｅ図は、映像
中に存在するノイズの量と、最終結果の信頼度の指示器
として作用できる。

変位ベクトルの長さは重要な要因である。変位ベクトル
が短くなると、ノイズが存在するなかでＦＯＥの位置を
正しく探すことが一層困ＩＮＫなる。

第３３ａ図と第３３．ｂ図は、平均ベクトル長が異なる
（長さ係数がそれぞれ２．０と５．０）場合における２
つの変位の場に対する誤差関数を示す。第３３図におい
て変位の場が一層短いと（長さ係数２．０）、誤差関数
の形は同じ量のノイズ（第３１ａ図と比較して）の下で
劇的に変化する。極小誤差（すなわち、局部的な最小）
の探索は、小さい矢印によシ示されて、実際のＦＯＥか
らはるかに離れている領域１８２へ向って収束すること
が不可避である。長さ係数が５．０であると（第３３ｂ
図）、誤差関数の最小はＦＯＥ１１８の実際の位置に一
致する。第３２ｄ図内の点の同じ配列についての異なる
結果が、各実験において得られる種々の乱数（ノイズ）
により生じさせられる。この実験は、連続するフレーム
の間の十分な量の変位がＦＯＥｌしたがって連の移動の
向きを１実に決定するために重要であることを確かめる
ものである。

このＦＯＥアルゴリズムの性能が、動いているＡＬＶか
ら得意一連の実際の映像について下に示されている。ま
た、ＦＯＥの位置が決定された後で、車の絶対速度をど
のようにして見積ることができるかが示されている。こ
の計算のために用いられる重要な測定値は地面よυ上の
カメラの絶対高さである。その絶対高さは一定であって
、既知である。車の絶対速度が与えられると、光景内の
３Ｄ点のカメラからの絶対距離を（２０）式を用いて計
算できる。デローテートされた変位の場とＦＯＥの位置
から、光景の３Ｄ配置を共通の換算係数（（２０）式）
まで得ることができる。先に指摘し念ように、空間内の
１点の３Ｄ位置が既知であるとすると、その換算係数、
したがって車の速度を決定できる。災に、空間内のある
点の位置を映像中のその点の位置から再構成するために
、その点の次だ１つの座標値を知ることが十分であるこ
とを示すことは容易である。

ＡＬＶはかなり平らな表面の上を進むから、車の移動の
向きに平行である平面として道路を近似できる（第３４
図参照）。この近似は、カメラ１８４の視野内の道路の
良い部分に対しては少くとも成立つ。第３４図は平らな
表面１８６に平行に進むカメラ１８４の側面図を示す。

カメラ１８４は２方向へ進むから、地面１８６上の３Ｄ
点はカメラ１８４に対してＺ、からｚｌまで動く。伏角
φは映像１２８内のＦＯＥ　１　ｇｌｌの位置から決定
できる。地面１８６上のカメラ１８４の高さが与えられ
る。

地面１８６　の上のカメラ１８４の絶対高さは一定で、
既知であるから、車１３２　（第６図の）に対する地面
１８６上の点１９２と１９４の位置を絶対値で見積るこ
とが可能である。点１９２と１９４およびカメラ１８４
の間の変化する距離から、実際の進みと速さを決定でき
る。

第１に、カメラ１８４のレンズ中心１２６を原点０とす
る座標系１３０が導入される。この座標系１３０　（Ｄ
Ｚ軸は映像平面内１２８内ＯＦＯＥ１８８を通シ、移動
の向きを目ざす。元のカメラを中心とする座標系（ｘｙ
ｚ　）１３０は、２軸：６（ＦＯＥ１８８　に整列する
まで水平回転と垂直回転を加えるだけで新しいフレーム
（ｘ’　ｙ’　ｚ’　）に変換される。「パン」および
１゛傾き」で表す水平の向きと垂直の向・きは、式（１
４）と（１５）を用いてＦＯＥ１８８　　（ｘｆｙｆ）
を映像の中心（ＯＯ）へ次式のように「回転させる」こ
とによシ得られる。

θ１　＝　１−’　　”ｆ （３９） のカメラ１８４　の高さである。したがって、地面上の
点（ｘ３ｙ３）に対するｘｔｔｒの値は次式のように見
積ることができる。

（４０） ２つの角度θｆとφｆは、新しい座標系（ｘ’ｙ’ｚ′
）に関する３Ｄ内のカメラ１８４の向きを表す。これに
よバ映像点Ｖｏ　（！：）’１を通る投写光線の３Ｄの
向きを、逆透視変換を用いて決定できる。それの映像ｘ
＝（ｘｙ）が与えられる環境内の３Ｄ点Ｘは によシ定められる空間内の直線上にある。第３４図の地
面１８６上の点１９２，１９４　　に対しては、Ｙ座標
は−ｈである。この−ｈは地面１８６の上また、それの
３Ｄ距離は次式のようにν３を（４１）式に代入するこ
とにより得られる。

地面上のある点が、時刻ｔの時にχ３、時刻ｔ′の時に
χ−１というように２つの時刻において観察されたとす
ると、時刻ｔとｔ′における車からのそれぞれの距離ｚ
ｓと　ｚ′３は進み距離ΔＺ８（１，１″）と、この期
間中の見積られた速度Ｖｓ（ｔ、ｔ’）を ΔＺ　Ｓ　（ｔ　＋　ｔ’　）　＝Ｚｓ　　Ｚ’ｓ　　
　　　　　（４４）Ｚｓ−Ｚ’ｓ Ｖｇ（ｔ、ｔ’　）　＝　　　　　　　　　　　　（４
５）ｔ’−ｔ として生ずる。映像ノイズとトラッキング誤差は最後の
速度見積シの品に大きな衝撃を与える。し次がって、最
も長い利用可能な変位ベクトル、すなわち、車に比較的
近いベクトル、はこの測定のために一般に選択される。

また、最初の仮定においては、地面は決して完全に平ら
ではない。それらの誤差を部分的に補償し、かつ速度見
積シの信頼度を一層高くするために、個々のベクトルに
ついての測定結果が組合わされる。映像中の各変位ベク
トルの長さ　ｌｘｉ　Ｘ’ｌｌ　　は、最終結果へのそ
れの寄与のための重みとして用いられる。１組の適百な
変位ベクトル５＝（ｘｉ−ｘ’ｉｊ　が与えられると、
車が進んだ距離の見積シは、個々のベクトルについての
測定値ΔＺｉの重みづけられ次平均値としてとられる。

（４６） そして、車の速度についての最後の見積りはこの計算は
下記の一連の実際的な映像について行われた。

以下の説明においては、ＦＯＥアルゴリズムの結果と、
車の対地速度の計算が、動いているＡＬＶから得意実際
の映像列に示されている。元の一連の映像は、フレーム
速度が１秒間当シ３０フレームである標準ビデオテープ
に記録される。この元の映像列から記憶量と計算量を減
少させるために、０．５秒おき、すなわち、１秒間当シ
２フレームのフレーム速度で読出される。元の色信号の
Ｙ成分（輝度）だけを用いて、映像は５１２Ｘ５１２の
空間解像力へデジタル化される。

第３５ａ図乃至第３５ｆ図は実際のテストのフレームの
縁部映像を示す。点１〜５７が追跡され、昇順番号が附
される。第３５ａ図乃至第３５１図は、縁部検出と点検
出の後で動いているＡＬＶから撮影した元の映像列を示
す。選択された点１〜５７はそれらのマークの左下隅に
位置させられる。

第３５ｊ図乃至第３５ｐ図（フレーム１９１〜１９７）
は、付加点５８〜Ｔ８を含んでおり、縁部検出と点選択
の後で撮影された元の映像列を示す。追跡された点の選
択と一致の次めの緩和ラベリング・ディスパリティ分析
のために適応ウィンドウ技術が開発され次。各点の実際
の映儒位置は対応するマークの左下隅にある。結果とし
て得られた点観察のリストで構成される。次とえば、 時刻ｔｏ　：　（（Ｐｌｔｏ　ＸＩ　）’１　）（ｐａ
　ｔｏ均ｙ、）（ｐ３　ｔ６　ｘｓ　ｙｓ　）・・・）
時刻ｔｌ：　（（Ｐｔ　ｔｔｘｔ７ｓ　）（Ｐ２　ｔｔ
Ｘ２７ｚ　）（Ｐｓ　ｔｘ　ｘｓ　’！ｘ　）・・・）
である。

点に初めて遭遇した時にそれらの点に独特のラベルが与
えられる。点の追跡が開始され次後で、この点がもはや
追跡されなくなるまでそれのラベルは不変の１１にされ
る。追跡されている点に対しての以後のフレーム中で対
応性が見出されないと、その点の追跡は中断される。そ
の対応性が見出されない理由は、それを識別できないか
、つまっているか、特徴が視野から抜は次かのいずれか
である。同じ点が再び現われたとすると、その点は新し
いものとして取扱われ、新しいラベルが与えられる。第
３５ａ図乃至第３５ｉ図に示す一迷の映像においては、
１つの映像画シ約２５個の点が選択されている。膨張の
焦点の探索においては、以前のフレーム対からの最適Ｆ
ＯＥ位置が最初の推測としてとられる。最初のフレーム
対に対しては（以前の結果を利用できない時）、車に対
するカメラの既知の取付けからＦＯＥの位置が推測され
る。２台の車（２４と２３）上で追跡される点は動いて
いることが知られているものと仮定され、ＦＯＥと車の
回転および速度を計算する次めの基準点としては用いら
れない。仁の情報は、推理プロセスによシ、定性的光景
モデル（第２図）とともに、最終的に供給される（第３
図）。

第３６ａ図乃至第３６ｐ図は、第３５ａ図乃至第３５ｐ
図に示されている映像列に対する変位ベクトルと車の動
きの見積シを示す。黒くされ次領域１９０は可能なＦＯ
Ｅ位置を示し、この領域１９０内の円１７８は最小誤差
値のＦＯＥである。ＦＯＥ比は領域１９０内の誤差関数
の平坦さを測定する。

ま九１、ｆｉｇ　３６　ａ図乃至第３６ｐ図は、前の図
におけるのと同じ映像列について車の動きを計算した結
果を示すものである。各フレームｔは、とノｔと前のフ
レーム（ｔ−１）の間の時間についての動きの見＆シを
示す。し次がって、最初のフレーム（１８２）において
は見積りは利用できない。

与えられたＮｋｖＪの推測から出発して、ＦＯＥアルゴ
リズムは映像の位置をｉ＆初に探す。その映像位置は禁
止されず、かつ誤差関数（（３５）式）が最小である。

このＦＯＥ位置において行われた最適水平シフトと最適
垂直シフトを用いて、Ｘ軸とＹ軸を中心とする車の回転
を見積る。次のフレームのための最初の推測であるこの
点は、黒くされている領域内の小円として示される。等
しい回転成分が±１度の尺度でグラフ状に示されている
。中間プローチルジョンと、Ｆ’ＯＥ探索の反復を加え
る必要が決してないように、それらの回転成分はシーケ
ンス全体を通じて比較的小さい。元の変位ベクトル（実
線）とともに、デローテーシヨン後に得たベクトルが破
線で示されている。

誤差が最小の位置が見出された後で、潜在的なＦＯＥ位
置の領域を成長させる九めの種としてそれは用いられる
。その領域の成長は、次の２つの制約によって限られる
。（１）その領域内の最大誤差と最小誤差の比が制限さ
れる。すなわち、Ｅ　Ｉ　／　Ｅ　ｍ　１　ｎ　＝ｐ　
１　≦ｐ　ＺＩｍｎ　　　　　　ｎ （誤差関数Ｅｎの定義のための（４０）式を参照のこと
。）哄差比ρ１が限界ρＬｉｒｎをこえるよりなＦＯＥ
位置はその領域に連結されない。したがって、その領域
の最後の寸法は誤差関数の形に依存する。この例におい
ては比ρｔｉｍは４．０にセットされた。同様に、禁止
され次位置（第２６図）は考慮しない。Ｃ）領域Ｍと与
えられ九ＦＯＥ領斌との誤差値とは無関係に、領域Ｍの
最大寸法はＦＯＥ領域によシ与えられる。その領域の内
部の点に対する結果としての誤差比ρｍａｘ＝ｍａｘ（
ρｉ）はこの領域に対する誤差関数の形を示す。比ρｍ
ａｘの低い値は平らな誤差関数を示す。ρｍａｘ　　に
対する値が全ての映像においてＦＯＥ比として示されて
いる。

車の絶対速度を計算するためには、各フレーム対におい
てほんのわずかの突出した変位ベクトルが選択された。

それの基準は、ベクトルはＦＯＥの下に位置させられる
こと、およびベクトルの長さは２０画素をこえることで
ある。選択された（デローテートされた）ベクトルの終
点には黒点がつけられる。絶対進みの計算のために用い
られるパラメータは地面上のカメラの高さであって、３
．３メートル（リフイード）である。

第３７図は本発明のハードウェア実施例２００を示す。

カメラ２０２としては、垂直視野が４８度で、水平視野
が５０度である日立製のテレビカメラを使用できる。カ
メラ２０２は水平よシ下側へ１６．３度の伏角でセット
できる。カメラ２０２によシ撮影された映像列２０４は
、Ｉｓプロセッサ２０Ｂとブイニーｘツクス（ＶＡＸ）
１１／７５０コンピユータ２１０を含むトラッキング手
段２０６へ送られる。トラッキング手段２０６は映像列
２０４のフレームの間のトークンを追跡する。

ラッキング手段２０６の出力は、トークンと対応する映
像を対応させる手段２１２へ加えられる。

２種類のコンピュータ２１０と　２１８に対してはＶＡ
Ｘ−シンポリツクス（Ｓｙｍｂｏｌｉｃｓ）双方向ネッ
トワークプロトコル手段２１４が手段２１２と、シンポ
リツクス（Ｓｙｍｂｏｌｉｃｓ）　３６７０　：ｒンビ
ュータ２１８との間に接続される。もつとも、１台のコ
ンピュータを使用することも可能であ）、そうすると手
段２１４は不要である。コンピュータ２１８は膨張のぼ
やけた焦点と、動きの回転／移動見積シを得るための処
理を行う。コンピュータ２１８に用いられる言語環境は
共通ＬＩＳＰである。

本発明の実施例における方法とプロセスは以下のプログ
ラミングによシ実現される。

明細舎の浄コ（内容に変更なし） 明ａｌｌの浄書（内容に変更なし） 明細書の浄書（内容に変更なし） ’７’：”：Ａコの１９ｇ（内容に変更なし）明細、ビ
の浄Ｓ（内容に変更なし） 四劇書の浄書（内容に変更なし） 明４’１ｌｌｅの浄書（内容に変更なし）トー　ψへ 明に、ｉにのｉ（’１ｔＦ（内容に変更なし）ｌＷ！細
書の浄書（内容に変更なし） 明＋ｔｎ二の１占（内容に変更なし） 明＃１工の：＞　、！■内容に変更なし）明ＩＩＡｔＦ
の浄書（内容に変更なし）明細コの浄書（内容に変更な
し） −５２７− 明細書の１魯（内容に変更なし） 明細壽の、’＞　−＋３　（内容に変更なし）明ぶはの
浄書（内容に変更本し） ＋　１　、＋、＋、＋−ノ２、、−−＾、＋　’＋＋ｌ
　、−＋、　　＋−メ＾−ノ　　ＰＳ赤〜−７明細、吻
浄ご（内容に変更なし） 明、′Ｊ時の、１・ｉ！）（内ぞｉに変更なし）明細書
の浄古く内容に変衷なし） 明細占のｊ’Ｐ　３　（内容に変更なし）明細書の浄が
（内容に変更なし）

【図面の簡単な説明】

第１図は本発明の機能的ブロック図、第２図は三次元光
景構成への本発明の拡張された応用を示す図、第３図は
カメラモデルと対応する座標系を示し、第４図はカメラ
に水平回転と垂直回転を９続いて加える状況を示し、第
５図は純粋のカメラ移動のための膨張位置の焦点（ＦＯ
Ｅ）の効果を示し、第６図はカメラを有する車が動いて
いる間の個々の時間段階のためのＦＯＥの概念を示し、
第７図は個々の時間段階のためのＦＯＥからの膨張の量
を示し、第８ａ図と第８ｂ図はカメラの水平回転と垂直
回転および移動によりひき起された変位の揚上、デロー
テートされた変位の場とをそれぞれ示し、第９ａ図と第
９ｂ図それぞれ映像平面と回転空間を示し、第１０ａ図
と第１０ｂ図はそれぞれ回転空間から映像平面への多角
形の写像と、映像平面から回転空間への多角形の写像を
それぞれ示し、第１１ａ図乃至第１１ｃ図は変化する回
転多角形を示し、第１２図は、動かされた時に交差の分
散を変化させる垂直線と変位ベクトルの交差を示し、第
１３図は各種の誤差関数を評価するために用いられる変
位の場を示し、第１４ａ図乃至第１４ｄ図は種々の垂直
回転量に対する位置における垂直横断面における交差の
標準偏差を示し、第１５轟図乃至第１５ｄ図は、水平回
転がなく、映像場所へ画素ノイズが加えられない時の種
々の垂直回転量に対する位置における垂直横断面におけ
る交差の標準偏差（平方根）を示し、第１６ａ図乃至第
１６ｄ図は水平回転がなく、映像場所へプラスマイナス
１画素のノイズが加えられている時の種々の垂直回転量
に対する位置における垂直横断面における交差の標準偏
差（平方根）を示し、第１７ａ図乃至第１７ｄ図は水平
回転がなく、映像場所へプラスマイナス２画素のノイズ
が加えられている時の種々の垂直回転量に対する位置に
おける垂直横断面における交差の標準備差（平方根）を
示し、第１８ａ図乃至第１８ｄ図はＦＯＥの水平場所が
ｘｆで示されている、変化する水平回転の下における最
小交差標準偏差の場所を示し、第１９ａ図乃至第１９ｄ
図は映像場所へノイズが加見られていない時の、変化す
る水平回転の下における最小交差標準偏差の量を示し、
第２０ａ図乃至第２０ｄ図は映像場所へプラスマイナス
２画素のノイズが加えられている時の、変化する水平回
転の下における最小交差標準偏差の量を示し、第２１図
はＦＯＥの同じ側にある２本の垂直線を有する交差する
変位ベクトルを示し、第２２ａ図乃至第２２ｄ図はノイ
ズが加えられていない時の、変化する水平回転の下にお
ける２本の垂直線における変位ベクトルの交差に対する
相関係数を示し、第２３ａ図乃至第２３ｄ図は映像場所
へプラスマイナス２画票のノイズが加えられている時の
、変化する水平回転の下における２本の垂直線における
変位ベクトルの交差に対する相関係数を示し、第２４図
は変位ベクトルと、それらの変位ベクトルの誤差測定を
示し、第２５図は１組の変位ベクトルに対する最適な二
次元シフトをどのようにして決定するかを示し、第２６
図は最適シフトを加え念結果として生じた変位場所がＦ
ＯＥから離れる向きを指していないベクトルになる結果
となるならば、ＦＯＥ場所がどのようＫして分散させら
れるかを示し、第２７ａ図乃至第２７ｄ図は選択された
ＦＯＥ場所における変位場所と最小誤差を示し、第２８
ａ図乃至第２８ｅ図は誤差関数の形に対する変位ベクト
ルの平均長さの増大の影響を示し、第２９ａ図乃至第２
９ｅ図は比較的短いベクトルについての誤差関数の形に
対する水平方向における増大する残留回転の影響を示し
、第３０ａ図乃至第３０ｅ図は比較的短いベクトルにつ
いての誤差関数の形に対する垂直方向における増大する
残留回転の影響を示し、第３１ａ図乃至第３１ｅ図は比
較的短いベクトルについての誤差関数の形に対する水平
方向と垂直方向における増大する残留回転の影響を示し
、第３１ｆ図乃至第３１ｊ図は第３１ａ図乃至第３１ｅ
図におけるのと同じ条件の下で得られる最適直線シフト
の量を示し、第３２ａ図乃至＄　３２　ｅ図は一定の平
均ベクトル長さについて映像点座標へ加えられる−様な
ノイズの影響を示し、第３３ａ図と第３３ｂ図はそれぞ
れより短い平均ベクトル長さと、よシ長い平均ベクトル
長さについて映像点座標へ加えられる−様なノイズの影
響を示し、第３４図は平らな表面に平行に移動している
カメラの側面図、第３５ａ図乃至第３５ｉ図は選択され
た点が、縁部検出と点検出の後で動いている車から撮影
した元の映像の左下欄に設けられているそれらの映像平
面の列を示し、第３５ｊ図乃至第３５ｐ図は縁部検出と
点検出後の元の映像シーケンスを示し、第３６ａ図乃至
第３６ｐ図は第３５図乃至第３５ｐ図に示されている映
像シーケンスに対する車の動きの変位ベクトルと見積シ
を示し、第３７図は本発明の実施例の特定のノ・−ドウ
エア実現を示す。 １１４　・・・・　トークントラッキング、１２２・・
・・ｆ＆適！ローテーション、１２４　　・・・φＦＯ
Ｅ探索器、２０２・Φ・・カメラ、２０８　・・・・プ
ロセッサ、２１０　・・・・コンピュータ。

Claims (4)

【特許請求の範囲】
1. （１）視野内の一連の映像を検出する映像形成手段と、 この映像形成手段へ接続され、連続する各映像対に対す
   る選択されたトークンの２次元変位ベクトルを決定し、
   隅の点、輪郭部分、領域境界の２次元基準を基準として
   用いて、映像中の視覚環境の静止部分を映像から映像へ
   追跡するトークントラッキング手段と、 このトークントラッキング手段へ接続され、前記映像形
   成手段の前方並進の下における膨張の焦点候補位置と、
   前記映像形成装置の後方並進の下における収縮の焦点候
   補位置とを選択し、候補位置の接続されている映像領域
   と対応する回転の距離を形成し、膨張または収縮の焦点
   と映像回転見積りを出力する探索手段と、 前記トラッキング手段と前記探索手段へ接続され、膨張
   または収縮の焦点のための選択された候補位置のための
   最適な３次元回転角プラス誤差値を決定する最適回転手
   段と、 を備え、２次元変位ベクトルはカメラの動きの結果であ
   る、自己の映像形成から自身の自己運動を決定できる映
   像形成装置。
2. （２）連続する２次元映像対から２次元変位ベクトルを
   デローテーテイング（ｄｅｒｏｔａｔｉｎｇ）して、映
   像形成装置の回転の影響を除去するデローテーシヨン（
   ｄｅｒｏｔａｔｉｏｎ）手段と、このデローテーシヨン
   手段へ接続され、２次元変位ベクトルから、２次元映像
   上の膨張位置の可能な焦点の２次元領域である、膨張の
   ぼやけた焦点（ＦＯＥ）を計算する第１の計算手段と、
   前記デローテーシヨン回路へ接続され、ぼやけているＦ
   ＯＥから、前記映像形成装置の自己運動パラメータを計
   算する第２の計算手段と、 を備える自己の映像形成から自身の自己運動を決定でき
   る映像形成装置。
3. （３）２次元変位ベクトルから、映像形成装置の映像内
   の可能な膨張の焦点（ＦＯＥ）位置を計算する計算手段
   と、 この計算手段へ接続され、可能なＦＯＥ位置を組合わせ
   ることにより、移動の近似的な向きと、前記映像形成装
   置の空間内の回転量とを示すぼやけたＦＯＥにする組合
   わせ手段と、 前記計算手段へ接続され、デローテートされた２次元変
   位ベクトルを前記計算手段へ出力するように、前記映像
   装置の回転を映像から除去するデローテーシヨン手段と
   、 を備える、自己の映像形成から自身の自己運動を決定で
   きる、環境内の映像形成装置。
4. （４）引続く２次元映像の２次元変位ベクトルから膨張
   の焦点（ＦＯＥ）位置を計算する過程と、ＦＯＥ位置の
   定量的な指示であつて、かつ各映像に対する可能なＦＯ
   Ｅ位置のエリアであるぼやけたＦＯＥ領域を計算する過
   程と、 映像形成装置自身の基準座標系に対する前記映像形成装
   置の移動の近似的な向きと、回転の近似的な量とをぼや
   けたＦＯＥから決定する過程と、前記映像形成装置の回
   転の影響を変位ベクトルから除去する過程と、 を備え、環境内の映像形成装置の自己運動を決定する方
   法。