JPH01213093A - ３次元位置抽出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 以下の順序で本発明を説明する。

Ａ産業上の利用分野 Ｂ発明の概要 Ｃ従来の技術 り発明が解決しようとする問題点 Ｅ問題点を解決するための手段（第１図）Ｆ作用（第１
図） Ｇ実施例（第１図〜第１３図） （Ｇｌ）第１の実施例（第１図〜第５図）（Ｇ２）第２
の実施例（第６図及び第７図）（Ｇ３）第３の実施例（
第８図及び第９図）（Ｇ４）第４の実施例（第１０図及
び第１１図）（Ｇ５）第５の実施例（第１２図及び第１
３図）（Ｇ６）他の実施例 Ｈ発明の効果 Ａ産業上の利用分野 本発明は３次元位置抽出方法に関し、特に複数の撮像手
段から得られる撮像画像に基づいて移動物体でなる被測
定対象の３次元位置を測定するようになされた３次元位
置抽出方法に適用して好適なものである。

Ｂ発明の概要 本発明は、撮像画像の微小領域についてその特徴量を比
較することにより、被測定対象の３次元位置を得るよう
になされた３次元位置抽出方法において、当該特徴量の
比較結果を移動物体を撮像してなる微小領域について得
ることにより、全体として簡易な構成で高速度で移動物
体の３次元位置を得ることができる。

Ｃ従来の技術 従来、この種の３次元位置抽出方法においては、被測定
対象を撮像装置で立体視することにより、被測定対象の
３次元位置情報を得るようになされたものが提案されて
いる（特開昭６０−１９９２９１号公報、特開昭６０−
１９９２９２号公報、特開昭６０−１９９２９３号公報
、特開昭６２−１３１３８１号公報、特開昭６２−２９
６２７６号公報）。

すなわち複数の撮像装置を用いて被測定対象を立体視し
た場合乙こおいては、各撮像装置間で被測定対象までの
距離を応じて視差が生じ、撮像画像間で被測定対象の画
像がその視差の分だけずれた位置に得られる。

従って各撮像画像から被測定対象の輪郭を抽出し、当該
輪郭を基準にして各撮像画像間における被測定対象のず
れ量を検出することにより、当該輪郭を備えてなる被測
定対象の３次元位置を抽出することができる。

従って当該３次元位置の変化を検出するようにすれば、
移動物体か否かを識別し得、これに基づいて移動物体の
３次元位置を検出することができる。

Ｄ発明が解決しようとする問題点 ところが、この種の３次元位置抽出方法においては、例
えば通りを通行する人や自動車のような自然物体を被測
定対象として３次元位置情報を得る場合においては、未
だ不十分な問題があった。

すなわちこのような自然物体を撮像して得られる撮像画
像（以下自然動画像と呼ぶ）においては、被測定対象の
輝度レベルが全体として滑らかに変化することから、被
測定対象の輪郭を抽出することが困難な場合が生じ、実
用上被測定対象の３次元位置情報を抽出することが困難
な場合があった。

この問題を解決するための１つの方法として、撮像画像
を構成する各微小領域について特徴量を検出し、当該特
徴量を基準として被測定対象の３次元位置情報を抽出す
るようになされたものが提案されている（特願昭６２−
２３５７９号、特願昭６２−２３５８０号、特願昭６２
−２３５８１号）。

この場合、撮像画像の各微小領域において、輝度レベル
の変化方向を特徴量として検出し、各撮像間で同一の特
徴量を備えてなる微小領域を検出する。

これにより、撮像画像間で同一の被測定対象又は背写の
一部を撮像してなる微小領域（以下対応点と呼ぶ）が検
出され、各撮像画像間における当該対応点の位置ずれ量
を検出して視差を得ることにより、撮像画像の各微小領
域について３次元位置情報を得るごとができる。

従ってこの手法を用いるようにすれば、自然動画像にお
いても、撮像画像の全面に亘って３次元位置情報を得る
ことができ、当該３次元位置情報−６＝ に基づいて、撮像画像に対応した２次元的な広がりを有
する深度地図（すなわち撮像装置から等距離の微小領域
を等直線で結んでなる）を得ることができる。

従って当該深度地図に基づいて、撮像装置からの距離が
変動した領域を抽出するようにすれば、移動物体の３次
元位置情報を抽出することができる。

ところがこの手法においては、−旦撮像画像の全面に亘
って３次元位置情報を得て深度地図を作成するようにな
されているため、その処理時間が長大になると共に全体
の構成が煩雑になり、実用上未だ不十分な問題があった
。

本発明は以上の点を考慮してなされたもので、全体とし
て簡易な構成で処理に要する時間が短い移動物体の３次
元位置抽出方法を提案しようとするものである。

Ｅ問題点を解決するための手段 かかる問題点を解決するため本発明においては、複数の
撮像手段３Ｌ、３Ｃ１３Ｒから得られる撮像画像の微小
領域について特徴量ＤＴ、、Ｄ、、、Ｄア８、・・・・
・・、Ｉ）ｔｑを検出し、各撮像画像間の微小領域につ
いて特徴量ＤアいＤア２、ＤＴ３、・・・・・・、ＤＴ
Ｑを比較し、比較結果Ｄｎｒ＋　％　Ｄｏｖｔ　、ＤＤ
Ｆ３、・・・・・・、Ｄ　ＤＦ９に基づいて撮像手段３
Ｌ、３Ｃ，３Ｒの被写体でなる被測定対象の３次元位置
情報を得るようになされた３次元位置抽出方法において
、移動物体を撮像して得られる微小領域について比較結
果ＤＤＦＩ　、ＤＤＦ！　、ＤＤＦ＋　、・・・・・・
、Ｄ　ＤＦ９を得ることにより、移動物体の３次元位置
情報ＤＦを得るようにする。

Ｆ作用 撮像画像の全面に亘って３次元位置情報を得て深度地図
を作成する代わりに、移動物体を撮像して得られる微小
領域について比較結果Ｄ□３、ＤＤＦ２　、ＤＤＦ！　
、・・・・・・、Ｄ　ＤＦ９を得ることにより、全体と
して簡易な構成で高速度で移動物体の３次元位置情報Ｄ
Ｆを抽出することができる。

Ｇ実施例 以下図面について、本発明の一実施例について詳述する
。

（Ｇ１）第１の実施例 第１図において、１は全体として３次元位置抽出装置を
示し、自然物体でなる被測定対象を撮像して移動物体の
３次元位置情報を得るようにしたものである。

すなわち、単色ビデオカメラで構成された撮像手段３Ｌ
、３Ｃ及び３Ｒは、撮像手段３Ｃを中央にして光軸が水
平方向に同一面上で互いに平行になり、かつ光軸が等間
隔に配置されて被測定対象を立体視するようになされて
いる。

従って当該撮像手段３Ｌ、３Ｃ及び３Ｒを介して被測定
対象までの距離に応じて視差の生じた撮像画像を順次ラ
スク走査のタイミングで得ることができる。

さらに中央に配置された撮像手段３Ｃは、当該撮像画像
の画像データＤＣＣを直接出力すると共に撮像手段３Ｌ
及び３Ｒと共にローパスフィルタ回路及びサンプリング
回路（図示せず）を介して、第２図に示すように移動物
体の認識に実用上十分な範囲で撮像画像の空間周波数を
低い周波数に帯域制限し、これにより撮像画像の画像デ
ータをサンプリング周波数の低い画像データＤ、いり。

Ｃ及びＤＧＲに変換して出力するようになされている。

従って当該画像データＤ、いＤＧｃ及びＤＧＲに基づい
て移動物体を認識するにつき、サンプリング周波数を低
くした分、当該３次元位置抽出装置の構成を簡略化し得
ると共に処理速度を速くすることができる。

特徴量検出手段４Ａ、４Ｂ、４Ｃ，・・・・・・、４■
は、第３図に示すように、簡単な整数をマトリックス状
に配置してなる特徴量検出マトリックスＴ１〜Ｔ９を有
し、画像データＤ、いＩ）ｃｃ及びＤｌｉＲによって表
される撮像画像ごとに当該特徴量検出マトリックスＴ１
〜Ｔ９を用いて特徴量を検出する。

すなわち、特徴量検出手段４Ａ〜４■は、撮像画像の水
平方向及び垂直方向に連続するそれぞれ３つの微小領域
（以下局所領域と呼ぶ）について、当該局所領域の各輝
度データを水平方向及び垂直方向に対応して３×３のマ
トリックス状（以下局所領域の輝度マトリックスと呼ぶ
）に配置し、当該局所領域の輝度マトリックスで表され
る９次元のベクトルに対しく以下輝度ベクトルと呼ぶ）
、それぞれ特徴量検出マトリックスＴ１〜Ｔ９で表され
る９次元のベクトル（以下特徴量検出ベクトルと呼ぶ）
との内積を得る。

さらにその結果得られる内積値を正規化することにより
、各撮像画像の各微小領域について局所領域の中心でな
る微小領域の特徴量を検出し、特徴量データＤＴＩ、Ｄ
Ｔ□、ＤＴ３、・・・・・・、Ｄア、として出力するよ
うになされている。

特徴量検出マトリックスＴ１〜Ｔ９は、各要素が簡単な
整数に選定され、斜め方向に同じ値の整数が３種類の繰
り返し周期で繰り返されるように配置されている。

すなわち特徴量検出マトリックスＴ２及びＴ５において
は、それぞれ１行１列及び１行３列の要素でなる値１の
整数が、斜め方向に続いて３行３列及び３行１列の要素
でなるように、同じ値の要素が斜め方向に繰り返されて
なる。

これに対し、特徴量検出マトリックスＴＩ及びＴ４にお
いては、それぞれ１行１列及び１行３列の要素値２が３
行３列及び３行１列で値−２になるように配置され、繰
り返し周期が特徴量検出マトリックスＴ２及びＴ５の２
倍になるようになされている。

さらに特徴量検出マトリックスＴ３及びＴ６においては
、１行１列及び１行３列の要素値１が斜め方向にそれぞ
れ２行３列及び３行２列と、２行１列及び３行２列で繰
り返されるように配置され、繰り返し周期が特徴量検出
マトリックスＴ２及びＴ５の約１／２倍になるように選
定されている。

因に、特徴量検出マトリックスＴ７及びＴ８においては
、特徴量検出マトリックスＴ２及びＴ５と同じように左
右斜め方向に繰り返し周期が選定され、特徴量検出マト
リックスＴ９は各要素とも値１に選定されている。

従って、当該特徴量検出マトリックスＴ１〜Ｔ９を用い
て、それぞれ輝度ベクトル及び各特徴量検出ベクトルと
の内積値を得るようにすれば、当該局所領域の輝度レベ
ルと各特徴量検出マトリックスＴ１〜Ｔ９に対する当該
局所領域の空間周波数に基づいて、値が変化する内積値
を得ることができる。

かくして第４図及び第５図に示すように、特徴量検出マ
トリックスＴ１〜Ｔ９を用いて特徴量検出ベクトル及び
輝度ベクトルの内積値を得るにつき、当該特徴量検出マ
トリックスＴ１〜Ｔ９の各要素に応じて帯域の異なる２
次元空間周波数フィルタを構成することができる。

さらにこのとき、斜め方向に空間周波数の異なるフィル
タを構成するように当該特徴量検出マトリックスの要素
の値を選定したことにより、ラスク走査のタイミングで
得られる画像データから特徴量を検出するにつき、隣接
する微小領域間の特徴量の相違を確実に検出することが
できる。

さらに特徴量検出マトリックスＴ１〜Ｔ９においては、
各要素が２のべき乗で表される値の正負数になるように
選定されている。

従って、局所領域について特徴量検出ベクトル及び輝度
ベクトルの内積値を得る場合、単に局所領域の輝度デー
タをビットシフト及びビット反転を繰り返して加算する
だけで良いので、その分演算処理に要する時間を短縮す
ることができ、全体として簡易な構成で確実に特徴量を
検出することができる。

さらに特徴量検出マトリックスＴ１〜Ｔ９においては、
それぞれ複数の要素が値０以外の値になるように選定さ
れている。

従って特徴量検出ベクトル及び輝度ベクトルの内積値を
得る際に、ノイズ等の影響で微小領域の１つに輝度レベ
ルの検出誤差が生じた場合でも、複数の要素を値Ｏ以外
の値に設定しただけの簡易な構成で当該検出誤差の影響
を低減し得、かくして確実に特徴量を検出することがで
きる。

さらに、当該特徴量検出マトリックスＴ１〜Ｔ９におい
ては、各特徴量検出ベクトルＴ１〜Ｔ９間の内積値が値
０になるようになされ、各特徴量検出ベクトルが９次元
空間上で互いに直交するいわゆる直交基底ベクトルを構
成するようになされている。

従って各特徴量検出マトリックスＴ１〜Ｔ９について局
所領域の輝度ベクトル及び特徴量検出ベクトルの内積値
を得るにつき、互いに相間のない内積値を得ることがで
き、これにより局所領域の特徴量を小規模なマトリック
スで無駄なくかつ効率良く検出することができる。

また、同一の空間周波数を検出するようになされた特徴
量検出マトリックスＴ１及びＴ４、Ｔ２及びＴ５、Ｔ３
及びＴ６とＴ７及びＴ８においては、要素の値の繰り返
し方向が互いに直交するようになされ、これにより局所
領域の空間周波数に加えてその変化方向をも検出するこ
とができる。

従って特徴量検出マトリックスＴ１〜Ｔ９で表される特
徴量検出ベクトルを用いて局所領域の内積値を得るよう
にすれば、２次元の空間周波数フィルタに加えてその周
波数の変化方向を検出する検出手段を構成することがで
きる。

特徴量検出手段４Ａ〜４Ｉは、各特徴量ベクトルに基づ
いて局所領域について得られた内積値を、当該局所領域
の輝度レベル及び特徴量検出マトリックスの絶対値を用
いて正規化し、当該局所領域の中心でなる微小領域の特
徴量データＤア、〜ＤＴ９として出力する。

すなわち、特徴量検出マトリックスＴ１〜Ｔ９で表され
る特徴量ベクトルをＴｎ、輝度マトリックスで表される
輝度ベクトルをＢとおくと、特徴量ベクトルＴｎ及び輝
度ベクトルの内積値Ｂは（Ｂ、Ｔｎ）で表され、次式 ％式％） の関係式で表される演算処理手順を実行することにより
特徴量を得る。

因に内積値（Ｂ、Ｔｎ）を値（Ｂ　、　Ｂ　）　Ｉｙ　
ｚで除算することにより、当該局所領域の輝度ベクトル
Ｂの長さで内積値を除算することができ、これにより局
所領域の空間周波数及び変化方向だけで決まる特徴量を
得ることができる。

さらに、値（Ｔｎ、Ｔｎ）””で除算することにより、
特徴量検出ベクトルＴｎの長さによる特徴量の相違を正
規化することができる。

従って（１）式で表される特徴量は、局所領域の空間周
波数及びその変化方向を、９つの特徴量検出マトリック
スＴ１〜Ｔ９に対応して、９次元空間上に配置された単
位半径１の球面上の１点として定量的に表すことができ
る。

従って当該特徴量に基づいて対応点を検出するにつき、
特徴量検出マトリックスＴ１〜Ｔ９によって表される特
徴量ベクトルＴｎを直交基底ベクトルに選定したことに
より、簡易かつ確実に対応点を検出することができる。

かくして特徴量検出マトリックスＴ１〜Ｔ９において、
複数の要素を値０以外の簡易な整数に選定すると共に当
該特徴量検出マトリックスＴ１〜Ｔ９で表される特徴量
検出ベクトルが直交基底ベクトルを構成するようにした
ことにより、３行３列でなる簡易なマトリックスを用い
た場合でも実用上十分な範囲で確実に特徴量を検出する
ことができ、かくして全体として簡易な構成で確実かつ
無駄なく特徴量を検出することができる。

これに対して対応点検出手段５Ａ〜５Ｉは、各特徴量デ
ータＤ　Ｔ　Ｉ〜ＤＴ９ごとに対応点を検出し、当該対
応点の視差データを得るようになされている。

すなわち、３つの撮像手段３Ｒ１３Ｃ及び３Ｌを介して
得られる撮像画像の特徴量データＩ）ｔ＋〜Ｉ）ｔｑに
おいては、同一の被写体を撮像してなる微小領域では同
一の特徴量を得ることができる。

従って３つの撮像画像について、水平方向に同一の特徴
量を備えてなる微小領域を検出すれば、対応点を検出し
得、中央に配置した撮像手段（この場合撮像手段３Ｃで
なる）を基準にして対応点間のずれ量を検出すれば、当
該ずれ量に基づいて視差データを得ることができる。

対応点検出手段５Ａ〜５Ｉは、上述の測定原理に基づい
て各特徴量データＤＴＩ−ＤＴ、を比較し、その結果得
られる視差データＤＦＴＩ　〜ＤＦア、を出力する。

かくして、対応点検出段５Ａ〜５Ｉにおいては、撮像画
像の微小領域に対応する２次元的な広がりに加えて、視
差データに基づいて深さ方向の広がりを備えてなる３次
元的な広がり（以下このような３次元的な広がりを有す
る立体を特徴立体と呼ぶ）の視差データＤＦア、〜ＤＦ
Ｔ９を得ることができる。

静止部検出手段６Ａ、６Ｂ、６Ｃ１・・・・・・、６Ｉ
は、視差データＤ　ＦＴ　Ｉ　”　Ｄ　Ｆア、をそれぞ
れ受け、視差データＤＦＴＩ　〜ＤＦＴ９及び当該静止
部検出手段６八〜６■に格納されてなる平均視差データ
ＤＡＦＩ　〜ＤａＦｑの加重平均を得、その結果得られ
る視差データを新たな平均視差データ　ＤＡＦＩ　〜Ｄ
　Ａｒ１として記憶手段に格納する。

従って当該静止部検出手段６八〜６Ｉにおいては、時系
列的に積分化された特徴立体が形成され、これにより視
差データＤＦＴＩ　〜ＤＦア、のうち撮像画像のフレー
ム間で変化のない画像部分（すなわち静止画部分でなる
）の視差データが平均視差データＤＡＦＩ−ＤＡｒｑと
して蓄積される。

これに対して動部検出手段７Ａ〜７Ｉは、それぞれ視差
データＤＦＴＩ−ＤＦＴＩ＋及び平均視差デーＤＡＦＩ
　〜Ｄ　Ａ、、を受けて比較処理することにより、平均
視差データＤ　Ａ　ｙ　Ｉ”　Ｄ　ＡＦｑに対して視差
データＤＦＴＩ〜ＤＦＴ９の値が異ってなる微小領域に
ついて、視差データＤＤＦＩ〜Ｄ　ＤＦ９を抽出する。

従って当該動部検出手段７Ａ〜７■においては、撮像画
像において変化の生じた部分（すなわち動画部分でなる
）を抽出した特徴立体が形成され、抽出された視差デー
タが視差変化データＤ。Ｆｌ　〜ＤＤＦ９　として出力
される。

かくして、この実施例において静止部検出手段６Ａ〜６
Ｉ及び動部検出手段７八〜７Ｉは、対応点検出手段５Ａ
〜５Ｉを介して得られる比較結果に基づいて移動物体で
なる被測定対象を撮像して得られる微小領域を抽出する
移動物体の抽出手段を構成する。

視差データ検出手段８は、当該視差変化データＤ　Ｄ　
Ｆ　Ｉ〜Ｄ　ＤＦ９を受け、動画部分でなる微小領域の
視差データＤＦを算出する。

すなわち各視差変化データＤＤ、、”−ＤＤ、９の加重
平均を得、その結果得られる視差データＤＦを動画部分
でなる微小領域の視差データＤＦとして動画像表示手段
９に出力する。

実際上各撮像画像間において、同一の特徴量を具えてな
る微小領域を検出して対応点を検出するようにすると、
真の対応点の他に偽の対応点（以下偽対応点と呼ぶ）が
検出される問題がある。

従ってこのように、９つの特徴量に基づいて得られた視
差変化データＤ。Ｆ１〜Ｄ　Ｄ　Ｆ　ｑを加重平均して
視差データＤＦを得ることにより、偽対応点を排除して
、正しい視差データを得ることができる。

従って当該視差データ検出手段８を介して撮像画像で変
化の住した部分の３次元位置情＠ＤＦを〜２１− 得ることができ、これにより移動物体の３次元位置情報
を得ることができる。

かくして、特徴量の比較結果から移動物体でなる微小領
域を抽出してその視差データを得た後、当該微小領域に
ついて視差データを加重平均するようにしたことにより
、深度地図に作成しなくても３次元位置情報を得ること
ができ、その分従来に比して全体の構成を簡略化するこ
とができる。

かくしてこの実施例においては、動部検出手段７Ａ〜７
■は、特徴量の比較結果に基づいて移動物体の３次元位
置を抽出する抽出手段を構成するのに対し、対応点検手
段５Ａ〜５Ｉは、各撮像画像の微小領域について特徴量
を比較する特徴量比較手段を構成する。

動画像表示手段９は、中央の揚傷手段３Ｃから得られる
画像データＤ、ｃを視差データＤＦと共に受け、当該視
差データＤ、が得られた微小領域の画像データを抽出し
て表示する。

かくして３次元位置情報を得る際に撮像画像を微小頭域
に分割することにより、短い演算処理時間で３次元位置
情報を得ることができるのに対し、当該３次元位置情報
に基づいて動画部分を表示する際に微小領域に分割前の
画像データＩ）ｃｃに基づいて表示するようにしたこと
により、動画像部分を鮮明に表示することができる。

以上の構成において、撮像手段３Ｌ、３Ｃ及び３Ｒを介
して得られる画像データＤ、いＩ）ｃｃ及びＤＧＲに基
づいて、微小領域の空間周波数及びその変化方向を表し
てなる特徴量データＤ　ｔ　Ｉ””’　Ｄ　ｔ　ｑが得
られ、これに基づいて対応点検出手段５Ａ〜５Ｉで視差
データＤＦＴＩ−ＤＦＴ９が形成される。

当該視差データＤＦＴＩ〜Ｄ　ＦＴ９に基づいて、静止
部検出手段６Ａ〜６■において、静止画部分の視差デー
タＤＡＦＩ〜Ｄ　Ａｒ１が得られ、これに基づいて動部
検出手段７Ａ〜７■において、動画部分の視差データＤ
ＤＦＩ〜Ｄ　ＤＦ９が抽出される。

動画部分の視差データＤｎＦＩ〜ＤｏＦ９は、視差デー
タ検出手段８を介して偽対応点の視差データが排除され
、最終的に移動物体の３次元位置情報を表してなる視差
データＤＦが得られる。

以上の構成によれば、特徴量の比較結果に基づいて移動
物体を撮像してなる微小領域を抽出した後、これに基づ
いて移動物体の視差データを得るようにしたことにより
、深度地図を作成しなくても移動物体の３次元位置情報
を得ることができ、その分合体の構成を簡略化して処理
速度の速い３次元位置抽出装置を得ることができる。

（Ｇ２）第２の実施例 第１図及び第２図との対応部分に同一符号を付して示す
第６図及び第７図においては、対応点検出手段５Ａ〜５
Ｉから得られた視差データＩ）ｒｔ＋〜Ｄ、ア、を加重
平均して偽対応点の視差データを排除した後、移動物体
の視差データＤＦを抽出するようになされている。

すなわち第１の実施例においては、各視差データＤＦＴ
Ｉ　”Ｄｙア、に基づいて移動物体と撮像してなる微小
領域を抽出した後、視差データＤＤＦＩ〜Ｄ　ＤＦ９を
加重平均するようになされているため、視差が変化しな
い微小領域でも特徴量が変化した場合は、移動物体の微
小領域として抽出され、このため移動物体の他に移動物
体の影でなる静止物体の視差データまでも同時に抽出さ
れる問題がある。

このため、この実施例においては、視差データＤ　ＤＦ
　＋　”−Ｄ　ＤＦ９を加重平均した後静止画部分を抽
出することにより、移動物体の視差データＤｒだけを確
実に抽出するようになされている。

すなわち視差データ検出手段８は、対応点検出手段５Ａ
〜５■から得られる視差データＤＦＴＩ〜ＤＦＴ９を受
けてその加重平均を出力することにより、偽対応点を排
除した視差データＤＦアを出力する。

静止部検出手段６は、視差データＤＦＴを受け、静止部
検出手段６Ａ〜６１（第１図）と同様に当該静止部検出
手段６に格納されてなる平均視差データＤＡＦとの加算
平均を得ることにより、新たな平均視差データＤＡＦを
得る。

従って当該静止部検出手段６においては、視差データＤ
ｙアが変化しない微小領域（すなわち移動物体の影をも
含んでなる撮像画像の背景でなる部分）の視差データが
平均視差データＤＡＦとして蓄積される。

これに対して動部検出手段７は、動部検出手段７Ａ〜７
Ｉ（第１図）と同様に、平均視差データＤＡＦ及び視差
データＤＦの比較結果に基づいて視差が変化してなる微
小領域（すなわち影を排除してなる真の移動物体でなる
）の視差データＤＦを抽出して出力する。

かくしてこの実施例において、視差データ検出手段８は
、対応点検出手段５Ａ〜５Ｉから得られる特徴量の比較
結果に基づいて被測定対象の３次元位置を得るようにな
された位置検出手段を構成するのに対し、静止部検出手
段６及び動部検出手段７は、視差データ検出手段８を介
して得られる特徴量の比較結果に基づいて移動物体でな
る被測定対象を撮像した微小領域を抽出する移動物体の
抽出手段を構成する。

かくして、表示手段９を介して得られる表示画像におい
ては、移動物体の３次元位置情報だけを得ることができ
るので、これにより影を除去した移動物体だけを確実に
表示することができる。

以上の構成によれば、視差データ　ＤＦＴｌ　〜Ｄ　Ｆ
Ｔ９の加重平均を得た後、移動物体を撮像してなる微小
領域を抽出するようにしたことにより、第１の実施例の
効果に加えて移動物体の３次元位置情報だけを確実に検
出することができる。

（Ｇ３）第３の実施例 第８図及び第９図に示すように、この実施例においては
、特徴量のデータＤア、〜ＤＴ９に基づいて、特徴量デ
ータが変化してなる微小領域（すなわち移動物体を撮像
してなる微小領域）を抽出して、移動物体の３次元位置
情報を得るようにしたものである。

さらに撮像手段を主及び副の２台の撮像手段３Ｍ及び３
Ｓで構成し、全体の構成を簡略化するようになされてい
る。

すなわち撮像手段３Ｍは、微小領域に分割する前の画像
データＤＭＣを動画像表示手段９に出力すると共に撮像
手段３Ｓと共にサンプリング周波数を低く変換してなる
画像データＤＧＭ及びＩ）Ｇｓを特徴量検出手段４Ａ〜
４Ｉに出力する。

この結果特徴量検出手段４Ａ〜４Ｉを介して、特徴量デ
ータＤＴＩ”ＤＴ９が得られ、当該特徴量データＤ　Ｔ
　Ｉ−Ｄア、が未変化部検出手段１１Ａ〜１１１及び変
化部検出手段１２Ａ＝−１２１に出力される。

未変化部検出手段１］、Ａ〜１１１は、内部に平均特徴
量データＤケア、〜ＤＡ工、を蓄積し、特徴量データＤ
ＴＩ〜ＤＴ９との加重平均値を新たな平均特徴量データ
ＤＡア、〜ＤＡア、として格納すると共に変化部検出手
段１２Ａ〜１２Ｉに出力する。

その結果、当該未変化部検出手段１１Ａ〜１１１におい
ては、時系列的に積分化された特徴量データＤ　Ａ７　
ｌ−Ｄ　ＡＴ９が得られ、これにより特徴量データＤ　
ＡＴＬ〜Ｄ　ＡＴ９の値が変化しない静止物体及び背景
の部分でなる特徴量データが蓄積される。

これに対して変化部検出手段１．２Ａ〜１２Ｉは、平均
特徴量データＤＡＴＩ〜ＤＡア、に対して特徴量データ
ＤＴＩ％ＤＴ９の一致不一致を検出し、ここで不一致結
果が得られると、当該微小領域の特徴量データを変化部
の特徴量データＤ　）ＩＴ　Ｉ　”　Ｄ　ＨＴ９として
出力する。

従って当該変化部検出手段１２Ａ〜１．２　Ｉを介して
特徴量が変化する移動物体及びその影の部分でなる微小
領域の特徴量データＤ）ＩＴＩ〜ＤＨＴ９を得ることが
できる。

かくしてこの実施例において、未変化部検出手段１１Ａ
〜１１１及び変化部検出手段１２Ａ〜１２Ｃは、移動物
体を撮像してなる微小領域を抽出する移動物体の抽出手
段を構成する。

対応点検出手段５Ａ１〜５１１及び５Ａ２〜５Ｉ２は、
それぞれ平均特徴量データ　ＤＡＴＩ〜ＤＡＴ９及び変
化部の特徴量データＤＨＴＩ〜［）ｏ’ｒｑに基づいて
対応点を検出し、それぞれ視差データＤＡＦＩ　〜Ｄ　
Ａｒ１及びＤ）ＩＦＩ〜Ｄ）ｌＦ９を視差データ検出手
段８Ａ及び８Ｂに出力する。

視差データ検出手段８Ａ及び８Ｂは、視差データ検出手
段８　（第１図）と同様にそれぞれ視差デ−タＤＡＦＩ
　＝ＤＡｙｑ及びＤ＋ＩＦＩ　〜Ｄ　ＨＦ９を加重平均
して、偽対応点を排除した視差データＤＭＦ及びＤＳＦ
を出力する。

従って視差データ検出手段８Ａを介して静止物体及び背
景の視差データＤ３Ｆを得ることができるのに対し、視
差データ検出手段８Ｂを介して移動物体及びその影の部
分の視差データＤＭＦを得ることができる。

動部検出手段７は、当該視差データＤＭＦ及びＤＳＦの
比較結果に基づいて、視差データＤＭＦから視差データ
ＤＳＦと値が一致しないデータを抽出することにより移
動物体を撮像してなる微小領域の視差データＤＦを出力
する。

すなわち特徴量データＤア、〜ＤＴ９において、平均特
徴量データＤＡＴＩ−ＤＡＴ、を得た後、視差データＤ
、を得るようにすれば、動画像部分として検出される影
の部分の視差データＩ）ｓｙから視差が変化しない領域
を除くことができる。

従って、移動物体だけの３次元位置情報を得ることがで
き、動画像表示手段９を介して当該移動物体の影を除去
した表示画像を得ることができ石。

さらに第２の実施例においては、視差データＤＦＩ〜Ｄ
Ｆ９を加重平均してなる視差データＤＦＴに基づいて移
動物体を撮像してなる微小領域を抽出するようにしたの
に対し、この実施例においてはそれよりも前段の特徴量
データＩ）ｔｔ〜Ｄア、に基づいて移動物体を撮像して
なる微小領域を抽出して並列処理するようにしたことに
より、第２の実施例の効果に加えてさらに一段と全体の
構成を簡略化すると共に処理速度を一段と向上すること
ができる。

第８図の構成によれば、特徴量データ　ＤＴＩ〜ＤＴ９
に基づいて移動物体を撮像してなる微小領域を抽出して
並列処理するようにしたことにより、第２の実施例の効
果に加えてさらに一段と全体の構成を簡略化すると共に
その処理速度を速くすることができる。

（Ｇ４）第４の実施例 第１０図及び第１１図に示すように、この実施例におい
ては、撮像画像の微小領域について移動物体を撮像して
なる微小領域を抽出して移動物体の第３次元位置情報を
抽出するようにしたものである。

すなわち撮像手段３Ｍ及び３Ｓから得られた画像データ
ＤＨ及びＤｓを動画検出手段２０及び静止画検出手段２
１に与え、当該画像データＤや及びり、を積分処理する
ことにより、撮像画像の静止画部分及び動画像部分でな
る静止画像データＤ、及び動画像データＤ８をデータ縮
小手段２２及び２３に出力する。

データ縮小手段２２及び２３は、ローパスフィルタ回路
及びサンプリング回路を備え、動画像データＤ。Ｇ及び
静止画像データＩ）ｓｃを低いサンプリング周波数の縮
小動画像データＤＲＭ及び縮小静止画像データＤ。に変
換して出力する。

かくしてこの実施例において、動画像検出手段２０、静
止画像検出手段２１とデータ縮小手段２２及び２３は、
撮像画像の微小領域について、移動物体を撮像してなる
微小領域を抽出する移動物体の抽出手段を構成する。

従って特徴量検出手段４Ａ１〜４１１及び４Ａ２〜４Ｉ
２を介して、それぞれ動画部分及び静止画部分でなる微
小領域の特徴量データ　ＤＴＭＩ〜ＤＴＭ９及びＤ７，
１〜Ｄ　ＴＳ９を得ることができる。

対応点検出手段５Ａ１〜５１１及び５Ａ２〜５Ｉ２は、
それぞれ縮小動画像データＤＲＭ及び縮小静止画像デー
タＤｌ１３に基づいて動画部分及び静止画部分について
視差データ　ＤＭＦＩ〜ＤＭＦ９及びＤ　ＳＦＩ　”　
Ｄ　３Ｆ９を各特徴量データＤ、、、　”−Ｄ、Ｍ９及
びＤ　ｔ　ｓ　ｌ”　Ｄ　Ｔ　Ｓ　ｑごとに得、これを
視差データ検出手段８Ｍ及び８Ｓに出力する。

視差データ検出手段８Ｍ及び８Ｓは、当該視差データＤ
ＭＦＩ〜ＤＭＦ９及びＤＳＦＩ−Ｄｓｖｑの加重平均を
得ることにより、動画部分及び静止画部分の視差データ
ＤＭＦ及びＤＳＦを得、動部検出手段７に出力する。

かくして動部検出手段７を介して移動物体の３次元位置
情報を抽出することができる。

このとき第３の実施例においては、特徴量デー夕に基づ
いて移動物体を撮像してなる微小領域を抽出して並列処
理したのに対し、この実施例においては、それより前段
の撮像画像の段階で移動物体を撮像してなる微小領域を
抽出して並列処理するようにしたことにより、第３の実
施例の効果に加えてさらに一段と全体の処理速度を速く
することができる。

かくして動画像表示手段９を介して動画像検出手段２０
、記憶手段２４を介して得られる動画像の画像データＤ
ＭＧを視差データＤＦに基づいて表示することにより、
移動物体の鮮明な画像を得ることができる。

第４の実施例によれば、撮像画像の微小領域について移
動物体を撮像してなる微小領域を抽出して並列処理する
ようにしたことにより、さらに−段と全体の処理速度を
速くすることができる。

（Ｇ５）第５の実施例 第１２図及び第１３図に示すように、この実施例におい
ては予め撮像手段３Ｍから得られた撮像画像について動
画像部分を抽出し、当該動画像部分について対応点を検
出することにより、移動物体の視差データを得るように
したものである。

すなわち、撮像手段３Ｍ及び３Ｓのうち撮像手段３Ｍか
ら得られる画像データＤ、を静止画像検出手段２１に与
えて積分処理することにより、静止画像の画像データで
なる静止画像データＩ）＋ｓを得る。

動画検出手段２０は、当該静止画像データＤＮＳ及び画
像データＤＭを受け、動画像の画像データでなる動画像
データＤＭ＋４を対応点検出手段２５に与える。

従って当該動画像データＤイ、に基づいて移動物体及び
その影の部分の画像データを得ることができる。

かくしてこの実施例においては、静止画像検出手段２１
及び動画像検出手段２０が移動物体を撮像して得られる
微小領域を抽出する移動物体の抽出手段を構成する。

これに対して対応点検出手段２５は、各撮像画像の各微
小領域から得られる特徴量データＤＴＭ＋−”ＤＴＭ９
及びＤＴＳＩ　〜ＤＴＳ９のうち、動画像データＤ、が
得られた微小領域について、特＠量データＤＴＭＩ〜Ｄ
　７Ｍ９及びＤア、Ｉ〜Ｄ　ＴＳ９との間で対応点を検
出する。

すなわち対応点検出手段２５においては、直交基底ベク
トルに基づいて得られた内積値を正規化して出力するよ
うになされた特徴量データＤＴＭＩ〜Ｄ　７Ｍ９及びＤ
ア、１〜ＤＴＳ９に基づいて、各微小領域の特徴量を９
次元空間上の単位半径１の球面上の点として定量的に表
すことができる。

従って各撮像画像間において撮像手段３Ｍ及び３Ｓから
得られる特徴量データＤＴＭＩ〜ＤＴＭ９及びＤＴ、、
〜Ｄ　ＴＳ９について当該９次元空間上の距離が最も小
さくなる微小領域を検出することにより、偽対応点を排
除して対応点を検出することができ、これにより当該微
小領域の視差データを得るようになされている。

かくして特徴量検出マトリックスＴ１〜Ｔ９を直交基底
ベクトルで表されるようにすると共に、その要素の値を
簡単な整数に設定してその複数の要素を値Ｏ以外の数に
設定したことにより、偽対応点の検出を未然に防止して
、対応点を確実かつ簡易に検出することができる。

さらに主の撮像手段から得られる撮像画像から動画像部
分を予め分離して当該動画像部分について視差データＤ
Ｆを得るようにしたことにより、第４の実施例に加えて
さらに一段と全体の構成を簡略化すると共に処理速度を
高速化することができる。

第１２図の構成によれば、予め主の撮像手段から得られ
る撮像画像の微小領域について移動物体を撮像してなる
微小領域を抽出し、当該微小領域についてだけ視差デー
タを得るようにしたことにより、全体の構成を一段と簡
略化することができると共にその処理速度を高速化する
ことができる。

（Ｇ６）他の実施例 なお、第１及び第２の実施例においては３台の、第３、
第４及び第５の実施例においては２台の撮像手段を用い
て被測定対象を立体視する場合について述べたが、撮像
手段の数はこれに限らず、必要に応じて自由に選定する
ことができる。

さらに上述の実施例においては、９種類のマトリックス
でなる特徴量検出マトリックスＴ１〜Ｔ９を用いて特徴
量を検出する場合に述べたが、特徴量検出マトリックス
の数は必ずしも９個に限らず必要に応じてこの９個のう
ちから選択して用いるようにしても良い。

さらに直交基底ベクトルを構成する特徴量検出マトリッ
クスに代えて、ロビンソンフィルタを用いて輝度レベル
の変化方向を検出して特徴量として用いる場合等種々の
特徴量の検出方法を広く適用することができる。

また上述の実施例においては、３次元位置情報として視
差データを出力する場合について述べたが、本発明はこ
れに限らず、撮像装置からの距離データを出力するよう
にしたり、移動物体の深度地図を作成したり等、種々の
出力方法を広く適用することができる。

また、移動物体だけを表示する代わりに、静止物体だけ
を表示したり、移動物体の視差データに基づいて移動物
体の外形形状を認識するようにしても良い。

Ｈ発明の効果 以上のように本発明によれば、撮像画像の微小領域につ
いてその特徴量を比較して被測定対象の３次元位置を得
る際に、移動物体を撮像してなる微小領域を抽出して移
動物体でなる被測定対象の３次元位置を得るようにした
ことにより、全体として簡易な構成で高速度で移動物体
の３次元位置を得ることができる。

【図面の簡単な説明】

第１図は本発明による第１の実施例を示すブロック図、
第２図はその処理手順を示すブロック図、第３図は特徴
量検出手段の説明に供する路線図、第４図及び第５図は
その周波数特性を示す路線図、第６図は第２の実施例を
示すブロック図、第７図はその動作の説明に供するブロ
ック図、第８図はその第３の実施例を示すブロック図、
第９図はその動作の説明に供するブロック図、第１０図
は第４の実施例を示すブロック図、第１１図はその動作
の説明に供するブロック図、第１２図は第５の実施例を
示すブロック図、第１３図はその動作の説明に供するブ
ロック図である。 ３Ｌ、３Ｃ１３Ｒ１３Ｍ、３Ｓ・・・・・・盪像手段、
４Ａ、４Ｂ、・・・・・・、４１，４ＡＭ、４ＳＭ、・
・・・・・、４　ＩＭ、４ＡＳ、４ＢＳ、・・・・・・
、４ＩＳ・・・・・・特徴量検出手段、５Ａ、５Ｂ、５
Ｃ１・・・・・・、５Ｉ、５Ａ１．５Ａ２．５Ｂ１．５
Ｂ２、・・・・・・、５１１．５１２．２５・・・・・
・対応点検出手段。

Claims (4)

【特許請求の範囲】
1. （１）複数の撮像手段から得られる撮像画像の微小領域
   について特徴量を検出し、上記各撮像画像間の微小領域
   について上記特徴量を比較し、当該比較結果に基づいて
   上記撮像手段の被写体でなる被測定対象の３次元位置情
   報を得るようになされた３次元位置抽出方法において、 移動物体を撮像して得られる上記微小領域について上記
   比較結果を得ることにより、上記移動物体の３次元位置
   情報を得るようにした ことを特徴とする３次元位置抽出方法。
2. （２）上記移動物体の３次元位置情報は、上記比較結果
   に基づいて移動物体でなる被測定対象を撮像して得られ
   る微小領域を抽出することにより、得るようにした ことを特徴とする特許請求の範囲第１項に記載の３次元
   位置抽出方法。
3. （３）上記移動物体の３次元位置情報は、上記各微小領
   域について得られた特徴量に基づいて、上記移動物体で
   なる被測定対象を撮像して得られる微小領域を抽出する
   ことにより、得るようにしたことを特徴とする特許請求
   の範囲第１項に記載の３次元位置抽出方法。
4. （４）上記移動物体の３次元位置情報は、上記撮像画像
   の微小領域について、移動物体でなる被測定対象を撮像
   して得られる微小領域を抽出することにより、得るよう
   にした ことを特徴とする３次元位置抽出方法。