JPH01265103A - ウインドウ方式物体認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ウィンドウ方式物体認識装置に関し、更に詳
しくは、ウィンドウを用いた画像処理により一次元画像
対若しくは二次元画像対から物体の空間位置を認識する
装置に関する。

〔従来の技術〕

従来、物体に対し異なる相対位置で各々得た画像の対か
ら物体を立体視して物体の空間位置を認識する物体認識
装置が知られている。

第５図はその物体認識装置の原理を示すもので、少しだ
け離れた二点０　＋　、　０２で物体の画像ｇ＋＋ｇ２
を各々得る。物体上の標識点Ａ、Ｂ、Ｃが、画像ｇ１に
は特徴点ａ　Ｈ＋　　ｂ　１　＋　　Ｃ＋とじて得られ
、画像ｇｖには特徴点ａ２．ｂ２．Ｃ２として得られる
。２つの画像ｇ＋、ｇｚを得る位置は「少しだけｊ離れ
ているので、物体上の標撒点Ａ。

Ｂ、Ｃが画像上の特徴点として出現する順序は両画像ｇ
＋、ｇｚで同一である。従って、両画像ｇ１．ｇ２の特
徴点は、出現順に容易に対応づけられる。

、そこで、最初に出現する特徴点ａｌ、ａ２に対応する
標識点ＡのＺ方向の座標値Ｚ、は、Ｚａ＝Ｄｆ／（Ｘｌ
ｌ　　Ｘｌ２） で算出される。但し、Ｄは主点基線長、ｆは画面距離、
Ｘｌｌは特徴点ａ１の画像ｇ、における座標値、Ｘ１２
は特徴点ａ２の画像ｇ２における座標値である。

また、標識点ＡのＸ座標値Ｘ２は、Ｘａ＝Ｘ＋＋Ｚ、／
ｆであり、Ｙ座標値Ｙ４は、特徴点ａ１の画像ｇ１にお
けるＹ座標値をｙ、、とするとき、Ｙ□−ｙ＋＋Ｚａ／
ｆで算出される。

他の標識点Ｂ、Ｃについても同様にして空間座標を求め
ることができる。

〔発明が解決しようとする課題〕

第５図に示す例では、画像ｇ、を得た位置と画像ｇ２を
得た位置とが「少しだけ」離れており、それ故に、物体
上の識別点に対応する特徴点の出現順序が両画像ｇ１．
ｇ２で一致しており、容易に特徴点を対応づけることが
可能であった。

しかし、両画像ｇｒｒｇ２を得る位置が「少しだけ」離
れた位置であると、得られる空間座標の精度に劣る問題
点がある。

そこで、第６図に示すように、２つの画像ｇ１、ｇ２′
を得る位１を「十分」離すことが考えられるが、図から
理解されるように、画像ｇ１ではＰ！識点Ａ、Ｂ、Ｃに
対応する特、散点ａＩ＋’）Ｉ。

Ｃ１がこの順序で表れていたのに、画像ｇ２′では！！
識点り、Ａ、Ｂに対応する特徴点ｄ３．ａ３＋　　ｂ３
がこの順序で表れ、両画像ｇｔｔｇ２’の特徴点を容易
に対応づけることが出来なくなる問題点がある。

従って、本発明の目的とするところは、十分大きな距離
を隔てた位置で各々得た画像中における特徴点を、ウィ
ンドウを用いることよって好適に対応づけ出来るように
し、これにより高精度に物体の空間位置を認識できるよ
うにしたウィンドウ方式物体認識装置を提供することに
ある。

（課題を解決するための手段〕 本発明のウィンドウ方式物体認識装置は、物体に対する
第１の相対位置と、それより少しだけ離れた第２の相対
位置と、第１の相対位置より十分に離れた第３の相対位
置とで物体の第１画像、第２画像、第３画像を各々得る
盪像手段、第１画像から特徴点を抽出し各特徴点につい
てその特徴点を含むウィンドウを生成するウィンドウ生
成手段、第１Ｗｉ像と第２画像の特徴点を対応づけてそ
の特徴点の第３画像における位置を推定演算する位置推
定手段、その推定した位置を含むように前記生成したウ
ィンドウを第３画像に設定するウィンドウ設定手段、第
３画像に設定したウィンドウ内を探索して特徴点を抽出
する特徴点探索手段および第１画像またはｉ’ｓ２Ｗ！
７４像の特徴点と前記抽出した第３画像の特徴点とを対
応づけて物体の空間位置を算出する位置演算手段を具備
したことを構成上の特徴とするものである。

上記構成において、物体が静止しているものである場合
には、撮像手段は、各カメラの有する画素配列が一直線
上にあるように配置された３台のカメラで画像を得る手
段とすることができる。あるいは、１台のカメラがその
画素配列と平行な直線上を移動し、３つの異なる時刻に
画像を得る手段とすることができる。

また、物体が直線的に移動するものである場合には、撮
像手段は、物体の移動直線と平行な画素配列を有する１
台のカメラで３つの異なる時刻に画像を得る手段とする
ことができる。

また、上記構成において、「少しだけ離れた」とは、第
１ｉ！ｉｉ像と第２Ｎ像の対応する特徴点の出現順序が
不一致にならない限界内で離れることを意味する。また
、「十分離れた」とは、所望の精度で空間座標を算出で
きる程度に離れたことを意味する。

更に、上記構成において、「空間位置」とは、空間座標
系における物体のＸ座１（Ｌ　Ｙ座標値。

Ｚ座標値あるいは物体の姿勢（向き）の内の少なくとも
一つを意味する。

また、上記構成においてウィンドウ生成手段は、三次元
空間におけるいわゆるオクトツリーの手法によることが
出来、これは二次元空間においてはクワドツリー、−次
元空間におい°ζはバイナリ−ツリーとなる。

Ｃ作用〕 ウィンドウ生成手段は、第１画像に出現する特徴点の各
々に対応してウィンドウを生成する。これにより、設定
すべきウィンドウの数と大きさとを決定できる。

次に、第１画像と第２画像とは少しだけ離れているため
、各画像の特徴点の出現順は一致しており、容易に対応
づけられる。従って、特徴点に対応する物体上の標識点
の空間座標を得られる。そして、標識点の空間座標が得
られれば、第３画像における対応する特徴点の位置を推
定することができる。

そこで、上記第３画像における推定位置に、上記ウィン
ドウを設定すれば、元の特徴点に対応する特徴点はその
ウィンドウ中に表れるはずである。

換言すれば、そのウィンドウ中に出現した特徴点を、そ
のウィンドウを生成する根拠となった第１画像の特徴点
に対応づければ良い。

かくして、第１画像の特徴点と第３　ｉｌ！ｉｉ像の特
徴点とを好適に対応づけできるから、物体の空間位置を
高ｊＩ？度に１１出できるようになる。

〔実施例］ 以下、図面を参照して本発明を更に詳しく説明する。こ
こに第１図は本発明の一実施例のウィンドウ方式物体認
識装置のブロック図、第２図は第１図に示す実施例装置
の原理説明図、第３図はウィンドウ生成処理の概念図、
第４図は第３画像にヴインドウを設定する状態の説明図
である。なお、この実施例により本発明が限定されるも
のではない。

第１図に示すウィンドウ方式物体認識装置１は、３台の
カメラ２，３．４を有しており、各カメラ２，３．４の
有する画素配列が一直線上にあるように配置されている
。カメラ２とカメラ３とは少しだけ離れており、その間
隔はＤである。カメラ２とカメラ４とは十分離れており
、その間隔はしてある。

各カメラ２，３．４で得た画像は、画像取り込み回路５
．６．７を介して画像メモリ８，９．１０に記憶される
。

具体例として第２図に示すモデルを想定すると、画像メ
モリ８には第１画像ｇ１が得られ、画像メモリ９には第
２画像ｇ２が得られ、画像メモリ１０には第３画像ｇ３
が得られる。

特徴点抽出手段１１は、画像メモリ８に記憶した第１画
像ｇ、から特徴点を抽出する。特徴点の抽出は、例えば
−次微分法や、二次微分法等を用いることができる。

ウィンドウ生成手段１２は、上記特徴点抽出手段１１で
得た特徴点に基づいて、ウィンドウを生成する。その生
成処理を、第３図に示す一次元モデルで次に説明する。

これは言わばバイナリ−ツリーの手法である。

まず、第３図（ａ）に示すように、−次元画像ｇ１には
特徴点ａ１と、ｂ、と＋ＣＩ　とがある。この−次元画
像ｇ１を第３図の）に示すように２つの領域ｕｌ＋’２
に分割し、各１ｉＩＪｊｉｕＩ、ｕ２に特徴点が含まれ
ているか否かを判定する。

いずれの領域ｕＩ＋ｕ２にも含まれているから、第３図
（Ｃ）に示すように、領域ｕＩ＋ｕ２をそれぞれ２分割
し、領域”３　、”＋　＋　　ｕ５．”Ｇとする。

各領域ｕｌ、ｕ４．ｕ１１．ｕ（、に特徴点が含まれて
いるか否かを判定し、含まれている領域のみを残し、含
まれていない領域は捨てる。従って、領域ｕ６が捨てら
れる。

次に、特徴点が含まれている領域ｕ］、ｕ４＋ｕ５を、
第３図（ｄ）に示すように、更に２分割する。

そして、その分割した領域０７〜１１２に特徴点が含ま
れているか否かを判定する。

特徴点が含まれている領域”ｇ　、ｕ９　、ｕｌ　ｌ　
＋ｕ１２が残り、第３図（ｅ）に示すように、更に２分
割され、小領域ｕｌ）〜ｕ２゜となる。

こうして予め定めた適当なサイズまで領域を２分割して
いく。

適当なサイズの領域まで２分割し終わると、連続する領
域は一つの領域とし、独立した領域は独立した領域とす
る。これにより例えば第３図（ｆ）に示す如き領域ｕ２
　＋＋　　ｕ２２＋　　ｕ２３が得られる・分割するサ
イズを適当に選べば一つの領域に一つの特徴点だけを含
ませることができる。これらの領域ｕ２−．ｕ２２．ｕ
２３がウィンドウの原形である。

これらのウィンドウの原形ｕ２１．ｕ２２＋　　ｕ２３
の番号とサイズは、特徴点抽出手段１３および１５に出
力される。また、特徴点抽出手段１３には、これらのウ
ィンドウの原形０２　＋＋　　０２２＋　　”２３の位
置も送られる。

特徴点抽出手段１３は、前記ウィンドウの原形ｕ２１１
　　ｕ２２　、ｕ２３に基づいて、これらを拡大したウ
ィンドウを設定する０例えば第３図（ｍに示すウィンド
ウＷｔ＋Ｗ２である。そして、これらのウィンドウＷ　
ｌ　＋　”　２に対応する画像メモリ９のデータから、
特徴点を抽出する。なお、ウィンドウＷ２は原形”２１
　ｒ　　ｕ２２に共通するウィンドウになっている。こ
れは、特徴点の出現順序が一致している前提があるから
、特徴点抽出手段１３で設定するウィンドウには２以上
の特徴点を含んでも支障ないためである。

位置推定手段１４は、第１画像から抽出された特徴点と
、第２画像から抽出された特徴点を出現順に対応づけて
特徴点対とし、次に説明するように、第３図面像におけ
る出現位置を推定する。

即ち、第２図に示すモデルを用いて説明すると、第１画
像ｇ％、第２画像ｇ２において最初に出現する特徴点ａ
ｌ、ａ２に対応する第３Ｍ４５１ｇ３における特徴点ａ
３の推定位置ｓ１は、Ｓ＝　−１（Ｄ−Ｌ）Ｘｔ　＋＋
Ｌｘｔ　２　）／Ｄ”＝Ｌ　（Ｘｔ　２　　Ｘｔ　＋　
）／Ｄ同様に、第１両像ｇ１．第２画像ｇ２において２
番目に出現する特徴点す、、ｂ２に対応する第３百像ｇ
１上の特徴点ｂ３の推定位Ｔ１．Ｓｔ、を算出できる。

また、同様に、第１画像ｇ＋＋第２両像ｇ２に３番目に
出現する特徴点ＣＩ、Ｃ２の第３画像ｇ３における特徴
点ｃ３の推定位置ｓｃを算出することができる。

特徴点抽出手段１５は、前記ウィンドウ生成手段１２か
ら入力されたウィンドウの原形ｕ２１゜ｕ２２　＊　　
ｕ２３の番号とサイズおよび前記位置推定手段１４から
入力された特徴点ａｌ、ｂ２．ＣＩの番号と准定位’１
Ｓａｒ　　ｓ＆＋　　ｓｃとを対照し、第４図に示すよ
うに、第３両像ｇ３におけるウィンドウＷ１３．Ｗ２コ
、Ｗコ、を設定する。そして、各ウィンドウｗｌ　３　
、　　Ｗ２　）　、　　Ｗ３３に対応する画像メモリ１
０のデータを読み出し、各々をウィンドウプロセッサ１
６．１？。１日に出力する。なお、ウィンドウプロセッ
サ１９は、担当するウィンドウが無いので使用されない
。

ウィンドウプロセッサ１６は、第ｔｉｑ像ｇ＋で最初に
出現した特徴点ａ、と、第３両像ｇ３でウィンドウＷ１
３中に出現した特徴点すなわちａ。

とを対応づけて特徴点対とし、対応する標識点Ａの空間
座標を算出する。

ウィンドウプロセッサ１７は、第１画像ｇ１において２
番目に出現する特徴点ｂ１と、第３百像Ｂ３においてウ
ィンドウＷ２３中に抽出された特徴点すなわちｂ３とを
対応づけて、対応する標識点Ｂの空間座標を算出する。

ウィンドウプロセッサ１８は、第１画像ｇ、で３番目に
出現する特徴点Ｃ１に対応する第３両像ｇ、上の特徴点
すなわちｃ３がウィンドウＷ）３中から抽出されないの
で、特徴点抽出手段１５より准定位ＷＳｃを読み込み、
これから第１画像ｇＩで３番目に出現する特徴点Ｃ１に
対応する標識点ＣのＺ座標値を算出する。また、第１画
像ｇ１における特徴点Ｃ５のＸ座標値、Ｘ座標値よりＸ
座標値、Ｙ座標値を算出する。

算出された空間座標は、統合プロセッサ２０で統合され
、物体の位置が認識される。

結局、物体の標識点ＡとＢとは箭精度に位置が認識され
、標識点Ｃは低精度で位置が認識される。

なお、第３百像ｇ３において最初に出現する特徴点ｄ３
は、これを抽出するためのウィンドウが設定されないた
め無視される。つまり、標識点りは何ら影響を与えない
。

〔発明の効果〕

本発明によれば、物体に対する第１の相対位置と、それ
より少しだけ離れた第２の相対位置と。

第１の相対位置より十分に離れた第３の相対位置とで物
体の第１画像、第２画像、第３画像を各々得る撮像手段
、第１画像から特徴点を抽出し各特徴点についてその特
徴点を含むウィンドウを生成するウィンドウ生成手段、
第１画像と第２画像の特徴点を対応づけてその特１牧点
の第３画像における位置を推定演算する位置推定手段、
その推定した位置を含むように前記生成したウィンドウ
を第３画像に設定するウィンドウ設定手段、第３画像に
設定したウィンドウ内を探索して特徴点を抽出する特徴
点探索手段および第１ｉｉＩｉｉ像または第２画像の特
徴点と前記抽出した第３画像の特徴点とを対応づけて物
体の空間位置を算出する位置演算手段を具備したことを
特徴とするウィンドウ方式物体認識装置が堤供され、こ
れにより十分離れた対位置で得られた画像対の特徴点を
容易に対応づけ出来るから、物体の空間位置を高精度に
得られるようになる。

【図面の簡単な説明】

第１図は本発明の一実施例のウィンドウ方式物体認識装
置のブロック図、第２図は第１図に示す実施例装置の原
理説明図、第３図はウィンドウ生成処理の概念図、第４
図は第３画像にウィンドウを設定する状態の説明図、第
５図は物体認識の原理説明図、第６図は画像対を得る間
隔が大きい場合における第５図相当図である。 〔符号の説明］ ｌ・・１ジインドウ方式物体認識装置 ２．３．４・・・カメラ ５．６．７・・・画像取り込み回路 ８．９．１０・・・画像メモリ １１．１３．１５・・・特徴点抽出手段１２・・・ウィ
ンドウ生成手段 １４・・・位置推定手段 １６．１７，１８．１９ ・・・ウィンドウプロセッサ ２０・・・統合プロセッサ ｇｌ・・・第１画像 ｇ、・・・第２ｉｉ！ｉｉ像 ｇ３・・・第３画像 ａ、〜ｃ３・・・　・・・特徴点 Ｓ、、ｓｂ、ｓｅ”’推定位置 Ｗ１３．Ｗ２３．ｗ３３−”ウィンドウ。

Claims (1)

【特許請求の範囲】
1. １、物体に対する第１の相対位置と、それより少しだけ
   離れた第２の相対位置と、第１の相対位置より十分に離
   れた第３の相対位置とで物体の第１画像、第２画像、第
   ３画像を各々得る撮像手段、第１画像から特徴点を抽出
   し各特徴点についてその特徴点を含むウインドウを生成
   するウインドウ生成手段、第１画像と第２画像の特徴点
   を対応づけてその特徴点の第３画像における位置を推定
   演算する位置推定手段、その推定した位置を含むように
   前記生成したウインドウを第３画像に設定するウインド
   ウ設定手段、第３画像に設定したウインドウ内を探索し
   て特徴点を抽出する特徴点探索手段および第１画像また
   は第２画像の特徴点と前記抽出した第３画像の特徴点と
   を対応づけて物体の空間位置を算出する位置演算手段を
   具備したことを特徴とするウインドウ方式物体認識装置
   。