JPH0843055A - ３次元物体形状認識方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 対象物体の３次元形状を精度良く計測するこ
と。 【構成】 ２つのカメラ１０，２０を用い、それぞれ撮
像したステレオ画像から測距部７０においてステレオ測
距法により被写体距離データＤ_S を得る。一方、被写体
距離を変えながら前後ステレオ測距部６０，８０におい
て前後ステレオ測距法により距離データＤ_R ，Ｄ_L を得
る。統合処理部９０は各データＤ_S ，Ｄ_R，Ｄ_L を各々
の信頼性に応じて荷重平均することにより、最終的な被
写体距離を求める。 【効果】 ２つの測距法の計測結果が補い合いながら被
写体の３次元形状を高精度に安定して計測することがで
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データから環境、
障害物、地形、工業製品等を非接触に計測、認識する３
次元物体形状認識方法及び装置に関するものである。

【０００２】

【従来の技術】従来、画像データを用いた３次元物体形
状認識方法及び装置としては、対象物体を異なる視点か
ら撮像した複数の画像データにおける当対象物体の各点
の対応関係から求まる空間的な位置情報を用いて、三角
測量の原理に従って、認識、計測する方法、いわゆる多
視点撮像法が広く活用されている。この多視点撮像法に
は、単眼で視点を変えて撮像した時系列画像データを用
いて、擬似的に多視点撮像法を実現する方法もある。

【０００３】ここで、上記多視点撮像法（あるいは多視
点測距法）のうち、２台の撮像装置（以下、カメラと言
う）を水平に配置した通常のステレオ撮像法の測距原理
と１台のカメラを光軸方向に前後に移動させて撮像した
画像データを利用する前後（視差）ステレオ測距法の測
距原理を、それぞれ図１０、図１１を用いて説明する。
なお、前者は〔特許請求の範囲〕記載の水平／垂直面内
視差型の多視点撮像法の基本原理に相当し、後者は〔特
許請求の範囲〕記載の前後視差型の多視点撮像法の基本
原理に相当する。

【０００４】また、ここで上記“水平／垂直面内視差型
の多視点撮像法”とは、例えば人間の目やステレオ撮像
装置のごとく、被写体に対して平行に異なる視点から撮
像した画像を用いて、三角測量則に従い被写体の認識を
行うものである。以後、簡単のため、単に“ステレオ撮
像法”あるいは“ステレオ測距法”と書く。一方、上記
“前後視差型の多視点撮像法”とは、カメラの光軸を変
化させずにこの光軸に沿って前後に異なる視点から撮像
した画像を用いるものである。以後、本手法を簡単のた
め“前後ステレオ撮像法”あるいは“前後ステレオ測距
法”と書く。

【０００５】図１０は、ステレオ測距法の基本原理、三
角測量の原理を説明するための図である。図中の記号
Ｄ，ｆ，Ｂ，ｈ_L ，ｈ_R は、それぞれ被写体距離、焦点
距離、基線長、左撮像系における物体（対象物体）の撮
像位置、そして右撮像系における物体の撮像位置を示し
ている。同図より、以下の幾何学的関係が成立すること
は自明である。即ち、 （ｈ_R −ｈ_L ）：ｆ＝Ｂ：（Ｄ−ｆ） …………………… （１） （１）式を被写体距離Ｄに関して解けば、 Ｄ＝｛（Ｂ・ｆ）／（ｈ_R −ｈ_L ）｝＋ｆ …………………… （２） となる。（２）式中、Ｂ，ｆは定数で既知であるから、
被写体距離Ｄを求めるためには、撮像面上の視差（ｈ_R
−ｈ_L ）を検出する必要がある。このために、通常、相
関演算に基づくマッチング法や勾配法（ｃｆ．特公昭６
０−４６８７８号公報）等の画像処理が行われる。

【０００６】次に図１１を用いて、上記前後（視差）ス
テレオ測距法の測距原理を説明する。図１１中、Ｈ，
Ｄ，Ｄ′，ｈ，ｈ′，ｆのうち、Ｈは被写体の注目点か
ら光軸までの高さ、Ｄ，Ｄ′は被写体と撮像面との距離
で、カメラがより被写体に近づいた時の距離がＤ、遠い
時の距離がＤ′である。またＤ，Ｄ′の時の撮像面上に
おける結像点がｈ，ｈ′で、焦点距離がｆである。この
図１１の幾何学的関係から、

【０００７】 Ｈ：（Ｄ−ｆ）＝ｈ：ｆ …………………… （３） Ｈ：（Ｄ′−ｆ）＝ｈ′：ｆ …………………… （４） が成り立つ。 （３）式より、Ｈ・ｆ＝ｈ・（Ｄ−ｆ） …………………… （５） （４）式より、Ｈ・ｆ＝ｈ′・（Ｄ′−ｆ） …………………… （６） となる。ここで（５）＝（６）であるから、

【０００８】 ｈ・（Ｄ−ｆ）＝ｈ′・（Ｄ′−ｆ） …………………… （７） である。今、カメラの移動量（前後差）（Ｄ′−Ｄ）は
既知であるとする。この前後差（Ｄ′−Ｄ）をＢとおい
て、（７）式をＤについて解くと、

【０００９】 ｈ・（Ｄ−ｆ）＝ｈ′・（Ｄ′−ｆ） ＝ｈ′・｛（Ｂ＋Ｄ）−ｆ｝ だから、 Ｄ＝｛（Ｂ・ｈ′）／（ｈ−ｈ′）｝＋ｆ …………………… （８）

【００１０】を得る。従って、（８）式より、注目点の
撮像面上の移動量（ｈ−ｈ′）が求まれば、被写体まで
の距離Ｄを計算することができる。

【００１１】以上、図１０、図１１を用いて左右視差の
ステレオ測距法及び前後視差のステレオ測距法の測距原
理についてそれぞれ説明した。（２），（８）式より、
いずれの場合についても左右画像あるいは前後画像間の
各点の対応付け問題に帰着することが判る。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来例では、画像データを用いた対応点探索をするので、
画像内に十分な特徴が無い場合、あるいは逆に細かい周
期パターンのような高周波成分が多い場合などで十分な
精度が得られないという欠点がある。また、異なる視点
から得た画像を用いるので、一方では写っているが、他
方では隠れている領域が必ず存在し、当領域においては
対応点が存在していないので、原理的に測距できないと
いう欠点がある。このように、画像データを用いた対応
点探索の精度は、注目点を中心とする周辺の画像データ
の特性に直接影響を受けるので、計測結果は不確実で不
安定であるという問題がある。

【００１３】さらに前後（視差）ステレオ測距法に関し
ては、上記問題に加え、対応付けをする画像間でパター
ンの倍率が異なることによる精度劣化という問題があ
る。またさらに、前後の視点位置が大きくなると変倍率
も大きくなり、左・右又は上・下のカメラで入力された
画像間で共通視野領域が小さくなり、測距可能範囲が小
さくなる、分解能が低下する等の問題がある。

【００１４】本発明は以上の問題に鑑みて成されたもの
で、請求項１、８の発明の目的は、物体の３次元形状計
測の動作の精度、確実性、安定性を増し、３次元物体形
状認識方法及び装置の信頼性を高めることにある。

【００１５】請求項２、９の発明の目的は、前後ステレ
オ撮像法の精度を向上させることにある。

【００１６】請求項３、１０の発明の目的は、水平／垂
直面内視差型の多視点撮像法により求まった被写体距離
を利用して、前後視差型の多視点撮像法で利用する変倍
された画像間の倍率補正をすることにより、前後視差型
の多視点撮像法による測距精度を向上させることにあ
る。

【００１７】請求項４、１１の発明の目的は、前後視差
型の多視点撮像法で利用する変倍された画像間の対応付
けに、パターンの変倍に強いＦｏｕｒｉｅｒ−Ｍｅｌｌ
ｉｎ変換法を利用することにより、前後視差型の多視点
撮像法による測距精度を向上させることにある。

【００１８】請求項５、１２の発明の目的は、入力画像
の斜め方向の空間勾配成分と水平／垂直方向の空間勾配
成分とに分離するフィルタを設けて、各々の成分を画像
の平行移動を検出することが主たる働きとなる水平／垂
直面内視差型の多視点撮像部と、画像の放射状の動きを
検出することが主たる働きとなる前後視差型の多視点撮
像部とにそれぞれ供給することにより、両手法の測距精
度を向上させることにある。

【００１９】請求項６、１３の発明の目的は、前後ステ
レオ撮像法及びステレオ測距法おのおのの測距精度を逐
次高めていくことにより、様々な要求精度にフレキシブ
ルに対応できる自由度の高い被写体の３次元形状認識方
法及び装置を実現することにある。

【００２０】請求項７、１４の目的は、単位時間（画像
サンプル時間）に比して前後進移動量が大きくなり、有
効な画像領域が狭くなった時でも、左右あるいは上下に
配置された複数のカメラで共通の被写体を撮像できるよ
うに上記複数のカメラを被写体に指向させて、例えば高
速に走行する自律走行車にも適用できるようにすること
にある。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に、請求項１、８の発明はステレオ測距法と前後ステレ
オ測距法とを組み合わせることを特徴とする。

【００２２】請求項２、３、９、１０の発明では、画像
の倍率補正を行うことを特徴とする。

【００２３】請求項４、１１の発明では、前後ステレオ
測距法における対応付けにフーリエ・メラン変換法を利
用することを特徴とする。

【００２４】請求項５、１２の発明では、画像の水平／
垂直方向の空間勾配成分と斜め方向の空間勾配成分に分
離するフィルタを有することを特徴とする。

【００２５】請求項６、１３の発明では、測距結果を時
間方向に統合することを特徴とする。

【００２６】請求項７、１４の発明では、複数のカメラ
を同一被写体を捉えるように指向させることを特徴とす
る。

【００２７】

【作用】請求項１、８の発明によれば、上記２種類の異
なる測距法を組み合わせ、各々の手法に基づいて計測さ
れた被写体距離に関する情報を各々の信頼性に応じて荷
重平均するので、測距動作の精度、確実性、安定性が増
し、信頼性が向上する。

【００２８】請求項２、３、９、１０の発明によれば、
前後ステレオ測距法、ステレオ測距法に基づき計測され
た測距情報に応じて画像の倍率補正を行うように動作す
るので、前後ステレオ測距法、ステレオ測距法の精度が
向上する。

【００２９】請求項４、１１の発明によれば、フーリエ
・メラン変換については、" Applied Optics, 1976, Vo
1.15 " (D.Casasen et al.) の" Position, rotation a
nd scale invariant optical correlation "や特開平６
−２８４７６号公報に詳しく述べられているが、画像パ
ターンの回転や変倍に強い対応付けをすることができる
ので、前後ステレオ測距法の精度が向上する。（尚、フ
ーリエ・メラン変換の手順については後述する第３の実
施例で述べる。）

【００３０】請求項５、１２の発明によれば、フィルタ
により抽出された水平／垂直成分はステレオ測距法によ
る測距手段へ、抽出された斜め成分は前後ステレオ測距
法による測距手段へそれぞれ優先的に入力される。ステ
レオ測距法は、平行に視点を変化させているので、対応
点の探索も平行方向に行うのが一般的である。従って、
水平あるいは垂直方向の空間勾配情報が必要である。一
方、前後ステレオ測距法では、カメラの光軸に沿って前
後に視点を変化させるので、対応点の探索は放射状に行
う。従って、斜め方向の勾配情報が有効である。上記フ
ィルタは、各々の測距手段に各々が得意とする勾配成分
を出力するので、ステレオ測距、前後ステレオ測距共に
測距精度が向上する。

【００３１】請求項６、１３の発明によれば、過去に計
測された距離情報と最新の距離情報とを各々の信頼性に
基づいて荷重平均するように動作するので、ある時刻に
突発的に加わるノイズに対して安定度が増し、かつ時間
方向の情報結合により測距の精度が向上する。更に、測
距精度を逐次高めていくので、多様な要求スペックに柔
軟に対応できる自由度の高い測距が行なわれる。

【００３２】請求項７、１４の発明によれば、カメラの
前後進移動速度に応じて常時視野内に同一の被写体を入
力できるようにカメラを被写体に指向する際に発生する
画像の台形歪みを補正するように動作するので、移動速
度が大きい時のステレオ測距法の分解能、測距精度が向
上する。

【００３３】

【実施例】

（第１の実施例）図１は本発明の特徴を最もよく表す図
面であり、本発明の３次元物体形状認識装置を自律走行
車に搭載した例である。同図において、１０，２０は撮
像部としての左右のカメラ、３０は自走車の移動量検出
部、４０，５０はフィールドメモリ又はフレームメモリ
のような画像メモリ、６０，８０は前述の前後ステレオ
測距部、７０は前述のステレオ測距部、９０は測距結果
の統合処理部、１００は最終的な測距結果の出力端子で
ある。

【００３４】以下、図１の動作を詳しく説明する。水平
あるいは垂直に配置された２つのカメラ１０，２０は互
いに光軸が平行になるよう固定されており、その間隔、
いわゆる基線長も固定されている。測距部６０，８０で
は、それぞれ画像メモリ４０，５０を介して時刻の異な
る画像間の対応付けを行い、更に移動量検出部３０で求
まるカメラの前後の移動量を用いて（８）式の三角測量
則に従って測距を行う。対応付けの手法としては前述の
マッチング法や勾配法に限らず、相互相関法、フーリエ
変換法等、画像データを用いる手法であれば何でも良
い。

【００３５】一方、測距部７０では、物体を異なる視点
から撮像した同時刻における画像ペア間の対応付けを行
い、（２）式の三角測量則に基づき被写体距離を演算す
る。ここでの対応付け手法も前記の通り特定の手法に限
定されるものではない。

【００３６】統合処理部９０では、測距部６０，７０，
８０で求められた距離データＤ_R ，Ｄ_S ，Ｄ_L を各々の
信頼性に基づいて荷重平均する。マッチング法を例にと
れば、距離データの信頼性はマッチングの相関係数値
や、相関係数のピークの鋭さなどを利用することができ
る。いま、カメラ１０の前進運動中の時系列画像間の対
応付けから求められた距離情報をＤ_R 、カメラ２０の前
進運動中の時系列画像間の対応付けから求められた距離
情報をＤ_L 、そしてカメラ１０，２０間の対応付けから
求められた距離情報をＤ_S とし、それぞれの信頼性をｋ
_R ，ｋ_L ，ｋ_S と表せば、最終結果の距離Ｄは、例え
ば、

【００３７】 Ｄ＝［｛ｋ_R ／（ｋ_R ＋ｋ_L ＋ｋ_S ）｝・Ｄ_R ］ ＋［｛ｋ_L ／（ｋ_R ＋ｋ_L ＋ｋ_S ）｝・Ｄ_L ］ ＋［｛ｋ_S ／（ｋ_R ＋ｋ_L ＋ｋ_S ）｝・Ｄ_S ］ ………… （９） と表現できる。

【００３８】また、２つのカメラ１０，２０が水平に配
置された場合、一般に水平方向のエッジに沿った測距精
度は、垂直方向のエッジに沿った測距精度よりも低い。
上記２つのカメラ１０，２０を上下に配置する場合に
は、その逆である。つまり、ステレオ測距法では、２つ
のカメラの配置の仕方で高精度に計測できる方向が決ま
ることになる。従って、この測距精度の方向性を利用し
て前記Ｄ_R ，Ｄ_L とＤ_Sの荷重平均をエッジの方向に応
じて行っても良い。

【００３９】以上のように本発明の第１の実施例では、
２つの測距方法を組み合わせることにより、本来、不確
実、不安定であった画像処理によるリモート・センシン
グ（非接触計測）の動作を確実、安定なものとし、入力
される画像データの特性の変化にロバストな信頼性の高
い３次元形状計測方法及び装置を提供することができ
る。尚、カメラ１０，２０は２つ以上用いてもよい。

【００４０】（第２の実施例）図２は第２の実施例を示
す。この第２の実施例も第１の実施例と同様に本発明に
よる３次元物体形状認識装置を自律走行車に搭載して、
障害物や道路の認識をさせるものである。第１の実施例
との違いは倍率補正部４５，５５が新たに追加されてい
る点であり、他の部分は図１と同一に構成されている。

【００４１】倍率補正部４５，５５では、ステレオ測距
部７０で求められた距離情報Ｄ_S と移動量検出部３０で
求められる画像メモリ４０，５０が画像データを保持す
る時間内の自走車の移動量Ｂを用いて画像パターンの倍
率の補正を行う。倍率補正の具体的な内容を以下で説明
する。画像パターンの拡大率ｒは前記（３），（４）式
を連立させてｈ／ｈ′について解けば、

【００４２】 ｒ＝ｈ／ｈ′＝（Ｄ′−ｆ）／（Ｄ−ｆ） …………………… （１０） となり、Ｄ′−Ｄ＝Ｂを用いて、 ｒ＝ｈ／ｈ′＝１＋｛Ｂ／（Ｄ−ｆ）｝ …………………… （１１） と表せる。この概形を図３に示す。この図３によれば、
拡大率ｒと被写体距離Ｄとの関係は、Ｄ＝ｆ，ｒ＝１を
漸近線とする双曲線で表わされることが判る。これは、
遠距離の物体ほど拡大率が小さく、近距離の物体ほど大
きい拡大を受けることを意味している。従って、画像パ
ターンの倍率補正は被写体距離の大きさに応じて適応的
に行う必要がある。

【００４３】本発明においては、ステレオ測距部７０に
より被写体距離Ｄ_S と移動量検出部３０により自走車の
前進（あるいは後進）量Ｂとが得られるので、これらの
値Ｄ _S ，Ｂを用いて画像パターンの倍率補正を適応的に
実行可能である。

【００４４】具体的には、（１１）式を用いてマッチン
グに用いるテンプレート（＝ブロック）のサイズを被写
体距離に応じて適応的に、例えば５×５ｐｅｌを７×７
ｐｅｌへ拡大してから対応付けの演算を始める。あるい
は、逆に拡大後の画像を（１１）式に応じて縮小あるい
は間引いて、拡大前の画像サイズに合わせてから対応付
けを行うようにしても良い。

【００４５】以上述べた第２の実施例では、移動量Ｂ、
被写体距離Ｄに応じて適応的に画像の倍率の差を幾何学
的に補正するので、前後ステレオ測距法における対応付
けの精度を格段に向上させることができるという効果が
ある。本実施例は、特に被写体距離に応じて変倍率が大
きく変化する近距離の物体に対して有効である。近距離
物体の測距では、ステレオ測距する場合、視差の大きさ
ゆえにオクルージョン問題が発生し易いが、その際の前
後ステレオ測距法の信頼性を高めるため総合的な信頼性
も高めるという特有の効果がある。従って、本実施例に
おける統合処理部９０では、被写体距離に応じて、前後
ステレオ測距法による計測結果Ｄ_R ，Ｄ _L とステレオ測
距法による計測結果Ｄ_S とを荷重平均することもでき
る。

【００４６】（第３の実施例）図４は本発明の第３の実
施例を示す。図４において、第１の実施例との相異点は
前後ステレオ測距部６０，８０の前にフリーエ・メラン
変換部２６０，２７０，２８０，２９０を設けた点であ
る。次に、フリーエ・メラン変換部の動作について図５
を用いて説明する。

【００４７】ステップＳ１０により入力された画像デー
タは、まずステップＳ２０で、フーリエ変換される。画
像パターンのフーリエ変換後の振幅（又はパワー）は、
パターンが平行移動しても不変であり、パターンの拡
大、例えばａ倍されると１／ａ倍に縮小される。また、
パターンの回転θに対しては同じθだけ振幅も回転す
る。そこで、次のステップＳ３０において、その振幅像
を縦軸にその偏角、横軸に対数目盛りの動径をとって座
標変換を施して表現する。

【００４８】上記座標変換後には、元のパターンを回転
させると縦軸方向への平行移動をし、元のパターンが変
倍されると横軸方向への平行移動をするので、次のステ
ップＳ４０で再度フーリエ変換した後の振幅は、元のパ
ターンの回転／変倍に対して不変なものとなる。当パタ
ーンを用いて、次のステップＳ５０の前後ステレオ測距
部で対応付けを行えば、パターンの回転や変倍に強い測
距を実現することができる。

【００４９】以上のように、本実施例によれば、変倍さ
れたパターンの対応付けにフーリエ・メラン変換を用い
ることで、前後ステレオ測距法の精度が向上するという
効果がある。特に、本実施例ではステレオ測距部７０と
完全に独立な処理となるので、ステレオ測距及び前後ス
テレオ測距両手法の共倒れを防ぐことができ、信頼性、
安全性が向上する効果がある。

【００５０】（第４の実施例）図６は本発明の第４の実
施例を示し、同図において３０はカメラ１０，２０の光
軸方向の移動量検出部、４３０，４４０は画像データの
斜め方向の空間勾配成分を阻止するクロスフィルタ、４
５０，４６０はスルーで入力され画像とフィルタリング
後の画像の差分を計算する減算器、４７０，４８０，４
９０，５００は画像メモリである。

【００５１】本実施例と第１の実施例との特に大きな違
いは、フィルタ４３０，４４０を新たに設けて前後ステ
レオ測距部６０，８０とステレオ測距部７０とへそれぞ
れ画像の斜め方向の勾配成分と水平／垂直方向の勾配成
分とを入力する点である。次にフィルタ４３０，４４０
の働らきについて説明する。

【００５２】ステレオ測距法では、２台のカメラ１０，
２０が同じ被写体距離で、かつ異なる視点になるように
配置されているので、２台のカメラ１０，２０から取り
込まれた画像同士の対応付けの結果は、被写体距離によ
って長さは異なるものの、ほぼ同方向に並ぶオプティカ
ルフローとして表現できる。例えば、２台のカメラが水
平に並べられている場合には、左右画像の各画素の対応
関係を示すオプティカルフローはほぼ水平方向にそろっ
たものとなるし、同様に２台のカメラが垂直に配置され
た場合には上下画像の各画素の対応関係を示すオプティ
カルフローはほぼ垂直方向にそろったものとなる。

【００５３】また、１台のカメラをその光軸方向に前後
して入力した前後画像の各画素の対応関係を表すオプテ
ィカルフローは、ほぼ画像中心を中心として放射状に分
布する。

【００５４】次に、画像処理による対応付けや動き検出
の際に問題となる開口問題（アパーチャ問題）について
説明する。図７の（ａ）〜（ｃ）はそれぞれ水平、垂
直、斜め（４５°）方向にしか空間勾配が無いパターン
で、これが図示した右斜め４５°方向へＶだけ移動した
時の様子を示している。図７（ａ）の場合にはＶ_x は正
しく検出できるものの、Ｖ_yの検出は不可能である。図
７（ｂ）の場合には逆にＶ_y は正しく検出できるもの
の、Ｖ_x は検出不可能である。一方、図７（ｃ）の場合
には正しくＶ_x ，Ｖ_y を検出することができる。

【００５５】このように、画像処理による対応付け、あ
るいは動き検出は、画像の空間勾配を絶対不可欠な手掛
かりとしている。そこで、前記ステレオ測距部７０には
水平ないしは垂直方向の空間勾配を優先的に供給し、前
記前後ステレオ測距部６０，８０には斜め方向の勾配成
分を優先的に供給することにより、両手法の測距精度を
向上させる効果がある。

【００５６】尚、図６では、前後ステレオ測距部６０，
８０には斜め成分のみを、ステレオ測距部７０には水平
／垂直成分のみを送るように構成されているが、実際に
はクロスフィルタ４３０，４４０の帯域制限の遷移域を
緩やかにするこにより、適度に両勾配が混在するように
各手法へ画像データを供給することができる。ステレオ
測距法には水平／垂直の勾配が、前後ステレオ測距には
等方的な勾配分布が望ましい。尚、クロスフィルタの設
計方法は、本発明者による特開平４−１０８７３号公報
「動きベクトル検出装置」に詳しく記述してある。

【００５７】（第５の実施例）次に第５の実施例につい
て説明する。上記第１〜第４の実施例ではいずれも、あ
る時刻のステレオ画像の対応付けから求まる距離データ
Ｄ_S と倍率の異なる時系列画像ペアの対応付けから求ま
る距離データＤ_R 及びＤ_L とにつてい説明した。しかし
ながら、画像は、焦点距離をワイド側からテレ側へ連続
的にズームしながら、入力されて来るので、各々独立に
時々刻々求められるＤ_S ，Ｄ_R ，Ｄ_L を次の時刻の
Ｄ_S ′，Ｄ_R ′，Ｄ_L ′を求める時に参照することがで
きる。

【００５８】時間方向の距離データの利用法の一例とし
て、ここではステレオ測距法にカルマンフィルタ（Ｋａ
ｌｍａｎ Ｆｉｌｔｅｒ）を適用する方法について説明
する。カルマンフィルタの適用のため、被写体距離の逆
数１／Ｄを状態変数として、測距システムを以下のよう
に定式化する。

【００５９】・信号過程（状態変数の特性） （１／Ｄ_t ）＝（１／Ｄ_t-1 ）＋η_t …………………… （１２） ・観測過程（三角測量則） ｕ_t ＝Ｂ・ｆ・（１／Ｄ_t ）＋ξ_t …………………… （１３） 但し、η_t は信号に加わる雑音で距離データ１／Ｄの時
間変動分に相当している。ξ_t は対応点の探索プロセス
中に加わる雑音で計測誤差に相当している。Ｂは基線
長、ｆは焦点距離、ｕ_t は動きベクトルである。この
時、カルマンフィルタによって推測される距離情報（１
／Ｄ_t ）⁺ は下式（１４）のように表わされる。 （１／Ｄ_t ）⁺ ＝Ｋ_t ・ｕ_t ＋［１−Ｂ・ｆ・Ｋ_t ］・（１／Ｄ_t ）^- …………………… （１４） 但し、Ｋ_t はカルマンゲイン、（１／Ｄ_t ）^- は１時刻
前の距離データから現在予測される距離データで、 （１／Ｄ_t ）^- ＝（１／Ｄ_t-1 ）⁺ …………………… （１５） という関係が成り立っている。ここで＋記号はカルマン
フィルタの出力、−記号は次の時刻への予測値を示して
いる。

【００６０】図８は上記（１２）〜（１５）式を模式的
に描いた図である。図中６００は本測距システムの状態
変数で、求めたい信号であり、１／（被写体距離）と定
義している。状態変数６００の時間変化のプロセスが上
記（１２）式で表現されている。６１０は乗算器で、上
記状態変数６００に基線長Ｂと焦点距離ｆとを乗じて画
像上の移動量（動きベクトル＝視差）を求めている。こ
の関係は三角測量則に基づくもので、前記（２）式にＤ
≫ｆを仮定して簡略化したものである。

【００６１】６２０は加算器であり、上記動きベクトル
を求める際に加わる計測誤差ξが加算される。６３０は
上記動きベクトルである。６４０は上記動きベクトルに
カルマンゲインを乗ずる乗算器である。尚、カルマンゲ
インについては後述する。

【００６２】６５０は加算器であり、現在観測された動
きベクトル（＝視差）に基づいて推測される距離と過去
から推測される距離とを荷重加算するためのものであ
る。６６０は上記過去から推測される距離に荷重を乗ず
るための乗算器である。そして、６７０がカルマンフィ
ルタによって推測される距離データである。この距離デ
ータ６７０は次の距離推定のために順次利用されてい
く。

【００６３】次にカルマンゲインについて説明する。カ
ルマンゲインは現在測定された動きベクトルに基づき推
測される距離と過去から推測される距離との荷重を決定
する。カルマンゲインを用いた本測距システムでは、カ
ルマンゲインＫ_t は式次で表わされる。 Ｋ_t ＝（Ｐ_t ^- ・Ｂ・ｆ）／｛（Ｂ² ・ｆ² ・Ｐ_t ^- ）＋Ｒ_t ｝ …………………… （１６） 但し、 Ｐ_t ^- ＝Ｐ_t-1 ⁺ ＋Ｑ_t-1 …………………… （１７） ここで、Ｒ_t は観測過程中に加わる雑音ξの分散値、Ｑ
_t は信号過程に加わる雑音ηの分散値、Ｐ_t は指定誤差
の２乗（１／Ｄ_t −１／Ｄ_t ⁺ ）² である。

【００６４】いま、対応点探索の計測誤差Ｒ_t が小さ
く、現在観測された動きベクトルの精度が高い時、即ち
Ｒ_t ≒０のときには、（１６）式よりカルマンゲインＫ
_t は１／（Ｂ・ｆ）に近づき、過去からの推測値への荷
重（１−Ｂ・ｆ・Ｋ_t ）はゼロに近づく。逆に、Ｒ_t の
値が大きくなれば、現在観測された動きベクトルに基づ
いて求められた距離よりも過去から推測される距離を重
視するように適応的にその荷重を変化させていく。

【００６５】以上のようにカルマンフィルタでは、現在
観測されるデータ（ここでは動きベクトル又は視差）の
信頼性、即ちＲ_t の大小に応じて適応的に“最新の観測
データに基づいて推測される状態変数（ここでは被写体
距離）”と“過去の推移から予測される現在の状態変
数”とのバランスを変化させ、常に安定した推測値を得
ようとするものである。

【００６６】カルマンフィルタの適用の際に問題となる
初期値１／Ｄ₀ ，Ｐ₀ については、本発明では前後ステ
レオ測距法によって求められる値をそのまま利用するこ
とができるメリットがある。逆に、ステレオ測距法によ
る計測結果を初期値としてズーム測距方法にカルマンフ
ィルタを適用することも可能である。また、カルマンゲ
インを決定するＲ_t は、観測データの信頼性を表わすも
のとして、例えばマッチング演算の残差の分布を利用す
ることができ、その公知技術としては、International
Journal of Computer Vision, 3, 209-238 (1989) 記載
の" Kalman Filter-based Algorithms for Estimating
Depth from Image Sequences "がある。

【００６７】以上、ステレオ測距法にカルマンフィルタ
を適用した例について説明したが、同じ要領で前後ステ
レオ測距法へ適用することも可能なことは言うまでもな
い。

【００６８】この第５の実施例は、測距の時間方向の情
報統合の一手法となるもので、演算量が大幅に増加する
ことなく、徐々に測距精度を高めることができ、かつ過
去の測距結果を利用することで、現在入力された画像の
みに依存する不安定さが減ぜられる効果がある。

【００６９】また、逐次測距精度を高めることができる
ため、高速に被写体の概形を把握することから、やや時
間をかけて高精度、高密度に被写体の３次元形状を計測
することまで実行可能であり、目的に応じた自由度の高
い測距を実現できる。

【００７０】なお、本実施例では時間方向の測距データ
の融合方法をカルマンフィルタを例にとって説明した
が、時間方向の情報統合が可能である他の手法であって
も構わない。

【００７１】上述した第１〜第５の実施例では、ステレ
オ撮像部の光軸は平行であるとした。しかしながら、走
行していく過程で、画角が非常にせばまり対象物体を共
通視野に捉えられなくなる場合が考えられる。この場合
には、走行スピードと連動して両カメラを内側に駆動す
るようにしても良い。

【００７２】（第６の実施例）図９に第６の実施例を示
す。図１との相違点は、２つのカメラ１０，２０が互い
に内側に向かっている点、及びカメラ１０，２０の直後
に画像の歪みを補正する歪み補正部７００，７１０が追
加された点である。

【００７３】図９で示すようにカメラ１０，２０により
左右（あるいは上下）２つの異なる視点から撮影した画
像は、光軸が交差することにより台形歪みが生じる。そ
こで、画像データを各測距部６０，７０，８０へ送る前
に、上記台形歪みを補正する必要がある。

【００７４】ここで、２つのカメラ１０，２０の基線長
をＢ、２つのカメラ１０，２０のなす角度即ち輻輳角を
Ｐ、撮影した複数の入力画像のうち、基準となる１つの
画像の座標を（ｘ，ｙ）、但し画像の中心を原点（０，
０）とする。撮像レンズの焦点距離をｆ、被写体距離を
Ｄとすると、ステレオ画像ペアの各点の対応関係（ｕ，
ｖ）は下式で表される。 ｕ＝−ｆ・Ｂ／Ｄ（ｘ，ｙ）−｛（ｘ² ＋ｆ² ）・ｓｉｎＰ｝／（ｆ・ｃｏｓ Ｐ＋ｘ・ｓｉｎＰ） …………………… （１８） ｖ＝［−｛ｆ−（ｆ・ｃｏｓＰ＋ｘ・ｓｉｎＰ）｝・ｙ］／（ｆ・ｃｏｓＰ＋ ｘ・ｓｉｎＰ） …………………… （１９）

【００７５】（１８）式の第１項−ｆ・Ｂ／Ｄ（ｘ，
ｙ）は、２つのカメラ１０，２０の視点が異なることに
よる画像の平行シフト量を示しており、台形歪みとは関
係がない。それ以外の項は、すべて輻輳角Ｐが含まれて
おり台形歪みの要因となる項である。（１８），（１
９）式より（ｘ，ｙ）の値が大きい画像周辺ほど大きく
歪むことが判る。

【００７６】歪み補正部７００，７１０では（１８），
（１９）式の輻輳角Ｐを含む項を逆補正して、光軸が平
行な２つのカメラによって、入力したかのように画像を
幾何学的に修正する。

【００７７】以上述べた第６の実施例では、ズームレン
ズに輻輳角をつけることによって発生する被写体の台形
歪みを対応付けの前に幾何学的に補正するので、ステレ
オ測距法、前後ステレオ測距法ともに計測精度を向上さ
せることができる。また、各カメラ１０，２０が被写体
を注視するので、より多くの画素で被写体を捉えること
ができ、被写体のより細部の測距まで可能となる。即ち
測距の分解能が向上するという固有の効果がある。

【００７８】

【発明の効果】以上説明したように、請求項１、８の発
明によれば、画像処理による３次元物体形状の認識の信
頼性を向上させる効果がある。

【００７９】また、請求項２、９の発明によれば、画像
間の倍率が異なる時の前後測距法の測距精度を向上させ
る効果がある。

【００８０】請求項３、１０によれば、画像間の倍率が
異なる時の前後ステレオ測距法の測距精度を向上させる
効果がある。

【００８１】請求項４、１１の発明によれば、画像の変
倍や回転に強い前後ステレオ測距法を実現できる効果が
ある。

【００８２】請求項５、１２の発明によれば、画像の様
々な方向の勾配成分を効果的にステレオ測距部と前後ス
テレオ測距部とに振り分けるので、両手法の測距精度を
向上させる効果がある。

【００８３】請求項６、１３の発明によれば、前後ステ
レオ測距法、ステレオ測距法の精度を向上させ突発的な
ノイズに強くするとともに、目的精度や分解能に応じた
測距が実行できる効果がある。

【００８４】請求項７、１４によれば、測距装置が大き
く前後に移動しても共通の被写体を複数のカメラで捉え
ることができ、かつその時に発生する画像歪みが補正さ
れるのでステレオ測距法の分解能、測距精度を向上させ
る効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図であ
る。

【図２】本発明の第２の実施例を示すブロック図であ
る。

【図３】被写体距離と画像の変倍率との関係を示す特性
図である。

【図４】本発明の第３の実施例を示すブロック図であ
る。

【図５】フーリエ・メラン変換を示すフローチャートで
ある。

【図６】本発明の第４の実施例を示すブロック図であ
る。

【図７】アパーチャ補正に関する問題を説明する構成図
である。

【図８】本発明の第５の実施例で用いられるカルマンフ
ィルタを示す構成図である。

【図９】本発明の第６の実施例を示すブロック図であ
る。

【図１０】従来のステレオ測距法を示す構成図である。

【図１１】従来の前後ステレオ測距法を示す構成図であ
る。

【符号の説明】

１０，２０ カメラ ３０ 移動量検出器 ４０，５０，４７０，４８０，４９０，５００ 画像メ
モリ ６０，８０ 前後ステレオ測距部 ７０ ステレオ測距部 ９０ 統合処理部 ４５，５５ 倍率補正部 ２６０，２７０，２８０，２９０ フーリエ・メラン変
換部 ４３０，４４０ クロスフィルタ ７００，７１０ 台形歪み補正部

Claims (14)

【特許請求の範囲】
1. 【請求項１】 物体の３次元形状を非接触に計測、認識
   する方法において、 同じ被写体距離で異なる視点から入力された複数の画像
   を用いる水平／垂直面内視差型の多視点撮像法により物
   体を認識するステップと、 異なる被写体距離で同じ視点から入力された複数の画像
   を用いる前後視差型の多視点撮像法により物体を認識す
   るステップと、 上記各ステップでそれぞれ独立に又は協調的に求めた３
   次元物体の形状計測、認識結果を統合して荷重平均する
   ステップとを有する３次元物体形状認識方法。
2. 【請求項２】 上記前後視差型の多視点撮像法で使用す
   る異なる倍率の画像間の倍率補正を行うステップを有す
   ることを特徴とする請求項１記載の３次元物体形状認識
   方法。
3. 【請求項３】 上記水平／垂直面内視差型の多視点撮像
   法で求められた被写体距離に応じて倍率補正を行うステ
   ップを有することを特徴とする請求項１記載の３次元物
   体形状認識方法。
4. 【請求項４】 上記前後視差型の多視点撮像法で用いる
   異なる倍率の画像間の対応付けにフーリエ・メラン変換
   法を用いることを特徴とする請求項１記載の３次元物体
   形状認識方法。
5. 【請求項５】 フィルタにより画像の斜め方向の空間勾
   配成分と上記画像の水平／垂直方向の空間勾配成分とを
   分離し、画像の水平／垂直方向の空間勾配成分は上記水
   平／垂直面内視差型の多視点撮像法に優先的に供給し、
   上記画像の斜め方向の空間勾配成分は上記前後視差型の
   多視点撮像法へ優先的に供給することを特徴とする請求
   項１記載の３次元物体形状認識方法。
6. 【請求項６】 過去の３次元物体形状認識結果を利用す
   ることを特徴とする請求項１記載の３次元物体形状認識
   方法。
7. 【請求項７】 複数の撮像装置をこれらの撮像装置の前
   後進速度に応じて同一の被写体を視野に含むように指向
   させることを特徴とする請求項１記載の３次元物体形状
   認識方法。
8. 【請求項８】 同じ被写体距離で異なる視点から入力さ
   れた複数の画像を用いる水平／垂直面内視差型の多視点
   撮像法により物体認識する認識手段と、 異なる被写体距離で同じ視点から入力された複数の画像
   を用いる前後視差型の多視点撮像法により物体認識する
   認識手段と、 上記各認識手段によりそれぞれ独立に又は協調的に求め
   た３次元物体の形状計測、認識結果を荷重平均する統合
   処理手段とを備えた３次元物体形状認識装置。
9. 【請求項９】 上記前後視差型の多視点撮像法で使用す
   る異なる倍率の画像間の倍率補正を行う補正手段を設け
   たことを特徴とする請求項８記載の３次元物体形状認識
   装置。
10. 【請求項１０】 上記水平／垂直面内視差型の多視点撮
    像法で求められた被写体距離に応じて倍率補正を行う補
    正手段を設けたことを特徴とする請求項８記載の３次元
    物体形状認識装置。
11. 【請求項１１】 上記前後視差型の多視点撮像法で用い
    る異なる倍率の画像間の対応付けにフーリエ・メラン変
    換法を用いることを特徴とする請求項８記載の３次元物
    体形状認識装置。
12. 【請求項１２】 画像の斜め方向の空間勾配成分と上記
    画像の水平／垂直方向の空間勾配成分とを分離するフィ
    ルタを有し、画像の水平／垂直方向の空間勾配成分は上
    記水平／垂直面内視差型の多視点撮像法による認識手段
    に優先的に供給し、上記画像の斜め方向の空間勾配成分
    は上記前後視差型の多視点撮像法による認識手段に優先
    的に供給することを特徴とする請求項８記載の３次元物
    体形状認識装置。
13. 【請求項１３】 過去の３次元物体形状認識結果を利用
    することを特徴とする請求項８記載の３次元物体形状認
    識装置。
14. 【請求項１４】 複数の撮像装置をこれらの撮像装置の
    前後進速度に応じて同一の被写体を視野に含むように指
    向させることを特徴とする請求項８記載の３次元物体形
    状認識装置。