JPH0814861A

JPH0814861A - ３次元形状の計測方法及び装置

Info

Publication number: JPH0814861A
Application number: JP6150739A
Authority: JP
Inventors: Toshiaki Kondo; 俊明近藤; Katsumi Iijima; 克己飯島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-07-01
Filing date: 1994-07-01
Publication date: 1996-01-19

Abstract

(57)【要約】【目的】対象物体の３次元形状を精度良く計測するこ
と。【構成】ズームレンズ１０，２０を有する２つの撮像
部３０，４０を用い、それぞれ撮像したステレオ画像か
ら測距部８０においてステレオ測距法により被写体距離
データＺ_Sを得る。一方、ズーム比を変えながら測距部
７０，９０においてズーム測距法により距離データ
Ｚ_R，Ｚ_Lを得る。距離データ統合部１００は各データ
Ｚ_SＺ_RＺ_Lを各々の信頼性に応じて荷重平均すること
により、最終的な被写体距離を求める。【効果】２つの測距法の計測結果が補い合いながら被
写体の３次元形状を高精度に安定して計測することがで
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は環境、障害物、地形、工
業製品等の対象物体の３次元形状をその画像データを用
いて計測する３次元形状計測方法及び装置に関するもの
である。

【０００２】

【従来の技術】従来、画像データを用いた３次元形状計
測方法及び装置としては、対象物体を異なる視点から撮
像した複数の画像データにおけるその当対象物体の各点
の対応関係から求まる空間的な位置情報を用いて、３角
測量の原理に従って計測する方法、いわゆるステレオ測
距法が広く活用されている。このステレオ測距法として
は、単眼で視点を変えて撮像した時系列画像データを用
いて疑似的にステレオ測距法を実現する方法もある。

【０００３】また、単眼で画角を変えて撮像した時系列
画像を用いて物体の３次元形状を計測する方法（ｃｆ．
特開平５−２０９７３０号公報）もある。当方法を以
後、ズーム測距法と呼ぶ。

【０００４】次に上記ステレオ測距法とズーム測距法の
測距原理をそれぞれ図７、図８を用いて説明する。図７
はステレオ測距法の基本原理としての３角測量の原理を
説明するための図である。図中の記号Ｄ，ｆ，Ｂ，
ｈ_L，ｈ_Rは、それぞれ被写体距離、焦点距離、基線
長、左撮像系における対象物体の撮像位置、そして右撮
像系における対象物体の撮像位置を示している。

【０００５】同図より、以下の幾何学的関係が成立する
ことは自明である。即ち、（ｈ_R−ｈ_L）：ｆ＝Ｂ：（Ｄ−ｆ） ……（１）（１）式を被写体距離Ｄに関して解けば、Ｄ＝（Ｂ・ｆ）／（ｈ_R−ｈ_L）＋ｆ ……（２）となる。（２）式中、Ｂ，ｆは定数で既知であるから、
被写体距離Ｄを求めるためには、視差（ｈ_R−ｈ_L）を
撮像面上で検出する必要がある。このために、通常相関
演算に基づくマッチング法や勾配法（ｃｆ．特公昭６０
−４６８７８号公報）等の画像処理が行われる。

【０００６】次に、ズーム測距法の測距原理を図８を用
いて説明する。図中、Ｄ，ｆ_w，ｆ _t，ｈ_w，ｈ_t，Ｈ
は、それぞれ被写体距離、広角時の焦点距離、望遠時の
焦点距離、広角時の対象物体の撮像位置、望遠時の対象
物体の撮像位置、そして、対象物体の位置である。同図
の幾何学関係より、

【０００７】ｈ_w：ｆ_w＝Ｈ：（Ｄ−ｆ_w） ……（３）ｈ_t：ｆ_t＝Ｈ：（Ｄ−ｆ_t） ……（４）が成り立つ。（３）（４）式を連立してＨを消去し、Ｄ
について解けばＤ＝｛（ｈ_w−ｈ_t）・ｆ_w・ｆ_t｝／｛（ｈ_w・ｆ_t）−（ｈ_t・ｆ_w）｝ ……（５）を得る。ズーム中の焦点距離を既知とすれば、上式
（５）の未知数はｈ_w，ｈ_tの２つで、上記ステレオ測
距法と同じく撮像面上の被写体の位置を画像処理で正し
く検出する必要がある。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来例では画像データを用いた対応点探索を行うので、画
像内に十分な特徴が無い場合や、逆に細かい周期パター
ンのような高周波成分が多い場合などでは十分な精度が
得られないという欠点がある。

【０００９】また、異なる視点から得た画像を用いるの
で、一方の視点では写っているが、他方の視点では隠れ
ている領域が必ず存在する。このような領域においては
対応点が存在していないので、原理的に測距できないと
いう欠点がある。

【００１０】このように、画像データを用いた対応点探
索の精度は、注目点を中心とする周辺の画像データの特
性に直接影響を受けるので、計測結果が不確実で不安定
なものになるという問題がある。

【００１１】ズーム測距法に関しては上記の問題に加
え、対応付けをする画像間でパターンの倍率が異なるこ
とによる精度劣化という問題がある。

【００１２】本発明は以上の問題に鑑み成されたもの
で、請求項１，２の発明の目的は、対象物体の３次元形
状計測の動作の確実性、安定性を増し、３次元形状計測
方法及び装置の信頼性を高めることである。

【００１３】請求項３，４の発明の目的は、ズーム測距
法の精度を向上させることにある。

【００１４】請求項５，６の発明の目的は、対象物体の
画像の３次元形状の計測の分解能を向上させることにあ
る。

【００１５】請求項７，８の発明の目的は、ズーム測距
法及びステレオ測距法各々の測距精度を逐次高めていく
ことにより、様々な要求精度、分解能にフレキシブルに
対応できる自由度の高い対象物体の３次元形状の計測方
法及び装置を実現することにある。

【００１６】

【課題を解決するための手段】請求項１の発明において
は、被写体を複数の異る視点で撮像して得られる複数の
画像を用いて被写体距離を計測するステレオ測距法を行
うステップと、上記被写体を複数の異る画角で撮像して
得られる複数の時系列画像を用いて被写体距離を計測す
るズーム測距法を行うステップと、上記ステレオ測距法
で得られた計測結果と上記ズーム測距法で得られた計測
結果とを組み合わせることにより上記被写体の３次元形
状を計測するステップとを行うようにしている。

【００１７】請求項２の発明においては、被写体を複数
の異る視点及び複数の異る画角で撮像する撮像手段と、
上記撮像手段が上記被写体を複数の視点で撮像して得ら
れる複数の画像を用いて被写体距離を計測するステレオ
測距手段と、上記撮像手段が上記被写体を複数の画角で
撮像して得られる複数の画像を用いて被写体距離を計測
するズーム測距手段と、上記ステレオ測距手段で得られ
た計測結果と上記ズーム測距手段で得られた計測結果と
を用いて上記被写体の３次元形状を計測する統合計測手
段とを設けている。

【００１８】請求項３の発明においては、上記ステレオ
測距法で計測した被写体距離を用いて上記ズーム測距法
で用いる複数の画像間のズーム倍率の相異を修正するよ
うにしている。

【００１９】請求項４の発明においては、上記ステレオ
測距手段で計測した被写体距離を用いて上記ズーム測距
手段で用いる複数の画像間のズーム倍率の相異を修正す
る画像修正手段を設けている。

【００２０】請求項５の発明においては、複数の撮像装
置を用い、ズーム倍率に応じて上記被写体が画角に含ま
れるように各撮像装置を指向させるようにしている。

【００２１】請求項６の発明においては、上記撮像手段
として複数の撮像装置を用い、ズーム倍率に応じて上記
被写体が画角に含まれるように各撮像装置を指向させる
ようにしている。

【００２２】請求項７の発明においては、上記ステレオ
測距法、ズーム測距法の少くとも一方において過去の計
測結果を適応的に利用しながら被写体距離の計測を行う
ようにしている。

【００２３】請求項８の発明においては、上記ステレオ
測距手段、ズーム測距手段の少くとも一方において過去
の計測結果を適応的に利用しながら被写体距離の計測を
行うようにしている。

【００２４】

【作用】請求項１，２の発明によれば、２種類の異なる
測距法を組み合わせ、各々の手法に基づいて計測された
被写体距離を用いるので、測距動作の確実性、安定性が
増し、信頼性が向上する。

【００２５】請求項３，４の発明によれば、ステレオ測
距法に基づき計測された被写体距離とその時のズーム比
とに応じて画像の倍率補正を行うように動作するので、
ズーム測距法の精度が向上する。

【００２６】請求項５，６の発明によれば、複数の撮像
装置を画角に応じて常に被写体を入力できるように指向
するので、画像の台形歪みを容易に補正できるようにな
り、ステレオ測距法及びズーム測距法ひいては両手法の
統合結果の精度が向上する。さらに、大きい拡大率のと
きでも被写体を画面全域で入力できるので、被写体に関
する測距の分解能が高められる。

【００２７】請求項７，８の発明によれば、過去に計測
された距離情報と最新の距離情報とを各々の信頼性に基
づいて適応的に用いるように動作するので、ある時刻に
加わるノイズ等に対して安定度が増し、かつ時間方向の
情報結合により測距の精度が向上する。さらに、測距精
度を逐次高めていくので、多様な要求スペックに柔軟に
対応できる自由度の高い測距が行われる。

【００２８】

【実施例】図１は本発明の第１の実施例を示す図面であ
り、同図において、１０，２０はズームレンズ、３０，
４０は撮像部、５０，６０はフィールドメモリやフレー
ムメモリのような画像メモリ、７０，８０，９０は画像
中の対応点を探索し、当該対応点に対応する対象物体ま
での距離を求める測距部、１００は測距部７０，８０，
９０から求められた距離データＺ_R，Ｚ_S，Ｚ_Lを各々
の信頼性に基づいて荷重平均する距離データ統合部、そ
して１１０は最終的な距離データの出力端子である。

【００２９】次に上記構成による動作について説明す
る。水平又は垂直に配置された２つの撮像部３０，４０
は互いに光軸が平行になるように固定されており、その
間隔、いわゆる基線長も固定されている。撮像部３０，
４０は連動して動作するズームレンズ１０，２０を有し
ており、即距開始時には、短焦点側にセットされて被写
体（対象物体）を広く捉えている。このズームレンズ１
０，２０は測距開始後、連続的に焦点距離を長焦点側へ
変化させていき、次第に被写体を多くの画素で捉えてい
くように動作する。

【００３０】被写体が小さい場合などには、最初から中
焦点距離や長焦点距離からズームを行っていっても良い
し、逆に長焦点側から短焦点側へ変化させても構わな
い。本発明の請求の範囲を逸脱しない範囲においてズー
ム比の変化の仕方は自由である。

【００３１】測距部７０，９０では、それぞれ画像メモ
リ５０，６０を介して時刻の異なる画像間の対応付けを
行い、更に３角測量則に従って測距を行う。対応付けの
手法としては、前述したマッチング法や勾配法に限ら
ず、相互相関法、フーリエ変換法等、画像データを用い
る手法であれば何でもよい。

【００３２】一方、測距部８０では、対象物体を異なる
視点から撮像した同時刻における画像ペア間の対応付け
を行い、３角測量則に基づいて被写体距離を演算する。
ここでの対応付け手法も前記の通り、特定の手法に限定
されるものではない。

【００３３】距離データ統合部１００では、測距部７
０，８０，９０で求められた距離データを各々の信頼性
に基づいて荷重平均する。例えばマッチング法を用いる
場合は、距離データの信頼性はマッチングの相関係数値
や相関係数のピークの鋭さなどを利用することができ
る。

【００３４】今、撮像部３０のズーム中に得られた時系
列画像間の対応付けから求められた距離データをＺ_R、
撮像部４０のズーム中に得られた時系列画像間の対応付
けから求められた距離データをＺ_L、そして撮像部３
０，４０間の対応付けから求められた距離データをＺ_S
とし、それぞれの信頼性をｋ_R，ｋ_L，ｋ_Sと表せば、
最終結果の距離データＺは、例えばＺ＝Ｚ_R・｛ｋ_R／（ｋ_R＋ｋ_L＋ｋ_S）｝＋Ｚ_L・｛ｋ_L／（ｋ_R＋ｋ_L＋ｋ_S）｝＋Ｚ_S・｛ｋ_S／（ｋ_R＋ｋ_L＋ｋ_S）｝ ……（６）と表現できる。

【００３５】また、２つの撮像部３０，４０が水平に配
置された場合、一般に水平方向のエッジに沿った測距精
度は、垂直方向のエッジに沿った測距精度よりも低い。
また上記２つの撮像部３０，４０を上下に配置する場合
は、その逆である。即ち、ステレオ測距法では、２つの
撮像部３０，４０の配置の仕方で高精度に計測できる方
向が決まるということになる。従ってこの精度の方向性
を利用して上記Ｚ_R，Ｚ_LとＺ_Sの荷重平均を方向に応
じて行っても良い。

【００３６】以上のように本発明の第１の実施例によれ
ば、ステレオ測距法とズーム測距法との２つの測距方法
を組み合わせることにより、それぞれの測距法では本来
不確実、不安定であった画像処理によるリモートセンシ
ング（非接触計測）の動作を確実で安定なものとし、入
力される画像データの特性の変化にロバストな信頼性の
高い３次元形状計測方法及び装置を提供することができ
る。

【００３７】また、本実施例では、撮像部３０，４０間
の基線長を変化させるための前後に駆動する等の大規模
な駆動装置を必要とせず、カメラが通常持っているズー
ム機能を利用できるため、簡易で高速な３次元形状計測
方法及び装置を提供することができる。

【００３８】なお、本実施例では２つの撮像部３０，４
０を用いたが、３つ以上の撮像部を用いて構わないし、
また単眼でズームして測距した後に視点を変えて再びズ
ームしながら測距を行い、擬示的にステレオ測距を行う
ようにしてもよい。

【００３９】図２は本発明の第２の実施例を示す図面で
あり、図１と実質的に対応する部分には同一符号が付さ
れている。図２において、１２０，１３０は画像を幾何
学的に修正する画像修正部である。

【００４０】次に動作について説明する。被写体はズー
ム・レンズ１０，２０で結像され、撮像部３０，４０に
おいて、画像データが生成される。なお、２つの撮像部
３０，４０の光軸は平行で一定間隔に固定されている。
また、測距の開始時には、ズームレンズ１０，２０は画
角の広い短焦点側（ワイド側）にセットしておく。撮像
部３０，４０で生成された２枚の画像データは、測距部
７０に入力され、左、右画像間で対応付けの処理が行わ
れることにより、被写体までの距離Ｚ_Sが計測される。

【００４１】一方、画像メモリ５０→画像修正部１２０
→測距部７０と、画像メモリ６０→画像修正部１３０→
測距部９０の各系路では、それぞれズーム中の時系列画
像間の対応付けを行う。画像メモリ５０，６０は１フィ
ールドあるいは１フレーム画像を一定時間保持して、時
刻の異なる画像の対応付けを可能にする。画像修正部１
２０，１３０では、測距部８０で求められた距離データ
Ｚ_Sと撮像部３０，４０から送られるズーム比とを用い
て、画像の倍率の補正を行う。

【００４２】次に画像の倍率補正の方法を説明する。画
像の拡大率は前述した（３）（４）式を連立させてｈ_t
／ｈ_wについて解いて、ｈ_t／ｈ_w ＝｛（Ｄ−ｆ_w）／（Ｄ−ｆ_t）｝・（ｆ_t／ｆ_w）＝［｛（Ｄ−ｆ_t）＋（ｆ_t−ｆ_w）｝／（Ｄ−ｆ_t）］・（ｆ_t／ｆ_w）＝｛１＋（ｆ_t−ｆ_w）／（Ｄ−ｆ_t）｝・（ｆ_t／ｆ_w） ……（７）と表わすことができる。

【００４３】上式（７）の概形的な特性を図３に示す。
拡大率Ｍと複写体距離Ｄとの関係はＤ＝ｆ_t，Ｍ＝ｈ_t
／ｈ_wを漸近線となる双曲線で表わされることが判る。
従って、画像の倍率補正は画像修正部１２０，１３０に
おいて（７）式に従ってその瞬間のズーム比ｒ（＝ｆ_t
／ｆ_w）と被写体距離Ｄとに応じて適応的に行う必要が
ある。

【００４４】図４は、実際にズームをしながら画像を入
力しているところを示している。ここでは、簡単のため
に倍率を２とし、被写体（対象物体）をＡ，Ｂ，Ｃの３
つのパターンに限って模式的に描いている。パターンＢ
（○），（△）は遠距離にある対象物体で２倍ズーム後
に受ける変形はそのズーム比によるものが支配的で、画
像中心Ｑからの距離パターンのサイズともほぼズーム比
と等しく２倍に拡大されている。

【００４５】一方、パターンＡ（□）は近距離にある対
象物体で、２倍ズーム後に受ける変形は、ズームによる
ものの他に、近距離にあるが故の拡大が加わり、他のパ
ターンＢ（○），（△）よりもいっそう拡大されてい
る。

【００４６】そこで、本実施例では前記（７）式を用い
て、被写体距離Ｄとその瞬間のズーム比ｒとに応じて、
画像の倍率補正を行う。具体的には（７）式を用いてマ
ッチングに用いるテンプレート（＝ブロック）のサイズ
を適応的に例えば５×５ｐｅｌを７×７ｐｅｌへ拡大し
てから、対応付けの演算を始める。あるいは、逆に拡大
後の画像を（７）式に応じて、縮小あるいは間引いて、
拡大前の画像サイズに合わせてから対応付けを行うよう
にしてもよい。

【００４７】以上、述べた第２の実施例では、ズーム比
と被写体距離とに応じて適応的に画像の倍率の差を幾何
学的に補正するので、ズーム測距法における対応付けの
精度を格段に向上することができるという効果がある。

【００４８】本実施例は、特に被写体距離に応じて変倍
率が大きく変化する近距離の対象物体に対して有効であ
る。近距離対象物体の測距では、ステレオ測距する場
合、視差の大きさ故にオクルージョン問題が発生し易い
が、その際のズーム測距法の信頼性を高めるため総合的
な信頼性も高まるという特有の効果がある。

【００４９】従って、距離データ総合部１００では、被
写体距離に応じて、ズーム測距法による計測結果Ｚ_R，
Ｚ_Lとステレオ測距法による計測結果Ｚ_Sとを荷重平均
することもできる。

【００５０】上述した第１，第２の実施例では、ステレ
オ撮像部の光軸は平行であるとした。しかしながら、ズ
ームをしていく過程で、画角が非常にせばまり対象物体
を共通視野に捉えられなくなる場合が考えられる。この
場合には、ズーム比と連動して両撮像部を内側に駆動す
るようにしても良い。

【００５１】図５に第３の実施例を示す。図１との相違
点は、２つの撮像部３０，４０が互いに内側に向かって
いる点、及び撮像部３０，４０の直後に画像の歪みを補
正する歪み補正部１４０，１５０が追加された点であ
る。

【００５２】図５で示すように撮像部３０，４０により
左右（あるいは上下）２つの異なる視点から撮影した画
像は、光軸が交差することにより台形歪みが生じる。そ
こで、画像データを各測距部７０，８０，９０へ送る前
に、上記台形歪みを補正する必要がある。

【００５３】ここで、２つの撮像部３０，４０の基線長
をＢ、２つの撮像部３０，４０のなす角度即ち輻輳角を
Ｐ、撮影した複数の入力画像のうち、基準となる１つの
画像の座標を（ｘ，ｙ）、但し画像の中心を原点（０，
０）とする、撮像レンズの焦点距離をｆ、被写体距離を
Ｄとすると、ステレオ画像ペアの各点の対応関係（ｕ，
ｖ）は下式で表わされる。ｕ＝［（−ｆ²）・Ｂ／｛（ｘ・ｓｉｎＰ＋ｆ・ｃｏｓＰ）・Ｄ（ｘ，ｙ）｝］−［｛（ｆ²＋ｘ²）・ｓｉｎＰ｝／（ｘ・ｓｉｎＰ＋ｆ・ｃｏｓＰ）］ ……（８）ｖ＝［｛ｆ・（１−ｃｏｓＰ）−ｘ・ｓｉｎＰ｝／（ｘ・ｓｉｎＰ＋ｆ・ｃｏｓＰ）］・ｙ ……（９）

【００５４】（８）式の第１項は、２つの撮像部３０，
４０の視点が異なることによる画像の平行シフト量を示
しており、台形歪みとは関係が無い。台形歪みとは各撮
像部が当各撮像部の光学中心を中心に回転して生じる画
像パターンの台形状の歪みであり、回転前後で光学中心
の位置は変わらないので、基線長Ｂはゼロである。従っ
て、台形歪み補正をする際には、（８）式の第１項は何
ら関与しない。それ以外の項は全て基線長Ｂを含まない
ので、台形歪みの要因となる。（８）（９）式より
（ｘ，ｙ）の値が大きい画像周辺ほど大きく歪むことが
判る。

【００５５】歪み補正部１４０，１５０では（８），
（９）式の輻輳角Ｐを含む項を逆補正して、光軸が平行
な２つの撮像部によって、入力したかのように画像を幾
何学的に修正する。

【００５６】以上、述べた第３の実施例では、ズームレ
ンズ１０，２０に輻輳角をつけることによって発生する
被写体の台形歪みを対応付けの前に幾何学的に補正する
ので、ステレオ測距法、ズーム測距法ともに計測精度を
向上させることができる。また、各撮像部３０，４０が
被写体を注視するので、より多くの画素で被写体を据え
ることができ、被写体のより細部の測距まで可能とな
る。即ち測距の分解能が向上するという固有の効果があ
る。

【００５７】次に第４の実施例について説明する。上記
第１〜第３の実施例ではいずれも、ある時刻のステレオ
画像の対応付けから求まる距離データＺ_Sと倍率の異な
る時系列画像ペアの対応付けから求まる距離データＺ_R
及びＺ_Lとについて説明した。しかしながら、画像は、
焦点距離をワイド側からテレ側へ連続的にズームしなが
ら、入力されて来るので、各々独立に時々刻々求められ
るＺ_S，Ｚ_R，Ｚ_Lを次の時刻のＺ′_S，Ｚ′_R，Ｚ′
_Lを求める時に参照することができる。

【００５８】時間方向の距離データの利用法の１例とし
てここでは、ステレオ測距法にカルマンフィルタ（Ｋａ
ｌｍａｎＦｉｌｔｅｒ）を適用する方法について説明
する。カルマンフィルタの適用のため被写体距離の逆数
１／Ｄを状態変数として測距システムを以下のように定
式化する。

【００５９】・信号過程（状態変数の特性）（１／Ｄ）_t＝（１／Ｄ）_t-1＋η_t ……（１０）・観測過程（三角測量則）ｕ_t＝Ｂ・ｆ・（１／Ｄ）_t＋ξ_t ……（１１）但し、η_tは信号に加わる雑音で距離データ１／Ｄの時
間変動分に相当している。ξ_tは対応点の探索プロセス
中に加わる雑音で計測誤差は相当している。Ｂは基線
長、ｆは焦点距離Ｕ_tは動きベクトルである。この時、
カルマンフィルタによって推測される距離情報（１／
Ｄ）_t ⁺は下式（１２）のように表わされる。（１／Ｄ）_t ⁺＝Ｋ_t・ｕ_t＋［１−Ｂ・ｆ・Ｋ_t］・（１／Ｄ）_t ^- ……（１２）但し、Ｋ_tはカルマンゲイン（１／Ｄ）_t ^-は１時刻前
の距離データから現在予測される距離データで、（１／Ｄ）_t ^-＝（１／Ｄ）_t-1 ⁺ ……（１３）という関係が成り立っている。ここで＋記号はカルマン
フィルタの出力、−記号は次の時刻への予測値を示して
いる。

【００６０】図６は上記（１０）〜（１２）式模式的に
描いた図である。図中６００は本測距システムの状態変
数で求めたい信号であり、１／（被写体距離）と定義し
ている。状態変数６００の時間変化のプロセスが上記
（１０）式で表現されている。６１０は乗算器で、上記
状態変数６００に基線長Ｂと焦点距離ｆとを乗じて画像
上の移動量（動きベクトル＝視差）を求めている。この
関係は３角測量則に基づくもので、前記（２）式にＤ≫
ｆを仮定して簡略化したものである。

【００６１】６２０は加算器であり、上記動きベクトル
を求める際に加わる計測誤差ξが加算される。６３０は
上記動きベクトルである。６４０は上記動きベクトルに
カルマンゲインを乗ずる乗算器である。尚、カルマンゲ
インについては後述する。

【００６２】６５０は加算器であり、現在観測された動
きベクトル（＝視差）に基づいて推測される距離と過去
から推測される距離とを荷重加算するためのものであ
る。６６０は上記過去から推測される距離に荷重を乗ず
るための乗算器である。そして６７０がカルマンフィル
タによって推測される距離データである。この距離デー
タ６７０は次の距離推定のために順次利用されていく。

【００６３】次にカルマンゲインについて説明する。カ
ルマンゲインは現在測定された動きベクトルに基づき推
測される距離と過去から推測される距離との荷重を決定
する。カルマンゲインを用いた本測距システムではカル
マンゲインＫ_tは次式で表わされる。Ｋ_t＝（Ｐ_t ^-・Ｂ・ｆ）／｛（Ｂ²・ｆ²・Ｐ_t ^-）＋Ｒ_t｝ ……（１４）但し、Ｐ_t ^-＝Ｐ_t-1 ⁺＋Ｑ_t-1 ……（１５）ここで、Ｒ_tは観測過程中に加わる雑音ξの分散値、Ｑ
_tは信号過程に加わる雑音ηの分散値、Ｐ_tは指定誤差
の２乗（１／Ｄ_t−１／Ｄ_t ⁺）²である。

【００６４】いま、対応点探索の計測誤差Ｒ_tが小さ
く、現在観測された動きベクトルの精度が高い時即ちＲ
_t≒０のときには、（１４）式よりカルマンゲインＫ_t
は１／（Ｂ・ｆ）に近づき、過去からの推測値への荷重
（１−Ｂ・ｆ・Ｋ_t）はゼロに近づく。逆に、Ｒ_tの値
が大きくなれば、現在観測された動きベクトルに基づい
て求められた距離よりも過去から推測される距離を重視
するように適応的にその荷重を変化させていく。

【００６５】以上のようにカルマンフィルタでは、現在
観測されるデータ（ここでは動きベクトル又は視差）の
信頼性、即ちＲ_tの大小に応じて適応的に“最新の観測
データに基づいて推測される状態変数（ここでは被写体
距離）”と“過去の推移から予測される現在の状態変
数”とのバランスを変化させ、常に安定した推測値を得
ようとするものである。

【００６６】カルマンフィルタの適用の際に問題となる
初期値１／Ｄ₀，Ｐ₀については、本発明ではズーム測
距法によって求められる値をそのまま利用することがで
きるメリットがある。逆に、ステレオ測距法による計測
結果を初期値としてズーム測距方法にカルマンフィルタ
を適用することも可能である。また、カルマンゲインを
決定するＲ_tは、観測データの信頼性を表わすものとし
て、例えばマッチング演算の残差の分布を利用すること
ができ、その公知技術としては、Ｉｎｔｅｒｎａｔｉｏ
ｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶ
ｉｓｉｏｎ，３，２０９〜２３８（１９８９）記載の
“ＫａｌｍａｎＦｉｌｔｅｒ−ｂａｓｅｄＡｌｇｏ
ｒｉｔｈｍｓｆｏｒＥｓｔｉｍａｔｉｎｇＤｅｐ
ｔｈｆｒｏｍＩｍａｇｅＳｅｑｕｅｎｃｅｓ”が
ある。

【００６７】以上、ステレオ測距法にカルマンフィルタ
を適用した例について説明したが、同じ要領でズーム測
距法へ適用することも可能なことは言うまでもない。

【００６８】この第４の実施例は、測距の時間方向の情
報統合の−手法となるもので演算量が大幅に増加するこ
となく、除々に測距精度を高めることができかつ、過去
の測距結果を利用することで、現在入力された画像のみ
に依存する不安定さが減ぜられる効果がある。

【００６９】また、逐次測距精度が高まり、第３の実施
例と併用することにより、徐々に測距分解能を高めるこ
とができる。このため高速に被写体の概形を把握するこ
とから、やや時間をかけて高精度、高密度に被写体の３
次元形状を計測することまで実行可能であり、目的に応
じた自由度の高い測距を実現できる。

【００７０】

【発明の効果】以上のように、請求項１，２の発明によ
れば、ステレオ測距法で得られた計測結果とズーム測距
法で得られた計測結果とを組み合わせるようにしたこと
により、画像処理による非接触な被写体の３次元形状計
測の信頼性を向上させる効果がある。

【００７１】請求項３，４の発明によれば、ズーム測距
手段で用いる複数の画像間のズーム倍率の相異を修正す
ることにより、ズーム測距法の精度を向上できる効果が
ある。

【００７２】請求項５，６の発明によれば、ズーム倍率
に応じて上記被写体が画角に含まれるように複数の撮像
装置を指向させるようにしたことにより、ズーム測距
法、ステレオ測距法の精度が向上すると共に、測距の分
解能が向上する効果がある。

【００７３】請求項７，８の発明によれば、ステレオ測
距法、ズーム測距法の少くとも一方において過去の計測
結果を適応的に利用しながら被写体距離の計測を行うこ
とにより、ズーム測距法、ステレオ測距法の精度が向上
すると共に、目的、精度や分解能に応じた測距が実行で
きる効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図であ
る。

【図２】本発明の第２の実施例を示すブロック図であ
る。

【図３】被写体距離と画像の変倍率との関係を示す特性
図である。

【図４】被写体距離の異る画像が２倍に拡大されたこと
を示す構成図である。

【図５】本発明の第３の実施例を示すブロック図であ
る。

【図６】本発明の第４の実施例によるカルマンフィルタ
の動作を説明するための構成図である。

【図７】従来のステレオ測距法を示す構成図である。

【図８】従来のズーム測距法を示す構成図である。

【符号の説明】

１０、２０ズームレンズ３０、４０撮像部７０、８０、９０測距部１００距離データ統合部１２０、１３０画像修正部

Claims

【特許請求の範囲】

【請求項１】被写体を複数の異る視点で撮像して得ら
れる複数の画像を用いて被写体距離を計測するステレオ
測距法を行うステップと、上記被写体を複数の異る画角で撮像して得られる複数の
時系列画像を用いて被写体距離を計測するズーム測距法
を行うステップと、上記ステレオ測距法で得られた計測結果と上記ズーム測
距法で得られた計測結果とを組み合わせることにより上
記被写体の３次元形状を計測するステップとを備えた３
次元形状の計測方法。
【請求項２】被写体を複数の異る視点及び複数の異る
画角で撮像する撮像手段と、上記撮像手段が上記被写体を複数の視点で撮像して得ら
れる複数の画像を用いて被写体距離を計測するステレオ
測距手段と、上記撮像手段が上記被写体を複数の画角で撮像して得ら
れる複数の画像を用いて被写体距離を計測するズーム測
距手段と、上記ステレオ測距手段で得られた計測結果と上記ズーム
測距手段で得られた計測結果とを用いて上記被写体の３
次元形状を計測する統合計測手段とを備えた３次形状の
計測装置。
【請求項３】上記ステレオ測距法で計測した被写体距
離を用いて上記ズーム測距法で用いる複数の画像間のズ
ーム倍率の相異を修正することを特徴とする請求項１記
載の３次元形状の計測方法。
【請求項４】上記ステレオ測距手段で計測した被写体
距離を用いて上記ズーム測距手段で用いる複数の画像間
のズーム倍率の相異を修正する画像修正手段を設けたこ
とを特徴とする請求項２記載の３次元形状の計測装置。
【請求項５】複数の撮像装置を用い、ズーム倍率に応
じて上記被写体が画角に含まれるように各撮像装置を指
向させるようにした請求項１記載の３次元形状の計測方
法。
【請求項６】上記撮像手段として複数の撮像装置を用
い、ズーム倍率に応じて上記被写体が画角に含まれるよ
うに各撮像装置を指向させるようにした請求項２記載の
３次元形状の計測装置。
【請求項７】上記ステレオ測距法、ズーム測距法の少
くとも一方において過去の計測結果を適応的に利用しな
がら被写体距離の計測を行うようにした請求項１記載の
３次元形状の計測方法。
【請求項８】上記ステレオ測距手段、ズーム測距手段
の少くとも一方において過去の計測結果を適応的に利用
しながら被写体距離の計測を行うようにした請求項２記
載の３次元形状の計測装置。