JPH10267618A

JPH10267618A - 距離計測装置

Info

Publication number: JPH10267618A
Application number: JP9088811A
Authority: JP
Inventors: Tomoko Shimomura; 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1997-03-24
Filing date: 1997-03-24
Publication date: 1998-10-09
Anticipated expiration: 2017-03-24
Also published as: JP3384278B2

Abstract

(57)【要約】【課題】視界を遮るマークなしでステレオカメラの軸
ずれを検出する。【解決手段】画像メモリ３、４に記憶されたカメラ
１、２による画像の一方から先行車検出部５が先行車を
検出すると、マッチング位置検出部６がその先行車を含
むウインドウと最類似するウインドウを他方の画像から
検出する。車間距離算出部７が両ウインドウの位置とカ
メラの位置関係から車間距離を求め、車間距離保管部８
に保管する。画像上の大きさ検出部１０で検出される画
像上での先行車の大きさが大きさ保管部１２に保管され
るとともに、これと車間距離とから先行車の実際の大き
さ算出部１１が実際の大きさを算出する。所定間隔で連
続して求めた複数回の車間距離の変化と画像上の大きさ
の変化から、第１、第２の相対速度算出部９、１３でそ
れぞれ第１、第２の相対速度を求め、軸ずれ判断部が相
対速度の差からカメラの軸ずれを判断する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ステレオカメラ
の軸ずれを判断しながらステレオ画像処理による対象物
までの距離（たとえば車間距離）計測を行うステレオカ
メラを用いた距離計測装置に関する。

【０００２】

【従来の技術】従来、この種の距離計測装置としては、
たとえば特開平８−１６９９９号公報に開示された車間
距離計測装置がある。ステレオ画像処理による距離計
測においては、カメラの軸ずれ（２つのカメラの光軸の
ずれ）がその計測精度に大きな影響を与えるので、これ
を正しく把握する必要がある。そこで上記の従来技術で
は、カメラの取付け位置や姿勢が取付け時からずれたこ
とを判断するために、取付け位置認識マークをカメラの
撮像エリア内に入るように取付け、そのマークが撮像さ
れる位置の変化を判断することでカメラの軸ずれを判断
するようにしている。

【０００３】

【発明が解決しようとする課題】しかし、上記の車間距
離計測装置では、まず、カメラと認識対象物の間に、軸
ずれを判断するためだけに用いるマークが撮像されるた
め、そのマークと対象物が重なる部分では対象物の検出
ができなくなるという欠点がある。また、毎回の認識処
理毎において、位置、姿勢がずれていないことを確認す
るために、マークの位置に撮像されている部分が確かに
マークであるか否かの判断が必要となり、その分処理時
間が長くかかるという欠点もある。また、このマーク
は、カメラとマークとの位置関係を固定にするためにカ
メラを搭載した車両の一部、たとえばフロントガラスな
どに付ける必要があるが、そのマークが運転手の視界を
遮るという不都合もある。

【０００４】さらに、ステレオ画像処理による距離計測
におけるカメラの微妙な軸ずれは、大きな軸ずれやカメ
ラの故障とは異なり、画像処理があたかも正常であるか
のように動作するため、発見が非常に困難であるが、計
測において最も正確さが求められる“距離値”は微妙な
軸ずれにも影響されるため、軸ずれは精度よく判断され
る必要がある。しかし、従来装置では、マークまでの距
離がカメラから先行車などの認識対象までの距離に対し
て非常に短いことから、車両から外界を認識するための
カメラではマークに対してのピントが合わず、微妙な軸
ずれを発見することが非常に困難である。したがって、
この手法で精度よく微妙な軸ずれを発見するためには、
カメラのピントをマークの位置から障害物検出位置まで
幅広く調整できる特別な機構が必要となる。

【０００５】この発明はこのような従来の問題点に鑑
み、視界を遮るようなマークを必要とせずに、微妙な軸
ずれも精度よく検出することができるステレオカメラを
用いた距離計測装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】このため、請求項１記載
の本発明は、それぞれの光軸を互いに平行とし所定の眼
間距離をもって配置された２台のカメラと、所定時間間
隔毎に２台のカメラが撮像した映像信号をディジタルの
第１および第２の画像として一時的に記憶する画像メモ
リと、第１の画像内で計測対象物を検出する対象物検出
手段と、第１の画像における計測対象物を含むウインド
ウと最も類似したウインドウの位置を第２の画像内に探
索するマッチング位置探索手段と、上記互いに最も類似
したウインドウの位置と２台のカメラの位置関係をもと
に、計測対象物までの距離を求める距離算出手段と、上
記所定時間間隔毎に連続して求めた複数回分の計測対象
物までの距離を記憶する距離記憶手段と、距離記憶手段
に記憶された計測対象物までの距離の時間的変化から計
測対象物との第１の相対速度を求める第１の相対速度算
出手段と、第１および第２の画像上のいずれかにおける
計測対象物の大きさを検出する画像上の大きさ検出手段
と、画像上の計測対象物の大きさと計測対象物までの距
離に基づいて当該計測対象物の実際の大きさを算出する
実際の大きさ算出手段と、上記所定時間間隔毎に連続し
て求めた複数回分の画像上の計測対象物の大きさを記憶
する大きさ記憶手段と、計測対象物の実際の大きさと大
きさ記憶手段に記憶された画像上の計測対象物の大きさ
の時間的変化とをもとに計測対象物との第２の相対速度
を求める第２の相対速度算出手段と、第１の相対速度と
第２の相対速度の比較に基づいて２台のカメラの光軸の
ずれを判断する軸ずれ判断手段とを有するものとした。

【０００７】請求項３記載の発明は、上記の対象物検出
手段、マッチング位置探索手段および距離算出手段のか
わりに、第１の画像を同一サイズの複数のブロックに区
切り、各ブロック内に撮像されている対象物までの距離
を求め、当該距離のうち最小値の対象物が撮像されてい
るブロックの固まりを計測対象物が撮像されている領域
として、上記最小値を計測対象物までの距離とするとと
もに、画像上の計測対象物の大きさをブロック単位で検
出する計測対象物の大きさ・距離判断手段を備えるもの
とした。

【０００８】上記計測対象物の大きさ・距離判断手段
は、複数の各ブロック内でエッジを検出するブロック毎
エッジ検出部と、第１の画像における上記エッジを含む
ブロックと最も類似したブロックの位置を第２の画像内
に探索するブロック毎マッチング位置検出部と、互いに
最も類似したブロックの位置と２台のカメラの位置関係
をもとに、ブロック毎に検出されたエッジまでの距離を
求めるブロック毎距離算出部と、全てのブロックのうち
距離が最小値のエッジを含みかつ隣接するブロックの固
まりを計測対象物の領域として、最小値を計測対象物ま
での距離とするとともに、上記ブロックの固まりの大き
さを画像上の計測対象物の大きさとする位置・大きさ・
距離判断部とから構成することができる。

【０００９】また、請求項５記載の発明は、上記計測対
象物の大きさ・距離判断手段と大きさ記憶手段の間に、
さらにブロックの固まりの所定方向において互いに最離
間している２つの列内からそれぞれエッジを検出する両
端エッジ検出手段を設け、大きさ記憶手段には、両端エ
ッジ検出手段で検出されたエッジ間の距離を画像上の計
測対象物の大きさとして記憶するものとした。

【００１０】

【作用】請求項１記載のものでは、２台のカメラがステ
レオカメラを形成して、視差をもった第１および第２の
画像が所定時間間隔毎に画像メモリに記憶される。対象
物検出手段により第１の画像内で計測対象物が検出され
ると、その計測対象物を含むウインドウをテンプレート
としてマッチング位置探索手段が第２の画像内でテンプ
レートと最も類似したウインドウの位置を探す。そし
て、距離算出手段が両ウインドウの位置と２台のカメラ
の位置関係をもとに、計測対象物までの距離を求め、こ
れを距離記憶手段に逐次記憶していく。第１の相対速度
算出手段では、距離記憶手段に記憶された複数回分の距
離の時間的変化から計測対象物との第１の相対速度を算
出する。

【００１１】一方、画像上の大きさ検出手段によりいず
れかの画像における計測対象物の大きさを検出し、この
画像上の計測対象物の大きさと計測対象物までの距離に
基づいて実際の大きさ算出手段が当該計測対象物の実際
の大きさを算出するとともに、画像上の計測対象物の大
きさを大きさ記憶手段に逐次記憶していく。第２の相対
速度算出手段では、計測対象物の実際の大きさと大きさ
記憶手段に記憶された画像上の計測対象物の大きさの時
間的変化から計測対象物との第２の相対速度を算出す
る。そして、軸ずれ判断手段が第１の相対速度と第２の
相対速度を比較して、２台のカメラの光軸のずれを判断
する。

【００１２】請求項３記載のものでは、計測対象物の大
きさ・距離判断手段において、第１の画像の各ブロック
内に撮像されている対象物までの距離を求め、当該距離
のうち最小値の対象物を撮像しているブロックの固まり
を抽出して、当該最小値を計測対象物までの距離とす
る。この際併せて、ブロックの数により画像上の計測対
象物の大きさが求められる。

【００１３】また、請求項５記載のものでは、両端エッ
ジ検出手段において、計測対象物の大きさ・距離判断手
段で抽出されたブロックの固まりの所定方向において互
いに最離間している２つの列、例えば最上段と最下段の
列からそれぞれエッジを検出する。これにより計測対象
物の例えば上縁と下縁が検出される。このエッジ間の距
離が画像上の計測対象物の大きさとして大きさ記憶手段
に記憶され、第２の相対速度算出手段で計測対象物の実
際の大きさと大きさ記憶手段に記憶されたエッジ間の距
離の時間的変化から計測対象物との第２の相対速度が算
出される。

【００１４】

【発明の実施の形態】以下、この発明の実施の形態を実
施例により説明する。ここでは、実施例に係るステレオ
カメラを用いた距離計測装置を具体的に説明する前に、
ステレオカメラにより得られるステレオ画像を処理して
求めた前方障害物である先行車までの距離をもとに相対
速度（第１の相対速度Ｖ１）を求める方法と、先行車の
画像上での大きさの変化から相対速度（第２の相対速度
Ｖ２）を求める方法とを説明し、次にこれら２つの異な
る手法で求めた相対速度Ｖ１、Ｖ２を比較することによ
りステレオカメラの軸ずれを判断する原理を説明する。

【００１５】まず、ステレオ画像を処理して求めた先行
車までの車間距離（以下、単に距離という）をもとに第
１の相対速度Ｖ１を求める方法を説明する。図１は、ス
テレオ画像を用いて三角測量の原理でステレオカメラか
ら先行車Ｃまでの距離Ｚを求める原理を説明する図であ
る。ここでは、ステレオカメラを構成する２台のカメラ
１、２が車両に搭載されている。カメラ１、２は、同一
の焦点距離ｆを有するレンズＬ１、Ｌ２と、各レンズか
ら撮像面までの距離が焦点距離ｆとなるように配置され
たＣＣＤ１ａ、２ａとをそれぞれ有するＣＣＤカメラで
ある。カメラ１、２は、ＣＣＤ１ａ、２ａの各撮像面が
同一垂直面内に位置し、各撮像面の垂直基準軸であるＹ
軸、すなわＣＣＤ１ａの撮像面のＹA 軸とＣＣＤ２ａの
撮像面のＹB 軸が一致し、レンズＬ１、Ｌ２の光軸１
ｂ、２ｂが互いに平行でかつ眼間距離（光軸１ｂ、２ｂ
間の距離）Ｄが所定の値となるように、上下に並べて配
置されている。

【００１６】焦点距離ｆ及び眼間距離Ｄが既知であり、
光軸１ｂ、２ｂが互いに平行な２台のカメラ１、２で車
両前方を撮像して得られる２つの画像からなるステレオ
画像において、２つの画像間のマッチング位置（最も類
似する位置で、図１では各画像内における先行車Ｃのリ
ヤ側上縁部の位置）のＹ座標ｙａ、ｙｂを求めることが
できれば、カメラ１、２から先行車Ｃまでの距離Ｚは下
記の式（１）より求めることができる。Ｚ＝ｆ×Ｄ／（ｙｂ−ｙａ）（１）ここで、ｆ，ｙａ，ｙｂの単位はＣＣＤ１ａ、２ａの画
素であり、Ｄ，Ｚの単位はｍｍである。なお、一般に焦
点距離ｆは単位をｍｍで表す場合が多いが、式（１）の
焦点距離ｆは画素を単位として計算する。

【００１７】ここで、画素を単位とする焦点距離ｆの求
め方を図２に基づいて説明する。図２の（ａ）は大きさ
のわかっている幅Ｗ（ｍ）の物体Ｃ´を距離Ｚ（ｍ）だ
け離れたところで２台のカメラ１、２の一方（ここでは
カメラ１）により撮像したときの様子を示し、同図の
（ｂ）はそのとき得られる画像Ａを示す。以下の説明で
は、カメラ１により撮像される画像をＡ、そしてカメラ
２により撮像される画像をＢとする。

【００１８】画素を単位とする焦点距離ｆは、大きさの
わかっている幅Ｗ（ｍ）の物体Ｃ´を距離Ｚ（ｍ）だけ
離れたところにおいて撮像し、このとき得られる画像Ａ
（または画像Ｂ）上での物体Ｃ´の幅ｘｗ（画素）をエ
ッジ検出などの画像処理により検出することで、下記の
式（２）により求めることができる。ｆ＝ｘｗ×Ｚ／Ｗ（２）ここで、ｘｗの単位は画素であり、Ｚ，Ｗの単位はｍで
ある。

【００１９】第１の相対速度Ｖ１は、式（１）をもとに
一定時間Δｔ毎に求めた数回分の距離値（車間距離Ｚの
値）をもとに求める。図３は第１の相対速度Ｖ１の求め
方を説明するグラフで、横軸は時間ｔ（ｍｓ）を、縦軸
は車間距離Ｚ（ｍ）をそれぞれ表している。このグラフ
は過去数回（ｎ回）で求めたｎ点の距離値をΔｔ毎にプ
ロットしたものである。第１の相対速度Ｖ１は、ある時
間ｎ×Δｔ内で変化した相対距離をＲとして、Ｖ１＝Ｒ
／（ｎ×Δｔ）であるので、このグラフの点列の最小二
乗誤差をとる直線（Ｚ＝ａ×ｔ＋ｂで表す直線）の傾き
ａを求めれば、それが第１の相対速度Ｖ１となる。この
ように、ステレオ画像を処理して求めた距離の変化（数
回分の距離値）をもとに第１の相対速度Ｖ１を求めるこ
とができる。

【００２０】次に、先行車Ｃの大きさの時間的変化をも
とに第２の相対速度Ｖ２を求める方法を説明する。図４
の（ａ）は、先行車Ｃを距離Ｚ１（ｍ）だけ離れたとこ
ろで撮像（ここではカメラ１により撮像）したときの様
子を示し、同図の（ｂ）はその得られる画像Ａを示す。
同様に、図５の（ａ〓）は、先行車Ｃを距離Ｚ１より遠
い距離Ｚ２（ｍ）だけ離れたところで撮像したときの様
子を示し、同図の（Ｂ）はそのとき得られる画像Ａを示
す。

【００２１】図４及び図５から明らかなように、先行車
Ｃの画像（２つの画像Ａ、Ｂの一方）上での大きさは先
行車Ｃまでの距離Ｚに応じて変化するので、先行車Ｃの
屋根（上端）から底（下端）までの高さｈ（ｍ）、焦点
距離ｆ（画素）、画像Ａ上での先行車Ｃの屋根のエッジ
から底のエッジまでの長さ（画像Ａ上での先行車Ｃの高
さ）をｙｗ、距離をＺ（ｍ）とすると、下記の式（３）
の関係が成り立つ。Ｚ＝ｈ×ｆ／ｙｗ（３）

【００２２】この式からわかるように、仮に先行車Ｃの
高さｈがわかっていれば、１つの画像（２つの画像Ａ、
Ｂの一方）を利用した画像処理により、先行車Ｃの上下
のエッジ間の距離（画像上での大きさ）ｙｗを求めるこ
とができる。通常、先行車Ｃの高さｈは未知の値である
が、ここでは、ステレオ画像処理によって距離Ｚが上記
の式（１）により求められているため、ｙｗを求めるこ
とができれば、式（３）の変形式ｈ＝Ｚ×ｙｗ／ｆの計
算により、先行車の高さｈを求めることができる。

【００２３】その高さｈを求めることができれば、式
（３）により逐次の距離Ｚを求めることができる。その
ため、一定時間Δｔ毎に計測した距離値を図３のグラフ
で示すようにプロットすることで、ステレオ画像処理の
結果をもとに第１の相対速度Ｖ１を求めたときと同様
に、先行車Ｃとの相対速度（第２の相対速度Ｖ２）を求
めることが可能となる。ここで、第２の相対速度Ｖ２は
同じ先行車Ｃを追従しているときに計測するものである
ので、高さｈは固定である。つまり、画像上で先行車Ｃ
を発見した時点で、一度高さｈを求めてしまえば、先行
車Ｃの画像上での大きさ（ここでは高さｙｗ）の時間的
変化だけをもとにその先行車との相対速度Ｖ２を求める
ことが可能となる。

【００２４】すなわち、第１の相対速度Ｖ１を求めるた
めに用いた図３のグラフの縦軸にあたる距離Ｚを、画像
上で先行車Ｃを発見したときに求めた先行車Ｃの高さｈ
と一定時間Δｔ毎に求めた先行車Ｃの画像上での高さｙ
ｗとを式（３）に代入して求めてプロットし、これらの
プロットした点列の最小二乗誤差をとる直線の傾きａを
算出することで第２の相対速度Ｖ２を求めることができ
る。このようにして、先行車Ｃの画面上での大きさの時
間的変化をもとに第２の相対速度Ｖ２を求めることがで
きる。

【００２５】次に、ステレオカメラの軸ずれは、上記異
なる手法で求めた２つの相対速度Ｖ１、Ｖ２を用いて次
の原理により判断する。軸ずれの確認は、ある一定時間
だけ同じ先行車Ｃを追従しているときに行う。同じ先行
車Ｃを追従している場合、相対速度を正しく求めること
ができていれば、上記２つの方法で求めた相対速度Ｖ
１，Ｖ２は同じはずである。ここで、ステレオカメラを
構成する２台のカメラ１、２の光軸１ｂ、２ｂが平行で
軸ずれのない状態から、カメラ２の光軸２ｂが傾いた軸
ずれのある状態に変わったものとする。

【００２６】図６の（ａ）は、軸ずれがない状態で先行
車Ｃを撮像している状態を示し、図７の（ａ）はそのと
き得られるステレオ画像（下側にある画像Ａと上側にあ
る画像Ｂ）を示す。また、図６の（ｂ）は、カメラ２の
光軸２ｂが傾いた状態で先行車Ｃを撮像している状態を
示し、図７の（ｂ）はそのとき得られるステレオ画像を
示す説明図である。図６及び図７からわかるように、カ
メラ１、２の一方の軸がずれると先行車Ｃが撮像される
位置がずれるため、ここでは図７の（ｂ）に示す画像Ｂ
上でのマッチング位置の座標ｙｂ´が、両光軸１ｂ、２
ｂが平行なときのマッチング位置の座標ｙｂ（図７の
（ａ）参照）とは異なる位置になる。このため、式
（１）より、（ｙａ−ｙｂ）の値をもとに求める距離Ｚ
は誤った値となる。つまり、ステレオカメラの軸がずれ
ると、距離Ｚが正確でなくなるため、この距離をもとに
求めた第１の相対速度Ｖ１も正確な値ではなくなる。

【００２７】次に、距離値がどのように誤算出されるか
を具体的に求めてみる。図８は、カメラ２の光軸２ｂが
角度θだけ傾いた状態を示す。光軸２ｂが角度θだけ
傾くと、その傾きがないときには座標ｙｂのマッチング
位置に撮像されるべきエッジ（先行車Ｃのリヤ側上縁
部）が、ｙｂ´＝（ｙｂ／ｃｏｓθ）＋ｆ×ｔａｎθで
表される座標ｙｂ´付近の位置に撮像される。つまり、
その座標ｙｂ´のエッジを用いて求めた距離Ｚ´は、上
記式（１）のｙｂにｙｂ´を代入して、下記の式（４）
で表わされる。Ｚ´＝ｆ×Ｄ／｛（（ｙｂ／ｃｏｓθ）＋ｆ×ｔａｎθ）−ｙａ｝（４）このため、ステレオカメラの軸がずれた状態で計測した
第１の相対速度Ｖ１は、常に、ｙｂが（（ｙｂ／ｃｏｓ
θ）＋ｆ×ｔａｎθ）に近い値に誤認識されて求められ
た誤った距離Ｚ´をもとに算出されることになる。

【００２８】一方、先行車Ｃの画像上での大きさの時間
的変化をもとに第２の相対速度Ｖ２を求める場合を、図
９に基づいて考えてみる。同図の（ａ）は、光軸１ｂが
傾いていないカメラ１で先行車Ｃを撮像している状態、
（ｂ）は光軸が傾いたカメラで先行車Ｃを撮像している
状態を示す。前述のように、先行車Ｃの画像上での大き
さの時間的変化を求める場合は、２台のカメラ１、２の
うち、どちらか一方を用いればよい。仮に、図９の
（ａ）で示すように光軸の傾いていない方のカメラ１を
用いて第２の相対速度Ｖ２を求める場合、先行車Ｃの画
像上での大きさ（ここでは高さ）ｙｗは正しく求められ
る。

【００２９】ところが、ステレオカメラの軸ずれによ
り、式（４）で表わされるような誤った距離Ｚ´をもと
に求めた先行車の高さｈ´を用いて距離Ｚを式（３）に
より算出することになる。そのため、正確な先行車の高
さをｈとすると、距離Ｚが必ずｈ´／ｈ倍される。した
がって、図３のグラフと同様にプロットした点列の最小
二乗誤差をとる直線の傾きである第２の相対速度Ｖ２
も、正確な相対速度のｈ´／ｈ倍された値となる。

【００３０】また、図９の（ｂ）で示すように光軸が傾
いた方のカメラを用いて第２の相対速度Ｖ２を求める場
合は、先行車Ｃの画像上での大きさは、本来ｙｗである
ところが、常に１／ｃｏｓθ倍されてｙｗ／ｃｏｓθに
なる。そのため、その値ｙｗ／ｃｏｓθと、誤った距離
Ｚ´をもとに求められた先行車Ｃの大きさｈ´とをもと
に距離Ｚが式（３）により算出される。すなわち、距離
Ｚは、常に正確な値の（ｈ´×ｃｏｓθ）／ｈ倍された
値として求められる。そのため、第２の相対速度Ｖ２も
正確な相対速度の（ｈ´×ｃｏｓθ）／ｈ倍された値と
して算出される。このように、光軸の傾いていない方の
カメラを用いて相対速度Ｖ２を求める場合と光軸が傾い
たカメラを用いて相対速度Ｖ２を求める場合のいずれに
よっても相対速度Ｖ２を正しく求めることはできなくな
る。

【００３１】ところで、先行車Ｃの画像上での大きさの
時間的変化をもとに求める第２の相対速度Ｖ２は、距離
Ｚが必ずある一定倍された値をもとに求められる。これ
に対し、ステレオ画像処理で求められる距離Ｚは、前記
一定倍とは異なる割合で求められる。すなわち、一方の
カメラの軸が角度θ傾いた場合であれば、式（１）の分
母のｙａ、ｙｂのうちのどちらか一方が１／ｃｏｓθ倍
され、かつその分母にｆ×ｔａｎθが加算されている。

【００３２】このため、距離Ｚの時間的変化をもとに求
める第１の相対速度Ｖ１は、先行車Ｃの画像上での大き
さの時間的変化をもとに求める第２の相対速度Ｖ２とは
異なる値となる。つまり、ステレオカメラの軸ずれがお
きると、相対速度Ｖ１、Ｖ２に差異が生じる。本発明
は、この原理を用いることにより、２つの異なる手法で
求めた相対速度Ｖ１、Ｖ２を比較して、軸ずれの判断を
行う。

【００３３】次に、本発明の具体的実施例について説明
する。図１０は、車両に搭載され先行車との車間距離を
計測する距離計測装置に適用した第１の実施例の構成を
示すブロック図である。２台のカメラ１、２がステレオ
カメラを構成し、それぞれ、同一の焦点距離ｆを有する
レンズＬ１、Ｌ２と、各レンズから撮像面までの距離が
焦点距離ｆとなるように配置されたＣＣＤ１ａ、２ａと
を有するＣＣＤカメラからなる。カメラ１、２は、前方
を撮影するのに適した車両上の所定の部位に取り付けら
れている。カメラ１、２は、先の図１に示すように、Ｃ
ＣＤ１ａ、２ａの各撮像面が同一垂直面内に位置し、各
撮像面の垂直基準軸（ＹA 軸、ＹB 軸）が一致し、レン
ズＬ１、Ｌ２の光軸１ｂ、２ｂが水平かつ互いに平行と
なり、かつ所定の眼間距離Ｄをもって上下に並べて配置
されている。

【００３４】カメラ１、２は、それぞれが撮像して出力
する映像信号をデジタル画像（図７に示す画像Ａ、Ｂ）
として一時的に記憶する画像メモリ３、４に接続されて
いる。そして、画像メモリ３にはその記憶されたデジタ
ル画像（以下、単に画像という）Ａから先行車Ｃを検出
する先行車検出部５が接続されるとともに、さらに画像
メモリ３と４には記憶された画像Ａ、Ｂに基づき、両画
像Ａ、Ｂの一方内において先行車Ｃが検出された画像領
域と最も類似した画像領域が存在する位置（マッチング
位置）をその他方の画像内から探すマッチング位置検出
部６が接続されている。

【００３５】マッチング位置検出部６には車間距離算出
部７が接続され、両画像Ａ、Ｂ内のマッチング位置と２
台のカメラ１、２の焦点距離ｆ、眼間距離Ｄなどの位置
関係データをもとに、先行車Ｃまでの距離を求める。こ
の車間距離算出部７で連続して一定時間Δｔ毎に求めら
れた過去数回分の距離データは車間距離保管部８に保管
される。そして、車間距離保管部８に接続された第１の
相対速度算出部９において、過去数回分の距離データを
もとに先行車Ｃと自車との相対速度（第１の相対速度）
Ｖ１を求めるようになっている。

【００３６】さらに、画像メモリ３と先行車検出部５に
は画像上の大きさ検出部１０が接続され、画像Ａと先行
車Ｃの検出結果とに基づいて、先行車Ｃの画像上での大
きさを算出する。この画像上の大きさ検出部１０で連続
してたとえば一定時間Δｔ毎に求めた先行車Ｃの画像上
での大きさは、大きさ保管部１２に保管される。また、
車間距離算出部７と画像上の大きさ検出部１０とに接続
されて、先行車の実際の大きさ算出部１１が設けられ、
車間距離算出部７で求めた距離データと画像上の大きさ
検出部１０で検出した先行車Ｃの画像上での大きさとに
基づいて、先行車Ｃの実際の大きさを算出する。

【００３７】先行車の実際の大きさ算出部１１と大きさ
保管部１２とは第２の相対速度算出部１３に接続され、
ここで先行車Ｃの実際の大きさと連続して求めた先行車
Ｃの画像上での大きさ（の時間的変化）をもとに第２の
相対速度Ｖ２が求められる。そして、ステレオカメラを
構成するカメラ１、２の軸ずれを判断する軸ずれ判断部
１４が、第１の相対速度算出部９と第２の相対速度算出
部１３とに接続されている。

【００３８】このような構成を有する距離計測装置は、
２台のカメラ１、２を用いて先行車Ｃを追従し、カメラ
１、２から出力される画像Ａ、Ｂからなるステレオ画像
を処理して求めた距離の時間的変化をもとに求めた第１
の相対速度Ｖ１と、先行車Ｃの画像上での大きさの時間
的変化をもとに求めた第２の相対速度Ｖ２とを比較する
ことで、ステレオカメラの軸ずれを判断し、軸ずれ分の
補正を行いながら、車間距離計測処理を行う。

【００３９】次に、本実施例に係る距離計測装置の処理
動作を、図１１、図１２のフローチャートにより説明す
る。まず、ステップ１００で、初期設定を行って先行車
Ｃの追従回数ＮＵＭを０にする。次のステップ１０１
で、ステレオ画像、すなわちカメラ１、２からそれぞれ
出力される画像Ａ、Ｂを画像メモリ３、４にそれぞれ入
力して記憶する。ステップ１０２では、先行車検出部５
がこの記憶したステレオ画像が１回目のもの、すなわち
追従回数ＮＵＭが０であるかどうかをチェックして、Ｎ
ＵＭ＝０のときは、ステップ１０３において、両画像
Ａ、Ｂのどちらか一方（本実施例では画像メモリ３に記
憶された画像Ａ）を用いて先行車Ｃの位置検出処理を行
う。ここでは、画像内において図１３に示すように走行
路の２本の白線３０、３１を検出し、あるしきい値以上
の強度と長さを有して両白線の間に挟まれる横エッジを
画像の下から上へ向けて探索し、この条件を満たす横エ
ッジを先行車の一部であるとみなす。

【００４０】先行車検出部５では、こうして先行車を発
見した場合、画像Ａ内におけるその発見位置に所定の大
きさのウインドウ４０を設定し、これをテンプレートと
して保存する。ウインドウ４０は、図１４の（ａ）に示
すように、始点を（Ｘａ，Ｙａ）として、Ｘ軸方向の幅
をｘｗ、Ｙ軸方向の幅をｙｗとする。

【００４１】ステップ１０４で、上記処理の結果先行車
を発見したかどうかをチェックする。先行車を発見した
場合はステップ１０５に進む。また、上記の条件を満た
す横エッジを見つけることができなかったときは、自車
の走行レーン上には先行車がないものとみなし、ステッ
プ１０１に戻って同じ処理を繰り返す。

【００４２】次にステップ１０５では、マッチング位置
検出部６において、ウインドウ４０のテンプレートを用
いて画像Ａ、Ｂ間の互いに対応するマッチング位置ｙ
ａ，ｙｂを求める。マッチング位置ｙａ，ｙｂは、ウイ
ンドウ４０をテンプレートとして、画像Ｂからテンプレ
ートの画像と最も類似度の高い位置を式（５）を用いた
正規化相関法により求め、始点ｙａに対応する画像Ｂに
おけるマッチング位置ｙｂとする。なお、式（５）にお
いて、テンプレートの画像の各画素の輝度値をＡｉｊ、
画像Ｂの各画素の輝度値をＢｉｊとする。

【数１】

【００４３】図１４は、上記正規化相関法による画像
Ａ、Ｂ間のマッチングの考え方を簡単に示す説明図であ
る。ここでは２台のカメラ１、２をそれぞれのＹ軸が同
一線上にのるように配置してあるので、画像Ｂ内におい
て、画像Ａのテンプレート（ウインドウ４０）と同じＸ
座標の位置で、探索位置をＹ軸方向に順次ずらした複数
の位置検出対象画像を求める。そして、図１４の（ｂ）
に取り出して示すテンプレートと（ｃ）に示す画像Ｂか
ら取り出した（ｄ１）から（ｄ３）に示す各位置検出対
象画像との比較から、類似度の最も高い位置検出対象画
像を求めることとなる。図中、（ｄ１）はテンプレート
のＹ軸位置より上方の位置検出対象画像、（ｄ３）はテ
ンプレートより下方の位置検出対象画像、そして（ｄ
２）はテンプレートと同位置で類似度最大の位置検出対
象画像を示している。

【００４４】このあと、ステップ１０６において、車間
距離算出部７で先行車Ｃまでの距離Ｚを求める。距離
は、先の図１に示した原理に従い、画像Ａ、Ｂ内のマッ
チング位置ｙａ、ｙｂを前述の式（１）に代入して求め
る。このようにして、入力した画像Ａ、Ｂに基づいてス
テップ１０６で先行車までの距離が求められると、ステ
ップ１０７に進んで当該距離データが車間距離保管部８
に記憶、保管される。

【００４５】この間、先行車検出部５による画像Ａ上で
の先行車の位置検出にあたっては、今回の検出対象車が
前回と同じ車であるか否かを判断する必要がある。その
ため、１度先行車を発見した後、すなわちＮＵＭが０で
はないときには、ステップ１０２から１０８へ進んで、
前回発見した先行車を検出対象として、その先行車の画
像上の位置を次の入力画像上で探し、割り込み車が来る
までは同一車両を追従するようにする。

【００４６】次に、この追従方法について説明する。前
述のように、一度先行車を発見したときは、その先行車
位置に切ったウインドウをテンプレートとして保存して
ある。図１５の（ａ）は前回入力した画像Ａを示し、
（ｂ）はそれから切り出して保存されたテンプレートを
示している。その次に入力した（ｃ）に示す新たな画像
Ａにおける先行車位置検出は、上記保存されたテンプレ
ートと最も類似度の高い位置を探すことにより行われ
る。類似度は、ステップ１０５で画像Ａ、Ｂ間のマッチ
ングに用いた手法と同様に、正規化相関法を用いること
ができる。すなわち、テンプレートの各画素の輝度値を
Ｔｉｊ，新たに入力した画像Ａから抜き出した（ｄ１）
〜（ｄ３）に示す複数の位置検出対象画像の各画素の輝
度値をＡｉｊとすると、互いの画像の類似度は式（６）
より算出することができる。

【数２】

【００４７】新たに入力した画像Ａ上において位置をず
らしながら、前回入力した画像Ａから作成したテンプレ
ートに対し、式（６）で表わされる類似度の最も高い画
像が存在する位置を探して、その位置を先行車位置とす
る。図１５中、（ｄ２）の位置検出対象画像がテンプ
レートに対し最も高い類似度を示し、（ｄ１）は（ｃ）
に示す新たな画像Ａにおいて（ｄ２）よりも左上にずれ
た位置画像、（ｄ３）は（ｄ２）よりも右下にずれた位
置画像を示している。

【００４８】なお、新たに入力した画像Ａにおいて先行
車位置を検出した後は、そのまた次に入力する画像Ａで
の先行車位置検出用として検出位置で切ったウインドウ
内の画像を新たなテンプレートとして保存する。これに
より、画像上の先行車位置検出のために用いるテンプレ
ートは、常時更新されていく。このようにテンプレート
を毎回更新することで、先行車が遠ざかったり近づいた
りして大きさが変わる場合にも、正規化相関法によるマ
ッチングで先行車に追従する。

【００４９】一方、式（６）から求める類似度の最大値
が所定のしきい値以下になったとき、あるいは先行車位
置が画像の左右の端に来たときには、追従中の先行車と
自車との間に割り込み車が入ったか、先行車を見失った
ものと判断する。ステップ１０９では、上記追従結果を
チェックし、追従して先行車位置を検出しているときは
ステップ１０６へ進む。また、割り込み車が入ったり、
先行車を見失ったときは、ステップ１１０で、追従回数
をＮＵＭ＝０にリセットしたあと、ステップ１０１へ戻
り、再び、２本の白線を用いての先行車発見処理によっ
て新たな先行車を発見する処理で画像上の先行車位置を
検出し直す。

【００５０】ステップ１０７の次のステップ１１１で
は、画像上の大きさ検出部１０において、先行車の画像
上での大きさを検出する。ステレオ画像２枚のうちどち
らか一方を用いて求めればよいから、ここでは図１６の
（ａ）に示すように、画像Ａにおける先行車の屋根に対
応する上端エッジ（ｙｔ）とその車体下面に対応する下
端エッジ（ｙｓ）との間の長さｙｗを求めて先行車の画
像上での大きさとする。

【００５１】ここでは、先のステップ１０３で求められ
た先行車位置において、画像Ａ内に上下のエッジ検出用
のウインドウを切る。そのウインドウは画像上の先行車
全体を含むようにするため、図１６の（ａ）に示すよう
に、先行車検出用のウインドウより大きくし、位置と大
きさを決めた後、数個に縦方向に分割する。

【００５２】この複数の縦長のウインドウにおいて、
（ｂ）に示すように、下から上に向けて、先行車位置検
出と同じ要領で所定のしきい値以上のエッジ強度および
所定のしきい値以上の長さを持つエッジを探して、下端
エッジを検出する。この際のエッジ強度のしきい値は、
先行車発見時に検出したエッジ強度をもとにその値に近
い値として定める。検出したエッジの強度は、ソーベル
オペレータなどを用いてエッジの微分値として求める。

【００５３】また、長さのしきい値は、次のような方法
で定める。図１７に示すように、先行車Ｃの幅をＷ、先
行車の高さをｈ、先行車の底からカメラの光軸までの高
さをｋ、カメラから先行車までの距離をＺとすると、ｘｗ：Ｗ＝ｆ：Ｚｙｗ：ｈ＝ｆ：Ｚｙｃ：ｋ＝ｆ：Ｚの関係が成立する。したがって、先行車の幅ｘｗとｙ座
標値ｙｃの間には、式（７）の関係が成り立つ。ｘｗ／Ｗ＝ｙｗ／ｈ＝ｙｃ／ｋ（７）

【００５４】先行車の幅Ｗは通常１．５〜１．８ｍ程度
であるので、エッジを発見したｙ座標位置をもとに式
（８）より画像上での先行車のだいたいの横幅ｘｗを求
めることができる。ｘｗ＝ｙｃ×Ｗ／ｋ（８）発見した横エッジがこのｘｗの値に近い長さであれば、
先行車の下端エッジであると判断する。

【００５５】検出したエッジの長さは次のような方法で
求める。先行車の大きさ検出用として切った図１６に示
す縦長のウインドウの１つにおいて、エッジ強度がしき
い値以上である水平エッジを検出し、そのエッジのｙ座
標位置が隣接するウインドウにおいても同じであれば、
同一のエッジであるとみなす。つまり、ウインドウの幅
がｘｗｉｎのウインドウにおいてＳ個連続して同じ位置
にエッジが検出されたら、そのエッジの長さはＳ×ｘｗ
ｉｎとする。しきい値との比較判断は、Ｓ×ｘｗｉｎの
値と式（８）で求めた値との間で行い、互いに近い値で
あれば条件を満たしていると判断する。これらの条件に
合うエッジを下から上に向けて探し、最初に検出された
エッジを先行車の下端エッジとする。

【００５６】次に、上端エッジの概略の位置は、下端エ
ッジから上方に下端エッジの長さと同様程度の距離にあ
るものと想定されるので、その付近だけに探索範囲を限
定して、下端エッジが発見されたものと同じウインドウ
において、図１６の（ｃ）に示すように、上から下に向
けて、下端エッジの探索と同じ方法で探索する。ただ
し、車両の形状により、上端エッジは下端エッジより短
い場合もあるので、エッジの長さのしきい値は、下端エ
ッジが発見されたウインドウの内、両端を除いた数個の
ウインドウだけでも上端エッジとみなすこととする。な
お、図１６中、×印はエッジ長さが短いために選択され
なかったエッジを示し、〇印は合計長さがしきい値付近
で先行車と判断されるエッジを示している。

【００５７】このような方法で、下端エッジ位置ｙｓと
上端エッジ位置ｙｔを検出し、（ｙｓ−ｙｔ）を画像上
での先行車の大きさｙｗとする。このようにして、画像
上での先行車の大きさｙｗが求められると、ステップ１
１２に進んで当該大きさデータが大きさ保管部１２に記
憶、保管される。

【００５８】次にステップ１１３において、先行車の実
際の大きさ算出部１１で、追従する先行車の実際の高さ
ｈを求める。これは、式（３）の変形式ｈ＝Ｚ×ｙｗ／
ｆに先のステップ１０６で求めた距離Ｚと画像上での先
行車の大きさｙｗを代入することにより求められる。な
お、先行車の実際の高さｈは固定値であるから、先行車
追従の開始時の初回データに基づいて１回だけ求めれば
よい。

【００５９】このあと、ステップ１１４において、追従
回数（保管データ数）ＮＵＭを１だけ加算する。ステッ
プ１１５では、ＮＵＭが所定値に達したかどうかをチェ
ックする。ＮＵＭが所定値に達していないときは、ステ
ップ１０１へ戻る。これにより、一定時間Δｔ毎に連続
して繰り返し、先行車までの距離が求められるととも
に、先行車の画像上の大きさが求められ、それぞれが逐
次記憶、保管される。

【００６０】ＮＵＭが所定値に達すると、ステップ１１
５から１１６へ進み、第１の相対速度算出部９におい
て、距離の変化をもとに先行車と自車間の相対速度Ｖ１
を求める。一定時間毎の距離を先の図３のようにグラフ
にプロットし、そのグラフ上の点列の最小二乗誤差直線
の傾きを算出することにより、相対速度Ｖ１が求められ
る。

【００６１】次いで、ステップ１１７に進んで、第２の
相対速度算出部１３において、画像上の先行車の大きさ
の変化をもととして相対速度Ｖ２を求める。ここでは、
同じ先行車に追従している間、処理時間間隔Δｔ毎に求
めたｙｗを用いて、式（３）により算出した距離Ｚにつ
いて、先の図３に示すようなグラフの最小二乗誤差直線
の傾きとして相対速度Ｖ２を求める。

【００６２】以上により、距離の変化をもとにした相対
速度Ｖ１と先行車の大きさの変化をもとにした相対速度
Ｖ２が求められると、次にステップ１１８において、軸
ずれ判断部１４で軸ずれの有無の判断を行う。ここで
は、各速度Ｖ１，Ｖ２の差が所定のしきい値より大きい
かどうかをチェックし、その差がしきい値以上となれば
軸ずれが発生しているものとする。軸ずれが発生してい
なければ、ステップ１０１に戻り、上記のフローを繰り
返し、先行車との距離計測を継続する。一方、軸ずれが
発生している場合には、ステップ１１９に進んで、距離
計測を停止するなどの対応措置をとる。

【００６３】本実施例は以上のように構成され、ステレ
オ画像処理による車間距離計測においてステレオ画像処
理で求めた先行車までの距離の時間的変化から相対速度
Ｖ１を求めるとともに、画像上の先行車の大きさの時間
的変化から相対速度Ｖ２を求め、これら２つの相対速度
を比較することにより、ステレオカメラの軸ずれを判断
するようにしたので、従来のような取付け位置認識マー
クによって対象物の検出が不能になったり、運転者の視
界を妨げるような不都合なく軸ずれを検出することがで
きるとともに、微妙な軸ずれも確実に検出できる。さら
に、本実施例では車間距離計測を行うとともに、相対速
度も算出されるという効果を有している。

【００６４】次に、本発明の第２の実施例について説明
する。これは、画像上の先行車位置の検出に際して、画
像全体を所定の大きさのブロック毎に区切り、ブロック
毎に求めた距離をもとに、最も近い距離が求められたブ
ロックの固まりを先行車とするものである。図１８は本
実施例の構成を示す図である。図１０の第１の実施例に
おける先行車検出部５、マッチング位置検出部６および
車間距離算出部７のかわりに、それぞれブロック毎エッ
ジ検出部１５、ブロック毎マッチング位置検出部１６お
よびブロック毎距離算出部１７が設けられている。そし
て、先行車位置・大きさ・距離判断部２０がブロック毎
距離算出部１７、先行車の実際の大きさ算出部１１およ
び車間距離保管部８に接続されている。さらに、先行車
位置・大きさ・距離判断部２０は、画像上の大きさ検出
部１０を廃して直接大きさ保管部１２’に接続されてい
る。

【００６５】まず、上記構成における先行車位置の検出
とブロック数の時間的変化をもととした第１の相対速度
Ｖ１の求め方について説明する。まず、ブロック毎エッ
ジ検出部１５では、図１９に示すように、画像Ａ内の空
の領域を除いた部分をｘｂｋ×ｙｂｋを単位とする複数
ブロックに区切る。そして、各ブロック内で横エッジを
検出する。

【００６６】ブロック毎マッチング位置検出部１６で
は、画像Ａにおいて定義した個々のブロックをテンプレ
ートとして、前実施例での距離計測と同じように正規化
相関法により類似度の最も高いブロックの位置を画像Ｂ
内で探し、マッチング位置を検出する。ブロック毎のマ
ッチングに際しては、先行車は横エッジを多く持つた
め、ブロック内に先行車が存在する場合に背景の画像よ
り先行車の横エッジが強調されるように水平微分画像を
用いる。ブロック毎距離算出部１７ではこのマッチング
結果を用いて、各ブロック毎に距離を求める。

【００６７】こうして、先行車が撮像されている場合に
は、撮像されているそれぞれのブロックまでの距離が求
められるので、このあと、先行車位置・大きさ・距離判
断部２０において、全てのブロックのうち最短距離のも
のでかつ隣接するブロックの固まりを先行車候補とし
て、候補の中からブロックの固まりの長さ条件等を用い
て先行車を検出する。したがって、ここで先行車の画像
上の位置と距離と大きさとが同時に求められることにな
る。この先行車の画像上の位置と距離と大きさは、新し
い画像入力に基づく検出毎に更新して先行車位置・大き
さ・距離判断部２０内に記憶される。また、距離データ
は車間距離保管部８に記憶、保管される。

【００６８】初回の画像入力に基づいて先行車が検出さ
れた次回以降は、前回検出した先行車を検出対象として
追従することになる。この場合、同じ先行車に追従中は
先行車の大きさや距離が急激に変わることはないから、
先行車位置・大きさ・距離判断部２０に記憶されている
前回の距離、先行車の画像上の位置およびその大きさの
変化を確認しながら追従する。もし、距離、画像上の位
置および大きさのいずれかにおいて急激に値が変化した
場合には、検出した先行車が入れ替わったものと判断す
る。

【００６９】前実施例と同様、同一の先行車に追従して
いる間、先行車までの距離が一定時間Δｔ毎に所定回数
連続して繰り返し求められ、車間距離保管部に逐次保管
される。そして、第１の相対速度算出部９において、距
離の変化をもとに先行車と自車間の相対速度Ｖ１を求め
る。この実施例では、ブロック毎エッジ検出部１５、ブ
ロック毎マッチング位置検出部１６、ブロック毎距離算
出部１７および先行車位置・大きさ・距離判断部２０が
一体となって、発明の大きさ・距離判断手段を構成して
いる。

【００７０】次に、先行車の大きさの変化をもとにした
相対速度Ｖ２の求めかたについて説明する。図１９に示
したように各ブロックの大きさを（ｘｂｋ×ｙｂｋ）と
した場合、先行車と判断したブロックの固まりの縦の列
の個数がＮであれば、先行車の画像上の縦方向の大きさ
は、ｙｗｂ＝ｙｂｋ×Ｎ（９）であると判断することができる。したがって先行車の画
像上の縦方向の大きさの変化は縦方向のブロック数Ｎの
変化として求めることができる。

【００７１】これに基づき、大きさ保管部１２’には先
行車追従中、先行車位置・大きさ・距離判断部２０から
一定時間Δｔ毎に先行車と判断したブロックの固まりの
ブロック数が逐次保管される。そして、第２の相対速度
算出部１３’では、上記式（９）によるｙｗ（ｙｗｂ）
と先行車の実際の大きさｈとから前述の式（３）により
算出した距離Ｚについて、先の図３に示すようなグラフ
の最小二乗誤差直線の傾きとして相対速度Ｖ２を求め
る。その他の構成は前実施例と同様である。

【００７２】ところで、この実施例において、先行車の
画像上の縦方向の大きさは、ブロックの大きさの単位で
あるｙｂｋの倍数という離散的な値として求められる。
しかし、これを用いて求められる相対速度Ｖ２は、ステ
レオ画像処理結果の距離をもととして求める相対速度Ｖ
１より精度が良く、軸ずれの判断用として十分な信頼性
を備える。一般に、ステレオ画像処理では、２枚の画像
間のマッチングを行い易くするため、検出距離に対して
眼間距離Ｄを短くすることが求められる。とくに車載ス
テレオカメラによる車間距離計測では、カメラをコンパ
クトに構成することが要求されるため、通常、カメラか
ら先行車までの距離がステレオカメラの眼間距離Ｄに対
して５０〜１００倍程度になるように設定されているも
のが多い。

【００７３】このように、検出距離が眼間距離に対して
長いと、マッチングは行い易くなるが、一方のカメラの
光軸が他方のカメラの光軸に対してずれたときの検出距
離の誤差が大きいという問題がある。例えば、焦点距離
ｆ＝１０００画素（１／２ｉｎｃｈ、２５万画素のＣＣ
Ｄにおいて、ｆ＝１０ｍｍはｆ＝約１０００画素に換算
される）、眼間距離Ｄ＝０．１ｍにおいて、２０ｍ先の
先行車を認識する場合を考えると、画像上の視差（ｙｂ
−ｙａ）は５画素（＝１０００×０．１／２０）とな
る。仮に１画素だけマッチング位置がずれる程度に軸が
ずれて視差が４画素になったとすると、本来距離２０ｍ
のところが距離２５ｍ（＝１０００×０．１／４）とし
て求められる。

【００７４】一方、先行車の画像上での大きさは、仮に
先行車の高さを１ｍとし、前述と同じようにｆ＝１００
０画素のカメラを用いて２０ｍ先にある先行車を撮像す
ると、式（３）を変形して高さｙｗｂ＝５０画素（＝１
×１０００／２０）に撮像される。つまり、画像上の先
行車の高さの認識に１画素程度の誤差ができたとして
も、仮に、先行車の高さｈが求められている場合であれ
ば、先行車の大きさから求めている相対速度はほとんど
影響を受けない。

【００７５】また、前述の計算より、ステレオ画像処理
で２０ｍ先を認識する場合では、画像上での１画素の誤
差は実計測での５ｍの誤差に相当することがわかる。し
かし、仮に、ｆ＝１０００画素のカメラを用いて、高さ
１ｍの先行車を撮像したときの画像上での先行車の大き
さを求めると、２５ｍ先では５０画素（＝１×１０００
／２５）、２０ｍ先では４０画素（＝１×１０００／２
０）に撮像される。したがって、２０ｍ先における５ｍ
の誤差が画像上での１０画素の誤差に相当することがわ
かる。以上のように、先行車の大きさの変化から求めた
相対速度Ｖ２は、ステレオ画像処理結果をもとに求める
相対速度Ｖ１より精度が良い。

【００７６】本実施例は以上のように構成され、入力画
像を所定の大きさの複数ブロックに区切り、ブロック毎
に求めた距離値をもとに先行車位置と先行車の画像上で
の大きさを求める構成としたので、前実施例と同じ効果
を有するとともに、先行車の位置検出を行うと同時に先
行車までの距離と大きさが求められるので、その後の処
理が短縮化されるという利点がある。なお、この実施例
では先行車の画像上の大きさとして縦方向のブロック数
を用いたが、図１９にＭで示すように横方向のブロック
の並びの数を用いてその時間的変化から相対速度Ｖ２を
求めるものとしてもよい。

【００７７】次に、図２０は第３の実施例の構成を示
す。これは、図１８の第２の実施例における大きさ保管
部１２’のかわりに、上下エッジ検出部２１とエッジ間
距離保管部２２を設け、第２の相対速度算出部１３では
エッジ間距離から相対速度Ｖ２を求めるようにしたもの
である。先行車位置の検出とブロック数の時間的変化を
もととした第１の相対速度Ｖ１の求め方は、第２の実施
例におけると同じである。

【００７８】一方、第２の相対速度Ｖ２は次のような処
理によって求める。まず、上下エッジ検出部２１におい
て、先行車位置・大きさ・距離判断部２０で先行車とし
て特定したブロックの固まりから、その最下端と最上段
の列を決定する。そして、図２１に示すように、最下端
および最上段の列においてそれぞれ所定のしきい値以上
の強度と長さを持つエッジ位置を検出して、最上段と最
下端のエッジ間の距離ｙｗｅを画素単位で求め、これを
エッジ間距離保管部２２に記憶、保管する。エッジ間の
距離ｙｗｅは、先行車追従中、先行車位置・大きさ・距
離判断部２０で一定時間Δｔ毎に先行車と判断したブロ
ックの固まりを特定するのに対応して、逐次保管され
る。

【００７９】そして、第２の相対速度算出部１３では、
上記式（９）によるｙｗ（ｙｗｅ）と先行車の実際の大
きさｈとから前述の式（３）により算出した距離Ｚにつ
いて、先の図６に示すようなグラフの最小二乗誤差直線
の傾きとして相対速度Ｖ２を求める。その他の構成は第
１の実施例と同様である。

【００８０】本実施例は以上のように構成され、先行車
の最上段と最下端のエッジ間の距離ｙｗｅを画素単位で
求め、この時間的変化をもとに相対速度Ｖ２を求めるも
のとしたので、前実施例でのブロックの倍数である離散
値を用いた場合に比較して、より一層高精度に相対速度
Ｖ２が求められるという利点を有する。

【００８１】

【発明の効果】以上のとおり、本発明は、２台のカメラ
を用いたステレオ画像処理による距離計測装置におい
て、画像上で検出した計測対象物についてステレオ画像
処理で求めた当該計測対象物までの距離の時間的変化か
ら第１の相対速度を求めるとともに、いずれかの画像上
の計測対象物の大きさの時間的変化から第２の相対速度
を求め、両者を比較することにより２台のカメラの光軸
のずれを判断するものとしたので、例えば車間距離計測
では運転者の視界を妨げたり対象物と重なってその対象
物の検出を不能にしたりすることのある取付け位置認識
マークを不要としながら軸ずれを検出することができ、
しかも従来困難であった微妙な軸ずれも確実に検出でき
るという効果が得られる。さらに、対象物との距離計測
に加えて、相対速度も併せて求められるという効果もあ
る。

【００８２】また、とくに画像上での計測対象物の検出
に際して、第１の画像を複数のブロックに区切り、各ブ
ロック内に撮像されている対象物までの距離を求め、当
該距離のうち最小値の対象物が撮像されているブロック
の固まりを計測対象物が撮像されている領域とすること
により、その最小値を計測対象物までの距離とするとと
もに、同時にブロックの数により画像上の計測対象物の
大きさが求められるという利点が得られる。

【００８３】さらに、上記ブロックの固まりにおける互
いに最離間している２つの列からそれぞれエッジを検出
して、このエッジ間のあらためて画像上の計測対象物の
大きさとして用いることにより、第２の相対速度がより
高精度に算出されるので、軸ずれを精度良く検出でき
る。

【図面の簡単な説明】

【図１】ステレオ画像処理による距離算出手法を説明す
るための説明図である。

【図２】画素と焦点距離の関係を示す説明図である。

【図３】距離の変化から相対速度を求める原理を説明す
る図である。

【図４】画像上の大きさと距離の関係の説明図である。

【図５】画像上の大きさと距離の関係の説明図である。

【図６】軸がずれたときの距離計測の様子の説明図であ
る。

【図７】軸ずれの有無による画像の変化を示す図であ
る。

【図８】光軸が傾いたときの結像位置の変化を示す説明
図である。

【図９】光軸が傾いたときの先行車の大きさの変化を示
す説明図である。

【図１０】第１の実施例の構成を示すブロック図であ
る。

【図１１】実施例における処理の流れを示すフローチャ
ートである。

【図１２】実施例における処理の流れを示すフローチャ
ートである。

【図１３】画像上での先行車位置の検出法を説明図であ
る。

【図１４】正規化相関法によるステレオ画像間でのマッ
チング位置の検出方法を示す説明図である。

【図１５】追従時の正規化相関法による位置検出方法を
示す説明図である。

【図１６】先行車の画像上での上端位置と下端位置の検
出要領を示す説明図である。

【図１７】画像上での先行車の縦横方向の大きさとそれ
が撮像されるｙ軸方向の位置の関係を示す説明図であ
る。

【図１８】第２の実施例を示すブロック図である。

【図１９】画像上に区切るブロックを示す図である。

【図２０】第３の実施例を示すブロック図である。

【図２１】第３の実施例における先行車の画像上での上
端位置と下端位置の検出要領を示す説明図である。

【符号の説明】

１、２カメラ１ａ、２ａＣＣＤ１ｂ、２ｂ光軸３、４画像メモリ５先行車検出部（対象物検出手段）６マッチング位置検出部（マッチング位置探索
手段）７車間距離算出部（距離算出手段）８車間距離保管部（距離記憶手段）９第１の相対速度算出部（第１の相対速度算出
手段）１０画像上の大きさ検出部（画像上の大きさ検出
手段）１１先行車の実際の大きさ算出部（実際の大きさ
算出手段）１２、１２’ 大きさ保管部（大きさ記憶手段）１３、１３’ 第２の相対速度算出部（第２の相対
速度算出手段）１４軸ずれ判断部（軸ずれ判断手段）１５ブロック毎エッジ検出部１６ブロック毎マッチング位置検出部１７ブロック毎距離算出部２０先行車位置・大きさ・距離判断部（計測対象
物の大きさ・距離判断手段）２１上下エッジ検出部（両端エッジ検出手段）２２エッジ間距離保管部（大きさ記憶手段）Ｌ１、Ｌ２レンズＣ先行車ｆ焦点距離Ｄ眼間距離

Claims

【特許請求の範囲】

【請求項１】それぞれの光軸を互いに平行とし所定の
眼間距離をもって配置された２台のカメラと、所定時間
間隔毎に該２台のカメラが撮像した映像信号をディジタ
ルの第１および第２の画像として一時的に記憶する画像
メモリと、前記第１の画像内で計測対象物を検出する対
象物検出手段と、第１の画像における前記計測対象物を
含むウインドウと最も類似したウインドウの位置を第２
の画像内に探索するマッチング位置探索手段と、前記互
いに最も類似したウインドウの位置と２台のカメラの位
置関係をもとに、計測対象物までの距離を求める距離算
出手段と、前記所定時間間隔毎に連続して求めた複数回
分の前記計測対象物までの距離を記憶する距離記憶手段
と、該距離記憶手段に記憶された計測対象物までの距離
の時間的変化から計測対象物との第１の相対速度を求め
る第１の相対速度算出手段と、前記第１および第２の画
像上のいずれかにおける計測対象物の大きさを検出する
画像上の大きさ検出手段と、前記画像上の計測対象物の
大きさと該計測対象物までの距離に基づいて当該計測対
象物の実際の大きさを算出する実際の大きさ算出手段
と、前記所定時間間隔毎に連続して求めた複数回分の画
像上の計測対象物の大きさを記憶する大きさ記憶手段
と、前記計測対象物の実際の大きさと大きさ記憶手段に
記憶された画像上の計測対象物の大きさの時間的変化と
をもとに計測対象物との第２の相対速度を求める第２の
相対速度算出手段と、前記第１の相対速度と第２の相対
速度の比較に基づいて前記２台のカメラの光軸のずれを
判断する軸ずれ判断手段とを有することを特徴とする距
離計測装置。
【請求項２】前記画像上の大きさ検出手段は、計測対
象物の大きさを画素単位で検出するものであることを特
徴とする請求項１記載の距離計測装置。
【請求項３】それぞれの光軸を互いに平行とし所定の
眼間距離をもって配置された２台のカメラと、所定時間
間隔毎に該２台のカメラが撮像した映像信号をディジタ
ルの第１および第２の画像として一時的に記憶する画像
メモリと、前記第１の画像を同一サイズの複数のブロッ
クに区切り、各ブロック内に撮像されている対象物まで
の距離を求め、当該距離のうち最小値の対象物が撮像さ
れているブロックの固まりを計測対象物が撮像されてい
る領域として、前記最小値を計測対象物までの距離とす
るとともに、画像上の計測対象物の大きさをブロック単
位で検出する計測対象物の大きさ・距離判断手段と、前
記所定時間間隔毎に連続して求めた複数回分の前記計測
対象物までの距離を記憶する距離記憶手段と、該距離記
憶手段に記憶された計測対象物までの距離の時間的変化
から計測対象物との第１の相対速度を求める第１の相対
速度算出手段と、前記画像上の計測対象物の大きさと該
計測対象物までの距離に基づいて当該計測対象物の実際
の大きさを算出する実際の大きさ算出手段と、前記所定
時間間隔毎に連続して求めた複数回分の画像上の計測対
象物の大きさを記憶する大きさ記憶手段と、前記計測対
象物の実際の大きさと大きさ記憶手段に記憶された画像
上の計測対象物の大きさの時間的変化とをもとに計測対
象物との第２の相対速度を求める第２の相対速度算出手
段と、前記第１の相対速度と第２の相対速度の比較に基
づいて前記２台のカメラの光軸のずれを判断する軸ずれ
判断手段とを有することを特徴とする距離計測装置。
【請求項４】前記計測対象物の大きさ・距離判断手段
は、前記複数の各ブロック内でエッジを検出するブロッ
ク毎エッジ検出部と、第１の画像における前記エッジを
含むブロックと最も類似したブロックの位置を第２の画
像内に探索するブロック毎マッチング位置検出部と、前
記互いに最も類似したブロックの位置と２台のカメラの
位置関係をもとに、ブロック毎に検出されたエッジまで
の距離を求めるブロック毎距離算出部と、全てのブロッ
クのうち距離が最小値のエッジを含みかつ隣接するブロ
ックの固まりを計測対象物の領域として、最小値を計測
対象物までの距離とするとともに、前記ブロックの固ま
りの大きさを画像上の計測対象物の大きさとする位置・
大きさ・距離判断部とからなることを特徴とする請求項
３記載の距離計測装置。
【請求項５】前記計測対象物の大きさ・距離判断手段
と大きさ記憶手段の間に、前記ブロックの固まりの所定
方向において互いに最離間している２つの列内からそれ
ぞれエッジを検出する両端エッジ検出手段が設けられ、
前記大きさ記憶手段には、両端エッジ検出手段で検出さ
れたエッジ間の距離が画像上の計測対象物の大きさとし
て記憶されることを特徴とする請求項３または４記載の
距離計測装置。