JPH1114346A

JPH1114346A - 車両用障害物検出装置

Info

Publication number: JPH1114346A
Application number: JP9178895A
Authority: JP
Inventors: Tomoko Shimomura; 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1997-06-19
Filing date: 1997-06-19
Publication date: 1999-01-22

Abstract

(57)【要約】【課題】カラー画像を用いないで、先行車を検出し挙
動を認識する。【解決手段】車両に取り付けられるステレオカメラ
１、２が車両の前方道路を撮像した２枚の画像を画像メ
モリ３、４に記憶させる。マッチング位置検出部７はウ
インドウ設定部６で設定したウインドウを用いて一方の
画像を分割しテンプレートとして他方の画像から最も類
似度の高いウインドウの位置を検出する。距離演算手段
８はステレオ画像処理により、各ウインドウ内の物体ま
での距離を演算する。先行車検出部９が同じ距離値が算
出されかつウインドウが隣接するウインドウのかたまり
を先行車として検出する。白線検出部５、走行レーン判
断部１０、ウインカ点滅判定部１１は単眼画像処理によ
り先行車が走行するレーンとウインカの点滅を判断する
ことにより挙動を判断する。これにより画像がカラーな
どを必要とせず、色などに影響されず簡単な処理で走行
障害を検出できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、走行障害になる
先行車を画像処理によって検出する車両用障害物検出装
置に関する。

【０００２】

【従来の技術】従来、車両用の障害物検出装置として
は、例えば特開平２−３００７４１号公報に記載された
ものがある。これは、障害物の検出に熱画像とカラー画
像を用いて、熱画像においてマフラーを検出し、マフラ
ー位置から左右斜め上にオレンジまたは赤色のウインカ
をカラー画像から検出することによって車両検出を行な
うものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
ような従来のものにあっては、熱画像を得るのにやや特
殊の赤外線カメラを使い、カラー画像を撮像するカメラ
とあわせて２種類のカメラを使用しなければならず、装
置が大型になり、コスト高となってしまう。また、マフ
ラーが温まっていない場合や、気温が高く、車体が日差
しで熱を持った場合などは、マフラーの検出が困難でオ
レンジや赤のウインカの検出位置が定まらず先行車の検
出が不可能となる欠点がある。

【０００４】さらに、車両までの距離や二輪車、トラッ
クなどの車種によってマフラーとウインカの位置関係が
異なることにより、マフラーを検出してもウインカの検
出ができず、結果的に熱をもった部分やオレンジまたは
赤色の部分の検出だけで車両検出を判断することにな
り、検出結果が不確実である。また、ウインカの検出を
色で検出しているため、オレンジ色車体の車両ではウイ
ンカの検出が困難である。同じ理由によりデリニエータ
などのオレンジ色の反射板がウインカに近い色を有する
ためウインカと誤検出される可能性が高いなどの問題点
がある。

【０００５】なお、上記の従来例では、車両の検出のみ
であって、車両の走行レーンについての判断は行なって
おらず、このため隣走行レーンを走行し自車の走行にと
って障害物にならない車両も障害物として検出される問
題がある。またこれを判断しようとしても、熱画像上に
は白線などが映らない。カラー画像も、ウインカのオレ
ンジ色や赤色が検出されやすいようにコントラスト調整
が行なわれ、白線の検出しにくい画像になっており、走
行レーン判断に困難を伴なっている。本実施例は、上記
従来の問題点に鑑み、熱やカラー画像を必要とせず、車
種を選ばず検出できるとともに、障害たる先行車のみを
検出する車両用障害物検出装置を提供することを目的と
している。

【０００６】

【課題を解決するための手段】このため、それぞれの光
軸を互いに平行とし所定の眼間距離をもって配置された
２台のカメラと、前記２台のカメラが撮像した路面画像
を第１および第２の画像として記憶する画像メモリと、
前記第１の画像内で白線を検出する白線検出手段と、前
記第１の画像内の所定領域を複数の区域に分割するよう
にウインドウ設定を行なうウインドウ設定手段と、各ウ
インドウと最も類似度の高いウインドウの位置を前記第
２の画像から検出するマッチング位置検出手段と、２枚
の画像間で互いに類似度の高いウインドウが存在する画
像上の位置と２台のカメラの位置関係をもとに、各ウイ
ンドウ内に撮像された物体までの距離を演算する距離演
算手段と、同じ距離値が算出されかつウインドウが隣接
するウインドウのかたまりを先行車の検出領域として検
出する先行車検出手段と、前記ウインドウのかたまりと
前記白線の位置関係に基づき先行車の走行レーンを判断
する走行レーン判断手段とを有するものとした。

【０００７】そして、ウインドウのかたまりのうち左右
両側のウインドウからある一定時間間隔で輝度変化する
領域をウインカの撮像域として検出し、かつウインカが
作動状態にあると判断するウインカ点滅判断手段を設け
ることができる。また、ウインカ点滅判断手段の判断結
果を用いて、前記ウインドウのかたまりと前記白線の位
置関係から先行車の挙動を判断する車両挙動判定手段を
設けることもできる。

【０００８】さらに、ウインドウのかたまりの縦横比と
大きさによって先行車の種類と大きさを判別する先行車
種類判断手段を設けることもできる。また、先行車種類
判断手段により縦に長いウインドウのたかまりが判定さ
れた場合、ウインドウのかたまりの左右両端のウインド
ウをさらに縦に細分化し、複数の小ウインドウを形成す
る細分化手段を設け、各小ウインドウを輝度変化の検出
域とすることもできる。

【０００９】

【作用】２台のカメラがステレオカメラを形成し、視差
をもった第１、第２の画像が撮像されるとともに画像メ
モリに記憶される。白線検出手段により第１の画像から
白線が検出される。ウインドウ設定手段が第１の画像内
の所定領域に領域を分割するようにウインドウ設定を行
なう。マッチング位置検出手段が各ウインドウと最も類
似度の高いウインドウの位置をマッチング処理によって
第２の画像内から検出する。

【００１０】距離演算手段が第１と第２の画像間互いに
最も類似度の高いウインドウの位置および２台のカメラ
の位置関係をもとに三角測量法によりウインドウ内に撮
像された物体までの距離を算出する。隣接するウインド
ウにおいて同じ距離値が算出される場合は、それらのウ
インドウには同じ対象物が撮像されていると判断できる
ので、先行車検出手段が同じ距離値が算出されかつウイ
ンドウが隣接するウインドウのかたまりを先行車の検出
領域として検出する。走行レーン判断手段がウインドウ
のかたまりと白線の位置関係で先行車が走行するレーン
を判断する。

【００１１】このように先行車の検出をステレオ画像上
で行なうので、モノクロ画像でも用が足り、熱や車色な
どが影響要素にならず、使用環境を選ばない効果が得ら
れる。また、白線を検出し先行車の走行レーンを判断す
るので、自車の走行障害になるかどうかの判断ができ
る。そして走行障害と判断された場合、先行車を検出す
る際に距離値がすでに求められており、その距離値を車
間距離の管理に用いることも可能で、自律走行や接近警
報など機能を簡単に構築できる。

【００１２】そして、ウインカの点滅判断手段を加え、
先行車のウインカ点滅情報も取り入れると、先行車の挙
動も予想できる。ウインカの検出は、ウインドウのかた
まりの両側のウインドウで行ない、輝度変化でウインカ
作動を検知するので、ウインカ位置を特定するための操
作が必要なく、複雑な処理を要しない。また、点滅判断
手段のほかに、車両挙動判定手段を設けると、自車と同
一走行レーン上の先行車だけでなく、例えば隣接走行レ
ーン上の車両と車間距離および車両が自車の走行レーン
に割り込んでくるときの判断もでき予測的な機能を持ち
合わせることも可能である。

【００１３】ウインドウのかたまりの大きさと縦横比が
そのまま車両の大きさと縦横比を反映するので、先行車
種類判断手段がウインドウのかたまりのウインドウ数や
配列の関係から先行車の種類や大きさをを判別すること
ができる。先行車種類判断手段により縦に長いウインド
ウのたかまりが判定された場合、先行車が二輪車である
ことを判断できるので、細分化手段が、ウインドウのか
たまりの左右両端のウインドウをさらに縦に細分化し複
数の小ウインドウを形成する。各小ウインドウは輝度変
化の検出域として提供されるので、先行車が二輪車であ
っても、ウインカの検出域内に占める割合が低下せず輝
度変化を精度よく検出できる。

【００１４】

【発明の実施の形態】以下、この発明の実施の形態を実
施例により説明する。ここでは、実施例に係わる装置を
具体的に説明する前に、ステレオカメラにより得られる
ステレオ画像を画像処理により前方障害物である先行車
の位置検出及びそのウインカの作動状態を検出し挙動認
識を行なう原理を説明する。

【００１５】図１は、ステレオ画像を用いて三角測量の
原理でステレオカメラから先行車Ｃまでの距離Ｚを求め
る原理を説明する図である。ここでは、ステレオカメラ
を構成する２台のカメラ１、２が車両に搭載されてい
る。カメラ１、２は、同一の焦点距離ｆを有するレンズ
Ｌ１、Ｌ２と、各レンズから撮像面までの距離が焦点距
離ｆとなるように配置されたＣＣＤ１ａ、２ａとをそれ
ぞれ有するＣＣＤカメラである。

【００１６】カメラ１、２は、ＣＣＤ１ａ、２ａの各撮
像面が同一垂直面内に位置し、各撮像面の垂直基準軸で
あるＹ軸、すなわＣＣＤ１ａの撮像面の軸とＣＣＤ２ａ
の撮像面の軸（ＹＡ、ＹＢ）が一致し、レンズＬ１、Ｌ
２の光軸１ｂ、２ｂが互いに平行でかつ眼間距離（光軸
１ｂ、２ｂ間の距離）Ｄが所定の値となるように、上下
に並べて配置されている。

【００１７】焦点距離ｆ及び眼間距離Ｄが既知であり、
光軸１ｂ、２ｂが互いに平行な２台のカメラ１、２で車
両前方を撮像して得られる２つの画像からなるステレオ
画像において、２つの画像間のマッチング位置（最も類
似する画像の位置で、図１では先行車Ｃのリヤ側上縁部
の位置）のＹ座標ｙａ、ｙｂを求めることができれば、
カメラ１、２から先行車Ｃまでの距離Ｚは下記の式
（１）より求めることができる。Ｚ＝ｆ×Ｄ／（ｙｂ−ｙａ）（１）ここで、ｆ、ｙａ、ｙｂの単位はＣＣＤ１ａ、２ａの画
素であり、Ｄ、Ｚの単位はｍｍである。なお、一般に焦
点距離ｆは単位をｍｍで表す場合が多いが、式（１）の
焦点距離ｆは画素を単位として計算する。

【００１８】ここで、画素を単位とする焦点距離ｆの求
め方を図２に基づいて説明する。図２の（ａ）は大きさ
のわかっている幅Ｗ（ｍｍ）の物体Ｃ’を距離Ｚ（ｍ
ｍ）だけ離れたところで２台のカメラ１、２の一方（こ
こではカメラ１）により撮像したときの様子を示し、同
図の（ｂ）はそのとき得られる画像Ａを示す。以下の説
明では、カメラ１により撮像される第１の画像をＡ、そ
してカメラ２により撮像される第２の画像をＢとする。

【００１９】画素を単位とする焦点距離ｆは、大きさの
わかっている幅Ｗ（ｍｍ）の物体Ｃ’を距離Ｚ（ｍｍ）
だけ離れたところにおいて撮像し、このとき得られる画
像Ａ（または画像Ｂ）上での物体Ｃ’の幅ｘｗ（画素）
をエッジ検出などの画像処理により検出することで、下
記の式（２）により求めることができる。ｆ＝ｘｗ×Ｚ／Ｗ（２）ここで、ｘｗの単位は画素であり、Ｚ、Ｗの単位はｍｍ
である。

【００２０】図３は、画像Ａ内の所定域をウインドウ毎
に切り、各ウインドウＷ内に撮像されている対象物の特
徴的なエッジを用いて、画像Ｂにおける同エッジの撮像
位置を求めた結果を示す図である。ウインドウ毎にエッ
ジのマッチング位置が分かれば、式（１）を用いること
によりウインドウに区画された域内のすべてのエッジの
距離が分かる。ウインドウ毎に算出される距離は、その
内部に撮像されているエッジなどの特徴的な部分を持つ
物体までの距離であるので、隣接するウインドウにおい
て同じ距離が求められた場合は、それらのウインドウに
は同じ対象物が撮像されていると判断することができ
る。

【００２１】また、道路前方を撮像した画像では、先行
車は背景に対して強度が強く長い横エッジを持つ物体と
して撮像されるので、水平エッジ成分を利用してウイン
ドウ毎のマッチング位置を検出すると、ウインドウに先
行車が含まれる場合、隣接するウインドウから同じ距離
値が検出されることになる。すなわち隣接する数個のウ
インドウにおいて同じ距離が連続して求められた場合、
その部分（図の太線ウインドウ）を先行車とみなすこと
ができる。

【００２２】次に、先行車を含むと判断されたウインド
ウのかたまりの画像上の位置と検出した白線との位置関
係をもとに先行車がどの走行レーンを走行しているかの
判断について説明する。図４は、先行車Ｃのリヤ側下縁
部を距離Ｚだけ離れたところで撮像（ここではカメラ１
により撮像）したときの様子を示す。この図から分かる
ように距離Ｚに検出された先行車Ｃの下縁が撮像される
画像上のＹ軸方向の位置は式（３）により求めることが
できる。ｙｃ＝〔（ｈーＨ）・ｆ〕／Ｚ（３）ここで、Ｈは路面から先行車の下縁までの高さ、ｈは路
面からカメラのレンズ中心までの高さ、ｆは焦点距離、
Ｚは車間距離とする。この車間距離Ｚと画像上の位置ｙ
ｃの関係を用いて図５に示すように、先行車までの距離
と同じ位置にＸ軸方向における白線位置を検出し先行車
との位置関係を判断すれば、先行車が自車走行レーン上
であるか隣接走行レーン上であるかを判断することがで
きる。

【００２３】次に、検出された先行車の位置をもとに、
その車両のウインカの位置を検出する方法を説明する。
ウインカは通常車両の左右両サイドについている。ここ
では、画像Ａと画像Ｂから先行車を含むウインドウを求
めているので、図６に示すように、先行車を含むと判断
されたウインドウのかたまりの左右両端のウインドウに
先行車の両サイドが撮像されていることになる。したが
ってウインドウのかたまりの左右両端のウインドウＥ内
において、ある一定時間間隔で輝度が変化する部分があ
れば、ウインカの位置、しかもウインカＥが点滅してい
ると判断することができる。

【００２４】上記のように、ステレオ画像を用いたステ
レオ画像処理により、先行車までの距離とその先行車の
画像上での位置を検出することができる。またステレオ
画像のどちらか片方を用いて行なう単眼画像処理により
その先行車が走行するレーンとその先行車のウインカの
点滅を判断することができるので、先行車の挙動を判断
することができる。

【００２５】図７は、本発明の第１の実施例の構成を示
すブロック図である。２台のカメラ１、２がステレオカ
メラを構成し、それぞれ、同一の焦点距離ｆを有するレ
ンズＬ１、Ｌ２と、各レンズから撮像面までの距離が焦
点距離ｆとなるように配置されたＣＣＤ１ａ、２ａとを
有するＣＣＤカメラからなる。カメラ１、２は、前方を
撮影するのに適した車両上の所定の部位に取り付けられ
ている。カメラ１、２は、先の図１に示すように、ＣＣ
Ｄ１ａ、２ａの各撮像面が同一垂直面内に位置し、各撮
像面の垂直基準軸（ＹＡ軸、ＹＢ軸）が一致し、レンズ
Ｌ１、Ｌ２の光軸１ｂ、２ｂが水平かつ互いに平行とな
り、所定の眼間距離Ｄをもって上下に並べて配置されて
いる。

【００２６】カメラ１、２のそれぞれの撮像した映像信
号がディジタル画像として画像メモリ３、４に出力され
記憶される。白線検出部５は画像メモリ３からの画像Ａ
を画像処理して自車を囲む２本の白線を検出する。ウイ
ンドウ設定部６は、画像メモリ３から画像Ａを取り込
み、空などの車両が存在しえない域を除いた画面部分に
画面を分割するように複数の同サイズのウインドウを設
定する。

【００２７】マッチング位置検出部７は、画像Ａの微分
画像にウインドウを重ね合わせるとともに、各ウインド
ウと最も類似度の高いウインドウの位置を画像Ｂから検
出し、両画像間のウインドウのマッチング位置を記憶す
る。距離演算部８は、各ウインドウのマッチング位置と
カメラ１、カメラ２のレンズの焦点距離ｆおよび眼間距
離Ｄをもとにウインドウ内の撮像物体までの距離を算出
する。先行車検出部９は、同じ距離が算出され、かつ隣
接するウインドウのかたまりを先行車として検出する。

【００２８】走行レーン判断部１０は、ウインドウのか
たまりの位置と白線検出部５で検出した白線との画像上
の位置関係で先行車の走行レーンを判断する。ウインカ
点滅判断部１１はウインドウのかたまりの左右両側にあ
るウインドウをウインカの検出域としてウインカを検出
し、点滅状態を判定する。車両挙動判定部１２は、ウイ
ンカの点滅状態と走行レーン判断の結果から先行車の挙
動を判断する。

【００２９】図８は、本実施例の処理の流れを示すフロ
ーチャートである。まず、ステップ１０１で、ステレオ
画像、すなわちカメラ１、２からそれぞれ出力される画
像Ａ、Ｂを画像メモリ３、４にそれぞれ入力して記憶さ
せる。ステップ１０２では、白線検出部５が画像Ａ、Ｂ
のどちらか一方（本実施例では画像メモリ３に記憶され
た画像Ａ）に画像処理を施して白線を検出する。ここで
は、自車走行レーンだけを検出することを考えるので、
自車左右の２本の白線を検出する。図９、図１０は白線
の検出原理の説明図である。図９の（ａ）は単眼カメラ
（カメラ１）が道路の中央で白線を撮像しているときの
様子を示す正面図で、（ｂ）はその側面図である。自車
が２本の白線の間を走行している場合、２本の白線は画
像の左右両側に現われる。前方の白線が直線であり、自
車が２本の白線の中央を走行していると仮定して、図９
に示すように、距離Ｚ先の白線が撮像される画像上の座
標は、幾何学的計算により、式（４）で求めることがで
きる。ｘｒ＝（Ｗｒ・ｆ）／（Ｚ・２）、ｙｒ＝（ｈ・ｆ）／Ｚ（４）ここで、Ｗｒは路面の幅、ｈは路面からカメラのレンズ
中心までの高さ、ｆは焦点距離、Ｚは車間距離、ｘｒ、
ｙｒは画像上の位置とする。

【００３０】複数の距離値Ｚに対して式（４）に基づい
て画像上の位置ｘｒ、ｙｒを求めて、白線を検出するた
めのウインドウ設定位置を決め、各位置において図１０
に示すようにｘｒ、ｙｒを中心とするウインドウＷｄを
設定する。ウインドウＷｄは車両が白線の中央でない場
合を見込んで白線が外れないように大きさが決定され
る。そして各ウインドウＷｄにおいて微分演算をし左右
に正負のエッジが対になって現われる場所を検出し、正
負エッジのＸ軸における中心位置を演算して白線の検出
点として保存する。各ウインドウからの検出点をさらに
フィッティングするよう結ぶことで白線が検出される。
フィッティングさせる方法としては特願平３−３１４５
や特願平４−１７１２４０に紹介されている手法を用い
ればよい。

【００３１】次に、ステップ１０３では、画像Ａ、Ｂの
どちらか一方（本実施例では画像Ａ）においてウインド
ウ設定部６が、空などの区域を検出しそれを除いた部分
に合わせて所定大きさのウインドウを設定する。ステッ
プ１０４では、マッチング位置検出部７が、画像メモリ
３と画像メモリ４から図１１のａに示す画像Ａと画像Ｂ
の原画像を入力し、微分処理を施して水平エッジを際立
たせた微分画像（ｂ）を作る。（以下簡単のため、微分
画像もそのもとの画像の呼び名で画像Ａ、画像Ｂと呼
ぶ）ステップ１０３で設定されたウインドウ位置に画像
Ａを図１２のように横に幅ｘｗ、縦に幅ｙｗのウインド
ウ４０毎に分割する。分割された各ウインドウ４０をテ
ンプレートとして、画像Ｂからテンプレートの画像と最
も類似度の高い位置を式（５）を用いた正規化相関法に
より求めて、ウインドウのマッチング位置を演算する。

【数１】なお、式（５）において、テンプレートの画像の各画素
の輝度値をＡｉｊ、画像Ｂの各画素の輝度値をＢｉｊと
する。ここで、微分画像を用いるのは、検出対象物であ
る先行車は水平エッジをもつものが多く、先行車が背景
より強調され検出しやすくするためである。

【００３２】図１３は、正規化相関法による画像Ａ、Ｂ
間のマッチング位置の検出方法の説明図である。ここで
は２台のカメラ１、２をそれぞれのＹ軸が同一線上にの
るように配置してあるので、画像Ｂ内において、画像Ａ
のテンプレート（ウインドウ４０）と同じＸ軸の位置
で、探索位置をＹ軸方向に順次ずらした複数の位置検出
対象画像を求める。そして、図１３の（ｂ）に取り出し
て示すテンプレートと（ｃ）に示す画像Ｂから取り出し
た（ｄ１）から（ｄ３）に示す各位置検出対象画像との
比較から、類似度の最も高い位置検出対象画像を求める
ことになる。図中、（ｄ２）はテンプレートと類似度最
大の位置で検出対象画像を示し、（ｄ１）はそれより上
方の位置で、（ｄ３）はそれより下方の位置で検出対象
画像を示している。このように画像Ａに対し各ウインド
ウに対応したウインドウが画像Ｂに作られる。その両ウ
インドウのＹ軸位置を示すｙａとｙｂはウインドウのマ
ッチング位置となる。

【００３３】ステップ１０５では、距離演算部８が各ウ
インドウにおいてウインドウ内に撮像された物体までの
距離を式（１）を用いて演算する。物体が図１４に示す
ように画像Ａと画像Ｂのウインドウ内に同じ位置を占め
るので、物体のマッチング位置差は、すなわちウインド
ウのマッチング位置差（ｙｂ−ｙａ）である。したがっ
てウインドウのマッチング位置を用い、式（１）に代入
することによりウインドウ内の物体までの距離が算出さ
れる。

【００３４】上記のような処理を全てのウインドウにつ
いて行なって、ウインドウ毎のその内部に撮像されてい
る物体までの距離を求めると、ステップ１０６において
連続して同じ距離値が算出されたウインドウのかたまり
を検出し、そのウインドウのかたまりが複数ある場合、
距離の一番近いものを選んで先行車の検出領域として検
出する。ステップ１０７では、ウインドウのかたまりが
検出できたかをチェックし、できなかった場合、先行車
なしとしてステップ１０１に戻り、次の画像を入力して
上記の処理を繰り返す。ウインドウのかたまりを検出で
きた場合、先行車ありとしてウインドウで演算された距
離値を先行車までの距離検出値として記憶しステップ１
０８へ進む。

【００３５】ステップ１０８では、先行車が自車と同一
走行レーンであるか否かを走行レーン判断部１０におい
て判断する。これは、図５に示したように、ウインドウ
のかたまりの距離と同じ位置ｙｃをラインとしてステッ
プ１０２で検出された２つの白線と交わる２つの点を検
出する。そしてウインドウのかたまりがこの２つの交点
の中にあるかどうかを判断して先行車が自車と同一走行
レーンであるか否かを判断する。自車と異なる走行レー
ンである場合、先行車が自車の走行障害とならないため
ステップ１０１へ戻り、上記処理を再び行なう。検出し
た先行車が自車と同一走行レーンである場合、自車の走
行障害になるとしてステップ１０９へ進む。

【００３６】ステップ１０９では、先行車であると判断
されたウインドウのかたまりのうち、車両挙動判定部１
２が左右両端のウインドウを用いてウインカの検出域と
してウインカの点滅を検出して先行車の挙動判断を行な
う。図１５はウインカの検出方法とウインカの点滅の判
断方法を説明する図である。まず図１５の（ａ）のよう
にウインドウのかたまりのうち両端にあるウインドウＷ
を１つずつ取りだして、ウインドウ内の縦エッジを検出
する。検出された縦エッジがあるしきい値以上でかつ所
定の長さ以上という２つのチェック条件を満足しなけれ
ば、ウインドウ全体をウインカの検出域として、さらに
横エッジを検出し、長さと強度の判断を行なったうえ、
横エッジの近似線ｕ、ｖ、ｗで検出域を区画する。各区
画された小ウインドウにおいて、他の部分と比べて輝度
の変化の大きい部分を検出する。

【００３７】もし、チェック条件を満足する縦エッジが
検出できれば、図１５の（ｂ）のように縦エッジの近似
線ｔでウインドウを分割する。ウインドウのかたまりの
右のウインドウにおいては近似線ｔより左側の画像、左
のウインドウにおいては近似線より右側の画像だけをウ
インカの検出域とする。その検出域内からさらに横エッ
ジを検出し、横エッジの近似線ｕ、ｖ、ｗで検出域を区
画する。各区画された小ウインドウにおいて他の部分と
比べて輝度の変化の大きい部分を検出する。なお、図１
５の（ｂ）は右ウインドウにおける縦エッジが検出され
た場合の区画状態を示す図である。

【００３８】上記の検出で、輝度変化があり、かつ変化
の間隔がウインカの点滅間隔とほぼ同じで、しかも一定
時間以上に続いたと確認すると、ウインカが点滅してい
ると判断し、先行車が隣接走行レーンに移る状態にある
と判断する。輝度変化がなく、あるいはあっても確認条
件を満たさない場合、ウインカの点滅がないと判断し、
先行車がその後も同じ走行レーンを走行すると予測す
る。左右両ウインドウ内輝度がある時点以降急にました
と確認した場合、先行車の停止と判断して、ステップ１
０１に戻る。

【００３９】本実施例は以上のように構成され、ステレ
オ画像の一方に画像を分割するウインドウを設定し、各
ウインドウと最も類似度の高いウインドウの位置を他方
の画像から検出し三角測量原理を基づいた距離演算を
し、隣接するウインドウから同じ距離演算値が演算され
たウインドウのかたまりを先行車として検出する。そし
て先行車として認識されたウインドウのかたまりのう
ち、両側にあるウインドウからウインカの点滅状態を輝
度の変化で検出し、自車と同一走行レーンかの判断を経
て先行車の挙動判断を行なうので、従来と比べて、カメ
ラが１種類でよく、かつモノクロでも充分に用が足り、
処理が簡単になるとともに、車種や検出環境を選ばない
効果が得られる。

【００４０】次に、本発明の第２の実施例について説明
する。この実施例は、同一走行レーンの他に隣接走行レ
ーン上の車両についてもウインカ検出をし挙動判断を行
なうようにしたものである。図１６は、本実施例の構成
を示すブロック図であり、図７に示した第１の実施例の
ブロック図に車両挙動判定部１２の代わりに隣車線から
割り込んでくる車両をも判断する機能を持たせた車両挙
動判定部１３を設けたものである。走行レーン判断部１
００は白線検出部５で検出した白線をもとに隣接走行レ
ーンを含めて車両の走行域を判断する。その他は第１の
実施例と同様である。

【００４１】以下、図１７のフローチャートに基づいて
処理の流れを説明する。ステップ１０１〜ステップ１０
９までは第１の実施例と同様に、カメラ１、２からのス
テレオ画像を入力して画像メモリ３、４に記憶する。白
線検出部５が第１の実施例と同様にステレオ画像の一方
から自車の左右２本白線を検出しフィッテング処理によ
りデータ化される。

【００４２】ウインドウ設定部６によってウインドウ設
定された一方の画像をマッチング位置検出部７が正規化
相関法により他方の画像から類似度の最も高いウインド
ウの位置を検出する。先行車検出部９が距離演算部８に
おいて距離演算されたウインドウのうち、同じ距離値が
算出されかつ隣接するウインドウのかたまりを先行車の
検出領域として検出する。そしてステップ１０８におい
て、画像Ａから走行レーン判断部１００がウインドウの
かたまりの距離と同じＹ軸位置上に白線の位置を示すｘ
ｌ、ｘｒを検出する。ウインドウのかたまりが白線位置
ｘｌ、ｘｒの中にあると判断された場合、先行車が自車
と同じ走行レーン上にあり走行障害になるとして、ステ
ップ１０９でウインドウのかたまりの両端のウインドウ
をウインカの検出域としてウインドウ内の横、縦エッジ
に基づいた小ウインドウが設定される。各小ウインドウ
において輝度変化でウインカの作動状態を検出し先行車
の挙動を判断する。一方、ステップ１０８において自車
と同じ走行レーンでないと判断された場合、第１の実施
例では先行車が自車の走行障害にならないとしてステッ
プ１０１に戻るが、本実施例ではステップ２１０へ進ん
でさらに挙動判断し隣車線上の先行車が自車走行レーン
に割り込んでくるかどうかの判定を行なう。

【００４３】すなわち図１８に示すように自車が２車線
道路を走行している場合、白線が３本であるので、それ
ら全てがカメラ１、２の撮像範囲内にあれば、左車線を
走行している場合では、距離Ｚ前方にある白線は、図１
９のようにＹ軸上にｘｌ、ｘｒ、ｘｒ２の位置に撮像さ
れる。先行車がそれらとの位置判断で走行レーンを判定
することができる。自車走行レーン上の点ｘｌ、ｘｒ
は、ステップ１０８ですでに求められており、また白線
間の距離Ｗｒは通常３．５ｍ程度であることから、図１
８から分かるように、距離Ｚ離れたところで右隣接レー
ンの外側の白線の画像上位置ｘｒ２は、式（６）により
求めることができる。ｘｒ２＝ｘｒ＋（ｆ×Ｗｒ）／Ｚ（６）Ｚは車両までの距離検出値、ｆはカメラの焦点距離、Ｗ
ｒは白線幅である。

【００４４】ステップ２１０において、走行レーン判断
部１００は式（６）に基づいて仮想的に白線ｘｒ２の位
置を算出する。ウインドウのかたまりがｘｒとｘｒ２の
間にあるかどうかを判定する。なお、車間距離が近い場
合、ｘｒ２は画像の右外に出てしまう場合が考えられる
が、そのような位置のときは、ｘｒ２がｘｒの外側にあ
ることを考慮したうえ、判定を行なう。そして、判定の
結果は、ウインドウのかたまりがｘｒとｘｒ２の間にあ
る場合、先行車が右隣接車線上にあり、ステップ２１１
へ進む。ウインドウのかたまりがｘｒとｘｒ２の間にな
い場合、先行車が左隣車線上にあるとしてステップ２１
２へ進む。

【００４５】ステップ２１１では、ウインドウのかたま
りのうち左サイドのウインドウを第１の実施理例と同様
に一部の点滅判断により、左のウインカの点滅状態を判
断する。点滅がある場合には、隣接レーンの車両が割り
込んでくることを判断する。ステップ２１２では、ウイ
ンドウのかたまりのうち右サイドのウインドウを同様に
ある一部の点滅判断により、右のウインカの点滅状態を
判断する。点滅がある場合には、隣接レーンの車両が割
り込んでくることを判断する。

【００４６】本実施例は以上のように構成され、自車と
同じ走行レーンを走行する先行車のほかに隣車線を走行
する車両についても挙動判断をするようにしたので、検
出の範囲が拡大される。図２０は自車レーン上の先行車
Ｍより右隣走行レーン上の先行車Ｎが短い距離で検出さ
れたときの様子を示す図である。第１の実施例では先行
車Ｎについて障害物とならないと判断するのに対し、本
実施例ではそのウインカの点滅状態を判断し、自車の走
行レーンに割り込んでくるかの判断を行なうので、予測
的に障害物を判断する効果が得られる。

【００４７】次に、第３の実施例について説明する。こ
の実施例はウインドウのかたまりにより車両の種類や大
きさを検出するようにしたものである。また検出された
車両が二輪車の場合、ウインカが小さいので、検出精度
を落とさない検出方法について説明する。上記実施例で
は、所定の長さがある横エッジを囲むウインドウのかた
まりを車両として検出するので、ウインドウのかたまり
の縦横比や大きさから、検出した車両の大きさや種類を
判断することも可能である。すなわち図２１に示すよう
に同じ距離に対して図１２の乗用車のウインドウが２段
あるのに対し３段となっているので、先行車が大きいこ
とが分かり、その大きさにより先行車がトラックである
ことが判断可能である。また、図１２の４列のウインド
ウがある乗用車に対して図２２のように２列の縦長ウイ
ンドウのかたまりを検出すると、先行車が二輪車である
と判断できる。このようにウインドウの数またはウイン
ドウの配列関係を検出することにより先行車の大きさや
縦横比を判断でき、車種の判定もできる。

【００４８】そして前方車両が二輪車である場合、ウイ
ンドウの大きさに対するウインカの大きさが小さく、か
つウインドウを小ウインドウに区画する際の縦エッジが
検出しにくいため、ウインカの点滅判断が難しい。そこ
で、二輪車であると判断された場合に限り、ウインドウ
点滅判定部１１において、細分化手段として縦エッジの
検出を経ずにウインドウのかたまりの左右両端のウイン
ドウを所定のサイズで縦に細分化する。細分化した全て
の小ウインドウにおいて、図２３のように第１、第２の
実施例と同様に横エッジを検出し近似線ｕによって小ウ
インドウを複数の域に区画する。各域において一定間隔
時間で輝度の変化部分を検出する。

【００４９】以上のようにウインドウのかたまりが先行
車の大きさや縦横比を反映するので、他の処理を加え
ず、ウインドウの数や配列関係で車種や大きさを判断で
きる。また、車両の二輪車である場合、ウインカの検出
域をさらに細分化するようにしたから、乗用車などの大
型車両と同じ手法でもウインカの点滅を漏らさず検出で
きる。

【００５０】

【発明の効果】以上説明したように、本発明によれば、
ステレオカメラで撮像した第１の画像を分割するウイン
ドウを設定し、各ウインドウと最も類似度の高い第２の
画像のウインドウの位置をもとに撮像された物体までの
距離を算出する。そして同じ距離値が算出されかつ隣接
するウインドウのかたまりを先行車として検出するよう
にしたので、モノクロ画像でも用が足り、熱や車色など
が影響要素にならず、使用環境を選ばない効果が得られ
る。また、白線を検出し先行車の走行レーンを判断する
ので、自車の走行障害になるかどうかの判断ができる。
そして走行障害と判断された場合、先行車を検出する際
にそれまでの距離値がすでに求められており、その距離
値を車間距離の管理に用いることも可能で、自律走行や
接近警報などの機能を簡単に構築できる。

【００５１】そして、ウインカの点滅状態判断手段を加
え、先行車のウインカ点滅情報も取り入れると、先行車
の挙動も予想できる。ウインカの検出は、ウインドウの
かたまりの両側のウインドウで行ない、輝度変化でウイ
ンカ作動を検知するので、ウインカ位置を特定するため
の操作が必要なく、複雑な処理を要しない。また、点滅
状態判断手段のほかに、車両挙動判定手段を設けると、
自車と同一走行レーン上の先行車だけでなく、例えば隣
接走行レーン上の車両と車間距離および車両が自車の走
行レーンに割り込んでくるときの判断もでき予測的な機
能を持ち合わせることも可能である。

【００５２】ウインドウのかたまりの大きさと縦横比が
そのまま車両の大きさと縦横比を反映するので、先行車
種類判断手段がウインドウのかたまりのウインドウ数や
配列の関係で先行車の種類や大きさを判別することがで
きる。先行車種類判断手段により縦に長いウインドウの
たかまりが判定された場合、先行車が二輪車であること
を判断できるので、細分化手段が、ウインドウのかたま
りの左右両端のウインドウをさらに縦に細分化し複数の
小ウインドウを形成する。各小ウインドウは輝度変化の
検出域として提供されるので、先行車が二輪車であって
も、ウインカの検出域内に占める割合が低下せず輝度変
化を精度よく検出できる。

【図面の簡単な説明】

【図１】ステレオ画像処理による距離算出手法を説明す
るための説明図である。

【図２】画素と焦点距離の関係を示す説明図である。

【図３】ウインドウの位置差による距離算出原理を示す
説明図である。

【図４】距離と画像上の位置関係の説明図である。

【図５】先行車の走行レーン判断の説明図である。

【図６】ウインドウのかたまりからウインカの検出域を
示す図である。

【図７】第１の実施例の構成を示すブロック図である。

【図８】第１の実施例における処理の流れを示すフロー
チャートである。

【図９】白線を検出するための説明図である。

【図１０】ウインドウの設定を示す説明図である。

【図１１】微分処理の効果を示す図である。

【図１２】先行車を検出ためのウインドウ設定の説明す
る図である。

【図１３】正規化相関法によるステレオ画像間でのマッ
チング位置の検出方法を示す説明図である。

【図１４】ウインドウ内の画像とウインドウの位置関係
を示す図である。

【図１５】ウインカの点滅を検出する方法を示す図であ
る。

【図１６】第２の実施例の構成を示すブロック図であ
る。

【図１７】第２の実施例における処理の流れを示すフロ
ーチャートである。

【図１８】隣車線の検出原理を示す図である。

【図１９】隣車線の撮像位置を示す図である。

【図２０】自車走行レーンに先行車が割り込んでくると
きの様子を示す図である。

【図２１】トラックとして検出したウインドウのかたま
りを示す図である。

【図２２】二輪車として検出したウインドウのかたまり
を示す図である。

【図２３】ウインドウを細分化する説明図である。

【符号の説明】

１、２カメラ１ａ、２ａＣＣＤ１ｂ、２ｂ光軸３、４画像メモリ５白線検出部６ウインドウ設定部７マッチング位置検出部８距離演算部９先行車検出部１０、１００走行レーン判断部１１ウインカ点滅判断部１２、１３車両挙動判定部Ｃ先行車Ｅウインカｆ焦点距離Ｄ眼間距離Ｌ１、Ｌ２レンズｔ、ｕ、ｖ、ｗ近似線ＷウインドウｗｄウインドウＷｒ道路幅ｙａ、ｙｂマッチング位置ｙｃ先行車の撮像位置ｘｒＸ軸上のウインドウ設定位置ｘｗウインドウの横幅ｙｗウインドウの縦幅ｙｒＹ軸上のウインドウ設定位置Ｚ撮像距離

Claims

【特許請求の範囲】

【請求項１】それぞれの光軸を互いに平行とし所定の
眼間距離をもって配置された２台のカメラと、前記２台
のカメラが撮像した路面画像を第１および第２の画像と
して記憶する画像メモリと、前記第１の画像内で白線を
検出する白線検出手段と、前記第１の画像内の所定領域
を複数の区域に分割するようにウインドウ設定を行なう
ウインドウ設定手段と、各ウインドウと最も類似度の高
いウインドウの位置を前記第２の画像から検出するマッ
チング位置検出手段と、２枚の画像間で互いに類似度の
高いウインドウが存在する画像上の位置と２台のカメラ
の位置関係をもとに、各ウインドウ内に撮像された物体
までの距離を演算する距離演算手段と、同じ距離値が算
出されかつウインドウが隣接するウインドウのかたまり
を先行車の検出領域として検出する先行車検出手段と、
前記ウインドウのかたまりと前記白線の位置関係に基づ
き先行車の走行レーンを判断する走行レーン判断手段と
を有することを特徴とする車両用障害物検出装置。
【請求項２】前記ウインドウのかたまりのうち左右両
側のウインドウからある一定時間間隔で輝度変化する領
域をウインカの撮像域として検出し、かつウインカが作
動状態にあると判断するウインカ点滅判断手段が設けら
れていることを特徴とする請求項１記載の車両用障害物
検出装置。
【請求項３】前記ウインカ点滅判断手段の判断結果を
もとに、前記ウインドウのかたまりと前記白線の位置関
係から先行車の挙動を判断する車両挙動判定手段が設け
られていることを特徴とする請求項２記載の車両用障害
物検出装置。
【請求項４】前記ウインドウのかたまりの縦横比と大
きさによって先行車の種類と大きさを判別する先行車種
類判断手段が設けられていることを特徴とする請求項２
記載の車両用障害物検出装置。
【請求項５】先行車種類判断手段により縦に長いウイ
ンドウのたかまりが判定された場合、ウインドウのかた
まりの左右両端のウインドウをさらに縦に細分化し、複
数の小ウインドウを形成する細分化手段が設けられると
ともに、小ウインドウを輝度変化の検出域とすることを
特徴とする請求項４記載の車両用障害物検出装置。