JP2008287367A - 車両検出システム - Google Patents

Abstract

【課題】本発明は前方を走行する車両を検出する車両検出システムに関し、車両を確実に検出できる車両検出システムを提供することを目的とする。
【解決手段】本発明は、車両を検出する車両検出システムであって、画像を撮影する撮像手段と、撮像手段により撮像された画像から車両の影の候補を抽出する影抽出手段と、撮像手段により撮像された画像から車両のテールランプを抽出するテールランプ抽出手段と、影抽出手段で抽出した車両の影の候補からテールランプ抽出手段で抽出したテールランプに基づいて車両の影を特定し、車両の影に基づいて車両を検出する車両検出手段とを有することを特徴とする。
【選択図】図１

Description

本発明は車両検出システムに係り、特に、前方を走行する車両を検出する車両検出システムに関する。

先進安全運転支援システムとして最近車両に搭載されているオートクルーズコントロール（ＡＣＣ）機能では先行車両の検出や距離測定が不可欠である。このようなシステムに適用される車両検出や距離測定には、主に、マイクロ波レーダが使われる。しかし、レーダのみでは前方の詳細な状況把握が困難なため、カメラ画像を使って前方の車両を検出する車両検出システムなどが併用されるのが現状である。カメラ画像を使った前方車両検出システムでは通常ステレオカメラが使われており、ステレオカメラで撮像された画像からそれぞれ車両のバンパーのエッジ等を抽出して、ステレオカメラで撮像された２つのカメラ画像の対応付け処理を行っている。

ステレオカメラ画像を使った車両検出システムでは、２つの画像を処理し、相互に対応付ける処理を行う必要があるため、処理時間が大きく、高速なＣＰＵなどを用いなければならず、コストがかさむなどの問題点があった。

一方、車両を撮像した画像は、車両下の影は明度が非常に低く、バラつきがないという特徴がある。しかし、これまで画像処理において、車両の一部でない影は雑音除去の対象であった。トンネル内、曇り時や夜間においては難しいとされており、車両抽出の要素としては注目されていなかった。

そこで、上記特徴に着目して、車両内に設置したカメラにより撮影した画像から前方車両の影部分を抽出することによる前方車両検出システムが提案されている（例えば、非特許文献１参照）。これらの車両検出方法は、影の明度が低いことに着目し、画像内の明度の低い画素をカウントして影とそれ以外を判別する閾値を見つける。車両の影を用いた車両検出方法は、少ない計算コストで影検出をすることができ、かつ、昼夜を問わず実行することができる。
西本至孝，泉隆：影抽出に基づく車両検出について，電気学会ITS研究会，ITS-06-14，pp.7-12(2006-06)．

しかるに、従来の車両下の影を用いた車両検出処理では、例えば、横断歩道など路面にマーカーが描かれている場所においては車両下の影が無くなってしまうため、検出精度が低下する。また、夜間における検出精度がやや下がる傾向にある。さらに、カーブや交差点における先行車両の挙動に対して未検出が発生することがあるなどの課題があった。

本発明は上記の点に鑑みてなされたもので、車両を確実に検出できる車両検出システムを提供することを目的とする。

本発明は、車両を検出する車両検出システムであって、画像を撮影する撮像手段と、撮像手段により撮像された画像から車両の影の候補を抽出する影抽出手段と、撮像手段により撮像された画像から車両のテールランプを抽出するテールランプ抽出手段と、影抽出手段で抽出した車両の影の候補からテールランプ抽出手段で抽出したテールランプの位置に基づいて車両の影を特定し、車両の影に基づいて車両を検出する車両検出手段とを有することを特徴とする。

本発明によれば、車両の検出に、車両下の影と車両のテールランプとを併用することにより、車両に影が検出し難い状況においても車両を確実に検出することができる。

図１は本発明の一実施例のシステム構成図を示す。

本実施例の車両検出システム１００は、撮像装置１１１、インタフェース１１２、処理装置１１３、記憶装置１１４、制御対象装置１１５から構成されている。

撮像装置１１１は、１つのビデオカメラから構成されており、搭載車両前方のカラー画像を、画角を固定した状態で撮像する。インタフェース１１２は、撮像装置１１１と処理装置１１３とのインタフェース、及び、処理装置１１３と制御対象装置１１５とのインタフェースをとっており、撮像装置１１１で撮像されたカラー画像を処理装置１１３に取り込むとともに、処理装置１１３での車両検出結果を制御対象装置１１５に通知する。

処理装置１１３は、記憶装置１１４に記憶された車両検出プログラムを実行して、撮像装置１１１で撮像されたカラー画像から前方の車両を検出する。

記憶装置１１４は、メモリ、ＨＤＤなどから構成されており、車両検出プログラムがインストールされるとともに、処理装置１１３の作業用記憶領域として用いられる。

次に処理装置１１３で実行される車両検出プログラムについて説明する。

図２は処理装置１１３で実行される車両検出プログラムのフローチャートを示す。

処理装置１１３は、車両検出プログラムが起動されると、ステップＳ１−１で撮像装置１１１から動画像を取り込む。処理装置１１３は、ステップＳ１−２で取り込んだ動画像から１フレームの画像を読み出す。

次に処理装置１１３は、ステップＳ１−３で読み出した１フレームの画像から白線を抽出する。次に処理装置１１３は、ステップＳ１−４で抽出された白線により設定される領域を探索して、前方車両の影を抽出する。

次に処理装置１１３は、ステップＳ１−５で抽出された影に基づいて設定される領域を探索して、前方車両のテールランプを抽出する。

処理装置１１３は、ステップＳ１−６で前方車両の影、及び、テールランプから前方車両を検出する。

以上により、前方に存在する車両を比較的簡単な処理で、確実に検出することができる。なお、上記処理は、汎用コンピュータでも３０ｍｓ以下の処理で済み、リアルタイム性も十分に満足できる。

次に、上記のステップＳ１−３の白線抽出処理、ステップＳ１−４の影抽出処理、ステップＳ１−５のテールランプ抽出処理の各処理について説明する。

図３は白線抽出処理のフローチャートを示す。

処理装置１１３は、ステップＳ２−１でカラー画像を読み込み、ステップＳ２−２でカラー画像から白線及び黄線を抽出し易い輝度値画像を抽出する。

次に処理装置１１３は、ステップＳ２−３で輝度値画像からエッジを抽出する。処理装置１１３は、ステップＳ２−４で抽出したエッジから白線を抽出する。

ステップＳ２−４の白線抽出処理では、自車両が走行している車線を認識するため、車線の左右の白線を検出する。その中で演算量を抑えるため、簡易な走査となるように、撮像画像を下から順次に走査していき、白線と思われる画素を見つけたら、そこから上側に向かって近傍のみを走査をしていく。白線と思われる画素がある程度連結していたら、それを白線とみなし、さらに、そこから上側を近傍走査していき、連結画素があれば、それらも白線と見なしていく。これにより曲線にも対応することができる。この方法を左右の白線について行う。また、現在の情報より前の５フレーム分のログを取り、白線が見つからない場合や、交差点においての未抽出・誤抽出の救済措置を行う。追い越し禁止の黄色い線についても同様である。

図４はステップＳ２−４のフローチャートを示す。

処理装置１１３は、まず、ステップＳ３−１〜Ｓ３−３で最終探索ラインlast、状態フラグflag、カウント値count、ミスカウント値misscountに「０」をセットする。なお、最終探索ラインlastは、探索したライン数を示す値である。状態フラグflagは、走査の状態を示すフラグで、最上端を走査したとき「１」、最上端まで走査されていない状態のときに「２」、ミスカウント値misscountが「５」になったとき、すなわち、５ライン白線が検出できないときに「３」にセットされる。

次に、処理装置１１３は、ステップＳ３−４で、まず、画像の最下端を走査する。処理装置１１３は、ステップＳ３−５で走査結果、白線の対象となる画素があると、ステップＳ３−６で白線の対象となる画素があるライン数を示すカウント値countを「＋１」する。

次に、処理装置１１３は、ステップＳ３−７で上側のラインの近傍を探索する。処理装置１１３は、探索の結果、ステップＳ３−８で白線の対象となる画素があれば、ステップＳ３−９で白線の対象となる画素があるライン数を示すカウント値countを「＋１」する。

また、処理装置１１３は、探索の結果、ステップＳ３−８で白線の対象となる画素がなければ、ステップＳ３−１０で白線の対象となる画素がないライン数を示すミスカウント値misscountを「＋１」する。

次に処理装置１１３は、ステップＳ３−１１でカウント値countが「１０」に達したか、否かを判定する。処理装置１１３は、ステップＳ３−１１でカウント値countが「１０」であれば、ステップＳ３−１２で白線描画処理を実行し、白線描画を行う。

処理装置１１３は、ステップＳ３−１３で走査したラインが最上端か、否かを判定する。ステップＳ３−１３で走査したラインが最上端のラインであると判定されると、ステップＳ３−１４でフラグflagに「１」をセットする。また、ステップＳ３−１３で最上端ラインでない場合には、ステップＳ３−１５でフラグflagを「２」にセットする。

また、処理装置１１３は、ステップＳ３−１１で処理装置１１３は、ステップＳ３−１１でカウント値countが「１０」に達していない場合には、ステップＳ３−１６で走査したラインが最上端か否かを判定する。処理装置１１３は、ステップＳ３−１６で走査したラインが最上端である場合には、ステップＳ３−１７で状態フラグflagを「１」にセットする。

また、処理装置１１３は、ステップＳ３−１６で走査したラインが最上端でない場合には、ステップＳ３−１８でミスカウント値misscountが「５」に達したか、否かを判定する。処理装置１１３は、ステップＳ３−１８でミスカウント値misscountが「５」に達すると、白線が抽出できない状態であると判断して、ステップＳ３−１９で状態フラグflagを「３」にセットする。なお、処理装置１１３は、ステップＳ３−１８でミスカウント値misscountが「５」に達していない場合には、状態フラグflagは設定しない。

次に、処理装置１１３は、ステップＳ３−２０で状態フラグflagが「１」か否かを判定する。処理装置１１３は、ステップＳ３−２０で状態フラグflagが「１」の場合には、ステップＳ３−２４で終点座標last!＝topか否か、すなわち、終点まで白線が引かれているか否かを判定する。処理装置１１３は、ステップＳ３−２４で終点まで白線が引かれている場合には、ステップＳ３−２５で更に、傾きから白線を引き、ステップＳ３−２６でログに保存する。

処理装置１１３は、ステップＳ３−２０で状態フラグflagが「１」でない場合には、ステップＳ３−２１で状態フラグflagが「２」あるいは「３」か判定する。処理装置１１３は、ステップＳ３−２１で状態フラグflagが「２」あるいは「３」ではない場合、すなわち、状態フラグflagが「１」、「２」、「３」のいずれにも当てはならない場合には、ステップＳ３−２２で１ライン上に移動して、ステップ３−７に戻って処理を続ける。また、処理装置１１３は、ステップＳ３−２１で状態フラグflagが「２」あるいは「３」の場合には、ステップＳ３−２３でデータを初期化した後、ステップＳ３−２９で走査ラインを１ライン上に移動して、ステップＳ３−２に戻って走査を行う。

また、処理装置１１３は、ステップＳ３−５で白線の対象となる対象画素が存在しない場合には、次にステップＳ３−２７で最上端の走査か否かを判定する。処理装置１１３は、ステップＳ３−２７で最上端の走査でない場合には、ステップＳ３−２８でデータを初期化し、ステップＳ３−２９で走査ラインを１ライン上に移動して、ステップＳ３−２に戻って走査を行う。

また、処理装置１１３はステップＳ３−２７で走査ラインが最上端の走査である場合には、ステップＳ３−２４に移行してステップＳ３−２４〜Ｓ３−２６の処理を行う。

ここで、ステップＳ３−１２の白線描画処理について説明する。

図５はステップＳ３−１２のフローチャートを示す。

処理装置１１３は、ステップＳ４−１で傾きを求め、ステップＳ４−２で終点座標lastが「０」か否かを判定する。

処理装置１１３は、ステップＳ４−２で終点座標lastが「０」でなければ、ステップＳ４−３で始点から終点まで求めた傾きを利用して、直線を引き、白線を描画し、ステップＳ４−４で描画した白線の座標をログ保存するとともに、ステップＳ４−５で終点座標をlastに保存する。

次に、処理装置１１３は、ステップＳ４−６で上側近傍を走査し、ステップＳ４−７で白線の対象となる画素があるか否かを判定する。処理装置１１３は、ステップＳ４−７で白線の対象となる画素が存在する場合には、ステップＳ４−８で白線を検知し、ステップＳ４−９でその座標をログ保存する。

処理装置１１３は、ステップＳ４−１０で最上端の走査か否かを判定する。処理装置１１３は、ステップＳ４−１０で最上端の走査した場合には、ステップＳ４−１２で状態フラグflagに「１」をセットする。処理装置１１３は、ステップＳ４−１０で最上端の走査したものではない場合には、ステップＳ４−１１で最終座標lastに保存する。

また、処理装置１１３は、ステップＳ４−２で最終座標lastが「０」でない場合には、ステップＳ４−１３で傾きから最終座標を求め、ステップＳ４−１４で傾きから求めた最終座標と最終座標lastとして設定された最終座標とが一致するか否かを判定する。処理装置１１３は、ステップＳ４−１４で傾きから求めた最終座標と最終座標lastとして設定された最終座標とが一致する場合には、ステップＳ４−１５で最終座標lastを終点する直線により白線を描画し、ステップＳ４−４に移行する。

処理装置１１３は、ステップＳ４−１４で傾きから求めた最終座標と最終座標lastとして設定された最終座標とが一致しない場合には、ステップＳ４−１６で取得した座標を破棄する。

次に処理装置１１３は、ステップＳ４−１７で最上端を走査したものか否かを判定する。処理装置１１３は、ステップＳ４−１７で最上端を走査したものではない場合には、ステップＳ４−１８で状態フラグflagに「２」をセットする。また、処理装置１１３は、ステップＳ４−１７で最上端を走査した場合には、ステップＳ４−１９で状態フラグflagに「１」をセットする。

さらに、処理装置１１３は、ステップＳ４−７で白線の対象となる画素がない場合には、ステップＳ４−２０で最上端を走査したものか否かを判定する。処理装置１１３は、ステップＳ４−２０で最上端を走査したときにはステップＳ４−２１で状態フラグflagに「２」をセットする。また、処理装置１１３は、ステップＳ４−２０で最上端を走査したものではない場合、ステップＳ４−１２で状態フラグflagに「１」をセットする。

以上により白線が描画される。

次にステップＳ１−３の影抽出処理について説明する。

影抽出処理は、白線を抽出後、前方車両を検出するのに自車両走行車線以外は必要ないので、その領域内のみに施される。影は明度が非常に低いことから、２値化の閾値は白線内の輝度値「０」の画素から数えていき、規定の画素数に達したところで閾値を決定する。これにより車両の影候補を抽出する。

夜間は周りも明度が低くなるので雑音が多くなり、誤抽出が多発する。その対策として、車両下の影は横に広がって存在する特徴があるので、画像を各行ごとに走査していき、影と思われる画素が多い行は、画素同士を繋ぐ処理をする。これにより、抽出したい影を正確に求めることができる。連結成分に同じラベルを付けるラベリング処理の後、その面積の小さすぎる塊、大きすぎる塊は対象外とみなし、そのラベルを消去する。すなわち、1行ごとに対象画素を数え、１行の合計画素数が車両の横幅に対して十分存在すれば、その付近に車両下の影があると判断し、それらの始点画素から終点画素までを影とみなして補完する。十分に存在しない場合、影ではないとしてその行の画素をすべて除去する。

図６は影抽出処理の概略フローチャートを示す。

処理装置１１３は、まず、ステップＳ５−１で影を探索する領域を限定する。次に、処理装置１１３は、ステップＳ５−２で限定した領域の画像を２値化する。

次に、処理装置１１３は、ステップＳ５−３で２値化した画像を補完する。次に、処理装置１１３は、ステップＳ５−４で補完した２値化画像をラベリングする。このとき、前方の車両の影の他に、側方の車両の影や車両以外の影が車両の影の候補として抽出される。

次に、処理装置１１３は、ステップＳ５−５でラベリングされた２値化画像から塊が小さい部位をノイズと判断して、除去する。次に処理装置１１３は、ステップＳ５−６でノイズを除去された２値化画像で残った影を注目する前方の車両の影として抽出する。

次にステップＳ５−３〜Ｓ５−６の処理について説明する。

図７はステップＳ５−４の詳細フローチャートを示す。

まず、処理装置１１３は、ステップＳ６−１で白線内を走査した保存する。次に、処理装置１１３は、まず、ステップＳ６−２で上限輝度ａを「０」にセットする。次に、処理装置１１３は、ステップＳ６−３で輝度が０〜ａとなる画素の画素数をカウントする。

処理装置１１３は、ステップＳ６−４で輝度が０〜ａの合計画素数が合計画素規定値に達したか否かが判定される。

処理装置１１３は、ステップＳ６−４で輝度が０〜ａの合計画素数が合計画素規定値に達していなければ、ステップＳ６−５で上限輝度ａを（ａ＋１）にし、ステップＳ６−３に戻って処理を続ける。

また、処理装置１１３は、ステップＳ６−４で輝度が０〜ａの合計画素数が合計画素規定値に達していれば、ステップＳ６−６でその時の輝度ａを閾値に設定する。次に、処理装置１１３は、ステップＳ６−７で、設定された閾値ａに基づいて読み込んだ画像を２値化する。

次に、処理装置１１３は、ステップＳ６−８で２値化した画像の影の画素、すなわち、２値化によって「０」とされた画素を各行毎にカウントする。このときの各行毎のカウント値をＣ１とする。処理装置１１３は、ステップＳ６−９でカウント値Ｃ１が一定値Ｃ0より大きいか否か、すなわち、横幅に対して影となる画素が多く存在するか否かを判定する。

処理装置１１３は、ステップＳ６−９で横幅に対して影となる画素が多く存在する場合には、ステップＳ６−１０で影となる画素を結び車両の影としてラベリングする。また、処理装置１１３は、ステップＳ６−９で横幅に対して影となる画素が少ない場合には、ノイズと見なし、ステップＳ６−１１で影として抽出された画素を車両の影から除外する。

以上により前方車両の影のみを確実に抽出することができる。

次にテールランプ抽出処理について説明する。

車両影の上にはテールランプが存在するはずである。よって、影とテールランプを併用して追跡処理を行うことにより、確実に車両を追跡することが可能となる。

追跡の際に中心点座標の上側を走査し、テールランプが存在すれば、その影が車両下の影であると判断できる。これにより無駄な追跡処理を回避することができ、交差点における追跡処理も可能になる。

なお、テールランプの抽出処理は、ログが十分取れている場合と、いない場合とで処理を変更している。ログを十分に取得していない場合には、影抽出における各ラベル塊の上側にテールランプが存在するか調べる。走査範囲はラベルの上側、(ラベルの横幅÷２)分までとする。テールランプの下にあるラベルが車両下の影であるとする。そして影ラベルの位置情報（Ｙ座標）をログに保存する。

また、ログを十分に取得している場合には、ログと、現在取得したラベルの上にテールランプが存在するか調べる。画像下ほど自車両により近いので、テールランプが見つかった一番下のラベルを車両下の影であるとみなす。現在取得したラベルが採用されればその情報をログに格納し、ログを利用したならばログ情報は変わらないのでログに格納しない。

なお、色によるテールランプの抽出は、実画像分析結果からＲＧＢ表色系のＧ成分とＲ成分を利用し、また、そこで得られた画素塊の平行性を調べることによりテールランプを抽出する。

最後に、車両影部分が視覚的に見えるようグルーピング処理を施し画素塊領域を長方形で囲む。グルーピングでは複数のグループが抽出されることがある。これは誤抽出となってしまうので、グループが複数見つかった場合、それらのグループの上側を走査しテールランプが存在するかどうかでグループを１つに決定している。

図８はテールランプ抽出処理のフローチャートを示す。

まず、処理装置１１３は、ステップＳ７−１、Ｓ７−２で撮像した画像からＧ成分、Ｒ成分を抽出する。

処理装置１１３は、ステップＳ７−３でＧ画像とＲ画像とのＡＮＤ画像を作成し、ステップＳ７−４で作成したＡＮＤ画像から高輝度部分を抽出してラベリングする。なお、ラベリングとは、２値化した各画素にラベルを付加することにより、特定の領域を抽出できるようにする処理である。ラベリング処理により、連結している画素に同じラベルを付加することで複数の領域をグループとして分類することができる。これによって、テールランプを確実に抽出できる。

処理装置１１３は、ステップＳ７−５でラベリングされた画像からノイズを除去する。

処理装置１１３は、ステップＳ７−６でラベリングされた部分相互の平行性を検出する。次に、処理装置１１３は、ステップＳ７−７で検出された平行性に基づいてテールランプを抽出する。

ここで、ステップＳ７−７のテールランプ抽出処理について説明する。

図９はステップＳ７−７のテールランプ抽出処理のフローチャートを示す。

処理装置１１３は、ステップＳ８−１でラベルを探索し、ステップＳ８−２でラベルが複数存在するか否かを判定する。処理装置１１３は、ステップＳ８−２でラベルが複数存在する場合には、ステップＳ８−３で各ラベルのログが取得されているか否かを判定する。

処理装置１１３は、ステップＳ８−３でログが取得されていれば、ステップＳ８−４でラベル、ログの両方の上側の領域を探索し、テールランプ候補を抽出する。また、処理装置１１３は、ステップＳ８−３で、各ラベルでログが取得されていなければ、ステップＳ８−５でラベルの上側の領域のみを探索し、テールランプ候補を抽出する。

処理装置１１３は、ステップＳ８−２でラベルが複数存在しなければ、ステップＳ８−６でラベルが存在するか否かを判定する。処理装置１１３は、ステップＳ８−６でラベルが存在する、すなわち、ラベルが一つのみ存在すれば、ステップＳ８−７でログが取得されているか否かを判定する。ログ、ラベル両方の上側の領域を探索し、テールランプ候補を抽出する。処理装置１１３は、ステップＳ８−７でラベルのログが取得されていなければ、ステップＳ８−９でラベルの上側の領域のみを探索し、テールランプ候補を抽出する。

なお、処理装置１１３は、ステップＳ８−６でラベルが存在しなければ、ステップＳ８−１０で前方に車両はないと判断して処理を終了する。

また、処理装置１１３は、ステップＳ８−４、Ｓ８−５、Ｓ８−６、Ｓ８−９でテールランプ候補が抽出されると、ステップＳ８−１１で抽出されたテールランプ候補が複数あるか否かを判定する。

処理装置１１３は、ステップＳ８−１１で複数の候補があれば、ステップＳ８−１２で複数の候補のうち最も下側のテールランプの候補を抽出すべきテールランプとして採用する。処理装置１１３は、ステップＳ８−１３でテールランプ抽出時にログを利用したか否かを判定する。

処理装置１１３は、ステップＳ８−１３でログを利用していれば、そのまま、処理を終了する。また、処理装置１１３は、ステップＳ８−１３でログを利用していなければ、ステップＳ８−１４で抽出したラベルをログとして、処理を終了する。

また、処理装置１１３は、ステップＳ８−１１でテールランプの候補となるラベルまたは、ログが複数存在しなければ、ステップＳ８−１５でテールランプの候補があるか否かを判定する。

処理装置１１３は、ステップＳ８−１５でテールランプの候補が一つあれば、ステップＳ８−１６で一つのテールランプ候補を抽出すべきテールランプとして採用し、ステップＳ８−１４で抽出したラベルをログとして、処理を終了する。

また、処理装置１１３は、ステップＳ８−１５でテールランプ候補がなければ、ステップＳ８−１１で前方に車両はないと判断して処理を終了する。

以上により、テールランプを順次に追跡し、抽出することが可能となる。

次に、ステップＳ７−１〜Ｓ７−３の処理について説明する。

図１０はステップＳ７−１〜Ｓ７−４のフローチャートを示す。

図１０においてステップＳ９−１〜Ｓ９−５はステップＳ７−１のＧ成分判定処理に相当し、ステップＳ９−５〜Ｓ９−１０はステップＳ７−２のＲ成分判定処理に相当する。さらに、ステップＳ９−１１〜Ｓ９−１２はステップＳ９−１１、Ｓ９−１２に相当する。

処理装置１１３は、ステップＳ９−１でＧ成分ｇに「０」をセットする。処理装置１１３は、ステップＳ９−２で０〜ｇの画素数を計数する。処理装置１１３は、ステップＳ９−３で計数した画素数が規定値か否かを判断する。

処理装置１１３は、ステップＳ９−３で合計画素数が規定値に達していなければ、ステップＳ９−４でｇの値を「ｇ＋１」に設定し、ステップＳ９−２に戻って処理を続ける。

処理装置１１３は、ステップＳ９−３で合計画素数が規定値に達していれば、ステップＳ９−５でそのときのｇの値を閾値に設定する。

以上により、Ｇ成分の閾値が設定される。

処理装置１１３は、ステップＳ９−６でＲ成分ｒに「０」をセットする。処理装置１１３は、ステップＳ９−７で０〜ｒの画素数を計数する。処理装置１１３は、ステップＳ９−８で計数した画素数が規定値か否かを判断する。

処理装置１１３は、ステップＳ９−８で合計画素数が規定値に達していなければ、ステップＳ９−９でｒの値を「ｒ＋１」に設定し、ステップＳ９−７に戻って処理を続ける。

処理装置１１３は、ステップＳ９−８で合計画素数が規定値に達していれば、ステップＳ９−１０でそのときのｒの値を閾値に設定する。

次に、処理装置１１３は、ステップＳ９−１１で原画像をｇ閾値、ｒ閾値の各々で２値化する。処理装置１１３は、ステップＳ９−１２で２つの２値化画像のＡＮＤをとる。

以上によりテールランプの候補を抽出することができる。

次に、上記車両検出システム１００を搭載した車両を走行させて、前方の車両を検出した実験の結果について説明する。

図１１乃至図１３は本発明の一実施例の車両検出処理による高速道路のトンネルを走行しているときの実験結果を示す図である。図１１（Ａ）〜（Ｃ）、図１２（Ａ）〜（Ｄ）、図１３（Ａ）〜（Ｄ）は撮像画像を時系列に配列したものであり、図１１（Ｄ）〜（Ｆ）、図１２（Ｅ）〜（Ｈ）、図１３（Ｅ）〜（Ｈ）は図１１（Ａ）〜（Ｃ）、図１２（Ａ）〜（Ｄ）、図１３（Ａ）〜（Ｄ）に示す撮像画像に本実施例の車両検出処理により抽出された影の領域Ａ及び車線Ｌ１、Ｌ２を重ねた画像を示す。

図１１乃至図１３に示すように本実施例の車両検出処理によれば、トンネル内においても前方の車両Ｍの下部に形成される車両Ｍの影の領域Ａを確実に取得し、かつ、追跡できていることがわかる。

図１４乃至図１６は本発明の一実施例の車両検出処理による一般道を昼間走行しているときの実験結果を示す図である。なお、図１４（Ａ）〜（Ｃ）、図１５（Ａ）〜（Ｄ）、図１６（Ａ）〜（Ｄ）は撮像画像を時系列に配列したものであり、図１４（Ｄ）〜（Ｆ）、図１５（Ｅ）〜（Ｈ）、図１６（Ｅ）〜（Ｈ）は図１４（Ａ）〜（Ｃ）、図１５（Ａ）〜（Ｄ）、図１６（Ａ）〜（Ｄ）に示す撮像画像に本実施例の車両検出処理により抽出された影の領域Ａ及び車線Ｌ１、Ｌ２を重ねた画像を示す。

図１４乃至図１６に示すように本実施例の車両検出処理によれば、昼間の一般道においても前方を走行する車両Ｍの影の領域Ａを確実に抽出できていることがわかる。

図１７乃至図１９は本発明の一実施例の車両検出処理による一般道を夜間走行しているときの実験結果を示す図である。なお、図１７（Ａ）〜（Ｃ）、図１８（Ａ）〜（Ｄ）、図１９（Ａ）〜（Ｄ）は撮像画像を時系列に配列したものであり、図１７（Ｄ）〜（Ｆ）、図１８（Ｅ）〜（Ｈ）、図１９（Ｅ）〜（Ｈ）は図１７（Ａ）〜（Ｃ）、図１８（Ａ）〜（Ｄ）、図１９（Ａ）〜（Ｄ）に示す撮像画像に本実施例の車両検出処理により抽出された影の領域Ａ及び車線Ｌ１、Ｌ２を重ねた画像を示す。

図１７乃至図１９に示すように本実施例の車両検出処理によれば、夜間の一般道においても前方を走行する車両Ｍの影の領域Ａを確実に抽出できていることがわかる。

図２０乃至図２５は本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。なお、図２０（Ａ）〜（Ｃ）、図２１（Ａ）〜（Ｄ）、図２２（Ａ）〜（Ｄ）、図２３（Ａ）〜（Ｄ）、図２４（Ａ）〜（Ｄ）、図２５（Ａ）〜（Ｄ）は撮像画像を時系列に配列したものであり、図２０（Ｄ）〜（Ｆ）、図２１（Ｅ）〜（Ｈ）、図２２（Ｅ）〜（Ｈ）、図２３（Ｅ）〜（Ｈ）、図２４（Ｅ）〜（Ｈ）、図２５（Ｅ）〜（Ｈ）は図２０（Ａ）〜（Ｃ）、図２１（Ａ）〜（Ｄ）、図２２（Ａ）〜（Ｄ）、図２３（Ａ）〜（Ｄ）、図２４（Ａ）〜（Ｄ）、図２５（Ａ）〜（Ｄ）に示す撮像画像に本実施例の車両検出処理により抽出された車両Ｍ１、Ｍ２の影の領域Ａ１、Ａ２及び車線Ｌ１、Ｌ２を重ねた画像を示す。

図２０乃至図２５に示すように本実施例の車両検出処理によれば、夜間の交差点においても前方を走行する車両Ｍ１、Ｍ２の影の領域Ａ１、Ａ２を確実に抽出できていることがわかる。

また、直前の車両Ｍ１が交差点で左折し、検出範囲から逸脱した場合であっても、車両Ｍ１が左折し、検出範囲から逸脱した後に、前方の車両Ｍ２の影の領域Ａ２を確実に取得できることがわかる。

このように、本実施例によれば、影の補完処理や白線・影の情報をログ保存する処理の追加により、影の塊をより正確に抽出できる。

また、影候補を抽出した場合、その上にあるテールランプ情報を利用することにより、影サイズを適正なサイズに補正できるとともに、テールランプがない場合には不要な影として効果的に除去できる。なお、テールランプ抽出処理には、影塊画素の上側を探索するのみなので、処理時間はわずかで済む。

連続フレーム情報の利用等により、前方の車両対象が変わった場合にも即座にその対象を変更できる。特に横断歩道や交差点による誤検出が減少し、また未抽出はなくなり、非常に良好な実験結果が得られる。

なお、上記、車両の下影を用いた前方車両検出率は夜間時の一般道（直線道路直進、横断歩道有道路直進、交差点有道路直進それぞれ１００フレームの３００フレーム実験）で９６％、テールランプを併用した場合は９９％と高い抽出率が得られた。

また、汎用コンピュータ、例えば、ＣＰＵ:Ｐｅｎｔｉｕｍ4（商標）、２．５ＧＨｚ、５１２Ｍｂｙｔｅを用いて、実施例の車両検出処理を１フレーム行うのに必要な処理時間は、約３０ｍｓであり、１秒間で３０フレーム以上のビデオレートで処理できることになる。すなわち、リアルタイムで動作させることが可能となる。

また、本実施例では、撮像装置１１１を単眼カメラ構成としているので、カメラ設置位置がフレキシブルになる。また、ステレオカメラ構成にした場合に比べて、複雑な処理を必要としないので画像処理における処理量が少なくて済む。

なお、本実施例では撮像装置１１１を単眼構成としたが、ステレオカメラ構成にすれば、さらに精度ならびに信頼性向上が期待できる。

なお、本発明は上記実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形例が考えられることは言うまでもない。

本発明の一実施例のシステム構成図である。 処理装置１１３で実行される車両検出プログラムのフローチャートである。 白線抽出処理のフローチャートである。 ステップＳ２−４のフローチャートである。 ステップＳ３−１２のフローチャートである。 影抽出処理の概略フローチャートである。 ステップＳ５−４の詳細フローチャートである。 テールランプ抽出処理のフローチャートである。 ステップＳ７−７のテールランプ抽出処理のフローチャートである。 ステップＳ７−１〜Ｓ７−４のフローチャートである。 本発明の一実施例の車両検出処理による高速道路のトンネルを走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による高速道路のトンネルを走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による高速道路のトンネルを走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による一般道を昼間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による一般道を昼間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による一般道を昼間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による一般道を夜間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による一般道を夜間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による一般道を夜間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。 本発明の一実施例の車両検出処理による交差点を夜間走行しているときの実験結果を示す図である。

符号の説明

１００ 車両検出システム、１１１ 撮像装置、１１２ インタフェース
１１３ 処理装置、１１４ 記憶装置、１１５ 制御対象装置

Claims (10)

1. 車両を検出する車両検出システムであって、
   画像を撮影する撮像手段と、
   前記撮像手段により撮像された画像から車両の影の候補を抽出する影抽出手段と、
   前記撮像手段により撮像された画像から車両のテールランプを抽出するテールランプ抽出手段と、
   前記影抽出手段で抽出された車両の影の候補から前記テールランプ抽出手段で抽出されたテールランプの位置に基づいて車両の影を特定し、車両の影に基づいて車両を検出する車両検出手段とを有する車両検出システム。
2. 前記テールランプ抽出手段は、前記テールランプの色成分を抽出し、抽出された色成分の画素の塊のうち略平行に配置された画素の塊を前記テールランプとして抽出する請求項１記載の車両検出システム。
3. 前記テールランプ抽出手段は、前記影抽出手段で抽出された影の候補の上側を探索する請求項２記載の車両検出システム。
4. 前記テールランプ抽出手段は、前記影抽出手段で抽出された影の候補の上側の該影の候補の横幅の半分までの領域を探索する請求項３記載の車両検出システム。
5. 前記テールランプ抽出手段は、抽出されたテールランプ候補のうち、最も下側のテールランプの候補をテールランプとして認識する請求項１乃至４のいずれか一項記載の車両検出システム。
6. 前記撮像手段は、カラー画像を撮像しており、
   前記テールランプ抽出手段は、前記撮像手段で撮像されたカラー画像のＲ成分及びＧ成分に基づいてテールランプを抽出する請求項１乃至５のいずれか一項記載の車両検出システム。
7. 前記車両検出手段は、前記影抽出手段で複数の影の候補が抽出された場合に、前記複数の影の候補のうち上側近傍に前記テールランプ抽出手段によりテールランプが抽出された影の候補を、前記車両の影として特定する請求項１乃至６のいずれか一項記載の車両検出システム。
8. 前記車両検出手段は、特定した車両の影の位置情報を保持しており、前記影抽出手段で抽出した車両の影及び特定された車両の影の位置情報並びに前記テールランプ抽出手段で抽出したテールランプの位置に基づいて前記車両の影を検出する請求項１乃至６のいずれか一項記載の車両検出システム。
9. 前記撮像手段は、単眼カメラである請求項１乃至８のいずれか一項記載の車両検出システム。
10. 前記撮像手段で撮像された画像から白線を抽出する白線抽出手段を有し、
    前記影抽出手段は、前記白線抽出手段で抽出された白線に応じた範囲について影の探索を行う請求項１乃至９のいずれか一項記載の車両検出システム。