JP6561431B2 - 境界線認識装置および境界線認識プログラム - Google Patents

Description

本発明は、自車両が走行する走行領域の内外を区分する境界線を認識する境界線認識装置および境界線認識プログラムに関する。

上記の境界線認識装置として、カメラによる撮像画像に基づいて境界線を認識するとともに、地図情報に基づいて境界線を推定し、撮像画像に基づく境界線の認識精度が低いと推定される場合に、撮像画像に基づく境界線の認識結果を排除し、地図情報に基づく境界線を採用するものが知られている（例えば、特許文献１参照）。

特開平１１−２９６７９９号公報

しかしながら、地図情報に基づく境界線は、その位置精度が低い傾向があり、撮像画像に基づく境界線の認識結果を排除したときに、境界線の認識精度が低下するという問題があった。そこで、このような問題点を鑑み、自車両が走行する走行領域の端部を示す境界線を認識する境界線認識装置において、境界線をより精度よく認識できるようにすることを本発明の目的とする。

本発明の境界線認識装置において、複数の境界線認識部は、それぞれ異なる光学的手法を用いて境界線を認識し、環境情報取得手段は、自車両の周囲の環境に関する情報を表す環境情報を取得する。そして、選択手段は、環境情報に応じて複数の境界線認識部のうちから境界線を認識する際に利用する１または複数の境界線認識部を選択する。

このような境界線認識装置によれば、異なる光学的手法を用いる複数の手段を用いて境界線を認識し、環境情報に応じて境界線を認識する際に利用する手段を選択するので、環境毎に境界線の認識に適した光学的手法を採用して境界線を認識することができる。よって、境界線をより精度よく認識することができる。

なお、上記目的を達成するためには、コンピュータを、境界線認識装置を構成する各手段として実現するための境界線認識プログラムとしてもよい。また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。

本発明が適用された境界線認識装置１の概略構成を示すブロック図である。 処理部１０のＣＰＵ１１が実行する境界線認識処理を示すフローチャートである。 境界線認識処理のうちの阻害要因認識処理を示すフローチャートである。 阻害要因認識処理のうちの雨判定処理を示すフローチャートである。 阻害要因認識処理のうちの西日判定処理を示すフローチャートである。 西日が阻害要因となりうるシーンの一例を示す説明図である。 阻害要因認識処理のうちの夜判定処理を示すフローチャートである。 阻害要因認識処理のうちの影判定処理を示すフローチャートである。 前方カメラ（狭角）２１ａの画像において影が阻害要因となりうるシーンの一例を示す説明図である。 周囲カメラ２１〜２４の画像において影が阻害要因となりうるシーンの一例を示す説明図である。 阻害要因認識処理のうちの渋滞判定処理を示すフローチャートである。 渋滞が阻害要因となりうるシーンの一例を示す説明図である。 阻害要因認識処理のうちの工事判定処理を示すフローチャートである。 阻害要因認識処理のうちの縦断勾配変化判定処理を示すフローチャートである。 縦断勾配変化が阻害要因となりうるシーンの一例を示す説明図である。 阻害要因認識処理のうちのトンネル判定処理を示すフローチャートである。 トンネル（出口）が阻害要因となりうるシーンの一例を示す説明図である。 トンネル（入口）が阻害要因となりうるシーンの一例を示す説明図である。 阻害要因認識処理のうちの急カーブ判定処理を示すフローチャートである。 阻害要因認識処理のうちの分岐／合流判定処理を示すフローチャートである。 阻害要因認識処理のうちのアスファルト／コンクリート判定処理を示すフローチャートである。 境界線認識処理のうちの白線認識処理を示すフローチャートである。 白線認識処理のうちのエッジ選定処理を示すフローチャートである。 コールタールが阻害要因となりうるシーンの一例を示す説明図である。 コールタールが存在する際の周囲カメラ２１〜２４の画像の一例を示す鳥瞰図である。 コールタールが存在する際のレーザレーダ２５による反射強度を示す説明図である。 境界線認識処理のうちの統合処理を示すフローチャートである。 阻害要因を認識する際に利用する情報や白線認識を行う際に利用するセンサ構成と阻害要因とが対応付けられた外乱マップ（その１）の一例である。 外乱マップ（その２）の一例である。 影が存在する際のレーザレーダ２５による反射強度を示す説明図である。 トンネル（出口）が存在する際の周囲カメラ２１〜２４の画像の一例を示す鳥瞰図である。 トンネル（出口）が存在する際のレーザレーダ２５による反射強度を示す説明図である。 トンネル（入口）が存在する際の周囲カメラ２１〜２４の画像の一例を示す鳥瞰図である。 トンネル（入口）が存在する際のレーザレーダ２５による反射強度を示す説明図である。

以下に本発明にかかる実施の形態を図面と共に説明する。
［本実施形態の構成］
本発明が適用された境界線認識装置１は、例えば乗用車等の車両（以下、自車両ともいう。）に搭載され、複数のカメラ２１ａ、２１ｂ、２２〜２４やレーザレーダ２５を用いて白線等の境界線を認識する装置である。なお、本実施形態においては境界線のうちの白線を認識する処理について説明するが、白線以外の境界線を認識する場合にも同様の手法を用いることができる。また特に、本実施形態の境界線認識装置１は、車両周囲の環境に応じて、白線を認識する際に利用するカメラ２１ａ、２１ｂ、２２〜２４やレーザレーダ２５を変更するよう設定されている。

詳細には、図１に示すように、境界線認識装置１は、処理部１０、各種カメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５、ミリ波レーダ２６、ソナー２７、車両情報センサ３１、表示部３２、車両制御部３３、位置検出部３４、交通情報受信部３５を備えている。

各種カメラ２１ａ、２１ｂ、２２〜２４としては、前方カメラ（狭角）２１ａ、前方カメラ（広角）２１ｂ、後方カメラ２２、左カメラ２３、右カメラ２４を備えている。前方カメラ（狭角）２１ａおよび前方カメラ（広角）２１ｂは例えばフロントバンパ内に配置され、自車両の前方を撮像範囲とする。

ただし、前方カメラ（広角）２１ｂ、後方カメラ２２、左カメラ２３、右カメラ２４は、後述する鳥瞰図画像を生成するために、前方カメラ（狭角）２１ａよりも画角が広くなるよう設定されている。後方カメラ２２は例えばリアバンパ内に配置され、自車両の後方を撮像範囲とする。

また、左カメラ２３は例えば自車両の左ミラーにおいて配置され、自車両の左側を撮像範囲とする。右カメラ２４は例えば自車両の右ミラーにおいて配置され、自車両の右側を撮像範囲とする。各カメラ２１ａ、２１ｂ、２２〜２４は、例えば３３ｍｓ毎に撮像を行い、得られた撮像画像を処理部１０に送る。

なお、以後の説明では、前方カメラ（狭角）２１ａを除く各カメラ２１ｂ、２２〜２４を周囲カメラ２１〜２４とも呼ぶ。また、周囲カメラ２１〜２４よる画像を組み合わせて得られた画像であり、真上から見下ろしたように座標変換したものを鳥瞰図画像ともいう。

レーザレーダ２５は、自車両の前方の所定領域内にレーザ光を照射し、その反射光を受信することによって、レーザ光を反射した物標までの距離を検出する。また、レーザ光の反射強度を検出し、この結果から白線等の路面のペイントを検出する。レーザレーダ２５は、これらの検出結果を処理部１０に送る。

ミリ波レーダ２６は、自車両の前方の所定領域内にミリ波を送信し、その反射波を受信することによって送信波を反射した物標までの距離を検出する。ミリ波レーダ２６は、この検出結果を処理部１０に送る。

ソナー２７は、例えば車両の四隅のそれぞれに配置されており、音波を送信し、その反射波を受信することによって車両周囲の障害物までの距離を測定する。ソナー２７はこの距離の測定結果を処理部１０に送る。

車両情報センサ３１は、車両における種々の状態を検出する複数のセンサとして構成されている。例えば、車両情報センサ３１としては、自車両の走行速度を検出する車速センサ、舵角を検出する舵角センサ、自車両付近の照度を検出する照度センサ等を備えている。車両情報センサ３１は得られた車両情報を処理部１０に送る。

表示部３２は、処理部１０から送られる映像信号に基づく画像を表示させる周知のディスプレイとして構成されている。
車両制御部３３は、処理部１０から送られた白線の位置情報に従って、自車両を制御する車両制御装置として構成されている。車両制御部３３は、自車両のアクセル、ブレーキ、舵角等を制御して自車両が白線から逸脱しないよう、また、他車両等の障害物と衝突しないよう自車両を制御する。

位置検出部３４は、例えばＧＰＳ（全地球測位システム）受信機として構成されており、得られた自車両の位置情報を処理部１０に送る。
交通情報受信部３５は、例えば、交通情報が含まれるＦＭ多重放送やＶＩＣＳ（登録商標）（Vehicle Information and Communication System）情報を受信する受信機として構成されており、受信した情報を処理部１０に送る。

処理部１０は、ＣＰＵ１１とＲＯＭ、ＲＡＭ等のメモリ１２とを備えた周知のコンピュータとして構成されている。ＣＰＵ１１は、メモリ１２に格納されたプログラムに従って、後述する境界線認識処理等の各種処理を実行する。また、処理部１０にはワイパの作動状態を示すワイパ信号が入力される。

また、処理部１０は、地図データベース１３を備えている。地図データベース１３には、各道路における勾配の情報、トンネルの出入口の位置に関する情報等が記録されている。

［本実施形態の処理］
このように構成された境界線認識装置１において、処理部１０は、図２に示す境界線認識処理を実施する。境界線認識処理は、例えば処理部１０の電源が投入されると開始される処理であり、その後、一定周期（例えば３３ｍｓ）毎に繰り返し実施される処理である。

境界線認識処理では、図２に示すように、まず、各種情報を取得する（Ｓ１１０）。ここで、この処理で取得される各種情報には、自車両の位置の情報、自車両の位置に対応する地図情報、複数のカメラ２１ａ、２１ｂ、２２〜２４にて撮像された撮像画像、各レーダ２５，２６やソナー２７からの情報を含む。

続いて、阻害要因認識処理を実施する（Ｓ１２０）。阻害要因認識処理は、白線を認識する際に、認識精度に悪影響を与えうる要因を認識する処理である。阻害要因認識処理では、図３に示すように、天候／時間判定処理（Ｓ１８０）、交通状況判定処理（Ｓ１８５）、道路形状判定処理（Ｓ１９０）を順に実施する。なお、阻害要因認識処理の各処理にて設定された各度合い等の設定値はメモリ１２に記録される。

天候／時間判定処理では、まず、雨判定処理を実施する（Ｓ２１０）。雨判定処理では、図４に示すように、入力されたワイパ信号がワイパの作動状態を示すＯＮであるか否かを判定する（Ｓ２１２）。ワイパ信号がＯＮであれば（Ｓ２１２：ＹＥＳ）、ワイパ信号のモードから雨の度合い（強さ）を算出する（Ｓ２１４）。

ここで、ワイパ信号には、ワイパの作動モードとして、ワイパの作動速度（間欠、低速、高速）を示す情報が含まれており、この処理では、ワイパの作動速度に応じて雨の度合いを推定し、雨の度合いをメモリ１２に記録させる。このような処理が終了すると雨判定処理を終了する。

また、ワイパ信号がＯＮでなければ（Ｓ２１２：ＮＯ）、画像上のボケ領域の面積（ボケ領域量）を算出する（Ｓ２１６）。ここでボケ領域とは、輝度値が予め設定された基準輝度値よりも大きく、隣接する画素間の輝度値の差が小さく、ピントが合っていない領域を示す。

続いて、ボケ領域量に応じて雨の度合いを算出し、雨の度合いをメモリ１２に記録させる（Ｓ２１８）。なお、ボケ領域量が大きくなるにつれて雨の度合いが大きくなる。
続いて、レーザレーダ２５による検出結果のノイズ量を算出する（Ｓ２２０）。ここで、レーザレーダ２５のノイズ量は、雨によってレーザ光が乱反射したもの示し、雨の量が増加するに従ってノイズ量も増加する傾向がある。このため、レーザレーダ２５のノイズ量に基づいて雨の度合いを算出し、雨の度合いをメモリ１２に記録させる（Ｓ２２２）。

なお、この処理では、ボケ領域量に応じて算出された雨の度合いと、レーザレーダ２５のノイズ量に基づいて算出された雨の度合いとの加重平均等を、雨の度合いとしてメモリ１２に記録する。このような処理が終了すると、雨判定処理を終了する。

続いて図３に戻り、西日判定処理を実施する（Ｓ２３０）。西日判定処理では、図５に示すように、まず、前方カメラ（狭角）２１ａによる撮像画像上の消失点付近の輝度値飽和量を算出する（Ｓ２３２）。消失点付近とは、例えば図６に示すように、撮像画像の中央付近の予め設定された領域を示す。なお、前回以前の処理において複数の白線が認識されている場合には、これらの複数の白線が交差すると予測される位置を消失点としてもよい。

また、輝度値飽和量とは、消失点付近の画像を構成する各画素のうち、輝度値が飽和した画素の数を示す。なお、輝度値飽和量は、消失点に光源が存在する場合に大きくなる傾向がある。

続いて、輝度値飽和量に応じて西日度合いを算出する（Ｓ２３４）。この処理では、輝度値飽和量が大きくなるにつれて西日度合いを大きく設定する。このような処理が終了すると、西日判定処理を終了する。

続いて図３に戻り、夜判定処理を実施する（Ｓ２５０）。夜判定処理では、図７に示すように、まず、照度センサによる信号値に基づいて夜具合を算出し（Ｓ２５２）、前方カメラ（狭角）２１ａのシャッタ値およびカメラのゲインから周囲の明るさを求め、この明るさに基づいて夜具合を算出する（Ｓ２５４）。

そして、周囲カメラ２１〜２４のシャッタ値およびゲインに基づいて夜具合を算出する（Ｓ２５６）。なお、得られた各夜具合の加重平均等を、夜具合としてメモリ１２に記録する。このような処理が終了すると、夜判定処理を終了する。

続いて図３に戻り、影判定処理を実施する（Ｓ２７０）。影判定処理では、図８に示すように、画像上の路面の位置において、輝度値が影閾値以下となる領域を算出する（Ｓ２７２）。

ここで、路面に影が存在する場合には、例えば、前方カメラ（狭角）２１ａでは図９に示すような画像が得られ、左カメラ２３および右カメラ２４では図１０に示すような画像が得られる。これらの画像では、白線が存在すると推定される位置において、白線が影によって暗くなり、認識しにくくなっていることが分かる。

続いて、自車両の左右のどちらに影が発生しているかを判定する（Ｓ２７４）。すなわち、画像の左半分または右半分のうち影閾値以下となる領域の広いほうを影が発生した領域とし、メモリ１２に記録させる。このような処理が終了すると、影判定処理を終了する。

次に、交通状況判定処理では、図３に示すように、まず、渋滞判定処理を実施する（Ｓ２９０）。渋滞判定処理では、図１１に示すように、ミリ波レーダ２６またはソナー２７による検出結果に基づいて、距離閾値未満の物体情報（近距離物体情報）が存在するか否かを判定する（Ｓ２９２）。

ここで、渋滞が発生している場合には、図１２に示すように、比較的車間距離が狭くなるため、近距離物体情報が存在する状態となる傾向がある。また、この際、周囲の車両に白線が隠され、白線を認識しにくくなることが分かる。

近距離物体情報が存在すれば（Ｓ２９２：ＹＥＳ）、渋滞度合いを、渋滞が発生している旨を示す１．００に設定し（Ｓ２９４）、交通状況判定処理を終了する。また、近距離物体情報が存在しなければ（Ｓ２９２：ＮＯ）、渋滞度合いを、渋滞が発生していない旨を示す０．００に設定し（Ｓ２９６）、交通状況判定処理を終了する。

なお、渋滞度合いについては、交通情報受信部３５にて取得される交通情報に基づいて設定してもよいし、ミリ波レーダ２６またはソナー２７による検出結果と交通情報受信部３５にて取得される交通情報とを併用して設定してもよい。

続いて、図３に戻り、工事判定処理を実施する（Ｓ３１０）。工事判定処理では、図１３に示すように、まず、自車両の位置に対応するＶＩＣＳ情報に工事情報が存在するか否かを判定する（Ｓ３１２）。

工事情報が存在していれば（Ｓ３１２：ＹＥＳ）、工事度合いを、自車両位置の近傍で工事がされていることを示す１．００に設定し（Ｓ３１４）、工事判定処理を終了する。また、工事情報が存在しなければ（Ｓ３１２：ＮＯ）、工事度合いを、自車両位置の近傍で工事がされていないことを示す０．００に設定し（Ｓ３１６）、工事判定処理を終了する。

次に、道路形状判定処理では、図３に示すように、まず、縦断勾配判定処理を実施する（Ｓ３３０）。縦断勾配判定処理では、図１４に示すように、自車両が走行している道路における地図情報（特に勾配に関する情報）が存在するか否かを判定する（Ｓ３３２）。

地図情報が存在していれば（Ｓ３３２：ＹＥＳ）、自車両前方の縦断勾配の変化量を算出し（Ｓ３３４）、縦断勾配の変化量に基づいて、縦断勾配変化度合いを算出する（Ｓ３３６）。

縦断勾配変化度合いは、縦断勾配が上下方向の何れの方向に、どの程度変化するかを示す値であり、図１５に示すように、後述する白線認識処理において撮像画像中から白線を認識する際に、白線を認識する領域（白線認識対象領域）の上限が、この縦断勾配変化度合いに応じて設定されることになる。このような処理が終了すると、縦断勾配変化判定処理を終了する。

続いて図３に戻り、トンネル判定処理を実施する（Ｓ３５０）。トンネル判定処理では、図１６に示すように、まず、自車両が走行している道路における地図情報（特にトンネル位置に関する情報）が存在するか否かを判定する（Ｓ３５２）。

地図情報が存在していれば（Ｓ３５２：ＹＥＳ）、自車両の位置がトンネルの出入口から予め設定されたトンネル閾値以内（トンネルの出入口付近）であるか否かを判定する（Ｓ３５４）。

自車両の位置がトンネルの出入口付近であれば（Ｓ３５４：ＹＥＳ）、トンネル出入り口度合いを、トンネル出入口の明るさの変化による影響を受けやすい旨を示す１．００に設定し（Ｓ３５６）、トンネル判定処理を終了する。また、自車両の位置がトンネル出入口付近でない場合（Ｓ３５４：ＮＯ）、およびＳ３５２の処理にて地図情報が存在しない場合（Ｓ３５２：ＮＯ）には、前方カメラ（狭角）２１ａによる撮像画像上の白飛び領域量を算出する（Ｓ３５８）。

白飛び領域とは、個々の画素における輝度値が飽和することによって白くなっている領域を示し、この領域を構成する画素数が白飛び領域量となる。例えば、図１７に示すように、トンネルの出口付近のように、周囲の明るさの割に格段に明るい領域が存在すると、この領域が白飛び領域となる。

続いて、白飛び領域量に基づいてトンネル出入口度合いを算出する（Ｓ３６０）。つまり、白飛び領域量が多くなるにつれてトンネル出入口度合いを高く設定する。
続いて、前方カメラ（狭角）２１ａによる撮像画像上の黒潰れ領域量を算出する（Ｓ３６２）。黒潰れ領域とは、個々の画素における輝度値が０に近く、ほぼ真っ黒になっている領域を示し、この領域を構成する画素数が黒潰れ領域量となる。例えば、図１８に示すように、トンネル入口付近ように、周期の明るさの割に格段に暗い領域が存在すると、この領域が黒潰れ領域となる。

続いて、黒潰れ領域量に基づいてトンネル出入口度合いを算出する（Ｓ３６４）。つまり、黒潰れ領域量が多くなるにつれてトンネル出入口度合いを高く設定する。また、この処理では、白飛び領域量に基づいて求められたトンネル出入口度合いと、黒潰れ領域量に基づいて求められたトンネル出入口度合いとのうちの高い値をトンネル出入口度合いとして採用する。このような処理が終了すると、トンネル判定処理を終了する。

続いて、図３に戻り、急カーブ判定処理を実施する（Ｓ３７０）。急カーブ判定処理では、図１９に示すように、まず、自車両が走行している道路における地図情報（特にカーブの曲率半径に関する情報）が存在するか否かを判定する（Ｓ３７２）。

地図情報が存在すれば（Ｓ３７２：ＹＥＳ）、地図情報の曲率半径の値から急カーブ度合いを設定する（Ｓ３７４）。急カーブ度合いは、曲率半径が小さくなるにつれて大きくなる値である。このような処理が終了すると、急カーブ判定処理を終了する。

また、地図情報が存在しなければ（Ｓ３７２：ＮＯ）、急カーブ度合いを急カーブではない、または急カーブか否か不明である旨を示す０．００に設定し、急カーブ判定処理を終了する。

続いて、図３に戻り、分岐／合流判定処理を実施する（Ｓ３９０）。分岐／合流判定処理では、図２０に示すように、まず、自車両が走行している道路における地図情報（特に分岐や合流、交差点等に関する情報）が存在するか否かを判定する（Ｓ３９２）。

地図情報が存在すれば（Ｓ３９２：ＹＥＳ）、自車両が走行している位置付近に道路の分岐箇所、または道路の合流箇所が存在するか否かを判定する（Ｓ３９４）。分岐箇所または合流箇所が存在すれば（Ｓ３９４：ＹＥＳ）、分岐／合流度合いを、分岐箇所または合流箇所が存在する旨を示す１．００に設定し（Ｓ３９６）、分岐／合流判定処理を終了する。

また、地図情報が存在しない場合（Ｓ３９２：ＮＯ）、または分岐箇所または合流箇所が存在しない場合（Ｓ３９４：ＮＯ）には、分岐／合流度合いを、分岐箇所または合流箇所が存在しない、または分岐箇所、合流箇所の存在が不明である旨を示す０．００に設定し（Ｓ３９８）、分岐／合流判定処理を終了する。

続いて図３に戻り、アスファルト／コンクリート判定処理を実施する（Ｓ４１０）。アスファルト／コンクリート判定処理では、図２１に示すように、まず、自車両が走行している道路における地図情報（特に路面舗装の材質に関する情報）が存在するか否かを判定する（Ｓ４１２）。

地図情報が存在すれば（Ｓ４１２：ＹＥＳ）、地図情報に基づいて自車両が走行する道路がアスファルト舗装であるか否かを判定する（Ｓ４１４）。アスファルト舗装であれば（Ｓ４１４：ＹＥＳ）、アスファルト度合いをアスファルト舗装である旨を示す１．００に設定し（Ｓ４１６）、アスファルト／コンクリート判定処理を終了する。

アスファルト舗装でなければ（Ｓ４１４：ＮＯ）、コンクリート度合いをコンクリート舗装である旨を示す１．００に設定し（Ｓ４１８）、アスファルト／コンクリート判定処理を終了する。また、Ｓ４１２の処理にて、地図情報が存在しなければ（Ｓ４１２：ＮＯ）、路面に照射されたレーザレーダの反射強度を算出する（Ｓ４２０）。

そして、この反射強度に基づいてアスファルト度合およびコンクリート度合いを算出する（Ｓ４２２）。この処理では、反射強度が高くなるにつれて、コンクリート度合いが高くなり、アスファルト度合いが低くなり、反射強度が低くなるにつれて、コンクリート度合いが低くなり、アスファルト度合いが高くなるよう設定される。このような処理が終了するとアスファルト／コンクリート判定処理を終了する。

このような阻害要因認識処理が終了すると、図２に戻り、白線認識処理を実施する（Ｓ１３０）。白線認識処理は、異なる複数の光学的手法を用いてそれぞれ白線を認識する処理である。

白線認識処理では、図２２に示すように、前方カメラ白線認識処理（Ｓ５１０）、周囲カメラ白線認識処理（Ｓ５２０）、レーザレーダ白線認識処理（Ｓ５３０）を順に実施する。前方カメラ白線認識処理では、前方カメラ（狭角）２１ａによる撮像画像を用いて白線を認識する。

すなわち、図２２に示すように、まず、前方カメラ（狭角）２１ａによる画像のうちの白線認識領域においてエッジを抽出する。ここで、白線認識領域とは、撮像画像において予め設定された位置に設けられた領域の位置を、地図情報（道路の勾配、道路の曲率半径）等に応じて補正した領域を表す。また、エッジとは、隣接する画素の輝度値の差が基準値よりも大きくなる位置を示す。

続いて、エッジ選別処理を実施する（Ｓ５５０）。エッジ選別処理では、前方カメラ（狭角）２１ａの撮像画像から得られたエッジと、レーザレーダ２５にて得られた反射強度とを用いて、エッジを有効とするか無効とするかを設定する処理である。

エッジ選別処理は、図２３に示すように、まず、白線認識領域においてエッジが抽出されたか否かを判定する（Ｓ５５２）。エッジが抽出されていなければ（Ｓ５５２：ＮＯ）、エッジ選別処理を終了する。また、エッジが抽出されていれば（Ｓ５５２：ＹＥＳ）、レーザレーダ２５による反射強度の情報が存在するか否かを判定する（Ｓ５５４）。

反射強度の情報が存在しなければ（Ｓ５５４：ＮＯ）、全てのエッジを有効なものとして登録し（Ｓ５６４）、エッジ選別処理を終了する。また、反射強度の情報が存在すれば（Ｓ５５４：ＹＥＳ）、チェックしていないエッジがあるか否かを判定する（Ｓ５５６）。

チェックしていないエッジとは、次のＳ５５７の処理で、まだ選択されていないエッジを示す。チェックしていないエッジがなければ（Ｓ５５６：ＮＯ）、エッジ選別処理を終了する。また、チェックしていないエッジがあれば（Ｓ５５６：ＹＥＳ）、チェックしていないエッジのうちの１つを選択する（Ｓ５５７）。

続いて、選択したエッジ付近（例えば数画素の範囲内）において、レーザレーダ２５による反射強度が高い点があるか否かを判定する（Ｓ５５８）。反射強度が高い点があれば（Ｓ５５８：ＹＥＳ）、このエッジを有効なエッジ点として登録し（Ｓ５６０）、Ｓ５５６の処理に戻る。また、反射強度が高い点がなければ（Ｓ５５８：ＮＯ）、このエッジを無効として登録し（Ｓ５６２）、Ｓ５５６の処理に戻る。

上記のエッジ選別処理では、前方カメラ（狭角）２１ａによる撮像画像では白線であると認識されるがレーザレーダ２５では白線であると認識されないものを白線ではないものと認識することができる。つまり、図２４および図２５に示すように、例えば路面がコールタールのような太陽光を反射する物質で補修されている場合、前方カメラ（狭角）２１ａや周囲カメラ２１〜２４を用いる場合には、白線として認識される虞がある。

一方で、レーザレーダ２５では、図２６に示すように、コールタールの部位が認識されない。このため、上記処理を用いて、前方カメラ（狭角）２１ａによる撮像画像では白線であると認識されるがレーザレーダ２５では白線であると認識されないものを白線ではないものとすることで、良好に白線を認識できるようにしている。

このようなエッジ選別処理が終了すると、図２２に戻り、ハフ変換を行う（Ｓ５９０）。この処理は、エッジ選別処理において有効とされたエッジを用いて投票処理を行うことによって、最も確からしい白線に認識する周知の処理である。この処理によって、自車両の左右１本ずつの白線が認識される。

次に、周囲カメラ白線認識処理では、複数のカメラ（周囲カメラ２１〜２４）による画像から鳥瞰図画像を生成し、この鳥瞰図画像を用いて白線を認識する。詳細には、周囲カメラ白線認識処理では、図２２に示すように、鳥瞰図変換を行う（Ｓ６１０）。この処理では、周囲カメラ２１〜２４からの各撮像画像に対応する鳥瞰図を生成し、これらの鳥瞰図を合成することで鳥瞰図画像を得る。

続いて、この鳥瞰図画像において、エッジを抽出し（Ｓ６２０）、抽出したエッジについてハフ変換を行うことによって白線を認識する（Ｓ６３０）。このような処理が終了すると周囲カメラ白線認識処理を終了する。

次に、レーザレーダ白線認識処理では、レーザレーダ２５による測定結果を利用して白線を認識する。レーザレーダ白線認識処理では、図２２に示すように、反射強度のピークを検出する（Ｓ６４０）。ここで、レーザレーダ２５においては、レーザ光を水平方向に走査する１ラインの走査を鉛直方向の異なる角度においても実施することで、多数のラインにおいて反射強度を得るよう構成されている。そして、本処理では、各ラインにおいて反射強度がピーク（極大値）となる位置を検出する。

そして、反射強度がピークとなる位置についてハフ変換を行い白線を認識する（Ｓ６５０）。このような処理が終了するとレーザレーダ白線認識処理を終了する。
このような白線認識処理が終了すると、図２に戻り、統合処理を実施する（Ｓ１４０）。統合処理は、複数の光学的手法を用いて認識された白線のうちの何れのものを正しい白線として認識するかを決定する処理である。

統合処理では、図２７に示すように、阻害要因認識結果を取得する（Ｓ７１０）。詳細には、図３に示す阻害要因認識処理にて算出された認識結果を取得する。続いて、この認識結果と外乱マップとを利用して、使用する白線の認識結果を選定する。

ここで、外乱マップは、例えば、図２８および図２９に示すように、阻害要因と、阻害要因を認識する際に利用する情報（地図情報、ミリ波レーダ２６、ソナー２７）や、白線の認識に利用するセンサ構成（カメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５等）とが対応付けられている。詳細には、例えば、雨の度合いがある閾値を超えると、阻害要因「雨」が認定され、図２８に示すように、前方カメラ（狭角）２１ａによる白線の認識結果が選択される。

また、例えば、西日度合いがある閾値を超えると、阻害要因「西日」が認定され、図２８に示すように、周囲カメラ白線認識処理による白線の認識結果、およびレーザレーダ白線認識処理による白線の認識結果が選択される。このように複数の認識結果を利用する場合には、それぞれの白線の認識結果の加重平均（それぞれの認識結果に所定の重みを付加して足し合わせたもの）を採用すればよい。

なお、図２８の阻害要因「渋滞」においては、ミリ波およびソナーにおいて利用される旨のチェックが入っているが、これらは渋滞を認識する際に利用され、白線認識の際に利用されるものではない。また、阻害要因「工事」や図２９に示す道路形状についての阻害要因においても同様に、地図において利用される旨のチェックが入っているが、これは工事を認識する際に利用され、白線認識の際に利用されるものではない。

また、図２８の阻害要因「影」においては、影になっている部位についてはレーザレーダ２５を用いるとよく、影になっていない部位については前方カメラ（狭角）２１ａや周囲カメラ２１〜２４による白線の認識結果を用いるとよい。ここで、図３０には、図９に示す影が存在するシーンにおけるレーザレーダ２５による反射強度の検出結果を示す。図３０によると、影になっている部位においても、良好に反射強度のピークが得られていることが分かる。

また、図２９の阻害要因「トンネル出入口」においては、周囲カメラ白線認識処理による白線の認識結果、およびレーザレーダ白線認識処理による白線の認識結果が選択される。トンネル出口において前方カメラ（狭角）２１ａによる撮像画像では、図１７に示すように、白線の認識が困難になるが、鳥瞰図画像では、図３１に示すように、良好に白線が認識できている。また、レーザレーダ２５による反射強度であっても、図３２に示すように、良好に反射強度のピークが得られていることが分かる。

またトンネル入口において前方カメラ（狭角）２１ａによる撮像画像では、図１８に示すように、白線の認識が困難になるが、鳥瞰図画像では、図３３に示すように、良好に白線が認識できている。また、レーザレーダ２５による反射強度であっても、図３４に示すように、良好に反射強度のピークが得られていることが分かる。

上記のように利用する白線認識結果の選定が終了すると、統合処理を終了し、図２に戻る。続いて、利用する白線認識結果に対応する白線の位置に基づく映像信号や出力信号を生成し、これらの信号を表示部３２や車両制御部３３に出力し（Ｓ１５０）、境界線認識処理を終了する。

［本実施形態による効果］
以上のように詳述した境界線認識装置１において処理部１０は、それぞれ異なる光学的手法を用いる複数のカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５を利用して境界線を認識し、自車両の周囲の環境に関する情報を表す環境情報を取得する。そして、環境情報に応じて複数のカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５のうちから境界線を認識する際に利用する１または複数のカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５を選択する。

このような境界線認識装置１によれば、異なる光学的手法を用いる複数の手段を用いて境界線を認識し、環境情報に応じて境界線を認識する際に利用する手段を選択するので、環境毎に境界線の認識に適した光学的手法を採用して境界線を認識することができる。よって、境界線をより精度よく認識することができる。

また、上記の境界線認識装置１において処理部１０は、環境情報として、境界線を認識する上での障害となりうる１または複数の要因の有無に関する情報を取得し、これら要因の有無に応じて境界線を認識する際に利用するカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５を選択する。

このような境界線認識装置１によれば、境界線を認識する上での障害となりうる要因についての情報を取得するので、複数のカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５のうちから境界線を認識する上での障害となりにくいものを選択して境界線を認識することができる。

また、上記の境界線認識装置１において処理部１０は、自車両に搭載されたセンサから得られたセンサ情報に基づいて生成された環境情報を取得する。
このような境界線認識装置１によれば、センサ情報に基づいてカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５を選択することができる。

また、上記の境界線認識装置１において処理部１０は、自車両の位置を取得し、自車両の位置に応じて得られる情報を環境情報として取得する。
このような境界線認識装置１によれば、自車両の位置に応じてカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５を選択することができる。

また、上記の境界線認識装置１において処理部１０は、自車両の位置に対応する地図情報を環境情報として取得する。
このような境界線認識装置１によれば、地図情報を用いるので、例えば、トンネルの出入口、勾配の変化点等、周囲の環境が変化する地点を認識でき、この地点において利用するカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５を選択することができる。

また、上記の境界線認識装置１において処理部１０は、複数のカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５による境界線認識結果の差分に基づく情報を環境情報として取得する。

このような境界線認識装置１によれば、あるカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５では認識できるが、あるカメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５では認識できないような境界線の候補を境界線として認識したり、境界線ではないものとして除去したりすることができる。例えば、カメラ画像では見えるがレーザレーダでは見えないようなライン（境界線の候補）については境界線でないものとして除去することができる。

［その他の実施形態］
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

［実施形態の構成と本発明の手段との対応関係］
上記実施形態において、カメラ２１ａ、２１ｂ、２２〜２４、レーザレーダ２５、および処理部１０が実行するＳ１３０の処理は、本発明でいう境界線認識部に相当する。また、上記実施形態において処理部１０が実行する処理のうちのＳ１１０の処理は、本発明でいう位置取得手段に相当し、上記実施形態においてＳ１１０，Ｓ１２０，Ｓ５５２〜Ｓ５５８の処理は、本発明でいう環境情報取得手段に相当する。

また、上記実施形態においてＳ１４０，Ｓ５６０〜Ｓ５６４の処理は、本発明でいう選択手段に相当する。

１…境界線認識装置、１０…処理部、１１…ＣＰＵ、１２…メモリ、２１ａ…前方カメラ（狭角）、２１ｂ…前方カメラ（広角）、２２…後方カメラ、２３…左カメラ、２４…右カメラ、２５…レーザレーダ、２６…ミリ波レーダ、２７…ソナー、３１…車両情報センサ、３２…表示部、３３…車両制御部、３４…位置検出部、３５…交通情報受信部。

Claims (8)

1. 自車両に搭載され、自車両が走行する走行領域の内外を区分する境界線を認識する境界線認識装置（１）であって、
   前記自車両の前方を撮像する光学カメラである前方カメラによる境界線認識である第１の処理を実行する第１境界線認識部（２１，Ｓ１３０，Ｓ５１０）と、
   前記自車両の周囲を撮像する光学カメラである周囲カメラによる境界線認識である第２の処理を実行する第２境界線認識部（２１〜２４，Ｓ１３０，Ｓ５２０）と、
   レーザレーダによる境界線認識である第３の処理を実行する第３境界線認識部（２５，Ｓ１３０，Ｓ５３０）と、
   自車両の周囲の環境に関する情報を表す環境情報を取得する環境情報取得手段（Ｓ１１０，Ｓ１２０，Ｓ５５２〜Ｓ５５８）と、
   前記第１の処理の認識結果、前記第２の処理の認識結果及び前記第３の処理の認識結果のいずれかを前記環境情報に応じて選択する選択手段と、
   を備え、
   前記第１境界線認識部、前記第２境界線認識部及び前記第３境界線認識部は、前記第１の処理、前記第２の処理及び前記第３の処理の順に処理を実行し、
   前記第１境界線認識部は、前記第１の処理における前記前方カメラによる境界線認識において、前記前方カメラが撮像する撮像範囲内に、前記レーザレーダにより検出された前記境界線が存在する場合、当該前方カメラ及び当該レーザレーダの双方により検出された前記境界線を境界線として認識すること、
   を特徴とする境界線認識装置。
2. 請求項１に記載の境界線認識装置において、
   前記環境情報取得手段は、前記環境情報として、前記境界線を認識する上での障害となりうる１または複数の要因の有無に関する情報を取得し、
   前記選択手段は、前記要因の有無に応じて前記第１の処理の認識結果、前記第２の処理の認識結果及び前記第３の処理の認識結果のいずれかを選択すること
   を特徴とする境界線認識装置。
3. 請求項２に記載の境界線認識装置において、
   前記環境情報取得手段は、前記要因として、西日が発生していることを少なくとも含む、境界線認識装置。
4. 請求項１〜請求項３の何れか１項に記載の境界線認識装置において、
   前記環境情報取得手段は、自車両に搭載されたセンサから得られたセンサ情報に基づいて生成された環境情報を取得すること
   を特徴とする境界線認識装置。
5. 請求項１〜請求項４の何れか１項に記載の境界線認識装置において、
   自車両の位置を取得する位置取得手段（Ｓ１１０）、を備え、
   前記環境情報取得手段は、自車両の位置に応じて得られる情報を前記環境情報として取得すること
   を特徴とする境界線認識装置。
6. 請求項５に記載の境界線認識装置において、
   前記環境情報取得手段は、自車両の位置に対応する地図情報を前記環境情報として取得すること
   を特徴とする境界線認識装置。
7. 請求項１または請求項２に記載の境界線認識装置において、
   前記環境情報取得手段は、前記第１の処理の認識結果、前記第２の処理の認識結果及び前記第３の処理の認識結果の差分に基づく情報を前記環境情報として取得すること
   を特徴とする境界線認識装置。
8. コンピュータを、請求項１〜請求項７の何れか１項に記載の境界線認識装置を構成する各手段として機能させるための境界線認識プログラム。