JP5321497B2 - 白線認識装置 - Google Patents

Description

本発明は白線認識装置に関する。

従来、自車両の前方の道路を含む領域の画像をカメラで撮影し、その画像において道路の白線を認識する白線認識装置が知られている（特許文献１参照）。この白線認識装置では、所定時間ごとに、自車両の前方の道路を含む領域の画像を撮影し、撮影された画像の１フレームごとに、道路における白線のエッジを抽出する。さらに、抽出された白線のエッジを、１フレームごとに順次記録し、白線のエッジの履歴を作成する。そして、その白線のエッジの履歴を用いて、白線を認識する。

特開２００５−１５７６７０号公報

走行中の車両には、道路の段差、障害物、車両の加減速等により、ピッチングが生じることがある。ピッチングが生じると、図１１に示すように、実際の道路は直線であっても、カメラで撮影した画像内における白線のエッジは内側に入り込む。なお、図１１において白線の外側に引かれた直線は、ピッチングがない場合に認識される白線と一致する直線である。そして、図１２に示すように、内側に入り込むエッジを記録した履歴に基づき、白線を認識すると、その白線の認識が不正確になってしまう。

本発明は以上の点に鑑みなされたものであり、自車両にピッチングが生じても白線を正確に認識できる白線認識装置を提供することを目的とする。

本発明の白線認識装置は、自車両の前方の道路を含む領域の画像を撮影し、その画像の１フレームごとに、道路における白線のエッジを抽出する。さらに、抽出された白線のエッジを、１フレームごとに順次記録し、白線のエッジの履歴を作成する。そして、その白線のエッジの履歴を用いて、白線を認識する。よって、本発明の白線認識装置は、道路の白線を正確に認識することができる。

特に本発明の白線認識装置は、自車両のピッチングを検出するピッチング検出手段を備え、そのピッチング検出手段によりピッチングが検出されたときに撮影されたフレームにおける白線のエッジは、履歴に含めない。そして、ピッチングが検出されたときに撮影されたフレームにおける白線のエッジが含まれない履歴を用いて、白線を認識する。そのことにより、本発明の白線認識装置では、履歴がピッチングの影響を受けないので、ピッチングが発生した場合でも、白線を正確に認識することができる。

「ピッチングが検出されたときに撮影されたフレーム」とは、撮影された画像に基づいてピッチング検出手段がピッチングを検出する場合は、そのピッチング検出手段がピッチングを検出したフレームである。また、その他の手段によりピッチングを検出する場合は、例えば、ピッチングを検出したタイミングに最も近いタイミングで撮影されたフレームである。「ピッチングが検出されたときに撮影されたフレーム」は単数であってもよいし、複数であってもよい。

前記ピッチング検出手段としては、例えば、画像の１フレームごとに、左右それぞれの白線のエッジに関する一対の近似直線を算出し、その一対の近似直線におけるＦＯＥ（消失点）の位置に基づき、ピッチングを検出するものが挙げられる。例えば、自車両から見て、あるフレームにおいて算出したＦＯＥの位置（特に上下方向における位置）が、所定の基準（例えば、予め設定された範囲）から外れている場合に、ピッチングを検出したと判断することができる。また、あるフレームにおいて算出したＦＯＥの位置と、その前のフレーム（複数のフレームであってもよい）において算出したＦＯＥとを比べて、所定量以上変動している場合に、ピッチングを検出したと判断することができる。

なお、ピッチングの挙動のうち、自車両が前下がりになる挙動を示す場合、自車両から見て、ＦＯＥは下方に移動する。一方、自車両が前上がりになる挙動を示す場合、自車両から見て、ＦＯＥは上方に移動する。上記のピッチング検出手段によれば、Ｇセンサ、ダンパ圧力センサ、エアサス圧力センサ等を備えなくても、ピッチングを検出することができる。

前記履歴作成手段は、例えば、ピッチングが検出されたときに撮影されたフレームにおける白線のエッジに代えて、その１回前に撮影されたフレームにおける白線のエッジを記録するものとすることができる。こうすることにより、履歴に対するピッチングの影響を排除することができる。また、１回前に撮影されたフレームを用いることにより、代わりに記録したエッジが、実際のエッジから大きくずれてしまうことがない。

白線認識装置１の構成を表すブロック図である。 白線認識装置１が実行する白線認識処理を表すフローチャートである。 エッジ抽出の方法を表す説明図であって、（ａ）は１フレームの画像データの例を表す写真であり、（ｂ）は道路において抽出されたエッジを表す鳥瞰図である。 エッジ抽出の方法を表す説明図である。 白線認識の方法を表す説明図である。 ＦＯＥ推定の方法を表す説明図であり、（ａ）は通常時を表し、（ｂ）はピッチングが生じている場合を表す。 履歴の更新を表す模式図であり（ａ）は更新前の履歴を表し、（ｂ）はピッチングが発生していない場合における履歴の更新を表し、（ｃ）はピッチングが発生した場合における履歴の更新を表す。 履歴の更新の例を表す鳥瞰図であり、（ａ）はピッチングが発生していない場合における履歴の更新を表し、（ｂ）はピッチングが発生した場合における履歴の更新を表す。 白線認識装置１が奏する効果を表す説明図である。 白線認識装置１が奏する効果を表す画像データである。 従来の白線認識装置においてピッチングが発生した場合に生じるエッジ抽出のずれを表す説明図である。 従来の白線認識装置においてピッチングが発生した場合に生じる白線認識のずれを表す説明図である。

１．白線認識装置１の構成
白線認識装置１の構成を図１のブロック図に基づき説明する。白線認識装置１は、車両に搭載される。なお、以下では、白線認識装置１が搭載される車両を自車両とする。白線認識装置１は、カメラ（撮影手段）３、電源装置５、画像ＥＣＵ７及び警報装置９を備える。

上記カメラ３はＣＣＤカメラであり、自車両の前方の画像を撮影できる位置に設けられる。カメラ３で撮影する画像の範囲は、自車両の前方の道路を含めることができる範囲である。カメラ３は、画像ＥＣＵ７からの指示に応じて、シャッタースピード、フレームレート、画像ＥＣＵ７へ出力するデジタル信号のゲイン等を調整することができる。また、カメラ３は、撮影した画像の画像データを画像ＥＣＵ７へ１フレームごとに出力する。

上記電源装置５は、カメラ３、画像ＥＣＵ７、及び警報装置９へ電源を供給する。
上記画像ＥＣＵ７は、マイクロコンピュータ等によって構成されるものであり、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、及びこれらを接続するバス（いずれも図示略）等を備えている。画像ＥＣＵ７は、カメラ３から入力する画像データに基づき、画像の明るさが所定範囲に収まるように、カメラ３のシャッタースピード、フレームレート、デジタル信号のゲイン等を制御する。また、画像ＥＣＵ７は、カメラ３から入力する画像データを用いて、後述する白線認識処理を実行する。

さらに、画像ＥＣＵ７は、白線認識処理により認識した白線の位置から、道路における自車両の位置（白線に対し、どれだけ左右方向に変位しているか）を算出し、自車両が車線を逸脱するか否かを判定する。逸脱すると判定した場合は、警報装置９に警報信号を出力する。画像ＥＣＵ７は、エッジ抽出手段、履歴作成手段、白線認識手段、ピッチング検出手段として機能する。

上記警報装置９は、画像ＥＣＵ７から警報信号を受信した場合、音声、又は図示しない表示装置における警報画像により警報を行う。
２．白線認識装置１が実行する白線認識処理
図２のフローチャート及び図３〜図８の説明図に基づき、白線認識装置１（特に画像ＥＣＵ７）が実行する白線認識処理を説明する。図２に示す白線認識処理は、自車両のイグニッションスイッチがＯＮにされると開始される。

図２のステップ１０では、カメラ３により、自車両の前方の画像を撮影し、その画像データの１フレームを画像ＥＣＵ７に取り込む。撮影する画像の範囲は、自車両の前方の道路を含めることができる範囲である。

ステップ２０では、前記ステップ１０で取り込んだ１フレームの画像データにおける道路の輝度を推定し、その道路の輝度に基づき、エッジ閾値を算出する。具体的には、以下のように行う。

画像データにおいて、自車両の前方の道路に対応する領域（以下、道路対応領域とする）の輝度を画素ごとに取得する。道路対応領域は、例えば、図３（ａ）に示す画像データにおいて、長方形の枠で囲まれた領域である。そして、その道路対応領域の全画素を、輝度が高い順に並べる。そして、輝度の順位が、最高から所定の順位までの画素を除外する。これらの画素は、白線、ノイズ等により、道路（白線を除く部分）の実際の輝度より高い輝度となっている可能性があるためである。よって、除外されずに残った画素は、道路のうち、白線やノイズを除く部分の画素である。道路対応領域の画素のうち、除外されずに残った画素の輝度についての平均値を算出し、これを道路（白線を除く部分）の輝度とする。

画像ＥＣＵ７は、予め、道路の輝度と、エッジ閾値との対応マップを備えている。この対応マップに、上記のように推定した道路の輝度をあてはめて算出されたエッジ閾値を設定する。

ステップ３０では、直前の前記ステップ１０で取り込んだ１フレームの画像データについて、道路上の白線のエッジを抽出する。なお、白線認識処理は、図２に示すように、繰り返し行われるので、ステップ１０の処理も繰り返し実行される。上記の「直前」とは、繰り返し実行されるステップ１０の処理のうちで、最も直近に実行されたものを意味する。「直前」の意味は以下でも同様である。

白線のエッジを抽出する処理は、具体的には、以下のように行う。画像データの道路対応領域において、水平方向の走査線を設定する。その走査線上に位置する画素の輝度の微分曲線を算出する。例えば、走査線上に位置する画素の輝度が図４（ａ）に示すものであった場合、図４（ｂ）に示す輝度の微分曲線が得られる。そしてさらに、図４（ｃ）に示すように、微分値の絶対値をとる。なお、図４（ａ）において輝度が高くなっている部分は白線であり、それ以外の部分は、道路（白線の部分を除く）である。図４（ｃ）に示すように、微分値の絶対値を表す曲線に前記ステップ２０で設定したエッジ閾値をあてはめ、それらの交点を定める。走査線上におけるこの交点の位置を白線のエッジとして抽出する。

上記の処理を、画像データの道路対応領域において複数設定する走査線のそれぞれについて行う。その結果、自車両の進行方向に沿って、複数のエッジが抽出される。図３（ｂ）の鳥瞰図に、図３（ａ）に示す画像データにおいて、抽出された複数のエッジの例を示す。なお、図３（ｂ）において、「今回フレームのエッジ」と記載された範囲は、直前のステップ３０の処理において抽出されたエッジの範囲である。一方、図３（ｂ）において、「履歴に記憶されたエッジ」と記載された範囲は、前回以前のステップ３０の処理において抽出されて順次記憶されたエッジの範囲であり、後述する履歴に記憶されたエッジの範囲である。

ステップ４０では、図５に示すように、直前の前記ステップ３０で抽出したエッジと履歴に記憶されたエッジとを通る直線（近似直線）をフィッティングにより算出する。この直線は、エッジを最も多く通る直線であり、白線に対応する。直線の算出は、自車両の左側の白線と、右側の白線とのそれぞれについて行う。

ステップ５０ではＦＯＥ推定を行う。具体的には以下のように行う。図６に示すように、直前の前記ステップ３０で抽出したエッジ（図６では今回フレームのエッジ）のみを用いて、直線をフィッティングにより算出する。フィッティングの方法は前記ステップ４０と同様であり、自車両の左側の白線に対応する直線と、右側の白線に対応する直線とから成る一対の直線をそれぞれ算出する。そして、自車両から見たときの、一対の直線のＦＯＥ（消失点）の位置を計算により推定する。

図６（ａ）は通常時（今回フレームにおいてピッチングが生じていない時）におけるエッジ及び直線を表す。このとき、今回フレームのエッジ及び直線は内側に入り込んでいないので、自車両から見たＦＯＥの位置は、相対的に高い位置になる。一方、図６（ｂ）は、今回フレームにおいてピッチングが生じた時におけるエッジ及び直線を表す。このとき、今回フレームのエッジ及び直線は内側に入り込んでいるので、自車両から見たＦＯＥの位置は、相対的に低い位置になる。すなわち、ピッチングが生じたときのフレームにおけるＦＯＥの位置は、通常時のフレームにおけるＦＯＥの位置より低くなる。

ステップ６０では、直前の前記ステップ５０で推定したＦＯＥの位置と、その１回前に実行したステップ５０で推定したＦＯＥの位置とを対比する。なお、白線認識処理は、図２に示すように、繰り返し行われるので、ステップ５０の処理も繰り返し実行される。上記の「１回前」とは、繰り返し実行されるステップ５０の処理のうちで、「直前」の１回前に実行されたものを意味する。

直前の前記ステップ５０で推定したＦＯＥの位置の方が、その１回前のステップ５０で推定したＦＯＥの位置よりも、所定値以上低ければ、ピッチングが発生したと判断し、それ以外の場合は、ピッチングが発生していないと判断する。なお、このステップ６０の処理を初めて実行する場合は、１回前のステップ５０で推定したＦＯＥが存在しないが、この場合は、ピッチングが発生していないと判断する。ピッチングが発生していないと判断した場合はステップ７０に進み、ピッチングが発生したと判断した場合はステップ８０に進む。

ステップ７０では、履歴を更新する。ここで、履歴とは、前記ステップ３０で抽出されたエッジを、画像データの１フレームごとに（ステップ３０を１回実行するごとに）順次記録したものである。図７（ａ）は、履歴を模式的に表す。フレーム３、４、５、６は、それぞれ、画像データの１フレーム分のエッジを表す。履歴に記録された順序は、古い方から、フレーム３、４、５、６の順である。フレーム３、４、５、６は、それぞれ、自車両が走行しているときに取り込まれるから、自車両の進行方向に関し、フレーム３は最も後方を撮影したフレームであり、フレーム６は最も前方を撮影したフレームである。履歴におけるフレーム３、４、５、６の間隔（図７（ａ）では上下方向の間隔）は、全体として道路の鳥瞰図（例えば図６（ａ）、（ｂ））となるように設定される。

本ステップ７０における履歴の更新を図７及び図８を用いて説明する。履歴が図７（ａ）に示す状態において、新たにフレーム７のエッジが抽出されたとする。このフレーム７は、ピッチングが生じていないフレームである。図７（ｂ）に示すように、フレーム７のエッジが、最も新しいフレームのエッジとして履歴に追加される。そして、最も古いフレーム３のエッジは削除される。フレーム４、５、６の位置は１つずつ、記録の順番が古い方へ（自車両の後方に対応する方向へ）ずれる。図８（ａ）に、本ステップ７０における履歴の更新の例を示す。図８（ａ）において、上方が自車両の進行方向であり、長方形の枠で囲まれた範囲が履歴の範囲である。

ステップ８０では、履歴を更新する。本ステップ８０における履歴の更新を、図７及び図８を用いて説明する。履歴が図７（ａ）に示す状態において、新たにフレーム７のエッジが抽出されたとする。このフレーム７は、ピッチングが生じているフレームである。図７（ｃ）に示すように、フレーム７のエッジに代えて、その１回前に撮影されたフレーム６のエッジが、最も新しいフレームのエッジの位置に記憶される。そして、最も古いフレーム３のエッジは削除される。フレーム４、５、６の位置は１つずつ、記録の順番が古い方へ（自車両の後方に対応する方向へ）ずれる。図８（ｂ）に、本ステップ８０における履歴の更新の例を示す。図８（ｂ）において、上方が自車両の進行方向であり、長方形の枠で囲まれた範囲が履歴の範囲である。

３．白線認識装置１が奏する効果
白線認識装置１は、ピッチングが発生したフレームのエッジを履歴に含めない。そのため、図９に示すように、ピッチングが発生した場合でも、履歴に記憶されたエッジは内側に入り込んでいない。白線認識装置１は、そのような履歴を用いて白線を認識するので、図９及び図１０に示すように、ピッチングが発生した場合でも、白線を正確に認識することができる。

なお、前記ステップ４０では、上述したように、直前のステップ３０で抽出したエッジ（ピッチングの影響を受けている可能性のあるエッジ）も用いて白線を認識するが、複数のフレームのエッジを記録した履歴に比べれば白線の認識に与える影響は小さいため、仮に、直前のステップ３０において、ピッチングが発生したときのフレームからエッジを抽出したとしても、白線の認識が大きくずれてしまうことはない。

尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、他の方法でピッチングを検出してもよい。例えば、自車両に搭載されたＧセンサ、ダンパ圧力センサ、エアサス圧力センサ等によりピッチングを検出してもよい。
また、各フレームの画像において、一対の互いに平行な直線（例えばガードレール）のＦＯＥを算出し、そのＦＯＥのフレーム間における上下動によりピッチングを検出してもよい。

また、前記ステップ４０では、履歴に記憶されたエッジのみを用いて白線を認識してもよい。

１・・・白線認識装置、３・・・カメラ、５・・・電源装置、７・・・画像ＥＣＵ、
９・・・警報装置

Claims (2)

1. 自車両の前方の道路を含む領域の画像を撮影する撮影手段と、
   前記撮影手段により撮影される画像の１フレームごとに、道路における白線のエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段により抽出された前記白線のエッジを、前記１フレームごとに順次記録し、前記白線のエッジの履歴を作成する履歴作成手段と、
   前記白線のエッジの履歴を用いて、前記白線を認識する白線認識手段と、
   前記自車両のピッチングを検出するピッチング検出手段と、
   を備え、
   前記履歴作成手段は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジは、前記履歴に含めず、
   前記白線認識手段は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジが含まれない前記履歴を用いて、前記白線を認識し、
   前記ピッチング検出手段は、前記１フレームごとに、前記白線のエッジに関する一対の近似直線を算出し、その一対の近似直線における消失点の位置に基づき、前記ピッチングを検出すること
   を特徴とする白線認識装置。
2. 前記履歴作成手段は、前記ピッチングが検出されたときに撮影されたフレームにおける前記白線のエッジに代えて、その１回前に撮影されたフレームにおける前記白線のエッジを記録することを特徴とする請求項１記載の白線認識装置。