JPH04293109A - 走行レーン追跡装置と走行レーン逸脱警報装置と自律走行制御装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両の走行レーン内で
の位置や走行レーンに対する傾きを監視するために用い
られる走行レーン追跡装置、車両用に用いられる走行レ
ーン逸脱警報装置および自律走行制御装置に関する。

【０００２】

【従来の技術】従来、この種の走行レーン追跡装置とし
ては、特開昭６２−１５５１４０号公報に記載されてい
るように、ビデオカメラから車両前方の道路画像を取り
込み、画像処理を行なうことによって路面の状態を監視
する装置において、車両の速度およびハンドルの操舵角
を用いて道路画像内の処理領域を設定するようにしてい
た。

【０００３】また、走行レーン逸脱警報装置としては、
特開昭６３−２１４９００号公報に記載されているよう
に、リニアイメージセンサからの輝度情報を用いて路面
上の白線を検出し、検出された白線を用いて走行レーン
内での車両の位置を認識し、車両の進行方向に異常が生
じた場合にドライバーに警報を与えるようにしていた。

【０００４】さらに、自律走行制御装置としては、特開
平２−４８７０４号公報に記載されているように、ビデ
オカメラから得た道路画像を画像処理し、その結果とし
て認識した走行レーンの領域を実世界系の座標に変換し
た結果を用いて経路の設定を行うようにしていた。

【０００５】

【発明が解決しようとする課題】このような従来の走行
レーン認識装置では、処理領域が路面のどの部分に設定
されても良かったが、走行レーンの認識を行なうために
は路面に表示された白線を含む領域が処理領域として設
定されなければならない。ところが、ハンドルの操舵角
は車両の進行方向、あるいは走行レーンの向きとは必ず
しも一致しないため、適切に白線を処理領域内にとどめ
ておくことが困難であるという問題を有していた。

【０００６】また、従来の走行レーン逸脱警報装置では
、路面に表示された白線を部分的にしか認識していない
ため、雑音成分の影響による誤認識の可能性が大きく、
必ずしも適切な警報が行われるわけではなかった。

【０００７】さらに、従来の自律走行制御装置では、画
像内で求めた走行レーンの領域を実世界座標系に変換し
、走行可能な経路を設定しているが、非常に多くの処理
時間を要するだけでなく複雑な画像に対してはうまく変
換が行えないなどの困難さがあった。

【０００８】本発明は以上のような課題を解決するもの
で、認識された走行レーンを用いて道路画像内の処理領
域を設定し、安定した白線検出を行い走行レーンの追跡
が可能な走行レーン追跡装置を提供することを第１の目
的としている。

【０００９】また、追跡された走行レーンを監視するこ
とにより安定して車両の走行レーン内での位置を認識し
、車両が走行レーンを逸脱しそうな場合にはドライバー
に適切な警報を与え、誤認識率の低い走行レーン逸脱警
報装置を提供することを第２の目的としている。

【００１０】さらに、認識された走行レーンから車両の
走行レーンに対する傾きと走行レーン内での位置を求め
、それらの値を用いてステアリングの制御を行わせるこ
とにより、座標変換を用いずに処理速度を向上させた自
律走行制御装置を提供することを第３の目的としている
。

【００１１】

【課題を解決するための手段】本発明は上記第１の目的
を達成するために、車両に装着され車両前方の道路を撮
像するビデオカメラと、前記ビデオカメラから取り込ま
れた道路画像に対して画像処理を行なう画像処理手段と
、前記画像処理手段が処理を行なう画像内の領域を設定
する処理領域設定手段と、前記画像処理手段の処理結果
を用いて走行レーンの認識を行なう走行レーン認識手段
とを備え、前記処理領域設定手段が前記走行レーン認識
手段のレーン認識結果に基づいて処理領域を設定するよ
うにしたことを第１の課題解決手段としている。

【００１２】また、第２の目的を達成するために、上記
第１の課題解決手段の走行レーン追跡装置から出力され
る走行レーンの認識結果を用いて車両の走行レーン内で
の位置を認識する車両位置認識手段と、前記車両位置認
識手段によって認識された車両のレーン内での位置から
車両のレーン逸脱の危険性を判断するレーン逸脱判断手
段と、前記レーン逸脱判断手段が車両が走行レーンから
逸脱する危険性があると判断した場合にドライバーに対
して警報を与える警報手段とを備えたことを第２の課題
解決手段としている。

【００１３】さらに、第３の目的を達成するために、上
記第１の課題解決手段の走行レーン追跡装置から出力さ
れる走行レーンの認識結果を用いて車両の走行レーンに
対する傾きを検出する車両傾き検出手段と、前記車両傾
き検出手段によって検出された車両の走行レーンに対す
る傾きおよび前記走行レーン逸脱警報装置における車両
位置認識手段の出力として得られる車両のレーン内での
位置を用いてステアリングの制御値を決定するステアリ
ング制御手段とを備えたことを第３の課題解決手段とし
ている。

【００１４】

【作用】本発明は上記した第１の課題解決手段により、
走行レーンの認識結果を用いてつぎの道路画像に対する
処理領域を設定するため、走行レーン認識の指標となる
白線を適切に処理領域内にとどめておくことが可能であ
り、さらには走行レーンの追跡を安定して行なうことが
できる。

【００１５】また、第２の課題解決手段により、走行レ
ーン追跡装置による走行レーンの認識結果を用いて車両
の走行状態を監視するため、路上の白線以外の物体など
の影響で誤まって警報を出す可能性を低減させることが
できる。

【００１６】さらに、第３の課題解決手段により、走行
レーン追跡装置による走行レーンの認識結果を用いてス
テアリングの制御値を決定するため、複雑な座標変換な
どを用いることなく簡潔に制御を行うことができる。

【００１７】

【実施例】以下、本発明の第１の課題解決手段の実施例
を図１を参照しながら説明する。

【００１８】図に示すように、ビデオカメラ１は車両前
方の道路を撮像し、道路画像を得るものであり、画像処
理手段２はビデオカメラ１から得られた道路画像内に設
定された処理領域に対してフィルタ処理や２値化処理な
どの画像処理を行なう。処理領域設定手段３は画像処理
手段２に対して処理すべき画像内の領域を指示する。走
行レーン認識手段４は画像処理手段２によって処理され
た道路画像の結果を用いて走行レーンを認識し、その認
識結果を処理領域設定手段３に与えるものである。

【００１９】上記構成において、図２を参照しながら動
作を説明すると、まず、装置が始動されるとステップ２
１においてビデオカメラ１から車両前方の道路画像が取
り込まれる。図３にビデオカメラ１から取り込まれた道
路画像を示している。つぎにステップ２２に進み、処理
領域設定手段３による処理領域の設定が行なわれるが、
装置が始動した直後および走行レーンが認識されなかっ
た場合には画像全体、あるいはあらかじめ設定された初
期処理領域が処理領域として設定される。本実施例にお
いては、初期処理領域として道路画像の下半分が設定さ
れているものとする。つぎにステップ２３に進み、処理
領域内のエッジ検出処理が行なわれる。エッジの検出は
ｓｏｂｅｌフィルタに代表されるエッジ検出フィルタを
用いて行なうことができ、本実施例のような道路画像に
おいては、路面と路面に表示された白線との境界がエッ
ジとして抽出される。つぎにステップ２４に進み、ステ
ップ２３で得られたエッジ画像に対して２値化処理が行
なわれる。エッジ画像の２値化は、あらかじめ設定され
た所定のしきい値を用いて各画素を０あるいは１に置き
換えることによって行なうことができ、しきい値を適切
に選ぶことにより、ステップ２３で得られたエッジ画像
から路面と白線の境界を取り出すことができる。ステッ
プ２３のエッジ検出処理およびステップ２４の２値化処
理は画像処理手段２によって行なわれる。

【００２０】図４は図３に示した道路画像に対してエッ
ジ検出処理および２値化処理を行なった結果を示してい
る。図４に破線で示した領域は設定された初期処理領域
であり、その内部に路面と白線の境界が検出された例を
示している。このとき、ビデオカメラ１の取り付け角度
を調節し、設定される処理領域が車両に十分近い路面と
なるようにすることで処理領域に前方の車両等が存在せ
ず、エッジとして路面と白線の境界のみを取り出せるよ
うにすることができる。つぎにステップ２５に進み、走
行レーンの近似処理が行なわれる。走行レーンの近似は
、たとえばハフ変換のような直線検出アルゴリズムを用
いて行なうことができる。ハフ変換は画像内の点列をパ
ラメータ空間内の曲線群に写し、パラメータ空間内で取
り出した特徴点から逆に直線を求めるアルゴリズムであ
り、本実施例の場合、２値化画像の処理領域内にある点
列をパラメータ空間に写し、パラメータ空間内で曲線の
密度が高い点を検出することによって走行レーンを示す
路面上の白線を抽出することができる。図５は図４に示
した２値化画像の処理領域内の点列に対してハフ変換を
行ない、走行レーンを直線で近似した例を示している。 カーブした道路についても、カーブを短い直線の連続と
してとらえ、近似する走行レーンの領域を車両の直前に
限定することによって車両と走行レーンの位置関係を十
分認識することができる。走行レーンの近似処理は走行
レーン認識手段４によって行なわれ、走行レーン認識手
段４はその近似結果により走行レーンと車両の位置関係
を認識する。

【００２１】ここで初期処理が終了し、制御の流れは再
びステップ２１へ戻る。ステップ２１では初期処理と同
様、車両前方の道路画像が取り込まれ、つぎにステップ
２２へ進む。ステップ２２では新しい処理領域の設定が
行なわれるが、ここでは前回のループにおけるステップ
２５で近似された走行レーンを基準として領域の設定が
行なわれる。本実施例においては、処理領域を左右３つ
ずつの矩形ウインドウとして設定することとし、各々の
ウインドウの中心が走行レーンを近似した直線上にくる
ように処理領域を設定するものとする。本実施例におい
ては、処理領域を左右３つずつの矩形ウインドウとして
設定したが、ウインドウの形状や個数については任意に
定めることができる。また、その設定位置も走行レーン
を近似した直線上に処理領域の中心を設定する必要はな
く、近似結果を利用した他の設定方法を用いても良い。

【００２２】図６は図５に示した走行レーンの近似直線
を基準としてウインドウを設定した例を示している。図
６におけるＲ１からＲ６までの矩形が設定された処理領
域を示している。以下、処理領域として設定されたウイ
ンドウ内の画像に対してステップ２３におけるエッジ検
出処理、ステップ２４における２値化処理、ステップ２
５における走行レーン近似処理が初期処理と同様の手順
で行なわれ、走行レーンの追跡が行なわれる。つぎに取
り込まれる道路画像に対しては新たに近似された走行レ
ーンを用いて処理領域が設定される。また、ステップ２
５において走行レーンの近似がうまく行なえなかった場
合には、つぎの道路画像に対して初期処理と同様の処理
領域を設定するようにし、認識率の低下を防ぐことがで
きる。

【００２３】以上説明したように本実施例によれば、走
行レーンの認識結果を用いてつぎの画像に対する処理領
域を設定するため、不要な領域の処理を行なうことなく
路面上の白線を検出することが可能であり、走行レーン
の追跡を安定して行なうことができる。

【００２４】つぎに、本発明の第２の課題解決手段の実
施例、すなわち、走行レーン追跡装置によって認識され
る走行レーンを用いて走行レーン内での車両の位置を認
識し、車両がレーンを逸脱する危険性がある場合にドラ
イバーに警報を与える走行レーン逸脱警報装置の実施例
を図７を参照しながら説明する。

【００２５】図に示すように、走行レーン追跡装置５は
上記実施例で説明したものであり、車両位置認識手段６
は走行レーン追跡装置５から出力される走行レーンの認
識結果を用いて走行レーン内での車両の位置を認識する
。レーン逸脱判断手段７は車両がレーンを逸脱する危険
性を判断する。警報手段８は車両がレーンを逸脱する危
険性があると判断された場合にドライバーに対して警報
を与えるものである。

【００２６】上記構成において図８を参照しながら動作
を説明すると、まず、ステップ２６において、走行レー
ン追跡装置５によって走行レーンの認識処理が行われる
。認識された走行レーンは図５に示したような直線近似
として出力される。つぎにステップ２７に進み、車両位
置認識手段６による車両位置の認識処理が行われる。 図９および図１０は車両位置の認識方法を説明する図で
あり、図９は車両が走行レーンの中央を走行している場
合に走行レーン追跡装置５から出力された認識結果であ
り、図１０は車両が走行レーンの中央から左に片寄って
走行している場合の認識結果である。θｌ、θｒはそれ
ぞれ画像底辺の中央Ｏから認識されたレーンを示す直線
に下ろした垂線が画像底辺となす角度であり、この角度
を用いて車両位置認識手段６は車両の走行レーン内での
位置を認識する。

【００２７】図９に示したように、車両がレーンの中央
を走行している場合にはθｌ＝θｒの関係が成立ち、図
１０に示したように車両がレーンの中央から左に寄った
場合にはθｌ＜θｒ、逆に右に寄った場合にはθｌ＞θ
ｒの関係が検出される。そこで、車両のレーン内での位
置を表すパラメータとしてθｌ−θｒを用いることがで
きる。つぎにステップ２８に進み、レーン逸脱判断手段
７による車両のレーン逸脱の危険性判断処理が行われる
。レーン逸脱の危険性はステップ２７で検出されたパラ
メータθｌ−θｒを用いて行うことができる。θｌ−θ
ｒは車両が走行レーンの中央を走行している場合には０
となるので、θｌ−θｒが０からどの程度離れているか
を監視し、θｌ−θｒと０との差が予め定めたしきい値
を越えた場合にステップ２９においてドライバーに対し
て警報を与える。ここで、θｌ−θｒの符号から車両が
左右のどちら側に寄っているかが判断できるため、その
情報をドライバーに与えるようにすることもできる。ま
た、方向指示器の操作を監視することにより、ドライバ
ーの意志で走行レーンをはみ出そうとしている場合には
警報を与えないようにし、過剰な警報を抑えることもで
きる。

【００２８】以上説明したように本実施例によれば、走
行レーン追跡装置から出力された走行レーンの認識結果
を用いて車両の走行レーン内での位置を認識するため、
路面上の物体や雑音の影響を受けにくい位置認識が可能
である。

【００２９】つぎに、本発明の第３の課題解決手段の実
施例、すなわち、走行レーン追跡装置によって認識され
る走行レーンおよび走行レーン逸脱警報装置によって認
識される車両の走行レーン内での位置を用いてステアリ
ング制御を行う自律走行制御装置の実施例について図１
１を参照しながら説明する。なお、上記実施例と同じ構
成のものは同一符号を付して説明を省略する。

【００３０】図に示すように、走行レーン逸脱警報装置
９は上記第２の課題解決手段の実施例で説明したもので
あり、車両傾き検出手段１０は走行レーン追跡装置５か
ら出力される走行レーンの認識結果から車両の走行レー
ンに対する傾きを検出するものである。ステアリング制
御手段１１は車両傾き検出手段１０によって検出された
車両の走行レーンに対する傾きと走行レーン逸脱警報装
置９における車両の走行レーン内での位置を示すパラメ
ータθｌ−θｒとを用いてステアリングの制御値を決定
する。

【００３１】上記構成において、図１２を参照しながら
動作を説明すると、まず、ステップ３０において走行レ
ーン追跡装置５によって走行レーンの認識処理が行われ
る。図１３は直線近似として出力された走行レーンの認
識結果を示す図であり、Ｖｐで示した２本の直線の交点
は画像内の無限遠点に対応する。つぎにステップ３１に
進み、車両傾き検出手段１０による車両の走行レーンに
対する傾き検出処理が行われる。車両の走行レーンに対
する傾きは図１３に示した点Ｖｐの画像内での位置から
検出することができる。ビデオカメラ１の取り付け角度
が路面に対して一定であれば点Ｖｐは画像内で常に同じ
高さに存在するため、図１４に示したようにＶｐの監視
領域をＶＬとして設定することができる。ここで、坂道
などを走行する場合のビデオカメラ１と路面の角度の変
化を考慮し、幅を持たせてＶＬを設定することもできる
。

【００３２】図１４に示した点ＶＬ０はＶＬの画像内で
の中点であり、車両が走行レーンに対して傾きを持たな
い場合にはＶｐはこの点の付近に検出される。そこでＶ
ｐのＶＬ０からのずれを車両の走行レーンに対する傾き
のパラメータとして用いることが可能である。つぎにス
テップ３２に進み、ステアリング制御手段１１によるス
テアリング制御が行われる。ここでのステアリング制御
はステップ３１で検出されたＶｐのＶＬ０からのずれに
比例させてステアリングの角度を決定し、その値をステ
アリング駆動部に与えることで行われる。つぎにステッ
プ３３に進み、走行レーン逸脱警報装置９による車両の
走行レーン内での位置認識が行われる。前記の実施例に
述べたように、車両の走行レーン内での位置はθｌ−θ
ｒで表されるので、ステップ３２と同様、この値に比例
させてステアリングの角度を決定し、ステアリングの制
御を行わせることができる。本実施例においては、車両
の走行レーン内での傾きを優先させて処理を行ったが、
車両の走行レーン内での位置に対する処理をこれと並列
させて行わせてもよい。

【００３３】以上説明したように本実施例によれば、走
行レーン追跡装置から出力された走行レーンの認識結果
から検出される車両の走行レーンに対する傾きと、走行
レーン逸脱警報装置によって認識される車両の走行レー
ン内での位置を用いることにより、座標変換などの処理
を行わずに車両を自動的に走行レーンに沿って走行させ
ることが可能である。

【００３４】

【発明の効果】以上の実施例から明らかなように本発明
によれば、車両に装着され車両前方の道路を撮像するビ
デオカメラと、前記ビデオカメラから取り込まれた道路
画像に対して画像処理を行なう画像処理手段と、前記画
像処理手段が処理を行なう画像内の領域を設定する処理
領域設定手段と、前記画像処理手段の処理結果を用いて
走行レーンの認識を行なう走行レーン認識手段とを備え
、前記処理領域設定手段が前記走行レーン認識手段のレ
ーン認識結果に基づいて処理領域を設定すようにしたか
ら、認識された走行レーンを用いて道路画像内の処理領
域を設定するため、安定した白線検出を行なうことがで
き、走行レーンの追跡が可能である。

【００３５】また、上記走行レーン追跡装置から出力さ
れる走行レーンの認識結果を用いて車両の走行レーン内
での位置を認識する車両位置認識手段と、前記車両位置
認識手段によって認識された車両のレーン内での位置か
ら車両のレーン逸脱の危険性を判断するレーン逸脱判断
手段と、前記レーン逸脱判断手段が車両が走行レーンか
ら逸脱する危険性があると判断した場合にドライバーに
対して警報を与える警報手段とを備えたから、追跡され
た走行レーンを監視することにより、安定して車両の走
行レーン内での位置を認識し、車両が走行レーンを逸脱
しそうな場合にはドライバーに適切な警報を与え、注意
を促すことができる。

【００３６】さらに、上記走行レーン追跡装置から出力
される走行レーンの認識結果を用いて車両の走行レーン
に対する傾きを検出する車両傾き検出手段と、前記車両
傾き検出手段によって検出された車両の走行レーンに対
する傾きおよび前記走行レーン逸脱警報装置における車
両位置認識手段の出力として得られる車両のレーン内で
の位置を用いてステアリングの制御値を決定するステア
リング制御手段とを備えたから、認識された走行レーン
から車両の走行レーンに対する傾きと、走行レーン内で
の位置を求め、それらの値を用いてステアリングの制御
を行わせることにより、簡単な処理で車両を自動的にレ
ーンに沿って走行させることが可能である。

【図面の簡単な説明】

【図１】本発明の一実施例の走行レーン追跡装置の基本
構成を示すブロック図

【図２】同走行レーン追跡装置の動作フローチャート

【
図３】同走行レーン追跡装置のビデオカメラから取り込
まれた道路画像を示す図

【図４】同走行レーン追跡装置の道路画像に対して画像
処理を行なった結果を示す図

【図５】同走行レーン追跡装置の近似された走行レーン
を示す図

【図６】同走行レーン追跡装置の近似された走行レーン
を基準として設定された処理領域を示す図

【図７】本発
明の一実施例の走行レーン逸脱警報装置の基本構成を示
すブロック図

【図８】同走行レーン逸脱警報装置の動作フローチャー
ト

【図９】同走行レーン逸脱警報装置の車両がレーンの中
央を走行中に得られる走行レーンの認識結果を示す図

【
図１０】同走行レーン逸脱警報装置の車両がレーンの左
寄りを走行中に得られる走行レーンの認識結果を示す図

【図１１】本発明の一実施例の自律走行制御装置の基本
構成を示すブロック図

【図１２】同自律走行制御装置の動作フローチャート

【
図１３】同自律走行制御装置の車両の走行レーンに対す
る傾き検出の方法を説明する図

【図１４】同自律走行制御装置の画像内に設定された車
両の傾き監視領域を示す図

【符号の説明】

１　　ビデオカメラ ２　　画像処理手段 ３　　処理領域設定手段 ４　　走行レーン認識手段

Claims (3)

【特許請求の範囲】
1. 【請求項１】　　車両に装着され車両前方の道路を撮像
   するビデオカメラと、前記ビデオカメラから取り込まれ
   た道路画像に対して画像処理を行なう画像処理手段と、
   前記画像処理手段が処理を行なう画像内の領域を設定す
   る処理領域設定手段と、前記画像処理手段の処理結果を
   用いて走行レーンの認識を行なう走行レーン認識手段と
   を備え、前記処理領域設定手段が前記走行レーン認識手
   段のレーン認識結果に基づいて処理領域を設定するよう
   にしてなる走行レーン追跡装置。
2. 【請求項２】　　請求項１記載の走行レーン追跡装置か
   ら出力される走行レーンの認識結果を用いて車両の走行
   レーン内での位置を認識する車両位置認識手段と、前記
   車両位置認識手段によって認識された車両のレーン内で
   の位置から車両のレーン逸脱の危険性を判断するレーン
   逸脱判断手段と、前記レーン逸脱判断手段が車両が走行
   レーンから逸脱する危険性があると判断した場合にドラ
   イバーに対して警報を与える警報手段とを備えた走行レ
   ーン逸脱警報装置。
3. 【請求項３】　　請求項１記載の走行レーン追跡装置か
   ら出力される走行レーンの認識結果を用いて車両の走行
   レーンに対する傾きを検出する車両傾き検出手段と、前
   記車両傾き検出手段によって検出された車両の走行レー
   ンに対する傾きおよび請求項２記載の走行レーン逸脱警
   報装置における車両位置認識手段の出力として得られる
   車両のレーン内での位置を用いてステアリングの制御値
   を決定するステアリング制御手段とを備えた自律走行制
   御装置。