JPH03113678A - 走行路認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は走行路を撮像して得た画像情報により、その形
状を認識するための走行路認識方法に関する。

〔従来の技術〕

走行路（道路）において車両（自動車）を自動走行させ
るためには、走行路の形状をリアルタイムで認識するこ
とが必要になる。このような走行路認識方法としては、
例えば車両前方の走行路をＴＶカメラ等で撮像し、得ら
れたデータ（画像面）を画像処理することが考えられる
。

第１０図は判別すべき走行路の画像面を示している。同
図において、ＨＬは地平線に対応し、ＬＬおよびＲＬは
左側および右側走行路端に対応している。また、ＳＲは
走行路の合流点である。走行路の形状には、同図（ａ）
のような直線路の他に、屈曲路（同図（ｂ）図示）、分
岐路（同図（ｃ）図示）、本線からの分流路（同図（ｄ
）図示）および本線への合流路（同図（ｅ）、（ｆ）図
示）などがある。

〔発明が解決しようとする課題〕 このような多種多様の走行路の形状を、認識することは
容易でない。

例えば画像面の下端部（走行路の手前側）で走行路の端
部ＬＬ、ＲＬに対応するエツジを抽出し、この抽出結果
にもとづいて走行路端ＬＬ、ＲＬを画像面の上方（走行
路の前方側）に向って追跡する方法が考えられる。しか
しながら、この手法では、例えば第１０図（ｌり、　　
（ｆ）に示すような合流路を認識するのが極めて困難で
ある。

そこで本発明は、走行路の多種多様の形状を、精度よく
かつ簡単に認識できる走行路認識方法を提供することを
目的とする。

〔課題を解決するための手段〕

本発明の第１の態様に係る走行路認識方法は、走行路を
撮像して得た画像情報からなる二次元の画像面上におけ
る走行路認識方法において、画像面上で走行路の所定部
分を探索し追跡する少なくとも１つのウィンドウを設定
する第１のステップと、このウィンドウで走行路の所定
部分の途切れを検出したときに当該ウィンドウによる探
索範囲をその周辺に拡張して当該途切れの近傍の所定部
分を検出する第２のステップとを備えることを特徴とす
る。

本発明の第２の態様に係る走行路認識方法は、走行路を
撮像して得た画像情報からなる２次元の画像面上で、走
行路の端部を認識する走行路認識方法において、画像面
で走行路の端部を探索するウィンドウを設定する第１の
ステップと、このウィンドウで端部を探索しながら、当
該端部の延びる方向に次々と新しいウィンドウを設定し
て端部を追跡探索する第２のステップと、ウィンドウで
走行路端の途切れを検出したときは当該走行路端の延び
る方向または前方側の方向に新しいウィンドウを設定し
、上記方向において別の走行路端を探索する第３のステ
ップと、走行路端が途切れた点の近傍で別の走行路端を
検出したときは、当該別の走行路端を追跡探索する第４
のステップとを備えることを特徴とする。

〔作用〕

本発明の第１の態様の走行路認識方法によれば、ウィン
ドウという局所領域が処理対象となるので、処理データ
が少なくなる。また、ウィンドウの探索範囲を拡張して
途切れに続くべき走行路を検出することで、走行路の合
流等の形状を容易に認識できる。

また、本発明の第２の態様の走行路認識方法によれば、
ウィンドウを設定して走行路端を探索するので、処理対
象のデータが少なくなって高速化が達成される。そして
、このようなウィンドウ（小領域）の処理を積み重ねて
全体の走行路形状を認識するので、精度の高い走行路認
識ができる。

また、ウィンドウで走行路端の途切れを発見したらウィ
ンドウを仮想的に設定して探索処理を実行し、別の走行
路端の発見を行なうようにするので、走行路形状の種々
の合流等のバリエーションを容易に認識できる。

〔実施例〕

以下、添付図面を参照して本発明の実施例を説明する。

第１図に要部が示される実施例の走行路認識方法は、第
２図に示されるシステムにおいて、第３図ないし第９図
の一連の処理が実行される中で適用される。そこで、こ
れらを順次に説明する。

第２図は実施例方法が適用されるシステムの構成図であ
る。同図において、カメラ１１は車両前方の走行路を撮
像し、アナログ画像データを出力するもので、その出力
はＡ／Ｄ変換ボード１２で２５６階調のディジタル画像
データに変換される。

そして、５ｏｂｅ　ｌボード１３で空間微分がなされ、
画像面の濃度が４急激に変化する場所（エツジ）が検出
される。５ｏｂｅｌボード１３の処理結果は、多値化メ
モリ１４に２５６階調で格納される。

次に、この多値化メモリ１４の格納データは２値化ボー
ド１５に送られ、２値データ（０，１）として２値化メ
モリ１６に格納される。

このカメラ１１から２値化メモリ１６までの構成におい
て実行される処理は、本発明の前段階の処理であって、
これを模式的に示すと第３図のようになる。すなわち、
カメラ１１で取り込まれたアナログ動画像は、まず空間
軸および時間軸方向でディジタル化され、次に濃淡値に
関して２５６階調にディジタル化される。その後、２値
化がされることによって、５１２Ｘ５１２画素の２値画
像データが得られる。この２値画像データに対する処理
（本処理）は、第２図のＣＰＵ１７でなされる。

次に、本処理の説明に先立ち、この発明に係る走行路認
識方法で適用される追跡処理とウィンドウ処理を説明す
る。

画像からその特徴（例えば対象物の境界線等）を抽出す
ることは、画像を処理する上で必要不可欠なことである
。画像の特徴の代表的なものの中にエツジがあり、これ
を抽出するために、実施例では画像を空間微分して、エ
ツジを検出する方法を採用する。エツジは特徴（一般に
濃度）が急激に変化する場所から検出され、これは対象
物の境界線（輪郭）を形成する。具体的には、道路の白
線（路肩ライン）では画像面の濃度が急激に変化するの
で、エツジを検出することで道路端が認識できることに
なる。

［逐次追跡処理］ 特徴抽出により検出されたエツジは、以下に示す逐次追
跡型処理により線として検出される。

（ｓｔｅｐ−１）処理を開始する画素を選択する。

（５ｔｅｐ−目）直前に処理された画素をもとに、次に
処理すべき画素を求め（探索）、 所定の処理を行う。

（５ｔｅｐ−１ｉ１）さらに次の画素について処理を行
う場合には、５ｔｅｐ−１１を繰り返し、または処理を
終了する。

上記の追跡処理には次のような特徴がある。第１に、ど
の画素について処理を行うかは、それ以前の処理結果（
つまり開始画素の位置）に依存する。第２に、それ以前
の処理結果を利用することによって処理範囲を限定する
ことができ、従って無駄な処理を行わなくても済む可能
性がある。また、処理範囲の限定により、処理精度の向
上が図れる。

追跡処理の具体例を、第４図面の簡単な説明する。まず
、追跡すべきエツジ（２値データが“０“でなく　“１
”のところ）が、同図（ａ）のハツチングのようになっ
ていたとする。まず、開始画素を同図（ｂ）のクロスハ
ツチングに選び、これに連続するエツジを探索する。こ
の探索は図中の（＊）マークの画素に対して行ない、こ
れによって同図（Ｃ）のように次のエツジの画素が検知
できる。次のエツジの探索では、同図（Ｃ）に（＊）マ
ークで示すように、エツジの並びが予測される方向に優
先的に行なう。以下、それ以前の処理結果を利用して処
理範囲を限定し、同図（ｄ）、（ｅ）、（ｆ）のように
エツジを探索していく。

ここで、第４図（ｆ）では連続する画素にエツジが存在
しないため、追跡処理ができなくなる。

そこで、この場合には探索範囲を同図（ｇ）のように１
画素分だけジャンプさせる。すると、同図（ｈ）のよう
に次のエツジを検知できる。なお、１画素分のジャンプ
で検知できないときは、２画素分のジャンプを行なう。

［ウィンドウ処理］ 本発明では、エツジの追跡を画像面の全体に対して行う
ことはせず、ウィンドウ処理により画像面の一部に対し
てのみ行っている。これにより、画像面中の対象物の存
在する範囲だけを取り出して処理することができる。ま
た、本発明では前述の逐次追跡処理をベースにして、対
象物の輪郭線の抽出を行うようにしている。

（ｓｔｅｐ−ｊ）まず、適当な条件を満足する画素をも
とにして、処理すべきウィンドウ を設定する。

（ｓｔｅｐ　−１１）その画素を開始画素とし、次に処
理すべき画素を求めてエツジを追跡す る。

（ｓｔｅｐ−Ｉｌｌ）追跡された画素がウィンドウ外へ
出ていなければ、さらに５ｔｅｐ−ｉｌの処理を繰り返
す。もし、ウィンドウ外 へ出ていれば５ｔｅｐ　−ｉへ戻り、次のウィンドウを
新しく設定する。エツ ジに途切れがある場合は、エツジの ある可能性の高い方向へ数画素移り （ジャンプ）、水平方向に走査して エツジを探索する。

（ｓｔｅｐ　−１ｖ）　５ｔｅｐ−目を繰り返す。

この手法の特徴を以下に示す。

■　それ以前の処理結果を利用するので、処理範囲を限
定が可能であり、無駄な処理を行わなくて済む。

■　処理ウィンドウを設定するので、ウィンドウ外の情
報に影響されない。

■　処理ウィンドウの設定の仕方により、細かいチュー
ニングが可能である。

■　途切れのある線に対しても有効である。

次に、逐次型ウィンドウ（小領域）追跡処理の具体例を
、第５図により説明する。

まず、同図（ａ）のように、以前の処理で追跡してきた
画素Ｇ１に対して、これを中心としてウィンドウＷＤｌ
を設定する。次に、このウィンドウＷＤ、においてのみ
追跡処理を行ない、このウィンドウＷＤ１内から最初に
外へ出る画素Ｇ２を求めたら、同図（ｂ）のように画素
Ｇ２を中心として新しいウィンドウｗＤ２を設定する。

ウィンドウＷＤ２での追跡はウィンドウＷＤ、と同様に
行なうが、ここでは同図（Ｃ）の如く、画素Ｇ３に続く
べきエツジが、隣接する画素および１画素分だけジャン
プした画素の中がらは検知できないとする。このときに
は、ウィンドウＷ　Ｄ　２の上に次のウィンドウＷＤ３
を設定し、同図（Ｃ）に示す（＊）マークの画素でエツ
ジを探索する。すると、同図（ｄ）に示す画素Ｇ４が検
知できるので、これを基点としてウィンドウＷ　Ｄ　ａ
での探索を続行する。そして、ウィンドウＷ　Ｄ　ｓで
の最後の画素Ｇ５が検知できたら、その上に次のウィン
ドウＷ　Ｄ　４を設定する。

次に、本実施例に係る走行路認識方法の本処理を説明す
る。

第６図はこの処理の全体を示すフローチャートである。

図示の通り、本処理は第７図に詳細を示す初期処理（ス
テップ６ｏ１）と、第８図に詳細を示す左（右）側追跡
を含む左および右追跡（ステップ６０２．６０３）とか
ら構成される。

第７図および第９図により、初期処理を詳細に説明する
。

まず、カメラ１１を道路（走行路）上の適当な高さに置
き、道路のほぼ延長方向に向けると、道路左右の白線（
走行路端ＬＬ、ＲＬ）は第９図（ａ）のように、それぞ
れ画面中央より左及び右に位置する。この性質を利用し
、画像面の最下段（自動車の一部が画面に移り込む場合
はそのすぐ上）に左右各１個の初期ウィンドウＷ　Ｄ　
ｏｔ、’ＷＤｏＲを設定する（第７図のステップ７ｏ１
）。

次に、第７図のステップ７０２〜７０５の処理と、ステ
ップ７０６〜７０９の処理が連続してなされる。すなわ
ち、第９図（ａ）に示されるように、道路内にエツジは
存在しないので初期ウィンドウＷＤ、ＷＤｏＲ内を中央
側がら外側へ向がって走Ｌ 査すると、最初に発見するエツジが白線（ＬＬ。

ＲＬ）のエツジということになる。実際には道路内に小
さなノイズ（第９図（ｂ）、（Ｃ）のＧｂ。

Ｇ　）が存在することも考慮して、エツジがあるＣ 程度集まって発見された場合に、走行路端ＬＬ。

ＲＬに対応する白線であると判断する（ステップ７０２
．７０６）。

更に道路の白線によるエツジを発見すると上方向（前方
方向）へ追跡を開始し、初期ウィンドウＷＤ　、ＷＤｏ
Ｒの外へ出たところで終了する。まＯし た、１回の走査でエツジを発見できない場合は、数画素
だけ画面の上方へ移り、同様に走査を行い、エツジの発
見または初期ウィンドＷＤ　　　ＷＤＯＬ’　　　ＯＲ 外へ出るまでこの走査を繰り返す。第９図（ａ）。

（ｂ）のように初期ウィンドウＷ　Ｄ　ｏｔ、内にエツ
ジを発見できない場合（ステップ７０３．７０７）は、
このウィンドウＷ　Ｄ　ｏｔ、の上辺の外側隅に仮想追
跡点ＥＯＬを設定し、エツジが発見できたものとして扱
う（ステップ７０４，７０８）。しかし、この仮想追跡
点Ｅ。、は点列としては出力しない。

次に、第８図および第９図により、左（右）追跡を説明
する。

初期処理により追跡されたエツジ（第９図のＥ　　、Ｅ
　　）をもとに、左右それぞれの初期ライＯＬ　　　　
ＯＲ ンドウＷ　Ｄ　　、　Ｗ　Ｄ　ＯＲの上にサイズの小さ
い左、Ｌ 右ウィンドウＷＤ　　　ＷＤ、、を設定する。設定の１
し しかたは第９図（ｂ）、（Ｃ）のように、開始画素をウ
ィンドウＷＤ、ＷＤ、−下辺の中央とすＬ る。以後は、前回追跡されたエツジをもとに、上記と同
様に小領域（ウィンドウ）を設定する。左、右ウィンド
ウＷＤＷＤ、　・・・・・・、　Ｗ　Ｄ　ｔ！？’ＩＬ
’　　　　　　２Ｌ Ｗ　Ｄ　２　Ｒ、・・・・・・のサイズを初期ウィンド
ウＷ　Ｄ　ｏｉ、’ＷＤｏＲに比べて小さくしている理
由は、ノイズによる影響を減らすためである。また、設
定するウィンドウＷＤが画像面の左右からはみ出る場合
は、はみ出ないようにウィンドウＷＤを画像面の内側へ
ずらして設定する。

ウィンドウＷＤ内では開始画素より前述の追跡処理が行
われ、追跡中のウィンドウの外へ出たところで終了し、
次の新しいウィンドウを設定する。

探索は基本的にウィンドウ単位で左右交互に行われ（第
６図）、各１回の左、右追跡に対し、後述の中央処理を
１回行う。エツジを完全に見失うかあるいは左、右のウ
ィンドウの設定個数があらかじめ定められている数（地
平線の位置から求める）に達した場合には、探索は終了
する。また、エツジを追跡中にエツジが画面の左右から
外方向へ出てしまった場合（ステップ８０２）に限り、
初期処理と同様に仮想探索点を設定する（ステップ８０
３）。この様にすることにより、いったん画面の外へ出
た後に、再び画面内に入り込むエツジを発見することが
できる。

次に、本発明の実施例の要部を第１図により説明する。

第１図（ａ）〜（ｄ）は実施例による走行路認識の手順
を示している。認識すべき走行路は図示のように直線道
路であり、これに対して左側から１本の道路が合流して
いる。まず、左右ウィンドウＷＤ　　ＷＤＩＲは先に第
９図で示したように画ｌし 面の下側に設定され、この上にウィンドウＷ　Ｄ　２Ｌ
−ＷＤ　　、ＷＤ　　、ＷＤ　　、・・・が次々と設定
され、２Ｒ８Ｌ　　　　　　３Ｒ 道路の端部が探索、追跡されていく、 ここで、第１図（ａ）の如くウィンドウＷ　Ｄ　５Ｌ。

ＷＤ５Ｒ″？：１道路の左側端が途切れたとする。この
場合には、第１図（ｂ）の如く、左ウィンドウＷ　Ｄ　
５　Ｌを基点として画面の上側方向に左ウィンドウＷＤ
　　、ＷＤ　　、・・・を次々と仮想的に設定し、８Ｌ
　　　　　　７Ｌ 端部を探索する。このとき、右側端は右ウィンドウＷＤ
ＷＤ、・・・により追跡されている。す６Ｒ’　　　７
Ｒ ると、第１図（ｂ）如くウィンドウＷＤ１□、を設定し
たところで別の走行路端が発見される。そこで、第１図
（ｃ）の如く走行路の探索、追跡を再開していく。

探索、追跡が終了したときのエツジを点列として表わす
と、第１図（ｄ）のようになる。合流部分において左側
の点列が曲っているが、走行路の形状は概略的に認識で
きる。

第１図（ｅ）、（ｆ）および（ｇ）、（ｈ）は、直線道
路に合流する走行路の認識を、それぞれ異なる手法で行
なう場合を図示している。

まず、第１図（ｅ）に示すように、ウィンドウＷＤ　　
　ＷＤ　　　ＷＤ、ＷＤ　　　・・・を順次に設置Ｌ’
　　　　ＩＲ’　　　　２Ｌ　　　　２Ｒ’定し、走行
路の端部を追跡する。右ウインドウＷ　Ｄ　ａ　Ｒで道
路端の途切れを発見したら、第１図（ｂ）と同様に上方
に右ウィンドウＷ　Ｄ　４　ＲＷＤ　　、・・・を設定
していく。そして、右ウィンド５１？ つＷ　Ｄ　９Ｒで別の走行路端を発見したら、その端部
に沿った探索追跡を再開する。これにより、第１図Ｃｆ
）のような点列を得ることができる。

第１図（ｇ）の手法においては、ウィンドウの仮想設定
を行なっていく方向が異なっている。すなわち、先に説
明した例では、ウィンドウの仮想設定を画面の上方に対
して行なっているが、この第１図（ｇ）の場合にはそれ
までの走行端の延びる方向に沿って行なっている。この
方法によれば、得られたエラジンの点列は第１図（ｈ）
のようになり、走行路の合流部の形状をより滑らかな形
状として認識し得る。

なお、仮想設定の方向はこれらに限らず、第１図（ｅ）
、（ｇ）の方向の中間方向であってもよい。

〔発明の効果〕

以上、詳細に説明した通り本発明では、ウィンドウを設
定して走行路端を探索するので、処理対象のデータが少
なくなって処理の高速化が達成される。そして、このよ
うな精度の高いウィンドウの処理を積み重ねて全体の走
行路形状を認識するので、結果として精度の高い走行路
判別ができる。

また、ウィンドウで走行路端の途切れを発見したら前方
探索処理を実行し、これによって別の走行路端を見出し
ているので、走行路形状の種々の合流のバリエーション
を容易に認識できる効果がある。

【図面の簡単な説明】

第１図は本発明の実施例に係る走行路認識方法の要部を
説明する図、第２図は走行路認識方法が適用されるシス
テムの構成図、第３図は前処理を模式的に説明する図、
第４図はエツジの追跡処理を説明する図、第５図は逐次
小領域追跡型のウィンドウ処理を説明する図、第６図は
実施例に係る走行路認識方法の全体的な処理を示すフロ
ーチャート、第７図は初期処理を示すフローチャート、
第８図は左（右）追跡のフローチャート、第９図は初期
処理とウィンドウの設定を説明する図、第１０図は認識
すべき種々の走行路を示す図である。 １１・・・カメラ、１２・・・Ａ／Ｄ変換ボード、１３
・・・５ｏｂｅ　１ボード、１４・・・多値化メモリ、
１５・・・２値化ボード、１６・・・２値化メモリ、１
７・・・ＣＰＵ、ＷＤ・・・ウィンドウ、ＨＬ・・・地
平線、ＬＬ・・・走行路左端、ＲＬ・・・走行路右端。

Claims (1)

1. 【特許請求の範囲】 １、走行路を撮像して得た画像情報からなる二次元の画
   像面上における走行路認識方法において、 前記画像面上で前記走行路の所定部分を探索し追跡する
   少なくとも１つのウィンドウを設定する第１のステップ
   と、 前記ウィンドウで前記走行路の所定部分の途切れを検出
   したときに当該ウィンドウによる探索範囲をその周辺に
   拡張して当該途切れの近傍の前記所定部分を検出する第
   ２のステップと を備えることを特徴とする走行路認識方法。 ２、前記第２のステップは前記ウィンドウによる探索範
   囲を前記走行路の前方側に拡張するステップであること
   を特徴とする請求項１記載の走行路認識方法。 ３、走行路を撮像して得た画像情報からなる２次元の画
   像面上で、前記走行路の端部を認識する走行路認識方法
   において、 前記画像面で前記走行路の端部を探索する少なくとも１
   つのウィンドウを設定する第１のステップと、 前記ウィンドウで前記端部を探索しながら、当該端部の
   延びる方向に次々と新しいウィンドウを設定して当該端
   部を追跡探索する第２のステップと、 前記ウィンドウで走行路の端部の途切れを検出したとき
   は当該走行路端部の延びる方向もしくは前方側の方向に
   新しいウィンドウを設定し、当該方向において別の走行
   路端部を探索する第３のステップと、 前記走行路端部が途切れた点の近傍で別の走行路端部を
   検出したときは、当該別の走行路端部を追跡探索する第
   ４のステップと を備えることを特徴とする走行路認識方法。