JPH07239996A - 走路認識装置 - Google Patents

走路認識装置

Info

Publication number
JPH07239996A
JPH07239996A JP6029936A JP2993694A JPH07239996A JP H07239996 A JPH07239996 A JP H07239996A JP 6029936 A JP6029936 A JP 6029936A JP 2993694 A JP2993694 A JP 2993694A JP H07239996 A JPH07239996 A JP H07239996A
Authority
JP
Japan
Prior art keywords
guideline
template
straight line
road
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6029936A
Other languages
English (en)
Inventor
Yoshiyuki Nakayama
佳行 中山
Toshihiko Suzuki
敏彦 鈴木
Yoshihiro Okuwa
芳宏 大桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP6029936A priority Critical patent/JPH07239996A/ja
Publication of JPH07239996A publication Critical patent/JPH07239996A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 本発明は走路認識装置に関し、撮像された道
路画像とテンプレートとのガイドラインのずれが小さ
く、ガイドライン検出精度が向上することを目的とす
る。 【構成】 画像センサM1は、車両前方の道路を撮像す
る。エッジ検出部M2は、撮像された道路画像から画素
値が急変するエッジ点を検出する。直線抽出部M3は、
検出された複数のエッジ点に近似する直線を抽出する。
テンプレート作成部M4は、抽出された直線の傾きを持
つガイドラインのテンプレートを作成する。相関演算部
M5は、道路画像の各部と作成されたテンプレートとの
相関演算を行なう。ガイドライン認識部M6は、演算さ
れた相関値に基き道路画像上のガイドライン位置を認識
する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は走路認識装置に関し、特
に画像センサで得た道路の画像から道路のガイドライン
を検出して走路認識を行なう走路認識装置に関する。
【0002】
【従来の技術】従来より、車両の自動操縦等を実現する
ための要素技術として、画像センサを用いた道路白線検
出装置が提案されている。例えば本出願人は、特願平4
−265655号において、車両前方道路をカメラによ
り撮像して得られた撮像画像を所定サイズのサーチウィ
ンドウで走査し、予め白線形状に適合するように設定し
ておいたテンプレートとの相関が最も高い領域を白線と
して認識する道路白線検出装置を開示している。
【0003】この装置は、車両中央に配設したカメラで
白線を撮像した場合、通常は車両左側の白線は右上が
り、車両右側の白線は左上がりに、それぞれアスファル
ト部分より高輝度に撮像されることに鑑み、予め右上が
り、左上がり等の白線に描かれたテンプレートを容易に
し、撮像画像中からサーチウィンドウとして切り出した
画像とテンプレートとの相関を演算し、最も高い相関の
得られた走査位置を白線領域として把握するものであ
る。
【0004】ところで、走行路がカーブに差しかかる
と、車両から比較的離間した位置の白線は、左カーブの
とき車両左側の白線が左上がりに、又は右カーブのとき
車両右側の白線が右上がりになる場合がある。一方、自
動制御等の車両制御に白線検出の結果を利用するために
は、比較的遠方の白線位置を検出する必要がある。この
ため、白線検出の際に参照するテンプレートが固定テン
プレートでは実用的な白線検出を実現することができな
い。
【0005】そこで、上記装置においては、白線形状が
比較的安定している車両直前部において固定テンプレー
トによる白線検出を行い、その際に撮像画像中テンプレ
ートと最も適合した部分を、より遠方のテンプレートと
することで、順次遠方の白線を検出する手法を採用して
いる。この場合、白線検出に用いるテンプレートの形状
と実際の白線形状とが道路のカーブ如何によって大きく
かけ離れることがなく、車両から離間した位置において
白線位置を検出することが可能となる。
【0006】
【発明が解決しようとする課題】従来装置では撮像画像
の車両直前部において、白線の傾き及び幅及び輝度が固
定した固定テンプレートを用いて白線検出を行なってい
る。しかし、道路上の白線の幅は一定とは限らないし、
更に走行路がカーブしていたり、画像センサの取付角度
のずれ又は経時変化で画像センサの撮像方向に誤差があ
ると撮像画像における白線の傾きは車両直前部であって
も固定テンプレートとずれてしまう。このように、撮像
画像と固定テンプレートとで白線の幅及び傾きのずれが
大きくなると白線検出の精度が悪化するという問題があ
った。本発明は上記の点に鑑みなされたもので、撮像さ
れた道路画像からエッジ検出して得た直線から傾き及び
幅の少なくとも一方を決定したガイドラインを持つテン
プレートを作成し、このテンプレートを用いて道路画像
のガイドラインを認識することにより、撮像された道路
画像とテンプレートとのガイドラインのずれがきわめて
小さく、ガイドライン検出精度が向上する走路認識装置
を提供することを目的とする。
【0007】
【課題を解決するための手段】請求項1の発明は、図1
の原理図に示す如く、車両前方の道路を撮像する画像セ
ンサM1と、撮像された道路画像から画素値が急変する
エッジ点を検出するエッジ検出部M2と、検出された複
数のエッジ点に近似する直線を抽出する直線抽出部M3
と抽出された直線と同一の傾きを持つガイドラインのテ
ンプレートを作成するテンプレート作成部M4と、上記
道路画像の各部と作成されたテンプレートとの相関演算
を行なう相関演算部M5と、演算された相関値に基き道
路画像上のガイドライン位置を認識するガイドライン認
識部M6とを有する。
【0008】また、請求項2の発明では、直線抽出部M
3は、画素値が増大する方向に急変する正のエッジ点
と、画素値が減小する方向に急変する負のエッジ点との
夫々を近似する一対の直線を抽出し、テンプレート作成
部M4は、上記一対の直線の離間距離と略同一幅で所定
の傾きのガイドラインのテンプレートを作成する。
【0009】また、請求項3の発明では、直線抽出部M
3は、画素値が増大する方向に急変する正のエッジ点
と、画素値が減小する方向に急変する負のエッジ点との
夫々を近似する一対の直線を抽出し、テンプレート作成
部M4は、上記一対の直線の離間距離と略同一幅で、か
つ同一の傾きを持つのガイドラインのテンプレートを作
成する。
【0010】
【作用】請求項1の発明においては、撮像された道路画
像からエッジ検出して得た直線と同一の傾きのガイドラ
インを持つテンプレートを作成し、このテンプレートを
用いて道路画像のガイドラインを認識するため、撮像さ
れた道路画像とテンプレートとのガイドラインの傾きの
ずれが小さく、ガイドライン検出精度が向上する。
【0011】請求項2の発明においては、撮像された道
路画像からエッジ検出して得た一対の直線と同一幅のガ
イドラインを持つテンプレートを作成し、このテンプレ
ートを用いて道路画像のガイドラインを認識するため、
撮像された道路画像とテンプレートとのガイドラインの
幅のずれが小さく、ガイドライン検出精度が向上する。
【0012】請求項3の発明においては、撮像された道
路画像からエッジ検出して得た一対の直線と同一の傾き
及び幅のガイドラインを持つテンプレートを作成し、こ
のテンプレートを用いて道路画像のガイドラインを認識
するため、撮像された道路画像とテンプレートとのガイ
ドラインの傾き及び幅のずれが小さく、ガイドライン検
出精度が向上する。
【0013】
【実施例】図2は本発明装置の一実施例のブロック図を
示す。同図中、画像センサとしてのビデオカメラ10で
撮像した前方の道路画像の画像信号はD/Aコンバータ
でディジタル化され、走路認識電子回路11に供給され
る。
【0014】走路認識電子回路11は、1画面分の画像
データを格納するフレームメモリ15、フレームメモリ
15内で隣接する画素の画素値(モノクロームの場合は
輝度)の偏差からエッジを検出するソーベルオペレータ
等の微分オペレータであるエッジ検出部16、エッジ検
出部16で検出された複数のエッジ点から最小二乗法等
を用いて直線近似を行なって直線を抽出する直線抽出部
17、直線抽出部17で抽出された直線からテンプレー
トを作成するテンプレート作成部18、テンプレート作
成部18で作成されたテンプレートとフレームメモリ1
5の道路画像の各部との相関を演算する相関演算部19
と、相関演算部19の演算結果から道路画像におけるガ
イドライン位置を認識して認識結果を走路制御電子回路
30に供給するガイドライン認識部20と、フレームメ
モリ15からガイドライン認識部20までの各回路を制
御する制御部21とから構成されている。
【0015】ところで、ガイドラインとしては道路のと
中央線や路側境界線を示す白線、又は追越禁止を表わす
黄線等がある。
【0016】なお、走行制御電子回路30は操舵制御、
車速制御等の各種制御を行なうものである。
【0017】図3は走路認識電子回路12が実行する走
路認識処理の一実施例のフローチャートを示す。この処
理は所定時間毎に実行される。同図中、制御部21はス
テップS10でフレームメモリ15に格納された道路画
像に対してサーチウィンドウを設定する。ここで図4に
示す道路画像40にガイドライン41,42があると
き、左側ガイドライン41を検出するためのサーチウィ
ンドウ43は通常走行状態でガイドライン41が存在す
るであろう所定の垂直,水平位置を基準として、例えば
垂直方向16画素×水平方向48の領域である。なお、
サーチウィンドウ43の位置は所定の垂直位置で、前回
の走路認識処理でガイドラインを検出した水平位置を基
準に設定しても良い。
【0018】次にステップS20で制御部21はエッジ
検出部16に上記サーチウィンドウ43内の水平方向の
エッジ検出を行なわせる。これによりエッジ検出部16
はサーチウィンドウ43内の各ラインについて左端から
右端に向けて順次、隣接する画素値の偏差つまり微分値
を求めエッジ点を検出する。道路画像においてアスファ
ルト部は輝度が低く、白縁部は輝度が高いため、ガイド
ライン41の左側縁では偏差(微分値)が正の大きな値
となり、右側縁では偏差が負の大きな点となって検出さ
れる。エッジ検出部16はステップS30でエッジ点の
うち、偏差の絶対値がしきい値を越えるものだけをエッ
ジ点とし、しきい値以下のものはノイズとみなして捨て
る。これによって図5に示す如く、サーチウィンドウ4
3内で○印で示す偏差が正のエッジ点と×印で示す偏差
が負のエッジ点とが検出される。次に、ステップS40
で制御部21はサーチウィンドウ43内で検出されたエ
ッジ点数が所定値以上か否かを判別し、所定値未満であ
ればフレームメモリ15の道路画像にはガイドラインが
存在しないとみなして処理を終了する。エッジ点数が所
定値を越えていればステップS20に進み、直線抽出部
17に直線抽出を行なわせる。これにより、直線抽出部
17は偏差が正,負夫々について複数のエッジ点から最
小二乗法を用いて直線近似を行なって図5に示す直線4
4,45を求める。この直線44,45は傾きaが同一
として求められ、次式で表わされる。
【0019】x=ay+b2 …(1) x=ay+b1 …(2) 次にステップS60で制御部21はテンプレート作成部
18に直線44,45からテンプレートを作成させる。
これにより、テンプレート作成部18は(1),(2)
式から|b1 −b|を求め、これをテンプレートのガイ
ドライン幅とし、図6に示す如く例えば水平方向16画
素×垂直方向16画素のテンプレート50の中心位置O
を挟んで水平方向に|b1 −b2 |だけ離間した一対の
画素P1,P2 夫々を通り傾きがaの2つの直線を引
き、この2つの直線の内側の画素の画素値をdw、外側
の画素の画素値をdbとしてテンプレート50を作成す
る。画素値dwは標準的なガイドライン部分の固定の画
素値であり、画素値dbは標準的なアスファルト部分の
固定の画素値であり、dw>dbの関係にある。つまり
テンプレート50は道路画像を元に作成される。
【0020】次にステップS70で制御部21はフレー
ムメモリ15の画像のサーチウィンドウ43内の画素値
のヒストグラムを作成する。例えば図7の実線で示すヒ
ストグラムが作成されると、ヒストグラム上で低輝度の
ピークpbをアスファルト部の固定の画素値dbに移動
し、かつ高輝度のピークpwをガイドラインの固定の画
素値dwに移動するようにサーチウィンドウ43内の全
画素の画素値について階調変換を行なう。これによって
階調変換後のサーチウィンドウ43内の画素値のヒスト
グラムは図7の破線に示す如くなる。
【0021】この後、ステップS80で制御部21は相
関演算部19に相関演算を行なわせる。これにより相関
演算部19は階調変換されたサーチウィンドウ43に対
してテンプレート50を画素単位で移動させ、各移動位
置で互いに対応するサーチウィンドウ43の画素値とテ
ンプレート50の画素値との差の絶対値の総和を相関値
として演算する。
【0022】この後ステップS90で制御部21はガイ
ドライン認識部20に認識を行なわせる。これによって
ガイドライン認識部20は相関演算時にテンプレートの
各移動位置で算出された相関値から最小の相関値を選択
し、その移動位置におけるテンプレート50の中心位置
0に対応するサーチウィンドウ43上の画素の位置をガ
イドライン位置として検出及び認識する。
【0023】この後、制御部21はステップS100で
上記ガイドライン認識部20で選択された最小の相関値
が所定値以下で充分に小さいかどうかを判別し、充分に
小さい場合はステップS110で信頼できるガイドライ
ン位置であるとして走行制御電子回路30に通知させ、
また充分に小さくない場合はステップS120でガイド
ライン位置を検出したか信頼性は低いとして走行制御電
子回路30に通知させ処理を終了する。
【0024】ところで上記ステップS10〜S120の
処理は、図4に示す左側のガイドライン41についてサ
ーチウィンドウ43とは垂直方向位置が異なる複数のサ
ーチウィンドウを設定して同様に行なわれ、更に右側の
ガイドライン42についてもまったく同様に行なわれ
る。
【0025】このように、テンプレートは撮像画像のサ
ーチウィンドウのエッジ検出により得たガイドラインの
傾きを基に作成するため、カーブや画像センサの撮像方
向の誤差があっても、道路画像のガイドラインとテンプ
レートのガイドラインとの傾きが一致し、ガイドライン
の検出精度が高くなる。
【0026】また、ガイドラインを検出したい領域つま
りサーチウィンドウでエッジ点を検出し、エッジ点数が
少ない時にはガイドラインが存在しないとするため、ガ
イドラインの存在しない領域であっても、ガイドライン
を検出しようとし、誤った認識を行なうことがない。
【0027】また、実際の道路のガイドラインはどこで
も一定の太さではないが、サーチウィンドウの中から検
出した一対の直線の離間距離からガイドラインの幅を検
出し、その幅をテンプレートのガイドライン幅として使
用するため、ガイドラインの幅の変化に対応でき、検出
精度が高くなる。
【0028】更に、道路画像の階調変換を行なうため、
テンプレートと道路画像とのガイドラインの輝度が同程
度となり、相関値によるガイドラインの検出精度が向上
する。
【0029】なお、上記実施例ではサーチウィンドウ内
の正,負のエッジ点から一対の直線を抽出しているが、
正又は負の一方のエッジ点から1本の直線を抽出し、こ
の直線と同一の傾きで所定幅のガイドラインを持つテン
プレートを作成しても良く、更に抽出した一対の直線の
離間距離と同一幅で所定の傾きのガイドラインを持つテ
ンプレートを作成しても良く、上記実施例に限定されな
い。
【0030】
【発明の効果】上述の如く、請求項1の発明によれば、
撮像された道路画像からエッジ検出して得た直線と同一
の傾きのガイドラインを持つテンプレートを作成し、こ
のテンプレートを用いて道路画像のガイドラインを認識
することにより、撮像された道路画像とテンプレートと
のガイドラインの傾きのずれが小さく、ガイドライン検
出精度が向上することができる。
【0031】また、請求項2の発明によれば、撮像され
た道路画像からエッジ検出して得た一対の直線と同一幅
のガイドラインを持つテンプレートを作成し、このテン
プレートを用いて道路画像のガイドラインを認識するた
め、撮像された道路画像とテンプレートとのガイドライ
ンの幅のずれが小さく、ガイドライン検出精度が向上す
る。また、請求項3の発明によれば、撮像された道路画
像からエッジ検出して得た一対の直線と同一の傾き及び
幅のガイドラインを持つテンプレートを作成し、このテ
ンプレートを用いて道路画像のガイドラインを認識する
ため、撮像された道路画像とテンプレートとのガイドラ
インの傾き及び幅のずれが小さく、ガイドライン検出精
度が向上し、実用上きわめて有用である。
【図面の簡単な説明】
【図1】本発明の原理図である。
【図2】本発明装置のブロック図である。
【図3】本発明の走路認識処理のフローチャートであ
る。
【図4】道路画像を示す図である。
【図5】サーチウィンドウを示す図である。
【図6】テンプレートを示す図である。
【図7】ヒストグラムを示す図である。
【符号の説明】
10 ビデオカメラ 11 D/Aコンバータ 12 走路認識電子回路 15 フレームメモリ 16 エッジ検出部 17 直線抽出部 18 テンプレート作成部 19 相関演算部 20 ガイドライン認識部 21 制御部 30 走行制御電子回路
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 7/00 G09B 29/00

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 車両前方の道路を撮像する画像センサ
    と、 撮像された道路画像から画素値が急変するエッジ点を検
    出するエッジ検出部と、 検出された複数のエッジ点に近似する直線を抽出する直
    線抽出部と、 抽出された直線と同一の傾きを持つガイドラインのテン
    プレートを作成するテンプレート作成部と、 上記道路画像の各部と作成されたテンプレートとの相関
    演算を行なう相関演算部と、 演算された相関値に基き道路画像上のガイドライン位置
    を認識するガイドライン認識部とを有することを特徴と
    する走路認識装置。
  2. 【請求項2】 前記直線抽出部は、画素値が増大する方
    向に急変する正のエッジ点と、画素値が減小する方向に
    急変する負のエッジ点との夫々を近似する一対の直線を
    抽出し、 前記テンプレート作成部は、上記一対の直線の離間距離
    と略同一幅で所定の傾きのガイドラインを持つテンプレ
    ートを作成することを特徴とする請求項1記載の走路認
    識装置。
  3. 【請求項3】 前記直線抽出部は、画素値が増大する方
    向に急変する正のエッジ点と、画素値が減小する方向に
    急変する負のエッジ点との夫々を近似する一対の直線を
    抽出し、 前記テンプレート作成部は、上記一対の直線の離間距離
    と略同一幅で、かつ同一の傾きを持つガイドラインを持
    つテンプレートを作成することを特徴とする請求項1記
    載の走路認識装置。
JP6029936A 1994-02-28 1994-02-28 走路認識装置 Pending JPH07239996A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6029936A JPH07239996A (ja) 1994-02-28 1994-02-28 走路認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6029936A JPH07239996A (ja) 1994-02-28 1994-02-28 走路認識装置

Publications (1)

Publication Number Publication Date
JPH07239996A true JPH07239996A (ja) 1995-09-12

Family

ID=12289882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6029936A Pending JPH07239996A (ja) 1994-02-28 1994-02-28 走路認識装置

Country Status (1)

Country Link
JP (1) JPH07239996A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449383B1 (en) 1998-01-27 2002-09-10 Denso Corporation Lane mark recognition system and vehicle traveling control system using the same
US6591000B1 (en) 1998-04-21 2003-07-08 Denso Corporation Apparatus and method for preprocessing a picked-up image, lane mark recognizing system, related vehicle traveling control system, and recording media
KR100391442B1 (ko) * 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법
JP2004310525A (ja) * 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
JP2011126433A (ja) * 2009-12-18 2011-06-30 Suzuki Motor Corp 駐車支援装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449383B1 (en) 1998-01-27 2002-09-10 Denso Corporation Lane mark recognition system and vehicle traveling control system using the same
DE19903187B4 (de) * 1998-01-27 2007-01-25 Denso Corp., Kariya Fahrspurmarkierungserkennungssystem und Fahrzeugreisekontrollsystem zur Verwendung desselben
US6591000B1 (en) 1998-04-21 2003-07-08 Denso Corporation Apparatus and method for preprocessing a picked-up image, lane mark recognizing system, related vehicle traveling control system, and recording media
KR100391442B1 (ko) * 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법
JP2004310525A (ja) * 2003-04-08 2004-11-04 Toyota Motor Corp 車両用画像処理装置
JP2011126433A (ja) * 2009-12-18 2011-06-30 Suzuki Motor Corp 駐車支援装置

Similar Documents

Publication Publication Date Title
JP3279479B2 (ja) 映像監視方法及び装置
US6546118B1 (en) Image processing apparatus for vehicle
JPH0728975A (ja) 道路環境認識装置
JP2002197444A (ja) 車両の走行路認識装置
US20090052742A1 (en) Image processing apparatus and method thereof
WO2021161614A1 (ja) 画像送信システム
JP2003162798A (ja) 障害物監視装置及びプログラム
JPH1173514A (ja) 車両用認識装置
JP3812384B2 (ja) 先行車両認識装置
JP2003077099A (ja) 先行車両認識装置
JP2007179386A (ja) 白線認識方法及び白線認識装置
JP2829934B2 (ja) 移動車の環境認識装置
JPH07239996A (ja) 走路認識装置
JPH1097699A (ja) 車両用障害物検出装置
JP2002150302A (ja) 路面認識装置
JP3319401B2 (ja) 走行路認識装置
JP2962799B2 (ja) 移動車の走行路端検出装置
JP3345995B2 (ja) 道路白線検出装置
JP3366135B2 (ja) 走行方向制御装置
JP2005157733A (ja) 車線認識装置および車線認識方法
JP3390122B2 (ja) 車両の白線検出装置
JP3196559B2 (ja) ライン認識方法
JPH09179989A (ja) 車両用道路認識装置
JP4397164B2 (ja) 障害物検出装置及び障害物検出方法
JP3220578B2 (ja) 道路画像の白線認識装置