JPH1021411A - 走行路認識装置 - Google Patents
走行路認識装置Info
- Publication number
- JPH1021411A JPH1021411A JP8195701A JP19570196A JPH1021411A JP H1021411 A JPH1021411 A JP H1021411A JP 8195701 A JP8195701 A JP 8195701A JP 19570196 A JP19570196 A JP 19570196A JP H1021411 A JPH1021411 A JP H1021411A
- Authority
- JP
- Japan
- Prior art keywords
- road
- image
- white line
- detecting
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 車両前方の画像を採取し、画像処理して路面
の白線を検出して、路面の３次元形状と路面に対する車
両の相対位置関係とを認識する走行路認識装置におい
て、信頼性を向上させる。 【解決手段】 前回の道路消失線を基準に白線候補点検
出を行い得ないと判断されたとき、急激なピッチ角変動
が生じたとみなして、前回検出された道路モデル８１を
基準に、前回検出された白線画像をテンプレートとする
白線候補点検出ウィンドウ８２を設定する。テンプレー
ト８３の中点ｘ＝xmijおよびｙ＝yijをもって白線候補
点として出力し、それに対して道路モデルを最小二乗法
などで当て嵌め道路モデルパラメータを更新する。白線
候補点と、更新したパラメータに基づく道路モデルとを
比較することにより白線認識結果を更新する。
の白線を検出して、路面の３次元形状と路面に対する車
両の相対位置関係とを認識する走行路認識装置におい
て、信頼性を向上させる。 【解決手段】 前回の道路消失線を基準に白線候補点検
出を行い得ないと判断されたとき、急激なピッチ角変動
が生じたとみなして、前回検出された道路モデル８１を
基準に、前回検出された白線画像をテンプレートとする
白線候補点検出ウィンドウ８２を設定する。テンプレー
ト８３の中点ｘ＝xmijおよびｙ＝yijをもって白線候補
点として出力し、それに対して道路モデルを最小二乗法
などで当て嵌め道路モデルパラメータを更新する。白線
候補点と、更新したパラメータに基づく道路モデルとを
比較することにより白線認識結果を更新する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理によって
走行路を認識する走行路認識装置に関する。
走行路を認識する走行路認識装置に関する。
【０００２】
【従来の技術】従来の走行路認識装置に関しては、例え
ば、図１３に記載されているものがある。ここでは、路
上の白線の位置および形状は連続的に変化するという知
識を前提に、短冊状のサーチ領域内５０１で前回検出さ
れた白線テンプレート５０２を用いて相関演算を行い、
画像内白線を更新／追従する方法である。
ば、図１３に記載されているものがある。ここでは、路
上の白線の位置および形状は連続的に変化するという知
識を前提に、短冊状のサーチ領域内５０１で前回検出さ
れた白線テンプレート５０２を用いて相関演算を行い、
画像内白線を更新／追従する方法である。
【０００３】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の走行路認識装置にあっては、以下のような問
題点があった。
うな従来の走行路認識装置にあっては、以下のような問
題点があった。
【０００４】例えば、自動ブレーキシステム等を備えた
車両に於いては、路面の継目等に起因するピッチ角変動
のみならず減速度に起因する大幅なピッチ角変動が生ず
る。このとき、画像は道路消失線が急激に変化する所謂
ブレ画像となり従来方式では追従の範囲を越えて、白線
が精度良い白線認識が得られぬ恐れがある（図１４）。
車両に於いては、路面の継目等に起因するピッチ角変動
のみならず減速度に起因する大幅なピッチ角変動が生ず
る。このとき、画像は道路消失線が急激に変化する所謂
ブレ画像となり従来方式では追従の範囲を越えて、白線
が精度良い白線認識が得られぬ恐れがある（図１４）。
【０００５】本発明は上記問題点に鑑み、信頼性の高い
走行路認識装置を提供することを目的とする。
走行路認識装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】前記課題を解決するため
に本発明にあっては、車両前方の画像を採取し、画像処
理して路面の白線を抽出する撮像入力手段ａを有し、前
記画像上の白線を検出して、路面の３次元形状と路面に
対する車両の相対位置関係とを認識する走行路認識装置
において、前記車両前方の画像内で路上物体を検出する
路上物体検出手段ｂと、前記路上物体と路面との接地面
を路面画像より検出する路上物体接地領域検出手段ｃ
と、該接地面位置より道路消失線を推定する道路消失線
推定手段ｄと、前記道路消失線より白線検出のウィンド
ウ設定位置を補正する白線検出ウィンドウ設定位置補正
手段ｅとを具備するものとした（図１−Ａ参照）。かか
る構成においては、車両前方の画像内の路上物体と路面
との接地面位置より推定した道路消失線に基づき、白線
検出のウィンドウ設定位置を補正するため、路面の継目
等に起因するピッチ角変動のみならず減速度に起因する
大幅なピッチ角変動が生じた場合であっても、精度良い
白線認識が行われる。
に本発明にあっては、車両前方の画像を採取し、画像処
理して路面の白線を抽出する撮像入力手段ａを有し、前
記画像上の白線を検出して、路面の３次元形状と路面に
対する車両の相対位置関係とを認識する走行路認識装置
において、前記車両前方の画像内で路上物体を検出する
路上物体検出手段ｂと、前記路上物体と路面との接地面
を路面画像より検出する路上物体接地領域検出手段ｃ
と、該接地面位置より道路消失線を推定する道路消失線
推定手段ｄと、前記道路消失線より白線検出のウィンド
ウ設定位置を補正する白線検出ウィンドウ設定位置補正
手段ｅとを具備するものとした（図１−Ａ参照）。かか
る構成においては、車両前方の画像内の路上物体と路面
との接地面位置より推定した道路消失線に基づき、白線
検出のウィンドウ設定位置を補正するため、路面の継目
等に起因するピッチ角変動のみならず減速度に起因する
大幅なピッチ角変動が生じた場合であっても、精度良い
白線認識が行われる。
【０００７】また、前記道路消失線推定手段ｄは、路上
物体までの自車との相対距離を検出する相対距離検出手
段ｆによって得られる相対距離と、画像平面内における
前記路上物体と路面との接地位置により道路消失線を推
定するものとした（図１−Ｂ参照）。かかる構成におい
ては、路上物体までの自車との相対距離と、車両前方の
画像内の路上物体と路面との接地面位置とにより推定し
た道路消失線に基づき、白線検出のウィンドウ設定位置
を補正するため、路面の継目等に起因するピッチ角変動
のみならず減速度に起因する大幅なピッチ角変動が生じ
た場合であっても、精度良い白線認識が行われる。
物体までの自車との相対距離を検出する相対距離検出手
段ｆによって得られる相対距離と、画像平面内における
前記路上物体と路面との接地位置により道路消失線を推
定するものとした（図１−Ｂ参照）。かかる構成におい
ては、路上物体までの自車との相対距離と、車両前方の
画像内の路上物体と路面との接地面位置とにより推定し
た道路消失線に基づき、白線検出のウィンドウ設定位置
を補正するため、路面の継目等に起因するピッチ角変動
のみならず減速度に起因する大幅なピッチ角変動が生じ
た場合であっても、精度良い白線認識が行われる。
【０００８】また、前記道路消失線推定手段ｄは、画像
平面内における前回検出された路上物体と路面との接地
位置と、新たに検出された路上物体と路面との接地位置
により道路消失線を推定するものとした（図−Ａ参
照）。かかる構成においては、画像平面内における前回
検出された路上物体と路面との接地位置と、新たに検出
された路上物体と路面との接地位置とにより推定した道
路消失線に基づき、白線検出のウィンドウ設定位置を補
正するため、路面の継目等に起因するピッチ角変動のみ
ならず減速度に起因する大幅なピッチ角変動が生じた場
合であっても、精度良い白線認識が行われる。
平面内における前回検出された路上物体と路面との接地
位置と、新たに検出された路上物体と路面との接地位置
により道路消失線を推定するものとした（図−Ａ参
照）。かかる構成においては、画像平面内における前回
検出された路上物体と路面との接地位置と、新たに検出
された路上物体と路面との接地位置とにより推定した道
路消失線に基づき、白線検出のウィンドウ設定位置を補
正するため、路面の継目等に起因するピッチ角変動のみ
ならず減速度に起因する大幅なピッチ角変動が生じた場
合であっても、精度良い白線認識が行われる。
【０００９】また、車両前方の画像を採取し、画像処理
して路面の白線を抽出する撮像入力手段ａを有し、前記
画像上の白線を検出して、路面の３次元形状と路面に対
する車両の相対位置関係とを識別する走行路認識装置に
おいて、前記車両前方の画像内で路上物体を検出する路
上物体検出手段ｂと、前記路上物体と路面との接地面を
路面画像より検出する路上物体接地領域検出手段ｃと、
該接地面位置より道路消失線を推定する道路消失線推定
手段ｄと、制動動作を事前に検出する制動動作事前検出
手段ｇと、該検出結果に基づき前回推定検出された道路
消失線を補正するか否かを判断する補正判断手段ｈと、
前記道路消失線より白線検出のウィンドウ設定位置を補
正する白線検出ウィンドウ設定位置補正手段ｅとを具備
するものとした（図１−Ｃ参照）。かかる構成において
は、上記したものと同様に、道路消失線に基づき、白線
検出のウィンドウ設定位置を補正するため、路面の継目
等に起因するピッチ角変動のみならず減速度に起因する
大幅なピッチ角変動が生じた場合であっても、精度良い
白線認識が行われる。しかも、制動動作を事前に検出し
たときには前回推定検出された道路消失線を補正し、補
正した道路消失線に基づき、白線検出のウィンドウ設定
位置が補正される。
して路面の白線を抽出する撮像入力手段ａを有し、前記
画像上の白線を検出して、路面の３次元形状と路面に対
する車両の相対位置関係とを識別する走行路認識装置に
おいて、前記車両前方の画像内で路上物体を検出する路
上物体検出手段ｂと、前記路上物体と路面との接地面を
路面画像より検出する路上物体接地領域検出手段ｃと、
該接地面位置より道路消失線を推定する道路消失線推定
手段ｄと、制動動作を事前に検出する制動動作事前検出
手段ｇと、該検出結果に基づき前回推定検出された道路
消失線を補正するか否かを判断する補正判断手段ｈと、
前記道路消失線より白線検出のウィンドウ設定位置を補
正する白線検出ウィンドウ設定位置補正手段ｅとを具備
するものとした（図１−Ｃ参照）。かかる構成において
は、上記したものと同様に、道路消失線に基づき、白線
検出のウィンドウ設定位置を補正するため、路面の継目
等に起因するピッチ角変動のみならず減速度に起因する
大幅なピッチ角変動が生じた場合であっても、精度良い
白線認識が行われる。しかも、制動動作を事前に検出し
たときには前回推定検出された道路消失線を補正し、補
正した道路消失線に基づき、白線検出のウィンドウ設定
位置が補正される。
【００１０】
【発明の実施の形態】以下、本発明の一実施の形態を図
にしたがって説明する。図２は本実施の形態におけるハ
ードウェア構成図である。本構成は画像処理とレーダを
併用した前方障害物認識システムの認識結果から得られ
る先行車との相対物理量に基づき先行車との危急度を算
出し、該危急度に基づき各種車両制御を行う為のシステ
ム構成図である。すなわち、１〜３は前方障害物認識シ
ステムであって、カメラ１により撮像された自車前方画
像内に、レーダ２により得られる自車前方の障害物まで
の相対情報（距離・角度）に基づいた注視領域を設定
し、該領域内において前方障害物認識を画像処理装置３
によって行う。また、それとは別に前方画像より白線を
認識する機能を画像処理装置３は有する。また、本シス
テムは、自車速度を検出する車速センサ４、操舵角を検
出する操舵角センサ５を有し、それらよって取得された
外部環境および自車の走行状態認識結果に基づき警報／
自動ブレーキ判定処理部６で車両の制御パラメータの算
出および同制御パラメータのブレーキアクチュエータ
７、操舵アクチュエータ８への出力、警報判断を行い警
報装置９に同判定結果を出力する。
にしたがって説明する。図２は本実施の形態におけるハ
ードウェア構成図である。本構成は画像処理とレーダを
併用した前方障害物認識システムの認識結果から得られ
る先行車との相対物理量に基づき先行車との危急度を算
出し、該危急度に基づき各種車両制御を行う為のシステ
ム構成図である。すなわち、１〜３は前方障害物認識シ
ステムであって、カメラ１により撮像された自車前方画
像内に、レーダ２により得られる自車前方の障害物まで
の相対情報（距離・角度）に基づいた注視領域を設定
し、該領域内において前方障害物認識を画像処理装置３
によって行う。また、それとは別に前方画像より白線を
認識する機能を画像処理装置３は有する。また、本シス
テムは、自車速度を検出する車速センサ４、操舵角を検
出する操舵角センサ５を有し、それらよって取得された
外部環境および自車の走行状態認識結果に基づき警報／
自動ブレーキ判定処理部６で車両の制御パラメータの算
出および同制御パラメータのブレーキアクチュエータ
７、操舵アクチュエータ８への出力、警報判断を行い警
報装置９に同判定結果を出力する。
【００１１】以下に、本発明の特徴である走行認識部に
ついてフローチャートを用いて説明する（図３〜図
５）。走行認識は画像平面より得られる白線候補点と、
あらかじめ想定した道路モデルとを比較することにより
時々刻々更新される画像に対して白線認識結果を更新し
ていく。図７〜図９に座標系および前記道路モデルを示
す。レーダは、前方障害物までの相対距離Ｚｌおよび相
対角度θl（ｌ＝０〜ｌmax）を離散的に出力し、同出力
結果はレーダ座標系ＺL−ＸLで記述されるものとする
（図７−ａ）。また、カメラ座標系はカメラ１のレンズ
を中心とし、カメラ光軸に平行なＺ軸を有する右手系
（Ｘ-Ｙ-Ｚ）である（図７−ｂ）。なお、いずれの座標
系も車両中心線に平行となるようにＺ軸を設定した。従
って、両座標系の関係はオフセットＤＸ、ＤＺによって
のみ記述される。すなわち、 Ｘ＝ＸL＋ＤＸ，Ｚ＝ＺL＋ＤＺ （１） 道路モデル５１にはＸ−Ｚ平面で２次の曲線、Ｙ−Ｚ平
面では１次関数で記述される３Ｄモデルを用いる（図
８）。同モデル５１は５つのパラメータＡ〜Ｅで表現さ
れ、このパラメータを画像より同定することで次の物理
量を推定することができる（式２および３）。
ついてフローチャートを用いて説明する（図３〜図
５）。走行認識は画像平面より得られる白線候補点と、
あらかじめ想定した道路モデルとを比較することにより
時々刻々更新される画像に対して白線認識結果を更新し
ていく。図７〜図９に座標系および前記道路モデルを示
す。レーダは、前方障害物までの相対距離Ｚｌおよび相
対角度θl（ｌ＝０〜ｌmax）を離散的に出力し、同出力
結果はレーダ座標系ＺL−ＸLで記述されるものとする
（図７−ａ）。また、カメラ座標系はカメラ１のレンズ
を中心とし、カメラ光軸に平行なＺ軸を有する右手系
（Ｘ-Ｙ-Ｚ）である（図７−ｂ）。なお、いずれの座標
系も車両中心線に平行となるようにＺ軸を設定した。従
って、両座標系の関係はオフセットＤＸ、ＤＺによって
のみ記述される。すなわち、 Ｘ＝ＸL＋ＤＸ，Ｚ＝ＺL＋ＤＺ （１） 道路モデル５１にはＸ−Ｚ平面で２次の曲線、Ｙ−Ｚ平
面では１次関数で記述される３Ｄモデルを用いる（図
８）。同モデル５１は５つのパラメータＡ〜Ｅで表現さ
れ、このパラメータを画像より同定することで次の物理
量を推定することができる（式２および３）。
【００１２】 Ｘi＝ＢＺ2＋ＣＺ＋Ａ−iＥ （２） Ａ… 左隣接車線とＺ＝０における距離 Ｅ… Ｚ＝０における道幅相当量 tan α ＝ Ｃ … Ｚ＝０における隣接車線に対するＺ
軸のなす角（ヨー角） tan β ＝ Ｄ … Ｚ＝０における路面とＺ軸とのなす
角（ピッチ角） Ｒ＝１/２Ｂ … 曲率半径 （３） ここでは、画面左上を原点とする画像座標系ｘ−ｙ上に
前記モデルを変換した次式を、同画像平面より得られる
白線候補点に対してカーブフィットさせることで前記物
理量（５２）を推定する（図９）。
軸のなす角（ヨー角） tan β ＝ Ｄ … Ｚ＝０における路面とＺ軸とのなす
角（ピッチ角） Ｒ＝１/２Ｂ … 曲率半径 （３） ここでは、画面左上を原点とする画像座標系ｘ−ｙ上に
前記モデルを変換した次式を、同画像平面より得られる
白線候補点に対してカーブフィットさせることで前記物
理量（５２）を推定する（図９）。
【００１３】
【数１】 ここに、 ａ＝−Ａ／Ｈ0 （Ｈ0：カメラ設置位置の地上高） ｂ＝−ＢＨ0F2 （ｆ：焦点距離相当の比例定数） ｃ＝−Ｃf ｄ＝−Ｄf ｅ＝Ｅ／Ｈ0 （５） である。
【００１４】図３のフローチャートにおいて、ステップ
１０１で本フローチャートで使用する各フラグの初期化
を行う。ステップ１０２で画像入力後、ステップ１０３
及び１０４において路上の障害物及び同障害物に基づき
道路消失線の推定を行う。その処理フローは図４、図５
に示す。道路障害物認識はスキャン式レーダを主体とし
た初期検出処理（以下 detecting）と、前回認識した車
両検出位置に基づいて先行車両の位置を画面内から切り
出す処理（以下 tracking）の２つの処理を併用する。
上記 detecting、tracking の選択は flag_c の値をも
って制御する。すなわち、flag_c＝０のときは前フレー
ムにおいて先行車が認識されていないために図５のフロ
ーチャートに示す detecting 処理を行う（２０１）。
図５のフローチャートは、レーダの相対距離・角度情報
より略同一距離を有するグループ（すなわち、連続する
２つの略同一とみなせるレーダ座標系におけるＺ座標を
有する物標）を抽出し、同物標をもって先行車候補とし
て出力するルーチンである。ステップ３０１はここで使
用する各種パラメータを初期化する。“ｋ”は前記略同
一距離を有するグループのラベル、“count”は略同一
距離を出力し続けた回数を計数するカウンタ、“l”は
スキャンビームのラベルであり、その最大値は lmaxで
ある（図６参照）。スキャンは図６に示すように＋ＸＬ
から−ＸＬ方向に行う。なお、“ｌ”によって定まるス
キャンビームの方向は予めθｌとして定まっているもの
とする。ステップ３０２で測定データを離散的に取り込
む。ステップ３０３でｌ番目の距離データが存在すると
判断される場合ステップ３０４へ、存在しない場合はス
テップ３１２へ進む。ステップ３０４ではＺＬl(k)を次
式で算出する。 ＸＬl(k)＝ＺＬl sinθl （６） ステップ３０５では count値をみることにより物標の新
たに検出された物標であるか否かを判定する。count＝
０であれば新たに検出されたｋ番目の物標の左端を検知
したことに相当するので、ステップ３０７へ進む。ステ
ップ３０６では測定された距離値が同一物標のものであ
るか否かを判定する。同一物標であれば、隣合う座標値
ＺＬはほぼ一致すると見做すことができる。同判定は隣
合う測定データによって算出されるＺＬの座標値の差の
絶対値が所定値Ｚ_th以下であるか否かをみることによ
り行う。ステップ３０７では先行車のレーダ座標系にお
ける左側面座標に相当するＸＬ(k)を算出する。 ＸＬ(k)＝Ｚl cosθl （７） その後、ステップ３０８およびステップ３０９にて“co
unt”、“ｌ”をインクリメントし、同一物標のレーダ
座標系における座標を算出する。ステップ３０３および
ステップ３０６が偽の場合、ステップ３１２〜３１５へ
進む。ステップ３１２において、“count”が０でない
ならば、ＸＬ(k)が算出されたことに相当するので、ス
テップ３１３においてＸＲ(k)、すなわち先行車の右側
面座標を算出する。続いて、ステップ３１４、３１５に
おいて“count”のリセット及び同一物標ラベルのカウ
ントアップを行う。以上の処理を経た後、ステップ３１
１でｋmaxに検出した物標数を出力し、レーダによる車
両候補検出ルーチンを終了する。
１０１で本フローチャートで使用する各フラグの初期化
を行う。ステップ１０２で画像入力後、ステップ１０３
及び１０４において路上の障害物及び同障害物に基づき
道路消失線の推定を行う。その処理フローは図４、図５
に示す。道路障害物認識はスキャン式レーダを主体とし
た初期検出処理（以下 detecting）と、前回認識した車
両検出位置に基づいて先行車両の位置を画面内から切り
出す処理（以下 tracking）の２つの処理を併用する。
上記 detecting、tracking の選択は flag_c の値をも
って制御する。すなわち、flag_c＝０のときは前フレー
ムにおいて先行車が認識されていないために図５のフロ
ーチャートに示す detecting 処理を行う（２０１）。
図５のフローチャートは、レーダの相対距離・角度情報
より略同一距離を有するグループ（すなわち、連続する
２つの略同一とみなせるレーダ座標系におけるＺ座標を
有する物標）を抽出し、同物標をもって先行車候補とし
て出力するルーチンである。ステップ３０１はここで使
用する各種パラメータを初期化する。“ｋ”は前記略同
一距離を有するグループのラベル、“count”は略同一
距離を出力し続けた回数を計数するカウンタ、“l”は
スキャンビームのラベルであり、その最大値は lmaxで
ある（図６参照）。スキャンは図６に示すように＋ＸＬ
から−ＸＬ方向に行う。なお、“ｌ”によって定まるス
キャンビームの方向は予めθｌとして定まっているもの
とする。ステップ３０２で測定データを離散的に取り込
む。ステップ３０３でｌ番目の距離データが存在すると
判断される場合ステップ３０４へ、存在しない場合はス
テップ３１２へ進む。ステップ３０４ではＺＬl(k)を次
式で算出する。 ＸＬl(k)＝ＺＬl sinθl （６） ステップ３０５では count値をみることにより物標の新
たに検出された物標であるか否かを判定する。count＝
０であれば新たに検出されたｋ番目の物標の左端を検知
したことに相当するので、ステップ３０７へ進む。ステ
ップ３０６では測定された距離値が同一物標のものであ
るか否かを判定する。同一物標であれば、隣合う座標値
ＺＬはほぼ一致すると見做すことができる。同判定は隣
合う測定データによって算出されるＺＬの座標値の差の
絶対値が所定値Ｚ_th以下であるか否かをみることによ
り行う。ステップ３０７では先行車のレーダ座標系にお
ける左側面座標に相当するＸＬ(k)を算出する。 ＸＬ(k)＝Ｚl cosθl （７） その後、ステップ３０８およびステップ３０９にて“co
unt”、“ｌ”をインクリメントし、同一物標のレーダ
座標系における座標を算出する。ステップ３０３および
ステップ３０６が偽の場合、ステップ３１２〜３１５へ
進む。ステップ３１２において、“count”が０でない
ならば、ＸＬ(k)が算出されたことに相当するので、ス
テップ３１３においてＸＲ(k)、すなわち先行車の右側
面座標を算出する。続いて、ステップ３１４、３１５に
おいて“count”のリセット及び同一物標ラベルのカウ
ントアップを行う。以上の処理を経た後、ステップ３１
１でｋmaxに検出した物標数を出力し、レーダによる車
両候補検出ルーチンを終了する。
【００１５】上記処理で得られた物標位置より道路消失
線を以下の処理を経ることにより算出する。図１０はレ
ーダからの車両候補座標に基づく detecting の説明図
である。ｋ番目の車両側面座標はレーダ車両候補座標を
用いれば、次式で得ることができる。 ｘｌ＝−ｆＸＬ(k)／（ＺＬ(k)＋ＤＺ）＋ｘ0 ｘｒ＝−ｆＸＲ(k)／（ＺＬ(k)＋ＤＺ）＋ｘ0 （８） ここに、ｘ0は画像座標系における光軸座標である。上
記座標ｘｌ、ｘｒと前回白線認識結果により得られた道
路消失線座標ｙ＝d_old を用いて横エッジヒストグラム
作成のためのウィンドウ６１の接地位置の基準となるｙ
＝yb0を算出する。 yb0＝ｆＨ0／（ＺＬ(k)＋ＤＺ）＋d_old （９） ｙ＝yb0±dy、ｘ=xl,xr、で囲まれる領域において横エ
ッジヒストグラム６２を作成する。原画像を例えばSobe
lオペレータ等で処理して得られる横エッジ画像におい
て前記ウィンドウで抽出される局所領域にて＋ｘ方向に
横エッジ強度を加算し、その＋ｙ方向の分布 Ih を得
る。Ih は画面下から上へその分布を探索していったと
きに車両影等、車両下端相当座標に Ih のピークが最初
に現れる。同座標 ｙ＝ybをもって新たな車両下端座標
とする（図４のフローチャートでステップ２０４）。こ
の yb と、レーダにより得られる物標までの距離により
新たな道路消失座標d_newを推定することができる（ス
テップ２０５）。すなわち、 d_new＝yb-ｆＨ0／（ＺＬ(k)＋ＤＺ） （１０） “ｋ”が複数の場合は d_new も複数得られるが、その
平均値をとるなどの処理をする。以上の処理を経た後、
次回からの車両検出は detecting 処理を行わず、track
ing 処理を行う（ステップ２０３）。tracking 処理は
自車線上の物標に対してのみ行う。自車線上か否かの判
断は白線認識結果に基づいて行うため後述する。レーダ
においては、前回の検出された自車線上の物標までの測
距データＺＬに最も近い測距データをもって新たに検出
された物標までの測距データとする。画像処理において
は、図１１に示すように、前回検出された車両下端座標
ｙ＝yb_old と、車両側面座標ｘ＝xl_old、ｘ＝xr_old
を基準に横・縦エッジヒストグラム作成ウィンドウ７
１，７２を設ける。その大きさは、図に示すように、d
x、dy、dy'の余裕幅を設定し、ブレ画像に伴う急峻な変
化に対応できるようにする。横エッジヒストグラム７３
は車両下端座標の検出に、縦エッジヒストグラム７４は
車両側面座標の検出に用い、得られるｙ＝yb、ｘ＝xl、
ｘ＝xrは次回の処理の基準位置として格納する。ステッ
プ１０５（図３）では得られた道路消失線ｙ＝d_new
と、前回得られた道路消失線ｄ＝d_old との差ΔＤを算
出する。ステップ１０６でΔＤをＤ_thを用いて評価
し、前回の道路消失線を基準に白線候補点検出を行い得
ないと判断された場合は、“急激なピッチ角変動が生じ
た”とみなせるのでステップ１０７へ進み、d_old を d
_new に置換する。ステップ１０８、１０９では白線候
補点検出ウィンドウを設定し、白線候補点検出を行う。
白線候補点検出ウィンドウは、例えば、前回検出された
道路モデル８１（図１２）を基準に、前回検出された白
線画像をテンプレートとするウィンドウ８２とする。テ
ンプレート８３はサーチ領域内８４上をサーチさせ、最
も相関の高い位置におけるテンプレートの中点ｘ＝xmij
およびｙ＝yijをもって白線候補点として出力する。こ
こに、“ｉ”および“ｊ”はそれぞれ道路モデルＮｏ.
である。得られた白線候補点に対して前記道路モデルを
最小二乗法などで当て嵌め、道路モデルパラメータを更
新する（ステップ１１０）。ステップ１１１では、前記
車両検出位置（車両側面座標および車両下端座標で規定
される領域）が、ステップ１１０で認証された画像平面
内自車線領域（ｉ＝０、１）内にあるか否かを判断する
ことにより、先行車の自車線内判定を行う。同判定結果
が自車線内に無いと判断された場合には、flag_c=0と
し、tracking-mode を解除する。
線を以下の処理を経ることにより算出する。図１０はレ
ーダからの車両候補座標に基づく detecting の説明図
である。ｋ番目の車両側面座標はレーダ車両候補座標を
用いれば、次式で得ることができる。 ｘｌ＝−ｆＸＬ(k)／（ＺＬ(k)＋ＤＺ）＋ｘ0 ｘｒ＝−ｆＸＲ(k)／（ＺＬ(k)＋ＤＺ）＋ｘ0 （８） ここに、ｘ0は画像座標系における光軸座標である。上
記座標ｘｌ、ｘｒと前回白線認識結果により得られた道
路消失線座標ｙ＝d_old を用いて横エッジヒストグラム
作成のためのウィンドウ６１の接地位置の基準となるｙ
＝yb0を算出する。 yb0＝ｆＨ0／（ＺＬ(k)＋ＤＺ）＋d_old （９） ｙ＝yb0±dy、ｘ=xl,xr、で囲まれる領域において横エ
ッジヒストグラム６２を作成する。原画像を例えばSobe
lオペレータ等で処理して得られる横エッジ画像におい
て前記ウィンドウで抽出される局所領域にて＋ｘ方向に
横エッジ強度を加算し、その＋ｙ方向の分布 Ih を得
る。Ih は画面下から上へその分布を探索していったと
きに車両影等、車両下端相当座標に Ih のピークが最初
に現れる。同座標 ｙ＝ybをもって新たな車両下端座標
とする（図４のフローチャートでステップ２０４）。こ
の yb と、レーダにより得られる物標までの距離により
新たな道路消失座標d_newを推定することができる（ス
テップ２０５）。すなわち、 d_new＝yb-ｆＨ0／（ＺＬ(k)＋ＤＺ） （１０） “ｋ”が複数の場合は d_new も複数得られるが、その
平均値をとるなどの処理をする。以上の処理を経た後、
次回からの車両検出は detecting 処理を行わず、track
ing 処理を行う（ステップ２０３）。tracking 処理は
自車線上の物標に対してのみ行う。自車線上か否かの判
断は白線認識結果に基づいて行うため後述する。レーダ
においては、前回の検出された自車線上の物標までの測
距データＺＬに最も近い測距データをもって新たに検出
された物標までの測距データとする。画像処理において
は、図１１に示すように、前回検出された車両下端座標
ｙ＝yb_old と、車両側面座標ｘ＝xl_old、ｘ＝xr_old
を基準に横・縦エッジヒストグラム作成ウィンドウ７
１，７２を設ける。その大きさは、図に示すように、d
x、dy、dy'の余裕幅を設定し、ブレ画像に伴う急峻な変
化に対応できるようにする。横エッジヒストグラム７３
は車両下端座標の検出に、縦エッジヒストグラム７４は
車両側面座標の検出に用い、得られるｙ＝yb、ｘ＝xl、
ｘ＝xrは次回の処理の基準位置として格納する。ステッ
プ１０５（図３）では得られた道路消失線ｙ＝d_new
と、前回得られた道路消失線ｄ＝d_old との差ΔＤを算
出する。ステップ１０６でΔＤをＤ_thを用いて評価
し、前回の道路消失線を基準に白線候補点検出を行い得
ないと判断された場合は、“急激なピッチ角変動が生じ
た”とみなせるのでステップ１０７へ進み、d_old を d
_new に置換する。ステップ１０８、１０９では白線候
補点検出ウィンドウを設定し、白線候補点検出を行う。
白線候補点検出ウィンドウは、例えば、前回検出された
道路モデル８１（図１２）を基準に、前回検出された白
線画像をテンプレートとするウィンドウ８２とする。テ
ンプレート８３はサーチ領域内８４上をサーチさせ、最
も相関の高い位置におけるテンプレートの中点ｘ＝xmij
およびｙ＝yijをもって白線候補点として出力する。こ
こに、“ｉ”および“ｊ”はそれぞれ道路モデルＮｏ.
である。得られた白線候補点に対して前記道路モデルを
最小二乗法などで当て嵌め、道路モデルパラメータを更
新する（ステップ１１０）。ステップ１１１では、前記
車両検出位置（車両側面座標および車両下端座標で規定
される領域）が、ステップ１１０で認証された画像平面
内自車線領域（ｉ＝０、１）内にあるか否かを判断する
ことにより、先行車の自車線内判定を行う。同判定結果
が自車線内に無いと判断された場合には、flag_c=0と
し、tracking-mode を解除する。
【００１６】次に、第２の実施例について説明する。第
１の実施例では、道路消失点の補正を測距データに基づ
いて行ったが、フレーム間での距離変動は小さいという
過程のもとに前回検出された下端座標 yb_old（すなわ
ち、急激なピッチ角変動前の下端座標）に基づき行って
もよい。その場合、補正消失線座標は次式で得られる。 d_new=yb-yb_old+d_old （１１） 次に、第３の実施例について説明する。第１の実施例で
は道路消失線更新の判断は、前回検出された道路消失線
座標と新たに検出された道路消失線座標との差に基づい
て行っているが、例えば、自動ブレーキシステム搭載車
の場合、所定値以上の減速度が発生すると判断された場
合、それをトリガとして道路消失線の補正判断を行って
もよい。
１の実施例では、道路消失点の補正を測距データに基づ
いて行ったが、フレーム間での距離変動は小さいという
過程のもとに前回検出された下端座標 yb_old（すなわ
ち、急激なピッチ角変動前の下端座標）に基づき行って
もよい。その場合、補正消失線座標は次式で得られる。 d_new=yb-yb_old+d_old （１１） 次に、第３の実施例について説明する。第１の実施例で
は道路消失線更新の判断は、前回検出された道路消失線
座標と新たに検出された道路消失線座標との差に基づい
て行っているが、例えば、自動ブレーキシステム搭載車
の場合、所定値以上の減速度が発生すると判断された場
合、それをトリガとして道路消失線の補正判断を行って
もよい。
【００１７】
【発明の効果】以上の説明で明らかなように、請求項１
〜請求項３の発明においては、車両前方の画像内の路上
物体と路面との接地面位置より推定した道路消失線や、
路上物体までの自車との相対距離と、車両前方の画像内
の路上物体と路面との接地面位置とにより推定した道路
消失線や、画像平面内における前回検出された路上物体
と路面との接地位置と、新たに検出された路上物体と路
面との接地位置とにより推定した道路消失線に基づき、
白線検出のウィンドウ設定位置を補正することにより、
路面の継目等に起因するピッチ角変動のみならず減速度
に起因する大幅なピッチ角変動が生じた場合であって
も、精度良い白線認識が行われるようにした。よって、
急峻なピッチ角変動が生ずる場合でも信頼性の高い走行
路認識が可能となる。
〜請求項３の発明においては、車両前方の画像内の路上
物体と路面との接地面位置より推定した道路消失線や、
路上物体までの自車との相対距離と、車両前方の画像内
の路上物体と路面との接地面位置とにより推定した道路
消失線や、画像平面内における前回検出された路上物体
と路面との接地位置と、新たに検出された路上物体と路
面との接地位置とにより推定した道路消失線に基づき、
白線検出のウィンドウ設定位置を補正することにより、
路面の継目等に起因するピッチ角変動のみならず減速度
に起因する大幅なピッチ角変動が生じた場合であって
も、精度良い白線認識が行われるようにした。よって、
急峻なピッチ角変動が生ずる場合でも信頼性の高い走行
路認識が可能となる。
【００１８】また、請求項４の発明においては、上記と
同様に、単に道路消失線に基づき、白線検出のウィンド
ウ設定位置を補正するだけでなく、制動動作を事前に検
出したときには前回推定検出された道路消失線を補正
し、補正した道路消失線に基づき、白線検出のウィンド
ウ設定位置を補正するようにした。よって、白線検出の
ウィンドウ設定位置を補正するの補正精度が向上し、よ
り信頼性の高い走行路認識が可能となる。
同様に、単に道路消失線に基づき、白線検出のウィンド
ウ設定位置を補正するだけでなく、制動動作を事前に検
出したときには前回推定検出された道路消失線を補正
し、補正した道路消失線に基づき、白線検出のウィンド
ウ設定位置を補正するようにした。よって、白線検出の
ウィンドウ設定位置を補正するの補正精度が向上し、よ
り信頼性の高い走行路認識が可能となる。
【００１９】
【図１】本発明のクレーム対応図である。
【図２】本発明の一実施の形態を示すハードウェア構成
図である。
図である。
【図３】同実施の形態の動作におけるメインルーチンを
示すフローチャートである。
示すフローチャートである。
【図４】同実施の形態の動作におけるサブルーチンを示
すフローチャートである。
すフローチャートである。
【図５】同実施の形態の動作における他のサブルーチン
を示すフローチャートである。
を示すフローチャートである。
【図６】レーダに基づく先行車認識説明図である。
【図７】座標系説明図である。
【図８】道路モデル説明図である。
【図９】他の道路モデル説明図である。
【図１０】画像処理による車両下端検出説明図である。
【図１１】画像処理による車両追跡処理説明図である。
【図１２】白線候補点検出手法説明図である。
【図１３】従来技術を示す説明図である。
【図１４】従来技術の問題点を示す説明図である。
ａ 撮像入力手段 ｂ 路上物体検出手段 ｃ 路上物体接地領域検出手段 ｄ 道路消失線推定手段 ｅ 白線検出ウインドウ設定位置補正手段 ｆ 相対距離検出手段 ｇ 制動操作事前検出手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 // Ｇ０１Ｂ 11/00 Ｇ０１Ｂ 11/00 Ｈ Ｇ０１Ｃ 21/00 Ｇ０１Ｃ 21/00 Ａ Ｇ０６Ｆ 15/70 ３５０Ｂ
Claims (4)
- 【請求項１】 車両前方の画像を採取し、画像処理して
路面の白線を抽出する撮像入力手段を有し、前記画像上
の白線を検出して、路面の３次元形状と路面に対する車
両の相対位置関係とを認識する走行路認識装置におい
て、 前記車両前方の画像内で路上物体を検出する路上物体検
出手段と、 前記路上物体と路面との接地面を路面画像より検出する
路上物体接地領域検出手段と、 該接地面位置より道路消失線を推定する道路消失線推定
手段と、 前記道路消失線より白線検出のウィンドウ設定位置を補
正する白線検出ウィンドウ設定位置補正手段と、 を具備することを特徴とする走行路認識装置。 - 【請求項２】 前記道路消失線推定手段は、路上物体ま
での自車との相対距離を検出する相対距離検出手段によ
って得られる相対距離と、画像平面内における前記路上
物体と路面との接地位置により道路消失線を推定するこ
とを特徴とする請求項１に記載の走行路認識装置。 - 【請求項３】 前記道路消失線推定手段は、画像平面内
における前回検出された路上物体と路面との接地位置
と、新たに検出された路上物体と路面との接地位置によ
り道路消失線を推定することを特徴とする請求項１に記
載の走行路認識装置。 - 【請求項４】 車両前方の画像を採取し、画像処理して
路面の白線を抽出する撮像入力手段を有し、前記画像上
の白線を検出して、路面の３次元形状と路面に対する車
両の相対位置関係とを識別する走行路認識装置におい
て、 前記車両前方の画像内で路上物体を検出する路上物体検
出手段と、 前記路上物体と路面との接地面を路面画像より検出する
路上物体接地領域検出手段と、 該接地面位置より道路消失線を推定する道路消失線推定
手段と、 制動動作を事前に検出する制動動作事前検出手段と、 該検出結果に基づき前回推定検出された道路消失線を補
正するか否かを判断する補正判断手段と、 前記道路消失線より白線検出のウィンドウ設定位置を補
正する白線検出ウィンドウ設定位置補正手段と、 を具備することを特徴とする走行路認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8195701A JPH1021411A (ja) | 1996-07-05 | 1996-07-05 | 走行路認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8195701A JPH1021411A (ja) | 1996-07-05 | 1996-07-05 | 走行路認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1021411A true JPH1021411A (ja) | 1998-01-23 |
Family
ID=16345550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8195701A Pending JPH1021411A (ja) | 1996-07-05 | 1996-07-05 | 走行路認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1021411A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003237509A (ja) * | 2002-02-13 | 2003-08-27 | Nissan Motor Co Ltd | 車両用外界認識装置 |
| JP2007218705A (ja) * | 2006-02-15 | 2007-08-30 | Mitsubishi Electric Corp | 白線モデル計測システム、計測台車および白線モデル計測装置 |
| JP2015510105A (ja) * | 2011-12-20 | 2015-04-02 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | ３ｄカメラを用いた車両周辺部の凹凸プロファイルの割り出し |
-
1996
- 1996-07-05 JP JP8195701A patent/JPH1021411A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003237509A (ja) * | 2002-02-13 | 2003-08-27 | Nissan Motor Co Ltd | 車両用外界認識装置 |
| JP2007218705A (ja) * | 2006-02-15 | 2007-08-30 | Mitsubishi Electric Corp | 白線モデル計測システム、計測台車および白線モデル計測装置 |
| JP2015510105A (ja) * | 2011-12-20 | 2015-04-02 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ | ３ｄカメラを用いた車両周辺部の凹凸プロファイルの割り出し |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4328692B2 (ja) | 物体検出装置 | |
| JP3357749B2 (ja) | 車両の走行路画像処理装置 | |
| JP3711405B2 (ja) | カメラを利用した車両の道路情報抽出方法及びシステム | |
| US20010031068A1 (en) | Target detection system using radar and image processing | |
| EP1783683A1 (en) | Mobile peripheral monitor | |
| JP2000136905A (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
| US10235579B2 (en) | Vanishing point correction apparatus and method | |
| JP2005329779A (ja) | 障害物認識方法及び障害物認識装置 | |
| WO2019065970A1 (ja) | 車両用外界認識装置 | |
| JP2003099762A (ja) | 前方車両認識装置及び認識方法 | |
| JPH08156723A (ja) | 車両用障害物検出装置 | |
| JP3079841B2 (ja) | 道路形状及び自車両位置の計測装置 | |
| JP2002334330A (ja) | 車両認識装置 | |
| KR102358547B1 (ko) | 유동성을 지닌 mms의 실측치 실시간 보정을 통한 수집데이터 출력시스템 | |
| JP2000293693A (ja) | 障害物検出方法および装置 | |
| JP3384278B2 (ja) | 距離計測装置 | |
| JP2003308599A (ja) | 走行路環境検出装置 | |
| JP3757500B2 (ja) | 先行車追従装置 | |
| JP7828741B2 (ja) | 画像処理装置 | |
| JP4270386B2 (ja) | 移動体移動量算出装置 | |
| JP3319383B2 (ja) | 走行路認識装置 | |
| JP2940366B2 (ja) | 対象物の追従認識装置 | |
| JPH08315299A (ja) | 車両の外部環境認識装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP3304905B2 (ja) | 対象物の追従認識装置 |