JP2003252149A - 車線認識画像処理装置及びその処理を実行させるためのプログラム - Google Patents
車線認識画像処理装置及びその処理を実行させるためのプログラムInfo
- Publication number
- JP2003252149A JP2003252149A JP2002056167A JP2002056167A JP2003252149A JP 2003252149 A JP2003252149 A JP 2003252149A JP 2002056167 A JP2002056167 A JP 2002056167A JP 2002056167 A JP2002056167 A JP 2002056167A JP 2003252149 A JP2003252149 A JP 2003252149A
- Authority
- JP
- Japan
- Prior art keywords
- lane marking
- point
- points
- lane
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 レーンマーキング候補点を候補点同士の傾き
比較により取捨選択し、本線側のレーンマーキングを正
しく認識する。 【解決手段】 前方を撮影する撮影手段により得られた
画像を一時記憶し、記憶された画像を読み出してレーン
マーキング探索範囲を設定し、レーンマーキング探索ウ
ィンドウ内よりレーンマーキング候補点を検出し、検出
したレーンマーキング候補点を候補点同士の傾き比較に
より取捨選択し、選択されたレーンマーキング候補点の
集合を数学的モデル式により近似してレーンマーキング
数学的モデル式を推定するようにした。
比較により取捨選択し、本線側のレーンマーキングを正
しく認識する。 【解決手段】 前方を撮影する撮影手段により得られた
画像を一時記憶し、記憶された画像を読み出してレーン
マーキング探索範囲を設定し、レーンマーキング探索ウ
ィンドウ内よりレーンマーキング候補点を検出し、検出
したレーンマーキング候補点を候補点同士の傾き比較に
より取捨選択し、選択されたレーンマーキング候補点の
集合を数学的モデル式により近似してレーンマーキング
数学的モデル式を推定するようにした。
Description
【０００１】
【発明の属する技術分野】この発明は、自動車の予防安
全を目的とした車線逸脱警報や運転者の負担軽減を目的
としたレーンキープ操舵アシストなど、車両制御のため
の道路に対する車両位置情報を提供する車線認識画像処
理装置に関するものである。
全を目的とした車線逸脱警報や運転者の負担軽減を目的
としたレーンキープ操舵アシストなど、車両制御のため
の道路に対する車両位置情報を提供する車線認識画像処
理装置に関するものである。
【０００２】
【従来の技術】従来の車線認識画像処理装置としては、
例えば、特開２０００−１０５８９８号公報や特開平１
１−２３２４６７号公報のように、左右レーンマーキン
グ間隔の増加、レーンマーキング幅の増加から分岐路を
判定する分岐判定手段を備えるものがある。
例えば、特開２０００−１０５８９８号公報や特開平１
１−２３２４６７号公報のように、左右レーンマーキン
グ間隔の増加、レーンマーキング幅の増加から分岐路を
判定する分岐判定手段を備えるものがある。
【０００３】また、特開２０００―５５６７７号公報の
ようなナビゲーション装置との連携により分岐情報を得
るものがある。
ようなナビゲーション装置との連携により分岐情報を得
るものがある。
【０００４】また、特開平１１−２８１３５２号公報、
特開平６−２２５３０８号公報のように、車両挙動から
レーンマーキングの検出パラメータやレーンマーキング
探索ウィンドウ位置を設定する方法がある。
特開平６−２２５３０８号公報のように、車両挙動から
レーンマーキングの検出パラメータやレーンマーキング
探索ウィンドウ位置を設定する方法がある。
【０００５】また、特開平９−９１４４０号公報のよう
に所定のモデルデータと比較することにより、レーンマ
ーキング候補が複数存在する場合でも自車線のレーンマ
ーキングを正しく認識するというものがある。
に所定のモデルデータと比較することにより、レーンマ
ーキング候補が複数存在する場合でも自車線のレーンマ
ーキングを正しく認識するというものがある。
【０００６】
【発明が解決しようとする課題】左右レーンマーキング
間隔の広がりから分岐路を判定する場合は、ナビゲーシ
ョン装置の経路案内における自車位置同定には有効であ
るが、車両制御を目的としたリアルタイム画像処理であ
る車線認識においては、既に出口側レーンマーキングを
誤認識していることを示し、事前に誤認識を回避するに
は適さない。
間隔の広がりから分岐路を判定する場合は、ナビゲーシ
ョン装置の経路案内における自車位置同定には有効であ
るが、車両制御を目的としたリアルタイム画像処理であ
る車線認識においては、既に出口側レーンマーキングを
誤認識していることを示し、事前に誤認識を回避するに
は適さない。
【０００７】ナビゲーション装置から分岐情報を得る場
合は、車両にナビゲーション装置搭載が前提条件となる
うえ、自車位置同定において進行方向の誤差がなく、か
つ走行車線・追い越し車線いずれを走行中かを同定でき
なければ分岐情報を有効に活用することはできない。
合は、車両にナビゲーション装置搭載が前提条件となる
うえ、自車位置同定において進行方向の誤差がなく、か
つ走行車線・追い越し車線いずれを走行中かを同定でき
なければ分岐情報を有効に活用することはできない。
【０００８】分岐路形状の記憶データと比較することに
より分岐路であることを判定する場合は、事前に分岐路
の存在を知ることができるが、画像処理装置内にモデル
データ格納用の大容量のメモリを搭載する必要があり、
またデータ比較のために膨大な処理時間を必要とするた
め、ハードウェア・ソフトウェア負荷が非常に大きくな
る。
より分岐路であることを判定する場合は、事前に分岐路
の存在を知ることができるが、画像処理装置内にモデル
データ格納用の大容量のメモリを搭載する必要があり、
またデータ比較のために膨大な処理時間を必要とするた
め、ハードウェア・ソフトウェア負荷が非常に大きくな
る。
【０００９】レーンマーキング数学的モデル式係数その
ものに対して時間的な低周波数域フィルタ処理を施す
と、車線認識結果にフィルタ時定数分の位相遅れが生
じ、車両制御を行うためのリアルタイム性が崩れる。
ものに対して時間的な低周波数域フィルタ処理を施す
と、車線認識結果にフィルタ時定数分の位相遅れが生
じ、車両制御を行うためのリアルタイム性が崩れる。
【００１０】レーンマーキング探索ウィンドウに対して
時間的な低周波数域フィルタ処理を施すと、車線認識結
果の位相遅れは防ぐことができるが、車両の急な横移動
時にはレーンマーキングが探索ウィンドウ外になり検出
できなくなるため、急変時にはフィルタ処理をキャンセ
ルするという例外的処理を追加しなければならない。か
つ例外処理実施の判定には、左右いずれかのレーンマー
キングの横位置の動きを常にモニタする必要があり、し
たがってフィルタ処理を施すレーンマーキングは左右い
ずれかに限定される。
時間的な低周波数域フィルタ処理を施すと、車線認識結
果の位相遅れは防ぐことができるが、車両の急な横移動
時にはレーンマーキングが探索ウィンドウ外になり検出
できなくなるため、急変時にはフィルタ処理をキャンセ
ルするという例外的処理を追加しなければならない。か
つ例外処理実施の判定には、左右いずれかのレーンマー
キングの横位置の動きを常にモニタする必要があり、し
たがってフィルタ処理を施すレーンマーキングは左右い
ずれかに限定される。
【００１１】数学的モデル式算出において、候補点集合
に誤検出点が混在すると、得られるモデル式の信頼性が
著しく低下する。特に、分岐路出口では出口側レーンマ
ーキングを誤検出すると、車両が進むにつれて、本来、
誤りである出口側レーンマーキング上の検出点数の割合
が増し、本線側レーンマーキングを見失うという悪循環
に陥る。
に誤検出点が混在すると、得られるモデル式の信頼性が
著しく低下する。特に、分岐路出口では出口側レーンマ
ーキングを誤検出すると、車両が進むにつれて、本来、
誤りである出口側レーンマーキング上の検出点数の割合
が増し、本線側レーンマーキングを見失うという悪循環
に陥る。
【００１２】この発明は、レーンマーキング候補点を候
補点同士の傾き比較により取捨選択するという平易なア
ルゴリズムでソフトウェア的に処理し、分岐路通過時に
おいて、ナビゲーション装置などの他のインフラ情報の
助けを必要とせずに、本線側のレーンマーキングを正し
く認識しようとする車線認識画像処理装置及びその処理
を実行させるためのプログラムを得ることを目的とす
る。
補点同士の傾き比較により取捨選択するという平易なア
ルゴリズムでソフトウェア的に処理し、分岐路通過時に
おいて、ナビゲーション装置などの他のインフラ情報の
助けを必要とせずに、本線側のレーンマーキングを正し
く認識しようとする車線認識画像処理装置及びその処理
を実行させるためのプログラムを得ることを目的とす
る。
【００１３】
【課題を解決するための手段】この発明に係わる車線認
識画像処理装置は、前方を撮影する撮影手段と、この撮
影手段により得られた画像を一時記憶する画像記憶手段
と、この画像記憶手段より読み出した画像に対してレー
ンマーキング探索範囲を設定するレーンマーキング探索
ウィンドウ設定手段と、このレーンマーキング探索ウィ
ンドウ内よりレーンマーキング候補点を検出するレーン
マーキング候補点抽出手段と、このレーンマーキング候
補点抽出手段により選択されたレーンマーキング候補点
の集合を数学的モデル式により近似してレーンマーキン
グ数学的モデル式を推定する車線認識手段を備え、上記
レーンマーキング候補点抽出手段は、これにより抽出さ
れたレーンマーキング候補点を候補点同士の傾き比較に
より取捨選択するレーンマーキング候補点選択手段を備
えるものである。
識画像処理装置は、前方を撮影する撮影手段と、この撮
影手段により得られた画像を一時記憶する画像記憶手段
と、この画像記憶手段より読み出した画像に対してレー
ンマーキング探索範囲を設定するレーンマーキング探索
ウィンドウ設定手段と、このレーンマーキング探索ウィ
ンドウ内よりレーンマーキング候補点を検出するレーン
マーキング候補点抽出手段と、このレーンマーキング候
補点抽出手段により選択されたレーンマーキング候補点
の集合を数学的モデル式により近似してレーンマーキン
グ数学的モデル式を推定する車線認識手段を備え、上記
レーンマーキング候補点抽出手段は、これにより抽出さ
れたレーンマーキング候補点を候補点同士の傾き比較に
より取捨選択するレーンマーキング候補点選択手段を備
えるものである。
【００１４】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きが同符号と
なる場合は選択対象の端点を有効とし、異符号となる場
合は選択対象の端点を無効にする処理を行うものであ
る。
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きが同符号と
なる場合は選択対象の端点を有効とし、異符号となる場
合は選択対象の端点を無効にする処理を行うものであ
る。
【００１５】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うものである。
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うものである。
【００１６】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うものである。
段は、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うものである。
【００１７】また、上記レーンマーキング候補点選択手
段を、左又は右レーンマーキングが特定の種類の場合に
動作させるようにしたものである。さらにまた、上記レ
ーンマーキング候補点選択手段を、ウィンカ・スイッチ
がオフの場合に動作させるようにしたものである。
段を、左又は右レーンマーキングが特定の種類の場合に
動作させるようにしたものである。さらにまた、上記レ
ーンマーキング候補点選択手段を、ウィンカ・スイッチ
がオフの場合に動作させるようにしたものである。
【００１８】また、この発明に係わる車線認識画像処理
を実行させるためのプログラムは、前方を撮影する撮影
手段により得られた画像を一時記憶し、記憶された画像
を読み出してレーンマーキング探索範囲を設定し、レー
ンマーキング探索ウィンドウ内よりレーンマーキング候
補点を検出し、検出したレーンマーキング候補点を候補
点同士の傾き比較により取捨選択し、選択されたレーン
マーキング候補点の集合を数学的モデル式により近似し
てレーンマーキング数学的モデル式を推定するようにし
たものである。
を実行させるためのプログラムは、前方を撮影する撮影
手段により得られた画像を一時記憶し、記憶された画像
を読み出してレーンマーキング探索範囲を設定し、レー
ンマーキング探索ウィンドウ内よりレーンマーキング候
補点を検出し、検出したレーンマーキング候補点を候補
点同士の傾き比較により取捨選択し、選択されたレーン
マーキング候補点の集合を数学的モデル式により近似し
てレーンマーキング数学的モデル式を推定するようにし
たものである。
【００１９】また、水平線を１つの軸とする直交座標系
において、レーンマーキング候補点のうち既に有効とな
った隣接する2点と、これから選択するか否かを決定す
る１点を端点（すなわち選択対象）とする計3点を対象
に、隣接する2点間を結ぶ直線の傾きを求め、これらの
傾きが同符号となる場合は選択対象の端点を有効とし、
異符号となる場合は選択対象の端点を無効にする処理を
行うようにしたものである。
において、レーンマーキング候補点のうち既に有効とな
った隣接する2点と、これから選択するか否かを決定す
る１点を端点（すなわち選択対象）とする計3点を対象
に、隣接する2点間を結ぶ直線の傾きを求め、これらの
傾きが同符号となる場合は選択対象の端点を有効とし、
異符号となる場合は選択対象の端点を無効にする処理を
行うようにしたものである。
【００２０】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うものである。さらに
また、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うようにしたもの
である。
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うものである。さらに
また、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うようにしたもの
である。
【００２１】
【発明の実施の形態】実施の形態１．以下、この発明の
実施の形態を図面とともに説明する。図中同一符号は同
一または相当する部分を示す。なお、この発明と関連す
る発明は、平成１３年４月１２日付けで出願した特願２
００１−１１４４８８号明細書「車線認識のための画像
処理装置並びに画像処理法」に記載されている。図１
は、この発明の実施の形態１の車線認識画像処理装置の
構成を示すブロック図である。図２は、実施の形態１の
車線認識画像処理装置の処理フローを示すフローチャー
トである。
実施の形態を図面とともに説明する。図中同一符号は同
一または相当する部分を示す。なお、この発明と関連す
る発明は、平成１３年４月１２日付けで出願した特願２
００１−１１４４８８号明細書「車線認識のための画像
処理装置並びに画像処理法」に記載されている。図１
は、この発明の実施の形態１の車線認識画像処理装置の
構成を示すブロック図である。図２は、実施の形態１の
車線認識画像処理装置の処理フローを示すフローチャー
トである。
【００２２】撮像手段である車載カメラ１が車両の前部
に設置され、車両前方の路面を撮影する。得られた画像
は画像処理ＥＣＵ（Electronic Control Unit）２に入
力され画像処理される。画像処理ＥＣＵ２からの信号
は，メインＥＣＵ３に入力され、画像記憶手段４に一時
的に記憶される。一方、進行方向検出器としてのウイン
カ・スイッチ５からターンシグナルがメインＥＣＵ３に
入力される。メインＥＣＵ３は画像記憶手段４より読み
出した画像に対して、レーンマーキング探索ウィンドウ
設定手段６でレーンマーキング探索範囲を探索ウインド
ウとして設定する。このレーンマーキング探索ウィンド
ウ内よりレーンマーキング候補点抽出手段７でレーンマ
ーキング候補点を検出する。検出したレーンマーキング
候補点をレーンマーキング候補点選択手段８で、候補点
同士の傾き比較により取捨選択する。選択されたレーン
マーキング候補点の集合を車線認識手段９で、数学的モ
デル式により近似してレーンマーキング数学的モデル式
を推定する。これを車線認識結果出力部１０に出力し、
舵角指示などに利用する。
に設置され、車両前方の路面を撮影する。得られた画像
は画像処理ＥＣＵ（Electronic Control Unit）２に入
力され画像処理される。画像処理ＥＣＵ２からの信号
は，メインＥＣＵ３に入力され、画像記憶手段４に一時
的に記憶される。一方、進行方向検出器としてのウイン
カ・スイッチ５からターンシグナルがメインＥＣＵ３に
入力される。メインＥＣＵ３は画像記憶手段４より読み
出した画像に対して、レーンマーキング探索ウィンドウ
設定手段６でレーンマーキング探索範囲を探索ウインド
ウとして設定する。このレーンマーキング探索ウィンド
ウ内よりレーンマーキング候補点抽出手段７でレーンマ
ーキング候補点を検出する。検出したレーンマーキング
候補点をレーンマーキング候補点選択手段８で、候補点
同士の傾き比較により取捨選択する。選択されたレーン
マーキング候補点の集合を車線認識手段９で、数学的モ
デル式により近似してレーンマーキング数学的モデル式
を推定する。これを車線認識結果出力部１０に出力し、
舵角指示などに利用する。
【００２３】図２のフローチャートについて説明する。
この種の前述した従来例の車線画像処理装置と基本部分
のハードウェア構成は共通であるが、ステップＳ４’の
レーンマーキング候補点選択において、レーンマーキン
グ候補点を取捨選択する部分が大きく異なる。
この種の前述した従来例の車線画像処理装置と基本部分
のハードウェア構成は共通であるが、ステップＳ４’の
レーンマーキング候補点選択において、レーンマーキン
グ候補点を取捨選択する部分が大きく異なる。
【００２４】ステップＳ１において、図３に示すよう
に、車両１２に取り付けたカメラ１により車両前方を撮
影する。得られた画像は図４に示すように、自車線の左
右レーンマーキング１３，１４が水平画角内に収まって
いるものとする。ステップＳ２において、図４に示すよ
うな画像を画像記憶手段（画像メモリ）４に取り込む。
ステップＳ３において、レーンマーキング候補点１５，
１６を探索する水平方向走査範囲を、図５に示すレーン
マーキング探索ウィンドウ１９,２０（破線で囲んだ部
分）により設定する。
に、車両１２に取り付けたカメラ１により車両前方を撮
影する。得られた画像は図４に示すように、自車線の左
右レーンマーキング１３，１４が水平画角内に収まって
いるものとする。ステップＳ２において、図４に示すよ
うな画像を画像記憶手段（画像メモリ）４に取り込む。
ステップＳ３において、レーンマーキング候補点１５，
１６を探索する水平方向走査範囲を、図５に示すレーン
マーキング探索ウィンドウ１９,２０（破線で囲んだ部
分）により設定する。
【００２５】ステップＳ４において、図５に示す所定の
垂直方向位置Ｖのライン２５を、レーンマーキング探索
ウィンドウ１９，２０内で、水平Ｈ方向に走査し、画像
メモリ４より読み出した輝度分布を基に、○で表すレー
ンマーキング候補点１５，１６を検出する。このＨ方向
走査線であるレーンマーキング探索ライン２５は、左右
共通のV座標で、 Ｖn ｎ＝０，１，----，Ｎ−１のN
本設定する。ステップＳ４’において、ステップＳ４で
得られたレーンマーキング候補点１５，１６の取捨選択
を行う。図６に示す左側分岐を例に、本線側レーンマー
キング２１に対して出口側レーンマーキング２２上の候
補点２４を除去する手順について説明する。図６に示す
ように、候補点同士の傾きとは、水平座標／垂直座標＝
△Ｈ／△Ｖを指す。この傾きを手前から比較し、同符号
ならば候補点有効、異符号ならば無効とする。
垂直方向位置Ｖのライン２５を、レーンマーキング探索
ウィンドウ１９，２０内で、水平Ｈ方向に走査し、画像
メモリ４より読み出した輝度分布を基に、○で表すレー
ンマーキング候補点１５，１６を検出する。このＨ方向
走査線であるレーンマーキング探索ライン２５は、左右
共通のV座標で、 Ｖn ｎ＝０，１，----，Ｎ−１のN
本設定する。ステップＳ４’において、ステップＳ４で
得られたレーンマーキング候補点１５，１６の取捨選択
を行う。図６に示す左側分岐を例に、本線側レーンマー
キング２１に対して出口側レーンマーキング２２上の候
補点２４を除去する手順について説明する。図６に示す
ように、候補点同士の傾きとは、水平座標／垂直座標＝
△Ｈ／△Ｖを指す。この傾きを手前から比較し、同符号
ならば候補点有効、異符号ならば無効とする。
【００２６】以下、図６のステップＳ-０，---，Ｓ-８
について説明する。ｎはレーンマーキング探索ラインＮ
ｏ．を指す。ただし、便宜上、すべてのレーンマーキン
グ探索ライン上にレーンマーキング候補点が存在するも
のとして説明するが、実際は間欠白線の場合など候補点
が存在しない探索ラインＮｏ．は以下の処理では欠番と
なる。ステップＳ-０では，図７（ａ）（ｂ）に示すよ
うに、候補点ｎ＝０と消失点との傾き（０，ｆ0e）と候
補点ｎ＝０，１の傾きを算出する。なお、この発明で
消失点とは画像上の走行車線の先端で消失する点をい
う。処理上では、近傍の候補点、例えば、ｎ<８までの
候補点に対して左右それぞれ直線近似し、得られた左右
の近似直線の交点を消失点とする。傾き（０，ｆ0e）と
傾きの符号を比較する。同符号のため、候補点ｎ＝１
は有効とする。
について説明する。ｎはレーンマーキング探索ラインＮ
ｏ．を指す。ただし、便宜上、すべてのレーンマーキン
グ探索ライン上にレーンマーキング候補点が存在するも
のとして説明するが、実際は間欠白線の場合など候補点
が存在しない探索ラインＮｏ．は以下の処理では欠番と
なる。ステップＳ-０では，図７（ａ）（ｂ）に示すよ
うに、候補点ｎ＝０と消失点との傾き（０，ｆ0e）と候
補点ｎ＝０，１の傾きを算出する。なお、この発明で
消失点とは画像上の走行車線の先端で消失する点をい
う。処理上では、近傍の候補点、例えば、ｎ<８までの
候補点に対して左右それぞれ直線近似し、得られた左右
の近似直線の交点を消失点とする。傾き（０，ｆ0e）と
傾きの符号を比較する。同符号のため、候補点ｎ＝１
は有効とする。
【００２７】ステップＳ-１では、候補点ｎ＝１，２か
ら、候補点同士の傾きを算出する。ステップＳ-２で
は、傾きと傾きの符号を比較する。同符号のため、
候補点ｎ＝２は有効とする。ステップＳ-３では、候補
点ｎ＝２，３から、傾きを算出する。ステップＳ-４
では、傾きと傾きの符号を比較する。異符号のた
め、候補点ｎ＝３は無効とする。 ステップＳ-５では、候補点ｎ＝３が無効となったた
め、候補点ｎ＝２，４から、傾きを算出する。ステッ
プＳ-６では、傾きと傾きの符号を比較する。異符号
のため、候補点ｎ＝４は無効とする。 ステップＳ-７では、候補点ｎ＝４が無効となったた
め、候補点ｎ＝２，５から、傾きを算出する。ステッ
プＳ-８では、傾きと傾きの符号を比較する。同符号
のため、候補点ｎ＝５は有効とする。
ら、候補点同士の傾きを算出する。ステップＳ-２で
は、傾きと傾きの符号を比較する。同符号のため、
候補点ｎ＝２は有効とする。ステップＳ-３では、候補
点ｎ＝２，３から、傾きを算出する。ステップＳ-４
では、傾きと傾きの符号を比較する。異符号のた
め、候補点ｎ＝３は無効とする。 ステップＳ-５では、候補点ｎ＝３が無効となったた
め、候補点ｎ＝２，４から、傾きを算出する。ステッ
プＳ-６では、傾きと傾きの符号を比較する。異符号
のため、候補点ｎ＝４は無効とする。 ステップＳ-７では、候補点ｎ＝４が無効となったた
め、候補点ｎ＝２，５から、傾きを算出する。ステッ
プＳ-８では、傾きと傾きの符号を比較する。同符号
のため、候補点ｎ＝５は有効とする。
【００２８】このように、着目点ｎに対して最も近くで
有効となった候補点ｎ−ｉ（ｉ＜ｎ）との傾き（ｎ−
ｉ，ｎ）を算出し、候補点ｎ−ｉに対して最も近くで有
効となった候補点ｎ−ｉ―ｊ（ｉ＋ｊ＜ｎ）との傾き
（ｎ−ｉ―ｊ，ｎ−ｉ）と符号比較し、図８に示すよう
に、同符号ならば着目点ｎは有効、異符号ならば着目点
ｎは無効という手順を繰り返すことにより、図９に示す
ように、出口側レーンマーキング２２上の候補点群２４
を除去し、本線側レーンマーキング２１上の候補点群２
３のみを選択する。
有効となった候補点ｎ−ｉ（ｉ＜ｎ）との傾き（ｎ−
ｉ，ｎ）を算出し、候補点ｎ−ｉに対して最も近くで有
効となった候補点ｎ−ｉ―ｊ（ｉ＋ｊ＜ｎ）との傾き
（ｎ−ｉ―ｊ，ｎ−ｉ）と符号比較し、図８に示すよう
に、同符号ならば着目点ｎは有効、異符号ならば着目点
ｎは無効という手順を繰り返すことにより、図９に示す
ように、出口側レーンマーキング２２上の候補点群２４
を除去し、本線側レーンマーキング２１上の候補点群２
３のみを選択する。
【００２９】ステップＳ-０，---，Ｓ-８における傾き
の符号判定において、傾きの積により同符号、異符号を
判定する。すなわち傾きの積が正ならば同符号、負なら
ば異符号とする。ただし、傾きの積０は同符号に含める
ものとする。なお、傾きの絶対値が所定の閾値以下なら
ば０とする。この閾値は、検出対象道路において分岐路
出口を除いて存在する最小曲率半径のカーブの候補点群
を用いて求められる傾きのうち、少なくとも1つが０と
判定されるように選べばよい。
の符号判定において、傾きの積により同符号、異符号を
判定する。すなわち傾きの積が正ならば同符号、負なら
ば異符号とする。ただし、傾きの積０は同符号に含める
ものとする。なお、傾きの絶対値が所定の閾値以下なら
ば０とする。この閾値は、検出対象道路において分岐路
出口を除いて存在する最小曲率半径のカーブの候補点群
を用いて求められる傾きのうち、少なくとも1つが０と
判定されるように選べばよい。
【００３０】ステップＳ５において、Ｓ４’で選択され
たレーンマーキング候補点１５，１６の集合を基に、数
学的モデル式、例えば２次式で近似すると、図１０に示
すように、車線を表すレーンマーキング数学的モデル式
１７，１８が得られる。Ｓ６において、レーンマーキン
グ数学的モデル式係数を車線認識結果として車両制御装
置へ例えば舵角指示として、送信出力する。
たレーンマーキング候補点１５，１６の集合を基に、数
学的モデル式、例えば２次式で近似すると、図１０に示
すように、車線を表すレーンマーキング数学的モデル式
１７，１８が得られる。Ｓ６において、レーンマーキン
グ数学的モデル式係数を車線認識結果として車両制御装
置へ例えば舵角指示として、送信出力する。
【００３１】ステップＳ３のレーンマーキング探索ウィ
ンドウにおいては、前回の処理周期ステップＳ１〜Ｓ６
のステップＳ５のレーンマーキング数学的モデル式推定
で得られたレーンマーキング数学的モデル式を基準に、
レーンマーキング探索ウィンドウを設定する。前回の処
理周期において、レーンマーキング数学的モデル式が得
られなかった場合、すなわちレーンマーキング未検出の
場合は別途、広範囲なレーンマーキング探索ウィンドウ
を設定するものとする。
ンドウにおいては、前回の処理周期ステップＳ１〜Ｓ６
のステップＳ５のレーンマーキング数学的モデル式推定
で得られたレーンマーキング数学的モデル式を基準に、
レーンマーキング探索ウィンドウを設定する。前回の処
理周期において、レーンマーキング数学的モデル式が得
られなかった場合、すなわちレーンマーキング未検出の
場合は別途、広範囲なレーンマーキング探索ウィンドウ
を設定するものとする。
【００３２】実施の形態２．実施の形態２は、実施の形
態１記載の車線認識画像処理装置のレーンマーキング候
補点選択処理に対する実施条件として、レーンマーキン
グ種類条件を付加したものである。レーンマーキング候
補点選択処理は、例えば、分岐直前のレーンマーキング
種類が「実線」であることに着目し、レーンマーキング
種類が「実線」である場合のみ実施とする。
態１記載の車線認識画像処理装置のレーンマーキング候
補点選択処理に対する実施条件として、レーンマーキン
グ種類条件を付加したものである。レーンマーキング候
補点選択処理は、例えば、分岐直前のレーンマーキング
種類が「実線」であることに着目し、レーンマーキング
種類が「実線」である場合のみ実施とする。
【００３３】レーンマーキング種類判定は、時間的な候
補点検出点数の平均値により行う。図１１に示すよう
に、左レーンマーキング種類が「実線」、右レーンマー
キング種類が「間欠白線」となる場合は、候補点数平均
値において明確な差が現れる。例えば、「実線」では９
０％以上、「間欠白線」では４０％以下となる。レーン
マーキング候補点選択処理実施において、レーンマーキ
ング種類を限定することにより、図１２のような導流レ
ーンなど特殊レーンマーキング時に、本処理が実行され
て車線認識が不安定になることを防ぐことができる。ま
た、レーンマーキング候補点選択処理実施において、レ
ーンマーキング種類を限定することにより、分岐の無い
区間を走行中の処理時間、あるいは左右いずれか分岐の
無い側の処理時間を削減できる。
補点検出点数の平均値により行う。図１１に示すよう
に、左レーンマーキング種類が「実線」、右レーンマー
キング種類が「間欠白線」となる場合は、候補点数平均
値において明確な差が現れる。例えば、「実線」では９
０％以上、「間欠白線」では４０％以下となる。レーン
マーキング候補点選択処理実施において、レーンマーキ
ング種類を限定することにより、図１２のような導流レ
ーンなど特殊レーンマーキング時に、本処理が実行され
て車線認識が不安定になることを防ぐことができる。ま
た、レーンマーキング候補点選択処理実施において、レ
ーンマーキング種類を限定することにより、分岐の無い
区間を走行中の処理時間、あるいは左右いずれか分岐の
無い側の処理時間を削減できる。
【００３４】実施の形態３．実施の形態３では、実施の
形態１の車線認識画像処理装置のレーンマーキング候補
点選択処理の実施条件として、ウィンカ・スイッチ５の
ターンシグナルの条件を付加したものである。図２のフ
ローチャートに対し、図１３のフローチャートに示すよ
うに、ステップＳ４”においてウィンカ・スイッチ５の
ターンシグナルのＯＮ／ＯＦＦを判定し、ウィンカ・ス
イッチ５のターンシグナルのＯＦＦの場合のみステップ
Ｓ４’のレーンマーキング候補点選択処理を実施する。
形態１の車線認識画像処理装置のレーンマーキング候補
点選択処理の実施条件として、ウィンカ・スイッチ５の
ターンシグナルの条件を付加したものである。図２のフ
ローチャートに対し、図１３のフローチャートに示すよ
うに、ステップＳ４”においてウィンカ・スイッチ５の
ターンシグナルのＯＮ／ＯＦＦを判定し、ウィンカ・ス
イッチ５のターンシグナルのＯＦＦの場合のみステップ
Ｓ４’のレーンマーキング候補点選択処理を実施する。
【００３５】ウィンカ・スイッチ５のターンシグナルの
ＯＮ操作時に、レーンマーキング候補点選択処理をキャ
ンセルとすることで、図１４のように実際に自車が出口
側レーンに向かう場合、自車線のレーンマーキング候補
点を除去することなく、速やかに出口側レーンマーキン
グに移行できるものである。
ＯＮ操作時に、レーンマーキング候補点選択処理をキャ
ンセルとすることで、図１４のように実際に自車が出口
側レーンに向かう場合、自車線のレーンマーキング候補
点を除去することなく、速やかに出口側レーンマーキン
グに移行できるものである。
【００３６】図１４（ａ）において、出口へ向かうため
にウィンカ・スイッチがＯＮとなっていれば、レーンマ
ーキング候補点選択処理が実施されないため、出口側レ
ーンマーキング上の候補点はそのまま維持される。図１
４（ｂ）において、前回の数学的モデル式を基準に次の
探索基準位置を設定するため、本線側レーンマーキング
は探索範囲外となり、出口側レーンマーキング上に候補
点が検出される。図１４（ｃ）において、本線側レーン
マーキング候補点はなくなり、出口側レーンマーキング
候補点のみとなる。図１４（ｄ）において、車両はほぼ
出口側レーンに移っており、左側レーンマーキングの認
識対象移行は完了している。右側レーンマーキングの移
行は左側レーンマーキング位置から車線幅分右へオフセ
ットした位置を探索基準位置とすることで行う。このよ
うに、実際に出口側レーンに向かう場合でもウィンカ・
スイッチ５のモニタにより速やかに出口側レーンマーキ
ングに移行することができる。
にウィンカ・スイッチがＯＮとなっていれば、レーンマ
ーキング候補点選択処理が実施されないため、出口側レ
ーンマーキング上の候補点はそのまま維持される。図１
４（ｂ）において、前回の数学的モデル式を基準に次の
探索基準位置を設定するため、本線側レーンマーキング
は探索範囲外となり、出口側レーンマーキング上に候補
点が検出される。図１４（ｃ）において、本線側レーン
マーキング候補点はなくなり、出口側レーンマーキング
候補点のみとなる。図１４（ｄ）において、車両はほぼ
出口側レーンに移っており、左側レーンマーキングの認
識対象移行は完了している。右側レーンマーキングの移
行は左側レーンマーキング位置から車線幅分右へオフセ
ットした位置を探索基準位置とすることで行う。このよ
うに、実際に出口側レーンに向かう場合でもウィンカ・
スイッチ５のモニタにより速やかに出口側レーンマーキ
ングに移行することができる。
【００３７】実施の形態４．レーンマーキング候補点を
候補点同士の傾き比較により取捨選択し、分岐路判定を
行わないため、分岐路に限定されない。このため、図１
５に示すようにレーンマーキング以外の誤検出された候
補点除去に対しても有効である。これにより、レーンマ
ーキング数学的モデル式の信頼性をさらに高めることが
できる。
候補点同士の傾き比較により取捨選択し、分岐路判定を
行わないため、分岐路に限定されない。このため、図１
５に示すようにレーンマーキング以外の誤検出された候
補点除去に対しても有効である。これにより、レーンマ
ーキング数学的モデル式の信頼性をさらに高めることが
できる。
【００３８】実施の形態５．傾きの符号比較により候補
点の有効／無効を判定するため、分岐路出口以外の、極
点で傾きが符号反転するカーブに対しては、本線側レー
ンマーキング候補点が除去されることはない。この原理
について、以下、図１５，１６により説明する。図１６
において、傾きと傾きは値が０となっている。これ
は、画素単位で同一Ｈ座標となって傾き０の場合と、実
施の形態１で述べた所定の閾値以下で０となった場合を
含む。このように、分岐路とは異なり、２次曲線で近似
できるカーブでは滑らかに形状が変化するため、傾き０
となる極点２６が存在する。この極点により、傾きの積
による符号判定において、積が０すなわち「異符号では
ない」となり、同符号扱いで、候補点は有効となる。よ
って、傾きからに係る候補点は有効となる。このよ
うに、通常のカーブでは候補点選択処理により、本線上
のレーンマーキング候補点は無効とならない。
点の有効／無効を判定するため、分岐路出口以外の、極
点で傾きが符号反転するカーブに対しては、本線側レー
ンマーキング候補点が除去されることはない。この原理
について、以下、図１５，１６により説明する。図１６
において、傾きと傾きは値が０となっている。これ
は、画素単位で同一Ｈ座標となって傾き０の場合と、実
施の形態１で述べた所定の閾値以下で０となった場合を
含む。このように、分岐路とは異なり、２次曲線で近似
できるカーブでは滑らかに形状が変化するため、傾き０
となる極点２６が存在する。この極点により、傾きの積
による符号判定において、積が０すなわち「異符号では
ない」となり、同符号扱いで、候補点は有効となる。よ
って、傾きからに係る候補点は有効となる。このよ
うに、通常のカーブでは候補点選択処理により、本線上
のレーンマーキング候補点は無効とならない。
【００３９】図１５は、Ｈ軸を縦軸にＶ軸を横軸にとっ
て、左カーブでの候補点の位置関係を表したものであ
る。レーンマーキング探索ラインｎ＝０，１，２，---
の順に傾きの符号判定を行い、候補点を逐次、取捨選択
していく。ｎ＝４の候補点は傾き異符号となるため、除
去される。続いてｎ＝８においてＨは極大値をとる。こ
のように、カーブでは滑らかに形状が変化するため、傾
き０となる極点２６が存在する。極点２６の前後で傾き
の符号は反転するが、傾きの符号判定において傾きの積
０を同符号と同じ扱いとしているため、ｎ＝９，１０，
１１の候補点は無効とならない。
て、左カーブでの候補点の位置関係を表したものであ
る。レーンマーキング探索ラインｎ＝０，１，２，---
の順に傾きの符号判定を行い、候補点を逐次、取捨選択
していく。ｎ＝４の候補点は傾き異符号となるため、除
去される。続いてｎ＝８においてＨは極大値をとる。こ
のように、カーブでは滑らかに形状が変化するため、傾
き０となる極点２６が存在する。極点２６の前後で傾き
の符号は反転するが、傾きの符号判定において傾きの積
０を同符号と同じ扱いとしているため、ｎ＝９，１０，
１１の候補点は無効とならない。
【００４０】実施の形態６．レーンマーキング候補点を
候補点同士の傾き比較により取捨選択するが、最初の基
準となる傾きは、消失点との傾きを用いるため、図１７
に示すように、逆に出口側レーンマーキング候補点を選
択してしまうことを予め回避することができる。図１７
について説明する。ただし、便宜上、手前から順に候補
点選択を行うものとして説明する。
候補点同士の傾き比較により取捨選択するが、最初の基
準となる傾きは、消失点との傾きを用いるため、図１７
に示すように、逆に出口側レーンマーキング候補点を選
択してしまうことを予め回避することができる。図１７
について説明する。ただし、便宜上、手前から順に候補
点選択を行うものとして説明する。
【００４１】最近傍であるレーンマーキング探索ライン
ｎ＝０および次のｎ＝１において、出口側レーンマーキ
ング候補点が検出されると、傾きは出口側を指す方向
にセットされる。次に、傾きと傾きの比較では異符
号となるため、候補点ｎ＝２は除去される。手前から遠
方に向かって、レーンマーキング候補点選択処理を繰り
返すと、傾きが出口側を指す限り本線側レーンマーキ
ング候補点群２３（ｎ＝２，---，６）が除去され、出
口側レーンマーキング候補点群２４のみが選択される。
このように、本来の目的とは逆の結果となってしまう。
ｎ＝０および次のｎ＝１において、出口側レーンマーキ
ング候補点が検出されると、傾きは出口側を指す方向
にセットされる。次に、傾きと傾きの比較では異符
号となるため、候補点ｎ＝２は除去される。手前から遠
方に向かって、レーンマーキング候補点選択処理を繰り
返すと、傾きが出口側を指す限り本線側レーンマーキ
ング候補点群２３（ｎ＝２，---，６）が除去され、出
口側レーンマーキング候補点群２４のみが選択される。
このように、本来の目的とは逆の結果となってしまう。
【００４２】これは、基準となる開始点における傾きが
本来、誤りである出口側レーンマーキング方向となるこ
とに原因があるため、レーンマーキング候補点選択処理
の開始点において、消失点との傾きとすることにより回
避することができる。このとき、開始点が出口側レーン
マーキング上にあったとしても、開始点１点のみとな
り、候補点数全体でみると、本線側レーンマーキング上
の候補点数が上回るため、影響は軽微で済む。
本来、誤りである出口側レーンマーキング方向となるこ
とに原因があるため、レーンマーキング候補点選択処理
の開始点において、消失点との傾きとすることにより回
避することができる。このとき、開始点が出口側レーン
マーキング上にあったとしても、開始点１点のみとな
り、候補点数全体でみると、本線側レーンマーキング上
の候補点数が上回るため、影響は軽微で済む。
【００４３】実施の形態７．レーンマーキング候補点を
候補点同士の傾き比較により取捨選択するため、左右い
ずれの分岐に対しても有効であり、ソフトウェアを左側
通行ならば左側分岐専用、右側通行ならば右側分岐専用
というように使い分ける必要がなく、ソフトウェアを左
右共通とすることができる。
候補点同士の傾き比較により取捨選択するため、左右い
ずれの分岐に対しても有効であり、ソフトウェアを左側
通行ならば左側分岐専用、右側通行ならば右側分岐専用
というように使い分ける必要がなく、ソフトウェアを左
右共通とすることができる。
【００４４】
【発明の効果】以上説明したように、この発明の車線認
識画像処理装置によれば、前方を撮影する撮影手段と、
この撮影手段により得られた画像を一時記憶する画像記
憶手段と、この画像記憶手段より読み出した画像に対し
てレーンマーキング探索範囲を設定するレーンマーキン
グ探索ウィンドウ設定手段と、このレーンマーキング探
索ウィンドウ内よりレーンマーキング候補点を検出する
レーンマーキング候補点抽出手段と、このレーンマーキ
ング候補点抽出手段により選択されたレーンマーキング
候補点の集合を数学的モデル式により近似してレーンマ
ーキング数学的モデル式を推定する車線認識手段を備
え、上記レーンマーキング候補点抽出手段は、これによ
り抽出されたレーンマーキング候補点を候補点同士の傾
き比較により取捨選択するレーンマーキング候補点選択
手段を備えるものであるので、レーンマーキング候補点
を候補点同士の傾き比較により取捨選択するという平易
なアルゴリズムでソフトウェア的に処理するため、分岐
路通過時においてナビゲーション装置などの他のインフ
ラ情報の助けを必要とせず、本線側のレーンマーキング
を正しく認識することができるものである。
識画像処理装置によれば、前方を撮影する撮影手段と、
この撮影手段により得られた画像を一時記憶する画像記
憶手段と、この画像記憶手段より読み出した画像に対し
てレーンマーキング探索範囲を設定するレーンマーキン
グ探索ウィンドウ設定手段と、このレーンマーキング探
索ウィンドウ内よりレーンマーキング候補点を検出する
レーンマーキング候補点抽出手段と、このレーンマーキ
ング候補点抽出手段により選択されたレーンマーキング
候補点の集合を数学的モデル式により近似してレーンマ
ーキング数学的モデル式を推定する車線認識手段を備
え、上記レーンマーキング候補点抽出手段は、これによ
り抽出されたレーンマーキング候補点を候補点同士の傾
き比較により取捨選択するレーンマーキング候補点選択
手段を備えるものであるので、レーンマーキング候補点
を候補点同士の傾き比較により取捨選択するという平易
なアルゴリズムでソフトウェア的に処理するため、分岐
路通過時においてナビゲーション装置などの他のインフ
ラ情報の助けを必要とせず、本線側のレーンマーキング
を正しく認識することができるものである。
【００４５】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きが同符号と
なる場合は選択対象の端点を有効とし、異符号となる場
合は選択対象の端点を無効にする処理を行うので、レー
ンマーキング候補点を候補点同士の傾き比較により取捨
選択するため、分岐路に限定されず、レーンマーキング
以外の誤検出された候補点除去に対しても有効である。
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きが同符号と
なる場合は選択対象の端点を有効とし、異符号となる場
合は選択対象の端点を無効にする処理を行うので、レー
ンマーキング候補点を候補点同士の傾き比較により取捨
選択するため、分岐路に限定されず、レーンマーキング
以外の誤検出された候補点除去に対しても有効である。
【００４６】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うので、分岐路出口以
外の、極点で傾きが符号反転するカーブに対しても、本
線側レーンマーキング候補点が除去されることはない。
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うので、分岐路出口以
外の、極点で傾きが符号反転するカーブに対しても、本
線側レーンマーキング候補点が除去されることはない。
【００４７】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うので、最初の基
準となる傾きは消失点との傾きを用いるため、出口側レ
ーンマーキング候補点を選択してしまうことを回避する
ことができる。
段は、水平線を１つの軸とする直交座標系において、最
初の1点と消失点を結ぶ直線の傾きと最初の点とこれか
ら選択するか否かを決定する１点（すなわち選択対象）
を結ぶ直線の傾きを求め、これらの傾きが同符号となる
場合は選択対象の１点を有効とし、異符号となる場合は
選択対象の１点を無効にする処理を行うので、最初の基
準となる傾きは消失点との傾きを用いるため、出口側レ
ーンマーキング候補点を選択してしまうことを回避する
ことができる。
【００４８】また、上記レーンマーキング候補点選択手
段を、左又は右レーンマーキングが特定の種類の場合に
動作させるようにしたので、レーンマーキング候補点選
択処理実施において、レーンマーキング種類を限定する
ことにより、本処理が実行されて車線認識が不安定にな
ることを防ぐことができる。また、上記レーンマーキン
グ候補点選択手段を、ウィンカ・スイッチがオフの場合
に動作させるようにしたので、動作をより確実にするこ
とができる。
段を、左又は右レーンマーキングが特定の種類の場合に
動作させるようにしたので、レーンマーキング候補点選
択処理実施において、レーンマーキング種類を限定する
ことにより、本処理が実行されて車線認識が不安定にな
ることを防ぐことができる。また、上記レーンマーキン
グ候補点選択手段を、ウィンカ・スイッチがオフの場合
に動作させるようにしたので、動作をより確実にするこ
とができる。
【００４９】また、この発明の車線認識画像処理を実行
させるためのプログラムによれば、前方を撮影する撮影
手段により得られた画像を一時記憶し、記憶された画像
を読み出してレーンマーキング探索範囲を設定し、レー
ンマーキング探索ウィンドウ内よりレーンマーキング候
補点を検出し、検出したレーンマーキング候補点を候補
点同士の傾き比較により取捨選択し、選択されたレーン
マーキング候補点の集合を数学的モデル式により近似し
てレーンマーキング数学的モデル式を推定するようにし
たので、レーンマーキング候補点を候補点同士の傾き比
較により取捨選択するという平易なアルゴリズムでソフ
トウェア的に処理するため、分岐路通過時においてナビ
ゲーション装置などの他のインフラ情報の助けを必要と
せず、本線側のレーンマーキングを正しく認識すること
ができる。
させるためのプログラムによれば、前方を撮影する撮影
手段により得られた画像を一時記憶し、記憶された画像
を読み出してレーンマーキング探索範囲を設定し、レー
ンマーキング探索ウィンドウ内よりレーンマーキング候
補点を検出し、検出したレーンマーキング候補点を候補
点同士の傾き比較により取捨選択し、選択されたレーン
マーキング候補点の集合を数学的モデル式により近似し
てレーンマーキング数学的モデル式を推定するようにし
たので、レーンマーキング候補点を候補点同士の傾き比
較により取捨選択するという平易なアルゴリズムでソフ
トウェア的に処理するため、分岐路通過時においてナビ
ゲーション装置などの他のインフラ情報の助けを必要と
せず、本線側のレーンマーキングを正しく認識すること
ができる。
【００５０】また、水平線を１つの軸とする直交座標系
において、レーンマーキング候補点のうち既に有効とな
った隣接する2点と、これから選択するか否かを決定す
る１点を端点（すなわち選択対象）とする計3点を対象
に、隣接する2点間を結ぶ直線の傾きを求め、これらの
傾きが同符号となる場合は選択対象の端点を有効とし、
異符号となる場合は選択対象の端点を無効にする処理を
行うようにしたので、レーンマーキング候補点を候補点
同士の傾き比較により取捨選択するため、分岐路に限定
されず、レーンマーキング以外の誤検出された候補点除
去に対しても有効である。
において、レーンマーキング候補点のうち既に有効とな
った隣接する2点と、これから選択するか否かを決定す
る１点を端点（すなわち選択対象）とする計3点を対象
に、隣接する2点間を結ぶ直線の傾きを求め、これらの
傾きが同符号となる場合は選択対象の端点を有効とし、
異符号となる場合は選択対象の端点を無効にする処理を
行うようにしたので、レーンマーキング候補点を候補点
同士の傾き比較により取捨選択するため、分岐路に限定
されず、レーンマーキング以外の誤検出された候補点除
去に対しても有効である。
【００５１】また、上記レーンマーキング候補点選択手
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うので、分岐路出口以
外の、極点で傾きが符号反転するカーブに対しても、本
線側レーンマーキング候補点が除去されることはない。
段は、水平線を１つの軸とする直交座標系において、レ
ーンマーキング候補点のうち既に有効となった隣接する
2点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うので、分岐路出口以
外の、極点で傾きが符号反転するカーブに対しても、本
線側レーンマーキング候補点が除去されることはない。
【００５２】また、水平線を１つの軸とする直交座標系
において、最初の1点と消失点を結ぶ直線の傾きと最初
の点とこれから選択するか否かを決定する１点（すなわ
ち選択対象）を結ぶ直線の傾きを求め、これらの傾きが
同符号となる場合は選択対象の１点を有効とし、異符号
となる場合は選択対象の１点を無効にする処理を行うよ
うにしたので、最初の基準となる傾きは消失点との傾き
を用いるため、出口側レーンマーキング候補点を選択し
てしまうことを回避することができる。
において、最初の1点と消失点を結ぶ直線の傾きと最初
の点とこれから選択するか否かを決定する１点（すなわ
ち選択対象）を結ぶ直線の傾きを求め、これらの傾きが
同符号となる場合は選択対象の１点を有効とし、異符号
となる場合は選択対象の１点を無効にする処理を行うよ
うにしたので、最初の基準となる傾きは消失点との傾き
を用いるため、出口側レーンマーキング候補点を選択し
てしまうことを回避することができる。
【図１】 この発明の実施の形態１の車線認識画像処理
装置の構成を示すブロック図である。
装置の構成を示すブロック図である。
【図２】 実施の形態１の車線認識画像処理装置の処理
フローを示すフローチャートである。
フローを示すフローチャートである。
【図３】 車両へのカメラ取り付け例を示す説明図であ
る。
る。
【図４】 車両前方を撮影したカメラ出力画像図であ
る。
る。
【図５】 レーンマーキング探索ライン上のレーンマー
キング候補点検出の説明図である。
キング候補点検出の説明図である。
【図６】 出口側レーンマーキング候補点除去の手順を
表す説明図である。
表す説明図である。
【図７】 消失点，最初の候補点，選択対象の候補点の
3点を対象とした傾きの説明図である。
3点を対象とした傾きの説明図である。
【図８】 有効となった候補点２点と選択対象の候補点
の有効／無効を判定する際の傾きを表す図である。
の有効／無効を判定する際の傾きを表す図である。
【図９】 出口側と本線側のレーンマーキング候補点の
位置関係を表す説明図である。
位置関係を表す説明図である。
【図１０】 レーンマーキング候補点から推定したレー
ンマーキング数学的モデル式を示す説明図である。
ンマーキング数学的モデル式を示す説明図である。
【図１１】 時間的候補点密度によるレーンマーキング
種類判定を行う説明図である。
種類判定を行う説明図である。
【図１２】 導流レーンの説明図である。
【図１３】 実施の形態３の車線認識画像処理装置の処
理フローを示すフローチャートである。
理フローを示すフローチャートである。
【図１４】 ウィンカ・スイッチＯＮ状態で出口側レー
ンへ移行するときの説明図である。
ンへ移行するときの説明図である。
【図１５】 カーブにおける候補点選択処理を示す説明
図である。
図である。
【図１６】 カーブにおける候補点選択処理を示す説明
図である。
図である。
【図１７】 出口側を選択する候補点選択処理を示す説
明図である。
明図である。
１ 撮像手段、 ２ 画像処理
ＥＣＵ、３ メインＥＣＵ、 ４
画像記憶手段、５ ウインカ・スイッチ、６ レーンマ
ーキング探索ウィンドウ設定手段、７ レーンマーキン
グ候補点抽出手段、８ レーンマーキング候補点選択手
段、 ９ 車線認識手段、１０ 車線認識結果出力部、
１２ 車両、１３ 左レーンマーキング、
１４ 右レーンマーキング、１５ レーン
マーキング候補点、 １６ レーンマーキング候
補点、１７ レーンマーキング数学的モデル式、１８
レーンマーキング数学的モデル式、１９ レーンマーキ
ング探索ウィンドウ、２０ レーンマーキング探索ウィ
ンドウ、２１ 本線側レーンマーキング、 ２２
出口側レーンマーキング、２３ 本線側レーンマーキ
ング候補点群、２４ 出口側レーンマーキング候補点
群、２５ レーンマーキング探索ライン、 ２６ 極
点。
ＥＣＵ、３ メインＥＣＵ、 ４
画像記憶手段、５ ウインカ・スイッチ、６ レーンマ
ーキング探索ウィンドウ設定手段、７ レーンマーキン
グ候補点抽出手段、８ レーンマーキング候補点選択手
段、 ９ 車線認識手段、１０ 車線認識結果出力部、
１２ 車両、１３ 左レーンマーキング、
１４ 右レーンマーキング、１５ レーン
マーキング候補点、 １６ レーンマーキング候
補点、１７ レーンマーキング数学的モデル式、１８
レーンマーキング数学的モデル式、１９ レーンマーキ
ング探索ウィンドウ、２０ レーンマーキング探索ウィ
ンドウ、２１ 本線側レーンマーキング、 ２２
出口側レーンマーキング、２３ 本線側レーンマーキ
ング候補点群、２４ 出口側レーンマーキング候補点
群、２５ レーンマーキング探索ライン、 ２６ 極
点。
Claims (10)
- 【請求項１】 前方を撮影する撮影手段と、この撮影手
段により得られた画像を一時記憶する画像記憶手段と、
この画像記憶手段より読み出した画像に対してレーンマ
ーキング探索範囲を設定するレーンマーキング探索ウィ
ンドウ設定手段と、このレーンマーキング探索ウィンド
ウ内よりレーンマーキング候補点を検出するレーンマー
キング候補点抽出手段と、このレーンマーキング候補点
抽出手段により選択されたレーンマーキング候補点の集
合を数学的モデル式により近似してレーンマーキング数
学的モデル式を推定する車線認識手段を備え、上記レー
ンマーキング候補点抽出手段は、これにより抽出された
レーンマーキング候補点を候補点同士の傾き比較により
取捨選択するレーンマーキング候補点選択手段を備える
ことを特徴とする車線認識画像処理装置。 - 【請求項２】 上記レーンマーキング候補点選択手段
は、水平線を１つの軸とする直交座標系において、レー
ンマーキング候補点のうち既に有効となった隣接する2
点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きが同符号と
なる場合は選択対象の端点を有効とし、異符号となる場
合は選択対象の端点を無効にする処理を行うことを特徴
とする請求項１記載の車線認識画像処理装置。 - 【請求項３】 上記レーンマーキング候補点選択手段
は、水平線を１つの軸とする直交座標系において、レー
ンマーキング候補点のうち既に有効となった隣接する2
点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うことを特徴とする請
求項２記載の車線認識画像処理装置。 - 【請求項４】 上記レーンマーキング候補点選択手段
は、水平線を１つの軸とする直交座標系において、最初
の1点と消失点を結ぶ直線の傾きと最初の点とこれから
選択するか否かを決定する１点（すなわち選択対象）を
結ぶ直線の傾きを求め、これらの傾きが同符号となる場
合は選択対象の１点を有効とし、異符号となる場合は選
択対象の１点を無効にする処理を行うことを特徴とする
請求項１記載の車線認識画像処理装置。 - 【請求項５】 上記レーンマーキング候補点選択手段
を、左又は右レーンマーキングが特定の種類の場合に動
作させるようにしたことを特徴とする請求項１〜請求項
４のいずれか１項に記載の車線認識画像処理装置。 - 【請求項６】 上記レーンマーキング候補点選択手段
を、ウィンカ・スイッチがオフの場合に動作させるよう
にしたことを特徴とする請求項１〜請求項４のいずれか
１項に記載の車線認識画像処理装置。 - 【請求項７】 前方を撮影する撮影手段により得られた
画像を一時記憶し、記憶された画像を読み出してレーン
マーキング探索範囲を設定し、レーンマーキング探索ウ
ィンドウ内よりレーンマーキング候補点を検出し、検出
したレーンマーキング候補点を候補点同士の傾き比較に
より取捨選択し、選択されたレーンマーキング候補点の
集合を数学的モデル式により近似してレーンマーキング
数学的モデル式を推定するようにした車線認識画像処理
を実行させるためのプログラム。 - 【請求項８】 水平線を１つの軸とする直交座標系にお
いて、レーンマーキング候補点のうち既に有効となった
隣接する2点と、これから選択するか否かを決定する１
点を端点（すなわち選択対象）とする計3点を対象に、
隣接する2点間を結ぶ直線の傾きを求め、これらの傾き
が同符号となる場合は選択対象の端点を有効とし、異符
号となる場合は選択対象の端点を無効にする処理を行う
ようにした請求項７記載の車線認識画像処理を実行させ
るためのプログラム。 - 【請求項９】 上記レーンマーキング候補点選択手段
は、水平線を１つの軸とする直交座標系において、レー
ンマーキング候補点のうち既に有効となった隣接する2
点と、これから選択するか否かを決定する１点を端点
（すなわち選択対象）とする計3点を対象に、隣接する2
点間を結ぶ直線の傾きを求め、これらの傾きのいずれか
一方の絶対値が所定閾値以下のときは、これらの傾きを
同符号として扱うように処理を行うことを特徴とする請
求項８記載の車線認識画像処理を実行させるためのプロ
グラム。 - 【請求項１０】 水平線を１つの軸とする直交座標系に
おいて、最初の1点と消失点を結ぶ直線の傾きと最初の
点とこれから選択するか否かを決定する１点（すなわち
選択対象）を結ぶ直線の傾きを求め、これらの傾きが同
符号となる場合は選択対象の１点を有効とし、異符号と
なる場合は選択対象の１点を無効にする処理を行うよう
にした請求項７記載の車線認識画像処理を実行させるた
めのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002056167A JP3626733B2 (ja) | 2002-03-01 | 2002-03-01 | 車線認識画像処理装置及びその処理を実行させるためのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002056167A JP3626733B2 (ja) | 2002-03-01 | 2002-03-01 | 車線認識画像処理装置及びその処理を実行させるためのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003252149A true JP2003252149A (ja) | 2003-09-10 |
| JP3626733B2 JP3626733B2 (ja) | 2005-03-09 |
Family
ID=28666813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002056167A Expired - Lifetime JP3626733B2 (ja) | 2002-03-01 | 2002-03-01 | 車線認識画像処理装置及びその処理を実行させるためのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3626733B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182303A (ja) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | 車線認識画像処理装置 |
| JP2008542895A (ja) * | 2005-05-31 | 2008-11-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 夜間に道路を検出する方法及びシステム |
| WO2009113225A1 (ja) * | 2008-03-12 | 2009-09-17 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
| JP2010221859A (ja) * | 2009-03-24 | 2010-10-07 | Hitachi Automotive Systems Ltd | 車両運転支援装置 |
| JP2010271966A (ja) * | 2009-05-22 | 2010-12-02 | Fuji Heavy Ind Ltd | 車線認識装置 |
| US8306700B2 (en) | 2008-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Vehicle travel support device, vehicle, and vehicle travel support program |
| WO2013018962A1 (en) * | 2011-08-04 | 2013-02-07 | Lg Electronics Inc. | Traffic lane recognizing apparatus and method thereof |
| WO2018020589A1 (ja) * | 2016-07-26 | 2018-02-01 | 日産自動車株式会社 | 自己位置推定方法及び自己位置推定装置 |
| CN115512542A (zh) * | 2022-09-21 | 2022-12-23 | 山东高速集团有限公司 | 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统 |
| JP2025153859A (ja) * | 2024-03-29 | 2025-10-10 | 本田技研工業株式会社 | 制御装置、制御方法、およびプログラム |
-
2002
- 2002-03-01 JP JP2002056167A patent/JP3626733B2/ja not_active Expired - Lifetime
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182303A (ja) * | 2003-12-17 | 2005-07-07 | Mitsubishi Electric Corp | 車線認識画像処理装置 |
| JP2008542895A (ja) * | 2005-05-31 | 2008-11-27 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 夜間に道路を検出する方法及びシステム |
| JP4772115B2 (ja) * | 2005-05-31 | 2011-09-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 夜間に道路を検出する方法及びシステム |
| US8306700B2 (en) | 2008-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Vehicle travel support device, vehicle, and vehicle travel support program |
| WO2009113225A1 (ja) * | 2008-03-12 | 2009-09-17 | 本田技研工業株式会社 | 車両走行支援装置、車両、車両走行支援プログラム |
| JP2009214786A (ja) * | 2008-03-12 | 2009-09-24 | Honda Motor Co Ltd | 車両走行支援装置、車両、車両走行支援プログラム |
| US8346427B2 (en) | 2008-03-12 | 2013-01-01 | Honda Motor Co., Ltd. | Vehicle travel support device, vehicle, and vehicle travel support program with imaging device for recognizing a travel area |
| JP2010221859A (ja) * | 2009-03-24 | 2010-10-07 | Hitachi Automotive Systems Ltd | 車両運転支援装置 |
| JP2010271966A (ja) * | 2009-05-22 | 2010-12-02 | Fuji Heavy Ind Ltd | 車線認識装置 |
| WO2013018962A1 (en) * | 2011-08-04 | 2013-02-07 | Lg Electronics Inc. | Traffic lane recognizing apparatus and method thereof |
| WO2018020589A1 (ja) * | 2016-07-26 | 2018-02-01 | 日産自動車株式会社 | 自己位置推定方法及び自己位置推定装置 |
| JPWO2018020589A1 (ja) * | 2016-07-26 | 2019-03-28 | 日産自動車株式会社 | 自己位置推定方法及び自己位置推定装置 |
| US11243080B2 (en) | 2016-07-26 | 2022-02-08 | Nissan Motor Co., Ltd. | Self-position estimation method and self-position estimation device |
| CN115512542A (zh) * | 2022-09-21 | 2022-12-23 | 山东高速集团有限公司 | 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统 |
| CN115512542B (zh) * | 2022-09-21 | 2023-08-18 | 山东高速集团有限公司 | 一种基于路侧激光雷达的考虑遮挡的轨迹复原方法及系统 |
| JP2025153859A (ja) * | 2024-03-29 | 2025-10-10 | 本田技研工業株式会社 | 制御装置、制御方法、およびプログラム |
| JP7792986B2 (ja) | 2024-03-29 | 2025-12-26 | 本田技研工業株式会社 | 制御装置、制御方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3626733B2 (ja) | 2005-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4377284B2 (ja) | 車載ナビゲーション装置 | |
| JP4107587B2 (ja) | 車線認識画像処理装置 | |
| JP6045888B2 (ja) | 車載画像処理装置 | |
| JP5716443B2 (ja) | 車線境界検出装置及び車線境界検出方法 | |
| JPH0728975A (ja) | 道路環境認識装置 | |
| US12211291B2 (en) | Apparatus, method, and computer program for detecting lane boundary | |
| JP3945494B2 (ja) | 走行レーン認識装置 | |
| US8730325B2 (en) | Traveling lane detector | |
| EP3859677A1 (en) | Sectioning line recognition device | |
| CN112124304B (zh) | 一种库位定位方法、装置及车载设备 | |
| JP7095559B2 (ja) | 区画線検出装置及び区画線検出方法 | |
| JP2003252149A (ja) | 車線認識画像処理装置及びその処理を実行させるためのプログラム | |
| JP2000230834A (ja) | 道路地図情報の更新装置及びその制御方法 | |
| JPH11160078A (ja) | 走行路形状推定装置 | |
| JPH1185999A (ja) | 車両用白線検出装置 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JPH0935198A (ja) | 車両用走行路検出装置 | |
| JP4878256B2 (ja) | 分岐線認識装置およびカーナビゲーションシステム | |
| CN114264310A (zh) | 定位及导航方法、装置、电子设备、计算机存储介质 | |
| JP2007220013A (ja) | 車両用白線検出装置 | |
| JP7068017B2 (ja) | 車両の走行路認識装置及び走行制御装置 | |
| JPH07244717A (ja) | 車両用走行環境認識装置 | |
| JPH10320559A (ja) | 車両用走行路検出装置 | |
| JPH10143799A (ja) | 先行車追従装置 | |
| JP4225242B2 (ja) | 走行路認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041203 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3626733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |