WO2007000912A1

WO2007000912A1 - 車両及び車線認識装置

Info

Publication number: WO2007000912A1
Application number: PCT/JP2006/312308
Authority: WO
Inventors: Naoki Mori; Sachio Kobayashi
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-06-27
Filing date: 2006-06-20
Publication date: 2007-01-04
Anticipated expiration: 2007-12-27
Also published as: JP4392389B2; US20090118994A1; EP1901259A4; US7970529B2; JP2007004669A; EP1901259A1

Abstract

　撮像手段８を介して取得した道路の画像を処理して道路の車線を推定する処理を実行し、処理の結果を第１車線情報として出力する画像処理手段２と、道路の地図データを保持する保持手段３と、車両の現在の位置情報を取得する位置情報取得手段４と、地図データと現在の位置情報とを用いて道路の車線を推定する処理を実行し、処理の結果を第２車線情報として出力する車線推定手段５と、第１車線情報と第２車線情報とに基づいて、道路の実際の車線を認識する実車線認識手段６とを有する。これにより、路面に予期できないブレーキ痕や道路補修跡が存在する場合にも、カメラ等の撮像手段を介して取得された道路の画像を処理すると共に、ＧＰＳ等と地図データとから道路の情報を取得して、車線を検出し得る機会を可能な限り高めつつ、車線を精度良く検出することができる。

Description

明細書

車両及び車線認識装置

技術分野

[0001] 本発明は、カメラ等の撮像手段を介して取得された道路の画像を処理すると共に、 GPS等と地図データにより道路の情報を取得して、道路の車線を認識する車両及び車線認識装置に関する。

背景技術

[0002] 近年、車両に CCDカメラ等の撮像手段を搭載して、走行している道路の路面を撮像し、得られた画像を処理して道路上の白線等のレーンマークを検出し、検出した結果から認識される車両の走行する車線 (走行レーン)の情報に基づ！、て、車両の制御や運転者への情報の提示を行う技術が知られている。このような技術において、道路の画像力も画像処理によって車線を認識する際に、 GPSや地図データ等力も取得される道路情報に基づ!ヽた前方の道路状況に応じて画像処理を行ヽ、車線を精度良く認識する技術が提案されて、る（例えば日本国公開特許公報平成 11 - 7233 7号 (以下、特許文献 1という），日本国公開特許公報 2003— 123058号 (以下、特許文献 2という）参照)。また、画像処理によって認識した車線の情報に基づいて車両の制御や運転者への情報の提示を行う際に、画像処理結果を GPSや地図データ等カゝら取得される道路情報で補足して制御や情報の提示を行う技術が提案されている (例えば日本国公開特許公報 2002— 92794号 (以下、特許文献 3という），日本国公開特許公報 2003 - 205805号 (以下、特許文献 4と、う）参照)。

[0003] 特許文献 1の走行レーン認識装置は、カメラからの画像情報を処理して前方道路上の左右の白線位置を認識する画像情報処理手段と、この画像情報処理手段による白線位置画像情報から走行レーンの位置や特徴及び自車両との位置関係を推定する走行レーン推定手段とを備える。さらに、前記走行レーン認識装置は、前方道路上に通常の白線とは異なる特殊な特定道路領域 (例えば、縞模様又はゼブラ模様の白線のある特殊な白線領域)が存在するカゝ否かを判別する道路状況判別手段を備える。道路状況判別手段は、 GPSから取得される車両の位置情報に、 ROMに記憶された特定道路領域に関するデータを対応させながら、前方道路上に特定道路領域が存在するか否かを判別する。画像情報処理手段は、通常の白線の場合、白線の両エッジ部分の中点を白線の道路幅方向位置と認識するが、道路状況判別手段により車両の前方の道路に特定道路領域が存在すると判別された場合には、白線領域の特定部分 (認識可能な白線領域の本線側エッジ部分)を白線の道路幅方向位置として白線位置の認識を行なう。そして、走行レーン推定手段は、抽出された左右の道路白線で規定される領域、又は抽出された左右の道路白線の一方と予め認識されて、るレーン幅とから規定される領域を、走行レーンと推定する。

[0004] 特許文献 2の走行レーン認識装置は、カメラで撮像した道路画像を画像処理して走行レーンを検出する画像処理手段を備える。画像処理手段は、白線、道路鉅、ポストコーン等の複数種類のレーンマークに応じた異なる複数の画像処理アルゴリズムを有する。このとき、前記走行レーン認識装置は、 GPS受信手段により衛星力車両が現在走行して、る道路の位置情報を受信し、道路毎のレーンマーク種類が格納されて、る道路地図データファイルから、現在走行して、る道路前方のレーンマークの種類を判定する。そして、前記走行レーン認識装置は、前方のレーンマークに適した画像処理アルゴリズムを複数の画像処理アルゴリズムの中力選択して、走行レーンを検出する。

[0005] 特許文献 3の車両用警報装置は、カメラ力取得した画像力車両が走行して!/、る道路の車線の左右の区画線（白線)を画像処理により認識する白線認識系統と、車両挙動を得るためのセンサ群 (車速センサ等）とを備える。さらに、前記車両用警報装置は、 GPSから取得する自車位置に基づいて、 CD— ROM力読み出した地図データと比較することで、車両が走行している道路の位置情報、道路情報を取得するナビゲーシヨン系統を備える。前記車両用警報装置は、認識した車線の左右の区画線とセンサ群により得られた車両挙動とから、車両のレーン逸脱を予測した場合に、運転者に対して警報を発する。このとき、前記車両用警報装置は、取得した道路情報から、車両が所定の道路区間 (過去に誤警報が発生したと判定された道路区間）を走行して!/、る場合には、警報を発する条件を他の場合に比べて警報が発生し難ヽ条件に変更する。 [0006] 特許文献 4の車両用運転支援装置は、カメラで撮影した車両前方の画像を処理して車線を示す白線等を認識する周辺監視手段と、周辺監視手段からの情報に基づいて、レーン逸脱警告制御等により運転者の運転操作を支援する運転支援手段とを備える。さらに、前記車両用運転支援装置は、複数の人工衛星からの電波情報に基づき求められる車両の現在位置と、 DVD— ROM等の記憶媒体に格納された地図情報と、道路インフラ力路車間通信により取得される前方道路情報とから、車両の前方道路状況 (分岐路等)を認識すると共に、前方道路状況によって運転支援制御に支障が生じる力否かを判定する道路状況認識手段を備える。そして、前記車両用運転支援装置は、道路状況認識手段からの情報に基づいて、運転支援手段の作動信頼性の低下が予測される場合には、運転者に事前に情報を提供する。

[0007] し力しながら、道路上には、予期できないブレーキ痕ゃ道路補修跡が存在する場合がある。このような場合に、ブレーキ痕ゃ道路補修跡が存在することは、予め記憶された道路情報力もは取得することができない。また、ブレーキ痕ゃ道路補修跡があるため、道路の画像力画像処理によって車線を精度良く認識することが困難となる。よって、このような場合には、特許文献 1, 2のもののように、 GPSや地図データ等から取得される道路情報に基づいて前方の道路状況を考慮して画像処理を行っても、車線を精度良く認識することが困難であるという不都合がある。また、特許文献 3, 4 のものでも、このような場合には、画像処理による車線の検出自体が困難であり、さらに GPSや地図データ等力取得される道路情報で補足することもできないため、車両の制御や運転者への情報の提示を適切に行うことができないという不都合がある。発明の開示

発明が解決しょうとする課題

[0008] 本発明は、力かる不都合を解消して、路面に予期できないブレーキ痕ゃ道路補修跡が存在する場合にも、カメラ等の撮像手段を介して取得された道路の画像を処理すると共に、 GPS等と地図データとから道路の情報を取得して、車線を検出し得る機会を可能な限り高めつつ、車線を精度良く検出することができる車両及び車線認識装置を提供することを目的とする。

課題を解決するための手段 [0009] かかる目的を達成するために、本発明の第 1態様の車両は、撮像手段と、該撮像手段を介して道路の画像を取得し、取得した該画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する画像処理手段と、該道路の地図データを保持する保持手段と、車両の現在の位置情報を取得する位置情報取得手段と、該地図データと該現在の位置情報とを用いて該道路の車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する車線推定手段と、該第 1車線情報と該第 2車線情報とに基づいて、該道路の実際の車線を認識する実車線認識手段とを有する。

[0010] また、本発明の第 1態様の車線認識装置は、車両に搭載された撮像手段を介して取得する道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する画像処理手段と、該道路の地図データを保持する保持手段と、車両の現在の位置情報を取得する位置情報取得手段と、該地図デ一タと該現在の位置情報とを用いて該道路の車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する車線推定手段と、該第 1車線情報と該第 2車線情報とに基づいて、該道路の実際の車線を認識する実車線認識手段とを有する（第 1発明)。

[0011] この第 1発明の車両及び車線認識装置によれば、前記画像処理手段は、前記撮像手段を介して取得する前記道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する。これにより、車両の走行する車線の情報が取得される。しかし、画像処理により車線を推定する際に、例えば、道路上に予期できないブレーキ痕ゃ道路補修跡等がある場合には、車線を適切に推定することが困難となる。そして、このような場合でも、実際の車線が可能な限り適切に認識されることが望ましヽ。

[0012] このとき、前記車線推定手段は、前記地図データと前記車両の現在の位置情報とを用いて前記車両の走行する車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する。これにより、画像処理による車線の推定とは異なる方法で、車線の情報を取得することができる。そして、前記実車線認識手段は、前記第 1車線情報と、前記第 2車線情報との両方に基づいて、実際の車線を認識するので、画像処理により車線が適切に推定されない場合でも、実際の車線を示す情報として、地図データ及び位置情報により推定された車線の情報を用いることができる。このため、実際の車線を検出し得る機会を可能な限り高めつつ、実際の車線を精度良く検出することができる。

[0013] 次に、本発明の第 2態様の車両は、撮像手段と、該撮像手段を介して道路の画像を取得し、取得した該画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する画像処理手段と、該道路の地図データを保持する保持手段と、車両の現在の位置情報を取得する位置情報取得手段と、該地図データと該現在の位置情報とを用いて該道路の車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する車線推定手段と、該第 1車線情報が示す該車線の形状と、該第 2車線情報が示す該車線の形状とが類似する度合である車線類似度を算出する手段と、該第 1車線情報と該第 2車線情報と、該車線類似度を所定の閾値と比較した結果とに基づ、て、該道路の実際の車線を認識する実車線認識手段とを有する。

[0014] また、本発明の第 2態様の車線認識装置は、車両に搭載された撮像手段を介して取得する道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する画像処理手段と、該道路の地図データを保持する保持手段と、車両の現在の位置情報を取得する位置情報取得手段と、該地図デ一タと該現在の位置情報とを用いて該道路の車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する車線推定手段と、該第 1車線情報が示す該車線の形状と、該第 2車線情報が示す該車線の形状とが類似する度合である車線類似度を算出する手段と、該第 1車線情報と該第 2車線情報と、該車線類似度を所定の閾値と比較した結果とに基づ!/ヽて、該道路の実際の車線を認識する実車線認識手段とを有する (第 2発明)。

[0015] この第 2発明の車両及び車線認識装置によれば、第 1発明と同様に、前記画像処理手段は、前記撮像手段を介して取得する前記道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する。これにより、車両の走行する車線の情報が取得される。しかし、画像処理により車線を推定する際に、例えば、道路上に予期できないブレーキ痕ゃ道路補修跡等がある場合には、車線を適切に推定することが困難となる。そして、このような場合でも、実際の車線が可能な限り適切に認識されることが望ましい。このとき、前記車線推定手段は、前記地図データと前記車両の現在の位置情報とを用いて前記車両の走行する車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する。これにより、画像処理による車線の推定とは異なる方法で、車線の情報を取得することができる。

[0016] そして、前記実車線認識手段は、前記第 1車線情報と、前記第 2車線情報との両方に基づいて、実際の車線を認識するので、画像処理により車線が適切に推定されない場合でも、実際の車線を示す情報として、地図データ及び位置情報により推定された車線の情報を用いることができる。このため、実際の車線を検出し得る機会を可能な限り高めつつ、実際の車線を精度良く検出することができる。このとき、前記実車線認識手段は、前記第 1車線情報と、前記第 2車線情報とに加えて、前記第 1車線情報が示す前記車線の形状と、前記第 2車線情報が示す前記車線の形状とが類似する度合である車線類似度を所定の閾値と比較した結果に基づいて、前記実際の車線を認識する。これにより、前記実車線認識手段は、画像処理による推定の処理と、地図データ及び位置情報による推定の処理との両者によって車線の推定がなされた場合に、両者が推定した車線の形状の類似の度合により、画像処理により推定した車線の情報と、地図データ及び位置情報により推定した車線の情報との、それぞれの信頼性を把握することができるので、実際の車線をより適切に認識することができる。

[0017] このとき、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、それぞれ実際の車線の形状を精度良く推定している場合には、両者の推定した車線の形状は類似の度合が高いものとなると考えられる。さらに、画像処理による車線の推定が精度良く行われている場合には、 GPS等の測位精度や地図データのデータ密度を考慮すると、実際の車両前方の道路の画像を処理する方が、より局所的な処理を行っているので、画像処理によって推定した車線の形状の方が、地図データ及び位置情報によって推定した車線の形状より位置の精度が高いと考えられる。 [0018] よって、第 2発明の車両及び車線認識装置において、前記実車線認識手段は、前記車線類似度が前記所定の閾値より大きいときには、前記第 1車線情報に基づいて、前記実際の車線を認識することが好ましい (第 3発明）。

[0019] この第 3発明によれば、前記車線類似度が前記所定の閾値より大きいときには、前記第 1車線情報に基づいて、前記実際の車線が認識されるので、地図データ及び位置情報により推定した車線の情報によって、画像処理による車線の推定の信頼性が検証される。また、画像処理により車線が精度良く推定されているとみなせるときには、地図データ及び位置情報により推定した車線の形状より精度が高いと考えられる画像処理によって推定した車線の形状の情報が、実際の車線を示す情報として用いられ、実際の車線が適切に認識される。

[0020] また、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが相違しているときには、画像処理による車線の推定と、地図データ及び位置情報による車線の推定とのいずれか、もしくは両方において、実際の車線が適切に推定されていない可能性がある。例えば、前方の道路に分岐等がある場合には、車線の形状がいずれの方法からも適切に推定できないことが考えられる。

[0021] よって、第 2発明の車両及び車線認識装置において、前記実車線認識手段は、前記車線類似度が前記所定の閾値以下のときには、前記実際の車線が認識されなかつた旨を示す情報を出力することが好ましい (第 4発明)。

[0022] この第 4発明によれば、前記車線類似度が前記所定の閾値以下のときには、前記実際の車線が認識されなかった旨を示す情報が出力されるので、画像処理による車線の推定と、地図データ及び位置情報による車線の推定とのいずれか、もしくは両方において、実際の車線が適切に推定されていない可能性があるときには、実際の車線が認識されなかった旨が適切に把握される。

[0023] さらに、画像処理により車線を推定する処理を実行した際に、例えば、道路上に予期できないブレーキ痕ゃ道路補修跡等が存在する場合には、車線が精度良く推定されないことや、さらには車線の推定がなされないことが考えられる。また、地図データ及び位置情報により車線を推定する処理を実行した際にも、例えば、前記位置情報取得手段が、 GPS等の走行情報提供設備から信号や通信によって車両の位置情報を取得するものであるとき、信号や通信の不良等により、現在の車両の位置情報を取得することができず、車線の推定がなされな、ことが考えられる。

[0024] よって、第 2発明の車両及び車線認識装置において、前記第 1車線情報は、前記画像処理手段の処理によって前記車線が推定されたか否かを示す第 1推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第 1車線形状情報とを有する。さら〖こ、前記第 2車線情報は、前記車線推定手段の処理によって前記車線が推定されたか否かを示す第 2推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第 2車線形状情報とを有する。そして、前記車線類似度を算出する手段は、前記車線類似度を算出する際に、前記第 1車線形状情報と前記第 2車線形状情報とを用いる。さらに、前記実車線認識手段は、前記実際の車線が認識されたか否かを示す実車線認識有無情報を、前記第 1推定有無情報と、前記第 2推定有無情報と、前記車線類似度を前記所定の閾値と比較した結果とに基づいて決定して出力する手段と、該車線が認識された場合における該認識された車線の形状を示す実車線形状情報を、前記第 1車線形状情報と、前記第 2 車線形状情報とから決定して出力する手段とを備えることが好まし、 (第 5発明)。

[0025] この第 5発明によれば、前記実際の車線が認識されたか否かを示す実車線認識有無情報が、前記第 1推定有無情報と、前記第 2推定有無情報と、前記車線類似度を前記所定の閾値と比較した結果とに基づいて決定される。これと共に、前記車線が認識された場合における該認識された車線の形状を示す実車線形状情報が、前記第 1車線形状情報と、前記第 2車線形状情報とから決定される。このとき、前記車線類似度は、前記第 1車線形状情報と前記第 2車線形状情報とを用いて算出される。これにより、画像処理によって車線の推定がなされなかった場合や、地図データ及び位置情報によって車線の推定がなされなカゝつた場合でも、実際の車線を示す情報が適切に決定される。このため、実際の車線を検出し得る機会を可能な限り高めつつ、実際の車線を精度良く検出することができる。

[0026] さらに、画像処理による推定の処理と、地図データ及び位置情報による推定の処理との両者によって車線の推定がなされた場合に、両者が推定した車線の形状の類似の度合により、画像処理により推定した車線の情報と、地図データ及び位置情報により推定した車線の情報との、それぞれの信頼性を把握することができるので、実際の車線をより適切に認識することができる。

[0027] また、第 5発明の車両及び車線認識装置にぉヽて、前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされな力つたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 2車線形状情報を設定することが好ま、 (第 6発明)。

[0028] この第 6発明によれば、前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされな力つたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線形状情報に前記第 2車線形状情報を設定する。よって、画像処理により車線が推定できな力た場合にも、地図データ及び位置情報により推定した車線の情報で補完するので、実際の車線を検出し得る機会を可能な限り高めることができる。

[0029] また、第 5発明の車両及び車線認識装置にぉヽて、前記実車線認識手段は、前記第 2推定有無情報が前記車線の推定がなされな力つたことを示す場合にぉ、て、前記第 1推定有無情報が前記車線の推定がなされたことを示すときには、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 1車線形状情報を設定し、前記第 1推定有無情報が前記車線の推定がなされなかったことを示すときには、前記実車線認識有無情報に前記車線が認識されな力つた旨を設定することが好ま、 (第 7発明)。

[0030] この第 7発明によれば、前記実車線認識手段は、地図データ及び位置情報により車線が推定されなカゝつた場合において、画像処理により車線が推定されているときには、画像処理による車線の推定の結果を、そのまま実際の車線を示す情報として用いることができる。さらに、地図データ及び位置情報と、画像処理とのいずれによっても車線が推定されな力つたときには、前記実車線認識有無情報に前記車線が認識されな力つた旨が設定されるので、実際の車線が認識されな力つた旨が明確に把握される。

[0031] さらに、第 5発明の車両及び車線認識装置において、前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合にぉヽて、前記車線類似度が前記所定の閾値より大きいときには、前記実車線認識有無情報に、前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 1車線形状情報を設定する。さらに、前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされな力つたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 2車線形状情報を設定する。さらに、前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされな力つたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 1車線形状情報を設定する。

[0032] そして、前記実車線認識手段は、前記実際の車線が認識されたときには、該認識の信頼度を設定して出力する手段を備え、前記第 1推定有無情報が前記車線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合において、前記車線類似度が前記所定の閾値より大きいときには、前記信頼度を最も高いレベルである第 1レベルに設定する。さらに、前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされな力つたことを示す場合には、前記信頼度を前記第 1レベルより低いレベルである第 2レベルに設定する。さらに、前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされな力つたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合には、前記信頼度を前記第 2レベルより低、レベルである第 3レベルに設定することが好ましい (第 8発明）。

[0033] これによれば、前記実際の車線が認識されたときには、該認識の信頼度が出力される。このとき、前記車線類似度が前記所定の閾値より大きい場合には、前記信頼度が最も高いレベルである第 1レベルに設定されるので、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、類似の度合が高ぐ実際の車線が精度良く推定されているとみなせるときには、前記信頼度は最も高く設定される。

[0034] また、前記第 1推定有無情報が前記車線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされなかったことを示す場合は、画像処理によってのみ車線の推定がなされた場合である。この場合には、地図データ及び位置情報により推定した車線の情報を用いて、画像処理による車線の推定の信頼性を検証することができないので、前記信頼度は前記第 1レベルより低い第 2レベルに設定される。

[0035] また、前記第 1推定有無情報が前記車線の推定がなされなかったことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合は、地図データ及び位置情報によってのみ車線の推定がなされた場合である。この場合には、 GPS 等の測位精度や地図データのデータ密度を考慮すると、地図データ及び位置情報による車線の推定は、より局所的な処理を行う画像処理による車線の推定より精度が低!、とみなせるので、前記信頼度は前記第 2レベルより低、第 3レベルに設定される

[0036] このように前記信頼度を設定して出力することにより、認識された実際の車線を示す情報の信頼性を明確に把握することができる。そして、このように設定された信頼度を、実際の車線を示す情報と共に、車両の制御や運転者への報知に使用することができる。

[0037] ここで、車両の走行する車線は、一般的に、該車線の左側を規定する左側線と右側を規定する右側線とによって構成されるものである。

[0038] よって、第 2発明の車両及び車線認識装置において、前記画像処理手段によって出力される第 1車線情報は、該画像処理手段の処理によって前記車線の左側を規定する左側線が推定された力否かを示す第 1左推定有無情報と、該左側線が推定された場合における該推定された左側線の形状を示す第 1左側線形状情報と、該画像処理手段の処理によって前記車線の右側を規定する右側線が推定されたか否かを示す第 1右推定有無情報と、該右側線が推定された場合における該推定された右側線の形状を示す第 1右側線形状情報とを有する。さらに、前記車線推定手段によつて出力される第 2車線情報は、該車線推定手段の処理によって前記左側線及び右側線の両方が推定された力否かを示す第 2推定有無情報と、該左側線が推定された場合における該推定された左側線の形状を示す第 2左側線形状情報と、該右側線が推定された場合における該推定された右側線の形状を示す第 2右側線形状情報とを有する。

[0039] そして、前記実車線認識手段は、前記第 1左推定有無情報が前記左側線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定力されたことを示す場合に、前記第 1左側線形状情報と前記第 2左側線形状情報とが類似する度合である左側線類似度を算出する手段を備える。さらに、前記実車線認識手段は、前記第 1推定有無情報が前記右側線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合に、前記第 1右側線形状情報と前記第 2右側線形状情報とが類似する度合である右側線類似度を算出する手段を備える。さらに、前記実車線認識手段は、前記実際の車線の左側を規定する実左側線が認識されたか否かを示す実左認識有無情報と、該実左側線が認識された場合における該認識された実左側線の形状を示す実左側線形状情報と、前記実際の車線の右側を規定する実右側線が認識された力否かを示す実右認識有無情報と、該実右側線が認識された場合における該認識された実右側線の形状を示す実右側線形状情報とを、該算出された左側線類似度及び右側線類似度を所定の閾値と比較した結果に応じて決定して出力する手段とを備えることが好ましい (第 9発明）。

[0040] この第 9発明によれば、前記実左認識有無情報と、前記実左側線形状情報と、前記実右認識有無情報と、前記実右側線形状情報とが、前記算出された左側線類似度及び右側線類似度を所定の閾値と比較した結果に応じて決定される。これにより、前記実車線認識手段は、画像処理による推定の処理と、地図データ及び位置情報による推定の処理との両者によって左側線及び右側線の推定がなされた場合には、両者が推定した左側線及び右側線のそれぞれの形状の類似の度合により、画像処理により推定した左側線及び右側線の情報と、地図データ及び位置情報により推定した左側線及び右側線の情報との、それぞれの信頼性を把握することができる。よつて、前記実車線認識手段は、実際の左側線及び右側線をより適切に認識することができる。

[0041] このとき、画像処理により推定した左側線及び右側線の形状と、地図データ及び位置情報により推定した左側線及び右側線の形状とが、それぞれ実際の左側線及び右側線の形状を精度良く推定してヽる場合には、両者の推定した左側線及び右側線の形状は、それぞれ類似の度合が高いものとなると考えられる。さらに、 GPS等の測位精度や地図データのデータ密度を考慮すると、実際の車両前方の道路の画像を処理する方力より局所的な処理を行っている。このため、画像処理による左側線及び右側線の推定が精度良く行われてヽる場合には、画像処理によって推定した左側線及び右側線の形状の方が、地図データ及び位置情報によって推定した左側線及び右側線の形状より位置の精度が高、と考えられる。

[0042] よって、第 9発明の車両及び車線認識装置において、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との一方又は両者が算出され、且つ該算出された左側線類似度と右側線類似度との一方又は両者が前記所定の閾値より大きい場合には、前記実左認識有無情報及び実右認識有無情報にそれぞれ前記実左側線及び実右側線が認識された旨を設定する。これと共に、前記実車線認識手段は、前記第 1左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左側線形状情報に前記第 1左側線形状情報を設定し、該第 1左推定有無情報が該左側線の推定がなされな力つたことを示すときには、該実左側線形状情報に前記第 2左側線形状情報を設定し、前記第 1右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右側線形状情報に前記第 1右側線形状情報を設定し、該第 1右推定有無情報が該右側線の推定がなされな力つたことを示すときには、該実右側線形状情報に前記第 2左側線形状情報を設定することが好ま、 (第 10 発明)。

[0043] この第 10発明によれば、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との一方又は両者が算出され、且つ該算出された左側線類似度と右側線類似度との一方又は両者が前記所定の閾値より大きい場合には、前記実左認識有無情報及び実右認識有無情報にそれぞれ前記実左側線及び実右側線が認識された旨を設定する。よって、地図データ及び位置情報により推定した左側線及び右側線の情報によって、画像処理による左側線及び右側線の推定の信頼性が検証され、画像処理により左側線及び右側線が精度良く推定されているとみなせるときには、車線が認識された旨が実際の左側線及び右側線の情報に適切に設定される。

[0044] これと共に、前記実車線認識手段は、前記第 1左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左側線形状情報に前記第 1左側線形状情報を設定し、前記第 1右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右側線形状情報に前記第 1右側線形状情報を設定するので、地図データ及び位置情報により推定した左側線及び右側線の形状より精度が高いと考えられる画像処理によって推定した左側線及び右側線の形状の情報力実際の左側線及び右側線の形状の情報として適切に設定される。

[0045] さらに、前記実車線認識手段は、前記第 1左推定有無情報が前記左側線の推定がなされな力つたことを示すときには、前記実左側線形状情報に前記第 2左側線形状情報を設定し、前記第 1右推定有無情報が前記右側線の推定がなされな力つたことを示すときには、前記実右側線形状情報に前記第 2左側線形状情報を設定する。よつて、画像処理により左側線及び右側線が推定できな力つた場合にも、地図データ及び位置情報により推定した左側線及び右側線の情報で補完するので、実際の左側線及び右側線を検出し得る機会を可能な限り高めることができる。

[0046] また、画像処理により推定した左側線及び右側線の形状と、地図データ及び位置情報により推定した左側線及び右側線の形状とが相違して、るときには、画像処理による左側線及び右側線の推定と、地図データ及び位置情報による左側線及び右側線の推定とのいずれか、もしくは両方において、実際の左側線及び右側線が適切に推定されてヽな、可能性がある。

[0047] よって、第 9発明の車両及び車線認識装置において、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との両者が算出され、且つ該算出された左側線類似度と右側線類似度との少なくともいずれかが前記所定の閾値以下である場合と、前記左側線類似度と前記右側線類似度との一方が算出され、且つ該算出された左側線類似度と右側線類似度との一方が前記所定の閾値以下である場合とには、前記実左認識有無情報及び実右認識有無情報に、それぞれ前記実左側線及び実右側線が認識されな力つた旨を設定することが好ましい (第 11発明)。

[0048] これによれば、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との両者が算出され、且つ該算出された左側線類似度と右側線類似度との少なくともいずれかが前記所定の閾値以下である場合と、前記左側線類似度と前記右側線類似度との一方が算出され、且つ該算出された左側線類似度と右側線類似度との一方が前記所定の閾値以下である場合とには、前記実左認識有無情報及び実右認識有無情報に、それぞれ前記実左側線及び実右側線が認識されなかった旨を設定する。よって、画像処理による左側線及び右側線の推定と、地図データ及び位置情報による左側線及び右側線の推定とのいずれか、もしくは両方において、実際の左側線及び右側線が適切に推定されてヽな、可能性があるときには、左側線及び右側線が認識されな力つた旨が実際の左側線及び右側線の情報に適切に設定される。

[0049] また、第 9発明の車両及び車線認識装置にぉヽて、前記実車線認識手段は、前記第 1左推定有無情報及び第 1右推定有無情報が、それぞれ前記左側線及び右側線の推定がなされなかったことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合には、前記実左認識有無情報及び実右認識有無情報に、それぞれ前記実左側線及び実右側線が認識された旨を設定すると共に、前記実左側線形状情報に前記第 2左側線形状情報を設定し、前記実右側線形状情報に前記第 2右側線形状情報を設定することが好まヽ (第 12発明)。

[0050] この第 12発明によれば、前記実車線認識手段は、前記第 1左推定有無情報及び第 1右推定有無情報が、それぞれ前記左側線及び右側線の推定がなされなかったことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合には、前記実左側線形状情報に前記第 2左側線形状情報を設定し、前記実右側線形状情報に前記第 2右側線形状情報を設定する。よって、画像処理により左側線及び右側線が推定できなかった場合にも、地図データ及び位置情報により推定した左側線及び右側線の情報で補完するので、実際の左側線及び右側線を検出し得る機会を可能な限り高めることができる。

[0051] また、第 9発明の車両及び車線認識装置にぉヽて、前記実車線認識手段は、前記第 2推定有無情報が前記左側線及び右側線の推定がなされな力つたことを示す場合において、前記第 1左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左認識有無情報に前記実左側線が認識された旨を設定すると共に、前記実左側線形状情報に前記第 1左側線形状情報を設定する。さらに、前記実車線認識手段は、前記第 1左推定有無情報が前記左側線の推定がなされなかったことを示すときには、前記実左認識有無情報に前記実左側線が認識されなカゝつた旨を設定する。さらに、前記実車線認識手段は、前記第 1右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右認識有無情報に前記実右側線が認識された旨を設定すると共に、前記実右側線形状情報に前記第 1右側線形状情報を設定する。さらに、前記実車線認識手段は、前記第 1右推定有無情報が前記右側線の推定がなされな力つたことを示すときには、前記実右認識有無情報に前記実右側線が認識されな力つた旨を設定することが好ましい (第 13発明)。

[0052] この第 13発明によれば、前記実車線認識手段は、地図データ及び位置情報により左側線及び右側線が推定されなカゝつた場合にぉヽて、画像処理により左側線又は右側線が推定されて!、るときには、画像処理による左側線又は右側線の推定の結果を、そのまま実際の左側線又は右側線を示す情報として用いることができる。さらに、地図データ及び位置情報と、画像処理との、ずれによっても左側線又は右側線が推定されなかったときには、前記実左認識有無情報又は実右認識有無情報にそれぞれ前記左側線又は右側線が認識されな力つた旨が設定されるので、実際の左側線又は右側線が認識されな力つた旨が明確に把握される。

[0053] さらに、第 9発明の車両及び車線認識装置において、前記実車線認識手段は、前記左側線類似度と前記右側線類似度との一方又は両者が算出され、且つ該算出された左側線類似度と右側線類似度との一方又は両者が前記所定の閾値より大きい場合には、前記実左認識有無情報及び実右認識有無情報にそれぞれ前記実左側線及び実右側線が認識された旨を設定する。

[0054] これと共に、前記実車線認識手段は、前記左推定有無情報が前記左側線の推定力 Sなされたことを示すときには、前記実左側線形状情報に前記第 1左側線形状情報を設定し、前記第 1左推定有無情報が前記左側線の推定がなされなかったことを示すときには、前記実左側線形状情報に前記第 2左側線形状情報を設定し、前記第 1 右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右側線形状情報に前記第 1右側線形状情報を設定し、該第 1右推定有無情報が該右側線の推定がなされな力つたことを示すときには、該実右側線形状情報に前記第 2左側線形状情報を設定する。

[0055] さらに、前記実車線認識手段は、前記第 1左推定有無情報及び第 1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされなカゝつたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合には、前記実左認識有無情報及び実右認識有無情報にそれぞれ前記実左側線及び実右側線が認識された旨を設定する。これと共に、前記実車線認識手段は、前記実左側線形状情報に前記第 2左側線形状情報を設定し、前記実右側線形状情報に前記第 2右側線形状情報を設定する。

[0056] さらに、前記実車線認識手段は、前記第 2推定有無情報が前記左側線及び右側線の推定がなされな力つたことを示す場合において、前記第 1左推定有無情報が前記左側線の推定がなされたことを示すときには、前記実左認識有無情報に前記実左側線が認識された旨を設定すると共に、前記実左側線形状情報に前記第 1左側線形状情報を設定する。また、前記実車線認識手段は、前記第 1左推定有無情報が前記左側線の推定がなされな力つたことを示すときには、前記実左認識有無情報に前記実左側線が認識されなかった旨を設定する。また、前記実車線認識手段は、前記第 1右推定有無情報が前記右側線の推定がなされたことを示すときには、前記実右認識有無情報に前記実右側線が認識された旨を設定すると共に、前記実右側線形状情報に前記第 1右側線形状情報を設定する。また、前記実車線認識手段は、前記第 1右推定有無情報が前記右側線の推定がなされな力つたことを示すときには、前記実右認識有無情報に前記実右側線が認識されなカゝつた旨を設定する。

[0057] そして、前記実車線認識手段は、前記実左側線及び実右側線の少なくとも!ヽずれか一方が認識されたときには、該認識の信頼度を設定して出力する手段を備え、前記左側線類似度と前記右側線類似度との両者が算出され、且つ該算出された左側線類似度と右側線類似度との両者が前記所定の閾値より大きい場合には、前記信頼度を最も高いレベルである第 1レベルに設定する。さらに、前記実車線認識手段は

、前記左側線類似度と前記右側線類似度のいずれか一方が算出され、且つ該算出された左側線類似度と前記右側線類似度とのいずれか一方が前記所定の閾値より大き!、場合と、前記第 1左推定有無情報及び第 1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされな力つたことを示す場合とには、前記信頼度を前記第 1レベルより低いレベルである第 2レベルに設定する。さらに、前記実車線認識手段は、前記第 1左推定有無情報及び第 1右推定有無情報のいずれか一方が、それぞれ前記左側線及び右側線の!ヽずれか一方の推定がなされたことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされな力つたことを示す場合と、前記第 1左推定有無情報及び第 1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされな力つたことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合とには、前記信頼度を前記第 2 レベルより低、レベルである第 3レベルに設定することが好まし、（第 14発明）。

[0058] この第 14発明によれば、前記実左側線及び実右側線の少なくとも!/、ずれか一方が認識されたときには、該認識の信頼度が出力される。このとき、前記左側線類似度と前記右側線類似度との両者が算出され、且つ該算出された左側線類似度と右側線類似度との両者が前記所定の閾値より大きい場合には、前記信頼度が最も高いレべルである第 1レベルに設定されるので、画像処理により推定した左側線及び右側線の形状と、地図データ及び位置情報により推定した左側線及び右側線の形状とが、左右とも類似の度合が高ぐ実際の左側線及び右側線が精度良く推定されているとみなせるときには、前記信頼度は最も高く設定される。

[0059] また、前記左側線類似度と前記右側線類似度のいずれか一方が算出され、且つ該算出された左側線類似度と前記右側線類似度とのいずれか一方が前記所定の閾値より大きい場合は、左側線及び右側線の一方のみについて、精度良く推定されているとみなせる場合であるので、前記信頼度は前記第 1レベルより低い第 2レベルに設定される。

[0060] また、前記第 1左推定有無情報及び第 1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされたことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされな力つたことを示す場合は、画像処理によってのみ左側線及び右側線の推定がなされた場合であり、地図データ及び位置情報により推定した左側線及び右側線の情報を用いて、画像処理による左側線及び右側線の推定の信頼性を検証できな、ので、前記信頼度は前記第 1レベルより低、第 2レベルに設定される。

[0061] さらに、前記第 1左推定有無情報及び第 1右推定有無情報のいずれか一方が、それぞれ前記左側線及び右側線の!ヽずれか一方の推定がなされたことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされな力つたことを示す場合は、画像処理によってのみ左側線及び右側線にっヽて推定がなされた場合である。この場合には、地図データ及び位置情報により推定した左側線及び右側線の情報を用いて、画像処理による左側線及び右側線の推定の信頼性を検証できず、さらに左側線及び右側線の一方のみし力推定がなされて、な、ので、前記信頼度は前記第 2レベルよりも低、第 3レベルに設定される。

[0062] また、前記第 1左推定有無情報及び第 1右推定有無情報がそれぞれ前記左側線及び右側線の推定がなされな力つたことを示し、且つ前記第 2推定有無情報が前記左側線及び右側線の推定がなされたことを示す場合は、地図データ及び位置情報によってのみ左側線及び右側線の推定がなされた場合である。この場合には、 GPS の測位精度等を考慮して、画像処理によってのみ推定がなされた場合よりも精度が低!、とみなせるので、前記信頼度は前記第 2レベルより低、第 3レベルに設定される

[0063] このように前記信頼度を設定して出力することにより、認識された実際の車線を示す情報の信頼性を明確に把握することができる。そして、このように設定された信頼度を、実際の車線を示す情報と共に、車両の制御や運転者への報知に使用することができる。

図面の簡単な説明

[0064] [図 1]本発明の第 1実施形態による車線認識装置の機能ブロック図。

[図 2]図 1の車線認識装置の車線認識処理を示すフローチャート。 [図 3]図 1の車線認識装置の車線認識処理における画像処理による車線推定処理を示すフローチャート。

[図 4]図 1の車線認識装置の車線認識処理における GPS情報及び地図データによる車線推定処理を示すフローチャート。

[図 5]図 1の車線認識装置の認識対象である道路の車線の例示図。

[図 6]図 1の車線認識装置の画像処理による車線推定処理の説明図。

[図 7]図 1の車線認識装置の GPS情報及び地図データによる車線推定処理の説明図。

[図 8]図 1の車線認識装置の GPS情報及び地図データによる車線推定処理の説明図。

発明を実施するための最良の形態

[0065] 本発明の一実施形態を添付の図面を参照して説明する。図 1は、本発明の第 1実施形態による車線認識装置の機能ブロック図である。また、図 2〜図 4は、図 1の車線認識装置における車線認識処理のフローチャートである。また、図 5は、図 1の車線認識装置における車線認識処理の認識対象である車線の例示図である。また、図 6 〜図 8は、図 1の車線認識装置における車線認識処理の説明図である。なお、本第 1 実施形態は、本発明の第 1態様に対応する実施形態である。

[0066] 図 1を参照して、車線認識装置 1は、マイクロコンピュータ等により構成された電子ユニットであり、その処理機能として、道路の画像を取得して車線を推定する処理を実行する画像処理手段 2と、地図データを保持する地図データ記憶媒体 3と、 GPS により車両の現在の位置情報を取得する GPSユニット 4と、地図データと車両の現在の位置情報とから車線を推定する処理を実行する車線推定手段 5と、画像処理手段 2による処理の結果と車線推定手段 5による処理の結果とに基づいて実際の車線を認識する処理を実行する実車線認識手段 6とを備え、車両 7に搭載されてヽる。

[0067] 画像処理手段 2は、車両 7のフロント部分に取り付けられて車両 7の前方の画像を撮像するビデオカメラ 8 (CCDカメラ等、本発明の撮像手段)を介して道路の画像を取得する。そして、画像処理手段 2は、取得した道路の画像を処理して、車両 7が走行する車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する。なお、ビデオカメラ 8と車線認識装置 1とを備えることにより、本発明の車両が構成される。

[0068] 地図データ記憶媒体 3 (本発明の保持手段）は、地図データが記録されている CD

-ROM, DVD, HDD等の記憶媒体である。地図データ記憶媒体 3には、地図データとして、道路の位置、道路の車線幅等が記録されている。

[0069] GPSユニット 4 (本発明の位置情報取得手段）は、複数の GPS (Global Positioning System)衛星から送信される情報を受信し、該受信した情報に基づ、て車両 7の現在の位置情報 (緯度、経度、進行方向）を取得する。

[0070] 車線推定手段 5は、地図データ記憶媒体 3から読み出される地図データと、 GPSュニット 4によって取得される現在の車両 7の位置情報とを用いて、車両 7が現在走行する道路の情報を特定する。そして、車線推定手段 5は、特定した道路の情報から車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する。

[0071] 実車線認識手段 6は、画像処理手段 2から出力される第 1車線情報と、車線推定手段 5から出力される第 2車線情報とに基づいて、実際の車線の情報を認識する処理を実行し、該処理の結果を実際の車線を示す情報 (以下、実車線情報という）として出力する。さらに、実車線認識手段 6は、実際の車線が認識された場合には、該認識の信頼度を設定し、実車線情報と共に出力する。信頼度は、認識の精度を示す指標であり、該認識の結果に応じて、レベル 1〜レベル 3の 3段階に設定される。レベル 1は、認識の信頼度が最も高いことを示し (高精度）、レベル 2は、信頼度がレベル 1より低いことを示し（中精度），レベル 3は、さらに信頼度がレベル 2より低いことを示す（低精度)。

[0072] 次に、本実施形態の車線認識装置 1の作動を、図 2〜図 4に示したフローチャートに従って説明する。図 2は車線認識処理の全体的な作動（車線認識装置 1のメインルーチン処理）を示すフローチャート、図 3は画像処理により車線を推定する処理 (サブルーチン処理）を示すフローチャート、図 4は地図データ及び位置情報から車線を推定する処理 (サブルーチン処理）を示すフローチャートである。なお、以下では、図 5に示したように、車両 7の進行方向が矢示方向であり、車両 7の走行している道路の車線の左側がレーンマーク AOで規定され、車線の右側がレーンマーク A1で規定される場合を例にして説明する。レーンマーク AO, A1は、一例として、例えば白線とする。

[0073] 図 2を参照して、まず、画像処理手段 2は、ビデオカメラ 8から出力される映像信号が入力され、道路の画像を取得する（STEP001)。

[0074] 次に、画像処理手段 2は、取得した道路の画像から車線を推定する処理 (以下、第 1車線推定処理という）を実行し、第 1車線情報を出力する（STEP002)。出力される第 1車線情報は、第 1車線推定処理によってレーンマーク AOが推定されたか否かを示す第 1左推定有無情報と、レーンマーク AOが推定された場合における該推定されたレーンマーク AOの形状を示す第 1左側線形状情報と、第 1車線推定処理によってレーンマーク A1が推定された力否かを示す第 1右推定有無情報と、レーンマーク A1 が推定された場合における該推定されたレーンマーク A1の形状を示す第 1右側線形状情報とを有する。第 1左推定有無情報には、レーンマーク AOが推定された場合には「有」が設定され、推定されな力つた場合には「無」が設定される。第 1右推定有無情報にも、同様に、レーンマーク A1が推定された場合には「有」が設定され、推定されなかった場合には「無」が設定される。

[0075] 第 1車線推定処理は、図 3に示す如く実行される。まず、画像処理手段 2は、取得された画像から白線を検出するためのエッジ検出の処理を行う（STEP101)。次に、画像処理手段 2は、エッジ検出の出力データをノヽフ変換する（STEP102)。次に、ハフ空間で直線成分を探索して抜き出す (STEP103)。次に、画像処理手段 2は、抜き出された直線成分のデータを、ハフ空間から画像空間へ射影変換し、さらに画像空間から実空間（車両に固定された座標空間)へ射影変換する (STEP104)。

[0076] 次に、 STEP105に進み、画像処理手段 2は、実空間へ変換された直線成分のデータのうちから、レーンマーク AOであると推定される直線成分のデータを選抜し、選抜した直線成分のデータに含まれる複数の点の座標を点列データ A2とする。同様に、画像処理手段 2は、レーンマーク A1であると推定される直線成分のデータを選抜し、その選抜した直線成分のデータに含まれる複数の点の座標を点列データ A3とする。選抜された点列データ A2, A3は、図 6に例示されるようなものである。図 6において、座標系は、 X軸， y軸を座標軸とする平面直角座標系であり、車両 7の中心位置を原点とし、車両 7の進行方向を X軸方向とするように設定されて!、る。

[0077] 次に、図 6に示すように、画像処理手段 2は、点列データ A2を近似する 2次式 F2 ( y=ax*x+bx+c)と、点列データ A3を近似する 2次式 F3 (y=dx*x+ex+f)とを求める（a ,b,c,d,e,fは所定の係数)。このとき、近似方法としては最小二乗法を用いる。

[0078] そして、 STEP106に進み、画像処理手段 2は、第 1車線情報を設定する。このとき、 2次式 F2が適切に求められている場合には、画像処理手段 2は、第 1推定有無情報に「有」を設定すると共に、第 1左側線形状情報に y=ax*_X+bx+_Cを設定する。点列データ A2が得られな力つた場合や、点列データ A2に十分なデータ数がなく 2次式 F 2が求められな力つた場合や、求めた 2次式 F2が点列データ A2を近似する度合が低い（2次式 F2に対する点列データ A2のばらつきが大きい)場合等、 2次式 F2が適切に求められな力つた場合には、画像処理手段 2は、第 1左推定有無情報に「無」を設定する。

[0079] また、 2次式 F3が適切に求められている場合には、画像処理手段 2は、第 1右推定有無情報に「有」を設定すると共に、第 1右側線形状情報に y=dx*x+_ex+fを設定する。点列データ A3が得られなかった場合や、点列データ A3に十分なデータ数がなく 2 次式 F3が求められなカゝつた場合や、求めた 2次式 F3が点列データ A3を近似する度合が低い（2次式 F3に対する点列データ A3のばらつきが大きい）場合等、 2次式 F3 が適切に求められな力つた場合には、画像処理手段 2は、第 1右推定有無情報に「無」を設定する。

[0080] 次に、図 2に戻り、 GPSユニット 4は、車両 7の現在の位置情報を取得する処理を実行する（STEP003)。取得される車両 7の現在の位置情報は、位置 (緯度 χθ,経度 y 0)と進行方位 Θである。これらの情報は、球面座標系で示されており、進行方位 Θ は、北方向を 0度とし、時計回りを正とするように設定されている。次に、車線推定手段 5は、地図データ記憶媒体 3から地図データを読み込む（STEP004)。読み込まれる地図データは、道路における車線（車両の走行レーン）の中心線上の点列の座標 (X, Y)と、各点 (X, Y)での車線幅 wであり、これらのデータは、南北方向に X軸に設定し、東西方向に y軸を設定した平面直角座標系で示されてヽる。

[0081] 次に、車線推定手段 5は、地図データ及び位置情報により車線を推定する処理 (以下、第 2車線推定処理という）を実行し、第 2車線情報を出力する（STEP005)。出力される第 2車線情報は、第 2車線推定処理によってレーンマーク AO及びレーンマーク A1が推定されたか否かを示す第 2推定有無情報と、レーンマーク AOが推定された場合における該推定されたレーンマーク AOの形状を示す第 2左側線形状情報と、レーンマーク A1が推定された場合における該推定されたレーンマーク A1の形状を示す第 2右側線形状情報とを有する。第 2推定有無情報には、レーンマーク AO及びレーンマーク A1が推定された場合には「有」が設定され、推定されな力つた場合には「無」が設定される。

[0082] 第 2車線推定処理は、図 4に示す如く実行される。まず、車線推定手段 5は、 GPS ユニット 4により現在の車両 7の位置情報が取得されているか否かを確認する（STEP 201)。 GPS衛星からの受信不良等により、現在の車両 7の位置情報が取得されていな力つた場合は、 STEP202に進み、車線推定手段 5は、第 2推定有無情報に「無」を設定する。

[0083] STEP201において、現在の車両 7の位置情報が取得されていた場合には、 STE P203に進み、車線推定手段 5は、取得した車両 7の位置 (緯度 χθ,経度 yO)を、球面座標系から地図データにおける平面直角座標系に座標変換する。座標変換して得られた車両 7の位置 POは、図 7 (a) , (b)に例示するようなものとなる。図 7 (a) , (b) において、 X軸， y軸，原点 Oは、読み込まれた地図データの座標系 xyを示している。

[0084] 次に、 STEP204で、図 7 (a)に示すように、車線推定手段 5は、地図データの座標系 _xyを、車両 7の位置 POを原点とし x'軸， y'軸を座標軸とする座標系 x'y'へ座標変換 (平行移動）する。このとき、車両 7の進行方向は矢示方向であり、 x'軸力も進行方位 Θ度だけ回転した方向として示される。次に、 STEP205で、図 7 (b)に示すように、車線推定手段 5は、座標系 x 'を、車両 7の進行方向を X"軸方向とし X"軸， y"軸を座標軸とする座標系 x"y"へ回転変換する（ Θ度回転させる)。これにより、地図データが座標系 x'y'に座標変換される。以後の STEP206〜208の処理は、この座標系 x'yで行われる。

[0085] 次に、 STEP206で、車線推定手段 5は、原点に最も近い地図データ上の点（基準点 P1)を探索し、基準点 P1の座標 (xl,yl)と、基準点 P1における車線幅 wとを取得する。次に、 STEP207で、車線推定手段 5は、基準点 P1から車両の進行方向に所定の距離 X先までの複数の点 (P2, . . . , Pn)を抽出する (nは 3以上の整数)。所定の距離 Xは、例えば 100m程度とする。そして、基準点 P1及び抽出した点（P2, . . . , Pn)の座標データ { (xl,yl) , (x2,y2) , . . . , (χη, yn) }を点列データ Α4とする。点列データ A4は、図 8に例示されるようなものである。

[0086] 次に、 STEP207で、図 8に示すように、車線推定手段 5は、点列データ A4を近似する 2次式 F4 (y=gx*x+hx+i)を求める (g, h, iは所定の係数)。このとき、近似方法としては最小二乗法を用いる。

[0087] 次に、 STEP208で、図 8に示すように、車線推定手段 5は、求めた 2次式 F4と車線幅 wと力、レーンマーク AO, A1を推定する。このとき、車線推定手段 5は、レーンマーク AOは 2次式 F5 (y=gx*x+hx+ト w/2)により推定し、レーンマーク A1は 2次式 F6 (y=gx*x+hx+i+w/2)により推定する。そして、 STEP209で、車線推定手段 5は、第 2推定有無情報に「有」を設定すると共に、第 2左側線形状情報に y=g_X*_X+hx+i-_W/ 2、第 2右側線形状情報に y=g_X*_X+hx+i+_W/2を設定する。

[0088] 次に、図 2に戻り、実車線認識手段 6は、第 1車線情報と第 2車線情報とから、実際の車線を認識する処理 (以下、実車線認識処理という）を実行し、実車線情報と信頼度とを出力する（STEP006)。出力される実車線情報は、実車線認識処理によってレーンマーク AOが認識されたカゝ否かを示す実左認識有無情報と、レーンマーク AO が認識された場合における該認識されたレーンマーク AOの形状を示す実左側線形状情報と、実車線認識処理によってレーンマーク A1が認識されたカゝ否かを示す実右認識有無情報と、レーンマーク A1が認識された場合における該認識されたレーンマーク A1の形状を示す実右側線形状情報とを有する。実左認識有無情報には、レーンマーク AOが認識された場合には「有」が設定され、認識されなカゝつた場合には「無」が設定される。実右認識有無情報にも、同様に、レーンマーク A1が認識された場合には「有」が設定され、認識されな力つた場合には「無」が設定される。

[0089] まず、実車線認識手段 6は、第 1左推定有無情報、第 1右推定有無情報、第 2推定有無情報の設定値を確認する。そして、前記 3つの設定値の組み合わせに応じて、以下の（a)〜 (h)に示す 8通りの場合に分けて実車線認識処理を実行する。 [0090] (a)第 1左推定有無情報 =「有」，かつ第 1右推定有無情報 =「有」，かつ第 2推定有無情報 =「有」の場合

この場合は、まず、実車線認識手段 6は、第 1左側線形状情報と第 2左側線形状情報との類似する度合を示す左側線類似度指標値 L1を算出する。左側線類似度指標値 L1としては、次式（1)で示される比較関数 F1の値が用いられる。

[0091] [数 1]

F\(fl(x\ f2(x)) =∑ {fl{x) - fl(x))² … (1)

[0092] 実車線認識手段 6は、式（1)の右辺の f 1 (X)に ax*x+bx+c (第 1左側線形状情報）を用い、 f2 (X)に gx*x+hx+i-w/2 (第 2左側線形状情報）を用いて算出される左辺の値を左側線類似度指標値 L1とする。なお、算出される左側線類似度指標値 L1は、 f l (x)と f 2 (X)との類似の度合 (類似度）が高いほど小さくなるものである。また、式（1) の右辺の Nは、予め定めた fl (x) , f 2 (X)の値のサンプリング数であり、例えば N = 5 0である。

[0093] 次に、実車線認識手段 6は、左側線類似度指標値 L1と同様に、式（1)を用いて、第 1右側線形状情報と第 2右側線形状情報との類似する度合を示す右側線類似度指標値 R1を算出する。実車線認識手段 6は、式（1)の右辺の fl (X)に dx*x+ex+f ( 第 1右側線形状情報)を用い、 f 2 (x)に g_X*_X+hx+i+_W/2 (第 2右側線形状情報)を用いて算出される左辺の値を右側線類似度指標値 R1とする。算出される右側線類似度指標値 R1は、左側線類似度指標値 L1と同様、 ) ¾2 )との類似の度合(類似度）が高いほど小さくなるものである。

[0094] 次に、実車線認識手段 6は、左側線類似度指標値 L1と右側線類似度指標値 R1とをそれぞれ所定の閾値 S1と比較する。そして、実車線認識手段 6は、比較の結果に応じて、以下の (al) , (a2)の 2通りの場合に分けて実車線情報と信頼度とを設定する。

[0095] (al) LK Sl かつ RK S1の場合

この場合は、実車線認識手段 6は、実左認識有無情報に「有」を設定し、実左側線形状情報に第 1左側線形状情報を設定する。また、実車線認識手段 6は、実右認識有無情報に「有」を設定し、実右側線形状情報に第 1右側線形状情報を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、類似の度合が高ぐ地図データ及び位置情報により推定した車線の情報によって、画像処理による車線の推定の信頼性が検証され、画像処理により車線が精度良く推定されているとみなせるときには、車線が認識された旨が実車線情報に適切に設定される。このとき、レーンマーク AO, A1について、地図データ及び位置情報により推定した車線の形状情報より精度が高いと考えられる画像処理によって推定した車線の形状情報が、実車線情報に設定される。

[0096] また、この場合は、実車線認識手段 6は、信頼度をレベル 1に設定する。これにより、レーンマーク AO, A1の両方について、精度良く推定されているとみなせるときには、信頼度は最も高いレベルに設定される。

[0097] (a2) Ll≥Sl または R1≥S1の場合

この場合は、実車線認識手段 6は、実左認識有無情報および実右認識有無情報に、それぞれ「無」を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが相違しており、画像処理による車線の推定と地図データ及び位置情報による車線の推定とのいずれ力、もしくは両方において、実際の車線が適切に推定されていない可能性があるときには、車線が認識されなかった旨が実車線情報に適切に設定される。

[0098] (b)第 1左推定有無情報 =「有」，かつ第 1右推定有無情報 =「有」，かつ第 2推定有無情報 =「無」の場合

この場合は、実車線認識手段 6は、実左認識有無情報に「有」を設定し、実左側線形状情報に第 1左側線形状情報を設定する。また、実車線認識手段 6は、実右認識有無情報に「有」を設定し、実右側線形状情報に第 1右側線形状情報を設定する。これにより、地図データ及び位置情報により車線が推定されな力つた場合において、画像処理により車線が推定されているときには、画像処理による車線の推定の結果力そのまま実車線情報として用いられる。

[0099] また、この場合は、実車線認識手段 6は、信頼度をレベル 2に設定する。これにより、画像処理によってのみ車線の推定がなされ、地図データ及び位置情報により推定した車線の情報を用いて、画像処理による車線の推定の信頼性を検証できなカゝつた場合には、信頼度はレベル 1より低く設定される。

[0100] (c)第 1左推定有無情報 =「有」，かつ第 1右推定有無情報 =「無」，かつ第 2推定有無情報 =「有」の場合

この場合は、まず、実車線認識手段 6は、第 1左側線形状情報と、第 2左側線形状情報とから、式 (1)を用いて左側線類似度指標値 L1を算出する。次に、実車線認識手段 6は、左側線類似度指標値 L1を所定の閾値 S1と比較する。そして、実車線認識手段 6は、比較の結果に応じて、以下の（cl) , (c2)の 2通りの場合に分けて実車線情報と信頼度とを設定する。

[0101] (cl) Ll < Slの場合

この場合は、実車線認識手段 6は、実左認識有無情報に「有」を設定し、実左側線形状情報に第 1左側線形状情報を設定する。また、実車線認識手段 6は、実右認識有無情報に「有」を設定し、実右側線形状情報に第 2右側線形状情報を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、類似の度合が高ぐ地図データ及び位置情報により推定した車線の情報によって、画像処理による車線の推定の信頼性が検証され、画像処理により車線が精度良く推定されているとみなせるときには、車線が認識された旨が実車線情報に適切に設定される。このとき、レーンマーク AOについては、地図データ及び位置情報により推定した車線の形状情報より精度が高いと考えられる画像処理によって推定した車線の形状情報が、実車線情報に設定される。また、画像処理によって車線が推定できなかったレーンマーク A1につ!/、ては、地図データ及び位置情報により推定した車線の情報で補完するので、車線を検出し得る機会を可能な限り高めることができる。

[0102] また、この場合は、実車線認識手段 6は、信頼度をレベル 2に設定する。これにより、レーンマーク AO, A1の一方のみについて、精度良く推定されているとみなせるときには、信頼度はレベル 1より低く設定される。

[0103] (c2) Ll≥Slの場合

[0104] (d)第 1左推定有無情報 =「有」，かつ第 1右推定有無情報 =「無」，かつ第 2推定有無情報 =「無」の場合

この場合は、実車線認識手段 6は、実左認識有無情報に「有」を設定し、実左側線形状情報に第 1左側線形状情報を設定する。また、実車線認識手段 6は、実右認識有無情報に「無」を設定する。これにより、地図データ及び位置情報により車線が推定されなかった場合において、画像処理により車線が推定されているときには、画像処理による車線の推定の結果力そのまま実車線情報として用いられる。

[0105] また、この場合は、実車線認識手段 6は、信頼度をレベル 3に設定する。これにより、画像処理によってのみ車線の推定がなされ、地図データ及び位置情報により推定した車線の情報を用いて、画像処理による車線の推定の信頼性を検証できなカゝつた場合には、信頼度はレベル 1より低く設定される。さらに、このとき、画像処理によってレーンマーク AO, A1の一方のみについて推定がなされているので、信頼度はレべル 2よりも低く設定される。

[0106] (e)第 1左推定有無情報 =「無」，かつ第 1右推定有無情報 =「有」，かつ第 2推定有無情報 =「有」の場合

この場合は、まず、実車線認識手段 6は、第 1右側線形状情報と、第 2右側線形状情報とから、式 (1)を用いて右側線類似度指標値 R1を算出する。次に、実車線認識手段 6は、右側線類似度指標値 R1を所定の閾値 S1と比較する。そして、実車線認識手段 6は、比較の結果に応じて、以下の（el) , (e2)の 2通りの場合に分けて実車線情報と信頼度とを設定する。

[0107] (el)Rl < Slの場合

この場合は、実車線認識手段 6は、実左認識有無情報に「有」を設定し、実左側線形状情報に第 2左側線形状情報を設定する。また、実車線認識手段 6は、実右認識有無情報に「有」を設定し、実右側線形状情報に第 1右側線形状情報を設定する。これにより、画像処理により推定した車線の形状と、地図データ及び位置情報により推定した車線の形状とが、類似の度合が高ぐ地図データ及び位置情報により推定した車線の情報によって、画像処理による車線の推定の信頼性が検証され、画像処理により車線が精度良く推定されているとみなせるときには、車線が認識された旨が実車線情報に適切に設定される。このとき、レーンマーク A1については、地図データ及び位置情報により推定した車線の形状情報より精度が高いと考えられる画像処理によって推定した車線の形状情報が、実車線情報に設定される。また、画像処理によって車線が推定できなかったレーンマーク AOについては、地図データ及び位置情報により推定した車線の情報で補完するので、車線を検出し得る機会を可能な限り高めることができる。

[0108] また、この場合は、実車線認識手段 6は、信頼度をレベル 2に設定する。これにより、レーンマーク AO, A1の一方のみについて、精度良く推定されているとみなせるときには、信頼度はレベル 1より低く設定される。

[0109] (e2)Rl≥Slの場合

[0110] (f)第 1左推定有無情報 =「無」，かつ第 1右推定有無情報 =「有」，かつ第 2推定有無情報 =「無」の場合

この場合は、実車線認識手段 6は、実左認識有無情報に「無」を設定する。また、実車線認識手段 6は、実右認識有無情報に「有」を設定し、実右側線形状情報に第 1 右側線形状情報を設定する。これにより、地図データ及び位置情報により車線が推定されなかった場合において、画像処理により車線が推定されているときには、画像処理による車線の推定の結果力そのまま実車線情報として用いられる。 [0111] また、この場合は、実車線認識手段 6は、信頼度をレベル 3に設定する。これにより、画像処理によってのみ車線の推定がなされ、地図データ及び位置情報により推定した車線の情報を用いて、画像処理による車線の推定の信頼性を検証できなカゝつた場合には、信頼度はレベル 1より低く設定される。さらに、このとき、画像処理によってレーンマーク AO, A1の一方のみについて推定がなされているので、信頼度はレべル 2よりも低く設定される。

[0112] (g)第 1左推定有無情報 =「無」，かつ第 1右推定有無情報 =「無」，かつ第 2推定有無情報 =「有」の場合

この場合は、実車線認識手段 6は、実左認識有無情報に「有」を設定し、実左側線形状情報に第 2左側線形状情報を設定する。また、実車線認識手段 6は、実右認識有無情報に「有」を設定し、実右側線形状情報に第 2右側線形状情報を設定する。これにより、画像処理によって車線が推定できなカゝつた場合にも、地図データ及び位置情報により推定した車線の情報で補完するので、車線を検出し得る機会を可能な限り高めることがでさる。

[0113] また、この場合は、実車線認識手段 6は、信頼度をレベル 3に設定する。これにより、地図データ及び位置情報によってのみ車線の推定がなされた場合には、 GPSの測位精度等を考慮して、画像処理によってのみ推定がなされた場合よりも精度が低いとみなして、信頼度はレベル 2より低く設定される。

[0114] (h)第 1左推定有無情報 =「無」，かつ第 1右推定有無情報 =「無」，かつ第 2推定有無情報 =「無」の場合

この場合は、実車線認識手段 6は、実左認識有無情報および実右認識有無情報に、それぞれ「無」を設定する。このとき、実車線認識手段 6は、実左側線形状情報および実右側線形状情報には何も設定されない。これにより、実際の車線が認識されな力つた旨が明確に把握される。

[0115] 以上の処理により、画像処理により推定した車線の情報と、地図データ及び位置情報により推定した車線の情報とを用いて、車線を検出し得る機会を可能な限り高めつつ、車線を精度良く検出することができる。そして、本実施形態においては、出力された実車線情報と信頼度とに基づいて、車両の制御や、運転者への報知を行う。このとき、例えば、信頼度がレベル 1の場合には、実車線形状情報に基づいて車両のステアリング制御を行い、また、信頼度がレベル 2とレベル 3との場合には、車両のステアリング制御は行わず、車両が車線を逸脱する恐れがある際に運転者に報知を行うようにする。

[0116] なお、前記第 1実施形態においては、車線は左側線及び右側線によって規定されるものとしたが、第 2実施形態として、例えば、車線は左側線又は右側線のいずれか一方のみによって規定されるものとすることも可能である（これは本発明の第 2態様に対応する）。このようにした場合でも、前述のように車線が左側線及び右側線で規定される場合と同様の作用効果を奏する。

[0117] また、前記第 1実施形態及び第 2実施形態においては、位置情報取得手段として、 GPSユニット 4を用いた力車両の位置情報を GPS力取得する代わりに、自律航法にて得られる位置情報を用いてもょ、。

産業上の利用可能性

[0118] 以上のように、本発明は、車両前方の道路の画像を処理すると共に、 GPS等と地図データとから道路の情報を取得して、車線を検出し得る機会を可能な限り高めつつ、車線を精度良く検出することができることから、車両における運転者への情報提示や車両挙動の制御のために有用である。

Claims

請求の範囲

[1] 撮像手段と、

前記撮像手段を介して道路の画像を取得し、取得した該画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する画像処理手段と、

前記道路の地図データを保持する保持手段と、

車両の現在の位置情報を取得する位置情報取得手段と、

前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する車線推定手段と、前記第 1車線情報と、前記第 2車線情報とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する車両。

[2] 撮像手段と、

前記道路の地図データを保持する保持手段と、

車両の現在の位置情報を取得する位置情報取得手段と、

前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する車線推定手段と、前記第 1車線情報が示す前記車線の形状と、前記第 2車線情報が示す前記車線の形状とが類似する度合である車線類似度を算出する手段と、

前記第 1車線情報と、前記第 2車線情報と、前記車線類似度を所定の閾値と比較した結果とに基づ!/ヽて、前記道路の実際の車線を認識する実車線認識手段とを有する車両。

[3] 前記実車線認識手段は、前記車線類似度が前記所定の閾値より大きいときには、前記第 1車線情報に基づいて、前記実際の車線を認識することを特徴とする請求項 2記載の車両。

[4] 前記実車線認識手段は、前記車線類似度が前記所定の閾値以下のときには、前記実際の車線が認識されな力つた旨を示す情報を出力することを特徴とする請求項

2記載の車両。

[5] 前記第 1車線情報は、前記画像処理手段の処理によって前記車線が推定されたか否かを示す第 1推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第 1車線形状情報とを有し、

前記第 2車線情報は、前記車線推定手段の処理によって前記車線が推定されたか否かを示す第 2推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第 2車線形状情報とを有し、

前記実車線認識手段は、前記実際の車線が認識されたか否かを示す実車線認識有無情報を、前記第 1推定有無情報と、前記第 2推定有無情報と、前記車線類似度を前記所定の閾値と比較した結果とに基づいて決定して出力する手段と、該車線が認識された場合における該認識された車線の形状を示す実車線形状情報を、前記第 1車線形状情報と、前記第 2車線形状情報とから決定して出力する手段とを備えることを特徴とする請求項 2記載の車両。

[6] 前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされなかつたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 2車線形状情報を設定することを特徴とする請求項 5 d載の单両。

[7] 前記実車線認識手段は、前記第 2推定有無情報が前記車線の推定がなされなかつたことを示す場合にぉ、て、

前記第 1推定有無情報が前記車線の推定がなされたことを示すときには、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 1車線形状情報を設定し、前記第 1推定有無情報が前記車線の推定力されなカゝつたことを示すときには、前記実車線認識有無情報に前記車線が認識されなかった旨を設定することを特徴とする請求項 5記載の車両。

[8] 車両に搭載された撮像手段を介して取得する道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する画像処理手段と、

前記道路の地図データを保持する保持手段と、

車両の現在の位置情報を取得する位置情報取得手段と、

前記地図データと前記現在の位置情報とを用いて前記道路の車線を推定する処理を実行し、該処理の結果を第 2車線情報として出力する車線推定手段と、前記第 1車線情報と、前記第 2車線情報とに基づいて、前記道路の実際の車線を認識する実車線認識手段とを有する車線認識装置。

[9] 車両に搭載された撮像手段を介して取得する道路の画像を処理して該道路の車線を推定する処理を実行し、該処理の結果を第 1車線情報として出力する画像処理手段と、

前記道路の地図データを保持する保持手段と、

車両の現在の位置情報を取得する位置情報取得手段と、

前記第 1車線情報と、前記第 2車線情報と、前記車線類似度を所定の閾値と比較した結果とに基づ!/ヽて、前記道路の実際の車線を認識する実車線認識手段とを有する車線認識装置。

[10] 前記実車線認識手段は、前記車線類似度が前記所定の閾値より大きいときには、前記第 1車線情報に基づいて、前記実際の車線を認識することを特徴とする請求項

9記載の車線認識装置。

[11] 前記実車線認識手段は、前記車線類似度が前記所定の閾値以下のときには、前記実際の車線が認識されな力つた旨を示す情報を出力することを特徴とする請求項

9記載の車線認識装置。

[12] 前記第 1車線情報は、前記画像処理手段の処理によって前記車線が推定されたか否かを示す第 1推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第 1車線形状情報とを有し、前記第 2車線情報は、前記車線推定手段の処理によって前記車線が推定されたか否かを示す第 2推定有無情報と、該車線が推定された場合における該推定された車線の形状を示す第 2車線形状情報とを有し、

前記実車線認識手段は、前記実際の車線が認識されたか否かを示す実車線認識有無情報を、前記第 1推定有無情報と、前記第 2推定有無情報と、前記車線類似度を前記所定の閾値と比較した結果とに基づいて決定して出力する手段と、該車線が認識された場合における該認識された車線の形状を示す実車線形状情報を、前記第 1車線形状情報と、前記第 2車線形状情報とから決定して出力する手段とを備えることを特徴とする請求項 9記載の車線認識装置。

[13] 前記実車線認識手段は、前記第 1推定有無情報が前記車線の推定がなされなかつたことを示し、且つ前記第 2推定有無情報が前記車線の推定がなされたことを示す場合には、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 2車線形状情報を設定することを特徴とする請求項 12記載の車線認識装置。

[14] 前記実車線認識手段は、前記第 2推定有無情報が前記車線の推定がなされなかつたことを示す場合にぉ、て、

前記第 1推定有無情報が前記車線の推定がなされたことを示すときには、前記実車線認識有無情報に前記車線が認識された旨を設定すると共に、前記実車線形状情報に前記第 1車線形状情報を設定し、前記第 1推定有無情報が前記車線の推定力されなカゝつたことを示すときには、前記実車線認識有無情報に前記車線が認識されなかった旨を設定することを特徴とする請求項 12記載の車線認識装置。