WO2007010750A1 - 車両、画像処理システム、画像処理方法、画像処理プログラム、画像処理システムの構築システム - Google Patents

Abstract

  　路面への光の照射状態が部分的に異なっている場合でも、路面画像においてレーンマークを高精度で認識し得る画像処理システム等を提供する。車両１０に搭載された画像処理システム１００によれば、第１画素とともにエリアに包含される第２画素の色成分も路面部分における影又は光の影響を受けている蓋然性が高いことに鑑みて、路面画像において設定されたエリアＡijに包含される第１画素Ｐijの色成分Ｒij，Ｇij，Ｂijが第２画素Ｐikの色成分Ｒik，Ｇik，Ｂikを基準として補正される。これにより、路面にさす影や光の影響が低減され、第１画素に相当する路面部分の実際の色が、第１画素Ｐijの色成分Ｒij，Ｇij，Ｂij、ひいては特徴量Ｑijに十分に反映され得る。そして、路面画像の各画素Ｐijの特徴量Ｑijに基づき、路面画像においてレーンマークＭ及びそのエッジＥが認識される。

Description

明 細 書

車両、画像処理システム、画像処理方法、画像処理プログラム、画像処 理システムの構築システム

技術分野

[0001] 本発明は、画像処理システム、当該画像処理システムが搭載された車両、画像処 理方法、画像処理プログラム、画像処理システムの構築システムに関する。

背景技術

[0002] レーンマークには、白線のほか、黄線が用いられる場合もあるため、色カメラ等の撮 像手段により撮像された色画像を用いて、白線や黄線等のレーンマークを認識する 技術手法が提案されている (たとえば、特許第 3333468号公報参照)。

発明の開示

発明が解決しょうとする課題

[0003] し力し、道路周辺の建造物等によって図 3に示されているようにレーンマーク Mおよ びその他の路面部分に影 Sがさしたり、車両のヘッドライトにより路面の一部が照らさ れていたり等、路面への光の照射状態が部分的に異なっている場合、当該部分にお ける路面画像の色の特徴量が変化する。このため、黄線等、白色以外のレーンマー クの認識精度が低下する場合があった。

[0004] そこで、本発明は、路面への光の照射状態が部分的に異なっている場合でも、路 面画像においてレーンマークを高精度で認識し得る画像処理システムおよび画像処 理方法、当該画像処理システムが搭載された車両、当該画像処理機能をコンビユー タに付与する画像処理プログラム、および当該画像処理システムを構築するための システムを提供することを解決課題とする。

課題を解決するための手段

[0005] 前記課題を解決するための本発明の車両は、撮像手段と、撮像手段により撮像さ れた路面画像に基づき、画像処理を実行する画像処理システムと、画像処理システ ムによる画像処理結果に基づいて車両の走行を制御する車両走行制御システムとが 搭載され、画像処理システムが、路面画像において複数の画素を包含するエリアを 逐次移動させながら設定する第 1処理部と、第 1処理部によりエリアに包含される複 数の画素のうちエリアの移動方向先端部分に包含される第 1画素の色成分を、該複 数の画素のうち第 1画素以外の第 2画素の色成分を基準として補正する第 2処理部と 、第 2処理部により補正された第 1画素の色成分に基づき、注目色に応じた第 1画素 の特徴量を算出する第 3処理部と、第 1処理部によってエリアが設定されるたび、第 2 処理部による第 1画素の色成分の補正および第 3処理部による第 1画素の特徴量の 算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像に ぉ ヽて該注目色のレーンマークを認識する第 4処理部とを備えて 、る。

[0006] 路面画像における設定エリアを包含する路面部分にさす影 (暗さ)や光（明るさ）の 影響により、路面の実際の色が、第 1画素の色成分に十分に反映されず、第 1画素 における注目色に応じた特徴量が小さく抑制されてしまうことがある。したがって、第 1 画素の色成分が注目色に応じた特徴量にそのまま反映された場合、第 1画素におけ る特徴量に基づく当該注目色のレーンマークの認識精度が低下するおそれがある。

[0007] 本発明の車両によれば、第 1画素とともにエリアに包含される第 2画素の色成分も 路面部分における影または光の影響を受けている蓋然性が高いことに鑑みて、画像 処理システムにより、路面画像において設定されたエリアに包含される第 1画素の色 成分が第 2画素の色成分を基準として補正される。これにより、路面にさす影や光の 影響が低減され、第 1画素に相当する路面部分の実際の色が、第 1画素の色成分、 ひ 、ては特徴量に十分に反映され得る。

[0008] また、エリアが逐次移動させられながら設定される力 エリアに包含される複数の画 素のうち、その移動方向先端部分の画素が第 1画素とされ、その他の画素が第 2画 素とされている。このため、エリア先端部分に相当する路面部分の色が、前回に設定 されたエリア先端部分に相当する路面部分の色と異なる状態になったとき、第 1画素 に相当する路面部分の色と、一部または全部の第 2画素に相当する路面部分の色と が異なる状態になる。このため、前記のように第 1画素の色成分が、第 2画素の対応 する色成分を基準として補正されることにより、第 1画素に相当する路面部分の実際 の色が、この第 1画素の色成分、ひいては注目色に応じた特徴量に顕著に反映され 得る。 [0009] そして、第 4処理部により、路面画像の各画素 Pijの特徴量 Qijに基づき、路面画像 においてレーンマーク Mおよびそのエッジ Eが認識される。

[0010] 以上により、路面への光の照射状態が部分的に異なっている場合でも、画像処理 システムによって路面画像において注目色のレーンマークが高精度で認識され得る 。そして、画像処理システムによる当該画像処理結果に基づき、レーンマークの実際 の位置に鑑みて車両の走行が適切に制御され得る。

[0011] また、本発明の車両は、第 1処理部が、路面画像において移動方向に一列に連続 して並んでいる形状のエリア、または移動方向前方に一列に連続して並んでいる部 分を有するエリアを設定することを特徴とする。

[0012] 本発明の車両によれば、今回設定されたエリアの第 1画素に相当する路面部分の 色が、前回に設定されたエリアの第 1画素に相当する路面部分の色と異なる状態とな つたとき、レーンマークが一定幅を有していることに鑑みて、今回設定されたエリアに おいて、第 1画素に相当する路面部分の色と、一部または全部の第 2画素に相当す る路面部分の色とが異なる状態となり得る。これにより、第 1画素に相当する路面部分 の実際の色が、この第 1画素の色成分、ひいては注目色に応じた特徴量に顕著に反 映され得る。

[0013] したがって、路面への光の照射状態が部分的に異なっている場合でも、画像処理 システムによって路面画像において注目色のレーンマークが高精度で認識され得る 。そして、画像処理システムによる当該画像処理結果に基づき、レーンマークの実際 の位置に鑑みて車両の走行が適切に制御され得る。

[0014] さらに、本発明の車両は、第 1処理部が、路面画像の位置に応じて、サイズ、形状、 またはサイズおよび形状を調節しながらエリアを設定可能であることを特徴とする。

[0015] 本発明の車両によれば、今回設定されたエリアの第 1画素に相当する路面部分の 色が、前回に設定されたエリアの第 1画素に相当する路面部分の色と異なる状態とな つたとき、今回設定されたエリアにおいて、第 1画素に相当する路面部分の色と、第 2 画素の全部または大半に相当する路面部分の色とが異なる状態となるように、エリア のサイズおよび形状のうち一方または両方が調節され得る。これにより、第 1画素に 相当する路面部分の実際の色が、この第 1画素の色成分、ひいては注目色に応じた 特徴量に顕著に反映され得る。したがって、路面への光の照射状態が部分的に異な つている場合でも、画像処理システムによって路面画像において注目色のレーンマ ークが高精度で認識され得る。そして、画像処理システムによる当該画像処理結果 に基づき、レーンマークの実際の位置に鑑みて車両の走行が適切に制御され得る。

[0016] また、本発明の車両は、第 1処理部が、第 2処理部による第 1画素の色成分の補正 結果、第 3処理部による第 1画素の特徴量の算出結果、第 4処理部によるレーンマー クの認識結果、および車両の走行状態のうち一部または全部に基づき、サイズ、形状 、またはサイズおよび形状を調節しながらエリアを設定可能であることを特徴とする。

[0017] エリアに包含される第 2画素が過少である場合、レーンマークの剥げ等により局所 的に本来の注目色とは別の色となっている路面部分の色しか第 2画素の色成分に反 映されないおそれがある。このため、今回設定されたエリアにおいて、第 2画素の色 成分を基準とした第 1画素の色成分の補正量が過大となる可能性がある。そして、レ ーンマークのかすれ部分がこのレーンマークのエッジであると認識される等、第 1画 素の注目色に応じた特徴量に基づくレーンマークの認識精度が低下する可能性が ある。

[0018] 一方、エリアに包含される第 2画素が過多である場合、当該エリアに相当する路面 部分に併存する複数の色が第 2画素の色成分に反映される。このため、今回設定さ れたエリアにぉ 、て、第 2画素の色成分を基準とした第 1画素の色成分の補正量が 不十分となる可能性がある。そして、レーンマークのエッジがレーンマークのエッジで はないと認識される等、第 1画素の注目色に応じた特徴量に基づくレーンマークの認 識精度が低下する可能性がある。

[0019] さらに、路面画像においてレーンマークがどの位置にあると認識されるかは、前回 のレーンマークの認識結果に依存する。たとえば、車両の走行状態が安定している にもかかわらず、路面画像にお!、て前回認識されたレーンマークの位置に鑑みて著 しく妥当性 (連続性)を欠く位置ではレーンマークが認識される可能性は低ぐまた、 妥当性に欠ける認識結果に基づいて車両の走行が制御されるべきではない。

[0020] また、路面画像においてレーンマークがどの位置にあると認識されるかは、車両の 走行状態にも依存する。たとえば、車両が左にカーブしながら走行しているとき、路 面画像においてレーンマークは道路のカーブの程度に応じた位置で認識されるもの と予測される。

[0021] 本発明の車両によれば、これらの事情に鑑みて、第 1画素の色成分の補正結果、 第 1画素の注目色に応じた特徴量の算出結果、第 4処理部によるレーンマークの認 識結果、および車両の走行状態のうち一部または全部に基づき、エリアがそのサイズ および形状のうち一方または両方が調節された上で再設定または新規設定される。 これにより、レーンマークの認識精度が低下するようなエリア設定を回避し、レーンマ ークの認識精度を向上させることができる。そして、画像処理システムによる当該画 像処理結果に基づき、レーンマークの実際の位置に鑑みて車両の走行が適切に制 御され得る。

[0022] さらに、本発明の車両は、第 2処理部が、第 1画素の色成分を、第 2画素の輝度値 を基準とする第 2画素の色成分を基準として補正し、第 3処理部が、第 1画素の輝度 値を基準とする第 1画素の該補正後の色成分に基づき、注目色に応じた第 1画素の 特徴量を算出することを特徴とする。

[0023] 第 1画素の明るさと第 2画素の明るさとが相違するため、前記のように第 1画素の色 成分が、これに対応する第 2画素の色成分を基準として補正された場合、注目色に 応じた第 1画素の特徴量が過大または過少となる可能性がある。たとえば、第 1画素 が明るい路面部分に相当する一方、第 2画素が暗い路面部分に相当する状態にな つたとき、第 1画素の特徴量が過大となり、第 1画素が路面部分ではなぐ注目色のレ ーンマーク部分に相当すると誤認識される可能性がある。また、第 1画素が暗いレー ンマーク部分に相当する一方、第 2画素が明るいレーンマーク部分に相当する状態 になったとき、第 1画素の特徴量が過少となり、第 1画素がレーンマーク部分ではなく 、路面部分に相当すると誤認識される可能性がある。

[0024] 本発明の車両によれば、このような事情に鑑みて、第 1画素の色成分が、第 2画素 の「輝度値 (明るさを表す指数)」を基準とし、且つ、この第 1画素の色成分に対応す る第 2画素の色成分を基準として補正される。また、第 1画素の特徴量が、第 1画素の 輝度値を基準とする、第 1画素の当該補正後の色成分に基づいて算出される。これ により、前記のように第 1および第 2画素の明るさの違いによる、第 1画素の特徴量に 対する影響が軽減または解消され、さらに第 1画素の特徴量に基づくレーンマークの 認識精度の低下が抑制され得る。そして、画像処理システムによる当該画像処理結 果に基づき、レーンマークの実際の位置に鑑みて車両の走行がより適切に制御され 得る。

[0025] 前記課題を解決するための本発明の画像処理システムは、車両に搭載されている 撮像手段により撮像された路面画像において複数の画素を包含するエリアを逐次移 動させながら設定する第 1処理部と、第 1処理部によりエリアに包含される複数の画 素のうちエリアの移動方向先端部分に包含される第 1画素の色成分を、該複数の画 素のうち第 1画素以外の第 2画素の色成分を基準として補正する第 2処理部と、第 2 処理部により補正された第 1画素の色成分に基づき、注目色に応じた第 1画素の特 徴量を算出する第 3処理部と、第 1処理部によってエリアが設定されるたび、第 2処理 部による第 1画素の色信号の補正および第 3処理部による第 1画素の特徴量の算出 が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像にぉ 、 て該注目色のレーンマークを認識する第 4処理部とを備えて 、る。

[0026] 本発明の画像処理システムによれば、路面への光の照射状態が部分的に異なって いる場合でも、路面画像においてレーンマークが高精度で認識され得る。

[0027] また、本発明の画像処理システムは、第 1処理部が、路面画像において移動方向 に一列に連続して並んでいる形状のエリア、または移動方向前方に一列に連続して 並んでいる部分を有するエリアを設定することを特徴とする。

[0028] さらに、本発明の画像処理システムは、第 1処理部が、路面画像の位置に応じて、 サイズ、形状、またはサイズおよび形状を調節しながらエリアを設定可能であることを 特徴とする。

[0029] また、本発明の画像処理システムは、第 1処理部が、第 2処理部による第 1画素の 色成分の補正結果、第 3処理部による第 1画素の特徴量の算出結果、第 4処理部に よるレーンマークの認識結果、および車両の走行状態のうち一部または全部に基づ き、サイズ、形状、またはサイズおよび形状を調節しながらエリアを設定可能であるこ とを特徴とする。

[0030] さらに、本発明の画像処理システムは、第 2処理部が、第 1画素の色成分を、第 2画 素の輝度値を基準とする第 2画素の色成分を基準として補正し、第 3処理部が、第 1 画素の輝度値を基準とする該補正後の第 1画素の色成分に基づき、注目色に応じた 第 1画素の特徴量を算出することを特徴とする。

[0031] 前記課題を解決するための本発明の画像処理方法は、車両に搭載されている撮 像手段により撮像された路面画像において、複数の画素を包含するエリアを逐次移 動させながら設定する第 1処理ステップと、第 1処理ステップにおいてエリアに包含さ れる複数の画素のうちエリアの移動方向先端部分に包含される第 1画素の色成分を 、該複数の画素のうち第 1画素以外の第 2画素の色成分を基準として補正する第 2処 理ステップと、第 2処理ステップにおいて補正された第 1画素の色成分に基づき、注 目色に応じた第 1画素の特徴量を算出する第 3処理ステップと、第 1処理ステップに よってエリアが設定されるたび、第 2処理ステップによる第 1画素の色信号の補正およ び第 3処理ステップによる第 1画素の特徴量の算出が逐次繰り返されることで得られ た複数の画素の特徴量に基づき、路面画像にお!、て該注目色のレーンマークを認 識する第 4処理ステップとを含んで 、る。

[0032] 本発明の画像処理方法によれば、路面への光の照射状態が部分的に異なってい る場合でも、路面画像において注目色のレーンマークが高精度で認識され得る。

[0033] 前記課題を解決するための本発明の画像処理プログラムは、車両に搭載されてい る撮像手段により撮像された路面画像において複数の画素を包含するエリアを逐次 移動させながら設定する第 1処理機能と、第 1処理機能によりエリアに包含される複 数の画素のうちエリアの移動方向先端部分に包含される第 1画素の色成分を、該複 数の画素のうち第 1画素以外の第 2画素の色成分を基準として補正する第 2処理機 能と、第 2処理機能により補正された第 1画素の色成分に基づき、注目色に応じた第 1画素の特徴量を算出する第 3処理機能と、第 1処理機能によってエリアが設定され るたび、第 2処理機能による第 1画素の色信号の補正および第 3処理機能による第 1 画素の特徴量の算出が逐次繰り返されることで得られた複数の画素の特徴量に基づ き、路面画像において該注目色のレーンマークを認識する第 4処理機能とをコンビュ ータに付与する。

[0034] 本発明のプログラムによれば、路面への光の照射状態が部分的に異なっている場 合でも、路面画像において注目色のレーンマークを高精度で認識し得る機能力 コ ンピュータに付与される。

[0035] 前記課題を解決するための本発明の画像処理システムの構築システムは、前記画 像処理システムを構築するため、前記画像処理プログラムのうち一部または全部を前 記車両に搭載されているコンピュータに配信または放送することを特徴とする。

[0036] 本発明の構築システムによれば、路面への光の照射状態が部分的に異なっている 場合でも、路面画像にぉ ヽて注目色のレーンマークを高精度で認識し得る画像処理 システムが、車両に搭載されて!、るコンピュータへの任意のタイミングでのプログラム の一部または全部の配信または放送によって構築されうる。

図面の簡単な説明

[0037] [図 1]本発明の一実施形態における車両およびこれに搭載されている画像処理シス テムの構成説明図

[図 2]本発明の一実施形態における画像処理方法の説明図

[図 3]路面画像の例示図

[図 4]第 1処理によって設定されるエリアの例示図

[図 5]第 4処理 (レーンマーク認識処理)の説明図

[図 6]エリアに包含される複数の画素の例示図

[図 7]画像処理により認識されたレーンマークの例示図

[図 8]第 1処理によって設定されるエリアの他の例示図

発明を実施するための最良の形態

[0038] 本発明の車両、画像処理システム、画像処理方法、画像処理プログラム、および画 像処理システムの構築方法の実施形態について図面を用いて説明する。

[0039] 図 1に示されている車両 10には、電子制御ユニット（コンピュータ） 11と、車両 10の 前方のカラー路面画像を撮像するカメラ (撮像手段） 12とが搭載されている。

[0040] 電子制御ユニット 11は、車両 10に搭載されて!、るハードウェアとして、ソフトウェアと しての本発明の「画像処理プログラム」とともに画像処理システム 100を構成している 。また、電子制御ユニット 11は、画像処理システム 100の画像処理結果に基づいて 車両 10の横位置を含む走行状態を制御する「車両走行状態制御システム」を構成し ている。画像処理システム 100は、記憶部 102と、第 1処理部 110と、第 2処理部 120 と、第 3処理部 130と、第 4処理部 140とを備えている。第 1処理部 110、第 2処理部 1 20、第 3処理部 130、および第 4処理部 140のそれぞれは、 CPU、 ROM, RAM, I ZO等のハードウェアと、当該ハードウェアを各処理部として機能させるための本発 明の「画像処理プログラム」の部分とにより構成されて！、る。この画像処理プログラム は最初力も車載コンピュータのメモリに格納されていてもよいが、その一部または全 部が運転手または車載コンピュータ力ものリクエストがあつたとき等、任意のタイミング で一または複数台のサ一ノ^必要に応じて人工衛星等により構成されている構築シ ステムから当該コンピュータに配信または放送されてもよい。第 1処理部 110、第 2処 理部 120、第 3処理部 130、および第 4処理部 140は、それぞれ別個独立のハードウ エアによって構成されていてもよぐ共通のハードウェアによって構成されていてもよ い。

[0041] 記憶部 102は、第 1処理部 110によるエリアの設定方法、第 2処理部 120による第 1 画素の色成分の補正方法、第 3処理部 130による第 1画素の注目色に応じた特徴量 の算出方法、第 4処理部 140による特徴量に基づく注目色のレーンマークの認識方 法等を記憶する。

[0042] 第 1処理部 110は、路面画像において複数の画素を包含するエリアを逐次移動さ せながら設定する。

[0043] 第 2処理部 120は、第 1処理部 110によりエリアに包含される複数の画素のうちエリ ァの移動方向先端部分に包含される「第 1画素」の色成分を、当該複数の画素のうち 第 1画素以外の「第 2画素」の色成分を基準として補正する。

[0044] 第 3処理部 130は、第 2処理部 120により補正された第 1画素の色成分に基づき、 注目色に応じた第 1画素の「特徴量」を算出する。

[0045] 第 4処理部 140は、第 1処理部 110によってエリアが設定されるたび、第 2処理部 1 20による第 1画素の色成分の補正および第 3処理部 130による第 1画素の特徴量の 算出が逐次繰り返されることで得られた複数の画素の特徴量に基づき、路面画像に お!ヽて注目色のレーンマークを認識する。

[0046] 前記構成の車両 10に搭載されている画像処理システムに 100より実行される画像 処理方法について図 2〜図 8を用いて説明する。

[0047] まず、第 1処理部 110が、カメラ 12によって撮像された mXn個の画素力もなる、図 3に示されているような路面画像において、下色の行番号を表す指数 i(i=0, 1, 2, ··, m— 1)を「0」に設定し（図 2/S101)、且つ、左色の列番号を表す指数 j(j = 0, 1, 2, ··, n— 1)を「4」に設定する（図 2ZS102)。図 3に示されている路面画像では 、車両 10の走行レーンの左右のレーンマーク Mのうち、左側のレーンマーク Mおよ びその周辺の路面部分に影 Sがさして 、る。

[0048] この上で、第 1処理部 110が「第 1処理」を実行する（図 2ZS110)。具体的には、 図 4に示されているように、路面画像における横並びの複数の画素を包含し、且つ、 当該複数の画素のうち右端の画素 Pijの位置によって識別される、 1行 X 4列のサイ ズおよび形状を有するエリア Aijを設定する。なお、列番号を表す指数が「2」に設定 された場合、 1行 X 2列のサイズおよび形状を有するエリア Ai2が設定されてもよぐ 列番号を表す指数が「3」に設定された場合、 1行 X 3列のサイズおよび形状を有する エリア Ai3が設定されてもょ ヽ。

[0049] 次に、第 2処理部 120が「第 2処理」を実行する（図 2ZS120)。具体的には、第 1 処理部 110により設定されたエリア Aijに含まれて 、る複数の画素 Pis (s=j-3, j-2 , j)のうち、右端部分 (エリア Aijの移動方向先端部分）にある第 1画素 Pijの色 信号 Iij=(Rij, Gij, Bij)力 当該複数の画素のうち第 1画素 Pij以外の第 2画素 Pik(k く j)の色信号 Iikを基準として補正されることにより、第 1画素 Pijの補正色信号 I'ijが 得られる。具体的には、次式（1)にしたがって第 2画素 Pikのそれぞれの輝度値 Vik が決定され、次式 (2)にしたがって補正係数の行列 Wが決定され、且つ、次式 (3)に したがって第 1画素 Pijの補正色信号 Γ ijが決定される (「diag」は対角行列を表し、「t 」は転置を表す)。

[0050] Vik=[a, β, y]'t(Rik, Gik, Bik)

(a >0, j8 >0, γ >0, α + β + γ =1) ·· (1)

W= diag [∑ kVik/∑ kRik, ∑kVik/∑kGik, ∑kVik/∑kBik]

≡diag[V/R, V/B, V/G] · · (2)

= diag[V/R, V/B, VZG] (Rij, Gij, Bij)

=t[(VZR)Rij, (V/G)Gij, (V/B) Bij] · · (3)

次に、第 3処理部 130が「第 3処理」を実行する（図 2ZS130)。具体的には、第 2 処理部 120によって補正された第 1画素 Pijの色信号 I'ijに基づき、注目色に応じた 第 1画素 Pijの特徴量 Qijが算出される。たとえば、注目色力 ^黄色」、すなわち、 R値 力 ¾値よりも大きくなる色である場合、第 1画素 Pijの色信号 lijに基づき、次式 (4)にし たがって第 1画素 Pijの輝度値 Vijが算出され、且つ、第 1画素 Pijの補正色信号 I'ijと 、必要に応じて第 1画素 Pijの輝度値 Vijとに基づき、次式（5a) (5b)または（5c)にし たがって第 1画素 Pijの特徴量 Qijが算出される。

[0051] Vij= [ a , β, γ] (!¾·, Gij, Bij)

(α >0, β >0, γ >0, α + β + γ =1) · · (4)

Qij=(l/Vij, 0, 1 /Vij) -I'ij

= (V/Vij) { (Rij/R) + (Bij/B) } · · (5a)

Qij=(l/Vij, 0, -1/Vij) -I'ij

= (V/Vij) { (Rij/R) (Bij/B) } · · (5b)

Qij= (Rij/R) / (Bij/B) · · (5c)

式（5a)にしたがって算出される特徴量 Qijは第 1画素 Pijの補正色信号 Γ ijの R成分 および G成分の和が、第 1画素 Pijの輝度値 Vijで除された (規格化された)ものである 。また、式（5b)にしたがって算出される特徴量 Qijは第 1画素 Pijの補正色信号 I'ijの R成分および G成分の差が、第 1画素 Pijの輝度値 Vijで除されたものである。さらに、 式（5c)にしたがって算出される特徴量 Qijは第 1画素 Pijの補正色信号 I'ijの G成分 に対する R成分の比率である。

[0052] 第 1画素 Pijの特徴量 Qijが算出された後、第 1処理部 110によって列番号を表す指 数 jが「1」だけ増やされ (図 2ZS103)、当該指数 jが路面画像の横画素数 m以上で ある力否かが判定される（図 2ZS104)。なお、当該指数 jの増加数は、後述の路面 画像におけるレーンマーク認識処理に支障をきたさな 、程度の「2」以上の数であつ てもよい。

[0053] そして、当該指数 jが路面画像の横画素数 m未満であると判定された場合 (図 2ZS

104· ·ΝΟ)、第 1ないし第 3処理が実行される（図 2ZS110〜S130)。列番号を表 す指数 jが「1」ずつ増やされるたびに新たにエリア Aijが設定されるので、エリア Aijは 右方向に 1画素ずつ移動していきながら更新設定されることとなる。また、エリア Aijに 包含される複数の画素のうち右端部分に包含される第 1画素 Pijは、エリア Aijの移動 方向（図 4矢印方向）、すなわち右方向にっ 、ての先端部分に包含される画素である

[0054] 一方、当該指数 jが路面画像の横画素数 m以上であると判定された場合 (図 2ZS1 04 · 'YES)、第 1処理部 110により、行番号を表す指数 i力 S「l」だけ増やされ (図 2Z

5105)、当該指数 iが路面画像の縦画素数 n以上であるか否かが判定される (02/

5106)。なお、当該指数 iの増加数は、後述の路面画像におけるレーンマーク認識 処理に支障をきたさな 、程度の「2」以上の数であってもよ 、。

[0055] そして、行番号を表す指数 iが路面画像の縦画素数 n未満であると判定された場合

(図 2/S106 ' 'NO)、第 1処理部 110により列番号を表す指数 jが「4」に再び設定さ れた上で（図 2ZS102)、第 1ないし第 3処理が実行される（図 2ZS110〜S130)。 また、当該指数 iがーまたは複数の所定値を超えている場合、サイズが小さいエリア A ijが設定されてもよい。これにより、路面画像の上に行くほど、たとえば図 4に示されて V、るエリア Aijの幅が小さく設定される。

[0056] 一方、当該指数 iが路面画像の縦画素数 n以上であると判定された場合（図 2ZS1 06· 'YES)、第 4処理部 140が「第 4処理」を実行する（図 2ZS 140)。具体的には、 路面画像における各画素 Pijの特徴量 Qijに基づき、路面画像におけるレーンマーク が認識される。

[0057] たとえば、図 3に示されている路面画像において、図 5 (a)に示されているように、左 力 順に画素 Pijl = (Xjl, Yi)が左側のレーンマーク Mの左端に相当し、画素 Pij2 = (Xj2, Yi)が左側のレーンマーク Mの右端に相当し、画素 Pij3= (Xj3, Yi)が路面に さしている影 Sの端に相当し、画素 Pij4= (Xj4, Yi)が右側のレーンマーク Mの左端 に相当し、且つ、画素 Pij5= (Xj5, Yi)が右側のレーンマーク Mの右端に相当する場 合を考える。

[0058] この場合、一列に並んでいる複数の画素 Pij(j = 0, 1, 2, · · , m—l)の注目色に応 じた特徴量 Qijは、路面画像の X座標の増加に伴って図 5 (b)に示されているように変 化する。

[0059] 具体的には、特徴量 Qijは、 X=Xjlおよび ¾4にお 、てそれぞれ大きく増加する。

すなわち、エリア Aijが前回よりも右に移動して更新設定されることで、図 6 (a)に示さ れているように、第 1画素 Pijがレーンマーク Mの左端部分に相当する一方、第 2画素 Pik(k=jl - 3, jl - 2, jl 1)がこのレーンマーク Mの左側の路面部分に相当する 状態となったとき、第 1画素 Pijの注目色に応じた特徴量 Qijが大きく増加する。これは 、第 1画素 Pijの色成分 Rij, Gij, Bijが、第 2画素 Pikの各色成分の総和 R, G, Bを基 準として補正されることで、道路にさす影 Sまたは光の影響が軽減または解消され、 且つ、第 1画素 Pijには注目色（レーンマーク Mの色）が含まれる一方、第 2画素 Pikに は注目色とは別の色 (路面の色）が含まれて 、ると!/、う相違が強調されるからである。

[0060] たとえば、レーンマーク Mが黄色である一方、路面が灰色である場合、レーンマー ク Mに相当する画素の R成分は B成分より大きくなる一方、路面に相当する画素の R 成分および B成分の差は小さい。しかし、レーンマーク Mに影 Sがさしている場合（図 3参照）、レーンマーク Mに相当する画素の R成分が小さくなる。しかるに、路面にも 同様に影がさしている場合、路面に相当する画素の R成分も小さくなる。したがって、 レーンマーク Mに相当する画素の R成分力 路面に相当する画素の R成分を基準と して補正されることで、レーンマーク Mに相当する画素の R成分が影 Sの影響により 低減した分が補償され得る（式（1)〜（3)参照)。これにより、レーンマーク Mに相当 する画素 Pijの特徴量 Qijが、影の影響が軽減または排除された形で算出され得る（ 式 (4) (5a)〜（5c)参照)。

[0061] また、一度大きく増加した特徴量 Qijは徐々に減少する。すなわち、エリア Aijが前 回よりも右に移動して更新設定されることで、図 6 (b)または図 6 (c)に示されて 、るよ うに、第 1画素 Pijがレーンマーク Mの部分に相当する一方、第 2画素 Pikの一部また は全部がこのレーンマーク Mの部分に相当する状態となったとき、第 1画素 Pijの注目 色に応じた特徴量 Qijが徐々に減少する。これは、第 1画素 Pijの各色成分が、第 2画 素 Pikの各色成分の総和を基準として補正されることで、第 1画素 Pijにはレーンマー ク Mの色が含まれる一方、第 2画素 Pikには路面の色が含まれて 、ると 、う相違が徐 々に薄れるからである。

[0062] さらに、特徴量 Qijは X=Xj2および ¾5においてそれぞれ大きく減少する。すなわち 、エリア Aijが前回よりも右に移動して更新設定されることで、図 6 (d)に示されている ように、第 1画素 Pijがレーンマーク Mの右側の路面部分に相当する一方、第 2画素 P ikがこのレーンマーク Mの部分に相当する状態となったとき、第 1画素 Pijの注目色に 応じた特徴量 Qijが大きく減少する。これは、第 1画素 Pijの色成分 Rij, Gij, Bijが、第 2画素 Pikの各色成分の総和 R, G, Bを基準として補正されることで、道路にさす影 S または光の影響が軽減または解消され、且つ、第 1画素 Pijには注目色とは別の色（ 路面の色）が含まれる一方、第 2画素 Pikには注目色（レーンマーク Mの色）が含まれ て 、ると 、う相違が強調される力 である。

[0063] たとえば、レーンマーク Mが黄色である一方、路面が灰色である場合、レーンマー ク Mに相当する画素の R成分は B成分より大きくなる一方、路面に相当する画素の R 成分および B成分の差は小さい。しかし、レーンマーク Mに光がさしている場合、レー ンマーク Mに相当する画素の B成分が大きくなる。しかるに、路面にも同様に光がさし ている場合、路面に相当する画素の B成分が大きくなる。したがって、レーンマーク M に相当する画素の B成分が、路面に相当する画素の B成分を基準として補正されるこ とで、レーンマーク Mに相当する画素の B成分が光の影響により増加した分が補償さ れ得る（式（1)〜（3)参照)。これにより、レーンマーク Mに相当する画素 Pijの特徴量 Qijが、光の影響が軽減または排除された形で算出され得る (式 (4) (5a)〜（5c)参 照)。

[0064] また、一度大きく減少した特徴量 Qijは徐々に増加する。すなわち、エリア Aijが前 回よりも右に移動して更新設定されることで、図 6 (e)または図 6 (f)に示されて 、るよ うに、第 1画素 Pijがレーンマーク Mの右側の路面部分に相当する一方、第 2画素 Pik の一部または全部がこの路面部分に相当する状態となったとき、第 1画素 Pijの注目 色に応じた特徴量 Qijが徐々に減少する。これは、第 1画素 Pijの色成分 Rij, Gij, Bij 力 第 2画素 Pikの色成分の総和 R, G, Bを基準として補正されることで、第 1画素 Pij に路面の色が含まれる一方、第 2画素 Pikには注目色（レーンマーク Mの色）が含ま れているという相違が徐々に薄れる力 である。

[0065] さらに、特徴量 Qijは、 X=Xj3の前後でほぼ一定に維持される。すなわち、エリア Ai jが前回よりも右に移動して更新設定されることで、第 1画素 Pijが明るい路面部分に 相当する一方、第 2画素 Pikが路面の暗い (影 Sがさしている)路面部分に相当する状 態となつたとき、第 1画素 Pijの注目色に応じた特徴量 Qijがほぼ一定に維持される。 これは、第 1画素 Pijの各色成分 Rij, Gij, Bijが、第 2画素 Pikの輝度値の総和 Qを基 準とする第 2画素 Pikの各色成分の総和 R, G, Bを基準として補正され、且つ、第 1画 素 Pijの輝度値 Vijを基準とする当該補正後の色成分 Rij' , Gij' , Bij'に基づいて第 1 画素 Pijの特徴量 Qijが算出されるからである。すなわち、第 1画素 Pijの各色成分 Rij, Gij, Bijが、輝度値の総和に対する色成分の総和の比 RZV, G/V, BZVを基準と して補正され、且つ、第 1画素 Pijの輝度値 Vijに対する当該補正後の色成分の比 Rij Wij, Gij' /Vij, Bij' ZVijに基づいて第 1画素 Pijの特徴量 Qijが算出されるから である。そして、これにより、道路にさす影 Sまたは光の影響が軽減または解消され、 且つ、第 1画素 Pijおよび第 2画素 Pikにはともに注目色とは別の色 (路面の色）が含ま れると 、うことが顕在化される力 である。

[0066] 第 4処理部 140は、図 5 (b)に示されているように、路面画像の各画素 Pijにおける 特徴量 Qijの、左側の極大値および右側の極小値により挟まれた部分をレーンマーク Mであると認識する。すなわち、図 7に示されているように、特徴量 Qijが極大値を示 す点（図中白点)および特徴量 Qijが極小値を示す点（図中黒点)。また、第 4処理部 140は、レーンマーク Mの左右のエッジのうち、走行レーン中央寄りのエッジをレーン マーク Mのエッジ E (図中太線）として認識する。

[0067] そして、電子制御ユニット 11が、画像処理システム 100による画像処理結果、すな わち、レーンマーク Mのエッジ Eの認識結果に基づき、車両 10の走行を制御する。

[0068] 前記画像処理方法を実行する画像処理システム 100によれば、路面画像において 設定されたエリア Aijに包含される第 1画素 Pijの色成分 Rij, Gij, Bijが、第 2画素 Pik の輝度値の総和 V ( =∑ kVik)を基準とする第 2画素 Pikの色成分の総和 R (=∑kRi k) , G (=∑kGik) , B (=∑kBik)を基準として補正される。すなわち、第 1画素 Pijの 色成分 Rij, Gij, Bijが、第 2画素 Pikの輝度値の総和 Vに対する色成分の総和 R, G, Bの比 RZV, G/V, BZVを基準として補正される（図 2ZS120、式（1)〜（3) )。ま た、第 1画素 Pijの輝度値 Vijを基準とする第 1画素 Pijの色成分 Rij, Gij, Bijに基づき 、第 1画素 Pijの特徴量 Qijが算出される。すなわち、第 1画素 Pijの輝度値に対する色 成分の比 RijZVij, Gij/Vij, BijZVij (図 2ZS130、式（5a) (5b)参照）。これにより 、路面にさす影や光の影響が低減され、第 1画素 Pijに相当する路面部分の実際の 色が、第 1画素 Pijの色成分 Rij, Gij, Bij、ひいては特徴量 Qijに十分に反映され得る

[0069] また、エリア Aijが逐次移動させられながら設定される力 (図 2ZS 103, S 110)、エリ ァ Aijに包含される複数の画素のうち、その移動方向先端部分の画素が第 1画素 Pij とされ、その他の画素が第 2画素 Pik (k<j)とされている（図 4参照)。このため、エリア Aijの先端部分に相当する路面部分の色が、前回に設定されたエリア Aijの先端部分 に相当する路面部分の色と異なる状態になったとき、図 6 (a)または図 6 (d)に示され ているように、第 1画素 Pijに相当する路面部分の色と、一部または全部の第 2画素 Pi kに相当する路面部分の色とが異なる状態になる。このため、前記のように第 1画素 Pi jの色成分 Rij, Gij, Bijが、第 2画素 Pikの色成分の総和 R, G, Bを基準として補正さ れることにより、第 1画素 Pijに相当する路面部分の実際の色が、この第 1画素 Pijの色 成分 Rij, Gij, Bij、ひいては注目色に応じた特徴量 Qijに顕著に反映され得る（図 5 ( b)参照)。

[0070] さらに、第 1画素 Pijの輝度値 Vijと、第 2画素 Pikの輝度値 Vikの総和 Vとが考慮され て第 1画素 Pijの特徴量 Qijが算出される（図 2ZS130、式（1) (4)参照)。これにより、 第 1画素 Pijおよび第 2画素 Pikの色ではなく明るさの違いにより第 1画素 Pijの特徴量 Qijが過大または過少となる事態が回避され得る。たとえば、図 5 (a)に示されている 影 Sがさして暗い路面部分と、影 Sから外れて明るい路面部分との境界位置 ¾3にお いて、第 1画素 Pijおよび第 2画素 Pikの明るさの違いにより、第 1画素 Pijの特徴量 Qij (特に式 (5a)にしたがって算出される特徴量 Qij)が大きく変動し、この第 1画素 Pijが レーンマーク Mのエッジ Eに相当すると誤判定される事態が回避され得る。

[0071] 以上により、路面への光の照射状態が部分的に異なっている場合でも、画像処理 システム 100によって路面画像において注目色のレーンマーク Mおよびそのエッジ E が高精度で認識され得る。そして、画像処理システムによる当該画像処理結果に基 づき、レーンマーク Mおよびそのエッジ Eの実際の位置に鑑みて車両 10の走行が適 切に制御され得る。

[0072] さらに、本発明の車両は、第 1処理部 110は、路面画像の位置に応じて、サイズ、 形状、またはサイズおよび形状を調節しながらエリア Aijを設定可能である。具体的に は、前記のように、路面画像の上に行くほど、たとえば図 4に示されているエリア Aijの 幅が小さく設定される。

[0073] 今回設定されたエリア Aijの第 1画素 Pijに相当する路面部分の色が、前回に設定さ れたエリアの第 1画素 pij-1に相当する路面部分の色と異なる状態となったとき (たとえ ば、図 6 (c)に示されている状態力 図 6 (d)に示されている状態となったとき）、今回 設定されたエリア Aijにおいて、第 1画素 Pijに相当する路面部分の色と、全部または 大半の第 2画素 Pikに相当する路面部分の色とが異なる状態となるように、エリア Aij のサイズおよび形状のうち一方または両方が調節され得る。これにより、第 1画素 Pij に相当する路面部分の実際の色力 この第 1画素 Pijの色成分、ひいては注目色に 応じた特徴量 Qijに顕著に反映され得る。したがって、路面への光の照射状態が部 分的に異なっている場合でも、画像処理システム 100によって路面画像において注 目色のレーンマークが高精度で認識され得る（図 7参照)。そして、画像処理システム 100による当該画像処理結果に基づき、レーンマーク Mおよびそのエッジ Eの実際 の位置に鑑みて車両 10の走行が適切に制御され得る。

[0074] なお、前記実施形態では各画素の色信号が RGB成分により表現されたが、他の実 施形態として各画素の色信号が CMY成分、 YIQ成分等、 RGB表色系とは異なる表 色系により表現されてもよい。

[0075] 前記実施形態では図 4に示されて 、るように、 1行 X 4列 (複数列） t 、うサイズおよ び形状のエリア Aijが設定されたが、他の実施形態として次に列挙するようなさまざま なサイズおよび形状を有するエリア Aijが設定されてもよい。すなわち、図 8 (a)に示さ れているように、右端部分 (移動方向先端部分)の第 1画素 Pijと、第 1画素 Pijの左側 (移動方向後方）にある画素 Pij-1, Pij-2および Pi+lj-2とを包含する等、移動方向前 方に延びた部分を有するエリア Aijが設定されてもよい。また、図 8 (b)に示されている ように右端部分の第 1画素 Pijと、第 1画素 Pijの左側にある画素 Pij-2, Pij-3および Pij -4とを包含するような、離反した複数の画素を包含するエリア Aijが設定されてもょ ヽ

[0076] 前記実施形態ではエリア Aijが各行の右に逐次移動するように更新設定されたが、 他の実施形態として図 8 (c)に示されているようにエリア Aijが各行の左に逐次移動す るように更新設定されてもよぐまた、エリア Aijがある行では右に逐次移動する一方、 他の行では左に逐次移動するように更新設定されてもょ 、。路面画像にぉ 、てエリ ァ Aijが左に逐次移動するように更新設定される場合、エリア Aijに包含される複数の 画素のうち、左端の画素が第 1画素 Pij、第 1画素 Pijより右側の画素が第 2画素 Pik (k >j)として第 2処理（図 2ZS120)等が実行される。

[0077] また、前記実施形態では横に延びたエリア Aijが横に逐次移動するように更新設定 されたが、他の実施形態として図 8 (d)または図 8 (e)に示されているように縦に延び た (または進行方向前方に縦に伸びた部分を有する）エリア Aijが各行の上、下、また は上若しくは下に逐次移動するように更新設定されてもょ 、。路面画像にぉ 、て縦 に延びたエリア Aijが上下に逐次移動するように更新設定される場合、エリア Aijに包 含される複数の画素のうち、上端または下端の画素が第 1画素 Pij、第 1画素 Pijより下 側または上側の画素が第 2画素 Pik (k>j)として第 2処理（図 2ZS120)等が実行さ れる。

[0078] さらに他の実施形態として、エリア Aijが横に 2画素分ずつ移動し、且つ、縦に 1画 素分ずつ移動するように、すなわち、エリア Aijが路面画像において斜め方向に移動 するように更新設定されてもょ 、。

[0079] ところで、エリア Aijに包含される第 2画素 Pikが過少である場合、レーンマーク Mの 剥げ等により局所的に本来の注目色とは別の色となっている路面部分の色しか第 2 画素 Pikの色成分 Rik, Bik, Gikに反映されないおそれがある。このため、今回設定さ れたエリア Aijにおいて、第 2画素 Pikの色成分 Rik, Bik, Gikを基準とした第 1画素 Pij の色成分 Rij, Bij, Gijの補正量が過大となる可能性がある。そして、レーンマーク M のかすれがこのレーンマーク Mのエッジ Eであると認識される等、第 1画素 Pijの注目 色に応じた特徴量 Qijに基づくレーンマーク Mの認識精度が低下する可能性がある。

[0080] 一方、エリア Aijに包含される第 2画素 Pikが過多である場合、当該エリア Aijに相当 する路面部分に併存する複数の色が第 2画素 Pijの色成分の総和 R=∑kRik, B = ∑kBik, G=∑kGikに反映されるおそれがある。このため、今回設定されたエリア Aij において、第 2画素 Pikの色成分 Rik, Bik, Gikを基準とした、第 1画素 Pijの色成分 Ri j, Bij, Gijの補正量が不十分となる可能性がある。そして、レーンマーク Mのエッジ E が真のエッジ Eではないと認識される等、第 1画素 Pijの注目色に応じた特徴量 Qijに 基づくレーンマーク Mの認識精度が低下する可能性がある。

[0081] さらに、路面画像においてレーンマークがどの位置にあると認識されるかは、前回 のレーンマーク M (およびそのエッジ E)の認識結果に依存する。たとえば、車両 10 の走行状態が安定しているにもかかわらず、路面画像において前回認識されたレー ンマーク Mの位置に鑑みて著しく妥当性 (たとえば、連続性)を欠く位置ではレーン マーク Mが認識される可能性が低ぐまた、妥当性に欠ける認識結果に基づいて車 両 10の走行が制御されるべきではな!/、。

[0082] また、路面画像においてレーンマークがどの位置にあると認識されるかは、車両 10 の走行状態にも依存する。たとえば、車両 10が左にカーブしながら走行しているとき 、路面画像においてレーンマークは道路のカーブの程度に応じた位置に認識される ものと予測される。

[0083] そこで、第 1画素 Pijの色成分の補正結果（図 2ZS120)、および第 1画素 Pijの注 目色に応じた特徴量 Qijの算出結果（図 2ZS 130)、レーンマーク Mの認識結果（図 2ZS 140)、および車両 10に搭載された速度センサゃョーレートセンサ（図示略）に よって測定される車両 10の速度ゃョーレート等の走行状態のうち一部または全部に 基づき、エリア Aijがそのサイズおよび形状のうち一方または両方が調節された上で 再設定または新規設定されてもょ ヽ。

[0084] 当該実施形態の画像処理システム 100によれば、前記事情に鑑みて、レーンマー ク Mの認識精度が低下するようなエリア Aijの設定を回避し、レーンマーク Mの認識 精度を向上させることができる。そして、当該画像処理結果に基づき、レーンマーク の実際の位置に鑑みて車両 10の走行が適切に制御され得る。 [0085] 前記実施形態ではエリア Aijの右端 (第 1画素）が画像右端に到達した後（図 2ZS1 04 · .YES)、当該エリア Aijが他の画素行に動力される（図 2ZS105)。また、前記実 施形態では各画素行におけるエリア Aijの左端の初期位置が画像左端に一致するよ うに動力される（図 2ZS102参照)。その他の実施形態としてエリア Aijの右端 (先端） が画像右端よりも左にずれた位置に到達した後、当該エリア Aijが他の画素行に動か されてもよい。すなわち図 2の S104においてエリア Aijの改行の契機となる閾値（以 下「右境界値」という。）が、画像の横画素数 mよりも小さい値に設定されてもよい。ま た、各画素列におけるエリア Aijの左端 (後端)の初期位置が画像左端よりも右にずら されてもよい。すなわち図 2の S102においてエリア Aijの右端の初期位置を表す指数 (以下「左境界値」 、う。 )が「4」よりも大きな値価に設定されてもよ！、。

[0086] たとえば、行が上になるほど (行数を表す指数 iが大きくなるほど）、右境界値および 左境界値のうち一方または両方が大きくなるように調整されてもよい。これにより、撮 像された画像においてエリア Aijを走査させうる領域が上に行くほど徐々に狭くなる台 形状または三角形状となる。すなわち、撮像画像においてレーンマーク Mが存在す る蓋然性が高い領域のみにエリアの操作領域 Aijを絞ることができる（図 3、図 5 (a)参 照)。そして、前述の画像処理の高速化、当該画像処理に要する情報処理資源の節 約等を図ることができる。

[0087] また、車両 10の搭載された速度センサゃョーレートセンサ（図示略）によって測定さ れる車両 10の速度ゃョーレート等の走行状態に応じて右境界値および左境界値の うち一方または両方が調整されてもよい。

Claims

請求の範囲

[1] 撮像手段と、

撮像手段により撮像された路面画像に基づき、画像処理を実行する画像処理シス テムと、

画像処理システムによる画像処理結果に基づいて車両の走行を制御する車両走 行制御システムとが搭載され、

画像処理システムが、

路面画像において複数の画素を包含するエリアを逐次移動させながら設定する第

1処理部と、

第 1処理部によりエリアに包含される複数の画素のうちエリアの移動方向先端部分 に包含される第 1画素の色成分を、該複数の画素のうち第 1画素以外の第 2画素の 色成分を基準として補正する第 2処理部と、

第 2処理部により補正された第 1画素の色成分に基づき、注目色に応じた第 1画素 の特徴量を算出する第 3処理部と、

第 1処理部によってエリアが設定されるたび、第 2処理部による第 1画素の色成分の 補正および第 3処理部による第 1画素の特徴量の算出が逐次繰り返されることで得ら れた複数の画素の特徴量に基づき、路面画像にお!、て該注目色のレーンマークを 認識する第 4処理部とを備えて 、る車両。

[2] 第 1処理部が、路面画像において移動方向に一列に連続して並んでいる形状のェ リア、または移動方向前方に一列に連続して並んでいる部分を有するエリアを設定 することを特徴とする請求項 1記載の車両。

[3] 第 1処理部が、路面画像の位置に応じて、サイズ、形状、またはサイズおよび形状 を調節しながらエリアを設定可能であることを特徴とする請求項 1または 2記載の車両

[4] 第 1処理部が、第 2処理部による第 1画素の色成分の補正結果、第 3処理部による 第 1画素の特徴量の算出結果、第 4処理部によるレーンマークの認識結果、および 車両の走行状態のうち一部または全部に基づき、サイズ、形状、またはサイズおよび 形状を調節しながらエリアを設定可能であることを特徴とする請求項 1、 2または 3記 載の車両。

[5] 第 2処理部が、第 1画素の色成分を、第 2画素の輝度値を基準とする第 2画素の色 成分を基準として補正し、

第 3処理部が、第 1画素の輝度値を基準とする第 1画素の該補正後の色成分に基 づき、注目色に応じた第 1画素の特徴量を算出することを特徴とする請求項 1、 2、 3 または 4記載の車両。

[6] 車両に搭載されている撮像手段により撮像された路面画像において複数の画素を 包含するエリアを逐次移動させながら設定する第 1処理部と、第 1処理部によりエリア に包含される複数の画素のうちエリアの移動方向先端部分に包含される第 1画素の 色成分を、該複数の画素のうち第 1画素以外の第 2画素の色成分を基準として補正 する第 2処理部と、

第 2処理部により補正された第 1画素の色成分に基づき、注目色に応じた第 1画素 の特徴量を算出する第 3処理部と、

第 1処理部によってエリアが設定されるたび、第 2処理部による第 1画素の色信号の 補正および第 3処理部による第 1画素の特徴量の算出が逐次繰り返されることで得ら れた複数の画素の特徴量に基づき、路面画像にお!、て該注目色のレーンマークを 認識する第 4処理部とを備えて ヽる画像処理システム。

[7] 第 1処理部が、路面画像において移動方向に一列に連続して並んでいる形状のェ リアまたは移動方向前方に一列に連続して並んでいる部分を有するエリアを設定す ることを特徴とする請求項 6記載の画像処理システム。

[8] 第 1処理部が、路面画像の位置に応じて、サイズ、形状、またはサイズおよび形状 を調節しながらエリアを設定可能であることを特徴とする請求項 6または 7記載の画像 処理システム。

[9] 第 1処理部が、第 2処理部による第 1画素の色成分の補正結果、第 3処理部による 第 1画素の特徴量の算出結果、第 4処理部によるレーンマークの認識結果、および 車両の走行状態のうち一部または全部に基づき、サイズ、形状、またはサイズおよび 形状を調節しながらエリアを設定可能であることを特徴とする請求項 6、 7または 8記 載の画像処理システム。

[10] 第 2処理部が、第 1画素の色成分を、第 2画素の輝度値を基準とする第 2画素の色 成分を基準として補正し、

第 3処理部が、第 1画素の輝度値を基準とする第 1画素の該補正後の色成分に基 づき、注目色に応じた第 1画素の特徴量を算出することを特徴とする請求項 6、 7、 8 または 9記載の画像処理システム。

[11] 車両に搭載されている撮像手段により撮像された路面画像において、複数の画素 を包含するエリアを逐次移動させながら設定する第 1処理ステップと、

第 1処理ステップにおいてエリアに包含される複数の画素のうちエリアの移動方向 先端部分に包含される第 1画素の色成分を、該複数の画素のうち第 1画素以外の第 2画素の色成分を基準として補正する第 2処理ステップと、第 2処理ステップにお 、て 補正された第 1画素の色成分に基づき、注目色に応じた第 1画素の特徴量を算出す る第 3処理ステップと、

第 1処理ステップによってエリアが設定されるたび、第 2処理ステップによる第 1画素 の色信号の補正および第 3処理ステップによる第 1画素の特徴量の算出が逐次繰り 返されることで得られた複数の画素の特徴量に基づき、路面画像にお！ヽて該注目色 のレーンマークを認識する第 4処理ステップとを含んでいる画像処理方法。

[12] 車両に搭載されている撮像手段により撮像された路面画像において複数の画素を 包含するエリアを逐次移動させながら設定する第 1処理機能と、

第 1処理機能によりエリアに包含される複数の画素のうちエリアの移動方向先端部 分に包含される第 1画素の色成分を、該複数の画素のうち第 1画素以外の第 2画素 の色成分を基準として補正する第 2処理機能と、

第 2処理機能により補正された第 1画素の色成分に基づき、注目色に応じた第 1画 素の特徴量を算出する第 3処理機能と、

第 1処理機能によってエリアが設定されるたび、第 2処理機能による第 1画素の色 信号の補正および第 3処理機能による第 1画素の特徴量の算出が逐次繰り返される ことで得られた複数の画素の特徴量に基づき、路面画像にぉ 、て該注目色のレーン マークを認識する第 4処理機能とをコンピュータに付与する画像処理プログラム。

[13] 請求項 6記載の画像処理システムを構築するため、請求項 12記載の画像処理プロ グラムのうち一部または全部を前記車両に搭載されているコンピュータに配信または 放送することを特徴とする画像処理システムの構築システム。