JP6097533B2 - 車載画像処理装置 - Google Patents

Description

本発明は車載画像処理装置に関し、例えば車載カメラで撮像した車両周囲の画像を画像処理する車載画像処理装置に関する。

従来から、運転者が車両を駐車場に駐車させる際、路面に描かれた白線や他車両の存在しない空間を認識することによって自動的に駐車可能な駐車スペースを認識し、車両周囲の状況を察知した上で駐車動作を支援する技術が知られている。

例えば、特許文献１には、車両の操舵状態を検出する操舵状態検出手段と、カメラからの画像を基に画像認識により駐車区画を検出する駐車区画検出手段と、操舵状態検出手段からの情報により車両の走行予想軌跡を算出する走行予想軌跡算出手段と、走行予想軌跡と駐車区画の情報により駐車を補助する情報を運転者に提供する報知手段とを備えた駐車補助装置が開示されている。

また、近年では、駐車動作時に運転者が車両と駐車区画の相対的な位置を把握し易くするために、複数の車載カメラからの画像を合成し、車両を真上から撮像したのと同等の俯瞰画像を作成し、その俯瞰画像を車内に設けられたカーナビゲーション等の画面に表示する技術が提案されている。

特開平１１−３３９１９４号公報

ところで、車載カメラからの画像を基に駐車区画を検出する方法としては、たとえば、車両の前後長や車幅、後輪車軸とカメラとの距離、車両の最小回転半径などから駐車区画を構成する候補となる線分を抽出し、その線分から得られる駐車区画幅や白線幅から許容範囲内のものを抽出する方法が知られている。

しかしながら、駐車区画幅（駐車区画を構成する側線同士の間隔）に基づいて駐車区画を検出する従来の方法においては、車両が車載カメラで車両周囲を撮像しながら走行している場合、たとえば、図１７Ａに示すような道路に設置されたマンホール蓋Ｘや図１７Ｂに示すような道路工事跡Ｙなどによって分断された車線、図１７Ｃに示すような道路上に描かれた横断歩道Ｚの一部などを駐車区画を構成する白線として検出してしまうといった問題が生じ得る。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、例えば車載カメラなどで撮像した車両周囲の画像を画像処理して路面に描かれた路面標示ペイントなどの予め設定された認識対象を精度良く認識することのできる車載画像処理装置を提供することにある。

上記する課題を解決するために、本発明に係る車載画像処理装置は、車両周囲の画像を取得する画像取得部と、該画像を画像処理して予め設定された認識対象を認識する画像処理部と、を備える車載画像処理装置であって、前記画像処理部は、前記画像から抽出される線分の端部周囲の情報に基づいて、前記線分が前記認識対象を構成する線分であるか否かを判定する判定部を有していることを特徴とする。

本発明の車載画像処理装置によれば、車両周囲の画像を用いて路面に描かれた路面標示ペイントなどの認識対象を精緻に認識することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る車載画像処理装置の実施の形態１の基本構成を示すブロック図。 車両に搭載されるカメラの配置構成の一例を示す上面図。 図２に示すカメラによって撮像される画像の一例を示す図。 図２に示すカメラによって撮像される画像から作成される合成画像の一例を示す図。 図１に示す画像処理部の判定部の判定処理を説明するフロー図。 図１に示す画像処理部の判定部のノイズ判定処理を説明するフロー図。 ノイズ判定処理で用いる参照領域と検証領域の一例を示す図。 ノイズ判定処理で用いる参照領域と検証領域の他例を示す図。 ノイズ判定処理で用いる参照領域と検証領域の更に他例を示す図。 ノイズ判定処理で用いる参照領域と検証領域の特徴量の一例を示す図。 画像中に局所外乱が発生している状況を説明した図。 車両周囲に存在する路面標示の一例を説明した図。 図１に示す画像処理部の判定部の形状判定処理を説明するフロー図。 形状判定処理で用いる参照領域と検証領域の一例を示す図。 路面標示の形状パターンの一例を示す図。 路面標示の形状パターンの他例を示す図。 路面標示の形状パターンの更に他例を示す図。 路面標示の形状パターンの更に他例を示す図。 路面標示の形状パターンの更に他例と、その際のノイズ判定処理で用いる検証領域の一例を示す図。 本発明に係る車載画像処理装置の実施の形態２の認識対象となる路面標示の形状パターンの一例を示す図。 本発明に係る車載画像処理装置の実施の形態２の認識対象となる路面標示の形状パターンの他例を示す図。 車載画像処理装置の実施の形態２における画像処理部の判定部の判定処理を説明するフロー図。 車載画像処理装置の実施の形態２における画像処理部の判定部の判定処理を模式的に説明する模式図。 従来の方法で車線の一部を駐車区画を構成する線分と検出する状況の一例。 従来の方法で車線の一部を駐車区画を構成する線分と検出する状況の他例。 従来の方法で横断歩道の一部を駐車区画を構成する線分と検出する状況の一例。

以下、本発明に係る車載画像処理装置の実施の形態を図面を参照して説明する。なお、本実施の形態では、白線や黄線などでアスファルトやコンクリート路面等の地面に描かれた規制標示や案内標示、枠線等の路面標示を認識対象とする形態について具体的に説明する。

＜車載画像処理装置の実施の形態１＞
図１は、本発明に係る車載画像処理装置の実施の形態１の基本構成を示したものである。

図示する車載画像処理装置１００は、主として、車両周囲の画像を取得する画像取得部１０と、この画像を画像処理して予め設定された認識対象を認識する画像処理部２０と、例えばワイパ稼動情報やライト点灯情報などの車両情報を記憶する情報記憶部３０と、を備えている。

画像取得部１０は、カメラ１０１〜１０４で撮像した複数の画像を入力する画像入力部１１と、画像入力部１１へ入力された複数の画像を合成変換して車両周囲の画像を作成する画像変換部１２と、を有している。具体的には、画像変換部１２は、画像入力部１１へ入力された各画像に対して拡大・縮小・回転・写像等の変換処理を行うと共に、複数の画像を写像してより少ない枚数の画像に納める合成処理を行い、この合成変換処理によって作成した合成画像（車両周囲の画像）を画像処理部２０へ送信する。

より具体的には、図２に示すように、カメラ１０１は、車両１の左部に配置されて車両１の左側方を撮像する左サイドカメラを構成し、カメラ１０２は、車両１の右部に配置されて車両１の右側方を撮像する右サイドカメラを構成している。また、カメラ１０３は、車両１０の後部に配置されて車両１０の後方を撮像するリヤカメラを構成し、カメラ１０４は、車両１０の前部に配置されて車両１０の前方を撮像するフロントカメラを構成している。

カメラ１０１〜１０４はそれぞれ、例えば運転者が駐車区画に車両１を駐車させる際に、自車周囲の５メートル程度の範囲を撮像できるように当該車両１に搭載されており、例えばカメラ１０１等によって図３に示すような画像を得ることができる。そして、画像変換部１２は、各カメラ１０１〜１０４により得られる複数の画像に対して上記する合成変換処理を行い、図４に示すような車両を真上から撮像したのと同等の俯瞰画像を作成して画像処理部２０へ送信する。

画像処理部２０は、図１に示すように、画像変換部１２によって作成された合成画像に対して画像処理を行い、その合成画像に写る白線などで地面に描かれた路面標示を画像認識し、画像認識した路面標示に関する情報を車両制御部１０５へ送信する。また、画像処理部２０は、画像変換部１２によって作成された合成画像（車両周囲の画像）を車内に設けられたカーナビゲーション等の画像表示部１０６へ送信する。

ここで、画像処理部２０は、合成画像から抽出される線分の端部周囲の情報、具体的には合成画像から抽出される線分の端部周囲のノイズ情報や線分の端部に連接する白線等の形状情報に基づいて、その線分が路面標示を構成する線分であるか否かを判定する判定部２１を有している。また、雨天時やライト点灯時などでは、カメラ１０１〜１０４で撮像した画像を用いた認識対象の認識精度が低下する可能性があるため、画像処理部２０は、情報記憶部３０に記憶されたワイパ稼動情報やライト点灯情報などの車両情報を利用して路面標示を認識するようになっている。これにより、画像処理部２０は、認識対象である路面標示の認識精度を高めることができる。

図５を参照して、上記する画像処理部２０の判定部２１の判定処理をより具体的に説明すると、判定部２１は、画像取得部１０によって取得した車両周囲の画像のノイズ判定を行い（Ｓ１０）、ノイズが無いと判定された白線等の路面標示の端部の形状判定を行う（Ｓ２０）。画像処理部２０は、判定部２１によって判定された形状判定結果に基づいて車両周囲の画像から路面標示を特定し（Ｓ３０）、その路面標示に関する情報を車両制御部１０５等へ出力する。

より具体的には、図６に示すように、まず、判定部２１は、車両周囲の画像から白線や黄線などで地面に描かれた線分を抽出し（Ｓ１０１）、その線分の画像中の端部もしくは端点座標を抽出し（Ｓ１０２）、抽出された線分の端部周囲に所定形状の参照領域（第１の参照領域）を設定する（Ｓ１０３）。ここで、図７Ａに示すように、抽出される線分が単数の線分である場合には、その線分Ｌ１１の端点Ｔ１１を含む領域（端部）Ｒ１１の左右側方に、長手方向が線分Ｌ１１と略平行な略長方形状の参照領域Ｒ１１１、Ｒ１１２を設定する。なお、抽出される線分の擦れなどを考慮して、線分Ｌ１１の側部から所定距離Ｄ（例えば、線分Ｌ１１の幅Ｗ以上）だけ離間して各参照領域Ｒ１１１、Ｒ１１２を設定する。また、図７Ｂに示すように、予め略平行に並んだ複数の線分を抽出したり、複数の線分から構成される枠線を抽出することができる場合には、その複数の線分Ｌ２１、Ｌ２２の外側の情報を排除して線分Ｌ２１、Ｌ２２の間の情報のみを利用すればよいため、その複数の線分Ｌ２１、Ｌ２２の端点Ｔ２１、Ｔ２２を含む領域（端部）Ｒ２１、Ｒ２２の間に、略長方形状の複数の参照領域Ｒ２１１〜Ｒ２１４を各長手方向が線分Ｌ２１、Ｌ２２と略平行となるように並べて設定する。また、予め略平行に並んだ複数の線分を抽出したり、複数の線分から構成される枠線を抽出することができる場合には、図７Ｃに示すように、その複数の線分Ｌ４１、Ｌ４２の端点Ｔ４１、Ｔ４２を含む領域（端部）Ｒ４１、Ｒ４２の間に、略長方形状の複数の参照領域Ｒ４１１〜Ｒ４１４を各長手方向が線分Ｌ４１、Ｌ４２と略直交するように並べて設定してもよい。

次いで、図６に示すように、判定部２１は、抽出された線分の端部周囲に設定された参照領域同士の間に整合性があるか否か、すなわち、参照領域同士で類似した特徴量があるか否かを判定し（Ｓ１０４）、参照領域同士で類似した特徴量がないと判定した場合には、ノイズ判定が不能であると出力し（Ｓ１１３）、抽出された線分が路面標示であるか否かの判定も不能であると出力する。一方で、参照領域同士で類似した特徴量があると判定した場合には、設定された所定形状の参照領域が画像表示部１０６の表示画面の外部に存在するか否か、あるいは、合成画像中で自車領域に重畳するか否かを判定する（Ｓ１０５）。そして、その参照領域が画像表示部１０６の表示画面の外部に存在する、あるいは、自車領域に重畳すると判定した場合には、ノイズ判定が不能であると出力し（Ｓ１１３）、抽出された線分が路面標示であるか否かの判定も不能であると出力する。また、その参照領域が画像表示部１０６の表示画面の外部に存在しない、あるいは、自車領域に重畳しないと判定した場合には、各参照領域の特徴量を算出する（Ｓ１０６）。

次に、判定部２１は、抽出された線分の端部周囲に所定形状の検証領域（第１の検証領域）を設定する（Ｓ１０７）。ここで、図７Ａに示すように、抽出される線分が単数の線分である場合には、線分Ｌ１１の端点Ｔ１１側の延長線上を含む領域に、長手方向が線分Ｌ１１と略直交する略長方形状の検証領域Ｒ１１５を設定する。なお、上記する参照領域と同様、抽出される線分の擦れなどを考慮して、線分Ｌ１１の端点Ｔ１１から所定距離Ｈ（例えば、線分Ｌ１１の幅Ｗ以上）だけ離間して検証領域Ｒ１１５を設定する。また、図７Ｂや図７Ｃに示すように、予め略平行に並んだ複数の線分を抽出したり、複数の線分から構成される枠線を抽出することができる場合には、各線分Ｌ２１、Ｌ２２、Ｌ４１、Ｌ４２の端点Ｔ２１、Ｔ２２、Ｔ４１、Ｔ４２側の延長線上を含む領域に、長手方向が線分Ｌ２１、Ｌ２２、Ｌ４１、Ｌ４２と略直交する略長方形状の検証領域Ｒ２１５、Ｒ２１６、Ｒ４１５、Ｒ４１６を設定する。

次いで、判定部２１は、設定された所定形状の検証領域が画像表示部１０６の表示画面の外部に存在するか否か、あるいは、合成画像中で自車領域に重畳するか否かを判定し（Ｓ１０８）、その検証領域が画像表示部１０６の表示画面の外部に存在する、あるいは、自車領域に重畳すると判定した場合には、ノイズ判定が不能であると出力し（Ｓ１１３）、抽出された線分が路面標示であるか否かの判定も不能であると出力する。一方で、その検証領域が画像表示部１０６の表示画面の外部に存在しない、あるいは、自車領域に重畳しないと判定した場合には、その検証領域の特徴量を算出する（Ｓ１０９）。

そして、判定部２１は、図８に示すように、Ｓ１０６で算出された各参照領域の特徴量ＦＳとＳ１０９で算出された検証領域の特徴量ＦＫを比較し、その特徴量の間の距離が所定の閾値以下であるか否かを判定する（Ｓ１１０）。その特徴量の間の距離が所定の閾値以下である、すなわち各参照領域と検証領域の類似度が低いと判定した場合には、抽出された線分にノイズが有ると出力し（Ｓ１１２）、その線分が路面標示であるか否かを判定しない。一方で、その特徴量の間の距離が所定の閾値よりも大きい、すなわち各参照領域と検証領域の類似度が高いと判定した場合には、抽出された線分にノイズが無いと出力する（Ｓ１１１）。

ここで、上記する判定処理における参照領域と検証領域の考え方、および参照領域の設定方法についてより詳細に説明する。

実環境で入力される映像は多種多様であるため、映像中のノイズの有無を検証領域のみで判定しようとすると閾値設定が非常に困難である。そこで、路面上で路面標示が存在しない一様な領域を参照領域としてサンプリングし、その参照領域と比較することによって検証領域に路面標示が存在しないか否かを判定する。

参照領域は、路面上で路面標示が存在しない一様な領域、すなわち舗装道路であればアスファルトやコンクリートのような舗装路面、非舗装路であれば砂利や土などの路面の領域に設定されていることを期待している。しかしながら、略平行に並んだ複数の線分が存在しており、線分間の領域をサンプリングしただけでは、サンプリングした領域に局所外乱成分を含んでいるか否か不明である。ここで、局所外乱成分とは、局所的な領域の外乱として発生する路面反射や水溜まり、隣接車両の影などを指している。そこで、上記するように、参照領域を複数設定し、その参照領域内の画像特徴量が同様の傾向を有する場合には、局所外乱成分が参照領域内に含まれていないと判定して、ノイズ判定を継続する。逆に、その参照領域内の画像特徴量が異なる傾向を有する場合には、局所外乱成分が参照領域内に含まれていると判定して、検証領域の設定に進まずにノイズ判定が不能であると出力して判定処理を終了するようにしている。

ここで、予め略平行に並んだ複数の線分を抽出する場合、自車両に対する線分の角度に応じて参照領域の設定方法を変更することによって、性能向上を期待することができる。

具体的には、例えば、太陽や街灯などの光源が濡れた路面に反射して観測される場合、その光源の位置によって、自車からは、図９ＡのＰ１１１やＰ１１２のように光の筋が自車両に向かって伸びているように路面反射して観測される。この路面反射が参照領域に含まれている場合、この局所外乱が発生している状況を確実に検出できるように参照領域を設定する必要がある。

ここで、図９Ｂの駐車枠Ｐ２１１や駐車枠Ｐ２１２のような路面標示線が車両周囲に存在する状況を想定する。その際、駐車枠Ｐ２１１に対して、例えば図７Ｂに示すように略長方形状の複数の参照領域Ｒ２１１〜Ｒ２１４を各長手方向が線分Ｌ２１、Ｌ２２と略平行になるように並べて設定すると、この複数の参照領域間で参照領域同士の間に整合性がとれないことを検出することができ、判定処理において確実に判定不能と出力することができる。一方で、駐車枠Ｐ２１１に対して、図７Ｃに示すように略長方形状の複数の参照領域Ｒ４１１〜Ｒ４１４を各長手方向が線分Ｌ４１、Ｌ４２と略直交するように並べて設定すると、このときの複数の参照領域の全てが局所外乱を含んでしまい、参照領域間の整合性を検証しても判定不能状態を検出することができなくなってしまう。

逆に、駐車枠Ｐ２１２に対して、図７Ｃに示すように略長方形状の複数の参照領域Ｒ４１１〜Ｒ４１４を各長手方向が線分Ｌ４１、Ｌ４２と略直交するように並べて設定すると、この複数の参照領域間で参照領域同士の間に整合性がとれないことを検出することができ、判定処理において確実に判定不能を出力することができる。一方で、図７Ｂに示すように略長方形状の複数の参照領域Ｒ２１１〜Ｒ２１４を各長手方向が線分Ｌ２１、Ｌ２２と略平行になるように並べて設定すると、このときの複数の参照領域の全てが局所外乱を含んでしまい、参照領域間の整合性を検証しても判定不能状態を検出することができなくなってしまう。

このように、抽出された線分がカメラ視点から視て放射方向に近ければ、略長方形状の複数の参照領域を各長手方向が当該線分と略平行になるように並べて設定し、抽出された線分がカメラ視点から視て放射方向に対して直交する方向に近ければ、略長方形状の複数の参照領域を各長手方向が当該線分と略直交するように並べて設定することによって、判定不能状態の検出を安定して行うことができるようになる。

次に、判定部２１は、図１０に示すように、ノイズが無いと出力された線分を抽出し（Ｓ２０１）、その線分の画像中の端部もしくは端点座標を抽出し（Ｓ２０２）、抽出された線分の端部近傍に線分の幅情報などを取得するための所定形状の参照領域（第２の参照領域）を設定する（Ｓ２０３）。具体的には、図１１に示すように、抽出される線分の擦れなどを考慮して、その線分Ｌ３１の端点Ｔ３１から所定距離Ｅ（例えば、線分Ｌ１１の幅Ｗ以上）だけ離間した線分Ｌ３１上の領域に、長手方向が線分Ｌ３１と略直交する略長方形状の参照領域Ｒ３１１を設定する。

次いで、判定部２１は、設定された所定形状の参照領域が画像表示部１０６の表示画面の外部に存在するか否か、あるいは、合成画像中で自車領域に重畳するか否かを判定し（Ｓ２０４）、その参照領域が画像表示部１０６の表示画面の外部に存在する、あるいは、自車領域に重畳すると判定した場合には、形状判定が不能であると出力し（Ｓ２１２）、抽出された線分が路面標示であるか否かの判定も不能であると出力する。一方で、その参照領域が画像表示部１０６の表示画面の外部に存在しない、あるいは、自車領域に重畳しないと判定した場合には、その参照領域の特徴量を算出する（Ｓ２０５）。

次に、判定部２１は、抽出された線分の端部周囲に所定形状の検証領域（第２の検証領域）を設定する（Ｓ２０６）。具体的には、図１１に示すように、その線分Ｌ３１の端点Ｔ３１を含む領域（端部）Ｒ３１の左右側方と線分Ｌ３１の端点Ｔ３１側の延長線上を含む領域に、例えば図７Ａや図７Ｂ、図７Ｃに示す参照領域や検証領域よりも相対的に小さい略長方形状の検証領域Ｒ３１５、Ｒ３１６、Ｒ３１７を設定する。なお、上記する参照領域と同様に、抽出される線分の擦れなどを考慮して、線分Ｌ３１の側部や端点Ｔ３１から所定距離（例えば、線分Ｌ３１の幅Ｗ以上）だけ離間して各検証領域Ｒ３１５、Ｒ３１６、Ｒ３１７を設定する。

次いで、判定部２１は、設定された所定形状の検証領域が画像表示部１０６の表示画面の外部に存在するか否か、あるいは、合成画像中の自車領域に重畳するか否かを判定し（Ｓ２０７）、その検証領域が画像表示部１０６の表示画面の外部に存在する、あるいは、自車領域に重畳すると判定した場合には、形状判定が不能であると出力し（Ｓ２１２）、抽出された線分が路面標示であるか否かの判定も不能であると出力する。一方で、その検証領域が画像表示部１０６の表示画面の外部に存在しない、あるいは、自車領域に重畳しないと判定した場合には、各検証領域の特徴量を算出する（Ｓ２０８）。

そして、判定部２１は、Ｓ２０５で算出された参照領域の特徴量とＳ２０８で算出された各検証領域の特徴量を比較し、その特徴量の間の距離が所定の閾値以下であるか否かを判定する（Ｓ２０９）。その特徴量の間の距離が所定の閾値以下である、すなわち参照領域と各検証領域の類似度が低いと判定した場合には、抽出された線分の端部周囲にその線分に類似する線分の路面標示が無いと出力する（Ｓ２１１）。一方で、その特徴量の間の距離が所定の閾値よりも大きい、すなわち各参照領域と検証領域の類似度が高いと判定した場合には、抽出された線分の端部周囲に当該線分に類似し且つその線分に連接する線分等の路面標示が有ると出力する（Ｓ２１１）。

このように、判定部２１によって車両周囲の画像から抽出された線分の端部周囲のノイズ判定と線分の端部に連接する路面標示の形状判定を行い、線分の端部周囲の情報によって特定される線分の端部の形状や線分に連接する白線等の路面標示の形状を予め外界認識装置１００内に記憶されている線分の形状パターンなどと比較することによって、画像処理部２０は、例えば図１２Ａ、図１２Ｂに示すような自車が駐車可能な駐車枠や図１２Ｃ、図１２Ｄに示すような速度表示などの路面標示を精緻に特定することができる。なお、例えば、図１２Ｂに示す例では、抽出される線分（例えば白線）の端部に他の線分（例えば白線）が連接すると判定された結果、端部がＬ字状もしくはＴ字状を呈する線分端点が特定されることとなる。

なお、上記する判定処理において、判定部２１により抽出される線分の端点座標の抽出方法としては、例えばブレゼンハム（Bresenham）法などを適用することができる。また、上記する判定処理において用いられる参照領域や検証領域の特徴量としては、例えば輝度値やその一次微分値などを適用することができ、特徴量のヒストグラム間の距離としては、例えばバタリア距離（Bhattacharyya distance）などを適用することができる。俯瞰画像を生成する際、自車両からの距離に依存して、撮像画像の一部を引き延ばしたり、縮めたりして画像変換を行う。すなわち、俯瞰画像上では、撮像装置（カメラ）のセンサ面に対する情報量の観点でばらつきが発生している。こうした画像に対して、ブレゼンハム法によるサンプリングと、サンプリングされた輝度配列の傾きのヒストグラム、すなわち輝度配列の一次微分値をヒストグラム化することによって、俯瞰画像生成時の平滑化に伴う情報量ばらつきを軽減することができる。これにより、参照領域および検証領域の自車両からの距離が異なっても、安定して判定を行うことができる。

このように、本実施の形態によれば、車両周囲の画像から抽出された線分の端部周囲のノイズ情報を取得することによって、例えば道路に設置されたマンホール蓋や道路工事跡などによって分断された車線、道路上に描かれた横断歩道、自車や他車の陰、地面上の縁石、水溜まり等による路面標示（例えば、駐車区画）の誤検出を抑制することができ、路面標示の認識精度を高めることができる。また、車両周囲の画像から抽出された線分の端部の形状情報やその線分の端部に連接する路面標示の形状情報を取得することによって、矢印や最高速度標示などの道路上に描かれた路面標示の誤検出を抑制することができ、例えば自車が駐車可能な駐車枠などの路面標示の認識精度を高めることができる。

なお、上記する実施の形態では、車両周囲の画像から抽出された線分のノイズ判定を行った後にその形状判定を行う形態について説明したが、例えば車両周囲の画像から抽出された線分の形状判定を行った後にそのノイズ判定を行ってもよいし、車両周囲の画像から抽出された線分のノイズ判定と形状判定を同時に行ってもよい。また、車両周囲の画像から抽出された線分のノイズ判定と形状判定のいずれか一方を行い、そのいずれか一方の判定結果に基づいて、抽出された線分が路面標示であるか否かを判定してもよい。

また、上記する実施の形態では、例えばノイズ判定に用いる検証領域を長手方向が線分と略直交する略長方形状に設定する形態について説明したが、例えば図１３に示すように、路面標示の線分（例えば、駐車区画を構成する駐車枠の側線）Ｌ４３が傾斜している場合には、その区画内が青色等に塗装されている場合（例えば、駐車禁止区画や障害者用区画に指定されている場合）などを考慮して、ノイズ判定に用いる検証領域Ｒ４１７の形状や参照領域の形状、形状判定に用いる検証領域の形状や参照領域の形状などを線分Ｌ４３の傾きに応じて変更してもよい。

また、雨天時やライト点灯時などでは、カメラ１０１〜１０４で撮像した画像を用いた認識対象の認識精度が低下する可能性があるため、ワイパ稼動情報やライト点灯情報などの車両情報に基づいて、ノイズ判定に用いる参照領域や検証領域の形状、形状判定に用いる参照領域や検証領域の形状、参照領域の特徴量と検証領域の特徴量の間の距離の判定閾値などを変更してもよい。また、カメラ１０１〜１０４で撮像した画像中に自車や他車の陰や水溜まり等が検出されている場合、その画像を用いた認識対象の認識精度が低下する可能性があるため、それらの検出情報に基づいて、ノイズ判定に用いる参照領域や検証領域の形状、形状判定に用いる参照領域や検証領域の形状、参照領域の特徴量と検証領域の特徴量の間の距離の判定閾値などを変更してもよい。

また、例えば横断歩道やマンホール蓋の形状などを考慮して、ノイズ判定に用いる参照領域や検証領域の形状を形状判定に用いる参照領域や検証領域の形状よりも大きくしてもよい。このようにノイズ判定に用いる参照領域や検証領域の形状を形状判定に用いる参照領域や検証領域の形状よりも大きくした場合には、ノイズ判定の判定処理に用いた各種情報を形状判定の判定処理に利用することができる。

さらに、上記する実施の形態では、四台の車載カメラを用いて車両周囲の画像を撮像する形態について説明したが、車両に搭載されるカメラの基数や位置は適宜変更することができる。また、上記する実施の形態では、車載カメラで撮像した画像に対して合成変換処理を行って俯瞰画像を作成する形態について説明したが、車両周囲（車両全方位と車両全方位の一部とを含む）の画像を取得し得る形態であれば、俯瞰画像以外の画像で自車周囲の画像を作成してもよい。

＜車載画像処理装置の実施の形態２＞
ところで、図１４Ａや図１４Ｂに示すように、車両周囲の画像から抽出される線分の端部に連接する路面標示の形状がＵ字形状を呈する場合には、その線分が駐車区画を構成する駐車枠である可能性が極めて高いことが知られている。そこで、本実施の形態２では、車両周囲の画像から抽出される線分の端部周囲の情報に基づいて、具体的には車両周囲の画像から抽出される線分の端部にＵ字形状の路面標示が連接するか否かを判定する。

なお、本実施の形態２は、実施の形態１に対して画像処理部における判定処理が相違しており、その他の構成は実施の形態１と同様である。したがって、実施の形態１と同様の構成についてはその詳細な説明は省略する。

本実施の形態２では、図１５に示すように、画像処理部の判定部は、車両周囲の画像から白線や黄線などで地面に描かれた線分を抽出し（Ｓ５０１）、その線分の画像中の端部もしくは端点座標を抽出し（Ｓ５０２）、抽出された線分の端点近傍に二重線探索開始点を設定する（Ｓ５０３）。次いで、判定部は、線分上に設定された二重線探索開始点と線分の傾きとに基づいて二重線中間点を探索し（Ｓ５０４）、その二重線中間点と線分の傾きとに基づいて仮想中心点を探索する（Ｓ５０５）。次に、判定部は、その仮想中心点から放射状に路面標示を探索し（Ｓ５０６）、探索された各路面標示と仮想中心点との距離の分布が所定形状（例えば、所定半径のＵ字形状）に類似するか否かを判定する（Ｓ５０７）。そして、探索された各路面標示と仮想中心点との距離の分布が所定形状に類似する場合には、抽出された線分の端部にＵ字形状の路面標示が有ると出力し（Ｓ５０８）、例えば抽出された線分が駐車区画を構成する駐車枠であると判定する。一方で、探索された各路面標示と仮想中心点との距離の分布が所定形状に類似しない場合には、抽出された線分の端部にＵ字形状の路面標示が無いと出力する（Ｓ５０９）。

より具体的には、図１６に示すように、画像処理部の判定部は、車両周囲の画像から地面に描かれた線分Ｌ５１〜Ｌ５４を抽出し（Ｓ５０１）、抽出された線分Ｌ５１〜Ｌ５４のうち線分Ｌ５２の端点Ｔ５２を抽出し（Ｓ５０２）、その端点Ｔ５２から所定距離Ｆだけ離間した線分Ｌ５２上に二重線探索開始点Ｎ５２を設定する（Ｓ５０３）。次いで、判定部は、二重線探索開始点Ｎ５２から線分Ｌ５２に直交する方向（図中、Ｘ１方向）へ路面標示を探索し、例えばその輝度値等の立上りエッジや立下りエッジに基づいて線分Ｌ５１と線分Ｌ５２の中点（線分Ｌ５１と線分Ｌ５２との距離Ｇの中心）である二重線中間点Ｍ５２を探索する（Ｓ５０４）。次に、判定部は、二重線中間点Ｍ５２から線分Ｌ５２に平行な方向（図中、Ｙ１方向）へ路面標示を探索し、例えばその輝度値等の立上りエッジから線分Ｌ５１と線分Ｌ５２との距離Ｇの半分だけ線分Ｌ５２方向へ戻って仮想中心点Ｐ５２を探索する（Ｓ５０５）。次に、判定部は、その仮想中心点Ｐ５２から放射状に路面標示を探索し（Ｓ５０６）、探索された各路面標示の輝度値等の立上りエッジと仮想中心点Ｐ５２との距離の分布が所定形状（例えば、所定半径のＵ字形状）に類似するか否かを判定する（Ｓ５０７）。そして、探索された各路面標示の輝度値等の立上りエッジと仮想中心点Ｐ５２との距離の分布が所定形状に類似する場合には、抽出された線分Ｌ５２の端部にＵ字形状の路面標示が有ると出力し（Ｓ５０８）、探索された各路面標示の輝度値等の立上りエッジと仮想中心点Ｐ５２との距離の分布が所定形状に類似しない場合には、抽出された線分Ｌ５２の端部にＵ字形状の路面標示が無いと出力する（Ｓ５０９）。

ここで、上記するように、端点Ｔ５２から所定距離Ｆだけ線分Ｌ５２方向へ戻ることによって、最初の端点Ｔ５２の端点座標の抽出（Ｓ５０２）で得られる座標に誤差があったとしても、その誤差を解消することができる。また、Ｕ字形状部が円弧形状をしているという特徴に基づいて仮想中心点Ｐ５２からの距離の分布を用いることによって、安定してＵ字形状を判定することができる。

このように、本実施の形態では、車両周囲の画像から抽出された線分の端部周囲の情報、特に車両周囲の画像から抽出される線分の端部にＵ字形状の路面標示が連接するか否かを判定することによって、路面標示であるか否かを迅速に判定できると共に、例えば自車が駐車可能な駐車枠の位置や形状を精度良く認識することができる。

なお、本発明は上記した実施の形態１、２に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施の形態１、２は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、実施の形態１、２の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１ 車両
１０ 画像取得部
１１ 画像入力部
１２ 画像変換部
２０ 画像処理部
２１ 判定部
３０ 情報記憶部
１００ 車載画像処理装置
１０１、１０２、１０３、１０４ カメラ
１０５ 車両制御部
１０６ 画像表示部

Claims (12)

1. 車両周囲の画像を取得する画像取得部と、該画像を画像処理して予め設定された認識対象を認識する画像処理部と、を備える車載画像処理装置であって、
   前記画像処理部は、前記画像から抽出される線分の端部周囲のノイズ情報と前記線分の端部に連接する路面標示の形状情報との少なくとも一方に基づいて、前記線分が前記認識対象を構成する線分であるか否かを判定する判定部を有し、
   前記判定部は、前記画像から抽出される線分の端部周囲に第１の参照領域と第１の検証領域を設定し、該第１の参照領域の特徴量と該第１の検証領域の特徴量とを比較して前記線分の端部周囲のノイズ情報を取得することを特徴とする車載画像処理装置。
2. 前記判定部は、前記画像から抽出される線分の延長線上に前記第１の検証領域を設定し、前記線分の端部の側方に前記第１の参照領域を設定することを特徴とする、請求項１に記載の車載画像処理装置。
3. 前記判定部は、前記画像から複数の線分が並んで抽出されている場合に、該複数の線分の間に複数の前記第１の参照領域を設定することを特徴とする、請求項２に記載の車載画像処理装置。
4. 前記判定部は、前記画像から抽出される線分の端部から離間して前記第１の参照領域と前記第１の検証領域を設定することを特徴とする、請求項１に記載の車載画像処理装置。
5. 前記判定部は、前記画像から抽出される線分の傾きに応じて、前記第１の検証領域及び／又は前記第１の参照領域の形状を変更することを特徴とする、請求項１に記載の車載画像処理装置。
6. 前記判定部は、車両情報に基づいて前記第１の検証領域及び／又は前記第１の参照領域の形状、あるいは、前記第１の参照領域の特徴量と前記第１の検証領域の特徴量との間の判定閾値を変更することを特徴とする、請求項１に記載の車載画像処理装置。
7. 前記判定部は、前記画像から抽出される線分上に第２の参照領域を設定し、前記線分の端部周囲に第２の検証領域を設定し、該第２の参照領域の特徴量と該第２の検証領域の特徴量とを比較して前記線分の端部の形状情報と前記線分の端部に連接する路面標示の形状情報の少なくとも一方を取得することを特徴とする、請求項１に記載の車載画像処理装置。
8. 前記判定部は、前記画像から抽出される線分の延長線上および前記線分の端部の側方に前記第２の検証領域を設定することを特徴とする、請求項７に記載の車載画像処理装置。
9. 前記判定部は、前記画像から抽出される線分の端部から離間して前記第２の検証領域を設定することを特徴とする、請求項７に記載の車載画像処理装置。
10. 前記判定部は、前記画像から抽出される線分の傾きに応じて、前記第２の検証領域及び／又は前記第２の参照領域の形状を変更することを特徴とする、請求項７に記載の車載画像処理装置。
11. 前記判定部は、車両情報に基づいて前記第２の検証領域及び／又は前記第２の参照領域の形状、あるいは、前記第２の参照領域の特徴量と前記第２の検証領域の特徴量との間の判定閾値を変更することを特徴とする、請求項７に記載の車載画像処理装置。
12. 前記判定部は、前記画像から抽出される線分の端部にＵ字形状の路面標示が連接するか否かを判定することによって、前記線分が前記認識対象を構成する線分であるか否かを判定することを特徴とする、請求項１に記載の車載画像処理装置。

Images