JP2012159469A - 車両用画像認識装置 - Google Patents

Abstract

【課題】測距対象までの距離を単眼カメラによる撮像画像からでも精度良く算出できる、車両用画像認識装置を提供すること。
【解決手段】単眼カメラ１１と、単眼カメラ１１による撮像画像から道路標示の所定部位を抽出する道路標示抽出部１２と、前記所定部位の前記撮像画像上の左右方向の長さを検出する大きさ検出部１３と、前記所定部位の実際の左右方向の長さと大きさ検出部１３により検出された前記撮像画像上の左右方向の長さと単眼カメラ１１の角度分解能とを用いて、前記道路標示までの距離を算出する距離算出部１４とを備える、車両用画像認識装置。
【選択図】図１

Description

本発明は、単眼カメラを用いる車両用画像認識装置に関する。

従来技術として、カメラから供給された２つの連続画像に記録された障害物の縮小拡大比率に基づいて、その障害物に接触するまでの時間を算出する技術が知られている（例えば、特許文献１を参照）。

米国特許第７１１３８６７号明細書

しかしながら、測距対象までの距離を単眼カメラによる撮像画像から算出する場合、その測距対象が遠方になるほど算出精度の確保が困難になる。

そこで、本発明は、測距対象までの距離を単眼カメラによる撮像画像からでも精度良く算出できる、車両用画像認識装置の提供を目的とする。

上記目的を達成するため、本発明に係る車両用画像認識装置は、
単眼カメラと、
前記単眼カメラによる撮像画像から道路標示の所定部位を抽出する抽出手段と、
前記所定部位の前記撮像画像上の大きさを検出する検出手段と、
前記所定部位の規格上の大きさと前記検出手段により検出された前記撮像画像上の大きさとを用いて、前記道路標示までの距離を算出する算出手段とを備えることを特徴とするものである。

本発明によれば、測距対象までの距離を単眼カメラによる撮像画像からでも精度良く算出できる。

本発明の一実施形態である車両用画像認識装置１の構成を示したブロック図である。 単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。 道路標示である横断歩道までの距離を算出するまでの処理例を示したフローチャートである。 図２の撮像画像２１上の横断歩道２５を説明するための図である。 撮像画像２１上でピクセル幅ａを有する横断歩道２５までの距離Ｌを示した図である。 一般道路環境下の実シーンにおける横断歩道までの距離の算出結果である。 測距対象である歩行者までの距離を算出するまでの処理例を示したフローチャートである。 距離Ｌのときの、カメラ１１の取り付け高さＨｃと縦座標Ｙｖ，Ｙｏとの関係を示した図である。 式（３）を表したグラフである。 式（４）に基づく距離補正部１６の距離補正結果の一例を示した図である。 横断歩道の白線領域の規格値Ｆのキャリブレーション例を示したフローチャートである。 単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。

以下、図面を参照しながら、本発明を実施するための形態の説明を行う。図１は、本発明の一実施形態である車両用画像認識装置１の構成を示したブロック図である。車両用画像認識装置１は、車両に搭載され、単眼カメラ１１と、道路標示抽出部１２と、大きさ検出部１３と、距離算出部１４と、立体物抽出部１５と、距離補正部１６とを備えている。各部の機能の一部又は全部は、画像認識処理を実行するプロセッサやマイクロコンピュータ等によって実現可能である。

単眼カメラ１１は、自車両周辺（例えば、自車両の進行方向）を所定の画角で撮像して、その撮像画像を出力する撮像手段である。自車両の進行方向は、前進方向でも、後進方向でもよい。単眼カメラ１１は、ＣＣＤ又はＣＭＯＳ等の撮像素子を備えている。

道路標示抽出部１２は、単眼カメラ１１による撮像画像から道路標示の所定部位を抽出する手段である。道路標示抽出部１２によって抽出される所定部位は、予め設計的に決められていて、道路標示の全体でも一部でもよい。

道路標示は、文字、記号又はそれらの組み合わせが路面上にペイント等によって標示されたものである。道路標示の大きさは、法令等で予め定められた寸法を基準としている。道路標示の具体例として、規制標示と指示標示が挙げられる。規制標示の具体例として、転回禁止マーク、最高速度マークなどが挙げられる。指示標示の具体例として、横断歩道、前方に横断歩道があることを示す菱形マーク、前方に優先道路があることを示す三角マーク、進行方向マークなどが挙げられる。

図２は、単眼カメラ１１によって得られた自車両の進行方向の撮像画像２１を示した図である。撮像画像２１には、道路標示として、自車両の前方の進路上に標示された横断歩道２５が含まれている。符号２６は、消失点（無限遠点）を表す。図２の場合、道路標示抽出部１２は、例えば、撮像画像２１から、横断歩道２５を構成する候補ラインｐ１〜ｐ４を抽出する。撮像画像２１は、左右方向のピクセル数がＷ、上下方向のピクセル数がＨの画像である。

大きさ検出部１３は、道路標示抽出部１２によって抽出された道路標示の所定部位についての単眼カメラ１１による撮像画像上の大きさ（好ましくは、横幅）を検出する手段である。大きさ検出部１３は、例えば、道路標示の所定部位を構成するピクセル数を撮像画像から取得することで、その所定部位の撮像画像上の大きさを検出できる。

距離算出部１４は、道路標示抽出部１２によって抽出された道路標示の所定部位についての規格上の予め定められた大きさと、大きさ検出部１３により実際に検出された大きさと、単眼カメラ１１の角度分解能とに基づいて、自車両からその道路標示までの距離を算出する手段である。

図３は、道路標示である横断歩道までの距離を算出するまでの処理例を示したフローチャートである。図２，４を参照しながら、本フローチャートについて説明する。

ステップＳ１０において、道路標示抽出部１２は、撮像画像２１の画素輝度分布に基づいて、画素の輝度が急変する上下方向（垂直方向）のエッジを撮像画像２１の中から抽出する。

ステップＳ２０において、道路標示抽出部１２は、ステップＳ１０で抽出したエッジを、水平方向（自車両から横断歩道を見たときの左右方向）の輝度変化パターンによって分類する。道路標示抽出部１２は、各エッジの左領域及び右領域の画素輝度分布に基づいて、左領域が右領域よりも暗い場合には「立ち上がりエッジ」と判定し、左領域が右領域よりも明るい場合には「立ち下がりエッジ」と判定する。

ステップＳ３０において、道路標示抽出部１２は、撮像画像２１を水平方向にサーチして、ステップＳ２０で分類したエッジが所定回数以上交互に繰り返し出現するラインを、横断歩道２５を構成する候補ラインとしてグルーピングする。そして、道路標示抽出部１２は、撮像画像２１を垂直方向にサーチして、グルーピングされた各候補ラインの隣接関係、及び候補ラインを構成するエッジの接続関係によって、各候補ラインをグルーピングして横断歩道領域を抽出する。

例えば、道路標示抽出部１２は、互いに隣り合う立ち上がりエッジと立ち下がりエッジを１ペアとして、所定数以上のペア（例えば、３ペア以上）が存在し、且つ、それらの所定数以上のペアについて各ペアを構成する２つのエッジ間の水平方向（左右方向）の距離（例えば図４の場合、距離ｂ１，ｂ２，ｂ３）がそれぞれ所定の範囲内にあるとき、それらの各ペアを、横断歩道２５を構成する候補ラインとして抽出し、それらの抽出された複数の候補ラインを横断歩道領域としてグルーピングする。

ステップＳ４０において、大きさ検出部１３は、横断歩道領域の左右方向のピクセル数（幅）を検出し、距離算出部１４は、その検出された左右方向のピクセル数を用いて、自車両の単眼カメラ１１から横断歩道２５までの距離を算出する。

図４は、図２の撮像画像２１上の横断歩道２５を説明するための図である。道路標示抽出部１２によって横断歩道領域として抽出されたペアの中で、大きさ検出部１３は、例えば、最も左側のペアの立ち上がりエッジｐ１ａから、左から３番目のペアの立ち下がりエッジｐ３ｂまでの距離に相当する３ペア分のピクセル幅ａを検出する。横断歩道２５の規格上のその３ペア分の両端間の幅長（すなわち、ピクセル幅ａの部分に対応する部位の規格上求められる値）をＡとし、単眼カメラ１１の左右方向の角度分解能をＰとし、自車両から横断歩道２５までの距離をＬとすると、図５から明らかなように、
Ｌ＝Ａ／tan（ａ×Ｐ） ・・・（１）
という関係式が成り立つ。ここで、角度分解能Ｐは、単眼カメラ１１の左右方向の画角をα［度］、単眼カメラ１１によって得られる撮像画像２１の左右方向のピクセル数をＷ［pix.］とすると、「Ｐ＝α／Ｗ［度／pix.］」によって表すことが可能な固定値である。つまり、距離算出部１４は、式（１）に基づいて、横断歩道２５までの距離Ｌを算出することができる。

もちろん、横断歩道領域として抽出されたペアのエッジであれば、どのエッジ間のピクセル幅を検出してもよく、その検出されたピクセル幅をａとした場合、ピクセル幅ａの部分に対応する部位の規格値が固定値Ａに相当する。

したがって、車両用画像認識装置１は、上記構成の、単眼カメラ１１、道路標示抽出部１２、大きさ検出部１３及び距離算出部１４を備えていることにより、横断歩道等の道路標示の所定部位の規格上の大きさを加味して、道路標示までの距離を算出しているので、道路標示が自車両から遠方に存在する状況であっても、道路標示までの距離を単眼カメラによる撮像画像から精度良く算出できる。

図６は、一般道路環境下の実シーンにおける横断歩道までの距離の算出結果であって、（ａ）は、本発明の実施例を示し、（ｂ）は、測距点の画像上の上下方向の位置を表す縦座標とその測距点までの距離との対応関係に基づいて、画像上の横断歩道領域の最下端の縦座標から横断歩道までの距離を算出する従来技術の場合の比較例を示している。図６から明らかなように、本発明の実施例の方が、上下方向の位置を表す縦座標を基準に距離を算出する従来技術に比べて、自車両のピッチ変動や道路勾配変化などの外乱の影響を受けにくいため、横断歩道までの距離の真値に対してずれが小さく、精度良く距離を算出できることがわかる。

ところで、道路標示の所定部位の大きさの規格値には、ある程度の許容公差が認められている。例えば、横断歩道の一つの白線領域（すなわち、ある一つのペアの立ち上がりエッジと立ち下がりエッジとに挟まれた高輝度領域）の規格値は４５ｃｍ〜５０ｃｍであり、地域等によってその規格の範囲内で採用している値に差があるのが現状である。

このような差を吸収するため、道路標示の所定部位が撮像画像上の上下方向で所定の位置にあるときの当該所定部位の撮像画像上の大きさ（例えば、左右方向の長さ）を用いて、その所定部位の大きさの規格値をキャリブレーションした値（キャリブレーション値）を算出する。このようなキャリブレーション値を次回以降の距離算出に用いることによって、その算出精度を向上させることができる。例えば、画像上で所定の位置にあるときの横断歩道の白線領域を構成するピクセル幅ｆを用いて、その白線領域の大きさの規格値Ｆについてのキャリブレーション値Ｆ１を算出し、次回以降の距離算出に用いる。

図１１は、横断歩道の白線領域の大きさの規格値Ｆのキャリブレーション例を示したフローチャートである。図１２のように、抽出された横断歩道領域（一点鎖線で囲まれた領域）の画像上の最下端の位置がＹａ（撮像画像２１の最下位又はそれよりわずかに上側の位置の縦座標）の位置にあるときに（ステップＳ５０）、大きさ検出部１３は、白線領域を構成するピクセル幅ｆを検出する（ステップＳ６０）。自車両が横断歩道に近づくほど、規格値Ｆが最大値のときに検出されるピクセル幅ｆと規格値Ｆが最小値のときに検出されるピクセル幅ｆとの差分（ピクセル数の差）は大きくなり、また、道路勾配の影響を受けにくくなる。そこで、Ｙａの位置での白線領域のピクセル幅ｆを用いてキャリブレーションを行うことによって、そのキャリブレーションの効果を高めることができ、ひいては距離精度を高めることができる。

白線領域を構成するピクセル幅ｆを検出するには、具体的には、道路標示抽出部１２によって抽出された一つのペアの立ち上がりエッジと立ち下がりエッジのピクセル数を計測すればよい。Ｙａの位置での白線領域のピクセル幅をｆ，単眼カメラ１１の路面からの取り付け高さをＨｃ，消失点２６のＹ座標をＹｖ，単眼カメラ１１の左右方向の角度分解能をＰとし、単眼カメラ１１の上下方向の角度分解能をＱとし、白線領域の左右方向の規格値Ｆのキャリブレーション値をＦ１とすると、
Ｆ１＝Ｈｃ×tan（ｆ×Ｐ）／tan（（Ｙａ−Ｙｖ）×Ｑ） ・・・（２）
という関係式が成り立つ。ここで、角度分解能Ｑは、上述の角度分解能Ｐと同様に考えることができる。すなわち、角度分解能Ｑは、単眼カメラ１１の上下方向の画角をβ［度］、単眼カメラ１１によって得られる撮像画像の上下方向のピクセル数をＨ［pix.］とすると、「Ｑ＝β／Ｈ［度／pix.］」によって表すことが可能な固定値である。つまり、距離算出部１４は、式（２）に基づいて、白線領域の規格値Ｆのキャリブレーション値Ｆ１を算出することができる。

距離算出部１４は、白線領域の大きさの規格値としてメモリに記憶されている値を、上述のように算出されたキャリブレーション値Ｆ１に、更新する（ステップＳ７０）。過去の複数のキャリブレーション値Ｆ１の履歴に基づいて平均された値に、白線領域の規格値を更新してもよい。距離算出部１４は、キャリブレーション値Ｆ１に基づいて算出された幅長Ａを式（１）に代入することによって、横断歩道２５までの距離Ｌを正確に算出できる。

ところで、図１に示されるように、本発明の好適な実施形態として、車両用画像認識装置１は、測距対象（立体物）までの距離を計測する計測手段として、立体物抽出部１５及び距離補正部１６を更に備えていてもよい。

立体物抽出部１５は、自車両の進行方面に存在する道路標示近辺（例えば、道路標示が標示された道路上又はその道路脇）に存在する立体物を、単眼カメラ１１によって得られた撮像画像から、テンプレートマッチング等のパターン認識により抽出する手段である。この立体物の具体例として、歩行者、先行車両・駐車車両などの他車両、自車両と衝突するおそれのある障害物（歩行者等を含む）などが挙げられる。

立体物抽出部１５は、抽出された立体物の撮像画像上の縦方向位置を表す縦座標を実測する。立体物抽出部１５は、例えば、図２に示されるように、歩行者２２の最下位の撮像画像２１上の縦座標Ｙｐを実測する。

距離補正部１６は、立体物までの距離を計測する後述の方法とは別の方法で距離が測定された道路標示によって、立体物までの距離の補正をして、その補正値を算出するものである。この別の方法とは、例えば、距離算出部１４で実行される上述の距離算出方法である。

図７は、測距対象である歩行者までの距離を算出するまでの処理例を示したフローチャートである。図２，８〜１０を参照しながら、本フローチャートについて説明する。

ステップＳ８０の横断歩道２５の領域検出と、ステップＳ９０の横断歩道２５までの距離Ｌの算出は、上記同様である。

ステップＳ１００において、道路標示抽出部１２は、距離算出部１４によって上記の式（１）に基づいて算出された距離Ｌに対応する撮像画像２１上での縦方向位置を表す縦座標Ｙｏを算出する。単眼カメラ１１の路面からの取り付け高さをＨｃ，消失点２６のＹ座標をＹｖ，単眼カメラ１１の左右方向の角度分解能をＰとし、単眼カメラ１１の上下方向の角度分解能をＱとすると、図８から明らかなように、
Ｙｏ＝Ｙｖ＋（tan^-1（Ｈｃ／Ｌ））／Ｑ ・・・（３）
という関係式が成立する。ここで、角度分解能Ｑは、上述の角度分解能Ｐと同様に考えることができる。すなわち、角度分解能Ｑは、単眼カメラ１１の上下方向の画角をβ［度］、単眼カメラ１１によって得られる撮像画像の上下方向のピクセル数をＨ［pix.］とすると、「Ｑ＝β／Ｈ［度／pix.］」によって表すことが可能な固定値である。つまり、道路標示抽出部１２は、式（３）に基づいて、縦座標Ｙｏを算出することができる。

図９は、式（３）を表したグラフである（Ｑ＝０．０２７，Ｙｖ＝２４０，Ｈｃ＝１．２８）。例えば、距離算出部１４によって算出された横断歩道２５までの距離Ｌが４０ｍであるときの縦座標Ｙｏは３０８ピクセルとなる。

ステップＳ１１０において、道路標示抽出部１２は、横断歩道２５の撮像画像２１上での上下動に基づいて、自車両のピッチ変動量を算出する。すなわち、道路標示抽出部１２は、まず、抽出された横断歩道２５の撮像画像２１上の縦方向位置を表す縦座標を実測する。道路標示抽出部１２は、例えば、図２に示されるように、横断歩道２５の最下端の撮像画像２１上の縦座標Ｙｃを実測する。そして、道路標示抽出部１２は、縦座標Ｙｏと縦座標Ｙｃとの差分ΔＹを算出する。この差分ΔＹが、自車両のピッチ変動量に相当する。実測された縦座標Ｙｃが例えば２８０ピクセルであれば、縦座標Ｙｏが３０８ピクセルのとき、差分ΔＹは「３０８−２８０＝＋２８」ピクセルとなる。

ステップＳ１２０において、距離補正部１６は、歩行者２２までの距離を算出する。すなわち、距離補正部１６は、立体物抽出部１５によって実測された歩行者２２の最下端の撮像画像２１上の縦座標Ｙｐに差分ΔＹを加算した座標を用いて、自車両から歩行者２２までの距離Ｄｐを算出する。距離Ｄｐの算出式を得るためには、式（３）の逆関数を考えればよいので、
Ｄｐ＝Ｈｃ／（tan（Ｙｐ＋ΔＹ−Ｙｖ）×Ｑ） ・・・（４）
という算出式が成立する。

図１０は、式（４）に基づく距離補正部１６の距離補正結果の一例を示した図である。立体物抽出部１５によって実測された歩行者２２の最下端の撮像画像２１上の縦座標Ｙｐを補正せずに、縦座標Ｙｐと被写体までの距離との予め定められた対応関係に基づいて歩行者２２までの距離を算出した場合、車両のピッチ変動等の影響を強く受けることにより、縦座標Ｙｐの実測値が２５２ピクセルのとき、歩行者２２までの距離は２２６ｍになる。これに対して、式（４）に基づいて算出した場合、歩行者２２までの距離Ｄｐは６８ｍになり、歩行者２２までの距離を精度良く算出できる。

なお、ピッチ変動量Ｄは、
Ｄ＝Ｑ×ΔＹ ・・・（５）
によって近似的に求めることができる。この場合、Ｄが正の値のとき、自車両が上向きにピッチ変動していることを示し、Ｄが負の値のとき、自車両が下向きにピッチ変動していることを示す。

したがって、車両用画像認識装置１は、上記構成の、立体物抽出部１５及び距離補正部１６を備えていることにより、横断歩道等の道路標示の所定部位の規格上の大きさを加味して、歩行者等の立体物までの距離を算出しているので、立体物が自車両から遠方に存在する状況であっても、立体物までの距離を単眼カメラによる撮像画像から精度良く算出できる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施形態では、測距対象（立体物）までの距離を計測する計測手段として、立体物抽出部１５及び距離補正部１６を挙げた。しかしながら、立体物までの距離を計測する方法は複数存在し、本発明は、その距離計測の具体的方法を特に限定しなくてもよい。

具体的には、上述の実施形態では、単眼カメラ１１の撮像画像から立体物までの距離を計測する計測手段の例を示したが、例えばステレオカメラ又はレーザーレーダーを用いて立体物までの距離を計測する計測手段でもよい。

レーザーレーダーは、横方向（車幅方向）及び縦方向（高さ方向）をスキャン可能なものを用いると好適である。レーザーレーダーの具体例として、ミリ波レーダーが挙げられる。レーザーレーダーから照射された電波が立体物上の各点で反射することにより、各反射点までの距離が測定される。同一距離として探知された測距点の集まりが、自車両の進行方面に存在する立体物として、その立体物までの距離が測定される。

１ 車両用画像認識装置
１１ 単眼カメラ
１２ 道路標示抽出部
１３ 大きさ検出部
１４ 距離算出部
１５ 立体物抽出部
１６ 距離補正部
２１ 撮像画像
２２ 歩行者
２５ 横断歩道
２６ 消失点（無限遠点）
ｐ１〜ｐ４ 候補ライン

Claims (6)

1. 単眼カメラと、
   前記単眼カメラによる撮像画像から道路標示の所定部位を抽出する抽出手段と、
   前記所定部位の前記撮像画像上の大きさを検出する検出手段と、
   前記所定部位の規格上の大きさと前記検出手段により検出された前記撮像画像上の大きさとを用いて、前記道路標示までの距離を算出する算出手段とを備える、車両用画像認識装置。
2. 前記所定部位の規格上の大きさと前記検出手段により検出された前記撮像画像上の大きさが、自車両から前記道路標示を見たときの左右方向の長さである、請求項１に記載の車両用画像認識装置。
3. 前記所定部位の規格上の左右方向の長さをＡ，前記検出手段により検出された前記撮像画像上の左右方向の長さをａ，前記単眼カメラの角度分解能をＰ，前記道路標示までの距離をＬとすると、
   前記算出手段は、
   Ｌ＝Ａ／tan（ａ×Ｐ）
   に基づいて、前記道路標示までの距離を算出する、請求項２に記載の車両用画像認識装置。
4. 前記道路標示近辺の立体物までの距離を計測する計測手段を備え、
   前記計測手段は、
   前記算出手段によって算出された前記道路標示までの距離によって、前記立体物までの距離の補正をする、請求項１から３のいずれか一項に記載の車両用画像認識装置。
5. 前記立体物までの距離は、前記撮像画像に基づいて計測されたものである、請求項４に記載の車両用画像認識装置。
6. 前記道路標示は、横断歩道又は菱形マークである、請求項１から５のいずれか一項に記載の車両用画像認識装置。

Images