JP2010256995A

JP2010256995A - 物体認識装置

Info

Publication number: JP2010256995A
Application number: JP2009103294A
Authority: JP
Inventors: Shiho Tanaka; 志歩田中
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2009-04-21
Filing date: 2009-04-21
Publication date: 2010-11-11

Abstract

【課題】自車の走行中に、カメラの撮影画像を射影変換して得られる時間が前後する２枚の俯瞰画像から、路面に垂直な車両等の物体（立体物）を精度よく認識し、前記物体の自車側の先端を正確に検出できるようにする。
【解決手段】撮影位置補正手段４１によりカメラ３の時間が前後する認識方向の２枚の撮影画像の撮影位置を合わせ、射影変換手段４２により両撮影画像を俯瞰画像に変換し、差分画像生成手段４３により両俯瞰画像の画素濃度差の差分画像を形成する。また、ヒストグラム生成手段４４により差分画像の横方向に加算したヒストグラムを生成し、候補領域検出手段４５により、ヒストグラムの閾値以上の部分をクラスタリング処理して路面標示や立体物の部分を物体候補領域として検出し、認識処理部５により物体候補領域の位置の時間変化の観測から立体物の物体候補領を特定して認識し、その自車側先端を検出する。
【選択図】図１

Description

この発明は、撮影画像を処理して走行中の自車の後方または前方の路面に垂直な物体（立体物）を認識する物体認識装置に関する。

近年、車両の予防安全技術の分野においては、さまざまな運転支援システムが提案されている。そして、追突被害を軽減するプリクラッシュセーフティシステムもその一つである。

前記プリクラッシュセーフティシステムにおいては、追突しないようにするための支援を行なうだけでなく、追突されないようにするための支援を行なうことが望まれる。この場合、走行中の自車の後方や前方の車両等の路面に垂直な物体（立体物）を、横断歩道の路面標示のような路面内の平面物と区別して認識することが重要であり、追突されないようにするには、とくに後方の前記立体物である車両を正確に認識して自車との距離等を精度よく監視することが望まれる。

そして、自車の後方または前方を認識方向として、自車に取付けられたカメラにより前記認識方向を撮影し、その撮影画像から前記立体物を認識する物体認識装置が提案されている。この既提案の物体認識装置は、前記カメラの時間が前後する２枚の撮影画像を射影変換（視点変換）によって上方から見た俯瞰画像（鳥瞰図画像）に変換し、画像処理により、両俯瞰画像の撮影時間のずれに基づく撮影位置のずれを補正して両俯瞰画像の位置合わせを行なう。このとき、高さのない路面内の平面物（路面標示）は位置ずれなく重なるが、高さのある車両等の立体物（障害物）は位置ずれが生じ、両俯瞰画像の画素濃度に差が生じることから、位置合わせをした両俯瞰画像の画素濃度に差がある領域（差分領域）を求め、この差分領域を前記立体物の描画領域として捉えて前記立体物を認識する（例えば、特許文献１（要約書、段落［００２９］−［００６３］、図１−図７等）参照）。

特開２００８−２１９０６３号公報

前記特許文献１に記載の従来装置の場合、両俯瞰画像の位置合わせを厳密に行なうことは容易でなく、前記差分領域に路面内の平面物が全部または部分的に含まれることがある。また、撮影画像中に種々のノイズ（外乱）が含まれる。そして、それらが位置合わせをした両俯瞰画像の画素濃度の差に含まれる。そのため、実際には前記立体物の部分のみを前記差分領域として正確に求めることは困難である。したがって、路面内の平面物やノイズを前記立体物として誤認識する可能性があり、前記立体物を精度よく認識できない問題がある。そして、前記差分領域に路面内の平面物やノイズの部分が含まれることにより、前記差分領域のどこからどこまでが立体物の部分であるかを特定することが困難であり、そのため、前記立体物の自車側の先端（車両であれば前側または後側の車両下端）の正確な検出が困難になり、前記立体物と自車との距離等を精度よく検出して監視することができない。

本発明は、自車の走行中に、カメラの撮影画像を射影変換して得られる時間が前後する２枚の俯瞰画像から、路面内の平面物（路面標示）やノイズ等を誤認識することなく、路面に垂直な車両等の物体を精度よく認識し、前記物体の自車側の先端を正確に検出できるようにすることを目的とする。

上記した目的を達成するために、本発明の物体認識装置は、自車に取付けられ、走行中の自車の後方または前方を認識方向として該認識方向を撮影するカメラと、前記カメラで撮影された時間が前後する２枚の撮影画像のいずれか一方の撮影位置を基準にして他方の撮影画像を前記基準の撮影位置で撮影した画像に補正し、前記両撮影画像の撮影位置を合わせる撮影位置補正手段と、前記撮影位置を合わせた後の前記両撮影画像をそれぞれ上方から見た俯瞰画像に射影変換する射影変換手段と、前記両俯瞰画像の画素濃度差の差分画像を生成する差分画像生成手段と、前記差分画像の走行方向に対して横方向に加算したヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラムの閾値以上の部分を撮影距離を考慮した連続性に基づいてクラスタリング処理し、前記差分画像の物体候補領域を検出する候補領域検出手段と、前記物体候補領域の位置の時間変化の観測により路面に垂直な物体を認識する認識手段とを備えたことを特徴としている（請求項１）。

請求項１の発明の場合、自車の走行中にカメラにより自車の後方または前方が認識方向が撮影され、前記カメラの時間が前後する２枚の撮影画像は、撮影位置補正手段の補正により、いずれか一方の撮影位置を基準にして位置合わせされる。さらに、位置合わせされた両撮影画像は、射影変換手段によりそれぞれ俯瞰画像に変換される。そして、差分画像生成手段により、両俯瞰画像の画素濃度差の差分画像が形成される。このようにして形成された差分画像には、高さのない路面内の平面物が消え残っていたり、ノイズの影響が含まれる。

つぎに、ヒストグラム生成手段により前記差分画像の走行方向に対して横方向に加算したヒストグラムが生成される。このとき、走行方向に対して横方向は、自車が略直線路を走行する条件下では、画像上での自車およびその前後の車両の車幅の方向であり、画像上での車線の幅方向である。そして、撮影画像の上下方向が前記走行方向、それに直交する左右方向が前記横方向であるとすると、前記差分画像は、前記立体物の少なくとも自車側の端部を検出するため、上下方向の各行の画素が左右方向に加算されて各画素濃度を前記走行方向に投影したヒストグラムに変換される。このヒストグラムにおいては、前記ノイズに基づく画素濃度の差分は小さくなる。また、車両等の立体物のエッジの差分や消え残った路面内の平面物のエッジの差分は積算されてヒストグラム上に大きなレベルで出現する。

さらに、候補領域検出手段により、前記ヒストグラムの閾値以上の部分が、自車から離れて遠くになる程接近して連続しているものとみなされ、撮影距離を考慮した連続性に基づいてクラスタリング処理される。このとき、前記閾値より小さな前記ノイズ等の画素濃度の差分は除去され、前記閾値より大きくなる路面内の平面物や路面に垂直な物体（立体物）の部分については、例えば自車の直近の路面内の平面物とそれより遠方の車両等の立体物とでは異なるクラスタとみなされ、各クラスタがそれぞれ前記差分画像の物体候補領域として検出される。

そして、路面内の平面物（路面標示）の物体候補領域は、自車の速度で位置が時間変化して遠ざかり、車両等の移動する立体物の物体候補領域は、そのほとんどが自車と異なる速度で位置が時間変化して接近したり遠ざかったりする。そのため、認識手段により、物体候補領域の位置の時間変化の観測から、前記立体物の物体候補領域が特定されて車両等の立体物が確実に認識され、自車の後方または前方の車両等の立体物と路面標示のような路面内の平面物とを精度よく区別できる。さらに、特定された前記立体物の物体候補領域の自車側先端が、前記クラスタリング処理により前記立体物の自車側先端に精度よく一致し、特定された前記立体物の物体候補領域の自車側先端から、前記立体物の自車側の先端を正確に検出して前記立体物と自車との距離等を精度よく検出して監視することができる。

本発明の一実施形態のブロック図である。図１のカメラの取付け例の説明図である。図１の時間が前後する撮影画像例の説明図である。図１の射影変換の説明図である。図１の射影変換の座標の説明図である。図１の差分画像の一例の説明図である。図１の差分画像のヒストグラムの一例の説明図である。図１のクラスタリング処理結果の一例の説明図である。図１の動作説明用のフローチャートである。

つぎに、本発明をより詳細に説明するため、一実施形態について、図１〜図９を参照して詳述する。

図１は自車１に搭載された物体認識装置２のブロック構成を示し、物体認識装置２は、カメラ３、画像処理部４、認識処理部５および、書き換え自在のデータ蓄積部６を備える。

図２はカメラ３の取付け例を示す。カメラ３は撮像素子にＣＣＤセンサを用いた白黒またはカラーの単眼カメラであり、例えば自車１のバックモニタのセンサと兼用される。そして、本実施形態の場合、走行中の自車１の後方を認識方向とし、少なくとも追突の可能性の予測に必要な自車１の走行車線（自車線）およびその左右の２車線の３車線を例えば１００ｍ程度後方まで撮影するため、カメラ３は、自車１の室内の天井後部の中央に斜め下向きに取付けられ、自車１の走行中に例えば１／３０秒毎に前記３車線を含む範囲を撮影してデータ蓄積部６に送る。なお、カメラ３は自車１の室外に取付けられてもよいし、中央でなくても３車線を含む範囲を撮影するよう取付けられていればよい。

画像処理部４および認識処理部５は、マイクロコンピュータにより形成され、図１に示すように画像処理部４は本発明の撮影位置補正手段４１、射影位置変換手段４２、差分画像生成手段４３、ヒストグラム生成手段４４、候補領域検出手段４５を形成する。認識処理部５は本発明の認識手段を形成する。

データ蓄積部６は、例えばＲＡＭやフラッシュメモリ等の固体メモリ素子からなり、カメラ３の撮影画像、画像処理部４の処理画像等の画像のデータおよび、後述するヒストグラムのデータ等を書き換え自在に蓄積保持する。そして、カメラ３の撮影画像については、カメラ３が撮影する毎に最も古い撮影画像のデータが消去されて撮影された最新の撮影画像のデータが書き込まれ、一定枚数（少なくとも１枚）の最新の撮影画像がデータ蓄積部６に蓄積保持される。なお、カメラ３の撮影画像は、後段の処理を容易にして認識精度を高めるため、本実施形態においては、例えば、平滑化によってノイズが除去され、ソベル（ｓｏｂｅｌ）フィルタの空間１次微分が施されて水平、垂直のエッジ成分を含むモノトーンのエッジ画像に変換される。

つぎに、画像処理部４の各手段４１〜４５について説明する。なお、自車１は略直線路を走行しているとする。

図３はカメラ３の時刻ｔ−１、ｔの撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）を示し、両撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）において、Ｌ０は自車１の車線、Ｌ１、Ｌ２は自車走行方向に向かって車線Ｌ０の左、右の車線、αは路面に垂直な物体（立体物）としての車両、βは車両αの手前の路面内の平面物としての路面標示（横断歩道）である。なお、時刻ｔにおいては、時刻ｔ−１の撮影画像Ｉ（ｔ−１）はデータ蓄積部６から読み出され、時刻ｔの撮影画像Ｉ（ｔ）はカメラ３から得られる。

撮影位置補正手段４１は、カメラ３で撮影された時間が前後する２枚の撮影画像、例えば撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）のいずれか一方の撮影位置を基準にして他方の撮影画像を前記基準の撮影位置で撮影した画像に補正し、両撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）の撮影位置を合わせる。すなわち、撮影画像Ｉ（ｔ）の時刻ｔの撮影位置を基準とする場合は、車速センサが検出する自車速に基づき、時間ΔＴ（＝（ｔ）−（ｔ−１））の自車１の移動量（走行量）を把握し、時刻ｔ−１の撮影画像Ｉ（ｔ−１）の画素位置を、前記移動量だけ前方（接近方向）にずらした画像に補正する。このとき、補正後の画像は元の画像より拡大した画像になり、補正後の撮影画像Ｉ（ｔ）は静止している後方の路面標示βの大きさが撮影画像Ｉ（ｔ）のものと略同じになる。なお、撮影画像Ｉ（ｔ−１）の時刻ｔ−１の撮影位置を基準とする場合は、時刻ｔの撮影画像Ｉ（ｔ）の画素位置を、前記移動量だけ後方にずらした画像に補正する。この場合も、補正後の画像は元の画像より縮小した画像になり、補正後の撮影画像Ｉ（ｔ）の静止している後方の路面標示βの大きさは撮影画像Ｉ（ｔ−１）のものと略同じになる。また、実際の位置合わせの補正は、撮影画像Ｉ（ｔ）、撮影画像Ｉ（ｔ−１）のエッジ画像に施される。

図４は射影変換手段４２による視点変換（射影変換）の説明図であり、射影変換手段４２は、撮影位置補正手段４１により撮影位置を合わせた後の両撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）を、周知の射影変換の手法で視点を変換し、それぞれ上方から見た俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）に射影変換する。

図５は前記射影変換を行なうために設定する座標系の説明図である。図５において、Ｏ_Ｖを原点とした座標系Ｃ_Ｖは、車両座標系（車両１の前後方向（Ｚ_Ｖ）、横（左右）方向（Ｘ_Ｖ）、縦（高さ）方向（Ｙ_Ｖ）の三次元座標系）である。Ｏ_ＢＣを原点とした座標系Ｃ_ＢＣは、バックカメラ座標系（カメラ３の前後方向（Ｚ_ＢＣ）、横方向（Ｘ_ＢＣ）、縦方向（Ｙ_ＢＣ）の三次元座系）である。Ｏ_Ｉを原点とした座標系Ｃ_Ｉは画像座標系（カメラ３の撮影画像の横方向（Ｘ_Ｉ）、縦方向（Ｙ_Ｉ）の二次元座標系）であり、横方向（Ｘ_Ｉ）、縦方向（Ｙ_Ｉ）は横方向（Ｘ_ＢＣ）、縦方向（Ｙ_ＢＣ）に対応する。Ｏｖｃを原点とした座標系Ｃ_ＶＣは、仮想カメラで上方から路面を撮影したとする俯瞰座標系であり、前後方向（Ｚ_ＢＣ）、横方向（Ｘ_ＢＣ）、縦方向（Ｙ_ＢＣ）は車両座標系Ｃ_Ｖの上下方向、前後方向、横方向に対応する。ただし、カメラ３の取付け位置が原点Ｏ_ＢＣ、原点Ｏ_ＢＣの鉛直方向（下方）にある道路平面上の点が原点Ｏ_Ｖである。

そして、入力画像であるカメラ視点で撮影された画像座標系Ｃ_Ｉの画像（撮影画像Ｉ（ｔ−１）、Ｉ（ｔ））から上面視の画像（俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ））を得る視点変換について説明すると、この視点変換は、画像座標系Ｃ_Ｉの画像座標から対応する車両座標系Ｃ_Ｖの車両座標を推定し、その座標の点を俯瞰座標系Ｃ_ＶＣの上面視の画像平面（俯瞰画像平面）に投影して行なう。

バックカメラ視点の画像に映るすべての点は道路平面上に描かれた点であると仮定して（平面仮定）、画像座標から車両座標を計算すると、各点のＺ_Ｖの座標はつぎの数１の式(1)のようになる。

ただし、式（１）において、Ｈはカメラ３の高さ、ｆはカメラ３の焦点距離、θはカメラ３の図２に示す俯角である。式（１）を利用することで、画像座標系Ｃ_Ｉの画像座標から車両座標系Ｃ_ＶのＸ_Ｖ、Ｙ_Ｖの座標を得ることができる。

つぎに、車両座標系Ｃ_Ｖの各車両座標の点を俯瞰座標系Ｃ_ＶＣの上面視の画像平面に投影することを考える。上方から路面を見下ろす視点で設置した前記仮想カメラの車両座標系Ｃ_Ｖでの位置（原点Ｏｖｃ）を図５に示すように（０、Ｈ_ＶＣ、Ｄ_ＶＣ）とする。この場合、車両座標系Ｃ_Ｖの車両座標は、仮想カメラの位置を原点とした俯瞰座標系Ｃ_ＶＣで表せば、つぎの数２の式（２）の３式に示すようになる。

この数２の３式に基づき、車両座標を仮想カメラの俯瞰座標系Ｃ_ＶＣの座標に変換し、カメラ視点で撮影された画像座標系Ｃ_Ｉの画像から上面視の画像を得る。

なお、撮影画像Ｉ（ｔ）の時刻ｔの撮影位置を基準とする場合、時刻ｔ−１の撮影画像Ｉ（ｔ−１）については、撮影位置補正手段４１により自車速から求めたフレーム間の自車１の移動量を加える位置合わせの補正が施されるので、車両座標系Ｃ_Ｖでのフレーム間での移動量をＺとすれば、自車１が直進している条件下、位置合わせ後の車両座標Ｚ_Ｖは、つぎの数３の式（３）で表される。

このようにして、撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）につき、図４のような射影変換を行ってなって俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）に変換する。なお、図４の例は、カメラ３に映った自車１の後方３０ｍ、横方向１２ｍの範囲の撮影画像Ｉ（ｔ−１）を上面視の俯瞰画像Ｊ（ｔ−１）に変換した場合である。変換した上面視の画像中には遠方になるにしたがって濃度の存在しない画素が現れてくる。そこで、所定のＹ_ｖｃ座標における値を持たない画素に関しては、同じＹ_ｖｃ座標の最近傍画素の値で補間し、所定のＸ_ｖｃ座標における値を持たない画素に関しては、同じＸ_ｖｃ座標の自車１に近い画素の値で補間することが好ましい。

つぎに、俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）の画素濃度の差を求めると、理想的には、前記した位置合わせの補正により俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）中の路面標示（車線境界の白線等も含む）βの位置は一致して消え、車両α等の路面に垂直な立体物が残って検出できる。

そこで、差分画像生成手段４３は、俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）の画素濃度の差分を演算し、俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）の画素濃度差の絶対値の差分画像ＤＩを生成する。なお、本実施形態の場合、俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）および差分画像ＤＩもエッジ画像である。

図６は俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）のエッジ画像から得られた差分画像ＤＩの一例を示す。撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）を俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）に射影変換する前に、画像間（フレーム間）での前記した位置合わせの補正を行っているため、理想的には、静止している路面標示βは消えて立体物である車両αのみが差分画像ＤＩに現れるはずである。しかしながら、画像ノイズの影響や位置合わせの補正の誤差等に基づき、実際には、図６に示したように差分画像ＤＩには路面標示βやノイズ（図中の白い点）も現れる。そのため、差分画像ＤＩから直接に立体物である車両αを路面標示β等と区別して正確に認識することは困難である。

この問題を解決するため、本実施形態の画像処理部４はヒストグラム生成手段４４を備える。ヒストグラム生成手段４４は、追突予測の認識に重要な車両α等の立体物の自車近傍側の端部（先端）を検出するため、車線Ｌ０〜Ｌ２毎に差分画像ＤＩの走行方向に対して横方向に加算したヒストグラムを生成する。なお、差分画像ＤＩの車線Ｌ０〜Ｌ２毎の切り取りは、例えば、俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）に対して、各車線Ｌ０〜Ｌ２の座標範囲を予め設定して行なう。そして、ヒストグラム生成手段４４は切り取った各車線Ｌ０〜Ｌ２の座標範囲の領域につき、画素単位の横方向を「行」として、各行の画素レベルを加算し、俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）の行毎の差分値の和を計算し、この計算により車線Ｌ０〜Ｌ２毎に前記ヒストグラムを生成する。

図７はヒストグラム生成手段４４により生成された車線Ｌ０のヒストグラムの一例を示し、横軸はカメラ３からの距離、縦軸は前記差分値の和であり、縦軸のｒｅｆは後述する閾値である。この図７から明らかなように、後方に路面標示βを挟んで後続の車両αが存在する中央の車線Ｌ０の領域においては、消え残った路面標示βの部分と車両αの部分で前記差分値の和がともに大きくなり、ランダムに出現する前記画像ノイズ等の部分では前記差分値の和が極めて小さくなる。

候補領域検出手段４４は、車線Ｌ０〜Ｌ２毎に、ヒストグラム生成手段４４が生成したヒストグラムの設定した閾値ｒｅｆ以上になる路面標示βや車両αの前記差分値の和の部分を抽出し、撮影距離を考慮した連続性に基づいて、抽出した部分をクラスタリング処理し、図７に枠線で囲んだ差分画像ＤＩの各物体候補領域Ｋを検出する。

すなわち、ヒストグラムの閾値ｒｅｆを超える部分は、路面標示βや車両αに対応して群（固まり）として発生するが、その際、射影変換手段４２の変換における補間処理によってエッジが重なって差分が小さくなる等の影響により、図７からも明らかなように、遠方の撮影対象になる程、ヒストグラムの起伏が激しくなって車両α等の立体物の領域であるにも関わらず、閾値ｒｅｆを下回って細かく断続するようになる。そこで、候補領域検出手段４４は、各車線Ｌ０〜Ｌ２の閾値ｒｅｆ以上の部分につき、射影変換手段４２の前記補間処理により補間した行をクラスタリングの対象から除外したり、撮影距離が長くなるにしたがって連続していると判断する基準の間隔を長くしたりして、過剰な分離を防止してクラスタリング処理し、図７に示したようにヒストグラムの撮影距離が長くなる断続部分については連続している一群とみなしてクラスタリング処理し、路面標示βや車両α等の路面に垂直な各物体の物体候補領域Ｋを確実に精度よく検出する。

そして、各物体候補領域Ｋの車両座標で横方向の大きさ（幅）は、自車１から車両α、道路標示β等までの距離によって変化するため、検出しないこととし、検出した各物体候補領域Ｋの位置を、それぞれのクラスタ端の位置の点や線分で把握する。

図８はクラスタリング処理の結果を示し、（ａ）は車両α、道路標示βの物体候補領域Ｋ位置として、それらの自車側のクラスタ端を差分画像ＤＩに直線Ｌα、Ｌβで示したものであり、（ｂ）は直線Ｌα、Ｌβを撮影画像Ｉ（ｔ−１）に示したものである。そして、図８からも明らかなように、各物体候補領域Ｋを求めることにより、車両αの自車側先端の下端位置
、路面標示βの自車側の先端位置を精度よく検出して把握できることが確かめられた。

つぎに、各物体候補領域Ｋから路面に垂直な物体、例えば車両αを、路面標示βを誤認識することなく正確に認識するため、認識処理部５は各物体候補領域Ｋの位置の時間変化の観測（追跡）により路面に垂直な物体、例えば車両αを認識する。

すなわち、自車１の走行中にカメラ３の撮影をくり返して画像処理部４により各候補領域Ｋをくり返し検出すことにより、認識処理部５は、候補領域検出手段４５が検出した各候補領域Ｋまたは、それらのクラスタ端の前記直線Ｌα、Ｌβ等の位置（座標）データを、例えば＃１、＃２、…のラベルを付してデータ蓄積部６に蓄積保存する。

さらに、認識処理部５は、例えば１／３０秒毎のカメラ３の撮影により、最新の各候補領域Ｋが新たに検出される毎に、検出された最新の各候補領域Ｋに付された領域識別のラベル＃１、＃２、…と、データ蓄積部６に蓄積保存された前回の各候補領域Ｋのラベル＃１、＃２、…とから、同じラベルが付された物体候補領域Ｋは同じ領域であるとして、各候補領域Ｋの移動軌跡を観測する。なお、ラベル＃１、＃２、…の割当は、例えば、今回の撮影で得られた各候補領域Ｋに対して、自車速等で定まる同一候補領域の一定距離範囲を設定し、その範囲内の前回撮影で得られた最近隣の物体候補領域Ｋに付されたラベル＃１、＃２、＃３…と同じラベルを割当てて行なわれる。このようにすることで、前回の処理で検出された各物体候補領域Ｋのクラスタの最近傍に存在する今回検出された各物体候補領域Ｋのクラスタを、同一物の物体候補領域Ｋのクラスタとみなして各物体候補領域Ｋの移動軌跡を正確に観測することができる。

そして、静止している路面標示βの物体候補領域Ｋは自車１の走行速度で素早く自車１から遠ざかり、後続の車両αの物体候補領域Ｋは自車１と車両αとの車速の差に基づき、ほとんどの場合、自車１からしだいに離れていくか、自車１に追従するか、しだいに接近するか、のいずれかになる。

そこで、認識処理部５は、少なくとも自車速で遠さかる物体候補領域Ｋを除外することで、車両α等の路面に垂直な立体物を正確に認識する。さらに、本実施形態の場合は、衝突の可能性がある車両等を予測するため、認識処理部５により、自車１から遠ざかる物体候補領域Ｋは除外し、さらに、車両の可能性が高い自車１に追従する物体候補領域Ｋ、自車１に接近する物体候補領域Ｋにつき、最も自車１に近いものを後続の車両αの物体候補領域Ｋであると認識する。さらに、認識の結果等を図示省略した衝突予測処理装置に送り、この衝突予測処理装置により後続の車両αの挙動（速度、進路等）を予測して追突の可能性を予測する。このとき、後続の車両αの自車側先端の下端が線分Ｌαによって正確に検出されるため、自車１と車両αの距離等の変化を正確に把握して追突の可能性を精度よく予測できる。

なお、認識処理部５は、車線Ｌ０の両隣の車線Ｌ１、Ｌ２についても、前記と同様にして、路面に垂直な立体物を正確に認識し、さらには、最も自車１に近い物体候補領域Ｋを両隣の車線Ｌ１、Ｌ２の追突される可能性がある車両の物体候補領域Ｋであると認識し、それらの認識の結果も前記衝突予測処理装置に送って衝突の可能性を予測する。

図９は上記のカメラ３の撮影から認識処理部５の認識に至る図１の各部の処理手順の一例を示し、自車１の走行中に、ステップＳ１によりカメラ３が撮影すると、ステップＳ２により撮影位置補正手段４１が撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）のエッジ画像に対して撮影の位置合わせの補正を行なう。つぎに、ステップＳ３により射影変換手段４２が図４のように撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）のエッジ画像を俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）に射影変換する。さらに、ステップＳ４により差分画像生成手段４３が俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）の画素濃度差の図６のような差分画像ＤＩを生成する。つぎに、ステップＳ５によりヒストグラム生成手段４４が差分画像ＤＩを自車１の走行方向に対して横方向に加算した図７のようなヒストグラムを生成し、ステップＳ６により候補領域検出手段４５が図７の各物体候補領域Ｋを検出する、その後、ステップＳ７により認識処理部５が各物体候補領域Ｋの位置の時間変化を観測して車両αのような路面に垂直な立体物を認識する。

したがって、本実施形態の場合、自車１の走行中に、カメラ３の撮影画像を射影変換して得られる時間が前後する２枚の俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）から、路面内の平面物（路面標示β）やノイズ等を誤認識することなく、自車１の後方の路面に垂直な後続の車両α等の立体物を精度よく認識し、立体物の自車側の先端を正確に検出することができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、認識方向は自車１の前方であってもよく、この場合は、カメラ３を自車１の室内の天井前部の中央に斜め下向きに取付けることにより、前記実施形態と同様にして自車１の前方の路面に垂直な先行の車両等の立体物を精度よく認識し、立体物の自車側の先端（後端）を正確に検出することができる。この場合、カメラ３はプリクラッシュセンサとして車両１に搭載されるカメラと共用することができる。なお、カメラ３を自車１の前、後に取付け、認識方向を前方、後方の両方とすることも可能である。

つきに、射影変換手段４１の射影変換の方法や、その他の手段４２〜４５の修理方法および、認識処理部５の認識手法等は、前記実施形態と異なっていてもよいのは勿論である。

また、前記実施形態においては、撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）をエッジ画像に変換したが、射影変換後の俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）をエッジ画像に変換してもよく、場合によっては、撮影画像Ｉ（ｔ−１）、Ｉ（ｔ）や俯瞰画像Ｊ（ｔ−１）、Ｊ（ｔ）のエッジ画像への変換を省いてもよい。

さらに、前記立体物を認識する車線は、車線Ｌ０のみであってもよく、車線Ｌ０を含む２車線または、４車線以上の多車線であってもよい。

そして、本発明は、種々の車両のプリクラッシュセーフティシステム等の路面に垂直な立体物の認識に適用することができる。

１自車
２物体認識装置
３カメラ
４画像処理部
５認識処理部
４１撮影位置補正手段
４２射影変換手段
４３差分画像生成手段
４４ヒストグラム生成手段
４５候補領域検出手段
Ｉ（ｔ−１）、Ｉ（ｔ）撮影画像
Ｊ（ｔ−１）俯瞰画像
ＤＩ差分画像
α 車両
β 路面標示

Claims

自車に取付けられ、走行中の自車の後方または前方を認識方向として該認識方向を撮影するカメラと、
前記カメラで撮影された時間が前後する２枚の撮影画像のいずれか一方の撮影位置を基準にして他方の撮影画像を前記基準の撮影位置で撮影した画像に補正し、前記両撮影画像の撮影位置を合わせる撮影位置補正手段と、
前記撮影位置を合わせた後の前記両撮影画像をそれぞれ上方から見た俯瞰画像に射影変換する射影変換手段と、
前記両俯瞰画像の画素濃度差の差分画像を生成する差分画像生成手段と、
前記差分画像の走行方向に対して横方向に加算したヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラムの閾値以上の部分を撮影距離を考慮した連続性に基づいてクラスタリング処理し、前記差分画像の物体候補領域を検出する候補領域検出手段と、
前記物体候補領域の位置の時間変化の観測により路面に垂直な物体を認識する認識手段とを備えたことを特徴とする物体認識装置。