JP7601201B2 - 物体検出方法及び物体検出装置 - Google Patents

Description

本発明は、物体検出方法及び物体検出装置に関する。

従来から、分解能が低いセンサを用いた場合において、検出された物体が浮遊物であるか否かを判断することができる物体検出装置が知られている（特許文献１参照）。特許文献１に記載された物体検出装置は、センサが検出した物体の単位時間あたりのサイズの変化率を算出し、当該サイズの変化率が所定の閾値を超えた場合に検出された物体が浮遊物であると判定する。

特開２０１４－９３０２８号公報

しかしながら、特許文献１に記載された物体検出装置は、風が無く浮遊物が滞留しやすい環境では、検出した物体（浮遊物）の単位時間あたりのサイズの変化率が所定の閾値を超えず、検出した物体を浮遊物と判定できない場合がある。

本発明は、上記課題に鑑みて成されたものであり、その目的は、検出した物体が浮遊物であるか否かをより精度良く判定することができる物体検出方法を提供することである。

本発明の一態様に係わる物体検出方法は、自車両前方に電磁波を照射し、電磁波の反射波に基づいて自車両前方の物体を検出する。自車両前方を撮像して画像を取得し、物体が検出されていない状態から、物体が検出された状態へ変化した場合、取得した画像に基づいて物体が浮遊物であるか否かを判断する。

本発明の一態様によれば、検出した物体が浮遊物であるか否かをより精度良く判定することができる。

図１は、第１実施形態に係る物体検出装置の構成を示すブロック図である。 図２は、第１実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図３は、第１実施形態の第１変形例に係る物体検出装置の構成を示すブロック図である。 図４は、第１実施形態の第１変形例に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図５は、第１実施形態の第１変形例に係る物体検出装置が物体を浮遊物と判定する処理を示す概念図である。 図６は、第１実施形態の第１変形例に係る物体検出装置が物体を浮遊物でないと判定する処理を示す概念図である。 図７は、第１実施形態の第２変形例に係る物体検出装置の構成を示すブロック図である。 図８は、第１実施形態の第２変形例に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図９は、第２実施形態に係る物体検出装置の構成を示すブロック図である。 図１０Ａは、第２実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図１０Ｂは、第２実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図１１は、第３実施形態に係る物体検出装置の構成を示すブロック図である。 図１２Ａは、第３実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図１２Ｂは、第３実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。 図１２Ｃは、第３実施形態に係る物体検出装置が、物体が浮遊物であるか否かを判断する処理を示すフローチャートである。

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

（第１実施形態）
［物体検出装置の構成］
図１を参照して、第１実施形態に係る物体検出装置の構成を説明する。物体検出装置は、自車両前方の物体を検出し、当該物体が浮遊物であるか否かを判断する装置である。物体検出装置は、レーダ１０、カメラ２０、制御部３０、記憶部４０を備えている。

レーダ１０は、自車両前方のフロントバンパ又はフロントグリル内に搭載される。レーダ１０は、自車両前方に電磁波を照射し、照射した電磁波の反射波に基づいて自車両前方の物体を検出するセンサである。レーダ１０は、物体を検出すると同時に、物体の位置情報である物体の方位、自車両から物体までの距離を測定し、自車両の位置を基準とする物体の位置座標を算出する。さらに、レーダ１０は、これらの情報に加え、物体の速度を測定する。なお、本実施形態では、物体を検出する手段としてレーダを例示するが、ライダ（ＬｉＤＥＲ）を利用して自車両前方の物体を検出してもよい。

カメラ２０は、自車両の車室内前方に搭載される。カメラ２０は、自車両前方を所定の周期で繰り返し撮像して自車両前方の複数の画像を取得する。具体的には、カメラ２０は、被写体からの光線をレンズによって撮像素子の受光平面に結像させ、結像した被写体像の光の明暗に基づいて生成された光学画像を取得する。光学画像は、可視光域、赤外線領域、又は紫外線領域の光により生成される画像である。カメラ２０は、物体が検出されていない状態から物体が検出された状態へ変化するまで、自車両前方を繰り返し撮像して複数の画像を取得する。

制御部３０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、制御部３０として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは、制御部３０が備える複数の情報処理回路として機能する。なお、本実施形態では、ソフトウェアによって制御部３０が備える複数の情報処理回路を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路を構成することも可能である。また、複数の情報処理回路を個別のハードウェアにより構成してもよい。

記憶部４０は、ＨＤＤ（ハードディスクドライブ）及びＳＳＤ（ソリッドステートドライブ）を含む情報記憶装置で構成される。記憶部４０は、カメラ２０によって撮像された自車両前方の複数の画像を時系列に記憶する。記憶部４０は、少なくとも、物体が検出されていない時に撮像された画像を、物体が検出されていない状態から物体が検出された状態へ変化するまで記憶する。すなわち、物体が検出されていない状態から物体が検出された状態へ変化した場合には、物体が検出された状態へ変化した時の第２の画像（以下、第２の光学画像とも記載する）と、一周期あるいは数周期前の物体が検出されていない状態の時の第１の画像（以下、第１の光学画像とも記載する）とを記憶する。

なお、記憶部４０は所定の周期で撮像される画像を過去複数回分記憶しておき、記憶した複数の画像のうち、物体が検出されていない状態から物体が検出された状態へ変化した時の画像を第２の光学画像として特定する。そして、記憶部４０は、一周期あるいは数周期前の物体が検出されていない状態の時の画像を第１の光学画像として特定する事により、第１の光学画像と第２の光学画像以外の画像を含めた２枚以上の複数の画像を記憶しても良い。本実施形態では、記憶部４０が、カメラ２０によって撮像された画像を記憶するが、制御部３０が備えるメモリがこれらデータを記憶できる場合、制御部３０が備えるメモリがこれらのデータを記憶してもよい。

制御部３０及び記憶部４０は、自車両に搭載される。なお、制御部３０及び記憶部４０は、１つの制御コントローラとして車両に搭載されていてもよい。

ここで、制御部３０が備える複数の情報処理回路について具体的に説明する。

制御部３０は、浮遊物判定部３１備えている。浮遊物判定部３１は、レーダ１０が検出した物体が浮遊物であるか否かをカメラ２０が撮像した光学画像に基づいて判定する。浮遊物とは、排気ガス、水しぶき、砂埃などの空気中に浮遊する物体のことである。すなわち、浮遊物は、浮遊する微小な粒子の集合体のことである。

浮遊物判定部３１は、判定範囲決定部３１１、差分算出部３１２、差分判定部３１３で構成される。

判定範囲決定部３１１は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体が検出されている時に撮像された画像である第２の光学画像をカメラ２０から取得し、物体が浮遊物であるか否かを判断する画像の範囲を決定する。以下にて、判定範囲決定部３１１が実行する処理について具体的に説明する。

先ず、判定範囲決定部３１１は、レーダ１０から出力される情報に基づいて、物体が検出されていない状態から物体が検出された状態へ変化したことを検出する。レーダ１０から出力される情報とは、例えば、物体が検出された状態であるか否かを示すためのフラグである。レーダ１０が、物体が検出されていない状態の時に物体の位置情報である物体の方位、自車両から物体までの距離などの値を無効な値（制御に使用してはいけない値）として出力する場合、判定範囲決定部３１１はこれらの値を使用してもよい。判定範囲決定部３１１は、レーダ１０から出力されるフラグ又は物体の位置情報の値の変化を検出することで、物体が検出されていない状態から物体が検出された状態へ変化したことを検出することができる。

次に、判定範囲決定部３１１は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体が検出されている時に撮像された第２の光学画像をカメラ２０から取得する。判定範囲決定部３１１は、レーダ１０から物体の位置情報を取得し、第２の光学画像からレーダ１０によって検出された物体の位置に対応する画素領域を選択する。レーダ１０とカメラ２０は、自車両に搭載され、且つ、自車両前方を検出範囲又は撮像範囲としている。よって、レーダ１０が出力する物体の位置座標とカメラ２０が取得する画像の画素位置は、予め同期されている。そのため、判定範囲決定部３１１は、レーダ１０によって検出された物体の位置に対応する画像の画素位置を選択することができる。判定範囲決定部３１１は、物体の位置に対応する第２の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。

差分算出部３１２は、物体が検出されていない時に撮像された第１の光学画像と物体が検出されている時に撮像された第２の光学画像との差分を算出する。具体的には、差分算出部３１２は、記憶部４０から物体が検出されていない時に撮像された第１の光学画像を取得し、判定範囲決定部３１１から第２の光学画像及び物体が浮遊物であるか否かを判断する画像の範囲である物体の位置に対応する画素領域を取得する。そして、差分算出部３１２は、物体が浮遊物であるか否かを判断する画像の画素領域において、同画素位置における第１の光学画像と第２の光学画像との明度、彩度、色相の少なくとも一つ以上の差分を算出する。例えば、カメラ２０が取得する画像が、グレースケール画像である場合、差分算出部３１２は明度の差分を算出する。また、カメラ２０が取得する画像がカラー画像である場合、明度、彩度、色相の全ての差分を算出してもよい。

差分判定部３１３は、差分算出部３１２によって算出された第１の光学画像と第２の光学画像との差分がしきい差分未満であるか否かを判断する。排気ガス、水しぶき、砂埃などの浮遊物（浮遊する微小な粒子の集合体としての浮遊物）を検出した際の第１の光学画像と第２の光学画像との差分は、人間、構造物などの車両の障害物となる物体を検出した際の差分よりも小さい。そのため、差分判定部３１３は、第１の光学画像と第２の光学画像との差分がしきい差分未満である場合、物体が浮遊物であると判定する。差分判定部３１３は、第１の光学画像と第２の光学画像との差分がしきい差分以上である場合、物体が浮遊物でないと判断する。

より具体的には、差分判定部３１３は、物体が浮遊物であるか否かを判断する画像の画素領域において、差分がしきい差分未満となる画素の割合がしきい割合以上である場合、検出した物体が浮遊物であると判断する。しきい差分及びしきい割合は、浮遊物が発生した際の輝度の差分及び輝度の差分がしきい差分未満となる画素の割合を予め実験により取得することで決定することができる。例えば、カメラ２０が取得する光学画像がグレースケールであり、明度を８ビットデータで処理する場合、明度のしきい差分は１６進数で１０（０ｘ１０）、しきい割合を７０％とする。

なお、第１の光学画像と第２の光学画像との差分を用いて物体が浮遊物であるか否かを判断する方法はこれに限定されない。例えば、差分判定部３１３は、物体が浮遊物であるか否かを判断する画素領域における差分の平均値を算出し、差分の平均値がしきい平均値未満である場合に、物体を浮遊物と判定してもよい。

車両制御部５０は、レーダ１０及びカメラ２０を含む自車両に搭載されたセンサによって取得された自車両周囲の情報、及び記憶部４０に予め記憶されている地図データに基づいて自車両を制御し、運転支援及び自動運転をおこなう。車両制御部５０は、自車両の走行経路上に物体を検出し、検出した物体との距離が予め定められた所定距離未満となる可能性が高いと判断した場合、検出した物体が浮遊物であるか否かの結果に基づいて、物体との距離が所定距離未満となる状態を回避するよう自車両を制御するか否かを判断する。

車両制御部５０は、自車両前方に物体を検出し、検出した物体が浮遊物でないと判断された場合、物体との距離が所定距離未満となる状態を回避するための制御を実行する。具体的には、車両制御部５０は、発進待機中は発進制御を禁止し、走行中は減速制御あるいは転舵輪を転舵駆動する回避制御を実行して、物体との距離を所定距離以上に保つように車両を制御する。

車両制御部５０は、自車両前方に物体を検出し、検出した物体が浮遊物であると判断された場合、物体との距離が所定距離未満となる状態を回避するための制御の実行を禁止する。

［物体検出方法］
次に、図２を参照して図１の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。図２のフローチャートに示す物体検出装置の動作は、自車両のイグニッションスイッチ又はパワースイッチがＯＮとなると同時に開始され、イグニッションスイッチ又はパワースイッチがＯＦＦとなった時点で処理を終了する。

ステップＳ０において、レーダ１０は、自車両の前方に電磁波を照射し、電磁波の反射波に基づいて物体を検出する。具体的には、物体の有無及び物体の位置を検出する。

ステップＳ５において、カメラ２０は、物体が検出されていない状態から物体が検出された状態へ変化するまで、自車両前方を所定の周期で繰り返し撮像して自車両前方の複数の画像を取得する。記憶部４０は、カメラ２０によって撮像された自車両前方の複数の画像を時系列に記憶する。

ステップＳ１０において、判定範囲決定部３１１は、レーダ１０から出力される情報に基づいて物体が検出されていない状態から物体が検出された状態へ変化したことを検出する。判定範囲決定部３１１は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合（ステップＳ１０でＹＥＳ）、処理はステップＳ２０に進む。判定範囲決定部３１１は、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合（ステップＳ１０でＮＯ）、処理を終了する。

ステップＳ２０に進み、差分算出部３１２は、物体が検出されていない時に撮像された第１の光学画像を記憶部４０から取得する。

ステップＳ３０に進み、判定範囲決定部３１１は、物体が検出されている時に撮像された第２の光学画像をカメラ２０から取得する。

ステップＳ４０に進み、判定範囲決定部３１１は、レーダ１０から物体の位置情報を取得し、第２の光学画像からレーダ１０によって検出された物体の位置に対応する画素領域を選択する。判定範囲決定部３１１は、検出された物体の位置に対応する第２の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。

ステップＳ５０に進み、差分算出部３１２は、判定範囲決定部３１１から第２の光学画像及び物体が浮遊物であるか否かを判断する画像の範囲を取得し、物体が浮遊物であるか否かを判断する画像の画素領域において、同画素位置における第１の光学画像と第２の光学画像との差分を算出する。

ステップＳ６０に進み、差分判定部３１３は、第１の光学画像と第２の光学画像との差分がしきい差分未満であると判断した場合（ステップＳ６０でＹＥＳ）、処理はステップＳ７０に進み、物体が浮遊物であると判定する。

ステップＳ９０に進み、車両制御部５０は、自車両の制御を継続する。すなわち、車両制御部５０は、物体との距離が所定距離未満となる状態を回避するための制御の実行を禁止する。

ステップＳ６０において、差分判定部３１３は、第１の光学画像と第２の光学画像との輝度の差分がしきい差分以上であると判断した場合（ステップＳ６０でＮＯ）、処理はステップＳ８０に進み、物体が浮遊物でないと判断する。

ステップＳ１００に進み、車両制御部５０は、物体との距離が予め定められた所定距離未満となる状態を回避するよう自車両を制御する。

以上、説明したように第１実施形態によれば以下の作用効果が得られる。

物体検出装置は、自車両前方に電磁波を照射し、照射した電磁波の反射波に基づいて自車両前方の物体を検出する。物体検出装置は、自車両前方を撮像して画像を取得し、物体が検出されていない状態から、物体が検出された状態へ変化した場合、画像に基づいて物体が浮遊物であるか否かを判断する。すなわち、物体の検出は電磁波の反射波によって行われ、検出した物体が浮遊物であるか否かの判断は画像によって行われる。これにより、物体検出装置は、物体の検出及び検出した物体が浮遊物であるか否かの判断をより精度良く行うことができる。

物体検出装置は、物体が検出されていない時に自車両前方を撮像して第１の光学画像を取得し、物体が検出されている時に自車両前方を撮像して第２の光学画像を取得する。物体検出装置は、第１の光学画像と第２の光学画像との差分を算出し、差分がしきい差分未満である場合、物体が浮遊物であると判定する。これにより、物体検出装置は、物体が検出された時に物体が浮遊物であるか否かを判断することができ、物体が浮遊物であるか否かをより早く判断することができる。

（第１実施形態の第１変形例）
［物体検出装置の構成］
図３を参照して、第１実施形態の第１変形例に係る物体検出装置の構成を説明する。第１実施形態との相違点は、制御部３０が先行車情報生成部３２、浮遊物トラッキング部３３をさらに備える点、及び、判定範囲決定部３１１の一部処理である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。

先行車情報生成部３２は、検出された物体が自車両前方の先行車であるか否かを判定し、物体が先行車である場合、先行車の挙動を測定する。そして、先行車情報生成部３２は、先行車の挙動がしきい挙動以内であるか否かを判定する。先行車情報生成部３２は、先行車検出部３２１と先行車挙動判定部３２２で構成される。

先行車検出部３２１は、検出された物体が先行車であるか否かを判定する。具体的には、先行車検出部３２１は、レーダ１０によって計測された物体の各位置までの距離を取得し、物体の各位置までの距離から物体の形状及び大きさを特定する。先行車検出部３２１は、物体の形状及び大きさに基づいて物体が先行車であるか否かを判断する。具体的には、先行車検出部３２１は、特定した物体の形状及び大きさと、記憶部４０に予め記憶された車両の形状及び大きさとの一致率を算出し、一致率がしきい一致率よりも高い場合、物体が先行車であると判定する。

なお、本実施形態では、先行車検出部３２１は、レーダ１０によって測定された物体の各位置までの距離に基づいて物体が先行車であるか否かを判定しているが、カメラ２０が取得した画像に基づいて物体が先行車であるか否かを判定してもよい。なお、画像解析による物体が先行車であるか否かの判定は、既知の画像認識技術を利用することにより可能である。

先行車挙動判定部３２２は、先行車検出部３２１によって先行車が検出された場合、先行車との距離の時間変化、すなわち、自車両に対する相対速度と自車両の速度から先行車の速度を取得し、先行車の挙動を判定する。

具体的には、先行車挙動判定部３２２は、先行車の速度の変化から先行車が停車状態（０．５ｋｍ／ｈ未満）から発進したことを検出し、先行車が発進してからしきい時間が経過したか否かを判断する。例えば、しきい時間は３秒である。

さらに、先行車挙動判定部３２２は、先行車の速度がしきい速度未満であるか否かを判断する。例えば、しきい速度は１０ｋｍ／ｈである。

先行車挙動判定部３２２は、先行車が停車状態から発進したことを検出し、先行車が発進してからしきい時間が経過していない場合、先行車の挙動がしきい挙動以内であると判断する。又は、先行車挙動判定部３２２は、先行車の速度がしきい速度未満である場合、先行車の挙動がしきい挙動以内であると判断する。

判定範囲決定部３１１は、先行車が検出され、先行車の後方において物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合、物体の位置に対応する第２の光学画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。

浮遊物トラッキング部３３は、浮遊物判定部３１によって浮遊物と判定された物体をトラッキングする。具体的には、浮遊物トラッキング部３３は、差分判定部３１３によって浮遊物と判定された物体をトラッキング対象として設定し、カメラ２０が取得する画像又はレーダ１０で浮遊物をトラッキングする。なお、浮遊物トラッキング部３３は、カメラ２０が取得した画像とレーダ１０との両方で物体をトラッキングしてもよい。浮遊物トラッキング部３３は、トラッキング中の物体を浮遊物判定部３１へ出力する。

［物体検出方法］
次に、図４を参照して図３の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第１実施形態との相違点は、ステップＳ１１からステップＳ１３をさらに備える点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。

ステップＳ１１において、先行車検出部３２１は、レーダ１０によって計測された物体の各位置までの距離を取得し、物体の各位置までの距離から物体の形状及び大きさを特定する。先行車検出部３２１は、物体の形状及び大きさに基づいて物体が先行車であるか否かを判断する。先行車検出部３２１は、物体が先行車であると判断した場合（ステップＳ１１でＹＥＳ）、処理はステップＳ１２に進む。先行車検出部３２１は、物体が先行車でないと判断した場合（ステップＳ１１でＮＯ）、処理はステップＳ２０に進む。

ステップＳ１２において、先行車挙動判定部３２２は、レーダ１０から先行車の速度を取得し、先行車の挙動を判定する。具体的には、先行車挙動判定部３２２は、先行車が停車状態から発進したことを検出し、先行車が発進してからしきい時間が経過していない場合、又は、先行車の速度がしきい速度未満ある場合、先行車の挙動がしきい挙動以内であると判断する。先行車挙動判定部３２２は、先行車の挙動がしきい挙動以内であると判断した場合（ステップＳ１２でＹＥＳ）、処理はステップＳ１３に進む。先行車挙動判定部３２２は、先行車の挙動がしきい挙動以内でないと判断した場合（ステップＳ１２でＮＯ）処理を終了する。

ステップＳ１３において、判定範囲決定部３１１は、先行車の後方において物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合（ステップＳ１３でＹＥＳ）、処理はステップＳ２０に進む。判定範囲決定部３１１は、先行車の後方において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合（ステップＳ１３でＮＯ）、処理を終了する。

ここで、図５及び図６を参照して、第１実施形態の第１変形例に係る物体検出装置が、先行車を検出し、先行車の後方に検出された物体が浮遊物であるか否かを判断する処理について具体的に説明する。

先ず、図５を参照して、第１実施形態の第１変形例に係る物体検出装置が、自車両前方の先行車よりも後方に位置する物体を浮遊物と判定する処理について説明する。

カメラ２０が第１の光学画像ａを取得した時刻において、レーダ１０が物体１を検出した場合、先行車検出部３２１は、レーダ１０によって測定された物体１の各位置までの距離を取得し、物体の形状及び大きさに基づいて物体１を先行車と判断する。

先行車挙動判定部３２２は、レーダ１０から先行車の速度を取得し、先行車の挙動を判定する。カメラ２０によって第１の光学画像ａ及び第２の光学画像ｂが取得された時刻において、先行車の速度はしきい速度未満である。そのため、先行車挙動判定部３２２は、先行車の挙動がしきい挙動以内であると判断する。

レーダ１０は、カメラ２０が第２の光学画像ｂを取得した時刻において、先行車の後方の物体２を検出した場合、判定範囲決定部３１１は、物体２が検出されていない状態から物体２が検出された状態へ変化したことを検出する。

差分算出部３１２は、先行車の後方の物体２が検出されていない時に撮像された第１の光学画像ａを記憶部４０から取得し、判定範囲決定部３１１は、先行車の後方の物体２が検出されている時に撮像された第２の光学画像ｂをカメラ２０から取得する。

判定範囲決定部３１１は、レーダ１０によって検出された物体２の位置に対応する第２の光学画像ｂの画素領域を、物体２が浮遊物であるか否かを判断する画像の範囲３として設定する。

差分算出部３１２は、判定範囲決定部３１１から第２の光学画像ｂ及び物体２が浮遊物であるか否かを判断する画像の範囲３を取得し、物体２が浮遊物であるか否かを判断する画像の範囲３において、同画素位置における第１の光学画像ａと第２の光学画像ｂとの差分を算出する。

第１の光学画像ａと第２の光学画像ｂとの差分はしきい差分未満である。そのため、差分判定部３１３は、物体２を浮遊物であると判定する。

次に、図６を参照して、第１実施形態の第１変形例に係る物体検出装置が、自車両前方の先行車よりも後方に位置する物体２を浮遊物でないと判定する処理について説明する。

図５との相違点は、先行車の後方の物体２が歩行者である点である。そのため、図５で説明した処理とは、物体２が浮遊物であるか否かを判断する画像の範囲３を設定する処理以降が相違する。よって、図５で説明した処理との相違点についてのみ説明する。

判定範囲決定部３１１は、レーダ１０によって検出された物体２の位置に対応する第２の光学画像ｄの画素領域を、物体２が浮遊物であるか否かを判断する画像の範囲３として設定する。

差分算出部３１２は、判定範囲決定部３１１から第２の光学画像ｄ及び物体２が浮遊物であるか否かを判断する画像の範囲３を取得し、物体２が浮遊物であるか否かを判断する画像の範囲３において、同画素位置における第１の光学画像ｃと第２の光学画像ｄとの差分を算出する。

第１の光学画像ｃと第２の光学画像ｄとの差分は、しきい差分以上である。そのため、差分判定部３１３は、物体２を浮遊物でないと判定する。

以上、説明したように第１実施形態の第１変形例によれば第１実施形態の作用効果に加え、以下の作用効果が得られる。

物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車が停車状態から発進した場合、先行車が発進してからしきい時間が経過するまで、物体が浮遊物であるか否かを判断する。車両は発進する際に排気ガス、水しぶき、砂埃などの浮遊物をより多く発生させる。そのため、物体検出装置は、先行車の発進から所定の時間が経過するまで、検出された物体が浮遊物であるか否かを判断することにより、自車両前方の先行車が発進する際に発生させる排気ガス、水しぶき、砂埃などの物体を浮遊物として判定することができる。

物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車の速度がしきい速度未満である場合、物体が浮遊物であるか否かを判断する。先行車がしきい速度未満で走行している場合、先行車は以後加速する可能性が高い。車両は、加速する際に排気ガス、水しぶき、砂埃などの浮遊物をより多く発生させる。そのため、物体検出装置は、先行車の速度がしきい速度未満である場合、検出された物体が浮遊物であるか否かを判断することにより、自車両前方の先行車が加速する際に発生させる排気ガス、水しぶき、砂埃などの物体を浮遊物として判定することができる。

物体検出装置は、浮遊物をトラッキングすることにより、一度浮遊物と判定した物体を再度、浮遊物か否か判定する処理を削減することができる。これにより、物体検出装置は、検出した物体が浮遊物であるか否かを判断する処理に掛かる負荷を削減することができる。

（第１実施形態の第２変形例）
［物体検出装置の構成］
図７を参照して、第１実施形態の第２変形例に係る物体検出装置の構成を説明する。第１実施形態の第１変形例との相違点は、先行車情報生成部３２が先行車排気管検出部３２３をさらに備える点、及び、判定範囲決定部３１１の一部処理である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。

先行車排気管検出部３２３は、カメラ２０が取得した画像から先行車検出部３２１によって検出された先行車の排気管を検出する。具体的には、先行車排気管検出部３２３は、先行車の全高の１／５の高さから地面までに対応する画像の画素位置から、記憶部４０に予め記憶された車両の排気管の形状に類似する部分を検出し、先行車の排気管として特定する。

判定範囲決定部３１１は、先行車排気管検出部３２３によって先行車の排気管が検出された場合、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。具体的には、判定範囲決定部３１１は、カメラ２０から画像を取得し、先行車に対応する画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を物体が浮遊物であるか否かを判断する画像の範囲として設定する。所定範囲の画素領域は、排気管に対して予め定められた所定の距離範囲に相当する範囲の画素領域である。所定の距離範囲は、例えば、１メートルである。判定範囲決定部３１１は、先行車の排気管が検出された場合、物体が浮遊物であるか否かを判断する画像の範囲であって、排気管から上方の所定範囲の画素領域において物体が検出されたか否かを判断する。

判定範囲決定部３１１は、先行車排気管検出部３２３によって先行車の排気管が検出されていない場合、検出された物体の位置に対応する第２の画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。

［物体検出方法］
次に、図８を参照して図７の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第１実施形態の第１変形例との相違点は、ステップＳ１４、ステップＳ１５をさらに備え、ステップＳ１５以降の処理においてステップＳ４０が削除されている点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。

ステップＳ１４において、先行車排気管検出部３２３は、カメラ２０が取得した画像から先行車の排気管を検出する。先行車排気管検出部３２３が、先行車の排気管を検出した場合（ステップＳ１４でＹＥＳ）、処理はステップＳ１５に進む。先行車排気管検出部３２３が、先行車の排気管を検出していない場合（ステップＳ１４でＮＯ）、処理はステップＳ１３に進む。

ステップＳ１５において、判定範囲決定部３１１は、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。具体的には、判定範囲決定部３１１は、カメラ２０から画像を取得し、先行車に対応する画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を物体が浮遊物であるか否かを判断する画像の範囲として設定する。当該画像の範囲を設定後、処理はステップＳ１３に進む。

ステップＳ１３において、判定範囲決定部３１１は、先行車の排気管が検出され、排気管から上方の所定範囲の画素領域において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出した場合（ステップＳ１３でＹＥＳ）、処理はステップＳ２０に進む。判定範囲決定部３１１は、排気管から上方の所定範囲の画素領域において、物体が検出されていない状態から物体が検出された状態へ変化したことを検出していない場合（ステップＳ１３でＮＯ）、処理を終了する。

以上、説明したように第１実施形態の第２変形例によれば第１実施形態の第１変形例に加え、以下の作用効果が得られる。

物体検出装置は、物体が自車両前方の先行車よりも後方に位置し、先行車の排気管を検出した場合、物体が浮遊物であるか否かを判断する画像の範囲を先行車の排気管の位置に応じて設定する。これにより、物体検出装置は、先行車が発生させる排気ガスを浮遊物としてより精度良く判定することができる。

（第２実施形態）
［物体検出装置の構成］
図９を参照して、第２実施形態に係る物体検出装置の構成を説明する。第１実施形態の第２変形例との相違点は、カメラ２０の仕様、判定範囲決定部３１１の一部処理、差分算出部３１２、差分判定部３１３に代えて、温度算出部３１４、温度判定部３１５を備える点である。よって、当該相違点についてのみ説明し、その他共通する構成については説明を省略する。

カメラ２０は、自車両前方を撮像して赤外線の輝度を測定し、赤外線の輝度を示す赤外画像を取得する。

判定範囲決定部３１１は、先行車排気管検出部３２３によって先行車の排気管が検出された場合、先行車に対応する赤外画像の画素領域であって検出された排気管から上方の所定範囲の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。

判定範囲決定部３１１は、先行車排気管検出部３２３によって先行車の排気管が検出されていない場合、検出された物体の位置に対応する赤外画像の画素領域を、物体が浮遊物であるか否かを判断する画像の範囲として設定する。

温度算出部３１４は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、物体の温度を算出する。具体的には、温度算出部３１４は、先行車の後方において、物体が検出されていない状態から物体が検出された状態へ変化した場合、物体が検出された時に撮像された赤外画像を取得し、物体が浮遊物であるか否かを判断する画像の範囲における物体の温度を、対応する位置の赤外画像の輝度から算出する。

温度算出部３１４は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、物体の温度の変化量を算出する。具体的には、温度算出部３１４は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲において物体が検出されていない状態から物体が検出された状態へ変化した場合、当該画像の範囲における物体の温度の変化量を、対応する位置の赤外画像の輝度の変化量から算出する。

なお、赤外画像における画像の輝度は、温度によって変化する。すなわち、温度の変化量は画像の輝度の変化量に対応する。従って、温度算出部３１４は、物体が検出されていない状態から物体が検出された状態へ変化した場合の赤外画像の輝度の変化量から温度の変化量を算出することができる。温度算出部３１４は、温度の変化量に替えて赤外画像の輝度の変化量を算出しても良い。

温度判定部３１５は、先行車の排気管が検出されておらず、物体が浮遊物であるか否かを判断する画像の範囲に対応する位置の温度がしきい温度以上である場合、物体が浮遊物であると判定する。しきい温度は、例えば５０℃である。

温度判定部３１５は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲における物体の温度がしきい温度未満であり、当該画像の範囲における物体の温度の変化量がしきい変化量以上である場合、物体が浮遊物であると判定する。しきい温度は、例えば５０℃、しきい変化量は、例えば２０℃である。

温度判定部３１５は、外気温が高くなるほど高いしきい温度を設定する。具体的には、温度判定部３１５は、予め実験等で求めた排気ガスの温度の範囲内でしきい温度を変化させる。例えば、外気温が２５℃時のしきい温度５０℃とし、外気温が１℃上昇する毎にしきい温度を１℃高く設定する。

［物体検出方法］
次に、図１０Ａ、１０Ｂを参照して図９の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第１実施形態の第２変形例との相違点は、ステップＳ２０、ステップＳ３０、ステップＳ５０に処理に代えて、ステップＳ３１、ステップＳ５１、ステップＳ５２、ステップＳ６１、ステップＳ６２の処理を行う点である。よって当該相違点についてのみ説明し、その他共通する処理については説明を省略する。

ステップＳ３１において、判定範囲決定部３１１は、レーダ１０によって物体が検出されている時に撮像された赤外画像をカメラ２０から取得する。

ステップＳ５１において、温度算出部３１４は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、検出された物体の温度を算出する。具体的には、温度算出部３１４は、判定範囲決定部３１１から物体が浮遊物であるか否かを判断する画像の範囲を取得し、物体が検出されている時に撮像された赤外画像から物体が浮遊物であるか否かを判断する赤外画像の範囲における物体の温度を算出する。

ステップＳ５２において、温度算出部３１４は、赤外画像の物体に対応する位置の赤外線の輝度に基づいて、検出された物体の温度の変化量を算出する。具体的には、温度算出部３１４は、先行車の排気管が検出され、物体が浮遊物であるか否かを判断する画像の範囲において、物体が検出されていない状態から物体が検出された状態へ変化した場合、当該画像の範囲における物体の温度の変化量を、対応する位置の赤外画像の輝度の変化量から算出する。

なお、ステップＳ５２において、温度算出部３１４は、温度の変化量に替えて赤外画像の輝度の変化量を算出しても良い。赤外画像の輝度の変化量を用いる場合、後述するステップＳ６２における、温度の変化量はしきい変化量以上か否かの判断は、赤外画像の輝度の変化量はしきい輝度変化量以上か否かの判断となる。

ステップＳ６１において、温度判定部３１５は、物体の温度がしきい温度以上であると判断した場合（ステップＳ６１でＹＥＳ）、処理はステップＳ７０に進む。先行車の排気管が検出され（ステップＳ１３でＹＥＳ）、ステップＳ６１において、温度判定部３１５は、物体の温度がしきい温度未満であると判断した場合（ステップＳ６１でＮＯ）、処理はステップＳ６２に進む。

ステップＳ６２において、温度判定部３１５は、物体の温度の変化量がしきい変化量以上であると判断した場合（ステップＳ６２でＹＥＳ）、処理はステップＳ７０に進む。ステップＳ６２において、温度判定部３１５は、物体の温度の変化量がしきい変化量未満であると判断した場合（ステップＳ６２でＮＯ）、処理はステップＳ８０に進む。

以上、説明したように第２実施形態よれば以下の作用効果が得られる。

物体検出装置は、自車両前方を撮像して赤外画像を取得し、赤外画像の物体に対応する位置の赤外線の輝度に基づいて物体の温度を算出する。物体検出装置は、物体の温度がしきい温度以上である場合、物体が浮遊物であると判定する。これにより、物体検出装置は、物体の温度に基づいて物体が浮遊物であるか否かを判断することができ、しきい温度以上となる車両の排気ガスを浮遊物としてより精度良く判定することができる。

物体検出装置は、先行車の排気管を検出した場合、物体が浮遊物であるか否かを判断する赤外画像の範囲を先行車の排気管の位置に応じて設定する。物体検出装置は、物体が浮遊物であるか否かを判断する赤外画像の範囲において検出された物体の温度の変化量を対応する位置の赤外画像の輝度の変化量から算出し、検出された物体の温度の変化量がしきい変化量以上である場合、物体が浮遊物であると判断する。物体が浮遊物であるか否かを判断する赤外画像の範囲において検出された物体の温度の変化量がしきい変化量以上である場合、先行車は浮遊物である排気ガスを排出している可能性が高い。よって、先行車の排出した排気ガスを浮遊物としてより精度よく判定することができる。

物体検出装置は、しきい温度を外気温が高いほど高く設定する。排気管出口における排気ガスの温度は人体の表面温度よりも高い。しかしながら、外気温が高くなるほど人体の表面温度は高くなるため、外気温が高いほど人体の表面温度と排気ガスの温度との差は小さくなる。そのため、物体検出装置は、しきい温度を外気温が高いほど高く設定することにより、人体を浮遊物と誤判定することを防止することができ、物体を浮遊物とより精度良く判定することができる。

なお、本実施形態では、ステップＳ６１で物体の温度がしきい温度未満と判断された場合にステップＳ６２に進み、ステップＳ６２で温度の変化量が所定値以上か否かを判断することで物体が浮遊物であるか否かを判定する例を記載したがこれに限定されない。

例えば、ステップＳ６１における物体の温度がしきい温度以上か否かの判断を省略し、ステップＳ６２における温度の変化量がしきい変化量以上か否かの判断のみに基づいて物体が浮遊物であるか否かを判定しても良い。

また、ステップＳ６２における温度の変化量がしきい変化量以上か否かの判断は、赤外画像の輝度変化に基づいて、赤外画像の輝度の変化量がしきい輝度変化量以上であるか否かの判断としても良い。

また、ステップＳ６２以降の処理を省略し、ステップＳ６１で物体の温度がしきい温度以上である場合、物体は浮遊物であると判定し、ステップＳ６１で物体の温度がしきい温度未満である場合、浮遊物では無いと判定しても良い。

すなわち、本実施形態においてステップＳ６１で物体の温度がしきい温度未満である場合に、ステップＳ６２で物体の温度の変化量がしきい変化量以上か否かの判断に基づいて、物体が浮遊物であるか否かを判定している理由は、ステップＳ６１の処理とステップＳ６２の処理を組み合わせることによって浮遊物の判定精度を向上することを目的としており、ステップＳ６１の処理あるいはステップＳ６２のいずれかの処理は単独でも浮遊物であるか否かを判定することが可能である。

（第３実施形態）
［物体検出装置の構成］
図１１を参照して、第３実施形態に係る物体検出装置の構成を説明する。第２実施形態との相違点は、差分算出部３１２、差分判定部３１３をさらに備える点である。なお、差分算出部３１２、差分判定部３１３は第１実施形態と共通であり、説明を省略する。

［物体検出方法］
次に、図１２を参照して図１１の物体検出装置が、検出した物体が浮遊物であるか否かを判断する方法の一例を説明する。第３実施形態に係る物体検出方法は、ステップＳ６０の条件分岐にて第１実施形態の第２変形例と第２実施形態との処理が接続される構成となっている。よって、ステップＳ６０での処理についてのみ説明し、その他共通する処理については説明を省略する。

ステップＳ６０において、差分判定部３１３は、第１の光学画像と第２の光学画像との輝度の差分がしきい差分未満であると判断した場合（ステップＳ６０でＹＥＳ）、処理はステップＳ７０に進み、物体が浮遊物であると判定する。

ステップＳ６０において、差分判定部３１３は、第１の光学画像と第２の光学画像との輝度の差分がしきい差分以上であると判断した場合（ステップＳ６０でＮＯ）、処理はステップＳ１１に進む。

以上、説明したように第３実施形態によれば以下の作用効果が得られる。

物体検出装置は、光学画像及び赤外画像を取得し、第１の光学画像と第２の光学画像との輝度の差分がしきい差分以上であり、物体の温度がしきい温度以上である場合、物体が浮遊物であると判定する。これにより、第１の光学画像と第２の光学画像との輝度の差分がしきい差分以上となる浮遊物の場合、赤外画像に基づいて算出された物体の温度から物体が浮遊物であるか否かを判断することができる。すなわち、浮遊物である車両の排気ガスが滞留した状態において、車両の排気ガスを温度に基づいて浮遊物として判定することができる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１０ レーダ
２０ カメラ
３０ 制御部
３１ 浮遊物判定部
３１１ 判定範囲決定部
３１２ 差分算出部
３１３ 差分判定部
３１４ 温度算出部
３１５ 温度判定部
３２ 先行車情報生成部
３２１ 先行車検出部
３２２ 先行車挙動判定部
３２３ 先行車排気管検出部
３３ 浮遊物トラッキング部

Claims (12)

1. 自車両前方に電磁波を照射し、
   前記電磁波の反射波に基づいて前記自車両前方の物体を検出し、
   前記物体が検出されていない時に前記自車両前方を撮像して光学画像である第１の画像を取得し、
   前記物体が検出されている時に前記自車両前方を撮像して光学画像である第２の画像を取得し、
   前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記第１の画像と前記第２の画像との差分を算出し、
   前記差分がしきい差分未満である場合、前記物体が浮遊物であると判定する
   ことを特徴とする物体検出方法
2. 自車両前方に電磁波を照射し、
   前記電磁波の反射波に基づいて前記自車両前方の物体を検出し、
   前記自車両前方を撮像して赤外画像を取得し、
   前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記赤外画像の前記物体に対応する位置の赤外線の輝度の変化に基づいて、前記物体の温度の変化量を算出し、
   前記物体の温度の変化量がしきい変化量以上である場合、前記物体が浮遊物であると判定する
   ことを特徴とする物体検出方法。
3. 前記赤外画像の前記物体に対応する位置の赤外線の輝度に基づいて、前記物体の温度を算出し、
   前記物体の温度がしきい温度以上である場合、前記物体が前記浮遊物であると判定し、
   前記物体の温度がしきい温度未満である場合、前記物体の温度の変化量を算出し、
   前記物体の温度の変化量が前記しきい変化量以上である場合、前記物体が前記浮遊物であると判定する
   ことを特徴とする請求項２に記載の物体検出方法。
4. 前記光学画像に加え、さらに赤外画像を取得し、
   前記赤外画像の前記物体に対応する位置の赤外線の輝度に基づいて、前記物体の温度を算出し、
   前記第１の画像と前記第２の画像との差分がしきい差分以上であり、前記物体の温度がしきい温度以上である場合、前記物体が前記浮遊物であると判定する
   ことを特徴とする請求項１に記載の物体検出方法。
5. 前記物体は、前記自車両前方の先行車よりも後方に位置し、
   前記先行車が停車状態から発進した場合、前記先行車が発進してからしきい時間が経過するまで、前記物体が浮遊物であるか否かを判断する
   ことを特徴とする請求項１から４のいずれか一項に記載の物体検出方法。
6. 前記物体は、前記自車両前方の先行車よりも後方に位置し、
   前記先行車の速度がしきい速度未満である場合、前記物体が浮遊物であるか否かを判断する
   ことを特徴とする請求項１から５のいずれか一項に記載の物体検出方法。
7. 前記物体は、前記自車両前方の先行車よりも後方に位置し、
   前記光学画像又は前記赤外画像から前記先行車の排気管を検出した場合、前記物体が浮遊物であるか否かを判断する前記光学画像の範囲又は前記赤外画像の範囲を前記先行車の前記排気管の位置に応じて設定する
   ことを特徴とする請求項４、請求項４を引用する請求項５、請求項４を引用する請求項６のいずれか１項に記載の物体検出方法。
8. 前記浮遊物をトラッキングする
   ことを特徴とする請求項１から７のいずれか一項に記載の物体検出方法。
9. 自車両前方に電磁波を照射し、前記電磁波の反射波に基づいて前記自車両前方の物体を検出するセンサと、
   前記自車両前方を撮像して光学画像を取得するカメラと、
   制御部と、を備え、
   前記制御部は、前記物体が検出されていない時に撮像された前記光学画像である第１の画像を取得し、前記物体が検出されている時に撮像された前記光学画像である第２の画像を取得し、前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記第１の画像と前記第２の画像との差分を算出し、前記差分がしきい差分未満である場合、前記物体が浮遊物であると判定する
   ことを特徴とする物体検出装置。
10. 自車両前方に電磁波を照射し、前記電磁波の反射波に基づいて前記自車両前方の物体を検出するセンサと、
    前記自車両前方を撮像して赤外画像を取得するカメラと、
    制御部と、を備え、
    前記制御部は、前記物体が検出されていない状態から、前記物体が検出された状態へ変化した場合、前記赤外画像の前記物体に対応する位置の赤外線の輝度の変化に基づいて、前記物体の温度の変化量を算出し、前記物体の温度の変化量がしきい変化量以上である場合、前記物体が浮遊物であると判定する
    ことを特徴とする物体検出装置。
11. 前記第１の画像と前記第２の画像との差分がしきい差分以上であり、前記物体の温度がしきい温度未満である場合、前記物体の温度の変化量を算出し、
    前記物体の温度の変化量が前記しきい変化量以上である場合、前記物体が前記浮遊物であると判定する
    ことを特徴とする請求項４に記載の物体検出方法。
12. 前記しきい温度は、外気温が高いほど高く設定する
    ことを特徴とする請求項３、４、１１のいずれか一項に記載の物体検出方法。

Images