JP2014006821A - 車両周辺監視装置 - Google Patents

Abstract

【課題】車両前方の動物に対する注意喚起を改善した車両周辺監視装置を提供する。
【解決手段】車両周辺監視装置１は、撮像手段による撮像画像に第１及び第２対象物画像部分が含まれているか否かを判断する画像判断手段２１と、画像判断手段２１の判断に基づいて、第１対象物については第１対象物の存在を検知しだい運転者への注意喚起を実施し、第２対象物については第２対象物の存在を検知後、第２対象物に対する接触予想時間が所定値以下になった時に運転者への注意喚起を実施する注意喚起手段２２と、注意喚起手段２２による第１対象物についての運転者へ注意喚起開始後、所定時間以内又は所定走行距離以内に運転者が第１対象物の存在に気付いたことを所定条件として該所定条件の充足を判断する充足判断手段２３と、充足判断手段２３が所定条件を充足していないと判断したときには、注意喚起手段に再度の注意喚起を実施させる制御手段２４とを備える。
【選択図】図１

Description

本発明は、車両に搭載された撮像手段による撮像画像に基づいて、運転者に対する注意喚起を行う車両周辺監視装置に関する。

車両走行上の危険となる前方障害物をレーダ等により察知して、察知した障害物についての危険情報を表示器等に表示する車両周辺監視装置が知られている（例：特許文献１）。

また、車両前方に存在する生体（歩行者や動物）を赤外線カメラを使って検出し、生体が検出されたときに、表示器への表示や警告音に表示したり、警告音による報知を行って、運転者に対する注意喚起を行う車両周辺監視装置も知られている。

特開２００９−１５１５６６号公報

動物の行動パターンは不規則であるため、動物を検知したときは、車両からの距離にかかわらず警報を行うので、他の警報対象物（例：人）に比べて、警報開始時から車両が動物へ到達する時刻までの時間が長くなっている。このことは、動物に対する警報について運転者に違和感を抱かせることとなり、その改善が望まれている。

本発明の目的は、車両前方の動物に対する注意喚起を改善することができる車両周辺監視装置を提供することである。

第１発明の車両周辺監視装置は、車両に搭載された撮像手段による撮像画像に基づいて、運転者に対する注意喚起を行う車両周辺監視装置であって、撮像画像に第１対象物画像部分及び第２対象物画像部分が含まれているか否かを判断する画像判断手段と、前記画像判断手段の判断に基づいて第１対象物については第１対象物の存在を検知しだい運転者への注意喚起を実施し、前記画像判断手段の判断に基づいて第２対象物については第２対象物の存在を検知後、前記第２対象物に対する接触予想時間が所定値以下になった時に運転者への注意喚起を実施する注意喚起手段と、前記注意喚起手段による第１対象物についての運転者へ注意喚起開始後、所定時間以内又は所定走行距離以内に運転者が第１対象物の存在に気付いたことを所定条件として該所定条件の充足を判断する充足判断手段と、前記充足判断手段が前記所定条件を充足していないと判断したときには、前記注意喚起手段に再度の注意喚起を実施させる制御手段とを備えることを特徴とする。

第１発明によれば、車両周辺監視装置は、注意喚起手段による第１対象物についての運転者へ注意喚起開始後、所定時間以内又は所定走行距離以内に運転者が第１対象物の存在に気付いたことを所定条件として該所定条件が充足されないときは、注意喚起手段に再度の注意喚起を実施するので、第１対象物に対する注意喚起を早い段階から開始しつつ、運転者の不的確な対応を防止し、また、無用の再注意喚起を行わないようにすることができる。

第２発明の車両周辺監視装置は、第１発明において、前記注意喚起手段は、前記再度の注意喚起を、最初の注意喚起とは同一の喚起方式でかつ強めたものとするか、又は異なる喚起方式で行うことを特徴とする。

第２発明によれば、再度の注意喚起の効果を高めることができる。

第３発明の車両周辺監視装置は、第１発明又は第２発明において、前記充足判断手段は、前記注意喚起手段による第１対象物についての運転者へ注意喚起開始後、所定時間以内又は所定走行距離以内に運転者が接触回避の運転操作を行ったときは、前記所定条件が充足したと判断することを特徴とする。

第３発明によれば、注意喚起対象となった動物に対する運転者による接触回避操作が実施されたことを検知することによって、運転者が動物の存在に気付いたことを容易に判断することができる。

車両周辺監視装置の構成図。 図１に示した車両周辺監視装置の車両への取り付け態様の説明図。 画像処理ユニットが実施する監視対象物の検出処理及び警報判定処理のフローチャート。 図３の警報処理ルーチンのフローチャート。 車両の前方に存在する人及び動物に対する警報の実施についての説明図。 再警報が実施されない場合の問題点を指摘する説明図。 再警報を含む警報処理の説明図。

図１を参照して、車両周辺監視装置１は、車両１０に搭載され遠赤外線を検出可能な１台の赤外線カメラ２（本発明の「撮像手段」に相当する）を備え、赤外線カメラ２による撮像画像に基づいて、運転者に対する注意喚起を行う。

車両周辺監視装置１は、赤外線カメラ２以外に、さらに、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、運転者によるブレーキの操作量を検出するブレーキセンサ５と、赤外線カメラ２により得られる画像から車両前方の監視対象物（歩行者等）を検出し、該監視対象物と車両が接触する可能性が高い場合に警報を出力する画像処理ユニット８と、音声により警報を行うためのスピーカ６と、赤外線カメラ２により得られた画像を表示すると共に、接触の可能性が高い監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。

図２を参照して、赤外線カメラ２は、車両１０の前部の左右方向中心に配置され、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）撮像画像を出力する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

車両１０の前方の実空間について、Ｘ，Ｙ，Ｚの座標軸を定義する。原点Ｏは赤外線カメラ２の中心位置とし、Ｚ軸は、前側を正にして車両１０の前後方向へ水平に延びる軸とされ、Ｘ軸は右側を正にして車両１０の左右水平方向へ延びる軸とされ、Ｙ軸は下側を正にして鉛直方向へ延びる軸とされる。

なお、実空間座標系Ｘ−Ｙ−Ｚの原点Ｏは車両１０の左右方向中心に設定しつつ、赤外線カメラ２は車両１０の左右方向中心から左右や上下へずらした位置に設定することもできる。その場合は、対象物についての実空間座標（Ｘ，Ｙ，Ｚ）は、撮像画像から求めた位置を原点Ｏと赤外線カメラ２のレンズ中心との距離に応じて補正して求めることになる。

図１を参照して、画像処理ユニット８は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示せず）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して各種演算処理を行う機能を有している。画像処理ユニット８は、ＣＰＵやメモリ等により構成された電子ユニットであり、該ＣＰＵに車両１０周辺監視用プログラムを実行させることによって、画像判断手段２１、注意喚起手段２２、充足判断手段２３及び制御手段２４の機能を実現する。

画像判断手段２１、注意喚起手段２２、充足判断手段２３及び制御手段２４は、詳細については、後述の図３及び図４のフローチャートに関連して説明するので、図１では簡単に説明する。

画像判断手段２１は、撮像画像に人画像部分又は動物画像部分が含まれているか否かを判断する。注意喚起手段２２は、画像判断手段２１の判断に基づいて動物（本発明の「第１対象物」に相当する。）については動物の存在を検知しだい運転者への注意喚起を実施し、画像判断手段２１の判断に基づいて人（本発明の「第２対象物」に相当する。）については人の存在を検知後、第２対象物に対する接触予想時間が所定値以下になった時に運転者への注意喚起を実施する。この結果、注意喚起手段２２による動物に対する警報開始時の車両１０から動物までの距離は、注意喚起手段２２による人に対する警報開始時の車両１０から人までの距離より大となる。

充足判断手段２３は、注意喚起手段２２による動物についての運転者へ注意喚起開始後、所定時間以内又は所定走行距離以内に運転者が動物の存在に気付いたことを所定条件の充足に基づいて判断する。制御手段２４は、充足判断手段２３が所定条件を充足していないと判断したときには、注意喚起手段２２に再度の注意喚起を実施させる。

所定条件は、注意喚起対象となった動物に対する運転者による接触回避操作が実施されたこととする条件を含む。

注意喚起手段２２は、再度の注意喚起を、最初の注意喚起とは同一の喚起方式でかつ強めたものとするか、又は異なる喚起方式で行う。

次に図３に示したフローチャートに従って、画像処理ユニット８による監視対象物の検出処理及び警報判定処理の実行手順について説明する。

ＳＴＥＰ１では、画像処理ユニット８は、赤外線カメラ２からの撮像画像信号を入力する。赤外線カメラ２は、一定時間ごとに、車両１０の前方の光景を所定の画角で撮影し、その撮像画像信号を出力する。

ＳＴＥＰ２では、画像処理ユニット８は、撮像画像信号（アナログ信号）をデジタルの諧調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。

赤外線カメラ２が一定時間間隔で撮像した直近の所定数（複数）の赤外線画像は時系列のグレースケール画像として画像メモリに記憶される。そして、画像メモリに記憶された時系列の所定数のグレースケール画像は、一定時間間隔が経過して、赤外線カメラ２が最新の撮像画像を生成するごとに、直近の所定数のグレースケール画像に更新される。

ＳＴＥＰ３では、画像処理ユニット８は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を高輝度画素として「１」（白）とし、輝度が該閾値よりも小さい画素を低輝度画素として「０」（黒）とする２値化処理を行って２値化画像を取得する。

ＳＴＥＰ４では、画像処理ユニット８は、２値化画像中の各白画像部分の各縦方向（２値化画像の上下方向）位置に対し、横方向（２値化画像の左右方向）に白の画素の連続する画素列の開始画素位置及び長さを示すランレングスデータを算出する。

ＳＴＥＰ５では、画像処理ユニット８は、２値化画像のランレングスデータに基づいて対象物の２値化画像としての白画像部分を抽出し、抽出した白画像部分に対してラべリング（番号付け）を行う。

ＳＴＥＰ６では、画像処理ユニット８は、ラベリングした白画像部分の重心、面積、及び白画像部分の外接四角形のアスペクト（縦横）比を算出する。

ＳＴＥＰ７では、画像処理ユニット８は、対象物の時刻間追跡を実施する。具体的には、赤外線カメラ２が一定時間間隔で出力する前回と今回の赤外線画像の２値化画像に含まれるラベル付き白画像部分について、相関性に基づいて同一対象物について白画像部分同士を対応付ける。その際、画像判断手段２１は、白画像部分の重心、面積、及び白画像部分の外接四角形のアスペクト（縦横）比が対応の所定の閾値内に収まる、前回と今回の白画像部分は、所定の相関性があるとして、同一対象物についての白画像部分であると判断する。

ＳＴＥＰ７において、画像処理ユニット８は、同一対象物についての白画像部分であると判断された白画像部分は、前回の２値化画像において付けられたラベルが継承されるように、再ラベリングする。

ＳＴＥＰ８では、画像処理ユニット８は、前回の２値化画像と今回の２値化画像において同一ラベルを付けられた白画像部分同士について大きさの変化率から対象物までの距離を測定する。

歩行者の実空間位置の算出では、算出式として例えば次の式（１）が使用される。なお、詳細は例えば特開２００８−１１３２９６号公報等に記載されているとおりである。

Ｚ＝Ｒate・Ｖ・Δｔ／（１−Ｒate）・・・（１）
上記の式（１）において各符号の定義は次のとおりである。
Ｚ：対象物について図２のＺ軸方向の位置、すなわち車両１０から対象物までの距離。
Ｒate：今回及び前回の２値化画像において、ＳＴＥＰ７における時刻間追跡により同一の対象物についての白画像部分であると判断された該白画像部分の外接四角形の幅又は高さの寸法比。今回の２値化画像における外接四角形の幅及び高さをｗ0，ｈ0、前回の２値化画像における外接四角形の幅及び高さをｗ1，ｈ1とすると、Ｒate＝ｗ1／ｗ0又はｈ1／ｈ0となる。なお、寸法ｈ0，ｈ1，ｗ0，ｗ1は２値化画像における画素ピッチ数で表現したものである。
Δｔ：今回及び前回の２値化画像の基になっている２値化画像の撮像時刻の時間差。
Ｖ：車両１０の車速。

式（１）で求めたＺはさらに車両１０の回頭角により補正される。車両１０の回頭角はヨーレートセンサ３の出力をΔｔにより積分した積分値に基づいて算出される。この算出には、前述の特開２００８−１１３２９６号公報等において説明されている手法を用いることができる。

画像処理ユニット８は、ＳＴＥＰ８の実行後、ＲＯＵＴＩＮＥ９（警報処理ルーチン）を実行する。ＲＯＵＴＩＮＥ９の実行には画像処理ユニット８の画像判断手段２１、注意喚起手段２２、充足判断手段２３及び制御手段２４が関与する。ＲＯＵＴＩＮＥ９について、図４のフローチャートを参照して、説明する。

ＳＴＥＰ２１では、画像判断手段２１は、ＳＴＥＰ７での再ラベリングされたラベル付きの各白画像部分のうち、該白画像部分が表す対象物が生体であると判断されたものに対し、該対象物の種別が動物であるか人であるかを判断する。そして、画像判断手段２１は、動物であると判断したときには、処理をＳＴＥＰ２２へ進め、人であると判断したときには、処理をＳＴＥＰ３６へ進める。

生体は、周囲より高温であるのに対し、一般的な構造物は生体より低温である。したがって、一般的な構造物は、２値化画像において白画像部分にはならない。しかし、一部の構造物は所定の温度以上であることがあり、これらは２値化画像において白画像部分として抽出される。白画像部分のうち、生体と構造物とは、例えば形状、アスペクト比、輝度分散（生体は輝度分散が少ない。）等に基づいて識別することができる。

生体を表す白画像部分が、人の画像部分であるか動物の画像部分であるかも、形状やアスペクト比等により識別することができる。人の画像部分は縦長であり、動物の画像部分は横長となる。

前述したように、動物に対する注意喚起としての警報は、赤外線カメラ２の赤外線画像から動物の画像部分が抽出されしだい、実施される。図５は車両１０の前方に存在する人４１及び動物４２に対する警報の実施についての説明図である。図５に図示のＸ，Ｚは図２で定義した実空間座標系のＸ，Ｚの座標軸に相当する。図５では、赤外線カメラ２（図２）の画角は例えば１２°になっている。赤外線カメラ２が出力する赤外線画像は、赤外線カメラ２の画角によってＺ軸に対して左右対称の左境界線５３及び右境界線５４の内側範囲のものになる。

人４１についての警報領域には、接近判定領域６１と、左侵入判定領域６２と、右侵入判定領域６３とがある。接近判定領域６１は、Ｚ軸に対してＸ軸方向へ±（車体幅＋３ｍ）／２の幅とされ、Ｚ軸方向に３０ｍ〜８０ｍの範囲の長さに設定される。左侵入判定領域６２及び右侵入判定領域６３は、Ｘ軸方向へ接近判定領域６１に対してそれぞれ左右にかつ左境界線５３及び右境界線５４の内側に設定され、Ｚ軸方向へ接近判定領域６１と等しい長さに設定されている。図５では、接近判定領域６１に対しては、右肩下がりの斜線のハッチングが施され、左侵入判定領域６２及び右侵入判定領域６３は右肩上がりの斜線のハッチングが施されている。

人４１は、接近判定領域６１、左侵入判定領域６２又は右侵入判定領域６３に存在するもののみが車両１０の運転者に対する警報対象になる。この画像処理ユニット８は、Ｚ軸方向へ車両１０からおおよそ１５０〜３００ｍ遠方にいる生体を識別できるように、設計されている。この１５０〜３００ｍという識別限界設計値は、ヘッドライトのハイビームが届く範囲として設定されている。動物４２は、車両１０から画角内の該識別限界設計値よりも近くに存在することが画像処理ユニット８により検出されしだい、車両１０の運転者への警報の対象になり、画角の外へ移動すると、警報対象から外れる。

人４１が接近判定領域６１、左侵入判定領域６２又は右侵入判定領域６３に存在するか否かは、人４１の実空間座標（Ｘ，Ｙ，Ｚ）に基づいて判断される。監視対象物についての距離（Ｚ座標）の算出方式として、２つのカメラの視差に基づいて行う複眼方式と、１つのカメラから出力される時系列の撮像画像における対象物画像部分の寸法変化率を利用する単眼方式とがある。

この車両周辺監視装置１は単眼方式を用いている。単眼方式により対象物の実空間位置を具体的に算出する仕方は、例えば特開２００８−１１３２９６号公報に記載されたものを用いることができる。概略を述べると、赤外線カメラ２による撮像画像の時系列における対象物画像部分の外接四角形の幅又は高さが変化する比率を算出し、該比率と車速とに基づいて人４１のＺ座標を算出し、さらに、Ｚ座標と撮像画像における対象物画像部分のピクセル位置とに基づいて人４１のＸ座標及びＹ座標が算出される。ヨーレートセンサ３の出力は実空間座標（Ｘ，Ｙ，Ｚ）を車両１０の回頭角に基づいて補正する際に利用される。

動物４２については、その実空間位置としての実空間座標（Ｘ，Ｙ，Ｚ）を算出することは省略される。前述したように、動物４２については、その存在が赤外線カメラ２の撮像画像内に検出されしだい、その実空間座標（Ｘ，Ｙ，Ｚ）を算出することなく、直ちに、警告音出力及び警告表示が開始される。

車両周辺監視装置１による警報は警告音出力と警告表示との２種類で実施される。車両周辺監視装置１は、警告表示では、ＨＵＤ７の画面７ａ（グレースケール画像）の動物画像部分７１又は人画像部分７４に包囲枠７２又は７５を付けて表示し、動物４２については画角の外側へ移動するまで、人４１については警報領域から退出するまで、継続する。車両周辺監視装置１は、警告音出力では、人４１についての警報及び動物４２についての警報共に、開始時にスピーカ６から警告音を所定回数、出力して、終了する。

図５において、矢印４８，４９は、その向きへそれらに対応付けられている人４１及び動物４２が移動している状態を示している。矢印４８の移動状態に対しては警告音及び警告表示の両方が実施され、矢印４９の移動状況に対しては警告表示のみが実施される。

矢印４８は、接近判定領域６１に存在する人４１が車両１０の方（Ｚ軸の負方向）へ移動している状態、左侵入判定領域６２又は右侵入判定領域６３に存在する人４１がＸ軸方向へ接近判定領域６１の方へ移動している状態、又は左境界線５３及び右境界線５４の内側領域に存在する動物４２が任意の方向へ移動している状態を示している。

矢印４９は、人４１が左侵入判定領域６２又は右侵入判定領域６３から接近判定領域６１へ向かうことなく左侵入判定領域６２又は右侵入判定領域６３内で移動している状態、又は左侵入判定領域６２から接近判定領域６１へ移動した人４１がさらに接近判定領域６１から右侵入判定領域６３へ侵入する状態を示している。

図４に戻って、ＳＴＥＰ２２では、注意喚起手段２２は、最初の警報を実施済みか否かを判断し、実施済みであれば、処理をＳＴＥＰ２３へ進め、未実施であれば、処理をＳＴＥＰ３０へ進める。

ＳＴＥＰ２２における最初の警報及び次のＳＴＥＰ２３における再警報について、図６及び図７を参照して、説明する。なお、図６は再警報が実施されない場合の問題点を指摘する説明図であり、車両周辺監視装置１は図７で示す内容で警報を実施する。

図６及び図７において横軸は、車両１０の前方に存在する人又は動物の存在位置をそれらが車両１０に接触するまでの経過時間（ＴＴＣ：Time-To-Collision）に換算した値で示している。なお、ＴＴＣは本発明の「接触予想時間」に相当する。各地点のＴＴＣは、各車両１０が該地点を通過してから現在までの経過時間を正として表すので、車両１０の前方の地点のＴＴＣは負となる。ＴＴＣが、絶対値の大きい負の数であるほど、車両１０より前方の遠方地点となる。

図６の警報処理は動物に対する再警報を実施しないのに対し、図７の警報処理は動物に対する再警報を実施する。図６及び図７の警報処理は、人に対しては同一の内容になっている。また、図６における動物に対する警報処理は、図７における動物に対する警報処理のうち、最初の警報処理に相当するものとなっている。図６及び図７の共通の警報処理について先に説明してから、図７の再警報について説明する。

車両周辺監視装置１は、動物４２については、図５で説明したように、赤外線カメラ２による赤外線画像により認識されしだい、警告音及び警告表示の両方の警報を実施する。動物４２が、車両１０の走行に伴い、左境界線５３と右境界線５４との間の範囲へＺ軸方向へ侵入してくるときの警告音出力及び警告表示の実施開始はＴＴＣ＝−Ｔ１の時点となる。ＴＴＣ＝−Ｔ１（Ｔ１は正の数）は、動物４２が車両１０よりまだ十分に遠方に存在するときの値となっている。Ｔ１は例えば１０〜２０秒の範囲であり、ＴＴＣ＝−Ｔ１に相当するＺ軸方向位置はＺ軸方向へ車両１０より識別限界設計値（おおよそ１５０〜３００ｍ）だけ前方に相当する。

車両周辺監視装置１は、動物４２についての警告表示として、ＴＴＣ＝−Ｔ１の時点で、画面７ａとして表示するグレースケール画像７０内の動物画像部分７１に黄色の包囲枠７２を付ける。

車両周辺監視装置１は、動物４２についての警告表示を、動物４２が左境界線５３及び右境界線５４の内側の範囲に留まる限り、ＴＴＣ＝−Ｔ１の時点以降も継続する。

車両周辺監視装置１は、動物４２についての警告音による警報では、ＴＴＣ＝−Ｔ１の時点で、スピーカ６から例えば２回、警告音を出力して、終了する

車両周辺監視装置１による人４１についての警告表示は、ＴＴＣ＝−Ｔ２（＝−５秒）の時点で、接近判定領域６１、左侵入判定領域６２及び右侵入判定領域６３に存在している人４１、又は左境界線５３及び右境界線５４の内側の領域に侵入した人４１について行われる。ＴＴＣ＝−Ｔ２は、車両１０の通常の走行速度で人４１が車両１０のＺ軸方向へ８０ｍ前方の地点に存在するときに相当する。人４１についての警告表示の具体的な内容は、動物４２についての警告表示と同一であり、グレースケール画像７０において人画像部分７４を黄色の包囲枠７５で囲うものである。人４１についての警告表示は、ＴＴＣ＝−Ｔ２の時点以降も継続する。

車両周辺監視装置１による人４１についての警告音出力は、ＴＴＣ＝−Ｔ２の時点に人４１が接近判定領域６１に存在するとき、又はＴＴＣ＝−Ｔ２の時点以降に人４１が侵入した時に実施される。車両周辺監視装置１は、人４１についての警告音出力として、動物４２についての警告音出力のときと同様に、警告音をスピーカ６から２回、出力して、終了する。

もし、図６のように、動物４２についての警告音出力を動物４２の検出開始時に限定して行うと、その後も、警告表示は継続されるものの、運転者は、動物４２に対する接触回避操作を後回しにすることがあり得る。

なお、車両周辺監視装置１は、人４１についての警告音も、人４１が接近判定領域６１に侵入した時に出力して、終了するが、人４１についての警告音出力は車両１０が人４１に比較的接近してからであるので、運転者は直ちに警報対象の人４１を肉眼で認知する。したがって、運転者は人４１に対する注意は警告音開始から継続する。

車両周辺監視装置１は、図６の警報処理におけるこのような問題点に対処して、動物４２についての警報を再実施する。その再警報の内容は図７に示すとおりである。

すなわち、図７の警報処理では、車両周辺監視装置１は、ＴＴＣ＝−Ｔ１の時点から所定時間が経過した時点、又はＴＴＣ＝−Ｔ１の時点から車両１０が所定距離を走行した時点としてのＴＴＣ＝−Ｔ３（Ｔ１＞Ｔ３＞Ｔ２）の時点で、充足判断手段２３が、車両１０の運転者が人４１に対する接触回避操作を実施済みか否かの判定Ａを行う。なお、該判定Ａの条件は本発明の「所定条件」に相当する。

運転者による人４１に対する接触回避操作は、主なものとして例えばブレーキペダルの踏み込み、アクセルペダルの踏み込み力の緩め、又はステアリングホィールの回転操作等であり、動物４２との接触を回避させようとする運転者による一切の運転操作を含む。画像処理ユニット８は、運転者によるブレーキペダルの踏み込みの有無はブレーキセンサ５の出力に基づいて検出することができ、運転者によるステアリングホィールの回転操作の有無はヨーレートセンサ３の出力に基づいて検出するができ、また、接触回避操作に伴う車両１０の減速及び再加速は車速センサ４の出力に基づいて検出することができる。

制御手段２４は、充足判断手段２３による判定Ａの結果が正（充足）であれば、ＴＴＣ＝−Ｔ３の時点以降も、グレースケール画像７０において動物画像部分７１の包囲枠７２を点灯する。

制御手段２４は、充足判断手段２３による判定Ａの結果が否（非充足）であれば、ＴＴＣ＝−Ｔ３の時点で、再警報として、警告音出力を再実施したり、グレースケール画像７０における動物画像部分７１の包囲枠７２を点灯から点滅表示へ切り替える。

再警報は、ＴＴＣ＝−Ｔ１の時点での最初の警報よりも強めて、運転者に有効に認識されるようにする。警告音の再出力を強める仕方としては、（ａ）警告音の出力回数の増大（図７では４回になっている。）、（ｂ）音量の増大、又は（ｃ）最初の警告音は単なるブザー音とするのに対し、再警告音は着メロ（登録商標）等の特殊音にすることが挙げられる。

警告表示を強める仕方としては、動物画像部分７１を囲っている包囲枠７２を点灯から点滅７８に切り替えることの他に、グレースケール画像７０の全体を表示と非表示とに交互に切替えるのも効果的である。

注意喚起手段２２は、再警報を、最初の警報とは異なる喚起方式で実施してもよい。異なる喚起方式としては、例えば、運転座席を適当に振動させることや、運転者の顔や胸元に向けて、一瞬、光を照射することが挙げられる。

なお、充足判断手段２３が判定Ａについて正の結論を出したことは、制御手段２４が警告音の再警報の実施の中止を決定したことを意味する（後述のＳＴＥＰ２６に相当）。また、図７では、判定Ａが否であるときの再警報として、警告音出力の再実施及び点滅７８の両方が行われているが、警告音出力の再実施のみとして、点滅７８は省略して、包囲枠７２は点灯のまま、すなわち再警告表示は不実施とすることもできる。

図４に戻って、ＳＴＥＰ２３〜ＳＴＥＰ２５，ＳＴＥＰ３１の処理は図７の判定Ａの処理に相当する。ＳＴＥＰ２６の「再警報の中止決定」は、図７では、判定Ａが正であるときの流れに相当する。ＳＴＥＰ３２の「再警報実施」は、図７では、判定Ａが否であるときの流れに相当する。

ＳＴＥＰ２３では、充足判断手段２３は、動物４２についての再警報を実施済み又は再警報中止を決定済みであるかを判定し、判定が正であれば、処理を図３の処理手順へ戻す。充足判断手段２３は、否の判定をすると、処理をＳＴＥＰ２４へ進める。なお、動物４２についての再警報を実施済みとは、ＲＯＵＴＩＮＥ９の今回の実行開始前までに、後述のＳＴＥＰ３２を実施済みであること意味する。動物４２についての再警報中止を決定済みとは、ＲＯＵＴＩＮＥ９の今回の実行開始前までに、後述のＳＴＥＰ２６を実施済みであることを意味する。

ＳＴＥＰ２４では、充足判断手段２３は、運転者による動物４２に対する接触回避操作の有無について判断し、接触回避操作有りと判断すれば、処理をＳＴＥＰ２５へ進め、無しと判断すれば、処理をＳＴＥＰ３１へ進める。

ＳＴＥＰ２５では、充足判断手段２３は、現在時刻又は現在地が最初の警報（最初の警報についてはＳＴＥＰ３０で後述）から所定時間内又は所定走行距離内であるか否かを判定し、判定が正であれば、処理をＳＴＥＰ２６へ進め、否であれば、処理をとＳＴＥＰ３２へ進める。

ＳＴＥＰ２６では、制御手段２４は、再警報の中止を決定する。その後、制御手段２４は処理を図３の処理手順に戻す。

ＳＴＥＰ３０では、注意喚起手段２２は最初の警報を実施する。該最初の警報は、図７では、ＴＴＣ＝−Ｔ１の時点での警報に相当する。その後、注意喚起手段２２は処理を図３の処理手順に戻す。

ＳＴＥＰ３１では、ＳＴＥＰ２５と同様に、充足判断手段２３は、現在時刻又は現在地が最初の警報（警告音出力）から所定時間内又は所定走行距離内であるか否かを判定する。そして、充足判断手段２３は、判定が否であれば、処理手順をＳＴＥＰ３２へ進め、判定が正であれば、処理を図３の処理手順に戻す。

ＳＴＥＰ３２では、制御手段２４は、警告音及び警告表示の再警報を実施する。該再警報の具体例は、図７においてＴＴＣ＝−Ｔ３の時点で実施される警告音の再出力や包囲枠７２の点滅７８である。

ＳＴＥＰ３６では、注意喚起手段２２は、人４１が接近判定領域６１、左侵入判定領域６２又は右侵入判定領域６３に存在するか否かを判定し、判定が正であれば、処理をＳＴＥＰ３７に進め、判定が否であれば、処理を図３の処理手順に戻す。

ＳＴＥＰ３７では、注意喚起手段２２は、人４１の存在位置に応じた警報を開始又は継続する。具体的には、図６及び図７で説明したように、人４１が接近判定領域６１にいるときは、警告音及び警告表示の両方を実施し、人４１が左侵入判定領域６２及び右侵入判定領域６３にいるときは、警告表示のみを実施する。

以上、本発明を実施形態について説明したが、本発明は、その要旨の範囲内で種々に変形して実施することができる。例えば、実施形態では、本発明の「第１対象物」及び「第２対象物」はそれぞれ動物４２及び人４１となっているが、動物又は人を２種類に分けて（例：大きさ未確認動物と大きさ確認動物、又は大人と幼児等）、「第１対象物」を第１種類の動物又は人とし、「第２対象物」を第２種類の動物又は人とすることもできる。

実施形態では、撮像手段として赤外線カメラ２の撮像画像から対象物画像部分を抽出しているが、赤外線カメラ２の撮像画像に代えて、可視光カメラの撮像画像から対象物画像部分の抽出処理を行うこともできる。

例えば、実施形態では、運転者が動物４２の存在に気付いたことを、運転者が車両１０の減速等の運転操作を行ったか否かに基づいて判断しているが、これに代えて、運転者の視線を検知するカメラを配備し、最初の警報に対して、運転者が視線を動物４２の方へ向けたならば、運転者が動物４２の存在に気付いたと判断することもできる。

実施形態では、警告表示を画面７ａのグレースケール画像７０において行っているが、計器盤の速度計近辺に簡易表示器を設け、動物４２が検知されしだい、該簡易表示器に動物４２のアイコンを表示する警告表示方式とすることもできる。

１・・・車両周辺監視装置、２・・・赤外線カメラ（撮像手段）、１０・・・車両、２１・・・画像判断手段、２２・・・注意喚起手段、２３・・・充足判断手段、２４・・・制御手段、４１・・・人（第２対象物）、４２・・・動物（第１対象物）、７０・・・グレースケール画像（撮像画像）、７１・・・動物画像部分、７２・・・包囲枠、７４・・・人画像部分、７８・・・点滅。

Claims (3)

1. 車両に搭載された撮像手段による撮像画像に基づいて、運転者に対する注意喚起を行う車両周辺監視装置であって、
   撮像画像に第１対象物画像部分及び第２対象物画像部分が含まれているか否かを判断する画像判断手段と、
   前記画像判断手段の判断に基づいて第１対象物については第１対象物の存在を検知しだい運転者への注意喚起を実施し、前記画像判断手段の判断に基づいて第２対象物については第２対象物の存在を検知後、前記第２対象物に対する接触予想時間が所定値以下になった時に運転者への注意喚起を実施する注意喚起手段と、
   前記注意喚起手段による第１対象物についての運転者へ注意喚起開始後、所定時間以内又は所定走行距離以内に運転者が第１対象物の存在に気付いたことを所定条件として該所定条件の充足を判断する充足判断手段と、
   前記充足判断手段が前記所定条件を充足していないと判断したときには、前記注意喚起手段に再度の注意喚起を実施させる制御手段とを備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記注意喚起手段は、前記再度の注意喚起を、最初の注意喚起とは同一の喚起方式でかつ強めたものとするか、又は異なる喚起方式で行うことを特徴とする車両周辺監視装置。
3. 請求項１又は２記載の車両周辺監視装置において、
   前記充足判断手段は、前記注意喚起手段による第１対象物についての運転者へ注意喚起開始後、所定時間以内又は所定走行距離以内に運転者が接触回避の運転操作を行ったときは、前記所定条件が充足したと判断することを特徴とする車両周辺監視装置。