JP5774770B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、車両に搭載された赤外線カメラにより取得した画像を用いて、前記車両の周辺を監視する車両周辺監視装置に関し、特に夜間や暗所等での走行時に適用して好適な車両周辺監視装置に関する。

従来から、特開２００３−２８４０５７号公報（以下、ＪＰ２００３−２８４０５７Ａという。）に示すように、赤外線カメラにより捉えられた自車両周辺の画像（グレースケール画像とその２値化画像）から、自車両との接触の可能性がある歩行者等の対象物を検知し、検知した対象物を自車両の運転者に提供する車両周辺監視装置が知られている。

ＪＰ２００３−２８４０５７Ａに係る車両周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）で撮像した自車両周辺の画像において温度が高い部分を前記対象物として検知すると共に、左右画像中の対象物の視差を求めることにより当該対象物までの距離を算出し、当該対象物の移動方向や当該対象物の位置から、自車両の走行に影響を与えそうな（接触の可能性のある）歩行者等の対象物を検出して警報を出力する（ＪＰ２００３−２８４０５７Ａの［００１４］、［００１８］）。
しかしながら、左右一組の赤外線カメラを用いる車両周辺監視装置は、高価であり、高級車の一部に採用されているのが実状である。

コストを低減するために、特許第４５２１６４２号公報（以下、ＪＰ４５２１６４２Ｂという。）に係る車両周辺監視装置では、車両に搭載された単一の赤外線カメラを用いて、所定時間間隔で車両周辺の対象物を少なくとも２回（２フレーム）撮像する。前回の画像の大きさ（サイズ）に比較して今回の撮像画像における対象物の画像の大きさ（サイズ）の変化は、対象物と車両周辺監視装置搭載車両との相対速度が高いほど大きくなる。そして、車両の前方に存在する対象物は、当該対象物と車両との相対速度が高いほど、車両への到達時間が短くなる。このように、単一の赤外線カメラであっても所定時間間隔での同一の対象物の画像部分の大きさの変化率から、車両への到達時間、いわゆるＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｎｔａｃｔ ｏｒ Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）を推定することで車両の周辺を監視することができる（ＪＰ４５２１６４２Ｂの［００１９］、［００２０］）。

ＪＰ４５２１６４２Ｂに係る技術では、異なる時点で撮像された同一の対象物が、人であるのか車両であるのかを判別する際に、予め対象物、この場合、人及び車両のそれぞれに応じた局所領域で前記対象物を分割し、異なる時点で撮像された同一対象物に係る画像を同一大きさの画像とした上で、前記局所領域の相関度が閾値以上であるときに、前記人又は前記車両であると判定している。

上記したＪＰ２００３−２８４０５７Ａ及びＪＰ４５２１６４２Ｂの従来技術に係る車両周辺監視装置を搭載した車両は、夜間走行時に、運転者の目では見えにくい監視対象物として赤外線カメラにより検出した前方の歩行者を映像により表示することができる。

夜間等に人（歩行者）を判別する際、人の頭部は、露出しているので表面温度が高く、且つ丸みをおびているので赤外線カメラで取得した画像から前記頭部の形状を判別することが容易である。

一方、車両周辺監視装置を構成する赤外線カメラを搭載した車両により、夜間に他の車両（対向車）をその前側から撮影した場合、車幅方向両端のヘッドライトが判別し易く、また、夜間に他の車両（前走車）をその後ろ側から撮影した場合、車幅方向両端のテールライトが判別し易い。

しかしながら、歩行者が並んでいる場合、赤外線カメラにより取得した画像により、並んでいる歩行者の頭部同士と、他の車両のヘッドライト（左右一組のヘッドライト）あるいはテールライト（左右一組のテールライト）と、を区別することが困難であるという課題がある。

この発明は、このような課題を考慮してなされたものであって、少なくとも２人並んでいる歩行者と、ライトを点灯している車両とを精度よく区別することを可能とする車両周辺監視装置を提供することを目的とする。

この発明に係る車両周辺監視装置は、車両に搭載された赤外線カメラにより取得した画像を用いて前記車両の周辺の歩行者を監視する車両周辺監視装置において、前記画像から、略水平方向に存在する少なくとも２つの頭部候補を抽出する頭部候補抽出部と、抽出された少なくとも２つの前記頭部候補のうち、一方の頭部候補を含む周辺画像を基準画像として作成する基準画像作成部と、他方の頭部候補を含む周辺画像を比較画像とし、前記比較画像と前記基準画像の対称性に基づき、少なくとも２つの前記頭部候補が歩行者同士であるのか車両であるのかを判定する対象物判定部と、を備えることを特徴とする。

この発明によれば、他方の頭部候補を含む周辺画像としての比較画像と、一方の頭部候補を含む周辺画像としての基準画像の対称性に基づき、対称性が高ければ、歩行者同士であり、対称性が低ければ、車両であると精度よく区別することができる。

その理由は、概ね、歩行者の頭部は丸みを帯びた左右対称な形状を有していることから、実際の頭部を含む周辺画像同士（上記基準画像と上記比較画像）は対称性が高いのに対し、赤外線カメラにより歩行者の頭部と誤認識され易いライトを備える車両の前記ライトは左右非対称な形状になっている場合も多く、且つ、実際のライトを含む周辺画像同士（上記基準画像と上記比較画像）は、車両であることを考慮すれば、フェンダーやピラー等のライトに近接する部材の存在により非対称な画像として捉えられる場合も少なくないからである。

なお、前記基準画像作成部は、前記基準画像としては、前記一方の頭部候補を含む周辺画像を、前記一方の頭部候補のみからなる画像として作成し、前記対象物判定部は、前記比較画像としては、前記他方の頭部候補を含む周辺画像を、前記他方の頭部候補のみからなる画像として作成し、前記他方の頭部候補のみからなる画像と前記一方の頭部候補のみからなる画像の対称性に基づき、少なくとも２つの前記頭部候補が歩行者同士であるのか車両であるのかを判定するようにしてもよい。

ここで、実際に頭部である頭部候補のみからなる画像は、頭部自体の画像又は頭部の外接四角形画像（「１」値からなる領域の頭部以外の部分は、「０」値であるので、結局、頭部のみの画像となる。）を意味し、実際にライトである頭部候補のみからなる画像は、ライト自体の画像又はライトの外接四角形画像（「１」値からなる領域のライト以外の部分は、「０」値であるので、結局、ライトのみの画像となる。）を意味する。

上記のように、頭部は丸みをおびた左右対称に近い形状をしており、ライトは左右非対称の角形形状のライトも少なからず存在することから、このような形状同士の比較の場合には、歩行者同士であるのか車両同士であるのかを精度よく区別することができる。

また、前記基準画像作成部は、抽出された少なくとも２つの前記頭部候補のうち、一方の頭部候補を含む周辺画像を基準画像として作成すると共に、前記基準画像を左右反転した反転画像を作成し、前記対象物判定部は、他方の頭部候補を含む周辺画像を比較画像とし、前記比較画像に対する前記基準画像及び前記反転画像のそれぞれの一致性に基づき、少なくとも２つの前記頭部候補が歩行者同士であるのか車両であるのかを判定するようにしてもよい。

この発明によれば、他方の頭部候補に係る比較画像と、一方の頭部候補に係る基準画像及び反転画像の一致性に基づき、一致性が高ければ、歩行者同士であり、一致性が低ければ、車両であると精度よく区別することができる。

その理由は、上述したように、歩行者は、概ね、頭部を左右に２分する垂直線に対して対象な形状を有しているのに対し、赤外線カメラにより歩行者の頭部と誤認識され易いライトを備える車両は、前記ライトを２分する垂直線に対して非対象な形状になっている場合が多いからである。

この場合、前記基準画像作成部は、前記周辺画像には、前記頭部候補の他に、他の特徴部分を含むように、前記基準画像を作成することで、より精度よく区別することができる。

この場合において、前記他の特徴部分は、前記頭部候補に対して、前記頭部候補の左右方向どちらかにオフセットした略垂直方向のエッジ部分とすると、より確実に精度よく歩行者同士と車両とを区別することができる。
なお、前記対象物判定部は、少なくとも２つの前記頭部候補が前記歩行者同士であるか前記車両の左右に装着されたライトであるかを判定する。

この発明によれば、少なくとも２人並んでいる歩行者と、ライトを点灯している車両と、を精度よく区別することができる。その結果、車両を歩行者であると誤検知する頻度を低くすることができる。

この発明の一実施形態に係る車両周辺監視装置の構成を示すブロック図である。 図１に示す車両周辺監視装置が搭載された車両の模式図である。 車両周辺監視装置の画像処理ユニットによる動作を説明するフローチャートである。 並んだ歩行者の２値画像の模式図である。 車両の２値画像の模式図である。 図３のフローチャート中、対象物判定処理の詳細な動作を説明するフローチャートである。 一方の歩行者を基準とした他方の歩行者の一致度算出の説明図である。 車両の一方のライト側を基準とした他方のライト側の一致度算出の説明図である。 変形例に係る車両周辺監視装置が搭載された車両の模式図である。

以下、この発明の実施形態について図面を参照して説明する。

図１は、この発明の一実施形態に係る車両周辺監視装置１０の構成を示すブロック図である。図２は、図１に示す車両周辺監視装置１０が搭載された車両（自車両ともいう。）１２の模式図である。

図１及び図２において、車両周辺監視装置１０は、該車両周辺監視装置１０を制御する画像処理ユニット１４と、この画像処理ユニット１４に接続される単一（単眼）の赤外線カメラ１６（撮像装置）と、車両１２の車速Ｖｓを検出する車速センサ１８と、運転者によるブレーキペダルの操作量（ブレーキ操作量）Ｂｒを検出するブレーキセンサ２０と、車両１２のヨーレートＹｒを検出するヨーレートセンサ２２と、音声で警報等を発するためのスピーカ２４と、赤外線カメラ１６により撮影された画像を表示し、接触の危険性が高い歩行者等の対象物（移動対象物、監視対象物）を車両１２の運転者に認識させるためのＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）２６ａ等を含む画像表示装置２６と、を備える。

画像表示装置２６としては、ＨＵＤ（ヘッドアップディスプレイ）２６ａに限らず、車両１２に搭載されたナビゲーションシステムの地図等を表示するディスプレイや、メータユニット内等に設けられた燃費等を表示するディスプレイ（マルチインフォメーションディスプレイ）を利用することができる。

画像処理ユニット１４は、車両１２の周辺の赤外線画像と車両の走行状態を示す信号（ここでは、車速Ｖｓ、ブレーキ操作量Ｂｒ及びヨーレートＹｒ）とから、車両前方の歩行者等の監視対象物を検出し、当該監視対象物との接触の可能性が高いと判断したときにスピーカ２４から警報（例えば、ピッ、ピッ、…となる音）を発すると共に、ＨＵＤ２６ａ上にグレースケール表示される撮像画像の中の監視対象物を、黄色や赤色等の目立つ色枠で囲って強調表示する。このようにして、運転者の注意を喚起する。

ここで、画像処理ユニット１４は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等の入力回路と、デジタル化した画像信号を記憶する画像メモリ（記憶部１４ｍ）と、各種演算処理を行うＣＰＵ（中央処理装置）１４ｃと、ＣＰＵ１４ｃが演算途中のデータを記憶するために使用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＣＰＵ１４ｃが実行するプログラムやテーブル、マップ及びテンプレート｛歩行者（人体）形状テンプレート等｝を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部１４ｍと、クロック（時計部）及びタイマ（計時部）と、スピーカ２４の駆動信号と画像表示装置２６の表示信号等を出力する出力回路等を備えており、赤外線カメラ１６、ヨーレートセンサ２２、車速センサ１８、及びブレーキセンサ２０の各出力信号は、デジタル信号に変換されてＣＰＵ１４ｃに入力されるように構成されている。

画像処理ユニット１４のＣＰＵ１４ｃは、これらデジタル信号を取り込み、テーブル、マップ、及びテンプレート等を参照しながらプログラムを実行することで、各種機能手段（機能部ともいう。）として機能し、スピーカ２４及び画像表示装置２６に駆動信号（音声信号や表示信号）を送出する。これらの機能は、ハードウエアにより実現することもできる。

この実施形態において、画像処理ユニット１４は、それぞれ詳細を後述する頭部候補抽出部１０１、基準画像作成部１０２、対象物判定部１０３、接触可能性判定部１０６、及び注意喚起出力生成判定部１０８等の前記機能部を有する。

なお、画像処理ユニット１４は、基本的には、赤外線カメラ１６により撮像して取得した画像と、記憶部１４ｍに記憶されている人体形状、動物形状、車両形状、及び電柱を含む支柱等の人工構造物形状等の模式的なテンプレートと比較して物体を認識（区別）する物体認識（物体区別）処理（物体検知処理）プログラムを実行する。

図２に示すように、赤外線カメラ１６は、車両１２の前部バンパー部に、光軸が車軸と平行に配置されており、撮像対象（物体）の温度が高いほど、その出力信号（撮像信号）レベルが高くなる（輝度が増加する）特性を有している。
また、ＨＵＤ２６ａは、車両１２のフロントウインドシールド上、運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

ここで、画像処理ユニット１４は、赤外線カメラ１６から出力される映像信号を、数十ｍｓ、例えば、１秒／３０フレーム［ｍｓ］のフレームクロック間隔・周期毎にデジタルデータに変換して記憶部１４ｍ（画像メモリ）に取り込み、記憶部１４ｍに取り込んだ車両前方の画像に対して各種演算処理を行う上述した機能を有する。

頭部候補抽出部１０１は、記憶部１４ｍに取り込んだ車両前方の前記画像から歩行者及び車両（他車両）等の監視対象物の画像部分を抽出し、抽出した画像部分に基づき、略水平方向に存在する少なくとも２つの頭部候補を抽出する。

基準画像作成部１０２は、頭部候補抽出部１０１により抽出された少なくとも２つの前記頭部候補のうち、一方の頭部候補の周辺画像を基準画像として作成すると共に、前記基準画像を左右反転した反転画像を作成する。

対象物判定部１０３は、少なくとも２つの前記頭部候補のうち、他方の頭部候補の周辺画像を比較画像とし、前記比較画像に対する一方の前記頭部候補から作成された前記基準画像及び前記反転画像のそれぞれの一致性に基づき、少なくとも２つの前記頭部候補が歩行者同士であるのか車両であるのかを判定する。

注意喚起出力生成判定部１０８は、前記フレームクロック間隔・周期（所定時間間隔）をもって撮像された画像間における同一の監視対象物の画像部分の大きさの変化率Ｒａｔｅを算出し、さらに前記変化率Ｒａｔｅを用いて監視対象物が車両１２に到達するまでの時間Ｔを推定すると共に、監視対象物の実空間における位置を算出し、監視対象物の実空間における移動ベクトルを算出する。

監視対象物が車両１２に到達するまでの時間（接触余裕時間ともいう。）ＴＴＣ、換言すれば、車両１２が監視対象物に接触するまでの時間ＴＴＣは、前記変化率Ｒａｔｅ（画像から求める。）と、所定時間間隔である撮像間隔（フレームクロック周期）ｄＴ（既知）とから、公知の要領にて、次の（１）式により求めることができる。
ＴＴＣ＝ｄＴ×Ｒａｔｅ／（１−Ｒａｔｅ） …（１）

なお、変化率Ｒａｔｅは、監視対象物の前回の撮像時の画像中の監視対象物の幅又は長さＷ０（それぞれ画素数で記憶しておけばよい。）と、今回の撮像時の画像中の同一監視対象物の幅又は長さＷ１（画素数）との比（Ｒａｔｅ＝Ｗ０／Ｗ１）で求めることができる。

また、監視対象物までの距離Ｚは、前記（１）式の両辺に車速Ｖｓを乗じた次の（２）式により求めることができる。なお、車速Ｖｓは、より正確には、監視対象物と車両１２間の相対速度とされる。監視対象物が停止している場合には、相対速度は、車速Ｖｓに等しい。
Ｚ＝Ｒａｔｅ×Ｖｓ×ｄＴ／（１−Ｒａｔｅ） …（２）

さらに、注意喚起出力生成判定部１０８は、算出した前記接触余裕時間ＴＴＣと、所定時間間隔をもって撮像された前記画像間における同一の監視対象物の画像部分の位置変化量Δｘ（水平方向），Δｙ（垂直方向）を算出し、算出した位置変化量（移動ベクトル）Δｘ，Δｙと、に基づいて監視対象物と車両１２との接触可能性を判定する。

基本的には以上のように構成され、且つ動作するこの実施形態に係る車両周辺監視装置１０の詳細な動作について、図３のフローチャートを参照しながら説明する。

まず、ステップＳ１において、画像処理ユニット１４は、車速センサ１８により検出される車速Ｖｓ等から車両１２の走行状態（走行中か停車中）を判定し、停車中（ステップＳ１：ＮＯ）である場合には、処理を停止する。

走行中（ステップＳ１：ＹＥＳ）である場合、ステップＳ２において、画像処理ユニット１４は、赤外線カメラ１６によりフレーム毎に撮像された車両前方の所定画角範囲のフレーム毎の出力信号である赤外線画像を取得し、Ａ／Ｄ変換したグレースケール画像を画像メモリ（記憶部１４ｍ）に格納すると共に、格納したグレースケール画像の２値化処理を行う。

２値化処理を行って、歩行者の頭部候補、歩行者の腕を含む胴体候補、及び脚候補を検出（抽出）することができる。そして、脚候補の下端を結んだ略水平線を道路面との接地点とすることができる。なお、異なる閾値で２値化処理を行うことで、頭部候補と、胴体候補等頭部候補以外の人体部分と、背景（環境温度）に分けた３値化も可能である。

人の頭部は、表面温度が高く丸みを帯びた形状をしているので、赤外線カメラ１６により取得したグレースケール画像の２値化画像から頭部候補を容易に抽出することができる。

ここでは、例として、第１輝度閾値Ｔｈ１より明るい高輝度領域Ｒ２（単に、領域Ｒ２ともいう。）を「２」とし、第１輝度閾値Ｔｈ１より暗く第２輝度閾値Ｔｈ２（Ｔｈ２＜Ｔｈ１）より明るい領域Ｒ１を「１」とする２値化処理を行い、さらに、第２輝度閾値Ｔｈ２より暗い領域Ｒ０を「０」する２値化処理を行って、全体として３値化画像への変換処理を行い、変換した３値化画像を前記フレームに対応させてフレーム毎に記憶部１４ｍに格納する。

図４は、記憶部１４ｍに格納された画像を示している。この２値化処理に基づく３値化処理では、輝度閾値の選び方によるが、並んでいる歩行者Ｐａ、Ｐｂ（人体、人）の場合には、最も高輝度の頭部５０ａ、５０ｂは、ハッチングした形状で示す領域Ｒ２とされ、次に高輝度の腕を含む胴体５２ａ、５２ｂと脚５４ａ、５４ｂとは白抜きで形状を示す領域Ｒ１とされ、環境温度に対応する最も低輝度の背景は領域Ｒ０とされる。なお、脚５４ａ、５４ｂの下端により歩行者Ｐａ、Ｐｂの道路面５６との接地点を検出することができる。歩行者Ｐａ、Ｐｂの接地点同士は、それぞれ上下にずれていてもこの発明を実施することができる。

なお、歩行者Ｐａ、Ｐｂ、頭部５０ａ、５０ｂ、胴体５２ａ、５２ｂ、及び脚５４ａ、５４ｂは、後述するステップＳ４にて、そのように判定（同定）される前は、それぞれ候補であるので、歩行者候補Ｐａ、Ｐｂ、頭部候補５０ａ、５０ｂ、胴体候補５２ａ、５２ｂ、及び脚候補５４ａ、５４ｂという。

次に、ステップＳ３にて、検出された歩行者候補Ｐａ、Ｐｂの頭部候補５０ａ、５０ｂは、道路面５６からの高さ範囲が所定高さ範囲内にあり、且つ頭部候補５０ａ、５０ｂ間の距離が所定距離範囲内にあるので、並んでいる歩行者候補ＰＣＸと推定されてそれぞれランレングスデータとされラベル付けされて記憶される（ラベリング処理がなされる）。この場合、処理対象画像として、歩行者候補ＰＣＸ（歩行者候補Ｐａと歩行者候補Ｐｂとからなる。）の外接四角形を含む、余裕を見たより大きな四角形状の画像が記憶される。そして、歩行者候補ＰＣＸの外接四角形を含むより大きな四角形状の画像は、必要に応じて、画像処理がし易いように、フレーム毎に同一大きさの画像に変換される。

一方、図５に示すように、ステップＳ２の２値化処理にて、車両Ｃａｒの場合には、それぞれ点灯しているヘッドライト（対向車）又はテールライト（前走車）等の左右両端側にあるライト７０ａ、７０ｂと、車両Ｃａｒのフロントグリル（対向車）又は排気管部（前走車）等の中央下部７２と、左右のタイヤ７４ａ、７４ｂとは、形状にハッチングした高輝度領域Ｒ２とされる。
その他の車体部分は、環境温度によるが、環境温度が車体部分より低い場合には、白抜きで形状を示す領域Ｒ１とされ、背景は領域Ｒ０とされる。
なお、タイヤ７４ａ、７４ｂの接地点により道路面５６を検出することができる。

実際上は、２値化処理にて、水平方向に並ぶ２つの高輝度領域のライト７０ａ、７０ｂを検出したとき、ライト７０ａ、７０ｂの上方では、所定面積の水平方向に延びる四角形のマスク範囲を上下に移動させ、このマスク内のグレースケール画像から同値が連続する部分をルーフ（及びルーフエッジ）として検出することができ、ライト７０ａ、７０ｂの側方では、垂直方向に延びる四角形のマスク範囲内のグレースケール画像から同値が連続する部分をピラー（ピラーエッジ）やフェンダー（フェンダーエッジ）として検出（抽出）することができる。

このようにして検出されたライト７０ａ、７０ｂは道路面５６からの高さが前記頭部５０ａ、５０ｂと誤検知する可能性の有る所定高さ範囲にあり、且つライト７０ａ、７０ｂ間の距離が所定距離範囲間にあるので、ライト７０ａ、７０ｂは、頭部候補とされ（ステップＳ４にて、ライト７０ａ、７０ｂと判定される前には、ライト７０ａ、７０ｂを頭部候補７０ａ、７０ｂともいう。）、並んで歩行している歩行者候補ＰＣＹと推定されてランレングスデータとされラベル付けされて記憶される。

すなわち、ステップＳ３のラベリング処理がなされる。この場合において、１枚の画像としては、歩行者候補ＰＣＹの外接四角形を含むより大きな四角形状の画像が処理対象画像として記録される。この場合にも、歩行者候補ＰＣＹの外接四角形を含むより大きな四角形状の画像が、処理がし易いように、フレーム毎に同一大きさの処理対象画像に変換される。

ステップＳ２及びステップＳ３の頭部候補抽出部１０１による処理により、頭部候補５０ａ、５０ｂを備え並んでいる歩行者候補ＰＣＸ（図４）、又は頭部候補７０ａ、７０ｂを備え並んでいる歩行者候補ＰＣＹ（図５）が検出される。

次いで、ステップＳ４において、歩行者候補ＰＣＸ及び歩行者候補ＰＣＹに対する対象物判定処理、すなわち、歩行者候補ＰＣＸ及び歩行者候補ＰＣＹが、実際に並んで歩行している歩行者Ｐａ、Ｐｂ同士であるのか、又はライト７０ａ、７０ｂを備える車両Ｃａｒであるのかの判定がなされる。
図６は、ステップＳ４の対象物判定処理の詳細フローチャートを示している。
まず、ステップＳ４ａにて基準画像作成部１０２により基準画像作成処理を行う。

図７に示すように、この基準画像作成処理では、歩行者候補ＰＣＸを構成する歩行者候補Ｐａ、Ｐｂのうちのいずれか一方、この実施形態では左側の歩行者候補Ｐａの頭部候補５０ａと、他の特徴部分である胴体候補５２ａの垂直方向の一部のエッジ５８と、を含む所定範囲の周辺画像を基準画像（基準マスク）Ｍｐｒとして作成する（切り出す）と共に、この基準画像Ｍｐｒを左右反転した基準画像である頭部候補５０ａ′とエッジ５８′とからなる反転画像（反転マスク）Ｍｐｉを作成する。

なお、基準画像Ｍｐｒは、歩行者候補Ｐａ（５０ａ、５２ａ、５４ａ）、Ｐｂ（５０ｂ、５２ｂ、５４ｂ）全体を、高輝度領域「１」として抽出し、背景を「０」とする２値画像から作成することもできる。

次いで、ステップＳ４ｂにて、対象物判定部１０３による歩行者候補ＰＣＸが２人並んだ歩行者同士であるのか車両であるのかの切り分け処理｛判定処理、一致度（類似度）算出処理｝がなされる。

このステップＳ４ｂでは、図７に示すように、他の歩行者候補Ｐｂの頭部候補５０ｂを含む周辺画像を比較画像Ｍｐｃする。比較画像Ｍｐｃは、前記基準画像Ｍｐｒ及び反転画像Ｍｐｉの大きさと、同一の大きさに設定している。

そして、他の歩行者候補Ｐｂの頭部候補５０ｂを含めた、基準画像Ｍｐｒの領域よりも広い領域を探索範囲（走査範囲）６０とし、この探索範囲６０内において、例えば、左上から左下まで、基準画像Ｍｐｒ及び反転画像Ｍｐｉを１画素ずつずらしながら（走査しながら）比較計算し、各比較計算位置において、比較画像Ｍｐｃと基準画像Ｍｐｒの一致度を算出すると共に、比較画像Ｍｐｃと反転画像Ｍｐｉの一致度を算出する。一致度は、例えば、各走査位置において、比較画像Ｍｐｃと基準画像Ｍｐｒ（グレースケール画像同士、２値画像同士、又は３値画像同士）の対応する画素の画素値の差の自乗の総和、及び比較画像Ｍｐｃと反転画像Ｍｐｉ（グレースケール画像同士、２値画像同士、又は３値画像同士）の対応する画素の画素値の差の自乗の総和、あるいは前記総和の逆数を計算する。

図７に示した歩行者候補ＰＣＸの場合には、歩行者候補Ｐａと歩行者候補Ｐｂとの頭部候補５０ａ、５０ｂの形状は極めて類似しており、且つ歩行者候補Ｐａ、Ｐｂは、頭部候補５０ａ、５０ｂをそれぞれ左右に２分する垂直線に対して対象な形状を有しているので、左側の歩行者候補Ｐａで作成された基準画像Ｍｐｒ及び反転画像Ｍｐｉと、右側の歩行者候補Ｐｂから切り出される比較画像Ｍｐｃとの一致度が、両方とも、極めて高くなる位置（比較位置又は走査位置）が存在する。

この場合、ステップＳ４ｂの判定にて、基準画像Ｍｐｒ及び反転画像Ｍｐｉの両方に対して、探索範囲６０内で一致度（類似度）が閾値より高くなる（大きくなる）比較位置が存在するので（ステップＳ４ｂ：ＹＥＳ）、ステップＳ４ｃにて、歩行者候補ＰＣＸを並んでいる歩行者Ｐａ、Ｐｂと判定する。
一方、上記のステップＳ４ａでは、略同時に、基準画像作成部１０２により、実際には車両Ｃａｒである歩行者候補ＰＣＹに対しても基準画像作成処理を行う。

図８に示すように、この基準画像作成処理では、歩行者候補ＰＣＹを構成する頭部候補７０ａ、７０ｂのうちのいずれか一方、この実施形態では左側の頭部候補７０ａと、他の特徴部分である車両Ｃａｒのリアフェンダー（この場合、左側のリアフェンダー）の垂直方向の一部のエッジ６２と、を含む所定範囲の周辺画像を基準画像（基準マスク）Ｍｃｒとして作成する（切り出す）と共に、この基準画像Ｍｃｒを左右反転した基準画像である頭部候補７０ａ′とエッジ６２′とからなる反転画像（反転マスク）Ｍｃｉを作成する。

なお、歩行者候補ＰＣＹの場合、２値画像により基準画像Ｍｃｒを作成する場合には、上述したように、例えば、頭部候補７０ａ、７０ｂを検出したときに、その水平方向左側又は右側の所定範囲にフェンダーに対応する垂直方向に延びる長い直線状を呈する部分をグレースケール画像から抽出して作成すればよい。

次いで、ステップＳ４ｂにて、歩行者候補ＰＣＸに対して行った処理と同様に、対象物判定部１０３による歩行者候補ＰＣＹが２人並んだ歩行者同士であるのか車両であるのかの切り分け処理｛判定処理、一致度（類似度）算出処理｝がなされる。

このステップＳ４ｂでは、図８に示すように、他の頭部候補７０ｂを含む周辺画像を比較画像Ｍｃｃとする。比較画像Ｍｃｃは、前記基準画像Ｍｃｒ及び反転画像Ｍｃｉの大きさと、同一の大きさに設定している。

そして、他の頭部候補７０ｂを含めた、基準画像Ｍｃｒの領域よりも広い領域を探索範囲（走査範囲）７０とし、この探索範囲６６内において、例えば、左上から左下まで、基準画像Ｍｃｒ及び反転画像Ｍｃｉを１画素ずつずらしながら（走査しながら）比較計算し、各比較計算位置において、比較画像Ｍｃｃと基準画像Ｍｃｒの一致度を算出すると共に、比較画像Ｍｃｃと反転画像Ｍｃｉの一致度を算出する。一致度は、上述したように、例えば、各走査位置において、比較画像Ｍｃｃと基準画像Ｍｃｒ（グレースケール画像同士、２値画像同士、又は３値画像同士）、又は比較画像Ｍｃｃと反転画像Ｍｃｉ（グレースケール画像同士、２値画像同士、又は３値画像同士）の対応する画素の画素値の差の自乗の総和、あるいは前記総和の逆数を計算する。

図８に示した歩行者候補ＰＣＹの場合には、頭部候補７０ａと頭部候補７０ｂの形状が、それほどには類似していなく、且つ、基準画像Ｍｃｒにおける頭部候補７０ａとエッジ６２との関係が、比較画像Ｍｃｃでは成立しないので、探索範囲６６内で、反転画像Ｍｃｉと比較画像Ｍｃｃとの間では一致度がきわめて高くなる位置（比較位置又は走査位置）が存在するが、基準画像Ｍｃｒと比較画像Ｍｃｃとの間では、探索範囲６６のどの位置であっても、一致度が、そこまでは高くならない。

よって、ステップＳ４ｂの判定にて、基準画像Ｍｃｒ及び反転画像Ｍｃｉのいずれか一方に対してのみしか、探索範囲６０内で一致度（類似度）が閾値より高くなる（大きくなる）比較位置が存在しないので（ステップＳＳ４ｂ：ＮＯ）、ステップＳ４ｄにて、歩行者候補ＰＣＹを正しく車両Ｃａｒと判定することができる。

このようにして、ステップＳ４ａ〜Ｓ４ｄからなるステップＳ４の対象物判定処理を終了した後、図３のステップＳ５にて、ステップＳ４ｃ、４ｄの判定結果に基づき、車両Ｃａｒと判定された歩行者候補ＰＣＹは、並んだ歩行者ではないとみなして、以降の処理対象から除外する（ステップＳ５：ＮＯ）。

ステップＳ５にて、歩行者Ｐａ、Ｐｂと判定された（ステップＳ５：ＹＥＳ）歩行者候補ＰＣＸに対し、ステップＳ６にて、接触可能性判定部１０６により、ステップＳ４で検知した歩行者候補ＰＣＸを有する歩行者Ｐａ、Ｐｂと車両（自車両）１２との接触可能性について判定する。

すなわち、上述したように、接触可能性は、歩行者Ｐａ、Ｐｂに対する、上述した（１）式の各接触余裕時間ＴＴＣと歩行者Ｐａ、Ｐｂの各移動ベクトルとを考慮し（距離Ｚも考慮してもよい。）、さらに、ブレーキセンサ２０、車速センサ１８、及びヨーレートセンサ２２の各出力であるブレーキ操作量Ｂｒ、車速Ｖｓ、ヨーレートＹｒと、に基づき、車両１２が歩行者Ｐａ、Ｐｂに接触する可能性があるかどうかを判定し、接触する可能性があると判定した場合（ステップＳ６：ＹＥＳ）には、ステップＳ７において、注意喚起出力生成判定部１０８は、注意喚起出力を生成し、運転者の注意を喚起する（運転者に情報を提供する）。具体的には、グレースケール画像中の歩行者を目立つ色の枠等により強調表示してＨＵＤ２６ａに表示すると共に、スピーカ２４を通じて警報を発生し、車両１２の運転者に注意を喚起する。

ここでは、注意喚起出力生成判定部１０８はＨＵＤ２６ａの表示上で、歩行者Ｐａ、Ｐｂを、赤色又は黄色等の上述した目立つ色の枠で囲んで注意喚起を促す出力を生成する。
［実施形態のまとめ及び変形例］

以上説明したように、上述した実施形態に係る車両周辺監視装置１０は、車両１２に搭載された単一の赤外線カメラ１６により取得したグレースケール画像を用いて車両１２の周辺の歩行者Ｐａ、Ｐｂを監視する。

頭部候補抽出部１０１は、グレースケール画像から、略水平方向に存在する少なくとも２つの頭部候補５０ａ、５０ｂと２つの頭部候補７０ａ、７０ｂを抽出する。

次に、基準画像作成部１０２は、少なくとも２つの頭部候補５０ａ、５０ｂを有する歩行者候補ＰＣＸのうち、一方の頭部候補５０ａの周辺画像を基準画像Ｍｐｒとして作成すると共に、基準画像Ｍｐｒを左右反転した反転画像Ｍｐｉを作成する。また、基準画像作成部１０２は、少なくとも２つの頭部候補７０ａ、７０ｂを有する歩行者候補ＰＣＹのうち、一方の頭部候補７０ａの周辺画像を基準画像Ｍｃｒとして作成すると共に、基準画像Ｍｃｒを左右反転した反転画像Ｍｃｉを作成する。

そして、対象物判定部１０３は、他方の頭部候補５０ｂの周辺画像を比較画像Ｍｐｃとし、比較画像Ｍｐｃに対する基準画像Ｍｐｒ及び反転画像Ｍｐｉのそれぞれの一致性に基づき、少なくとも２つの頭部候補５０ａ、５０ｂが歩行者Ｐａ、Ｐｂ同士であるのか車両Ｃａｒであるのかを判定する。

また、対象物判定部１０３は、他方の頭部候補７０ｂの周辺画像を比較画像Ｍｃｃとし、比較画像Ｍｃｃに対する基準画像Ｍｃｒ及び反転画像Ｍｃｉのそれぞれの一致性に基づき、少なくとも２つの頭部候補７０ａ、７０ｂが歩行者Ｐａ、Ｐｂ同士であるのか車両Ｃａｒであるのかを判定する。

この場合、他方の頭部候補５０ｂに係る比較画像Ｍｐｃと、一方の頭部候補５０ａに係る基準画像Ｍｐｒ及び反転画像Ｍｐｉの一致性に基づき、一致性が、閾値以上高ければ、歩行者Ｐａ、Ｐｂ同士であり、一致性が低ければ、車両Ｃａｒであると精度よく区別することができる。

同様に、他方の頭部候補７０ｂに係る比較画像Ｍｃｃと、一方の頭部候補７０ａに係る基準画像Ｍｃｒ及び反転画像Ｍｃｉの一致性に基づき、一致性が、閾値以上高ければ、歩行者Ｐａ、Ｐｂ同士であり、一致性が低ければ、車両Ｃａｒであると精度よく区別することができる。
よって、車両Ｃａｒを、並んで歩行する歩行者Ｐａ、Ｐｂと誤検知する頻度を低くすることができる。

なお、上述した実施形態では、基準画像作成部１０２は、少なくとも２つの頭部候補５０ａ、５０ｂ（７０ａ、７０ｂ）を有する歩行者候補ＰＣＸ（ＰＣＹ）のうち、一方の頭部候補５０ａ（７０ａ）の周辺画像を基準画像Ｍｐｒ（Ｍｃｒ）として作成すると共に、基準画像Ｍｐｒ（Ｍｃｒ）を左右反転した反転画像（左右反転画像）Ｍｐｉ（Ｍｃｉ）を作成するようにしているがこれに限らず、基準画像作成部１０２は、一方の頭部候補５０ａ（７０ａ）を含む周辺画像を基準画像Ｍｐｒ（Ｍｃｒ）として作成するのに止め、対象物判定部１０３は、他方の頭部候補５０ｂ（７０ｂ）を含む周辺画像を比較画像Ｍｐｃ（Ｍｃｃ）とし、前記比較画像Ｍｐｃ（Ｍｃｃ）と前記基準画像Ｍｐｒ（Ｍｃｒ）の対称性に基づき、少なくとも２つの歩行者候補ＰＣＸ（ＰＣＹ）が歩行者Ｐａ、Ｐｂ同士であるのか車両Ｃａｒであるのかを判定するようにしてもよい。

このように、基準画像Ｍｐｒ（Ｍｃｒ）の左右反転画像Ｍｐｉ（Ｍｃｉ）を作成しない場合であっても、頭部は丸みをおびた左右対称に近い形状をしており、ライトは左右非対称の角形形状のライトも少なからず存在することから、このような形状同士（一方の頭部候補が左右対称、他方の頭部候補が左右非対称）の比較の場合には、歩行者Ｐａ、Ｐｂ同士であるのか車両Ｃａｒであるのかを、対称性を判断することのみで区別することができる。

この意味からは、さらに他の変形例として、基準画像作成部１０２は、基準画像Ｍｐｒ（Ｍｃｒ）を、一方の頭部候補５０ａ（７０ａ）を含む周辺画像とするのではなく、前記一方の頭部候補５０ａ（７０ａ）のみからなる画像として作成し、対象物判定部１０３は、前記比較画像Ｍｐｃ（Ｍｃｃ）を、他方の頭部候補５０ｂ（７０ｂ）を含む周辺画像とするのではなく、他方の頭部候補５０ｂ（７０ｂ）のみからなる画像とし、他方の頭部候補５０ｂ（７０ｂ）のみからなる画像と前記一方の頭部候補５０ａ（７０ａ）のみからなる画像の対称性に基づき、歩行者Ｐａ、Ｐｂ同士であるのか車両Ｃａｒであるのかを判定するようにしても、一定の区別が可能である。

なお、頭部候補５０ａのみからなる画像は、例えば、図７において、頭部５０ａ自体の画像又は頭部５０ａの外接四角形画像（「１」値からなる領域の頭部５０ａ以外の部分は、「０」値であるので、結局、頭部５０ａのみの画像となる。）を意味し、図８において、頭部候補７０ａのみからなる画像は、ライト７０ａ自体の画像又はライト７０ａの外接四角形画像（「１」値からなる領域のライト７０ａ以外の部分は、「０」値であるので、結局、ライト７０ａのみの画像となる。）を意味する。

この場合において、基準画像作成部１０２は、前記周辺画像である基準画像Ｍｐｒ（Ｍｃｒ）には、頭部候補５０ａ（７０ａ）と、他の特徴部分としてのエッジ（輪郭）５８（６２）を含むようにすることで、より精度よく、歩行者Ｐａ、Ｐｂと車両Ｃａｒとを区別することができる。エッジ５８（６２）は、頭部候補５０ａ（７０ａ）に対して、頭部候補５０ａ（７０ａ）の左右方向どちらかにオフセットした略垂直方向のエッジ部分とすれば、歩行者Ｐａの胴体５２ａの縦エッジ、車両Ｃａｒのフェンダーエッジあるいはピラーエッジを選択することができる。
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

例えば、図９に示すように、車両１２Ａに搭載された左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置を用いてもよい。いわゆるステレオカメラとしての赤外線カメラ１６Ｒ、１６Ｌは、車両１２Ａの前部バンパー部に、車両１２Ａの車幅方向中心部に対して略対称な位置に配置されており、２つの赤外線カメラ１６Ｒ、１６Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。この左右一組の赤外線カメラ１６Ｒ、１６Ｌを備える車両周辺監視装置では、公知のように、左右一組の赤外線カメラ１６Ｒ、１６Ｌにより取得した自車両１２Ａ周辺の画像において温度が高い部分を対象物にすると共に、左右画像中の同一対象物の視差等を用いて三角測量の原理により前記対象物までの距離を算出し、前記対象物の移動方向（移動ベクトル）や前記対象物の位置から、車両（自車両）１２Ａの走行に影響を与えそうな対象物（接触の可能性のある対象物）を検出して注意喚起出力を出力する。

Claims (6)

1. 車両（１２）に搭載された赤外線カメラ（１６）により取得した画像を用いて前記車両（１２）の周辺の歩行者（Ｐａ，Ｐｂ）を監視する車両周辺監視装置（１０）において、
   前記画像から、略水平方向に存在する少なくとも２つの頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））を抽出する頭部候補抽出部（１０１）と、
   抽出された少なくとも２つの前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））のうち、一方の頭部候補（５０ａ又は７０ａ）を含む周辺画像を基準画像（Ｍｐｒ又はＭｃｒ）として作成する基準画像作成部（１０２）と、
   他方の頭部候補（５０ｂ又は７０ｂ）を含む周辺画像を比較画像（Ｍｐｃ又はＭｃｃ）とし、前記比較画像（Ｍｐｃ又はＭｃｃ）と前記基準画像（Ｍｐｒ又はＭｃｒ）の対称性に基づき、少なくとも２つの前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））が歩行者（Ｐａ，Ｐｂ）同士であるのか車両（Ｃａｒ）であるのかを判定する対象物判定部（１０３）と、
   を備えることを特徴とする車両周辺監視装置（１０）。
2. 請求項１に記載の車両周辺監視装置（１０）において、
   前記基準画像作成部（１０２）は、
   前記基準画像（Ｍｐｒ又はＭｃｒ）として、前記一方の頭部候補（５０ａ又は７０ａ）を含む周辺画像を、前記一方の頭部候補（５０ａ又は７０ａ）のみからなる画像として作成し、
   前記対象物判定部（１０３）は、
   前記比較画像（Ｍｐｃ又はＭｃｃ）として、前記他方の頭部候補（５０ｂ又は７０ｂ）を含む周辺画像を、前記他方の頭部候補（５０ｂ又は７０ｂ）のみからなる画像とし、前記他方の頭部候補（５０ｂ又は７０ｂ）のみからなる画像と前記一方の頭部候補（５０ａ又は７０ａ）のみからなる画像の対称性に基づき、少なくとも２つの前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））が歩行者（Ｐａ，Ｐｂ）同士であるのか車両（Ｃａｒ）であるのかを判定する
   ことを特徴とする車両周辺監視装置（１０）。
3. 請求項１又は２に記載の車両周辺監視装置（１０）において、
   前記基準画像作成部（１０２）は、
   抽出された少なくとも２つの前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））のうち、一方の頭部候補（５０ａ又は７０ａ）を含む周辺画像を基準画像（Ｍｐｒ又はＭｃｒ）として作成すると共に、前記基準画像（Ｍｐｒ又はＭｃｒ）を左右反転した反転画像（Ｍｐｉ又はＭｃｉ）を作成し、
   前記対象物判定部（１０３）は、
   他方の頭部候補（５０ｂ又は７０ｂ）を含む周辺画像を比較画像（Ｍｐｃ又はＭｃｃ）とし、前記比較画像（Ｍｐｃ又はＭｃｃ）に対する前記基準画像（Ｍｐｒ又はＭｃｒ）及び前記反転画像（Ｍｐｉ又はＭｃｉ）のそれぞれの一致性に基づき、少なくとも２つの前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））が歩行者（Ｐａ，Ｐｂ）同士であるのか車両（Ｃａｒ）であるのかを判定する
   ことを特徴とする車両周辺監視装置（１０）。
4. 請求項１又は３に記載の車両周辺監視装置（１０）において、
   前記基準画像作成部（１０２）は、
   前記周辺画像には、前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））の他に、他の特徴部分を含むように、前記基準画像（Ｍｐｒ又はＭｃｒ）を作成する
   ことを特徴とする車両周辺監視装置（１０）。
5. 請求項４記載の車両周辺監視装置（１０）において、
   前記他の特徴部分は、前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））に対して、前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））の左右方向どちらかにオフセットした略垂直方向のエッジ（５８又は６２）部分とする
   ことを特徴とする車両周辺監視装置（１０）。
6. 請求項１〜５のいずれか１項に記載の車両周辺監視装置（１０）において、
   前記対象物判定部（１０３）は、
   少なくとも２つの前記頭部候補（（５０ａ，５０ｂ）又は（７０ａ，７０ｂ））が前記歩行者（Ｐａ，Ｐｂ）同士であるか前記車両（Ｃａｒ）の左右に装着されたライト（７０ａ，７０ｂ）であるかを判定する
   ことを特徴とする車両周辺監視装置（１０）。

Images