JPWO2011155152A1 - 車両の周辺監視装置 - Google Patents

Abstract

本発明の周辺監視装置は、車両の周辺画像を取得する撮像手段と、取得されたグレースケール画像を多値化する手段と、多値化画像において対象物の候補を含む領域に第１のエッジ抽出マスクを適用して、複数の水平エッジを検出する手段と、複数の水平エッジの中でエッジ強度が最大な水平エッジの位置を対象物の頭部上端の位置として検出する頭部上端検出手段と、対象物の頭部上端の位置から下方に伸びる第２のエッジ抽出マスクを適用して、複数の垂直エッジを検出する手段と、複数の垂直エッジの位置変化に基づいて、対象物の頭部下端の位置を検出する頭部下端検出手段と、対象物の頭部上端の位置と頭部下端の位置との間隔に基づいて、対象物の頭部領域を特定する手段と、少なくとも対象物の頭部領域を含む多値化画像に基づいて、対象物が監視対象の所定対象物であるか否かを判定する手段と、を備える。

Description

本発明は、車両の周辺監視装置に関し、特に車両に搭載された撮像手段により得られる画像から、歩行者を含む対象物の頭部領域を検出することに関する。

特許文献１は、車両の周辺を監視する周辺監視装置を開示する。この周辺監視装置では、車両に搭載された撮像手段により得られる画像に、エッジフィルタを適用して得られる水平エッジの位置から監視する対象物（例えば歩行者）の部分（例えば頭部）を特定する。

特許第４１２８５６２号公報

特許文献１に記載の周辺監視装置では、左右一組の赤外線カメラ（ステレオカメラ）により取得した左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、その距離情報を用いて画像上の監視する対象物が含まれる領域（マスク領域）を設定している。

したがって、単一の赤外線カメラを用いる場合は正確な距離情報を得ることができず、画像上のマスク領域を適切に設定できない場合がある。

また、２台のカメラを搭載することによるコストアップ、さらには両カメラの光軸調整等が必要となる。

さらに、近年、車両周辺の大人子供判定等のために歩行者の頭部サイズを距離算出前の処理にて利用するアルゴリズムも考えられており、距離情報を用いない歩行者の頭部サイズ算出手法が求められている。

そこで、本発明は、この従来技術の問題を軽減あるいは解消すること、すなわち、車両と監視する対象物（例えば歩行者）との距離情報を用いることなく、画像上の対象物の頭部領域を精度よく検出して、対象物の検知精度を向上させることを目的とする。

本発明は、車両の周辺監視装置を提供する。その周辺監視装置は、車両に搭載され、該車両の周辺の画像を取得する撮像手段と、撮像手段により取得されたグレースケール画像を多値化する多値化手段と、多値化された画像において対象物の候補を含む領域に第１のエッジ抽出マスクを適用して、該マスク内の画像での複数の水平エッジを検出する水平エッジ検出手段と、第１のエッジ抽出マスク内の画像において、複数の水平エッジの中でエッジ強度が最大な水平エッジの位置を対象物の頭部上端の位置として検出する頭部上端検出手段と、多値化された画像において、対象物の頭部上端の位置から下方に伸びる第２のエッジ抽出マスクを適用して、当該第２のエッジ抽出マスク内の画像での複数の垂直エッジを検出する垂直エッジ検出手段と、第２のエッジ抽出マスク内の画像において、複数の垂直エッジの位置変化に基づいて、対象物の頭部下端の位置を検出する頭部下端検出手段と、対象物の頭部上端の位置と頭部下端の位置との間隔に基づいて、多値化された画像において対象物の頭部領域を特定する頭部領域特定手段と、少なくとも対象物の頭部領域を含む多値化された画像に基づいて、対象物が監視対象の所定対象物であるか否かを判定する対象物判定手段と、を備える。

本発明によれば、車両と監視する対象物（例えば歩行者）との距離情報を用いることなく、画像上の対象物の頭部領域を精度よく検出して、対象物の識別精度を向上させることが可能となる。

本発明の一形態によると、撮像手段は単一の赤外線カメラからなり、さらに、多値化画像上の監視対象の所定対象物のサイズまたは当該サイズの時間変化に基づいて、実空間上での車両と監視対象の対象物との距離を算出する距離算出手段を備える。

本発明の一形態によれば、単一の赤外線カメラを用いた場合においても、画像上の対象物の頭部領域を精度よく検出することができ、さらに実空間上での車両と監視対象の対象物との距離を算出することが可能となる。

本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。 本発明の一実施例に従う、赤外線カメラの取り付け位置を説明するための図である。 本発明の一実施例に従う、画像処理ユニットにおける処理フローを示す図である。 本発明の一実施例に従う、対象物の頭部を抽出する処理フローを示す図である。 本発明の一実施例に従う、水平（第１）エッジ抽出マスクの適用を説明するための図である。 本発明の一実施例に従う、垂直（第２）エッジ抽出マスクの適用を説明するための図である。 本発明の一実施例に従う、頭部の高さ、幅、中心位置の算出を説明するための図である。

図面を参照しながら本発明の実施の形態を説明する。図１は、本発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、赤外線カメラ１０によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１２と、画像処理ユニット１２による検出結果に基づいて音または音声で警報を発生するスピーカ１４と、赤外線カメラ１０の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行う表示装置１６とを備える。

なお、ナビゲーション装置を備える車両においては、スピーカ１４および表示装置１６として、ナビゲーション装置が備える該当機能を利用してもよい。また、赤外線カメラ１０の数は１つに限られず２つ以上設けてもよい。さらに、赤外線カメラ１０の代わりに他の波長帯（可視光等）を利用するカメラ（ＣＣＤカメラ等）を用いてもよい。

図１の画像処理ユニット１２は、その構成（機能）としてブロック１２１〜１２９で示される機能を有する。すなわち、画像処理ユニット１２は、赤外線カメラ１０により取得されたグレースケール画像を多値化する多値化手段１２１と、多値化された画像において対象物の候補を含む領域を抽出する領域抽出手段１２２と、その領域に第１のエッジ抽出マスクを適用して、該マスク内の画像での複数の水平エッジを検出する水平エッジ検出手段１２３と、第１のエッジ抽出マスク内の画像において、複数の水平エッジの中でエッジ強度が最大な水平エッジの位置を対象物の頭部上端の位置として検出する頭部上端検出手段１２４と、多値化された画像において、対象物の頭部上端の位置から下方に伸びる第２のエッジ抽出マスクを適用して、当該第２のエッジ抽出マスク内の画像での複数の垂直エッジを検出する垂直エッジ検出手段１２５と、第２のエッジ抽出マスク内の画像において、複数の垂直エッジの位置変化に基づいて、対象物の頭部下端の位置を検出する頭部下端検出手段１２６として機能する。

画像処理ユニット１２は、さらに、対象物の頭部上端の位置と頭部下端の位置との間隔に基づいて、多値化された画像において対象物の頭部領域を特定する頭部領域特定手段１２７と、少なくとも対象物の頭部領域を含む多値化された画像に基づいて、対象物が監視対象の所定対象物であるか否かを判定する対象物判定手段１２８と、多値化された画像上の監視対象の所定対象物のサイズまたは当該サイズの時間変化に基づいて、実空間上での車両と監視対象の対象物との距離を算出する距離算出手段１２９として機能する。

画像処理ユニット１２は、さらに、自車両の速度（車速）を検出する車速センサ、ブレーキセンサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等からの検出信号を受けて必要な処理をおこなう機能を有する。

各ブロックの機能は、画像処理ユニット１２が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１２の構成は、ナビゲーション装置の中に組み込んでもよい。

画像処理ユニット１２は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１４に対する駆動信号および表示装置１６に対する表示信号などを出力する出力回路を備えている。赤外線カメラ１０の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。

図２は、本発明の一実施例に従う、図１に示した赤外線カメラ１０の取り付け位置を説明するための図である。赤外線カメラ１０は、図２に示すように車両２０の前部バンパー部上、車幅方向の中心部に配置される。赤外線カメラ１０は、物体の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。図２の符号１６ａは、表示装置１６としてヘッドアップディスプレイ（以下「ＨＵＤ」という）を用いた場合の例を示している。ＨＵＤ１６ａは、図に示すように、車両２０のフロントウインドシールドの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられる。

図３は、本発明の一実施例に従う、画像処理ユニット１２によって実行される処理フローである。この処理フローは、画像処理ユニット１２のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。なお、以下の説明では、取得したグレースケール画像を２値化して白黒画像を得る場合を例にとり説明しているが、３値以上の多値化をしてもよい。その場合は、設定するしきい値の数は増えるが、基本的に２値化の場合と同様な処理をすることにより多値化画像を得ることができる。

ステップＳ１０において、赤外線カメラ１０によりフレーム毎に撮影されたフレーム毎の出力信号である赤外線画像のアナログ信号を入力し、該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像をメモリに格納する。

ステップＳ１１において、得られたグレースケール画像に２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って、撮影したフレーム毎にグレースケール画像に対応する２値化画像としてメモリに格納する。

ステップＳ１２において、２値化画像の「１」（白）をＸ方向（水平方向）の走査ライン毎にランレングスデータに変換し、Ｙ方向に重なる部分のあるラインを１つの対象物とみなし、当該対象物の外接四角形にそれぞれラベルを付け、対象物候補領域とするラベリング処理を行う。

次のステップＳ１３において、ステップＳ１２で得られた対象物候補領域の画像について、対象物の頭部を抽出するルーチンを実行する。図４は、対象物の頭部を抽出するルーチン（処理フロー）を示す図である。

図４のステップＳ１３１において、対象物候補領域を含む画像上に水平エッジを検出するためのエッジ抽出マスクを適用する。図５は、エッジ抽出マスクの適用を説明するための図である。図５の（ａ）は、対象物候補領域２２を含む２値化画像である。対象物候補領域２２内に対象物として人体（歩行者）らしき像があり、頭部２３と胴体部２４の２つの部分に分かれている。イメージとしてエッジ抽出マスクを符号２５で示すように適用する。具体的には、エッジ抽出マスク２５内の画像（画素）に、例えばＳｏｂｅｌ、Ｐｒｅｗｉｔｔ等のノイズ除去機能のあるエッジフィルタを適用する。

ステップＳ１３２において、エッジ抽出マスク２５内の画像における水平エッジ２６を検出する。水平エッジの検出は、従来方法を利用して、例えばエッジフィルタの出力値が所定の閾値より大きいか否かでおこなう。ステップＳ１３３において、水平エッジ２６の中で最もエッジ強度の高い画素位置を頭部の上端の位置として検出する。図５の例では、（ｂ）の点ＰＴの位置が頭部２３の上端の位置となる。このように、本発明の一実施形態によれば、エッジ抽出マスク内で検出された水平エッジ（そのエッジ強度）から対象物の頭部上端の位置を特定することができる。

ステップＳ１３４において、対象物候補領域の画像上に垂直エッジを検出するためのエッジ抽出マスクを適用する。図６は、エッジ抽出マスクの適用を説明するための図である。図６の（ａ）は、図５（ａ）と同様に対象物候補領域２２を含む２値化画像である。エッジ抽出マスクを符号２８で示すように、ステップＳ１３３において検出した頭部２３の上端の位置ＰＴから下に伸びるマスクとして適用する。具体的には、エッジ抽出マスク２８内の画像（画素）に、例えば所定諧調以上の輝度の差分を抽出するフィルタを適用する。その際、必要に応じてノイズ成分の除去をおこなう。

ステップＳ１３５において、エッジ抽出マスク２８内の画像における垂直エッジ２９を検出する。垂直エッジの検出は、従来方法を利用して、例えばエッジフィルタの出力値が所定の閾値より大きいか否かでおこなう。ステップＳ１３６において、垂直エッジ２９を検出した画素の位置変化が所定のパターンに合致した場合に、その画素位置を頭部２３の下端の位置として検出する。図６の例では、頭部２３の下部における画素の位置変化が例えば（ｂ）に示すパターン、すなわち両側共に２画素以上広がるパターンに合致した場合に、その画素位置が頭部２３の下端の位置ＰＢとして検出される。なお、図６（ｂ）において、符号３０で指示される１つの領域（四角）が1つの画素を表わしている。また、この（ｂ）パターンはあくまで例示であって、所定のパターンとして、頭部２３の下端の位置を抽出可能な任意のパターンを採用することができる。このように、本発明の一実施形態によれば、エッジ抽出マスク内で検出された垂直エッジを含む画素の位置変化（パターン）から対象物の頭部下端（肩部）の位置を特定することができる。

ステップＳ１３７において、頭部２３の高さ、幅、中心位置を算出する。図７は、頭部２３の高さ、幅、中心位置の算出を説明するための図である。図７において、最初に既に検出された頭部２３の上端ＰＴと下端ＰＢで特定される領域にマスク領域３０を設定する。頭部２３の高さは、マスク領域３０の高さ、すなわち頭部２３の上端ＰＴと下端ＰＢの間隔ｈとして算出される。

次に、設定されたマスク領域３０において、垂直エッジ２９を抽出する。その際、連続性のないエッジ画素はノイズとして除去される。そして、Ｘライン毎に連続したエッジ゛抽出画素数を算出し、所定の閾値よりも大きい画素位置の両端を頭部両端として頭部幅を算出する。より具体的には、マスク領域３０を左右２つの領域に分けて、各領域において、外側から内側に向かって探索して最初にエッジポイントの合計値が存在した画素位置で所定の条件に合致した場合に頭部両端の位置とする。図７の例では、（ｂ）の位置Ｘａ、Ｘｂが頭部２３の両端の位置となり、両位置の間隔から頭部幅Ｗが算出される。頭部２３の中心位置は、算出された頭部幅Ｗでの中心画素位置として算出される。図７の例では、符号ＰＣの位置が中心位置となる。

このように、本発明の一実施形態によれば、車両と対象物（例えば歩行者）との距離情報を利用することなく、対象物の頭部領域のサイズ（上端、下端、高さ、幅）を精度よく検出することが可能となる。

図３に戻って、ステップＳ１４において対象物の領域を特定する。図５〜図７における対象物候補の場合を例にとれば、最初にステップＳ１３において検出された頭部上端の位置ＰＴから下に伸びるマスク領域を設定する。次に、そのマスク領域内の頭部下端の位置ＰＢから下側にかつ左側から右側に向かって順次画素値を走査しながら探索していく。そして、暗い領域の「０」画素が連続して続いた場合、その走査部分が画像中の対象物候補２３、２４と路面との境界と判定し、その境界位置を対象物の下端ＰＦとする。なお、対象物の上端は先の頭部上端の位置ＰＴである。この位置ＰＴとＰＦ間の領域が対象物領域として特定される。

ステップＳ１５において、対象物の種別判定をする。例えば対象物候補が歩行者等の特定の対象物に該当するか否かを判定する。その具体的な判定方法は、従来から行われているように、例えば歩行者を対象とする場合は、対象物候補が歩行者の特徴（頭部、脚部等）に該当するか否か、あるいは周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度から歩行者であるか否かを判定する。

ステップＳ１６において、対象物のサイズを推定する。歩行者を例にとると、まず、取得した２値化画像中の歩行者候補の身長Ｈと頭部幅Ｗの比率Ｒｉ（Ｒｉ＝Ｈ／Ｗ）を算出する。なお、画素が正方向でない場合には、予め規格化しておく。次に、予めメモリに保管してある比率Ｒのテーブル、すなわち比率Ｒと実空間上の身長および頭部幅との関係を示すテーブルを参照し、比率Ｒが算出した比率Ｒｉである（Ｒ＝Ｒｉ）ときの、実空間上の身長ＨＴ（実空間上での人体の身長であるサイズ）を推定（算出）する。

ステップＳ１７において、車両と対象物との距離を算出する。具体的には、歩行者の場合を例にとると、ステップＳ１６で推定した実空間の身長ＨＴと画像上の身長Ｈ（長さ＝画素数×画素長）と焦点距離Ｆとから、実空間上の歩行者候補までの距離Ｚを次の（１）式により算出する。なお、（１）式は歩行者の平均身長を約１７０ｃｍと仮定した場合の算出式である。

Ｚ＝ＨＴ×Ｆ／Ｈ （１）

ステップＳ１８において、経時的にフレーム毎に得られるグレースケール画像及び２値化画像から、歩行者等の温度の高い部分の動体（動いているもの）を対象物として検出し、動体の移動ベクトル（速度と方向）を検出する。また、このステップＳ１８において、ブレーキセンサ、車速センサ、及びヨーレートセンサの各出力であるブレーキ操作量、車速、ヨーレートと、ステップＳ１７で算出した対象物までの距離Ｚとに基づき、車両が対象物（歩行者）に接触の可能性があるか否かを判定する。接触の可能性があると判定した場合には、ステップＳ１９において、運転者に報知する。具体的には、歩行者のグレースケール画像を表示装置１６（ＨＵＤ１６ａ）に表示するとともに、スピーカ１４を通じて警報を発生して運転者に報知し、車両の運転者に接触の回避操作を促す。

以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。

例えば、従来から行われているグレースケール画像上の輝度プロファイルを利用して対象物の頭部の情報（幅、中心等）を算出して、上述した本発明の実施形態による２値化画像上のエッジを利用して検出される頭部の情報と比較して、後者の情報の信頼性を確認した上で、車両と対象物との距離の算出および両者の接触の可能性の判断をするようにしてもよい。これにより、車両周辺の対象物の監視精度、運転者への報知精度をより向上させることが可能となる。

１０ 赤外線カメラ
１２ 画像処理ユニット
１４ スピーカ
１６ 表示装置
１６ａ ＨＵＤ
２０ 車両

Claims (4)

1. 車両に搭載され、該車両の周辺の画像を取得する撮像手段と、
   前記撮像手段により取得されたグレースケール画像を多値化する多値化手段と、
   多値化された画像において対象物の候補を含む領域に第１のエッジ抽出マスクを適用して、該マスク内の画像での複数の水平エッジを検出する水平エッジ検出手段と、
   前記第１のエッジ抽出マスク内の画像において、前記複数の水平エッジの中でエッジ強度が最大な水平エッジの位置を対象物の頭部上端の位置として検出する頭部上端検出手段と、
   前記多値化された画像において、前記対象物の頭部上端の位置から下方に伸びる第２のエッジ抽出マスクを適用して、当該第２のエッジ抽出マスク内の画像での複数の垂直エッジを検出する垂直エッジ検出手段と、
   前記第２のエッジ抽出マスク内の画像において、前記複数の垂直エッジの位置変化に基づいて、前記対象物の頭部下端の位置を検出する頭部下端検出手段と、
   前記対象物の頭部上端の位置と頭部下端の位置との間隔に基づいて、前記多値化された画像において前記対象物の頭部領域を特定する頭部領域特定手段と、
   少なくとも前記対象物の頭部領域を含む前記多値化された画像に基づいて、前記対象物が監視対象の所定対象物であるか否かを判定する対象物判定手段と、
   を備える車両の周辺監視装置。
2. 前記撮像手段は単一の赤外線カメラからなり、さらに、前記多値化された画像上の前記監視対象の所定対象物のサイズまたは当該サイズの時間変化に基づいて、実空間上での前記車両と前記監視対象の対象物との距離を算出する距離算出手段を備える、請求項１に記載の周辺監視装置。
3. 前記距離算出手段により算出された前記距離と、前記車両のブレーキ操作量、車速およびヨーレートの中から選択した少なくとも１つとに基づき、前記車両と前記所定対象物との接触可能性を判定する接触判定手段をさらに備える、請求項２に記載の周辺監視装置。
4. 前記グレースケール画像上の輝度プロファイルを利用して、前記対象物の頭部領域の情報を算出する頭部領域情報算出手段と、
   当該算出された頭部領域の情報と前記頭部領域特定手段により特定された前記対象物の頭部領域の情報とを比較して、当該特定された前記対象物の頭部領域の情報の信頼性を判定する信頼性判定手段と、をさらに備える請求項１〜３のいずれかに記載の周辺監視装置。

Images