JP2008242571A - 物体検出装置 - Google Patents

Abstract

【課題】静止車両の陰から飛び出す歩行者を早期に発見することが可能な、物体検出装置を提供する。
【解決手段】所定の撮像範囲で自車の周辺の画像を撮影するカメラと、カメラが撮影した画像および自車の速度に基づいて、撮像範囲に存在する静止車両３０を検出する静止物検出手段と、静止車両３０における自車に近い側の端に、撮像範囲よりも小さい処理領域３５を設定する処理領域設定手段と、処理領域３５内で撮影された物体が歩行者であるか判断する歩行者検出手段と、を備えたことを特徴とする。
【選択図】図３

Description

本発明は、物体検出装置に関するものである。

車両周辺の画像をカメラで撮影し、マッチング処理等により歩行者を検出する方法が提案されている（例えば、特許文献１参照）。
画像処理により歩行者を検出する場合、検出性能を向上させる方法として、各フレームにおいて歩行者候補を検出し、その歩行者候補を数フレームにわたってトラッキング（追跡）し、所定フレーム数以上連続して同じ歩行者候補が検出された場合に、その歩行者候補を歩行者として最終的に検出する方法が知られている。
特開２００３−９１４０号公報

しかしながら、各フレームでは歩行者の全身が見える場合に歩行者候補として検出するので、数フレームにわたって歩行者候補をトラッキングする方法では、歩行者の全身が見えてから所定のフレーム間は歩行者が検出されないことになる。そのため、静止車両の陰から飛び出そうとする歩行者が存在する場合には、身体の一部が見えていたとしても、全身が見えてからのトラッキング開始となり、検出に遅れが生じるという問題がある。
なお、体の一部の情報から歩行者を判断する方法では、体全体を用いる識別方法と比べて、識別能力が低下することになる。

そこで本発明は、物体の陰から飛び出そうとする歩行者を早期に発見することが可能な、物体検出装置の提供を課題とする。

上記課題を解決するために、請求項１に係る発明は、所定の撮像範囲で自車（例えば、実施形態における自車２）の周辺の画像を撮影する撮像手段（例えば、実施形態におけるカメラ５）と、前記撮像手段が撮影した画像および前記自車の速度に基づいて、前記撮像範囲に存在する静止物（例えば、実施形態における静止車両３０）を検出する静止物検出手段（例えば、実施形態における静止物検出手段１２）と、前記静止物における前記自車に近い側の端に、前記撮像範囲よりも小さい処理領域（例えば、実施形態における処理領域３５）を設定する処理領域設定手段（例えば、実施形態における処理領域設定手段１４）と、前記処理領域内で撮影された物体が歩行者（例えば、実施形態における歩行者４０）であるか判断する歩行者検出手段（例えば、実施形態における歩行者検出手段１６）と、を備えたことを特徴とする。

請求項２に係る発明は、前記歩行者検出手段は、前記処理領域内で撮影された物体を歩行者として補完可能か判断する補完可否判断手段（例えば、実施形態における補完可否判断手段）を備えたことを特徴とする。

請求項１に係る発明によれば、静止物における自車に近い側の端に処理領域を設定するので、静止物の陰から自車の進路に飛び出そうとする歩行者を確実に発見することができる。また撮像範囲よりも小さい処理領域を設定するので、演算負荷を低く抑え、飛び出そうとする歩行者を早期に発見することができる。

請求項２に係る発明によれば、歩行者の身体の一部が静止物の陰に隠れている場合でも、その画像中の物体を歩行者として補完することが可能になる。これにより、歩行者候補のトラッキングを早期に開始することが可能になり、物体の陰から飛び出そうとする歩行者を早期に発見することができる。

以下、本発明の実施形態につき図面を参照して説明する。
（物体検出装置）
図１は、本実施形態に係る物体検出装置の概略構成図である。本実施形態に係る物体検出装置１は、所定の撮像範囲で自車２の周辺の画像を撮影するカメラ（撮像手段）５と、カメラ５が撮影した画像および自車２の速度に基づいて、撮像範囲に存在する静止車両（静止物）を検出する静止物検出手段１２と、静止車両における自車２に近い側の端に、撮像範囲よりも小さい処理領域を設定する処理領域設定手段１４と、処理領域内で撮影された物体が歩行者であるか判断する歩行者検出手段１６と、を備えたものである。なお、静止物検出手段１２、処理領域設定手段１４および歩行者検出手段１６は、自車２に搭載されたコンピュータ１０に構築されている。

物体検出装置１は、所定の撮像範囲で自車２の前方の画像を撮影するカメラ５（ステレオカメラ５Ｌ，５Ｒ）を備えている。ステレオカメラ５Ｌ，５ＲはＣＣＤカメラ等で構成され、フロントガラスの内側の天井部に取り付けられている。左側カメラ５Ｌは、車幅方向中央部のバックミラー近傍に配置され、右側カメラ５Ｒは、車幅方向右端部に配置されている。なお右側カメラ５Ｒを車幅方向中央部のバックミラー近傍に配置し、左側カメラ５Ｌを車幅方向左端部に配置してもよい。左側カメラ５Ｌと右側カメラ５Ｒとの距離は、３０〜４０ｃｍ程度に設定されている。

ステレオカメラ５Ｌ，５Ｒが撮影した画像は、車両に搭載されたコンピュータ１０に入力される。コンピュータ１０には、カメラ５が撮影した画像および自車２の速度に基づいて、撮像範囲に存在する静止車両を検出する静止物検出手段１２が構築されている。静止物検出手段１２は、カメラ５の撮影画像を二値化処理した後に、テンプレートマッチング法等により車両を検出する。さらに、検出した車両の移動ベクトルを抽出して、当該車両が静止車両か否かを判断する。

また、静止車両の陰から飛び出そうとする歩行者を検出するため、検出された静止車両の近傍に処理領域を設定する処理領域設定手段１４が設けられている。処理領域設定手段１４は、静止車両における自車２に近い側の端に、撮像範囲よりも小さい処理領域を設定するものである。すなわち、自車の左側（走行車線）に存在する静止車両３０についてはその右側端部に、自車の右側（対向車線）に存在する静止車両についてはその左側端部に、処理領域３５を設定する。処理領域は矩形状とし、その大きさは歩行者の伸長および幅と同等に設定する。

また、処理領域内で撮影された物体が歩行者であるか判断する歩行者検出手段１６を備えている。歩行者検出手段１６は、処理領域内で撮影された物体を歩行者として補完可能か判断する補完可否判断手段１７を備えている。補完可否判断手段１７は、歩行者の身体の一部が静止車両の陰に隠れている場合でも、その一部を補完して歩行者の全身の画像を生成するものである。そして、このような補完が可能な場合には、処理領域内に歩行者候補が存在すると推定することができる。

また歩行者検出手段１６は、処理領域内の物体が補完可能な場合に、その物体が歩行者として識別可能か判断する歩行者識別手段１８を備えている。歩行者識別手段１８は、歩行者に対する外接四角形と同等の外接四角形が物体に対して設定される場合に、その物体を歩行者として抽出する。また歩行者候補の表面上の凹凸形状を検出し、表面上の凹凸量が相対的に大きい歩行者と、表面上の凹凸量が相対的に小さい車輪や、扉、窓、街路樹等とを識別する。歩行者として識別可能な場合には、当該画像フレームにおいて歩行者候補を検出することができる。

さらに歩行者検出手段１６は、時間的に連続する複数の画像フレームにわたって歩行者候補をトラッキング（追跡）する。所定フレーム数以上連続して同じ歩行者候補が検出され、最新のフレームにおいて歩行者候補の全身が検出された場合に、歩行者として識別可能か最終判断する。歩行者として識別可能な場合には、その歩行者候補を歩行者として最終的に検出する。

（物体検出方法）
次に、前記物体検出装置を使用した物体検出方法について説明する。
図２は物体検出方法のフローチャートである。最初に、カメラ５により所定の撮像範囲で自車２の周辺の画像を撮影する（Ｓ１０）。図３は撮影された画像の例である。
次に、静止物検出手段１２により、前記撮像範囲に駐車中の車両３０が存在するか判断する（Ｓ１２）。車両３０の有無の判断は、例えばテンプレートマッチング法によって行うことが可能である。テンプレートマッチング法は、所定形状の型紙（テンプレート）を画像上で移動させながら比較を行うことにより、所定形状の物体を検出する手法である。テンプレートとなる様々な車両形状は、予め二値化処理した上で静止物検出手段１２に登録しておく。

テンプレートマッチング法の具体的な手順として、まず画像を二値化処理する。次に、二値化処理された画像データの一部とテンプレートとを画素ごとに比較し、一致した画素数が所定数以上となった場合に、マッチングしたと判断する。このようなマッチング処理を画像データの全体について、また全てのテンプレートについて行う。なお、既存のテンプレートを拡大・縮小したものや、傾斜させたもの等についても、同様にマッチング処理を行う。そしてマッチング処理に成功した場合には、テンプレート形状の車両３０が検出されたことになる。

次に、検出された車両３０と自車との相対速度により、車両３０が静止車両であるか判断する。静止車両か否かの判断は、検出された車両３０の移動ベクトルを抽出することによって行う。一般に、動画から物体の動きを抽出する手法の一つとして、オプティカルフローが知られている。オプティカルフローは物体３０の移動ベクトル３２であり、時間的に連続する２つの画像間において、同一物体の輝度変化は小さいという仮定の下で、同程度の輝度をもつ点の移動量から算出される。

一般に自車２は、画像の消失点（Focus of Expansion；以下「ＦＯＥ」という。）に向かって進行する。この場合、周囲の静止物体（例えば街路樹９０）のオプティカルフロー９２は、ＦＯＥから湧き出すように発生する。そこで、車両３０について算出したオプティカルフローがＦＯＥから湧き出すように発生している場合に、当該車両３０が静止車両であると判断することができる。
なお、ステレオカメラ５Ｒ，５Ｌにより撮影した画像につき、それぞれ静止車両３０を検出する。なお、Ｓ１２において静止車両が存在しないと判断された場合（判断がＮｏの場合）には、Ｓ１０に戻りカメラ５で新たな画像を撮影して、静止車両の検出処理を繰り返す。

次に、処理領域設定手段１４により、歩行者検出処理を行うための処理領域３５を設定する（Ｓ１４）。後述する歩行者検出処理では、静止車両３０の陰から自車の進路に飛び出そうとする歩行者を検出する。そこで、静止車両３０における自車に近い側の端部に、歩行者検出処理の処理領域３５を設定する。すなわち、自車の左側（走行車線）に存在する静止車両３０についてはその右側端部に、自車の右側（対向車線）に存在する静止車両についてはその左側端部に、処理領域３５を設定する。このように、撮像範囲よりも小さい処理領域３５を設定することにより、監視対象とすべき歩行者を効率的に検出することができる。

処理領域３５は矩形状とし、歩行者と同等の高さおよび幅に設定する。画像において、静止車両の陰に存在する歩行者４０の下端座標は、静止車両の下端座標ｖ_ｂに略等しくなるから、静止車両の下端座標−ｖ_ｂを処理領域３５の下端座標に設定する。また、処理領域３５の上端座標ｖ_ｔに加え、左端座標ａおよび右端座標ｂ（両者間の幅width）を、以下のように設定する。

図４（ａ）は、処理領域の上端座標の設定方法の説明図である。自車に搭載されたカメラの路面に対する高さをｈとする。そのカメラから、静止車両の陰に存在する歩行者４０までの距離をＬとする。そして、カメラの焦点距離をｆとすれば、画像上の歩行者の下端座標（ｆ，−ｖ_ｂ）と、現実の歩行者４０の下端座標（Ｌ，−ｈ）との相似関係から、次式が成り立つ。

これをＬについて解けば、次式が得られる。

さらに、歩行者の身長をｐ（例えば１．８ｍ）とすれば、画像上の歩行者の上端座標（ｆ，ｖ_ｔ）と、現実の歩行者４０の上端座標（Ｌ，ｐ−ｈ）との相似関係から、次式が成り立つ。

これをｖ_ｔについて解き、さらに数式２を代入すれば、次式が得られる。

図４（ｂ）は、自車がピッチングしている場合における処理領域３５の上端座標の設定方法の説明図である。自車のピッチング角度θが十分に小さいと仮定すると、上述したピッチングしていない場合と同様の手順により、次式が得られる。

以上により、処理領域３５の上端座標ｖ_ｔが設定される。

一方、画像上の歩行者の幅widthと、現実の歩行者４０の幅Ｗとの相似関係から、次式が成り立つ。

これをwidthについて解き、さらに数式２を代入すれば、次式が得られる。

図３に戻り、処理領域３５の幅方向の位置は、静止車両３０における自車に近い側の端部を中心に設定する。すなわち、静止車両３０における自車に近い側の端部のＵ方向（水平方向）座標をｃとすれば、処理領域３５の左端座標ａおよび右端座標ｂは、次式で表される。

以上により、処理領域３５の左端座標ａおよび右端座標ｂが設定される。

次に、補完可否判断手段１７により、処理領域３５内の画像が歩行者のサンプル画像により補完可能か判断する（Ｓ１６）。上述したように、静止車両３０の端部を処理領域３５に設定しているので、処理領域３５内の画像では、歩行者の身体の一部が静止車両３０の背後に隠れている可能性がある。そこで、その一部を補完して歩行者の全身の画像を生成できるか判断する。

図５および図６は、処理領域内の画像の補完方法の説明図である。まず図５（ａ）に示す処理領域内の画像を入力画像に設定する。この入力画像では、歩行者４０の下半身が静止車両３０の背後に隠れている。次に図５（ｂ）に示すように、複数の歩行者サンプル画像を用いて主成分分析（ＰＣＡ）を行う。すなわち、基底画像の線形結合により入力画像に近い画像を構成する。複数の歩行者サンプル画像は、予め補完可否判断手段１７に登録しておく。これにより、図５（ｃ）に示すように、処理領域内に存在する歩行者の予測画像が生成される。

次に図５（ｄ）に示すように、入力画像および予測画像を小領域に分割し、対応する小領域どうしを比較する。そして、略一致する小領域の数が所定値を超えた場合には、補完可能と判断する。すなわち、入力画像中に歩行者の全身が表れていなくても、歩行者サンプル画像の線形結合により、歩行者の隠れ部分を補完しうると判断する。この場合、入力画像の隠れ部分の補完を行う（Ｓ１８）。具体的には、図５（ｅ）に示すように、入力画像が予測画像と似ていない（略一致しない）部分を予測画像に近づける（予測画像で置換する）。そして、生成された画像を新たな入力画像として、上記処理を繰り返す。

一方、図６（ａ）に示す入力画像には、歩行者が全く存在しない。この場合でも、図６（ｂ）に示すように、基底画像の線形結合により、入力画像に近い画像を構成する。これにより、図６（ｃ）に示す予測画像が生成される。次に図６（ｄ）に示すように、入力画像および予測画像を小領域に分割し、対応する小領域どうしを比較する。この場合には、略一致する小領域の数が所定値を超えないので、補完不能と判断する。

次に、歩行者識別手段１８により、補完された画像中の物体が歩行者と識別可能か判断する（Ｓ２０）。その具体的な方法として、特開２００５−２８４７９９号公報に記載された技術を採用することが可能である。ここでは、補完された画像に対して、歩行者を検知対象物とした特徴量算出や形状判別等の認識処理を行い、歩行者候補を抽出する。この認識処理では、例えば歩行者に対する外接四角形と同等の外接四角形が設定される場合に、その物体を歩行者候補として抽出する。

さらに、歩行者の表面上の複数の適宜の位置に対して、自車からの相対距離を算出する。自車からの相対距離は、ステレオカメラ５Ｒ，５Ｌの画像から三角測量法によって求めてもよいし、自車にレーダを搭載して測定してもよい。ここで算出した相対距離により、歩行者の表面上の凹凸形状（例えば、凹凸量）を検出する。そして、検出した凹凸量が所定値よりも大きいか否かを判定する。これにより、表面上の凹凸量が相対的に大きい歩行者と、表面上の凹凸量が相対的に小さい車輪や、扉、窓、街路樹等とが識別される。すなわち、自車に対して正面を向く歩行者や横向きの歩行者では、左右の腕や脚や頭部等の身体の各部位に対する相対距離が相対的に大きく変化し、これらの歩行者に対して設定される外接四角形内における凹凸量が相対的に大きくなる。一方、車輪や、扉、窓、街路樹等の歩行者候補に対して設定される外接四角形内においては、凹凸量が相対的に小さく、人体に比べてより平坦な面が検出されることになる。したがって、歩行者の表面上の凹凸形状を検出することにより、歩行者と識別可能か判断することができる。そして、歩行者として識別可能な場合には、当該画像フレームにおいて歩行者候補が検出される。

Ｓ２０において歩行者と識別されなかった場合には、Ｓ１０においてカメラ５により新たな画像を撮影し、上述した処理を繰り返す。
一方、Ｓ２０において歩行者と識別された場合には、歩行者候補のトラッキングを行う（Ｓ２２）。すなわち、時間的に連続する画像フレームで抽出された歩行者候補が、同じ歩行者候補であるか判断することにより、当該歩行者候補を追跡する。

ところでＳ１６では、処理領域内の画像に歩行者の全身が表れていない場合に、歩行者の隠れ部分の補完可否を判断した。そして、処理領域内に歩行者が全く現れていない場合（図６参照）には、隠れ部分がないことから補完不能と判断した。ここで、歩行者が静止車両３０の陰から飛び出し、処理領域内に歩行者の全身が表れた場合にも、隠れ部分がないことから補完不能となる。すなわち、処理領域内の画像に歩行者の全身が表れている場合には、歩行者が全く表れていない場合と同様に補完不能となる。

この場合には、Ｓ２４に進んで、補完していない全身の画像で歩行者と識別可能か、最終的に判断する。この判断は、Ｓ２０の歩行者識別判断と同様に行うことが可能である。処理領域内の画像に歩行者が全く表れていない場合には、Ｓ２４の判断はＮｏになり、Ｓ１０に戻って上記処理を繰り返す。
これに対して、処理領域内の画像に歩行者の全身が表れている場合には、Ｓ２４の判断はＹｅｓになる。この場合には、当該歩行者候補を歩行者として最終的に検出する（Ｓ２６）。

以上に詳述したように、本実施形態に係る物体検出装置１は、所定の撮像範囲で自車２の周辺の画像を撮影するカメラ５と、カメラ５が撮影した画像および自車２の速度に基づいて、撮像範囲に存在する静止車両３０を検出する静止物検出手段１２と、静止車両３０における自車２に近い側の端に、撮像範囲よりも小さい処理領域３５を設定する処理領域設定手段１４と、処理領域３５内で撮影された物体が歩行者４０であるか判断する歩行者検出手段１６と、を備えたことを特徴とする。

この構成によれば、静止車両３０における自車２に近い側の端に処理領域３５を設定するので、静止車両３０の陰から自車２の進路に飛び出そうとする歩行者４０を確実に発見することができる。また撮像範囲よりも小さい処理領域３５を設定するので、飛び出そうとする歩行者４０を早期に発見することができる。

また歩行者検出手段１６は、処理領域３５内で撮影された物体を歩行者として補完可能か判断する補完可否判断手段１７を備えたことを特徴とする。
この構成によれば、歩行者４０の身体の一部が静止車両３０の陰に隠れている場合でも、その画像中の物体を歩行者として補完することが可能になる。これにより、歩行者候補のトラッキングを早期に開始することが可能になり、静止車両の陰から飛び出そうとする歩行者を早期に発見することができる。

また歩行者検出手段１６は、時間的に連続する複数の画像の処理領域３５において歩行者候補が検出された場合に、歩行者が存在すると判断することを特徴とする。
このように歩行者候補のトラッキングを行うことにより、歩行者の発見精度を向上させることができる。

また歩行者検出手段１６は、最新の処理領域３５の画像において歩行者４０の全身が検出された場合に、歩行者４０が存在すると判断することを特徴とする。
このように、最終的に歩行者４０の全身が検出されてから歩行者が存在すると判断することにより、歩行者４０の発見精度を向上させることができる。

なお、この発明は上述した実施形態に限られるものではない。
例えば、実施形態では静止車両の陰から飛び出そうとする歩行者を検出したが、静止車両以外の静止物体を認識し、その陰から飛び出そうとする歩行者を検出してもよい。また静止車両の検出方法として、実施形態ではテンプレートマッチング法を採用したが、これ以外の手法を採用することも可能である。また、実施形態における処理領域の設定範囲は一例であり、異なる範囲を処理領域に設定してもよい。

実施形態に係る物体検出装置の概略構成図である。 物体検出方法のフローチャートである。 撮影された画像の例である。 処理領域の上端座標の設定方法の説明図である。 処理領域内の画像の補完方法の説明図である。 処理領域内の画像の補完方法の説明図である。

符号の説明

１…物体検出装置 ２…車両 ５…カメラ（撮像手段） １２…静止物検出手段 １４…処理領域設定手段 １６…歩行者検出手段 ３０…静止車両（静止物） ３５…処理領域 ４０…歩行者

Claims (2)

1. 所定の撮像範囲で自車の周辺の画像を撮影する撮像手段と、
   前記撮像手段が撮影した画像および前記自車の速度に基づいて、前記撮像範囲に存在する静止物を検出する静止物検出手段と、
   前記静止物における前記自車に近い側の端に、前記撮像範囲よりも小さい処理領域を設定する処理領域設定手段と、
   前記処理領域内で撮影された物体が歩行者であるか判断する歩行者検出手段と、
   を備えたことを特徴とする物体検出装置。
2. 前記歩行者検出手段は、前記処理領域内で撮影された物体を歩行者として補完可能か判断する補完可否判断手段を備えたことを特徴とする請求項１に記載の物体検出装置。

Images