JP4263737B2 - 歩行者検知装置 - Google Patents

Description

本発明は、歩行者検知装置に関する。

近年、車両前方の近赤外線画像を撮像して表示するとともに、撮像画像から歩行者を検知して、その検知結果を近赤外線画像に重ね合わせて提示する車両用の暗視装置が実用化されている。このような暗視装置に用いられる歩行者検知技術として、検知対象物における所定部位の形状と同一形状の部位が該対象物中に連続して存在するか否かを探索し、同一形状の部位が連続して存在する場合には、該対象物は人工物であると判断して、該対象物を除外した残りの対象物から歩行者を認識する技術が特許文献１に記載されている。
特開２００５−３５２９７４号公報

一方、現実の道路周辺環境では、例えばガードレールや電柱などの人工物が複数並んで存在している状況が比較的頻繁に出現する。ここで、これら複数の人工物が検知対象物、すなわち歩行者の候補として抽出された場合、上述した技術では、複数の歩行者候補それぞれについて所定部位の形状と同一形状の部位が連続して存在するか否かを探索する必要があり、すべての歩行者候補について歩行者であるか否かを判定するには、必然的に処理時間が長くなってしまうという問題がある。そのため、特に高速で走行する車両で用いられるシステムなど、処理のリアルタイム性が要求されシステムでは、歩行者であるか否かの判定処理（歩行者検知処理）の高速化が望まれていた。

本発明は、上記問題点を解消する為になされたものであり、複数の歩行者候補が抽出された場合に、該歩行者候補が歩行者であるか否かの判定処理を高速に実行することが可能な歩行者検知装置を提供することを目的とする。

本発明に係る歩行者検知装置は、撮像された画像から歩行者の候補を抽出する歩行者候補抽出手段と、歩行者候補抽出手段により複数の歩行者候補が抽出された場合に、歩行者候補間の類似度を求めるとともに、他の歩行者候補との類似度が所定値以上である歩行者候補を歩行者ではないと判定する判定手段と、を備えることを特徴とする。

例えばガードレールや電柱などの人工物は、それぞれ略同一の形状をしている。一方、歩行者は、服装や姿勢などが各人で異なり、同一の服装・姿勢の歩行者が同時に撮像される可能性はほとんどない。このような特性を利用して、本発明に係る歩行者検知装置では、歩行者候補抽出手段により複数の歩行者候補が抽出された場合に、歩行者候補間の類似度を求めるとともに、他の歩行者候補との類似度が所定値以上である歩行者候補を歩行者ではない、すなわち人工物であると判定する。したがって、本発明に係る歩行者検知装置によれば、歩行者候補間の類似度を判定することのみにより、相互に類似する歩行者候補を同時に歩行者ではないとして棄却することができる。そのため、複数の歩行者候補が抽出された場合であっても、歩行者候補が歩行者であるか否かの判定処理を高速に実行することが可能となる。

本発明に係る歩行者検知装置では、上記判定手段が、類似度が所定値以上である他の歩行者候補が２以上ある歩行者候補を歩行者ではないと判定することが好ましい。

この場合、歩行者ではないと判断するためには、類似する歩行者候補が２つ以上あることが必要とされるため、歩行者であるか否かの判定をより精度良く行うことが可能となる。

また、本発明に係る歩行者検知装置では、上記歩行者候補抽出手段が、抽出した歩行者候補の大きさ及び／又は輝度を正規化し、上記判定手段が、歩行者候補抽出手段により正規化された歩行者候補間の類似度を求めることが好ましい。

撮像画像から抽出される歩行者候補は、撮像手段との距離やライトの照射状況などによってその大きさや輝度が異なってくる。本発明に係る歩行者検知装置によれば、抽出された歩行者候補の大きさ及び／又は輝度が正規化された後に歩行者候補間の類似度が求められるため、類似度の演算精度を向上することが可能となる。

本発明によれば、他の歩行者候補との類似度が所定値以上である歩行者候補を歩行者ではないと判定する構成としたので、複数の歩行者候補が抽出された場合に、該歩行者候補が歩行者であるか否かの判定処理を高速に実行することが可能となる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。まず、図１および図２を用いて、実施形態に係る歩行者検知装置の構成について説明する。なお、ここでは、本発明に係る歩行者検知装置が近赤外線暗視装置１に適用された場合を例にして説明する。図１は、歩行者検知装置が適用された近赤外線暗視装置１の構成を示す図である。また、図２は近赤外線暗視装置１の各機器の配置を示す図である。

近赤外線暗視装置１は、夜間走行時の運転者を支援するために、近赤外線カメラにより撮像された車両前方の近赤外線画像を表示するとともに、撮像画像から歩行者を検知して、その検知結果（歩行者情報）を近赤外線画像に重畳して表示するものである。近赤外線暗視装置１は、近赤外線投光器１０、近赤外線カメラ１２、ディスプレイ１４、および電子制御装置（以下「ＥＣＵ」という）２０を備えている。

近赤外線投光器１０は、車両の前端に配置され、車両前方に向けて取り付けられる。近赤外線投光器１０は、車両の前方に近赤外線を照射する。近赤外線投光器１０による近赤外線の照射範囲は、例えばヘッドライトのロービームの照射範囲よりも数十ｍ前方となるように設定されている。近赤外線投光器１０は、近赤外線暗視装置１の起動時にＯＮされ、停止時にＯＦＦされる。

近赤外線カメラ１２は、車両の前側（例えば、ルームミラーの裏側）に配置され、車両前方に向けて取り付けられる。近赤外線カメラ１２は、近赤外線（近赤外線投光器１０からの近赤外線の反射光など）を取り込み、その近赤外線の強弱に応じた濃淡によって近赤外線映像を生成する。この近赤外線映像は、一定時間（例えば、１／３０秒）毎のフレームの近赤外線画像からなる。近赤外線カメラ１２では、一定時間毎に、各フレームの近赤外線画像情報を画像信号としてＥＣＵ２０に送信する。

ディスプレイ１４は、近赤外線画像、および近赤外線画像から検知された歩行者の情報を運転者に提示するものであり、例えば、液晶ディスプレイやヘッドアップディスプレイなどが好適に用いられる。ディスプレイ１４では、ＥＣＵ２０から表示信号を受信し、表示信号に示される画像を表示する。歩行者情報の表示画像としては、例えば、撮像された近赤外線画像において検知された歩行者が矩形枠で囲まれて強調表示された画像などが挙げられる。

ＥＣＵ２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random AccessMemory）などからなり、ＲＯＭに記憶されているプログラムをＣＰＵで実行することによって、歩行者候補抽出部２１および判定部２２が構成される。ＥＣＵ２０では、一定時間毎に、近赤外線カメラ１２から画像信号を受信し、近赤外線画像から歩行者を検知する。そして、ＥＣＵ２０では、その歩行者の検知結果をディスプレイ１４に表示させる。なお、本実施形態では、歩行者候補抽出部２１が特許請求の範囲に記載の歩行者候補抽出手段に相当し、判定部２２が判定手段に相当する。

歩行者候補抽出部２１は、近赤外線画像から歩行者候補領域を抽出する。この抽出方法としては、特に限定せず、各種方法が適用可能である。抽出方法としては、例えば、歩行者のテンプレートを用意し、テンプレートを用いたパターンマッチングによる方法がある。具体的には、図３に示されるように、近赤外線画像から所定の大きさの矩形領域を順次切り出し、テンプレートの画像と切り出した各矩形領域画像とのマッチング度を求め、そのマッチング度がしきい値以上の場合には、その矩形領域を歩行者候補領域とする。抽出された歩行者候補領域（以下「歩行者候補」という）は、判定部２２に出力される。

なお、歩行者のテンプレートを用いたパターンマッチングでは、歩行者以外にも路上に設置されているガードレールや電柱などを歩行者候補として誤って抽出する可能性がある。ここで、ガードレールを歩行者候補と誤って抽出した例を図４に示す。

判定部２２は、歩行者候補抽出部２１で抽出された歩行者候補のサイズおよび輝度を正規化した後、正規化された歩行者候補間の類似度を演算し、該類似度に基づいて歩行者か人工物かを識別することにより、歩行者を検知する。

ここで、歩行者候補のサイズおよび輝度の正規化について説明する。近赤外線カメラ１２と歩行者候補との距離が離れるほど、近赤外線カメラ１２で撮像された画像中における歩行者候補のサイズが小さく、輝度が低くなる。そこで、各歩行者候補のサイズや輝度のばらつきを合わせることによって、後工程である類似度の演算精度を高めるため、歩行者候補のサイズおよび輝度が正規化される。サイズの正規化については、近赤外線カメラ１２と各歩行者候補との距離に応じて行うことができる。また、輝度の正規化については、例えば、輝度分布を近赤外線カメラ１２で表現することができるゼロ−スパン（０−２５５）まで伸ばしたり、分散で除算して正規分布になるようにすることにより行われる。ここで、図４で示した誤抽出された歩行者候補（ガードレール）のサイズおよび輝度を正規化する前と、正規化した後の画像を図５に示す。

続いて、歩行者候補間の類似度に基づいて歩行者か人工物かを識別する方法について説明する。例えばガードレールや電柱などの人工物は、それぞれ略同一の形状をしている。一方、歩行者は、服装や姿勢などが各人で異なり、同一の服装・姿勢の歩行者が同時に撮像される可能性はほとんどない。このような特性を利用し、判定部２２は、正規化後の歩行者候補について、画素毎の輝度差に基づいて歩行者候補間のユークリッド距離（輝度差の二乗和の平方根）を演算することによって歩行者候補間の類似度を取得するとともに、類似する歩行者候補が２つ以上ある場合には、該歩行者候補は歩行者ではない、すなわち人工物であると判定する。なお、判定結果は、表示信号としてディスプレイ１４に送信される。

次に、図６を用いて、近赤外線暗視装置１に適用されている歩行者検知装置の動作について説明する。図６は歩行者検知装置による歩行者検知処理の処理手順を示すフローチャートである。この歩行者検知処理は、ＥＣＵ２０によって行われるものであり、近赤外線暗視装置１の電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。

近赤外線暗視装置１が起動されると、近赤外線投光器１０は、車両前方に近赤外線を照射する。近赤外線カメラ１２は、車両前方を近赤外線によって撮像し、一定時間毎に各フレームの撮像画像情報からなる画像信号をＥＣＵ２０に送信する。ＥＣＵ２０は、一定時間毎に、近赤外線カメラ１２から画像信号を受信し、撮像画像を取得する。

そして、ステップＳ１００において、テンプレートを用いたパターンマッチングによって、撮像画像から歩行者候補が抽出される。続いて、ステップＳ１０２において、各歩行者候補のサイズおよび輝度が正規化される。なお、歩行者候補の抽出方法や、正規化の方法については上述したとおりであるので、ここでは説明を省略する。

続くステップＳ１０４では、正規化された歩行者候補のすべての組み合わせについて、画素毎の輝度差に基づいて歩行者候補間のユークリッド距離（輝度差の二乗和の平方根）が演算されることによって歩行者候補間の類似度が求められる。すなわち、この場合には、歩行者候補間のユークリッド距離が小さいほど類似度が大きいと判定される。ここで、図５に示された正規化後の各歩行者候補間の類似度の演算結果の一例を図７に示す。なお、この表に示された数値は、ユークリッド距離、すなわち歩行者候補間の輝度差の二乗和の平方根である。図７に示した例では、歩行者候補１〜４がガードレールを歩行者候補として誤って抽出したものであるため、形状および輝度が相互に近似しており、歩行者候補間の類似度が高く、ユークリッド距離が比較的小さい値となっている。

次に、ステップＳ１０６では、歩行者候補毎に、ユークリッド距離が所定値８００未満、すなわち類似度が高い他の歩行者候補の数をカウントする。上述した図７の例についてカウントした結果を図８に示す。図８に示されるように、歩行者候補１では、歩行者候補２とのユークリッド距離は３００、歩行者候補３とのユークリッド距離は３４３、歩行者候補４とのユークリッド距離は６７９であり、ユークリッド距離が８００未満の歩行者候補数（以下「類似候補数」という）は３つとカウントされる。同様にして、歩行者候補２〜４でも、類似候補数は３つとカウントされる。

続いて、ステップＳ１０８では、歩行者候補毎に、類似度が高い、すなわちユークリッド距離が８００未満の他の歩行者候補数が１より多いか（２以上か）否かについての判断が行われる。ここで、類似候補数が１以下（２未満）であるときには、ステップＳ１１０において、該歩行者候補は歩行者であると判定される。その後、本処理から一旦抜ける。一方、類似候補数が１より多い場合には、ステップＳ１１２において、該歩行者候補は歩行者ではなく人工物であると判定され、棄却される。その後、一旦本処理から抜ける。

なお、上述した歩行者候補１〜４では、図８の右端列に示されるように、類似候補数がいずれも３であり１より多いため、歩行者候補１〜４はいずれも歩行者ではなく人工物であると判定される。ここで、例えば歩行者候補４がガードレールではなく歩行者を抽出したものであり、他の歩行者候補１〜３とのユークリッド距離が８００以上となった場合には、類似候補数が１以下となり、歩行者候補４は歩行者であると判定される。

ここで、図９を参照しつつ、歩行者であるか非歩行者（人工物）であるかを判定するための各歩行者判定しきい値（類似度および類似候補数）の設定方法について説明する。なお、図９は歩行者判定しきい値の設定方法を説明するための図である。図９の横軸は類似度（ユークリッド距離）であり、縦軸は類似候補数である。各歩行者判定しきい値は、予め用意した複数のサンプル画像から類似度−類似候補数散布（図９）を作成し、該類似度−類似候補数散布に基づき歩行者（図９の白抜きの正方形を参照）と非歩行者（図９の黒塗りのひし形を参照）とを分離することができるように設定される。本実施形態では、類似度（ユークリッド距離）のしきい値を８００とし、類似候補数を２以上（１より大）とした。このように設定すれば、歩行者候補が非歩行者（人工物）と判定される類似度（ユークリッド距離）が８００未満かつ類似候補数が１より多い領域、すなわち図９に示される左上の領域には歩行者が含まれることなく、歩行者と非歩行者（人工物）とを正確に分離・識別することができる。

本制御形態によれば、歩行者候補間の類似度を判定することのみによって、歩行者候補が歩行者であるか人工物であるかを判定することができる。そのため、複数の歩行者候補が抽出された場合であっても、歩行者候補が歩行者であるか否かの判定処理を高速に実行することが可能となる。

また、本制御形態によれば、歩行者ではないと判断するためには、類似する歩行者候補が２つ以上あることが必要とされるため、歩行者であるか否かの判定を精度良く行うことが可能となる。

また、本制御形態によれば、抽出された歩行者候補のサイズおよび輝度が正規化された後に歩行者候補間の類似度が求められるため、類似度の演算精度を向上することが可能となる。

従来の歩行者判定手法は、歩行者候補そのものの特徴を判定するものであるため、歩行者と類似するものとの識別が困難であり、誤検知を低減することが困難であった。しかしながら、本実施形態では、歩行者候補そのものの特徴を判定することなく歩行者であるか否かを識別することができるため、歩行者の誤検知を低減することが可能となる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、近赤外線カメラで撮像した近赤外線画像に基づく歩行者検知に適用したが、近赤外線以外の不可視カメラで撮像した不可視画像あるいは可視カメラで撮像した可視画像に基づく歩行者検知にも適用可能である。

また、上記実施形態では、車両に搭載される近赤外線暗視装置に適用したが、車載装置に限定されることなく、様々な用途に適用可能である。

また、歩行者と非歩行者（人工物）とを識別する歩行者判定しきい値（類似度や類似候補数）は、上記実施形態に限られるものではない。例えば、歩行者候補間の類似度は、輝度のヒストグラムを比較することにより判定してもよい。

実施形態に係る歩行者検知装置が適用された近赤外線暗視装置の構成を示す図である。 実施形態に係る歩行者検知装置が適用された近赤外線暗視装置の各機器の配置を示す図である。 歩行者候補の抽出方法を説明するための図である。 ガードレールを歩行者候補と誤って抽出した例を示す図である。 図４に示された歩行者候補（ガードレール）のサイズおよび輝度を正規化する前後の画像を示す図である。 実施形態に係る歩行者検知装置による歩行者検知処理の処理手順を示すフローチャートである。 図５に示された正規化後の歩行者候補間の類似度の一例を示す表である。 歩行者であるか否かの判定結果の一例を示す表である。 歩行者判定しきい値の設定方法を説明するための図である。

符号の説明

１…近赤外線暗視装置、１０…近赤外線投光器、１２…近赤外線カメラ、１４…ディスプレイ、２０…ＥＣＵ、２１…歩行者候補抽出部、２２…判定部。

Claims (3)

1. 撮像された画像から歩行者の候補を抽出する歩行者候補抽出手段と、
   前記歩行者候補抽出手段により複数の歩行者候補が抽出された場合に、歩行者候補間の類似度を求めるとともに、他の歩行者候補との類似度が所定値以上である歩行者候補を歩行者ではないと判定する判定手段と、を備える、ことを特徴とする歩行者検知装置。
2. 前記判定手段は、前記類似度が前記所定値以上である他の歩行者候補が２以上ある歩行者候補を歩行者ではないと判定することを特徴とする請求項１に記載の歩行者検知装置。
3. 前記歩行者候補抽出手段は、抽出した歩行者候補の大きさ及び／又は輝度を正規化し、
   前記判定手段は、前記歩行者候補抽出手段により正規化された歩行者候補間の類似度を求めることを特徴とする請求項１または２に記載の歩行者検知装置。