JP2012203884A - 飛び出し歩行者判定装置及びプログラム - Google Patents

Abstract

【課題】自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定するようにする。
【解決手段】エッジ抽出部２２によって、複数の撮像画像の各々からエッジを抽出し、輪郭線生成部２４によって、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する歩行者候補の輪郭線を生成する。対応輪郭線検索部２８によって、各撮像画像において対応する輪郭線を検索し、移動量推定部３０によって、対応する輪郭線のペアの各々について水平方向の移動量を算出する。グルーピング部３２によって移動量に基づいて、輪郭線を、複数の輪郭線群に分類する。グループサイズ算出部３４によって、各輪郭線群について、高さ方向の大きさを算出する。飛び出し判定部３６によって、各輪郭線群についての移動量と高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する。
【選択図】図１

Description

本発明は、飛び出し歩行者判定装置及びプログラムに係り、特に、撮像した画像から、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し歩行者判定装置及びプログラムに関する。

従来より、１台のカメラの撮像画像により自車両前方に飛び出す物体を検出できる飛び出し物体検出装置が知られている（特許文献１）。この飛び出し物体検出装置では、自車両の走行先の道路に沿って、２列のすだれ状の検出領域と判定領域を設定する。検出領域において検出された進入者を、その横に並べて設定された判定領域において再び検出し、判定領域における進入者のオプティカルフローを算出する。このオプティカルフローと、検出領域において算出されたオプティカルフローとに基づいてそれぞれ算出される進入者の実空間上の移動速度の差が所定値以下であれば、進入者を飛び出し物体として検出する。

また、カメラで撮像した画像を画像処理して移動体を検出し、検出した移動体の移動速度の変化から歩行者に特有の変化を検出することで、歩行者を検出する歩行者検出装置が知られている（特許文献２）。この歩行者検出装置は、撮像部で撮像した自車両前方の画像から特徴点を抽出する特徴点抽出部と、特徴点を表す画素の画像上の移動速度を算出する移動情報算出部と、画像を複数の短冊領域に分割し、核短冊領域内で速度が所定範囲内の画素を同一グループとするグループ化部と、グループ内の特定の画素の座標を所定の範囲の俯瞰座標における座標に変換する座標変換部と、変換後の画素の座標および移動情報に基づいて特徴点を平面物、立体物、移動体と判定する物体属性判定部と、特徴点が移動体の場合は移動速度の変化に基づいて歩行者か否かを判定する歩行者判定部とを備える制御部を有する。

また、歩行者の将来の移動状態を予測する歩行者認識装置が知られている（特許文献３）。この歩行者認識装置では、歩行者形状取得部は、外界センサから入力される画像データからエッジ画像を生成し、歩行者候補の左右の脚部の開度Ｗを検出すると共に、歩行者候補の頭部を推定し、この頭部の位置に応じて歩行者候補の頭部を推定し、この頭部の位置に応じて歩行者候補の身長Ｈを推定する。横断可能性判定部は、歩行者形状取得部により取得された歩行者候補の身長Ｈおよび脚部の開度Ｗに基づき、身長Ｈに対する脚部の開度Ｗの比率（Ｗ／Ｈ）が所定値α以上であるか否かを判定することにより、歩行者候補が自車両の進路を横断することを判定する。

特開２００６−７２４３９号公報 特開２００７−３１６７９０号公報 特開２００７−２６４７７８号公報

しかしながら、上記の特許文献１に記載の技術では、特に市街地において、道路の路側物として、ガードレールや電柱などの構造物や樹木、ビル、塀などがあり、それが歩行者と一緒にその背景に映り込んでノイズとなる。これらの背景ノイズは、静止物なので、横断歩行者とは異なるオプティカルフローを生じてしまい、オプティカルフローによる歩行者検出が困難になる、という問題がある。

また、上記の特許文献２に記載の技術では、横断歩行者の頭部の背景には、道路の路側物が映り込む傾向があり、さらに、脚部の背景には、路面上にペイントされた車線境界の白線、横断歩道などの路面標示、車速規制などの路面表記があり、それらが背景ノイズとして映り込む。これらの背景ノイズは静止しているので、横断歩行者とは異なる画像上の移動速度を生じてしまい、画像上の移動速度による歩行者検出が困難になる、という問題がある。

また、上記の特許文献３に記載の技術では、脚部背景に、車線境界の白線、横断歩道などの路面標示、車速規制などの路面表記が映りこみ、それが背景ノイズとなるため、ステレオ視のための照合が困難となる、という問題がある。

本発明は、上述した問題を解決するために成されたものであり、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定する飛び出し歩行者判定装置及びプログラムを提供することを目的とする。

上記目的を達成するために本発明の飛び出し歩行者判定装置は、自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する輪郭線生成手段と、前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する検索手段と、前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する移動量算出手段と、前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する分類手段と、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出するサイズ算出手段と、前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し判定手段と、を含んで構成されている。

本発明のプログラムは、コンピュータを、自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出するエッジ抽出手段、前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する輪郭線生成手段、前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する検索手段、前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する移動量算出手段、前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する分類手段、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出するサイズ算出手段、及び前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し判定手段として機能させるためのプログラムである。

本発明によれば、エッジ抽出手段によって、自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出する。輪郭線生成手段によって、前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する。

そして、検索手段によって、前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する。移動量算出手段によって、前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する。

そして、分類手段によって、前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する。サイズ算出手段によって、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出する。

そして、飛び出し判定手段によって、前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する。

このように、エッジのピーク点が画像上方へ向かって連続する輪郭線を生成し、撮像画像間における輪郭線の水平方向の移動量に基づいて、輪郭線群に分類し、輪郭線群の水平方向の移動量と、輪郭線群の高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定することができる。

本発明に係る飛び出し歩行者判定装置は、前記エッジ抽出手段によって抽出されたエッジに基づいて、車線を検出する車線検出手段を更に含み、前記輪郭線生成手段は、前記車線検出手段によって検出された車線に基づいて求められる道路領域内を始点として、前記エッジのピーク点が画像上方へ向かって連続する輪郭線を、前記歩行者候補の輪郭線として生成するようにすることができる。これによって、背景ノイズを排除できるため、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かをより精度良く判定することができる。

本発明に係る飛び出し歩行者判定装置は、前記輪郭線生成手段によって生成された前記輪郭線に基づいて、前記輪郭線が歩行者の輪郭線であると仮定した場合の前記歩行者の大きさを推定する候補サイズ推定手段と、前記輪郭線生成手段によって生成された前記輪郭線のうち、前記候補サイズ推定手段によって推定された前記歩行者の大きさが所定範囲内となる輪郭線を選択する輪郭線選択手段とを更に含み、前記検索手段は、前記輪郭線選択手段によって選択された前記輪郭線について、各撮像画像において対応する輪郭線を検索するようにすることができる。これによって、背景ノイズを排除できるため、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かをより精度良く判定することができる。

本発明に係る前記検索手段は、前記撮像画像を、予め定められた進路領域、前記進路領域より右側の右領域、及び前記進路領域より左側の左領域に分割し、前記右領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より左側に探索範囲を設定し、前記左領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より右側に探索範囲を設定し、前記進路領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より左側及び右側を含む探索範囲を設定し、前記設定された探索範囲内から、対応する輪郭線を検索するようにすることができる。これによって、背景ノイズを排除できるため、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かをより精度良く判定することができる。

本発明に係る前記分類手段は、前記輪郭線を、複数の輪郭線群に分類すると共に、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線に基づいて、前記水平方向の移動量を算出し、前記飛び出し判定手段は、前記複数の輪郭線群の各々について、前記算出された前記輪郭線群の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定するようにすることができる。これによって、輪郭線群の水平方向の移動量を精度良く算出できるため、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かをより精度良く判定することができる。

本発明に係る飛び出し歩行者判定装置は、自車両の速度を検出する速度検出手段を更に含み、前記飛び出し判定手段は、前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記速度検出手段によって検出された自車両の速度とに基づいて、衝突危険性を判定し、前記判定された衝突危険性と、前記輪郭線群の前記高さ方向の大きさが閾値以上であるか否かとに基づいて、自車両の進路に飛び出す危険性が高い飛び出し歩行者が存在するか否かを判定するようにすることができる。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明によれば、エッジのピーク点が画像上方へ向かって連続する輪郭線を生成し、撮像画像間における輪郭線の水平方向の移動量に基づいて、輪郭線群に分類し、輪郭線群の水平方向の移動量と、輪郭線群の高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定することができる、という効果が得られる。

第１の実施の形態に係る飛び出し歩行者判定装置の構成を示すブロック図である。 （Ａ）撮像画像の例を示す図、及び（Ｂ）Ｓｏｂｅｌオペレータを用いて得られたエッジ強度を表わす図である。 （Ａ）撮像画像の例を示す図、及び（Ｂ）エッジのピーク点を追跡した結果を示す図である。 （Ａ）歩行者候補のサイズの算出方法を説明するための図、及び（Ｂ）除去される輪郭線の例を示す図である。 右領域、左領域、及び進路領域を説明するための図である。 探索範囲の設定方法を説明するための図である。 移動量の算出方法を説明するための図である。 輪郭線を複数の輪郭線群にグルーピングする方法を説明するための図である。 自車両がＹ＝０に到達した時点での飛び出し歩行者との距離の算出方法を説明するための図である。 自車両がＹ＝０に到達した時点での飛び出し歩行者との距離の算出方法を説明するための図である。 第１の実施の形態の飛び出し歩行者判定装置における飛び出し歩行者判定処理ルーチンの内容を示すフローチャートである。 第２の実施の形態に係る飛び出し歩行者判定装置の構成を示すブロック図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、衝突危険度が高い飛び出し歩行者が存在するか否かを判定する飛び出し歩行者判定装置に本発明を適用した場合について説明する。

図１に示すように、第１の実施の形態に係る飛び出し歩行者判定装置１０は、自車両の前方を撮像する画像撮像部１２と、自車両の速度を検出する車速センサ１４と、画像撮像部１２から出力される撮像画像及び車速センサ１４により検出される自車両の速度に基づいて衝突危険度が高い飛び出し歩行者が存在するか否かを判定する飛び出し歩行者判定処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を出力するための出力装置１８と、を備えている。

画像撮像部１２は、自車両の前方を連続して撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、用いる画像はカラーでもモノクロでも良いし、可視光画像でも赤外画像でもよい。

コンピュータ１６は、飛び出し歩行者判定装置１０全体の制御を司るＣＰＵ、後述する飛び出し歩行者判定処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、画像撮像部１２で連続して撮像されコンピュータ１６へ入力された複数の撮像画像（連続した複数フレームの撮像画像）を取得する画像取得部２０と、取得した複数の撮像画像の各々からエッジを抽出するエッジ抽出部２２と、抽出されたエッジに基づいて、歩行者候補の輪郭線を生成する輪郭線生成部２４と、生成された輪郭線に基づいて、歩行者候補のサイズを推定する候補サイズ推定部２６と、複数の撮像画像間で対応する輪郭線を検索する対応輪郭線検索部２８と、検索された対応する輪郭線のペア毎に、輪郭線の移動量を推定する移動量推定部３０と、輪郭線の移動量に基づいて、輪郭線をグルーピングするグルーピング部３２と、グルーピングされた輪郭線のグループ毎に、グループの輪郭線全体のサイズを算出するグループサイズ算出部３４と、推定された輪郭線の移動量と算出されたグループのサイズに基づいて、衝突危険度が高い飛び出し歩行者が存在するか否かを判定する飛び出し判定部３６とを備えている。

画像取得部２０は、画像撮像部１２によって撮像された撮像画像を、予め設定したフレーム数分だけ取得してメモリ（図示省略）に記憶する。

エッジ抽出部２２は、複数の撮像画像の各々について、既存のＳｏｂｅｌオペレータやＰｒｅｗｉｔｔオペレータを用いて、各画素のエッジ（輝度勾配の大きさと方向）を抽出する。例えば、図２（Ａ）に示すような撮像画像に対して、Ｓｏｂｅｌオペレータを適用して、各画素のエッジ（輝度勾配の大きさ）を示すエッジ画像（図２（Ｂ）参照）が得られる。

エッジ抽出部２２では、エッジを抽出したが、このままでは、エッジは複数部分に断片化されていて、路側物のエッジも混在している。そのため、輪郭線生成部２４では、画像中のエッジをグルーピングして線分化することにより、歩行者と背景の分離度を向上させる。

歩行者は路面上に存在しているため、歩行者の輪郭線は路面の高さから画像上方の歩行者高さの範囲に連続分布している。そのため、輪郭線生成部２４は、複数の撮像画像の各々について、図３（Ａ）、（Ｂ）に示すように、予め定められた路面領域（予め定められた路面の高さまでの領域）内から、最下端となるエッジのピーク点を選択して、そのピーク点から画像の上方もしくは斜め上方へ連続するエッジのピーク点を追跡して輪郭線として統合する。エッジ点が連続しなくなったら、ピーク追跡を終了して、追跡されたエッジのピーク点をひとつのグループとして、歩行者候補の輪郭線を生成する。エッジのピーク点を上方へ追跡することにより、ノイズとなる路側物エッジの混入を防ぐことができる。

候補サイズ推定部２６は、複数の撮像画像の各々について、生成した輪郭線の最下端点が平面の路面上であると仮定し、輪郭線が表わす歩行者候補の高さと幅を、以下のように推定する。

図４（Ａ）に示すように、撮像画像上の消失点を原点とした場合の歩行者候補の輪郭線下端の座標値をｙ_ｐ、画像撮像部１２の路面からの高さをｈ_ｃ、歩行者候補の実際の高さと幅を各々ｈ_ｐとｗ_ｐ、撮像画像上で生成された輪郭線の高さと幅を各々ｈ_ｉとｗ_ｉとする。このとき、以下の（１）式、（２）式に従って、歩行者候補のｈ_ｐとｗ_ｐが求められる（画像撮像部１２は水平、前向きに設置と仮定）。

また、平均的な横向きの歩行者のサイズは大きくても高さ２ｍ、幅０．５ｍであるので、候補サイズ推定部２６は、図４（Ｂ）に示すように、上記（１）式で計算されたｈ_ｐが高さ２ｍ以上、あるいは上記（２）式で計算されたｗ_ｐが幅０．５ｍ、以上となる輪郭線を非歩行者として除去する。
また、車道に飛び出す歩行者は３歳児の平均身長以上の大きさはあると考えられるので、候補サイズ推定部２６は、上記図４（Ｂ）に示すように、求められたｈ_ｐが約０．８m以下となる輪郭線を非歩行者として除去する。
以上の処理により、歩行者候補の輪郭を示す輪郭線を選択して、背景物などによるノイズを低減することができる。

対応輪郭線検索部２８は、連続して撮像された複数の撮像画像の各々について生成された歩行者候補の輪郭線を、当該複数の撮像画像間で対応付ける。ここで、時刻ｔの撮像画像における輪郭線と対応する、時刻ｔ＋Ｔの撮像画像における輪郭線を検索する場合には、時刻ｔ＋Ｔの撮像画像に、以下に説明する探索範囲を設定し、設定された探索範囲内から、対応する輪郭線を検索する。

まず、自車進路に進入する方向に移動して、衝突する可能性のある飛び出し歩行者を検出したいので、図５に示すように、撮像画像を右・左・進路領域に分割し、各領域毎に、対応する輪郭線の探索範囲を設定する。なお、領域分割の境界線の角度は以下の（３）式によって表わされる。

ただし、ｗ_ｃは自車両の幅であり、ｈ_ｃは、画像撮像部１２の設置位置の高さである。

時刻tで検出した輪郭線が右領域内に存在する場合には、時刻ｔ＋Ｔの撮像画像において、当該輪郭線の左側に探索範囲を設定する。時刻tで検出した輪郭線が左領域内に存在する場合には、時刻ｔ＋Ｔの撮像画像において、当該輪郭線の右側に探索範囲を設定する。時刻tで検出した輪郭線が進路領域内に存在する場合には、時刻ｔ＋Ｔの撮像画像において、当該輪郭線の左側及び右側を含む探索範囲を設定する。

さらに、歩行者の移動速度は高々２ｍ/s程度であるので、路面平面仮定から、図６に示すように、画像上の探索範囲の水平方向の幅を限定できる。探索範囲の水平方向の幅ｘ_serchは、以下の（４）式に従って表わされる。

ただし、ｖ_ｘは、歩行者移動速度であり、Ｔは撮像画像間の時間間隔である。

移動量推定部３０は、検索された対応する輪郭線の各ペアについて、複数の撮像画像間での移動量を推定する。

前段にて連続する時刻tと時刻ｔ+Ｔにおける歩行者候補の輪郭線を抽出しているので、図７に示すように、以下の（５）式に従って、輪郭線の各画素のｘ軸方向（水平方向）の移動量の平均値から移動量が求められる。

ただし、ｙの集合は、時刻tと時刻ｔ+Ｔにおける輪郭線の共通するｙ座標の集合であり、Ｎはその数である。
また、背景物は頭部背景に映り込み、脚部は胴体に対して移動量が大きいため、輪郭線をｙ方向（高さ方向）に三分割し、上下の部分の重みｃ_ｙを小さく設定して計算することにより、歩行者の胴体部の移動量Δxを精度良く求めることができる。

歩行者の輪郭は、頭部・胴体・四肢・服・鞄などの持物などの複数の輪郭線から構成されているので、それらの輪郭線を統合することにより、推定精度が向上される。そこで、グルーピング部３２は、各輪郭線について、図８に示すように、輪郭線の最下点を基準に統合範囲ｘ_int、ｙ_intの範囲内で、ｘ方向の移動量Δxの値がほぼ等しい輪郭線（移動量Δｘの差分が予め定められた誤差範囲のもの）を統合することにより、各輪郭線を複数の輪郭線群にグルーピングする。

統合範囲ｘ_int、ｙ_intは、以下の（６）式、（７）式で表される。

このとき、横向きの歩行者のサイズを想定すると、最大高さｈ_max＝２ｍ、最大幅ｗ_max＝０．５ｍと設定すればよい。

グルーピング部３２は、各輪郭線群について、輪郭線群に属する複数の輪郭線全体の移動量を、上記（６）式に従って再計算し、輪郭線群の移動量Δｘを算出する。

グループサイズ算出部３４は、各輪郭線群について、輪郭線群に属する複数の輪郭線全体の最上端と最下端との高さ（ｙ方向の距離）Ｌを算出する。

なお、以下の（８)式により、Ｌを画像上の歩行者の基準の高さで正規化しておく。

このとき、ｈ_stdは、歩行者の基準となる身長を設定する。

飛び出し判定部３６は、各輪郭線群の移動量Δｘと自車両の車速ｖ_ｃとに基づいて、以下に説明するように、衝突危険度が高い飛び出し歩行者が存在するか否かを判定する。

まず、図９に示すように、自車両と飛び出し歩行者が定速運動をしていると仮定して、自車両がＹ＝０に到達した時点での飛び出し歩行者との距離Ｘ_crossを、以下の（９）式に従って予測する。この距離Ｘ_crossが、自車両との衝突危険度の指標となる。

ただし、Ｔは、時刻ｔと時刻ｔ＋Ｔとの間の時間間隔であり、ｙ_１、ｙ_２は、時刻ｔ、ｔ＋Ｔでの画像上の歩行者足元ｙ座標と消失線の間の間隔である（図１０参照）。

そして、|Ｘ_cross|＜ｗ_ｃ／２、かつ、Ｌ´＞設定閾値であれば、当該輪郭線群が示す歩行者候補が、衝突危険度が高い飛び出し歩行者であると判定する。

飛び出し判定部３６は、衝突危険度が高い飛び出し歩行者が存在すると判定した場合、出力装置１８によって警報メッセージを出力するように制御する。

次に、図１１を参照して、第１の実施の形態の飛び出し歩行者判定装置１０のコンピュータ１６で実行される飛び出し歩行者判定処理ルーチンについて説明する。

ステップ１００で、画像撮像部１２で連続して撮像された時刻ｔ、ｔ＋Ｔの撮像画像を取得すると共に、車速センサ１４で検出された自車両の速度を取得する。

次のステップ１０２では、上記ステップ１００で取得した時刻ｔ、ｔ＋Ｔの撮像画像の各々について、各画素のエッジを抽出する。そして、ステップ１０４において、上記ステップ１００で取得した時刻ｔ、ｔ＋Ｔの撮像画像の各々について、上記ステップ１０２で抽出したエッジに基づいて、歩行者候補の輪郭線を生成する。

次のステップ１０６では、上記ステップ１０４で生成した歩行者候補の輪郭線の各々について、上記（１）式、（２）式に従って、歩行者候補の大きさを推定し、ステップ１０８において、上記ステップ１０６で推定された歩行者候補の大きさに基づいて、大きさが所定範囲外となる輪郭線は除外し、大きさが所定範囲内となる輪郭線を、歩行者候補の輪郭線として選択する。

そして、ステップ１１０において、上記ステップ１０８で選択された、時刻ｔの撮像画像における各輪郭線について、輪郭線が位置する進路領域、右領域、左領域に応じて、時刻ｔ＋Ｔの撮像画像に探索範囲を設定する。次のステップ１１２では、時刻ｔの撮像画像における各輪郭線について、時刻ｔ＋Ｔの撮像画像に設定した探索領域から、対応する輪郭線を検索する。

そして、ステップ１１４において、上記ステップ１１２での検索結果に基づいて、時刻ｔ、ｔ＋Ｔの撮像画像の間で対応する輪郭線のペアの各々について、上記（５）式に従って、水平方向の移動量Δｘを推定する。

次のステップ１１６では、上記ステップ１１４で推定された移動量Δｘに基づいて、輪郭線を、複数の輪郭線群にグルーピングすると共に、各輪郭線群について、水平方向の移動量Δｘを再計算する。ステップ１１８において、輪郭線群の各々について、高さ方向の大きさを算出し、ステップ１２０において、上記ステップ１１６で計算された各輪郭線群の移動量Δｘと、上記ステップ１１８で算出された各輪郭線群の高さ方向の大きさと、上記ステップ１００で取得した自車両の速度とに基づいて、各輪郭線群が示す歩行者候補が、衝突危険度の高い飛び出し歩行者であるか否かを判定する。

そして、ステップ１２２において、上記ステップ１２０の判定により、衝突危険度の高い飛び出し歩行者が存在するか否かを判定し、衝突危険度の高い飛び出し歩行者が存在しない場合には、飛び出し歩行者判定処理ルーチンを終了する。一方、衝突危険度の高い飛び出し歩行者が存在する場合には、ステップ１２４において、出力装置１８によって警報メッセージを出力するように制御して、飛び出し歩行者判定処理ルーチンを終了する。

以上説明したように、第１の実施の形態の飛び出し歩行者判定装置１０によればエッジのピーク点が画像上方へ向かって連続する輪郭線を歩行者候補の輪郭線として生成し、撮像画像間において対応する輪郭線の水平方向の移動量に基づいて、歩行者候補の輪郭線を輪郭線群に分類し、輪郭線群の水平方向の移動量と、輪郭線群の高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定することができる。

輪郭線の生成では、飛び出し歩行者は輪郭が連続して道路面上に存在するという前提に基づき、路面位置から画像上方へエッジのピーク点を追跡して輪郭線を生成することにより路側物の輪郭線を分離することができる。また、生成された輪郭線の大きさと、基準となる歩行者の大きさを比較することにより、背景の路面表示の輪郭線を分離することができる。また、時刻ｔ、ｔ＋Ｔの撮像画像間の輪郭線の移動量を算出後、輪郭線の移動量に基づき輪郭線のグルーピングを実施する。歩行者と背景物の移動方向は異なるので，歩行者と背景物を分離することが可能となる。このように、歩行者の輪郭線群は道路面上から連続し、かつ、同一方向に移動し、背景の路側物や路面表示の輪郭線群とは異なる方向に移動する傾向を利用することにより、背景物を分離して飛び出し歩行者の移動量を求めることができる。

また、不安定な特徴点のオプティカルフローの算出は避けて、歩行者の輪郭線の水平方向の移動量を算出することにより、移動量の算出精度を向上する。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、撮像画像から車線を検出し、道路領域内を始点とする輪郭線を、歩行者候補の輪郭線として生成している点が、第１の実施の形態と異なっている。

図１２に示すように、第２の実施の形態の飛び出し歩行者判定装置２１０のコンピュータ２１６は、画像取得部２０と、エッジ抽出部２２と、抽出されたエッジに基づいて、車線を検出する車線検出部２２３と、検出された車線に基づいて求められる道路領域内を始点として、歩行者候補の輪郭線を生成する輪郭線生成部２２４と、候補サイズ推定部２６と、対応輪郭線検索部２８と、移動量推定部３０と、グルーピング部３２と、グループサイズ算出部３４と、飛び出し判定部３６とを備えている。

車線検出部２０は、複数の撮像画像の各々から、抽出されたエッジに基づいて、車線（車道端の白線）を検出する。また、車線検出部２０は、白線だけでなく、縁石を検出して車道端を推定してもよい。

輪郭線生成部２２４は、車線検出部２０によって検出された車線や縁石から、道路領域を推定し、推定された道路領域内から、最下端となるエッジのピーク点を選択し、選択されたエッジのピーク点から、連続するエッジのピーク点を上方に追跡し、歩行者候補の輪郭線を生成する。

なお、第２の実施の形態に係る飛び出し歩行者判定装置２１０の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。

このように、歩行者候補の輪郭線の開始点を道路領域内に限定することにより、歩行者の背景にある路側物の誤検出を低減することができ、より適切な飛び出し判定が可能となる。

１０、２１０ 飛び出し歩行者判定装置
１２ 画像撮像部
１４ 車速センサ
１６、２１６ コンピュータ
２０ 車線検出部
２２ エッジ抽出部
２４、２２４ 輪郭線生成部
２６ 候補サイズ推定部
２８ 対応輪郭線検索部
３０ 移動量推定部
３２ グルーピング部
３４ グループサイズ算出部
３６ 飛び出し判定部
２２３ 車線検出部

Claims (7)

1. 自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出するエッジ抽出手段と、
   前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する輪郭線生成手段と、
   前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する検索手段と、
   前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する移動量算出手段と、
   前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する分類手段と、
   前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出するサイズ算出手段と、
   前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し判定手段と、
   を含む飛び出し歩行者判定装置。
2. 前記エッジ抽出手段によって抽出されたエッジに基づいて、車線を検出する車線検出手段を更に含み、
   前記輪郭線生成手段は、前記車線検出手段によって検出された車線に基づいて求められる道路領域内を始点として、前記エッジのピーク点が画像上方へ向かって連続する輪郭線を、前記歩行者候補の輪郭線として生成する請求項１記載の飛び出し歩行者判定装置。
3. 前記輪郭線生成手段によって生成された前記輪郭線に基づいて、前記輪郭線が歩行者の輪郭線であると仮定した場合の前記歩行者の大きさを推定する候補サイズ推定手段と、
   前記輪郭線生成手段によって生成された前記輪郭線のうち、前記候補サイズ推定手段によって推定された前記歩行者の大きさが所定範囲内となる輪郭線を選択する輪郭線選択手段とを更に含み、
   前記検索手段は、前記輪郭線選択手段によって選択された前記輪郭線について、各撮像画像において対応する輪郭線を検索する請求項１又は２記載の歩行者判定装置。
4. 前記検索手段は、前記撮像画像を、予め定められた進路領域、前記進路領域より右側の右領域、及び前記進路領域より左側の左領域に分割し、前記右領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より左側に探索範囲を設定し、前記左領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より右側に探索範囲を設定し、前記進路領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より左側及び右側を含む探索範囲を設定し、前記設定された探索範囲内から、対応する輪郭線を検索する請求項１〜請求項３の何れか１項記載の歩行者判定装置。
5. 前記分類手段は、前記輪郭線を、複数の輪郭線群に分類すると共に、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線に基づいて、前記水平方向の移動量を算出し、
   前記飛び出し判定手段は、前記複数の輪郭線群の各々について、前記算出された前記輪郭線群の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する請求項１〜請求項４の何れか１項記載の歩行者判定装置。
6. 自車両の速度を検出する速度検出手段を更に含み、
   前記飛び出し判定手段は、前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記速度検出手段によって検出された自車両の速度とに基づいて、衝突危険性を判定し、前記判定された衝突危険性と、前記輪郭線群の前記高さ方向の大きさが閾値以上であるか否かとに基づいて、自車両の進路に飛び出す危険性が高い飛び出し歩行者が存在するか否かを判定する請求項１〜請求項５の何れか１項記載の歩行者判定装置。
7. コンピュータを、
   自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出するエッジ抽出手段、
   前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する輪郭線生成手段、
   前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する検索手段、
   前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する移動量算出手段、
   前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する分類手段、
   前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出するサイズ算出手段、及び
   前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し判定手段
   として機能させるためのプログラム。