JP2019160251A - 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム - Google Patents

Abstract

【課題】路面形状の推定および俯瞰画像の作成をせずに、高速かつ高精度に物体を検出することができる画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラムを提供する。【解決手段】物体認識装置は、物体を撮像する第１撮像部および第２撮像部によりそれぞれ撮像された撮像画像のうちいずれかを輝度画像として取得する画像取得部と、第１撮像部および第２撮像部によりそれぞれ撮像された撮像画像に基づいて距離情報を演算する距離演算部３００と、輝度画像から水平エッジを抽出するエッジ抽出部４０１と、エッジ抽出部により抽出された水平エッジの両端近傍の垂直方向に長い第１領域に対応する距離情報によって定まる第２領域に基づいて物体を検出する検出部４０２と、を備える。【選択図】図４

Description

本発明は、画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラムに関する。

従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかし、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されてきている。これらの技術を応用して、自動車が物体に衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐというＡＥＢ（Ａｕｔｏｍａｔｉｃ Ｅｍｅｒｇｅｎｃｙ Ｂｒａｋｉｎｇ：衝突被害軽減ブレーキ）の制御機能を搭載した自動車も既に開発されている。また、安全性能に加えてドライバーの運転時の負荷を軽減するため、前方車両を認識して、自動で追従する制御機能であるＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）も既に車載システムとして発売されている。

これらの制御を実現するためには、自車から人または他車等の物体までの距離を正確に測定する必要があり、そのためには、ミリ波レーダおよびレーザレーダによる測距、ならびに、ステレオカメラによる測距等が実用化されている。その中でもステレオカメラを用いた物体検出の方法として、視差画像を生成したうえで、路面形状の推定、俯瞰画像の作成、およびラベリングによる視差の塊である孤立領域を検出することで物体の奥行きを含めた位置が検出できることが既に知られている。

ただし、物体検出の方法においては、上述のような路面形状の推定、および俯瞰画像の作成等を行わずに、輝度画像におけるエッジを抽出して物体を検出する技術も知られている。

このような輝度画像を用いて物体を検出する技術として、正反対の方向を有する縦エッジのペアを見つけ、当該縦エッジの間に物体が存在するものとして検出する技術が開示されている（特許文献１参照）。

しかしながら、特許文献１に記載された技術では、例えば、ポールとポールとが距離を隔てて前方に存在する場合、当該各ポールで縦エッジが検出されることになるが、これらの縦エッジがペアとして検出され、各ポール間は何もない空間でありながら物体があるものとして検出する可能性があるという問題がある。

本発明は、上記に鑑みてなされたものであって、路面形状の推定および俯瞰画像の作成をせずに、高速かつ高精度に物体を検出することができる画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、物体を撮像する第１撮像部および第２撮像部によりそれぞれ撮像された撮像画像のうちいずれかを輝度画像として取得する画像取得部と、前記第１撮像部および前記第２撮像部によりそれぞれ撮像された前記撮像画像に基づいて距離情報を演算する距離演算部と、前記輝度画像から水平エッジを抽出するエッジ抽出部と、前記エッジ抽出部により抽出された前記水平エッジの両端近傍の垂直方向に長い第１領域に対応する前記距離情報によって定まる第２領域に基づいて前記物体を検出する検出部と、を備えたことを特徴とする。

本発明によれば、路面形状の推定および俯瞰画像の作成をせずに、高速かつ高精度に物体を検出することができる。

図１は、第１の実施形態に係る機器制御システムを車両に搭載した例を示す図である。 図２は、第１の実施形態に係る物体認識装置の外観の一例を示す図である。 図３は、第１の実施形態に係る物体認識装置のハードウェア構成の一例を示す図である。 図４は、第１の実施形態に係る物体認識装置の機能ブロック構成の一例を示す図である。 図５は、撮像部から物体までの距離を導き出す原理を説明する図である。 図６は、基準画像の基準画素に対応する比較画像の対応画素を求める場合の説明図である。 図７は、画素単位のシフト量と、コスト値との関係の一例を示すグラフである。 図８は、パラボラフィッティングによるサブピクセル推定を説明する図である。 図９は、最小二乗法によるサブピクセル推定を説明する図である。 図１０は、撮像画像から生成される視差画像の一例を示す図である。 図１１は、エッジを検出するための計算用フィルタの一例を示す図である。 図１２は、水平エッジを判定するための説明図である。 図１３は、輝度画像から得られた水平エッジを示すエッジ画像の一例を示す図である。 図１４は、車両上の水平ラインまでの距離を求めることを説明する図である。 図１５は、短い水平エッジを除去した後のエッジ画像の一例を示す図である。 図１６は、視差画像に水平エッジを重畳させた例を示す図である。 図１７は、視差画像において水平エッジから車両の検出領域を示す矩形を求めるための左右の領域を示した図である。 図１８は、車両の検出領域を示す矩形の一例を示す図である。 図１９は、第１の実施形態に係る物体認識装置のステレオマッチング処理の一例を示すフローチャートである。 図２０は、第１の実施形態に係る物体認識装置のクラスタリング処理の一例を示すフローチャートである。 図２１は、第２の実施形態に係る物体認識装置の機能ブロック構成の一例を示す図である。 図２２は、矩形内でスコアを求めることを説明する図である。 図２３は、エッジ画像で求められた矩形の群の一例を示す図である。 図２４は、各矩形でのスコアから生成された顕著性マップの一例を示す図である。 図２５は、第２の実施形態に係る物体認識装置のクラスタリング処理の一例を示すフローチャートである。

以下に、図１〜図２５を参照しながら、本発明に係る画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

［第１の実施形態］
（物体認識装置を備えた車両の概略構成）
図１は、第１の実施形態に係る機器制御システムを車両に搭載した例を示す図である。図１を参照しながら、本実施形態に係る機器制御システム６０が車両７０に搭載される場合を例に説明する。

図１のうち、図１（ａ）は、機器制御システム６０を搭載した車両７０の側面図であって、機器制御システム６０の搭載態様の概略図であり、図１（ｂ）は、車両７０の正面図であり、そして、図１（ｃ）は、車両７０の平面図（上面図）である。

図１に示すように、自動車である車両７０は、機器制御システム６０を搭載している。機器制御システム６０は、車両７０の居室空間である車室に設置された物体認識装置１と、車両制御装置６と、ステアリングホイール７と、ブレーキペダル８と、を含む。

物体認識装置１は、車両７０の進行方向を撮像する撮像機能を有し、例えば、車両７０のフロントウィンドウ内側のバックミラー近傍に設置される。物体認識装置１は、構成および動作の詳細は後述するが、各ハードウェア部品を内蔵した本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両７０の進行方向の被写体を撮像できるように本体部２に固定されている。図１（ｃ）に示すように、撮像部１０ａで撮像される視界（右目視界）と、撮像部１０ｂで撮像される視界（左目視界）とは、ずれがあるため、これが視差として測定される。

車両制御装置６は、物体認識装置１から受信した認識情報に基づいて、各種車両制御を実行するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。車両制御装置６は、車両制御の例として、物体認識装置１から受信した認識情報に基づいて、ステアリングホイール７を含むステアリング系統（制御対象）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象）を制御して車両７０を減速および停止させるブレーキ制御等を実行する。

このような物体認識装置１および車両制御装置６を含む機器制御システム６０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両７０の運転の安全性を向上することができる。

なお、上述のように、物体認識装置１は、車両７０の前方を撮像するものとしたが、これに限定されるものではない。すなわち、物体認識装置１は、車両７０の後方または側方を撮像するように設置されるものとしてもよい。この場合、物体認識装置１は、車両７０の後方の後続車および人、または側方の他の車両および人等の位置を検出することができる。そして、車両制御装置６は、車両７０の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、車両制御装置６は、車両７０の駐車時等におけるバック動作において、物体認識装置１によって出力された車両７０の後方の障害物についての認識情報に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。

（物体認識装置の構成）
図２は、第１の実施形態に係る物体認識装置の外観の一例を示す図である。図２に示すように、物体認識装置１は、上述のように、各ハードウェア部品を内蔵した本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、本体部２に平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図２に示す撮像部１０ａを右のカメラと称し、撮像部１０ｂを左のカメラと称する場合がある。

＜物体認識装置のハードウェア構成＞
図３は、第１の実施形態に係る物体認識装置のハードウェア構成の一例を示す図である。図３を参照しながら、本実施形態に係る物体認識装置１のハードウェア構成について説明する。

図３に示すように、物体認識装置１は、撮像部１０ａと、撮像部１０ｂと、情報処理部３０と、を備えている。撮像部１０ａおよび撮像部１０ｂによって、いわゆるステレオカメラが構成される。

撮像部１０ａは、前方の被写体を撮像して撮像画像（輝度画像）を生成する処理部である。撮像部１０ａは、撮像レンズ１１ａと、画像センサ１３ａと、センサコントローラ２０ａと、を備えている。

撮像レンズ１１ａは、入射する光を屈折させて物体の像を画像センサ１３ａに結像させるための光学素子である。画像センサ１３ａは、撮像レンズ１１ａに入射して透過した光を電気的なアナログの画像信号に変換する半導体素子である。画像センサ１３ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子によって実現される。

センサコントローラ２０ａは、画像センサ１３ａの露光制御、画像読み出し制御、外部回路との通信、および画像データの送信制御等を行うコントローラである。センサコントローラ２０ａは、画像センサ１３ａによって得られたアナログの画像信号をデジタル形式の画像データ（以下、単に「画像」と称する場合がある）（撮像画像、輝度画像）に変換して、後段の情報処理部３０に送信する。

撮像部１０ｂは、前方の被写体を撮像して撮像画像（輝度画像）を生成する処理部である。撮像部１０ｂは、撮像レンズ１１ｂと、画像センサ１３ｂと、センサコントローラ２０ｂと、を備えている。なお、撮像レンズ１１ｂ、画像センサ１３ｂおよびセンサコントローラ２０ｂの機能は、それぞれ上述した撮像レンズ１１ａ、画像センサ１３ａおよびセンサコントローラ２０ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、左右のカメラが同一の条件で撮像されるように、それぞれのレンズの主面が互いに同一平面上にあるように設置されている。

情報処理部３０は、撮像部１０ａ、１０ｂからそれぞれ得られた輝度画像から、視差画像を生成し、当該視差画像に基づいて、輝度画像に写り込んでいる人および車等の物体を認識する物体認識処理を行う装置である。情報処理部３０は、物体認識処理の結果を示す認識情報を、車両制御装置６に出力する。情報処理部３０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４と、データＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、シリアルＩ／Ｆ３６と、シリアルバスライン３８と、データバスライン３９と、を備えている。

ＦＰＧＡ３１は、画像データに対してリアルタイム性が要求される処理を行う集積回路である。ＦＰＧＡ３１は、例えば、ガンマ補正、歪み補正（左右画像の平行化）、ブロックマッチング（ステレオマッチング処理の一例）による視差演算を行い、視差画像を生成し、生成した視差画像をＲＡＭ３４に書き込む。

ＣＰＵ３２は、情報処理部３０の各機能を制御する演算装置である。ＣＰＵ３２は、例えば、撮像部１０ａ、１０ｂのセンサコントローラ２０ａ、２０ｂの制御を行う。また、ＣＰＵ３２は、データＩ／Ｆ３５を介して、車両７０のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）情報（例えば、車速、加速度、舵角、ヨーレート等）を取得し、ＲＯＭ３３に記憶されている物体認識処理プログラムに従って、ＲＡＭ３４に記憶されている輝度画像および視差画像を用いて、物体に対する物体認識処理を行う。

ＲＯＭ３３は、ＣＰＵ３２が情報処理部３０の物体認識処理を実行する物体認識処理プログラムを記憶している不揮発性の記憶装置である。物体認識処理プログラムは、画像処理プログラムの一例である。

ＲＡＭ３４は、ＣＰＵ３２にワークエリアとして使用される揮発性の記憶装置である。

データＩ／Ｆ３５は、車両７０のＣＡＮに接続され、ＣＡＮ情報を受信するインターフェースである。シリアルＩ／Ｆ３６は、情報処理部３０による物体認識処理により生成された認識情報を、例えば、外部の車両制御装置６に送信するためのインターフェースである。

シリアルバスライン３８は、ＦＰＧＡ３１またはＣＰＵ３２からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、および各種設定データ等を、センサコントローラ２０ａ、２０ｂへ送信するためのバスである。データバスライン３９は、図３に示すように、センサコントローラ２０ａ、２０ｂ、ＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、データＩ／Ｆ３５およびシリアルＩ／Ｆ３６が互いに通信可能となるように接続するバスである。

なお、情報処理部３０は、視差画像を生成する集積回路としてＦＰＧＡ３１を備えるものとしているが、これに限定されるものではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のその他の集積回路であってもよい。

また、図３に示す物体認識装置１のハードウェア構成は一例であって、これに限定されるものではなく、図３に示した構成要素を全て含む必要はなく、または、その他の構成要素を含むものとしてもよい。

＜物体認識装置の機能ブロックの構成＞
図４は、第１の実施形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図４を参照しながら、本実施形態に係る物体認識装置１の機能ブロック構成について説明する。

図４に示すように、本実施形態に係る物体認識装置１は、画像取得部１００ａ（第１撮像部または第２撮像部）、画像取得部１００ｂ（第２撮像部または第１撮像部）と、変換部２００ａ、２００ｂと、視差演算部３００（画像取得部の一例、距離演算部）と、クラスタリング部４００（画像取得部の一例）と、棄却部５００と、トラッキング判定部５５０と、を有する。

画像取得部１００ａは、右のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像（撮像画像）である輝度画像を得る機能部である。画像取得部１００ａは、図３に示す撮像部１０ａによって実現される。

画像取得部１００ｂは、左のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像（撮像画像）である輝度画像を得る機能部である。画像取得部１００ｂは、図３に示す撮像部１０ｂによって実現される。

変換部２００ａは、画像取得部１００ａにより得られた輝度画像の画像データに対して、ノイズの除去等を行い視差画像の基となる基準画像Ｉａに変換して生成する機能部である。変換部２００ａは、図３に示すＦＰＧＡ３１によって実現される。

変換部２００ｂは、画像取得部１００ｂにより得られた輝度画像の画像データに対して、ノイズの除去等を行い視差画像の基となる比較画像Ｉｂに変換して生成する機能部である。変換部２００ｂは、図３に示すＦＰＧＡ３１によって実現される。

すなわち、変換部２００ａ、２００ｂは、画像取得部１００ａ、１００ｂそれぞれから出力された２つの輝度画像に基づいて、それぞれ基準画像Ｉａおよび比較画像Ｉｂを視差演算部３００へ出力する。また、変換部２００ａは、基準画像Ｉａを、クラスタリング部４００および棄却部５００へ出力する。

視差演算部３００は、変換部２００ａ、２００ｂそれぞれから受け取った基準画像Ｉａおよび比較画像Ｉｂに基づいて、ステレオマッチング処理である局所領域のブロックマッチング等を用いて、基準画像Ｉａの各画素についての視差値ｄｐを導出し、基準画像Ｉａの各画素に視差値を対応させた視差画像（距離情報の一例）を生成する機能部である。視差演算部３００は、図４に示すように、コスト算出部３０１と、サブピクセル推定部３０２と、視差画像生成部３０３と、を有する。

コスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値（画素値）に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する機能部である。なお、コスト値Ｃ（ｐ，ｄ）は、基準画素ｐの位置からシフト量ｄだけシフトした位置の候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値を示す。

サブピクセル推定部３０２は、コスト算出部３０１により算出された、基準画像Ｉａにおける基準画素についての比較画像Ｉｂにおける画素のコスト値Ｃの最小値に対応するシフト量ｄ、およびそれに隣接するシフト量ｄにおけるコスト値Ｃに基づいて、サブピクセル推定を実行する機能部である。

視差画像生成部３０３は、サブピクセル推定部３０２により導出されたサブピクセル単位の視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで置き換えた画像である視差画像を生成する機能部である。

視差演算部３００は、生成した視差画像を、クラスタリング部４００へ出力する。視差演算部３００は、図３に示すＦＰＧＡ３１によって実現される。

クラスタリング部４００は、変換部２００ａから受信した基準画像、視差演算部３００から受信した視差画像に基づいて、視差画像に写っている物体を検出する機能部である。クラスタリング部４００は、図４に示すように、エッジ抽出部４０１と、物体検出部４０２（検出部）と、を有する。

なお、変換部２００ａからクラスタリング部４００に基準画像Ｉａが入力されることに限定されるものではなく、変換部２００ｂから比較画像Ｉｂが入力され物体の検出に用いられるものとしてもよい。

エッジ抽出部４０１は、基準画像Ｉａから水平エッジを抽出して、抽出された水平エッジを示すエッジ画像を生成する機能部である。

物体検出部４０２は、エッジ抽出部４０１により抽出された水平エッジと、視差画像生成部３０３から入力した視差画像とを用いて、物体の検出領域である矩形を求める機能部である。

そして、クラスタリング部４００は、検出した物体の画像（物体検出部４０２により求められた矩形内の画像）（認識画像）に関する情報（例えば、基準画像Ｉａでの位置を示す座標、およびサイズ等）（以下、単に「認識画像情報」と称する）を棄却部５００へ出力する。

棄却部５００は、変換部２００ａから出力された基準画像Ｉａ、およびクラスタリング部４００から出力された認識画像情報に基づいて、認識画像情報で示される認識画像について棄却するか否かを判定する棄却判定を行う機能部である。ここで、棄却とは、その物体を後段の処理（追跡処理等）の対象外とする処理を示す。棄却部５００は、当該棄却判定の結果を、対応する認識画像情報に含めて、後段のトラッキング判定部５５０へ出力するものとすればよい。

トラッキング判定部５５０は、棄却部５００からの棄却判定の結果に基づいて、認識画像に含まれる物体に対してトラッキングを行うか否かを判定する機能部である。例えば、トラッキング判定部５５０は、棄却部５００で棄却と判定されなかった物体に対してトラッキングを行うものと判定し、その物体の認識画像情報にトラッキングを行う旨の情報を含め、認識情報として車両制御装置６に出力する。

また、図４に示す物体認識装置１のクラスタリング部４００、棄却部５００およびトラッキング判定部５５０は、それぞれ図３に示すＣＰＵ３２がプログラム（物体認識処理プログラム）を実行することによって実現される。なお、クラスタリング部４００、棄却部５００およびトラッキング判定部５５０の一部または全部は、ハードウェア回路であるＦＰＧＡ３１、または、その他のハードウェア回路（ＡＳＩＣ等）によって実現されるものとしてもよい。

なお、本発明に係る「画像処理装置」は、視差演算部３００およびクラスタリング部４００を含む処理部であってもよく、当該処理部を含む情報処理部３０であってもよい。

また、図４に示す物体認識装置１の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図４に示す物体認識装置１で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図４に示す物体認識装置１で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（ステレオマッチング処理（視差演算））
＜コスト算出＞
図５は、撮像部から物体までの距離を導き出す原理を説明する図である。図６は、基準画像の基準画素に対応する比較画像の対応画素を求める場合の説明図である。図７は、画素単位のシフト量と、コスト値との関係の一例を示すグラフである。図５〜図７を参照しながら、本実施形態の視差演算部３００における視差演算のうちのコスト算出について説明する。

まず、図５を参照しながら、ステレオカメラ（撮像部１０ａ、１０ｂ）から物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。図５に示すように、撮像部１０ａ、１０ｂは、それぞれ、入射する光を屈折させて物体の像を固体撮像素子である画像センサに結像させる撮像レンズ１１ａ、１１ｂを有する。撮像部１０ａおよび撮像部１０ｂによって撮像された各画像は、上述したように、それぞれ基準画像Ｉａおよび比較画像Ｉｂである。図５において、３次元空間内の物体Ｅ上の点Ｓは、基準画像Ｉａおよび比較画像Ｉｂそれぞれにおいて、撮像レンズ１１ａと撮像レンズ１１ｂとを結ぶ直線と平行な直線上の位置に写像される。ここで、各画像に写像された点Ｓを、基準画像Ｉａにおいて点Ｓａ（ｘ，ｙ）とし、比較画像Ｉｂにおいて点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値ｄｐは、基準画像Ｉａ上の座標における点Ｓａ（ｘ，ｙ）と比較画像Ｉｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、以下の式（１）のように表される。

ｄｐ＝Ｘ−ｘ ・・・（１）

また、図５において、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａとし、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値ｄｐは、ｄｐ＝Δａ＋Δｂと表すこともできる。

次に、視差値ｄｐを用いることにより、撮像部１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導出する。ここで、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図５に示すように、撮像レンズ１１ａおよび撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値ｄｐを用いて、下記の式（２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／ｄｐ ・・・（２）

この式（２）により、視差値ｄｐが大きいほど距離Ｚは小さく、視差値ｄｐが小さいほど距離Ｚは大きくなることがわかる。

次に、図６および図７を用いて、ブロックマッチング（ステレオマッチング処理の一例）によるコスト値の算出方法について説明する。

図６のうち、図６（ａ）は、基準画像Ｉａにおける基準画素ｐおよび基準領域ｐｂを示す概念図を示し、図６（ｂ）は、図６（ａ）に示す基準画素ｐに対応する比較画像Ｉｂにおける対応画素の候補を順次シフトしながら（ずらしながら）、コスト値Ｃを算出する際の概念図である。ここで、対応画素とは、基準画像Ｉａにおける基準画素ｐに最も類似する比較画像Ｉｂにおける画素を示す。また、コスト値Ｃとは、基準画像Ｉａにおける基準画素ｐに対する、比較画像Ｉｂにおける各画素の類似度または非類似度を表す評価値（一致度）である。以下に示すコスト値Ｃは、値が小さいほど、比較画像Ｉｂにおける画素が基準画素ｐと類似していることを示す非類似度を表す評価値であるものとして説明する。

コスト算出部３０１は、図６（ａ）に示すように、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）、および、基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉｂにおけるエピポーラ線ＥＬ上の対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値（画素値）に基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する。ｄは、基準画素ｐと候補画素ｑとのシフト量（ずれ量）であり、シフト量ｄは、画素単位でシフトされる。すなわち、図６では、候補画素ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。

また、基準画素ｐの対応画素を求めるためのマッチング処理として、本実施形態ではブロックマッチングを行う。ブロックマッチングでは、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度を求める。基準領域ｐｂと候補領域ｑｂとの非類似度を示すコスト値Ｃとしては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、または、ＳＳＤの値から各ブロックの平均値を減算したＺＳＳＤ（Ｚｅｒｏ−ｍｅａｎ−Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等が用いられる。これらの評価値は、相関が高い（類似の度合いが高い）ほど、値が小さくなるので非類似度を示す。

なお、上述のように、撮像部１０ａ、１０ｂは、それぞれ平行等位に配置されるため、基準画像Ｉａおよび比較画像Ｉｂも、それぞれ平行等位の関係にある。したがって、基準画像Ｉａにおける基準画素ｐに対応する比較画像Ｉｂにおける対応画素は、図６に紙面視横方向の線として示されるエピポーラ線ＥＬ上に存在することになり、比較画像Ｉｂにおける対応画素を求めるためには、比較画像Ｉｂのエピポーラ線ＥＬ上の画素を探索すればよい。

このようなコスト算出部３０１によるブロックマッチングで算出されたコスト値Ｃ（ｐ，ｄ）は、シフト量ｄとの関係で、例えば、図７に示すグラフにより表される。図７の例では、コスト値Ｃは、シフト量ｄ＝３の場合が最小値となるため、視差値ｄｐ＝３として導出される。ただし、図７に示すような画素単位のシフト量ｄに対すコスト値Ｃのグラフにおいては、視差値ｄｐとして画素単位の値を導出することしかできないことになる。そこで、図８および図９で後述するように、視差値ｄｐを画素単位の値ではなく、画素単位より小さい単位（以下、サブピクセル単位という）で視差値ｄｐを推定して導出するサブピクセル推定がサブピクセル推定部３０２によって実行される。

＜サブピクセル推定＞
図８は、パラボラフィッティングによるサブピクセル推定を説明する図である。図９は、最小二乗法によるサブピクセル推定を説明する図である。図８および図９を参照しながら、本実施形態の視差演算部３００における視差演算のうちのサブピクセル推定について説明する。

まず、図８を参照しながら、サブピクセル推定部３０２がパラボラフィッティングによるサブピクセル推定を実行する場合について説明する。サブピクセル推定部３０２は、コスト算出部３０１によって算出されたコスト値Ｃのグラフ（図７参照）において、コスト値Ｃが最小となるシフト量ｄの値を求める。図７の例では、シフト量ｄ＝３の場合が、コスト値Ｃが最小となる。次に、サブピクセル推定部３０２は、シフト量ｄ＝３に隣接するシフト量ｄを求める。具体的には、シフト量ｄ＝２，４である。次に、サブピクセル推定部３０２は、図７に示すシフト量ｄとコスト値Ｃとのグラフにおいて、図８に示すように、シフト量ｄ＝２，３，４である３点を通る下に凸の２次曲線を求める。そして、サブピクセル推定部３０２は、その２次曲線の極小値に対応するサブピクセル単位のシフト量ｄが視差値ｄｐであると推定する。

次に、図９を参照しながら、サブピクセル推定部３０２が最小二乗法によるサブピクセル推定を実行する場合について説明する。サブピクセル推定部３０２は、コスト算出部３０１によって算出されたコスト値Ｃのグラフ（図７参照）において、コスト値Ｃが最小となるシフト量ｄの値を求める。図７の例では、シフト量ｄ＝３の場合が、コスト値Ｃが最小となる。次に、サブピクセル推定部３０２は、シフト量ｄ＝３の近傍の４つのシフト量ｄを求める。具体的には、シフト量ｄ＝１，２，４，５である。次に、サブピクセル推定部３０２は、図７に示すシフト量ｄとコスト値Ｃとのグラフにおいて、図９に示すように、最小二乗法によってシフト量ｄ＝１，２，３，４，５である５点の近傍を通る下に凸の２次曲線を求める。そして、サブピクセル推定部３０２は、その２次曲線の極小値に対応するサブピクセル単位のシフト量ｄが視差値ｄｐであると推定する。

サブピクセル推定部３０２は、図８に示すパラボラフィッティングによるサブピクセル推定、または、図９に示す最小二乗法によるサブピクセル推定のいずれかによって、視差値ｄｐを推定して導出する。これによって、画素単位より小さい単位であるサブピクセル単位で視差値ｄｐを導出することができるので、精度が高く、かつ密な視差値ｄｐを導出することができる。

なお、サブピクセル推定は、上述のパラボラフィッティングによるもの、または、最小二乗法によるものに限定されるものではなく、その他の方法によってサブピクセル推定を行うものとしてもよい。例えば、サブピクセル推定部３０２は、図８に示す３点を用いて、２次曲線ではなく、３点を通る等角直線を求めて視差値ｄｐを推定する等角直線フィッティングによりサブピクセル推定を実行するものとしてもよい。

また、最小二乗法によるサブピクセル推定において、図９に示すグラフ上の５点を用いて２次曲線を求めるものとしたが、これに限定されるものではなく、異なる数の点を用いて２次曲線を求めるものとしてもよい。

また、サブピクセル推定部３０２によるサブピクセル推定によってサブピクセル単位の視差値ｄｐを算出することに限定されるものではなく、サブピクセル推定の実行はせずに、画素単位の視差値ｄｐを算出するものとしてもよい。この場合、サブピクセル推定部３０２は、コスト算出部３０１により算出された、基準画像Ｉａにおける基準画素についての比較画像Ｉｂにおける画素のコスト値Ｃの最小値に対応するシフト量ｄを視差値ｄｐとすればよい。

また、サブピクセル推定によって発生する可能性がある推定視差の誤差を現象させるＥＥＣ（Ｅｓｔｉｍａｔｉｏｎ Ｅｒｒｏｒ Ｃａｎｃｅｌ ｍｅｔｈｏｄ）等の方式を利用するものとしてもよい。

＜視差画像生成＞
図１０は、撮像画像から生成される視差画像の一例を示す図である。図１０を参照しながら、本実施形態の視差演算部３００における視差演算のうちの視差画像の生成について説明する。

視差画像生成部３０３は、サブピクセル推定部３０２により導出されたサブピクセル単位の視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで置き換えた画像である視差画像を生成する。図１０のうち、図１０（ａ）は、基準画像Ｉａの一例である基準画像Ｉａ１を示し、図１０（ｂ）は、視差画像生成部３０３により生成された視差画像の一例である視差画像Ｉｐの模式図を示す。図１０（ａ）に示す基準画像Ｉａ１には、路面６００と、車６０１とが、写り込んでいる。この基準画像Ｉａ１の路面６００は、図１０（ｂ）に示す視差画像Ｉｐにおいては路面部６００ａに対応し、車６０１は、車部６０１ａに対応する。

なお、上述の視差演算部３００によるステレオマッチング処理では、ブロックマッチングによって視差値を求めるものとしたが、これに限定されるものではなく、例えば、ＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法を用いて視差値を求めるものとしてもよい。

また、視差画像生成部３０３は、視差画像を生成するものとしているが、視差に関する情報ではなく、視差から距離に変換した距離情報の画像を生成するものとしてもよい。また、視差画像生成部３０３が生成するものは、画像形式に限定するものではなく、画像形式ではない視差情報または距離情報を生成するものとしてもよい。

上述のブロックマッチングに基づく視差値の導出では、図１０（ｂ）に示すように、垂直方向に延びるエッジ（以下、単に「垂直エッジ」と称する場合がある）の部分における視差（図１０（ｂ）の実線部分）が十分な精度で得られる傾向があり、その視差点（有効な視差値を有する画素）の数も多い。一方、ブロックマッチングによる視差演算の問題として、水平方向に延びるエッジの部分、および輝度変化が小さい部分では視差を正しく演算することが困難である傾向がある。そこで、図１１〜図１５で後述するように、本実施形態では、水平方向に延びるエッジ（以下、単に「水平エッジ」と称する場合がある）について、輝度画像である基準画像Ｉａを用いて求める。

（クラスタリング処理）
＜エッジの抽出＞
図１１は、エッジを検出するための計算用フィルタの一例を示す図である。図１２は、水平エッジを判定するための説明図である。図１３は、輝度画像から得られた水平エッジを示すエッジ画像の一例を示す図である。図１４は、車両上の水平ラインまでの距離を求めることを説明する図である。図１５は、短い水平エッジを除去した後のエッジ画像の一例を示す図である。図１１〜図１５を参照しながら、本実施形態のクラスタリング部４００におけるクラスタリング処理のうちエッジの抽出動作について説明する。

まず、クラスタリング部４００のエッジ抽出部４０１は、変換部２００ａから入力した基準画像Ｉａの各画素値（輝度値）に対して、例えば、図１１に示すソーベルフィルタを用いて、対象画素の水平方向のエッジに関する強度Ｅ_ｙ、垂直方向のエッジに関する強度Ｅ_ｘを算出する。図１１のうち、図１１（ａ）に示すフィルタは、対象画素の水平方向のエッジに関する強度Ｅ_ｙを求めるための計算用フィルタ（ソーベルフィルタ）であり、当該対象画素の周辺８画素の画素値に対して、フィルタの係数をかけて合計した値を強度Ｅ_ｙとしている。また、図１１（ｂ）に示すフィルタは、対象画素の垂直方向のエッジに関する強度Ｅ_ｘを求めるための計算用フィルタ（ソーベルフィルタ）であり、当該対象画素の周辺８画素の画素値に対して、フィルタの係数をかけて合計した値を強度Ｅ_ｘとしている。なお、図１１に示すソーベルフィルタの係数およびフィルタのサイズは一例である。

そして、エッジ抽出部４０１は、算出した強度Ｅ_ｙ、Ｅ_ｘから、対象画素についてのエッジ強度Ｅ（変化量）を、下記の式（３）を用いて算出する。

また、エッジ抽出部４０１は、算出した強度Ｅ_ｙ、Ｅ_ｘから、対象画素におけるエッジ方向θ（変化方向）を、下記の式（４）を用いて算出する。

そして、エッジ抽出部４０１は、対象画素について、エッジ強度Ｅが所定の閾値以上、かつ、エッジ方向θが水平方向から所定の角度範囲内である場合、当該対象画素を、水平エッジを構成する画素（以下、単に「水平エッジ画素」と称する場合がある）であると判定する。具体的には、対象画素のエッジ強度Ｅが所定の閾値以上であるか否かは、図１２に示す矢印７０１の長さが、半径が当該閾値である円形状の強度範囲７０２以上となるか否かによって判定される。また、対象画素のエッジ方向θが水平方向から所定範囲内であるか否かは、図１２に示す矢印７０１の方向が、水平エッジ範囲７０３の範囲内であるか否かによって判定される。すなわち、エッジ抽出部４０１は、エッジ強度Ｅが所定の閾値以上の画素のみを用いることによって、ノイズの影響を抑制することができ、さらに、エッジ方向θが水平方向から所定範囲内となる画素を水平エッジ画素とみなすものとする。

以上のような方法により、エッジ抽出部４０１は、基準画像Ｉａ（例えば、図１３（ａ）に示す基準画像Ｉａ１）から、水平エッジ画素で構成されたエッジ画像（例えば、図１３（ｂ）に示すエッジ画像Ｉｅ）を得る。図１３（ａ）に示す基準画像Ｉａ１の車６０１は、図１３（ｂ）に示すエッジ画像Ｉｅにおいては車部６０１ｂに対応する。なお、エッジ抽出部４０１によって得られるエッジ画像は、上述のように水平エッジ画素で構成されるが、この水平エッジ画素の画素値は、例えば、当該水平エッジ画素に対応する基準画像Ｉａの画素値であってもよく、エッジ抽出部４０１により算出されたエッジ強度Ｅの値であってもよく、水平エッジ画素であることを示す任意の値に設定するものとすればよい。

また、エッジ抽出部４０１は、図１３（ｂ）に示すように、エッジ画像において水平方向に隣接する水平エッジ画素を一塊として水平エッジとして抽出する。なお、一塊の水平エッジとするのは、厳密に、隣接した水平エッジ画素とすることに限定されるものではなく、同じ水平ライン上で水平エッジ画素の抜けがある場合等、水平エッジ画素が同じ水平ライン上で近接している場合は、同じ一塊の水平エッジとして扱うものとしてもよい。具体的には、水平エッジ画素間が所定の画素数以内（所定間隔以内）の間隔であれば、当該各水平エッジ画素を同じ一塊の水平エッジに含まれるものとすればよい。

また、抽出された水平エッジを用いて物体の検出を行う場合、すべての水平エッジを用いるとノイズも多く誤検出となる可能性が高まる。そこで、エッジ抽出部４０１は、所定の長さ以下（所定条件の一例）の短い水平エッジはノイズであるものとして、当該水平エッジを後段の物体検出に用いないように除去する。これによって、物体の誤検出を抑制することができる。

ここで、車両までの実際の距離に応じて当該車両の幅が画像上でどのくらいの画素数（ピクセル数）となるかを算出する方法の一例を説明する。一般的な車両の幅を１７００［ｍｍ］、撮像部１０ａ（１０ｂ）の焦点距離をｆ［ｍｍ］、画像センサ１３ａ（１３ｂ）のセルピッチをｃｐ［ｍｍ／ｐｉｘ］とし、距離Ｄｉｓｔ［ｍｍ］に映る車両の画像上での幅Ｗ［ｐｉｘ］は、下記の式（５）で算出される。

そして、エッジ抽出部４０１は、式（５）により計算された幅Ｗ［ｐｉｘ］に基づいて閾値を設定し、当該閾値未満の長さ（画素数）の水平エッジを、車両以外の部分だと判断して、後段の車両検出に用いないように除去するものとすればよい。

また、上述の距離Ｄｉｓｔについては、例えば、対象となる水平エッジに対応する視差値から求まる最大距離としてもよく、または、当該水平エッジの周辺の視差値に基づいて算出するものとしてもよい。水平エッジの周辺の視差値に基づいて距離を算出する方法としては、例えば、図１４に示す視差画像Ｉｐにおいて、対象となる水平エッジ６１０（便宜上、視差画像Ｉｐに重ねて表している）を含むような計算エリア６２０を設定する。そして、計算エリア６２０に含まれる視差値の平均値から求まる距離を、距離Ｄｉｓｔとすればよい。

エッジ抽出部４０１によって、車両以外の水平エッジだと判断されて除去された後のエッジ画像の例を、図１５のエッジ画像Ｉｅ１に示す。図１５に示すエッジ画像Ｉｅ１は、図１３（ｂ）に示したエッジ画像Ｉｅと比較して、サイドミラーおよびナンバープレートに対応する水平エッジが除去されている。

以上のような動作によって、エッジ抽出部４０１は、基準画像Ｉａ（および視差画像）から、車両の水平エッジを示すエッジ画像を得る。

＜物体の検出領域を示す矩形の導出＞
図１６は、視差画像に水平エッジを重畳させた例を示す図である。図１７は、視差画像において水平エッジから車両の検出領域を示す矩形を求めるための左右の領域を示した図である。図１８は、車両の検出領域を示す矩形の一例を示す図である。図１６〜図１８を参照しながら、本実施形態のクラスタリング部４００におけるクラスタリング処理のうち、物体の検出領域を示す矩形の導出動作について説明する。

図１６は、視差演算部３００により生成された視差画像Ｉｐに、エッジ抽出部４０１で得られたエッジ画像Ｉｅ１を重畳させた状態を示している。図１６では、便宜上、視差値を有する画素の部分は太い破線、水平エッジ部分は太い実線で示している。図１６に示すように、車両物体は、リアバンパ、リアガラス、ボンネット、および車体の影を有していることから、水平エッジが画像上の物体内部に存在し、かつ、車両と背景との境界部分に有効な視差値が得られやすい。そして、物体検出部４０２は、エッジ抽出部４０１により抽出された水平エッジと、視差画像生成部３０３から入力した視差画像とを用いて、物体（ここでは車両）の検出領域である矩形を求める。

具体的には、物体検出部４０２は、図１７に示すように、抽出された水平エッジのうち特定の水平エッジ（図１７の例では、水平エッジ６１０）（以下、「対象水平エッジ」と称する場合がある）の両端の端点周辺に縦方向に延びる左側領域６３１（第１領域の一例）および右側領域６３２（第１領域の一例）を設定する。この対象水平エッジの両端の端点周辺の縦方向に延びる領域としては、例えば、縦方向の高さを実際の車両の高さを包含するような長さとし、横方向の幅をブロックマッチングで用いたブロック（基準領域ｐｂ）の幅とすればよい。なお、左側領域６３１および右側領域６３２については、図１７に示すように、縦方向の矩形形状の領域に限定されるものではなく、例えば、縦方向かつ斜めに細長い形状の領域でもよく、縦方向に長い楕円形状の領域であってもよい。

そして、物体検出部４０２は、左側領域６３１内の視差点を走査して、上端点Ｐｕ１、左端点Ｐｌ、および下端点Ｐｄ１を特定し、右側領域６３２内の視差点を走査して、上端点Ｐｕ２、右端点Ｐｒ、および下端点Ｐｄ２を特定する。そして、物体検出部４０２は、上端点Ｐｕ１および上端点Ｐｕ２のうち低い方（または高い方）、下端点Ｐｄ１および下端点Ｐｄ２のうち高い方（または低い方）、左端点Ｐｌ、および、右端点Ｐｒで囲まれた矩形（図１８に示す矩形６４０）（第２領域の一例）を、物体の検出領域として決定する。なお、左側領域６３１および右側領域６３２は矩形形状としているが、これに限定されるものではなく、その他の形状であってもよい。また、物体検出部４０２により物体の検出領域とされるのは矩形に限定されるものではなく、特定された各端点に基づいたその他の形状を呈する領域（第２領域の一例）であってもよい。

なお、物体検出部４０２は、エッジ抽出部４０１により抽出された複数の水平エッジのうち、特定の水平エッジを用いて、物体の検出領域を示す矩形を決定するものとしたが、この特定の水平エッジとしては、例えば、以下のように決めればよい。例えば、抽出された複数の水平エッジのうち最も長い水平エッジ、または、一般的な車両の長さに最も近似する水平エッジ等を、特定エッジとして決めればよい。または、抽出された複数の水平エッジについて、高さ方向の平均位置を求め、かつ、水平方向の平均長さを求め、当該平均位置に存在する当該平均長さの水平エッジを、特定エッジとして決めてもよい。

また、左側領域６３１および右側領域６３２に含まれるすべての視差点を対象として各端点を特定するものとしているが、これに限定されるものではない。例えば、左側領域６３１および右側領域６３２に含まれる視差点の視差値から、距離の範囲を決定し、当該距離の範囲に含まれる視差点の視差値のみを用いて、各端点を特定するものとしてもよい。これによって、ノイズおよび背景の視差に対してロバストに物体の検出領域を示す矩形を決定することが可能となる。

また、エッジ抽出部４０１は、抽出した水平エッジの両端近傍の視差値が左右で所定値以上（所定条件の一例）異なっていれば、当該水平エッジは物体（例えば、車両）に属する水平エッジではないと判定し、当該水平エッジを除去するものとしてもよい。このように、基準画像Ｉａの輝度値に加え、視差画像の視差値を用いることによって、水平エッジの抽出の精度を向上させることができる。

また、物体検出部４０２は、物体（例えば、車両）の検出領域として決定した矩形内の画像（認識画像）に対して、当該物体についてのモデルとなるテンプレートを用いて、認識画像とテンプレートとを比較するものとしてもよい。その比較の結果、テンプレートの物体に対して認識画像が示す物体が一致しないと判断される場合は、当該矩形を棄却するものとしてもよい。これによって、検出対象とする物体とは異なる他の物体（例えば、道路上の看板等の人工物）を誤って検出することを抑制することができる。また、物体のモデルとなるテンプレートを用いる場合、エッジ抽出部４０１により複数の水平エッジが抽出された場合、物体検出部４０２は、各水平エッジについて矩形を求め、各矩形内の画像に対してテンプレートと比較し、当該テンプレートに最も近似する画像を有する矩形を、物体の検出領域として決定するものとしてもよい。

（物体認識処理の流れ）
＜ステレオマッチング処理の流れ＞
図１９は、第１の実施形態に係る物体認識装置のステレオマッチング処理の一例を示すフローチャートである。図１９を参照しながら、本実施形態に係る物体認識装置１のステレオマッチング処理の流れについて説明する。

＜＜ステップＳ１−１＞＞
画像取得部１００ｂは、左のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像（撮像画像）である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−１へ移行する。

＜＜ステップＳ１−２＞＞
画像取得部１００ａは、右のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像（撮像画像）である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−２へ移行する。

＜＜ステップＳ２−１＞＞
変換部２００ｂは、画像取得部１００ｂにより得られた輝度画像の画像データに対して、ノイズの除去等を行い、デジタル形式の画像データである比較画像Ｉｂに変換して生成する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−１へ移行する。

＜＜ステップＳ２−２＞＞
変換部２００ａは、画像取得部１００ａにより得られた輝度画像の画像データに対して、ノイズの除去等を行い、デジタル形式の画像データである基準画像Ｉａに変換して生成する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−２へ移行する。

＜＜ステップＳ３−１＞＞
変換部２００ｂは、ステップＳ２−１において生成したデジタル形式の画像データである比較画像Ｉｂを視差演算部３００へ出力する。これによって、ブロックマッチングにおいて視差値を求めるための比較対象となる画像を得る。そして、ステップＳ４へ移行する。

＜＜ステップＳ３−２＞＞
変換部２００ａは、ステップＳ２−２において生成したデジタル形式の画像データである基準画像Ｉａを視差演算部３００へ出力する。これによって、ブロックマッチングにおいて視差値を求めるための比較対象となる画像を得る。そして、ステップＳ４へ移行する。

＜＜ステップＳ４＞＞
視差演算部３００のコスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値（画素値）に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する。具体的には、コスト算出部３０１は、ブロックマッチングにより、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。そして、ステップＳ５へ移行する。

＜＜ステップＳ５＞＞
視差演算部３００のサブピクセル推定部３０２は、コスト算出部３０１により算出された、基準画像Ｉａにおける基準画素についての比較画像Ｉｂにおける画素のコスト値Ｃの最小値に対応するシフト量ｄ、およびそれに隣接するシフト量ｄにおけるコスト値Ｃに基づいて、サブピクセル推定を実行する。そして、サブピクセル推定部３０２は、サブピクセル単位の視差値ｄｐを求める。そして、ステップＳ６へ移行する。

＜＜ステップＳ６＞＞
視差演算部３００の視差画像生成部３０３は、サブピクセル推定部３０２により導出されたサブピクセル単位の視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで置き換えた画像である視差画像を生成する。

以上のステップＳ１〜Ｓ６の流れによって物体認識装置１によるステレオマッチング処理が実行される。

＜クラスタリング処理の流れ＞
図２０は、第１の実施形態に係る物体認識装置のクラスタリング処理の一例を示すフローチャートである。図２０を参照しながら、本実施形態に係る物体認識装置１のクラスタリング処理の流れについて説明する。

＜＜ステップＳ１１＞＞
クラスタリング部４００のエッジ抽出部４０１は、基準画像Ｉａの各画素値に対して、エッジ強度Ｅおよびエッジ方向θを算出し、水平エッジ画素であるか否かを判定し、水平エッジ画素で構成されたエッジ画像を生成する。そして、ステップＳ１２へ移行する。

＜＜ステップＳ１２＞＞
エッジ抽出部４０１は、エッジ画像において水平方向に隣接する水平エッジ画素を一塊として水平エッジとして抽出する。また、エッジ抽出部４０１は、所定の長さ以下の短い水平エッジはノイズであるものとして除去する。そして、ステップＳ１３へ移行する。

＜＜ステップＳ１３＞＞
クラスタリング部４００の物体検出部４０２は、エッジ抽出部４０１により抽出された水平エッジのうち特定の水平エッジを対象水平エッジとし、両端の端点周辺に縦方向に延びる左側領域６３１および右側領域６３２を設定する。そして、物体検出部４０２は、左側領域６３１内の視差点を走査して、上端点Ｐｕ１、左端点Ｐｌ、および下端点Ｐｄ１を特定し、右側領域６３２内の視差点を走査して、上端点Ｐｕ２、右端点Ｐｒ、および下端点Ｐｄ２を特定する。そして、ステップＳ１４へ移行する。

＜＜ステップＳ１４＞＞
物体検出部４０２は、上端点Ｐｕ１および上端点Ｐｕ２のうち低い方（または高い方）、下端点Ｐｄ１および下端点Ｐｄ２のうち高い方（または低い方）、左端点Ｐｌ、および、右端点Ｐｒで囲まれた矩形（例えば、図１８に示す矩形６４０）を、物体の検出領域として決定する。このように、物体検出部４０２により物体の検出領域としての矩形が決定されることにより、当該物体が検出されることになる。

以上のステップＳ１１〜Ｓ１４の流れによって物体認識装置１によるクラスタリング処理が実行される。

以上のように、本実施形態に係る物体認識装置１は、輝度画像である基準画像Ｉａから水平エッジを抽出し、当該水平エッジの両端の縦方向に延びる左右の領域に含まれる視差値に基づいて、物体の検出領域である矩形の各端点を特定するものとしている。このように、輝度画像では水平方向のエッジが出やすく、視差画像では垂直方向に有効な視差値が並ぶ部分（垂直エッジ）が得られやすいという特性を利用して、物体の検出領域である矩形を決定している。したがって、上述の特許文献１に記載した技術のように何もない空間に物体があるものとして検出されることを抑制することが可能となり、高精度に物体を検出することが可能となる。

また、従来の物体認識処理では、路面形状を推定するためのＶ−Ｄｉｓｐａｒｉｔｙマップを視差画像から生成し、推定された路面形状より上方に位置する情報のみを利用して物体を認識するためのＵ−ＤｉｓｐａｒｉｔｙマップまたはＲｅａｌ Ｕ−Ｄｉｓｐａｒｉｔｙマップ等を生成するものが散見される。しかし、本実施形態に係る物体認識装置１は、Ｖ−Ｄｉｓｐａｒｉｔｙマップを生成して路面形状を推定する必要がなく、さらに、Ｕ−ＤｉｓｐａｒｉｔｙマップまたはＲｅａｌ Ｕ−Ｄｉｓｐａｒｉｔｙマップ等を生成する必要がないので、高速に物体を検出することが可能となる。

［第２の実施形態］
第２の実施形態に係る物体認識装置について、第１の実施形態に係る物体認識装置１と相違する点を中心に説明する。第１の実施形態では、抽出された複数の水平エッジのうち特定の水平エッジを用いて、物体の検出領域である矩形を求めるものとしていた。本実施形態では、抽出されたそれぞれの水平エッジを用いて、物体の検出領域である矩形を求める動作について説明する。なお、本実施形態に係る物体認識装置のハードウェア構成は、第１の実施形態で説明した構成と同様である。

（物体認識装置の機能ブロックの構成および動作）
図２１は、第２の実施形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図２２は、矩形内でスコアを求めることを説明する図である。図２３は、エッジ画像で求められた矩形の群の一例を示す図である。図２４は、各矩形でのスコアから生成された顕著性マップの一例を示す図である。図２１〜図２４を参照しながら、本実施形態に係る物体認識装置１ａの機能ブロック構成および動作について説明する。

図２１に示すように、本実施形態に係る物体認識装置１ａは、画像取得部１００ａ、１００ｂと、変換部２００ａ、２００ｂと、視差演算部３００（画像取得部の一例）と、クラスタリング部４００ａ（画像取得部の一例）と、棄却部５００と、トラッキング判定部５５０と、を有する。なお、画像取得部１００ａ、１００ｂ、変換部２００ａ、２００ｂ、視差演算部３００、棄却部５００およびトラッキング判定部５５０の機能は、第１の実施形態で説明した機能と同様である。

クラスタリング部４００ａは、変換部２００ａから受信した基準画像、視差演算部３００から受信した視差画像に基づいて、視差画像に写っている物体を検出する機能部である。クラスタリング部４００ａは、図２１に示すように、エッジ抽出部４０１と、物体検出部４０２ａ（検出部）と、マップ生成部４０３（生成部）と、を有する。なお、エッジ抽出部４０１の機能は、第１の実施形態のエッジ抽出部４０１と同様である。

マップ生成部４０３は、エッジ抽出部４０１により抽出された複数の水平エッジのそれぞれについて矩形を決定し、各矩形において人間が目で見たときに注目しやすい位置ほど高いスコアに設定し、各矩形において設定されたスコアに基づいて顕著性マップを生成する機能部である。ここで、顕著性マップとは、人間が画像を目で見たときに注目しやすい位置を画像の特徴に基づいて計算し、画像上で注目度の高さをヒートマップで示したものである。

具体的には、マップ生成部４０３は、エッジ抽出部４０１により抽出された複数の水平エッジそれぞれについて、第１の実施形態の物体検出部４０２と同様の方法により、各端点を特定して、当該各端点に基づく矩形を決定する。次に、マップ生成部４０３は、図２２（ａ）に示すように、決定した各矩形に含まれるそれぞれの画素に対して、下記の式（６）で示すスコアＳＣＲを設定する。当該式（６）に示すように、矩形の中心に近づくほど高いスコアを設定し、周辺部になるほど０に近づくように設定する。

図２２（ａ）において、Ｃｐは矩形の中心であり、Ｐはスコアの計算対象の画素であり、Ｄは画素Ｐと中心Ｃｐとの距離であり、Ｄ_ｍａｘは中心Ｃｐとの間でとり得る最大距離である。また、式（６）において、Ｄ_ｍｉｎは中心Ｃｐとの間でとり得る最小距離であり、ＳＣＲ_ｍａｘは最大スコアである。この最大スコアＳＣＲ_ｍａｘは任意に設定することが可能であり、例えば、ＳＣＲ_ｍａｘ＝１とした場合、スコアＳＣＲは１以下の値となる。以上のような方法で各矩形に含まれるそれぞれの画像に対してスコアＳＣＲを設定した結果、ある特定の矩形の画素にスコアＳＣＲを設定した例を、図２２（ｂ）に示す。図２２（ｂ）に示すスコア画像Ｉｓは、スコアＳＣＲの値が大きいほど白色に近づくようにして示した画像である。

また、図２３に、エッジ抽出部４０１により抽出された複数の水平エッジを含むエッジ画像の一例を示す。図２３に示すエッジ画像Ｉｅ２では、複数の水平エッジとして水平エッジ６１１ａ〜６１１ｄが抽出され、マップ生成部４０３によって、水平エッジ６１１ａ〜６１１ｄそれぞれに対して矩形６４１ａ〜６４１ｄが決定された状態が示されている。そして、マップ生成部４０３は、矩形６４１ａ〜６４１ｄのそれぞれに対して、上述のように、スコアを設定する。また、１つの車両に対して抽出された各水平エッジについて決定された各矩形は、同じような位置で定まるため、図２３に示すように、各矩形はそれぞれ重畳した状態となる。

そして、マップ生成部４０３は、決定した複数の矩形についてそれぞれスコアを設定した後、基準画像Ｉａのそれぞれの画素に対応する各矩形のスコアの値を加算していき、当該画素について最終的な合計スコアを設定したものを顕著性マップとして生成する。この顕著性マップの例を図２４に示す。図２４のうち、図２４（ａ）は、顕著性マップを生成する基となる基準画像Ｉａ１を示し、図２４（ｂ）は、基準画像Ｉａ１で抽出された複数の水平エッジにより決定された各矩形を用いて生成された顕著性マップＩｍを示す。図２４（ｂ）に示すように、すべての矩形を用いて顕著性マップＩｍを生成すると、基準画像Ｉａ１に示す車６０１の中心付近に対応する部分が最も値（合計スコア）が高く、周辺に行くにつれて値（合計スコア）が低くなっていく。

物体検出部４０２ａは、マップ生成部４０３により生成された顕著性マップに対して、二値化処理を行い、値が残った部分に対して外接する矩形（以下、「外接矩形」と称する場合がある）を求め、当該外接矩形を物体の検出領域とする機能部である。図２４（ｃ）に、顕著性マップＩｍを構成する画素の合計スコアに対して二値化処理を行った顕著性マップＩｍ１の例を示す。図２４（ｃ）に示す例の場合、物体検出部４０２ａは、二値化処理を行い、値が残った部分（楕円形部分）に対して外接する外接矩形を求める。なお、物体検出部４０２ａにより物体の検出領域とされるのは上述の外接矩形に限定されるものではなく、顕著性マップの値（合計スコア）に基づいて定めた領域であればよい。

そして、クラスタリング部４００ａは、検出した物体の画像（物体検出部４０２ａにより求められた外接矩形内の画像）（認識画像）に関する認識画像情報を棄却部５００へ出力する。

なお、図２１に示す物体認識装置１ａのクラスタリング部４００ａ、棄却部５００およびトラッキング判定部５５０は、それぞれ図３に示すＣＰＵ３２がプログラム（物体認識処理プログラム）を実行することによって実現される。なお、クラスタリング部４００ａ、棄却部５００およびトラッキング判定部５５０の一部または全部は、ハードウェア回路であるＦＰＧＡ３１、または、その他のハードウェア回路（ＡＳＩＣ等）によって実現されるものとしてもよい。

また、本発明に係る「画像処理装置」は、視差演算部３００およびクラスタリング部４００ａを含む処理部であってもよく、当該処理部を含む情報処理部３０であってもよい。

また、図２１に示す物体認識装置１ａの各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図２１に示す物体認識装置１ａで独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図２１に示す物体認識装置１ａで１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（クラスタリング処理の流れ）
図２５は、第２の実施形態に係る物体認識装置のクラスタリング処理の一例を示すフローチャートである。図２５を参照しながら、本実施形態に係る物体認識装置１ａのクラスタリング処理の流れについて説明する。

＜＜ステップＳ２１＞＞
クラスタリング部４００ａのエッジ抽出部４０１は、基準画像Ｉａの各画素値に対して、エッジ強度Ｅおよびエッジ方向θを算出し、水平エッジ画素であるか否かを判定し、水平エッジ画素で構成されたエッジ画像を生成する。そして、ステップＳ２２へ移行する。

＜＜ステップＳ２２＞＞
エッジ抽出部４０１は、エッジ画像において水平方向に隣接する水平エッジ画素を一塊として水平エッジとして抽出する。また、エッジ抽出部４０１は、所定の長さ以下の短い水平エッジはノイズであるものとして除去する。そして、ステップＳ２３へ移行する。

＜＜ステップＳ２３＞＞
クラスタリング部４００ａのマップ生成部４０３は、エッジ抽出部４０１により抽出された複数の水平エッジそれぞれについて、両端の端点周辺に縦方向に延びる左側領域および右側領域を設定し、各領域において当該各領域に含まれる視差点に基づいて各端点を特定する。そして、ステップＳ２４へ移行する。

＜＜ステップＳ２４＞＞
マップ生成部４０３は、特定した各端点から各水平エッジに対応する矩形をそれぞれ決定する。マップ生成部４０３により決定された各矩形が、物体が検出される候補位置として特定される。そして、ステップＳ２５へ移行する。

＜＜ステップＳ２５＞＞
マップ生成部４０３は、決定した複数の矩形についてそれぞれスコアを設定し、基準画像Ｉａのそれぞれの画素に対応する各矩形のスコアの値を加算していき、当該画素について最終的な合計スコアを設定したものを顕著性マップとして生成する。そして、ステップＳ２６へ移行する。

＜＜ステップＳ２６＞＞
クラスタリング部４００ａの物体検出部４０２ａは、マップ生成部４０３により生成された顕著性マップに対して、二値化処理を行い、値が残った部分に対して外接する外接矩形を求め、当該外接矩形を物体の検出領域とする。このように、物体検出部４０２ａにより物体の検出領域としての外接矩形が決定されることにより、当該物体が検出されることになる。

以上のステップＳ２１〜Ｓ２６の流れによって物体認識装置１ａによるクラスタリング処理が実行される。

以上のように、本実施形態に係る物体認識装置１ａは、輝度画像である基準画像Ｉａから水平エッジを抽出し、各水平エッジに対応する矩形をそれぞれ決定し、決定した複数の矩形についてそれぞれスコアを設定し、基準画像Ｉａのそれぞれの画素に対応する各矩形のスコアの値を加算していき、当該画素について最終的な合計スコアを設定したものを顕著性マップとして生成する。さらに、物体認識装置１ａは、生成された顕著性マップに対して、二値化処理を行い、値が残った部分に対して外接する外接矩形を求め、当該外接矩形を物体の検出領域としている。このように、抽出された複数の水平エッジに対してそれぞれ決定される矩形を用いて、顕著性マップを生成し、外接矩形を物体の検出領域として求めることにより、特定の水平エッジを用いる第１の実施形態と比較して、物体の検出精度をさらに向上させることができる。

また、上述の各実施形態では、車両７０としての自動車に搭載される物体認識装置について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。

また、上述の各実施形態において、物体認識装置の情報処理部３０の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の各実施形態に係る物体認識装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の各実施形態の物体認識装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施形態の物体認識装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の各実施形態の物体認識装置で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ３２が上述のＲＯＭ３３からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（ＲＡＭ３４等）上にロードされて生成されるようになっている。

１、１ａ 物体認識装置
２ 本体部
６ 車両制御装置
７ ステアリングホイール
８ ブレーキペダル
１０ａ、１０ｂ 撮像部
１１ａ、１１ｂ 撮像レンズ
１３ａ、１３ｂ 画像センサ
２０ａ、２０ｂ センサコントローラ
３０ 情報処理部
３１ ＦＰＧＡ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ データＩ／Ｆ
３６ シリアルＩ／Ｆ
３８ シリアルバスライン
３９ データバスライン
６０ 機器制御システム
７０ 車両
１００ａ、１００ｂ 画像取得部
２００ａ、２００ｂ 変換部
３００ 視差演算部
３０１ コスト算出部
３０２ サブピクセル推定部
３０３ 視差画像生成部
４００、４００ａ クラスタリング部
４０１ エッジ抽出部
４０２、４０２ａ 物体検出部
４０３ マップ生成部
５００ 棄却部
５５０ トラッキング判定部
６００ 路面
６００ａ 路面部
６０１ 車
６０１ａ、６０１ｂ 車部
６１０ 水平エッジ
６１１ａ〜６１１ｄ 水平エッジ
６２０ 計算エリア
６３１ 左側領域
６３２ 右側領域
６４０ 矩形
６４１ａ〜６４１ｄ 矩形
７０１ 矢印
７０２ 強度範囲
７０３ 水平エッジ範囲
Ｂ 基線長
Ｃ コスト値
ｄ シフト量
ｄｐ 視差値
Ｅ 物体
ＥＬ エピポーラ線
ｆ 焦点距離
Ｉａ、Ｉａ１ 基準画像
Ｉｂ 比較画像
Ｉｅ、Ｉｅ１、Ｉｅ２ エッジ画像
Ｉｍ、Ｉｍ１ 顕著性マップ
Ｉｐ 視差画像
Ｉｓ スコア画像
ｐ 基準画素
ｐｂ 基準領域
Ｐｄ１、Ｐｄ２ 下端点
Ｐｌ 左端点
Ｐｒ 右端点
Ｐｕ１、Ｐｕ２ 上端点
ｑ 候補画素
ｑｂ 候補領域
Ｓ、Ｓａ、Ｓｂ 点
Ｚ 距離

特許第４１２３１３８号公報

Claims (13)

1. 物体を撮像する第１撮像部および第２撮像部によりそれぞれ撮像された撮像画像のうちいずれかを輝度画像として取得する画像取得部と、
   前記第１撮像部および前記第２撮像部によりそれぞれ撮像された前記撮像画像に基づいて距離情報を演算する距離演算部と、
   前記輝度画像から水平エッジを抽出するエッジ抽出部と、
   前記エッジ抽出部により抽出された前記水平エッジの両端近傍の垂直方向に長い第１領域に対応する前記距離情報によって定まる第２領域に基づいて前記物体を検出する検出部と、
   を備えた画像処理装置。
2. 前記検出部は、前記第１領域に対応する前記距離情報から上端点および下端点を特定し、左側の前記第１領域から左端点を特定し、右側の前記第１領域から右端点を特定し、前記上端点、前記下端点、前記左端点および前記右端点で囲まれた領域を前記第２領域として決定する請求項１に記載の画像処理装置。
3. 前記エッジ抽出部は、前記輝度画像において、水平方向に互いに所定間隔以内に位置する画素で構成される画素群を前記水平エッジとして抽出する請求項１または２に記載の画像処理装置。
4. 前記エッジ抽出部は、前記輝度画像において、輝度値の変化量が所定値以上、かつ変化方向が所定の角度範囲内である画素から前記水平エッジを抽出する請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記エッジ抽出部は、抽出した前記水平エッジのうち、該水平エッジの長さについての所定条件を満たさないものを除去する請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記エッジ抽出部は、抽出した前記水平エッジのうち、該水平エッジの両端近傍の前記距離情報についての所定条件を満たさないものを除去する請求項１〜４のいずれか一項に記載の画像処理装置。
7. 前記検出部は、前記第２領域の画像と、所定のテンプレートとを比較して、その比較の結果、当該第２領域と前記テンプレートとが一致しないと判定した場合、当該第２領域に対応する前記水平エッジを除去する請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記エッジ抽出部により抽出された前記各水平エッジにより定まる前記各第２領域において、含まれる画素の位置に応じてスコアを設定し、当該スコアに基づいて顕著性マップを生成する生成部を、さらに備え、
   前記検出部は、前記顕著性マップの画素値により定まる領域に基づいて、前記物体を検出する請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記第１撮像部と、
   前記第１撮像部の位置とは異なる位置に配置された前記第２撮像部と、
   請求項１〜８のいずれか一項に記載の画像処理装置と、
   を備えた物体認識装置。
10. 請求項９に記載の物体認識装置と、
    前記物体認識装置により認識された前記物体の情報に基づいて、制御対象を制御する制御装置と、
    を備えた機器制御システム。
11. 請求項１０に記載の機器制御システムを備えた移動体。
12. 物体を撮像する第１撮像部および第２撮像部によりそれぞれ撮像された撮像画像のうちいずれかを輝度画像として取得する画像取得ステップと、
    前記第１撮像部および前記第２撮像部によりそれぞれ撮像された前記撮像画像に基づいて距離情報を演算する距離演算ステップと、
    前記輝度画像から水平エッジを抽出するエッジ抽出ステップと、
    抽出した前記水平エッジの両端近傍の垂直方向に長い第１領域に対応する前記距離情報によって定まる第２領域に基づいて前記物体を検出する検出ステップと、
    を有する画像処理方法。
13. コンピュータに、
    物体を撮像する第１撮像部および第２撮像部によりそれぞれ撮像された撮像画像のうちいずれかを輝度画像として取得する画像取得ステップと、
    前記第１撮像部および前記第２撮像部によりそれぞれ撮像された前記撮像画像に基づいて距離情報を演算する距離演算ステップと、
    前記輝度画像から水平エッジを抽出するエッジ抽出ステップと、
    抽出した前記水平エッジの両端近傍の垂直方向に長い第１領域に対応する前記距離情報によって定まる第２領域に基づいて前記物体を検出する検出ステップと、
    を実行させるためのプログラム。