JP7308115B2 - 物体検出装置、物体検出システム、移動体及び物体検出方法 - Google Patents

Description

本開示は、物体検出装置、物体検出システム、移動体及び物体検出方法に関する。

近年、自動車等の移動体にステレオカメラを用いた物体検出装置が設けられ、物体の検出及び距離測定等に用いられている。このような物体検出装置では、複数のカメラから取得した複数の画像から、画像全体に渡って距離分布（又は、視差分布）を求め、この距離分布の情報から、障害物を判別している（例えば、特許文献１参照）。

特開平５－２６５５４７号公報

物体検出装置は、道路の形状並びに道路上の構造物及び物体等の種々の要因によって、高い性能が得られないことがある。物体検出装置は、高い性能を有することが望ましい。

したがって、これらの点に着目してなされた本発明の目的は、物体を検出する性能を向上させた、物体検出装置、物体検出システム、物体検出方法及び移動体を提供することにある。

本開示の物体検出装置は、路面検出処理と、物体視差決定処理と、物体検出処理と、を実行するように構成されたプロセッサを備える。前記路面検出処理は、第１視差マップに基づき、実空間における路面の位置を推定する。前記第１視差マップは、路面を含む画像を撮像するステレオカメラの出力に基づき生成される。前記第１視差マップは、前記ステレオカメラの撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る２次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられる。前記物体視差決定処理は、前記第１視差マップの前記第１方向の座標範囲ごとの視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定する。前記物体検出処理は、前記物体視差の情報を、ワールド座標系のｘ－ｚ座標空間上の点群に変換し、各点は物体の有無を示しており、前記ｘ－ｚ座標空間上の点群からｚ方向に連続する点群を削除した後に、点群の纏まりを抽出することにより物体を検出する。

本開示の物体検出システムは、互いに視差を有する複数の画像を撮像するステレオカメラと、少なくとも１つのプロセッサを含む物体検出装置とを備える。前記プロセッサは、路面を含む画像を撮像する前記ステレオカメラの出力に基づき、第１視差マップを生成するように構成される。前記第１視差マップは、前記ステレオカメラの撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る２次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられる。前記プロセッサは、さらに、路面検出処理と、物体視差決定処理と、物体検出処理と、を実行する。前記路面検出処理は、前記第１視差マップに基づき、実空間における路面の位置を推定する。前記物体視差決定処理は、前記第１視差マップの前記第１方向の座標範囲ごとの視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定する。前記物体検出処理は、前記物体視差の情報を、ワールド座標系のｘ－ｚ座標空間上の点群に変換し、各点は物体の有無を示しており、前記ｘ－ｚ座標空間上の点群からｚ方向に連続する点群を削除した後に、点群の纏まりを抽出することにより物体を検出する。

本開示の移動体は、物体検出システムを備える。前記物体検出システムは、互いに視差を有する複数の画像を撮像するステレオカメラ、及び、少なくとも１つのプロセッサを有する物体検出装置を含む。前記プロセッサは、路面を含む画像を撮像する前記ステレオカメラの出力に基づき、第１視差マップを生成するように構成される。前記第１視差マップは、前記ステレオカメラの撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る２次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられる。前記プロセッサは、さらに、路面検出処理と、物体視差決定処理と、物体検出処理と、を実行する。前記路面検出処理は、前記第１視差マップに基づき、実空間における路面の位置を推定する。前記物体視差決定処理は、前記第１視差マップの前記第１方向の座標範囲ごとの視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定する。前記物体検出処理は、前記物体視差の情報を、ワールド座標系のｘ－ｚ座標空間上の点群に変換し、各点は物体の有無を示しており、前記ｘ－ｚ座標空間上の点群からｚ方向に連続する点群を削除した後に、点群の纏まりを抽出することにより物体を検出する。

本開示の物体検出方法は、第１視差マップを取得又は生成することを含む。前記第１視差マップは、路面を含む画像を撮像するステレオカメラの出力に基づき生成される。前記第１視差マップは、前記ステレオカメラの撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る２次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられる。前記物体検出方法は、路面検出処理、物体視差決定処理及び物体検出処理を実行することを含む。物体視差決定処理は、前記第１視差マップに基づき、実空間における路面の位置を推定することを含む。前記物体視差決定処理は、前記第１視差マップの前記第１方向の座標範囲ごとの視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定することを含む。前記物体検出処理は、前記物体視差の情報を、ワールド座標系のｘ－ｚ座標空間上の点群に変換し、各点は物体の有無を示しており、前記ｘ－ｚ座標空間上の点群からｚ方向に連続する点群を削除した後に、点群の纏まりを抽出することにより物体を検出することを含む。

本開示の実施形態に係る物体検出装置、物体検出システム、移動体及び物体検出方法によれば、物体を検出する性能を向上することができる。

本開示の一実施形態に係る物体検出システムの概略構成を示すブロック図である。 図１の物体検出システムを搭載する移動体を模式的に示す側面図である。 図１の物体検出システムを搭載する移動体を模式的に示す正面図である。 本開示の他の一実施形態に係る物体検出システムの概略構成を示すブロック図である。 図１の物体検出装置が実行する処理の一例を示すフローチャートである。 物体検出装置が取得又は生成する第１視差画像の一例を説明する図である。 路面位置の推定を行う処理の一例を示すフローチャートである。 第１視差画像から路面候補視差を抽出する処理の一例を示すフローチャートである。 路面とステレオカメラとの位置関係を説明する図である。 路面候補視差の抽出手順を説明する図である。 視差をヒストグラム化する路面上の範囲を示す図である。 路面視差ｄ_ｒと縦方向の座標（ｖ座標）との関係の一例を示すｄ－ｖ相関図である。 路面視差ではない物体が含まれるか否かを検知する方法を説明する図である。 路面視差ｄ_ｒと画像の縦方向の座標（ｖ座標）との関係を直線で近似する処理のフローチャートである。 第１直線による路面視差ｄ_ｒの近似を説明する図である。 第２直線の決定方法を説明する図である。 路面視差ｄ_ｒと画像の縦方向の座標（ｖ座標）との関係を直線で近似した結果の一例を示す図である。 不要な視差を除去した第２視差画像の一例を説明する図である。 第２視差画像の一例を示す図である。 ヒストグラムを作成する第２視差画像上の領域の一つを示す図である。 ヒストグラムによる物体視差の判別方法を説明する図である。 物体視差の高さ情報を取得する方法を説明する図である。 物体視差の高さ情報を取得する方法を説明する図である。 物体視差を示す点群のｕ－ｄ空間における分布の一例を示す図である。 路面を高さ方向（ｙ方向）から見た図である。 物体を検出する処理の一例を示すフローチャートである。 物体視差を実空間のｘ－ｚ平面上の点群に変換した図である。 ｘ－ｚ平面上の点群から抽出された、ｚ方向に連続して並ぶ点群の一例を示す図である。 ｚ方向に連続して並ぶ点群が削除された、ｘ－ｚ平面上の点群の一例を示す図である。 ｘ－ｚ平面上の点群から生成された結合領域の一例を示す図である。 ｚ方向に連続して並ぶ点群の抽出の第１の例を説明する図である。 ｚ方向に連続して並ぶ点群の抽出の第２の例を説明する図である。 高速道路を走行する他車両の一例を示す図である。 物体の検出結果の出力方法の一例を示す図である。

以下、本開示の実施の形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法、比率等は現実のものとは必ずしも一致していない。カメラによる撮像画像及び視差画像等を表す図は、説明のために作成されたものを含む。これらの画像は、実際に撮像され又は処理された画像とは異なる。また、以下の説明において、「被写体」はカメラに撮像される対象である。「被写体」は、物体、路面、空等を含む。「物体」は、空間内で具体的な位置及び大きさを有するものである。「物体」は、「立体物」ともいう。

図１に示すように、物体検出システム１は、ステレオカメラ１０と物体検出装置２０とを含む。ステレオカメラ１０と物体検出装置２０とは、有線又は無線通信により通信可能である。ステレオカメラ１０と物体検出装置２０とは、ネットワークを介して通信してよい。ネットワークは、例えば、有線又は無線のＬＡＮ（Local Area Network）、又はＣＡＮ（Controller Area Network）等を含んでよい。ステレオカメラ１０と物体検出装置２０とは、同一の筺体内に収納され一体的に構成されてよい。ステレオカメラ１０及び物体検出装置２０は、後述する移動体３０内に位置し、移動体３０内のＥＣＵ（Electronic Control Unit）と通信可能に構成されてよい。

「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラは、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。本開示では、同じ被写体を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。

ステレオカメラ１０は、第１カメラ１１と第２カメラ１２とを備える。第１カメラ１１及び第２カメラ１２は、それぞれ光軸ＯＸを規定する光学系と撮像素子とを備える。第１カメラ１１及び第２カメラ１２はそれぞれ異なる光軸ＯＸを有する。本明細書の説明では単一の符号ＯＸのみで、第１カメラ１１及び第２カメラ１２双方の光軸ＯＸをまとめて表す。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１カメラ１１及び第２カメラ１２がそれぞれ備える撮像素子は、それぞれのカメラの光軸ＯＸに垂直な同一面内に存在してよい。第１カメラ１１及び第２カメラ１２は、撮像素子で結像された画像を表す画像信号を生成する。また、第１カメラ１１及び第２カメラ１２は、撮像した画像について、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってよい。

第１カメラ１１及び第２カメラ１２の光軸ＯＸは、互いに同じ被写体を撮像可能な方向を向いている。第１カメラ１１及び第２カメラ１２は、撮像した画像に少なくとも同じ被写体が含まれるように、光軸ＯＸ及び位置が定められる。複数の実施形態の一つにおいて、第１カメラ１１及び第２カメラ１２の光軸ＯＸは、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。複数の実施形態の他の一つにおいて、第１カメラ１１及び第２カメラ１２の光軸ＯＸは、平行に限られず、互いに異なる方向を向いてよい。第１カメラ１１及び第２カメラ１２の光軸ＯＸ互いに平行でない場合でも、ステレオカメラ１０又は物体検出装置２０内で、画像を変換することによりステレオ画像が生成されうる。ステレオカメラ１０の第１カメラ１１と第２カメラ１２の光学中心の距離を基線長とよぶ。基線長は、第１カメラ１１と第２カメラ１２との間のレンズの中心の距離に相当する。ステレオカメラ１０の第１カメラ１１と第２カメラ１２の光学中心を結ぶ方向を基線長方向とよぶ。

第１カメラ１１及び第２カメラ１２は、光軸ＯＸに交わる方向において離れて位置している。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、左右方向に沿って位置している。第１カメラ１１は、前方を向いたときに第２カメラ１２の左側に位置する。第２カメラ１２は、前方を向いたときに第１カメラ１１の右側に位置する。第１カメラ１１と第２カメラ１２との位置の違いにより、各カメラで撮像した２つの画像において、互いに対応する被写体の位置は、異なる。第１カメラ１１から出力される第１画像と、第２カメラ１２から出力される第２画像とは、異なる視点から撮像したステレオ画像となる。第１カメラ１１及び第２カメラ１２は、所定のフレームレート（例えば３０ｆｐｓ）で被写体を撮像する。

図２及び図３に示すように、図１の物体検出システム１は、移動体３０に搭載される。図２の側面図に示すように、第１カメラ１１及び第２カメラ１２は、移動体３０の前方を撮像するように設置される。第１カメラ１１及び第２カメラ１２は、路面を含む画像を撮像するように設置される。すなわち、ステレオカメラ１０は、路面を含む画像を撮像するように設置される。複数の実施形態の一つにおいて、第１カメラ１１及び第２カメラ１２の各光学系の光軸ＯＸが移動体３０の前方と略平行となるように配置される。

本願において、移動体３０の直進時の進行方向は、前方又はｚ方向とよばれる。前方の反対方向は後方とよばれる。移動体３０の前方を向いた状態を基準として、左方向及び右方向が定義される。ｚ方向に直交し、且つ、左方向から右方向へ向かう方向は、ｘ方向とよばれる。ｘ方向は、基線長方向に一致してよい。移動体３０の近傍の路面に垂直で上向きの方向は、高さ方向又はｙ方向とよばれる。ｙ方向は、ｘ方向及びｚ方向に対して直交してよい。ｘ方向は、水平方向とも称する。ｙ方向は、鉛直方向とも称する。ｚ方向は、奥行き方向とも称する。

本開示における「移動体」は、例えば車両、航空機を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、及び滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、及びトロリーバス等を含んでよい。産業車両は、例えば農業及び建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト及びゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。航空機は、例えば固定翼機及び回転翼機等を含んでよい。

本開示の移動体３０は、道路又は滑走路等を含む走行路の上を走行する。移動体３０が走行する走行路の表面を路面とよぶ。

第１カメラ１１及び第２カメラ１２は、移動体３０の種々の場所に搭載しうる。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、車両である移動体３０の内部に搭載され、ウインドシールドを介して移動体３０の外部を撮像できる。例えば、第１カメラ１１及び第２カメラ１２は、ルームミラーの前方、又はダッシュボード上に配置される。複数の実施形態の１つにおいて、第１カメラ１１及び第２カメラ１２は、車両のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。

物体検出装置２０は、取得部２１と、画像処理部２２（プロセッサ）と、メモリ２３と、出力部２４とを備える。物体検出装置２０は、移動体３０内において任意の位置に配置できる。例えば、物体検出装置２０は、移動体３０のダッシュボード内に配置できる。

取得部２１は、ステレオカメラ１０及び他の装置から情報の入力を受ける、物体検出装置２０の入力インタフェースである。取得部２１は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。

取得部２１には、第１カメラ１１及び第２カメラ１２の各々が撮像した画像の画像データが入力されうる。取得部２１は入力された画像データを画像処理部２２に引き渡す。取得部２１は、ステレオカメラ１０の撮像信号の伝送方式に対応してよい。取得部２１は、ネットワークを介してステレオカメラ１０の出力インタフェースに接続されてよい。

画像処理部２２は、一つ又は複数のプロセッサを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。画像処理部２２は、一つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。画像処理部２２の実行する処理は、プロセッサが実行する処理と言い換えることができる。

画像処理部２２は、視差画像生成部２５、路面検出部２６、不要視差除去部２７、クラスタリング部２８、及び、グルーピング部２９の各機能ブロックを含む。視差画像生成部２５は、ステレオカメラ１０から出力された第１画像及び第２画像に基づいて、第１視差画像を生成する。第１視差画像は、ステレオカメラ１０の撮像画像の水平方向に対応する横方向と、横方向に交差する縦方向とから成る２次元平面上に視差を表す画素が配置された画像である。横方向は、第１方向である。縦方向は第２方向である。横方向と縦方向とは互いに直交してよい。横方向は、路面の幅方向に対応する。横方向は、ステレオカメラ１０の撮像する画像が水平線を含むとき、水平線に平行な方向である。縦方向は、実空間における重力の加わる方向に対応する方向としうる。路面検出部２６、不要視差除去部２７、クラスタリング部２８、及び、グルーピング部２９は、第１視差画像に基づいて物体を検出する一連の処理を実行する。

画像処理部２２内の情報処理において、第１視差画像は、横方向と縦方向とから成る２次元座標に、ステレオカメラ１０の出力から得られる視差の情報が対応付けられた第１視差マップとして、種々の操作を受ける。種々の操作は、演算処理及びメモリ２３への書き込み、読み出し等を含む。第１視差画像は、第１視差マップと言い換えることができる。以下の説明において、第１視差画像に対する処理は、第１視差マップに対する処理と言い換えることができる。

画像処理部２２の各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。各機能ブロックが行う処理は、画像処理部２２により実行されるものと言い換えてよい。画像処理部２２は、各機能ブロックの全ての動作を実行してよい。画像処理部２２が各機能ブロックのいずれかを使役して行う処理は、画像処理部２２が自ら実行するものとしてよい。

メモリ２３は、種々の処理のためのプログラム及び演算中の情報を記憶する。メモリ２３は、揮発性メモリ及び不揮発性メモリが含まれる。メモリ２３は、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。

出力部２４は、物体検出装置２０の処理結果を、移動体３０内の他の装置又は他車両及び路側機等の移動体３０外の装置に出力しうる、物体検出装置２０の出力インタフェースである。物体検出装置２０から受信した情報を適宜使用しうる他の装置は、オートクルーズコントロール等の走行支援装置、及び、自動ブレーキ装置等の安全装置を含む。出力部２４は、取得部２１と同様に、有線及び無線の通信に対応した種々のインタフェースを含む。例えば、出力部２４は、ＣＡＮのインタフェースを有し、移動体３０内の他の装置と通信を行う。

物体検出装置２０は、以下に説明する画像処理部２２が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。

図４に示すように、本開示の他の実施形態に係る物体検出システム１Ａにおいて、視差画像生成部２５は、物体検出装置２０とは別体のハードウェア上に搭載されてよい。図４では図１と同一又は類似の構成要素に、図１と同一の符号を付している。図４の視差画像生成部２５は、視差画像生成装置と言い換えることができる。図４の視差画像生成部２５は、プロセッサを有する。図４の視差画像生成部２５に含まれるプロセッサは、ステレオカメラ１０の第１カメラ１１及び第２カメラ１２からそれぞれ出力された第１画像及び第２画像に基づいて、第１視差画像を生成する。図４の物体検出装置２０に含まれる取得部２１は、視差画像生成部２５から、第１視差画像を取得する。図４の物体検出装置２０と視差画像生成部２５とは、纏めて１つの物体検出装置２０とみなされうる。図４のように構成される物体検出装置２０において、画像処理部２２の路面検出部２６、不要視差除去部２７、クラスタリング部２８、及び、グルーピング部２９は、図１の対応する機能ブロックと同じに機能する。

以下に、図５のフローチャートを参照して、画像処理部２２の各機能ブロックが実行する処理をさらに説明する。図５は、物体検出装置２０が実行する物体検出方法の処理の全体を説明するフローチャートである。

まず、図５のフローチャートの各ステップで行う処理の詳細な説明に先立ち、各ステップの処理の概要と目的が簡単に説明される。

ステップＳ１０１は、後述する第１処理の前段において、物体検出の対象となる第１視差画像を取得又は生成するステップである。ステップＳ１０１は、取得部２１又は視差画像生成部２５が行う。

ステップＳ１０２は、路面の位置を推定するステップである。ステップＳ１０２で行う処理は、第１処理（路面検出処理）ともよばれる。ステップＳ１０２は路面検出部２６が行う。路面位置を推定することにより、第１視差画像上で、縦方向の座標に対する路面を表す視差が分かる。路面位置は、以下の処理において不要視差を除去し、及び／又は、実空間上での路面の高さ位置を知るために必要となる。

ステップＳ１０３は、不要な視差を除去した第２視差画像を生成するステップである。ステップＳ１０３で行う処理は、第２処理（不要視差除去処理）ともよばれる。第２処理は、不要視差除去部２７が行う。不要視差は、実空間における路面からの高さが所定の範囲に含まれる被写体に対応する画素が表す視差である。例えば、不要視差は、第１視差画像に含まれる路面の視差及び空中部分に含まれる構造物の視差等を含む。第１視差画像から不要視差を除くことによって、路面の白線及び道路上空に存在する構造物等を路面上の物体であると誤検出する可能性が低減される。これにより、物体検出の精度が向上する。ステップＳ１０３は、省略し得る。ステップＳ１０３を省略する場合には、画像処理部２２は不要視差除去部２７を備えなくてよい。以下の説明においても同様である。

画像処理部２２内での情報処理において、第２視差画像は、第１視差マップに含まれる視差の情報から、不要な視差の情報を除去した第２視差マップとして、種々の操作を受ける。第２視差画像は、第２視差マップと言い換えることができる。以下の説明において、第２視差画像に対する処理は、第２視差マップに対する処理と言い換えることができる。

ステップＳ１０４は、第２視差画像に対して横方向の各座標について物体視差を決定するステップである。ステップＳ１０４は、クラスタリング部２８が実行する。物体視差とは、所定の条件に基づいて、実空間の物体とみなせる領域の視差であると判定される視差である。ステップＳ１０３を省略する場合には、ステップＳ１０４は第２視差画像ではなく第１視差画像を用い、第１視差画像に対して横方向の各座標について物体視差を決定する。以下の説明においても同様である。

ステップＳ１０５は、第２視差画像上の物体視差の分布と、ステップＳ１０２で推定した路面の位置とに基づいて、物体視差に関連付けられる高さ情報を算出するステップである。ステップＳ１０５はクラスタリング部２８が実行する。ステップＳ１０４とＳ１０５とで行う処理は、第３処理（物体視差決定処理）ともよばれる。高さ情報を必要としない場合、ステップＳ１０５は省略しうる。

ステップＳ１０６は、物体視差の情報を実空間の座標上に変換して、物体視差の纏まり（グループ）を抽出することにより、物体を検出するステップである。ステップＳ１０６で行う処理は、第４処理（物体検出処理）ともよばれる。第４処理は、グルーピング部２９が行う。

ステップＳ１０７は、検出された物体の情報を出力部２４から出力するステップである。ステップＳ１０６の結果から、検出された物体の位置、及び、ステレオカメラ１０側からみた幅の情報が得られる。ステップＳ１０５により得られた情報は、検出された物体の高さの情報を含む。これらの情報は、移動体３０内の他の装置に提供されうる。

次に、各ステップの詳細について説明する。

まず、画像処理部２２は第１視差画像を取得又は生成する（ステップＳ１０１）。図１に示した物体検出システム１では、画像処理部２２は、取得部２１で取得した第１画像及び第２画像に基づいて、第１視差画像を生成する。第１視差画像の生成は、視差画像生成部２５が行う。図４に示した物体検出システム１Ａでは、画像処理部２２は、視差画像生成部２５により生成された第１視差画像を、取得部２１を介して取得する。画像処理部２２は、以降の処理のため、第１視差画像をメモリ２３に格納してよい。

視差画像生成部２５は、第１カメラ１１から取得した第１画像及び第２カメラ１２から取得した第２画像の視差の分布を算出し、第１視差画像を生成する。第１視差画像の生成方法は、公知であるから、以下に簡単にのみ説明する。

視差画像生成部２５は、第１画像及び第２画像の一方の画像（例えば、第１画像）を多数の小領域に分割する。小領域は、縦横方向に複数の画素が配列された矩形の領域としうる。例えば、小領域は、縦方向３画素、横方向３画素で構成されうる。小領域の縦横方向に含まれる画素の数は、３に限られない。小領域の縦方向と横方向とに含まれる画素の数は、異なってよい。視差画像生成部２５は、分割した複数の小領域の各々の画像と他方の画像（例えば、第２画像）とを、水平方向にずらしながらマッチングさせる。画像のマッチングには、ＳＡＤ（Sum of Absolute Difference）関数を用いる方法が知られている。これは、小領域内の輝度値の差の絶対値の総和を表すものである。ＳＡＤ関数が最小となるとき、両画像は最も類似すると判断される。ステレオ画像のマッチングは、ＳＡＤ関数を用いる方法に限られず、他の方法を採用しうる。

視差画像生成部２５は、第１画像と第２画像とでマッチングした２つの領域の横方向における画素の位置の違いに基づいて、当該小領域ごとの視差を算出する。視差の大きさは、画素の横方向の幅を単位として表すことができる。補間処理をすることにより、視差の大きさは、１画素より小さい精度で算出することができる。視差の大きさはステレオカメラ１０により撮像された被写体の、実空間におけるステレオカメラ１０との間の距離に対応する。視差が大きければ距離が近く、視差が小さければ距離が遠いことを意味する。視差画像生成部２５は、算出した視差の分布を示す第１視差画像を生成する。以下において、第１視差画像を構成する視差を表す画素を視差画素とよぶ。視差画像生成部２５は、元の第１画像及び第２画像の画素と同じ精細度で視差画像を生成することができる。

図６は、第１視差画像を説明する図である。図６において、移動体３０の前方の路面４１上には、他車両４２が走行している。

図６に示すように、第１視差画像には、ステレオカメラ１０の横方向（第１方向）と横方向に直交する縦方向（第２方向）から成る２次元平面上に、視差を表す画素が位置している。横方向の位置を示す座標をｕ座標とよぶ。縦方向の位置を示す座標をｖ座標とよぶ。ｕ座標及びｖ座標を画像座標とよぶ。本開示の画像を表す各図において、ｕ座標は左から右に向かう座標とする。ｖ座標は、上から下に向かう座標とする。ｕ－ｖ座標空間の原点は、第１視差画像の左上端とすることができる。ｕ座標及びｖ座標は、画素を単位として表記することができる。

視差画像生成部２５は、視差の違いを画素の輝度又は色等の違いに置き換えて表示することができる。図６では、説明のため、視差を異なる網掛けにより表現している。図６では、網掛けが濃いほど視差が小さく、網掛けが薄いほど視差が大きい。図６において等しい網掛けの領域は、それぞれ所定の視差の範囲内に位置することを表す。実際の第１視差画像では、ｕ－ｖ座標空間上で視差が取得し易い部分と取得し難い部分がある。例えば、車両の窓等の空間的に均一な被写体の部分、太陽光の反射による白とびが発生している部分は、視差が取得し難い。第１視差画像では、物体及び構造物がある場合、それらはより遠くに位置する背景の視差と異なる輝度又は色で表示される。

視差画像生成部２５は、視差を算出した後に第１視差画像を画像として表示しなくてよい。視差画像生成部２５は、第１視差画像の情報を画像処理部２２の内部で第１視差マップとして生成して保持し、必要な処理を行えばよい。

ステップＳ１０１の後、画像処理部２２は、第１視差画像から路面４１の位置を推定する第１処理を行う（ステップＳ１０２）。第１処理は、路面検出部２６により行われる。以下において、路面検出部２６が行う路面位置の推定処理を、図７、図８及び図１４のフローチャートを用いて説明する。まず、路面検出部２６は、第１視差画像から路面候補視差ｄ_ｃを抽出する（ステップＳ２０１）。路面候補視差ｄ_ｃは、第１視差画像から収集される路面視差ｄ_ｒに該当する可能性が高い視差である。路面視差ｄ_ｒは、路面４１領域の視差を意味する。路面視差ｄ_ｒは、路面４１上の物体の視差を含まない。路面視差ｄ_ｒは、路面上の対応する箇所迄の距離を表す。路面視差ｄ_ｒは、同じｖ座標を有する位置で近い値を有するものとして収集される。

路面候補視差ｄ_ｃの抽出処理の詳細は、図８のフローチャートに示される。図８に示すように、路面検出部２６は、ステレオカメラ１０の設置位置に基づいて、路面候補視差算出用の視差の初期値である路面候補視差初期値ｄ_０を計算する（ステップＳ３０１）。路面候補視差初期値ｄ_０は、ステレオカメラ１０から最も近い路面候補視差の抽出位置での路面候補視差の初期値である。ステレオカメラ１０から最も近い路面候補視差の抽出位置は、例えば、ステレオカメラ１０から、１ｍから１０ｍの範囲から設定することができる。

図９に示すように、ステレオカメラ１０において、路面高さＹは、撮像される路面４１からのステレオカメラ１０の鉛直方向の高さである。また、路面高さＹ_０は、ステレオカメラ１０の設置位置における路面４１からの高さである。道路の起伏により、路面高さＹはステレオカメラ１０からの距離により変化することがある。したがって、ステレオカメラ１０から離れた位置での路面高さＹは、ステレオカメラ１０の設置位置での路面高さＹ_０に一致しない。複数の実施形態の一つにおいて、ステレオカメラ１０の第１カメラ１１及び第２カメラ１２は、光軸ＯＸを互いに平行に前方に向けて設置されていると仮定される。図９においてＺは特定の路面位置までの水平方向の距離を示す。ステレオカメラ１０の基線長をＢ、縦方向の画像サイズをＴＯＴＡＬｖとする。この場合、ある縦方向の座標（ｖ座標）において撮像された路面４１の路面視差ｄ_ｓと路面高さＹとの関係は、水平方向の距離Ｚに依らず、次の数式で与えられる。

ｄ_ｓ＝Ｂ／Ｙ×（ｖ－ＴＯＴＡＬｖ／２） （１）

数式（１）により算出された路面視差ｄ_ｓは、「幾何推定路面視差」ともよばれる。以下において、幾何推定路面視差を符号ｄ_ｓで表記することがある。

路面候補視差初期値ｄ_０は、路面４１が、ステレオカメラ１０とステレオカメラ１０の位置から最も近い路面候補視差ｄ_ｃの抽出位置との間で、第１カメラ１１及び第２カメラ１２の光軸ＯＸに平行且つ平坦であるものと仮定して算出される。その場合、ステレオカメラ１０の位置から最も近い路面候補視差の抽出位置の、第１視差画像上のｖ座標が特定の座標ｖ_０に定まる。座標ｖ_０は、路面候補視差を抽出するｖ座標の初期値である。座標ｖ_０は、ＴＯＴＡＬｖ／２とＴＯＴＡＬｖとの間に位置する。座標ｖ_０は、視差算出が可能な画像座標の範囲内で最も下側（ｖ座標の大きい側）に位置する。座標ｖ_０は、第１視差画像の最も下の行に対応するＴＯＴＡＬｖとしてよい。路面候補視差初期値ｄ_０は、数式（１）のｖにｖ_０を代入し、ＹにＹ_０を代入することにより決定することができる。

路面検出部２６は、路面候補視差初期値ｄ_０に基づいて、縦方向のｖ座標がｖ_０である最初の行の視差収集閾値を計算する（ステップＳ３０２）。行は、第１視差画像上で同じｖ座標を有する横方向に並ぶ画素の配列を意味する。視差収集閾値は、視差を収集する上限の閾値である上限閾値と、視差を収集する下限の閾値である下限閾値とを含む。視差収集閾値は、路面候補視差初期値ｄ_０を含むように路面候補視差初期値ｄ_０の上下に所定の規則に基づいて設定される。具体的には、路面候補視差初期値ｄ_０を算出した状態から、予め定めた路面高さ変化量ΔＹだけ路面高さＹが上下に変化した場合の路面視差が、視差収集閾値の上限閾値及び下限閾値として定められる。すなわち、視差収集閾値の下限閾値は、路面候補視差初期値ｄ_０から路面高さ変化量ΔＹ分の視差を引いて得られる。視差収集閾値の上限閾値は、路面候補視差初期値ｄ_０から路面高さ変化量ΔＹ分の視差を加えて得られる。具体的な視差収集閾値の下限閾値及び上限閾値は、数式（１）のＹの値を変更することにより求められる。

以下において、路面検出部２６は、ステップＳ３０３とステップＳ３０７との間の処理を繰り返す。まず、路面検出部２６は、第１視差画像の最も下側に位置するｖ座標がｖ_０である行についての処理を行う（ステップＳ３０３）。

路面検出部２６は、視差収集閾値を用いて視差を収集する（ステップＳ３０４）。路面検出部２６は、第１視差画像に含まれるｖ座標がｖ_０の横方向に並んで位置する各視差画素について、視差収集閾値の下限閾値と上限閾値との間の視差を有する視差画素を路面候補視差ｄ_ｃとして収集する。すなわち、路面検出部２６は、数式（１）を用いて算出された路面候補視差初期値ｄ_０を基準とする所定のマージンの範囲に入る視差を有する視差画素を、路面４１の正しい視差を表す視差画素の候補であると判定する。路面検出部２６は、路面４１の正しい視差を表す視差画素の候補であると判定された視差画素の視差を路面候補視差ｄ_ｃとする。このようにすることによって、路面検出部２６は、路面４１上の物体及び構造物等の路面４１以外の視差を路面４１の視差として誤判定する可能性を低減できる。これにより、路面４１検出の精度が向上する。

ステップＳ３０４で、ｖ座標がｖ_０の全ての視差画素の判定が終了すると、路面検出部２６は、収集した路面候補視差ｄ_ｃを平均化して路面候補視差ｄ_ｃの平均値である平均路面候補視差ｄ_ａｖを算出する（ステップＳ３０５）。路面検出部２６は、それぞれの路面候補視差ｄ_ｃ及びそのｕ－ｖ座標、並びに、ｖ座標がｖ_０における平均路面候補視差ｄ_ａｖを、メモリ２３に記憶してよい。

ステップＳ３０５の後、路面検出部２６は、ステップＳ３０５で算出したｖ座標がｖ_０の平均路面候補視差ｄ_ａｖから、１行上の行、すなわち、ｖ座標がｖ＝ｖ_０－１の行の各視差画素について、視差収集閾値を算出する（ステップＳ３０６）。路面検出部２６は、ステップＳ３０４で算出したｖ座標がｖ_０のときの平均路面候補視差ｄ_ａｖに対して、数式（１）が成立するように路面高さＹを変更する。路面検出部２６は、路面高さＹを変更した数式（１）のｖ_０に代えて、ｖ_０－１を代入することにより、ｖ座標がｖ_０－１のときの幾何推定路面視差ｄ_ｓを算出する。路面検出部２６は、ステップＳ３０２と類似に、幾何推定路面視差ｄ_ｓから所定の路面高さ変化量ΔＹ分の視差を引いた視差を視差収集閾値の下限閾値とすることができる。路面検出部２６は、幾何推定路面視差ｄ_ｓに所定の路面高さ変化量ΔＹ分の視差を加えた視差を視差収集閾値の上限閾値とすることができる。

ステップＳ３０６の後、路面検出部２６は、数式（１）により算出された幾何推定路面視差ｄ_ｓが所定値より大きいか否かを判定する。所定値は、例えば、１画素である。路面検出部２６は、幾何推定路面視差ｄ_ｓが１よりも大きいとき、ステップＳ３０３の処理に戻る（ステップＳ３０７）。ステップＳ３０３において、路面検出部２６は、路面候補視差ｄ_ｃの抽出の対象を、１画素上の行に移動させる。すなわち、路面候補視差ｄ_ｃの抽出の対象が、ｖ座標がｖ_０の行であったとき、路面検出部２６は、路面検出の対象の行のｖ座標を、ｖ_０－１に変更する。また、図１０に示すように、路面候補視差ｄ_ｃの算出の対象が、ｎ番目の行であったとき、路面検出部２６は、路面検出の対象の行を、ｎ＋１番目の行に変更する。図１０は、説明のため各行の縦方向の幅を広くしている。実際の各行は、１画素の高さである。この場合、ｎ＋１番目の行ｖ座標は、ｎ番目の行のｖ座標よりも１小さい。

それぞれ、ｎ＋１番目の行を対象とするステップＳ３０４～Ｓ３０６の処理は、ｖ座標がｖ_０の行の処理と同様に行われる。ステップＳ３０４において、路面検出部２６は、ｎ番目の行に対するステップＳ３０６において算出した視差収集閾値を用いて、路面候補視差ｄ_ｃを収集する。ステップＳ３０５において、路面検出部２６は、収集した路面候補視差ｄ_ｃを平均化して平均路面候補視差ｄ_ａｖを算出する。ステップＳ３０６において、路面検出部２６は、平均路面候補視差ｄ_ａｖを用いて、数式（１）の路面高さＹを変更する。路面検出部２６は、路面高さＹを変更した数式（１）を用いて、幾何推定路面視差ｄ_ｓを算出する。さらに路面検出部２６は、ｎ＋２番目の行の路面候補視差ｄ_ｃの抽出のために、幾何推定路面視差ｄ_ｓに路面高さ変化量ΔＹを考慮して、視差収集閾値を算出する。

路面検出部２６は、路面候補視差ｄ_ｃの抽出対象を、ステレオカメラ１０から最も近い路面候補視差ｄ_ｃの抽出位置に対応する行から、順次上方向（ｖ座標の負の方向）にシフトさせながら、当該ｖ座標に対応する路面候補視差ｄ_ｃを抽出する。路面検出部２６は、抽出した路面候補視差ｄ_ｃを、対応するｕ座標及びｖ座標及びｖ座標に対応する平均路面候補視差ｄ_ａｖと共にメモリ２３に格納してよい。

路面検出部２６は、ステップＳ３０７において、数式（１）により算出された幾何推定路面視差ｄ_ｓが上述の所定の値以下となったとき、路面候補視差ｄ_ｃの抽出処理を終了して、図７のフローチャートのステップＳ２０１に戻る。所定の値は、例えば、１画素とすることができる。

このように、図８のフローチャートでは、路面候補視差ｄ_ｃを抽出するｖ座標の初期値をステレオカメラ１０から見て近距離側の位置に対応するｖ_０に設定し、順次遠距離側の路面候補視差ｄ_ｃを抽出する。ステレオカメラ１０は、一般的に遠距離側よりも近距離側の方が、視差の検出精度が高い。このため、近距離側から遠距離側に順次路面候補視差ｄ_ｃを抽出することにより、検出される路面候補視差ｄ_ｃの精度を高めることができる。

上記路面候補視差ｄ_ｃを抽出する図８のフローチャートでは、縦方向の１つの座標ごとに路面候補視差ｄ_ｃを算出した。言い換えると、上記路面候補視差ｄ_ｃを抽出するフローチャートでは、縦方向に１画素の行ごとに路面候補視差ｄ_ｃを算出した。路面候補視差の算出の単位は、これに限られない。縦方向に複数の座標を纏めて路面候補視差ｄ_ｃを算出することも可能である。

ステップＳ３０１～Ｓ３０７の路面候補視差ｄ_ｃの抽出処理に続いて、路面検出部２６は、図７のフローチャートのステップＳ２０２に進む。路面検出部２６は、近距離側から遠距離側へ順次路面視差ｄ_ｒを推定する際に、路面視差ｄ_ｒに順次カルマンフィルタを適用する。そのため、始めに、路面検出部２６は、カルマンフィルタの初期化を行う（ステップＳ２０２）。カルマンフィルタの初期値として、ステップＳ３０５で算出した、路面視差ｄ_ｒの推定を行う行のうち最も下の行（ｖ座標の値がｖ_０の行）に対応する平均路面候補視差ｄ_ａｖの値を利用することができる。

路面検出部２６は、以下のステップＳ２０３～Ｓ２１０の処理を、路面４１の近距離側から遠距離側へ対象とする行を変えながら順次実行する（ステップＳ２０３）。

まず、路面検出部２６は、第１視差画像内の対象とする行について、実空間における一定幅の範囲内に位置する路面候補視差ｄ_ｃから、路面視差ｄ_ｒの値ごとの頻度を表すヒストグラムを生成する（ステップＳ２０４）。実空間における一定幅の範囲とは、道路の走行車線の幅を考慮した範囲である。一定幅は、例えば、２．５ｍ又は３．５ｍ等の値に設定できる。視差を取得する範囲は、例えば、図１１において実線の枠線５０により囲まれた範囲に初期設定される。一定幅は、予め物体検出装置２０のメモリ２３等に記憶される。視差を取得する範囲を、この範囲に限定することにより、路面検出部２６が路面４１以外の物体又は防音壁等の構造物を路面４１と誤認して抽出する可能性が低減される。これにより、路面検出の精度を向上することができる。図１１に実線で示した視差を取得する範囲は、後述するように、前方の道路上の状況に応じて初期設定された枠線５０から順次変更されうる。

路面検出部２６は、カルマンフィルタによる路面視差ｄ_ｒの予測値に基づいて、対象とする行について路面視差ｄ_ｒの取得範囲を設定する。路面視差ｄ_ｒの取得範囲は、カルマンフィルタが次の行の路面視差ｄ_ｒを予測する際に算出する信頼度に基づいて決定される範囲である。信頼度は、ガウス分布の分散σ^２（σは路面視差ｄ_ｒの標準偏差）で表現される。路面検出部２６は、予測値±２σ等により路面視差ｄ_ｒの取得範囲を求めることができる。路面検出部２６は、ステップＳ２０４で生成した路面候補視差ｄ_ｃのヒストグラムから、カルマンフィルタに基づいて設定された路面視差ｄ_ｒの取得範囲内で、頻度が最大となる路面視差ｄ_ｒを抽出する。路面検出部２６は、抽出した路面視差ｄ_ｒを、対象とする行の路面視差ｄ_ｒの観測値とする（ステップＳ２０５）。

次に、路面検出部２６は、ステップＳ２０５で決定した路面視差ｄ_ｒが、物体の視差等を含まず、正しい路面視差ｄ_ｒであることを確認する（ステップＳ２０６）。路面検出部２６は、現在処理中の行までの各行で検出された全ての路面視差ｄ_ｒについて、路面視差ｄ_ｒとｖ座標とを座標軸とするｄ－ｖ座標空間上にマップしたｄ－ｖ相関図を生成する。正しく路面４１が検出されている場合、ｄ－ｖ相関図は、図１２に破線で示すようにｖ座標の値が小さくなるにつれて、路面視差ｄ_ｒも直線的に小さくなる。

一方、物体の視差を路面４１として誤認識している場合、図１３に示すように、ｄ－ｖ相関図は、物体を表す視差の部分で、縦方向の座標（ｖ座標）の変化に関わらず視差ｄが略一定となる。一般に、物体は、路面４１に対して垂直な部分を含むので、第１視差画像上では等距離の視差を多く含むように表示される。図１３において、第１部分Ｒ_１は、ｖ座標の値の変化とともに視差ｄが減少している。第１部分Ｒ_１は、路面４１を正しく検出している部分である。第２部分Ｒ_２は、ｖ座標が変化しても視差ｄは一定である。第２部分Ｒ_２は、物体を誤検出した部分と考えられる。路面検出部２６は、視差ｄが略等しい値の行が所定数続いたとき、物体を誤認識していると判断することができる。

ステップＳ２０６で視差が正しい路面視差ｄ_ｒではないと判断されると（ステップＳ２０６：Ｎｏ）、路面検出部２６は、物体が誤検出されたと判断される行から、路面視差ｄ_ｒを再探索する（ステップＳ２０７）。ステップＳ２０７において、路面検出部２６は、ｖ座標の値が変化しても視差ｄが変化しない行の領域で、路面視差ヒストグラムを再探索する。この領域で、ステップＳ２０５で決定された視差ｄよりも小さい視差の部分に、頻度が高い視差がある場合、路面検出部２６は、この視差を正しい路面視差ｄ_ｒの観測値であると判断することができる。

ステップＳ２０６において路面視差ｄ_ｒが正しいと判断されたとき（ステップＳ２０６：Ｙｅｓ）、及び、ステップＳ２０７において、路面視差ｄ_ｒの再探索が終了したとき、路面検出部２６は、ステップＳ２０８に進む。ステップＳ２０８において、路面検出部２６は、縦方向に１画素ずらした次の行のヒストグラムを生成する対象となる第１視差画像上の路面４１の横方向の範囲を決定する。例えば、図１１に示すように、路面４１上に他車両４２がある場合、路面検出部２６は、他車両と重複する部分の路面４１の正しい路面視差ｄ_ｒを取得できない。路面視差ｄ_ｒを取得できる路面４１の範囲が狭くなると、路面検出部２６は、正確な路面視差ｄ_ｒを取得し難くなる。このため、路面検出部２６は、図１１に破線で示したように路面候補視差ｄ_ｃを取得する範囲を順次横方向に変化させる。具体的には、路面検出部２６は、ステップＳ２０６で物体が含まれていると判断した場合、物体の横方向の何れの側に正しい路面視差ｄ_ｒを表す路面候補視差ｄ_ｃが多いか検出する。次の行において、横方向のより多くの正しい路面視差ｄ_ｒを表す路面候補視差ｄ_ｃ含まれる側（図１１において右側）に視差を取得する範囲を順次ずらす。

次に、路面検出部２６は、ステップＳ２０５又はＳ２０７で決定した現在の行の路面視差ｄ_ｒを用いて、カルマンフィルタを更新する（ステップＳ２０９）。すなわち、カルマンフィルタは、現在の行の路面視差ｄ_ｒの観測値に基づいて、路面視差ｄ_ｒの推定値を算出する。現在の行の推定値が算出されると、路面検出部２６は、現在の行の路面視差ｄ_ｒの推定値を過去のデータの一部として加え、次の行の路面視差ｄ_ｒの推定値を算出する処理に用いる。路面４１の高さは、ステレオカメラ１０からの水平方向の距離Ｚに対して、急に上下に変化しないと考えられる。このため、本実施形態のカルマンフィルタを用いる推定では、現在の行の路面視差ｄ_ｒの近くに次の行の路面視差ｄ_ｒが存在すると推定される。このように、路面検出部２６が現在の行の路面視差ｄ_ｒの近くに次の行のヒストグラムを生成する視差の範囲を限定することにより、路面４１以外の物体を誤検出する可能性が低減される。また、路面検出部２６が実行する演算の量を減らして、処理を高速化することができる 。

ステップＳ２０９でカルマンフィルタにより推定された路面視差ｄ_ｒが所定値より大きい場合、路面検出部２６は、ステップＳ２０３に戻り、ステップＳ２０３～Ｓ２０９の処理を繰り返す。カルマンフィルタにより推定された路面視差ｄ_ｒが所定値以下の場合（ステップＳ２１０）、路面検出部２６は、次の処理（ステップＳ２１１）に進む。所定値は、例えば、１画素とすることができる。

ステップＳ２１１において、路面検出部２６は、ｄ－ｖ相関図上で、縦方向の画像座標ｖと推定された路面視差ｄ_ｒとの関係を、２本の直線で近似する。路面視差ｄ_ｒは、ステレオカメラ１０からの距離Ｚに関係する。ｖ座標の値は、ステレオカメラ１０からの距離Ｚ及び路面高さＹに関連する。したがって、ｖ座標と路面視差ｄ_ｒとの関係を２本の直線で近似することは、ステレオカメラ１０からの距離と路面４１の高さとの関係を、２本の直線で近似したものということができる。ステップＳ２１１の処理は、図１４のフローチャートに詳しく説明される。

まず、図７のステップＳ２１０までの処理により、路面視差ｄ_ｒとｖ座標との相関関係が得られる。例えば、ｖ座標と路面視差ｄ_ｒとの相関関係は、図１５の破線のグラフ５１のようにｄ－ｖ座標空間で示される。実空間において、路面４１が平坦で傾斜変化が無い場合、グラフ５１は直線になる。しかしながら、現実の路面４１は上り下り等の起伏の変化により、路面４１の傾斜が変化しうる。路面４１の傾斜が変化する場合、ｄ－ｖ座標空間のグラフ５１は、直線で表現できない。路面４１の傾斜の変化を３本以上の直線又は曲線で近似しようとすると、物体検出装置２０の処理負荷が大きくなる。そこで、本願では２本の直線によりグラフ５１を近似する。

図１５に示すように、路面検出部２６は、ｄ－ｖ座標空間における下側（近距離側）の推定された路面視差ｄ_ｒを、第１直線５２により最小二乗法により近似する（ステップＳ４０１）。第１直線５２による近似は、物体検出装置２０が物体検出の対象とする距離範囲の中で、所定の距離に対応する路面視差ｄ_ｒまでの範囲で行うことができる。所定の距離は、物体検出装置２０が物体検出の対象とする距離範囲の半分の距離とすることができる。例えば、物体検出装置２０が、１００ｍ先までの物体を検出するように設計される場合、第１直線５２はステレオカメラ１０が測定可能な最も近い距離から５０ｍ先までの範囲で、最小二乗法によりグラフ５１に最も近づくように決定されてよい。

次に、路面検出部２６は、ステップＳ４０１で近似した第１直線５２の表す路面４１の傾斜が、路面４１としてあり得る傾斜か否かを判定する（ステップＳ４０２）。第１直線５２の傾斜角度は、実空間に変換すると平面になる。第１直線５２の傾斜は、ステレオカメラ１０の設置位置の路面高さＹ_０及び基線長Ｂ等の条件に応じて定まる路面４１のｙｚ平面内の傾斜角度に対応する。路面検出部２６は、第１直線５２に対応する実空間の路面４１の傾斜が、実空間における水平面を基準とする所定角度の範囲内にあるとき、あり得る傾斜であると判定することができる。路面検出部２６は、第１直線５２に対応する実空間の路面４１の傾斜が、実空間における水平面を基準とする所定角度の範囲外にあるとき、あり得ない傾斜であると判定することができる。所定角度は、移動体３０の走行環境を考慮して適宜設定することができる。

ステップＳ４０２において、第１直線５２の傾斜が路面４１としてあり得ない傾斜であると判定した場合（ステップＳ４０２：Ｎｏ）、路面検出部２６は、路面４１が平坦であることを仮定した理論路面に基づき第１直線５２を決定する（ステップＳ４０３）。理論路面は、ステレオカメラ１０の設置位置の路面高さＹ_０、設置角度、及び基線長Ｂ等の設置条件に基づいて算出することができる。路面検出部２６は、画像から算出した路面視差ｄ_ｒが信用できないとき、理論路面の路面視差を採用する。例えば、路面検出部２６は、路面４１以外の物体又は構造物の視差を誤って路面視差ｄ_ｒとして抽出した場合、路面４１を非現実的な傾斜を有するものと判断して、誤りを排除できることがある。これにより、路面４１以外の物体又は構造物の視差を路面視差ｄ_ｒであると誤判定する可能性を低減することができる。

ステップＳ４０２において、路面検出部２６が、第１直線５２の傾斜が路面４１としてあり得る傾斜であると判定した場合（ステップＳ４０２：Ｙｅｓ）、及び、ステップ４０３の後、路面検出部２６はステップＳ４０４の処理に進む。ステップＳ４０４において、路面検出部２６は、第２直線５５の近似を開始する近似開始点５３を決定する。路面検出部２６は、第１直線５２のｖ座標の最も小さい側（遠距離側）から大きい側（近距離側）へ、グラフ５１との近似誤差を算出し、近似誤差が連続して所定値より小さくなる第１直線５２上の座標を、近似開始点５３とすることができる。あるいは、近似開始点５３は、第１直線５２のｖ座標の最も大きい側（近距離画側）から小さい側（遠距離側）へ、グラフ５１との近似誤差を算出し、近似誤差が所定値より大きくなったときの第１直線５２上の座標として決定してよい。近似開始点５３のｖ座標は特定の値に固定されない。近似開始点５３は、第１直線５２上で物体検出装置２０が物体検出の対象とする距離範囲の半分の距離よりも、ステレオカメラ１０側に近い位置に相当するｖ座標の位置に設定されてよい。例えば、第１直線５２が、測定可能な最も近い距離から５０ｍ先までの範囲で路面４１を近似した場合、近似開始点５３は、５０ｍよりも手前の４０ｍに相当するｖ座標の位置に設定されてよい。

ステップＳ４０４の後、路面検出部２６は、ステップＳ４０５～Ｓ４０７を繰り返し実行する。図１６に示すように、路面検出部２６は、第１直線５２との角度差を所定の角度範囲から選択された角度として、近似開始点５３を起点とする第２直線５５の候補である候補直線５４を順次選択する（ステップＳ４０５）。所定の角度範囲は、測定対象の距離範囲内で道路の勾配が変化しうる角度として設定される。所定の角度範囲は、例えば±３度とすることができる。例えば、路面検出部２６は、候補直線５４の角度を、第１直線５２の角度－３度から開始して、第１直線５２の角度＋３度まで、順次、０．００１度ずつ加えた角度に変えることができる。

選択した候補直線５４について、路面検出部２６は、ｄ－ｖ座標空間においてグラフ５１の近似開始点５３よりも上側（遠距離側）の部分との誤差を計算する（ステップＳ４０６）。誤差の計算は、ｖ座標に対する視差ｄの平均二乗誤差により計算できる。路面検出部２６は、候補直線５４ごとに計算した誤差を、メモリ２３に格納してよい。

路面検出部２６は、角度範囲の全ての候補直線５４について誤差の計算が終了すると（ステップＳ４０７）、メモリ２３に格納された誤差の中から最小の誤差を探索する。図１７に示すように、路面検出部２６は、最小の誤差を有する候補直線５４を第２直線５５として選択する（ステップＳ４０８）。

ステップＳ４０８で第２直線５５が決定されると、路面検出部２６は、第２直線５５のグラフ５１との誤差が所定値以内か否かを判定する（ステップＳ４０９）。所定値は、所望の路面推定の精度を得るために、適宜設定される。

ステップＳ４０９で、誤差が所定値以内の場合（ステップＳ４０９：Ｙｅｓ）、路面視差ｄ_ｒは、第１直線５２及び第２直線５５を用いて近似される。

ステップＳ４０９で、誤差が所定値を超える場合（ステップＳ４０９：Ｎｏ）、路面検出部２６は、第１直線５２を上側（遠距離側）に延長して、近似結果を上書きする（ステップＳ４１０）。以上のようにして、路面視差ｄ_ｒが２本の直線により近似される。

ｖ座標に対する路面視差ｄ_ｒが、２本の直線で近似されることにより、路面位置が、２本の直線で近似される。これによって、路面位置を曲線又は３本以上の直線で近似する場合に比べて、以降の計算に係る負荷が低減され、且つ、物体検出の処理が高速化される。また、路面を１本の直線で近似する場合に比べて、実際の路面との誤差が小さい。さらに、第２直線５５の近似開始点５３のｖ座標を所定の座標に固定しないことにより、近似開始点５３の座標を予め固定した場合と比較して、実際の路面との近似の精度を向上することができる。

ステップＳ４０９で、誤差が所定値以内の場合（ステップＳ４０９：Ｙｅｓ）及びステップＳ４１０の後、路面視差ｄ_ｒを直線近似する処理は終了し、図７のステップＳ２１２に戻る。

ステップＳ２１２において、第１視差画像から除去する路面視差ｄ_ｒの閾値が決定される（ステップＳ２１２）。第１視差画像から除去する路面視差ｄ_ｒの閾値は、後述する第１高さに相当する。第１高さは、次のステップＳ１０３の処理で路面視差ｄ_ｒが除去されるように算出されうる。

次に、画像処理部２２の処理は、図５のフローチャートに戻る。画像処理部２２の不要視差除去部２７は、路面検出部２６から、ｄ－ｖ座標空間におけるｖ座標と路面視差ｄ_ｒとの関係を２本の直線で近似した近似式を取得する。ｄ－ｖ座標空間におけるｖ座標と路面視差ｄ_ｒとの関係を表す近似式から、実空間におけるステレオカメラ１０の前方の距離Ｚと路面高さＹとの関係が得られる。不要視差除去部２７は、近似式に基づいて、（第２処理）を実行する（ステップＳ１０３）。第２処理は、実空間における路面４１からの高さが第１高さ以下の被写体に対応する視差画素と、路面４１からの高さが第２高さ以上の被写体に対応する視差画素とを第１視差画像から除去する処理である。これにより、不要視差除去部２７は、図６に示した第１視差画像から、図１８に示すような第２視差画像を生成する。図１８は説明のために作図された図である。ステレオカメラ１０から取得した画像に基づく実際の第２視差画像は、例えば、図１９のようになる。図１９では、黒白の濃淡により視差の大きさを表現している。

第１高さは、例えば１５ｃｍより大きく５０ｃｍよりも小さい値に設定しうる。第１高さを、１５ｃｍより小さい値に設定すると、不要視差除去部２７は、路面４１上の凹凸及び／又は近似式の誤差等に起因する、道路上の物体以外の被写体を検出し易くなる。その結果、検出誤り又は検出速度の低下が生じうる。また、第１高さを５０ｃｍよりも大きくすると、不要視差除去部２７は、路面４１上の子供及び／又は大きな障害物等を検出し損なう虞がある。

第２高さは、道路上を走行可能な車両の高さの上限値に基づいて設定されうる。道路上を走行可能な車両の高さは、交通法規等により規定される。例えば、日本の道路交通法では、トラックの高さは原則３．８ｍ以下である。第２高さは、例えば、４ｍとしうる。第２高さを４ｍ以上とすると、信号機及び情報表示板等を含む空中の構造物等の検出不要な物体を検出することがある。

不要視差を除去することにより、以下の物体を検出する物体検出処理（第３処理及び第４処理）に先立ち、不要視差除去部２７は、路面４１及び道路上の物体以外の被写体の視差を予め除去できる。これによって、物体を検出する精度が高くなる。また、不要な視差が除去されるので、道路上の物体に関連しない視差に関する演算量を低減できるので、処理速度を高速化することができる。したがって、本開示の物体検出装置２０は、物体を検出する処理の性能を向上させることができる。

不要視差除去部２７は、第２視差画像をクラスタリング部２８に引き渡す。クラスタリング部２８は、第２視差画像及び路面検出部２６により算出された路面４１の位置の近似式に基づいて、横方向の各ｕ座標又はｕ座標の範囲について、物体に関連する物体視差を決定する処理（第３処理）を行う（ステップＳ１０４）。具体的には、クラスタリング部２８は、第２視差画像の横方向のｕ座標の範囲ごとに、それぞれの視差に対する画素の数を表すヒストグラムを生成する。ｕ座標の範囲は、横方向の画素の１つ又は複数を含む範囲である。

図２０に示すように、クラスタリング部２８は、第２視差画像から１つ又は複数の横方向の画素の幅Δｕを有する縦長の領域を抽出する。縦長の領域は、その領域に物体に関連する物体視差が存在するか否かを判定し、且つ、物体視差に対応する距離情報を取得するために使用される。したがって、縦長の領域の横方向の幅Δｕを細かくすれば、横方向の物体を検出する分解能が高くなる。図２０では、説明のためにΔｕの幅を広く表示しているが、Δｕは１画素から数画素の幅とすることができる。縦長の領域を、第２視差画像の横方向の一方の端から他方の端に向けて順次取得して、以下で述べる処理を行うことにより、第２視差画像の横方向全体に渡り、物体視差の検出が行われる。

図２１は、ヒストグラムの一例を示す図である。図２１の横軸は、画素を単位として表される視差ｄである。視差ｄは、横軸の左側が大きく、右側に行くに従い小さくなる。視差ｄの最小値は、例えば１画素、又は、１画素より小さい値であってよい。視差が大きいほど、距離の分解能が細かく、視差が小さいほど距離の分解能が粗くなる。このため、図２１のヒストグラムの横軸は、視差が大きい側で、より多くの視差ｄを纏めている。図２１のヒストグラムの縦軸は、横軸の視差ｄを有する視差画素の出現数を表している。

図２１には、さらに、各視差ｄが物体視差であるか否かを判定するための閾値を表す閾値曲線が示されている。視差ｄは、幅を有する視差の区間の代表値とすることができる。各視差ｄの画素の出現数が、閾値曲線を上回る場合、幅Δｕの縦長の領域内に、同じ距離を表す視差画素が閾値曲線で規定される所定数以上含まれていることを意味する。図２１において、斜線が付されたビン（柱状部）は、閾値曲線を上回っている。閾値曲線は、各視差ｄに対して、実空間におけるｙ方向の所定の高さに相当する出現数（画素数）に設定することができる。例えば、所定の高さは、５０ｃｍとすることができる。遠距離にあり視差が小さいとき、画像上で表示される物体は近距離にある物体に比べて小さく表示される。このため閾値曲線の縦軸の出現数の値は、視差ｄが小さいほど小さくなっている。クラスタリング部２８は、出現数が視差ｄに応じた所定の閾値を上回る場合、当該画素に対応する視差ｄを物体視差ｄ_ｅとして決定する。

次に、クラスタリング部２８は、第２視差画像上の物体視差ｄ_ｅの分布と、ステップＳ１０２で推定した路面４１の位置に基づいて、物体視差ｄ_ｅに関連付けられる高さ情報を算出する（ステップＳ１０５）。ステップＳ１０５の処理は、第３処理に含まれてよい。

具体的には、第１カメラ１１又は第２カメラ１２で取得される画像が図２２のような部分を含む場合を想定する。第２視差画像中の他車両４２の枠線６１で囲まれた部分に対応する部分が図２３に拡大して示される。

クラスタリング部２８は、物体視差ｄ_ｅが存在するｕ座標について、物体視差ｄ_ｅの有する距離情報と、ステップＳ１０２で推定された路面位置とに基づいて、物体視差ｄ_ｅが表す物体の距離に対応する路面推定位置を算出する。路面４１上に物体が存在する場合、第２視差画像上でこの路面推定位置の上側に、物体視差ｄ_ｅを有する視差画素が並ぶ。クラスタリング部２８は、第２視差画像の視差画素をｕ座標の路面位置から、上方向に走査して、物体視差ｄ_ｅを有する視差画素の縦方向（ｖ座標方向）の分布を検出する。クラスタリング部２８は、同じ物体視差ｄ_ｅの視差画素が並んでいる数又は分布に基づいて、第２視差画像上の高さ情報を決定する。クラスタリング部２８は、物体視差ｄ_ｅの視差画素が縦方向において部分的に途切れている場合も、所定の判定基準に従い高さ情報を判定することができる。

クラスタリング部２８は、１つ又は複数の座標を含む横方向の座標（ｕ座標）の範囲ごとに、物体視差ｄ_ｅ及び高さ情報を関連付けて、メモリ２３に記憶することができる。クラスタリング部２８は、図２４に一例を示すように、メモリ２３に記憶された複数の物体視差ｄ_ｅを、ｕ座標及び視差ｄをそれぞれ横軸及び縦軸とする２次元空間（ｕ－ｄ座標空間）上の点群の分布として表現しうる。クラスタリング部２８は、ｕ座標ごとの物体視差ｄ_ｅの情報を、グルーピング部２９に引き渡す。

グルーピング部２９は、ｕ－ｄ座標空間の物体視差ｄ_ｅの情報をワールド座標系のｘ－ｚ座標空間（実空間）上の点群に変換し、点群の纏まり（グループ）を抽出することにより、物体を検出する処理（第４処理）を実行する（ステップＳ１０６）。グルーピング部２９は、所定の条件に従い近接する複数の点を纏めて点群の纏まりとして抽出する。図２５から図３２を用いて、グルーピング部２９が実行する処理の一例を説明する。

図２５は、道路の路面４１上を走行する物体検出システム１を搭載した移動体３０と、他車両４２，４３，４４と、側壁４５と、道路照明灯４６とを含む。図２５において、移動体３０は、車両である。

図２６は、グルーピング部２９の動作を示すフローチャートである。ステップＳ５０１では、移動体３０に搭載された物体検出装置２０のグルーピング部２９は、図２４に示すようなｕ－ｄ座標空間の複数の物体視差ｄ_ｅを、図２７に示すような実空間（ｘ－ｚ座標空間）の点群に変換する。図２７では、ｘ－ｚ座標空間上の各点は物体の有無を示している。すなわち、点有りが物体有りを意味し、点無しが物体無しを意味する。図２７は図２５に対応しており、他車両４２，４３，４４と、側壁４５と、道路照明灯４６とが点群として示されている。グルーピング部２９は、点ごとに、クラスタリング部２８で求めた物体視差ｄ_ｅの情報及び高さの情報を紐付けて記憶する。ワールド座標系のｘ方向は移動体３０の進行方向に垂直な方向である。ワールド座標系のｚ方向は、移動体３０の進行方向に水平な方向である。

ステップＳ５０２では、グルーピング部２９は、ｘ－ｚ座標空間上の点群から、ｚ方向に連続して並ぶ点群を抽出する。例えば、グルーピング部２９は、ｚ方向の点が所定の数以上（実空間で所定の長さ以上）連続する場合に、該点群を抽出する。そして、グルーピング部２９は、抽出した点群をｘ－ｚ座標空間上の点群から削除する。図２８は、グルーピング部２９により抽出された、ｚ方向に連続して並ぶ点群７１及び点群７２の一例を示している。図２９は、グルーピング部２９がｘ－ｚ座標空間からｚ方向に連続して並ぶ点群７１及び点群７２を削除した後の、ｘ－ｚ座標空間上の点群の一例を示している。

ｚ方向に連続して並ぶ点群は、移動体３０の進行方向に平行と推測される物体の存在を示している。移動体３０の進行方向に平行な物体とは、ガードレール及び側壁等の道路端の構造物、並びに他車両の車体の側面等である。図２８の点群７１は、図２５における他車両４４の車体の側面を示している。図２８の点群７２は、図２５における側壁４５の一部を示している。グルーピング部２９は、ステップＳ５０２の処理を行うことにより、進行方向に平行な物体の検出率を低くすることができる。

ステップＳ５０３では、グルーピング部２９は、ｘ－ｚ座標空間上の点群から、ｘ方向に連続して並ぶ点群を抽出し、結合する。例えば、グルーピング部２９は、ｘ方向の点が所定の数以上（実空間で所定の長さ以上）連続する場合に、ｘ方向に連続する点群を抽出する。そして、グルーピング部２９は、ｘ方向に連続する点群をｚ方向に結合し、一纏まりの点群を含む四角形の領域（結合領域）を決定する。図３０は、グルーピング部２９により決定された結合領域の一例を示している。なお、グルーピング部２９は、結合領域のｘ方向の幅が閾値を超える場合には、結合領域を分割してよい。

結合領域は、移動体３０の進行方向に垂直と推測される物体の存在を示している。移動体３０の進行方向に垂直な物体とは、道路照明灯等の道路上の構造物、及び他車両の車体の後面等である。図３０の結合領域７３－１～７３－４は、図２５における側壁４５の一部を示している。図３０の結合領域７４は、図２５における他車両４２の車体の後面を示している。図３０の結合領域７５は、図２５における他車両４３の車体の後面を示している。ただし、結合領域７５は、移動体３０から見て、他車両４３の車体の後面のうち、他車両４２によって隠されていない部分のみを示している。図３０の結合領域７６は、図２５における他車両４４の車体の後面を示している。図３０の結合領域７７は、図２５における道路照明灯４６を示している。このように、グルーピング部２９は、ステップＳ５０１からＳ５０３の処理により、物体を検出することができる。

なお、ｚ方向に連続して並ぶ点群の抽出及びｘ方向に連続して並ぶ点群の抽出は、任意の方法で行うことができる。図３１を参照して、ｚ方向に連続して並ぶ点群の抽出の一例を説明する。図中の１マスはｘ－ｚ座標空間の量子化の単位である。ここでは、ｘ方向のウインドウサイズを３マスとする。グルーピング部２９は、ウインドウサイズ内に点が存在したらカウントを開始し、例えば図３１Ａに示すように連続してｉマス以上点が存在す場合に、ｚ方向に連続して並ぶ点群であると判定する。また、グルーピング部２９は、図３１Ｂに示すように、カウント開始後に点の存在しないウインドウがあっても、点の存在しないウインドウがｚ方向に連続してｊマス以内であれば、点は連続しているものとみなしてよい。この場合には、グルーピング部２９は、例えばｚ方向に連続してｋマス以上点が連続しているとみなした場合に、ｚ方向に連続して並ぶ点群であると判定する。

ステップＳ５０４では、グルーピング部２９は、ｘ－ｚ座標空間上の各点に紐付けられた物体視差ｄ_ｅに基づいて、移動体３０に搭載されたステレオカメラ１０から、移動体３０の進行方向に垂直な物体（ステップＳ５０１からＳ５０３の処理により検出された物体）までの距離を決定する。例えばグルーピング部２９は、ステレオカメラ１０から、結合領域に含まれる一纏まりの点群のうちのｘ方向に最も長く連続する点群の各点までの距離の平均値を、移動体３０の進行方向に垂直な物体までの距離として算出する。

また、ステップＳ５０４では、グルーピング部２９は、ｘ－ｚ座標空間上の各点に紐付けられた高さ情報に基づいて、移動体３０の進行方向に垂直な物体の高さを決定する。ｘ－ｚ座標空間上の点群のうち、高さ情報の示す高さが高い点は、空中物体等を示している可能性、又はノイズである可能性がある。そこで、グルーピング部２９は、ｘ－ｚ座標空間上の点群のうち、高さ情報の示す高さが高い点を、物体の高さ判定に用いないようにしてよい。例えばグルーピング部２９は、結合領域に含まれる一纏まりの点群の各点の高さを高さ順に並び替えて、所定番目の高さを移動体３０の進行方向に垂直な物体の高さとしてよい。これにより、グルーピング部２９は、移動体よりも高い空中物体等の物体を除いて、物体の高さを決定することができる。また、ノイズの影響を低減し、物体の高さを精度良く求めることができる。

また、グルーピング部２９は、点群の纏まりのｘ方向の分布に基づいて、物体の横幅を決定してよい。すなわち、グルーピング部２９は、結合領域のｘ方向の幅に基づいて、物体の横幅を決定してよい。したがって、グルーピング部２９は、認識した物体のｘ－ｚ座標空間上での位置、横幅、及び高さを認識することができる。

ステップＳ５０３で決定した結合領域が示す物体には、移動体と、該移動体よりも高い側壁等の静止物体とが含まれる場合がある。例えば図３２に示すように、他車両４７が高速道路を走行している場合には、他車両４７と高速道路の防音壁４８の双方が１つの結合領域として示される可能性がある。１つの結合領域が他車両４７と高速道路の防音壁４８の双方を示している場合には、ｘ－ｚ座標空間上の結合領域のｘ方向両端に対応する高さを比較すると、一方は他車両４７の高さとなり、他方は防音壁４８の高さとなる。そこで、ステップＳ５０４において、グルーピング部２９は、結合領域のｘ方向両端からそれぞれ所定の割合（例えば、３０％）に含まれる点群に紐付けられた高さの平均値を算出し、両端の高さの平均値の差が閾値（例えば、数ｍ）を超える場合には、低いほうの値を物体の高さと決定してよい。すなわち、グルーピング部２９は、検出した物体の両端の高さの差が閾値を超える場合には、低いほうを物体の高さと決定してよい。これにより、グルーピング部２９は、移動体と、該移動体よりも高い静止物体とを、纏めて１つの物体として検出した場合であっても、移動体の高さを決定することができる。

画像処理部２２は、グルーピング部２９で認識した物体の位置、横幅及び高さの情報を、出力部２４を介して、移動体３０内の他の装置に出力することができる（ステップＳ１０７）。例えば、画像処理部２２は、移動体３０内の表示装置にこれらの情報を出力することができる。移動体３０内の表示装置は、図３３に示すように、第１カメラ１１又は第２カメラ１２の画像に、物体検出装置２０から取得した情報に基づいて、他の車両４２の画像を囲む枠線を表示してよい。図３３において、枠線は、検出された物体の位置及び画像内に占める範囲を示す。

以上のように、本開示の物体検出装置２０は、速い処理速度と高い精度の物体検出を可能にする。すなわち、本開示の物体検出装置２０は、物体を検出する性能を向上することができる。また、物体検出装置２０は、検出する対象の物体を特定の種類の物体に限定しない。物体検出装置２０は、路面上に存在するあらゆる物体を検出することができる。物体検出装置２０の画像処理部２２は、第１処理、第２処理、第３処理及び第４処理を、第１視差画像以外の前記ステレオカメラ１０により撮像された画像の情報を用いずに実行することができる。このため、物体検出装置２０は、第１視差画像及び第２視差画像の処理に加えて、撮像した画像から別途物体を認識する処理を行わなくてよい。したがって、本開示の物体検出装置２０は、物体認識に係る画像処理部２２の処理負荷を低減することができる。このことは、本開示の物体検出装置２０が、第１カメラ１１又は第２カメラ１２から直接得られた画像に対する画像処理と組み合わせることを排除しない。物体検出装置２０は、テンプレートマッチング等の画像処理技術と組み合わせることも可能である。

上述の画像処理部２２の実行する処理の説明において、本開示の理解を助けるため、種々の画像を用いた判定及び操作等を含む処理が説明された。これらの画像を用いた処理は、実際に画像を描画する処理を含まなくてよい。これらの画像を用いた処理と実質的に同じ内容の処理が、画像処理部２２の内部の情報処理で実行される。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１レンズは、第２レンズと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

本開示において、ｘ方向、ｙ方向、及び、ｚ方向は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、ｘ方向、ｙ方向、及び、ｚ方向を各軸方向とする直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。画像の座標を示すｕ座標及びｖ座標は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。ｕ座標及びｖ座標の原点及び方向は、本開示のものに限定されない。

上記実施形態において、ステレオカメラ１０の第１カメラ１１及び第２カメラ１２は、
ｘ方向に並んで位置していた。第１カメラ１１及び第２カメラ１２の配置はこれに限られない。第１カメラ１１及び第２カメラ１２は、路面に垂直な方向（ｙ方向）又は路面４１に対して傾いた方向に並んで位置してよい。ステレオカメラ１０を構成するカメラの数は２つに限られない。ステレオカメラ１０は、３つ以上のカメラを含んでよい。例えば、路面に水平方向に並ぶ２台のカメラ及び垂直方向に並ぶ２台のカメラの合計４台のカメラを用いて、より精度の高い距離情報を得ることも可能である。

上記実施形態において、ステレオカメラ１０及び物体検出装置２０は、移動体３０に搭載されていた。ステレオカメラ１０及び物体検出装置２０は、移動体３０に搭載されるものに限られない。例えば、ステレオカメラ１０及び物体検出装置２０は、交差点等に設置される路側機に搭載され路面を含む画像を撮像するように配置されてよい。例えば、路側機は、交差点で交差する道路の一方から接近する第１の車両を検出し、他方の道路上を走行して接近する第２の車両に対して第１の車両の接近を知らせる情報提供をすることができる。

１ 物体検出システム
１０ ステレオカメラ
１１ 第１カメラ
１２ 第２カメラ
２０ 物体検出装置
２１ 取得部
２２ 画像処理部（プロセッサ）
２３ メモリ
２４ 出力部
２５ 視差画像生成部
２６ 路面検出部
２７ 不要視差除去部
２８ クラスタリング部
２９ グルーピング部
３０ 移動体
４１ 路面
４２，４３，４４，４７ 他車両（物体）
４５ 側壁
４６ 道路照明灯
４８ 防音壁
５０，６１ 枠線
５１ グラフ
５２ 第１直線
５３ 近似開始点
５４ 候補直線
５５ 第２直線
７１，７２ 点群
７３－１，７３－２，７３－３，７３－４，７４，７５，７６，７７ 結合領域
Ｒ１ 第１部分
Ｒ２ 第２部分

Claims (10)

1. 路面を含む画像を撮像するステレオカメラの出力に基づき生成される第１視差マップであって、前記ステレオカメラの撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る２次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第１視差マップに基づき、実空間における路面の位置を推定する路面検出処理と、
   前記第１視差マップの前記第１方向の座標範囲ごとの視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定する物体視差決定処理と、
   前記物体視差の情報を、ワールド座標系のｘ－ｚ座標空間上の点群に変換し、各点は物体の有無を示しており、前記ｘ－ｚ座標空間上の点群からｚ方向に連続する点群を削除した後に、点群の纏まりを抽出することにより物体を検出する物体検出処理と、
   を実行するように構成されるプロセッサを備える物体検出装置。
2. 前記プロセッサは、前記物体検出処理において、前記ｘ－ｚ座標空間上の点群からｘ方向に連続する点群の纏まりを抽出することにより物体を検出するように構成される、請求項１に記載の物体検出装置。
3. 前記プロセッサは、前記物体検出処理において、前記物体を検出した後に、前記物体視差に基づいて前記ステレオカメラから該物体までの距離を決定するように構成される、請求項１又は２に記載の物体検出装置。
4. 前記プロセッサは、
   前記物体視差決定処理において、決定された前記物体視差の前記第１視差マップ上の前記第２方向の分布と、推定された前記路面の位置とに基づいて、高さ情報を算出するように構成され、
   前記物体検出処理において、前記物体を検出した後に、前記高さ情報に基づいて該物体の高さを決定するように構成される、請求項１から３のいずれか一項に記載の物体検出装置。
5. 前記プロセッサは、前記物体検出処理において、検出した物体の両端の高さの差が閾値を超える場合には、低いほうを前記物体の高さと決定するように構成される、請求項４に記載の物体検出装置。
6. 前記プロセッサは、前記物体検出処理において、前記物体を検出した後に、前記点群の纏まりのｘ方向の分布に基づいて、前記物体の幅を決定するように構成される、請求項１から５のいずれか一項に記載の物体検出装置。
7. 前記プロセッサは、
   前記路面検出処理により推定された前記路面の前記位置に基づき、実空間における前記路面からの高さが所定の範囲に対応する前記視差を、前記第１視差マップから除去した第２視差マップを生成する不要視差除去処理を更に備え、
   前記物体視差決定処理は、前記第１視差マップに代えて前記第２視差マップを用いるように構成される、請求項１から６のいずれか一項に記載の物体検出装置。
8. 互いに視差を有する複数の画像を撮像するステレオカメラと、
   少なくとも１つのプロセッサを含む物体検出装置と、
   を備え、
   前記プロセッサは、路面を含む画像を撮像する前記ステレオカメラの出力に基づき、前記ステレオカメラの撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る２次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第１視差マップを生成するように構成され、
   前記プロセッサは、さらに、
   前記第１視差マップに基づき、実空間における路面の位置を推定する路面検出処理と、
   前記第１視差マップの前記第１方向の座標範囲ごとの視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定する物体視差決定処理と、
   前記第１方向の前記座標範囲ごとの前記物体視差の情報を、ワールド座標系のｘ－ｚ座標空間上の点群に変換し、各点は物体の有無を示しており、前記ｘ－ｚ座標空間上の点群からｚ方向に連続する点群を削除した後に、点群の纏まりを抽出することにより物体を検出する物体検出処理と、
   を実行するように構成される物体検出システム。
9. 互いに視差を有する複数の画像を撮像するステレオカメラ、及び、少なくとも１つのプロセッサを有する物体検出装置を含み、前記プロセッサは、路面を含む画像を撮像する前記ステレオカメラの出力に基づき、前記ステレオカメラの撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る２次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第１視差マップを生成するように構成され、前記プロセッサは、さらに、前記第１視差マップに基づき、実空間における路面の位置を推定する路面検出処理と、前記第１視差マップの前記第１方向の座標範囲ごとの視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定する物体視差決定処理と、前記物体視差の情報を、ワールド座標系のｘ－ｚ座標空間上の点群に変換し、各点は物体の有無を示しており、前記ｘ－ｚ座標空間上の点群からｚ方向に連続する点群を削除した後に、点群の纏まりを抽出することにより物体を検出する物体検出処理と、を実行するように構成された物体検出システムを備えた移動体。
10. 路面を含む画像を撮像するステレオカメラの出力に基づき生成される第１視差マップであって、前記ステレオカメラの撮像画像の水平方向に対応する第１方向と、前記第１方向に交差する第２方向とから成る２次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第１視差マップを取得又は生成し、
    前記第１視差マップに基づき、実空間における路面の位置を推定する路面検出処理を実行し、
    前記第１視差マップの前記第１方向の座標範囲ごとの視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定する物体視差決定処理を実行し、
    前記第１方向の前記座標範囲ごとの前記物体視差の情報を、ワールド座標系のｘ－ｚ座標空間上の点群に変換し、各点は物体の有無を示しており、前記ｘ－ｚ座標空間上の点群からｚ方向に連続する点群を削除した後に、点群の纏まりを抽出することにより物体を検出する物体検出処理を実行する、物体検出方法。

Images