JP4804202B2 - ステレオ式監視装置 - Google Patents

Description

本発明は、ステレオ式監視装置に係り、特に、ステレオ画像を用いた物体検出に関する。

例えば、特許文献１には、遠赤外線感応型のステレオカメラを車両に搭載し、このカメラによる撮像画像から歩行者を抽出する手法が開示されている。撮像画像上では、周囲の天候に応じた歩行者候補領域の選択が行われ、この選択された領域に基づき歩行者が認識される。
特開２００４−１３５０３４号

ところで、可視光感応型等のカメラでは、灯火周辺等でのハレーションによって、歩行者の像が消失してしまうケースが生じ得る。この場合、ステレオマッチング処理による歩行者検出は困難である。

そこで、本発明の目的は、ハレーション等に起因した高輝度領域周辺の物体を有効に検出することである。

かかる課題を解決するために、本発明は、ステレオカメラと、領域特定部と、空間位置算出部と、検出領域設定部と、平面位置算出部と、物体検出部とを有するステレオ式監視装置を提供する。ステレオカメラは、ステレオ画像を出力する。領域特定部は、画像平面上において、所定のしきい値以上の輝度を有し、かつ、所定のサイズ以上の大きさを有する高輝度領域を特定する。空間位置算出部は、特定された高輝度領域の画像平面上の位置と、ステレオ画像に基づくステレオマッチング処理によって特定された高輝度領域の視差とを入力とした座標変換を行うことによって、高輝度領域の実空間上の位置を算出する。検出領域設定部は、実空間上において、高輝度領域を位置的な基準として検出領域を設定する。平面位置算出部は、検出領域の実空間上の位置を入力とした座標変換を行うことによって、検出領域の画像平面上の位置を算出する。物体検出部は、画像平面上の検出領域内の輝度変化に基づいて、検出領域内に物体が存在するか否かを検出する。

本発明において、上記検出領域は、ステレオカメラの一方からは高輝度領域に重なって見え、かつ、ステレオカメラの他方からは高輝度領域に重なっていないように見える領域を少なくとも含むことが望ましい。

また、本発明において、上記検出領域は、実空間上に設定された第１のブラインド領域から実空間上に設定された第２のブラインド領域を除いた領域を少なくとも含むことが望ましい。この第１のブラインド領域は、ステレオカメラの一方と、高輝度領域内の任意の点とを結ぶ直線上に存在し、第２のブラインド領域は、ステレオカメラの他方と、高輝度領域内の任意の点とを結ぶ直線上に存在する。この場合、物体検出部は、ステレオカメラの他方より出力された画像平面を用いて、物体の検出を行う。

さらに、本発明において、上記検出領域は、実空間上における高輝度領域の前方および後方に設定されることが好ましい。

本発明において、物体検出部は、物体のサイズに対応する内側領域と、この内側領域を囲む外側領域とで構成された検索ボックスを画像平面上の上記検出領域内に設定することが好ましい。この場合、物体検出部は、検索ボックスの内側領域と外側領域との輝度差に基づいて、上記物体の検出を行う。

また、本発明において、検索ボックスのサイズは、高輝度領域の距離に応じて可変に設定されてもよい。この検索ボックスのサイズは、高輝度領域よりも前方に存在する検出領域と、後方に存在する検出領域との間で異ならせることが好ましい。

本発明では、画像平面上においてハレーション等に起因した高輝度領域が特定され、所定の座標変換によって、その実空間上の位置が算出される。物体が存在する可能性がある検出領域は、実空間上の高輝度領域を位置的な基準として設定される。そして、所定の座標変換によって、実空間上の検出領域から画像平面上の検出領域を算出し、この領域内の輝度変化に基づいて、物体の有無が検出される。これにより、ハレーション等に起因して一方の画像から物体が消失してしまい、ステレオ画像ベースでの物体検出が困難な場合であっても、他方の画像を用いた輝度変化ベースでの物体検出を行うことで、物体検出を有効に行うことが可能になる。

図１は、本実施形態に係るステレオ式監視装置のブロック構成図である。このステレオ式監視装置１は、車両に搭載され、ステレオ画像処理に基づき撮像画像中に写し出された物体を認識することによって、走行状況に応じた車両制御を行う。ステレオカメラ２は、車内のルームミラー近傍に取り付けられており、自車両前方の景色を撮像することによって、ステレオ画像を出力する。このステレオカメラ２は、メインカメラ２ａおよびサブカメラ２ｂで構成される。メインカメラ２ａは、進行方向右側に配置され、ステレオ画像処理時の基準画像を撮像する。一方、サブカメラ２ｂは、進行方向左側に配置され、メインカメラ２ａと同期して比較画像を撮像する。これら一対のカメラ２ａ，２ｂには、それぞれＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサが内蔵されており、このイメージセンサは、可視光、および、近赤外光の反射光に感光する。近赤外光を用いる場合、夜間等に、（図示しない）近赤外ランプから自車両前方に向けて照射される。メインカメラ２ａから出力された１フレーム相当のアナログ信号は、適宜、所定の輝度階調（例えば、256階調のグレースケール）のデジタルデータに変換される。そして、このデジタルデータが、基準画像データとして画像データメモリ３およびマッチング処理部４に出力される。この基準画像データにより規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ軸、垂直方向をｊ軸としている。同様に、サブカメラ２ｂから出力された画像信号が、比較画像データとして画像データメモリ３およびマッチング処理部４に出力される。本実施形態では、本監視装置１が車両に搭載される場合について説明するが、船舶、航空機等の他の移動体に搭載してもよいし、固定的に設置してもよい。

マッチング処理部４は、基準画像データと比較画像データとに基づくステレオマッチング処理によって、距離データを算出する。ここで、距離データとは、画像平面上の小領域毎に算出された視差ｄの集合であり、それぞれの視差ｄは、画像平面上の位置（ｉ，ｊ）と対応付けられている。１つの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素領域より算出されるため、この画素領域が視差ｄの算出単位となる。画素領域（相関元）に関する視差ｄを算出する場合、この画素領域の輝度特性と相関を有する領域（相関先）を比較画像において特定する。マッチング処理部４は、相関元のｉ，ｊ座標を基準に設定された比較画像上の所定の探索範囲内において、相関先の候補の位置を一画素ずつシフトしながら、相関元との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素領域の視差ｄとする。このように算出された距離データ（ｉ，ｊ，ｄ）が、距離データメモリ５に格納される。対象物認識部６は、この距離データ等に基づいて、道路形状（直線やカーブ曲率）や車両前方の立体物（例えば先行車、歩行者などの物体）を認識する。この認識結果に基づいて、警報が必要と判定された場合、モニターやスピーカ等の警報装置からドライバに注意が促される。また、必要に応じて所定の制御装置を制御することにより、自動変速機のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が適宜実行される。なお、マッチング処理部４における処理の詳細に関しては、特開平５−１１４０９９号公報に開示されている。また、対象物認識部６における道路形状の認識や立体物の認識に関する具体的な手法については、特開平５−２６５５４７号公報に開示されている。

領域特定部７は、画像平面上において高輝度領域を特定する。この高輝度領域は、所定のしきい値以上の輝度を有し、かつ、所定のサイズ以上の大きさを有する領域である。本実施形態において、この高輝度領域は、例えば、自車両前方に存在する灯火に起因した領域を想定しているが、太陽などの他の発光源についても適用可能である。高輝度領域の位置算出には、基準画像データまたは比較画像データの一方が用いられる。領域特定部７の処理は、マッチング処理部４および対象物認識部６における処理の後、またはこれらの処理とともに行われる。空間位置算出部８は、高輝度領域の画像平面上の位置（ｉ，ｊ）と、ステレオ画像に基づくステレオマッチング処理によって特定された高輝度領域の視差ｄとを入力として、画像平面上から実空間上への座標変換を行う。これによって、高輝度領域の実空間上の位置が算出される。すなわち、空間位置算出部８は、基準画像データ中の高輝度領域を相関元として、この相関元と輝度特性の相関を有する相関先を比較画像データにおいて特定し、高輝度領域の視差ｄを算出する。そして、空間位置算出部８は、この高輝度領域の距離データ（ｉ，ｊ，ｄ）を後述する周知の座標変換式に代入することによって、高輝度領域の実空間上の位置（Ｘ，Ｙ，Ｚ）を算出する。

検出領域設定部９は、実空間上において、高輝度領域を位置的な基準として検出領域を設定する。この検出領域は、ステレオカメラ２の一方（カメラ２を構成する一方のカメラ）からは高輝度領域に重なって見え、かつ、ステレオカメラ２の他方からは高輝度領域に重なっていないように見える領域を少なくとも含む。平面位置算出部１０は、検出領域の実空間上の位置（Ｘ，Ｙ，Ｚ）を入力として、実空間上から画像平面上への後述の座標変換を行うことによって、検出領域の画像平面上の位置（ｉ，ｊ）を算出する。すなわち、ここでの座標変換によって、実空間上の検出領域に対応する画像平面上の領域（画像平面上の検出領域）が特定される。物体検出部１１は、画像平面上の検出領域内に検索ボックスを設定するとともに、この検索ボックスの位置をシフトしながら、このボックス内の輝度変化として例えば輝度差を算出する。この輝度差に基づいて、検出領域内に物体、特に歩行者が存在するか否かが検出される。なお、本実施形態では、主として、物体が歩行者であることを想定するが、この物体は標識、停車中の車両等の他の立体物であってもよい。また、検索ボックス内の輝度変化を評価する手法は、輝度差に限定されるものではなく、例えば輝度分散（ばらつき）を含めて様々な周知の手法を適用することができる。

評価部１２は、物体検出部１１によって検出された物体の信頼度を評価する。この信頼度の評価のために、評価部１２は、ステレオ画像に基づくステレオマッチング処理を行うことによって、物体に関する相関値を算出する。すなわち、物体検出部１１によって、画像平面上における物体の検出位置にある検索ボックスが特定されており、この検索ボックス内の物体が写し出された画素領域を画像平面上の物体候補領域とする。この物体候補領域についての輝度特性の相関値が、ステレオマッチング処理によって算出される。そして、評価部１２は、この相関値に基づいて、物体の信頼度を評価し、信頼度が高いと評価した物体の位置データを有効なデータとして、対象物認識部６に出力する。つまり、物体検出部１１によって、物体候補領域として特定された画素領域であっても、評価部１２において後述する所定の評価基準が満たされない場合、その物体の位置データは無効なデータとして、後段の処理の対象から除外される。対象物認識部６は、上述した立体物認識に、有効な物体の位置データを用いる。

図２は、物体検出手順を示すフローチャートである。ここに示す一連の手順によって、一対の１フレーム相当の画像が順次処理されていく。まず、ステップ１において、領域特定部７は、高輝度領域の画像平面上の位置を特定する。例えば、この高輝度領域として、基準画像の輝度を所定のしきい値によって２値化した後の高輝度側の領域を用いてよく、一例として、256階調の画像につき、240階調以上の画素領域を高輝度領域としてよい。このしきい値は、実験等によって適宜設定することができる。また、特に、高輝度領域を基準画像中で最大輝度を有する領域としてもよい。さらに、高輝度領域の特定において、カメラ２ａ，２ｂのシャッター速度や絞り等を考慮してもよい。

ステップ２において、空間位置算出部８は、高輝度領域の実空間上の位置を算出する。高輝度領域の位置は、画像平面上で、例えば、左端位置ｉl、右端位置ｉr、上端位置ｊu、下端位置ｊl、および、高輝度領域の視差の代表値ｄLによって表される。ここでの視差算出は、マッチング処理部４と同様のステレオマッチング処理による。上述のような２値化データが処理されるため、その演算負荷は、２値化されていない通常の画像データを処理するマッチング処理部４よりも小さい。画像平面上における上記の高輝度領域の位置を特定するパラメータを座標変換することによって、実空間上の高輝度領域の位置が特定される。ここで、高輝度領域は、視差算出の単位とした小領域の複数個分に対応するが、ここでのマッチング処理を、高輝度領域の縁部に対応する小領域についてのみ行ってもよい。例えば、この縁部に対応する複数の小領域のそれぞれについて、視差ｄを算出し、その平均を高輝度領域の視差ｄLとする。また、ここで特定された実空間上における高輝度領域の上下方向の位置に基づいて、高輝度領域が、検出対象とする物体が存在し得る高さにある場合に限って、この高輝度領域に対する後段の処理を継続してもよい。すなわち、例えば、信号機による高輝度領域は、歩行者の存在する位置よりも高い位置にあるから、このような高輝度領域を、後続する処理の対象から除外する。これによって、歩行者検出を行う場合に、不要な処理の発生を防ぐことができる。

ステップ３において、検出領域設定部９は、高輝度領域の実空間上の位置に基づいて、その周辺に検出領域を設定する。図３は、その一例としての検出領域Ａ〜Ｄを実空間上の水平面内で示す図である。実空間の三次元位置は、Ｘ−Ｙ−Ｚ座標系で表現され、ステレオカメラ２（メインカメラ２ａ）の中央真下の地面を原点Ｏとして、左右方向（カメラ基線方向）をＸ軸、上下方向（高さ方向）をＹ軸、前後方向（距離方向）をＺ軸とする。実空間上における対象物の位置（Ｘ，Ｙ，Ｚ）は、数式１に示す座標変換式によって、距離データ（ｉ，ｊ，ｄ）と一義的に対応する。同数式において、定数ＫＺＨは、（カメラ基線長／１画素当たりの水平視野角）である。また、定数ＣＡＨはステレオカメラ２の取付高さ、定数ＰＷＶは１画素当たりの垂直視野角、定数ＰＷＨは１画素当たりの水平視野角である。さらに、定数ＩＶは予め設定された消失点Ｖのｉ座標値、定数ＪＶはそのｊ座標値である。上述したステップ２において、この数式１により、ステレオカメラ２から高輝度領域までの距離ＺdLが、高輝度領域の（代表）視差ｄLから算出されている。同様に、実空間上の高輝度領域の左端位置Ｘilが画像平面上の高輝度領域の左端位置ｉlから算出されており、また、その実空間上の右端位置Ｘirが画像平面上の右端位置ｉrから算出されている。

同図の検出領域Ａは、メインカメラ２ａからは、高輝度領域Ｈの後方にあって高輝度領域Ｈに重なって見え、かつ、サブカメラ２ｂからは、高輝度領域Ｈに重なっていないように見える領域である。また、この検出領域Ａは、実空間上におけるブラインド領域ＢA1から、ブラインド領域ＢA2を除いた領域でもある。ブラインド領域ＢA1は、メインカメラ２ａの所定の基準位置ｒと、高輝度領域Ｈ内の任意の点とを結ぶ直線上で、高輝度領域Ｈの後方に存在する領域である。ブラインド領域ＢA2は、ブラインド領域ＢA1内にあって、サブカメラ２ｂの所定の基準位置ｌと、高輝度領域Ｈ内の任意の点とを結ぶ直線上に存在する領域である。ブラインド領域ＢA2内にある物体は、メインカメラ２ａの高輝度領域Ｈへの視線方向にあり、かつ、サブカメラ２ｂの高輝度領域Ｈへの視線方向にある。このため、メインカメラ２ａおよびサブカメラ２ｂのいずれによっても、その存在を検出することが困難である。これに対し、検出領域Ａ（ブラインド領域ＢA1からブラインド領域ＢA2を除いた領域）内にある物体は、メインカメラ２ａによって検出することが困難であるものの、サブカメラ２ｂによる検出が可能である。つまり、検出領域Ａは、基準画像上で、高輝度領域Ｈの後方に位置し、物体の存在が確認困難な領域であるが、比較画像上では、高輝度領域Ｈの付近にあって、物体の存在が確認可能な領域である。そのため、後述するステップ５において、比較画像上の検出領域Ａに対応する領域で、物体検出が試みられる。このような検出領域Ａは、直線Ｌ2と、直線Ｌ4と、直線Ｚ＝Ｚfとによって囲まれる領域として設定可能である。直線Ｌ2は、メインカメラ２ａの基準位置ｒと、高輝度領域Ｈの左端Ｘilとを結ぶ直線であり、直線Ｌ4は、サブカメラ２ｂの基準位置ｌと、高輝度領域Ｈの左端Ｘilとを結ぶ直線である。ここでは、遠距離限界Ｚfとして、これより遠方に物体が存在する場合には、車両制御または警報表示をしなくても、車両の動作に支障のない距離を設定する。同様に、検出領域Ｂは、２つのブラインド領域によって特定可能であり、直線Ｌ1と、直線Ｌ3と、直線Ｚ＝Ｚfとによって囲まれる領域として設定可能である。直線Ｌ1は、メインカメラ２ａの基準位置ｒと、高輝度領域Ｈの右端Ｘirとを結ぶ直線であり、直線Ｌ3は、サブカメラ２ｂの基準位置ｌと、高輝度領域Ｈの右端Ｘirとを結ぶ直線である。さらに、検出領域Ｃ，Ｄは、高輝度領域Ｈの前方にある領域であり、同様に、それぞれ、２つのブラインド領域によって特定可能である。この検出領域Ｃは、直線Ｌ2〜Ｌ4と、直線Ｚ＝Ｚnとによって設定可能である。近距離限界Ｚnとして、これより近傍に物体が存在する場合、物体の撮像画像上でのサイズが大き過ぎるため、ステレオマッチング処理による認識が不可能になる距離を設定する。また、検出領域Ｄが、直線Ｌ1〜Ｌ3と、直線Ｚ＝Ｚnとによって設定可能である。

さらに、検出領域の設定は、高輝度領域Ｈを位置的な基準として、次のように行ってもよい。図４は、検出領域の他の一例としての検出領域Ａ’〜Ｄ’を実空間上の水平面内で示す図である。例えば、検出領域Ｃ’は、サブカメラ２ｂからは、高輝度領域Ｈの前方にあって高輝度領域Ｈに重なって見え、かつ、メインカメラ２ａからは、高輝度領域Ｈに重なっていないように見える領域を含んでいる。この領域は、ブラインド領域ＢC1から、ブラインド領域ＢC2を除いた差分領域である。ブラインド領域ＢC1は、サブカメラ２ｂの基準位置ｌと、高輝度領域Ｈ内の任意の点とを結ぶ直線上で、高輝度領域Ｈの前方に存在する領域の一部である。ブラインド領域ＢC2は、ブラインド領域ＢC1内にあって、メインカメラ２ａの基準位置ｒと、高輝度領域Ｈ内の任意の点とを結ぶ直線上に存在する領域である。ブラインド領域ＢC2内にある物体は、高輝度領域Ｈによって、メインカメラ２ａおよびサブカメラ２ｂのいずれからも検出することが困難である。これに対し、２つのブラインド領域ＢC1，ＢC2の差分領域内にある物体は、サブカメラ２ｂによる検出が困難であるものの、メインカメラ２ａによる検出が可能である。つまり、検出領域Ｃ’は、比較画像上で、高輝度領域Ｈの前方に位置し、物体の存在が確認困難な領域であるが、基準画像上では、高輝度領域Ｈの付近にあって、物体の存在が確認可能な領域である。そのため、後述するステップ５において、基準画像上の検出領域Ｃ’に対応する領域で、物体検出が試みられる。このような検出領域Ｃ’は、直線Ｌ2と、直線Ｌ2'と、直線Ｚ＝Ｚnと、直線Ｚ＝ＺdLとによって囲まれる領域として設定可能である。直線Ｌ2'は、メインカメラ２ａの基準位置ｒと、高輝度領域Ｈの左端Ｘilとを結ぶ直線Ｌ2を、基準位置ｒを中心として、所定の角度θ2回転させた直線である。上述のように、近距離限界Ｚnが設定されており、また、高輝度領域までの距離ＺdLが算出されている。検出領域Ａ’，Ｂ’，Ｄ’も、それぞれ、ステレオカメラ２の一方からは高輝度領域Ｈに重なって見え、かつ、ステレオカメラ２の他方からは高輝度領域に重なっていないように見える領域（上記差分領域と同様の領域）を少なくとも含んでいる。検出領域Ａ’は、検出領域Ｃ’と同様に、直線Ｌ4と、所定の角度θ4（直線Ｌ4’）と、遠距離限界Ｚfと、距離ＺdLとによって設定可能である。また、検出領域Ｂ’が、直線Ｌ1と、角度θ1（直線Ｌ1’）と、遠距離限界Ｚfと、距離ＺdLとによって設定可能であり、検出領域Ｄ’が、直線Ｌ3と、角度θ3（直線Ｌ3’）と、近距離限界Ｚnと、距離ＺdLとによって設定可能である。上記の角度θ1〜θ4は、ハレーション（またはその周辺の高輝度部分）の広がりに対応するもので、実験やシミュレーションを通じて適宜設定される。

これらに加え、検出領域として、ステレオカメラ２の一方からは、高輝度領域の前方でこの高輝度領域に重なって見え、かつ、ステレオカメラ２の他方からは、高輝度領域に重なっていないように見える領域を設定してもよい。この場合、検出領域Ｃ，Ｄ（または検出領域Ｃ’，Ｄ’）に対応する領域のみが設定されるが、例えば、夕日のように無限遠点にある発光源により生じた高輝度領域に対して、このような検出領域の設定が有効となる。

図２のステップ３に続くステップ４において、平面位置算出部１０は、検出領域の実空間上の位置から、検出領域の画像平面上の位置を算出し、算出された位置にある領域を画像平面上の検出領域として設定する。図３の検出領域Ａ〜Ｄが設定される場合、実空間上の検出領域Ｂ，Ｃに対応する基準画像上の領域と、実空間上の検出領域Ａ，Ｄに対応する比較画像上の領域とが、画像平面上の計４つの検出領域として設定される。すなわち、数式２に示す座標変換式によって、実空間上における検出領域Ａ〜Ｄの位置から、画像平面上の検出領域の位置（ｉ，ｊ）、および、この位置に物体が存在する場合の視差ｄが算出される。同数式は、上述した数式１による座標変換の逆変換であり、定数ＫＺＨ，ＣＡＨ等は、数式１と同一のものである。

ステップ５において、物体検出部１１は、この画像平面上の検出領域を検索することによって、実空間上の検出領域における物体の存在（有無）を検出する。例えば、ここでの検索に、コントラストボックス法を用いることができる。図５は、コントラストボックス法による検索についての説明図であり、同図（ａ）は、画像平面上の検出領域Ｓにおける検索ボックスｂによるスキャンの過程を示している。検出領域Ｓ（例えば、検出領域Ａ〜Ｄのいずれかに対応）においては、検索ボックスｂが設定されている。この検索ボックスｂは、検出する物体のサイズ、例えば、歩行者の身長に対応させた内側領域ａiと、この内側領域ａiを囲む外部領域ａoとで構成されている。検索ボックスｂの位置が、検索領域Ｓ内で横方向に１画素ずつシフトされながら、内側領域ａiと、外側領域ａoとの輝度差（絶対値）が算出される。物体候補領域は、この輝度差を最大とする位置の検索ボックスｂによって特定される画素領域である。同図（ｂ）は、検索ボックスｂの横方向の位置変化に伴う輝度差ΔＰの変化を示している。ここでは、検索ボックスｂが位置ｉ＝ｉhにあって人の像ｈに重なる場合に、輝度差ΔＰが最大となっており、この位置の検索ボックスに対応する画素領域が、物体候補領域として特定される。また、物体検出部１１は、例えば、検索領域Ｓ内における最大の輝度差ΔＰが所定のしきい値以下の場合等に、物体が存在していないことを検出する。

なお、ここでは、検索ボックスｂのサイズを歩行者の身長に対応させたが、歩行者の上半身に対応する上側検索ボックス、および、下半身に対応する下側検索ボックスを別個に設定してもよい。２種の検索ボックスを設定することによって、歩行者検出の精度をより向上させることができる。つまり、近赤外線の反射の強さは、衣服の材質によって異なるため、歩行者の上半身と下半身とでは、画像上での輝度が大きく異なる。２種の検索ボックスの設定によって、上半身と下半身との輝度差に、より精密に対応することができる。また、特に、図３の検出領域Ａ〜Ｄを設定する場合、この検索ボックスｂのサイズには、高輝度領域の前方の検出領域Ｃ，Ｄに対応する画像平面上の検出領域と、高輝度領域の後方の検出領域Ａ，Ｂに対応する画像平面上の検出領域との間で異なる値を設定する。さらに、この検索ボックスｂのサイズは、高輝度領域の距離に応じた可変値を想定してもよい。この場合、高輝度領域の距離と検索ボックスｂのサイズとの対応関係が記述されたルックアップテーブルを参照することによって、このボックスｂのサイズの設定を行う。これらのサイズ設定によって、物体検出をより正確に行うことが可能になる。

図２のステップ６において、評価部１２は、物体に関する相関値を算出し、この相関値に基づいて、物体の信頼度を評価する。そして、信頼度評価の結果、高信頼度の物体（物体候補領域）の位置データが有効とされ、また、低信頼度の物体の位置データが無効とされる。例えば、評価部１２は、物体に関する相関値に基づいて算出された物体までの距離（視差ｄ）と、高輝度領域までの距離、或いは、物体を検出した検出領域までの距離等との比較によって、この物体の信頼度を評価する。具体的には、この２つの距離の差が所定値以下である場合、評価部１２は、物体の信頼度が高いと評価し、２つの距離の差が所定値より大きい場合、評価部１２は、その信頼度が低いと評価する。また、評価部１２におけるステレオマッチング処理では、ステレオ画像の一方にある物体候補領域について、ステレオ画像の他方上に探索領域が設定され、物体候補領域の相関値（物体に関する相関値）が算出される。ここで算出された一連の相関値のうち、相関が最も高いと判断される相関値（最小の相関値）が所定値以下の場合に、物体の信頼度が高いと評価し、この最小の相関値が所定値よりも大きい場合に、その信頼度が低いと評価してよい。また、最大相関値と最小相関値との差が所定値以上の場合に、高信頼度と評価し、この差が所定値よりも小さい場合に、低信頼度と評価してもよい。特に、検出領域Ａ〜Ｄを設定する場合、この検出領域Ａ〜Ｄのそれぞれの位置およびサイズに対応した探索領域を設定して、マッチング処理を行うことによって、その演算量を抑えることが可能である。

さらに、検索ボックスｂのサイズに基づく次のような信頼度の評価を行ってもよい。すなわち、上述のように、検索ボックスｂのサイズは、高輝度領域までの距離に応じて可変に設定可能である。評価部１２は、ステレオマッチング処理により算出された物体候補領域までの距離と、検索ボックスｂのサイズにより想定される物体までの距離とに基づいて、信頼度を評価する。つまり、評価部１２は、これら２つの距離の差が所定値以下である場合、その物体を高信頼度と評価し、その距離差が所定値より大きい場合、低信頼度と評価する。また、物体候補領域の位置の予測を伴う次のような信頼度の評価を行ってもよい。ここでは、過去の時刻（ｔ−Δｔ）において算出された実空間上の物体候補領域の位置に基づいて、現在の時刻ｔにおける物体候補領域の位置を予測する。例えば、時刻（ｔ−２×Δｔ）における物体候補領域の位置と、時刻（ｔ−Δｔ）における物体候補領域の位置とから移動速度を求め、この速度と時刻（ｔ−Δｔ）での物体候補領域の位置とに基づいて、時刻ｔでの物体候補領域の位置を予測することができる。そして、時刻（ｔ−Δｔ）に予測された物体候補領域の位置と、時刻ｔに特定された物体の位置との距離が所定値以下で、２つの位置が近い場合には、検出された物体は高信頼度と評価される。また、過去に予測された位置と現在特定された位置との距離が所定値より大きく、２つの位置が離れている場合には、物体は低信頼度と評価される。

このように、本実施形態によれば、画像平面上においてハレーション等に起因した高輝度領域が特定され、所定の座標変換によって、その実空間上の位置が算出される。物体が存在する可能性がある検出領域は、実空間上の高輝度領域を位置的な基準として設定される。そして、所定の座標変換によって、実空間上の検出領域から画像平面上の検出領域を算出し、この領域内の輝度変化に基づいて、物体の有無が検出される。これにより、ハレーション等に起因して一方の画像から物体が消失してしまい、ステレオ画像ベースでの物体検出が困難な場合であっても、他方の画像を用いた輝度変化ベースでの物体検出を行うことで、物体検出を有効に行うことが可能になる。この検出については、遠赤外線カメラ、ミリ波レーダ、レーザレーダなどの、物体との距離を測定する他のセンサを要しないので、製造コストが抑えられる。

また、ブレーキランプやヘッドランプの高輝度領域に対して、歩行者の頭部または脚部は灯火２対して高くまたは低く位置する場合が多い。このような特性を利用して検出領域を絞ることにより、演算負荷の削減または検出精度の向上を図ることも可能である。

具体的には、本実施形態に追加して、検索ボックスによる検出領域において、距離データに基づくグループ化を行い、歩行者として検出した領域に距離データのグループの存在を評価する処理を行う。これにより、距離データのグループが存在する場合には歩行者の検出が確実に行われていると判断することができる。

一方、上記とは逆に、検索ボックスによる検索の前に、距離データに基づくグループ化を行い、距離データのグループが存在する領域についてのみ検索ボックスによる検索を実施することで、演算量を減らして高精度な歩行者検出が可能となる。なお、距離データのグループ化の手法自体は、既に公知となっている様々な技術を用いることが可能である。

ステレオ式監視装置のブロック構成図 物体検出手順を示すフローチャート 高輝度領域周辺に設定される検出領域の一例を示す図 検出領域の他の例を示す図 検索手法の一例についての説明図

符号の説明

１ ステレオ式監視装置
２ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
３ 画像データメモリ
４ マッチング処理部
５ 距離データメモリ
６ 対象物認識部
７ 領域特定部
８ 空間位置算出部
９ 検出領域設定部
１０ 平面位置算出部
１１ 物体検出部
１２ 評価部

Claims (7)

1. ステレオ式監視装置において、
   ステレオ画像を出力するステレオカメラと、
   画像平面上において、所定のしきい値以上の輝度を有し、かつ、所定のサイズ以上の大きさを有する高輝度領域を特定する領域特定部と、
   前記特定された高輝度領域の画像平面上の位置と、前記ステレオ画像に基づくステレオマッチング処理によって特定された前記高輝度領域の視差とを入力とした座標変換を行うことによって、前記高輝度領域の実空間上の位置を算出する空間位置算出部と、
   実空間上において、前記高輝度領域を位置的な基準として検出領域を設定する検出領域設定部と、
   前記検出領域の実空間上の位置を入力とした座標変換を行うことによって、前記検出領域の画像平面上の位置を算出する平面位置算出部と、
   画像平面上の前記検出領域内の輝度変化に基づいて、前記検出領域内に物体が存在するか否かを検出する物体検出部と
   を有することを特徴とするステレオ式監視装置。
2. 前記検出領域は、前記ステレオカメラの一方からは前記高輝度領域に重なって見え、かつ、前記ステレオカメラの他方からは前記高輝度領域に重なっていないように見える領域を少なくとも含むことを特徴とする請求項１に記載されたステレオ式監視装置。
3. 前記検出領域は、実空間上に設定された第１のブラインド領域から実空間上に設定された第２のブラインド領域を除いた領域を少なくとも含み、
   前記第１のブラインド領域は、前記ステレオカメラの一方と、前記高輝度領域内の任意の点とを結ぶ直線上に存在し、
   前記第２のブラインド領域は、前記ステレオカメラの他方と、前記高輝度領域内の任意の点とを結ぶ直線上に存在し、
   前記物体検出部は、前記ステレオカメラの他方より出力された画像平面を用いて、前記物体の検出を行うことを特徴とする請求項１に記載されたステレオ式監視装置。
4. 前記検出領域は、実空間上における前記高輝度領域の前方および後方に設定されることを特徴とする請求項３に記載されたステレオ式監視装置。
5. 前記物体検出部は、前記物体のサイズに対応する内側領域と、当該内側領域を囲む外側領域とで構成された検索ボックスを画像平面上の前記検出領域内に設定し、当該検索ボックスの前記内側領域と前記外側領域との輝度差に基づいて、前記物体の検出を行うことを特徴とする請求項１から４のいずれかに記載されたステレオ式監視装置。
6. 前記検索ボックスのサイズは、前記高輝度領域の距離に応じて可変に設定されることを特徴とする請求項５に記載されたステレオ式監視装置。
7. 前記検索ボックスのサイズは、前記高輝度領域よりも前方に存在する検出領域と、後方に存在する検出領域との間で異ならせることを特徴とする請求項５に記載されたステレオ式監視装置。

Images