JP4100823B2

JP4100823B2 - 物体判定装置

Info

Publication number: JP4100823B2
Application number: JP14831999A
Authority: JP
Inventors: 守道西垣; 雅和坂
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-05-27
Filing date: 1999-05-27
Publication date: 2008-06-11
Anticipated expiration: 2019-05-27
Also published as: JP2000337870A

Description

【０００１】
【発明の属する技術分野】
この発明は、自動車などの車両に搭載されたカメラによる撮像手段を用いて、前方の物体を検出する光学式の物体判定装置に関し、より具体的には、撮像された画像における複数のウィンドウを用いて、物体かどうか判定する物体判定装置に関する。
【０００２】
【従来の技術】
近年、車両走行の安全性を向上させるため、自車両の前方にある物体の距離や大きさを判断し、これに応じて車両を適切に制御する装置が提案されている。
【０００３】
２つの受光素子からなる光学式距離計測装置を使用し、距離検出された被写体が物体か道路領域（路面上の文字／白線を含む）かを判断する手法に関連するものとして、特開平７−２２５１２６号公報には、車両前方の物体を正しく認識することができる路上物体判定装置が記載されている。この装置は、車両の走行路面上を撮像するステレオカメラを備え、カメラで得られた画像を複数のウィンドウに分割して、ウィンドウごとに被写体までの距離を算出する。この被写体までの距離と、ウィンドウの行レンジごとに決まる基準距離とを比較して車両前方の物体を認識する。
【０００４】
また、特開平７−０８３６５５号公報には、一対の受光素子を鉛直方向に設けて距離を測定し、測定される距離の領域が鉛直方向であるので路面文字が複数の領域に及ぶことが少ないこと、および複数の領域に及んだとしても領域間で距離に差があることを利用して、立体物か否かを判定する装置が記載されている。
【０００５】
【発明が解決しようとする課題】
特開平７−２２５１２６号公報や特開平７−０８３６５５号公報のものでは、路面が自車両の前に水平に存在しているものとして、カメラで撮像した被写体が物体か道路領域かの判断を行うので、自車両がピッチングやローリングで傾いたり、坂道を走行する場合には、車両が路面に平行な状態にあることを前提にカメラの取り付け位置や俯角等のパラメータによって決まる推定される路面と実際の路面との間にずれが生じ、計測された距離値が路面までの距離値かどうか正確に判断することができず、誤って物体を判定することがあった。
【０００６】
また、画像を非常に細かいウィンドウに分割すると、立体物であっても、路面上の文字や白線であっても、複数のウィンドウにまたがってしまうこと、検知する対象物が車両である場合にはリヤウィンドウ部とリヤバンパー部との間で距離差があること、さらには測定された距離値にばらつきがあることから、隣接するウィンドウの距離値の差で立体物か否かを判断するのは困難であった。
【０００７】
そこでこの発明は、自車両がピッチングやローリングで傾いても、正確に前方にある物体を判定することのできる装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明の物体判定装置は、所定の間隔をおいて配置された少なくとも２つの撮像手段と、前記少なくとも２つの撮像手段で得られ、複数のウィンドウに分割された画像に基づいて、ウィンドウごとに対象物までの距離を計測する計測手段と、前記計測手段により計測された距離の差が所定範囲内にあり、隣接するウィンドウをクラスタリングしてクラスタを定めるクラスタリング手段と、前記撮像手段の位置、前記クラスタを構成するウィンドウの画像上の位置、および前記計測手段により計測された該ウィンドウ上の対象物までの距離に基づいて、該クラスタを３次元情報で表す３次元表示手段と、前記３次元情報で表されたクラスタの高さまたは厚みを算出し、該算出された高さまたは厚みに基づいて該クラスタの対象物が物体かどうか判定する物体判定手段とを備える。
【０００９】
この発明によると、計測された距離値に基づいてクラスタリングされたウィンドウのクラスタを３次元情報で表し、クラスタの高さまたは厚みに基づいて物体を判定するので、自車両の挙動による相対的な実際の路面の変動があっても物体を正確に判定することができる。
【００１０】
また、請求項２の発明は、請求項１の物体判定装置において、前記３次元情報で表されたクラスタの近くにある他のクラスタを結合するクラスタ結合手段を備え、該結合されたクラスタの高さまたは厚みに基づいて、該結合されたクラスタの対象物が物体かどうか判定する。
【００１１】
請求項２の発明によると、同一の物体を含む可能性が高いクラスタを結合して物体かどうか判定するので、より正確に物体の判定を行うことができる。
【００１２】
また、請求項３の発明は、請求項１または請求項２の物体判定装置において、前記計測手段により計測されたウィンドウ上の対象物までの距離と、前記撮像手段の位置および該ウィンドウの画像上の位置に基づいて定まる路面までの距離とを比較し、該ウィンドウ上の対象物が路面かどうか判断する手段を備える。
【００１３】
請求項３の発明によると、予め決められた路面までの推定距離と実際に計測された距離とに基づき対象物が路面と判断されたウィンドウについては、その後の物体判定処理を行う必要がなくなるので、より効率よく物体判定を行うことができる。
【００１４】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の物体判定装置の全体的なブロック図である。図２は、この実施例で用いる三角計測法による距離の計測原理を説明する図である。まず図２を参照して１対の撮像装置を用いた距離の測定方法を説明する。
【００１５】
一対の撮像装置の一方を構成するラインセンサ２１およびレンズ２３は、他方の撮像装置を構成するラインセンサ２２およびレンズ２４と所定の間隔すなわち基線長Ｂだけ左右方向または上下方向に間隔をおいて配置されている。ラインセンサ２１および２２は、典型的には１次元のＣＣＤであり、直線的に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズ２３、２４の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物２０を照射し、対象物２０から反射する赤外線をラインセンサ２１、２２が感知するようにするのがよい。
【００１６】
ラインセンサ２１、２２は、それぞれレンズ２３、２４の焦点距離ｆに配置されている。レンズ２３、２４のある平面から距離ａにある対象物の像が、ラインセンサ２１ではレンズ２３の光軸からＸ１ずれた位置に形成され、ラインセンサ２２ではレンズ２４の光軸からＸ２だけずれた位置に形成されるとすると、レンズ２３、２４の面から対象物２０までの距離ａは、三角計測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求められる。
【００１７】
この実施例では画像はデジタル化されるので、距離（Ｘ１＋Ｘ２）は、ディジタル的に算出される。ラインセンサ２１および２２で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すディジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラインセンサ２１および２２から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（Ｘ１＋Ｘ２）である。
【００１８】
ここでは、簡単のため撮像装置が１次元のラインセンサ２１、２２であるものとして説明したが、以下に述べるようにこの発明の一実施例では２次元のＣＣＤまたは２次元のフォトセンサ・アレイを撮像装置として使用する。この場合、２つの撮像装置から得られる２次元の画像を相対的にシフトさせて上述したのと同様の相関計算を行い、相関値が最小となるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当する。
【００１９】
図１の撮像手段３は、図２のレンズ２３およびラインセンサ２１からなる一方の撮像手段に対応し、撮像手段３’は、図２のレンズ２４およびラインセンサ２２からなる他方の撮像手段に対応する。この実施例では、図３の（ｂ）に示すように撮像領域を複数のウィンドウ（小領域）Ｗ₁₁、Ｗ₁₂、・・・に分割し、ウィンドウごとに距離の計測を行うので、対象物全体の２次元の画像が必要になる。このため撮像手段３、３’は、２次元のＣＣＤアレイまたは２次元のフォトセンサ・アレイで構成される。
【００２０】
図３の（ａ）は、撮像手段３または３’により自車両の前方を走行する他車両を撮像した画像の例を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的に複数のウィンドウに分割したものを示す。図３の（ｂ）は、縦方向に行および横方向に列をとり、簡単のため１０行×１５列のウィンドウに分割して示す。それぞれのウィンドウには番号が付されており、たとえばＷ₁₂は、１行２列にあるウィンドウを示す。
【００２１】
撮像手段３、３’で撮像された対象物の画像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４、４’でデジタルデータに変換され、画像メモリ５、５’に格納される。ウィンドウ切り出し部１３によって、ウィンドウＷ₁₁に対応する画像部分が画像メモリ５および５’からそれぞれ切り出されて相関計算部６に送られる。相関計算部６は、切り出された２つの画像を所定の単位ずつシフトさせて前述した相関計算を行い相関値が最小になるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求めた（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
【００２２】
距離計算部７は、前述したａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ₁₁にある対象物までの距離ａ₁₁を求める。こうして求められた距離ａ₁₁は、距離記憶部８に記憶される。同様の計算処理がそれぞれのウィンドウについて順次実行され、距離ａ₁₁、ａ₁₂、・・・が距離記憶部８に記憶される。以下、あるウィンドウについて計算された対象物までの距離を、そのウィンドウの計測距離という。
【００２３】
上の相関計算で用いる画像データは、撮像素子アレイの素子のピッチによって分解能が定まるので、フォトセンサ・アレイなど比較的ピッチの大きい受光素子を用いるときは、ピッチ間の補間計算を行って画像データの密度を高める処理を行い、こうして密度を高められた画像データについて相関計算を行うのが好ましい。
【００２４】
また、温度による撮像素子アレイの特性変化を補正するため、温度センサを撮像素子アレイ付近に配置し、温度センサから得られる温度情報に基づいて距離計算を補正するようにすることもできる。
【００２５】
次に、以上のようにして求められたウィンドウの計測距離を使用して物体の判定を行う方法について説明する。図１の路面除去部３１は、予め決められた推定距離と上記のようにして実際に計測された距離とをウィンドウごとに比較し、推定距離に近い計測距離および推定距離以上の計測距離をもつウィンドウについての計測距離値を距離記憶部８から削除する。推定距離とは、車両が傾くことなく路面に平行な状態にある場合の路面までの距離をいい、このときの路面を推定路面という。この推定距離は、たとえばＣＣＤアレイにより実現される撮像手段３および３’の取り付け位置、俯角、基線長、焦点距離およびサイズと、画像におけるウィンドウの位置とにより予め算出され、ウィンドウごとに推定距離記憶部３２に記憶されている。
【００２６】
計測距離が推定距離に近い値または推定距離以上の値ならば、ウィンドウの対象物が路面であって物体ではないと判断することができ、路面除去部３１は、路面と判断されたウィンドウの計測距離値を距離記憶部８から削除する。これにより、計測距離値が削除されたウィンドウについては以降の物体判定処理を進める必要がなくなり、より効率よく他のウィンドウについて物体判定を行うことができる。路面と判断されたウィンドウの計測距離値を距離記憶部８から削除するかわりに、たとえば路面と判断されたことを識別するフラグを使用し、路面と判断されたウィンドウに識別フラグをたてて距離記憶部８に記憶することもできる。
【００２７】
または、たとえば車両が下り坂を走行し始めるという場合も考えられるので、計測距離と推定距離とを比較してほぼ等しければ、その計測距離値を削除するようにすることもできる。たとえば、計測距離と推定距離との差が０．５メートル以内ならば、路面と判断して計測距離値を削除し、差が０．５メートルより大きければ、実質的に路面ではないと判断して物体判定処理を進める。
【００２８】
クラスタリング部３３は、路面除去部３１により路面と判定されなかったウィンドウ、すなわち撮像された対象物が物体の可能性があるウィンドウの計測距離に基づいて、クラスタリングを行う。最初に、クラスタリング部３３におけるラベル付与部３４が、隣接するウィンドウの計測距離を比較し、ほぼ等しければ、その隣接するウィンドウに同一のラベルを付与し、クラスタを定める。隣接するウィンドウの計測距離を比較するのは、隣接していなければ、計測距離が同じでも物体が異なる場合があるからである。
【００２９】
例として、図３の（ｂ）の路面上の文字「６０」が撮像されているウィンドウについて説明する。「６０」の文字は、ウィンドウＷ₇₅、Ｗ_7B、Ｗ_A5およびＷ_ABに囲まれた領域（斜線がほどこされた領域）に撮像されている。この画像領域に含まれるウィンドウのそれぞれについて計測された距離の例を、図４の（ａ）に示す。数字の単位はメートルである。ここで、計測距離が示されていないウィンドウは、コントラストがなかったために距離が計算できなかったウィンドウを示す。図４の（ａ）において、隣接するウィンドウの計測距離を比較し、所定範囲内ならば（たとえば、計測距離の差が０．５メートル以内ならば所定範囲内とすることができる）、その隣接する２つのウィンドウに同じラベルを付与する。この処理を、計測距離をもつすべてのウィンドウについて行う。
【００３０】
図４の例では、ウィンドウＷ₇₆の計測距離５．８と、Ｗ₇₇の計測距離６．０との差は０．２であり、計測距離がほぼ等しいと判断され、ウィンドウＷ₇₆およびＷ₇₇に同じラベル「１」を付与する。このような処理を、画像の左側部分で隣接するウィンドウについて行うと、図４の（ｂ）の左側部分のように、それぞれのウィンドウにラベル「１」が付与される。同様に、図４の（ａ）の画像の右側部分では、たとえばウィンドウＷ₈₉の計測距離５．５とＷ_8Aの計測距離５．６との差は０．１であり、計測距離がほぼ等しいと判断され、それぞれのウィンドウにラベル「２」を付与する。ここで、ウィンドウＷ₈₉およびＷ_8Aの両方とも、ラベル「１」が付与されたウィンドウとは隣接していないので、異なるラベルを付与する。なお、ラベルは数字である必要はなく、たとえばアルファベット文字など識別できる符号を用いてもよい。
【００３１】
こうして、計測距離値をもつウィンドウのそれぞれにラベルを付与すると、図４の（ｂ）に示されるように、ラベル「１」でクラスタリングされた領域５１と、ラベル「２」でクラスタリングされた領域５２とが定められる。このクラスタリングされた領域をクラスタと呼ぶ。
【００３２】
次に、３次元表示部３５は、上記のようにクラスタリングされたウィンドウのクラスタを３次元情報で表す。図５に示すように、３次元情報は、この例では、水平位置（ｘ）、垂直位置（ｙ）および路面距離（ｚ）の３座標を使用する。水平位置を示すｘ座標はウィンドウの列方向（図３の（ｂ）を参照）に対応し、垂直位置を示すｙ座標は路面からの高さ方向に対応し、路面距離を示すｚ座標はウィンドウの行方向（図３の（ｂ）を参照）に対応する。また、路面距離を示すｚ座標は計測距離ｄに比例する。これらの座標を使用してクラスタを３次元情報で表し、３次元上のクラスタの位置を特定する。
【００３３】
図５を参照して、クラスタを構成するウィンドウを３次元情報で表す方法を説明する。原点Ｏは車両が位置する路面を示し、ｘ、ｙおよびｚ軸は原点Ｏで互いに直交する。ｘ軸は車両から見て左右に伸びており、ｙ軸は路面に垂直に伸びており、ｚ軸は車両の進行方向に伸びている。撮像カメラ５３は、原点Ｏからｙ軸方向の高さＨのところにある。物体５４は、高さｈおよび幅ｇを持ち、ｚ軸方向のｉの場所にある。撮像カメラ５３で撮像された画像上の複数のウィンドウのうち、あるウィンドウには、物体５４が存在しなければ点５５で表される路面が対象物として撮像され、物体５４が存在すれば、点５６で表される物体５４の一部が対象物として撮像される。推定距離Ｄは、撮像カメラ５３と点５５との間の距離であり、物体５４が存在しない場合に撮像された点５５までの計測距離に等しい。計測距離ｄは、撮像カメラ５３と点５６との間の距離であり、図２を参照して前述した方法により計算される。（ｘ，ｙ，ｚ）座標系を使用すると、撮像カメラ５３の位置は（０，Ｈ，０）で表される。点５６の位置は、（ｇ，ｈ，ｉ）で表される。
【００３４】
ウィンドウごとの推定距離Ｄおよび撮像カメラの推定路面からの高さＨは固定値であるので、予め計算して推定距離記憶部３２に記憶しておくことができる。図５から明らかなように、ウィンドウの対象物の高さｈは以下の式（１）から求められ、対象物の路面距離ｉは式（２）から求められる。
【００３５】
【数１】

【００３６】
別の実施形態では、たとえば路面距離を示すｚ座標の代わりに計測距離ｄを使用することもでき、上記の座標系とは異なる座標系によりクラスタの３次元上の位置を特定することもできる。
【００３７】
次に、図６から図８を参照して、クラスタを３次元情報で表してクラスタの３次元上の位置を特定し、クラスタを直方体で近似する例を３通りに分けて説明する。
【００３８】
図６は、路面上に物体が存在せず、車両が傾くことなく路面に平行に走行している例を示す。図６の（ａ）は、撮像カメラが前方の路面を撮像しているのを横から見た状態を示す。図６の（ｂ）は、ウィンドウごとに予め定められた推定距離６５と、図６の（ａ）の状態でウィンドウごとに計測された計測距離６６の例を示す。図６の（ｃ）は、算出されたウィンドウごとの３次元情報を示す。なお、撮像カメラの路面からの高さＨを１．３メートルとして、３次元情報を算出した。わかりやすく説明するため、この例では、図６の（ｄ）に示されるように、撮像した画像領域の一部である３行×３列のウィンドウを使用し、この９個のウィンドウが１つのクラスタを構成するとする。それぞれのウィンドウを識別するため、図６の（ｄ）に示されるように、ウィンドウにはＷ11、Ｗ12、、の番号が付されている。
【００３９】
図６の例では、車両は路面に平行に走行しており、路面上に物体が存在しないので、推定路面と実際の路面とが一致し、推定距離と計測距離とが一致する。したがって、すべてのウィンドウの対象物の高さｈはゼロである。カメラの位置、ウィンドウの画像における位置、計測距離から、それぞれのウィンドウを３次元情報（ｘ，ｙ，ｚ）で表すことができる（図６の（ｃ））。ここで、図６の（ｃ）のｘ座標に示されるｘ1〜ｘ3は、図６の（ｄ）に示される１列目〜３列目のウィンドウの列ごとに予め決められる距離にそれぞれ対応し、カメラの位置、画像におけるウィンドウ数などにより変化する。たとえば、ウィンドウの３列目は、車両の中心から左に１メートルの位置を示すというように定めることができる。
【００４０】
図６の（ａ）に示される点Ｐ1、Ｐ2およびＰ3は、ウィンドウＷ11、Ｗ21およびＷ31のそれぞれの３次元情報を３次元上にそれぞれ投影した点である。図６の（ｃ）に示される９個のウィンドウのすべてを、３次元上に投影して点Ｐ1〜Ｐ9を定め、点Ｐ1〜Ｐ9すべてを含む最小の直方体を定める。この例では、ウィンドウの対象物の高さがゼロなので、点Ｐ1〜Ｐ9をすべて含む直方体は、路面に平行に広がる面６３となる。面６３は、図６の（ａ）から明らかなように、実際の路面６１と一致する。このように、クラスタを３次元情報で表して、クラスタを直方体（この例では平面）で近似することができる。
【００４１】
図７は、前方に物体７１が存在する場合を示す。物体７１が存在するために、ウィンドウＷ11〜Ｗ13およびＷ21〜Ｗ23の計測距離７６の値は、対応する推定距離７５より小さい。図６の例と同様に、前述の式（１）および（２）を用い、それぞれのウィンドウを３次元情報で表す（図７の（ｃ））。これらの３次元情報に基づいて、それぞれのウィンドウを３次元上に投影し、点Ｐ1〜Ｐ9を定める。面７３は、これらの点をつなぎあわせたものを横から見たものである。９個の点Ｐ1〜Ｐ9をすべて含む最小の直方体７４を定め、クラスタを直方体で近似する。図７の（ａ）から明らかなように、この直方体は、撮像した部分の物体の大きさを表している。
【００４２】
図８は、自車両がピッチングなどの影響で傾いて実際の路面と平行でないために、推定路面８２と、距離を計測した実際の路面８１との間にずれが生じている場合を示す。撮像カメラから見ると、図８の実際の路面８１は物体のように見えるので、図６および図７で説明したのと同様の方法で、それぞれのウィンドウを３次元情報で表し、クラスタを直方体で近似することができる。前述の式（１）および（２）を用いてそれぞれのウィンドウを３次元情報で表し（図８の（ｃ））、３次元上に投影して点Ｐ1〜Ｐ9を定める。面８３は、これらの点をつないで横から見たものである。投影された点Ｐ1〜Ｐ9を含む最小の直方体８４を定め、クラスタを直方体で近似する。図７の直方体７４と比較して明らかなように、ピッチングなどで車両が傾いたとしても通常走行において車両が大きく傾くことは起こり得ず、また実際には物体が存在しないので、直方体の厚みが非常に薄いものとなる。
【００４３】
こうして、３次元情報表示部３５は、直方体でクラスタを近似することにより（直方体で近似されたクラスタを近似クラスタという）、クラスタの位置および大きさを容易に認識することができる。具体的には、クラスタを構成するウィンドウの３次元情報に基づいて、距離、位置、高さ、厚みなど近似クラスタが持つ属性を算出し、クラスタ記憶部４８に記憶する。図８の例では、近似クラスタの高さは、対応する直方体の上面８７に含まれる点Ｐ1（すなわち、投影された点Ｐ1〜Ｐ9のうち最大のｙ座標値をもつ点）のｙ座標から求められ、近似クラスタの厚みは、対応する直方体の上面８７に含まれる点Ｐ1のｙ座標と、下面８８に含まれる点Ｐ3（すなわち、投影された点Ｐ1〜Ｐ9のうち最小のｙ座標値をもつ点）のｙ座標との差から求められる。また、近似クラスタの幅は、対応する直方体に含まれる投影された点のうち、最大のｘ座標値をもつ点のｘ座標と、最小のｘ座標値をもつ点のｘ座標との差から求められる。
【００４４】
クラスタを直方体で近似するのは、クラスタの距離、位置、幅および高さを容易に算出して、クラスタに含まれる対象物の大きさおよび位置を正確に認識することができるためである。別の実施形態では、クラスタを他の立体（たとえば、車両の形状をした立体）で近似し、クラスタのさらに細かい属性（たとえば、下面の幅と上面の幅、左側の高さと右側の高さなど）を算出して記憶することもできる。また、最小の直方体で近似するのは、すべての投影された点を含むがそれより大きい（または小さい）直方体で近似すると、近似クラスタが正確に物体の大きさおよび位置を表さなくなるからである。
【００４５】
次に、図１のクラスタ結合部３６は、近似クラスタが複数ある場合、クラスタ記憶部４８に記憶された近似クラスタに関する情報に基づいて、任意の数のクラスタを結合する。この実施例では、ある近似クラスタと他の近似クラスタとの距離、水平位置および垂直位置の差がしきい値以下ならば、この２つの近似クラスタを結合する。これは、近似クラスタに近い場所にある他の近似クラスタは、同じ対象物を表す可能性が高いからである。
【００４６】
しきい値は、車両からの距離に応じて異なる値を設定するのが好ましい。この実施形態では、距離および位置の差を求める２つの近似クラスタの距離に応じて、しきい値を設定する。２つの近似クラスタの距離は、それぞれの近似クラスタに含まれるウィンドウ数と、それらウィンドウの計測距離とに基づいて算出する。たとえば、２つの近似クラスタＣ１およびＣ２があり、近似クラスタＣ１およびＣ２の距離をそれぞれｄ１およびｄ２とし、それぞれの近似クラスタＣ１およびＣ２に含まれるウィンドウ数をｗ１およびｗ２とすると、以下の式（３）に基づいて２つの近似クラスタの距離を算出することができる。ここで、近似クラスタの距離ｄ１およびｄ２は、それぞれのクラスタに含まれるウィンドウの計測距離を平均した値を用いる。
【００４７】
【数２】
２つの近似クラスタの距離＝ (ｄ１×ｗ１＋ｄ２×ｗ２）／（ｗ１＋ｗ２）
．．．式（３）
【００４８】
別の実施形態では、式（３）のように近似クラスタのウィンドウ数に基づいて加重平均を計算する代わりに、単純にそれぞれの近似クラスタの距離ｄ１およびｄ２を平均した値を、２つの近似クラスタの距離とすることもできる。さらに、近似クラスタＣ１およびＣ２のそれぞれの中心位置における距離を平均した値を、２つの近似クラスタの距離とすることもできる。なお、計測距離と前述のｚ座標で示されるウィンドウの対象物の路面距離とは比例するので、路面距離を用いてもよい。
【００４９】
２つの近似クラスタの距離の差は、上記の近似クラスタの距離ｄ１およびｄ２の差で表される。また、２つの近似クラスタの水平位置および垂直位置の差は、２つの近似クラスタ間の間隔で表される。図９を参照すると、ｘ−ｙ平面から見た２つの近似クラスタＣ１およびＣ２が示されている。近似クラスタＣ１およびＣ２の水平位置の差は、ｘ軸方向の差ｄｘで表され、垂直位置の差は、ｙ軸方向の差ｄｙで表される。水平および垂直位置の差ｄｘおよびｄｙは、クラスタ記憶部４８に記憶された近似クラスタＣ１およびＣ２に関する位置および大きさから算出することができる。
【００５０】
別の実施形態では、近似クラスタ間の間隔を位置の差とする代わりに、たとえば近似クラスタの中心位置の差を用いることもできる。近似クラスタの中心位置は、クラスタが直方体で近似されているので、クラスタ記憶部４８に記憶された近似クラスタに関する情報から容易に求めることができる。
【００５１】
しきい値は、上記の式（３）を用いて計算された２つの近似クラスタの距離に基づいて、たとえば、距離の差については以下の表１のように、水平位置および垂直位置の差については以下の表２のように設定することができる。
【００５２】
【表１】

【００５３】
【表２】

【００５４】
表１において、２つの近似クラスタの距離が大きくなるほど距離の差のしきい値が大きくなっているのは、自車両からの距離が遠くなるほど計測距離の誤差が大きくなるためである。表２において、２つの近似クラスタの距離が大きくなるほど水平および垂直位置の差のしきい値が小さくなっているのは、たとえば他の車両が自車両から近い距離に存在するような場合には、コントラストが低いために計測距離を算出することのできないウィンドウが多く発生し、クラスタとクラスタとの間の間隔が広くなることがあるからである。
【００５５】
こうして、距離、水平位置および垂直位置の差がいずれもしきい値以下ならば近似クラスタを結合し、１つの結合クラスタとする。図４を参照すると、２つのクラスタが存在し、これらの近似クラスタの距離および位置の差がしきい値以下ならば、２つのクラスタを結合することができる。
【００５６】
なお、クラスタの結合条件に、近似クラスタの大きさ（幅および高さ）を加えることもできる。たとえば、検出すべき物体が他の車両である場合には、結合されたクラスタの幅および高さが通常の車両の幅および高さより大きくならない場合に、クラスタを結合することができる。
【００５７】
さらに、これらの条件に加え、前回認識された物体の情報（物体記憶部３９に記憶されている）を用いて、クラスタの結合条件とすることができる。この場合には、前回認識された物体の位置と大きさから、物体に対する相対速度（同じく、物体記憶部３９に記憶されている）を用いて、今回の物体の位置と大きさを推定する。推定された物体との距離の差がしきい値以下であり、水平および垂直位置において重なりを持つ近似クラスタを選択する。選択されたクラスタが複数ある場合には、推定された物体の位置および大きさに最も近い値の位置および大きさを持つよう、選択されたクラスタのうちの１または複数のクラスタを結合する。
【００５８】
その後、クラスタ結合部３６は、結合されたクラスタ（以下、クラスタ群という）に含まれるクラスタの３次元情報に基づいて、クラスタをすべて含む最小の直方体を定めてクラスタ群を直方体で近似する。新たに定められた近似クラスタ群の位置、大きさ、距離などの情報を求め、クラスタ記憶部４８に記憶する。クラスタ結合部３６は、近似クラスタ群をそれぞれ物体候補に指定する。結合されなかった近似クラスタは、単独で物体候補に指定される。
【００５９】
図１の物体判定部３７は、抽出された物体候補の高さまたは厚みに基づいて、クラスタの対象物が物体かどうか判断する。物体候補である近似クラスタまたは近似クラスタ群の高さおよび厚みがクラスタ記憶部４８に記憶されているので、物体判定部３７はこれらの値を読み出し、物体候補のうち、上面の推定路面からの高さが低いもの、および上面と下面との差（厚み）が小さいものを物体ではないと判定して物体候補から除外する。
【００６０】
たとえば、検知対象を他の車両とする場合には、推定路面から物体候補の上面までの高さが９０センチメートル以下であり、かつ上面と下面との差が８０センチメートル以下の物体候補と、上面までの高さが７０センチメートル以下の物体候補とを、物体ではないと判定して物体候補から除外する。高さおよび厚みにこのようなしきい値を設けることにより、たとえば図８に示すように物体候補が路面である場合には、物体候補である近似クラスタの厚みが非常に薄いものとなるため、近似クラスタ８４が物体と判定されることはない。
【００６１】
このように、車両がピッチングなどの影響で傾いて路面が物体候補となり、画像上でこの物体候補が広い領域を占めても、クラスタを３次元情報で表して厚みを算出することにより、クラスタの対象物が薄いということがわかるので、路面を物体と誤って判定することがなくなる。
【００６２】
物体認識部３８は、物体判定部３７により物体と判定された近似クラスタの距離、位置および大きさなどの情報をクラスタ記憶部４８から読み出し、物体を認識する。認識された物体にかかわる情報は、物体記憶部３９に記憶される。物体記憶部３９には、前回認識された物体にかかわる情報も記憶されており、前述したようにクラスタ結合部３６は、この情報を利用してクラスタを結合することができる。さらに、物体認識部３８は、前回認識された物体の距離（前回距離）および今回認識された物体の距離（今回距離）を用い、（今回距離−前回距離）／検出時間間隔、の計算式から物体に対する自車の相対速度を算出し、物体記憶部３９に記憶する。ここで、検出時間間隔は、前回の計測と今回の計測との時間差であり、たとえば１００ミリ秒とすることができる。
【００６３】
車両制御部４５は、物体記憶部３９に記憶された物体の距離、位置および相対速度などの情報、および自車速度検出装置４６やヨーレート検出装置４７などの装置からの情報に基づいて、物体までの距離が適切であるよう自車両を制御する。たとえば、運転者に音声やアラームで警告を発したり、自車のエンジンを制御して強制的に減速させたりなどの制御をすることができる。
【００６４】
図１に示した相関計算部６、距離計算部７、距離記憶部８、ウィンドウ切り出し部１３、路面除去部３１、推定距離記憶部３２、クラスタリング部３３、クラスタ結合部３６、クラスタ記憶部４８、物体判定部３７、物体認識部３８、物体記憶部３９および車両制御部４５は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。距離記憶部８、推定距離記憶部３２、クラスタ記憶部４８および物体記憶部３９は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。
【００６５】
また、この発明の物体判定装置をエンジンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して物体判定装置からの出力を車両の全体的な制御に利用することができる。
【００６６】
【発明の効果】
請求項１の発明によると、計測された距離値に基づいてクラスタリングされたウィンドウのクラスタを３次元情報で表し、クラスタの高さまたは厚みに基づいて物体を判定するので、自車両の挙動による相対的な実際の路面の変動があっても物体を正確に判定することができる。
【００６７】
請求項２の発明によると、同一の物体を含む可能性が高いクラスタを結合して物体かどうか判定するので、より正確に物体の判定を行うことができる。
【００６８】
請求項３の発明によると、予め決められた路面までの推定距離と実際に計測された距離とに基づき対象物が路面と判断されたウィンドウについては、その後の物体判定処理を行う必要がなくなるので、より効率よく物体判定を行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的な構成を示すブロック図。
【図２】三角計測法による距離の計測原理を説明するための図。
【図３】この発明による、（ａ）撮像された画像、（ｂ）距離および道路領域判定のため小領域（ウィンドウ）に分割された画像を示す図。
【図４】この発明によるウィンドウのクラスタリングを示す図。
【図５】この発明によるウィンドウを３次元情報で表す方法を示す図。
【図６】車両が路面に平行に走行している場合の、物体を含まないクラスタを３次元情報で表して直方体で近似する方法を示す図。
【図７】物体を含むクラスタを３次元情報で表して直方体で近似する方法を示す図。
【図８】車両が傾いて走行している場合の、物体を含まないクラスタを３次元情報で表して直方体で近似する方法を示す図。
【図９】この発明による、２つのクラスタの水平および垂直位置の差を示す図。
【符号の説明】
３、３’ 撮像部
７距離計算部
３１路面除去部
３３クラスタリング部
３６クラスタ結合部
３７物体判定部

Claims

所定の間隔をおいて配置された少なくとも２つの撮像手段と、
前記少なくとも２つの撮像手段で得られ、複数のウィンドウに分割された画像に基づいて、ウィンドウごとに対象物までの距離を計測する計測手段と、
前記計測手段により計測された距離の差が所定範囲内にあり、隣接するウィンドウをクラスタリングしてクラスタを定めるクラスタリング手段と、
前記クラスタを構成するウィンドウのそれぞれについて、前記撮像手段の位置、該ウィンドウの画像上の位置、および前記計測手段により計測された該ウィンドウ上の対象物までの距離に基づいて、該ウィンドウの対象物の位置を３次元情報で表す３次元表示手段と、
前記３次元情報で表した位置を、車両が位置する路面を原点として該路面に垂直な方向をｙ軸とする３次元座標系上に点として投影し、前記クラスタを構成するすべてのウィンドウの該投影された点を含むよう最小の直方体を定めることにより、該クラスタを直方体で近似するクラスタ近似手段と、
前記直方体で近似されたクラスタの近くにある他のクラスタを結合するクラスタ結合手段と、
前記結合されたクラスタを含む最小の直方体を定めることにより、該結合されたクラスタを直方体で近似する結合クラスタ近似手段と、
前記結合クラスタ近似手段によって前記結合されたクラスタを近似する前記直方体の高さおよび厚みに基づいて、該結合されたクラスタの対象物が物体かどうか判定する物体判定手段であって、該高さは、該直方体の上面に含まれる点のｙ座標値により表され、該厚みは、該直方体の上面に含まれる点のｙ座標値と該直方体の下面に含まれる点のｙ座標値との差により表される、物体判定手段と、
を備える物体判定装置。
前記計測手段により計測されたウィンドウ上の対象物までの距離と、前記撮像手段の位置および該ウィンドウの画像上の位置に基づいて定まる路面までの距離とを比較し、該ウィンドウ上の対象物が路面かどうか判断する手段を備えた請求項１に記載の物体判定装置。