JP3669205B2 - 障害物認識装置 - Google Patents
障害物認識装置 Download PDFInfo
- Publication number
- JP3669205B2 JP3669205B2 JP13544599A JP13544599A JP3669205B2 JP 3669205 B2 JP3669205 B2 JP 3669205B2 JP 13544599 A JP13544599 A JP 13544599A JP 13544599 A JP13544599 A JP 13544599A JP 3669205 B2 JP3669205 B2 JP 3669205B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- measurement
- value
- voting
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、種類の異なる２種類の測距手段、例えばステレオ画像処理による測距装置とレーザレンジファインダ等の測距装置との両方を用いた障害物認識装置に関し、車両等の走行方向に存在する障害物を認識する技術に関するものである。
【０００２】
【従来の技術】
従来の車両用障害物検知装置としては、電子式カメラで撮像した車両前方の画像を画像処理することによって障害物を検出する装置、或いはレーザレンジファインダ、スキャンニングレーザレーダのような光を用いるか、ミリ波レーダのように電波を用いて前方の障害物を検知する装置が提案されている。
【０００３】
また、種類の異なる２種類の測距装置、例えば画像処理による測距装置とそれ以外の測距装置とを組み合わせた障害物検知装置としては、例えば、特開平８−３２９３９３号公報に記載されたものがある。この装置は、１個のカメラで撮像した画像による単眼画像処理を行なう装置とレーザレーダとを組み合わせたものであり、単眼画像処理で先行車の存在する領域を求め、その存在領域方向から反射されたレーザレーダの測距数値を先行車までの車間距離とするものである。
【０００４】
【発明が解決しようとする課題】
前記の各種測距装置において、電子式カメラによる画像処理では、人や立木のような反射の少ない物体でも検出することが出来、かつ分解能が高精細であるという利点があるが、霧中や夜間等のように画像のコントラストが低くなる状況では計測が困難である。また、レーザレーダ等のように光の反射を利用する装置では、夜間でも使用可能であり、分解能も高いが、濃い霧や雨天時には使用困難であり、かつ人や立木のような反射の少ない物体の検出にはあまり適していない。また、ミリ波レーダのように電波を利用する装置では、濃霧、雨中や夜間でも使用可能であるが、距離や横方向の分解能が粗いので検出した物体の識別等には不適である。このように従来の測距装置を単体で用いた障害物検知装置においては、それぞれ一長一短があり、全ての状況において十分な効果を上げることは困難であった。
【０００５】
また、前記特開平８−３２９３９３号公報に記載されたように、２種類の測距装置を組み合わせた障害物検知装置も提案されているが、この装置では、画像処理で先行車の存在する領域を求め、その存在領域方向から反射されたレーザレーダの測距数値を車間距離とするので、画像処理が適用出来ない霧中や夜間では車間距離計測が不可能になる。また、雨中や暗い服の人などのようにレーザレーダの不適な環境では距離計測が困難である。つまり、前記公報に記載の装置は画像処理とレーザレーダの両方が十分機能出来る状態でなければ障害物の検知と測距が出来ないものであり、前記のように従来の測距装置を単体で用いた障害物検知装置における問題点を解消するものではなかった。
【０００６】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、測距装置の種類に応じた欠点を補い、より広範囲の状況下で障害物認識の確実性を向上させた障害物認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、請求項１に記載の発明においては、車両に搭載され、走行方向に対して垂直で路面に平行な１次元方向または走行方向に垂直な２次元平面に対して計測処理を行なうことにより、前方に存在する物体を検知する、測定原理の異なる少なくとも２種類の測距手段と、ｚ軸方向が自車両からの距離、ｘ軸方向が路面に平行で走行方向を基準とした位置、ｙ軸方向が投票値を示す表と、前記少なくとも２種類の測距手段でそれぞれ計測した結果に基づいて、物体が検知された前記表の該当するそれぞれの位置に投票する投票手段と、前記投票手段による投票結果から、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断する判断手段と、を備え、それぞれの測距手段における物体が検知された計測値を加算した結果に基づいて物体の存在を判断するように構成している。
【０００８】
上記のように本発明においては、測定原理の異なる少なくとも２種類の測距手段を用い、かつ、それぞれの測定結果に基づいて該当する距離と横位置の個所にそれぞれ投票し、その加算された結果を用いて物体の存在と位置（距離と方向）とを判断するように構成しているので、少なくとも何れか一方の測距手段が計測可能であれば、物体の存在と位置とを検知することが出来る。したがって２種類の測距手段の一方が計測困難な状況下でも正確な計測、判別が可能になる。また、両方の測距手段が多少計測困難な状況でも、両者の結果を合わせることにより、１種の測距手段を用いる場合よりも正確な判断が可能である。
【０００９】
また、請求項２に記載の発明においては、少なくとも２種類の測距手段の１つとして、光軸が相互に平行で、かつ走行方向を向くように設置された２台の電子式カメラで撮像した画像をステレオ画像処理することにより、画像に設定した各領域毎に距離と輝度とを検出する画像処理手段を用い、他の１つとして、走行方向に対して垂直で路面に平行な１次元方向または走行方向に垂直な２次元平面に対してレーザ光で走査を行ない、走査方向または走査面の各領域ごとに距離と反射強度とを検出するレーザレーダを用いた測距手段を用いたものである。なお、上記レーザレーダを用いた測距手段とは、例えば１次元方向を走査するものとしてはスキャンニングレーザレーダ、２次元平面を走査するものとしてはレーザレンジファインダがある。
【００１０】
上記のように、２種類の測距手段として、画像処理手段とレーザレーダを用いた測距手段という測距原理の全く異なる装置を用いているので、それぞれの特性に応じた状況下でそれぞれ正確な計測を行なうことが出来る。したがって両者の計測結果を加算した結果に基づいて判断することにより、より広い状況下で正確な判断を行なうことが出来る。
【００１１】
また、請求項３に記載の発明においては、各測距手段の特性に応じて、その測距手段毎に周囲状況に応じた信頼性を求め、前記投票手段における投票値に、前記各測距手段毎にそれぞれの信頼性に応じた重み付けを行なうように構成している。例えば、前方の障害物の有無と位置が既知な状態で、様々な天候変化などの周囲環境の異なる状況下において、搭載した測距装置毎の計測信頼性を学習し、計測時の天候などの周囲環境に応じて、計測の信頼性の高い測距手段の測定結果には重みを大きくし、信頼性が低い測距手段の測定結果には重みを小さくして表に投票するものである。これにより、天候などの周囲環境の変化に対して影響を受けにくくなる。
【００１２】
また、請求項４に記載の発明においては、測定原理の異なる少なくとも２種類の測距手段の各計測結果に基づいたそれぞれの投票結果について、予め判明している物体についての投票結果と比較対照することにより、検出された物体の種類を認識するように構成している。例えば、測距手段として、ステレオ画像処理とレーザレーダを用いた場合では、それらの両方の装置において検知された角度の幅が共に狭く、かつステレオ画像処理では値が高いがレーザレーダでは反射強度が低い場合には人物や木と判断し、レーザレーダでは広い幅で高い投票値となり、ステレオ画像処理ではその両端が高く間が低い投票値となる場合には車両と判断するなどのように、投票値の分布の形状や反射強度に基づいて判断を行なうことにより、障害物の形状や種類を認識することが出来る。これにより、１種類の測距手段では検知不可能な物体でも、２種類の測距手段を用いることによって、広い状況下で正確な認識が可能となる。
【００１３】
また、請求項５に記載の発明においては、画像処理手段で求めた距離に基づいた表への投票結果において、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを他の領域または通常値よりも大きくするように構成している。すなわち、横幅の狭い物体が検知された場合は、その物体は人物など車両以外の縦長の物体である可能性が高く、かつ、路面上の縦長の物体はテクスチャ（表面の模様等）はあるが反射面を持たないのでステレオ画像処理に適した物体である確率が高いことから、ステレオ画像処理で求めた結果に大きな重みを付けて投票するものとした。
【００１４】
また、請求項６に記載の発明においては、ステレオ画像処理で求めた画像のコントラスト（輝度分散）が低いときには信頼性が低いことから、画像のコントラストが低い領域では、重みを小さくするか、若しくはステレオ画像処理以外の測距手段の結果に重みを付けて表に投票するものとした。これにより、ステレオ画像処理が原因の誤計測を防ぐことができるので、霧、夜間などステレオ画像処理では計測不可能な環境下でも、他の測距手段の結果を活用することによって障害物の検知・計測が可能となる。
【００１５】
また、請求項７に記載の発明においては、スキャニングレーザレーダやレーザレンジファインダなどのようなレーザ光の反射時間の測定を利用した測距手段を用いた構成において、レーザ光の反射強度が低いときにはその位置での測定値の信頼性は低いことから、その位置での計測結果を表へ投票する際に、重みを減らした値を投票するものとした。これにより、レーザレーダよる距離計測が原因の誤計測を防ぐことができる。さらに、他方の測距手段がステレオ画像処理装置などのカメラを用いた測定装置である場合は、前方物体が反射面を持たない物体である場合も計測が可能であるため、上記のようにレーザレーダよる計測結果への重みを小さくすることにより、ステレオ画像処理の計測にレーザレーダの誤計測が悪影響を及ぼすことなく前方の測定が可能となる。
【００１６】
また、請求項８に記載の発明においては、測定原理の異なる少なくとも２種類の測距手段の１つとしてミリ波レーダを用いた構成において、ミリ波レーダは霧や反射物体のない暗闇など、カメラやレーザレーダでは計測が困難な悪天候、悪環境下での測定が可能なことから、他の計測装置では測定が困難な悪環境化ではミリ波レーダでの計測結果に基づいた投票値に重みを付ける。また、ミリ波レーダは、悪天候化に強い一方でレーザレーダやステレオ画像処理など他の測距手段と比べて距離および路面に平行な横方向の測定精度が粗いことが多いことから、好天候下ではミリ波レーダでの計測値に基づいた投票値の重みを小さくする。このような投票方法により、悪天候に強く、かつ、好天候下では、分解能の粗い測定に影響されることなく高精度な測定が可能となる。なお、測距手段の一つしてミリ波レーダを用いる場合としては、例えば、画像処理手段とミリ波レーダとの組み合わせ、レーザレーダを用いた測距手段とミリ波レーダとの組み合わせ、および画像処理手段とレーザレーダを用いた測距手段とミリ波レーダとの組み合わせが考えられる。
【００１７】
【発明の効果】
本発明においては、測定原理の異なる少なくとも２種類の測距手段を用い、かつ、それぞれの測定結果に基づいて該当する距離と横位置の個所にそれぞれ投票し、その加算された結果を用いて物体の存在と位置とを判断するように構成しているので、少なくとも何れか一方の測距手段が計測可能であれば、物体の存在と位置とを検知することが出来る。したがって２種類の測距手段の一方が計測困難な状況下でも正確な計測、判別が可能になる。また、両方の測距手段が多少計測困難な状況でも、両者の結果を合わせることにより、１種の測距手段を用いる場合よりも正確な判断が可能である。したがって従来よりも広い状況下で障害物認識の確実性を向上させることが出来る。
【００１８】
また、請求項２においては、２種類の測距手段として、画像処理手段とレーザレーダを用いた測距手段という測距原理の全く異なる装置を用いているので、それぞれの特性に応じた状況下でそれぞれ正確な計測を行なうことが出来る。したがって両者の計測結果を加算した結果に基づいて判断することにより、より広い状況下で正確な判断を行なうことが出来る。
【００１９】
また、請求項３においては、計測時の状況下で信頼性の高い測距手段での計測結果に重みを付けた値を投票することにより、信頼性の高い計測結果が表への投票に大きく影響するため、車両の搭載した装置のうちいずれか一つが計測可能な環境であれば、前方の物体の正確な検知・計測が可能となる。また、誤計測値の投票値の割合が減るため、測距手段のうちで誤計測した装置がある場合でも、他の装置の計測結果が活かされ、正確な計測が行われるようになり、全体として天候など周囲環境の影響を受け難いロバストな計測が可能となる。
【００２０】
また、請求項４においては、測距手段の特性に応じて投票値の分布の形状に異なる特徴が表れることから、投票パターンの形状を学習し、投票値の分布形状を用いた種類別のパターンマッチングを行なうことで、前方の物体の形状および種類の認識が可能となる。また、一方の測距手段では計測不可能な物体であっても、他方の測距手段で計測可能な物体であれば、一方では計測不可能で、他方では計測可能という一つのパターンの特徴が現われるので、一方の装置で計測が不可能な物体でも物体の認識が可能となり、さらに、その計測が不可能という情報も物体認識の有効な情報として使えるため、より幅広くかつ確実な物体認識が可能となる。
【００２１】
また、請求項５においては、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを大きくすることにより、レーザレーダなどのように反射面を持たない物体への計測が不安定な測距手段と組み合わせた場合でも、反射面を持たない物体に対する計測が確実であるステレオ画像処理の計測が表への投票に大きく影響するため、より確実な距離測定が可能となる。
【００２２】
また、請求項６においては、ステレオ画像処理で輝度分散が低い領域では重みを小さくしたことにより、ステレオ画像処理が原因での誤計測を防ぐことができ、ロバストな計測が可能となる。
【００２３】
また、請求項７においては、レーザ光の反射時間を利用した計測装置においては、反射強度の低い部分での計測結果の信頼性が低いことから、反射強度の低い部分での計測値は重みを小さくする構成としたことにより、レーザ光の反射を利用した測距手段が原因での誤計測を防ぐことができ、ロバストな計測が可能となる。
【００２４】
また、請求項８においては、測距手段の一つをミリ波レーダとした場合において、他の測距手段では計測が困難な悪天候下では、ミリ波レーダでの計測結果に基づいた投票値に重みを大きくし、他の測距手段でも計測可能な好環境下では、ミリ波レーダでの計測結果に基づいた投票値の重みを小さくする構成としたことにより、悪天候下でも計測が可能となり、好天候下では、ミリ波レーダの横分解能の粗さによる悪影響を及ぼされることなく、横方向の分解能の細かい他の測距手段の計測に基づいた高精度な測定が維持可能となる。
【００２５】
【発明の実施の形態】
以下、この発明を図面に基づいて説明する。
図１は本発明の実施の形態の構成を示すブロック図であり、測距装置として２台の電子式カメラによるステレオ画像処理とレーザレーダを用いた測距装置とを用いた場合を例示する。
図１において、１および２は電子式のカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置されている。なお、撮像面の水平軸が同じライン上に揃うように設置してもよい。３、４はそれぞれカメラ１、２から入力した画像信号を記憶する画像メモリである。５は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。６は自車の前方に存在する障害物等の検出対象物であり、図１では先行車を例示している。また、７はレーザレーダを用いた測距装置であり、例えばスキャンニングレーザレーダまたはレーザレンジファインダであり、自車の前部に前方を向いて設置されている。スキャンニングレーザレーダはレーザレーダの照射を水平方向に走査することで、前方の物体までの距離とその照射対象の反射強度（輝度）を１次元に計測する装置であり、レーザレンジファインダは、レーザレーダの照射を縦および横に走査することで、前方の物体までの距離とその照射対象の反射強度（輝度）を２次元的に計測する装置である。また、８はスキャンニングレーザレーダやレーザレンジファインダから入力した画像信号を記憶する画像メモリであり、距離画像と輝度画像（反射強度）を記憶する。なお、カメラ１、２とスキャンニングレーザレーダやレーザレンジファインダ７を車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。また、７としては上記のようなレーザ光を用いる装置の他に、電波を放射するミリ波レーダ等を用いることも出来る。
【００２６】
以下、まずこの実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
図２は、ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図である。図２においては、カメラＡ（前記カメラ１に相当）で撮像した画像を画像Ａ、カメラＢ（前記カメラ２に相当）で撮像した画像を画像Ｂで示し、検出対象の位置を点ｐ（ｘ，ｙ，ｚ）としている。
【００２７】
図２から判るように、焦点距離ｆ、眼間距離（両カメラ間の距離）Ｄが既知であり、光軸が互いに平行な２台のカメラＡ、Ｂで撮像したステレオ画像において、２枚の画像間のマッチング位置ｙａ、ｙｂを求めることできれば、カメラから対象物ｐまでの距離ｚは下記（数１）式より求めることができる。
【００２８】
ｚ＝ｆ・Ｄ／（ｙａ−ｙｂ）＝ｆ・Ｄ／Ｓ …（数１）
ただし、ｙａ−ｙｂ＝Ｓは視差であり、図２のように、光軸が平行で、所定間隔を隔てて設置された二つのカメラＡ、Ｂで一つの物体を撮像した場合に、それぞれのカメラに写った画像の位置の差、すなわち画像Ａにおける位置ｙａと画像Ｂにおける位置ｙｂとの差である。なお、この例では、眼間距離Ｄと距離ｚの単位はｍ、焦点距離ｆ、視差Ｓおよび位置ｙａ、ｙｂの単位は画素である。例えばカメラＡ、ＢはＣＣＤを用いたものであり、画素数を６４０×４８０とした場合、１画素の大きさは１０μｍ程度である。
【００２９】
上記（数１）式は、両カメラの光軸が相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合であるが、撮像面の水平軸が同じライン上に揃うように設置した場合には、下記（数１'）式に示すようになる。
ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ）＝ｆ・Ｄ／Ｓ …（数１'）
ただし、ｘａ−ｘｂ＝Ｓは視差
なお、以後の説明は全て撮像面の垂直軸が同じライン上に揃うように設置した場合を例として説明する。
【００３０】
上記の視差Ｓを検出するには、一方の画像（例えば画像Ａ）上において点ｐが撮像されている点（ｘａ、ｙａ）に対応する他方の画像（例えば画像Ｂ）上の点（ｘｂ、ｙｂ）を検出する必要がある。その方法としては、画像Ａ上の点（ｘａ、ｙａ）を含む或る範囲の画像（ウィンドウ）と最も類似した範囲を画像Ｂ内から探すことで求めることができる。この類似度の算出には、画像間の差分法や正規化相関法などがある。そして距離画像（ウィンドウ毎にその内部に撮像される物体までの視差を求めた画像）は、定義した全てのウィンドウにおいて差分法や正規化相関法により、他方と類似度の高いウィンドウが存在する位置を求めることで作成できる。
【００３１】
図３は、両画像の対応する位置毎の視差を求めた結果を示す図であり、詳しくは、道路前方を撮像した画像において、一方の画像（例えば画像Ｂ）をウィンドウ毎に切り、その全てのウィンドウにおいて他方の画像（例えば画像Ａ）からそのウィンドウと最も類似度の高い画像の位置を求めることで、両画像における対応する位置を検出し、それぞれの対応する位置から各ウィンドウ毎の視差を求めた結果を表したものである。図３において、（Ａ）は下画像（画像Ａに相当）、（Ｂ）は上画像（画像Ｂに相当）、（Ｃ）は視差の表、（Ｄ）は視差が「１５」のウィンドウ部分のみを抜き出した画像、（Ｅ）は先行車の存在しない路面の画像を示す。また、図３（Ｂ）、（Ｃ）の(1)〜(20)は各ウィンドウの水平方向（以下、横方向と記す）の位置を示す。ただし、図においては(1)〜(20)を丸付き数字で表している。また、一つのウィンドウは幅（ｘ方向の長さ）がｘｗ、高さ（ｙ方向の長さ）がｙｗである。
上記のように、各ウィンドウ毎の視差が判れば、前記（数１）式を用いることによって、該当するウィンドウに撮像されている物体までの距離を求めることが出来る。
【００３２】
以下、図３（Ｃ）のようにウィンドウ毎にその内部に撮像されている物体までの視差を求めた画像を“距離画像”と呼ぶことにする。このウィンドウ毎に算出される視差は、当該ウィンドウの内部に撮像されていてエッジ（画像が明から暗または暗から明に変化する点が連続した部分で、画像の端などを示す線分に相当する）などの特徴的な部分を持つ物体までの距離に相当するから、一つの対象物が複数ウィンドウに跨って撮像されていると、隣接するウィンドウで同じ視差が求められる。例えば、道路前方を撮像した画像における距離画像の場合、先行車と、先行車が存在する真下の路面とは同距離なので、図３（Ｄ）に太線のウィンドウで示すように、先行車の下部と同じｙ座標上にあるウィンドウは先行車と同じ視差で算出される。例えば図３（Ｃ）の下から２行目に「１５」が横方向に連続しているのが上記の部分に相当する。なお、図３（Ｃ）において、中央部分に視差「１５」が集合している部分が先行車に相当し、(3)、(4)列に視差「１９」が集合している部分が「左方の木」に相当し、(6)列に視差「５」が連続している部分が「中央の木」に相当する。また、図３（Ｅ）に示すように、先行車の存在しない路面を撮像した場合には、画像上のｙ座標とその位置に撮像される路面上の距離ｚは、画面の下から上に向けて徐々に遠距離となる。つまり画面の下部分には近い場所が撮像され、画面の上になるに従って遠くが撮像される。
【００３３】
上記のように、距離画像は前方に高さのある物体が存在すると、その物体が撮像されているｘ座標位置のウィンドウでは同じ視差が検出される。一方、車両横にある白線部分のように路面などの高さを持たない位置では、同じｘ座標上で同じ視差が検出されるウィンドウは一つである。すなわち、前方に物体が存在する場合、同一ｘ座標の方向でのウィンドウにおいて同じ視差の個数を数えることにより、物体を検知することができる。この方法によれば、複数の物体も一つの物体も同じ方法で検出することができ、検出対象や背景の色に左右されずに物体を検知できるようになる。また、白線や停止線などの路面表示は、同じ視差を示すウィンドウが同じ方向に現れないため、路面表示と高さをもつ障害物とを誤検出することがなくなるという利点もある。加えて、距離画像だけを利用しているため、検出対象の色や形状および背景色にかかわらず同様の処理で複数物体を検出できる。
【００３４】
また、図４は、カメラ１および２で撮像したステレオ画像上に距離画像作成のために切った一つ一つの小領域の画像上の位置と、その領域内に撮像される実空間上の物体との位置関係を示した図であり、（Ａ）は前方から見た斜視図、（Ｂ）は上方から見た平面図、（Ｃ）は側面図を示す。なお、（Ａ）および（Ｂ）においてはカメラ１と２を一つで示している。
【００３５】
図４において、画像上に定義した同じｘ座標上に並ぶ領域は、同じ方向を撮像したものである。例えば、画像上の中心から３番目の領域に撮像される物体（点Ｐ）は、光軸からの角度が約３×α（ただしαは領域１個分の水平方向角度）の位置に存在する物体である。そしてカメラから該物体までの距離は前記の視差から求めた距離画像によって求められる。したがって、図５に示すように、路面に平行で、左右方向（ｘ軸方向）の角度（例えば光軸からの角度）が画像面に定義した領域と対応し、ｚ軸方向が距離に対応する「距離×路面に平行な角度」からなる表を設け、距離画像上の領域の定義位置とその領域の距離とに対応する表の位置に投票することにより、表中の値の高い位置の有無から前方の障害物の有無を、値の高い位置の存在位置から障害物までの距離と横方向の位置およびその物体の横幅を求めることができる。なお、図５（Ａ）は斜視図、（Ｂ）は撮像した画像と先行車に相当する距離ｚ＝Ｌ２における投票値を示す図、（Ｃ）は距離×路面に平行な角度（ｘ軸方向の角度）からなる投票用の表を示す。すなわち、図５は、ｚ軸方向に距離をとり、ｘ軸を画像のｘ軸方向として投票した値をｙ軸方向に示したグラフである。このグラフは図３（Ｃ）のごとき距離画像の値をもとに、図５の対応する位置に投票することによって作成する。投票とは、例えば、ｘ＝２上にある画素で距離が３ｍの点のとき、グラフのｘ＝２、ｚ＝３のところにｙ＝１を加算する操作を意味する。
【００３６】
このような操作を距離画像全体の値について行なう。前方ｚの位置に物体が存在する場合、その物体が撮像されるｘ座標の距離ｚの位置に複数回投票が繰り返されるため、表中のその位置の値が高くなる。例えば距離画像の値において同じｘ＝２上に距離３ｍの値が例えば５個存在する場合はｙ＝５となる。したがって同じｘの位置に背の高い物体が存在すると、その個所の投票値（ヒストグラムの高さ）は大きな値となる。一方、物体が存在しないｘ座標上では、図３（Ｅ）に示したように、同じｘ座標上で同じ距離は計測されないため、表中で値が高くなる位置は存在しない。このことから、投票結果をもとに、表中の値が大きな位置の存在から物体の有無を求めることが出来る。また、その物体の存在する位置は、ｘ軸方向の範囲は投票値が所定のしきい値以上の範囲ｘｌ〜ｘｒ（ｘｌは存在範囲の左端、ｘｒは右端）のｘ軸方向の位置により、物体までの距離は表の距離ｚの値により、それぞれ求めることができる。
【００３７】
具体的には、例えば、前記図３に示したように先行車の存在する位置には視差１５の値が多数集まるので、図５（Ｂ）（Ｃ）に示すように、視差１５に相当する距離Ｌ２で左端がｘｌ、右端がｘｒの範囲に投票値が集まることになる。同様に、図５（Ｂ）の「左方の木」は位置が左端から２領域目で距離がＬ１、「中央の木」は位置が左端から４領域目で距離がＬ３の個所に投票値が大きくなる。
【００３８】
次に、図６は、図５と同じ環境下において、路面に平行な方向に１次元的に走査するスキャニングレーザレーダで、周囲の各角度方向の距離を計測したときの計測の状態を示した図であり、（Ａ）は全体の斜視図、（Ｂ）は反射強度と１次元方向毎の距離を示す図、（Ｃ）は投票状態を示す斜視図、（Ｄ）は距離×路面に平行な角度（ｘ軸方向の角度）からなる投票用の表を示す。
【００３９】
スキャニングレーザレーダでは、各角度方向に存在する物体までの距離とその物体にレーザを照射したときの反射強度が計測される。車両は反射面をもつため、前方に車両が存在すると強度の強い反射光が返り、その反射強度は計測結果の信頼性にもつながる。つまり、ステレオ画像処理で求めた距離画像と同様の方法で、路面に平行な方向で各角度毎に計測した１次元データより、例えば、その方向毎に計測した距離の表の位置に反射強度に比例した値を加算する処理により、前方の障害物の有無とその物体までの距離および存在する範囲の横方向の範囲角度を計測できる。すなわち、図５（Ａ）と図６（Ｃ）、図５（Ｃ）と図６（Ｄ）は殆ど同じであり、同様の処理で進行方向の存在する障害物の位置と距離を検知出来る。なお、画像処理ではエッジ部分の値が大きくなるので、図５（Ａ）では先行車の端部分におけるヒストグラムが高くなるが、スキャニングレーザレーダでは物体からの反射によって距離を計測するので、図６（Ｃ）では先行車の存在する範囲でヒストグラムの高さがほぼ同じになっている。
【００４０】
次に、図７は、図５と同じ環境を、計測面がカメラの撮像面と平行な計測面をもつレーザレンジファインダによって計測する状態を示した図であり、（Ａ）は全体の斜視図、（Ｂ）は輝度画像（反射強度）、（Ｃ）は距離画像、（Ｄ）は投票状態を示す斜視図である。
【００４１】
レーザレンジファインダは、図６に示したレーザレーダの走査を、横方向だけでなく縦方向にも振ることで２次元平面的に前方の距離を測定する装置である。この装置では、図７に示すように、ステレオ画像処理で求めた距離画像同様の、縦横の各角度毎の距離画像が得られる。このことから、レーザレンジファインダで計測された距離画像と反射強度とを用いて、図５と同じ方法で表に投票することにより、前方に存在する障害物の有無、位置、距離を計測することが出来る。
【００４２】
図８は、図５（Ａ）に示したステレオ画像処理で得た距離画像に基づいて行った投票結果に加え、図６（Ｃ）に示したスキャニングレーザレーダでの計測結果に基づいて行なった投票結果を加算した様子を示した図である。図８において、黒棒の部分は図５（Ａ）に示したステレオ画像処理の投票結果、白抜き棒の部分が図６（Ｃ）に示したスキャニングレーザレーダでの投票結果の部分を示す。
【００４３】
図８では、ステレオ画像処理の結果とスキャニングレーザレーダの結果が１対１程度の割合の重みで加算されるようにスケーリングして加算している。このように、両者の投票結果を加算することにより、例えば、霧や夜間などでステレオ画像処理では距離画像が得られない環境下でも、対象物がスキャニングレーザレーダで計測可能な物体であれば、表の障害物の存在位置の値が高くなるため物体の検知が可能になる。また、逆に、反射強度の低い服装の人物など、スキャニングレーザレーダでは計測しにくい物体が存在する場合でも、ステレオ画像処理で計測可能であれば表中の値が高くなるため検知・計測が可能となる。もちろん、両者とも計測可能な環境下では、物体の存在位置がより一層値が高くなり、より確実性の高い検知計測が可能となる。
【００４４】
なお、図８においては、ステレオ画像処理とスキャニングレーザレーダとを組み合わせた場合を例示したが、ステレオ画像処理による投票結果とレーザレンジファインダで得た距離画像と反射強度に基づいた投票結果とを加算してもよい。
【００４５】
次に、投票結果の加算の際に重み付けを行なう構成について説明する。
ステレオ画像処理による計測は、画像全体の輝度コントラストが高い環境では確実性が高いが、霧や夜間など、コントラストの低い環境下では確実性が低い。また、スキャニングレーザレーダやレーザレンジファインダでは、そのレーダの特性により、例えば、雨天や反射強度の弱い物体では計測の確実性が低いなど、測距装置によって異なる長所、短所がある。そこで、車両に搭載したステレオカメラと、レーザレーダなどの測距装置の環境に対する特徴を学習し、前記図８における加算の際に、それぞれの特徴に応じて環境に対応した重み付けを行なえば、より広範囲の状況下で障害物検知の確実性を向上させることが出来る。例えば、ステレオ画像処理による測距の確実性の高い環境下では、図８における加算の際に、ステレオ画像処理に基づいた投票値を大きくするように重み付けし、逆に、確実性の低い場面では、小さくするように重み付けする。また、レーザレーダの計測値の確実性の高いときにはレーザレーダの計測に基づく値を大きくするように重み付ける。これにより、確実性の高い値ほど距離計測に大きく反映され、逆に誤計測の可能性のある値の影響が小さくなるため、計測がより確実となる。
【００４６】
次に、計測結果から検出物体の識別を行なう構成について説明する。
【００４７】
前記図５、図６、図７では、それぞれ、前方に２本の木と１台の車両がある場合の計測値を表へ投票する様子を示した。それらの結果において、車両を計測した場合には、車両のボディは反射強度が比較的強いため、通常、車両に照射したレーザ光は強い反射強度を持つ。そのため、スキャニングレーザレーダやレーザレンジファインダでは、車両を撮像する角度内（距離画像上におけるｘｌ〜ｘｒの範囲内）全体において車両までの距離を検知できる。つまり、表への投票の際には、図６、図７にも示したように、車両の範囲内すべてにおいて同程度の高さのヒストグラムが立つ。一方、ステレオ画像処理の場合は、領域内にエッジを含む車両の両端付近（ｘ＝ｘｌとｘ＝ｘｒ付近）では、確実な距離が求められるが、車両内部では両端に比べると確実な距離が計測される領域の数が少ない。つまり、ステレオ画像処理の結果をもとにした表への投票では、図５のように、車両の両サイドヘの投票値が高く、その内部は両サイドに比べて低い値となる。また、一般に人物や木などような非人工物は、内部に多くのエッジがあるため、ステレオ画像処理では、それを撮像しているすべての領域において確実に距離を計測できる。そのため、木や人物を撮像した位置での表への投票値は高くなる。しかし、木や人物などは、レーザレーダでも計測は可能であるが、金属の反射面を持たないため車のボディ面からの反射光より弱いことが多い。前記図６等で説明したように、レーザレーダを用いた装置における投票では、距離の表の位置に反射強度に比例した値を加算する処理を行なうので、反射光の弱い物体に対する投票値は低くなる。したがって、スキャニングレーザレーダやレーザレンジファインダでの計測結果を用いた木や人を検知した位置の投票値は、車両の場合よりも低く、かつ、ステレオ画像処理の結果に比べても低いことが多い。
【００４８】
上記の結果を纏めると、スキャニングレーザレーダやレーザレンジファインダの計測結果においては、反射強度が強く（つまり投票値が高く）、かつ投票値が広い領域で同程度の値を有し、ステレオ画像処理の計測結果においては、投票値が両端が高くて中央部分が低い値を示す物体は、車両である可能性が高いと判断出来る。
【００４９】
また、スキャニングレーザレーダやレーザレンジファインダの計測結果においては、反射強度が弱く（つまり投票値が低く）、ステレオ画像処理の計測結果においては、領域全体において投票値が高い物体は人や立木である可能性が高いと判断出来る。また、人や木は一般に車両や建造物などよりも幅が狭いことが多いので、上記投票値に幅の情報も加味して判断することも出来る。
上記のように、対象物により、計測値毎の表への投票値の分布には特徴がある。このことから、この特徴を統計的に学習することにより、分布の特徴を用いた物体の認識が可能である。
【００５０】
次に、物体の識別に重み付けを組み合わせた構成について説明する。
例えば、人物や木は、車両や塀や建築物などの人工物に比べて幅が狭いことが多い。このことから、検出した物体の幅を表のｘ軸方向の角度から求め、その幅が狭いときには、人や木の検出に優れているステレオ画像処理の計測値に重みを付けて投票を行なう。これにより、投票による検知がより確実となる。すなわち、ノイズなどによる誤計測値がある場合でも、実際に物体を検知した位置に重みを付けることで、ノイズよりも投票値を高くすることができるため、ノイズによる悪影響も抑えられる。
【００５１】
次に、ステレオ画像処理における物体の誤検知を防止する構成について説明する。
図９は物体の誤検知を防止する機能を説明するための図であり、図９（Ａ）は、処理対象画像上に設定した各ウインドウの画像を示す図であり、図９（Ｂ）に示すような星型の図形を撮像した場合に、図９（Ａ）の（ａ）は無地のウインドウ（撮像された図形が無い部分）、（ｂ）は視差と平行な方向にだけエッジを持つウインドウ、（ｃ）はエッジをもつウインドウ、（ｄ）はノイズを含むウインドウを示す。そして（ａ）〜（ｄ）において各図形の下に示したグラフは、差分マッチングによって視差を求め、各画素毎（視差）に求めた差分値を、縦軸を差分値、横軸を視差としてグラフ化し、そのグラフから最小値を探すことによってマッチング位置（差分値最小の位置＝類似度が最大の位置）を求める状態を表したものである。また、図９（Ｂ）は、画像上に定義した（ａ）〜（ｄ）それぞれのウインドウの位置と、それらの定義したウインドウの走査範囲を示す図である。また、図９（Ｃ）は、それぞれのウインドウ（ａ）〜（ｄ）において、視差方向に切った１ライン上の輝度分散を複数個所で求める状態をあらわした図である。また、図９（Ｄ）は、二つのカメラで撮像した対象物とその対象物が画像上に撮像されたときの位置関係を表した図である。
【００５２】
なお、図９は、図示の都合上、２台のカメラの光軸が相互に平行で、かつ撮像面の水平軸が同じライン上に揃うように設置した場合（カメラを横方向に並べた構成）における視差検出を示す。したがって前記図２で説明したように、視差Ｓは、Ｓ＝ｘａ−ｘｂであり、かつ、距離ｚは、前記（数１'）式で示すようになる。なお、前記図２に示したように、二つのカメラを縦方向に並べた場合も、縦方向に視差を求めるので、視差はＳ＝ｙａ−ｙｂになるが、基本的な機能は同じである。
【００５３】
また、上記の差分とは、基準画像と他方の画像の各画素毎の輝度差の総和であり、差分が小さいほど類似度は大となる。通常、類似度と差分は下記（数２）式で表される。
【００５４】
【数２】
【００５５】
なお、上記（数２）式において、ｘは基準画像（画像Ａ）の輝度、ｘはｘの平均値、ｙは他方の画像（画像Ｂ）の輝度、ｙはｙの平均値である。
【００５６】
二つのカメラを撮像面の同一ラインが同一直線上に並ぶように設置した場合、互いの画像上でのマッチング位置は同一ライン上にのる。このことから、類似画像の探索は図９に示したように同じライン上において視差方向に１画素ずつずらしながら行なうことで求められる。そしてそのウインドウの視差は、この操作において最も差分値が低いと判断された画像が存在する位置と基準画像のウインドウを定義した位置との差として求められる。また、右画像を基準画像とした場合、右画像上に定義したウインドウとのマッチング位置は、図９（Ｄ）に示すように左画像上では右画像でウインドウを定義した位置よりも右側になる。つまり、画像の探索範囲は、右画像でウインドウを定義した位置から右方向に走査すればよく、視差は走査の始点からマッチング位置までのずれとなる。図９の例では、図９（Ａ）の（ｃ）のグラフに示したようになる。
【００５７】
上記のように、図９（Ａ）は四つのウインドウそれぞれにおいて各画素毎に求めた差分値（基準画像と差分を求めた画像との差）と視差（基準画像と差分を求めた画像との位置の差）との関係をグラフ化したものであり、差分マッチングの場合、差分値が最小の位置が類似度の最も高い位置となる。しかし、例えば図９（Ａ）の（ａ）のように、ウインドウもウインドウの探索範囲も共に無地の画像であると、どの位置においても差分が同じ値となるため視差を決めることができない。実画像では、このようなウインドウでも小さなノイズがあるために、それぞれの位置で異なる値の差分が求められ、最小値の位置も求められてしまうが、このような場合、この位置は物体の視差を検出したものでないため、この視差を物体検知に利用すると誤検知の原因となる。また、図９（Ａ）の（ｂ）のように視差と平行なエッジしかないウインドウでは、物体の一部と考えられるエッジが撮像されているが、（ａ）と同様に、差分値は走査範囲内で全て同じ値なので、求められた視差は正確なものでない可能性が高い。すなわち上記（ａ）、（ｂ）のような場合に求めた視差は誤計測の原因になる可能性が高いため、視差は求めるべきではないと言える。
【００５８】
以下、上記のような誤検知の要因を取り除く方法を説明をする。
図９（Ｃ）は、各ウインドウにおいて視差方向に切った横１ライン上の輝度分散を複数箇所で求めた状態を示す図である。視差と平行に切られた横１ラインのウインドウの輝度分散は、（ａ）のような無地のウインドウにおいても、（ｂ）のような視差と平行な方向にだけエッジを持つウインドウにおいても、共に小さな値となる。逆に、（ｃ）のように視差の算出が可能なウインドウでは分散は大きくなる。
【００５９】
また、ウインドウ内の全体の輝度分散を計算すると、（ａ）の無地のウインドウでは分散が小さくなるが、（ｂ）のウインドウの分散は大きくなってしまう。しかし、図９（Ｃ）に示したように横１ラインの分散を算出すれば、（ａ）（ｂ）は共に分散が小さくなるので、視差算出が不適なウインドウを正確に検出することができる。このように複数箇所の１ライン上の分散の合計または平均値に基づいて視差を求めることが適当であるか否かを、マッチングを行なう前に判断すれば、誤検知のウインドウを取り除くことができ、同時に計算量を削減することができる。
【００６０】
また、視差の算出は、図９（Ａ）に示した差分値のグラフから最小値の位置を探すことで行なうため、最小値に近い値が複数箇所で見られるものは、無地のウインドウや視差方向と平行なエッジしか持たない画像と同様に、求めた視差の確実性は低いものとなる。例えば、図９（Ａ）の（ｄ）のようにノイズのある画像では、前述の図９（Ｃ）の方法で求めた分散は大きくなるが、差分値のグラフは、最小値に非常に近い値が複数箇所で求められるため、その中から視差を断定することは困難である。仮に、求められた差分値最小位置を視差としても、この位置は誤対応位置である可能性が高い。したがってこのような場合には視差を求めない方がよい。そのため次のような方法を用いる。
【００６１】
図９（Ａ）に示すように、走査範囲内で求めた差分値の平均値とその中の最小差分値を求めると、全体の差分値のうち、最小値に近い値が多く現れる場合にはマッチング範囲内で求めた差分の平均値と差分の最小値との差が小さくなる、つまり、この二つの値の差が或るしきい値より小さい場合には、そのウインドウで求めた視差は誤対応の高いものであると判断することができる。したがって、上記の判断において誤対応の可能性の高いと判断した視差は、この後の処理である表への投票に用いないようにすれば、物体の検知をより確実にすることができる。なお、上記図９（Ａ）のグラフは縦軸に差分をとっているが、差分の逆数の類似度をとった場合には、類似度の最大値と類似度の平均値との差が所定のしきい値より小さい場合に誤対応と判断する。
【００６２】
上記のように、マッチング領域内画像全体が黒の画像、画像全体が白の画像、或いはエッジや画像内に撮像されるテクスチャ（模様や形状など）に特徴のない領域で求められた視差は、誤計測である可能性が非常に高い。車両のボディ面では確実性の高い距離が算出されない原因はこのような原理に基づく。
【００６３】
また、ボディ面のような画像中のある一部分の領域だけでなく、霧や街灯のない夜間などの環境によっては、ステレオ画像処理による距離画像自体が正確に求められない場合もある。そのため、このような計測値を表へ投票することは何も存在しない位置への投票が行われるなどの誤計測につながる。したがって、各ウインドウにおいて視差方向に切った横１ライン上の輝度分散が各ラインにおいて小さい場合、およびマッチング範囲内で求めた差分の平均値と差分の最小値との差（類似度の最大値と類似度の平均値との差）が小さい場合には、誤対応の可能性が高いので、その位置で求めた計測値は表への投票に反映させない構成とするのが望ましい。具体的には、上記のような範囲の値は全く用いないか（重み＝０）、或いは重み付けの値を大幅に小さな値とする。
【００６４】
上記の画像上の輝度分散の考慮は誤計測の除去につながるため、ステレオ画像処理単体の場合でも誤計測削減のための有効な方法となる。しかし、ステレオ画像処理のみを用いる場合は、上記のようにその計測値を用いない場合は計測不可能な状況となるが、ステレオ画像処理とレーザレーダとを組み合わせた装置では、上記のような環境下では、レーザレーダなどの他の計測値の結果だけを反映させることで、確実な計測を行なうことができる。したがって、計測が不可能になることもなく、誤計測だけを削減することができる。
【００６５】
また、上記の説明は、ステレオ画像処理の計測値を用いないでレーザレーダの計測値のみを用いる場合について説明したが、その逆もあり得る。すなわち、レーザレーダなどの光の反射時間を利用した測距装置では、計測対象物が光を吸収するような物体の場合には、反射光がなくなるため計測が困難になる。通常、道路上などの外界には、光を１００％吸収するものはほとんどないため、多少の反射光は計測されるが、反射強度の低い計測値は、信頼性が低く、距離を誤計測する可能性が高い。そこで、スキャニング角度毎に計測距離と同時に強度を計測し、その光の強度が所定値よりも低い場合は、その位置での計測値を表への投票に反映させないようにする。具体的には、上記のような範囲の値は全く用いないか（重み＝０）、或いは重み付けの値を大幅に小さな値とする。この場合にはステレオ画像処理の計測値のみがほぼ使用されることになる。これによりレーザレーダによる誤計測を防ぐことができる。
【００６６】
次に、これまでの説明は、ステレオ画像処理とレーザレーダとを用いた装置について説明したが、それらの何れか一方の代わり、もしくはそれらに追加してミリ波レーダを用いる場合について説明する。
ミリ波レーダは、濃霧、雨中や暗闇など、ステレオ画像処理やレーザレーダでは測定不可能な場合でも周囲の物体までの測距が可能という特徴がある。しかし、一般に、ミリ波レーダは、レーザレーダのような細かい走査は行わないため、スキャニングレーザレーダや走査線のスキャンによりレーザレーダよりも細かい分解能の得られるステレオ画像処理を用いた計測と比べて、横方向の検知角度分解能が粗いという問題がある。そこで、他の装置では計測不可能な悪天候下では、ミリ波レーダでの計測結果に基づいた投票の重みを大きくする。一方、ステレオ画像処理やレーザレーダによる高精度な測定が可能な環境下では、ミリ波レーダの計測値に基づいた投票値の重みは小さくする構成とする。組み合わせとしては、ステレオ画像処理とミリ波レーダ、レーザレーダとミリ波レーダ、ステレオ画像処理とレーザレーダとミリ波レーダの３種が考えられる。上記の構成により、悪天候に強く、かつ、好天候下では、分解能の粗い測定に影響されることなく高精度な測定が可能となる。
【００６７】
次に、これまで説明した種々の方法を用いて前方の物体の位置計測および物体の認識を行なう実施例を説明する。
図１０は、２台のカメラ１、２と、レーザレンジファインダ７を自車両に搭載した構成を示す側面図である。ここでは、２台のカメラ１、２は路面に対して縦に平行に並べ、２台のカメラの撮像面のｙ軸が同一ライン上にのるように配置している。また、レーザレンジファインダ７は、カメラの光軸とレーザレンジファインダの走査中心軸を平行とし、カメラの撮像面〔図４（Ａ）の撮像面〕とレーザレンジファインダの計測面〔図７（Ａ）の計測面〕が平行になるように搭載した場合を示す。なお、図１０においては、カメラを１個のみ示しているが、実際には２台（この例では縦方向に）存在する。例えば、２台のカメラの中間にレーザレンジファインダを設置するように構成すれば、両者の画像の位置のずれを少なく出来る。
【００６８】
図１１は、この実施例の処理の流れを示す図である。
図１１において、まず、ステップＳ１０１では、２台のカメラ１、２からの画像Ａと画像Ｂを入力する。同時に、ステップＳ１０２では、レーザレンジファインダ７から距離画像とその位置の反射強度である輝度画像を入力する。
【００６９】
次に、ステップＳ１０３では、ステレオ画像を用いて距離画像を作成する（前記図３の説明参照）。この距離画像作成では、領域毎の視差を求める前に、まず画像上に定義した領域毎の輝度分散を求め、その分散がしきい値以上の部分だけ視差を算出するようにする（前記図９の説明参照）。このような前処理を行なうことで、信頼性の高いステレオ画像処理での計測値だけが後の投票に使用されるようにする。また、分散がしきい値以上の領域ではステレオ画像間のマッチング位置（視差）を求め、各領域毎の距離を求める。これには、画像間の正規化相関法や差分法などの一般的な方法を用いればよい。
【００７０】
次に、ステップＳ１０４では、ステレオ画像処理で求めた距離画像とレーザレンジファインダで計測した距離画像とのそれぞれを用いて、距離×水平方向の表への投票を行なう（図５、図８の説明参照）。
ここでは、まず、ステレオ画像処理で求めた距離画像を用いた投票を行なう。これは、図５で説明したように、距離画像の各領域に着目し、表の横の位置がその領域のｘ軸方向の角度、縦の位置はその領域で算出された距離ｚとなる位置に投票値を加算するという処理を繰り返す。例えば、水平方向が３の位置に定義された領域において距離がＬ２と求められた領域に検出値があった場合は、表中の水平方向が３、距離ｚがＬ２の位置に投票する。ここで表に加算する投票値は、後述する環境に応じた重みを付けてもよいし、＋１としてもよい。このような操作をステレオ画像処理の距離画像作成において距離が算出されている領域すべてにおいて行なう。
【００７１】
また、レーザレンジファインダで計測した距離画像を用いて同じ操作を行なう。ただし、通常、ステレオ画像処理で求めたｘ軸方向の一つの領域の角度（図４、図５のα）とレーザレンジファインダの１回の計測毎に動く走査角度（図６、図７のθ）は異なるので、表への投票の際には、実空間上において同じ方向を計測した値が表中の同じ位置に投票されるように変換する必要がある。それには次のような計算を施せばよい。すなわち、前記図４に示したように、カメラからの距離がｚ、カメラの光軸からｘ軸方向への距離がｘｐの位置にある点Ｐが撮像される画像上の領域のｘ方向の位置（これをｎ番目の領域とする）を求める。画像上で一つの領域に撮像される範囲角をα、光軸が撮像される領域を０番目としたときに、点Ｐが撮像される位置を光軸からｎ番目の領域とすると、ｎは、下記（数３）式で求められる。
ｎ＝ｘｐ／（α×ｚ） …（数３）
ただし、αは微小角なので、ｔａｎα≒αとする。
【００７２】
また、レーザレンジファインダで計測した輝度画像上において点Ｐまでの距離および反射強度を計測した画像上の位置とステレオカメラで撮像した画像上に切った領域の位置との対応を求める。前記図７に示したように、レーザレンジファインダの水平方向の１回のサンプリング毎に動く走査角度をθ、レーザレンジファインダの中心軸の計測値を０番目とする。レーザレンジファインダの距離画像において点Ｐを計測した位置を中心軸からｍ番目とすると、ｎとｍとの間には下記（数４）式の関係が成り立つ。ただし、θは微小角なので、ｔａｎθ≒θとする。
【００７３】
ｎ＝ｍ・（θ／α） …（数４）
上記（数４）式は、レーザレンジファインダにおいて、中心軸から水平方向にｎ番目の位置で計測した点は、ステレオ画像処理ではｍ番目の領域で計測されることを表す。レーザレンジファインダで計測した距離画像を用いた投票においては、この（数４）式による水平方向位置の変換を施した上で表への投票を加算する。加算する値は、その位置の反射強度に比例した値を加算する。なお、この際、ステレオ画像処理とレーザレンジファインダの両方が計測可能な環境下では、レーザレンジファインダとステレオ画像処理との投票値の割合が１対１となる値でよい。すなわち、この場合においては、両者の重みは共に１である。
【００７４】
ここで、投票値する値の定義方法の例を説明する。例えば、ステレオ画像の距離画像の一つの領域に撮像される縦方向のなす角（図４のβ）が１度、レーザレンジファインダの一つ分のデータを得るときの縦方向の走査角度（図７のφ）がその２倍にあたる２度のときに、両者の投票の重みを同じにすることを考える。このとき、縦方向の画角１０度の範囲に撮像される物体が前方に存在すると、ステレオ画像処理では表中の同じ位置に最大１０回、レーザレンジファインダでは最大５回の投票が行われる。つまり、ステレオ画像処理の結果の投票値を一つの距離につき「１」、レーザレンジファインダの計測結果の投票値を一つの距離につき「２」とすれば、最大の投票値が両者で同じ値となる。このように、同じ画角内で計測される物体を対象としたときに投票される最大の値が同じになるような投票値にすれば、両者の投票値の割合が１対１となる。
【００７５】
次に、ステップＳ１０５では、ステレオ画像処理とレーザレンジファインダで計測した距離画像全体の投票結果から、物体の有無とその物体の位置を求める。物体の有無は、表中からしきい値以上の投票値となる位置の有無により判断できる。また、その物体の位置は、（数３）式の逆算により求められる。例えば、表中において距離ｚｐ、水平方向ｎの位置にしきい値以上の値が投票されたとする。この位置に検出された物体の距離は表からｚｐと求められる。また、その物体の、カメラの光軸に対する水平方向の位置ｘｐ（図４参照）は、（数３）式の逆算により、ｘｐ＝ｎ×α×ｚｐ（α：表に定義した一つの領域に撮像される水平方向の画角）として求めることができる。表中にしきい値以上の点が複数個所存在すれば前方に複数の物体があることがわかり、それぞれの位置は前述と同様の方法で求められる。また、しきい値以上の値が同じ距離上にかたまりとして存在する場合は、それは一つの物体として判断することができ、そのかたまりの両端が物体端となる。
【００７６】
次に、ステップＳ１０４の投票における重み付けについて説明する。なお、図１１では、重み付けのステップは記載していないが、ステップＳ１０３とＳ１０２の次に、それぞれの計測値に重みを付けるステップを設け、その結果に基づいてステップＳ１０４の投票を行なえばよい。
【００７７】
前記の説明では、ステレオ画像処理とレーザレンジファインダの計測値を通常は１対１の重みになるよう定義しているが、装置の特徴に基づいて天候に応じた重みを付ける。例えば、雨の日、逆光の晴れ、順光の晴れ、曇りの日などの異なる天候下において、既知の位置に存在する物体をレーザレンジファインダとステレオ画像処理の両方で計測し、その計測値の真値に対する誤差の大きさや測定値の分散の大きさなどから、真値に近く分散の小さい計測が可能な装置の方の投票値の重みを大きくし、その逆であれば重みを小さくする。これにより、逆光などステレオ画像処理で誤計測が多い場面では、正確な計測が行われているレーザレンジファインダの計測結果の重みを大きくすることによって正確な結果が得られる。逆にレーザレンジファインダの計測が不安定で誤計測のある環境では、ステレオ画像処理の計測の重みを大きくすることにより、総合して天候の状況に影響を受けにくいロバストな計測が可能となる。また、投票値の重み付けを求める基準を、天候変化だけでなく、他の環境変化を基準とすることで、同様の方法で他の場面でも影響を受けにくくすることが出来る。
【００７８】
さらに、ステレオ画像処理とレーザレンジファインダの装置の特徴に基づいた投票の重みの付け方を説明する。ステレオ画像処理は、画像内が無地（エッジが存在しない）の場合には、原理的に距離を求めることができないため、距離を求める領域画像内の輝度分散の小さい場合は、誤計測の可能性が高い（前記図９の説明参照）。このことから、輝度分散がしきい値以下の位置で求められた値については重みを０にするか、または、重みを０.５〜０.１にするなど、計測値の信頼性に応じて重みを小さくする。これによって誤計測の可能性の高い値は表中に大きく反映されないようにする。また、レーザレンジファインダは、レーザレーダの届かない遠方の場合や光を吸収する物体に照射した場合は計測不可能もしくは誤計測値となる場合が多い。このことから、スキャニング方向毎にその方向への反射強度も計測し、その強度の低い位置での計測値では、重みを０にするか、もしくはステレオ画像処理と同様に、重みを０.５〜０.１にするなど信頼性に応じた重みを付ける。これにより、誤計測の値が表の投票に大きな影響を及ぼさないようにする。
【００７９】
以下、重み付けの具体的な方法について説明する。なお、通常時の重みを１とする。
（１）レーザレンジファインダやスキャンニングレーザレーダは雨、霧、雪に弱いことから次のように重みを付ける。
（１ａ）車両のワイパの動作段階に応じてレーザレーダの重みを小さくする。例えば、ワイパ不作動では重み１、低速動作では０.８、中速動作では０.６、最速動作では０.４とする。
（１ｂ）ＶＩＣＳ（Vehicle Information Communication System：道路交通情報通信システム）から得た当該地点および時間での降雨（雪）量によってレーザレーダの重みを小さくする。例えば降雨量０では重み１とし、降雨（雪）量があるときは、降雨量に逆比例する値を重みとする。例えば５０ｍｍのときは１／５、１００ｍｍの場合は１／１０、２００ｍｍのときは１／２０等の値にする。
（１ｃ）フォグランプのＯＮ、ＯＦＦに応じてレーザレーダの重みを変える。例えばフォグランプＯＦＦでは重みを１とし、フォグランプＯＮのときは重みを０.１または０とする。
（１ｄ）天候に応じて、既知の位置でレーザレーダの測距の正解率を調べ、その正解率を重みとする。例えば、異なる降雨量に応じて正解率を調べ、降雨量の情報をＶＩＣＳから求め、その降雨量のときに得られた正解率を重みとする。例えば降雨量１００ｍｍのときの正解率が２０％、５０ｍｍのときの正解率が５０％であれば降雨量１００ｍｍのときの重みを０.２、５０ｍｍのときの重みを０.５とする。
【００８０】
（２）ステレオ画像処理は、大雨、大雪、霧、逆光に弱い（ただし雨に対してはレーザレーダよりは良い）ことから次のように重みを付ける。
（２ａ）ＶＩＣＳから得た当該地点および時間での降雨、雪、霧に応じてステレオ画像処理の重みを小さくする。例えば降雨（雪）がないときは重み１とし、雨のときは、前記レーザレーダと同様の方法で重みを小さくする。
（２ｂ）ステレオ画像処理とレーザレーダの両方を載せた組み合わせの場合では、降雨時の重みは小さくするが、その重みはレーザレーダよりは大きく（例えばレーザレーダの重み×１.５にするなど）とする。このようにすれば、後述するミリ波レーダを加えた装置の場合に、ミリ波レーダの計測結果を有効に活用することが出来る。
（２ｃ）夕方に西に向かう場合や明け方に東へ向かうなどの逆光になる情報を時計とナビゲーションやジャイロなどの方位計測装置などから得て、それに応じて、逆光と予想されるときは、ステレオ画像処理の重みを小さくする。
（２ｄ）天候に応じて、既知の位置でステレオ画像処理での計測正解率を調べ、その正解率を重みとする。
（２ｅ）前記（１）で述べたレーザレーダと同様に、異なる霧の状態で、降雨量同様に透過率毎の正解率を重みとするものや、霧、雨、雪の異なる天候でのそれぞれの正解率を調べ、ＶＩＧＳより得た天候に応じて、そのときの正解率を重みとすることも出来る。
【００８１】
（３）ステレオ画像処理やレーザレーダの検知の状態から次のように重みを付ける。
（３ａ）ステレオ画像処理における画像内の分散の値がしきい値以下の部分で計測された距離値は重みを０にする。
（３ｂ）レーザレーダの反射強度がしきい値以下の部分で計測された距離値は重みを０にする。
（３ｃ）画像全体の分散が低い（しきい値以下）のときは、ステレオ画像処理の計測値の重みを０.２などの小さな値にする。
（３ｄ）スキャニングレーザレーダの同じ方向における検出値が時間的に連続して不安定な個所が多い（例えばしきい値の半分程度）場合は、雨などによるノイズの場合が多いので、レーザレーダの重みを小さくする。例えば、ノイズの数／全体のデータ数を重みとする。具体例を示すと、１回の走査で８０個のデータを得るスキャニングレーザレーダでノイズと判断されるデータが４０個の場合には重みを１／２＝０.５とする。
上記の各重み付けは、状況の応じてそれぞれを組み合わせて適用することが出来る。なお、重み付けは上記の数値を測定値に乗算することによって行なう。例えば、重み０.５というのは測定値に０.５を乗算した値を投票することを意味する。
【００８２】
次に、物体の認識を行なう例について説明する。なお、図１１では、物体認識のステップは記載していないが、ステップＳ１０５の次に、物体認識のステップを設ければよい。
前記図５〜図７に示した投票結果からもわかるように、車両を検知した個所での投票値の分布と木を検知した個所での投票値の分布は、エッジの有無や反射強度の強さによってそれぞれ特徴がある。このことから、例えば、既知の位置にある異なる対象物を、レーザレンジファインダとステレオ画像処理で計測したときにおける表への投票結果の分布形状を学習し、車両、人物、木など様々な対象物を、投票結果の形状のパターンで表現し、その投票結果のパターンと認識対象画像で計測された表への投票結果とのマッチングを行なうように構成することにより、物体の認識・判別処理が行える。パターンマッチングは、投票結果の形状同士の正規化相関や判別分析など、一般的な認識装置でよい。
【００８３】
さらに、この物体の認識をもとに、より計測を確実にするための投票の重み付けの方法を説明する。通常、木や人物は細長い形状をしていることから、路上に存在し、投票結果の分布の幅が狭い物体は、人物や木である確率が高い。人物や木は反射強度が低いことが多い一方で、エッジを多く含むものが多い。このことから、投票の際に、人物や木と認識された位置ではステレオ画像処理の結果に重みを大きくして投票するように構成するとよい。
【００８４】
次に、ステレオ画像処理やレーザレーダを用いた測距装置で問題となりがちな悪天候下での性能向上方法について説明する。
図１および図１１では、ステレオ画像処理とレーザレンジファインダまたはスキャンニングレーザレーダを用いた場合を示しているが、それらの何れかの代りもしくはそれらに追加して、雨、霧や暗闇でも測定可能なミリ波レーダを搭載することで対応が可能となる。構成としては、図１の構成にミリ波レーダを追加した構成、図１のステレオカメラ１、２の代わりにミリ波レーダを設けた構成、または図１のレーザレンジファインダ７の代わりにミリ波レーダを設けた構成が考えられる。また、図１１のフローチャートにおいては、ステップＳ１０１またはＳ１０２の代わりにミリ波レーダからの情報入力のステップとするか、もしくはステップＳ１０１、Ｓ１０２と並列にミリ波レーダからの情報入力のステップを設ければよい。
【００８５】
レーザレーダやステレオ画像処理は、反射強度や画像内の輝度分散の大きさによって、それらの装置での測距の信頼性を判断することが出来る。したがって、それらの装置の信頼性が、走査範囲全体において低い場合には、それらの装置では測定が不安定な悪環境下、悪天候下であると判断し、そのような場合は、ミリ波レーダでの測定結果に基づいた投票値に重みを付けるように構成する。これにより、悪環境下では測定不可能な装置による誤計測の悪影響を受けることなく、悪環境下でも計測が可能となる。ただし、ミリ波レーダには、悪環境下でも測定が可能な一方で、横方向の測定分解能が粗いという問題がある。したがって、ステレオ画像処理とレーザレンジファインダなどの信頼性が高い環境下では、横方向の分解能を高精度に維持するために、ミリ波レーダでの計測値に基づいた投票値の重みは小さくする。これにより、好天候下における高精度な測定を維持したまま、悪天候下での計測にも対応可能となる。
【００８６】
ミリ波レーダを追加した装置における重み付けの具体例としては、次のような構成が考えられる。すなわち、ミリ波レーダは悪天候には強いが精度が悪いことから、ＶＩＣＳから得た天候に応じて、降雨（雪）量がしきい値以上の場合（例えば他の測距装置の重みが０.５以下になるような場合）では、ミリ波レーダの計測値の重みを１とする。また、降雨（雪）量が０の場合には、ミリ波レーダの計測値の重みを０.５程度以下の小さな値とする。これにより、好天候では、ミリ波レーダによる分解能の粗い値が結果に反映されることを回避することが出来る。
【図面の簡単な説明】
【図１】本発明の一実施例のおける全体構成を示すブロック図。
【図２】ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図。
【図３】両画像の対応する位置毎の視差を求めた結果を示す図。
【図４】ステレオ画像上に距離画像作成のために切った一つ一つの小領域の画像上の位置と、その領域内に撮像される実空間上の物体との位置関係を示した図であり、（Ａ）は前方から見た斜視図、（Ｂ）は上方から見た平面図、（Ｃ）は側面図。
【図５】表への投票状況を示す図であり、（Ａ）は斜視図、（Ｂ）は撮像した画像と先行車に相当する距離ｚ＝Ｌ２における投票値を示す図、（Ｃ）は距離×路面に平行な角度（ｘ軸方向の角度）からなる投票用の表。
【図６】スキャニングレーザレーダによる計測状態を示した図であり、（Ａ）は全体の斜視図、（Ｂ）は反射強度と１次元方向毎の距離を示す図、（Ｃ）は投票状態を示す斜視図、（Ｄ）は距離×路面に平行な角度（ｘ軸方向の角度）からなる投票用の表。
【図７】レーザレンジファインダによる計測状態を示した図であり、（Ａ）は全体の斜視図、（Ｂ）は輝度画像、（Ｃ）は距離画像、（Ｄ）は投票状態を示す斜視図。
【図８】ステレオ画像処理での投票結果に加え、スキャニングレーザレーダでの投票結果を加算した様子を示した図。
【図９】物体の誤検知を防止する機能を説明するための図であり、（Ａ）は処理対象画像上に設定した各ウインドウの画像を示す図、（Ｂ）は画像上に定義したウインドウの位置と、それらの定義したウインドウの走査範囲を示す図、（Ｃ）はそれぞれのウインドウにおいて、視差方向に切った１ライン上の輝度分散を複数個所で求める状態をあらわした図、（Ｄ）は二つのカメラで撮像した対象物とその対象物が画像上に撮像されたときの位置関係を表した図。
【図１０】２台のカメラ１、２と、レーザレンジファインダ７を自車両に搭載した構成を示す側面図。
【図１１】一実施例における処理の流れを示す図。
【符号の説明】
１、２…電子式のカメラ ３、４…画像メモリ
５…演算部 ６…先行車
７…スキャンニングレーザレーダまたはレーザレンジファインダ
８…画像メモリ
【発明の属する技術分野】
この発明は、種類の異なる２種類の測距手段、例えばステレオ画像処理による測距装置とレーザレンジファインダ等の測距装置との両方を用いた障害物認識装置に関し、車両等の走行方向に存在する障害物を認識する技術に関するものである。
【０００２】
【従来の技術】
従来の車両用障害物検知装置としては、電子式カメラで撮像した車両前方の画像を画像処理することによって障害物を検出する装置、或いはレーザレンジファインダ、スキャンニングレーザレーダのような光を用いるか、ミリ波レーダのように電波を用いて前方の障害物を検知する装置が提案されている。
【０００３】
また、種類の異なる２種類の測距装置、例えば画像処理による測距装置とそれ以外の測距装置とを組み合わせた障害物検知装置としては、例えば、特開平８−３２９３９３号公報に記載されたものがある。この装置は、１個のカメラで撮像した画像による単眼画像処理を行なう装置とレーザレーダとを組み合わせたものであり、単眼画像処理で先行車の存在する領域を求め、その存在領域方向から反射されたレーザレーダの測距数値を先行車までの車間距離とするものである。
【０００４】
【発明が解決しようとする課題】
前記の各種測距装置において、電子式カメラによる画像処理では、人や立木のような反射の少ない物体でも検出することが出来、かつ分解能が高精細であるという利点があるが、霧中や夜間等のように画像のコントラストが低くなる状況では計測が困難である。また、レーザレーダ等のように光の反射を利用する装置では、夜間でも使用可能であり、分解能も高いが、濃い霧や雨天時には使用困難であり、かつ人や立木のような反射の少ない物体の検出にはあまり適していない。また、ミリ波レーダのように電波を利用する装置では、濃霧、雨中や夜間でも使用可能であるが、距離や横方向の分解能が粗いので検出した物体の識別等には不適である。このように従来の測距装置を単体で用いた障害物検知装置においては、それぞれ一長一短があり、全ての状況において十分な効果を上げることは困難であった。
【０００５】
また、前記特開平８−３２９３９３号公報に記載されたように、２種類の測距装置を組み合わせた障害物検知装置も提案されているが、この装置では、画像処理で先行車の存在する領域を求め、その存在領域方向から反射されたレーザレーダの測距数値を車間距離とするので、画像処理が適用出来ない霧中や夜間では車間距離計測が不可能になる。また、雨中や暗い服の人などのようにレーザレーダの不適な環境では距離計測が困難である。つまり、前記公報に記載の装置は画像処理とレーザレーダの両方が十分機能出来る状態でなければ障害物の検知と測距が出来ないものであり、前記のように従来の測距装置を単体で用いた障害物検知装置における問題点を解消するものではなかった。
【０００６】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、測距装置の種類に応じた欠点を補い、より広範囲の状況下で障害物認識の確実性を向上させた障害物認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、請求項１に記載の発明においては、車両に搭載され、走行方向に対して垂直で路面に平行な１次元方向または走行方向に垂直な２次元平面に対して計測処理を行なうことにより、前方に存在する物体を検知する、測定原理の異なる少なくとも２種類の測距手段と、ｚ軸方向が自車両からの距離、ｘ軸方向が路面に平行で走行方向を基準とした位置、ｙ軸方向が投票値を示す表と、前記少なくとも２種類の測距手段でそれぞれ計測した結果に基づいて、物体が検知された前記表の該当するそれぞれの位置に投票する投票手段と、前記投票手段による投票結果から、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断する判断手段と、を備え、それぞれの測距手段における物体が検知された計測値を加算した結果に基づいて物体の存在を判断するように構成している。
【０００８】
上記のように本発明においては、測定原理の異なる少なくとも２種類の測距手段を用い、かつ、それぞれの測定結果に基づいて該当する距離と横位置の個所にそれぞれ投票し、その加算された結果を用いて物体の存在と位置（距離と方向）とを判断するように構成しているので、少なくとも何れか一方の測距手段が計測可能であれば、物体の存在と位置とを検知することが出来る。したがって２種類の測距手段の一方が計測困難な状況下でも正確な計測、判別が可能になる。また、両方の測距手段が多少計測困難な状況でも、両者の結果を合わせることにより、１種の測距手段を用いる場合よりも正確な判断が可能である。
【０００９】
また、請求項２に記載の発明においては、少なくとも２種類の測距手段の１つとして、光軸が相互に平行で、かつ走行方向を向くように設置された２台の電子式カメラで撮像した画像をステレオ画像処理することにより、画像に設定した各領域毎に距離と輝度とを検出する画像処理手段を用い、他の１つとして、走行方向に対して垂直で路面に平行な１次元方向または走行方向に垂直な２次元平面に対してレーザ光で走査を行ない、走査方向または走査面の各領域ごとに距離と反射強度とを検出するレーザレーダを用いた測距手段を用いたものである。なお、上記レーザレーダを用いた測距手段とは、例えば１次元方向を走査するものとしてはスキャンニングレーザレーダ、２次元平面を走査するものとしてはレーザレンジファインダがある。
【００１０】
上記のように、２種類の測距手段として、画像処理手段とレーザレーダを用いた測距手段という測距原理の全く異なる装置を用いているので、それぞれの特性に応じた状況下でそれぞれ正確な計測を行なうことが出来る。したがって両者の計測結果を加算した結果に基づいて判断することにより、より広い状況下で正確な判断を行なうことが出来る。
【００１１】
また、請求項３に記載の発明においては、各測距手段の特性に応じて、その測距手段毎に周囲状況に応じた信頼性を求め、前記投票手段における投票値に、前記各測距手段毎にそれぞれの信頼性に応じた重み付けを行なうように構成している。例えば、前方の障害物の有無と位置が既知な状態で、様々な天候変化などの周囲環境の異なる状況下において、搭載した測距装置毎の計測信頼性を学習し、計測時の天候などの周囲環境に応じて、計測の信頼性の高い測距手段の測定結果には重みを大きくし、信頼性が低い測距手段の測定結果には重みを小さくして表に投票するものである。これにより、天候などの周囲環境の変化に対して影響を受けにくくなる。
【００１２】
また、請求項４に記載の発明においては、測定原理の異なる少なくとも２種類の測距手段の各計測結果に基づいたそれぞれの投票結果について、予め判明している物体についての投票結果と比較対照することにより、検出された物体の種類を認識するように構成している。例えば、測距手段として、ステレオ画像処理とレーザレーダを用いた場合では、それらの両方の装置において検知された角度の幅が共に狭く、かつステレオ画像処理では値が高いがレーザレーダでは反射強度が低い場合には人物や木と判断し、レーザレーダでは広い幅で高い投票値となり、ステレオ画像処理ではその両端が高く間が低い投票値となる場合には車両と判断するなどのように、投票値の分布の形状や反射強度に基づいて判断を行なうことにより、障害物の形状や種類を認識することが出来る。これにより、１種類の測距手段では検知不可能な物体でも、２種類の測距手段を用いることによって、広い状況下で正確な認識が可能となる。
【００１３】
また、請求項５に記載の発明においては、画像処理手段で求めた距離に基づいた表への投票結果において、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを他の領域または通常値よりも大きくするように構成している。すなわち、横幅の狭い物体が検知された場合は、その物体は人物など車両以外の縦長の物体である可能性が高く、かつ、路面上の縦長の物体はテクスチャ（表面の模様等）はあるが反射面を持たないのでステレオ画像処理に適した物体である確率が高いことから、ステレオ画像処理で求めた結果に大きな重みを付けて投票するものとした。
【００１４】
また、請求項６に記載の発明においては、ステレオ画像処理で求めた画像のコントラスト（輝度分散）が低いときには信頼性が低いことから、画像のコントラストが低い領域では、重みを小さくするか、若しくはステレオ画像処理以外の測距手段の結果に重みを付けて表に投票するものとした。これにより、ステレオ画像処理が原因の誤計測を防ぐことができるので、霧、夜間などステレオ画像処理では計測不可能な環境下でも、他の測距手段の結果を活用することによって障害物の検知・計測が可能となる。
【００１５】
また、請求項７に記載の発明においては、スキャニングレーザレーダやレーザレンジファインダなどのようなレーザ光の反射時間の測定を利用した測距手段を用いた構成において、レーザ光の反射強度が低いときにはその位置での測定値の信頼性は低いことから、その位置での計測結果を表へ投票する際に、重みを減らした値を投票するものとした。これにより、レーザレーダよる距離計測が原因の誤計測を防ぐことができる。さらに、他方の測距手段がステレオ画像処理装置などのカメラを用いた測定装置である場合は、前方物体が反射面を持たない物体である場合も計測が可能であるため、上記のようにレーザレーダよる計測結果への重みを小さくすることにより、ステレオ画像処理の計測にレーザレーダの誤計測が悪影響を及ぼすことなく前方の測定が可能となる。
【００１６】
また、請求項８に記載の発明においては、測定原理の異なる少なくとも２種類の測距手段の１つとしてミリ波レーダを用いた構成において、ミリ波レーダは霧や反射物体のない暗闇など、カメラやレーザレーダでは計測が困難な悪天候、悪環境下での測定が可能なことから、他の計測装置では測定が困難な悪環境化ではミリ波レーダでの計測結果に基づいた投票値に重みを付ける。また、ミリ波レーダは、悪天候化に強い一方でレーザレーダやステレオ画像処理など他の測距手段と比べて距離および路面に平行な横方向の測定精度が粗いことが多いことから、好天候下ではミリ波レーダでの計測値に基づいた投票値の重みを小さくする。このような投票方法により、悪天候に強く、かつ、好天候下では、分解能の粗い測定に影響されることなく高精度な測定が可能となる。なお、測距手段の一つしてミリ波レーダを用いる場合としては、例えば、画像処理手段とミリ波レーダとの組み合わせ、レーザレーダを用いた測距手段とミリ波レーダとの組み合わせ、および画像処理手段とレーザレーダを用いた測距手段とミリ波レーダとの組み合わせが考えられる。
【００１７】
【発明の効果】
本発明においては、測定原理の異なる少なくとも２種類の測距手段を用い、かつ、それぞれの測定結果に基づいて該当する距離と横位置の個所にそれぞれ投票し、その加算された結果を用いて物体の存在と位置とを判断するように構成しているので、少なくとも何れか一方の測距手段が計測可能であれば、物体の存在と位置とを検知することが出来る。したがって２種類の測距手段の一方が計測困難な状況下でも正確な計測、判別が可能になる。また、両方の測距手段が多少計測困難な状況でも、両者の結果を合わせることにより、１種の測距手段を用いる場合よりも正確な判断が可能である。したがって従来よりも広い状況下で障害物認識の確実性を向上させることが出来る。
【００１８】
また、請求項２においては、２種類の測距手段として、画像処理手段とレーザレーダを用いた測距手段という測距原理の全く異なる装置を用いているので、それぞれの特性に応じた状況下でそれぞれ正確な計測を行なうことが出来る。したがって両者の計測結果を加算した結果に基づいて判断することにより、より広い状況下で正確な判断を行なうことが出来る。
【００１９】
また、請求項３においては、計測時の状況下で信頼性の高い測距手段での計測結果に重みを付けた値を投票することにより、信頼性の高い計測結果が表への投票に大きく影響するため、車両の搭載した装置のうちいずれか一つが計測可能な環境であれば、前方の物体の正確な検知・計測が可能となる。また、誤計測値の投票値の割合が減るため、測距手段のうちで誤計測した装置がある場合でも、他の装置の計測結果が活かされ、正確な計測が行われるようになり、全体として天候など周囲環境の影響を受け難いロバストな計測が可能となる。
【００２０】
また、請求項４においては、測距手段の特性に応じて投票値の分布の形状に異なる特徴が表れることから、投票パターンの形状を学習し、投票値の分布形状を用いた種類別のパターンマッチングを行なうことで、前方の物体の形状および種類の認識が可能となる。また、一方の測距手段では計測不可能な物体であっても、他方の測距手段で計測可能な物体であれば、一方では計測不可能で、他方では計測可能という一つのパターンの特徴が現われるので、一方の装置で計測が不可能な物体でも物体の認識が可能となり、さらに、その計測が不可能という情報も物体認識の有効な情報として使えるため、より幅広くかつ確実な物体認識が可能となる。
【００２１】
また、請求項５においては、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを大きくすることにより、レーザレーダなどのように反射面を持たない物体への計測が不安定な測距手段と組み合わせた場合でも、反射面を持たない物体に対する計測が確実であるステレオ画像処理の計測が表への投票に大きく影響するため、より確実な距離測定が可能となる。
【００２２】
また、請求項６においては、ステレオ画像処理で輝度分散が低い領域では重みを小さくしたことにより、ステレオ画像処理が原因での誤計測を防ぐことができ、ロバストな計測が可能となる。
【００２３】
また、請求項７においては、レーザ光の反射時間を利用した計測装置においては、反射強度の低い部分での計測結果の信頼性が低いことから、反射強度の低い部分での計測値は重みを小さくする構成としたことにより、レーザ光の反射を利用した測距手段が原因での誤計測を防ぐことができ、ロバストな計測が可能となる。
【００２４】
また、請求項８においては、測距手段の一つをミリ波レーダとした場合において、他の測距手段では計測が困難な悪天候下では、ミリ波レーダでの計測結果に基づいた投票値に重みを大きくし、他の測距手段でも計測可能な好環境下では、ミリ波レーダでの計測結果に基づいた投票値の重みを小さくする構成としたことにより、悪天候下でも計測が可能となり、好天候下では、ミリ波レーダの横分解能の粗さによる悪影響を及ぼされることなく、横方向の分解能の細かい他の測距手段の計測に基づいた高精度な測定が維持可能となる。
【００２５】
【発明の実施の形態】
以下、この発明を図面に基づいて説明する。
図１は本発明の実施の形態の構成を示すブロック図であり、測距装置として２台の電子式カメラによるステレオ画像処理とレーザレーダを用いた測距装置とを用いた場合を例示する。
図１において、１および２は電子式のカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置されている。なお、撮像面の水平軸が同じライン上に揃うように設置してもよい。３、４はそれぞれカメラ１、２から入力した画像信号を記憶する画像メモリである。５は演算部であり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで構成される。６は自車の前方に存在する障害物等の検出対象物であり、図１では先行車を例示している。また、７はレーザレーダを用いた測距装置であり、例えばスキャンニングレーザレーダまたはレーザレンジファインダであり、自車の前部に前方を向いて設置されている。スキャンニングレーザレーダはレーザレーダの照射を水平方向に走査することで、前方の物体までの距離とその照射対象の反射強度（輝度）を１次元に計測する装置であり、レーザレンジファインダは、レーザレーダの照射を縦および横に走査することで、前方の物体までの距離とその照射対象の反射強度（輝度）を２次元的に計測する装置である。また、８はスキャンニングレーザレーダやレーザレンジファインダから入力した画像信号を記憶する画像メモリであり、距離画像と輝度画像（反射強度）を記憶する。なお、カメラ１、２とスキャンニングレーザレーダやレーザレンジファインダ７を車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。また、７としては上記のようなレーザ光を用いる装置の他に、電波を放射するミリ波レーダ等を用いることも出来る。
【００２６】
以下、まずこの実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。
図２は、ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図である。図２においては、カメラＡ（前記カメラ１に相当）で撮像した画像を画像Ａ、カメラＢ（前記カメラ２に相当）で撮像した画像を画像Ｂで示し、検出対象の位置を点ｐ（ｘ，ｙ，ｚ）としている。
【００２７】
図２から判るように、焦点距離ｆ、眼間距離（両カメラ間の距離）Ｄが既知であり、光軸が互いに平行な２台のカメラＡ、Ｂで撮像したステレオ画像において、２枚の画像間のマッチング位置ｙａ、ｙｂを求めることできれば、カメラから対象物ｐまでの距離ｚは下記（数１）式より求めることができる。
【００２８】
ｚ＝ｆ・Ｄ／（ｙａ−ｙｂ）＝ｆ・Ｄ／Ｓ …（数１）
ただし、ｙａ−ｙｂ＝Ｓは視差であり、図２のように、光軸が平行で、所定間隔を隔てて設置された二つのカメラＡ、Ｂで一つの物体を撮像した場合に、それぞれのカメラに写った画像の位置の差、すなわち画像Ａにおける位置ｙａと画像Ｂにおける位置ｙｂとの差である。なお、この例では、眼間距離Ｄと距離ｚの単位はｍ、焦点距離ｆ、視差Ｓおよび位置ｙａ、ｙｂの単位は画素である。例えばカメラＡ、ＢはＣＣＤを用いたものであり、画素数を６４０×４８０とした場合、１画素の大きさは１０μｍ程度である。
【００２９】
上記（数１）式は、両カメラの光軸が相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合であるが、撮像面の水平軸が同じライン上に揃うように設置した場合には、下記（数１'）式に示すようになる。
ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ）＝ｆ・Ｄ／Ｓ …（数１'）
ただし、ｘａ−ｘｂ＝Ｓは視差
なお、以後の説明は全て撮像面の垂直軸が同じライン上に揃うように設置した場合を例として説明する。
【００３０】
上記の視差Ｓを検出するには、一方の画像（例えば画像Ａ）上において点ｐが撮像されている点（ｘａ、ｙａ）に対応する他方の画像（例えば画像Ｂ）上の点（ｘｂ、ｙｂ）を検出する必要がある。その方法としては、画像Ａ上の点（ｘａ、ｙａ）を含む或る範囲の画像（ウィンドウ）と最も類似した範囲を画像Ｂ内から探すことで求めることができる。この類似度の算出には、画像間の差分法や正規化相関法などがある。そして距離画像（ウィンドウ毎にその内部に撮像される物体までの視差を求めた画像）は、定義した全てのウィンドウにおいて差分法や正規化相関法により、他方と類似度の高いウィンドウが存在する位置を求めることで作成できる。
【００３１】
図３は、両画像の対応する位置毎の視差を求めた結果を示す図であり、詳しくは、道路前方を撮像した画像において、一方の画像（例えば画像Ｂ）をウィンドウ毎に切り、その全てのウィンドウにおいて他方の画像（例えば画像Ａ）からそのウィンドウと最も類似度の高い画像の位置を求めることで、両画像における対応する位置を検出し、それぞれの対応する位置から各ウィンドウ毎の視差を求めた結果を表したものである。図３において、（Ａ）は下画像（画像Ａに相当）、（Ｂ）は上画像（画像Ｂに相当）、（Ｃ）は視差の表、（Ｄ）は視差が「１５」のウィンドウ部分のみを抜き出した画像、（Ｅ）は先行車の存在しない路面の画像を示す。また、図３（Ｂ）、（Ｃ）の(1)〜(20)は各ウィンドウの水平方向（以下、横方向と記す）の位置を示す。ただし、図においては(1)〜(20)を丸付き数字で表している。また、一つのウィンドウは幅（ｘ方向の長さ）がｘｗ、高さ（ｙ方向の長さ）がｙｗである。
上記のように、各ウィンドウ毎の視差が判れば、前記（数１）式を用いることによって、該当するウィンドウに撮像されている物体までの距離を求めることが出来る。
【００３２】
以下、図３（Ｃ）のようにウィンドウ毎にその内部に撮像されている物体までの視差を求めた画像を“距離画像”と呼ぶことにする。このウィンドウ毎に算出される視差は、当該ウィンドウの内部に撮像されていてエッジ（画像が明から暗または暗から明に変化する点が連続した部分で、画像の端などを示す線分に相当する）などの特徴的な部分を持つ物体までの距離に相当するから、一つの対象物が複数ウィンドウに跨って撮像されていると、隣接するウィンドウで同じ視差が求められる。例えば、道路前方を撮像した画像における距離画像の場合、先行車と、先行車が存在する真下の路面とは同距離なので、図３（Ｄ）に太線のウィンドウで示すように、先行車の下部と同じｙ座標上にあるウィンドウは先行車と同じ視差で算出される。例えば図３（Ｃ）の下から２行目に「１５」が横方向に連続しているのが上記の部分に相当する。なお、図３（Ｃ）において、中央部分に視差「１５」が集合している部分が先行車に相当し、(3)、(4)列に視差「１９」が集合している部分が「左方の木」に相当し、(6)列に視差「５」が連続している部分が「中央の木」に相当する。また、図３（Ｅ）に示すように、先行車の存在しない路面を撮像した場合には、画像上のｙ座標とその位置に撮像される路面上の距離ｚは、画面の下から上に向けて徐々に遠距離となる。つまり画面の下部分には近い場所が撮像され、画面の上になるに従って遠くが撮像される。
【００３３】
上記のように、距離画像は前方に高さのある物体が存在すると、その物体が撮像されているｘ座標位置のウィンドウでは同じ視差が検出される。一方、車両横にある白線部分のように路面などの高さを持たない位置では、同じｘ座標上で同じ視差が検出されるウィンドウは一つである。すなわち、前方に物体が存在する場合、同一ｘ座標の方向でのウィンドウにおいて同じ視差の個数を数えることにより、物体を検知することができる。この方法によれば、複数の物体も一つの物体も同じ方法で検出することができ、検出対象や背景の色に左右されずに物体を検知できるようになる。また、白線や停止線などの路面表示は、同じ視差を示すウィンドウが同じ方向に現れないため、路面表示と高さをもつ障害物とを誤検出することがなくなるという利点もある。加えて、距離画像だけを利用しているため、検出対象の色や形状および背景色にかかわらず同様の処理で複数物体を検出できる。
【００３４】
また、図４は、カメラ１および２で撮像したステレオ画像上に距離画像作成のために切った一つ一つの小領域の画像上の位置と、その領域内に撮像される実空間上の物体との位置関係を示した図であり、（Ａ）は前方から見た斜視図、（Ｂ）は上方から見た平面図、（Ｃ）は側面図を示す。なお、（Ａ）および（Ｂ）においてはカメラ１と２を一つで示している。
【００３５】
図４において、画像上に定義した同じｘ座標上に並ぶ領域は、同じ方向を撮像したものである。例えば、画像上の中心から３番目の領域に撮像される物体（点Ｐ）は、光軸からの角度が約３×α（ただしαは領域１個分の水平方向角度）の位置に存在する物体である。そしてカメラから該物体までの距離は前記の視差から求めた距離画像によって求められる。したがって、図５に示すように、路面に平行で、左右方向（ｘ軸方向）の角度（例えば光軸からの角度）が画像面に定義した領域と対応し、ｚ軸方向が距離に対応する「距離×路面に平行な角度」からなる表を設け、距離画像上の領域の定義位置とその領域の距離とに対応する表の位置に投票することにより、表中の値の高い位置の有無から前方の障害物の有無を、値の高い位置の存在位置から障害物までの距離と横方向の位置およびその物体の横幅を求めることができる。なお、図５（Ａ）は斜視図、（Ｂ）は撮像した画像と先行車に相当する距離ｚ＝Ｌ２における投票値を示す図、（Ｃ）は距離×路面に平行な角度（ｘ軸方向の角度）からなる投票用の表を示す。すなわち、図５は、ｚ軸方向に距離をとり、ｘ軸を画像のｘ軸方向として投票した値をｙ軸方向に示したグラフである。このグラフは図３（Ｃ）のごとき距離画像の値をもとに、図５の対応する位置に投票することによって作成する。投票とは、例えば、ｘ＝２上にある画素で距離が３ｍの点のとき、グラフのｘ＝２、ｚ＝３のところにｙ＝１を加算する操作を意味する。
【００３６】
このような操作を距離画像全体の値について行なう。前方ｚの位置に物体が存在する場合、その物体が撮像されるｘ座標の距離ｚの位置に複数回投票が繰り返されるため、表中のその位置の値が高くなる。例えば距離画像の値において同じｘ＝２上に距離３ｍの値が例えば５個存在する場合はｙ＝５となる。したがって同じｘの位置に背の高い物体が存在すると、その個所の投票値（ヒストグラムの高さ）は大きな値となる。一方、物体が存在しないｘ座標上では、図３（Ｅ）に示したように、同じｘ座標上で同じ距離は計測されないため、表中で値が高くなる位置は存在しない。このことから、投票結果をもとに、表中の値が大きな位置の存在から物体の有無を求めることが出来る。また、その物体の存在する位置は、ｘ軸方向の範囲は投票値が所定のしきい値以上の範囲ｘｌ〜ｘｒ（ｘｌは存在範囲の左端、ｘｒは右端）のｘ軸方向の位置により、物体までの距離は表の距離ｚの値により、それぞれ求めることができる。
【００３７】
具体的には、例えば、前記図３に示したように先行車の存在する位置には視差１５の値が多数集まるので、図５（Ｂ）（Ｃ）に示すように、視差１５に相当する距離Ｌ２で左端がｘｌ、右端がｘｒの範囲に投票値が集まることになる。同様に、図５（Ｂ）の「左方の木」は位置が左端から２領域目で距離がＬ１、「中央の木」は位置が左端から４領域目で距離がＬ３の個所に投票値が大きくなる。
【００３８】
次に、図６は、図５と同じ環境下において、路面に平行な方向に１次元的に走査するスキャニングレーザレーダで、周囲の各角度方向の距離を計測したときの計測の状態を示した図であり、（Ａ）は全体の斜視図、（Ｂ）は反射強度と１次元方向毎の距離を示す図、（Ｃ）は投票状態を示す斜視図、（Ｄ）は距離×路面に平行な角度（ｘ軸方向の角度）からなる投票用の表を示す。
【００３９】
スキャニングレーザレーダでは、各角度方向に存在する物体までの距離とその物体にレーザを照射したときの反射強度が計測される。車両は反射面をもつため、前方に車両が存在すると強度の強い反射光が返り、その反射強度は計測結果の信頼性にもつながる。つまり、ステレオ画像処理で求めた距離画像と同様の方法で、路面に平行な方向で各角度毎に計測した１次元データより、例えば、その方向毎に計測した距離の表の位置に反射強度に比例した値を加算する処理により、前方の障害物の有無とその物体までの距離および存在する範囲の横方向の範囲角度を計測できる。すなわち、図５（Ａ）と図６（Ｃ）、図５（Ｃ）と図６（Ｄ）は殆ど同じであり、同様の処理で進行方向の存在する障害物の位置と距離を検知出来る。なお、画像処理ではエッジ部分の値が大きくなるので、図５（Ａ）では先行車の端部分におけるヒストグラムが高くなるが、スキャニングレーザレーダでは物体からの反射によって距離を計測するので、図６（Ｃ）では先行車の存在する範囲でヒストグラムの高さがほぼ同じになっている。
【００４０】
次に、図７は、図５と同じ環境を、計測面がカメラの撮像面と平行な計測面をもつレーザレンジファインダによって計測する状態を示した図であり、（Ａ）は全体の斜視図、（Ｂ）は輝度画像（反射強度）、（Ｃ）は距離画像、（Ｄ）は投票状態を示す斜視図である。
【００４１】
レーザレンジファインダは、図６に示したレーザレーダの走査を、横方向だけでなく縦方向にも振ることで２次元平面的に前方の距離を測定する装置である。この装置では、図７に示すように、ステレオ画像処理で求めた距離画像同様の、縦横の各角度毎の距離画像が得られる。このことから、レーザレンジファインダで計測された距離画像と反射強度とを用いて、図５と同じ方法で表に投票することにより、前方に存在する障害物の有無、位置、距離を計測することが出来る。
【００４２】
図８は、図５（Ａ）に示したステレオ画像処理で得た距離画像に基づいて行った投票結果に加え、図６（Ｃ）に示したスキャニングレーザレーダでの計測結果に基づいて行なった投票結果を加算した様子を示した図である。図８において、黒棒の部分は図５（Ａ）に示したステレオ画像処理の投票結果、白抜き棒の部分が図６（Ｃ）に示したスキャニングレーザレーダでの投票結果の部分を示す。
【００４３】
図８では、ステレオ画像処理の結果とスキャニングレーザレーダの結果が１対１程度の割合の重みで加算されるようにスケーリングして加算している。このように、両者の投票結果を加算することにより、例えば、霧や夜間などでステレオ画像処理では距離画像が得られない環境下でも、対象物がスキャニングレーザレーダで計測可能な物体であれば、表の障害物の存在位置の値が高くなるため物体の検知が可能になる。また、逆に、反射強度の低い服装の人物など、スキャニングレーザレーダでは計測しにくい物体が存在する場合でも、ステレオ画像処理で計測可能であれば表中の値が高くなるため検知・計測が可能となる。もちろん、両者とも計測可能な環境下では、物体の存在位置がより一層値が高くなり、より確実性の高い検知計測が可能となる。
【００４４】
なお、図８においては、ステレオ画像処理とスキャニングレーザレーダとを組み合わせた場合を例示したが、ステレオ画像処理による投票結果とレーザレンジファインダで得た距離画像と反射強度に基づいた投票結果とを加算してもよい。
【００４５】
次に、投票結果の加算の際に重み付けを行なう構成について説明する。
ステレオ画像処理による計測は、画像全体の輝度コントラストが高い環境では確実性が高いが、霧や夜間など、コントラストの低い環境下では確実性が低い。また、スキャニングレーザレーダやレーザレンジファインダでは、そのレーダの特性により、例えば、雨天や反射強度の弱い物体では計測の確実性が低いなど、測距装置によって異なる長所、短所がある。そこで、車両に搭載したステレオカメラと、レーザレーダなどの測距装置の環境に対する特徴を学習し、前記図８における加算の際に、それぞれの特徴に応じて環境に対応した重み付けを行なえば、より広範囲の状況下で障害物検知の確実性を向上させることが出来る。例えば、ステレオ画像処理による測距の確実性の高い環境下では、図８における加算の際に、ステレオ画像処理に基づいた投票値を大きくするように重み付けし、逆に、確実性の低い場面では、小さくするように重み付けする。また、レーザレーダの計測値の確実性の高いときにはレーザレーダの計測に基づく値を大きくするように重み付ける。これにより、確実性の高い値ほど距離計測に大きく反映され、逆に誤計測の可能性のある値の影響が小さくなるため、計測がより確実となる。
【００４６】
次に、計測結果から検出物体の識別を行なう構成について説明する。
【００４７】
前記図５、図６、図７では、それぞれ、前方に２本の木と１台の車両がある場合の計測値を表へ投票する様子を示した。それらの結果において、車両を計測した場合には、車両のボディは反射強度が比較的強いため、通常、車両に照射したレーザ光は強い反射強度を持つ。そのため、スキャニングレーザレーダやレーザレンジファインダでは、車両を撮像する角度内（距離画像上におけるｘｌ〜ｘｒの範囲内）全体において車両までの距離を検知できる。つまり、表への投票の際には、図６、図７にも示したように、車両の範囲内すべてにおいて同程度の高さのヒストグラムが立つ。一方、ステレオ画像処理の場合は、領域内にエッジを含む車両の両端付近（ｘ＝ｘｌとｘ＝ｘｒ付近）では、確実な距離が求められるが、車両内部では両端に比べると確実な距離が計測される領域の数が少ない。つまり、ステレオ画像処理の結果をもとにした表への投票では、図５のように、車両の両サイドヘの投票値が高く、その内部は両サイドに比べて低い値となる。また、一般に人物や木などような非人工物は、内部に多くのエッジがあるため、ステレオ画像処理では、それを撮像しているすべての領域において確実に距離を計測できる。そのため、木や人物を撮像した位置での表への投票値は高くなる。しかし、木や人物などは、レーザレーダでも計測は可能であるが、金属の反射面を持たないため車のボディ面からの反射光より弱いことが多い。前記図６等で説明したように、レーザレーダを用いた装置における投票では、距離の表の位置に反射強度に比例した値を加算する処理を行なうので、反射光の弱い物体に対する投票値は低くなる。したがって、スキャニングレーザレーダやレーザレンジファインダでの計測結果を用いた木や人を検知した位置の投票値は、車両の場合よりも低く、かつ、ステレオ画像処理の結果に比べても低いことが多い。
【００４８】
上記の結果を纏めると、スキャニングレーザレーダやレーザレンジファインダの計測結果においては、反射強度が強く（つまり投票値が高く）、かつ投票値が広い領域で同程度の値を有し、ステレオ画像処理の計測結果においては、投票値が両端が高くて中央部分が低い値を示す物体は、車両である可能性が高いと判断出来る。
【００４９】
また、スキャニングレーザレーダやレーザレンジファインダの計測結果においては、反射強度が弱く（つまり投票値が低く）、ステレオ画像処理の計測結果においては、領域全体において投票値が高い物体は人や立木である可能性が高いと判断出来る。また、人や木は一般に車両や建造物などよりも幅が狭いことが多いので、上記投票値に幅の情報も加味して判断することも出来る。
上記のように、対象物により、計測値毎の表への投票値の分布には特徴がある。このことから、この特徴を統計的に学習することにより、分布の特徴を用いた物体の認識が可能である。
【００５０】
次に、物体の識別に重み付けを組み合わせた構成について説明する。
例えば、人物や木は、車両や塀や建築物などの人工物に比べて幅が狭いことが多い。このことから、検出した物体の幅を表のｘ軸方向の角度から求め、その幅が狭いときには、人や木の検出に優れているステレオ画像処理の計測値に重みを付けて投票を行なう。これにより、投票による検知がより確実となる。すなわち、ノイズなどによる誤計測値がある場合でも、実際に物体を検知した位置に重みを付けることで、ノイズよりも投票値を高くすることができるため、ノイズによる悪影響も抑えられる。
【００５１】
次に、ステレオ画像処理における物体の誤検知を防止する構成について説明する。
図９は物体の誤検知を防止する機能を説明するための図であり、図９（Ａ）は、処理対象画像上に設定した各ウインドウの画像を示す図であり、図９（Ｂ）に示すような星型の図形を撮像した場合に、図９（Ａ）の（ａ）は無地のウインドウ（撮像された図形が無い部分）、（ｂ）は視差と平行な方向にだけエッジを持つウインドウ、（ｃ）はエッジをもつウインドウ、（ｄ）はノイズを含むウインドウを示す。そして（ａ）〜（ｄ）において各図形の下に示したグラフは、差分マッチングによって視差を求め、各画素毎（視差）に求めた差分値を、縦軸を差分値、横軸を視差としてグラフ化し、そのグラフから最小値を探すことによってマッチング位置（差分値最小の位置＝類似度が最大の位置）を求める状態を表したものである。また、図９（Ｂ）は、画像上に定義した（ａ）〜（ｄ）それぞれのウインドウの位置と、それらの定義したウインドウの走査範囲を示す図である。また、図９（Ｃ）は、それぞれのウインドウ（ａ）〜（ｄ）において、視差方向に切った１ライン上の輝度分散を複数個所で求める状態をあらわした図である。また、図９（Ｄ）は、二つのカメラで撮像した対象物とその対象物が画像上に撮像されたときの位置関係を表した図である。
【００５２】
なお、図９は、図示の都合上、２台のカメラの光軸が相互に平行で、かつ撮像面の水平軸が同じライン上に揃うように設置した場合（カメラを横方向に並べた構成）における視差検出を示す。したがって前記図２で説明したように、視差Ｓは、Ｓ＝ｘａ−ｘｂであり、かつ、距離ｚは、前記（数１'）式で示すようになる。なお、前記図２に示したように、二つのカメラを縦方向に並べた場合も、縦方向に視差を求めるので、視差はＳ＝ｙａ−ｙｂになるが、基本的な機能は同じである。
【００５３】
また、上記の差分とは、基準画像と他方の画像の各画素毎の輝度差の総和であり、差分が小さいほど類似度は大となる。通常、類似度と差分は下記（数２）式で表される。
【００５４】
【数２】
なお、上記（数２）式において、ｘは基準画像（画像Ａ）の輝度、ｘはｘの平均値、ｙは他方の画像（画像Ｂ）の輝度、ｙはｙの平均値である。
【００５６】
二つのカメラを撮像面の同一ラインが同一直線上に並ぶように設置した場合、互いの画像上でのマッチング位置は同一ライン上にのる。このことから、類似画像の探索は図９に示したように同じライン上において視差方向に１画素ずつずらしながら行なうことで求められる。そしてそのウインドウの視差は、この操作において最も差分値が低いと判断された画像が存在する位置と基準画像のウインドウを定義した位置との差として求められる。また、右画像を基準画像とした場合、右画像上に定義したウインドウとのマッチング位置は、図９（Ｄ）に示すように左画像上では右画像でウインドウを定義した位置よりも右側になる。つまり、画像の探索範囲は、右画像でウインドウを定義した位置から右方向に走査すればよく、視差は走査の始点からマッチング位置までのずれとなる。図９の例では、図９（Ａ）の（ｃ）のグラフに示したようになる。
【００５７】
上記のように、図９（Ａ）は四つのウインドウそれぞれにおいて各画素毎に求めた差分値（基準画像と差分を求めた画像との差）と視差（基準画像と差分を求めた画像との位置の差）との関係をグラフ化したものであり、差分マッチングの場合、差分値が最小の位置が類似度の最も高い位置となる。しかし、例えば図９（Ａ）の（ａ）のように、ウインドウもウインドウの探索範囲も共に無地の画像であると、どの位置においても差分が同じ値となるため視差を決めることができない。実画像では、このようなウインドウでも小さなノイズがあるために、それぞれの位置で異なる値の差分が求められ、最小値の位置も求められてしまうが、このような場合、この位置は物体の視差を検出したものでないため、この視差を物体検知に利用すると誤検知の原因となる。また、図９（Ａ）の（ｂ）のように視差と平行なエッジしかないウインドウでは、物体の一部と考えられるエッジが撮像されているが、（ａ）と同様に、差分値は走査範囲内で全て同じ値なので、求められた視差は正確なものでない可能性が高い。すなわち上記（ａ）、（ｂ）のような場合に求めた視差は誤計測の原因になる可能性が高いため、視差は求めるべきではないと言える。
【００５８】
以下、上記のような誤検知の要因を取り除く方法を説明をする。
図９（Ｃ）は、各ウインドウにおいて視差方向に切った横１ライン上の輝度分散を複数箇所で求めた状態を示す図である。視差と平行に切られた横１ラインのウインドウの輝度分散は、（ａ）のような無地のウインドウにおいても、（ｂ）のような視差と平行な方向にだけエッジを持つウインドウにおいても、共に小さな値となる。逆に、（ｃ）のように視差の算出が可能なウインドウでは分散は大きくなる。
【００５９】
また、ウインドウ内の全体の輝度分散を計算すると、（ａ）の無地のウインドウでは分散が小さくなるが、（ｂ）のウインドウの分散は大きくなってしまう。しかし、図９（Ｃ）に示したように横１ラインの分散を算出すれば、（ａ）（ｂ）は共に分散が小さくなるので、視差算出が不適なウインドウを正確に検出することができる。このように複数箇所の１ライン上の分散の合計または平均値に基づいて視差を求めることが適当であるか否かを、マッチングを行なう前に判断すれば、誤検知のウインドウを取り除くことができ、同時に計算量を削減することができる。
【００６０】
また、視差の算出は、図９（Ａ）に示した差分値のグラフから最小値の位置を探すことで行なうため、最小値に近い値が複数箇所で見られるものは、無地のウインドウや視差方向と平行なエッジしか持たない画像と同様に、求めた視差の確実性は低いものとなる。例えば、図９（Ａ）の（ｄ）のようにノイズのある画像では、前述の図９（Ｃ）の方法で求めた分散は大きくなるが、差分値のグラフは、最小値に非常に近い値が複数箇所で求められるため、その中から視差を断定することは困難である。仮に、求められた差分値最小位置を視差としても、この位置は誤対応位置である可能性が高い。したがってこのような場合には視差を求めない方がよい。そのため次のような方法を用いる。
【００６１】
図９（Ａ）に示すように、走査範囲内で求めた差分値の平均値とその中の最小差分値を求めると、全体の差分値のうち、最小値に近い値が多く現れる場合にはマッチング範囲内で求めた差分の平均値と差分の最小値との差が小さくなる、つまり、この二つの値の差が或るしきい値より小さい場合には、そのウインドウで求めた視差は誤対応の高いものであると判断することができる。したがって、上記の判断において誤対応の可能性の高いと判断した視差は、この後の処理である表への投票に用いないようにすれば、物体の検知をより確実にすることができる。なお、上記図９（Ａ）のグラフは縦軸に差分をとっているが、差分の逆数の類似度をとった場合には、類似度の最大値と類似度の平均値との差が所定のしきい値より小さい場合に誤対応と判断する。
【００６２】
上記のように、マッチング領域内画像全体が黒の画像、画像全体が白の画像、或いはエッジや画像内に撮像されるテクスチャ（模様や形状など）に特徴のない領域で求められた視差は、誤計測である可能性が非常に高い。車両のボディ面では確実性の高い距離が算出されない原因はこのような原理に基づく。
【００６３】
また、ボディ面のような画像中のある一部分の領域だけでなく、霧や街灯のない夜間などの環境によっては、ステレオ画像処理による距離画像自体が正確に求められない場合もある。そのため、このような計測値を表へ投票することは何も存在しない位置への投票が行われるなどの誤計測につながる。したがって、各ウインドウにおいて視差方向に切った横１ライン上の輝度分散が各ラインにおいて小さい場合、およびマッチング範囲内で求めた差分の平均値と差分の最小値との差（類似度の最大値と類似度の平均値との差）が小さい場合には、誤対応の可能性が高いので、その位置で求めた計測値は表への投票に反映させない構成とするのが望ましい。具体的には、上記のような範囲の値は全く用いないか（重み＝０）、或いは重み付けの値を大幅に小さな値とする。
【００６４】
上記の画像上の輝度分散の考慮は誤計測の除去につながるため、ステレオ画像処理単体の場合でも誤計測削減のための有効な方法となる。しかし、ステレオ画像処理のみを用いる場合は、上記のようにその計測値を用いない場合は計測不可能な状況となるが、ステレオ画像処理とレーザレーダとを組み合わせた装置では、上記のような環境下では、レーザレーダなどの他の計測値の結果だけを反映させることで、確実な計測を行なうことができる。したがって、計測が不可能になることもなく、誤計測だけを削減することができる。
【００６５】
また、上記の説明は、ステレオ画像処理の計測値を用いないでレーザレーダの計測値のみを用いる場合について説明したが、その逆もあり得る。すなわち、レーザレーダなどの光の反射時間を利用した測距装置では、計測対象物が光を吸収するような物体の場合には、反射光がなくなるため計測が困難になる。通常、道路上などの外界には、光を１００％吸収するものはほとんどないため、多少の反射光は計測されるが、反射強度の低い計測値は、信頼性が低く、距離を誤計測する可能性が高い。そこで、スキャニング角度毎に計測距離と同時に強度を計測し、その光の強度が所定値よりも低い場合は、その位置での計測値を表への投票に反映させないようにする。具体的には、上記のような範囲の値は全く用いないか（重み＝０）、或いは重み付けの値を大幅に小さな値とする。この場合にはステレオ画像処理の計測値のみがほぼ使用されることになる。これによりレーザレーダによる誤計測を防ぐことができる。
【００６６】
次に、これまでの説明は、ステレオ画像処理とレーザレーダとを用いた装置について説明したが、それらの何れか一方の代わり、もしくはそれらに追加してミリ波レーダを用いる場合について説明する。
ミリ波レーダは、濃霧、雨中や暗闇など、ステレオ画像処理やレーザレーダでは測定不可能な場合でも周囲の物体までの測距が可能という特徴がある。しかし、一般に、ミリ波レーダは、レーザレーダのような細かい走査は行わないため、スキャニングレーザレーダや走査線のスキャンによりレーザレーダよりも細かい分解能の得られるステレオ画像処理を用いた計測と比べて、横方向の検知角度分解能が粗いという問題がある。そこで、他の装置では計測不可能な悪天候下では、ミリ波レーダでの計測結果に基づいた投票の重みを大きくする。一方、ステレオ画像処理やレーザレーダによる高精度な測定が可能な環境下では、ミリ波レーダの計測値に基づいた投票値の重みは小さくする構成とする。組み合わせとしては、ステレオ画像処理とミリ波レーダ、レーザレーダとミリ波レーダ、ステレオ画像処理とレーザレーダとミリ波レーダの３種が考えられる。上記の構成により、悪天候に強く、かつ、好天候下では、分解能の粗い測定に影響されることなく高精度な測定が可能となる。
【００６７】
次に、これまで説明した種々の方法を用いて前方の物体の位置計測および物体の認識を行なう実施例を説明する。
図１０は、２台のカメラ１、２と、レーザレンジファインダ７を自車両に搭載した構成を示す側面図である。ここでは、２台のカメラ１、２は路面に対して縦に平行に並べ、２台のカメラの撮像面のｙ軸が同一ライン上にのるように配置している。また、レーザレンジファインダ７は、カメラの光軸とレーザレンジファインダの走査中心軸を平行とし、カメラの撮像面〔図４（Ａ）の撮像面〕とレーザレンジファインダの計測面〔図７（Ａ）の計測面〕が平行になるように搭載した場合を示す。なお、図１０においては、カメラを１個のみ示しているが、実際には２台（この例では縦方向に）存在する。例えば、２台のカメラの中間にレーザレンジファインダを設置するように構成すれば、両者の画像の位置のずれを少なく出来る。
【００６８】
図１１は、この実施例の処理の流れを示す図である。
図１１において、まず、ステップＳ１０１では、２台のカメラ１、２からの画像Ａと画像Ｂを入力する。同時に、ステップＳ１０２では、レーザレンジファインダ７から距離画像とその位置の反射強度である輝度画像を入力する。
【００６９】
次に、ステップＳ１０３では、ステレオ画像を用いて距離画像を作成する（前記図３の説明参照）。この距離画像作成では、領域毎の視差を求める前に、まず画像上に定義した領域毎の輝度分散を求め、その分散がしきい値以上の部分だけ視差を算出するようにする（前記図９の説明参照）。このような前処理を行なうことで、信頼性の高いステレオ画像処理での計測値だけが後の投票に使用されるようにする。また、分散がしきい値以上の領域ではステレオ画像間のマッチング位置（視差）を求め、各領域毎の距離を求める。これには、画像間の正規化相関法や差分法などの一般的な方法を用いればよい。
【００７０】
次に、ステップＳ１０４では、ステレオ画像処理で求めた距離画像とレーザレンジファインダで計測した距離画像とのそれぞれを用いて、距離×水平方向の表への投票を行なう（図５、図８の説明参照）。
ここでは、まず、ステレオ画像処理で求めた距離画像を用いた投票を行なう。これは、図５で説明したように、距離画像の各領域に着目し、表の横の位置がその領域のｘ軸方向の角度、縦の位置はその領域で算出された距離ｚとなる位置に投票値を加算するという処理を繰り返す。例えば、水平方向が３の位置に定義された領域において距離がＬ２と求められた領域に検出値があった場合は、表中の水平方向が３、距離ｚがＬ２の位置に投票する。ここで表に加算する投票値は、後述する環境に応じた重みを付けてもよいし、＋１としてもよい。このような操作をステレオ画像処理の距離画像作成において距離が算出されている領域すべてにおいて行なう。
【００７１】
また、レーザレンジファインダで計測した距離画像を用いて同じ操作を行なう。ただし、通常、ステレオ画像処理で求めたｘ軸方向の一つの領域の角度（図４、図５のα）とレーザレンジファインダの１回の計測毎に動く走査角度（図６、図７のθ）は異なるので、表への投票の際には、実空間上において同じ方向を計測した値が表中の同じ位置に投票されるように変換する必要がある。それには次のような計算を施せばよい。すなわち、前記図４に示したように、カメラからの距離がｚ、カメラの光軸からｘ軸方向への距離がｘｐの位置にある点Ｐが撮像される画像上の領域のｘ方向の位置（これをｎ番目の領域とする）を求める。画像上で一つの領域に撮像される範囲角をα、光軸が撮像される領域を０番目としたときに、点Ｐが撮像される位置を光軸からｎ番目の領域とすると、ｎは、下記（数３）式で求められる。
ｎ＝ｘｐ／（α×ｚ） …（数３）
ただし、αは微小角なので、ｔａｎα≒αとする。
【００７２】
また、レーザレンジファインダで計測した輝度画像上において点Ｐまでの距離および反射強度を計測した画像上の位置とステレオカメラで撮像した画像上に切った領域の位置との対応を求める。前記図７に示したように、レーザレンジファインダの水平方向の１回のサンプリング毎に動く走査角度をθ、レーザレンジファインダの中心軸の計測値を０番目とする。レーザレンジファインダの距離画像において点Ｐを計測した位置を中心軸からｍ番目とすると、ｎとｍとの間には下記（数４）式の関係が成り立つ。ただし、θは微小角なので、ｔａｎθ≒θとする。
【００７３】
ｎ＝ｍ・（θ／α） …（数４）
上記（数４）式は、レーザレンジファインダにおいて、中心軸から水平方向にｎ番目の位置で計測した点は、ステレオ画像処理ではｍ番目の領域で計測されることを表す。レーザレンジファインダで計測した距離画像を用いた投票においては、この（数４）式による水平方向位置の変換を施した上で表への投票を加算する。加算する値は、その位置の反射強度に比例した値を加算する。なお、この際、ステレオ画像処理とレーザレンジファインダの両方が計測可能な環境下では、レーザレンジファインダとステレオ画像処理との投票値の割合が１対１となる値でよい。すなわち、この場合においては、両者の重みは共に１である。
【００７４】
ここで、投票値する値の定義方法の例を説明する。例えば、ステレオ画像の距離画像の一つの領域に撮像される縦方向のなす角（図４のβ）が１度、レーザレンジファインダの一つ分のデータを得るときの縦方向の走査角度（図７のφ）がその２倍にあたる２度のときに、両者の投票の重みを同じにすることを考える。このとき、縦方向の画角１０度の範囲に撮像される物体が前方に存在すると、ステレオ画像処理では表中の同じ位置に最大１０回、レーザレンジファインダでは最大５回の投票が行われる。つまり、ステレオ画像処理の結果の投票値を一つの距離につき「１」、レーザレンジファインダの計測結果の投票値を一つの距離につき「２」とすれば、最大の投票値が両者で同じ値となる。このように、同じ画角内で計測される物体を対象としたときに投票される最大の値が同じになるような投票値にすれば、両者の投票値の割合が１対１となる。
【００７５】
次に、ステップＳ１０５では、ステレオ画像処理とレーザレンジファインダで計測した距離画像全体の投票結果から、物体の有無とその物体の位置を求める。物体の有無は、表中からしきい値以上の投票値となる位置の有無により判断できる。また、その物体の位置は、（数３）式の逆算により求められる。例えば、表中において距離ｚｐ、水平方向ｎの位置にしきい値以上の値が投票されたとする。この位置に検出された物体の距離は表からｚｐと求められる。また、その物体の、カメラの光軸に対する水平方向の位置ｘｐ（図４参照）は、（数３）式の逆算により、ｘｐ＝ｎ×α×ｚｐ（α：表に定義した一つの領域に撮像される水平方向の画角）として求めることができる。表中にしきい値以上の点が複数個所存在すれば前方に複数の物体があることがわかり、それぞれの位置は前述と同様の方法で求められる。また、しきい値以上の値が同じ距離上にかたまりとして存在する場合は、それは一つの物体として判断することができ、そのかたまりの両端が物体端となる。
【００７６】
次に、ステップＳ１０４の投票における重み付けについて説明する。なお、図１１では、重み付けのステップは記載していないが、ステップＳ１０３とＳ１０２の次に、それぞれの計測値に重みを付けるステップを設け、その結果に基づいてステップＳ１０４の投票を行なえばよい。
【００７７】
前記の説明では、ステレオ画像処理とレーザレンジファインダの計測値を通常は１対１の重みになるよう定義しているが、装置の特徴に基づいて天候に応じた重みを付ける。例えば、雨の日、逆光の晴れ、順光の晴れ、曇りの日などの異なる天候下において、既知の位置に存在する物体をレーザレンジファインダとステレオ画像処理の両方で計測し、その計測値の真値に対する誤差の大きさや測定値の分散の大きさなどから、真値に近く分散の小さい計測が可能な装置の方の投票値の重みを大きくし、その逆であれば重みを小さくする。これにより、逆光などステレオ画像処理で誤計測が多い場面では、正確な計測が行われているレーザレンジファインダの計測結果の重みを大きくすることによって正確な結果が得られる。逆にレーザレンジファインダの計測が不安定で誤計測のある環境では、ステレオ画像処理の計測の重みを大きくすることにより、総合して天候の状況に影響を受けにくいロバストな計測が可能となる。また、投票値の重み付けを求める基準を、天候変化だけでなく、他の環境変化を基準とすることで、同様の方法で他の場面でも影響を受けにくくすることが出来る。
【００７８】
さらに、ステレオ画像処理とレーザレンジファインダの装置の特徴に基づいた投票の重みの付け方を説明する。ステレオ画像処理は、画像内が無地（エッジが存在しない）の場合には、原理的に距離を求めることができないため、距離を求める領域画像内の輝度分散の小さい場合は、誤計測の可能性が高い（前記図９の説明参照）。このことから、輝度分散がしきい値以下の位置で求められた値については重みを０にするか、または、重みを０.５〜０.１にするなど、計測値の信頼性に応じて重みを小さくする。これによって誤計測の可能性の高い値は表中に大きく反映されないようにする。また、レーザレンジファインダは、レーザレーダの届かない遠方の場合や光を吸収する物体に照射した場合は計測不可能もしくは誤計測値となる場合が多い。このことから、スキャニング方向毎にその方向への反射強度も計測し、その強度の低い位置での計測値では、重みを０にするか、もしくはステレオ画像処理と同様に、重みを０.５〜０.１にするなど信頼性に応じた重みを付ける。これにより、誤計測の値が表の投票に大きな影響を及ぼさないようにする。
【００７９】
以下、重み付けの具体的な方法について説明する。なお、通常時の重みを１とする。
（１）レーザレンジファインダやスキャンニングレーザレーダは雨、霧、雪に弱いことから次のように重みを付ける。
（１ａ）車両のワイパの動作段階に応じてレーザレーダの重みを小さくする。例えば、ワイパ不作動では重み１、低速動作では０.８、中速動作では０.６、最速動作では０.４とする。
（１ｂ）ＶＩＣＳ（Vehicle Information Communication System：道路交通情報通信システム）から得た当該地点および時間での降雨（雪）量によってレーザレーダの重みを小さくする。例えば降雨量０では重み１とし、降雨（雪）量があるときは、降雨量に逆比例する値を重みとする。例えば５０ｍｍのときは１／５、１００ｍｍの場合は１／１０、２００ｍｍのときは１／２０等の値にする。
（１ｃ）フォグランプのＯＮ、ＯＦＦに応じてレーザレーダの重みを変える。例えばフォグランプＯＦＦでは重みを１とし、フォグランプＯＮのときは重みを０.１または０とする。
（１ｄ）天候に応じて、既知の位置でレーザレーダの測距の正解率を調べ、その正解率を重みとする。例えば、異なる降雨量に応じて正解率を調べ、降雨量の情報をＶＩＣＳから求め、その降雨量のときに得られた正解率を重みとする。例えば降雨量１００ｍｍのときの正解率が２０％、５０ｍｍのときの正解率が５０％であれば降雨量１００ｍｍのときの重みを０.２、５０ｍｍのときの重みを０.５とする。
【００８０】
（２）ステレオ画像処理は、大雨、大雪、霧、逆光に弱い（ただし雨に対してはレーザレーダよりは良い）ことから次のように重みを付ける。
（２ａ）ＶＩＣＳから得た当該地点および時間での降雨、雪、霧に応じてステレオ画像処理の重みを小さくする。例えば降雨（雪）がないときは重み１とし、雨のときは、前記レーザレーダと同様の方法で重みを小さくする。
（２ｂ）ステレオ画像処理とレーザレーダの両方を載せた組み合わせの場合では、降雨時の重みは小さくするが、その重みはレーザレーダよりは大きく（例えばレーザレーダの重み×１.５にするなど）とする。このようにすれば、後述するミリ波レーダを加えた装置の場合に、ミリ波レーダの計測結果を有効に活用することが出来る。
（２ｃ）夕方に西に向かう場合や明け方に東へ向かうなどの逆光になる情報を時計とナビゲーションやジャイロなどの方位計測装置などから得て、それに応じて、逆光と予想されるときは、ステレオ画像処理の重みを小さくする。
（２ｄ）天候に応じて、既知の位置でステレオ画像処理での計測正解率を調べ、その正解率を重みとする。
（２ｅ）前記（１）で述べたレーザレーダと同様に、異なる霧の状態で、降雨量同様に透過率毎の正解率を重みとするものや、霧、雨、雪の異なる天候でのそれぞれの正解率を調べ、ＶＩＧＳより得た天候に応じて、そのときの正解率を重みとすることも出来る。
【００８１】
（３）ステレオ画像処理やレーザレーダの検知の状態から次のように重みを付ける。
（３ａ）ステレオ画像処理における画像内の分散の値がしきい値以下の部分で計測された距離値は重みを０にする。
（３ｂ）レーザレーダの反射強度がしきい値以下の部分で計測された距離値は重みを０にする。
（３ｃ）画像全体の分散が低い（しきい値以下）のときは、ステレオ画像処理の計測値の重みを０.２などの小さな値にする。
（３ｄ）スキャニングレーザレーダの同じ方向における検出値が時間的に連続して不安定な個所が多い（例えばしきい値の半分程度）場合は、雨などによるノイズの場合が多いので、レーザレーダの重みを小さくする。例えば、ノイズの数／全体のデータ数を重みとする。具体例を示すと、１回の走査で８０個のデータを得るスキャニングレーザレーダでノイズと判断されるデータが４０個の場合には重みを１／２＝０.５とする。
上記の各重み付けは、状況の応じてそれぞれを組み合わせて適用することが出来る。なお、重み付けは上記の数値を測定値に乗算することによって行なう。例えば、重み０.５というのは測定値に０.５を乗算した値を投票することを意味する。
【００８２】
次に、物体の認識を行なう例について説明する。なお、図１１では、物体認識のステップは記載していないが、ステップＳ１０５の次に、物体認識のステップを設ければよい。
前記図５〜図７に示した投票結果からもわかるように、車両を検知した個所での投票値の分布と木を検知した個所での投票値の分布は、エッジの有無や反射強度の強さによってそれぞれ特徴がある。このことから、例えば、既知の位置にある異なる対象物を、レーザレンジファインダとステレオ画像処理で計測したときにおける表への投票結果の分布形状を学習し、車両、人物、木など様々な対象物を、投票結果の形状のパターンで表現し、その投票結果のパターンと認識対象画像で計測された表への投票結果とのマッチングを行なうように構成することにより、物体の認識・判別処理が行える。パターンマッチングは、投票結果の形状同士の正規化相関や判別分析など、一般的な認識装置でよい。
【００８３】
さらに、この物体の認識をもとに、より計測を確実にするための投票の重み付けの方法を説明する。通常、木や人物は細長い形状をしていることから、路上に存在し、投票結果の分布の幅が狭い物体は、人物や木である確率が高い。人物や木は反射強度が低いことが多い一方で、エッジを多く含むものが多い。このことから、投票の際に、人物や木と認識された位置ではステレオ画像処理の結果に重みを大きくして投票するように構成するとよい。
【００８４】
次に、ステレオ画像処理やレーザレーダを用いた測距装置で問題となりがちな悪天候下での性能向上方法について説明する。
図１および図１１では、ステレオ画像処理とレーザレンジファインダまたはスキャンニングレーザレーダを用いた場合を示しているが、それらの何れかの代りもしくはそれらに追加して、雨、霧や暗闇でも測定可能なミリ波レーダを搭載することで対応が可能となる。構成としては、図１の構成にミリ波レーダを追加した構成、図１のステレオカメラ１、２の代わりにミリ波レーダを設けた構成、または図１のレーザレンジファインダ７の代わりにミリ波レーダを設けた構成が考えられる。また、図１１のフローチャートにおいては、ステップＳ１０１またはＳ１０２の代わりにミリ波レーダからの情報入力のステップとするか、もしくはステップＳ１０１、Ｓ１０２と並列にミリ波レーダからの情報入力のステップを設ければよい。
【００８５】
レーザレーダやステレオ画像処理は、反射強度や画像内の輝度分散の大きさによって、それらの装置での測距の信頼性を判断することが出来る。したがって、それらの装置の信頼性が、走査範囲全体において低い場合には、それらの装置では測定が不安定な悪環境下、悪天候下であると判断し、そのような場合は、ミリ波レーダでの測定結果に基づいた投票値に重みを付けるように構成する。これにより、悪環境下では測定不可能な装置による誤計測の悪影響を受けることなく、悪環境下でも計測が可能となる。ただし、ミリ波レーダには、悪環境下でも測定が可能な一方で、横方向の測定分解能が粗いという問題がある。したがって、ステレオ画像処理とレーザレンジファインダなどの信頼性が高い環境下では、横方向の分解能を高精度に維持するために、ミリ波レーダでの計測値に基づいた投票値の重みは小さくする。これにより、好天候下における高精度な測定を維持したまま、悪天候下での計測にも対応可能となる。
【００８６】
ミリ波レーダを追加した装置における重み付けの具体例としては、次のような構成が考えられる。すなわち、ミリ波レーダは悪天候には強いが精度が悪いことから、ＶＩＣＳから得た天候に応じて、降雨（雪）量がしきい値以上の場合（例えば他の測距装置の重みが０.５以下になるような場合）では、ミリ波レーダの計測値の重みを１とする。また、降雨（雪）量が０の場合には、ミリ波レーダの計測値の重みを０.５程度以下の小さな値とする。これにより、好天候では、ミリ波レーダによる分解能の粗い値が結果に反映されることを回避することが出来る。
【図面の簡単な説明】
【図１】本発明の一実施例のおける全体構成を示すブロック図。
【図２】ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図。
【図３】両画像の対応する位置毎の視差を求めた結果を示す図。
【図４】ステレオ画像上に距離画像作成のために切った一つ一つの小領域の画像上の位置と、その領域内に撮像される実空間上の物体との位置関係を示した図であり、（Ａ）は前方から見た斜視図、（Ｂ）は上方から見た平面図、（Ｃ）は側面図。
【図５】表への投票状況を示す図であり、（Ａ）は斜視図、（Ｂ）は撮像した画像と先行車に相当する距離ｚ＝Ｌ２における投票値を示す図、（Ｃ）は距離×路面に平行な角度（ｘ軸方向の角度）からなる投票用の表。
【図６】スキャニングレーザレーダによる計測状態を示した図であり、（Ａ）は全体の斜視図、（Ｂ）は反射強度と１次元方向毎の距離を示す図、（Ｃ）は投票状態を示す斜視図、（Ｄ）は距離×路面に平行な角度（ｘ軸方向の角度）からなる投票用の表。
【図７】レーザレンジファインダによる計測状態を示した図であり、（Ａ）は全体の斜視図、（Ｂ）は輝度画像、（Ｃ）は距離画像、（Ｄ）は投票状態を示す斜視図。
【図８】ステレオ画像処理での投票結果に加え、スキャニングレーザレーダでの投票結果を加算した様子を示した図。
【図９】物体の誤検知を防止する機能を説明するための図であり、（Ａ）は処理対象画像上に設定した各ウインドウの画像を示す図、（Ｂ）は画像上に定義したウインドウの位置と、それらの定義したウインドウの走査範囲を示す図、（Ｃ）はそれぞれのウインドウにおいて、視差方向に切った１ライン上の輝度分散を複数個所で求める状態をあらわした図、（Ｄ）は二つのカメラで撮像した対象物とその対象物が画像上に撮像されたときの位置関係を表した図。
【図１０】２台のカメラ１、２と、レーザレンジファインダ７を自車両に搭載した構成を示す側面図。
【図１１】一実施例における処理の流れを示す図。
【符号の説明】
１、２…電子式のカメラ ３、４…画像メモリ
５…演算部 ６…先行車
７…スキャンニングレーザレーダまたはレーザレンジファインダ
８…画像メモリ
Claims (8)
- 車両に搭載され、走行方向に対して垂直で路面に平行な１次元方向または走行方向に垂直な２次元平面に対して計測処理を行なうことにより、前方に存在する物体を検知する、測定原理の異なる少なくとも２種類の測距手段と、
ｚ軸方向が自車両からの距離、ｘ軸方向が路面に平行で走行方向を基準とした位置、ｙ軸方向が投票値を示す表と、
前記少なくとも２種類の測距手段でそれぞれ計測した結果に基づいて、物体が検知された前記表の該当するそれぞれの位置に投票する投票手段と、
前記投票手段による投票結果から、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断する判断手段と、
を備え、それぞれの測距手段における物体が検知された計測値を加算した結果に基づいて物体の存在を判断することを特徴とする障害物認識装置。 - 前記測距手段の１つは、光軸が相互に平行で、かつ走行方向を向くように設置された２台の電子式カメラで撮像した画像をステレオ画像処理することにより、画像に設定した各領域毎に距離と輝度とを検出する画像処理手段であり、
前記測距手段の他の１つは、走行方向に対して垂直で路面に平行な１次元方向または走行方向に垂直な２次元平面に対してレーザ光で走査を行ない、走査方向または走査面の各領域ごとに距離と反射強度とを検出するレーザレーダを用いた測距手段であり、
前記投票手段は、前記画像処理手段で距離が検出された領域の距離と位置に対応する前記表の位置に順次所定値を投票し、かつ、前記レーザレーダを用いた測距手段で距離が検出された領域の距離と位置に対応する前記表の位置に、その領域の反射強度に比例する値を順次投票するものであり、
前記判断手段は、前記画像処理手段の結果と前記レーザレーダを用いた測距手段の結果とが加算された投票の結果について、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断するものである、ことを特徴とする請求項１に記載の障害物認識装置。 - 前記各測距手段の特性に応じて、その測距手段毎に周囲状況に応じた信頼性を求め、前記投票手段における投票値に、前記各測距手段毎にそれぞれの信頼性に応じた重み付けを行なうことを特徴とする請求項１または請求項２に記載の障害物認識装置。
- 前記測定原理の異なる少なくとも２種類の測距手段の各計測結果に基づいたそれぞれの投票結果について、予め判明している物体についての投票結果と比較対照することにより、検出された物体の形状と種類の少なくとも一方を認識することを特徴とする請求項１乃至請求項３の何れかに記載の障害物認識装置。
- 前記画像処理手段で求めた距離に基づいた前記表への投票結果において、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを他の領域または通常値よりも大きくすることを特徴とする請求項２乃至請求項４の何れかに記載の前方障害物認識装置。
- 前記画像処理手段で求めた輝度について、輝度分散が低い領域においては前記画像処理手段の計測結果に基づいた投票値の重みを他の領域よりも小さくするか、若しくは前記画像処理手段以外の測距手段の計測結果に基づく投票値の重みを前記画像処理手段における重みよりも大きくすることを特徴とする請求項２乃至請求項５の何れかに記載の障害物認識装置。
- 前記レーザレーダを用いた測距手段で求めた反射強度ついて、反射強度が低い領域については、その領域の投票値の重みを他の領域または他の測距手段における重みよりも小さくすることを特徴とする請求項２乃至請求項６の何れかに記載の障害物認識装置。
- 前記測定原理の異なる少なくとも２種類の測距手段の１つとしてミリ波レーダを用い、悪天候時では前記ミリ波レーダの測定結果に基づく投票値の重みを他の測距手段における重みよりも大きくし、好天候時には前記ミリ波レーダの測定結果に基づく投票値の重みを他の測距手段における重みよりも小さくすることを特徴とする請求項１乃至請求項７の何れかに記載の障害物認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13544599A JP3669205B2 (ja) | 1999-05-17 | 1999-05-17 | 障害物認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13544599A JP3669205B2 (ja) | 1999-05-17 | 1999-05-17 | 障害物認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000329852A JP2000329852A (ja) | 2000-11-30 |
| JP3669205B2 true JP3669205B2 (ja) | 2005-07-06 |
Family
ID=15151897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13544599A Expired - Fee Related JP3669205B2 (ja) | 1999-05-17 | 1999-05-17 | 障害物認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3669205B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018506700A (ja) * | 2014-11-05 | 2018-03-08 | シエラ・ネバダ・コーポレイション | 移動体用の改良型環境表示を生成するためのシステムおよび方法 |
| US10670726B2 (en) | 2014-02-25 | 2020-06-02 | Ricoh Company, Ltd. | Distance measuring device and parallax calculation system |
Families Citing this family (68)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002189075A (ja) | 2000-12-20 | 2002-07-05 | Fujitsu Ten Ltd | 道路上方静止物検知方法 |
| JP3718747B2 (ja) * | 2001-04-27 | 2005-11-24 | 日産自動車株式会社 | 車両用走行制御装置 |
| JP3880837B2 (ja) * | 2001-11-02 | 2007-02-14 | 富士重工業株式会社 | 車外監視装置 |
| JP3736463B2 (ja) * | 2002-01-23 | 2006-01-18 | 石川島播磨重工業株式会社 | 歩行者感応信号制御方法 |
| JP4032843B2 (ja) * | 2002-06-25 | 2008-01-16 | 富士重工業株式会社 | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 |
| JP4150218B2 (ja) * | 2002-06-25 | 2008-09-17 | 富士重工業株式会社 | 地形認識装置および地形認識方法 |
| JP4155780B2 (ja) | 2002-09-19 | 2008-09-24 | 富士通テン株式会社 | 画像処理方法 |
| JP4265931B2 (ja) * | 2003-05-22 | 2009-05-20 | 富士重工業株式会社 | 先行車両検出装置 |
| JP4402400B2 (ja) * | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
| JP3948450B2 (ja) * | 2003-10-20 | 2007-07-25 | 日産自動車株式会社 | 物体検出装置及び物体検出方法 |
| JP4255398B2 (ja) * | 2004-03-31 | 2009-04-15 | ダイハツ工業株式会社 | 障害物検出方法及び障害物検出装置 |
| JP2006090957A (ja) * | 2004-09-27 | 2006-04-06 | Nissan Motor Co Ltd | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 |
| JP4426436B2 (ja) * | 2004-12-27 | 2010-03-03 | 株式会社日立製作所 | 車両検知装置 |
| JP4598653B2 (ja) | 2005-05-13 | 2010-12-15 | 本田技研工業株式会社 | 衝突予知装置 |
| WO2006123615A1 (ja) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | 距離計測装置、距離計測方法および距離計測プログラム |
| JP4918676B2 (ja) * | 2006-02-16 | 2012-04-18 | 国立大学法人 熊本大学 | 校正装置および校正方法 |
| JP2007240276A (ja) * | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
| JP4857840B2 (ja) * | 2006-03-22 | 2012-01-18 | 日産自動車株式会社 | 物体検出方法および物体検出装置 |
| JP4830604B2 (ja) * | 2006-04-17 | 2011-12-07 | 日産自動車株式会社 | 物体検出方法および物体検出装置 |
| JP4857909B2 (ja) * | 2006-05-23 | 2012-01-18 | 日産自動車株式会社 | 物体検出方法および物体検出装置 |
| JP2008008679A (ja) * | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | 物体検出装置、衝突予測装置、及び車両制御装置 |
| JP4452951B2 (ja) * | 2006-11-02 | 2010-04-21 | 富士フイルム株式会社 | 距離画像生成方法及びその装置 |
| JP5145585B2 (ja) * | 2007-06-08 | 2013-02-20 | 国立大学法人 熊本大学 | 物標検出装置 |
| JP4413957B2 (ja) * | 2007-08-24 | 2010-02-10 | 株式会社東芝 | 移動物体検出装置および自律移動物体 |
| JP2009168751A (ja) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 障害物検出システム及び障害物検出方法 |
| DE112008004187B4 (de) | 2008-12-15 | 2016-06-16 | Toyota Jidosha Kabushiki Kaisha | Objektmessvorrichtung und verfahren zur verwendung in der vorrichtung |
| JP5429986B2 (ja) * | 2009-12-25 | 2014-02-26 | 株式会社Ｉｈｉエアロスペース | 移動ロボットの遠方環境認識装置及び方法 |
| JP2013140515A (ja) * | 2012-01-05 | 2013-07-18 | Toyota Central R&D Labs Inc | 立体物検出装置及びプログラム |
| JP5993597B2 (ja) * | 2012-03-29 | 2016-09-14 | 株式会社デンソーウェーブ | 目標移動体検知方法 |
| JP6180065B2 (ja) * | 2013-10-30 | 2017-08-16 | 川崎重工業株式会社 | 物体位置検出装置および方法 |
| JP6540009B2 (ja) | 2013-12-27 | 2019-07-10 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム、画像処理システム |
| JP6467776B2 (ja) | 2014-03-13 | 2019-02-13 | 株式会社リコー | 測距システム、情報処理装置、情報処理方法及びプログラム |
| JP6453571B2 (ja) * | 2014-07-24 | 2019-01-16 | 株式会社Ｓｏｋｅｎ | 立体物認識装置 |
| EP3230142B1 (en) | 2014-12-12 | 2022-03-16 | Sony Group Corporation | Method for switching modes for operating a vehicle |
| JP6333412B2 (ja) * | 2014-12-26 | 2018-05-30 | 三菱電機株式会社 | 障害物検知装置 |
| JP6058072B2 (ja) * | 2015-05-29 | 2017-01-11 | 三菱電機株式会社 | 物体識別装置 |
| JP6753134B2 (ja) * | 2015-07-07 | 2020-09-09 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム |
| EP3358551B1 (en) * | 2015-09-30 | 2021-10-27 | Sony Group Corporation | Information processing device, information processing method, and program |
| JP6623044B2 (ja) * | 2015-11-25 | 2019-12-18 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| WO2017138155A1 (ja) * | 2016-02-12 | 2017-08-17 | パイオニア株式会社 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
| JP6918509B2 (ja) * | 2017-02-14 | 2021-08-11 | 株式会社デンソー | 情報処理装置 |
| JP7062878B2 (ja) * | 2017-03-27 | 2022-05-09 | 沖電気工業株式会社 | 情報処理方法および情報処理装置 |
| CN109212532B (zh) * | 2017-07-04 | 2021-08-20 | 百度在线网络技术（北京）有限公司 | 用于检测障碍物的方法和装置 |
| KR102299825B1 (ko) * | 2017-10-11 | 2021-09-08 | 현대모비스 주식회사 | 차량에서의 장애물 검출장치 및 그 제어방법 |
| JP7176406B2 (ja) * | 2018-01-23 | 2022-11-22 | 株式会社リコー | 画像処理方法、画像処理装置、車載装置、移動体、システム |
| JP6723492B2 (ja) | 2018-03-12 | 2020-07-15 | 三菱電機株式会社 | 霧特定装置、霧特定方法及び霧特定プログラム |
| DE112018007037B4 (de) | 2018-03-12 | 2022-11-03 | Mitsubishi Electric Corporation | Nebelbestimmungsvorrichtung, Nebelbestimmungsverfahren und Nebelbestimmungsprogramm |
| DE112018007029B4 (de) | 2018-03-12 | 2022-12-08 | Mitsubishi Electric Corporation | Nebelbestimmungsvorrichtung, Nebelbestimmungsverfahren und Nebelbestimmungsprogramm |
| JP7196412B2 (ja) * | 2018-04-09 | 2022-12-27 | 株式会社デンソー | 物体認識装置、及び、物体認識方法 |
| JP2019203774A (ja) * | 2018-05-23 | 2019-11-28 | 酒井重工業株式会社 | 建設車両の障害物検知装置 |
| JP2022017619A (ja) * | 2018-11-20 | 2022-01-26 | コニカミノルタ株式会社 | 画像解析装置、画像解析システム、および制御プログラム |
| JP7173872B2 (ja) * | 2019-01-11 | 2022-11-16 | 株式会社神戸製鋼所 | 測距装置および測距方法 |
| CN111830470B (zh) * | 2019-04-16 | 2023-06-27 | 杭州海康威视数字技术股份有限公司 | 联合标定方法及装置、目标对象检测方法、系统及装置 |
| CN109952857B (zh) * | 2019-04-22 | 2024-04-05 | 山东交通学院 | 一种能自动完成割草作业的果园割草机及方法 |
| WO2020230645A1 (ja) * | 2019-05-13 | 2020-11-19 | 日本電気株式会社 | 位置推定システム、位置推定方法、プログラム、及び記録媒体 |
| JP7312089B2 (ja) * | 2019-11-12 | 2023-07-20 | 株式会社豊田中央研究所 | 計測装置 |
| CN111290383B (zh) * | 2020-02-13 | 2023-09-19 | 山东汇贸电子口岸有限公司 | 控制移动机器人移动的方法、装置及系统 |
| JP7459560B2 (ja) * | 2020-02-27 | 2024-04-02 | 株式会社デンソー | 物体検知装置 |
| JP7363575B2 (ja) * | 2020-02-27 | 2023-10-18 | 株式会社デンソー | 物体検知装置 |
| JP2020165985A (ja) * | 2020-06-16 | 2020-10-08 | パイオニア株式会社 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
| JP7505312B2 (ja) * | 2020-07-29 | 2024-06-25 | 株式会社リコー | 光投射装置、物体検出装置、及び移動体 |
| JP7519928B2 (ja) * | 2021-02-02 | 2024-07-22 | 三菱電機株式会社 | 車両追尾システムおよび車両追尾方法 |
| JP7705253B2 (ja) * | 2021-02-25 | 2025-07-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
| JP7589086B2 (ja) * | 2021-03-29 | 2024-11-25 | 京セラ株式会社 | 情報処理装置、車両、路側機、および情報処理方法 |
| CN119731690A (zh) * | 2022-08-23 | 2025-03-28 | 日立安斯泰莫株式会社 | 外部识别装置及外部识别方法 |
| KR102755480B1 (ko) * | 2022-10-27 | 2025-01-21 | 주식회사 에스더블유엠 | 그리드 빔을 이용한 자율주행차량의 보조 사물인식장치 및 방법 |
| JPWO2024209663A1 (ja) * | 2023-04-07 | 2024-10-10 | ||
| CN118226457B (zh) * | 2024-05-27 | 2024-09-17 | 同济大学 | 一种基于单点激光测距雷达的路面病害量精确统计方法 |
-
1999
- 1999-05-17 JP JP13544599A patent/JP3669205B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10670726B2 (en) | 2014-02-25 | 2020-06-02 | Ricoh Company, Ltd. | Distance measuring device and parallax calculation system |
| JP2018506700A (ja) * | 2014-11-05 | 2018-03-08 | シエラ・ネバダ・コーポレイション | 移動体用の改良型環境表示を生成するためのシステムおよび方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000329852A (ja) | 2000-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3669205B2 (ja) | 障害物認識装置 | |
| JP3861781B2 (ja) | 前方車両追跡システムおよび前方車両追跡方法 | |
| EP0747870B1 (en) | An object observing method and device with two or more cameras | |
| JP3822515B2 (ja) | 障害物検知装置及びその方法 | |
| JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
| US6963661B1 (en) | Obstacle detection system and method therefor | |
| US8908038B2 (en) | Vehicle detection device and vehicle detection method | |
| EP2328114B1 (en) | Lane marker detection and fitting | |
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| JP3596339B2 (ja) | 車間距離計測装置 | |
| JP5145585B2 (ja) | 物標検出装置 | |
| US7545956B2 (en) | Single camera system and method for range and lateral position measurement of a preceding vehicle | |
| CN114966714B (zh) | 视窗遮挡检测方法及装置 | |
| WO2020196513A1 (ja) | 物体検出装置 | |
| JP3674400B2 (ja) | 周囲環境認識装置 | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JP2001351200A (ja) | 車載用物体検知装置 | |
| JP3729025B2 (ja) | 歩行者検知装置 | |
| EP4024330A1 (en) | Object recognition method and object recognition device | |
| JP2007114831A (ja) | 物体検出装置 | |
| JP3690260B2 (ja) | 車間距離計測方法 | |
| JP3740531B2 (ja) | 駐車車両検知方法、検知システム及び駐車車両検出装置 | |
| JP2000259997A (ja) | 先行車の高さおよび車間距離計測装置 | |
| JPH05113482A (ja) | 車載用追突防止装置 | |
| JP4146954B2 (ja) | 物体認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050404 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |