JP2000353300A - 物体認識装置 - Google Patents
物体認識装置Info
- Publication number
- JP2000353300A JP2000353300A JP11164840A JP16484099A JP2000353300A JP 2000353300 A JP2000353300 A JP 2000353300A JP 11164840 A JP11164840 A JP 11164840A JP 16484099 A JP16484099 A JP 16484099A JP 2000353300 A JP2000353300 A JP 2000353300A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- vehicle
- road surface
- window
- estimated distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】ステレオカメラを用いた車載の物体認識装置に
おいて、ピッチングおよびローリングの影響を受けるこ
となく物体を適正に認識するようにする。 【解決手段】車両に搭載され、走行路面を撮影するステ
レオカメラと、ステレオカメラから得られる画像をウィ
ンドウに区分し、ウィンドウごとに対象物までの距離を
計測する計測手段と、ウィンドウごとの予め決められた
路面までの推定距離を格納する推定距離記憶手段と、車
両のピッチング角度およびローリング角度を検出する検
出手段と、検出手段により検出されるピッチング角度お
よびローリング角度に基づいて前記推定距離を補正する
補正手段とを備え、補正された推定距離に基づいて路面
より近くにある対象物の認識を行う。
おいて、ピッチングおよびローリングの影響を受けるこ
となく物体を適正に認識するようにする。 【解決手段】車両に搭載され、走行路面を撮影するステ
レオカメラと、ステレオカメラから得られる画像をウィ
ンドウに区分し、ウィンドウごとに対象物までの距離を
計測する計測手段と、ウィンドウごとの予め決められた
路面までの推定距離を格納する推定距離記憶手段と、車
両のピッチング角度およびローリング角度を検出する検
出手段と、検出手段により検出されるピッチング角度お
よびローリング角度に基づいて前記推定距離を補正する
補正手段とを備え、補正された推定距離に基づいて路面
より近くにある対象物の認識を行う。
Description
【０００１】
【発明の属する技術分野】この発明は、自動車などの車
両に搭載されたステレオカメラを用いて、前方の物体を
検出する光学式の物体認識装置に関し、より具体的に
は、撮像された画像における複数のウィンドウを用い
て、物体を認識する物体認識装置に関する。
両に搭載されたステレオカメラを用いて、前方の物体を
検出する光学式の物体認識装置に関し、より具体的に
は、撮像された画像における複数のウィンドウを用い
て、物体を認識する物体認識装置に関する。
【０００２】
【従来の技術】近年、車両走行の安全性を向上させるた
め、自車両の前方にある物体の距離や大きさを判断し、
これに応じて車両を適切に制御する装置が提案されてい
る。
め、自車両の前方にある物体の距離や大きさを判断し、
これに応じて車両を適切に制御する装置が提案されてい
る。
【０００３】２つの受光素子からなる光学式距離計測装
置を使用し、距離検出された被写体が物体か道路領域
（路面上の文字／白線を含む）かを判断する手法に関連
するものとして、特開平７−２２５１２６号公報には、
車両前方の物体を正しく認識することができる路上物体
判定装置が記載されている。この装置は、車両の走行路
面上を撮像するステレオカメラを備え、カメラで得られ
た画像を複数のウィンドウに分割して、ウィンドウごと
に被写体までの距離を算出する。この被写体までの距離
と、ウィンドウの行レンジごとに決まる基準距離とを比
較して車両前方の物体を認識する。
置を使用し、距離検出された被写体が物体か道路領域
（路面上の文字／白線を含む）かを判断する手法に関連
するものとして、特開平７−２２５１２６号公報には、
車両前方の物体を正しく認識することができる路上物体
判定装置が記載されている。この装置は、車両の走行路
面上を撮像するステレオカメラを備え、カメラで得られ
た画像を複数のウィンドウに分割して、ウィンドウごと
に被写体までの距離を算出する。この被写体までの距離
と、ウィンドウの行レンジごとに決まる基準距離とを比
較して車両前方の物体を認識する。
【０００４】
【発明が解決しようとする課題】特開平７−２２５１２
６号公報のものでは、路面が自車両の前に水平に存在し
ているものとして、カメラで撮像した被写体が物体か道
路領域かの判断を行うので、自車両がピッチングやロー
リングで傾いたり、坂道を走行する場合には、車両が路
面に平行な状態にあることを前提にカメラの取り付け位
置や俯角等のパラメータによって決まる推定される路面
と実際の路面との間にずれが生じ、計測された距離値が
路面までの距離値かどうか正確に判断することができ
ず、誤って物体を判定することがあった。
６号公報のものでは、路面が自車両の前に水平に存在し
ているものとして、カメラで撮像した被写体が物体か道
路領域かの判断を行うので、自車両がピッチングやロー
リングで傾いたり、坂道を走行する場合には、車両が路
面に平行な状態にあることを前提にカメラの取り付け位
置や俯角等のパラメータによって決まる推定される路面
と実際の路面との間にずれが生じ、計測された距離値が
路面までの距離値かどうか正確に判断することができ
ず、誤って物体を判定することがあった。
【０００５】そこでこの発明は、自車両がピッチングや
ローリングで傾いても、正確に前方にある物体を認識す
ることのできる装置を提供することを目的とする。
ローリングで傾いても、正確に前方にある物体を認識す
ることのできる装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明の物体認識装置は、車両に搭載さ
れ、走行路面を撮影するステレオカメラと、ステレオカ
メラから得られる画像をウィンドウに区分し、ウィンド
ウごとに対象物までの距離を計測する計測手段と、ウィ
ンドウごとの予め決められた路面までの推定距離を格納
する推定距離記憶手段と、車両のピッチング角度を検出
するピッチング角度検出手段と、ピッチング角度検出手
段により検出されるピッチング角度に基づいて前記推定
距離を補正する補正手段と、補正された推定距離に基づ
いて対象物の認識を行う認識手段とを備える。
め、請求項１の発明の物体認識装置は、車両に搭載さ
れ、走行路面を撮影するステレオカメラと、ステレオカ
メラから得られる画像をウィンドウに区分し、ウィンド
ウごとに対象物までの距離を計測する計測手段と、ウィ
ンドウごとの予め決められた路面までの推定距離を格納
する推定距離記憶手段と、車両のピッチング角度を検出
するピッチング角度検出手段と、ピッチング角度検出手
段により検出されるピッチング角度に基づいて前記推定
距離を補正する補正手段と、補正された推定距離に基づ
いて対象物の認識を行う認識手段とを備える。
【０００７】請求項１の発明によると、自車が加速、減
速などで車両の前後方向の傾き、すなわちピッチングを
生じたときでも、路面までの推定距離がピッチング角度
に応じて補正されるので、適正に対象物の認識を行うこ
とができる。
速などで車両の前後方向の傾き、すなわちピッチングを
生じたときでも、路面までの推定距離がピッチング角度
に応じて補正されるので、適正に対象物の認識を行うこ
とができる。
【０００８】また、請求項２の物体認識装置は、車両に
搭載され、走行路面を撮影するステレオカメラと、ステ
レオカメラから得られる画像をウィンドウに区分し、ウ
ィンドウごとに対象物までの距離を計測する計測手段
と、前記ウィンドウごとの予め決められた路面までの推
定距離を格納する推定距離記憶手段と、前記車両のロー
リング角度を検出するローリング角度検出手段と、前記
ローリング角度検出手段により検出されるローリング角
度に基づいて前記推定距離を補正する補正手段と、補正
された推定距離に基づいて前記対象物の認識を行う認識
手段とを備える。
搭載され、走行路面を撮影するステレオカメラと、ステ
レオカメラから得られる画像をウィンドウに区分し、ウ
ィンドウごとに対象物までの距離を計測する計測手段
と、前記ウィンドウごとの予め決められた路面までの推
定距離を格納する推定距離記憶手段と、前記車両のロー
リング角度を検出するローリング角度検出手段と、前記
ローリング角度検出手段により検出されるローリング角
度に基づいて前記推定距離を補正する補正手段と、補正
された推定距離に基づいて前記対象物の認識を行う認識
手段とを備える。
【０００９】請求項２の発明によると、カーブを走行す
るときなどに自車に横方向の傾き、すなわちローリング
を生じるときでも、路面までの推定距離がローリング角
度に応じて補正されるので、適正に対象物を認識するこ
とができる。
るときなどに自車に横方向の傾き、すなわちローリング
を生じるときでも、路面までの推定距離がローリング角
度に応じて補正されるので、適正に対象物を認識するこ
とができる。
【００１０】
【発明の実施の形態】次に図面を参照してこの発明の実
施の形態を説明する。図１は、この発明の一実施例の物
体認識装置の全体的なブロック図である。図２は、この
実施例で用いる三角計測法による距離の計測原理を説明
する図である。まず図２を参照して１対の撮像装置を用
いた距離の測定方法を説明する。
施の形態を説明する。図１は、この発明の一実施例の物
体認識装置の全体的なブロック図である。図２は、この
実施例で用いる三角計測法による距離の計測原理を説明
する図である。まず図２を参照して１対の撮像装置を用
いた距離の測定方法を説明する。
【００１１】ステレオカメラの一対の撮像装置の一方を
構成するラインセンサ２１およびレンズ２３は、他方の
撮像装置を構成するラインセンサ２２およびレンズ２４
と所定の間隔すなわち基線長Ｂだけ左右方向に間隔をお
いて配置されている。ラインセンサ２１および２２は、
典型的には１次元のＣＣＤであり、直線的に配列された
フォトセンサのアレイであってもよい。夜間の使用を考
慮すると赤外線を用いた撮像装置にするのがよい。この
場合、レンズ２３、２４の前に赤外線透過性のフィルタ
を置き、赤外線の光源を用いて一定の周期で対象物２０
を照射し、対象物２０から反射する赤外線をラインセン
サ２１、２２が感知するようにするのがよい。
構成するラインセンサ２１およびレンズ２３は、他方の
撮像装置を構成するラインセンサ２２およびレンズ２４
と所定の間隔すなわち基線長Ｂだけ左右方向に間隔をお
いて配置されている。ラインセンサ２１および２２は、
典型的には１次元のＣＣＤであり、直線的に配列された
フォトセンサのアレイであってもよい。夜間の使用を考
慮すると赤外線を用いた撮像装置にするのがよい。この
場合、レンズ２３、２４の前に赤外線透過性のフィルタ
を置き、赤外線の光源を用いて一定の周期で対象物２０
を照射し、対象物２０から反射する赤外線をラインセン
サ２１、２２が感知するようにするのがよい。
【００１２】ラインセンサ２１、２２は、それぞれレン
ズ２３、２４の焦点距離ｆに配置されている。レンズ２
３、２４のある平面から距離ａにある対象物の像が、ラ
インセンサ２１ではレンズ２３の光軸からＸ１ずれた位
置に形成され、ラインセンサ２２ではレンズ２４の光軸
からＸ２だけずれた位置に形成されるとすると、レンズ
２３、２４の面から対象物２０までの距離ａは、三角計
測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求め
られる。
ズ２３、２４の焦点距離ｆに配置されている。レンズ２
３、２４のある平面から距離ａにある対象物の像が、ラ
インセンサ２１ではレンズ２３の光軸からＸ１ずれた位
置に形成され、ラインセンサ２２ではレンズ２４の光軸
からＸ２だけずれた位置に形成されるとすると、レンズ
２３、２４の面から対象物２０までの距離ａは、三角計
測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求め
られる。
【００１３】この実施例では画像はデジタル化されるの
で、距離（Ｘ１＋Ｘ２）は、ディジタル的に算出され
る。ラインセンサ２１および２２で得られる画像の片方
または両方をシフトさせながら両画像のそれぞれ対応す
る画素の輝度を示すディジタル値の差の絶対値の総和を
求め、これを相関値とする。相関値が最小値になるとき
の画像のシフト量が両画像の間の位置ずれ、すなわち
（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラ
インセンサ２１および２２から得られる２つの画像を重
なり合わせるために２つの画像を相対的に移動させねば
ならない距離が（Ｘ１＋Ｘ２）である。
で、距離（Ｘ１＋Ｘ２）は、ディジタル的に算出され
る。ラインセンサ２１および２２で得られる画像の片方
または両方をシフトさせながら両画像のそれぞれ対応す
る画素の輝度を示すディジタル値の差の絶対値の総和を
求め、これを相関値とする。相関値が最小値になるとき
の画像のシフト量が両画像の間の位置ずれ、すなわち
（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラ
インセンサ２１および２２から得られる２つの画像を重
なり合わせるために２つの画像を相対的に移動させねば
ならない距離が（Ｘ１＋Ｘ２）である。
【００１４】ここでは、簡単のため撮像装置が１次元の
ラインセンサ２１、２２であるものとして説明したが、
以下に述べるようにこの発明の一実施例では２次元のＣ
ＣＤまたは２次元のフォトセンサ・アレイを撮像装置と
して使用する。この場合、２つの撮像装置から得られる
２次元の画像を相対的にシフトさせて上述したのと同様
の相関計算を行い、相関値が最小となるときのシフト量
を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当す
る。
ラインセンサ２１、２２であるものとして説明したが、
以下に述べるようにこの発明の一実施例では２次元のＣ
ＣＤまたは２次元のフォトセンサ・アレイを撮像装置と
して使用する。この場合、２つの撮像装置から得られる
２次元の画像を相対的にシフトさせて上述したのと同様
の相関計算を行い、相関値が最小となるときのシフト量
を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当す
る。
【００１５】図１の撮像手段３は、図２のレンズ２３お
よびラインセンサ２１からなる一方の撮像手段に対応
し、撮像手段３’は、図２のレンズ２４およびラインセ
ンサ２２からなる他方の撮像手段に対応する。この実施
例では、図３の（ｂ）に示すように撮像領域を複数のウ
ィンドウ（小領域）Ｗ11、Ｗ12、・・・に分割し、ウィ
ンドウごとに距離の計測を行うので、対象物全体の２次
元の画像が必要になる。このため撮像手段３、３’は、
２次元のＣＣＤアレイまたは２次元のフォトセンサ・ア
レイで構成される。
よびラインセンサ２１からなる一方の撮像手段に対応
し、撮像手段３’は、図２のレンズ２４およびラインセ
ンサ２２からなる他方の撮像手段に対応する。この実施
例では、図３の（ｂ）に示すように撮像領域を複数のウ
ィンドウ（小領域）Ｗ11、Ｗ12、・・・に分割し、ウィ
ンドウごとに距離の計測を行うので、対象物全体の２次
元の画像が必要になる。このため撮像手段３、３’は、
２次元のＣＣＤアレイまたは２次元のフォトセンサ・ア
レイで構成される。
【００１６】図３の（ａ）は、撮像手段３または３’に
より自車両の前方を走行する他車両を撮像した画像の例
を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的
に複数のウィンドウに分割したものを示す。図３の
（ｂ）は、縦方向に行および横方向に列をとり、簡単の
ため１０行×１５列のウィンドウに分割して示す。それ
ぞれのウィンドウには番号が付されており、例えばＷ12
は、１行２列にあるウィンドウを示す。
より自車両の前方を走行する他車両を撮像した画像の例
を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的
に複数のウィンドウに分割したものを示す。図３の
（ｂ）は、縦方向に行および横方向に列をとり、簡単の
ため１０行×１５列のウィンドウに分割して示す。それ
ぞれのウィンドウには番号が付されており、例えばＷ12
は、１行２列にあるウィンドウを示す。
【００１７】撮像手段３、３’で撮像された対象物の画
像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４、
４’でデジタルデータに変換され、画像メモリ５、５’
に格納される。ウィンドウ切り出し部１３によって、ウ
ィンドウＷ11に対応する画像部分が画像メモリ５および
５’からそれぞれ切り出されて相関計算部６に送られ
る。相関計算部６は、切り出された２つの画像を所定の
単位ずつシフトさせて前述した相関計算を行い相関値が
最小になるときのシフト量を求めると、このシフト量が
（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求め
た（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４、
４’でデジタルデータに変換され、画像メモリ５、５’
に格納される。ウィンドウ切り出し部１３によって、ウ
ィンドウＷ11に対応する画像部分が画像メモリ５および
５’からそれぞれ切り出されて相関計算部６に送られ
る。相関計算部６は、切り出された２つの画像を所定の
単位ずつシフトさせて前述した相関計算を行い相関値が
最小になるときのシフト量を求めると、このシフト量が
（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求め
た（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
【００１８】距離計算部７は、前述したａ＝Ｂ・ｆ／
（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ11にある対
象物までの距離ａ11を求める。こうして求められた距離
ａ11は、距離記憶部８に記憶される。同様の計算処理が
それぞれのウィンドウについて順次実行され、距離
ａ11、ａ12、・・・が距離記憶部８に記憶される。以
下、あるウィンドウについて計算された対象物までの距
離を、そのウィンドウの計測距離という。
（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ11にある対
象物までの距離ａ11を求める。こうして求められた距離
ａ11は、距離記憶部８に記憶される。同様の計算処理が
それぞれのウィンドウについて順次実行され、距離
ａ11、ａ12、・・・が距離記憶部８に記憶される。以
下、あるウィンドウについて計算された対象物までの距
離を、そのウィンドウの計測距離という。
【００１９】上の相関計算で用いる画像データは、撮像
素子アレイの素子のピッチによって分解能が定まるの
で、フォトセンサ・アレイなど比較的ピッチの大きい受
光素子を用いるときは、ピッチ間の補間計算を行って画
像データの密度を高める処理を行い、こうして密度を高
められた画像データについて相関計算を行うのが好まし
い。
素子アレイの素子のピッチによって分解能が定まるの
で、フォトセンサ・アレイなど比較的ピッチの大きい受
光素子を用いるときは、ピッチ間の補間計算を行って画
像データの密度を高める処理を行い、こうして密度を高
められた画像データについて相関計算を行うのが好まし
い。
【００２０】推定距離記憶部３２は、水平な路面の画像
についてウィンドウごとに予め求められた距離（以下、
推定距離という）を格納している。路面除去部３１は、
ウィンドウごとの推定距離と上記のようにして実際に計
測された対応するウィンドウごとの距離とを比較し、推
定距離に近い値の計測距離をもつウィンドウ、すなわち
路面までの距離にほぼ等しい計測距離をもつウィンド
ウ、および推定距離以上の計測距離をもつウィンドウ、
すなわち路面よりも遠い計測距離をもつウィンドウにつ
いての計測距離値を距離記憶部８から削除する。こうし
て路面上にある標識文字などのデータが距離記憶部８か
ら削除される。
についてウィンドウごとに予め求められた距離（以下、
推定距離という）を格納している。路面除去部３１は、
ウィンドウごとの推定距離と上記のようにして実際に計
測された対応するウィンドウごとの距離とを比較し、推
定距離に近い値の計測距離をもつウィンドウ、すなわち
路面までの距離にほぼ等しい計測距離をもつウィンド
ウ、および推定距離以上の計測距離をもつウィンドウ、
すなわち路面よりも遠い計測距離をもつウィンドウにつ
いての計測距離値を距離記憶部８から削除する。こうし
て路面上にある標識文字などのデータが距離記憶部８か
ら削除される。
【００２１】推定距離は、車両が傾くことなく水平な路
面に平行な状態にある場合の車両から路面までの距離を
いい、この時の路面を推定路面という。この推定距離
は、ＣＣＤカメラの取り付け位置、俯角、基線長、焦点
距離およびＣＣＤサイズと、画像におけるウィンドウの
位置とにより予め算出され、ウィンドウごとに推定距離
記憶部３２に記憶されている。
面に平行な状態にある場合の車両から路面までの距離を
いい、この時の路面を推定路面という。この推定距離
は、ＣＣＤカメラの取り付け位置、俯角、基線長、焦点
距離およびＣＣＤサイズと、画像におけるウィンドウの
位置とにより予め算出され、ウィンドウごとに推定距離
記憶部３２に記憶されている。
【００２２】上の例では路面と判定されたウィンドウの
計測距離値を距離記憶部８から削除したが、これらのデ
ータを削除することなく、たとえば路面と判定されたこ
とを識別するフラグを使用し、路面と判定されたウィン
ドウに識別フラグをたてて距離記憶部８に記憶すること
もできる。
計測距離値を距離記憶部８から削除したが、これらのデ
ータを削除することなく、たとえば路面と判定されたこ
とを識別するフラグを使用し、路面と判定されたウィン
ドウに識別フラグをたてて距離記憶部８に記憶すること
もできる。
【００２３】ピッチング角度検出部９は、自車の加速に
よって車両後部が沈み込んだり、減速によって車両前部
が沈み込むなどの原因で車両に前後方向の傾き、すなわ
ちピッチングを生じたとき、傾きの角度、すなわちピッ
チング角度を検出する。ピッチング角度を求める方法に
は、車高センサを用いて直接求める方法、白線検出によ
って無限遠点を求めその変動から求める方法、白線まで
の距離値から推定して求める方法等がある。また、加速
度とピッチング角度との相関関係を予め実験データとし
て求めておき、加速度の検出に基づいてピッチング角度
を求めることもできる。
よって車両後部が沈み込んだり、減速によって車両前部
が沈み込むなどの原因で車両に前後方向の傾き、すなわ
ちピッチングを生じたとき、傾きの角度、すなわちピッ
チング角度を検出する。ピッチング角度を求める方法に
は、車高センサを用いて直接求める方法、白線検出によ
って無限遠点を求めその変動から求める方法、白線まで
の距離値から推定して求める方法等がある。また、加速
度とピッチング角度との相関関係を予め実験データとし
て求めておき、加速度の検出に基づいてピッチング角度
を求めることもできる。
【００２４】補正部１１は、こうして求められたピッチ
ング角度に基づいて推定距離を補正する。図４は、車両
が減速によって前部が沈み込むピッチングを生じたとき
の推定路面までの推定距離の補正を示す。ピッチング角
度をθとすると、撮像装置はθだけ下向きに対象物を撮
像するので、対象物までのウィンドウごとの計測距離と
比較される推定路面までのウィンドウごとの推定距離
は、同じくθだけ下向きに撮像されたかのように補正す
る必要がある。
ング角度に基づいて推定距離を補正する。図４は、車両
が減速によって前部が沈み込むピッチングを生じたとき
の推定路面までの推定距離の補正を示す。ピッチング角
度をθとすると、撮像装置はθだけ下向きに対象物を撮
像するので、対象物までのウィンドウごとの計測距離と
比較される推定路面までのウィンドウごとの推定距離
は、同じくθだけ下向きに撮像されたかのように補正す
る必要がある。
【００２５】いま、図４に示すようにあるウィンドウで
の推定路面までの推定距離がｄであるとすると、補正さ
れた推定距離ｄ'は、次の式で求められる。
の推定路面までの推定距離がｄであるとすると、補正さ
れた推定距離ｄ'は、次の式で求められる。
【００２６】
【数１】
【００２７】この式で、ｈは、カメラの取付高さ、ｌ
（エル）は、車体中心からカメラ取付位置までの長さ、ｄ
は、推定路面までの距離、ｄ'は、補正した推定路面ま
での距離、θは、ピッチング角度である。
（エル）は、車体中心からカメラ取付位置までの長さ、ｄ
は、推定路面までの距離、ｄ'は、補正した推定路面ま
での距離、θは、ピッチング角度である。
【００２８】こうして補正された推定距離で構成される
路面は、図４に補正した推定路面で示すように元の推定
路面からθだけ上向きに傾斜している。
路面は、図４に補正した推定路面で示すように元の推定
路面からθだけ上向きに傾斜している。
【００２９】ローリング角度検出部１０は、車両がカー
ブを走行するときに遠心力によってカーブの外側方向に
向かう力を受け、この影響で横方向に傾く、すなわちロ
ーリングする際の角度（ローリング角度）を検出する。
ローリング角度は、車高センサを用いて直接求めること
ができ、また、車速およびヨーレートとローリング角度
の相関関係を予め実験データとして求めておき、車速お
よびヨーレートからローリング角度を検出するようにす
ることもできる。また、白線までの距離値から推定して
求めることもできる。
ブを走行するときに遠心力によってカーブの外側方向に
向かう力を受け、この影響で横方向に傾く、すなわちロ
ーリングする際の角度（ローリング角度）を検出する。
ローリング角度は、車高センサを用いて直接求めること
ができ、また、車速およびヨーレートとローリング角度
の相関関係を予め実験データとして求めておき、車速お
よびヨーレートからローリング角度を検出するようにす
ることもできる。また、白線までの距離値から推定して
求めることもできる。
【００３０】補正部１１は、ローリング角度検出部１０
がローリング角度を検出することに応答して、推定距離
を補正する。図５は、車が図面の右方向α度傾いたとき
推定路面を図４の場合と同じ関係で角度αだけ右上方向
に傾斜させる必要があることを示している。このとき、
カメラから推定路面の水平方向ｘの距離の点は、推定路
面よりｄｙだけ上方の位置に補正されなければならな
い。
がローリング角度を検出することに応答して、推定距離
を補正する。図５は、車が図面の右方向α度傾いたとき
推定路面を図４の場合と同じ関係で角度αだけ右上方向
に傾斜させる必要があることを示している。このとき、
カメラから推定路面の水平方向ｘの距離の点は、推定路
面よりｄｙだけ上方の位置に補正されなければならな
い。
【００３１】図６は、ローリングの影響を相対的な推定
路面の変動として表した概念図である。カメラから横方
向の距離がｘで、進行方向の推定距離ｄの位置は、次の
式で推定距離ｄ'に補正される。
路面の変動として表した概念図である。カメラから横方
向の距離がｘで、進行方向の推定距離ｄの位置は、次の
式で推定距離ｄ'に補正される。
【００３２】
【数２】
【００３３】この式で、ｄｙは、補正された推定路面の
高さ、αは、ローリング角度であり、その他のパラメー
タは数１のものと同じである。
高さ、αは、ローリング角度であり、その他のパラメー
タは数１のものと同じである。
【００３４】補正部１１は、以上のようにしてピッチン
グ角度検出部９およびローリング角度検出部１０からの
出力に応じて、推定距離記憶部３２に記憶されている推
定距離を補正する。この補正処理は、ハードウェア構成
によって、ピッチング角度検出部９またはローリング角
度検出部１０から補正を要するレベルの角度を検出した
ことを示す信号応答して実行されるようにすることがで
きる。または、ソフトウェア構成により、物体認識装置
を制御する中央演算装置（ＣＰＵ）がたとえば80ミリ秒
ごとに補正処理ルーチンを実行して補正を行うようにす
ることもできる。
グ角度検出部９およびローリング角度検出部１０からの
出力に応じて、推定距離記憶部３２に記憶されている推
定距離を補正する。この補正処理は、ハードウェア構成
によって、ピッチング角度検出部９またはローリング角
度検出部１０から補正を要するレベルの角度を検出した
ことを示す信号応答して実行されるようにすることがで
きる。または、ソフトウェア構成により、物体認識装置
を制御する中央演算装置（ＣＰＵ）がたとえば80ミリ秒
ごとに補正処理ルーチンを実行して補正を行うようにす
ることもできる。
【００３５】路面除去部３１は、距離記憶部８から得ら
れるウィンドウごとの計測距離と補正部１１から得られ
るウィンドウごとの補正された推定距離とを比較し、補
正された推定距離から所定のしきい値（たとえば20ｃ
ｍ）を引いた値に等しいかこれより大きい計測距離のウ
ィンドウを路面を撮像しているウィンドウと判断し、補
正された推定距離から上記所定しきい値を引いた値以下
の計測距離のウィンドウを路面以外の物体を撮像してい
るウィンドウと判断する。
れるウィンドウごとの計測距離と補正部１１から得られ
るウィンドウごとの補正された推定距離とを比較し、補
正された推定距離から所定のしきい値（たとえば20ｃ
ｍ）を引いた値に等しいかこれより大きい計測距離のウ
ィンドウを路面を撮像しているウィンドウと判断し、補
正された推定距離から上記所定しきい値を引いた値以下
の計測距離のウィンドウを路面以外の物体を撮像してい
るウィンドウと判断する。
【００３６】こうして、路面除去部３１は、路面以外の
物体を撮像しているウィンドウのデータを物体認識部３
８に送る。物体認識部３８は、路面以外の物体を撮像し
ている複数のウィンドウのデータに基づいて１つまたは
複数の物体の認識を行う。物体認識処理は、ＣＰＵが物
体認識ルーチンをたとえば80ミリ秒ごとに実行すること
によって実行される。物体の認識は、２サイクルから３
サイクルの認識処理の結果を総合して行うことにより、
認識の信頼性を向上させることができる。
物体を撮像しているウィンドウのデータを物体認識部３
８に送る。物体認識部３８は、路面以外の物体を撮像し
ている複数のウィンドウのデータに基づいて１つまたは
複数の物体の認識を行う。物体認識処理は、ＣＰＵが物
体認識ルーチンをたとえば80ミリ秒ごとに実行すること
によって実行される。物体の認識は、２サイクルから３
サイクルの認識処理の結果を総合して行うことにより、
認識の信頼性を向上させることができる。
【００３７】物体記憶部３９は、物体認識部３８で認識
された物体についての距離、位置、大きさなどの情報を
記憶する。物体認識部３８は、今回認識された物体
（車）の距離情報と、前回認識された同じ物体について
の距離情報とからこの物体と自車との相対速度を計算
し、今回認識された物体のデータの一部として物体記憶
部３９に記憶させる。
された物体についての距離、位置、大きさなどの情報を
記憶する。物体認識部３８は、今回認識された物体
（車）の距離情報と、前回認識された同じ物体について
の距離情報とからこの物体と自車との相対速度を計算
し、今回認識された物体のデータの一部として物体記憶
部３９に記憶させる。
【００３８】車両制御部４５は、物体記憶部３９から送
られる物体についての情報を読み出し、その内容に基づ
いて、警報装置を駆動して前方車両に近づきすぎている
ことを示す警報を発したり、エンジンの電子制御装置
（Electronic Control Unit:ECU）またはブレーキ制御
ユニットに信号を送って強制制動処理を実行させるなど
の働きをする。その際、車両制御部４５は、自車速度の
検出装置４６から自車速度のデータを、ヨーレート検出
装置４７からヨーレートを示す信号を受け取り、自車の
走行領域を判断し、物体との距離が適切な範囲になるよ
う自車を制御する。
られる物体についての情報を読み出し、その内容に基づ
いて、警報装置を駆動して前方車両に近づきすぎている
ことを示す警報を発したり、エンジンの電子制御装置
（Electronic Control Unit:ECU）またはブレーキ制御
ユニットに信号を送って強制制動処理を実行させるなど
の働きをする。その際、車両制御部４５は、自車速度の
検出装置４６から自車速度のデータを、ヨーレート検出
装置４７からヨーレートを示す信号を受け取り、自車の
走行領域を判断し、物体との距離が適切な範囲になるよ
う自車を制御する。
【００３９】図１に示した相関計算部６、距離計算部
７、距離記憶部８、ウィンドウ切り出し部１３、路面除
去部３１、推定距離記憶部３２、物体認識部３８、物体
記憶部３９および車両制御部４５は、中央演算処理装置
（ＣＰＵ）、制御プログラムおよび制御データを格納す
る読み出し専用メモリ、ＣＰＵの演算作業領域を提供し
様々なデータを一時記憶することができるランダムアク
セスメモリ（ＲＡＭ）で構成することができる。距離記
憶部８、推定距離記憶部３２、および物体記憶部３９
は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して
実現することができる。また、各種の演算で必要となる
データの一時記憶領域も同じＲＡＭの一部分を使用して
実現することができる。
７、距離記憶部８、ウィンドウ切り出し部１３、路面除
去部３１、推定距離記憶部３２、物体認識部３８、物体
記憶部３９および車両制御部４５は、中央演算処理装置
（ＣＰＵ）、制御プログラムおよび制御データを格納す
る読み出し専用メモリ、ＣＰＵの演算作業領域を提供し
様々なデータを一時記憶することができるランダムアク
セスメモリ（ＲＡＭ）で構成することができる。距離記
憶部８、推定距離記憶部３２、および物体記憶部３９
は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して
実現することができる。また、各種の演算で必要となる
データの一時記憶領域も同じＲＡＭの一部分を使用して
実現することができる。
【００４０】また、この発明の物体認識装置をエンジン
の電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵそ
の他のＥＣＵとＬＡＮ接続して物体認識装置からの出力
を車両の全体的な制御に利用することができる。
の電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵそ
の他のＥＣＵとＬＡＮ接続して物体認識装置からの出力
を車両の全体的な制御に利用することができる。
【００４１】
【発明の効果】請求項１の発明によると、車両のピッチ
ングを生じても物体を正しく認識することができる。請
求項２の発明によると、車両のローリングを生じても物
体を正しく認識することができる。
ングを生じても物体を正しく認識することができる。請
求項２の発明によると、車両のローリングを生じても物
体を正しく認識することができる。
【図１】この発明の一実施例の全体的な構成を示すブロ
ック図。
ック図。
【図２】三角計測法による距離の計測原理を説明するた
めの図。
めの図。
【図３】この発明による、（ａ）撮像された画像、
（ｂ）距離および道路領域判定のため小領域（ウィンド
ウ）に分割された画像を示す図。
（ｂ）距離および道路領域判定のため小領域（ウィンド
ウ）に分割された画像を示す図。
【図４】ピッチングに対して推定距離を補正する概念を
説明する図。
説明する図。
【図５】ローリングの影響を示す図。
【図６】ローリングに対して推定距離を補正する概念を
説明する図。
説明する図。
３、３’ 撮像部（ステレオカメラ） ７ 距離計算部 ８ 距離記憶部 ３１ 路面除去部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/62 ４１５ 7/60 15/70 ３５０Ｊ Ｆターム(参考） 2F065 AA06 BB05 BB13 CC40 DD14 EE05 FF05 FF09 FF65 GG21 JJ02 JJ03 JJ05 JJ25 JJ26 NN20 PP01 QQ03 QQ23 QQ24 QQ25 QQ27 QQ29 QQ36 QQ38 QQ41 2F112 AC01 AC06 BA20 CA05 DA19 DA28 FA03 FA21 FA36 FA41 5B057 AA06 BA11 BA29 CA13 CB13 CE09 DA07 DB03 5H180 AA01 CC02 CC04 CC27 CC30 LL01 LL04 LL06 LL09 5L096 BA04 CA05 EA35 FA34 FA66 HA02
Claims (2)
- 【請求項１】車両に搭載された、走行路面を撮影するス
テレオカメラと、 前記ステレオカメラから得られる画像をウィンドウに区
分し、ウィンドウごとに対象物までの距離を計測する計
測手段と、 前記ウィンドウごとの予め決められた路面までの推定距
離を格納する推定距離記憶手段と、 前記車両のピッチング角度を検出するピッチング角度検
出手段と、 前記ピッチング角度検出手段により検出されるピッチン
グ角度に基づいて前記推定距離を補正する補正手段と、 前記補正された推定距離に基づいて前記対象物の認識を
行う認識手段と、を備える物体認識装置。 - 【請求項２】車両に搭載された、走行路面を撮影するス
テレオカメラと、 前記ステレオカメラから得られる画像をウィンドウに区
分し、ウィンドウごとに対象物までの距離を計測する計
測手段と、 前記ウィンドウごとの予め決められた路面までの推定距
離を格納する推定距離記憶手段と、 前記車両のローリング角度を検出するローリング角度検
出手段と、 前記ローリング角度検出手段により検出されるローリン
グ角度に基づいて前記推定距離を補正する補正手段と、 前記補正された推定距離に基づいて前記対象物の認識を
行う認識手段と、 を備える物体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11164840A JP2000353300A (ja) | 1999-06-11 | 1999-06-11 | 物体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11164840A JP2000353300A (ja) | 1999-06-11 | 1999-06-11 | 物体認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000353300A true JP2000353300A (ja) | 2000-12-19 |
Family
ID=15800929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11164840A Pending JP2000353300A (ja) | 1999-06-11 | 1999-06-11 | 物体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000353300A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004261272A (ja) * | 2003-02-28 | 2004-09-24 | Oki Electric Ind Co Ltd | 体感装置、モーション信号の生成方法およびプログラム |
| JP2008040615A (ja) * | 2006-08-02 | 2008-02-21 | Denso Corp | 車両検出装置及びヘッドランプ制御装置 |
| WO2011063785A1 (de) * | 2009-11-25 | 2011-06-03 | Conti Temic Microelectronic Gmbh Patente & Lizenzen | Verfahren zur schätzung des rollwinkels in einem fahrenden fahrzeug |
| JP2011237210A (ja) * | 2010-05-07 | 2011-11-24 | Yokogawa Electric Corp | 位置測定システム |
| JP4850963B1 (ja) * | 2010-09-28 | 2012-01-11 | 富士重工業株式会社 | 車両の運転支援装置 |
| JP2012517055A (ja) * | 2009-02-06 | 2012-07-26 | アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング | ビデオに基く車両の運転者援助システムの作動方法及び装置 |
| WO2014156256A1 (ja) | 2013-03-29 | 2014-10-02 | 日立オートモティブシステムズ株式会社 | 車両の運動制御装置 |
| JP2017026535A (ja) * | 2015-07-27 | 2017-02-02 | シャープ株式会社 | 障害物判定装置及び障害物判定方法 |
| JP2017059150A (ja) * | 2015-09-18 | 2017-03-23 | シャープ株式会社 | 障害物判定装置、移動体、及び障害物判定方法 |
| JP2020057189A (ja) * | 2018-10-02 | 2020-04-09 | 日野自動車株式会社 | 運転支援システム |
| JP2020074145A (ja) * | 2020-01-09 | 2020-05-14 | シャープ株式会社 | 障害物判定装置、移動体、及び障害物判定方法 |
| CN111806447A (zh) * | 2019-04-08 | 2020-10-23 | 罗伯特·博世有限公司 | 求取行驶路段上的液体深度的方法和求取行驶轨迹的方法 |
| KR20200139313A (ko) * | 2019-06-03 | 2020-12-14 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| CN112172801A (zh) * | 2020-03-03 | 2021-01-05 | 张丽 | 应用大数据处理的安全距离调整方法 |
| CN115959144A (zh) * | 2021-10-11 | 2023-04-14 | 本田技研工业株式会社 | 车辆控制装置 |
-
1999
- 1999-06-11 JP JP11164840A patent/JP2000353300A/ja active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004261272A (ja) * | 2003-02-28 | 2004-09-24 | Oki Electric Ind Co Ltd | 体感装置、モーション信号の生成方法およびプログラム |
| JP2008040615A (ja) * | 2006-08-02 | 2008-02-21 | Denso Corp | 車両検出装置及びヘッドランプ制御装置 |
| JP2012517055A (ja) * | 2009-02-06 | 2012-07-26 | アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング | ビデオに基く車両の運転者援助システムの作動方法及び装置 |
| CN102648115B (zh) * | 2009-11-25 | 2015-11-25 | 康蒂特米克微电子有限公司 | 用于在行驶的汽车中估算侧倾角的方法 |
| WO2011063785A1 (de) * | 2009-11-25 | 2011-06-03 | Conti Temic Microelectronic Gmbh Patente & Lizenzen | Verfahren zur schätzung des rollwinkels in einem fahrenden fahrzeug |
| CN102648115A (zh) * | 2009-11-25 | 2012-08-22 | 康蒂特米克微电子有限公司 | 用于在行驶的汽车中估算侧倾角的方法 |
| US8824741B2 (en) | 2009-11-25 | 2014-09-02 | Conti Temic Microelectronic Gmbh | Method for estimating the roll angle in a travelling vehicle |
| JP2011237210A (ja) * | 2010-05-07 | 2011-11-24 | Yokogawa Electric Corp | 位置測定システム |
| JP4850963B1 (ja) * | 2010-09-28 | 2012-01-11 | 富士重工業株式会社 | 車両の運転支援装置 |
| US9540003B2 (en) | 2013-03-29 | 2017-01-10 | Hitachi Automotive Systems, Ltd. | Vehicle motion control device |
| WO2014156256A1 (ja) | 2013-03-29 | 2014-10-02 | 日立オートモティブシステムズ株式会社 | 車両の運動制御装置 |
| JP2017026535A (ja) * | 2015-07-27 | 2017-02-02 | シャープ株式会社 | 障害物判定装置及び障害物判定方法 |
| JP2017059150A (ja) * | 2015-09-18 | 2017-03-23 | シャープ株式会社 | 障害物判定装置、移動体、及び障害物判定方法 |
| JP2020057189A (ja) * | 2018-10-02 | 2020-04-09 | 日野自動車株式会社 | 運転支援システム |
| CN111806447A (zh) * | 2019-04-08 | 2020-10-23 | 罗伯特·博世有限公司 | 求取行驶路段上的液体深度的方法和求取行驶轨迹的方法 |
| KR20200139313A (ko) * | 2019-06-03 | 2020-12-14 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| KR102704490B1 (ko) * | 2019-06-03 | 2024-09-11 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| JP2020074145A (ja) * | 2020-01-09 | 2020-05-14 | シャープ株式会社 | 障害物判定装置、移動体、及び障害物判定方法 |
| CN112172801A (zh) * | 2020-03-03 | 2021-01-05 | 张丽 | 应用大数据处理的安全距离调整方法 |
| CN115959144A (zh) * | 2021-10-11 | 2023-04-14 | 本田技研工业株式会社 | 车辆控制装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3995846B2 (ja) | 物体認識装置 | |
| US6987864B2 (en) | Object detection system | |
| US7965871B2 (en) | Moving-state determining device | |
| JP2000353300A (ja) | 物体認識装置 | |
| JP2000357233A (ja) | 物体認識装置 | |
| JP5421819B2 (ja) | 車線認識装置 | |
| JPH08329393A (ja) | 先行車検出装置 | |
| JP3807583B2 (ja) | 道路領域判定装置 | |
| JP3562250B2 (ja) | 先行車両検出装置 | |
| JP2002312797A (ja) | 分岐路判定装置、プログラム及び記録媒体 | |
| JPH0981757A (ja) | 車両位置検出装置 | |
| JP2009014645A (ja) | 車両用距離測定装置 | |
| JPH07244717A (ja) | 車両用走行環境認識装置 | |
| JP2001014595A (ja) | 車両用走行レーン検知装置 | |
| JP2004185425A (ja) | レーンマーク識別方法及び装置 | |
| JP4026641B2 (ja) | 物体検出装置、および物体検出方法 | |
| JP4100823B2 (ja) | 物体判定装置 | |
| JPH11259792A (ja) | 車輌認識方法およびその装置 | |
| JP4040620B2 (ja) | 車両周辺監視装置 | |
| JPH09178855A (ja) | 障害物検出方法 | |
| JP2001033238A (ja) | 物体認識装置 | |
| JP4239834B2 (ja) | 物体検出装置 | |
| US20050232464A1 (en) | Vehicle running state judging apparatus | |
| JP4794764B2 (ja) | 車外監視装置 | |
| JP3923183B2 (ja) | 車両用距離測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070808 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080212 |