JP2958043B2 - 移動車の環境認識装置 - Google Patents
移動車の環境認識装置Info
- Publication number
- JP2958043B2 JP2958043B2 JP2076730A JP7673090A JP2958043B2 JP 2958043 B2 JP2958043 B2 JP 2958043B2 JP 2076730 A JP2076730 A JP 2076730A JP 7673090 A JP7673090 A JP 7673090A JP 2958043 B2 JP2958043 B2 JP 2958043B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- environment recognition
- collision
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、例えば前方を横切って自車と衝突の可能性
のあるような車両を認識捕捉するための、移動車の環境
認識装置に関し、特に、その認識の効率化、簡素化の向
上に関する。
のあるような車両を認識捕捉するための、移動車の環境
認識装置に関し、特に、その認識の効率化、簡素化の向
上に関する。
（従来の技術） 従来の自律走行車の走行制御における障害物認識で
は、超音波センサ、レーザレーダ等の距離センサが使用
されている。それらのセンサは一般に、ある特定の方向
の距離は計測できても、広い範囲に亙って計測すること
はできないという欠点を有している。かかる距離センサ
を補完するために、ステレオ視カメラを搭載して画像を
入力して環境認識を行なう障害物認識装置が、例えば、
特開昭64−26913号に提案されている。この特開昭で
は、２つのTVカメラを使って三角測量の原理で広い視野
の距離を計測するものである。
は、超音波センサ、レーザレーダ等の距離センサが使用
されている。それらのセンサは一般に、ある特定の方向
の距離は計測できても、広い範囲に亙って計測すること
はできないという欠点を有している。かかる距離センサ
を補完するために、ステレオ視カメラを搭載して画像を
入力して環境認識を行なう障害物認識装置が、例えば、
特開昭64−26913号に提案されている。この特開昭で
は、２つのTVカメラを使って三角測量の原理で広い視野
の距離を計測するものである。
（発明が解決しようとする課題） しかしながら、ステレオ視による画像処理では、左右
画像のマッチングをとるために膨大な処理が必要とな
り、リアルタイムで環境認識を行なう場合には実用化の
障害となっていた。特にその捕捉された移動体との衝突
可能性を予測するのは容易ではない。
画像のマッチングをとるために膨大な処理が必要とな
り、リアルタイムで環境認識を行なう場合には実用化の
障害となっていた。特にその捕捉された移動体との衝突
可能性を予測するのは容易ではない。
例えば、画像認識による衝突予測を行なう場合、画像
の中から移動する物体を識別した後に、その移動方向と
自車との経路の計算を行なう必要があり、全ての物体に
対しての計算を行なうためには膨大な計算を必要として
いる。
の中から移動する物体を識別した後に、その移動方向と
自車との経路の計算を行なう必要があり、全ての物体に
対しての計算を行なうためには膨大な計算を必要として
いる。
そこで、本発明は上述従来例の欠点を除去するために
提案されたものでその目的は、効率良く且つ簡単に衝突
可能性のある移動体を認識することの可能な移動車の環
境認識装置を提案するところにある。
提案されたものでその目的は、効率良く且つ簡単に衝突
可能性のある移動体を認識することの可能な移動車の環
境認識装置を提案するところにある。
（課題を達成するための手段及び作用） 上記課題を達成するための本発明の、自車が移動する
第１の方向と交差する第２の方向に移動する移動体を認
識捕捉するための環境認識装置は、 前記第１の方向の外界の画像情報を、所定の水平線方
向に沿った所定幅だけ入力する画像入力手段と、 入力された外界画像情報の時間変化を検出する検出手
段と、 この時間変化に基づいて、前記移動体と自車との衝突
可能性を認識する認識手段とを具備したことを特徴とす
る。
第１の方向と交差する第２の方向に移動する移動体を認
識捕捉するための環境認識装置は、 前記第１の方向の外界の画像情報を、所定の水平線方
向に沿った所定幅だけ入力する画像入力手段と、 入力された外界画像情報の時間変化を検出する検出手
段と、 この時間変化に基づいて、前記移動体と自車との衝突
可能性を認識する認識手段とを具備したことを特徴とす
る。
第２の方向に移動する移動体が自車と衝突する可能性
のある場合は、前記時間変化に一定の特徴が現われる。
この特徴により衝突可能性を予測することができる。
のある場合は、前記時間変化に一定の特徴が現われる。
この特徴により衝突可能性を予測することができる。
（実施例） 以下添付図面を参照して、本発明の環境認識装置の好
適な一実施例を説明する。
適な一実施例を説明する。
第２図は、本実施例で用いられる画像処理の処理領域
６を説明するものである。即ち、第２図には、自車のカ
メラが得た画像を示す。第２図中、６は処理領域であっ
て、外界像ではない。
６を説明するものである。即ち、第２図には、自車のカ
メラが得た画像を示す。第２図中、６は処理領域であっ
て、外界像ではない。
第２図中、１は自車の走行路、2,7は路端、３はセン
タライン、４は消失点である。５は自車の進行方向と直
交する道路の右側から現われた他車である。本実施例で
は、処理領域は画像消失点を含む水平線上の右半分に設
定している。本実施例では、説明を簡素化するために、
処理領域６を水平線上の右半分に設定しているが、もち
ろん、処理領域を右側に設定するか左側に設定するかは
任意であり、両側に設定してもよい。
タライン、４は消失点である。５は自車の進行方向と直
交する道路の右側から現われた他車である。本実施例で
は、処理領域は画像消失点を含む水平線上の右半分に設
定している。本実施例では、説明を簡素化するために、
処理領域６を水平線上の右半分に設定しているが、もち
ろん、処理領域を右側に設定するか左側に設定するかは
任意であり、両側に設定してもよい。
第３図に、自車のカメラ10と処理領域６との関係を図
示する。処理領域６は全部でｎ個の一次元に並んだ画素
ブロツクからなり、それらの画素を、A1,A2,‥‥‥,An
と呼ぶ。
示する。処理領域６は全部でｎ個の一次元に並んだ画素
ブロツクからなり、それらの画素を、A1,A2,‥‥‥,An
と呼ぶ。
第4A図，第4B図に基づいて、本実施例における衝突可
能性の予測原理を説明する。もし画像内の物体が全て静
止物であれば、自車の移動に伴なって得られる各画素の
時間変化は第4A図のように、消失点から遠去かる方向の
移動ベクトルを持つ。この中に移動体があれば、その移
動状態に応じて様々な移動ベクトルを示す。これを本実
施例のように、消失点を含む水平線上の右反面の一次元
情報のみで考えた場合には、固定物のベクトルは必ず右
移動を示し、移動物のベクトルはその移動速度方向に応
じて、右移動、静止、左移動を示す。
能性の予測原理を説明する。もし画像内の物体が全て静
止物であれば、自車の移動に伴なって得られる各画素の
時間変化は第4A図のように、消失点から遠去かる方向の
移動ベクトルを持つ。この中に移動体があれば、その移
動状態に応じて様々な移動ベクトルを示す。これを本実
施例のように、消失点を含む水平線上の右反面の一次元
情報のみで考えた場合には、固定物のベクトルは必ず右
移動を示し、移動物のベクトルはその移動速度方向に応
じて、右移動、静止、左移動を示す。
第4B図は、Ｙ軸方向に沿って点Y1からY2に進行する自
車11と、Ｘ軸方向に沿って点X1から点X2に進む他車５と
を示している。自車11がY1にあるときにX1にある他車５
が角度α１の方向に見え、自車11がY2に進んだときにX2
の他車５が角度α２に見えたとする。もし、この他車５
が自車と衝突しそうならば、 α１≒α２ が関係が成り立つ筈である。もし、 α１＞α２ ならば、この他車は自車が０点に近付く前にこの０点を
通り過ぎるであろう。また、 α１＜α２ ならば、この他車が０点に近付く前に自車がこの０点を
通りすぎるであろう。本実施例ではこの性質を利用す
る。
車11と、Ｘ軸方向に沿って点X1から点X2に進む他車５と
を示している。自車11がY1にあるときにX1にある他車５
が角度α１の方向に見え、自車11がY2に進んだときにX2
の他車５が角度α２に見えたとする。もし、この他車５
が自車と衝突しそうならば、 α１≒α２ が関係が成り立つ筈である。もし、 α１＞α２ ならば、この他車は自車が０点に近付く前にこの０点を
通り過ぎるであろう。また、 α１＜α２ ならば、この他車が０点に近付く前に自車がこの０点を
通りすぎるであろう。本実施例ではこの性質を利用す
る。
第３図に示したように、処理領域６は画像消失点を含
んで設定しているので、A1〜Anの各画素はカメラ10から
の視角に対応する。従って、自車がY1点にあったときに
得たA1〜Anの画像データが第5A図のようであったなら
ば、即ち、この他車に対応する画素のデータがAp〜Ap+4
の位置で安定な値を示し、他の画素位置ではこまかく変
化しているようであるならば、この他車が第4B図のよう
に移動した時点で自車カメラ10が得た領域６の画素のデ
ータは第5B図のようになるであろう。つまり、Y1点から
Y2に進んだときは、20の領域の画像データのパターンは
20′のパターンに変化しており、その各々の画素位置に
おける変化はランダムである。このことは、領域22と2
2′についても言える。従って、領域20と20′の対応画
素間の差を取り、22と22′の対応画素間の差を取ると、
ランダムに大きな変化が得られるであろう。何故なら、
これらの領域は静止物の画像であるからである。しかし
ながら、衝突が予想される他車に対応する画素領域21,2
1′については大きな変化がない。従って、対応する画
素間で差分を計算すると、差は“0"に近くなる。
んで設定しているので、A1〜Anの各画素はカメラ10から
の視角に対応する。従って、自車がY1点にあったときに
得たA1〜Anの画像データが第5A図のようであったなら
ば、即ち、この他車に対応する画素のデータがAp〜Ap+4
の位置で安定な値を示し、他の画素位置ではこまかく変
化しているようであるならば、この他車が第4B図のよう
に移動した時点で自車カメラ10が得た領域６の画素のデ
ータは第5B図のようになるであろう。つまり、Y1点から
Y2に進んだときは、20の領域の画像データのパターンは
20′のパターンに変化しており、その各々の画素位置に
おける変化はランダムである。このことは、領域22と2
2′についても言える。従って、領域20と20′の対応画
素間の差を取り、22と22′の対応画素間の差を取ると、
ランダムに大きな変化が得られるであろう。何故なら、
これらの領域は静止物の画像であるからである。しかし
ながら、衝突が予想される他車に対応する画素領域21,2
1′については大きな変化がない。従って、対応する画
素間で差分を計算すると、差は“0"に近くなる。
第１図は、この原理に従って構成した実施例装置の概
念構成図である。微分演算部30は、各画素位置につい
て、時刻ｔと時刻ｔ−１の画像データの差分を演算す
る。31は、各画素毎に、上記差分値が所定の値以上の値
を有しているか、即ち、画像データがある程度の変化を
しているかを判定する部分である。第５図で、20から2
0′のように変化している領域は、ある程度の大きな変
化をしているので、この判定部からの出力は“0"とな
る。一方、第５図の21の領域に対応する判定は“1"とな
る。第１図において、Ap〜Ap+4の画素位置に対して、判
定部31から“1"が出力される。
念構成図である。微分演算部30は、各画素位置につい
て、時刻ｔと時刻ｔ−１の画像データの差分を演算す
る。31は、各画素毎に、上記差分値が所定の値以上の値
を有しているか、即ち、画像データがある程度の変化を
しているかを判定する部分である。第５図で、20から2
0′のように変化している領域は、ある程度の大きな変
化をしているので、この判定部からの出力は“0"とな
る。一方、第５図の21の領域に対応する判定は“1"とな
る。第１図において、Ap〜Ap+4の画素位置に対して、判
定部31から“1"が出力される。
第６図は、第１図の装置を更に具体化した回路構成を
示すものである。第１図の微分演算部30は、ｍビツトの
２つのシフトレジスタ40,41とｍビツトの引き算器42と
からなる。画像入力がＴ秒毎に行なわれるとする。シフ
トレジスタ41には、所定時間前（時刻ｔ−１）の１画素
の画像データ（ｍビツトの階調を有するとする）が格納
される。シフトレジスタ40には今回（時刻ｔ）の画像デ
ータが格納される。シフトレジスタ40と41の内容は一定
時間毎（Ｔ秒毎）に引き算器42に入力される。その引き
算の一方でT/n秒毎に、シフトレジスタ40には画素Ai+1
（ｔ）のデータが、シフトレジスタ41には画素Ai+1（ｔ
＋１）のデータが入力される。
示すものである。第１図の微分演算部30は、ｍビツトの
２つのシフトレジスタ40,41とｍビツトの引き算器42と
からなる。画像入力がＴ秒毎に行なわれるとする。シフ
トレジスタ41には、所定時間前（時刻ｔ−１）の１画素
の画像データ（ｍビツトの階調を有するとする）が格納
される。シフトレジスタ40には今回（時刻ｔ）の画像デ
ータが格納される。シフトレジスタ40と41の内容は一定
時間毎（Ｔ秒毎）に引き算器42に入力される。その引き
算の一方でT/n秒毎に、シフトレジスタ40には画素Ai+1
（ｔ）のデータが、シフトレジスタ41には画素Ai+1（ｔ
＋１）のデータが入力される。
第１図の判定部31は、第６図で、ｍビツトのデジタル
コンパレータ43とシフトレジスタ45とANDゲート46とか
らなる。コンパレータ43は、引き算器42からの差分（Ai
（ｔ）−Ai（ｔ−１））を所定の閾値と比較する。この
判定結果はｉ番目の画素位置についての判定結果であ
り、シフトレジスタ45にシフトインされる。即ち、３ビ
ツトのシフトレジスタ45には、３画素分の判定結果を保
持する。第６図の例では、３画素分の判定結果が“1"で
あれば、衝突の可能性があると判断する出力をゲート46
から出力する。もちろん、シフトレジスタ45のビツト数
を増やせば、より大きな範囲で“1"と判定されたものが
障害物と判定されるようになる。
コンパレータ43とシフトレジスタ45とANDゲート46とか
らなる。コンパレータ43は、引き算器42からの差分（Ai
（ｔ）−Ai（ｔ−１））を所定の閾値と比較する。この
判定結果はｉ番目の画素位置についての判定結果であ
り、シフトレジスタ45にシフトインされる。即ち、３ビ
ツトのシフトレジスタ45には、３画素分の判定結果を保
持する。第６図の例では、３画素分の判定結果が“1"で
あれば、衝突の可能性があると判断する出力をゲート46
から出力する。もちろん、シフトレジスタ45のビツト数
を増やせば、より大きな範囲で“1"と判定されたものが
障害物と判定されるようになる。
以上のようにして、障害物となりそうな移動体が高速
且つ簡単に発見できる。尚、障害物の位置は、判定器31
から“1"が出力される画素位置で判別できる。また、誤
判定を減らすために、ANDゲート45の長さを種々変えて
もよい。
且つ簡単に発見できる。尚、障害物の位置は、判定器31
から“1"が出力される画素位置で判別できる。また、誤
判定を減らすために、ANDゲート45の長さを種々変えて
もよい。
本発明はその主旨を逸脱しない範囲で種々変形が可能
である。
である。
上記実施例では、１つのカメラを用いていて、カメラ
を含む水平面内での衝突可能性を判断しているからであ
る。従って、異なる高さに取り付けた複数台のカメラを
設置し、これらから画像を得れば、予測精度は向上す
る。
を含む水平面内での衝突可能性を判断しているからであ
る。従って、異なる高さに取り付けた複数台のカメラを
設置し、これらから画像を得れば、予測精度は向上す
る。
上記実施例の説明から容易に分るように、衝突の予測
には一次元画像で十分であるから、用いるカメラは高価
なエリアセンサを有したものである必要はなく、ライン
センサで十分である。
には一次元画像で十分であるから、用いるカメラは高価
なエリアセンサを有したものである必要はなく、ライン
センサで十分である。
（発明の効果） 以上説明したように本発明の、自車が移動する第１の
方向と交差する第２の方向に移動する移動体を認識捕捉
するための環境認識装置は、前記第１の方向の外界の画
像情報を、所定の水平線方向に沿った所定幅だけ入力す
る画像入力手段と、入力された外界画像情報の時間変化
を検出する検出手段と、この時間変化に基づいて、前記
移動体と自車との衝突可能性を認識する認識手段とを具
備したことを特徴とする。
方向と交差する第２の方向に移動する移動体を認識捕捉
するための環境認識装置は、前記第１の方向の外界の画
像情報を、所定の水平線方向に沿った所定幅だけ入力す
る画像入力手段と、入力された外界画像情報の時間変化
を検出する検出手段と、この時間変化に基づいて、前記
移動体と自車との衝突可能性を認識する認識手段とを具
備したことを特徴とする。
即ち、第２の方向に移動する移動体が自車と衝突する
可能性のある場合は、前記時間変化に一定の特徴が現わ
れる。この特徴により衝突可能性を予測することができ
る。しかも、高度の認識処理を必要としないので、予測
は高速となる。
可能性のある場合は、前記時間変化に一定の特徴が現わ
れる。この特徴により衝突可能性を予測することができ
る。しかも、高度の認識処理を必要としないので、予測
は高速となる。
第１図は本発明を適用した好適な実施例の構成を示すブ
ロツク図、 第２図は処理領域を説明する図、 第３図はカメラに対する処理領域を説明する図、 第4A図は前方に静止物しかない場合の画素のベクトル変
化を説明する図、 第4B図，第5A図，第5B図は本実施例に係る予測原理を説
明する図、 第６図は第１図実施例をより具体化した回路図である。 図中、 １……走行路、2,7……路端、３……センタライン、４
……画像消失点、５……障害物（他車）、６……対象領
域、10……カメラ、11……自車、20,20,20′,22,22′…
…静止物の画像領域、21,21′……障害物の画像領域、3
0……微分演算部、31……変化判定部、40,41,45……シ
フトレジスタ、42……引き算器、43……コンパレータ、
46……ANDゲートである。
ロツク図、 第２図は処理領域を説明する図、 第３図はカメラに対する処理領域を説明する図、 第4A図は前方に静止物しかない場合の画素のベクトル変
化を説明する図、 第4B図，第5A図，第5B図は本実施例に係る予測原理を説
明する図、 第６図は第１図実施例をより具体化した回路図である。 図中、 １……走行路、2,7……路端、３……センタライン、４
……画像消失点、５……障害物（他車）、６……対象領
域、10……カメラ、11……自車、20,20,20′,22,22′…
…静止物の画像領域、21,21′……障害物の画像領域、3
0……微分演算部、31……変化判定部、40,41,45……シ
フトレジスタ、42……引き算器、43……コンパレータ、
46……ANDゲートである。
Claims (3)
- 【請求項１】自車が移動する第１の方向と交差する第２
の方向に移動する移動体を認識捕捉するための環境認識
装置において、 前記第１の方向の外界の画像情報を、所定の水平線方向
に沿った所定幅だけ入力する画像入力手段と、 入力された外界画像情報の時間変化を検出する検出手段
と、 この時間変化に基づいて、前記移動体と自車との衝突可
能性を認識する認識手段とを具備したことを特徴とする
移動車の環境認識装置。 - 【請求項２】前記画像入力手段は、入力画像の対象領域
を、消失点を含み、消失点から水平線方向に前記所定幅
を有する領域に設定することを特徴とする請求項１に記
載の移動車の環境認識装置。 - 【請求項３】前記検出手段は、前記所定幅の画像情報中
に移動物体を認識した場合に、自車位置と認識された前
記移動物体とを結ぶ方向が、所定の期間の間ほぼ一定で
ある場合に、前記移動物体を衝突可能性有りと判断する
ことを特徴とする請求項２に記載の移動車の環境認識装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2076730A JP2958043B2 (ja) | 1990-03-28 | 1990-03-28 | 移動車の環境認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2076730A JP2958043B2 (ja) | 1990-03-28 | 1990-03-28 | 移動車の環境認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03278106A JPH03278106A (ja) | 1991-12-09 |
| JP2958043B2 true JP2958043B2 (ja) | 1999-10-06 |
Family
ID=13613695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2076730A Expired - Lifetime JP2958043B2 (ja) | 1990-03-28 | 1990-03-28 | 移動車の環境認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2958043B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9229450B2 (en) | 2011-05-31 | 2016-01-05 | Hitachi, Ltd. | Autonomous movement system |
| JP6248950B2 (ja) * | 2015-01-13 | 2017-12-20 | トヨタ自動車株式会社 | 車両用表示装置および車両用表示方法 |
-
1990
- 1990-03-28 JP JP2076730A patent/JP2958043B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03278106A (ja) | 1991-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6744380B2 (en) | Apparatus for monitoring area adjacent to vehicle | |
| EP1033694B1 (en) | Rear-view monitoring system for vehicles | |
| US5473364A (en) | Video technique for indicating moving objects from a movable platform | |
| US7684590B2 (en) | Method of recognizing and/or tracking objects | |
| JP7675339B2 (ja) | 物体追跡装置 | |
| CN102414715B (zh) | 物体检测装置 | |
| KR102580476B1 (ko) | 차량의 차량 주변환경 내 가림 영역 산출 방법 및 장치 | |
| US20040057599A1 (en) | Image processing apparatus and method | |
| US20110228981A1 (en) | Method and system for processing image data | |
| JPH06281455A (ja) | 車両周辺監視装置 | |
| US20050152580A1 (en) | Obstacle detecting apparatus and method | |
| JP5418661B2 (ja) | 車両周辺監視装置 | |
| US9098750B2 (en) | Gradient estimation apparatus, gradient estimation method, and gradient estimation program | |
| JPH11252587A (ja) | 物体追跡装置 | |
| US20190362512A1 (en) | Method and Apparatus for Estimating a Range of a Moving Object | |
| JPWO2017145541A1 (ja) | 移動体 | |
| JP6699728B2 (ja) | 車間距離推定方法及び車間距離推定装置 | |
| JPH06180749A (ja) | 路上物体監視装置 | |
| CN107341441B (zh) | 应用于高级驾驶辅助系统内的行人碰撞警告系统及方法 | |
| CN115123291B (zh) | 一种基于障碍物识别的行为预测方法及装置 | |
| KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| JP2958043B2 (ja) | 移動車の環境認識装置 | |
| JP3226699B2 (ja) | 車両用周辺監視装置 | |
| JP2000251199A (ja) | 車両用後側方監視装置 | |
| JP2000315255A (ja) | 車両用後側方監視装置及び車両用後側方監視警報装置 |