JPH07294251A

JPH07294251A - 障害物検出装置

Info

Publication number: JPH07294251A
Application number: JP6084700A
Authority: JP
Inventors: Michiya Okuno; 倫也奥野; Takashi Naoi; 孝直井; Katsuyuki Imanishi; 勝之今西
Original assignee: Nippon Soken Inc
Current assignee: Soken Inc
Priority date: 1994-04-22
Filing date: 1994-04-22
Publication date: 1995-11-10
Anticipated expiration: 2019-07-07
Also published as: JP3540005B2

Abstract

(57)【要約】【目的】本発明は、車両の周囲に存在する障害物への
衝突防止を行う障害物警報装置の画像認識の計算量を少
なくすることを目的とする。【構成】自車両の前方視界を撮像素子により取得し、
その前方視界の画像から立体物を抽出し障害物を検出す
る障害物検出装置には、前記自車両の位置を中心にかつ
自車両の進行方向に向かって、前記前方視界を複数の危
険領域に区切り、前記自車両の位置を中心として外側に
向かって前記複数の危険領域を移動してこの移動領域で
立体物を検出する検出領域移動手段２００が設けられ
る。検出停止手段２０１は前記複数の危険領域で最初に
立体物が検出された場合にはこの立体物を障害物として
認め前記検出領域移動手段による立体物の検出を停止さ
せる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両の周囲に存在する
障害物への衝突防止を行う障害物警報装置に関し、特に
本発明は自車両の走行進路上の危険を発見をするための
画像認識の計算量を少なくする技術に関する。

【０００２】

【従来の技術】上記障害物検出装置には自車両と障害物
との間の距離を計測する装置を用いるものがある。この
距離を計測する装置には立体視法が利用される。この立
体視法は、画像を利用して距離を計算する方法である。
立体視法では二つの異なる視点からの輝度情報を用い
て、二つの輝度情報群について距離を計測する対象物間
の位置ずれ（視差）を求め、予め計測しておいた二視点
間の距離、画角、画角中の輝度情報数、視点の角度より
距離を求めるものである。以下にこの詳細を説明する。

【０００３】図８は従来の一般的な立体視法に基づく距
離計測装置の構成を示す図である。本図（ａ）に示す物
体１１は計測される対象物である。距離計測装置には二
つの視点を形成するために対象物１１に対向して二つの
レンズ１２及び１３が設けられる。この二つのレンズ１
２及び１３の後にそれらの光軸１６、１７がそれぞれ一
致する撮像素子１４及び１５が設けられる。撮像素子１
４及び１５は、例えば、ＣＣＤ（Charge Coupled Devic
e)で構成されている。ここに、図中の「ｄ」はレンズ１
２及び１３と対象物１１との距離であり、「ｆ」はレン
ズ１２及び１３の焦点距離であり、「ａ」、「ｂ」はそ
れぞれ対象物１１の同一点が、撮像素子１４、１５に投
影された位置の光軸からの距離であり、「ｍ」は光軸間
の距離（基線長）である。本図（ｂ）は本図（ａ）の右
側の撮像装置を基線長「ｍ」だけ移動させ、左側の撮像
装置に重ねた状態にしたものである。本図（ｂ）に示さ
れるように、三角形ＡＢＣと三角形ＡＤＥは互いに相似
である。そこで（ａ＋ｂ）とｍとの比はｆとｄとの比と
同じになる。式にすると、（ａ＋ｂ）：ｍ＝ｆ：ｄとなり、これを変形すると下記式のようになる。

【０００４】ｄ＝ｆ・ｍ／（ａ＋ｂ） …（１）ｍとｆとを予め計測しておき、（ａ＋ｂ）の距離を計測
できれば距離ｄは式（１）から導ける。これを立体視法
という。図８での（ａ＋ｂ）を求める方法は、左右の画
像中の対象物の輝度値を少しずつずらしながら比較し、
最も一致するずらし量を求める。このずらし量が（ａ＋
ｂ）に相当し、このずらし量（ａ＋ｂ）を視差ｐとい
う。

【０００５】前記の最も一致するずらし量を求める方法
として、一致度を調べる方法に相関計算を使う。以下に
相関計算の方法について、画像認識の書籍などにも紹介
されている標準的な方法を説明する。その他の方法とし
てこの標準的な方法を拡張したものがある。説明を簡素
にするために、まず一次元の輝度値列で説明する。図９
は図８の撮像素子１４及び１５に形成される画像の例を
示す図である。本図（ａ）は撮像素子１４による左画像
（「左目画像」という）、撮像素子１５による右画像
（「右目画像」という）を示す。

【０００６】図１０は図９のそれぞれ参照符号２２及び
２３の１行の輝度値を取り出した例を示すグラフであ
る。本図に示す参照符号２４及び２５はそれぞれ左目画
像、右目画像の輝度値のグラフである。この左目画像の
グラフを右目画像のグラフに重なるまでずらしたずらし
量が視差である。図１１は図１０から図９の対象物２１
の部分を取り出した例を示すグラフである。本図の参照
符号４１の左目画像の輝度値の並びを数列として扱いｂ
n とし、参照符号４２の右目画像の輝度値も同様にａn
とし、下記式の相関関数を計算する。

【０００７】ここに、ｎは画像の画素番号、ｉは画素番号のずらし量
であり、０からＳまで整数でずらし量を１ずつ増加させ
て、上記Ｖ（ｉ）が計算される。Ｓは、計測装置に予め
検出範囲として設定される最も近い距離に関する視差に
依存する。ｗは相関計算を行う幅で、目的によって値が
設定される。例えば、図１１に示されるように、参照符
号４２において対象物２１は画素番号１から１２に対応
しているので、ｗを１０とすると最も良い視差が得られ
る。しかし、実際にこの方法を応用する場合には、画像
上の対象物の位置と大きさが未知であることが多い。そ
こで、一般的にはｗの値には経験的に最も良いとされる
値が採用される。

【０００８】図１２はＶ（ｉ）の結果の例を示す図であ
る。本図に示すように、参照符号５１は相関値が最も小
さくなり、この時のｉが視差である。また、精度をより
必要とする場合には、参照符号５２のように補間計算に
よって算出した点を視差とすることも多い（補間方法は
多々ある）。以上の説明は一次元撮像装置を用いた場合
若しくは１行毎に相関計算を行う場合であったが、二次
元撮像装置を用いた場合には、一般的には１行毎に行う
のではなく、複数行をまとめた領域で相関計算を行う方
法がある。

【０００９】図１３は二次元撮像装置の相関計算方法を
説明する図である。本図（ａ）に示すように、その方法
の第１に、縦の１列毎に和を求め（射影）、１行相当の
情報にし、前述の計算を行う方法（射影方式）がある。
本図（ｂ）に示すように、第２に、上記式（２）をその
まま二次元で行う方法（エリア方式）がある。射影方式
については、先に説明した一次元の計算をそのままでよ
いが、エリア方式については、横方向の１行についてそ
れぞれＶ（ｉ）が計算され、同じｉの所の和が求められ
評価される。また、射影方式は横方向の情報を圧縮する
ため、左右画面の縦方向のずれに強く、計算時間も短
い。

【００１０】

【発明が解決しようとする課題】ところで、上記障害物
検出装置では一組の二次元撮像素子により取得した画像
を用いて障害物の検出を行う場合、これまでは画像全体
について処理が行われていた。しかしながら、これでは
計算量が多いため、緊急の場合には処理が間に合わなく
なり支障をきたすことがあるという問題がある。

【００１１】したがって、本発明は、上記問題点に鑑
み、効率的に障害物を検出することができる障害物検出
装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明は、前記問題点を
解決するために、次の構成を有する障害物検出装置を提
供する。自車両の前方視界を撮像素子により取得し、そ
の前方視界の画像から立体物を抽出し障害物を検出する
障害物検出装置には、前記自車両の位置を中心にかつ自
車両の進行方向に向かって、前記前方視界を複数の危険
領域に区切り、前記自車両の位置を中心として外側に向
かって前記複数の危険領域を移動してこの移動領域で立
体物を検出する検出領域移動手段が設けられる。検出停
止手段は前記複数の危険領域で最初に立体物が検出され
た場合にはこの立体物を障害物として認め前記検出領域
移動手段による立体物の検出を停止させる。

【００１３】

【作用】本発明の障害物検出装置によれば、前記自車両
の位置を中心にかつ自車両の進行方向に向かって、前記
前方視界が複数の危険領域に区切られ、前記自車両の位
置を中心として外側に向かって前記複数の危険領域が移
動してこの移動領域で立体物が検出される。前記複数の
危険領域で最初に立体物が検出された場合にはこの立体
物を障害物として認め前記検出領域移動手段による立体
物の検出が停止されることにより、画像全体について処
理を行わずに、最も認識したい立体物の検出ができ、計
算量が低減でき、効率的に障害物の検出が可能になる。

【００１４】

【実施例】以下本発明の実施例について図面を参照して
説明する。図１は本発明の実施例に係る障害物検出装置
の構成を示す図である。本図に示すように、障害物検出
装置には撮像装置１１１、１１２が設けられる。各撮像
装置１１１、１１２は、図８で説明したレンズ、撮像素
子を有し画像信号を出力する。各撮像装置１１１、１１
２にそれぞれ接続されるＡ／Ｄ変換器１１３、１１４
（Analog to Digital Converter)は入力して得られた画
像信号を、例えば、２５６階調の輝度値に変換する。Ａ
／Ｄ変換器１１３、１１４に接続される障害物検出用計
算機１１５は変換された輝度値を入力し、入力輝度値を
用いて立体物を抽出する立体物抽出手段１１６と、立体
物抽出データを基に障害物を検出する障害物検出手段１
１７と、障害物との距離を視差から計算する視差計算手
段１１８とを具備する。距離計算機１１５には、得られ
た障害物に対する警告、距離等を表示する警告又は距離
表示器１１９が接続される。

【００１５】次に、効率的に障害物の検出を行うことを
可能にする障害物検出用計算機１１５について、以下に
詳細に説明する。車両の前方視界中に存在する障害物に
おいて、距離が近くかつ自分の進路上に存在するもの
が、最も危険な障害物であり、最も認識したい対象物で
ある。したがって、障害物検出用計算機１１５はこの最
も認識したい対象物を優先的に検出するために以下のよ
うに構成される。

【００１６】まず、障害物検出用計算機１１５は道路上
の情報から区別して障害物である立体物のみを抽出する
立体物抽出手段１１６を具備する。ここに、立体物は、
道路の平面に垂直に立つものと定義され、以下により詳
細に説明する。図２は地面からある高さに、進行方向を
向いた撮像手段を置いて取り込んだ平面もしくはほとん
ど平面に近い二次元平面と仮定できる道路の画像を示す
図である。本図に示すように、自車両が走行する道路の
車線の前方に他の車両である対象物１が存在し、隣の車
線には他の車両である対象物２が存在し、左側の歩道に
は道路標識である対象物３が存在し、さらに電信柱であ
る対象物４が存在する。これらの対象物１、２、３及び
４が道路の平面に垂直な立体物である。以下にこの立体
物の抽出について説明する。

【００１７】図３は二つの撮像装置より得られた画像の
差分画像を形成して立体物を抽出する例を説明する図で
ある。本図（ａ）に示すように、車両の前方の映像は左
右の撮像装置１１１、１１２で取り込まれると、立体物
抽出手段１１６により重ねられる。実線が右画像であ
り、破線が左画像である。ここで、道路の平面を平坦と
みなすときは、道路面の視差は画面の垂直方向に変化す
るが、立体物の視差は変化せず一定である。そこで、片
方の画像を、画像の垂直位置毎に路面視差分を打ち消す
ように、平行移動させた後に両画像の差分画像を作成す
ると、路面の標識等を含む道路の平面の情報は消去され
る。一方、本図（ｂ）に示すように、立体物の立体視差
は、路面視差と異なり斜線のように残り、このため立体
物が存在する領域が残る。なお、平行移動させる距離は
装置の設置条件を基に予め設定されるようにしてもよ
い。このようにして、道路の平面の情報を除去して障害
物の候補である立体物が容易に抽出される。

【００１８】次に、障害物検出用計算機１１５は、立体
物抽出手段１１６で抽出された立体物から障害物を検出
する障害物検出手段１１７を具備する。該障害物検出手
段１１７は視界を複数の危険領域に区切り、最も認識し
たい領域から立体物の検出領域を移動していく検出領域
移動手段２００と、検出領域内で最初に発見された立体
物を障害物として認識し検出を停止する検出停止手段２
０１とを具備する。まず、検出領域移動手段２００につ
いて説明する。

【００１９】図４は複数の立体物から障害物を検出する
例を説明するための図である。本図に示すように、視界
中心下部より視界周辺に向かって、自車からの距離が大
きくなる。すなわち、視界中心下部は自車に近い立体物
であり、視界中心上部は自車ら遠い立体物である。道路
面上に存在する立体物は空中に浮かんでいないため、視
界下部より上部に向かって立体物を検出していけば、距
離の近い立体物から、すなわち、危険な立体物から順に
検出されることになる。さらに、自分の進行方向は中心
線上を下から上に向かっており、同じ距離にある立体物
であっても自分の進路上にある立体物、すなわち、中心
線に近い立体物の方が危険である。

【００２０】図５は、視界を複数の領域に区切り、最も
危険な領域に存在する立体物を障害物として検出する例
を示す図であり、図６は図５の障害物の検出の変形を示
す図である。図５、６に示すように、検出領域移動手段
２００では、自車前方の視界に対して、危険の程度を示
すために自車の位置からの距離、自車の進行する中心線
をパラメータとして、例えば、視界を複数の危険領域Ｒ
１、Ｒ２、Ｒ３、Ｒ４、Ｒ５に区切る。このような、複
数の危険領域の内から外に向かって、すなわち、危険領
域Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５の順に移動して立体物
の存在が検出される。このため、危険度の高い立体物、
すなわち、認識したい立体物から順に検出されていくこ
とになる。

【００２１】次に、検出領域移動手段２００により立体
物の検出が一定の順序で行われるが、検出停止手段２０
１は、検出領域移動手段２００による最初に障害物の検
出の有無を判断し、検出されたとの判断で、検出領域移
動手段２００の検出処理を停止させかつこの結果を警報
又は距離表示器１１９に表示させる。本発明は、車両の
走行進路上の危険を効率的に発見することが目的である
から、進行方向上にある最も危険な位置に存在する立体
物を障害物として検出すれば、目的は果たされる。すな
わち、計算量を少なくでき、効率化が図れる。

【００２２】図７は本発明の実施例の一連の動作を説明
する図である。ステップＳ１において、立体物抽出手段
１１６は各撮像装置１１１、１１２からの画像を取り込
む。ステップＳ２において、各撮像装置１１１、１１２
からの右画像及び左画像を平行移動して両画像の差分画
像を形成し道路の平面の像を消去し、立体物の像だけを
抽出する。

【００２３】ステップＳ３において、検出領移動手段２
００において、危険領域Ｒ＝１に設定して、立体物の検
出を開始する。ステップＳ４において、検出停止手段２
０１において、危険領域Ｒ＝１に立体物すなわち立体物
が存在するかを判断する。ステップＳ５において、上記
判断が「ＹＥＳ」で、立体物が有るならばこれを障害物
として判断し、検出領域移動手段２００の検出を停止さ
せる。

【００２４】ステップＳ６において、「障害物有り」の
警告を警報又は距離表示器１１９により行う。ステップ
Ｓ７において、前述の式（１）により障害物までの距離
を計算する。ステップＳ８において、上記距離を警報又
は距離表示器１１９により表示して、処理を終了する。

【００２５】ステップＳ９において、ステップＳ４での
判断が「ＮＯ」なら、立体物無しとの判断なら、危険領
域Ｒ＝Ｒmax の成否を判断する。この判断が「ＹＥＳ」
なら、自車前方の視界のどの危険領域にも障害物がない
ので処理を終了する。ステップＳ１０において、上記判
断が「ＮＯ」の場合には、Ｒをカウントアップして、検
出領域移動手段２００により、次の危険領域で、障害物
の有無の検索を続行するため、ステップＳ４に戻り、上
記処理を繰り返る。

【００２６】

【発明の効果】以上説明したように本発明によれば、自
車両の位置を中心にかつ自車の進行方向に向かって、前
方視界が複数の危険領域に区切られ、自車両の位置を中
心として外側に向かって複数の危険領域が移動してこの
移動領域で立体物が検出され、複数の危険領域で最初に
立体物が検出された場合にはこの立体物を障害物として
認め立体物の検出が停止されるので、画像全体について
処理を行わずに、最も認識したい立体物の検出ができ、
計算量が低減でき、効率的に障害物の検出が可能にな
る。

【図面の簡単な説明】

【図１】本発明の実施例に係る障害物検出装置の構成を
示す図である。

【図２】地面からある高さに、進行方向を向いた撮像手
段を置いて取り込んだ平面もしくはほとんど平面に近い
二次元面と仮定できる道路の画像を示す図である。

【図３】二つの撮像装置より得られた画像の差分画像を
形成して立体物を抽出する例を説明する図である。

【図４】複数の立体物から障害物を検出する例を説明す
るための図である。

【図５】視界を複数の領域に区切り、最も危険な領域に
存在する立体物を障害物として検出する例を示す図であ
る。

【図６】図５の障害物の検出の変形を示す図である。

【図７】本発明の実施例に一連の動作を説明する図であ
る。

【図８】従来の一般的な立体視に基づく距離計測装置の
構成を示す図である。

【図９】図８の撮像素子１４及び１５に形成される画像
の例を示す図である。

【図１０】図９のそれぞれ参照符号２２及び２３の１行
の輝度値を取り出した例を示すグラフである。

【図１１】図１０から図９の対象物２１の部分を取り出
した例を示す図である。

【図１２】Ｖ（ｉ）の結果の例を示す図である。

【図１３】二次元撮像装置の相関計算方法を説明する図
である。

【符号の説明】

１１１、１１２…撮像装置１１５…障害物検出用計算機１１６…立体物抽出手段１１７…障害物検出手段１１８…視差計算手段１１９…警報又は距離表示器２００…検出領域移動手段２０１…検出停止手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０８Ｂ 21/00 ＨＧ０８Ｇ 1/16 Ｃ

Claims

【特許請求の範囲】

【請求項１】自車両の前方視界を撮像素子により取得
し、その前方視界の画像から立体物を抽出し障害物を検
出する障害物検出装置において、前記自車両の位置を中心にかつ自車両の進行方向に向か
って、前記前方視界を複数の危険領域に区切り、前記自
車両の位置を中心として外側に向かって前記複数の危険
領域を移動してこの移動領域で立体物を検出する検出領
域移動手段と、前記複数の危険領域で最初に立体物が検出された場合に
はこの立体物を障害物として認め前記検出領域移動手段
による立体物の検出を停止させる検出停止手段とを備え
ることを特徴とする障害物検出装置。
【請求項２】前記障害物の検出の結果を警告すること
を特徴とする、請求項１に記載の障害物検出装置。
【請求項３】検出された前記障害物との距離を、視差
を基に、算出することを特徴とする、請求項１に記載の
障害物検出装置。