JP2000293693A

JP2000293693A - 障害物検出方法および装置

Info

Publication number: JP2000293693A
Application number: JP11130451A
Authority: JP
Inventors: Hiroshi Hattori; 寛服部; Kenichi Maeda; 賢一前田; Kazunori Onoguchi; 一則小野口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-03-31
Filing date: 1999-03-31
Publication date: 2000-10-20

Abstract

(57)【要約】【課題】キャリブレーションを行うことなく走行中に振
動や路面自体に傾斜があつても路面上に存在する障害物
を検出する。【解決手段】複数の線を有する道路平面上の障害物領域
を検出する障害物検出装置１。障害物検出装置１は、道
路平面を撮影する２台のＴＶカメラ２ａ、２ｂと、ＴＶ
カメラ２ａ、２ｂによりそれぞれ撮影された左画像、右
画像を蓄積する画像蓄積部３と、この画像蓄積部３に蓄
積された左画像、右画像上に表された複数の線を抽出
し、抽出した複数の線に基づいて左画像、右画像間の対
応点を求める特徴抽出部４と、この特徴抽出部４により
求められた対応点に基づいて、道路平面上の任意の点の
左画像、右画像への投影位置の間に成り立つ関係式のパ
ラメータを計算する関係式パラメータ計算部５と、この
関係式パラメータ計算部５により計算されたパラメータ
により定まる関係式に基づいて道路平面に対して異なる
高さを有する領域を障害物領域として検出する検出部６
とを備えている。

Description

【発明の詳細な説明】

【発明の属する技術分野】道路等の面上を走行する自動
車等の車両の運転を支援するために、ＴＶカメラによ
り、先行車等の他車両や歩行者等の道路上に存在する自
車両以外の物体（以下、障害物と定義する）を検出する
障害物検出方法および装置に関する。

【従来の技術】道路上の障害物を検出するための技術
は、その障害物検出手段としてレーザや超音波等を利用
するものと、ＴＶカメラを利用するものとに大別され
る。障害物検出手段としてレーザを利用する方式は、レ
ーザ自体が高価であるため、非実用的である。また、障
害物検知手段として超音波を利用する方式は、超音波の
解像度が低いため、障害物の検出精度に問題があり、こ
れも実用性を阻害している。上記２つの方式に対して、
障害物検出手段としてＴＶカメラを使用する方式は、Ｔ
Ｖカメラ自体が比較的安価であり、その解像度や計測精
度、計測範囲等の面からも障害物検出に適することが分
かっている。道路上の障害物検出手段としてＴＶカメラ
を用いる場合、１台のＴＶカメラを使用する方法と複数
台のカメラ（ステレオカメラ）を使用する方法がある。
１台のＴＶカメラを使用する方法は、そのカメラで撮影
した１枚の画像から、輝度や色、あるいはテクスチャ
（模様）等の情報を手がかりにして道路領域と障害物領
域とを分離する。例えば、画像中で彩度の低い中程度の
輝度領域、つまり灰色の領域を抽出して道路領域を求め
たり、テクスチャの少ない領域を求めて道路領域を抽出
し、それ以外の領域を障害物領域としている。しかしな
がら、道路上には、道路に類似した輝度、色、あるいは
テクスチャを有する障害物も数多く存在するため、この
方法で障害物領域と道路領域とを区別するのは困難であ
る。これに対し、複数台のＴＶカメラを用いる方法は３
次元情報を手がかりにして道路上の障害物を検出する。
これは一般にステレオ視と呼ばれる検出方式である。ス
テレオ視とは、例えば２つのカメラを左右に配置し、３
次元空間中で同一点である点を左右画像間で対応づけ、
三角測量の要領で、その点の３次元位置を求めるもので
ある。各カメラの道路平面に対する位置や姿勢等をあら
かじめ求めておくと、ステレオ視により、画像中の任意
の点の道路平面からの高さを得ることができ、この高さ
の有無により、障害物領域と道路領域とを分離すること
ができる。このステレオ視を用いた障害物検出方式によ
れば、１台のカメラを用いた場合で区別することが困難
であった道路に類似した輝度、色、あるいはテクスチャ
を有する障害物を道路領域と区別して検出することが可
能である。ところで、通常のステレオ視技術は、画像上
の任意の点のワールド座標系（絶対座標系）に対する３
次元位置を求める技術であり、このためには、あらかじ
め各カメラのワールド座標系に対する関係｛位置、姿勢
（撮影方向等）、カメラレンズの焦点距離等｝に関する
パラメータ（関係式パラメータ）を求める必要がある。
以下、関係式パラメータを求める作業（処理）をキャリ
ブレーションと呼ぶ。キャリブレーションは、ワールド
座標系に対する位置が既知の多数の点を用意し、それら
の点の画像への投影位置を求め、ワールド座標系に対す
るカメラの位置や姿勢、カメラレンズの焦点距離等に関
する関係式パラメータを算出する作業である。しかしな
がら、上記キャリブレーション作業を行うには、多大な
時間と労力を必要とするという問題がある。そこで、画
像上で道路領域と障害物領域とを分離することのみに着
目して、キャリブレーションを行うことなく、道路平面
からの高さの有無を判別し、高さ有り→道路平面上の障
害物、高さ無し→道路平面として、障害物を検出する方
式が考え出されている。このとき、道路平面からの高さ
の有無は、以下のようにして判別できる。道路平面上の
点の左右画像への投影点を（ｕ，ｖ），（ｕ’，ｖ’）
とすれば、

【数１】 ★

【外１】 ★● この関係式を用いて、左画像上の任意の点Ｐ（ｕ，ｖ）
が道路平面上に存在すると仮定した場合の右画像上の対
応点Ｐ′（ｕ’，ｖ’）を求める。点Ｐが道路平面上に
存在すれば、点ＰとＰ′が正しい対応点の組となるの
で、２点の輝度の差は小さくなる。したがって、点Ｐと
Ｐ’の輝度の違いが大きい場合には、点Ｐは障害物領域
に属すると判定することができ、キャリブレーションを
行うことなく障害物の判定を行うことが可能である。

【外２】 ★

【発明が解決しようとする課題】上述したように、複数
台のＴＶカメラを用いて道路平面からの高さの有無によ
りキャリブレーションを行うことなく障害物を検出する
障害物検出装置は、超音波やレーザを検出手段として利
用する装置と比べて安価で、かつ検出精度が高く、しか
も、キャリブレーション作業を不用にして障害物検出に
かかる時間および労力を低減するという多くの利点を有
している。

【外３】 ★● 本発明は上述した事情に鑑みてなされたもので、エビポ
ーラ拘束のみが既知な複数のＴＶカメラを用いて撮影し
た複数枚の画像から、面上の２本以上の線の投影像を抽
出し、抽出した投影像から面と各カメラとの幾何学的な
関係を求めることにより、キャリブレーションが不要
で、走行中に振動や路面自体に傾斜があつても、路面上
に存在する障害物を検出することができる障害物検出方
法および装置を提供することをその目的とする。

【課題を解決するための手段】上述した目的を達成する
ための第１の発明によれば、複数の線を有する面上の障
害物領域を検出する障害物検出装置であって、画像を撮
影する複数の撮影デバイスと、この複数の撮影デバイス
によりそれぞれ撮影された複数の画像を記憶する画像記
憶手段と、この画像記憶手段に記憶された複数の画像上
に表された前記複数の線を抽出し、抽出した複数の線に
基づいて前記複数の画像間の対応点を求める抽出手段
と、この抽出手段により求められた対応点に基づいて、
前記面上の任意の点の各画像への投影位置の間に成り立
つ関係式のパラメータを計算するパラメータ計算手段
と、このパラメータ計算手段により計算されたパラメー
タにより定まる関係式に基づいて前記面に対して異なる
高さを有する領域を障害物領域として検出する検出手段
とを備えている。第１の発明において、前記複数の撮影
デバイスの内の１つの基準撮影デバイスにより撮影され
た画像を基準画像とし、残りの撮影デバイスにより撮影
された画像を参照画像としたとき、前記基準画像上の任
意の点に対応する前記参照画像上の対応点は、前記基準
画像上の任意の点と前記基準撮影デバイスの視点とを結
ぶ直線の前記参照画像上への投影直線上に拘束される。
第１の発明において、好適には、前記抽出手段は、前記
基準画像上の複数の線および前記基準画像に対する前記
参照画像上への投影直線に基づいて前記基準画像および
前記参照画像間の対応点の組を求めており、前記パラメ
ータ計算手段は、前記抽出手段により求められた前記基
準画像および前記参照画像間の複数の対応点の組に基づ
いて、前記面上の任意の点の前記基準画像および前記参
照画像に対する投影位置の間に成り立つ関係式のパラメ
ータを求める手段である。第１の発明において、特に、
前記抽出手段は、前記基準画像上の複数の線の内の一本
の線１上の第１の複数の点と前記参照画像上の投影線と
の交点を第１の複数の対応点として求め、前記基準画像
上の複数の線の内の１以外の一本の線上の第２の複数の
点と前記参照画像上の投影線との交点を第２の複数の対
応点として求めることにより、前記第１の複数の点およ
び第１の複数の対応点の組と前記第２の複数の点および
第２の複数の対応点の組とを求めるようにしている。第
１の発明において、好適には、前記検出手段は、前記基
準画像上の任意の点が前記面上に存在すると仮定した場
合に、前記任意の点に対応する前記参照画像上の対応点
を、前記関係式パラメータにより定まる関係式に基づい
て求め、前記基準画像上の任意の点の輝度と求められた
前記参照画像上の対応点の輝度とを比較することによ
り、前記基準画像上の任意の点が前記面に対して異なる
高さを有する障害物領域に属するか否かを判定するよう
にしている。第１の発明において、前記検出手段は、前
記参照画像を、当該参照画像の任意の点が前記面上に存
在すると仮定した場合に、前記基準撮影デバイスで得ら
れる画像に変換する変換手段と、前記基準画像と前記変
換手段により変換された参照画像との差異を計算し、計
算された差異に基づいて、前記参照画像上の任意の点が
前記面に対して異なる高さを有する障害物領域に属する
か否かを判定する差異計算手段とを備えている。第１の
発明において、前記面は実空間で移動する移動体が走行
する路面であり、前記障害物検出装置を前記移動体に搭
載している。上述した目的を達成するための第２の発明
によれば、複数の線を有する面上の障害物領域を検出す
る障害物検出方法であって、複数の画像を撮影するステ
ップと、撮影ステップにより撮影された複数の画像を記
憶するステップと、この記憶ステップにより記憶された
複数の画像上に表された前記複数の線を抽出し、抽出し
た複数の線に基づいて前記複数の画像間の対応点を求め
るステップと、このステップにより求められた対応点に
基づいて、前記面上の任意の点の各画像への投影位置の
間に成り立つ関係式のパラメータを計算するステップ
と、このパラメータ計算ステップにより計算されたパラ
メータにより定まる関係式に基づいて前記面に対して異
なる高さを有する領域を障害物領域として検出するステ
ップとを備えている。

【発明の実施の形態】本発明の実施の形態を添付図面を
参照して説明する。なお、本実施形態においては、自動
車等の路面（道路平面）上を走行する車両に搭載した左
右２台の画像撮影デバイス（ＴＶカメラ、ステレオカメ
ラ）から、その走行方向前方における歩行者や先行車等
の道路平面上に存在する障害物を検出する状況を想定
し、その想定状況での障害物検出装置による障害物検出
処理について説明する。図１は、本実施の形態に係る障
害物検出装置１の概略構成を示すブロック図である。本
実施形態の障害物検出装置１は、道路平面上を走行する
車両に搭載されており、自車両の走行時の振動や道路平
面の傾斜等により時々刻々変化する道路平面と各ＴＶカ
メラとの幾何学的関係求め、その幾何学的関係を用いて
道路平面上に存在する障害物を検出し、検出した障害物
を表示するようになっている。すなわち、障害物検出装
置１は、自車両に係る３次元空間内の共通の面である例
えば走行方向前方の道路平面上の画像を撮影する左右２
台のＴＶカメラ（左側ＴＶカメラ２ａ、右側ＴＶカメラ
２ｂ）を有する画像撮影部２と、ＴＶカメラ２ａにより
撮影された画像（左画像）およびＴＶカメラ２ｂにより
撮影された画像（右画像）を蓄積（記憶）するための画
像蓄積部３と、左画像および右画像上において特徴とな
る２本以上の線を抽出するための特徴抽出部４と、抽出
された特徴線に基づいて関係式パラメータを計算するパ
ラメータ計算部５と、計算された関係式パラメータに基
づいて道路平面に対して異なる高さを有する点を求め
て、この点を障害物（障害物領域）として検出する検出
部６とを備えている。本実施形態においては、図２に示
すように、上記道路平面上の２本の線を、道路平面両端
の２本の白線（１，１′）とし、直線１，１′方向をＹ
軸、このＹ軸に対して道路平面に沿って直交する方向を
Ｘ軸とするワールド座標系（絶対座標系）を設定する。
画像撮影部２は、左右２台のＴＶカメラ２ａ、２ｂによ
り道路平面上の２枚の画像（左画像ＩＬ、右画像ＩＲ）
をそれぞれ撮影するようになっている。各ＴＶカメラ２
ａ、２ｂは、例えば所定間隔を空けて、例えばワールド
座標系のＸ軸方向に沿った左右に並べて取りつけられて
おり、その撮影方向は、走行車両の前方に限らず、後方
やサイド方向であってもよい。また、各ＴＶカメラ２
ａ、２ｂの焦点距離を切り換えることにより、道路平面
（路面）の状況に応じて、広角撮影および望遠撮影を行
うことも可能である。そして、本実施形態における２台
のＴＶカメラ２ａ、２ｂは、そのワールド座標系に対す
る位置や姿勢は未知で、エピポーラ拘束のみが既知であ
るとし、走行中に変化しないように構成されている。こ
こで、エピポーラ拘束とは、一般的なステレオカメラに
対して成り立つ拘束であり、一方の画像（本実施形態で
は左画像とし、この画像を基準画像とも呼ぶ）上の任意
の点ｋに対応する他方の画像（本実施形態では右画像と
し、この画像を参照画像とも呼ぶ）上での点（対応点）
ｋ’は、図３に示すように、その右画像ＩＲ上のある直
線上に拘束されることを意味する。この直線のことをエ
ピポーララインＥＬと呼ぶ。このエピポーララインＥＬ
は、左画像ＩＬ上の点ｋと左側ＴＶカメラ２ａの視点
（レンズの中心点位置）とを右画像ＩＲ上に投影してそ
れらを結ぶことにより定められる。例えば、各ＴＶカメ
ラ２ａ、２ｂの光軸を平行に配置した場合には、左画像
ＩＬ上の任意の点の右画像ＩＲ上での対応点は、その右
画像ＩＲ上における同一走査線上に存在するので、エピ
ポーララインと走査線は一致する。エピポーラ拘束は、
ステレオカメラ（左側ＴＶカメラ２ａ、右側ＴＶカメラ
２ｂ）間の相対的な位置・姿勢の関係と、各カメラ２
ａ、２ｂの内部パラメータ、すなわち、各カメラレンズ
の焦点距離、画像原点等に依存するため、エビポーラ拘
束が不変であるということは、ステレオカメラ２ａ、２
ｂの相対的な位置関係等が走行中に変化しないことを意
味する。エピポーラ拘束は以下のようにして求めてお
く。今、ステレオ画像（左画像ＩＬ、右画像ＩＲ）の任
意の対応点の組（ｕ_ｉ，ｖ_ｉ）、（ｕ_ｉ’，ｖ_ｉ’）
（ｉ＝１，２，…，Ｎ）には、

【数２】 ★ （但し、Ｆは、３×３のマトリクス）という関係式が成
り立つ。８組以上、すなわち、Ｎ＝８以上の対応点の組
からマトリクスＦを求めることができる。すなわち、マ
トリクスＦを対応点の組のみを用いて求めることができ
るため、ワールド座標系に対する３次元位置が既知な点
を用意する必要がなく、前述したキャリブレーション処
理（作業）に比べて、非常に簡単な処理によりマトリク
スＦを求めることができる。このようにして、マトリク
スＦが求まると、左画像ＩＬ上のある点（ｕ，ｖ）の対
応点は、右画像ＩＲ上の直線

【数３】 ★ 上にあることとなり、これがエビポーララインＥＬとな
る。すなわち、式（２）がエピポーラ拘束を表す。ここ
で、Ｆ_ｉｊ（ｉ，ｊ＝１，２，３）はマトリクスＦのｉ
行ｊ列の要素である。画像蓄積部３は、画像メモリを有
しており、画像撮影部２の各ＴＶカメラ２ａ、２ｂによ
り撮影された２枚の画像（左画像ＩＬ、ＩＲ）を画像メ
モリにそれぞれ蓄積するようになっている。特徴抽出部
４は、演算処理プロセッサおよびメモリを有しており、
最初に、画像蓄積部２により蓄積された２枚の画像（左
画像ＩＬ、右画像ＩＲ）上において、道路両端の２本の
直線（白線）１，１’をそれぞれ抽出する。なお、上記
２本の直線抽出は、Ｈｏｕｇｈ変換等を用いて行なう。
直線１と１’は左右画像ＩＬ、ＩＲ上において、各々交
点（消失点）Ｖ、Ｖ’を持ち、Ｖ’はＶのエピポーララ
インＬｖ上にあることを利用すれば、計算量を削減する
ことが可能である。このとき、左画像ＩＬ上における直
線１上の任意の２点を各々Ａ、Ｃ、直線１’上の任意の
２点を各々Ｂ、Ｄとすると、特徴抽出部４は、これら４
点の右画像ＩＲ上の対応点Ａ’，Ｂ’，Ｃ’，Ｄ’を、
エピポーラ拘束を用いることにより求める。すなわち、
点Ａの対応点Ａ’は、右画像ＩＲ上において、直線１と
点ＡのエピポーララインＬＡの交点として求めることが
でき、同様に、点Ｂ’，Ｃ’，Ｄ’も、それぞれ、点
Ｂ、Ｃ、ＤのエビポーララインＬＢ、ＬＣ、ＬＤの交点
として求めることができる。ここで、得られた点Ａ，
Ｂ，Ｃ，Ｄおよび点Ａ’，Ｂ’，Ｃ’，Ｄ’の座標デー
タを、それぞれ（ｕ_Ａ、ｖ_Ａ），（ｕ_Ｂ、ｖ_Ｂ），（ｕ
_Ｃ、ｖ_Ｃ），（ｕ_Ｄ，ｖ_Ｄ），（ｕ’_Ａ，ｖ’_Ａ），
（ｕ’_Ｂ，ｖ’_Ｂ），（ｕ’_Ｃ、ｖ’_Ｃ），（ｕ’_Ｄ、
ｖ’_Ｄ）とする。パラメータ計算部５は、演算処理プロ
セッサおよびメモリを有しており、特徴抽出部４により
求められた４組の点の対応関係に基づいて、道路平面上
の任意の点の左画像ＩＬ上の投影点（ｕ，ｖ）と右画像
ＩＲ上の投影点（ｕ’，ｖ’）の間に成り立つ関係式の
パラメータ（関係式パラメータ）を計算する。今、道路
平面上の任意の点Ｐ（Ｘ，Ｙ）の左右画像ＩＬ，ＩＲ上
への投影点をそれぞれ（ｕ，ｖ），（ｕ’，ｖ’）とす
れば、

【数４】 ★ なる関係式が成り立つ。

【外４】 ★●

【外５】 ★●

【外６】 ★

【数５】 ★●

【外７】 ★● 検出部６は、演算処理プロセッサおよびメモリを有して
おり、左画像ＩＬ上の任意の点Ｐ（ｕ，ｖ）の輝度をＢ
_Ｌ（ｕ，ｖ）とし、この点Ｐ（ｕ，ｖ）が道路平面上に
存在すると仮定した場合の上記点Ｐ（ｕ，ｖ）の右画像
ＩＲ上での対応点Ｐ’（ｕ，ｖ）を前掲（４）式に基づ
いて求める。今、求められた点Ｐ’（ｕ’，ｖ’）の輝
度をＢ_Ｒ（ｕ，ｖ）とすると、点Ｐ（ｕ、ｖ）が実際に
道路平面上に存在すれば、点ＰとＰ’は正しい対応点の
組となるから、基本的には点ＰとＰ’の輝度が同じにな
る。すなわち、

【数６】 ★ とした場合、検出部６は、Ｄ≠０，あるいは誤差を考慮
し、Ｄ＞Ｔｈｒ（Ｔｈｒはあらかじめ設定した閾値）と
なる点Ｐを障書物領域に属すると判定し、この点Ｐを障
害物として検出することができる。

【外８】 ★● したがって、障害物（障害物検出領域）の検出精度を向
上させることができ、車両の安全性・信頼性の一層の向
上に寄与することができる。例えば、図５に示すよう
に、検出部６により検出された障害物領域情報および自
車両における例えば運転手のハンドル操作に応じた運転
方向指示情報に基づいて警報発生処理を行う警報発生部
７を設けておくことにより、運転手のハンドル操作によ
り、自車両を障害物領域（障害物）に向かわせるための
運転方向指示情報が警報発生部７に送られると、警報発
生部７は、障害物領域情報および運転方向指示情報に基
づいて自車両が障害物領域に向かって走行することを判
断し、警報を発生する。この結果、走行車両の運転手
は、自車両が障害物へ向かって走行していることを認識
することができるため、車両の安全性・信頼性の一層の
向上に寄与することができる。さらに、本実施形態の変
形例として、図６に示すように、自車両内の運転手が視
認できる位置に取り付けられたディスプレイ８と、画像
蓄積部３に蓄積された例えば左画像ＩＬをそのディスプ
レイ８に表示し、検出部６により検出された障害物領域
情報に基づいて、上記左画像ＩＬに対して、障害物領域
以外の安全領域と障害物領域との表示態様を異ならせる
表示処理（例えば、安全領域を緑の表示色、障害物領域
を赤の表示色にする処理や、障害物領域を表すマーカを
左画像ＩＬ上の障害物領域の座標位置に重畳表示する処
理等を行う画像処理プロセッサ９とを設けてもよい。こ
のように構成すれば、走行車両の前方に存在する障害物
領域と安全領域とがディスプレイ８上で明確に識別でき
るため、ディスプレイ８を視認することにより、運転手
の視界の死角に存在する障害物等を容易かつ確実に認識
することができ、車両の安全性・信頼性の一層の向上に
寄与することができる。なお、本実施形態においては、
画像撮影部２の２台のＴＶカメラ２ａ、２ｂを左右に並
べて車両に搭載し、ＴＶカメラ２ａ、２ｂにより２枚の
画像を撮影しているが、これら２台のカメラ２ａ、２ｂ
は、エピポーラ拘束を維持し、自車両に係る共通の平面
をそれぞれが撮影可能であれば、どのように配置しても
よい。また、３台以上のＴＶカメラを車両に配置するこ
とも可能である。３台以上のＴＶカメラを用いて本実施
形態の障害検出処理を行う際には、エピポーラ拘束は、
３枚以上の撮影画像の中の１枚の画像を基準画像とし、
その基準画像上の任意の点ｋに対応する残りの各画像
（参照画像）上での対応点ｋ’が各参照画像上のある直
線上に拘束されることを意味する。また、特徴抽出部４
は左画像ＩＬおよび右画像ＩＲ上の４組の点の対応関係
を求めたが、５組以上の対応関係を同様に求めてもよ
い。この場合では、パラメータ計算部５により、その５
組以上の対応関係から得られる１０本以上の連立方程式
を最小自乗法等を用いて解くことも可能である。また、
検出部６は、さらに図７に示すように構成することも可
能である。この変形例において、検出部６は、画像変換
部１０、差異計算部１１を備えており、これら画像変換
部１０、差異計算部１１は、演算処理プロセッサの処理
機能として具体化される。画像変換部１０は、参照画像
である右画像ＩＲを以下の手順に従って画像変換する。
一般に、画像は画像上の点（ｕ，ｖ）を変数とし、その
各点に対して輝度値が定義された関数ｆ（ｕ，ｖ）とし
て表現できる。以下では画像をこのように表現する。例
えば、図８に示すような、先行車両を含むステレオ画像
（左画像、右画像）が撮影されたとし、左画像をｆ
（ｕ，ｖ）、右画像をｇ（ｕ，ｖ）、右画像の変換後の
画像をｇ’（ｕ、ｖ）とすれば、画像変換部１０は、以
下のように、変換画像ｇ′（ｕ，ｖ）を求める。

【数７】ｇ’（ｕ，ｖ）＝ｇ（ｕ’，ｖ’） ……（７）但し、（ｕ’，ｖ’）は、前掲式（４）により求める。
ｇ’（ｕ，ｖ）は、画像ｇ（ｕ，ｖ）上の任意の点が道
路平面上に存在すると仮定した場合に、左側ＴＶカメラ
２ａで得られる画像である。例えば、図９に示す右画像
ｇ（ｕ，ｖ）からは、同図に示すような変換画像ｇ’
（ｕ’，ｖ’）が得られる。図１０に示すように、道路
平面上にある点の投影点は、左画像ｆ（ｕ，ｖ）と変換
画像ｇ’（ｕ’，ｖ’）で同一となるのに対し、道路平
面上にない点、すなわち、障害物（この場合は先行車
両）上の点は、道路からの高さに応じて異なる位置に投
影される。したがって、この左画像ｆ（ｕ，ｖ）と変換
画像ｇ’（ｕ’，ｖ’）との間の差分（画素間差分）を
取ることにより、道路平面上の障害物を検出することが
可能である。すなわち、差異計算部１１は、

【数８】 ★ で表される差分Ｄ’を計算し、このＤ’が、Ｄ′≠０，
あるいは誤差を考慮し、Ｄ′＞Ｔｈｒ（Ｔｈｒはあらか
じめ設定した閾値）となる点（ｕ，ｖ）を障害物領域に
属すると判定し、この点（ｕ，ｖ）を障害物として検出
することができる。また、検出部６の差異検出部は、画
素間差分をとることによって２枚の画像（左画像、右画
像）の差異を検出したが、本変形例はこれに限定される
ものではない。例えば、検出部６の差異検出部は、各画
像（左画像、右画像）の対応する各点（各画素）に対し
て（２ω＋１）×（２ω＋１）のウインドウを設定し、
ウインドウ内の輝度値の正規化相互相関Ｃを計算して差
異を検出することも可能である。この場合、２枚の画像
（左画像、右画像）Ｆ（ｕ，ｖ），Ｇ（ｕ，ｖ）の点
（ｕ，ｖ）Ｃは、

【数９】 ★ で表される。ここで、Ｎ＝（２ω＋１）×（２ω＋
１），ａ１、ａ２は２枚の画像Ｆ（ｕ，ｖ），Ｇ（ｕ，
ｖ）のウインドウ内の輝度の平均、σ^２ _１，σ^２ _２は、
２枚の画像Ｆ（ｕ，ｖ），Ｇ（ｕ，ｖ）のウィンドウ内
の輝度の分散である。このとき、差異計算部１１は、計
算値Ｃ＜Ｔｈｒ（Ｔｈｒはあらかじめ設定した閾値）を
満足する点（ｕ，ｖ）を障害物領域に属すると判定する
ようになっている。上述したように、検出部を変形例に
示したように構成しても、障害物領域を容易に検出する
ことができる。また、本実施例では道路平面の両端の２
本の白線を直線として抽出したが、道路がカーブしてい
る場合には白線は曲線となる。この場合には、白線を曲
線として抽出すれば、同様に障害物を検出することがで
きる。また、本実施形態では、道路面を平面と仮定して
説明したが、曲面の場合であっても、平面の場合と同様
に障害物を検出することができる。さらに、本実施形態
においては、図１に示した各ブロック構成要素４〜６そ
れぞれが演算処理プロセッサおよびメモリを有している
と説明したが、本発明はこれに限定されるものではな
く、１つの演算処理プロセッサおよびメモリにより上述
した特徴抽出部４の特徴抽出処理、関係式パラメータ計
算部の関係式パラメータ計算処理および検出部６の障害
物検出処理を行うように構成することも可能である。と
ころで、本実施形態では、道路面上を走行する車両に搭
載されたＴＶカメラからの障害物検出に関して説明した
が、本発明はこれに限定されるものではなく、例えば、
航空機やヘリコプター等の移動体が滑走路等の路面に着
陸する際の障害物検出にも適用することが可能である。
一方、本実施形態によれば、車両等の移動体に２台以上
のＴＶカメラを搭載した場合について説明したが、本発
明はこれに限定されるものではない。例えば、図１１に
示すように、移動体（車両１５）には１台のＴＶカメラ
２を搭載し、予め車両１５が走行する道路の路側の上方
に例えば所定間隔毎に設置された道路監視用カメラ１６
の画像を利用することにより、上述したステレオ視技術
に基づく障害物検出処理を行うことも可能である。すな
わち、車両１５に搭載された１台のＴＶカメラ２Ａを有
する障害物検出装置１ａは、その走行位置近傍に設置さ
れた道路監視用カメラ１６の画像を無線通信装置１７を
経由して受け取り、この画像（第１の画像）と自車両１
５により撮影された画像（第２の画像）に基づいて上述
したステレオ視技術に基づく処理を実行することによ
り、道路上の障害物を検出することが可能である。そし
て、障害物検出装置１ａは、自車両１５の走行に応じ
て、自車両１５の現在の走行位置に近い方の監視用カメ
ラ１６から無線通信装置１７を介して送信された第１の
画像を用いることにより、連続した障害物検出処理を行
うことができる。このように構成すれば、上述した効果
に加えて、車両に搭載するＴＶカメラの台数を減らすこ
とができ、障害物検出装置のシステムが簡素化される。
なお、車両に搭載されたＴＶカメラと道路監視用カメラ
との大きさが異なる場合には、得られた第１および第２
の画像間で補正処理を行うことが必要である。その他、
本発明の要旨を逸脱しない範囲内であれば、如何なる変
形も可能である。

【発明の効果】以上述べたように、本発明の障害物検出
方法および装置によれば、路面等の面からの高さの有無
により障害物を検出することができるため、明るさの変
動や影の影響を受けることなく、画像中から先行車や歩
行者等の障害物を検出することができる。特に、本発明
では、路面と各撮影デバイスとの幾何学的な関係を、直
線検出等の簡単な処理により求めているため、走行中の
振動や道路平面に傾斜にある場合でも、安定に面上の障
害物を検出することができ、その実用性を大幅に向上さ
せることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る障害物検出装置の概
略構成を示すブロック図。

【図２】道路平面上に設定されたワールド座標系および
道路平面上の白線を示す図。

【図３】エピポーラ拘束を説明するための図。

【図４】図１に示す特徴抽出部の白線抽出処理および左
右画像間の対応点の組を求める処理を説明するための
図。

【図５】図１の構成に加えて、警報発生処理機能を有す
る障害物検出装置を示すブロック図。

【図６】図１の構成に加えて、ディスプレイに対する障
害物領域および安全領域の表示処理を有する障害物検出
装置を示すブロック図。

【図７】図１に示す検出部の他の構成を示すブロック
図。

【図８】ステレオ画像の一例を示す図。

【図９】右画像とその変換画像を示す図。

【図１０】左画像と右画像の変換画像とを示す図。

【図１１】本発明の変形例として、移動体に１台のＴＶ
カメラを搭載し、道路の路側に設置された道路監視用カ
メラを利用してステレオ視を行う構成を示す図。

【符号の説明】

１障害物検出装置２画像撮影部２ａ、２ｂＴＶカメラ３画像蓄積部４特徴抽出部５関係式パラメータ計算部６検出部７警報発生部８ディスプレイ９画像処理プロセッサ１０画像変換部１１差異計算部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年７月１３日（１９９９．７．１
３）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】明細書

【発明の名称】障害物検出方法および装置

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【０００２】

【従来の技術】道路上の障害物を検出するための技術
は、その障害物検出手段としてレーザや超音波等を利用
するものと、ＴＶカメラを利用するものとに大別され
る。

【０００３】障害物検出手段としてレーザを利用する方
式は、レーザ自体が高価であるため、非実用的である。
また、障害物検知手段として超音波を利用する方式は、
超音波の解像度が低いため、障害物の検出精度に問題が
あり、これも実用性を阻害している。

【０００４】上記２つの方式に対して、障害物検出手段
としてＴＶカメラを使用する方式は、ＴＶカメラ自体が
比較的安価であり、その解像度や計測精度、計測範囲等
の面からも障害物検出に適することが分かっている。

【０００５】道路上の障害物検出手段としてＴＶカメラ
を用いる場合、１台のＴＶカメラを使用する方法と複数
台のカメラ（ステレオカメラ）を使用する方法がある。

【０００６】１台のＴＶカメラを使用する方法は、その
カメラで撮影した１枚の画像から、輝度や色、あるいは
テクスチャ（模様）等の情報を手がかりにして道路領域
と障害物領域とを分離する。例えば、画像中で彩度の低
い中程度の輝度領域、つまり灰色の領域を抽出して道路
領域を求めたり、テクスチャの少ない領域を求めて道路
領域を抽出し、それ以外の領域を障害物領域としてい
る。

【０００７】しかしながら、道路上には、道路に類似し
た輝度、色、あるいはテクスチャを有する障害物も数多
く存在するため、この方法で障害物領域と道路領域とを
区別するのは困難である。

【０００８】これに対し、複数台のＴＶカメラを用いる
方法は３次元情報を手がかりにして道路上の障害物を検
出する。これは一般にステレオ視と呼ばれる検出方式で
ある。ステレオ視とは、例えば２つのカメラを左右に配
置し、３次元空間中で同一点である点を左右画像間で対
応づけ、三角測量の要領で、その点の３次元位置を求め
るものである。

【０００９】各カメラの道路平面に対する位置や姿勢等
をあらかじめ求めておくと、ステレオ視により、画像中
の任意の点の道路平面からの高さを得ることができ、こ
の高さの有無により、障害物領域と道路領域とを分離す
ることができる。このステレオ視を用いた障害物検出方
式によれば、１台のカメラを用いた場合で区別すること
が困難であった道路に類似した輝度、色、あるいはテク
スチャを有する障害物を道路領域と区別して検出するこ
とが可能である。

【００１０】ところで、通常のステレオ視技術は、画像
上の任意の点のワールド座標系（絶対座標系）に対する
３次元位置を求める技術であり、このためには、あらか
じめ各カメラのワールド座標系に対する関係｛位置、姿
勢（撮影方向等）、カメラレンズの焦点距離等｝に関す
るパラメータ（関係式パラメータ）を求める必要があ
る。以下、関係式パラメータを求める作業（処理）をキ
ャリブレーションと呼ぶ。

【００１１】キャリブレーションは、ワールド座標系に
対する位置が既知の多数の点を用意し、それらの点の画
像ヘの投影位置を求め、ワールド座標系に対するカメラ
の位置や姿勢、カメラレンズの焦点距離等に関する関係
式パラメータを算出する作業である。

【００１２】しかしながら、上記キャリブレーション作
業を行うには、多大な時間と労力を必要とするという問
題がある。

【００１３】そこで、画像上で道路領域と障害物領域と
を分離することのみに着目して、キャリブレーションを
行うことなく、道路平面からの高さの有無を判別し、高
さ有り→道路平面上の障害物、高さ無し→道路平面とし
て、障害物を検出する方式が考え出されている。

【００１４】このとき、道路平面からの高さの有無は、
以下のようにして判別できる。

【００１５】道路平面上の点の左右画像への投影点を
（ｕ，ｖ），（ｕ’，ｖ’）とすれば、

【数１】

【外１】

【００１６】この関係式を用いて、左画像上の任意の点
Ｐ（ｕ，ｖ）が道路平面上に存在すると仮定した場合の
右画像上の対応点Ｐ′（ｕ’，ｖ’）を求める。点Ｐが
道路平面上に存在すれば、点ＰとＰ′が正しい対応点の
組となるので、２点の輝度の差は小さくなる。したがっ
て、点ＰとＰ’の輝度の違いが大きい場合には、点Ｐは
障害物領域に属すると判定することができ、キャリブレ
ーションを行うことなく障害物の判定を行うことが可能
である。

【００１７】

【外２】

【００１８】

【００１９】

【外３】

【００２０】本発明は上述した事情に鑑みてなされたも
ので、エビポーラ拘束のみが既知な複数のＴＶカメラを
用いて撮影した複数枚の画像から、面上の２本以上の線
の投影像を抽出し、抽出した投影像から面と各カメラと
の幾何学的な関係を求めることにより、キャリブレーシ
ョンが不要で、走行中に振動や路面自体に傾斜があつて
も、路面上に存在する障害物を検出することができる障
害物検出方法および装置を提供することをその目的とす
る。

【００２１】

【課題を解決するための手段】上述した目的を達成する
ための第１の発明によれば、複数の線を有する面上の障
害物領域を検出する障害物検出装置であって、画像を撮
影する複数の撮影デバイスと、この複数の撮影デバイス
によりそれぞれ撮影された複数の画像を記憶する画像記
憶手段と、この画像記憶手段に記憶された複数の画像上
に表された前記複数の線を抽出し、抽出した複数の線に
基づいて前記複数の画像間の対応点を求める抽出手段
と、この抽出手段により求められた対応点に基づいて、
前記面上の任意の点の各画像への投影位置の間に成り立
つ関係式のパラメータを計算するパラメータ計算手段
と、このパラメータ計算手段により計算されたパラメー
タにより定まる関係式に基づいて前記面に対して異なる
高さを有する領域を障害物領域として検出する検出手段
とを備えている。

【００２２】第１の発明において、前記複数の撮影デバ
イスの内の１つの基準撮影デバイスにより撮影された画
像を基準画像とし、残りの撮影デバイスにより撮影され
た画像を参照画像としたとき、前記基準画像上の任意の
点に対応する前記参照画像上の対応点は、前記基準画像
上の任意の点と前記基準撮影デバイスの視点とを結ぶ直
線の前記参照画像上への投影直線上に拘束される。

【００２３】第１の発明において、好適には、前記抽出
手段は、前記基準画像上の複数の線および前記基準画像
に対する前記参照画像上への投影直線に基づいて前記基
準画像および前記参照画像間の対応点の組を求めてお
り、前記パラメータ計算手段は、前記抽出手段により求
められた前記基準画像および前記参照画像間の複数の対
応点の組に基づいて、前記面上の任意の点の前記基準画
像および前記参照画像に対する投影位置の間に成り立つ
関係式のパラメータを求める手段である。

【００２４】第１の発明において、特に、前記抽出手段
は、前記基準画像上の複数の線の内の一本の線ｌ上の第
１の複数の点と前記参照画像上の投影線との交点を第１
の複数の対応点として求め、前記基準画像上の複数の線
の内のｌ以外の一本の線上の第２の複数の点と前記参照
画像上の投影線との交点を第２の複数の対応点として求
めることにより、前記第１の複数の点および第１の複数
の対応点の組と前記第２の複数の点および第２の複数の
対応点の組とを求めるようにしている。

【００２５】第１の発明において、好適には、前記検出
手段は、前記基準画像上の任意の点が前記面上に存在す
ると仮定した場合に、前記任意の点に対応する前記参照
画像上の対応点を、前記関係式パラメータにより定まる
関係式に基づいて求め、前記基準画像上の任意の点の輝
度と求められた前記参照画像上の対応点の輝度とを比較
することにより、前記基準画像上の任意の点が前記面に
対して異なる高さを有する障害物領域に属するか否かを
判定するようにしている。

【００２６】第１の発明において、前記検出手段は、前
記参照画像を、当該参照画像の任意の点が前記面上に存
在すると仮定した場合に、前記基準撮影デバイスで得ら
れる画像に変換する変換手段と、前記基準画像と前記変
換手段により変換された参照画像との差異を計算し、計
算された差異に基づいて、前記参照画像上の任意の点が
前記面に対して異なる高さを有する障害物領域に属する
か否かを判定する差異計算手段とを備えている。

【００２７】第１の発明において、前記面は実空間で移
動する移動体が走行する路面であり、前記障害物検出装
置を前記移動体に搭載している。

【００２８】上述した目的を達成するための第２の発明
によれば、複数の線を有する面上の障害物領域を検出す
る障害物検出方法であって、複数の画像を撮影するステ
ップと、撮影ステップにより撮影された複数の画像を記
憶するステップと、この記憶ステップにより記憶された
複数の画像上に表された前記複数の線を抽出し、抽出し
た複数の線に基づいて前記複数の画像間の対応点を求め
るステップと、このステップにより求められた対応点に
基づいて、前記面上の任意の点の各画像への投影位置の
間に成り立つ関係式のパラメータを計算するステップ
と、このパラメータ計算ステップにより計算されたパラ
メータにより定まる関係式に基づいて前記面に対して異
なる高さを有する領域を障害物領域として検出するステ
ップとを備えている。

【００２９】

【発明の実施の形態】本発明の実施の形態を添付図面を
参照して説明する。なお、本実施形態においては、自動
車等の路面（道路平面）上を走行する車両に搭載した左
右２台の画像撮影デバイス（ＴＶカメラ、ステレオカメ
ラ）から、その走行方向前方における歩行者や先行車等
の道路平面上に存在する障害物を検出する状況を想定
し、その想定状況での障害物検出装置による障害物検出
処理について説明する。

【００３０】図１は、本実施の形態に係る障害物検出装
置１の概略構成を示すブロック図である。

【００３１】本実施形態の障害物検出装置１は、道路平
面上を走行する車両に搭載されており、自車両の走行時
の振動や道路平面の傾斜等により時々刻々変化する道路
平面と各ＴＶカメラとの幾何学的関係求め、その幾何学
的関係を用いて道路平面上に存在する障害物を検出し、
検出した障害物を表示するようになっている。

【００３２】すなわち、障害物検出装置１は、自車両に
係る３次元空間内の共通の面である例えば走行方向前方
の道路平面上の画像を撮影する左右２台のＴＶカメラ
（左側ＴＶカメラ２ａ、右側ＴＶカメラ２ｂ）を有する
画像撮影部２と、ＴＶカメラ２ａにより撮影された画像
（左画像）およびＴＶカメラ２ｂにより撮影された画像
（右画像）を蓄積（記憶）するための画像蓄積部３と、
左画像および右画像上において特徴となる２本以上の線
を抽出するための特徴抽出部４と、抽出された特徴線に
基づいて関係式パラメータを計算するパラメータ計算部
５と、計算された関係式パラメータに基づいて道路平面
に対して異なる高さを有する点を求めて、この点を障害
物（障害物領域）として検出する検出部６とを備えてい
る。

【００３３】本実施形態においては、図２に示すよう
に、上記道路平面上の２本の線を、道路平面両端の２本
の白線（ｌ，ｌ’）とし、直線ｌ，ｌ’方向をＹ軸、こ
のＹ軸に対して道路平面に沿って直交する方向をＸ軸と
するワールド座標系（絶対座標系）を設定する。

【００３４】画像撮影部２は、左右２台のＴＶカメラ２
ａ、２ｂにより道路平面上の２枚の画像（左画像ＩＬ、
右画像ＩＲ）をそれぞれ撮影するようになっている。

【００３５】各ＴＶカメラ２ａ、２ｂは、例えば所定間
隔を空けて、例えばワールド座標系のＸ軸方向に沿った
左右に並べて取りつけられており、その撮影方向は、走
行車両の前方に限らず、後方やサイド方向であってもよ
い。また、各ＴＶカメラ２ａ、２ｂの焦点距離を切り換
えることにより、道路平面（路面）の状況に応じて、広
角撮影および望遠撮影を行うことも可能である。

【００３６】そして、本実施形態における２台のＴＶカ
メラ２ａ、２ｂは、そのワールド座標系に対する位置や
姿勢は未知で、エピポーラ拘束のみが既知であるとし、
走行中に変化しないように構成されている。

【００３７】ここで、エピポーラ拘束とは、一般的なス
テレオカメラに対して成り立つ拘束であり、一方の画像
（本実施形態では左画像とし、この画像を基準画像とも
呼ぶ）上の任意の点ｋに対応する他方の画像（本実施形
態では右画像とし、この画像を参照画像とも呼ぶ）上で
の点（対応点）ｋ’は、図３に示すように、その右画像
ＩＲ上のある直線上に拘束されることを意味する。

【００３８】この直線のことをエピポーララインＥＬと
呼ぶ。このエピポーララインＥＬは、左画像ＩＬ上の点
ｋと左側ＴＶカメラ２ａの視点（レンズの中心点位置）
とを右画像ＩＲ上に投影してそれらを結ぶことにより定
められる。

【００３９】例えば、各ＴＶカメラ２ａ、２ｂの光軸を
平行に配置した場合には、左画像ＩＬ上の任意の点の右
画像ＩＲ上での対応点は、その右画像ＩＲ上における同
一走査線上に存在するので、エピポーララインと走査線
は一致する。

【００４０】エピポーラ拘束は、ステレオカメラ（左側
ＴＶカメラ２ａ、右側ＴＶカメラ２ｂ）間の相対的な位
置・姿勢の関係と、各カメラ２ａ、２ｂの内部パラメー
タ、すなわち、各カメラレンズの焦点距離、画像原点等
に依存するため、エビポーラ拘束が不変であるというこ
とは、ステレオカメラ２ａ、２ｂの相対的な位置関係等
が走行中に変化しないことを意味する。

【００４１】エピポーラ拘束は以下のようにして求めて
おく。今、ステレオ画像（左画像ＩＬ、右画像ＩＲ）の
任意の対応点の組（ｕ_ｉ，ｖ_ｉ）、（ｕ_ｉ’，ｖ_ｉ’）
（ｉ＝１，２，…，Ｎ）には、

【数２】（但し、Ｆは、３×３のマトリクス）という関係式が成
り立つ。

【００４２】８組以上、すなわち、Ｎ＝８以上の対応点
の組からマトリクスＦを求めることができる。すなわ
ち、マトリクスＦを対応点の組のみを用いて求めること
ができるため、ワールド座標系に対する３次元位置が既
知な点を用意する必要がなく、前述したキャリブレーシ
ョン処理（作業）に比べて、非常に簡単な処理によりマ
トリクスＦを求めることができる。

【００４３】このようにして、マトリクスＦが求まる
と、左画像ＩＬ上のある点（ｕ，ｖ）の対応点は、右画
像ＩＲ上の直線

【数３】上にあることとなり、これがエビポーララインＥＬとな
る。すなわち、式（２）がエピポーラ拘束を表す。ここ
で、Ｆ_ｉｊ（ｉ，ｊ＝１，２，３）はマトリクスＦのｉ
行ｊ列の要素である。

【００４４】画像蓄積部３は、画像メモリを有してお
り、画像撮影部２の各ＴＶカメラ２ａ、２ｂにより撮影
された２枚の画像（左画像ＩＬ、ＩＲ）を画像メモリに
それぞれ蓄積するようになっている。

【００４５】特徴抽出部４は、演算処理プロセッサおよ
びメモリを有しており、最初に、画像蓄積部２により蓄
積された２枚の画像（左画像ＩＬ、右画像ＩＲ）上にお
いて、道路両端の２本の直線（白線）ｌ，ｌ’をそれぞ
れ抽出する。

【００４６】なお、上記２本の直線抽出は、Ｈｏｕｇｈ
変換等を用いて行なう。直線ｌとｌ’は左右画像ＩＬ、
ＩＲ上において、各々交点（消失点）Ｖ、Ｖ’を持ち、
Ｖ’はＶのエピポーララインＬｖ上にあることを利用す
れば、計算量を削減することが可能である。

【００４７】このとき、左画像ＩＬ上における直線ｌ上
の任意の２点を各々Ａ、Ｃ、直線ｌ’上の任意の２点を
各々Β、Ｄとすると、特徴抽出部４は、これら４点の右
画像ＩＲ上の対応点Ａ’，Β’，Ｃ’，Ｄ’を、エピポ
ーラ拘束を用いることにより求める。

【００４８】すなわち、点Ａの対応点Ａ’は、右画像Ｉ
Ｒ上において、直線ｌと点ＡのエピポーララインＬＡの
交点として求めることができ、同様に、点Β’，Ｃ’，
Ｄ’も、それぞれ、点Β、Ｃ、ＤのエビポーララインＬ
Ｂ、ＬＣ、ＬＤの交点として求めることができる。

【００４９】ここで、得られた点Ａ，Β，Ｃ，Ｄおよび
点Ａ’，Ｂ’，Ｃ’，Ｄ’の座標データを、それぞれ
（ｕ_Ａ、ｖ_Ａ），（ｕ_Ｂ、ｖ_Ｂ），（ｕ_Ｃ、ｖ_Ｃ），
（ｕ_Ｄ，ｖ_Ｄ），（ｕ’_Ａ，ｖ’_Ａ），（ｕ’_Ｂ，ｖ’
_Ｂ），（ｕ’_Ｃ、ｖ’_Ｃ），（ｕ’_Ｄ、ｖ’_Ｄ）とす
る。

【００５０】パラメータ計算部５は、演算処理プロセッ
サおよびメモリを有しており、特徴抽出部４により求め
られた４組の点の対応関係に基づいて、道路平面上の任
意の点の左画像ＩＬ上の投影点（ｕ，ｖ）と右画像ＩＲ
上の投影点（ｕ’，ｖ’）の間に成り立つ関係式のパラ
メータ（関係式パラメータ）を計算する。

【００５１】今、道路平面上の任意の点Ｐ（Ｘ，Ｙ）の
左右画像ＩＬ，ＩＲ上への投影点をそれぞれ（ｕ，
ｖ），（ｕ’，ｖ’）とすれば、

【数４】なる関係式が成り立つ。

【００５２】

【外４】

【００５３】

【外５】

【００５４】

【外６】

【数５】

【００５５】

【外７】

【００５６】検出部６は、演算処理プロセッサおよびメ
モリを有しており、左画像ＩＬ上の任意の点Ｐ（ｕ，
ｖ）の輝度をＢ_Ｌ（ｕ，ｖ）とし、この点Ｐ（ｕ，ｖ）
が道路平面上に存在すると仮定した場合の上記点Ｐ
（ｕ，ｖ）の右画像ＩＲ上での対応点Ｐ’（ｕ，ｖ）を
前掲（４）式に基づいて求める。

【００５７】今、求められた点Ｐ’（ｕ’，ｖ’）の輝
度をＢ_Ｒ（ｕ，ｖ）とすると、点Ｐ（ｕ、ｖ）が実際に
道路平面上に存在すれば、点ＰとＰ’は正しい対応点の
組となるから、基本的には点ＰとＰ’の輝度が同じにな
る。

【００５８】すなわち、

【数６】とした場合、検出部６は、Ｄ≠０，あるいは誤差を考慮
し、Ｄ＞Ｔｈｒ（Ｔｈｒはあらかじめ設定した閾値）と
なる点Ｐを障書物領域に属すると判定し、この点Ｐを障
害物として検出することができる。

【００５９】

【外８】

【００６０】したがって、障害物（障害物検出領域）の
検出精度を向上させることができ、車両の安全性・信頼
性の一層の向上に寄与することができる。

【００６１】例えば、図５に示すように、検出部６によ
り検出された障害物領域情報および自車両における例え
ば運転手のハンドル操作に応じた運転方向指示情報に基
づいて警報発生処理を行う警報発生部７を設けておくこ
とにより、運転手のハンドル操作により、自車両を障害
物領域（障害物）に向かわせるための運転方向指示情報
が警報発生部７に送られると、警報発生部７は、障害物
領域情報および運転方向指示情報に基づいて自車両が障
害物領域に向かって走行することを判断し、警報を発生
する。

【００６２】この結果、走行車両の運転手は、自車両が
障害物へ向かって走行していることを認識することがで
きるため、車両の安全性・信頼性の一層の向上に寄与す
ることができる。

【００６３】さらに、本実施形態の変形例として、図６
に示すように、自車両内の運転手が視認できる位置に取
り付けられたディスプレイ８と、画像蓄積部３に蓄積さ
れた例えば左画像ＩＬをそのディスプレイ８に表示し、
検出部６により検出された障害物領域情報に基づいて、
上記左画像ＩＬに対して、障害物領域以外の安全領域と
障害物領域との表示態様を異ならせる表示処理（例え
ば、安全領域を緑の表示色、障害物領域を赤の表示色に
する処理や、障害物領域を表すマーカを左画像ＩＬ上の
障害物領域の座標位置に重畳表示する処理等を行う画像
処理プロセッサ９とを設けてもよい。

【００６４】このように構成すれば、走行車両の前方に
存在する障害物領域と安全領域とがディスプレイ８上で
明確に識別できるため、ディスプレイ８を視認すること
により、運転手の視界の死角に存在する障害物等を容易
かつ確実に認識することができ、車両の安全性・信頼性
の一層の向上に寄与することができる。

【００６５】なお、本実施形態においては、画像撮影部
２の２台のＴＶカメラ２ａ、２ｂを左右に並べて車両に
搭載し、ＴＶカメラ２ａ、２ｂにより２枚の画像を撮影
しているが、これら２台のカメラ２ａ、２ｂは、エピポ
ーラ拘束を維持し、自車両に係る共通の平面をそれぞれ
が撮影可能であれば、どのように配置してもよい。ま
た、３台以上のＴＶカメラを車両に配置することも可能
である。

【００６６】３台以上のＴＶカメラを用いて本実施形態
の障害検出処理を行う際には、エピポーラ拘束は、３枚
以上の撮影画像の中の１枚の画像を基準画像とし、その
基準画像上の任意の点ｋに対応する残りの各画像（参照
画像）上での対応点ｋ’が各参照画像上のある直線上に
拘束されることを意味する。

【００６７】また、特徴抽出部４は左画像ＩＬおよび右
画像ＩＲ上の４組の点の対応関係を求めたが、５組以上
の対応関係を同様に求めてもよい。この場合では、パラ
メータ計算部５により、その５組以上の対応関係から得
られる１０本以上の連立方程式を最小自乗法等を用いて
解くことも可能である。

【００６８】また、検出部６は、さらに図７に示すよう
に構成することも可能である。この変形例において、検
出部６は、画像変換部１０、差異計算部１１を備えてお
り、これら画像変換部１０、差異計算部１１は、演算処
理プロセッサの処理機能として具体化される。

【００６９】画像変換部１０は、参照画像である右画像
ＩＲを以下の手順に従って画像変換する。

【００７０】一般に、画像は画像上の点（ｕ，ｖ）を変
数とし、その各点に対して輝度値が定義された関数ｆ
（ｕ，ｖ）として表現できる。以下では画像をこのよう
に表現する。

【００７１】例えば、図８に示すような、先行車両を含
むステレオ画像（左画像、右画像）が撮影されたとし、
左画像をｆ（ｕ，ｖ）、右画像をｇ（ｕ，ｖ）、右画像
の変換後の画像をｇ’（ｕ、ｖ）とすれば、画像変換部
１０は、以下のように、変換画像ｇ′（ｕ，ｖ）を求め
る。

【００７２】

【数７】ｇ’（ｕ，ｖ）＝ｇ（ｕ’，ｖ’） ……（７）但し、（ｕ’，ｖ’）は、前掲式（４）により求める。

【００７３】ｇ’（ｕ，ｖ）は、画像ｇ（ｕ，ｖ）上の
任意の点が道路平面上に存在すると仮定した場合に、左
側ＴＶカメラ２ａで得られる画像である。

【００７４】例えば、図９に示す右画像ｇ（ｕ，ｖ）か
らは、同図に示すような変換画像ｇ’（ｕ’，ｖ’）が
得られる。図１０に示すように、道路平面上にある点の
投影点は、左画像ｆ（ｕ，ｖ）と変換画像ｇ’（ｕ’，
ｖ’）で同一となるのに対し、道路平面上にない点、す
なわち、障害物（この場合は先行車両）上の点は、道路
からの高さに応じて異なる位置に投影される。

【００７５】したがって、この左画像ｆ（ｕ，ｖ）と変
換画像ｇ’（ｕ’，ｖ’）との間の差分（画素間差分）
を取ることにより、道路平面上の障害物を検出すること
が可能である。

【００７６】すなわち、差異計算部１１は、

【数８】で表される差分Ｄ'を計算し、このＤ'が、Ｄ′≠０，あ
るいは誤差を考慮し、Ｄ′＞Ｔｈｒ（Ｔｈｒはあらかじ
め設定した閾値）となる点（ｕ，ｖ）を障害物領域に属
すると判定し、この点（ｕ，ｖ）を障害物として検出す
ることができる。

【００７７】また、検出部６の差異検出部は、画素間差
分をとることによって２枚の画像（左画像、右画像）の
差異を検出したが、本変形例はこれに限定されるもので
はない。

【００７８】例えば、検出部６の差異検出部は、各画像
（左画像、右画像）の対応する各点（各画素）に対して
（２ω＋１）×（２ω＋１）のウインドウを設定し、ウ
インドウ内の輝度値の正規化相互相関Ｃを計算して差異
を検出することも可能である。

【００７９】この場合、２枚の画像（左画像、右画像）
Ｆ（ｕ，ｖ），Ｇ（ｕ，ｖ）の点（ｕ，ｖ）Ｃは、

【数９】で表される。

【００８０】ここで、Ｎ＝（２ω＋１）×（２ω＋
１）、ａ１，ａ２は２枚の画像Ｆ（ｕ，ｖ），Ｇ（ｕ，
ｖ）のウインドウ内の輝度の平均、σ^２ _１，σ^２ _２は、
２枚の画像Ｆ（ｕ，ｖ），Ｇ（ｕ，ｖ）のウィンドウ内
の輝度の分散である。

【００８１】このとき、差異計算部１１は、計算値Ｃ＜
Ｔｈｒ（Ｔｈｒはあらかじめ設定した閾値）を満足する
点（ｕ，ｖ）を障害物領域に属すると判定するようにな
っている。

【００８２】上述したように、検出部を変形例に示した
ように構成しても、障害物領域を容易に検出することが
できる。

【００８３】また、本実施例では道路平面の両端の２本
の白線を直線として抽出したが、道路がカーブしている
場合には白線は曲線となる。この場合には、白線を曲線
として抽出すれば、同様に障害物を検出することができ
る。

【００８４】また、本実施形態では、道路面を平面と仮
定して説明したが、曲面の場合であっても、平面の場合
と同様に障害物を検出することができる。

【００８５】さらに、本実施形態においては、図１に示
した各ブロック構成要素４〜６それぞれが演算処理プロ
セッサおよびメモリを有していると説明したが、本発明
はこれに限定されるものではなく、１つの演算処理プロ
セッサおよびメモリにより上述した特徴抽出部４の特徴
抽出処理、関係式パラメータ計算部の関係式パラメータ
計算処理および検出部６の障害物検出処理を行うように
構成することも可能である。

【００８６】ところで、本実施形態では、道路面上を走
行する車両に搭載されたＴＶカメラからの障害物検出に
関して説明したが、本発明はこれに限定されるものでは
なく、例えば、航空機やヘリコプター等の移動体が滑走
路等の路面に着陸する際の障害物検出にも適用すること
が可能である。

【００８７】一方、本実施形態によれば、車両等の移動
体に２台以上のＴＶカメラを搭載した場合について説明
したが、本発明はこれに限定されるものではない。

【００８８】例えば、図１１に示すように、移動体（車
両１５）には１台のＴＶカメラ２を搭載し、予め車両１
５が走行する道路の路側の上方に例えば所定間隔毎に設
置された道路監視用カメラ１６の画像を利用することに
より、上述したステレオ視技術に基づく障害物検出処理
を行うことも可能である。

【００８９】すなわち、車両１５に搭載された１台のＴ
Ｖカメラ２Ａを有する障害物検出装置１ａは、その走行
位置近傍に設置された道路監視用カメラ１６の画像を無
線通信装置１７を経由して受け取り、この画像（第１の
画像）と自車両１５により撮影された画像（第２の画
像）に基づいて上述したステレオ視技術に基づく処理を
実行することにより、道路上の障害物を検出することが
可能である。

【００９０】そして、障害物検出装置１ａは、自車両１
５の走行に応じて、自車両１５の現在の走行位置に近い
方の監視用カメラ１６から無線通信装置１７を介して送
信された第１の画像を用いることにより、連続した障害
物検出処理を行うことができる。

【００９１】このように構成すれば、上述した効果に加
えて、車両に搭載するＴＶカメラの台数を減らすことが
でき、障害物検出装置のシステムが簡素化される。な
お、車両に搭載されたＴＶカメラと道路監視用カメラと
の大きさが異なる場合には、得られた第１および第２の
画像間で補正処理を行うことが必要である。

【００９２】その他、本発明の要旨を逸脱しない範囲内
であれば、如何なる変形も可能である。

【００９３】

【発明の効果】以上述べたように、本発明の障害物検出
方法および装置によれば、路面等の面からの高さの有無
により障害物を検出することができるため、明るさの変
動や影の影響を受けることなく、画像中から先行車や歩
行者等の障害物を検出することができる。

【００９４】特に、本発明では、路面と各撮影デバイス
との幾何学的な関係を、直線検出等の簡単な処理により
求めているため、走行中の振動や道路平面に傾斜にある
場合でも、安定に面上の障害物を検出することができ、
その実用性を大幅に向上させることができる。

【図面の簡単な説明】

【図３】エピポーラ拘束を説明するための図。

【図７】図１に示す検出部の他の構成を示すブロック
図。

【図８】ステレオ画像の一例を示す図。

【図９】右画像とその変換画像を示す図。

【図１０】左画像と右画像の変換画像とを示す図。

【符号の説明】１障害物検出装置２画像撮影部２ａ、２ｂＴＶカメラ３画像蓄積部４特徴抽出部５関係式パラメータ計算部６検出部７警報発生部８ディスプレイ９画像処理プロセッサ１０画像変換部１１差異計算部

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正内容】

【図１】

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図２

【補正方法】変更

【補正内容】

【図２】

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図３

【補正方法】変更

【補正内容】

【図３】

【手続補正５】

【補正対象書類名】図面

【補正対象項目名】図４

【補正方法】変更

【補正内容】

【図４】

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】

【手続補正７】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正内容】

【図６】

【手続補正８】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】変更

【補正内容】

【図７】

【手続補正９】

【補正対象書類名】図面

【補正対象項目名】図８

【補正方法】変更

【補正内容】

【図８】

【手続補正１０】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正内容】

【図９】

【手続補正１１】

【補正対象書類名】図面

【補正対象項目名】図１０

【補正方法】変更

【補正内容】

【図１０】

【手続補正１２】

【補正対象書類名】図面

【補正対象項目名】図１１

【補正方法】変更

【補正内容】

【図１１】

───────────────────────────────────────────────────── フロントページの続き (72)発明者小野口一則兵庫県神戸市東灘区本山南町８丁目６番26 号株式会社東芝関西研究所内Ｆターム(参考） 5B057 AA06 BA02 BA15 CE16 DA08 DA15 DA16 DC03 DC22 DC34 5H180 AA01 CC04 CC24 LL01 LL02 LL08

Claims

【特許請求の範囲】

【請求項１】複数の線を有する面上の障害物領域を検
出する障害物検出装置であって、画像を撮影する複数の撮影デバイスと、この複数の撮影
デバイスによりそれぞれ撮影された複数の画像を記憶す
る画像記憶手段と、この画像記憶手段に記憶された複数
の画像上に表された前記複数の線を抽出し、抽出した複
数の線に基づいて前記複数の画像間の対応点を求める抽
出手段と、この抽出手段により求められた対応点に基づ
いて、前記面上の任意の点の各画像への投影位置の間に
成り立つ関係式のパラメータを計算するパラメータ計算
手段と、このパラメータ計算手段により計算されたパラ
メータにより定まる関係式に基づいて前記面に対して異
なる高さを有する領域を障害物領域として検出する検出
手段とを備えたことを特徴とする障害物検出装置。
【請求項２】前記複数の撮影デバイスの内の１つの基
準撮影デバイスにより撮影された画像を基準画像とし、
残りの撮影デバイスにより撮影された画像を参照画像と
したとき、前記基準画像上の任意の点に対応する前記参
照画像上の対応点は、前記基準画像上の任意の点と前記
基準撮影デバイスの視点とを結ぶ直線の前記参照画像上
への投影直線上に拘束されることを特徴とする請求項１
記載の障害物検出装置。
【請求項３】前記抽出手段は、前記基準画像上の複数
の線および前記基準画像に対する前記参照画像上への投
影直線に基づいて前記基準画像および前記参照画像間の
対応点の組を求めており、前記パラメータ計算手段は、前記抽出手段により求めら
れた前記基準画像および前記参照画像間の複数の対応点
の組に基づいて、前記面上の任意の点の前記基準画像お
よび前記参照画像に対する投影位置の間に成り立つ関係
式のパラメータを求める手段であることを特徴とする請
求項２記載の障害物検出装置。
【請求項４】前記抽出手段は、前記基準画像上の複数
の線の内の一本の線１上の第１の複数の点と前記参照画
像上の投影線との交点を第１の複数の対応点として求
め、前記基準画像上の複数の線の内の１以外の１本の線
上の第２の複数の点と前記参照画像上の投影線との交点
を第２の複数の対応点として求めることにより、前記第
１の複数の点および第１の複数の対応点の組と前記第２
の複数の点および第２の複数の対応点の組とを求めるよ
うにしたことを特徴とする請求項３記載の障害物検出装
置。
【請求項５】前記検出手段は、前記基準画像上の任意
の点が前記面上に存在すると仮定した場合に、前記任意
の点に対応する前記参照画像上の対応点を、前記関係式
パラメータにより定まる関係式に基づいて求め、前記基
準画像上の任意の点の輝度と求められた前記参照画像上
の対応点の輝度とを比較することにより、前記基準画像
上の任意の点が前記面に対して異なる高さを有する障害
物領域に属するか否かを判定するようにしたことを特徴
とする請求項３または４記載の障害物検出装置。
【請求項６】前記検出手段は、前記参照画像を、当該
参照画像の任意の点が前記面上に存在すると仮定した場
合に、前記基準撮影デバイスで得られる画像に変換する
変換手段と、前記基準画像と前記変換手段により変換さ
れた参照画像との差異を計算し、計算された差異に基づ
いて、前記参照画像上の任意の点が前記面に対して異な
る高さを有する障害物領域に属するか否かを判定する差
異計算手段とを備えたことを特徴とする請求項３または
４記載の障害物検出装置。
【請求項７】前記差異計算手段は、前記基準画像と前
記変換参照画像との差分を取ることにより前記差異を計
算するようにしたことを特徴とする請求項６記載の障害
物検出装置。
【請求項８】前記差異計算手段は、前記参照画像上の
任意の点に対して、この点を中心としたウインドウを設
定し、設定したウインドウ内の前記基準画像および前記
変換参照画像間の輝度値の正規化相互相関を計算するこ
とにより差異を計算するようにしたことを特徴とする請
求項６記載の障害物検出装置。
【請求項９】前記面は実空間で移動する移動体が走行
する路面であり、前記障害物検出装置を前記移動体に搭
載したことを特徴とする請求項１乃至８の内の何れか１
項記載の障害物検出装置。
【請求項１０】前記検出手段により検出された障害物
領域に対して前記移動体を移動させる移動指示情報が送
られた際に、前記移動体の前記障害物領域への移動を回
避するための所定の処理を行う手段を備えたことを特徴
とする請求項９記載の障害物検出装置。
【請求項１１】前記画像記憶手段により記憶された少
なくとも１つの画像を、前記検出手段により検出された
障害物領域を当該画像上の他の安全領域の表示態様とは
異なる態様で表示する表示手段を備えたことを特徴とす
る請求項１０記載の障害物検出装置。
【請求項１２】複数の線を有する面上の障害物領域を
検出する障害物検出方法であって、複数の画像を撮影するステップと、撮影ステップにより
撮影された複数の画像を記憶するステップと、この記憶
ステップにより記憶された複数の画像上に表された前記
複数の線を抽出し、抽出した複数の線に基づいて前記複
数の画像間の対応点を求めるステップと、このステップ
により求められた対応点に基づいて、前記面上の任意の
点の各画像への投影位置の間に成り立つ関係式のパラメ
ータを計算するステップと、このパラメータ計算ステッ
プにより計算されたパラメータにより定まる関係式に基
づいて前記面に対して異なる高さを有する領域を障害物
領域として検出するステップとを備えたことを特徴とす
る障害物検出方法。