JPH10157538A - 先行車両の初期探索範囲の決定方法 - Google Patents

Abstract

(57)【要約】 【課題】車両の存在領域を簡単な手法であらかじめ推定
することにより、先行車両の初期探索範囲を決定する。 【解決手段】車載カメラによって車両の周辺を撮像し、
前記車載カメラで撮像された画面を縦割りする複数のラ
インのうち、それぞれのラインに沿って下方から上方に
向かって画像の濃度が初めて急激に変わる点を検出し、
検出された点をつないだ線に現れる凹状の部分を含む範
囲Ｅを特定し、これを当該範囲を認識対象の先行車両の
画像が含まれる初期探索範囲Ｅとする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車載カメラで車両
の前方を撮像し、撮像された画像に基づいて先行車両の
初期探索範囲の決定する方法に関するものである。

【０００２】

【従来の技術】車載カメラによって車両の前方を撮像
し、撮像された画像中の車両を認識するための技術が種
々提案されている。車両の前方を車載カメラで撮像し、
撮像された画像を画像処理して前方の車両を認識するこ
とができれば、他車両が異常接近したときには、ステア
リングやブレーキを自動的に動作させることによって、
自動的に事故を回避できる。また、道路標識を認識する
ことができれば、この認識された道路標識に対応する情
報を、ナビゲーション装置における経路誘導のために用
いることができる。

【０００３】車載カメラによって撮像される車両を画像
認識する場合、撮像された画面から車両を含む画像範囲
を探索し、この探索された範囲に関して画像認識処理を
行う必要がある。前記の画像認識処理において、車両を
含む画像を探索する範囲を決める状況として、次の２つ
がある。

【０００４】１つの状況は、１つ前の時点ですでに車両
が画像認識されている場合に、画面中において刻々と移
動していく車両を追従するために、画面中における車両
の挙動を推定し、この推定結果を利用して、撮像された
画面から車両を含む追従探索範囲を設定するものであ
る。他の状況は、初めて車両を画像認識しようとする場
合、又は１つ前の時点で車両を見失った場合に、画面中
における先行車両を含む初期探索範囲を決定するもので
ある。

【０００５】本発明は、後者の先行車両の初期探索範囲
の決定方法に関する。

【０００６】

【発明が解決しようとする課題】初期探索範囲を決定す
る場合、車両の位置が分からないのであるから、撮像画
面の全てにわたって設定し、その中で車両を画像認識す
るということが考えられる。しかし、これでは、画像認
識する範囲が広すぎて、画像認識に時間がかかるという
問題がある。例えば、画像認識方法として、画面の縦方
向、横方向にエッジヒストグラムをとってエッジの多い
枠に囲まれた矩形領域を設定するという方法を採用した
場合、ヒストグラムをとる領域が広ければ広いほど、時
間がかかり、誤検知の確率も高くなる。

【０００７】一方、初期探索範囲の決定の精度を上げす
ぎると、決定自体に時間がかかり、画像認識を含めた全
体としての処理が遅れる。そこで、本発明は、上述の技
術的課題を解決し、車両の存在領域を簡単な手法であら
かじめ推定することにより、初期探索範囲を決定するこ
とのできる先行車両の初期探索範囲の決定方法を提供す
ることを目的とする。

【０００８】

【課題を解決するための手段】本発明の初期探索範囲の
決定方法は、車載カメラによって車両の周辺を撮像し、
前記車載カメラで撮像された画面を縦割りする複数のラ
インのうち、それぞれのラインに沿って下方から上方に
向かって画像の濃度が初めて急激に変わる点を検出し、
検出された点をつないだ線に現れる凹状の部分を含む範
囲を特定し、当該範囲を認識対象の先行車両の画像が含
まれる初期探索範囲とする方法である（請求項１）。

【０００９】車両は道路の上を走行しているので、車両
の影は画像の中にできる。それより手前は変化の少ない
道路の部分である。したがって、画面の下方から上方に
向かって画像の濃度が初めて急激に変わる点（エッジ）
を検出すれば、そのうちのいずれかは車両の影のエッジ
である可能性がある。そこで、「凹状の部分」を見つけ
ることができれば、それは車両の底の影の形状に相当す
る可能性が高い。

【００１０】したがって、この発明の方法により、認識
対象の先行車両の画像が含まれる初期探索範囲を切り出
すことができる。そしてその中で車両を画像認識すれば
よい。なお、前記「凹状の部分」の判断は、「検出され
た点をつないだ線」が所定画素数よりも深く落ち込み、
その後、画面上の車両幅Ｗにわたって所定画素数以内の
平坦を維持することに基づいて行うことができる。

【００１１】前記画面上の車両幅Ｗは、道路消失点の位
置を画面上の一定の位置に設定して、画面上の車線幅Ｄ
と、実際の車両幅と実際の車線幅との比βとに基づいて
決定することができる。前記「凹状の部分を含む範囲」
とは、例えば、画面上の車両幅Ｗに車両の縦横比αをか
け、上下左右にマージンを加えて作った矩形状の範囲で
ある。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を、添
付図面を参照しながら詳細に説明する。図１は、画像認
識処理装置１を含む車載装置の電気的構成を示すブロッ
ク図である。この画像認識処理装置１は、車両の周辺の
物体を画像認識するための画像認識処理部１ｂを備えて
いる。この画像認識処理部１ｂには、車両の現在位置や
姿勢及びドライバに対する警告等を表示装置に表示する
ためのデータ処理装置２が接続されている。

【００１３】また、画像認識処理装置１は、車両の例え
ば前方部や車室内に取り付けられた車両の前方を撮像す
る車載カメラ１ａを備えている。車載カメラ１ａのほか
に、又は車載カメラ１ａに代えて、車両の後方や車両の
側方を撮像できる別の車載カメラが備えられていてもよ
い。車載カメラ１ａは、撮像した画面の各点をカラー表
現したアナログ電気信号を出力する。このアナログ信号
は、画像認識処理部１ｂにおいて、アナログ／ディジタ
ル変換等の処理をされて、画像データに変換される。画
像認識処理部１ｂは、この画像データを解析して先行車
両を検出し、その情報をデータ処理装置２に与える。

【００１４】データ処理装置２には、車両の走行距離を
検出するための車輪速センサ６及び車両の進行方位を検
出するための方位センサ（光ファイバジャイロ）５が接
続されている。これらのセンサ６及び５の出力は、デー
タ処理装置２において処理されることにより、走行距離
データ及び現在方位データに変換される。また、データ
処理装置２には、道路に埋め込まれた磁気マーカの磁界
を検出する磁気センサ４、前方物体に光線を当ててその
反射光の戻る時間に基づいて前方物体との距離を測定す
るレーザレーダ３、ビーコン受信機１２、他の車両との
間で車両の現在位置、車間距離等の走行情報のやりとり
を行う送受信機１３が接続されている。

【００１５】磁気マーカを検出することにより、車両の
車線内での横変位を知ることができ（1994年９月13日米
国特許第 5,347,456号、1992年５月14日ＰＣＴ国際公開
ＷＯ92/08176 号参照）、レーザレーダ３で前方物体と
の距離を測定することができる（青野，真保，早舷「走
行環境認識技術の動向」自動車技術Vol.48, No.9, 第54
-59 頁, 1994参照）。

【００１６】これらのデータが、マイクロコンピュータ
等を内部に含むデータ処理装置２に入力され、データ処
理装置２は、各種センサ３〜６及び画像認識処理部１ｂ
から入力されるデータに基づいて、車両の現在位置を算
出するとともに、車間距離、先行車両位置、前方道路形
状、車線内自車位置等を算出することができる。データ
処理装置２には、ブレーキを制御するブレーキＥＣＵ(E
CU:ElectronicControl Unit) ９、アクセルを制御する
アクセルＥＣＵ１０、ステアリングを制御するステアリ
ングＥＣＵ１１、ＣＲＴ（陰極線管）又は液晶表示パネ
ルからなる表示装置７、リモートコントロールユニット
８が接続されている。

【００１７】データ処理装置２は、前述した各種情報に
基づきブレーキＥＣＵ９、アクセルＥＣＵ１０又はステ
アリングＥＣＵ１１を駆動して自動運転を実現する。ま
た、ドライバに注意を促すために、この先の道路形状、
スピードの出し過ぎ、車間距離、道路標識、交通規制、
事故、工事情報等を表示装置７を介して表示する。次
に、画像認識処理装置１の処理内容をさらに説明する。

【００１８】図２は、画像認識処理部１ｂの処理内容を
概説するフローチャートである。画像認識処理部１ｂ
は、初めて車両を画像認識しようとする場合、又は１つ
前の時点で車両を見失った場合に、画面中における先行
車両を含む初期探索範囲を決定する（ステップＳ１）。
そして初期探索範囲の中で、車両を特定する（ステップ
Ｓ２）。この車両の特定は、例えば、画面の縦方向、横
方向にエッジヒストグラムをとってエッジの多い枠に囲
まれた矩形領域を設定し、この矩形領域の縦横比αが車
両に相応しいかどうかを判定するという方法を採用して
もよく、また、テンプレートを物体の輪郭に重ね合わせ
て車両を判定するという方法でもよい（特開平７−１６
２８４６号公報参照）。

【００１９】車両の特定に成功したら（ステップＳ
３）、レーザレーダ３等を用いて当該車両の位置及び速
度測定、車間距離測定等を行うとともに、当該車両を追
従する（ステップＳ４）。この追従は、当該車両の車両
位置、当該車両と自車両との相対速度、自車両の車両位
置とカメラの姿勢（ピッチ角、ヨー角、ロール角）に基
づいて、次に当該車両が存在すると予測される車両の存
在範囲より少し大きめの範囲をとり、ステップＳ２に戻
って車両の特定をすることにより行う（特開平７−１６
２８４６号公報参照）。

【００２０】次に本発明に係る初期探索範囲の決定方法
を詳述する。まず、図３に示すように、画像の左端から
右端まで、下方から上方に向かって、画像の濃度が急激
に変わる点（エッジ）を調べる。エッジが初めて現れた
ところで終了し次のラインに行く。下方から上方に向か
ってエッジを調べるのは、先行車両が道路の上を走行し
ているからである。画面の左辺からの位置をｘとし、画
面の下辺からのエッジの高さをｈ(x) とする。

【００２１】図４は、車両の初期探索範囲を決定するか
どうかの判断基準を説明する図である。図４(a) は、エ
ッジの高さｈ(x) が急激に下がる点を見つける方法を説
明する図である。１つ前のラインのエッジの高さｈ(x-
1) とｈ(x) との差が１０画素以上あれば、該当するも
のとする。判定式は、 ｈ(x-1) −ｈ(x) ＞１０ (1) である。

【００２２】次に、画面上の車両幅Ｗを求める。図５
は、道路消失点（車載カメラ１ａによって撮像される画
面内において走行している車線の両側の線が交わって消
失する点；特開平７−１６２８４６号公報参照）が画面
の中心にあるとした場合に、前方車両の画面上の車両幅
Ｗを近似的に求める方法を説明する図である。画面の横
サイズＡを640 画素、縦サイズＢを480 画素とする。前
方車両が高さｈ(x) のところに存在しているとすると、
画面上の車線幅Ｄは、次のように求められる。

【００２３】 Ｄ＝Ａ（１−２ｈ(x) ／Ｂ） (2) ここで、実際の車両幅と実際の車線幅との比βを１．７
／３．５とみなすことにする。１．７は、小型車の規定
車両幅（単位ｍ）である。すると、画面上の車両幅Ｗ
は、 Ｗ＝１．７Ｄ／３．５ (3) で求められる。

【００２４】画面上の車両幅Ｗが求まると、図４(b) に
示すように、ｈ(x) と、ｈ(x+0.5W)との差が５画素未満
であるかどうかを判定し、 ｈ(x) −ｈ(x+0.5W)＜５ (4) 図４(c) に示すように、ｈ(x) と、ｈ(x+0.9W)との差が
５画素未満であるかどうかを判定する。

【００２５】 ｈ(x) −ｈ(x+0.9W)＜５ (5) 前記(4) 式と(5) 式の判定をするのは、車両ならば、そ
の影になっている部分の底は平らであるとの予測に基づ
くものである。前記のように図４(a),(b),(c) の判定
で、車両が存在するらしいと推測されると、当該物体を
含む範囲を車両の初期探索範囲を決定する。

【００２６】この初期探索範囲を決定方法を、図６を用
いて説明する。点ｈ(x) より左側にマージンｐをとり、
点ｈ(x) より右側に車両幅Ｗだけ進めてさらにマージン
ｐをとる。点ｈ(x) より下側にマージンｐをとり、点ｈ
(x) より上側にαＷだけ進めてさらにマージンｐをと
る。ここで、αは車体の縦横比であり、例えば乗用車を
対象にするのなら０．７７の値に設定する。しかし、ト
ラックやバスのような背の高い車両が存在することを考
えると、αは１．３から１．５位のほうがよい。マージ
ンｐは、例えば１５画素位とするが、この値も実際にい
ろいろ変化させて決定することが好ましい。

【００２７】以上のようにして求めた対角点を結ぶこと
により、初期探索範囲Ｅを決定することができる。最後
に、車両の初期探索範囲を決定するかどうかの判断基準
の変更例を、図７を用いて説明する。図７(a) は、図４
(a) と同様、１つ前のラインのエッジの高さｈ(x-1) と
ｈ(x) との差が１０画素以上あるかどうかを判定する方
法を説明する図である。

【００２８】図７(b) (c) (d) は、それぞれｈ(x-1) と
ｈ(x+0.3W)との差が１０画素以上あるかどうか、ｈ(x-
1) とｈ(x+0.5W)との差が１０画素以上あるかどうか、
ｈ(x-1) とｈ(x+0.7W)との差が１０画素以上あるかどう
かを判定する方法を説明する図である。図７(e) (f)
は、それぞれｈ(x+0.3W)とｈ(x+0.5W)との差が５画素未
満であるかどうか、ｈ(x+0.3W)とｈ(x+0.7W)との差が５
画素未満であるかどうかを説明する図である。

【００２９】図７の(a) から(f) までの全ての条件を満
たした場合に、車両が存在するらしいと推測する。そし
て、図６と同様の手法で当該物体を含む範囲を車両の初
期探索範囲を決定する。なお、本発明は前記の実施形態
に限定されるものではない。前記の実施形態では、図３
に示すように、画像の左端から右端までエッジを調べて
いたが、これとは逆に右端から左端までエッジを調べて
もよい。

【００３０】

【実施例】ＨＰ９０００モデル７３５の計算機を用い、
晴天昼間、片側一車線の高速道路で先行車両が１台ある
場合に撮像して画像を得た。この画像１枚に対して、本
発明に係る初期探索範囲の決定方法を実施したところ、
画像の入力から初期探索範囲の決定まで０．２６秒を要
した。

【００３１】

【発明の効果】以上のように本発明の先行車両の初期探
索範囲の決定方法によれば、認識対象の先行車両の画像
が含まれる確率の高い初期探索範囲を、短い処理時間で
切り出すことができる。

【図面の簡単な説明】

【図１】画像認識処理装置１を含む車載装置の電気的構
成を示すブロック図である。

【図２】画像認識処理部１ｂの処理内容を概説するフロ
ーチャートである。

【図３】画像の濃度が急激に変わる点（エッジ）を調べ
る手法を説明する図である。

【図４】車両の初期探索範囲を決定するかどうかの判断
基準を説明する図である。

【図５】道路消失点が画面の中心にあるとした場合に、
前方車両の画面上の車両幅Ｗを近似的に求める方法を説
明する図である。

【図６】初期探索範囲を決定方法を説明する図である。

【図７】車両の初期探索範囲を決定するかどうかの判断
基準の変更例を説明する図である。

【符号の説明】

１ 画像認識処理装置 １ａ 車載カメラ １ｂ 画像認識処理部 ２ データ処理装置 ３ レーザレーダ ４ 磁気センサ ５ 方位センサ ６ 車輪速センサ ７ 表示装置 ８ リモートコントロールユニット ９ ブレーキＥＣＵ １０ アクセルＥＣＵ １１ ステアリング １２ ビーコン受信機 １３ 送受信機

Claims (1)

【特許請求の範囲】
1. 【請求項１】車両の周辺の物体を画像認識するための車
   両認識装置に用いられ、 車載カメラによって車両の周辺を撮像し、 前記車載カメラで撮像された画面を縦割りする複数のラ
   インのうち、それぞれのラインに沿って下方から上方に
   向かって画像の濃度が初めて急激に変わる点を検出し、 検出された点をつないだ線に現れる凹状の部分を含む範
   囲を特定し、当該範囲を認識対象の先行車両の画像が含
   まれる初期探索範囲とすることを特徴とする先行車両の
   初期探索範囲の決定方法。