JPH0696397A - 画像追尾装置および画像追尾方法 - Google Patents

Abstract

(57)【要約】 【目的】 自動追尾システムや環境認識システムなどに
応用した場合、近距離用の障害物センサを用いることな
く、走行方向の監視を確実に行う。 【構成】 画像２０に対して監視領域を設定する。この
監視領域の中から車両５ａ，５ｂを抽出し、それぞれに
ウインドを設定する。これらウインドの中から、車間距
離が短いウインドを、追尾ウインド２２として選定す
る。追尾ウインド２２以外の監視領域の中から車両５ｂ
を抽出して、監視ウインド２３を設定する。監視ウイン
ド２３が追尾ウインド２２に重なり始めた時、あるいは
全部重なったとき、あるいは監視ウインド２３での車両
が追尾ウインド２２での車両よりも大きくなったとき等
を、車両５ｂが割り込んできた状態と判断する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、自動追尾システムや
環境認識システムなど走行方向の車両の移動状況を扱う
システムに用いて好適な画像追尾装置に関するものであ
る。

【０００２】

【従来の技術】従来より、画像追尾装置として、イメー
ジセンサを利用したものがよく知られている。図１１は
その一例を示す画像追尾装置のブロック図である。同図
において、１はレンズ、３はこのレンズ１に対し焦点距
離ｆ離れて配置されたイメージセンサ３であり、レンズ
１とイメージセンサ３とで光学系（撮像手段）が構成さ
れている。６はＡ／Ｄ変換器、８，８’はメモリ、１０
はＣＰＵ、１２はウインド形成装置、１３はウインド設
定スイッチである。この画像追尾装置において、対象物
５の像は、レンズ１によってイメージセンサ３上に結像
される。イメージセンサ３より得られる画像信号はＡ／
Ｄ変換器６にてデジタル信号に変換され、メモリ８，
８’に格納される。この際、メモリ８，８’には交互に
画像信号が格納され、ウインド設定スイッチ１３を介し
対象物５に対して予め設定される追尾ウインドについ
て、メモリ８，８’に格納された画像信号を順次シフト
しながら電気的に重ね合わせ、前画像に最もよく一致す
る画像に対して新追尾ウインドを設定する。これによ
り、追尾ウインドが自動的に更新され、すなわち追尾ウ
インドが自動的に移動して、対象物５の追尾が行われ
る。この追尾機能の実現方法については特開平３−１９
５９１６号公報等に詳細に説明されているのでここでは
省略する。

【０００３】この画像追尾装置は、自動追尾システムへ
応用することが可能であり、追尾対象車を定めてこれを
自動的に追いかけることができる。この場合、走行方向
を常に監視し、割り込みや車線変更等による追尾対象車
以外の車両の出現に対し、安全性を確保する必要があ
る。例えば、割り込み車が現れた場合、これを検出して
自動追尾を解除するなどして安全を確保する。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
自動追尾システムにおいて、走行方向の監視をレーザレ
ーダ等の障害物センサを用いて行うものとした場合、背
景と車両との区別が難しく、走行方向の監視を確実に行
うことができないという問題があった。

【０００５】本発明はこのような課題を解決するために
なされたもので、その目的とするところは、自動追尾シ
ステムや環境認識システムなどに応用した場合、近距離
用の障害物センサを用いることなく、走行方向の監視を
確実に行うことが可能な画像追尾装置を提供することに
ある。

【０００６】

【課題を解決するための手段】このような目的を達成す
るために、その第１発明（請求項１に係る発明）は、車
両前方を撮像し画像信号を出力する撮像手段と、この撮
像手段からの画像信号を記憶するメモリと、このメモリ
に記憶された画像信号に対して設定される監視領域にお
いて複数の車両を識別して追尾する複数追尾手段とを備
えたものである。また、その第２発明（請求項２に係る
発明）は、車両前方を撮像し画像信号を出力する撮像手
段と、この撮像手段からの画像信号を記憶するメモリと
を備え、このメモリに記憶された画像信号に対し監視領
域を設定し、この監視領域中の追尾対象車に対し追尾ウ
インドを設定してその追尾を行う一方、追尾ウインド以
外の監視領域中の追尾対象車とは異なる車両に対し監視
ウインドを設定してその追尾を行い、監視ウインドと追
尾ウインドとの動きに基づいて走行方向の監視を行うよ
うにしたものである。

【０００７】

【作用】したがってこの発明によれば、その第１発明で
は、監視領域中の複数の車両を識別して追尾しながら、
各車両の位置や移動状況等を把握することができる。ま
た、その第２発明では、監視領域中の追尾対象車および
追尾対象車とは異なる車両を追尾しながら、監視ウイン
ドと追尾ウインドとの動きに基づいて走行方向の監視が
行われる。

【０００８】

【実施例】以下、本発明を実施例に基づき詳細に説明す
る。

【０００９】図１は、この発明の一実施例を示す画像追
尾装置のブロック図である。同図において、図１１と同
一符号は同一或いは同等構成要素を示す。

【００１０】本実施例においては、レンズ１とイメージ
センサ３とで構成された光学系（第１の光学系）に加え
て、レンズ２とイメージセンサ４とで構成された光学系
（第２の光学系）を設けている。そして、第２の光学系
に対してＡ／Ｄ変換器７とメモリ９を設け、母線ＢＵＳ
に対して表示装置１４を接続している。第１の光学系と
第２の光学系とは基線長Ｌを隔てて配置されており、イ
メージセンサ４はレンズ２に対して焦点距離ｆ離れて配
置されている。

【００１１】この画像追尾装置において、レンズ面から
距離Ｒにある対象物５の像は、レンズ１，２によってイ
メージセンサ３，４上に結像される。イメージセンサ
３，４より得られる画像信号は、Ａ／Ｄ変換器６，７を
介して、所定のサンプリング周期でデジタル信号に変換
され、メモリ８，９に格納される。メモリ８に格納され
た画像信号はＣＰＵ１０と表示装置１４に送られる。メ
モリ９に格納された画像信号はＣＰＵ１０へ送られる。
ＣＰＵ１０は、画像処理した後、後述する三角測量によ
り車間距離Ｒを算出する。表示装置１４は、送られてく
る画像信号と共に、ＣＰＵ１０にて算出された車間距離
Ｒを表示する。また、ＣＰＵ１０は、ウインド更新時に
画像信号を時系列で演算するため、メモリ８の内容をウ
インドメモリ８’に記憶させる。

【００１２】次に、ＣＰＵ１０での本実施例特有の処理
動作について、図１０に示すフローチャートを参照しな
がら説明する。

【００１３】ＣＰＵ１０は、ステップ３０において、メ
モリ８（もしくはメモリ９）に格納された画像信号に対
し、図２に示すように、監視領域２１を設定する。すな
わち、画像２０に対して、監視領域２１を設定する。そ
して、この監視領域２１の中から車両５ａ，５ｂを抽出
し、ウインド２２ａ，２２ｂを設定する（図３参照）。

【００１４】この車両の抽出に際しては、車両の左右対
称性を利用したもの（コンピュータビジョン１９８５
３７−４）、形状抽出フイルタを用いるもの（特開平３
−４５８９８号公報）等、様々な手法を利用することが
できる。

【００１５】次に、ＣＰＵ１０は、ステップ３１におい
て、ウインド２２ａ，２２ｂの中から追尾ウインドを選
定する。この場合、図４に示すように、ウインド２２ａ
が追尾ウインド２２として選定される。

【００１６】本実施例において、追尾ウインド２２の選
定は、次のようにして行われる。すなわち、第１の光学
系と第２の光学系とからの画像信号のずれｎから三角測
量により車間距離を求め、即ち下記（１）式より各車両
との車間距離Ｒを求め、車間距離Ｒの短いウインドを追
尾ウインド２２として定める。この場合の測定処理の詳
細については、特公昭６３−４６３６３号公報に開示さ
れているので、ここでは省略する。 Ｒ＝（ｆ＊Ｌ）／ｎ ・・・（１）

【００１７】なお、追尾ウインド２２の選定は、上述し
た方法によらず、各ウインド内での車両の車幅の大きさ
を判定基準としてもよい。すなわち、最も車幅の広い車
両の存在するウインドを、追尾ウインド２２として選定
してもい。また、近距離と車幅の双方の条件を用いて、
追尾ウインド２２を選定するものとしてもよい。

【００１８】次に、ＣＰＵ１０は、ステップ３２におい
て、追尾ウインド２２以外の監視領域を２４ａ，２４ｂ
に分け、この監視領域２４ａ，２４ｂの中から車両を認
識して、監視ウインド２３を設定する（図５参照）。

【００１９】そして、ＣＰＵ１０は、ステップ３３にお
いて、追尾ウインド２２および監視ウインド２３の水平
位置・距離・大きさ・移動速度等の情報を用いて前回の
結果と比較し、追尾対象車両５ａおよび追尾対象車両以
外の車両５ｂの動きを判断する。

【００２０】ステップ３３における判断状況の一例を図
６および図７を用いて説明する。図７では横軸を画像２
０上の水平方向，縦軸を時間としており、図の黒丸およ
び黒三角は追尾ウインド２２および監視ウインド２３の
水平中心を表している。この図から、両ウインド２２，
２３の移動の様子を時系列で知ることができる。この図
によれば、車両５ｂが時刻ｔ１で出現し、時刻ｔ２点で
は追尾対象車５ａとの間に図６に示す如く割り込んだ状
態にあることが分かる。このような場合、本実施例で
は、追尾対象車５ａに対する自動追尾を解除すると共
に、運転者に割り込み車の存在を警報や表示などで知ら
せる。ここで、車両５ｂが割り込んできた状態は、監視
ウインド２３が追尾ウインド２２に重なり始めた時、あ
るいは全部重なったとき、あるいは監視ウインド２３で
の車両が追尾ウインド２２での車両よりも大きくなった
とき等、監視ウインド２３と追尾ウインド２２との動き
に基づいて判定する。

【００２１】なお、ステップ３０における監視領域２１
は、応用されるシステムに応じて決定すればよい。例え
ば、自車両の車線内の車両に限定して監視領域２１を定
め、走行方向の監視を行うものとしてもよい。すなわ
ち、隣車線の車両は無視し（図８参照）、自車両の車線
に割り込む車両のみを監視するものとしてもよい（図９
参照）。この際、自車両の車線は、道路上の白線を抽出
して認識する。なお、白線認識の手法はよく知られてお
り、例えばパターン計測部会研究会資料（平成２．２．
１６）等がある。

【００２２】また、ステップ３３での前方車両のモニタ
情報も、追尾ウインド２２および監視ウインド２３の水
平位置・距離・大きさ・移動速度等だけでなく、応用さ
れるシステムに応じて決定すればよい。例えば、自車速
度や相対速度等を付加して割り込み車両の接近スピード
を検出し、その危険度をシステム側に知らせるような装
置としてもよい。

【００２３】また、距離情報（車間距離）は、本実施例
のような三角測量によらず、超音波センサやレーザレー
ダを用いて求めるものとしてもよい。

【００２４】

【発明の効果】以上説明したことから明らかなように本
発明によれば、その第１発明によると、監視領域中の複
数の車両を識別して追尾しながら各車両の位置や移動状
況等を把握することができ、またその第２発明による
と、監視領域中の追尾対象車および追尾対象車とは異な
る車両を追尾しながら監視ウインドと追尾ウインドとの
動きに基づいて走行方向の監視が行われ、自動追尾シス
テムや環境認識システムなどに応用した場合、近距離用
の障害物センサを用いることなく、走行方向の監視を確
実に行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す画像追尾装置のブロッ
ク図である。

【図２】図１に示された画像追尾装置におけるメモリに
格納された画像信号に対する監視領域の設定状況を示す
図である。

【図３】図２に示された監視領域の中から抽出した車両
に対するウインドの設定状況を示す図である。

【図４】図３に示された各ウインドの中からの追尾ウイ
ンドの選定状況を示す図である。

【図５】図４に示された追尾ウインド以外の監視領域の
中から抽出した車両に対する監視ウインドの設定状況を
示す図である。

【図６】追尾対象車との間に追尾対象車以外の車両が割
り込んだ状態での追尾ウインドと監視ウインドの移動位
置を示す図である。

【図７】追尾ウインドと監視ウインドの移動の様子を時
系列で示す図である。

【図８】自車両の車線内に限定して監視領域を定めた場
合の追尾ウインドの設定状況を図５と対応して示す図で
ある。

【図９】自車両の車線内に限定して監視領域を定めた場
合の追尾ウインドおよび監視ウインドの設定状況を図６
と対応して示す図である。

【図１０】ＣＰＵでの本実施例特有の処理動作を説明す
るためのフローチャートである。

【図１１】従来の画像追尾装置の一例を示すブロック図
である。

【符号の説明】

１，２ レンズ ３，４ イメージセンサ ６，７ Ａ／Ｄ変換器 ８，８’，９ メモリ ５ａ 追尾対象車 ５ｂ 追尾対象車以外の車両 １０ ＣＰＵ ２１ 監視領域 ２２ 追尾ウインド ２３ 監視ウインド

Claims (2)

【特許請求の範囲】
1. 【請求項１】 車両前方を撮像し画像信号を出力する撮
   像手段と、 この撮像手段からの画像信号を記憶するメモリと、 このメモリに記憶された画像信号に対して設定される監
   視領域において複数の車両を識別して追尾する複数追尾
   手段とを備えたことを特徴とする画像追尾装置。
2. 【請求項２】 車両前方を撮像し画像信号を出力する撮
   像手段と、 この撮像手段からの画像信号を記憶するメモリとを備
   え、 このメモリに記憶された画像信号に対し監視領域を設定
   し、この監視領域中の追尾対象車に対し追尾ウインドを
   設定してその追尾を行う一方、前記追尾ウインド以外の
   監視領域中の前記追尾対象車とは異なる車両に対し監視
   ウインドを設定してその追尾を行い、前記監視ウインド
   と前記追尾ウインドとの動きに基づいて走行方向の監視
   を行うようにしたことを特徴とする画像追尾方法。