JPH1120546A - 車両用後側方監視方法及び車両用後側方監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 正確なオプティカルフローを求めることによ
り信頼性の高い後側方監視を行うことができる車両用後
側方監視方法及び車両用後側方監視装置を提案するこ
と。 【解決手段】 ある時点の撮像画像から当該撮像画像の
無限遠点（ＦＯＥ）を通って直線的に並ぶような特徴点
を削除してから、この画像と時間的に相前後する画像中
において対応点を検出するようにしたことにより、特徴
点に対応する対応点を的確かつ速やかに検出できるよう
になる。かくして特徴点とこの対応点を結ぶベクトルを
オプティカルフローとして検出すれば、正確なオプティ
カルフローを求めることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動車などの車両
に設置したビデオカメラによって後方及び側方を撮像し
た画像を用いて、車両の走行の際に後方および側方より
接近する車両を検知し運転者に警告を与えるための車両
用後側方監視方法及び装置に関するものである。

【０００２】

【従来の技術】片側２車線以上の道路を車両が走行中に
車線変更する際、変更しようとする隣接車線を、自車よ
り速い速度で走行中の車両を見落した場合、大事故につ
ながる危険性が大である。また、自車と同じ車線を走行
中の後続車両がある場合、急接近してきた場合などに急
ブレーキをかけると追突される危険性があるため、近接
車両を認識しておく必要がある。

【０００３】隣接車線を走行中の車両および後続車両を
認識させる従来例としては特開平１−１８９２８９号公
報（車両情報表示装置）が提案されている。この特開平
１−１８９２８９号公報には、車両の後方及び側方をカ
メラによって撮影し、撮影された画像をモニタに表示さ
せることによって、隣接車線を走行中の車両および後続
車両を認識させるようにしている。

【０００４】しかしながら、運転者がモニタに表示され
た車両を見落とすおそれがあり、またモニタを見ただけ
では隣接車線を走行中の車両及び後続車両の速度が自車
の速度より速いか否かを直ちに判断することは困難であ
った。

【０００５】そこで従来、車両の後側方に向けて取り付
けられたビデオカメラにより車両走行中に得られた撮像
画像の各点が全体として収束するような無限遠点又は消
失点（一般にＦＯＥ（Focus of Expansion）と呼ばれ
る）を求めると共に、撮像画像中の特徴点の移動ベクト
ル（以下、これをオプティカルフローと呼ぶ）を求め、
このオプティカルフローがＦＯＥから発散する方向に向
かっているか、ＦＯＥに収束する方向に向かっているか
に応じて、隣接車線を走行中の車両及び後続車両の速度
の自車に対する接近度を判断するようにした車両用後側
方監視方法が提案されている（特願平５−１９６１８９
号）。

【０００６】この車両用後側方監視方法を、図１１を用
いて簡単に説明する。図１１は、自車両後方に後ろ向き
に取り付けられたカメラにより得られた時間的に連続し
た画像である。そして図１１は自車両が走行している隣
の車線を走行している車が、自車両を追い越していくと
ころを示す。

【０００７】先ず、図１１（Ａ）の特徴点Ａと対応する
対応点を、図１１（Ｂ）のＦＯＥと特徴点Ａを結ぶ直線
上で探索する。この例では、図１１（Ｂ）の点Ａ′が対
応点として検出された。この点Ａと点Ａ′を結ぶベクト
ルがオプティカルフローであり、この例の場合、オプテ
ィカルフローがＦＯＥから発散する方向に向かっている
ので、隣接車線を走行中の車両の自車に対する接近度が
大きいと判断される。

【０００８】

【発明が解決しようとする課題】しかしながら、図１２
に示すような場合、対応点を正しく求めることができな
いため、誤ったオプティカルフローを求めてしまう可能
性がある。これについて説明すると、図１２（Ａ）で白
線上の点を特徴点Ｂとして設定したとすると、その特徴
点Ｂに対応する対応点Ｂ′を図１２（Ｂ）から検出する
必要がある。

【０００９】この際、図１３に示すように、図１２
（Ａ）の特徴点Ｂ上に作ったマスク１と相関があう点
（対応点）を、図１２（Ｂ）のＦＯＥと特徴点Ｂを結ぶ
直線上からマスク２により検索するのだが、白線上には
マスク１と同様な輝度分布の点が幾つもあるため、対応
点の検出が困難になり誤った点を対応点としてしまう可
能性が高い。実際に、図１３の例では、特徴点Ｂに対応
する対応点Ｂ′が特徴点Ｂに対してＦＯＥの反対側で検
出されているが、本当の対応点は特徴点ＢよりもＦＯＥ
側の白線上で検出されるべきである。

【００１０】このように特徴点に対して誤った対応点が
検出され、誤ったオプティカルフローが求められると、
自車両に対して後方車両又は隣接車線を走行中の車両が
接近していないのに接近していると判断されたり、これ
とは逆に接近してくる車両があるにも拘らずこれを見逃
したりすることになり、後側方監視の信頼性が著しく低
下する問題があった。

【００１１】本発明は以上の点を考慮してなされたもの
で、正確なオプティカルフローを求めることにより信頼
性の高い後側方監視を行うことができる車両用後側方監
視方法及び車両用後側方監視装置を提案しようとするも
のである。

【００１２】

【課題を解決するための手段】かかる課題を解決するた
め本発明により成された請求項１に記載の車両用後側方
監視方法は、走行している自車両から後側景を撮像し、
所定時間相前後する２コマの画像中の対応点の移動をオ
プティカルフローとして検出し、自車両に対する後方車
両又は隣接車線を走行中の車両の相対関係を監視する車
両用後側方監視方法において、ある時点の撮像画像から
特徴点を検出すると共に、当該特徴点のうち当該ある時
点の撮像画像の無限遠点（ＦＯＥ）を通って直線的に並
ぶ特徴点を削除し、前記ある時点の画像と時間的に相前
後する画像中において、削除されずに残った特徴点と撮
像画像の無限遠点とを結ぶ直線上の点を候補点として、
削除されずに残った特徴点に対応する対応点を検出し、
特徴点と対応点を結ぶベクトルをオプティカルフローと
して検出し、オプティカルフローと無限遠点とに基づい
て自車両に対する後方車両又は隣接車線を走行中の車両
の接近の度合いを監視するようにした。

【００１３】また本発明により成された請求項５に記載
の車両用後側方監視装置は、図１に示すように、撮像手
段２により走行している自車両から後側景を撮像し、所
定時間相前後する２コマの画像中の対応点の移動をオプ
ティカルフローとして検出し、自車両に対する後方車両
又は隣接車線を走行中の車両の相対関係を監視する車両
用後側方監視装置１において、ある時点の撮像画像から
特徴点を検出すると共に、当該特徴点のうち当該ある時
点の撮像画像の無限遠点（ＦＯＥ）を通って直線的に並
ぶ特徴点を削除する特徴点選別手段５と、ある時点の画
像と時間的に相前後する画像中において、特徴点選別手
段５で削除されずに残った特徴点と当該撮像画像の無限
遠点とを結ぶ直線上の点を候補点として、削除されずに
残った特徴点に対応する対応点を検出する対応点検出手
段１２と、特徴点と対応点を結ぶベクトルをオプティカ
ルフローとして検出するオプティカルフロー形成手段１
３と、オプティカルフローと無限遠点とに基づいて自車
両に対する後方車両又は隣接車線を走行中の車両の接近
の度合いを求めて危険度を判定する危険度判定手段１４
とを備えるようにした。

【００１４】以上の構成において、対応点検出手段１２
において対応点の検出が困難になるような特徴点、すな
わち特徴点と無限遠点を結ぶ直線上に複数の似通った対
応候補点が存在してしまうような特徴点が、特徴点選別
手段５により予め削除されるので、対応点検出手段１２
は特徴点に対応する対応点を的確かつ速やかに検出でき
るようになる。この結果、オプティカルフロー形成手段
１３では、正確なオプティカルフローを求められ、危険
度判定手段１４により信頼性のある判定処理を行うこと
ができるようになる。

【００１５】また本発明により成された請求項２に記載
の車両用後側方監視方法は、特徴点を削除する際に、特
徴点を含む周辺画素からなる第１のマスク画像を形成す
ると共に、当該第１のマスク画像に隣接しかつ特徴点と
無限遠点を通る直線上に第２のマスク画像を形成し、第
１のマスク画像と第２のマスク画像の相関関係を比較
し、第１のマスク画像と第２のマスク画像の相関性が強
いとき、特徴点を削除するようにした。

【００１６】また本発明により成された請求項６に記載
の車両用後側方監視装置は、図１に示すように、請求項
５の特徴点選別手段５は、特徴点を含む周辺画素からな
る第１のマスク画像を形成すると共に、当該第１のマス
ク画像に隣接しかつ特徴点と無限遠点を通る直線上に第
２のマスク画像を形成するマスク画像形成手段７と、第
１のマスク画像と第２のマスク画像の相関関係を比較す
る相互比較手段１０と、第１のマスク画像と第２のマス
ク画像の相関性が強いとき、特徴点を削除する特徴点削
除手段１１とを備えるようにした。

【００１７】以上の構成において、対応点検出手段１２
において対応点の検出が困難になるような特徴点を簡単
かつ確実に削除することができるようになる。

【００１８】また本発明により成された請求項３に記載
の車両用後側方監視方法は、特徴点を削除する際に、あ
る時点の撮像画像のエッジ画像を形成し、当該エッジ画
像におけるエッジ上の所定の点を特徴点として設定し、
当該特徴点を含む周辺画素からなる第１のマスク画像を
形成すると共に、当該第１のマスク画像に隣接しかつ当
該特徴点と無限遠点を通る直線上に第２のマスク画像を
形成し、第１のマスク画像と第２のマスク画像の相関関
係を比較し、第１のマスク画像と第２のマスク画像の相
関性が強いとき、その特徴点を削除するようにした。

【００１９】また本発明により成された請求項７に記載
の車両用後側方監視装置は、図１に示すように、請求項
５の特徴点選別手段５は、ある時点の撮像画像のエッジ
画像を形成するエッジ画像形成手段６と、当該エッジ画
像におけるエッジ上の所定の点を特徴点として設定する
特徴点設定手段８と、当該特徴点を含む周辺画素からな
る第１のマスク画像を形成すると共に、当該第１のマス
ク画像に隣接しかつ当該特徴点と無限遠点を通る直線上
に第２のマスク画像を形成するマスク画像形成手段７
と、第１のマスク画像と第２のマスク画像の相関関係を
比較する相互比較手段１０と、第１のマスク画像と第２
のマスク画像の相関性が強いとき、特徴点を削除する特
徴点削除手段１１とを備えるようにした。

【００２０】以上の構成において、エッジ画像上の点を
特徴点としたことにより、撮像画像から画像の特徴を十
分に反映した特徴点を効率的に絞り込むことができ、こ
の結果全体としての演算回数を有効に低減することがで
きと共に一段と的確なオプティカルフローを検出できる
ようになる。

【００２１】また本発明により成された請求項４に記載
の車両用後側方監視方法は、特徴点を削除する際に、削
除する特徴点と共に当該削除する特徴点が検出されたエ
ッジ画像の直線部分を一括して削除するようにした。

【００２２】さらに本発明により成された請求項８に記
載の車両用後側方監視装置は、請求項６又は請求項７の
特徴点削除手段１１は、削除する特徴点と共に当該削除
する特徴点が検出されたエッジ画像の直線部分を一括し
て削除するようにした。

【００２３】以上の構成において、特徴点を一つ一つ設
定してそれらの特徴点に対して特徴点の選別処理を行う
のではなく、削除する特徴点を一つ検出したときに、そ
の特徴点と直線的に並ぶ特徴点を一括して削除するよう
にしたことにより、続く特徴点選別処理で削除されるで
あろう特徴点を、それらの処理を行わずに削除できるよ
うになる。この結果、特徴点設定処理及び特徴点削除処
理の処理回数を格段に減らすことができるようになる。

【００２４】

【発明の実施の形態】以下、図面に基づき本発明の一実
施形態を説明する。

【００２５】（１）構成 図１において、１は全体として車両用後側方監視装置を
示し、自車両後方に後ろ向きに取り付けられたビデオカ
メラ２により撮像された画像信号Ｓ１がフレームメモリ
３及びＦＯＥ検出回路４に供給される。ＦＯＥ検出回路
４は時間的に連続する画像から無限遠点（すなわちＦＯ
Ｅ）を検出する。

【００２６】フレームメモリ３から読み出された１フレ
ーム分過去の画像信号Ｓ１は特徴点選別部５のハイパス
フィルタ（ＨＰＦ）６及びマスク画像形成回路７に入力
される。ハイパスフィルタ６は画像信号Ｓ１のエッジ画
像を形成するためのエッジ画像形成手段として機能し、
画像信号Ｓ１のの高周波成分のみを通過させる（換言す
れば画像信号Ｓ１を微分する）ことによりエッジ画像信
号Ｓ２を形成し、これを特徴点設定回路８に送出する。
すなわち図２に示すような生画像から図３に示すような
エッジ画像を形成する。

【００２７】特徴点設定回路８はエッジ画像信号Ｓ２に
基づいて、図３に示すようにエッジ上に特徴点Ｐ１を設
定し、設定した特徴点Ｐ１の座標情報Ｓ３を傾き検出回
路９に送出する。傾き検出回路９は特徴点Ｐ１の座標情
報Ｓ３と、ＦＯＥ検出回路４からのＦＯＥ座標情報Ｓ４
とに基づいて、図３に示すようにＦＯＥと特徴点Ｐ１と
を結ぶ直線Ｌ１の傾きθを求め、これを傾き情報Ｓ５と
してマスク画像形成回路７に送出する。

【００２８】マスク画像形成回路７は画像信号Ｓ１、特
徴点Ｐ１の座標情報Ｓ３及び傾き情報Ｓ５を入力し、図
２に示すように、生画像上の着目している特徴点と同じ
座標位置にマスクＡを設定すると共に、図４に示すよう
にマスクＡに対して傾きθの上下位置に、マスクＡと同
じ大きさのマスクＢ及びマスクＣを作る。そして、この
マスクＡ、マスクＢ及びマスクＣ内の画素情報を、マス
ク画像情報Ｓ６として相互比較回路１０に送出する。

【００２９】相互比較回路１０はマスク画像情報Ｓ６に
基づいて、マスクＡとマスクＢ中の画素を比較すること
によりマスクＡとマスクＢの相関を求めると共にマスク
ＡとマスクＣ中の画素を比較することによりマスクＡと
マスクＣの相関を求め、これにより得た比較結果Ｓ７を
特徴点削除回路１１に送出する。

【００３０】特徴点削除回路１１は、マスクＡがマスク
Ｂ及びマスクＣと相関性が高いことを表す比較結果Ｓ７
が入力された場合には、その特徴点の座標情報Ｓ３を削
除する。これに対してマスクＡがマスクＢ及びマスクＣ
と相関性が低いことを表す比較結果Ｓ７が入力された場
合には、その特徴点の座標情報Ｓ３を削除せずにそのま
ま対応点検出回路１２及びオプティカルフロー形成回路
１３に送出するようになされている。これにより特徴点
選別部５においては、対応点が検出し難い特徴点を予め
削除することができる。

【００３１】具体的には、図４のような場合には、マス
クＡはマスクＢ及びマスクＣとの相関が高いので相互比
較回路１０でそのことを表す比較結果Ｓ７が得られ、特
徴点削除回路１１において特徴点Ｐ１が削除される。

【００３２】これに対して、図５〜図７に示すように、
特徴点設定回路８で特徴点Ｐ２を設定し、この特徴点Ｐ
２に応じたマスクＡに対して傾きθ′の上下位置に、マ
スクＡと同じ大きさのマスクＢ及びマスクＣを作った場
合には、マスクＡはマスクＢ及びマスクＣとの相関が低
いので相互比較回路１０でそのことを表す比較結果Ｓ７
が得られ、特徴点削除回路１１において特徴点Ｐ２は削
除されずに、対応点検出回路１２及びオプティカルフロ
ー形成回路１３に送出される。

【００３３】この結果、特徴点削除回路１１からは、図
８に示すように、ＦＯＥを通って直線的に並ぶような特
徴点が削除されたエッジ画像がエッジ画像信号Ｓ８とし
て出力されるようになる。

【００３４】対応点検出回路１２は、特徴点削除回路１
１から入力した時点ｔの特徴点座標と対応する対応点
を、ビデオカメラ２から入力した時点ｔ＋Δｔの画像上
で探索する。すなわち、図について上述したように、特
徴点と対応する対応点をＦＯＥと特徴点を結ぶ直線上で
探索する。

【００３５】オプティカルフロー形成回路１３は特徴点
と対応点を結ぶことによりオプティカルフローを形成
し、これを危険度判定回路１４に送出する。危険度判定
回路１４はオプティカルフローがＦＯＥから発散する方
向に向かっているか、ＦＯＥに収束する方向に向かって
いるかに応じて、隣接車線を走行中の車両及び後続車両
の速度の自車に対する接近度（すなわち危険度）を判断
し、当該判定結果を警報部１５に送出する。すなわちオ
プティカルフローがＦＯＥから発散する方向に大きく向
かっているほど、危険度が高いと判断する。

【００３６】警報部１５は警報ブザーや警報ランプ等で
なり、危険度判定回路１４から危険なことを表す判定結
果が入力された場合には、当該警報ブザーをならしたり
警報ランプを点灯させることにより、運転者に後側方か
ら急接近してくる車両があることを知らせるようになさ
れている。

【００３７】（２）動作 以上の構成において、車両用後側方監視装置１は、図９
に示すような後側方監視処理手順を実行することによ
り、正確なオプティカルフローを求めて信頼性の高い後
側方監視を行うことができるようになっている。

【００３８】すなわち、先ずステップＳＰ１においてビ
デオカメラ２から時点ｔの画像を取り込むと共にステッ
プＳＰ２においてフレームメモリ３から時点ｔ＋Δｔの
画像を取り込み、続くステップＳＰ３においてＦＯＥ検
出回路４でＦＯＥを検出する。

【００３９】次にステップＳＰ４において、特徴点選別
部５によって、対応が取り難い特徴点を削除する。そし
て続くステップＳＰ５において、危険度判定回路１４に
よって、対応点検出回路１２及びオプティカルフロー形
成回路１３で求めたオプティカルフローに基づきＦＯＥ
から発散するオプティカルフローを検出し、続くステッ
プＳＰ６において危険度を計算する。

【００４０】ここで本発明の特徴であるステップＳＰ４
での特徴点削除処理について、図１０を用いてさらに詳
述する。この特徴点削除処理ＳＰ４は、図１の特徴点選
別部５において行われる。特徴点選別部５は特徴点削除
処理ＳＰ４に入ると、先ずステップＳＰ１０でフレーム
メモリ３から生画像を取得する。続くステップＳＰ１１
では、ハイパスフィルタ６で微分処理を行うと共に特徴
点設定回路８でエッジ画像中から所定の特徴点を選ぶこ
とにより、特徴点を抽出する。

【００４１】ステップＳＰ１２では、傾き検出回路９に
よって特徴点とＦＯＥを結ぶ直線の傾きθを算出する。
続くステップＳＰ１３では、マスク画像形成回路７によ
って特徴点の位置にマスクＡを作成し、ステップＳＰ１
４では、マスクＡに対して傾きθの方向の上下位置にマ
スクＢ及びマスクＣを作成する。因みにこのステップＳ
Ｐ１０〜ステップＳＰ１４までの処理は従来の処理と同
様である。

【００４２】次にステップＳＰ１５では、相互比較回路
１０によってマスクＡとマスクＢの相関がとれているか
否か判断し、相関がとれている場合には、ステップＳＰ
１６に移ってマスクＡとマスクＣの相関がとれているか
否か判断する。ここでステップＳＰ１５及びステップＳ
Ｐ１６で共に肯定結果が得られた場合には、ステップＳ
Ｐ１７に移り、何れか一方又は両方で否定結果が得られ
た場合には、ステップＳＰ１７の処理を行わずにステッ
プＳＰ１８に移る。

【００４３】ステップＳＰ１７では、特徴点削除回路１
１によって現在処理している特徴点を削除する。これに
よりエッジ画像上でＦＯＥを通って直線的に並ぶ特徴点
ような互いに似通った特徴点が削除されるので、図１の
対応点検出回路１２で誤った対応点が検出されることを
防止できるようになる。

【００４４】ステップＳＰ１８では、エッジ画像上での
全ての特徴点の処理が終了したか否か判断し、処理が終
了していない特徴点が残っている場合には、ステップＳ
Ｐ１２に戻って次の特徴点についてステップＳＰ１２〜
ステップＳＰ１７までの処理を繰り返す。これに対して
ステップＳＰ１８で肯定結果が得られた場合には、ステ
ップＳＰ１９に移って当該特徴点削除処理ルーチンＳＰ
４を終了して、図９のステップＳＰ５に移る。

【００４５】（３）効果 かくして以上の構成によれば、ある時点の撮像画像から
ＦＯＥを通って直線的に並ぶような特徴点を削除してか
ら、この画像と時間的に相前後する画像中において対応
点を検出するようにしたことにより、特徴点に対応する
対応点を的確かつ速やかに検出できるようになる。かく
して特徴点とこの対応点を結ぶベクトルをオプティカル
フローとして検出すれば、正確なオプティカルフローを
求めることができ、信頼性の高い後側方監視を行うこと
ができる車両用後側方監視装置１を実現できる。

【００４６】（４）他の実施形態 なお上述の実施形態においては、エッジ画像形成手段と
してのハイパスフィルタ６によりエッジ画像を形成し、
当該エッジ画像上の点を特徴点とする場合について述べ
たが、本発明はこれに限らず、特徴点を検出する際に例
えば画像信号Ｓ１のテクスチャ成分を抽出したテクスチ
ャ画像を形成し、当該テクスチャ画像上の点を特徴点と
するようにしてもよい。

【００４７】また上述の実施形態においては、図１０で
説明したように、特徴点を一つ一つ設定してそれらの特
徴点に対して特徴点の選別処理を行うようにした場合に
ついて述べたが、本発明はこれに限らず、削除する特徴
点を一つ検出したときに、その特徴点と直線的に並ぶ特
徴点を一括して削除するようにしてもよい。このように
すれば、続く特徴点選別処理で削除されるであろう特徴
点を、それらの処理を行わずに一括して削除できるよう
になる。この結果、特徴点設定処理及び特徴点削除処理
の処理回数を格段に減らすことができるようになる。

【００４８】また上述の実施形態においては、マスクＡ
に対して傾きθの上下位置に、マスクＡと同じ大きさの
マスクＢ及びマスクＣを作るようにした場合について述
べたが、本発明はこれに限らず、この位置からマスクＢ
及びマスクＣを左右に数画素分振り、マスクＡとの相関
を求めるようにしてもよい。このようにすれば、特徴点
及びＦＯＥを通る直線に対して、削除したいエッジ部分
の傾きが多少ずれた場合でも、このエッジ部分を削除す
ることができるようになる。

【００４９】また上述の実施形態においては、時点ｔ＋
Δｔの画像から特徴点を検出する際には生画像を微分し
て得たエッジ画像を用いると共に、この特徴点に対応す
る対応点を探索する際には時点ｔの生画像をそのまま用
いるようにした場合について述べたが、本発明はこれに
限らず、対応点を探索する際にも時点ｔの画像からエッ
ジ画像を形成し、当該エッジ画像に基づいて探索を行う
ようにしてもよい。このようにすれば、生画像を用いて
探索を行う場合と比較して、情報量の少ない画像を用い
て探索を行うことができるようになるため、対応点を一
段と短い時間で検出することができるようになる。

【００５０】

【発明の効果】上述のように請求項１及び請求項５の発
明によれば、ある時点の撮像画像から当該撮像画像の無
限遠点（ＦＯＥ）を通って直線的に並ぶような特徴点を
削除してから、この画像と時間的に相前後する画像中に
おいて対応点を検出するようにしたことにより、特徴点
に対応する対応点を的確かつ速やかに検出できるように
なる。かくして特徴点とこの対応点を結ぶベクトルをオ
プティカルフローとして検出すれば、正確なオプティカ
ルフローを求めることができ、信頼性の高い後側方監視
を行うことができる車両用後側方監視方法及び車両用後
側方監視装置を実現できる。

【００５１】また請求項２及び請求項６の発明によれ
ば、特徴点を削除する際に、特徴点を含む周辺画素から
なる第１のマスク画像を形成すると共に、当該第１のマ
スク画像に隣接しかつ特徴点と無限遠点を通る直線上に
第２のマスク画像を形成し、第１のマスク画像と第２の
マスク画像の相関関係を比較し、第１のマスク画像と第
２のマスク画像の相関性が強いとき、特徴点を削除する
ようにしたことにより、対応点の検出が困難になるよう
な特徴点を簡単かつ確実に削除することができる車両用
後側方監視方法及び装置を実現できるようになる。

【００５２】また請求項３及び請求項７の発明によれ
ば、特徴点を削除する際に、ある時点の撮像画像のエッ
ジ画像を形成し、当該エッジ画像におけるエッジ上の所
定の点を特徴点として設定し、当該特徴点を含む周辺画
素からなる第１のマスク画像を形成すると共に、当該第
１のマスク画像に隣接しかつ当該特徴点と無限遠点を通
る直線上に第２のマスク画像を形成し、第１のマスク画
像と第２のマスク画像の相関関係を比較し、第１のマス
ク画像と第２のマスク画像の相関性が強いとき、その特
徴点を削除するようにしたことにより、撮像画像から画
像の特徴を十分に反映した特徴点を効率的に絞り込むこ
とができ、この結果全体としての演算回数を有効に低減
することができと共に一段と的確なオプティカルフロー
を検出できる車両用後側方監視方法及び装置を実現でき
るようになる。

【００５３】さらに請求項４及び請求項８の発明によれ
ば、削除する特徴点と共に当該削除する特徴点が検出さ
れたエッジ画像の直線部分を一括して削除するようにし
たことにより、特徴点設定処理及び特徴点削除処理の処
理回数を格段に減らすことができる車両用後側方監視方
法及び装置を実現できるようになる。

【図面の簡単な説明】

【図１】実施の形態による車両用後側方監視装置の構成
を示すブロック図である。

【図２】マスク画像形成の説明に供する略線図である。

【図３】エッジ画像形成の説明に供する略線図である。

【図４】図３の特徴点Ｐ１に対するマスク画像形成の説
明に供する略線図である。

【図５】マスク画像形成の説明に供する略線図である。

【図６】エッジ画像形成の説明に供する略線図である。

【図７】図６の特徴点Ｐ２に対するマスク画像形成の説
明に供する略線図である。

【図８】特徴点削除処理の後に残ったエッジ画像を示す
略線図である。

【図９】実施の形態による車両用後側方監視装置の動作
の説明に供するフローチャートである。

【図１０】特徴点選別部による特徴点削除処理ルーチン
を示すフローチャートである。

【図１１】オプティカルフローの検出の説明に供する略
線図である。

【図１２】誤ったオプティカルフローが検出される場合
を説明するための略線図である。

【図１３】誤ったオプティカルフローが検出される場合
を説明するための略線図である。

【符号の説明】

１ 車両用後側方監視装置 ２ ビデオカメラ（撮像手段） ５ 特徴点選別部（特徴点選別手段） ６ ハイパスフィルタ（エッジ画像形成手段）

Claims (8)

【特許請求の範囲】
1. 【請求項１】 走行している自車両から後側景を撮像
   し、所定時間相前後する２コマの画像中の対応点の移動
   をオプティカルフローとして検出し、自車両に対する後
   方車両又は隣接車線を走行中の車両の相対関係を監視す
   る車両用後側方監視方法において、 ある時点の撮像画像から特徴点を検出すると共に、当該
   特徴点のうち当該ある時点の撮像画像の無限遠点（ＦＯ
   Ｅ）を通って直線的に並ぶ特徴点を削除し、 前記ある時点の画像と時間的に相前後する画像中におい
   て、削除されずに残った前記特徴点と当該撮像画像の無
   限遠点とを結ぶ直線上の点を候補点として、削除されず
   に残った前記特徴点に対応する対応点を検出し、 前記特徴点と前記対応点を結ぶベクトルをオプティカル
   フローとして検出し、 前記オプティカルフローと前記無限遠点とに基づいて自
   車両に対する後方車両又は隣接車線を走行中の車両の接
   近の度合いを監視するようにしたことを特徴とする車両
   用後側方監視方法。
2. 【請求項２】 前記特徴点を削除する際に、 前記特徴点を含む周辺画素からなる第１のマスク画像を
   形成すると共に、当該第１のマスク画像に隣接しかつ前
   記特徴点と前記無限遠点を通る直線上に第２のマスク画
   像を形成し、 前記第１のマスク画像と前記第２のマスク画像の相関関
   係を比較し、 前記第１のマスク画像と前記第２のマスク画像の相関性
   が強いとき、前記特徴点を削除するようにしたことを特
   徴とする請求項１に記載の車両用後側方監視方法。
3. 【請求項３】 前記特徴点を削除する際に、 前記ある時点の撮像画像のエッジ画像を形成し、 当該エッジ画像におけるエッジ上の所定の点を特徴点と
   して設定し、 当該特徴点を含む周辺画素からなる第１のマスク画像を
   形成すると共に、当該第１のマスク画像に隣接しかつ当
   該特徴点と前記無限遠点を通る直線上に第２のマスク画
   像を形成し、 前記第１のマスク画像と前記第２のマスク画像の相関関
   係を比較し、 前記第１のマスク画像と前記第２のマスク画像の相関性
   が強いとき、前記特徴点を削除するようにしたことを特
   徴とする請求項１に記載の車両用後側方監視方法。
4. 【請求項４】 前記特徴点を削除する際に、 削除する特徴点と共に当該削除する特徴点が検出された
   前記エッジ画像の直線部分を一括して削除するようにし
   たことを特徴とする請求項１、請求項２又は請求項３に
   記載の車両用後側方監視方法。
5. 【請求項５】 撮像手段により走行している自車両から
   後側景を撮像し、所定時間相前後する２コマの画像中の
   対応点の移動をオプティカルフローとして検出し、自車
   両に対する後方車両又は隣接車線を走行中の車両の相対
   関係を監視する車両用後側方監視装置において、 ある時点の撮像画像から特徴点を検出すると共に、当該
   特徴点のうち当該ある時点の撮像画像の無限遠点（ＦＯ
   Ｅ）を通って直線的に並ぶ特徴点を削除する特徴点選別
   手段と、 前記ある時点の画像と時間的に相前後する画像中におい
   て、前記特徴点選別手段で削除されずに残った前記特徴
   点と当該撮像画像の無限遠点とを結ぶ直線上の点を候補
   点として、削除されずに残った前記特徴点に対応する対
   応点を検出する対応点検出手段と、 前記特徴点と前記対応点を結ぶベクトルをオプティカル
   フローとして検出するオプティカルフロー形成手段と、 前記オプティカルフローと前記無限遠点とに基づいて自
   車両に対する後方車両又は隣接車線を走行中の車両の接
   近の度合いを求めて危険度を判定する危険度判定手段と
   を具えることを特徴とする車両用後側方監視装置。
6. 【請求項６】 前記特徴点選別手段は、 前記特徴点を含む周辺画素からなる第１のマスク画像を
   形成すると共に、当該第１のマスク画像に隣接しかつ前
   記特徴点と前記無限遠点を通る直線上に第２のマスク画
   像を形成するマスク画像形成手段と、 前記第１のマスク画像と前記第２のマスク画像の相関関
   係を比較する相互比較手段と、 前記第１のマスク画像と前記第２のマスク画像の相関性
   が強いとき、前記特徴点を削除する特徴点削除手段とを
   具えることを特徴とする請求項５に記載の車両用後側方
   監視装置。
7. 【請求項７】 前記特徴点選別手段は、 前記ある時点の撮像画像のエッジ画像を形成するエッジ
   画像形成手段と、当該エッジ画像におけるエッジ上の所
   定の点を特徴点として設定する特徴点設定手段と、 当該特徴点を含む周辺画素からなる第１のマスク画像を
   形成すると共に、当該第１のマスク画像に隣接しかつ当
   該特徴点と前記無限遠点を通る直線上に第２のマスク画
   像を形成するマスク画像形成手段と、 前記第１のマスク画像と前記第２のマスク画像の相関関
   係を比較する相互比較手段と、 前記第１のマスク画像と前記第２のマスク画像の相関性
   が強いとき、前記特徴点を削除する特徴点削除手段とを
   具えることを特徴とする請求項５に記載の車両用後側方
   監視装置。
8. 【請求項８】 前記特徴点削除手段は、削除する特徴点
   と共に当該削除する特徴点が検出された前記エッジ画像
   の直線部分を一括して削除するようにしたことを特徴と
   する請求項６又は請求項７に記載の車両用後側方監視装
   置。