JPH10341430A - 前方車両検出方法及び車両前方監視システム - Google Patents

前方車両検出方法及び車両前方監視システム

Info

Publication number
JPH10341430A
JPH10341430A JP9149525A JP14952597A JPH10341430A JP H10341430 A JPH10341430 A JP H10341430A JP 9149525 A JP9149525 A JP 9149525A JP 14952597 A JP14952597 A JP 14952597A JP H10341430 A JPH10341430 A JP H10341430A
Authority
JP
Japan
Prior art keywords
image
edge
vehicle
signal
line signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP9149525A
Other languages
English (en)
Inventor
Kazuyuki Sasaki
一幸 佐々木
Naoto Ishikawa
直人 石川
Masato Nakajima
真人 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP9149525A priority Critical patent/JPH10341430A/ja
Publication of JPH10341430A publication Critical patent/JPH10341430A/ja
Abandoned legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】 従来に比べて撮像画像を記録するメモリー量
を少なく設定でき、さらに高検出精度及び高速処理を実
現できるステレオ式の画像処理技術を応用した前方車両
検出方法及び車両前方監視システムを実現すること。 【解決手段】 2台のカメラを用いて得られた自車両の
前方の両眼道路画像を用いて前方車両の検出を行い、高
速に前方車両までの距離および相対速度を予め求めてお
いた計算式を用いて理論的に算出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ステレオ式の画像
処理技術を応用した前方車両検出方法及び車両前方監視
システムに関し、特に、左カメラを用いて収集した左画
像と右カメラを用いて収集した右画像を用いてステレオ
式の画像処理を行って前方を走行している車両と自車両
との距離を計測し危険な場合に警報を発生する前方車両
検出方法及び車両前方監視システムに関する。
【0002】
【従来の技術】年々、運転免許の取得者数は増加し、い
まや全人口の半数以上が運転免許の保持者となってい
る。また、自動車の性能は飛躍的に向上し、道路交通網
も非常に発展してきている。
【0003】このようなことから、自動車の利用頻度が
非常に高くなってきており、その用途は毎日の通勤か
ら、休日のレジャー、また、自動車の運転そのものがレ
ジャーとなっている。そのため、今や、日本人にとっ
て、自動車無しでは日常の生活に支障をきたすまでの必
要不可欠なものになっている。さらに、現代は運転者層
の幅も広がり、女性や高齢者ドライバーの増加などに見
られるように、誰もが気軽に、また頻繁に自動車を運転
する時代となっている。
【0004】しかしながら、自動車を運転することが、
誰にとっても身近なものになったからといって手放しで
喜べるわけではない。運転者の増加とともに、交通事故
の増加という、ありがたくない副産物が生まれている。
【0005】ここ数年、約1万人もの方が交通事故によ
りなくなられている。これは、最近の自動車の性能は向
上しているが、安全性は、いまだ運転者の技量に大きく
依存しているためである。初心者のドライバーが自動車
を正常に運転させることに気を取られているあまり、周
囲への注意が散漫になって事故を起こしたり、また、熟
練した運転者でも不注意なわき見運転や、疲労時の居眠
り運転などで事故を起こしたりするなどということはよ
く耳にするものである。
【0006】しかしながら、同乗者がいて運転者と同様
に周囲へ気を配っていてくれれば、このような事故も起
こりにくいものである。しかし、同乗者がいたとしても
常に安全に気を配っていてくれているということは難し
いことである、また、同乗者の指示が常に正確であると
も限らない。ときには危険な方向に導くこともあると考
えられる。そのため、運転者以外に自車両周辺を監視
し、運転者に危険な状況などの警告を与える運転補助シ
ステムの実用化というものへの期待が高まっている。
【0007】近年、このような背景から多方面で運転補
助システムの研究・開発が行われてきている。その種類
は、追突・衝突事故防止のために自車両の前方環境を認
識する前方車両検出方法や、自動車が自車線内を正常走
行するように道路環境を認識する前方車両検出方法など
多岐にわたる。さらに最近では、無人走行車の開発など
も昔のような夢物語ではなく、現実味を帯びてきたもの
となっている。
【0008】その中でも実用化されているシステムとし
ては、レーザレーダを用いた前方車両検出方法がある。
この前方車両検出方法は、走行中の車両から、前方車両
に向けレーザを照射し、障害物にあたってはね返り、自
車両に戻ってくるまでの時間から前方車両までの距離D
を計測するものである。
【0009】しかしながら、レーザレーダは、レーザの
太さの関係などから、監視できる範囲が狭く、得られる
情報も非常に少ないという欠点がある。さらに、カーブ
走行時には、照射したレーザが前方車両にあたっても自
車両に返ってこないため、直線走行時にしか有効に機能
しないという欠点がある。
【0010】そのため、最近においては、自車両に設置
したカメラにより、自車両の前方の映像を撮像し、その
画像を用いて前方監視を行う前方車両検出方法及び車両
前方監視システム、すなわち、道路画像処理による前方
車両検出方法及び車両前方監視システムが開示されてい
る。
【0011】このような道路画像処理による前方車両検
出方法及び車両前方監視システムでは、多方向の情報を
取得でき、監視領域を広く取れるという利点がある。
【0012】しかしながら、走行環境などの認識したい
ものが3次元環境であるのに対し、1台のカメラしか用
いない場合は得られる画像は一般的に2次元的なもので
あり、奥行き情報は消失してしまうという技術的課題が
あった。
【0013】このような技術的課題を解決するために、
ステレオ式の画像処理技術を応用して3次元情報を取得
する前方車両検出方法及び車両前方監視システムとし
て、異なる視点からの複数枚の画像を用いて両眼立体視
を行うぎ技術が開示されている(以下の説明では、第1
従来技術と呼ぶことにする)。
【0014】第1従来技術の前方車両検出方法及び車両
前方監視システムは、左右の対になる画像間での着目画
素の視差を求めることにより、3次元情報を取得するこ
とができるというものであり、画像処理の距離計測用の
前方車両検出方法及び車両前方監視システムとして広く
知られている。
【0015】しかしながら、異なる視点からの複数枚の
画像を用いて両眼立体視を行う第1従来技術の前方車両
検出方法及び車両前方監視システムでは、現在の画像処
理技術では着目画素の視差を求めるのに煩雑な処理を要
するという技術的課題があった。更に道路画像において
も、回避の必要が無い路面表示などの情報に対してもそ
の視差を算出するために多大の処理時間をかけなければ
ならないという技術的課題があった。そのため、一般的
に計算量が多く、リアルタイム処理(瞬時、瞬時に検出
結果を出力することを可能とする処理)ないし、それに
近い高速処理時間を要求される車両周辺監視(特に車両
前方監視)には敬遠される傾向にあるという技術的課題
もあった。
【0016】一方、このように計算量が多いといった課
題を解決する従来技術としては、例えば、特開平7−2
50319号公報(発明の名称:車両周辺監視装置、出
願日:1994年3月14日、出願人:矢崎総業株式会
社)に示すような前方車両検出方法及び車両前方監視シ
ステムが開示されている(以下の説明では、第2従来技
術と呼ぶことにする)。
【0017】すなわち、第2従来技術の車両周辺監視装
置は、2台の撮影手段より得られた画像データに基づい
て車両の周辺を監視する点は第1従来技術と同様であっ
て、撮影手段から出力された一方画像信号に基づいて高
さゼロと仮定して作成した投射画像を記録する一方のメ
モリと、投射画像を記録する他方のメモリと、一方のメ
モリの画像データと他方のメモリの他方画像データとの
差により路面上の画像を除去する路面画像除去手段と、
他方のメモリの水平方向の微分値と路面画像除去手段か
ら出力される画像データから物体のエッジを検出する物
体エッジ検出手段と、算出された位置に基づいて警報を
出力する警報手段とを備えていた。
【0018】2台の撮影手段(カメラ)からの左映像信
号及び右映像信号は、2台のフレームメモリにそれぞれ
記録され、フレームメモリに記録された内容は路面画像
除去手段に取り込まれ、衝突等の危険を検出した場合に
警報手段によってドライバーに危険内容が警報されてい
た。撮像範囲を512画素×512画素程度に分割し、
1画素の輝度を8ビット程度で記録するフレームメモリ
が一般的に用いられていた。
【0019】
【発明が解決しようとする課題】しかしながら、第1従
来技術または第2従来技術の前方車両検出方法及び車両
前方監視システムでは、2台のCCDカメラからの左映
像信号及び右映像信号を記録する為にフレームメモリも
2つ用意する必要になる。フレームメモリを2つ使用す
る場合、製造コストや設置スペース等の観点において優
位性を主張することが難しいという技術的課題があっ
た。
【0020】また、第1従来技術におけるリアルタイム
処理の課題に対しては第2従来技術において解決手段が
開示されているものの、更に高いリアルタイム処理性能
や計算量の低減が要求され、多くの研究結果が発表され
ており、さらに研究余地が残されていると考えられ、目
的に合ったリアルタイム処理が容易なアルゴリズムを備
えた前方車両検出方法及び車両前方監視システムの開発
が課題となっている。
【0021】本発明は、このような従来の問題点を解決
することを課題としており、第1に、左カメラを用いて
収集した左画像と右カメラを用いて収集した右画像を用
いてステレオ式の画像処理を行って前方を走行している
車両と自車両との距離を計測し危険な場合に警報を発生
する前方車両検出方法において、左右のカメラを同期し
て同一時刻に左画像と右画像とを撮影して左画像と右画
像との合成映像信号を作成する工程とを含むステレオ動
画像取得工程と、走査線の交互に左映像信号と右映像信
号と合成されて1フレームが構成された合成画像信号を
単一のフレームメモリに記録する工程と、フレームメモ
リに記録されている合成画像信号を読み出し読み出され
た合成画像信号の1フレームを構成する走査線信号にお
ける奇数番目の走査線信号を分離して右画像情報を作成
すると共に走査線信号における偶数番目の走査線信号を
分離して左画像情報を作成する左右画像分離取得工程
と、左画像情報において水平エッジ及び垂直エッジを分
離して抽出すると共に右画像情報において水平エッジ及
び垂直エッジを分離して抽出する工程と前工程に続いて
左画像情報において抽出された水平エッジ及び垂直エッ
ジに対してエッジの細線化を行って左エッジ画像を作成
すると共に右画像情報において抽出された水平エッジ及
び垂直エッジに対してエッジの細線化を行って右エッジ
画像を作成するエッジ画像作成工程と、右エッジ画像か
ら左エッジ画像を推定する推定エッジ画像作成工程と、
推定左エッジ画像と左エッジ画像との水平エッジに対す
る差分演算を行って差分水平エッジを作成すると共に推
定左エッジ画像と左エッジ画像との垂直エッジに対する
差分演算を行って差分垂直エッジを作成する工程と差分
水平エッジと差分垂直エッジとを合成して差分エッジ画
像を作成する工程を含む工程と推定左エッジ画像と左エ
ッジ画像との差分演算において差分水平エッジ及び差分
垂直エッジを作成した残余画像のエッジ点の重心を算出
する工程と、算出した重心を中心に全エッジの所定割合
を含む窓を作成する工程とを含む前方車両抽出工程と、
左カメラによって撮影される撮影画像である左現画像に
窓を設定する工程と右カメラによって撮影される撮影画
像である右現画像上に対応する領域を設定する工程と左
現画像における窓と右現画像における窓との間の視差を
算出する工程と算出された視差に基づいて前方を走行し
ている車両と自車両との距離を算出する工程とを含む距
離算出工程と、算出された距離に基づいて危険状態か否
かを判定し危険状態と判定した場合に警報信号を作成す
る工程と、算出された距離に基づいて、警報信号を受け
て警報を発生する工程とを有し、2台のカメラを用いて
得られた自車両の前方の両眼道路画像を用いて、前方車
両の検出を行い、高速に前方車両までの距離および相対
速度を算出する方法により、2台のCCDカメラからの
左映像信号及び右映像信号を共通のフレームメモリに記
録でき、その結果、製造コストや設置スペースの点で優
位性を主張することができる前方車両検出方法を提供す
ることを目的としている。
【0022】更に、高いリアルタイム処理性能や計算量
の低減が実現でき、使用目的に合ったリアルタイム処理
が容易なアルゴリズムを備えた点で優位性を主張するこ
とができる前方車両検出方法を提供することを目的とし
ている。
【0023】第2に、左カメラを用いて収集した左画像
と右カメラを用いて収集した右画像を用いてステレオ式
の画像処理を行って前方を走行している車両と自車両と
の距離を計測し危険な場合に警報を発生する車両前方監
視システムにおいて、光軸を自車両の進行方向ベクトル
と平行に設置すると共に車両上に路面から同じ高さで設
けられた左右のカメラと左カメラ及び右カメラにおいて
撮影を行うタイミングを指示する同期信号を生成すると
共に少なくとも1/2フレーム時間に同期した切り替え
信号を生成する同期信号発生器と同期信号に基づいて左
カメラ及び右カメラを同期して同一時刻に左画像と右画
像とを撮影して左画像と右画像との合成映像信号を作成
する合成映像作成手段と、を備え切り替え信号に同期し
て左カメラからの左映像信号における偶数走査線信号/
奇数走査線信号/偶数走査線信号と右カメラからの右映
像信号における奇数走査線信号/偶数走査線信号とを収
集し左映像信号の偶数走査線信号/奇数走査線信号/偶
数走査線信号を合成映像信号における偶数走査線信号/
奇数走査線信号/偶数走査線信号とすると共に右映像信
号の奇数走査線信号/偶数走査線信号を合成映像信号に
おける奇数走査線信号/偶数走査線信号として合成して
合成映像信号を作成するように構成されているステレオ
動画像取得装置と、走査線の交互に左映像信号と右映像
信号と合成されて1フレームが構成された合成画像信号
を記録する単一のフレームメモリと、フレームメモリに
記録されている合成画像信号を読み出し読み出された合
成画像信号の1フレームを構成する走査線信号における
奇数番目の走査線信号を分離して右画像情報を作成する
と共に走査線信号における偶数番目の走査線信号を分離
して左画像情報を作成する左右画像分離取得手段と、右
画像情報及び左画像情報に対して前方車両検出にかかる
監視領域を各々設定する監視領域設定手段と、左画像情
報において水平エッジ及び垂直エッジを分離して抽出す
ると共に右画像情報において水平エッジ及び垂直エッジ
を分離して抽出し左画像情報において抽出された水平エ
ッジ及び垂直エッジに対してエッジの細線化を行って左
エッジ画像を作成すると共に右画像情報において抽出さ
れた水平エッジ及び垂直エッジに対してエッジの細線化
を行って右エッジ画像を作成し右エッジ画像から推定左
エッジ画像を作成し水平エッジ、垂直エッジから各々独
立して左エッジ画像と推定エッジ画像の差分画像を作成
しこれらを合成して差分エッジ画像を作成する前方車両
抽出手段と、左カメラによって撮影される撮影画像であ
る左現画像に窓を設定し右カメラによって撮影される撮
影画像である右現画像上に対応する領域を設定し左現画
像における窓と右現画像における窓との間の視差を算出
し算出された視差に基づいて前方を走行している車両と
自車両との距離を算出する距離算出手段と、算出された
距離に基づいて危険状態か否かを判定し危険状態と判定
した場合に警報信号を作成する判定手段と、、算出され
た距離に基づいて警報信号を受けて警報を発生する警報
手段とを備え、2台のカメラを用いて得られた自車両の
前方の両眼道路画像を用いて前方車両の検出を行い、高
速に前方車両までの距離および相対速度を算出するデー
タ処理装置とを設けることにより、2台のCCDカメラ
からの左映像信号及び右映像信号を共通のフレームメモ
リに記録でき、その結果、製造コストや設置スペースの
点で優位性を主張することができる車両前方監視システ
ムを提供することを目的としている。
【0024】更に、高いリアルタイム処理性能や計算量
の低減が実現でき、使用目的に合ったリアルタイム処理
が容易なアルゴリズムを備えた点で優位性を主張するこ
とができる車両前方監視システムを提供することを目的
としている。
【0025】
【課題を解決するための手段】請求項1に記載の発明
は、左カメラ41Lを用いて収集した左画像と右カメラ
41Rを用いて収集した右画像を用いてステレオ式の画
像処理を行って前方を走行している車両と自車両20と
の距離を計測し危険な場合に警報を発生する前方車両検
出方法において、左右のカメラを同期して同一時刻に左
画像と右画像とを撮影して左画像と右画像との合成映像
信号44aを作成する工程とを含むステレオ動画像取得
工程を有して構成されている前方車両検出方法である。
【0026】請求項1に記載の発明に依れば、ステレオ
動画像取得工程を設け左右のカメラを同期して同一時刻
に左画像と右画像とを撮影して左画像と右画像との合成
映像信号44aを作成している。その結果、2台のCC
Dカメラから出力される左映像信号41Laと右映像信号
41Raとは、お互いに同期しているので、合成映像作成
工程によって合成することができる。同期信号43aに
より左カメラ41L及び右カメラ41R同時刻に撮像動作
を行うことができ、時速100km/h以上で走行中に
落下物を検出する様な状況においても検出距離の誤差が
大きく発生する可能性を回避することができ、撮像タイ
ミングについても同期をとって高い検出精度を実現する
ことができるといった効果を奏する。これに依り、使用
目的に合った高い検出精度の前方監視処理が容易なアル
ゴリズムを備えた点で優位性を主張することができるよ
うになる。
【0027】請求項2に記載の発明は、請求項1に記載
の前方車両検出方法において、左カメラ41L及び右カ
メラ41Rの各々が奇数走査線信号/偶数走査線信号と
偶数走査線信号/奇数走査線信号/偶数走査線信号とを
出力する場合、前記ステレオ動画像取得工程は、左カメ
ラ41Lからの左映像信号41Laにおける所定走査線信
号と右カメラ41Rからの右映像信号41Raにおける所
定走査線信号とを収集して前記合成映像信号44aを作
成する工程を有して構成されている前方車両検出方法で
ある。
【0028】請求項2に記載の発明に依れば、請求項1
に記載の効果に加えて、ステレオ動画像取得工程を設け
左カメラ41Lからの左映像信号41Laにおける所定走
査線信号と右カメラ41Rからの右映像信号41Raにお
ける所定走査線信号とを収集して合成映像信号44aを
作成している。その結果、従来に比べ撮像画像を記録す
るメモリー量を少なく設定でき、更に、高い検出精度及
び高速処理性能を有するステレオ式の画像処理技術を応
用した車両前方監視システム10を実現できるようにな
る。その結果、製造コストや設置スペースの点で優位性
を主張することができるようになる。これに依り、使用
目的に合った高い検出精度の前方監視処理が容易なアル
ゴリズムを備えた点で優位性を主張することができるよ
うになる。
【0029】請求項3に記載の発明は、請求項2に記載
の前方車両検出方法において、前記ステレオ動画像取得
工程は、左カメラ41Lからの左映像信号41Laにおけ
る偶数走査線信号/奇数走査線信号/偶数走査線信号と
右カメラ41Rからの右映像信号41Raにおける奇数走
査線信号/偶数走査線信号とを収集し、当該左映像信号
41Laの偶数走査線信号/奇数走査線信号/偶数走査線
信号を前記合成映像信号44aにおける偶数走査線信号
/奇数走査線信号/偶数走査線信号とすると共に当該右
映像信号41Raの奇数走査線信号/偶数走査線信号を当
該合成映像信号44aにおける奇数走査線信号/偶数走
査線信号として合成して当該合成映像信号44aを作成
する工程を有して構成されている前方車両検出方法であ
る。
【0030】請求項3に記載の発明に依れば、請求項2
に記載の効果に加えて、ステレオ動画像取得工程を設け
左カメラ41Lからの左映像信号41Laにおける偶数走
査線信号/奇数走査線信号/偶数走査線信号と右カメラ
41Rからの右映像信号41Raにおける奇数走査線信号
/偶数走査線信号とを収集し、また左映像信号41Laの
偶数走査線信号/奇数走査線信号/偶数走査線信号を合
成映像信号44aにおける偶数走査線信号/奇数走査線
信号/偶数走査線信号とし、更に、右映像信号41Raの
奇数走査線信号/偶数走査線信号を合成映像信号44a
における奇数走査線信号/偶数走査線信号として合成し
て合成映像信号44aを作成している。その結果、従来
に比べ撮像画像を記録するフレームメモリ45のメモリ
ー量を偶数走査線本数と奇数走査線本数との和程度まで
少なく設定できるようになる。また、距離算出に必要な
視差は水平方向(走査線方向)であるので、従来の前方
車両検出方法に比べても検出分解能が劣ることは無い。
これに依り、使用目的に合った高い検出精度の前方監視
処理が容易なアルゴリズムを備えた点で優位性を主張す
ることができるようになる。その結果、フレームメモリ
45のメモリー量に関する製造コストや設置スペースの
点で優位性を主張することができるようになる。
【0031】請求項4に記載の発明は、請求項2に記載
の前方車両検出方法において、1/2フレーム時間毎に
奇数走査線信号/偶数走査線信号と偶数走査線信号/奇
数走査線信号/偶数走査線信号とを分けて出力するイン
ターレースモードで左カメラ41L及び右カメラ41Rが
動作する場合、前記ステレオ動画像取得工程は、左カメ
ラ41Lからの左映像信号41Laと右カメラ41Rからの
右映像信号41Raとを前記1/2フレーム時間毎に交互
に切り替えて収集して前記合成映像信号44aを作成す
る工程を有して構成されている前方車両検出方法であ
る。
【0032】請求項4に記載の発明に依れば、請求項2
に記載の効果に加えて、ステレオ動画像取得工程を設け
左カメラ41Lからの左映像信号41Laにおける偶数走
査線信号/奇数走査線信号/偶数走査線信号と右カメラ
41Rからの右映像信号41Raにおける奇数走査線信号
/偶数走査線信号とを収集し、また左映像信号41Laの
偶数走査線信号/奇数走査線信号/偶数走査線信号を合
成映像信号44aにおける偶数走査線信号/奇数走査線
信号/偶数走査線信号とし、更に、右映像信号41Raの
奇数走査線信号/偶数走査線信号を合成映像信号44a
における奇数走査線信号/偶数走査線信号として合成し
て合成映像信号44aを作成している。その結果、従来
に比べ撮像画像を記録するフレームメモリ45のメモリ
ー量を1/2フレーム分の偶数走査線本数と1/2フレ
ーム分の奇数走査線本数との和程度まで少なく設定で
き、フレームメモリ45の容量を従来より半分程度に低
減できるようになる。また、距離算出に必要な視差は水
平方向(走査線方向)であるので、従来の前方車両検出
方法に比べても検出分解能が劣ることは無い。これに依
り、使用目的に合った高い検出精度の前方監視処理が容
易なアルゴリズムを備えた点で優位性を主張することが
できるようになる。その結果、フレームメモリ45のメ
モリー量に関する製造コストや設置スペースの点で優位
性を主張することができるようになる。
【0033】請求項5に記載の発明は、請求項4に記載
の前方車両検出方法において、前記合成映像信号44a
が、前記右映像信号41Raにおける奇数走査線信号/偶
数走査線信号である1/2フレーム分を前記合成映像信
号44aにおける1/2フレーム分の画像データとして
用いると共に、前記左映像信号41Laにおける偶数走査
線信号/奇数走査線信号/偶数走査線信号である1/2
フレーム分を当該合成映像信号44aにおける残りの1
/2フレーム分の画像データとして用いて当該合成映像
信号44aを合成する工程を有して構成されている前方
車両検出方法である。
【0034】請求項5に記載の発明に依れば、請求項4
に記載の効果に加えて、ステレオ動画像取得工程を設け
右映像信号41Raにおける奇数走査線信号/偶数走査線
信号である1/2フレーム分を合成映像信号44aにお
ける1/2フレーム分の画像データとして用いると共
に、左映像信号41Laにおける偶数走査線信号/奇数走
査線信号/偶数走査線信号である1/2フレーム分を合
成映像信号44aにおける残りの1/2フレーム分の画
像データとして用いて合成映像信号44aを作成してい
る。その結果、従来に比べ撮像画像を記録するフレーム
メモリ45のメモリー量を1/2フレーム分の偶数走査
線本数と1/2フレーム分の奇数走査線本数との和程度
まで少なく設定でき、フレームメモリ45の容量を従来
より半分程度に低減できるようになる。また、距離算出
に必要な視差は水平方向(走査線方向)であるので、従
来の前方車両検出方法に比べても検出分解能が劣ること
は無い。これに依り、使用目的に合った高い検出精度の
前方監視処理が容易なアルゴリズムを備えた点で優位性
を主張することができるようになる。その結果、フレー
ムメモリ45のメモリー量に関する製造コストや設置ス
ペースの点で優位性を主張することができるようにな
る。
【0035】請求項6に記載の発明は、請求項3乃至5
のいずれか一項に記載の前方車両検出方法において、走
査線の交互に前記左映像信号41Laと前記右映像信号4
1Raと合成されて1フレームが構成された前記合成画像
信号を単一のフレームメモリ45に記録する工程を有し
て構成されている前方車両検出方法である。
【0036】請求項6に記載の発明に依れば、請求項3
乃至5のいずれか一項に記載の効果に加えて、このよう
な工程を設けることに依り、フレーム分の合成映像信号
44aを単一のフレームメモリ45に記録している。そ
の結果、フレームメモリ45の共有化が可能となり、従
来に比べ撮像画像を記録するフレームメモリ45のメモ
リー量を1/2フレーム分の偶数走査線本数と1/2フ
レーム分の奇数走査線本数との和程度まで少なく設定で
き、フレームメモリ45の容量を従来より半分程度に低
減できるようになる。また、フレームメモリ45の共有
化を図っても、距離算出に必要な視差は水平方向(走査
線方向)であるので、従来の前方車両検出方法に比べて
も検出分解能が劣ることは無い。これに依り、使用目的
に合った高い検出精度の前方監視処理が容易なアルゴリ
ズムを備えた点で優位性を主張することができるように
なる。その結果、フレームメモリ45の共有化に起因す
るフレームメモリ45のメモリー量に関する製造コスト
や設置スペースの点で優位性を主張することができるよ
うになる。
【0037】請求項7に記載の発明は、請求項6に記載
の前方車両検出方法において、前記フレームメモリ45
に記録されている前記合成画像信号を読み出し、当該読
み出された合成画像信号の1フレームを構成する走査線
信号における奇数番目の走査線信号を分離して右画像情
報31aを作成すると共に、当該走査線信号における偶
数番目の走査線信号を分離して左画像情報31bを作成
する左右画像分離取得工程を有して構成されている前方
車両検出方法である。
【0038】請求項7に記載の発明に依れば、請求項6
に記載の効果に加えて、共有化されているフレームメモ
リ45内に記録されている偶数番目の走査線信号のもの
と奇数番目の走査線信号のものとに分離することによ
り、水平方向に垂直方向の倍の解像度を持つ右画像情報
31aと左画像情報31bとの2枚で1組の両眼画像を
動画像として得ることできるようになるといった効果を
奏する。また、距離算出に必要な視差は水平方向(走査
線方向)であるので、右画像情報31aと左画像情報3
1bは従来の前方車両検出方法に比べても検出分解能が
劣ることは無い。これに依り、使用目的に合った高い検
出精度の前方監視処理が容易なアルゴリズムを備えた点
で優位性を主張することができるようになる。その結
果、フレームメモリ45の共有化に起因するフレームメ
モリ45のメモリー量に関する製造コストや設置スペー
スの点で優位性を主張することができるようになる。
【0039】請求項8に記載の発明は、請求項7に記載
の前方車両検出方法において、右画像情報31a及び左
画像情報31bに対して前方車両21検出にかかる監視
領域32aを各々設定する工程を有して構成されている
前方車両検出方法である。
【0040】請求項8に記載の発明に依れば、請求項7
に記載の効果に加えて、監視領域設定工程を設けること
に依り、あらかじめこれらの映像信号を排除し、かつ前
方車両21を含むような監視領域32aを設定できるよ
うになる。自車両20の前方を右カメラ41Rや左カメ
ラ41Lにより撮像した場合に、回避の必要のない測距
不要な映像信号である空、木や建物などの映像信号(画
像情報)を左映像信号41Laや右映像信号41Raの中か
ら除去できるようになる。これにより、回避の必要のな
い測距不要な映像信号を排除し、回避が必要で測距を要
する映像信号(画像情報)のみを残すことにより処理時
間の短縮を計ることができるようになるといった効果を
奏する。
【0041】前工程に続いて、当該右エッジ画像/左エ
ッジ画像から推定左エッジ画像/推定右エッジ画像を作
成する工程と、前工程に続いて、水平エッジ、垂直エッ
ジから各々独立して左エッジ画像/右エッジ画像と推定
エッジ画像の差分画像を作成し、これらを合成して差分
エッジ画像を作成する工程を含む前方車両抽出工程を有
することを特徴とする前方車両検出方法。請求項9に記
載の発明は、左カメラ41Lを用いて収集した左画像情
報31bと右カメラ41Rを用いて収集した右画像情報
31aを用いてステレオ式の画像処理を行って前方を走
行している車両と自車両20との距離を計測し危険な場
合に警報を発生する前方車両検出方法において、前記左
画像情報31bにおいて水平エッジ及び垂直エッジを分
離して抽出すると共に、前記右画像情報31aにおいて
水平エッジ及び垂直エッジを分離して抽出する工程と、
前工程に続いて、当該左画像情報31bにおいて抽出さ
れた水平エッジ及び垂直エッジに対してエッジの細線化
を行って左エッジ画像33ALを作成すると共に、当該
右画像情報31aにおいて抽出された水平エッジ及び垂
直エッジに対してエッジの細線化を行って右エッジ画像
33ARを作成する工程と、前工程に続いて、当該右エ
ッジ画像33AR/左エッジ画像33ALから推定左エッ
ジ画像33EL/推定右エッジ画像33ERを作成する工
程と、前工程に続いて、水平エッジ、垂直エッジから各
々独立して左エッジ画像33AL/右エッジ画像33AR
と推定エッジ画像33Eの差分画像33Dを作成し、こ
れらを合成して差分エッジ画像334cを作成する工程を
含む前方車両抽出工程を有して構成されている前方車両
検出方法である。
【0042】請求項9に記載の発明に依れば、前方車両
抽出工程を設けることに依り、人為的に画像処理を用い
て作成した推定エッジ画像33Eと実際に撮像された左
エッジ画像33ALとを比較する差分画像33D処理を
行うことにより、同一平面上にある路面34だけを消去
し、それよりも高い場所にある前方車両21を残すこと
ができるようになる。また、路面34から高さのある被
測距対象のエッジを従来より、より多く残すことができ
るようになる。更に、画面全体に本前方車両検出方法を
適用した場合、前方車両21領域の抽出エッジ量にはか
なり差が現れることになる。これにより、後処理におけ
るエッジの重心点算出、重心点を中心に全エッジの8割
を含む窓336aを作成して、それを前方車両21領域と
推定する際の推定確度をより向上させることができるよ
うになるといった効果を奏する。その結果、使用目的に
合った高い検出精度の前方監視処理が容易なアルゴリズ
ムを備えた点で優位性を主張することができるようにな
る。
【0043】請求項10に記載の発明は、請求項9に記
載の前方車両検出方法において、前記前方車両抽出工程
は、前記左画像情報31bにおいて水平エッジ及び垂直
エッジを分離して抽出すると共に、前記右画像情報31
aにおいて水平エッジ及び垂直エッジを分離して抽出す
る工程と、前工程に続いて、当該左画像情報31bにお
いて抽出された水平エッジ及び垂直エッジに対してエッ
ジの細線化を行って左エッジ画像33ALを作成すると
共に、当該右画像情報31aにおいて抽出された水平エ
ッジ及び垂直エッジに対してエッジの細線化を行って右
エッジ画像33ARを作成するエッジ画像作成工程を含
んで構成されている前方車両検出方法である。
【0044】請求項10に記載の発明に依れば、請求項
9に記載の効果に加えて、エッジ画像作成工程を設ける
ことに依り、路面34から高さのある被測距対象(前方
車両21等)のエッジを差分画像33D処理してできる
だけ残し、路面34上エッジを差分画像33D処理して
可能な限り消去できるようになる。すなわち、路面34
からの高さがあり本来残したい水平エッジと垂直エッジ
の重なり部分、及び垂直エッジと水平エッジの重なり部
分を差分画像33D処理して従来よりもより多く高い精
度で残すことが可能となる。その結果、前方車両21領
域の抽出エッジ量にはかなり差が現れることになる。こ
れにより後処理におけるエッジの重心点算出、重心点を
中心に全エッジの8割を含む窓336aを作成してそれを
前方車両21領域と推定する際の推定確度をより向上さ
せることができるようになる。これに依り、使用目的に
合った高い検出精度の前方監視処理が容易なアルゴリズ
ムを備えた点で優位性を主張することができるようにな
る。
【0045】請求項11に記載の発明は、請求項10に
記載の前方車両検出方法において、前記前方車両抽出工
程は、前記右エッジ画像33ARから左エッジ画像33
ALを推定する推定エッジ画像作成工程を含んで構成さ
れている前方車両検出方法である。
【0046】請求項11に記載の発明に依れば、請求項
10に記載の効果に加えて、推定エッジ画像作成工程を
設けることに依り、左画像情報31b、右画像情報31
aともに水平エッジ、垂直エッジを分離して抽出したエ
ッジ画像を作成し、エッジの細線化したエッジ画像を作
成した後、右エッジ画像33ARから推定エッジ画像3
3Eを作成し、推定エッジ画像33Eと左エッジ画像3
3ALの差分水平エッジ334a、差分垂直エッジ334b
を水平エッジ、垂直エッジそれぞれ分けて作成し、その
後、差分水平エッジ334aと差分垂直エッジ334bを合
成して差分エッジ画像334cの差分水平エッジ334a、
差分垂直エッジ334bとすることができるようになる。
また推定エッジ画像33Eでは、路面34から同じ高さ
にある路面34標示だけが実際に左カメラ41Lによっ
て撮像された左エッジ画像33ALと等しい画像とな
り、前方車両21などの路面34よりも高い位置にある
物は実際の左エッジ画像33ALと等しい画像とはなら
ないようにできる。実際に撮像された左エッジ画像33
ALから推定エッジ画像33Eとの共通部分を消去する
と、同じ高さにある路面34(走行車線の路面34)や
路面34標示(例えば、白線や速度制限表示)などは左
エッジ画像33ALから消去され、路面34よりも高い
位置に存在する前方車両21の画素だけを左エッジ画像
33ALに残すことができるようになり、最終的に、左
エッジ画像33ALにおいて残った画素を前方車両21
の候補画素として距離を算出できるようになるといった
効果を奏する。
【0047】請求項12に記載の発明は、請求項11に
記載の前方車両検出方法において、前記前方車両抽出工
程は、前記推定左エッジ画像33ELと前記左エッジ画
像33ALとの水平エッジに対する差分演算を行って差
分水平エッジ334aを作成すると共に、当該推定左エッ
ジ画像33ELと当該左エッジ画像33ALとの垂直エッ
ジに対する差分演算を行って差分垂直エッジ334bを作
成する工程と、当該差分水平エッジ334aと当該差分垂
直エッジ334bとを合成して差分エッジ画像334cを作
成する工程とを含んで構成されている前方車両検出方法
である。
【0048】請求項12に記載の発明に依れば、請求項
11に記載の効果に加えて、差分エッジ画像334cを作
成する工程を設けることに依り、左画像情報31b、右
画像情報31aともに水平エッジ、垂直エッジを分離し
て抽出したエッジ画像を作成し、エッジの細線化したエ
ッジ画像を作成した後、右エッジ画像33ARから推定
エッジ画像33Eを作成し、推定エッジ画像33Eと左
エッジ画像33ALの差分水平エッジ334a、差分垂直
エッジ334bを水平エッジ、垂直エッジそれぞれ分けて
作成し、その後、差分水平エッジ334aと差分垂直エッ
ジ334bを合成して差分エッジ画像334cの差分水平エ
ッジ334a、差分垂直エッジ334bとすることができる
ようになる。これに依り、使用目的に合った高い検出精
度の前方監視処理が容易なアルゴリズムを備えた点で優
位性を主張することができるようになる。
【0049】請求項13に記載の発明は、請求項12に
記載の前方車両検出方法において、前記前方車両抽出工
程は、前記推定左エッジ画像33ELと前記左エッジ画
像33ALとの差分演算において前記差分水平エッジ3
34a及び前記差分垂直エッジ334bを作成した残余画像
のエッジ点の重心を算出する工程と、当該算出した重心
を中心に全エッジの所定割合を含む窓336aを作成する
工程とを含んで構成されている前方車両検出方法であ
る。
【0050】請求項13に記載の発明に依れば、請求項
12に記載の効果に加えて、窓336aを作成する工程を
設けることに依り、路面34から高さのある被測距対象
のエッジを従来よりもより多く残すことが可能となる。
更に、前方車両21領域の抽出エッジ量にかなりの差を
持たせることができるようになる。これに依り、後処理
におけるエッジの重心点算出、重心点を中心に全エッジ
の8割を含む窓336aを作成して、それを前方車両21
領域と推定する際の推定確度の向上を図ることができる
ようになるといった効果を奏する。これに依り、使用目
的に合った高い検出精度の前方監視処理が容易なアルゴ
リズムを備えた点で優位性を主張することができるよう
になる。
【0051】請求項14に記載の発明は、前記推定エッ
ジ画像33Eが、一方のカメラの画像情報が全て路面3
4上の模様と仮定し、当該画像情報にかかるエッジ画像
が他方のカメラを以て撮影された場合のエッジ画像を推
定した画像情報であることを特徴とする請求項9乃至1
3のいずれか一項に記載の前方車両検出方法である。
【0052】請求項14に記載の発明に依れば、請求項
9乃至13のいずれか一項に記載の効果と同様の効果を
奏する。
【0053】請求項15に記載の発明は、請求項11乃
至14のいずれか一項に記載の前方車両検出方法におい
て、左カメラ41Lによって撮影される撮影画像である
左現画像に前記窓336aを設定する工程と、右カメラ4
1Rによって撮影される撮影画像である右現画像上に対
応する領域を設定する工程と、当該左現画像における窓
336aと当該右現画像における窓336aとの間の視差を
算出する工程と、当該算出された視差に基づいて、前方
を走行している車両と自車両20との距離を算出する工
程とを含む距離算出工程を有して構成されている前方車
両検出方法である。
【0054】請求項15に記載の発明に依れば、請求項
11乃至14のいずれか一項に記載の効果に加えて、距
離算出工程を設けることに依り、左現画像における窓3
36aと右現画像における窓336aとの間の視差を求め、
その視差の値から被測距対象までの絶対的な距離を高精
度でかつ高速に求めることができるようになる。これに
依り、使用目的に合った高い検出精度、高速処理の前方
監視処理が容易なアルゴリズムを備えた点で優位性を主
張することができるようになる。
【0055】請求項16に記載の発明は、請求項15に
記載の前方車両検出方法において、前記距離算出工程
は、視差と距離の逆数との比例関係に基づいてあらかじ
め算出した関係式を用いて前記左現画像における窓33
6aと前記右現画像における窓336aとの間の視差を算出
し、当該算出された視差に基づいて前記距離を算出する
ように構成されているである。
【0056】請求項16に記載の発明に依れば、請求項
15に記載の効果に加えて、距離算出工程を設けること
に依り、あらかじめ算出した関係式を用いて左現画像に
おける窓336aと前記右現画像における窓336aとの間
の視差を算出して距離を算出できるので、視差の値から
被測距対象までの絶対的な距離を高精度でかつ高速に求
めることができるようになる。これに依り、使用目的に
合った高い検出精度、高速処理の前方監視処理が容易な
アルゴリズムを備えた点で優位性を主張することができ
るようになる。
【0057】請求項17に記載の発明は、請求項15ま
たは16に記載の前方車両検出方法において、前記算出
された距離に基づいて危険状態か否かを判定し、危険状
態と判定した場合に警報信号36aを作成する工程を有
して構成されている前方車両検出方法である。
【0058】請求項17に記載の発明に依れば、請求項
15または16に記載の効果に加えて、警報信号36a
を作成する工程を設けることに依り、高速且つ高精度に
算出された距離に基づいて危険状態か否かを高速且つ高
精度に判定できるようになるといった効果を奏する。こ
れに依り、使用目的に合った高い検出精度、高速処理の
前方監視処理が容易なアルゴリズムを備えた点で優位性
を主張することができるようになる。
【0059】請求項18に記載の発明は、請求項17に
記載の前方車両検出方法において、前記算出された距離
に基づいて、前記警報信号36aを受けて警報を発生す
る工程を有して構成されている前方車両検出方法であ
る。
【0060】請求項18に記載の発明に依れば、請求項
17に記載の効果に加えて、警報を発生する工程を設け
ることに依り、高速且つ高精度の警報を発生することが
できるようになる。これに依り、使用目的に合った高い
検出精度、高速処理の前方監視処理が容易なアルゴリズ
ムを備えた点で優位性を主張することができるようにな
る。
【0061】請求項19に記載の発明は、左カメラ41
Lを用いて収集した左画像と右カメラ41Rを用いて収集
した右画像を用いてステレオ式の画像処理を行って前方
を走行している車両と自車両20との距離を計測し危険
な場合に警報を発生する車両前方監視システムにおい
て、光軸を自車両20の進行方向ベクトルと平行に設置
すると共に、車両上に路面34から同じ高さで設けられ
た左右のカメラと、左カメラ41L及び右カメラ41Rに
おいて撮影を行うタイミングを指示する同期信号43a
を生成すると共に、少なくとも1/2フレーム時間に同
期した切り替え信号43bを生成する同期信号発生器4
3と、前記同期信号43aに基づいて左カメラ41L及
び右カメラ41Rを同期して同一時刻に左画像と右画像
とを撮影して左画像と右画像との合成映像信号44aを
作成する合成映像作成手段44とを備えたステレオ動画
像取得装置40を有して構成されている車両前方監視シ
ステム10である。
【0062】請求項19に記載の発明に依れば、請求項
1に記載の効果に加えて、左カメラ41L(右カメラ4
1R)のカメラから得られる画像がすべて路面34と等
しい高さにある場合、画像中のすべての画素を視差の値
だけ走査線方向に移動させると右カメラ41R(左カメ
ラ41L)により撮像された画像と同等の画像の作成が
可能となる。
【0063】請求項20に記載の発明は、請求項19に
記載の車両前方監視システム10において、左カメラ4
1L及び右カメラ41Rの各々が奇数走査線信号/偶数走
査線信号と偶数走査線信号/奇数走査線信号/偶数走査
線信号とを出力する場合、前記ステレオ動画像取得装置
40は、左カメラ41Lからの左映像信号41Laにおけ
る所定走査線信号と右カメラ41Rからの右映像信号4
1Raにおける所定走査線信号とを収集して前記合成映像
信号44aを作成するように構成されている車両前方監
視システム10である。
【0064】請求項20に記載の発明に依れば、請求項
2に記載の効果と同様の効果を奏する。
【0065】請求項21に記載の発明は、請求項20に
記載の車両前方監視システム10において、前記ステレ
オ動画像取得装置40は、前記切り替え信号43bに同
期して、左カメラ41Lからの左映像信号41Laにおけ
る偶数走査線信号/奇数走査線信号/偶数走査線信号と
右カメラ41Rからの右映像信号41Raにおける奇数走
査線信号/偶数走査線信号とを収集し、当該左映像信号
41Laの偶数走査線信号/奇数走査線信号/偶数走査線
信号を前記合成映像信号44aにおける偶数走査線信号
/奇数走査線信号/偶数走査線信号とすると共に当該右
映像信号41Raの奇数走査線信号/偶数走査線信号を当
該合成映像信号44aにおける奇数走査線信号/偶数走
査線信号として合成して当該合成映像信号44aを作成
するように構成されている車両前方監視システム10で
ある。
【0066】請求項21に記載の発明に依れば、請求項
3に記載の効果と同様の効果を奏する。
【0067】請求項22に記載の発明は、請求項21に
記載の車両前方監視システム10において、前記ステレ
オ動画像取得装置40は、1/2フレーム時間毎に奇数
走査線信号/偶数走査線信号と偶数走査線信号/奇数走
査線信号/偶数走査線信号とを分けて出力するインター
レースモードで左カメラ41L及び右カメラ41Rが動作
する場合、インターレースにかかる前記切り替え信号4
3bに同期して、左カメラ41Lからの左映像信号41L
aと右カメラ41Rからの右映像信号41Raとを前記1/
2フレーム時間毎に交互に切り替えて収集して前記合成
映像信号44aを作成するように構成されている車両前
方監視システム10である。
【0068】請求項22に記載の発明に依れば、請求項
4に記載の効果と同様の効果を奏する。
【0069】請求項23に記載の発明は、請求項22に
記載の車両前方監視システム10において、前記前記ス
テレオ動画像取得装置40は、前記切り替え信号43b
に同期して、前記右映像信号41Raにおける奇数走査線
信号/偶数走査線信号である1/2フレーム分を前記合
成映像信号44aにおける1/2フレーム分の画像デー
タとして用いると共に、前記左映像信号41Laにおける
偶数走査線信号/奇数走査線信号/偶数走査線信号であ
る1/2フレーム分を当該合成映像信号44aにおける
残りの1/2フレーム分の画像データとして用いて当該
合成映像信号44aを合成するように構成されている車
両前方監視システム10である。
【0070】請求項23に記載の発明に依れば、請求項
5に記載の効果と同様の効果を奏する。
【0071】請求項24に記載の発明は、請求項21乃
至23のいずれか一項に記載の車両前方監視システム1
0において、走査線の交互に前記左映像信号41Laと前
記右映像信号41Raと合成されて1フレームが構成され
た前記合成画像信号を記録する単一のフレームメモリ4
5を有して構成されている車両前方監視システム10で
ある。
【0072】請求項24に記載の発明に依れば、請求項
6に記載の効果と同様の効果を奏する。
【0073】請求項25に記載の発明は、請求項24に
記載の車両前方監視システム10において、前記フレー
ムメモリ45に記録されている前記合成画像信号を読み
出し、当該読み出された合成画像信号の1フレームを構
成する走査線信号における奇数番目の走査線信号を分離
して右画像情報31aを作成すると共に、当該走査線信
号における偶数番目の走査線信号を分離して左画像情報
31bを作成する左右画像分離取得手段31と、右画像
情報31a及び左画像情報31bに対して前方車両21
検出にかかる監視領域32aを各々設定する監視領域設
定手段32とを備えたデータ処理装置30を有して構成
されている車両前方監視システム10である。
【0074】請求項25に記載の発明に依れば、請求項
7に記載の効果と同様の効果を奏する。
【0075】請求項26に記載の発明は、請求項25に
記載の車両前方監視システム10において、前記データ
処理装置30は、前記左画像情報31bにおいて水平エ
ッジ及び垂直エッジを分離して抽出すると共に、前記右
画像情報31aにおいて水平エッジ及び垂直エッジを分
離して抽出し、当該左画像情報31bにおいて抽出され
た水平エッジ及び垂直エッジに対してエッジの細線化を
行って左エッジ画像33ALを作成すると共に、当該右
画像情報31aにおいて抽出された水平エッジ及び垂直
エッジに対してエッジの細線化を行って右エッジ画像3
3ARを作成し、当該右エッジ画像33ARからエッジ画
像33Eとしての推定左エッジ画像33ELを作成し、
水平エッジ、垂直エッジから各々独立して左エッジ画像
33ALと推定エッジ画像33Eの差分画像33Dを作
成し、これらを合成して差分エッジ画像334cを作成す
る前方車両抽出手段33を有して構成されている車両前
方監視システム10である。
【0076】請求項26に記載の発明に依れば、請求項
9に記載の効果と同様の効果を奏する。
【0077】請求項27に記載の発明は、請求項25に
記載の車両前方監視システム10において、前記前方車
両抽出手段33は、前記左画像情報31bにおいて水平
エッジ及び垂直エッジを分離して抽出すると共に、前記
右画像情報31aにおいて水平エッジ及び垂直エッジを
分離して抽出し、当該左画像情報31bにおいて抽出さ
れた水平エッジ及び垂直エッジに対してエッジの細線化
を行って左エッジ画像33ALを作成すると共に、当該
右画像情報31aにおいて抽出された水平エッジ及び垂
直エッジに対してエッジの細線化を行って右エッジ画像
33ARを作成して推定左エッジ画像33EL/推定右エ
ッジ画像を作成するエッジ画像作成部332と、前記推
定左エッジ画像33ELと前記左エッジ画像33ALとの
水平エッジに対する差分演算を行って差分水平エッジ3
34aを作成すると共に、当該推定左エッジ画像33EL
/推定右エッジ画像33ERと当該左エッジ画像33AL
/右エッジ画像33ARとの垂直エッジに対する差分演
算を行って差分垂直エッジ334bを作成し、当該差分水
平エッジ334aと当該差分垂直エッジ334bとを合成し
て差分エッジ画像334cを作成する差分エッジ作成部3
34と、前記推定左エッジ画像33EL/推定右エッジ画
像33ERと前記左エッジ画像33AL/右エッジ画像3
3ARとの差分演算において前記差分水平エッジ334a
及び前記差分垂直エッジ334bを作成した残余画像のエ
ッジ点の重心を算出し、当該算出した重心を中心に全エ
ッジの所定割合を含む窓336aを作成する窓作成部33
6とを有して構成されている車両前方監視システム10
である。
【0078】請求項27に記載の発明に依れば、請求項
11乃至13のいずれか一項に記載の効果と同様の効果
を奏する。
【0079】請求項28に記載の発明は、請求項26ま
たは27に記載の車両前方監視システム10において、
前記データ処理装置30は、左カメラ41Lによって撮
影される撮影画像である左現画像に前記窓336aを設定
し、右カメラ41Rによって撮影される撮影画像である
右現画像上に対応する領域を設定し、当該左現画像にお
ける窓336aと当該右現画像における窓336aとの間の
視差を算出し、当該算出された視差に基づいて、前方を
走行している車両と自車両20との距離を算出する距離
算出手段35を有して構成されている車両前方監視シス
テム10である。
【0080】請求項28に記載の発明に依れば、請求項
15または16に記載の効果と同様の効果を奏する。
【0081】請求項29に記載の発明は、請求項28に
記載の車両前方監視システム10において、前記データ
処理装置30は、前記算出された距離に基づいて危険状
態か否かを判定し、危険状態と判定した場合に警報信号
36aを作成する判定手段36を有して構成されている
車両前方監視システム10である。
【0082】請求項29に記載の発明に依れば、請求項
17に記載の効果と同様の効果を奏する。
【0083】請求項30に記載の発明は、請求項29に
記載の車両前方監視システム10において、前記データ
処理装置30は、前記算出された距離に基づいて、前記
警報信号36aを受けて警報を発生する警報手段37を
有して構成されている車両前方監視システム10であ
る。
【0084】請求項30に記載の発明に依れば、請求項
20に記載の効果と同様の効果を奏する。
【0085】
【発明の実施の形態】以下、図面に基づき本発明の一実
施形態を説明する。
【0086】本実施形態の車両前方監視システム10
は、左カメラ41Lを用いて収集した左画像と右カメラ
41Rを用いて収集した右画像を用いてステレオ式の画
像処理を行って前方を走行している車両と自車両20と
の距離を計測し危険な場合に警報を発生する機能を有
し、図1に示すデータ処理装置30と図2に示すステレ
オ動画像取得装置40と単一のフレームメモリ45を中
心にして構成されている。
【0087】図1は、本発明の車両前方監視システム1
0を構成するデータ処理装置30の一実施形態を説明す
るための機能ブロック図である。
【0088】図1に示すデータ処理装置30は、左右画
像分離取得手段31と監視領域設定手段32と前方車両
抽出手段33と距離算出手段35と判定手段36と警報
手段37とを中心にして構成されている。
【0089】図1に示す左右画像分離取得手段31は、
後述する左右画像分離取得工程を実行するものであっ
て、フレームメモリ45に記録されている合成画像信号
を読み出し、読み出された合成画像信号の1フレームを
構成する走査線信号における奇数番目の走査線信号を分
離して右画像情報31aを作成すると同時に、走査線信
号における偶数番目の走査線信号を分離して左画像情報
31bを作成する機能を有している。
【0090】図1に示す監視領域設定手段32は、後述
する監視領域設定工程を実行するものであって、右画像
情報31a及び左画像情報31bに対して前方車両21
検出に関する監視領域32aを各々設定する機能を有
し、マイクロコンピュータを中心にして構成されている
ことが望ましい。
【0091】図1に示す前方車両抽出手段33は、後述
する前方車両抽出工程を実行するものであって、左画像
情報31bにおいて水平エッジ及び垂直エッジを分離し
て抽出すると同時に、右画像情報31aにおいて水平エ
ッジ及び垂直エッジを分離して抽出し、左画像情報31
bにおいて抽出された水平エッジ及び垂直エッジに対し
てエッジの細線化を行って左エッジ画像33ALを作成
すると同時に、右画像情報31aにおいて抽出された水
平エッジ及び垂直エッジに対してエッジの細線化を行っ
て右エッジ画像33ARを作成し、右エッジ画像33AR
からエッジ画像33Eとしての推定左エッジ画像33E
Lを作成し、水平エッジ、垂直エッジから各々独立して
左エッジ画像33ALと推定エッジ画像33Eの差分画
像33Dを作成し、これらを合成して差分エッジ画像3
34cを作成する機能を有し、エッジ画像作成部332と
差分エッジ作成部334と窓作成部336とを中心にして
構成され、前述のマイクロプロセッサーで実行されてい
る。
【0092】図1に示すエッジ画像作成部332は、後
述するエッジ画像作成工程を実行するものであって、左
画像情報31bにおいて水平エッジ及び垂直エッジを分
離して抽出すると同時に、右画像情報31aにおいて水
平エッジ及び垂直エッジを分離して抽出し、左画像情報
31bにおいて抽出された水平エッジ及び垂直エッジに
対してエッジの細線化を行って左エッジ画像33ALを
作成すると同時に、右画像情報31aにおいて抽出され
た水平エッジ及び垂直エッジに対してエッジの細線化を
行って右エッジ画像33ARを作成してエッジ画像33
Eとしての推定左エッジ画像33ELを作成する機能を
有し、前述のマイクロプロセッサーで実行されている。
【0093】図1に示す差分エッジ作成部334は、後
述する差分エッジ画像334cを作成する工程を実行する
ものであって、推定左エッジ画像33ELと左エッジ画
像33ALとの水平エッジに対する差分演算を行って差
分水平エッジ334aを作成すると同時に、推定左エッジ
画像33ELと左エッジ画像33ALとの垂直エッジに対
する差分演算を行って差分垂直エッジ334bを作成し、
差分水平エッジ334aと差分垂直エッジ334bとを合成
して差分エッジ画像334cを作成する機能を有し、前述
のマイクロプロセッサーで実行されている。
【0094】図1に示す窓作成部336は、後述する窓
336aを作成する工程を実行するものであって、推定左
エッジ画像33ELと左エッジ画像33ALとの差分演算
において差分水平エッジ334a及び差分垂直エッジ33
4bを作成した残余画像のエッジ点の重心を算出し、算出
した重心を中心に全エッジの所定割合を含む窓336aを
作成する機能を有し、前述のマイクロプロセッサーで実
行されている。
【0095】図1に示す距離算出手段35は、後述する
距離算出工程を実行するものであって、左カメラ41L
によって撮影される撮影画像である左現画像に窓336a
を設定し、右カメラ41Rによって撮影される撮影画像
である右現画像上に対応する領域を設定し、左現画像に
おける窓336aと右現画像における窓336aとの間の視
差を算出し、算出された視差に基づいて、前方を走行し
ている車両と自車両20との距離を算出する機能を有
し、前述のマイクロプロセッサーで実行されている。
【0096】図1に示す判定手段36は、算出された距
離に基づいて危険状態か否かを判定し、危険状態と判定
した場合に警報信号36aを作成する機能を有し、前述
のマイクロプロセッサーで実行されている。
【0097】図1に示す警報手段37は、算出された距
離に基づいて、警報信号36aを受けて警報を発生する
機能を有し、警報ブザーを中心にして構成されているこ
とが望ましい。
【0098】図2は、本発明の車両前方監視システム1
0を構成するステレオ動画像取得装置40の一実施形態
を説明するための機能ブロック図である。
【0099】図2に示すステレオ動画像取得装置40
は、後述するステレオ動画像取得工程を実行するもので
あって、図5で後述するように、切り替え信号43bに
同期して、右映像信号41Ra(ビデオ信号)における奇
数走査線信号である1/2フレーム分を合成映像信号4
4a(ビデオ信号)における1/2フレーム分の画像デ
ータとして用いると同時に、左映像信号41La(ビデオ
信号)における偶数走査線信号である1/2フレーム分
を合成映像信号44aにおける残りの1/2フレーム分
の画像データとして用いて合成映像信号44aを合成す
る機能を有し、左カメラ41L及び右カメラ41Rと同期
信号発生器43と合成映像作成手段44を有している。
【0100】左カメラ41L及び右カメラ41Rは、カメ
ラの光軸を自車両20の進行方向ベクトルと平行に設置
すると同時に、車両上に路面34から同じ高さで設けら
れた機能を有し、具体的には、CCDカメラを用いるこ
とが望ましい。
【0101】同期信号発生器43は、左カメラ41L及
び右カメラ41Rにおいて前方車両を中心とするシーン
を撮影を行うタイミングを指示する同期信号43aを生
成すると同時に、インターレース走査方式における1/
2フレーム時間(1/60秒)に同期した切り替え信号
43bを生成する機能を有している。
【0102】合成映像作成手段44は、同期信号43a
に基づいて左カメラ41L及び右カメラ41Rを同期して
同一時刻に左画像と右画像とを撮影して左画像と右画像
との合成映像信号44aを作成する機能を有し、前述の
マイクロプロセッサーで実行されている。
【0103】このようなステレオ動画像取得装置40
は、切り替え信号43bに同期して、左カメラ41Lか
らの左映像信号41Laにおける偶数走査線信号と右カメ
ラ41Rからの右映像信号41Raにおける奇数走査線信
号とを収集し、左映像信号41Laの偶数走査線信号を合
成映像信号44aにおける偶数走査線信号とすると同時
に右映像信号41Raの奇数走査線信号を合成映像信号4
4aにおける奇数走査線信号として合成して合成映像信
号44aを作成するように構成されている。
【0104】以上説明したように、ステレオ動画像取得
装置40に依れば、左カメラ41L(右カメラ41R)の
カメラから得られる画像がすべて路面34と等しい高さ
にある場合、画像中のすべての画素を視差の値だけ走査
線方向に移動させると右カメラ41R(左カメラ41L)
により撮像された画像と同等の画像の作成が可能とな
る。
【0105】図1,2に示す単一のフレームメモリ45
は、走査線の交互に左映像信号41Laと右映像信号41
Raと合成されて1フレームが構成された合成画像信号を
記録する機能を有している。
【0106】次に、図面に基づき、前述の車両前方監視
システム10を用いて実行される前方車両検出方法の一
実施形態を説明する。
【0107】2台のカメラの光軸を進行方向ベクトルと
平行に設置した場合、路面34はそれぞれのカメラから
常に等しい高さにある。そこで、2台のカメラにより撮
像された左右のある画像において、左右の路面34の視
差Pを走査線毎に算出している。1台のカメラから得ら
れる画像がすべて路面34と等しい高さにある場合、画
像中のすべての画素を走査線毎に先程の視差Pの値だけ
移動させると、もう1台のカメラにより撮像された画像
と、同等の画像の作成が可能となる。
【0108】しかしながら、路面34よりも高い場所に
ある前方車両21などの画素を同様な前方車両検出方法
で移動させた場合、別のカメラにより撮像された画像と
同等なものとはならない。
【0109】このようにして、人為的に作成した推定画
像と実際に撮像された画像とを比較することにより、同
一平面上にある路面34だけを消去し、それよりも高い
場所にある前方車両21を残すことが可能になる。
【0110】この原理により、2台のカメラから得られ
る走行中の自動車の両眼道路画像を用いて、あらかじ
め、画像中の画素のうち回避の必要が無い路面表示など
の路面34と路面34から同じ高さにある画素の消去を
行うことにより、距離D算出に要する処理時間の短縮を
図っている。
【0111】本実施形態の目的は、自車両20の前方の
両眼道路画像から路面34の消去を行うことにより、前
方車両21の検出を行い、距離Dおよび相対速度vの算
出を高速に行う前方車両検出方法を開発することであ
る。
【0112】本前方車両検出方法の特徴は、あらかじ
め、回避の必要が無い路面34の消去を行うことによ
り、従来両眼道路画像を用いた前方車両検出方法で問題
とされてきた、処理時間の短縮を行うところにある。そ
のために、カメラは、自車両20の進行方向ベクトルと
光軸が平行になるようにし、常に路面34から同じ高さ
に存在するように配置するという条件を利用している。
【0113】図3は、車両前方監視システム10で実行
される前方車両検出方法の一実施形態を説明するための
フローチャートである。
【0114】図3に示す前方車両検出方法は、左カメラ
41Lを用いて収集した左画像と右カメラ41Rを用いて
収集した右画像を用いてステレオ式の画像処理を行って
前方を走行している車両と自車両20との距離を計測し
危険な場合に警報を発生するアルゴリズムを実行でき、
ステレオ動画像取得工程と左右画像分離取得工程と推定
エッジ画像作成工程と前方車両抽出工程と距離算出工程
と判定工程と警報発生工程とを中心にして構成されてい
る。
【0115】以下に、2台のカメラから得られる画像を
用いて両眼立体視を行い、距離D算出を行う前方車両検
出方法について述べる。また、本実施形態における両眼
画像データの前方車両検出方法、及び両眼立体視法を用
いた前方車両21までの距離Dおよび前方車両21と自
車両20との相対速度vの算出する前方車両検出方法に
ついて述べる。
【0116】初めに、両眼立体視法の概略を説明する。
【0117】カメラによって撮像される画像は、一般的
に2次元の情報しか持っておらず、カメラから被測距対
象体までの3次元情報である距離情報は失われてしまっ
ている。しかし、自動車が走行する環境は3次元的な広
がりを持っており、特に追突事故を回避するためには前
方車両21との距離Dが非常に重要な情報となってく
る。
【0118】そこで、画像処理による距離情報の前方車
両検出方法として、異なる方向から取得した、2枚の画
像を用いた両眼立体視法がある。
【0119】本前方車両検出方法は、このような両眼立
体視法を用いており、2枚の画像間で着目点の視差Pを
求めることにより、その視差Pの値から距離Dを算出す
る前方車両検出方法であり、被測距対象までの絶対的な
距離Dを求めることが可能となる。
【0120】図4は、前方車両検出方法及び車両前方監
視システム10において用いられる両眼立体視法を説明
するためのの原理図である。
【0121】まず、両眼立体視法の原理について述べ
る。図4に示すように、距離rだけ離して設置した焦点
距離fの2台のカメラで、2つのカメラを結ぶ直線Lか
らDの距離にある点Pを撮像する。ここで、カメラの光
軸はどちらも直線Lに垂直とする。
【0122】この時、右カメラにおける点Pの像の位置
から左カメラにおける像の位置までの距離はr+xとな
り、視差Pはxとなる。従来の前方車両検出方法では、
図からもわかるように点Pまでの距離Dは、xから D=r・f/x (1) として求める(図4)。
【0123】しかしながら、両眼立体視法においては、
カメラの微妙なずれによって前方車両21までの実際の
距離と計算上の距離が大きく異なる。そこで、本前方車
両検出方法においては、実際に10mから50m先まで
10mおきに置かれた被測距対象を撮像し、それぞれの
被測距対象の視差Pを検出し、視差Pと距離との関係式
を算出している。
【0124】つまり、同じシステムで撮像された被測距
対象であれば、この関係式と視差Pから実際の距離を正
確に算出することが可能となる。
【0125】このように、2次元画像情報しか持たない
2枚の画像から、画像中の着目点の距離情報を得ること
が可能となる。
【0126】この前方車両検出方法は、人間が左右の目
の見えかたの違いにより、見ている被測距対象の奥行き
を知覚することに似ている。
【0127】しかしながら、この前方車両検出方法では
2枚の画像上でそれぞれ着目している点が果たして同一
の点P点に対応していない可能性があるということが問
題となる。
【0128】すなわち、着目点の3次元情報から任意の
画像面への投影は一意に定まるが、その逆は一意ではな
い。
【0129】つまり、何らかの前方車両21の特徴が抽
出されない場合、画像全体に渡って、左画像情報41L
及び右画像情報41Rのマッチングをとることになり、
処理が非常に煩雑になる。ゆえに、両眼画像を用いて3
次元情報を取得する前方車両検出方法は、多大な処理時
間を要するという見方が一般的である。
【0130】しかしながら、運転補助システムは、実時
間で距離等の走行情報を取得することが理想である。そ
のため、距離算出などの処理は常に運転速度に応じて高
速であることが要求されている。そのため、両眼立体視
法を用いて車両周辺監視を行うためには、対応点探索を
高速化するなどして、処理時間を短縮する必要がある。
【0131】本実施形態では、前方車両21までの距離
Dを算出するという見地から、両眼立体視法を用いる。
また、回避の必要がない路面表示などを消去し、前方車
両21の画像のみを残すことにより、対応点探索の高速
化を行い従来の問題点であった処理時間の短縮を図って
いる。続いて、ステレオ動画像取得工程を説明する。
【0132】画像処理により、車両周辺の監視を行う場
合、取得される画像は動画像であることが望ましい。な
ぜなら、自動車の走行環境というものは、時間的に変化
しており、これを認識しなければならないからである。
また、両眼立体視を行うためには、同時刻の2枚の画像
が必要となる。しかしながら、現状では家庭用のフレー
ムメモリ45を用いて、同時刻の2枚の画像を撮像する
ことは、非常に困難である。
【0133】そこでステレオ動画像取得工程は、左右の
カメラを同期して同一時刻に左画像と右画像とを撮影し
て左画像と右画像との合成映像信号44aを作成するプ
ログラムコード(ステップS1)を有している。
【0134】この様なプログラムコードによれば、右映
像信号41Raにおける奇数走査線信号である1/2フレ
ーム分を合成映像信号44aにおける1/2フレーム分
の画像データとして用いると同時に、左映像信号41La
における偶数走査線信号である1/2フレーム分を合成
映像信号44aにおける残りの1/2フレーム分の画像
データとして用いて合成映像信号44aを作成してい
る。その結果、従来に比べ撮像画像を記録するフレーム
メモリ45のメモリー量を1/2フレーム分の偶数走査
線本数と1/2フレーム分の奇数走査線本数との和程度
まで少なく設定でき、フレームメモリ45の容量を従来
より半分程度に低減できるようになる。また、距離算出
に必要な視差は水平方向(走査線方向)であるので、従
来の前方車両検出方法に比べても検出分解能が劣ること
は無い。これに依り、使用目的に合った高い検出精度の
前方監視処理が容易なアルゴリズムを備えた点で優位性
を主張することができるようになる。その結果、フレー
ムメモリ45のメモリー量に関する製造コストや設置ス
ペースの点で優位性を主張することができるようにな
る。
【0135】またステレオ動画像取得工程は、1/2フ
レーム時間毎に奇数走査線信号と偶数走査線信号とを分
けて出力するインターレースモードで左カメラ41L及
び右カメラ41Rが動作する場合に左カメラ41Lからの
左映像信号41Laと右カメラ41Rからの右映像信号4
1Raとを1/2フレーム時間毎に交互に切り替えて収集
して合成映像信号44aを作成するプログラムコード
(ステップS2)を有している。
【0136】ステレオ動画像取得工程においては、同期
信号発生器43より同期信号43aを発生させ2台のC
CDカメラ41L,41Rに入力し、2台のCCDカメラ
41L,41Rを同期させている(ステップS1)。ま
た、合成映像作成手段44に対して1/60秒ごとの切
り替え信号43bを与えている(ステップS2)。
【0137】このとき、2台のCCDカメラ41L,4
1Rから出力される左映像信号41Laと右映像信号41R
aとは、お互いに同期しているので、合成映像作成手段
44によって合成することができる(ステップS2)。
【0138】この様なプログラムコードによれば、左カ
メラ41Lからの左映像信号41Laにおける偶数走査線
信号と右カメラ41Rからの右映像信号41Raにおける
奇数走査線信号とを収集し、また左映像信号41Laの偶
数走査線信号を合成映像信号44aにおける偶数走査線
信号とし、更に、右映像信号41Raの奇数走査線信号を
合成映像信号44aにおける奇数走査線信号として合成
して合成映像信号44aを作成している。その結果、従
来に比べ撮像画像を記録するフレームメモリ45のメモ
リー量を1/2フレーム分の偶数走査線本数と1/2フ
レーム分の奇数走査線本数との和程度まで少なく設定で
き、フレームメモリ45の容量を従来より半分程度に低
減できるようになる。また、距離算出に必要な視差は水
平方向(走査線方向)であるので、従来の前方車両検出
方法に比べても検出分解能が劣ることは無い。これに依
り、使用目的に合った高い検出精度の前方監視処理が容
易なアルゴリズムを備えた点で優位性を主張することが
できるようになる。その結果、フレームメモリ45のメ
モリー量に関する製造コストや設置スペースの点で優位
性を主張することができるようになる。
【0139】またステレオ動画像取得工程は、走査線の
交互に左映像信号41Laと右映像信号41Raと合成され
て1フレームが構成された合成画像信号を単一のフレー
ムメモリ45に記録するプログラムコード(ステップS
3)を有している。
【0140】この様にして得られた合成映像作成手段4
4は、フレームメモリ45に出力される(ステップS
3)。
【0141】この様なプログラムコードによれば、フレ
ーム分の合成映像信号44aを単一のフレームメモリ4
5に記録している。その結果、フレームメモリ45の共
有化が可能となり、従来に比べ撮像画像を記録するフレ
ームメモリ45のメモリー量を1/2フレーム分の偶数
走査線本数と1/2フレーム分の奇数走査線本数との和
程度まで少なく設定でき、フレームメモリ45の容量を
従来より半分程度に低減できるようになる。また、フレ
ームメモリ45の共有化を図っても、距離算出に必要な
視差は水平方向(走査線方向)であるので、従来の前方
車両検出方法に比べても検出分解能が劣ることは無い。
これに依り、使用目的に合った高い検出精度の前方監視
処理が容易なアルゴリズムを備えた点で優位性を主張す
ることができるようになる。その結果、フレームメモリ
45の共有化に起因するフレームメモリ45のメモリー
量に関する製造コストや設置スペースの点で優位性を主
張することができるようになる。
【0142】フレームメモリ45に記録されている合成
画像信号の読み出し(ステップS4)に続いく左右画像
分離取得工程は、読み出された合成画像信号の1フレー
ムを構成する走査線信号における奇数番目の走査線信号
を分離して右画像情報31aを作成すると同時に、走査
線信号における偶数番目の走査線信号を分離して左画像
情報31bを作成するプログラムコード(ステップS
5)を有している。
【0143】この様なプログラムコードによれば、共有
化されているフレームメモリ45内に記録されている偶
数番目の走査線信号のものと奇数番目の走査線信号のも
のとに分離することにより、水平方向に垂直方向の倍の
解像度を持つ右画像情報31aと左画像情報31bとの
2枚で1組の両眼画像を動画像として得ることできるよ
うになるといった効果を奏する。また、距離算出に必要
な視差は水平方向(走査線方向)であるので、右画像情
報31aと左画像情報31bは従来の前方車両検出方法
に比べても検出分解能が劣ることは無い。これに依り、
使用目的に合った高い検出精度の前方監視処理が容易な
アルゴリズムを備えた点で優位性を主張することができ
るようになる。その結果、フレームメモリ45の共有化
に起因するフレームメモリ45のメモリー量に関する製
造コストや設置スペースの点で優位性を主張することが
できるようになる。
【0144】図5は、前方車両検出方法及び車両前方監
視システム10において用いられる右映像信号41Raと
左映像信号41Laとから構成される合成映像信号44a
の画像形態を説明するための図である。
【0145】合成映像作成手段44内で切り替え信号4
3bが切り替わる毎に、2台のCCDカメラ41L,4
1Rからの左映像信号41Laと右映像信号41Raとが交
互にフレームメモリ45へ出力されるので(ステップS
4)、図5に示すように、出力画像は走査線の交互に左
画像情報41Lと右画像情報41Rが映った画像となる
(ステップS5)。
【0146】この画像をデータ処理装置30内の処理
で、偶数番目の走査線のものと奇数番目の走査線のもの
とに分離することにより、水平方向に垂直方向の倍の解
像度を持つ右画像情報31aと左画像情報31bとの2
枚で1組の両眼画像を動画像として得ることが可能とな
る(ステップS2)。
【0147】図6は左カメラ41Lや右カメラ41R(具
体的には、CCDカメラ)の撮像状態であって、図6
(a)は、1/2フレーム時間毎に奇数走査線信号と偶
数走査線信号とを分けて出力するインターレースモード
を説明するための図であり、図6(b)は、図6(a)
のインターレースモードにおける右映像信号41Ra及び
左映像信号41Laのフレーム構造を説明するための図で
ある。
【0148】図6(a)に示すように、撮像された画像
は525本程度の走査線毎に左映像信号41Laと右映像
信号41Raとして外部に出力される。
【0149】外部へ出力する方式としてはインターレー
スモードが良く用いられている。インターレースモード
では図6(b)に示すように1/2フレーム時間(1/
60秒)毎に奇数走査線信号、偶数走査線信号を分けて
出力する。よって1フレーム時間(1/30秒)で1画
面(1フレーム分)の左映像信号41Laと右映像信号4
1Raが出力されることになる。
【0150】次に、ステレオ動画像取得工程(ステップ
S1,2,3)及び左右画像分離取得工程(ステップS
5)における両眼道路画像の取得を用いて説明する。
【0151】図7は、図2のステレオ動画像取得装置4
0において、自車両20が直進する時の進行方向ベクト
ルと一致しお互い路面34に対して平行になるような光
軸を有する左カメラ41Lと右カメラ41Rを自動車の天
井部に取り付けて両眼道路画像の取得を行う様子を説明
するための図である。
【0152】図7に示すように、前項で述べたステレオ
動画像取得装置40を用いて両眼道路画像の取得を行っ
ている。
【0153】まず、2台のCCDカメラ41L,41Rを
自車両20の天井部に取り付ける。2台のCCDカメラ
41L,41Rの光軸は、お互い路面34に対して平行に
なるように設置する。また、光軸は、自車両20が直進
する時の進行方向ベクトルと一致するように設置する。
高速道路を走行し、走行中の前方道路画像を動画像(す
なわち、左映像信号41Laと右映像信号41Ra)として
フレームメモリ45に録画する(ステップS1→2→
3)。
【0154】以上の前方車両検出方法により得られる合
成映像信号44a(動画像)を、フレームメモリ45を
介して、データ処理装置30内に連続的に取り込む(ス
テップS4)。取り込まれた合成映像信号44aを、走
査線の偶数番目の画像と奇数番目の合成映像信号44a
とにデータ処理装置30内で分離する(ステップS
5)。このようにして、右画像情報31a及び左画像情
報31bの取得を行っている(ステップS5)。
【0155】最終的に、得られた右画像情報31a及び
左画像情報31bに対して、本前方車両検出方法を適用
する。2.3 監視領域設定工程(ステップS6)にお
ける監視領域32aの設定を説明する。
【0156】自車両20の前方を右カメラ41Rや左カ
メラ41Lにより撮像した場合、撮像した左映像信号4
1Laや右映像信号41Raの中には、一般に、空、木や建
物などの回避の必要のない測距不要な映像信号(画像情
報)が多く含まれている。
【0157】従来の前方車両検出方法では、このような
回避の必要のない測距不要な映像信号に対しても視差P
の算出を行っていたので、それらの視差Pの算出に多大
の処理時間を要していた。
【0158】このような回避の必要のない測距不要な映
像信号は同じシステムで撮像した場合、どの画像におい
てもほぼ同じ場所に存在すると考えられるため、本実施
形態では、図8に示すように、あらかじめこれらの映像
信号を排除し、かつ前方車両21を含むような監視領域
32aを設定している(ステップS6)。
【0159】監視領域32aを各々設定する工程は、右
画像情報31a及び左画像情報31bに対して前方車両
21検出に関するプログラムコード(ステップS6)を
有している。
【0160】この様なプログラムコードによれば、あら
かじめこれらの映像信号を排除し、かつ前方車両21を
含むような監視領域32aを設定できるようになる。自
車両20の前方を右カメラ41Rや左カメラ41Lにより
撮像した場合に、回避の必要のない測距不要な映像信号
である空、木や建物などの映像信号(画像情報)を左映
像信号41Laや右映像信号41Raの中から除去できるよ
うになる。これにより、回避の必要のない測距不要な映
像信号を排除し、回避が必要で測距を要する映像信号
(画像情報)のみを残すことにより処理時間の短縮を計
ることができるようになるといった効果を奏する。
【0161】これにより、回避の必要のない測距不要な
映像信号を排除し、回避が必要で測距を要する映像信号
(画像情報)のみを残すことにより処理時間の短縮を計
っている。
【0162】本実施形態においては、初期設定として監
視領域32aの設定を手動で行い、すべての画像にこの
監視領域32aを用いることが望ましい(ステップS
6)。
【0163】図8は、監視領域設定工程を説明するため
の図である。
【0164】そこで、図8に示すように、空を排除する
ために0から60pixel(画素)までを除去し、左
右の自車線以外の被測距対象を排除するために、左の白
線から60pixel以内を監視領域32aとしそれ以
上を除去し、右の白線も同様に白線から60pixel
以内を監視領域32aとしそれ以上を除去している。下
部においても前方車両21が映っていないことから15
0pixel以上の部分は除去をおこなって監視領域3
2aを設定している(ステップS6)。
【0165】つぎに、エッジ画像33Aの作成をエッジ
画像作成工程(ステップS7,8)を用いて説明する。
【0166】エッジ画像作成工程は、左画像情報31b
において水平エッジ及び垂直エッジを分離して抽出する
と同時に、右画像情報31aにおいて水平エッジ及び垂
直エッジを分離して抽出するプログラムコード(ステッ
プS7)と、前工程に続いて、左画像情報31bにおい
て抽出された水平エッジ及び垂直エッジに対してエッジ
の細線化を行って左エッジ画像33ALを作成すると同
時に、右画像情報31aにおいて抽出された水平エッジ
及び垂直エッジに対してエッジの細線化を行って右エッ
ジ画像33ARを作成するプログラムコード(ステップ
S8)を含んでいる。
【0167】この様なプログラムコードによれば、路面
34から高さのある被測距対象(前方車両21等)のエ
ッジを差分画像33D処理してできるだけ残し、路面3
4上エッジを差分画像33D処理して可能な限り消去で
きるようになる。すなわち、路面34からの高さがあり
本来残したい水平エッジと垂直エッジの重なり部分、及
び垂直エッジと水平エッジの重なり部分を差分画像33
D処理して従来よりもより多く高い精度で残すことが可
能となる。その結果、前方車両21領域の抽出エッジ量
にはかなり差が現れることになる。これにより後処理に
おけるエッジの重心点算出、重心点を中心に全エッジの
8割を含む窓336aを作成してそれを前方車両21領域
と推定する際の推定確度をより向上させることができる
ようになる。これに依り、使用目的に合った高い検出精
度の前方監視処理が容易なアルゴリズムを備えた点で優
位性を主張することができるようになる。
【0168】自車両20は前方車両21の認識は、より
高速に行われることが望ましい。そこで、右カメラ41
Rや左カメラ41Lから得られる右画像情報31aや左画
像情報31b中の特徴点においてのみ処理を行ってい
る。
【0169】右画像情報31aと左画像情報31bとの
視差Pを走査線毎に算出することを考えた場合、エッジ
画像33Aについて行うことが容易であると考えられ
る。
【0170】図9は、エッジ画像作成工程におけるエッ
ジ点を採用工程を説明するための図である。
【0171】そこで本前方車両検出方法では、特徴点と
して、以下の行列式で表現されるオペレータ(1),
(2)を用いて抽出される図9に示すようなエッジ点を
採用する(ステップS7)。
【0172】図10は、エッジ画像作成工程におけるエ
ッジ画像の細線化処理を説明するための図である。図1
1は、エッジ画像作成工程における垂直エッジと水平エ
ッジとを区別する処理を説明するための図である。
【0173】続いて、路面34の消去を行う際に前方車
両21のエッジをなるべく多く残し、さらに処理の高速
化を計るために、図10に示すようなエッジ画像33A
の細線化処理を行い(ステップS8)、続いて、図11
に示すように、垂直エッジと水平エッジとの区別の処理
を行った(ステップS8)。
【0174】
【数1】 …オペレータ(1)
【0175】
【数2】 …オペレータ(2) 次に、推定エッジ画像作成工程(ステップS9)及び前
方車両抽出工程(ステップS10,11,12)におけ
る路面34の消去を説明する。
【0176】推定エッジ画像作成工程は、右エッジ画像
33ARから左エッジ画像33ALを推定するプログラム
コード(ステップS9)を含んでいる。
【0177】この様なプログラムコードによれば、左画
像情報31b、右画像情報31aともに水平エッジ、垂
直エッジを分離して抽出したエッジ画像を作成し、エッ
ジの細線化したエッジ画像を作成した後、右エッジ画像
33ARから推定エッジ画像33Eを作成し、推定エッ
ジ画像33Eと左エッジ画像33ALの差分水平エッジ
334a、差分垂直エッジ334bを水平エッジ、垂直エッ
ジそれぞれ分けて作成し、その後、差分水平エッジ33
4aと差分垂直エッジ334bを合成して差分エッジ画像3
34cの差分水平エッジ334a、差分垂直エッジ334bと
することができるようになる。また推定エッジ画像33
Eでは、路面34から同じ高さにある路面34標示だけ
が実際に左カメラ41Lによって撮像された左エッジ画
像33ALと等しい画像となり、前方車両21などの路
面34よりも高い位置にある物は実際の左エッジ画像3
3ALと等しい画像とはならないようにできる。実際に
撮像された左エッジ画像33ALから推定エッジ画像3
3Eとの共通部分を消去すると、同じ高さにある路面3
4(走行車線の路面34)や路面34標示(例えば、白
線や速度制限表示)などは左エッジ画像33ALから消
去され、路面34よりも高い位置に存在する前方車両2
1の画素だけを左エッジ画像33ALに残すことができ
るようになり、最終的に、左エッジ画像33ALにおい
て残った画素を前方車両21の候補画素として距離を算
出できるようになるといった効果を奏する。
【0178】請求項12に記載の発明は、請求項11に
記載の前方車両検出方法において、差分エッジ画像33
4cを作成する工程(ステップS10)は、推定左エッジ
画像33ELと左エッジ画像33ALとの水平エッジに対
する差分演算を行って差分水平エッジ334aを作成する
と同時に、推定左エッジ画像33ELと左エッジ画像3
3ALとの垂直エッジに対する差分演算を行って差分垂
直エッジ334bを作成するプログラムコードと、差分水
平エッジ334aと差分垂直エッジ334bとを合成して差
分エッジ画像334cを作成するプログラムコードとを含
んでいる。
【0179】図12(a),(b)は、前方車両抽出工
程において左エッジ画像33ALから推定エッジ画像3
3Eを引いた差分画像33Dである(ステップS1
0)。
【0180】図13(a),(b)はエッジの方向性を
考慮せずに、推定エッジ画像33Eと左エッジ画像33
ALを重ねて示したものである。
【0181】本処理の目的は道路面34から高さのある
被測距対象(前方車両21等)のエッジはできるだけ残
し、路面34上エッジは消去したい訳だが、図12
(a),(b)からは、路面34からの高さがあり本来
残したい水平エッジと垂直エッジの重なり部分(A部
分)、及び垂直エッジと水平エッジの重なり部分(B部
分)が差分されて消失している。
【0182】一方、図12(a),(b)は同様の状況
を、水平エッジは水平エッジ同士で差分を取り、垂直エ
ッジは垂直エッジ同士で差分を取った場合を示してい
る。
【0183】この場合、図13(a),(b)のA部
分、B部分で示す様なエッジ消失は発生しない。よって
本方法は、路面34から高さのある被測距対象のエッジ
を従来より、より多く残すことが可能となる。
【0184】画面全体に本前方車両検出方法を適用した
場合、前方車両21領域の抽出エッジ量にはかなり差が
現れることになる。これにより後処理におけるエッジの
重心点算出、重心点を中心に全エッジの8割を含む窓3
36aを作成して、それを前方車両21領域と推定する際
の推定確度がより向上する。以上の本アルゴリズムによ
り、より確実に前方車両21領域を抽出することが可能
となる。
【0185】この様なプログラムコードによれば、左画
像情報31b、右画像情報31aともに水平エッジ、垂
直エッジを分離して抽出したエッジ画像を作成し、エッ
ジの細線化したエッジ画像を作成した後、右エッジ画像
33ARから推定エッジ画像33Eを作成し、推定エッ
ジ画像33Eと左エッジ画像33ALの差分水平エッジ
334a、差分垂直エッジ334bを水平エッジ、垂直エッ
ジそれぞれ分けて作成し、その後、差分水平エッジ33
4aと差分垂直エッジ334bを合成して差分エッジ画像3
34cの差分水平エッジ334a、差分垂直エッジ334bと
することができるようになる。これに依り、使用目的に
合った高い検出精度の前方監視処理が容易なアルゴリズ
ムを備えた点で優位性を主張することができるようにな
る。
【0186】また前方車両抽出工程は、推定左エッジ画
像33ELと左エッジ画像33ALとの差分演算において
差分水平エッジ334a及び差分垂直エッジ334bを作成
した残余画像のエッジ点の重心を算出するプログラムコ
ード(ステップS11)を含んでいる。
【0187】窓336aを作成する工程(ステップS1
2)は、算出した重心を中心に全エッジの所定割合を含
むプログラムコードである。
【0188】ここで、推定エッジ画像33Eは、一方の
カメラの画像情報が全て路面34上の模様と仮定し、画
像情報に関するエッジ画像が他方のカメラを以て撮影さ
れた場合のエッジ画像を推定した画像情報を意味する。
【0189】この様なプログラムコード(ステップS1
1,12)によれば、路面34から高さのある被測距対
象のエッジを従来よりもより多く残すことが可能とな
る。更に、前方車両21領域の抽出エッジ量にかなりの
差を持たせることができるようになる。これに依り、後
処理におけるエッジの重心点算出、重心点を中心に全エ
ッジの8割を含む窓336aを作成して、それを前方車両
21領域と推定する際の推定確度の向上を図ることがで
きるようになるといった効果を奏する。これに依り、使
用目的に合った高い検出精度の前方監視処理が容易なア
ルゴリズムを備えた点で優位性を主張することができる
ようになる。
【0190】本前方車両検出方法では、回避の必要のな
い測距不要な路面34を消去し、特徴点の数を減らす画
像処理を実行することにより、処理時間の短縮を行って
いる。
【0191】路面34の消去を行うために、右のエッジ
画像33A(=右エッジ画像33AR)から左のエッジ
画像33A(左エッジ画像33AL)の推定を行ってい
る。この際、本前方車両検出方法では、CCDカメラ4
1L,41Rから得られる左映像信号41La、右映像信号
41Ra(画像)はすべて路面34と路面34から同じ高
さにあるものと仮定する。
【0192】図14は、左画像情報31bと右画像情報
31aとの間の視差を説明するための図である。
【0193】一般に、撮像した左画像情報41Lと右画
像情報41Rには視差Pが生じる(図14参照)。このよ
うな視差Pの値は被測距対象が3次元的に右カメラ41
Rや左カメラ41Lより遠くに存在すれば小さく、近くに
存在すれば大きくなる。
【0194】2次元的な画像で考える場合、画像に図1
4のようなxy座標系を当てはめるとすると、路面34
の視差Pの値は、y座標が大きくなるほど大きくなる。
すなわち、視差Pの値はy座標の値に応じて、線形的に
変化するため、視差Pとy座標の値とは1次関数の関係
であらわすことが可能となる。
【0195】このことから、ある画像において、視差P
とy座標との関係式をあらかじめ算出しておくことによ
り、同じシステムで撮像した路面34の画像であれば、
この関係式と左画像情報41Lより、それぞれの画素の
視差Pを走査線毎に算出し、画素を視差Pの値だけ移動
させる画像処理を実行することにより、実際に右画像情
報41Rで撮像した右画像情報41Rと同一の画像の作成
が可能となる。
【0196】図15は、路面34よりも高い位置に存在
する被測距対象に対する視差の算出誤差を説明するため
の図である。
【0197】ところが、路面34よりも高い位置に存在
する被測距対象、すなわち前方車両21の画像において
は、図15に示すように、視差Pとy座標との間にこの
関係式が成り立たない。そのため、前方車両21が路面
34と路面34から同じ高さにあると仮定し、この関係
式を用いて、左画像情報41Lのそれぞれの画素の視差
Pを走査線毎に算出し、画素を視差Pの値だけ移動させ
ても正確な右画像情報41Rの作成を行うことはできな
い。
【0198】本前方車両検出方法では、以上の原理を用
いて回避の必要のない路面34を消去し、特徴点の数を
減らすことにより、処理時間の短縮を図っている。
【0199】本実施形態では、撮像された画像はすべて
路面34と路面34から同じ高さにあるものと仮定し、
右エッジ画像33ARから推定された左エッジ画像33
ALを推定エッジ画像33Eとして算出している(ステ
ップS9)。
【0200】図16は、路面34よりも高い位置にある
被測距対象と左エッジ画像33ALとの誤差を説明する
ための図である。
【0201】前述のように、推定エッジ画像33Eで
は、路面34と路面34から同じ高さにある路面34や
路面標示だけが実際に左カメラ41Lによって撮像され
た左エッジ画像33ALと等しい画像となり、図16に
示すように、前方車両21などの路面34よりも高い位
置にある物は実際の左エッジ画像33ALと等しい画像
とはならない。
【0202】図17は、前方車両抽出工程におけるステ
ップS10を説明するための図である。
【0203】そこで、図17に示すように、実際に撮像
された左エッジ画像33ALから推定エッジ画像33E
との共通部分を消去すると(ステップS10)、路面3
4から同じ高さにある路面34(走行車線の路面)や路
面標示(例えば、白線や速度制限表示)などは左エッジ
画像33ALから消去され、図17に示すように、路面
34よりも高い位置に存在する前方車両21の画素だけ
が左エッジ画像33ALに残る(ステップS10)。最
終的に、左エッジ画像33ALにおいて残った画素を前
方車両21の候補画素として距離Dを算出している。
【0204】次に、前方車両21までの距離Dの計測を
前方車両抽出工程(ステップS11,12)、距離算出
工程(ステップS13,14,15,16)を用いて説
明する。
【0205】距離算出工程は、視差と距離の逆数との比
例関係に基づいてあらかじめ算出した関係式を用いて左
現画像における窓336aと右現画像における窓336aと
の間の視差を算出し、算出された視差に基づいて距離を
算出するプログラムコードであって、左カメラ41Lに
よって撮影される撮影画像である左現画像に窓336aを
設定するプログラムコード(ステップS13)と、右カ
メラ41Rによって撮影される撮影画像である右現画像
上に対応する領域を設定するプログラムコード(ステッ
プS14)と、左現画像における窓336aと右現画像に
おける窓336aとの間の視差を算出するプログラムコー
ド(ステップS15)と、算出された視差に基づいて、
前方を走行している車両と自車両20との距離を算出す
るプログラムコード(ステップS16)とを含んでい
る。
【0206】この様なプログラムコード(ステップS1
3,14,15,16)によれば、左現画像における窓
336aと右現画像における窓336aとの間の視差を求
め、その視差の値から被測距対象までの絶対的な距離を
高精度でかつ高速に求めることができるようになる。こ
れに依り、使用目的に合った高い検出精度、高速処理の
前方監視処理が容易なアルゴリズムを備えた点で優位性
を主張することができるようになる。また、あらかじめ
算出した関係式を用いて左現画像における窓336aと右
現画像における窓336aとの間の視差を算出して距離を
算出できるので、視差の値から被測距対象までの絶対的
な距離を高精度でかつ高速に求めることができるように
なる。これに依り、使用目的に合った高い検出精度、高
速処理の前方監視処理が容易なアルゴリズムを備えた点
で優位性を主張することができるようになる。
【0207】先ず、前方車両抽出工程(ステップS1
0,11,12)における前方車両21の視差Pの算出
を説明する。
【0208】路面34の消去を行った後に残された左エ
ッジ画像33ALの画素のほとんどは、前方車両21の
画素となる。そのため、残された全画素の重心は、前方
車両21の重心とほぼ等しくなる(ステップS11)。
この重心を中心とした四角形を作成し、この四角形の中
に含まれる画素が全画素の8割になるように画像処理を
実行している(ステップS12)。
【0209】このようにして、作成された四角形には前
方車両21のほぼ全体が含まれる。このようにして作成
された四角形を窓336aと考え、右画像情報41R上に
も同じおおきさの窓336aを設ける画像処理を実行して
いる(ステップS13)。
【0210】図18は、距離算出工程におけるステップ
S14を説明するための図である。
【0211】続いて、図18に示すように、右画像情報
41R上の窓336aを左の方に移動させながら、右画像
情報41Rと左画像情報41Lの2つの窓336a間の輝度
差(左映像信号41Laや右映像信号41Raの信号レベル
を用いて計算できる差)を計算し、その値が最小となる
点を検出している(ステップS14)。続いて、この時
の、左右の窓336aの視差Pを走査線毎に算出してい
る。この様にして算出した視差Pが前方車両21の視差
Pとなる(ステップS15)。
【0212】続いて、距離算出工程(ステップS16)
における視差Pと距離Dの関係の算出を説明する。
【0213】従来の両眼画像による距離Dの算出前方車
両検出方法は三角測量の原理より、前方車両21までの
距離Dを算出するという前方車両検出方法であった。
【0214】しかし、この前方車両検出方法は、カメラ
設定の値が少しずれただけでも、算出される前方車両2
1までの距離Dに大幅な誤りが生じてしまい、正確な距
離計測が困難とされてきた。そこで、本実施形態におい
ては、視差Pと距離Dの関係式をあらかじめ算出するこ
とにより正確な距離計測を行っている。
【0215】図19は、視差と距離の関係式をあらかじ
め算出すること処理を説明するための図である。
【0216】本実施形態では、図19に示すように、カ
メラ(左カメラ41Lや右カメラ41Rと同一性能を有す
るカメラ)から10mおきに、50mまでの位置に被測
距対象(例えば、図19に示すような箱体)を置き、そ
の被測距対象を撮像している。これらの被測距対象の視
差Pを走査線毎に算出することにより、視差Pと距離D
との関係を算出している。
【0217】視差Pと距離Dの逆数は比例関係であるこ
とから、視差Pと距離Dの逆数を一次関数であらわすこ
とが可能となる。この関数に前節で算出した前方車両2
1の視差Pを代入することにより、前方車両21までの
距離Dを算出している。なお、今回用いた車両前方監視
システム10においては視差Pと距離Dの関係は式
(2)となった。
【0218】 d=α/(P−9) [m] (2) α:比例定数、d:距離、P:視差 本実施形態では、αを680としているが、この比例定
数は車両形状、左カメラ41Lや右カメラ41Rの設置位
置等によって最適な値を先覚する必要がある。
【0219】次に、前方車両21の相対速度vの算出処
理を説明する。
【0220】自車両20の前方の監視を行う場合、前方
車両21までの距離Dと同時に、前方車両21の相対速
度vの情報を取得できることが好ましい。
【0221】たとえ、前方車両21が非常に接近した場
所にいたとしても、その前方車両21が自車両20から
遠ざかってあるのであれば、危険度は低いものとなる。
逆に、ある程度遠くに前方車両21がいたとしても、そ
の前方車両21が自車両20に向かって急接近している
のであれば、危険度は高いものとなる。
【0222】本実施形態においては、前方車両21まで
の距離Dと同時に、前方車両21の相対速度vの算出を
行っている。
【0223】データ処理装置30に取り込む画像データ
のフレーム間隔は例えば、0.5秒である。また、前節
までの処理により、前方車両21までの距離Dが算出さ
れる。したがって、画像データの取り込み毎の前方車両
21の距離Dおよび画像データの取り込み間隔という情
報が取得できる。これらの値から、画像データの取り込
み間隔が0.5秒で在れば、0.5秒の間に前方車両2
1がどれだけ自車両20に接近したかということがわか
る。よって、前方車両21の相対速度vが式(3)によ
り算出される。
【0224】 v=(d2−d1)/0.5 [m/s] (3) ここで、v:相対速度 d1:1一つ前に取り込んだ画
像データより求めた前方車両21との距離 d2:前方
車両21との距離 距離算出工程に続く判定工程は、算出された距離に基づ
いて危険状態か否かを判定し、危険状態と判定した場合
に警報信号36aを作成するプログラムコード(ステッ
プS17)である。
【0225】この様なプログラムコード(ステップS1
7)によれば、高速且つ高精度に算出された距離に基づ
いて危険状態か否かを高速且つ高精度に判定できるよう
になるといった効果を奏する。これに依り、使用目的に
合った高い検出精度、高速処理の前方監視処理が容易な
アルゴリズムを備えた点で優位性を主張することができ
るようになる。
【0226】判定工程に続く警報工程は、算出された距
離に基づいて、警報信号36aを受けて警報を発生する
工程プログラムコード(ステップS18)である。
【0227】この様なプログラムコード(ステップS1
8)によれば、高速且つ高精度の警報を発生することが
できるようになる。これに依り、使用目的に合った高い
検出精度、高速処理の前方監視処理が容易なアルゴリズ
ムを備えた点で優位性を主張することができるようにな
る。
【0228】
【発明の効果】請求項1に記載の発明に依れば、検出距
離の誤差が大きく発生する可能性を回避することがで
き、撮像タイミングについても同期をとって高い検出精
度を実現することができるといった効果を奏する。これ
に依り、使用目的に合った高い検出精度の前方監視処理
が容易なアルゴリズムを備えた点で優位性を主張するこ
とができるようになる。
【0229】請求項2に記載の発明に依れば、請求項1
に記載の効果に加えて、従来に比べ撮像画像を記録する
メモリー量を少なく設定でき、更に、高い検出精度及び
高速処理性能を有するステレオ式の画像処理技術を応用
した車両前方監視システムを実現できるようになる。そ
の結果、製造コストや設置スペースの点で優位性を主張
することができるようになる。これに依り、使用目的に
合った高い検出精度の前方監視処理が容易なアルゴリズ
ムを備えた点で優位性を主張することができるようにな
る。
【0230】請求項3に記載の発明に依れば、請求項2
に記載の効果に加えて、従来に比べ撮像画像を記録する
フレームメモリのメモリー量を偶数走査線本数と奇数走
査線本数との和程度まで少なく設定できるようになる。
また、距離算出に必要な視差は水平方向(走査線方向)
であるので、従来の前方車両検出方法に比べても検出分
解能が劣ることは無い。これに依り、使用目的に合った
高い検出精度の前方監視処理が容易なアルゴリズムを備
えた点で優位性を主張することができるようになる。そ
の結果、フレームメモリのメモリー量に関する製造コス
トや設置スペースの点で優位性を主張することができる
ようになる。
【0231】請求項4に記載の発明に依れば、請求項2
に記載の効果に加えて、従来に比べ撮像画像を記録する
フレームメモリのメモリー量を1/2フレーム分の偶数
走査線本数と1/2フレーム分の奇数走査線本数との和
程度まで少なく設定でき、フレームメモリの容量を従来
より半分程度に低減できるようになる。また、距離算出
に必要な視差は水平方向(走査線方向)であるので、従
来の前方車両検出方法に比べても検出分解能が劣ること
は無い。これに依り、使用目的に合った高い検出精度の
前方監視処理が容易なアルゴリズムを備えた点で優位性
を主張することができるようになる。その結果、フレー
ムメモリのメモリー量に関する製造コストや設置スペー
スの点で優位性を主張することができるようになる。
【0232】請求項5に記載の発明に依れば、請求項4
に記載の効果に加えて、従来に比べ撮像画像を記録する
フレームメモリのメモリー量を1/2フレーム分の偶数
走査線本数と1/2フレーム分の奇数走査線本数との和
程度まで少なく設定でき、フレームメモリの容量を従来
より半分程度に低減できるようになる。また、距離算出
に必要な視差は水平方向(走査線方向)であるので、従
来の前方車両検出方法に比べても検出分解能が劣ること
は無い。これに依り、使用目的に合った高い検出精度の
前方監視処理が容易なアルゴリズムを備えた点で優位性
を主張することができるようになる。その結果、フレー
ムメモリのメモリー量に関する製造コストや設置スペー
スの点で優位性を主張することができるようになる。
【0233】請求項6に記載の発明に依れば、請求項3
乃至5のいずれか一項に記載の効果に加えて、フレーム
メモリの共有化が可能となり、従来に比べ撮像画像を記
録するフレームメモリのメモリー量を1/2フレーム分
の偶数走査線本数と1/2フレーム分の奇数走査線本数
との和程度まで少なく設定でき、フレームメモリの容量
を従来より半分程度に低減できるようになる。また、フ
レームメモリの共有化を図っても、距離算出に必要な視
差は水平方向(走査線方向)であるので、従来の前方車
両検出方法に比べても検出分解能が劣ることは無い。こ
れに依り、使用目的に合った高い検出精度の前方監視処
理が容易なアルゴリズムを備えた点で優位性を主張する
ことができるようになる。その結果、フレームメモリの
共有化に起因するフレームメモリのメモリー量に関する
製造コストや設置スペースの点で優位性を主張すること
ができるようになる。
【0234】請求項7に記載の発明に依れば、請求項6
に記載の効果に加えて、水平方向に垂直方向の倍の解像
度を持つ右画像情報と左画像情報との2枚で1組の両眼
画像を動画像として得ることできるようになる。また、
距離算出に必要な視差は水平方向(走査線方向)である
ので、右画像情報と左画像情報は従来の前方車両検出方
法に比べても検出分解能が劣ることは無い。これに依
り、使用目的に合った高い検出精度の前方監視処理が容
易なアルゴリズムを備えた点で優位性を主張することが
できるようになる。その結果、フレームメモリの共有化
に起因するフレームメモリのメモリー量に関する製造コ
ストや設置スペースの点で優位性を主張することができ
るようになる。
【0235】請求項8に記載の発明に依れば、請求項7
に記載の効果に加えて、監視領域設定工程を設けること
に依り、あらかじめこれらの映像信号を排除し、かつ前
方車両を含むような監視領域を設定できるようになる。
自車両の前方を右カメラや左カメラにより撮像した場合
に、回避の必要のない測距不要な映像信号である空、木
や建物などの映像信号(画像情報)を左映像信号や右映
像信号の中から除去できるようになる。これにより、回
避の必要のない測距不要な映像信号を排除し、回避が必
要で測距を要する映像信号(画像情報)のみを残すこと
により処理時間の短縮を計ることができるようになる。
【0236】請求項9に記載の発明に依れば、同一平面
上にある路面だけを消去し、それよりも高い場所にある
前方車両を残すことができるようになる。また、路面か
ら高さのある被測距対象のエッジを従来より、より多く
残すことができるようになる。更に、画面全体に本前方
車両検出方法を適用した場合、前方車両領域の抽出エッ
ジ量にはかなり差が現れることになる。これにより、後
処理におけるエッジの重心点算出、重心点を中心に全エ
ッジの8割を含む窓を作成して、それを前方車両領域と
推定する際の推定確度をより向上させることができるよ
うになる。その結果、使用目的に合った高い検出精度の
前方監視処理が容易なアルゴリズムを備えた点で優位性
を主張することができるようになる。
【0237】請求項10に記載の発明に依れば、請求項
9に記載の効果に加えて、路面から高さのある被測距対
象(前方車両等)のエッジを差分画像処理してできるだ
け残し、路面上エッジを差分画像処理して可能な限り消
去できるようになる。すなわち、路面からの高さがあり
本来残したい水平エッジと垂直エッジの重なり部分、及
び垂直エッジと水平エッジの重なり部分を差分画像処理
して従来よりもより多く高い精度で残すことが可能とな
る。その結果、前方車両領域の抽出エッジ量にはかなり
差が現れることになる。これにより後処理におけるエッ
ジの重心点算出、重心点を中心に全エッジの8割を含む
窓を作成してそれを前方車両領域と推定する際の推定確
度をより向上させることができるようになる。これに依
り、使用目的に合った高い検出精度の前方監視処理が容
易なアルゴリズムを備えた点で優位性を主張することが
できるようになる。
【0238】請求項11に記載の発明に依れば、請求項
10に記載の効果に加えて、推定エッジ画像作成工程を
設けることに依り、左画像情報、右画像情報ともに水平
エッジ、垂直エッジを分離して抽出したエッジ画像を作
成し、エッジの細線化したエッジ画像を作成した後、右
エッジ画像から推定エッジ画像を作成し、推定エッジ画
像と左エッジ画像の差分水平エッジ、差分垂直エッジを
水平エッジ、垂直エッジそれぞれ分けて作成し、その
後、差分水平エッジと差分垂直エッジを合成して差分エ
ッジ画像の差分水平エッジ、差分垂直エッジとすること
ができるようになる。また推定エッジ画像では、路面か
ら同じ高さにある路面標示だけが実際に左カメラによっ
て撮像された左エッジ画像と等しい画像となり、前方車
両などの路面よりも高い位置にある物は実際の左エッジ
画像と等しい画像とはならないようにできる。実際に撮
像された左エッジ画像から推定エッジ画像との共通部分
を消去すると、同じ高さにある路面(走行車線の路面)
や路面標示(例えば、白線や速度制限表示)などは左エ
ッジ画像から消去され、路面よりも高い位置に存在する
前方車両の画素だけを左エッジ画像に残すことができる
ようになり、最終的に、左エッジ画像において残った画
素を前方車両の候補画素として距離を算出できるように
なる。
【0239】請求項12に記載の発明に依れば、請求項
11に記載の効果に加えて、使用目的に合った高い検出
精度の前方監視処理が容易なアルゴリズムを備えた点で
優位性を主張することができるようになる。
【0240】請求項13に記載の発明に依れば、請求項
12に記載の効果に加えて、窓を作成する工程を設ける
ことに依り、路面から高さのある被測距対象のエッジを
従来よりもより多く残すことが可能となる。更に、前方
車両領域の抽出エッジ量にかなりの差を持たせることが
できるようになる。これに依り、後処理におけるエッジ
の重心点算出、重心点を中心に全エッジの8割を含む窓
336aを作成して、それを前方車両領域と推定する際の
推定確度の向上を図ることができるようになる。これに
依り、使用目的に合った高い検出精度の前方監視処理が
容易なアルゴリズムを備えた点で優位性を主張すること
ができるようになる。
【0241】請求項14に記載の発明に依れば、請求項
9乃至13のいずれか一項に記載の効果と同様の効果を
奏する。
【0242】請求項15に記載の発明に依れば、請求項
11乃至14のいずれか一項に記載の効果に加えて、左
現画像における窓と右現画像における窓との間の視差を
求め、その視差の値から被測距対象までの絶対的な距離
を高精度でかつ高速に求めることができるようになる。
これに依り、使用目的に合った高い検出精度、高速処理
の前方監視処理が容易なアルゴリズムを備えた点で優位
性を主張することができるようになる。
【0243】請求項16に記載の発明に依れば、請求項
15に記載の効果に加えて、あらかじめ算出した関係式
を用いて左現画像における窓と前記右現画像における窓
との間の視差を算出して距離を算出できるので、視差の
値から被測距対象までの絶対的な距離を高精度でかつ高
速に求めることができるようになる。これに依り、使用
目的に合った高い検出精度、高速処理の前方監視処理が
容易なアルゴリズムを備えた点で優位性を主張すること
ができるようになる。
【0244】請求項17に記載の発明に依れば、請求項
15または16に記載の効果に加えて、高速且つ高精度
に算出された距離に基づいて危険状態か否かを高速且つ
高精度に判定できるようになる。これに依り、使用目的
に合った高い検出精度、高速処理の前方監視処理が容易
なアルゴリズムを備えた点で優位性を主張することがで
きるようになる。
【0245】請求項18に記載の発明に依れば、請求項
17に記載の効果に加えて、高速且つ高精度の警報を発
生することができるようになる。これに依り、使用目的
に合った高い検出精度、高速処理の前方監視処理が容易
なアルゴリズムを備えた点で優位性を主張することがで
きるようになる。
【0246】請求項19に記載の発明は、左カメラを用
いて収集した左画像と右カメラを用いて収集した右画像
を用いてステレオ式の画像処理を行って前方を走行して
いる車両と自車両との距離を計測し危険な場合に警報を
発生する車両前方監視システムにおいて、光軸を自車両
の進行方向ベクトルと平行に設置すると共に、車両上に
路面から同じ高さで設けられた左右のカメラと、左カメ
ラ及び右カメラにおいて撮影を行うタイミングを指示す
る同期信号を生成すると共に、フレーム時間に同期した
切り替え信号を生成する同期信号発生器と、前記同期信
号に基づいて左カメラ及び右カメラを同期して同一時刻
に左画像と右画像とを撮影して左画像と右画像との合成
映像信号を作成する合成映像作成手段とを備えたステレ
オ動画像取得装置を有して構成されている車両前方監視
システムである。
【0247】請求項19に記載の発明に依れば、請求項
1に記載の効果に加えて、左カメラ(右カメラ)のカメ
ラから得られる画像がすべて路面と等しい高さにある場
合、画像中のすべての画素を視差の値だけ走査線方向に
移動させると右カメラ(左カメラ)により撮像された画
像と同等の画像の作成が可能となる。
【0248】請求項20に記載の発明に依れば、請求項
2に記載の効果と同様の効果を奏する。
【0249】請求項21に記載の発明に依れば、請求項
3に記載の効果と同様の効果を奏する。
【0250】請求項22に記載の発明に依れば、請求項
4に記載の効果と同様の効果を奏する。
【0251】請求項23に記載の発明に依れば、請求項
5に記載の効果と同様の効果を奏する。
【0252】請求項24に記載の発明に依れば、請求項
6に記載の効果と同様の効果を奏する。
【0253】請求項25に記載の発明に依れば、請求項
7に記載の効果と同様の効果を奏する。
【0254】請求項26に記載の発明に依れば、請求項
9に記載の効果と同様の効果を奏する。
【0255】請求項27に記載の発明に依れば、請求項
11乃至13のいずれか一項に記載の効果と同様の効果
を奏する。
【0256】請求項28に記載の発明に依れば、請求項
15または16に記載の効果と同様の効果を奏する。
【0257】請求項29に記載の発明に依れば、請求項
17に記載の効果と同様の効果を奏する。
【0258】請求項30に記載の発明に依れば、請求項
20に記載の効果と同様の効果を奏する。
【図面の簡単な説明】
【図1】本発明の車両前方監視システムを構成するデー
タ処理装置の一実施形態を説明するための機能ブロック
図である。
【図2】本発明の車両前方監視システムを構成するステ
レオ動画像取得装置の一実施形態を説明するための機能
ブロック図である。
【図3】車両前方監視システムで実行される前方車両検
出方法の一実施形態を説明するためのフローチャートで
ある。
【図4】前方車両検出方法及び車両前方監視システムに
おいて用いられる両眼立体視法を説明するためのの原理
図である。
【図5】前方車両検出方法及び車両前方監視システムに
おいて用いられる右映像信号と左映像信号とから構成さ
れる合成映像信号の画像形態を説明するための図であ
る。
【図6】図6(a)は、1/2フレーム時間毎に奇数走
査線信号と偶数走査線信号とを分けて出力するインター
レースモードを説明するための図であり、図6(b)
は、図6(a)のインターレースモードにおける右映像
信号及び左映像信号のフレーム構造を説明するための図
である。
【図7】図2のステレオ動画像取得装置において、自車
両が直進する時の進行方向ベクトルと一致しお互い路面
に対して平行になるような光軸を有する左カメラと右カ
メラを自動車の天井部に取り付けて両眼道路画像の取得
を行う様子を説明するための図である。
【図8】監視領域設定工程を説明するための図である。
【図9】エッジ画像作成工程におけるエッジ点を採用工
程を説明するための図である。
【図10】エッジ画像作成工程におけるエッジ画像の細
線化処理を説明するための図である。
【図11】エッジ画像作成工程における垂直エッジと水
平エッジとを区別する処理を説明するための図である。
【図12】図12(a),(b)は、前方車両抽出工程
において、左エッジ画像から推定エッジ画像を差し引い
て差分画像を作成する工程を説明するための図である。
【図13】図13(a),(b)は、エッジの方向性を
考慮せずに推定エッジ画像と左エッジ画像とを重ねて示
した図である。
【図14】左画像情報と右画像情報との間の視差を説明
するための図である。
【図15】路面よりも高い位置に存在する被測距対象に
対する視差の算出誤差を説明するための図である。
【図16】路面よりも高い位置にある被測距対象と左エ
ッジ画像との誤差を説明するための図である。
【図17】前方車両抽出工程におけるステップS10を
説明するための図である。
【図18】距離算出工程におけるステップS14を説明
するための図である。
【図19】視差と距離の関係式をあらかじめ算出するこ
と処理を説明するための図である。
【符号の説明】
10…車両前方監視システム 20…自車両 21…前方車両 30…データ処理装置 31…左右画像分離取得手段 31a…右画像情報 31b…左画像情報 32…監視領域設定手段 32a…監視領域 33…前方車両抽出手段 332…エッジ画像作成部 33A…エッジ画像 33AL…左エッジ画像 33AR…右エッジ画像 33E…推定エッジ画像 33D…差分画像 34…路面 334…差分エッジ作成部 334a…差分水平エッジ 334b…差分垂直エッジ 334c…差分エッジ画像 336…窓作成部 336a…窓 35…距離算出手段 36…判定手段 36a…警報信号 37…警報手段 40…ステレオ動画像取得装置 41L…左カメラ 41La…左映像信号 41R…右カメラ 41Ra…右映像信号 43…同期信号発生器 43a…同期信号 43b…切り替え信号 44…合成映像作成手段 44a…合成映像信号 45…フレームメモリ

Claims (30)

    【特許請求の範囲】
  1. 【請求項1】 左カメラを用いて収集した左画像と右カ
    メラを用いて収集した右画像を用いてステレオ式の画像
    処理を行って前方を走行している車両と自車両との距離
    を計測し危険な場合に警報を発生する前方車両検出方法
    において、 左右のカメラを同期して同一時刻に左画像と右画像とを
    撮影して左画像と右画像との合成映像信号を作成する工
    程とを含むステレオ動画像取得工程を有することを特徴
    とする前方車両検出方法。
  2. 【請求項2】 左カメラ及び右カメラの各々が奇数走査
    線信号/偶数走査線信号と偶数走査線信号/奇数走査線
    信号/偶数走査線信号とを出力する場合、前記ステレオ
    動画像取得工程は、左カメラからの左映像信号における
    所定走査線信号と右カメラからの右映像信号における所
    定走査線信号とを収集して前記合成映像信号を作成する
    工程を有することを特徴とする請求項1に記載の前方車
    両検出方法。
  3. 【請求項3】 前記ステレオ動画像取得工程は、左カメ
    ラからの左映像信号における偶数走査線信号/奇数走査
    線信号/偶数走査線信号と右カメラからの右映像信号に
    おける奇数走査線信号/偶数走査線信号とを収集し、当
    該左映像信号の偶数走査線信号/奇数走査線信号/偶数
    走査線信号を前記合成映像信号における偶数走査線信号
    /奇数走査線信号/偶数走査線信号とすると共に当該右
    映像信号の奇数走査線信号/偶数走査線信号を当該合成
    映像信号における奇数走査線信号/偶数走査線信号とし
    て合成して当該合成映像信号を作成する工程を有するこ
    とを特徴とする請求項2に記載の前方車両検出方法。
  4. 【請求項4】 1/2フレーム時間毎に奇数走査線信号
    /偶数走査線信号と偶数走査線信号/奇数走査線信号/
    偶数走査線信号とを分けて出力するインターレースモー
    ドで左カメラ及び右カメラが動作する場合、前記ステレ
    オ動画像取得工程は、左カメラからの左映像信号と右カ
    メラからの右映像信号とを前記1/2フレーム時間毎に
    交互に切り替えて収集して前記合成映像信号を作成する
    工程を有することを特徴とする請求項2に記載の前方車
    両検出方法。
  5. 【請求項5】 前記合成映像信号が、前記右映像信号に
    おける奇数走査線信号/偶数走査線信号である1/2フ
    レーム分を前記合成映像信号における1/2フレーム分
    の画像データとして用いると共に、前記左映像信号にお
    ける偶数走査線信号/奇数走査線信号/偶数走査線信号
    である1/2フレーム分を当該合成映像信号における残
    りの1/2フレーム分の画像データとして用いて当該合
    成映像信号を合成する工程を有することを特徴とする請
    求項4に記載の前方車両検出方法。
  6. 【請求項6】 走査線の交互に前記左映像信号と前記右
    映像信号と合成されて1フレームが構成された前記合成
    画像信号を単一のフレームメモリに記録する工程を有す
    ることを特徴とする請求項3乃至5のいずれか一項に記
    載の前方車両検出方法。
  7. 【請求項7】 前記フレームメモリに記録されている前
    記合成画像信号を読み出し、当該読み出された合成画像
    信号の1フレームを構成する走査線信号における奇数番
    目の走査線信号を分離して右画像情報を作成すると共
    に、当該走査線信号における偶数番目の走査線信号を分
    離して左画像情報を作成する左右画像分離取得工程を有
    することを特徴とする請求項6に記載の前方車両検出方
    法。
  8. 【請求項8】 右画像情報及び左画像情報に対して前方
    車両検出にかかる監視領域を各々設定する工程を有する
    ことを特徴とする請求項7に記載の前方車両検出方法。
  9. 【請求項9】 左カメラを用いて収集した左画像情報と
    右カメラを用いて収集した右画像情報を用いてステレオ
    式の画像処理を行って前方を走行している車両と自車両
    との距離を計測し危険な場合に警報を発生する前方車両
    検出方法において、 前記左画像情報において水平エッジ及び垂直エッジを分
    離して抽出すると共に、前記右画像情報において水平エ
    ッジ及び垂直エッジを分離して抽出する工程と、前工程
    に続いて、当該左画像情報において抽出された水平エッ
    ジ及び垂直エッジに対してエッジの細線化を行って左エ
    ッジ画像を作成すると共に、当該右画像情報において抽
    出された水平エッジ及び垂直エッジに対してエッジの細
    線化を行って右エッジ画像を作成する工程と、前工程に
    続いて、当該右エッジ画像/左エッジ画像から推定左エ
    ッジ画像/推定右エッジ画像を作成する工程と、前工程
    に続いて、水平エッジ、垂直エッジから各々独立して左
    エッジ画像/右エッジ画像と推定エッジ画像の差分画像
    を作成し、これらを合成して差分エッジ画像を作成する
    工程を含む前方車両抽出工程を有することを特徴とする
    前方車両検出方法。
  10. 【請求項10】 前記前方車両抽出工程は、前記左画像
    情報において水平エッジ及び垂直エッジを分離して抽出
    すると共に、前記右画像情報において水平エッジ及び垂
    直エッジを分離して抽出する工程と、前工程に続いて、
    当該左画像情報において抽出された水平エッジ及び垂直
    エッジに対してエッジの細線化を行って左エッジ画像を
    作成すると共に、当該右画像情報において抽出された水
    平エッジ及び垂直エッジに対してエッジの細線化を行っ
    て右エッジ画像を作成するエッジ画像作成工程を含むこ
    とを特徴とする請求項9に記載の前方車両検出方法。
  11. 【請求項11】 前記前方車両抽出工程は、前記右エッ
    ジ画像から左エッジ画像を推定する推定エッジ画像作成
    工程を含むことを特徴とする請求項10に記載の前方車
    両検出方法。
  12. 【請求項12】 前記前方車両抽出工程は、前記推定左
    エッジ画像と前記左エッジ画像との水平エッジに対する
    差分演算を行って差分水平エッジを作成すると共に、当
    該推定左エッジ画像と当該左エッジ画像との垂直エッジ
    に対する差分演算を行って差分垂直エッジを作成する工
    程と、当該差分水平エッジと当該差分垂直エッジとを合
    成して差分エッジ画像を作成する工程を含む工程とを含
    むことを特徴とする請求項11に記載の前方車両検出方
    法。
  13. 【請求項13】 前記前方車両抽出工程は、前記推定左
    エッジ画像と前記左エッジ画像との差分演算において前
    記差分水平エッジ及び前記差分垂直エッジを作成した残
    余画像のエッジ点の重心を算出する工程と、当該算出し
    た重心を中心に全エッジの所定割合を含む窓を作成する
    工程とを含むことを特徴とする請求項12に記載の前方
    車両検出方法。
  14. 【請求項14】 前記推定エッジ画像が、一方のカメラ
    の画像情報が全て路面上の模様と仮定し、当該画像情報
    にかかるエッジ画像が他方のカメラを以て撮影された場
    合のエッジ画像を推定した画像情報であることを特徴と
    する請求項9乃至13のいずれか一項に記載の前方車両
    検出方法。
  15. 【請求項15】 左カメラによって撮影される撮影画像
    である左現画像に前記窓を設定する工程と、右カメラに
    よって撮影される撮影画像である右現画像上に対応する
    領域を設定する工程と、当該左現画像における窓と当該
    右現画像における窓との間の視差を算出する工程と、当
    該算出された視差に基づいて、前方を走行している車両
    と自車両との距離を算出する工程とを含む距離算出工程
    を有することを特徴とする請求項11乃至14のいずれ
    か一項に記載の前方車両検出方法。
  16. 【請求項16】 前記距離算出工程は、 視差と距離の逆数との比例関係に基づいてあらかじめ算
    出した関係式を用いて前記左現画像における窓と前記右
    現画像における窓との間の視差を算出し、当該算出され
    た視差に基づいて前記距離を算出することを特徴とする
    請求項15に記載の前方車両検出方法。
  17. 【請求項17】 前記算出された距離に基づいて危険状
    態か否かを判定し、危険状態と判定した場合に警報信号
    を作成する工程を有することを特徴とする請求項15ま
    たは16に記載の前方車両検出方法。
  18. 【請求項18】 前記算出された距離に基づいて、前記
    警報信号を受けて警報を発生する工程を有することを特
    徴とする請求項17に記載の前方車両検出方法。
  19. 【請求項19】 左カメラを用いて収集した左画像と右
    カメラを用いて収集した右画像を用いてステレオ式の画
    像処理を行って前方を走行している車両と自車両との距
    離を計測し危険な場合に警報を発生する車両前方監視シ
    ステムにおいて、 光軸を自車両の進行方向ベクトルと平行に設置すると共
    に、車両上に路面から同じ高さで設けられた左右のカメ
    ラと、 左カメラ及び右カメラにおいて撮影を行うタイミングを
    指示する同期信号を生成すると共に、少なくとも1/2
    フレーム時間に同期した切り替え信号を生成する同期信
    号発生器と、 前記同期信号に基づいて左カメラ及び右カメラを同期し
    て同一時刻に左画像と右画像とを撮影して左画像と右画
    像との合成映像信号を作成する合成映像作成手段とを備
    えたステレオ動画像取得装置を有することを特徴とする
    車両前方監視システム。
  20. 【請求項20】 左カメラ及び右カメラの各々が奇数走
    査線信号/偶数走査線信号と偶数走査線信号/奇数走査
    線信号/偶数走査線信号とを出力する場合、前記ステレ
    オ動画像取得装置は、 左カメラからの左映像信号における所定走査線信号と右
    カメラからの右映像信号における所定走査線信号とを収
    集して前記合成映像信号を作成するように構成されてい
    ることを特徴とする請求項19に記載の車両前方監視シ
    ステム。
  21. 【請求項21】 前記ステレオ動画像取得装置は、前記
    切り替え信号に同期して、左カメラからの左映像信号に
    おける偶数走査線信号/奇数走査線信号/偶数走査線信
    号と右カメラからの右映像信号における奇数走査線信号
    /偶数走査線信号とを収集し、当該左映像信号の偶数走
    査線信号/奇数走査線信号/偶数走査線信号を前記合成
    映像信号における偶数走査線信号/奇数走査線信号/偶
    数走査線信号とすると共に当該右映像信号の奇数走査線
    信号/偶数走査線信号を当該合成映像信号における奇数
    走査線信号/偶数走査線信号として合成して当該合成映
    像信号を作成するように構成されていることを特徴とす
    る請求項20に記載の車両前方監視システム。
  22. 【請求項22】 前記ステレオ動画像取得装置は、1/
    2フレーム時間毎に奇数走査線信号/偶数走査線信号と
    偶数走査線信号/奇数走査線信号/偶数走査線信号とを
    分けて出力するインターレースモードで左カメラ及び右
    カメラが動作する場合、インターレースにかかる前記切
    り替え信号に同期して、左カメラからの左映像信号と右
    カメラからの右映像信号とを前記1/2フレーム時間毎
    に交互に切り替えて収集して前記合成映像信号を作成す
    るように構成されていることを特徴とする請求項21に
    記載の車両前方監視システム。
  23. 【請求項23】 前記前記ステレオ動画像取得装置は、 前記切り替え信号に同期して、前記右映像信号における
    奇数走査線信号/偶数走査線信号である1/2フレーム
    分を前記合成映像信号における1/2フレーム分の画像
    データとして用いると共に、前記左映像信号における偶
    数走査線信号/奇数走査線信号/偶数走査線信号である
    1/2フレーム分を当該合成映像信号における残りの1
    /2フレーム分の画像データとして用いて当該合成映像
    信号を合成するように構成されていることを特徴とする
    請求項22に記載の車両前方監視システム。
  24. 【請求項24】 走査線の交互に前記左映像信号と前記
    右映像信号と合成されて1フレームが構成された前記合
    成画像信号を記録する単一のフレームメモリを有するこ
    とを特徴とする請求項21乃至23のいずれか一項に記
    載の車両前方監視システム。
  25. 【請求項25】 前記フレームメモリに記録されている
    前記合成画像信号を読み出し、当該読み出された合成画
    像信号の1フレームを構成する走査線信号における奇数
    番目の走査線信号を分離して右画像情報を作成すると共
    に、当該走査線信号における偶数番目の走査線信号を分
    離して左画像情報を作成する左右画像分離取得手段と、 右画像情報及び左画像情報に対して前方車両検出にかか
    る監視領域を各々設定する監視領域設定手段とを備えた
    データ処理装置を有することを特徴とする請求項24に
    記載の車両前方監視システム。
  26. 【請求項26】 前記データ処理装置は、 前記左画像情報において水平エッジ及び垂直エッジを分
    離して抽出すると共に、前記右画像情報において水平エ
    ッジ及び垂直エッジを分離して抽出し、当該左画像情報
    において抽出された水平エッジ及び垂直エッジに対して
    エッジの細線化を行って左エッジ画像を作成すると共
    に、当該右画像情報において抽出された水平エッジ及び
    垂直エッジに対してエッジの細線化を行って右エッジ画
    像を作成し、当該右エッジ画像から推定左エッジ画像を
    作成し、水平エッジ、垂直エッジから各々独立して左エ
    ッジ画像と推定エッジ画像の差分画像を作成し、これら
    を合成して差分エッジ画像を作成する前方車両抽出手段
    を有することを特徴とする請求項25に記載の車両前方
    監視システム。
  27. 【請求項27】 前記前方車両抽出手段は、 前記左画像情報において水平エッジ及び垂直エッジを分
    離して抽出すると共に、前記右画像情報において水平エ
    ッジ及び垂直エッジを分離して抽出し、当該左画像情報
    において抽出された水平エッジ及び垂直エッジに対して
    エッジの細線化を行って左エッジ画像を作成すると共
    に、当該右画像情報において抽出された水平エッジ及び
    垂直エッジに対してエッジの細線化を行って右エッジ画
    像を作成して推定左エッジ画像/推定右エッジ画像を作
    成するエッジ画像作成部と、 前記推定左エッジ画像/推定右エッジ画像と前記左エッ
    ジ画像/右エッジ画像との水平エッジに対する差分演算
    を行って差分水平エッジを作成すると共に、当該推定左
    エッジ画像/推定右エッジ画像と当該左エッジ画像/右
    エッジ画像との垂直エッジに対する差分演算を行って差
    分垂直エッジを作成し、当該差分水平エッジと当該差分
    垂直エッジとを合成して差分エッジ画像を作成する差分
    エッジ作成部と、 前記推定左エッジ画像と前記左エッジ画像との差分演算
    において前記差分水平エッジ及び前記差分垂直エッジを
    作成した残余画像のエッジ点の重心を算出し、当該算出
    した重心を中心に全エッジの所定割合を含む窓を作成す
    る窓作成部とを有することを特徴とする請求項25に記
    載の車両前方監視システム。
  28. 【請求項28】 前記データ処理装置は、 左カメラによって撮影される撮影画像である左現画像に
    前記窓を設定し、右カメラによって撮影される撮影画像
    である右現画像上に対応する領域を設定し、当該左現画
    像における窓と当該右現画像における窓との間の視差を
    算出し、当該算出された視差に基づいて、前方を走行し
    ている車両と自車両との距離を算出する距離算出手段を
    有することを特徴とする請求項26または27に記載の
    車両前方監視システム。
  29. 【請求項29】 前記データ処理装置は、 前記算出された距離に基づいて危険状態か否かを判定
    し、危険状態と判定した場合に警報信号を作成する判定
    手段を有することを特徴とする請求項28に記載の車両
    前方監視システム。
  30. 【請求項30】 前記データ処理装置は、 前記算出された距離に基づいて、前記警報信号を受けて
    警報を発生する警報手段を有することを特徴とする請求
    項29に記載の車両前方監視システム。
JP9149525A 1997-06-06 1997-06-06 前方車両検出方法及び車両前方監視システム Abandoned JPH10341430A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9149525A JPH10341430A (ja) 1997-06-06 1997-06-06 前方車両検出方法及び車両前方監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9149525A JPH10341430A (ja) 1997-06-06 1997-06-06 前方車両検出方法及び車両前方監視システム

Publications (1)

Publication Number Publication Date
JPH10341430A true JPH10341430A (ja) 1998-12-22

Family

ID=15477049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9149525A Abandoned JPH10341430A (ja) 1997-06-06 1997-06-06 前方車両検出方法及び車両前方監視システム

Country Status (1)

Country Link
JP (1) JPH10341430A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001021446A1 (en) * 1999-09-20 2001-03-29 Matsushita Electric Industrial Co., Ltd. Device for assisting automobile driver
JP2005271836A (ja) * 2004-03-26 2005-10-06 Aisin Seiki Co Ltd 車載カメラ用補助照明装置
JP2005327038A (ja) * 2004-05-13 2005-11-24 Hokuriyou Denko Kk 移動体の認識方法と、それを利用する監視カメラ装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001021446A1 (en) * 1999-09-20 2001-03-29 Matsushita Electric Industrial Co., Ltd. Device for assisting automobile driver
JP3300340B2 (ja) * 1999-09-20 2002-07-08 松下電器産業株式会社 運転支援装置
US6993159B1 (en) 1999-09-20 2006-01-31 Matsushita Electric Industrial Co., Ltd. Driving support system
JP2005271836A (ja) * 2004-03-26 2005-10-06 Aisin Seiki Co Ltd 車載カメラ用補助照明装置
JP2005327038A (ja) * 2004-05-13 2005-11-24 Hokuriyou Denko Kk 移動体の認識方法と、それを利用する監視カメラ装置

Similar Documents

Publication Publication Date Title
EP1005234B1 (en) Three-dimensional scope system for vehicles with a single camera
US8982191B2 (en) Divergence ratio distance mapping camera
CN109003326B (zh) 一种基于虚拟世界的虚拟激光雷达数据生成方法
EP2372642B1 (en) Method and system for detecting moving objects
JP4899424B2 (ja) 物体検出装置
JPH11213137A (ja) 画像処理装置
EP1030188A1 (en) Situation awareness system
JP3727400B2 (ja) 横断者の検出装置
JP2012185540A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6743882B2 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
CN114998436B (zh) 对象标注方法、装置、电子设备及存储介质
JP2010287029A (ja) 周辺表示装置
JPH08136237A (ja) 走行路勾配算出装置および車速制御装置
JPH09218937A (ja) 区画線検出装置
JP3562250B2 (ja) 先行車両検出装置
JP2000293693A (ja) 障害物検出方法および装置
JP4893212B2 (ja) 周辺監視装置
JPH10341430A (ja) 前方車両検出方法及び車両前方監視システム
JP2018092601A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
JP3226699B2 (ja) 車両用周辺監視装置
JP4696925B2 (ja) 画像処理装置
JPH11259658A (ja) 物体認識方法およびその方法を用いた物体認識装置,車輌認識方法,車輌認識装置
JP3447461B2 (ja) 移動障害物検出装置及びその方法
JPH1141521A (ja) 撮像装置および車間距離計測装置ならびに車間距離計測方法
JPH07220113A (ja) 画像記録再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050823

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20051012