JPH05114099A - 車輌用距離検出装置 - Google Patents

車輌用距離検出装置

Info

Publication number
JPH05114099A
JPH05114099A JP3274315A JP27431591A JPH05114099A JP H05114099 A JPH05114099 A JP H05114099A JP 3274315 A JP3274315 A JP 3274315A JP 27431591 A JP27431591 A JP 27431591A JP H05114099 A JPH05114099 A JP H05114099A
Authority
JP
Japan
Prior art keywords
image
distance
images
vehicle
register
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3274315A
Other languages
English (en)
Other versions
JP3167752B2 (ja
Inventor
Keiji Saneyoshi
敬二 実吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP27431591A priority Critical patent/JP3167752B2/ja
Priority to US07/960,688 priority patent/US5307136A/en
Priority to GB9221783A priority patent/GB2261339B/en
Priority to DE4235619A priority patent/DE4235619C2/de
Publication of JPH05114099A publication Critical patent/JPH05114099A/ja
Application granted granted Critical
Publication of JP3167752B2 publication Critical patent/JP3167752B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 撮像した画像から、情報量を低下させること
なく、しかも高速に、画像全体に渡る距離分布を求め
る。 【構成】 ステレオ光学系１０によって車外の設定範囲
内の対象を撮像し、ステレオ画像処理装置２０へ入力す
る。ステレオ画像処理装置２０では、ステレオ光学系１
０で撮像したアナログ画像を画像変換部３０でデジタル
画像に変換し、シティブロック距離計算部４０で、画像
変換部３０からの画像データに対し、左右画像のずれ量
ｘを決定するためのシティブロック距離を画素を一つず
つずらしながら次々と計算する。そして、最小・最大値
検出部５０で、シティブロック距離の最小値及び最大値
を検出し、ずれ量決定部６０で、検出した最小値が左右
小領域の一致を示すものであるか否かをチェックしてず
れ量ｘを決定し、情報量を低下させることなく、しかも
高速に、画像全体に渡る距離分布情報を出力する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、車外の設定範囲内の対
象を撮像し、この撮像画像から距離を検出する車輌用距
離検出装置に関する。
【０００２】
【従来の技術】人や物を運ぶ手段の１つである自動車等
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動的に事故を回避
することのできる技術の開発が従来より進められてい
る。
【０００３】自動車の衝突を自動的に回避するために
は、走行の障害となる物体を検出することがまず第一に
重要であり、既に、レーダー、超音波、レーザーレーダ
ーなどを用いて障害物を検出する装置が実用化されてい
る。
【０００４】しかしながら、走行していく道筋を認識し
ながら、その道筋にある障害物を検出し、障害物までの
距離や速度を求める過程は複雑であり、これを実時間で
行なうことはかなりの困難を伴い、上述のレーダー、超
音波、レーザーレーダーなどを用いた装置では、特定の
方向に存在する物体しか検出できない。
【０００５】一方、自動車の走行には、検出した障害物
が道路上の何処に存在しているのかを知る必要があり、
この点において、これらの装置では十分な情報は得られ
ない欠点がある。また、道路にはカーブなどもあり、カ
ーブに沿って広い範囲の障害物を検出する必要があり、
上述の装置のように特定方向の障害物のみを検出するの
では、不十分である。
【０００６】従って、最近では、車輌に搭載したカメラ
等により車外の対象風景を撮像し、この撮像した画像を
画像処理して車輌から対象物までの距離を求める計測技
術が有力な手段として採用されるようになった。
【０００７】この画像による距離計測技術は、単眼視像
からカメラ位置との関係を用いて対象物までの距離を推
定する技術と、複数のカメラにより、あるいは１つのカ
メラの位置を変えることにより複数の画像を撮像し、三
角測量の原理で対象物までの距離を求める技術とに大別
される。
【０００８】単眼視像による技術は、２次元画像から、
例えば、白線は白く細長く平面上に存在する等の特徴を
持つ対象物を抽出し、カメラの位置を仮定して距離を求
めるため、処理量も少なくコスト的にも有利である。
【０００９】例えば、特開平１−２４２９１６号公報に
は、１台のＴＶカメラを車内のフロントウインド中央上
部付近に取り付け、これから得られる画像を用いて、画
像中のあるサーベイ・ライン上の輝度分布パターンや、
２次元的な輝度分布パターンから障害物や道路の白線を
検出し、ＴＶカメラの取り付け位置や、方向、視野など
のパラメータから、障害物や白線の３次元位置を推定す
る技術が開示されている。
【００１０】しかしながら、実際の道路上で撮影される
画像には、周囲の建物や木々などの様々な物体や背景が
写っており、この様な２次元画像の中から、前方車や対
向車、歩行者、電柱、道路の白線などの様々な対象物を
的確に検出することは困難であり、また、道路面に凹凸
がある場合や車輌がピッチングしている場合には、ＴＶ
カメラのパラメータから白線や障害物の３次元位置を推
定する際に、３次元位置の推定に大きな誤差を生じる次
点がある。
【００１１】すなわち、単眼視像による方法では、走行
中の前方風景には多くの類似した物体が存在するため、
２次元画像のみから正しく対象物を抽出できるとは限ら
ず、また、車輌のピッチング、急な坂道等の道路の勾配
如何によっては、カメラ位置の仮定が常に正しいとは言
えず、結局、認識結果が曖昧になるおそれがある。
【００１２】一方、複数の画像から三角測量の原理で距
離を求める技術は、左右画像における同一物体の位置の
相対的なずれから距離を求めるので、正確な距離を求め
ることができる。
【００１３】例えば、特開昭５９−１９７８１６号公報
には、２台のＴＶカメラを車輌前方に取り付け、各々の
ＴＶカメラの画像について、２次元的な輝度分布パター
ンから障害物を検出し、次に、２つの画像上における障
害物の位置のずれを求め、三角測量の原理によって障害
物の３次元位置を算出する方法が公開されている。
【００１４】また、第２２回機械技術研究所研究講演会
資料（’８９．１０．２０）には、２台のＴＶカメラを
車輌前方の左右端に取り付け、まず、各々の画像を空間
微分して明暗変化点のみを抽出し、片方のカメラの画像
の走査を所定時間だけ遅延させてもう一方の画像と重ね
合わせ、２つの画像で一致する部分のうち、白線が持つ
輝度分布パターンの特徴やその幅の値から白線だけを抽
出し、遅延させた時間と三角測量の原理から抽出された
白線までの距離を算出する。そして、このような処理
を、遅延させる時間を連続的に変化させて行なうことに
より、近距離から遠距離までの白線の３次元位置を算出
する技術が提示されている。
【００１５】さらに、自動車技術誌（Ｖol. ４４ ＮO.
４ １９９０，Ｐ５４−５９）には、２台のカメラを車
輌前方の左右端に取り付け、各々のＴＶカメラの画像に
ついて２次元ウィンドウ内の輝度分布パターンから白線
を検出し、次に、左右の画像上における白線の位置のず
れを求め、三角測量の原理によって白線の３次元位置を
算出する技術が提示されている。
【００１６】
【発明が解決しようとする課題】以上の先行技術のよう
に、２台のＴＶカメラを用い、三角測量の原理によって
３次元位置を算出すれば、大きな誤差の発生は防止でき
る。しかしながら、これらの技術によっても、様々な物
体や背景が写っている２次元画像の中から、対象とする
白線や障害物を輝度分布パターンのみによって検出する
のは困難であり、３次元画像を用いることが極めて有利
なものとなるが、左右の画像のマッチングを繰り返して
行わなければならないことから処理量が膨大なものとな
り、処理速度の低下を招く。
【００１７】これに対処するに、処理量を減らして、二
値化、エッジ検出、さらには、高度な特徴点の抽出、ウ
ィンドウの設定等、情報量の低下を伴う前処理を行なわ
ざるを得ず、距離が計測されるのは、二値化され得た物
体、エッジ等の特徴点の部分、或いはウィンドウ内のみ
であった。
【００１８】従って、従来では、画像のなかの特定の部
分をあらかじめ抽出し、その部分の距離を求めるという
ように、情報量の低下を犠牲にして処理速度を高速化し
ており、人や電信柱、白線や道路端等の必要とされる対
象が排除されてしまうおそれがある。
【００１９】本発明は上記事情に鑑みてなされたもの
で、撮像した画像から、情報量を低下させることなく、
しかも高速に、画像全体に渡る距離分布を求めることの
できる車輌用距離検出装置を提供することを目的とす
る。
【００２０】
【課題を解決するための手段】第１の発明による車輌用
距離検出装置は、車外の設定範囲内の対象に対し、互い
に異なる方向から複数枚の画像を撮像する撮像系を備
え、上記撮像系で撮像した複数枚の画像を処理して画像
全体に渡る距離分布を出力する画像処理手段に、上記撮
像系で撮像した複数枚の画像に対応して、所定の領域毎
に一致度を高速で計算する一致度計算部と、上記一致度
計算部で計算した一致度の最小値に基づいて、上記複数
枚の画像の対応する画素位置のずれ量を上記距離分布に
係わる情報として決定するずれ量決定部とを備えたもの
である。
【００２１】第２の発明による車輌用距離検出装置は、
車外の設定範囲内の対象に対し、互いに異なる方向から
複数枚のアナログ画像を撮像する撮像系を備え、上記撮
像系で撮像した複数枚のアナログ画像を処理して画像全
体に渡る距離分布を出力する画像処理手段に、上記撮像
系で撮像した複数枚のアナログ画像を、所定の輝度階調
を有するデジタル画像に変換する画像変換部と、上記画
像変換部で変換した複数枚のデジタル画像の所定の領域
毎に一致度を高速で計算する一致度計算部と、上記一致
度計算部で計算した一致度の最小値及び最大値を検出す
る最小・最大値検出部と、上記最小・最大値検出部で検
出した一致度の最小値及び最大値に対し、最小値が第１
の規定値以下で、最大値と最小値との差が第２の規定値
以上であり、且つ、上記複数枚のデジタル画像のうちの
所定の画像の微小部分の輝度変化が第３の規定値以上で
ある場合に、上記最小・最大値検出部で検出した一致度
の最小値に基づいて、上記複数枚のデジタル画像の対応
する画素位置のずれ量を上記距離分布に係わる情報とし
て決定するずれ量決定部とを備えたものである。
【００２２】第３の発明による車輌用距離検出装置は、
第２の発明において、上記画像変換部に、上記撮像系で
撮像した画像全体を記憶する低速の画像メモリを備え、
上記一致度計算部に、画像の一部を取り出して記憶する
高速のバッファメモリを備えたものである。
【００２３】第４の発明による車輌用距離検出装置は、
第２の発明において、上記画像変換部に、上記撮像系か
らの出力を補正するデータテーブルを備えたものであ
る。
【００２４】第５の発明による車輌用距離検出装置は、
第１の発明または第２の発明において、上記撮像系を、
固体撮像素子を有する遠距離用の２台のカメラと、固体
撮像素子を有する近距離用の２台のカメラとから構成し
たものである。
【００２５】
【作用】第１の発明では、車外の設定範囲内の対象に対
して互いに異なる方向から複数枚の画像を撮像し、この
撮像した複数枚の画像に対応して、所定の領域毎に一致
度を高速で計算する。そして、この一致度の最小値に基
づいて、対応する画素位置のずれ量を距離分布に係わる
情報として決定する。
【００２６】第２の発明では、車外の設定範囲内の対象
に対して互いに異なる方向から複数枚のアナログ画像を
撮像し、この撮像した複数枚のアナログ画像を所定の輝
度階調を有するデジタル画像に変換し、これらの複数枚
のデジタル画像の所定の領域毎に一致度を高速で計算
し、一致度の最小値及び最大値を検出する。そして、検
出した一致度の最小値及び最大値に対し、最小値が第１
の規定値以下で、最大値と最小値との差が第２の規定値
以上であり、且つ、上記複数枚のデジタル画像のうちの
所定の画像の微小部分の輝度変化が第３の規定値以上で
ある場合に、検出した一致度の最小値に基づいて、上記
複数枚のデジタル画像の対応する画素位置のずれ量を距
離に係わる情報として決定する。
【００２７】第３の発明では、第２の発明において、画
像変換部に備えた低速の画像メモリに撮像した画像全体
を記憶し、一致度計算部に備えた高速のバッファメモリ
に画像の一部を取り出して記憶する。
【００２８】第４の発明では、第２の発明において、撮
像系からの出力を画像変換部に備えたデータテーブルに
より補正する。
【００２９】第５の発明では、第１の発明または第２の
発明において、固体撮像素子を有する遠距離用の２台の
カメラと、固体撮像素子を有する近距離用の２台のカメ
ラとにより、車外の設定範囲内の対象に対し、互いに異
なる方向から複数枚の画像を撮像する。
【００３０】
【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例を示し、図１は距離検出
装置の回路ブロック図、図２は距離検出装置の全体構成
図、図３は車輌の正面図、図４は距離検出装置の動作を
示すフローチャート、図５はカメラと被写体との関係を
示す説明図、図６は視野角の説明図、図７は遠距離の上
下視野角を示す説明図、図８は近距離の上下視野角を示
す説明図、図９はシフトレジスタ内の保存順序を示す説
明図、図１０はハミング距離計算回路の説明図、図１１
は最小値検出回路のブロック図、図１２はハミング距離
計算回路の動作を示すタイミングチャート、図１３はず
れ量決定部の動作を示すタイミングチャート、図１４は
全体の動作を示すタイミングチャートである。
【００３１】［構 成］図２において、符号１は自動車
などの車輌であり、この車輌１に、車外の設置範囲内の
対象を撮像して距離を検出する距離検出装置２が搭載さ
れている。この距離検出装置２は、例えば図示しない道
路・障害物認識装置などに接続されて障害物監視装置を
構成し、運転者に対する警告、車体の自動衝突回避等の
動作を行なうようになっている。
【００３２】上記距離検出装置２は、車外の設定範囲内
の対象を撮像する撮像系としてのステレオ光学系１０
と、このステレオ光学系１０によって撮像した画像を処
理し、３次元の距離情報を算出する画像処理手段として
のステレオ画像処理装置２０とを備えており、このステ
レオ画像処理装置２０で算出した３次元距離情報が道路
・障害物認識装置などに取り込まれ、道路形状及び車輌
１に対する障害物が認識される。
【００３３】上記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いたカメラによ
り構成され、図３に示すように、遠距離の左右画像用と
しての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣ
ＣＤカメラ１１と表記する場合もある）が、それぞれ車
室内の天井前方に取り付けられるとともに、近距離の左
右画像用としての２台のＣＣＤカメラ１２ａ，１２ｂ
（代表してＣＣＤカメラ１２と表記する場合もある）
が、それぞれ、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
の内側に取り付けられている。
【００３４】上記ステレオ光学系１０として、直近から
例えば１００ｍ遠方までの距離計測を行なう場合、車室
内のＣＣＤカメラ１１、１２の取付位置を、例えば、車
輌１のボンネット先端から２ｍとすると、実際には前方
２ｍから１００ｍまでの位置を計測できれば良い。
【００３５】すなわち、図５に示すように、遠距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。
【００３６】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。
【００３７】 Ｄ＝ｒ・ｆ／ｘ （１） 例えば、車輌１が１００ｋｍ／ｈで走行中、１００ｍ遠
方の静止物体の距離と相対速度を検出する場合には、ひ
とつの物体に対し複数の画素の距離分布が得られるた
め、それらを平均することにより精度の高い距離が得ら
れるが、最悪の場合を考慮すると、０．３秒の間の走行
距離、約９ｍで少なくともずれ量ｘが１画素分変化しな
ければならない。
【００３８】従って、距離Ｄ０においてずれ量ｘがΔｘ
だけ変化したときの距離の変化量ΔＤは、上記（１）式
より導かれる以下の（２）式で表すことができる。
【００３９】 ΔＤ＝−Ｄ０2 ／（ｒ・ｆ）・Δｘ （２） ここで、上記ＣＣＤカメラ１１，１２のＣＣＤ素子の有
効面積を、ブラック領域を除いて例えば８ｍｍ（Ｈ）×
６ｍｍ（Ｖ）とし、ＣＣＤ素子の１画素の大きさを１１
μｍ×１３μｍとすると、横方向の画素数は７２７とな
る。但し、画像を取り込む際の横方向分割数としては、
処理上の扱い易さから５１２画素とすると、ＣＣＤ面上
での１画素の長さは８ｍｍ／５１２×１０００＝１５．
６μｍとなり、これらの値を上記（２）式に代入してｒ
・ｆ値を求めると、ｒ・ｆ＝１７３ｃｍ2 になる。
【００４０】焦点距離ｆは必要とする視野角θとＣＣＤ
素子の実際の距離計測幅とから求められる。この視野角
θは、例えば高速道路における８０ｋｍ／ｈ設計の特例
値である曲率半径２３０ｍの道路を走行中、１００ｍ先
までを視界に含めることができるものであるとすると、
図６に示すように、視野角θは、ｒ＝２３０，ｌ＝１０
０として、θ＝ｓｉｎ-1（ｌ／ｒ）より、θ＝２５°が
求められる。
【００４１】前述したように、ＣＣＤ素子の有効幅は８
mmであるが、実際に距離を計測できるのは、有効幅から
領域探索する幅を除いたものとなり、視野角、最短検出
距離、処理時間等を総合的に考慮して、探索する幅を例
えば１００画素とすると、距離を計測できる幅は６．３
ｍｍとなる。
【００４２】従って、焦点距離ｆは、ｆ＝６．３ｍｍ／
（２・ｔａｎ（２５／２））＝１４．２ｍｍとなるが、
この値に近く入手の容易な焦点距離ｆ＝１６ｍｍのレン
ズを採用すると、２つのカメラの間隔ｒは、ｒ＝１７３
ｃｍ2 ／１．６ｃｍ＝１０８ｃｍとなる。
【００４３】その結果、最短測定距離は、上記（１）式
より、Ｄ＝１７３ｃｍ2 ／（１００×１５．６μｍ）＝
１１．１ｍとなり、仮に２ｍまで測定しようとしても、
ｘ＝１７３ｃｍ2 ／２ｍ＝８６５０μｍ＝５５４画素と
なり、１画面の幅を超えてしまうことがわかる。
【００４４】そこで、近距離用の２台のＣＣＤカメラ１
２ａ，１２ｂにより、２ｍの距離でずれ量ｘが１００画
素になるようなｒ・ｆ値を上記（１）式より計算する
と、ｒ・ｆ＝１００×１５．６μｍ×２ｍ＝３１．２ｃ
ｍ2 となる。この近距離用のＣＣＤカメラ１２ａ，１２
ｂで測定可能な最長距離として１０画素ずれるときの距
離を考えると、Ｄ＝３１．２ｃｍ2 ／（１０×１５．６
μｍ）＝２０ｍとなる。従って、遠距離用のＣＣＤカメ
ラ１１ａ，１１ｂと近距離用のＣＤカメラ１２ａ，１２
ｂによる測定範囲は、１１．１ｍから２０ｍでオーバー
ラップし、この遠距離用及び近距離用の２組のカメラで
２ｍから１００ｍ遠方まで計測できることがわかる。
【００４５】次に、上下方向の視野角について説明す
る。高さ方向の視野は水平な道路において、遠距離用の
ＣＣＤカメラ１１ａ，１１ｂの最短測定距離ｌmin であ
る１１．１ｍの地点において、地上から例えば１．５ｍ
の高さｈupまで視野に入るようにすると、ＣＣＤカメラ
１１ａ，１１ｂの取付位置ｈ0 を地上から１．２ｍとし
て、図７から明かなように、遠距離用では、仰角α＝ｔ
ａｎ-1（ｈup−ｈ0 ／ｌmin ）＝１．５°、伏角β＝ｔ
ａｎ-1（ｈ0 ／ｌmin ）＝６．２°になる。
【００４６】この遠距離用のＣＣＤカメラ１１ａ，１１
ｂの焦点距離ｆが１６ｍｍであることと、ＣＣＤ素子の
縦方向の画素間隔が１３μｍであることから、１画面の
縦方向の画素数を求めると１８４画素になり、ピッチン
グの影響を考慮すると２００画素となる。
【００４７】同様に、近距離用のＣＣＤカメラ１２ａ，
１２ｂの最短測定距離ｌmin である２．０ｍの地点にお
いて、地上から１．５ｍの高さｈupまで視野に入るよう
にすると、近距離用のＣＣＤカメラ１２ａ，１２ｂの取
付位置ｈ0 は、遠距離用と同様に地上から１．２ｍであ
り、図８から明かなように、近距離用では、仰角α＝
８．５°、伏角β＝３１°となる。
【００４８】この場合においても、処理を簡単にするた
め遠距離用と同じく縦方向を２００画素にすると、近距
離用のＣＣＤカメラ１２ａ，１２ｂでは、焦点距離ｆ＝
５．５ｍｍ以下のレンズを用いることになるが、歪がな
く入手の容易なｆ＝６ｍｍのレンズを採用すると、この
レンズの２ｍ前方で視野に入る物体の高さは１．４２ｍ
となる。また、横方向の視野角θは６７°となり、近距
離用の２台のＣＣＤカメラ１２ａ，１２ｂの間隔ｒは、
ｒ＝３１．２ｃｍ2 ／０．６ｃｍ＝５２ｃｍとなる。
【００４９】一方、左右画像のずれ量ｘを検出するに
は、左右画像における同一物体の像を見つけ出す必要が
あり、本発明では、次に述べるステレオ画像処理装置２
０において、画像を小領域に分割し、それぞれの小領域
内の輝度あるいは色のパターンを左右画像で比較して一
致する領域を見つけ出し、全画面に渡って距離分布を求
める。従って、従来のように、エッジ、線分、特殊な形
など、何らかの特徴を抽出し、それらの特徴が一致する
部分を見つけ出すことによる情報量の低下を避けること
ができる。
【００５０】左右画像の一致度は、右画像、左画像のｉ
番目画素の輝度（色を用いても良い）を、それぞれ、Ａ
ｉ、Ｂｉとすると、例えば、以下の（３）式に示すハミ
ング距離Ｈによって評価することができ、平均値の採用
による情報量の低下もなく、乗算がないことから演算速
度を向上させることができる。
【００５１】 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （３） また、分割すべき小領域の大きさとしては、大きすぎる
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。
【００５２】このため、例えば、１００ｍ先にある幅
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、上記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。
【００５３】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
で代表するものとする。
【００５４】図１に示すように、ステレオ画像処理装置
２０は、上記ステレオ光学系１０で撮像したアナログ画
像をデジタル画像に変換する画像変換部３０、この画像
変換部３０からの画像データに対し、左右画像のずれ量
ｘを決定するためのハミング距離Ｈを画素を一つずつず
らしながら次々と計算する一致度計算部としてのハミン
グ距離計算部４０、ハミング距離Ｈの最小値ＨMIN 及び
最大値ＨMAX を検出する最小・最大値検出部５０、この
最小・最大値検出部５０で得られた最小値ＨMIN が左右
小領域の一致を示すものであるか否かをチェックしてず
れ量ｘを決定するずれ量決定部６０を備えている。
【００５５】上記画像変換部３０では、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１
ａ，３１ｂに、データテーブルとしてのルックアップテ
ーブル（ＬＵＴ）３２ａ，３２ｂ、上記ＣＣＤカメラ１
１ａ，１１ｂで撮像した画像を記憶する画像メモリ３３
ａ，３３ｂが、それぞれ接続されている。
【００５６】Ａ／Ｄコンバータ３１ａ，３１ｂは、例え
ば８ビットの分解能を有し、左右のＣＣＤカメラ１１
ａ，１１ｂからのアナログ画像を、所定の輝度階調を有
するデジタル画像に変換する。すなわち、処理の高速化
のため画像の二値化を行なうと、左右画像の一致度を計
算するための情報が著しく失われるため、例えば２５６
階調のグレースケールに変換するのである。
【００５７】また、ＬＵＴ３２ａ，３２ｂはＲＯＭ上に
構成され、上記Ａ／Ｄコンバータ３１ａ，３１ｂでデジ
タル量に変換された画像に対し、低輝度部分のコントラ
ストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの
特性の違いを補正する。そして、ＬＵＴ３２ａ，３２ｂ
で変換された信号は、一旦、画像メモリ３３ａ，３３ｂ
に記憶される。
【００５８】上記画像メモリ３３ａ，３３ｂは、後述す
るように、ハミング距離計算部４０で画像の一部を繰り
返し取り出して処理するため、比較的低速のメモリから
構成することができ、コスト低減を図ることができる。
【００５９】上記ハミング距離計算部４０では、上記画
像変換部３０の左画像用の画像メモリ３３ａに、共通バ
ス８０を介して２組の入力バッファメモリ４１ａ，４１
ｂが接続されるとともに、右画像用の画像メモリ３３ｂ
に、共通バス８０を介して２組の入力バッファメモリ４
２ａ，４２ｂが接続されている。
【００６０】上記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、ハミング距離を計算するハミ
ング距離計算回路４５が接続されている。
【００６１】また、上記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、ハミング距
離Ｈの計算の終わった古いデータはこれらのシフトレジ
スタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の際に用
いられる。
【００６２】また、ハミング距離計算回路４５は、加減
算器に入出力ラッチをつなげてワンチップ化した高速Ｃ
ＭＯＳ型演算器４６を組み合わせており、図１０に詳細
が示されるように、演算器４６を１６個ピラミッド状に
接続したパイプライン構造で、例えば８画素分を同時に
入力して計算するようになっている。このピラミッド型
構造の初段は、絶対値演算器、２段〜４段は、それぞ
れ、第１加算器、第２加算器、第３加算器を構成し、最
終段は総和加算器となっている。
【００６３】尚、図１０においては、絶対値計算と１，
２段目の加算器は半分のみ表示している。
【００６４】また、上記各入力バッファメモリ４１ａ，
４１ｂ，４２ａ，４２ｂは、ハミング距離計算の速度に
応じた比較的小容量の高速タイプであり、入出力が分離
し、クロック発生回路８５から供給されるクロックに従
って、＃１アドレスコントローラ８６によって発生され
るアドレスが共通に与えられる。また、４組のシフトレ
ジスタ４３ａ，４３ｂ，４４ａ，４４ｂとの転送は、＃
２アドレスコントローラ８７によって制御される。
【００６５】尚、ハミング距離Ｈの計算をコンピュータ
のソフトウエアで行なう場合、右画像の一つの小領域に
対して左画像の小領域を次々に探索し、これを右画像の
小領域全部について行なう必要があり、この計算を例え
ば０．０８秒で行なうとすると、一画素当たり例えば５
ステップのプログラムで、５００ＭＩＰＳ（Mega Instr
uction Per Second ）の能力が要求される。これは現在
の一般的なシスク（ＣＩＳＣ）タイプのマイクロプロセ
ッサでは実現不可能な数字であり、リスク（ＲＩＳＣ）
プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、
あるいは、並列プロセッサなどを用いなければならなく
なる。
【００６６】上記最小・最大値検出部５０は、ハミング
距離Ｈの最小値ＨMIN を検出する最小値検出回路５１と
ハミング距離Ｈの最大値ＨMAX を検出する最大値検出回
路５２とを備えており、上記ハミング距離計算回路４５
で使用する演算器４６を最小値、最大値検出用として２
個使用した構成となっており、ハミング距離Ｈの出力と
同期が取られるようになっている。
【００６７】図１１に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、ハミング距離計算回路４５
からの出力が、Ａレジスタ４６ａと、Ｃラッチ５３を介
してＢレジスタ４６ｂとに入力され、ＡＬＵ４６の出力
の最上位ビット（ＭＳＢ）がラッチ５４に出力される。
このラッチ５４の出力は、Ｂレジスタ４６ｂ及びＤラッ
チ５５に出力され、演算器４６での最小値計算の途中の
値が、Ｂレジスタ４６ｂに保存されるとともに、そのと
きのずれ量ｘがＤラッチ５５に保存されるようになって
いる。
【００６８】尚、最大値検出回路５２については、論理
が逆になることと、ずれ量ｘを保存しないこと以外は、
最小値検出回路５１と同様の構成である。
【００６９】前述したようにハミング距離Ｈは、一つの
右画像小領域に対し、左画像小領域を１画素ずつずらし
ながら順次計算されていく。そこで、ハミング距離Ｈの
値が出力される毎に、これまでの値の最大値ＨMAX 、最
小値ＨMIN と比較、更新することによって、最後のハミ
ング距離Ｈの出力とほぼ同時に、その小領域におけるハ
ミング距離Ｈの最大値ＨMAX 、最小値ＨMIN が求まるよ
うになっている。
【００７０】上記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈa を保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈc を保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。
【００７１】上記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、レジスタ７４からなり、上記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、上記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果が上記スイッチ回路６５を介して上記出
力バッファメモリ６６ａ，６６ｂに格納されるようにな
っている。
【００７２】上記Ａバス６２ａには、各しきい値Ｈa 、
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
上記最大値検出回路５２が接続され、上記Ｂバス６２ｂ
には、上記最小値検出回路５１が接続されている。さら
に、上記Ａバス６２ａ及びＢバス６２ｂには、上記各シ
フトレジスタ６４ａ，６４ｂが接続されている。
【００７３】また、上記スイッチ回路６５には、上記演
算器６１が接続されるとともに、上記ラッチ６３ａを介
して上記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて上記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。
【００７４】このずれ量決定部６０では、得られたハミ
ング距離Ｈの最小値ＨMIN が本当に左右小領域の一致を
示しているものかどうかチェックを行い、条件を満たし
たもののみ、出力バッファメモリ６６ａ，６６ｂの対応
する画素の位置にずれ量ｘを出力する。
【００７５】すなわち、ハミング距離Ｈが最小となるず
れ量が求めるずれ量ｘとなる訳であるが、以下の３つの
チェック条件を満足した場合にずれ量ｘを出力し、満足
しない場合には、データを採用せずに棄却する。
【００７６】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のとき
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMIN の近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、曲面などの緩やかに輝度の変わる物体
に対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。） 尚、このずれ量決定の処理も、通常のマイクロプロセッ
サでソフト的に行おうとすると、例えば２７ＭＩＰＳの
速さが必要となり、実行不可能である。
【００７７】以上のずれ量決定部６０から出力される最
終結果である距離分布情報は、道路・障害物認識装置な
どの外部装置へのインターフェースとなるデュアルポー
トメモリ９０へ共通バス８０を介して書き込まれる。
【００７８】［動 作］次に、図４に示すフローチャー
トに従って、ステレオ画像処理装置２０を中心として本
実施例の動作を説明する。
【００７９】まず、ステップS101で左右のＣＣＤカメラ
１１ａ，１１ｂによって撮像した画像を入力すると、ス
テップS102で、入力した画像をＡ／Ｄ変換した後、ＬＵ
Ｔ３２ａ，３２ｂで補正し、画像メモリ３３ａ，３３ｂ
に記憶する。
【００８０】これらの画像メモリ３３ａ，３３ｂに記憶
される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素
子の全ラインのうち、その後の処理に必要なラインのみ
であり、例えば０．１秒に１回の割合（テレビ画像で３
枚に１枚の割合）で書き換えられる。
【００８１】次に、ステップS103へ進むと、左右画像用
の画像メモリ３３ａ，３３ｂから入力バッファメモリ４
１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。
【００８２】その際、左右の画像毎に、上記画像メモリ
３３ａ，３３ｂから上記入力バッファメモリ４１ａ，４
１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジ
スタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ３３ａから一方の入力バッファメモリ４１ａに画
像データが読み込まれている間に、他方の入力バッファ
メモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ３３ｂから一方の入力バッファメモリ４２ａに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像デ
ータの書き出しが行なわれる。
【００８３】そして、図９に示すように、上記シフトレ
ジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４
×４画素の小領域の画像データ（１，１）…（４，４）
が保存され、一方のシフトレジスタ４３ａ（４４ａ）に
は１、２ラインのデータが、もう一方のシフトレジスタ
４３ｂ（４４ｂ）には３、４ラインのデータが、それぞ
れ１画素毎に奇数ライン、偶数ラインの順序で入る。
【００８４】上記各シフトレジスタ４３ａ，４３ｂ，４
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
ハミング距離計算回路４５に出力し、ハミング距離Ｈの
計算が始まると、右画像のデータはシフトレジスタ４４
ａ，４４ｂ内に保持されて、クロック毎に奇数ライン、
偶数ラインのデータが交互に出力され、一方、左画像の
データはシフトレジスタ４３ａ，４３ｂに転送され続
け、奇数ライン、偶数ラインのデータが交互に出力され
つつ、２クロック毎に１画素分右のほうにずれたデータ
に置き換わっていく。この動作を、例えば１００画素分
ずれるまで（２００クロック）繰り返す。
【００８５】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。ハミング距離計算回路４５
では、図１２のタイミングチャートに示すように、ま
ず、ピラミッド型構造初段の絶対値演算器に８画素分の
データを入力し、左右画像の輝度差の絶対値を計算す
る。すなわち、右画素の輝度から対応する左画素の輝度
を引き算し、結果が負になった場合、演算命令を変える
ことにより、引く方と引かれる方を逆にして再び引き算
を行なうことにより、絶対値の計算を行なう。従って、
初段では引き算を２回行なう場合がある。
【００８６】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のハミング距離Ｈを２クロック毎に
最小・最大値検出部５０へ出力する。
【００８７】次に、ステップS104へ進み、上記ステップ
S103で算出したハミング距離Ｈの最大値ＨMAX 、最小値
ＨMIN を検出する。前述したように、この最大値ＨMAX
の検出と最小値ＨMIN の検出とは、互いに論理が逆にな
ることと、ずれ量を保存しないこと以外は、全く同じで
あるため、以下、代表して最小値ＨMIN の検出について
説明する。
【００８８】まず、最初に出力されてきたハミング距離
Ｈ（ずれ量ｘ＝０）が、図１１に示す最小値検出回路５
１のＣラッチ５３を介して、演算器４６のＢレジスタ４
６ｂに入力される。次のクロックで出力されてきたハミ
ング距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ５３と演算器
４６のＡレジスタ４６ａとに入れられ、演算器４６で
は、同時に、Ｂレジスタ４６ｂとの比較演算が始まる。
【００８９】上記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に
保存される。このクロックで同時に、次のハミング距離
Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッチ５３
に入れられ、再び比較演算が始まる。
【００９０】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ
５５に保存されながら、ずれ量ｘが１００になるまで計
算が続けられる。計算が終了すると（最後のハミング距
離Ｈが出力されてから１クロック後）、Ｂレジスタ４６
ｂとＤラッチ５５の内容はずれ量決定部６０に読み込ま
れる。
【００９１】この間に、前述したハミング距離計算回路
４５では次の小領域の初期値が読み込まれ、時間の無駄
を生じないようになっており、一つのハミング距離Ｈを
計算するのに、例えば４クロックかかるが、パイプライ
ン構造をとっているため、２クロック毎に新たな計算結
果が得られる。
【００９２】ステップS105では、上記ステップ104 でハ
ミング距離Ｈの最小値ＨMIN 、最大値ＨMAX が確定する
と、ずれ量決定部６０にて、前述した３つの条件がチェ
ックされ、ずれ量ｘが決定される。
【００９３】すなわち、図１３のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。
【００９４】次に、Ａレジスタ７１に最大値ＨMAX がラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。
【００９５】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、ハミング距離計算部４０の１，２ライン用のシフ
トレジスタ４４ａと、３，４ライン用のシフトレジスタ
４４ｂの後段に接続されている。上記シフトレジスタ６
４ａ，６４ｂの出力は最後の段とその２つ手前の段から
取り出され、それぞれが、Ａバス６２ａとＢバス６２ｂ
とに出力される。
【００９６】輝度差の計算が始まるとき、上記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。
【００９７】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。
【００９８】上記演算器６１での比較結果、Ａレジスタ
の内容（しきい値Ｈc）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、上記スイッチ
回路６５からずれ量ｘあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。
【００９９】上記演算器６１で隣接画素間の輝度差とし
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。
【０１００】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。
【０１０１】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了し、一つ
の小領域に対して、ハミング距離Ｈの最小値ＨMIN 、最
大値ＨMAX を求めるのに要する時間は充分に余裕があ
り、さらに機能を追加することも可能である。
【０１０２】そして、ずれ量ｘが決定されると、ステッ
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量ｘを距離分布情報とし
て出力し、ステレオ画像処理装置２０における処理が終
了する。
【０１０３】この出力バッファメモリ６６ａ，６６ｂ
は、前述した入力バッファメモリ４１ａ，４１ｂ，４３
ａ，４３ｂと同様、例えば４ライン分の容量があり、２
組の一方に書き込んでいる間にもう一方から上記デュア
ルポートメモリ９０へ距離分布情報を送り出す。
【０１０４】上記デュアルポートメモリ９０へ書き込ま
れた距離分布情報からは、ＣＣＤカメラ１１，１２の取
付け位置と焦点距離などのレンズパラメータとから、各
画素に対応する物体のＸＹＺ空間における３次元位置を
算出することができ、情報量の低下なく車外の対象物ま
での距離を正確に検出することができる。
【０１０５】尚、上記ずれ量ｘによる距離分布情報から
ＸＹＺ空間における３次元位置への計算は、ステレオ画
像処理装置２０内で処理しても良く、ステレオ画像処理
装置２０から外部に出力されるデータ形式は、接続する
外部装置との兼ね合いで定めれば良い。
【０１０６】最後に、ステレオ画像処理装置２０のシス
テム全体のタイミングについて、図１４に示すタイミン
グチャートに従って説明する。
【０１０７】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。
【０１０８】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。
【０１０９】この間に、一方の入出力バッファメモリに
対してずれ量ｘの計算が行われる。そして、ずれ量ｘの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。
【０１１０】一つの右画像の４×４画素の小領域に対す
るハミング距離Ｈの計算は、左画像について１００画素
ずらしながら計算するため、１００回行われる。一つの
領域のハミング距離Ｈが計算されている間に、その前の
領域のずれ量ｘが各チェックを経て距離分布として出力
される。
【０１１１】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。
【０１１２】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。
【０１１３】
【発明の効果】以上説明したように本発明によれば、撮
像した画像から、情報量を低下させることなく、しかも
高速に、画像全体に渡る距離分布を求めることができる
ため、その距離分布を利用することにより、例えば、道
路端や白線の３次元位置と周囲の立体物の３次元位置と
を同時に検出することができ、走行の妨げとなる障害物
の位置や動きを考慮した、より高度な障害物回避を実現
することができるなど優れた効果が得られる。
【図面の簡単な説明】
【図１】距離検出装置の回路ブロック図
【図２】距離検出装置の全体構成図、
【図３】車輌の正面図
【図４】距離検出装置の動作を示すフローチャート
【図５】カメラと被写体との関係を示す説明図
【図６】視野角の説明図
【図７】遠距離の上下視野角を示す説明図
【図８】近距離の上下視野角を示す説明図
【図９】シフトレジスタ内の保存順序を示す説明図
【図１０】ハミング距離計算回路の説明図
【図１１】最小値検出回路のブロック図
【図１２】ハミング距離計算回路の動作を示すタイミン
グチャート
【図１３】ずれ量決定部の動作を示すタイミングチャー
ト
【図１４】全体の動作を示すタイミングチャート
【符号の説明】
１ 車輌 ２ 距離検出装置 １０ ステレオ光学系 １１ 遠距離用ＣＣＤカメラ １２ 近距離用ＣＣＤカメラ ２０ ステレオ画像処理装置 ３０ 画像変換部 ３２ａ ルックアップテーブル ３２ｂ ルックアップテーブル ３３ａ 画像メモリ ３３ｂ 画像メモリ ４０ ハミング距離計算部 ４１ａ 入力バッファメモリ ４１ｂ 入力バッファメモリ ４２ａ 入力バッファメモリ ４２ｂ 入力バッファメモリ ５０ 最小・最大値検出部 ６０ ずれ量決定部 ６６ａ 出力バッファメモリ ６６ｂ 出力バッファメモリ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成４年６月１２日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【書類名】 明細書
【発明の名称】 車輌用距離検出装置
【特許請求の範囲】
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、車外の設定範囲内の対
象を撮像し、この撮像画像から距離を検出する車輌用距
離検出装置に関する。
【０００２】
【従来の技術】人や物を運ぶ手段の１つである自動車等
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動的に事故を回避
することのできる技術の開発が従来より進められてい
る。
【０００３】自動車の衝突を自動的に回避するために
は、走行の障害となる物体を検出することがまず第一に
重要であり、既に、レーダー、超音波、レーザーレーダ
ーなどを用いて障害物を検出する装置が実用化されてい
る。
【０００４】しかしながら、走行していく道筋を認識し
ながら、その道筋にある障害物を検出し、障害物までの
距離や速度を求める過程は複雑であり、これを実時間で
行なうことはかなりの困難を伴い、上述のレーダー、超
音波、レーザーレーダーなどを用いた装置では、特定の
方向に存在する物体しか検出できない。
【０００５】一方、自動車の走行には、検出した障害物
が道路上の何処に存在しているのかを知る必要があり、
この点において、これらの装置では十分な情報は得られ
ない欠点がある。また、道路にはカーブなどもあり、カ
ーブに沿って広い範囲の障害物を検出する必要があり、
上述の装置のように特定方向の障害物のみを検出するの
では、不十分である。
【０００６】従って、最近では、車輌に搭載したカメラ
等により車外の対象風景を撮像し、この撮像した画像を
画像処理して車輌から対象物までの距離を求める計測技
術が有力な手段として採用されるようになった。
【０００７】この画像による距離計測技術は、単眼視像
からカメラ位置との関係を用いて対象物までの距離を推
定する技術と、複数のカメラにより、あるいは１つのカ
メラの位置を変えることにより複数の画像を撮像し、三
角測量の原理で対象物までの距離を求める技術とに大別
される。
【０００８】単眼視像による技術は、２次元画像から、
例えば、白線は白く細長く平面上に存在する等の特徴を
持つ対象物を抽出し、カメラの位置を仮定して距離を求
めるため、処理量も少なくコスト的にも有利である。
【０００９】例えば、特開平１−２４２９１６号公報に
は、１台のＴＶカメラを車内のフロントウインド中央上
部付近に取り付け、これから得られる画像を用いて、画
像中のあるサーベイ・ライン上の輝度分布パターンや、
２次元的な輝度分布パターンから障害物や道路の白線を
検出し、ＴＶカメラの取り付け位置や、方向、視野など
のパラメータから、障害物や白線の３次元位置を推定す
る技術が開示されている。
【００１０】しかしながら、実際の道路上で撮影される
画像には、周囲の建物や木々などの様々な物体や背景が
写っており、この様な２次元画像の中から、前方車や対
向車、歩行者、電柱、道路の白線などの様々な対象物を
的確に検出することは困難であり、また、道路面に凹凸
がある場合や車輌がピッチングしている場合には、ＴＶ
カメラのパラメータから白線や障害物の３次元位置を推
定する際に、３次元位置の推定に大きな誤差を生じる次
点がある。
【００１１】すなわち、単眼視像による方法では、走行
中の前方風景には多くの類似した物体が存在するため、
２次元画像のみから正しく対象物を抽出できるとは限ら
ず、また、車輌のピッチング、急な坂道等の道路の勾配
如何によっては、カメラ位置の仮定が常に正しいとは言
えず、結局、認識結果が曖昧になるおそれがある。
【００１２】一方、複数の画像から三角測量の原理で距
離を求める技術は、左右画像における同一物体の位置の
相対的なずれから距離を求めるので、正確な距離を求め
ることができる。
【００１３】例えば、特開昭５９−１９７８１６号公報
には、２台のＴＶカメラを車輌前方に取り付け、各々の
ＴＶカメラの画像について、２次元的な輝度分布パター
ンから障害物を検出し、次に、２つの画像上における障
害物の位置のずれを求め、三角測量の原理によって障害
物の３次元位置を算出する方法が公開されている。
【００１４】また、第２２回機械技術研究所研究講演会
資料（’８９．１０．２０）には、２台のＴＶカメラを
車輌前方の左右端に取り付け、まず、各々の画像を空間
微分して明暗変化点のみを抽出し、片方のカメラの画像
の走査を所定時間だけ遅延させてもう一方の画像と重ね
合わせ、２つの画像で一致する部分のうち、白線が持つ
輝度分布パターンの特徴やその幅の値から白線だけを抽
出し、遅延させた時間と三角測量の原理から抽出された
白線までの距離を算出する。そして、このような処理
を、遅延させる時間を連続的に変化させて行なうことに
より、近距離から遠距離までの白線の３次元位置を算出
する技術が提示されている。
【００１５】さらに、自動車技術誌（Ｖol. ４４ ＮO.
４ １９９０，Ｐ５４−５９）には、２台のカメラを車
輌前方の左右端に取り付け、各々のＴＶカメラの画像に
ついて２次元ウィンドウ内の輝度分布パターンから白線
を検出し、次に、左右の画像上における白線の位置のず
れを求め、三角測量の原理によって白線の３次元位置を
算出する技術が提示されている。
【００１６】
【発明が解決しようとする課題】以上の先行技術のよう
に、２台のＴＶカメラを用い、三角測量の原理によって
３次元位置を算出すれば、大きな誤差の発生は防止でき
る。しかしながら、これらの技術によっても、様々な物
体や背景が写っている２次元画像の中から、対象とする
白線や障害物を輝度分布パターンのみによって検出する
のは困難であり、３次元画像を用いることが極めて有利
なものとなるが、左右の画像のマッチングを繰り返して
行わなければならないことから処理量が膨大なものとな
り、処理速度の低下を招く。
【００１７】これに対処するに、処理量を減らして、二
値化、エッジ検出、さらには、高度な特徴点の抽出、ウ
ィンドウの設定等、情報量の低下を伴う前処理を行なわ
ざるを得ず、距離が計測されるのは、二値化され得た物
体、エッジ等の特徴点の部分、或いはウィンドウ内のみ
であった。
【００１８】従って、従来では、画像のなかの特定の部
分をあらかじめ抽出し、その部分の距離を求めるという
ように、情報量の低下を犠牲にして処理速度を高速化し
ており、人や電信柱、白線や道路端等の必要とされる対
象が排除されてしまうおそれがある。
【００１９】本発明は上記事情に鑑みてなされたもの
で、撮像した画像から、情報量を低下させることなく、
しかも高速に、画像全体に渡る距離分布を求めることの
できる車輌用距離検出装置を提供することを目的とす
る。
【００２０】
【課題を解決するための手段】第１の発明による車輌用
距離検出装置は、車外の設定範囲内の対象に対し、互い
に異なる方向から複数枚の画像を撮像する撮像系を備
え、上記撮像系で撮像した複数枚の画像を処理して画像
全体に渡る距離分布を出力する画像処理手段に、上記撮
像系で撮像した複数枚の画像に対応して、所定の領域毎
に一致度を高速で計算する一致度計算部と、上記一致度
計算部で計算した一致度の最小値に基づいて、上記複数
枚の画像の対応する画素位置のずれ量を上記距離分布に
係わる情報として決定するずれ量決定部とを備えたもの
である。
【００２１】第２の発明による車輌用距離検出装置は、
車外の設定範囲内の対象に対し、互いに異なる方向から
複数枚のアナログ画像を撮像する撮像系を備え、上記撮
像系で撮像した複数枚のアナログ画像を処理して画像全
体に渡る距離分布を出力する画像処理手段に、上記撮像
系で撮像した複数枚のアナログ画像を、所定の輝度階調
を有するデジタル画像に変換する画像変換部と、上記画
像変換部で変換した複数枚のデジタル画像の所定の領域
毎に一致度を高速で計算する一致度計算部と、上記一致
度計算部で計算した一致度の最小値及び最大値を検出す
る最小・最大値検出部と、上記最小・最大値検出部で検
出した一致度の最小値及び最大値に対し、最小値が第１
の規定値以下で、最大値と最小値との差が第２の規定値
以上であり、且つ、上記複数枚のデジタル画像のうちの
所定の画像の微小部分の輝度変化が第３の規定値以上で
ある場合に、上記最小・最大値検出部で検出した一致度
の最小値に基づいて、上記複数枚のデジタル画像の対応
する画素位置のずれ量を上記距離分布に係わる情報とし
て決定するずれ量決定部とを備えたものである。
【００２２】第３の発明による車輌用距離検出装置は、
第２の発明において、上記画像変換部に、上記撮像系で
撮像した画像全体を記憶する低速の画像メモリを備え、
上記一致度計算部に、画像の一部を取り出して記憶する
高速のバッファメモリを備えたものである。
【００２３】第４の発明による車輌用距離検出装置は、
第２の発明において、上記画像変換部に、上記撮像系か
らの出力を補正するデータテーブルを備えたものであ
る。
【００２４】第５の発明による車輌用距離検出装置は、
第１の発明または第２の発明において、上記撮像系を、
固体撮像素子を有する遠距離用の２台のカメラと、固体
撮像素子を有する近距離用の２台のカメラとから構成し
たものである。
【００２５】
【作用】第１の発明では、車外の設定範囲内の対象に対
して互いに異なる方向から複数枚の画像を撮像し、この
撮像した複数枚の画像に対応して、所定の領域毎に一致
度を高速で計算する。そして、この一致度の最小値に基
づいて、対応する画素位置のずれ量を距離分布に係わる
情報として決定する。
【００２６】第２の発明では、車外の設定範囲内の対象
に対して互いに異なる方向から複数枚のアナログ画像を
撮像し、この撮像した複数枚のアナログ画像を所定の輝
度階調を有するデジタル画像に変換し、これらの複数枚
のデジタル画像の所定の領域毎に一致度を高速で計算
し、一致度の最小値及び最大値を検出する。そして、検
出した一致度の最小値及び最大値に対し、最小値が第１
の規定値以下で、最大値と最小値との差が第２の規定値
以上であり、且つ、上記複数枚のデジタル画像のうちの
所定の画像の微小部分の輝度変化が第３の規定値以上で
ある場合に、検出した一致度の最小値に基づいて、上記
複数枚のデジタル画像の対応する画素位置のずれ量を距
離に係わる情報として決定する。
【００２７】第３の発明では、第２の発明において、画
像変換部に備えた低速の画像メモリに撮像した画像全体
を記憶し、一致度計算部に備えた高速のバッファメモリ
に画像の一部を取り出して記憶する。
【００２８】第４の発明では、第２の発明において、撮
像系からの出力を画像変換部に備えたデータテーブルに
より補正する。
【００２９】第５の発明では、第１の発明または第２の
発明において、固体撮像素子を有する遠距離用の２台の
カメラと、固体撮像素子を有する近距離用の２台のカメ
ラとにより、車外の設定範囲内の対象に対し、互いに異
なる方向から複数枚の画像を撮像する。
【００３０】
【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例を示し、図１は距離検出
装置の回路ブロック図、図２は距離検出装置の全体構成
図、図３は車輌の正面図、図４は距離検出装置の動作を
示すフローチャート、図５はカメラと被写体との関係を
示す説明図、図６は視野角の説明図、図７は遠距離の上
下視野角を示す説明図、図８は近距離の上下視野角を示
す説明図、図９はシフトレジスタ内の保存順序を示す説
明図、図１０はシティブロック距離計算回路の説明図、
図１１は最小値検出回路のブロック図、図１２はシティ
ブロック距離計算回路の動作を示すタイミングチャー
ト、図１３はずれ量決定部の動作を示すタイミングチャ
ート、図１４は全体の動作を示すタイミングチャートで
ある。
【００３１】［構 成］図２において、符号１は自動車
などの車輌であり、この車輌１に、車外の設置範囲内の
対象を撮像して距離を検出する距離検出装置２が搭載さ
れている。この距離検出装置２は、例えば図示しない道
路・障害物認識装置などに接続されて障害物監視装置を
構成し、運転者に対する警告、車体の自動衝突回避等の
動作を行なうようになっている。
【００３２】上記距離検出装置２は、車外の設定範囲内
の対象を撮像する撮像系としてのステレオ光学系１０
と、このステレオ光学系１０によって撮像した画像を処
理し、３次元の距離情報を算出する画像処理手段として
のステレオ画像処理装置２０とを備えており、このステ
レオ画像処理装置２０で算出した３次元距離情報が道路
・障害物認識装置などに取り込まれ、道路形状及び車輌
１に対する障害物が認識される。
【００３３】上記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いたカメラによ
り構成され、図３に示すように、遠距離の左右画像用と
しての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣ
ＣＤカメラ１１と表記する場合もある）が、それぞれ車
室内の天井前方に取り付けられるとともに、近距離の左
右画像用としての２台のＣＣＤカメラ１２ａ，１２ｂ
（代表してＣＣＤカメラ１２と表記する場合もある）
が、それぞれ、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
の内側に取り付けられている。
【００３４】上記ステレオ光学系１０として、直近から
例えば１００ｍ遠方までの距離計測を行なう場合、車室
内のＣＣＤカメラ１１、１２の取付位置を、例えば、車
輌１のボンネット先端から２ｍとすると、実際には前方
２ｍから１００ｍまでの位置を計測できれば良い。
【００３５】すなわち、図５に示すように、遠距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。
【００３６】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。
【００３７】 Ｄ＝ｒ・ｆ／ｘ （１） 例えば、車輌１が１００ｋｍ／ｈで走行中、１００ｍ遠
方の静止物体の距離と相対速度を検出する場合には、ひ
とつの物体に対し複数の画素の距離分布が得られるた
め、それらを平均することにより精度の高い距離が得ら
れるが、最悪の場合を考慮すると、０．３秒の間の走行
距離、約９ｍで少なくともずれ量ｘが１画素分変化しな
ければならない。
【００３８】従って、距離Ｄ０においてずれ量ｘがΔｘ
だけ変化したときの距離の変化量ΔＤは、上記（１）式
より導かれる以下の（２）式で表すことができる。
【００３９】 ΔＤ＝−Ｄ０2 ／（ｒ・ｆ）・Δｘ （２） ここで、上記ＣＣＤカメラ１１，１２のＣＣＤ素子の有
効面積を、ブラック領域を除いて例えば８ｍｍ（Ｈ）×
６ｍｍ（Ｖ）とし、ＣＣＤ素子の１画素の大きさを１１
μｍ×１３μｍとすると、横方向の画素数は７２７とな
る。但し、画像を取り込む際の横方向分割数としては、
処理上の扱い易さから５１２画素とすると、ＣＣＤ面上
での１画素の長さは８ｍｍ／５１２×１０００＝１５．
６μｍとなり、これらの値を上記（２）式に代入してｒ
・ｆ値を求めると、ｒ・ｆ＝１７３ｃｍ2 になる。
【００４０】焦点距離ｆは必要とする視野角θとＣＣＤ
素子の実際の距離計測幅とから求められる。この視野角
θは、例えば高速道路における８０ｋｍ／ｈ設計の特例
値である曲率半径２３０ｍの道路を走行中、１００ｍ先
までを視界に含めることができるものであるとすると、
図６に示すように、視野角θは、ｒ＝２３０，ｌ＝１０
０として、θ＝ｓｉｎ -1 （ｌ／ｒ）より、θ＝２５°が
求められる。
【００４１】前述したように、ＣＣＤ素子の有効幅は８
mmであるが、実際に距離を計測できるのは、有効幅から
領域探索する幅を除いたものとなり、視野角、最短検出
距離、処理時間等を総合的に考慮して、探索する幅を例
えば１００画素とすると、距離を計測できる幅は６．３
ｍｍとなる。
【００４２】従って、焦点距離ｆは、ｆ＝６．３ｍｍ／
（２・ｔａｎ（２５／２））＝１４．２ｍｍとなるが、
この値に近く入手の容易な焦点距離ｆ＝１６ｍｍのレン
ズを採用すると、２つのカメラの間隔ｒは、ｒ＝１７３
ｃｍ2 ／１．６ｃｍ＝１０８ｃｍとなる。
【００４３】その結果、最短測定距離は、上記（１）式
より、Ｄ＝１７３ｃｍ2 ／（１００×１５．６μｍ）＝
１１．１ｍとなり、仮に２ｍまで測定しようとしても、
ｘ＝１７３ｃｍ2 ／２ｍ＝８６５０μｍ＝５５４画素と
なり、１画面の幅を超えてしまうことがわかる。
【００４４】そこで、近距離用の２台のＣＣＤカメラ１
２ａ，１２ｂにより、２ｍの距離でずれ量ｘが１００画
素になるようなｒ・ｆ値を上記（１）式より計算する
と、ｒ・ｆ＝１００×１５．６μｍ×２ｍ＝３１．２ｃ
ｍ2 となる。この近距離用のＣＣＤカメラ１２ａ，１２
ｂで測定可能な最長距離として１０画素ずれるときの距
離を考えると、Ｄ＝３１．２ｃｍ2 ／（１０×１５．６
μｍ）＝２０ｍとなる。従って、遠距離用のＣＣＤカメ
ラ１１ａ，１１ｂと近距離用のＣＤカメラ１２ａ，１２
ｂによる測定範囲は、１１．１ｍから２０ｍでオーバー
ラップし、この遠距離用及び近距離用の２組のカメラで
２ｍから１００ｍ遠方まで計測できることがわかる。
【００４５】次に、上下方向の視野角について説明す
る。高さ方向の視野は水平な道路において、遠距離用の
ＣＣＤカメラ１１ａ，１１ｂの最短測定距離ｌmin であ
る１１．１ｍの地点において、地上から例えば１．５ｍ
の高さｈupまで視野に入るようにすると、ＣＣＤカメラ
１１ａ，１１ｂの取付位置ｈ0 を地上から１．２ｍとし
て、図７から明かなように、遠距離用では、仰角α＝ｔ
ａｎ -1 （ｈup−ｈ0 ／ｌmin ）＝１．５°、伏角β＝ｔ
ａｎ -1 （ｈ0 ／ｌmin ）＝６．２°になる。
【００４６】この遠距離用のＣＣＤカメラ１１ａ，１１
ｂの焦点距離ｆが１６ｍｍであることと、ＣＣＤ素子の
縦方向の画素間隔が１３μｍであることから、１画面の
縦方向の画素数を求めると１８４画素になり、ピッチン
グの影響を考慮すると２００画素となる。
【００４７】同様に、近距離用のＣＣＤカメラ１２ａ，
１２ｂの最短測定距離ｌmin である２．０ｍの地点にお
いて、地上から１．５ｍの高さｈupまで視野に入るよう
にすると、近距離用のＣＣＤカメラ１２ａ，１２ｂの取
付位置ｈ0 は、遠距離用と同様に地上から１．２ｍであ
り、図８から明かなように、近距離用では、仰角α＝
８．５°、伏角β＝３１°となる。
【００４８】この場合においても、処理を簡単にするた
め遠距離用と同じく縦方向を２００画素にすると、近距
離用のＣＣＤカメラ１２ａ，１２ｂでは、焦点距離ｆ＝
５．５ｍｍ以下のレンズを用いることになるが、歪がな
く入手の容易なｆ＝６ｍｍのレンズを採用すると、この
レンズの２ｍ前方で視野に入る物体の高さは１．４２ｍ
となる。また、横方向の視野角θは６７°となり、近距
離用の２台のＣＣＤカメラ１２ａ，１２ｂの間隔ｒは、
ｒ＝３１．２ｃｍ2 ／０．６ｃｍ＝５２ｃｍとなる。
【００４９】一方、左右画像のずれ量ｘを検出するに
は、左右画像における同一物体の像を見つけ出す必要が
あり、本発明では、次に述べるステレオ画像処理装置２
０において、画像を小領域に分割し、それぞれの小領域
内の輝度あるいは色のパターンを左右画像で比較して一
致する領域を見つけ出し、全画面に渡って距離分布を求
める。従って、従来のように、エッジ、線分、特殊な形
など、何らかの特徴を抽出し、それらの特徴が一致する
部分を見つけ出すことによる情報量の低下を避けること
ができる。
【００５０】左右画像の一致度は、右画像、左画像のｉ
番目画素の輝度（色を用いても良い）を、それぞれ、Ａ
ｉ、Ｂｉとすると、例えば、以下の（３）式に示すシテ
ィブロック距離Ｈによって評価することができ、平均値
の採用による情報量の低下もなく、乗算がないことから
演算速度を向上させることができる。
【００５１】 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （３） また、分割すべき小領域の大きさとしては、大きすぎる
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。
【００５２】このため、例えば、１００ｍ先にある幅
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、上記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。
【００５３】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
で代表するものとする。
【００５４】図１に示すように、ステレオ画像処理装置
２０は、上記ステレオ光学系１０で撮像したアナログ画
像をデジタル画像に変換する画像変換部３０、この画像
変換部３０からの画像データに対し、左右画像のずれ量
ｘを決定するためのシティブロック距離Ｈを画素を一つ
ずつずらしながら次々と計算する一致度計算部としての
シティブロック距離計算部４０、シティブロック距離Ｈ
の最小値ＨMIN 及び最大値ＨMAX を検出する最小・最大
値検出部５０、この最小・最大値検出部５０で得られた
最小値ＨMIN が左右小領域の一致を示すものであるか否
かをチェックしてずれ量ｘを決定するずれ量決定部６０
を備えている。
【００５５】上記画像変換部３０では、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１
ａ，３１ｂに、データテーブルとしてのルックアップテ
ーブル（ＬＵＴ）３２ａ，３２ｂ、上記ＣＣＤカメラ１
１ａ，１１ｂで撮像した画像を記憶する画像メモリ３３
ａ，３３ｂが、それぞれ接続されている。
【００５６】Ａ／Ｄコンバータ３１ａ，３１ｂは、例え
ば８ビットの分解能を有し、左右のＣＣＤカメラ１１
ａ，１１ｂからのアナログ画像を、所定の輝度階調を有
するデジタル画像に変換する。すなわち、処理の高速化
のため画像の二値化を行なうと、左右画像の一致度を計
算するための情報が著しく失われるため、例えば２５６
階調のグレースケールに変換するのである。
【００５７】また、ＬＵＴ３２ａ，３２ｂはＲＯＭ上に
構成され、上記Ａ／Ｄコンバータ３１ａ，３１ｂでデジ
タル量に変換された画像に対し、低輝度部分のコントラ
ストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの
特性の違いを補正する。そして、ＬＵＴ３２ａ，３２ｂ
で変換された信号は、一旦、画像メモリ３３ａ，３３ｂ
に記憶される。
【００５８】上記画像メモリ３３ａ，３３ｂは、後述す
るように、シティブロック距離計算部４０で画像の一部
を繰り返し取り出して処理するため、比較的低速のメモ
リから構成することができ、コスト低減を図ることがで
きる。
【００５９】上記シティブロック距離計算部４０では、
上記画像変換部３０の左画像用の画像メモリ３３ａに、
共通バス８０を介して２組の入力バッファメモリ４１
ａ，４１ｂが接続されるとともに、右画像用の画像メモ
リ３３ｂに、共通バス８０を介して２組の入力バッファ
メモリ４２ａ，４２ｂが接続されている。
【００６０】上記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されている。
【００６１】また、上記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の
際に用いられる。
【００６２】また、シティブロック距離計算回路４５
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図１
０に詳細が示されるように、演算器４６を１６個ピラミ
ッド状に接続したパイプライン構造で、例えば８画素分
を同時に入力して計算するようになっている。このピラ
ミッド型構造の初段は、絶対値演算器、２段〜４段は、
それぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。
【００６３】尚、図１０においては、絶対値計算と１，
２段目の加算器は半分のみ表示している。
【００６４】また、上記各入力バッファメモリ４１ａ，
４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の
速度に応じた比較的小容量の高速タイプであり、入出力
が分離し、クロック発生回路８５から供給されるクロッ
クに従って、＃１アドレスコントローラ８６によって発
生されるアドレスが共通に与えられる。また、４組のシ
フトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂとの転送
は、＃２アドレスコントローラ８７によって制御され
る。
【００６５】尚、シティブロック距離Ｈの計算をコンピ
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば０．０８秒で行なうとすると、一画素当たり例
えば５ステップのプログラムで、５００ＭＩＰＳ（Mega
Instruction Per Second）の能力が要求される。これ
は現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク（ＲＩ
ＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳ
Ｐ）、あるいは、並列プロセッサなどを用いなければな
らなくなる。
【００６６】上記最小・最大値検出部５０は、シティブ
ロック距離Ｈの最小値ＨMIN を検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAX を検出する
最大値検出回路５２とを備えており、上記シティブロッ
ク距離計算回路４５で使用する演算器４６を最小値、最
大値検出用として２個使用した構成となっており、シテ
ィブロック距離Ｈの出力と同期が取られるようになって
いる。
【００６７】図１１に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
の出力の最上位ビット（ＭＳＢ）がラッチ５４に出力さ
れる。このラッチ５４の出力は、Ｂレジスタ４６ｂ及び
Ｄラッチ５５に出力され、演算器４６での最小値計算の
途中の値が、Ｂレジスタ４６ｂに保存されるとともに、
そのときのずれ量ｘがＤラッチ５５に保存されるように
なっている。
【００６８】尚、最大値検出回路５２については、論理
が逆になることと、ずれ量ｘを保存しないこと以外は、
最小値検出回路５１と同様の構成である。
【００６９】前述したようにシティブロック距離Ｈは、
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX 、最小値ＨMIN と比較、更新することによっ
て、最後のシティブロック距離Ｈの出力とほぼ同時に、
その小領域におけるシティブロック距離Ｈの最大値ＨMA
X 、最小値ＨMIN が求まるようになっている。
【００７０】上記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈa を保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈc を保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。
【００７１】上記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、上記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、上記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で上記スイッチ回路６５を作動し、ずれ
量ｘまたは“０”が上記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。
【００７２】上記Ａバス６２ａには、各しきい値Ｈa 、
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
上記最大値検出回路５２が接続され、上記Ｂバス６２ｂ
には、上記最小値検出回路５１が接続されている。さら
に、上記Ａバス６２ａ及びＢバス６２ｂには、上記各シ
フトレジスタ６４ａ，６４ｂが接続されている。
【００７３】また、上記スイッチ回路６５には、上記演
算器６１が接続されるとともに、上記ラッチ６３ａを介
して上記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて上記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。
【００７４】このずれ量決定部６０では、得られたシテ
ィブロック距離Ｈの最小値ＨMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量ｘを出力する。
【００７５】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量ｘとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量ｘを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。
【００７６】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のとき
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMIN の近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、曲面などの緩やかに輝度の変わる物体
に対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。） 尚、このずれ量決定の処理も、通常のマイクロプロセッ
サでソフト的に行おうとすると、例えば２７ＭＩＰＳの
速さが必要となり、実行不可能である。
【００７７】以上のずれ量決定部６０から出力される最
終結果である距離分布情報は、道路・障害物認識装置な
どの外部装置へのインターフェースとなるデュアルポー
トメモリ９０へ共通バス８０を介して書き込まれる。
【００７８】［動 作］次に、図４に示すフローチャー
トに従って、ステレオ画像処理装置２０を中心として本
実施例の動作を説明する。
【００７９】まず、ステップS101で左右のＣＣＤカメラ
１１ａ，１１ｂによって撮像した画像を入力すると、ス
テップS102で、入力した画像をＡ／Ｄ変換した後、ＬＵ
Ｔ３２ａ，３２ｂで補正し、画像メモリ３３ａ，３３ｂ
に記憶する。
【００８０】これらの画像メモリ３３ａ，３３ｂに記憶
される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素
子の全ラインのうち、その後の処理に必要なラインのみ
であり、例えば０．１秒に１回の割合（テレビ画像で３
枚に１枚の割合）で書き換えられる。
【００８１】次に、ステップS103へ進むと、左右画像用
の画像メモリ３３ａ，３３ｂから入力バッファメモリ４
１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。
【００８２】その際、左右の画像毎に、上記画像メモリ
３３ａ，３３ｂから上記入力バッファメモリ４１ａ，４
１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジ
スタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ３３ａから一方の入力バッファメモリ４１ａに画
像データが読み込まれている間に、他方の入力バッファ
メモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ３３ｂから一方の入力バッファメモリ４２ａに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像デ
ータの書き出しが行なわれる。
【００８３】そして、図９に示すように、上記シフトレ
ジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４
×４画素の小領域の画像データ（１，１）…（４，４）
が保存され、一方のシフトレジスタ４３ａ（４４ａ）に
は１、２ラインのデータが、もう一方のシフトレジスタ
４３ｂ（４４ｂ）には３、４ラインのデータが、それぞ
れ１画素毎に奇数ライン、偶数ラインの順序で入る。
【００８４】上記各シフトレジスタ４３ａ，４３ｂ，４
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
シティブロック距離計算回路４５に出力し、シティブロ
ック距離Ｈの計算が始まると、右画像のデータはシフト
レジスタ４４ａ，４４ｂ内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ４３ａ，４３ｂに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、２クロック毎に１画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば１
００画素分ずれるまで（２００クロック）繰り返す。
【００８５】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路４５では、図１２のタイミングチャートに示すよう
に、まず、ピラミッド型構造初段の絶対値演算器に８画
素分のデータを入力し、左右画像の輝度差の絶対値を計
算する。すなわち、右画素の輝度から対応する左画素の
輝度を引き算し、結果が負になった場合、演算命令を変
えることにより、引く方と引かれる方を逆にして再び引
き算を行なうことにより、絶対値の計算を行なう。従っ
て、初段では引き算を２回行なう場合がある。
【００８６】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。
【００８７】次に、ステップS104へ進み、上記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMINを検出する。前述したように、この最大値
ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値ＨMIN の検出に
ついて説明する。
【００８８】まず、最初に出力されてきたシティブロッ
ク距離Ｈ（ずれ量ｘ＝０）が、図１１に示す最小値検出
回路５１のＣラッチ５３を介して、演算器４６のＢレジ
スタ４６ｂに入力される。次のクロックで出力されてき
たシティブロック距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ
５３と演算器４６のＡレジスタ４６ａとに入れられ、演
算器４６では、同時に、Ｂレジスタ４６ｂとの比較演算
が始まる。
【００８９】上記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。
【００９０】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ
５５に保存されながら、ずれ量ｘが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。
【００９１】この間に、前述したシティブロック距離計
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。
【００９２】ステップS105では、上記ステップ104 でシ
ティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確
定すると、ずれ量決定部６０にて、前述した３つの条件
がチェックされ、ずれ量ｘが決定される。
【００９３】すなわち、図１３のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。
【００９４】次に、Ａレジスタ７１に最大値ＨMAX がラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。
【００９５】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。上記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。
【００９６】輝度差の計算が始まるとき、上記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。
【００９７】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。
【００９８】上記演算器６１での比較結果、Ａレジスタ
の内容（しきい値Ｈc）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、上記スイッチ
回路６５からずれ量ｘあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。
【００９９】上記演算器６１で隣接画素間の輝度差とし
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。
【０１００】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。
【０１０１】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了し、一つ
の小領域に対して、シティブロック距離Ｈの最小値ＨMI
N 、最大値ＨMAX を求めるのに要する時間は充分に余裕
があり、さらに機能を追加することも可能である。
【０１０２】そして、ずれ量ｘが決定されると、ステッ
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量ｘを距離分布情報とし
て出力し、ステレオ画像処理装置２０における処理が終
了する。
【０１０３】この出力バッファメモリ６６ａ，６６ｂ
は、前述した入力バッファメモリ４１ａ，４１ｂ，４３
ａ，４３ｂと同様、例えば４ライン分の容量があり、２
組の一方に書き込んでいる間にもう一方から上記デュア
ルポートメモリ９０へ距離分布情報を送り出す。
【０１０４】上記デュアルポートメモリ９０へ書き込ま
れた距離分布情報からは、ＣＣＤカメラ１１，１２の取
付け位置と焦点距離などのレンズパラメータとから、各
画素に対応する物体のＸＹＺ空間における３次元位置を
算出することができ、情報量の低下なく車外の対象物ま
での距離を正確に検出することができる。
【０１０５】尚、上記ずれ量ｘによる距離分布情報から
ＸＹＺ空間における３次元位置への計算は、ステレオ画
像処理装置２０内で処理しても良く、ステレオ画像処理
装置２０から外部に出力されるデータ形式は、接続する
外部装置との兼ね合いで定めれば良い。
【０１０６】最後に、ステレオ画像処理装置２０のシス
テム全体のタイミングについて、図１４に示すタイミン
グチャートに従って説明する。
【０１０７】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。
【０１０８】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。
【０１０９】この間に、一方の入出力バッファメモリに
対してずれ量ｘの計算が行われる。そして、ずれ量ｘの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。
【０１１０】一つの右画像の４×４画素の小領域に対す
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量ｘが各チェックを経て距離分
布として出力される。
【０１１１】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。
【０１１２】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。
【０１１３】
【発明の効果】以上説明したように本発明によれば、撮
像した画像から、情報量を低下させることなく、しかも
高速に、画像全体に渡る距離分布を求めることができる
ため、その距離分布を利用することにより、例えば、道
路端や白線の３次元位置と周囲の立体物の３次元位置と
を同時に検出することができ、走行の妨げとなる障害物
の位置や動きを考慮した、より高度な障害物回避を実現
することができるなど優れた効果が得られる。
【図面の簡単な説明】
【図１】距離検出装置の回路ブロック図
【図２】距離検出装置の全体構成図
【図３】車輌の正面図
【図４】距離検出装置の動作を示すフローチャート
【図５】カメラと被写体との関係を示す説明図
【図６】視野角の説明図
【図７】遠距離の上下視野角を示す説明図
【図８】近距離の上下視野角を示す説明図
【図９】シフトレジスタ内の保存順序を示す説明図
【図１０】シティブロック距離計算回路の説明図
【図１１】最小値検出回路のブロック図
【図１２】シティブロック距離計算回路の動作を示すタ
イミングチャート
【図１３】ずれ量決定部の動作を示すタイミングチャー
ト
【図１４】全体の動作を示すタイミングチャート
【符号の説明】 １ 車輌 ２ 距離検出装置 １０ ステレオ光学系 １１ 遠距離用ＣＣＤカメラ １２ 近距離用ＣＣＤカメラ ２０ ステレオ画像処理装置 ３０ 画像変換部 ３２ａ ルックアップテーブル ３２ｂ ルックアップテーブル ３３ａ 画像メモリ ３３ｂ 画像メモリ ４０ シティブロック距離計算部 ４１ａ 入力バッファメモリ ４１ｂ 入力バッファメモリ ４２ａ 入力バッファメモリ ４２ｂ 入力バッファメモリ ５０ 最小・最大値検出部 ６０ ずれ量決定部 ６６ａ 出力バッファメモリ ６６ｂ 出力バッファメモリ
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正内容】
【図１】
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正内容】
【図４】
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正内容】
【図１１】
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正内容】
【図１２】
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正内容】
【図１４】

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 車外の設定範囲内の対象に対し、互いに
    異なる方向から複数枚の画像を撮像する撮像系を備え、 上記撮像系で撮像した複数枚の画像を処理して画像全体
    に渡る距離分布を出力する画像処理手段に、 上記撮像系で撮像した複数枚の画像に対応して、所定の
    領域毎に一致度を高速で計算する一致度計算部と、 上記一致度計算部で計算した一致度の最小値に基づい
    て、上記複数枚の画像の対応する画素位置のずれ量を上
    記距離分布に係わる情報として決定するずれ量決定部と
    を備えたことを特徴とする車輌用距離検出装置。
  2. 【請求項２】 車外の設定範囲内の対象に対し、互いに
    異なる方向から複数枚のアナログ画像を撮像する撮像系
    を備え、 上記撮像系で撮像した複数枚のアナログ画像を処理して
    画像全体に渡る距離分布を出力する画像処理手段に、 上記撮像系で撮像した複数枚のアナログ画像を、所定の
    輝度階調を有するデジタル画像に変換する画像変換部
    と、 上記画像変換部で変換した複数枚のデジタル画像の所定
    の領域毎に一致度を高速で計算する一致度計算部と、 上記一致度計算部で計算した一致度の最小値及び最大値
    を検出する最小・最大値検出部と、 上記最小・最大値検出部で検出した一致度の最小値及び
    最大値に対し、最小値が第１の規定値以下で、最大値と
    最小値との差が第２の規定値以上であり、且つ、上記複
    数枚のデジタル画像のうちの所定の画像の微小部分の輝
    度変化が第３の規定値以上である場合に、上記最小・最
    大値検出部で検出した一致度の最小値に基づいて、上記
    複数枚のデジタル画像の対応する画素位置のずれ量を上
    記距離分布に係わる情報として決定するずれ量決定部と
    を備えたことを特徴とする車輌用距離検出装置。
  3. 【請求項３】 上記画像変換部に、上記撮像系で撮像し
    た画像全体を記憶する低速の画像メモリを備え、上記一
    致度計算部に、画像の一部を取り出して記憶する高速の
    バッファメモリを備えたことを特徴とする請求項２記載
    の車輌用距離検出装置。
  4. 【請求項４】 上記画像変換部に、上記撮像系からの出
    力を補正するデータテーブルを備えたことを特徴とする
    請求項２記載の車輌用距離検出装置。
  5. 【請求項５】 上記撮像系を、固体撮像素子を有する遠
    距離用の２台のカメラと、固体撮像素子を有する近距離
    用の２台のカメラとから構成したことを特徴とする請求
    項１または請求項２記載の車輌用距離検出装置。
JP27431591A 1991-10-22 1991-10-22 車輌用距離検出装置 Expired - Lifetime JP3167752B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP27431591A JP3167752B2 (ja) 1991-10-22 1991-10-22 車輌用距離検出装置
US07/960,688 US5307136A (en) 1991-10-22 1992-10-14 Distance detection system for vehicles
GB9221783A GB2261339B (en) 1991-10-22 1992-10-16 Distance detection system for vehicle
DE4235619A DE4235619C2 (de) 1991-10-22 1992-10-22 Entfernungsbestimmungseinrichtung für Automobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27431591A JP3167752B2 (ja) 1991-10-22 1991-10-22 車輌用距離検出装置

Publications (2)

Publication Number Publication Date
JPH05114099A true JPH05114099A (ja) 1993-05-07
JP3167752B2 JP3167752B2 (ja) 2001-05-21

Family

ID=17539940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27431591A Expired - Lifetime JP3167752B2 (ja) 1991-10-22 1991-10-22 車輌用距離検出装置

Country Status (4)

Country Link
US (1) US5307136A (ja)
JP (1) JP3167752B2 (ja)
DE (1) DE4235619C2 (ja)
GB (1) GB2261339B (ja)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07120256A (ja) * 1993-10-27 1995-05-12 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH07120255A (ja) * 1993-10-27 1995-05-12 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH07120257A (ja) * 1993-10-27 1995-05-12 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH08138053A (ja) * 1994-11-08 1996-05-31 Canon Inc 被写体情報処理装置及び遠隔装置
JPH1183530A (ja) * 1997-09-11 1999-03-26 Fuji Heavy Ind Ltd 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
JPH11326541A (ja) * 1998-05-21 1999-11-26 Nissan Motor Co Ltd 撮像環境推定装置
DE19723963C2 (de) * 1996-06-06 2001-09-06 Fuji Heavy Ind Ltd Objekterkennungsvorrichtung und -verfahren für Fahrzeuge
US6366691B1 (en) 1999-09-22 2002-04-02 Fuji Jukogyo Kabushiki Kaisha Stereoscopic image processing apparatus and method
US6373518B1 (en) 1998-05-14 2002-04-16 Fuji Jukogyo Kabushiki Kaisha Image correction apparatus for stereo camera
US6404484B1 (en) 1999-09-22 2002-06-11 Fuji Jukogyo Kabushiki Kaisha Method for examining distance data and device thereof
US6483429B1 (en) 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
US6552742B1 (en) 1999-09-16 2003-04-22 Fuji Jukogyo Kabushiki Kaisha Positional deviation adjusting apparatus of stereo image
US6813370B1 (en) 1999-09-22 2004-11-02 Fuji Jukogyo Kabushiki Kaisha Lane marker recognizing apparatus
EP1524638A1 (en) 2003-10-17 2005-04-20 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and method
US6987534B1 (en) 1999-08-30 2006-01-17 Fuji Jukogyo Kabushiki Kaisha Brightness adjusting apparatus for stereoscopic camera
US6999896B2 (en) 2002-07-03 2006-02-14 Fuji Jukogyo Kabushiki Kaisha Identical object determination method and apparatus and displacement correction method and apparatus
US7092015B1 (en) 1999-09-22 2006-08-15 Fuji Jukogyo Kabushiki Kaisha Apparatus and method for stereo matching and method of calculating an infinite distance corresponding point
WO2006090735A1 (ja) 2005-02-23 2006-08-31 Aisin Seiki Kabushiki Kaisha エピポーラ幾何を用いた物体認識装置及び物体認識方法
WO2007000868A1 (ja) 2005-06-27 2007-01-04 Aisin Seiki Kabushiki Kaisha 障害物検出装置
US7177747B2 (en) 2003-07-04 2007-02-13 Fuji Jukogyo Kabushiki Kaisha Vehicle braking device and vehicle braking method
JP2007334760A (ja) * 2006-06-16 2007-12-27 Auto Network Gijutsu Kenkyusho:Kk ドライブレコーダ
DE102008006375A1 (de) 2007-01-31 2008-08-21 Fuji Jukogyo Kabushiki Kaisha Überwachungssystem
DE102008006951A1 (de) 2007-01-31 2008-09-04 Fuji Jukogyo Kabushiki Kaisha Erfassungssystem für vorausfahrende Fahrzeuge
DE102008012840A1 (de) 2007-03-07 2008-11-06 Fuji Jukogyo Kabushiki Kaisha Objekterfassungssystem
DE102008025723A1 (de) 2007-06-01 2009-01-02 Fuji Jukogyo K.K. Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
DE102008029124A1 (de) 2007-06-22 2009-01-22 Fuji Jukogyo K.K. Abbiegespurzugang-Beurteilungssystem
US7499638B2 (en) 2003-08-28 2009-03-03 Olympus Corporation Object recognition apparatus
DE102008053460A1 (de) 2007-10-29 2009-06-10 Fuji Jukogyo K.K. Objekterfassungssystem
DE102008053472A1 (de) 2007-10-29 2009-06-25 Fuji Jukogyo K.K. Objekt-Erfassungssystem
DE102009005184A1 (de) 2008-01-22 2009-08-06 Fuji Jukogyo K.K. Fahrzeugabtastsystem
DE102009005860A1 (de) 2008-01-25 2009-10-08 Fuji Jukogyo Kabushiki Kaisha Umgebungs-Erkennungssystem
DE102009005861A1 (de) 2008-01-25 2009-10-08 Fuji Jukogyo Kabushiki Kaisha Fahrzeugumgebungs-Erkennungssystem
DE102009010018A1 (de) 2008-02-27 2009-10-15 Fuji Jukogyo Kabushiki Kaisha Lenkhilfesystem
DE102009015142A1 (de) 2008-03-27 2009-12-17 Fuji Jukogyo K.K. Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
US7697749B2 (en) 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
US8311729B2 (en) 2006-03-29 2012-11-13 Fuji Jukogyo Kabushiki Kaisha Traffic lane deviation preventing system for a vehicle
US8976999B2 (en) 2011-02-16 2015-03-10 Fuji Jukogyo Kabushiki Kaisha Vehicle detection apparatus
US9594966B2 (en) 2013-02-21 2017-03-14 Sharp Kabushiki Kaisha Obstacle detection device and obstacle detection method
WO2017212927A1 (ja) 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
WO2018037947A1 (en) 2016-08-24 2018-03-01 Sony Corporation Information processing apparatus and method, vehicle, and information processing system
WO2018230340A1 (ja) * 2017-06-15 2018-12-20 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2020066421A (ja) * 2018-10-23 2020-04-30 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 離陸時の航空機と滑走路中心線との位置合わせ
US11044463B2 (en) 2017-06-27 2021-06-22 Sony Corporation Image processing device and image processing method
US11076141B2 (en) 2016-06-08 2021-07-27 Sony Corporation Image processing device, image processing method, and vehicle

Families Citing this family (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3110095B2 (ja) * 1991-09-20 2000-11-20 富士通株式会社 測距方法及び測距装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US5515448A (en) * 1992-07-28 1996-05-07 Yazaki Corporation Distance measuring apparatus of a target tracking type
JP3365799B2 (ja) * 1992-11-24 2003-01-14 オリンパス光学工業株式会社 距離・速度測定装置
US6498620B2 (en) 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7339149B1 (en) 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
JP3468428B2 (ja) * 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
JPH06300581A (ja) * 1993-04-15 1994-10-28 Fuji Heavy Ind Ltd 車輛の軌道追従制御装置
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
US5983161A (en) 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
US5586063A (en) * 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JPH07189795A (ja) * 1993-12-28 1995-07-28 Hitachi Ltd 自動車の制御装置及び制御方法
JP3205477B2 (ja) * 1994-02-17 2001-09-04 富士フイルムマイクロデバイス株式会社 車間距離検出装置
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
GB2289786B (en) 1994-05-23 1998-09-16 Automotive Tech Int Side impact airbag system with anticipatory sensor
US6343810B1 (en) 1994-05-23 2002-02-05 Automotive Technologies International Inc. Side impact airbag system with anticipatory sensor
US6623033B2 (en) 1994-05-23 2003-09-23 Automotive Technologies International, Inc. Airbag inflation control system and method
US6918459B2 (en) * 1994-05-23 2005-07-19 Automotive Technologies International, Inc. Method and apparatus for deploying airbags
US6749218B2 (en) 1994-05-23 2004-06-15 Automotive Technologies International, Inc. Externally deployed airbag system
US7359782B2 (en) * 1994-05-23 2008-04-15 Automotive Technologies International, Inc. Vehicular impact reactive system and method
US6755273B2 (en) 1994-05-23 2004-06-29 Automotive Technologies International, Inc. Combined airbag inflation and occupant displacement enabling method and apparatus
JPH10512953A (ja) * 1995-01-18 1998-12-08 ラリー シー ハーディン 光学的なレンジ及び速度検出システム
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US5777563A (en) * 1995-10-10 1998-07-07 Chrysler Corporation Method and assembly for object detection by a vehicle
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6550949B1 (en) * 1996-06-13 2003-04-22 Gentex Corporation Systems and components for enhancing rear vision from a vehicle
US5680123A (en) * 1996-08-06 1997-10-21 Lee; Gul Nam Vehicle monitoring system
EP0898245B1 (en) 1997-08-05 2004-04-14 Canon Kabushiki Kaisha Image processing method and apparatus
US6647146B1 (en) 1997-08-05 2003-11-11 Canon Kabushiki Kaisha Image processing apparatus
EP0901105A1 (en) 1997-08-05 1999-03-10 Canon Kabushiki Kaisha Image processing apparatus
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
CA2320153A1 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
JP3452794B2 (ja) * 1998-05-12 2003-09-29 三菱電機株式会社 視程測定装置
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP3307335B2 (ja) * 1998-07-22 2002-07-24 日本電気株式会社 車両領域検出装置及び車両領域検定方法
JP2003501635A (ja) 1999-05-26 2003-01-14 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 対象検出システム
DE19934670B4 (de) * 1999-05-26 2004-07-08 Robert Bosch Gmbh Objektdetektionssystem
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
AU2001243285A1 (en) 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US6396408B2 (en) 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
US6566004B1 (en) 2000-08-31 2003-05-20 General Motors Corporation Fuel cell with variable porosity gas distribution layers
JP2002216113A (ja) * 2001-01-16 2002-08-02 Fujitsu Ten Ltd 物体認識装置
WO2002062623A2 (en) 2001-01-23 2002-08-15 Donnelly Corporation Improved vehicular lighting system for a mirror assembly
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
US6424273B1 (en) 2001-03-30 2002-07-23 Koninklijke Philips Electronics N.V. System to aid a driver to determine whether to change lanes
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
DE10141220A1 (de) * 2001-08-23 2003-04-10 Valeo Schalter & Sensoren Gmbh Umfelderkennungssystem
US20030076981A1 (en) * 2001-10-18 2003-04-24 Smith Gregory Hugh Method for operating a pre-crash sensing system in a vehicle having a counter-measure system
US6819991B2 (en) * 2001-11-29 2004-11-16 Ford Global Technologies, Llc Vehicle sensing based pre-crash threat assessment system
US6775605B2 (en) 2001-11-29 2004-08-10 Ford Global Technologies, Llc Remote sensing based pre-crash threat assessment system
US7158870B2 (en) * 2002-01-24 2007-01-02 Ford Global Technologies, Llc Post collision restraints control module
US6831572B2 (en) 2002-01-29 2004-12-14 Ford Global Technologies, Llc Rear collision warning system
US6721659B2 (en) 2002-02-01 2004-04-13 Ford Global Technologies, Llc Collision warning and safety countermeasure system
US6519519B1 (en) 2002-02-01 2003-02-11 Ford Global Technologies, Inc. Passive countermeasure methods
US7009500B2 (en) 2002-02-13 2006-03-07 Ford Global Technologies, Llc Method for operating a pre-crash sensing system in a vehicle having a countermeasure system using stereo cameras
US6498972B1 (en) 2002-02-13 2002-12-24 Ford Global Technologies, Inc. Method for operating a pre-crash sensing system in a vehicle having a countermeasure system
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
AU2003237424A1 (en) 2002-06-06 2003-12-22 Donnelly Corporation Interior rearview mirror system with compass
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
JP3895238B2 (ja) * 2002-08-28 2007-03-22 株式会社東芝 障害物検出装置及びその方法
WO2004103772A2 (en) 2003-05-19 2004-12-02 Donnelly Corporation Mirror assembly for vehicle
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
AU2003278863A1 (en) 2002-09-20 2004-04-08 Donnelly Corporation Mirror reflective element assembly
US8309265B2 (en) 2003-09-12 2012-11-13 Hitachi, Ltd. Electrolyte membrane for fuel cells, its production and fuel cell using the same
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
JP4638143B2 (ja) * 2003-12-26 2011-02-23 富士重工業株式会社 車両用運転支援装置
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
WO2006014974A2 (en) 2004-07-26 2006-02-09 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US20060111841A1 (en) * 2004-11-19 2006-05-25 Jiun-Yuan Tseng Method and apparatus for obstacle avoidance with camera vision
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US7231288B2 (en) * 2005-03-15 2007-06-12 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
US7656432B2 (en) * 2005-03-30 2010-02-02 Hoya Corporation Method and apparatus for photographing moving object
ATE517368T1 (de) 2005-05-16 2011-08-15 Donnelly Corp Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil
US7488083B2 (en) * 2005-08-22 2009-02-10 Gentex Corporation Vehicular rearview components and assemblies
CN101535087B (zh) 2005-11-01 2013-05-15 唐纳利公司 具有显示装置的内部后视镜
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
JP4725391B2 (ja) * 2006-03-29 2011-07-13 株式会社デンソー 車両用視程測定装置、及び運転支援装置
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
US8013780B2 (en) 2007-01-25 2011-09-06 Magna Electronics Inc. Radar sensing system for vehicle
ITPR20070006A1 (it) * 2007-02-08 2008-08-09 Techimp S P A Procedimento per elaborare dati relativi a un'attivita di scariche elettriche parziali
JP4748082B2 (ja) * 2007-02-23 2011-08-17 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
US7914187B2 (en) 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US8451107B2 (en) 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
FR2921027B1 (fr) * 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
US8446470B2 (en) 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
CN101451835B (zh) * 2007-12-07 2010-09-01 聂劲松 一种较差能见度天气条件下汽车防撞方法
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
US8280621B2 (en) * 2008-04-15 2012-10-02 Caterpillar Inc. Vehicle collision avoidance system
US20090259399A1 (en) * 2008-04-15 2009-10-15 Caterpillar Inc. Obstacle detection method and system
US20100020170A1 (en) 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
DE102009000550B4 (de) * 2009-02-02 2018-10-04 Ford Global Technologies, Llc Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
US8466960B2 (en) * 2009-02-16 2013-06-18 Ricoh Company, Ltd. Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus
WO2010099416A1 (en) 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
US8376595B2 (en) 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
US9495876B2 (en) 2009-07-27 2016-11-15 Magna Electronics Inc. Vehicular camera with on-board microcontroller
WO2011014482A1 (en) 2009-07-27 2011-02-03 Magna Electronics Inc. Parking assist system
EP2473871B1 (en) 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US8890955B2 (en) 2010-02-10 2014-11-18 Magna Mirrors Of America, Inc. Adaptable wireless vehicle vision system based on wireless communication error
US9117123B2 (en) 2010-07-05 2015-08-25 Magna Electronics Inc. Vehicular rear view camera display system with lifecheck function
KR101207903B1 (ko) * 2010-10-11 2012-12-04 국방과학연구소 자율 이동 차량용 장애물 정보 제공장치 및 그 방법
DE112011103834B4 (de) 2010-11-19 2026-03-26 Magna Electronics, Inc. Spurhalteassistent und Spurzentrierung
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
US9194943B2 (en) 2011-04-12 2015-11-24 Magna Electronics Inc. Step filter for estimating distance in a time-of-flight ranging system
US9357208B2 (en) 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US9547795B2 (en) 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
WO2013019707A1 (en) 2011-08-01 2013-02-07 Magna Electronics Inc. Vehicle camera alignment system
DE112012003931T5 (de) 2011-09-21 2014-07-10 Magna Electronics, Inc. Bildverarbeitungssystem für ein Kraftfahrzeug mit Bilddatenübertragung undStromversorgung über ein Koaxialkabel
US9681062B2 (en) 2011-09-26 2017-06-13 Magna Electronics Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
US9146898B2 (en) 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US10071687B2 (en) 2011-11-28 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US10008002B2 (en) * 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation
US8694224B2 (en) 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
US8824733B2 (en) 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
US8768007B2 (en) 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US9751465B2 (en) 2012-04-16 2017-09-05 Magna Electronics Inc. Vehicle vision system with reduced image color data processing by use of dithering
US10089537B2 (en) 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
US9340227B2 (en) 2012-08-14 2016-05-17 Magna Electronics Inc. Vehicle lane keep assist system
DE102013217430B4 (de) 2012-09-04 2026-02-26 Magna Electronics, Inc. Fahrerassistenzsystem für ein Kraftfahrzeug
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
EP2911028B1 (en) * 2012-10-22 2018-07-25 Yamaha Hatsudoki Kabushiki Kaisha Distance measurement device and vehicle using same
WO2014070448A1 (en) 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
US9090234B2 (en) 2012-11-19 2015-07-28 Magna Electronics Inc. Braking control system for vehicle
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
US10025994B2 (en) 2012-12-04 2018-07-17 Magna Electronics Inc. Vehicle vision system utilizing corner detection
US9481301B2 (en) 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
US20140168415A1 (en) 2012-12-07 2014-06-19 Magna Electronics Inc. Vehicle vision system with micro lens array
US9092986B2 (en) 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
US20140218529A1 (en) 2013-02-04 2014-08-07 Magna Electronics Inc. Vehicle data recording system
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
WO2014152470A2 (en) 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
US10027930B2 (en) 2013-03-29 2018-07-17 Magna Electronics Inc. Spectral filtering for vehicular driver assistance systems
US9327693B2 (en) 2013-04-10 2016-05-03 Magna Electronics Inc. Rear collision avoidance system for vehicle
US10232797B2 (en) 2013-04-29 2019-03-19 Magna Electronics Inc. Rear vision system for vehicle with dual purpose signal lines
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US10567705B2 (en) 2013-06-10 2020-02-18 Magna Electronics Inc. Coaxial cable with bidirectional data transmission
US9260095B2 (en) 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
US20140375476A1 (en) 2013-06-24 2014-12-25 Magna Electronics Inc. Vehicle alert system
US9619716B2 (en) 2013-08-12 2017-04-11 Magna Electronics Inc. Vehicle vision system with image classification
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
US9988047B2 (en) 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US10160382B2 (en) 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
US9623878B2 (en) 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US10286855B2 (en) 2015-03-23 2019-05-14 Magna Electronics Inc. Vehicle vision system with video compression
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
US10819943B2 (en) 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
FR3038733B1 (fr) * 2015-07-10 2019-07-26 Renault S.A.S Systeme de detection par sources d'impulsions lumineuses de la distance entre un vehicule automobile et une cible
US10078789B2 (en) 2015-07-17 2018-09-18 Magna Electronics Inc. Vehicle parking assist system with vision-based parking space detection
US10086870B2 (en) 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US10875403B2 (en) 2015-10-27 2020-12-29 Magna Electronics Inc. Vehicle vision system with enhanced night vision
US11285878B2 (en) 2015-12-17 2022-03-29 Magna Electronics Inc. Vehicle vision system with camera line power filter
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
US10132971B2 (en) 2016-03-04 2018-11-20 Magna Electronics Inc. Vehicle camera with multiple spectral filters
US10055651B2 (en) 2016-03-08 2018-08-21 Magna Electronics Inc. Vehicle vision system with enhanced lane tracking
US10311314B2 (en) * 2016-11-23 2019-06-04 Ford Global Technologies, Llc Detection of lane-splitting motorcycles
US10406995B2 (en) 2017-11-10 2019-09-10 Denso Corporation Camera module
US11181816B2 (en) 2017-11-10 2021-11-23 Denso Corporation Windshield-mounted camera module
US10232800B1 (en) 2017-11-10 2019-03-19 Denson Corporation Camera module
US10627606B2 (en) 2017-11-10 2020-04-21 Denso Corporation Camera module
US10534253B2 (en) 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
US10661725B2 (en) 2017-11-10 2020-05-26 Denso Corporation Camera module
US11172219B2 (en) 2019-12-30 2021-11-09 Texas Instruments Incorporated Alternating frame processing operation with predicted frame comparisons for high safety level use
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
CN117824505B (zh) * 2024-03-05 2024-05-07 四川京炜交通工程技术有限公司 一种公路护栏梁板中心离地高度快速检测装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3684374A (en) * 1970-07-29 1972-08-15 Humphrey Res Ass Focus detector
US3901595A (en) * 1974-02-13 1975-08-26 Bendix Corp Parallel line scanning system for stereomapping
US4206365A (en) * 1976-01-17 1980-06-03 Ernst Leitz Wetzlar Gmbh Optical correlator
USRE32886E (en) * 1976-06-14 1989-03-14 Honeywell, Inc. Digital auto focus
JPS54126023A (en) * 1978-03-23 1979-09-29 Canon Inc Optical device
JPS59182688A (ja) * 1983-03-31 1984-10-17 Toshiba Corp ステレオ視処理装置
JPS59197816A (ja) * 1983-04-25 1984-11-09 Nippon Denso Co Ltd 車間距離検出装置
GB2148648A (en) * 1983-10-25 1985-05-30 Audim Sa Time disparity discriminator; correlation
US4695959A (en) * 1984-04-06 1987-09-22 Honeywell Inc. Passive range measurement apparatus and method
US4916302A (en) * 1985-02-09 1990-04-10 Canon Kabushiki Kaisha Apparatus for and method of measuring distances to objects present in a plurality of directions
US4695156A (en) * 1986-07-03 1987-09-22 Westinghouse Electric Corp. Range finding method and apparatus
JPH01229211A (ja) * 1988-03-10 1989-09-12 Fuji Photo Film Co Ltd 位相差検出装置
JP2662583B2 (ja) * 1988-03-24 1997-10-15 アイシン精機株式会社 車上距離検出装置
NL8900056A (nl) * 1989-01-11 1990-08-01 Philips Nv Werkwijze voor het visueel weergeven van een deel van een topografische kaart, alsmede inrichting geschikt voor een dergelijke werkwijze.
KR930004880B1 (ko) * 1989-03-07 1993-06-09 미쓰비시 덴끼 가부시기가이샤 추미식 차간거리 측정장치
US5146228A (en) * 1990-01-24 1992-09-08 The Johns Hopkins University Coherent correlation addition for increasing match information in scene matching navigation systems

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07120255A (ja) * 1993-10-27 1995-05-12 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH07120257A (ja) * 1993-10-27 1995-05-12 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH07120256A (ja) * 1993-10-27 1995-05-12 Fuji Heavy Ind Ltd 車輌用距離検出装置
JPH08138053A (ja) * 1994-11-08 1996-05-31 Canon Inc 被写体情報処理装置及び遠隔装置
DE19723963C2 (de) * 1996-06-06 2001-09-06 Fuji Heavy Ind Ltd Objekterkennungsvorrichtung und -verfahren für Fahrzeuge
JPH1183530A (ja) * 1997-09-11 1999-03-26 Fuji Heavy Ind Ltd 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
US6373518B1 (en) 1998-05-14 2002-04-16 Fuji Jukogyo Kabushiki Kaisha Image correction apparatus for stereo camera
JPH11326541A (ja) * 1998-05-21 1999-11-26 Nissan Motor Co Ltd 撮像環境推定装置
US6987534B1 (en) 1999-08-30 2006-01-17 Fuji Jukogyo Kabushiki Kaisha Brightness adjusting apparatus for stereoscopic camera
US6552742B1 (en) 1999-09-16 2003-04-22 Fuji Jukogyo Kabushiki Kaisha Positional deviation adjusting apparatus of stereo image
US6813370B1 (en) 1999-09-22 2004-11-02 Fuji Jukogyo Kabushiki Kaisha Lane marker recognizing apparatus
US6404484B1 (en) 1999-09-22 2002-06-11 Fuji Jukogyo Kabushiki Kaisha Method for examining distance data and device thereof
US7092015B1 (en) 1999-09-22 2006-08-15 Fuji Jukogyo Kabushiki Kaisha Apparatus and method for stereo matching and method of calculating an infinite distance corresponding point
US6366691B1 (en) 1999-09-22 2002-04-02 Fuji Jukogyo Kabushiki Kaisha Stereoscopic image processing apparatus and method
US6483429B1 (en) 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
US6999896B2 (en) 2002-07-03 2006-02-14 Fuji Jukogyo Kabushiki Kaisha Identical object determination method and apparatus and displacement correction method and apparatus
US7177747B2 (en) 2003-07-04 2007-02-13 Fuji Jukogyo Kabushiki Kaisha Vehicle braking device and vehicle braking method
US7499638B2 (en) 2003-08-28 2009-03-03 Olympus Corporation Object recognition apparatus
EP1524638A1 (en) 2003-10-17 2005-04-20 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and method
US7697749B2 (en) 2004-08-09 2010-04-13 Fuji Jukogyo Kabushiki Kaisha Stereo image processing device
WO2006090735A1 (ja) 2005-02-23 2006-08-31 Aisin Seiki Kabushiki Kaisha エピポーラ幾何を用いた物体認識装置及び物体認識方法
US8077965B2 (en) 2005-02-23 2011-12-13 Aisin Seiki Kabushiki Kaisha Object recognition apparatus and object recognition method using epipolar geometry
US7894631B2 (en) 2005-06-27 2011-02-22 Aisin Seiki Kabushiki Kaisha Obstacle detection apparatus
WO2007000868A1 (ja) 2005-06-27 2007-01-04 Aisin Seiki Kabushiki Kaisha 障害物検出装置
US8311729B2 (en) 2006-03-29 2012-11-13 Fuji Jukogyo Kabushiki Kaisha Traffic lane deviation preventing system for a vehicle
JP2007334760A (ja) * 2006-06-16 2007-12-27 Auto Network Gijutsu Kenkyusho:Kk ドライブレコーダ
DE102008006375B4 (de) 2007-01-31 2019-02-07 Subaru Corporation Überwachungssystem
US8194998B2 (en) 2007-01-31 2012-06-05 Fuji Jukogyo Kabushiki Kaisha Preceding vehicle detection system
DE102008006375A1 (de) 2007-01-31 2008-08-21 Fuji Jukogyo Kabushiki Kaisha Überwachungssystem
DE102008006951A1 (de) 2007-01-31 2008-09-04 Fuji Jukogyo Kabushiki Kaisha Erfassungssystem für vorausfahrende Fahrzeuge
DE102008012840A1 (de) 2007-03-07 2008-11-06 Fuji Jukogyo Kabushiki Kaisha Objekterfassungssystem
US8094934B2 (en) 2007-03-07 2012-01-10 Fuji Jukogyo Kabushiki Kaisha Object detection system
DE102008025723A1 (de) 2007-06-01 2009-01-02 Fuji Jukogyo K.K. Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs
US7839272B2 (en) 2007-06-01 2010-11-23 Fuji Jukogyo Kabushiki Kaisha Vehicle surroundings monitoring apparatus
DE102008029124B4 (de) * 2007-06-22 2017-12-07 Subaru Corporation Abbiegespurzugang-Beurteilungssystem
DE102008029124A1 (de) 2007-06-22 2009-01-22 Fuji Jukogyo K.K. Abbiegespurzugang-Beurteilungssystem
US8447484B2 (en) 2007-06-22 2013-05-21 Fuji Jukogyo Kabushiki Kaisha Branch-lane entry judging system
DE102008053472B4 (de) 2007-10-29 2018-10-04 Subaru Corporation Objekt-Erfassungssystem
DE102008053460B4 (de) * 2007-10-29 2020-09-03 Subaru Corporation Objekterfassungssystem
DE102008053472A1 (de) 2007-10-29 2009-06-25 Fuji Jukogyo K.K. Objekt-Erfassungssystem
US8174563B2 (en) 2007-10-29 2012-05-08 Fuji Jukogyo Kabushiki Kaisha Object detecting system
DE102008053460A1 (de) 2007-10-29 2009-06-10 Fuji Jukogyo K.K. Objekterfassungssystem
US8233031B2 (en) 2007-10-29 2012-07-31 Fuji Jukogyo Kabushiki Kaisha Object detecting system
US8749631B2 (en) 2008-01-22 2014-06-10 Fuji Jukogyo Kabushiki Kaisha Vehicle detecting system
DE102009005184A1 (de) 2008-01-22 2009-08-06 Fuji Jukogyo K.K. Fahrzeugabtastsystem
DE102009005861A1 (de) 2008-01-25 2009-10-08 Fuji Jukogyo Kabushiki Kaisha Fahrzeugumgebungs-Erkennungssystem
DE102009005860B4 (de) 2008-01-25 2023-04-20 Subaru Corporation Umgebungs-Erkennungssystem
DE102009005861B4 (de) 2008-01-25 2023-04-20 Subaru Corporation Fahrzeugumgebungs-Erkennungssystem
US8244027B2 (en) 2008-01-25 2012-08-14 Fuji Jukogyo Kabushiki Kaisha Vehicle environment recognition system
US8437536B2 (en) 2008-01-25 2013-05-07 Fuji Jukogyo Kabushiki Kaisha Environment recognition system
DE102009005860A1 (de) 2008-01-25 2009-10-08 Fuji Jukogyo Kabushiki Kaisha Umgebungs-Erkennungssystem
US8224550B2 (en) 2008-02-27 2012-07-17 Fuji Jukogyo Kabushiki Kaisha Steering assist system
DE102009010018A1 (de) 2008-02-27 2009-10-15 Fuji Jukogyo Kabushiki Kaisha Lenkhilfesystem
US8175334B2 (en) 2008-03-27 2012-05-08 Fuji Jukogyo Kabushiki Kaisha Vehicle environment recognition apparatus and preceding-vehicle follow-up control system
DE102009015142A1 (de) 2008-03-27 2009-12-17 Fuji Jukogyo K.K. Fahrzeugumgebungs-Erkennungs-Vorrichtung und Steuerungssystem zum Verfolgen eines vorausfahrenden Fahrzeugs
US8976999B2 (en) 2011-02-16 2015-03-10 Fuji Jukogyo Kabushiki Kaisha Vehicle detection apparatus
US9594966B2 (en) 2013-02-21 2017-03-14 Sharp Kabushiki Kaisha Obstacle detection device and obstacle detection method
US11076141B2 (en) 2016-06-08 2021-07-27 Sony Corporation Image processing device, image processing method, and vehicle
US11108992B2 (en) 2016-06-08 2021-08-31 Sony Corporation Imaging control device and method, and vehicle
WO2017212927A1 (ja) 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
US11195292B2 (en) 2016-08-24 2021-12-07 Sony Corporation Information processing apparatus and method, vehicle, and information processing system
WO2018037947A1 (en) 2016-08-24 2018-03-01 Sony Corporation Information processing apparatus and method, vehicle, and information processing system
WO2018230340A1 (ja) * 2017-06-15 2018-12-20 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP2019002787A (ja) * 2017-06-15 2019-01-10 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US11044463B2 (en) 2017-06-27 2021-06-22 Sony Corporation Image processing device and image processing method
JP2020066421A (ja) * 2018-10-23 2020-04-30 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 離陸時の航空機と滑走路中心線との位置合わせ

Also Published As

Publication number Publication date
DE4235619A1 (de) 1993-04-29
GB2261339A (en) 1993-05-12
GB9221783D0 (en) 1992-12-02
GB2261339B (en) 1996-04-03
JP3167752B2 (ja) 2001-05-21
US5307136A (en) 1994-04-26
DE4235619C2 (de) 1997-05-15

Similar Documents

Publication Publication Date Title
JP3167752B2 (ja) 車輌用距離検出装置
JP3468428B2 (ja) 車輌用距離検出装置
US5410346A (en) System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras
JP3324821B2 (ja) 車輌用車外監視装置
USRE37610E1 (en) Running guide apparatus for vehicle capable of keeping safety at passing through narrow path and the method thereof
JP5188452B2 (ja) 道路形状認識装置
JP3765862B2 (ja) 車両用環境認識装置
JPH10269362A (ja) 物体認識方法およびその装置
JP3709879B2 (ja) ステレオ画像処理装置
JP3348939B2 (ja) 車輌用距離検出装置
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2001243456A (ja) 障害物検出装置及び障害物検出方法
JP2009077022A (ja) 運転支援システム及び車両
JP3452075B2 (ja) 車輌用距離検出装置
JPH0757200A (ja) 走路認識装置および走路認識方法
JP3452076B2 (ja) 車輌用距離検出装置
JPH06273171A (ja) 車輌用距離検出装置
JP3022033B2 (ja) 画像追尾装置
JP2006318061A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JPH07120256A (ja) 車輌用距離検出装置
JP4397164B2 (ja) 障害物検出装置及び障害物検出方法
JPH05282430A (ja) 移動車の環境認識装置
JP2000207695A (ja) 車外監視装置
JPH07121795A (ja) 車輌用車外監視装置
JP3446471B2 (ja) ステレオ画像処理装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080309

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090309

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090309

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 11