JPH09142236A - 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 - Google Patents

車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置

Info

Publication number
JPH09142236A
JPH09142236A JP7300214A JP30021495A JPH09142236A JP H09142236 A JPH09142236 A JP H09142236A JP 7300214 A JP7300214 A JP 7300214A JP 30021495 A JP30021495 A JP 30021495A JP H09142236 A JPH09142236 A JP H09142236A
Authority
JP
Japan
Prior art keywords
vehicle
optical axis
coordinates
laser radar
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7300214A
Other languages
English (en)
Inventor
Kazumichi Tsutsumi
和道 堤
Moichi Okamura
茂一 岡村
Tatsuharu Irie
太津治 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP7300214A priority Critical patent/JPH09142236A/ja
Priority to US08/652,683 priority patent/US5617085A/en
Priority to DE19629775A priority patent/DE19629775B4/de
Publication of JPH09142236A publication Critical patent/JPH09142236A/ja
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B60T2201/089—Lane monitoring; Lane Keeping Systems using optical detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

(57)【要約】 【課題】 ビーム走査方式のレーザーレーダであっても
自車レーンの障害物を特定することができる車両の周辺
監視方法とその装置、及び周辺監視装置の故障判定方法
とそれを実現する装置を提供することを目的としてい
る。 【解決手段】 光軸が一致したカメラとビーム走査方式
のレーザーレーダと、カメラの画像信号を処理して自車
レーンの画像上での座標を検出する自車レーン検出手段
と、このレーザーレーダにより検出された検出物の座標
を画像上の座標軸に合わせて変換する座標変換手段と、
この変換された座標と自車レーンの座標とを比較するこ
とにより自車レーン内の検出物と自車レーン外の検出物
とを分離する分離手段とを備えた。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、走行する自動車
の周辺を監視する方法とその方法を実現するために車両
に搭載される装置、及びお互いの光軸を一致させたレー
ザーレーダとカメラとを搭載した周辺監視装置の故障を
判定する方法とその方法を実現するための装置に関する
ものである。
【０００２】
【従来の技術】この種の装置の従来例としては、例えば
日本特許公開公報平成５年第１１３４８２号に示された
車載用追突防止装置がある。この装置は、レーザービー
ムを車両前方の定められた狭い範囲の一方向に投射する
単ビーム方式のレーザーレーダを画像処理手段と組み合
わせることによって自車が走行する車線である自車レー
ンの前方の障害物を検出するというものである。この装
置は自車レーンの前方障害物を検出するのが目的であ
る。しかし、道路が前方で曲がっている場合は、レーザ
ービームは自車レーンに照射されず、左右の何れかの隣
接した車線である隣接レーンに照射される。従って、こ
のときレーザーレーダによって検出される前方障害物
は、目的の自車レーンの前方障害物ではなく、隣接レー
ンの前方障害物となる。そこで、この装置では、まず、
カメラで捉えた車両前方の画像を処理して自車レーンを
検出し、この自車レーンの前方の曲がり具合を検出す
る。そしてこの曲がり具合に応じてレーザーレーダのビ
ームの照射方向を変更することにより、道路が前方で曲
がっていたとしても常にレーザービームが自車レーンに
照射されるようにしている。
【０００３】ところで、上述した例では、レーザービー
ムを定められた狭い範囲の一方向に投射する単ビーム方
式のレーザーレーダについて述べている。しかしレーザ
ーレーダの方式はこの種のものだけではない。車両周辺
をより広い範囲に亘って監視する為に、レーザービーム
を広範囲の水平方向に走査する方式のレーザーレーダが
提案されている。例えば日本特許公告公報昭和６１年第
６３４９号に示された車両用障害物検知装置である。こ
の装置は、車両進行方向に照射されるレーザービームを
二次元に走査し、障害物からの反射光を測定することに
より前方障害物までの距離、及び左右方向の位置を検出
する様にしたものである。このようなビーム走査方式の
レーザーレーダに於いては、自車レーンばかりではなく
隣接レーンにまで及ぶ広い範囲に亘って監視するのが目
的であるので、自車レーンの障害物ばかりではなく隣接
レーン、更にはより離れたレーンの障害物まで検出する
ようにしている。
【０００４】
【発明が解決しようとする課題】さて、ここで、ビーム
走査方式のレーザーレーダを用いて自車レーンの障害物
としての先行車両の位置を検出しようとすると課題が生
じる。即ち、ビーム走査方式のレーザーレーダは自車レ
ーンの先行車両だけではなく他のレーンの先行車両をも
検出するので、検出した先行車両の内どれが自車レーン
の先行車両であるのかを特定しなければならない。仮
に、道路が常にも直線であるならば、自車レーンの先行
車両は常に自車の正面にいる。この場合は、自車レーン
の先行車両の特定は、極めて簡単である。しかしなが
ら、道路が常に直線であるという状態は通常ではあり得
ない。一般的な道路においては、自車レーンの先行車両
は必ずしも自車両の正面にいるとは限らない。例えば道
路が前方で右側に曲がっている場合には、自車レーンの
先行車両は自車の位置よりも右側に存在する。逆に道路
が左に曲がっている場合には、自車レーンの先行車両は
自車よりも左側にいる。更には、道路の曲がり具合によ
っては、隣接レーンを走行する先行車両が自車両の正面
にいることさえある。従って、上述のビーム走査方式の
レーザーレーダでは、広範囲に亘って障害物を検出でき
るものの、検出した障害物の内どの障害物が自車レーン
の障害物であるのかを知ることは難しかった。また、日
本特許公開公報平成５年第１１３４８２号に示された車
載用追突防止装置のように、レーザービームの照射範囲
を固定してしまえば自車レーンの障害物を特定すること
はできる。しかし、この場合は自車レーンの障害物しか
検出できなくなり、広範囲の監視が可能であるというビ
ーム走査方式のレーザーレーダの特徴が失われてしま
う。
【０００５】従って、この発明は、ビーム走査方式のレ
ーザーレーダであっても自車レーンの障害物を特定する
ことができる車両の周辺監視方法と、それを実現する周
辺監視装置を提供することを目的としている。
【０００６】また、この発明は、お互いの光軸を一致さ
せたレーザーレーダとカメラとを搭載した周辺監視装置
の故障を判定する故障判定方法と、それを実現する周辺
監視装置の故障判定装置を提供することを目的としてい
る。
【０００７】なお、この発明の更に他の目的と特徴と利
益とは次の解説によって、より十分に理解できよう。
【０００８】
【課題を解決するための手段】この発明に係る周辺監視
装置は、自動車に搭載され道路上を撮影するカメラと、
このカメラから出力される画像信号を処理して自車レー
ンの画像上での座標を検出する自車レーン検出手段と、
自動車に搭載されその光軸中心がカメラの光軸と一致す
る様に設置されたビーム走査方式のレーザーレーダと、
このレーザーレーダにより検出された検出物の座標を画
像上の座標軸に合わせて変換する座標変換手段と、この
変換された座標と自車レーンの座標とを比較することに
より自車レーン内の検出物と自車レーン外の検出物とを
分離する分離手段とを備えたものである。
【０００９】また、この発明に係る周辺監視装置は、レ
ーザーレーダにより検出された検出物の代表的な座標を
演算する代表座標演算手段を備え、座標変換手段は代表
的な座標を画像上の座標軸に合わせて変換するものであ
る。
【００１０】また、この発明に係る周辺監視装置の故障
判定装置は、自動車に搭載され道路上を撮影するカメラ
と、自動車に搭載されその光軸中心がカメラの光軸と一
致する様に設置されたビーム走査方式のレーザーレーダ
と、このレーザーレーダにより検出された車両の代表的
な座標を演算する代表座標演算手段と、この代表的な座
標をカメラの画像上の座標軸に合わせて変換する座標変
換手段と、この座標変換手段により変換された代表的な
座標を基準として所定領域を指定するウィンドウを設定
するウィンドウ設定手段と、このウィンドウ内の画像信
号を処理して該ウインドウ内に車両が存在するか否かに
よりカメラの光軸とレーザレーダの光軸とが一致してい
るか否かを判定する光軸判定手段とを備えたものであ
る。
【００１１】また、この発明に係る周辺監視装置の故障
判定装置は、ウィンドウにて指定される所定領域の大き
さをレーザーレーダにより検出された車両の代表的な座
標で表される距離に応じて変更するウインドウ補正手段
を備え、光軸判定手段は、補正されたウインドウ内に存
在する輪郭線のヒストグラムを演算するヒストグラム演
算手段と、このヒストグラムと比較される比較基準値を
距離に応じて設定する比較基準値設定手段と、ヒストグ
ラムと比較基準値とを比較してヒストグラムの最大値が
所定時間に亘って比較基準値以上であるとき補正された
ウインドウ内に車両が存在すると判定する比較手段とを
備えたものである。
【００１２】また、この発明に係る周辺監視装置の故障
判定装置は、レーザーレーダにより検出された車両の代
表的な座標で表される距離が所定距離以上であるときは
カメラの光軸とレーザーレーダの光軸との一致あるいは
不一致の判定を禁止する光軸判定禁止手段を備えたもの
である。
【００１３】また、この発明に係る車両の周辺監視方法
は、自動車に搭載され道路上を撮影するカメラから出力
される画像信号を処理して自車レーンの画像上での座標
を検出するステップと、自動車に搭載されその光軸中心
がカメラの光軸と一致する様に設置されたビーム走査方
式のレーザーレーダにより検出された検出物の座標を画
像上の座標軸に合わせて変換するステップと、画像上の
座標に変換された検出物の座標と自車レーンの座標とを
比較することにより検出物が自車レーン内にあるか否か
を判定するステップとを有するものである。
【００１４】また、この発明に係る周辺監視装置の故障
判定方法は、自動車に搭載され道路上を撮影するカメラ
と、自動車に搭載されその光軸中心がカメラの光軸と一
致する様に設置されたビーム走査方式のレーザーレーダ
とを備えた周辺監視装置において、レーザーレーダによ
り検出された車両の代表的な座標を演算するステップ
と、この代表的な座標をカメラの画像上の座標軸に合わ
せて変換するステップと、この変換された車両の代表的
な座標を基準として所定領域を指定するウィンドウを設
定するステップと、このウィンドウ内の画像信号を処理
して該ウインドウ内に車両が存在するか否かによりカメ
ラの光軸とレーザレーダの光軸とが一致しているか否か
を判定するステップとを備えたものである。
【００１５】
【発明の実施の形態】
実施の形態１．以下、この発明の好ましい実施の形態を
図について説明する。実施の形態１では、ビーム走査方
式のレーザーレーダで検出した検出物が自車レーン内に
あるのか否かを判定する車両の周辺監視方法と、この周
辺監視方法を実施する好ましい周辺監視装置を提案す
る。上述の車両の周辺監視方法の手順は次の通りであ
る。まず、自車の走行方向に向けて取り付けられ前方の
道路上を撮影するカメラから出力される画像信号を処理
して、道路面に描かれた白線を画像上で検出する。カメ
ラは自車に取り付けられているため自車レーン内に存在
し、そこから前方の様子を撮影している。従って、カメ
ラで捉えた画像の左側には自車レーンの左側白線が撮影
されていると共に、画像の右側には自車レーンの右側白
線が撮影されている。白線は、道路上に描かれており道
路面に比べて大きな輝度を有している。画像処理では、
道路上で輝度が大きくなる点を検出し、これを白線と認
識する。この白線の位置は、画像上の縦方向をＶ、横方
向をＨとするＨ−Ｖ座標軸上で示される。即ち、Ｈ−Ｖ
座標軸上において、左側白線の座標位置から右側白線の
座標位置までの間が自車レーンである。一方、自車に搭
載されその光軸中心がカメラの光軸と一致する様に設置
されたビーム走査方式のレーザーレーダは、レーザービ
ームを水平方向に走査して自車の周辺を監視している。
そして検出した検出物の位置情報は、検出物までの距離
Ｒと基準位置からの角度θで表されるＲ−θ座標系で得
られる。このＲ−θ座標系で示される検出物の位置情報
は、画像上の白線位置と比較するためにＨ−Ｖ座標系に
座標変換される。Ｈ−Ｖ座標系に変換された検出物の位
置情報は、最早、Ｈ−Ｖ座標で示される白線位置と比較
することが可能である。そこで、両者を比較して、レー
ザーレーダで検出した検出物の位置情報が、自車レーン
を示す座標の範囲内にあればその検出物は自車レーン内
の検出物であると判定する。そして、該検出物の位置情
報が自車レーンを示す座標の範囲を逸脱していれば、自
車レーン内の検出物ではないと判定する。
【００１６】次にこの周辺監視方法を実施する周辺監視
装置について説明する。図１は、実施の形態１の装置を
自動車に取り付けた時の様子を示す図であって、同図に
於いて１は自車、２は先行車両、３は自車１の室内上部
に自車１の正面に向けて取り付けられたＣＣＤカメラ、
４は自車１にＣＣＤカメラ３と光軸を一致させて取り付
けられたビーム走査方式のレーザーレーダ、５はＣＣＤ
カメラ３とレーザーレーダ４の出力を受けて種々の処理
を行う処理装置である。図２は、上記装置の構成を示す
ブロック図であって、同図に於いて、５１はＣＣＤカメ
ラ３に接続され、ＣＣＤカメラ３で撮影した画像を処理
して自車レーン域を検出する自車レーン検出手段であ
る。５２はレーザーレーダ４に接続された座標変換手段
である。座標変換手段５２は、レーザーレーダ４で検出
された検出物としての先行車両２のＲ−θ座標系で表さ
れる位置情報をうけ、このＲ−θ座標系の位置情報を座
標変換する。具体的には、レーザーレーダ４から与えら
れる自車１からの距離Ｒと基準位置からの角度θとで表
現されるＲ−θ座標系の位置情報を、ＣＣＤカメラ３で
撮影した画像に対応するＨ−Ｖ座標系の位置情報に変換
する。なお、基準位置は、ＣＣＤカメラ３の光軸と一致
する方向であって、具体的には自車１の正面方向であ
る。５３はレーン検出手段５１と座標変換手段５２とに
接続された先行車両検出手段である。先行車両検出手段
５３は、レーン検出手段５１から与えられるＨ−Ｖ座標
軸上での自車レーンの位置情報と、座標変換手段５２か
ら与えられるＨ−Ｖ座標軸上での先行車両２の位置情報
とを比較し、先行車両２が自車レーンを走行しているの
か否かを判定し、その判定結果を出力する。なお、この
先行車両検出手段５３は、自車レーン内の検出物と自車
レーン外の検出物とを分離する分離手段を構成してい
る。
【００１７】次に実施の形態１の動作について説明す
る。ＣＣＤカメラ３からは自車１の前方の道路上を撮影
した画像が得られる。この画像は、図３に示す如きもの
である。図３に於いて６はＣＣＤカメラ３により撮影さ
れた前方道路の画像、６１は同画像中の左側白線、６２
は同画像中の右側白線、６３は同画像中の所定の走査ラ
イン、６４は走査ライン６３の映像信号を示す。通常、
道路上には走行レーンの区分を示す為の白線が敷設され
ている。この白線の映像信号は、図３に映像信号６４で
示す様に、周囲と比較して輝度レベルが高いという特徴
を持っている。従って、周囲と比較して輝度レベルの高
い領域を検出することにより白線が抽出できる。そし
て、この左側白線６１のＨ−Ｖ座標系における座標位置
と、右側白線６２のＨ−Ｖ座標系における座標位置とを
得る。また、この左側白線６１から右側白線６２までの
間を自車レーンとして検出する。この自車レーン検出
は、走査ライン６３を画像下側から画像上側に向かって
順次更新することにより画像全体について行われる。
尚、同図中の右側白線６２の様に、欠落部のある白線に
ついては、その前後の白線の存在する部分から補間演算
により白線位置を特定する。
【００１８】一方、レーザーレーダ４からは、先行車両
２の位置情報が得られる。従って、上述のようにして得
た自車レーンの位置情報とレーザーレーダ４で得た先行
車両２の位置情報とを比較し、先行車両２が画像６上で
自車レーン内にあるか否かを判定すれば自車レーンを走
行している先行車両と他のレーンを走行している先行車
両とを分離することができる。しかしながら、レーザー
レーダ４で得た先行車両２の位置情報はＲ−θ座標で与
えられるものであって、画像６のＨ−Ｖ座標系と異なっ
ているので、そのまま画像６から得た白線の位置情報と
比較することはできない。
【００１９】この点に付き、図４を用いて詳しく説明す
る。図４は、各座標系での先行車両２の位置情報を示す
説明図である。図４において（ａ）はレーザーレーダ４
により得られるＲ−θ座標上における先行車両２の位置
情報、（ｂ）は画像６により得られるＨ−Ｖ座標上にお
ける先行車両あるいは白線の位置情報、（ｃ）は自車１
を原点とすると共に、自車１の前後方向をＹ軸、自車１
の左右方向をＸ軸とするＸ−Ｙ座標である。このＸ−Ｙ
座標は、車両制御のための座標系であって、レーザーレ
ーダ４及びＣＣＤカメラ３で得たＲ−θ座標系あるいは
Ｈ−Ｖ座標系における位置情報はＸ−Ｙ座標系における
位置情報に変換された上で用いられる。例えば自車レー
ンの前方を走行する先行車両２と自車１との距離を一定
に保つ車間距離制御などの車両制御はこのＸ−Ｙ座標上
で演算される。図４から明らかなように、レーザーレー
ダ４による先行車両２の位置情報は、先行車両２までの
距離Ｒと基準位置との角度θとで表されるＲ−θ座標で
与えられる。一方、画像６により得られる左側白線６１
及び右側白線６２の位置情報は、画像の左上を原点とす
ると共に、原点の左右方向をＨ軸、原点の図示上下方向
をＶ軸とするＨ−Ｖ座標で示されるので、レーザーレー
ダ４のＲ−θ座標系の位置情報をそのまま画像６上に投
影することはできない。そこで、実施の形態１では、レ
ーザーレーダ４で得たＲ−θ座標系の先行車両２の位置
情報を座標変換手段５２で、まずＸ−Ｙ座標に変換して
記憶する。そして、更にＸ−Ｙ座標の位置情報をＨ−Ｖ
座標の位置情報に変換した上で、画像６から得られるＨ
−Ｖ座標系の白線の位置情報と比較できるようにしてい
る。そして、先行車両検出手段５３は、自車レーン検出
手段５１からのＨ−Ｖ座標系の白線の位置情報と、座標
変換手段５２からのＨ−Ｖ座標系の先行車両２の位置情
報とを比較し、先行車両２の位置情報が自車レーン検出
手段５１で検出した自車レーンの座標の範囲内にあるか
否かを判定する。そして、先行車両２が自車レーンの座
標の範囲内にあれば先行車両２は自車レーンの先行車両
であると判定すると共に、先行車両２が自車レーンの座
標の範囲を逸脱していれば先行車両２は自車レーンの先
行車両ではないと判定し、その判定結果を出力する。な
お、座標変換手段５２で記憶されたＸ−Ｙ座標系の先行
車両２の位置情報と、先行車両検出手段５３の判定結果
は、図示しない車両制御装置に与えられ車両制御に利用
される。また、画像６から得られるＨ−Ｖ座標上の白線
などの位置情報は図示しない座標変換手段でＸ−Ｙ座標
上の位置情報に変換された上で、図示しない車両制御装
置に与えられ車両制御に利用される。
【００２０】なお、ここで、レーザーレーダ４で得たＲ
−θ座標系の位置情報をＸ−Ｙ座標系の位置情報に変換
した情報を記憶している理由は、Ｘ−Ｙ座標系の位置情
報をＨ−Ｖ座標系の位置情報に変換して白線の位置情報
と比較し、その後、またＸ−Ｙ座標系の位置情報に変換
して車両制御に用いようとするとその位置情報の精度が
悪化するためである。特に、Ｈ−Ｖ座標系からＸ−Ｙ座
標系に変換するときに誤差が大きい。
【００２１】次に、レーザーレーダ４あるいはＣＣＤカ
メラ３による先行車両の検出の手順と、その検出した位
置情報の座標変換について具体的に述べる。図５は、自
車１に取り付けられたレーザーレーダ４による先行車両
の検出の様子を示す説明図である。同図に於いて７は自
車レーン、８は自車レーン７に隣接する隣接レーン、２
１は自車レーンを走行する自車レーン先行車両、２２は
隣接レーンを走行する隣接レーン先行車両、９、１０は
対向車線のレーンである。自車１に取り付けられたビー
ム走査方式のレーザーレーダ４は細く絞られたレーザー
ビームを所定の起点から左から右方向へ順次所定時間毎
に所定角度ずつ水平方向に走査しながら前方へ照射す
る。このとき前方に例えば自動車のリフレクタの様な反
射物があると、レーザービームはそこで反射されて返っ
て来る。レーザーレーダ４ではこの反射光を受光し、そ
の照射から受光までの伝播遅延時間を計測することによ
り前方反射物までの距離Ｒを検出する。また、受光した
反射光が、起点から順次走査して照射したレーザービー
ムの何番目に対応するものかによって自車１からの方向
θAを検出する。ところで、道路上にはレーザービーム
を反射する物体として先行車両以外に、デリニエータ
（反射鏡）、看板などの停止物があり、これらの停止物
は誤検出を防止するために除去する必要がある。そこ
で、実施の形態１では停止物は自車１の速度と等しい速
度で後方に流れることを利用して、先行車両の位置情報
ａ１、ａ２、ｂ１及びｂ２のみを抽出するようにしてい
る。このようにして得られたＲ−θ座標の位置情報
（Ｒ、θA）は、座標変換手段５２に送られる。座標変
換手段５２では、次の変換式を用いて位置情報（Ｒ、θ
A）をＸ−Ｙ座標上の（ｘ、ｙ）に変換する。ここで、
Ｒ−θ座標系からＸ−Ｙ座標系への変換式は、図４から
明らかなように、次の（１）、（２）式となる。
【００２２】
【数１】
【００２３】ところで、レーザーレーダ４で得られる角
度情報θAは、基準位置からの角度であるから、これを
図４（ａ）に示す角度θに換算して上述の（１）、
（２）式に代入する。座標変換手段５２は、変換された
位置情報（ｘ、ｙ）を更に位置情報（ｈ、ｖ）に変換す
る。このための変換式は、以下の説明から明らかになろ
う。
【００２４】図６は、ＣＣＤカメラ３と先行車両２の関
係を示した図であって３１は焦点距離ｆのレンズ、３２
はＣＣＤ撮像素子を示す。今、先行車両２のＣＣＤ撮像
素子３２上の左右方向の結像位置をＣＣＤの光軸中心か
らの距離ｈで表わすと、前方車２の左右方向の位置ｘ
は、三角測量の原理より次の式（３）により得られる。
また、カメラ３の地上からの取り付け高さをＬで表わ
し、先行車両２のＣＣＤ撮像素子３２上の上下方向の結
像位置をＣＣＤ撮像素子３２の光軸中心からの距離ｖで
表わすと、先行車両２までの距離ｙは、三角測量の原理
より次の式（４）で得られる。
【００２５】
【数２】
【００２６】従って、Ｒ−θ座標の位置情報（Ｒ、θ）
を変換して得たＸ−Ｙ座標の位置情報（ｘ、ｙ）を、式
（３）、（４）式に代入すればＨ−Ｖ座標上での先行車
両２の位置情報（ｈ、ｖ）が得られる。このようにして
得られたＨ−Ｖ座標上における先行車両２の位置情報は
座標変換手段５２から先行車両検出手段５３に与えられ
る。
【００２７】図７は、先行車両検出手段５３の動作を説
明するための説明図である。同図は、レーザーレーダ４
による先行車両２１、２２のレフレクタの検出結果を、
前述した座標変換に従ってＨ−Ｖ座標に変換した後ＣＣ
Ｄカメラ３による前方画像６に重畳表示した様子を示し
ている。図中ａ１、ａ２は自車レーン先行車両２１のレ
ーザーレーダ４による検出結果をＨ−Ｖ座標上に変換し
たものを示し、ｂ１、ｂ２は隣接レーン先行車両２２の
レーザーレーダ４による検出結果をＨ−Ｖ座標上に変換
したものを示している。以下、自車レーン先行車両２１
の特定の手順について述べる。レーザーレーダ４による
検出結果ａ１について、そのＶ座標位置がｖである場
合、そのラインｖ上における白線検出結果ｈ１、ｈ４
と、該検出結果ａ１のＨ座標位置ｈ２とを比較し、その
大小関係がｈ１＜ｈ２＜ｈ４を満たしていれば、該検出
結果ａ１は自車レーン７内にあると判定する。同様に、
他の検出結果ａ２、ｂ１、ｂ２についても同様の処理を
行い、自車レーン７内であるか否かの判定を行う。そし
て、ａ１、ａ２が自車レーン７内にあれば先行車両２１
は自車レーン先行車両であると判定する。また、ｂ１、
ｂ２のように自車レーン７から逸脱しているときは、先
行車両２２は自車レーン先行車両ではないと判定する。
以上の様にして自車レーン７内の先行車両２１と、隣接
レーン８内の先行車両２２とを分離することができる。
【００２８】従って実施の形態１によれば、自車レーン
先行車両２１と隣接レーン先行車両２２との区別をする
ことができる。
【００２９】また、レーザーレーダ４の位置情報により
自車レーン先行車両２１と隣接レーン先行車両２２との
位置を知ることができる。
【００３０】また、これらの情報を車両制御に用いて、
より正確な車両制御を行うことができる。
【００３１】なお、座標系の合わせ方としては、上述し
たＲ−θ座標をＨ−Ｖ座標に変換する方法と、Ｈ−Ｖ座
標をＲ−θ座標に変換する方法とが考えられる。しかし
ながら、ＣＣＤカメラ３による検出結果は、レーザーレ
ーダ４による検出結果に比し検出物が遠方であるほどそ
の分解能が悪くなるのでＨ−Ｖ座標をＲ−θ座標に変換
した場合には遠方にて非常に粗く不安定な結果となる。
従って上述のように、検出物が遠方であっても比較的に
正確な検出結果が得られるレーザーレーダ４の検出結果
であるＲ−θ座標を、ＣＣＤカメラ３のＨ−Ｖ座標に変
換する方法を採る方が望ましい。
【００３２】実施の形態２．次に実施の形態２について
述べる。実施の形態１に於いては、レーザーレーダ４に
て検出された各々の検出点ａ１、ａ２、ｂ１及びｂ２の
一つ一つについて、Ｒ−θ座標をＸ−Ｙ座標、Ｈ−Ｖ座
標に順次変換し、Ｈ−Ｖ座標上における検出点の情報と
白線検出結果とを比較するようにしているが、検出対象
を自動車に限った場合には、座標変換手段５２による座
標変換を実施する前の段階にて、各検出点を車毎にまと
めて一つの代表点で表わしても良い。また、この様にし
た方が、以降の処理に於ける処理対象の点数が減るので
処理量を軽減できる。図８は、実施の形態２による装置
の構成を示すブロック図であって、同図中５４は、レー
ザーレーダ４により検出された検出物の複数個の検出点
を一つの代表的な点にまとめると共に、その座標を演算
する代表点演算手段で、この代表点演算手段５４は代表
座標演算手段を構成している。図９は代表点演算手段５
４の動作を説明する説明図であって、図において（ａ）
はレーザーレーダ４により自車レーン先行車両２１の位
置情報が複数個得られる様子を示しており、（ｂ）はこ
の複数個の位置情報を一つの代表点Ｐにまとめた様子を
示している。レーザーレーダ４から照射されるレーザー
ビームは、自車レーン先行車両２１のレフレクタや車体
等で反射され、自車レーン先行車両２１に関して複数個
の位置情報が得られる。代表点演算手段５４は、この複
数個の位置情報を受け、Ｒ−θ座標上にて検出された複
数個の検出点について、まず、Ｘ−Ｙ座標に変換する。
次にＹ座標上の位置が同一である近傍の検出点どうしを
一つの群にまとめて、その重心位置をもとめ、これを、
図９（ｂ）に示す様に車の代表点Ｐとして出力する。以
降の処理は前述した実施の形態１の場合と同様であっ
て、座標変換手段５２、先行車両検出手段５３により、
上述の処理が順次行われる。
【００３３】従って実施の形態２によれば、実施の形態
１の作用効果に加えて演算の軽減、あるいは演算の高速
化を図ることができる。
【００３４】なお、実施の形態２では複数個の検出点の
重心位置を代表点として使用したが、これに限らず、あ
る検出物から得られる複数個の位置情報を一つの位置情
報で代表するものであればよい。
【００３５】実施の形態３．次に、お互いの光軸を一致
させたレーザーレーダとカメラとを有する周辺監視装置
の故障判定方法と、その方法を実施する装置に付き実施
の形態３で説明する。ここでは、お互いの光軸を一致さ
せたレーザーレーダとカメラとを有する周辺監視装置の
一例として、上述の実施の形態を援用して説明する。例
えば、上述の実施態様ではＣＣＤカメラ３の光軸とレー
ザーレーダ４の光軸とを一致させて取り付けている。し
かしながら、ＣＣＤカメラ３又は、レーザーレーダ４の
光軸が何等かの原因でずれた場合、先行車両が自車レー
ン内のものであるか否かという判定が正しく行われない
ことになる。以下の実施の形態３は、この光軸ずれの検
出方法とこれを実施する装置に関するものである。ま
ず、周辺監視装置の故障判定方法の手順について述べ
る。レーザーレーダにより周辺に存在する車両を検出す
る。このレーザーレーダにより検出された車両からは複
数個の検出点が得られるので、演算の簡略化のためにこ
れらの複数個の検出点の代表的な座標を演算する。そし
てこの代表的な座標がカメラの画像上のどこに位置する
かを知るために、代表的な座標をカメラの画像上の座標
軸であるＨ−Ｖ座標系に変換する。次にこの変換された
車両の代表的な座標を基準として所定領域を指定するウ
ィンドウを画像上に設定する。もし、レーザーレーダの
光軸とカメラの光軸とが一致しているならば、上述のウ
インドウの中に車両が存在するはずである。従って、ウ
ィンドウ内の画像信号を処理して該ウインドウ内に車両
が存在するか否かを判定し、これによりカメラの光軸と
レーザレーダの光軸とが一致しているか否かを判定す
る。
【００３６】では、この故障判定方法を実施する装置に
ついて以下説明する。図１０は実施の形態３の構成を示
すブロック図である。同図に於いて５５はＣＣＤカメラ
３の出力に接続された輪郭線検出手段である。輪郭線検
出手段５５は、ＣＣＤカメラ３で撮影した前方道路の画
像６を画像処理して輪郭線画像を得る。レーザーレーダ
４の出力は上述の実施の態様のものと同等な代表点演算
手段５４に接続されている。この代表点演算手段５４の
出力は、上述の実施の態様のものと同等な座標変換手段
５２に接続されている。５６は輪郭線検出手段５５の出
力と座標変換手段５２の出力とに接続された光軸不一致
検出手段である。光軸不一致検出手段５６は、前述した
座標変換手段５２によりＨ−Ｖ座標上に表わされた車両
の代表的な位置を基準として輪郭線検出手段５５で得た
輪郭線画像上にウインドウを設定し、このウインドウ内
に車両が存在するか否かによりＣＣＤカメラ３とレーザ
ーレーダ４との光軸の一致あるいは不一致を判定する。
【００３７】図１１は、光軸不一致検出手段５６の詳細
な構成を示すブロック図である。５６１は座標変換手段
５２の出力と輪郭線検出手段５５の出力とが入力される
ウインドウ設定手段である。ウインドウ設定手段５６１
は、座標変換手段５２から出力される自車レーン先行車
両２１を示す代表点ＰのＨ−Ｖ座標を基準として輪郭線
画像上に所定領域を指定するウインドウを設定する。５
６２は座標変換手段５２の出力が入力されるウインドウ
補正手段である。ウインドウ補正手段５６２の出力はウ
インドウ設定手段５６１に与えられており、座標変換手
段５２から得られる代表点Ｐまでの距離に応じて、ウイ
ンドウ設定手段５６１で設定するウインドウの領域を補
正する。５６３はウインドウ設定手段の出力が入力され
るヒストグラム演算手段である。ヒストグラム演算手段
５６３は、ウインドウ補正手段５６２により補正された
ウインドウ内に存在する輪郭線のヒストグラムを演算す
る。５６４は座標変換手段５２の出力が入力される比較
基準値設定手段である。比較基準値設定手段５６４は、
座標変換手段５２から得られる代表点Ｐまでの距離に応
じて比較基準値を設定する。５６５はヒストグラム演算
手段５６３の出力と比較基準値設定手段５６４の出力と
が入力される比較手段である。比較手段５６５は、ヒス
トグラム演算手段５６３と比較基準値演算手段５６４と
の出力を受け両者を比較し、ヒストグラムの最大値が所
定時間に亘って比較基準値以上であるときウインドウ内
に車両が存在すると判定する。そして、これによりＣＣ
Ｄカメラ３の光軸とレーザーレーダ４の光軸とが一致し
ていると判定する。この判定結果は、図示しない後段の
処理回路に出力される。なお、ヒストグラム演算手段５
６３、比較基準値演算手段５６４及び比較手段５６５
は、光軸判定手段１００を構成している。５６６は座標
変換手段５２の出力が入力される光軸判定禁止手段であ
る。光軸判定禁止手段５６６は、座標変換手段５２から
得られる代表点Ｐまでの距離が所定距離以上であるとき
には比較手段５６５による光軸の一致あるいは不一致の
判定を禁止する。
【００３８】図１０乃至図１２を用いて実施の形態３の
動作を以下詳細に説明する。図１２は、実施の形態３の
動作を説明する説明図である。図１２において（ａ）は
光軸が一致している場合の輪郭線画像とレーザーレーダ
による車両検出位置の関係を示している。同図におい
て、２０１は代表点Ｐを基準にして設定されるウインド
ウ、２０２はウインドウ２０１内に存在する輪郭線の水
平成分を積算したヒストグラム、２０３はウインドウ２
０１内に存在する輪郭線の垂直成分を積算したヒストグ
ラム、２０４、２０５はヒストグラム２０２、２０３と
比較される比較基準値である。まず、レーザーレーダ４
により先行車両を検出する。次に、この先行車両の複数
の検出点の位置情報は代表点演算手段５４に入力され、
代表点演算手段５４では上述の実施態様で説明したのと
同様に、これら複数個の検出点を代表する代表点Ｐを演
算する。代表点Ｐの座標は座標変換手段５２に入力さ
れ、座標変換手段５２においてＨ−Ｖ座標に変換され
る。この変換された代表点Ｐの座標は、ウインドウ設定
手段５６１に与えられる。また、座標変換手段５２から
は、ウインドウ補正手段５６２、比較基準値設定手段５
６４及び光軸判定禁止手段５６６に代表点Ｐと自車１と
の距離の情報が与えられる。この距離の情報は、座標変
換する前の距離Ｒでも良いし座標変換後のＹ軸上の距離
ｙでも良い。一方、輪郭線検出手段５５は、ＣＣＤカメ
ラ３で撮影された画像を処理して画像中の輪郭線のみを
抽出した輪郭線画像を作成しウインドウ設定手段５６１
に与える。ウインドウ設定手段５６１は、座標変換手段
５２及び輪郭線検出手段５５の出力を受け、図１２に示
す如く代表点Ｐを基準としてその上方にウインドウ２０
１を仮設定する。ウインドウ補正手段５６２には座標変
換手段５２の出力が与えられており、ウインドウ補正手
段５６２は仮設定したウインドウ２０１で指定される領
域の大きさを代表点Ｐまでの距離に応じて補正する。即
ち、距離が近いほど領域を大きく補正して設定すると共
に、距離が遠いほど領域を小さく補正して設定する。
尚、ここでウインドウ２０１を代表点Ｐの上方に設定す
るのは、代表点Ｐが座標変換の原理上、道路表面での車
両位置を表わしているからである。
【００３９】ヒストグラム演算手段５６３では、ウイン
ドウ設定手段５６１の出力に基づきウインドウ２０１内
について、上述したヒストグラム２０２及び２０３を求
める。ヒストグラム２０２は、ウインドウ２０１内につ
いて、輪郭線の画素数を水平方向に各行のライン毎に積
算して求める。同様にヒストグラム２０３は、垂直方向
の各列にライン毎に積算して求める。この際、水平度、
又は、垂直度を強調する為に、同一ライン内にて隣接す
る画素のみの個数を積算しても良い。この強調は車両以
外の線分を除去するのに効果的である。
【００４０】比較基準値設定手段５６４には座標変換手
段５２の出力が与えられており、比較基準値設定手段５
６４は代表点Ｐまでの距離に応じて比較基準値２０４、
２０５を設定する。この比較基準値２０４、２０５は、
代表点Ｐまでの距離が近いほど大きく設定されると共
に、距離が遠いほど小さく設定される。これは、代表点
Ｐまでの距離が遠いほどＣＣＤカメラ３により撮影され
る車両の像が小さくなり、これによって輪郭線画像上の
輪郭線も減少するためである。なお、比較基準値２０
４、２０５は同じ値である必要はなく、比較基準値２０
４をヒストグラム２０２の特性に合わせて設定すると共
に、比較基準値２０５をヒストグラム２０３の特性に合
わせて設定するようにしても良い。比較手段５６５で
は、ヒストグラム演算手段５６３と比較基準値設定手段
５６４の出力を受け、求めたヒストグラム２０２の最大
値が比較基準値２０４以上あり、かつヒストグラム２０
３の最大値が比較基準値２０５以上ある状態が所定時間
以上継続した時、ウインドウ２０１内に車両が存在する
と判定する。即ち、図１２（ａ）において、ヒストグラ
ム２０２の最大値２０６は比較基準値２０４以上であ
り、かつ、ヒストグラム２０３の最大値２０７は比較基
準値２０５以上である。比較手段５６５は、この状態が
所定時間以上継続したときウインドウ２０１内に車両が
存在すると判定する。自動車を輪郭線画像で表した場合
には、通常、多くの水平成分、及び、垂直成分が含まれ
ている。これは自動車の外形が多くの水平成分及び垂直
成分を有しているためである。これに対して、道路上の
画像にはそれらの成分は殆ど含まれていない。また、仮
に含まれていたとしても、自車１の速度と同じ速度で後
方に流れ去ってしまうので問題とならない。従って、Ｈ
−Ｖ座標上に表わされたウインドウ内の輪郭線画像にこ
れらの水平成分、及び垂直成分が多く含まれている場合
はウインドウ内に車両が存在すると判定できる。逆に、
それらの成分があまり含まれていない場合はウインドウ
内に車両が存在しないと判定できる。
【００４１】尚、上述の所定時間はウインドウ２０１内
の車両の有無を確実に判定するためのものであって、ノ
イズの影響あるいは一時的に条件を満足したに過ぎない
場合などを除去し得るように設定されている。そして比
較手段５６５がウインドウ２０１内に車両が存在すると
判定した場合には、ＣＣＤカメラ３の光軸とレーザーレ
ーダ４の光軸とが一致していると見なすことができる。
この判定結果は、光軸の一致あるいは不一致の判定結果
として後段の演算処理に用いられる。ここで、後段の演
算処理とは、車間制御などの車両制御である。
【００４２】図１２（ｂ）は、ＣＣＤカメラ３あるいは
レーザーレーダ４の内いずれか一方の光軸がずれている
場合を示している。この図では、例としてレーザーレー
ダ４の光軸は正しく設定されているが、ＣＣＤカメラ３
の光軸が右方向にずれている場合を示したものであっ
て、結果として車両の位置が左方向にずれて撮影されて
いる。この様に、ＣＣＤカメラ３の光軸とレーザーレー
ダ４の光軸とがずれている場合には、車両はウインドウ
２０１とはずれて撮影される。車両がずれて撮影された
場合、ウインドウ２０１内には車両による輪郭線の水平
成分、及び垂直成分が存在しない為、そのヒストグラム
２０２、２０３の値も小さなものとなってしまう。図に
示すようにヒストグラム２０２の最大値２０６は比較基
準値２０４未満であると共に、ヒストグラム２０３の最
大値２０７は比較基準値２０５未満であって、上述の車
両が存在するための条件を満足していない。従って、比
較手段５６５はウインドウ２０１内に車両が存在しない
と判定し、この場合にはレーザーレーダ３とカメラ４の
光軸がずれていると見なされる。
【００４３】最後に光軸判定を禁止する場合について説
明する。上述したように、代表点Ｐまでの距離が遠くな
るほどＣＣＤカメラ３で撮影された画像上の車両の像が
小さくなり、ウインドウ２０１内の輪郭線の数が減少す
る。これに応じて比較基準値２０４、２０５を小さくす
ればある程度の距離までは対応できる。しかしながら、
代表点Ｐまでの距離があまりに遠くなって車両の像が小
さくなり過ぎると、車両の有無に拘わらず、ウインドウ
２０１内の輪郭線の数に差違が殆ど無くなる。また、代
表点Ｐまでの距離に応じて比較基準値２０４、２０５を
小さくすると、今度はノイズによる車両の誤検出の恐れ
が生じる。そこで、実施の形態３では光軸判定の範囲を
限定しており、代表点Ｐまでの距離が所定距離以上の場
合には、比較手段の比較動作を禁止するようにしてい
る。具体的に述べると、光軸判定禁止手段５６６には座
標変換手段５２の出力が与えられており、代表点Ｐまで
の距離が所定距離以上の場合には比較手段５６５に比較
禁止信号を与えてＣＣＤカメラ３の光軸とレーザーレー
ダ４の光軸との一致あるいは不一致の判定を禁止するよ
うにしている。尚、上述の所定距離は、ＣＣＤカメラ３
によって撮影される車両の像の大きさが充分ある距離に
設定されており、この距離内であれば車両の有無により
ウインドウ２０１内の輪郭線の数が充分異なり、また比
較基準値２０４、２０５はノイズが生じても車両の有無
を誤判定することがない大きな値に設定されている。な
お、この所定距離は、具体的には数十メートルである。
【００４４】以上のように実施の形態３によれば、ＣＣ
Ｄカメラ３の光軸とレーザーレーダ４の光軸とが一致し
ているか否かを判定することができる。
【００４５】また、輪郭線画像中にウインドウ２０１を
設定するようにしたので、ヒストグラム２０２、２０３
の演算処理を簡単且つ短時間で行うことができる。
【００４６】また、代表点Ｐまでの距離に応じてウイン
ドウ２０１の大きさを補正しているので、車両以外の輪
郭線がウインドウ２０１内に存在することが少なくな
り、ウインドウ２０１内の車両の有無を精度良く判定す
ることができる。
【００４７】また、代表点Ｐまでの距離に応じて比較基
準値２０４、２０５を補正しているので、ウインドウ２
０１内の車両の有無を精度良く判定することができる。
【００４８】また、代表点Ｐまでの距離が所定距離以上
の場合はＣＣＤカメラ３の光軸とレーザーレーダ４の光
軸との一致あるいは不一致の判定を禁止しているので、
光軸が一致しているか否かの判定を誤ることがない。
【００４９】なお、実施の形態３では、上述の実施の形
態を用いてその内容を説明した。しかしながら、実施の
形態３の適用範囲は上述の実施の形態に限られるもので
はない。レーザーレーダとカメラの光軸をお互いに一致
させて使用する周辺監視装置であればどのようなもので
も、その光軸のずれを判定することができる。
【００５０】本発明の精神及び範囲から逸脱することな
く本発明の広範囲の異なる実施態様が構成され得る。本
発明は、添付クレームにおいて規定されたもの以外は、
その特定の実施の形態に制約されるものではない。
【図面の簡単な説明】
【図１】 この発明の数多の実施の形態の装置を車両に
取り付けた様子を示す説明図である。
【図２】 実施の形態１の構成を示すブロック図であ
る。
【図３】 車両に取り付けられたＣＣＤカメラによる前
方道路の撮影画像である。
【図４】 各座標系での先行車両の位置情報を示す説明
図である。
【図５】 車両に取り付けられたレーザーレーダによる
先行車両の検出の様子を示す説明図である。
【図６】 車両に取り付けられたＣＣＤカメラによる先
行車両の検出の様子を示す説明図である。
【図７】 レーザーレーダで捉えた検出物の位置情報を
座標変換して画像上の座標軸に合わせた様子を説明する
説明図である。
【図８】 実施の形態２の構成を示すブロック図であ
る。
【図９】 代表点演算手段の動作を説明する説明図であ
る。
【図１０】 実施の形態３の構成を示すブロック図であ
る。
【図１１】 実施の形態３で使用される光軸不一致検出
手段の好ましい構成を示すブロック図である。
【図１２】 実施の形態３の動作の様子を説明する説明
図である。
【符号の説明】
１ 自車 ２ 先行車両 ３ ＣＣＤカメラ ４ レーザーレー
ダ ５ 処理装置 ６ 撮影画像 ７ 自車レーン ８ 隣接レーン ９、１０ 対向車線 ２１ 自車レーン
先行車両 ２２ 隣接レーン先行車両 ３１ レンズ ３２ ＣＣＤ撮像素子 ５１ 自車レーン
検出手段 ５２ 座標変換手段 ５３ 先行車両検
出手段 ５４ 代表点演算手段 ５５ 輪郭線検出
手段 ５６ 光軸不一致検出手段 ６１ 左側白線 ６２ 右側白線 ６３ 所定の走査
ライン ６４ 所定の走査ラインにおける映像信号 １００ 光軸判定手段 ２０１ ウインド
ウ ２０２、２０３ ヒストグラム ２０４、２０５
比較基準値 ２０６、２０７ ヒストグラムの最大値 ５６１ ウインドウ設定手段 ５６２ ウインド
ウ補正手段 ５６３ ヒストグラム演算手段 ５６４ 比較基準
値設定手段 ５６５ 比較手段 ５６６ 光軸判定
禁止手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０１Ｓ 17/42 Ｇ０１Ｓ 17/42 17/93 17/88 Ａ

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 自動車に搭載され道路上を撮影するカメ
    ラと、このカメラから出力される画像信号を処理して自
    車レーンの画像上での座標を検出する自車レーン検出手
    段と、前記自動車に搭載されその光軸中心が前記カメラ
    の光軸と一致する様に設置されたビーム走査方式のレー
    ザーレーダと、このレーザーレーダにより検出された検
    出物の座標を前記画像上の座標軸に合わせて変換する座
    標変換手段と、この変換された座標と前記自車レーンの
    座標とを比較することにより前記自車レーン内の検出物
    と前記自車レーン外の検出物とを分離する分離手段とを
    備えたことを特徴とする周辺監視装置。
  2. 【請求項２】 レーザーレーダにより検出された検出物
    の代表的な座標を演算する代表座標演算手段を備え、座
    標変換手段は前記代表的な座標を画像上の座標軸に合わ
    せて変換することを特徴とする請求項１記載の周辺監視
    装置。
  3. 【請求項３】 自動車に搭載され道路上を撮影するカメ
    ラと、前記自動車に搭載されその光軸中心が前記カメラ
    の光軸と一致する様に設置されたビーム走査方式のレー
    ザーレーダと、このレーザーレーダにより検出された車
    両の代表的な座標を演算する代表座標演算手段と、この
    代表的な座標を前記カメラの画像上の座標軸に合わせて
    変換する座標変換手段と、この座標変換手段により変換
    された前記代表的な座標を基準として所定領域を指定す
    るウィンドウを設定するウィンドウ設定手段と、このウ
    ィンドウ内の画像信号を処理して該ウインドウ内に車両
    が存在するか否かにより前記カメラの光軸と前記レーザ
    ーレーダの光軸とが一致しているか否かを判定する光軸
    判定手段とを備えたことを特徴とする周辺監視装置の故
    障判定装置。
  4. 【請求項４】 ウィンドウにて指定される所定領域の大
    きさをレーザーレーダにより検出された車両の代表的な
    座標で表される距離に応じて変更するウインドウ補正手
    段を備え、光軸判定手段は、補正されたウインドウ内に
    存在する輪郭線のヒストグラムを演算するヒストグラム
    演算手段と、このヒストグラムと比較される比較基準値
    を前記距離に応じて設定する比較基準値設定手段と、前
    記ヒストグラムと前記比較基準値とを比較して前記ヒス
    トグラムの最大値が所定時間に亘って前記比較基準値以
    上であるとき前記補正されたウインドウ内に車両が存在
    すると判定する比較手段とを備えたことを特徴とする請
    求項３記載の周辺監視装置の故障判定装置。
  5. 【請求項５】 レーザーレーダにより検出された車両の
    代表的な座標で表される距離が所定距離以上であるとき
    はカメラの光軸とレーザーレーダの光軸との一致あるい
    は不一致の判定を禁止する光軸判定禁止手段を備えたこ
    とを特徴とする請求項４記載の周辺監視装置の故障判定
    装置。
  6. 【請求項６】 自動車に搭載され道路上を撮影するカメ
    ラから出力される画像信号を処理して自車レーンの画像
    上での座標を検出するステップと、前記自動車に搭載さ
    れその光軸中心が前記カメラの光軸と一致する様に設置
    されたビーム走査方式のレーザーレーダにより検出され
    た検出物の座標を前記画像上の座標軸に合わせて変換す
    るステップと、前記画像上の座標に変換された前記検出
    物の座標と前記自車レーンの座標とを比較することによ
    り前記検出物が前記自車レーン内にあるか否かを判定す
    るステップとを有することを特徴とする車両の周辺監視
    方法。
  7. 【請求項７】 自動車に搭載され道路上を撮影するカメ
    ラと、前記自動車に搭載されその光軸中心が前記カメラ
    の光軸と一致する様に設置されたビーム走査方式のレー
    ザーレーダとを備えた周辺監視装置において、前記レー
    ザーレーダにより検出された車両の代表的な座標を演算
    するステップと、この代表的な座標を前記カメラの画像
    上の座標軸に合わせて変換するステップと、この変換さ
    れた前記車両の代表的な座標を基準として所定領域を指
    定するウィンドウを設定するステップと、このウィンド
    ウ内の画像信号を処理して該ウインドウ内に車両が存在
    するか否かにより前記カメラの光軸と前記レーザレーダ
    の光軸とが一致しているか否かを判定するステップとを
    備えたことを特徴とする周辺監視装置の故障判定方法。
JP7300214A 1995-11-17 1995-11-17 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 Pending JPH09142236A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP7300214A JPH09142236A (ja) 1995-11-17 1995-11-17 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
US08/652,683 US5617085A (en) 1995-11-17 1996-05-30 Method and apparatus for monitoring the surroundings of a vehicle and for detecting failure of the monitoring apparatus
DE19629775A DE19629775B4 (de) 1995-11-17 1996-07-23 Verfahren und Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs und zur Erfassung eines Ausfalls der Überwachungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7300214A JPH09142236A (ja) 1995-11-17 1995-11-17 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置

Publications (1)

Publication Number Publication Date
JPH09142236A true JPH09142236A (ja) 1997-06-03

Family

ID=17882098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7300214A Pending JPH09142236A (ja) 1995-11-17 1995-11-17 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置

Country Status (3)

Country Link
US (1) US5617085A (ja)
JP (1) JPH09142236A (ja)
DE (1) DE19629775B4 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998020302A1 (en) * 1996-11-06 1998-05-14 Komatsu Ltd. Device for detecting obstacle on surface of traveling road of traveling object
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
JPH1172563A (ja) * 1997-08-28 1999-03-16 Nissan Motor Co Ltd 前方認識装置
US6590521B1 (en) * 1999-11-04 2003-07-08 Honda Giken Gokyo Kabushiki Kaisha Object recognition system
JP2003228800A (ja) * 2002-02-01 2003-08-15 Nissan Motor Co Ltd 車両用推奨操作量生成装置
JP2004171391A (ja) * 2002-11-21 2004-06-17 Nissan Motor Co Ltd 車両用推奨操作量生成装置
US6873911B2 (en) 2002-02-01 2005-03-29 Nissan Motor Co., Ltd. Method and system for vehicle operator assistance improvement
JP2015187589A (ja) * 2014-03-27 2015-10-29 三菱電機株式会社 センサ軸ずれ検出装置およびセンサ軸ずれ検出方法
JP2016038261A (ja) * 2014-08-06 2016-03-22 株式会社デンソー 物体認識装置
KR20160065339A (ko) * 2014-11-28 2016-06-09 한국도로공사 영상식 차량검지기의 성능평가를 위한 교통정보 수집장치 및 원격 모니터링 시스템
CN108983206A (zh) * 2018-06-06 2018-12-11 成都昊图新创科技有限公司 带通讯功能的激光测距装置及定位系统
JP2019518222A (ja) * 2016-03-11 2019-06-27 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
WO2020250528A1 (ja) * 2019-06-14 2020-12-17 マツダ株式会社 外部環境認識装置
US11398075B2 (en) 2018-02-23 2022-07-26 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
US11506500B2 (en) 2016-03-11 2022-11-22 Kaarta, Inc. Aligning measured signal data with SLAM localization data and uses thereof
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US11815601B2 (en) 2017-11-17 2023-11-14 Carnegie Mellon University Methods and systems for geo-referencing mapping systems
US11830136B2 (en) 2018-07-05 2023-11-28 Carnegie Mellon University Methods and systems for auto-leveling of point clouds and 3D models
US12014533B2 (en) 2018-04-03 2024-06-18 Carnegie Mellon University Methods and systems for real or near real-time point cloud map data confidence evaluation

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
JPH07189795A (ja) * 1993-12-28 1995-07-28 Hitachi Ltd 自動車の制御装置及び制御方法
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
US5835028A (en) * 1997-05-05 1998-11-10 Bender; Lee Lane marker position sensor and alarm
JPH1166488A (ja) * 1997-08-21 1999-03-09 Honda Motor Co Ltd 白線認識装置
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
JPH1186182A (ja) * 1997-09-01 1999-03-30 Honda Motor Co Ltd 自動運転制御システム
US5926126A (en) * 1997-09-08 1999-07-20 Ford Global Technologies, Inc. Method and system for detecting an in-path target obstacle in front of a vehicle
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6690268B2 (en) * 2000-03-02 2004-02-10 Donnelly Corporation Video mirror systems incorporating an accessory module
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US5899956A (en) * 1998-03-31 1999-05-04 Advanced Future Technologies, Inc. Vehicle mounted navigation device
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
FR2779518B1 (fr) * 1998-06-09 2000-08-18 Thomson Csf Procede optique de reconstruction du trace d'une voie le long de laquelle se deplace un vehicule guide
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
DE19921449C1 (de) * 1999-05-08 2001-01-25 Daimler Chrysler Ag Leithilfe bei einem Fahrspurwechsel eines Kraftfahrzeuges
JP2000339589A (ja) * 1999-05-25 2000-12-08 Fujitsu Ltd 車両の交通安全補助システムおよび記録媒体
US20050162513A1 (en) * 1999-07-07 2005-07-28 Advanced Future Technologies, Inc. Vehicle mounted navigation and incident recording device and method of operating
JP2001134772A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP4205825B2 (ja) * 1999-11-04 2009-01-07 本田技研工業株式会社 対象物認識装置
JP3822770B2 (ja) 1999-12-10 2006-09-20 三菱電機株式会社 車両用前方監視装置
DE10007501A1 (de) * 2000-02-18 2001-09-13 Daimler Chrysler Ag Verfahren und Vorrichtung zur Erfassung und Überwachung einer Mehrzahl von vorausfahrenden Fahrzeugen
JP4233723B2 (ja) * 2000-02-28 2009-03-04 本田技研工業株式会社 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
DE10011263A1 (de) * 2000-03-08 2001-09-13 Bosch Gmbh Robert Objektdetektionssystem
US6657176B2 (en) * 2000-04-12 2003-12-02 Autonetworks Technologies, Ltd. On-vehicle image pick-up apparatus and method of setting image pick-up direction
JP3627914B2 (ja) * 2000-05-23 2005-03-09 シャープ株式会社 車両の周囲監視システム
DE10025678B4 (de) * 2000-05-24 2006-10-19 Daimlerchrysler Ag Kamerabasiertes Precrash-Erkennungssystem
JP4953498B2 (ja) * 2000-07-12 2012-06-13 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
US6281806B1 (en) * 2000-10-12 2001-08-28 Ford Global Technologies, Inc. Driver road hazard warning and illumination system
FR2816264B1 (fr) * 2000-11-09 2003-02-21 Thomas Bleiner Dispositif de signalisation visuelle adaptable a un vehicule
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
EP1363810B1 (en) 2001-01-23 2007-05-30 Donnelly Corporation Improved vehicular lighting system
US7146260B2 (en) * 2001-04-24 2006-12-05 Medius, Inc. Method and apparatus for dynamic configuration of multiprocessor system
US10298735B2 (en) 2001-04-24 2019-05-21 Northwater Intellectual Property Fund L.P. 2 Method and apparatus for dynamic configuration of a multiprocessor health data system
US7027615B2 (en) * 2001-06-20 2006-04-11 Hrl Laboratories, Llc Vision-based highway overhead structure detection system
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
DE10133761A1 (de) * 2001-07-11 2003-01-30 Vitronic Dr Ing Stein Bildvera Verfahren und Vorrichtung zur virtuellen Lagebestimmung eines Fahrzeugaufbaus
US6559761B1 (en) 2001-10-05 2003-05-06 Ford Global Technologies, Llc Display system for vehicle environment awareness
US6636258B2 (en) 2001-10-19 2003-10-21 Ford Global Technologies, Llc 360° vision system for a vehicle
US6771208B2 (en) * 2002-04-24 2004-08-03 Medius, Inc. Multi-sensor system
US7178049B2 (en) * 2002-04-24 2007-02-13 Medius, Inc. Method for multi-tasking multiple Java virtual machines in a secure environment
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US6801843B2 (en) 2002-05-24 2004-10-05 Ford Global Technologies, Llc Vehicle pre-crash sensing based conic target threat assessment system
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
WO2003105099A1 (en) 2002-06-06 2003-12-18 Donnelly Corporation Interior rearview mirror system with compass
US7113098B1 (en) 2002-08-29 2006-09-26 Melvin Hayes Animal accident reduction systems, methods, and apparatuses
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
AU2003278863A1 (en) 2002-09-20 2004-04-08 Donnelly Corporation Mirror reflective element assembly
JP2004117071A (ja) * 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US7130730B2 (en) * 2002-10-25 2006-10-31 Ford Global Technologies Llc Sensing strategy for damage mitigation in compatability situations
US7253835B2 (en) * 2002-12-23 2007-08-07 Hrl Laboratories, Llc Method and apparatus for estimating a camera reference horizon
US6813561B2 (en) 2003-03-25 2004-11-02 Ford Global Technologies, Llc Relative positioning for vehicles using GPS enhanced with bluetooth range finding
US7289037B2 (en) 2003-05-19 2007-10-30 Donnelly Corporation Mirror assembly for vehicle
JP2005025692A (ja) * 2003-07-04 2005-01-27 Suzuki Motor Corp 車両用情報提供装置
DE10333670B4 (de) * 2003-07-18 2019-07-04 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zum Ermitteln des Fahrbahnverlaufes aus Bilddaten
US6834232B1 (en) 2003-07-30 2004-12-21 Ford Global Technologies, Llc Dual disimilar sensing object detection and targeting system
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
DE10349882A1 (de) * 2003-10-25 2005-05-25 Daimlerchrysler Ag Verfahren und Vorrichtung zur Abstandsregelung
DE102004008868A1 (de) * 2004-02-20 2005-09-08 Daimlerchrysler Ag Verfahren zur Spurerkennung einer Fahrspur für ein Kraftfahrzeug
US7337650B1 (en) 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7720580B2 (en) * 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
EP1684094A3 (de) 2005-01-24 2006-10-18 Robert Bosch Gmbh Optisches Triangulationsverfahren zur Abstandsbestimmung für Kraftfahrzeuganwendungen
ATE517368T1 (de) 2005-05-16 2011-08-15 Donnelly Corp Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil
JP2007024590A (ja) * 2005-07-13 2007-02-01 Toyota Motor Corp 物体検出装置
DE102005044979A1 (de) * 2005-09-20 2007-03-22 Adc Automotive Distance Control Systems Gmbh Verfahren zur Erkennung von Fahrspurmarkierungen
JP4218670B2 (ja) * 2005-09-27 2009-02-04 オムロン株式会社 前方撮影装置
JP2007104171A (ja) * 2005-10-03 2007-04-19 Omron Corp 前方監視装置
EP1949666B1 (en) 2005-11-01 2013-07-17 Magna Mirrors of America, Inc. Interior rearview mirror with display
EP1991905B1 (en) 2006-03-09 2011-05-11 Gentex Corporation Vehicle rearview assembly including a high intensity display
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
DE102006020930B4 (de) * 2006-05-05 2018-04-12 Conti Temic Microelectronic Gmbh Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug
CN101161524B (zh) * 2006-10-12 2010-10-27 财团法人车辆研究测试中心 侦测车距的方法与装置
JP2008116357A (ja) * 2006-11-06 2008-05-22 Toyota Motor Corp 物体検出装置
US7914187B2 (en) 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
US8027029B2 (en) 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
EP2179892A1 (de) 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
DE112008004069B4 (de) * 2008-12-18 2014-09-04 Toyota Jidosha Kabushiki Kaisha Radarsystem
US8964032B2 (en) 2009-01-30 2015-02-24 Magna Electronics Inc. Rear illumination system
US9358924B1 (en) 2009-05-08 2016-06-07 Eagle Harbor Holdings, Llc System and method for modeling advanced automotive safety systems
US8417490B1 (en) 2009-05-11 2013-04-09 Eagle Harbor Holdings, Llc System and method for the configuration of an automotive vehicle with modeled sensors
EP2302412B1 (en) * 2009-09-29 2012-08-15 Volvo Car Corporation System and method for evaluation of an automotive vehicle forward collision threat
US9848114B2 (en) 2009-12-07 2017-12-19 Cobra Electronics Corporation Vehicle camera system
EP2523831B2 (en) 2010-01-13 2024-05-29 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
EP2535881B1 (en) * 2010-02-08 2015-10-28 Obshchestvo s ogranichennoj otvetstvennost'ju "Korporazija "Stroy Invest Proekt M" Method and device for determining the speed of travel and coordinates of vehicles and subsequently identifying same and automatically recording road traffic offences
EP2663971A1 (en) 2010-11-15 2013-11-20 Image Sensing Systems, Inc. Hybrid traffic sensor system and associated method
US9472097B2 (en) 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
US9542846B2 (en) * 2011-02-28 2017-01-10 GM Global Technology Operations LLC Redundant lane sensing systems for fault-tolerant vehicular lateral controller
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
WO2013096704A1 (en) * 2011-12-20 2013-06-27 Sadar 3D, Inc. Systems, apparatus, and methods for acquisition and use of image data
US8886392B1 (en) 2011-12-21 2014-11-11 Intellectual Ventures Fund 79 Llc Methods, devices, and mediums associated with managing vehicle maintenance activities
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
CN102542634B (zh) * 2012-01-13 2014-05-21 北京理工大学 一种目标车辆行驶状态测量系统
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
JP5497248B1 (ja) * 2012-07-10 2014-05-21 本田技研工業株式会社 故障判定装置
WO2014033957A1 (ja) * 2012-09-03 2014-03-06 トヨタ自動車株式会社 衝突判定装置及び衝突判定方法
US9423498B1 (en) * 2012-09-25 2016-08-23 Google Inc. Use of motion data in the processing of automotive radar image processing
DE102012024874B4 (de) * 2012-12-19 2014-07-10 Audi Ag Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
US9279881B2 (en) 2013-03-12 2016-03-08 Escort Inc. Radar false alert reduction
US9598018B2 (en) 2013-03-15 2017-03-21 Gentex Corporation Display mirror assembly
DE102013211427B4 (de) * 2013-06-18 2016-10-13 Continental Automotive Gmbh Verfahren und Vorrichtung zur Ermittlung eines Fahrzustands eines externen Kraftfahrzeugs
AU2014326772B2 (en) 2013-09-24 2017-07-20 Gentex Corporation Display mirror assembly
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
US10705332B2 (en) 2014-03-21 2020-07-07 Gentex Corporation Tri-modal display mirror assembly
US9834146B2 (en) 2014-04-01 2017-12-05 Gentex Corporation Automatic display mirror assembly
US9930323B2 (en) * 2014-04-23 2018-03-27 GM Global Technology Operations LLC Method of misalignment correction and diagnostic function for lane sensing sensor
US9733348B2 (en) * 2014-07-03 2017-08-15 GM Global Technology Operations LLC Vehicle radar with beam adjustment
RU2557128C1 (ru) * 2014-08-05 2015-07-20 Владимир Семёнович Москалёв Устройство для обеспечения безопасности движения военной гусеничной машины
US9694751B2 (en) 2014-09-19 2017-07-04 Gentex Corporation Rearview assembly
WO2016073848A1 (en) 2014-11-07 2016-05-12 Gentex Corporation Full display mirror actuator
KR101977685B1 (ko) 2014-11-13 2019-05-13 젠텍스 코포레이션 디스플레이를 갖춘 후방 미러 시스템
KR101997815B1 (ko) 2014-12-03 2019-07-08 젠텍스 코포레이션 디스플레이 미러 어셈블리
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US10133947B2 (en) 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
JP2018513810A (ja) 2015-04-20 2018-05-31 ジェンテックス コーポレイション 装飾を備えた後方視認アセンブリ
WO2016187215A1 (en) 2015-05-18 2016-11-24 Gentex Corporation Full display rearview device
CN104960522B (zh) * 2015-06-18 2018-09-21 奇瑞汽车股份有限公司 自动跟车系统及其控制方法
KR102135427B1 (ko) 2015-06-22 2020-07-17 젠텍스 코포레이션 진폭-변조된 광의 깜박임을 보정하기 위해 스트리밍된 비디오 이미지를 처리하는 시스템 및 방법
DE102015220355A1 (de) * 2015-10-20 2017-04-20 Robert Bosch Gmbh Substitution von Sensormessdaten
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
WO2017075420A1 (en) 2015-10-30 2017-05-04 Gentex Corporation Toggle paddle
US9994156B2 (en) 2015-10-30 2018-06-12 Gentex Corporation Rearview device
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
US10145951B2 (en) 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
US10377376B2 (en) 2016-10-06 2019-08-13 Ford Global Technologies, Llc Vehicle with environmental context analysis
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
US20180191966A1 (en) 2016-12-30 2018-07-05 Gentex Corporation Full display mirror with on-demand spotter view
JP2018151940A (ja) * 2017-03-14 2018-09-27 株式会社デンソーテン 障害物検出装置および障害物検出方法
US10735638B2 (en) 2017-03-17 2020-08-04 Gentex Corporation Dual display reverse camera system
JP6579144B2 (ja) * 2017-03-28 2019-09-25 株式会社Ｓｏｋｅｎ 障害物検知装置
US10401484B2 (en) * 2017-06-30 2019-09-03 Aptiv Technologies Limited LiDAR sensor alignment system
US10509413B2 (en) 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
CN109085598A (zh) * 2018-08-13 2018-12-25 吉利汽车研究院（宁波）有限公司 用于车辆的障碍物探测系统
CN111028287B (zh) * 2018-10-09 2023-10-20 杭州海康威视数字技术股份有限公司 确定雷达坐标和摄像机坐标的转换矩阵的方法和装置
CN110068814B (zh) * 2019-03-27 2021-08-24 东软睿驰汽车技术（沈阳）有限公司 一种测量障碍物距离的方法及装置
TWM593950U (zh) * 2019-07-09 2020-04-21 威盛電子股份有限公司 駕駛輔助系統
CN110531377B (zh) * 2019-10-08 2022-02-25 北京邮电大学 雷达系统的数据处理方法、装置、电子设备和存储介质
CN111762090B (zh) * 2019-11-05 2021-11-23 扬州市生态科技新城杭集中小企业服务中心有限公司 远光灯实时提醒平台、方法及存储介质
CN111640301B (zh) * 2020-05-25 2021-10-08 北京百度网讯科技有限公司 故障车辆检测方法及包括路侧单元的故障车辆检测系统
CN111551122A (zh) * 2020-06-30 2020-08-18 上海振华重工(集团)股份有限公司 一种基于激光雷达的火车车皮数量和长度测量系统及方法
CN112763995B (zh) * 2020-12-24 2023-09-01 阿波罗智联(北京)科技有限公司 雷达标定方法、装置、电子设备和路侧设备
CN112977541A (zh) * 2021-03-17 2021-06-18 上海电气泰雷兹交通自动化系统有限公司 一种基于多技术融合的列车防护预警系统
EP4388243A4 (en) 2021-08-20 2024-12-04 Gentex Corporation LIGHTING ASSEMBLY AND LIGHTING SYSTEM HAVING A LIGHTING ASSEMBLY
CN113888892B (zh) * 2021-12-08 2022-04-19 禾多科技（北京）有限公司 道路信息提示方法、装置、电子设备和计算机可读介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5596475A (en) * 1979-01-19 1980-07-22 Nissan Motor Co Ltd Obstacle detector for vehicle
JP2646146B2 (ja) * 1990-03-28 1997-08-25 三菱電機株式会社 車間距離制御装置
US5161632A (en) * 1990-06-01 1992-11-10 Mitsubishi Denki K.K. Tracking control device for a vehicle
JPH0440313A (ja) * 1990-06-06 1992-02-10 Mitsubishi Electric Corp 先行車自動追尾車間距離検出装置
DE69124726T2 (de) * 1990-10-25 1997-07-03 Mitsubishi Electric Corp Vorrichtung zur Abstandsdetektion für ein Kraftfahrzeug
JPH04331311A (ja) * 1991-01-24 1992-11-19 Mitsubishi Electric Corp 車間距離検出装置
US5309137A (en) * 1991-02-26 1994-05-03 Mitsubishi Denki Kabushiki Kaisha Motor car traveling control device
JPH05113482A (ja) * 1991-10-22 1993-05-07 Omron Corp 車載用追突防止装置
US5461357A (en) * 1992-01-29 1995-10-24 Mazda Motor Corporation Obstacle detection device for vehicle

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998020302A1 (en) * 1996-11-06 1998-05-14 Komatsu Ltd. Device for detecting obstacle on surface of traveling road of traveling object
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
JPH1172563A (ja) * 1997-08-28 1999-03-16 Nissan Motor Co Ltd 前方認識装置
US6590521B1 (en) * 1999-11-04 2003-07-08 Honda Giken Gokyo Kabushiki Kaisha Object recognition system
JP2003228800A (ja) * 2002-02-01 2003-08-15 Nissan Motor Co Ltd 車両用推奨操作量生成装置
US6873911B2 (en) 2002-02-01 2005-03-29 Nissan Motor Co., Ltd. Method and system for vehicle operator assistance improvement
JP2004171391A (ja) * 2002-11-21 2004-06-17 Nissan Motor Co Ltd 車両用推奨操作量生成装置
US7085633B2 (en) 2002-11-21 2006-08-01 Nissan Motor Co., Ltd. System and method for improving vehicle operator driving assistance of automotive vehicle
JP2015187589A (ja) * 2014-03-27 2015-10-29 三菱電機株式会社 センサ軸ずれ検出装置およびセンサ軸ずれ検出方法
JP2016038261A (ja) * 2014-08-06 2016-03-22 株式会社デンソー 物体認識装置
KR20160065339A (ko) * 2014-11-28 2016-06-09 한국도로공사 영상식 차량검지기의 성능평가를 위한 교통정보 수집장치 및 원격 모니터링 시스템
JP2019518222A (ja) * 2016-03-11 2019-06-27 カールタ インコーポレイテッド リアルタイムオンラインエゴモーション推定を有するレーザスキャナ
US11506500B2 (en) 2016-03-11 2022-11-22 Kaarta, Inc. Aligning measured signal data with SLAM localization data and uses thereof
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US11585662B2 (en) 2016-03-11 2023-02-21 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US12493120B2 (en) 2016-03-11 2025-12-09 Carnegie Mellon University Laser scanner with real-time, online ego-motion estimation
US11815601B2 (en) 2017-11-17 2023-11-14 Carnegie Mellon University Methods and systems for geo-referencing mapping systems
US11398075B2 (en) 2018-02-23 2022-07-26 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
US12014533B2 (en) 2018-04-03 2024-06-18 Carnegie Mellon University Methods and systems for real or near real-time point cloud map data confidence evaluation
CN108983206A (zh) * 2018-06-06 2018-12-11 成都昊图新创科技有限公司 带通讯功能的激光测距装置及定位系统
US11830136B2 (en) 2018-07-05 2023-11-28 Carnegie Mellon University Methods and systems for auto-leveling of point clouds and 3D models
WO2020250528A1 (ja) * 2019-06-14 2020-12-17 マツダ株式会社 外部環境認識装置
JP2020204822A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置

Also Published As

Publication number Publication date
US5617085A (en) 1997-04-01
DE19629775B4 (de) 2008-04-10
DE19629775A1 (de) 1997-05-22

Similar Documents

Publication Publication Date Title
US5617085A (en) Method and apparatus for monitoring the surroundings of a vehicle and for detecting failure of the monitoring apparatus
US7376247B2 (en) Target detection system using radar and image processing
US6999896B2 (en) Identical object determination method and apparatus and displacement correction method and apparatus
KR100472800B1 (ko) 차간거리측정장치
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US20090122136A1 (en) Object detection device
US20030011509A1 (en) Method for detecting stationary object on road
JP2007104171A (ja) 前方監視装置
JP2005329779A (ja) 障害物認識方法及び障害物認識装置
JP4265931B2 (ja) 先行車両検出装置
JPH08329393A (ja) 先行車検出装置
JP5098563B2 (ja) 物体検出装置
JP3296055B2 (ja) 車載カメラを用いた距離検出装置
JPH08156723A (ja) 車両用障害物検出装置
JP2001195698A (ja) 歩行者検知装置
JP3384278B2 (ja) 距離計測装置
CN112485807A (zh) 物体识别装置
JPH07244717A (ja) 車両用走行環境認識装置
JP7647267B2 (ja) 信号機認識装置
JPH04193641A (ja) 車両用障害物検出装置
JP2006050451A (ja) 障害物警告システム及び画像処理装置
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP3287166B2 (ja) 距離測定装置
JPH0979847A (ja) 車載用距離測定装置
JPH1141521A (ja) 撮像装置および車間距離計測装置ならびに車間距離計測方法