JP2002308030A - 車両用周辺監視装置 - Google Patents

車両用周辺監視装置

Info

Publication number
JP2002308030A
JP2002308030A JP2001116939A JP2001116939A JP2002308030A JP 2002308030 A JP2002308030 A JP 2002308030A JP 2001116939 A JP2001116939 A JP 2001116939A JP 2001116939 A JP2001116939 A JP 2001116939A JP 2002308030 A JP2002308030 A JP 2002308030A
Authority
JP
Japan
Prior art keywords
vehicle
image
approaching
area
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2001116939A
Other languages
English (en)
Inventor
Hiroyuki Ogura
広幸 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2001116939A priority Critical patent/JP2002308030A/ja
Priority to US10/120,545 priority patent/US6556133B2/en
Publication of JP2002308030A publication Critical patent/JP2002308030A/ja
Abandoned legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/783—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems
    • G01S3/784—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from static detectors or detector systems using a mosaic of detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 隣接車線の撮像を妨げる、自車線を走行する
異常接近車両の存在を運転者に警報することにより、隣
接車線を走行する接近車両の検出ができないことを運転
者が知らずに走行するという事態を回避することができ
る車両用周辺監視装置を提供する。 【解決手段】 有無判定手段３ａ−３が、撮像手段によ
る隣接車線の撮像を妨げる、自車線を走行する異常接近
車両の有無を判定する。有無判定手段３ａ−３が有りと
判定したとき、警報発生手段５がその旨を伝える警報を
発生する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、車両用周辺監視
装置に係わり、特に、自動車などの車両に設置されたカ
メラ等の撮像手段によって、車両の周辺の道路を撮像
し、撮像された撮像画像を用いて走行している自車両の
周辺より接近してくる他車両を検知して運転者に警告を
与えるため車両の周辺を監視する車両用周辺監視装置に
関する。
【０００２】
【従来の技術】例えば、高速道路などの片側２車線以上
の道路を走行中の運転者が、車線の変更を行おうとした
場合、その車両（自車両）が変更しようとする隣接車線
に、自車両よりも速いスピードにて走行中の他車両（周
囲の他車両）が後側方から追い上げてきた場合などに、
前記他車両の存在を見落としたまま、運転者が車線の変
更を行うと、大事故につながる可能性が極めて高い。
【０００３】また、自車両と同一の車線を、後続して他
車両が走行している場合などにも、後続の他車両が自車
両よりも速いスピードであるときは、自車両が急ブレー
キをかけるなどすると追突される危険性があり、この意
味でも周囲の他車両を確実に認識しておくことが望まし
い。
【０００４】さらに、車線変更を行おうとした場合、自
車両が変更しようとする隣接車線の前方に、自車両より
も遅いスピードにて走行していた場合など、前側方の車
両に追突する危険性があり、やはり周囲の他車両を確実
に認識しておく必要がある。
【０００５】そこで、従来より、このような危険性の問
題を解決するための技術として、特開平７−５０７６９
号公報に記載された車両用周辺監視装置が知られてい
る。この車両用周辺監視装置について、図９を参照して
以下説明する。同図は、カメラ１によって得られる後側
方の撮像画像の変化を説明するための図であり、（ｂ）
は（ａ）に示す自車両を含む状況においてカメラ１が時
間ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像した
画像をそれぞれ示す。
【０００６】今、自車両は平坦な道を直進しているとす
ると、例えば後方に見える（ａ）に示される道路標識及
び建物に注目すると、時間の経過により時間ｔ、時間ｔ
＋Δｔにおいて、（ｂ）、（ｃ）に示されるような画像
が得られる。この２枚の画像において同一点を捜しそれ
らを結ぶと（ｄ）に示されるような速度ベクトルが得ら
れる。これがオプティカルフローである。このオプティ
カルフローにより従来の車両用周辺監視装置は、自車両
の周辺を走行中の車両との相対関係を監視することによ
って、自車両に接近してくる他車両の存在を検出すると
ともに、その旨を知らせる警報を発していた。
【０００７】また、例えば２台のカメラを使用して、一
方のカメラで撮像された画像の隣接する画素の輝度差を
調べて物体のエッジ点Ｐａ（図示せず）を検出し、検出
したエッジ点に対応する他方のカメラで撮像された画像
の対応点Ｐｂ（図示せず）を検出して、Ｐａ及びＰｂの
画素座標により自車両に対する接近他車両の位置を算出
し、算出された位置に基づいて自車両に接近してくる他
車両の存在を知らせる警報を発生するものもある。
【０００８】また、従来の技術では、図１０に示すよう
な片側３車線の直線高速道路での撮像画像を画像処理し
て、自車両が走行している車線の白線を検出すること
で、自車両の走行車線とその横の隣接車線領域とを識別
し、監視領域毎に他車両の検出を行うことにより、検出
した他車両が自車線、隣接車線の何れに存在するかを判
断するものもある。また、監視領域決定することで監視
不要なものについての処理時間を省いて処理の高速化を
図っている。
【０００９】
【発明が解決しようとする課題】ところで、上述したよ
うに接近車両が自車線、隣接車線の何れに存在するかを
識別可能に検出する車両用周辺監視装置では、以下に示
すような問題点がある。即ち、図１１（ａ）に示すよう
に、自車両の後続を走行する後続車両１００がある程度
離れた位置で走行している場合には、遠くの隣接車線を
走行する隣接車両２００までカメラ１によって撮像する
ことができる。
【００１０】しかしながら、図１１（ｂ）に示すよう
に、後続車両１００が自車両に対して異常に接近して走
行していると、カメラ１によって、遠方の隣接車線を走
行する隣接車両２００の撮像が行えず、近くを走行する
隣接車両２００しか撮像できなかったり、また近くの隣
接車両２００すら撮像できず、隣接車線の状況を認識す
ることができないという事態が発生する。
【００１１】上述したようにカメラが撮像した画像によ
り隣接車線の状況が認識できないと、車両用周辺監視装
置は、画像処理により隣接車線を走行する接近車両の検
出を行うことができないという問題があった。また、後
続車両１００が自車両に対して異常に接近すると、後続
車両１００の一部が隣接車線領域に撮像されるため、こ
の隣接車線領域に撮像される後続車両１００を、隣接車
両２００であるとして誤警報してしまうという問題もあ
った。また、カメラ１を車両前側方を撮像できるように
取り付けた場合も、自車両が前方車両に対して異常接近
していると、その異常接近前方車両によって同様の問題
が発生する。
【００１２】そこで、本発明は、上記のような問題点に
着目し、隣接車線の撮像を妨げる、自車線後続又は前方
を走行する異常接近車両の存在を運転者に警報すること
により、隣接車線領域を走行する接近車両の検出ができ
ないことを運転者が知らずに走行するという事態を回避
することができる車両用周辺監視装置を提供することを
課題とする。
【００１３】
【課題を解決するための手段】上記課題を解決するため
になされた請求項１記載の発明は、図１の基本構成図に
示すように、車両に搭載され、車両の周辺を撮像して撮
像画像を得る撮像手段１と、前記撮像画像を画像処理し
て、隣接車線領域から自車両に近づいてくる接近車両を
検出する接近車両検出手段３ａ−１と、該検出した接近
車両について危険を判断する危険判断手段３ａ−２とを
備える車両用周辺監視装置において、前記撮像手段によ
る前記隣接車線領域の撮像を妨げる、自車線後続又は前
方を走行する異常接近車両の有無を判定する有無判定手
段３ａ−３と、前記有無判定手段が有りと判定したと
き、その旨を伝える警報を発生する警報発生手段５とを
備えたことを特徴とする車両用周辺監視装置に存する。
【００１４】請求項１記載の発明によれば、撮像手段
が、車両に搭載され、車両の周辺を撮像して画像を得
る。接近車両検出手段が、撮像画像を画像処理して、隣
接車線領域から自車両に近づいてくる接近車両を検出す
る。危険判断手段が、検出した接近車両について危険を
判断する。有無判定手段が、撮像手段による隣接車線領
域の撮像を妨げる、自車線後続又は前方を走行する異常
接近車両の有無を判定する。有無判定手段が有りと判定
したとき、警報発生手段がその旨を伝える警報を発生す
る。従って、警報発生手段が、撮像手段による隣接車線
領域の撮像が妨げられている旨を知らせることにより、
運転者が隣接車線領域を走行する接近他車両の検出が不
可能であることを認識することができる。
【００１５】請求項２記載の発明は、図１の基本構成図
に示すように、請求項１記載の車両用周辺監視装置であ
って、前記有無判定手段は、前記撮像画像を画像処理し
て、当該撮像手段により撮像されている撮像車両を検出
する撮像車両検出手段３ａ−３１を有し、前記検出した
撮像車両に基づき、前記異常接近車両の有無を判定する
ことを特徴とする車両用周辺監視装置に存する。
【００１６】請求項２記載の発明によれば、有無判定手
段において、撮像車両検出手段が、撮像画像を画像処理
して、撮像手段により撮像されている撮像車両を検出
し、検出した撮像車両に基づき、異常接近車両の有無を
判定する。従って、撮像画像に基づき、異常接近車両を
検出することにより、撮像手段とは別途の手段を設ける
ことなく、異常接近車両の有無を判定することができ
る。
【００１７】請求項３記載の発明は、図１の基本構成図
に示すように、請求項２記載の車両用周辺監視装置であ
って、前記撮像車両検出手段は、車両の形状を表す車両
画像を予め格納する格納手段２ｄと、前記撮像画像中か
ら撮像車両の候補となる車両候補画像を抽出する抽出手
段３ａ−３１１と、前記車両画像と前記車両候補画像と
の類似度を演算する類似度演算手段３ａ−３１２とを備
え、該類似度が所定値以上のとき、撮像車両を検出する
ことを特徴とする車両用周辺監視装置に存する。
【００１８】請求項３記載の発明によれば、撮像車両検
出手段において、格納手段が、車両の形状を表す車両画
像を予め格納し、抽出手段が、撮像画像中から撮像車両
の候補となる車両候補画像を抽出し、類似度演算手段
が、車両画像と車両候補画像との類似度を演算し、類似
度が所定値以上の時、撮像車両を検出する。従って、車
両画像と車両候補画像との類似度を演算することによ
り、撮像車両の検出を容易に行うことができる。
【００１９】請求項４記載の発明は、請求項３記載の車
両用周辺監視装置であって、前記格納手段は、複数種の
車両画像を１枚のフレームメモリに並べて格納し、前記
類似度演算手段は、前記フレームメモリ上に、前記車両
候補画像を移動させ、各前記車両画像とのマッチングを
行い、類似度を演算することを特徴とする車両用周辺監
視装置に存する。
【００２０】請求項４記載の発明によれば、格納手段
が、複数種の車両画像を、１枚のフレームメモリに並べ
て格納する。類似度演算手段が、フレームメモリ上に、
車両候補画像を移動させ、各前記車両画像とのマッチン
グを行い、類似度を演算する。従って、複数種の車両画
像を並べたフレームメモリ上に車両候補画像を移動させ
てマッチングを行うことにより、１つの車両候補画像に
対し一度のマッチング処理を行うだけで、複数種の車両
画像との類似度の演算を行うことができる。
【００２１】請求項５記載の発明は、図１の基本構成図
に示すように、請求項１〜４何れか１項記載の車両用周
辺監視装置であって、前記有無判定手段が有りと判定し
たとき、前記隣接車線領域中、前記異常接近車両によっ
て、撮像が妨げられるエリアと特定するエリア特定手段
３ａ−４をさらに備え、前記危険判断手段は、前記エリ
アを除いた前記隣接車線領域を走行する前記接近車両に
ついての危険度を判断することを特徴とする車両用周辺
監視装置に存する。
【００２２】請求項５記載の発明によれば、有無判定手
段が有りと判定したとき、エリア特定手段が、隣接車線
領域中、異常接近車両によって、撮像が妨げられるエリ
アを特定する。危険判断手段が、特定されたエリアを除
いた隣接車線領域から検出された、接近車両についての
危険度を判断する。従って、撮像手段により撮像できる
隣接車線領域が少しでもあれば、接近車両を検出するこ
とができる。しかも、撮像が妨げられるエリアを撮像画
像から検出された、接近車両についての危険度を判断す
ることにより、後続又は前方車両を隣接車線を走行する
隣接車両と誤検出することを防止することができる。
【００２３】請求項６記載の発明は、請求項５記載の車
両用周辺監視装置であって、前記エリア特定手段による
特定は、前記接近車両検出手段による検出の前に行い、
前記接近車両検出手段は、前記エリアを除いた隣接車線
領域を画像処理して、前記接近車両を検出することを特
徴とする車両用周辺監視装置に存する。
【００２４】請求項６記載の発明によれば、エリア特定
手段が、接近車両検出手段による検出の前に、エリアの
特定を行う。前記接近車両検出手段が、特定したエリア
を除いた隣接車線領域を画像処理して、接近他車両を検
出する。従って、特定したエリアを除いた撮像画像を画
像処理することにより、監視不要なものについての画像
処理を省くことができる。
【００２５】請求項７記載の発明は、図１の基本構成図
に示すように、請求項１〜６何れか１項記載の車両用周
辺監視装置であって、前記接近車両検出手段は、路面上
に描かれた分離線に基づいて、撮像画像中に隣接車線領
域を設定する領域設定手段３ａ−１１と、前記撮像手段
により所定時間前後して得た２つの前記隣接車線領域中
の同一点の移動をオプティカルフローとして検出するオ
プティカルフロー検出手段３ａ−１２を有し、前記危険
判断手段は、前記オプティカルフロー検出手段が検出し
たオプティカルフローの大きさに基づいて、前記危険を
判断することを特徴とする車両用周辺監視装置に存す
る。
【００２６】請求項７記載の発明によれば、接近車両検
出手段において、領域設定手段が、路面上に描かれた分
離線に基づいて、撮像画像中に隣接車線領域を設定す
る。オプティカルフロー検出手段が、撮像手段により所
定時間前後して得た２つの隣接車線領域中の同一点の移
動をオプティカルフローとして検出する。危険判断手段
は、オプティカルフロー検出手段が検出したオプティカ
ルフローの大きさに基づいて、危険を判断する。従っ
て、オプティカルフローの大きさに基づいて接近車両を
検出して危険を判断することにより、撮像手段を２つ使
う必要がない。
【００２７】
【発明の実施の形態】以下、本発明の実施の形態を、図
面に基づいて説明する。図２は、本発明による車両用周
辺監視装置の構成を示すブロック図であり、同図におい
て、車載の撮像手段としてのカメラ１は、レンズ１ａに
より規定される画角範囲の画像をイメージプレーン１ｂ
上に結像させる。また、カメラ１は、車両の後側方が監
視領域となるような位置に取り付けられている。
【００２８】記憶部２は、第１、第２フレームメモリ２
ａ、２ｂ、微分画像メモリ２ｃ、格納手段としての車両
画像メモリ２ｄ、車両候補画像メモリ２ｅ及び発散オプ
ティカルフローメモリ２ｆを有している。第１フレーム
メモリ２ａ及び第２フレームメモリ２ｂは、カメラ１の
イメージプレーン１ｂ上に結像された撮像画像Ｄ１を例
えば５１２＊５１２画素、輝度０〜２５５階調といった
ｍ行ｎ列の画素に変換したものを撮像画素Ｄ２、Ｄ３と
して一時的に記憶すると共に、マイクロコンピュータ３
（以下マイコン３）に出力する。
【００２９】これら第１又は第２フレームメモリ２ａ、
２ｂは、例えば第１フレームメモリ２ａには時間ｔ、第
２フレームメモリ２ｂには時間ｔ＋Δｔ、第１フレーム
メモリ２ａには時間ｔ＋２Δｔ…といったように、所定
時間Δｔ毎に撮像された撮像画像をｍ行ｎ列の画素に変
換した撮像画素Ｄ２、Ｄ３が順次記憶される。
【００３０】微分画像メモリ２ｃには、撮像画素Ｄ２及
びＤ３を微分することにより形成された微分画像Ｄ４が
各々記憶される。また、車両画像メモリ２ｄには、乗用
車、ワンボックス車、トラック、バイクなどの複数種の
後続車両の形状を表す画像が、車両画像Ｄ５として予め
記憶されている。車両候補画像メモリ２ｅには、微分画
像Ｄ４中から抽出された車両候補画像Ｄ６が一時的に記
憶される。さらに、発散オプティカルフローメモリ２ｆ
は、発散方向のオプティカルフローＤ７を記憶すると共
に、その記憶されたオプティカルフローＤ７をマイコン
３に出力する。
【００３１】上述したマイコン３は、車両のウインカ機
構に取り付けられていて、運転者が車両を左右側に回転
させる際に操作するウインカ（＝ターンシグナル）スイ
ッチがオンするとＨレベルのウインカ信号Ｓ１を出力す
るウインカ検出センサ４と接続されている。
【００３２】マイコン３は、制御プログラムに従って動
作する中央演算処理装置（以下、ＣＰＵ）３ａと、この
ＣＰＵ３ａの制御プログラム及び予め与えられる設定値
などを保持するＲＯＭ３ｂと、ＣＰＵ３ａの演算実行時
に必要なデータを一時的に保持するＲＡＭ３ｃとを有し
ている。
【００３３】上記ＣＰＵ３ａは、警報発生手段としての
警報発生部５に接続されている。警報発生部５は、スピ
ーカ５ａと、ディスプレイ５ｂとを有している。スピー
カ５ａは、ＣＰＵ３ａにより、他車両との接触の危険性
ありと判断された場合、又はカメラ１による隣接車線領
域の撮像を妨げる、自車線後続を走行する異常接近後続
車両があると判定された場合に、ＣＰＵ３ａから出力さ
れる音声信号Ｓ２に基づき、それぞれの旨を知らせる音
声ガイダンスあるいは警報音といった警報を音声として
発生する。
【００３４】また、ディスプレイ５ｂは、カメラ１の撮
像した撮像画像を表示したり、他車両が自車両に急接近
してきて接触の危険性があると判断した場合、又は異常
接近後続車両があると判定された場合に、ＣＰＵ３ａか
ら出力される画像信号Ｓ３に基づき、それぞれの旨を知
らせるメッセージなどを表示して運転者に対して危険を
映像で知らせる。
【００３５】上述した構成の車両用周辺監視装置の動作
を、ＣＰＵ３ａの処理手順を示す図３のフローチャート
を参照して以下説明する。まず、ＣＰＵ３ａは、カメラ
１から撮像画像Ｄ１を取り込み、取り込んだ撮像画像Ｄ
１を画素データに変換して、時間ｔにおける撮像画素Ｄ
２として第１フレームメモリ２ａに記憶させる（ステッ
プＳ１）。
【００３６】次に、ＣＰＵ３ａは、時間ｔ＋Δｔに撮像
された撮像画像Ｄ１を画素データに変換して、時間ｔ＋
Δｔにおける撮像画素Ｄ３として第２フレームメモリ２
ｂに出力する（ステップＳ２）。つまり、第１、第２フ
レームメモリ２ａ、２ｂには、所定時間Δｔ毎に撮像さ
れた撮像画像Ｄ１を画素データに変換して得た撮像画素
Ｄ２、Ｄ３が順次記憶される。
【００３７】図４に示すように、この撮像画素Ｄ２又は
Ｄ３において、道路は、道路上に描かれた白線１１〜１
４によって、自車線１５及び隣接車線１６、１７に区切
られている。また、この撮像画像Ｄ２又はＤ３は、自車
線１５後続を走行する後続車両１００により、隣接車線
１６の遠方の撮像が妨げられている。
【００３８】図４の撮像画素Ｄ２又はＤ３は、上述した
ように、カメラ１が車両の後部に後方に向けて取り付け
られているので、撮像画素Ｄ２又はＤ３における右側が
進行方向を基準とした場合の左側に相当し、撮像画素Ｄ
２又はＤ３における左側が進行方向を基準とした場合の
右側に相当する。
【００３９】次に、ＣＰＵ３ａは、撮像画素Ｄ２又はＤ
３のうち、Δｔ時間前の撮像画素についての微分処理を
行う（ステップＳ３）。ここでは、撮像画素Ｄ２が、Δ
ｔ時間前に撮像されたものであるとして説明する。ＣＰ
Ｕ３ａは、まず図４に示す撮像画素Ｄ２に関し、そのｍ
行ｎ列の画素の輝度値Ｉm、mを図４における左右方向に
走査し、隣接する画素の輝度値Ｉm、n+1との差Ｉm、n+1−
Ｉm、nが所定輝度値以上の時、輝度値Ｉm、n＝１とし、所
定輝度値以下のとき、輝度値Ｉm、n＝０とする。
【００４０】また、上下方向にも同様に走査して、図５
に示すような撮像画素上の特徴点のみの画像である微分
画像Ｄ４を生成し、生成した微分画像Ｄ４を微分画像メ
モリ２ｃに対して出力する。
【００４１】次に、ＣＰＵ３ａは、微分画像Ｄ４につい
て、白線を構成する特徴点を検出する白線検出処理を行
う（ステップＳ４）。以下、白線検出処理について説明
する。まず、上記微分処理により生成した微分画像に対
し図６に示すような基準線Ｖ SLを設定する。この基準線
ＶSLは、微分画像Ｄ４上の左右方向における中心位置で
あって上下方向に、微分画像を縦断するように設定され
る。つまり、基準線Ｖ SLは、自車両が走行している白線
１２及び１３によって区切られた車線の左右方向の中心
に設置される。
【００４２】基準線ＶSLが設定されると、自車線が走行
すべき路面上の自車線の両側に位置する一対の白線１２
及び１３を構成する特徴点の検索を行う。この白線１２
及び１３を構成する特徴点の検索は、図６に示す画面の
下端に位置する水平ラインＨ (LO)から上側に向けて行わ
れる。すなわち、基準線ＶSL上であって最下端の点Ｐ
(SO)から、左右方向両端部に向けて特徴点の捜索を行
う。そして、この捜索により、基準線ＶSLの左側に存在
する白線１２のエッジを構成する特徴点Ｐ(LO)及び基準
線ＶSLの右側に存在する白線１３のエッジを構成する特
徴点Ｐ(RO)が取得される。
【００４３】続いて、最下端より２番目に位置する特徴
点Ｐ(S1)から、左右方向両端部に向けて特徴点の探索が
行われ、これにより基準線ＶSLの左側に存在する白線１
２のエッジを構成する特徴点Ｐ(L1)及び基準線ＶSLの右
側に存在する白線１３のエッジを構成する特徴点Ｐ(R1)
が取得される。
【００４４】このような処理を微分画像Ｄ４における上
方に向けて順次行う。このとき、後続を走行する後続車
両１００を構成する特徴点Ｐ(Lm)、Ｐ(Rm)、Ｐ(L(m+2))
及びＰ(R(m+2))も抽出してしまうので、この抽出した特
徴点からさらに同一の直線上にあるもののみを抽出す
る。この結果、自車線の両側に位置する一対の白線１２
及び１３を構成する特徴点のみを抽出することができ
る。そして、この抽出した特徴点から最小二乗法によっ
て近似線を生成し、この近似線を白線１２及び１３とし
て検出する。
【００４５】そして、ＣＰＵ３ａは、図７に示すよう
に、白線１２及び１３として検出された近似線ＯL、ＯR
を延長させて、その交点をＦＯＥ（Focus of Expansio
n）として設定するＦＯＥ設定処理を行う（ステップＳ
５）。ＦＯＥとは、無限遠点又は消失点と呼ばれ、カメ
ラ１により撮像された白線１１〜１４、自車線１５、隣
接車線１６及び壁１７などはすべてこのＦＯＥで消失す
る。
【００４６】次に、ＣＰＵ３ａは領域設定処理を行う
（ステップＳ６）。以下、領域設定処理について説明す
る。領域設定処理は、上記ステップＳ４で白線１２及び
１３として検出した近似線ＯL、ＯRと、上記ステップＳ
５で設定されたＦＯＥに基づきなされる。そして、図７
に示すように、上記ＦＯＥから左右方向右側に延びる境
界線である右側上端線ＨURと、左右方向左側に延びる境
界線である左側上端線Ｈ ULとが設定され、これらの右側
上端線ＨURと、近似線ＯL及びＯRとにより、右側隣接車
線領域ＳＶ(R)、自車線領域ＳＶ(S)及び左側隣接車線領
域ＳＶ(L)を設定する。
【００４７】次に、ＣＰＵ３ａは、抽出手段として働
き、撮像画像中から撮像後続車両の候補となる車両候補
画像を抽出する車両候補抽出処理を行う（ステップＳ
７）。以下、車両候補抽出処理について説明する。ま
ず、ＣＰＵ３ａは、微分画像Ｄ４から車両候補画像の抽
出の手がかりとなるナンバープレートの抽出を行う。具
体的には、微分画像Ｄ４から後続車両のナンバープレー
トが撮像されることが予想される範囲、即ち上記ステッ
プＳ６で設定された自車線領域ＳＶ(S)内で、撮像画像
に対して垂直、水平となる直線を抽出する。この直線検
出は、ハフ変換などで行い、微分画像Ｄ４に対して上下
又は左右方向の直線だけを検出する。
【００４８】次に、ＣＰＵ３ａは検出した直線を用いて
四角形を組み合わせ、それらの中からナンバープレート
の候補となる縦横比Ａ：Ｂの四角形３００を抽出する
（図５参照）。次に、抽出した四角形３００の大きさに
応じた車両候補枠４００で微分画像Ｄ４を抽出して、車
両候補画像Ｄ６として車両候補画像メモリ２ｅに記憶さ
せる。上述した車両候補枠４００の大きさは、具体的に
は、四角形３００が大きくなるに従って、近くを走行す
る後続車両であるとして大きく設定し、小さくなるに従
って、遠くを走行する後続車両であるとして小さく設定
する。上記抽出した四角形３００がナンバープレートを
構成していれば、設定した車両候補枠４００内には、後
続車両を構成する特徴点が格納されているはずである。
【００４９】ＣＰＵ３ａは、ステップＳ７の車両候補抽
出処理により、上述したような縦横比Ａ：Ｂの四角形３
００が抽出できなかったり、抽出したとしても、その大
きさが小さすぎたりした場合は（ステップＳ８でＮ）、
異常接近後続車両がないと判断して、後述するステップ
Ｓ１６へ進む。
【００５０】一方、ステップＳ７の車両候補抽出処理に
より、四角形３００が抽出、即ち車両候補画像Ｄ６の抽
出ができた場合には（ステップＳ８でＹ）、四角形３０
０に基づき抽出した車両候補画像Ｄ６が後続車両である
か否かを確認する必要がある。このために、ＣＰＵ３ａ
は、次に、類似度演算手段として働き、車両画像メモリ
２ｄに格納される車両画像Ｄ５との類似度演算処理を行
う（ステップＳ９）。
【００５１】尚、車両画像メモリ２ｄ内には、図８に示
すように、１枚のフレームメモリに、トラック、乗用
車、ワゴン車といった車両の形状を表す車両画像Ｄ５が
複数種記憶されている。より詳細に説明すると、この１
枚のフレームメモリの大きさを例えば、２５６＊２５６
画素とすると、例えば６４＊６４画素の車両画像Ｄ５が
複数並べられている。
【００５２】そして、ＣＰＵ３ａは、上記車両候補画像
Ｄ６を車両画像Ｄ５と同様の６４＊６４画素に正規化
し、フレームメモリ上を移動してマッチングを行い、各
車両画像Ｄ５との類似度を演算する。そして、ＣＰＵ３
ａは、上記類似度演算処理により演算した類似度が所定
値以上の車両画像Ｄ５がなければ（ステップＳ１０で
Ｎ）、異常接近後続車両がないと判断して、後続するス
テップＳ１６へ進む。
【００５３】一方、類似度が所定値以上の車両画像Ｄ５
があった場合（ステップＳ１０でＹ）、車両候補画像Ｄ
６が撮像後続車両であることを検出する。そして、ＣＰ
Ｕ３ａは、次に検出した撮像後続車両が、隣接車線領域
ＳＶ(L)及びＳＶ(R)の撮像の妨げとなる異常接近後続車
両であるか否かを判断する（ステップＳ１１）。
【００５４】具体的には、上記類似演算処理により、撮
像後続車両が上述したトラック、乗用車、ワゴン車など
のうちどの車種であるかが分かる。車種がわかれば、検
出した撮像後続車両が、上述した車両候補枠４００のう
ち、どれくらいの大きさに撮像されているかを推定する
ことができる。従って、ＣＰＵ３ａは、車両候補枠４０
０内に車種に応じた撮像車両枠５００を設定する。例え
ば、乗用車であれば、車両候補枠４００よりかなり小さ
い枠を設定し、ワゴン車であれば、車両候補枠４００よ
り少し小さい枠を設定し、トラックであれば、車両候補
枠４００よりやや小さい枠を設定する。本実施形態で
は、カメラ１により撮像される撮像後続車両の車種はト
ラックであるので、車両候補枠４００よりやや小さい撮
像車両枠５００が設定される。
【００５５】そして、図７に示すように、上記設定した
撮像車両枠５００の撮像画像中の位置や、大きさと、設
定した右側隣接車線領域ＳＶ(R)、自車線領域ＳＶ(S)及
び左側隣接車線領域ＳＶ(L)の位置に基づき、撮像され
た撮像後続車両が隣接車線領域ＳＶ(L)及びＳＶ(R)の撮
像の妨げとなるか否かを判断する。この判断の結果、妨
げとならないと判断した場合は（ステップＳ１１で
Ｎ）、異常接近後続車両がないと判断して、後述するス
テップＳ１６へ進む。
【００５６】一方、妨げになると判断した場合は（ステ
ップＳ１１でＹ）、異常接近後続車両がありを検出し
て、その旨を伝える音声信号Ｓ２又は画像信号Ｓ３をス
ピーカ５ａ又はディスプレイ５ｂに出力する（ステップ
Ｓ１２）。この警報により、運転手が隣接車線を走行す
る接近他車両の検出ができないことを認識することがで
きる。従って、運転者が、隣接車線を走行する接近車両
の検出ができないことを知らずに走行するという事態を
回避することができる。以上のことから、ＣＰＵ３ａ
は、撮像車両検出手段及び有無判定手段として働くこと
がわかる。
【００５７】その後、ＣＰＵ３ａは、エリア特定手段と
して働き、撮像車両枠５００の位置や、大きさと、設定
した右側隣接車線領域ＳＶ(R)、自車線領域ＳＶ(S)及び
左側隣接車線領域ＳＶ(L)の位置に基づき、異常接近後
続車両により隣接車線領域ＳＶ(R)及びＳＶ(L)の撮像が
妨げられるエリアを特定するエリア特定処理を行う（ス
テップＳ１３）。
【００５８】具体的には、ＣＰＵ３ａは、撮像車両枠５
００と隣接車線領域ＳＶ(R)及びＳＶ(L)とが重なった部
分、即ち、二点鎖線で示すエリアＡを妨げられているエ
リアに特定する。その後、ＣＰＵ３ａは、特定したエリ
アＡが隣接車線領域ＳＶ(R )及びＳＶ(L)のほとんど全部
であり、隣接車線を走行する接近車両の検出が全く行え
ないと判断すると（ステップＳ１４でＮ）、ステップＳ
２へ戻る。一方、隣接車線領域ＳＶ(R)及びＳＶ(L)にお
いて、一部でも隣接車線を走行する接近車両の検出が行
えるエリアがある場合は（ステップＳ１４でＹ）、ＣＰ
Ｕ３ａは、上記エリアＡを除いた隣接車線領域ＳＶ(R)
及びＳＶ(L)について、ＦＯＥから発散する方向のオプ
ティカルフローを検出し、発散オプティカルフローメモ
リ２ｆに記憶される（ステップＳ１５）。
【００５９】これに対し、異常接近後続車両がなく、ス
テップ８、１０又は１１でＮと判断された場合は、ＣＰ
Ｕ３ａは、隣接車線領域ＳＶ(R)及びＳＶ(L)全体につい
て、ＦＯＥから発散する方向のオプティカルフローを検
出し、発散オプティカルフローメモリ２ｆに記憶させる
（ステップＳ１６）。以上のステップＳ１５、Ｓ１６に
より、ＣＰＵ３ａは、オプティカルフロー検出手段とし
て働くことがわかる。
【００６０】ステップＳ１５又はステップＳ１６の動作
を行った後、ＣＰＵ３ａは、危険判断手段として働き、
発散オプティカルフローメモリ２ｆに記憶されているオ
プティカルフローの長さが所定値以上の時、隣接車線に
接近他車両が存在していると判断し（ステップＳ１７で
Ｙ）、ウインカ検出センサ４からウインカ信号Ｓ１が出
力されていれば（ステップＳ１８でＹ）、車線変更して
は危険であるとして、スピーカ５ａ及びディスプレイ５
ｂによりその旨を伝える警報を発生する（ステップ１
９）。
【００６１】オプティカルフローの長さが所定値以下の
とき（ステップ１７でＮ）、又はウインカ信号Ｓ１が出
力されておらず運転者に車線変更の意志がないと判断で
きるときは（ステップ１８でＮ）、そのままステップＳ
２へ戻る。
【００６２】上述した実施の形態では、類似演算処理に
おいて、複数の車両画像Ｄ５が並べられた１枚のフレー
ムメモリ上を、車両候補画像Ｄ６が移動し、マッチング
を行って類似度の演算を行っていた。この方法は、一般
に、マッチトフィルタリングと呼ばれ、一つの車両候補
画像Ｄ６に対し、一度のマッチング処理で、類似度を演
算できるのが利点である。
【００６３】また、上述した実施の形態では、エリア特
定処理により特定されたエリアＡを除いた隣接車線領域
ＳＶ(R)及びＳＶ(L)について、オプティカルフローを検
出していた。このように、カメラ１により撮像できる隣
接車線領域ＳＶ(R)及びＳＶ( L)が少しでもあれば、接近
車両を検出することができる。しかも、撮像が妨げられ
るエリアＡを除いた撮像画像から検出された、オプティ
カルフローに基づき、危険度を判断することにより、後
続車両１００を隣接車線を走行する隣接車両として誤検
出することを防止することができるので、危険判断の信
頼性の向上を図ることができる。
【００６４】さらに、上述した実施の形態では、オプテ
ィカルフローの検出、即ち接近車両の検出を行う前に、
エリア特定処理を行っていた。このようにすることによ
り、オプティカルフロー検出処理において、エリアＡを
除いた撮像画素Ｄ２又はＤ３について、オプティカルフ
ローを検出すればよく、監督不要なものについての画像
処理の手間を省くことができる。従って、画像処理の計
算量の軽減を図ることができる。
【００６５】なお、上述した実施の形態では、カメラ１
を後側方に設置した場合について説明していたが、例え
ば、カメラ１を前側方に設置した場合についても適用す
ることができる。
【００６６】また、上述した実施の形態では、カメラ１
が得た撮像画像に基づき、異常接近後続車両を検出して
いた。しかしながら、例えば、後続車両との距離を検出
する超音波センサなどを用いて、後続車両との距離が閾
値以下に縮まったときに、異常接近後続車両を検出し、
その旨を伝えるようにすることも考えられる。しかしな
がら、本実施の形態のように、カメラ１が得た撮像画像
に基づき、異常接近後続車両を検出することにより、カ
メラ１とは別途の超音波センサなどを用いることなく、
異常接近後続車両の有無を判定することができ、コスト
ダウンを図ることができる。
【００６７】さらに、上述した実施の形態では、カメラ
１が得た撮像画像中のオプティカルフローを検出するこ
とにより接近車両を検出し、危険度を判断していたが、
例えば、２台のカメラを用いて、自車両に対する接近車
両の位置を算出し、算出された位置に基づいて危険度を
判定するものにも適用することができる。
【００６８】
【発明の効果】以上説明したように、請求項１記載の発
明によれば、警報発生手段が、撮像手段による隣接車線
領域の撮像が妨げられている旨を知らせることにより、
運転者が隣接車線領域を走行する接近他車両の検出が不
可能であることを認識することができるので、隣接車線
領域を走行する接近車両の検出ができないことを運転者
が知らずに走行するという事態を回避することができる
車両用周辺監視装置を得ることができる。
【００６９】請求項２記載の発明によれば、撮像画像に
基づき、異常接近車両を検出することにより、撮像手段
とは別途の手段を設けることなく、異常接近車両の有無
を判定することができるので、コストダウンを図った車
両用周辺監視装置を得ることができる。
【００７０】請求項３記載の発明によれば、車両画像と
車両候補画像との類似度を演算することにより、撮像車
両の検出を容易に行うことができる車両用周辺監視装置
を得ることができる。
【００７１】請求項４記載の発明によれば、複数種の車
両画像を並べたフレームメモリ上に車両候補画像を移動
させてマッチングを行うことにより、１つの車両候補画
像に対し一度のマッチング処理を行うだけで、複数種の
車両画像との類似度の演算を行うことができるので、類
似度演算の計算量の軽減を図った車両用周辺監視装置を
得ることができる。
【００７２】請求項５記載の発明によれば、撮像手段に
より撮像できる隣接車線領域が少しでもあれば、接近車
両を検出することができる。しかも、撮像が妨げられる
エリアを撮像画像から検出された、接近車両についての
危険度を判断することにより、後続又は前方車両を隣接
車線を走行する隣接車両と誤検出することを防止するこ
とができるので、危険判断の信頼性の向上を図った車両
用周辺監視装置を得ることができる。
【００７３】請求項６記載の発明によれば、特定したエ
リアを除いた撮像画像を画像処理することにより、監視
不要なものについての画像処理を省くことができるの
で、画像処理の計算量の軽減を図った車両用周辺監視装
置を得ることができる。
【００７４】請求項７記載の発明によれば、オプティカ
ルフローの大きさに基づいて接近車両を検出して危険を
判断することにより、撮像手段を２つ使う必要がないの
で、コストダウンを図った車両用周辺監視装置を得るこ
とができる。
【図面の簡単な説明】
【図１】本発明の車両用周辺監視装置の基本構成を示す
ブロック図である。
【図２】本発明の車両用周辺監視装置の一実施の形態を
示すブロック図である。
【図３】図２の車両用周辺監視装置を構成するＣＰＵの
処理手順を示すフローチャートである。
【図４】カメラで撮像された撮像画素を説明する図であ
る。
【図５】撮像画像の微分処理により生成された微分画像
を説明するための図である。
【図６】白線検出処理の動作を説明するための図であ
る。
【図７】監視領域設定処理の動作を説明するための図で
ある。
【図８】類似度演算処理を説明するための図である。
【図９】カメラ１によって得られる後側方の撮像画像の
変化を説明するための図である。
【図１０】片側３車線の高速専用道路の画像を示した概
念図である。
【図１１】従来の車両用周辺監視装置の問題点を説明す
るための図である。
【符号の説明】
１ 撮像手段（カメラ） ２ｄ 格納手段（車両画像メモリ） ３ａ−１ 接近車両検出手段（ＣＰＵ） ３ａ−１１ 領域設定手段（ＣＰＵ） ３ａ−１２ オプティカルフロー検出手段（ＣＰＵ） ３ａ−２ 危険判断手段（ＣＰＵ） ３ａ−３ 有無判定手段（ＣＰＵ） ３ａ−３１ 撮像車両検出手段（ＣＰＵ） ３ａ−３１１ 抽出手段（ＣＰＵ） ３ａ−３１２ 類似度演算手段（ＣＰＵ） ３ａ−４ エリア特定手段（ＣＰＵ） ５ 警報発生手段（警報発生部）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２４ Ｂ６０Ｒ 21/00 ６２４Ｃ ６２４Ｅ ６２４Ｆ ６２６ ６２６Ｂ 1/00 1/00 Ａ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ｂ 7/20 7/20 Ａ １００ １００ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ 7/18 7/18 Ｊ Ｆターム(参考） 5B057 AA06 AA16 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC01 DA07 DA12 DA15 DB02 DB09 DC05 DC09 DC34 5C022 AA04 AB62 AC18 5C054 AA01 CA04 CC02 CE15 CF01 CG02 CH01 EA01 EA05 ED07 FC01 FC12 FC15 FE14 FE28 FF05 FF06 HA30 5L096 AA06 BA02 BA04 CA04 DA03 EA17 EA45 FA05 FA09 GA02 GA19 HA03 HA08 JA03 JA09 JA11

Claims (7)

    【特許請求の範囲】
  1. 【請求項１】 車両に搭載され、車両の周辺を撮像して
    撮像画像を得る撮像手段と、前記撮像画像を画像処理し
    て、隣接車線領域から自車両に近づいてくる接近車両を
    検出する接近車両検出手段と、該検出した接近車両につ
    いて危険を判断する危険判断手段とを備える車両用周辺
    監視装置において、 前記撮像手段による前記隣接車線領域の撮像を妨げる、
    自車線後続又は前方を走行する異常接近車両の有無を判
    定する有無判定手段と、 前記有無判定手段が有りと判定したとき、その旨を伝え
    る警報を発生する警報発生手段とを備えたことを特徴と
    する車両用周辺監視装置。
  2. 【請求項２】 請求項１記載の車両用周辺監視装置であ
    って、 前記有無判定手段は、前記撮像画像を画像処理して、当
    該撮像手段により撮像されている撮像車両を検出する撮
    像車両検出手段を有し、前記検出した撮像車両に基づ
    き、前記異常接近車両の有無を判定することを特徴とす
    る車両用周辺監視装置。
  3. 【請求項３】 請求項２記載の車両用周辺監視装置であ
    って、 前記撮像車両検出手段は、車両の形状を表す車両画像を
    予め格納する格納手段と、前記撮像画像中から撮像車両
    の候補となる車両候補画像を抽出する抽出手段と、前記
    車両画像と前記車両候補画像との類似度を演算する類似
    度演算手段とを備え、該類似度が所定値以上のとき、撮
    像車両を検出することを特徴とする車両用周辺監視装
    置。
  4. 【請求項４】 請求項３記載の車両用周辺監視装置であ
    って、 前記格納手段は、複数種の車両画像を１枚のフレームメ
    モリに並べて格納し、 前記類似度演算手段は、前記フレームメモリ上に、前記
    車両候補画像を移動させ、各前記車両画像とのマッチン
    グを行い、類似度を演算することを特徴とする車両用周
    辺監視装置。
  5. 【請求項５】 請求項１〜４何れか１項記載の車両用周
    辺監視装置であって、 前記有無判定手段が有りと判定したとき、前記隣接車線
    領域中、前記異常接近車両によって、撮像が妨げられる
    エリアと特定するエリア特定手段をさらに備え、 前記危険判断手段は、前記エリアを除いた前記隣接車線
    領域を走行する前記接近車両についての危険度を判断す
    ることを特徴とする車両用周辺監視装置。
  6. 【請求項６】 請求項５記載の車両用周辺監視装置であ
    って、 前記エリア特定手段による特定は、前記接近車両検出手
    段による検出の前に行い、 前記接近車両検出手段は、前記エリアを除いた隣接車線
    領域を画像処理して、前記接近車両を検出することを特
    徴とする車両用周辺監視装置。
  7. 【請求項７】 請求項１〜６何れか１項記載の車両用周
    辺監視装置であって、 前記接近車両検出手段は、路面上に描かれた分離線に基
    づいて、撮像画像中に隣接車線領域を設定する領域設定
    手段と、前記撮像手段により所定時間前後して得た２つ
    の前記隣接車線領域中の同一点の移動をオプティカルフ
    ローとして検出するオプティカルフロー検出手段を有
    し、 前記危険判断手段は、前記オプティカルフロー検出手段
    が検出したオプティカルフローの大きさに基づいて、前
    記危険を判断することを特徴とする車両用周辺監視装
    置。
JP2001116939A 2001-04-16 2001-04-16 車両用周辺監視装置 Abandoned JP2002308030A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001116939A JP2002308030A (ja) 2001-04-16 2001-04-16 車両用周辺監視装置
US10/120,545 US6556133B2 (en) 2001-04-16 2002-04-12 Vehicle-use surroundings monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001116939A JP2002308030A (ja) 2001-04-16 2001-04-16 車両用周辺監視装置

Publications (1)

Publication Number Publication Date
JP2002308030A true JP2002308030A (ja) 2002-10-23

Family

ID=18967588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001116939A Abandoned JP2002308030A (ja) 2001-04-16 2001-04-16 車両用周辺監視装置

Country Status (2)

Country Link
US (1) US6556133B2 (ja)
JP (1) JP2002308030A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304280A (ja) * 2005-03-24 2006-11-02 National Univ Corp Shizuoka Univ 情報システム
JP2009081666A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2018096935A (ja) * 2016-12-16 2018-06-21 パナソニックＩｐマネジメント株式会社 自車位置推定装置、プログラム、記録媒体、および自車位置推定方法
JP2020135776A (ja) * 2019-02-26 2020-08-31 プラス株式会社 撮影装置
JP2022058354A (ja) * 2020-09-29 2022-04-12 株式会社ユピテル 装置及びプログラム
JP2023101491A (ja) * 2021-12-14 2023-07-21 株式会社ユピテル 装置及びプログラム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP3627914B2 (ja) * 2000-05-23 2005-03-09 シャープ株式会社 車両の周囲監視システム
US10110795B2 (en) 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
US20150235094A1 (en) 2014-02-17 2015-08-20 General Electric Company Vehicle imaging system and method
CN100344158C (zh) 2003-04-03 2007-10-17 松下电器产业株式会社 接收装置、使用了该装置的显示装置及电视播放系统
JP3879696B2 (ja) * 2003-04-25 2007-02-14 日産自動車株式会社 運転支援装置
EP2251352A1 (en) * 2003-08-07 2010-11-17 ZymoGenetics, L.L.C. Homogeneous preparations of IL-28 and IL-29
JP2005215985A (ja) * 2004-01-29 2005-08-11 Fujitsu Ltd 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法
JP2005301603A (ja) * 2004-04-09 2005-10-27 Denso Corp 走行車線検出装置
WO2006044476A2 (en) 2004-10-12 2006-04-27 Robert Vernon Vanman Method of and system for mobile surveillance and event recording
JP4421450B2 (ja) * 2004-11-22 2010-02-24 本田技研工業株式会社 車両の逸脱判定装置
JP2007091025A (ja) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd 車両の前方監視装置
US8982944B2 (en) * 2005-10-12 2015-03-17 Enforcement Video, Llc Method and system for categorized event recording of images in multiple resolution levels
US20090046157A1 (en) * 2007-08-13 2009-02-19 Andrew Cilia Combined wide-angle/zoom camera for license plate identification
US8599368B1 (en) * 2008-01-29 2013-12-03 Enforcement Video, Llc Laser-based speed determination device for use in a moving vehicle
CA2714362A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
WO2009102480A2 (en) 2008-02-15 2009-08-20 Enforcement Video, Llc System and method for multi-resolution storage of images
US8311343B2 (en) * 2009-02-12 2012-11-13 Laser Technology, Inc. Vehicle classification by image processing with laser range finder
JP5039765B2 (ja) * 2009-09-17 2012-10-03 日立オートモティブシステムズ株式会社 車両制御装置
DE102009046362A1 (de) * 2009-11-03 2011-05-05 Tesa Se Haftklebestoff aus einem vernetzbaren Polyolefin und einem Klebharz
US8736680B1 (en) 2010-05-18 2014-05-27 Enforcement Video, Llc Method and system for split-screen video display
CN103794086B (zh) * 2014-01-26 2016-03-02 浙江吉利控股集团有限公司 一种车辆行驶预警方法
EP3001272B1 (en) * 2014-09-26 2017-04-12 Volvo Car Corporation Method of trajectory planning for yielding manoeuvres
JP6516089B2 (ja) * 2014-12-17 2019-05-22 日本精機株式会社 車両情報投影システム及び車両情報投影方法
JP6485328B2 (ja) * 2015-11-09 2019-03-20 株式会社デンソー 車両の運転支援装置
US10341605B1 (en) 2016-04-07 2019-07-02 WatchGuard, Inc. Systems and methods for multiple-resolution storage of media streams
JP6730615B2 (ja) * 2016-07-12 2020-07-29 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6751691B2 (ja) * 2017-06-15 2020-09-09 ルネサスエレクトロニクス株式会社 異常検出装置及び車両システム
US10955858B2 (en) * 2018-12-27 2021-03-23 Wipro Limited Method of generating a surround view of a vehicle platoon and a device thereof
JP7400688B2 (ja) * 2020-10-19 2023-12-19 トヨタ自動車株式会社 表示装置及び表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452268B2 (ja) 1993-08-06 2003-09-29 矢崎総業株式会社 車両用後側方監視方法
JP3390289B2 (ja) * 1995-06-16 2003-03-24 富士重工業株式会社 警報装置
JP3358709B2 (ja) * 1997-08-11 2002-12-24 富士重工業株式会社 車両用運転支援装置
JP4287532B2 (ja) * 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304280A (ja) * 2005-03-24 2006-11-02 National Univ Corp Shizuoka Univ 情報システム
JP2009081666A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2018096935A (ja) * 2016-12-16 2018-06-21 パナソニックＩｐマネジメント株式会社 自車位置推定装置、プログラム、記録媒体、および自車位置推定方法
JP2020135776A (ja) * 2019-02-26 2020-08-31 プラス株式会社 撮影装置
WO2020174742A1 (ja) * 2019-02-26 2020-09-03 プラス株式会社 撮影装置
JP2022058354A (ja) * 2020-09-29 2022-04-12 株式会社ユピテル 装置及びプログラム
JP7277990B2 (ja) 2020-09-29 2023-05-19 株式会社ユピテル 装置及びプログラム
JP2023101491A (ja) * 2021-12-14 2023-07-21 株式会社ユピテル 装置及びプログラム
JP7503868B2 (ja) 2021-12-14 2024-06-21 株式会社ユピテル 装置及びプログラム

Also Published As

Publication number Publication date
US20020149476A1 (en) 2002-10-17
US6556133B2 (en) 2003-04-29

Similar Documents

Publication Publication Date Title
JP2002308030A (ja) 車両用周辺監視装置
US6360170B1 (en) Rear monitoring system
JP6424263B2 (ja) 大型車両の移動オブジェクト衝突警告装置および方法
EP2463843B1 (en) Method and system for forward collision warning
JP3739693B2 (ja) 画像認識装置
CN102779430B (zh) 基于视觉的夜间后碰撞警告系统、控制器及其操作方法
EP2369552B1 (en) Approaching object detection system
JPH0696397A (ja) 画像追尾装置および画像追尾方法
US20180114078A1 (en) Vehicle detection device, vehicle detection system, and vehicle detection method
JP3424808B2 (ja) 車両用後側方監視装置
CN102792314A (zh) 交叉通行碰撞警报系统
JP2002314989A (ja) 車両用周辺監視装置
JP2005309797A (ja) 歩行者警報装置
JP2001216520A (ja) 車両用周辺監視装置
US6549124B1 (en) Environment monitoring system for a vehicle with an image pickup device
JPH08202999A (ja) 車両用周囲状況監視装置
US20080260208A1 (en) Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program
JP2011103058A (ja) 誤認識防止装置
JP2005309660A (ja) 車両用右左折支援装置
JP3635591B2 (ja) 車両周辺監視装置
JP2004252550A (ja) 運転支援装置
JP3226699B2 (ja) 車両用周辺監視装置
JP2001023092A (ja) 車両周辺領域監視装置
JP4798576B2 (ja) 付着物検出装置
US20230360252A1 (en) Information processing device, information processing system, and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070327

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20070518