JP2000355260A - 含水物付着検出装置 - Google Patents

含水物付着検出装置

Info

Publication number
JP2000355260A
JP2000355260A JP11166358A JP16635899A JP2000355260A JP 2000355260 A JP2000355260 A JP 2000355260A JP 11166358 A JP11166358 A JP 11166358A JP 16635899 A JP16635899 A JP 16635899A JP 2000355260 A JP2000355260 A JP 2000355260A
Authority
JP
Japan
Prior art keywords
optical flow
image
area
vehicle
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11166358A
Other languages
English (en)
Other versions
JP3675231B2 (ja
Inventor
Kyoichi Abe
恭一 阿部
Hiroshi Fujii
啓史 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP16635899A priority Critical patent/JP3675231B2/ja
Publication of JP2000355260A publication Critical patent/JP2000355260A/ja
Application granted granted Critical
Publication of JP3675231B2 publication Critical patent/JP3675231B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 ビデオカメラ等の撮像手段への雨滴等の含水
物による付着状態を撮像手段からの画像より得たオプテ
ィカルフローの現れ方から検出できるようにした含水物
付着検出装置を提供する。 【解決手段】 車両に搭載された撮像手段と付着する含
水物を検出する装置において、車両に設けられ所定の方
向を撮像する撮像手段と、該撮像手段からの画像を処理
しオプティカルフローを演算するオプティカルフロー演
算手段と、該オプティカルフロー演算手段から求めたオ
プティカルフローの現れ方から前記撮像手段への含水物
の付着状態を判定する判定手段と、前記判定手段により
前記含水物付着を検出した場合にはドライバに報知する
報知手段とを備えたことを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は自動車等の車両にお
いて、車両の周囲をモニタするビデオカメラ等の撮像手
段の表面への、雨水等の含水物の付着状況を検知する含
水物の付着検知装置に関する。
【0002】
【従来の技術】自動車(以下車という)においては、図
5に示すようにルームミラー10a左右のサイドミラー
10b、10bにより、後方を監視して後方からの車等
の接近を検知しているが、かかるルームミラー10aの
視野範囲θ及びサイドミラー10b、10bの視野範
囲θが狭く、特に後部側方に監視不能な範囲が存在す
るため、この範囲における接近車の見落としが発生し易
い。
【0003】このため、近年は車10の後部にビデオカ
メラ2を設置して該ビデオカメラ2により、前記後部側
方を含む車10の後方の状態を検出し(検出角度θ
115°程度まで拡大可能となる)、運転室の表示手段
に表示する手段が提案されている。
【0004】かかるビデオカメラによる車両の後方の監
視システムとして、特開平7−50769号の発明が提
案されている。この発明においては、ビデオカメラで撮
像した一連の後方画像中の、時間的に相前後する2コマ
の画像中に写し出される対象物体上の同一点の移動をオ
プティカルフローベクトルとして検出し、その方向と大
きさとにより危険を判断するようになっている。
【0005】また、車に搭載される前記ビデオカメラ等
の監視カメラの保護カバーの汚れを除去する手段とし
て、特開平3−85070号の発明が提案されている。
この発明においては、前記監視用カメラによる映像信号
がバンドパスフィルタで処理されて検波回路で広域成分
が検出され、この成分のレベルと基準信号出力回路の基
準信号レベルとが比較され、この比較結果から前記カメ
ラの保護カバーの汚れを判定して判定結果を出力し、汚
れが判定されるとウォッシャを駆動して洗浄がなされる
ように構成されている。
【0006】
【発明が解決しようとする課題】前記特開平7−507
69号にて提案されているような、ビデオカメラを用い
た後方監視システムにおいて、雨天時にビデオカメラ2
の保護カバー(ガラスカバー)に雨滴が付着すると、該
ビデオカメラから鮮明画像が得られず画像検出性能が低
下するという不具合の発生をみる。
【0007】かかる不具合の発生を防止する技術とし
て、前記特開平3−85070号の発明が提案されてい
るが、この発明においては雨滴付着を検出するために、
あらたに雨滴検出ロジックを組込む必要があり複雑かつ
高価となる。
【0008】本発明はかかる従来技術の課題に鑑み、ビ
デオカメラ等の撮像手段への雨滴等の含水物による付着
状態を撮像手段からの画像より得たオプティカルフロー
の現れ方から検出できるようにした含水物検出装置を提
供することにある。
【0009】
【課題を解決するための手段】本発明はかかる課題を解
決するため、請求項1記載の発明として、車両に設けら
れ所定の方向を撮像する撮像手段と、該撮像手段からの
画像を処理しオプティカルフローを演算するオプティカ
ルフロー演算手段と、該オプティカルフロー演算手段か
ら求めたオプティカルフローの現れ方から前記撮像手段
への含水物の付着状態を判定する判定手段と、前記判定
手段により前記含水物付着を検出した場合にはドライバ
に報知する報知手段とを備えたことを特徴とする含水物
付着検出装置を提案する。
【0010】請求項2記載の発明は、前記オプティカル
フロー演算部及び判定手段の具体的構成にかかり、請求
項1において、前記判定手段は、前記撮像手段から得た
撮像画像を複数のエリアに分割し、前記オプティカルフ
ロー演算手段から得たオプティカルフローが遠いエリア
から近いエリアに順に現れた場合には正常と判定し、前
記オプティカルフローが急に近いエリアに現れた場合に
は前記含水物付着の可能性有りと判定することを特徴と
する。
【0011】請求項1の発明では、撮像手段から得たオ
プティカルフローの現れ方から雨滴付着状態を検出して
ドライバに知らせることができる。
【0012】請求項2の発明では、既知の撮像手段から
得たオプティカルフローを利用し、オプティカルフロー
の現れ方を画像上での出現位置より遠い側と近い側とで
比較することにより、撮像装置への雨滴等の含水物付着
状態を検出できる。
【0013】
【発明の実施の形態】以下、本発明を図に示した実施例
を用いて詳細に説明する。但し、この実施例に記載され
る構成部品の寸法、材質、形状、その相対配置などは特
に特定的な記載が無い限り、この発明の範囲をそれのみ
に限定する趣旨ではなく単なる説明例に過ぎない。
【0014】図1は本発明の実施形態にかかる自動車用
ビデオカメラの雨滴付着検出装置の制御ブロック図、図
2は制御フローチャート、図3は全体構成図(ハード構
成図)、図4はオプティカルフローの動作説明図であ
る。
【0015】図3に示す全体構成において、10は自動
車(以下車という)、4はハンドル、3はターンレバー
であり、該車10の車室1内には、運転席の前方のドラ
イバーが目識容易な部位に警報、表示装置5が設けられ
ている。2は車10の後部に取付けられたビデオカメラ
(撮像手段)である。8はワイパーの駆動を検知するワ
イパー信号検出器、7は車10の車速を検出する車速検
出器である。6はコントローラで、前記ワイパー信号検
出器8からワイパー駆動信号、車速検出器7から車速が
それぞれ入力され、また、ターンレバー3からターンレ
バーによる左折、右折信号が必要に応じて入力され、さ
らにビデオカメラ2から車10の後方の状態の撮像信号
が入力され、後述する処理を行った結果を前記警報、表
示装置5に出力するものである。
【0016】図1に示す制御ブロック図において、ビデ
オカメラ2にて撮像された車10の後方の状態(光景)
の撮像信号は、コントローラ6の画像処理部61に入力
される。該画像処理部61において所要の画像形態に処
理された撮像信号はオプティカルフロー演算部62に入
力される。該オプティカルフロー演算部62には車速検
出器7から車10の車速の検出信号が入力されている。
【0017】そして該オプティカルフロー演算部62に
おいては前記画像処理が施された撮像信号及び車速信号
に基づき後述するような演算処理を行った後、その結果
を雨滴付着判定部63に出力する。該雨滴付着判定部6
3にはワイパー信号検出器8からワイパーの駆動信号が
入力されている。
【0018】そして、該雨滴付着判定部63において
は、前記オプティカルフロー演算部62にて算出された
オプティカルフローに基づき、ビデオカメラ2への雨滴
の付着状態(付着の程度)を判定し、その結果を運転室
1内の警報、表示装置5に出力する。該警報、表示装置
5においては、前記雨滴付着判定部63におけるビデオ
カメラ2への雨滴の付着状態の判定結果に基づき、これ
を画面に表示するとともに、雨滴付着を検出した場合に
は警報信号を発信してドライバーにこれを知らせる。
【0019】次に図2〜図3により、前記オプティカル
フロー演算部62及び雨滴付着判定部63の動作を説明
する。まずオプティカルフロー演算部62においては、
画像処理部61から入力される車10の後方の撮影画像
を処理してオプティカルフローを演算する。
【0020】雨滴付着判定部63においては、前記オプ
ティカルフロー演算部62から入力されるオプティカル
フローに基づき、図4に示すような左右の白線11a、
11bの交点から右側及び左側に、車10の遠方から順
に1、2、3及び1’、2’、3’のように、各側にお
いて、各3つのエリアに分割(2分割以上であればよ
い)する。図4において、左側は[晴]、右側は[雨]
の場合で、この図は(1)に示す時点(時間t)から
(2)に示すΔt時間後のt+Δtの時点、そして
(3)に示すさらにΔt時間後のt+2Δtの時点にお
ける接近車10のベクトルの移動状況を示している。即
ち、図4に示すように接近車10のオプティカルフロー
は、白線11a(11b)に沿って、エリア1→2→3
(1’→2’→3’)のように移動し、(1)の時点
(時間t)→(2)(時間t+Δt)→(3)(時間t
+2Δt)のように変移していく。
【0021】また、図4の左側に示す[晴]の場合は接
近車10のオプティカルフローがエリア1、エリア2、
エリア3の順に現れ、右側に示す[雨]の場合において
はビデオカメラに雨滴が付着していると、該接近車10
のオプティカルフローは最も遠くにある(1)の時点で
はエリア1(1’)では検出できない。これは雨滴が付
着して見えにくいのと、なおかつ画像上で接近車の特徴
がつかみにくいためである。そして、エリア2(2’)
まで近づくとオプティカルフローが得られる。これは画
像上での接近車がやや大きく見えるようになるためであ
る。あるいはエリア2(2’)までオプティカルフロー
が得られず、エリア3(3’)にくるとオプティカルフ
ローが得られる。これは画像上での接近車が大きく見え
るようになるためで雨滴付着の有無にかかわらず見える
ためである。従って、前記オプティカルフローの現れ方
を検出することにより、ビデオカメラへの雨滴12の付
着の有無を判定できる。
【0022】次にビデオカメラ2への雨滴付着状態の判
定にあたっては、図2のフローチャートに示すように、
前記画像処理部61からの画像が入力され(ステップ
(1))、オプティカルフロー演算部62における前記
のようなオプティカルフローの演算結果が出力される
(ステップ(2))と、これらに続いてワイパー信号検
出器8からワイパー信号が入力されているか否かを判断
し(ステップ(3))、入力あり(YES)の場合は次
の雨滴付着判定に移行する。
【0023】前記雨滴付着判定部63においては、次の
手順で雨滴付着状態を判定する。ステップ(4)に示す
ように、図5に示す前記オプティカルフローにおいて、
検出態様(1)の場合、即ちエリア1(あるいは1’)
において、車10のベクトルが検出された場合は、図4
(1)の[晴]の場合に該当し、雨滴付着無しと判定す
る。
【0024】検出態様(2)の場合、即ち図4の[晴]
(2)のように、エリア2(あるいは2’)で車10の
ベクトルが検出され、そのΔt時間前のエリア1(ある
いは1’)でも検出されていた場合(YES)には雨滴
付着無しと判定し、エリア2(あるいは2’)で検出さ
れていて、図4の[雨](1)のように、エリア1(あ
るいは1’)で検出されていなかった場合(NO)には
雨滴付着可能性有りと判定する。
【0025】さらに検出態様(3)の場合、即ち図4の
[晴](3)のように、エリア3(あるいは3’)で車
10のベクトルが検出され、そのΔt時間前のエリア2
(あるいは2’)でも検出されていた場合は検出態様
(4)の判定を行う。(ステップ(5))。即ち検出態
様(5)の場合、前記エリア2(あるいは2’)で検出
する場合のΔt時間前におけるエリア1(あるいは
1’)においても検出されていた場合(YES)は雨滴
付着無しと判定する。つまり、図4の[晴](1)、
(2)、(3)のように、車10のベクトルがエリア1
(1’)→2(2’)→3(3’)と続いて現れる場合
は雨滴付着無しと判定する。
【0026】また検出態様(3)において、エリア3
(3’)で検出されていてもエリア1(1’)で検出さ
れていなかった場合(NO)は雨滴付着と判定する。さ
らに検出態様(4)において、エリア3(3’)及び2
(2’)で検出されていてもエリア1(1’)で検出さ
れていなかった場合(NO)には雨滴付着の可能性あり
と判定する。即ち、図4のように、エリア1(1’)で
検出されなかったが、エリア2(2’)→エリア3
(3’)と続いて検出された場合には、雨滴付着可能性
ありと判定する。
【0027】以上のように、かかる雨滴付着判定部にお
いては、 (A) 車10のベクトルがエリア1(1’)→2
(2’)→3(3’)と続いて現れればビデオカメラ2
には雨滴の付着無し。 (B) エリア1(1’)及び2(2’)に現れず、3
(3’)で現れた場合はビデオカメラ2に雨滴の付着あ
り。 (C) エリア1(1’)で検出されず、エリア2
(2’)で検出されていた場合、又はエリア1(1’)
で検出されずエリア2(2’)及び3(3’)で検出さ
れた場合はビデオカメラ2に雨滴が付着している可能性
ありと判定する。
【0028】
【発明の効果】以上記載のごとく、本発明によれば、接
近車両の状態を撮像手段による画像を用いてオプティカ
ルフローにて現れるようにし、該オプティカルフローの
現れ方を画像上での出現位置より遠い側と近い側とで比
較することで、即ち、接近車両監視システムにおける既
知の画像処理のオプティカルフローを利用することによ
り、撮像手段への雨滴等の付着を検出し、ドライバに知
らせることができる。
【図面の簡単な説明】
【図1】 本発明の実施形態にかかる自動車用ビデオカ
メラの雨滴付着検出装置の制御ブロック図である。
【図2】 上記実施形態における雨滴付着判定のフロー
チャートである。
【図3】 上記実施形態における全体構成図(ハード構
成図)である。
【図4】 上記実施形態におけるオプティカルフローの
動作説明図である。
【図5】 自動車の後方視野範囲を示す説明図である。
【符号の説明】
10 車 1 車室 2 ビデオカメラ 3 ターンレバー 5 警報、表示装置 6 コントローラ 7 ワイパー信号検出器 11a、11b 白線 61 画像処理部 62 オプティカルフロー演算部 63 雨滴付着判定部
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 7/18 E B60R 21/00 621F Fターム(参考) 3D025 AA01 AC01 AD00 AG36 5C022 AA04 AC18 AC61 AC69 5C054 AA01 CE02 EA01 FC11 FF06 HA30

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 車両に設けられ所定の方向を撮像する撮
    像手段と、該撮像手段からの画像を処理しオプティカル
    フローを演算するオプティカルフロー演算手段と、該オ
    プティカルフロー演算手段から求めたオプティカルフロ
    ーの現れ方から前記撮像手段への含水物の付着状態を判
    定する判定手段と、前記判定手段により前記含水物付着
    を検出した場合にはドライバに報知する報知手段とを備
    えたことを特徴とする含水物付着検出装置。
  2. 【請求項2】 前記判定手段は、前記撮像手段から得た
    撮像画像を複数のエリアに分割し、前記オプティカルフ
    ロー演算手段から得たオプティカルフローが遠いエリア
    から近いエリアに順に現れた場合には正常と判定し、前
    記オプティカルフローが急に近いエリアに現れた場合に
    は前記含水物付着の可能性有りと判定することを特徴と
    する請求項1記載の含水物付着検出装置。
JP16635899A 1999-06-14 1999-06-14 含水物付着検出装置 Expired - Fee Related JP3675231B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16635899A JP3675231B2 (ja) 1999-06-14 1999-06-14 含水物付着検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16635899A JP3675231B2 (ja) 1999-06-14 1999-06-14 含水物付着検出装置

Publications (2)

Publication Number Publication Date
JP2000355260A true JP2000355260A (ja) 2000-12-26
JP3675231B2 JP3675231B2 (ja) 2005-07-27

Family

ID=15829917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16635899A Expired - Fee Related JP3675231B2 (ja) 1999-06-14 1999-06-14 含水物付着検出装置

Country Status (1)

Country Link
JP (1) JP3675231B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147278A (ja) * 1999-11-19 2001-05-29 Nippon Seiki Co Ltd 雨滴検出装置
EP1826648A2 (en) 2006-02-27 2007-08-29 Hitachi, Ltd. Imaging environment recognition device
JP2016022845A (ja) * 2014-07-22 2016-02-08 クラリオン株式会社 車載画像処理装置
CN114506267A (zh) * 2022-02-09 2022-05-17 岚图汽车科技有限公司 一种车辆氛围灯的控制方法、系统及车辆
CN115009227A (zh) * 2022-04-25 2022-09-06 一汽奔腾轿车有限公司 一种基于前摄像头的前风挡玻璃自动清洗控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634576A (ja) * 1992-07-21 1994-02-08 Asahi Chem Ind Co Ltd 瓶検査搬送装置
JPH0750769A (ja) * 1993-08-06 1995-02-21 Yazaki Corp 車両用後側方監視方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634576A (ja) * 1992-07-21 1994-02-08 Asahi Chem Ind Co Ltd 瓶検査搬送装置
JPH0750769A (ja) * 1993-08-06 1995-02-21 Yazaki Corp 車両用後側方監視方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147278A (ja) * 1999-11-19 2001-05-29 Nippon Seiki Co Ltd 雨滴検出装置
EP1826648A2 (en) 2006-02-27 2007-08-29 Hitachi, Ltd. Imaging environment recognition device
US7983447B2 (en) 2006-02-27 2011-07-19 Hitachi, Ltd. Imaging environment recognition device
JP2016022845A (ja) * 2014-07-22 2016-02-08 クラリオン株式会社 車載画像処理装置
CN114506267A (zh) * 2022-02-09 2022-05-17 岚图汽车科技有限公司 一种车辆氛围灯的控制方法、系统及车辆
CN114506267B (zh) * 2022-02-09 2023-10-20 岚图汽车科技有限公司 一种车辆氛围灯的控制方法、系统及车辆
CN115009227A (zh) * 2022-04-25 2022-09-06 一汽奔腾轿车有限公司 一种基于前摄像头的前风挡玻璃自动清洗控制方法

Also Published As

Publication number Publication date
JP3675231B2 (ja) 2005-07-27

Similar Documents

Publication Publication Date Title
JP4513318B2 (ja) 後側方画像制御装置および方法
CN100471263C (zh) 前视监视设备
JP3452268B2 (ja) 車両用後側方監視方法
JP5136071B2 (ja) 車両用後方監視装置および車両後方監視方法
JP2000251080A (ja) 車両用後側方監視装置
JP3444192B2 (ja) 撮像環境推定装置
KR20160041445A (ko) 영상인식을 통한 트레일러 궤적 추정 시스템 및 방법
JP2014106703A (ja) 車載画像処理装置
CN103533231A (zh) 车载摄像机除污装置的诊断装置、诊断方法和车辆系统
JP4039321B2 (ja) 車両用周辺表示装置
JPH08202999A (ja) 車両用周囲状況監視装置
JP2000251198A (ja) 車両用周辺監視装置
JP2004173048A (ja) 車載カメラシステム
JP3464368B2 (ja) 車両用後側方監視装置
JP4071527B2 (ja) 映像診断装置
JP2000016181A (ja) カメラ付ドアミラー及び車両周辺認識システム
JP2000355260A (ja) 含水物付着検出装置
CN112867663B (zh) 在倒车阶段中辅助驾驶机动车辆的驾驶辅助方法和装置
US20180077330A1 (en) Vehicular visual recognition device
JP3984863B2 (ja) 発進報知装置
KR101849326B1 (ko) 차량용 카메라 시스템
JP2005309660A (ja) 車両用右左折支援装置
US20230391261A1 (en) View support system at a vehicle for supporting a vehicle occupant to see the surroundings of the vehicle
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP2003044863A (ja) 仕切線認識装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050425

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080513

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees