JP3675231B2 - 含水物付着検出装置 - Google Patents

含水物付着検出装置 Download PDF

Info

Publication number
JP3675231B2
JP3675231B2 JP16635899A JP16635899A JP3675231B2 JP 3675231 B2 JP3675231 B2 JP 3675231B2 JP 16635899 A JP16635899 A JP 16635899A JP 16635899 A JP16635899 A JP 16635899A JP 3675231 B2 JP3675231 B2 JP 3675231B2
Authority
JP
Japan
Prior art keywords
optical flow
area
adhesion
imaging
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16635899A
Other languages
English (en)
Other versions
JP2000355260A (ja
Inventor
恭一 阿部
啓史 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP16635899A priority Critical patent/JP3675231B2/ja
Publication of JP2000355260A publication Critical patent/JP2000355260A/ja
Application granted granted Critical
Publication of JP3675231B2 publication Critical patent/JP3675231B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は自動車等の車両において、車両の周囲をモニタするビデオカメラ等の撮像手段の表面への、雨水等の含水物の付着状況を検知する含水物の付着検知装置に関する。
【0002】
【従来の技術】
自動車(以下車という)においては、図5に示すようにルームミラー10a左右のサイドミラー10b、10bにより、後方を監視して後方からの車等の接近を検知しているが、かかるルームミラー10aの視野範囲θ及びサイドミラー10b、10bの視野範囲θが狭く、特に後部側方に監視不能な範囲が存在するため、この範囲における接近車の見落としが発生し易い。
【0003】
このため、近年は車10の後部にビデオカメラ2を設置して該ビデオカメラ2により、前記後部側方を含む車10の後方の状態を検出し(検出角度θ=115°程度まで拡大可能となる)、運転室の表示手段に表示する手段が提案されている。
【0004】
かかるビデオカメラによる車両の後方の監視システムとして、特開平7−50769号の発明が提案されている。この発明においては、ビデオカメラで撮像した一連の後方画像中の、時間的に相前後する2コマの画像中に写し出される対象物体上の同一点の移動をオプティカルフローベクトルとして検出し、その方向と大きさとにより危険を判断するようになっている。
【0005】
また、車に搭載される前記ビデオカメラ等の監視カメラの保護カバーの汚れを除去する手段として、特開平3−85070号の発明が提案されている。
この発明においては、前記監視用カメラによる映像信号がバンドパスフィルタで処理されて検波回路で広域成分が検出され、この成分のレベルと基準信号出力回路の基準信号レベルとが比較され、この比較結果から前記カメラの保護カバーの汚れを判定して判定結果を出力し、汚れが判定されるとウォッシャを駆動して洗浄がなされるように構成されている。
【0006】
【発明が解決しようとする課題】
前記特開平7−50769号にて提案されているような、ビデオカメラを用いた後方監視システムにおいて、雨天時にビデオカメラ2の保護カバー(ガラスカバー)に雨滴が付着すると、該ビデオカメラから鮮明画像が得られず画像検出性能が低下するという不具合の発生をみる。
【0007】
かかる不具合の発生を防止する技術として、前記特開平3−85070号の発明が提案されているが、この発明においては雨滴付着を検出するために、あらたに雨滴検出ロジックを組込む必要があり複雑かつ高価となる。
【0008】
本発明はかかる従来技術の課題に鑑み、ビデオカメラ等の撮像手段への雨滴等の含水物による付着状態を撮像手段からの画像より得たオプティカルフローの現れ方から検出できるようにした含水物検出装置を提供することにある。
【0009】
【課題を解決するための手段】
本発明はかかる課題を解決するため、請求項1記載の発明として、
車両に設けられ所定の方向を撮像する撮像手段と、該撮像手段からの画像を処理しオプティカルフローを演算するオプティカルフロー演算手段と、該オプティカルフロー演算手段から求めたオプティカルフローの現れ方から前記撮像手段への含水物の付着状態を判定するとともに、
前記撮像手段から得た撮像画像を複数のエリアに分割し、前記オプティカルフロー演算手段から得たオプティカルフローが遠いエリアから近いエリアに順に現れた場合には正常と判定し、前記オプティカルフローが急に近いエリアに現れた場合には前記含水物付着の可能性有りと判定する判定手段と、前記判定手段により前記含水物付着を検出した場合にはドライバに報知する報知手段とを備えたことを特徴とする含水物付着検出装置を提案する。
【0011】
請求項1の発明では、既知の撮像手段から得たオプティカルフローを利用し、オプティカルフローの現れ方を画像上での出現位置より遠い側と近い側とで比較することにより、撮像装置への雨滴等の含水物付着状態を検出できる。
【0013】
【発明の実施の形態】
以下、本発明を図に示した実施例を用いて詳細に説明する。但し、この実施例に記載される構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載が無い限り、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【0014】
図1は本発明の実施形態にかかる自動車用ビデオカメラの雨滴付着検出装置の制御ブロック図、図2は制御フローチャート、図3は全体構成図(ハード構成図)、図4はオプティカルフローの動作説明図である。
【0015】
図3に示す全体構成において、10は自動車(以下車という)、4はハンドル、3はターンレバーであり、該車10の車室1内には、運転席の前方のドライバーが目識容易な部位に警報、表示装置5が設けられている。2は車10の後部に取付けられたビデオカメラ(撮像手段)である。8はワイパーの駆動を検知するワイパー信号検出器、7は車10の車速を検出する車速検出器である。6はコントローラで、前記ワイパー信号検出器8からワイパー駆動信号、車速検出器7から車速がそれぞれ入力され、また、ターンレバー3からターンレバーによる左折、右折信号が必要に応じて入力され、さらにビデオカメラ2から車10の後方の状態の撮像信号が入力され、後述する処理を行った結果を前記警報、表示装置5に出力するものである。
【0016】
図1に示す制御ブロック図において、ビデオカメラ2にて撮像された車10の後方の状態(光景)の撮像信号は、コントローラ6の画像処理部61に入力される。
該画像処理部61において所要の画像形態に処理された撮像信号はオプティカルフロー演算部62に入力される。
該オプティカルフロー演算部62には車速検出器7から車10の車速の検出信号が入力されている。
【0017】
そして該オプティカルフロー演算部62においては前記画像処理が施された撮像信号及び車速信号に基づき後述するような演算処理を行った後、その結果を雨滴付着判定部63に出力する。
該雨滴付着判定部63にはワイパー信号検出器8からワイパーの駆動信号が入力されている。
【0018】
そして、該雨滴付着判定部63においては、前記オプティカルフロー演算部62にて算出されたオプティカルフローに基づき、ビデオカメラ2への雨滴の付着状態(付着の程度)を判定し、その結果を運転室1内の警報、表示装置5に出力する。
該警報、表示装置5においては、前記雨滴付着判定部63におけるビデオカメラ2への雨滴の付着状態の判定結果に基づき、これを画面に表示するとともに、雨滴付着を検出した場合には警報信号を発信してドライバーにこれを知らせる。
【0019】
次に図2〜図3により、前記オプティカルフロー演算部62及び雨滴付着判定部63の動作を説明する。
まずオプティカルフロー演算部62においては、画像処理部61から入力される車10の後方の撮影画像を処理してオプティカルフローを演算する。
【0020】
雨滴付着判定部63においては、前記オプティカルフロー演算部62から入力されるオプティカルフローに基づき、図4に示すような左右の白線11a、11bの交点から右側及び左側に、車10の遠方から順に1、2、3及び1’、2’、3’のように、各側において、各3つのエリアに分割(2分割以上であればよい)する。
図4において、左側は[晴]、右側は[雨]の場合で、この図は(1)に示す時点(時間t)から(2)に示すΔt時間後のt+Δtの時点、そして(3)に示すさらにΔt時間後のt+2Δtの時点における接近車10のベクトルの移動状況を示している。
即ち、図4に示すように接近車10のオプティカルフローは、白線11a(11b)に沿って、エリア1→2→3(1’→2’→3’)のように移動し、(1)の時点(時間t)→(2)(時間t+Δt)→(3)(時間t+2Δt)のように変移していく。
【0021】
また、図4の左側に示す[晴]の場合は接近車10のオプティカルフローがエリア1、エリア2、エリア3の順に現れ、右側に示す[雨]の場合においてはビデオカメラに雨滴が付着していると、該接近車10のオプティカルフローは最も遠くにある(1)の時点ではエリア1(1’)では検出できない。これは雨滴が付着して見えにくいのと、なおかつ画像上で接近車の特徴がつかみにくいためである。
そして、エリア2(2’)まで近づくとオプティカルフローが得られる。これは画像上での接近車がやや大きく見えるようになるためである。
あるいはエリア2(2’)までオプティカルフローが得られず、エリア3(3’)にくるとオプティカルフローが得られる。これは画像上での接近車が大きく見えるようになるためで雨滴付着の有無にかかわらず見えるためである。
従って、前記オプティカルフローの現れ方を検出することにより、ビデオカメラへの雨滴12の付着の有無を判定できる。
【0022】
次にビデオカメラ2への雨滴付着状態の判定にあたっては、図2のフローチャートに示すように、前記画像処理部61からの画像が入力され(ステップ(1))、オプティカルフロー演算部62における前記のようなオプティカルフローの演算結果が出力される(ステップ(2))と、これらに続いてワイパー信号検出器8からワイパー信号が入力されているか否かを判断し(ステップ(3))、入力あり(YES)の場合は次の雨滴付着判定に移行する。
【0023】
前記雨滴付着判定部63においては、次の手順で雨滴付着状態を判定する。
ステップ(4)に示すように、図5に示す前記オプティカルフローにおいて、検出態様(1)の場合、即ちエリア1(あるいは1’)において、車10のベクトルが検出された場合は、図4(1)の[晴]の場合に該当し、雨滴付着無しと判定する。
【0024】
検出態様(2)の場合、即ち図4の[晴](2)のように、エリア2(あるいは2’)で車10のベクトルが検出され、そのΔt時間前のエリア1(あるいは1’)でも検出されていた場合(YES)には雨滴付着無しと判定し、エリア2(あるいは2’)で検出されていて、図4の[雨](1)のように、エリア1(あるいは1’)で検出されていなかった場合(NO)には雨滴付着可能性有りと判定する。
【0025】
さらに検出態様(3)の場合、即ち図4の[晴](3)のように、エリア3(あるいは3’)で車10のベクトルが検出され、そのΔt時間前のエリア2(あるいは2’)でも検出されていた場合は検出態様(4)の判定を行う。(ステップ(5))。即ち検出態様(5)の場合、前記エリア2(あるいは2’)で検出する場合のΔt時間前におけるエリア1(あるいは1’)においても検出されていた場合(YES)は雨滴付着無しと判定する。
つまり、図4の[晴](1)、(2)、(3)のように、車10のベクトルがエリア1(1’)→2(2’)→3(3’)と続いて現れる場合は雨滴付着無しと判定する。
【0026】
また検出態様(3)において、エリア3(3’)で検出されていてもエリア1(1’)で検出されていなかった場合(NO)は雨滴付着と判定する。
さらに検出態様(4)において、エリア3(3’)及び2(2’)で検出されていてもエリア1(1’)で検出されていなかった場合(NO)には雨滴付着の可能性ありと判定する。
即ち、図4のように、エリア1(1’)で検出されなかったが、エリア2(2’)→エリア3(3’)と続いて検出された場合には、雨滴付着可能性ありと判定する。
【0027】
以上のように、かかる雨滴付着判定部においては、
(A) 車10のベクトルがエリア1(1’)→2(2’)→3(3’)と続いて現れればビデオカメラ2には雨滴の付着無し。
(B) エリア1(1’)及び2(2’)に現れず、3(3’)で現れた場合はビデオカメラ2に雨滴の付着あり。
(C) エリア1(1’)で検出されず、エリア2(2’)で検出されていた場合、又はエリア1(1’)で検出されずエリア2(2’)及び3(3’)で検出された場合はビデオカメラ2に雨滴が付着している可能性ありと判定する。
【0028】
【発明の効果】
以上記載のごとく、本発明によれば、接近車両の状態を撮像手段による画像を用いてオプティカルフローにて現れるようにし、該オプティカルフローの現れ方を画像上での出現位置より遠い側と近い側とで比較することで、即ち、接近車両監視システムにおける既知の画像処理のオプティカルフローを利用することにより、撮像手段への雨滴等の付着を検出し、ドライバに知らせることができる。
【図面の簡単な説明】
【図1】 本発明の実施形態にかかる自動車用ビデオカメラの雨滴付着検出装置の制御ブロック図である。
【図2】 上記実施形態における雨滴付着判定のフローチャートである。
【図3】 上記実施形態における全体構成図(ハード構成図)である。
【図4】 上記実施形態におけるオプティカルフローの動作説明図である。
【図5】 自動車の後方視野範囲を示す説明図である。
【符号の説明】
10 車
1 車室
2 ビデオカメラ
3 ターンレバー
5 警報、表示装置
6 コントローラ
7 ワイパー信号検出器
11a、11b 白線
61 画像処理部
62 オプティカルフロー演算部
63 雨滴付着判定部

Claims (1)

  1. 車両に設けられ所定の方向を撮像する撮像手段と、該撮像手段からの画像を処理しオプティカルフローを演算するオプティカルフロー演算手段と、該オプティカルフロー演算手段から求めたオプティカルフローの現れ方から前記撮像手段への含水物の付着状態を判定するとともに、
    前記撮像手段から得た撮像画像を複数のエリアに分割し、前記オプティカルフロー演算手段から得たオプティカルフローが遠いエリアから近いエリアに順に現れた場合には正常と判定し、前記オプティカルフローが急に近いエリアに現れた場合には前記含水物付着の可能性有りと判定する判定手段と、前記判定手段により前記含水物付着を検出した場合にはドライバに報知する報知手段とを備えたことを特徴とする含水物付着検出装置。
JP16635899A 1999-06-14 1999-06-14 含水物付着検出装置 Expired - Fee Related JP3675231B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16635899A JP3675231B2 (ja) 1999-06-14 1999-06-14 含水物付着検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16635899A JP3675231B2 (ja) 1999-06-14 1999-06-14 含水物付着検出装置

Publications (2)

Publication Number Publication Date
JP2000355260A JP2000355260A (ja) 2000-12-26
JP3675231B2 true JP3675231B2 (ja) 2005-07-27

Family

ID=15829917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16635899A Expired - Fee Related JP3675231B2 (ja) 1999-06-14 1999-06-14 含水物付着検出装置

Country Status (1)

Country Link
JP (1) JP3675231B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4257627B2 (ja) * 1999-11-19 2009-04-22 日本精機株式会社 雨滴検出装置
JP5022609B2 (ja) 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP6362945B2 (ja) * 2014-07-22 2018-07-25 クラリオン株式会社 車載画像処理装置
CN114506267B (zh) * 2022-02-09 2023-10-20 岚图汽车科技有限公司 一种车辆氛围灯的控制方法、系统及车辆
CN115009227A (zh) * 2022-04-25 2022-09-06 一汽奔腾轿车有限公司 一种基于前摄像头的前风挡玻璃自动清洗控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634576A (ja) * 1992-07-21 1994-02-08 Asahi Chem Ind Co Ltd 瓶検査搬送装置
JP3452268B2 (ja) * 1993-08-06 2003-09-29 矢崎総業株式会社 車両用後側方監視方法

Also Published As

Publication number Publication date
JP2000355260A (ja) 2000-12-26

Similar Documents

Publication Publication Date Title
US10089540B2 (en) Vehicle vision system with dirt detection
EP2578464B1 (en) Video-based warning system for a vehicle
US10692380B2 (en) Vehicle vision system with collision mitigation
JP4720386B2 (ja) 運転支援装置
JP5136071B2 (ja) 車両用後方監視装置および車両後方監視方法
US20210306551A1 (en) Vehicle display control device, display control method, and non-transitory computer-readable medium
JP3312729B2 (ja) フェールセーフ機能を有する車外監視装置
JP3444192B2 (ja) 撮像環境推定装置
US20090157264A1 (en) Security system and a method to derive a security signal
US12202503B2 (en) Display system, camera monitoring system, and display method
US11124117B2 (en) Imaging device, display system, and display method
JP2007207274A (ja) 発進報知装置
JP4071527B2 (ja) 映像診断装置
JP3464368B2 (ja) 車両用後側方監視装置
JP7057074B2 (ja) 車載器および運転支援装置
US20180077330A1 (en) Vehicular visual recognition device
JPH11139262A (ja) 車両のウィンドウの視界不良検知装置
JP2000016181A (ja) カメラ付ドアミラー及び車両周辺認識システム
JP3984863B2 (ja) 発進報知装置
JP2008120142A (ja) 自動車用情報表示システム
JP2000355260A (ja) 含水物付着検出装置
JP3033390B2 (ja) 車両用画像表示装置
JP6967729B2 (ja) 運転支援システム、情報処理装置及び情報処理方法
CN116163618B (zh) 车门控制方法、车门控制装置、车载终端、车辆及介质
JP6552559B2 (ja) カメラモニタリングシステム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050425

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080513

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees