WO2014007294A1

WO2014007294A1 - 車載装置

Info

Publication number: WO2014007294A1
Application number: PCT/JP2013/068274
Authority: WO
Inventors: 將裕清原; 耕太入江; 克行中村; 彰二村松; 雅幸竹村; 修深田; 早川　泰久
Original assignee: Clarion Co Ltd; Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd; Faurecia Clarion Electronics Co Ltd
Priority date: 2012-07-03
Filing date: 2013-07-03
Publication date: 2014-01-09
Anticipated expiration: 2015-01-03
Also published as: BR112015000050B1; JP6251169B2; JPWO2014007294A1; CN104412573A; EP2871831A1; US9956941B2; MX343202B; RU2015103143A; EP2871831A4; US20150329083A1; CN104412573B; MX2014015628A; EP2871831B1; RU2640683C2; BR112015000050A2; MY183226A

Abstract

　車載装置は、車載用カメラの撮影レンズに付着した付着物を除去する複数の方法の付着物除去部を制御する洗浄制御部に向けて制御信号を出力する車載装置であって、入力された車速が予め定められた車速以上である場合、車載用カメラから出力された撮影画像から撮影レンズに付着した付着物を検出する付着物検出部と、複数の方法の付着物除去部の中から第１の方法の付着物除去部を選択する選択部と、撮影画像を用いて、選択部により選択された第１の方法の付着物除去部による除去動作により撮影レンズから付着物が除去されたか否かを判定する除去判定部と、を備え、選択部は、撮影レンズから付着物が除去されていないと除去判定部が判定したときに、第１の方法の付着物除去部を用いて行った除去動作の回数に基づいて、第１の方法の付着物除去部とは異なる第２の方法の付着物除去部を選択する。

Description

車載装置

　本発明は、車載装置に関する。

　車載用のカメラは車両の外部に備えられることが多く、カメラの撮影レンズに水滴、泥、融雪剤といった付着物が付着することが多く、異物を除去する仕組みを備えたものがある。従来から光学部材から異物が除去されたかを確認可能な撮像装置が考えられている（特許文献１）。

日本国特開２０１０－１０９５１６号公報

　本発明は、車載用カメラの撮影レンズを好適に洗浄することを目的とする。

　本発明の第１の態様によると、車載装置は、車載用カメラの撮影レンズに付着した付着物を除去する複数の方法の付着物除去部を制御する洗浄制御部に向けて制御信号を出力する車載装置であって、入力された車速が予め定められた車速以上である場合、車載用カメラから出力された撮影画像から撮影レンズに付着した付着物を検出する付着物検出部と、複数の方法の付着物除去部の中から第１の方法の付着物除去部を選択する選択部と、撮影画像を用いて、選択部により選択された第１の方法の付着物除去部による除去動作により撮影レンズから付着物が除去されたか否かを判定する除去判定部と、を備え、選択部は、撮影レンズから付着物が除去されていないと除去判定部が判定したときに、第１の方法の付着物除去部を用いて行った除去動作の回数に基づいて、第１の方法の付着物除去部とは異なる第２の方法の付着物除去部を選択する。
　本発明の第２の態様によると、第１の態様の車載装置において、複数の方法の付着物除去部の各々を用いた除去動作が複数の方法の付着物除去部の各々に対応した複数の所定回数行われた後に、撮影レンズから付着物が除去されていないと除去判定部が判定したとき、その除去されていない付着物の画像をマスク画像として記憶するマスク画像記憶部をさらに備え、付着物検出部は、マスク画像記憶部にマスク画像として記憶されている付着物については、検出の対象としないことが好ましい。
　本発明の第３の態様によると、第２の態様の車載装置において、第１の方法の付着物除去部は、圧縮空気を用いて付着物を払拭し、第２の方法の付着物除去部は、ウォッシャー液を用いて付着物を払拭し、選択部は、第１の方法の付着物除去部の除去動作の回数が第１の所定回数以下のとき、第１の方法の付着物除去部を選択し、第１の方法の付着物除去部の除去動作の回数が第１の所定回数より大きく、第２の方法の付着物除去部の除去動作の回数が第２の所定回数以下のとき、第２の方法の付着物除去部を選択し、第１の方法の付着物除去部の回数が第１の所定回数より大きく、第２の方法の付着物除去部の回数が第２の所定回数より大きいとき、マスク画像記憶部にマスク画像を記憶させることが好ましい。
　本発明の第４の態様によると、第３の態様の車載装置において、複数の方法の付着物除去部は、ワイパを用いて付着物を払拭する第３の方法の付着物除去部をさらに含み、選択部は、第１の方法の付着物除去部の除去動作の回数が第１の所定回数以下のとき、第１の方法の付着物除去部を選択し、第１の方法の付着物除去部の除去動作の回数が第１の所定回数より大きく、第２の方法の付着物除去部の除去動作の回数が第２の所定回数以下のとき、第２の方法の付着物除去部を選択し、第１の方法の付着物除去部の回数が第１の所定回数より大きく、第２の方法の付着物除去部の回数が第２の所定回数より大きく、第３の方法の付着物除去部の除去動作の回数が第３の所定回数以下のとき、第３の方法の付着物除去部を選択し、第１の方法の付着物除去部の回数が第１の所定回数より大きく、第２の方法の付着物除去部の回数が第２の所定回数より大きく、第３の方法の付着物除去部の回数が第３の所定回数より大きいとき、マスク画像記憶部にマスク画像を記憶させることが好ましい。
　本発明の第５の態様によると、第３の態様の車載装置において、除去判定部は、選択部により選択された第１の方法の付着物除去部による除去動作により除去された付着物の種別をさらに判別し、第１の方法の付着物除去部の除去動作により除去された付着物を水滴の付着物と判別して、第２の方法の付着物除去部の除去動作により除去された付着物を泥の付着物と判別することが好ましい。
　本発明の第６の態様によると、第４の態様の車載装置において、除去判定部は、選択部により選択された第１の方法の付着物除去部による除去動作により除去された付着物の種別をさらに判別し、第１の方法の付着物除去部の除去動作により除去された付着物を水滴の付着物と判別して、第２の方法の付着物除去部の除去動作により除去された付着物を泥の付着物と判別して、第３の方法の付着物除去部の除去動作により除去された付着物を水滴痕の付着物として判別することが好ましい。

　本発明によれば、車載用カメラの撮像レンズの状態を適切に推定できるようになり、さらに、付着した汚れの存在を確認することができる。

本発明の第１の実施形態による車載装置のブロック構成図である。カメラの撮影領域と遮光領域を示す図である。カメラの取り付け位置の例を示す図である。本発明の第１の実施形態による車載装置の制御ブロック図である。昼間水滴検出部に関するフローチャートの一例である。夜間水滴検出部に関するフローチャートの一例である。除去判定部に関するフローチャートの一例である。本発明の第１の実施形態による車載装置における装置選択部に関するフローチャートの一例である。本発明の第２の実施形態による車載装置のブロック構成図である。本発明の第２の実施形態による車載装置の制御ブロック図である。本発明の第２の実施形態による車載装置における装置選択部に関するフローチャートの一例である。非変化マスク生成の動作を説明する図である。非変化マスクの使用方法を説明する図である。付着物の種類に対する払拭装置の種類を示す図である。差分画像の生成方法について示す図である。

（第１の実施形態）
　図１は、本発明の一実施形態による車載装置１００のブロック構成図である。図１に示す車載装置１００は、車両に搭載されて使用されるものであり、遮光板１ａが取り付けられたカメラ１と、制御部２と、警報出力部３と、動作状態報知部４と、洗浄制御部５と、エアーポンプ６と、ウォッシャーポンプ７と、エアーノズル８と、ウォッシャーノズル９とを備える。

　カメラ１は、車両の後方に向けて設置されており、車両後方の路面を含む撮影領域内の画像を所定の時間間隔ごとに撮影する。このカメラ１には、たとえばＣＣＤやＣＭＯＳなどの撮像素子が用いられる。カメラ１により取得された撮影画像は、カメラ１から制御部２へ出力される。

　遮光板１ａは、カメラ１の撮影レンズに向けて進む光の一部を遮光するためにカメラ１に取り付けられている。図２は、カメラ１の撮影領域と遮光領域を示す図であり、カメラ１を横方向から見た様子を示している。図２に示すように、カメラ１の撮影領域のうち上側の一部分が遮光板１ａでマスクされることにより、遮光領域が形成されている。カメラ１は、この遮光領域以外の撮影領域において、車両後方の路面を含む画像を撮影する。ここで、カメラ１の撮影領域（画角、撮影画角）は、車両後方の路面を左右方向について十分に広い範囲で撮影できるように比較的広く設定されており、そのままでは路面以外、たとえば空や背景等からの不要な光もカメラ１に入射されてしまう。そこで、こうしたカメラ１への不要な入射光を遮るため、遮光板１ａにより遮光領域が設けられている。

　図３は、カメラ１の取り付け位置の例を示す図である。自車両の後方部分において、車体２０にはナンバープレート２１が設置されている。このナンバープレート２１の直上の位置に、斜め下に向けてカメラ１が取り付けられており、その上に遮光板１ａが設置されている。なお、ここで示した取り付け位置はあくまで一例であるため、他の位置にカメラ１を取り付けてもよい。車両後方の路面を適切な範囲で撮影可能な限り、カメラ１の取り付け位置をどのように定めてもよい。

　制御部２は、ＲＡＭ１０とＲＯＭ１１とＣＰＵ１２とを有し、カメラ１からの撮影画像をＲＡＭ１０に記憶して、それらの撮影画像を用いて所定の画像処理を行い、その処理結果に応じた各種制御を行う。この制御部２が行う制御により、車載装置１００において、たとえば、ＬＤＷ（Lane Departure Warning）、ＰＥＤ（Pedestrian Detection）、ＲＳＲ（Road Sign Recognition）、ＩＭＤ（Image Diagnosis）と呼ばれる様々な機能が実現される。ＬＤＷは、撮影画像から路面の白線（車線境界線、車道外側線、中央線など）を検出することにより、自車両が走行中の車線から逸脱しそうなときに警報を出力する機能である。ＰＥＤは、撮影画像から人物形状を検出することにより、自車進路上にいる歩行者の存在を運転者に知らせる機能である。ＲＳＲは、撮影画像から道路上の交通標識を認識し、例えば速度制限標識の速度を超えている場合には、運転者に警告を行う機能である。ＩＭＤは、カメラ１により撮影画像が正しく撮影されているかを診断する機能である。

　警報出力部３は、警報ランプや警報ブザー等による警報を車両の運転者に対して出力するための部分である。この警報出力部３の動作は、制御部２によって制御される。たとえば、前述のＬＤＷにおいて自車両が走行中の車線から逸脱しそうと判断された場合や、ＰＥＤにおいて衝突しうる人物が検出された場合に、制御部２の制御に応じて警報出力部３から警報が出力される。

　動作状態報知部４は、車載装置１００の動作状態を車両の運転者に報知するための部分である。たとえば、所定の動作条件が満たされておらずに車載装置１００が非動作状態にある場合、制御部２の制御により、動作状態報知部４として車両の運転席付近に設置されたランプを点灯させる。これにより、車載装置１００が非動作状態であることを運転者に報知する。

　洗浄制御部５は、制御部２からの制御に応じて、エアーポンプ６およびウォッシャーポンプ７の動作を制御するための部分である。たとえば、前述のＩＭＤにおいてカメラ１に水滴、泥、融雪剤等の付着物が付着しており、そのために撮影画像が正しく撮影されていないと判断された場合、制御部２は洗浄制御部５に対して、エアーポンプ６やウォッシャーポンプ７の作動を要請する制御信号を出力する。洗浄制御部５は、この信号に応じて、洗浄制御部５はエアーポンプ６やウォッシャーポンプ７の動作を制御する。洗浄制御部５は、エアーポンプ６やウォッシャーポンプ７を動作させて付着物の除去動作を行った後に、エアーポンプ６やウォッシャーポンプ７を動作させたことを表す動作完了信号と称する信号を制御部２へ出力する。

　エアーポンプ６は、洗浄制御部５からの制御に応じて動作し、圧縮空気をエアーノズル８へ出力する。この圧縮空気がエアーノズル８からカメラ１に向けて噴出されることで、カメラ１の撮影レンズ部分に付着した水滴等の付着物が吹き飛ばされて除去される。

　ウォッシャーポンプ７は、洗浄制御部５からの制御に応じて動作し、不図示のウォッシャータンクから供給されるウォッシャー液をウォッシャーノズル９へ出力する。このウォッシャー液がウォッシャーノズル９からカメラ１に向けて噴出されることで、カメラ１の撮影レンズ部分に付着しており、エアーノズル８からの圧縮空気では除去が困難な泥等の付着物が洗浄されて除去される。

　図４は、本発明の第１の実施の形態による車載装置の制御ブロック図の一例である。図４に示す車載装置１００において、制御部２は、付着物検出部３１と装置選択部３２と制御信号出力部３３と除去判定部３４とマスク画像生成部３５として機能する。

　付着物検出部３１は、カメラ１が出力した撮影画像から付着物を検出する。付着物検出部３１は、昼間水滴検出部３１１、夜間水滴検出部３１２、泥検出部３１３、水滴痕検出部３１４などを備える。

　カメラ１が出力した撮影画像は、付着物検出部３１の昼間水滴検出部３１１、夜間水滴検出部３１２、泥検出部３１３、水滴痕検出部３１４などへ入力される。昼間水滴検出部３１１および夜間水滴検出部３１２は、撮影画像から水滴の付着物を検出する。昼間水滴検出部３１１と夜間水滴検出部３１２は、車両の周囲の明るさにより使い分ける。車両の周囲が明るいとき（昼間）は昼間水滴検出部３１１を用いて、車両の周囲が暗いとき（夜間）は夜間水滴検出部３１２を用いる。泥検出部３１３は、撮影画像から泥の付着物を検出する。水滴痕検出部３１４は、撮影画像から水滴痕の付着物を検出する。付着物検出部３１の各部が検出した付着物の位置、形状、サイズなどの情報は、付着物情報として装置選択部３２および除去判定部３４へ出力される。

　なお、付着物検出部３１の各部の検出結果には、レンズ傷、遮光板１ａに付着した付着物など、除去不可能な付着物が水滴、泥、水滴痕の付着物として検出されることがある。除去不可能な付着物に対して圧縮空気やウォッシャー液の出力を繰り返すと、圧縮空気による泥の乾燥や、不図示のウォッシャータンクの枯渇などの原因となり得る。付着物検出部３１は、除去不可能な付着物への圧縮空気やウォッシャー液の出力を抑制するため、付着物を検出する際に除去不可能な付着物の画像をマスク画像として利用する。以降、付着物検出部３１が利用するこのマスク画像のことを、非変化マスクと称する。付着物検出部３１は、撮影画像に対してエッジ検出処理など所定の画像処理を適用した後、非変化マスクを適用して、非変化マスクでマスクされた画像からは付着物を検出しないようにする。非変化マスクは、マスク画像生成部３５により生成される。

　装置選択部３２は、付着物検出部３１が検出した付着物を撮影レンズから除去（払拭、洗浄）するために用いる付着物除去部を、エアーポンプ６およびウォッシャーポンプ７の中から選択する。装置選択部３２は、付着物検出部３１または除去判定部３４から付着物情報が入力されたとき、選択した付着物除去部に関する情報を制御信号出力部３３へ出力する。装置選択部３２は、エアーポンプ６を動作させて圧縮空気を用いた除去動作を行った動作回数Ａと、ウォッシャーポンプ７を動作させて除去動作を行った動作回数Ｂとに基づいて、付着物除去部を選択する。動作回数Ａおよび動作回数Ｂは、ＲＡＭ１０に記憶されており、装置選択部３２と除去判定部３４との間で共有されている。なお、動作回数Ａおよび動作回数Ｂの初期化は、付着物検出部３１が付着物を検出したときに実施することにしてもよい。

　制御信号出力部３３は、装置選択部３２が選択した付着物除去部の動作を要請する制御信号を生成して、洗浄制御部５に向けて出力する。この制御信号には、装置選択部３２が選択した付着物除去部に関する情報と、洗浄強度や洗浄時間などの制御量とが含まれる。

　除去判定部３４は、洗浄制御部５がエアーポンプ６やウォッシャーポンプ７の動作制御を完了した後、撮影レンズから付着物が除去（払拭、洗浄）されたか否かを判定する。除去判定部３４には、カメラ１からフレームごとに撮影画像が入力されており、洗浄制御部５から動作完了信号が入力される。

　除去判定部３４は、洗浄制御部５から動作完了信号が入力されたとき、除去動作前の撮影画像と、除去動作後の撮影画像との差分画像を生成して、その差分画像に基づいて付着物が除去（払拭、洗浄）されているか否かを判定する。除去判定部３４は、付着物が除去されていない場合は、除去動作を行った付着物除去部の動作回数をインクリメントして、付着物検出部３１から入力された付着物情報を装置選択部３２に向けて出力する。装置選択部３２は、除去判定部３４から付着物情報を出力されたとき、インクリメント後の動作回数に基づいて付着物除去部を選択して、その付着物除去部に関する情報を制御信号出力部３３へ出力する。

　マスク画像生成部３５は、非変化マスクを生成または更新する。マスク画像生成部３５は、装置選択部３２から非変化マスクの生成の要請があったとき、除去判定部３４から除去動作後の画像を取得して、その画像に基づいて非変化マスクを生成または更新する。生成された非変化マスクは、ＲＡＭ１０などの記憶媒体に記憶される。

　図１２（ａ）～（ｃ）に示す例を用いて、非変化マスク生成の動作について説明する。図１２（ａ）に示すように、洗浄動作前の時刻ｔ１の画像１４０に対し、付着物１３１、付着物１３２、付着物１３３が付着していることが検出されたとする。この後、洗浄動作が行われ、前記付着物のうち付着物１３２と付着物１３３が除去されたとする。その結果、洗浄動作後の時刻ｔ２では、図１２（ｂ）の画像１４１に示すように、付着物１３１のみが残留している。マスク画像生成部３５は、この時刻ｔ２の画像１４１に基づいて、図１２（ｃ）に示すような非変化マスク１５０を生成する。非変化マスク１５０には、残留した付着物１３１に対応する領域に、非変化領域１３４の情報を保持している。なお、非変化マスク１５０は、画像１４０および画像１４１よりも低い解像度でも構わない。解像度を低くすることで、記憶領域節約の効果と非変化マスク使用時の処理時間削減の効果が生じる。

　次に、図１３に示す例を用いて非変化マスクの使用方法について説明する。図１３に示すように、時刻ｔ３の画像１４２に対し、付着物１３５、付着物１３６が付着していることが検出されたとする。一方で、以前の洗浄動作時に非変化マスク１５０が得られているものとする。このとき、ＣＰＵ１２は、画像１４２の付着物領域であり、かつ、非変化マスク１５０の非変化領域ではない領域（非変化マスク適用後の付着物領域と呼ぶ）を作成する。例えば、ＣＰＵ１２は、画像の左上からラスタスキャンを行い、付着物領域に含まれており、かつ、非変化領域に含まれていない各画素を非変化マスク適用後の付着物領域として登録する。この非変化マスク適用後の付着物領域は、新規に付着した付着物の領域を表している。

　図５は、昼間水滴検出部３１１に関するフローチャートである。ステップＳ３１１０では、ＣＰＵ１２は、カメラ１が出力した撮影画像に対して周知のエッジ検出処理を行い、エッジ画像を生成する。ステップＳ３１１１では、ＣＰＵ１２は、ステップＳ３１１０で生成されたエッジ画像の中からエッジ強度が弱くぼけた画素を抽出する。ＣＰＵ１２は、エッジ画像に含まれるエッジ強度が所定の閾値Ｔｈ１以上閾値Ｔｈ２以下のエッジを抽出する。これは、昼間など車両の周囲が明るいときは、エッジ画像において水滴は弱いエッジとなる現象を利用したものである。ステップＳ３１１２では、ＣＰＵ１２は、ステップＳ３１１１の抽出結果に対して、マスク画像生成部３５が生成した非変化マスクを適用する。ステップＳ３１１３では、ＣＰＵ１２は、非変化マスクを適用したステップＳ３１１１の抽出結果を、水滴の付着物として出力する。

　図６は、夜間水滴検出部３１２に関するフローチャートである。夜間水滴検出部３１２では、夜間など車両周辺が暗いとき、後方車両のヘッドライト等からの光が撮影レンズに付着した水滴に反射または屈折することにより、光点として撮影画像に表れる現象を用いる。ステップＳ３１２０では、ＣＰＵ１２は、カメラ１が出力した撮影画像からその光点を抽出する。ステップＳ３１２１では、ＣＰＵ１２は、ステップＳ３１２０の抽出結果に対して、マスク画像生成部３５が生成した非変化マスクを適用する。ステップＳ３１２２では、ＣＰＵ１２は、非変化マスクを適用したステップＳ３１２０の抽出結果を、水滴の付着物として出力する。

　図７は、除去判定部３４に関するフローチャートである。ステップＳ３４０では、ＣＰＵ１２は、付着物検出部３１から付着物情報が入力されたか否かを判定する。ＣＰＵ１２は、付着物情報が入力されるまでステップＳ３４０の処理を繰り返し、付着物情報が入力されたとき処理をステップＳ３４１に進める。

　ステップＳ３４１では、ＣＰＵ１２は、洗浄制御部５から動作完了信号が入力されたか否かを判定する。ＣＰＵ１２は、動作完了信号が入力されるまでステップＳ３４１の処理を繰り返し、動作完了信号が入力されたとき処理をステップＳ３４２に進める。

　ステップＳ３４２では、ＣＰＵ１２は、装置選択部３２が選択していた付着物除去部（除去動作を完了させた付着物除去部）の動作回数（動作回数Ａまたは動作回数Ｂ）をインクリメントする。

　ステップＳ３４３では、ＣＰＵ１２は、除去動作後の最新の撮影画像をカメラ１から取得し、ＲＡＭ１０に記憶する。ステップＳ３４４では、ＣＰＵ１２は、ステップＳ３４３で取得した除去動作後の撮影画像と、除去動作前の撮影画像との差分画像を生成する。

　ステップＳ３４５では、ＣＰＵ１２は、ステップＳ３４４で生成した差分画像に除去されなかった付着物の画像が存在しているか否かを判定する。ＣＰＵ１２は、ステップＳ３４５が肯定判定された場合、すなわち除去されなかった付着物が差分画像の中に存在する場合は処理をステップＳ３４６に進める。一方、ステップＳ３４５が否定判定された場合、処理をステップＳ３４０に進める。

　ステップＳ３４６では、ＣＰＵ１２は、除去された付着物の種別を判定する。ＣＰＵ１２は、各付着物に対して、払拭前後における付着物を表す画素塊の輝度変化、付着物のサイズまたは形状、動作回数Ａ、動作回数Ｂ、直前に動作させた付着物除去部の種類などに基づいて、付着物の種別を判別する。たとえば、１回以上のエアーポンプ６の除去動作により除去されたまたは形状が変化した付着物は水滴であると判別する。一方でエアーポンプ６の除去動作を３回行っても除去されず１回以上のウォッシャーポンプ７の動作により除去されたまたは形状が変化した付着物は泥であると判別する。ＣＰＵ１２は、この付着物の種別に関する情報を、洗浄制御部５へ制御信号の制御量として出力することにしてもよい。

　ステップＳ３４７では、ＣＰＵ１２は、ステップＳ３４０で入力された付着物情報を、装置選択部３２へ出力する。その後、ＣＰＵ１２は、処理をステップＳ３４１に進める。

　図８は、装置選択部３２に関するフローチャートである。図８に例示するフローチャートは、装置選択部３２がエアーポンプ６を優先して選択する場合のフローチャートである。

　ステップＳ３２１では、ＣＰＵ１２は、図７のステップＳ３４７で付着物検出部３１または除去判定部３４から付着物情報が入力されたか否かを判定する。付着物情報が付着物検出部３１から入力されたときとは、すなわち付着物検出部３１により付着物が検出されたときである。また、付着物情報が除去判定部３４から入力されたときとは、すなわち除去判定部３４がステップＳ３４５にて差分画像に除去されなかった付着物が存在すると判定したとき、換言すると付着物が除去されていないと除去判定部３４が判定したときである。ＣＰＵ１２は、付着物情報が装置選択部３２へ入力されるまでステップＳ３２１の処理を繰り返す。ＣＰＵ１２は、付着物情報が装置選択部３２へ入力されたとき、処理をステップＳ３２２に進める。

　ステップＳ３２２では、ＣＰＵ１２は、ＲＡＭ１０に記憶されている動作回数Ａが所定回数Ａ_Ｌ以下（たとえば、Ａ_Ｌ＝３）か否かを判定する。ＣＰＵ１２は、ステップＳ３２２が肯定判定されたとき処理をステップＳ３２３に進め、ステップＳ３２２が否定判定されたとき処理をステップＳ３２４に進める。

　ステップＳ３２３では、ＣＰＵ１２は、付着物除去部としてエアーポンプ６を選択し、制御信号出力部３３にエアーポンプ６の動作を要請する制御信号を洗浄制御部５へ出力させる。ＣＰＵ１２は、ステップＳ３２３の処理が完了した後、処理をステップＳ３２１に進める。制御信号出力部３３から制御信号を入力された洗浄制御部５は、エアーポンプ６による除去動作後に動作完了信号を除去判定部３４へ出力する。

　ステップＳ３２４では、ＣＰＵ１２は、ＲＡＭ１０に記憶されている動作回数Ｂが所定回数Ｂ_Ｌ以下（たとえば、Ｂ_Ｌ＝１）か否かを判定する。ＣＰＵ１２は、ステップＳ３２４が肯定判定されたとき処理をステップＳ３２５に進め、ステップＳ３２４が否定判定されたとき処理をステップＳ３２６に進める。

　ステップＳ３２５では、ＣＰＵ１２は、付着物除去部としてウォッシャーポンプ７を選択し、制御信号出力部３３にウォッシャーポンプ７の動作を要請する制御信号を出力させる。ＣＰＵ１２は、ステップＳ３２５の処理が完了した後、処理をステップＳ３２１に進める。制御信号出力部３３から制御信号を入力された洗浄制御部５は、ウォッシャーポンプ７による除去動作後に動作完了信号を除去判定部３４へ出力する。

　ステップＳ３２６では、マスク画像生成部３５に非変化マスクを生成させる。ＣＰＵ１２は、ステップＳ３２６の処理が完了した後、処理をステップＳ３２１に進める。

　以上で説明した第１の実施の形態によれば、次の作用効果を奏する。
　車載装置１００は制御部２を備える。制御部２は、カメラ１の撮影レンズに付着した付着物を除去するためのエアーポンプ６とウォッシャーポンプ７とを制御する洗浄制御部５に向けて制御信号を出力する。制御部２は、カメラ１から出力された撮影画像から撮影レンズに付着した付着物を検出する付着物検出部３１と、複数の付着物除去部の中から１以上の付着物除去部を選択する装置選択部３２と、撮影画像を用いて装置選択部３２により選択された１以上の付着物除去部による除去動作により撮影レンズから付着物が除去されたか否かを判定する除去判定部３４と、装置選択部３２が選択した１以上の付着物除去部に関する情報を少なくとも含む制御信号を洗浄制御部５に向けて出力する制御信号出力部３３と、を備える。装置選択部３２は、ステップＳ３２１において付着物検出部３１または除去判定部３４から付着物情報を入力されたとき、すなわち付着物検出部３１が撮影レンズに付着した付着物を検出したとき、または、撮影レンズから付着物が除去されていないと除去判定部３４が判定したときに、複数の付着物除去部の各々を用いて行った除去動作の動作回数ＡおよびＢに基づいて、１以上の付着物除去部を選択する。本発明の第１の実施形態による制御部２は、このような構成を有することにより車載用カメラの撮影レンズを好適に洗浄することができる。

　制御部２は、複数の付着物除去部の各々を用いた除去動作が各々に対応した複数の所定動作回数行われた後に、撮影レンズから付着物が除去されていないと除去判定部３４が判定したとき、その除去されていない付着物の画像を非変化マスクとして生成し、ＲＡＭ１０に記憶するマスク画像生成部３５をさらに備える。付着物検出部３１は、非変化マスクとしてＲＡＭ１０に記憶されている付着物については、検出の対象としない。これにより、レンズ傷、遮光板１ａに付着した付着物などの付着物除去部では除去不可能なものを付着物検出部３１が繰り返し検出し、無駄な洗浄行為を続けてしまうことを抑制できる。

　制御部２の装置選択部３２は、エアーポンプ６の除去動作の動作回数Ａが所定回数Ａ_Ｌ以下のとき（図８のステップＳ３２２　ＹＥＳ）、エアーポンプ６を選択する（ステップＳ３２３）。エアーポンプ６による除去動作の動作回数Ａが所定回数Ａ_Ｌより大きく（ステップＳ３２２　ＮＯ）、ウォッシャーポンプ７による除去動作の動作回数Ｂが所定値Ｂ_Ｌ以下のとき（ステップＳ３２４　ＹＥＳ）、ウォッシャーポンプ７を選択する（ステップＳ３２５）。エアーポンプ６による除去動作の動作回数Ａが所定回数Ａ_Ｌより大きく（ステップＳ３２２　ＮＯ）、ウォッシャーポンプ７による除去動作の動作回数Ｂが所定回数Ｂ_Ｌより大きいとき（ステップＳ３２４　ＮＯ）、除去されていない付着物の画像をマスク画像生成部３５がＲＡＭ１０に記憶させる。このようにすることで、エアーポンプ６の除去動作で除去されたものは水滴等であり、ウォッシャーポンプ７の除去動作で除去されたものは泥等であるといったように、付着物の種別を判別しながら付着物を除去することができる。付着物の種類（水滴・泥・水滴痕・レンズ傷）に対し、払拭装置の種類（エア・ウォッシャ・ワイパ）に応じた払拭可否を図１４に示す。特定の払拭装置を稼働させて、その応答を見ることで付着物の種類を大別することができる。このような情報に対して統計処理等を行いフィードバック制御を行うことにより、動作回数Ａおよび動作回数Ｂをユーザの運転傾向等に合わせて調整することができる。

（第２の実施形態）
　図９は、第２の実施の形態による車載装置のブロック構成図である。車載装置２００は、第１の実施の形態による車載装置１００と比べて、カメラ１の撮影レンズを払拭するワイパ１４と、ワイパ１４を駆動するワイパ駆動部１３とを備える点が異なる。第１の実施の形態による洗浄制御部５に相当する洗浄制御部５５は、エアーポンプ６およびウォッシャーポンプ７のほかにワイパ駆動部１３の動作をさらに制御する。ワイパ１４は、ウォッシャー液でも除去が困難な水滴痕の付着物を、払拭により比較的容易に撮影レンズから除去することができる。洗浄制御部５５は、ワイパ駆動部１３による除去動作が完了したときも、動作完了信号を除去判定部３４へ出力する。

　図１０は、第２の実施の形態による車載装置の制御ブロック図である。図１０の制御部ブロック図は、制御部２、洗浄制御部５、装置選択部３２がそれぞれ制御部５２、洗浄制御部５５、装置選択部３６に変わっている点が図４の制御ブロック図と異なる。なお、図１０では、図４の制御ブロック図と同様の処理を行うものには、同一の符号が付されており、以下ではその説明を省略する。

　装置選択部３６は、エアーポンプ６の動作回数Ａと、ウォッシャーポンプ７の動作回数Ｂと、ワイパ駆動部１３の動作回数Ｃとに基づいて、エアーポンプ６とウォッシャーポンプ７とワイパ駆動部１３との中から付着物除去部を選択する。

　図１１は、制御部５２により実行される装置選択部３６に関するフローチャートである。図１１の処理は、ワイパ駆動部１３に関する処理、ステップＳ３６６とステップＳ３６７を有する。

　図１１のステップＳ３６１では、ＣＰＵ１２は、図８のステップＳ３２１と同様の処理を行う。図１１のステップＳ３６２では、ＣＰＵ１２は、図８のステップＳ３２２と同様の判定を行う。ＣＰＵ１２は、ステップＳ３６２が肯定判定されたときはステップＳ３６３に処理を進め、ステップＳ３６２が否定判定されたときはステップＳ３６４に処理を進める。図１１のステップＳ３６３では、ＣＰＵ１２は、図８のステップＳ３２３と同様の判定を行う。

　図１１のステップＳ３６４では、ＣＰＵ１２は、否定判定されたときにワイパ駆動部１３に関する判定を行うステップＳ３６６に進む以外は、図８のステップＳ３２４と同様の判定を行う。ＣＰＵ１２は、ステップＳ３６４が肯定判定されたときは図８のステップＳ３２４と同様にステップＳ３６５に処理を進める。図１１のステップＳ３６５では、ＣＰＵ１２は、図８のステップＳ３２５と同様の処理を行う。

　図１１のステップＳ３６６では、ＣＰＵ１２は、ＲＡＭ１０に記憶されている動作回数Ｃが所定回数Ｃ_Ｌ以下（たとえば、Ｃ_Ｌ＝３）か否かを判定する。ＣＰＵ１２は、ステップＳ３６６が肯定判定されたとき処理をステップＳ３６７に進め、ステップＳ３６６が否定判定されたとき処理をステップＳ３６８に進める。

　図１１のステップＳ３６７では、ＣＰＵ１２は、付着物除去部としてワイパ駆動部１３を選択し、制御信号出力部３３にワイパ駆動部１３の動作を要請する制御信号を洗浄制御部５５へ出力させる。ＣＰＵ１２は、ステップＳ３６７の処理が完了した後、処理をステップＳ３６１に進める。制御信号出力部３３から制御信号を入力された洗浄制御部５は、ワイパ駆動部１３による除去動作後に動作完了信号を除去判定部３４へ出力する。図１１のステップＳ３６７にて出力された制御信号に応じてワイパ駆動部１３が除去動作を行って、カメラ１の撮影レンズから付着物が除去された場合、除去判定部３４は、ステップＳ３４５においてその付着物が水滴痕等であると判別する。なお、図１１のステップＳ３６８では、図８のステップＳ３２６と同様の処理を行う。

　なお、除去判定部３４は、第１の実施の形態と同様にステップＳ３４６（図７）において、除去された付着物の種別を判定する。このとき、ＣＰＵ１２は、各付着物に対して、払拭前後における付着物を表す画素塊の輝度変化、付着物のサイズまたは形状、動作回数Ａ、動作回数Ｂ、動作回数Ｃ、直前に動作させた付着物除去部の種類などに基づいて、付着物の種別を判別する。そして、たとえばエアーポンプ６の除去動作を３回行い、ウォッシャーポンプ７の除去動作を１回以上行っても除去されず、１回以上のワイパ駆動部１３の除去動作により除去されたまたは形状が変化した付着物は水滴痕であると判別する。

　以上で説明した第２の実施の形態によれば、次の作用効果を奏する。
　車載装置２００は制御部５２を備える。制御部５２は、カメラ１の撮影レンズに付着した付着物を除去するためのエアーポンプ６とウォッシャーポンプ７とワイパ駆動部１３とを制御する洗浄制御部５５に向けて制御信号を出力する。制御部５２は、カメラ１から出力された撮影画像から撮影レンズに付着した付着物を検出する付着物検出部３１と、複数の付着物除去部の中から１以上の付着物除去部を選択する装置選択部３６と、撮影画像を用いて、装置選択部３６により選択された１以上の付着物除去部による除去動作により撮影レンズから付着物が除去されたか否かを判定する除去判定部３４と、装置選択部３６が選択した１以上の付着物除去部に関する情報を少なくとも含む制御信号を洗浄制御部５に向けて出力する制御信号出力部３３と、を備える。装置選択部３６は、ステップＳ３６１において付着物検出部３１または除去判定部３４から付着物情報を入力されたとき、すなわち付着物検出部３１が撮影レンズに付着した付着物を検出したとき、または、撮影レンズから付着物が除去されていないと除去判定部３４が判定したときに、複数の付着物除去部の各々を用いて行った除去動作の動作回数Ａ、Ｂ、およびＣに基づいて、１以上の付着物除去部を選択する。本発明の第２の実施形態による制御部２は、このような構成を有することにより車載用カメラの撮影レンズを好適に洗浄することができる。

　制御部２の装置選択部３６は、エアーポンプ６の除去動作の動作回数Ａが所定回数Ａ_Ｌ以下のとき（図８のステップＳ３６２　ＹＥＳ）、エアーポンプ６を選択する（ステップＳ３６３）。エアーポンプ６による除去動作の動作回数Ａが所定回数Ａ_Ｌより大きく（ステップＳ３６２　ＮＯ）、ウォッシャーポンプ７による除去動作の動作回数Ｂが所定値Ｂ_Ｌ以下のとき（ステップＳ３６４　ＹＥＳ）、ウォッシャーポンプ７を選択する（ステップＳ３６５）。エアーポンプ６による除去動作の動作回数Ａが所定回数Ａ_Ｌより大きく（ステップＳ３６２　ＮＯ）、ウォッシャーポンプ７による除去動作の動作回数Ｂが所定回数Ｂ_Ｌより大きく（ステップＳ３６４　ＮＯ）、ワイパ駆動部１３による除去動作の動作回数Ｃが所定回数Ｃ_Ｌ以下のとき（ステップＳ３６６　ＹＥＳ）、ワイパ駆動部１３を選択する。エアーポンプ６による除去動作の動作回数Ａが所定回数Ａ_Ｌより大きく（ステップＳ３６２　ＮＯ）、ウォッシャーポンプ７による除去動作の動作回数Ｂが所定回数Ｂ_Ｌより大きく（ステップＳ３６４　ＮＯ）、ワイパ駆動部１３による除去動作の動作回数Ｃが所定回数Ｃ_Ｌより大きいとき、除去されていない付着物の画像をマスク画像生成部３５がＲＡＭ１０に記憶させる。このようにすることで、図１４に示すように、エアーポンプ６の除去動作で除去されたものは水滴等であり、ウォッシャーポンプ７の除去動作で除去されたものは泥等であり、ワイパ駆動部１３の除去動作で除去されたものは水滴痕等であるといったように、付着物の種別を判別しながら付着物を除去することができる。このような情報に対して統計処理等を行いフィードバック制御を行うことにより、動作回数Ａ、Ｂ、およびＣをユーザの運転傾向等に合わせて調整することができる。

（第３の実施形態）
　次に、第３の実施の形態による車載装置を説明する。本実施形態は、第１の実施の形態による車載装置とほぼ同様であるが、車両が移動しているときに付着物検出３１を動作させることを特徴とする。

　第３の実施の形態で実行されるＬＤＷ、ＰＥＤ、ＲＳＲ、ＩＭＤの各画像認識機能は、車両が走行中に動作する機能であり、一定車速（例えば５ｋｍ／ｈ）以上の時に、付着物検出３１を動作させる。一定車速以上であるか否かは、図示しない車速センサを用いて判断する。

　付着物検出３１のうち、例えば、泥検出部３１３は、カメラ１を用いて異なる２時刻の画像を撮像し、それらの画像から差分画像を生成し、差分画像における差分領域の形状を判定することにより、泥の付着有無を判断することができる。

　図１５を用いて、差分画像の生成方法について説明する。差分画像は、最新の撮影画像と、基準画像との差分を算出することにより生成される。基準画像は、最新の撮影画像より前にカメラ１から時系列的に連続して出力された過去の撮影画像に基づいて生成される。

　図１５には、時間変化を表す矢印が図示されており、その矢印の上にはカメラ１のフレームレートに従って時間ｔ_０～ｔ_５が図示されている。時間変化を表す矢印の下には、時間ｔ_０～ｔ_５においてそれぞれカメラ１から出力される撮影画像Ｐ_０～Ｐ_５が図示されている。

　撮影画像Ｐ_０～Ｐ_５は、カメラ１から出力されるたびにＲＡＭ１０に蓄積される。そして、ＲＡＭ１０への撮影画像の蓄積は、時間ｔ_０に開始したものとする。すなわち、図６においては撮影画像Ｐ_０がＲＡＭ１０に蓄積された撮影画像のうち最も古い撮影画像であり、撮影画像Ｐ_５が最新の撮影画像である。

　基準画像Ｑ_ｉは、カメラ１から新たに撮影画像Ｐ_ｉが出力されたとき（たとえば、時間ｔ_５）、直前にＲＡＭ１０に蓄積された撮影画像Ｐ_ｉ－１（たとえば、撮影画像Ｐ_４）と、撮影画像Ｐ_ｉが出力された時点における基準画像Ｑ_ｉ－１とを用いて、次式〔１〕および〔２〕により生成される。
　Ｑ_ｉ＝Ｐ_ｉ－１　（ｉ＝１のとき）・・・〔１〕
　Ｑ_ｉ＝ｋ×Ｐ_ｉ－１＋（１－ｋ）×Ｑ_ｉ－１　（ｉ≧２のとき）・・・〔２〕
　ここで、ｋは０＜ｋ≦１の係数であって、たとえばｋ＝０．１。

　泥検出部３１３は、カメラ１から出力された最新の撮影画像（たとえば、撮影画像Ｐ_５）と、その最新の撮影画像が出力された時点での基準画像（たとえば、基準画像Ｑ_５）との差分画像を生成する。

　その後、差分領域の形状を、例えば、面積が所定の範囲内にあるか否か、差分領域のアスペクト比が所定の範囲内にあるか否か等、を判定し、条件を満たす場合に、泥が付着していると判断し、付着位置と付着個数を出力する。

　上記のように構成することにより、一定車速以上の場合に付着物検出を行うことができる。

　以上で説明した実施の形態は、以下のように変形して実行できる。
（変形例１）装置選択部３２および３６は、複数の付着物除去部を選択することにしてもよい。たとえば、ステップＳ３２５においてウォッシャー液を出力してから圧縮空気を出力するような選択を行ってもよい。また、エアーポンプ６による除去動作の動作回数Ａが所定回数Ａ_Ｌより大きく、ウォッシャーポンプ７による除去動作の動作回数Ｂが所定値Ｂ_Ｌ以下のとき、ウォッシャー液と圧縮空気とを同時に出力することにしてもよい。また、複数の付着物除去部は、エアーポンプ６、ウォッシャーポンプ７、ワイパ駆動部１３だけに限定されず、装置選択部３２および３６が選択可能な付着物除去部を新たに追加することにしてもよく、エアーポンプ６、ウォッシャーポンプ７、ワイパ駆動部１３のいずれかを新たな付着物除去部と入れ替えることにしてもよい。また、エアーポンプ６がウォッシャーポンプ７として機能するように構成してもよい。
（変形例２）カメラ１は、遮光板１ａを備えなくてもよい。
（変形例３）図４および図１０において付着物検出部３１に図示された昼間水滴検出部３１１、夜間水滴検出部３１２、泥検出部３１３、水滴痕検出部３１４などは、あくまで例示であり、一部の検出部を備えていなくてもよいし、レンズ傷を検出するレンズ傷検出部をさらに備えていてもよい。

　以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。たとえば、第３の実施の形態を、第１の実施の形態や第２の実施の形態と組み合わせて実施してもよい。換言すると、第１の実施の形態や第２の実施の形態において、第３の実施の形態と同様に、車速が一定車速以上の場合に付着物検出３１が動作することにしてもよい。

　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１２年第１４９８６８号（２０１２年７月３日出願）

　１：カメラ、１ａ：遮光板、３：警報出力部、６：エアーポンプ、７：ウォッシャーポンプ、３１：付着物検出部、３３：制御信号出力部、３４：除去判定部、３５：マスク画像生成部
　２：制御部、５：洗浄制御部、３２：装置選択部、１００：車載装置
　１３：ワイパ駆動部、５２：制御部、５５：洗浄制御部、３６：装置選択部、２００：車載装置

Claims

　車載用カメラの撮影レンズに付着した付着物を除去する複数の方法の付着物除去部を制御する洗浄制御部に向けて制御信号を出力する車載装置であって、
　入力された車速が予め定められた車速以上である場合、前記車載用カメラから出力された撮影画像から前記撮影レンズに付着した付着物を検出する付着物検出部と、
　前記複数の方法の付着物除去部の中から第１の方法の付着物除去部を選択する選択部と、
　前記撮影画像を用いて、前記選択部により選択された前記第１の方法の付着物除去部による除去動作により前記撮影レンズから付着物が除去されたか否かを判定する除去判定部と、
　を備え、
　前記選択部は、前記撮影レンズから付着物が除去されていないと前記除去判定部が判定したときに、前記第１の方法の付着物除去部を用いて行った除去動作の回数に基づいて、前記第１の方法の付着物除去部とは異なる第２の方法の付着物除去部を選択する車載装置。
　請求項１に記載の車載装置において、
　前記複数の方法の付着物除去部の各々を用いた除去動作が前記複数の方法の付着物除去部の各々に対応した複数の所定回数行われた後に、前記撮影レンズから付着物が除去されていないと前記除去判定部が判定したとき、その除去されていない付着物の画像をマスク画像として記憶するマスク画像記憶部をさらに備え、
　前記付着物検出部は、前記マスク画像記憶部に前記マスク画像として記憶されている付着物については、検出の対象としない車載装置。
　請求項２に記載の車載装置において、
　前記第１の方法の付着物除去部は、圧縮空気を用いて前記付着物を払拭し、
　前記第２の方法の付着物除去部は、ウォッシャー液を用いて前記付着物を払拭し、
　前記選択部は、
　前記第１の方法の付着物除去部の除去動作の回数が第１の所定回数以下のとき、前記第１の方法の付着物除去部を選択し、
　前記第１の方法の付着物除去部の除去動作の回数が前記第１の所定回数より大きく、前記第２の方法の付着物除去部の除去動作の回数が第２の所定回数以下のとき、前記第２の方法の付着物除去部を選択し、
　前記第１の方法の付着物除去部の回数が前記第１の所定回数より大きく、前記第２の方法の付着物除去部の回数が前記第２の所定回数より大きいとき、前記マスク画像記憶部に前記マスク画像を記憶させる車載装置。
　請求項３に記載の車載装置において、
　前記複数の方法の付着物除去部は、ワイパを用いて前記付着物を払拭する第３の方法の付着物除去部をさらに含み、
　前記選択部は、
　前記第１の方法の付着物除去部の除去動作の回数が第１の所定回数以下のとき、前記第１の方法の付着物除去部を選択し、
　前記第１の方法の付着物除去部の除去動作の回数が前記第１の所定回数より大きく、前記第２の方法の付着物除去部の除去動作の回数が第２の所定回数以下のとき、前記第２の方法の付着物除去部を選択し、
　前記第１の方法の付着物除去部の回数が前記第１の所定回数より大きく、前記第２の方法の付着物除去部の回数が前記第２の所定回数より大きく、前記第３の方法の付着物除去部の除去動作の回数が第３の所定回数以下のとき、前記第３の方法の付着物除去部を選択し、
　前記第１の方法の付着物除去部の回数が前記第１の所定回数より大きく、前記第２の方法の付着物除去部の回数が前記第２の所定回数より大きく、前記第３の方法の付着物除去部の回数が前記第３の所定回数より大きいとき、前記マスク画像記憶部に前記マスク画像を記憶させる車載装置。
　請求項３に記載の車載装置において、
　前記除去判定部は、前記選択部により選択された前記第１の方法の付着物除去部による除去動作により除去された付着物の種別をさらに判別し、
　前記第１の方法の付着物除去部の除去動作により除去された付着物を水滴の付着物と判別して、
　前記第２の方法の付着物除去部の除去動作により除去された付着物を泥の付着物と判別する車載装置。
　請求項４に記載の車載装置において、
　前記除去判定部は、前記選択部により選択された前記第１の方法の付着物除去部による除去動作により除去された付着物の種別をさらに判別し、
　前記第１の方法の付着物除去部の除去動作により除去された付着物を水滴の付着物と判別して、
　前記第２の方法の付着物除去部の除去動作により除去された付着物を泥の付着物と判別して、
　前記第３の方法の付着物除去部の除去動作により除去された付着物を水滴痕の付着物として判別する車載装置。