JP2013190416A - 付着物検出装置及びこれを用いた車載機器制御装置 - Google Patents

Abstract

【課題】多くの外乱光（太陽光など）が付着物検出用画像領域２１４に入射する状況下における付着物の検出精度を向上させることを課題とする。
【解決手段】フロントガラスを透過した撮像領域（車両前方領域）からの透過光を撮像領域用受光領域で受光して撮像領域の画像を撮像するとともに、光源２０２から照射された光がフロントガラスに付着する雨滴２０３等の付着物で反射したときの反射光を付着物検出用受光領域で受光して付着物画像を撮像し、その撮像画像に基づいて付着物を検出する付着物検出装置において、撮像手段が撮像した付着物の画像情報だけでなく、撮像領域の画像情報も用いて、付着物検出処理を行う。
【選択図】図９

Description

本発明は、撮像手段が撮像した画像に基づいて透明部材に付着する付着物を検出する付着物検出装置及びこれを用いた車載機器制御装置に関するものである。

特許文献１には、車両、船舶、航空機等に用いられるガラス或いは一般建造物の窓ガラス等の各種のウィンドウガラス（透明部材）の表面に付着する雨滴等の液滴及び曇りや塵などの異物（付着物）を検出する画像処理システム（付着物検出装置）が開示されている。この画像処理システムでは、自動車の室内に設置された光源から自車のフロントガラス（透明部材）に光を照射し、フロントガラスに照射した光の反射光を撮像素子で受光して画像を撮像する。そして、撮像した画像を解析してフロントガラスに雨滴等の異物が付着しているか否を判別する。具体的には、光源を点灯したときの撮像画像の画像信号に対し、ラプラシアンフィルタ等を用いてエッジ検出処理を行い、雨滴の画像領域と雨滴でない画像領域の境界を強調したエッジ画像を作成する。そして、このエッジ画像に対して一般化ハフ変換を行って円形である画像領域を検出し、検出した円形領域の個数を数え、その個数を雨量に変換して雨量を求める。

本出願人は、特願２０１１−２４０８４８号（以下「先願」という。）において、フロントガラスを介して自車両前方領域を撮像領域とした画像を撮像するとともに、フロントガラスの外壁面に付着する雨滴の画像を撮像できる撮像ユニットを提案した。以下、この先願に係る撮像ユニットについて、図面を用いて説明する。

図２５（ａ）は、光源からの光が雨滴２０３で反射して撮像装置２００に入射する光路を示す説明図である。図２５（ｂ）は、撮像画像データの画像例を示す説明図である。

先願の撮像ユニットは、撮像装置２００と光源２０２とから構成され、自車両のフロントガラス１０５の内壁面側に設置される。撮像装置２００は、予め決められた撮像領域（車両前方領域）を撮像できるように、撮像装置２００の撮像方向（撮像レンズの光軸方向）Ｐが特定の方向を向くように角度調整されている。これにより、図２５（ｂ）に示すように、車両前方領域が車両検出用画像領域２１３内に適切に映し出される。

一方、光源２０２は、図２５（ａ）に示すように、照射する光がフロントガラス１０５の外壁面に付着する雨滴２０３（詳しくは雨滴２０３と空気との界面）で反射してその反射光が付着物検出用画像領域２１４内に映し出されるように角度調整されている。これにより、図２５（ｂ）に示すように、フロントガラス１０５の外壁面に付着した雨滴２０３の画像が付着物検出用画像領域２１４内に適切に映し出される。

付着物の検出精度を上げるには、光源２０２から照射された光とは異なる光（外乱光）が付着物検出用画像領域２１４へ入射するのを抑制することが重要となる。そのため、先願の撮像ユニットは、光源２０２が照射する光の波長帯域（例えば赤外光領域）を透過させ、可視光領域をカットする分光フィルタを介して、付着物検出用画像領域２１４の画像を撮像している。これにより、外乱光が大幅に低減でき、付着物の検出精度を上げることができる。

ところが、付着物検出用画像領域２１４には、光源２０２から照射された光以外にも、光源２０２から照射された光の波長帯（光源波長帯）と同じ波長帯の光（外乱光）が入射することがある。特に、車両検出用画像領域２１３で車両前方領域のような外界の撮像領域の画像を撮像する場合には、太陽光を含むさまざまな光が付着物検出用画像領域２１４に入射し、光源波長帯と同じ波長帯をもつ強い外乱光が付着物検出用画像領域２１４に入射する。このような波長帯をもつ外乱光は、光源波長帯以外の波長帯域をカットする分光フィルタを設けても除去できず、付着物の検出精度を悪化させる問題を引き起こす。

本発明は、上記問題に鑑みなされたものであり、その目的とするところは、多くの外乱光（分光フィルタでは除去できない光源波長帯の外乱光を含む）が付着物検出用画像領域に入射する状況下における付着物の検出精度を向上させることができる付着物検出装置及びこれを用いた車載機器制御装置を提供することである。

上記目的を達成するために、本発明は、透明部材に向けて光を照射する光源と、上記透明部材を透過した所定の撮像領域からの透過光を所定の撮像領域用受光領域で受光して該撮像領域の画像を撮像するとともに、上記光源から照射された光が上記透明部材に付着する付着物で反射したときの反射光を所定の付着物検出用受光領域で受光して該付着物の画像を撮像する撮像手段と、上記撮像手段が撮像した付着物の画像領域の情報である付着物画像領域用画像パラメータを計算する付着物画像領域用画像パラメータ計算手段と、上記撮像領域の画像情報である撮像領域用画像パラメータを計算する撮像領域用画像パラメータ計算手段と、計算された付着物画像領域用画像パラメータ及び撮像領域用画像パラメータに基づいた付着物の状態を示す信号を出力する付着物状態信号出力手段とを有することを特徴とする。

本発明においては、光源から照射された光の付着物での反射光に基づく付着物の画像情報（付着物画像領域用画像パラメータ）だけでなく、透明部材を透過した所定の撮像領域からの透過光に基づく撮像領域の画像情報（撮像領域用画像パラメータ）も用いて、付着物の状態を判定する処理を含んだ付着物検出処理を行う。撮像領域用受光領域で受光される光には、透明部材に付着する付着物からの光も入射するので、撮像領域の画像情報には、付着物の画像情報も含まれる。ここで、付着物検出用受光領域に入射する外乱光の多くは、透明部材を透過してくる光（太陽光など）である。よって、付着物検出用受光領域に多くの外乱光が入射する状況では、透明部材を透過してくる光すなわち撮像領域内の光量が多い状況（昼間等）であることが多い。このような状況においては、付着物の画像のＳ／Ｎ比が小さくて付着物の検出精度が低くなるが、その一方で、撮像領域用受光領域で受光される光の中に、付着物で透過し又は反射した光が多く含まれることになる。すなわち、付着物画像に基づく付着物の検出精度が低くなる状況では、撮像領域の画像情報に含まれる付着物の画像情報が多くなり、撮像領域の画像情報は付着物の検出において有用なものとなる。したがって、付着物の画像情報だけでなく撮像領域の画像情報も用いて付着物検出処理を行うことで、付着物画像に基づく付着物の検出精度が低くなる状況における付着物の検出精度を向上させることができ、透明部材に付着している付着物の状態を高精度に検出することができる。

本発明によれば、多くの外乱光が付着物検出用画像領域に入射する状況下における付着物の検出精度を向上させることができるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニットの概略構成を示す模式図である。 同撮像ユニットに設けられる撮像装置の概略構成を示す説明図である。 自車両のフロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っている場合における、付着物検出用の撮像画像データである赤外光画像データを示す説明図である。 無限遠に焦点が合っている場合における、付着物検出用の撮像画像データである赤外光画像データを示す説明図である。 付着物検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 付着物検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 車両検出用画像領域に対応したフィルタ領域と付着物検出用画像領域に対応したフィルタ領域とに区分される同撮像装置の光学フィルタの正面図である。 同撮像装置の撮像画像データの画像例を示す説明図である。 同撮像装置の詳細を示す説明図である。 同撮像装置の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの車両検出用フィルタ部及び付着物検出用フィルタ部と、画像センサ上の車両検出用画像領域及び付着物検出用画像領域に対応する箇所との対応関係を示す説明図である。 同光学フィルタに設けられる第１の分光フィルタ層の透過率特性を示すグラフである。 同光学フィルタに設けられる偏光フィルタ層を構成するワイヤーグリッド偏光子を拡大した説明図である。 同光学フィルタに設けられる第２の分光フィルタ層の透過率特性を示すグラフである。 実施形態におけるフロントガラス状態検出処理に関わる画像解析ユニットの主要箇所の機能ブロック図である。 同フロントガラス状態検出処理の流れを示すフローチャートである。 車両検出用画像領域の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。 フロントガラスが曇っている状態の撮像画像を示す説明図である。 フロントガラスが凍結している状態の撮像画像を示す説明図である。 付着物検出用画像領域の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。 フロントガラスの状態判定処理の流れを示すフローチャートである。 同状態判定処理の判定基準を示す表である。 同状態判定処理の結果に応じた指示処理の内容を示す表である。 （ａ）は、先願の撮像ユニットにおいて光源からの光が雨滴で反射して撮像部に入射する光路を示す説明図である。（ｂ）は、同撮像ユニットで撮像した撮像画像データの画像例を示す説明図である。

以下、本発明に係る付着物検出装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る付着物検出装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両１００に搭載された撮像手段としての撮像装置で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、デフロスタ制御、その他の車載機器の制御を行うものである。

本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像装置で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス１０５に付着する雨滴や異物の有無、凍結や曇りの発生状況などのフロントガラス状態情報を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出することができる。

また、本実施形態の自車両１００には、外気温を検知するための外気温センサ１１１が設けられている。画像解析ユニット１０２は、必要に応じて外気温センサ１１１の検知結果を利用して、上述した各種検出を行う。本実施形態では、後述するように、フロントガラス１０５が凍結しているか否かを検出する際などに、外気温センサ１１１の検知結果が利用される。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物の検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。ワイパー制御の詳しい内容は後述する。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

また、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した道路標識の検出結果に基づいて、どの道路標識の情報と車両走行状態とを比較する。そして、例えば、自車両１００の走行速度（車両走行状態）が制限速度（道路標識の情報）に近いと判断したら自車両１００の運転者へ警告を報知したり、自車両１００の走行速度が制限速度を超えていると判断したら自車両のブレーキを制御するなどの走行支援制御を行ったりする。

また、画像解析ユニット１０２の算出結果は、デフロスタ制御ユニット１０９にも送られる。デフロスタ制御ユニット１０９は、フロントガラス１０５の凍結や曇りの状態の検出結果に基づいて、デフロスタ１１０を制御する制御信号を生成する。デフロスタ制御ユニット１０９が生成した制御信号は、デフロスタ１１０に送られ、この制御信号に基づいてデフロスタ１１０はフロントガラス１０５を送風したり加熱したりするなどして、フロントガラス１０５の凍結や曇りの状態を改善させる動作を実行する。デフロスタ制御の詳しい内容は後述する。

図２は、撮像ユニット１０１の概略構成を示す模式図である。
図３は、撮像ユニット１０１に設けられる撮像装置２００の概略構成を示す説明図である。
撮像ユニット１０１は、撮像装置２００と、光源２０２と、これらを収容する撮像ケース２０１とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像装置２００は、図３に示すように、撮像レンズ２０４と、光学フィルタ２０５と、画像センサ２０６とから構成されている。光源２０２は、フロントガラス１０５に向けて光を照射し、その光がフロントガラス１０５に付着する雨滴、凍結部分、曇り部分などで反射したときに、その反射光が撮像装置２００へ入射するように配置されている。

本実施形態において、光源２０２は、フロントガラス１０５に付着した雨滴２０３等の付着物（以下、主に、付着物が雨滴２０３である場合を代表例として説明する。）を検出するためのものである。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源２０２から照射された光は、フロントガラス１０５の外壁面と外気との界面で反射したり、フロントガラス１０５の外壁面を透過したりする。本実施形態では、フロントガラス１０５の外壁面と外気との界面で反射しても、その正反射光が撮像装置２００へ入射しないように構成されている。

一方、図２に示すように、フロントガラス１０５の外壁面に雨滴２０３が付着している場合、フロントガラス１０５の外壁面と雨滴２０３との間における屈折率差は、フロントガラス１０５の外壁面と外気との間の屈折率差よりも小さくなる。そのため、光源２０２から照射された光は、フロントガラス１０５の外壁面と雨滴２０３との界面を透過して雨滴２０３に入射する。そして、雨滴２０３に入射した光は、雨滴２０３と空気との界面で反射する。この雨滴での反射光は、フロントガラス１０５を透過した後、撮像装置２００へ入射する。

雨滴２０３の有無によるこのような違いによって、画像解析ユニット１０２は、撮像装置２００から送信される撮像画像データから、フロントガラス１０５に付着する雨滴２０３を検出する。ここでは、雨滴２０３を付着物の代表例として説明したが、鳥の糞などの雨滴以外の汚れ（不透過物）の付着物については、フロントガラス１０５と汚れとの境界面の反射光が検出されることになる。また、フロントガラス１０５の内壁面や外壁面の曇り部分は、微小な水滴が付着している状態と見なすことができる。フロントガラス１０５の凍結部分については、微小な高低差を有する透明反射面が形成された状態と見なすことができる。

また、本実施形態において、撮像ユニット１０１は、図２に示すとおり、撮像装置２００や光源２０２を、フロントガラス１０５とともに撮像ケース２０１で覆っている。このように撮像ケース２０１で覆うことにより、フロントガラス１０５の内壁面が曇るような状況であっても、撮像ユニット１０１で覆われたフロントガラス１０５が曇ってしまう事態を抑制できる。よって、フロントガラスの曇りによって画像解析ユニット１０２が誤解析するような事態を抑制でき、画像解析ユニット１０２の解析結果に基づく各種制御動作を適切に行うことができる。

ただし、本実施形態では、フロントガラス１０５の曇りを撮像装置２００の撮像画像データから検出して、例えば自車両１００のデフロスタ制御を行うので、撮像装置２００に対向するフロントガラス１０５の部分が他の部分と同じ状況となるように、撮像ケース２０１の一部に空気の流れる通路を形成してある。

ここで、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠又は無限遠とフロントガラス１０５との間に設定している。これにより、フロントガラス１０５上に付着した雨滴２０３等の付着物の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像装置２００の撮像画像データから適切な情報を取得することができる。

例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。

図４は、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合における、付着物検出用の撮像画像データである赤外光画像データを示す説明図である。
図５は、無限遠に焦点が合っている場合における、付着物検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っている場合、図４に示すように、雨滴に映り込んだ背景画像２０３ａまでが撮像される。このような背景画像２０３ａは雨滴２０３の誤検出の原因となる。また、図４に示すように雨滴の一部２０３ｂだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。

これに対し、無限遠に焦点が合っている場合には、図５に示すように、多少のピンボケが発生する。そのため、背景画像２０３ａの映り込みが撮像画像データに反映されず、雨滴２０３の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり。雨滴画像の形状は常に略円形状となる。よって、雨滴２０３の形状認識処理の負荷が小さく、また認識精度も高い。

ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。

撮像ユニット１０１の光源２０２には、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ２０６の受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源２０２は、赤外光領域の波長を有する光を照射するものである。

ここで、フロントガラス１０５上の付着物で反射した光源２０２からの赤外波長光を撮像装置２００で撮像する際、撮像装置２００の画像センサ２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。

そこで、本実施形態においては、例えば、図６に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱交と区別することが可能となる。

ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線などの検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３等の付着物を検出するための付着物検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、付着物検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ２０５に配置している。

図８は、車両検出用画像領域に対応したフィルタ領域と付着物検出用画像領域に対応したフィルタ領域とに区分される光学フィルタ２０５の正面図である。
図９は、撮像画像データの画像例を示す説明図である。
図９に示すように、車両検出用画像領域２１３は撮像画像上部２／３に対応し、付着物検出用画像領域２１４は撮像画像下部１／３に対応する。対向車両のヘッドランプ及び先行車両のテールランプ、白線、道路標識など、撮像領域（車両前方領域）の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面や自車両１００のボンネットの画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両、白線、道路標識等の検出と雨滴２０３などの付着物の検出とを両立して行う場合には、図９に示すように、撮像画像下部を付着物検出用画像領域２１４とし、残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して光学フィルタ２０５を領域分割するのが好適である。

撮像装置２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。

光学フィルタ２０５は、車両検出用画像領域２１３に対応する車両検出用フィルタ部２０５Ａと、付着物検出用画像領域２１４に対応する付着物検出用フィルタ部２０５Ｂとで、その層構成が異なっている。具体的には、車両検出用フィルタ部２０５Ａは分光フィルタ層２１１を備えていないが、付着物検出用フィルタ部２０５Ｂは分光フィルタ層２１１を備えている。なお、本実施形態では、撮像レンズ２０４の特性により、撮像領域内の光景と画像センサ２０６上の像とでは天地が逆になる。よって、撮像画像下部を付着物検出用画像領域２１４とする場合には、光学フィルタ２０５の上部を付着物検出用フィルタ部２０５Ｂで構成することになる。

ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのが困難となる場合がある。そのような場合には、テールランプの識別に分光情報を利用し、赤色光の受光量に基づいてテールランプを識別すれば、テールランプの識別精度を向上させることができる。よって、光学フィルタ２０５に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしてもよい。

本実施形態の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態の光学フィルタ２０５には、後述するように、可視光領域から光源波長域までの間をカットする分光フィルタ層２２３を用いている。

図１０は、本実施形態における撮像装置２００の詳細を示す説明図である。
この撮像装置２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、２次元配置された画素アレイを有する画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。被写体（検出対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６でその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。

図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
図１２は、本実施形態に係る光学フィルタ２０５の車両検出用フィルタ部２０５Ａ及び付着物検出用フィルタ部２０５Ｂと、画像センサ２０６上の車両検出用画像領域２１３及び付着物検出用画像領域２１４に対応する箇所との対応関係を示す説明図である。
画像センサ２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズを設けても良い。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板２０７が形成されている。

画像センサ２０６の受光面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５は、図１１に示すように、透明なフィルタ基板２２１の一方の面（画像センサ２０６の受光面と対向する面）に分光フィルタ層２２３を形成し、他方の面に偏光フィルタ層２２２と分光フィルタ層２１１を順次形成した層構成となっている。光学フィルタ２０５と画像センサ２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

ここで、本実施形態における光学フィルタ２０５について更に説明する。
光学フィルタ２０５のフィルタ基板２２１は、使用帯域（本実施形態では、可視光領域と赤外光領域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶等で形成することができる。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を用いると好適である。

光学フィルタ２０５の分光フィルタ層２２３は、図１３に示すような透過率特性を有する。すなわち、分光フィルタ層２２３は、波長範囲４００ｎｍ以上６７０ｎｍ以下の可視光領域の入射光及び波長範囲９４０ｎｍ以上９７０ｎｍ以下の赤外光領域の入射光を透過させ、波長範囲６７０ｎｍよりも長く９４０ｎｍ未満の入射光をカットする透過率特性を有する。４００ｎｍ以上６７０ｎｍ以下の波長範囲及び９４０ｎｍ以上９７０ｎｍ以下の波長範囲における透過率は、３０％以上であることが好ましく、９０％以上であることがより好ましい。６７０ｎｍよりも長く９４０ｎｍ未満の波長範囲における透過率は、２０％以下であることが好ましく、５％以下であることがより好ましい。

可視光領域の入射光は、車両検出用画像領域２１３において車両や白線の検出などに用いられ、赤外光領域の入射光は、付着物検出用画像領域２１４においてフロントガラスの雨滴等の付着物を検出する場合などに用いられる。６７０ｎｍより長く９４０ｎｍ未満の波長範囲の入射光を透過させない理由は、この波長範囲を取り込んだ場合、得られる画像データが全体的に赤くなってしまい、テールランプや赤色標識の赤色を示す部分等を抽出することが困難となる場合があるからである。本実施形態では、６７０ｎｍより長く９４０ｎｍ未満の波長範囲の入射光を分光フィルタ層２２３でカットするので、テールランプの識別精度を向上させ、また、日本における一時停止標識などの赤色を含む道路標識の検出精度を向上させることができる。なお、波長範囲９４０〜９７０ｎｍは、又、波長範囲４００ｎｍ〜６７０ｎｍは、本発明に係る波長範囲の代表的な一例である。

分光フィルタ層２２３は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製できる。このような多層膜構造によれば、光の干渉を利用することで分光透過率の設定自由度が高く、薄膜を多層重ねることで、特定波長（例えば赤外光以外の波長）に対して１００％近い反射率を実現することも可能である。

光学フィルタ２０５の偏光フィルタ層２２２は、不要な反射光によるノイズ軽減のために設けられている。光源２０２から照射される光は、フロントガラス１０５の内壁面や外壁面でその一部は透過するが、残りは反射し、その反射光が撮像装置２００に入射すると外乱光となる。このような外乱光は、光源２０２のフロントガラス１０５へ向かって出射する光の光軸と撮像レンズの光軸との２つの光軸で形成される面（本実施形態では鉛直面）に対して垂直な偏光成分（水平偏光成分）が強い。よって、偏光フィルタ層２２２は、偏光フィルタ層２２２は、この水平偏光成分をカットし、鉛直面に対して平行な偏光成分（鉛直偏光成分）のみを選択的に透過する偏光フィルタで構成される。また、このような偏光フィルタは、フロントガラス１０５を透過してきた外部からの光が車内のカバー、例えばダッシュボードなどの表面で反射したことにより発生する反射光によるノイズ軽減にも有効である。

偏光フィルタ層２２２は、図１４に示すようなワイヤーグリッド偏光子で形成することができる。ワイヤーグリッド偏光子は、アルミニウムなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるもので、そのピッチが入射光の波長（例えば可視光波長）に比べてかなり小さいピッチ（例えば２分の１以下）であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。

なお、ワイヤーグリッド偏光子においては、金属ワイヤーの断面積が増加すると、消光比が増加し、また、周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率や偏光度の波長分散性が少なく、高消光比特性を示す。
また、ワイヤーグリッドの構造は、よく知られる半導体プロセス、すなわちアルミニウム薄膜を蒸着した後にパターニングを行ってメタルエッチングなどの手法により、ワイヤーグリッドのサブ波長凹凸構造を形成することができる。よって、撮像素子の画素サイズ相当（数ミクロンレベル）で偏光子の方向を調整することが可能である。
またワイヤーグリッド偏光子は、アルミニウムなどの金属で作製されるため、耐熱性に優れ、車載用途には好適な偏光子である。

フィルタ基板２２１と偏光フィルタ層２２２との間及びワイヤーグリッドの凸部間の隙間は、フィルタ基板２２１よりも屈折率の低い又は同等の無機材料が充填されて充填層２２４が形成されている。充填層２２４の形成材料としては、偏光フィルタ層２２２の偏光特性を劣化させないために、その屈折率が空気の屈折率に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ（ＳｉＯ₂）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ₂Ｏ₃）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まるものである。このうち、とくにフィルタ基板２２１に主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２?１．２６）であれば、フィルタ基板２２１よりも屈折率が小さくなり好適である。

充填層２２４の形成方法としては、無機系塗布膜（ＳＯＧ：Ｓpin Ｏn Ｇlass）生成方法を用いればよい。すなわち、シラノール（Ｓｉ（ＯＨ）₄）をアルコールに溶かした溶剤をフィルタ基板２２１上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。

偏光フィルタ層２２２がサブ波長サイズのワイヤーグリッド構造であるため、充填層２２４の上に形成される分光フィルタ層２２３に比べて、偏光フィルタ層２２２は強度的には弱い。本実施形態では、このような強度的に弱い偏光フィルタ層２２２を充填層２２４で覆って保護しているので、光学フィルタ２０５の実装時に偏光フィルタ層２２２のワイヤーグリッド構造を損傷しにくくなる。また、充填層２２４を設けることで、偏光フィルタ層２２２のワイヤーグリッド構造への異物進入も抑制できる。

偏光フィルタ層２２２のワイヤーグリッド構造の凸部の高さは、一般には、使用波長の半分以下に設定される。一方、分光フィルタ層２２３は、使用波長と同等から数倍の高さとなり、かつ、厚みが増すほど遮断波長での透過率特性を急峻にできる。そして、充填層２２４は厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。本実施形態では、偏光フィルタ層２２２を充填層２２４で覆った後に分光フィルタ層２２３を形成しているため、充填層２２４を安定的に形成できる。また、充填層２２４の上に形成する分光フィルタ層２２３も、その特性を最適に形成することが可能である。

本実施形態では、分光フィルタ層２２３、充填層２２４、偏光フィルタ層２２２がフィルタ基板２２１に対して撮像レンズ２０４側に配置される。一般に、これらの層の作製過程での欠陥を抑制することが重要であるが、その欠陥サイズの許容上限値は、画像センサ２０６から離れるほど大きくなる。なお、フィルタ基板２２１は、その厚みが０．５ｍｍ以上１ｍｍ以下の範囲で使用される。本実施形態によれば、これらの層を画像センサ２０６側に設ける場合に比べて、製造プロセスの簡易化、低コスト化を図ることができる。

また、本実施形態では、フィルタ基板２２１に対して画像センサ２０６側には、分光フィルタ層２１１が形成されている。この分光フィルタ層２１１は、付着物検出用フィルタ部２０５Ｂに設けられており、車両検出用フィルタ部２０５Ａには設けられていない。上述したように、フロントガラス１０５上の液滴や凍結部分などで反射した赤外波長の光をそのまま検出しようとすると、赤外波長の光を照射する光源２０２は、例えば太陽光など膨大な光量を持つ外乱光よりも照射する光を明るくしなければならないという問題がある。そこで、本実施形態では、光源２０２の発光波長よりも短い波長の光をカットするようなフィルタか、もしくは透過率のピークを光源２０２の発光波長とほぼ一致させたバンドパスフィルタからなる分光フィルタ層２１１を、付着物検出用フィルタ部２０５Ｂに設けている。本実施形態の分光フィルタ層２１１は、図１５に示すように、透過率のピークを光源２０２の発光波長とほぼ一致させたバンドパスフィルタを採用する。これにより、光源２０２の発光波長以外の外乱光を除去し、検出される光源２０２の光量を相対的に大きくできる。

本実施形態の光学フィルタ２０５は、２つの分光フィルタ層２１１，２２３を備えており、これらの分光フィルタ層２１１，２２３をフィルタ基板２２１の各面にそれぞれ形成している。これにより、光学フィルタ２０５の反りを抑制することが可能となる。フィルタ基板２２１の片面にだけ多層膜を形成すると、応力がかかって反りが生じる。しかしながら、本実施形態のようにフィルタ基板２２１の両面に多層膜を形成する場合には、応力の効果が相殺されるため、反りを抑制することができる。

分光フィルタ層２１１は、多層膜構造によって作製できる。多層膜構造とは、高屈折率と低屈折率の薄膜を交互に多層重ねた波長フィルタのことを指す。光の干渉を利用することで分光透過率を自由に設定でき、薄膜を多数層重ねることで、特定波長に対して１００％近い反射率を得ることもできる。なお、多層膜蒸着時にマスクを設けて車両検出用フィルタ部２０５Ａの部分を遮蔽しながら蒸着することにより、車両検出用フィルタ部２０５Ａに分光フィルタ層２１１が形成されないように、付着物検出用フィルタ部２０５Ｂに分光フィルタ層２１１が形成できる。

本実施形態において、分光フィルタ層２１１，２２３は、多層膜構造を採用しているので、任意の分光輝度特性を得ることができる。一般にカラーセンサなどに用いられるカラーフィルタはレジスト剤によって形成されているが、このようなレジスト剤では多層膜に比べ分光輝度特性のコントロールが困難である。本実施形態では、多層膜構造を用いることで、分光フィルタ層２１１，２２３の透過波長帯域を光源２０２の波長帯域に略一致させることを可能としている。

次に、本実施形態におけるフロントガラス状態検出処理について説明する。
図１６は、フロントガラス状態検出処理に関わる画像解析ユニット１０２の主要箇所の機能ブロック図である。
本実施形態では、車両検出用画像領域２１３の撮像用（車両等の検出用）の画像データと、付着物検出用画像領域２１４の撮像用（付着物検出用）の画像データの２種類の画像データが得られる。撮像領域用画像パラメータ計算部１０２Ａは、撮像領域用画像パラメータ計算手段として機能し、車両検出用画像領域２１３の画像データから、撮像領域用画像パラメータを生成し、これを付着物判定部１０２Ｃへ送る。付着物画像領域用画像パラメータ計算部１０２Ｂは、付着物画像領域用画像パラメータ計算手段として機能し、付着物検出用画像領域２１４の画像データから、付着物画像領域用画像パラメータを生成し、これを付着物判定部１０２Ｃへ送る。付着物判定部１０２Ｃは、付着物状態信号出力手段として機能し、撮像領域用画像パラメータ及び付着物画像領域用画像パラメータをもとに、付着物の状態を判定する。そして、この判定結果を示す信号は、付着物判定部１０２Ｃから、ワイパー制御やデフロスタ制御を行う各種制御ユニットへ出力され、ワイパー制御やデフロスタ制御に用いられる。

撮像領域用画像パラメータとしては、車両検出用画像領域２１３における露光時間や、輝度値、前方画像のエッジ抽出結果（例えば、ボンネットのエッジの抽出結果）などに基づくパラメータが挙げられる。また、付着物画像領域用画像パラメータとしては、付着物検出用画像領域２１４の輝度平均値や、輝度分散値や、付着物の付着占有率などに基づくパラメータが挙げられる。付着物判定部１０２Ｃへの入力パラメータとしては、これらに限定されるものではなく、外気温などのパラメータが入力されてもよい。

図１７は、画像解析ユニット１０２が実行するフロントガラス状態検出処理の流れを示すフローチャートである。
分光フィルタ層２１１を備える付着物検出用フィルタ部２０５Ｂは、分光フィルタ層２１１を備えていない車両検出用フィルタ部２０５Ａと比較して受光量が少ない。そのため、付着物検出用フィルタ部２０５Ｂを透過する光量と車両検出用フィルタ部２０５Ａを透過する光量との間には大きな差がある。そのため、車両検出用フィルタ部２０５Ａに対応する車両検出用画像領域２１３に適した撮像条件（露光量等）と、付着物検出用フィルタ部２０５Ｂに対応する付着物検出用画像領域２１４に適した撮像条件との間には、大きな差がある。そこで、本実施形態では、車両検出用画像領域２１３の撮像用（車両等の検出用）と、付着物検出用画像領域２１４の撮像用（付着物検出用）とで、異なる露光量を用いる。

露光量の調整は、例えば、車両等の検出用については、車両検出用画像領域２１３に対応する画像センサ２０６の出力に基づいて自動露光調整を行い（Ｓ１）、付着物検出用については所定の固定露光量に調整する（Ｓ５）。露光量を変える場合、例えば露光時間を変えればよい。露光時間の変更は、例えば、画像センサ２０６が受光量を電気信号に変換する時間を画像解析ユニット１０２で制御することにより行うことができる。

車両検出用画像領域２１３は、車両周辺を撮像するが、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮像シーンに応じて受光量が大きく変化する。よって、撮像シーンに応じて露光時間を適宜調整する必要がある。そのため、車両検出用画像領域２１３には、公知の自動露光制御で露光量の調整を行うのが好ましい。一方、付着物検出用画像領域２１４は、一定強度の光を照射する光源２０２からの光を、透過率が既知である光学フィルタ２０５を通じて受光することで撮像されるものであり、受光量の変化が少ない。よって、付着物検出用画像領域２１４には、露光量の自動調整は行わず、固定露光時間で撮像することが可能である。固定露光時間を用いることで、露光量の制御時間の短縮化、露光量制御の簡素化が図れる。

本実施形態では、まず、車両検出用画像領域２１３についての露光調整を行った後（Ｓ１）、画像解析ユニット１０２にて車両検出用画像領域２１３の画像データが取得される（Ｓ２）。本実施形態において、車両検出用画像領域２１３の画像データは、後述するように、車両、白線、道路標識の検出などに用いられるだけでなく、ワイパー制御用やデフロスタ制御用なども用いられる。そのため、車両検出用画像領域２１３の画像データを取得した画像解析ユニット１０２は、ワイパー制御用やデフロスタ制御用のパラメータ検出を行い（Ｓ３）、これを所定の記憶領域に記録する（Ｓ４）。

図１８は、車両検出用画像領域２１３の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。
本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、車両検出用画像領域２１３における輝度分散の値を用いる（Ｓ３１）。また、本実施形態では、このパラメータとして、自車両１００のボンネットと背景とのエッジ部分が検出できるように撮像領域を設定しておき、そのボンネットのエッジ抽出結果も用いる（Ｓ３２）。

図１９に示すようにフロントガラス１０５が曇ったり、図２０に示すようにフロントガラス１０５が凍結したりすると、車両検出用画像領域２１３の画像は、輝度分散値が小さくなる。よって、車両検出用画像領域２１３における輝度分散値は、フロントガラス１０５が曇っているか又は凍結しているかの有無を検出するために有用である。また、フロントガラス１０５が曇ったり凍結したりすると、ボンネットのエッジ部分の抽出が困難となる。よって、ボンネットのエッジ部分を抽出できるか否かの情報も、フロントガラス１０５が曇っているか又は凍結しているかの有無を検出するために有用である。

続いて、今度は、付着物検出用画像領域２１４について、光源２０２のパワーと光学フィルタ２０５の分光フィルタ層の分光特性を踏まえた露光調整（露光時間の調整）が行われる（Ｓ５）。その後、画像解析ユニット１０２にて付着物検出用画像領域２１４の画像データが取得される（Ｓ６）。そして、画像解析ユニット１０２は、付着物検出用画像領域２１４の画像データから、ワイパー制御用やデフロスタ制御用のパラメータ検出を行い（Ｓ７）、これを所定の記憶領域に記録する（Ｓ８）。

図２１は、付着物検出用画像領域２１４の画像データからワイパー制御用やデフロスタ制御用のパラメータ検出を行うための処理の流れを示すフローチャートである。
本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域２１４における輝度平均値を算出する（Ｓ７１）。本実施形態では、フロントガラス１０５に、雨滴、曇り部分、凍結部分などが付着していると、これらと空気との界面で反射した反射光が付着物検出用画像領域２１４に映し出される。また、フロントガラス１０５に鳥の糞等の汚れが付着していると、その汚れとフロントガラスとの界面で反射した反射光が付着物検出用画像領域２１４に映し出される。よって、このような付着物がフロントガラス１０５に付着していると、付着物検出用画像領域２１４の輝度平均値は増加する。したがって、付着物検出用画像領域２１４の輝度平均値により、このような付着物が付着しているか否かを検出することができる。

また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域２１４における輝度分散値を算出する（Ｓ７２）。小雨（雨滴のサイズが小さい面）の場合、付着物検出用画像領域２１４に写し出される雨滴の総面積が小さいため、フロントガラス１０５に付着物が付着していない状態と比較して輝度分散値はあまり変化しない。しかしながら、サイズの比較的大きな雨滴のフロントガラス１０５への付着数が増加すると、輝度分散値は小さくなる。これは、雨滴のボケ像が重なるためである。同様に、フロントガラス１０５が曇った場合や凍結した場合も、輝度分散値は小さくなる。したがって、付着物検出用画像領域２１４の輝度分散値により、フロントガラスに付着している付着物が小雨程度のものかどうかを検出することができる。

また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、付着物検出用画像領域２１４における付着物領域の占有率を算出する（Ｓ７３）。ここでいう付着物領域とは、付着物検出用画像領域２１４において輝度平均値が規定値を超えている画素の数（画像の面積）の、付着物検出用画像領域２１４の全画素数（総面積）に対する比率である。曇り部分や凍結部分などは、この付着物領域の占有率が一般に大きいので、付着物検出用画像領域２１４の付着物領域の占有率により、フロントガラスに付着している付着物が小雨程度のものではなく、曇りや凍結なのかどうかを検出することができる。

また、本実施形態では、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、上述した輝度平均値、輝度分散値、付着物領域の占有率についての時間変化を検出する（Ｓ７４〜Ｓ７６）。この時間変化は、今回撮像した付着物検出用画像領域２１４の画像データに基づくものと、前回撮像した付着物検出用画像領域２１４の画像データに基づくものとの変化量を意味する。凍結や曇りなどは短時間で急激に増えるものではないが、フロントガラス１０５に付着するスプラッシュ（他車両等が跳ね上げた水しぶき等）は、短時間で急激に増えるものである。よって、付着物検出用画像領域２１４の輝度平均値、輝度分散値、付着物領域の占有率についての時間変化により、フロントガラスに付着している付着物がスプラッシュによるものかどうかを検出することができる。

以上のようにしてワイパー制御用やデフロスタ制御用に検出されるパラメータを記録したら、次に、フロントガラス１０５の状態判定処理を行う（Ｓ９）。
図２２は、フロントガラス１０５の状態判定処理の流れを示すフローチャートである。
図２３は、この状態判定処理の判定基準を示す表である。
フロントガラス１０５の状態判定処理では、まず、上記ステップＳ１において行われた車両検出用画像領域２１３についての自動露光調整により決定された露光時間が閾値Ａ（例えば４０ｍｓ）よりも短いか否かを判断する（Ｓ９１）。この露光時間が閾値Ａ以上のような非常に長い時間に設定される場合、これは撮像領域の光量が少ない夜間であると判定できる。よって、露光時間が閾値Ａよりも短いか否かによって、撮像領域が昼間であるか夜間であるかを識別できる。

撮像領域が夜間である場合、車両検出用画像領域２１３の画像データから得られるパラメータ（輝度差、ボンネットのエッジ抽出結果）によるフロントガラス状態の判定精度は低いものとなる。よって、本実施形態では、夜間と判定された場合には、車両検出用画像領域２１３から得られるパラメータ（輝度差、ボンネットのエッジ抽出結果）を使用せず、付着物検出用画像領域２１４から得られるパラメータだけを使用して、フロントガラス１０５の状態判定を行う。

上記ステップＳ９１において撮像領域が昼間である判定された場合、次に、車両検出用画像領域２１３の輝度差が閾値Ｂよりも大きいか否かを判断する（Ｓ９２）。この判断結果は所定の記憶領域に記憶される。この閾値Ｂは、実験等により露光時間に応じたテーブルを用意しておき、それぞれの露光時間に応じて用いる閾値Ｂを決定するのが望ましい。

また、上記ステップＳ９１において撮像領域が昼間である判定された場合、車両検出用画像領域２１３のボンネットのエッジ部分の抽出ができたか否かを判断する（Ｓ９３）。この判断結果は所定の記憶領域に記憶される。ボンネットのエッジ部分の抽出は、例えば、ボンネットと背景とを含む画像領域について、画像の上下方向の隣接画素の輝度変化から、その水平エッジ成分の微分画像を形成し、予め記憶された水平エッジ成分の微分画像とのパターン比較し、各パターン比較の結果に基づいて検出した各部分それぞれのパターンマッチング誤差が所定の閾値以下の場合は、ボンネットのエッジ部分が検出できたと判定する。このエッジ部分の抽出ができる場合には、フロントガラス１０５に曇りや凍結やスプラッシュが起きていないと判定することができる。

次に、付着物検出用画像領域２１４から得られる各種パラメータについて判断する。
まず、付着物検出用画像領域２１４の輝度平均値が閾値Ｃよりも大きいか否かを判断する（Ｓ９４）。この判断結果は所定の記憶領域に記憶される。上述したとおり、フロントガラス１０５に雨滴等が付着すると輝度平均値が上がる。例えば、付着物検出用画像領域２１４の輝度が１０２４階調であれば、ノイズ成分を除いた７０（閾値Ｃ）よりも大きい輝度平均値が検出されたか否かを判断する。

また、付着物検出用画像領域２１４の輝度分散値が閾値Ｄよりも小さいか否かを判断する（Ｓ９５）。この判断結果は所定の記憶領域に記憶される。例えば、付着物検出用画像領域２１４の輝度が１０２４階調であれば、輝度分散値が５０（閾値Ｄ）よりも小さいとき、フロントガラス１０５が曇っている或いは凍結しているなどの判定を行うことができる。

また、付着物検出用画像領域２１４の輝度平均値の時間変化量が閾値Ｅよりも小さいか否かを判断する（Ｓ９６）。この判断結果は所定の記憶領域に記憶される。例えば、前回撮像された付着物検出用画像領域２１４の輝度平均値が７０以下であったものが、今回撮像された付着物検出用画像領域２１４では２００以上であった場合など、輝度平均値の時間変化量が閾値Ｅ以上であるときにはスプラッシュが生じたものと判定することができる。

また、付着物検出用画像領域２１４の付着物領域の占有率が閾値Ｆよりも小さいか否かを判断する（Ｓ９７）。この判断結果は所定の記憶領域に記憶される。例えば、光源２０２から均一に照明がなされている場合、輝度平均値が７０以上である領域が１／５（閾値Ｆ）を下回る場合には小雨であると判定し、１／５以上である場合にはそれ以外の付着物が付着していると判定することができる。

また、本実施形態においては、ワイパー制御用やデフロスタ制御用に検出されるパラメータとして、外気温センサ１１１の検知結果が用いられ、外気温センサ１１１が検知した外温度が閾値Ｇよりも大きいか否かを判断する（Ｓ９８）。この判断結果は所定の記憶領域に記憶される。例えば、外気温が０度（閾値Ｇ）以下の場合、降雪もしくは凍結しているものと判定することができる。

以上のような各パラメータについての判断結果が得られたら、各パラメータの判断結果と図２３に示す表との整合性から、フロントガラス１０５の状態判別を行う（Ｓ９９）。この状態判別では、各パラメータの判断結果について重み付けを行うとよい。例えば、付着物検出用画像領域２１４に基づくパラメータおよび外気温についての重み付け係数を１０とし、車両検出用画像領域２１３に基づくパラメータについての重み付け係数を５としておく。そして、各パラメータの判定結果として、異常なしとの差があるものを１とし、異常なしとの差がないときを０とする。その後、各パラメータの判定結果に重み付け係数をかけた総和について閾値判定を行う。これにより、各パラメータの判定結果が図２３に示す表と完全一致する状態が存在しない場合でも、フロントガラス１０５の状態判定が可能となる。

また、付着物検出用画像領域２１４のパラメータについては異常なしと差がある場合、ワイパーを１回だけ動作させてから、再度、各パラメータについて状態判定を確認してもよい。

以上のようにしてフロントガラス１０５の状態判定結果が出たら、画像解析ユニット１０２は、次に、その状態判定結果に応じた処理、制御（ワイパー制御やデフロスタ制御など）を行うための指令を出す（Ｓ１０）。この指令処理は、図２４に示す表に応じて行われる。ワイパー制御は、ワイパー速度を３段階（遅、並、速）で制御するものであり、デフロスタ制御は、フロントガラス１０５の内壁に対して最大風量の温風を吹き付ける動作を行うか否かを制御するものである。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
フロントガラス１０５等の透明部材に向けて光を照射する光源２０２と、上記透明部材を透過した所定の撮像領域からの透過光を所定の撮像領域用受光領域（車両検出用画像領域２１３に対応する箇所）で受光して該撮像領域の画像を撮像するとともに、上記光源から照射された光が上記透明部材に付着する雨滴２０３等の付着物で反射したときの反射光を所定の付着物検出用受光領域（付着物検出用画像領域２１４に対応する箇所）で受光して該付着物の画像を撮像する撮像装置２００等の撮像手段と、該撮像手段が撮像した画像に基づいて上記付着物を検出する付着物検出処理を行う画像解析ユニット１０２等の付着物検出処理手段とを有する付着物検出装置において、上記付着物検出処理手段は、上記撮像手段が撮像した付着物の画像情報と、上記撮像領域の画像情報とを用いて、上記付着物検出処理を行うことを特徴とする。
付着物検出用受光領域に多くの外乱光（太陽光など）が入射する昼間の状況では、付着物の画像のＳ／Ｎ比が小さくて付着物の検出精度が低くなる。本態様Ａによれば、昼間の状況では、付着物の画像情報だけでなく、撮像領域の画像情報も用いて付着物検出処理を行うことで、付着物の検出精度を向上させることができる。

（態様Ｂ）
上記態様Ａにおいて、上記撮像手段は、受光素子が２次元配置された撮像画素アレイで構成された画像センサ２０６により、光学フィルタ２０５を介して、上記透明部材を透過した撮像領域からの透過光と、該透明部材に付着する付着物で反射した反射光とを受光するものであり、上記光源２０２は、可視光波長帯から外れた赤外光領域等の特定波長帯の光を照射するものであり、上記光学フィルタ２０５は、上記撮像領域用受光領域及び上記付着物検出用受光領域の両方に対応する箇所に、上記特定波長帯の光及び可視光波長帯の光を選択的に透過させ、かつ、少なくともこれらの波長帯に挟まれる波長帯の光をカットする第１の分光フィルタ層２２３等の第１フィルタ部を有し、かつ、該付着物検出用受光領域に対応する箇所に上記特定波長帯の光を選択的に透過させ、少なくとも上記可視光波長帯の光をカットする第２の分光フィルタ層２１１等の第２フィルタ部を有することを特徴とする。
これによれば、撮像領域の画像については、可視光波長帯に隣接する波長帯（特定波長帯と可視光波長帯との間に挟まれる波長帯）が第１フィルタ部によりカットされるので、適切な可視光波長帯の画像が得られる。また、付着物の画像については、第２フィルタ部により可視光波長帯の光がカットされるので、光源からの光以外の外乱光を抑制でき、付着物の検出精度を上げることができる。

（態様Ｃ）
上記態様Ｂにおいて、上記光学フィルタ２０５は、フィルタ基板２２１等の透明基板における画像センサ側の面に上記第２フィルタ部が形成され、該透明基板における画像センサ側の面とは反対側の面に上記第１フィルタ部が形成されており、上記光学フィルタは上記画像センサに接着されていることを特徴とする。
これによれば、上述したように、欠陥管理の簡易化を図ることができ、低コスト化を実現しやすい。

（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記付着物検出処理に用いる上記付着物の画像情報には輝度平均値及び輝度分散値が含まれており、該付着物検出処理に用いる上記撮像領域の画像情報には輝度分散値が含まれており、上記付着物検出処理手段は、上記付着物検出処理を行うことにより、上記透明部材の表面状態が、曇っている状態であるか及び凍結している状態であるかの少なくとも一方を判定することを特徴とする。
これによれば、透明部材の表面状態が曇っているか、凍結しているかを、高精度に判定することができる。

（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、上記付着物検出処理に用いる上記付着物の画像情報及び上記撮像領域の画像情報の少なくとも一方には、輝度平均値の時間変化量が含まれており、上記付着物検出処理手段は、上記付着物検出処理を行うことにより、上記透明部材の表面に付着する付着物がスプラッシュであるか否かを検出することを特徴とする。
これによれば、透明部材の表面状態がスプラッシュによって付着物が付着したかどうかを、高精度に判定することができる。なお、ここでいうスプラッシュとは、水などの液状のものがはねたものが代表的であるが、短時間に大量に付着する付着物を意味する。

（態様Ｆ）
上記態様Ａ〜Ｅのいずれかの態様において、上記撮像手段は、上記撮像領域の画像を撮像するときと上記付着物の画像を撮像するときとで露光量を異ならせて、各画像を撮像することを特徴とする。
これによれば、いずれの画像も最適な露光量で撮像できる。

（態様Ｇ）
上記態様Ｆにおいて、上記撮像手段は、上記撮像領域の画像を撮像するときの露光量として上記撮像領域検出用受光領域で受光される受光量に応じて決定される露光量を用い、上記付着物の画像を撮像するときの露光量として上記光源から照射される光の強度に応じて予め決定されている固定露光量を用いることを特徴とする。
これによれば、付着物の画像の露光量調整の簡素化、短時間化を図ることができる。

（態様Ｈ）
透明部材である自車両のフロントガラス１０５等の窓ガラスを介して自車両周囲の撮像領域（自車両前方領域等）の画像を撮像するとともに該窓ガラスに付着する雨滴２０３等の付着物の画像を撮像する撮像手段の撮像画像情報に基づいて該付着物を検出する付着物検出装置と、該付着物検出装置の検出結果に応じて自車両に搭載されているワイパー１０７やデフロスタ１１０等の車載機器を制御するワイパー制御ユニット１０６やデフロスタ制御ユニット１０９等の制御手段とを備えた車載機器制御装置において、上記付着物検出装置として、上記態様Ａ〜Ｇのいずれかの態様に係る付着物検出装置を用いることを特徴とする。
これによれば、付着物検出用受光領域に多くの外乱光（太陽光など）が入射する昼間の状況でも付着物の検出精度が高いので、適切な車載機器の制御が可能となる。

（態様Ｉ）
上記態様Ｈにおいて、上記制御手段が制御する車載機器はデフロスタを含むことを特徴とする。
これによれば、自車両１００の運転者が運転中に手動でデフロスタを制御する機会が減り又は無くすことができるので、運転者の安全な運転を実現することができる。

（態様Ｊ）
上記態様Ｈ又は上記態様Ｉにおいて、上記制御手段が制御する車載機器はワイパーを含むことを特徴とする。
これによれば、自車両１００の運転者が運転中に手動でワイパーを制御する機会が減り又は無くすことができるので、運転者の安全な運転を実現することができる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
１０９ デフロスタ制御ユニット
１１０ デフロスタ
１１１ 外気温センサ
２００ 撮像装置
２０２ 光源
２０３ 雨滴
２０４ 撮像レンズ
２０５ 光学フィルタ
２０５Ａ 車両検出用フィルタ部
２０５Ｂ 付着物検出用フィルタ部
２０６ 画像センサ
２０７ センサ基板
２０８ 信号処理部
２１１ 第２の分光フィルタ層
２１３ 車両検出用画像領域
２１４ 付着物検出用画像領域
２２１ フィルタ基板
２２２ 偏光フィルタ層
２２３ 第１の分光フィルタ層
２２４ 充填層

特許第４３２６９９９号公報

Claims (9)

1. 透明部材に向けて光を照射する光源と、
   上記透明部材を透過した所定の撮像領域からの透過光を所定の撮像領域用受光領域で受光して該撮像領域の画像を撮像するとともに、上記光源から照射された光が上記透明部材に付着する付着物で反射したときの反射光を所定の付着物検出用受光領域で受光して該付着物の画像を撮像する撮像手段と、
   上記撮像手段が撮像した付着物の画像領域の情報である付着物画像領域用画像パラメータを計算する付着物画像領域用画像パラメータ計算手段と、
   上記撮像領域の画像情報である撮像領域用画像パラメータを計算する撮像領域用画像パラメータ計算手段と、
   計算された付着物画像領域用画像パラメータ及び撮像領域用画像パラメータに基づいた付着物の状態を示す信号を出力する付着物状態信号出力手段とを有することを特徴とする付着物検出装置。
2. 請求項１の付着物検出装置において、
   上記撮像領域用画像パラメータには、自動露光調整により決定される露光時間及び上記撮像領域の画像エッジ抽出結果が含まれており、
   上記透明部材に付着する付着物の状態の判定対象には、曇っている状態、凍結している状態、スプラッシュを受けた状態の少なくとも１つが含まれており、
   上記付着物状態信号出力手段は、上記露光時間に応じて昼夜の判断を行い、この判断により昼間と判断され、かつ、上記画像エッジ抽出結果が上記撮像領域の画像エッジを抽出できているものである場合には、上記透明部材に付着する付着物の状態が、曇っている状態、凍結している状態、スプラッシュを受けた状態であることを示す信号のいずれも出力しないことを特徴とする付着物検出装置。
3. 請求項１又は２の付着物検出装置において、
   上記撮像領域用画像パラメータには輝度平均値及び輝度分散値が含まれており、上記付着物画像領域用画像パラメータには輝度分散値が含まれており、
   上記透明部材に付着する付着物の状態の判定対象には、曇っている状態及び凍結している状態の少なくとも一方が含まれていることを特徴とする付着物検出装置。
4. 請求項１乃至３のいずれか１項に記載の付着物検出装置において、
   上記撮像領域用画像パラメータ及び上記付着物画像領域用画像パラメータの少なくとも一方には、輝度平均値の時間変化量が含まれており、
   上記透明部材に付着する付着物の状態の判定対象には、スプラッシュを受けた状態が含まれていることを特徴とする付着物検出装置。
5. 請求項１乃至４のいずれか１項に記載の付着物検出装置において、
   上記撮像手段は、上記撮像領域の画像を撮像するときと上記付着物の画像を撮像するときとで露光量を異ならせて、各画像を撮像することを特徴とする付着物検出装置。
6. 請求項５の付着物検出装置において、
   上記撮像手段は、上記撮像領域の画像を撮像するときの露光量として上記撮像領域検出用受光領域で受光される受光量に応じて決定される露光量を用い、上記付着物の画像を撮像するときの露光量として上記光源から照射される光の強度に応じて予め決定されている固定露光量を用いることを特徴とする付着物検出装置。
7. 透明部材である自車両の窓ガラスを介して自車両周囲の撮像領域の画像を撮像するとともに該窓ガラスに付着する付着物の画像を撮像する撮像手段の撮像画像情報に基づいて該付着物を検出する付着物検出装置と、該付着物検出装置の検出結果に応じて自車両に搭載されている車載機器を制御する制御手段とを備えた車載機器制御装置において、
   上記付着物検出装置として、請求項１乃至６のいずれか１項に記載の付着物検出装置を用いることを特徴とする車載機器制御装置。
8. 請求項７の車載機器制御装置において、
   上記制御手段が制御する車載機器はデフロスタを含むことを特徴とする車載機器制御装置。
9. 請求項７又は８の車載機器制御装置において、
   上記制御手段が制御する車載機器はワイパーを含むことを特徴とする車載機器制御装置。