JP2012134845A - 露出制御装置 - Google Patents

Abstract

【課題】認識領域の明るさに応じた車載カメラの露出制御の追従性を向上させる。
【解決手段】車載カメラによる車両前方の撮像画像において、認識領域よりも遠方の明るさを測定し（Ｓ１１，Ｓ１２）、時間差をもって測定した明るさを比較することで明るさ変化量を算出する（Ｓ１３）。そして、次回の撮像時の認識領域の明るさ変化量の合計値が判定用しきい値以上であるか否かを判定し（Ｓ１４）、しきい値以上でないと判定した場合には（Ｓ１４：ＮＯ）、次回の撮像時の露出制御値を前回と同じ値に維持する（Ｓ１５）。一方、しきい値以上であると判定した場合には（Ｓ１４：ＹＥＳ）、カメラ２１の露出制御値を次回の撮像時の認識領域の明るさに基づき算出する（Ｓ１６）。
【選択図】図３

Description

本発明は、車両の前方を撮像する車載カメラの露出制御を行う露出制御装置に関する。

近年、車両の前方を撮像する車載カメラを利用して、道路の白線や、他車両等の立体物の認識処理を行い、その認識結果に基づき警報や走行制御等を行う技術が提案されている。こうした技術において、認識対象（白線や立体物）の認識精度を向上させるためには、撮像画像の明るさに応じて車載カメラの露出制御を適切に行うことが重要となる。具体的には、車載カメラによる撮像画像における一部の領域が、認識対象を認識するための認識領域として設定され、その認識領域の明るさに応じて車載カメラの露出制御が行われる（特許文献１参照）。

ただし、例えば車両前方の路面の明るさは、路側物の影、対向車のヘッドライトの光、トンネル入口の影やトンネル出口の光など、様々な要因により変化することから、露出制御が明るさの変化に追従できない場合がある。そこで、撮像画像の信号が飽和していると判定した場合に次回の露出量を減少させる技術が提案されている（特許文献２参照）。

特開２００９−１５７０８５号公報 特開２００７−２８２７９号公報

しかしながら、撮像画像の信号が飽和してから露出量を調整する方法では、明るさの変化に対して露出制御が遅れて追従することになるため、明るさが変化した直後の認識精度が悪化してしまう。

本発明は、こうした問題にかんがみてなされたものであり、認識領域の明るさに応じた車載カメラの露出制御の追従性を向上させることを目的としている。

上記目的を達成する請求項１に記載の露出制御装置は、車載カメラによる車両前方の撮像画像における認識領域の明るさに応じて車載カメラの露出制御を行うものであり、測定手段、検出手段及び制御手段を備える。

この露出制御装置では、測定手段が、車載カメラによる撮像画像において認識領域よりも遠方の明るさを測定し、検出手段が、測定手段により時間差をもって測定された明るさを比較することで明るさの変化を検出する。そして、制御手段が、検出手段により検出された明るさの変化が認識領域で生じるタイミングを車両の走行速度に基づき予測し、予測したタイミングで車載カメラの露出制御を行う。

このような露出制御装置によれば、車両の走行に伴い認識領域の明るさが変化することを予測することができるため、認識領域の明るさに応じた車載カメラの露出制御の追従性を向上させることができる。特に、この露出制御装置によれば、車両の走行に伴い車両に近づく明るさ（例えば路面における路側物の影など）については明るさの変化として検出される一方、車両が走行しても前方距離が変化しない明るさ（例えば路面における自車のヘッドライトの光など）については明るさの変化として検出されないようにすることができる。したがって、単に認識領域よりも遠方の領域の明るさに基づき、車載カメラによる次回の撮像時の認識領域の明るさを予測する場合に比べて、露出制御を適切に行うことができる。

具体的には、請求項１に記載の構成を前提とする請求項２に記載の露出制御装置では、制御手段は、車載カメラによる次回の撮像時に認識領域の明るさが変化するか否かを判定し、明るさが変化すると判定した場合には次回の撮像時の露出制御値を算出し、明るさが変化しないと判定した場合には次回の撮像時の露出制御値を前回と同じ値に維持する。このような露出制御装置によれば、明るさが変化しないと判定した場合には、露出制御値を算出するための処理を行わないようにすることができるため、処理負荷を低減することができる。

また、請求項２に記載の構成を前提とする請求項３に記載の露出制御装置では、制御手段は、車載カメラによる撮像画像において次回の撮像時に認識領域に含まれることが予測される次回認識領域を特定し、検出手段により検出された次回認識領域の明るさの変化に基づき、車載カメラによる次回の撮像時に認識領域の明るさが変化するか否かを判定する。このような露出制御装置によれば、車両の走行に伴い次回の撮像時に認識領域の明るさが変化することを簡易的に判定することが可能となる。

具体的には、請求項３に記載の構成を前提とする請求項４に記載の露出制御装置では、検出手段は、測定手段により時間差をもって測定された明るさの差分をとることで明るさの変化量を検出し、制御手段は、検出手段により検出された次回認識領域の明るさの変化量を判定用しきい値と比較することで、車載カメラによる次回の撮像時に認識領域の明るさが変化するか否かを判定する。このような露出制御装置によれば、明るさの変化量が小さい場合には明るさが変化しないと判定することが可能となるため、明るさがほとんど変化していないにもかかわらず明るさが変化すると判定することにより露出制御値の不要な算出処理が行われることを防ぐことができる。

また、請求項３又は請求項４に記載の構成を前提とする請求項５に記載の露出制御装置では、制御手段は、車載カメラによる次回の撮像時に認識領域の明るさが変化すると判定した場合には、次回の撮像時の露出制御値を、次回認識領域の明るさに基づき算出する。このような露出制御装置によれば、次回の撮像時の認識領域の明るさに応じて適切な露出制御を行うことができる。

また、請求項１から請求項５までのいずれか１項に記載の構成を前提とする請求項６に記載の露出制御装置では、測定手段は、車載カメラによる撮像画像において認識領域よりも遠方が含まれるように設定された測光領域内で、前方距離ごとに明るさを測定し、検出手段は、測光領域内での前方距離ごとの明るさの変化を検出し、制御手段は、検出手段により検出された前方距離ごとの明るさの変化に基づき、認識領域で明るさが変化するタイミングを予測する。

具体的には、この請求項６に記載の構成を前提とする請求項７に記載の露出制御装置では、測定手段は、測光領域から同一水平ライン上の複数の画素を抽出し、抽出した画素の平均的な画素値を、その水平ラインに対応する前方距離の明るさとして測定する。このような露出制御装置によれば、前方距離ごとの明るさを比較的正確に測定することができる。なお、ここでいう平均的な画素値とは、複数の画素値の中心的傾向を示す値のことであり、例えば、平均値（値の総和／値の個数）、中央値（値を大きさ順に並べたときに中央に位置する値）、最頻値（もっとも度数の多い値）などが挙げられる。

実施形態の露出制御装置の構成を示すブロック図である。 撮像画像における認識領域、測光領域及び明るさ抽出ラインを示す図である。 露出制御処理のフローチャートである。 （ａ）は前方距離に応じた路面の明るさ（輝度換算値）を表すグラフ、（ｂ）は前方距離に応じた路面の明るさ変化量（輝度換算値差分）を表すグラフ、（ｃ）は（ｂ）のグラフにおいて次回認識領域を特定した状態を示すグラフである。 （ａ）は車両が走行しても路面の明るさの前方距離が変化しない状況を表すグラフ、（ｂ）は車両の走行に伴い路面の明るさの前方距離が短くなる状況を表すグラフ、（ｃ）は並走車の影が路面に存在する撮像画像を表す図、（ｄ）は逆光時の反射光が路面に存在する撮像画像を表す図、（ｅ）は自車のヘッドライトの光が路面に存在する撮像画像を表す図、（ｆ）は木の影が路面に存在する撮像画像を表す図、（ｇ）はトンネル入口の影が路面に存在する撮像画像を表す図、（ｈ）はトンネル出口の光が路面に存在する撮像画像を表す図である。

以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の露出制御装置１０の構成を示すブロック図である。

この露出制御装置１０は、車両に搭載された状態で用いられるものであり、その車両に搭載されている車載カメラ（以下、単に「カメラ」という。）２１、車線逸脱警報ＥＣＵ２２及び警報部２３とともに、白線認識に基づく警報処理を実現する。

露出制御装置１０は、ＣＰＵ１１、メモリ１２、カメラ２１の撮像画像を入力するための画像インタフェース１３、及び、車線逸脱警報ＥＣＵ２２との通信を行うための通信インタフェース１４を備えている。

カメラ２１は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像するものである。なお、カメラ２１は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整される。

また、カメラ２１は、公知のＣＣＤイメージセンサ、あるいはＣＭＯＳイメージセンサに加え、増幅部及びＡ／Ｄ変換部を内蔵している。これら増幅部及びＡ／Ｄ変換部は、イメージセンサによって画像を撮像したとき、その画像の各画素の輝度（明るさ）を示すアナログ信号を所定のゲインで増幅し、かつ増幅したアナログ値をデジタル値に変換する。そして、カメラ２１は、このデジタル値に変換した信号（画素値）を、画像信号として、画像のラインごとに出力する。

画像インタフェース１３には、カメラ２１から出力される画素値及び水平・垂直同期信号が入力される。ＣＰＵ１１は、画像インタフェース１３に入力された水平・垂直同期信号に基づいて、画像の水平ラインごとに出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ２１から出力される画素値をメモリ１２に記憶する。このようにして、カメラ２１から出力される画像信号がメモリ１２に保存される。

ＣＰＵ１１は、カメラ２１から出力された画像信号を処理することで、認識対象（本実施形態では白線）の認識を行うとともに、その認識した白線の位置を車線逸脱警報ＥＣＵ２２へ出力する。さらに、ＣＰＵ１１は、白線と白線を除く路面部分とのコントラストが適正になるように（白線が適切に認識されるように）カメラ２１の露出制御を行う。具体的には、ＣＰＵ１１は、カメラ２１の露光時間（シャッタースピード）及びフレームレート、更に増幅部のゲインを調整するため、これらの調整指示値を含むカメラ制御値をカメラ２１へ出力する。

通信インタフェース１４は、ＣＰＵ１１と車線逸脱警報ＥＣＵ２２との間の通信を調整するものである。本実施形態では、ＣＰＵ１１は、画像信号における白線の位置を認識して、この認識した白線の位置を車線逸脱警報ＥＣＵ２２へ送信する。車線逸脱警報ＥＣＵ２２は、ＣＰＵ１１から送信された白線の位置に基づいて、自車が車線内から逸脱する危険性があるか否かを判定し、危険性があると判定した場合には、警報部２３に対して警報を発するように指示する。

［２．露出制御の概要］
次に、露出制御の概要について説明する。白線の認識は、図２に示すように、カメラ２１による撮像画像において車両前方の路面が含まれるようにあらかじめ設定された認識領域（破線で示した長方形の領域）内で行われる。このため、認識領域の路面の明るさに応じてカメラ２１の露出制御を行うことで、白線の認識精度を向上させることができる。具体的には、本実施形態では、認識領域よりも遠方の路面が含まれるように、撮像画像において認識領域を上方（路面でいう遠方）へ拡張した領域（実線で示した長方形の領域）が、路面の明るさを測定するための測光領域として設定されている。測光領域の上端は、例えば、次回の撮像時までの期間（１周期）において車両の上限速度で到達する地点までの距離に設定される。なお、ここでいう車両の上限速度は、固定値としてもよく、また、走行中の道路の制限速度などに応じて変更してもよい。

［３．露出制御の具体的処理手順］
次に、あらかじめ記憶されているプログラムに従いＣＰＵ１１が定期的に（例えば１００ｍｓ周期で）実行する露出制御処理について、図３のフローチャートを用いて説明する。

ＣＰＵ１１は、露出制御処理を開始すると、まずＳ１１で、カメラ２１から撮像画像を取り込む。
続いて、Ｓ１２では、Ｓ１１で取り込んだ撮像画像における測光領域（図２）から、前方距離ごとの路面の明るさ（輝度）を測定する。具体的には、図２に示すように、前方距離が一定間隔となるように測光領域において複数本設定された水平ライン（以下「明るさ抽出ライン」という。）上の画素をすべて抽出し、抽出した画素の画素値の平均値を明るさ抽出ラインごとに算出することで、各ラインに対応する前方距離ごとの路面の明るさを測定する。これにより、図４（ａ）に示すように、前方距離に応じた路面の明るさ（輝度換算値）が特定される。例えば、道路脇の木の影が車両前方の路面に存在する場合、その部分の輝度換算値が低くなる。

続いて、Ｓ１３では、前回露出制御値を変更したときに測定した前方距離ごとの路面の明るさと、今回の処理（Ｓ１２）で測定した前方距離ごとの路面の明るさとの差分をとることで、測光領域内での前方距離ごとの路面の明るさの変化量を算出する（「変化量（輝度換算値差分）」＝「今回の明るさ（輝度換算値）」−「前回の明るさ（輝度換算値）」）。これにより、図４（ｂ）に示すように、前方距離に応じた明るさ変化量（輝度換算値差分）が特定される。例えば道路脇の木の影は、車両の走行に伴い車両に近づく（前方距離が短くなる）ため、時間差を設けて差分をとることで明るさ変化量として表れることになる。なお、この例では、前回露出制御値を変更したときに測定した前方距離ごとの路面の明るさを基準として差分をとるようにしているが、これに限定されるものではなく、例えば、前周期（前フレーム）の処理で測定した前方距離ごとの路面の明るさを基準として差分をとるようにしてもよい。

続いて、Ｓ１４では、図４（ｃ）に示すように、Ｓ１３で算出した前方距離ごとの路面の明るさ変化量のうち、車両の走行速度及び処理周期（１００ｍｓ）から次周期（次フレーム）の撮像時に認識領域に含まれることが予測される次回認識領域を特定し、次回認識領域に含まれる明るさ変化量（輝度換算値差分）の合計値を算出する。そして、算出した明るさ変化量の合計値の絶対値が、明るさの変化を判定するための判定用しきい値以上であるか否かを判定する。つまり、カメラ２１による次回の撮像時に認識領域の明るさが変化するか否かを判定する。換言すれば、認識領域で明るさが変化するタイミングを予測していることになる。なお、本実施形態では、判定用しきい値は０よりも大きい値に設定されており、明るさ変化量の合計値が小さい場合には、明るさが変化しないと判定されるようにしている。また、判定する値を明るさ変化量の合計値としているのは、明部と暗部とを平均的に撮像するためであり、この点は露出制御の方針（例えば暗部を優先するなど）によって適宜変更可能である。

そして、Ｓ１４で次回の認識領域の明るさ変化量の合計値がしきい値以上でないと判定した場合には、Ｓ１５へ移行し、前周期の処理で設定した露光時間を読み込み、今回の露光時間として設定する。つまり、次回の撮像時の露出制御値を前回と同じ値に維持する。その後、Ｓ１７へ移行する。

一方、Ｓ１４で次回の認識領域の明るさ変化量の合計値がしきい値以上であると判定した場合には、Ｓ１６へ移行し、カメラ２１の露出制御値を算出する。具体的には、今回の処理（Ｓ１２）で測定した路面の明るさのうち、次回の認識領域の明るさを輝度に換算して平均値を算出することで、次回の認識領域の明るさを測定する。そして、測定値とあらかじめ定められている目標値との比率から、測定値が目標値となるような露光時間を決定し、今回の露光時間として設定する。その後、Ｓ１７へ移行する。

Ｓ１７では、Ｓ１５又はＳ１６の処理で設定した露光時間に従い、カメラ２１の露出制御を行う。その後、露出制御処理を終了する。
［４．効果］
以上説明したように、本実施形態の露出制御装置１０によれば、車両の走行に伴い認識領域の明るさが変化することを予測することができるため、認識領域の明るさに応じたカメラ２１の露出制御の追従性を向上させることができる。特に、車両の走行に伴い車両に近づく明るさについては明るさの変化として検出される一方、車両が走行しても前方距離が変化しない明るさについては明るさの変化として検出されないため、単に次回認識領域の明るさに基づいて次フレームの認識領域の明るさを予測する場合に比べて、露出制御を適切に行うことができる。

すなわち、路面の明るさは、図５（ａ）のグラフに示すように、車両が走行しても前方距離が変化しない（換言すれば路面の明るさを基準とした認識領域の相対位置が変化しない）場合と、図５（ｂ）のグラフに示すように、車両の走行に伴い前方距離が短くなる（換言すれば路面の明るさを基準とした認識領域の相対位置が変化する）場合とに大別される。

例えば、自車と同じ速度で自車の斜め前方を並走する並走車の影（図５（ｃ））や、逆光時の反射光（図５（ｄ））や、自車のヘッドライトの光（図５（ｅ））は、車両が走行しても前方距離が変化しない。したがって、例えば、次回認識領域が影で暗くなっていたとしても、次フレームの認識領域がその影によって暗くなることはない。

これに対し、路側物（道路脇の木など）の影（図５（ｆ））や、トンネル入口の影（図５（ｇ））や、トンネル出口の光（図５（ｈ））は、車両の走行に伴い前方距離が短くなる。したがって、例えば、次回認識領域が影で暗くなっていたとすると、次フレームの認識領域がその影によって暗くなる。

このように、単に次回認識領域の明るさに基づいて次フレームの認識領域の明るさを予測したのでは、適切な露出制御値が算出できない場合があるが、本実施形態では、次回認識領域の明るさの変化に基づいて次回の撮像時の露出制御値を算出するため、車両が走行しても前方距離が変化しない場合と、車両の走行に伴い前方距離が短くなる場合とを区別することができる。これは、車両が走行しても前方距離が変化しない場合には、前方距離に応じた明るさが変化しないのに対し、車両の走行に伴い前方距離が短くなる場合には、前方距離に応じた明るさが変化するからである。したがって、本実施形態によれば、適切な露出制御値を算出することができる。

また、本実施形態では、明るさが変化しないと判定した場合には（Ｓ１４：ＮＯ）、露出制御値を算出するための処理を行わないため（Ｓ１５）、処理負荷を低減することができる。特に、明るさの変化量が小さい場合には明るさが変化しないと判定するため、明るさがほとんど変化していないにもかかわらず明るさが変化すると判定することにより露出制御値の不要な算出処理が行われることを防ぐことができる。

一方、カメラ２１による次回の撮像時に認識領域の明るさが変化すると判定した場合には（Ｓ１４：ＹＥＳ）、次回の撮像時の露出制御値を、次回認識領域の明るさに基づき算出するため（Ｓ１６）、次フレームの認識領域の明るさに応じて適切な露出制御を行うことができる。

加えて、測光領域に設定された明るさ抽出ライン上の画素の平均画素値を、その明るさ抽出ラインに対応する前方距離の明るさとして測定するため、前方距離ごとの明るさを比較的正確に測定することができる。

［５．特許請求の範囲との対応］
なお、本実施形態では、Ｓ１２の処理が測定手段としての処理に相当し、Ｓ１３の処理が検出手段としての処理に相当し、Ｓ１４〜Ｓ１７の処理が制御手段としての処理に相当する。

［６．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

例えば、上記実施形態では、明るさ抽出ライン上の画素をすべて抽出しているが、これに限定されるものではなく、明るさ抽出ライン上の一部の画素を抽出するようにしてもよい。また、例えば、明るさ抽出ラインを同一水平ライン上で左右に分け、左右別々に画素値の平均値を算出するようにしてもよい。また、平均値（値の総和／値の個数）に代えて、例えば中央値（値を大きさ順に並べたときに中央に位置する値）や、最頻値（もっとも度数の多い値）を算出するようにしてもよい。

１０…露出制御装置、１１…ＣＰＵ、１２…メモリ、１３…画像インタフェース、１４…通信インタフェース、２１…車載カメラ、２２…車線逸脱警報ＥＣＵ、２３…警報部

Claims (7)

1. 車載カメラによる車両前方の撮像画像における認識領域の明るさに応じて前記車載カメラの露出制御を行う露出制御装置であって、
   前記車載カメラによる撮像画像において前記認識領域よりも遠方の明るさを測定する測定手段と、
   前記測定手段により時間差をもって測定された明るさを比較することで明るさの変化を検出する検出手段と、
   前記検出手段により検出された明るさの変化が前記認識領域で生じるタイミングを車両の走行速度に基づき予測し、予測したタイミングで前記車載カメラの露出制御を行う制御手段と、
   を備えることを特徴とする露出制御装置。
2. 請求項１に記載の露出制御装置であって、
   前記制御手段は、前記車載カメラによる次回の撮像時に前記認識領域の明るさが変化するか否かを判定し、明るさが変化すると判定した場合には次回の撮像時の露出制御値を算出し、明るさが変化しないと判定した場合には次回の撮像時の露出制御値を前回と同じ値に維持すること
   を特徴とする露出制御装置。
3. 請求項２に記載の露出制御装置であって、
   前記制御手段は、前記車載カメラによる撮像画像において次回の撮像時に前記認識領域に含まれることが予測される次回認識領域を特定し、前記検出手段により検出された前記次回認識領域の明るさの変化に基づき、前記車載カメラによる次回の撮像時に前記認識領域の明るさが変化するか否かを判定すること
   を特徴とする露出制御装置。
4. 請求項３に記載の露出制御装置であって、
   前記検出手段は、前記測定手段により時間差をもって測定された明るさの差分をとることで明るさの変化量を検出し、
   前記制御手段は、前記検出手段により検出された前記次回認識領域の明るさの変化量を判定用しきい値と比較することで、前記車載カメラによる次回の撮像時に前記認識領域の明るさが変化するか否かを判定すること
   を特徴とする露出制御装置。
5. 請求項３又は請求項４に記載の露出制御装置であって、
   前記制御手段は、前記車載カメラによる次回の撮像時に前記認識領域の明るさが変化すると判定した場合には、次回の撮像時の露出制御値を、前記次回認識領域の明るさに基づき算出すること
   を特徴とする露出制御装置。
6. 請求項１から請求項５までのいずれか１項に記載の露出制御装置であって、
   前記測定手段は、前記車載カメラによる撮像画像において前記認識領域よりも遠方が含まれるように設定された測光領域内で、前方距離ごとに明るさを測定し、
   前記検出手段は、前記測光領域内での前方距離ごとの明るさの変化を検出し、
   前記制御手段は、前記検出手段により検出された前方距離ごとの明るさの変化に基づき、前記認識領域で明るさが変化するタイミングを予測すること
   を特徴とする露出制御装置。
7. 請求項６に記載の露出制御装置であって、
   前記測定手段は、前記測光領域から同一水平ライン上の複数の画素を抽出し、抽出した画素の平均的な画素値を、その水平ラインに対応する前方距離の明るさとして測定すること
   を特徴とする露出制御装置。