JP5073207B2 - 車載カメラ装置 - Google Patents

Description

本発明は、自動車の周囲監視あるいは運転補助を目的として自動車に固定設置された車載カメラ装置に係り、特に、画像の一部に自動車ボディが撮像されるカメラにおいて、正確な自動色温度補正制御、所謂オートホワイトバランス制御を行うことに配慮した車載カメラ装置に関する。

汎用ビデオカメラには、動作中の連続的なフィードバック制御によって撮像の明るさを自動的に適正値に制御する自動露光制御機能と、光源色温度変化による色相の変化を自動的に補正するオートホワイトバランス制御機能が一般的に備えられている。以下において、このオートホワイトバランス制御機能の原理と基本的な動作について説明する。光の色合いは、光源に含まれる、青紫光と赤色光の相対的な強さを表す数値である色温度（単位：ケルビン）で評価される。我々の標準的な生活圏においては、白熱灯の光が最も色温度が低い（赤い）部類の光源であり、その色温度は約2000〜2500°ケルビン程度であり、逆に曇天下の太陽光が色温度の最も高い（青い）光源であり、約8000〜10000°ケルビン程度である。

これらの光で照らされた被写体は、被写体固有の反射率に応じた反射光を発し、この反射光がビデオカメラに入射され、ビデオカメラは入射光の色合いに応じた色再現を行うため、被写体の色が有彩色と無彩色の如何に関らず、ビデオカメラが再生する被写体の色は、被写体を照らす光源の色温度に影響を受ける。同様のことは我々の眼においても生じているが、我々の眼（あるいは脳）は、光源色温度が変化しても、物体の色が常に一定に見えるような補正を行いつつ「見る」という作業を行うため、ビデオカメラが撮影した映像が、我々にとって正常な（自然な）色合いであるように見せるためには、ビデオカメラ自身が人間の目同様の色温度補正制御を行う必要がある。

本色温度補正制御を自動的に行う機能をオートホワイトバランス制御機能といい、今日のビデオカメラにおける同機能は、基本的には撮像素子が入力した映像信号内の赤色成分と青色成分の多寡を常時判定し、その多寡を打ち消し、画面内の赤色と青色信号の総和量を一定バランスに維持させるように、信号処理回路内の赤色信号増幅器と青色信号増幅器の利得を制御するようなフィードバックループを構成することで実現されている。

しかしながらビデオカメラは、極言すれば、例えば「赤い色の被写体」と、「赤い光で照らされている白い被写体」を厳格に判定することができないため、上記したような基本的制御方法だけでは、判定ミスによる、一般に「誤ひきこみ」と呼ばれる、誤った制御を行う場合がある。そのため、様々な手法でそのような誤った制御を防止して、異なる撮影シーンで安定したホワイトバランス制御を行うための手法が講じられており、これらは例えば特開２００３−２５９１８９号公報などに開示されている。

特開２００３−２５９１８９号公報

近年、カメラの高性能化、小型化、低価格化を背景に、バックモニタリングやブラインド（死角）モニタリングといった目的のために、カメラを自動車に設置することが一般的になってきた。さらに最近では、より広い視野を確保する目的から、カメラに設けるレンズを、100°以上の広角レンズとする場合が多い。しかし一方で、広角レンズを使用した場合、視野は広がるものの、撮像画枠内に自動車自身のボディがはいってくるケースも増大し、そうした場合、自動車の車体色（ボディカラー）が、オートホワイトバランスの制御結果に少なからず影響を与えてしまう。

そのような課題に対処する有効な手段のひとつは、上記特開２００３−２５９１８９号公報にあるように、撮像画枠内のなかで、自動車自身のボディの映りこむエリアを、色情報検出枠から除外するか、あるいは当該エリアの色情報の制御結果に対する重み付け（重要度）を小さくすることである。しかしながら、オートホワイトバランス制御の本質が、被写体反射光の色情報から、その被写体を照らす光源の色温度を間接的に判定することであることを考えれば、より広いエリアに写った複数種の被写体の反射光から、総合的に光源色温度を判定できるようにするほうが有利であることは明らかで、色情報検出エリアを小さくすることは、制御上好ましいことではない。

以上に記載した課題解決の手段を提供するために、本発明においては、以下の手段を用いる。
（１）少なくとも2つ以上の色情報検出枠を設け、それら複数の色情報検出枠を、該自動車ボディの結像する部分と一致ないし近似する検出枠Aと、そうではない検出枠Bに分類する。
（２）カメラ内の不揮発性記憶媒体に自動車ボディ色に相当する色情報をあらかじめ記憶する。
（３）上記検出枠Aから得られた色情報と、上記あらかじめ記憶された自動車ボディ色に相当する色情報との比較結果に基づく判定結果１と、該検出枠Bから得られた色情報に基づく通常のオートホワイトバランス制御の判定結果２と、を用いて光源の色温度を判定し、当該光源の色温度に応じて赤色信号増幅率と青色信号増幅率とを決定し、オートホワイトバランス制御を行う。

本発明によれば、通常のホワイトバランス制御に加えて、あらかじめ記憶された自動車ボディ色に相当する色情報と、自動車ボディが結像する画像枠内の各画素からの色情報とを比較する制御を行い、その結果も制御結果に反映させるため、より精度が高く安定なホワイトバランス制御を行う車載カメラ装置を提供することができる。

以下、本発明の１実施例を図１、図２、図３を用いて説明する。
図１は本発明のカメラのブロック図であり、図２はカメラの自動車への設置例と、設置例における撮像画像のイメージ図、図３は、色情報検出枠の一例を示す図である。たとえば、バックモニタリングを目的として、図２に示す位置に設置したカメラの画像には、同図の203；撮像表示画面に示すように画像下部に自動車ボディが映し出される。なお、同図において、自動車ボディが映し出される部分を歪んでいるように描いているのは、カメラレンズに広角レンズを使用した場合に、レンズ歪みによって実際にこのような撮像状態になるためである。

もちろん、カメラの取り付け角度に留意すれば、ボディが写りこむ部分を無くすことも可能であるが、運転者が障害物と車体との距離を認知するには、画像内に車体が映し出されている部分が存在するほうが望ましく、また、車体左右の幅を充分にカバーできる画角を得るために広角レンズを使用した場合は、事実上、自動車ボディが映し出される部分を無くすことは難しい。

一方上述したように、カメラのホワイトバランスは、色情報検出枠内の映像信号の赤色成分と青色成分の多寡を判定し、赤色と青色信号の総和量を一定バランスに維持させるように赤色信号増幅器と青色信号増幅器の利得を制御するため、ボディが写りこんだエリアと、色情報検出枠とが重なっていた場合、ホワイトバランス制御は自動車ボディの色の影響を受け、たとえば同じカメラであっても、赤い自動車に実装した場合と、青い自動車に実装した場合とで、最終的なカメラ出力映像の色合いが異なってしまうといった場合も有り得る。

そこで、本実施例においては、カメラに以下の手段を設ける。
（１）画面を、図３に示すようにA-F列、1-6行からなる36個のエリアに分割し、それぞれのエリアの色情報を個別に積算してデータ化する手段を設ける。
（２）上記36個のエリアのうち、自動車ボディが映し出されるエリアと一致、ないし自動車ボディが映し出される部分が支配的であるE列とF列のエリアから得られた色情報を、不揮発性記憶媒体にあらかじめ記憶された、自動車ボディ色を示す色情報と比較し、比較結果をホワイトバランス制御に反映させる手段を設ける。
（３）自動車ボディが映し出される部分と一致しないA列〜C列、およびD-２〜D-５から得られた色情報を、公知のホワイトバランス制御のように、エリア内の赤色信号と青色信号の多寡を判定し、判定結果をホワイトバランス制御に反映させる手段を設ける。
（４）上記（２）（３）の、２つの結果から、最終的な赤信号増幅率（ゲイン）と青信号増幅率（ゲイン）を決定し、決定結果を信号処理回路に反映させる手段を設ける。

以下、図１を用いて、実際のカメラ構成に従って本実施例の説明を行う。
撮像素子101から出力された映像信号は、信号増幅器及びAD変換器102を介して、信号処理LSI 111に入力される。信号処理LSIでは、映像信号を輝度信号と色信号に分離し、分離された色信号は、色信号増幅器114を介して、信号合成器及び変調器116において、多くの場合、色差信号に加工された後に再び輝度信号と合成されてビデオ出力端子117に出力される。

ここで、色信号増幅器114の出力信号であるR（赤）信号、B（青）信号は、それぞれ分枝されて、検波回路115に入力される。同検波回路115では、図３に示す36個のエリアそれぞれの位置におけるR（赤）信号、B（青）信号の総和値データを、マイクロプロセッサ（マイコン）121に出力する。同マイクロプロセッサ（マイコン）121では、まず検出枠の画面内位置による分類処理122を行い、本例では、E列とF列のエリアのデータは記憶情報との比較処理ブロック123に送り、A列〜C列、およびD-２〜D-５エリアのデータは、R・B信号の多寡判定処理ブロック124に送る。記憶情報との比較処理ブロック123では、入力された各エリアの色情報が、不揮発性記憶媒体127に記憶された車体色情報128と比較され、比較結果が算出される。R・B信号の多寡判定ブロック124では、公知のホワイトバランス制御のように、エリア内の赤色信号青色信号の多寡が算出される。それぞれの算出結果は、光源色温度判定処理ブロック125に送られ、色信号利得決定処理126を介して、色信号増幅器114に利得設定値として帰還される。

上記本実施例によれば、通常公知のホワイトバランス制御に加えて、あらかじめ記憶された自動車ボディ色に相当する色情報と、自動車ボディが結像する画像枠内の各画素からの色情報とを比較する制御を行い、その結果も制御結果に反映させるため、より精度が高く安定なホワイトバランス制御を行う車載カメラ装置を提供することができる。
なお、本実施例においては、通常ホワイトバランス制御とはあまり重要な関係のない色信号である緑（G）信号については記述を割愛したが、同信号を制御に反映させる場合も同様の構成で実現可能である。

図４を用いて、本発明の別の実施例について説明する。
本実施例は、基本的には上記実施例１の改良例であって、一般的に車体色に光沢色が使用される場合が多いため、光源が車体に反射して、ホワイトバランス制御に悪影響を与える場合のあることに配慮したものである。図４に示すようにE-1、およびE-2エリアに光源からの直接反射光が存在した場合、当該部分の色情報（赤信号と青信号のバランス）が、通常とかけはなれたものとなるため、誤判定により、ホワイトバランス制御に悪影響を与える場合がある。

そのため、本実施例では、上記直接反射光の影響を受けるエリアを制御対象から除外して、全体の制御に悪影響を与えないようにするため、図１の記憶情報との比較処理ブロック123において、閾値を設定し、ブロックに入力された色情報が、不揮発性記憶媒体127に記憶された車体色情報128に対して、上記閾値以上の差異を有する場合は、制御対象から除外して、全体の制御に影響を与えないようにする。

なお本方式では、上記直接反射光部分面積が小さい場合には充分な対応ができないが、これには、本例では36個のエリアに分割した色情報検出エリア数を増大させれば対応できることは自明であり、さらに同様の処理を、図1の検波回路115内に設け、同回路に車体色情報128、および閾値を設定するとともに、輝度情報も入力させ、ハードウェア的に処理しても同様の効果を達成可能である。本実施例によれば、車体に映りこむ光源の直接反射光の影響を減じて、より精度が高く安定なホワイトバランス制御を行う車載カメラ装置を提供することができる。

本発明の一実施例に係るカメラのブロック図。 本発明の一実施例に係るカメラの自動車への設置例および表示画面例。 本発明の一実施例に係る色情報検出枠例。 本発明の一実施例に係る色情報検出枠例。

符号の説明

１０１…撮像素子
１０２…信号増幅器及びAD変換器
１１１…信号処理LSI
１１２…輝度信号処理回路
１１３…色分離処理回路
１１４…色信号増幅器
１１５…検波回路
１１６…信号合成器及び変調器

１１７…ビデオ出力端子
１２１…マイクロプロセッサ（マイコン）
１２２…検出枠の画面内位置による分類処理
１２３…記憶情報との比較
１２４…R・B信号の多寡判定
１２５…光源色温度判定
１２６…色信号利得決定
１２７…不揮発性記憶媒体
１２８…車体色情報

Claims (2)

1. 自動車の周囲監視あるいは運転補助を目的として自動車に固定設置された車載カメラ装置であり、該車載カメラ装置には、撮像素子に結像した画像枠内の一定枠を色情報検出枠とし、該色情報検出枠内から得られる色情報から、自動的に色温度補正を行う所謂オートホワイトバランス制御機能が具備され、かつ該撮像素子に結像した画像枠内の一部に自動車の躯体、所謂ボディが結像する自動車の位置に設置された車載カメラ装置において、少なくとも2つ以上の色情報検出枠を設け、それら複数の色情報検出枠を、該自動車ボディの結像する部分と一致ないし近似する検出枠Aと、そうではない検出枠Bに分類する手段と、自動車ボディ色に相当する色情報をあらかじめ記憶する手段とを設け、該検出枠Aから得られた色情報と該あらかじめ記憶された自動車ボディ色に相当する色情報との比較結果に基づく判定結果１と、該検出枠Bから得られた色情報に基づく通常のオートホワイトバランス制御の判定結果２と、を用いて光源の色温度を判定し、当該光源の色温度に応じて赤色信号増幅率と青色信号増幅率とを決定し、オートホワイトバランス制御を行うことを特徴とした車載カメラ装置。
2. 上記請求項１の車載カメラ装置であって、該検出枠A内の各エリアの色情報が前記あらかじめ記憶された自動車ボディ色に相当する色情報に対して所定の閾値以上の差異を有する場合、当該差異を有するエリアから得られた色情報を、オートホワイトバランス制御の判定対象から除外することを特徴とした車載カメラ装置。

Images