JP7009334B2 - 画像表示装置、画像表示システム - Google Patents

Description

本発明は、画像表示装置及び画像表示システムに関する。

車両のルームミラーをＣＭＳ（カメラモニタリングシステム）で置き換える試みがある。ＣＭＳは撮像装置で撮像した画像をディスプレイに表示する技術である。ＣＭＳが採用されたルームミラーを以下、電子ルームミラーと称する。電子ルームミラーは従来のルームミラーにディスプレイが内蔵された形態となる。従来のルームミラーは、車両の乗員や荷物により後方の視界を遮られる場合があるが、電子ルームミラーは車両後方に設置された撮像装置の映像をルームミラー内のディスプレイに表示するので、後方視界を確保しやすくなる。

電子ルームミラーには従来のルームミラーと同等の性能又は法規などが定める性能が要求されるが、電子ルームミラーは撮像装置が撮像した画像を表示するという仕組みであるため、状況によっては画質が低下するおそれがあることが知られている。

従来から車載される撮像装置の映像に関してはこれを向上させる種々の技術が考案されている（例えば、特許文献１，２参照。）。特許文献１には、車両周辺の照度が基準より高く、車両の周辺を照明する光源が点灯している場合、撮像装置が撮像した画像データの輝度を補正する方法が開示されている。特許文献２には、遠方車両が写っている枠の輝度情報に基づいて撮像装置の露出を制御して、オーバー露出を回避する技術が開示されている。

特許第４７８８４０６号公報 特開２０１７－５６７８号公報

しかしながら、従来の技術では、光源や反射光が写っている領域を使って画像処理するため、暗い領域の画質が低下する傾向があるという問題がある。図を用いて説明する。

図１は、従来の電子ルームミラーの課題を説明する図の一例である。図１（ａ）は夜間の後方画像の一例を示す。まず、電子ルームミラーが表示する画像を撮像する撮像装置は撮像された画像（フレーム）の評価値に基づいて次のフレームの露出量を制御するＡＥ（Automatic Exposure）という機能を有している。一般的なＡＥでは適切な露出量が得られるように絞りとシャッター速度が自動で調整される。また、適切な露出量が得られるように撮像素子の感度を自動で調整する機能が搭載されることも多い。撮像素子の感度はアナログの画像信号をどのくらい増幅するかを増幅回路のゲインで制御するため、感度制御はゲインコントロールとも呼ばれる。以下では、ゲインコントロールを含めて露出制御という。露出制御により、夜間やトンネルなどの暗い環境下でも露出が適切に制御され、被写体が見やすい画像が得られる。

次に、図１（ｂ）はブレーキランプの点灯時の画像を示す。運転者がブレーキペダルを踏むと、車両の後方に配置されたブレーキランプが点灯するが、ブレーキランプは路面を照明するため、車両後方に設置された撮像装置が路面に照射された間接光を撮像してしまう。図１（ｂ）では車両に近い側に対応する画像の下側にブレーキランプの間接光６が写っている。

また、図１（ｂ）に示すように、画像データでは露出制御のための一般的な測光エリア９とＣＭＳエリア８が予め設定されている。一般的な測光エリア９とは露出制御のために評価値が測定される領域であり、ＣＭＳエリア８は電子ルームミラーのディスプレイに表示される領域である。図１（ｂ）では一般的な測光エリア９は画像のほぼ全域であるため、間接光６が写る領域が含まれている。

したがって、一般的な測光エリア９で露出制御された場合、ブレーキランプの間接光６を含めて画像の全体が適切な明るさになるように撮像されるため、車両遠方の暗い部分の露出が足りなくなるおそれがある。

図１（ｃ）はブレーキランプの点灯時に一般的な測光エリア９で露出制御された画像の一例を示す。図１（ｃ）ではＣＭＳエリア８が暗く写っている。つまり、図１（ａ）のようにブレーキランプが点灯していない場合よりもＣＭＳエリア８を含む領域が暗く撮像されてしまう。このように、本来は露出制御により暗いＣＭＳエリア８を可能な限り明るく撮像したいのに、ブレーキランプの間接光６の影響でＣＭＳエリア８が却って暗く写ってしまうという問題があった。

本発明は、上記課題に鑑み、暗い領域の画質の低下を抑制する画像表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、車両に設置された撮像装置を用いて撮像された車両の周辺の画像データを表示装置に表示する画像表示装置において、前記撮像装置によって撮像された画像データの測光エリアの輝度情報に基づいて前記撮像装置が撮像する画像データの輝度を制御する輝度制御手段を有し、前記輝度制御手段は、前記測光エリアの車両に近い側から所定距離内のうち少なくとも一部の領域を含む除外エリアを前記測光エリアから除外し、前記除外エリアが除外された前記測光エリアの輝度情報に基づいて前記撮像装置が撮像した画像データから、前記表示装置に表示する表示エリアを切り取る表示エリア切り取り手段と、前記表示エリア切り取り手段が切り取った表示エリアを前記表示装置に出力する出力手段と、を有し、前記輝度制御手段は、前記表示エリア以外を除外エリアに決定することを特徴とする。

暗い領域の画質の低下を抑制する画像表示装置を提供することができる。

従来の電子ルームミラーの課題を説明する図の一例である。 電子ルームミラーが露出制御を行う測光エリアの一例を示す図である。 電子ルームミラーの搭載例を示す図である。 ディスプレイユニットの概略斜視図の一例である。 ディスプレイユニットの概略構造を示す図の一例である。 撮像装置とディスプレイユニットの一例のハード的な構成図である。 撮像装置とディスプレイユニットの一例のハード的な構成図（変形例）である。 ディスプレイユニットの機能を説明する機能ブロック図の一例である。 車両に近い側の輝度値の評価方法を説明する図の一例である。 下方以外の除外エリアのいくつかの例を説明する図である。 ディスプレイユニットが除外エリアを決定する手順を示すフローチャート図の一例である。 ディスプレイユニットの機能を説明する機能ブロック図の一例である（実施例２）。

以下、本発明を実施するための形態について図を参照しながら説明する。

＜本実施形態の電子ルームミラーの概略＞
図２は、本実施形態の電子ルームミラーが露出制御を行う測光エリアの一例を示す。本実施形態では、車両に近い側から所定距離内のうち少なくとも一部の領域を一般的な測光エリア９から除外することが特徴の１つとなっている。車両に近い側から所定距離内のうち少なくとも一部の領域は、一般的な測光エリア９から除外されるため、以下、測光エリア９から除外される領域を除外エリア７という。また、一般的な測光エリア９から除外エリア７を除いた残りの領域を本実施形態の測光エリア５という。除外エリア７は、以下のように表現することができる。
・優先度が低い車両近傍の領域
・画像データの４辺のうちいずれかの辺から所定距離以内の領域
・ブレーキランプなど車載されたライトの間接光が写っている領域
図２では、画像の下側から約１／３が除外エリア７であり、上側から２／３が本実施形態の測光エリア５である。除外エリア７は予め定められていてもよいし、画像処理により適宜、決定されてもよい。図２のＣＭＳエリアを図１（ｃ）と比較すると、除外エリア７を設けることでＣＭＳエリアが明るく撮像されている。このように、電子ルームミラーが除外エリア７を除外して露出制御することで、ＣＭＳエリア８が暗く撮像されることを抑制できる。

なお、後述する図１０に示すように、撮像装置１１が撮像する画像のどの部分に車載されたライトの間接光が写るかによって除外エリア７は様々である。例えば、画像の下側に限らず、右側、左側又は上側が除外エリア７となる場合もある。

＜用語について＞
画像表示装置は、車両に設置された撮像装置を用いて撮像された車両の周辺の画像データを表示装置に表示する装置である。撮像装置と表示装置は車載されていればよい。したがって、画像表示装置は電子ルームミラーには限られないが、本実施形態では一例として電子ルームミラーという用語で説明する。電子バックミラー、電子ミラーなどと呼ばれてもよい。

また、撮像装置は車両以外の移動体に搭載されてよい。例えば、自動二輪車、自転車等の軽車両、車椅子、ロボットなどに搭載されてよい。

測光エリアの車両に近い側から所定距離内に関しては、車両に近い側は測光エリアの下側、上側、左側、又は、右側なので、測光エリアの下側、上側、左側、又は、右側から所定距離内をいう。この所定距離内の全体とは限らず、少なくとも一部の領域を除外エリアという。一部の領域は間接光が写っている領域である。

表示エリアは、画像データのうち電子ルームミラーのディスプレイに表示される領域である。本実施形態ではＣＭＳエリア８という用語で説明する。

＜構成例＞
図３は、電子ルームミラー１０の搭載例を示す図である。図３（ａ）は車室内に設置されるディスプレイユニット１２の一例を示し、図３（ｂ）は撮像装置１１とディスプレイユニット１２の配置例を示す図である。電子ルームミラー１０は撮像装置１１とディスプレイユニット１２を有する。撮像装置１１とディスプレイユニット１２の組み合わせを画像表示システムと称してもよい。

図３（ａ）に示すように、電子ルームミラー１０のディスプレイユニット１２は従来のルームミラーと同様に、運転席と助手席の間でありフロントガラス内側の上部に固定されている。ディスプレイユニット１２の搭載位置については法令上の明確な指定がない国や地域があり、図示する位置は一例に過ぎない。また、法令上の明確な指定がある国や地域では法令に従った位置に搭載される。ディスプレイユニット１２の数は１つに限らず、複数のディスプレイユニット１２が搭載されてよい。

図３（ｂ）に示すように、撮像装置１１は車両１０１の後方に配置されている。従来のルームミラーに入射する光の方向に近い光軸方向で撮像装置１１が撮像することが好ましい。従来のルームミラーはフロントガラスの上方に配置され車両の後方を鏡に映し出すものであるため、撮像装置１１も車両の上方に配置されることが好ましい場合が多い。例えば、ルーフやルーフスポイラーに設置してよい。撮像装置１１の水平方向に関しては車両の中央又は中央付近であることが好ましい。しかし、右端又は左端に設置されても後方の撮像は可能である。右端又は左端に設置された撮像装置１１の画像を中央付近で撮像したように画像処理してもよい。

なお、撮像装置１１の場所は、車種ごとに限らず個別の車両ごとに異なってよい。例えば、ナンバープレートの周辺、車両メーカエンブレムの周辺、リアバンパーの適切な場所などでもよい。

また、従来から車両１０１にはバックカメラが搭載される場合がある。バックカメラは車庫入れなど、車を後進させる際（運転者がシフトレバーをリバースに操作した場合）に、後方の映像を映し出すカメラで、撮像された画像がカーナビゲーションシステムなどのディスプレイに映し出されることが多い。本実施形態では、このバックカメラの画像をディスプレイユニット１２で表示してもよいし、電子ルームミラー１０の撮像装置１１が撮像した画像をバックカメラの画像としてカーナビゲーションシステムなどのディスプレイに表示してもよい。

また、魚眼カメラなど比較的、広角なカメラを電子ルームミラー１０とバックカメラで兼用してしようしてもよい。すなわち、広角カメラが撮像した画像の一部をディスプレイユニット１２で表示し、別の一部（重複してよい）をカーナビゲーションシステムなどのディスプレイで表示する。

なお、撮像装置１１からディスプレイユニット１２までの配線は天井又は床付近などに這わせればよく、配線長や取り回しを考慮して決定される。また、撮像装置１１が例えばディスプレイユニット１２まで無線通信で画像を送信してもよい。

また、ディスプレイユニット１２には、電源ライン、リバース信号線、ウィンカー信号線、及び、他の撮像装置（サイドカメラ、バックカメラなど）のビデオ入力などが接続されていてよいが、図３では図示が省略されている。例えば、リバース信号線からの信号によりバックカメラの画像をディスプレイユニット１２が表示したり、ウィンカー信号線からの信号によりサイドカメラの画像をディスプレイユニット１２が表示したりすることが可能になる。

図４は、ディスプレイユニット１２の概略斜視図の一例である。ディスプレイユニット１２は、ディスプレイ１５、４つのボタン１～４、及び、レバー１７を有している。なお、配線のインタフェースなどは省略されている。図示する構成の他、ドライブレコーダのようにメモリーカードの挿入部を有していてもよく、形状、ボタン数、ボタンの位置などは一例に過ぎない。

ディスプレイ１５は液晶ディスプレイや有機ＥＬディスプレイなどのフラットパネルディスプレイである。リアプロジェクション型でもよい。後述するようにディスプレイ１５の前面（室内側）にはハーフミラーがディスプレイ１５と重畳するように固定されている。

４つのボタン１～４は電子ルームミラー１０の設定画面を表示し、ユーザからの操作を受け付けるための入力装置である。簡易的な設定画面を表示する機能としてＯＳＤ（On Screen Display）が知られている。ただし、どのようにユーザインタフェースを表示するかはディスプレイユニットのリソースに応じて変更されうる。例えば、後述する基板にＯＳ（Operation System）がインストールされている場合、ＯＳがサポートする画面表示の機能を利用できる。

各ボタンの機能は例えば次のようになる。
ボタン１：メニュー表示（輝度、コントラスト、色温度、言語、ＣＭＳエリアの設定など）
ボタン２：ある方向の選択（右移動、上移動、右回転、増大など）
ボタン３：別の方向の選択（左移動、下移動、左回転、減少など）
ボタン４：決定
運転者は輝度、コントラスト、色温度、言語などの設定、画像データの回転、及び、ＣＭＳエリア８の移動などを行うことができる。

レバー１７は電子ルームミラー１０の電源ＯＮと電源ＯＦＦを切り替えるための入力装置である。電源ＯＮの場合、ディスプレイユニット１２は撮像装置１１が撮像した画像を出力し、電源ＯＦＦ場合、ディスプレイユニット１２は撮像装置１１が撮像した画像を表示しない。このため、ハーフミラーにより外光が反射され、ディスプレイユニット１２は通常の鏡と同様に室内を映し出す鏡となる。図５を用いて説明する。

図５は、ディスプレイユニット１２の概略構造を示す図の一例である。図５（ａ）は電源ＯＮの状態のハーフミラー１６の作用を示し、図５（ｂ）は電源ＯＦＦの状態のハーフミラー１６の作用を示す。例えば、ハーフミラー１６の透過度がＴ％（例えば５０～９０％）であるとすると、電源ＯＮの状態では、ディスプレイ１５のＴ％の光がハーフミラー１６を通過する。Ｔ％の光しか通過しなくてもディスプレイ１５の明るさは車室内より明るいので、運転者はディスプレイ１５が表示する画像を目視できる。

電源ＯＦＦの状態ではディスプレイ１５が光を照射しないので、ハーフミラーの内側は暗くなっている。ハーフミラーの内側よりも車室内の光の方が強いため、ハーフミラー１６が反射する光の強度も大きい。この結果、ハーフミラー１６の内側からの透過光は、車室側の明るい反射光にかきけされてしまうため、車室側から鏡のように見える。したがって、運転者はレバーを前方又は後方に揺動する操作でディスプレイ１５により表示される画像と通常の鏡による室内光の反射とを簡単に切り替えることができる。例えば、西日などで車両後方からの入射光が強く、ディスプレイ１５の視認性が低下した際などに、通常のミラーに切り替えるといった使い方が可能になる。

なお、図５に示すように、ディスプレイユニット１２は基板１４を有しており、この基板１４により撮像装置１１の制御とＣＭＳエリア８を切り取るなどの画像処理を行っている。基板１４は、一般的なコンピュータの機能を有し、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、及び、入出力Ｉ／Ｆなどを有している。

＜撮像装置とディスプレイユニットの構造＞
図６は、撮像装置１１とディスプレイユニット１２の一例のハード的な構成図を示す。なお、図６では、撮像装置１１及びディスプレイユニット１２が有する構成要素のうち本実施形態の説明に主に用いる構成要素を示した。また、撮像装置１１の機能は一般的なものでよく、図６に示す構成は一例に過ぎない。

撮像装置１１は１枚以上のレンズ２１、シャッター２２、撮像素子２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５、及び、Ｉ/Ｆ２６を有している。レンズ２１は通過する光を集光して被写体の光像を撮像素子２３面に結像させる。シャッター２２は物理的に光を遮る遮光機構を開閉させる。いわゆる電子シャッター（撮像素子２３の露出時間を電子的に制御して遮光機構の有無にかかわらず露出時間を制御すること）で代用してもよく、この場合、シャッター２２は不要になる。シャッター２２の開閉により撮像素子２３にいたる光路が遮光状態と通光状態の２つの状態を取る。通光状態を維持する時間はシャッター速度で表され、シャッター速度により撮像における露出量を制御できる。

なお、図６には示していないが絞り機構を有していてもよい。絞りは、レンズ２１を通って撮像素子２３上に写る像の明るさを制御するものであり、絞りの開きが数段階に変更することで光像の明るさを調整する。

撮像素子２３は、被写体の光像の光量が大きいほど大きな電圧に変換するＣＣＤ又はＣＭＯＳなどの光電変換素子である。撮像素子２３は、後述するタイミング生成部２８から入力されるタイミング信号に基づいて撮像動作を行う。撮像素子２３は光の強度しか検出しないので、カラーの画像を撮像する場合、Ｒ（赤）Ｇ（緑）Ｂ（青）の三色が所定のパターンで配置されたカラーフィルタが撮像素子２３の手前に設けられている。撮像素子２３は各色の成分ごとに画像信号を出力する。

アナログ信号処理部２４は、各色の画像信号に対しＣＤＳ回路（相関二重サンプリング回路）によるノイズ低減処理、及び、ＡＧＣ回路（オートゲインコントロール回路）による画像信号のレベル補正処理を行う。ＡＧＣ回路は、基板１４のＣＰＵ３６から指示されたゲイン量で入力信号を増幅する利得制御回路である。

Ａ／Ｄ変換部２５は、アナログ信号処理部２４から出力されるアナログの画像信号を所定のビット数のデジタルの画像信号に変換する。Ａ／Ｄ変換部２５は、後述するタイミング生成部２８から入力されるＡ／Ｄ変換用のクロックに基づいて、アナログの画像信号をデジタルの画像信号に変換する。

Ｉ/Ｆ２６はデジタルの画像信号をディスプレイユニット１２に送信するためのインタフェースである。

タイミング生成部２８は、基板１４のＣＰＵ３６から入力された駆動信号に応じて、撮像素子２３の露出時間（電子シャッター）を制御するタイミング信号を生成して撮像素子２３を駆動させる。すなわち、撮像素子２３による撮像動作（露出に基づく電荷蓄積や蓄積電荷の読出し等）のタイミングを生成する。タイミングジェネレータとも呼ばれる。タイミング生成部２８は、ＣＰＵ３６からの撮像制御信号に基づいて各種のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号等）を生成して撮像素子２３に出力する。これにより所定のフレームレート（例えば３０ｆｐｓ（Flame Per Second））で撮像素子２３に画像信号を生成させる。また、タイミング生成部２８は、画像信号の生成に同期させて、Ａ／Ｄ変換部２５が使用するＡ／Ｄ変換用のクロックも生成する。

シャッター駆動部２７は、基板１４のＣＰＵ３６から与えられるシャッター速度でシャッター２２が所定時間開放されるようシャッター２２を開閉制御する。シャッター駆動部２７による制御とタイミング生成部２８による制御は制御の時間的な遅れや電子回路の応答時間を考慮して同期するように、基板１４のＣＰＵ３６より制御される。

続いて、基板１４の機能について説明する。基板１４は、Ｉ/Ｆ３１、評価値検出部３２、ＷＢ制御部３３、ノイズ除去部３４、画像メモリ３５、ＣＰＵ３６、フラッシュメモリ３７、及び、ディスプレイＩ/Ｆ３８を有している。これらはＬＳＩやＳｏＣなどで構成されてよい。また一部の機能がＤＳＰ（Digital Signal Processor）で実現されていてよい。

Ｉ/Ｆ３１はデジタルの画像信号を撮像装置１１から受信するインタフェースである。

評価値検出部３２は、撮像装置１１で撮像された画像信号から、自動焦点制御（ＡＦ：オートフォーカス）、自動露出制御（ＡＥ）、及び、オートホワイトバランス制御（ＡＷＢ制御）等を行うための評価値（以下、ＡＥ評価値、ＡＦ評価値、ＡＷＢ評価値という）を検出する。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、互いに近接している画素の輝度差（つまりエッジ成分）の積分値によって作成される。合焦状態にある場合、被写体のエッジ部分がはっきりとしているため高周波成分が一番高くなる。ＡＦ制御による合焦検出動作時、ＣＰＵ３６はレンズ２１の所定の位置ごとにＡＦ評価値を取得して、ＡＦ評価値が極大になるレンズ２１の位置を合焦位置とすることでＡＦによる合焦位置を取得する。なお、レンズ２１が単焦点の場合（１枚しかない場合）、ＡＦ制御は行われない。

ＡＥ評価値とＡＷＢ評価値は、ＲＧＢの各色の画像信号（輝度情報の一例）のそれぞれから作成される。自動露出制御（ＡＥ）に関して、評価値検出部３２は、例えば撮像素子２３が出力する１フレームの測光エリアのＲＧＢ積算値（ＡＥ評価値）を算出する。ＣＰＵ３６はＲＧＢ積分値を読み出し、測光エリアの輝度を算出して、測光エリアが適切な明るさになるように適正なゲイン量を決定する。ゲイン量はアナログ信号処理部２４に送出され、上記のＡＧＣ制御に用いられる。

本実施形態では、ＣＰＵ３６は評価値検出部３２に除外エリア７を指示して、評価値検出部３２は本実施形態の測光エリア５からＡＥ評価値を算出する。

また、ＣＰＵ３６はＡＥ評価値に基づいて適正な明るさとなるシャッター速度を決定する。したがって、ＣＰＵ３６はＡＥ評価値に基づいてゲイン量とシャッター速度の少なくとも一方を制御する。一般に、
露出量（画像の明るさ）＝絞り×感度（ゲイン）×シャッター速度
の関係があるため、画像の明るさは絞り、感度（ゲイン）、シャッター速度の１つを制御するだけで調整可能である。撮像装置１１に絞りがない場合は、感度（ゲイン）又はシャッター速度のいずれかを制御すればよい。このような制御の方法として感度（ゲイン）の上限、シャッター速度の下限を設けておき、周囲が暗い場合には、感度（ゲイン）の上限、及び、シャッター速度の下限の範囲で、両者を少しずつ変更する方法がある。感度（ゲイン）が大きすぎるとノイズが目立ち、シャッター速度が小さすぎるとぶれやすくなるためである。車両の場合、動く物体をぶれずに撮像できるようにシャッター速度の下限を設定しておき、また、夜間でもノイズが目立ちにくい感度（ゲイン）の上限を設定しておく。これにより、撮像装置１１は夜間やトンネル内でもノイズが少なくかつぶれが少ない画像を撮像できる。

また、オートホワイトバランス制御（ＡＷＢ制御）に関しては、評価値検出部３２は、Ｒ、Ｇ，Ｂのそれぞれの積分値（ＡＷＢ評価値）を算出する。ＣＰＵ３６はＲ成分の積分値とＢ成分の積分値がＧ成分に一致するように、Ｒ成分とＢ成分のゲインを制御する。ＷＢ制御部３３は撮像された画像信号に対し事後的に同様の処理を行う。

このＡＥとＡＷＢの処理は、ディスプレイ１５に映像を出力している間は連続的に（常に）行われている。

ノイズ除去部３４は、ＷＢ制御部３３から入力される画像信号のノイズ成分を除去すると共に、エッジ成分のみを抽出・強調することで、画像のシャープネスを適切な範囲に補正する。

画像メモリ３５は、ＲＡＭ、ＳＤＲＡＭ等の高速メモリであることが好ましく、ノイズ除去部３４までの信号処理を終えた画像信号を画像データとして一時的に保存する。例えば少なくとも１フレーム分の画像データを記憶する容量を有している。

フラッシュメモリ３７はＣＰＵ３６が実行するプログラム及び本実施形態の測光エリア５が固定の場合はこの測光エリア５の位置に関する記憶している。

ディスプレイＩ/Ｆ３８はディスプレイユニット１２に画像データを送信するケーブルが接続されるインタフェースである。なお、ケーブルは固定されていてもよいし、ＨＤＭＩ（登録商標）などの規格に準拠したインタフェースに脱着可能でもよい。

ＣＰＵ３６は基板１４の全体と撮像装置１１の撮像動作の全体を制御する。上記のように、撮像動作のためのタイミング生成部２８へ送信する駆動信号の生成、ＡＦ評価値に基づくレンズ２１位置の制御、ＡＥ評価値に基づくゲイン量とシャッター速度の決定、ＡＷＢ評価値に基づくゲイン制御、画像データの出力制御などを行う。また、本実施形態では露出制御に除外エリア７を設ける処理を行う。

なお、図示する構成は一例に過ぎず、例えば基板１４が行う画像処理を撮像装置１１が実行してもよい。この場合の構成例を図７に示す。この場合、撮像装置１１が画像処理部３９を有する。画像処理部３９が露出制御及び、タイミング制御などを制御する。デジタルの画像信号はディスプレイユニット１２に送信され、ディスプレイユニット１２は除外エリア７を指示する除外エリア情報を画像処理部３９に送出する。このような構成は撮像装置１１のサイズが大きくなるため不利であるが、撮像装置１１とディスプレイユニット１２を別々に開発する状況では有効な場合がある。

＜ディスプレイユニットの機能＞
図８を用いてディスプレイユニット１２が有する機能について説明する。図８はディスプレイユニット１２の機能を説明する機能ブロック図の一例である。ディスプレイユニット１２は、測光エリア除外判断部４３、除外エリア決定部４４、露出制御部４５、ＣＭＳエリア切り取り部４６、及び、ＣＭＳエリア出力部４７を有する。これらディスプレイユニット１２が有する各機能は、ディスプレイユニット１２の基板１４が有するＣＰＵがプログラムを実行して実現させる機能又は手段である。

測光エリア除外判断部４３は、露出制御のために一般的な測光エリア９（画像データの全体又は一部であり予め決まっている）から除外エリア７を除外するか否かを判断する。除外エリア７を除外するのは、例えばブレーキランプが点灯している場合であるため、ブレーキランプが点灯している場合を検出して、除外エリア７を除外すればよい。一例として、画像信号に基づく方法とブレーキランプＳＷ４１の信号を利用する方法がある。まず、ブレーキランプＳＷ４１はブレーキペダルが踏まれるとＯＮになるスイッチであり、これによりブレーキランプが点灯する。したがって、ディスプレイユニット１２がブレーキランプＳＷ４１の信号を取得できる場合は、ブレーキランプＳＷ４１のＯＮに基づいて一般的な測光エリア９から除外エリア７を除外すると判断できる。

画像信号に基づく場合は、画像信号の輝度値に基づいて判断する。図９を用いて説明する。図９は車両に近い側の輝度値の評価方法を説明する図の一例である。図９（ａ）は画像信号の一例を示し、図９（ｂ）は画像信号の高さごとの輝度値のヒストグラムを示す。画像信号の高さを、車両に近い側で小さく車両に遠い側で大きいＹで表す（Ｙは画素数などの数値）。

画像信号（画像データ）の四辺のうちどの辺が車両に近い側かは、撮像装置１１と車両に搭載されたランプの相対位置によって決まっている。したがって、Ｙをどの方向に取るかは予め決まっているものとする。

図９（ａ）に示すようにＹが小さい領域にブレーキランプの間接光６が写る。このため、図９（ｂ）に示すように、Ｙが小さい領域で輝度値のヒストグラムが高くなり、Ｙが大きくなると急激に減少する。したがって、輝度値が閾値以上となる場合、測光エリア除外判断部４３は除外エリア７を除外すると判断できる。

なお、本実施形態の測光エリアの一部除外は夜間にだけ行われてもよく、この場合はシャッター速度から夜間であること（周囲が暗いこと）を判断してもよい。

測光エリア除外判断部４３が除外エリア７を除外すると判断した場合、除外エリア決定部４４は除外エリア７を決定する。図９（ｂ）を参照すれば、輝度値が上記の閾値となるＹminの値以下を除外エリア７とすればよいと考えられる。Ｙminは例えば画像信号のうち車両に近い方からの画素数を指定する。したがって、Ｙminより大きいエリアを本実施形態の測光エリア５に決定する。

図９では単に輝度値のヒストグラムと説明したが、ブレーキランプは赤色が強いので、Ｒ成分のみの輝度値に基づいて除外エリア７を除外するか否かを判断し、更に、Ｒ成分のみの輝度値に基づいて除外エリア７を決定してもよい。このように、ランプの色に基づいて判断することで、除外エリアをより正確に決定できる。

なお、除外エリア決定部４４はＣＭＳエリア８以外を除外エリア７に決定してもよい。この場合、本実施形態の測光エリア５とＣＭＳエリア８が等しくなる。これにより、評価値が算出される領域が小さくなり処理負荷を低減できる。一方、測光エリア５とＣＭＳエリア８が等しいと、車両から遠方の暗い領域が測光エリアでなくなるため、露出が足りずにＣＭＳエリア８が暗くなるおそれがある。したがって、本実施形態の測光エリア５をどのように決定するかは適宜、設計してよい。

露出制御部４５は、上記のように撮像装置１１に対し、ＡＥ評価値に基づいてシャッター速度及びゲインの少なくとも一方を制御する露出制御を行う。

なお、図８、図９では動的に除外エリア７を決定する方法を説明したが、除外エリア７は固定でもよい。この場合、例えば車両に近い側（Ｙが小さい側）からＮ画素などのように決まった除外エリアがフラッシュメモリ３７に記憶されている。

また、測光エリア除外判断部４３が除外エリア７を除外するか否かを判断することなく、常に除外エリア７を除外してもよい。ただし、一般に測光エリアが広い方が好ましい露出制御が得られるため、動的に除外エリア７を設定することが好ましい場合が多い。

ＣＭＳエリア切り取り部４６は、画像データからＣＭＳエリア８を切り取り、ＣＭＳエリア画像データを生成する。ＣＭＳエリア画像データはディスプレイ１５のサイズとほぼ同じサイズの画像データである。ＣＭＳエリア８の位置は運転者がＯＳＤから変更できるため、運転者が指定したＣＭＳエリア８を切り取ればよい。切り取る処理をトリミングという場合がある。ＣＭＳエリア出力部４７はＣＭＳエリア画像データをディスプレイ１５に送出してディスプレイ１５に表示させる。

＜下方以外の除外エリア＞
図８，図９ではブレーキランプと撮像装置１１の位置の関係から、画像データの下方を除外エリア７とする例を説明したが、車載されたランプの間接光が生じる位置と撮像装置１１の位置の相対関係に応じて、除外エリア７は画像データの下方とは限らない。

図１０は、下方以外の除外エリア７のいくつかの例を説明する図である。図１０（ａ）は画像データの左側、図１０（ｂ）は右側、図１０（ｃ）では上側に間接光が写っている。したがって、それぞれ画像データの左側から所定距離以内、右側から所定距離以内、上側から所定距離以内を除外エリア７とすることができる。なお、図１０（ｃ）のように上側に間接光が写ることは車両では少ないが、車両の構造（ルーフが出っ張っている）や荷物の搭載状況（撮像装置１１を覆うように積み荷がある）によっては上側が除外エリア７となる場合もある。

図１０（ｄ）は画像データの左上、図１０（ｅ）は右上、図１０（ｆ）では左下、図１０（ｇ）では右下に間接光が写っている。したがって、それぞれ画像データの左側又は上側から所定距離以内、右側又は上側から所定距離以内、左側又は下側から所定距離以内、右側又は下側から所定距離以内、を除外エリア７とすることができる。

また、図８～図１０では除外エリア７を長方形としているが、除外エリア７は長方形である必要はない。例えば、図９でＸ方向ごとに輝度値のヒストグラムを算出すれば、間接光６の形状に近い除外エリア７を決定できる。このように決定された間接光６の形状に近い除外エリア７は、所定距離内の少なくとも一部の領域に相当する。

＜動作手順＞
図１１（ａ）は、ディスプレイユニット１２が除外エリアを決定する手順を示すフローチャート図の一例である。図１１（ａ）の処理は電子ルームミラー１０が電源ＯＮの間、繰り返し実行される。

測光エリア除外判断部４３は、ブレーキランプが点灯しているか否かに基づいて測光エリアから除外エリア７を除外するか否かを判断する（Ｓ１０）。

ステップＳ２０で除外する（Ｙｅｓ）と判断された場合、除外エリア決定部４４はYminを決定することで除外エリア７を決定する（Ｓ３０）。

除外エリア決定部４４は一般的な測光エリア９から除外エリア７を除外して本実施形態の測光エリア５を決定する（Ｓ４０）。

ステップＳ２０で除外しない（Ｎｏ）と判断された場合、除外エリア決定部４４は一般的な測光エリア９を採用する（Ｓ５０）。

図１１（ｂ）はディスプレイユニット１２が画像データからＣＭＳエリア８を切り取る手順を示すフローチャート図の一例である。図１１（ｂ）の処理は電子ルームミラー１０が電源ＯＮの間、繰り返し実行される。

まず、ディスプレイユニット１２が、一般的な測光エリア９から除外エリア７を除外して露出制御された画像データを受信する（Ｓ１１０）。

次に、ＣＭＳエリア切り取り部４６はＣＭＳエリア８を切り取る（Ｓ１２０）。ＣＭＳエリア出力部４７は、ＣＭＳエリア画像データをディスプレイユニット１２のディスプレイ１５に表示する（Ｓ１３０）。

これにより、図２に示したように、暗い領域であるＣＭＳエリアを明るく撮像することができる。

＜まとめ＞
以上説明したように、本実施形態の電子ルームミラー１０は、ブレーキランプの間接光６が写り込んでいる除外エリア７を除外して露出制御することで、ＣＭＳエリア８が暗く撮像されることを抑制できる。したがって、周囲が暗くても車両から遠方のＣＭＳエリア８を明るく表示できる。

本実施例では、オートホワイトバランス（ＡＷＢ）制御に関して除外エリア７を設ける電子ルームミラー１０について説明する。

実施例１にて説明したように、ディスプレイユニット１２は常にＡＷＢ制御を行っている。しかし、画像データの車両に近い側には赤色のブレーキランプの間接光６が写っているため、ブレーキランプの間接光６を含めてＡＷＢ制御すると、ブレーキランプの間接光６が写っていないＣＭＳエリア８の画像の色合いが変わってしまう。ＡＷＢ制御により、赤色成分（Ｒ）が低減されるため、例えば青（Ｂ）又は緑（Ｇ）が強調された色合いとなってしまう。

本実施例の電子ルームミラー１０は、オートホワイトバランス（ＡＷＢ）制御に関して除外エリア７を設けることで、ＣＭＳエリア８を適切な色合いに制御できる。

なお、本実施例においては、上記の実施例にて説明した図６、図７のハードウェア構成図を援用できるものとして説明する。

＜ディスプレイユニットの機能について＞
図１２は本実施例のディスプレイユニット１２の機能を説明する機能ブロック図の一例である。図１２の説明において、図８において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例のディスプレイユニット１２はホワイトバランス制御部４８を有している。ホワイトバランス制御部４８は光源の色温度により被写体の白色部及び彩色部の色彩が変化してしまうことを低減する。

また、本実施例の除外エリア決定部４４は、実施例１と同様に除外エリア７を決定すればよい。ただし、ＡＷＢ制御ではブレーキランプの色に基づいて除外エリア７を決定することが好適である。したがって、図９（ｂ）の輝度値をＲ成分にのみ基づいて算出して、除外エリア７を決定するとよい。

＜＜オートホワイトバランスについて＞＞
オートホワイトバランスについて簡単に説明する。ホワイトバランス制御部４８は画像信号の全体から撮像素子２３が撮像するＲ、Ｇ、Ｂそれぞれの色成分の大きさを取得する。一例として以下のような色成分が得られたものとする。
Ｒ = １５０
Ｇ = １１０
Ｂ = ９０
ＡＷＢ処理では、一般にＧ成分を固定してＲ成分とＢ成分の量を調整して、Ｒ、Ｇ、Ｂの量を１：１：１にする。上記の例ではＲ画素、Ｇ画素、Ｂ画素をそれぞれ１１０にするため、以下の計算を行う。
Ｒ = （１１０/１５０）× １５０＝１１０
Ｇ = １１０
Ｂ = （１１０/９０）× ９０ = １１０
このようにＲ画素、Ｇ画素、Ｂ画素の色成分が等しくなり白色が得られる。したがって、ホワイトバランス制御部４８はＲのゲイン量を（１１０/１５０）に低減し、Ｂのゲイン量を（１１０/９０）に増大するように、撮像装置１１を制御する。このようなフィードバックが繰り返し実行される。

本実施例では、ホワイトバランス制御部４８は除外エリア７を測光エリアから除外してホワイトバランス制御を行うため、ＣＭＳエリア８を適切な色合いに制御できる。

＜まとめ＞
本実施例によれば、オートホワイトバランス（ＡＷＢ）制御に関して除外エリア７を設けることで、ＣＭＳエリア８を適切な色合いに制御できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では主にブレーキランプの間接光６が写っている領域を除外エリア７とする例を説明したが、車載されたランプの間接光が写っている領域であれば除外エリア７とすることができる。車載されるランプには、例えばハイマウントブレーキランプ、バックライト、テールランプ、ナンバー灯、ヘッドライト、車幅灯、ウィンカー、フォグランプなどがあり、これらの間接光を除外することができる。

また、撮像装置１１もこれらのランプの間接光を撮像する可能性がある位置に設置された撮像装置１１であれば除外エリア７を除外することができる。例えば、車のサイドミラー又はその周辺に搭載された撮像装置１１、車両の前方を撮像するためにルームミラーの周辺やバンパなどに搭載された撮像装置１１など、車両の周辺を撮像する撮像装置１１であればよい。

また、本実施形態ではルームミラーにＣＭＳを搭載する例を説明したが、ＣＭＳが搭載される表示装置はルームミラーに限られない。例えば、サイドミラーにＣＭＳが搭載されてもよいし、サイドミラーが表示する画像の露出制御やＡＷＢ制御に除外エリア７が設定されてよい。また、ナビゲーションシステムのディスプレイや後席用のディスプレイが表示する画像の露出制御やＡＷＢ制御に除外エリア７が設定されてよい。この他、車内に設置されるディスプレイであれば好適に本実施形態を適用できる。

また、車両から運転者等の情報処理装置（スマートフォン、タブレット端末、ＰＣ（Personal Computer））に車両周辺の画像を送信する機能がある場合、この画像の露出制御やＡＷＢ制御に除外エリア７が設定されてよい。

また、図６～図８などの構成例は、電子ルームミラー１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子ルームミラー１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、露出制御部４５又はホワイトバランス制御部４８は輝度制御手段の一例であり、ＣＭＳエリア切り取り部４６は表示エリア切り取り手段の一例であり、ＣＭＳエリア出力部４７は出力手段の一例であり、除外エリア決定部４４は除外エリア決定手段の一例であり、測光エリア除外判断部４３は判断手段の一例である。

５ 本実施形態の測光エリア
６ 間接光
７ 除外エリア
８ ＣＭＳエリア
９ 一般的な測光エリア
１０ 電子ルームミラー
１１ 撮像装置
１２ ディスプレイユニット

Claims (9)

1. 車両に設置された撮像装置を用いて撮像された車両の周辺の画像データを表示装置に表示する画像表示装置において、
   前記撮像装置によって撮像された画像データの測光エリアの輝度情報に基づいて前記撮像装置が撮像する画像データの輝度を制御する輝度制御手段を有し、
   前記輝度制御手段は、前記測光エリアの車両に近い側から所定距離内のうち少なくとも一部の領域を含む除外エリアを前記測光エリアから除外し、
   前記除外エリアが除外された前記測光エリアの輝度情報に基づいて前記撮像装置が撮像した画像データから、前記表示装置に表示する表示エリアを切り取る表示エリア切り取り手段と、
   前記表示エリア切り取り手段が切り取った表示エリアを前記表示装置に出力する出力手段と、を有し、
   前記輝度制御手段は、前記表示エリア以外を除外エリアに決定することを特徴とする画像表示装置。
2. 前記輝度制御手段は、画像データの４辺のうちいずれかの辺から所定距離以内を前記除外エリアとして前記測光エリアから除外することを特徴とする請求項１に記載の画像表示装置。
3. 前記輝度制御手段は、車載されたライトの間接光が写っている領域を前記除外エリアとして前記測光エリアから除外することを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記測光エリアから前記除外エリアを除外するか否かを判断する判断手段を有し、
   前記輝度制御手段は、前記判断手段が前記測光エリアから前記除外エリアを除外すると判断した場合に、前記除外エリアを前記測光エリアから除外することを特徴とする請求項１～３のいずれか１項に記載の画像表示装置。
5. 前記画像データの輝度情報に基づいて、前記除外エリアを決定する除外エリア決定手段を有し、
   前記輝度制御手段は、前記除外エリア決定手段が決定した前記除外エリアを前記測光エリアから除外することを特徴とする請求項４に記載の画像表示装置。
6. 前記判断手段は、車載されたライトが点灯したか否かに基づいて前記除外エリアを除外するか否かを判断することを特徴とする請求項４に記載の画像表示装置。
7. 前記輝度制御手段は、前記除外エリアが除外された前記測光エリアの輝度情報に基づいて前記撮像装置のシャッター速度又はゲインの少なくとも一方を制御することで、前記撮像装置が撮像する画像データの輝度を制御することを特徴とする請求項１～６のいずれか１項に記載の画像表示装置。
8. 前記輝度制御手段は、前記除外エリアが除外された前記測光エリアの輝度情報に基づいて前記撮像装置のホワイトバランスを制御することで、前記撮像装置が撮像する画像データの輝度を制御することを特徴とする請求項１～６のいずれか１項に記載の画像表示装置。
9. 車両に設置され得る撮像装置と、
   前記撮像装置によって撮像された画像データの測光エリアの輝度情報に基づいて前記撮像装置が撮像する画像データの輝度を制御する輝度制御手段と、を有し、
   前記輝度制御手段は、前記測光エリアの車両に近い側から所定距離内のうち少なくとも一部の領域を含む除外エリアを測光エリアから除外し、
   前記除外エリアが除外された前記測光エリアの輝度情報に基づいて前記撮像装置が撮像した画像データから、車載された表示装置に表示する表示エリアを切り取る表示エリア切り取り手段と、
   前記表示エリア切り取り手段が切り取った表示エリアを表示する前記表示装置と、を有し、
   前記輝度制御手段は、前記表示エリア以外を除外エリアに決定することを特徴とする画像表示システム。

Images