以下、図面に基づいて、実施形態を説明する。
図1は、画像表示装置の一実施形態を示す。図1に示した画像表示装置10は、表示部DSPLと、生成部12と、重畳部13と、車両モデルMDLとを含む。画像表示装置10は、例えば、車両M1のボディの左側面に設置されたカメラCLに接続されており、カメラCLで撮影された画像GL1を受ける。また、画像表示装置10に含まれる表示部DSPLは、例えば、液晶ディスプレイなどであり、車両M1を運転する運転者P1に対向する位置に配置されている。画像表示装置10は、カメラCLから受けた画像GL1に対して、図2及び図3を用いて説明する合成処理を実行することにより合成画像を生成し、生成した合成画像を表示部DSPLに表示させる。
ここで、図1に示したカメラCLは、車両M1の側面に車両M1の後方及び側方を撮影する向きに設置されたカメラの一例であり、画像GL1は、車両M1に設置されたカメラで撮影された第1画像の一例である。また、表示部DSPLは、第1画像の少なくとも一部を運転者P1に対して表示する表示部の一例であり、表示部DSPLで表示される合成画像は、第1画像の少なくとも一部として運転者P1に対して表示される第2画像GL2の一例である。即ち、図1に示した画像表示装置10は、車両M1の左側の側面に配置されたカメラCLで撮影された画像GL1を受け、受けた画像GL1から生成した合成画像を、例えば、ハンドルH1の左側に配置された表示部DSPLに第2画像GL2として表示する。
なお、画像表示装置10は、例えば、車両M1の右側面に設置されたカメラで撮影された画像を第1画像として受け、受けた第1画像に基づいて、図1に示した合成画像GL2に相当する第2画像を生成してもよい。そして、画像表示装置10は、車両M1の右側面に設置されたカメラで撮影された画像に基づいて生成した第2画像を、例えば、運転者P1から見てハンドルH1の右側に配置される別の液晶ディスプレイなどに表示させてもよい。車両M1の右側の側面に配置される別のカメラで撮影された画像に対する処理を行う画像表示装置は、図1に示したカメラCLから受けた画像GL1に対する処理を行う画像表示装置10とは別に設けてられもよいし、両者は一体の装置として実現されてもよい。
以下では、図1〜図4を用いて、車両M1の左側面に設置されたカメラCLで撮影された画像GL1に基づいて生成された合成画像を、第2画像GL2として表示部DSPLに表示させる画像表示装置10が説明される。なお、車両M1の右側面に設置されたカメラで撮影された画像に基づいて、別に設けられた表示部に表示させる合成画像を生成する画像表示装置は、カメラCLからの画像GL1に対する画像表示装置10と同様にして実現される。
図1に示した生成部12は、例えば、車両モデルMDLに3次元モデルとして蓄積された車両M1の3次元的な形状を表す外形情報と、カメラCLの視野を示す視野情報Daとを受ける。ここで、視野情報Daは、例えば、車両M1とカメラCLとの位置関係を示す情報と、カメラCLの画角を示す情報とを含む。また、視野情報Daは、カメラCLに含まれる撮影レンズなどの光学系の収差などによって、撮影された画像GL1に生じる歪みを示す情報を含んでいることが望ましい。なお、生成部12は、例えば、カメラCLの向き等を制御するカメラ制御部(図示せず)から視野情報Daを受けてもよいし、生成部12に含まれるメモリなどに予め視野情報Daを保持させてもよい。そして、生成部12は、受けた3次元モデルおよび視野情報Daに基づいて、例えば、カメラCLの視野に含まれることが予想される車両M1の左側面の一部を表すマスク画像MskLを生成する。なお、カメラCLの視野は、車両M1の側面に車両M1の後方及び側方を撮影する向きに設置されたカメラの視野である第1視野の一例である。また、生成部12で生成されるマスク画像MskLは、第1視野に含まれることが予想される車両M1の一部を表すマスク画像の一例である。生成部12において、マスク画像MskLを生成する手法は、図2及び図3を用いて後述される。
図1に示した重畳部13は、例えば、生成部12によって生成されたマスク画像MskLを画像GL1に重ね合わせることで、画像GL1に含まれる車両M1の一部を表す画像に代えてマスク画像MskLを含む合成画像を生成する。そして、重畳部13は、生成した合成画像GL2を、第2画像GL2として表示部DSPLに表示させる。
図2は、図1に示したカメラCLで撮影される画像GL1の例を示す。図2(A)は、図1に示したカメラCLによって撮影される画角RLの例を示す。また、図2(B)は、カメラCLで撮影された画像GL1の例を示す。
図2(A)の例は、車両M1の左右の側面のそれぞれにカメラCL,CRが設置された場合に、カメラCL,CRの画角RL,RRに、車両M1のボディの側面の一部がそれぞれ含まれる様子を示している。なお、図2(A)に示したカメラCL,CRの画角RL,RRは、例えば、カメラCL,CRの位置にサイドミラーが設置された場合にサイドミラーに映る範囲と同等に設定される。即ち、カメラCL,CRのそれぞれが画角RL,RRで示される範囲を撮影することで、車両M1の後方及び側方のうちサイドミラーに映る範囲と同等の範囲の情報を表す画像が得られる向きに、カメラCL,CRは設置される。以下の説明において、車両M1の後方及び側方は、まとめて車両M1の後側方と称される場合がある。
図2(B)に示した画像GL1において、白い破線で囲んで示した領域ALは、車両M1のボディの左側面の一部を示している。図2(B)に示した画像GL1において、領域ALは、路面に設けられた白線PTがボディ表面で反射された像である映り込みPT1を含んでいる。
ここで、例えば、画像GL1をそのまま表示部DSPLに表示した場合に、白線PTを表す画像と領域ALに含まれる映り込みPT1の画像とが紛らわしくなる場合がある。そこで、図1に示した画像表示装置10の生成部12は、車両M1のボディの左側面のうち領域ALに含まれる部分を表すマスク画像MskLを生成し、重畳部13により、領域ALをマスク画像MskLに置き換える。
図3は、図1に示した生成部12で生成されるマスク画像MskLの例を示す。図3(A)は、図1に示した車両モデルMDLと視野情報Daとに基づいて、生成部12により生成されるマスク画像MskLの一例であり、車両M1の左側面の一部を示す。図3(B)は、生成部12で生成されたマスク画像MskLを画像GL1に重畳することで得られる第2画像GL2の例を示す。
車両モデルMDLは、車両M1の3次元的な形状とともに、ボディ及びボディに設けられた様々な部品の材質や色およびテクスチャなどを示す情報を含んでいる。したがって、生成部12は、車両モデルMDLと視野情報Daとに基づいて、図3(A)に示すように、マスク画像MskLとして、車両M1のボディに設けられた部品の配置や凹凸とともに、ボディ及び部品の色や質感などが再現された画像を生成することができる。また、図3(A)に示したマスク画像MskLで表される車両M1のボディなどの形状には、カメラCLと車両M1との位置関係が反映されている。したがって、例えば、マスクMskLにおいて車両M1のボディの外形を示す図形を表す線分などの延長線が集結する点である消点は、画像GL1に含まれる他の車両などを表す図形を表す線分などの延長線についての消点に一致する。即ち、図3(A)に示したマスク画像MskLは、図2(B)に示した画像GL1の領域ALに含まれる車両M1の画像とほぼ同等である。
一方、図3(A)のマスク画像MskLは、車両モデルMDLに含まれる情報から生成されるので、図2(B)に示した領域ALに含まれるような映り込みPT1を含んでいない。
したがって、図2(B)に示した画像GL1の領域ALに、図3(A)に示したマスク画像MskLを重畳することで、図3(B)に示すように、映り込みPT1を含まず、かつ、画像GL1とほぼ同様に車両M1の後側方を表す第2画像GL2が生成される。
図3(B)に示した第2画像GL2において、マスク画像MskLは、映り込みPT1を含まないこと以外は画像GL1に含まれる車両M1の画像と同等である。したがって、第2画像GL2が表示部DSPLに表示された場合に、第2画像GL2に含まれるマスク画像MskLは、運転者P1により、車両M1の画像として認識される。一方、第2画像GL2では、マスク画像MskLにより映り込みPT1が覆い隠されているため、運転者P1は、映り込みPT1の影響を受けずに、第2画像GL2に含まれる白線PTなどの被写体を認識することができる。
即ち、図1に示した画像表示装置10は、カメラCLで撮影された画像GL1に含まれる車両M1の画像を、車両モデルMDLに基づいて生成したマスク画像MskLでマスクすることで、車両M1の後側方の情報を運転者P1に分かり易く表示することができる。なお、図1に示した表示部DSPLは、重畳部13から受けた第2画像GL2の左右を反転して表示することで、運転者P1がサイドミラーを見た場合と同様に車両M1の後ろ側方を表す画像を表示してもよい。
図4は、図1に示した画像表示装置10の動作を示す。図4に示したステップS301〜ステップS303の処理は、図1に示した画像表示装置10の動作を示すとともに、画像表示方法および画像表示プログラムの例を示す。例えば、図4に示す処理は、画像表示装置10に搭載されたプロセッサが画像表示プログラムを実行することで実現される。なお、図4に示す処理は、画像表示装置10に搭載されるハードウェアによって実行されてもよい。
ステップS301において、図1に示した生成部12は、車両モデルMDLに含まれる外形情報と視野情報Daとに基づいて、視野情報Daで示されるカメラCLの視野に含まれる車両M1の形状を表すマスク画像MskLを生成する。
ステップS302において、図1に示した重畳部13は、カメラCLで撮影された画像GL1に、ステップS301の処理で生成されたマスク画像MskLを重畳することで、画像GL1中の車両M1をマスク画像MskLに置き換えた第2画像GL2を生成する。
ステップS303において、図1に示した表示部DSPLは、ステップS302の処理でマスク画像MskLが重畳された第2画像GL2を、車両M1の後側方を表す情報として、運転者P1に対して表示する。
ここで、ステップS301の処理で生成されるマスク画像MskLは、カメラCLの向きや画角RLなどが変更されない限り、変化しない。したがって、視野情報Daに変化がない場合に、図1に示した画像表示装置10は、カメラCLで撮影された画像GL1を受ける毎に、ステップS302及びステップS303の処理を繰り返すことで、車両M1の後側方を表す合成画像GL2を運転者P1に提示できる。
ところで、図1に示したカメラCLで撮影される視野である入力視野の一部に相当する画像を第2画像GL2として表示部DSPLに表示させることが好ましい場合がある。以下の説明において、例えば、表示部DSPLに表示される画像で表される被写体が含まれる範囲は、出力視野と称される場合がある。
図5は、図1に示したカメラCLで撮影された画像GL1と表示部DSPLの表示画面との関係の例を示す。
図5に示した画像GL1の内部に破線で示した矩形A1は、画像GL1において、表示部DSPLに表示される出力視野に対応付けられた領域を示す。なお、領域A1は、予め設定されていてもよいし、例えば、運転者P1からの指示に基づいて設定されてもよい。図5の例において、領域A1は、縦H1画素×横W1画素の領域である。即ち、領域A1の画像は、縦方向の画素数H1及び横方向の画素数W1で示される解像度を持つ。
一方、図5に示した矩形A2は、表示部DSPLの表示画面を示す。図5に示した表示画面A2は、H2画素×W2画素の2次元行列状に並んだ画素を含んでおり、表示画面A2に表示可能な画像は、縦方向の画素数H2及び横方向の画素数W2で示される解像度を持つ。
例えば、図5に示した領域A1の画像を表示画面A2に表示させる場合に、縦方向の画素数H1及び横方向の画素数W1で示される解像度を持つ領域A1の画像から、H2画素×W2画素の画像を生成するための解像度の変換が行われる。同様に、例えば、領域A1の画像に含まれる各画素と、表示画面A2の各画素との対応関係を示す情報を用いれば、領域A1の画像と表示画面A2との解像度の違いや形状の違いにかかわらず、領域A1の画像から表示画面A2に表示可能な画像を生成できる。
以下に、入力視野の一部に対応付けられる出力視野の画像を表示部DSPLに表示させる画像表示装置の実施形態が説明される。
図6は、画像表示装置の別実施形態を示す。なお、図6に示す構成要素のうち、図1に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。
図6に示した画像表示装置10aは、表示部DSPLと、車両モデルMDLと、生成部12aと、重畳部13aと、変換部14と、制御部Dprとを含む。生成部12aは、図1に示した生成部12に相当する構成要素であり、カメラ制御部CTLから受けた視野情報Daと車両モデルMDLとに基づいて、視野情報Daで示される入力視野に含まれる車両M1(図1参照)を表す基本マスク画像MskL0を生成する。重畳部13aは、図1に示した重畳部13に相当する構成要素であり、マスク保持部131と、調整部132と、合成部133とを含む。
カメラ制御部CTLは、例えば、カメラCLの向きおよびカメラCLに含まれるレンズなどの撮影光学系の焦点距離などを制御する機能を持ち、カメラCLの向き及び画角を示す情報を含む視野情報Daを生成部12aに渡す。
また、制御部Dprは、カメラCLの視野である入力視野において、例えば、表示部DSPLに表示させる範囲として運転者P1により指定された出力視野の位置を示す情報を含む設定情報Dbを、重畳部13aに含まれる調整部132及び変換部14に渡す。制御部Dprは、例えば、カメラCLで撮影された画像GL1において、指定された出力視野の左下の画素及び右上の画素を示す座標を、設定情報Dbの一部として調整部132及び変換部14に渡す。また、制御部Dprは、例えば、制御部Dprの内部のメモリなどに、表示部DSPLで表示可能な画像の解像度を示す情報として、表示部DSPLの表示画面の縦方向の画素数及び横方向の画素数を保持している。そして、制御部Dprは、出力視野のサイズと表示部DSPLの解像度を示す情報とに基づいて、出力視野の画像に含まれる各画素と、表示部DSPLの表示画面の各画素との対応関係を求め、求めた対応関係を設定情報Dbの一部として調整部132に渡す。なお、制御部Dprは、例えば、運転者P1から指定された投影モデルに応じた座標変換により、出力視野の画像の各画素に対応付けられる表示画面の画素を特定することで、出力視野の画像の各画素と表示部DSPLの各画素との対応関係を求めてもよい。また、制御部Dprは、指定された投影モデルが、透視投影モデルである場合に、出力視野の画像に含まれる各画素と表示部DSPLの表示画面の各画素との対応関係を示す情報として、縦方向及び横方向の倍率を指定してもよい。また、制御部Dprは、画像表示装置10aの外部に設けられてもよい。
図6に示した変換部14は、制御部Dprから受けた設定情報Dbで指定された位置を基準として、カメラCLから受けた画像GL1から出力視野に対応付けられる領域の画像を切り出す。そして、変換部14は、設定情報Dbで指定された対応関係に基づいて、切り出した画像を変換することで、表示部DSPLの解像度に合わせて変換された画像GLaを生成し、重畳部13aに含まれる合成部133に渡す。例えば、設定情報Dbにより、出力視野の各画素と表示部DSPLの各画素との対応関係として、縦方向及び横方向の倍率が指定された場合に、変換部14は、切り出した画像を、指定された倍率に従って拡大又は縮小することで変換された画像GLaを生成する。
図6に示した重畳部13aにおいて、マスク保持部131は、例えば、画像表示装置10aに含まれるメモリの記憶領域の一部であり、生成部12aで生成された基本マスク画像MskL0を保持する。
図6に示した調整部132は、マスク保持部131に保持された基本マスク画像MskL0から、制御部Dprから受けた設定情報Dbで示される位置を基準として、出力視野に含まれる車両M1を表す箇所を切り出す。そして、調整部132は、切り出した箇所の画像に対して、設定情報Dbで指定された対応関係に基づく変換を行うことで、表示部DSPLに合わせて調整されたマスク画像MskLを生成する。例えば、設定情報Dbにより、出力視野の各画素と表示部DSPLの各画素との対応関係として縦方向及び横方向の倍率が指定された場合に、調整部132は、基本マスク画像MskL0から切り出した箇所のサイズを、指定された倍率に従って拡大又は縮小する。これにより、調整部132は、基本マスク画像MskL0のうち出力視野に含まれる車両M1を表す部分を、表示部DSPLの解像度で表すマスク画像MskLを生成し、生成したマスク画像MskLを合成部133に渡す。
合成部133は、調整部132から受けたマスク画像MskLを変換部14から受けた画像GLaに重畳することで、第2画像GL2として、出力視野に対応する画像GLaのうち車両M1を表す部分がマスク画像MskLに置き換えられた合成画像を生成する。合成部133によって生成された第2画像GL2は、表示部DSPLに渡され、表示部DSPLによって表示される。
図7は、出力視野に含まれる被写体を表す画像GLaとマスク画像MskLとの合成例を示す。図7(A)は、図6に示した生成部12aによって生成される基本マスク画像MskL0の例を示す。図7(B)は、図6に示したカメラCLによって撮影された画像、即ち、入力視野に含まれる被写体を表す画像GL1の例を示す。図7(C)は、図7(A)に示した基本マスク画像MskL0から、図6に示した調整部132によって生成されるマスク画像MskLの例を示す。図7(D)は、図7(B)に示した画像GL1から、図6に示した変換部14による変換で生成される変換後の画像GLaの例を示す。そして、図7(E)は、図7(C)に示したマスク画像MskLを、図7(D)に示した変換後の画像GLaに重畳することで得られる第2画像GL2の例を示す。
図7(A)において実線で示した矩形Ai1は、図6に示したカメラCLで撮影される入力視野を示し、破線で示した矩形Am1は、図6に示した設定情報Dbで示される出力視野に対応付けられる領域を示す。また、図7(A)に示した点Qs,点Qeのそれぞれは、設定情報Dbに出力視野の位置を示す情報として含まれる座標で示される画素を示す。なお、図7(A)の例において、設定情報Dbで示される出力視野に対応付けられる領域Am1は、縦H1画素×横W1画素の領域である。また、図7(A)において領域Ai1及び領域Am1の境界を示す矩形は、基本マスク画像MskL0と、領域Ai1で示される入力視野及び領域Am1で示される出力視野との位置関係を示すためのものである。即ち、領域Ai1及び領域Am1の境界を示す矩形は、生成部12aで生成される基本マスク画像MskL0には含まれない。
図6に示した調整部132は、図7(A)に示した基本マスク画像MskL0のうち、領域Am1の内部に含まれる部分を切り出す。そして、調整部132は、基本マスク画像MskL0から切り出した部分を、例えば、設定情報Dbで指定された倍率に従って拡大又は縮小することで、図7(C)に示すマスク画像MskLを生成する。
図7(C)に破線で示した矩形Am2は、図7(A)に示した領域Am1を設定情報Dbで指定された倍率に従って拡大又は縮小することで得られる領域を示す。なお、図7(C)に示した領域Am2の横幅W2は、図7(A)に示した領域Am1の横幅W1に設定情報Dbで示された倍率を乗じた値であり、図6に示した表示部DSPLの横方向の画素数に相当する。同様に、図7(C)に示した領域Am2の高さH2は、図7(A)に示した領域Am1の高さH1に設定情報Dbで示された倍率を乗じた値であり、図6に示した表示部DSPLの縦方向の画素数に相当する。なお、図7(C)に示した領域Am2の境界を示す矩形は、領域Am1で示される出力視野とマスク画像MskLとの位置関係を示すためのものであり、調整部132によって生成されるマスク画像MskLには含まれない。
図7(B)において破線で示した矩形Ac1は、カメラCLで撮影された画像GL1において、図6に示した設定情報Dbで示される出力視野に対応付けられる領域であり、図6に示した変換部14により画像GL1から切り出される領域を示す。なお、図7(B)に示した点Qs,点Qeのそれぞれは、設定情報Dbに出力視野の位置を示す情報として含まれる座標で示される画素を示す。また、図7(B)の例において、変換部14により、画像GL1から切り出される領域は、縦H1画素×横W1画素の領域である。また、図7(B)において領域Ac1の境界を示す矩形は、画像GL1と、領域Ac1で示される出力視野との位置関係を示すためのものであり、画像GL1には含まれない。
図7(B)に示した領域Ac1の画像を、変換部14により、設定情報Dbで指定された倍率に従って拡大又は縮小することで、図7(D)に示す画像GLaが生成される。なお、図7(D)に示した画像GLaの横幅W2は、図7(B)に示した領域Ac1の横幅W1に設定情報Dbで示された倍率を乗じた値であり、図6に示した表示部DSPLの横方向の画素数に相当する。同様に、図7(D)に示した画像GLaの高さH2は、図7(B)に示した領域Ac1の高さH1に設定情報Dbで示された倍率を乗じた値であり、図6に示した表示部DSPLの縦方向の画素数に相当する。
そして、図6に示した重畳部133により、図7(C)に示したマスク画像MskLを、図7(D)に示した変換後の画像GLaに重畳することで、図7(E)に示す第2画像GL2が生成される。
図7を用いて説明したように、図6に示した画像表示装置10aの生成部12aは、設定情報Dbで指定される出力視野にかかわらず、カメラCLで撮影される入力視野に含まれる車両M1を表す基本マスク画像MskL0を生成する。したがって、重畳部13aに含まれる調整部132は、設定情報Dbで示される出力視野の変更に応じて、基本マスク画像MskL0から切り出す範囲を変更することで、所望の出力視野に対応するマスク画像MskLを生成することができる。
図8は、図6に示した画像表示装置10aの動作を示す。例えば、図8に示す処理は、画像表示装置10aに搭載されたプロセッサが画像表示プログラムを実行することで実現される。なお、図8に示す処理は、画像表示装置10aに搭載されるハードウェアによって実行されてもよい。また、図8に示す処理のうち、図4に示した処理と同等のものは、同一の符号で示すとともに処理の説明を省略する場合がある。
ステップS311において、図6に示した生成部12aは、例えば、カメラ制御部CTLからカメラCLの向きやカメラCLに含まれるレンズの焦点距離などで決定される入力視野を示す視野情報Daを受ける。
ステップS312において、生成部12aは、ステップS311の処理で受けた視野情報Daが、以前に基本マスク画像MskL0を生成した際に用いた視野情報から変更されているか否かを判定する。
ステップS312を最初に実行する場合及び視野情報Daに変更がある場合に(ステップS312の肯定判定(YES))、生成部12aは、ステップS301の処理に進む。一方、視野情報Daに変更がない場合に(ステップS312の否定判定(NO))、生成部12aによるステップS301の処理は省略され、処理は、ステップS313に移行する。
ステップS301において、生成部12aは、ステップS311の処理で受けた視野情報Daと車両モデルMDLに含まれる情報とに基づいて、カメラCLの視野に含まれる車両M1(図1参照)を表す基本マスク画像MskL0を生成する。生成された基本マスク画像MskL0は、図6に示したマスク保持部131に保持される。
ステップS313において、図6に示した変換部14および重畳部13aに含まれる調整部132は、出力視野を特定する情報及び出力視野に含まれる各画素と表示部DSPLの各画素との対応関係を示す設定情報Dbを受ける。
ステップS314において、変換部14は、図7で説明したように、設定情報Dbに基づき、カメラCLで撮影された画像GL1から出力視野に対応する領域Ac1の画像を切り出し、切り出した画像の各画素を表示部DSPLの画素に対応付ける変換を行う。
ステップS315において、調整部132は、ステップS313の処理で受けた設定情報Dbの内容が、以前に受けた設定情報Dbの内容から変更されているか否かを判定する。
ステップS315を最初に実行する場合及び設定情報Dbに変更がある場合に(ステップS315の肯定判定(YES))、調整部132は、ステップS316の処理に進む。一方、設定情報Dbに変更がない場合に(ステップS315の否定判定(NO))、調整部132によるステップS316の処理は省略され、処理は、ステップS317に移行する。
ステップS316において、調整部132は、設定情報Dbに基づき、基本マスク画像MskL0にて出力視野に相当する領域Am1内の画像を切り出し、切り出した画像を指定された対応関係を用いて変換することで、マスク画像MskLを生成する。例えば、設定情報Dbにより、出力視野の各画素と表示部DSPLの各画素との対応関係として縦方向及び横方向の倍率が指定された場合に、調整部132は、指定された倍率を用いて拡大又は縮小することで、図7(C)に示したマスク画像MskLを生成する。そして、調整部132は、生成したマスク画像MskLを、調整部132の内部のメモリに保持するとともに合成部133に渡す。なお、ステップS316の処理が省略される場合に、調整部132は、以前の処理で調整部132の内部のメモリに保持したマスク画像MskLを読み出し、読み出したマスク画像MskLを合成部133に渡す。
ステップS317において、合成部133は、変換部14から受けた変換後の画像GLaに、調整部132から受けたマスク画像MskLを重畳することで第2画像GL2を生成し、生成した第2画像GL2を表示部DSPLに渡す。
そして、ステップS303において、表示部DSPLは、ステップS317の処理でマスク画像MskLを重畳することで生成された第2画像GL2を表示し、車両M1の後側方を表す情報として運転者P1に提供する。
図6から図8を用いて説明した画像表示装置10aの生成部12aは、入力視野において出力視野が占める位置や大きさにかかわらず、カメラCLの視野である入力視野に含まれる車両M1を表す基本マスク画像MskL0を生成する。したがって、重畳部13aに含まれる調整部132は、マスク保持部131に保持された基本マスク画像MskL0から切り出す範囲を設定情報Dbに基づいて変更することで、所望の出力視野に対応するマスク画像MskLを生成することができる。即ち、カメラCLの向きや画角などの変更により入力視野が変化しない限り、調整部132は、以前の生成処理でマスク保持部131に保持された基本マスク画像MskL0を用いて、出力視野に含まれる車両M1を表すマスク画像MskLを生成することができる。
ここで、生成部12aにおいて視野情報Da及び車両モデルMDLを用いて基本マスク画像MskL0を生成する処理に比べて、調整部132により、基本マスク画像MskL0から出力視野に応じたマスク画像MskLを生成する処理の処理量は少ない。したがって、図6に示した画像表示装置10aは、出力視野が変更される毎に出力視野に応じたマスク画像mskLを生成する場合に比べて、運転者P1によって指定された出力視野を見やすく表示する第2画像GL2を高速に生成することができる。
ところで、図8にステップS313〜ステップS316で示した入力視野に対応する画像GL1及び基本マスク画像MskL0を出力視野に応じて変換する処理と、ステップS317の車両M1を表す画像をマスクする処理とは順序を交換して実行してもよい。以下に、入力視野に対応する画像GL1及び基本マスク画像MskL0を出力視野に応じて変換する処理に先立って、車両M1を表す画像をマスクする処理を実行する画像表示装置の例を説明する。
図9は、画像表示装置の別実施形態を示す。なお、図9に示す構成要素のうち、図1または図6に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。
図9に示した画像表示装置10bは、車両モデルMDLと、生成部12bと、重畳部13bと、表示部DSPLと、制御部Dprbとを含んでいる。図9に示した重畳部13bは、図6に示した重畳部13aに相当する構成要素であり、マスク保持部131と、合成部133bと、変換部134とを含んでいる。
図9に示した制御部Dprbは、運転者P1から、カメラCLの向き及びカメラCLに含まれるレンズの画角などを変更させる指示を受けた場合に、受けた指示に基づいて、カメラCLの視野を変更するための制御をカメラ制御部CTLに実行させる。そして、制御部Dprbは、運転者P1から受けた指示に基づいて、指示に応じて変更されたカメラCLの視野を示す視野情報Daを生成し、生成した視野情報Daを生成部12bに渡す。また、制御部Dprbは、図6に示した制御部Dprと同様に、カメラCLの視野である入力視野において、例えば、表示部DSPLに表示させる範囲として運転者P1により指定された出力視野の位置を示す情報を含む設定情報Dbを生成する。そして、生成した設定情報Dbを、図9に示した重畳部13bに含まれる変換部134に渡す。
図9に示した生成部12bは、図6に示した生成部12aに相当する構成要素であり、制御部Dprbから受けた視野情報Daと車両モデルMDLとに基づいて、カメラCLの視野に含まれる車両M1(図1参照)を表す基本マスク画像MskL0を生成する。生成部12bで生成された基本マスク画像MskL0は、図9に示した重畳部13bに含まれるマスク保持部131に保持される。
図9に示した重畳部13bにおいて、合成部133bは、図10で説明するように、カメラCLから受けた画像GL1に、マスク保持部131に保持された基本マスク画像MskL0を重畳することで、合成画像GLbを生成する。合成部133bで生成された合成画像GLbは、図9に示した変換部134に渡される。
変換部134は、図10で説明するように、制御部Dprbから受けた設定情報Dbで指定された位置を基準として合成画像GLbから出力視野に対応付けられる領域の画像を切り出す。そして、変換部134は、切り出した画像に含まれる各画素を、設定情報Dbで指定された対応関係に従って表示部DSPLの表示画面の各画素に対応付ける変換を行う。例えば、設定情報Dbにより、出力視野の各画素と表示部DSPLの各画素との対応関係として、縦方向及び横方向の倍率が指定された場合に、変換部134は、切り出した画像を倍率に従って拡大又は縮小することで変換を行う。変換部134による設定情報Dbに基づく変換で得られた画像は、設定情報Dbで示される出力視野に含まれる車両M1等の被写体を表す第2画像GL2として表示部DSPLに渡され、表示部DSPLにより表示される。
図9に示した画像表示装置10bの重畳部13bにおいて、合成部133bは、入力視野に対応する画像GL1と同じく入力視野に対応する基本マスク画像MskL0とを合成する。そして、合成部133bによる合成で得られた合成画像GLbに対して、変換部134により、設定情報Dbで示される出力視野に含まれる被写体を表示部DSPLの解像度で表示するための変換が行われる。即ち、画像表示装置10bでは、合成部133bによる車両M1を表す画像をマスクする処理の後に、変換部134により、入力視野に対応する画像GL1及び基本マスク画像MskL0を出力視野に応じて変換する処理が行われる。
図10は、図9に示した合成部133bで生成される合成画像の例を示す。図10(A)は、図9に示した生成部12bによって生成される基本マスク画像MskL0の例を示す。図10(B)は、図9に示したカメラCLによって撮影された画像、即ち、入力視野に含まれる被写体を表す画像GL1の例を示す。図10(C)は、図9に示した合成部133bによって生成される合成画像GLbの例を示す。そして、図10(D)は、図10(C)に示した合成画像GLbを受けた場合に、図9に示した変換部134による変換で生成される第2画像GL2の例を示す。
図10(A)に示した基本マスク画像MskL0及び図10(B)に示した入力視野に含まれる被写体を表す画像GL1は、図7(A),(B)のそれぞれに示した基本マスク画像MskL0及び画像GL1と同等であるので説明を省略する。
図10(C)の例は、図9に示した合成部133bにより、図10(A)に示した基本マスク画像MskL0を、図10(B)に示した画像GL1に重畳することで得られる合成画像GLbを示す。
図10(C)において破線で示した矩形Ar1は、合成部133bで生成された合成画像GLbにおいて、図9に示した設定情報Dbで示される出力視野に対応付けられる領域である。また、図10(c)に示した点Qs,点Qeのそれぞれは、設定情報Dbに出力視野の位置を示す情報として含まれる座標で示される画素を示す。なお、図10(C)において、領域Ar1の境界を示す破線の矩形は、合成画像GLbにおける領域Ar1の位置を示すためのものであり、合成画像GLbには含まれない。
図9に示した変換部134は、合成部133bから受けた合成画像GLbから、設定情報Dbで示される点Qs,点Qeの座標に基づいて、図10(C)に示した領域Ar1の画像を切り出す。なお、図10(c)の例において、変換部134により、合成画像GLbから切り出される領域は、縦H1画素×横W1画素の領域である。
そして、変換部134は、合成画像GLbから切り出した領域Ar1の画像を、例えば、設定情報Dbで指定された倍率に従って拡大又は縮小することで、図10(D)に示す第2画像GL2を生成する。なお、図10(D)に示した第2画像GL2の横幅W2は、図10(C)に示した領域Ar1の横幅W1に設定情報Dbで示された倍率を乗じた値であり、図9に示した表示部DSPLの横方向の画素数に相当する。同様に、図10(D)に示した第2画像GL2の高さH2は、図10(C)に示した領域Ar1の高さH1に設定情報Dbで示された倍率を乗じた値であり、図9に示した表示部DSPLの縦方向の画素数に相当する。
図9及び図10で説明した画像表示装置10bの生成部12bは、図6に示した生成部12aと同様に、入力視野で出力視野が占める位置や大きさにかかわらず、カメラCLの視野である入力視野に含まれる車両M1を表す基本マスク画像MskL0を生成する。そして、重畳部13bに含まれる合成部133bは、入力視野に対応する画像GL1と同じく入力視野に対応する基本マスク画像MskL0とを合成することで、入力視野に含まれる車両M1が基本マスク画像MskL0で覆い隠された合成画像GLbを生成する。したがって、重畳部13bに含まれる変換部134は、合成画像GLbから切り出す範囲を設定情報Dbに基づいて変更することで、図10(C)の領域Ar1のように、所望の出力視野に含まれる被写体のうち車両M1がマスクされた画像を得ることができる。即ち、カメラCLの向きや画角等の変更により入力視野が変化しない限り、変換部134は、以前に生成された基本マスク画像MskL0を用いて合成された合成画像GLbから、出力視野に含まれる車両M1がマスクされた第2画像GL2を生成することができる。
図11は、画像表示装置の別実施形態を示す。なお、図11に示す構成要素のうち、図1及び図6に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。
図11に示した画像表示装置10cは、表示部DSPLと、車両モデルMDLと、生成部12cと、重畳部13cと、変換部14と、制御部Dprcとを含んでいる。図11に示した重畳部13cは、図1に示した重畳部13に相当する構成要素であり、マスク保持部131と、合成部133cとを含んでいる。
図11に示した制御部Dprcは、図6に示した制御部Dprに相当する構成要素であり、運転者P1から受けた指示に基づいて、視野情報Da及び設定情報Dbを生成するとともに、カメラ制御部CTLを介してカメラCLの向き等を制御する。制御部Dprcで生成された視野情報Daは、生成部12cに渡される。また、制御部Dprcで生成された設定情報Dbは、生成部12cと変換部14とに渡される。
更に、制御部Dprcは、例えば、車両M1(図1参照)に搭載されたナビゲーションシステムNAVから、車両M1の位置及び車両M1の向きを示す位置情報J1を受ける。また、制御部Dprcは、車両M1に搭載された照度センサSNCから、照度センサSNCによる計測値を示す照度情報J2を、車両M1の周囲の明るさを示す第2情報として受ける。制御部Dprcは、受けた位置情報J1及び現在の時刻とに基づいて、例えば、車両M1の向きを基準として、車両M1を照明する光源の一例である太陽の方向を求める。ここで、制御部DprcがナビゲーションシステムNAVから受ける位置情報J1は、ある時刻において、車両M1の向きを基準とした太陽の方向を一意に示す情報である。即ち、位置情報J1は、車両M1の外部にある光源と車両M1との相対位置を示す第1情報の一例である。そして、制御部Dprcは、位置情報J1に基づいて求めた太陽の方向と照度情報J2で示される周囲の明るさとを含む照明条件Dcを生成し、生成した照明条件Dcを生成部12cに渡す。なお、制御部Dprcは、例えば、現在の時刻が日没後の時刻である場合に、位置情報J1に基づいて、太陽の方向を示す情報の代わりに月の方向及び月齢を示す情報を含む照明条件Dcを生成し、生成した照明条件Dcを生成部12cに渡してもよい。
図11に示した生成部12cは、図1に示した生成部12に相当する構成要素である。生成部12cは、制御部Dprcから受けた視野情報Da及び設定情報Dbと車両モデルMDLとに基づき、カメラCLの視野内に設定された出力視野に含まれる車両M1を表すマスク画像MskLを、照明条件Dcを用いて生成する。なお、生成部12cにおいて、視野情報Da、設定情報Db及び照明条件Dcを反映して生成されるマスク画像MskLは、図12において説明される。生成部12bで生成されたマスク画像MskLは、図11に示した重畳部13cに含まれるマスク保持部131に保持される。
図11に示した変換部14は、図6に示した変換部14と同様に、カメラCLで撮影された画像GL1を受け、設定情報Dbに基づいて、受けた画像GL1から出力視野に対応付けられる領域を切り出す。そして、変換部14は、切り出した画像を、設定情報Dbで指定された対応関係に基づいて変換することで、表示部DSPLの解像度に合わせて変換された画像GLaを生成し、生成した画像GLaを、重畳部13cの合成部133cに渡す。
図11に示した重畳部13cにおいて、合成部133cは、図12で説明するように、変換部14から受けた画像GLaに、マスク保持部131に保持されたマスク画像MskLを重畳することで生成した合成画像を、第2画像GL2として表示部DSPLに渡す。
図12は、図11に示した合成部133cで生成される合成画像の例を示す。なお、図12に示す要素のうち、図7または図10に示した要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。図12(A)は、図11に示したカメラCLによって撮影された画像、即ち、入力視野に含まれる被写体を表す画像GL1の例を示す。図12(B)は、図12(A)に示した画像GL1から、図11に示した変換部14による変換で生成される変換後の画像GLaの例を示す。図12(C)は、図11に示した生成部12cにより生成されるマスク画像MskLの例を示す。そして、図12(D)は、図12(C)に示したマスク画像MskLを、図12(B)に示した変換後の画像GLaに重畳することで得られる第2画像GL2の例を示す。
図12(A)において破線で示した矩形Ac1は、カメラCLで撮影された画像GL1において、図11に示した設定情報Dbで示される出力視野に対応付けられる領域であり、図11に示した変換部14により画像GL1から切り出される領域を示す。なお、図12(A)に示した点Qs,点Qeのそれぞれは、設定情報Dbに出力視野の位置を示す情報として含まれる座標で示される画素を示す。また、図12(A)の例において、変換部14により、画像GL1から切り出される領域は、縦H1画素×横W1画素の領域である。また、図12(A)において、領域Ac1の境界を示す矩形は、画像GL1において出力視野に対応付けられる領域Ac1の位置を示すためのものであり、画像GL1には含まれない。
図12(A)に示した領域Ac1の画像を、変換部14により、例えば、設定情報Dbで指定された倍率に従って拡大又は縮小することで、図12(B)に示す画像GLaが生成される。なお、図12(B)に示した画像GLaの横幅W2は、図12(A)に示した領域Ac1の横幅W1に設定情報Dbで示された倍率を乗じた値であり、図11に示した表示部DSPLの横方向の画素数に相当する。同様に、図12(B)に示した画像GLaの高さH2は、図12(A)に示した領域Ac1の高さH1に設定情報Dbで示された倍率を乗じた値であり、図11に示した表示部DSPLの縦方向の画素数に相当する。
図12(C)に示した矩形Am2は、設定情報Dbで示される出力視野を示す。図12(C)の例では、出力視野Am2は、縦H2画素×横W2画素の領域であり、出力領域Am2の横幅W2及び高さH2のそれぞれは、図11に示した表示部DSPLの表示画面の横幅及び高さに相当する。なお、図12(C)において出力視野Am2の境界を示す矩形は、出力視野Am2におけるマスク画像MskLの位置を示すためのものであり、実際のマスク画像MskLには含まれない。
図12(A)と図12(C)との比較から分かるように、図12(C)に示したマスク画像MskLは、図12(A)に示した領域Ac1に含まれる車両M1の形状、即ち、出力視野に含まれる車両M1の形状を表している。また、図12(C)に示したマスク画像MskLは、図11に示した生成部12cにより、表示部DSPLの表示画面と同等のサイズで出力視野Am2を表す解像度で生成される。即ち、図11に示した生成部12cによって生成されるマスク画像MskLは、入力視野に含まれる車両M1を表す基本マスク画像MskL0の一部を拡大又は縮小することで生成される場合に比べて、高画質である。
また、図12(C)に示したマスク画像MskLにおいて、符号HL1,HL2,HL3で示した領域は、図11に示した照明条件Dcで示される太陽の方向に基づく光線追跡により求められた、車両M1のボディによる太陽の反射像を示す。図12(C)に示した反射像HL1,HL2,HL3を含むマスク画像MskLは、例えば、図7(C)に示したマスク画像MskLのように、太陽などの光源の位置を考慮しないで生成されたマスク画像に比べて、車両M1の立体感がリアルに表現されている。即ち、図11に示した生成部12cにより、太陽の方向を示す情報を含む照明条件Dcを用いてマスク画像MskLを生成することで、図12(C)に示すように、車両M1の立体感がリアルに表現されたマスク画像MskLを生成することができる。
更に、図11に示した生成部12cは、例えば、マスク画像MskLにおいて、車両M1のボディなどを表す領域に含まれる各画素の色を、車両モデルMDLで示された塗料等の色と照明条件Dcで示される周囲の明るさとに基づいて決定する。したがって、図12(C)に示したマスク画像MskLの色には、照明条件Dcで示される周囲の明るさが反映される。例えば、図11に示した照度センサSNCで計測された照度が日中の日向の明るさを示す場合に、生成部12cで生成されるマスク画像MskLにおいて車両M1のボディを示す領域の色は、車両モデルMDLで示される塗料の色に比べて明度値の高い色となる。一方、照度センサSNCで計測された照度が日照のない状態を示す場合に、生成部12cで生成されるマスク画像MskLにおいて車両M1のボディを示す領域の色は、車両モデルMDLで示される塗料の色に比べて明度値の低い色となる。そして、照明条件Dcで示される周囲の明るさを反映した色で車両M1のボディなどを表すことで、図12(C)に示したマスク画像MskLは、車両モデルMDLで示される塗料等の色をそのまま用いた場合に比べて、よりリアルに車両M1を表すことができる。
そして、図11に示した合成部133cにより、図12(C)に示したマスク画像MskLを、図12(B)に示した変換後の画像GLaに重畳することで、図12(D)に示す第2画像GL2が生成される。
図12(C)で説明したように、図12(D)に示した第2画像GL2に含まれるマスク画像MskLは、例えば、図7(C)に示したマスク画像MskLに比べて高画質であり、かつ、車両M1をリアルに表現している。したがって、図11に示した画像表示装置10cは、車両M1をリアルに表現しながら、図2(B)に示した車両M1のボディなどへの映り込みPT1がマスクされた第2画像GL2を、車両M1の後側方を示す情報として運転者P1に提供することができる。これにより、運転者P1は、図1から図10で説明した画像表示装置10,10a,10bから第2画像GL2の提供を受けた場合と同様に、映り込みPT1などに煩わされることなく、車両M1の後側方の状況を把握することが可能である。更に、マスク画像MskLにより、太陽などの方向や周囲の明るさを考慮しない場合に比べてリアルに車両M1を表現することで、マスク画像MskLで表された車両M1を、運転者P1に車両M1として違和感なく認識させることができる。
図13は、図11に示した画像表示装置10cの動作を示す。例えば、図13に示す処理は、画像表示装置10cに搭載されたプロセッサが画像表示プログラムを実行することで実現される。なお、図13に示す処理は、画像表示装置10cに搭載されるハードウェアによって実行されてもよい。また、図13に示す処理のうち、図4又は図8に示した処理と同等のものは、同一の符号で示すとともに処理の説明を省略する場合がある。
ステップS321において、図11に示した生成部12cは、例えば、制御部Dprcから、図2で説明した視野情報Daと図5で説明した設定情報Dbとともに、太陽などの光源の方向及び周囲の明るさを示す照明条件Dcを受ける。
ステップS322において、生成部12cは、受けた視野情報Da、設定情報Db及び照明条件Dcのそれぞれに含まれるパラメータの少なくとも一つが、以前にマスク画像MskLを生成した際に用いた値から変更されたか否かを判定する。
ステップS322を最初に実行する場合及びパラメータの少なくとも一つに変更がある場合に(ステップS322の肯定判定(YES))、生成部12cは、ステップS323の処理に進む。一方、いずれのパラメータにも変更がない場合に(ステップS322の否定判定(NO))、生成部12cによるステップS323の処理は省略され、処理は、ステップS314に移行する。
ステップS323において、生成部12cは、ステップS321の処理で受けた視野情報Da,設定情報及び照明条件Dcと車両モデルMDLとに基づいて、カメラCLの視野内の出力視野に含まれる車両M1(図1参照)を表すマスク画像MskLを生成する。生成されたマスク画像MskLは、図11に示したマスク保持部131に保持される。なお、ステップS323の処理が省略される場合に、以前にステップS323の処理を実行した際にマスク保持部131に保持されたマスク画像MskLはそのまま維持され、以下で述べるステップS317の処理に用いられる。
ステップS314において、変換部14は、設定情報Dbに基づいて、図12で説明したようにして、カメラCLで撮影された画像GL1から出力視野に対応する領域Ac1の画像を切り出し、切り出した画像を、指定された対応関係を用いて変換する。
ステップS317において、合成部133cは、変換部14から受けた変換後の画像GLaに、マスク保持部131に保持されたマスク画像MskLを重畳することで第2画像GL2を生成し、生成した第2画像GL2を表示部DSPLに渡す。
そして、ステップS303において、表示部DSPLは、ステップS317の処理でマスク画像MskLを重畳することで生成された第2画像GL2を表示し、車両M1の後側方を表す情報として運転者P1に提供する。
以上に説明した本件開示の画像表示装置は、例えば、車両に搭載される車載コンピュータなどのコンピュータ装置を用いて実現することができる。
図14は、図11に示した画像表示装置10cのハードウェア構成例を示す。なお、図14に示した構成要素のうち、図11に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図14に示したコンピュータ装置20は、プロセッサ21と、メモリ22と、ストレージ装置23と、表示制御部24と、カメラインタフェース25と、汎用インタフェース26とを含んでいる。更に、コンピュータ装置20は、表示制御部24に接続された2つの表示部DSPL,DSPRと、入力装置27と、光学ドライブ装置28とを含んでいる。図14に示したプロセッサ21、メモリ22、ストレージ装置23、表示制御部24、表示部DSPL,DSPR及びカメラインタフェース25は、画像表示装置10cに含まれる。また、プロセッサ21、メモリ22、ストレージ装置23、表示制御部24、カメラインタフェース25、汎用インタフェース26、入力装置27および光学ドライブ装置28は、バスを介して互いに接続されている。
また、図14に示したコンピュータ装置10cは、カメラインタフェース25を介して、例えば、図2(A)に示したように、車両M1の左右の側面のそれぞれに設置された2台のカメラCL,CRが接続されている。なお、カメラCL,CRのそれぞれは、図2(A)で説明したように、車両M1の後側方を撮影可能な方向に向けて位置決めされている。
図14に示した表示部DSPRは、例えば、液晶ディスプレイなどであり、図1に示した車両M1において、ハンドルH1の右側などに配置される。表示部DSPRは、カメラCRで撮影された車両M1の右側の後側方の画像の少なくとも一部を表示する表示部の一例であり、図11に示した表示部DSPLと同等の解像度で画像を表示し、運転者P1に提供する機能を有している。
図14に示した入力装置27は、例えば、車両M1のダッシュボードなどに設けられたタッチパネルなどである。車両M1の運転者P1は、入力装置27を操作することにより、例えば、カメラCL,CRの向きや図2(A)で説明した画角RL,RRを設定する指示や、カメラCL,CRの視野の中で表示部DSPL,DSPRに表示させる範囲を指定する指示を入力する。
図14に示した汎用インタフェース26は、例えば、USB(Universal Serial Bus)規格に基づいて情報の授受を行うインタフェース機器である。コンピュータ装置20は、汎用インタフェース26を介して、カメラCL,CRの向きや焦点距離などを制御するカメラ制御部CTLと、車両M1に搭載されたナビゲーションシステムNAV及び照度センサSNCに接続されている。
また、図14に示した光学ドライブ装置28は、光ディスクなどのリムーバブルディスク29を装着可能であり、装着したリムーバブルディスク29に記録された情報の読出およびリムーバブルディスク29への情報の記録を行う。
図14に示したメモリ22は、コンピュータ装置20のオペレーティングシステムとともに、例えば、図13に示した画像表示処理をプロセッサ21が実行するためのアプリケーションプログラムを格納している。なお、図13に示した画像表示処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク29に記録して頒布することができる。そして、リムーバブルディスク29を光学ドライブ装置28に装着して読み込み処理を行うことにより、図13に示した画像表示処理を実行するためのアプリケーションプログラムは、メモリ22およびストレージ装置23に格納されてもよい。また、車両M1の3次元的な形状を表す車両モデルMDLは、図13に示した画像表示処理を実行するためのアプリケーションプログラムがメモリ22又はストレージ装置23に格納される際に、例えば、ストレージ装置23に格納される。
そして、プロセッサ21は、メモリ22に格納されたアプリケーションプログラムを実行することにより、図11に示した生成部12c、重畳部13c、変換部14及び制御部Dprcの機能を果たしてもよい。
例えば、プロセッサ21は、入力装置27を介して受けた運転者P1からの指示に基づいて、カメラCL,CRのそれぞれで撮影される範囲を示す視野情報Da及び表示部DSPL,DSPRのそれぞれで表示される出力視野を示す設定情報Dbを生成する。プロセッサ21は、入力装置27を介して受けた運転者P1からの指示に基づいて、視野情報Da及び設定情報Dbを生成する処理を行うことで、図11に示した制御部Dprcの機能の一部を実現する。また、プロセッサ21は、入力装置27を介して受けた運転者P1からの指示のうち、カメラCL,CRの向き及び画角RL,RRを設定する指示を、汎用インタフェース26を介してカメラ制御部CTLに渡すことで、制御部Dprcの機能の別の一部を実現する。なお、入力装置26を介して受けた運転者P1からの指示に基づいて、視野情報Da及び設定情報Dbを生成する処理を実行するためのプログラムは、画像表示処理を実行するためのアプリケーションプログラムに含まれる。
また、プロセッサ21は、汎用インタフェース26を介してナビゲーションシステムNAVから車両M1の位置及び向きを示す位置情報J1を受け、受けた位置情報J1に基づいて、太陽などの光源と車両M1との相対位置を算出する。更に、プロセッサ21は、汎用インタフェース26を介して照度センサSNCから車両M1の周囲の明るさを示す照度情報J2を受ける。そして、プロセッサ21は、太陽などの光源と車両M1との相対位置を示す情報と車両M1の周囲の明るさを示す情報とを含む照明条件Dcを生成することで、図11に示した制御部Dprcの機能の別の一部を実現する。なお、ナビゲーションシステムNAVから受けた位置情報J1及び照度センサSNCの計測値を示す照度情報J2とに基づいて、照明条件Dcを生成する処理を実行するためのプログラムは、画像表示処理を実行するためのアプリケーションプログラムに含まれる。
そして、プロセッサ21は、生成した視野情報Da、設定情報Db及び照明条件Dcと、ストレージ装置23に格納された車両モデルMDLとに基づいて、図13に示したステップS323の処理を実行することで、図11に示した生成部12cの機能を実現する。プロセッサ21は、ステップS323の処理を実行することで、図12(C)に示したマスク画像MskLとともに、車両M1の右側面のうち設定情報Dbで示された出力視野に含まれる部分を、表示部DSPRで表示可能な解像度で表すマスク画像を生成する。つまり、プロセッサ21は、ステップS323の処理を実行することで、車両M1の左右の側面のそれぞれに対応するマスク画像を生成する。そして、プロセッサ21により生成された2つのマスク画像は、メモリ22あるいはストレージ装置23に格納される。
また、プロセッサ21は、カメラインタフェース25を介して、例えば、所定の時間毎にカメラCL,CRで撮影された画像GL1,GR1を受ける。そして、画像GL1,GR1を受ける毎に、図13に示したステップS314の処理を実行することで、図11に示した変換部14の機能を実現し、画像GL1、GR1を設定情報Dbで示される出力視野に応じて変換する。
プロセッサ21は、図13に示したステップS317において、ステップS314の処理で画像GL1,GR1を変換して得られる画像のそれぞれに、車両M1の左右の側面のそれぞれに対応するマスク画像を重畳することで、重畳部13cの機能を実現する。プロセッサ21は、ステップS317の処理において、メモリ22又はストレージ装置23に、車両M1の左側と右側とのそれぞれに対応して格納されたマスク画像を用いる。これにより、図12(D)に示した第2画像GL2が生成されるとともに、カメラCRで撮影された画像GR1をステップS314の処理で変換することで得られた画像に、車両M1の右側面を表すマスク画像を重畳した第2画像GR2が生成される。プロセッサ21がステップS317の処理を実行することで生成される第2画像GR2は、図12(D)に示した第2画像GL2と同様に、車両M1のボディなどへの映り込みを含まないこと以外は、車両M1及び車両M1の後側方をリアルに表現する画像である。
そして、プロセッサ21は、ステップS317において、画像GL1,GR1からそれぞれ生成した第2画像GL2,GR2を、表示制御部24を介して表示部DSPL,DSPRに表示させることで、運転者P1に後側方の情報を提供する。
つまり、図11に示した画像表示装置10cは、図14に示したコンピュータ装置20に含まれるプロセッサ21と、メモリ22と、ストレージ装置23と、表示制御部24と、表示部DSPL,DSPR及びカメラインタフェース25の協働によって実現される。
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
以上の説明に関して、更に、以下の各項を開示する。
(付記1) 車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラにより撮影された第1画像の少なくとも一部を前記車両を運転する運転者に対して表示する表示部と、
前記車両の外形形状を表す外形情報と、前記カメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成する生成部と、
前記第1画像に前記生成部によって生成された前記マスク画像を重ね合わせることで、前記第1画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第2画像を生成し、生成した前記第2画像を前記表示部に表示させる重畳部と
を備えたことを特徴とする画像表示装置。
(付記2) 付記1に記載の画像表示装置において、
前記表示部は、前記入力視野の一部として指定される出力視野に含まれる被写体の画像を表示し、
前記画像表示装置は、更に、
前記入力視野における前記出力視野の位置及び前記出力視野の画像に含まれる各画素と前記表示部に含まれる各画素との対応関係を示す設定情報を受け、前記設定情報で指定された位置を基準として前記第1画像から切り出した前記出力視野に含まれる画像を、前記設定情報で指定された指定された対応関係に基づいて変換する変換部を有し、
前記重畳部は、
前記設定情報で指定された位置を基準として、前記生成部で生成された前記マスク画像のうち前記出力視野に含まれる箇所を切り出し、切り出した箇所のサイズに対して、前記設定情報で指定された対応関係に基づく変換を行うことで、調整されたマスク画像を生成する調整部と、
前記調整部でサイズが調整された後の前記マスク画像を、前記変換部による変換後の画像に重ね合わせることで合成画像を生成する合成部とを有し、
前記合成部で得られる前記合成画像を前記第2画像として前記表示部に表示させる
ことを特徴とする画像表示装置。
(付記3) 付記1に記載の画像表示装置において、
前記表示部は、前記入力視野の一部として指定される出力視野に含まれる被写体の画像を表示し、
前記画像表示装置は、更に、
前記重畳部は、
前記第1画像に、前記生成部によって生成された前記マスク画像を重ね合わせることで合成画像を生成する合成部と、
前記入力視野における前記出力視野の位置及び前記出力視野の画像に含まれる各画素と前記表示部に含まれる各画素との対応関係を示す設定情報を受け、前記設定情報で指定された位置を基準として前記合成画像から切り出した画像を、前記設定情報で指定された対応関係に基づいて変換する変換部とを有し、
前記変換部による変換後の画像を前記第2画像として前記表示部に表示させる
ことを特徴とする画像表示装置。
(付記4) 付記1に記載の画像表示装置において、
前記表示部は、前記入力視野の一部として指定される出力視野に含まれる被写体の画像を表示し、
前記画像表示装置は、更に、
前記入力視野における前記出力視野の位置及び前記出力視野の画像に含まれる各画素と前記表示部に含まれる各画素との対応関係を示す設定情報を受け、前記設定情報で指定された位置を基準として前記第1画像から切り出した画像を、前記設定情報で指定された対応関係に基づいて変換する変換部を有し、
前記生成部は、前記設定情報と前記視野情報とに基づいて、前記設定情報で指定された対応関係で前記表示部の画素への対応付けが特定される画素の集合により、前記外形情報で示される形状を持つ前記車両を前記視野情報で示される向きで撮影した場合に前記出力視野に含まれることが予想される前記車両の一部を表す画像を前記マスク画像として生成し、
前記重畳部は、前記変換部による変換後の画像に、前記生成部で生成された前記マスク画像を重ね合わせることで前記第2画像を生成する
ことを特徴とする画像表示装置。
(付記5) 付記1乃至付記4のいずれか一に記載の画像表示装置において、
前記生成部は、
前記車両の外部にある光源と前記車両との相対位置を示す第1情報を受け、前記第1情報で示される前記光源に照明される前記車両を表す前記マスク画像を生成する
ことを特徴とする画像表示装置。
(付記6) 付記1乃至付記5のいずれか一に記載の画像表示装置において、
前記生成部は、
前記車両の周囲の明るさを示す第2情報を受け、前記車両の周囲の明るさが前記第2情報で示される明るさである場合の前記車両を表す前記マスク画像を生成する
ことを特徴とする画像表示装置。
(付記7) 車両の外形形状を表す外形情報と、前記車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成し、
前記カメラにより撮影された第1画像に、生成された前記マスク画像を重ね合わせることで、前記第1画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第2画像を生成し、
生成した前記第2画像を、前記車両を運転する運転者に対向して設けられた表示部に表示させる
ことを特徴とする画像表示方法。
(付記8) 車両の外形形状を表す外形情報と、前記車両の側面に前記車両の後方及び側方を撮影する向きに設置されたカメラで撮影される範囲である入力視野を示す視野情報とに基づいて、前記入力視野に含まれる前記車両の一部を表すマスク画像を生成し、
前記カメラにより撮影された第1画像に、生成された前記マスク画像を重ね合わせることで、前記第1画像に含まれる前記車両の一部を表す画像に代えて前記マスク画像を含む第2画像を生成し、
生成した前記第2画像を、前記車両を運転する運転者に対向して設けられた表示部に表示させる、
処理をコンピュータに実行させることを特徴とする画像表示プログラム。