JP5387763B2 - 映像処理装置、映像処理方法及び映像処理プログラム - Google Patents

Description

本発明は、運転者が観察している映像を生成する映像処理装置、映像処理方法及び映像処理プログラムに関する。

車社会において安全を促進させて事故数を減少させることが大きな課題となっており、様々な対策がなされている。例えば、対策の１つとして、どのような場合に事故が生じやすいのかを映像を用いて運転者に学習させる方法がある。具体的には、例えば、特許文献１に記載のシステムのように、車両に搭載したドライブレコーダにより事故映像を取得し、その事故映像を再生して交通安全教育に役立てる。例えば、ドライブレコーダは、衝突事故における衝撃、あるいは、急ブレーキ及び急なハンドル操作などの危険運転を検出すると、自車両の前方映像及び自車両の走行状態を記録する。

特開2007-011148号公報

しかし、上記のようなドライブレコーダが取得する映像は自車両の前方映像のみであり、ドライブレコーダの映像を視聴する視聴者が確認可能な映像も前方映像に限られる。そのため、例えば運転者が右又は左を向いていた場合には、視聴者が視聴する映像と運転者が実際に見ていた映像とが異なる。

ここで、運転者が実際にどのような状況を観察していたのか、どのような状況を観察していたために危険運転が生じたのかなどの危険運転の原因を解析することが交通安全教育には効果的である。

そこで、運転者が観察している映像を生成する映像を生成する映像処理装置、映像処理方法及び映像処理プログラムを提供することを目的とする。

自車両の周辺を撮影した映像を含む周辺情報を取得する映像取得部と、自車両の運転者の視線原点及び視線方向を取得する視線取得部と、前記周辺情報から視線原点に対応する視線映像を生成する視線映像生成部と、前記運転者の視線を遮る前記自車両の車体領域又は車体映像を含む遮蔽情報を、前記視線原点に基づいて算出する遮蔽情報算出部と、前記視線映像と前記遮蔽情報とに基づいて、表示映像を生成する表示映像生成部と、を含み、前記視線映像は、前記自車両の少なくとも１のミラーを介して前記運転者が視認可能なミラー視認範囲に対応するミラー映像を含み、前記遮蔽情報は、前記運転者の前記ミラー視認範囲へのミラー視線を遮る、前記自車両の車体の領域及び／又は車体映像を含むミラー遮蔽情報を含み、前記表示映像は、前記運転者が前記自車両の少なくとも１のミラーを介して観察するミラー表示映像を含み、前記視線原点及び前記視線方向に基づいて、前記運転者が視認可能な所定の角度範囲を有する有効視野範囲を算出し、前記有効視野範囲内に前記自車両の少なくとも１のミラーがあるか否かを判定する視線処理部をさらに含み、前記視線映像生成部は、前記有効視野範囲内に前記自車両の少なくとも１のミラーがある場合に、前記視線原点と前記ミラーの位置を含むミラー情報とに基づいて、前記ミラーを介して前記運転者が視認可能な前記ミラー視認範囲を算出し、前記ミラー視認範囲に対応する前記ミラー映像を、前記自車両の周辺映像から生成するミラー映像生成部を有し、前記遮蔽情報算出部は、前記ミラー遮蔽情報を、前記視線原点及び前記ミラー視認範囲に基づいて算出し、前記表示映像生成部は、前記ミラー映像と前記ミラー遮蔽情報とに基づいて、前記ミラー表示映像を生成する、映像処理装置を提供する。
また、自車両の周辺を撮影した映像を含む周辺情報を取得する映像取得部と、自車両の運転者の視線原点及び視線方向を取得する視線取得部と、前記周辺情報から視線原点に対応する視線映像を生成する視線映像生成部と、前記運転者の視線を遮る前記自車両の車体領域又は車体映像を含む遮蔽情報を、前記視線原点に基づいて算出する遮蔽情報算出部と、前記視線映像と前記遮蔽情報とに基づいて、表示映像を生成する表示映像生成部と、前記運転者の瞳孔、心拍、発汗及び前記視線方向の滞留時間を含む生体情報の少なくとも１の情報に基づいて、前記運転者の視野範囲を算出する視野算出部と、を含み、前記表示映像生成部は、前記視野範囲に基づいて前記表示映像を加工する、映像処理装置を提供する。

運転者が観察している映像を生成する映像を生成する映像処理装置、映像処理方法及び映像処理プログラムを提供することができる。

第１実施形態例に係る、運転映像処理装置、情報取得装置及び運転教育用端末の接続関係の一例。 運転映像処理装置、情報取得装置及び運転教育用端末のハードウェア構成を示すブロック図の一例。 周辺情報取得機器の取付位置と撮影範囲を示す説明図。 視線検出機器の取付位置を示す説明図。 視線検出機器の取付位置を示す説明図。 車両の外観図の一例。 ミラーにより確認可能な領域の一例を示す説明図。 第１実施形態例にかかる各装置の機能構成を示すブロック図の一例。 （ａ）は視線原点Ｐ及び視線ベクトルの算出方法の一例を示す説明図（１）であり、（ｂ）はピッチ角θβを示す説明図であり、（ｃ）は位角θαを示す説明図である。 周辺情報ＤＢの一例。 視線データＤＢの一例。 （ａ）は三有効視野範囲及びミラー間の関係と、ミラーを介して視認可能なミラー視認範囲と、を説明するための説明図（１）であり、（ｂ）は有効視野範囲及びミラー間の関係と、ミラーを介して視認可能なミラー視認範囲と、を説明するための説明図（２）であり、（ｃ）は有効視野範囲及びミラー間の関係と、ミラーを介して視認可能なミラー視認範囲と、を説明するための説明図（３）である。 視線原点Ｐ及び視線ベクトルと、三次元投影面での車窓視野領域と、の対応付けの一例。 視線原点Ｐ及び視線ベクトルと、車窓遮蔽情報と、の対応付けの一例。 有効視野範囲及びミラー間の関係と、ミラーを介して視認可能なミラー視認範囲と、を説明するための説明図。 車種毎の、ミラー情報及び視線原点Ｐと、仮想視線原点ＶＰ、ミラー視野画角θｍ、ミラー視野領域及びミラー遮蔽情報と、の対応付けの一例。 三次元投影面上の車窓映像及びミラー映像と、ディスプレイの表示領域と、の関係を示す説明図（１）。 三次元投影面上の車窓映像及びミラー映像と、ディスプレイの表示領域と、の関係を示す説明図（２）。 三次元投影面上の車窓映像及びミラー映像と、ディスプレイの表示領域と、の関係を示す説明図（３）。 視線原点Ｐ及び視線ベクトルと、各ミラー表示領域と、の対応付けの一例。 車窓映像ＤＢの一例。 ミラー映像ＤＢの一例。 遮蔽情報ＤＢの一例。 車窓表示映像に使用する映像例。 （ａ）は運転者が前方を向いている場合の他車両及び歩行者を含む車窓映像であり、（ｂ）は（ａ）の車窓映像に車窓遮蔽情報が合成された車窓表示映像である。 （ａ）は運転者が右斜め前を向いている場合の他車両及び歩行者を含む車窓映像であり、（ｂ）は（ａ）の車窓映像に車窓遮蔽情報が合成された車窓表示映像である。 （ａ）は運転者が左斜め前を向いている場合の他車両及び歩行者を含む車窓映像であり、（ｂ）は（ａ）の車窓映像に車窓遮蔽情報が合成された車窓表示映像である。 図２６（ｂ）のバックミラー表示領域２６６Ｂにバックミラー映像が重畳された表示映像の一例。 図２６（ｂ）の右側ミラー表示領域２６６Ｒに右側ミラー映像が重畳された表示映像の一例。 第１実施形態例にかかる運転映像処理装置が実行する処理の流れの一例を示すフローチャート。 三次元投影面での固定視野領域と、車窓映像及びミラー映像と、の位置関係を示す説明図。 三次元投影面上の車窓映像及びミラー映像と、ディスプレイの表示領域と、の関係を示す説明図。 表示映像の一例。 変形例２に係る各装置の機能構成を示すブロック図の一例。 表示映像の加工例を示す説明図。 第２実施形態例に係る、運転映像処理装置のハードウェア構成を示すブロック図の一例。 第２実施形態例にかかる運転映像処理装置の機能構成を示すブロック図の一例。

＜第１実施形態例＞
第１実施形態例の運転映像処理装置１００は、自車両３００の運転者が運転中に実際に観察している映像を生成する。例えば、運転映像処理装置１００は、自車両３００の運転者の視線原点Ｐ及び視線方向に対応する視線映像を、自車両３００の周辺情報から生成する。周辺情報には、少なくとも自車両３００の周辺映像が含まれ、例えば自車両３００周辺の他車両などの対象物及び道路などの映像が含まれる。また、運転映像処理装置１００は、運転者の視線を遮る自車両３００の車体領域及び／又は車体映像を含む遮蔽情報を、運転者の視線原点Ｐ及び視線方向に基づいて算出する。次に、運転映像処理装置１００は、これらの視線映像と遮蔽情報とを合成することで、運転者の視線を中心とする表示映像を生成する。よって、運転映像処理装置１００は、運転者が車体により観察できなかった領域を表示映像に反映し、運転者が実際に観察していた自車両３００周辺映像を運転者の視線を中心にして生成することができる。

なお、視線方向には、運転者の視線原点Ｐから自車両３００の窓を介した車窓視線方向が含まれ、視線映像には、視線原点Ｐ及び車窓視線方向に対応する車窓映像が含まれる。また、運転者は自車両３００に備えられたミラーを介して自車両３００の後方及び後側方の対象物などを確認することができる。よって、視線映像には、自車両３００の少なくとも１のミラーを介して運転者が視認可能なミラー視認範囲に対応するミラー映像が含まれていても良い。

また、遮蔽情報には、運転者の車窓視線方向への視線を遮る自車両３００の車体に関する車窓遮蔽情報及び／又は運転者のミラー視認範囲へのミラー視線を遮る自車両３００の車体に関するミラー遮蔽情報を含む。

また、表示映像には、運転者が自車両３００の窓を介して観察する車窓表示映像及び／又は運転者が自車両３００の少なくとも１のミラーを介して観察するミラー表示映像が含まれる。車窓表示映像は、車窓映像と車窓遮蔽情報とを合成することにより生成され、ミラー表示映像は、ミラー映像とミラー遮蔽情報とを合成することにより生成される。

下記に、まず第１実施形態例の運転映像処理装置１００と、各種情報を取得する情報取得装置２００と、運転教育用端末２５０と、の関係及びそれぞれのハードウェア構成について説明する。

（１）運転映像処理装置、情報取得装置及び運転教育用端末の関係
図１は、第１実施形態例に係る、運転映像処理装置、情報取得装置及び運転教育用端末の接続関係の一例である。図２は、運転映像処理装置、情報取得装置及び運転教育用端末のハードウェア構成を示すブロック図の一例である。

運転映像処理装置１００は、上述の通り、自車両３００の運転者の視線原点Ｐ及び視線方向に対応する視線映像と、運転者の視線を遮る自車両３００の車体に関する遮蔽情報と、を合成し、運転者の視線を中心とする表示映像を生成する。情報取得装置２００は、自車両３００の周辺情報及び自車両３００の運転者の視線データをなどの各種情報を取得する。運転教育用端末２５０は、安全運転教育の対象者である運転者などの視聴者が、運転映像処理装置１００が生成した表示映像を視聴するための端末である。

運転映像処理装置１００、情報取得装置２００及び運転教育用端末２５０は、各種情報を送受信可能なように接続されている。接続方法として、例えば、ＳＣＳＩ（Small Computer System Interface）、ＵＳＢ（Universal Serial Bus）などのインターフェースなど、また、インターネットなどのネットワークなどが挙げられる。

（２）ハードウェア構成
（２−１）運転映像処理装置
運転映像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力機器Ｉ／Ｆ１０４、通信Ｉ／Ｆ（InterFace）１０８、ＨＤＤ（Hard diskdrive）１１０ａ、Ｒ／Ｗ（Read／Write）機器１１０ｂを有している。これらは、バス１０９を介して互いに接続されている。

入出力機器Ｉ／Ｆ１０４は、ディスプレイ１０５、マウス１０６及びキーボード１０７などの入出力機器と接続されている。

ＲＯＭ１０２は、運転映像処理装置１００が行う後述の各種制御に関わる各種制御プログラムを記憶している。

ＲＡＭ１０３は、ＲＯＭ１０２内の各種制御プログラム、情報取得装置２００から取得した周辺情報及び視線データなどの各種情報を一時的に記憶する。また、ＲＡＭ１０３は、各種制御プログラムの実行に応じて各種フラグなどの情報を一時的に記憶する。

ＨＤＤ１１０ａは、補助記憶装置であり、情報取得装置２００から取得した周辺情報及び視線データなどの各種情報を記憶する。

Ｒ／Ｗ機器１１０ｂは、外部の記憶装置に前記各種情報を書き込むか、あるいは外部の記憶装置に記憶された各種情報及びプログラムなどを読み出す。外部の記憶装置としては、例えば外付けのＨＤＤやコンピュータで読み取り可能な記録媒体が挙げられる。

ＣＰＵ１０１は、ＲＯＭ１０２に記憶された各種制御プログラムをＲＡＭ１０３に展開し、後述の各種制御を行う。

通信Ｉ／Ｆ１０８は、ＣＰＵ１０１の制御に基づいて、例えば情報取得装置２００及び運転教育用端末２５０との間でコマンド又はデータの送受信などの通信を行う。

バス１０９は、例えばＰＣＩ（Peripheral Component Interconnect）バスやＩＳＡ（Industrial Standard Architecture）バス等からなり、上記構成を互いに接続する。

（２−２）情報取得装置
情報取得装置２００は、例えば、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、入出力機器Ｉ／Ｆ２０４、通信Ｉ／Ｆ２０７、ＨＤＤ２０９ａ、Ｒ／Ｗ機器２０９ｂを有している。これらは、バス２０８を介して互いに接続されている。

（ａ）入出力機器Ｉ／Ｆ
入出力機器Ｉ／Ｆ２０４は、周辺情報取得機器２０５及び視線検出機器２０６などと接続されている。周辺情報取得機器２０５及び視線検出機器２０６により検出された情報は、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３、ＣＰＵ２０１及び通信Ｉ／Ｆ２０７などに出力される。

（ｂ）周辺情報取得機器
周辺情報取得機器２０５は、自車両３００周辺の周辺情報を取得する。本実施形態例では、周辺情報取得機器２０５は、周辺情報として自車両３００周辺の周辺映像を取得するものとする。周辺映像には、例えば自車両３００周辺に存在する人、自転車及び車などの対象物、道路などの映像が含まれる。周辺情報取得機器２０５は、例えばＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどの撮像装置からなる。

図３は、周辺情報取得機器の取付位置と撮影範囲を示す説明図である。周辺情報取得機器２０５は、例えば図３に示すように、例えば前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄの４つのカメラから構成される。前方カメラ２０５ａは、車両３００の前部バンパの中央に取り付けられて、車両３００の前方を撮影する。後方カメラ２０５ｄは、車両３００の後部バンパの中央に取り付けられて、車両３００の後方を撮影する。右側カメラ２０５ｂは、車両３００の右側面の中央に取り付けられて、車両３００の右側方を撮影する。左側カメラ２０５ｃは、車両３００の左側面の中央に取り付けられて、車両３００の左側方を撮影する。

各カメラ２０５ａ〜２０５ｄは、例えばそれぞれが１８０度の画角を有する超広角レンズを用いたカメラである。このことから、図３に示すように、前方カメラ２０５ａは車両３００の前方領域２１０を撮影し、右側カメラ２０５ｂは車両３００の右側方領域２１１を撮影し、左側カメラ２０５ｃは車両３００の左側方領域２１２を撮影し、後方カメラ２０５ｄは、車両３００の後方領域２１３を撮影する。各カメラ２０５ａ〜２０５ｄの撮影領域は、それぞれ隣接するカメラが撮影する領域と重複するように構成される。

なお、各カメラ２０５ａ〜２０５ｄの取付位置、取付角度、その他カメラのレンズの歪み補正値及び焦点距離などのカメラの特性は、車両３００の中心点Ｏを原点とする空間座標系に適合可能なように補正、いわゆるキャリブレーションされる。このキャリブレーションの実行により、各カメラ２０５ａ〜２０５ｄで撮影された映像は、車両３００の中心点Ｏを原点とする空間座標系に組み込み可能となる。なお、空間座標系はＸ、Ｙ、Ｚ座標で表すものとし、例えば中心点Ｏは、自車両３００の中心である、自車両３００の車幅の半分及び車長の半分の位置により定義され、（Ｘ、Ｙ、Ｚ）＝（０、０、０）で表される。Ｙは車両の前進方向、Ｘは前進方向と交差する方向、Ｚは高さ方向である。

各カメラ２０５ａ〜２０５ｄは、図示したように、車両３００の前面、右側面、左側面、後面のそれぞれ中央に取り付けることが好ましい。しかし、各カメラ２０５ａ〜２０５ｄの撮影領域が、隣接するカメラの撮影領域と部分的に重複する位置であればよく、各カメラ２０５ａ〜２０５ｄの取付位置は特に限定されるものではない。例えば、右側カメラ２０５ｂ、左側カメラ２０５ｃは、車両３００の左右のドアミラーに取り付けることも可能である。また、各カメラの撮影領域が一部重複し、かつ車両３００の周囲３６０度の範囲を撮影することが可能であればよく、カメラの数は４つに限定されるものではない。

また、各カメラ２０５ａ〜２０５ｄは、例えば、１秒当たり３０枚のフレームを撮影する。カメラ２０５ａ〜２０５ｄからなる周辺情報取得機器２０５によって撮影された映像データは、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３に記憶される。

上記のように各カメラ２０５ａ〜２０５ｄにより映像を撮影することで、運転映像処理装置１００は、車両３００の全周囲の周辺映像に基づいて、運転者が観察している映像を生成することができる。

周辺情報取得機器２０５は、周辺情報を運転中に常に取得するのではなく、例えば危険運転が検出された場合、前方車両への追従走行が検出された場合など特定の場合などにのみ周辺情報を記録するようにしても良い。

（ｃ）視線検出機器
視線検出機器２０６は、運転者の顔、眼球、虹彩などの視線情報を検出する。

図４及び図５は、視線検出機器の取付位置を示す説明図である。視線検出機器２０６は、運転者の視線情報を取得可能な例えばＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラなどの撮像装置からなる。

視線検出機器２０６は、図４、図５に示すように、例えば車両３００のダッシュボード３０１上に設けられる。このとき、視線検出機器２０６は、運転者の顔及び目等を前方から検出可能なように、またハンドル３０２により遮られずに顔及び目等を撮影可能なように、例えばハンドル３０２近傍のダッシュボード３０１上に所定の角度で取り付けられる。ただし、運転者の顔及び目等を検出可能であれは、取付位置及び取付角度等は限定されない。

なお、視線検出機器２０６の取付位置、取付角度などの視線検出機器の特性は、車両３００の中心点Ｏを原点とする空間座標系に適合可能なように補正、いわゆるキャリブレーションされる。

また、視線検出機器２０６は、例えば１秒当たり３０枚の映像フレームを撮影し、撮影された映像データは、入出力機器Ｉ／Ｆ２０４を介してＲＡＭ２０３に記憶される。

視線検出機器２０６が検出した運転者の顔、眼球、虹彩などの映像に基づいて視線１５０を検出することが可能である。運転者の視線１５０が検出されると、視線１５０の方向により運転者がどの方向を視認していたのかが分かる。

ここで、図４、図５及び図６に示すように、車両は、ダッシュボード３０１、ハンドル３０２、窓、ミラー及びピラーなどの車体構造からなる。図６は、車両の外観図の一例である。車両３００は、前方窓３０６Ｆ、右側窓３０６Ｒ、左側窓３０６Ｌ、後方窓（図示せず）などの窓を有しており、各窓はピラーにより支持されている。ピラーには、例えば、前方の窓３０６Ｆの上方に位置する前側ピラー３０７Ｆ、前方の窓３０６Ｆの右側及び左側に位置する右側ピラー３０７Ｒ及び左側ピラー３０７Ｌ、車体後側の後側ピラー３０７Ｂ等が含まれる。

また、車両３００に設けられるミラー３０３には、図５及び図６に示すように車両３００の左右のドア付近に設けられるドアミラー３０３Ｌ、３０３Ｒ、車両３００内部に設けられるバックミラー３０３Ｂ、車両３００のボンネット上に設けられるフェンダーミラー等が挙げられる。

検出された視線１５０の方向が前方であれば、例えば運転者は前方窓３０６Ｆを介して自車両３００の周辺を視認していたと推測できる。また、視線１５０の方向がミラー３０３に向かっていれば、ミラー３０３を介して車両３００の後方及び後側方などを視認していたと推測できる。図７は、ミラーにより確認可能な領域の一例を示す説明図である。車両３００の運転者は、左側のドアミラー３０３Ｌを介して左ミラー領域３０４Ｌを視認可能である。また、運転者は、右側のドアミラー３０３Ｒを介して右ミラー領域３０４Ｒを視認可能である。また、運転者は、バックミラー３０３Ｂを介してバックミラー領域３０４Ｂを視認可能である。

（ｄ）ＲＯＭ、ＲＡＭ、ＨＤＤ、Ｒ／Ｗ機器、通信Ｉ／Ｆ
ＲＯＭ２０２は、情報取得装置２００が行う各種制御プログラムを記憶している。

ＲＡＭ２０３は、ＲＯＭ２０２内の各種制御プログラム、各種フラグ、周辺情報取得機器２０５及び視線検出機器２０６から受信した各種情報を一時的に記憶する。

通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御に基づいて運転映像処理装置１００との間で、周辺情報、視線データ及び各種コマンドなどのデータの送受信を行う。

ＨＤＤ２０９ａは、補助記憶装置であり、情報取得装置２００が取得した各種情報を記憶する。

Ｒ／Ｗ機器２０９ｂは、外部の記憶装置に前記各種情報を書き込むか、あるいは外部の記憶装置に記憶された各種情報及びプログラムなどを読み出す。外部の記憶装置としては、例えば外付けのＨＤＤやコンピュータで読み取り可能な記録媒体が挙げられる。

（ｅ）ＣＰＵ
ＣＰＵ２０１は、ＲＯＭ２０２に記憶された各種制御プログラムをＲＡＭ２０３に展開し、各種制御を行う。例えば、ＣＰＵ２０１は、各種制御プログラムの実行により周辺情報取得機器２０５及び視線検出機器２０６などを制御し、周辺映像などの各種情報の取得を開始させる。

（２−３）運転教育用端末
運転教育用端末２５０は、安全運転教育を受けるユーザが使用する端末であり、この端末では、運転映像処理装置１００が生成した表示映像を視聴可能である。

運転教育用端末２５０は、例えば、ＣＰＵ２５１、ＲＯＭ２５２、ＲＡＭ２５３、入出力機器Ｉ／Ｆ２５４、通信Ｉ／Ｆ２５８、ＨＤＤ２６０ａ、Ｒ／Ｗ機器２６０ｂを有している。これらは、バス２５９を介して互いに接続されている。

（ａ）入出力機器
入出力機器Ｉ／Ｆ２５４は、ディスプレイ２５５、マウス２５６及びキーボード２５７などの入出力機器と接続されている。また、入出力機器Ｉ／Ｆ２５４は、マウス２５６及びキーボード２５７を介してユーザから前記表示映像の表示指示を受け付ける。入出力機器Ｉ／Ｆ２５４には、音声を出力するためのスピーカ等が接続されていても良い。

（ｂ）ディスプレイ
ディスプレイ２５５は、表示映像を出力であればどのような形態であっても良い。例えば、ディスプレイ２５５は、平板状の表示装置であっても良いし、湾曲又は屈曲可能な表示装置であっても良いし、複数の表示装置が組み合わせた構成であっても良い。

ディスプレイ２５５の表示領域には、運転者が窓３０６を介して観察した車窓表示映像が表示される車窓表示領域２６５が含まれる。さらに、ディスプレイ２５５の表示領域には、運転者がミラー３０３を介して観察したミラー表示映像が表示されるミラー表示領域２６６が含まれても良い。ここで、ディスプレイ２５５の表示領域に対する各ミラー表示領域２６６の位置は、視線原点Ｐ及び視線方向によって変わる。よって、後述の各種対応表ＤＢ１３１は、視線原点Ｐ及び視線方向毎に、表示領域における各ミラー表示領域の占有位置を記憶しており、この関係に基づいて車窓表示映像及びミラー表示映像がディスプレイ２５５に表示される。

（ｃ）その他
ＣＰＵ２５１は、ＲＯＭ２５２に記憶された各種制御プログラムをＲＡＭ２５３に展開し、運転映像処理装置１００から表示映像のデータを取得してディスプレイ２５５等に出力する。ＨＤＤ２６０ａは、例えば運転映像装置１００から取得した各種情報などを記憶している。その他の構成は、運転映像処理装置１００と概ね同様であるので、説明を省略する。

（３）機能構成
次に運転映像処理装置１００、情報取得装置２００及び運転教育用端末２５０の機能構成について説明する。

図８は、第１実施形態例にかかる各装置の機能構成を示すブロック図の一例である。なお、図８に示す各機能部の接続線は、データの流れの一例を示したものであり、全てのデータの流れを記載したものではない。

まず情報取得装置２００の機能構成について説明する。

（３−１）情報取得装置
情報取得装置２００の各ハードウェア構成が相互に連携してプログラムを実行することにより、情報取得装置２００は、後述の各機能部として機能する。

情報取得装置２００の機能部には、例えば、周辺情報取得部２２０、視線検出部２２１、送受信部２２２及び取得データＤＢ２２３などが含まれる。

（３−１−１）周辺情報取得部
周辺情報取得部２２０は、前述の図３に示す前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄからなる周辺情報取得機器２０５が撮影した周辺映像を取得し、取得データＤＢ２２３に格納する。

（３−１−２）視線検出部
視線検出部２２１は、視線検出機器２０６が検出した運転者の顔、眼球、虹彩などの映像に基づいて、視線原点Ｐ及び視線１５０の方向を示す視線ベクトル１５０ａを算出する。以下、本実施形態例では、視線方向を視線ベクトルと称する。

図９は視線原点Ｐ及び視線ベクトルの算出方法の一例を示す説明図である。例えば、視線検出部２２１は、顔、眼球、虹彩などの映像に基づいて顔の特徴点を算出し、予め記憶している運転者の顔の特徴量と比較する。次に、視線検出部２２１は、比較結果及び顔、眼球、虹彩の映像などに基づいて顔の向きを抽出するとともに、同図（ａ）に示す左の眼球１５２Ｌと右の眼球１５２Ｒとの中心位置を視線原点Ｐとして検出する。さらに、視線検出部２２１は、虹彩１５３ａの中心位置、つまり瞳孔１５３ｂの中心位置を算出する。最後に、視線検出部２２１は、視線原点Ｐ及び瞳孔１５３ｂの中心位置に基づいて視線ベクトル１５０ａを算出する。なお、運転者は頭を前後左右及び上下などに変更し得るため、空間座標系の中心点Ｏに対する視線原点Ｐの位置は頭の位置及び向き等に応じて変更される。

視線ベクトル１５０ａは、同図（ｂ）及び（ｃ）に示すように、視線ベクトル１５０ａとＸＹ平面との成す角である仰角θβと、視線ベクトル１５０ａとＹＺ平面との成す角である方位角θαと、により定義され得る。その他、視線ベクトル１５０ａは、車両３００の任意の中心点Ｏを原点とする空間座標系内の座標により定義され得る。

視線検出部２２１は、視線原点Ｐ及び視線ベクトル１５０ａを取得データＤＢ２２３に格納する。

（３−１−３）取得データＤＢ
取得データＤＢ２２３は、周辺情報及び視線検出部２２１が検出した視線データなどを記憶する。その他、取得データＤＢ２２３は、自車両３００の車種など、運転映像処理装置１００が表示映像を生成するために必要なあらゆる情報を格納している。取得データＤＢ２２３は、例えばＲＡＭ２０３、ＨＤＤ２０９ａ、外部の記録媒体などから構成され得る。

（３−１−４）送受信部
情報取得装置２００の送受信部２２４は、運転映像処理装置１００の送受信部１２０との間で、各種コマンド、周辺情報、視線データ及び自車両３００の車種などの各種データ等を送受信する。

（３−２）運転映像処理装置
運転映像処理装置１００の各ハードウェア構成が相互に連携してプログラムを実行することにより、運転映像処理装置１００は後述の各機能部として機能する。

本実施形態例の運転映像処理装置１００は、自車両３００の周辺映像から、運転者の視線原点Ｐ及び視線ベクトルに対応する視線映像を抽出する。この視線映像には、車窓を介した車窓映像及び／又はミラーを介したミラー映像が含まれる。運転映像処理装置１００は、運転者の視線を遮る自車両３００の車体領域を視線映像から切り取るか、あるいは、運転者の視線を遮っているピラーなどの車体映像を視線映像に重畳することで表示映像を生成する。

このような運転映像処理装置１００の機能部には、例えば、送受信部１２０、車窓映像生成部１２１、ミラー映像生成部１２２、遮蔽情報算出部１２３、視線処理部１２４及び表示映像生成部１２５などが含まれる。さらに、運転映像処理装置１００は、各種情報を記憶するために、周辺情報ＤＢ１２６、車窓映像ＤＢ１２７、ミラー映像ＤＢ１２８、遮蔽情報ＤＢ１２９、視線データＤＢ１３０及び各種対応表ＤＢ１３１などを含む。なお、各ＤＢは、例えばＲＡＭ１０３、ＨＤＤ１１０ａ、外部の記録媒体などから構成され得る。

（３−２−１）送受信部
運転映像処理装置１００の送受信部１２０は、情報取得装置２００の送受信部２２２との間で、各種データ及び各種コマンド等を送受信する。送受信部１２０は、情報取得装置２００が取得した周辺映像及び視線データなどの各種情報を取得データＤＢ２２３から送受信部２２２を介してリアルタイムで取得し、運転映像処理装置１００内の各ＤＢに取り込む。このとき、送受信部１２０は、取得データＤＢ２２３を介さずに、周辺情報取得部２２０及び視線検出部２２１から各種情報をリアルタイムに取得しても良い。あるいは、送受信部２２２は、情報取得装置２００の取得データＤＢ２２３に一連の運転に係る各種情報を一旦格納しておき、その後取得しても良い。つまり、リアルタイムに各種情報を取得するのではなく、一旦取得データＤＢ２２３に一連の運転に係る各種情報を格納しておき、一連の運転が終了した後に、送受信部２２２は取得データＤＢ２２３から各種情報を取得する。

また、送受信部１２０には、周辺映像を取得するための映像取得部と、視線データを取得するための視線取得部と、が含まれても良い。

（３−２−２）周辺情報ＤＢ
周辺情報ＤＢ１２６は、自車両周辺の周辺情報として、自車両周辺の周辺映像を情報取得装置２００から取得して記憶する。周辺映像には、前方カメラ２０５ａ、右側カメラ２０５ｂ、左側カメラ２０５ｃ及び後方カメラ２０５ｄからなる周辺情報取得機器２０５が撮影した映像が含まれる。

図１０は、周辺情報ＤＢの一例である。周辺情報ＤＢ１２６は、例えば、各フレームごとに、フレーム番号及び各カメラ２０５での映像データを記憶する。映像データには、前方カメラ２０５ａが撮影した前方映像、右側カメラ２０５ｂが撮影した右側映像、左側カメラ２０５ｃが撮影した左側映像及び後方カメラ２０５ｄが撮影した後方映像が含まれる。

（３−２−３）視線データＤＢ
視線データＤＢ１３０は、自車両の運転者の視線原点Ｐ及び視線ベクトル１５０ａを情報取得装置２００から取得し記憶する。

図１１は、視線データＤＢの一例である。視線データＤＢ１３０は、各フレームごとに、フレーム番号、視線原点Ｐ及び視線ベクトル１５０ａを情報取得装置２００から取得し記憶している。視線ベクトル１５０ａは、方位角θα及び仰角θβにより定義されている。なお、視線原点Ｐは、車両３００の任意の中心点Ｏを原点とする空間座標系内の座標により定義されても良い。

視線データＤＢ１３０は、さらに、後述の視線処理部１２４が算出した情報として、有効視野範囲、有効視野範囲内にミラーがあるか否か、有効視野範囲内にどのミラーがあるか、などを各フレームごとに記憶している。有効視野範囲とは、視線原点Ｐ及び視線ベクトルに対して、運転者が視認可能な範囲である。

（３−２−４）各種対応表ＤＢ
各種対応表ＤＢ１３１が記憶している各種対応付けについて、表示映像の生成方法の説明とともに説明する。

ここで、運転映像処理装置１００は、自車両３００の周辺映像を三次元投影面４００に投影し、この三次元投影面４００に投影された周辺映像から、運転者の視線原点Ｐ及び視線ベクトルに対応する車窓映像及びミラー映像を生成する。図１２は、三次元投影面に投影された周辺映像と、視線原点Ｐ及び視線ベクトルに対応する車窓映像及びミラー映像と、の位置関係を示す説明図である。

（ａ）各カメラの各画素の座標と三次元投影面の各座標との対応付け
まず、各カメラ２０５が撮影した映像データを処理して合成することで、図１２に示すような三次元投影面４００に投影された周辺映像が生成される。三次元投影面４００としては、一例として、自車両３００を中心にしたお椀形状の投影面を想定している。ここで、各種対応表ＤＢ１３１は、各カメラ２０５ａ〜２０５ｄの各画素の座標と、三次元投影面４００の各座標と、の対応付けを記憶している。よって、後述の車窓映像生成部１２１及びミラー映像生成部１２２は、各カメラ２０５ａ〜２０５ｄが取得した各画素の映像データを、前記対応付けに基づいて三次元投影面４００に座標変換し、三次元投影面４００に投影された周辺映像を生成する。

（ｂ）視線原点Ｐ及び視線ベクトルと車窓視野領域との対応付け
次に、視線原点Ｐ及び視線ベクトルと車窓視野領域との対応付けについて説明する。図１２に示すように、視線原点Ｐから視線ベクトル１５０ａが示す方向において運転者が観察可能な映像と、三次元投影面４００の周辺映像と、の位置関係が対応付けられている。

例えば、視線原点Ｐから視線ベクトル１５０ａ１が示す車窓視線方向は、車窓を介した自車両３００の前方方向である。また、視線原点Ｐから視線ベクトル１５０ａ１が示す前方方向の映像として、三次元投影面４００の周辺映像のうち前方車窓映像４００Ｆが対応付けられている。また、視線原点Ｐから延びる視線ベクトル１５０ａ１は、交点ＳＰａにおいて三次元投影面４００と交差する。交点ＳＰａは、運転者の視線の先の中心に相当し、前方車窓映像４００Ｆの中央部分に対応している。なお、車窓視線とは、車窓及び／又は車窓に相当する部分を介した直視による視線であり、車窓視線方向とは車窓視線により特定される方向である。一方、後述のミラー視線とは、ミラーを介した間接的な視線であり、視線原点Ｐ及び視線ベクトル１５０ａがミラー３０３により反射された後の視線である。

同様に、視線原点Ｐから視線ベクトル１５０ａ２が示す車窓視線方向は、車窓を介した自車両３００の右斜め前方向である。また、視線原点Ｐから視線ベクトル１５０ａ２が示す右斜め前方向の映像として、三次元投影面４００の周辺映像のうち右側車窓映像４００Ｒが対応付けられている。また、視線原点Ｐから延びる視線ベクトル１５０ａ２が三次元投影面４００と交差する交点ＳＰｂは、右側車窓映像４００Ｒの中央部分に対応している。

同様に、視線原点Ｐから視線ベクトル１５０ａ３が示す車窓視線方向は、車窓を介した自車両３００の左斜め前方向である。また、視線原点Ｐから視線ベクトル１５０ａ３が示す左斜め前方向の映像として、三次元投影面４００の周辺映像のうち左側車窓映像４００Ｌが対応付けられている。また、視線原点Ｐから延びる視線ベクトル１５０ａ３が三次元投影面４００と交差する交点ＳＰｃは、左側車窓映像４００Ｌの中央部分に対応している。

このように、視線原点Ｐ及び視線ベクトル１５０ａが示す車窓視線方向に応じて、三次元投影面４００において運転者が窓を介して観察可能な車窓視野領域の範囲が異なる。ここで、各種対応表ＤＢ１３１は、視線原点Ｐ及び視線ベクトル１５０ａと、三次元投影面４００での車窓視野領域と、の対応付けを記憶している。車窓視野領域とは、車窓及び車窓に相当する部分を介した場合の三次元投影面４００上での運転者の視野領域であり、かつ、運転者の車窓視線が自車両３００の車体により遮られていない場合の視野領域を言う。なお、車窓視野領域に相当する車窓映像に、後述のピラーなどによる車体の車窓遮蔽情報を付加すると、運転者の車窓視線が車体により遮られた場合の車窓表示映像が生成される。

図１３は、視線原点Ｐ及び視線ベクトルと、三次元投影面での車窓視野領域と、の対応付けの一例である。各種対応表ＤＢ１３１は、視線原点Ｐ及び視線ベクトル毎に、三次元投影面での車窓視野領域を対応付けて記憶している。例えば、視線原点Ｐ＝（Ｘ１、Ｙ１、Ｚ１）、視線ベクトル＝（θαａ、θβａ）の場合、車窓視野領域１ａが対応付けられている。車窓視野領域は、例えば自車両３００の中心点Ｏを原点とする空間座標系において、三次元投影面４００上での座標の集合、座標群の範囲を示す情報などにより表すことができる。

なお、図１３に示すように、各種対応表ＤＢ１３１は、視線原点Ｐ及び視線ベクトル毎に、三次元投影面との交点ＳＰを対応付けて記憶しても良い。

（ｃ）視線原点Ｐからの視線ベクトルと車窓遮蔽情報との対応付け
次に、運転者が自車両３００の窓から周辺を観察する場合、運転者の車窓視線は、自車両３００のピラーなどの車体に遮られる。運転者の車窓視線が遮られる領域は、視線原点Ｐ及び視線ベクトル１５０ａに応じて異なる。例えば、運転者の視線ベクトルが右斜め前方向である場合には、例えば右側ピラー３０７Ｒが運転者の視界の中心部分に位置するようになる。逆に、例えば、運転者の視線ベクトルが左斜め前方向である場合には、左側ピラー３０７Ｌが運転者の視界の中心部分に位置するようになる。

ここで、各種対応表ＤＢ１３１は、視線原点Ｐ及び視線ベクトル１５０ａと、運転者の車窓視線を遮る自車両３００の車体の車窓遮蔽情報と、を対応付けて記憶している。車窓遮蔽情報は、視線原点Ｐ及び視線ベクトル１５０ａに対応付けられた車窓視野領域の範囲において、運転者の視線を遮る情報である。また、車窓遮蔽情報には、運転者の車窓視線を遮る、自車両３００の車体の領域及び／又は車体映像が含まれる。なお、車体の領域は、例えばディスプレイ２５５の表示領域内の座標の集合、座標群の範囲を示す情報により表すことができる。また、車体映像は、例えばディスプレイ２５５の表示領域に表示される場合の映像データと、ディスプレイ上の座標と、の対応付けなどで構成され得る。なお、車体映像には、前側ピラー３０７F、ダッシュボード３０１、右側ピラー３０７Ｒ及び左側ピラー３０７Ｌなどの映像を含まれる。

図１４は、視線原点Ｐ及び視線ベクトルと、車窓遮蔽情報と、の対応付けの一例である。車種毎に車体構造が異なるため、各種対応表ＤＢ１３１は、車種毎に、視線原点Ｐ及び視線ベクトルと、車窓遮蔽情報と、を対応付けて記憶している。例えば、車種＝Ａ、視線原点Ｐ＝（Ｘ１、Ｙ１、Ｚ１）、視線ベクトル＝（θαａ、θβａ）の場合、車窓遮蔽情報Ａ１ａが対応付けられている。

（ｄ）視線原点Ｐとミラー視野領域との対応付け
運転者の視線原点Ｐ及び視線ベクトルに対して、有効視野範囲内にミラー３０３が存在する場合、運転者はそのミラー３０３を介して自車両３００の後方及び後側方などを視認可能である。ここで、各種対応表ＤＢ１３１は、ミラーの位置などのミラー情報及び視線原点Ｐと、運転者が視線原点Ｐからミラー３０３を介して視認可能なミラー視野領域と、を対応付けて格納している。

（ｄ−１）有効視野範囲
まず、有効視野範囲とミラーとの関係について説明する。本実施形態例の運転映像処理装置１００は、有効視野範囲内にいずれかのミラー３０３が存在していれば、その当該ミラー３０３を介したミラー表示映像をディスプレイ２５５に表示する。有効視野範囲とは、運転者の視線に対して視認可能な範囲であり、例えば視線原点Ｐから視線ベクトル１５０ａが示す方向を中心とする有効視野角θｅにより定義される。また、有効視野範囲は、自車両３００の中心点Ｏを原点とする空間座標系の座標の集合により定義され得る。

図１５は、有効視野範囲及びミラー間の関係と、ミラーを介して視認可能なミラー視認範囲と、を説明するための説明図であり、同図（ａ）〜（ｃ）は、ミラー３０３が有効視野範囲内に存在する場合の一例を示している。

同図（ａ）では、運転者の視線１５０が左側のドアミラー３０３Ｌに向かっており、運転者が直接、左側のドアミラー３０３Ｌを見ている。つまり、左側のドアミラー３０３Ｌは、有効視野範囲の中央部分に位置している。このとき、運転者の視線１５０は左側のドアミラー３０３Ｌにより反射され、ミラー視線１５５となる。つまり、視線原点Ｐからの視線ベクトル１５０ａは、左側のドアミラー３０３Ｌにより反射されてミラー視線ベクトル１５５ａとなる。左側のドアミラー３０３Ｌは所定の形状及び面積を有しており、運転者は、左側のドアミラー３０３Ｌを介して、自車両３００の後方及び後側方のうち、所定のミラー視認範囲の状況等を視認可能である。

同図（ｂ）では、運転者の視線ベクトル１５０ａは運転者の体に対して前方に向いており、ミラー３０３の方向には向かっていない。しかし、右側のドアミラー３０３Ｒ及び左側のドアミラー３０３Ｌは、視線ベクトル１５０ａを中心とする有効視野角θｅ１で定義される有効視野範囲内に存在している。そのため、運転映像処理装置１００は、運転者が、右側のドアミラー３０３Ｒ及び左側のドアミラー３０３Ｌを介して、自車両３００の後方及び後側方のうち、所定のミラー視認範囲の状況等を視認可能であると推定する。ここで、同図（ｂ）の場合の有効視野角θｅ１は、水平面であるＸＹ面内での角度で表される。

有効視野角θｅは、ＸＹ面内での角度θｅ１だけでなく、ＸＹ面との成す角によっても定義することができる。同図（ｃ）では、運転者の視線ベクトル１５０ａは、ＸＹ面に対して所定の角度を有しており、バックミラー３０３Ｂは、視線ベクトル１５０ａを中心とする有効視野角θｅ２で定義される有効視野範囲内に存在している。よって、運転映像処理装置１００は、運転者が、バックミラー３０３Ｂを介して、自車両３００の後方及び後側方のうち、所定のミラー視認範囲の状況等を視認可能であると推定する。

なお、視線ベクトル１５０ａに対してＸＹ面内での有効視野角θｅ１の範囲内にミラー３０３が存在していても、ＸＹ面内との成す有効視野角θｅ２の範囲内にミラー３０３が存在していない場合がある。その場合には、運転映像処理装置１００は、そのミラー３０３を視認していないと判断しても良い。例えば、バックミラー３０３Ｂは、視線原点Ｐ及び視線ベクトル１５０ａ対して有効視野角θｅ１内に存在しているが、有効視野角θｅ２内に存在していないとする。この場合、運転映像処理装置１００は、例えば運転者の視線が下方に向かっており、運転者はバックミラー３０３Ｂを視認していない判断する。

（ｄ−２）ミラー視認範囲
次にミラー視認範囲について説明する。視線処理部１２４は、車種と、ミラー位置、ミラー角度及びミラー形状等を含むミラー情報と、視線原点Ｐと、に基づいて仮想視線原点ＶＰ及びミラー視野画角θｍを算出する。ミラー視認範囲は、これらの仮想視線原点ＶＰ及びミラー視野画角θｍなどにより決定される。ここで、仮想視線原点ＶＰとは、ミラー３０３を介して運転者が視認可能なミラー視認範囲を決定するための原点である。ミラー視野画角θｍとは、仮想視線原点ＶＰを原点としたミラー視認範囲を定義する角度である。

例えば、図１５（ａ）の場合、左側のドアミラー３０３Ｌが有効視野範囲にあり、ミラー視認範囲は、仮想視線原点ＶＰを原点とした、ミラー視線ベクトル１５５ａ１とミラー視線ベクトル１５５ａ２との成すミラー視野画角θｍＬで定義される。なお、ミラー視線ベクトル１５５ａ１、１５５ａ２は、運転者が左側のドアミラー３０３Ｌを介して視認可能な範囲の最終端のベクトルであり、視認不可能な範囲との境界のベクトルである。また、例えば、同図（ｂ）の場合、右側のドアミラー３０３Ｒ及び左側のドアミラー３０３Ｌが有効視野範囲にある。この場合、ミラー視認範囲には、右側のドアミラー３０３Ｒによるミラー視認範囲と、左側のドアミラー３０３Ｌによるミラー視認範囲と、が含まれる。左側のドアミラー３０３Ｌによるミラー視認範囲は、同図（ａ）の場合と同様である。右側のドアミラー３０３Ｒによるミラー視認範囲は、仮想視線原点ＶＰを原点とした、ミラー視線ベクトル１５５ａ３とミラー視線ベクトル１５５ａ４との成すミラー視野画角θｍＲで定義される。なお、ミラー視線ベクトル１５５ａ３、１５５ａ４は、右側のドアミラー３０３Ｒを介して視認可能な範囲の最終端のベクトルである。

ここで、各種対応表ＤＢ１３１は、車種毎に、ミラー情報及び視線原点Ｐと、仮想視線原点ＶＰ及びびミラー視野画角θｍと、を対応付けて記憶している。ミラー映像生成部１２２は、この対応付けに基づいて仮想視線原点ＶＰ及びミラー視野画角θｍを算出し、ミラー視認範囲を算出可能である。図１６は、車種毎の、ミラー情報及び視線原点Ｐと、仮想視線原点ＶＰ、ミラー視野画角θｍ、ミラー視野領域及びミラー遮蔽情報と、の対応付けの一例である。なお、図１６では、一例として、ミラー情報は、ミラー３０３の位置と、ミラーの取り付け角度を示す方位角θγ及び仰角θδで定義される角度と、により定義される。例えば、車種＝Ａ、ミラー位置＝（Ｘｍ１、Ｙｍ１、Ｚｍ１）、ミラー角度＝（θγａ、θδａ）及び視線原点Ｐ＝（Ｘ１、Ｙ１、Ｚ１）の場合、仮想視線原点ＶＰ＝（ＸＡ１ａ、ＹＡ１ａ、ＺＡ１ａ）及びミラー角度＝θｍＡ１ａが対応付けられている。

（ｄ−３）ミラー視野領域
次にミラー視野領域について説明する。後述のミラー映像生成部１２２は、ミラー情報及び視線原点Ｐに基づいて仮想視線原点ＶＰ及びミラー視野画角θｍを上記の通り算出し、これらに基づいて、三次元投影面４００におけるミラー視野領域を算出することができる。

ただし、このような処理によりミラー視野領域を算出することもできるが、本実施形態例では、後述の通り、車種毎のミラー情報及び視線原点Ｐと、三次元投影面４００での各ミラー視野領域と、の対応付けに基づいてミラー視野領域を算出するものとする。

ここで、ミラー視野領域とは、ミラー３０３を介した場合の三次元投影面４００上での運転者の視野領域であり、かつ、ミラー３０３により反射されたミラー視線１５５が自車両３００の車体により遮られていない場合の視野領域を言う。なお、ミラー視野領域に相当するミラー映像に、後述のピラーなどによる車体のミラー遮蔽情報を付加すると、運転者の視線が車体により遮られた場合のミラー表示映像が生成される。

再び図１２を用いて、各ミラー３０３Ｒ、３０３Ｌ及び３０３Ｂにより視認可能な各ミラー視野領域について説明する。

例えば、視線原点Ｐから視線ベクトル１５０ａが示す方向により定義される有効視野範囲内に右側のドアミラー３０３Ｒがあるとする。この場合、右側のドアミラー３０３Ｒを介したミラー視認範囲の映像として、三次元投影面４００の周辺映像のうち右側ミラー映像４００ＭＲが対応付けられている。同様に、有効視野範囲内に左側のドアミラー３０３Ｌがある場合、左側のドアミラー３０３Ｌを介したミラー視認範囲の映像として、三次元投影面４００の周辺映像のうち左側ミラー映像４００ＭＬが対応付けられている。同様に、有効視野範囲内にバックミラー３０３Ｂがある場合、バックミラー３０３Ｂを介したミラー視認範囲の映像として、三次元投影面４００の周辺映像のうちバックミラー映像４００ＭＢが対応付けられている。

このように、有効視野範囲内に存在するミラー３０３に応じて、三次元投影面４００において運転者がミラー３０３を介して観察可能なミラー視野領域が異なる。ここで、各種対応表ＤＢ１３１は、前述の図１６に示すように、車種毎に、ミラー情報及び視線原点Ｐと、三次元投影面４００での各ミラー視野領域と、の対応付けを記憶している。例えば、車種＝Ａ、ミラー位置＝（Ｘｍ１、Ｙｍ１、Ｚｍ１）、ミラー角度＝（θγａ、θδａ）及び視線原点Ｐ＝（Ｘ１、Ｙ１、Ｚ１）であるとする。この場合、バックミラー３０３Ｂ、右側のドアミラー３０３Ｒ及び左側のドアミラー３０３Ｌに対して、バックミラー視野領域Ａ１ａ、右側ドアミラー視野領域Ａ１ａ及び左側ドアミラー視野領域Ａ１ａが対応付けられている。ミラー視野領域は、例えば自車両３００の中心点Ｏを原点とする空間座標系において、三次元投影面４００上での座標の集合、座標群の範囲を示す情報などにより表すことができる。

後述の視線処理部１２４は、視線原点Ｐ及び視線ベクトルに基づいて、視線データＤＢ１３０から有効視野範囲内のミラー３０３を特定する。さらに、ミラー映像生成部１２２は、前記視線原点Ｐに対応する３つのミラー視野領域のうち、有効視野範囲内のミラー３０３のミラー視野領域を読み出してミラー映像を生成する。

（ｅ）視線原点Ｐとミラー遮蔽情報との対応付け
運転者が自車両３００のミラー３０３を介して周辺を観察する場合、運転者のミラー３０３により反射されたミラー視線１５５は、自車両３００のピラーなどの車体に遮られる。また、窓による反射によっても運転者のミラー視線１５５は遮られ得る。

ここで、各種対応表ＤＢ１３１は、前述の図１６に示すように、車種毎に、ミラー情報及び視線原点Ｐと、運転者のミラー視線１５５を遮る自車両３００の車体のミラー遮蔽情報と、を対応付けて記憶している。ミラー遮蔽情報には、運転者のミラー視線１５５を遮る、自車両３００の車体の領域及び／又は車体映像が含まれる。例えば、車種＝Ａ、ミラー位置＝（Ｘｍ１、Ｙｍ１、Ｚｍ１）、ミラー角度＝（θγａ、θδａ）及び視線原点Ｐ＝（Ｘ１、Ｙ１、Ｚ１）の場合、バックミラー遮蔽情報Ａ１ａ、右側ミラー遮蔽情報Ａ１ａ及び左側ミラー遮蔽情報Ａ１ａが対応付けられている。

（ｆ）ディスプレイの表示領域におけるミラー表示領域の位置
次に、前述の図１２と、図１７〜図１９と、を用いて、ディスプレイ２５５の表示領域に対する、ミラー表示領域２６６の位置について説明する。図１７〜図１９は、三次元投影面上の車窓映像及びミラー映像と、ディスプレイの表示領域と、の関係を示す説明図である。

運転映像処理装置１００は、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、三次元投影面４００上の周辺映像から車窓映像及び／又はミラー映像を生成する。さらに、運転映像処理装置１００は、車窓映像及び／又はミラー映像に、車窓遮蔽情報及び／又はミラー遮蔽情報を付加した表示映像を生成する。ディスプレイ２５５の表示領域は、車窓表示領域２６５とミラー表示領域２６６とを含む。ミラー表示領域２６６は、ディスプレイ２５５の表示領域の一部の領域であり、車窓表示領域２６５は、ミラー表示領域２６６を除くディスプレイ２５５の表示領域である。車窓表示領域２６５には、車窓映像及び車窓遮蔽情報からなる車窓表示映像が表示される。また、ミラー表示領域２６６には、ミラー映像及びミラー遮蔽情報からなるミラー表示映像が表示される。ここで、視線原点Ｐ及び視線ベクトル１５０ａが変わると、運転者の視界におけるミラー３０３の位置も変わる。よって、ディスプレイ２５５の表示領域における、ミラー表示領域２６６の位置も変わる。

例えば、図１２において、運転者が前方を向いており、運転者の視線データが、視線原点Ｐ及び視線ベクトル１５０ａ１であり、有効視野範囲にバックミラー３０３Ｂがあるとする。運転者は、前方車窓映像４００Ｆ及びバックミラー映像４００ＭＢを視認可能である。このとき、図１７に示すように、前方車窓映像４００Ｆは、ディスプレイ２５５の表示領域内の車窓表示領域２６５に表示される。また、バックミラー映像４００ＭＢは、ディスプレイ２５５の表示領域内のバックミラー表示領域２６６Ｂに表示される。このとき、運転者の視線と三次元投影面４００との交点ＳＰａは、ディスプレイ２５５の表示領域の中央部の点ＳＰａ’に座標変換される。また、バックミラー映像４００ＭＢの点ＭＰａは、バックミラー表示領域２６６Ｂの点ＭＰａ’に座標変換される。

また、図１２において、運転者が右斜め前方向を向いており、運転者の視線データが、視線原点Ｐ及び視線ベクトル１５０ａ２であり、有効視野範囲にバックミラー３０３Ｂ及び右側のドアミラー３０３Ｒがあるとする。運転者は、右側車窓映像４００Ｒ、バックミラー映像４００ＭＢ及び右側ミラー映像４００ＭＲを視認可能である。このとき、図１８に示すように、右側車窓映像４００Ｒは、車窓表示領域２６５に表示される。また、バックミラー映像４００ＭＢは、ディスプレイ２５５の表示領域内のバックミラー表示領域２６６Ｂに表示される。さらに、右側ミラー映像４００ＭＲは、右側ミラー表示領域２６６Ｒに表示される。このとき、運転者の視線と三次元投影面４００との交点ＳＰｂは、ディスプレイ２５５の表示領域の中央部の点ＳＰｂ’に座標変換される。また、バックミラー映像４００ＭＢの点ＭＰａは、バックミラー表示領域２６６Ｂの点ＭＰａ’に座標変換される。また、右側ミラー映像４００ＭＲの点ＭＰｂは、右側ミラー表示領域２６６Ｒの点ＭＰｂ’に座標変換される。

また、図１２において、運転者が左斜め前方向を向いており、運転者の視線データが、視線原点Ｐ及び視線ベクトル１５０ａ３であり、有効視野範囲にバックミラー３０３Ｂ及び左側のドアミラー３０３Ｌがあるとする。運転者は、左側車窓映像４００Ｌ、バックミラー映像４００ＭＢ及び左側ミラー映像４００ＭＬを視認可能である。このとき、図１９に示すように、左側車窓映像４００Ｌは、車窓表示領域２６５に表示される。また、バックミラー映像４００ＭＢはバックミラー表示領域２６６Ｂに、左側ミラー映像４００ＭＬは左側ミラー表示領域２６６Ｌに表示される。このとき、運転者の視線と三次元投影面４００との交点ＳＰｃは、ディスプレイ２５５の表示領域の中央部の点ＳＰｃ’に座標変換される。また、バックミラー映像４００ＭＢの点ＭＰａはバックミラー表示領域２６６Ｂの点ＭＰａ’に、左側ミラー映像４００ＭＬの点ＭＰｃは左側ミラー表示領域２６６Ｌの点ＭＰｃ’に座標変換される。

このように、視線原点Ｐ及び視線ベクトルに応じて、ディスプレイ２５５の表示領域におけるミラー表示領域２６６の位置も変わる。ここで、各種対応表ＤＢ１３１は、図２０に示すように、視線原点Ｐ及び視線ベクトルと、各ミラー表示領域と、の対応付けを記憶している。図２０は、視線原点Ｐ及び視線ベクトルと、各ミラー表示領域と、の対応付けの一例である。例えば、視線原点Ｐ＝（Ｘ１、Ｙ１、Ｚ１）、視線ベクトル＝（θαａ、θβａ）の場合、バックミラー表示領域２６６Ｂ及び右側ミラー表示領域２６６Ｒが対応付けられている。

（ｇ）その他
各種対応表ＤＢ１３１は、その他、運転映像処理装置１００が表示映像の生成に用いる、例えば表示映像の生成対象の車両の車種、有効視野角θｅの角度などあらゆる情報を記憶している。有効視野角θｅは、例えば、一般的な運転者が視認可能な視野角に設定されている。

また、各種対応表ＤＢ１３１の対応付けは、例えばカメラで撮影した映像を三次元投影面４００に投影する際の歪み補正、三次元投影面４００上に投影された周辺映像をディスプレイ２５５上に変換する際の歪み補正なども考慮して行われている。

また、各種対応表ＤＢ１３１は、前述の各種対応付けを、例えば数式により記憶していても良い。例えば、図１３の視線原点Ｐ及び視線ベクトルと、三次元投影面４００上での車窓視野領域と、の関係が数式により規定されて格納されていても良い。

また、上記対応付けはあくまでも一例であり、例えばより細分化した対応付けも可能であるし、より大まかな対応付けも可能である。

（３−２−５）視線処理部
視線処理部１２４は、前述の図１５に示すように、有効視野範囲を算出し、有効視野範囲内にミラー３０３があるか否かを判定する。

視線処理部１２４は、視線データＤＢ１３０からフレーム毎に視線原点Ｐ及び視線ベクトル１５０ａを読み出し、視線原点Ｐ、視線ベクトル１５０ａ及び所定角度の有効視野角θｅに基づいて有効視野範囲を算出する。有効視野範囲は、図１５（ｂ）、（ｃ）に示されるように、例えば視線原点Ｐから延在する視線ベクトル１５０を中心とする有効視野角θｅにより定義され、例えば空間座標系の座標の集合により定義され得る。

次に、視線処理部１２４は、例えば自車両３００の各ミラー３０３のミラー位置に基づいて、図１５（ｂ）、（ｃ）に示すように、有効視野範囲内にどのミラー３０３が存在するか否かを判定する。例えば、左側のドアミラー３０３Ｌのミラー位置を示す座標が、有効視野範囲を定義する座標の集合に含まれる場合には、視線処理部１２４は、左側のドアミラー３０３Ｌが有効視野範囲内に含まれると判定する。

視線処理部１２４は、有効視野範囲及び前記判定結果を視線データＤＢ１３０に格納する。視線データＤＢ１３０には、前述の図１１に示すように、フレーム毎に有効視野範囲と、有効視野範囲内に存在するミラーの種類と、いずれのミラーも有効視野範囲内に存在しない場合には“ＮＯ”が格納されている。例えば、フレーム番号３のフレームでは、視線原点Ｐ＝（ＸＰ３、ＹＰ３、ＺＰ３）、視線ベクトル＝（θα＿３、θβ＿３）である。この場合、有効視野範囲＝範囲＿３であり、有効視野範囲内にバックミラー３０３Ｂ及び左側のドアミラー３０３Ｒが存在している。一方、フレーム番号４のフレームでは、視線原点Ｐ＝（ＸＰ４、ＹＰ４、ＺＰ４）、視線ベクトル＝（θα＿４、θβ＿４）であるが、有効視野範囲内＝範囲＿４にはミラー３０３が無いため、“ＮＯ”が格納されている。

（３−２−６）車窓映像生成部、車窓映像ＤＢ
車窓映像生成部１２１は、自車両３００の周辺映像から、運転者の視線原点Ｐ及び視線ベクトルに対応する車窓映像を生成する。

例えば、車窓映像生成部１２１は、着目するフレームの周辺情報を図１０の周辺情報ＤＢ１２６から読み出し、図１２に示すように三次元投影面４００に投影する。また、車窓映像生成部１２１は、着目するフレームについて、図１１の視線データＤＢ１３０から視線原点Ｐ及び視線ベクトル１５０ａを読み出す。次に、車窓映像生成部１２１は、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、図１３の各種対応表ＤＢ１３１から三次元投影面４００での車窓視野領域を読み出す。最後に、車窓映像生成部１２１は、自車両３００の周辺映像が投影された三次元投影面４００から、前記車窓視野領域に対応する映像を抽出し、ディスプレイ２５５の車窓表示領域２６５に表示可能な車窓映像に加工する。

車窓映像ＤＢ１２７は、車窓映像生成部１２１が生成した車窓映像を記憶する。図２１は、車窓映像ＤＢの一例である。車窓映像ＤＢ１２７は、フレーム毎に車窓映像を記憶している。

（３−２−７）ミラー映像生成部、ミラー映像ＤＢ
ミラー映像生成部１２２は、着目するフレームにおいて、有効視野範囲にいずれかのミラー３０３が存在する場合には、そのミラー３０３により視認可能なミラー映像を生成する。

例えば、ミラー映像生成部１２２は、車窓映像生成部１２１と同様に着目するフレームの周辺情報を三次元投影面４００に投影する。あるいは、ミラー映像生成部１２２は、車窓映像生成部１２１が生成した三次元投影面４００の周辺映像を用いても良い。

また、ミラー映像生成部１２２は、図１１の視線データＤＢ１３０から、着目するフレームについて、視線原点Ｐと、有効視野範囲にどのミラー３０３が存在するかについての情報と、を読み出す。次に、ミラー映像生成部１２２は、視線原点Ｐと、有効視野範囲に存在するミラー３０３と、に基づいて、図１６の各種対応表ＤＢ１３１から、対応するミラーのミラー視野領域を読み出す。例えば、ミラー映像生成部１２２が、ある視線原点Ｐ及び視線ベクトルについて視線データＤＢ１３０を参照し、有効視野範囲内にバックミラー３０３Ｂ及び右側のドアミラー３０３Ｒが存在すると判断したとする。その場合には、ミラー映像生成部１２２は、図１６の各種対応表ＤＢ１３１を参照し、該当する視線原点Ｐに対応付けられた３つのミラー３０３視野領域のうち、バックミラー視野領域及び右側視野領域を読み出す。

最後に、ミラー映像生成部１２２は、自車両３００の周辺映像が投影された三次元投影面４００から、各ミラー視野領域に対応する各映像を抽出し、ディスプレイ２５５の各ミラー表示領域２６６に表示可能なミラー映像に加工する。

なお、ミラー映像生成部１２２は、図１１の視線データＤＢ１３０を参照して、有効視野範囲にミラー３０３が存在しないと判断した場合には、ミラー映像を生成しない。

ミラー映像ＤＢ１２８は、ミラー映像生成部１２２が生成したミラー映像を記憶する。図２２は、ミラー映像ＤＢの一例である。ミラー映像ＤＢ１２８は、フレーム毎に、有効視野範囲内に存在するミラー３０３の種類と、ミラー映像と、を記憶している。有効視野範囲内に複数のミラー３０３が存在する場合には、１フレームに各ミラーのミラー映像をそれぞれ格納している。また、有効視野範囲内にいずれのミラー３０３も存在しない場合には、“ＮＯ”が格納されている。

（３−２−８）遮蔽情報生成部、遮蔽情報ＤＢ
遮蔽情報生成部１２３は、運転者の視線を遮る自車両３００の車体の遮蔽情報を生成する。遮蔽情報は、運転者の車窓視線を遮る車窓遮蔽情報と、ミラー３０３により反射された運転者のミラー視線を遮るミラー遮蔽情報と、を含む。

例えば、遮蔽情報生成部１２３は、着目するフレームについて、図１１の視線データＤＢ１３０から視線原点Ｐ及び視線ベクトル１５０ａを読み出す。また、遮蔽情報生成部１２３は、該当する自車両の車種、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、図１４の各種対応表ＤＢ１３１から車窓遮蔽情報を読み出し、遮蔽情報ＤＢ１２９に格納する。

さらに、遮蔽情報生成部１２３は、着目するフレームについて、図１１の視線データＤＢ１３０から、有効視野範囲にどのミラー３０３が存在するかについての情報を読み出す。遮蔽情報生成部１２３は、視線原点Ｐと、有効視野範囲に存在するミラー３０３と、に基づいて、図１６の各種対応表ＤＢ１３１から、対応するミラー３０３のミラー遮蔽情報を読み出し、遮蔽情報ＤＢ１２９に格納する。

図２３は、遮蔽情報ＤＢの一例である。遮蔽情報ＤＢ１２９は、フレーム毎に、車窓遮蔽情報、有効視野範囲内に存在するミラー３０３の種類と、ミラー遮蔽情報と、を記憶している。有効視野範囲内に複数のミラー３０３が存在する場合には、１フレームに各ミラー３０３のミラー遮蔽情報をそれぞれ格納している。また、有効視野範囲内にいずれのミラー３０３も存在しない場合には、“ＮＯ”が格納されている。

（３−２−９）表示映像生成部
（ａ）車窓表示映像の生成
表示映像生成部１２５は、各フレーム毎に、車窓映像ＤＢ１２７の車窓映像及び遮蔽情報ＤＢ１２９の車窓遮蔽情報に基づいて車窓表示映像を生成する。例えば、フレーム番号１のフレームの場合、表示映像生成部１２５は、図２１の車窓映像ＤＢ１２７から車窓映像＿１を読み出す。また、表示映像生成部１２５は、図２３の遮蔽情報ＤＢ１２９からフレーム番号１の車窓遮蔽情報＿１を読み出す。表示映像生成部１２５は、これらの車窓映像＿１及び車窓遮蔽情報＿１に基づいてフレーム番号１での車窓表示映像＿１を生成する。このとき、表示映像生成部１２５は、運転者の視線を遮っているピラーなどの車体領域である車窓遮蔽情報を、車窓映像から除去することで車窓表示映像を生成する。あるいは、例えば、表示映像生成部１２５は、自車両周辺への運転者の視線を遮っているピラーなどの車体映像である車窓遮蔽情報を、車窓映像に重畳することで車窓表示映像を生成する。

図２４は車窓表示映像に使用する映像例であり、図２５〜図２７は車窓表示映像の一例である。図２４に示すように、自車両３００は車線６００上を走行している。自車両３００の前方には、車線６００上に他車両５００ａが走行しており、自車両の右斜め前方には、車線６０１上に他車両５００ｂが走行している。また、歩道６０２上には歩行者５００ｃが歩いている。

図２４の状態において、前述の図１２の視線原点Ｐ及び視線ベクトル１５０ａ１に示すように、運転者が前方を向いているものとする。この場合には、表示映像生成部１２５は、図２５（ａ）に示す車窓映像を生成する。同図（ａ）には、他車両５００ａ、５００ｂ及び歩行者５００ｃを含む車窓映像が表示されている。さらに、同図（ａ）の車窓映像に車窓遮蔽情報が合成されると、同図（ｂ）に示す車窓表示映像となる。同図（ｂ）では、車窓映像から、視線を遮っている車体領域が除去されて車窓表示映像が生成されている。視線を遮っている車体領域は斜線で示されており、運転者が観察できなかった部分である。同図（ｂ）での車体領域は、例えば、前側ピラー３０７Ｆによる車体領域２８０Ｆ、右側ピラー３０７Ｒによる車体領域２８０Ｒ、左側ピラー３０７Ｌによる車体領域２８０Ｌ及びダッシュボード３０１による車体領域２８０Ｄを含む。なお、点ＳＰａ’は、ディスプレイ２５５の表示領域の中央部分である。

また、図２４の状態において、前述の図１２の視線原点Ｐ及び視線ベクトル１５０ａ２に示すように、運転者が右斜め前を向いているものとする。この場合には、表示映像生成部１２５は、図２６（ａ）に示す車窓映像を生成する。同図（ａ）には、他車両５００ａ、５００ｂを含む車窓映像が表示されている。さらに、同図（ａ）の車窓映像に車窓遮蔽情報が合成されると、同図（ｂ）に示す車窓表示映像となる。同図（ｂ）での車体領域は、例えば、前側ピラー３０７Ｆによる車体領域２８０Ｆ、右側ピラー３０７Ｒによる車体領域２８０Ｒ及びダッシュボード３０１による車体領域２８０Ｄを含む。

さらに、図２４の状態において、前述の図１２の視線原点Ｐ及び視線ベクトル１５０ａ３に示すように、運転者が左斜め前を向いているものとする。この場合には、表示映像生成部１２５は、図２７（ａ）に示す車窓映像を生成する。同図（ａ）には、他車両５００ａ及び歩行者５００ｃを含む車窓映像が表示されている。さらに、同図（ａ）の車窓映像に車窓遮蔽情報が合成されると、同図（ｂ）に示す車窓表示映像となる。同図（ｂ）での車体領域は、例えば、前側ピラー３０７Ｆによる車体領域２８０Ｆ、左側ピラー３０７Ｌによる車体領域２８０Ｌ及びダッシュボード３０１による車体領域２８０Ｄを含む。

（ｂ）ミラー表示映像の生成
表示映像生成部１２５は、有効視野範囲内にミラーが存在している場合には、ミラー映像ＤＢ１２８のミラー映像及び遮蔽情報ＤＢ１２９のミラー遮蔽情報に基づいてミラー表示映像を生成する。例えば、図２２を参照すると、フレーム番号１のフレームの場合、有効視野範囲内にミラーが存在していないため、表示映像生成部１２５はミラー表示映像を生成しない。一方、表示映像生成部１２５は、フレーム番号２のフレームの場合、図２２のミラー映像ＤＢ１２８からバックミラー映像＿２を読み出す。また、表示映像生成部１２５は、図２３の遮蔽情報ＤＢ１２９からフレーム番号２のバックミラー遮蔽情報＿２を読み出す。表示映像生成部１２５は、これらのミラー映像＿２及びミラー遮蔽情報＿２に基づいてフレーム番号２でのミラー表示映像＿２を生成する。ミラー映像及びミラー遮蔽情報からのミラー表示映像の生成方法は、前述の車窓表示映像と同様である。

（ｃ）車窓表示映像及びミラー表示映像の合成
表示映像生成部１２５は、車窓表示映像及びミラー表示映像を合成し、表示映像を生成する。

例えば、表示映像生成部１２５は、図１１の視線データＤＢ１３０から視線原点Ｐ及び視線ベクトルを読み出す。また、表示映像生成部１２５は、図２０の各種対応表ＤＢ１３１から、視線原点Ｐ及び視線ベクトルに基づいて、ミラー表示領域を読み出す。そして、表示映像生成部１２５は、ミラー表示領域に基づいて、車窓表示映像にミラー表示映像を重畳することで、表示映像を生成する。

図２８は、図２６（ｂ）のバックミラー表示領域２６６Ｂにバックミラー映像が重畳された表示映像の一例である。また、図２９は、図２６（ｂ）の右側ミラー表示領域２６６Ｒに右側ミラー映像が重畳された表示映像の一例である。このように、表示映像生成部１２５は、有効視野領域内に存在するミラー３０３のミラー表示領域には、ミラー映像が重畳された表示映像を生成する。一方、表示映像生成部１２５は、有効視野範囲内に存在しないミラー３０３のミラー表示領域については、ミラー映像は重畳しない。

（３−３）運転教育用端末
図８の運転教育用端末２５０の機能部には、例えば送受信部２７０及び表示制御部２７１が含まれる。運転教育用端末２５０は、マウス２５６及びキーボード２５７を介して、視聴者から所望の表示映像の表示指示を受け付ける。送受信部２７０は、表示映像の表示指示を運転映像処理装置１００の表示映像生成部１２５に出力する。また、送受信部２７０は、表示映像生成部１２５から所望の表示映像を受信し、表示制御部２７１は前記表示映像をディスプレイ２５５に表示する。

（４）処理の流れ
以下に、第１実施形態例にかかる運転映像処理装置１００が実行する処理の流れを説明する。

図３０は、第１実施形態例にかかる運転映像処理装置が実行する処理の流れの一例を示すフローチャートである。運転映像処理装置１００は、周辺情報及び視線データをフレーム毎に情報取得装置２００から取得し、周辺情報ＤＢ１２６及び視線データＤＢ１３０に格納している。以下の処理は例えば各フレームごとに実行される。

ステップＳ１、Ｓ２：運転映像処理装置１００は、フレーム番号ｉを０から順次加算する。

ステップＳ３：車窓映像生成部１２１、ミラー映像生成部１２２は、着目するフレーム番号ｉについて、周辺情報ＤＢ１２６から周辺情報を読み出し、視線データＤＢ１３０から視線データを読み出す。また、遮蔽情報算出部１２３、視線処理部１２４及び表示映像生成部１２５は、着目するフレーム番号ｉについて、視線データＤＢ１３０から視線データを読み出す。

ステップＳ４：車窓映像生成部１２１は、着目するフレームの周辺情報を三次元投影面４００に投影する。

ステップＳ５：車窓映像生成部１２１は、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、各種対応表ＤＢ１３１から三次元投影面４００での車窓視野領域を読み出す。次に、車窓映像生成部１２１は、周辺映像が投影された三次元投影面４００から、車窓視野領域に対応する映像を抽出する。また、車窓映像生成部１２１は、抽出した映像をディスプレイ２５５の車窓表示領域２６５に表示可能な車窓映像に加工し、車窓映像ＤＢ１２７に格納する。

ステップＳ６：遮蔽情報生成部１２３は、該当する自車両の車種、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、各種対応表ＤＢ１３１から車窓遮蔽情報を読み出し、遮蔽情報ＤＢ１２９に格納する。

ステップＳ７：表示映像生成部１２５は、着目するフレーム番号ｉについて、車窓映像ＤＢ１２７の車窓映像及び遮蔽情報ＤＢ１２９の車窓遮蔽情報を読み出し、車窓映像及び車窓遮蔽情報を合成して車窓表示映像を生成する。

ステップＳ８：視線処理部１２４は、図１５（ｂ）、（ｃ）に示すように、視線原点Ｐ及び視線ベクトル１５０ａと、所定角度の有効視野角θｅと、に基づいて有効視野範囲を算出する。次に、視線処理部１２４は、例えば自車両３００の車種に対応するミラー位置に基づいて、有効視野範囲内にどのミラー３０３が存在するか否かを判定する。いずれかのミラー３０３が有効視野範囲内にある場合には、ステップＳ９に進む。いずれのミラー３０３０も有効視野範囲内に無い場合には、ステップＳ１２に進む。

ステップＳ９：ミラー映像生成部１２２は、視線原点Ｐと、有効視野範囲に存在するミラー３０３と、に基づいて、各種対応表ＤＢ１３１から、対応するミラーのミラー視野領域を読み出す。なお、有効視野範囲内に存在するミラー３０３の情報は、視線データＤＢ１３０内の視線データに含まれている。ミラー映像生成部１２２は、周辺映像が投影された三次元投影面４００から、各ミラー視野領域に対応する各映像を抽出する。また、ミラー映像生成部１２２は、抽出した映像をディスプレイ２５５のミラー表示領域２６６に表示可能なミラー映像に加工し、ミラー映像ＤＢ１２８に格納する。

ステップＳ１０：遮蔽情報生成部１２３は、視線原点Ｐと、有効視野範囲に存在するミラー３０３と、に基づいて、各種対応表ＤＢ１３１から対応するミラーのミラー遮蔽情報を読み出し、遮蔽情報ＤＢ１２９に格納する。

ステップＳ１１：表示映像生成部１２５は、着目するフレーム番号ｉについて、ミラー映像ＤＢ１２８のミラー映像及び遮蔽情報ＤＢ１２９のミラー遮蔽情報を読み出し、ミラー映像及びミラー遮蔽情報を合成してミラー表示映像を生成する。

ステップＳ１２：表示映像生成部１２５は、各種対応表ＤＢ１３１から、視線原点Ｐ及び視線ベクトルに基づいて、ミラー表示領域を読み出す。次に、表示映像生成部１２５は、ミラー表示領域に基づいて、車窓表示映像にミラー表示映像を重畳することで、表示映像を生成する。

ステップＳ１３：フレーム番号ｉのフレームが最終のフレームであれば処理を終了し、そうでなければステップＳ２に戻る。

（５）作用効果
運転映像処理装置１００は、上述のような処理により、ピラーなどの車体により運転者の視線が遮蔽されている領域を表示映像に反映することができる。つまり、実際に運転者が視認していると推測される表示映像を生成することができる。よって、表示映像の視聴者は、遮蔽情報が反映された表示映像を運転教育用端末２５０で視聴することで、ピラーなどの車体によりどのような領域が死界となっているのか、死界によりどのような危険運転が生じたのかなどを把握することができる。これにより、安全運転教育を効果的に行うことができる。

さらに、表示映像は運転者の視線を中心とした映像であるため、表示映像の視聴者は自身が車両を運転しているような感覚で視聴を行うことができる。特に、視聴者が危険運転時の表示映像を視聴する場合には、視聴者は、危険運転時に運転者が観察していた状況を把握することができるとともに、あたかも自身が危険運転に遭遇しているような感覚で視聴を行うことができる。そのため、どのような状況で危険運転が生じたかを視聴者に強く印象付けて、実際の運転時に役立たせることができるなど、効果的な安全運転教育を行うことができる。

また、有効視野範囲内にミラーが存在する場合には、表示映像に、車窓表示映像だけでなく、運転者がミラーを介して観察するミラー表示映像を含ませても良い。これにより、表示映像の視聴者は、運転者が車窓から観察している周辺状況だけではなく、有効視野範囲内のミラーを介して観察可能な周辺状況も確認することができる。よって、運転者が実際に観察しているあらゆる状況に基づいて、運転者の視線及び運転状態など評価して安全運転教育に役立てることができる。

（６）変形例
（６−１）変形例１
上記第１実施形態例では、図２５〜図２７等に示すように、運転者の視線の先の中心がディスプレイ２５５の中心部分に位置するように、表示映像がディスプレイ２５５に表示される。よって、運転者の視線原点Ｐ及び視線ベクトルが変化しても、その視線の中心はディスプレイ２５５の中心部分に固定されている。一方、運転者の有効視野範囲の映像は、図２５から図２６のように視線の中心に応じて移動する。

しかし、本変形例では、後述の図３３に示すように、ディスプレイ２５５に表示される表示映像は、例えば三次元投影面４００上での視野領域が固定されている。このような視野領域を本変形例では、固定視野領域と称する。また、本変形例では、ディスプレイ２５５には、各フレームでの運転者の視線軌跡２８１が表示される。なお、特許請求の範囲における視線軌跡生成部は、視線処理部１２４に含まれる。

（ａ）固定視野領域
まず、固定視野領域４００ｆｉｘについて図３１を用いて説明する。図３１は、三次元投影面４００での固定視野領域と、車窓映像及びミラー映像と、の位置関係を示す説明図である。例えば、所定数のフレームの間において、視線原点Ｐを起点として、視線ベクトルが視線ベクトル１５０ａ１、１５０ａ２、１５０ａ３のように移動したとする。ここで、視線原点Ｐから視線ベクトル１５０ａ１が示す前方方向の映像として、前方車窓映像４００Ｆが対応付けられている。同様に、視線原点Ｐから視線ベクトル１５０ａ２及び１５０ａ３が示す方向の映像として、右側車窓映像４００Ｒ及び左側車窓映像４００Ｌが対応付けられている。固定視野領域４００ｆｉｘは、所定数のフレームの間に運転者が視認可能な映像を含むように設定される。つまり、固定視野領域４００ｆｉｘは、前方車窓映像４００Ｆ、右側車窓映像４００Ｒ及び左側車窓映像４００Ｌを含むように設定される。

また、図３１に示すように、バックミラー３０３Ｂに対してはバックミラー映像４００ＭＢが対応付けられている。さらに、右側のドアミラー３０３Ｒに対しては右側ミラー映像４００ＭＲが対応付けられており、左側のドアミラー３０３Ｌに対しては左側ミラー映像４００ＭＬが対応付けられている。

なお、固定視野領域４００ｆｉｘは、常に固定の領域であっても良いし、視線原点P及び視線ベクトルに応じて変動しても良い。例えば、所定数のフレームの間における平均視線原点Pａｖ及び平均視線ベクトルに応じて、固定視野領域４００ｆｉｘの大きさ及び位置が変動しても良い。例えば、視線処理部１２４は、所定数のフレームの間での視線原点Pを平均して平均視線原点Pａｖを算出し、所定数のフレームの間での視線ベクトルを平均して平均視線ベクトルを算出する。各種対応表ＤＢ１３１は、平均視線原点Ｐａｖ及び平均視線ベクトルと、三次元投影面４００での固定視野領域４００ｆｉｘと、平均視線原点Ｐａｖからの平均視線ベクトル及び三次元投影面４００の交点ＳＰと、の対応付けを記憶している。よって、車窓映像生成部１２１は、平均視線原点Ｐａｖ及び平均視線ベクトルに基づいて、各種対応表ＤＢ１３１から固定視野領域４００ｆｉｘを決定しても良い。

（ｂ）車窓映像及びミラー映像とディスプレイの表示領域との関係
図３２は、三次元投影面上の車窓映像及びミラー映像と、ディスプレイの表示領域と、の関係を示す説明図である。ディスプレイ２５５の表示領域は、車窓表示領域２６５とミラー表示領域２６６とを含む。本変形例では、車窓表示領域２６５とラー表示領域２６６との位置関係は固定であり、所定の位置関係に設定されている。

車窓表示領域２６５には、固定視野領域４００ｆｉｘに対応する車窓映像及び車窓遮蔽情報からなる車窓表示映像が表示される。ミラー表示領域２６６は、バックミラー表示領域２６６Ｂ、右側ミラー表示領域２６６Ｒ及び左側ミラー表示領域２６６Ｌを含む。各ミラー表示領域２６６Ｂ、２６６Ｒ、２６６Ｌには、各ミラー映像４００ＭＢ、４００ＭＲ、４００ＭＢと各ミラーのミラー遮蔽情報とからなる各ミラー表示映像が表示される。

（ｃ）処理の流れ
次の処理の流れについて簡単に説明する。

車窓映像生成部１２１は、着目するフレームの周辺情報を三次元投影面４００に投影する。次に、車窓映像生成部１２１は、周辺映像が投影された三次元投影面４００から、固定視野領域４００ｆｉｘに対応する映像を抽出してディスプレイ２５５に表示可能な車窓映像に加工して、車窓映像ＤＢ１２７に格納する。

ここで、各種対応表ＤＢ１３１は、車種、視線原点Ｐ及び視線ベクトル１５０ａと、運転者の車窓視線を遮る自車両３００の車体の車窓遮蔽情報ｆｉｘと、を対応付けて記憶している。車窓遮蔽情報ｆｉｘは、固定視野領域４００ｆｉｘの範囲において、運転者の視線を遮る情報である。

遮蔽情報生成部１２３は、該当する自車両の車種、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、各種対応表ＤＢ１３１から車窓遮蔽情報ｆｉｘを読み出し、遮蔽情報ＤＢ１２９に格納する。

表示映像生成部１２５は、着目するフレームについて、固定視野領域４００ｆｉｘでの車窓映像と車窓遮蔽情報ｆｉｘとに基づいて、固定視野領域４００ｆｉｘに対応する車窓表示映像を生成する。

また、視線処理部１２４は、視線原点Ｐ及び視線ベクトル１５０ａと、所定角度の有効視野角θｅと、に基づいて有効視野範囲を算出し、有効視野範囲内にどのミラー３０３が存在するか否かを判定する。また、視線処理部１２４は、前述の図１３を参照し、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、視線原点Ｐから延びる視線ベクトル１５０ａと、三次元投影面４００との交点ＳＰａを算出する。さらに、視線処理部１２４は、三次元投影面４００上の交点ＳＰａを、ディスプレイ２５５上の点に座標変換して視線軌跡を算出する。

ミラー映像生成部１２２は上記第１実施形態例と同様に、視線原点Ｐと、有効視野範囲に存在するミラー３０３と、に基づいて、図１６の各種対応表ＤＢ１３１から、有効視野範囲内のミラーのミラー視野領域を読み出す。ミラー映像生成部１２２は、周辺映像が投影された三次元投影面４００から、各ミラー視野領域に対応する各映像を抽出してミラー映像に加工し、ミラー映像ＤＢ１２８に格納する。

遮蔽情報生成部１２３は上記第１実施形態例と同様に、視線原点Ｐと、有効視野範囲に存在するミラー３０３と、に基づいて、各種対応表ＤＢ１３１から対応するミラーのミラー遮蔽情報を読み出し、遮蔽情報ＤＢ１２９に格納する。

表示映像生成部１２５は、着目するフレームについて、ミラー映像及びミラー遮蔽情報に基づいてミラー表示映像を生成する。さらに、表示映像生成部１２５は、所定の位置関係に基づいて車窓表示映像にミラー表示映像を重畳し、さらに視線軌跡を重畳することで、表示映像を生成する。

（ｄ）表示映像の一例
このような処理により、例えば図３３に示す表示映像がディスプレイ２５５に表示される。図３３は表示映像の一例である。

図３３では、車窓表示領域２６５には固定視野領域４００ｆｉｘに対応する車窓表示映像が表示されている。車窓表示映像は、前側ピラー３０７Ｆによる車体領域２８０Ｆ、右側ピラー３０７Ｒによる車体領域２８０Ｒ、左側ピラー３０７Ｌによる車体領域２８０Ｌ及びダッシュボード３０１による車体領域２８０Ｄからなる車窓遮蔽情報を含む。

また、図３３の例の場合、運転者の有効視野範囲内にバックミラー３０３Ｂのみが存在しており、バックミラー表示領域２６６Ｂにバックミラー映像４００ＭＢが表示されている。その他の右側のドアミラー３０３Ｒ及び左側のドアミラー３０３Ｌは有効視野範囲内に無いため、右側ミラー表示領域２６６R及び左側ミラー表示領域２６６Ｌには映像が表示されない。

さらに、図３３では、運転者の視線軌跡２８１が表示されている。このように表示映像に運転者の視線軌跡が重畳されるため、視聴者は、車両の走行中に運転者が自車両以外のどのような対象物を視認していたのか、あるいは視認していなかったのかを把握することができる。これにより、例えばどのような対象物を認知していなかったため危険運転が生じたなど、危険運転の原因を解析し、安全運転教育に役立てることができる。

なお、このように生成された表示映像では、運転者の視線の移動に応じて三次元投影面４００での固定視野領域４００ｆｉｘの範囲は変動しない。しかし、運転者の視線の移動に応じて視線軌跡２８１が生成され、また車窓遮蔽情報も変わる。車窓遮蔽情報が変わるため、例えば図３３において、ピラー等の車体領域が視線の移動に応じて変動する。また、運転者の視線の移動に応じて、ミラー表示映像が表示されるミラー表示領域２６６も変わる。

（６−２）変形例２
運転中の緊張度及び運転への集中度などに応じて、運転者が視認可能な視野範囲は変わり得る。例えば、運転者が緊張している場合、あるいは、一点に集中し過ぎている場合などには、運転者の視野範囲が狭まる傾向にある。そこで、本変形例では、視野範囲を瞳孔径、心拍数、心拍の状態、発汗量及び視線の滞留時間などの生体情報に基づいて算出し、視野範囲に応じて表示映像を加工する。

図３４は、変形例２に係る各装置の機能構成を示すブロック図の一例である。本変形例の機能構成は、上記第１実施形態例の図８の機能構成に加えて、さらに視野算出部１３２を含む。

（ａ）視野範囲を算出するための情報
視野範囲は、例えば、瞳孔径、心拍数、心拍の状態、発汗量及び視線の滞留時間などの生体情報に基づいて算出することができる。これらの生体情報は、各種検出部により検出できる。

瞳孔径は、視線検出部２２１において測定することが可能である。例えば、視線検出部２２１は、目の映像を取得して瞳孔部分を抽出し瞳孔径を測定する。その他、視線検出部２２１は、赤外線等の光を出射し、目からの反射波に基づいて瞳孔径を測定することもできる。

心拍は、例えばハンドル３０２に取り付けられた計測器により、ハンドル３０２を握る手の血流に基づいて計測することができる。計測器は、例えば右手のハンドル位置及び左手のハンドル位置にそれぞれプラス電極又はマイナス電極を有している。この電極間の電位差に基づいて運転者の心拍数及び心拍の状態などを測定することができる。

発汗量は、例えば、ハンドル３０２に取り付けられた計測器により、ハンドル３０２を握る手から放出される汗に基づいて計測することができる。

視線の滞留時間は、視線原点Ｐ及び視線ベクトル１５０ａに基づいて、各ベクトル方向に視線が滞留している時間を算出することで求めることができる。

なお、視野範囲を算出するための情報は、前記情報に限定されず、血圧などの各種生態情報を用いることができる。

視野範囲を算出するための情報は、視野算出部１３２に提供される。

（ｂ）視野範囲の算出
視野算出部１３２は、前述の視野範囲を算出するための情報に基づいて、視野範囲を算出する。例えば、各種対応表ＤＢ１３１は、瞳孔径、心拍数、心拍の状態、発汗量及び視線の滞留時間などと、視野範囲と、の対応付けを記憶している。例えば、瞳孔径が小さいほど視野範囲が狭く、心拍数が多いほど視野範囲を狭い。視野算出部１３２は、前記対応付けを参照して視野範囲を算出する。視野範囲は、例えばディスプレイ２５５の表示領域上の座標により表される。

（ｃ）視野範囲に基づいた映像の加工
表示映像生成部１２５は、視野算出部１３２から視野範囲を取得し、視野範囲に基づいて表示映像を加工する。

図３５は、表示映像の加工例を示す説明図である。ディスプレイ２５５の表示領域の中央部分に運転者の視線の先の中心である点ＳＰが位置し、点ＳＰを含む視野範囲ＶＦが算出されている。視野範囲ＶＦは、例えば縦及び横がそれぞれＬ１及びＬ２の長さを有する。視野範囲ＶＦは、このような矩形状に限定されず、その他円形状、楕円状などであっても良い。

ここで、運転者は、視野範囲内では自車両周辺の状況を認知できていると推測され、逆に視野範囲の外では自車両周辺の状況を認知できていないと推測される。表示映像生成部１２５は、視野範囲ＶＦ内では表示映像が鮮明となるように処理し、視野範囲ＶＦより外の表示領域では表示映像をぼかすように加工する。

このように表示映像が加工されることで、運転者が観察している状況を推測して再現することが可能となる。よって、視聴者は、運転者の視野範囲に応じた表示映像を確認することができる。これにより、例えば視野狭窄により危険運転の原因となった対象物を運転者が把握できていなかったなど、危険運転が生じた原因を解析する際などにも前記表示映像を役立てることができる。

（６−３）変形例３
上記第１実施形態例では、運転映像処理装置１００は、周辺映像を三次元投影面４００に投影し、三次元投影面４００上の周辺映像から車窓映像及びミラー映像を抽出し、ディスプレイ２５５に表示可能なように処理している。しかし、運転映像処理装置１００は、各カメラ２０５ａ〜２０５ｄから取得した周辺映像から、ディスプレイ２５５に表示可能な車窓映像及びミラー映像を生成しても良い。そのため、例えば各種対応表ＤＢ１３１は、視線原点Ｐ及び視線ベクトル毎に、周辺映像のうち車窓視線に対応する映像を構成する各画素の座標と、ディスプレイ２５５の表示領域上の座標と、の対応付けを記憶している。車窓映像生成部１２１は、所定の視線原点Ｐ及び視線ベクトルと前記対応付けとに基づいて、周辺映像のうち運転者の視線に対応する映像データについて、カメラ２０５からディスプレイ２５５の表示領域に座標変換する。これにより、運転者の視線原点Ｐ及び視線ベクトルに対応する車窓映像を生成することができる。

ミラー映像についても同様である。例えば各種対応表ＤＢ１３１は、車種、ミラー情報及び視線原点Ｐに対応付けて、周辺映像のうちミラー視線に対応する映像を構成する各画素の座標と、ディスプレイ２５５の表示領域上の座標と、の対応付けを記憶している。ミラー映像生成部１２２は、有効視野範囲内にあるミラー３０３について、前記対応付けに基づいてミラー映像を生成する。

（６−４）変形例４
上記第１実施形態例の運転映像処理装置１００は、車窓表示映像及びミラー表示映像を重畳して図２８及び図２９に示すような表示映像を生成する。しかし、運転映像処理装置１００は、車窓表示映像のみを表示映像として生成しても良いし、ミラー表示映像のみを表示映像として生成しても良い。

＜第２実施形態例＞
第１実施形態例の運転映像処理装置１００は、自車両周辺の周辺情報及び視線データを外部の情報取得装置２００から取得する。一方、第２実施形態例の運転映像処理装置１００は、これらの情報を自ら取得する。以下に、第１実施形態例と異なる点について説明する。

第２実施形態例の運転映像処理装置１００の構成について以下に説明する。図３６は、第２実施形態例に係る、運転映像処理装置のハードウェア構成を示すブロック図の一例である。

運転映像処理装置１００は、例えば、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、入出力機器Ｉ／Ｆ１０４、通信Ｉ／Ｆ１０８を有している。これらは、バス１０９を介して互いに接続されている。

入出力機器Ｉ／Ｆ１０４は、ディスプレイ１０５、マウス１０６、キーボード１０７、周辺情報取得機器２０５及び視線検出機器２０６などの入出力機器と接続されている。

次に運転映像処理装置１００の機能構成について説明する。図３７は、第２実施形態例にかかる運転映像処理装置の機能構成を示すブロック図の一例である。第２実施形態例にかかる運転映像処理装置１００は、第１実施形態例にかかる運転映像処理装置１００に加えて、周辺情報取得部２２０及び視線検出部２２１を備える。また、第２実施形態例に係る運転映像処理装置１００は、情報取得装置２００とのデータ、コマンドなどの送受信は不要であるため、送受信部１２０、２２２及び取得データＤＢ２２３は省略した。各機能の処理は第１実施形態例と同様である。

その他の構成は第１実施形態例と同様である。また、第２実施形態例においても、第１実施形態例の変形例を適用可能である。

＜その他の実施形態例＞
また、前述の方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）、ＭＯ（Magneto Optical disk）、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ（ＤＶＤ−Random Access Memory）、ＢＤ（Blue-ray Disc）、ＵＳＢメモリ、半導体メモリなどを挙げることができる。前記コンピュータプログラムは、前記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。ただし、コンピュータで読み取り可能な記録媒体とは、コンピュータプログラムを埋め込んだ搬送波は含まない。搬送波に埋め込まれて伝送されるコンピュータプログラムであっても、そのプログラムが記録されているコンピュータで読み取り可能な記録媒体は、伝送元のコンピュータに接続されている記録媒体読み取り装置の中で再生される物理的に実体のある記録媒体である。

１００：運転映像処理装置
１０１：ＣＰＵ
１２１：車窓映像生成部
１２２：ミラー映像生成部
１２３：遮蔽情報算出部
１２４：視線処理部
１２５：表示映像生成部
１２６：周辺情報ＤＢ
１２７：車窓映像ＤＢ
１２８：ミラー映像ＤＢ
１２９：遮蔽情報ＤＢ
１３０：視線データＤＢ
１３１：各種対応表ＤＢ
１３２：視野算出部
１５０：視線
１５０ａ：視線ベクトル
１５５：ミラー視線
１５５ａ：ミラー視線ベクトル
２００：情報取得装置
２０５ａ〜 ２０５ｄ：カメラ
２０５：周辺情報取得機器
２０６：視線検出機器
２２０：周辺情報取得部
２２１：視線検出部
２５０：運転教育用端末
２５５：ディスプレイ
２６５：車窓表示領域
２６６ Ｂ：バックミラー表示領域
２６６ Ｌ：左側ミラー表示領域
２６６ Ｒ：右側ミラー表示領域
２８０ ：車体領域
２８１：視線軌跡
３００：車両
３０３：ミラー
３０７：ピラー
４００：三次元投影面
４００ Ｆ：前方車窓映像
４００ Ｒ：右側車窓映像
４００ Ｌ：左側車窓映像
４００ ＭＲ：右側ミラー映像
４００ ＭＬ：左側ミラー映像
５００：他車両

Claims (11)

1. 自車両の周辺を撮影した映像を含む周辺情報を取得する映像取得部と、
   自車両の運転者の視線原点及び視線方向を取得する視線取得部と、
   前記周辺情報から視線原点に対応する視線映像を生成する視線映像生成部と、
   前記運転者の視線を遮る前記自車両の車体領域又は車体映像を含む遮蔽情報を、前記視線原点に基づいて算出する遮蔽情報算出部と、
   前記視線映像と前記遮蔽情報とに基づいて、表示映像を生成する表示映像生成部と、
   を含み、
   前記視線映像は、前記自車両の少なくとも１のミラーを介して前記運転者が視認可能なミラー視認範囲に対応するミラー映像を含み、
   前記遮蔽情報は、前記運転者の前記ミラー視認範囲へのミラー視線を遮る、前記自車両の車体の領域及び／又は車体映像を含むミラー遮蔽情報を含み、
   前記表示映像は、前記運転者が前記自車両の少なくとも１のミラーを介して観察するミラー表示映像を含み、
   前記視線原点及び前記視線方向に基づいて、前記運転者が視認可能な所定の角度範囲を有する有効視野範囲を算出し、前記有効視野範囲内に前記自車両の少なくとも１のミラーがあるか否かを判定する視線処理部をさらに含み、
   前記視線映像生成部は、前記有効視野範囲内に前記自車両の少なくとも１のミラーがある場合に、前記視線原点と前記ミラーの位置を含むミラー情報とに基づいて、前記ミラーを介して前記運転者が視認可能な前記ミラー視認範囲を算出し、前記ミラー視認範囲に対応する前記ミラー映像を、前記自車両の周辺映像から生成するミラー映像生成部を有し、
   前記遮蔽情報算出部は、前記ミラー遮蔽情報を、前記視線原点及び前記ミラー視認範囲に基づいて算出し、
   前記表示映像生成部は、前記ミラー映像と前記ミラー遮蔽情報とに基づいて、前記ミラー表示映像を生成する、映像処理装置。
2. 前記視線方向は、前記視線原点から前記自車両の窓を介した車窓視線方向を含み、
   前記視線映像は、前記視線原点及び前記車窓視線方向に対応する車窓映像を含み、
   前記遮蔽情報は、前記運転者の前記車窓視線方向への視線を遮る、前記自車両の車体の領域及び／又は車体映像を含む車窓遮蔽情報を含み、
   前記表示映像は、前記運転者が前記自車両の窓を介して観察する車窓表示映像を含み、
   前記視線映像生成部は、前記車窓映像を、前記自車両の周辺映像から生成する車窓映像生成部を有し、
   前記遮蔽情報算出部は、前記車窓遮蔽情報を前記視線原点に基づいて算出し、
   前記表示映像生成部は、前記車窓映像と前記車窓遮蔽情報とに基づいて、前記車窓表示映像を生成する、請求項１に記載の映像処理装置。
3. 前記表示映像生成部は、前記有効視野範囲内に少なくとも１のミラーがある場合に、前記車窓表示映像に、前記有効視野範囲内のミラーに対応する前記ミラー表示映像を重畳する、請求項２に記載の映像処理装置。
4. 前記運転者の瞳孔、心拍、発汗及び前記視線方向の滞留時間を含む生体情報の少なくとも１の情報に基づいて、前記運転者の視野範囲を算出する視野算出部をさらに含み、
   前記表示映像生成部は、前記視野範囲に基づいて前記表示映像を加工する、請求項１〜３のいずれかに記載の映像処理装置。
5. 前記表示映像生成部は、前記表示映像において、前記視野範囲より外の領域をぼかす、請求項４に記載の映像処理装置。
6. 前記視線原点及び前記視線方向により特定される、前記視線映像における視線軌跡を生成する視線軌跡生成部をさらに含み、
   前記表示映像生成部は、前記表示映像に前記視線軌跡を重畳する、請求項１〜５のいずれかに記載の映像処理装置。
7. 前記視線原点は、所定時間内の前記運転者の視線原点を平均した平均視線原点であり、
   前記視線方向は、前記所定時間内の前記運転者の視線方向を平均した平均視線方向である、請求項１〜６のいずれかに記載の映像処理装置。
8. 前記視線映像生成部は、仮想空間である三次元投影面に前記自車両の周辺映像を投影して投影映像を生成し、前記投影映像において前記視線原点及び前記視線方向に対応する映像を前記視線映像として生成する、請求項１〜７のいずれかに記載の映像処理装置。
9. 前記表示映像生成部は、前記視線映像から、前記遮蔽情報に含まれる前記自車両の車体の領域の映像を除去して前記表示映像を生成する、請求項１〜８のいずれかに記載の映像処理装置。
10. 前記表示映像生成部は、前記視線映像に、前記遮蔽情報に含まれる前記自車両の車体映像を重畳して前記表示映像を生成する、請求項１〜８のいずれかに記載の映像処理装置。
11. 自車両の周辺を撮影した映像を含む周辺情報を取得する映像取得部と、
    自車両の運転者の視線原点及び視線方向を取得する視線取得部と、
    前記周辺情報から視線原点に対応する視線映像を生成する視線映像生成部と、
    前記運転者の視線を遮る前記自車両の車体領域又は車体映像を含む遮蔽情報を、前記視線原点に基づいて算出する遮蔽情報算出部と、
    前記視線映像と前記遮蔽情報とに基づいて、表示映像を生成する表示映像生成部と、
    前記運転者の瞳孔、心拍、発汗及び前記視線方向の滞留時間を含む生体情報の少なくとも１の情報に基づいて、前記運転者の視野範囲を算出する視野算出部と、
    を含み、
    前記表示映像生成部は、前記視野範囲に基づいて前記表示映像を加工する、映像処理装置。

Images