JP7745523B2 - 表示システムおよび表示方法 - Google Patents

Description

本発明は、自車両の周囲環境を表示する表示システムおよび表示方法に関する。

近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて予防安全技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。

特許文献１には、自車両外に設置されたカメラを用いて撮像された映像を幾何変換して、自車両の上方から視た場合の映像や自車両の前方の仮想ミラーから視た場合の映像に変換して表示する、画像受信表示装置が開示されている。

特開２０１３－２００８１９号公報

ところで、予防安全技術においては、自車両の安全走行のため、運転者の知覚を補完する表示装置を用いた情報提供において、運転者に対し自車両の周囲における交通環境を認識容易に伝えることが課題である。
この点、特許文献１に記載の技術において表示される映像は、自車両の上方や仮想ミラーなどの固定点から視た映像であり、直進や左右への転回など、運転シーンの移り変わりに伴って視線方向を動的に変化させる必要のある運転者にとっては、実際の目視で捉える光景との乖離が大きい映像となり得る。このため、上記従来の技術では、運転者に交通環境を認識容易に伝えることには限界がある。
本願は、上記課題の解決のため、自車両の周囲における交通環境を、実際の運転シーンに合わせて運転者に認識容易に伝えることで、自車両走行についての予防安全を達成することを目的としたものである。そして、延いては持続可能な輸送システムの発展に寄与するものである。

本発明の一の態様は、自車両の現在位置を取得する位置取得部と、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成する環境画像生成部と、自車両の周囲の実環境映像を取得して、前記実環境映像から交通参加者の映像部分である参加者映像を抽出する部分映像抽出部と、自車両の運転者が転回しようとしているか否かを判断する転回判断部と、前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示する表示制御部と、を備え、前記環境画像生成部は、自車両が転回しようとしていないときは、運転者の前方視線に対応した前記仮想環境画像を含む前方仮想画像を生成し、自車両が転回しようとしているときは、運転者の転回方向の視線に対応した前記仮想環境画像を含む側方仮想画像を生成し、前記表示制御部は、自車両が転回しようとしていないときは、前記前方仮想画像に基づく前記合成画像を前記表示装置に表示し、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を前記表示装置に表示する、表示システムである。
本発明の他の態様によると、前記表示制御部は、前記側方仮想画像に基づく前記合成画像を、前記表示装置の表示スクリーン上の、前記前方仮想画像に基づく前記合成画像の表示範囲より前記転回方向の側へずれた表示範囲に表示する。
本発明の他の態様によると、前記表示制御部は、前記表示装置の表示スクリーン上において、前記合成画像を、自車両の進行方向先に対応する前記合成画像上の位置が、当該合成画像の表示範囲の中心となるように表示する。
本発明の他の態様によると、前記表示装置の前記表示スクリーンは、自車両のインストルメントパネルに設けられた、車幅方向に横長に延在する表示パネルである。
本発明の他の態様によると、前記表示装置の前記表示スクリーンは、自車両のインストルメントパネルに車幅方向に配置された複数の表示パネルで構成される。
本発明の他の態様によると、前記表示装置は、自車両のピラーの手前に配された追加の表示パネルを含む。
本発明の他の態様によると、前記環境画像生成部は、自車両が転回しようとしているときは、前記運転者の前方視線に対応した前記仮想環境画像の画角を転回方向に広げた、前記運転者の転回方向の視線に対応した前記仮想環境画像を含む前記側方仮想画像を生成する。
本発明の他の態様によると、前記表示制御部は、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を、前記表示装置の表示スクリーン上において、前記前方仮想画像に基づく前記合成画像のための表示範囲を前記転回方向の側へ広げた範囲に表示する。
本発明の他の態様によると、前記表示制御部は、所定の時間間隔で、現在時刻における前記仮想環境画像と前記参加者映像に基づく合成画像を生成して、現在時刻における前記合成画像を前記表示装置にリアルタイムに表示する。
本発明の他の態様によると、前記仮想環境画像は、自車両の現在位置を含む前記周囲環境を俯瞰する画像であり、前記仮想環境画像上の自車両に対応する位置に、自車両を示すグラフィック表現である仮想自車表現が重畳表示される。
本発明の他の態様は、表示システムが備えるコンピュータが実行する表示方法であって、自車両の現在位置を取得するステップと、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成するステップと、自車両の周囲の実環境映像を取得して、前記実環境映像から交通参加者の映像部分である参加者映像を抽出するステップと、自車両の運転者が転回しようとしているか否かを判断するステップと、前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示するステップと、を有し、前記生成するステップでは、自車両が転回しようとしていないときは、運転者の前方視線に対応した前記仮想環境画像を含む前方仮想画像を生成し、自車両が転回しようとしているときは、運転者の転回方向の視線に対応した前記仮想環境画像を含む側方仮想画像を生成し、前記表示するステップでは、自車両が転回しようとしていないときは、前記前方仮想画像に基づく前記合成画像を前記表示装置に表示し、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を前記表示装置に表示する、表示方法である。

本発明によれば、自車両の周囲における交通環境を、実際の運転シーンに合わせて運転者に認識容易に伝えることができる。

図１は、本発明の一実施形態に係る表示システムが搭載された自車両の構成の一例を示す図である。 図２は、自車両の車室内の構成の一例を示す図である。 図３は、本発明の一実施形態に係る表示システムの構成を示す図である。 図４は、前方仮想画像に基づく合成画像および側方仮想画像に基づく合成画像の、表示装置における表示位置の一例を示す図である。 図５は、自車両が右折する際の、側方仮想画像に基づく合成画像の一例を示す図である。 図６は、表示システムのプロセッサが実行する表示方法の手順を示すフロー図である。 図７は、表示システムが合成画像を表示する表示装置の他の例を示す図である。 図８は、表示システムが合成画像を表示する表示装置の更に他の例を示す図である。 図９は、前方仮想画像に基づく合成画像および側方仮想画像に基づく合成画像の、表示装置における表示位置の他の一例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る表示システム１が搭載された車両である自車両２の構成の一例を示す図、図２は、自車両２の車室内の構成の一例を示す図である。表示システム１は、自車両２に搭載され、自車両２の周囲環境（以下、単に周囲環境ともいう）の仮想画像である仮想環境画像を表示装置１２に表示して、周囲環境内における交通参加者の存在を運転者Ｄに伝える。

自車両２には、周囲環境のうち自車両２の前方を撮影する前方カメラ３ａと、自車両２の左右側方を撮影する左側方カメラ３ｂおよび右側方カメラ３ｃと、が配されている。以下、前方カメラ３ａ、左側方カメラ３ｂ、および右側方カメラ３ｃを総称して、カメラ３ともいうものとする。前方カメラ３ａは、例えば、フロントバンパー付近に配され、左側方カメラ３ｂおよび右側方カメラ３ｃは、例えば、左右のドアミラーに配されている。自車両２は、車両後方の周囲環境を撮影する後方カメラ（不図示）を更に備えてもよい。
自車両２には、また、周囲環境に存在する物体を検知する物体検知装置４が搭載されている。物体検知装置４は、例えば、レーダ、ソナー、及び又はライダー（Ｌｉｄａｒ）であり得る。

自車両２には、さらに、少なくとも自車両２の走行速度の情報および方向指示器（不図示）の操作についての情報を収集する車両監視装置５と、自車両２の現在位置の位置情報をＧＮＳＳ衛星から受信するＧＮＳＳ受信機６と、地図情報を用いて経路案内を行うナビゲーション装置７と、が搭載されている。

自車両２の車室内には、インストルメントパネル１３の上に、車幅方向に横長に延在する表示パネルを表示スクリーン１５とする表示装置１２が設けられている。表示装置１２は、例えば、タッチパネルである。表示装置１２の表示スクリーン１５は、例えば、運転席１０の側のピラー１１ａの下部から、車幅方向に沿って反対側のピラー１１ｂの下部まで延在している。以下、ピラー１１ａおよび１１ｂを総称してピラー１１ともいうものとする。

図３は、表示システム１の構成を示す図である。
表示システム１は、プロセッサ２０とメモリ２１と、有する。メモリ２１は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。プロセッサ２０は、例えば、ＣＰＵ等を備えるコンピュータである。プロセッサ２０は、プログラムが書き込まれたＲＯＭ、データの一時記憶のためのＲＡＭ等を有する構成であってもよい。そして、プロセッサ２０は、機能要素又は機能ユニットとして、位置取得部２３と、転回判断部２４と、環境画像生成部２５と、部分映像抽出部２６と、車両検知部２７と、表示制御部２８と、を備える。

プロセッサ２０が備えるこれらの機能要素は、例えば、コンピュータであるプロセッサ２０が、メモリ２１に保存された表示プログラム２２を実行することにより実現される。なお、表示プログラム２２は、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、プロセッサ２０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

位置取得部２３は、ＧＮＳＳ受信機６により位置情報を受信して、自車両２の現在位置を取得する。

転回判断部２４は、自車両２の運転者Ｄが転回しようとしているか否か（すなわち、運転者Ｄの転回意図の有無）を判断する。例えば、転回判断部２４は、従来技術に従い、自車両２の方向指示器（不図示）の操作に関する情報、及び又は自車両２の予定走行経路についての情報に基づいて、自車両２の運転者が転回しようとしているか否かを判断する。すなわち、転回判断部２４は、例えば、自車両２の方向指示器が操作されたときは、点灯された方向指示器が示す方向へ、運転者Ｄが転回しようとしているものと判断する。また、転回判断部２４は、例えば、自車両２が交差点の手前を走行時に、予定走行経路がその交差点を右折又は左折するものであるときは、運転者Ｄは右折又は左折のための転回をしようとしているものと判断する。ここで、自車両２の方向指示器の操作に関する情報は、車両監視装置５から取得され得る。また、自車両２の予定走行経路の情報は、ナビゲーション装置７から取得され得る。

なお、自車両２は操縦は、人である運転者Ｄに代えて、自律運転を行うコンピュータであってもよい。このため、以下では、自車両２の操縦がコンピュータである場合を含む広い概念として、「自車両２の運転者が転回しようとしている」ことを、単に「自車両２が転回しようとしている」ともいうものとする。この意味で、「運転者Ｄの転回意図」は、「自車両２における転回実行の判断」と言い換えることもできる。

環境画像生成部２５は、自車両２の現在位置と地図情報とに基づいて、自車両２の周囲環境を示す仮想画像である仮想環境画像を生成する。地図情報は、例えば、ナビゲーション装置７から取得され得る。本実施形態では、環境画像生成部２５が生成する仮想環境画像は、例えば、自車両の現在位置を含む、周囲環境を俯瞰する３Ｄ画像（立体表示画像）である。

本実施形態では、特に、環境画像生成部２５は、転回判断部２４における運転者Ｄの転回意図についての判断に基づき、自車両２が転回しようとしていないときは、運転者Ｄの前方視線に対応した（すなわち、前方視線で視た）仮想環境画像を含む前方仮想画像を生成する。また、環境画像生成部２５は、転回判断部２４における運転者Ｄの転回意図についての判断に基づき、自車両２が転回しようとしているときは、運転者Ｄの転回方向の視線に対応した（すなわち、転回方向の視線で視た）仮想環境画像を含む側方仮想画像を生成する。

部分映像抽出部２６は、カメラ３により自車両２の周囲の実環境映像を取得し、取得した実環境映像から交通参加者の映像部分である参加者映像を抽出する。
車両検知部２７は、上記実環境映像から周囲環境内の車両である周囲車両の位置と、車種、サイズ、及び又は色を含む車両属性とを検知する。周囲車両のサイズは、例えば、従来技術に従い、実環境映像における周囲車両の画角と、物体検知装置４が検知したその周囲車両までの距離と、に基づいて算出され得る。また、周囲車両の車種は、例えば、従来技術に従い、メモリ２１に予め記憶されたトラック、バス、乗用車、バイクなどの各車種のサイズ及び形状を示すテンプレート画像との画像マッチングにより特定されるものとすることができる。

また、車両検知部２７は、上記検知した周囲車両が自車両２と接触する可能性の有無を判断する。例えば、車両検知部２７は、従来技術に従い、周囲車両の速度についての情報、方向指示器の点灯状態の情報、自車両２の走行速度についての情報、及び又は転回判断部２４における運転者Ｄの展開意図の有無の判断結果に基づいて、上記接触の可能性の有無を判断する。ここで、周囲車両の速度についての情報および方向指示器の点灯状態の情報は、実環境映像から取得され得る。また、自車両２の走行速度についての情報は、車両監視装置５から取得され得る。

表示制御部２８は、環境画像生成部２５が生成した仮想環境画像に、部分映像抽出部２６が抽出した参加者映像のそれぞれを仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置１２に表示する。例えば、表示制御部２８は、所定の時間間隔で、現在時刻における仮想環境画像と参加者映像に基づく合成画像を生成して、現在時刻における合成画像を表示装置１２にリアルタイムに表示する。

仮想環境画像に嵌め込み合成する際の参加者映像のサイズは、例えば、従来技術に従い、その交通参加者について算出される実サイズを、その参加者映像をはめ込み合成する位置における仮想環境画像の縮尺に合わせて縮小したサイズとすることができる。交通参加者の実サイズは、上述した周囲車両のサイズと同様に、実環境映像におけるその交通参加者の画角と、物体検知装置４が検知したその交通参加者までの距離と、に基づいて算出され得る。

表示制御部２８は、さらに、自車両２の（又は自車両２を示す）グラフィック表現である仮想自車表現を、仮想環境合画像上の対応する位置に重畳表示して合成画像を生成してもよい。例えば、仮想自車表現は、後方から視た自車両の動きを模擬するグラフィック表示であって、合成画像は、自車両を後方から追尾する視点での、いわゆるチェイスビューであり得る。

本実施形態では、特に、表示制御部２８は、転回判断部２４における運転者Ｄの転回意図についての判断に基づき、自車両２が転回しようとしていないときは、前方仮想画像に基づく合成画像を表示装置１２に表示する。また、表示制御部２８は、転回判断部２４における運転者Ｄの転回意図についての判断に基づき、自車両２が転回しようとしているときは、側方仮想画像に基づく合成画像を表示装置１２に表示する。

また、その際、表示制御部２８は、側方仮想画像に基づく合成画像を、表示装置１２の表示スクリーン１５上の、前方仮想画像に基づく合成画像を表示する位置より転回方向の側へずれた位置に表示する。

図４は、前方仮想画像に基づく合成画像および側方仮想画像に基づく合成画像の、表示装置１２における表示位置の一例を示す図である。図４は、図２に示す車室内の図のうち、運転席１０の前方部分を拡大した図であり、ステアリングホイールの図示を省略している。図示一点鎖線のラインＣＬは、運転席１０に着座した運転者Ｄの身体の中心線を自車両２の長さ方向に沿ってインストルメントパネル１３に投影した線である。

図４の例では、前方仮想画像に基づく合成画像の表示範囲である前方画像範囲１７ａは、ラインＣＬを中心とする図示点線の矩形範囲に設定される。また、左転回の際に左方向視点の側方仮想画像に基づく合成画像の表示範囲である左画像範囲１７ｂは、前方画像範囲１７ａに対し転回方向である左側へずれた位置に設定される。また、右転回の際に右方向視点の側方仮想画像に基づく合成画像の表示範囲である右画像範囲１７ｃは、前方画像範囲１７ａに対し転回方向である右側へずれた位置であって、ピラー１１ａの下部付近に設定される。

例えば、表示制御部２８は、表示装置１２の表示スクリーン１５上において、合成画像を、自車両の進行方向先に対応する当該合成画像上の位置が、当該合成画像の表示範囲の中心となるように表示する。これにより、運転者Ｄは、表示される合成画像からの交通環境の直感認識がより容易となる。

なお、前方仮想画像に基づく合成画像、左方向視点の側方仮想画像に基づく合成画像、および右方向視点の側方仮想画像に基づく合成画像は、それぞれ選択的に表示される（すなわち、一の合成画像が表示されるときは、他の合成画像は表示されない）ので、前方画像範囲１７ａ、左画像範囲１７ｂ、および右画像範囲１７ｃは、図示のように必ずしも互いに分離している必要はなく、互いの一部の領域が重なっていても良い。

表示制御部２８は、例えば、前方画像範囲１７ａ、左画像範囲１７ｂ、および右画像範囲１７ｃの間を合成画像が移動するような態様で、直進時、左転回時、及び右転回時のそれぞれの合成画像を切り替えて表示するものとすることができる。

上記の構成を有する表示システム１では、自車両２の周囲環境が合成画像として表示装置１２に表示されるので、運転者Ｄは、例えば、交通状況についての確認項目の多い交差点での転回時において、ピラー１１等の死角に存在する歩行者等の存在を表示装置１２の画面上で知ることができるので、運転負荷が軽減される。また、表示装置１２に表示される合成画像には、交通参加者の映像が参加者映像として嵌め込み合成されて示されるので、歩行者等の交通参加者の存在を、運転者Ｄに対してリアルに（すなわち、現実感のある態様で）伝えることができる。

また、表示システム１では、合成画像は、自車両２の現在位置の周辺を俯瞰する立体的な仮想環境画像をベースとするので、運転者Ｄは、複数のカメラ映像から合成される映像が歪みやすい俯瞰ビューに比べて、周囲環境に存在する交通参加者と自車両との位置関係や、交通参加者間の位置関係を把握しやすい。
すなわち、表示システム１では、立体的な仮想環境画像をベースとして、自車両及び交通参加者を含む交通環境の立体的な配置関係の把握を容易としつつ、交通参加者の映像を仮想環境画像に嵌め込み合成することで、交通参加者の存在およびその動きの詳細を、運転者Ｄにリアルに伝えることができる、という優れた効果を有する。

また、表示システム１では、自車両２が転回しようとしていないときは、運転者Ｄの前方視線に対応した前方仮想画像をベースとする合成画像を表示し、自車両２が転回しようとしているときは、運転者Ｄの転回方向の視線に対応した側方仮想画像ベースとする合成画像を表示するので、転回方向における交通状況を、運転者Ｄの目線に沿った直観的に理解し易い画像により運転者Ｄへ伝えることができる。

また、表示システム１では、自車両２が転回しようとしているときは、表示装置１２における合成画像の表示位置を、自車両２が転回しようとしてないときの表示位置に比べて転回方向の側へずらすので、表示装置１２上の合成画像の位置は、転回に際して運転者Ｄの頭が回転する方向へ移動することとなる。このため、表示システム１では、運転者Ｄが合成画像を視認する際に必要となる視線移動量を減らして、合成画像からの交通状況の直観認識を容易にすることができる。

また、交通参加者を参加者映像として提示することで、運転者Ｄは、参加者映像と実環境に存在する交通参加者との相関がとりやすく、実空間での交通参加者の認識が容易となる。さらに、仮想環境画像は、例えば、交差点の位置寸法、車線、歩道以外の不要な情報を省いた表示にすることができるので、運転者Ｄは、余計な情報に惑わされず、必要な情報に集中することができる。

なお、表示システム１において、表示制御部２８は、合成画像を表示する際に、歩行者または自転車である交通参加者の参加者映像を強調表示してもよい。上記強調表示は、例えば、参加者映像の外周（すなわち、仮想環境画像との境界）の枠線の少なくとも一部を暖色系の線で表示すること、参加者映像の輝度を周囲より高めること又は変化（例えば点滅）させること、参加者映像の暖色系の色調を強めること、等により行うものとすることができる。
これにより、表示システム１では、運転者Ｄにとって見落としやすい歩行者や自転車の存在を、より確実かつリアルに運転者Ｄへ伝えることができる。

また、表示制御部２８は、合成画像において、周囲車両である交通参加者については、車両検知部２７が検知したその周囲車両の車両属性に応じたグラフィック表現である仮想車両表現を、周囲車両表示として、仮想環境画像上の対応する位置に嵌め込み合成して合成画像を生成してもよい。例えば、表示制御部２８は、車両属性が示す車種がトラックであるときは、予めメモリ２１に記憶したトラックの仮想車両表現を、その車両属性が示す色及びサイズに応じた色及びサイズを用いて、仮想環境画像上に嵌め込み合成して合成画像を生成することができる。
これにより、表示システム１では、交通参加者のうち、グラフィック表現を用いて詳細情報（例えば、速度感、色、サイズ感、車種）を表現し易い車両については、仮想車両表現を用いて表示を行うので、合成画像の生成および表示装置への出力に要する処理負荷が低減され得る。

図５は、自車両２が交差点を右折するときに表示制御部２８が表示装置１２に表示する、側方仮想画像に基づく合成画像の一例を示す図である。側方仮想画像に基づく合成画像３０には、自車両２の現在位置における周囲環境を俯瞰する立体的な仮想環境画像３１に、自車両２を示す仮想自車表現３２と、歩行者である交通参加者の参加者映像３３と、対向車として自車両２に接近する周囲車両の周囲車両表示３４と、が表示されている。図５の例では、周囲車両表示３４には、デフォルトである仮想車両表現が用いられている。図５に示す合成画像３０において、例えば、自車両２の運転者Ｄが周囲車両表示３４にタッチすると、表示制御部２８は、タッチのたびに、周囲車両の仮想車両表現から参加者映像へ又はその逆に、周囲車両表示３４を切り替える。

表示制御部２８は、また、タッチパネルである表示装置１２に表示された合成画像上の、周囲車両表示である仮想車両表現がタッチされたことに応じて、当該周囲車両表示を、仮想車両表現から、当該仮想車両表現に対応する交通参加者の参加者映像に切り替えてもよい。すなわち、周囲車両表示は、仮想車両表現をデフォルトとし、表示装置１２に表示された合成画像上でのタッチ操作により、周囲車両表示が、仮想車両表現と参加者映像との間で切り替えられるものとすることができる。例えば、図５に示す合成画像３０において、自車両２の運転者Ｄが周囲車両表示３４にタッチすると、表示制御部２８は、タッチのたびに、周囲車両の仮想車両表現から参加者映像へ又はその逆に、周囲車両表示３４を切り替える。
これにより、表示システム１では、運転者Ｄが必要に応じて、周囲車両表示を参加者映像に切り替えて、周囲車両についてのより詳細な視覚情報を得ることができる。

表示制御部２８は、また、周囲車両が自車両と接触する可能性があるとき、すなわち、周囲車両が自車両２と接触する可能性があると車両検知部２７が判断したときは、合成画像において、上記周囲車両に対応する周囲車両表示（当該周囲車両の仮想車両表現又は参加者映像）を強調表示してもよい。
これにより、表示システム１では、接触や衝突の可能のある周囲車両の存在を、より確実に運転者Ｄに伝えることができる。

上記強調表示は、上述した歩行者である交通参加者の参加者映像の強調表示と同様に、例えば、周囲車両表示に暖色系の枠線を表示すること、周囲車両表示の輝度を周囲より高めること又は時間的に変化させること、周囲車両表示の暖色系の色調を強めること、等により行うものとすることができる。

次に、表示システム１における動作の手順について説明する。
図６は、表示システム１のコンピュータであるプロセッサ２０が実行する、自車両２の周囲環境を表示するための、表示方法の処理の手順を示すフロー図である。本処理は、繰り返し実行される。

処理を開始すると、まず、位置取得部２３は、自車両２の現在位置を取得する（Ｓ１００）。また、転回判断部２４は、自車両２の運転者Ｄの転回意図の有無を判断する（Ｓ１０２）。続いて、環境画像生成部２５は、自車両２の現在位置および地図情報と、上記転回意図の有無の判断結果に基づいて、転回意図の有無に応じた、自車両２の周囲環境を示す仮想画像である仮想環境画像を生成する（Ｓ１０４）。ここで、“転回意図の有無に応じた仮想環境画像を生成する”とは、自車両２が転回しようとしていないときは前方仮想画像を生成し、自車両２が転回しようとしているときは側方仮想画像を生成することをいう。

次に、部分映像抽出部２６は、車載のカメラ３から自車両２の周囲の実環境映像を取得し、実環境映像から交通参加者の映像部分である参加者映像を抽出する（Ｓ１０６）。また、車両検知部２７は、上記実環境映像から周囲環境内の車両である周囲車両の位置と、車種、サイズ、及び又は色を含む車両属性とを検知する（Ｓ１０８）。このとき、車両検知部２７は、検知した周囲車両が自車両と接触する可能性の有無を判断してもよい。

次に、表示制御部２８は、仮想環境画像に、上記検知した周囲車両を示す周囲車両表示と、上記抽出した少なくとも歩行者についての参加者映像を、仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成する（Ｓ１１０）。ここで、上記周囲車両表示は、デフォルトとして、上記周囲車両を示す仮想車両表現であり得る。

そして、表示制御部２８は、生成した合成画像を、転回意図の有無に応じた表示装置１２上の位置に表示する（Ｓ１１２）。本実施形態では、特に、表示制御部２８は、側方仮想画像に基づく合成画像を表示装置１２に表示するときは、前方仮想画像に基づく合成画像を表示する位置より転回方向の側へずれた位置に表示する。

ステップＳ１１２において、表示制御部２８は、上述したように、歩行者や自転車の参加者映像を強調表示してもよい。また、上記検知した周囲車両が自車両と接触する可能性があると車両検知部２７が判断したときは、表示制御装置は、対応する周囲車両表示を強調表示してもよい。

次に、表示制御部２８は、タッチパネルである表示装置１２に表示した合成画像上のいずれかの周囲車両表示がタッチされたか否かを判断する（Ｓ１１４）。そして、周囲車両表示がタッチされたときは（Ｓ１１４、ＹＥＳ）、表示制御部２８は、その周囲車両表示を、仮想車両表現と、その周囲車両の参加者映像との間で切り替えて（Ｓ１１６）、本処理を終了する。一方、いずれの周囲車両表示もタッチされていないときは（Ｓ１１４、ＮＯ）、表示制御装置は、本処理を終了する。

本処理が終了した後は、プロセッサ２０は、ステップＳ１００に戻って本処理を繰り返し、現在時刻における合成画像を、表示装置１２にリアルタイムに表示する。

［５．他の実施形態］
表示装置１２の表示スクリーン１５は、上述した実施形態では、車幅方向に横長に延在するものとしたが、これには限られない。表示装置１２の表示スクリーン１５は、図７に示すように、インストルメントパネル１３上に車幅方向に配置された複数の任意の数の表示パネル、例えば６個の表示パネル１５１ａ、１５１ｂ、１５１ｃ、１５１ｄ、１５１ｅ、および１５１ｆで構成されてもよい。以下、表示パネル１５１ａ、１５１ｂ、１５１ｃ、１５１ｄ、１５１ｅ、および１５１ｆを総称して表示パネル１５１という。表示制御部２８は、自車両２が転回しようとしているときは、右転回時及び又は左転回時において、側方仮想画像に基づく合成画像を、前方仮想画像に基づく合成画像を表示する一の表示パネル１５１より転回方向の側にある他の表示パネル１５１に表示するものとすることができる。これにより、前方仮想画像に基づく合成画像と、側方仮想画像に基づく合成画像とを、互いにずれた位置に表示することのできる表示装置１２を、容易に構成することができる。

また、表示装置１２は、図８に示すように、自車両２の少なくとも一方のピラー１１の手前に配された追加の表示パネル１５２を含んでもよい。表示制御部２８は、自車両２が転回しようとしているときは、右転回時及び又は左転回時において、側方仮想画像に基づく合成画像を、転回方向の側にある追加の表示パネル１５２に表示するものとすることができる。これにより、運転者Ｄが合成画像を視認する際に必要となる視線移動量を更に減らすことができる。図７に示す構成においても同様である。

また、環境画像生成部２５は、自車両２が転回しようとしているときは、側方仮想画像として、運転者Ｄの前方視線に対応した仮想環境画像の画角を転回方向に広げた、運転者Ｄの転回方向の視線に対応した仮想環境画像を含む側方仮想画像を生成してもよい。これにより、運転者Ｄが視線の移動に伴って目視し得る光景と同様な、前方視線から側方視線へつながる切れ目のない仮想画像を表示し得るので、より直感認識が容易な仮想画像を運転者Ｄに提供することができる。

上記のような側方仮想画像の場合には、表示制御部２８は、例えば図９に示すように、側方仮想画像に基づく合成画像を、表示装置１２の表示スクリーン１５上において、前方仮想画像に基づく合成画像のための表示範囲である前方画像範囲１７ａ（図示点線矩形）を転回方向の側へ広げた表示範囲である左画像範囲１８ｂ（図示一点鎖線の矩形範囲）または右画像範囲１８ｃ（図示二点鎖線の矩形範囲）に表示する。これにより、運転者Ｄが転回時に行う前方から側方への視線移動の方向に拡大された表示範囲に側方仮想画像が表示されるので、さらに直感認識が容易な態様で仮想画像を運転者Ｄに提供することができる。

また、上述した実施形態では、実環境映像は、自車両２が搭載するカメラ３から取得されるものとしたが、周囲環境に存在する街灯カメラから、路車間通信等を介して取得されるものとしてもよい。
また、実環境映像は、自車両２の周囲の車両が備える車載カメラから、通信ネットワークを介した通信により、又は車車間通信により、取得されるものとしてもよい。

また、表示制御部２８は、上述した実施形態では、歩行者や自転車である交通参加者の参加者映像を強調表示するものとしが、歩行者のうち、子供や高齢者等の注意が必要な歩行者についてのみ強調表示するものとしてもよい。強調表示は、上述した態様のほか、点滅表示や拡大表示であってもよい。

表示制御部２８は、夜間や雨天時等の直接視界が悪いときにも、環境条件に左右されずに、クリアな仮想環境画像に基づく合成画像を表示装置１２に表示させるものとすることができる。

カメラ３は、赤外線カメラであってもよい。これにより、暗闇において肉眼では確認できない歩行者の存在を、合成画像上において運転者Ｄへ伝えることができる。

表示制御部２８は、表示装置１２に表示された合成画像上の任意の位置がタッチされることに応じて、実環境映像のうち上記タッチされた位置の部分映像を、仮想環境画像上に更に嵌め込み合成して合成画像を生成してもよい。

なお、本発明は上記の実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

［６．上記実施形態によりサポートされる構成］
上述した実施形態は、以下の構成をサポートする。

（構成１）自車両の現在位置を取得する位置取得部と、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成する環境画像生成部と、自車両の周囲の実環境映像を取得して、前記実環境映像から交通参加者の映像部分である参加者映像を抽出する部分映像抽出部と、自車両の運転者が転回しようとしているか否かを判断する転回判断部と、前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示する表示制御部と、を備え、前記環境画像生成部は、自車両が転回しようとしていないときは、運転者の前方視線に対応した前記仮想環境画像を含む前方仮想画像を生成し、自車両が転回しようとしているときは、運転者の転回方向の視線に対応した前記仮想環境画像を含む側方仮想画像を生成し、前記表示制御部は、自車両が転回しようとしていないときは、前記前方仮想画像に基づく前記合成画像を前記表示装置に表示し、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を前記表示装置に表示する、表示システム。
構成１の表示システムによれば、運転シーン（転回しようとしているか否か）に合わせて表示装置に表示する合成画像の視点を変更するので、運転者は、進もうとする方向の交通環境を直感認識することが容易となる。すなわち、構成１の表示システムによれば、自車両の周囲における交通環境を、実際の運転シーンに合わせて運転者に認識容易に伝えることができる。

（構成２）前記表示制御部は、前記側方仮想画像に基づく前記合成画像を、前記表示装置の表示スクリーン上の、前記前方仮想画像に基づく前記合成画像を表示する位置より前記転回方向の側へずれた位置に表示する、構成１に記載の表示システム。
構成２の表示システムによれば、運転シーンに合わせて表示装置に表示する合成画像の表示位置を変更するので、運転者は、合成画像を視認する際の視線移動が減り、進もうとする方向の交通状況を直感認識することがより容易となる。

（構成３）前記表示制御部は、前記表示装置の表示スクリーン上において、前記合成画像を、自車両の進行方向先に対応する前記合成画像上の位置が、当該合成画像の表示範囲の中心となるように表示する、構成１または２に記載の表示システム。
構成３の表示システムによれば、運転者は、表示される合成画像からの交通環境の直感認識がより容易となる。

（構成４）前記表示装置の前記表示スクリーンは、自車両のインストルメントパネルに設けられた、車幅方向に横長に延在する表示パネルである、構成２または３に記載の表示システム。
構成４の表示システムによれば、側方仮想画像に基づく合成画像の表示位置を、前方仮想画像に基づく合成画像の表示位置から転回方向へ向かってずれた位置に、容易に表示することができる。

（構成５）前記表示装置の前記表示スクリーンは、自車両のインストルメントパネルに車幅方向に配置された複数の表示パネルで構成される、構成２または３に記載の表示システム。
構成５の表示システムによれば、前方仮想画像に基づく合成画像と側方仮想画像に基づく合成画像とを互いにずれた位置に表示することのできる表示装置を、容易に構成することができる。

（構成６）前記表示装置は、自車両のピラーの手前に配された追加の表示パネルを含む、構成４または５に記載の表示システム。
構成６の表示システムによれば、転回時における運転者の視線方向の近くに合成画像が表示されるので、運転者が合成画像を視認する際に必要となる視線移動量を更に減らすことができる。

（構成７）前記環境画像生成部は、自車両が転回しようとしているときは、前記運転者の前方視線に対応した前記仮想環境画像の画角を転回方向に広げた、前記運転者の転回方向の視線に対応した前記仮想環境画像を含む前記側方仮想画像を生成する、構成１に記載の表示システム。
構成７の表示システムによれば、運転者が視線移動に伴って目視し得る光景と同様な、前方視線から側方視線へつながる切れ目のない仮想画像を表示し得るので、より直感認識が容易な仮想画像を運転者に提供することができる。

（構成８）前記表示制御部は、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を、前記表示装置の表示スクリーン上において、前記前方仮想画像に基づく前記合成画像のための表示範囲を前記転回方向の側へ広げた範囲に表示する、構成７に記載の表示システム。
構成８の表示システムによれば、運転者が転回時に行う前方から側方への視線移動の方向に拡大された表示範囲に側方仮想画像が表示されるので、さらに直感認識が容易な態様で仮想画像を運転者に提供することができる。

（構成９）前記表示制御部は、所定の時間間隔で、現在時刻における前記仮想環境画像と前記参加者映像に基づく合成画像を生成して、現在時刻における前記合成画像を前記表示装置にリアルタイムに表示する、構成１ないし８のいずれかに記載の表示システム。
構成９の表示システムによれば、時々刻々変化する交通環境における運転者の視線の動きに沿った表示装置上の位置に合成画像を表示して、交通参加者の出現や動きを、空間認識が容易であって且つ交通参加者のリアルな存在感のある態様で運転者に伝えることができる。

（構成１０）前記仮想環境画像は、自車両の現在位置を含む前記周囲環境を俯瞰する画像であり、前記仮想環境画像上の自車両に対応する位置に、自車両を示すグラフィック表現である仮想自車表現が重畳表示される、構成１ないし９のいずれかに記載の表示システム。
構成１０の表示システムによれば、自車両を示す仮想自車表現を含んだ、自車両の現在位置の周辺を俯瞰する仮想環境画像をベースとするので、運転者は、映像が歪みやすいカメラ画像合成の俯瞰ビューに比べて、交通参加者と自車両との位置関係や、交通参加者間の位置関係を把握しやすい。

（構成１１）表示システムが備えるコンピュータが実行する表示方法であって、自車両の現在位置を取得するステップと、自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成するステップと、自車両の周囲の実環境映像を取得して、前記実環境映像から交通参加者の映像部分である参加者映像を抽出するステップと、自車両の運転者が転回しようとしているか否かを判断するステップと、前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示するステップと、を有し、前記生成するステップでは、自車両が転回しようとしていないときは、運転者の前方視線に対応した前記仮想環境画像を含む前方仮想画像を生成し、自車両が転回しようとしているときは、運転者の転回方向の視線に対応した前記仮想環境画像を含む側方仮想画像を生成し、前記表示するステップでは、自車両が転回しようとしていないときは、前記前方仮想画像に基づく前記合成画像を前記表示装置に表示し、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を前記表示装置に表示する、表示方法。
構成１１の表示方法によれば、仮想環境画像をベースとして交通環境の把握を容易としつつ、参加者映像により交通参加者の存在を運転者にリアルに伝えることができることに加えて、転回方向における交通状況を、転回時の運転者Ｄの目線に応じた、直観的に理解し易い画像で運転者Ｄへ伝えることができる。

１…表示システム、２…自車両、３…カメラ、３ａ…前方カメラ、３ｂ…左側方カメラ、３ｃ…右側方カメラ、４…物体検知装置、５…車両監視装置、６…ＧＮＳＳ受信機、７…ナビゲーション装置、１０…運転席、１１、１１ａ、１１ｂ…ピラー、１２、１４…表示装置、１３…インストルメントパネル、１５…表示スクリーン、１５１、１５１ａ、１５１ｂ、１５１ｃ、１５１ｄ、１５１ｅ、１５１ｆ…表示パネル、１５２…追加の表示パネル、１７ａ…前方画像範囲、１７ｂ、１８ｂ…左画像範囲、１７ｃ、１８ｃ…右画像範囲、２０…プロセッサ、２１…メモリ、２２…表示プログラム、２３…位置取得部、２４…転回判断部、２５…環境画像生成部、２６…部分映像抽出部、２７…車両検知部、２８…表示制御部、３０…合成画像、３１…仮想環境画像、３２…仮想自車表現、３３…参加者映像、３４…周囲車両表示、Ｄ…運転者。

Claims (11)

1. 自車両の現在位置を取得する位置取得部と、
   自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成する環境画像生成部と、
   自車両の周囲の実環境映像を取得して、前記実環境映像から交通参加者の映像部分である参加者映像を抽出する部分映像抽出部と、
   自車両の運転者が転回しようとしているか否かを判断する転回判断部と、
   前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示する表示制御部と、
   を備え、
   前記環境画像生成部は、自車両が転回しようとしていないときは、運転者の前方視線に対応した前記仮想環境画像を含む前方仮想画像を生成し、自車両が転回しようとしているときは、運転者の転回方向の視線に対応した前記仮想環境画像を含む側方仮想画像を生成し、
   前記表示制御部は、自車両が転回しようとしていないときは、前記前方仮想画像に基づく前記合成画像を前記表示装置に表示し、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を前記表示装置に表示する、
   表示システム。
2. 前記表示制御部は、前記側方仮想画像に基づく前記合成画像を、前記表示装置の表示スクリーン上の、前記前方仮想画像に基づく前記合成画像の表示範囲より前記転回方向の側へずれた表示範囲に表示する、
   請求項１に記載の表示システム。
3. 前記表示制御部は、前記表示装置の表示スクリーン上において、前記合成画像を、自車両の進行方向先に対応する前記合成画像上の位置が、当該合成画像の表示範囲の中心となるように表示する、
   請求項１に記載の表示システム。
4. 前記表示装置の前記表示スクリーンは、自車両のインストルメントパネルに設けられた、車幅方向に横長に延在する表示パネルである、
   請求項２に記載の表示システム。
5. 前記表示装置の前記表示スクリーンは、自車両のインストルメントパネルに車幅方向に配置された複数の表示パネルで構成される、
   請求項２に記載の表示システム。
6. 前記表示装置は、自車両のピラーの手前に配された追加の表示パネルを含む、
   請求項４に記載の表示システム。
7. 前記環境画像生成部は、自車両が転回しようとしているときは、前記運転者の前方視線に対応した前記仮想環境画像の画角を転回方向に広げた、前記運転者の転回方向の視線に対応した前記仮想環境画像を含む前記側方仮想画像を生成する、
   請求項１に記載の表示システム。
8. 前記表示制御部は、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を、前記表示装置の表示スクリーン上において、前記前方仮想画像に基づく前記合成画像のための表示範囲を前記転回方向の側へ広げた範囲に表示する、
   請求項７に記載の表示システム。
9. 前記表示制御部は、所定の時間間隔で、現在時刻における前記仮想環境画像と前記参加者映像に基づく合成画像を生成して、現在時刻における前記合成画像を前記表示装置にリアルタイムに表示する、
   請求項１に記載の表示システム。
10. 前記仮想環境画像は、自車両の現在位置を含む前記周囲環境を俯瞰する画像であり、前記仮想環境画像上の自車両に対応する位置に、自車両を示すグラフィック表現である仮想自車表現が重畳表示される、
    請求項１ないし９のいずれか一項に記載の表示システム。
11. 表示システムが備えるコンピュータが実行する表示方法であって、
    自車両の現在位置を取得するステップと、
    自車両の現在位置と地図情報とに基づいて、自車両の周囲環境を示す仮想画像である仮想環境画像を生成するステップと、
    自車両の周囲の実環境映像を取得して、前記実環境映像から交通参加者の映像部分である参加者映像を抽出するステップと、
    自車両の運転者が転回しようとしているか否かを判断するステップと、
    前記仮想環境画像に前記抽出した参加者映像のそれぞれを前記仮想環境画像上の対応する位置に嵌め込み合成した合成画像を生成して表示装置に表示するステップと、
    を有し、
    前記生成するステップでは、自車両が転回しようとしていないときは、運転者の前方視線に対応した前記仮想環境画像を含む前方仮想画像を生成し、自車両が転回しようとしているときは、運転者の転回方向の視線に対応した前記仮想環境画像を含む側方仮想画像を生成し、
    前記表示するステップでは、自車両が転回しようとしていないときは、前記前方仮想画像に基づく前記合成画像を前記表示装置に表示し、自車両が転回しようとしているときは、前記側方仮想画像に基づく前記合成画像を前記表示装置に表示する、
    表示方法。