JP7616372B2 - 車両用表示システム、車両用表示方法、及び車両用表示プログラム - Google Patents

Description

関連出願の相互参照

本出願は、２０２１年６月２日に出願された日本出願番号２０２１－０９２９９２号に基づくもので、ここにその記載内容を援用する。

本開示は、車両用表示システム、車両用表示方法、及び車両用表示プログラムに関する。

運転に必要な視覚情報を補うため、周辺カメラを使用した周辺監視機能が多数提案されている。例えば特許文献１参照。特許文献１記載の技術では、後方と側面の周辺カメラの撮像画像を連続した合成画像に加工することで、複数の画像を１枚のように見せている。また、ウィンカにより曲がる方向を理解し、曲がる方向の画角を広げることで周辺監視をしやすくした電子ミラー技術も提供されている。

このように、複数画像を連続した一つの画像に加工したり、カメラ側で機械的に画角を変更したりすることで、乗員が確認している場所を概ね変更することなく、本来確認させるべき画像を視認させることができる。これらの課題は、表示器の表示面積を大きくしながらフレーミングすることでも解決できるが、フレーミング技術だけでは車両乗員が求める情報を提供できない。

また、各種センサ類から得られる情報をグラフィカルな視覚情報にすることで、見やすく分かりやすい情報に変更して運転をサポートする技術も提供されている。技術が向上するにつれて車両内で取り扱われる情報は増加し、ディスプレイの表示画面の面積とその設置個数は増加傾向にある。

多くの情報が表示されていれば車両乗員をサポートできるが、乗員の視野範囲は限られているため全ての情報を一度に確認できない。そのため、車両乗員が視線を移動する回数が増加したり、首を振ったりする回数が増加し不便となる。また、多くの情報が表示されていると、必要且つ適切な情報をわずかな時間で探索し一目で確認することも困難である。

特開２０１９－１１８０１６号公報

本開示の目的は、乗員が視線を移動する回数や首を振る回数を極力抑制しながら適切な情報を確認できるようにした車両用表示システム、車両用表示方法及び車両用表示プログラムを提供することにある。

本開示の一態様によれば、判定部は、車両乗員により見られている主コンテンツが地図画面であるか判定し、変化検知部は、車速センサにより検出された自車両の速度信号から自車両の走行速度が所定の時間内に急速に低下したことを判定し、地図画面に関連する関連コンテンツとしてバックカメラの撮像画像の状況変化を検知することで自車両の周辺に他車両が増加したと判定する。表示処理部は、変化検知部による検知結果に基づいてバックカメラの撮像画像の表示態様を変更し、地図画面及びバックカメラの撮像画像を車両乗員の視線の先の視野範囲に表示する。

本開示の一態様によれば、変化検知部による検知結果に基づいて地図画面及びバックカメラの撮像画像を車両乗員の視線の先の視野範囲に表示しているため、車両乗員は地図画面と共にバックカメラの撮像画像も確認できる。このため、乗員が視線を移動する回数や首を振る回数を極力抑制しながら適切な情報を確認できる。

本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態について制御イメージを示す図であり、 図２は、車両用表示システムを概略的に示すブロック図であり、 図３は、処理内容を概略的に示すフローチャートであり、 図４は、車両乗員により確認されるディスプレイの説明図であり、 図５は、表示態様例のその１であり、 図６は、自車両と障害物の位置関係を示す鳥瞰図であり、 図７は、表示態様例のその２であり、 図８は、車両乗員により確認されるディスプレイの説明図であり、 図９は、表示態様例のその３であり、 図１０は、表示態様例のその４であり、 図１１は、表示態様の変化の説明図のその１であり、 図１２は、表示態様の変化の説明図のその２であり、 図１３は、第２実施形態における表示態様例のその５であり、 図１４は、表示態様例のその６であり、 図１５は、表示態様例のその７であり、 図１６は、表示態様例のその８である。

以下、車両用表示システム１、車両用表示方法、車両用表示プログラムに係る幾つかの実施形態について図面を参照しながら説明する。なお、各実施形態において実質的に共通する部位には同一の符号を付して説明する。

図１に示すように、車両用表示システム１は、センタディスプレイ３、及び電子ミラー４など複数の表示器を備えるコックピットシステムにより構成される。ただし、表示器の数や設置あるいは構成は一例であり、これらに限定されない。

センタディスプレイ３は、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成され、運転席と助手席との間に設置されている。

センタディスプレイ３は、ドライバや助手席の乗員の両者が視認しやすいセンタコンソール付近に設けられると共に各種のコンテンツを表示可能になっている。センタディスプレイ３の上には操作パネル２１が構成されており、センタディスプレイ３に表示させるコンテンツの選択や空調操作、オーディオ操作、ナビゲーション機能の入力操作できるようになっている。

電子ミラー４は、ドアミラーカメラ４ａ及びディスプレイ４ｂを用いて構成される。図２参照。ドアミラーカメラ４ａは、自車両Ｃａのドアミラーの設置箇所から自車両Ｃａの後方、すなわち側後方を撮像する周辺カメラ２３である。

電子ミラー４のディスプレイ４ｂは、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成される。ディスプレイ４ｂは、ドライバの左右位置にそれぞれ一つずつ設置されるもので、例えば車室内のＡピラーの下部にそれぞれ設置される。

電子ミラー４のディスプレイ４ｂは、ドライバから車両側後方を確認しやすい位置に設けられ、ディスプレイ４ｂには、ドアミラーカメラ４ａにより撮像された車両の周辺情報などを表示可能な構成となっている。

また車両内には、図１及び図２に示すように、多数のＥＣＵ５が構成されており、車内ネットワーク２５に接続されている。ＥＣＵ５は、表示系のＥＣＵ、周辺監視系のＥＣＵ、走行制御系のＥＣＵ、車両外部と通信接続するＤＣＭを含む。ＤＣＭは、Data Communication Moduleの略である。走行制御系のＥＣＵは、周知の車両制御ＥＣＵ、エンジン制御ＥＣＵ、モータ制御ＥＣＵ、ブレーキ制御ＥＣＵ、ステアリング制御ＥＣＵ及び統合制御ＥＣＵ等である。走行制御系のＥＣＵには自動運転ＥＣＵが含まれる。自動運転ＥＣＵは、Autonomous Driving Electric Control Unitである。

自動運転ＥＣＵは、自動制御信号を入力すると、運転アクチュエータを駆動することで対応した所定のレベルの運転支援、自動運転を実行する。例えば、レベルＩの運転支援では、障害物への衝突を避ける自動ブレーキ、前車に追従して走行する追従走行、又は、両脇の車線からはみ出さないように制御する走行レーンはみ出し防止走行、を実行できる。レベルＩＩの自動運転では、レベルＩの運転支援の組み合わせ、又は、特定条件下での自動運転、例えば高速道路で遅い車両が存在すれば自動で追い越したり、高速道路の分合流を自動で行ったりする自動運転モードを実行できる。レベルＩＩＩ以上の自動運転では、システムにより監視しながらシステムが全ての運転タスクを実行する。

各ＥＣＵ５は、プロセッサ、キャッシュメモリ、ＲＡＭ、ＲＯＭなどの各種の記憶部６、Ｉ／Ｏ、これらを接続するバスを備えたマイクロコンピュータを主体として構成される。各ＥＣＵ５は、車両内に設けられる他のＥＣＵ５と通信制御部７及び車内ネットワーク２５を通じて通信可能に接続されている。

本実施形態では、図２に示すように、複数の表示系のＥＣＵ５が車両用装置１０としてのＨＣＵを構成しており、表示系のＥＣＵ５の内部の物理リソースの処理能力を分担してセンタディスプレイ３及び電子ミラー４のディスプレイ４ｂに表示処理する。表示系のＥＣＵ５は専用線で互いに接続しても良いし、１つのＥＣＵ５により構成されていても良い。ＨＣＵは、Human Machine Interface Control Unitの略であり情報提示制御装置を示す。前述した記憶部６は、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体を示す。非遷移的実体的記憶媒体は、半導体メモリなどにより実現される。

図２に示すように、車両用装置１０は、制御装置１１、演算装置１２、記憶部６、表示処理部１３、音声処理部１４、各種装置からの入力又は出力を管理するＩ／Ｏ制御部１５、他のＥＣＵ５との間で通信管理する通信制御部７、を備える。

また、図２に示した位置検出器１９、操作パネル２１、乗員モニタ２２、周辺カメラ２３、距離検出センサ２４の出力信号についてはＩ／Ｏ制御部１５を通じて入力する形態を説明するが、車内ネットワーク２５を通じて、周辺監視系のＥＣＵ、走行制御系のＥＣＵなどの他のＥＣＵ５から信号入力されることもある。

演算装置１２は、制御装置１１の制御に基づいて、記憶部６に記憶された画像、文章や文字など（以下、画像等と称する）のコンテンツについて、センタディスプレイ３、電子ミラー４のディスプレイ４ｂの表示画面に表示させる表示領域を演算し、画像等のコンテンツをセンタディスプレイ３、電子ミラー４のディスプレイ４ｂの表示画面の何れの領域に表示させるか、また、何れの領域に重ね合わせて表示させるか演算し、画像等のコンテンツと共に表示領域を制御装置１１を通じて表示処理部１３に出力する。

表示処理部１３は、制御装置１１の制御に基づいて、センタディスプレイ３、電子ミラー４のディスプレイ４ｂの表示画面の中の前述の表示領域に画像等のコンテンツを表示処理する。これにより、各ディスプレイ３、４ｂの表示画面には、表示レイヤ毎に画像等のコンテンツを重ね合わせて表示できる。音声処理部１４は、制御装置１１の制御に基づいて、マイク１７から入力された受話音声を入力すると共に、スピーカ１８から送話音声を出力する。音声処理部１４は、文章や文字のコンテンツを制御装置１１から入力すると、音声に変換してスピーカ１８を通じて読み上げて出力する。

位置検出器１９は、図示しない周知のＧＰＳなどのＧＮＳＳ受信機、加速度センサやジャイロセンサなどの慣性センサを用いて高精度に位置を検出する。位置検出器１９は、位置検出信号をＩ／Ｏ制御部１５を通じて制御装置１１に出力する。制御装置１１の位置特定部１１ａは、地図データ入力器から入力される地図情報と位置検出器１９の位置検出信号に基づいて車両の現在位置を高精度に逐次測位するＡＤＡＳロケータとしての機能を実現する。ＡＤＡＳは、Advanced Driver Assistance Systemsの略である。

この場合、車両位置は、緯度及び経度からなる座標系で表され、この座標系では、例えば、Ｘ軸が経度、Ｙ軸が緯度を示す。なお、車両位置の測位は、例えば、自車両Ｃａに搭載されている車速センサを用いても良い。車速センサは、車両の速度を検出し速度信号を制御装置１１に出力する。測位は車速センサによるセンシング結果に基づき求められる走行距離の情報などに基づいて行うなど、自車両Ｃａの位置を特定できる構成であれば、種々の構成を採用できる。制御装置１１は、自車両Ｃａの現在位置に基づいて、いわゆるナビゲーション処理を行うことができる。

操作パネル２１は、センタディスプレイ３の上に構成されたタッチパネルであり、Ｉ／Ｏ制御部１５は、乗員による操作入力があると操作入力を受け付け、制御装置１１に出力する。制御装置１１は操作パネル２１の操作信号に基づいた制御を実行する。

乗員モニタ２２は、車両内に搭乗した乗員の状態又は操作状態を検知する。乗員モニタ２２は、例えばパワースイッチ、乗員状態モニタ、ターンスイッチ、自動制御スイッチなどを用いて構成され、各種の信号を制御装置１１に出力する。乗員モニタ２２は、ドライバによりステアリングホイールが把持されているか又は操舵されているか否かを検出するステアリングセンサ、シートに着座しているか否かを検出する着座センサ、アクセルペダル又はブレーキペダルの踏込センサなどを含んでいても良い。

パワースイッチは、内燃機関又は電動モータを始動させるために車室内にて乗員によりオン操作されることで、当該操作に応じた信号を出力する。乗員状態モニタは、Ｄ席又はＰ席の乗員の状態を画像センサにより撮影することで当該乗員の状態を検知して撮像信号を出力するカメラを含んで構成される。ドライバの乗員状態モニタはＤＳＭと称されている。ＤＳＭは、Driver Status Monitorの略である。乗員状態モニタは、ドライバの頭部に近赤外光を照射して撮影した撮像信号を取得し必要に応じて画像解析して制御装置１１に出力する。

乗員状態モニタは、特に運転支援中や自動運転中にドライバなどの乗員の状態を検知するために使用される。ターンスイッチは、自車両Ｃａの方向指示器を作動させるときに車室内にて乗員によりオン操作されることで、当該操作に応じて右方又は左方にターンするターン信号を出力する。

自動制御スイッチは、車両の走行状態に対する所定の運転支援又は自動制御を指令するために、車室内にて乗員によりオン操作されることで、当該操作に応じた自動制御信号を出力する。この自動制御信号は走行制御系のＥＣＵに出力されることで、対応した所定のレベルの運転支援又は自動運転制御を実行できる。

制御装置１１は、乗員モニタ２２のセンサ信号により車両乗員の挙動、例えば視線が何れの方向を向いているかを判定でき、また、パワースイッチの操作状態、方向指示器の作動状態、車両の自動制御の指令情報、車両の速度センサによる速度情報などを入力できる。

周辺カメラ２３は、車両の前方を撮像する前方視界カメラや、車両の後部を撮像するバックカメラ、車両の前側部や後側部を撮像するコーナカメラ、又は、車両の側部を撮像するサイドカメラ、電子ミラー４のドアミラーカメラ４ａなどによるものであり、これらはそれぞれフロントガイドモニタ、バックガイドモニタ、コーナービューモニタ、サイドガイドモニタ、電子ミラー４の各撮像信号としてＩ／Ｏ制御部１５を通じて制御装置１１に出力され記憶部６に記憶される。

電子ミラー４のディスプレイ４ｂは、ドアミラーカメラ４ａにより撮像された映像を表示させる。なお電子ミラー４は、後写鏡を再現するものである。このため、電子ミラー４は、ドアミラーカメラ４ａにより撮像された映像について鏡像反転させた映像を、電子ミラー４用のディスプレイ４ｂに表示させる。

また車両には障害物との距離などを検出する距離検出センサ２４が周辺監視センサとして設置されている。距離検出センサ２４は、クリアランスソナー２４ａ、ＬｉＤＡＲ又はミリ波を用いたレーダなどにより構成され、車両前方、車両前側部、車両後側部、車両後方又は車両側部に近接する車両や人などの障害物との距離を検出する。

各ＥＣＵ５にはＳｏＣが搭載されている。ＳｏＣはSystem On Chipの略である。搭載されたＳｏＣには前述したマイクロコンピュータが組込まれている。ＥＣＵ５のＳｏＣに組み込まれたマイクロコンピュータは、予めインストールされた汎用ＯＳ、リアルタイムＯＳ上で各種の複数のアプリケーション（以下、アプリと略す）が動作するように構成されており、これにより制御装置１１は後述する機能を実現できる。アプリは、画像処理アプリやその他のアプリを含む。画像処理アプリの描画要求に応じてＳｏＣに組み込まれたプロセッサが、センタディスプレイ３、電子ミラー４のディスプレイ４ｂの表示画面に描画処理する。

また、アプリにより描画されるコンテンツは、他のディスプレイ、ここではセンタディスプレイ３にも表示できる。アプリにはナビアプリ等が含まれている。ナビアプリは、ナビゲーション機能を実現するものであると共に、主にセンタディスプレイ３又は電子ミラー４のディスプレイ４ｂに表示される地図画像や車両の現在位置などを含むナビゲーション画面を描画する。

またアプリには画像合成アプリも含まれている。画像合成アプリは、表示器に表示する様々な画像コンテンツの大きさや種類を特定し、画像コンテンツの画像を１フレーム内に合成し、この合成された混在画像をセンタディスプレイ３又は電子ミラー４のディスプレイ４ｂに出力するアプリである。画像合成アプリは、コンポジッタとも称される画像合成部としての機能や、また画像出力部としての機能を実現する。

またアプリには検知アプリも含まれている。検知アプリは、乗員モニタ２２による撮像信号に基づいて車両内の乗員の仕草を検知したり、手指による操作やその視線を検知したり、車両内の乗員の顔の表情や仕草を検知する。また、操作パネル２１のタッチパネルの操作者を検知する。

各アプリのうち画像コンテンツを描画するアプリには、画像コンテンツを描画するための表示レイヤが割り当てられている。これらの表示レイヤは、記憶部６上に、必要となる画像コンテンツを描画できる大きさで確保されている。

記憶部６には各種のコンテンツが記憶される。コンテンツは、映画やテレビ映像などのエンタテイメント系コンテンツ、メータ画面、電子ミラー４のドアミラーカメラ４ａによる撮像画像、周辺カメラ２３（例えば、前方撮像カメラ、コーナカメラ、サイドカメラ、バックカメラ、ドアミラーカメラ４ａ等）による各撮像画像、或いは、周辺カメラ２３の撮像画像を合成して作成されたアラウンドビューの画像コンテンツ、などに分類される。

また、前述したコンテンツは相互に関連付けられており、主コンテンツと関連コンテンツとの関係性を備えて記憶部６にデータベース化して登録される。例えば、電子ミラー４の撮像画像には、クリアランスソナー２４ａの検知状況Ｓａ、Ｓｂを示すコンテンツが互いに関連づけられる。さらに、前述した周辺カメラ２３の撮像画像、すなわち前方撮像カメラ、コーナカメラ、サイドカメラ、バックカメラ、ドアミラーカメラ４ａの各撮像画像は、相互に関連付けられている。

さらに、ナビゲーションに係る地図画像やメータ画像は、電子ミラー４の撮像画像と互いに関連付けて記憶される。さらに、ナビゲーション地図画像には、補足情報のコンテンツが関連付けて記憶部６に記憶されている。補足情報は、例えば目的地や現在地、ナビ設定、環境設定、地図詳細表示、表示変更、地図表示オフ、目的地セット、地点登録、広域地図変更などの操作指示ボタン表示画面のコンテンツである。また、ナビゲーションに係る地図画像には、地図の場所に近接した飲食店などの施設の情報が互いに関連付けて記憶部６に記憶されている。

制御装置１１は、記憶部６に記憶されたあるコンテンツを主コンテンツとした場合、記憶部６を参照することでこの主コンテンツに関連した上記の関連コンテンツを読み出して参照できる。これにより、表示処理部１３は、主コンテンツ及び関連コンテンツをディスプレイ３又は４ｂに同時に表示処理できる。

また、各ディスプレイ３、４ｂに表示されるコンテンツは、アニメーション動作可能になっている。ここで、アニメーション動作とは、コンテンツを示す画像の位置や大きさが徐々に変化したり、画像が回転したり、スワイプ操作にともなってユーザインターフェースが全体的に移動したり、画像が徐々にフェードインあるいはフェードアウトしたり、画像の色が変化したりするような表示態様である。ただし、アニメーション動作はこれらに限定されず、ある時点から連続的あるいは断続的に表示態様が変化するものであればアニメーション動作に含まれる。

図２に示した制御装置１１は、記憶部６に記憶された各種のアプリを実行する。本実施形態では、制御装置１１が記憶部６に記憶されたナビアプリを実行することでナビゲーション機能を実現する。また、制御装置１１は、記憶部６に記憶された検知アプリを実行することで、乗員モニタ２２のモニタ信号に基づいて車両内のドライバ席（以下、Ｄ席）、助手席（以下、Ｐ席）、後部座席に座した乗員の有無を検知できる。また、Ｄ席やＰ席又は後部座席に座した乗員の視線を検知する視線検知部１１ｂとして機能する。

制御装置１１は、記憶部６に記憶されたアプリを実行することで、車両乗員により見られている主コンテンツを判定する判定部１１ｃとしての機能を実現する。制御装置１１は、記憶部６に記憶されたアプリを実行することで、主コンテンツに関連する状況が変化、主コンテンツに関連する関連コンテンツの状況が変化、又は、主コンテンツを見る車両乗員が変化することを検知する変化検知部１１ｄとしての機能を実現する。また、制御装置１１は、記憶部６に記憶されたアプリを実行することで、車両乗員、特にドライバの運転負荷を判定する運転負荷判定部１１ｅとしての機能を実現する。

そして表示処理部１３は、変化検知部１１ｄによる検知結果に基づいて主コンテンツ又は関連コンテンツの表示態様を変更し、主コンテンツ及び関連コンテンツを車両乗員の視線の先の所定の視野範囲に表示する。

上記の作用について図３以降の図面を参照しながら説明する。図３に示すように、パワースイッチが操作され車両が起動されると、制御装置１１は、Ｓ１においてナビアプリ等のアプリを起動する。アプリが起動されると、Ｓ２において乗員モニタ２２を用いて車両乗員の視線を監視し、表示処理部１３は、各ディスプレイ３、４ｂに画像を出力して表示させる。

制御装置１１は、Ｓ４においてドライバにより見られているコンテンツを判定し主コンテンツとして認定する。ドライバは、第１の車両乗員相当である。ここでは、ドライバの視線を検知することで何れのディスプレイ３、４ｂを見ているか判定することで見られているコンテンツを判定できる。

制御装置１１は、その後、Ｓ５において主コンテンツに関連する状況が変化したか否かを判定したり、Ｓ６において関連コンテンツの状況が変化したか否かを判定したり、Ｓ７において主コンテンツを見る車両乗員が変化したか否かを判定する。

Ｓ５の判定内容「主コンテンツに関連する状況が変化」は、例えば主コンテンツとして電子ミラー４の撮像画像を認定した場合、車両がバックすることで電子ミラー４の撮像画像の中に障害物を画像認識し始める変化を検知した場合などを示している。その他、ドライバにより見られている主コンテンツがクリアランスソナー２４ａの検知状況Ｓａであった場合、クリアランスソナー２４ａにより自車両Ｃａの周辺に障害物を検知するなど何らかの変化を検知した場合を示している。すなわち、主コンテンツの中で何らかの変化を生じたときにＳ５でＹＥＳと判定する。

また、Ｓ６の判定内容「関連コンテンツの状況が変化」は、例えばドライバにより見られている主コンテンツが電子ミラー４の撮像画像であるときに、電子ミラー４の撮像画像に関連する関連コンテンツであるクリアランスソナー２４ａの検知状況Ｓａに変化したとき、例えば障害物を検知し始めた変化を生じた場合などを示している。

また、Ｓ６の判定内容「関連コンテンツの状況が変化」は、ドライバにより見られている主コンテンツがクリアランスソナー２４ａの検知状況Ｓａであるときに、当該クリアランスソナー２４ａの検知状況Ｓａに関連する電子ミラー４の撮像画像に障害物を検出し始めて撮像画像の画像認識状況に変化を生じた場合などを示している。すなわち、主コンテンツに関連する関連コンテンツに何らかの変化を生じたときにＳ６でＹＥＳと判定する。

制御装置１１は、Ｓ５において主コンテンツに関連する状況が変化し、又はＳ６において関連コンテンツの状況が変化した、と判定したときには、Ｓ９において表示態様を変更した上で、Ｓ１０において表示するディスプレイ３、４ｂを特定し、表示処理部１３は、特定されたディスプレイ３、４ｂに画像を出力して表示させる。

また、Ｓ７の判定内容「主コンテンツを見る乗員が変化」は、例えばドライバの視線が主コンテンツから外れると共に、Ｐ席の乗員が同じ主コンテンツを見始めたことを検知した場合などを示しており、特定の主コンテンツを見る乗員が変化したときにＳ７でＹＥＳと判定する。Ｐ席の乗員は第２
の車両乗員相当である。

制御装置１１は、Ｓ７において主コンテンツを見る車両乗員自体が変化したと判定したときには、Ｓ８において乗員モニタ２２を用いて主コンテンツを見ている第２の車両乗員の視線を検知した上で、Ｓ９において主コンテンツ又は関連コンテンツの表示態様を変更し、Ｓ１０において表示するディスプレイ（例えば３、４ｂなど）を特定し、Ｓ１１において画像を出力して表示させる。

以下、実際の車両運行に適用した適用例を説明する。例えば、ドライバが自車両Ｃａを後退させて駐車場に駐車させるときに、図４及び図５に示すようにセンタディスプレイ３に表示されたクリアランスソナー２４ａの検知状況Ｓａを見ている場合を考える。

制御装置１１は、ドライバによりクリアランスソナー２４ａの検知状況Ｓａを見ていることを検知する。このとき、クリアランスソナー２４ａの検知状況Ｓａが主コンテンツとして認識される。自車両Ｃａの周辺に障害物が存在しないとき、クリアランスソナー２４ａが近接無反応の場合には、図５に示すように、表示処理部１３は、そのままクリアランスソナー２４ａの検知状況Ｓａをセンタディスプレイ３に表示させる。

その後、ドライバが自車両Ｃａを後退させたときに、図６に示すように自車両Ｃａの左後方に障害物Ｏｂが存在することを想定すると、クリアランスソナー２４ａにより自車両Ｃａの左後方に障害物Ｏｂが検知される。

このとき、表示処理部１３は、クリアランスソナー２４ａに反応した障害物の検知方向、及び、検知方向の周辺を撮像する周辺カメラ２３の撮像画像を関連コンテンツとして視野範囲に表示する。具体的には、表示処理部１３は、クリアランスソナー２４ａの検知状況Ｓａと共に障害物を検知した方向に警告表示を行い、さらに検知状況Ｓａの表示領域に隣接して、クリアランスソナー２４ａが反応した方向に対応した周辺カメラ２３の撮像画像を表示すると良い。図６に示すことを想定した場合には、図７に示すように、左後方を撮像する電子ミラー４のドアミラーカメラ４ａの撮像画像を表示させると良い。このとき、表示処理部１３は、車両乗員の視野範囲に入るように表示すると良い。

これにより、制御装置１１の変化検知部１１ｄにより状況変化が検知される前は、表示処理部１３は、関連コンテンツとなる電子ミラー４のドアミラーカメラ４ａの撮像画像をデフォルトの所定位置となる電子ミラー４のディスプレイ４ｂに表示し、状況変化が検知された後は、関連コンテンツをセンタディスプレイ３の視野範囲に移動させることができる。このとき、表示処理部１３は、デフォルトとして電子ミラー４のディスプレイ４ｂに表示させていた関連コンテンツを消去しても良いし、電子ミラー４のディスプレイ４ｂに表示させたまま、センタディスプレイ３に複製して表示しても良い。
なお、クリアランスソナー２４ａの反応位置に対し、周辺カメラ２３のうち何れの方向（前方、後方、前側方、後側方etc）を撮像する画像コンテンツを表示するかは予め決定し、対応関係を記憶部６に予め記憶しておくことが望ましい。

また表示処理部１３は、主コンテンツを見ている車両乗員の位置と主コンテンツとの相対位置関係に応じて関連コンテンツを表示する位置を変更することが望ましい。例えば、主コンテンツを見ているドライバの右側に関連コンテンツが関係するときには、主コンテンツの右側に関連コンテンツを表示させると良く、逆に、図６及び図７に示したように、主コンテンツを見ているドライバの左側に関連コンテンツが関係するときには、主コンテンツの左側に関連コンテンツを表示させると良い。また例えば、Ｐ席の乗員がコンテンツを見たことを検知した場合、Ｐ席の乗員側に表示しても良い。危険な場所を撮像画像により見せる場合には、主コンテンツを中心として危険箇所の相対位置に表示すると良い。

また、この後、ドライバが所定のセンタディスプレイ３の中央脇に視線を移動した場合でも、制御装置１１によりこの視線の移動変化を検知し、表示処理部１３は、その定められたセンタディスプレイ３に対し、クリアランスソナー２４ａが反応した方向を撮像する周辺カメラ２３の撮像画像を表示すると良い。センタディスプレイ３の中央側に視線を移動した場合、バックカメラの撮像画像を表示すると良い。表示処理部１３は、視線の移動先の視野範囲に入るように画像コンテンツを表示させると良い。

クリアランスソナー２４ａによる障害物の反応が終了した後、視線の移動がされなかった場合でも、周辺カメラ２３の撮像画像を一定時間の間、表示を留めておくことが望ましい。これにより、車両乗員は、自車両Ｃａの周辺状況を確認して問題なくなったことを認識できる。これにより、車両乗員が視線の先を変える頻度を減らすことができ、首振り回数を減らすことができる。

また、ドライバが自車両Ｃａを後退させ左後方に位置する自宅駐車スペースに駐車させるときに、図８及び図９に示すように、左側の電子ミラー４のディスプレイ４ｂを確認しながら駐車させる場合を考える。このように、ドライバが左側のドアミラーカメラ４ａの撮像画像を見ているときには、制御装置１１は、電子ミラー４の撮像画像を主コンテンツとして認定する。

自動運転ではなく通常運転する場合、ドライバは走行方向を常に確認しなければならない都合上、そのまま電子ミラー４のディスプレイ４ｂを継続して見続けながら運転を続けるのは難しい。また狭い道路を走行中に対向車とすれ違う場合、また左右の障害物をすり抜ける場合には、従来通り、左右の電子ミラー４に注意を向けながら運転するほうが良い。このため、制御装置１１が、乗員モニタ２２によりドライバが電子ミラー４のディスプレイ４ｂを見ていることを検知した場合、クリアランスソナー２４ａの検知状況Ｓａを関連コンテンツとし、表示処理部１３は、図１０に示すように、電子ミラー４の表示領域の一部にクリアランスソナー２４ａが他の障害物に反応した検知状況Ｓａを表示すると良い。図１０に示すように、自車両Ｃａの側後方に他車両Ｃｅが存在したとしても、この方向を認識できる。

まとめると、図１１に示すように、表示処理部１３がクリアランスソナー２４ａの検知状況Ｓａをセンタディスプレイ３に表示している場合、さらにドライバがクリアランスソナー２４ａの検知状況Ｓａを見ていると判定した場合、表示処理部１３は、通常のクリアランスソナー２４ａの検知状況Ｓａの画像と共に電子ミラー４の撮像画像を同一のディスプレイ３に表示させている。

また、表示処理部１３が電子ミラー４のディスプレイ４ｂに撮像画像を表示すると共に、電子ミラー４がドライバにより見られていると判定した場合、表示処理部１３は、通常の電子ミラー４の撮像画像と共に、クリアランスソナー２４ａの検知状況Ｓａを同一のディスプレイ４ｂに表示させている。なお、それ以外の場合には、通常の表示を継続している。これにより、ドライバに注意を意識づけることができる。

運転環境又は交通状況に応じて、ドライバが確認したほうが良く、確認させる必要性の高い画像が複数存在する場合、表示処理部１３は、主コンテンツ及び関連コンテンツとして一箇所にまとめて表示処理すると良い。また、乗員が見ている箇所に最適化した表現で表示させることが望ましい。

また表示処理部１３は、運転環境又は交通状況に応じて主コンテンツ及び関連コンテンツに設定される表示優先度の高低により、関連コンテンツを変更又は関連コンテンツの表示態様を変更して表示処理することが望ましい。具体的には、制御装置１１は、刻々と変化する運転環境又は交通状況に応じて周辺カメラ２３の撮像画像や電子ミラー４の撮像画像に表示優先度を設定し、表示優先度を用いてディスプレイ３、４ｂに画像を表示させると良い。このとき、表示優先度の高いコンテンツの順にディスプレイ３又は４ｂに画像を表示させると良い。

このとき、関連コンテンツの表示優先度が主コンテンツより高く変更された場合には、関連コンテンツを主コンテンツに対して目立つように表示すると良い。関連コンテンツの状況が変化し、表示優先度が高く変更されたときには当該関連コンテンツ自体を変更したり、また関連コンテンツの表示態様を変更したりして表示処理すると良い。

制御装置１１は、周辺カメラ２３の撮像画像や自車両Ｃａの挙動を検出することで、運転環境又は場所や時間を含む交通状況の中で自車両Ｃａの置かれている状況を判断できる。

例えば、位置特定部１１ａにより高速道路を走行中であると認められた場合について説明する。高速道路を走行中、制御装置１１が自車両Ｃａの周辺に他車両Ｃｅを多く検知すると共に、自車両Ｃａの走行速度が所定の時間内に急速に低下したことを検出した場合、高速道路走行中に渋滞に巻き込まれたという自車両Ｃａの運転環境や交通状況を判定できる。

このような運転環境や交通状況が、記憶部６にデータベース化して記憶されていれば、制御装置１１は、この記憶部６のデータベースを参照し、周辺カメラ２３や距離検出センサ２４により自車両Ｃａの周辺に他車両Ｃｅがどの程度密集しているか、又は、自車両Ｃａの周辺に他車両Ｃｅが増加しているか検出することで、渋滞を生じるか否か、又は、どの程度の渋滞を生じるか予測できる。

このため、制御装置１１は、高速道路を走行中に所定より急減速したと認められたときには、記憶部６のデータベースを参照することで渋滞を生じたと検出、さらにどの程度の渋滞を生じるかを予測し、例えば、地図画面を主コンテンツとして表示するセンタディスプレイ３の中に、周辺カメラ２３のうち自車両Ｃａの後続車の状況を映し出すバックカメラの撮像画像を関連コンテンツとしてセンタディスプレイ３に表示させると良い。このように表示処理することで、ドライバに注意喚起できる。

また例えば、位置特定部１１ａによりドライバの自宅住所周辺を走行中であると認められた場合について説明する。車両がドライバの自宅住所周辺を走行中であると認められると、制御装置１１は、シフトレンジがＲレンジに入ったか否かを判定し、記憶部６に記憶されたデータベースを参照することで、自宅駐車スペースに入庫させるときに事故を生じやすい事象を推定し、ディスプレイ３又は４ｂに表示させる画像の表示優先度に反映させる。

例えば、ドライバがステアリングホイールを左旋回させながら自車両Ｃａを後退させるときには、図１０に示したように、ドライバは左側の電子ミラー４のディスプレイ４ｂの映像を確認しながら自車両Ｃａを後退させる。しかし、ドライバが左側の電子ミラー４のディスプレイ４ｂに注意しすぎている場合、右側に他の障害物（図示せず）を見落としやすい。この事故の事象が記憶部６のデータベースに登録されていれば、制御装置１１はこの事故の事象を参照できる。

クリアランスソナー２４ａにより右後方に障害物を検知した場合、図１２に示すように、表示処理部１３は、関連コンテンツとして表示されている左側の検知状況Ｓａに代えて右側の検知状況Ｓｂを電子ミラー４のディスプレイ４ｂに表示させると良い。また、図１２に示したように、ドライバへ注意を促すように右側の検知状況Ｓｂを検知状況Ｓａに比べて大きく表示させると良い。図１２に示す例では、右側の検知状況Ｓｂだけを関連コンテンツとして表示しているが、左側の検知状況Ｓａも合わせて表示しても良い。

本実施形態によれば、変化検知部１１ｄによる検知結果に基づいて主コンテンツ又は関連コンテンツの表示態様を変更し、当該主コンテンツ及び関連コンテンツを見る車両乗員の視線の先の視野範囲に表示している。このため、車両乗員は主コンテンツと共に関連コンテンツも同時に確認できる。これにより、車両乗員は視線を移動する回数や首を振る回数を極力減らしつつ適切な情報を確認できる。

（第２実施形態）
第２実施形態について図１３から図１６を参照しながら説明する。第２実施形態は、乗員がナビアプリに応じて描画される地図画面を見る際の主コンテンツと関連コンテンツとの関係性について説明する。

図１３に示す地図画面Ｂ１は、ナビアプリの実行に伴いディスプレイ３などに描画される。通常時、表示処理部１３は、地図画面Ｂ１をセンタディスプレイ３の表示画面いっぱいに大きく表示すると良い。これは、ドライバが通常運転中に前方に注意を払いつつ地図画面Ｂ１をちら見して確認したとしても確認しやすくなるためである。すなわち、制御装置１１は、乗員モニタ２２によりドライバが地図画面Ｂ１を見ていることを検知したとき、表示処理部１３は地図画面Ｂ１をセンタディスプレイ３の表示画面いっぱいに大きく表示し、余計なものを表示しないようにすることが望ましい。

なお、乗員が操作しないと必要な情報が表示されないと不便なため、例えば、図１４に示すように、地図の方角情報Ｂ２、ＶＩＣＳ（登録商標）の情報取得時間Ｂ３などのように必要な情報を予め表示しておいても良い。

また制御装置１１は、乗員により地図画面Ｂ１が一定時間見られたことを検知したことを条件として、表示処理部１３は、図１５に示すように、その地図画面Ｂ１の補足情報を関連コンテンツとして表示すると良い。図１５に示す補足情報は、例えば目的地設定Ｂ４や現在地設定Ｂ５、その他のナビ設定Ｂ６、環境設定Ｂ７、地図詳細表示、表示変更、地図表示オフ、目的地セット、地点登録、広域地図変更などの操作指示ボタン表示画面Ｂ８のコンテンツである。

すなわち、制御装置１１は、ドライバにより見られていない又は一定時間未満だけしか見られていないと判定した場合、表示処理部１３は補足情報を表示せず、ドライバにより一定時間見続けられると補足情報を重畳表示する。これにより、段階的に情報を増やしながら情報提供でき、状況に応じた情報を提供できる。ドライバは感覚的に遅れて確認可能な提供情報が増えることになりドライバの認知処理負担も軽減される。

さらに、制御装置１１及び表示処理部１３は、ドライバにより見られている場合とＰ席の乗員により見られている場合とでセンタディスプレイ３に表示するコンテンツを変更すると良い。すなわち制御装置１１は、図３のＳ７において地図画面を見る乗員が変化しＰ席の乗員によりナビゲーションの地図情報が見られていることが判定された場合、Ｓ８においてＰ席の乗員の視線を検知した上で、表示処理部１３はＳ９からＳ１１において例えば地図画面Ｂ１に表示中の現在地近辺で開催されているエンタテイメント情報や、図１６に示すように、周辺のおすすめ店舗Ｂ９などを関連コンテンツとして表示処理すると良い。

このとき、表示処理部１３は地図画面Ｂ１を見ているＰ席の乗員側に関連コンテンツを表示させると良い。このとき、Ｐ席の乗員の視線の視野範囲に表示させると良い。Ｐ席の乗員が、視線の移動頻度を減らすことができ、首振りの回数を減らすことができる。

また制御装置１１は、運転負荷判定部１１ｅによりドライバの運転負荷を判定し、表示処理部１３は、ドライバの運転負荷に応じて関連コンテンツの情報量を変更して表示処理することが望ましい。運転負荷は、ドライバ操作による運転アクチュエータや、ナビゲーション表示画面の操作状況、自動運転レベル、又は乗員モニタ２２により乗員の状態を周知の技術を用いて検知することで算定できる。

例えば、制御装置１１が、運転負荷判定部１１ｅによりドライバの運転負荷を標準範囲と判定した場合には、情報量を通常の所定量として表示処理するが、運転負荷を標準より低いと判定した場合には情報量を多くして表示処理しても良い。逆に、ドライバの運転負荷を標準より高いと判定した場合、標準より目立たない表現にしたり情報量を減少させたりすると良い。すなわち、関連コンテンツについては、ドライバの運転負荷に応じて情報量を変更して表示処理すると良い。

例えば、停車中、また、その停車中にナビゲーションの目的地や現在地の設定しているときは運転負荷が低いため、関連コンテンツの情報量を標準より多くして表示しても良い。また、レベルＩＩＩ以上の自動運転中には、ドライバの運転負荷を低いと判定し、同様に情報量を標準より多くして表示しても良い。また、ＡＣＣによる追従走行や、レーンキープアシスト（ＬＡＳ）による定常運転時には、運転負荷を低いと判定し、同様に関連コンテンツの情報量を標準より多くして表示しても良い。

逆に、制御装置１１が、周辺監視センサにより車両の周囲に障害物が所定より多いと判定した場合や、ＶＩＣＳ（登録商標）等による交通情報を参照することで周辺の交通量が所定より多い高速道路を走行中であると判定した場合、また、高速道路を走行中に周辺監視センサにより他車両Ｃｅが自車両Ｃａの走行車線に進入すると判定した場合、また、一般道路を走行中でも人物が車両の周囲に存在又は移動していると判定した場合には、運転負荷を高いと判定し、関連コンテンツの情報量を標準より少なくしたり目立たないように表示したりすると良い。

さらに、レベルＩＩの運転支援においてレーンチェンジアシストを実行しているとき、特に車両操舵中には法規上ドライバによる監視義務を生じている。なおレーンチェンジアシストはLane Change Assistである。制御装置１１はレーンチェンジアシストを実行している最中には運転負荷を高いと判定し、関連コンテンツの情報量を標準より少なくしたり目立たないように表示したりすると良い。

表示処理部１３は、関連コンテンツが１又は複数の車両乗員による関連コンテンツを確認しているか否かの状況に応じて表示するか否かを決定又は表示態様を変更することが望ましい。状況に応じて、ドライバなどの車両乗員に関連コンテンツを確認させないようにすることで安全性を向上できるためである。

例えば、表示処理部１３が、Ｐ席の乗員を対象者として有益な動画コンテンツを関連コンテンツとして表示処理した場合、ドライバには不安全な誘目になる。ドライバがこの関連コンテンツを見たことを検知したときに動画コンテンツの表示をやめると良い。また、制御装置１１は、動画コンテンツを見る乗員が複数のときに何れの乗員が見ているかを判定し、ドライバが見ており車両運行の安全性に問題があるときには動画コンテンツの表示をやめることが望ましい。

車両が停車中から運転中に変化した場合、ドライバによりエンタメ系の動画コンテンツを見ていることが検知されたときには動画コンテンツを停止することが望ましい。ただし所定のレベル以上の自動運転中、例えばレベルＩＩＩ以上の自動運転中の場合には、ドライバをＰ席の乗員同様に扱っても良く、表示処理部１３は動画コンテンツを映し続けても良い。

（他の実施形態）
本開示は、前述した実施形態に限定されるものではなく、種々変形して実施することができ、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。例えば以下に示す変形又は拡張が可能である。

変化検知部１１ｄによる変化検知条件を満たしたときに、車両乗員の視線の先の視野範囲に主コンテンツ及び関連コンテンツを表示するようにしたが、逆に偏光フィルタなどを用いて見える範囲の広狭を調整して視野範囲に表示するようにしても良い。

図面中、１１ｃは判定部、１１ｄは変化検知部、１１ｅは運転負荷判定部、１３は表示処理部、を示す。

本開示に記載の制御装置１１、表示処理部１３による手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御装置１１、表示処理部１３及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御装置１１、表示処理部１３及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

本開示は、前述した実施形態に準拠して記述したが、本開示は当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。

Claims (7)

1. 車両乗員により見られている主コンテンツが地図画面であるか判定する判定部（１１ｃ）と、
   車速センサにより検出された自車両の速度信号から自車両の走行速度が所定の時間内に急速に低下したことを判定し、前記地図画面に関連する関連コンテンツとしてバックカメラの撮像画像の状況変化を検知することで自車両の周辺に他車両が増加したと判定する変化検知部（１１ｄ）と、
   前記変化検知部による検知結果に基づいて前記バックカメラの撮像画像の表示態様を変更し、前記地図画面及び前記バックカメラの撮像画像を前記車両乗員の視線の先の視野範囲に表示する表示処理部（１３）と、を備える車両用表示システム。
2. 前記変化検知部により状況変化が検知される前は、前記表示処理部は、前記関連コンテンツをデフォルトの所定位置に表示し、前記状況変化が検知された後は、前記関連コンテンツを前記視野範囲に移動又は複製する請求項１記載の車両用表示システム。
3. 前記表示処理部は、前記主コンテンツを見る前記車両乗員の位置と前記主コンテンツとの相対位置関係に応じて前記関連コンテンツを表示する位置を変更する請求項１又は２記載の車両用表示システム。
4. 前記表示処理部は、運転環境又は交通状況に応じて前記主コンテンツ及び前記関連コンテンツに設定される表示優先度を用いて、前記関連コンテンツを変更又は前記関連コンテンツの表示態様を変更して表示処理する請求項１又は２記載の車両用表示システム。
5. 前記表示処理部は、１又は複数の前記車両乗員による前記関連コンテンツを確認しているか否かの状況に応じて表示するか否かを決定又は表示態様を変更する請求項１又は２記載の車両用表示システム。
6. 判定部（１１ｃ）が、車両乗員により見られている主コンテンツが地図画面であるか判定し、
   変化検知部（１１ｄ）が、車速センサにより検出された自車両の速度信号から自車両の走行速度が所定の時間内に急速に低下したことを判定し、前記地図画面に関連する関連コンテンツとしてバックカメラの撮像画像の状況変化を検知することで自車両の周辺に他車両が増加したと判定し、
   表示処理部（１３）が、前記変化検知部による検知結果に基づいて前記バックカメラの撮像画像の表示態様を変更し、前記地図画面及び前記バックカメラの撮像画像を前記車両乗員の視線の先の視野範囲に表示する、車両用表示方法。
7. 判定部（１１ｃ）に、車両乗員により見られている主コンテンツが地図画面であるか判定させる手順と、
   変化検知部（１１ｄ）に、車速センサにより検出された自車両の速度信号から自車両の走行速度が所定の時間内に急速に低下したことを判定させ、前記地図画面に関連する関連コンテンツとしてバックカメラの撮像画像の状況変化を検知することで自車両の周辺に他車両が増加したと判定させる手順と、
   表示処理部（１３）に、前記変化検知部による検知結果に基づいて前記バックカメラの撮像画像の表示態様を変更し、前記地図画面及び前記バックカメラの撮像画像を前記車両乗員の視線の先の視野範囲に表示させる手順と、を備える車両用表示プログラム。

Images