以下、本開示の実施形態について図を用いて説明する。本開示は以下の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれる。また、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。種々の補足や変形例などは、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。同一の機能を有する部材については、同一の符号を付し、その説明を省略することがある。また、構成の一部のみに言及している場合、他の部分については他の箇所に記載の説明を適用することができる。
図1は、本開示が適用された車載システム100の概略的な構成の一例を示す図である。車載システム100は、図1に示すようにディスプレイ11、乗員モニタ12、車両状態センサ13、ロケータ14、運転支援装置15、入力装置16、及びHCU(HMI Control Unit)20を含む。HMIは、ヒューマンマシンインターフェース(Human Machine Interface)の略である。
ディスプレイ11はケーブルを用いてHCU20と直接的に接続されている。乗員モニタ12、車両状態センサ13、ロケータ14、運転支援装置15、及び入力装置16は、車載ネットワーク101を介してHCU20と通信可能に接続されている。車載ネットワーク101は、車両内に構築された通信ネットワークである。車載ネットワーク101の規格は、Controller Area Network(CANは登録商標)や、イーサネット(登録商標)、FlexRay(登録商標)など、任意の規格であってよい。図2に示すネットワークトポロジーは一例であって適宜変更されてよい。
ディスプレイ11は、インストゥルメントパネルに設けられた表示装置である。ディスプレイ11は、フルカラー表示が可能に構成されている。ディスプレイ11は、HCU20から入力信号に従って画像を表示する。
本実施形態のディスプレイ11は、図2に示すようにインストゥルメントパネルの上端部において、インストゥルメントパネルの右端から左端まで連続的に形成されている。このようなディスプレイ11は、ピラートゥピラーディスプレイと呼ぶこともできる。ディスプレイ11は、横幅0.5m以上の表示画面を有していてよい。ディスプレイ11は、それぞれ異なる機能についての複数の画面(ウィンドウ)を並列的に表示可能に構成されていてよい。ディスプレイ11は、HCU20の指示に基づき、走行速度などを示すメータウィンドウと、ナビゲーション画像を示すナビウィンドウと、オーディオ機能にかかる情報を表示するオーディオウィンドウとを並列的に表示可能であって良い。
ディスプレイ11の表示画面は、ドライバ用エリア、助手席用エリア、中央エリアに、実態的に又は仮想的に分割されていて良い。ドライバ用エリアは、運転席の正面に当たるエリアである。助手席用エリアは、助手席の正面に位置するエリアである。中央エリアは、ドライバ用エリアと助手席用エリアの間にある表示エリアを指す。前述のメータウィンドウはドライバ用エリアに配置されうる。
ディスプレイ11は、部分駆動可能な直下型バックライトを備える液晶ディスプレイであってよい。ディスプレイ11は有機ELディスプレイであっても良い。ディスプレイ11は、例えば中央部、右端部、及び左端部とで独立した光源を備えるエッジ型の液晶ディスプレイであってもよい。
本実施形態のディスプレイ11は、1つ又は複数の光源を備える。光源は、液晶ディスプレイにおけるバックライトのように、画像素子とは独立して設けられていてよい。また、光源は、有機ELディスプレイのような自発光方式のディスプレイを構成する、個々の画像素子であってもよい。
ディスプレイ11は、表示画面全体の明るさ(つまり輝度)を一律的に調整可能に構成されている。例えばディスプレイ11は、輝度が0の状態から所定の通常レベルまで段階的に輝度を調整可能に構成されている。ここでの通常レベルとは、ドライバが十分に表示内容を認識可能であって、かつ、眩しく感じない輝度値を指す。通常レベルの具体的な値は適宜設計されてよい。
通常レベルは、ドライバが所定の設定画面を介して調整可能に構成されていても良い。輝度が0の状態とは、完全消灯してあって、何も表示されていない状態を指す。当然、夜間表示モードでの通常レベルと、昼間表示モードでの通常レベルとは、物理的な光量(cd)等が異なっていて良い。夜間表示モードは、夜間やトンネル内など、車外の照度が所定値未満の場合/前照灯がオンの場合に適用される表示モードである。昼間表示モードは、車外の照度が所定値以上の場合/前照灯がオフの場合に適用される表示モードである。なお、ディスプレイ11は、表示画面の明るさ(つまり輝度)を部分的に調整可能に構成されていてもよい。
乗員モニタ12は、ドライバの視線方向を検出するためのセンサである。乗員モニタ12は、ドライバの顔部を撮像する姿勢で車室内に設置された可視光/赤外線カメラであってよい。乗員モニタ12は、図3に示すように運転席のヘッドレスト部に光軸を向けた姿勢にて、ステアリングコラムカバーの上面に配置されている。もちろん乗員モニタ12は、インストゥルメントパネルの上面部、フロントガラスの上端部、又は運転席側のAピラー等に取り付けられていてもよい。乗員モニタ12はディスプレイ11の上端部に取り付けられていても良い。図3に示す一点鎖線は乗員モニタ12の光軸を示し、破線は撮影範囲を示している。図3の実線矢印はドライバの視線方向を示している。
乗員モニタ12は、撮影映像に含まれるドライバの顔画像を解析することにより、ドライバの状態を逐次検出する。ドライバの状態には、ドライバの顔の向き(首向き角)や、目の開度が含まれて良い。また、乗員モニタ12は、画像解析により、ドライバの視線方向を検出する。視線方向は、多様な方法で検出されて良い。例えば乗員モニタ12は、ドライバの顔向きベクトルと、顔を基準とした目の向きベクトルを総合して、ドライバの視線方向を検出してよい。視線方向は、車両を基準として表現されても良いし、乗員モニタ12の光軸を基準として表現されても良い。
視線方向は、例えば上下方向の角度である視線上下角と、左右方向の角度である左右角で表現されて良い。視線上下角は、ドライバの視線方向の上下方向成分に相当する。視線左右角は、ドライバの視線方向の左右方向成分に相当する。本実施形態では視線上下角は上が増加方向(正方向)であり、視線左右角は右が増加方向(正方向)であるものとする。視線上下角は、車両水平面に対して視線方向がなす角度であって良い。車両水平面は、車両の上下方向に対して垂直な平面、換言すれば、車両の前後方向及び左右方向に平行な平面を指す。視線上下角は、視線ピッチ角あるいは視線仰俯角と言い換えられてよい。視線左右角は視線ヨー角と言い換えられて良い。
乗員モニタ12は、撮影画像をもとに特定したドライバの状態を示すデータをHCU20へ逐次出力する。なお、カメラの映像信号に基づきドライバ等の状態を検出する機能は、例えばHCU20が備えていても良い。その他、乗員モニタ12は、顔の向きを検出可能に構成されたミリ波レーダ/LiDARであってもよい。
車両状態センサ13は、自車両の状態に関する情報を検出するセンサ群である。車両状態センサ13には、車速センサ、操舵角センサ等が含まれる。車速センサは、自車の車速を検出するセンサである。操舵角センサは操舵角を検出するセンサである。車両状態センサ13は、検出対象とする物理状態量の現在の値(つまり検出結果)を示す信号をHCU20に入力する。また、車両状態センサ13には、方向指示スイッチや、パーキングブレーキスイッチが含まれてよい。HCU20には、方向指示器の作動状態を示す信号や、パーキングブレーキの作動状態を示す信号などが入力されて良い。HCU20に接続されるセンサの種類は適宜設計されてよい。
ロケータ14は、複数の情報を組み合わせる複合測位により、自車両の高精度な位置情報を生成する装置である。自車両の位置情報は、緯度、経度、及び高度の3次元座標で表されてよい。ロケータ14は、GNSS受信機と地図記憶装置を備えていて良い。GNSS受信機は、GNSS(Global Navigation Satellite System)を構成する測位衛星から送信される航法信号(以降、測位信号)を受信することで、当該GNSS受信機の現在位置を逐次検出するデバイスである。地図記憶装置は、道路網を示す地図データが保存されている記憶媒体である。ロケータ14は、GNSS受信機の測位結果と、加速度センサの出力と、地図データと、を組み合わせることにより、自車両の位置を算出して良い。
ロケータ14が算出した車両の位置情報は車載ネットワーク101に出力され、HCU20等によって参照される。ロケータ14は、地図データと現在位置情報とから定まる交差点や合流/分岐地点、踏切までの残り距離を示す前方道路データをHCU20に出力しても良い。本実施形態ではロケータ14はナビゲーション装置とは異なる装置であるが、他の態様においてはロケータ14はナビゲーション装置であってもよい。
運転支援装置15は、周辺監視センサを用いた走行環境の認識結果に基づいてドライバの運転を支援するための制御を実行する装置である。周辺監視センサは、検出範囲に存在する物体を検出するセンサである。周辺監視センサは、車外を撮像するカメラ、ミリ波レーダ、LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)、又はソナーであってよい。運転支援装置15は、車両前方(斜め前方を含む)に検知エリアを形成する周辺監視センサの出力信号に基づいて、障害物と接触可能性を示すパラメータを算出し、当該算出結果に基づいて、警告画像の表示や警告音の出力を実施しうる。障害物と接触可能性を示すパラメータは、衝突予測時間(TTC:Time To Collision)などであってよい。
警告画像の表示及び警告音出力は、HCU20に警告要求信号を出力することで実現されて良い。HCU20は、運転支援装置15から警告要求信号が入力されたことに基づいて、警告画像の表示等を実施してよい。運転支援装置15はTTCが所定値以下の物体が存在することに基づいて車両を強制的に減速させる衝突被害軽減制動(AEB:Autonomous Emergency Braking)を実施する装置であって良い。また、運転支援装置15は、車両前方を撮影するカメラである前方カメラの撮影画像に基づいて信号機を認識し、点灯状態にかかる警告/通知を実施する装置であってもよい。
入力装置16は、車載システム100に対するドライバの指示操作を受け付けるための装置である。入力装置16は、ステアリングスイッチや、タッチパネル、ハプティックデバイスなどであってよい。入力装置16は、ドライバの操作に対応する電気信号である操作信号をHCU20に出力する。操作信号は、ドライバの操作内容を示す情報を含む。HCU20は、入力装置16から入力される操作信号に基づき、ディスプレイ11の表示を制御する。
HCU20は、多様なセンサ/デバイスから入力される信号に基づいて、ディスプレイ11の表示内容及び表示輝度を制御する装置である。HCU20が表示制御装置に相当する。HCU20は複数の装置の協働によって実現されるシステムであってもよい。HCU20は、プロセッサ21、メモリ22、ストレージ23、通信インターフェース24等を備えたコンピュータであってよい。プロセッサ21は、メモリ22と結合された演算処理のためのハードウェアである。プロセッサ21は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の演算コアを少なくとも一つ含む。プロセッサ21は、メモリ22へのアクセスにより、種々の演算処理を実行する。メモリ22は、RAM(Random Access Memory)などの揮発性メモリである。プロセッサ21が制御部に相当する。
ストレージ23は、フラッシュメモリ等の不揮発性の記憶媒体である。ストレージ23には、プロセッサ21によって実行されるプログラムである表示制御プログラムが格納されている。プロセッサ21が表示制御プログラムを実行することは、表示制御プログラムに対応する方法である表示制御方法が実行されることに相当する。
通信インターフェース24は、プロセッサ21が他の車載装置と通信するための回路である。通信インターフェース24は、通信ケーブルが接続されるコネクタ及び車載ネットワーク101の通信規格に準拠したPHYチップなどを含む。また、通信インターフェース24は、ディスプレイ11との映像信号を出力するための回路や、ディスプレイ11と制御用の信号を送受信するための回路などを含む。制御用の信号には、ディスプレイ11の表示輝度を調整するための信号が含まれる。通信インターフェース24は、車両に搭載されている多様な車載装置からの信号を受信する。通信インターフェース24は、走行速度を示す信号や、方向指示器の作動状態を示す信号、ドライバの状態(例えば視線方向)を示す信号、前方道路データ、警告要求信号などを受信する。通信インターフェース24が受信部に相当する。
HCU20は、ストレージ23に保存されている表示制御プログラムを実行することにより、図4に示す種々の機能ブロックに対応する機能を提供する。すなわち、HCU20は機能ブロックとして視線取得部F1、閾値設定部F2、及び表示制御部F3を備える。本開示における視線取得部F1、閾値設定部F2、表示制御部F3、及びHCU20との記載は、適宜、プロセッサ21と読み替えられてよい。
視線取得部F1は、車両電源がオンである間、定期的に乗員モニタ12からドライバの視線方向を示すデータを取得する。車両電源は、車両が走行する際にオンとなる電源である。自車がエンジン車である場合、イグニッション電源が車両電源に相当する。また自車が電気自動車やハイブリッド車といった電動車である場合、システムメインリレーが車両電源に相当する。視線取得部F1が視線方向を取得する間隔は、1秒や0.5秒、1.5秒などであってよい。視線方向を示すデータは、取得時刻/取得順を示すデータとともにメモリ22に保存される。
視線取得部F1は、視線方向を示すデータを、データ取得時における車両の状態を示すデータ(以降、車両状態データとも記載)と紐付けて保存しても良い。具体的には視線取得部F1は、視線方向を示すデータを、データ取得時の走行速度、シフトポジション、パーキングブレーキの作動状態方向指示器の作動状態、及び操舵角の一部又は全部と紐付けて保存してもよい。自車両がアイズオフ可能な自動運転機能を搭載している場合、車両状態データは、自動運転システムの作動状態を示すデータを含んでいても良い。アイズオフ可能な自動運転とは、ドライバの周辺監視義務がないレベル(いわゆるレベル3)での自動運転を指す。
さらに、視線取得部F1は、視線方向を示すデータを、走行環境を示すデータ(以降、走行環境データとも記載)と紐づけて保存しても良い。走行環境データは、例えば交差点までの残り距離や、運転支援装置15による信号機の認識状態などを示すデータであってよい。
なお、顔画像からドライバの視線方向を特定する機能は、HCU20が備えていてもよい。本開示における「取得」には、他の装置/センサから入力されたデータ(例えば映像信号)を元に、内部演算によって生成/検出することも含まれる。システム内の機能配置は適宜変更可能であるためである。本開示ではメモリ22に保存されている複数時点でのドライバの視線方向の観測値を示すデータの集合を、視線履歴データとも記載する。また、個々の視線方向を示すデータを視線方向データとも記載する。複数の視線方向データは、取得時刻がそれぞれ異なる。
閾値設定部F2は、メモリ22に保存されている視線履歴データに基づいて、ディスプレイ11の輝度を下げるための閾値(以降、待機閾値)を設定する構成である。待機閾値は、ドライバがディスプレイ11を見ていないと判断するための視線方向に対する閾値と解されて良い。待機閾値は、前方視線範囲を基準として設定されて良い。本開示における前方視線範囲とは、ドライバが車両前方(正面方向)を見ているときの視線の上下角の範囲である。待機閾値は、ディスプレイ視線範囲の上側に位置するように設定される。ディスプレイ視線範囲は、ドライバがディスプレイ11を見ているときに取りうる視線上下角の範囲を示す。種々の視線範囲は、視線上下角の上限値(最大値)と下限値(最小値)とによって表現されてよい。
例えば閾値設定部F2は、視線履歴データに基づいて前方視線範囲を特定し、その下限値又は中央値を基準として、待機閾値を設定してよい。具体的には閾値設定部F2は、一定時間以内における視線方向のヒストグラムに相当するデータを作成し、最も出現数が多い階級を前方視線範囲の中央部としてよい。視線方向の階級(区分/ビン)は、例えば2度や、4度、5度刻みであってよい。
また、閾値設定部F2は、最も出現数が多い階級の中央値から一定値(α)以内となる角度範囲を前方視線範囲と見なしてよい。αは2.5度や、3度、5度などであってよい。例えば図5に示すように0.1度~5.0度の階級が最多階級である場合、その中央値である2.5度から±3度以内を前方視線範囲と判定してよい。最多階級は最もサンプル数(度数)が多い階級である。最多階級の中央値は、前方視線範囲の中心に相当する。視線上下角に対する複数の階級が複数の角度範囲に相当する。
閾値設定部F2は、最多階級の中央値つまり前方視線範囲の中心から一定値、下側となる角度値を待機閾値に設定してよい。例えば閾値設定部F2は、2.5度から6度低い値である-3.5度を、待機閾値に設定しても良い。閾値設定部F2は、前方視線範囲の下限値、又は、前方視線範囲の下限値よりも所定量小さい角度値を待機閾値に設定しても良い。
他の態様として、閾値設定部F2は、図6に示すように、最も出現数が多い階級の中央値から一定値(例えば5度)以上、下側となる角度範囲である候補領域の中で、最も出現範囲が多い階級の中央値をディスプレイ視線範囲の中心と判定しても良い。図6には、-2度以下の角度範囲が候補領域に設定されるケースを例示している。図6に示す例では、-8度より大きく-6度以下となる階級が、候補領域の中での最多階級である場合を示している。この場合、-7度がディスプレイ視線領域の中心に相当する。閾値設定部F2は、ディスプレイ視線範囲の中心から一定値以内となる角度範囲をディスプレイ視線範囲と見なしてよい。また、閾値設定部F2は、ディスプレイ視線範囲の上限値、又はディスプレイ視線範囲の上限値から一定値大きい角度値を待機閾値に設定しても良い。
また、閾値設定部F2は、図7に示すように視線方向/注視点の分布をクラスタリングすることにより、前方視線範囲及びディスプレイ視線範囲を特定し、それらのクラスタの間に待機閾値を設定しても良い。ここでの注視点とは、所定時間(例えば0.8秒)以上継続的に視線が向いていた方向であってよい。注視点の検出は、乗員モニタ12が実施しても良いし、HCU20が実施しても良い。
図7に示すクラスタC1は、ドライバが前方を見ている状態に対応する注視点の集合(クラスタ)である。クラスタC2は、ドライバがディスプレイ11のドライバ用エリアを見ている状態に対応する注視点の集合である。クラスタC3は、ドライバがディスプレイ11の中央エリアを見ている状態に対応する注視点の集合である。クラスタC4はドライバが右サイドミラーを見ている状態に対応し、クラスタC5は、ドライバが左サイドミラーを見ている状態に対応している。クラスタC6は、ドライバがルームミラー(バックミラー)を見ている状態に対応する注視点の集合である。
プロセッサ21は、最も注視点が集中しているクラスタを、ドライバが前方を見ている状態に対応するクラスタと見なし、当該クラスタに対する位置関係に基づいて他のクラスタに対応するドライバの状態を特定してよい。例えばプロセッサ21は、最も注視点が集中しているクラスタの下方に位置するクラスタを、ドライバがディスプレイ11(特にドライバ用エリア)を見ている状態に対応するクラスタと判断してよい。図7に示す例では閾値設定部F2は、クラスタC2の上端に位置する視線上下角(a1)と、クラスタC1の下端に位置する視線上下角(a2)との間に位置する任意の値(例えば中間値)を待機閾値に設定して良い。当該構成もまた、前方視線範囲を基準として待機閾値を決定する構成に相当する。
表示制御部F3は、ドライバの視線方向に基づいてディスプレイ11の輝度を調整する構成である。表示制御部F3は、視線取得部F1が取得しているドライバの視線の上下角と、閾値設定部F2によって設定されている待機閾値とを比較する。そして、表示制御部F3は、ドライバの視線上下角が待機閾値よりも小さい場合、ディスプレイ11の輝度を通常レベルに設定する。一方、表示制御部F3は、ドライバの視線上下角が待機閾値よりも大きい場合、ディスプレイ11の輝度を所定の待機レベルに設定する。なお、ドライバの視線上下角が待機閾値よりも大きい場合とは、ドライバがディスプレイ11を見ていない状態に対応する。
待機レベルは、通常レベルよりも低く設定されている。待機レベルは、通常レベルの10%に相当する値に設定されている。待機レベルは、通常レベルの0%よりも大きい値であってよい。他の態様において待機レベルは、通常レベルの5%、20%、25%、又は40%に相当する値に設定されていても良い。待機レベルが低いほど、節電効果は高まりうる。待機レベルは、ドライバがディスプレイ11の表示内容をぎりぎり認識可能なレベルに設定されていてよい。
このようにHCU20は、ディスプレイ11が存在する方向にドライバの視線が向いているか否か、すなわち、ドライバがディスプレイ11を見ているか否かを判断する。そして、HCU20は、ドライバがディスプレイ11を見ていない時には、ディスプレイ11の表示輝度を待機レベルに設定することにより、消費電力の低減を図る。また、HCU20はディスプレイ11にドライバの視線が向いていると判断した場合には輝度を待機レベルから通常レベルに上げる。これにより、表示内容に対するドライバの視認性を確保する。
<待機閾値の設定かかるHCUの作動例>
ここでは図8に示すフローチャートを用いて、HCU20が実施する閾値設定処理について説明する。閾値設定処理は、待機閾値を設定するための一連の処理である。閾値設定処理は、車両電源がオフからオンに切り替わったこと、あるいは、走行が開始されたことに基づいて実行されて良い。HCU20は、車両電源がオンになってから初めて車速が所定値以上となったことに基づいて走行が開始されたと判断してよい。あるいは、HCU20は車両電源がオンになってから初めてシフトポジションが前進用ポジション(いわゆるDポジション)に設定されたタイミングを、走行開始に対応する時点とみなしてよい。閾値設定処理は、ステップS11~S15を含む。
ステップS11は視線取得部F1が、乗員モニタ12からドライバの視線方向を示すデータを取得し、その他の所定データを対応付けてメモリ22に保存するステップである。その他の所定データとは、時刻や、走行速度、方向指示器の作動状態などであってよい。ステップS11の後、閾値設定部F2がステップS12を実行する。
ステップS12は、走行開始から所定の初期収集時間が経過したか否かを閾値設定部F2が判定するステップである。初期収集時間は、待機閾値を決定するための視線方向データを収集するための時間である。初期収集時間は、60秒や90秒、120秒などに設定されていてよい。走行開始から所定の初期収集時間が経過するまでの期間が所定期間に相当する。ステップS12は定期的に実行される。
プロセッサ21は、走行開始から初期収集時間が経過していない場合(S12 NO)、ステップS11~S12を繰り返す。また、走行開始から初期収集時間が経過した場合には(S12 YES)、処理はステップS13に進む。なお、ステップS13以降においてもステップS11は定期的に実行されて良い。
ステップS13は、有効サンプル数が所定値以上であるか否かを閾値設定部F2が判定するステップである。ここでの有効サンプル数とは、メモリ22に蓄積されている視線方向のデータのうち、有効な視線方向データの数である。有効な視線方向データとは、ドライバが車両正面を見ている可能性が高いシーンにおいて取得された視線方向データである。プロセッサ21は、走行速度が所定値(例えば20km/h)以上であって、且つ、方向指示器が作動していない状況で取得された視線方向データを、有効な視線方向データとして取り扱ってよい。
また、自車両が交差点付近を走行している場合、信号機の点灯状態の確認や周囲の交通状況の確認のために、ドライバの視線は正面方向以外に向けられやすい。つまり、交差点付近を走行しているシーンで取得された視線方向データは、前方視線範囲を特定する上でのノイズとなりうる。そのような事情から、プロセッサ21は、交差点付近を走行中に取得された視線方向データは、有効な視線方向データとしては取り扱わないように構成されていても良い。交差点付近を走行中か否かは、ロケータ14から提供される前方道路データや、運転支援装置15における信号機の認識状態に基づいて特定されて良い。その他、プロセッサ21は、アイズオフが可能な自動運転を実行中に取得した視線方向データは、無効な視線方向データとして取り扱って良い。
なお、プロセッサ21は、有効な視線方向データを取得しやすい特定状況において取得した視線方向データだけをメモリ22に保存するように構成されていても良い。例えばプロセッサ21は、方向指示器がオフであって、車速が所定値以上である場合に取得した視線方向データをメモリ22に保存するように構成されていてもよい。
前方視線範囲の特定に必要な有効サンプル数の最小値は、40や、50、60、80などの任意の値に設定されていて良い。有効サンプル数が所定値(例えば50)以上である場合(S13 YES)、閾値設定部F2は、ステップS14を実行する。一方、有効サンプル数が所定値未満である場合(S13 NO)、閾値設定部F2は、有効サンプル数が所定値以上となるまで、ステップS11~S13を繰り返してよい。
ステップS14は、閾値設定部F2が有効な視線方向データに基づいて前方視線範囲を特定するステップである。前方視線範囲は上述の通り、多様な方法によって特定されてよい。閾値設定部F2は、前方視線範囲の特定が完了すると、ステップS15を実行する。
ステップS15は、ステップS14で特定された前方視線範囲に基づいて待機閾値を決定するステップである。待機閾値もまた、前述の通り多様な方法にて決定されてよい。閾値設定部F2は、前方視線範囲の中心から5°~10°程度下方となる角度値を待機閾値に設定してよい。その他、閾値設定部F2は、前方視線範囲の下限値そのもの、又は、前方視線範囲の下限値よりも所定量小さい角度値を、待機閾値に設定しても良い。ステップS15の後も、視線取得部F1は定期的に視線方向データの取得及び保存を実行してよい。
なお、ステップS13は任意の処理であって、省略されても良い。閾値設定部F2は、走行開始から初期収集時間が経過したタイミングで、それまでに蓄積されている視線方向データを用いてステップS14を実行しても良い。
また、閾値設定部F2は、前方視線範囲から定まるディスプレイ視線範囲を用いて待機閾値を決定しても良い。ステップS14は、メモリ22に保存されている視線方向データに基づいて、前方視線範囲をもとにディスプレイ視線範囲を特定する工程を含んでいてもよい。
プロセッサ21は、走行中における視線方向データと、停車中における視線方向データとを分けて保存するように構成されていても良い。停車中は走行中に比べてドライバがディスプレイ11を見る可能性が高まる。そのためプロセッサ21は、停車中における視線方向データに基づいてディスプレイ視線範囲を特定してもよい。また、プロセッサ21は、入力装置16からの信号に基づき、ドライバが入力装置16を操作したタイミングである操作タイミングを特定し、操作タイミングから所定時間以内における視線方向データを用いて、ディスプレイ視線範囲を特定しても良い。ドライバが入力装置16を操作している場合には、ドライバがディスプレイ11を見ている可能性が高いためである。
<表示制御にかかるHCUの作動例>
ここでは図9に示すフローチャートを用いて、表示制御にかかるHCU20の作動について説明する。表示制御にかかる処理は、図9に示すようにステップS21~S25を含む。図9に示す処理は、車両電源がオンである間、定期的に実行されて良い。
ステップS21は、待機閾値が決定済みか否かを表示制御部F3が判定するステップである。待機閾値が決定済みの状態とは、ステップS15にて待機閾値を設定できている状態に相当する。まだ、待機閾値の決定が完了していない場合(S21 NO)、表示制御部F3は視線上下角による輝度制御機能をオフにする(S22)。視線上下角による輝度制御機能とは、視線上下角に応じてディスプレイ11の輝度を変更する制御を指す。輝度制御機能がオフである場合、表示制御部F3は、ディスプレイ11の輝度を通常レベルに設定し続ける。つまり、車両電源がオンになった直後などの初期状態においては、輝度制御機能がオフとなり、ディスプレイ11は通常レベルの輝度で画像を表示し続ける。
一方、待機閾値が特定済みの場合(S21 YES)、表示制御部F3は、ステップS23において現在のドライバの視線上下角(φ)が、待機閾値(Thp)未満であるか否かを判定する。図中の「φ」は視線上下角を表し、「Thp」は待機閾値を表している。現在の視線上下角とは、視線取得部F1が取得した最新の視線方向が示す視線上下角であってよい。
表示制御部F3は、ドライバの視線上下角が待機閾値未満である場合には、ディスプレイ11の輝度を通常レベルに設定する(S24)。また、ドライバの視線上下角が待機閾値以上である場合には、ディスプレイ11の輝度を待機レベルに設定する(S25)。これにより、ドライバがディスプレイ11に視線を向けている場合にはディスプレイ11の画面が通常レベルで(明るく)表示され、ドライバがディスプレイ11に視線を向けていない場合にはディスプレイ11の画面が待機レベルで(暗く)表示される事となる。
図10は、表示制御部F3による視線上下角に応じたディスプレイ11の表示輝度の制御例を示す図である。図10の横軸は時間を表しており、縦軸は輝度のレベルを表している。図10の時刻T1は、視線上下角が待機閾値以上である状態から待機閾値未満の状態へと遷移した時刻である。時刻T1以前において視線上下角は待機閾値以上である。つまり時刻T1よりも前の時間帯は、ドライバがディスプレイ11を見ていない状態に相当する。時刻T2は、視線上下角が待機閾値未満である状態から待機閾値以上の状態へと遷移した時刻である。時刻T1~T2の間は、視線上下角が待機閾値未満で維持されている。時刻T1~T2の間はドライバがディスプレイ11を見ている状況に対応する。時刻T2以降は、視線上下角が待機閾値以上であって、ドライバはディスプレイ11を見ていない状況に対応する。
このようなケースにおいては、表示制御部F3は、時刻T1において視線上下角が待機閾値未満となったことに基づいてディスプレイ11の輝度を待機レベルから通常レベルへとステップ状に上昇させる。また、表示制御部F3は、時刻T2において視線上下角が待機閾値以上となっても、すぐにはディスプレイ11の輝度を通常レベルから待機レベルには落とさない。表示制御部F3は、視線上下角が待機閾値以上となった時点から、所定の輝度保持時間(Ta)が経過したタイミングで、ディスプレイ11の輝度を待機レベルに落とす。このように表示制御部F3は、ドライバの視線がディスプレイ11から外れた状態が所定時間継続した場合に輝度を待機レベルまで低下させる。なお、輝度保持時間は、3秒や5秒、8秒などに設定されていてよい。以降では、視線上下角が待機閾値以上となってから輝度保持時間が経過するまでの期間を、輝度保持期間とも記載する。
このような構成によれば、ドライバが車両前方からディスプレイ11へと頻繁に視線を移すようなシーンにおいて、ディスプレイ11の輝度を通常レベルのまま(つまり一定)にできる。その結果、ドライバに煩わしさを与える恐れを低減する事ができる。
なお、他の態様として、表示制御部F3は、ドライバの視線上下角に推移にリアルタイムに連動(追従)するように、輝度のレベルを変更しても良い。すなわち、視線上下角が待機閾値以上となったら速やかに輝度を待機レベルまで落としてもよい。ただし、そのような構成では、ドライバが車両前方からディスプレイ11へと頻繁に視線を移すようなシーンにおいて、ディスプレイ11の輝度がばたつくため、ドライバに煩わしさを与えうる。よって、表示制御部F3は、視線上下角が待機閾値以上となったらすぐに待機レベルまでは落とすよりも、一定時間通常レベルを維持するか、緩やかに輝度を落とすように構成されていることが好ましい。
表示制御部F3は、図11に示すように表示制御部F3は、輝度保持期間が終了した時点(T3)から緩やかに輝度を待機レベルまで低下させるように構成されていても良い。また、表示制御部F3は、視線上下角が待機閾値未満となった際、ステップ状ではなく、段階的にディスプレイ11の輝度を待機レベルから通常レベルへと上昇させてもよい。例えば表示制御部F3は、視線上下角が待機閾値未満となった際、通常レベルの70%相当のレベルまで輝度をステップ状に上げた後に、輝度を緩やかに通常レベルに近づけてもよい。
ところで、本開示の開発者らは、種々の試験を行ったところ、ドライバの視線がディスプレイ11から外れたことに基づいて画面を暗くする際、一部の領域だけ通常レベルの表示を続ける構成では、違和感を覚えるドライバが多いことがわかった。また、上記の試験結果から、部分的に通常レベルでの表示が続くと、ドライバの意識がその領域に向けられやすいとの知見も得られた。そのような事情から、表示制御部F3は基本的に、画面を待機レベルに落とす場合には全領域を一律的に暗くしてよい。このような構成によれば、ドライバに違和感を与える恐れを低減できる。
他の実施形態として、表示制御部F3は、メータを表示する領域など、ディスプレイ11が備える画面の一部に関しては、ドライバの視線上下角が待機閾値以上であっても、通常レベル又は中間レベルを維持するように構成されていても良い。中間レベルとは、通常レベルと待機レベルの間に位置する輝度であって、例えば通常レベルの50%などに相当する輝度であってよい。換言すれば、表示制御部F3は、ディスプレイ11が備える画面の一部の領域にのみ、視線上下角に応じた輝度制御を適用するように構成されていても良い。
また、ディスプレイ11の画面の一部(例えば左右の端部)に、後側方のカメラ映像を映すウィンドウが配置されている場合、ドライバの視線上下角が待機閾値以上であっても当該ウィンドウの輝度は通常レベルもしくは中間レベルを維持して良い。後側方のカメラ映像を映すウィンドウを表示する構成は、ディスプレイ11の一部を電子サイドミラー用のモニタとして機能させる構成に相当する。
なお、HCU20は、所定の設定画面を介して、視線上下角が待機閾値以上となった場合に輝度を下げる表示エリア/アプリ(機能)の種別などを指定可能に構成されていてよい。HCU20は、視線上下角が待機閾値以上となった場合、ドライバにて事前設定されている表示エリア/アプリのウィンドウの表示輝度を待機レベルに落とすように構成されていてよい。
<本実施形態の効果>
ここでは第1、第2の比較構成を導入し、各比較構成に対する本実施形態の利点について述べる。第1の比較構成は、事前に設計された待機閾値を用いて、輝度制御を行う構成である。第2の比較構成は、走行開始の前に所定の視線学習シーケンスを実行することにより、走行開始前に待機閾値を決定する構成である。視線学習シーケンスは、例えばドライバにディスプレイを見るように要求することと、その時のドライバの視線方向を検出すること、ドライバに車両前方を見るように要求することと、その時のドライバの視線方向を検出することとを含んで良い。
第1の比較構成が本実施形態と異なる点は、待機閾値が事前設計された固定値である点である。第1の比較構成においても、待機閾値を適切な値にさえ設定できれば、消費電力の低減と画面の視認性の確保の両立が期待できる。
しかしながら、本開示の開発者らは、体格等が異なる複数の人物の視線分布情報をもとに汎用的な待機閾値の決定を試行したところ、車両正面を見ているときの視線上下角の範囲は、人によるばらつきが大きいことがわかった。ディスプレイを見ているときの視線上下角の範囲もまた個人差が大きい。すなわち、様々な人物に対して共通して適用可能な待機閾値を決定することは困難であることがわかった。これは、ドライバの体格、ドライバの着座位置、姿勢、癖等、様々な要因により、ドライバがディスプレイを視認するときの顔の向き/視線方向は異なるためである。上記事情により、第1の比較構成では、ドライバによってはディスプレイ11を見ているのに待機レベルが維持されたり、ディスプレイ11を見ていないのに通常レベルが維持され続けたりするなどの誤作動が生じやすい。
第1の比較構成に対し、第2の比較構成では、走行開始前に車両前方/ディスプレイ11を見ているときの視線上下角を学習するため、ドライバの体格等に応じた待機閾値が設定されうる。第2比較構成によれば、ドライバがディスプレイ11を見ているときと見ていないときの切り分けの精度を高める効果が期待できる。しかしながら、第2比較構成では、走行開始前に視線学習シーケンスをドライバに実施させる必要があり、ドライバの利便性が低下しうる。
これらの第1、第2比較構成に対し、本実施形態の構成によれば、走行中におけるドライバの視線上下角の分布情報に基づいて、ドライバに応じた待機閾値を動的に特定し、輝度制御に反映する。このような構成によれば、実際のドライバの視線上下角に基づいて待機閾値を決定するため、システムの誤作動を抑制できる。また、走行開始前に視線方向の登録作業をドライバが実施する必要もない。本実施形態は第2の比較構成よりも利便性が高まりうる。つまり、本実施形態によれば、システム誤作動を抑制しつつ、ユーザの利便性を高めることができる。
<補足(1)>
ディスプレイ11の輝度を待機レベルに設定している場合に、運転支援装置15から、警告要求信号として警告画像の表示要求が入力されることもある。しかしながら、表示輝度を待機レベルに設定している状態では、通常レベルの場合よりも警告画像の視認性が低下しうる。そのような事情から表示制御部F3は、運転支援装置15から警告画像の表示要求が入力された場合には、視線上下角が待機閾値以上であっても、警告画像を通常レベルで表示するように構成されていても良い。
図12は上記の技術的思想に対応するフローチャートであって、警告画像の表示要求を入力されたことに基づいて実行されてよい。表示制御部F3は、警告画像の表示要求を受信した場合、現在、待機レベルを適用しているか否かを判定する(S31)。ここで、待機レベルで画像表示を行っていない場合(S31 NO)、表示制御部F3は、警告画像をディスプレイ11の所定位置に表示する。一方、待機レベルで画像表示を行っている場合(S31 YES)、表示制御部F3は、いったんディスプレイ11の全領域の輝度を通常レベルに戻し(S33)、警告画像を表示する(S34)。なお、ステップS33とステップS34は同時に実行されても良いし、実行順は逆であっても良い。ステップS33は、警告画像を表示する表示エリア/ウィンドウのみを通常レベルに戻す制御であってもよい。なお、上記の制御方針は、警告画像の表示時に限らず、種々の通知を表示する際にも適用されて良い。HCU20は、燃料/バッテリ残電力の低下の通知や、渋滞の通知を行う際にも、輝度を待機レベルから通常レベルまで上昇させてよい。
<補足(2)>
表示制御部F3は、いったん待機閾値を決定したのちに、さらに、所定時間が経過したタイミングで、待機閾値を更新してもよい。より多くの視線方向データに基づいて待機閾値を設定したほうが、精度が良くなることが期待できるためである。
図13は上記の技術的思想に基づく閾値設定部F2の作動を説明するためのフローチャートである。図13に示すステップS41~S42は、前述のステップS11~S15に相当するステップと解されて良い。すなわち、閾値設定部F2は、走行開始から第1時間が経過したタイミングで(S41)、それまでに取得した視線方向データに基づいて待機閾値を決定する(S42)。第1時間は、初期収集時間に相当するパラメータである。
その後、閾値設定部F2は、走行開始から第2時間が経過したタイミングで(S43 YES)、再度、前方視線範囲/ディスプレイ視線範囲を特定し直し、待機閾値を更新する(S44)。第2時間は、第1時間よりも長ければよく、その具体的な値は適宜設計されて良い。第2時間は、第1時間に30秒/60秒/120秒を加えた値であって良い。ステップS44において再設定される待機閾値は、走行開始から第2時間が経過するまでに収集された視線方向データに基づいて実施されて良い。このような構成によれば、より適正な待機閾値を設定可能となる。
<補足(3)>
プロセッサ21は、視線上下角と視線左右角に応じた輝度制御を実行しても良い。例えばプロセッサ21は、ドライバの視線がディスプレイ11のドライバ用エリアに向いている場合には、ドライバ用エリアは通常レベルで表現する一方、その他の表示エリアは待機レベルを維持するように構成されていてよい。
本開示の開発者らは、視線方向に基づくディスプレイ11の輝度制御について試験を重ねたところ、視線上下角にはドライバごとのばらつき(いわゆる個人差)が大きい一方、視線左右角における個人差は少ないとの知見を得た。具体的には、ドライバ用エリアを見ているときの視線左右角、中央エリアを見ているときの視線左右角、及び、助手席用エリアを見ているときの視線左右角は何れも、多くの人物において一定の範囲に収まることがわかった。
そのような事情から、視線左右角に応じた輝度制御を行うための視線左右角に対する閾値は表示制御プログラムの一部として事前にストレージ23に登録されていてよい。視線左右角に対する閾値は、ドライバがドライバ用エリア、中央エリア、及び助手席エリアの何れを見ているかを判別するための複数の閾値を含んでよい。プロセッサ21は、事前設計された閾値を用いて視線左右角に基づく輝度制御を実施して良い。もちろん、他の態様として、プロセッサ21は車両電源がオンとなってから所定時間が経過するまでに取得した視線方向データの集合に基づいて、視線左右角に対する閾値を決定してよい。
上記のようにHCU20は、視線上下角と視線左右角の両方に基づいてディスプレイ11の輝度制御を実施しても良いし、上記実施形態のように視線上下角のみに基づいてディスプレイ11の輝度制御を実施しても良い。HCU20は、待機閾値を特定するまでは視線左右角に基づく輝度制御のみを実施し、待機閾値が特定できた時点以降においては視線上下角と視線左右角の両方に基づいてディスプレイ11の輝度制御を実施するよう構成されていてもよい。
<補足(4)>
乗員モニタ12は、助手席乗員の視線方向を検出し、当該視線方向を示すデータをHCU20に送信するように構成されていても良い。また、プロセッサ21は、助手席乗員の視線上下角の分布に基づいて助手席乗員用の待機閾値を設定してもよい。助手席乗員用の待機閾値は、ドライバ用の待機閾値とは別のパラメータである。プロセッサ21は、助手席乗員の視線上下角が助手席乗員用の待機閾値を下回ったことに基づいて、ディスプレイ11の輝度を待機レベルから通常レベルに上昇させてもよい。なお、プロセッサ21は助手席乗員の視線上下角が助手席乗員用の待機閾値を下回った際に輝度を上げる領域は、助手席用エリアのみ、又は、助手席用エリアと中央エリアに限定されても良い。助手席の視線方向に応じた輝度制御は、助手席乗員の存在が検知されている場合にのみ有効化されて良い。助手席乗員の有無は、助手席に設けられた着座センサの出力信号や、車内カメラ映像に基づいて特定されて良い。
<補足(5)>
本開示は、ピラートゥピラータイプのディスプレイに限らず、多様な形状の表示装置に適用されて良い。また、車載システム100は物理的に独立している複数の表示装置を備えていてよい。例えば車載システム100は図14に示すようにメータディスプレイ11M、センターディスプレイ11C、右サイドモニタ11R、及び左サイドモニタ11Lを備えていても良い。右サイドモニタ11Rは、右後方についてのカメラ映像を映すためのディスプレイである。左サイドモニタ11Lは、左後方についてのカメラ映像を映すためのディスプレイである。各ディスプレイに表示する映像の表示態様及び表示輝度はHCU20によって制御される。プロセッサ21が視線上下角に基づいて輝度制御を行うディスプレイは、図14に示す4つの表示装置のうち、メータディスプレイ11Mとセンターディスプレイ11Cだけであってよい。右サイドモニタ11R及び左サイドモニタ11Lは周辺監視のための表示装置であるため、常に通常レベルで表示されてよい。他の態様として、プロセッサ21は、視線上下角が待機閾値以上であること、又は、視線左右角が所定範囲に収まっていることに基づいて、右サイドモニタ11Rの輝度を待機レベル又は中間レベルに設定しても良い。左サイドモニタ11Lの輝度も同様に、視線左右角が所定範囲に収まっていることに基づいて、待機レベル又は中間レベルに設定されて良い。
<補足(6)>
本開示は、Aピラー又はドアモジュールに設けられた表示装置の輝度制御に適用されても良い。換言すれば、視線方向に応じた輝度制御の対象とするディスプレイ11は、Aピラー又はドアモジュールに設けられた表示装置であっても良い。そのような構成においてもプロセッサ21は、ドライバの視線方向が、走行開始後に特定された前方視線範囲外から前方視線範囲内に移ったことに基づいてディスプレイ11の待機輝度に設定してよい。プロセッサ21は、走行開始直後や、ドライバの視線方向が前方視線範囲外である場合には、ディスプレイ11の輝度を通常レベルに設定して良い。
<補足(7)>
以上ではドライバの視線が車両にとっての上向きであるほど、視線上下角は大きい値をとるものとしたが、視線上下角は下向きを正とするように表現されても良い。上記実施形態における「視線上下角が待機閾値以上」との記載は、仮に車両にとっての下方向を視線上下角の正方向とする場合には、視線上下角が待機閾値未満と読み替えられて良い。実施形態等における視線上下角が待機閾値以上との記載は、待機閾値が示す境界線よりも上方に視線が向けられている状態を意図するものである。
<付言>
本開示に示す種々のフローチャートは何れも一例であって、フローチャートを構成するステップの数や、処理の実行順は適宜変更可能である。本開示における取得、判定、検出、生成、及び算出といった表現は相互に言い換えられて良い。本開示に記載の装置、システム、並びにそれらの手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。本開示に記載の装置及びその手法は、専用ハードウェア論理回路を用いて実現されてもよい。本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。コンピュータプログラムは、コンピュータにより実行されるインストラクションを含む。コンピュータプログラムは、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてよい。