JP6673005B2 - 顔向き推定装置及び顔向き推定方法 - Google Patents

Description

この明細書による開示は、車両等を運転する運転者の顔向きを推定する顔向き推定の技術に関する。

従来、例えば特許文献１には、車両等の移動体を運転する運転者の顔をカメラによって撮影し、撮影画像に基づいて運転者の顔向きを認識する技術が開示されている。具体的に、特許文献１の注意力低下検出システムは、認識された顔向きに基づき、車両に設置されたサイドミラーを運転者が視認した視認回数を計数する。そして、計数されたサイドミラーの視認回数に基づき、運転者の注意力の低下が判定される。

特開２０１４−４８８８５号公報

さて、運転者がサイドミラーを視認しているときの顔向きは、運転者の体格、着座位置、及び着座姿勢等に起因して異なってくる。そこで本開示の発明者らは、視認対象物の位置を運転者の視認行動から特定し、特定した視認対象物の位置と、認識された運転者の顔向きとを比較することにより、運転者による視認対象物の視認回数を計数する技術について、開発を進めてきた。

しかし、視認対象物の位置を運転者の視認行動から特定する技術では、カーブ及び坂道等の道路環境に起因して、視認回数を計数する精度が低下するという課題を、本開示の発明者らは新たに発見した。詳しく説明すると、運転者は通常、前景中の消失点をゼロ点位置として、この消失点から視認対象物へと顔向きを変化させている。故に、カーブ及び坂道等を走行しているとき、前景中の消失点の位置変化が生じると、消失点から視認対象物へ顔向きを変化させる視認行動の態様も変化してしまう。そのため、消失点の位置変化に起因して運転者の視認行動が変化してしまうと、運転者による視認対象物の視認回数が正しく計数されなくなり得た。

本開示は、上記問題点に鑑みてなされたものであり、消失点の位置変化に起因して運転者の視認行動が変化しても、運転者が視認対象物を視認した回数を精度良く計数することが可能な顔向き推定装置及び顔向き推定方法を提供することを目的とする。

上記目的を達成するため、開示された第一の態様は、移動体（１１０）を運転する運転者（ＤＲ）の顔向きを検出した検出結果を取得する顔向き情報取得部（７１）と、顔向き情報取得部の取得した検出結果に基づき、移動体に設置された視認対象物を運転者が視認した回数を計数する計数処理部（７６）と、顔向き情報取得部の取得した検出結果の変化に基づき、運転者の視認する前景中での消失点の位置変化に起因して視認対象物を視認する運転者の視認行動が変化したか否かを判定する行動判定部（７７）と、を備え、計数処理部は、行動判定部にて運転者の視認行動が変化したと判定された場合に、消失点の位置変化に合わせて、運転者が視認対象物を視認した回数を計数する計数処理の内容を変更する顔向き推定装置とされる。

また開示された第二の態様は、移動体（１１０）を運転する運転者（ＤＲ）の顔向きを推定する顔向き推定方法であって、少なくとも一つのプロセッサ（４５ａ，２１５ａ）は、運転者の顔向きを検出する顔向き検出部（１１）の検出結果に基づき、移動体に設置された視認対象物を運転者が視認した回数を計数し（Ｓ１０７）、顔向き検出部の検出結果の変化に基づき、運転者の視認する前景中での消失点の位置変化に起因して視認対象物を視認する運転者の視認行動が変化したか否かを判定し（Ｓ１０５）、運転者の視認行動が変化したと判定された場合に、消失点の位置変化に合わせて、運転者が視認対象物を視認した回数を計数する計数処理の内容を変更する（Ｓ１０６）顔向き推定方法とされる。

これらの態様によれば、移動体がカーブ等を走行することにより、前景中での消失点の位置変化が生じると、こうした位置変化に起因して運転者の視認行動が変化したと判定され得る。その結果、移動体に設置された視認対象物を運転者が視認した回数を計数する処理は、消失点の位置変化に合わせて、運転者の視認行動の変化に対応した内容に変更される。したがって、消失点の位置変化に起因して運転者の視認行動が変化しても、運転者が視認対象物を視認した回数は、精度良く計数可能となる。

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

第一実施形態による顔向き推定システムの全体を示すブロック図である。 顔向き推定システムを搭載した車両を示す図である。 ウェアラブルデバイスの形態を示す図である。 車載制御部に構築される機能ブロックを示す図である。 直線区間における視認点の二次元分布の態様と、そのヒストグラムとを示す図である。 左カーブ区間における視認点の二次元分布の態様と、そのヒストグラムとを示す図である。 直線区間におけるヨー方向への視線方向の変化の推移と、左右のサイドミラーの視認回数を計数する閾値とを示す図である。 左カーブ区間におけるヨー方向への視線方向の変化の推移と、左右のサイドミラーの視認回数を計数する閾値とを示す図である。 車載制御部にて実施される各処理を示すフローチャートである。 運転者による左右のサイドミラーの視認行動を検出した場合に、それぞれの誤検出及び未検出の各確率を比較して示す図である。 第二実施形態による顔向き推定システムの全体を示すブロック図である。

以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

（第一実施形態）
本開示の第一実施形態による顔向き推定システム１００は、図１及び図２に示すように、互いに通信可能なウェアラブルデバイス１０及び車載デバイス４０等によって構成されている。顔向き推定システム１００は、移動体である車両１１０の車室内において主に機能する。顔向き推定システム１００は、車両１１０に搭乗し、車両１１０を運転する運転者ＤＲの頭部ＨＤの挙動を、ウェアラブルデバイス１０によって検出する。顔向き推定システム１００は、検出された頭部ＨＤの挙動から運転者ＤＲの顔向きを車載デバイス４０によって演算する。

顔向き推定システム１００による運転者ＤＲの顔向き情報は、例えば車両１１０に設置された各ミラー等を視認する確認頻度の低下、長時間の脇見、下向きでの端末の操作、及び居眠り等を判定するアプリケーションに用いられる。以上のような運転者ＤＲの異常が検出されると、運転者ＤＲに対する警告等のアクチュエーションが実行される。

ウェアラブルデバイス１０は、図３に示すように、検出回路２０をメガネ１０ａに搭載させたメガネ型のモーションセンサデバイスである。図１及び図２に示すウェアラブルデバイス１０は、運転者ＤＲの頭部ＨＤに装着され、顔向きの検出結果を車載デバイス４０へ向けて逐次出力する。ウェアラブルデバイス１０の検出回路２０は、顔向き検出部１１、通信ユニット１７、操作部１８、及びバッテリ１９等によって構成されている。

顔向き検出部１１は、メガネ１０ａ（図３参照）に搭載されたモーションセンサである。顔向き検出部１１は、ウェアラブルデバイス１０が運転者ＤＲの頭部ＨＤに装着されることで、運転者ＤＲの顔向きに関連した値の検出を行う。顔向き検出部１１は、眼電位センサ１２、ジャイロセンサ１３、及び加速度センサ１４を有している。顔向き検出部１１は、各センサ１２〜１４を用いて取得した検出結果を、通信ユニット１７に逐次提供する。

眼電位センサ１２は、例えばステンレス等の金属材料によって形成された複数の電極１２ａ（図３参照）を有している。各電極１２ａは、互いに離間した配置にてメガネ１０ａのフレームに設けられている。ユーザである運転者ＤＲがウェアラブルデバイス１０を装着することにより、各電極１２ａは、運転者ＤＲの眼球付近にて、運転者ＤＲの皮膚に接触する。眼電位センサ１２は、運転者ＤＲの眼球運動に伴って変化する眼電位を、各電極１２ａのうちの二点間の電位差に基づいて計測する。眼電位センサ１２による計測データ（以下、「眼電位データ」）は、検出結果として通信ユニット１７に逐次提供される。

ジャイロセンサ１３は、角速度を電圧値として検出するセンサである。ジャイロセンサ１３は、メガネ１０ａの頭部ＨＤへの装着により、顔向き検出部１１において規定された互いに直交する三軸について、各軸周りに生じる角速度の大きさを計測する。各軸周りの角速度に基づき、横（ヨー）方向に頭部ＨＤを振る動作、縦（ピッチ）方向に頭部ＨＤを振る動作、及び頭部ＨＤを左右に傾ける（ロール）方向の動作等が検出される。ジャイロセンサ１３による計測データ（以下、「角速度データ」）は、検出結果として通信ユニット１７に逐次提供される。

加速度センサ１４は、加速度を電圧値として検出するセンサである。加速度センサ１４は、メガネ１０ａの頭部ＨＤへの装着により、顔向き検出部１１において規定された互いに直交する三軸について、それぞれの軸方向に沿って頭部ＨＤに作用する加速度大きさを計測する。加速度センサ１４による計測データ（以下、「加速度データ」）は、検出結果として通信ユニット１７に逐次提供される。

通信ユニット１７は、車載デバイス４０との間において、例えばブルートゥース（登録商標）及び無線ＬＡＮ等による無線通信によって情報の送受信を行うことができる。通信ユニット１７は、無線通信の規格に対応したアンテナを有している。通信ユニット１７は、顔向き検出部１１と電気的に接続されており、各センサ１２〜１４から出力された顔向きに関連する計測データを取得する。車載デバイス４０との間において無線通信による接続が確立されている場合、通信ユニット１７は、入力された各計測データを逐次符号化し、車載デバイス４０へ向けて送信する。

操作部１８は、ウェアラブルデバイス１０の電源をオン状態とオフ状態との間で切り替える電源スイッチ等を有している。バッテリ１９は、顔向き検出部１１及び通信ユニット１７等に、作動のための電力を供給する電源である。バッテリ１９は、リチウム電池等の一次電池であってもよく、リチウムイオン電池等の二次電池であってもよい。

車載デバイス４０は、車両１１０に搭載された複数の電子制御ユニットのうちの一つである。車載デバイス４０は、車載電源から供給される電力を用いて稼動する。車載デバイス４０には、ＨＭＩ制御ユニット５０、車速センサ５５、及びロケータ５６等が接続されている。尚、車載デバイス４０は、運転者によって車両１１０の車内に持ち込まれ、車体に後付けで固定可能な構成であってもよい。

ＨＭＩ（Human Machine Interface）制御ユニット５０は、車両１１０に搭載された複数の電子制御ユニットのうちの一つである。ＨＭＩ制御ユニット５０は、運転者ＤＲによって入力された操作情報の取得と、運転者ＤＲへの情報提示とを統合的に制御する。ＨＭＩ制御ユニット５０は、例えばディスプレイ５１、スピーカ５２、及び入力デバイス５３等と接続されている。ＨＭＩ制御ユニット５０は、ディスプレイ５１の表示及びスピーカ５２による音声出力の制御により、運転者ＤＲに情報を提示する。

車速センサ５５は、車両１１０の走行速度を計測するセンサである。車速センサ５５は、車両１１０の走行速度に対応した車速パルスを車載デバイス４０へ向けて出力する。尚、車速パルスに基づいて演算された車速情報が、車載された通信バス等を介して車載デバイス４０に供給されてもよい。

ロケータ５６は、ＧＮＳＳ受信器５７及び地図データベース５８等を備えている。ＧＮＳＳ（Global Navigation Satellite System）受信器５７は、複数の人工衛星からの測位信号を受信する。地図データベース５８は、道路の縦断勾配及び曲率等の道路形状等を含む地図データを格納している。ロケータ５６は、ＧＮＳＳ受信器５７にて受信する測位信号に基づき、車両１１０の現在位置を逐次測位する。ロケータ５６は、車両１１０の周囲及び進行方向の地図データを地図データベース５８から読み出し、車載デバイス４０に逐次提供する。以上により、車載デバイス４０は、車両１１０が走行を予定している道路の形状情報を取得できる。

以上の各構成と接続されている車載デバイス４０は、メモリ４６、通信ユニット４７、及び車載制御部４５を備えている。

メモリ４６は、フラッシュメモリ等の非遷移的実体的記憶媒体である。メモリ４６は、車載デバイス４０の作動に必要なアプリケーションのプログラム等を保存している。メモリ４６内のデータは、車載制御部４５によって読み出し及び書き換え可能である。メモリ４６は、車載デバイス４０に内蔵された構成であってもよく、又はメモリカード等の形態で車載デバイス４０に設けられたカードスロットに挿入される構成であってもよい。

加えてメモリ４６には、第一記憶領域４６ａと第二記憶領域４６ｂとが確保されている。第一記憶領域４６ａ及び第二記憶領域４６ｂのそれぞれには、後述するように、車載制御部４５によって分類された顔向きの検出結果に関連したデータが蓄積される。

通信ユニット４７は、ウェアラブルデバイス１０との間にて無線通信により情報の送受信を行う。通信ユニット４７は、無線通信の規格に対応したアンテナを有している。通信ユニット４７は、通信ユニット１７から受信した無線信号を復号化することにより、各センサ１２〜１４による計測データを逐次取得する。通信ユニット４７は、取得した各計測データを車載制御部４５へ向けて出力する。

車載制御部４５は、プロセッサ４５ａ、ＲＡＭ、及び入出力インターフェース等を有するマイクロコンピュータを主体に構成されている。車載制御部４５は、メモリ４６に記憶された顔向き推定プログラムをプロセッサ４５ａによって実行する。その結果、車載制御部４５には、図４に示す運転者情報取得部７１、走行情報取得部７２、走行区間判定部７３、停止判定部７４、顔向き補正部７５、計数処理部７６、行動判定部７７、及び警告制御部７８等の機能ブロックが構築される。以下、図４及び図１に基づき、各機能ブロックの詳細を説明する。

運転者情報取得部７１は、通信ユニット４７によって受信された顔向き検出部１１による検出結果を、通信ユニット４７から取得する。具体的に、運転者情報取得部７１は、眼電位データ、角速度データ、及び加速度データを取得する。

走行情報取得部７２は、ロケータ５６から出力される道路の形状情報を逐次取得する。加えて走行情報取得部７２は、車速センサ５５から出力される車速パルスに基づき、車両１１０の現在の車速情報を取得する。

走行区間判定部７３は、走行情報取得部７２にて取得された道路の形状情報に基づき、車両１１０が直線的な区間を走行しているか否かと、車両１１０が傾斜の無い水平な区間を走行しているか否かと、を判定する。具体的に、車両前方の道路の曲率が所定の閾値よりも小さい場合に、走行区間判定部７３は、直線区間を走行していると判定する。一方、車両前方の道路の曲率が所定の曲率よりも大きい場合に、走行区間判定部７３は、直線区間ではなく、カーブ区間を走行していると判定する。

同様に、車両前方の道路における縦断勾配が所定の閾値よりも小さい場合に、走行区間判定部７３は、水平な区間を走行していると判定する。一方、車両前方の道路における縦断勾配が所定の値よりも大きい場合に、走行区間判定部７３は、水平な区間ではなく、登坂又は降坂となる坂道区間を走行していると判定する。

停止判定部７４は、車両１１０が停止状態にあるか否かを判定する。具体的に、停止判定部７４は、走行情報取得部７２にて取得された車速情報に基づき、走行速度が実質的にゼロである場合、又は走行速度が停止閾値（例えば、５ｋｍ／ｈ）未満である場合に、車両１１０が走行状態ではなく、停止状態であると判定する。一方で、走行速度が上述の停止閾値を超えている場合に、停止判定部７４は、車両１１０が停止状態ではなく、走行状態であると判定する。

加えて停止判定部７４は、加速度センサ１４による加速度データに基づいて、車両１１０が走行状態にあるか否かを判定可能である。具体的に、加速度データの推移から、走行に伴った上下方向の振動が検出されず、且つ、前後方向の加速度の変化が実質的に無い場合に、停止判定部７４は、車両１１０が停止状態にあると判定する。

顔向き補正部７５は、眼電位センサ１２による眼電位データと、ジャイロセンサ１３の角速度データとを組み合わせることにより、運転者ＤＲの視線方向を推定する。具体的に、顔向き補正部７５は、各軸周りの角速度を時間積分することにより、各回転方向における頭部ＨＤの角度を算出する。以上により、顔向き補正部７５は、運転者ＤＲの首振りによって生じる運転者ＤＲの顔向きを推定する。

加えて顔向き補正部７５は、所謂ＥＯＧ（Electro-Oculoｇraphy）法を用いて、眼電位データの変化態様に基づき、運転者ＤＲの眼球運動を推定する。具体的に、顔向き補正部７５は、運転者ＤＲの顔の正面方向を基準として、眼球の向いている上下左右の方向と、眼球の正面からの変化量とを算出する。顔向き補正部７５は、推定した顔向きの方向を、眼球の向きの変化量によって補正することにより、車両１１０を基準とした運転者ＤＲの視線方向を特定する。

計数処理部７６は、運転者ＤＲの視線方向をプロットするプロット処理と、車両１１０に搭載された視認対象物の位置を特定する特定処理と、運転者ＤＲが視認対象物を視認した回数を計数する計数処理とを、少なくとも実施する。これらプロット処理、特定処理、及び計数処理は、停止判定部７４にて車両１１０が停止状態にないと判定された場合に実施され、停止判定部７４にて車両１１０が停止状態にあると判定された場合には、中断可能である。

プロット処理では、顔向き補正部７５にて特定された運転者ＤＲの視線方向を、所定の時間間隔でサンプリングすることにより、運転者ＤＲの視認点ＶＰ（図５参照）を取得する。運転者ＤＲの視認点ＶＰは、車両１１０のウインドシールドの室内側面を含むよう規定された仮想湾曲面と、運転者ＤＲの眼球から視線方向に延伸するよう規定された仮想線との幾何学的な交点である。以上のプロット処理により、仮想湾曲面上に多数の視認点ＶＰがプロットされる。尚、ウインドシールドの外側にて、仮想湾曲面は、ウインドシールドを滑らかに延長させたような形状に規定されている。

特定処理では、プロット処理にてプロットされた多数の視認点ＶＰの分布に基づいて、車両１１０に設置された複数の視認対象物の位置を特定する。各視認対象物には、車両１１０に実質的に固定された構成である左右のサイドミラー１１１，１１２、バックミラー１１３、ディスプレイ５１、及びコンビネーションメータが含まれている。特定処理では、視認点ＶＰが密集している範囲（以下、「集合部」）に視認対象物が存在すると特定される。

詳しく説明すると、図５に示すように、視認点ＶＰが最も多く集まるウインドシールド中央の集合部６１は、運転者ＤＲの前景中における消失点である。そして、視認点ＶＰのプロットされた数が二番目以降に多い各集合部６２〜６６が、各視認対象物の位置となる。

例えば、ウインドシールドの左縁の集合部６２は、左側のサイドミラー１１１（図２参照）の位置に相当する。ウインドシールドの右縁の集合部６３は、右側のサイドミラー１１２（図２参照）の位置に相当する。集合部６１の上方に位置する集合部６４は、バックミラー１１３（図２参照）の位置に相当する。各集合部６１，６４の下方に位置する集合部６５は、ディスプレイ５１（図１参照）の位置に相当する。そして、運転者ＤＲの正面下方に位置する集合部６６は、コンビネーションメータの位置に相当する。尚、図５及び図６における横長の矩形枠の最外縁は、ウインドシールドの外縁に相当する。

ここで、図２に示す運転者ＤＲの前景中における消失点の位置は、車両１１０がカーブ区間又は坂道区間を走行しているシーンにおいて、車両１１０に対して左右方向又は上下方向に変化する。その結果、図６に示すように、集合部６１の位置も、車両１１０（図２参照）がカーブ区間又は坂道区間を走行している期間において、各視認対象物の位置に相当する他の各集合部６２〜６６に対し、相対的に変化する。

そのため図４及び図１に示すように、計数処理部７６は、車両１１０の走行している道路環境に基づき、プロットされた視認点ＶＰの位置情報を分類し、各視認対象物の位置を特定するための情報として、第一記憶領域４６ａ又は第二記憶領域４６ｂに蓄積する。具体的に、走行区間判定部７３にて水平且つ直線的な区間を走行中であると判定された期間にプロットされた視認点ＶＰの位置情報は、第一記憶領域４６ａに蓄積される。

一方、走行区間判定部７３にてカーブ区間又は坂道区間を走行中であると判定された期間にプロットされた視認点ＶＰの位置情報は、第一記憶領域４６ａへの蓄積の対象から除外される。そして、カーブ区間にてプロットされた視認点ＶＰの位置情報は、カーブ区間の曲率の大きさとカーブの湾曲方向を示す曲率情報と紐付けされて、第二記憶領域４６ｂに蓄積される。同様に、坂道区間にてプロットされた視認点ＶＰの位置情報は、坂道区間の縦断勾配の大きさと勾配の上下方向を示す勾配情報と紐付けされて、第二記憶領域４６ｂに蓄積される。

計数処理では、運転者ＤＲによる各視認対象物の視認回数を計数する。計数処理では、消失点に対応する集合部６１の位置を基準（ゼロ点位置）として、顔向き補正部７５にて特定された視線方向の相対的な変化の推移に基づいて、視認対象物の視認回数がカウントされる（図７及び図８参照）。

具体的に計数処理では、各視認対象物を視認したとカウントするための閾値を設定する。一つの視認対象物につき、上下方向及び左右方向の各閾値が個別に設定可能である。顔向き補正部７５にて特定された視線方向が各閾値を超えた回数を、計数処理部７６は、各視認対象物の視認回数として計数する。

例えば図７に示すように、直線区間にて、集合部６１（図５参照）の位置を基準としたゼロ点位置から、右方向に閾値ｔｈ（ｒ）（例えば１５°）を超えて視線方向が移動したとする。この場合に、計数処理部７６は、右側のサイドミラー１１２（図２参照）を一回視認したと計数する。同様に、集合部６１（図５参照）の位置を基準としたゼロ点位置から、左方向に閾値ｔｈ（ｌ）（例えば３０°）を超えて視線方向が移動した場合に、計数処理部７６は、右側のサイドミラー１１２（図２参照）を一回視認したと計数する。以上の各閾値ｔｈ（ｒ），ｔｈ（ｌ）の具体的な値は、第一記憶領域４６ａに蓄積された視認点ＶＰの位置情報の分布に基づいて、設定可能である。尚、図７では、右側への首振りがマイナス側とされており、左側への首振りがプラス側とされている。

行動判定部７７は、各視認対象物を視認する運転者ＤＲの視認行動が変化したか否かを判定する。上述したように、車両１１０がカーブ区間又は坂道区間を走行するシーンでは、運転者ＤＲの視認する前景中にて、消失点の位置が変化する（図６参照）。行動判定部７７は、消失点の位置変化に起因した運転者ＤＲの視認行動の変化の発生を検出する。

行動判定部７７は、顔向き検出部１１の検出結果の変化に基づいて、運転者ＤＲの視認行動が変化したか否かを判定可能である。具体的に、行動判定部７７は、左右のうちで運転者ＤＲから遠い側のサイドミラー、即ち左側のサイドミラー１１１を視認する行動の態様変化に基づき、運転者ＤＲによる視認行動が変化したか否かを判定する。行動判定部７７は、左側のサイドミラー１１１を視認する頻度（所定時間あたりの回数）、及び左側のサイドミラー１１１を視認するパターンの変化に基づいて、運転者ＤＲの視認行動が変化したか否かを判定できる。

加えて行動判定部７７は、走行区間判定部７３の判定結果に基づいて、運転者ＤＲの視認行動の変化を検出できる。具体的に、行動判定部７７は、走行区間判定部７３にてカーブ区間又は坂道区間を走行していると判定された場合に、運転者ＤＲの視認行動が変化していると判定する。以上の行動判定部７７による判定結果は、計数処理部７６に逐次提供される。

以上の行動判定部７７の判定結果に基づき、計数処理部７６は、消失点の位置変化に対応するように計数処理の内容を変更する。具体的に、計数処理部７６は、行動判定部７７にて運転者ＤＲの視認行動が変化したと判定された場合に、集合部６１（図６参照）の位置のスライドに合わせて、基準となるゼロ点位置を変更する。その結果、図５〜図８に示すように、視認回数の計数に用いる各閾値が変更される。

例えば図６に示すように、車両１１０が左カーブ区間を走行している場合、集合部６１は、車両１１０に対して左側にシフトして、左側のサイドミラー１１１（図２参照）に相当する集合部６２に近接している。その結果、首振りの角度の基準となるゼロ点位置も左側にずれる。故に、図８に示すように、右側のサイドミラー１１２の視認回数を計数する閾値ｔｈ（ｒ）の絶対値は、直線区間を走行している場合よりも大きい値（例えば２５°）に変更される。一方で、左側のサイドミラー１１１の視認回数を計数する閾値ｔｈ（ｌ）の絶対値は、直線区間を走行している場合よりも小さい値（例えば２０°）に変更される。これら閾値ｔｈ（ｒ），ｔｈ（ｌ）の具体的な値は、第二記憶領域４６ｂに蓄積された視認点ＶＰの位置情報のうちで、現在走行中の道路環境に対応した蓄積データの分布に基づいて、設定される。故に、各閾値ｔｈ（ｒ），ｔｈ（ｌ）は、カーブの曲率の大きさ及び勾配の大きさに応じて、段階的に変化する。

図４及び図１に示す構成にて、警告制御部７８は、計数処理にて計数された各視認対象物の所定時間あたりの視認回数を、計数処理部７６から取得する。警告制御部７８は、取得した各視認対象物の視認回数に基づき、運転者ＤＲの視認行動が異常状態であるか否かを判定する。例えば、左右のサイドミラー１１１，１１２を視認する頻度が所定の頻度閾値を下回った場合に、警告制御部７８は、異常状態であると判定する。警告制御部７８は、異常状態であるとの判定した場合に、警告実施を指令する指令信号をＨＭＩ制御ユニット５０へ向けて出力する。その結果、ディスプレイ５１及びスピーカ５２等により、運転者ＤＲへ向けた警告が実施される。

以上説明した車載制御部４５による顔向き推定のための各処理の詳細を、図９のフローチャートに基づき、図１及び図２を参照しつつ説明する。図９に示す各処理は、例えばウェアラブルデバイス１０及び車載デバイス４０の電源が共にオン状態とされ、ウェアラブルデバイス１０から車載デバイス４０への検出結果の送信が開始されたことに基づき、車載制御部４５によって開始される。図９に示す各処理は、ウェアラブルデバイス１０及び車載デバイス４０の少なくとも一方がオフ状態とされるまで、繰り返し実施される。

Ｓ１０１では、運転者ＤＲの顔向き及び視線方向の特定と、視認点ＶＰのプロットとを開始し、Ｓ１０２に進む。Ｓ１０２では、各視認対象物の視認回数を計数する各閾値を設定し、各視認対象物の視認回数のカウントを開始して、Ｓ１０３に進む。尚、Ｓ１０２では、予め設定された初期値が各閾値として設定される。

Ｓ１０３では、Ｓ１０１にてプロットを開始した視認点ＶＰの分布、道路の形状情報、及び最新の車速情報等に基づいて、車両１１０の走行環境を判定し、Ｓ１０４に進む。Ｓ１０３にて車両１１０が停止状態にあると判定されていた場合、Ｓ１０４からＳ１０３に戻る。このように車両１１０が停止状態にあると判定された場合、Ｓ１０１にて開始されたプロット処理は、走行状態に切り替わるまで一時的に中断されてもよい。一方、Ｓ１０３にて車両１１０が走行状態にあると判定されていた場合、Ｓ１０４からＳ１０５に進む。

Ｓ１０５では、視認行動が変化したか否かを判定する。Ｓ１０３にて走行環境の判定結果が従来と実質的に同一である場合、Ｓ１０５では、視認行動が変化していないと判定し、Ｓ１０７に進む。一方で、Ｓ１０３にて走行環境の判定結果に従来からの変化が生じていた場合、Ｓ１０５では、視認行動が変化したと判定し、Ｓ１０６に進む。

Ｓ１０６では、直前のＳ１０３にて判定された走行環境に対応した各閾値への変更を実施し、Ｓ１０７に進む。Ｓ１０７では、現在設定されている各閾値を用いて各視認対象物の視認回数を計数する計数処理を実施し、Ｓ１０８に進む。Ｓ１０８では、運転者ＤＲの視線方向の特定と視認点ＶＰのプロットとを継続すると共に、プロットした視認点ＶＰのデータを現在の走行環境に対応した各記憶領域４６ａ，４６ｂに蓄積し、Ｓ１０９に進む。

Ｓ１０９では、直前のＳ１０７にて実施した計数処理の結果に基づき、運転者ＤＲが異常状態にあるか否かを判定する。Ｓ１０９にて、運転者ＤＲが正常な視認行動を行っており、異常状態にないと判定した場合、Ｓ１０３に戻る。一方で、Ｓ１０９にて、運転者ＤＲが異常状態にあると判定した場合、Ｓ１１０に進む。

Ｓ１１０では、ＨＭＩ制御ユニット５０へ向けて警告の実施を指令する指令信号を出力し、一連の処理を一旦終了する。Ｓ１１０にて出力される指令信号に基づき、ディスプレイ５１及びスピーカ５２による警告が実施される。Ｓ１１０による警告が終了すると、車載制御部４５は、再びＳ１０１を開始する。

ここまで説明した第一実施形態では、車両１１０がカーブ区間及び坂道区間等を走行することにより、前景中での消失点の位置に変化が生じると、こうした位置変化に起因して運転者ＤＲの視認行動が変化したと判定される。その結果、視認対象物を運転者ＤＲが視認した回数を計数する計数処理は、消失点の位置変化に合わせて、運転者ＤＲの視認行動の変化に対応した内容に変更される。したがって、消失点の位置変化に起因して運転者ＤＲの視認行動が変化しても、運転者が視認対象物を視認した回数は、精度良く計数可能となる。

また上述したように、消失点の位置が変化した場合、運転者ＤＲの顔向きの検出結果にも確実に変化が生じる。その結果、顔向きの検出結果に基づく視認対象物の視認頻度及び視認対象物の視認パターンにも、明確な変化が生じ得る。そのため、これらの視認頻度及び視認パターンの変化に基づいて運転者ＤＲの視認行動の変化の有無を判定すれば、消失点の位置変化に起因する視認行動の変化の発生は、漏れ無く検出可能となる。

加えて第一実施形態では、左右のうちで運転者ＤＲから遠い左側のサイドミラー１１１を視認する行動の態様変化に基づき、消失点の位置変化に伴う視認行動全体の変化の有無が判定される。例えば、右側のサイドミラー１１２を視認する場合、主に眼球運動による視線移動だけでも可能であるため、首振りによる顔向きの変化は小さくなる。一方で、左側のサイドミラー１１１を視認する場合、眼球運動による視線移動だけでは移動量が不足するため、首振りによる明確な顔向きの変化が生じる。

以上の理由により、図１０に示すように、左側のサイドミラー１１１の視認行動を検出する場合の誤検出及び未検出は、右側のサイドミラー１１２の視認行動を検出する場合の誤検出及び未検出よりも、確実に低減される。このように、左側のサイドミラー１１１を視認する行動は、高精度に検出され易い。そのため、左側のサイドミラー１１１を視認する行動の態様変化に基づくことで、行動判定部７７は、運転者ＤＲの視認行動全体の態様変化の発生も、精度良く判定可能となる。

さらに第一実施形態の行動判定部７７は、走行区間判定部７３の判定結果を用いることによっても、運転者ＤＲの視認行動の変化を判定できる。上述したように、消失点の位置変化は、主にカーブ区間及び坂道区間にて発生する。故に、道路の形状情報を用いて、カーブ区間又は坂道区間の走行を特定すれば、行動判定部７７は、消失点の位置変化に起因した視認行動の変化の発生を、正確且つ遅延無く判定することができる。

加えて第一実施形態では、顔向きの検出結果をプロットした視認点ＶＰの位置情報は、第一記憶領域４６ａに蓄積されて、視認対象物の位置の特定に用いられる。このように視認点ＶＰの位置情報を継続的に蓄積すれば、視認対象物の位置は、さらに精度良く特定され得る。その結果、視認行動の態様変化の判定精度、及び視認対象物の視認回数の計数精度は、共に向上可能となる。

また第一実施形態では、走行区間判定部７３にて直線区間でないと判定された期間に取得される視認点ＶＰの位置情報は、第一記憶領域４６ａに蓄積されない。こうした処理によれば、第一記憶領域４６ａには、消失点の位置変化が実質的に生じていない期間における視認点ＶＰの位置情報のみが蓄積される。故に、第一記憶領域４６ａに蓄積された位置情報に基づくことで、視認対象物の位置は、直線区間にていっそう正確に特定可能となる。

さらに第一実施形態では、運転者ＤＲの視認行動が変化したと判定された場合に、視認回数の計数に用いられる各閾値が変更される。以上によれば、計数処理部７６は、運転者ＤＲの視認行動の変化に合わせて適確な閾値を選択し、視認対象物の視認回数を精度良く計数し続けることが可能となる。

加えて第一実施形態では、車両１１０が実質的に停止状態にある場合、計数処理は中断される。このように、車両１１０が走行状態に無ければ、視認行動に係る運転者ＤＲへの警告は、運転者ＤＲにとって煩わしく、実質的に不要である。そのため、停止状態であれば、警告の中断に合わせて計数処理も中断されることが望ましい。

また第一実施形態では、顔向き検出部１１の加速度センサ１４にて検出された加速度データが、停止判定部７４の停止判定に活用されている。このように、頭部ＨＤの挙動検出を行う既存の構成を利用すれば、顔向き推定システム１００の複雑化を回避しつつ、停止状態の判定が精度良く実施可能となる。

さらに第一実施形態において、運転者ＤＲの頭部ＨＤに装着されたジャイロセンサ１３の計測データに基づき、運転者ＤＲの顔向きが推定される。このように頭部ＨＤと一体的に動くジャイロセンサ１３は、頭部ＨＤの動きを忠実に検出し得る。その結果、推定される運転者ＤＲの顔向きの精度も、確保され易くなる。

また第一実施形態のように、顔向き検出部１１がメガネ１０ａに搭載される形態であれば、顔向き検出部１１は、頭部ＨＤに対してずれ難く、頭部ＨＤの動きを確実に検出できる。したがって、メガネ１０ａに顔向き検出部１１を搭載する形態は、視認対象物の視認回数を計数する処理の精度向上に寄与し得る。

尚、第一実施形態において、第一記憶領域４６ａが「記憶領域」に相当し、運転者情報取得部７１が「顔向き情報取得部」に相当し、車載デバイス４０が「顔向き推定装置」に相当し、車両１１０が「移動体」に相当する。

（第二実施形態）
図１１に示す本発明の第二実施形態による顔向き推定システム２００は、第一実施形態の変形例である。第二実施形態の顔向き推定システム２００では、運転者ＤＲ（図２参照）の顔向きを推定する各処理が主にウェアラブルデバイス２１０によって実施される。車載デバイス２４０は、取得した車速情報及び道路の形状情報を、無線通信によって通信ユニット４７からウェアラブルデバイス２１０に送信する。

ウェアラブルデバイス２１０は、第一実施形態と同様のメガネ型のモーションセンサデバイスである（図３参照）。ウェアラブルデバイス２１０の検出回路２２０は、第一実施形態と実質同一の顔向き検出部１１、通信ユニット１７、操作部１８、及びバッテリ１９に加えて、ウェアラブル制御部２１５及び振動通知部２１８を備えている。

ウェアラブル制御部２１５は、プロセッサ２１５ａ、ＲＡＭ、及び入出力インターフェース等を主体とするマイクロコンピュータ、並びにメモリ２１６等によって構成されている。メモリ２１６には、第一実施形態の各記憶領域４６ａ，４６ｂ（図１参照）に相当する第一記憶領域２１６ａと第二記憶領域２１６ｂとが確保されている。

ウェアラブル制御部２１５は、第一実施形態の車載制御部４５（図１参照）と同様に、メモリ２１６に記憶された顔向き推定プログラムをプロセッサ２１５ａによって実行する。その結果、ウェアラブル制御部２１５には、第一実施形態と実質同一の複数の機能ブロック（７１〜７８，図４参照）が構築される。

ウェアラブル制御部２１５に構築される運転者情報取得部７１（図４参照）は、顔向き検出部１１から直接的に検出結果を取得可能である。一方、ウェアラブル制御部２１５に構築される走行情報取得部７２（図４参照）は、通信ユニット１７によって受信された車速情報及び道路の形状情報を取得する。

ウェアラブル制御部２１５に構築される警告制御部７８（図４参照）は、異常状態であるとの判定した場合に、警告実施を指令する指令信号を振動通知部２１８へ向けて出力する。その結果、振動通知部２１８の振動により、運転者ＤＲ（図２参照）へ向けた警告が実施される。

ここまで説明した第二実施形態のように、顔向き推定のための各処理がウェアラブルデバイス２１０で実施されても、計数処理は、運転者ＤＲの視認行動の変化に対応した内容に変更され得る。したがって、第一実施形態と同様に、第一消失点の位置変化に起因して運転者ＤＲの視認行動が変化しても、運転者が視認対象物を視認した回数は、精度良く計数可能となる。尚、第二実施形態では、ウェアラブルデバイス２１０が「顔向き推定装置」に相当する。

（他の実施形態）
以上、本開示による複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記実施形態において、顔向き推定に係る各処理は、車載デバイス及びウェアラブルデバイスのいずれか一方で実施されていた。しかし、顔向き推定に係る各処理は、車載デバイス及びウェアラブルデバイスの各プロセッサによって分散実施されてよい。こうした形態では、顔向き推定システムが「顔向き推定装置」に相当する。また、上記実施形態にてプロセッサによって提供されていた各機能は、上述の構成とは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによっても提供可能である。さらに、車載デバイスは、例えば運転者によって車内に持ち込まれるスマートフォン及びタブレット等の携帯端末等であってもよい。

上記第二実施形態のウェアラブルデバイス２１０（図１１参照）は、無線通信によって車速情報及び道路の形状情報を取得していた。しかし、ウェアラブルデバイスは、これら車速情報及び道路の形状情報を用いることなく、顔向き推定に係る各処理を実施してもよい。

上記第一実施形態の車載デバイスが例えばナビゲーション装置から車両の予定走行経路を取得可能であれば、例えば右左折を実施するシーンでも、カーブ区間の判定と同様に、走行区間判定部は、直線区間でないと判定することが可能である。こうした形態であれば、右左折を実施するシーンにて、サイドミラーの見落としを適確に警告することができる。

上記実施形態の顔向き検出部は、複数のセンサ１２〜１４を有していた。しかし、眼球運動による視線方向の変化を考慮しない形態であれば、眼電位センサは、顔向き検出部から省略可能である。また、車速情報のみによって停止判定を実施する形態であれば、加速度センサは、顔向き検出部から省略可能である。さらに、上記とは異なる他のセンサ、例えば磁気センサ及び温度センサ等が、顔向き検出部に含まれていてもよい。

上記実施形態では、ウェアラブルデバイスとして、メガネ型の構成が例示されていた。しかし、ウェアラブルデバイスは、首よりも上の頭部に取り付け可能な構成であれは、メガネ型の構成に限定されない。例えば、帽子等に取り付けられるバッジ型のウェアラブルデバイス、又は耳の後方に引っ掛けられる耳掛け型のウェアラブルデバイスが、顔向き推定システムに採用可能である。さらに、運転者の顔向きを検出する構成は、ウェアラブルデバイスに限定されない。例えば、運転者の顔を撮影するカメラが顔向き検出部として顔向き推定システムに設けられていてもよい。こうした形態では、例えば車載制御部は、カメラにて撮像された画像から、画像解析によって顔向きを検出する処理を実施する。

しかしながら、ウェアラブルデバイスの採用によれば、カメラを設置する場所の確保は不要となる。また、運転者が装着する通常のメガネやサングラス、或いは強い外光等に起因して、カメラの画像を用いた顔向きの検出が困難となる事態も回避される。

上記実施形態の行動判定部は、左側のサイドミラーの視認頻度及び視認パターンの変化を検出することで、運転者の視認行動の変化を判定していた。しかし、行動判定部は、例えば、所定の期間内にて、左右に並ぶ各サイドミラーを視認した視認回数の割合が変化した場合に、運転者の視認行動が変化したと判定してもよい。また、ステアリングが車両の左側に配置されている場合には、行動判定部は、運転者から遠い側のサイドミラーとして、右側のサイドミラーの視認頻度及び視認パターンの変化を検出することで、運転者の視認行動の変化を判定することが望ましい。

上記実施形態では、ディスプレイ及びメータ等も視認対象物として位置を特定されていたが、位置を特定される視認対象物は、左右のサイドミラー及びバックミラーだけであってもよい。また、他の車両の構成が視認対象物として位置を特定されてもよい。さらに、左右のサイドミラーに替えて、電子ミラーの画面が視認対象物として位置を特定されてもよい。

上記実施形態では、車両が概ね停止状態にある場合に、異常判定に基づく警告の実施、及び計数処理部による各処理は、中断された。しかし、例えば運転者の視線方向をプロットする処理は、車両が停止状態にある場合でも、継続されてよい。さらに、ロケータの受信する測位信号の推移に基づいて、停止判定が実施されてもよい。

上記実施形態では、プロット処理によって取得された視認点ＶＰの位置情報が、第一記憶領域及び第二記憶領域に分類されて、蓄積されていた。しかし、位置情報の分類及び蓄積は、実施されなくてもよい。また、第一記憶領域及び第二記憶領域が設けられる記憶媒体は、フラッシュメモリに限定されず、ハードディスクドライブ等の他の記憶媒体であってもよい。

上記実施形態では、消失点に対応する集合部６１（図５及び図６参照）の位置をゼロ点として規定し、上下方向及び左右方向の顔向き及び視線方向を数値化していた（図７及び図８参照）。そのため、視認回数を計数する場合の各閾値も、消失点に対応する集合部の位置を基準に設定されていた。しかし、例えばウインドシールドの特定位置（例えば中央位置）を基準にして顔向き及び視線方向を数値化する形態であれば、各閾値も、ウインドシールドの特定位置を基準に設定されてよい。

そして、本開示の顔向き推定方法を適用した処理は、上記実施形態とは異なる移動体においても、実施可能である。さらに、自動運転中の車両において自動運転機能を監視するオペレータも、運転者に該当し得る。

１０，２１０ ウェアラブルデバイス（顔向き推定装置）、１０ａ メガネ、１１ 顔向き検出部、１３ ジャイロセンサ、１４ 加速度センサ、４０，２４０ 車載デバイス（顔向き推定装置）、４５ａ，２１５ａ プロセッサ、４６ａ，２１６ａ 第一記憶領域（記憶領域）、７１ 運転者情報取得部（顔向き情報取得部）、７２ 走行情報取得部、７３ 走行区間判定部、７４ 停止判定部、７６ 計数処理部、７７ 行動判定部、１１０ 車両（移動体）、１１１，１１２ サイドミラー、ＤＲ 運転者、ＨＤ 頭部

Claims (12)

1. 移動体（１１０）を運転する運転者（ＤＲ）の顔向きを検出した検出結果を取得する顔向き情報取得部（７１）と、
   前記顔向き情報取得部の取得した前記検出結果に基づき、前記移動体に設置された視認対象物を前記運転者が視認した回数を計数する計数処理部（７６）と、
   前記顔向き情報取得部の取得した前記検出結果の変化に基づき、前記運転者の視認する前景中での消失点の位置変化に起因して前記視認対象物を視認する前記運転者の視認行動が変化したか否かを判定する行動判定部（７７）と、を備え、
   前記計数処理部は、前記行動判定部にて前記運転者の視認行動が変化したと判定された場合に、前記消失点の位置変化に合わせて、前記運転者が前記視認対象物を視認した回数を計数する計数処理の内容を変更する顔向き推定装置。
2. 前記行動判定部は、前記視認対象物を視認する頻度、前記視認対象物を視認するパターン、及び左右に並ぶ前記視認対象物の視認回数の割合、の少なくとも一つが変化した場合に、前記運転者の視認行動が変化したか否かを判定する請求項１に記載の顔向き推定装置。
3. 前記視認対象物には、前記移動体としての車両に設置された左右のサイドミラー（１１１，１１２）が含まれ、
   前記行動判定部は、左右のうちで前記運転者から遠い側の前記サイドミラーを視認する行動の態様変化に基づき、前記運転者による視認行動が変化したか否かを判定する請求項２に記載の顔向き推定装置。
4. 前記移動体が走行を予定している道路の形状情報を取得する走行情報取得部（７２）、をさらに備え、
   前記行動判定部は、前記形状情報に基づき前記移動体がカーブ区間又は坂道区間を走行している場合に、前記運転者の視認行動が変化していると判定する請求項１〜３のいずれか一項に記載の顔向き推定装置。
5. 前記顔向き情報取得部の取得した前記検出結果を蓄積する記憶領域（４６ａ，２１６ａ）、をさらに備え、
   前記計数処理部は、前記記憶領域に蓄積された前記検出結果に基づいて前記視認対象物の位置を特定する請求項１〜４のいずれか一項に記載の顔向き推定装置。
6. 前記移動体が直線区間を走行しているか否かを判定する走行区間判定部（７３）、をさらに備え、
   前記走行区間判定部にて直線区間でないと判定された期間に取得される顔向きの前記検出結果は、前記記憶領域に蓄積される対象から除外される請求項５に記載の顔向き推定装置。
7. 前記計数処理部は、前記行動判定部にて前記運転者の視認行動が変化したと判定された場合に、前記視認対象物の視認回数を計数するための閾値を変更する請求項１〜６のいずれか一項に記載の顔向き推定装置。
8. 前記移動体が停止状態にあるか否かを判定する停止判定部（７４）、をさらに備え、
   前記計数処理部は、前記停止判定部にて前記移動体が停止状態にあると判定された場合に、計数処理を中断する請求項１〜７のいずれか一項に記載の顔向き推定装置。
9. 前記顔向き情報取得部は、前記運転者の頭部（ＨＤ）に装着されて当該頭部に作用する加速度を計測する加速度センサ（１４）の計測データを取得し、
   前記停止判定部は、前記加速度センサにて検出された計測データに基づいて、前記移動体が停止状態にあるか否かを判定する請求項８に記載の顔向き推定装置。
10. 前記顔向き情報取得部は、前記運転者の頭部に装着されて当該頭部に生じた角速度を計測するジャイロセンサ（１３）の計測データを取得する請求項１〜９のいずれか一項に記載の顔向き推定装置。
11. 前記顔向き情報取得部は、前記運転者に装着されるメガネ（１０ａ）に搭載された顔向き検出部（１１）から前記検出結果を取得する請求項１〜１０のいずれか一項に記載の顔向き推定装置。
12. 移動体（１１０）を運転する運転者（ＤＲ）の顔向きを推定する顔向き推定方法であって、
    少なくとも一つのプロセッサ（４５ａ，２１５ａ）は、
    前記運転者の顔向きを検出する顔向き検出部（１１）の検出結果に基づき、前記移動体に設置された視認対象物を前記運転者が視認した回数を計数し（Ｓ１０７）、
    前記顔向き検出部の前記検出結果の変化に基づき、前記運転者の視認する前景中での消失点の位置変化に起因して前記視認対象物を視認する前記運転者の視認行動が変化したか否かを判定し（Ｓ１０５）、
    前記運転者の視認行動が変化したと判定された場合に、前記消失点の位置変化に合わせて、前記運転者が前記視認対象物を視認した回数を計数する計数処理の内容を変更する（Ｓ１０６）顔向き推定方法。

Images