JP2017194822A - 乗員状態推定装置 - Google Patents

Abstract

【課題】運転席乗員がディスプレイに視線を向けなくとも運転席乗員の状態を推定できる乗員状態推定装置を提供する。【解決手段】乗員状態推定装置１０は、自車両と接近関係にある移動体（以降、接近体）を特定するとともに、その接近体と自車両との衝突リスクを逐次評価する。そして、衝突リスクに基づいて、運転席乗員に報知すべき接近体が存在すると判定した場合には、スピーカ２６から音響信号を出力することで、当該接近体が存在する方向に仮想音源が存在するように立体音像を生成する。その後、ＤＳＭ２５の出力に基づき、仮想音源を定位させた方向（以降、定位方向）を運転席乗員が視認したか否かを判定するとともに、定位方向を視認した場合にはその所要時間（つまり反応時間）を特定する。そして、定位方向を見逃した回数や反応時間に基づいて運転席乗員の適正度を判定する。【選択図】図１

Description

本発明は、乗員の状態を推定する乗員状態推定装置に関する。

従来、運転席に着座している乗員（以降、運転席乗員）の疲労度合いや、意識レベル、運転操作に集中できているか否かなどといった、運転席乗員の状態を推定する乗員状態推定装置が種々提案されている。例えば特許文献１に開示の乗員状態推定装置は、運転席乗員の視線の動きに基づいて、運転席乗員が正常状態にあるか否かを判定する。

具体的には次の通りである。特許文献１に開示の乗員状態推定装置は、運転席乗員の視線方向を検出する機能と、運転席乗員が注意すべき事象が発生したか否かを判定する機能を備えており、運転席乗員が注意すべき事象が発生した場合には、当該事象を警告する情報（以降、注意喚起情報）をディスプレイに表示する。注意喚起情報には、運転席乗員が視線を向けるべき方向などが含まれている。

また、運転席乗員状態推定装置は、注意喚起情報をディスプレイに表示してからの運転席乗員の視線方向を追跡し、運転席乗員がディスプレイに表示されている注意喚起情報を見ている時間（以降、注視時間）や、ディスプレイに視線を向けてから注意喚起情報に対応する方向に視線を向けるまでの時間（以降、反応時間）を計測する。

そして、計測された注視時間や反応時間が所定の閾値以下となっているか否かに基づいて、運転席乗員が正常な状態であるか否かを判定する。なお、特許文献１における運転席乗員が正常ではない状態とは、意識レベルが低下していたり、疲労していたり、集中力が低下していたりする状態である。

特開２００２−２５０００号公報

特許文献１に開示の方法では、運転席乗員はいったんディスプレイを見なければ、視線を向けるべき方向（換言すれば注意すべき方向）を認識できない。そのため、運転席乗員の状態を推定するためには、運転席乗員に対して、ディスプレイを視認させるステップと、ディスプレイに表示した方向を視認させるステップの２つの行動を取らせる必要がある。当然、運転席乗員が視線を向けるべき方向が多いほど、運転席乗員の負担が大きくなってしまう。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、運転席乗員がディスプレイに視線を向けなくとも運転席乗員の状態を推定できる乗員状態推定装置を提供することにある。

その目的を達成するための本発明は、車両で用いられ、２個以上の音響信号出力装置のそれぞれから音響信号を出力することによって、３次元空間の所望の位置に仮想音源を定位させた立体音像を生成する立体音像生成部（Ｆ４）と、車室内の設けられたカメラの撮像画像に基づいて、所定の座席に着座している乗員が見ている方向である視認方向を特定する視認方向特定部（Ｆ５）と、視認方向特定部の特定結果に基づいて、立体音像が生成されてから所定の反応待機時間以内に仮想音源が定位された方向である定位方向を乗員が見たか否かを判定する視認判定部（Ｆ６）と、視認判定部の判定結果に基づいて乗員の状態を推定する乗員状態推定部（Ｆ７）と、を備えることを特徴とする。

以上の構成において、乗員状態推定部は、立体音像を定位させた方向を、乗員が視認したか否かに基づいて当該乗員の状態を推定する。このような構成によれば、運転席乗員の適正度を決定する上で、運転席乗員にいったんディスプレイを見させる必要が発生しない。仮想音源が定位されている方向が、視線を向けるべき方向となっているためである。

したがって、運転席乗員がディスプレイに視線を向けなくとも運転席乗員の状態を推定できる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

乗員状態推定システム１００の概略的な構成を示すブロック図である。 スピーカ２６の設置位置の一例を示す図である。 乗員状態推定装置１０の概略的な構成を示すブロック図である。 結果記憶部Ｍ２に保存される判定結果データの一例を示す図である。 適正度評価マップについて説明するための図である。 適正度予測部Ｆ８の作動を説明するための図である。 乗員状態管理処理を説明するためのフローチャートである。 変形例１における適正度予測部Ｆ８の作動を説明するための図である。

以下、本発明の実施形態の一例について図を用いて説明する。図１は、本実施形態に係る乗員状態推定システム１００の概略的な構成の一例を示す図である。本実施形態の乗員状態推定システム１００は、自動運転機能を備えた車両に搭載されており、当該車両の運転席に着座している乗員（以降、運転席乗員）の、自動運転時の状態としての適正度合い（以降、適正度）を逐次決定するものである。

なお、ここでの運転席乗員の状態の適正度は、脳を含む身体の疲労度合いを示すパラメータであってもよいし、眠さ等の意識レベルを示すパラメータであってもよい。また、適正度は、精神状態の安定度合いを示すパラメータであってもよい。

ここでは一例として、それらの種々の要因を複合的に組み合わせた適正度を意味するものとする。適正度が高い程、自動運転時における運転席乗員の状態として、予め定義された適切な状態に近いことを表す。

また、ここでの自動運転機能とは、ユーザによって設定されている走行予定経路に沿って自車両が走行するように、操舵、加速、減速を自動的に実行する機能である。以降では便宜上、乗員状態推定システム１００が搭載されている車両のことを自車両とも記載する。

＜乗員状態推定システム１００の構成について＞
図１に示すように、乗員状態推定システム１００は、乗員状態推定装置１０、カメラユニット２１、ミリ波レーダ２２、車車間通信部２３、広域通信部２４、ドライバステータスモニタ（以降、ＤＳＭ：Driver Status Monitor）２５、スピーカ２６、ディスプレイ２７、バイブレータ２８、空調装置２９、及び自動運転ＥＣＵ３０を備えている。

カメラユニット２１、ミリ波レーダ２２、車車間通信部２３、広域通信部２４、ＤＳＭ２５、スピーカ２６、ディスプレイ２７、バイブレータ２８、空調装置２９、及び自動運転ＥＣＵ３０のそれぞれは、乗員状態推定装置１０と車両内に構築された通信ネットワーク（以降、ＬＡＮ：Local Area Network）を介して相互通信可能に接続されている。

乗員状態推定装置１０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、Ｉ／Ｏ１４、及びこれらの構成を接続するバスラインなどを備えた、コンピュータとして構成されている。ＣＰＵ１１は種々の演算処理を実施するものであって、例えばマイクロプロセッサ等を用いて実現される。ＲＡＭ１２は揮発性のメモリであり、ＲＯＭ１３は不揮発性のメモリである。Ｉ／Ｏ１４は、乗員状態推定装置１０が、カメラユニット２１やミリ波レーダ２２等とデータの入出力をするためのインターフェースである。Ｉ／Ｏ１４は、アナログ回路素子やＩＣなどを用いて実現されればよい。

ＲＯＭ１３には、通常のコンピュータを乗員状態推定装置１０として機能させるためのプログラム（以降、乗員状態推定プログラム）等が格納されている。なお、上述の乗員状態推定プログラムは、非遷移的実体的記録媒体（non- transitory tangible storage medium）に格納されていればよい。ＣＰＵ１１が乗員状態推定プログラムを実行することは、乗員状態推定プログラムに対応する方法が実行されることに相当する。

乗員状態推定装置１０は、ＣＰＵ１１が乗員状態推定プログラムを実行することによって、後述する種々の機能を提供する。またに、それらの機能を協働させることによって後述する乗員状態管理処理を実行する。

なお、乗員状態管理処理の概略は次の通りである。乗員状態推定装置１０は、カメラユニット２１やミリ波レーダ２２等から入力されるデータに基づいて、自車両周辺に存在する他の移動体と自車両とが衝突する可能性（換言すれば衝突リスク）を推定する。衝突リスクが所定の閾値以上となっている移動体が存在する場合には、その移動体が存在する方向に対応する位置に立体音像を生成する。

そして、立体音像を生成した時点からの運転席乗員の視線の動きを観測することで、運転席乗員の適正度を決定する。仮に決定された適正度が、不適切な状態に相当するレベルとなっている場合には、適切な状態へと復帰するように運転席乗員の五感に対して刺激を付与する。なお、ここでの自車両周辺に存在する他の移動体には、他車両だけでなく、歩行者なども含まれる。

カメラユニット２１及びミリ波レーダ２２は、歩行者及び他車両等の移動体、さらに道路上の落下物、交通信号機、ガードレール、縁石、道路標識、道路標示、及び区画線等の静止物を検出する自律センサである。つまり、カメラユニット２１及びミリ波レーダ２２のそれぞれは、自車両周辺の交通状況及び走行環境を表す情報（以降、周辺情報）のソースデバイス（以降、周辺情報検出デバイス）として機能する。なお、ここでの交通状況とは、自車両と歩行者及び他車両等の移動体との位置関係や、周辺に存在する車両の数（つまり車両密度）などを表し、走行環境とは、路上の落下物、交通信号機、ガードレール、縁石、道路標識、道路標示、及び区画線等の静止物に対する自車両の位置関係や、道路勾配、道路の曲率などを指すものとする。

例えばカメラユニット２１は、車室外の所定範囲（例えば前方）を撮影するように設置されたカメラ（以降、車室外用カメラ）と、当該車室外カメラが撮影した画像に対して画像認識処理を施すことで、例えば歩行者などの上述した種々の検出対象物を検出する画像認識処理モジュールとを用いて実現されれば良い。車室外カメラとしては、ＣＭＯＳカメラやＣＣＤカメラ等の光学式のカメラを用いることができる。

もちろん、赤外線カメラを車室外カメラとして用いても良い。また、車室外カメラの撮影範囲は、自車両前方に限らず、自車両側方や、自車両後方などであってもよい。車室外カメラの撮影範囲は適宜設計されれば良い。また、車室外カメラは複数のカメラを用いて実現されても良い。

また、ミリ波レーダ２２は、ミリ波又は準ミリ波を送受信することで、自車両前方の所定範囲（以降、レーダ検知エリア）に存在する物体についての情報を取得する。具体的には、レーダ検知エリア内に存在する物体を検出するとともに、その検出した物体が存在する方向や、距離、相対速度、種別等を推定する。

なお、ここでは一例としてミリ波レーダ２２が、反射波の受信結果を解析することで検出物が存在する方向や距離、相対速度、種別などを推定する態様とするが、これに限らない。他の態様として、ミリ波レーダ２２は反射波の受信結果を乗員状態推定装置１０に提供し、乗員状態推定装置１０が、ミリ波レーダ２２から提供される反射波の受信結果を解析することで検出物が存在する方向や距離、相対速度、種別などを推定する態様としてもよい。

また、他の態様として、自車両前方に存在する物体を検出するレーダ装置として、ミリ波レーダ２２に代えてレーザレーダを採用してもよい。さらに、ミリ波レーダ２２とレーザレーダを併用してもよい。カメラユニット２１及びミリ波レーダ２２はそれぞれ、検出した移動物体及び静止物体に係る検出物情報を、乗員状態推定装置１０へ逐次提供する。検出物情報が前述の周辺情報に相当する。

車車間通信部２３は、５．９ＧＨｚ帯や７６０ＭＨｚ帯など所定の周波数帯の電波を用いて、他車両と直接的な無線通信（いわゆる車車間通信）を実施するための通信モジュールである。

例えば車車間通信部２３は、自車両の走行状態を示す車両情報を含んだ通信パケットを送信するとともに、他車両の車両情報を含んだ通信パケットを受信する。車両情報には、現在位置や、進行方向、車速、加速度などが含まれる。車両情報を含む通信パケットには、車両情報のほかに、当該通信パケットの送信時刻や、送信元情報などの情報を含む。送信元情報とは、送信元に相当する車両に割り当てられている識別番号（いわゆる車両ＩＤ）である。

このように車車間通信部２３もまた、周辺情報を取得する装置として機能する。そのため、車車間通信部２３もまた、周辺情報検出デバイスに相当する。

広域通信部２４は、広域通信網に接続し、図示しない外部装置と広域通信網を介した通信を実施するための無線通信モジュールである。例えば、広域通信部２４は、自車両の現在位置に対応する道路の交通情報を配信する交通情報配信センタや、気象情報を配信する気象情報配信センタ等と通信する。これにより広域通信部２４は、自車両の現在位置に対応する交通情報や気象情報を取得する。

ここでの交通情報には、自車両が走行している道路の混雑度合いを示す渋滞情報や、交通規制情報、路面情報、工事情報、事故情報、障害物情報等が含まれる。路面情報は、路面が濡れているか、凍結しているかなどの路面状態を示す情報である。障害物情報とは、駐車車両の位置や、道路上の落下物の位置及びその種別等を示す情報である。なお、自車両の現在位置は、Global Navigation Satellite System（以降、ＧＮＳＳ）が備える航法衛星が送信する航法信号に基づいて特定されればよい。

このように広域通信部２４もまた、周辺情報を取得する装置として機能する。そのため、広域通信部２４もまた、周辺情報検出デバイスに相当する。

ＤＳＭ２５は、近赤外光源、近赤外カメラ、及びそれらを制御する制御ユニット等を用いて実現されている。ＤＳＭ２５は、近赤外光源によって近赤外光を照射された運転席乗員の顔を、近赤外カメラによって撮影する。ＤＳＭ２５は、近赤外カメラの撮像画像に対して周知の画像認識処理を施すことで、運転席乗員の顔の向き、及び視線方向等を逐次検出する。

検出された運転席乗員の顔の向きや視線方向を示す情報は、乗員状態推定装置１０へ逐次出力される。なお、撮像画像から運転席乗員の顔の向き、視線方向等を特定することは、周知の方法を援用して実現することができるため、ここではその詳細な説明については省略する。

スピーカ２６は、乗員状態推定装置１０からの指示に基づいて音響信号（つまり音）を出力する音響信号出力装置である。スピーカ２６は、運転席乗員に対して立体音像を提供できるように、車室内において適宜設計される複数の箇所に設けられていればよい。

本実施形態では一例として、自車両には図２に示すように、インストゥルメントパネルの所望の位置に右側スピーカ２６Ｒと左側スピーカ２６Ｌの２つのスピーカ２６が設けられているものとする。これにより、本実施形態における乗員状態推定装置１０は２チャンネルスピーカを用いて立体音像の提供を実現する。

なお、右側スピーカ２６Ｒは、例えばインストゥルメントパネルにおいて運転席の右斜め前方に設けられ、左側スピーカ２６Ｌは、インストゥルメントパネルにおいて運転席の左斜め前方に設けられればよい。もちろん、スピーカ２６の設置位置は、上述した態様に限らない。スピーカ２６は、ステアリングコラムや、運転席用シートのヘッドレスト、ピラー部分、天井などに設けられていても良い。

また、本実施形態では２チャンネルスピーカを用いて立体音場及び立体音源を実現する態様とするが、これに限らない。乗員状態推定装置１０は、３チャンネルスピーカを用いて立体音源を実現してもよい。また、スピーカ２６は、骨伝導振動子を用いたスピーカや、パラメトリックスピーカであってもよい。

ディスプレイ２７は、乗員状態推定装置１０から入力された信号に対応するテキストや画像を表示する。ディスプレイ２７は、例えばフルカラー表示が可能なものであり、液晶ディスプレイや、有機ＥＬディスプレイ等を用いて構成することができる。また、ディスプレイ２７としては、ヘッドアップディスプレイであってもよい。

バイブレータ２８は、図示しないモータを駆動させることによって振動素子を振動させる装置である。バイブレータ２８は、運転席乗員の触覚を刺激するための装置として用いられる。そのため、バイブレータ２８は、運転席用シートや、ペダル（例えばブレーキペダル）、ハンドルなどといった、車室内において運転席乗員の体が触れると想定される箇所に設けられていることが好ましい。

なお、自動運転時には、運転席乗員の手がハンドルから離れていたり、ペダルから足が離れていたりすることが想定される。したがって、バイブレータ２８は、運転席用のシートや、シートベルト等、自動運転時においても運転席乗員の体に接することが想定される部材に設けられていることが好ましい。

空調装置２９は、車室内の温度や、湿度等を調整する装置である。空調装置２９の作動は、乗員状態推定装置１０によって制御される。なお、空調装置２９は、香り付きの空気を吹き出す機能（以降、香り発生機能）を備えていてもよい。

自動運転ＥＣＵ３０は、自動運転機能を提供するＥＣＵ（Electronic Control Unit）である。すなわち、ユーザによって設定されている走行予定経路に沿って自車両が走行するように、操舵、加速、減速を自動的に実行する。自動的な操舵、加減速等の制御は、制御対象とする車載アクチュエータやモータに向けて、制御信号を出力することによって実現されればよい。また、自動運転ＥＣＵ３０は、自動運転機能が作動しているか否かを示す作動情報を乗員状態推定装置１０に提供する。

＜乗員状態推定装置１０が備える機能について＞
次に、図３を用いて乗員状態推定装置１０が備える機能について説明する。乗員状態推定装置１０は、ＣＰＵ１１が上述の乗員状態推定プログラムを実行することによって、図３に示す種々の機能ブロックに対応する機能を提供する。すなわち、乗員状態推定装置１０は機能ブロックとして、周辺情報取得部Ｆ１、移動体情報抽出部Ｆ２、接近体抽出部Ｆ３、立体音像生成部Ｆ４、視認方向特定部Ｆ５、視認判定部Ｆ６、適正度決定部Ｆ７、適正度予測部Ｆ８、及び刺激印加部Ｆ９を備える。

なお、乗員状態推定装置１０が備える機能ブロックの一部又は全部は、一つあるいは複数のＩＣ等を用いて（換言すればハードウェアとして）実現してもよい。また、乗員状態推定装置１０が備える機能ブロックの一部又は全部は、ＣＰＵによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。

また、乗員状態推定装置１０は、ＲＯＭ１３が備える記憶領域の一部を用いて実現される音データ記憶部Ｍ１と、ＲＡＭ１２等の書き換え可能な記憶媒体を用いて実現される結果記憶部Ｍ２と、を備える。

音データ記憶部Ｍ１には、移動体種別毎の擬音データが格納されている。移動体種別とは、例えば四輪自動車や二輪自動車、自転車、歩行者などといった移動体の種別を意味する。なお、四輪自動車は、さらに、トラックや、乗用車などのように細分化されていてもよい。

或る移動体種別の擬音データとは、その移動体種別の特徴を表す擬音をスピーカ２６から出力するためのデータである。例えば、二輪自動車の擬音データとは二輪自動車のエンジン音を模した音響信号を出力するためのデータとすればよい。擬音データは、ＭＩＤＩ（Musical Instrument Digital Interface）形式で保存されていても良いし、他の形式で保存されていても良い。音データ記憶部Ｍ１が請求項に記載の擬音データ記憶部に相当する。

結果記憶部Ｍ２には、後述する視認判定部Ｆ６による判定結果が保存される。結果記憶部Ｍ２が記憶する判定結果については別途後述する。

周辺情報取得部Ｆ１は、カメラユニット２１、ミリ波レーダ２２、車車間通信部２３、広域通信部２４のそれぞれと相互通信を実施し、それぞれが取得した周辺情報を取得する。つまり、周辺情報取得部Ｆ１は、周辺情報検出デバイスとの通信インターフェースとして機能する。周辺情報取得部Ｆ１が取得した周辺情報は、その取得時刻を示すタイムスタンプが付与されてＲＡＭ１２に保存されれば良い。

移動体情報抽出部Ｆ２は、周辺情報取得部Ｆ１が取得した周辺情報に基づいて、自車両周辺に存在する移動体毎の移動体情報を抽出する。ここでは一例として、移動体情報には、移動体種別と、自車両に対して移動体が存在する相対的な位置（つまり相対位置）と、自車両に対する相対速度と、相対的な進行方向と、が含まれるものとする。相対位置は、方向と距離によって表されれば良い。相対速度は、自車両との距離が小さくなる場合に正の値をとるように算出されれば良い。

なお、各周辺情報検出デバイスから提供される周辺情報に含まれる移動体情報は、周知のセンサフュージョン技術によって相補的に結合されて利用されればよい。移動体情報抽出部Ｆ２が逐次取得する移動体毎の移動体情報は、移動体毎に区別されてＲＡＭ１２に保存されれば良い。

接近体抽出部Ｆ３は、移動体毎の移動体情報に基づいて、自車両周辺に存在する移動体のうち、自車両と接近関係にある移動体（以降、接近体）を抽出する。自車両と接近関係にある移動体とは、自車両との距離が減少傾向にある移動体である。接近体は、相対位置の時間変化から特定されればよい。

もちろん、接近体は、対象とする移動体の相対位置や、対象とする移動体の進行方向、自車両の進行方向などに基づいて決定されても良い。接近体抽出部Ｆ３によって抽出された移動体（つまり接近体）は、自車両と接触する可能性がある移動体に相当する。なお、移動体毎の相対位置等は移動体情報抽出部Ｆ２によって特定されているため、接近体を特定すれば、その接近体の相対位置等も特定される。接近体が存在する方向が、自車両と接触しうる移動体が存在する方向である。したがって、接近体抽出部Ｆ３が請求項に記載のリスク方向特定部に相当する。

また、接近体抽出部Ｆ３は、より細かい機能ブロックとしてリスク評価部Ｆ３１を備える。リスク評価部Ｆ３１は、接近体毎の衝突リスクを評価する機能ブロックである。例えばリスク評価部Ｆ３１は、接近体毎に、その接近体の相対位置、相対速度、及び相対的な進行方向に基づいて、衝突するまでの残り時間（いわゆるＴＴＣ：Time-To-Collision）を算出し、ＴＴＣが小さいほど衝突リスクが高いと判定する。

衝突リスクは連続的な値として算出されても良いが、ここでは一例として、衝突リスクの高さは、レベル１からレベル４までの４段階で表現されるものとする。レベル１は衝突リスクの最も低い状態を表し、レベル４が衝突リスクの最も高い状態を表す。

例えばレベル１は、衝突するまでの時間がまだ十分に残っている状態や、衝突する可能性が０と見なすことができるほど十分に低い状態を表すものである。例えば、ＴＴＣが所定の第１閾値（例えば１５秒）以上となっている場合にはレベル１と判定し、ＴＴＣが第１閾値未満であって所定の第２閾値（例えば１０秒）以上となっている場合にはレベル２と判定する。

また、ＴＴＣが第２閾値未満であって第３閾値（例えば５秒）以上となっている場合にはレベル３と判定し、ＴＴＣが第３閾値未満となっている場合にはレベル４と判定する。なお、種々の閾値の具体的な値は適宜設計されればよい。

また、本実施形態では一例として、ＴＴＣの大きさに基づいてレベルを決定する態様とするが、これに限らない。周知の方法によってレベルを決定してもよい。

なお、本実施形態では自車両の走行状態を示す情報を用いずに、衝突リスク（換言すればレベル）を算出する態様を例示するが、これに限らない。自車両の走行速度や進行方向、操舵角などに基づいて、衝突リスクを算出する態様としてもよい。自車両の車両情報と周辺環境とから衝突リスクを算出する方法は周知のものを援用することができるため、ここではその詳細は省略する。

立体音像生成部Ｆ４は、右側スピーカ２６Ｒ及び左側スピーカ２６Ｌのそれぞれから音響信号を出力させることで、仮想音源を３次元空間の任意の方向及び任意の距離に定位させた立体音像を生成する。仮想音源の位置の調整は、各スピーカから出力させる音のレベル差、時間差、位相差などを制御することで実現することができる。このような音像定位には、公知の音場再生システムにて用いられている周知の音像定位技術を用いることができる。

本実施形態において立体音像生成部Ｆ４が立体音像を生成する場合とは、接近体の中に、所定の報知条件を充足する接近体が存在する場合とする。報知条件は、立体音像を提供することによって、対象とする接近体の存在を運転席乗員に報知するための条件である。報知条件の具体的な内容については別途後述する。便宜上、報知条件を充足している接近体のことを報知対象移動体と記載する。

また、立体音像生成部Ｆ４は、運転席から見て報知対象移動体が存在する方向と、運転席乗員によって仮想音源が存在すると知覚される方向とが一致するように、仮想音源の位置を決定する。つまり、仮想音源は、運転席から見て報知対象移動体が存在する方向に配置される。例えば、報知対象移動体が自車両の右斜め後方に存在する場合には、立体音像生成部Ｆ４は、運転席乗員によって仮想音源が右斜め後方に存在すると知覚されるように立体音像を生成する。

このような態様によれば、運転席乗員に、報知対象移動体が存在する方向（換言すれば注意を払うべき方向）を直感的に認識させることができる。立体音像生成部Ｆ４は、立体音像を生成した場合、その仮想音源を配置した方向（以降、定位方向）を示す情報を視認判定部Ｆ６に提供する。

さらに、立体音像生成部Ｆ４は、報知対象移動体の移動体種別に応じた擬音データを用いて、立体音像を生成する。例えば報知対象移動体が四輪自動車である場合には四輪自動車に対応する擬音データを用いて、立体音像を生成する。このような態様によれば、立体音像を構成する擬音の種類に基づいて、運転席乗員に報知対象移動体の移動体種別を直感的に認識させることができる。

また、立体音像生成部Ｆ４は、報知対象移動体に対してリスク評価部Ｆ３１が決定している衝突リスクに応じて、立体音像の吹鳴態様（換言すれば出力態様）を調整する。例えば、衝突リスクが高いほど、運転席乗員に対して危機感を感じさせる吹鳴態様で立体音像を生成する。例えば、衝突リスクが高いほど、擬音が含む高音を強調して出力したり、音量を大きくしたり、立体音像を連続して生成する回数を増加させたりする。なお、各スピーカ２６には、所望の吹鳴態様の立体音像が生成されるように調整された擬音信号が出力されれば良い。

視認方向特定部Ｆ５は、ＤＳＭ２５から運転席乗員の顔の向き及び視線方向を示す情報（以降、視線情報）を逐次取得する。そして、運転者乗員の顔の向きと視線方向とから、運転者乗員が見ている方向（以降、視認方向）を特定する。

なお、本実施形態ではＤＳＭ２５が運転席乗員の顔画像から運転席乗員の顔の向きや視線方向を特定する態様とするが、これに限らない。他の態様として、視認方向特定部Ｆ５が運転席乗員の顔画像を取得し、その画像データから運転席乗員の顔の向きや視線方向を特定してもよい。

視認判定部Ｆ６は、そして、立体音像生成部Ｆ４が立体音像を生成した場合には、上述した視認方向に基づいて、立体音像生成部Ｆ４から提供される定位方向を運転席乗員が視認したか否かを判定する。

例えば視認判定部Ｆ６は、定位方向と視認方向とが一致した場合に、運転席乗員が定位方向を視認したと判定すればよい。なお、ここでの一致とは完全な一致に限らない。例えば視認方向が、定位方向を基準として定まる所定範囲となった場合に、定位方向を運転席乗員が視認したと判定すればよい。

なお、視認判定部Ｆ６による判定は、ドアミラーやバックミラーを介して運転席乗員が間接的に視認する場合にも対応しているものとする。具体的には、運転席乗員の視認方向が、右側ドアミラーが配置されている方向となった場合には、運転席乗員は車両の右側後方を視認したと判定する。左側ドアミラーについても同様である。また、運転席乗員の視認方向が、バックミラーが配置されている方向となった場合には、運転席乗員は車両後方を視認したと判定する。

また、近年は、車両外の所定範囲（例えば車両後方）を撮影するカメラの撮像映像をディスプレイ２７に表示することで、運転席乗員が車両周辺の交通状況を認識することを支援するシステムも提案されている。そのような車室外のリアルタイムな状況を示す映像がディスプレイ２７に表示されてあって、かつ、運転席乗員の視線方向がディスプレイ２７の方向となった場合には、視認判定部Ｆ６は、運転席乗員がディスプレイ２７に表示されている映像に対応する方向を視認したと判定すればよい。

また、視認判定部Ｆ６は、より細かい機能ブロックとして、反応時間計測部Ｆ６１を備える。反応時間計測部Ｆ６１は、仮想音像を提供する音響信号が出力されてから（換言すれば立体音像が生成されてから）、乗員が定位方向に視線を向けるまでの所要時間（つまり反応時間）を測定する。

視認判定部Ｆ６は、仮想音像を提供する音響信号をスピーカ２６から出力させてから、所定の反応待機時間Ｔｍｉｓ経過しても運転席乗員が定位方向を視認しなかった場合には、運転席乗員が定位方向を視認しなかったと判定する。反応待機時間Ｔｍｉｓとして採用する具体的な時間は適宜設計されれば良い。ここでは一例として５秒とする。

また、立体音像が生成されてから反応待機時間Ｔｍｉｓ経過するまでに運転席乗員の視認方向が定位方向に向いた場合には、その時点までの経過時間を反応時間として採用する。

記録処理部Ｆ６２は、運転席乗員が定位方向を視認したか否かの判定結果を結果記憶部Ｍ２に記録する機能ブロックである。また、記録処理部Ｆ６２は、運転席乗員が定位方向を視認した場合には、運転席乗員が定位方向を視認したという判定結果とともに、その際に特定された反応時間も記録する。

判定結果は、立体音像が生成される度に収集される。複数時点における判定結果は、結果記憶部Ｍ２において時系列順に並べて保存されればよい。便宜上、判定結果を時系列に並べたデータを判定結果データと称する。図４は、判定結果データの概略的な構成の一例を示す図である。個々の判定結果は、立体音像が生成された時刻を示す時刻情報や、定位方向と対応付けられて保存されることが好ましい。なお、図４の判定結果欄における「ＯＫ」は運転席乗員が定位方向を視認したことを表し、「ＮＧ」は運転席乗員が定位方向を視認しなかったことを表している。

記録処理部Ｆ６２は、立体音像が生成される度に収集される判定結果を、所定回数分保存しておく。例えば、記録処理部Ｆ６２は、直近Ｎ回分の判定結果を結果記憶部Ｍ２に保存しておくものとする。Ｎは適宜設計される正の整数であればよく、例えば１０や２０などとすれば良い。

適正度決定部Ｆ７は、結果記憶部Ｍ２に保存されている直近Ｎ回分の試行に対する判定結果に基づいて、運転席乗員の適正度が、予め設定されている複数のレベルの何れに該当するかを判断する。適正度を示すレベルは、自動運転時における運転席乗員の状態として適切な状態である度合い（つまり適正度）を段階的に表したものである。適正度決定部Ｆ７が請求項に記載の乗員状態推定部に相当する。

ここでは一例として適正度は、自動運転時における運転席乗員の状態として不適切な状態に対応するレベルを含むように、５段階で表現されているものとする。支援レベルの決定手順については別途後述する。レベル数が高い程、自動運転時における運転席乗員の状態として適切な状態に近いことを表す。つまり、レベル５が最も適切な状態を表し、レベル１が最も不適切な状態を表すものとする。なお、適正度のレベル数は、適宜設計されれば良い。

なお、ここでは自動運転時における運転席乗員の状態として不適切な状態に対応するレベルは、レベル１のみとする。つまり、レベル２以上となっている状態であれば、程度の差はあるものの、自動運転時における運転席乗員の状態として適切な状態であることを意味するものとする。

また、自動運転時における運転席乗員の状態として適切な状態とは、いつでも運転操作を再開できる状態を表し、不適切な状態とは、運転権限を移譲されたとしても周囲の交通状況に応じた運転操作を実施できない可能性が高い状態を表すものとする。換言すれば、適正度が低いほど自動運転ＥＣＵ３０が運転操作の権限を運転席乗員に移譲しづらい状態であることを意味する。

本実施形態における適正度決定部Ｆ７は、上述した適正度を決定するための準備として、結果記憶部Ｍ２に保存されている直近Ｎ回分の試行に対する判定結果に基づいて、見逃し率Ｒｎと、平均反応時間Ｔｒｅｐを算出する。ここでの試行とは、立体音像を生成することを指す。

見逃し率Ｒｎは、Ｎ回の試行に対して運転席乗員が定位方向を見逃した割合を表すパラメータである。例えば、１０回の試行のうち、定位方向を視認した回数が３回である場合には、見逃し率Ｒｎは０．７と算出される。１０回の試行に対して、定位方向を視認した回数が３回である場合、見逃した回数は７回となるためである。

また、平均反応時間Ｔｒｅｐは、直近Ｎ回の試行に対して得られた反応時間の代表値とである。代表値は、計測された反応時間の平均値としてもよいし、中央値としてもよい。なお、反応時間の代表値を決定する際、定位方向が視認されなかった試行は除外されればよい。

もちろん、他の態様として、定位方向が視認されなかった試行における反応時間は反応待機時間Ｔｍｉｓとして、平均反応時間Ｔｒｅｐを決定してもよい。また、定位方向が視認されなかった試行における反応時間は、反応待機時間Ｔｍｉｓに所定のペネルティ時間（例えば３秒等）を加えた時間として平均反応時間Ｔｒｅｐを算出してもよい。

そして、適正度決定部Ｆ７は、見逃し率Ｒｎと平均反応時間Ｔｒｅｐの２つのパラメータに基づいて、適正度を決定する。本実施形態では一例として、適正度決定部Ｆ７は、予めＲＯＭ１３に登録されている適正度評価マップを用いて、見逃し率Ｒｎと平均反応時間Ｔｒｅｐから適正度レベルを決定するものとする。

適正度評価マップは、図５に示すように、予め２つのパラメータに対応するレベルを、試験等によってマップ化したデータである。図５に示すように、見逃し率Ｒｎが小さいほど、また、平均反応時間Ｔｒｅｐが短いほど、適正度が高く評価されるように設定されている。なお、図５では、例えばレベル５と記載されている範囲が、適正度がレベル５であると評価される見逃し率Ｒｎと平均反応時間Ｔｒｅｐの値域を表している。また、レベル４と記載されている範囲が、適正度がレベル４であると評価される見逃し率Ｒｎと平均反応時間Ｔｒｅｐの値域を表している。

なお、本実施形態では一例として、適正度評価マップを用いて適正度を特定する態様とするが、これに限らない。適正度は、見逃し率Ｒｎと平均反応時間Ｔｒｅｐが入力された場合に、それらの入力値に対応する適正度を出力する所定の関数を用いて決定されても良い。

適正度決定部Ｆ７によって決定された適正度は、最新の適正度がリストの先頭となるようにＲＡＭ１２に時系列順に保存されていく。便宜上、適正度決定部Ｆ７によって特定された適正度を時系列に並べたデータを適正度推移データと称する。なお、適正度の決定は、結果記憶部Ｍ２に新たなデータが追加される度に実施されれば良い。

適正度予測部Ｆ８は、適正度推移データに基づいて、適正度が低下傾向であるか否かを判定する。例えば、図６の時刻Ｔｊ−２，Ｔｊ−１，時刻Ｔｊでの特定結果に示すように、適正度が２回連続でレベルダウンしている場合には、低下傾向であると判定すればよい。なお、時刻Ｔｊの特定結果が最新の特定結果を表しており、時刻Ｔｊ−１における特定結果は最新の特定結果よりも１回前の特定結果を、時刻Ｔｊ−２の特定結果は最新の特定結果よりも２回前の特定結果を表している。

また、適正度予測部Ｆ８は、適正度が低下傾向であると判定し、かつ、最新の適正度がレベル２以上と評価されている場合には、一定時間当りの適正度の減少度合いから、適正度がレベル１に移行するタイミングを特定するとともに、そのタイミングまでの残余時間Ｔｒｍｎを特定する。残余時間Ｔｒｍｎは、刺激印加部Ｆ９に提供される。適正度予測部Ｆ８が請求項に記載の予測部に相当する。

刺激印加部Ｆ９は、スピーカ２６や、ディスプレイ２７、バイブレータ２８、空調装置２９を、所定の動作パターンで動作させることで、運転席乗員の感覚器官を刺激する処理を行う。例えば刺激印加部Ｆ９は、スピーカ２６から警報音や、音声メッセージを出力させることで、運転席乗員の聴覚に刺激を印加する。

また、刺激印加部Ｆ９は、ディスプレイ２７に画像を表示させたり、画像を点滅表示させたりすることで、運転席乗員の視覚を刺激する。なお、運転席乗員の視覚を刺激する装置（以降、視覚刺激装置）は、ディスプレイに限らない。視覚刺激装置は、ＬＥＤからなるインジケータや、車室内用の照明装置などであっても良い。

さらに、刺激印加部Ｆ９は、バイブレータ２８を動作させることで運転席乗員の触覚を刺激する。なお、運転席乗員の触覚を刺激する装置（以降、触覚刺激装置）は、バイブレータ２８に限らない。例えば空調装置２９を触覚刺激装置として採用してもよい。空調装置２９を触覚刺激装置として採用する場合には、車室内の温度に対して人間が暑いと感じたり寒いと感じたりする温度差を有する空気を、所定の風量で運転席に向けて吹き出すように指示する。これにより、触覚に属する温覚を刺激することができる。また、所定の風量で空気を運転席に吹き付けることによって運転席乗員の触覚を刺激してもよい。

また、仮に空調装置２９が香り発生機能を備えている場合には、刺激印加部Ｆ９は、空調装置２９の香り発生機能を動作させることで、運転席乗員の嗅覚を刺激することができる。

このようにスピーカ２６や、ディスプレイ２７、バイブレータ２８、空調装置２９は、人間の感覚器官を刺激する装置（以降、刺激装置）として機能する。刺激印加部Ｆ９が刺激装置を介して運転席乗員に対して刺激を印加するタイミング等については別途後述する。

＜乗員状態管理処理＞
次に図７に示すフローチャートを用いて、乗員状態推定装置１０が実施する乗員状態管理処理について説明する。乗員状態管理処理は、運転席乗員の状態を自動運転時の状態として適切な状態に維持するための処理である。

図７に示すフローチャートは、自動運転機能がオンとなっている場合において、所定の実行周期で（例えば１００ミリ秒毎に）開始されればよい。なお、本フローとは独立して周辺情報取得部Ｆ１による周辺情報の取得や、移動体情報抽出部Ｆ２による移動体毎の移動体情報の取得及び更新を実施している。

また、本実施形態ではより好ましい態様として、後述するステップＳ１０４での立体音像の生成を一度実行した場合には、その時点から反応待機時間Ｔｍｉｓ経過するまでは、本処理を再実行させないこととする。立体音像が相対的に短い時間で複数回生成されるとユーザに煩わしさを与えてしまう恐れがあるためである。

まずステップＳ１０１では接近体抽出部Ｆ３が、移動体情報抽出部Ｆ２によって取得されている移動体毎の移動体情報に基づいて接近体を特定する。それに伴い、接近体毎の移動体種別や、相対位置、相対速度などが特定される。ステップＳ１０１での処理が完了するとステップＳ１０２に移る。

ステップＳ１０２ではリスク評価部Ｆ３１が、接近体毎の衝突リスクを評価してステップＳ１０３に移る。ステップＳ１０３は、立体音像生成部Ｆ４が、立体音像の生成によって運転席乗員に対してその存在を報知すべき接近体（換言すれば運転席乗員が視認すべき接近体）が存在するか否かを判定するステップである。つまり、ステップＳ１０３では報知条件を充足する接近体が存在するか否かを判定する。

報知条件は、前述の通り、立体音像の生成によって運転席乗員に接近体の存在を報知するための条件である。ここでは一例として、報知条件を充足する接近体とは、衝突リスクが所定の報知レベル（例えばレベル２）以上であり、かつ、運転席乗員がその接近体の存在を認識していないと推定される接近体とする。報知レベルが請求項に記載の報知閾値に相当する。

運転席乗員がその接近体の存在を認識しているか否かは、現在から所定時間（例えば５秒）以内にその接近体が存在する方向へ運転席乗員が視線を向けたか否かによって判定されればよい。現在から所定時間以内に運転席乗員が視線を向けた方向に存在している接近体については、運転席乗員はその接近体の存在を認識していると判定される。換言すれば、運転席乗員がその接近体の存在を認識していないと推定される接近体とは、現在から所定時間以内に視線を向けていない方向に存在する接近体である。

なお、本実施形態では一例として、運転席乗員がその接近体の存在を認識していないことを報知条件に含める態様としたがこれに限らない。例えば報知条件は、衝突リスクが報知レベル以上であることだけでもよい。また、その他の観点から定まる条件を報知条件として含める態様としてもよい。つまり、報知条件は適宜設計されれば良い。

このステップＳ１０３での判定処理において、報知条件を充足する接近体が存在しない場合にはステップＳ１０３が否定判定されて本フローを終了する。一方、報知条件を充足する移動体が存在する場合には、ステップＳ１０３が肯定判定されてステップＳ１０４に移る。報知条件を充足する接近体が報知対象移動体である。なお、報知条件を充足する接近体が複数存在する場合には、その中で衝突リスクが最も高レベルとなっている接近体を報知対象移動体に設定してステップＳ１０４に移るものとする。

ステップＳ１０４では立体音像生成部Ｆ４が、報知対象移動体の移動体種別に応じた擬音データを用いて、当該報知対象移動体の相対位置に仮想音源が定位するように立体音像を生成してステップＳ１０５に移る。その際、立体音像生成部Ｆ４は、リスク評価部Ｆ３１によって評価されている衝突リスクに対応する吹鳴態様で立体音像を生成する。

ステップＳ１０５では視認判定部Ｆ６が、運転席乗員が定位方向を見たか否かを判定する。立体音像が生成されてから反応待機時間Ｔｍｉｓ以内に運転席乗員が定位方向を見た場合には、それまでの経過時間を、今回の試行における反応時間として採用する。また、立体音像が生成されてから反応待機時間Ｔｍｉｓ経過しても運転席乗員が定位方向を見なかった場合には、視認失敗と判定する。

ステップＳ１０６では記録処理部Ｆ６２が、ステップＳ１０５での判定結果を結果記憶部Ｍ２に保存してステップＳ１０７に移る。ステップＳ１０７では適正度決定部Ｆ７が、結果記憶部Ｍ２に保存されている判定結果がＮ回分蓄積されているか否かを判定する。Ｎ回分の判定結果が蓄積されている場合にはステップＳ１０７が肯定判定されてステップＳ１０８に移る。一方、Ｎ回分の判定結果が蓄積されていない場合には、ステップＳ１０７が否定判定されて本フローを終了する。

ステップＳ１０８では適正度決定部Ｆ７が、結果記憶部Ｍ２に保存されている直近Ｎ回分の判定結果に基づいて、運転席乗員の適正度を決定する。すなわち、直近Ｎ回分の判定結果に基づいて、見逃し率Ｒｎと平均反応時間Ｔｒｅｐを算出し、さらに、それら２つのパラメータと適正度評価マップを用いて、今回の試行に対する適正度を決定する。適正度の決定が完了するとステップＳ１０９に移る。

ステップＳ１０９では適正度予測部Ｆ８が、ＲＡＭ１２に保存されている適正度の時系列データに基づいて、適正度の今後の推移を予測してステップＳ１１０に移る。具体的には、適正度が低下傾向であるか否かを判定する。また、適正度が低下傾向であると判定し、かつ、ステップＳ１０８において適正度はレベル２以上であると決定された場合には、残余時間Ｔｒｍｎを算出する。

ステップＳ１１０では、刺激印加部Ｆ９が、所定の刺激印加条件が充足されている否かを判定する。刺激印加条件は、所定の刺激装置を動作させることによって運転席乗員の感覚器官に刺激を印加する条件である。刺激条件の具体的な内容は適宜決定されればよい。

ここでは一例として、ステップＳ１０８で決定された適正度がレベル１となっている場合に、刺激印加条件が充足されていると判定する。また、ステップＳ１０９で残余時間Ｔｒｍｎが算出されており、且つ、その算出されている残余時間Ｔｒｍｎが所定の残余閾値以下である場合にも、刺激印加条件が充足されていると判定する。

刺激印加条件が充足されている場合には、ステップＳ１１０が肯定判定されてステップＳ１１１に移る。一方、刺激印加条件が充足されていない場合にはステップＳ１１０が否定判定されて本フローを終了する。

ステップＳ１１１では刺激印加部Ｆ９が、所定の刺激装置を所定の動作パターンで動作させて本フローを終了する。どの刺激装置を動作させるか、及び、どのような動作パターンで動作させるかは適宜設計されれば良い。ただし、残余時間Ｔｒｍｎが所定の残余閾値以下である場合に動作させる場合よりも、適正度がレベル１となっている場合のほうが、運転席乗員に対してより強い刺激を印加するように動作させることが好ましい。残余時間Ｔｒｍｎが残余閾値以下である場合とは、未だ運転席乗員の状態が自動運転時の状態として適切な状態であることを意味するのに対し、適正度がレベル１となっている場合とは、既に不適切な状態となっていることを意味するためである。

例えば、適正度がレベル１となっている場合には、残余時間Ｔｒｍｎが所定の残余閾値以下である場合に動作させる場合よりも、バイブレータ２８をより強く振動させる。また、動作させる刺激装置の組み合わせを変更することで、より強い刺激を印加してもよい。例えば、残余時間Ｔｒｍｎが所定の残余閾値以下である場合には、ディスプレイ２７とバイブレータ２８を用いて触覚や視覚を刺激を印加する一方、適正度がレベル１となっている場合には、それらの刺激に加えて、空調装置２９を用いて温覚や嗅覚を刺激してもよい。

＜実施形態のまとめ＞
以上の構成では、自動運転機能が動作している場合、接近体抽出部Ｆ３が自車両と接近関係にある移動体を特定するとともに、その移動体と自車両との衝突リスクを評価する。立体音像生成部Ｆ４は、そのように算出される衝突リスクに基づいて、運転席乗員に報知すべき移動体（つまり報知対象移動体）が存在するか否かを逐次判定する。報知対象移動体が存在する場合には、報知対象移動体が存在する方向に仮想音源が存在すると運転席乗員によって知覚されるように立体音像を生成する。

視認判定部Ｆ６は、立体音像の生成をトリガとして、仮想音源が定位されている方向（つまり定位方向）を運転席乗員が視認したか否かを判定するとともに、定位方向を視認した場合にはその所要時間（つまり反応時間）を特定する。そして、適正度決定部Ｆ７は、視認判定部Ｆ６の判定結果から定まる見逃し率Ｒｎや平均反応時間Ｔｒｅｐに基づいて運転席乗員の適正度を決定する。

このような態様によれば、運転席乗員の適正度を決定する上で、運転席乗員にいったんディスプレイを見させる必要が発生しない。仮想音源が定位されている方向が、視線を向けるべき方向となっているためである。したがって、上記の構成によれば、運転席乗員がディスプレイに視線を向けなくとも当該乗員の状態を推定できる。

また、以上の構成では、報知対象移動体の移動体種別に応じた擬音を立体音像として運転席乗員に提供する。したがって、運転席乗員は、立体音像を聞くことによって、乗員状態推定装置１０がどのような移動体に対して注意を促しているのかを認識することができる。

さらに、運転席乗員に対して提供される立体音像は、その報知対象移動体に対してリスク評価部Ｆ３１が決定している衝突リスクに応じた吹鳴態様で生成される。したがって、運転席乗員は、立体音像を聴取することで、乗員状態推定装置１０が算出している衝突リスクを認識することができる。

ところで、車両が自動運転で走行している場合には、運転席乗員がディスプレイ２７を見る頻度が手動運転時よりも低下することが予見される。そのため、特許文献１に開示の方法では、自動運転時の運転席乗員の状態を手動運転時と同様の精度で推定することが困難となると考えられる。これに対し、本実施形態によれば、運転席乗員の状態を推定する上でディスプレイ２７を視認させる必要はないため、自動運転時においても手動運転時と同様の精度で運転席乗員の状態を推定することができると考えられる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。また、上述した実施形態及び種々の変形例は、矛盾が生じない範囲において適宜組み合わせることができる。

なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。

［変形例１］
上述した実施形態では、自動運転時における運転席乗員の状態としての適正度を、複数のレベルを用いて段階的に表現する態様を採用しているが、連続値によって表現されても良い。そのような態様においては、図８に示すように逐次算出される適正度の履歴から、適正度の傾向を示す近似直線（図中の一点鎖線）を算出し、残余時間Ｔｒｍｎを特定することができる。なお、図８の破線よりも下側が、自動運転時における運転席乗員の状態とし不適切な状態であることを意味する範囲（以降、不適正範囲）を表しており、時刻Ｔｘは、適正度が不適正範囲となると予測されるタイミングを表している。

なお、見逃し率Ｒｎと平均反応時間Ｔｒｅｐに基づいて適正度を算出する関数（以降、適正度評価関数）は適宜設計されれば良い。当然、適正度評価関数は、見逃し率Ｒｎが小さいほど、また、平均反応時間Ｔｒｅｐが小さいほど、適正度を高く算出するように構成されているものとする。

［変形例２］
以上では、乗員状態推定装置１０は適正度を３段階以上で評価したり、連続値で評価したりする態様について開示したが、これに限らない。乗員状態推定装置１０は、運転席乗員の状態が、自動運転時の状態として適正であるか否かを判定するものであっても良い。

［変形例３］
以上では、見逃し率Ｒｎと平均反応時間Ｔｒｅｐの２つのパラメータから適正度を決定する態様を例示したが、これに限らない。適正度決定部Ｆ７は、平均反応時間Ｔｒｅｐを用いずに、見逃し率Ｒｎのみから適正度を決定してもよい。また、見逃し率Ｒｎに代わって、見逃し回数を用いて適正度を決定してもよい。

さらに、適正度決定部Ｆ７は、見逃し率Ｒｎを用いずに、平均反応時間Ｔｒｅｐのみから適正度を決定してもよい。また、平均反応時間Ｔｒｅｐの代わりに、最新の反応時間のみを用いて適正度を決定してもよい。

［変形例４］
以上では、乗員状態推定装置１０の１つの実施形態として、自動運転時の運転席乗員の状態として適切な状態である度合い（つまり適正度）を決定する態様を例示したが、これに限らない。乗員状態推定装置１０は、手動運転時の状態として適切な状態である度合い（つまり適正度）を決定する装置であっても良い。手動運転時の適正度も、仮想音源を定位させた方向（つまり定位方向）を運転席乗員が視認したか否かに基づいて決定されれば良い。

また、自動運転時には、自動運転時の状態としての適正度を決定する一方、手動運転時には手動運転時の状態として適切な状態であるか否かを推定するように、それぞれの運転モードに応じて動作モードが切り替わるように構成されていてもよい。なお、自動運転時とは自動運転機能が作動している状態に相当し、手動運転時とは自動運転機能が作動していない状態に相当する。

また、以上では、乗員状態推定装置１０が自動運転機能を備えた車両に適用されている態様を例示したが、これに限らない。自動運転機能を備えていない車両に適用されていても良い。

［変形例５］
以上では、運転席乗員が視認すべき移動体が存在する場合に、立体音像を生成することによってその移動体の存在を運転席乗員に報知する態様を例示したが、これに限らない。運転席乗員が視認すべき静止物が存在する場合に、立体音像を生成し、当該静止物の存在を運転席乗員に放置してもよい。つまり、立体音像による報知の対象は、移動体に限らず、静止物であってもよい。

例えば、高速道路上を走行している場合には、高速道路に設けられた種々の標識の存在を、立体音像の生成によって報知してもよい。このような構成によれば、衝突リスクが発生せずに、安全な走行を維持できている場合であっても定期的に運転席乗員の適正度を決定することができる。なお、高速道路に設けられた標識とは、例えば、高速道路の入口／出口を案内する入口出口案内標識や、経路案内標識、サービスエリア及びパーキングエリアまでの残り距離を示す標識などである。もちろん、立体音像の生成のトリガとする静止物は、標識にかぎらず、道路上の落下物などであってもよい。

［変形例６］
以上では、乗員状態推定装置１０は、運転席乗員の状態を推定する態様を例示したが、これに限らない。乗員状態推定装置１０は、助手席乗員や、後部座席の乗員の状態（具体的は適正度等）を推定してもよい。また、運転席乗員と助手席乗員のそれぞれの状態を推定するなど、複数の座席に対応していてもよい。

１００ 乗員状態推定システム、１０ 乗員状態推定装置、１１ ＣＰＵ、１２ ＲＡＭ、１３ ＲＯＭ、１４ Ｉ／Ｏ、２１ カメラユニット、２２ ミリ波レーダ、２３ 車車間通信部、２４ 広域通信部、２５ ＤＳＭ、２６ スピーカ、２６Ｒ 右側スピーカ、２６Ｌ 左側スピーカ、２７ ディスプレイ、２８ バイブレータ、２９ 空調装置、３０ 自動運転ＥＣＵ、Ｆ１ 周辺情報取得部、Ｆ２ 移動体情報抽出部、Ｆ３ 接近体抽出部（リスク方向特定部）、Ｆ３１ リスク評価部、Ｆ４ 立体音像生成部、Ｆ５ 視認方向特定部、Ｆ６ 視認判定部、Ｆ６１ 反応時間計測部、Ｆ６２ 記録処理部、Ｆ７ 適正度決定部（乗員状態推定部）、Ｆ８ 適正度予測部（予測部）、Ｆ９ 刺激印加部、Ｍ１ 音データ記憶部（擬音データ記憶部）、Ｍ２ 結果記憶部

Claims (11)

1. 車両で用いられ、
   ２個以上の音響信号出力装置のそれぞれから音響信号を出力することによって、３次元空間の所望の位置に仮想音源を定位させた立体音像を生成する立体音像生成部（Ｆ４）と、
   車室内の設けられたカメラの撮像画像に基づいて、所定の座席に着座している乗員が見ている方向である視認方向を特定する視認方向特定部（Ｆ５）と、
   前記視認方向特定部の特定結果に基づいて、前記立体音像が生成されてから所定の反応待機時間以内に前記仮想音源が定位された方向である定位方向を前記乗員が見たか否かを判定する視認判定部（Ｆ６）と、
   前記視認判定部の判定結果に基づいて前記乗員の状態を推定する乗員状態推定部（Ｆ７）と、を備えることを特徴とする乗員状態推定装置。
2. 請求項１において、
   前記立体音像が生成されてから前記乗員が前記定位方向に視線を向けるまでの反応時間を計測する反応時間計測部（Ｆ６１）と、
   前記視認判定部の判定結果、及び、前記反応時間計測部が計測した前記反応時間を、所定の記憶媒体を用いて実現される結果記憶部に記録する記録処理部（Ｆ６２）と、を備え、
   前記乗員状態推定部は、前記記録処理部に記録されている前記反応時間と、所定回数の前記立体音像の生成に対して前記乗員が前記仮想音源の方向を見た回数の、少なくとも何れか一方に基づいて、前記乗員の状態を推定することを特徴とする乗員状態推定装置。
3. 請求項１又は２において、
   前記車両の周辺の交通状況を示す周辺情報を取得する周辺情報検出デバイスから、前記周辺情報を取得する周辺情報取得部（Ｆ１）と、
   前記周辺情報取得部が取得した前記周辺情報に基づいて、前記車両と接触しうる物体の存在を検出するとともに、その物体が存在する方向を特定するリスク方向特定部（Ｆ３）と、を備え、
   前記立体音像生成部は、前記乗員にとって前記仮想音源が位置する方向である定位方向が、前記リスク方向特定部が推定した方向と一致するように前記立体音像を生成することを特徴とする乗員状態推定装置。
4. 請求項３において、
   前記周辺情報取得部は、前記周辺情報として、前記車両の周辺に存在する移動体の移動体種別、前記車両に対する相対速度、前記車両に対する相対位置を取得し、
   前記リスク方向特定部は、前記周辺情報取得部が取得した前記周辺情報に基づいて、前記車両との距離が減少傾向にある前記移動体である接近体が存在する方向を特定し、
   前記周辺情報に基づいて前記接近体毎の衝突リスクを評価するリスク評価部（Ｆ３１）を備え、
   前記立体音像生成部は、
   前記接近体が存在する方向に前記仮想音源が定位するように前記立体音像を生成することで、前記接近体の存在を前記乗員に報知するものであって、
   前記接近体のうち、前記リスク評価部によって前記衝突リスクは所定の報知閾値未満であると評価されている前記接近体については、当該移動体に対応した前記立体音像を生成しないことを特徴とする乗員状態推定装置。
5. 請求項４において、
   前記立体音像生成部は、前記接近体のうち、前記リスク評価部によって前記衝突リスクが所定の報知閾値以上であると評価されている前記接近体が存在する場合に、当該接近体が存在する方向と前記仮想音源の定位方向とが一致するように前記立体音像を生成することを特徴とする乗員状態推定装置。
6. 請求項５において、
   前記立体音像生成部は、
   前記立体音像によってその存在を前記乗員に報知しようとしている前記接近体に対して前記リスク評価部が評価した前記衝突リスクに応じて、前記立体音像の出力態様を変更することを特徴とする乗員状態推定装置。
7. 請求項３から６の何れか１項において、
   移動体種別に応じた擬音を前記音響信号として出力するための擬音データを移動体種別毎に記憶している擬音データ記憶部（Ｍ１）を備え、
   前記周辺情報は、少なくとも前記車両の周辺に存在する移動体毎の移動体種別を含み、
   前記立体音像生成部は、
   所定の報知条件を充足する移動体が存在する場合に、その報知条件を充足している前記移動体の移動体種別に応じた擬音で前記立体音像を生成することを特徴とする乗員状態推定装置。
8. 請求項１から７の何れか１項において、
   前記乗員状態推定部は、前記乗員の状態が、自動運転時の運転席乗員の状態として予め設計された適切な状態であるか否かを判定することを特徴とする乗員状態推定装置。
9. 請求項１から７の何れか１項において、
   前記乗員状態推定部は、運転席乗員としての状態の適正度合いを逐次判定することを特徴とする乗員状態推定装置。
10. 請求項９において、
    前記乗員の五感の少なくとも何れか１つを刺激する刺激装置の動作を制御する刺激印加部（Ｆ９）と、
    前記乗員状態推定部によって逐次判定される前記適正度合いの時間変化に基づき、前記適正度合いが、自動運転時における運転席乗員の状態として予め設計された不適切なレベルへ移行するタイミングを予測する予測部（Ｆ８）と、を備え、
    前記刺激印加部は、前記予測部によって所定の残余時間以内に不適切なレベルまで低下すると予測されている場合に、前記刺激装置を動作させることを特徴とする乗員状態推定装置。
11. 請求項８から１０の何れか１項において、
    前記視認方向特定部は、複数の座席のそれぞれに着座する前記乗員の前記視認方向を特定するように構成されており、
    前記視認判定部は、前記乗員毎に、前記仮想音源が定位された方向を見たか否かを判定し、
    前記乗員状態推定部は、前記視認判定部による判定結果に基づいて、前記乗員毎の状態を推定することを特徴とする乗員状態推定装置。

Images