JP7560486B2 - 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Description

本開示は、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。

昨今、車両制御システム（情報処理システム）が車両を制御する自動運転技術の開発が盛んに行われている。しかしながら、このような自動運転技術が普及した場合であっても、実際の道路インフラの整備状況等により、上記システムが自立的に自動運転制御を行うことが可能な道路区間である自動運転可能区間と、自動運転が許容されない道路区間である手動運転区間とが混在する状況が生じることが予想される。すなわち、完全に自立して上記システムによって連続的に自動運転走行を行う状況ばかりではなく、上述のような自動運転モードから、運転手によって操舵を行う手動運転モードに切り替えなくてはならない状況が生じ得る。

そして、このような自動運転モードから手動運転モードへの切り替えの際には、事故等の誘発を避けるべく、上記システム側で運転手の手動運転モードへの復帰対応レベルを判定し、手動運転への復帰が可能であると判定された場合にのみ、実行されることが望ましい。そこで、例えば、上記システムにおいては、人間の脳の認知等の活動結果が反映されていると考えられている眼球挙動を解析することにより、運転手の覚醒レベルを検出し、手動運転モードへの復帰対応レベルを判定するといった手段を、復帰対応レベルの判定手段の１つとして用いることが考えられる。そして、近年、画像解析技術が進歩したことにより、眼球の撮像画像の解析により、眼球挙動を高精度に検出することが比較的容易になってきている。例えば、下記特許文献１に記載の技術においては、撮像装置によって運転手の眼球挙動を観測している。

さらに、上述した眼球挙動の傾向は、状態（例えば、眠気を感じている等）に応じて各個人で共通する傾向を持つだけでなく、脳内活動を反映したものであることから、運転手自身の生まれ持った傾向や、運転手固有の経験等からも影響を受けることとなる。すなわち、眼球挙動は、人物ごとに特有の挙動を示す。そこで、眼球挙動を解析することにより運転手の覚醒レベルを精度よく判定しようとする場合には、上記車両制御システムにおいては、個々の運転手特有の眼球挙動を、常に把握、学習することが求められる。

特開２０１５－１２７９３７号公報 国際公開第２０１９／１８８３９８号 国際公開第２０１９／０９７９４４号 国際公開第２０１９／２０２８８１号 国際公開第２０１９／０８２７７４号

ところで、マイクロサッカードやトレモアといった眼球挙動は高速運動であることから、このような眼球挙動を高精度で検出しようとする場合、高いフレームレート（例えば、２５０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ））でサンプリング、解析を行うことが求められる。なお、マイクロサッカードは、物体を見つめている際に、不随意的に起こる細かな目の揺れのうち、無意識に行われる高速度の眼球の跳躍的運動のことをいう。しかしながら、このような高速サンプリング、解析を車両制御システム（情報処理システム）にて常時行う場合、撮像処理や解析処理等の負荷が高く、消費電力の増加や、高速駆動に伴う装置温度の上昇を招くこととなる。さらに、このような場合、温度上昇により発生するノイズにより、検出感度の低下を招くことにもなる。

そこで、本開示では、撮像処理や解析処理等の負荷を減らしつつ、運転手の復帰対応レベルを精度よく判定することができる情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムを提案する。

本開示によれば、移動体を運転する運転手の眼球挙動を解析する眼球挙動解析部を備え、前記眼球挙動解析部は、前記移動体の運転モードに応じて解析モードを動的に切り替える、情報処理装置が提供される。

また、本開示によれば、移動体を運転する運転手の眼球挙動を解析する眼球挙動解析部を備え、前記眼球挙動解析部は、前記移動体の運転モードに応じて解析モードを動的に切り替える、情報処理システムが提供される。

また、本開示によれば、眼球挙動解析部が、移動体を運転する運転手の眼球挙動を解析することを含む情報処理方法であって、前記解析の解析モードは、前記移動体の運転モードに応じて動的に切り替わる、情報処理方法が提供される。

さらに、本開示によれば、コンピュータに、移動体を運転する運転手の眼球挙動を解析させる解析機能を実行させる情報処理プログラムであって、前記解析機能の解析モードは、前記移動体の運転モードに応じて動的に切り替わる、情報処理プログラムが提供される。

自動運転レベルの例を説明するための説明図である。 本開示の実施形態に係る走行の一例を説明するためのフローチャートである。 本開示の実施形態に係る自動運転レベルの遷移の一例を説明するための説明図である。 本開示の実施形態に係るモニタリング動作の一例を説明するフローチャートである。 本開示の実施形態に係る車両制御システム１００の詳細構成の一例を説明するための説明図である。 本開示の実施形態に係るセンサ部１１３が有する撮像装置の設置位置の例を説明するための説明図である。 本開示の実施形態に係るセンサ部１１３に含まれる各種センサの例を説明するための説明図である。 本開示の実施形態に係る、運転手の覚醒レベルの判定を実行するユニットの例を説明するための説明図である。 本開示の実施形態に係る眼球挙動解析部３００の動作例の詳細を説明するための説明図である。 本開示の実施形態に係る情報処理方法のフローチャートである。 図１０に示すステップＳ１０４のサブフローチャートである。 車両制御システム１００の一部の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。

以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１． 自動運転レベルの例について
２． 走行の例について
３． 自動運転レベルの遷移の例について
４． モニタリングの例について
５． 本開示の実施形態を創作するに至る背景
６． 実施形態
６．１ 車両制御システム１００の詳細構成
６．２ センサ部１１３の詳細構成
６．３ 運転手の覚醒レベルの判定を実行するユニットの詳細構成
６．４ 眼球挙動解析部３００の動作例について
６．５ 情報処理方法
６．６ まとめ
７． ハードウェア構成
８． 補足

＜＜１． 自動運転レベルの例について＞＞
まずは、本開示の実施形態の詳細を説明する前に、自動運転技術の自動運転レベルについて、図１を参照して説明する。図１は、自動運転レベルの例を説明するための説明図である。図１においては、ＳＡＥ（Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）により定義された自動運転レベルを示している。なお、以下の説明においては、上記ＳＡＥで定義された自動運転レベルを基本的に参照して説明する。ただし、図１に示される自動運転レベルの検討においては、自動運転技術が広く普及した場合の課題や妥当性が検討し尽くされていないことから、以下の説明においては、これら課題等を踏まえ、必ずしもＳＡＥの定義通りの解釈で説明していない個所も存在する。

図１に示すように、自動運転レベルは、例えばレベル０からレベル４までの５段階に分類されるものとする。まずは、自動運転レベル０は、車両制御システムによる運転支援のない手動運転（運転手の直接運転操舵）であって、運転手が、全ての運転タスクを実行し、安全運転（例えば、危険を回避する行動）に係る監視も実行する。

次に、自動運転レベル１は、車両制御システムによる運転支援（自動ブレーキ、ＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、ＬＫＡＳ（Ｌａｎｅ Ｋｅｅｐｉｎｇ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ）等）が実行され得る手動運転（直接運転操舵）であって、運転手が、全ての運転タスクを実行し、安全運転に係る監視も実行する。

次に、自動運転レベル２は、「特定条件下自動運転機能」とも称され、特定の条件下で、車両制御システムが車両の前後方向及び左右方向の両方の車両制御に係る運転タスクのサブタスクを実行する。例えば、当該自動運転レベル２においては、車両制御システムが、ステアリング操作と加減速との両方を連携しながら制御する（例えば、ＡＣＣとＬＫＡＳとの連携）。ただし、当該自動運転レベル２においても、運転タスクの実行主体は基本的には運転手であり、安全運転に係る監視の主体も運転手となる。

また、自動運転レベル３は、「条件付自動運転」とも称され、車両制御システムが限られた領域内で全ての運転タスクを実行することができる。当該自動運転レベル３においては、運転タスクの実行主体は車両制御システムであり、安全運転に係る監視の主体も基本的には車両制御システムである。

ところで、ＳＡＥで定義された自動運転レベル３においては、運転手が実際にどのような２次タスク（ここで「２次タスク」とは、走行中に運転手が行う、運転に関する動作以外の動作）を実行することが可能かについては明確に定義されていない。詳細には、運転手は、自動運転レベル３での走行中に、操舵以外の作業や行動、例えば、携帯端末の操作、電話会議、ビデオ鑑賞、ゲーム、思考、他の搭乗者との会話等の２次タスクを行うことができると考えられる。一方、ＳＡＥの自動運転レベル３の定義の範囲においては、システム障害や走行環境の悪化等に起因する車両制御システム側からの要求等に応じて、運転手が運転操作を行う等の対応を適切に行うことが期待されている。従って、当該自動運転レベル３においては、安全走行を確保するために、上述のような２次タスクを実行している状況であっても、運転手は、すぐに手動運転に復帰可能であるような準備状態に常時あることが期待されることとなる。

さらに、自動運転レベル４は、「特定条件下完全自動運転」とも称され、車両制御システムが限られた領域内で全ての運転タスクを実行する。当該自動運転レベル４においては、運転タスクの実行主体は車両制御システムであり、安全運転に係る監視の主体も車両制御システムとなる。ただし、当該自動運転レベル４においては、上述の自動運転レベル３とは異なり、システム障害等に起因する車両制御システム側からの要求等に応じて運転手が運転操作（手動運転）を行う等の対応を行うことは期待されていない。従って、当該自動運転レベル４においては、運転手は、上述のような２次タスクを行うことが可能となり、状況次第では、例えば、仮眠をとることも可能である。

以上のように、自動運転レベル０から自動運転レベル２においては、運転手が全てあるいは一部の運転タスクを主体的に実行する手動運転モードで走行することとなる。従って、これら３つの自動運転レベルにおいては、運転手が、走行時の注意低下や前方注意を損なうような、手動運転及びそれに関係する動作以外の行為である２次タスクに従事することは、許容されていない。

一方、自動運転レベル３においては、車両制御システムが全ての運転タスクを主体的に実行する自動運転モードで走行することとなる。ただし、先に説明したように、自動運転レベル３では、運転手が運転操作を行う状況が生じ得る。従って、自動運転レベル３においては、運転手に対して２次タスクを許容した場合には、運転手に対して、２次タスクから手動運転に復帰できる準備状態にあることが求められる。

さらに、自動運転レベル４においても、車両制御システムが全ての運転タスクを実行する自動運転モードで走行することとなる。しかしながら、実際の道路インフラの整備状況等により、走行ルートの一部に自動運転レベル４を適用することができない区間が存在する場合があり、そのような区間は、例えば自動運転レベル２以下に設定されると想定されることから、運転手が主体的に運転タスクを実行することが求められることとなる。従って、自動運転レベル４であっても、上述したような自動運転レベル２以下への遷移が存在することから、運転手に対して、２次タスクから手動運転に復帰できる準備状態にあることが求められることとなる。

なお、これら異なる自動運転レベル毎に許容される自動運転レベル毎の実際の利用範囲を「運行設計領域」（ＯＤＤ（Ｏｐｅｒａｔｉｏｎ Ｄｅｓｉｇｎ Ｄｏｍａｉｎ）と呼ぶ。

＜＜２． 走行の例について＞＞
次に、上述した自動運転レベルを踏まえて、図２を参照して、本開示の実施形態に係る走行の例について説明する。図２は、本開示の実施形態に係る走行の一例を説明するためのフローチャートである。図２に示すように、本開示の実施形態に係る走行においては、車両制御システムは、例えば、ステップＳ１１からステップＳ１７までのステップを実行することとなる。以下に、これら各ステップの詳細について説明する。

まず、車両制御システムは、運転手認証を実行する（ステップＳ１１）。当該運転手認証は、パスワードや暗証番号等による知識認証、あるいは顔、指紋、瞳の虹彩、声紋等による生体認証、さらには知識認証と生体認証とが併用されて行われることができる。本開示の実施形態においては、走行を開始する前に、このような運転手認証が実行されることにより、複数の運転手が同一の車両を運転する場合であっても、各運転手の眼球挙動等といった各運転手に特徴的な生体情報等を各運転手に紐づけて取得することが可能となる。

次に、運転手等により例えば後述する入力部１０１（図５ 参照）が操作されることにより、目的地が設定される（ステップＳ１２）。なお、ここでは、車両に乗車して目的地の設定を行う例を説明したが、本開示の実施形態においてはこれに限定されるものではなく、車両制御システムは、車両に乗車する前にスマートフォン等（車両制御システムと通信可能であるものとする）に手入力された目的地情報やカレンダ情報に基づき、目的地を事前設定してもよい。もしくは、車両制御システムは、事前にスマートフォン等やクラウドサーバ等（車両制御システムと通信可能であるものとする）に格納されたスケジュール情報等を、コンセルジュサービスを介して取得することにより、自動的に目的地を事前設定してもよい。そして、車両制御システムは、設定された目的地に基づき、走行ルート等のプリプラニング設定を行う。さらに、車両制御システムは、設定した走行ルートの道路環境の情報等、すなわち車両が走行する道路の走行地図情報が高密度に常時更新されたものであるローカルダイナミックマップ（ＬＤＭ）情報等を更新取得することとなる。加えて、車両制御システムは、取得したＬＤＭ情報等に基づき、走行ルート上の各区間に適切な自動運転レベルを設定する。

次に、車両制御システムは、走行ルート上の走行区間表示を開始する。そして、車両制御システムは、設定した自動運転レベルに従って、走行を開始する（ステップＳ１３）。なお、走行が開始されると、車両（自車）の位置情報と取得したＬＤＭ更新情報に基づいて、走行区間の表示が更新されていくこととなる。

次に、車両制御システムは、運転手の状態のモニタリング（観測）を適宜実行する（ステップＳ１４）。本開示の実施形態においては、当該モニタリングは、例えば、運転手の復帰対応レベル（例えば、覚醒レベル）を判定するための教師データを取得するために実行されたり、走行ルート上の各区間に設定された自動運転レベルに従って運転モードを切り替えるために実行されたりすることとなる。なお、当該モニタリングの詳細については後述する。

次に、車両が、走行ルート上の各区間に設定された自動運転レベルに基づく自動運転モードから手動運転モードへの切り替え地点に到達した場合には、車両制御システムは、運転モードを切り替えることができるかどうかの判定を行う（ステップＳ１５）。なお、この際に行われる判定の詳細については後述する。そして、車両制御システムは、運転モードを切り替えることができると判定した場合（ステップＳ１５：Ｙｅｓ）には、ステップＳ１６の処理へ進み、運転モードを切り替えることができないと判定した場合（ステップＳ１５：Ｎｏ）には、ステップＳ１３の処理へ戻る。

次に、車両制御システムは、運転モードを切り替える（ステップＳ１６）。さらに、車両制御システムは、車両（自車）が目的地に到着したかどうかの判定を行う（ステップＳ１７）。車両制御システムは、車両が目的地に到着した場合（ステップＳ１７：Ｙｅｓ）には、処理を終了し、自車が目的地に到着していない場合（ステップＳ１７：Ｎｏ）には、ステップＳ１３の処理へ戻る。以降、車両制御システムは、車両が目的地に到着するまで、ステップＳ１３からステップＳ１７までの処理を適宜繰り返すこととなる。

＜＜３． 自動運転レベルの遷移の例について＞＞
次に、図３を参照して、さらに詳細に、本開示の実施形態に係る自動運転レベルの遷移の例について説明する。図３は、本開示の実施形態に係る自動運転レベルの遷移の一例を説明するための説明図である。

図３に示すように、自動運転モード（図３中の下側の範囲）から手動運転モード（図３中の上側の領域）への切り替えは、例えば、走行ルート上の自動運転レベル３及び自動運転レベル４の区間から、自動運転レベル０、１及び自動運転レベル２の区間へと遷移する際に実行されると想定される。

ところで、自動運転モードで走行している間、運転手が手動運転に復帰できる準備状態を意識して維持することは難しい。例えば、自動運転モードで走行している間、運転手は、睡眠（仮眠）や、テレビやビデオの視聴、あるいはゲーム等の２次タスクに没頭することが考えられる。また、例えば、運転手は、ハンドルから手を放しているのみで、手動運転時と同様、自動車の前方や周囲を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。そして、これらの２次タスクの違いにより、運転手の覚醒レベル（意識レベル）は異なるものとなる。

さらに、自動運転モードで走行している間において睡眠に陥ると、運転手の意識レベルや判断レベルが低下した状態、すなわち覚醒レベルが低下した状態になる。そして、覚醒レベルが低下した状態では、運転手は正常な手動運転を行うことができないことから、その状態で手動運転モードに切り替えた場合、最悪の場合、事故を起こす可能性がある。そこで、運転手は、覚醒レベルが低下した状態であっても、手動運転モードへの切り替える直前には、正常な意識下で車両を運転できる高い覚醒状態に復帰していること（内部覚醒復帰状態）が求められることとなる。すなわち、安全走行を確保するためには、自動運転モードから手動運転モードへの切り替えは、運転手の内部覚醒状態が復帰した状態にあることが観測できた場合にのみ実行することが求められることとなる。

そこで、本開示の実施形態においては、このような運転モードの切り替えは、事故等の誘発を避けるべく、運転手が手動運転モードへの復帰対応レベルにあること、すなわち、内部覚醒復帰（運転手の内部覚醒状態が復帰した状態）を示すアクティブな応答を観測できた場合（図３中の中央に示す）にのみ、実行することができるものとする。また、本開示の実施形態においては、図３に示すように、内部覚醒復帰を示すアクティブな応答を観測できない場合には、ＭＲＭ（Ｍｉｎｉｍａｌ Ｒｉｓｋ Ｍａｎｅｕｖｅｒ）等の緊急退避モードへ切り替えることとなる。なお、緊急退避モードにおいては、減速、停止、道路、路側帯又は退避スペースへの駐車等の処理を行う。また、図３においては、自動運転レベル４から自動運転レベル３への遷移については、運転モードの切り替えが伴わないことから、上述したような内部覚醒復帰を示すアクティブな応答の観測自体を行っていない。しかしながら、本実施形態においては、図３に示すような例に限定されるものではなく、自動運転レベル４から自動運転レベル３への遷移においても、上述のような観測や観測結果に基づく遷移を行ってもよい。

詳細には、自動運転レベル４から自動運転レベル３への遷移を行う際に内部覚醒復帰を示すアクティブな応答が観測されない場合、運転手が法制度により手動運転への復帰義務を負うべきものだとしても、運転手が、車両制御システムからの自動運転レベル３としての復帰要請ＲＴＩ（Ｒｅｑｕｅｓｔ ｔｏ Ｉｎｔｅｒｖｅｎｅ）に対して適切に対応できる状態とは限らない。より具体的には、自動運転レベル３としての復帰要請ＲＴＩに対して、運転手が、脳内覚醒状態が復帰した状態にあり、且つ、身体にしびれ等がない手動運転可能な身体状態に復帰できるとは限らない。このような場合に自動運転レベル４から自動運転レベル３への遷移を行うと、車両制御システムにおいて事前に想定された設計思想を超えた状況に及ぶ恐れがあり、事故等の誘発する可能性がある。そこで、以下の本実施形態においては、上述のような可能性を減らすために、車両制御システム側が運転手に対して復帰要請ＲＴＩを発する必要がない段階であっても、運転手の復帰対応レベル（例えば、覚醒レベル）を確認するために、予防的なダミーの復帰要請ＲＴＩを適宜行い、運転手の内部覚醒復帰を示すアクティブな応答を観測してもよい。

なお、図３で図示した自動運転レベルの遷移を示す各矢印は、自動で切り替えを行うことが許容された遷移の方向を示すものであり、さらに、各矢印の逆方向の遷移は、運転手による車両制御システムの状態に対する誤認を招くものであるとして、推奨されるものではない。すなわち、本開示の実施形態に係る車両制御システムにおいては、自動運転モードから自動で、運転手が介在する手動運転モードへ切り替わるような自動運転レベルの遷移がひとたび行われた場合、運転手の意図的指示がないまま再び自動運転モードへ自動的に戻ることがないように設計されていることが望ましい。このように、運転モードの切り替えに方向性（不可逆性）を持たせることは、運転手の明確な意図がないまま自動運転モードとすることを防ぐ設計となっていることを意味する。従って、当該車両制御システムによれば、運転手が明確な意図を持ってのみ自動運転モードが有効化できないことから、例えば、運転手が、自動運転モードではないときに、自動運転モードであると勘違いして安易に２次タスクを始める等の行為を防止することができる。

以上のように、本開示の実施形態においては、安全走行を確保するために、自動運転モードから手動運転モードへの切り替えは、運転手が内部復帰状態であることが観測できた場合にのみ実行する。

＜＜４． モニタリングの例について＞＞
そこで、図４を参照して、自動運転モードから手動運転モードへの切り替えの際のモニタリング（観測）の例について説明する。図４は、本開示の実施形態に係るモニタリング動作の一例を説明するフローチャートである。図４に示すように、本開示の実施形態においては、車両制御システムは、例えば、自動運転モードから手動運転モードへの切り替えの際には、ステップＳ２１からステップＳ２７までのステップを実行することとなる。以下に、これら各ステップの詳細について説明する。

まず、運転手は、自動運転モードでの走行中であるため、運転操舵から完全離脱の状態にあるものとする。さらに、運転手は、例えば、仮眠、あるいはビデオ鑑賞、没頭してゲームする、タブレット、スマートフォン等の視覚ツールを用いた作業等の２次タスクを実行しているものとする。ただし、タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも想定されるものとする。

まず、車両制御システムは、運転手に対してパッシブモニタリング、及び／又は、アクティブモニタリングを適宜間欠的に実行する（ステップＳ２１）。ここで、アクティブモニタリング及びパッシブモニタリングについて説明する。

まずは、アクティブモニタリングとは、運転手の主に知能的な知覚・認知・判断・行動の能力判定を行うため、車両制御システムが、能動的情報を運転手に対して入力し、それに対する運転手の意識的な応答を見る観測方法である。例えば、運転手に対して入力する能動的情報としては、視覚、聴覚、触覚、臭覚、（味覚）情報を挙げることができる。これらの能動的情報は、運転手の知覚と認知行動とを誘発し、リスクに影響する情報であればそのリスクに応じて運転手が判断・行動を実行（応答）することとなることから、このような運転手の応答を観測することにより、運転手の脳内の知覚・認知・判断・行動状態を判定することが可能となる。具体的には、アクティブモニタリングにおいては、例えば、車両制御システムが運転手のフィードバックを促すために疑似的に能動的情報として車両の安全走行に影響を及ぼさない程度の僅かな操舵量でのステアリング制御を実行した場合、運転手がステアリングを適切な操舵量に戻す行為が（正常に覚醒していれば）意識的な応答として期待される（詳細には、運転手は、不必要な操舵量を知覚、認知し、不必要な操舵量に対して戻す判断、行動を起こすという一連の動作を行っているため上記応答に対応する行為が引き出される。従って、上記応答を観測することにより、運転手の脳内の知覚・認知・判断・行動状態を判定する可能となる）。なお、手動運転モードでの走行中は、運転手は、操舵の実行のために、道路環境等に対する知覚・認知・判断・行動の一連の動作を常時行っているため、車両制御システム側が直接的に運転手に対して能動的情報の入力を行わなくとも、運転手の意識的な応答を観測することができる（すなわち、運転操舵という応答があるといえる）。さらに、上述のような能動的情報入力を繰り返し行った場合、これらの情報は、運転手の脳内で知能的にフィルタリングされ、不要なものとして扱われるようになるため（すなわち「慣れ」）、本開示の実施形態においては、能動的情報入力の頻度は、上述のような「慣れ」を避けるべく、適切な頻度に設定されることが好ましい。

次に、パッシブモニタリングとは、直接的な能動的情報入力に対する運転手の意識的な応答を観測（アクティブモニタリング）できない場合等に実行される。運転手の状態のパッシブモニタリングには多様な観測手法があり、例えば、運転手の生体情報の観測を挙げることができる。より具体的には、例えば、パッシブモニタリングにおいては、運転席に着座し、且つ、運転可能な姿勢であれば、ＰＥＲＣＬＯＳ（開眼割合）関連指標、頭部姿勢挙動、眼球挙動（サッカード（急速性眼球運動）、固視、マイクロサッカード等）、瞬き、顔の表情、顔の向き等の詳細観測評価を行うことが期待される。さらに、着座以外の姿勢においては、ウェアブルデバイス等を用いることにより、心拍数、脈拍数、血流、呼吸、脳波、発汗状態、心拍数及び呼吸から推定される眠気の深さ等を観測する拡張観測が可能である。さらに、パッシブモニタリングにおいては、運転手の運転席への着座や離席、移動、移動先、姿勢等を観測してもよい。さらに、運転手の注意運転状態（運転に対して適切な注意を維持しながら手動運転を行っている状態）と関連する操舵量を直接的に観測してもよい。また、パッシブモニタリングで観測された情報は、自動運転モード走行中に、運転制御システム側が、運転モードの切り替え通知や警報等を出した場合、運転手が手動運転に復帰する際に要する時間を推定するために使用することができる。さらに、パッシブモニタリングで観測された情報は、所定の時間内で運転手が手動運転に復帰することが望めない場合に緊急退避モードへの切り替えの有無を判定するために使用したりすることができる。

次に、図４に戻り説明を続ける。車両制御システムは、運転手に対して手動運転への復帰要請ＲＴＩを通知する（ステップＳ２２）。この際、例えば、運転手に対して、振動等の動的なハプティックスや視覚的あるいは聴覚的に手動運転への復帰要請ＲＴＩが通知される。そして、このような復帰要請ＲＴＩの通知に応じて、運転手は、正常な覚醒状態であれば運転席に戻り、正常な意識下で車両を運転できる高い覚醒状態に復帰することとなる。なお、復帰要請ＲＴＩは、段階的に複数回行われてもよく、この場合、各段階で異なる手段で行われてもよく、例えば運転手の状態等に応じて動的に変化させてもよい。

次に、車両制御システムは、運転手の着席状態や、着席の姿勢等をモニタリングする（ステップＳ２３）。さらに、車両制御システムは、適切に着席した運転手に対してアクティブモニタリングを集中的に実行する（ステップＳ２４）。例えば、アクティブモニタリングとしては、運転手に対して、正常な意識下で車両を運転できる高い覚醒状態に復帰することを促すために、運転手に対して警告等を行ったり、疑似的に車両の手動操舵制御に疑似ノイズ操舵を入力したりするような、能動的な情報入力を行うことが挙げられる。

次に、車両制御システムは、運転手の顔やサッカード等の眼球挙動を集中的にモニタリング（眼球挙動集中モニタリング）する（ステップＳ２５）。

ここで、眼球挙動のモニタリングについて説明する。運転手の状態の情報は様々な手段で観測することが可能であるが、運転手の脳内の認知・判断行動を直接的に観測することは難しい。例えば、ｆＭＲＩ（ｆｕｎｃｔｉｏｎａｌ Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）や脳波計（Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ:ＥＥＧ）等を使用する場合には、被観測者（運転手）を拘束することが求められることから、本開示の実施形態において運転手の状態を観測する手段としては好適なものではない。そこで、本開示の実施形態においては、様々な生体情報観測手段の１つとして、運転手の眼球挙動を観測する手段を用いる。眼球挙動観測は、例えば、運転手が運転席に着座していれば、運転手を特別に拘束することなく実行することが可能である。すなわち、眼球挙動観測は、非侵襲、且つ、非装着型の観測手段であるといえる。

また、眼球挙動は、生体反射的に現れる挙動が一部あり、視覚相対移動物を追いかけるスムースパーシュート（滑動性追跡眼球運動）や車両の進行先進の背景接近で起こる緩やかの輻輳とその復帰高速開散運動、自身の身体・頭部の回転を打ち消し対象方角のものを追う滑動性追跡眼球運動等、事象変化に対する応答が思考的な要素を含まないループに対し、適応応答調整して現れる反応と、反射的な応答ではなく、視覚対象の特徴を捉えて理解を進めるために特徴追跡する挙動が、特徴的なマイクロサッカード等が固視に発現する際に起きる。これら挙動には、脳内の神経伝達と処理とを反映して現れる多くの現象も同時に見られる。つまり、脳の記憶に参照した固視対象の認知等の活動結果が反映されていると考えられる。従って、眼球挙動に脳内の認知機能活動が反映されることを利用することにより、眼球挙動の解析に基づき、運転手の覚醒レベルを高精度で推測することが可能となる。すなわち、眼球挙動観測を実行することにより、自動運転モードから手動運転モードへの切り替えの際（詳細には、その直前）に、運転手が正常な意識下で車両を運転できる高い覚醒レベルに復帰しているかどうか（復帰対応レベル）を間接的に観測することができる。特に、運転手は、一旦運転操舵作業から離れて時間が経過してから運転操舵に復帰をする場合には、手動運転への復帰のために必要な周囲や車両状態の記憶を十分に持ち合わせていないと考えらえる。そこで、運転手は、例えば、道路前方の状況を目視確認したり、車両制御システムからの手動運転への復帰要請ＲＴＩの要因を目視確認したりと、運転手が継続的な手動運転を行っていた場合には把握しているだろう情報を把握するための行為を早急に進めようとすることとなる。そして、このような情報把握行為は、運転手の眼球挙動に反映されることとなる。

さらに、先に説明したように、眼球挙動は、人物ごとに、さらにその人物の状態ごとに、特有の挙動を示すことから、眼球挙動を解析することにより運転手の覚醒レベルを精度よく判定しようとする場合には、個々の運転手特有の眼球挙動を、常に把握、学習し、このような学習に基づいて、運転手の覚醒レベルを判定することが求められる。さらに、手動運転への復帰の際に、運転手が、何を重点的に確認するか、どのような優先順位に従って確認を行うかについては、当該運転手の過去のリスク体験等に基づく記憶にも大きく影響されることから、走行中の道路状況や走行速度等の多様な要因により変化する。従って、眼球挙動は、人物ごとに特有の挙動を示すだけでなく、運転手の様々な体験に基づく記憶から影響を受けて、変化することとなる。本実施形態においては、ドライバー人口に対して一律の判定を用いて覚醒度判定を行うのではなく、同一運転手の復帰能力判定を、能動的観測区間に間欠学習して得られた学習に基づいて行うことから、運転手ごとにより好適に判定を行うことを可能にする。

そして、車両制御システムは、上述のステップＳ２５でのモニタリングに基づき、運転手の覚醒レベルを判定することにより、運転手の復帰対応レベルを判定する（ステップＳ２６）。そして、車両制御システムは、運転手が手動運転への復帰対応が可能な復帰反応レベルにあるかを判定する。本実施形態に係る車両制御システムは、運転手の復帰過程を段階的に観測し、その途中の各段階の運転手の応答を観測しているため、複合的な判定が可能である。そして、車両制御システムは、運転手の内部覚醒復帰、手動運転行動の能力確認に基づき、所定の確度をもって手動運転への復帰が可能と判定した場合、自動運転モードから手動運転モードへの切り替えを実行する（ステップＳ２７）。

なお、図４の各ステップは、必ずしも記載された順序に沿って処理されなくてもよく、適宜順序が変更されて処理されてもよく、一部並列的に処理されてもよい。例えば、ステップＳ２４のアクティブモニタリングと、ステップＳ２５の眼球挙動集中モニタリングは、並列的に実施されてもよく、もしくは、図４に示す順序を入れ替えて処理してもよい。

＜＜５． 本開示の実施形態を創作するに至る背景＞＞
さらに、本開示の実施形態の詳細を説明する前に、本発明者らが本開示の実施形態を創作するに至る背景について説明する。

ところで、運転手が仮眠や離席状態から運転席に戻り、実際にハンドルを握って手動運転を主体的に行う間には複数の復帰過程や段階があり、理想的には段階を経るごとに運転手の復帰対応レベル（覚醒レベル）が上昇することとなる。そして、車両制御システムにおいては、理想的に運転手の復帰対応レベルが上昇する状況ではない場合であっても、復帰過程や段階に応じて、様々な運転手の内部覚醒復帰、手動運転行動の能力確認のための確認手段を用いることができる。例えば、運転手が車内の仮眠所での仮眠や離席して仮眠をしていた状態からの復帰の場合、睡眠状態からの復帰を示す応答としての体の動きとして、仮眠姿勢から運転席への復帰のための姿勢変化、足による立ち上がり、席の移動等を検出することにより、運転手の内部覚醒復帰、手動運転行動の能力確認を行うことができる。また、ＴＶ会議等のために離席した状態での作業状態からの復帰の場合、運転席への着座や、離席した状態での車両制御システムからの復帰要請ＲＴＩへの確認応答動作や運転席への復帰の移動行動等を検出することにより、運転手の内部覚醒復帰、手動運転行動の能力確認を行うことができる。さらに、運転手が運転席付近に達した場合、運転手による、道路前方確認動作、必要があれば道路前方の指差呼称確認動作、運転席での運転姿勢への変化及びそれに伴う足の移動、前方確認動作に伴う頭部や顔の向き等を検出することにより、運転手の内部覚醒復帰、手動運転行動の能力確認を行うことができる。また、運転手による、車両制御システムからの復帰要請ＲＴＩに対する目視確認、復帰要請ＲＴＩに伴うメッセージ内容や完全復帰完了時間等を確認するための視線移動（眼球挙動）等を検出することによっても、運転手の内部覚醒復帰、手動運転行動の能力確認を行うことができる。さらに、手動運転を開始する際の、運転手による、車両周辺状況を確認するための視線移動（眼球挙動）や、自動運転解除スイッチ類に対する操作、段階的なステアリングハンドルのトルク挿入、ブレーキペダルへの押圧アクション、アクセルペダルへの押圧アクション、加速指示及び減速指示、車両制御システムから注入された操舵方角に関する仮想的ノイズに対する補正動作等を検出することによっても、運転手の内部覚醒復帰、手動運転行動の能力確認を行うことができる。すなわち、車両制御システムは、運転手の復帰過程における復帰対応レベルを段階的に、且つ、複合的に観測することが求められる。そして、このような、段階的、且つ、複合的な観測の最終段階において、運転手の脳内の認知・判断行動のレベルを推定するための１つの手段として、高いフレームレートでの眼球挙動のサンプリング、解析を行うこととなる。

詳細には、手動運転を行う前の段階で、運転手の覚醒レベルを精度よく判定するための１つの手段として、脳内の活動が反映される眼球挙動、特にマイクロサッカードを観測することが求められる。そこで、以下においては、眼球挙動に注目して説明を行う。先に説明したように、眼球挙動は、人物ごとに特有の挙動を示す。従って、車両制御システムにおいては、眼球挙動の解析等を利用して運転手の覚醒レベルを精度よく判定しようとするために、眼球挙動を詳細に解析するだけにとどまらず、さらに、個々の運転手特有の眼球挙動を、常に把握、学習し、このような学習に基づいて、運転手の覚醒レベルを判定することが求められる。

そのため、個々の運転手の眼球挙動における優位差を検出するためには、撮像装置等により、マイクロサッカードといった高速運動である眼球挙動を高いフレームレートでサンプリング、解析することが求められる。しかしながら、このような高速サンプリング、解析を常時行った場合、撮像処理や解析処理等の負荷が高く、消費電力の増加や、装置温度の上昇を招くこととなる。さらに、高速サンプリングを実行することにより取得できる信号量が減少する状況中、温度上昇により発生するノイズが増加することから、検出感度の低下を招くことにもなる。

詳細には、個々の運転手の眼球挙動における優位差を検出するためには、運転手の眼球の高速運動に対して、例えば２５０ｆｐｓ以上、好ましくは１０００ｆｐｓの高速フレームレートでのサンプリング、解析を行うことが求められる。従って、消費電力の増加や大容量のデータ転送を要するだけでなく、高速で信号を読みだすことから、画像信号の積分時間は短くなり、積分によって得られる信号量が減少することとなる。さらに、定常的に、高速フレームレートでのサンプリング、解析を行った場合、このような動作に伴ってデバイス温度が上昇し、その結果、温度上昇に起因したノイズが増加する等といった副作用を伴うことにもなる。そのため、一概に、眼球挙動解析のために、常時、高速フレームレートでのサンプリング、解析を行うことは最適であるとは言えない。

また、温度上昇に起因したノイズの増加で、検出感度の低下が起こり、その感度低下を補うために、光源の発光輝度を高くすることが考えられる。この場合、運転手の目を、発光輝度を高めた照明光源によって常に照らすことになる。しかしながら、運転手の目を例えば発光輝度を高めた赤外光源によって連続的に照射することは、運転手の被ばく量を増やすこととなり、運転手の目の健康の観点から望ましいものではない。

そこで、本発明者らは、このような状況を鑑みて、運転手の眼球挙動を高いフレームレートでサンプリング、解析する期間と、それ以外の期間とに分けるといった、眼球挙動の観測、解析の動作を動的に変化させる本開示の実施形態を創作するに至った。このような本開示の実施形態によれば、撮像処理や解析処理等の負荷を減らしつつ、運転手の覚醒レベル（復帰対応レベル）を精度よく判定することができる。その結果、本開示の実施形態によれば、撮像処理や解析処理等の負荷を減らすことができることから、消費電力の増加や、装置温度の上昇を招くことを避けることができ、さらには、温度上昇を避けることができることから検出感度の低下を招くこともない。

詳細には、自動運転モードでの走行中においては、運転手が手動運転を行わないことからパッシブモニタリングのみを適宜行う期間と、自動運転モードから手動運転モードへの切り替える事象が発生したことにより運転手の覚醒レベルを判定するため、眼球挙動を観測、解析する期間とが含まれる。すなわち、自動運転モードでの走行中においては、主に切り替える事象が発生した際に眼球挙動に対する高いフレームレートでサンプリング、解析を実行すればよく、それ以外では、このようなサンプリング、解析の実行は必要とされていない。そこで、本開示の実施形態においては、自動運転から手動運転へ切り替える事象が発生した際に眼球挙動を高いフレームレートでサンプリング、解析し、それ以外では、低いフレームレートでサンプリング、解析するというように、サンプリング、解析の動作を動的に変化させる。このように、本実施形態においては、常時、眼球挙動を高いフレームレートでサンプリング、解析しないことから、撮像処理や解析処理等の負荷を減らしつつ、運転手の覚醒レベルを精度よく判定することが可能となる。

より具体的には、切り替える事象が発生した期間（詳細には、切り替えるための準備期間）においては、例えば２５０ｆｐｓ以上、好ましくは１０００ｆｐｓの高速フレームレートでの眼球挙動のサンプリング、解析を行い、運転手の覚醒レベルを精度よく判定する。一方、それ以外の期間においては、例えば６０ｆｐｓ等の通常フレームレートでの眼球挙動のサンプリング、解析を行い、運転手の疲労度や眠気を捉える（パッシブモニタリング）。また、その際、瞬きや開眼の度合いからＰＥＲＣＬＯＳ等の眠気評価値を取得することが可能である。また、本実施形態においては、車両制御システムは、眼球挙動に限らず、先にも述べた多様なパッシブモニタリングや、表情解析や脇見状態といった情報を通常のフレームレートでの運転手の顔や頭部の撮像画像から取得し、このような情報をも利用して、運転手の覚醒レベル（復帰対応レベル）の判定を行ってもよい。

また、眼球挙動を高いフレームレートでサンプリング（撮像）を行う際には、各フレーム（各撮像期間）にて信号を積分することができる期間が短くなることから、精度良い解析のために求められる信号量を積分するために、撮像期間中に高輝度で照明を行うこととなる。本実施形態においては、手動運転中の運転手の目を可視光で照明することは視界の妨げになるため、網膜の視感度に影響を与えない赤外光で照明を行う。しかしながら、運転手の目を、発光輝度を高めた赤外光源によって連続的に照射することは、運転手の眼には見えなくとも網膜に負担を与えることとなり、運転手の目の健康の観点から過剰な照射は望ましいものではない。そこで、本実施形態によれば、期間を限定して眼球挙動を高いフレームレートでサンプリングするため、発光輝度を高めた光源による照射期間の限定することとなることから、運転手の網膜への負担を軽減することができる。

なお、本明細書で説明する例においては、所定のフレームレートでサンプリングを行う撮像装置を用いた場合で説明しているが、本実施形態においては、これに限定されるものでない。例えば、本実施形態においては、連続して取得された撮像画像における変化を認識した場合に、信号を発生するイベントドリブンイメージングデバイスを用いて観測を行ってもよい。この場合、例えば、イベントドリブンイメージングデバイスによるイベント検出に起因して発せられた信号を利用して、運転手の顔や眼球等を照らす光源の発光タイミングを制御してもよく、もしくは、当該発光タイミングと撮像タイミングとを同期させてもよい。例えば、イベントドリブンイメージングデバイスによる信号をトリガーにして、所定の期間における高いフレームレートでのサンプリング、解析を開始させたり、所定の期間における発光輝度を高めた光の照射を開始させたりすることができる。さらに、変化として検出する際に量子化した差分量を合わせて制御してもよい。すなわち、眼球のサッカードやマイクロサッカードの観測に適して光源調整や量子化制御パラメータを調整し、イベントドリブンイメージングデバイスを用いることによって、運転手の眼球挙動を高いサンプリングサイクルで解析する期間と、それ以外の期間とに分けるといった制御を効率的に行うことができる。

さらに、運転手の覚醒レベルが一旦下がった状態においては、運転手の周囲注意力が一旦下がり周囲に対する注意低下が進んでいるために周囲の刺激に対する不活性化が進み、マイクロサッカードや固視微動の挙動の低下が起きることとなる。そこで、本実施形態においては、運転モードを切り替える事象が発生した期間以外であっても、パッシブモニタリングにより運転手の覚醒レベルが一旦下がった状態であることが把握された場合には、このような状態に応じて、高速フレームレートでの眼球挙動のサンプリング、解析を行ってもよい。この際に観測された眼球挙動は、個々の運転手及びその覚醒レベルと紐づけられた教師データとして、学習に用いることができる。そして、本実施形態においては、このような学習に基づき得られた個々の運転手に特有の眼球挙動を参照して、切り替える事象が発生した期間において運転手の覚醒レベル（復帰反応レベル）を判定することから、当該判定の精度を向上させることができる。このような場合であっても、本実施形態においては、常時、眼球挙動を高いフレームレートでのサンプリング、解析を行わないことから、撮像処理や解析処理等の負荷を減らしつつ、運転手の覚醒レベル（復帰反応レベル）を精度よく判定することが可能となる。以下に、本発明者らが創作した本開示の実施形態の詳細について順次説明する。

＜＜６． 実施形態＞＞
＜６．１ 車両制御システム１００の詳細構成＞
まずは、図５及び図６を参照して、本開示の実施形態に係る車両制御システム（情報処理システム）１００の詳細構成について説明する。図５は、本実施形態に係る車両制御システム１００の詳細構成の一例について説明するための説明図である。図６は、なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

図５に示すように、車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、自動運転制御部１１２、及びセンサ部１１３を主に有する。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続されてもよい。

なお、以下の説明においては、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

以下に、本実施形態に係る車両制御システム１００に含まれる各機能部の詳細について順次説明する。

入力部１０１は、運転手等の搭乗者が各種のデータや指示等の入力の際に用いるデバイスから構成される。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を有する。また、例えば、入力部１０１は、赤外線、もしくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。そして、入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各機能部に当該入力信号を供給することができる。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを各種のセンサ等を有するセンサ部１１３から取得し、車両制御システム１００の各機能部に供給することができる。

例えば、センサ部１１３は、車両（自車）の状況等を検出するための各種のセンサを有する。具体的には、例えば、センサ部１１３は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を有する。

また、例えば、センサ部１１３は、車両（自車）の外部の情報を検出するための各種のセンサを有していてもよい。具体的には、例えば、センサ部１１３は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を有していてもよい。また、例えば、センサ部１１３は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサ等を有していてもよい。当該環境センサとしては、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等を挙げることができる。また、当該周囲情報検出センサとしては、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等を挙げることができる。

さらに、例えば、センサ部１１３は、車両（自車）の現在位置を検出するための各種のセンサを有していてもよい。具体的には、例えば、センサ部１１３は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を有していてもよい。

また、例えば、センサ部１１３は、車内の情報を検出するための各種のセンサを有していてもよい。具体的には、例えば、センサ部１１３は、運転手を撮像する撮像装置、運転手の生体情報を検出する生体情報センサ、及び、車室内の音声を集音するマイクロフォン等を有することができる。生体情報センサは、例えば、座席の座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転手の生体情報を検出することができる。運転手の生体情報の例としては、心拍数、脈拍数、血流、呼吸、脳波、皮膚温度、皮膚抵抗、発汗状態、頭部姿勢挙動、眼球挙動（注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応等）等を挙げることができる。これらの生体情報は、運転手等の体表の所定位置間での電位、赤外光を用いた血流系などの接触型の可観測信号、非接触型のマイクロ波やミリ波、ＦＭ(Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｉｏｎ)波を用いた非接触型可観測信号、赤外線波長を利用した撮像装置（監視部）による眼球の撮像画像を用いた眼球挙動の検出、さらには、操舵応答性をみるステアリングやペダル操舵機器の過負荷トルク測定情報等を単独又は複合的に用いて検出することが可能である。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各機能部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各機能部に供給したりすることができる。なお、本開示の実施形態においては、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等により、車内機器１０４と無線通信を行うことができる。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）、又は、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇh-ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行うことができる。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行うことができる。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行うことができる。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行ってもよい。また、例えば、通信部１０３は、ビーコン受信部を有し、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得してもよい。なお、通信部１０３を通して先導車両となり得る区間走行中の前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２で取得したデータを補完するような補完利用を行ってもよく、特に先導車による隊列走行等で後続隊列のより安全性を確保する手段となり得る。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含むことができる。なお、自動運転の普及で必ずしも搭乗者は着座固定位置に固定されないことを考慮すれば、車内機器１０４は、ビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張することができる。

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御することができる。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、センサ部１１３の有する異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。なお、これらの俯瞰画像又はパノラマ画像等を生成した場合、許容する利用形態で、複眼による合成処理前の画像を記録保存することで、より緻密な事象の再現が可能となる。また、この合成処理前の画像の記録保存は、その可否情報の保存や、伝送負荷に依存することとなる。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を有することができる。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を有する。出力部１０６が有する表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転手の視野内に視覚情報を表示する装置であってもよい。なお、出力部１０６は、睡眠等により運転手の運転操舵作業からのより深い離脱が発生した場合に運転手の覚醒を促すために、運転手に対して臭覚刺激（所定のにおいを与える）、触覚刺激（冷風を与える、振動を与える、電気的刺激を与える等）を与える各種装置を含むことができる。さらに、出力部１０６は、運転席の背もたれが移動して、運転手に不快感を与える姿勢に強制する等の体感的不快刺激を与える装置等を含んでもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行うことができる。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各機能部に制御信号を供給し、駆動系システム１０８の制御状況の通知等を行ってもよい。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を有することができる。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を有する。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行うことができる。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各機能部に制御信号を供給し、ボディ系システム１１０の制御状況の通知等を行ってもよい。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を有することができる。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を有する。

記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を有することができる。また、記憶部１１１は、車両制御システム１００の各機能部が用いる各種プログラムやデータ等を格納することができる。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを格納する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行うことができる。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転手の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。詳細には、自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を有する。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行うことができる。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を有する。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行うことができる。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。

また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状況等が含まれる。例えば、車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

なお、車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたＬＤＭがインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、又は、該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のＬＤＭの更新が行われていない場合等、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラにより提供されるルート上の自動運転走行可否情報を構成する更新される新鮮なＬＤＭはいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部１４１は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用することで、走行時に生じる可能性のある危険等の事前予測性をさらに高めることができる。

車内情報検出部１４２は、車両制御システム１００の各機能部からのデータ又は信号に基づいて、車内の情報の検出処理を行うことができる。例えば、車内情報検出部１４２は、運転手の認証処理及び認識処理、運転手の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転手の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。なお、例えば、運転手へ手動運転への復帰要請ＲＴＩが通知された後に運転手が所定の期限時間内に手動運転が達成できないことが判明し、減速制御を行って時間猶予を行っても手動運転への復帰が間に合わないと判定された場合は、車内情報検出部１４２は、緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始してもよい。

さらに、先に説明したように、運転手は運転操舵作業から完全に離脱した利用が想定されることから、運転手は一時的な居眠りや他の作業（２次タスク）に取り掛かる可能性があることから、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるか把握することが求められる。従って、上述した車内情報検出部１４２には主に大きな２つの役割があり、１つ目の役割は運転中の運転手の状態のパッシブモニタリングであり、２つ目の役割は、手動運転への復帰要請ＲＴＩが通知された以降に、運転手が、手動運転が可能な復帰反応レベルにあるかどうかを運転手の意識的な応答により検出、判定するアクティブモニタリングである。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両（自車）の状態の検出処理を行うことができる。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

なお、認識対象となる車両（自車）の状態には、例えば、車両（自車）の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、車両（自車）の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度等を挙げることができる。なお、本実施形態においては、車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配等により、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映することが求められる。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、車両（自車）の位置及び姿勢等の推定処理を行うことができる。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成することができる。

自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させることもできる。

状況分析部１３３は、車両（自車）及び周囲の状況の分析処理を行うことができる。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を有する。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各機能部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築することができる。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両（自車）の周囲の交通ルールの認識処理を行うことができる。この認識処理により、例えば、車両（自車）の周囲の信号の位置及び状況、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、車両（自車）に関する状況の認識処理を行うことができる。例えば、状況認識部１５３は、車両（自車）の状況、車両（自車）の周囲の状況、及び、車両（自車）の運転手の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両（自車）の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。また、状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両（自車）に関する状況の予測処理を行うことができる。例えば、状況予測部１５４は、車両（自車）の状況、車両（自車）の周囲の状況、及び、運転手の状況等の予測処理を行う。なお、予測対象となる車両（自車）の状況には、例えば、車両（自車）の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両（自車）の周囲の状況には、例えば、車両（自車）の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転手の状況には、例えば、運転手の挙動及び体調等が含まれる。そして、状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、目的地までのルートを計画することができる。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、ルート計画部１６１は、ＬＤＭ等に基づいて、走行ルート上の各区間に自動運転レベルを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転手の体調等に基づいて、適宜ルートを変更してもよい。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両（自車）の行動を計画することができる。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両（自車）の行動を示すデータを動作計画部１６３等に供給する。

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各機能部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両（自車）の動作を計画することができる。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。また、動作計画部１６３は、運転モードの設定や、切り替えを実行するタイミング等の計画を行うことができる。動作計画部１６３は、計画した車両（自車）の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、車両（自車）の動作の制御を行うことができる。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を有する。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転手の異常、車両の異常等の緊急事態の検出処理を行うことができる。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両の動作を計画する。緊急事態回避部１７１は、計画した車両の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両（自車）の動作を実現するための加減速制御を行うことができる。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、例えば、緊急事態が発生し得るケースは主に２つある。つまり、自動運転モードでの走行ルートで本来ならインフラより取得したＬＤＭ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、運転手の緊急復帰が間に合わないケースと、自動運転モードから手動運転モードに切り替えることが困難になるケースとがある。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両（自車）の動作を実現するための方向制御を行うことができる。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

さらに、図６は、センサ部１１３が有する撮像装置の設置位置の例を示す図である。図６に示す、それぞれ撮像装置を適用可能な撮像部７９１０、７９１２、７９１４、７９１６、７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。

フロントノーズに設置される撮像部７９１０及び車室内のフロントガラスの上部に設置される撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに設置される撮像部７９１２、７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに設置される撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に設置される撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。

なお、図６には、それぞれの撮像部７９１０、７９１２、７９１４、７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ、ｃは、それぞれサイドミラーに設けられた撮像部７９１２、７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０、７９１２、７９１４、７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２２、７９２４、７９２６、７９２８、７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０、７９２６、７９３０は、例えばＬｉＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。

＜６．２ センサ部１１３の詳細構成＞
次に、図７を参照して、上述したセンサ部１１３に含まれる車内の運転手の情報を得るための各種センサの例を説明する。図７は、本実施形態に係るセンサ部１１３に含まれる各種センサの例を説明するための説明図である。図７は、センサ部１１３に含まれる車内の運転手の情報を得るための各種センサの例を示す図である。図７に示すように、センサ部１１３は、運転手の位置、姿勢を検出するための検出器として、例えば、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Ｓｅａｔ Ｓｔｒａｉｎ Ｇａｕｇｅ）等からなる、位置・姿勢検出部２００を有する。また、センサ部１１３は、運転手の生体情報を得るための検出器として、顔認識部２０２、顔追跡部２０４、及び眼球追跡部（監視部）２０６を有する。以下に、本実施形態に係るセンサ部１１３に含まれる各種センサの詳細について順次説明する。

顔認識部２０２、顔追跡部２０４、及び眼球追跡部（監視部）２０６は、例えば、撮像装置等の様々なセンサから構成することができる。顔認識部２０２は、例えば撮像画像から運転手等の顔を認識、検出し、検出した情報を顔追跡部２０４へ出力する。顔追跡部２０４は、顔認識部２０２で検出された情報に基づき、運転手の顔や頭部の動きを検出する。さらに、眼球追跡部２０６は、運転手の眼球挙動を検出する。また、眼球追跡部２０６は、例えば眼球の電位計測を行うＥＯＧ（Ｅｌｅｃｔｒｏ－Ｏｃｕｌｏｇｒａｍ）等のセンサを含んでいてもよい。

さらに、センサ部１１３は、運転手の生体情報を得るための他の検出器として、生体情報検出部２０８を有していてもよい。また、センサ部１１３は、運転手の認証を行う認証部２１０を有していてもよい。なお、認証部２１０の認証方式としては、パスワードや暗証番号等による知識認証のほかに、顔、指紋、瞳の虹彩、声紋等による生体認証であってもよく、特に限定されるものではない。上述の説明においては、センサ部１１３に含まれる主なセンサについて説明したが、当該センサ部１１３はそれ以外の各種センサを含んでもよい。

＜６．３ 運転手の覚醒レベルの判定を実行するユニットの詳細構成＞
次に、図８を参照して、本開示の実施形態に係る、運転手の覚醒レベル（復帰反応レベル）の判定を実行するユニットの具体的構成例について説明する。図８は、本実施形態に係る、運転手の覚醒レベルの判定を実行するユニットの例を説明するための説明図である。詳細には、運転手の覚醒レベルの判定を実行するユニットは、図５に示す検出部１３１の車内情報検出部１４２の一部と、状況分析部１３３の状況認識部１５３と、記憶部１１１とを含む。より具体的には、図８には、車内情報検出部１４２に含まれる眼球挙動解析部３００及び眼球挙動学習器３０２と、状況認識部１５３に含まれる判定部３２０と、記憶部１１１に格納されたデータベース（ＤＢ）３１０とが示され、これらが協働することにより、運転手の覚醒レベルの判定を実行する。以下に、図８に示される各機能ブロックについて順次説明する。

（眼球挙動解析部３００）
眼球挙動解析部３００は、センサ部１１３の眼球追跡部２０６の検出した運転手の眼球挙動を、データ取得部１０２を介して取得し、解析を行う。例えば、眼球挙動解析部３００は、運転手の眼球のサッカード（眼球回転）、固視（Ｆｉｘａｔｉｏｎ）やマイクロサッカード（眼球微小回転）等の眼球挙動を検出、解析する。眼球挙動解析部３００の解析した眼球挙動情報は、後述する眼球挙動学習器３０２や判定部３２０に出力される。

さらに、本実施形態においては、眼球挙動解析部３００は、運転モード等に応じて解析モードを動的に切り替えることができる。例えば、眼球挙動解析部３００は、少なくとも２つの解析モード（第１の解析モード、第２の解析モード）の間で切り替わることができる。詳細には、眼球挙動解析部３００は、一方の解析モード（第１の解析モード）では、例えば２５０ｆｐｓ以上といった高いフレームレート（第１のフレームレート）で解析を行い、他方の解析モード（第２の解析モード）では、例えば６０ｆｐｓといった低いフレームレート（第２のフレームレート）で解析することができる。

より具体的には、眼球挙動解析部３００は、運転モードが自動運転モードから手動運転モードへと切り替わる事象が生じた場合、その切り替えのための準備モードの期間（運転モード変更準備モードの期間）においては、集中的に高いフレームレートで眼球挙動をサンプリング、解析する（第１の解析モード）。この眼球挙動解析においては、眼球挙動解析部３００は、運転手のマイクロサッカードや固視微動の観測（サンプリング）、解析を実行する。そして、後述する判定部３２０は、当該解析結果に基づき、運転手の覚醒レベル（復帰反応レベル）を判定することとなる。さらに、上述の準備モードの期間の眼球挙動解析の期間の時間長は、ＬＤＭ等に基づくルート上に設定された自動運転レベルによる運転モードの切り替え地点に車両が到達する前に、運転手の覚醒レベル（すなわち、運転手の手動運転への復帰対応レベル）を高精度で判定するために十分な時間が確保されるように、決定されることが好ましい。従って、本実施形態においては、準備モードの期間の眼球挙動解析の期間の開始点（モニタリングポイント）は、スケジュール（旅程）、ＬＤＭ、道路状態、走行速度、車両種別（トレーラ、一般乗用車）、運転手の着席状態（状態情報）等に基づき決定されることとなり、すなわち当該期間の時間長は、動的に変化することとなる。

また、眼球挙動解析部３００は、運転モードが自動運転モードである場合には、低いフレームレートで眼球挙動をサンプリング、解析する（第２の解析モード）。この眼球挙動解析は、上述したパッシブモニタリングとして実行され、例えば、ＰＥＲＣＬＯＳ、サッカード、固視等も観測、解析し、運転手の眠気や疲労度を判定するために実行される。また、眼球挙動解析部３００は、自動運転モードである場合には、自動運転レベル（自動運転レベル３、自動運転レベル４）に応じて解析頻度を動的に切り替えてもよく、例えば、自動運転レベル３においては、自動運転レベル４と比べて高い頻度で実行してもよい。これは、先に説明したように、自動運転レベル３においては、安全走行を確保するために、運転手は、すぐに手動運転に復帰可能であるような準備状態に常時あることが期待される。従って、当該自動運転レベル３においては、眠気や疲労度を検出し、運転手がすぐに手動運転に復帰可能であるかどうかを判定するために、高い頻度で眼球挙動解析が実行されることが好ましい。

ただし、上述の説明においては、自動運転レベル３や自動運転レベル４等のように具体的な自動運転レベルを区別して記載しているが、これは便宜上のものであり、実際の運用では必ずしも明確に自動運転レベルを区別して制御することに限定されるものではない。すなわち、刻々と変化する状況に応じて自動運転レベル及び運転モードは変化することから、眼球挙動解析部３００等の運転手状態を観測する各機器の可観測評価値は、運転手が手動運転への復帰に必要な知覚・認知・判断・行動能力をもっているかを判定するために、状況に応じた観測を適宜行うこととなる。

さらに、眼球挙動解析部３００は、自動運転モードである場合であっても、後述する眼球挙動学習器３０２が学習するための教師データを取得するために、例えば、上述した準備モードの期間の眼球挙動解析の期間の時間長に比べて短い時間長を持つ期間において、高いフレームレート又は低いフレームレートでの眼球挙動解析を実行してもよい。例えば、眼球挙動解析部３００は、自動運転モードである場合にパッシブモニタリングにより運転手の覚醒レベルの低下が検出された場合には、高いフレームレートでの眼球挙動解析（第１の解析モード）を実行してもよい。この場合の解析結果は、後述する眼球挙動学習器３０２が学習するための教師データ（覚醒レベル低下時の眼球挙動としてラベル付けされた教師データ）となる。

一方、眼球挙動解析部３００は、眼球挙動解析部３００は、運転モードが手動運転モードである場合には、低いフレームレートで眼球挙動を解析する（第２の解析モード）。この眼球挙動解析は、上述したパッシブモニタリングとして実行され、例えば、ＰＥＲＣＬＯＳ、サッカード、固視等も観測、解析し、運転手の眠気や疲労度を判定するために実行される。そして、眼球挙動解析部３００は、手動運転モードである場合であっても、運転手の運転動作に基づいて運転手が正常時手動運転していると認められている状況において、後述する眼球挙動学習器３０２が学習するための教師データ（覚醒レベル正常時の眼球挙動としてラベル付けされた教師データ）を取得するために、眼球挙動解析を実行してもよい。上記教師データを取得するために、眼球挙動解析部３００は、例えば、上述した準備モードの期間の眼球挙動解析の期間の時間長に比べて短い時間長を持つ期間において、高いフレームレート又は低いフレームレートでの眼球挙動解析を実行する。また、眼球挙動解析部３００は、手動運転モードである場合であっても、パッシブモニタリングにより運転手の覚醒レベルの低下が検出された場合には、高いフレームレートでの眼球挙動解析（第１の解析モード）を実行してもよい。この場合の解析結果も、後述する眼球挙動学習器３０２が学習するための教師データ（覚醒レベル低下時の眼球挙動としてラベル付けされた教師データ）となる。

すなわち、本実施形態においては、眼球挙動解析部３００は、常時、高いフレームレートでの眼球挙動解析を実行しないことから、撮像処理や解析処理等の負荷を減らすことができる。さらに、本実施形態においては、眼球挙動解析部３００は、必要時には、高いフレームレートでの眼球挙動解析を実行することから、運転手の覚醒レベル（復帰反応レベル）を精度よく判定することできる。

（眼球挙動学習器３０２）
眼球挙動学習器３０２は、過去に取得された、各覚醒レベルにラベル付けされた運転手の眼球挙動の解析結果を教師データとして学習し、後述する判定部３２０による判定のためのデータベース３１０を生成し、記憶部１１１（図５ 参照）に出力する。本実施形態においては、例えば、眼球挙動学習器３０２は、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器であることができる。この場合、解析結果（眼球挙動）とそれにラベル付された覚醒レベル（正常時、又は、低下時）とが、それぞれ入力信号及び教師信号として眼球挙動学習器３０２に入力され、当該眼球挙動学習器３０２は、所定の規則に従ってこれら入力情報の間の関係について機械学習を行う。そして、当該眼球挙動学習器３０２は、上述した複数の入力信号及び教師信号の対が入力され、これら入力に対して機械学習を行うことにより、解析結果（眼球挙動）と覚醒レベルとの関係を示す関係情報を格納したデータベース（ＤＢ）３１０を生成する。なお、生成したＤＢ３１０は、上記記憶部１１１に格納されることに限定されるものではなく、運転手を識別するための識別情報に紐づけてクラウド上のサーバ（図示省略）に格納してもよい。格納されたＤＢ３１０は、運転手が利用営業車の乗り換えやシェアカーやレンタカー等を使用する際に異なる車両でも利用することができる。さらに、ＤＢ３１０内の情報は、いずれの場所に格納されていても、常に更新されていることが好ましい。なお、車両の種別により運動特性等により求められる復帰要件が異なる場合は、車両に応じた評価判定基準の正規化をさらに行ってもよい。

（判定部３２０）
判定部３２０は、眼球挙動解析部３００の解析した眼球挙動の解析結果に基づいて、運転手の覚醒レベル（復帰反応レベル）を判定する。例えば、運転手が、課題解決のための眼球のサッカード、固視やマイクロサッカード等の眼球挙動を実行していることが確認された場合は、判定部３２０は、運転手の覚醒レベルは高いと判定することができる。一方、これらの眼球挙動が観察されなかった場合、または少ない場合は、判定部３２０は運転手の覚醒レベルが低いと判定することはできる。

詳細には、眼球挙動は、人が正常な覚醒状態にある場合と、意識・覚醒低下状態にある場合とでは、異なる振る舞いを示す。さらに、人によってもそれぞれ特徴的なふるまいを示す。そこで、本実施形態においては、判定部３２０は、眼球挙動学習器３０２が個々の運転手に紐づけて生成したデータベース（ＤＢ）３１０を参照して判定を行う。より具体的には、本実施形態においては、判定部３２０は、準備モードの期間における運転手の眼球挙動の解析結果を、過去に取得された当該運転手の眼球挙動の解析結果に基づくデータベース（ＤＢ）３１０と比較することにより、覚醒レベル（復帰対応レベル）を判定する。従って、本実施形態においては、学習に基づき得られた個々の運転手に特有の眼球挙動を参照して判定することから、当該判定の精度を向上させることができる。

さらに、判定部３２０は、判定結果を状況予測部１５４（図５ 参照）や計画部（移動体運転制御部）１３４（図５ 参照）に出力することができる。例えば、計画部１３４は、判定部３２０による判定結果に基づいて、運転モードを切り替える計画を行ってもよい。

＜６．４ 眼球挙動解析部３００の動作例について＞
次に、図９を参照して、本開示の実施形態に係る眼球挙動解析部３００の動作例の詳細についてさらに説明する。図９は、本開示の実施形態に係る眼球挙動解析部３００の動作例の詳細を説明するための説明図である。なお、図９においては、左端が出発地点（出発地）であるものとし、右端は目的地点（目的地）であるものとし、以下においては、出発地点から目的地点に向かって説明を行うものとする。

まずは、本実施形態においては、図９に示すように、運転モードに関係なく、所定の頻度で間欠的にパッシブモニタリングが実行される。例えば、パッシブモニタリングには、低いフレームレートでの眼球挙動解析が含まれ、当該眼球挙動解析は、例えば、ＰＥＲＣＬＯＳ、サッカード、固視等も観測、解析し、運転手の眠気や疲労度を判定するために実行される。

また、本実施形態においては、図９の左側に示される自動運転レベル０、１の手動運転モードでの走行区間では、上述のパッシブモニタリングだけでなく、運転手の運転動作に基づいて運転手が正常時手動運転していると認められている状況において、眼球挙動学習器３０２が学習するための教師データ（覚醒レベル正常時の眼球挙動としてラベル付けされた教師データ）を取得するために、眼球挙動解析（例えば、マイクロサッカード）を実行してもよい。上記教師データを取得するために、眼球挙動解析部３００は、例えば、高いフレームレートでの眼球挙動解析を実行する。

さらに、例えば、図９の左側に示される自動運転レベル２の手動運転モードでの定常及び渋滞等での走行区間では、パッシブモニタリングにより運転手の覚醒レベルの低下が検出されたものとする。この場合、より頻度を高めてパッシブモニタを行い、さらに高いフレームレートでの眼球挙動解析（例えば、マイクロサッカード）を実行してもよい。この場合の眼球挙動の解析結果は、眼球挙動学習器３０２が学習するための教師データ（覚醒レベル低下時の眼球挙動としてラベル付けされた教師データ）となる。さらには、運転手の覚醒レベルの低下の検出に伴い、アクティブモニタリングとして、運転手に対して警告や通知を行ってもよい。運転手が、警告や通知に対して意識的に応答することにより、アクティブモニタリングを実行することできる。例えば、通知は、先に説明したように、車両制御システム１００が能動的情報として不必要な操舵量でのステアリング制御を実行することにより行われ、この場合、運転手がステアリングを適切な操舵量に戻す行為が意識的な応答となる。さらに、アクティブモニタリングは、図９中の破線で示されるように、運転手の覚醒レベルが低下した際に実行されることに限定されるものではなく、所定の頻度で定期的に行われてもよい。しかしながら、手動運転モードにおいては、運転手は、手動運転のために常時道路環境認知判断高度を行っているため、上述したようなアクティブモニタリングの実行は、運転手の覚醒レベルが低下した状況以外では必須ではない。

また、手動運転モードの区間では、定期的に眼球挙動解析を実行してもよい。

そして、自動運転レベル４の自動運転モードでの走行区間では、運転手は運転席を離席している可能性がある。当該期間は、定期的な眼球挙動解析を実行することが難しい（難観測期間）。そこで、当該期間においては、より頻度を高めてパッシブモニタリングを行ってもよい。

次に、運転モードが自動運転モードから手動運転モードへと切り替わるための準備モードの区間においては、集中的に高いフレームレートでの眼球挙動解析を実行する。さらに、当該眼球挙動解析の期間の時間長は、ＬＤＭ等に基づくルート上に設定された自動運転レベルによる運転モードの切り替え地点に車両が到達する前に、運転手の覚醒レベルを高精度で判定するために十分な時間が確保されるように、決定されることが好ましい。従って、本実施形態においては、当該眼球挙動解析の期間の開始点（モニタリングポイント）は、スケジュール（旅程）、ＬＤＭ、道路状態、走行速度、車両種別（トレーラ、一般乗用車）、運転手の着席状態（状態情報）等に基づき決定されることとなり、すなわち当該期間の時間長は、動的に変化することとなる。この際、運転手の覚醒レベルの低下が検出された場合には、運転手に対して、通知、警告、ＭＲＭ警告、ノイズ注入（クイズ形式での出題）等の順で、運転手の内部覚醒を呼び戻す動作を行うと同時に、運転手の意識的な応答を検出するアクティブモニタを集中的に実行する。

すなわち、本実施形態においては、常時、高いフレームレートでの眼球挙動解析を実行しないことから、撮像処理や解析処理等の負荷を減らすことができる。さらに、本実施形態においては、必要時には、高いフレームレートでの眼球挙動解析を実行することから、運転手の覚醒レベル（復帰反応レベル）を精度よく判定することできる。

なお、本出願人は、このような運転手の復帰反応レベル（覚醒レベル）の判定のための構成、具体的には、判定のための観測に係る構成について、すでに複数の特許出願（上記特許文献２～４）を行っており、これら特許出願で開示された内容が、本開示の実施形態にも含まれる。また、自動運転モードから手動運転モードへと切り替わる前に、観測等により得られた運転手の状態評価値に基づき、運転手が適切に手動運転に復帰するために求められる時間（手動運転復帰可能時間）を推定する構成についても、本出願人は特許出願をすでに行っており（上記特許文献４ 参照）、本実施形態においても当該構成を利用することができる。

本実施形態においては、上述した特許文献等に記載された運転手に対する各種の観測を継続的に行い、その傾向を学習して、その時々の傾向の変化を考慮したうえで、覚醒レベル等の復帰反応レベルを判定する。これは、同一の運転手であっても、当該運転手のこれまでの経験と履歴とが運転手の知覚・認知・判断・行動等に影響を及ぼすためである。詳細には、例えば、運転手の自動運転から手動運転への復帰（切り替え）の必要性の感じ方に応じて、観測される眼球挙動が大きく変わる。例えば、直感的な行動でリスクを低減するために求められる情報が乏しい場合には、視覚的に取得し得る情報に対する探索が増え、判断に必要な情報な十分に整っていれば、それほど多くの情報探索を行わずに、探索から行動に移すことができる。従って、情報が不足している場合は、運転手は、視線を対象に向けて個々の視覚情報の認知を経て不足する情報を探索するサッカード、マイクロサッカード、ドリフト、トレモア等で特徴付けられる固視等の繰り返しを行うこととなる。

特に、運転手は、自動運転から手動運転へ復帰行動を行う際のリスク判断を行う段階で、記憶に残存する、リスクの高く、且つ、判断するためには不足している情報を視覚的探索する。例えば、前方を暫く見ないままビデオ鑑賞や携帯端末等の操作をしていた運転手であれば、状況把握のための車両前方確認をまず行い、車両の進行方向に影響のある車線、障害物、並走者や対向車の動きに目を向け、状況を理解するための固視の発現、復帰要請ＲＴＩ（通知）のメッセージ情報確認などの手順を行う。また、例えば、歩行者が一部道路にはみ出してきたり、園児が飛び出てくるようなスクールゾーン等が混在したりする市街地では、道路周辺部からの道路への人の進入の有無を確認する視線挙動が支配的になる。

ヒトが認知的課題の遂行中に情報を一時的に蓄積し処理するためのシステムは、ワーキングメモリ（作業記憶）と呼ばれる。そして、ヒトの行動判断に必要な情報は、ヒトのワーキングメモリで蓄積、処理されることとなるが、その蓄積できる容量や蓄積できる期間には制約があると考えられている。詳細には、当該ワーキングメモリに蓄積された情報は時間の経過とともに減衰し、例えば、重要度が低い情報から記憶が薄れることから、ワーキングメモリは、ダイナミックキャッシュメモリのように動作することとなる。自動運転の普及や性能の向上で利用可能な運行設計領域の拡大に伴い、利用者は安全な手動運転に必要な周辺環境情報の常時確認は次第にその必要が減ると考えられる。それに伴い、走行をする場合に必要な前方確認の回数が減ったりさらには行なわれなくなったりする。そして、次第に運転操舵作業から乖離作業が増えると、判断に要する進行道路の事前視覚情報が少なくなる。そもそも、道路前方を手動運転時の運転手が定常的に行っているのは、リスク要因となりえるリスク重要度の重み刺激があるからであり、事前目視探索を怠らずに継続的実行し、脇見を控えることとなる。しかしながら、運転操舵作業から乖離作業が増えると、薄れゆくワーキングメモリの記憶にリスク要素が乏しいと、結果として定期的な状況変化を観測する必要性も薄れることから、視線を向けて状況を再確認する挙動の観測も少なくなる。本実施形態においては、このような時間とともにリスク重要度の低い情報から記憶情報として薄れていくヒトのワーキングメモリの特性を考慮して、運転手に対して、適切なタイミングで、適切な手動運転のための情報の提供及び通知を行い、運転手の状態又は応答の観測等を行うこととなる。

また、自動運転から手動運転への復帰（切り替え）の復帰要請ＲＴＩ（通知）を受けて、運転手が実際の手動運転を正常に開始できるようになるためには、行動判断に必要な情報を取得するための期間が求められる。また、視覚的な情報取得は、最新の情報を取得する行為である視覚確認以外にも、行動制御に対するフィードバックを行うための情報を取得する行為も含まれる。なお、本実施形態においては、行動判断に必要な情報は、例えば本出願人が出願している上記特許文献５で開示された手段等のヒューマンマシンインタフェースを利用することができる。上記特許文献５では、例えば、走行ルート上を各種の区間（手動運転区間、運転者介在必要区間等）に区分し、区画ごとに異なる色彩、異なる幅で、運転手に向けて走行ルートを表示することが開示されている。また、接近情報の表示時間軸を工夫する事で、運転手は時間経過（＝自車の走行）に伴い、いつ頃に各対処が必要な区間に接近するか視覚的に知ることができる。つまり、上記特許文献５の様に車両の旅程に沿った走行に伴う進路中の接近情報を運転手が定常的に更新提供することで、差し迫る引継ぎ接近情報は、時間が経過して引継ぎポイントに近づくことが視覚的にリスクとして思考のワーキングメモリに取り込まれることから、運転手は差し迫るリスクとして捉えることができる。このように、意味情報を含む視覚的な接近情報を提供することは、このワーキングメモリに与えられる引継ぎ前の状況を確認させるための刺激となる。そして、この更新情報の与え方も運転手の視覚挙動に影響する。そのため、本実施形態においては、眼球挙動解析とその観測評価値から運転手の状態推定する際には、運転手に提供する情報を影響因子として織り込み、観測挙動を評価してもよい。上記ヒューマンマシンインタフェースにより時々刻々と情報を更新呈示することにより、運転手は、自動運転から手動運転への復帰の必要性の重要度を、時間的接近感覚も伴って認識することとなることから、運転手のワーキングメモリに復帰に必要な視覚的な情報が蓄積されることとなる。そして、運転手の復帰のための行動判断においては、これら呈示された情報と運転手のリスク感覚による緊急性とに基づき、行動へ移行する前の不足情報を取得する行為を実行することとなる。そのため、上記ヒューマンマシンインタフェースの呈示情報によって、走行するにあたり求められる予測情報を運転手のワーキングメモリに効果的に植え付け（記憶させ）、さらに、途中途中での再確認の必要性を運転手に感じさせる情報が適宜提供されることで、運転手の意識離脱を浅く留めることが可能となる。その結果、運転手の判断が早まることとなり、上記特許文献３で開示された、運転手の復帰遅延時間（手動運転復帰可能時間）の低減につながることとなる。

本開示においては、主に眼球挙動の解析に主眼をおいているが、運転手の覚醒状態が不十分な場合、先に説明した、取得情報のフィードバックが不完全に行われることもあることから、眼球挙動以外でも様々な挙動等が現れ、場合によっては運転手の過剰な操舵に繋がることもある。従って、自動運転から手動運転への切り替えを行う地点等の状況を予測した予測情報を定期的に確認しながら自動運機能を利用している運転手と、このような定期的な確認を全く怠っている運転手では、復帰要請ＲＴＩ（通知）に対する眼球挙動が異なってくる。さらに、運転手が手動運転に復帰するための時間が不足して、手動運転のための状況把握が不完全なまま、運転手が操舵行動に移行した場合、操舵行動でのフィードバックが不完全になりがちであり、過剰なハンドル操作など、操舵量が不適切なオーバシュートな操舵が現れることもある。

そこで、眼球挙動の解析による運転手の復帰反応レベル（覚醒レベル）と復帰遅延時間との推定を適切に機能させるため、本開示の実施形態に係る車両制御システム１００は、運転者への進行に伴って呈示される接近情報、呈示するリスク情報に付加された付加情報や、運転手への通知やこれらによって誘導される実際の復帰行動及び眼球挙動、その結果である操舵安定性等が相互に影響しあい、運転手の復帰行動を決定づけるシステムとして構築される。

＜６．５ 情報処理方法＞
次に、図１０を参照して、本開示の実施形態に係る情報処理方法について説明する。ここでは、教師データの取得に着目して説明する。図１０は、本開示に実施形態に係る情報処理方法のフローチャートである。詳細には、図１０に示すように、本実施形態に係る情報処理方法は、ステップＳ１０１からステップＳ１１４までのステップを含むことができる。以下に、本実施形態に係るこれら各ステップの詳細について説明する。

まずは、車両制御システム１００は、自動運転モード区間がどうかを判定する（ステップＳ１０１）。車両制御システム１００は、自動運転モード区間である場合（ステップＳ１０１：Ｙｅｓ）には、ステップＳ１０２の処理へ進み、自動運転モード区間でない場合（すなわち、手動運転モード区間）（ステップＳ１０１：ＮＯ）には、ステップＳ１１１の処理へ進む。

ここでは、主に眼球挙動の観測、解析に着目して説明するが、自動運転モード区間では、車両制御システム１００は、運転手の覚醒前の位置、姿勢、活動内容の推定、運転手が手動運転可能な復帰対応レベル（覚醒レベル）に戻るために必要な時間を予測するための様々な観測を定常的に行う（パッシブモニタリング）。そして、車両制御システム１００は、運転モードの切り替え事象が発生し、且つ、当該事象が発生した時刻において予見された情報に基づいて予め設定されたモニタリングポイントに到達したかどうかを判定する（ステップＳ１０２）。車両制御システム１００は、運転モードの切り替え事象が発生し、且つ、予め設定されたモニタリングポイントに到達した場合（ステップＳ１０２：Ｙｅｓ）には、ステップＳ１０３の処理へ進む。一方、車両制御システム１００は、運転モードの切り替え事象が発生し、且つ、予め設定されたモニタリングポイントに到達した場合以外の場合（ステップＳ１０２：ＮＯ）には、ステップＳ１０４の処理へ進む。

次に、車両制御システム１００は、運転モードの切り替えに伴い、初期段階の復帰要請ＲＴＩ（通知）を運転手に行い、運転手が運転席へ着座したことを検出した後、運転手の姿勢（体や顔の向き）等を観測し、集中的に高いフレームレートでの眼球挙動解析を実行する（ステップＳ１０３）。ここで、眼球挙動解析を行う目的の１つは、運転手の脳内活動量を推定し、手動運転モードへの切り替え直前に運転手が手動運転可能な復帰対応レベル（覚醒レベル）に復帰しているかどうかを確認するためである。この眼球挙動のサンプリング、解析は、限定された期間において、運転席に着座する運転手の顔や眼球のみの狭いエリアの撮像画像に基づいて行われる。この際、車両制御システム１００は、高いフレームレートでの眼球挙動解析以外に、通知、警告、質疑（クイズ形式での出題等のような、応答に認知、判断が伴う質疑）及びこれらに対する応答（発話、ジェスチャ、手入力、視線の動き等）の検出、疑似Ｒ操舵の入力、車両制御システム１００によって提供される表示情報への目視の検出等、アクティブモニタリングを集中的に行ってもよい。また、車両制御システム１００は、目視する対象物やその目視の順番、ステアリングハンドルのトルク挿入、ブレーキペダルへの押圧アクション、アクセルペダルへの押圧アクション等を検出してもよく、このような検出を行うことで、運転手が適切に手動運転への復帰手順を行っているかを検出することができる。さらに、当該アクティブモニタリングは、高いフレームレートでの眼球挙動解析と同時であってもよく、時間差を持って実行されてもよい。

また、車両制御システム１００は、定期的に、例えば低いフレームレートでの眼球挙動解析等を含むパッシブモニタリングを実行する（ステップＳ１０４）。なお、図１０のフローチャートでは、眼球挙動解析を含むパッシブモニタリングを実行するものとしているが、本実施形態においては、これに限定されるものではなく、眼球挙動解析を含まないパッシブモニタリングが定期的に実行されてもよい。なお、ステップＳ１０４においては、車両制御システム１００は、自動運転から手動運転への切り替えが必要となる事象につながる変化を継続的に観測し、当該変化に応じて、モニタリングする内容、タイミング、周期等を適宜変化させることが好ましい。なお、当該ステップＳ１０４の詳細については後述する。

次に、車両制御システム１００は、上述したステップＳ１０３での眼球挙動解析の結果に基づいて、運転手の覚醒レベルを検出し、さらには、運転手が手動運転への復帰可能かどうかの復帰対応レベルを判定する（ステップＳ１０５）。車両制御システム１００は、運転手が十分に覚醒して、復帰可能であると判定した場合（ステップＳ１０５：Ｙｅｓ）には、ステップＳ１０６の処理へ進み、運転手の覚醒が不十分であるとして、復帰が不可能であると判定した場合（ステップＳ１０５：Ｎｏ）には、ステップＳ１０９の処理へ進む。

次に、車両制御システム１００は、自動運転モードから手動運転モードへの切り替えを実行する（ステップＳ１０６）。さらに、車両制御システム１００は、上記切り替えが正常に行われたかどうかを判定する（ステップＳ１０７）。車両制御システム１００は、切り替えが正常に行われた場合（正常）（ステップＳ１０７：Ｙｅｓ）には、ステップＳ１０８の処理へ進み、切り替えが正常に行われなかった場合（不全）（ステップＳ１０７：Ｎｏ）には、ステップＳ１０９の処理へ進む。

次に、車両制御システム１００は、上述したステップＳ１０３での眼球挙動解析の結果を、覚醒レベル正常時の教師データとしてラベル付けして、学習を行い（ステップＳ１０８）、ステップＳ１０１の処理へ戻る。

次に、車両制御システム１００は、ＭＲＭを起動する（ステップＳ１０９）。さらに、車両制御システム１００は、上述したステップＳ１０３での眼球挙動解析の結果を、異常時の教師データとしてラベル付けして、学習を行い（ステップＳ１１０）、処理を終了する。

次に、車両制御システム１００は、運転手の覚醒レベルの低下が観測されたかどうかを判定する（ステップＳ１１１）。車両制御システム１００は、運転手の覚醒レベルの低下が観測された場合（ステップＳ１１１：Ｙｅｓ）には、ステップＳ１１２の処理へ進み、運転手の覚醒レベルの低下が観測されていない場合（ステップＳ１１１：Ｎｏ）には、ステップＳ１１４の処理へ進む。なお、本実施形態においては、手動運転モード区間においては、自動運転レベル等に応じて、運転手の覚醒レベルの推定のための観測を定期的に行うことが好ましい。

次に、車両制御システム１００は、運転手に対して、通知、警告を行う（アクティブモニタ）（ステップＳ１１２）。さらに、車両制御システム１００は、高いフレームレートでの眼球挙動解析を実行し、眼球挙動解析の結果を、覚醒レベル低下時の教師データとしてラベル付けして、学習を行い（ステップＳ１１３）、ステップＳ１０１の処理へ戻る。

次に、車両制御システム１００は、眼球挙動解析を実行し、眼球挙動詳細解析の結果を、覚醒レベル正常時の教師データとしてラベル付けして、学習を行い（ステップＳ１１４）、ステップＳ１０１に処理へ戻る。

次に、図１１を参照して、上述したステップＳ１０４の詳細を説明する。図１１は、図１０に示すステップＳ１０４のサブフローチャートである。詳細には、図１１に示すように、本実施形態に係る情報処理方法は、ステップＳ２０１からステップＳ２０５までのステップを含むことができる。以下に、これら各ステップの詳細について説明する。

まずは、車両制御システム１００は、インフラ、先導車両からの旅程道路環境、局所天候情報、予め決定されたＲＲＲといったＲＲＲ情報を取得する（ステップＳ２０１）。ここで、ＲＲＲ（Ｒｅｑｕｅｓｔｅｄ Ｒｅｃｏｖｅｒｙ Ｒａｔｅ）とは、ＬＤＭ等に基づいて決定された自動運転から手動運転への切り替えを行う地点において、運転手が適切に手動運転を開始することが期待される所定の成功率のことをいう。また、自動運転から手動運転への切り替え地点の到達時刻において上記ＲＲＲで切り替えることができるようにするための推定猶予時間（手動運転復帰可能時間）をΔＴ_ＲＲＲ（Ｔ）とする（なお、推定猶予時間は、復帰遅延時間として上記特許文献３に開示されている）。すなわち、復帰要請ＲＴＩ（通知）からΔＴ_ＲＲＲ（Ｔ）だけ経過した際には、運転手が上記ＲＲＲの成功率で適切に手動運転に復帰することが期待されることとなる。なお、上記ＲＲＲは、道路の各区間に付与される埋め込み情報であるといえ、例えば、車両制御システム１００は、ＬＤＭの更新情報とともにインフラから取得することができる。また、ＲＲＲは、運転手の属性情報（運転経験、運転技術等）等により、各区間に付与された数値から適宜変更されて設定されてもよい。より具体的には、例えば、狭い狭隘幹線道等であることにより、車両が該当区間で手動運転に切り替えることができずに停車すると、当該車両により道路閉鎖や交通渋滞を招く恐れがある場合には、当該区間に付与される上記ＲＲＲは１００％に設定されることとなる（言い換えると、当該区間においては、確実に手動運転に切り替えることが求められる）。一方、例えば、交通量が極めて少ない田舎道であることにより、車両が該当区間で手動運転に切り替えることができずに停車しても、当該車両により道路閉鎖や交通渋滞を招く恐れがない場合には、当該区間に付与される上記ＲＲＲは５０％に設定するといった、低い値で設定されてもよい（言い換えると、当該区間においては、確実に手動運転に切り替えることが求められていない）。また、推定猶予時間ΔＴ_ＲＲＲ（Ｔ）は、設定されたＲＲＲや、運転手の属性（運転経験、運転技術等）や状態（２次タスクの内容、覚醒レベル、身体状態、姿勢等）に基づき、算出することができる。

次に、運転手が、段階的な復帰要請ＲＴＩ（通知）のうちの最初の段階の通知により、運転席に復帰したことを確認した後、車両制御システム１００は、ΔＴ_ＲＲＲ（Ｔ）を推定するための観測を開始する（ステップＳ２０２）。

次に、車両制御システム１００は、自車が、自動運転から手動運転への切り替えを行う地点（引継限界点）に到達するまでの残存時間を所定の時間と比較する（ステップＳ２０３）。詳細には、最後に観測を実行した観測時刻Ｔ_ｏｂ１が、引継限界点の到達する時刻からΔＴ_ＲＲＲ＋ΔＴ_ｃｙｃ分の時間だけ戻った時刻Ｔ_ｂａｃを過ぎていた場合には、次に観測を実行する観測時刻Ｔ_ｏｂ２において、引継限界点の到達する時刻からΔＴ_ＲＲＲの時間だけ戻った時刻Ｔ_ｎｔを過ぎてしまう（なお、ΔＴ_ｃｙｃは、観測周期とする）。この場合、観測時刻Ｔ_ｏｂ２において、通知を行うべき時刻Ｔ_ｎｔ過ぎてしまっていることから、運転手に復帰要請ＲＴＩ（通知）を行うタイミングを失ってしまう。そこで、本実施形態においては、上記ステップＳ２０３においては、残存時間をΔＴ_ＲＲＲ＋２×ΔＴ_ｃｙｃ（所定の時間）と比較し、比較結果に応じて、観測周期ΔＴ_ｃｙｃを見直して、この後に数回観測を行うようにしたり、復帰要請ＲＴＩ（通知）のタイミングを決定したりする。

より具体的には、車両制御システム１００は、残存時間がΔＴ_ＲＲＲ＋２×ΔＴ_ｃｙｃより小さい場合（ステップＳ２０３：Ｙｅｓ）には、ステップＳ２０４の処理へ進み、残存時間がΔＴ_ＲＲＲ＋２×ΔＴ_ｃｙｃより大きい場合（ステップＳ２０３：Ｎｏ）には、ステップＳ２０１の処理へ戻る。

車両制御システム１００は、観測周期ΔＴ_ｃｙｃを小さく設定し直し、この後に数回観測を行うようにする、もしくは、復帰対応レベル（覚醒レベル）の判定をより精度よく行うことができる観測手段を変更する（ステップＳ２０４）。なお、本実施形態においては、残存時間に基づく観測周期ΔＴ_ｃｙｃの見直しや観測手段の変更に限定されるものではなく、例えば、自動運転モードから手動運転モードへの切り替える事象が新たに発生した場合に、観測周期ΔＴ_ｃｙｃの見直しや観測手段の変更を行ってもよい。また、本実施形態においては、例えば、自動運転から手動運転への切り替えを行う地点（引継限界点）での交通量の変化や、それに伴う事故発生確率の変化、退避駐車スペースの埋まり具合等により、上記ＲＲＲが変化した際に、観測周期ΔＴ_ｃｙｃの見直しや観測手段の変更を行ってもよい。さらに、本実施形態においては、例えば、運転手の覚醒レベルや２次タスク等のＮＤＲＡ（Ｎｏｎ－Ｄｒｉｖｉｎｇ Ｒｅｌａｔｅｄ Ａｃｔｉｖｉｔｙ）の内容に基づいて上記ＲＲＲが変化した際に、観測周期ΔＴ_ｃｙｃの見直しや観測手段の変更を行ってもよい。また、本実施形態においては、運転手が手動運転するにあたり実行する状況把握を複雑にする要因（直線道路、混在交通、路面凍結、複雑度リスク情報）に基づいて、観測手段の変更を行ってもよい。

さらに、本実施形態においては、車両制御システム１００は、復帰要請ＲＴＩ（通知）を行うタイミングを決定する（ステップＳ２０４）。本実施形態においては、例えば、運転手の覚醒レベル、２次タスク等のＮＤＲＡの内容、及び、運転手の位置、姿勢等に基づいて、通知のタイミングを変更してもよい（例えば、覚醒レベルが低い場合には、通知タイミングを早める等）。さらに、本実施形態においては、これに限定されるものではなく、例えば、自動運転モードから手動運転モードへの切り替える事象が新たに発生した場合や、引継限界点での交通量の変化や、それに伴う事故発生確率の変化、退避駐車スペースの埋まり具合等により、上記ＲＲＲが変化した際に、通知タイミングを変更してもよい。なお、自動運転から手動運転への切り替え直前に通知が行われた場合には、運転手の状態によっては、運転手が手動運転に復帰するために求められる時間が足らず、引継限界点での切り替え（手動運転の開始）が難しいことがある。一方、早めに通知した場合には、運転手の自動運転から手動運転への切り替え行為（引継ぎ行為）開始必要性に対する重要性の意識が低くなり、手動運転への切り替え準備がおろそかになることが考えられる。従って、本実施形態においては、最適なタイミングで復帰要請ＲＴＩ（通知）を行うことが求められる。また、本実施形態においては、当該通知は、複数回行われてもよい。

次に、車両制御システム１００は、自動運転モードから手動運転モードへの切り替えるための動作を開始するかどうかの判定を行う（ステップＳ２０５）。車両制御システム１００は、開始すべきと判定した場合（ステップＳ２０５：Ｙｅｓ）には、動作を開始するためにステップＳ１０４を終了し、図１０のステップＳ１０２の処理へ進む。一方、車両制御システム１００は、開始すべきでないと判定した場合（ステップＳ２０５：Ｎｏ）には、ステップＳ２０１の処理へ戻る。

このように、本実施形態においては、走行中に個々の運転手に特有の眼球挙動の解析結果を取得し、学習を行い、このような学習に基づき得られた個々の運転手に特有の眼球挙動を参照して、運転手の覚醒レベル（復帰反応レベル）を判定する。その結果、本実施形態によれば、当該判定の精度を向上させることができる。

＜６．６ まとめ＞
以上のように、本開示の実施形態によれば、撮像処理や解析処理等の負荷を減らしつつ、運転手の覚醒レベル（復帰反応レベル）を精度よく判定することができる。

なお、本開示の実施形態においては、自動車を例に説明したが、本実施形態は自動車に適用されることに限定されるものではなく、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の移動体に適用することができる。

＜＜７． ハードウェア構成＞＞
上述してきた各実施形態に係る車両制御システム１００の一部は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、車両制御システム１００の一部の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス、マイクロフォン（マイク）等の入出力デバイス１６５０からデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が本開示の実施形態に係る車両制御システム１００の一部として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００に格納されたプログラムを実行することにより、自動運転制御部１１２等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

また、本実施形態に係る自動運転制御部１１２等は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理システムとして実現することも可能である。以上、車両制御システム１００の一部のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

＜＜８． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような情報処理装置又は情報処理システムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の情報処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。

なお、上述した本開示の実施形態の説明においては、動作フレームレートを固定又は可変して撮像装置を制御することを想定して説明をしているが、イベントドリブンイメージングデバイス、イベントベースドイメージングデバイス、ニューロモルフィック・レチナやイベントカメラと呼ばれる種類の撮像装置では、必ずしもフレームレートの概念が存在しない。これらのイベントドリブン撮像装置は、輝度の変化として捉えた刺激を元にその量子化変化の発生時刻と座標とを信号に変換してその記録をする種類の撮像装置である。イベントドリブン撮像装置における画像取り込み制御では、光として取り込む情報の変化が画面全体で激しく起こると、並列的に実行される情報処理量が過多となり、処理量が増加してデバイスの動作温度の上昇や同時並列発生のイベント過多等が生じることがある。そこで、フレームレートという概念を持たないこれらイベントドリブン撮像装置を用いて運転手の状態を観測する場合においては、評価する観測期間中のイベントドリブン撮像装置によるイベント（変化）の検出頻度を最適化するために、以下のようにすることが好ましい。本実施形態においては、例えば、赤外の狭波長領域の波長の光で運転手を照明する照明装置の照明輝度の調整する、受光変換ゲインやイベント（変化）の検出の量子化の閾値を調整する。このようにすることにより、眼球のマイクロサッカードやドリフト等の眼球挙動、瞬きの検出、顔の表情変化等の観測を処理量の増加を抑えつつ、観測目的とする変化を捉えるために最適な頻度で実行することができる。つまり、本開示の実施形態に係る解析モードの切り替えは、イベントドリブン撮像装置を用いる場合、閾値を制御する等により行うことができる。

また、本開示の実施形態を説明するにあたり、ＳＡＥで定義された自動運転レベルを元に詳細を記載しているが、この自動運転の利用を自動運転レベルで区分する概念は車両の設計視点で区分した分類である。他方で、利用者視点で見た場合には利用可能な自動運転レベルに応じ、各レベルでの運行が許容される運行設計領域を利用者がその許容された自動運転レベルを常に正しく理解し把握した上で、車両の自動運転レベルに合わせて運転手が運転をすることは必ずしも容易であるとは言えない。すなわち、機械の機能・指示に従い車両を利用するＭａｃｈｉｎｅ Ｃｅｎｔｅｒｅｄ Ｄｅｓｉｇｎと言ってもよい。つまり、車両システムが対応可能な状況が多様な外部要因、内部要因によってダイナミックに時間とともに刻々と変動し、物理的に道路区間等のみから一意的に走行時の自動運転レベルは決まらない状況においては、車両制御システム１００がその都度進む道路状況が許容するレベルに、運転手が従属的に対応することが求められるといえる。他方で、人間工学的視点から運転手と車両制御システム１００との関わりを見ると、利用者は移動という車両利用の目的達成と、その間に得られる副次的なメリットを得るために、運転という負担やそれに伴う各種リスクとの釣り合いを見て行動判断を行っている。ここで負担とは、移動の為の車両操舵作業やその際に被る一定のリスクのことをいう。本来、運転手視点で見た場合の自動運転のメリットは、運転という束縛から解放されその時間を有意義な運転に関わらない時間利用、運転に従属的でない利用を可能にすることである。そのようなメリットを享受するためには、自動運転制御を支える思想を、従来からのＭａｃｈｉｎｅ Ｃｅｎｔｅｒｅｄ Ｄｅｓｉｇｎという思想の関係性を逆転したＨｕｍａｎ Ｃｅｎｔｅｒｅｄ Ｄｅｓｉｇｎという思想に転換する必要があるともいえる。そして、そのような思想の視点に基づき車両の車両制御システム１００と利用者である運転手との関係を見直すと、運転手の、車両の設計として「運行設計領域」として利用可能な自動運転レベルに応じて対応可能な覚醒や身体的準備状況に応じて、実際の各種自動運転機能を許容するような自動運転の利用が、人間工学的に見た望ましい利用形態と言える。

ヒトは、選び得るベネフィットとそれに伴う損失やリスクとのバランスを取りながら自身の行動選択を行い、さらにその行動を学習する。Ｈｕｍａｎ Ｃｅｎｔｅｒｅｄ Ｄｅｓｉｇｎに基づく制御を導入し、運転手は、自身の各道路で許容される上限の自動運転操舵環境に応じて適切な復帰準備が出来るよう行動学習を行う。さらに、このような行動学習が進んだ運転手に対して、自動運転レベル４等のより高い離脱、つまり、ＮＤＲＡ等を行うベネフィットを得られる高度な自動運転走行による運転操舵作業からの離脱を許容する。一方で、運転手の期待される適切な復帰を示す状態が観測できない、または、該当運転手の過去の復帰対応履歴や学習データを参照して、運転手の観測状態に基づいて復帰品質が劣る場合には、「設計運行領域」内であっても運転操舵作業から離脱が可能な自動運転レベル４等の利用を禁止したり、自動運転レベル３の利用を短時間に限定したりして、自動運転の利用の大きく制限をしてもよい。

つまり、車両に搭載したセンシング機器や判定処理の性能基準から「運行設計領域」として決めた自動運転レベルを許容するのではなく、ヒトの対応能力を元に自動運転の利用を許可するような自動運転制御が、人に易しい車両の利用形態ということとなる。すなわち、車両の自動運転システムの制御思想を、いわゆるＭａｃｈｉｎｅ Ｃｅｎｔｅｒｅｄ ＤｅｓｉｇｎからＨｕｍａｎ Ｃｅｎｔｅｒｅｄ Ｄｅｓｉｇｎに転換することにより、自動運転制御によって人に易しい利用形態を提供することが可能となる。そして、本開示の説明においては、運転手の状態観測手段を用いた適用型制御を、前者のＭａｃｈｉｎｅ Ｃｅｎｔｅｒｅｄ Ｄｅｓｉｇｎに基づいて説明をした。しかしながら、Ｈｕｍａｎ Ｃｅｎｔｅｒｅｄ Ｄｅｓｉｇｎに置き替えた場合であっても、同様に、運転手の自動運転から手動運転への切り替え行為（引継ぎ行為）が発生することから、上述した運転手の状態観測手段を用いた適用型制御を実施することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
移動体を運転する運転手の眼球挙動を解析する眼球挙動解析部を備え、
前記眼球挙動解析部は、前記移動体の運転モードに応じて解析モードを動的に切り替える、
情報処理装置。
（２）
前記眼球挙動には、眼球のサッカード、固視及びマイクロサッカードのうちの少なくとも１つが含まれる、上記（１）に記載の情報処理装置。
（３）
前記眼球挙動解析部は、
少なくとも第１の解析モードと第２の解析モードとの間で切り替わり、
前記第１の解析モードでは、第１のフレームレートで解析を行い、
前記第２の解析モードでは、第１のフレームレートに比べて低い第２のフレームレートで解析を行う、
上記（１）又は（２）に記載の情報処理装置。
（４）
前記移動体の前記運転モードが自動運転モードから手動運転モードへ切り替わる運転モード変更準備モードにおいては、前記眼球挙動解析部は、前記第１の解析モードで解析を行う、
上記（３）に記載の情報処理装置。
（５）
前記第１の解析モードの開始ポイントは、旅程、ローカルダイナミックマップ、及び前記運転手の状態情報のうちの少なくとも１つに基づいて決定される、上記（４）に記載の情報処理装置。
（６）
前記第１の解析モードでの前記運転手の眼球挙動の解析結果に基づいて、前記運転手の手動運転への復帰対応レベルを判定する、判定部をさらに備える、上記（４）又は（５）に記載の情報処理装置。
（７）
前記判定部は、前記第１の解析モードでの前記運転手の眼球挙動の解析結果を、過去に取得された当該運転手の眼球挙動の解析結果と比較することにより、前記復帰対応レベルを判定する、上記（６）に記載の情報処理装置。
（８）
前記過去に取得された前記運転手の眼球挙動の解析結果を学習して、前記判定のためのデータベースを生成する学習器をさらに備える、上記（７）に記載の情報処理装置。
（９）
前記復帰対応レベルの判定結果に基づいて、前記移動体の運転モードを切り替える移動体運転制御部をさらに備える、上記（６）～（８）のいずれか１つに記載の情報処理装置。
（１０）
前記移動体の前記運転モードが前記自動運転モードである場合には、前記眼球挙動解析部は、前記第２の解析モードで解析を行う、上記（４）～（９）のいずれか１つに記載の情報処理装置。
（１１）
前記自動運転モードにおいては、前記眼球挙動解析部は、自動運転レベルに応じて解析頻度を動的に切り替える、上記（１０）に記載の情報処理装置。
（１２）
前記移動体の前記運転モードが前記手動運転モードである場合には、前記眼球挙動解析部は、前記第１の解析モード又は前記第２の解析モードで解析を行う、上記（４）～（１１）のいずれか１つに記載の情報処理装置。
（１３）
前記眼球挙動解析部は、前記運転手の覚醒レベルの低下に応じて、前記第１の解析モードで解析を行う、上記（４）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
移動体を運転する運転手の眼球挙動を解析する眼球挙動解析部を備え、
前記眼球挙動解析部は、前記移動体の運転モードに応じて解析モードを動的に切り替える、
情報処理システム。
（１５）
前記運転手の前記眼球挙動を監視する監視部をさらに備える、上記（１４）に記載の情報処理システム。
（１６）
眼球挙動解析部が、移動体を運転する運転手の眼球挙動を解析することを含む情報処理方法であって、
前記解析の解析モードは、前記移動体の運転モードに応じて動的に切り替わる、
情報処理方法。
（１７）
コンピュータに、移動体を運転する運転手の眼球挙動を解析させる解析機能を実行させる情報処理プログラムであって、
前記解析機能の解析モードは、前記移動体の運転モードに応じて動的に切り替わる、
情報処理プログラム。

１００ 車両制御システム
１０１ 入力部
１０２ データ取得部
１０３ 通信部
１０４ 車内機器
１０５ 出力制御部
１０６ 出力部
１０７ 駆動系制御部
１０８ 駆動系システム
１０９ ボディ系制御部
１１０ ボディ系システム
１１１ 記憶部
１１２ 自動運転制御部
１１３ センサ部
１２１ 通信ネットワーク
１３１ 検出部
１３２ 自己位置推定部
１３３ 状況分析部
１３４ 計画部
１３５ 動作制御部
１４１ 車外情報検出部
１４２ 車内情報検出部
１４３ 車両状態検出部
１５１ マップ解析部
１５２ 交通ルール認識部
１５３ 状況認識部
１５４ 状況予測部
１６１ ルート計画部
１６２ 行動計画部
１６３ 動作計画部
１７１ 緊急事態回避部
１７２ 加減速制御部
１７３ 方向制御部
２００ 位置・姿勢検出部
２０２ 顔認識部
２０４ 顔追跡部
２０６ 眼球追跡部
２０８ 生体情報検出部
２１０ 認証部
３００ 眼球挙動解析部
３０２ 眼球挙動学習器
３１０ データベース
３２０ 判定部

Claims (15)

1. 移動体を運転する運転手の眼球挙動を解析する眼球挙動解析部を備え、
   前記眼球挙動解析部は、前記移動体の運転モードに応じて、解析モードを、少なくとも第１の解析モードと第２の解析モードとの間で動的に切り替えを行い、
   前記第１の解析モードでは、第１のフレームレートで解析を行い、
   前記第２の解析モードでは、第１のフレームレートに比べて低い第２のフレームレートで解析を行い、
   前記移動体の前記運転モードが自動運転モードから手動運転モードへ切り替わる運転モード変更準備モードにおいては、前記第１の解析モードで解析を行う、
   情報処理装置。
2. 前記眼球挙動には、眼球のサッカード、固視及びマイクロサッカードのうちの少なくとも１つが含まれる、請求項１に記載の情報処理装置。
3. 前記第１の解析モードの開始ポイントは、旅程、ローカルダイナミックマップ、及び前記運転手の状態情報のうちの少なくとも１つに基づいて決定される、請求項１又は２に記載の情報処理装置。
4. 前記第１の解析モードでの前記運転手の眼球挙動の解析結果に基づいて、前記運転手の手動運転への復帰対応レベルを判定する、判定部をさらに備える、請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記判定部は、前記第１の解析モードでの前記運転手の眼球挙動の解析結果を、過去に取得された当該運転手の眼球挙動の解析結果と比較することにより、前記復帰対応レベルを判定する、請求項４に記載の情報処理装置。
6. 前記過去に取得された前記運転手の眼球挙動の解析結果を学習して、前記判定のためのデータベースを生成する学習器をさらに備える、請求項５に記載の情報処理装置。
7. 前記復帰対応レベルの判定結果に基づいて、前記移動体の運転モードを切り替える移動体運転制御部をさらに備える、請求項４～６のいずれか１項に記載の情報処理装置。
8. 前記移動体の前記運転モードが前記自動運転モードである場合には、前記眼球挙動解析部は、前記第２の解析モードで解析を行う、請求項１～７のいずれか１項に記載の情報処理装置。
9. 前記自動運転モードにおいては、前記眼球挙動解析部は、自動運転レベルに応じて解析頻度を動的に切り替える、請求項８に記載の情報処理装置。
10. 前記移動体の前記運転モードが前記手動運転モードである場合には、前記眼球挙動解析部は、前記第１の解析モード又は前記第２の解析モードで解析を行う、請求項１～９のいずれか１項に記載の情報処理装置。
11. 前記眼球挙動解析部は、前記運転手の覚醒レベルの低下に応じて、前記第１の解析モードで解析を行う、請求項１～１０のいずれか１項に記載の情報処理装置。
12. 移動体を運転する運転手の眼球挙動を解析する眼球挙動解析部を備え、
    前記眼球挙動解析部は、前記移動体の運転モードに応じて、解析モードを、少なくとも第１の解析モードと第２の解析モードとの間で動的に切り替えを行い、
    前記第１の解析モードでは、第１のフレームレートで解析を行い、
    前記第２の解析モードでは、第１のフレームレートに比べて低い第２のフレームレートで解析を行い、
    前記移動体の前記運転モードが自動運転モードから手動運転モードへ切り替わる運転モード変更準備モードにおいては、前記第１の解析モードで解析を行う、
    情報処理システム。
13. 前記運転手の前記眼球挙動を監視する監視部をさらに備える、請求項１２に記載の情報処理システム。
14. 眼球挙動解析部が、移動体を運転する運転手の眼球挙動を解析することを含む情報処理方法であって、
    前記眼球挙動解析部は、部前記解析の解析モードを、前記移動体の運転モードに応じて、少なくとも第１の解析モードと第２の解析モードとの間で動的に切り替えを行い、
    前記第１の解析モードでは、第１のフレームレートで解析を行い、
    前記第２の解析モードでは、第１のフレームレートに比べて低い第２のフレームレートで解析を行い、
    前記移動体の前記運転モードが自動運転モードから手動運転モードへ切り替わる運転モード変更準備モードにおいては、前記第１の解析モードで解析を行う、
    情報処理方法。
15. コンピュータに、移動体を運転する運転手の眼球挙動を解析させる解析機能を実行させる情報処理プログラムであって、
    前記解析機能の解析モードは、前記移動体の運転モードに応じて、少なくとも第１の解析モードと第２の解析モードとの間で動的に切り替わり、
    前記第１の解析モードでは、第１のフレームレートで解析は行われ、
    前記第２の解析モードでは、第１のフレームレートに比べて低い第２のフレームレートで解析が行われ、
    前記移動体の前記運転モードが自動運転モードから手動運転モードへ切り替わる運転モード変更準備モードにおいては、前記第１の解析モードで解析が行われる、
    情報処理プログラム。

Images