JP7324716B2 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents

Description

本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動運転と手動運転の切り替え制御を行う情報処理装置、移動装置、および方法、並びにプログラムに関する。

昨今、自動運転に関する技術開発が盛んに行われている。
自動運転技術は、車両（自動車）に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。

しかし、現状において自動運転は開発段階であり、１００％の自動運転が可能となるまでには時間を要すると考えられ、しばらくは、自動運転と、運転者（ドライバ）による手動運転とを、適宜切り替えて走行することになると予測される。
例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者（ドライバ）の操作で走行を行うといったモード切り替えが必要となると予測される。

車両が自動運転を実行している間は、運転者（ドライバ）は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。

自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。
しかし、例えば、自動運転実行中に、運転者が居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態で手動運転モードに切り替えてしまうと、正常な手動運転を行うことができず、最悪の場合、事故を起こす可能性がある。

運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
このためには、運転者の覚醒度の確認が必要である。
運転者の覚醒度を確認する技術を開示した従来技術として、例えば特許文献１（特許４９８０９８８号公報）がある。この文献には、運転者の顔情報、視線、瞳孔径等の生体情報を用いて運転者の注意力低下状態を推定する構成が開示されている。

しかし、この特許文献１を含め、従来技術には、自動運転から手動運転への安全な復帰のために必要となる通知タイミングを制御する構成についての開示はない。
自動運転モードから手動運転モードへ切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させるための通知が必要となる。
この通知タイミングが遅すぎると、運転者の覚醒度が低い状態、すなわち意識レベルが低下した状態で手動運転を開始させてしまい、事故を発生させる可能性を高めてしまうという問題がある。

特許４９８０９８８号公報

本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動運転から手動運転への切り替えを安全に行うことを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
運転者情報と環境情報を入力して、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有する情報処理装置にある。

さらに、本開示の第２の側面は、
移動装置の運転者情報を取得する運転者情報取得部と、
前記移動装置の環境情報を取得する環境情報取得部と、
前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有する移動装置にある。

さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
安全性判別部が、運転者情報と環境情報を入力して、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行する情報処理方法にある。

さらに、本開示の第４の側面は、
移動装置において実行する情報処理方法であり、
運転者情報取得部が、前記移動装置の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の環境情報を取得する環境情報取得ステップと、
安全性判別部が、前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別ステップを実行する情報処理方法にある。

さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
安全性判別部に、運転者情報と環境情報を入力させて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、運転者情報と環境情報を入力して、自動運転中の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値や、手動運転復帰可能時間を推定する構成が実現される。
具体的には、例えば、自動車等の移動装置の運転者情報を取得する運転者情報取得部と、移動装置の環境情報を取得する環境情報取得部と、運転者情報と環境情報を入力して、自動運転中の移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を学習し、算出する安全性判別部を有する。安全性判別部は、さらに、自動運転中の前記移動装置内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する。
本構成により、運転者情報と環境情報を入力して、自動運転中の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値や、手動運転復帰可能時間を推定する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の移動装置の一構成例について説明する図である。 本開示の移動装置の表示部に表示されるデータの一例について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置のセンサ構成例について説明する図である。 本開示の移動装置の実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を示す図である。 自動運転の動作シーケンスの一例について説明するフローチャートを示す図である。 運転者により目的地が設定されることで決定された自動運転可否区間が斑に設定され、または発生した走行ルートの一例を示す図である。 走行ルートにおける走行区間表示のための情報処理を説明するための図である。 最終的に表示される走行区間表示の一例を示す図である。 時間経過に伴う走行区間表示の変化例（スクロール例）を示す図である。 タブレット端末機器（以下単に「タブレット」と記す）の画面上に表示される走行ルートにおける走行区間表示の一例を示す図である。 運転者が実際にタブレットを用いて２次タスクを実行している状態の一例を示す図である。 第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示す図である。 タブレットの画面上に小ウインドウがポップアップ表示されている状態を示す図である。 安全性判別部の具体的な構成例と処理について説明する図である。 学習処理のシーケンス例について説明するフローチャートを示す図である。 学習処理のシーケンス例について説明するフローチャートを示す図である。 学習器の入出力データの構成例について説明する図である。 自動運転モードから手動運転モードへ切り替える際に実行する処理のシーケンスの一例を説明するフローチャートを示す図である。 観測値に相当する可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の複数の関係情報（観測プロット）の分布例と復帰成功率について説明する図である。 自動運転モードにおいて運転者が実行している処理（２次タスク）の種類に応じた手動運転復帰可能時間について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．移動装置と情報処理装置の構成と処理の概要について
２．移動装置の具体的な構成と処理例について
３．自動運転モードから手動運転モードへのモード切り替えシーケンスについて
４．自動運転の動作シーケンス例について
５．移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について
６．本開示の移動装置、情報処理装置の実行する処理のシーケンスについて
７．情報処理装置の構成例について
８．本開示の構成のまとめ

［１．移動装置と情報処理装置の構成と処理の概要について］
まず、図１以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。

しかし、自動運転実行中に運転者が行う処理（２次タスク）は様々である。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度（意識レベル）は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。

運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。

例えば、自動運転実行中に運転者が前を向いて道路を見ているような場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。

しかし、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。

本開示の移動装置、または移動装置に搭載可能な情報処理装置は、例えば、運転者の覚醒度に応じて手動運転への切り替え通知タイミングの制御を行う。
さらに、本開示の一実施例においては、覚醒度等の運転者情報のみならず、例えば、移動装置の走行時刻、運転者の操作情報、道路等の環境情報、過去に発生した事故情報等の情報も利用して、最適な手動運転の切り替え通知タイミングを算出する。

例えば、本開示の一実施例においては、上記の各情報、すなわち、移動装置の走行時刻、運転者の操作情報、道路等の環境情報、過去に発生した事故情報等の情報を用いた覚醒度算出のための学習処理を実行し、学習処理の結果として最適な通知タイミングを算出する。
なお、学習処理は、移動装置である自動車内においても実行可能であり、また、移動装置である自動車と通信可能なサーバにおいて実行してもよい。

また、本開示の一実施例においては、上記の通知タイミング算出処理に際して、運転者個人の情報、すなわち、運転者の運転履歴、事故履歴、手動運転開始後の運転操作情報、さらに、自動車の種類情報等も考慮した処理を実行する。
さらに、乗員の人数や、積載している貨物に関する情報も利用する。
なお、多くの種類の情報を利用する場合、データ特性に応じて、事前学習用と、オンライン学習用とに分けて利用することもできる。

図１以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
図１は、本開示の移動装置の一例である自動車１０の一構成例を示す図である。
図１に示す自動車１０に本開示の情報処理装置が装着されている。

図１に示す自動車１０は、手動運転モードと、自動運転モードの２つの運転モードによる運転が可能な自動車である。
手動運転モードは、運転者（ドライバ）２０の操作、すなわちハンドル（ステアリング）操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者（ドライバ）２０による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばＧＰＳ受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等である。

なお、図１は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。

図１に示すように、自動車１０は、データ処理部１１、運転者情報取得部１２、環境情報取得部１３、通信部１４、通知部１５を有する。
運転者情報取得部１２は、例えば、運転者の覚醒度を判定するための情報、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部（ハンドル、アクセル、ブレーキ等）の操作情報取得部等によって構成される。

環境情報取得部１３は、自動車１０の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、ＧＰＳによる位置情報、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からの周囲の障害物情報等である。

データ処理部１１は、運転者情報取得部１２の取得した運転者情報や、環境情報取得部１３の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部１５を介して通知する処理を実行する。

この通知処理のタイミングは、例えば運転者情報取得部１２、環境情報取得部１３を入力して算出した最適なタイミングとする。
すなわち、運転者２０が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば５秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の２０秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。

通知部１５は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
通知部１５を構成する表示部に対する警告表示の例を図２に示す。

図２に示すように、表示部３０には、以下の各表示がなされる。
運転モード情報＝「自動運転中」、
警告表示＝「手動運転に切り替えてください」

運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。

警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。
「手動運転に切り替えてください」

なお、図１に示すように、自動車１０は通信部１４を介してサーバ３０と通信可能な構成を持つ。
例えば、データ処理部１１における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ３０において行うことが可能である。
この具体例については後述する。

図３は、本開示の移動装置や情報処理装置が実行する処理の具体例を示す図である。
図３には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の２つの例の通知処理例を示している。
（ａ）自動運転実行中の運転者の覚醒度が高い場合の通知処理
（ｂ）自動運転実行中の運転者の覚醒度が低い場合の通知処理

（ａ）の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。

（ｂ）の例は、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。

［２．移動装置の具体的な構成と処理例について］
次に、図４以下を参照して、本開示の移動装置１０の具体的な構成と処理例について説明する。
図４は、移動装置１００の構成例を示している。なお、以下、移動装置１００が設けられている車両を他の車両と区別する場合、自車または自車両と称する。

移動装置１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および、自動運転制御部１１２を備える。

入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、移動装置１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置１００の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置１００の各部に供給する。

データ取得部１０２は、移動装置１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。

例えば、図５は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。

フロントノーズに備えられる撮像装置７９１０および車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。

なお、図５には、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパまたはバックドアに設けられた撮像装置７９１６の撮像範囲を示す。例えば、撮像装置７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。

車両７９００のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサまたはレーダであってよい。車両７９００のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２６，７９３０は、例えばＬｉＤＡＲであってよい。これらのセンサ７９２０～７９３０は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。

図４に戻って各構成要素の説明を続ける。データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様化可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部１５５で復帰通知タイミングの算出に用いる。

図６は、データ取得部１０２に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部１０２は、運転者の位置、姿勢を検出するための検出器として、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Ｓｅａｔ Ｓｔｒａｉｎ Ｇａｕｇｅ）等を備える。また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、顔認識器（Ｆａｃｅ（Ｈｅａｄ） Ｒｅｃｏｇｎｉｔｉｏｎ）、ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ Ｅｙｅ Ｔｒａｃｋｅｒ）、ドライバー・ヘッド・トラッカー（Ｄｒｉｖｅｒ Ｈｅａｄ Ｔｒａｃｋｅｒ）等を備える。

また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、生体信号（Ｖｉｔａｌ Ｓｉｇｎａｌ）検出器を備えている。また、データ取得部１０２は、運転者認証（Ｄｒｉｖｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置１００の各部から供給されるデータを送信したり、受信したデータを移動装置１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、または、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、または、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局またはアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバまたは制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者もしくは店舗の端末、または、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。

さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、および、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。

車内機器１０４は、例えば、搭乗者が有するモバイル機器（タブレット、スマートフォンなど）もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。

出力制御部１０５は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部１１１は、移動装置１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。

車外情報検出部１４１は、移動装置１００の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。

また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップがインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部１４１は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。

車内情報検出部１４２は、移動装置１００の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。

さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。

そこで、車内情報検出部１４２には主に大きな２段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。

検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速を開始する事で引継ぎ限界に到達する到達時間を稼ぎだすことができる。

車両状態検出部１４３は、移動装置１００の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。

自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４および安全性判別部１５５を備える。

マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の移動装置１００の各部からのデータまたは信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。

認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。

安全性判別部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。

ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、緊急事態が発生し得るケースは主に２つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。

方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

［３．自動運転モードから手動運転モードへのモード切り替えシーケンスについて］
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図７は、自動運転制御部１１２における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。

ステップＳ１は、運転者が運転操舵から完全離脱の状態にある。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの２次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。

これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した２次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。

ステップＳ２は、先に図２を参照して説明したような手動運転復帰要求通知のタイミングである。運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部１１２では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の２次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップＳ１の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。

つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動などによる警告がなされる。

ステップＳ３では、運転者が、着座復帰したか確認される。ステップＳ４では、顔やサッケード等の眼球挙動解析により、運転者の内部覚醒度状態が確認される。ステップＳ５では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップＳ６では、自動運転から手動運転への引継ぎが完了した状態となる。

［４．自動運転の動作シーケンス例について］
次に、図８に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
図８に示すフローチャートは、移動装置の１００を実行する自動運転の動作シーケンスを説明するフローチャートである。

まず、ステップＳ１１において、運転者認証が行われる。この運転者認証は、パスワードや暗証番号などによる知識認証、あるいは顔、指紋、瞳の虹彩、声紋などによる生体認証、さらには知識認証と生体認証が併用されて行われる。このように運転者認証が行われることで、複数の運転者が同一の車両を運転する場合であっても、各運転者に対応付けて通知タイミングを決定するための情報の蓄積行うことが可能となる。

次に、ステップＳ１２において、運転者により入力部１０１が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。

なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定などを行ってもよく、さらにはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のＬＤＭ情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報などを更新取得して乗車時やその前にでもコンシエルジュ的に実際の走行アドバイス表示などをさらに行ってもよい。

次に、ステップＳ１３において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が２次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。

この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。

次に、ステップＳ１４において、ＬＤＭ更新情報の取得が開始される。このＬＤＭ更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップＳ１５において、走行が開始される。次に、ステップＳ１６において、自車の位置情報と取得ＬＤＭ更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。

走行を伴い相対的に接近する前方の走行環境と該当自車両の引き継ぎに必要タイミング等の情報の提示手段は、スクロール手段に限定する必要ななく、その他方法としては差し迫る時間間隔が直感的、明示的手段で且つ誤認少なく何時運転へ復帰に取り掛かるべきか知る事が出来る手段が好ましい。例えば、砂時計を模した時間提示方法や、クロノグラフ形式の腕時計形態で引継ぎ残存時間を利用者装着機器へ直接提示する手段を介してもよい。

次に、ステップＳ１７において、運転者状態のモニタリングがされる。次に、ステップＳ１８において、事象変化対応処理が行われる。この事象変化対応処理には、走行ルート中に既に存在している自動運転モードと手動運転モードとの切り替え地点あるいは注意走行区間が迫ってきた場合に対応するためのモード切り替え処理、走行ルート中にモード切り替え地点あるいは注意走行区間の運転者介在必要区間が新たに発生した場合に対応するための事象発生処理などが含まれる。以降、ステップＳ１６からステップＳ１８の処理が適宜繰り返される。

「走行区間表示の詳細」
図９は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Ｓａと、手動運転区間Ｓｂと、自動運転から手動運転への引継ぎ区間Ｓｃと、自動運転からの注意走行区間Ｓｄが存在する。ここで、引継ぎ区間Ｓｃは手動運転区間Ｓｂの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Ｓｄは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま減速して走行が可能な区間である。

図示の例において、自動運転可能区間Ｓａは緑色で示され、手動運転区間Ｓｂは赤色で示され、引継ぎ区間Ｓｃおよび注意走行区間Ｓｄは黄色で示されている。なお、便宜上、各色は別々の模様で表している。

センターインフォーメーションディスプレイやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。自動運転制御部１１２は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報処理をする。

図１０（ａ）は、走行ルートの各区間を現在地点からの移動距離軸で一定のスケールで表している。図１０（ｂ）は、各地点における平均的道路交通の流れ速度ｖ（ｔ）を表している。図１０（ｃ）は、移動距離軸で表されている各区間を、速度ｖ（ｔ）を用いて時間軸に変換したものである。これにより、走行ルートの各区間は、現在地点からの到達予測時間軸で表されるものとなる。つまり、走行ルートの物理的距離を該当区間毎の平均速度で除算した時間軸で表す事が出来る。

この実施の形態においては、走行区間表示される全区間を、図１０（ｄ）に示すように３つの区間に分割し、各区間の時間軸を変化させている。すなわち、現在地点から第１の地点（時間ｔ０、例えば１０分程度）までの第１の区間は、時間リニア表示直近区間として、第１の時間軸で表示する。例えば、時間ｔ０は、一般的な運転者が２次タスクを終了して運転復帰するまでに必要十分な時間に設定される。走行により接近する直近区間はあたかも一定速度で進む地図上に示すのと同等の視覚的直感効果が有るため、運転者は事象接近に伴う的確な運転復帰の準備を開始でき、ある程度正確に復帰を開始するポイントが感覚的に把握できるメリットがある。つまりこの区間の表示目的は運手者の的確復帰ポイントの開始判断情報を利用者に提供することにある。

また、第１の地点（時間ｔ０）から第２の地点（時間ｔ１、例えば１時間程度）までの第２の区間は、時間の逆数表示区間として、第１の時間軸からこの第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示する。この第２の区間の表示目的は、主に先の第１の区間と同等スケール倍率で表示をすると、狭い表示スペースに長期期間の表示が困難となるため、より長期期間の道路状況を狭い表示で運転者に正確に提供する工夫となる。こうすることで、運転者は走行に伴いある一定の先の区間で何処までの地点は運転介在が求められないで済むかを把握が容易に出来る様になり、２次タスクへの従事を計画的に行えるメリットがある。運転介在のメリハリが付き、また第三者とのやり取りに伴う２次タスクなどでは運転者の２次タスクからの解放プラニング等での重要な情報呈示の役割を果たす。

ここで、図１０（ｄ）において、この第２の表示区間の設定方法について記述する。三角形の高さをｈ０としたとき、その先端からｈだけ手前の地点の時間ｔは、以下の（１）式で求められる。
ｔ＝ｔ０＊ｈ０／ｈ ・・・（１）

また、第２の地点（時間ｔ１）における第２の時間軸は、第１の時間軸に対して、ｈｓ／ｈ０の比率で縮小されたものとなる。例えば、ｈｓ＝ｈ０／８である場合、縮小率は、１／８ということになる。

以上に示す第２の表示区間の表示は、車速が一定で走行している場合であれば、地図上の走行直線伸張表示区間を進行方向に斜め傾けた地図を見た表示、または道路平面前方を斜めみした状態に相当する。言い換えれば、この表示区間の視覚的効果が表示像高位置で遠近が直感的にわかるため、画面上に正確な位置表示の目盛等を表示しなくとも感覚的距離が把握容易にできる表示とも言える。そして遠方の区間は縮小されるが、走行で直ぐ到達する地点ではないため、大凡の予測は重要となるが、近傍点程厳密な到着時刻情報を運転者が感覚的に把握する必要ではないため、２次タスク実行計画をする上でも好適である。

また、第２の地点（時間ｔ１）から第３の地点（時間ｔ２）までの第３の区間は、時間リニア表示遠方区間として、第２の時間軸（縮小率ｈｓ／ｈ０）で表示する。このように３つの区間に分割して表示することで、運転者は、限られた表示スペースで、時間的に直近の区間情報の詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。なお、第２区間の表示形態のままで遠方部を表示すると、人の視覚分解能、更にはシステムの表示分解能限界以下となり、２次タスクの計画判断に必要な情報が判別できなくなり、表示機能の意味が失われる。そこで、直感的に時間の区間感覚が十分把握でき、必要な介在区間、不必要区間区分が適切に表示される程度の段階で表示スケールの縮小を終え、それ以降の区間はまた一定スケールに戻した表示を行うのが最も効果的は表示となる。

なお、車両制御システム１００は、時間ｔ０、ｔ１、ｔ３のデフォルト値を備えている。長距離運転と近距離運転とで時間ｔ０、ｔ１、ｔ３の値を別にすることも考えられるので、デフォルト値は１つに限定されるものではなく、複数種類を備えていて、運転者（ユーザ）あるいはシステムが走行ルートに応じて選択的に用いるようにされてもよい。また、時間ｔ０、ｔ１、ｔ３の値を、運転者（ユーザ）が任意に設定できるようにすることも考えられる。

図１１（ａ），（ｂ）は、最終的に表示される走行区間表示の一例を示している。なお、矢印の長さにより、時間軸がリニアであるか否か、さらには時間軸の縮小率の変化が示されている。図１１（ａ）の場合には、第１の区間、第２の区間および第３の区間の全ての区間が第１の幅のままで表示されている。

一方、図１１（ｂ）の場合には、現在地点から第１の地点（時間ｔ０）までの第１の区間は、第１の幅で表示され、第１の地点（時間ｔ０）から第２の地点（時間ｔ１）までの第２の区間は、第１の幅からこの第１の幅に対して狭い第２の幅まで順次変化した幅で表示され、第２の地点（時間Ｔ１）から第３の地点（時間Ｔ２）までの第３の区間は、第２の幅で表示される。これにより、運転者は、第１の区間に対する第２の区間および第３の区間の時間軸の縮小の程度を視覚的に認識することが可能となる。つまり、図１０での表示形態は進行方向の縮小率のみを配慮した表示であるが、さらに表示情報の進行方向に対する横断横幅を擬似的に遠近に合わせて幅を変える事で、道路や地図の進行に沿って無限方向に向かって見るのと同じ遠近効果が得られ、運転介在必要区間の分布が画面を一瞬みるだけより直感的に把握が容易となる。特に、第２の区間のみを反時計代わりに回転して見た場合、あたかも一定速度で走行した場合の道路前方の道路幅と各該当地点の到達時間に匹敵するので、正確な位置メモリを目視判断しなくても、各地点までの到達実感が直感的に把握でき、時間配分が可能となる表示形態といえる。

なお、例えば第３の区間のように縮小率ｈｓ／ｈ０が小さな部分では、短い時間長の区間をそのままの時間長で表示すると、その区間が非常に細く表示され、運転者の認識が困難となることが予想される。そのため、運転者介在区間（手動運転区間、引き継ぎ区間、注意走行区間）が実際には一定時間長以下である場合であっても、一定時間長で表示するようにされる。この場合、例えば、引き継ぎ区間と手動運転区間が連続している場合、引き継ぎ区間の表示は省略されることもある。図１１（ａ），（ｂ）において、第３の区間の最初の手動運転区間Ｓｂの表示は、そのような状態を示している。これにより、時間軸が大きく縮小されている第３の区間において、短い時間長の運転者介在必要区間を運転者が認識可能に表示することが可能となる。

また、第３の区間のように縮小率ｈｓ／ｈ０が小さな部分では、手動運転区間Ｓｂが間欠的に短い周期で連続する場合、全体が繋がった手動運転区間Ｓｂとして表示される。図１１（ａ），（ｂ）において、第３の区間の２番目の手動運転区間Ｓｂの表示は、そのように繋がれて表示された状態を示している。このように表示された手動運転区間Ｓｂは、実際には、図１１（ｃ）に示すように、手動運転区間Ｓｂの他に、短い期間の引継ぎ区間Ｓｄおよび自動運転可能区間Ｓａが含まれている。なお、後述するように、タブレット等に走行区間表示がされている状態で当該地点が例えばダブルタッチされることで、詳細表示が可能とされる。

上述の走行ルートにおける走行区間表示は、自車の位置情報と取得ＬＤＭ更新情報に基づいて、更新されていく。これにより走行区間表示は、時間経過に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。図１２（ａ）～（ｄ）は、時間経過に伴う走行区間表示の変化例を示している。この例は、第２の区間が先細りに表示されている例を示しているが、全ての区間が同じ幅で表示される場合も同様である。

この場合、第１の区間では、各区間の移動が早い。また、第２の区間では、第３の区間側から第１の区間側にいくほど、時間軸の縮小が小さくされているので、各区間の移動が早くなっていく。また、第３の区間では、時間軸の縮小が大きくなっているので、各区間の移動は遅い。

図１３（ａ），（ｂ）は、タブレット１８２の画面上に表示される走行ルートにおける走行区間表示１８１の一例を示している。図１３（ａ）は、タブレット１８２を縦長で使用する場合の例である。この場合、走行区間表示１８１は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット１８２で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。図１３（ｂ）は、タブレット１８２を横長で使用する場合の例である。この場合も、走行区間表示１８１は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット１８２で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。なお、図示の例では、タブレット１８２の画面上に走行区間表示１８１が折り曲げた状態で配置されているが、配置スペースが十分にとれる場合には直線的に配置することも考えられる。

図１４は、運転者が実際にタブレット１８２を用いて２次タスクを実行している状態の一例を示している。この例は、タブレット１８２は横長で使用されている。タブレット１８２の画面には、左辺から上辺に沿って折れ曲がった状態で走行区間表示１８１が表示されている。なお、この走行区間表示１８１を画面上に出すか否かを運転者（ユーザ）の操作で選択的に行うようにされてもよい。その場合、例えば、走行区間表示１８１が画面上に出ていない場合に、運転者介在必要区間が一定時間内に入ってきて、運転者に通知する場合には、自動的に、走行区間表示１８１が画面上に出てくるようにされてもよい。

タブレット１８２の画面上に走行区間表示１８１が表示されている状態で、その表示区間中に新たに運転者介在必要区間が発生した場合、その新たに発生した運転者介在必要区間の表示が新たに発生する。この場合、この新たに発生した運転者介在必要区間は、他とは識別可能に、例えば一定時間の点滅表示が行われる。この点滅表示は、注意アラーム音を伴ってなされてもよい。ここで、新たに運転者介在必要区間が発生した場合には、注意走行区間や手動運転区間が新たに発生した場合の他、注意走行区間から手動運転区間に変更になった場合も含まれる。

図１５は、第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示している。なお、この場合、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、その点滅、つまり警告状態を停止することが可能とされてもよい。あるいは、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、小ウインドウがポップアップ表示され、承諾の画面タッチで、その点滅、つまり警告状態を停止することが可能とされてもよい。

また、タブレット１８２の画面上に走行区間表示１８１が表示されている状態で、運転者（ユーザ）が任意の地点をダブルタッチして指定した場合、例えば、図１６に示すように、小ウインドウがポップアップ表示され、その地点に関連した表示がなされる。

［５．移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について］
次に、移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について説明する。
この処理は、主に、図４を参照して説明した移動装置１００の自動運転制御部１１２内に構成される安全性判別部１５５において実行される。

先に説明したように、安全性判別部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。

図１７は、安全性判別部１５５の具体的な構成例と処理について説明する図である。
左に自動車等の移動装置２００、右に移動装置１００とネットワークを介して通信するサーバ３００を示している。

移動装置２００は、運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３、安全性判別部２１０、通知制御部２２１、通知部２２２、通信部２３０、記憶部２４０を有する。
なお、安全性判別部２１０は、図４に示す状況分析部１３３内に構成される安全性判別部１５５に相当する。
安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
サーバ３００は、学習データ取得、生成部３０１、学習処理部３０２、通信部３０３、記憶部３０４を有する。

まず移動装置２００の各構成部の処理について説明する。
運転者情報取得部２０１は、カメラや様々なセンサによって構成され、運転者の情報を取得する。
運転者情報取得部２０１が取得する運転者情報は、例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。
運転者情報取得部２０１が取得するこれらの情報は、例えば運転者の覚醒度を判定するための情報として用いられる。

なお、運転者の覚醒度判定には、上記例は単純化して記述している内容であるが、単純な目や顔などの情報を取得から運転者の詳細状態を判別できるものではなく、事前履歴情報や眼や顔等の詳細挙動解析を行い、階層的にその可観測値から運転者の手動運転復帰に必要な内部覚醒状態の判定を総合的に行う事を行う事を包含する。以下これら、判定に用いる生体情報の幾つかの例を示す。

運転者の覚醒状態を脳内の活動領域観測によりに認知対象や判断対象部位の活動状況を観測する手段として、電気的に電位検出をした脳波観測や赤外線を用いた頭部表層血流観測やｆＭＲＩによる脳内機能評価など大がかりな計測機器がある。ただし、今日の技術で車両に搭載して日常的な一般の利用には程遠い機器であり、実験環境下で心拍波形やＥＯＧなど他の生体との相関とりとそれら生体情報に基づくオフライン学習の利用は限定される。

その他、引き継が突発的に必要になった段階で短期的な覚醒状態判定に直接用いる事は困難であるが、事前に中長期的事前ログ情報を継続的取得する事で、事前に覚醒復帰予測に利用できる情報もある。システムより復帰通知を受けて復帰までに要する時間は、通知を受けた時点での眠りの深さ、疲労蓄積度合、仮眠開始からの経過時間、などなど様々要因で且つ個人特性に応じて復帰に要する時間は変わってくる。これら事前情報は、直接的な復帰時間を与える事は困難であるが、覚醒復帰の影響ファクターとして働くため、取得可能な可観測情報を覚醒復帰時間推定の影響因子として学習に用いる。

運転者情報取得部２０１が取得する運転者情報は、これら運転者の状態に応じてそれらログ取得を行い、更には復帰通知を受けるかまた対象引き継事象接近等のトリガーを元に覚醒状態観測を行っている。長期ログ観測には、例えば腕時計などの様な観測可能機器を運転者が身に付けて利用している場合は車両搭乗前の生活ログを含めてもよく、その場合は事前の休憩状態や睡眠過不足状態の情報も判定の一助に利用できることになる。事前のログ取得を利用できないケースでの通常利用では、利用者が車両に搭乗して、車両に搭載される各種センサより、例えば心電図のローレンツプロット評価から疲労や眠気と言った注意散漫の度合の観測が可能であり、心拍・脈波・血流情報や血圧、更には呼吸、呼気・体臭と言った中長期的変化ログからも緊張状態や疲労状態の推定が可能であり、システムとのヴァーバル（質疑）応答で利用者の発話トーンや応答遅延解析による運転者の状態推定も可能である。更には、顔の表情や下向きや脇見状態の発生など行動解析的手段も採用できる。
また、指示応答特性を見たジェスチャによる俊敏さ評価や活動量と言ったアクティブ評価による状態判別を行っても良い。

運転者情報取得部２０１が取得する運転者情報は、前記事前のログ観測による覚醒復帰影響因子の事前モニタリングを行いつつも、最終的な引継ぎ判定を実行するために、確度の高い内部覚醒状態判別が必要である。運転者が覚醒して自動運転から手動運転に復帰できるという事を、別の視点で見ると、運転者の状況は、時系列に以下のシーケンスに従って変化する。
１．引き継がないといけないという事象が発生している事を認知し、
２．引き継ぎの必要性に伴う必要な状況把握認知をして、
３．通知把握認知が音声通知ならその通知に対する応答があり応答が起床であったり、スイッチによる認知確認であったり、ジェスチャによる応答確認であったり、ハンドルに手を添える行動認知による検出であったり、運転席着座復帰検出であったりする。
４．通常、復帰通知を受けて最終的に復帰姿勢に戻った運転者は、ハンドルヤブレーキやアクセルと言った操舵機器の操作を開始するに先立ち、手動運転復帰に必要な状況把握と精査手順を踏んでから機器操舵を開始する事が想定される為に、主な情報取得手段の一つが視覚的情報取得である。
５．視覚的に状況認知ができると運転者は適切な操舵機器を操り始めるが、安全の為にシステムは瞬間的に一切の操舵を引き継ぐのではなく、運転者の適切な操舵介在と筋力的操舵応答状況まで確認取れる段階への徐々に引き継を進める手順を行う。

運転者情報取得部２０１が取得する運転者情報はこれら一連の過程での観測を行う機能を包含する。
運転者情報取得部２０１が取得する運転者情報は、更に前記視覚的な状況把握を行う事を述べたが、この４．の過程は更に視覚として認知・判断・プラニングを行う事で初めて手動操舵の準備が整う。視線の中心視野に判断に必要な情報を捉えただけでは、運転者は取るべき操舵行動判断とプラニングは出来ない。その為、視線をリスク判断に必要な対象に向けて、通常周辺視野でとらえその方角に中心視野＝視線を向ける為、サケードによる眼球の振り向きの俊敏な動作が発現し、対象を視線の中心視野に来るとその対象の理解を進める為に主に固視（Ｆｉｘａｔｉｏｎ）を開始し、脳内の知識情報をその対象の特徴を捉えながら参照する事で対象の判断が完了すると理解の発火が起こる。そして対象の理解が完了すれば、同時並行的に把握しないといけない次の対象把握を進める新たな方角へ眼球のサッケード動作を行ったり、乃至は捉えた対象の行動判断を進める為に相対的方角移動を打ち消すパーシュート（Ｐｕｒｓｕｉｔ）追尾回転をしたりする。

つまり、これら眼球の視覚情報探索行動として現れる広域サッケード探索、走行に伴う流れを追うパーシュート動作、視線を向けた注目被視体の認知まで視線滞留する固視の際に発生する固視微動とその範囲や揺らぎ安定性と注目点へサッケードを行う滞留時間等などの初期視覚取得から知識認知と認知確定の確認固視微動のサイクルで判断に至ると、つまり判断の発火が起きる僅かな時間遅延が脳内の活動量に影響されその影響が短期的に観測できる現象もある。ここで特に視覚反射行動は、運転者個人が自身の視覚記憶を参照して視覚的に捉え始めたやわい情報からリスク判断を開始し、リスク判断に至るまで無意識の中で判断確定に必要な追加補足情報を固視微動しつつ補っていくことが想定される。その為、サッケードによる眼球の振り向き直後に初期視覚情報を評価して運転行動判断を無意識の内に複雑に繰り返す事で運転継続に必要は判断を確定し、次に確認するべき情報取得の為にサッケードを繰り返すシーケンスが断続的に繰り返していく。そしてこれら一連の眼球挙動は運転操舵に必要な情報取得作業は覚醒認知下での行動となるため、運転が手動復帰に必要な内部覚醒状態の復帰レベルと強く反映した眼球の詳細挙動として発現する。

さらに、運転者情報取得部２０１には、運転者の操作情報を取得する操作情報取得部も含まれる。これらは、例えば運転者の顔画像を撮影するカメラ、各操作部（ハンドル、アクセル、ブレーキ等）の操作情報取得部等によって構成される。

環境情報取得部２０２は、様々な環境情報を取得する。
環境情報取得部２０２が取得する環境情報は、例えば移動装置２００に設置された撮像部による画像、奥行き情報、３次元構造情報、移動体に設置されたＬｉＤＡＲ等のセンサによる地形情報、ＧＰＳによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などである。

運転者個人識別情報取得部２０３は、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証に適用可能な情報を取得する。
なお、図１７に示す運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３の構成は、図４に示す構成では、データ取得部１０２、検出部１３１の各構成に対応する。

安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
個人認証処理部２１３は、運転者個人識別情報取得部２０３の取得した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証情報を入力して個人認証処理を実行する。
この認証処理に必要な登録情報は、記憶部２４０、あるいはサーバ３００から取得する。
例えば、運転者が移動装置である自動車に乗車したときに、個人識別処理としての個人認証が実施される。個人識別後の運転者情報、時刻、運転入力、道路等の環境情報は、常時または定期的に記録され、サーバ３００に送信される。

なお、運転者個人識別情報取得部２０３から入力した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証に適用可能な情報をサーバ３００に送信し、サーバ３００に登録された情報を用いて、サーバ３００において個人認証処理を実行してもよい。

学習処理部２１１は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
具体的には、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。なお、学習器においては運転者固有特性に限定した判別を行うよう学習するだけでは無く、車両特性や環境特性等に応じた特性も学習する。例えば、同一運転者として識別された運転者でも、自家用車による通勤乗用車での操舵特性と職業従事に於ける重量物連結車両の車両挙動特性の安全性を考慮して運転をする際に、走行状況に応じた操舵開始点や制動量なども大きく異なるため、それら安全性に寄与する変動因子の要因学習を行う事で、状況や車両特性を含めた最適化がなされた学習器となる。

なお、学習器とは、機械学習を用いて入出力関係を学習可能な、モデル、アルゴリズム、パラメータ等の集合を指す。統計的学習器、学習モデル、機械学習モデル、統計的学習モデル、予測器、予測モデル、推定器、推定モデル等の様々な呼称があるが、どれも本質的に同じ意味であるため、ここでは学習器という呼称を採用する。具体的な用途に応じて分類器、分類モデル、識別器、識別モデル、回帰学習器、回帰学習モデル、生成モデル等と呼ばれることもあるが、学習器という呼称はそれらの概念を全て包含する上位概念である。

安全性判別処理実行部２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力し、さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用して、現在の運転者情報と環境情報に基づく安全性指標値を算出する。
さらに、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
なお、安全な手動運転復帰までに必要となる時間とは、引き継ぎが求められる地点到着までに、運転者が一定の高い割合で手動運転を開始する為に要する時間に基づいて算出されるが、安全性を直接評価して算出される時間では決して無い。手動運転への復帰準備の開始が求められるタイミングは、該当車両の運動特性や道路環境状況、天候と言った様々な要因に影響を受ける為に、それら影響を取り入れる事で安全性を最大化する事が出来る様になる。

通知制御部２２１は、安全性判別処理実行部２１２の推定した手動運転復帰可能時間に基づいて、先に図２を参照して説明したような手動運転開始要求通知の通知タイミングの制御を行い、通知部２２２を介して通知する。
なお、通知部２２２は、例えばアラーム、ウインドウ上のディスプレイ、ハンドルやシートのバイブレーション処理実行部などによって構成される。
通信部２３０は、サーバ３００等、外部装置との通信を実行する。

次に、サーバ３００の各構成部の処理について説明する。
サーバ３００は、学習データ取得、生成部３０１、学習処理部３０２、通信部３０３、記憶部３０４を有する。

学習データ取得、生成部３０１は、学習器の構築に必要となる学習器の入出力データの取得や生成を行う。具体的には、例えば、ネットワークに接続された様々な移動装置から、「運転者情報」や「環境情報」を取得する。さらに、例えば、地図データ、事故発生状況データや渋滞データ等の、様々な取得可能なデータに基づく学習用データを生成する。なお、ここでは学習器の入出力データと表現したが、これは教師付き学習においては教師データ、訓練データ等と呼ばれるものである。所望の入出力関係を学習することさえできれば、教師なし学習、半教師付き学習、強化学習等の他の手法による学習可能性を除外するものでは無いため、ここでは一般化して学習器の入出力データと称した。
これらのデータは記憶部３０４に格納される。

学習処理部３０３は、学習器の入出力データ取得、生成部３０１が取得または生成し、記憶部３０４に格納した学習器の入出力データを利用した学習処理を実行する。
この学習処理により、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の入出力データの構築を行う。

次に、移動装置２００の安全性判別部２１０の処理の詳細について説明する。
安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
学習処理部２１１は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。

安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力し、さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用して、現在の運転者情報と環境情報に基づく安全性指標値を算出する。
さらに、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。

なお、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、学習器の入出力データが存在せず、学習処理部２１１から学習済みの学習器が取得できない初期状態では、例えば事前に実験的に取得した不特定多数のデータを用いて学習された学習器を記憶部２４０から取得して、この学習器を利用して、安全指標値の算出処理や手動運転復帰可能時間の推定処理を実行する。
あるいは予め規定した固定の手動運転復帰可能時間を推定値として出力する。
なお、不特定多数のデータを用いた学習処理によって生成された学習器はサーバ３００からも取得可能である。

学習処理部２１１における学習処理が実行された後は、その学習器を用いて、入力運転者情報と環境情報に基づく安全指標値の算出処理や、手動運転復帰可能時間の推定処理を実行する。

学習処理部２１１は、例えば、
（ａ）運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報と、
（ｂ）自動運転モードから手動運転モードへの切り替え通知後に、運転者が安全な状態で運転できたか否かの操作情報、
これら（ａ），（ｂ）の情報の対応関係を構築する学習処理を行う。

なお、前述したように、運転者情報取得部１２は、例えば、運転者の覚醒度を判定するための情報取得処理の他、運転者の操作情報、すなわち各操作部（ハンドル、アクセル、ブレーキ等）の操作情報を取得する機能も備えている。

すなわち、学習処理部２１１は、運転者情報と、環境情報を取得し、あるタイミングで先に図２を参照して説明したような、手動運転復帰要求通知を行った後の運転者の運転操作情報を取得して、安全な運転が実行できているか否かを確認する。
安全な運転ができていれば、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを、さらに遅くしてもよいと判断する。
一方、安全な運転ができていなければ、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを早めるべきであると判断する。

学習処理部２１１における学習処理では、このような手動運転復帰要求通知の通知タイミングを決定するための学習器を構築する。
なお、学習処理部２１１における学習処理では、手動運転復帰要求通知の通知タイミングの決定に適用するデータのみならず、ある運転者情報と、環境情報が得られた場合に運転者が安全な手動運転を実行できるか否かの判定処理に適用可能な学習器、すなわち、「運転者情報と環境情報」と、「安全性指標値」とを対応付けた学習器も構築する。
学習器の特徴として、事象発生の都度発生する運転者の復帰通知事前特性からの推移を取得しつつ、（ｂ）運転者が安全な状態で運転できたか否かの操作情報も教師データとして成否判別や引き継ぎ品質評価を行う事で自己完結した学習器を含むシステムとなり，精度の向上をはかることができる。

このように、学習処理部２１１における学習処理では、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に対応付けられた安全性指標値データを得ることができる。
さらに、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に対応する手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）を算出することができる。
この手動運転復帰可能時間に基づいて、運転者に対する手動運転開始要求通知の通知時間を決定することができる。
学習処理部２１１における学習処理の結果データは記憶部２４０に格納される。

記憶部２４０に格納されるデータ（学習器且つ/又は学習器の入出力データ）には、例えば以下のデータが含まれる。
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）（＝手動運転開始要求の最適な先行通知時間）、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
学習器、
これらのデータを記憶部２４０に蓄積することができる。

記憶部２４０に蓄積されたデータは、定期的にサーバ３００に送信される。
サーバ３００は、移動装置２００から受信するデータを記憶部３０４に格納するとともに、学習データ生成部３０１において、さらに受信データに基づく学習処理を行う。
サーバ３００は、多数の移動装置（自動車）から大量のデータを受信し、これら大量のデータに基づく学習処理を行うことが可能となる。この結果、より汎用性の高い、かつ確実性の高い入出力データ(学習器)を得ることが可能となる。
サーバ３００は、大量のデータに基づく学習処理により、学習器を更新しサーバ３００の記憶部３０４に格納する。

サーバ３００の記憶部３０４に格納される学習器には、上述した移動装置２００の記憶部２４０に格納されるデータと同様のデータが含まれる。すなわち、
学習器、
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）（＝手動運転開始要求の最適な先行通知時間）、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
これらのデータが、サーバ３００の記憶部３０４に格納される。

これら、サーバ３００の記憶部３０４に格納される学習器は、随時、移動装置２００に提供され、移動装置２００の安全性判別部２１０の安全性判別処理部２１２において、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に基づく安全性指標値や、手動運転復帰可能時間等の算出に利用される。

なお、学習処理部２１１は、学習データに個人識別情報や、車種情報、あるいは時間情報等を含めることで、個人や自動車（車種等）や時間に対応付けた安全性指標値や、手動運転復帰可能時間を予測可能な学習器を生成することができる。
個人識別情報は、個人認証処理部２１３を介して取得可能である。
車種情報は、環境情報取得部２０２から取得可能である。あるいは予め記憶部に格納したデータを利用する構成としてもよい。

安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、学習処理部２１１の学習処理の結果として算出された学習器を適用して手動運転復帰可能時間を取得して、取得した手動運転復帰可能時間に基づく手動運転復帰要求通知を行う。

さらに、学習処理部２１１は、この通知後の運転者の運転動作情報を運転者情報取得部２０１、環境情報取得部２０２から取得して、正常な運転が実行されているか否かを判定する。
この判定に基づいて、例えば、異常が見られる頻度が高い場合には通知時刻を早め、異常が見られる頻度が低い場合には通知時刻を遅めるといった出力が可能となるように学習器の更新且つ/又は再学習を行う。この更新/又は再学習処理によって、通知時間制御を行うことも可能となる。

次に、移動装置２００の安全性判別部２１０の安全性判別処理部２１２において実行する手動運転復帰可能時間の推定処理の具体例について説明する。

前述したように、自動運転中、運転者は様々な処理（２次タスク）を行うことができ、実行している２次タスクに応じて覚醒度が大きく異なることになる。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。これらの処理の違いにより、運転者の覚醒度（意識レベル）は異なるものとなる。

例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。

従って、安全性判別処理部２１２において実行する手動運転復帰可能時間の推定処理を行うためには、運転者情報取得部２０１が、自動運転実行時の運転者の２次タスク実行状況を確認可能な情報を取得し、学習処理部２１１において、これらのデータを用いた学習処理を行うことが好ましい。

このための運転者情報取得部２０１の構成として、車内を観測するために設置されたカメラ、ハンドルや座席に設置された圧力センサ、温度センサなどを含めることが好ましい。
学習処理部２１１は、カメラから得た画像を用いて、顔認証、頭部姿勢推定、視線推定、身体姿勢推定、行動識別した結果を算出し、これらのデータを学習処理に利用する。

２次タスク実行時には、自動運転状態に取得した入力情報であることがわかるよう、付加情報を与えた形で管理する。２次タスクから復帰する際には、何らかの方法で算出された復帰可能時間の分だけ前に運転者に情報提示し、手動運転状態に戻って貰う必要がある。手動運転復帰可能時間推定のためのデータが十分に集まっていない時点では、確実に復帰が可能となる時間で復帰通知を行う必要があり、個人の特性が未学習で有るためにその情報に依らない固定の定義時間を利用して情報を提示する。この固定の定義時間とは、例えば多様な運転者人口の利用実績データより統計的に評価して、評価利用者が一定の割合で引き継ぎが成功できた時間を事前に取得し、その事前に収集した復帰遅延時間のドライバ人口平均をオフライン等で事前に学習させた得た統計的なデータより、目的とする成功率で復帰するための定義時間を設定してもよい。

また、この定期時間を利用するに当たり、初めてシステムを利用するユーザーは慎重で有るため、その特性加味したオフセット設定をおこなってもよい。
その際、情報提示から手動運転に復帰するまでの時間を引き継ぎ事象が発生する都度計測し、手動運転復帰可能時間として記録ログとして記録収拾する。

また、手動運転に復帰したという判定をする際、事前の学習結果を参考にしてもよい。同様の施行を繰り返すと、特定の個人と車両に関する、復帰可能時間推定のためのデータを収集することができる。
安全性指標値の推定や、手動運転復帰可能時間推定のためのデータが十分に集まった場合、例えば、以下の入出力データを利用した機械学習処理により、安全性指標値や、最適な復帰可能時間を予測する学習器を構築することができる。
入力：運転者情報や、環境情報等
出力：安全性指標値や、手動運転復帰可能時間

また、固有認証された固有復帰特性には、運転者の過去の運転経験や環境条件に応じて復帰時間が異なることもある。例えば雨天の視界の悪い状況、夜間状況、逆光下の視界障害を行けた状態、早朝や夕方の累積疲労がたまった状況、または同じ運転者であっても通勤時自家用車利用の際の行動、乗務大型乗合バスや貨物積載車両の車両特性など、状況に応じて復帰に取り掛かり復帰に要する時間も一意ではない。以下、これら多くの状況要因ファクターはその一例であり、それら要因を大きく２つに分類してまとめて「運転者情報」や「環境情報」として呼称する。

次に、移動装置２００の学習処理部２１１、およびサーバ３００の学習処理部３０２において実行する学習処理のシーケンス例について、図１８に示すフローチャートを参照して説明する。

先に説明したように、移動装置２００の学習処理部２１１、およびサーバ３００の学習処理部３０２は、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。

まず、ステップＳ２１において、「運転者情報」や「環境情報」を入力する。
次に、ステップＳ２２において、手動運転開始要求通知によって開始される手動運転開始後の運転者の操作情報を運転者情報取得部から取得し、安全な操作が行われているか否かに応じた安全性指標値を算出する。

前述したように、運転者情報取得部１２は、運転者の覚醒度を判定するための情報取得処理の他、運転者の操作情報、すなわち各操作部（ハンドル、アクセル、ブレーキ等）の操作情報を取得する機能も備えている。

なお、ステップＳ２２の安全性指標値算出処理においては、運転者の操作情報のみならず、例えば、具体的な事象対処情報や事故情報を用いて安全性指標値を算出する処理を行ってもよい。例えば、「運転者情報」、「環境情報」の他、時刻や道路情報に対応する事象対処情報等を用いて安全性指標値を算出する構成としてもよい。事象対処情報とは、運転者の的確な操舵判断評価レベルとして運転操舵状況の継続モニタリングすることを通し、例えば車両が車線から逸れる走行が開始されたらその補正のハンドル操作が適切なタイミングで行われているか、または定常時観測に対して遅延が見られないか、オーバー補正動作が発生していないか、補正刻み間隔の発生が不規則になり始めていないか等、変動振幅やステイアリング補正の際の発生加速度変化など総合的操舵安定性評価を継続的に行う。

システムが一旦運転者に車両システムの制御を委ね始めると、運転者はハンドルやブレーキやアクセルと操舵意図入力が行われる為、システムはスアリングの上記補正操舵の例で分かるように、システムが操舵上望ましいと判断さる理想時速走行制御と運転者による制御の差違評価が開始できるため、運転者の操舵妥当性から運転者の覚醒度復帰レベルの定量化評価が可能となる。システムが完全に操舵介在を完了するのは、運転者にシステム制御が委ねられた段階であり、その結果システムはその引継ぎ開始前の運転者状態、車両状態、環境状態等のいわゆる「運転者情報」、「環境情報」の履歴と成否または正常引き継ぎに要した実際の遅延時間や引き継ぎ開始時の操舵の質評価ログ、更に完全回復に要した復帰挙動特性変化カーブなどログデータセットが得られる。

次のステップＳ２３では、入力情報（運転者情報、環境情報等）と、安全性指標値との対応データから構成される入出力データを生成、学習器を更新する。発生事象が走行計画時の予定引き継ぎもあれば、走行時刻中に新たに発生する事象もあればそれら区別は必ずしも必要では無く、繰り返し車両の利用に伴い発生する復帰前事前取得観測値と引き継ぎ結果の良否判定更には成功、回避と質判定のログのセットが学習データセットとして取得される。
ステップＳ２１～Ｓ２３の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報（運転者情報、環境情報等）と、安全性指標値との対応データから構成される学習器が、順次、更新される。

ステップＳ２４の処理は、サーバ３００の学習処理部３０２において学習器の構築が行われた場合の処理である。
ステップＳ２４では、サーバ３００の生成した最新の学習器を移動装置（自動車）に送信する。

なお、図１８に示すフローは、「運転者情報、環境情報等」と、「安全性指標値」との対応データから構成される学習器の生成処理フローであるが、さらに、「運転者情報、環境情報等」に、「手動運転復帰可能時間」を対応付けた入出力データに対する学習器を生成する場合の処理シーケンスについて、図１９に示すフローを参照して説明する。

まず、ステップＳ３１において、「運転者情報」や「環境情報」を入力する。
次に、ステップＳ３２において、手動運転開始要求通知時間から手動運転開始までの時間を計測する。

次に、ステップＳ３３において、手動運転開始後の運転者の操作情報を運転者情報取得部から取得し、安全な操作が行われているか否かに応じた安全性指標値を算出する。
なお、ステップＳ３３の安全性指標値算出処理においては、運転者の操作情報のみならず、例えば、具体的な事故情報を用いて安全性指標値を算出する処理を行ってもよい。例えば、「運転者情報」、「環境情報」の他、時刻や道路情報に対応する事故情報等を用いて安全性指標値を算出する構成としてもよい。

次のステップＳ３４では、手動運転開始後の操作情報に基づく安全性指標値を一定値以上（安全）にするために必要な、通知時間から手動運転開始時間までの経過時間（手動運転復帰可能時間）を算出する。

次のステップＳ３５では、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データから構成される入出力データを生成、学習器を更新する。
ステップＳ３１～Ｓ３５の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データを用いて構成される学習器が、順次、更新される。

ステップＳ３６の処理は、サーバ３００の学習処理部３０２において学習器の構築が行われた場合の処理である。
ステップＳ３６では、サーバ３００の生成した最新の学習器を移動装置（自動車）に送信する。

この学習器構築処理によって生成される学習器の入出力データの例を図２０に示す。
図２０に示すデータは、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データから構成される、学習器の入出力データである。
なお、運転者情報、環境情報には、複数の異なるセンサによって取得される複数の観測値（パラメータ）が含まれる。
すなわち、運転者情報や、環境情報は、複数のパラメータのセットによって構成される。

図２０に示す例における安全性指標値は、０（危険）～１（安全）の０から１の値によって設定された例である。
これは一例であり、前述したように、０（危険）と１（安全）の２値設定や、さらにその他の数値範囲を適用することも可能である。
手動運転復帰可能時間推定値は、先に説明した図１９のフローのステップＳ３４の処理において算出された時間である。すなわち、手動運転開始後の操作情報に基づく安全性指標値を一定値以上（安全）にするために必要な、通知時間から手動運転開始時間までの経過時間（手動運転復帰可能時間）の算出値である。

図１７に示す安全性判別部２１０の安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、このような学習器を利用して、運転者情報と、環境情報等の入力情報に対応する安全指標値や手動運転復帰可能時間を推定する。

学習器を適用した手動運転復帰可能時間の推定処理は、例えば、以下のような処理として行われる。
安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力する。
さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器、すなわち図２０に示すデータ構成を有する入出力データを用いて学習された学習器を利用し、現在の運転者情報と環境情報に基づいて、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。

なお、図２０に示すデータは、「運転者情報と環境情報」と、「安全性指標値と手動運転復帰可能時間」との対応データから構成されるが、これは一例であり、例えば、データに個人識別情報や、車種情報、あるいは時間情報等を含めることで、個人や自動車（車種等）や時間に対応付けた安全性指標値や、手動運転復帰可能時間を持つ学習器を生成することができる。

また、同じ人物が別の車種等、異なる車両に乗った場合にも、車両毎の入力情報の対応関係を与えることで同様の手動運転復帰時間推定が可能であるが、その車両での情報を新たに収集して追加学習することで、更に予測精度を上げることができる。本技術は、個人に適応した復帰可能時間予測だけでなく、車両に適応した手動運転復帰可能時間予測にも応用できる。

また、１つの車両に複数の人物が乗車する場合、その車両に乗車する運転者と同乗者のメンバーに対応付けた復帰可能時間推定値を算出する学習器を構築してもよい。
このような構成とすることで、車両に乗車する運転者と同乗者のメンバーに応じた最適な手動運転復帰可能時間を予測することが可能となる。

このように、運転者個人の情報として運転者の運転履歴、事故履歴、手動運転開始後の運転操作情報、自動車の種類情報等も考慮した処理や、乗員の人数や、積載している貨物に関する情報も利用した学習処理をおこなうことで、様々な状況に応じた学習器が生成可能となる。
なお、多くの種類の情報を利用する場合、データ特性に応じて、事前学習用と、オンライン学習用とに分けて利用する構成としてもよい。

［６．本開示の移動装置、情報処理装置の実行する処理のシーケンスについて］
次に、本開示の移動装置、情報処理装置の実行する処理のシーケンスについて説明する。

図２１に示すフローチャートは、本開示の移動装置である自動車が、自動運転モードから手動運転モードへ切り替える際に実行する処理のシーケンスの一例を説明するフローチャートである。

ステップＳ４１において、移動装置は、自動運転モードから手動運転モードへの切り替え要求の発生事象を観測する。
この観測情報は、例えば道路環境のＬＤＭ情報に基づいて取得される。
すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報に基づいて取得される。
具体例として、例えば、ＬＤＭに基づいて、高速道路から一般道への侵入が開始される予定が取得された場合、自動運転モードから手動運転モードへの切り替え要求の発生事象であると判定する。

次に、ステップＳ４２において、観測値を取得する。この観測値取得処理は、例えば、図１７に示す運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３において行われる。なお、これらの構成は、図４に示す構成では、データ取得部１０２、検出部１３１の各構成に対応する。

先に説明したように、運転者情報取得部２０１は、カメラや様々なセンサによって構成され、運転者の情報、例えば運転者の覚醒度を判定するための情報を取得する。例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。運転者情報取得部２０１は、さらに、運転者の各操作部（ハンドル、アクセル、ブレーキ等）の操作情報も取得する。

環境情報取得部２０２は、例えば移動装置に設置された撮像部による画像、奥行き情報、３次元構造情報、移動体に設置されたＬｉＤＡＲ等のセンサによる地形情報、ＧＰＳによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などを取得する。

次に、ステップＳ４３において、取得された観測値に基づいて、手動運転復帰可能時間を算出する。
この処理は、図１７に示す安全性判別部２１０の安全性判別処理実行部（手動運転復帰可能時間推定部）２１２の実行する処理である。

安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力する。さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用し、現在の運転者情報と環境情報に基づいて、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。

ここで、利用する学習器は、例えば先に図２０を参照して説明した入出力データを用いて学習された学習器である。
なお、先に説明したように、１２に示すデータは、「運転者情報と環境情報」と、「安全性指標値と手動運転復帰可能時間」との対応データから構成される学習器の入出力データである。
図２０には、入力情報の組み合せを想定した運転者情報と環境情報の組み合せを基本に具体的なパラメータを組み合せしテーブル化して例として示しているが、実際には固有の組み合せ事象の発生頻度はそう多くなく、事象の発生の都度色々な経緯や状態の組み合わせとして発生するため、多次元入力の情報であり、また常に運転者の事前状態を示す情報のログが有るとも限らない。そして、同じ生体情報の観測値であっても個人固有の体質や仕草、経験・記憶等により取得視覚情報から判断に至る判断遅延には多くの個人差が表れる。

多様な条件による判定をより正確に導く為に、運転者情報と安全性指標の組からなるデータ群を利用して、学習によって安全性判別器を更新する。学習の手法としては、例えばSupport Vector Machine, Boosting, Convolutional Neural Network, Deep Belief Network, Long Short-Term Memory などが考えられる。更新の際には、事前学習用のデータ群に新たに取得されたデータ群を加えて再学習したり，オンライン学習を用いたりしても良い。

安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、図２０に示すデータを用いて学習された学習器を用いて、運転者情報と環境情報を入力として出力することで予測する。或いは、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報の各パラメータに最も近いパラメータを持つエントリを図２０に示すデータから選択し、その選択されたエントリに設定された手動運転復帰可能時間推定値を取得するような、簡易的な方法を用いても良い。

なお、手動運転復帰可能時間の推定処理に際して利用する学習器は、運転者毎、あるいは自動運転実行中の２次タスクの種類を観測情報に含めた設定とすることも可能である。
この場合、現在運転している運転者の個人識別情報と、現在実行中の２次タスクの種類の情報を観測情報として利用した処理（手動運転復帰可能時間推定処理）が行われる。

図２２（ａ）は、観測値に相当する可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の複数の関係情報（観測プロット）の分布の一例を示している。この例は、ある運転者のある２次タスクの種類に対応したものである。この複数の関係情報（観測プロット）から復帰遅延時間を算出するために、取得された観測値に対応した評価値方向に一定の幅を持つ領域（破線矩形枠で示している）内の関係情報（観測プロット）を抽出する。図中の点線ｃは、後述の図２２（ｂ）の復帰成功率が０．９５となる復帰遅延時間を、運転者の異なる観測値で観測した際の境界線を表している。

点線ｃより長い、つまり早い猶予時間で運転者に自動から手動の復帰通知や警報を出す事により、運転者の自動から手動復帰が、０．９５以上の割合で成功する事が担保される領域となる。なお、該当毎に自動運転から手動運転に運転者が正常に復帰する目標値（Ｒｅｑｕｅｓｔ ｆｏｒ Ｒｅｃｏｖｅｒｙ Ｒａｔｉｏ）は、例えば、道路側によりインフラの必要性から定められ、個別の区間通過車両に提供される。
なお、走行道路に車両が停車しても周囲へ阻害要因とならないケースであれば、車両を停車してシステムが対処できる速度まで減速して対処をすればよい。通常なら走行道路での停車は必ずしも好ましいケースは多くないため、デフォルト設定として高い復帰率が望ましく、特に首都高速道路などの特定ルートでは敢えてインフラより更新情報が与えられなくとも極めて高い復帰成功率がデフォルトで求められるケースもある。

図２２（ｂ）は、抽出された複数の関係情報（観測プロット）で得られる復帰遅延時間と復帰成功率との関係を示している。ここで、曲線ａは各復帰遅延時間における単独成功率を示し、曲線ｂは各復帰遅延時間における累積成功率を示している。この場合、曲線ｂに基づいて、所定の割合の成功率、図示の例においては成功率が０．９５となるように、復帰遅延時間ｔ１が算出される。

この算出処理は、例えば、先に図１７を参照して説明した安全性判別部２１０において実行される。例えば、記憶部２４０に格納されている過去に取得された可観測評価値と復帰遅延時間の複数の関係情報（観測プロット）の分布情報を利用して、安全性判別部２１０で行われる。

図２３は、自動運転モードにおいて運転者が、運転操舵作業から離脱状態にある時に実行している処理（２次タスク）の種類に応じた手動運転復帰可能時間について説明する図である。

個々の分布プロファイルが、図２２（ｂ）で示す、観測値、すなわち運転者状態に基づいて予測される曲線ａに相当する。つまり、必要な復帰確率で自動運転から手動運転に引き継ぎ点で完了するためには、各段階で検出される運転者の覚醒度合いを評価可能な観測値から、運転者が復帰に要する過去の特性を参照してそのプロファイル（図２２（ｂ）の復帰成功率プロファイル）が所望の値となる時刻ｔ１を元に実際に復帰に必要な状態に各復帰段階で達しているかを引き継ぎが完了するまでモニタリングして行く。

例えば、仮眠している場合の初期曲線は、自動運転で仮眠期間中にパッシブモニタリングしていた呼吸や脈波等の観測情報から睡眠レベルを推測し、覚醒警報発報後に該当運転者の復帰遅延特性を見た累計の平均的分布となる。目が覚めてその後の移動復帰手順中で観測された運転者状態に応じて、途中の各分布は決まっていく。図に示す「６．仮眠している場合」を観測して覚醒警報が間に合う右のタイミングが決定し、その後の途中行程は予測中間点の可観測運転者状態評価値から予測される復帰バジェットの中での復帰時間分布となる。

途中途中で、引き継まで順次減っていく残存引き継ぎ限界タイムリミットに違反しない事を観測し続け、違反リスクがある場合は、減速して時間猶予生成などを行う。なお、例えば「６．仮眠している場合」、「５．着座」のステップが無い中で、「４．非運転姿勢イレギュラー回転着座」からスタートする復帰の際の分布は、初めの状況認知把握から復帰のプロセスが開始されるので、同じ項目でも「６．仮眠している場合」から始めた途中経過としての状態「４．非運転姿勢イレギュラー回転着座」姿勢は同じになっても思考過程が復帰意識過程にあり、初めから「４．非運転姿勢イレギュラー回転着座」姿勢で状況認知から開始する場合には、状況認知の時間を要するために長くなる。

なお、現在運転している運転者の可観測評価値と復帰遅延時間との関係情報が記憶部に十分に蓄積されていない場合もある。その場合には、記憶部には例えば同年代の運転者人口から収集された情報に基づき生成された復帰特性情報として、予め備えた復帰の想定分布情報として利用して、復帰遅延時間ｔ１の算出を行うことができる。この復帰情報は、運転者固有特性がまだ十分に学習されていないため、その情報を元に同一の復帰確率で利用しても良く、またはより高い復帰成功率を設定しても良い。なお、人間工学的に見て不慣れな利用者はより慎重になる事から利用初期に早期の復帰が見込まれ、利用に慣れるに従いシステムの通知に合わせた行動に運転者自身が適合していく。なお、多数の車両を運行する物流業、バスやタクシーなどの運行業、更にはシェアリングカーやレンタル自動車で異なる車両を利用する場合、運転者の個人認証を行い遠隔サーバ等で運転の可観測情報と復帰特性を集中または分散して管理や学習し、個別車両に必ずしも復帰特性のデータを保持せず、遠隔学習処理や保持をしても良い。
また、通知タイミングが重要となる事から、復帰成功率は一律の成否までの時間として説明をしているが、自動運転から手動運転の成否を２値的な成否に限定せず、復帰引き継ぎ品質に拡張した判別を更に行っても良い。つまり、実際の復帰確認に至る
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。

図２１に戻って、ステップＳ４４において、ステップＳ４３で算出された復帰遅延時間で決まる通知タイミング、つまり引継ぎ対象事象（自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間）が復帰遅延時間に迫ってきたタイミングで、運転者に運転復帰するように促すための通知を実行する。この通知は、例えば先に図２を参照して説明したような表示処理として実行される。あるいは音声出力やハンドルやシートのバイブレーションとして実行してもよい。例えば、運転者が仮眠している場合には、運転者が寝ている状態から起こすための通知方法が選択される。

次に、ステップＳ４５において、運転者の復帰推移をモニタリングする。そして、ステップＳ４６において、ステップＳ４５におけるモニタリング結果に基づいて、復帰遅延時間内に運転復帰可能か否かが判断される。運転復帰が可能であると判断されるとき、ステップＳ４７において、運転者の運転復帰が行われる。その後、ステップＳ４８において、学習データの更新が行われる。つまり、上述の運転復帰がなされたときの初期の運転者の２次タスクの種類に関して可観測評価値と実際の復帰遅延時間の関係情報（観測プロット）のサンプル値が１つ追加される。その後、ステップＳ５０において、処理が終了される。なお、本実施例では学習はこのイベント都度に発生するプロットデータに限定して記載しているが、実際には事象発生までに前の状態（履歴）に大きく依存して決まるため、多次元的学習を行う事で運転者状態観測値からの復帰遅延所要時間の推定精度の向上をさらにおこなってもよい。

また、ステップＳ４６で運転復帰が不可能であると判断されるとき、ステップＳ５１で減速徐行退避シーケンスの始動から停車までが実行される。次に、ステップＳ５２において、引継不備事象のペナルティの記録が発行され、処理が終了される。なお、このペナルティの記録は記憶部に残される。

［７．情報処理装置の構成例について］
上述した処理は、図４を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置においてし実行することが可能である。
図２４を参照して、このような情報処理装置のハードウェア構成例について説明する。

図２４は、情報処理装置のハードウェア構成例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。
なお、入力部５０６には、センサ５２１からの入力情報も入力される。
また、出力部５０７は、移動装置の駆動部５２２に対する駆動情報も出力する。

ＣＰＵ５０１は、入力部５０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 運転者情報と環境情報を入力して、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有する情報処理装置。

（２） 前記安全性判別部は、
前記運転者情報と前記環境情報を入力して、自動運転中の車内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する（１）に記載の情報処理装置。

（３） 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記安全性指標値とを対応付けた学習器を生成し、
生成した学習器を適用して、前記安全性指標値の算出を実行する（１）または（２）に記載の情報処理装置。

（４） 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間を推定する（２）に記載の情報処理装置。

（５） 前記情報処理装置は、さらに、
サーバとの通信を行う通信部を有し、
（ａ）前記運転者情報および前記環境情報、
（ｂ）前記安全性指標値、または自動運転中の車内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間の少なくともいずれか、
上記（ａ），（ｂ）のデータを対応付けた学習器を前記サーバから取得する（１）～（４）いずれかに記載の情報処理装置。

（６） 前記運転者情報は、運転者の覚醒度を算出可能な情報である（１）～（５）いずれかに記載の情報処理装置。

（７） 前記運転者情報は、眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情の少なくともいずれかの情報を含む（１）～（６）いずれかに記載の情報処理装置。

（８） 前記運転者情報は、自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である（１）～（７）いずれかに記載の情報処理装置。

（９） 前記環境情報は、撮影画像、奥行き情報、３次元構造情報、ＬｉＤＡＲ取得情報、地形情報、位置情報の少なくともいずれかを含む（１）～（８）いずれかに記載の情報処理装置。

（１０） 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間の算出を実行する構成であり、
前記情報処理装置は、
さらに、前記安全性判別部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する（１）～（９）いずれかに記載の情報処理装置。

（１１） 前記通知部は、
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される（１０）に記載の情報処理装置。

（１２） 移動装置の運転者情報を取得する運転者情報取得部と、
前記移動装置の環境情報を取得する環境情報取得部と、
前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有する移動装置。

（１３） 前記安全性判別部は、
前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する（１２）に記載の移動装置。

（１４） 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記安全性指標値とを対応付けた学習器を生成し、
生成した学習器を適用して、前記安全性指標値の算出を実行する（１２）または（１３）に記載の移動装置。

（１５） 前記安全性判別部は、
学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
生成した学習器を適用して、前記手動運転復帰可能時間を推定する（１３）に記載の移動装置。

（１６） 前記移動装置は、
さらに、前記安全性判別部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで、通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する（１５）に記載の移動装置。

（１７） 前記通知部は、
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される（１６）に記載の移動装置。

（１８） 情報処理装置において実行する情報処理方法であり、
安全性判別部が、運転者情報と環境情報を入力して、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行する情報処理方法。

（１９） 移動装置において実行する情報処理方法であり、
運転者情報取得部が、前記移動装置の運転者情報を取得する運転者情報取得ステップと、
環境情報取得部が、前記移動装置の環境情報を取得する環境情報取得ステップと、
安全性判別部が、前記運転者情報と前記環境情報を入力して、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別ステップを実行する情報処理方法。

（２０） 情報処理装置において情報処理を実行させるプログラムであり、
安全性判別部に、運転者情報と環境情報を入力させて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、運転者情報と環境情報を入力して、自動運転中の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値や、手動運転復帰可能時間を推定する構成が実現される。
具体的には、例えば、自動車等の移動装置の運転者情報を取得する運転者情報取得部と、移動装置の環境情報を取得する環境情報取得部と、運転者情報と環境情報を入力して、自動運転中の移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を学習し、算出する安全性判別部を有する。安全性判別部は、さらに、自動運転中の前記移動装置内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する。
本構成により、運転者情報と環境情報を入力して、自動運転中の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値や、手動運転復帰可能時間を推定する構成が実現される。

１０・・自動車，１１・・データ処理部，１２・・運転者情報取得部，１３・・環境情報取得部，１４・・通信部，１５・・通知部，２０・・運転者，３０・・サーバ，１００・・移動装置，１０１・・入力部，１０２・・データ取得部，１０３・・通信部，１０４・・車内機器，１０５・・出力制御部，１０６・・出力部，１０７・・駆動系制御部，１０８・・駆動系システム，１０９・・ボディ系制御部，１１０・・ボディ系システム，１１１・・記憶部，１１２・・自動運転制御部，１２１・・通信ネットワーク，１３１・・検出部，１３２・・自己位置推定部，１３３・・状況分析部，１３４・・計画部，１３５・・動作制御部，１４１・・車外情報検出部，１４２・・車内情報検出部，１４３・・車両状態検出部，１５１・・マップ解析部，１５２・・交通ルール認識部，１５３・・状況認識部，１５４・・状況予測部，１５５・・安全性判別部，１６１・・ルート計画部，１６２・・行動計画部，１６３・・動作計画部，１７１・・緊急事態回避部，１７２・・加減速制御部，１７３・・方向制御部，２０１・・移動装置，１８１・・走行区間表示，１８２・・タブレット，２０１・・運転者情報取得部，２０２・・環境情報取得部，２０３・・運転者個人識別情報取得部，２１０・・安全性判別部，２１１・・学習処理部，２１１・・安全性判別処理実行部（手動運転復帰可能時間推定部），２１３・・個人認証処理部，２２１・・通知制御部，２２２・・通知部，２３０・・通信部，２４０・・記憶部，３００・・サーバ，３０１・・学習データ取得、生成部，３０２・・学習処理部，３０３・・通信部，３０４・・記憶部，５０１・・ＣＰＵ，５０２・・ＲＯＭ，５０３・・ＲＡＭ，５０４・・バス，５０５・・入出力インタフェース，５０６・・入力部，５０７・・出力部，５０８・・記憶部，５０９・・通信部，５１０・・ドライブ，５１１・・リムーバブルメディア，５２１・・センサ，５２２・・駆動部

Claims (19)

1. 運転者情報と環境情報を用いて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有し、
   前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である情報処理装置。
2. 前記安全性判別部は、
   前記運転者情報と前記環境情報を用いて、自動運転中の車内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する請求項１に記載の情報処理装置。
3. 前記安全性判別部は、
   学習処理を実行して、前記運転者情報および前記環境情報と、前記安全性指標値とを対応付けた学習器を生成し、
   生成した学習器を適用して、前記安全性指標値の算出を実行する請求項１に記載の情報処理装置。
4. 前記安全性判別部は、
   学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
   生成した学習器を適用して、前記手動運転復帰可能時間を推定する請求項２に記載の情報処理装置。
5. 前記情報処理装置は、さらに、
   サーバとの通信を行う通信部を有し、
   （ａ）前記運転者情報および前記環境情報、
   （ｂ）前記安全性指標値、または自動運転中の車内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間の少なくともいずれか、
   上記（ａ），（ｂ）のデータを対応付けた学習器を前記サーバから取得する請求項１に記載の情報処理装置。
6. 前記運転者情報は、運転者の覚醒度を算出可能な情報である請求項１に記載の情報処理装置。
7. 前記運転者情報は、眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情の少なくともいずれかの情報を含む請求項１に記載の情報処理装置。
8. 前記環境情報は、撮影画像、奥行き情報、３次元構造情報、ＬｉＤＡＲ取得情報、地形情報、位置情報の少なくともいずれかを含む請求項１に記載の情報処理装置。
9. 前記安全性判別部は、
   学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
   生成した学習器を適用して、前記手動運転復帰可能時間の算出を実行する構成であり、
   前記情報処理装置は、
   さらに、前記安全性判別部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する請求項１に記載の情報処理装置。
10. 前記通知部は、
    表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される請求項９に記載の情報処理装置。
11. 移動装置の運転者情報を取得する運転者情報取得部と、
    前記移動装置の環境情報を取得する環境情報取得部と、
    前記運転者情報と前記環境情報を用いて、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別部を有し、
    前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である移動装置。
12. 前記安全性判別部は、
    前記運転者情報と前記環境情報を用いて、自動運転中の前記移動装置内の運転者が安全な手動運転を開始可能となるまでの時間である手動運転復帰可能時間を推定する請求項１１に記載の移動装置。
13. 前記安全性判別部は、
    学習処理を実行して、前記運転者情報および前記環境情報と、前記安全性指標値とを対応付けた学習器を生成し、
    生成した学習器を適用して、前記安全性指標値の算出を実行する請求項１１に記載の移動装置。
14. 前記安全性判別部は、
    学習処理を実行して、前記運転者情報および前記環境情報と、前記手動運転復帰可能時間とを対応付けた学習器を生成し、
    生成した学習器を適用して、前記手動運転復帰可能時間を推定する請求項１２に記載の移動装置。
15. 前記移動装置は、
    さらに、前記安全性判別部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで、通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する請求項１４に記載の移動装置。
16. 前記通知部は、
    表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される請求項１５に記載の移動装置。
17. 情報処理装置において実行する情報処理方法であり、
    安全性判別部が、運転者情報と環境情報を用いて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行し、
    前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である情報処理方法。
18. 移動装置において実行する情報処理方法であり、
    運転者情報取得部が、前記移動装置の運転者情報を取得する運転者情報取得ステップと、
    環境情報取得部が、前記移動装置の環境情報を取得する環境情報取得ステップと、
    安全性判別部が、前記運転者情報と前記環境情報を用いて、自動運転中の前記移動装置内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する安全性判別ステップを実行し、
    前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報である情報処理方法。
19. 情報処理装置において情報処理を実行させるプログラムであり、
    安全性判別部に、運転者情報と環境情報を用いて、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否かを示す安全性指標値を算出する処理を実行させ、
    前記運転者情報は自動運転モードから手動運転モードへのモード切り替え後の運転者の操作情報を含む情報であるプログラム。

Images