JP7831441B2 - 制御装置 - Google Patents

Description

本開示は、自動運転車両等の移動体の制御技術に関する。

特許文献１には、訓練済みのニューラルネットワークを使用して、ルート、ＧＰＳデータ及びセンサデータから車両のコマンドを決定するように構成された自律的車両制御のためのシステムが提案されている。

特表２０１９－５３３８１０号公報

本開示の目的の一つは、モデル変更に起因する自動制御の不適合の増加を抑えるための制御技術を提供することである。

本開示の第１態様に係る制御装置は、第１制御モデル及び第２制御モデルを記憶する記憶部、並びに制御部を備える。前記第１制御モデルは、前記第２制御モデルに対して新たに配備されたものである。前記制御部は、前記第１制御モデルを使用することで第１パスを生成すること、前記第２制御モデルを使用することで第２パスを生成すること、生成された前記第１パス及び前記第２パスの間の乖離を適合性基準で評価すること、前記乖離を評価した結果を反映して、前記第１パス及び前記第２パスから最終パスを生成すること、並びに生成された前記最終パスに従って、移動体の移動を制御することを実行するように構成される。前記適合性基準は、ユーザによる介入の操作が行われないほど前記第１パスを優先して前記最終パスが生成され、当該ユーザによる介入の操作が行われるほど前記第２パスを優先して前記最終パスが生成されるように、当該ユーザのフィードバックにより調整される。なお、第１制御モデル及び第２制御モデルの少なくとも一方には、ニューラルネットワークにより構成されてよく、機械学習の手法には深層学習が用いられてよい。

本開示によれば、モデル変更に起因する自動制御の不適合の低減を期待することができる。

図１は、本開示が適用される場面の一例を模式的に示す。 図２は、本開示の介入履歴のデータ構成の一例を模式的に示す。 図３は、本開示の制御装置のハードウェア構成の一例を模式的に示す。 図４は、本開示の制御装置による制御に関する処理手順の一例を示す。

従来、ルールベースによる自動運転システムが知られている。また、特許文献１等の方法によれば、訓練済み機械学習モデルを使用することで、自動運転システムを構築することができる。しかしながら、本件発明者は、これらの従来の方法には、次のような問題点があることを見出した。例えば、ルールベースモデルから機械学習モデルに変更する、機械学習モデルを更新する等のモデル変更を行う場面を想定する。このモデル変更により、
同一環境下における制御指示（パス）の内容は変わり得る（例えば、車線変更を実行するタイミングが変わる等）。場合によっては、モデル変更により、指示内容が大きく変わる可能性がある。例えば、モデルの構造を変更する（例えば、ルールベースモデルから機械学習モデルに変更する、異なる構造の機械学習モデルを採用する等）、大量の新たな訓練データを追加学習又は再学習する等の大きなモデル変更が行われた場合に、指示内容が大きく変わる可能性が高い。このような指示内容が大きく変わった場合に、変更前の元の制御モデルと比べて、変更後の新たな制御モデルによる自動運転の制御が必ずしもユーザに適合するとは限らない。一例では、ユーザは、元の制御モデルによる自動制御に慣れていることで、新たな制御モデルによる自動制御に違和感を持つ（すなわち、ユーザに適合しなくなる）可能性がある。つまり、モデル変更に伴い、制御モデルによる自動運転がユーザに適合しなくなる（元の制御モデルでは適合していたが、新たな制御モデルでは適合しない）可能性がある。制御モデルによる自動運転の制御がユーザに適合しない場合には、ユーザによる介入の操作が発生し、自動運転は実施されず、手動運転が実施されることになる。モデル変更に起因して、自動制御の不適合が増加することで、ユーザによる介入操作の頻発を招く恐れがある。なお、この問題点は、車両の種類を問わず生じ得る。また、このような問題点が生じるのは、車両を制御する場面に限られない。移動を制御する点では、車両以外の移動体でも同様である。そのため、車両以外のあらゆる移動体を制御する場面でも、同様の問題点が生じ得る。

これに対して、本開示の第１態様に係る制御装置は、第１制御モデル及び第２制御モデルを記憶する記憶部、並びに制御部を備える。第１制御モデルは、第２制御モデルに対して新たに配備されたものである。制御部は、第１制御モデルを使用することで第１パスを生成すること、第２制御モデルを使用することで第２パスを生成すること、生成された第１パス及び第２パスの間の乖離を適合性基準で評価すること、乖離を評価した結果を反映して、第１パス及び第２パスから最終パスを生成すること、並びに生成された最終パスに従って、移動体の移動を制御することを実行するように構成される。適合性基準は、ユーザによる介入の操作が行われないほど第１パスを優先して最終パスが生成され、ユーザによる介入の操作が行われるほど第２パスを優先して最終パスが生成されるように、ユーザのフィードバックにより調整される。

本開示の第１態様では、新たな制御モデル（第１制御モデル）及び元の制御モデル（第２制御モデル）の両方が保持される。適合性基準は、第１制御モデルによる自動制御に対して、ユーザによる介入の操作が行われるほど第２制御モデルを優先し、介入の操作が行われないほど第１制御モデルを優先するように、ユーザのフィードバックから調整される。これにより、ユーザによる介入が起きる場合には、第２制御モデルの使用比重を高め、ユーザによる介入が起きない場合には、第１制御モデルの使用比重を高める。その結果、第１制御モデルの使用場面を不適合の生じない範囲に絞ることで、モデル変更に起因する自動制御の不適合の増加の抑制を期待することができる。

なお、上記態様に係る制御装置の別の形態として、本開示の一側面は、以上の各構成要素の全部又はその一部を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等の機械が読み取り可能な記憶媒体であってもよい。ここで、機械が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

［１ 適用例］
図１は、本開示を適用した場面の一例を模式的に示す。本実施形態に係る制御装置１は、対象の移動体Ｍの自動的な移動を制御するように構成された１台以上のコンピュータである。本実施形態では、制御装置１は、移動体Ｍに搭載され、第１制御モデル３０及び第２制御モデル３５を保持する。各制御モデル（３０、３５）は、移動体Ｍの移動の自動制
御を実行するために、パスを導出するように構成されている。第１制御モデル３０は、第２制御モデル３５に対して新たに配備されたものである。

本実施形態では、制御装置１は、第１制御モデル３０を使用することで第１パス４０を生成する。また、制御装置１は、第２制御モデル３５を使用することで第２パス４５を生成する。制御装置１は、生成された第１パス４０及び第２パス４５の間の乖離を適合性基準２０で評価する。制御装置１は、乖離を評価した結果を反映して、第１パス４０及び第２パス４５から最終パス５０を生成する。

ユーザによる介入の操作５５がない場合、制御装置１は、生成された最終パス５０に従って、移動体Ｍの動作（移動）を制御する。一方で、ユーザによる介入の操作５５がある場合、制御装置１は、生成された最終パス５０を破棄又は最終パス５０にオーバーラップして、ユーザによる介入の操作５５に従い、移動体Ｍの動作を制御する。適合性基準２０は、ユーザによる介入の操作５５が行われないほど第１パス４０を優先して最終パス５０が生成され、ユーザによる介入の操作５５が行われるほど第２パス４５を優先して最終パス５０が生成されるように、ユーザのフィードバックにより調整される。

本実施形態では、制御装置１は、新たな制御モデル（第１制御モデル３０）及び元の制御モデル（第２制御モデル３５）の両方を保持する。第１制御モデル３０は、第２制御モデル３５と比べて新しいものである。そのため、基本的には、第１制御モデル３０は、第２制御モデル３５より優先的に使用される。すなわち、最終パス５０の生成では、第１パス４０が優先される。しかしながら、新たな制御モデル（第１制御モデル３０）による制御が、元の制御モデル（第２制御モデル３５）による制御に慣れているユーザに適合するとは限らない。特に、第１パス４０及び第２パス４５の間の乖離が大きい場合、第１パス４０による制御は、第２パス４５に慣れているユーザに適合しない（違和感を覚える）可能性が高い。適合しない場合には、ユーザによる介入の操作５５が生じ得る。

本実施形態では、このユーザによる介入の操作５５を指標にして、新たな制御モデル（第１制御モデル３０）による制御がユーザに適合しているか否かを評価する。介入が起きる場合には、新たな制御モデルによる制御がユーザに適合していないと評価されるため、適合性基準２０は、元の制御モデル（第２制御モデル３５）の使用比重を高める（すなわち、第２パス４５を優先する）ように調整される。一方、介入が起きない場合、新たな制御モデルによる制御はユーザに適合していると評価されるため、適合性基準２０は、新たな制御モデル（第１制御モデル３０）の使用比重を高める（すなわち、第１パス４０を優先する）ように調整される。これにより、第１制御モデル３０の使用範囲を不適合の生じない範囲に絞ることができ、その結果、モデル変更に起因する自動制御の不適合の増加の抑制を期待することができる。

（移動体）
機械制御により自動的に移動可能であれば、移動体Ｍの種類は、実施の形態に応じて適宜選択されてよい。移動体Ｍは、例えば、車両、飛行体、船舶、ロボット装置等の移動可能な装置であってよい。飛行体は、ドローン等の無人機及び有人機の少なくともいずれかであってよい。一例では、図１のとおり、移動体Ｍは、車両であってよい。なお、車両の種類（車輪数、動力源、大きさ等）は任意に選択されてよい。典型例として、移動体Ｍは、レベル２以上の自動運転の能力を有した自動車であってよい。

（動作を制御すること）
一例では、対象の移動体Ｍの動作（移動）を制御することは、対象の移動体Ｍを直接的に制御することにより構成されてよい。他の一例では、移動体Ｍは、例えば、コントローラ等の専用の制御装置を備えてよい。この場合、制御装置１による対象の移動体Ｍの動作
を制御することは、当該専用の制御装置に導出結果を与えることで、対象の移動体Ｍを間接的に制御することにより構成されてよい。制御装置１は任意の場所に配備されてよい。一例では、図１に示されるように、制御装置１は、移動体Ｍに搭載されてよい。他の一例では、制御装置１は、移動体Ｍから離れて配置され、移動体Ｍを遠隔的に制御してもよい。制御装置１は、移動体Ｍの自動制御モードから手動制御モードに及び手動制御モードから自動制御モードに、任意の操作により任意のタイミングで切替可能に構成されてよい。

（パス）
パス（制御モデルの出力）は、移動体Ｍの動作を制御可能であれば、その形式は、特に限られなくてよく、実施の形態に応じて適宜決定されてよい。一例では、パス（４０、４５、５０）は、１つ以上の制御指令により構成されてよい。制御指令は、移動体Ｍの制御量を示すように構成されてよい。他の一例では、パス（４０、４５、５０）は、移動体Ｍの未来の移動経路を示すように構成され、１つ以上の制御指令を導出するために使用されてよい。これに応じて、１つ以上の制御指令が、最終パス５０から任意の方法で決定されてよい。制御モデル（３０、３５）は、パスプランナと称されてもよい。

制御指令は、移動体Ｍの動作に関する。制御指令の構成は、実施の形態に応じて適宜選択されてよい。一例では、制御指令は、加速、減速、操舵又はこれらの組み合わせにより構成されてよい。加速及び減速は、ギアチェンジを含んでよい。制御指令は、例えば、アクセル制御量、ブレーキ制御量、ハンドル操舵角等の移動体Ｍの制御量（制御指示値、制御出力量）を示すように構成されてよい。また、制御指令は、移動体Ｍの操作に関する指令を更に含んでよい。一例として、移動体Ｍが車両である場合、制御指令は、ウインカー、ハザード、クラクション、通信処理（例えば、センタにデータを送信する、緊急コールを発信する等）等の車両操作を含んでよい。

（破棄又はオーバーラップ）
破棄（無視）は、自動制御から手動制御に即時に切り替えること、すなわち、最終パス５０による自動制御からユーザによる介入の操作５５に従った手動制御に即時に切り替えることであってよい。一方、オーバーラップは、自動制御から手動制御（ユーザ制御）に徐々に切り替えることがであってよい。

（制御モデル）
制御モデル（３０、３５）は、移動体Ｍの環境に応じてパスを導出するように構築される。環境は、移動体Ｍ自身及び周囲の少なくとも一方で観測される事象である。一例では、少なくとも一部の環境は、移動体Ｍの内部又は外部に配置された１つ以上のセンサＳにより観測されてよい。センサＳは、移動体Ｍの移動する任意の環境を観測可能であれば、その種類は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。一例では、１つ以上のセンサＳは、カメラ（画像センサ）、レーダ、LiDAR（Light Detection And
Ranging）、ソナー（超音波センサ）、赤外線センサ、GNSS（Global Navigation Satellite System）／GPS（Global Positioning Satellite）モジュール等を含んでよい。

移動体Ｍの環境からパスを導出可能であれば、制御モデル（３０、３５）の入出力の形式は、実施の形態に応じて適宜選択されてよい。一例では、制御モデル（３０、３５）の少なくとも一方は、１時点以上のセンサＳの観測データ（センサデータ）からパスを導出するように構成されてよい。他の一例では、制御モデル（３０、３５）の少なくとも一方は、周辺環境の認識結果からパスを導出するように構成されてよい。この場合、制御装置１は、センサＳの観測データから周辺環境の認識結果を推論する解析モデルを更に備えてよい。或いは、制御モデル（３０、３５）の少なくとも一方は、そのような解析モデルを含んでよい。解析モデルは、訓練済みの機械学習モデル等により任意に構成されてよい。制御モデル（３０、３５）の少なくとも一方の入力には、その他の情報が任意で追加され
てよい。制御モデル（３０、３５）の少なくとも一方は、例えば、設定速度、制限速度、地図データ、ナビ情報（ルートデータ）等の任意情報の入力を更に受け付けるように構成されてよい。移動体Ｍが車両の場合、任意情報は、走行データを含んでよい。任意情報は、ナビゲーション装置、車載センサ等の装置から適宜取得されてよい。また、制御モデル（３０、３５）は、パスを直接的に出力するように構成されてもよいし、パスを間接的に出力するように構成されてよい。後者の場合、制御モデル（３０、３５）の出力に対して任意の情報処理（解釈処理）を実行することでパスが得られてよい。

制御モデル（３０、３５）は、訓練済み機械学習モデル及びルールベースモデルの少なくともいずれかにより構成されてよい。ルールベースモデルは、与えられた入力（例えば、観測データ、周辺環境の認識結果等の環境を示す情報）をルールに照合し、照合の結果に応じて（適合するルールに従って）、パスを導出するように構成される。ルールは、手動又は少なくとも一部自動で設定されてよい。機械学習モデルは、機械学習により調整可能な１つ以上の演算パラメータを有するように構成される。１つ以上の演算パラメータは、目的とする推論（本開示では、パスの導出）の演算に使用される。機械学習は、学習データを使用して、演算パラメータの値を調整（最適化）することである。機械学習モデルは、例えば、ニューラルネットワーク、サポートベクタマシン、回帰モデル、決定木モデル等により構成されてよい。機械学習の方法は、採用する機械学習モデルに応じて、適宜選択されてよい（例えば、誤差逆伝播法等）。機械学習は、教師あり学習、教師なし学習、及び強化学習を含んでよい。

一例では、制御モデル（３０、３５）の少なくとも一方は、少なくとも部分的にニューラルネットワークにより構成されてよい。ニューラルネットワークの構造は、実施の形態に応じて適宜決定されてよい。ニューラルネットワークの構造は、例えば、入力層から出力層までの層の数、各層の種類、各層に含まれるノード（ニューロン）の数、各層のノード同士の結合関係等により特定されてよい。一例では、ニューラルネットワークは、再帰構造を有してよい。また、ニューラルネットワークは、例えば、全結合層、畳み込み層、プーリング層、逆畳み込み層、アンプーリング層、正規化層、ドロップアウト層、LSTM（Long short-term memory）等の任意の層を含んでよい。ニューラルネットワークは、Attention機構等の任意の機構を有してよい。ニューラルネットワークは、ＧＮＮ（Graph neural network）、diffusionモデル、生成モデル（例えば、Generative Adversarial Network、Transformer等）等の任意のモデルを含んでよい。ニューラルネットワークを制御モ
デルに使用する場合、制御モデルに含まれる各ノード間の結合の重み及び各ノードの閾値が、演算パラメータの一例である。なお、機械学習モデルを採用する場合、制御モデルの一例は、end-to-endモデルの構造で構成されてよい。

なお、第１制御モデル３０及び第２制御モデル３５は、同一の目的で構築される。すなわち、第１制御モデル３０及び第２制御モデル３５は、同一又は重複する環境下で同一態様の移動を遂行可能に構築される。シーン毎に要求される制御は異なり得るため、第１制御モデル３０及び第２制御モデル３５は、シーン毎に用意されてよい。一例では、移動体Ｍが車両である場合、第１制御モデル３０及び第２制御モデル３５は、例えば、車線変更、車線維持、緊急停車（EDSS：Emergency Driving Stop System）、被合流譲り、自動駐
車等のシーン毎に用意されてよい。

（新たに配備）
第１制御モデル３０は、第２制御モデル３５に対する新たな制御モデルとして用意されたものであってよい。すなわち、第１制御モデル３０は、変更後の新たな制御モデルであってよく、第２制御モデル３５は、変更前の元の制御モデルであってよい。一例では、制御モデルの変更は、システムの置き換えであってよい。これに応じて、制御モデルの変更は、例えば、ルールベースモデルから訓練済みの機械学習モデルに置き換える、訓練済み
の機械学習モデルからルールベースモデルに置き換える、機械学習モデルの構造を変更する等を含んでよい。他の一例では、モデルの変更は、バージョンアップであってよい。これに応じて、モデルの変更は、例えば、ルールを修正した新たなルールベースモデルを配備すること、追加学習又は再学習により更新された新たな訓練済みの機械学習モデルを配備すること等を含んでよい。なお、各制御モデル（３０、３５）（モデルデータ）は、外部サーバ等から適宜提供されてよい。

一例では、第１制御モデル３０は、訓練済みの機械学習モデルにより構成されてよい。第２制御モデル３５は、ルールベースモデルにより構成されてよい。訓練済みの機械学習モデル及びルールベースモデルの構造は異なり得る。そのため、訓練済みの機械学習モデル及びルールベースモデルの自動制御の特性は互いに相違し得る。これにより、ルールベースモデルから訓練済みの機械学習モデルに自動制御システムを更新した際に、訓練済みの機械学習モデルによる制御が、ルールベースモデルによる制御に慣れたユーザに適合しないことが生じ得る。本実施形態の一例によれば、このような自動制御システムの更新の際でも、上記適合性基準２０による調停処理の作用により、モデル変更に起因する自動制御の不適合の増加の抑制を期待することができる。

他の一例では、第１制御モデル３０は、更新後の訓練済みの機械学習モデルにより構成されてよい。一方、第２制御モデル３５は、更新前の訓練済みの機械学習モデルにより構成されてよい。更新は、上記システムの置き換え及びバージョンアップの少なくともいずれかを含んでよい。更新は、制御モデルの出力が変更され得る任意の処理を含んでよい。更新は、例えば、追加学習又は再学習によりパラメータの値を修正すること、モデルの構造を変更すること等を含んでよい。本実施形態の一例によれば、モデル更新に起因する自動制御の不適合の増加の抑制を期待することができる。

なお、制御装置１により保持される制御モデルの数は、必ずしも２つに限られなくてよい。第１制御モデル３０の数は、１つに限られなくてよい。第２制御モデル３５の数も、１つに限られなくてよい。第１制御モデル３０を使用することは、１つ以上の第１制御モデル３０を使用することを含んでよい。第２制御モデル３５を使用することは、１つ以上の第２制御モデル３５を使用することを含んでよい。他の一例では、制御装置１は、３つ以上の制御モデルを保持してよい。上記第１制御モデル３０及び第２制御モデル３５それぞれに対応するように、３つ以上の制御モデルの間では、介入があるほど優先される制御モデル及び介入がないほど優先される制御モデルの序列が規定されていてよい。制御装置１は、３つ以上の制御モデルの間で、適合性基準２０による調停処理を行い、最終パス５０を生成するように構成されてもよい。すなわち、第１パス４０及び第２パス４５から最終パス５０を生成することは、３つ以上のパスから最終パス５０を生成することを含んでよい。また、典型的には、第１制御モデル３０は、第２制御モデル３５の一世代後の制御モデルである。ただし、第１制御モデル３０及び第２制御モデル３５の関係は、このような例に限られなくてよい。第１制御モデル３０及び第２制御モデル３５の世代差は、２つ以上離れていてもよい。

（適合性基準）
適合性基準２０は、第１制御モデル３０及び第２制御モデル３５の間で生じる乖離に対して、第１制御モデル３０による自動制御がユーザに適合するか否かを評価するように定義される。このような適合性を評価可能であれば、適合性基準２０は、適宜設定されてよい。単純には、適合性基準２０は、物理指標についての閾値で構成されてよい。一例では、適合性基準２０は、移動（直進、右折、左折等）に対する速度、加速度、変化のタイミング又はこれらの組み合わせについての閾値で構成されてよい。この場合、適合性基準２０を調整することは、閾値を更新（すなわち、修正）することにより構成されてよい。適合性基準２０は、移動のシーン（車線変更等）及び移動の環境（例えば、位置、ルート、
周辺環境等）の少なくともいずれかを識別した上で、ユーザの適合性を評価するように定義されてよい。

（最終パスの生成）
第１パス４０及び第２パス４５から最終パス５０を生成することは、（Ｉ）評価の結果に応じて、第１パス４０及び第２パス４５の一方を最終パス５０として選択すること、又は（ＩＩ）第１パス４０及び第２パス４５を統合することで、最終パス５０を生成することにより構成されてよい。最終パス５０は、最終的に導出されるものであり、移動体Ｍの制御に用いられる。

（Ｉ）を採用する場合、優先することは、優先する方のパスを選択することであってよい。単純な一例として、適合性基準２０が、移動の速度に対する閾値として与えられているケースを想定する。このケースでは、制御装置１は、第１パス４０及び第２パス４５の間の速度に関する乖離が適合性基準２０の閾値を超える場合に、第２パス４５を最終パス５０として選択してよく、そうではない場合に、第１パス４０を最終パス５０として選択してよい。介入の操作５５が生じていないほど、適合性基準２０の閾値が大きな値に調整されてよく、これによって、第１パス４０が最終パス５０として選択されやすくなってよい。他方、介入の操作５５が生じているほど、適合性基準２０の閾値が小さな値に調整されてよく、これによって、第２パス４５が最終パス５０として選択されやすくなってよい。

（ＩＩ）を採用する場合、優先することは、統合の際の比率を高めることであってよい。適合性基準２０は、上記閾値と共に又は閾値に代えて、この統合の比率を含んでもよい。適合性基準２０を調整することは、統合の比率の値を調整することを含んでよい。介入の操作５５が生じていないほど、第１パス４０の比率が高められてよく、介入の操作５５が生じているほど、第２パス４５の比率が高められてよい。適合性基準２０で乖離を評価することは、適合性基準２０に従って、各パス（４０、４５）の統合の比率を決定することを含んでよい。統合の比率は、第１パス４０及び第２パス４５の乖離の程度に応じて決定されてもよいし、乖離の程度とは無関係に決定されてもよい。統合は、合計、平均、加重平均等の任意の演算で実施されてよい。一例では、上記ケースにおいて、制御装置１は、適合性基準２０に従って、各パス（４０、４５）の比率を決定し、決定された比率で第１パス４０及び第２パス４５を統合することにより、最終パス５０を生成してよい。他の一例では、適合性基準２０が上記閾値を含む形態を採用する場合、上記ケースにおいて、制御装置１は、第１パス４０及び第２パス４５の間の速度に関する乖離が適合性基準２０の閾値を超える場合に、第１パス４０及び第２パス４５を統合して最終パス５０を生成してよく、そうではない場合に、第１パス４０を最終パス５０として選択してよい。

なお、適合性基準２０により乖離を評価すること及び評価結果に応じて最終パス５０を生成することは、ルールベース及び演算モデル（機械学習モデル）ベースの少なくともいずれかで実行されてよい。ルールベースを採用する場合、制御装置１は、第１パス４０及び第２パス４５の間の乖離を適合性基準２０により評価し、乖離の評価結果に応じて、上記（Ｉ）又は（ＩＩ）の処理を実行してよい。演算モデルベースを採用する場合、制御装置１は、乖離の評価及び上記（Ｉ）又は（ＩＩ）の処理を演算モデルの一連の処理として実行してよい。この場合、適合性基準２０は、演算モデルに組み込まれていてよい。

また、本実施形態において、ユーザによる介入の操作５５が生じると、適合性基準２０は、第２制御モデル３５の使用比重（第２パス４５を）を高めるように調整される。使用比重を高めることは、上記（Ｉ）のケースでは、第２パス４５を選択しやすくする（例えば、閾値を小さくする）ことであり、上記（ＩＩ）のケースでは、第２パス４５の統合比率を高めることである。一例では、このように第２制御モデル３５の使用比重を高めた後
に、適合性基準２０は、ユーザによる介入が生じない範囲で、第１制御モデル３０の使用比重を徐々に高めるように調整されてよい。これにより、新たな制御モデル（第１制御モデル３０）による制御に対するユーザの違和感を徐々になくしていき、新たな制御モデルの恩恵をユーザが享受できるようにしてよい。

また、ユーザによる介入の操作５５が生じたことで、第２パス４５の優先度が高められた後でも、ユーザによる介入の操作５５が継続して生じる場合がある。この場合、一例では、制御装置１は、第２パス４５を優先する程度を高め続けてよい。他の一例では、制御装置１は、演算モデルを用いて、第１パス４０及び第２パス４５から最終パス５０を生成してもよい。制御装置１は、介入の操作５５によるパスに適合する出力が得られるようにその演算モデルのパラメータの値（例えば、第１パス４０及び第２パス４５の統合比率）を調整してもよい。なお、第２パス４５を最大限に優先してもユーザに適合する自動制御が実行されない場合、第２制御モデル３５がそもそもユーザに適合しておらず、新たに配備した第１制御モデル３０もユーザに適合していない可能性がある。これにより、第１制御モデル３０及び第２制御モデル３５では、ユーザに適合するパスの生成が困難である可能性がある。そこで、一例では、このような事態に陥った場合、制御装置１は、制御モデルを提供するコンピュータ（例えば、外部サーバ）に対して、介入時の環境の条件及び介入操作（又はパス）を示す情報を送信し、制御モデルの更なる更新を促してもよい。

（ユーザ）
ユーザは、特定のユーザを指してもよいし、不特定のユーザを指してもよい。一例では、適合性基準２０は、ユーザ毎に区別されてよい。この場合、対象ユーザの適合性基準２０は、対象ユーザのフィードバックのみ反映されてよい。他の一例では、適合性基準２０は区別されなくてよい。この場合、対象ユーザ以外の他のユーザを含む任意のユーザのフィードバックが適合性基準２０に反映されてよく、得られた適合性基準２０が、対象ユーザによる移動体Ｍの利用の際に適用されてよい。なお、移動体Ｍが車両の場合、典型的には、ユーザは、ドライバである。

（フィードバック）
一例では、ユーザのフィードバック（介入の操作５５の有無）は、即時的に適合性基準２０に反映されてよい。他の一例では、ユーザのフィードバックは、介入履歴６０として蓄積されてよく、得られた介入履歴６０が事後的に適合性基準２０に反映されてよい。ユーザのフィードバックは、移動のシーン及び移動の環境の少なくともいずれかを識別した上で、適合性基準２０の調整（例えば、上記閾値の更新）に反映されてよい。この場合、介入の生じた条件（シーン、環境等）が適宜特定されてよい。

介入履歴６０としてユーザのフィードバックを蓄積する場合、介入履歴６０として保存する対象となる情報の項目は、適合性基準２０の調整が可能であれば、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。一例では、介入の生じた条件を識別して適合性基準２０を調整する場合、介入履歴６０は、介入の生じた条件を示す情報を含んでよい。また、訓練済みの機械学習モデルを制御モデル（３０、３５）に採用する又はその可能性がある場合、介入履歴６０は、機械学習モデルの訓練に使用可能な学習データを生成するための情報を含んでよい。一例では、改善するモデルを特定するため、介入履歴６０は、介入が生じた際に使用されていた制御モデルを識別するための情報（例えば、識別子等）を含んでよい。また、介入履歴６０は、ユーザによる介入の操作５５又はその操作５５によるパスを更に含んでよい。介入履歴６０に含まれる介入の生じた環境の条件を示す情報が訓練データ（入力データ）として使用されてよく、ユーザによる介入の操作５５又はその操作５５によるパスが正解データ（教師信号、ラベル）として使用されてよい。この場合、機械学習モデルで構成される制御モデルは、得られた介入履歴６０により、アップデート（再学習、追加学習等）されてよい。アップデートのための機械学習は、制御
装置１内で実行されてもよいし、制御装置１以外のコンピュータ（例えば、外部のサーバ）で実行されてもよい。なお、介入履歴６０のデータ形式は、実施の形態に応じて適宜決定されてよい。介入履歴６０は、任意のデータベース形式で保持されてよい。

図２は、本実施形態に係る介入履歴６０のデータ構成の一例を模式的に示す。図２の例では、介入履歴６０のレコードは、タイムスタンプ、使用された制御モデルの識別情報（使用モデル）、介入の生じた環境の条件、及び介入の操作を示す情報を含む。タイムスタンプは、介入の生じた日時を示す。タイムスタンプにより示される日時は、古いレコードの削除、（一定期間内の介入履歴を適合性基準２０に反映する場合における）適合性基準２０に反映するレコードの特定、等に使用されてよい。なお、介入履歴６０のレコードは、介入操作毎に生成されてよい。レコードにより示される介入操作の単位は任意に決定されてよい。一例では、１回の介入操作毎に１件のレコード（介入履歴のサンプル）が生成されてよい。他の一例では、複数回の介入に応じて１件のレコードが生成されてもよい。

［２ 構成例］
図３は、本実施形態に係る制御装置１のハードウェア構成の一例を模式的に示す。本実施形態に係る制御装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、出力装置１５、及びドライブ１６が電気的に接続されたコンピュータである。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory
）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて任意の情報処理を実行するように構成される。制御部１１（ＣＰＵ）は、プロセッサ・リソースの一例である。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等により構成されてよい。記憶部１２（及びＲＡＭ、ＲＯＭ）は、メモリ・リソースの一例であり、本開示の記憶部の一例である。本実施形態では、記憶部１２は、制御プログラム８１、第１モデルデータ３００、第２モデルデータ３５０、適合性基準情報２００、介入履歴データ６００等の各種情報を記憶する。

制御プログラム８１は、移動体Ｍの制御に関する情報処理（後述の図４）を制御装置１に実行させるためのプログラムである。制御プログラム８１は、当該情報処理の一連の命令を含む。第１モデルデータ３００は、第１制御モデル３０に関する情報を示すように構成される。第２モデルデータ３５０は、第２制御モデル３５に関する情報を示すように構成される。一例では、制御モデルに機械学習モデルを採用する場合、モデルデータ（３００、３５０）は、機械学習により調整された演算パラメータの値を示す情報を含んでよい。場合によって、モデルデータ（３００、３５０）は、機械学習モデルの構成（例えば、ニューラルネットワークの構造等）を示す情報を更に含んでもよい。他の一例では、制御モデルにルールベースモデルを採用する場合、モデルデータ（３００、３５０）は、ルールベースモデル（ルール）を示す情報を含んでよい。適合性基準情報２００は、適合性基準２０を示すように適宜構成されてよい。介入履歴データ６００は、介入履歴６０を示すように適宜構成されてよい。

外部インタフェース１３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート、無線通信ポート等であってよく、有線又は無線で外部装置と接続するように構成される。本実施形態では、制御装置１は、外部インタフェース１３を介して、センサＳに接続されてよい。入力装置１４は、例えば、マウス、キーボード、操作子等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。入力装置１４及び出力装置１５は、例えば、タッチパネルディスプレイ等により一体的に構成されてもよい。

ドライブ１６は、記憶媒体９１に記憶されたプログラム等の各種情報を読み込むための
装置である。上記制御プログラム８１、第１モデルデータ３００、第２モデルデータ３５０、適合性基準情報２００及び介入履歴データ６００の少なくともいずれかは、記憶部１２に代えて又は記憶部１２と共に、記憶媒体９１に格納されていてもよい。記憶媒体９１は、コンピュータ等の機械が各種情報（記憶されたプログラム等）を読み取り可能なように、電気的、磁気的、光学的、機械的又は化学的作用により当該情報を蓄積するように構成される。制御装置１は、上記制御プログラム８１、第１モデルデータ３００、第２モデルデータ３５０、適合性基準情報２００及び介入履歴データ６００の少なくともいずれかを記憶媒体９１から取得してよい。なお、記憶媒体９１は、ＣＤ、ＤＶＤ等のディスク型の記憶媒体であってもよいし、半導体メモリ（例えば、フラッシュメモリ）等のディスク型以外の記憶媒体であってもよい。ドライブ１６の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。

なお、制御装置１の具体的なハードウェア構成に関して、実施の形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）、ＥＣＵ
（Electronic Control Unit）、ＧＰＵ（Graphics Processing Unit）等により構成され
てよい。外部インタフェース１３、入力装置１４、出力装置１５及びドライブ１６の少なくともいずれかは省略されてもよい。制御装置１は、通信インタフェースを備え、外部コンピュータとの間でデータ通信を実行するように構成されてもよい。入力装置１４、出力装置１５及びドライブ１６の少なくともいずれかは、外部インタフェース又は通信インタフェースを介して接続されてもよい。制御装置１は、提供されるサービス専用に設計されたコンピュータの他、汎用のコンピュータ、端末装置等であってよい。移動体Ｍが車両である場合、制御装置１は、車載装置であってよい。

［３ 動作例］
図４は、本実施形態に係る制御装置１による移動体Ｍの制御に関する処理手順の一例を示す。制御装置１の制御部１１は、制御プログラム８１に含まれる命令をＣＰＵにより実行する。これにより、制御装置１は、以下の情報処理を実行可能なコンピュータとして動作する。以下の処理手順は、コンピュータにより実行される制御方法の一例である。ただし、以下の処理手順は、一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

ステップＳ１０１では、制御部１１は、センサＳの観測データを取得する。制御部１１は、直接的又は間接的にセンサＳから観測データを取得してよい。ステップＳ１０２では、制御部１１は、第１制御モデル３０及び第２制御モデル３５を使用して、第１パス４０及び第２パス４５を生成する。各制御モデル（３０、３５）の演算は適宜実行されてよい。一例では、制御モデル（３０、３５）の少なくとも一方に訓練済みの機械学習モデルが採用されている場合、制御部１１は、観測データの少なくとも一部を訓練済みの機械学習モデルに入力し、訓練済みの機械学習モデルの演算処理を実行することで、パスの導出結果を得てよい。他の一例では、制御モデル（３０、３５）の少なくとも一方にルールベースモデルが採用されている場合、制御部１１は、ルールに従って、観測データの少なくとも一部により示される環境からパスを導出してよい。

ステップＳ１０３では、制御部１１は、生成された第１パス４０及び第２パス４５の間の乖離を適合性基準２０で評価する。ステップＳ１０４では、制御部１１は、乖離を評価した結果を反映して、第１パス４０及び第２パス４５から最終パス５０を生成する。一例では、制御部１１は、評価の結果に応じて、第１パス４０及び第２パス４５の一方を最終パス５０として選択してよい。他の一例では、制御部１１は、第１パス４０及び第２パス
４５を統合することで、最終パス５０を生成してよい。ステップＳ１０３及びステップＳ１０４の処理は、別個に実行されてもよいし、演算モデルにより一連の処理として実行されてもよい。

ステップＳ１０５では、制御部１１は、ユーザによる介入の操作５５の有無を判定する。制御部１１は、移動体Ｍの動作を制御している間、ユーザによる介入の操作５５を随時受け付けてよい。介入の操作５５を受け付けなかった（介入の操作５５がない）場合、制御部１１は、ステップＳ１０６に処理を進める。一方、介入の操作５５を受け付けた（介入の操作５５がある）場合、制御部１１は、ステップＳ１０７に処理を進める。

ステップＳ１０６では、制御部１１は、生成された最終パス５０に従って、移動体Ｍの動作（移動）を制御する。動作の制御が完了すると、制御部１１は、次のステップＳ１０８に処理を進める。ステップＳ１０７では、制御部１１は、生成された最終パス５０を破棄又は最終パス５０にオーバーラップして、ユーザによる介入の操作５５に従い、移動体Ｍの動作（移動）を制御する。動作の制御が完了すると、制御部１１は、次のステップＳ１０８に処理を進める。

ステップＳ１０８では、制御部１１は、ユーザのフィードバックにより、適合性基準２０を調整する。制御部１１は、ユーザによる介入の操作５５が行われないほど第１パス４０を優先して最終パス５０が生成されるように適合性基準２０を調整する（例えば、閾値を大きくする、第１パス４０の統合比率を高める）。一方、制御部１１は、第１パス４０優先の自動制御に対して、ユーザによる介入の操作５５が行われるほど、第２パス４５を優先して最終パス５０が生成されるように適合性基準２０を調整する（例えば、閾値を小さくする、第２パス４５の統合比率を高める）。

ステップＳ１０９では、制御部１１は、移動体Ｍの制御を終了するか否かを判定する。判定の基準は任意に設定されてよい。一例では、移動体Ｍを起動している間、制御部１１は、移動体Ｍの制御を終了しないと判定するのに対して、任意の終了指示（例えば、入力装置１４を介したユーザによる終了の操作）に応じて、移動体Ｍの制御を終了すると判定してよい。制御を終了しないと判定した場合、制御部１１は、ステップＳ１０１に戻り、ステップＳ１０１から処理を再度実行する。一方で、制御を終了すると判定した場合、本動作例に係る制御装置１の処理手順を終了する。

なお、各ステップの処理順序は、図４の例に限られなくてよく、実施の形態に応じて適宜変更されてよい。例えば、ステップＳ１０８の処理は、制御サイクル毎に実行されなくてもよい。他の一例では、ステップＳ１０８の処理は、所定期間おき（例えば、所定回数／所定時間の経過、イグニッションＯＮ／ＯＦＦ）に実行されてもよい。更に他の一例では、ステップＳ１０８の処理は、ステップＳ１０１～ステップＳ１０７の処理とは無関係に実行されてもよい。ステップＳ１０８の処理（適合性基準２０の調整）を事後的に実行する場合、制御部１１は、ユーザによる介入の操作５５を示す情報を生成し、生成された情報を介入履歴６０として所定の記憶領域に保存してよい。一例では、所定の記憶領域は、ＲＡＭ、記憶部１２、記憶媒体９１等であってよい。制御装置１が通信可能に構成されている場合、所定の記憶領域は、外部コンピュータであってもよい。制御部１１は、得られた介入履歴６０を用いて、任意のタイミングで、適合性基準２０を調整してよい。

［特徴］
本実施形態では、ステップＳ１０８の処理により、適合性基準２０は、ユーザのフィードバックに基づいて、介入の操作５５が行われるほど第２制御モデル３５を優先し、介入の操作５５が行われないほど第１制御モデル３０を優先するように調整される。これにより、ステップＳ１０４の処理では、介入が生じるほど第２パス４５を優先し、介入が生じ
ないほど第１パス４０を優先して、最終パス５０が生成されるようになる。その結果、第１制御モデル３０（第１パス４０）を優先的に使用して、ステップＳ１０６の処理による自動制御を実行する場面（第１制御モデル３０の使用場面）を不適合の生じない範囲に絞ることができる。よって、本実施形態によれば、モデル変更に起因する自動制御の不適合の増加の抑制を期待することができる。

［４ 変形例］
以上、本開示の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。本開示において説明した処理及び手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

１…制御装置、
１１…制御部、１２…記憶部、２０…適合性基準、
３０…第１制御モデル、３５…第２制御モデル、
４０…第１パス、４５…第２パス、
５０…最終パス、５５…（介入の）操作、６０…介入履歴
Ｍ…移動体、Ｓ…センサ

Claims (5)

1. 第１制御モデル及び第２制御モデルを記憶する記憶部、並びに
   制御部、
   を備える制御装置であって、
   前記第１制御モデルは、前記第２制御モデルに対して新たに配備されたものであり、
   前記制御部は、
   前記第１制御モデルを使用することで第１パスを生成すること、
   前記第２制御モデルを使用することで第２パスを生成すること、
   生成された前記第１パス及び前記第２パスの間の乖離を適合性基準で評価すること、
   前記乖離を評価した結果を反映して、前記第１パス及び前記第２パスから最終パスを生成すること、並びに
   生成された前記最終パスに従って、移動体の移動を制御すること、
   を実行するように構成され、並びに
   前記適合性基準は、ユーザによる介入の操作が行われないほど前記第１パスを優先して前記最終パスが生成され、当該ユーザによる介入の操作が行われるほど前記第２パスを優先して前記最終パスが生成されるように、当該ユーザのフィードバックにより調整される、
   制御装置。
2. 前記第１制御モデルは、訓練済みの機械学習モデルにより構成され、
   前記第２制御モデルは、ルールベースモデルにより構成される、
   請求項１に記載の制御装置。
3. 前記第１制御モデルは、更新後の訓練済みの機械学習モデルにより構成され、
   前記第２制御モデルは、更新前の訓練済みの機械学習モデルにより構成される、
   請求項１に記載の制御装置。
4. 前記第１パス及び前記第２パスから最終パスを生成することは、
   前記第１パス及び前記第２パスの一方を前記最終パスとして選択すること、又は
   前記第１パス及び前記第２パスを統合することで、前記最終パスを生成すること、
   により構成される、
   請求項１に記載の制御装置。
5. 前記移動体は車両である、
   請求項１から４のいずれか１項に記載の制御装置。