WO2022224332A1

WO2022224332A1 - 情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体

Info

Publication number: WO2022224332A1
Application number: PCT/JP2021/015971
Authority: WO
Inventors: 聡明川村; 義博渡邊; 優一鈴木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2021-04-20
Filing date: 2021-04-20
Publication date: 2022-10-27
Anticipated expiration: 2023-10-20
Also published as: JPWO2022224332A1; US12461598B2; US20240201790A1; EP4310280A1; JP7670124B2; US20260029856A1; EP4310280A4

Abstract

情報処理装置（１０）は、第１認証部（１３）と、第１車両制御部（１４）と、動作判定部（１６）と、第２車両制御部（１７）とを備える。第１認証部（１３）は、車両の周辺の風景を撮影して生成された第１撮影画像に含まれる人物についての生体認証を制御し、第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する。第１車両制御部（１４）は、第１撮影画像に含まれる人物が登録ユーザであると判定された場合、車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する。動作判定部（１６）は、車両の周辺の風景又は車両の室内を撮影して生成された第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する。第２車両制御部（１７）は、第２撮影画像に含まれる人物の動作が登録動作である場合、車両の所定開閉体又は車両の電源に対する、人物の動作に応じた第２制御を実行するための第２制御信号を送信する。

Description

情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体

　本開示は、情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体に関し、特に車両を制御する情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体に関する。

　スマートキー等の電子鍵を用いて車両のドアを非接触で解錠することが行われているが、近年、リレーアタックによる車両の盗難事件が深刻化している。そこで、なりすまし防止のために、電子鍵及び生体認証を利用して車両のドアの解錠を行う技術が提案されている。例えば、特許文献１には、人体通信により得た情報に基づいて人間が携帯する電子鍵の認証を行い、電子鍵が正当であり、かつ撮影画像に基づく検出顔画像と登録顔画像とが一致すると判定されたときに開錠を行うキーレスエントリー装置が開示されている。

　しかし、上述の特許文献１に記載の方法では、車両ドアの解錠に電子鍵が必要となるため利便性が不十分であり、また電子鍵が盗難されると車両のドアを解錠できないという問題があった。

　そこで、電子鍵を用いずに、生体認証を利用して車両のドアの解錠を行う技術が提案されている。例えば、生体認証及び動作を用いて、車両のドアの解錠を行う技術が開発されている。一例として、特許文献２には、車両の周囲に定められた検出領域内に位置する物体の画像情報に基づいて、侵入した人物が所定ユーザであるかの認証を行い、画像情報に基づいて取得した挙動情報に基づいてドアを解錠する解錠制御装置が開示されている。

　また生体認証及び動作を用いて、車両のドアの開閉制御を行う技術も開発されている。一例として、特許文献３には、車両周辺の撮像画像から周辺にいる人の歩容に基づいて登録ユーザを検出し、撮像画像から登録ユーザに係る視線方向を検出し、視線方向に基づいてドアを閉状態から開状態に変化させる車両用制御装置が開示されている。

特開２０１１－０３２７８２号公報特開２０２０－１００９６３号公報特開２０２１－００１４４７号公報

　ここで、利便性の向上のため、解錠に加えてドアの開閉操作も非接触で行いたいという要求がある。しかし、上述の特許文献２には、このようなドアの開閉操作については、開示されておらず、利便性が不十分である。尚、ドアの開閉操作に限らず、ユーザの意思を必要とするその他の操作についても同様である。また、上述の特許文献３には、電子鍵を用いずに車両のドアを解錠することが開示されておらず、利便性が不十分である。

　本開示の目的は、上述した課題に鑑み、車両の操作の利便性が向上する情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体を提供することにある。

　本開示の一態様にかかる情報処理装置は、第１認証手段と、第１車両制御手段と、動作判定手段と、第２車両制御手段とを備える。前記第１認証手段は、車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する。前記第１車両制御手段は、前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する。前記動作判定手段は、前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する。前記第２車両制御手段は、前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、第２制御を実行するための第２制御信号を送信する。前記第２制御は、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる。

　本開示の一態様にかかる車両制御システムは、生体認証を実行する生体認証装置と、情報処理装置とを備える。前記情報処理装置は、第１認証手段と、第１車両制御手段と、動作判定手段と、第２車両制御手段とを備える。前記第１認証手段は、前記生体認証装置に、車両の周辺の風景を撮影して生成された第１撮影画像に基づく、前記第１撮影画像に含まれる人物についての生体認証を実行させ、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する。前記第１車両制御手段は、前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する。前記動作判定手段は、前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する。前記第２車両制御手段は、前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、第２制御を実行するための第２制御信号を送信する。前記第２制御は、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる。

　本開示の一態様にかかる情報処理方法は、第１認証段階と、第１車両制御段階と、動作判定段階と、第２車両制御段階とを備える。前記第１認証段階は、車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する段階である。前記第１車両制御段階は、前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する段階である。前記動作判定段階は、前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する段階である。前記第２車両制御段階は、前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、第２制御を実行するための第２制御信号を送信する段階である。前記第２制御は、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる。

　本開示の一態様にかかる非一時的なコンピュータ可読媒体は、コンピュータに、第１認証段階と、第１車両制御段階と、動作判定段階と、第２車両制御段階とを実行させるためのプログラムが格納される。前記第１認証段階は、車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する段階である。前記第１車両制御段階は、前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する段階である。前記動作判定段階は、前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する段階である。前記第２車両制御段階は、前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、第２制御を実行するための第２制御信号を送信する段階である。前記第２制御は、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる。

　本開示により、車両の操作の利便性が向上する情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体を提供できる。

実施形態１にかかる情報処理装置の構成を示すブロック図である。実施形態１にかかる情報処理の流れを示すフローチャートである。実施形態２にかかる車両制御システムの全体構成を示すブロック図である。実施形態２にかかる顔認証装置の構成を示すブロック図である。実施形態２にかかる顔情報登録処理の流れを示すフローチャートである。実施形態２にかかる顔認証処理の流れを示すフローチャートである。実施形態２にかかる車載システムの概略構成図である。実施形態２にかかる車載システムの構成を示すブロック図である。実施形態２にかかるユーザ情報のデータ構造の一例を示す図である。実施形態２にかかる動作テーブルのデータ構造の一例を示す図である。実施形態２にかかる登録処理の流れを示すフローチャートである。実施形態２にかかる制御処理の流れを示すフローチャートである。実施形態２にかかる登録処理の流れの一例を示すシーケンス図である。実施形態２にかかる制御処理の流れの一例を示すシーケンス図である。実施形態２にかかる制御処理の流れの他の例を示すシーケンス図である。実施形態３にかかる車載システムの構成を示すブロック図である。実施形態３にかかるユーザ位置の一例を示す図である。実施形態３にかかるユーザ位置の他の例を示す図である。実施形態３にかかる動作テーブルのデータ構造の一例を示す図である。実施形態３にかかる制御処理の流れの一例を示すフローチャートである。実施形態４にかかる車載システムの構成を示すブロック図である。実施形態４にかかる制御処理の流れの一例を示すフローチャートである。実施形態５にかかる車載システムの構成を示すブロック図である。実施形態６にかかる車両制御システムの全体構成を示すブロック図である。実施形態６にかかる動作判定モデルテーブルのデータ構造の一例を示す図である。コンピュータの構成例を示す図である。

　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

　＜実施形態の課題＞
　ここで、改めて実施形態の課題について説明する。
　近年、スマートキー等の電子鍵を用いて、車両のドアを非接触で解錠することが行われている。しかし、電子鍵が盗難されると車両のドアの解錠をすることができないという問題があった。また最近では、リレーアタックによる車両の盗難事件が深刻化している。

　ここで、上述の特許文献１には、電子鍵及び顔認証を利用して車両のドアの解錠を行う方法が開示されている。しかし、上述の通り、車両ドアの解錠に電子鍵が必要となり、利便性が不十分であるという問題がある。

　そこで、電子鍵を用いずに、生体認証を利用して車両のドアの解錠を行う技術が提案されている。また、ドアの解錠に加えて、ドアの開閉操作も、非接触で行いたいという要求がある。尚、上述の特許文献２及び３に記載の方法では、このような要求を満たすことが困難である。

　そこで、生体認証が成功した場合、ドアの解錠及びドアの開放の両方を実行するという方法が考えられる。この方法は、自動解錠という観点では利便性を向上することができるものの、解錠後にドアが必ず開放されるため、意図しないドア開放が実行されてしまうという問題がある。

　また、生体認証及び動作に基づいて、ドアの解錠及びドアの開放の両方を実行するという方法も考えられる。しかし、この方法では、ユーザが解錠だけ希望する場合に対応できないという問題がある。
　尚、ドアの開閉操作に限らず、ユーザの意思を必要とするその他の操作も同様である。

　したがって、車両の操作の利便性の向上がより求められている。本実施形態は、このような課題を解決するためになされたものである。

　＜実施形態１＞
　まず、本開示の実施形態１について説明する。図１は、実施形態１にかかる情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、車両の開閉体の解錠制御と、その他の車両に関する各種制御とを実行するためのコンピュータである。情報処理装置１０は、車両の周辺の風景を撮影して生成された撮影画像又は車両の室内を撮影して生成された撮影画像を取得し、取得した撮影画像に基づいて、上述した制御を実行する。所定の条件下で車両の周辺の風景を撮影して生成された撮影画像を、第１撮影画像と呼ぶ。例えば、第１撮影画像は、車両の開閉体が施錠状態である場合に、車両の周辺の風景を撮影して生成された撮影画像である。また、所定の条件下で、車両の周辺の風景又は車両の室内を撮影して生成された撮影画像を、第２撮影画像と呼ぶ。例えば、第２撮影画像は、車両の開閉体が解錠状態である場合に、車両の周辺の風景を撮影して生成された撮影画像である。
　情報処理装置１０は、第１認証部１３と、第１車両制御部１４と、動作判定部１６と、第２車両制御部１７とを備える。

　第１認証部１３は、第１認証手段とも呼ばれる。第１認証部１３は、第１撮影画像に基づいて、第１撮影画像に含まれる人物についての生体認証を制御し、第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する。また、生体認証を制御するとは、第１認証部１３が生体認証を実行することであってもよいし、第１認証部１３が他の装置、例えば生体認証装置に生体認証を実行させることであってもよい。ここで、生体認証は、顔認証、虹彩認証、静脈認証及び耳介認証等、撮影画像により生体情報を抽出可能な生体認証である。

　第１車両制御部１４は、第１車両制御手段とも呼ばれる。第１車両制御部１４は、第１撮影画像に含まれる人物が登録ユーザであると判定された場合、第１制御を実行するための第１制御信号を送信する。第１制御は、車両の開閉体の解錠に関わる制御である。

　動作判定部１６は、動作判定手段とも呼ばれる。動作判定部１６は、第２撮影画像に基づいて、第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する。また、動作判定を制御するとは、動作判定部１６が動作判定を実行することであってもよいし、動作判定部１６が他の装置、例えば動作判定装置に動作判定を実行させることであってもよい。

　第２車両制御部１７は、第２車両制御手段とも呼ばれる。第２車両制御部１７は、第２撮影画像に含まれる人物の動作が登録動作である場合、車両に関する第２制御を実行するための第２制御信号を送信する。ここで第２制御は、車両の所定の開閉体又は車両の電源に対する制御であり、第１制御とは異なる制御である。第２制御は、人物の動作に応じて定められる。車両の所定の開閉体は、第１制御で制御される車両の開閉体と同じであってもよいし、第１制御で制御される車両の開閉体の一部の開閉体であってもよいし、車両に含まれる他の開閉体であってもよい。

　図２は、実施形態１にかかる情報処理の流れを示すフローチャートである。まず、情報処理装置１０の第１認証部１３は、情報処理装置１０が取得した撮影画像が、車両の周辺の風景を撮影して生成された第１撮影画像であるか否かを判定する（Ｓ１１）。情報処理装置１０が取得した撮影画像が第１撮影画像である場合（Ｓ１１でＹｅｓ）、第１認証部１３は、第１撮影画像に基づいて、第１撮影画像に含まれる人物についての生体認証を制御する（Ｓ１２）。次に、第１認証部１３は、生体認証の結果に基づいて、第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する（Ｓ１３）。第１撮影画像に含まれる人物が登録ユーザであると判定された場合（Ｓ１３でＹｅｓ）、第１車両制御部１４は、車両の開閉体を解錠させるための第１制御信号を送信し（Ｓ１４）、処理をステップＳ１１に戻す。一方、第１撮影画像に含まれる人物が登録ユーザであると判定されなかった場合（Ｓ１３でＮｏ）、第１認証部１３は、そのまま処理をステップＳ１１に戻す。

　一方、情報処理装置１０が取得した撮影画像が第１撮影画像でない場合（Ｓ１１でＮｏ）、動作判定部１６は、車両の周辺の風景又は車両の室内を撮影して生成された第２撮影画像であるか否かを判定する（Ｓ１５）。情報処理装置１０が取得した撮影画像が第２撮影画像でない場合（Ｓ１５でＮｏ）、動作判定部１６は、処理をステップＳ１１に戻す。一方、情報処理装置１０が第２撮影画像である場合（Ｓ１５でＹｅｓ）、動作判定部１６は、第２撮影画像に基づいて、第２撮影画像に含まれる人物の動作判定を制御する（Ｓ１６）。そして第２撮影画像に含まれる人物の動作が登録動作である場合（Ｓ１７でＹｅｓ）、第２車両制御部１７は、動作に応じた第２制御を実行するための第２制御信号を送信し（Ｓ１８）、処理をステップＳ１１に戻す。一方、第２撮影画像に含まれる人物の動作が登録動作でない場合（Ｓ１７でＮｏ）、動作判定部１６は、処理をステップＳ１１に戻す。

　このように実施形態１によれば、情報処理装置１０は、生体認証により車両の開閉体の解錠の制御を実行し、動作判定により車両の解錠以外の制御を実行する。これにより、ユーザは、電子鍵を用いずに非接触で、車両のドアを解錠し、かつ、車両に関するその他の操作を行うことができる。

　尚、情報処理装置１０は、動作判定によりユーザの意思に基づいて車両の解錠以外の制御を行うため、生体認証が成功した場合にドアの解錠及びドアの開放を実行する方式と比べて、意図しないドア開放が実行されてしまう事態を回避することができる。また、情報処理装置１０は、生体認証及び動作の２要素認証でドアの解錠及びドアの開放を実行する方式と比べて、ユーザが解錠だけを希望する場合に対応できる。したがって、車両の操作の利便性が向上する。

　＜実施形態２＞
　次に、本開示の実施形態２について説明する。図３は、実施形態２にかかる車両制御システム９００の全体構成を示すブロック図である。車両制御システム９００は、生体認証を用いた車両に関する各種制御を実現するためのコンピュータシステムである。車両に関する各種制御とは、車両の開閉体の解錠又は施錠にかかる制御、並びにユーザの意思を必要とするその他の制御である。開閉体は、フロントドア、リアドア、ボンネット、給油口カバー、ドアガラス（窓）、及びトランクカバー等であってよい。ここで、車両の開閉体の解錠にかかる制御を第１制御と呼び、車両の開閉体の施錠にかかる制御を第３制御と呼び、ユーザの意思を必要とするその他の制御を、第２制御と呼ぶ。第２制御は、例えば、車両の開閉体の開放又は閉鎖にかかる制御であってもよいし、車両の電源を起動又は停止することであってよい。車両の電源は、イグニッション電源（ＩＧ電源）であってもよいし、アクセサリー電源（ＡＣＣ電源）であってもよい。

　尚、本実施形態２では、生体認証は顔認証である。しかしこれに代えて、生体認証は、虹彩認証、静脈認証及び耳介認証等、撮影画像により生体情報を抽出可能なその他の生体認証であってもよい。

　車両制御システム９００は、車載システム１－１，１－２，１－３と、顔認証装置２とを備え、これらがネットワークＮを介して通信可能に接続されている構成をとる。ここで、ネットワークＮは、有線又は無線の通信回線である。

　車載システム１－１，１－２，１－３は、それぞれ、異なる車両に搭載されており、各々が、対応する車両の第１制御、第２制御、及び第３制御を実行する。以下では、車載システム１－１，１－２，１－３を区別しないで言及する場合、単に車載システム１と呼ぶことがある。尚、車両制御システム９００に含まれる車載システム１の数は、３に限らない。

　車載システム１は、顔認証を制御し、顔認証結果に基づいて第１制御を実行する。本実施形態２では、顔認証は、顔認証装置２によって行われる。したがって、車載システム１は、認証対象者であるユーザＵについての顔認証要求を顔認証装置２に送信し、そして顔認証結果を顔認証装置２から受信することで、顔認証を制御する。顔認証要求には、ユーザＵの顔領域を少なくとも含む撮影画像である顔画像が含まれるが、顔画像に代えて、顔画像から抽出した顔情報が含まれていてもよい。また車載システム１は、認証対象者であるユーザＵの動作を判定し、動作判定結果に基づいて第２制御を実行する。また車載システム１は、所定の条件下で第３制御を実行する。

　顔認証装置２は、生体認証を実行する生体認証装置の一例である。顔認証装置２は、複数の人物の顔情報を記憶する情報処理装置である。顔認証装置２は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔情報について、各ユーザＵの顔情報と照合を行い、照合結果（顔認証結果）を要求元へ返信する。

　図４は、実施形態２にかかる顔認証装置の構成を示すブロック図である。顔認証装置２は、顔情報データベース（ＤＢ）２１０と、検出部２２０と、特徴点抽出部２３０と、登録部２４０と、認証部２５０とを備える。顔情報ＤＢ２１０は、ユーザＩＤ２１１と当該ユーザＩＤの顔特徴情報２１２とを対応付けて記憶する。顔特徴情報２１２は、顔画像から抽出された特徴点の集合であり、顔情報の一例である。

　検出部２２０は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部２３０に供給する。特徴点抽出部２３０は、検出部２２０が検出した顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を供給する。また、特徴点抽出部２３０は、認証用の顔画像に含まれる特徴点を抽出し、認証部２５０に顔特徴情報を供給する。

　登録部２４０は、顔特徴情報の登録に際して、ユーザＩＤ２１１を新規に発行する。登録部２４０は、発行したユーザＩＤ２１１と、登録画像から抽出した顔特徴情報２１２とを対応付けて顔情報ＤＢ２１０へ登録する。認証部２５０は、顔特徴情報２１２を用いた顔認証を行う。具体的には、認証部２５０は、顔画像から抽出された顔特徴情報と、顔情報ＤＢ２１０内の顔特徴情報２１２との照合を行う。認証部２５０は、顔特徴情報の一致の有無を情報処理装置１００に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する（一致有）とは、一致度が所定値以上である場合をいうものとする。

　図５は、実施形態２にかかる顔情報登録処理の流れを示すフローチャートである。まず、顔認証装置２は、顔情報登録要求に含まれるユーザＵの登録画像を取得する（Ｓ２１）。例えば、顔認証装置２は、顔情報登録要求を、情報処理装置１００又はユーザ端末（不図示）からネットワークＮを介して受け付ける。次に、検出部２２０は、登録画像に含まれる顔領域を検出する（Ｓ２２）。次に、特徴点抽出部２３０は、ステップＳ２２で検出した顔領域から特徴点を抽出し、登録部２４０に顔特徴情報を供給する（Ｓ２３）。最後に、登録部２４０は、ユーザＩＤ２１１を発行し、当該ユーザＩＤ２１１と顔特徴情報２１２とを対応付けて顔情報ＤＢ２１０に登録する（Ｓ２４）。なお、顔認証装置２は、顔情報登録要求元から顔特徴情報２１２を受信し、ユーザＩＤ２１１と対応付けて顔情報ＤＢ２１０に登録してもよい。

　図６は、実施形態２にかかる顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部２３０は、認証用の顔特徴情報を取得する（Ｓ３１）。例えば、顔認証装置２は、情報処理装置１００からネットワークＮを介して顔認証要求を受信し、顔認証要求に含まれる撮影画像からステップＳ２１からＳ２３のように顔特徴情報を抽出する。または、顔認証装置２は、情報処理装置１００から顔特徴情報を受信してもよい。次に、認証部２５０は、取得した顔特徴情報を、顔情報ＤＢ２１０の顔特徴情報２１２と照合する（Ｓ３２）。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上である場合（Ｓ３３でＹｅｓ）、認証部２５０は、顔特徴情報が一致したユーザのユーザＩＤ２１１を特定する（Ｓ３４）。そして認証部２５０は、顔認証に成功した旨と特定したユーザＩＤ２１１とを、顔認証結果として情報処理装置１００に返信する（Ｓ３５）。認証部２５０は、一致する顔特徴情報が存在しない場合（Ｓ３３でＮｏ）、顔認証に失敗した旨を、顔認証結果として情報処理装置１００に返信する（Ｓ３６）。

　図７は、実施形態２にかかる車載システム１の概略構成図である。車載システム１は、車両Ｖに搭載される。車載システム１は、情報処理装置１００と、車両Ｖに搭載される車載カメラを少なくとも含んでいる。車載カメラは、情報処理装置１００に接続される。本実施形態２では、車載カメラは、複数あり、複数の車載カメラは、車両Ｖの外部の周辺風景を撮影する周辺カメラ１２０と、車両Ｖの室内を撮影する車内カメラ１２２とが含まれる。

　まず、ユーザＵが施錠中の車両Ｖを解錠して乗り込みたい場合、ユーザＵは、車両Ｖの周辺に近づく。そして周辺カメラ１２０は、車両Ｖの周辺に位置するユーザＵを撮影し、第１撮影画像を生成する。そして、情報処理装置１００は、第１撮影画像に基づいて顔認証を制御し、ユーザＵが予め定められた登録ユーザであるか否かを判定する。情報処理装置１００は、ユーザＵが登録ユーザであると判定した場合、ドアを解錠するように制御する（第１制御）。尚、ドアの解錠のための顔認証を第１顔認証と呼ぶことがある。

　ドアが解錠状態となった場合、ユーザＵは、所定の動作（ジェスチャ）を実行する。このとき周辺カメラ１２０は、車両Ｖの周辺に位置するユーザＵを撮影し、第２撮影画像を生成する。本実施形態２では、第２撮影画像は、上述の第１撮影画像とは異なる画像であるが、同一の画像であってもよい。そして、情報処理装置１００は、第２撮影画像に基づいて、ユーザＵの動作が予め登録されている登録動作であるか否かの動作判定を制御する。情報処理装置１００は、ユーザＵの動作が登録動作であると判定した場合、ユーザＵの動作に応じた第２制御を実行する。尚、第２制御の対象及び種別は、登録動作に応じて定められてよい。例えば、ユーザＵが顔の向きを右から左に変化させる動作を行った場合、情報処理装置１００は乗車席のドアを開放し、ユーザＵが視線の向きを下から上に変化させる動作を行った場合、情報処理装置１００はＩＧ電源を起動させてよい。

　尚、第２撮影画像は、ユーザＵが車内にいる場合に撮影されてもよい。例えば、ドアが解錠状態となった場合、ユーザＵは運転席のドアを開放し、運転席に乗り込む。そしてユーザＵは、所定の動作を実行する。このとき車内カメラ１２２は、車両Ｖの室内に位置するユーザＵを撮影し、第２撮影画像を生成する。そして、情報処理装置１００は、第２撮影画像に基づいて、ユーザＵの動作が予め登録されている登録動作であるか否かの動作判定を制御する。情報処理装置１００は、ユーザＵの動作が登録動作であると判定した場合、ユーザＵの動作に応じた第２制御を実行する。例えば、ユーザＵが視線の向きを下から上に変化させる動作を行った場合、情報処理装置１００は、車両ＶのＩＧ電源をＯＮにしてよい。

　また、ユーザＵが降車し、ドアが閉鎖した場合、情報処理装置１００は、ドアが閉鎖してから所定時間が経過したときに、ドアを施錠するように制御する（第３制御）。

　図８は、実施形態２にかかる車載システム１の構成を示すブロック図である。車載システム１は、情報処理装置１００と、周辺カメラ１２０と、車内カメラ１２２と、第１駆動部１３０と、第２駆動部１４０－１，１４０－５とを備える。

　情報処理装置１００は、上述した情報処理装置１０の一例である。情報処理装置１００は、登録部１０１と、取得部１０２と、第１認証部１０３と、第１車両制御部１０４と、動作判定部１０６と、第２車両制御部１０７と、記憶部１０８とを有する。

　登録部１０１は、登録手段とも呼ばれる。登録部１０１は、登録画像を含む顔情報登録要求を、ネットワークＮを介して顔認証装置２へ送信する。また登録部１０１は、上記顔情報登録の際に顔認証装置２によって発行されたユーザＩＤを、ユーザ情報として記憶部１０８に格納する。ユーザ情報として記録されたユーザＩＤは、車両Ｖの登録ユーザのユーザＩＤである。

　図９は、実施形態２にかかるユーザ情報のデータ構造の一例を示す図である。本図に示すように、ユーザ情報は、登録ＩＤごとのユーザＩＤを含んでいる。

　図８に戻り、説明を続ける。登録部１０１は、第２制御を実行するための動作を動作テーブルに登録する。登録された動作は、登録動作と呼ばれる。
　図１０は、実施形態２にかかる動作テーブルのデータ構造の一例を示す図である。動作テーブルは、登録動作の内容と、第２制御の内容とを対応付ける。

　登録動作の内容は、動作対象と、動作種別とを対応付けた情報であり、動作ＩＤにより識別される。動作対象は、身体又は動作させる身体上の部位であり、本図では、人物の顔又は視線である。しかしこれに限らず、動作対象は、手であってもよい。動作種別は、動作対象をどのように動かすかを示す情報である。動作種別は、「向きを右→左に変化させる」又は「向きを上→下に変化させる」といった「向きを変化させる」ことであってよい。また動作種別は、「（身体が）車両Ｖに近づく」ことであってもよい。また動作種別は、「（手で）耳を触る」又は「（手で）鼻を触る」といった「顔領域又は顔周辺の特定の領域に触れる」ことであってもよい。尚、１の登録動作の内容が、１組の動作対象及び動作種別から構成されてもよいし、複数組の動作対象及び動作種別から構成されてもよい。つまり、登録動作の内容は、人物の顔の向き及び視線の向きの少なくとも一方に基づいて定められ、例えば「顔の向きを右→左→正面→下→上に変化させること」であってもよい。また登録動作は、人物が「耳→鼻→口の順に触る」ことであってもよい。

　第２制御の内容は、第２制御対象と、第２制御種別とを対応付けた情報である。第２制御対象は、第２制御により制御する対象となる車両Ｖの部位であり、本図では、ドア又はＩＧ電源である。しかしこれに限らず、第２制御対象は、ドアガラス、ボンネット、給油口カバー若しくはトランクカバーといったその他の開閉体であってもよいし、ＡＣＣ電源といったその他の電源であってもよい。第２制御種別は、第２制御対象をどのように制御するかを示す情報である。第２制御種別は、「（開閉体を）開放する」又は「（開閉体を）閉鎖する」といった開閉に関する制御であってもよいし、「（電源を）起動させる」又は「（電源を）停止させる」といった電源の起動・停止に関する制御であってもよい。つまり、第２制御の内容は、ドア開放、ドア閉鎖、ＩＧ電源の起動、ＩＧ電源の停止、ＡＣＣ電源の起動、ＡＣＣ電源の停止、給油口カバー開放、給油口カバー閉鎖、トランクカバー開放、トランクカバー閉鎖、ボンネット開放、ボンネット閉鎖、ドアガラス（窓）開放、又はドアガラス閉鎖であってよい。尚、１の第２制御の内容が、１組の第２制御対象及び第２制御種別から構成されてもよいし、複数組の第２制御対象及び第２制御種別から構成されてもよい。つまり、第２制御の内容は、開閉体の開放若しくは閉鎖及び電源の起動若しくは停止の少なくとも一方に基づいて定められ、例えば「ドアを開放し、ＩＧ電源を起動する」ことであってもよい。

　尚、第２制御種別が示す制御の方向は、動作種別が示す変化の方向に対応するように予め定められてもよい。つまり、動作対象が顔又は視線である場合、第２制御の内容は、動作種別が示す視線の向き又は顔の向きに応じた方向に、車両Ｖの開閉体を開閉させるための制御を示してよい。例えば、登録動作の内容が「顔の向きを右から左に変化させる」ことである場合、第２制御の内容は、「スライドドアを右から左に摺動させて開放する」ことであってよい。これにより、ユーザＵは、直感な動作をすればよいため、操作性が向上する。

　図８に戻り、説明を続ける。取得部１０２は、取得手段とも呼ばれる。取得部１０２は、周辺カメラ１２０及び車内カメラ１２２に接続され、周辺カメラ１２０及び車内カメラ１２２から撮影画像を取得する。取得部１０２は、車両Ｖのドアが施錠状態である場合、周辺カメラ１２０から取得した撮影画像を、第１撮影画像として、第１認証部１０３に供給する。また取得部１０２は、車両Ｖのドアが解錠状態である場合、周辺カメラ１２０又は車内カメラ１２２から取得した撮影画像を、第２撮影画像として、動作判定部１０６に供給する。尚、第２撮影画像は、第１撮影画像と異なるタイミングで撮影された画像であるが、後述する第１制御信号により車両Ｖのドアが解錠状態となった場合は、取得部１０２は、第１撮影画像と同一の画像を第２撮影画像として動作判定部１０６に供給してもよい。

　尚、取得部１０２は、所定の時間間隔で絶えず周辺カメラ１２０及び車内カメラ１２２から撮影画像を取得してよい。
　この場合、取得部１０２は、車両Ｖのドアが施錠状態であり、かつ所定の第１撮影画像取得条件を満たした場合、周辺カメラ１２０から取得した撮影画像を、第１撮影画像として、第１認証部１０３に供給してよい。第１撮影画像取得条件は、第１認証開始条件とも呼ばれてよい。第１撮影画像取得条件は、周辺カメラ１２０が撮影した撮影画像に含まれるユーザＵが車両Ｖを基準とする予め定められる領域（第１撮影画像取得領域）に位置することであってよい。例えば、ユーザＵが第１撮影画像取得領域に位置するか否かは、周辺カメラ１２０が撮影した撮影画像に含まれるユーザＵの顔領域の大きさ又は幅若しくは長さが所定画素数以上であるか否かにより判定されてよい。また例えば、ユーザＵが第１撮影画像取得領域に位置するか否かは、周辺カメラ１２０が撮影した撮影画像に含まれる、ユーザＵの顔領域に含まれる所定の顔器官の特徴点を結ぶ長さが、所定画素数以上であるか否かにより判定されてもよい。顔器官の特徴点は、右目、左目、鼻の端点、口の端点、右眉の端点、及び左眉の端点うち少なくとも２つであってよい。一例として、顔器官の特徴点は、右目と左目である。また例えば、ユーザＵが第１撮影画像取得領域に位置するか否かは、車両Ｖに搭載された複数の車載カメラの撮影画像を合成して得られた俯瞰画像から人物領域を検出し、人物領域の位置に基づいて判定されてもよい。また例えば、ユーザＵが第１撮影画像取得領域に位置するか否かは、測距センサ等のセンサが第１撮影画像取得領域における人物の存在を検知したか否かにより判定されてもよい。このように第１撮影画像取得条件を満たすまでは第１認証部１０３による処理を開始しないことで、消費電力を低減することができる。

　また、取得部１０２は、車両Ｖのドアが解錠状態であり、かつ所定の第２撮影画像取得条件を満たした場合、周辺カメラ１２０又は車内カメラ１２２から取得した撮影画像を、第２撮影画像として、動作判定部１０６に供給してよい。第２撮影画像取得条件は、動作判定開始条件とも呼ばれてよい。第２撮影画像取得条件は、周辺カメラ１２０又は車内カメラ１２２が撮影した撮影画像に含まれるユーザＵが、車両Ｖを基準とする予め定められた領域（第２撮影画像取得領域）に位置することであってもよい。第２撮影画像取得領域は、第１撮影画像取得領域と異なる領域であってもよいし、同じ領域であってもよい。ユーザＵが第２撮影画像取得領域に位置するか否かの判定は、上述の説明における「周辺カメラ１２０」を「周辺カメラ１２０又は車内カメラ１２２」に、「第１撮影画像取得領域」を「第２撮影画像取得領域」に読み替えて、説明を省略する。

　尚、取得部１０２は、ユーザＵが第２撮影画像取得領域に位置する場合、即座に第２撮影画像取得条件を満たしたと判定し、撮影画像を第２撮影画像として動作判定部１０６に供給してよい。しかしこれに代えて、取得部１０２は、ユーザＵが第２撮影画像取得領域に所定時間以上滞在していると判定した後、撮影画像を第２撮影画像として動作判定部１０６に供給してもよい。つまり、第２撮影画像取得条件は、撮影画像に含まれるユーザＵが第２撮影画像取得領域に所定時間以上滞在していることであってもよい。この場合、例えば、第２撮影画像取得条件は、撮影画像に含まれるユーザＵが第２撮影画像取得領域に数秒以上立ち止まる、又は数秒以上運転席に座ることであってよい。このように第２撮影画像取得条件を満たすまでは動作判定を開始しないことで、消費電力を低減することができる。

　第１認証部１０３は、上述の第１認証部１３の一例である。第１認証部１０３は、顔認証装置２に対して、第１撮影画像に含まれる人物（ユーザＵ）についての顔認証を実行させ、顔認証結果に基づいて、第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する。具体的には、第１認証部１０３は、第１撮影画像を含む顔認証要求を、ネットワークＮを介して顔認証装置２に送信する。そして、第１認証部１０３は、ネットワークＮを介して顔認証装置２から顔認証結果を受信する。そして、第１認証部１０３は、顔認証結果に含まれるユーザＩＤが、記憶部１０８に格納されたユーザ情報に含まれるか否かを判定する。第１認証部１０３は、顔認証結果に含まれるユーザＩＤがユーザ情報に含まれる場合、第１撮影画像に含まれる人物が登録ユーザであると判定する。そして、第１認証部１０３は、登録ユーザ判定結果を第１車両制御部１０４に供給する。尚、第１認証部１０３による処理を第１認証処理と呼ぶことがある。

　第１車両制御部１０４は、上述の第１車両制御部１４の一例である。第１車両制御部１０４は、第１駆動部１３０に接続されている。第１車両制御部１０４は、第１撮影画像に含まれる人物が登録ユーザであると判定された場合、車両Ｖの開閉体の解錠に関わる第１制御を実行するための第１制御信号を、第１駆動部１３０に送信する。

　また、第１車両制御部１０４は、車両Ｖの開閉体が解錠状態かつ閉鎖状態であり、閉鎖状態となってから所定時間が経過していた場合、車両Ｖの開閉体の施錠に関わる第３制御を実行するための第３制御信号を、第１駆動部１３０に送信する。これにより、車両Ｖの開閉体は電子鍵を用いずに自動で施錠されるため、セキュリティレベル及び利便性が向上する。

　動作判定部１０６は、上述の動作判定部１６の一例である。動作判定部１０６は、取得部１０２から第２撮影画像を取得する。そして動作判定部１０６は、第２撮影画像に基づいて、第２撮影画像に含まれる人物（ユーザＵ）の動作が登録動作であるか否かの動作判定を実行する。具体的には、動作判定部１０６は、第２撮影画像から動作の特徴量を示す、認証用の動作情報を生成する。そして、動作判定部１０６は、記憶部１０８に格納される動作テーブルを参照し、認証用の動作情報が、動作テーブルに登録されている登録動作の特徴量である登録用の動作情報と一致するか否かを判定する。認証用の動作情報が登録用の動作情報と一致するとは、特徴量の類似度が所定閾値以上であることであってよい。尚、動作判定部１０６は、認証用の動作情報の生成から動作判定までの一連の処理を、動作判定モデルを用いて実行する。動作判定モデルは、動作テーブルに登録されている登録動作に対応して学習された判定器である。例えば、動作判定モデルは、第２撮影画像を入力として、認証用の動作情報と登録用の動作情報との類似度を出力してよい。この場合、動作判定モデルは、畳み込みニューラルネットワーク（ＣＮＮ）を含んでよい。動作判定部１０６は、認証用の動作情報が登録用の動作情報と一致する場合、動作の種別を第２車両制御部１０７に通知する。

　第２車両制御部１０７は、上述した第２車両制御部１７の一例である。第２車両制御部１０７は、第２駆動部１４０－１及び第２駆動部１４０－５に接続される。第２車両制御部１０７は、第２撮影画像に含まれるユーザＵの動作が登録動作である場合、第２制御信号を送信し、ユーザＵの動作に応じて定められる第２制御を実行する。第２制御信号の送信先は、第２駆動部１４０－１及び第２駆動部１４０－５のいずれかであり、ユーザＵの動作に応じて決定される。

　記憶部１０８は、情報処理装置１００の情報処理、すなわち登録処理及び制御処理に必要な情報を記憶する記憶装置である。記憶部１０８は、少なくとも、ユーザ情報、動作テーブル、及び登録動作に対応する動作判定モデルを記憶する。

　第１駆動部１３０は、車両Ｖの開閉体の解錠及び施錠のための駆動力を発生させるアクチュエータである。第２駆動部１４０－１は、車両Ｖの開閉体の開放及び閉鎖のための駆動力を発生させるアクチュエータである。第２駆動部１４０－５は、車両Ｖの電源を起動及び停止させるためのスイッチである。

　図１１は、実施形態２にかかる登録処理の流れを示すフローチャートである。まず、情報処理装置１００の登録部１０１は、ユーザＵの登録画像を取得する（Ｓ４０）。このとき登録部１０１は、登録画像を、周辺カメラ１２０若しくは車内カメラ１２２から取得してもよいし、ユーザＵが使用するユーザ端末（不図示）からネットワークＮを介して取得してもよい。次に、登録部１０１は、ネットワークＮを介して顔認証装置２に顔情報ＤＢ２１０への顔情報の登録を要求する（Ｓ４１）。顔情報登録要求には、登録画像が含まれる。次に、登録部１０１は、顔認証装置２からネットワークＮを介してユーザＩＤを取得する（Ｓ４２）。次に、登録部１０１は、ユーザＩＤをユーザ情報として登録する（Ｓ４３）。

　次に、登録部１０１は、登録用の動作情報を取得し（Ｓ４４）、登録用の動作情報を動作テーブルに登録する（Ｓ４５）。登録用の動作情報は、第２制御の内容及び登録動作の内容を含む。登録部１０１は、第２制御の内容及び登録動作の内容を、車両ＶのユーザＵからの入力部を介した入力により取得してよい。具体的には、まずユーザＵは、第２制御対象及び第２制御種別を入力し、第２制御の内容を設定する。例えばユーザＵは、予め定められた第２制御対象及び第２制御種別の一覧から１又は複数組の第２制御対象及び第２制御種別を選択することにより、第２制御の内容を設定してよい。そしてユーザＵは、動作対象及び動作種別を入力し、設定した第２制御の内容に対応する登録動作の内容を設定する。例えば、ユーザＵは、予め定められた動作対象及び動作種別の一覧から、１組の動作対象及び動作種別を選択することにより、登録動作の内容を設定してよい。また、ユーザＵは、予め定められた動作対象及び動作種別の一覧から、複数組の動作対象及び動作種別を選択し、これらを自由に組み合わせることで、登録動作の内容を設定してもよい。そして登録部１０１は、登録用の動作情報、具体的には、ユーザＵからの入力部を介した入力に基づいて設定された登録動作の内容と第２制御の内容とを対応付けた情報を、動作テーブルに登録する。尚、登録部１０１は、登録動作を実行している登録ユーザを撮影した動画データに基づいて登録動作の内容を特定し、特定された登録動作の内容を、第２制御の内容に対応付けて動作テーブルに登録してもよい。尚、動作テーブルが予め設定されている場合は、ステップＳ４４～４５に示す処理は省略されてよい。

　図１２は、実施形態２にかかる制御処理の流れを示すフローチャートである。まず情報処理装置１００は、車両Ｖのドアが施錠状態であるか否かを判定する（Ｓ５０）。ここで情報処理装置１００は、例えば第１車両制御部１０４において第１駆動部１３０の状態を監視することで、車両Ｖのドアが施錠状態であるか否かを判定してよい。車両Ｖのドアが施錠状態である場合（Ｓ５０でＹｅｓ）、取得部１０２は、上述した第１撮影画像取得条件を満たしたか否かを判定する（Ｓ５１）。第１撮影画像取得条件を満たしていない場合（Ｓ５１でＮｏ）、取得部１０２は、処理をステップＳ５０に戻す。一方、第１撮影画像取得条件を満たした場合（Ｓ５１でＹｅｓ）、取得部１０２は、周辺カメラ１２０から取得した撮影画像を第１撮影画像として第１認証部１０３に供給し、処理をステップＳ５２に進める。ステップＳ５２において、第１認証部１０３は、顔認証装置２に対してネットワークＮを介して顔認証要求を送信する。このとき、第１認証部１０３は、第１撮影画像、第１撮影画像から抽出した顔領域、又は、当該顔領域から抽出した顔特徴情報の少なくともいずれかを顔認証要求に含める。そして、第１認証部１０３は、顔認証装置２からネットワークＮを介して顔認証結果を受信する（Ｓ５３）。顔認証結果は、顔認証に成功した場合、その旨及びユーザＩＤを含み、顔認証に失敗した場合、その旨を含む。

　次に、第１認証部１０３は、顔認証に成功したか否かを判定する（Ｓ５４）。顔認証に成功しなかった場合（Ｓ５４でＮｏ）、第１認証部１０３は、処理をステップＳ５０に戻す。一方、顔認証に成功した場合（Ｓ５４でＹｅｓ）、第１認証部１０３は、顔認証に成功したユーザＩＤを特定し（Ｓ５６）、処理をステップＳ５７に進める。具体的には、第１認証部１０３は、顔認証結果に含まれるユーザＩＤを抽出する。ステップＳ５７において、第１認証部１０３は、記憶部１０８に格納されるユーザ情報に、特定したユーザＩＤが含まれるか否かを判定することにより、顔認証に成功したユーザＵが登録ユーザであるか否かを判定する（Ｓ５７）。顔認証に成功したユーザＵが登録ユーザでない場合（Ｓ５７でＮｏ）、第１認証部１０３は、処理をステップＳ５０に戻す。一方、顔認証に成功したユーザＵが登録ユーザである場合（Ｓ５７でＹｅｓ）、第１車両制御部１０４は、車両Ｖのドアを解錠させるための第１制御信号を、第１駆動部１３０に送信する（Ｓ５８）。

　一方、車両Ｖのドアが施錠状態でない、すなわち解錠状態である場合（Ｓ５０でＮｏ）、取得部１０２は、上述した第２撮影画像取得条件を満たしたか否かを判定する（Ｓ５９）。第２撮影画像取得条件を満たしていない場合（Ｓ５９でＮｏ）、取得部１０２は、処理をステップＳ６３に進める。一方、第２撮影画像取得条件を満たした場合（Ｓ５９でＹｅｓ）、取得部１０２は、周辺カメラ１２０又は車内カメラ１２２から取得した撮影画像を第２撮影画像として動作判定部１０６に供給し、処理をステップＳ６０に進める。ステップＳ６０において、動作判定部１０６は、第２撮影画像に含まれる人物領域又は顔領域を検出し、人物領域又は顔領域に基づいて、第２撮影画像に含まれるユーザＵの認証用の動作情報を生成する（Ｓ６０）。次に、動作判定部１０６は、ユーザＵの認証用の動作情報が動作テーブルに登録されている登録動作の登録用の動作情報と一致するか否かを判定することにより、ユーザＵの動作が登録動作であるか否かを判定する（Ｓ６１）。ユーザＵの動作が登録動作でない場合（Ｓ６１でＮｏ）、動作判定部１０６は、処理をステップＳ６３に進める。一方、ユーザＵの動作が登録動作である場合（Ｓ６１でＹｅｓ）、動作判定部１０６は、処理をステップＳ６２に進める。ステップＳ６２において、第２車両制御部１０７は、ユーザＵの動作（つまり、一致した登録動作）に応じた第２制御信号を生成し、第２制御信号を第２駆動部１４０に送信する（Ｓ６２）。具体的には、第２車両制御部１０７は、動作テーブルを用いて登録動作に対応する第２制御対象及び第２制御種別を特定し、第２制御対象及び第２制御種別に基づいて第２制御信号を生成する。そして第２車両制御部１０７は、第２制御対象に対応する第２駆動部１４０に対して第２制御信号を送信する。そして第２車両制御部１０７は、処理をステップＳ６３に進める。

　ステップＳ６３において、情報処理装置１００は、車両Ｖのドアが閉鎖状態であるか否かを判定する。ここで情報処理装置１００は、例えば第２車両制御部１０７において第２駆動部１４０－１の状態を監視することで、車両Ｖのドアが閉鎖状態であるか否かを判定してよい。車両Ｖのドアが閉鎖状態でない、すなわち開放状態である場合（Ｓ６３でＮｏ）、情報処理装置１００は、処理をステップＳ５０に戻す。一方、車両Ｖのドアが閉鎖状態である場合（Ｓ６３でＹｅｓ）、閉鎖状態になってから所定時間Δｔ経過したか否かを判定する（Ｓ６４）。所定時間Δｔ経過していない場合（Ｓ６４でＮｏ）、処理をステップＳ５０に戻す。一方、所定時間Δｔ経過した場合（Ｓ６４でＹｅｓ）、第１車両制御部１０４は、車両Ｖのドアを施錠させるための第３制御信号を、第１駆動部１３０に送信し（Ｓ６５）、処理をステップＳ５０に戻す。

　図１３は、実施形態２にかかる登録処理の流れの一例を示すシーケンス図である。まず、カメラは、ユーザＵを撮影し（Ｓ５０１）、撮影画像を、登録画像として情報処理装置１００に送信する（Ｓ５０２）。ここでユーザＵを撮影するカメラは、周辺カメラ１２０であってもよいし、車内カメラ１２２であってもよい。また、ユーザ端末のカメラ（不図示）がユーザＵを撮影し、ユーザ端末は、ネットワークＮを介して撮影画像を情報処理装置１００に送信してもよい。次に、情報処理装置１００は、登録画像を含む顔情報登録要求を、ネットワークＮを介して顔認証装置２に送信する（Ｓ５０３）。そして、顔認証装置２は、受信した顔情報登録要求に含まれる登録画像に基づいて、ユーザＵの顔情報（顔特徴情報）を登録する（Ｓ５０４）。そして、顔認証装置２は、ユーザＩＤを、ネットワークＮを介して情報処理装置１００に通知する（Ｓ５０５）。情報処理装置１００は、通知されたユーザＩＤを、ユーザ情報として登録する（Ｓ５０６）。そして情報処理装置１００は、登録ユーザから登録用の動作情報の入力操作を受け付ける（Ｓ５０７）。そして情報処理装置１００は、受け付けた登録用の動作情報、具体的には登録動作の内容と第２制御の内容とを対応付けた情報を、動作テーブルに登録する（Ｓ５０８）。

　図１４は、実施形態２にかかる制御処理の流れの一例を示すシーケンス図である。本図は、ユーザＵが車両Ｖに乗車する場合の制御処理を示している。

　まず、周辺カメラ１２０は、ユーザＵを撮影し（Ｓ５２１）、撮影画像を、ネットワークＮを介して情報処理装置１００に送信する（Ｓ５２２）。ここで第１撮影画像取得条件を満たしたとする。この場合、情報処理装置１００が受信した撮影画像は、第１撮影画像として特定される。次に、情報処理装置１００は、受信した撮影画像内のユーザＵの顔領域に対する顔認証要求を、ネットワークＮを介して顔認証装置２へ送信する（Ｓ５２３）。そして、顔認証装置２は、受信した顔認証要求に含まれる第１撮影画像内のユーザＵの顔領域について顔認証を行う（Ｓ５２４）。ここでは、顔認証に成功したものとする。顔認証装置２は、顔認証に成功した旨及びユーザＩＤを含めた顔認証結果を、ネットワークＮを介して情報処理装置１００へ送信する（Ｓ５２５）。

　顔認証結果を受信した情報処理装置１００は、顔認証結果に含まれるユーザＩＤとユーザ情報とを照合して、第１撮影画像に含まれるユーザＵが登録ユーザであるか否かを判定する（Ｓ５２６）。続いて情報処理装置１００は、第１駆動部１３０に、第１制御として、車両Ｖのドアを解錠するための第１制御信号を送信する（Ｓ５２７）。これにより、車両Ｖのドアが解錠状態になる。

　引き続き、周辺カメラ１２０は、ユーザＵを撮影し（Ｓ５２８）、撮影画像を、ネットワークＮを介して情報処理装置１００に送信する（Ｓ５２９）。ここで第２撮影画像取得条件を満たしたとする。この場合、情報処理装置１００が受信した撮影画像は、第２撮影画像として特定される。情報処理装置１００の動作判定部１０６は、第２撮影画像に基づいて、第２撮影画像に含まれるユーザＵの動作が登録動作であるか否かの動作判定を実行する（Ｓ５３０）。ここでは、ユーザＵは、顔の向きを右から左に移動させる動作をしたとする。この場合、情報処理装置１００は、動作テーブルを参照し、ユーザＵの動作が動作ＩＤ「Ｇ１」に一致すると判定する。そして情報処理装置１００は、第２駆動部１４０－１に対して、第２制御として、車両Ｖのドアを開放するための第２制御信号を送信する（Ｓ５３１）。これにより、車両Ｖのドアが開放状態になる。

　尚、ステップＳ５３０において、情報処理装置１００は、第２撮影画像に基づいて動作判定を実行するとした。しかしこれに代えて、情報処理装置１００は、第１撮影画像又は第１撮影画像の撮影タイミングを含む所定期間のフレームを第２撮影画像として特定し、第２撮影画像に基づいて動作判定を実行してもよい。この場合、ステップＳ５２８～５２９は省略されてもよい。

　図１５は、実施形態２にかかる制御処理の流れの他の例を示すシーケンス図である。本図も、ユーザＵが車両Ｖに乗車する場合の制御処理を示している。まず、図１４のステップＳ５２１～５２７と同様の処理が実行される。次に、ユーザＵが車両Ｖのドアを開放し、車両Ｖに乗車したとする。つまり、ユーザＵは、車両Ｖの外部から車両Ｖの室内に移動する。ここで、車内カメラ１２２は、ユーザＵを撮影し（Ｓ５３２）、撮影画像を、ネットワークＮを介して情報処理装置１００に送信している（Ｓ５３３）。ここで第２撮影画像取得条件を満たしたとする。この場合、情報処理装置１００が受信した撮影画像は、第２撮影画像として特定される。そして情報処理装置１００は、第２撮影画像に基づいて、第２撮影画像に含まれるユーザＵの動作が登録動作であるか否かの動作判定を実行する（Ｓ５３４）。ここでは、ユーザＵは、視線の向きを下から上に移動させる動作をしたとする。この場合、情報処理装置１００は、動作テーブルを参照し、ユーザＵの動作が動作ＩＤ「Ｇ３」に一致すると判定する。そして情報処理装置１００は、第２駆動部１４０－５に対して、第２制御として、車両ＶのＩＧ電源を起動するための第２制御信号を送信する（Ｓ５３５）。これにより、車両ＶのＩＧ電源が起動状態となる。

　また、ステップＳ５３２以降の処理は、図１４のステップＳ５３１の後に行われてもよい。

　このように実施形態２によれば、情報処理装置１００は、生体認証により車両Ｖのドアの解錠の制御を実行し、動作判定により車両Ｖの解錠以外の制御であって、ユーザＵの意思を必要とする制御を実行する。これにより、ユーザＵは、電子鍵を用いずに、車両のドアを解錠し、かつ、車両に関するその他の操作を意図した通りに行うことができる。またユーザＵは、解錠だけ実行することも可能である。したがって、実施形態１と同様の効果を奏することができ、車両の操作の利便性が向上する。

　＜実施形態３＞
　次に、本開示の実施形態３について説明する。実施形態３は、ユーザの位置により、動作判定対象となる登録動作の内容又は第２制御の内容が異なり得ることに特徴を有する。

　図１６は、実施形態３にかかる車載システム１ａの構成を示すブロック図である。車載システム１ａは、周辺カメラ１２０、第２駆動部１４０－１，１４０－５及び情報処理装置１００に代えて、周辺カメラ１２０－１～１２０－５、第２駆動部１４０－１～１４０－６、及び情報処理装置１００ａを備える点で車載システム１と相違する。尚、周辺カメラ１２０及び第２駆動部１４０の数は、これに限らない。

　周辺カメラ１２０－１～１２０－５は、車両Ｖの異なる位置に搭載された周辺カメラ１２０である。例えば周辺カメラ１２０－１、１２０－２、１２０－３、１２０－４及び１２０－５は、それぞれ、車両Ｖの左前方、左側方、右前方、右側方、及び後方の風景を撮影するカメラである。周辺カメラ１２０－１～１２０－５は、後述する取得部１０２ａに接続されている。

　第２駆動部１４０－１、１４０－２、１４０－３及び１４０－４は、車両Ｖの各種開閉体の開放及び閉鎖のための駆動力を発生させるアクチュエータである。一例として第２駆動部１４０－１、１４０－２、１４０－３及び１４０－４は、それぞれ、車両Ｖのドア、ボンネット、給油口カバー及びトランクカバーを開閉させる駆動力を発生させるアクチュエータである。

　第２駆動部１４０－５及び１４０－６は、車両Ｖの各種電源を起動及び停止させるためのスイッチである。一例として第２駆動部１４０－５及び１４０－６は、それぞれ、車両ＶのＩＧ電源及びＡＣＣ電源を起動及び停止させるスイッチである。
　第２駆動部１４０－１～１４０－６は、後述する第２車両制御部１０７ａに接続されている。

　情報処理装置１００ａは、取得部１０２、動作判定部１０６及び第２車両制御部１０７に代えて、取得部１０２ａ、動作判定部１０６ａ及び第２車両制御部１０７ａを備える。

　取得部１０２ａは、取得部１０２と基本的に同様の機能を有する。ただし取得部１０２ａは、周辺カメラ１２０－１～１２０－５及び車内カメラ１２２から取得する撮影画像から第２撮影画像を特定し、第２撮影画像に含まれるユーザＵが位置する領域であるユーザ位置を特定する点で取得部１０２と相違する。ユーザ位置の特定は、上述の実施形態２で説明した第２撮影画像取得条件の判定における「ユーザＵが第２撮影画像取得領域に位置するか否かの判定」の結果に基づいて行われてよい。

　ここで、カメラごとに、第２撮影画像取得条件となる第２撮影画像取得領域は異なってよい。図１７は、実施形態３にかかるユーザ位置の一例を示す図である。周辺カメラ１２０－１、１２０－２、１２０－３、１２０－４及び１２０－５の第２撮影画像取得領域は、それぞれ、領域Ａ１、Ａ２、Ｂ１、Ｂ２及びＣ１である。また、車内カメラ１２２の第２撮影画像取得領域は、領域Ｄ１である。領域Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１及びＤ１は、車両Ｖを基準として予め定められている。取得部１０２ａは、領域Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１及びＤ１のいずれかにユーザＵが位置すると判定した場合に第２撮影画像を特定し、第２撮影画像及びユーザ位置を動作判定部１０６ａに供給する。

　例えば、取得部１０２ａは、周辺カメラ１２０－１～１２０－５及び車内カメラ１２２から取得した撮影画像のうち、ユーザＵの顔領域の大きさ又は幅若しくは長さが所定画素数以上である撮影画像を第２撮影画像として特定する。また例えば、取得部１０２ａは、ユーザＵの顔領域に含まれる所定の顔器官の特徴点を結ぶ長さが所定画素数以上である撮影画像を第２撮影画像として特定する。そして取得部１０２ａは、第２撮影画像を撮影したカメラを特定し、当該カメラに対応する第２撮影画像取得領域を、ユーザが位置する領域（ユーザ位置）として特定する。本図の場合、取得部１０２ａは、第２撮影画像を撮影したカメラが周辺カメラ１２０－４であると特定し、ユーザ位置は領域Ｂ２であると特定する。

　図１８は、実施形態３にかかるユーザ位置の他の例を示す図である。第２撮影画像取得領域は、領域Ｔ及び領域Ｄ１である。領域Ｔは、周辺カメラ１２０－１、１２０－２、１２０－３、１２０－４及び１２０－５にそれぞれ対応する領域Ａ１、Ａ２、Ｂ１、Ｂ２及びＣ１を含む。本図の領域Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１及びＤ１も、車両Ｖを基準として予め定められている。

　例えば、取得部１０２ａは、周辺カメラ１２０－１、１２０－２、１２０－３、１２０－４及び１２０－５から取得した撮影画像を合成し、車両Ｖを上空から見た場合の俯瞰画像を生成する。そして取得部１０２ａは、俯瞰画像から人物領域を検出し、当該人物領域が領域Ｔ内に位置する場合、領域Ｔ内の人物領域の位置を含む領域をユーザ位置として特定する。あるいは、車両Ｖの所定の位置に全方位カメラが搭載されてよく、取得部１０２ａは、全方位カメラが撮影することで生成された画像を、俯瞰画像として用いてもよい。そして取得部１０２ａは、ユーザ位置に対応するカメラを特定し、当該カメラから取得した撮影画像を第２撮影画像として特定する。そして、取得部１０２ａは、第２撮影画像及びユーザ位置を動作判定部１０６ａに供給する。本図の場合、取得部１０２ａは、ユーザ位置は領域Ｂ２であると特定し、領域Ｂ２に対応する周辺カメラ１２０－４で撮影した撮影画像を第２撮影画像として特定する。

　尚、図１８の例において、車内カメラ１２２から取得した撮影画像が第２撮影画像取得条件を満たす場合は、取得部１０２ａは、図１７に示す方法と同様の方法で、第２撮影画像及びユーザ位置を特定し、動作判定部１０６ａに供給してよい。

　図１６に戻り、説明を続ける。動作判定部１０６ａは、動作判定部１０６と基本的に同様の機能を有するが、動作テーブルを用いてユーザ位置に応じた動作判定を制御する。より具体的には、動作判定部１０６ａは、動作テーブルを用いて、第２撮影画像に含まれるユーザＵの動作が、ユーザＵが位置する領域に対応する登録動作であるか否かを判定する。

　第２車両制御部１０７ａは、第２車両制御部１０７と基本的に同様の機能を有する。ただし第２車両制御部１０７ａは、第２撮影画像に含まれる人物の各動作と、人物が位置する領域とに対応する第２制御を実行するための第２制御信号を送信する点で第２車両制御部１０７と相違する。

　図１９は、実施形態３にかかる動作テーブルのデータ構造の一例を示す図である。動作テーブルの登録動作の内容は、車両Ｖを基準とする予め定められた各領域に対応して定められる。例えば、ユーザ位置が領域Ｃ１である場合、登録動作の内容は、動作ＩＤ「Ｇ４１」及び「Ｇ４２」である。つまり、動作判定部１０６ａは、ユーザＵの動作が動作ＩＤ「Ｇ４１」及び「Ｇ４２」のいずれに該当するかを判定する。一方、ユーザ位置が領域Ｄ１である場合、登録動作の内容は、動作ＩＤ「Ｇ１１」、「Ｇ１２」、「Ｇ２１」及び「Ｇ２２」である。つまり、動作判定部１０６ａは、ユーザＵの動作が動作ＩＤ「Ｇ１１」、「Ｇ１２」、「Ｇ２１」及び「Ｇ２２」のいずれに該当するかを判定する。

　動作テーブルの第２制御の内容、つまり第２制御対象又は第２制御対象種別もまた、車両Ｖを基準とする予め定められた各領域に対応して定められる。例えば、ユーザ位置が領域Ａ１であり、ユーザＵが動作ＩＤ「Ｇ１１」の動作をした場合、第２車両制御部１０７ａは、「ドアを開放する」という内容の第２制御を実行するための第２制御信号を送信する。一方、ユーザＵが同様に動作ＩＤ「Ｇ１１」の動作をした場合であっても、ユーザ位置が領域Ｄ１である場合は、第２車両制御部１０７ａは、「ＡＣＣ電源を起動させる」という内容の第２制御を示す第２制御信号を送信する。

　図２０は、実施形態３にかかる制御処理の流れの一例を示すフローチャートである。図２０に示すステップは、図１２に示すステップ６０～６２に代えて、ステップＳ７０～７３を有する。

　ステップＳ５９において第２撮影画像取得条件を満たした場合、取得部１０２ａは、第２撮影画像を撮影したカメラを特定し、当該カメラに対応する第２撮影画像取得領域をユーザ位置として特定する（Ｓ７０）。そして取得部１０２ａは、第２撮影画像及びユーザ位置の情報を、動作判定部１０６ａに供給する。次に、動作判定部１０６ａは、第２撮影画像に含まれる人物領域又は顔領域を検出し、人物領域又は顔領域に基づいて、第２撮影画像に含まれるユーザＵの認証用の動作情報を生成する（Ｓ７１）。次に、動作判定部１０６ａは、ユーザＵの認証用の動作情報が動作テーブルに登録されている、ユーザ位置に応じた登録動作の登録用の動作情報と一致するか否かを判定して、ユーザＵの動作がユーザ位置に応じた登録動作であるか否かを判定する（Ｓ７２）。ユーザＵの動作がユーザ位置に応じた登録動作でない場合（Ｓ７２でＮｏ）、動作判定部１０６ａは、処理をステップＳ６３に進める。一方、ユーザＵの動作がユーザ位置に応じた登録動作である場合（Ｓ７２でＹｅｓ）、動作判定部１０６ａは、処理をステップＳ７３に進める。ステップＳ７３において、第２車両制御部１０７ａは、ユーザＵの動作（つまり、一致した登録動作）及びユーザ位置に応じた第２制御信号を生成し、第２制御信号を第２駆動部１４０に送信する（Ｓ７３）。具体的には、第２車両制御部１０７は、動作テーブルを用いて登録動作及びユーザ位置に応じた第２制御対象及び第２制御種別を特定し、第２制御対象及び第２制御種別に基づいて第２制御信号を生成する。そして第２車両制御部１０７は、第２制御対象に対応する第２駆動部１４０に対して第２制御信号を送信する。そして第２車両制御部１０７ａは、処理をステップＳ６３に進める。

　このように実施形態３では、ユーザＵは、位置に応じて、操作のための動作を使い分けることができる。またユーザＵは、自己が位置する領域毎に、第２制御の内容を異ならせることもできる。これにより、利便性が向上する。

　＜実施形態４＞
　次に、本開示の実施形態４について説明する。実施形態４は、情報処理装置が、生体認証を利用して、第２撮影画像に含まれる人物が登録ユーザであると判定した場合に動作判定を開始することに特徴を有する。尚、本実施形態４でも、生体認証は顔認証であるが、これに限らない。

　図２１は、実施形態４にかかる車載システム１ｂの構成を示すブロック図である。車載システム１ｂは、実施形態２にかかる車載システム１と基本的に同様の構成及び機能を有する。ただし車載システム１ｂは、情報処理装置１００に代えて情報処理装置１００ｂを備える。情報処理装置１００ｂは、基本的に情報処理装置１００と同様の構成を有するが、動作判定部１０６に代えて、第２認証部１０５及び動作判定部１０６ｂを有する。

　第２認証部１０５は、第２認証手段とも呼ばれる。第２認証部１０５は、取得部１０２から供給される第２撮影画像に基づいて、第２撮影画像に含まれる人物（ユーザＵ）についての顔認証を制御し、第２撮影画像に含まれるユーザＵが登録ユーザであるか否かを判定する。第２認証部１０５による第２撮影画像に含まれるユーザＵについての顔認証の制御は、第１認証部１０３による第１撮影画像に含まれるユーザＵについての顔認証の制御と同様である。例えば、第２認証部１０５は、顔認証装置２に対して、第２撮影画像に含まれるユーザＵについての顔認証を実行させ、顔認証結果に基づいて、第２撮影画像に含まれる人物が登録ユーザであるか否かを判定する。そして、第２認証部１０５は、登録ユーザ判定結果を動作判定部１０６ｂに供給する。尚、第２認証部１０５による処理を、第２認証処理と呼ぶことがある。

　動作判定部１０６ｂは、基本的に動作判定部１０６と同様の機能を有する。ただし動作判定部１０６ｂは、第２撮影画像に含まれる人物が登録ユーザであると判定された場合に、動作判定を実行する。

　図２２は、実施形態４にかかる制御処理の流れの一例を示すフローチャートである。図２２に示すステップは、図１２に示すステップに加えて、ステップＳ８０～８１を有する。

　ステップＳ５９において第２撮影画像取得条件を満たした場合、取得部１０２は、周辺カメラ１２０又は車内カメラ１２２から取得した撮影画像を第２撮影画像として第２認証部１０５に供給し、処理をステップＳ８０に進める。ステップＳ８０において、第２認証部１０５は、ステップＳ５２～５６に示す処理と同様の処理を、第２撮影画像について実行する。そして第２認証部１０５は、記憶部１０８に格納されるユーザ情報に、特定したユーザＩＤが含まれるか否かを判定することにより、顔認証に成功したユーザＵが登録ユーザであるか否かを判定する（Ｓ８１）。顔認証に成功したユーザＵが登録ユーザでない場合（Ｓ８１でＮｏ）、第２認証部１０５は、処理をステップＳ６３に進める。一方、顔認証に成功したユーザＵが登録ユーザである場合（Ｓ８１でＹｅｓ）、動作判定部１０６ｂは、ステップＳ６０に示す処理を実行し、第２撮影画像に含まれるユーザＵの認証用の動作情報を生成する。ステップＳ６１以降は、図１２と同様である。

　このように実施形態４によれば、情報処理装置１００ｂは、第２撮影画像に基づく生体認証に失敗した場合には動作判定を開始しないため、登録ユーザ以外の人物の動作に応答して第２制御を実行することを回避できる。したがって、セキュリティを強化することができる。また、消費電力を低減することもできる。

　＜実施形態５＞
　次に、本開示の実施形態５について説明する。図２３は、実施形態５にかかる車載システム１ｃの構成を示すブロック図である。車載システム１ｃは、実施形態４にかかる車載システム１ｂと基本的に同様の構成及び機能を有する。ただし車載システム１ｃは、ライト１５０と、スピーカ１５２と、情報処理装置１００ｂに代えて情報処理装置１００ｃとを備える。

　ライト１５０は、光を出力する光出力部として機能する。スピーカ１５２は、音声を出力する音声出力部として機能する。音声は、警告音又は動作音であってよい。ライト１５０及びスピーカ１５２は、車両Ｖに搭載される、ユーザＵに特定の情報を報知する報知部の一例である。ライト１５０及びスピーカ１５２は、車両Ｖに標準装備されたライト及びスピーカであってよい。報知部は、報知制御部１０９に接続され、報知制御部１０９により制御される。尚、報知部は、ライト１５０に代えて又は加えて、表示部を含んでもよい。

　情報処理装置１００ｃは、基本的に情報処理装置１００ｂの構成に加えて、報知制御部１０９を有する。

　報知制御部１０９は、報知制御手段とも呼ばれる。報知制御部１０９は、ライト１５０及びスピーカ１５２を用いて、情報処理装置１００ｃによる各種処理の開始又は結果を報知させる。各種処理とは、第１認証部１０３による第１認証処理、第２認証部１０５による第２認証処理、又は動作判定部１０６ｂによる動作判定処理の少なくとも１つであってよい。尚、報知制御部１０９は、処理の種別、又は処理の開始・終了の別に応じて報知態様が異なるように、ライト１５０及びスピーカ１５２を制御してよい。

　例えば、報知制御部１０９は、第１認証処理を開始する場合、ライト１５０を１回点滅させる。第１認証処理を開始する場合とは、第１撮影画像取得条件を満たした場合であってよい。そして報知制御部１０９は、第１認証処理が完了し、ユーザＵが登録ユーザであると判定された場合、スピーカ１５２により動作音を１回出力する。そして報知制御部１０９は、第２認証処理を開始する場合、ライト１５０を２回点滅させる。第２認証処理を開始する場合とは、第２撮影画像取得条件を満たした場合であってよい。そして報知制御部１０９は、第２認証処理が完了し、ユーザＵが登録ユーザであると判定された場合、スピーカ１５２により動作音を２回出力する。そして報知制御部１０９は、動作判定処理を開始する場合、ライト１５０を３回点滅させる。そして報知制御部１０９は、動作判定処理が完了し、ユーザＵの動作が登録動作であると判定された場合、スピーカ１５２により動作音を３回出力する。

　このように実施形態５によれば、情報処理装置１００ｃは、ユーザＵに対して各種処理の開始又は結果を報知するため、ユーザＵは、車両Ｖの状態を容易に把握することができる。例えば、意図せず車両Ｖの制御が実行されてしまった場合に迅速に対応することができる。

　＜実施形態６＞
　次に、本開示の実施形態６について説明する。実施形態６は、実施形態５の変形例であり、情報処理装置が、動作判定処理において、登録ユーザ毎に学習した動作判定モデルを用いることに特徴を有する。

　図２４は、実施形態６にかかる車両制御システム９００ｄの全体構成を示すブロック図である。車両制御システム９００ｄは、車両制御システム９００の構成に加えて、管理サーバ３を備える。

　管理サーバ３は、各車載システム１からネットワークＮを介して、登録動作を実行している登録ユーザの撮影画像を取得し、ユーザ毎に動作判定モデルを学習する。これにより管理サーバ３は、ユーザ毎の動作のクセを反映させた動作判定モデルを生成する。管理サーバ３は、生成した動作判定モデルをユーザＩＤに対応付けて動作判定モデルテーブルＴに登録する。動作判定モデルテーブルＴは、管理サーバ３の記憶部（不図示）に記憶されていてよい。そして管理サーバ３は、車載システム１の要求に応じて、動作判定モデルテーブルＴ内のユーザＩＤに対応付けられた動作判定モデルを車載システム１に送信する。

　尚、管理サーバ３は、動作判定モデルの学習済のパラメータをユーザＩＤに対応付けて動作判定モデルテーブルＴに登録し、車載システム１の要求に応じて、ユーザＩＤに対応付けられた動作判定モデルのパラメータを、車載システム１に送信するとしてもよい。

　車載システム１の情報処理装置１００ｃは、初回の登録処理時に、動作判定モデルの生成要求を、ネットワークＮを介して管理サーバ３に送信する。動作判定モデルの生成要求には、顔認証装置２から通知された登録ユーザのユーザＩＤと、登録動作を実行している登録ユーザの撮影画像とが含まれる。そして車載システム１の情報処理装置１００ｃは、管理サーバ３からネットワークＮを介して、登録ユーザに対応する動作判定モデルを受信する。また車載システム１の情報処理装置１００ｃは、車両Ｖの登録ユーザが変更する場合であって、変更後の登録ユーザに対応する動作判定モデルが既に生成されている場合は、動作判定モデルの取得要求を、ネットワークＮを介して管理サーバ３に送信する。動作判定モデルの取得要求には、変更後の登録ユーザのユーザＩＤが含まれる。そして車載システム１の情報処理装置１００ｃは、管理サーバ３からネットワークＮを介して、変更後の登録ユーザに対応する動作判定モデルを受信する。

　そして車載システム１の情報処理装置１００ｃは、管理サーバ３から受信した動作判定モデルを、登録ユーザのユーザＩＤに対応付けて記憶部１０８に格納する。そして第２認証部１０５によりユーザＵが登録ユーザであることが判定した場合、動作判定部１０６ｂは、登録ユーザのユーザＩＤに対応する動作判定モデルを用いて、動作判定を実行する。

　図２５は、実施形態６にかかる動作判定モデルテーブルＴのデータ構造の一例を示す図である。本図では、動作判定モデルテーブルＴは、ユーザＩＤと、動作判定モデルを識別する動作判定モデルＩＤとを対応付けている。

　このように実施形態６によれば、情報処理装置１００ｃは、登録ユーザ毎に学習した動作判定モデルを用いて動作判定を制御するため、動作判定精度を向上させることができる。また、ユーザＩＤに対応する動作判定モデルを管理サーバ３に格納し、必要に応じて動作判定モデルを車載システム１に供給する。したがってレンタカー又はカーシェアリングにおいて登録ユーザが頻繁に入れ替わる場合や、ユーザＵが車両Ｖを買い替える場合にも、ユーザＵに対応する動作判定モデルを容易に車載システム１に導入することができる。したがって、利便性が向上する。

　尚、実施形態６では、管理サーバ３は登録ユーザ毎に動作判定モデルを学習するとしたが、ユーザ属性毎に動作判定モデルを学習してもよい。一例として、ユーザ属性は、性別又は年齢であってよい。この場合、管理サーバ３は、ユーザ属性と、動作判定モデルとを対応付けて、動作判定モデルテーブルＴに登録してよい。また、車載システム１の情報処理装置１００ｃの登録部１０１は、登録処理時に、ユーザＩＤと、ユーザ属性情報とを対応付けた情報を、ユーザ情報として登録してよい。ユーザ属性情報は、ユーザからの入力を受け付ける入力部（不図示）を介して登録部１０１が取得してもよいし、ユーザ端末からネットワークＮを介して登録部１０１が取得してもよい。そして情報処理装置１００ｃは、初回の登録処理時や登録ユーザの変更時に、登録ユーザのユーザＩＤに対応するユーザ属性に応じた動作判定モデルを管理サーバ３から受信し、ユーザＩＤと対応付けて記憶部１０８に格納してよい。

　続いて、顔認証装置２、情報処理装置１００，１００ａ，１００ｂ，１００ｃ及び管理サーバ３の物理構成を説明する。図２６は、顔認証装置２、情報処理装置１００，１００ａ，１００ｂ，１００ｃ及び管理サーバ３として用いられ得るコンピュータの構成例を示す図である。コンピュータ１０００は、プロセッサ１０１０、記憶部１０２０、ＲＯＭ１０３０、ＲＡＭ１０４０、通信インタフェース（ＩＦ：Interface）１０５０、及びユーザインタフェース１０６０を有する。

　通信インタフェース１０５０は、有線通信手段又は無線通信手段などを介して、コンピュータ１０００と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース１０６０は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース１０６０は、キーボード、マウス、及びタッチパネルなどの入力部を含む。

　記憶部１０２０は、各種のデータを保持できる補助記憶装置である。記憶部１０２０は、必ずしもコンピュータ１０００の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ１０００に接続されたクラウドストレージであってもよい。

　ＲＯＭ１０３０は、不揮発性の記憶装置である。プロセッサ１０１０が実行するプログラムは、記憶部１０２０又はＲＯＭ１０３０に格納され得る。記憶部１０２０又はＲＯＭ１０３０は、例えば顔認証装置２、情報処理装置１００，１００ａ，１００ｂ，１００ｃ及び管理サーバ３内の各部の機能を実現するための各種プログラムを記憶する。

　上記プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、Random-Access Memory（ＲＡＭ）、Read-Only Memory（ＲＯＭ）、フラッシュメモリ、Solid-State Drive（ＳＳＤ）又はその他のメモリ技術、CD-ROM、Digital Versatile Disc（ＤＶＤ）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

　ＲＡＭ１０４０は、揮発性の記憶装置である。ＲＡＭ１０４０には、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）などの各種半導体メモリデバイスが用いられる。ＲＡＭ１０４０は、データなどを一時的に格納する内部バッファとして用いられ得る。プロセッサ１０１０は、記憶部１０２０又はＲＯＭ１０３０に格納されたプログラムをＲＡＭ１０４０に展開し、実行する。プロセッサ１０１０は、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）であってよい。プロセッサ１０１０がプログラムを実行することで、顔認証装置２、情報処理装置１００，１００ａ，１００ｂ，１００ｃ及び管理サーバ３内の各部の機能が実現され得る。プロセッサ１０１０は、データなどを一時的に格納できる内部バッファを有してもよい。

　上述の実施形態ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。

　なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施形態２～６を任意に組み合わせてよい。例えば、実施形態２は実施形態５と組み合わせてよいし、実施形態３は実施形態４又は実施形態５と組み合わせてもよい。

　尚、上述の実施形態１では、第２撮影画像は、所定の条件下で、例えば車両の開閉体が解錠状態の場合に車両の周辺の風景又は車両の室内を撮影して生成された撮影画像とした。また上述の実施形態２～６では、取得部１０２は、車両Ｖのドアが解錠状態である場合、周辺カメラ１２０又は車内カメラ１２２から取得し、かつ第２撮影画像取得条件を満たした撮影画像を、第２撮影画像として、動作判定部１０６に供給するとした。しかし第２撮影画像は、車両の開閉体が施錠状態の場合に車両の室内を撮影して生成された撮影画像も含んでよい。したがって、取得部１０２は、車両Ｖのドアが施錠状態である場合であっても、車内カメラ１２２から取得し、かつ第２撮影画像取得条件を満たした撮影画像を、第２撮影画像として、動作判定部１０６に供給してもよい。

　また、上述の実施形態２～６では、顔認証装置２は情報処理装置にネットワークＮを介して接続されているとしたが、顔認証装置２の機能が情報処理装置に含まれており、内部バスを介して情報処理装置の各種構成要素に接続されていてもよい。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　　　（付記１）
　車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する第１認証手段と、
　前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する第１車両制御手段と、
　前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する動作判定手段と、
　前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる第２制御を実行するための第２制御信号を送信する第２車両制御手段と
　を備える情報処理装置。
　　　（付記２）
　前記動作判定手段は、前記車両の前記開閉体が解錠状態である場合、前記第２撮影画像に基づいて、前記動作判定を制御する
　付記１に記載の情報処理装置。
　　　（付記３）
　前記登録動作は、人物の視線の向き及び顔の向きの少なくとも一方に基づいて定められる、付記１又は２に記載の情報処理装置。
　　　（付記４）
　前記第２制御信号は、前記視線の向き又は前記顔の向きに応じた方向に、前記車両の前記所定の開閉体を開閉させるための制御信号である、付記３に記載の情報処理装置。
　　　（付記５）
　前記第１認証手段による処理又は前記動作判定手段による処理の、開始又は結果を報知する報知制御手段をさらに備える、付記１から４のいずれか一項に記載の情報処理装置。
　　　（付記６）
　前記報知制御手段は、前記車両に搭載されたスピーカ又はライトを用いて、前記開始又は結果を報知する、付記５に記載の情報処理装置。
　　　（付記７）
　前記第２撮影画像に基づいて、前記第２撮影画像に含まれる人物についての生体認証を制御し、前記第２撮影画像に含まれる人物が前記登録ユーザであるか否かを判定する第２認証手段を備え、
　前記動作判定手段は、前記第２撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記動作判定を制御する
　付記１から６のいずれか一項に記載の情報処理装置。
　　　（付記８）
　前記動作判定手段は、前記第２撮影画像に含まれる人物が、前記車両を基準とする予め定められた領域に位置する場合、前記動作判定を制御する
　付記１から７のいずれか一項に記載の情報処理装置。
　　　（付記９）
　前記動作判定手段は、前記第２撮影画像に含まれる人物の顔領域の大きさ又は長さが所定画素数以上である場合、又は前記第２撮影画像に含まれる人物の顔領域に含まれる所定の顔器官を結ぶ長さが所定画素数以上である場合、前記動作判定を制御する
　付記１から８のいずれか一項に記載の情報処理装置。
　　　（付記１０）
　前記登録動作は、前記車両を基準とする予め定められた各領域に対応して定められ、
　前記動作判定手段は、前記第２撮影画像に含まれる人物の動作が、前記人物が位置する領域に対応する登録動作であるか否かを判定する
　付記１から９のいずれか一項に記載の情報処理装置。
　　　（付記１１）
　前記第２制御は、人物の各動作と、前記車両を基準とする予め定められた各領域と、に対応して定められ、
　前記第２車両制御手段は、前記第２撮影画像に含まれる人物の動作と、前記人物が位置する領域とに対応する第２制御を実行するための第２制御信号を送信する
　付記１から１０のいずれか一項に記載の情報処理装置。
　　　（付記１２）
　前記登録ユーザからの入力に基づいて前記登録動作を登録する登録手段を備える
　付記１から１１のいずれか一項に記載の情報処理装置。
　　　（付記１３）
　前記動作判定手段は、登録ユーザ毎に学習した動作判定モデルを用いて、前記動作判定を制御する、付記１から１２のいずれか一項に記載の情報処理装置。
　　　（付記１４）
　生体認証を実行する生体認証装置と、
　情報処理装置と
　を備え、
　前記情報処理装置は、
　前記生体認証装置に、車両の周辺の風景を撮影して生成された第１撮影画像に基づく、前記第１撮影画像に含まれる人物についての生体認証を実行させ、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する第１認証手段と、
　前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する第１車両制御手段と、
　前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する動作判定手段と、
　前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる第２制御を実行するための第２制御信号を送信する第２車両制御手段と
　を有する車両制御システム。
　　　（付記１５）
　前記情報処理装置は、
　前記第２撮影画像に基づいて、前記第２撮影画像に含まれる人物についての生体認証を制御し、前記第２撮影画像に含まれる人物が前記登録ユーザであるか否かを判定する第２認証手段を備え、
　前記動作判定手段は、前記第２撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記動作判定を制御する
　付記１４に記載の車両制御システム。
　　　（付記１６）
　登録ユーザ毎に学習した動作判定モデルを格納する管理サーバをさらに備え、
　前記動作判定手段は、前記管理サーバから取得した登録ユーザに対応する動作判定モデルを用いて、前記動作判定を制御する
　付記１５に記載の車両制御システム。
　　　（付記１７）
　車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する第１認証段階と、
　前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する第１車両制御段階と、
　前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する動作判定段階と、
　前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる第２制御を実行するための第２制御信号を送信する第２車両制御段階と
　を備える情報処理方法。
　　　（付記１８）
　コンピュータに、
　車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する第１認証段階と、
　前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する第１車両制御段階と、
　前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する動作判定段階と、
　前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる第２制御を実行するための第２制御信号を送信する第２車両制御段階と
　を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。

　１，１ａ，１ｂ，１ｃ　車載システム
　２　顔認証装置
　３　管理サーバ
　１０，１００，１００ａ，１００ｂ，１００ｃ　情報処理システム（情報処理装置）
　１３，１０３　第１認証部
　１４，１０４　第１車両制御部
　１６，１０６，１０６ａ，１０６ｂ　動作判定部
　１７，１０７，１０７ａ　第２車両制御部
　１０１　登録部
　１０２，１０２ａ　取得部
　１０５　第２認証部
　１０８　記憶部
　１０９　報知制御部
　１２０　周辺カメラ
　１２２　車内カメラ
　１３０　第１駆動部
　１４０　第２駆動部
　１５０　ライト
　１５２　スピーカ
　２１０　顔情報ＤＢ
　２１１　ユーザＩＤ
　２１２　顔特徴情報
　２２０　検出部
　２３０　特徴点抽出部
　２４０　登録部
　２５０　認証部
　９００，９００ｄ　車両制御システム
　１０００　コンピュータ
　１０１０　プロセッサ
　１０２０　記憶部
　１０３０　ＲＯＭ
　１０４０　ＲＡＭ
　１０５０　通信インタフェース
　１０６０　ユーザインタフェース
　Ｖ　車両
　Ｕ　ユーザ
　Ｎ　ネットワーク
　Ａ　領域
　Ｂ　領域
　Ｔ　動作判定モデルテーブル

Claims

　車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する第１認証手段と、
　前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する第１車両制御手段と、
　前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する動作判定手段と、
　前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる第２制御を実行するための第２制御信号を送信する第２車両制御手段と
　を備える情報処理装置。
　前記動作判定手段は、前記車両の前記開閉体が解錠状態である場合、前記第２撮影画像に基づいて、前記動作判定を制御する
　請求項１に記載の情報処理装置。
　前記登録動作は、人物の視線の向き及び顔の向きの少なくとも一方に基づいて定められる、請求項１又は２に記載の情報処理装置。
　前記第２制御信号は、前記視線の向き又は前記顔の向きに応じた方向に、前記車両の前記所定の開閉体を開閉させるための制御信号である、請求項３に記載の情報処理装置。
　前記第１認証手段による処理又は前記動作判定手段による処理の、開始又は結果を報知する報知制御手段をさらに備える、請求項１から４のいずれか一項に記載の情報処理装置。
　前記報知制御手段は、前記車両に搭載されたスピーカ又はライトを用いて、前記開始又は結果を報知する、請求項５に記載の情報処理装置。
　前記第２撮影画像に基づいて、前記第２撮影画像に含まれる人物についての生体認証を制御し、前記第２撮影画像に含まれる人物が前記登録ユーザであるか否かを判定する第２認証手段を備え、
　前記動作判定手段は、前記第２撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記動作判定を制御する
　請求項１から６のいずれか一項に記載の情報処理装置。
　前記動作判定手段は、前記第２撮影画像に含まれる人物が、前記車両を基準とする予め定められた領域に位置する場合、前記動作判定を制御する
　請求項１から７のいずれか一項に記載の情報処理装置。
　前記動作判定手段は、前記第２撮影画像に含まれる人物の顔領域の大きさ又は長さが所定画素数以上である場合、又は前記第２撮影画像に含まれる人物の顔領域に含まれる所定の顔器官を結ぶ長さが所定画素数以上である場合、前記動作判定を制御する
　請求項１から８のいずれか一項に記載の情報処理装置。
　前記登録動作は、前記車両を基準とする予め定められた各領域に対応して定められ、
　前記動作判定手段は、前記第２撮影画像に含まれる人物の動作が、前記人物が位置する領域に対応する登録動作であるか否かを判定する
　請求項１から９のいずれか一項に記載の情報処理装置。
　前記第２制御は、人物の各動作と、前記車両を基準とする予め定められた各領域と、に対応して定められ、
　前記第２車両制御手段は、前記第２撮影画像に含まれる人物の動作と、前記人物が位置する領域とに対応する第２制御を実行するための第２制御信号を送信する
　請求項１から１０のいずれか一項に記載の情報処理装置。
　前記登録ユーザからの入力に基づいて前記登録動作を登録する登録手段を備える
　請求項１から１１のいずれか一項に記載の情報処理装置。
　前記動作判定手段は、登録ユーザ毎に学習した動作判定モデルを用いて、前記動作判定を制御する、請求項１から１２のいずれか一項に記載の情報処理装置。
　生体認証を実行する生体認証装置と、
　情報処理装置と
　を備え、
　前記情報処理装置は、
　前記生体認証装置に、車両の周辺の風景を撮影して生成された第１撮影画像に基づく、前記第１撮影画像に含まれる人物についての生体認証を実行させ、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する第１認証手段と、
　前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する第１車両制御手段と、
　前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する動作判定手段と、
　前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる第２制御を実行するための第２制御信号を送信する第２車両制御手段と
　を有する車両制御システム。
　前記情報処理装置は、
　前記第２撮影画像に基づいて、前記第２撮影画像に含まれる人物についての生体認証を制御し、前記第２撮影画像に含まれる人物が前記登録ユーザであるか否かを判定する第２認証手段を備え、
　前記動作判定手段は、前記第２撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記動作判定を制御する
　請求項１４に記載の車両制御システム。
　登録ユーザ毎に学習した動作判定モデルを格納する管理サーバをさらに備え、
　前記動作判定手段は、前記管理サーバから取得した登録ユーザに対応する動作判定モデルを用いて、前記動作判定を制御する
　請求項１５に記載の車両制御システム。
　車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する第１認証段階と、
　前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する第１車両制御段階と、
　前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する動作判定段階と、
　前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる第２制御を実行するための第２制御信号を送信する第２車両制御段階と
　を備える情報処理方法。
　コンピュータに、
　車両の周辺の風景を撮影して生成された第１撮影画像に基づいて、前記第１撮影画像に含まれる人物についての生体認証を制御し、前記第１撮影画像に含まれる人物が登録ユーザであるか否かを判定する第１認証段階と、
　前記第１撮影画像に含まれる人物が前記登録ユーザであると判定された場合、前記車両の開閉体の解錠に関わる第１制御を実行するための第１制御信号を送信する第１車両制御段階と、
　前記車両の周辺の風景又は前記車両の室内を撮影して生成された第２撮影画像に基づいて、前記第２撮影画像に含まれる人物の動作が登録動作であるか否かの動作判定を制御する動作判定段階と、
　前記第２撮影画像に含まれる人物の動作が前記登録動作である場合、前記車両の所定の開閉体又は前記車両の電源に対する、前記人物の動作に応じた第２制御であって、前記第１制御とは異なる第２制御を実行するための第２制御信号を送信する第２車両制御段階と
　を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。