JP7842630B2 - エージェント機器の制御方法及び制御装置 - Google Patents

Description

本発明は、車両の乗員の運転を支援するエージェント機器の制御方法及び制御装置に関する。

従来、人間による実作業をロボットに真似させる技術が存在する。例えば、人間が実作業を行うワークとロボットが作業を行うワークとが異なる場合でも、人間の実作業に基づいてロボットの動作を簡易に教示する技術が提案されている（例えば、特許文献１参照）。

特開２０１９－１８８４７７号公報

上述した従来技術では、ユーザの指示に応じてロボットにユーザの動作の真似をさせることは可能である。しかし、ユーザの指示に応じて真似するロボットに対しては、自律性及び主体性が感じられず、そのユーザの信頼を高められないことも想定される。また、ユーザの指示に応じて真似するロボットに対しては、ユーザが愛着を持たないことも想定される。

ここで、エージェント機器を用いて車両の乗員の運転を支援する場合を想定する。この場合に、エージェント機器に対して信頼性が低かったり、愛着がなかったりする場合には、そのエージェント機器を用いて運転支援を実行してもその運転支援をその乗員が受け入れないことも想定される。そこで、エージェント機器を用いて運転支援を実行する場合に、その運転支援を乗員が適切に受け入れ、その運転支援の実効性を高めることが重要である。

本発明は、エージェント機器を用いて運転支援を実行する場合に、その運転支援を乗員が適切に受け入れ、その運転支援の実効性を高めることを目的とする。

本発明の一態様は、車両の乗員の運転を支援し、棒状体の可動部を備えるエージェント機器の制御方法である。この制御方法は、車両の内部又は外部に存在する物体の動作態様を検出する検出処理と、物体の動作態様が検出された場合には、物体の動作態様に関連する関連動作をエージェント機器に実行させる制御処理とを含み、検出処理では、車両の内部又は外部を撮像した撮像画像に基づいて、車両の内部又は外部に存在する物体のうちから、エージェント機器の外観のうちの少なくとも一部に類似する形状（車両に搭載されている棒状部材と、車両の外部に存在する棒状部材と、車両に乗車している乗員の腕と、のうちの少なくとも１つ）である類似形状を抽出し、当該抽出された類似形状の動きを物体の動作態様として検出し、制御処理では、類似形状の動きを可動部に真似させる真似動作を、関連動作としてエージェント機器に実行させる。

本発明によれば、エージェント機器を用いて運転支援を実行する場合に、その運転支援を乗員が適切に受け入れ、その運転支援の実効性を高めることができる。

図１は、車両の車室内の構成例を簡略化して示す図である。 図２は、車両の車室内の構成例を簡略化して示す図である。 図３は、エージェント機器の外観構成の一例を簡略化して示す斜視図である。 図４は、車両に設置されている情報処理システムのシステム構成の一例を示す図である。 図５は、ワイパーの動きに応じて可動部を動作させる場合の例を示す図である。 図６は、車両の前方に存在するＥＴＣ又は駐車場のゲートのバーの開閉に応じて第１可動部、第２可動部を動作させる場合の例を示す図である。 図７は、車両の周囲に存在する人による誘導行動の動きに応じて可動部を動作させる場合の例を示す図である。 図８は、前照ライトの点灯状態に応じてエージェント機器の眼部を点灯させる場合の例を示す図である。 図９は、方向指示器の点滅状態に応じてエージェント機器の眼部を点滅させる場合の例を示す図である。 図１０は、車両に設置されているサンルーフの開閉に応じて本体部の頭部に帽子をかぶせる場合の例を示す図である。 図１１は、直線及び曲線を含む道路を走行する車両の状態に応じて本体部を動作させる場合の例を示す図である。 図１２は、制御装置における機器制御処理の一例を示すフローチャートである。 図１３は、制御装置における機器制御処理の一例を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態について説明する。

［エージェント機器の設置例］
図１及び図２は、車両Ｃ１の車室内の構成例を簡略化して示す図である。なお、図１では、車両Ｃ１の左右方向の右側から見た場合の車両Ｃ１の車室内を簡略化して示し、図２では、車両Ｃ１の前後方向の後側から見た場合の車両Ｃ１の車室内を簡略化して示す。また、図１及び図２では、説明を容易にするため、ワイパーＷ１、Ｗ２、ダッシュボード２、ハンドル３、ウインドシールド４、エージェント機器２００以外の図示は省略する。

エージェント機器２００は、車両Ｃ１のダッシュボード２上に設置される小型のロボットである。図１及び図２では、ウサギのような動物を模したロボットをエージェント機器２００とする例を示す。なお、図１及び図２では、ダッシュボード２上にエージェント機器２００を設置する例を示すが、これに限定されない。例えば、ウインドシールド４の上部にエージェント機器２００を設置してもよい。また、図１及び図２では、ウサギのような動物を模したロボットをエージェント機器２００とする例を示すが、これに限定されない。例えば、他の動物を模したロボット、仮想物の生物（例えばアニメのキャラクターの顔）を模したロボット、他の物体（例えばテレビ型の機器、ラジオ型の機器）を模したロボットをエージェント機器２００としてもよい。また、表示部等のユーザインタフェースを備える他の機器（例えばスマートフォン、タブレット端末、カーナビゲーション装置、ＩＶＩ（In-Vehicle Infotainment））をエージェント機器２００として用いてもよい。この場合には、上述したロボットを表示部に表示させ、そのロボットの表示態様を変化させることによりロボットの動作態様を変化させることが可能である。

エージェント機器２００は、制御装置１００（図４参照）からの指示に基づいて各種の動作を実行する。例えば、エージェント機器２００は、制御装置１００の制御に基づいて、ドライバＤ１が運転操作をする際における運転支援に関する各種情報を出力する。この運転支援として、道案内、ドライバＤ１の嗜好にあった立ち寄り地点の提案、注意すべき道路情報の報知等が想定される。例えば、立ち寄り地点の提案では「この先に美味しいプリン店がありますよ」と音声出力することができる。また、注意すべき道路情報の報知として、ドライバＤ１が周りを見ているかを確認したり、「前の道は狭いから気を付けてよ」と音声出力したり、「この先踏切だから気を付けてよ」と音声出力したりすることができる。このように、エージェント機器２００は、運転体験の支援及びドライブ体験の支援を実行する。

また、例えば、エージェント機器２００の動作態様を変化させることにより、エージェント機器２００の見た目に変化を加え、その変化を視覚的に把握させ、運転支援に関する情報を出力する。具体的には、エージェント機器２００からの音声出力や、エージェント機器２００の顔部の表情、顔部の色、顔部の動作の変化により、運転支援に関する情報を出力することができる。また、例えば、エージェント機器２００の表面における各部（例えば眼部、口部）を変化させることにより、顔の表情を変化させることができる。これにより、例えば、ドライバＤ１が適切な運転操作をした場合には、エージェント機器２００がドライバＤ１を褒める動作や褒める音声を出力することにより、ドライバＤ１がさらに良い運転操作をしようと心がけるようになり、車両Ｃ１の安全性の向上につながる。また、エージェント機器２００により褒められたドライバＤ１は、平常心で落ち着いて、安心して運転操作を継続することができる。

また、例えば、エージェント機器２００は、制御装置１００の制御に基づいて、音取得部１４０（図４参照）により取得された車外の音を、運転中のドライバＤ１に知らせる動作を実行する。運転中のドライバＤ１に知らせる車外の音として、例えば、警音器（クラクション）、緊急車両のサイレンや警告音、警察官による指示等が想定される。エージェント機器２００は、これらの音が音取得部１４０により取得された場合には、これらの音を運転中のドライバＤ１に通知するように動作を実行する。例えば、エージェント機器２００は、それらの音と同じ音を出力する動作や、この出力とともに緊急である旨の動作（例えば、びっくりした表情で大声で話す動作）を行うことができる。このように、ドライバＤ１が見え易い位置にエージェント機器２００が設置され、エージェント機器２００の顔部がドライバＤ１に向けられることで、ドライバＤ１が運転操作をする際に、適切な運転支援を行うことが可能となる。

ここで、ドライバＤ１が、エージェント機器２００に対して信頼性が低いと感じたり、愛着が持てないと感じたりする場合には、エージェント機器２００を用いて運転支援を実行してもその運転支援をドライバＤ１が受け入れないことも想定される。この場合には、エージェント機器２００による運転支援の実効性を高めることが困難となるおそれがある。そこで、本実施形態では、ドライバＤ１が、エージェント機器２００に対する信頼性を高くし、愛着が持てるようにするため、車両Ｃ１の内部又は外部に存在する物体の動作態様に関連する関連動作、例えば真似動作をエージェント機器２００に実行させるようにする。これにより、エージェント機器２００を用いた運転支援をドライバＤ１が適切に受け入れ、その運転支援の実効性を高められるようにする。

ここで、関連動作は、車両Ｃ１の内部又は外部の何らかの刺激に対して、その刺激に関連する動きを意味する。すなわち、関連動作は、その刺激に関連する違和感のない、適切な動きを意味する。例えば、車両Ｃ１の内部又は外部の物体の動作態様に対して、その動作態様をエージェント機器２００が真似することにより、同じ動作態様を共有しているという感情を車両Ｃ１の乗員に与えることができる。また、エージェント機器２００がその場に存在して状況を理解していることを車両Ｃ１の乗員に示すことができる。また、エージェント機器２００が無意識に真似動作をすることにより、エージェント機器２００に愛着がわくことも考えられる。

［エージェント機器の外観構成例］
図３は、エージェント機器２００の外観構成の一例を簡略化して示す斜視図である。

図３（Ａ）には、エージェント機器２００の斜視図を示す。図３（Ｂ）には、エージェント機器２００の正面図を示す。なお、図３（Ｂ）に示すエージェント機器２００は、図２に示すエージェント機器２００に対応する。図３（Ｃ）には、エージェント機器２００の上面図を示す。図３（Ｄ）には、エージェント機器２００の側面図を示す。なお、図３（Ｄ）に示すエージェント機器２００は、図１に示すエージェント機器２００に対応する。また、本実施形態では、図３（Ａ）乃至（Ｄ）に示すエージェント機器２００の状態を通常状態と称して説明する。また、図３（Ｅ）乃至（Ｊ）には、エージェント機器２００の動作態様を変化させた場合の外観構成例を示す。

エージェント機器２００は、略球状の本体部２０１に棒状体の第１可動部２０２、第２可動部２０３が設けられている機器である。また、本体部２０１の表面には、各種画像、例えば眼部Ｅ１、Ｅ２が表示される。本実施形態では、車両Ｃ１のダッシュボード２上に、眼部Ｅ１、Ｅ２が車内側を見る方向にエージェント機器２００が設置される例を示す。このため、エージェント機器２００における眼部Ｅ１、Ｅ２が表示される部分を含む一の面を前部又は顔部と称して説明する。また、エージェント機器２００の前部をエージェント機器２００の前側と称し、エージェント機器２００の前部とは反対側をエージェント機器２００の後側と称して説明する。また、エージェント機器２００において、第１可動部２０２が設けられている側をエージェント機器２００の右側と称し、第２可動部２０３が設けられている側をエージェント機器２００の左側と称して説明する。

本体部２０１は、車両Ｃ１のダッシュボード２への取付部分又はこれに近接する部分を回動中心として、エージェント機器２００の前後方向、すなわち矢印Ａ１（図３（Ａ）（Ｄ）参照）方向に回動する。同様に、本体部２０１は、車両Ｃ１のダッシュボード２への取付部分を回動中心として、エージェント機器２００の左右方向、すなわち矢印Ａ４（図３（Ｂ）参照）方向に回動する。例えば、図３（Ｅ）に示すように、エージェント機器２００の右方向、すなわち矢印Ａ１０方向に本体部２０１を回動させることができる。また、例えば、図３（Ｆ）に示すように、エージェント機器２００の左方向、すなわち矢印Ａ１１方向に本体部２０１を回動させることができる。同様に、本体部２０１は、車両Ｃ１のダッシュボード２への取付部分を回動中心として、硬直方向を軸として回転する方向、すなわち矢印Ａ７（図３（Ｃ）参照）方向に回動する。このように、エージェント機器２００の下部には、本体部２０１を駆動させるための駆動装置（図４に示す駆動部２７０に相当）が設けられる。そして、エージェント機器２００の本体部２０１を左右方向に回転移動させたり、本体部２０１を前後方向に回転移動させたり、本体部２０１を左右方向に揺らせたり、本体部２０１を前後方向に揺らせたりすることが可能となる。

第１可動部２０２は、本体部２０１における第１可動部２０２の取付部分を回動中心として、エージェント機器２００の前後方向、すなわち矢印Ａ２、Ａ３（図３（Ａ）（Ｄ）参照）方向に回動する。また、第１可動部２０２は、本体部２０１における第１可動部２０２の取付部分を回動中心として、エージェント機器２００の左右方向、すなわち矢印Ａ５（図３（Ｂ）参照）方向に回動する。また、第１可動部２０２は、本体部２０１における第１可動部２０２の取付部分を回動中心として、硬直方向を軸として回転する方向、すなわち矢印Ａ８（図３（Ｃ）参照）方向に回動する。

同様に、第２可動部２０３は、本体部２０１における第２可動部２０３の取付部分を回動中心として、エージェント機器２００の前後方向、すなわち矢印Ａ３（図３（Ａ）（Ｄ）参照）方向に回動する。また、第２可動部２０３は、本体部２０１における第２可動部２０３の取付部分を回動中心として、エージェント機器２００の左右方向、すなわち矢印Ａ６（図３（Ｂ）参照）方向に回動する。また、第２可動部２０３は、本体部２０１における第２可動部２０３の取付部分を回動中心として、硬直方向を軸として回転する方向、すなわち矢印Ａ９（図３（Ｃ）参照）方向に回動する。

このように、第１可動部２０２、第２可動部２０３は、動物の耳又は手、例えばウサギの耳のように、上下左右の何れにも回動可能であるものとする。これにより、動物、例えばウサギが、耳又は手を振っているような動作をエージェント機器２００で実現することが可能となる。

このように、第１可動部２０２の取付部分には、第１可動部２０２を駆動させるための駆動装置（図４に示す駆動部２７０に相当）が設けられる。そして、第１可動部２０２を左右方向に回転移動させたり、第１可動部２０２を前後方向に回転移動させたり、第１可動部２０２を左右方向に揺らせたり、第１可動部２０２を前後方向に揺らせたりすることが可能となる。また、第２可動部２０３についても同様に可動することが可能となる。

また、本体部２０１の表面の少なくとも一部には、各種画像を表示することが可能な表示媒体が設置されている。この表示媒体として、例えば、発光シート、液晶表示器、有機ＥＬ（Electro Luminescence）等の各種表示媒体を使用可能である。例えば、図３（Ａ）乃至（Ｆ）、（Ｊ）に示すように、通常の眼部Ｅ１、Ｅ２を表示させることができる。また、例えば、図３（Ｇ）に示すように、通常の眼の上側に眉毛を追加した眼部Ｂ３、Ｂ４を表示させることができる。また、例えば、図３（Ｇ）に示すように、顔の眼の下の頬に相当する部分ＣＫ１、ＣＫ２に、所定色、例えば赤色の丸部を表示させることができる。これによりエージェント機器２００が恥ずかしい顔（例えば赤面）をしているような表示態様とすることが可能である。なお、第１可動部２０２又は第２可動部２０３により眼に相当する部分を隠すような動作を、エージェント機器２００が恥ずかしい顔をしているような動作態様としてもよい。このように、本実施形態では、エージェント機器２００の各部のうちの少なくとも一部を変化させる動作態様と、エージェント機器２００の表面のうちの少なくとも一部の表示状態を変化させる表示態様とによりエージェント機器２００を変化させることが可能である。また、その変化を見た車両Ｃ１の乗員は、エージェント機器２００が何らかの動きをしていると認識可能となる。このため、本実施形態では、これらのエージェント機器２００の変化をエージェント機器２００の動作態様と称して説明する。

また、例えば、図３（Ｈ）に示すように、笑顔の眼のように見える眼及び眉毛を含む眼部Ｅ５、Ｅ６を表示させることができる。また、例えば、図３（Ｈ）に示すように、顔の口に相当する部分に、笑顔の口のような口部Ｍ１を表示させることができる。これによりエージェント機器２００が笑っている顔をしているような動作態様とすることが可能である。

また、例えば、図３（Ｉ）に示すように、泣き顔の眼のように見える眼、眉毛及び涙を含む眼部Ｅ７、Ｅ８を表示させることができる。また、例えば、図３（Ｉ）に示すように、顔の口に相当する部分に、泣き顔の口のような口部Ｍ２を表示させることができる。これによりエージェント機器２００が泣いている顔をしているような動作態様とすることが可能である。

また、例えば、図３（Ｊ）に示すように、帽子をかぶったように見えるように、顔の頭に相当する部分（頭部Ｈ１）の色を変化させることができる。これによりエージェント機器２００が帽子をかぶったような動作態様とすることが可能である。

なお、これらのエージェント機器２００の動作態様は、一例であり、他の動作態様とすることも可能である。例えば、ダッシュボード２上の所定範囲内において、エージェント機器２００をスライド移動させることも可能である。例えば、エージェント機器２００を前後左右方向にスライド移動させることも可能である。また、例えば、エージェント機器２００を一時的に浮かせるような演出も可能である。

［情報処理システムの構成例］
図４は、車両Ｃ１に設置されている情報処理システム１０のシステム構成の一例を示す図である。

情報処理システム１０は、制御装置１００と、車両情報取得部１１０と、センサ類１２０と、画像取得部１３０と、音取得部１４０と、エージェント機器２００とを備える。また、制御装置１００は、無線通信を利用した通信方式によってネットワーク２０に接続されている。ネットワーク２０は、公衆回線網、インターネット等のネットワークである。なお、エージェント機器２００についても、無線通信を利用した通信方式によってネットワーク２０に接続してもよい。なお、制御装置１００及びエージェント機器２００は、有線通信又は無線通信を利用した通信方式によって接続される。そして、制御装置１００は、エージェント機器２００を制御する。

車両情報取得部１１０は、車両Ｃ１において取得された車両情報を取得するものであり、取得された車両情報を制御装置１００に出力する。この車両情報は、例えば、ＣＡＮ通信に基づいて取得可能な情報であり、車両Ｃ１の位置情報、車速、各部材の可動指示信号等が含まれる。

センサ類１２０は、車両Ｃ１に設置されている各種のセンサである。また、センサ類１２０は、各センサにより取得された検出情報等を制御装置１００に出力する。センサ類は、例えば、加速度センサ、車速センサ、着座センサ、風速センサ、位置情報取得センサ等である。

画像取得部１３０は、車両Ｃ１の内部又は外部の少なくとも一方に設けられ、制御装置１００の制御に基づいて、車両Ｃ１の内部及び外部の被写体を撮像して画像（画像データ）を生成するものであり、生成された画像に関する画像情報を制御装置１００に出力する。なお、画像取得部１３０は、例えば、被写体を撮像することが可能な１または複数のカメラ機器や画像センサにより構成される。例えば、車両１の全方位に存在する被写体と、車両１の内部の被写体とを取得可能な１または複数の機器、例えば、３６０度カメラを用いてもよい。

音取得部１４０は、車両Ｃ１の内部または外部に設けられ、制御装置１００の制御に基づいて、車両Ｃ１の周囲の音（車外の音）及び車内の音を取得するものであり、取得された音に関する音情報を制御装置１００に出力する。音取得部１４０として、例えば、１または複数のマイクや音取得センサを用いることができる。

制御装置１００は、検出部１０１と、関連動作決定部１０２と、制御部１０３と、記憶部１０４と、通信部１０５とを備える。

検出部１０１は、車両情報取得部１１０、センサ類１２０、画像取得部１３０及び音取得部１４０から出力された情報、又は、ネットワーク２０を介して取得された情報に基づいて、車両Ｃ１の内部又は外部に存在する物体の動作態様を検出するものである。そして、検出部１０１は、その検出結果を関連動作決定部１０２及び制御部１０３に出力する。なお、検出部１０１は、例えば、ＣＰＵ（Central Processing Unit）等の処理装置により実現される。

例えば、検出部１０１は、エージェント機器２００の外観の少なくとも一部に類似する形状である類似形状を抽出する類似形状抽出処理と、その類似形状の動作態様を検出する動作態様検出処理とを実行する。

類似形状抽出処理では、例えば、画像取得部１３０により取得された画像と、記憶部１０４に記憶されている関連動作情報ＤＢ１５０とに基づいて、類似形状を抽出することができる。なお、関連動作情報ＤＢ１５０は、車両Ｃ１の内部又は外部に存在する物体の動作態様を検出する際に用いられる情報であり、例えば、類似形状に関する情報と、類似形状の動作態様と、関連動作とが関連付けられたデータベースである。例えば、図６に示すＥＴＣ（Electronic Toll Collection System）レーンのゲートＧ１に設置されているバーＢ１を類似形状とする場合には、類似形状に関する情報としてバーＢ１を抽出するための情報と、類似形状の動作態様としてバーＢ１が開閉する動作と、関連動作として第１可動部２０２又は第２可動部２０３を回動させるための指示情報とが関連付けて関連動作情報ＤＢ１５０に格納される。なお、類似形状に関する情報として、車内及び車外の類似形状の物体のリスト（部品リスト）を保持してもよい。

また、類似形状抽出処理では、画像取得部１３０により取得された画像に含まれる物体を抽出し、その抽出された物体のうち、関連動作情報ＤＢ１５０に含まれる形状又はこれに類似する形状を有する物体を抽出する。なお、物体の抽出処理、同一又は類似形状の物体の抽出処理については、公知の画像認識技術を用いることができる。また、類似形状は、例えば、第１可動部２０２、第２可動部２０３に類似する棒状部材の形状とすることができる。棒状部材は、例えば、図２に示すワイパーＷ１、Ｗ２、図６に示すバーＢ１、図７に示す誘導者Ｕ１の腕等とすることができる。

次に、動作態様検出処理では、例えば、画像取得部１３０により取得された画像について、類似形状抽出処理で抽出された類似形状の遷移を比較し、この比較結果に基づいて、類似形状の動作態様を検出することができる。なお、動作態様の検出処理については、公知の動体検出技術を用いることができる。

なお、画像に含まれる類似形状の動作態様については、人工知能（ＡＩ：Artificial Intelligence）を利用して検出してもよい。例えば、物体の類似形状と、その動作態様とを予め学習しておき、この学習データを検出に用いるようにする。そして、画像取得部１３０により取得された画像について、その学習データを用いて、その画像に含まれる類似形状を有する物体と、その動作態様とを検出することができる。

以上では、画像取得部１３０により取得された画像に基づいて類似形状の動作態様を検出する例を示したが、他の情報に基づいて類似形状の動作態様を検出してもよい。例えば、音取得部１４０により取得された音に基づいて、類似形状の動作態様を検出することができる。例えば、特定音を発し、特定の動作を行う棒状部材については、その特定音を音取得部１４０により取得された音に基づいて取得可能である。また、その特定音が取得可能されたことを条件に、その棒状部材の特定の動作を抽出可能である。

以上では、類似形状抽出処理及び動作態様検出処理により類似形状の動作態様を検出する例を示したが、他の方法により、車両Ｃ１の内部又は外部に存在する物体の動作態様を検出してもよい。この検出方法については、図５乃至図１３を参照して適宜説明する。また、上述した類似形状の動作態様の検出と同様に、車両Ｃ１の内部又は外部に存在する物体の動作態様については、人工知能を利用して検出してもよい。

関連動作決定部１０２は、関連動作情報ＤＢ１５０に基づいて、検出部１０１により検出された物体の動作態様に関連する関連動作を決定するものであり、決定された関連動作を制御部１０３に出力する。すなわち、関連動作決定部１０２は、物体の動作態様に関連する関連動作、例えば真似動作を演算する動作演算部として機能する。なお、関連動作決定部１０２は、例えば、ＣＰＵ等の処理装置により実現される。また、関連動作決定部１０２による関連動作の決定処理については、図５乃至図１３を参照して詳細に説明する。

制御部１０３は、記憶部１０４に記憶されている各種プログラムに基づいて各部を制御するものである。制御部１０３は、例えば、ＣＰＵ等の処理装置により実現される。なお、車両Ｃ１の車両ＥＣＵ（Electronic Control Unit）を制御部１０３としても使用してもよく、車両ＥＣＵとは異なる処理装置を制御部１０３として設けてもよい。

例えば、制御部１０３は、関連動作決定部１０２により決定された関連動作をエージェント機器２００に実行させる。すなわち、制御部１０３は、エージェント機器２００に関連動作を反映させる動作反映部として機能する。なお、制御部１０３による関連動作の制御処理については、図５乃至図１３を参照して詳細に説明する。

記憶部１０４は、各種情報を記憶する記憶媒体である。例えば、記憶部１０４には制御部１０３が各種処理を行うために必要となる各種情報（例えば、制御プログラム、地図情報、関連動作情報ＤＢ１５０）が記憶される。また、記憶部１０４には、通信部１０５を介して取得された各種情報が記憶される。記憶部１０４として、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、または、これらの組み合わせを用いることができる。なお、記憶部１０４は、制御装置１００における各部と接続され、各情報のやりとりが行われる。

通信部１０５は、制御部１０３の制御に基づいて、無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。

エージェント機器２００は、音取得部２１０と、画像取得部２２０と、制御部２３０と、記憶部２４０と、音出力部２５０と、表示部２６０と、駆動部２７０とを備える。

音取得部２１０は、エージェント機器２００の内部に設けられ、制御部２３０の制御に基づいて、エージェント機器２００の周囲の音を取得するものであり、取得された音に関する音情報を制御部２３０に出力する。音取得部２１０として、例えば、１または複数のマイクや音取得センサを用いることができる。

画像取得部２２０は、エージェント機器２００の内部に設けられ、エージェント機器２００の外部の被写体を撮像して画像（画像データ）を生成するものであり、生成された画像に関する画像情報を制御部２３０に出力する。なお、画像取得部２２０は、例えば、被写体を撮像することが可能な１または複数のカメラ機器や画像センサにより構成される。例えば、ドライバＤ１又は他の乗員の視線を撮像範囲に含むように、エージェント機器２００の眼部の付近に画像取得部２２０を設置することができる。

制御部２３０は、記憶部２４０に記憶されている各種プログラムに基づいて各部を制御するものである。制御部２３０は、例えば、ＣＰＵ等の処理装置により実現される。

記憶部２４０は、各種情報を記憶する記憶媒体である。例えば、記憶部２４０には制御部２３０が各種処理を行うために必要となる各種情報（例えば、制御プログラム）が記憶される。また、記憶部２４０には、制御装置１００から出力された各種情報が記憶される。記憶部２４０として、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ、または、これらの組み合わせを用いることができる。なお、記憶部２４０は、エージェント機器２００における各部と接続され、各情報のやりとりが行われる。

音出力部２５０は、制御部２３０の制御に基づいて、車両Ｃ１の内部に音を出力するものである。音出力部２５０として、例えば、１または複数のスピーカを用いることができる。

表示部２６０は、制御部２３０の制御に基づいて、エージェント機器２００の周囲に各種画像を表示させるものである。表示部２６０として、上述した表示媒体、例えば、発光シート、液晶表示器、有機ＥＬ等の各種表示媒体を使用可能である。

駆動部２７０は、制御部２３０の制御に基づいて、エージェント機器２００の各部、すなわち、本体部２０１、第１可動部２０２、第２可動部２０３を駆動させるものである。駆動部２７０として、例えば、アクチュエータ、駆動モータ等の各種駆動装置を使用可能である。

［エージェント機器の関連動作例］
本実施形態では、車両Ｃ１の外部又は内部に存在する物体の動作態様に応じて、その動作態様に関連する関連動作をエージェント機器２００に実行させる例を示す。図５乃至図１１では、物体の動作態様と、エージェント機器２００に実行させる関連動作との対応関係の一例を示す。

［ワイパーの動きに応じて可動部を動作させる例］
図５は、ワイパーＷ１、Ｗ２の動きに応じて第１可動部２０２を動作させる場合の例を示す図である。なお、図５では、説明を容易にするため、ワイパーＷ１の動きのみを簡略化して示す。

図５（Ａ）には、ワイパーＷ１が停止している状態を示す。この場合に、ドライバＤ１がワイパーレバーを操作してワイパーＷ１をオンするものとする。

図５（Ｂ）には、ワイパーＷ１がオンされた後に、ワイパーＷ１の動きが検出された状態を示す。

図５（Ｃ）には、ワイパーＷ１の動きに関連する関連動作をエージェント機器２００が実行する状態を示す。図５では、エージェント機器２００の関連動作として、ワイパーＷ１の動きに応じて第１可動部２０２を動作させる例を示す。具体的には、前後方向、すなわち矢印Ａ２方向に第１可動部２０２を回動させる。このように、第１可動部２０２を動作させることにより、ワイパーＷ１の動きを真似しているようなエージェント機器２００の関連動作を見たドライバＤ１は、エージェント機器２００が周囲を確認していることを認識することができる。これにより、エージェント機器２００の信頼性を高めることができる。

なお、検出部１０１は、ＣＡＮ通信でワイパーＷ１、Ｗ２の開始指示信号を検出することが可能である。また、ワイパーＷ１、Ｗ２の往復運動の周期、最大角度及び角速度は、予め設定されている値を車両情報として取得可能である。また、検出部１０１は、画像取得部１３０により取得された画像に基づいて、ワイパーＷ１、Ｗ２の往復運動の位相、周期、最大角度及び角速度を取得することが可能である。そこで、その取得された位相と、予め設定されているワイパーＷ１、Ｗ２の周期、最大角度及び角速度とに基づいて、第１可動部２０２を回動させる動作を決定することができる。例えば、ワイパーＷ１、Ｗ２の往復運動の折り返しと、第１可動部２０２の回動の折り返しとを合わせるようにする。なお、第１可動部２０２を回動させる代わりに、第２可動部２０３又は本体部２０１を回動させてもよく、これらのうちの少なくとも２つを回動させてもよい。

［ＥＴＣ又は駐車場のゲートのバーの動きに応じて可動部を動作させる例］
図６は、車両Ｃ１の前方に存在するＥＴＣ又は駐車場のゲートＧ１のバーＢ１の開閉に応じて第１可動部２０２を動作させる場合の例を示す図である。

図６（Ａ）の左側には、車両Ｃ１の前方に存在するゲートＧ１のバーＢ１が閉じている状態を簡略化して示す。また、図６（Ａ）の右側には、通常状態のエージェント機器２００を示す。このように、車両Ｃ１の前方にゲートＧ１のバーＢ１が存在する場合には、検出部１０１は、画像取得部１３０により取得された画像に基づいて、そのバーＢ１を類似形状として抽出する。この場合に、検出部１０１は、地図情報に含まれるＥＴＣ及び駐車場の位置情報を用いてバーＢ１を抽出してもよい。例えば、検出部１０１は、地図情報に含まれるＥＴＣ及び駐車場の位置情報に基づいて、車両Ｃ１がＥＴＣ及び駐車場の位置又はその付近に存在するか否かを判定する。そして、検出部１０１は、車両Ｃ１がＥＴＣ及び駐車場の位置又はその付近に存在する場合において、画像取得部１３０により取得された画像に棒状の物体が含まれるときには、その棒状の物体をバーＢ１として抽出することができる。これにより類似形状の抽出処理の精度を高めることができる。

図６（Ｂ）の左側には、車両Ｃ１の前方に存在するゲートＧ１のバーＢ１が開いた状態を簡略化して示す。このように、矢印Ａ２１方向にゲートＧ１のバーＢ１が開いた場合には、検出部１０１は、画像取得部１３０により取得された画像に基づいて、類似形状として抽出されたバーＢ１の動きを検出する。このように、バーＢ１の動きが検出された場合には、関連動作決定部１０２は、関連動作情報ＤＢ１５０に基づいて、第１可動部２０２に実行させる動作を決定する。例えば、バーＢ１が動いた角度に応じて第１可動部２０２を回動させる角度が決定される。例えば、バーＢ１が動いた角度と同じ角度だけ、矢印Ａ２２方向に第１可動部２０２を回動させることができる。この場合に、バーＢ１が動いた周期及び角速度と同じ周期及び角速度で、第１可動部２０２を回動させることができる。

このように、バーＢ１が開いた場合には、第１可動部２０２に関連動作をさせることにより、バーＢ１が上に開けられた瞬間に、バーＢ１を真似してエージェント機器２００が手を挙げたような動作態様とすることができる。これにより、車両Ｃ１の前方の変化に関連させて、エージェント機器２００に関連動作を実行させることが可能である。

［人による誘導行動の動きに応じて可動部を動作させる例］
図７は、車両Ｃ１の周囲に存在する人による誘導行動の動きに応じて第２可動部２０３を動作させる場合の例を示す図である。例えば、車両Ｃ１が駐車場又はガソリンスタンド等に存在する場合に、車両Ｃ１の周囲に誘導行動をする人が存在する場合が想定される。また、何らかの理由により車両Ｃ１の周囲に誘導行動をする警官が存在する場合も想定される。なお、人の誘導行動は、例えば、車両Ｃ１を誘導するための手信号である。例えば、駐車場の誘導、ガソリンスタンドの誘導では、人の動作による誘導とともに、オーライオーライ等の音声による誘導が行われることが多い。

図７（Ａ）の左側には、車両Ｃ１の周囲に存在する誘導者Ｕ１を簡略化して示す。また、図７（Ａ）の右側には、通常状態のエージェント機器２００を示す。このように、車両Ｃ１の周囲に誘導者Ｕ１が存在する場合には、検出部１０１は、画像取得部１３０により取得された画像に基づいて、その誘導者Ｕ１の腕又は手に持っている棒状部材Ｂ２を類似形状として抽出する。この場合に、画像取得部１３０により取得された画像に基づいて人間又は人間の顔を検出し、その検出された人間の手を抽出し、その手について類似形状の抽出処理を実行してもよい。また、音取得部１４０により取得された音（例えばオーライオーライ）に基づいて、誘導者Ｕ１が誘導行動をしていることを検出し、その検出がされた後に、画像を用いた類似形状の抽出処理を実行してもよい。これらにより類似形状の抽出処理の精度を高めることができる。

図７（Ｂ）の左側には、車両Ｃ１の周囲に存在する誘導者Ｕ１の手が動いた状態を示す。このように、誘導者Ｕ１の手が動いた場合には、検出部１０１は、画像取得部１３０により取得された画像に基づいて、類似形状として抽出された誘導者Ｕ１の手又は手に持っている棒状部材Ｂ２の動きを検出する。このように、誘導者Ｕ１の手又は手に持っている棒状部材Ｂ２の動きが検出された場合には、関連動作決定部１０２は、関連動作情報ＤＢ１５０に基づいて第２可動部２０３に実行させる動作を決定する。例えば、誘導者Ｕ１の手が動いた角度と同じ角度だけ、第２可動部２０３を回動させることができる。この場合に、誘導者Ｕ１の手が動いた周期と同じ周期で、第２可動部２０３を回動させることができる。すなわち、ドライバＤ１が見えるものと同じ動きをエージェント機器２００に実行させることが好ましい。

このように、誘導者Ｕ１の手が動いた場合には、第２可動部２０３を動作させることにより、誘導者Ｕ１の手が動いた瞬間に、エージェント機器２００が手を挙げたような動作態様とすることができる。これにより、車両Ｃ１の前方の変化に関連させて、エージェント機器２００に関連動作を実行させることが可能である。

このように、車両Ｃ１の前方において、ドライバＤ１の眼に見える物体に関連する関連動作をエージェント機器２００に実行させる場合には、その物体の動きと同じ方向と、同じタイミングと、同じ周期とでエージェント機器２００の各部を動かすことが好ましい。すなわち、ドライバＤ１から見て、タイミングが特徴的な物体の動きや、動き自体が特徴的な物体の動きを真似することにより、ドライバＤ１の眼に見える物体について、エージェント機器２００が車両Ｃ１と同じような動きをしているとドライバＤ１に認識させることが可能となる。これにより、エージェント機器２００に対する信頼性を高めることができ、エージェント機器２００に愛着を持ちやすくすることが可能となる。

なお、図５乃至図７では、第１可動部２０２又は第２可動部２０３に関連動作を実行させる例を示したが、本体部２０１、第１可動部２０２又は第２可動部２０３の何れか１つ又は２以上の各部に、上述した関連動作以外の他の関連動作を実行させてもよい。

［前照ライトの点灯状態に応じて眼部を点灯させる例］
図８は、前照ライトＨＬ１及びＨＬ２の点灯状態に応じてエージェント機器２００の眼部Ｅ１、Ｅ２を点灯させる場合の例を示す図である。

図８（Ａ）の左側には、車両Ｃ１の外観を簡略化して示す。また、図８（Ａ）の右側には、通常状態のエージェント機器２００を示す。

図８（Ｂ）の左側には、前照ライトＨＬ１及びＨＬ２が点灯された状態を示す。検出部１０１は、例えば、ＣＡＮ通信で前照ライトＨＬ１及びＨＬ２の点灯状態を検出することが可能である。このように、前照ライトＨＬ１及びＨＬ２の点灯が検出された場合には、関連動作決定部１０２は、関連動作情報ＤＢ１５０に基づいて、エージェント機器２００の眼部Ｅ１、Ｅ２を明るく発光させる動作を決定する。なお、眼部Ｅ１、Ｅ２を明るく発光させる動作の代わりに、眼部Ｅ１、Ｅ２を一回点滅させる動作を実行してもよく、眼部Ｅ１、Ｅ２の眼を見開く表示演出を実行してもよい。

このように、前照ライトＨＬ１及びＨＬ２が点灯された場合には、エージェント機器２００の眼部Ｅ１、Ｅ２を明るく点灯させることにより、前照ライトＨＬ１及びＨＬ２の点灯が開始した瞬間に、その点灯にエージェント機器２００が気付いて眼を変化させたような動作態様とすることができる。これにより、前照ライトＨＬ１及びＨＬ２の変化に関連させて、エージェント機器２００に関連動作を実行させることが可能である。

［方向指示器の点滅状態に応じて眼部を点滅させる例］
図９は、方向指示器ＤＩ１及びＤＩ２の点滅状態に応じてエージェント機器２００の眼部Ｅ１、Ｅ２を点滅させる場合の例を示す図である。

図９（Ａ）の左側には、車両Ｃ１の外観を簡略化して示す。また、図９（Ａ）の右側には、通常状態のエージェント機器２００を示す。

図９（Ｂ）の左側には、方向指示器ＤＩ１が点滅している状態を示す。検出部１０１は、例えば、ＣＡＮ通信で方向指示器ＤＩ１の開始指示信号を検出することが可能である。また、方向指示器ＤＩ１の点滅の周期は、予め設定されている値を取得可能である。また、検出部１０１は、方向指示器ＤＩ１に関する音、例えば「カチカチ」を音取得部１４０から取得し、その音に基づいて、方向指示器ＤＩ１に関する音の位相、すなわち方向指示器ＤＩ１の点滅の位相を取得することが可能である。そこで、予め設定されている方向指示器ＤＩ１の点滅の周期とその位相とに基づいて、関連動作決定部１０２は、方向指示器ＤＩ１の点滅の周期に合わせてエージェント機器２００の眼部Ｅ１を点滅させる動作を決定する。すなわち、方向指示器ＤＩ１の点滅の音のピークと、眼部Ｅ１の点滅のピークとを合わせるようにする。なお、眼部Ｅ１を点滅させる代わりに、眼部Ｅ２を点滅させてもよく、眼部Ｅ１及びＥ２の双方を点滅させてもよい。

このように、方向指示器ＤＩ１の点滅が開始された場合には、エージェント機器２００の眼部Ｅ１、Ｅ２を点滅させることにより、方向指示器ＤＩ１の点滅が開始した瞬間に、その点滅にエージェント機器２００が気付いて眼を変化させたような動作態様とすることができる。これにより、方向指示器ＤＩ１、ＤＩ２の変化に関連させて、エージェント機器２００に関連動作を実行させることが可能である。

なお、図８、図９では、前照ライトＨＬ１及びＨＬ２の点灯状態、方向指示器ＤＩ１、ＤＩ２の点滅状態に応じてエージェント機器２００に関連動作を実行させる例を示した。ただし、これらのライト以外の他のライトの点灯状態等に応じてエージェント機器２００に関連動作を実行させてもよい。

また、図８、図９では、前照ライトＨＬ１及びＨＬ２の点灯状態、方向指示器ＤＩ１、ＤＩ２の点滅状態に応じて実行される関連動作として、眼部Ｅ１、Ｅ２を点滅又は発光させる例を示した。ただし、眼部Ｅ１、Ｅ２の点滅又は発光以外の他の関連動作を実行してもよい。例えば、本体部２０１、第１可動部２０２又は第２可動部２０３を用いた関連動作を実行させてもよい。また、これらの関連動作とともに、眼部Ｅ１、Ｅ２の点滅又は発光の関連動作を実行させてもよい。例えば、図９に示す例では、方向指示器ＤＩ１の点滅の音の周期と、本体部２０１、第１可動部２０２又は第２可動部２０３の回動の周期とを合わせるようにした関連動作を実行することができる。これらにより、エージェント機器２００に対する信頼性を高めることができ、エージェント機器２００に愛着を持ちやすくすることが可能となる。

［サンルーフの開閉に応じて本体部の頭部に帽子をかぶせる例］
図１０は、車両Ｃ１に設置されているサンルーフＳＲ１の開閉に応じて本体部２０１の頭部Ｈ１に帽子をかぶせる場合の例を示す図である。

図１０（Ａ）の左側には、天井にサンルーフＳＲ１が設置されている車両Ｃ１の外観を示す上面図を示す。また、図１０（Ａ）の右側には、通常状態のエージェント機器２００を示す。

図１０（Ｂ）の左側には、乗員の操作により天井のサンルーフＳＲ１が開けられた場合を示す。このように、天井のサンルーフＳＲ１が開けられた場合には、検出部１０１は、ＣＡＮ通信からサンルーフ開信号を検出する。このように、サンルーフ開信号が検出された場合には、関連動作決定部１０２は、エージェント機器２００の本体部２０１の上部、すなわち頭部Ｈ１の色を変化させる決定をする。この頭部Ｈ１の色を変化させる動作態様については、図３（Ｊ）に示す例と同様である。

このように、サンルーフＳＲ１が開けられた場合には、エージェント機器２００の本体部２０１の頭部Ｈ１の色を変化させることにより、エージェント機器２００が帽子をかぶったような動作態様とすることができる。これにより、車両Ｃ１の上部の変化に関連させて、エージェント機器２００に関連動作を実行させることが可能である。

なお、この例では、エージェント機器２００が帽子をかぶったような動作態様を関連動作とする例を示したが、他の関連動作を実行してもよい。例えば、帽子をかぶる手の動きのような動作態様、例えば、第１可動部２０２又は第２可動部２０３を下側から上側に回動させる動作態様としてもよい。また、例えば、眼がまぶしい姿を感じさせる動作態様、眼がまぶしいと感じる動作態様、例えば、手を眼に当てる動きのような動作態様としてもよい。例えば、第１可動部２０２又は第２可動部２０３を下側から眼部Ｅ１、Ｅ２の付近まで回動させる動作を、手を眼に当てる動きのような動作態様とすることが可能である。

［カーブで車両の状態に応じて本体部を動作させる例］
図１１は、直線及び曲線を含む道路Ｒ１を走行する車両Ｃ１の状態に応じて本体部２０１を動作させる場合の例を示す図である。

図１１（Ａ）の左側には、直線状の道路Ｒ１を走行する車両Ｃ１を示す。この場合には、図１１（Ａ）の右側に示すように、エージェント機器２００は通常状態とする。

図１１（Ｂ）の左側には、曲線状の道路Ｒ１を走行する車両Ｃ１を示す。このように、車両Ｃ１が、曲線状の道路Ｒ１を走行する場合には、その曲線での車両Ｃ１の左右方向の傾き、すなわち外側または内側への傾きを、センサ類、例えば加速度センサで検出することが可能である。そして、加速度センサの検出値が所定値以上となる場合には、その所定値を超えた方向の可動部を動作させる。この場合に、ドライバＤ１から見た場合のカーブの方向と、動作させる可動部とを同じ方向としてもよく、逆方向の可動部を動作させてもよい。又は、加速度センサの検出値が所定値以上となった方向に、本体部２０１を回動させる関連動作を実行してもよい。図１１では、加速度センサの検出値が所定値以上となった矢印Ａ２６方向に、本体部２０１を回動させる関連動作を実行する例を示す。

なお、図１１では、車両Ｃ１が曲線状の道路Ｒ１を走行する場合の例を示したが、車両Ｃ１の他の動きに基づいて関連動作を実行してもよい。例えば、車両Ｃ１の加減速に基づいて関連動作を実行してもよい。例えば、加速度センサの値が所定値以上となった場合に、その所定値を超えた向き、例えばエージェント機器２００の前後左右方向に、エージェント機器２００を傾かせたり、揺らしたりする関連動作を実行可能である。

なお、図５乃至図１１で示す車両Ｃ１の外部又は内部に存在する物体の動作態様と、エージェント機器２００の関連動作との関係は一例であり、他の関係、すなわち物体の動作態様と関連動作との他の関係を実行してもよい。

例えば、車両Ｃ１自体に存在する物体の動作態様、又はその動きに基づいて、エージェント機器２００の関連動作を実行してもよい。又は、車両Ｃ１に後付けされた物体、例えばアクセサリの動作態様、又はその動きに基づいて、エージェント機器２００の関連動作を実行してもよい。

車両Ｃ１自体に存在する物体は、例えば、ＡＴのシフトレバー、ＭＴのマニュアルシフトレバー、ワイパーレバー、方向指示器レバー等の棒状部材、ステアリング等の環状部材、ドア、エアコンの操作部材、シートベルト、等である。

例えば、ＡＴのシフトレバー、ＭＴのマニュアルシフトレバー、ワイパーレバー、方向指示器レバー等の棒状部材がドライバＤ１により操作された場合には、検出部１０１は、画像取得部１３０により取得された画像に基づいてその操作を検出可能である。また、検出部１０１は、ＣＡＮ通信により各操作及び各制御量等を検出可能である。

例えば、ＡＴのシフトレバーの場合には、シフトレバーを動かしたタイミング、その傾きを真似するような関連動作をエージェント機器２００に実行させることが好ましい。例えば、ＡＴのシフトレバーが動いた相対角度（変化量）及び角速度を検出し、その検出値と同じ角度及び角速度でエージェント機器２００の可動部を回動させるようにする。例えば、ＡＴのシフトレバーがＰからＤに所定角度だけ動いた場合には、その動いた角度、その動きの角速度に対応してエージェント機器２００の可動部を回動させるようにする。このように、ＡＴのシフトレバーの角度、速度を少し真似することにより、エージェント機器２００がドライバＤ１と同じような動きをしているとドライバＤ１に認識させることが可能となる。また、ＭＴのマニュアルシフトレバーの場合には、その動かし方に特徴があるため、その動かし方を真似するような関連動作をエージェント機器２００に実行させることが好ましい。

また、それらの棒状部材が操作された場合には、各棒状部材の動きに合わせて、本体部２０１、第１可動部２０２又は第２可動部２０３を回動させることができる。例えば、図５乃至図７に示すように、各棒状部材の動きに合わせて、本体部２０１、第１可動部２０２又は第２可動部２０３を回動させることができる。

また、例えば、ステアリング等の環状部材がドライバＤ１により操作された場合には、画像取得部１３０により取得された画像、又は、ＣＡＮ通信に基づいてその操作角度を検出可能である。この場合に、例えば、所定角度、例えば９０度よりも大きいステアリング操作が検出された場合には、そのステアリング操作と同じ角度だけエージェント機器２００の本体部２０１、第１可動部２０２、第２可動部２０３の何れかを回転させることにより、関連動作を実行することが可能である。例えば、ステアリング操作と同じ角度だけエージェント機器２００の本体部２０１を矢印Ａ７（図３（Ｃ）参照）方向に回転させることにより、ステアリング等と同じように丸い形状のエージェント機器２００がステアリング操作の回転に合わせて回転するような印象をドライバＤ１に与えることができる。

また、車両Ｃ１自体に存在する物体として、ドアの動作態様、又はその動きに基づいて、エージェント機器２００の関連動作を実行する場合を想定する。この場合には、ドアの開閉により車両Ｃ１の揺れが発生した場合には、その揺れに応じて、エージェント機器２００の本体部２０１、第１可動部２０２、第２可動部２０３の何れかを揺れさせることにより、関連動作を実行することが可能である。ドアの開閉については、ＣＡＮ通信に基づいてドアの開閉信号を取得して検出可能である。

これにより、ドアの開閉の衝撃でエージェント機器２００が揺れているような印象をドライバＤ１に与えることができる。この例では、エージェント機器２００の何れかの部分を揺れさせる例を示したが、他の関連動作を実行してもよい。例えば、開閉されるドアの方向をエージェント機器２００が向くように関連動作を実行してもよい。これにより、ドアの開閉の衝撃に応じた反応のような印象をドライバＤ１に与えることができる。

また、車両Ｃ１自体に存在する物体として、パワーウインドウの動作態様、又はその動きに基づいて、エージェント機器２００の関連動作を実行する場合を想定する。この場合には、パワーウインドウが開閉動作をしている場合に、その開閉動作に応じて、エージェント機器２００の本体部２０１、第１可動部２０２、第２可動部２０３の何れかを回動させることにより、関連動作を実行することが可能である。例えば、過去にウインドウを手動で開閉させる場合に使用された手動レバーをクルクル回転させる操作を連想させる動作、例えば、第１可動部２０２、第２可動部２０３の何れかの回転動作を関連動作として実行させてもよい。これにより、エージェント機器２００の耳がクルクル回っているような印象をドライバＤ１に与えることが可能となる。

また、車両Ｃ１自体に存在する物体として、エアコンの動作態様、又はその動きに基づいて、エージェント機器２００の関連動作を実行する場合を想定する。この場合には、エアコンが稼働状態となっている場合に、そのエアコンのファンの音に応じて、エージェント機器２００の本体部２０１、第１可動部２０２、第２可動部２０３の何れかを動作させることにより、関連動作を実行することが可能である。例えば、第１可動部２０２又は第２可動部２０３の何れかを揺らすことにより、エージェント機器２００の耳がパタパタしているような印象をドライバＤ１に与えることが可能となる。

また、車両Ｃ１自体に存在する物体として、シートベルトの動作態様、又はその動きに基づいて、エージェント機器２００の関連動作を実行する場合を想定する。例えば、車両Ｃ１の乗員によりシートベルトを締める行動が行われた場合には、その締める行動に応じて、第１可動部２０２を右上から左下に動かす動作、又は、第２可動部２０３を左上から右下に動かす動作を、関連動作として実行することが可能である。この関連動作により、エージェント機器２００がシートベルトを締める真似をしているような印象を乗員に与えることができる。なお、車両Ｃ１の乗員によりシートベルトを締める行動については、画像取得部１３０により取得された画像に基づいて検出可能である。なお、エージェント機器２００がシートベルトを締めるような関連動作をする代わりに、エージェント機器２００がシートベルトをした後に、エージェント機器２００の本体部２０１を左右方向に回動させて、周囲を確認するような動作を実行してもよい。

なお、車両Ｃ１自体に存在する物体として、上述した各物体以外の他の物体や各部品の動作態様、又はその動きに基づいて、エージェント機器２００の関連動作を実行してもよい。

車両Ｃ１に後付けされた物体として、アクセサリの動作態様、又はその動きに基づいて、エージェント機器２００の関連動作を実行する場合を想定する。アクセサリは、例えば、交通安全のお守りである。例えば、お守りが揺れた場合には、その揺れに応じて、エージェント機器２００の本体部２０１、第１可動部２０２、第２可動部２０３の何れかを揺れさせることにより、関連動作を実行することが可能である。なお、アクセサリの揺れについては、画像取得部１３０により取得された画像に基づいて取得可能である。また、その画像に基づいて、アクセサリの揺れが所定値以上となった場合に、その関連動作を実行してもよい。

また、車両Ｃ１自体に存在する物体として、例えば、ドライバＤ１、他の乗員を対象としてもよい。この場合には、ドライバＤ１の運転操作、ドライバＤ１及び他の乗員の動作又はポーズに基づいて、エージェント機器２００の関連動作を実行してもよい。例えば、ドライバＤ１及び他の乗員の動作又はポーズとして、周囲確認する、腕を組む、くしゃみ、眼をこする、寝る等を対象とすることができる。

例えば、ドライバＤ１が周囲確認をする行動に応じて、エージェント機器２００の本体部２０１を左右方向に回動させ、エージェント機器２００が左右を確認するような動作を、関連動作として実行することが可能である。この関連動作により、ドライバＤ１が周囲確認をする動作を真似して、エージェント機器２００が左右を確認するような動作をしているような印象をドライバＤ１又は他の乗員に与えることが可能である。

また、例えば、ドライバＤ１又は他の乗員が腕を組む行動に応じて、第１可動部２０２及び第２可動部２０３を下側から前側に移動させ、両者を近づけるような動作を、関連動作として実行することが可能である。この関連動作により、エージェント機器２００が腕を組む真似をしているような印象をドライバＤ１又は他の乗員に与えることが可能である。

また、例えば、ドライバＤ１又は他の乗員が眼をこする動作に応じて、第１可動部２０２又は第２可動部２０３を下側から眼部の付近まで移動させるような動作を、関連動作として実行することが可能である。この関連動作により、エージェント機器２００が眼をこする真似をしているような印象をドライバＤ１又は他の乗員に与えることが可能である。

例えば、車両Ｃ１の周囲に存在する物体の動作態様又はその動き、車両Ｃ１の周囲の環境に基づいて、エージェント機器２００の関連動作を実行してもよい。例えば、車両Ｃ１の周囲の環境として、強い横風を車両Ｃ１が受けている場合に、その横風に関連する関連動作を実行することが可能である。車両Ｃ１が受ける横風の強さについては、車両Ｃ１の外部に風速センサを設置し、その風速センサにより取得された風速値に基づいて取得可能である。また、通信部１０５、ネットワーク２０を介して接続可能な外部機器から天候情報を取得し、その天候情報に含まれる風速及び風向きを利用してもよい。この場合には、位置情報取得センサにより取得された車両Ｃ１の位置情報に基づいて、車両Ｃ１が走行している場所における天候情報を取得可能である。

例えば、車両Ｃ１の進行方向に対する横方向の風速が所定値よりも大きいことが検出された場合には、その横方向と風速の強さとに基づいて、エージェント機器２００に関連動作を実行させることが可能である。例えば、横方向の風上の方向にエージェント機器２００の本体部２０１が傾くように、本体部２０１を回動させることが可能である。この関連動作により、エージェント機器２００が横風に対して飛ばされないように、体感を整えて踏ん張る動きをしているような印象をドライバＤ１又は他の乗員に与えることが可能である。これにより、ドライバＤ１又は他の乗員と、車両Ｃ１と、エージェント機器２００とが同じ空間を共有しているような印象をドライバＤ１又は他の乗員に与えることが可能である。

［制御装置の動作例］
図１２及び図１３は、制御装置１００における機器制御処理の一例を示すフローチャートである。また、この機器制御処理は、記憶部１０４に記憶されているプログラムに基づいて制御装置１００により実行される。なお、この機器制御処理では、動作態様が検出された物体が類似形状である場合に関連動作を実行する例を示す。また、この機器制御処理は、制御周期毎に常時実行される。また、この機器制御処理では、図１乃至図１１を適宜参照して説明する。

ステップＳ５０１において、制御部１０３は、車両Ｃ１を運転中のドライバＤ１の運転負荷（作業負荷）が基準以下であるか否かを判定する。例えば、車両Ｃ１が特定場所を走行中である場合、または、その特定場所の手前を車両Ｃ１が走行中である場合には、ドライバＤ１の運転負荷が基準よりも高いと判定される。この特定場所は、例えば、車両Ｃ１のドライバＤ１が特に運転に注意が必要となる道路部分又は場所を意味する。例えば、特定場所は、道路の合流地点、車線変更部分、駐車場、交差点等である。この特定場所については、地図情報に関連付けられている属性情報等に基づいて判定可能である。また、車両Ｃ１を運転中のドライバＤ１が何かを聞いている場合、例えば、音楽、ラジオ等を聞いている場合は、ドライバＤ１の運転負荷が基準よりも高いと判定される。これらは、車両Ｃ１に設置されている音出力部（図示省略）からの出力状態を取得することにより判定可能である。ドライバＤ１の運転負荷が基準以下である場合には、ステップＳ５０２に進む。一方、ドライバＤ１の運転負荷が基準よりも高い場合には、機器制御処理の動作を終了する。

ステップＳ５０２において、制御部１０３は、エージェント機器２００の制御処理の負荷（演算負荷）が閾値以下であるか否かを判定する。この閾値は、予め設定されている固定値であり、実験データ等により適宜設定可能である。なお、エージェント機器２００に指示されている制御処理の内容が、特定の制御であるか否か、例えば、音楽に合わせて踊る制御か否かを判定してもよい。エージェント機器２００の制御処理の負荷が閾値以下である場合には、ステップＳ５０３に進む。一方、エージェント機器２００の制御処理の負荷が閾値よりも大きい場合には、機器制御処理の動作を終了する。

なお、エージェント機器２００の演算負荷が高いか低いかを判定してもよい。例えば、エージェント機器２００に予め設定されたタスクが指示されている場合には、エージェント機器２００の演算負荷が高いと判定し、エージェント機器２００に予め設定されたタスクが指示されていない場合には、エージェント機器２００の演算負荷が低いと判定する。すなわち、予め決まっている実行の指令値（指示）を受け付けている状態では、エージェント機器２００の演算負荷が高いと判定し、機器制御処理の動作を終了する。

なお、エージェント機器２００の関連動作の実行時間が短い場合、例えば、その実行時間が閾値以下となるような場合には、実行中のタスクを一時的に中止して関連動作を行い、その後、再度タスクを実行する制御を実行してもよい。

ステップＳ５０３において、制御部１０３は、検出部１０１により車両Ｃ１の外部又は内部に存在する物体の動作態様が検出されたか否かを判定する。なお、検出部１０１による物体の動作態様の検出処理については、上述した検出処理と同様である。車両Ｃ１の外部又は内部に存在する物体の動作態様が検出された場合には、ステップＳ５０４に進む。一方、車両Ｃ１の外部又は内部に存在する物体の動作態様が検出なかった場合には、機器制御処理の動作を終了する。

ステップＳ５０４において、関連動作決定部１０２は、ステップＳ５０３で動作態様が検出された物体は類似形状であるか否かを判定する。例えば、図５乃至図７に示すように、ワイパーＷ１、Ｗ２、バーＢ１、誘導者Ｕ１の腕の動作態様が検出された場合には、その動作態様が検出された物体は類似形状であると判定される。動作態様が検出された物体は類似形状である場合には、ステップＳ５０４に進む。一方、動作態様が検出された物体は類似形状でない場合には、機器制御処理の動作を終了する。

ステップＳ５０５において、関連動作決定部１０２は、ステップＳ５０３で検出された類似形状のうちから優先度が高い類似形状を抽出する。

ここで、優先度は、エージェント機器２００に関連動作を実行させる場合の動作時間、類似形状が車内の物体であるか車外の物体であるか、類似形状がドライバＤ１の一部であるか否か、等に基づいて設定可能である。例えば、車外の類似形状の動作は一瞬となることが多いため、車外の類似形状の優先度を高くすることが好ましい。ここでは、車内か車外かと、時間の長短との２軸で判定する例を示す。例えば、対象物及び空間を基準とした場合には、車外の物体の類似形状の優先度を最も高くし、車内の乗員の一部の類似形状の優先度を次に高くし、車内の乗員以外の物体の類似形状の優先度を最も低くすることが可能である。また、例えば、時間軸を基準とした場合には、エージェント機器２００に関連動作を実行させる場合の動作時間が最も短い類似形状の優先度を最も高し、その動作時間が長くなるのに応じて類似形状の優先度を低くする。

例えば、乗員の眼につきやすい動作には、エージェント機器２００を反応させることが好ましい。例えば、ＥＴＣのバーの動作は一瞬であるため、この動作は、乗員の眼につきやすい動作と考えられる。そこで、ＥＴＣのバーの動作は、優先度が高い動作とすることができる。一方、ワイパー、ウインカー等の動作は、長時間繰り返し行われる。このため、ワイパー、ウインカー等の動作は、優先度が低い動作とすることができる。なお、ワイパー、ウインカー等の動作は、ある程度関連動作をしたら、その関連動作を停止するようにする。なお、ステップＳ５０４で検出された類似形状が１つである場合には、その類似形状が抽出される。

ステップＳ５０６において、関連動作決定部１０２は、ステップＳ５０５で抽出された優先度が高い類似形状の動作態様に基づいて、エージェント機器２００の関連動作を決定する。例えば、類似形状の動作態様に基づいて、図５乃至図１１に示すような関連動作が決定される。

ステップＳ５２０において、制御部１０３は、ステップＳ５０６で決定された関連動作に基づいて、エージェント機器２００の関連動作を制御する関連動作処理を実行する。この関連動作処理については、図１３を参照して詳細に説明する。

図１３に示すように、ステップＳ５２１において、制御部１０３は、ステップＳ５０４で抽出された類似形状の動作態様は乗員により知覚可能となっているか否かを判定する。なお、知覚可能となっている状態は、例えば、類似形状が乗員の視界に残っている状態、類似形状が発する音が乗員に聞こえる状態等のように、類似形状の動作態様が乗員により認識可能な状態を意味する。また、知覚可能となっているか否かについては、画像取得部１３０及び音取得部１４０から取得された情報に基づいて判定可能である。抽出された類似形状の動作態様が乗員により知覚可能となっている場合には、ステップＳ５２２に進む。一方、抽出された類似形状の動作態様が乗員により知覚可能となっていない場合には、関連動作処理の動作を終了する。

ステップＳ５２２において、制御部１０３は、ステップＳ５０４で抽出された類似形状の動作態様は継続中であるか否かを判定する。抽出された類似形状の動作態様が継続中である場合には、ステップＳ５２３に進む。一方、抽出された類似形状の動作態様が継続中でない場合には、関連動作処理の動作を終了する。すなわち、抽出された類似形状の動作態様が終了していたり、停止したりしている場合には、その動作態様の関連動作をエージェント機器２００が実行しても、乗員の眼につきにくいと考えられる。そこで、抽出された類似形状の動作態様が終了していたり、停止したりしている場合には、その動作態様の関連動作をエージェント機器２００に実行させずに終了する。ただし、一瞬しか行われない動作態様の場合には、ステップＳ５２２の判定処理を省略してもよい。例えば、ＥＴＣのバーの動作は一瞬しか行われないが、優先度が高いため、ステップＳ５２２の判定処理を省略することができる。

ステップＳ５２３において、制御部１０３は、ステップＳ５０６で決定された関連動作をエージェント機器２００に実行させるための処理を実行する。すなわち、制御部１０３は、ステップＳ５０６で決定された関連動作を指示する制御信号をエージェント機器２００に出力する。

ステップＳ５２４において、制御部１０３は、エージェント機器２００に特定処理を指示するか否かを判定する。ここで、特定処理は、エージェント機器２００の制御処理の負荷が閾値を超える処理、予め設定されたタスクの処理等である。この判定基準は、ステップＳ５０１の判定と同じとしてもよい。なお、予め設定されたタスクの処理は、もっと目立つ動作の実行処理、重要なイベントの実行処理等である。エージェント機器２００に特定処理を指示する場合には、ステップＳ５２５に進む。一方、特定処理を指示しない場合には、ステップＳ５２６に進む。

ステップＳ５２５において、制御部１０３は、エージェント機器２００の関連動作を終了して特定処理をエージェント機器２００に実行させる。すなわち、制御部１０３は、エージェント機器２００の関連動作を終了して特定処理をエージェント機器２００に実行させる指示をする制御信号をエージェント機器２００に出力する。このように、エージェント機器２００の関連動作が開始された後に、エージェント機器２００の制御処理の負荷が閾値を超える特定処理が、エージェント機器２００に指示される場合には、そのエージェント機器２００の演算負荷を考慮して関連動作を終了する。

ステップＳ５２６において、制御部１０３は、ステップＳ５１３で開始した関連動作の継続時間が、その開始時から第１所定時間を経過したか否かを判定する。関連動作の開始から第１所定時間を経過した場合には、ステップＳ５２７に進む。一方、関連動作の開始から第１所定時間を経過していない場合には、ステップＳ５２８に進む。

ここで、第１所定時間は、関連動作をドライバＤ１が認識することが可能な程度の時間であり、実験データ等に基づいて適宜設定可能である。第１所定時間として、例えば２乃至３秒程度の値を設定可能である。なお、関連動作の対象となった物体の動作が一瞬で終わったような場合には、その動作の時間だけ関連動作を実行して終了としてもよい。これにより、例えば比較的長く動作が継続する物体の関連動作を実行する場合でも、ドライバＤ１が認識することが可能な程度の適切な時間だけ関連動作を実行することが可能となる。

ステップＳ５２７において、制御部１０３は、飽きる動作をエージェント機器２００に所定時間実行させる。なお、飽きる動作は、例えば、実行中の関連動作を中断することにより実現される。このように、ある程度の時間が経過した後に、実行中の関連動作を中断することにより、エージェント機器２００が関連動作に飽きたことを表現することができる。これにより、愛着がわくような行動をエージェント機器２００に実行させることが可能となる。なお、ステップＳ５２７の所定時間は、飽きたことを表現する関連動作をドライバＤ１が認識することが可能な程度の時間であり、実験データ等に基づいて適宜設定可能である。この所定時間として、例えば１乃至２秒程度の値を設定可能である。

ステップＳ５２８において、制御部１０３は、エージェント機器２００の関連動作を車両Ｃ１の乗員が見たか否かを判定する。具体的には、制御部１０３は、エージェント機器２００の画像取得部２２０により取得された画像情報を取得し、この画像情報に含まれるドライバＤ１又は他の乗員の顔における視線の方向を検出する。次に、制御部１０３は、その検出された視線の方向が、検出対象となった乗員の眼とエージェント機器２００とを結ぶ特定方向と一致（又は略一致）するか否かを判定する。そして、その検出された視線の方向が特定方向と一致（又は略一致）すると判定された場合には、制御部１０３は、エージェント機器２００の関連動作を車両Ｃ１の乗員が見たと判定する。一方、その検出された視線の方向が特定方向と一致（又は略一致）しないと判定された場合には、制御部１０３は、エージェント機器２００の関連動作を車両Ｃ１の乗員が見ていないと判定する。このように、エージェント機器２００の関連動作を車両Ｃ１の乗員が見たか否かが判定される。なお、顔の検出処理及び視線の検出処理については、公知の画像認識技術を用いることができる。エージェント機器２００の関連動作を車両Ｃ１の乗員が見た場合には、ステップＳ５２９に進む。一方、エージェント機器２００の関連動作を車両Ｃ１の乗員が見ていない場合には、ステップＳ５３０に進む。

ステップＳ５２９において、制御部１０３は、恥ずかしがる動作をエージェント機器２００に所定時間実行させる。この恥ずかしがる動作は、実行中の関連動作を中断して実行される。例えば、図３（Ｇ）に示すような動作を恥ずかしがる動作として実行することができる。これにより、愛着がわくような行動をエージェント機器２００に実行させることが可能となる。なお、ステップＳ５２９の所定時間は、恥ずかしがる動作をドライバＤ１が認識することが可能な程度の時間であり、実験データ等に基づいて適宜設定可能である。この所定時間として、例えば１乃至２秒程度の値を設定可能である。

なお、図１３に示す例では、エージェント機器２００の関連動作が車両Ｃ１の乗員に見られた場合には、恥ずかしがる動作をエージェント機器２００に実行させる例を示す。ただし、エージェント機器２００の関連動作が車両Ｃ１の乗員が見られた場合には、エージェント機器２００の関連動作の速度又は動作量を大きくしてもよい。これにより、エージェント機器２００の関連動作が車両Ｃ１の乗員に見られたため、恥ずかしさで大袈裟に動作することを表現することができる。また、エージェント機器２００の関連動作が車両Ｃ１の乗員に見られた場合には、その関連動作を車両Ｃ１の乗員に認識されたことになるため、その関連動作を終了して運転支援の制御に遷移してもよい。

ステップＳ５３０において、制御部１０３は、ステップＳ５２３で開始した関連動作の継続時間が、その開始時から第２所定時間を経過したか否かを判定する。関連動作の開始から第２所定時間を経過した場合には、ステップＳ５３１に進む。一方、関連動作の開始から第２所定時間を経過していない場合には、ステップＳ５２４に戻る。なお、第２所定時間は、関連動作をドライバＤ１が認識することが可能な程度の時間であり、実験データ等に基づいて適宜設定可能である。第２所定時間として、例えば第１所定時間と同様に２乃至３秒程度の値を設定可能である。

ステップＳ５３１において、制御部１０３は、エージェント機器２００の関連動作を終了して次回の関連動作時におけるエージェント機器２００の動作量を増加させる設定を行う。この設定は、関連動作決定部１０２に通知される。また、その設定がされた場合には、関連動作決定部１０２は、次回に関連動作を決定する際に、エージェント機器２００の動作量を基準値よりも増加させるように決定する。なお、この例では、次回の関連動作時における動作量を増加させる設定を行う例を示すが、ステップＳ５３１の処理においてエージェント機器２００に何らかの動作を実行させてもよい。例えば、図３（Ｉ）に示すような動作、すなわち泣いているような動作を実行することができる。これにより、エージェント機器２００の関連動作が車両Ｃ１の乗員に見られなかったため、悲しくて泣いていることを表現することができる。このような悲しくて泣いているエージェント機器２００を見た乗員には、エージェント機器２００に対する愛着が増加することが想定される。

なお、図１２、図１３で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。

ここで、例えば、その場に存在していて、かつ、状況を理解しているように見えないエージェント機器の場合には、ユーザは、そのエージェント機器を信頼し難く、知能が要求される処理を任せにくいと考えることも想定される。また、ユーザは、そのエージェント機器には自律性が感じられないと考えることも想定される。このため、そのエージェント機器に車両の乗員を支援する能力があっても、それを発揮できないおそれがある。

一方、その場に存在することと、状況を理解していることを示す振る舞いが目立ちすぎるエージェント機器の場合には、ユーザの注意を惹きつけ過ぎて、ユーザの邪魔となることも想定される。この場合には、ユーザは、そのエージェント機器を信頼し難いと感じることも想定される。

そこで、本実施形態では、その場に存在していて、かつ、状況を理解しているように見えるように、車両Ｃ１の内部又は外部に存在する物体の動作態様に関連させてエージェント機器２００に関連動作を実行させる。これにより、エージェント機器２００のユーザに対する信頼性を高めることができ、知能が要求される処理をエージェント機器２００に任せたいとユーザが考えることが想定される。また、エージェント機器２００に自律性が感じられ、エージェント機器２００に愛着がわくことも想定される。このため、エージェント機器２００に備えられている車両の乗員を支援する能力を十分に発揮することができる。

また、エージェント機器２００の関連動作は、目立ち過ぎない動作態様で実行されるため、ユーザの注意を惹きつけ過ぎることがなく、ユーザの邪魔となることも少ない。このため、ユーザは、エージェント機器２００の信頼性が高いと感じることも想定される。

このように、本実施形態では、エージェント機器２００が何かの真似をしたり、しなかったりすることで、自律性と応答性の両方を感じることができ、知能的なソーシャルプレゼンスを感じられ、複雑なタスクをエージェント機器２００に任せたいという印象をユーザに与えることができる。また、エージェント機器２００は、指示に従って反応するのみではなく、自律性があるため、知能が要求される処理を任せたいという印象をユーザに与えることができる。

また、本実施形態では、ユーザからの指示を受けずに、車両Ｃ１の周囲（例えば、車両の内部、乗員の状態、車両Ｃ１から見える景色）の特徴的な変化を、エージェント機器２００が真似する。このため、ユーザは、エージェント機器２００が自律性及び応答性を有する印象を持つことができる。

なお、例えば、適切なタイミングで同調行為をすると、知性を持つ存在と感じられやすくなると考えられる。また、話を聞いている感じがすることが、知性を持つ存在と感じられやすくなる傾向がある。例えば、犬、赤ちゃんが真似する行動を見た場合には、自律性を有し、知性を持つ存在と感じやすくなり、信頼感を高めることが多い。同様に、エージェント機器２００が真似する行動を見た場合には、自律性を有し、知性を持つ存在と感じやすくなり、信頼感が高まることになる。

また、適切なタイミングで同調行為をすると、ミラーリング効果を高めることができる。同様に、エージェント機器２００が適切なタイミングで同調行為をすることにより、ミラーリング効果を高めることができる。なお、ミラーリング効果は、同調効果又は姿勢反響とも称される。

なお、本実施形態では、制御装置１００において機器制御処理を実行する例を示したが、その機器制御処理の全部または一部を他の機器において実行してもよい。例えば、エージェント機器２００において機器制御処理の全部又は一部を実行してもよい。この場合には、その機器制御処理の一部を実行する各機器により情報処理システムが構成される。また、本実施形態では、関連動作情報ＤＢ１５０を制御装置１００において管理する例を示す。ただし、関連動作情報ＤＢ１５０を、制御装置１００以外の１または複数の他の機器により管理し、他の機器により管理されている関連動作情報ＤＢ１５０の情報を制御装置１００が取得して機器制御処理に用いてもよい。

また、制御装置１００の機能を実行可能な情報処理システムの一部（または全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。

なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、制御装置に新機能を追加するためのアップデート処理により、そのプログラムを制御装置の記憶装置に記憶させることができる。これにより、そのアップデートされた制御装置に本実施形態で示した各処理を実施させることが可能となる。

［本実施形態の構成及び効果］
本実施形態に係る制御方法は、車両Ｃ１の乗員の運転を支援するエージェント機器の制御方法である。この制御方法は、車両Ｃ１の内部又は外部に存在する物体の動作態様を検出する検出処理（ステップＳ５０３乃至Ｓ５０５）と、物体の動作態様が検出された場合には、運転の支援とは異なる態様で、物体の動作態様に関連する関連動作をエージェント機器２００に実行させる制御処理（ステップＳ５０６、Ｓ５２０）とを含む。

この構成によれば、運転の支援とは異なる態様で、物体の動作態様に関連する関連動作をエージェント機器２００に実行させることにより、自律性と応答性の両方を車両Ｃ１の乗員に感じさせることができる。これにより、車両Ｃ１の乗員は、エージェント機器２００に対する信頼性を高め、エージェント機器２００に対して愛着を持つことができる。このため、エージェント機器２００を用いて運転支援を実行する場合に、その運転支援を乗員が適切に受け入れ、その運転支援の実効性を高めることができる。

また、本実施形態に係る制御方法において、検出処理（ステップＳ５０３、Ｓ５０４）では、車両Ｃ１の内部又は外部を撮像した撮像画像に基づいて、車両Ｃ１の内部又は外部に存在する物体のうちから、エージェント機器２００の外観のうちの少なくとも一部に類似する形状である類似形状を抽出し、その抽出された類似形状の動きを物体の動作態様として検出し、制御処理（ステップＳ５０６、Ｓ５２０）では、類似形状の動きを真似する真似動作を、関連動作としてエージェント機器２００に実行させる。

この構成によれば、車両Ｃ１の内部又は外部に存在する類似形状の動きを真似する真似動作をエージェント機器２００に実行させることにより、その真似動作に車両Ｃ１の乗員が気付き易くなる。これにより、車両Ｃ１の乗員は、エージェント機器２００に対する信頼性をさらに高め、エージェント機器２００に対してさらに愛着を持つことができるため、エージェント機器２００の運転支援を適切に受け入れ、その運転支援の実効性を高めることができる。

また、本実施形態に係る制御方法において、検出処理（ステップＳ５０５）では、複数の類似形状が抽出された場合には、その抽出された複数の類似形状のうちから予め設定されている優先度に基づいて１の類似形状を選択し、制御処理（ステップＳ５０６、Ｓ５２０）では、その選択された類似形状の動きを真似する真似動作をエージェント機器２００に実行させる。

この構成によれば、複数の類似形状が抽出された場合には、予め設定されている優先度に基づいて１の類似形状を選択し、この類似形状の動きを真似する真似動作をエージェント機器２００に実行させる。これにより、例えば、優先度が高い真似動作に車両Ｃ１の乗員が気付き易くなる。

また、本実施形態に係る制御方法において、エージェント機器２００は、棒状体の第１可動部２０２、第２可動部２０３（可動部の一例）を備え、類似形状を、車両Ｃ１に搭載されている棒状部材（例えば、ワイパーＷ１、Ｗ２（図２参照）、シフトレバー、ワイパーレバー、方向指示器レバー）と、車両Ｃ１の外部に存在する棒状部材（例えば、バーＢ１（図６参照）、誘導者Ｕ１の腕（図７参照））と、車両Ｃ１に乗車している乗員の腕とのうちの少なくとも１つとし、制御処理（ステップＳ５０６、Ｓ５２０）では、その類似形状の動きを第１可動部２０２、第２可動部２０３に真似させる真似動作を実行させる。

この構成によれば、具体的な類似形状を予め設定しておくことにより、類似形状の抽出処理を迅速に行うことが可能となる。

また、本実施形態に係る制御方法において、制御処理（ステップＳ５２６、Ｓ５２７）では、関連動作を開始してから第１所定時間（所定時間の一例）が経過するとその関連動作を終了させる。例えば、実行中の関連動作を中断して飽きる動作を表現することができる。

この構成によれば、ある程度の時間が経過した後に、実行中の関連動作を終了することにより、エージェント機器２００が関連動作に飽きたことを表現することができる。これにより、愛着がわくような行動をエージェント機器２００に実行させることが可能となる。

また、本実施形態に係る制御方法において、制御処理（ステップＳ５２４、Ｓ５２５）では、関連動作を開始した後に、予め設定されたエージェント機器２００に対する運転の支援の制御指示（例えば、特定処理の指示）を検出すると、その関連動作を終了させる。

この構成によれば、エージェント機器２００の関連動作が開始された後に、エージェント機器２００の制御処理の負荷が閾値を超えるような運転の支援の制御指示がされた場合には、そのエージェント機器２００の演算負荷を考慮して関連動作を終了することができる。これにより、エージェント機器２００による運転の支援をより適切に実行することが可能となる。

また、本実施形態では、エージェント機器２００は、顔部（例えば、眼部Ｅ１、Ｅ２を含む部分）を備え、車両Ｃ１のダッシュボード２に設置される。また、本実施形態に係る制御方法において、車両Ｃ１の乗員の視線を検出し、車両Ｃ１の乗員がエージェント機器２００を見たか否かを判定する判定処理（ステップＳ５２８）を含み、制御処理（ステップＳ５２９）では、関連動作を開始した後に、車両Ｃ１の乗員がエージェント機器２００を見たことが検出された場合には、その関連動作を終了させる。

この構成によれば、エージェント機器２００の関連動作が車両Ｃ１の乗員により見られた場合に、その関連動作を終了してエージェント機器２００による運転の支援を実行することが可能となる。これにより、エージェント機器２００に対する信頼性を高め、エージェント機器２００に愛着がわくとともに、エージェント機器２００による運転の支援をより適切に実行することが可能となる。

また、本実施形態に係る制御方法において、制御処理（ステップＳ５２９）では、関連動作を開始した後に、車両Ｃ１の乗員がエージェント機器２００を見たことが検出された場合には、その関連動作を終了して顔部において恥ずかしさを表現する動作をエージェント機器２００に実行させる。例えば、図３（Ｇ）に示すような動作を、恥ずかしさを表現する動作として実行することができる。

この構成によれば、愛着がわくような行動をエージェント機器２００に実行させることが可能となり、エージェント機器２００に対する愛着の度合いをさらに高めることができる。

また、本実施形態に係る制御方法において、制御処理（ステップＳ５３０、Ｓ５３１）では、関連動作を開始した後に、車両Ｃ１の乗員がエージェント機器２００を見たことが検出された場合には、次回の関連動作を予め設定されている動作量（制御量の一例）よりも大きい動作量とする。

この構成によれば、エージェント機器２００の関連動作が車両Ｃ１の乗員により見られていない場合に、次回の関連動作の動作量を大きくして、関連動作が車両Ｃ１の乗員に見られ易くすることができる。

また、本実施形態に係る制御方法において、制御処理（ステップＳ５０２、Ｓ５２０）では、エージェント機器２００により実行されている運転の支援の演算量の負荷が基準よりも低い場合に、関連動作をエージェント機器２００に実行させる。

この構成によれば、エージェント機器２００による運転の支援を優先的に実行することができ、エージェント機器２００の演算処理を軽減することができる。

また、本実施形態に係る制御方法において、車両Ｃ１の運転者の運転状況に基づいて、車両Ｃ１の運転者の負荷を検出する負荷検出処理（ステップＳ５０１）をさらに含み、制御処理（ステップＳ５２０）では、車両Ｃ１の運転者の負荷が、予め設定されている基準よりも低い場合に、関連動作をエージェント機器２００に実行させる。

この構成によれば、車両Ｃ１の運転者の負荷が低い場合にのみ、関連動作を実行するため、関連動作が車両Ｃ１の乗員に見られ易くすることができる。

また、制御装置１００は、車両Ｃ１の乗員の運転を支援するエージェント機器の制御装置である。制御装置１００は、車両Ｃ１の内部又は外部に存在する物体の動作態様を検出する検出部１０１と、物体の動作態様が検出された場合には、運転の支援とは異なる態様で、物体の動作態様に関連する関連動作をエージェント機器２００に実行させる制御部１０３とを備える。

この構成によれば、運転の支援とは異なる態様で、物体の動作態様に関連する関連動作をエージェント機器２００に実行させることにより、自律性と応答性の両方を車両Ｃ１の乗員に感じさせることができる。これにより、車両Ｃ１の乗員は、エージェント機器２００に対する信頼性を高め、エージェント機器２００に対して愛着を持つことができる。このため、エージェント機器２００を用いて運転支援を実行する場合に、その運転支援を乗員が適切に受け入れ、その運転支援の実効性を高めることができる。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

１０ 情報処理システム、２０ ネットワーク、１００ 制御装置、１０１ 検出部、１０２ 関連動作決定部、１０３、２３０ 制御部、１０４、２４０ 記憶部、１０５ 通信部、１１０ 車両情報取得部、１２０ センサ類、１３０、２２０ 画像取得部、１４０、２１０ 音取得部、２５０ 音出力部、２６０ 表示部、２７０ 駆動部

Claims (16)

1. 車両の乗員の運転を支援し、棒状体の可動部を備えるエージェント機器の制御方法であって、
   前記車両の内部又は外部に存在する物体の動作態様を検出する検出処理と、
   前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御処理と、を含み、
   前記検出処理では、前記車両の内部又は外部を撮像した撮像画像に基づいて、前記車両の内部又は外部に存在する前記物体のうちから、前記エージェント機器の外観のうちの少なくとも一部に類似する形状であって、前記車両に搭載されている棒状部材と、前記車両の外部に存在する棒状部材と、前記車両に乗車している乗員の腕と、のうちの少なくとも１つである類似形状を抽出し、当該抽出された類似形状の動きを前記物体の動作態様として検出し、
   前記制御処理では、前記類似形状の動きを前記可動部に真似させる真似動作を、前記関連動作として前記エージェント機器に実行させる、
   制御方法。
2. 車両の乗員の運転を支援するエージェント機器の制御方法であって、
   前記車両の内部又は外部に存在する物体の動作態様を検出する検出処理と、
   前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御処理と、を含み、
   前記制御処理では、前記関連動作を開始した後に、前記運転を支援するための処理であって予め設定された特定処理を前記エージェント機器に実行させるための制御指示を検出すると、当該関連動作を終了させる、
   制御方法。
3. 車両の乗員の運転を支援し、前記車両のダッシュボードに設置されるエージェント機器の制御方法であって、
   前記車両の内部又は外部に存在する物体の動作態様を検出する検出処理と、
   前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御処理と、
   前記車両の乗員の視線を検出し、前記車両の乗員が前記エージェント機器を見たか否かを判定する判定処理と、を含み、
   前記制御処理では、前記関連動作を開始した後に、前記車両の乗員が前記エージェント機器を見たことが検出された場合には、当該関連動作を終了させる、
   制御方法。
4. 車両の乗員の運転を支援し、顔部を備え、前記車両のダッシュボードに設置されるエージェント機器の制御方法であって、
   前記車両の内部又は外部に存在する物体の動作態様を検出する検出処理と、
   前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御処理と、
   前記車両の乗員の視線を検出し、前記車両の乗員が前記エージェント機器を見たか否かを判定する判定処理と、を含み、
   前記制御処理では、前記関連動作を開始した後に、前記車両の乗員が前記エージェント機器を見たことが検出された場合には、当該関連動作を終了して前記顔部において恥ずかしさを表現する動作を前記エージェント機器に実行させる、
   制御方法。
5. 車両の乗員の運転を支援し、前記車両のダッシュボードに設置されるエージェント機器の制御方法であって、
   前記車両の内部又は外部に存在する物体の動作態様を検出する検出処理と、
   前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御処理と、
   前記車両の乗員の視線を検出し、前記車両の乗員が前記エージェント機器を見ているか否かを判定する判定処理と、を含み、
   前記制御処理では、前記関連動作を開始した後に、前記車両の乗員が前記エージェント機器を見たことが検出されない場合には、次回の前記関連動作を予め設定されている制御量よりも大きい制御量とする、
   制御方法。
6. 車両の乗員の運転を支援するエージェント機器の制御方法であって、
   前記車両の内部又は外部に存在する物体の動作態様を検出する検出処理と、
   前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御処理と、を含み、
   前記制御処理では、前記運転を支援するために前記エージェント機器により実行される処理の演算量が基準よりも低い場合に、前記関連動作を前記エージェント機器に実行させる、
   制御方法。
7. 車両の乗員の運転を支援するエージェント機器の制御方法であって、
   前記車両の内部又は外部に存在する物体の動作態様を検出する検出処理と、
   前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御処理と、
   前記車両の運転者の運転状況に基づいて、前記車両の運転者の負荷を検出する負荷検出処理と、を含み、
   前記制御処理では、前記車両の運転者の負荷が、予め設定されている基準よりも低い場合に、前記関連動作を前記エージェント機器に実行させる、
   制御方法。
8. 請求項１に記載の制御方法であって、
   前記検出処理では、複数の前記類似形状が抽出された場合には、当該抽出された複数の前記類似形状のうちから予め設定されている優先度に基づいて１の類似形状を選択し、
   前記制御処理では、選択された前記類似形状の動きを真似する前記真似動作を前記エージェント機器に実行させる、
   制御方法。
9. 請求項１から８の何れかに記載の制御方法であって、
   前記制御処理では、前記関連動作を開始してから所定時間が経過すると当該関連動作を終了させる、
   制御方法。
10. 車両の乗員の運転を支援し、棒状体の可動部を備えるエージェント機器の制御装置であって、
    前記車両の内部又は外部に存在する物体の動作態様を検出する検出部と、
    前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御部と、を備え、
    前記検出部は、前記車両の内部又は外部を撮像した撮像画像に基づいて、前記車両の内部又は外部に存在する前記物体のうちから、前記エージェント機器の外観のうちの少なくとも一部に類似する形状であって、前記車両に搭載されている棒状部材と、前記車両の外部に存在する棒状部材と、前記車両に乗車している乗員の腕と、のうちの少なくとも１つである類似形状を抽出し、当該抽出された類似形状の動きを前記物体の動作態様として検出し、
    前記制御部は、前記類似形状の動きを前記可動部に真似させる真似動作を、前記関連動作として前記エージェント機器に実行させる、
    制御装置。
11. 車両の乗員の運転を支援するエージェント機器の制御装置であって、
    前記車両の内部又は外部に存在する物体の動作態様を検出する検出部と、
    前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御部と、を備え、
    前記制御部は、前記関連動作を開始した後に、前記運転を支援するための処理であって予め設定された特定処理を前記エージェント機器に実行させるための制御指示を検出すると、当該関連動作を終了させる、
    制御装置。
12. 車両の乗員の運転を支援し、前記車両のダッシュボードに設置されるエージェント機器の制御装置であって、
    前記車両の内部又は外部に存在する物体の動作態様を検出する検出部と、
    前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御部と、
    前記車両の乗員の視線を検出し、前記車両の乗員が前記エージェント機器を見たか否かを判定する判定部と、を備え、
    前記制御部は、前記関連動作を開始した後に、前記車両の乗員が前記エージェント機器を見たことが検出された場合には、当該関連動作を終了させる、
    制御装置。
13. 車両の乗員の運転を支援し、顔部を備え、前記車両のダッシュボードに設置されるエージェント機器の制御装置であって、
    前記車両の内部又は外部に存在する物体の動作態様を検出する検出部と、
    前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御部と、
    前記車両の乗員の視線を検出し、前記車両の乗員が前記エージェント機器を見たか否かを判定する判定部と、を備え、
    前記制御部は、前記関連動作を開始した後に、前記車両の乗員が前記エージェント機器を見たことが検出された場合には、当該関連動作を終了して前記顔部において恥ずかしさを表現する動作を前記エージェント機器に実行させる、
    制御装置。
14. 車両の乗員の運転を支援し、前記車両のダッシュボードに設置されるエージェント機器の制御装置であって、
    前記車両の内部又は外部に存在する物体の動作態様を検出する検出部と、
    前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御部と、
    前記車両の乗員の視線を検出し、前記車両の乗員が前記エージェント機器を見ているか否かを判定する判定部と、を備え、
    前記制御部は、前記関連動作を開始した後に、前記車両の乗員が前記エージェント機器を見たことが検出されない場合には、次回の前記関連動作を予め設定されている制御量よりも大きい制御量とする、
    制御装置。
15. 車両の乗員の運転を支援するエージェント機器の制御装置であって、
    前記車両の内部又は外部に存在する物体の動作態様を検出する検出部と、
    前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御部と、を備え、
    前記制御部は、前記運転を支援するために前記エージェント機器により実行される処理の演算量が基準よりも低い場合に、前記関連動作を前記エージェント機器に実行させる、
    制御装置。
16. 車両の乗員の運転を支援するエージェント機器の制御装置であって、
    前記車両の内部又は外部に存在する物体の動作態様を検出する検出部と、
    前記物体の動作態様が検出された場合には、前記物体の動作態様に関連する関連動作を前記エージェント機器に実行させる制御部と、
    前記車両の運転者の運転状況に基づいて、前記車両の運転者の負荷を検出する負荷検出部と、を備え、
    前記制御部は、前記車両の運転者の負荷が、予め設定されている基準よりも低い場合に、前記関連動作を前記エージェント機器に実行させる、
    制御装置。