JP6814089B2 - オブジェクト制御システムおよびオブジェクト制御方法 - Google Patents

Description

本発明は、実際のオブジェクトまたは仮想的なオブジェクトであるオブジェクトの行動を制御する技術に関する。

他人と良好な関係を構築するために、「向かい合う関係」ではなく、共に同じ物を視る「共視体験」が有効であると言われている。同じ場所で同じ物を視て互いに共感することで、他人との距離は縮まり親近感が高まることが知られている。

本発明者はロボットをユーザの共視体験者として活用する可能性に注目した。たとえばユーザによるゲームプレイ中、ロボットがユーザの横でゲームプレイを観戦し、ユーザと一緒に喜んだり悲しんだりすることで、ユーザのロボットに対する親近感が高まり、またゲームをプレイすることへのモチベーションが向上することが期待される。またゲームに限らず、映画やテレビ番組等に関しても、ユーザはロボットと一緒に視聴することで、一人で視聴する場合と比較して、コンテンツをより楽しめることも期待される。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ユーザがロボットなどのオブジェクトと共視体験を得られる技術を提供することにある。

上記課題を解決するために、本発明のある態様は、オブジェクトを制御するオブジェクト制御システムであって、ユーザの感情を推定する感情推定部と、ユーザの感情を含むユーザの内部状態を記憶するユーザ内部状態記憶部と、オブジェクトの感情を含むオブジェクトの内部状態を記憶するオブジェクト内部状態記憶部と、推定されたユーザの感情にもとづいて、オブジェクトの内部状態およびユーザの内部状態を管理する内部状態管理部と、オブジェクトの内部状態にもとづいて、オブジェクトの行動を決定する行動管理部と、行動管理部により決定された行動をオブジェクトに実施させる出力処理部とを備える。

本発明の別の態様は、オブジェクト制御方法である。この方法は、ユーザの感情を推定するステップと、ユーザの感情を含むユーザの内部状態を管理するステップと、オブジェクトの感情を含むオブジェクトの内部状態を管理するステップと、推定されたユーザの感情にもとづいて、オブジェクトの内部状態およびユーザの内部状態を更新するステップと、オブジェクトの内部状態にもとづいて、オブジェクトの行動を決定するステップと、決定された行動をオブジェクトに実施させるステップとを有する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ユーザがロボットなどのオブジェクトと共視体験を得られる技術を提供できる。

実際のオブジェクトの外観例を示す図である。 オブジェクト制御システムの概要を説明するための図である。 ロボットの入出力系統を示す図である。 オブジェクトを制御するオブジェクト制御システムの構成を示す図である。 ＨＭＤの外観形状の例を示す図である。

実施例のオブジェクト制御システムは、実際のオブジェクトまたは仮想的なオブジェクトとの共視体験を実現する仕組みを提供する。実際のオブジェクトは人型やペット型などのロボットであってよく、少なくとも音声を出力可能とし、また関節部分にモータを有して腕や脚、首などを動かせることが好ましい。ユーザは傍らにロボットを置いて一緒にコンテンツを視聴し、ロボットは、推定されるユーザの感情にもとづいて、ユーザに共感する反応を出力したり、逆にユーザに反発する反応を出力して、ユーザとのコミュニケーションを図る。

仮想的なオブジェクトは３Ｄモデルにより構成される人やペットなどのキャラクタであってよく、コンピュータにより生成される仮想空間に存在する。実施例ではユーザがヘッドマウントディスプレイ（ＨＭＤ）を装着したときに構築される仮想空間において、ユーザの正面にコンテンツが再生され、ユーザが横を向くと仮想的なキャラクタが一緒にコンテンツを視聴している様子を見ることのできる仕組みを提案する。仮想キャラクタも、ロボットと同様に、ユーザに共感する反応を出力したり、逆にユーザに反発する反応を出力することで、ユーザとのコミュニケーションを図る。

図１は、実際のオブジェクトの外観例を示す。このオブジェクトは人型のロボット２０であって、音声を出力するスピーカ、外界の音声を入力するマイク、各関節を動かすモータやモータ間を連結するリンクから構成される駆動機構等を備える。ロボット２０は、ユーザとの間で会話する対話機能を有することが好ましく、さらに自律移動機能を有することが好ましい。

図２は、オブジェクト制御システム１の概要を説明するための図である。図２には、ユーザがソファに腰掛けてゲームをプレイし、ロボット２０が同じソファに座って、ユーザのゲームプレイを観戦している様子を示している。ロボット２０は、ソファに自分で腰掛けられるような高度な自律移動機能を有することが理想的であるが、そのような機能を有していなければ、ユーザがロボット２０をソファに運んで、自分の横に座らせる。ロボット２０は、ゲームに仮想的なプレイヤとして参加し、たとえばユーザがプレイしている野球ゲームの相手チームを仮想的に操作してもよい。

情報処理装置１０は、ユーザにより入力装置１２に入力された操作情報を受け付けて、ゲームなどのアプリケーションを実行する。なお情報処理装置１０は、ＤＶＤなどのコンテンツメディアを再生したり、またネットワークに接続して、コンテンツサーバからコンテンツをストリーミング再生できてもよい。カメラ１４はステレオカメラであって、テレビである表示装置１１の前方に座っているユーザを所定の周期で撮影し、撮影画像を情報処理装置１０に供給する。

オブジェクト制御システム１は、ユーザの反応から感情を推定することで、実オブジェクトであるロボット２０の行動を制御する。ユーザのゲームプレイを応援するロボット２０は、基本的には、ユーザと一緒に喜んでユーザへの共感を表現し、ユーザに共視体験を与えるように行動を制御される。なお実施例のオブジェクト制御システム１は、ロボット２０およびユーザの内部状態を管理し、たとえばユーザが喜んでいても、ロボット２０のユーザに対する好感度が低ければ、一緒に喜ばない（共感しない）ように行動を制御する。なおロボット２０がユーザの対戦相手としてゲームに仮想的に参加する場合、ユーザが喜んでいれば、逆に悲しむように行動を制御されてよい。ロボット２０は、基本的には感情を示す発話内容を音声出力することで感情表現するが、体を動かすことで感情表現してもよい。

図３は、ロボット２０の入出力系統を示す。制御部３０は、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。マイク２２は周囲の音声を集音して音声信号に変換し、カメラ２４は周囲を撮影して、撮影画像を取得する。記憶部２６は、制御部３０が処理するデータや命令などを一時的に記憶する。通信部３２はアンテナを介して、制御部３０から出力されるデータを無線通信により外部の情報処理装置１０に送信する。また通信部３２はアンテナを介して、情報処理装置１０から音声データおよび駆動データを無線通信により受信し、制御部３０に出力する。

制御部３０は、音声データを受け取ると、スピーカ３６に供給して音声出力させ、駆動データを受け取ると、駆動機構３４のモータを回転させる。駆動機構３４は、ロボット２０の可動部である関節部分に組み込まれたモータおよびモータ間を連結するリンク機構を含み、モータが駆動されることで、ロボット２０の腕や脚、首などが動かされる。

図４は、オブジェクトを制御するオブジェクト制御システムの構成を示す。オブジェクト制御システム１は、感情推定部１００、内部状態管理部１１０、行動管理部１２０、内部状態記憶部１３０および出力処理部１４０を備える。内部状態記憶部１３０は、オブジェクト内部状態記憶部１３２およびユーザ内部状態記憶部１３４を有する。感情推定部１００は、第１感情推定部１０２、第２感情推定部１０４および第３感情推定部１０６を有して、３系統で感情を推定する処理を実施する。

またオブジェクト制御システム１は、ユーザを撮影するカメラ１４、ユーザの生体情報を検出する生体センサ１５、ユーザの動きを検出するモーションセンサ１６、ユーザ周囲の音声信号を取得するマイク１７、イベントの発生を検知するイベント検知部４０を有する。

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

図４において、感情推定部１００、内部状態管理部１１０、行動管理部１２０、内部状態記憶部１３０および出力処理部１４０の各構成は、情報処理装置１０に設けられて、情報処理装置１０が、ロボット２０の行動を制御してもよい。また感情推定部１００、内部状態管理部１１０、行動管理部１２０、内部状態記憶部１３０および出力処理部１４０の各構成は、ロボット２０に設けられて、ロボット２０が、自身の行動を自律的に制御してもよい。この場合、ロボット２０は自律型ロボットとして構成され、単独で行動できる。また感情推定部１００、内部状態管理部１１０、行動管理部１２０、内部状態記憶部１３０および出力処理部１４０の一部が、情報処理装置１０に設けられ、残りがロボット２０に設けられてもよい。この場合、情報処理装置１０とロボット２０とが協働して、ロボット２０の行動を制御するために動作する。

このように図４に示すオブジェクト制御システム１は、様々な態様で実現されてよい。上記各構成が情報処理装置１０に設けられる場合、ロボット２０のマイク２２が取得した音声信号およびカメラ２４が撮影した撮影画像は、情報処理装置１０における処理で利用するために情報処理装置１０に送信されてよい。また上記各構成がロボット２０に設けられる場合、情報処理装置１０に接続するマイク１７が取得した音声信号およびカメラ１４が撮影した撮影画像は、ロボット２０における処理で利用するためにロボット２０に送信されてよい。また図示する以外のマイクやカメラにより音声信号や撮影画像が取得されて、情報処理装置１０またはロボット２０に提供されてもよい。以下では、説明の便宜上、代表してカメラ１４がユーザの様子を撮影し、マイク１７がユーザの発声を集音して音声信号に変換する。

感情推定部１００は、各種センサの出力や外部サーバからのデータをもとに、ユーザの感情を推定する。感情推定部１００は、喜び、怒り、愛情、驚きなどの感情指標のそれぞれについて評価値を導出することで、ユーザの感情を推定する。なお実施例ではユーザの感情を単純なモデルで表現し、感情推定部１００は、ユーザの感情を、良い感情（ポジティブな感情）、悪い感情（ネガティブな感情）、良くも悪くもない感情（ニュートラルな感情）の３つの評価値の中から推定する。なお実際には、「ポジティブ」、「ネガティブ」のそれぞれが複数段階に細分化されて、きめ細かな評価値を導出可能としてもよい。

第１感情推定部１０２は、各種センサの出力、すなわちイメージセンサであるカメラ１４、生体センサ１５、モーションセンサ１６およびマイク１７の出力をもとに、パラ言語情報や非言語情報にもとづいた非言語行動理解を行い、ユーザの感情を推定する。第１感情推定部１０２は、第２感情推定部１０４と比較すると、発話内容にもとづかずにユーザの感情を推定することを特徴とする。

第１感情推定部１０２は、カメラ１４の撮影画像から、ユーザの顔の表情、視線方向、手振りなどの変化を抽出し、ユーザの感情を推定する。生体センサ１５はユーザに取り付けられて、ユーザの心拍数や発汗状態などの生体情報を検出し、第１感情推定部１０２は、生体情報からユーザの心理状態を導出して、ユーザの感情を推定する。モーションセンサ１６はユーザに取り付けられて、ユーザの動きを検出し、第１感情推定部１０２は、ユーザの動きからユーザの感情を推定する。なおモーションセンサ１６の役割は、カメラ１４の撮像画像を解析することで代用することも可能である。また第１感情推定部１０２は、マイク１７の音声信号からパラ言語情報の特徴量を用いて、ユーザの感情を推定する。パラ言語情報は、話速、音量、声の抑揚、イントネーション、言葉遣いなどの情報を含む。第１感情推定部１０２は、各種センサの出力のそれぞれから推定したユーザの感情を評価指標ごとに一つの評価値としてまとめて、内部状態管理部１１０に供給する。

第２感情推定部１０４は、ユーザの発話内容をもとにユーザの感情を推定し、具体的にはマイク１７の出力からユーザの発話内容を音声解析する自然言語理解を行って、ユーザの感情を推定する。自然言語理解の手法は、既知のアルゴリズムを利用してよい。ユーザが野球ゲームのプレイ中に、「よっしゃ。ホームラン打ったぜ。」と発話すれば、第２感情推定部１０４はユーザの「喜び」指標の感情を「ポジティブ」と推定し、一方でユーザが「ホームランを打たれてしまった。」と発話すれば、第２感情推定部１０４はユーザの「喜び」指標の感情を「ネガティブ」と推定してよい。第２感情推定部１０４は、推定したユーザの感情の評価値を、内部状態管理部１１０に供給する。

イベント検知部４０は、オブジェクト制御システム１におけるイベントの発生を検知し、第３感情推定部１０６に、発生したイベントの内容を通知する。ゲームのイベントに関して言えば、エミュレータ上でゲームプログラムを実行することで、エミュレータがホームランなどのイベントを検知できるため、イベント検知部４０は、エミュレータからイベントを通知されてよい。なおイベント検知部４０は、ホームラン時に再生される演出データへのアクセスを参照してホームランイベントを検知したり、また実際に表示装置１１に画面表示される演出から、ホームランイベントを検知してもよい。第３感情推定部１０６は、通知されたイベント内容から、ユーザの感情を推定して、評価値を内部状態管理部１１０に供給する。

なおイベント検知部４０は、ビッグデータを蓄積する外部サーバから、イベント発生タイミングを提供されてもよい。たとえば情報処理装置１０が映画コンテンツを再生する場合、イベント検知部４０は、その映画コンテンツの注目シーンの時間情報と、その注目シーンで推定されるユーザ感情との対応関係テーブルを事前に外部サーバから取得して、第３感情推定部１０６に提供しておく。イベント検知部４０は、注目シーンの時間が到来すると、時間情報を第３感情推定部１０６に通知し、第３感情推定部１０６は、対応関係テーブルを参照して時間情報に対応付けられたユーザ感情を取得し、注目シーンにおけるユーザの感情を推定する。このように第３感情推定部１０６は、外部サーバからの情報をもとにユーザの感情を推定してもよい。

内部状態記憶部１３０において、オブジェクト内部状態記憶部１３２は、オブジェクトであるロボット２０の内部状態を記憶し、ユーザ内部状態記憶部１３４は、ユーザの内部状態を記憶する。ロボット２０の内部状態は、少なくともロボット２０のユーザに対する感情および好感度によって定義され、ユーザの内部状態は、ユーザの感情と、ユーザのロボット２０に対する好感度によって定義される。好感度は、現在に至る直近の複数の感情の評価値をもとに生成されるものであって、ユーザとロボット２０との長期的な関係性により評価される。ロボット２０の内部状態は、ロボット２０に対するユーザの言動から導出される。

内部状態管理部１１０は、感情推定部１００により推定されたユーザの感情にもとづいて、ロボット２０の内部状態およびユーザの内部状態を管理する。以下、最初にユーザの内部状態について説明し、その後、ロボット２０の内部状態について説明する。
ユーザの「感情」は、感情推定部１００により推定される感情によって設定される。内部状態管理部１１０は、感情推定部１００により推定される感情にもとづいて、ユーザ内部状態記憶部１３４における評価値を更新する。

内部状態管理部１１０は、ユーザの感情指標について「ポジティブ」の評価値が感情推定部１００から供給されると、その感情指標の評価値を「ポジティブ」に更新し、「ネガティブ」の評価値が供給されると、その感情指標の評価値を「ネガティブ」に更新する。ここで「更新」とは、内部状態記憶部１３０における元の評価値を上書きする処理を意味し、元の評価値が「ポジティブ」であり、上書きする評価値が「ポジティブ」であって評価値に変化がない場合であっても、評価値の更新と呼ぶ。

なお感情推定部１００は、第１感情推定部１０２、第２感情推定部１０４および第３感情推定部１０６の３つの系統でユーザの感情を推定するため、各系統で推定されたユーザの感情の評価値が、互いに矛盾することが生じうる。以下、ユーザが野球ゲームでホームランを打ったときの「喜び」指標に関する評価値更新処理について説明する。

第３感情推定部１０６は、ホームランイベントに関して、ユーザがホームランを打った場合には「ポジティブ」、ユーザがホームランを打たれた場合には「ネガティブ」と感情推定するための評価値テーブルを保持している。第３感情推定部１０６は、イベント検知部４０からユーザがホームランを打ったイベント通知を受けると、評価値テーブルを参照して、「喜び」指標の評価値を「ポジティブ」と推定する。

通常、ユーザはホームランを打てば、体を動かしてはしゃいだり、「よっしゃ。ホームラン打ったぜ。」と叫んだりする喜びの感情表現を行う。このとき第１感情推定部１０２および第２感情推定部１０４ともに、「喜び」指標の評価値を「ポジティブ」と推定する。したがって内部状態管理部１１０に対して感情推定部１００から３系統で供給される「喜び」指標の評価値は、すべて「ポジティブ」であり、内部状態管理部１１０は、ユーザ内部状態記憶部１３４の「喜び」指標の評価値を「ポジティブ」に更新する。

しかしながら、ユーザがホームラン以外を狙っていた場合、ユーザは必ずしも喜びの言動を示さないことがある。たとえば、あるバッターの打席で、サイクル安打（１人の打者が１試合で単打、二塁打、三塁打、ホームランのそれぞれを１本以上打つこと）を成立させるために三塁打を狙っていると、ユーザはホームランを打っても喜べない。ゲームでは勝敗以外に、サイクル安打のような特別なプレーを表彰する仕組みが用意されていることも多く、表彰狙いのユーザにとっては、ホームランよりも三塁打の方が嬉しいケースもある。そこでホームランを打ったユーザが元気なく「しまった。ホームランかよ。」と発話すると、第１感情推定部１０２および第２感情推定部１０４ともに、「喜び」指標の評価値を「ネガティブ」と推定する。

そのため内部状態管理部１１０は、第１感情推定部１０２および第２感情推定部１０４から「ネガティブ」の評価値を、第３感情推定部１０６から「ポジティブ」の評価値を供給されることになる。内部状態管理部１１０は、３系統から供給される評価値のうち、半数以上で一致する評価値を採用してもよい。つまり内部状態管理部１１０は、複数系統から独立して供給される評価値のうち、多数決のルールにしたがって半数以上で一致する評価値を採用し、したがって、このケースでは、「喜び」指標の評価値を「ネガティブ」に更新してよい。

なお内部状態管理部１１０は、３系統から供給される評価値に優先順位を設定し、優先順位にしたがって、採用する評価値を決定してよい。以下、各評価値の順位付けについて説明する。
まず第３感情推定部１０６により推定される評価値については、イベントに定義された固有の評価値であって、実際のユーザの状態を反映したものではない。そのため第３感情推定部１０６により推定される評価値は、採用する優先順位を最下位に設定されてよい。

次に第１感情推定部１０２と第２感情推定部１０４とを比較すると、第２感情推定部１０４は、ユーザの発話内容にのみもとづいて感情推定を行っており、推定のための情報量が少ないという側面がある。また発話内容自体はポジティブな内容であっても、ユーザは自虐的に発話することもある。たとえば三塁打を狙っていたのに「ホームラン打ったぜ。」と肩を落として元気なく発話するようなケースである。この場合、第２感情推定部１０４は「ポジティブ」の評価値を推定するが、第１感情推定部１０２は、ユーザの態度やパラ言語情報から「ネガティブ」の評価値を推定する。このようにユーザは、気持ちとは裏腹な言葉を発することがあるため、内部状態管理部１１０は、第１感情推定部１０２による評価値の信頼性を、第２感情推定部１０４による評価値の信頼性より高く設定してよい。したがって内部状態管理部１１０は、第１感情推定部１０２、第２感情推定部１０４、第３感情推定部１０６による評価値の順番で、優先順位を設定してよい。

内部状態管理部１１０は、優先順位を設定することで、少なくともいずれか１系統で評価値を得られれば、ユーザの内部状態を更新できるようになる。内部状態管理部１１０は、第１感情推定部１０２により推定されるユーザの感情と、第２感情推定部１０４により推定されるユーザの感情とが一致しない場合に、優先順位にしたがって第１感情推定部１０２により推定されるユーザの感情をもとに、ユーザの内部状態を更新する。また、たとえばユーザがホームランを打ったときに、第１感情推定部１０２および第２感情推定部１０４によってはユーザのポジティブまたはネガティブの感情を推定できない場合（ユーザが全く動くこともなく発話もしない場合）、内部状態管理部１１０は、第３感情推定部１０６により推定される評価値を採用すればよい。

ユーザのロボット２０に対する「好感度」は、現在までの間にユーザがロボット２０に対して行った言動から推定された感情の複数の評価値から導出される。ロボット２０の名前を「ヒコエモン」とすると、ロボット２０がユーザに話しかけたときに、ユーザが「ヒコエモンの言うとおりだね。」と応答すれば、感情推定部１００はユーザの「愛情」指標の評価値を「ポジティブ」であると推定し、一方で、ユーザが「ヒコエモン、うるさいから静かにして。」と応答すると、感情推定部１００は、ユーザの「愛情」指標の評価値を「ネガティブ」であると推定する。またロボット２０がユーザに「そろそろ充電してください。」と話しかけたときに、ユーザがすぐに充電してくれれば、感情推定部１００はユーザの「愛情」指標の評価値を「ポジティブ」であると推定し、一方でなかなか充電してくれなければ、感情推定部１００は、ユーザの「愛情」指標の評価値を「ネガティブ」であると推定する。またユーザがロボット２０の頭をなでると、感情推定部１００はユーザの「愛情」指標の評価値を「ポジティブ」であると推定し、ユーザがロボット２０を蹴ると、感情推定部１００はユーザの「愛情」指標の評価値を「ネガティブ」であると推定する。

内部状態管理部１１０は、感情推定部１００から「愛情」指標の評価値を受け取ると、ユーザの好感度の評価値に反映する。内部状態管理部１１０は、現在までの「愛情」指標の複数の評価値をストックし、たとえば直近の複数個（たとえば２１個）の評価値をもとにユーザのロボット２０に対する好感度を推定する。ここではニュートラルの評価値を除いた複数の評価値のうち、ポジティブ評価値とネガティブ評価値のうち多い方の評価値を、好感度の評価値と設定してよい。つまり直近の２１個の評価値のうち、ポジティブ評価値が１１個以上あれば、好感度の評価値は「ポジティブ」と設定され、ネガティブ評価値が１１個以上あれば、好感度の評価値は「ネガティブ」と設定されてよい。

以上は、ユーザの内部状態についての説明であり、続いてロボット２０の内部状態について説明する。
ロボット２０のユーザに対する「好感度」は、現在までの間にユーザがロボット２０に対して行った言動から推定された感情の複数の評価値から導出される。内部状態管理部１１０は、感情推定部１００から「愛情」指標の評価値を受け取り、ロボット２０のユーザに対する好感度の評価値に反映する。ロボット２０のユーザに対する好感度は、上記したユーザのロボット２０に対する好感度に連動する傾向にある。内部状態管理部１１０は、現在までの「愛情」指標の複数の評価値をストックし、たとえば直近の複数個（たとえば１１個）の評価値をもとに、ロボット２０のユーザに対する好感度を決定する。ここでユーザの好感度を推定する際に参照する評価値数よりも少なくしているのは、ロボット２０のユーザに対する好感度を変動しやすくするためである。ロボット２０のユーザに対する好感度は、ロボット２０の感情を決定する際の重要なパラメータとなる。なおユーザに対する好感度は、単に「ポジティブ」、「ネガティブ」のみで評価するのではなく、「ポジティブ」、「ネガティブ」のそれぞれを複数段階で評価してもよい。

実施例において、ロボット２０のユーザに対する好感度がポジティブであれば、ロボット２０はユーザに共感して、共視体験を実現する行動をとるが、一方でユーザに対する好感度がネガティブであれば、ロボット２０はユーザに共感することなく、むしろユーザに反発する行動をとる。行動管理部１２０は、ロボット２０の内部状態およびユーザの内部状態にもとづいて、ロボット２０の音声出力を含む行動を決定する。

野球ゲームでユーザがホームランを打ったときのロボット２０の行動について説明する。感情推定部１００は、「喜び」指標の評価値を「ポジティブ」と推定し、内部状態管理部１１０は、ユーザの「喜び」指標の評価値を「ポジティブ」に更新する。また内部状態管理部１１０は、ユーザの「喜び」指標の評価値と、ロボット２０のユーザに対する好感度の評価値とを参照して、ロボット２０の「喜び」指標の評価値を決定する。

＜ユーザに対する好感度がポジティブである場合＞
ユーザに対するロボット２０の好感度がポジティブに設定されている場合、内部状態管理部１１０は、ロボット２０の感情を、ユーザの感情と共感するように管理する。そのためユーザの「喜び」指標の評価値がポジティブに更新されれば、内部状態管理部１１０は、ロボット２０の「喜び」指標の評価値もポジティブに更新する。内部状態管理部１１０は、ロボット２０の内部状態を更新すると、行動管理部１２０に、ロボット２０の行動を決定するタイミングであることを示す契機情報を提供する。行動管理部１２０は契機情報を受け付けると、オブジェクト内部状態記憶部１３２で更新されたロボット２０の内部状態、具体的には更新された感情の評価値にもとづいて、ロボット２０の音声出力を含む行動を決定する。たとえば行動管理部１２０は、「○×選手すごいね。ホームラン打ったね。」という発話内容を生成し、またロボット２０の動作として２回万歳する行動を決定する。この発話内容および動作は、出力処理部１４０に通知され、出力処理部１４０は、行動管理部１２０により決定された行動をロボット２０に実施させる。

出力処理部１４０は、発話のスピードや、発話と動作のタイミングなど、ロボット２０における出力タイミングを制御した音声データおよびロボット２０を駆動する駆動データを生成し、ロボット２０に出力する。ロボット２０において通信部３２が音声データおよび駆動データを受信すると、制御部３０が、音声データをスピーカ３６に供給して音声出力させ、また駆動データにもとづいて駆動機構３４のモータを駆動させる。これによりロボット２０は、ホームランを打ったユーザに共感する発話および動作を行う。ユーザは、一緒にロボット２０が喜んでいるのを見て、ロボット２０に対する親近感を高められるとともに、ゲームへのモチベーションも高められる。

なお逆に、ユーザがホームランを打たれた場合には、ユーザの「喜び」指標の評価値がネガティブに更新されるため、内部状態管理部１１０は、ロボット２０の「喜び」指標の評価値をネガティブに更新する。内部状態管理部１１０は、ロボット２０の内部状態を更新すると、行動管理部１２０に契機情報を提供する。これにより行動管理部１２０は、オブジェクト内部状態記憶部１３２で更新されたロボット２０の「喜び」指標の評価値にもとづいて、ロボット２０の音声出力を含む行動を決定する。たとえば行動管理部１２０は、「あーあ。ホームラン打たれちゃったね。」という発話内容を生成し、またロボット２０の動作として、がっくりと脱力する行動を決定する。この発話内容および動作は、出力処理部１４０に通知され、出力処理部１４０は、行動管理部１２０により決定された行動をロボット２０に実施させる。

＜ユーザに対する好感度がネガティブである場合＞
一方で、ユーザに対するロボット２０の好感度がネガティブに設定されている場合、内部状態管理部１１０は、ロボット２０の感情を、ユーザの感情と共感しないように管理する。内部状態管理部１１０は、むしろユーザに反発するようにロボット２０の感情を管理することで、ユーザがもっとロボット２０を大事に扱った方がよいことを気付かせるようにする。

そのためホームランを打ったユーザの「喜び」指標の評価値がポジティブに更新されても、内部状態管理部１１０は、ロボット２０の「喜び」指標の評価値をネガティブに更新する。ユーザに対するロボット２０の好感度がネガティブであれば、内部状態管理部１１０は、ロボット２０の感情の評価値を、ユーザの感情の評価値と逆の値に更新する。そのためユーザの感情評価値がポジティブであれば、ロボット２０の感情評価値をネガティブに更新し、ユーザの感情評価値がネガティブであれば、ロボット２０の感情評価値をポジティブに更新してよい。

内部状態管理部１１０はロボット２０の内部状態を更新すると、行動管理部１２０に、ロボット２０の行動を決定するタイミングであることを示す契機情報を提供する。これにより行動管理部１２０は、オブジェクト内部状態記憶部１３２で更新されたロボット２０の内部状態、具体的には「喜び」指標のネガティブ評価値にもとづいて、ロボット２０の音声出力を含む行動を決定する。たとえば行動管理部１２０は、発話内容を生成せず（つまりユーザを無視し）、またロボット２０の動作としてユーザと逆方向を向く（そっぽを向く）行動を決定してよい。この行動内容は、出力処理部１４０に通知され、出力処理部１４０は、行動管理部１２０により決定された行動をロボット２０に実施させる。

このロボット２０の行動を見て、ユーザは、以前は一緒に喜んでくれていたのに、今回は一緒に喜んでくれていないことに気付く。ユーザは自身のこれまでの態度を振り返り、ロボット２０に冷たく接していたことで、一緒に喜んでもらえないことを認識する。ロボット２０が、あえて反発する反応をすることで、ユーザがこれからロボット２０に優しく接することを心がけるきっかけを与えられる。

このようにオブジェクト制御システム１では、ユーザとロボット２０との関係を、実際の人間社会における人間関係と同じように管理する。現実の人同士のコミュニケーションでは、お互いに思いやりをもって接することで良好な関係が生成されるが、一方が思いやりをなくせば他方も思いやりをもてなくなる。オブジェクト制御システム１では、この思いやりを「愛情」指標の感情で表現し、思いやりを通じた人間関係を「好感度」の指標で表現している。そのためオブジェクト制御システム１におけるユーザの好感度の評価値とロボット２０の好感度の評価値も連動する傾向をとる。ロボット２０のユーザに対する好感度が下がっている場合には、あらためてユーザが思いやりをもってロボット２０と接することで、ユーザに対する好感度の評価値はネガティブからポジティブに改善されていき、ユーザは、再びロボット２０と共視体験を得られるようになる。

ユーザがロボット２０に対して親近感を高めることで、ロボット２０は一種の友人のような存在になり得る。ユーザが不規則な生活を送っていれば、ロボット２０は「そろそろ寝ようか。」など生活リズムの改善を提案し、ユーザが友人からの助言として聞き入れるようなケースも将来的には考えられる。そのようなことを実現するためにも、ロボット２０による共視体験を通じて、ユーザがロボット２０に対する親近感を高めるような仕組みを構築することは、ロボット２０の今後の可能性を広げることにもつながる。

なお上記した実施例では、ユーザが、実際のオブジェクトであるロボット２０との間で共視体験を得る仕組みを提案したが、仮想的なオブジェクトとの間で共視体験を得る仕組みも同様に構築できる。

この場合、仮想的なオブジェクトは、３Ｄモデルにより構成される人やペットなどのキャラクタであってよく、コンピュータにより生成される仮想空間に存在する。実施例ではユーザがヘッドマウントディスプレイ（ＨＭＤ）を装着したときに構築される仮想空間において、ユーザの正面にコンテンツが再生され、ユーザが横を向くと仮想的なキャラクタが一緒にコンテンツを視聴している様子を見ることのできる仕組みを提案する。仮想キャラクタも、ロボット２０と同様に、ユーザに共感する反応を出力したり、逆にユーザに反発する反応を出力することで、ユーザとのコミュニケーションを図る。

図５は、ＨＭＤ２００の外観形状の例を示す。ＨＭＤ２００は、出力機構部２０２および装着機構部２０４から構成される。装着機構部２０４は、ユーザが被ることにより頭部を一周してＨＭＤ２００を頭部に固定する装着バンド２０６を含む。

出力機構部２０２は、ＨＭＤ２００をユーザが装着した状態において左右の目を覆う形状の筐体２０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体２０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ２００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。また筐体２０８の内部には、ユーザの顔を撮影するカメラが設けられ、ユーザの顔の表情を検出するために利用される。

筐体２０８の外面には、トラッキング用ＬＥＤである発光マーカ２１０ａ、２１０ｂ、２１０ｃ、２１０ｄが備えられる。発光マーカ２１０はカメラ１４により撮影されて、情報処理装置１０がマーカ位置を画像解析する。またＨＭＤ２００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載される。ＨＭＤ２００は、情報処理装置１０と既知の無線通信プロトコルで接続され、姿勢センサが検出したセンサデータを情報処理装置１０に送信する。情報処理装置１０は、発光マーカ２１０の撮像位置および姿勢センサのセンサデータをもとに、ＨＭＤ２００が向いている方向を特定する。

ここでは情報処理装置１０が、映画などのコンテンツデータをＨＭＤ２００に送信する。情報処理装置１０はＨＭＤ２００が向く基準方向を設定し、基準方向に仮想ディスプレイを設置して、仮想ディスプレイにコンテンツの再生データを表示させる。また情報処理装置１０は、基準方向に対して、例えば視点位置を中心に９０度回転した位置に、仮想ディスプレイを向いている仮想的なオブジェクトを配置させる。これによりユーザが視線方向を９０度横に回転すると、隣に仮想的なオブジェクトが一緒にコンテンツを視聴している様子を見ることができる。

このようにしてＨＭＤ２００を装着したユーザは、仮想的なオブジェクトと共視体験を得られることができる。仮想的なオブジェクトの行動決定処理については、ロボット２０に関して説明したとおりである。また仮想的なオブジェクトの行動自由度は、ロボット２０と比べて高いため、様々なポジティブまたはネガティブな感情表現をさせることが可能となる。

このように実施例によれば、ユーザが実際のオブジェクトまたは仮想的なオブジェクトと共視体験を通じて親近感を高めることができ、ユーザの生活をより豊かなものにできる。

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例で行動管理部１２０は、ユーザがホームランを打ったときの共感表現として「○×選手すごいね。ホームラン打ったね。」という発話内容を生成した。変形例では、共視体験であることを強調するために、行動管理部１２０は積極的に、対象物を指示代名詞で置換した音声をオブジェクトから出力させるようにしてもよい。具体的には、「○×選手」の表現を、指示代名詞である「こいつ」に置換し、「こいつすごいね。ホームラン打ったね。」という発話内容を生成してもよい。指示代名詞を利用することで、ユーザは、ロボット２０と共視している感覚をさらに高めることができる。

１・・・オブジェクト制御システム、１０・・・情報処理装置、２０・・・ロボット、４０・・・イベント検知部、１００・・・感情推定部、１０２・・・第１感情推定部、１０４・・・第２感情推定部、１０６・・・第３感情推定部、１１０・・・内部状態管理部、１２０・・・行動管理部、１３０・・・内部状態記憶部、１３２・・・オブジェクト内部状態記憶部、１３４・・・ユーザ内部状態記憶部、１４０・・・出力処理部。

Claims (8)

1. オブジェクトを制御するオブジェクト制御システムであって、
   ユーザの感情を推定する感情推定部と、
   ユーザの感情を含むユーザの内部状態を記憶するユーザ内部状態記憶部と、
   オブジェクトの感情を含むオブジェクトの内部状態を記憶するオブジェクト内部状態記憶部と、
   推定されたユーザの感情にもとづいて、オブジェクトの内部状態およびユーザの内部状態を管理する内部状態管理部と、
   オブジェクトの内部状態にもとづいて、オブジェクトの行動を決定する行動管理部と、
   前記行動管理部により決定された行動をオブジェクトに実施させる出力処理部と、を備え、
   前記感情推定部は、
   センサ出力をもとにユーザの感情を推定する第１感情推定部と、
   ユーザの発話内容をもとにユーザの感情を推定する第２感情推定部と、
   当該オブジェクト制御システムにおいて発生したイベントの内容をもとにユーザの感情を推定する第３感情推定部と、を有し、
   前記内部状態管理部は、前記第１感情推定部、前記第２感情推定部および前記第３感情推定部の出力をもとに、オブジェクトの内部状態およびユーザの内部状態を更新するものであって、
   オブジェクトの内部状態は、現在までの間に推定されたユーザの感情の複数の評価値から導出されるオブジェクトのユーザに対する好感度を含み、
   前記内部状態管理部は、ユーザに対する好感度がポジティブに設定されている場合、オブジェクトの感情をユーザの感情と共感するように決定し、ユーザに対する好感度がネガティブに設定されている場合、オブジェクトの感情をユーザの感情と共感しないように決定する、
   ことを特徴とするオブジェクト制御システム。
2. 前記内部状態管理部は、前記第１感情推定部による評価値の信頼度、前記第２感情推定部による評価値の信頼度、前記第３感情推定部による評価値の信頼度を、異なるように設定する、
   ことを特徴とする請求項１に記載のオブジェクト制御システム。
3. 前記内部状態管理部は内部状態を更新すると、前記行動管理部に、オブジェクトの行動を決定するタイミングであることを示す契機情報を提供し、
   前記行動管理部は、契機情報を受け付けると、オブジェクトの行動を決定する、
   ことを特徴とする請求項１または２に記載のオブジェクト制御システム。
4. 前記オブジェクトは、実際のオブジェクトまたは仮想的なオブジェクトである、
   ことを特徴とする請求項１から３のいずれかに記載のオブジェクト制御システム。
5. 前記行動管理部は、対象物を指示代名詞で置換した音声をオブジェクトから出力させる、
   ことを特徴とする請求項１から４のいずれかに記載のオブジェクト制御システム。
6. 前記内部状態管理部は、オブジェクトのユーザに対する好感度を、現在までの間に推定されたユーザの感情の所定数の評価値から設定し、ユーザのオブジェクトに対する好感度を、現在までの間に推定された前記所定数よりも多い数の評価値から設定する、
   ことを特徴とする請求項１から５のいずれかに記載のオブジェクト制御システム。
7. オブジェクト制御システムに、
   センサ出力をもとにユーザの感情を推定するステップと、
   ユーザの発話内容をもとにユーザの感情を推定するステップと、
   発生したイベントの内容をもとにユーザの感情を推定するステップと、
   ユーザの感情を含むユーザの内部状態を管理するステップと、
   オブジェクトの感情を含むオブジェクトの内部状態を管理するステップと、
   推定されたユーザの感情にもとづいて、オブジェクトの内部状態およびユーザの内部状態を更新するステップと、
   オブジェクトの内部状態にもとづいて、オブジェクトの行動を決定するステップと、
   決定された行動をオブジェクトに実施させるステップと、を実施させるオブジェクト制御方法であって、
   オブジェクトの内部状態は、現在までの間に推定されたユーザの感情の複数の評価値から導出されるオブジェクトのユーザに対する好感度を含み、
   オブジェクトの内部状態を更新するステップは、ユーザに対する好感度がポジティブに設定されている場合、オブジェクトの感情をユーザの感情と共感するように決定し、ユーザに対する好感度がネガティブに設定されている場合、オブジェクトの感情をユーザの感情と共感しないように決定する、オブジェクト制御方法。
8. コンピュータに、
   センサ出力をもとにユーザの感情を推定する機能と、
   ユーザの発話内容をもとにユーザの感情を推定する機能と、
   発生したイベントの内容をもとにユーザの感情を推定する機能と、
   ユーザの感情を含むユーザの内部状態を管理する機能と、
   オブジェクトの感情を含むオブジェクトの内部状態を管理する機能と、
   推定されたユーザの感情にもとづいて、オブジェクトの内部状態およびユーザの内部状態を更新する機能と、
   オブジェクトの内部状態にもとづいて、オブジェクトの行動を決定する機能と、
   決定された行動をオブジェクトに実施させる機能と、を実現させるためのプログラムであって、
   オブジェクトの内部状態は、現在までの間に推定されたユーザの感情の複数の評価値から導出されるオブジェクトのユーザに対する好感度を含み、
   オブジェクトの内部状態を更新する機能は、ユーザに対する好感度がポジティブに設定されている場合、オブジェクトの感情をユーザの感情と共感するように決定し、ユーザに対する好感度がネガティブに設定されている場合、オブジェクトの感情をユーザの感情と共感しないように決定する機能を含む、プログラム。

Images