JP2005196645A - 情報提示システム、情報提示装置、及び情報提示プログラム - Google Patents

Abstract

【課題】 ユーザとキャラクタ型エージェントとのスムーズな対話を実現する。
【解決手段】 画面上に表示されるキャラクタ型のエージェントとユーザとの対話により得られる該ユーザの応答情報から、前記エージェントの振る舞いを変更して前記ユーザに対して情報を提示する情報提示システムにおいて、前記応答情報を入力する入力手段と、前記ユーザに対する質問情報と、前記応答情報とに基づいて、ユーザ毎のパーソナリティを評価するパーソナリティ評価手段と、前記パーソナリティ評価手段により得られるパーソナリティ情報に基づいて、スクリプトを生成するスクリプト生成手段と、前記スクリプト生成手段により得られるスクリプトに基づいて、前記エージェントの振る舞いを制御して前記画面上に表示させるエージェント制御手段とを有することにより、上記課題を解決する。
【選択図】 図１

Description

本発明は、情報提示システム、情報提示装置、及び情報提示プログラムに係り、特にユーザが情報提示システムを利用する際に、よりスムーズな対話を可能とする情報提示システム、情報提示装置、及び情報提示プログラムに関する。

従来、メディアの多様化に伴い、世間に溢れる情報には多くの利用形態が存在し、それらを統合的に利用するために各々に対応したアクセス手段を用いて逐次的に情報を取得している。

ここで、インターネット等で提供されるメディアにおいては、ユーザができるだけ親しみ易いインターフェースを提供することが望ましい。そのため、例えば文字や映像等の他にキャラクタ等を用いたＣＧアニメーションによりユーザと対話することでコンテンツが提供されるキャラクタ型のユーザ対話システムがある。

従来のキャラクタ型のユーザ対話システムにおいては、ユーザはコンピュータの表示画面上に表示されたキャラクタ型エージェントに対し、音声認識やキーボード等による入力デバイスを用いて要求を入力する。キャラクタ型エージェントは、ユーザに対して合成した音声や表示画面内の吹き出し、スーパー表示等によりユーザに対して情報を伝達することで対話を行っている（例えば、特許文献1参照。）。
特開２００２−３４１９８５号公報

しかしながら、従来のキャラクタ型対話エージェントは、そのキャラクタの動作や発話内容等の振る舞いについては、どのユーザに対しても画一的なものである。また、ユーザの嗜好情報にある程度即した情報を提示することはしていても、ユーザのその時々での気分や、雰囲気、性格等（以下、これらをパーソナリティという。）に対応させてキャラクタ型エージェントの動作や喋り（発話内容）等の振る舞いを変化させるものはなく、キャラクタ型エージェントがユーザ毎に振る舞いの変化の度合いに対応させて動的に設定することで、いわゆる気の利いた振る舞いをすることはできなかった。

本発明は、上述した問題点に鑑みなされたものであり、ユーザのその時点でのパーソナリティに対応させてキャラクタ型エージェントの振る舞いを変化させることにより、よりスムーズな対話を可能とする情報提示システム、情報提示装置、及び情報提示プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、画面上に表示されるキャラクタ型のエージェントとユーザとの対話により得られる該ユーザの応答情報から、前記エージェントの振る舞いを変更して前記ユーザに対して情報を提示する情報提示システムにおいて、前記応答情報を入力する入力手段と、前記ユーザに対する質問情報と、前記応答情報とに基づいて、ユーザ毎のパーソナリティを評価するパーソナリティ評価手段と、前記パーソナリティ評価手段により得られるパーソナリティ情報に基づいて、スクリプトを生成するスクリプト生成手段と、前記スクリプト生成手段により得られるスクリプトに基づいて、前記エージェントの振る舞いを制御して前記画面上に表示させるエージェント制御手段とを有することを特徴とする。

請求項１記載の発明によれば、ユーザに表示されるキャラクタ型エージェントの振る舞いをユーザのパーソナリティに対応させて変化させることにより、よりスムーズな対話を実現することができる。更に、対話がスムーズになることで、ユーザから様々な情報を取得することができ、ユーザのニーズに即した高精度な情報の提示を実現することができる。

請求項２に記載された発明は、画面上に表示されるキャラクタ型のエージェントとユーザとの対話により得られる該ユーザの応答情報から、前記エージェントの振る舞いを変更して前記ユーザに対して情報を提示する情報提示装置において、
前記ユーザに対する質問情報と、前記応答情報とに基づいて、ユーザ毎のパーソナリティを評価するパーソナリティ評価部と、前記パーソナリティ評価部により得られるパーソナリティ情報に基づいて、スクリプトを生成するスクリプト生成部と、前記スクリプト生成部により得られるスクリプトに基づいて、前記エージェントの振る舞いを制御して前記画面上に表示させるエージェント制御部とを有することを特徴とする。

請求項２記載の発明によれば、ユーザに表示されるキャラクタ型エージェントの振る舞いをユーザのパーソナリティに対応させて変化させることにより、よりスムーズな対話を実現することができる。更に、対話がスムーズになることで、ユーザから様々な情報を取得することができ、ユーザのニーズに即した高精度な情報の提示を実現することができる。

請求項３に記載された発明は、前記応答情報は、音声情報、画像情報、文字情報の少なくとも１つからなることを特徴とする。

請求項３記載の発明によれば、応答情報を容易に取得することができ、これらの情報からユーザのパーソナリティを高精度に評価することができる。

請求項４に記載された発明は、前記パーソナリティ評価部は、前記応答情報が音声情報である場合、音声の応答時間、音声レベル、音声の抑揚レベルの少なくとも１つを用いて前記ユーザのパーソナリティを評価することを特徴とする。

請求項４記載の発明によれば、音声によりユーザの現時点でのパーソナリティを高精度に評価することができる。

請求項５に記載された発明は、前記パーソナリティ評価部は、前回までの評価で得られたパーソナリティ情報に基づいて、前記ユーザのパーソナリティを評価することを特徴とする。

請求項５記載の発明によれば、前回までのパーソナリティ情報を評価の対象にすることで、エージェントの表情を急変させずに段階的に変化させることができ、これによりユーザに違和感を与えないようにすることができる。

請求項６に記載された発明は、前記スクリプト生成部は、前記パーソナリティ情報に含まれるパラメータを予め生成されている雛型スクリプトの所定の位置に付与することによりスクリプトを生成することを特徴とする。

請求項６記載の発明によれば、雛型のスクリプトにパラメータを付与するだけでよいため、処理を簡素化でき、エージェントの振る舞いをユーザとの対話に応じてリアルタイムに変更することができる。

請求項７に記載された発明は、画面上に表示されるキャラクタ型のエージェントとユーザとの対話により得られる該ユーザの応答情報から、前記エージェントの振る舞いを変更して前記ユーザに対して情報を提示する情報提示処理をコンピュータに実行させるための情報提示プログラムにおいて、前記ユーザに対する質問情報と、前記応答情報とに基づいて、ユーザ毎のパーソナリティを評価するパーソナリティ評価処理と、前記パーソナリティ評価処理により得られるパーソナリティ情報に基づいて、スクリプトを生成するスクリプト生成処理と、前記スクリプト生成処理により得られるスクリプトに基づいて、前記エージェントの振る舞いを制御して前記画面上に表示させるエージェント制御処理とをコンピュータに実行させる。

請求項７記載の発明によれば、ユーザに表示されるキャラクタ型エージェントの振る舞いをユーザのパーソナリティに対応させて変化させることにより、よりスムーズな対話を実現することができる。更に、対話がスムーズになることで、ユーザから様々な情報を取得することができ、ユーザのニーズに即した高精度な情報の提示を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に情報提示を実現することができる。

本発明によれば、ユーザに表示されるキャラクタ型エージェントの振る舞いをユーザのパーソナリティに対応させて変化させることにより、よりスムーズな対話を実現することができる。

＜本発明の概要＞
本発明は、グラフィックスベースのキャラクタ型対話エージェントによる情報提示システムにおいて、そのエージェントの振る舞いをユーザのパーソナリティに対応させて動的に変化させて、ユーザのニーズに即した情報の提示を行うものである。

具体的に説明すると、例えば、ユーザはキャラクタ型エージェントと音声認識等を用いて言葉により対話を行う。このとき、ユーザの声の調子や大きさ、抑揚、質問に対しての応答を返すまでの時間等を計測し、そのユーザが支配的な性格の人物なのか、服従的な性格な人物なのか等の評価を所定の判断基準に基づいて行う。

また、その評価の度合いに応じてキャラクタ型エージェントの喋る内容や、喋る調子、動作、表情等の振る舞いを動的に変化させ、ユーザのパーソナリティに動的に追随させる。

＜実施形態＞
以下に、上記のような特徴を有する本発明における情報提示システム、情報提示装置、及び情報提示プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

＜第１の実施形態：音声評価＞
図１は、第１の実施形態における情報提示システムの一構成例を示す図である。図１の情報提示システム１０は、音声入力装置１１と、音声認識部１２と、音声処理装置１３と、情報提示装置１４と、表示出力装置１５とを有するよう構成されている。また、情報提示装置１４は、パーソナリティ評価部１６と、スクリプト生成部１７と、データベース１８と、エージェントコントローラ１９とを有するよう構成されている。

音声入力装置１１は、ユーザからの要求を音声として入力するものであり、マイク等からなる。音声認識装置１２は、音声入力装置１１から受信した音声を入力し、どのような言葉が入力されたかを解析する。音声認識装置１２は、解析した音声情報を音声処理装置１３へ出力する。

音声処理装置１３は、ユーザが発した言葉の音声レベル、抑揚レベル、言葉と言葉との時間的な間隔等を計測する。また、音声処理装置１３は、計測した結果を情報提示装置１４のパーソナリティ評価部１６へ出力する。

パーソナリティ評価部１６は、音声処理装置１３からの計測結果に基づいて、ユーザがどのような気分、心理状態にいるかを数値化する。具体的には、エージェントコントローラ１９から送られるユーザにエージェントを表示させた時間に関する表示時間情報と、スクリプト生成部１７から送られるスクリプトの質問に対する回答難易度情報と、音声処理装置１３からの計測結果とに基づいて、例えばユーザが現時点で支配的なパーソナリティ状態なのか、服従的なパーソナリティ状態なのかを評価し、更に、その状態の程度を評価する。なお、評価の具体的な内容については後述する。パーソナリティ評価部１６は、評価結果であるパーソナリティ情報をスクリプト生成部１７へ出力する。

スクリプト生成部１７は、パーソナリティ評価部１６により評価されたパーソナリティ情報に基づいて、表示出力装置１５にエージェントを表示するためのスクリプトを生成する。このとき、データベース１８には、様々な状況でのエージェントの種類と、エージェントが喋る適切な言葉や動作、表情等の振る舞いパターンが複数蓄積されている。スクリプト生成部１７は、入力したパーソナリティ情報に対応させてデータベース１８から文章テキストＣＧキャラクタ等を取得して、生成されたスクリプトをエージェントコントローラ１９へ出力する。また、生成されたスクリプトに含まれるユーザへの質問に対する回答難易度情報をパーソナリティ評価部１６へ出力する。

エージェントコントローラ１９は、上述した評価に基づいて設定されたユーザのパーソナリティ情報に応じたスクリプトを入力し、エージェントの振る舞いをコントロールして表示出力装置１５へ出力する。また、エージェントコントローラ１９は、ユーザにエージェントを表示させた時間に関する表示時間情報をパーソナリティ評価部１６に出力する。

表示出力装置１５は、ディスプレイ等の表示装置やスピーカ等の音声出力装置等からなり、エージェントコントローラ１９から入力される映像をディスプレイ等の表示画面に表示し、音声をスピーカ等から出力する。ここで、表示出力装置１５により表示されるエージェントの振る舞いの様子について図を用いて説明する。図２は、表示出力装置に表示されるエージェントの振る舞いの一例を示す図である。

図２に示すように表示画面２１には、エージェント２２が表示されており、エージェントの口や体の動作にあわせて「こんにちは〜」と音声が出力される。

本発明では、上述した処理をユーザとエージェントとの対話を通じて継続的に行い、エージェントの振る舞いを動的に設定を変更することにより、ユーザとエージェントとのよりスムーズな対話を可能とする。

＜パーソナリティ評価＞
次に、本発明におけるパーソナリティ評価部１６における評価内容について説明する。パーソナリティを評価する方法としては、例えば、エージェントが問いかけ（質問）を開始した時間からユーザが応答を始めた時間までを計測することで評価する方法や、ユーザからの応答における音声レベルにより評価する方法、あるいはユーザの応答における音声の強弱の度合いにより評価する方法等がある。

このようにユーザから取得した音声情報を予め設定した応答の基準値に基づいて、ユーザ毎にパーソナリティを評価する。

ここで、ユーザのパーソナリティを評価する手順について、フローチャートを用いて説明する。なお、以下に示す評価手順においては、既にパーソナリティ評価部１６に上述した表示時間情報と回答難易度情報が入力されているものとする。

図３は、本発明におけるユーザのパーソナリティを評価する手順を示す一例のフローチャートである。図３において、まずユーザからの音声が入力される（Ｓ０１）。次に、エージェントからの質問に対するユーザからの応答時間の評価を実施するかを判断する（Ｓ０２）。このとき、ユーザからの応答時間に対する評価を行うか否かの判断については、質問に対する回答難易度情報に基づいて判断する。また、予めパーソナリティ評価部１６にて設定されていてもよい。

ユーザからの応答時間に対する評価を行う場合（Ｓ０２において、ＹＥＳ）、表示時間情報及び質問難易度情報に基づいて応答時間の評価を行う（Ｓ０３）。具体的には、表示時間内に含まれる質問開始時間及び質問終了時間と、Ｓ０１において音声が入力された時間とを用いて応答時間を算出する。また、回答難易度については、例えば、予めユーザに表示させた質問の内容を他の多数の被験者に対して行い、その平均応答時間を基準時間とし、その基準時間に基づいて難易度が設定されている。上述により得られた応答時間及び回答難易度に基づいて応答時間の評価を行う。

一方、応答時間の評価を行わない場合（Ｓ０２において、Ｎｏ）、又はＳ０３の処理が終了した場合、次にユーザから入力された音声のレベルの評価を行う（Ｓ０４）。更に、ユーザから入力された音声の抑揚の評価を行う（Ｓ０５）。
その後、Ｓ０３、Ｓ０４、Ｓ０５の処理で得られた評価情報に基づいて、ユーザのパーソナリティを評価しパーソナリティ情報を出力する（Ｓ０６）。なお、上述した応答時間評価、音声レベル評価、音声の抑揚評価の順序については、図３に示す限りではなく、夫々の順序を入れ替えてもよい。また、本発明では、応答時間評価、音声レベル評価、音声の抑揚評価のうち、少なくとも１つを用いてパーソナリティを評価することができる。

ここで、応答時間評価（Ｓ０３）、音声レベル評価（Ｓ０４）、音声の抑揚評価（Ｓ０５）、及びパーソナリティ評価（Ｓ０６）について具体的に説明する。

＜Ｓ０３：応答時間評価＞
最初に応答時間評価について説明する。図４は、エージェントからの質問内容に対応する回答難易度と基準時間の関係の一例を示す図である。図４では、予め設定されているエージェントからの質問に対する回答難易度Ｄａと、回答基準時間範囲が対応付けられている。また、図４に示す難易度及び基準時間の対応情報は、パーソナリティ評価部１６に予め蓄積されている。

なお、図４において回答難易度Ｄａが５の場合は基準時間を設けないことを示している。つまり、回答難易度Ｄａが５に設定されている場合は、応答時間評価は行わずに他の評価条件により評価が行われる。

ここで、以下に示す説明では、パーソナリティ情報であるパーソナリティ評価パラメータを“ｐｍ１”とし、評価の基準として「支配的性格」と「服従的性格」の２つの対象となる評価基準により、そのユーザがどちらの性格でどの程度であるかの評価を行うものとする。なお、評価基準は本発明においてはこの限りではなく、例えば、「消極的」と「積極的」や、「能動的」と「受動的」等のように相反する性格（性質）を基準にしてもよく、３つ以上の評価基準を用いてもよい。

例えば、ユーザに対してエージェントの質問が開始した時間をＴ_０とし、ユーザが回答を開始した時間をＴｓとすると、応答までに要した時間は、“Ｔｓ−Ｔ_０”となる。次に、図４に基づいて、“Ｔｓ−Ｔ_０”の値と、質問の難易度に対応する基準範囲とを比較する。“Ｔｓ−Ｔ_０”が基準時間より小さい場合は、ユーザの応答が標準より速かったことになる。このとき、ユーザのパーソナリティは支配的であるとし、支配的な程度を表す評価パラメータ“ｐｍ１”は、基準範囲の基準値をＴｂとすると、「ｐｍ１＝ｐｍ１＋｜Ｔｓ−Ｔ_０｜／Ｔｂ」となる。なお、Ｔｂは、基準範囲の平均値とし、例えば基準範囲が２．０〜６．０のとき、基準値Ｔｂは４．０と設定される。また、基準値Ｔｂを別途設定してもよい。

また、“Ｔｓ−Ｔ_０”が回答難易度に基づいた評価により基準範囲内であった場合は、ユーザのパーソナリティは標準となる。このとき、評価パラメータ値は「ｐｍ１＝０」となる。更に、“Ｔｓ−Ｔ_０”が基準範囲より大きい場合は、ユーザの応答が標準より遅かったことになる。このとき、ユーザのパーソナリティは服従的であるとし、服従的の程度を表す評価パラメータ“ｐｍ１”は、「ｐｍ１＝ｐｍ１−｜Ｔｓ−Ｔ_０｜／Ｔｂ」となる。

＜Ｓ０４：音声レベル評価＞
次に、音声レベルの評価について説明する。具体的には、単位時間当たりの平均音声レベルを計測して評価を行う。例えば、単位時間当たりの平均音声レベルをＳｓとし、基準音声レベルをＳｔとする。また、音声レベルによるパーソナリティ評価パラメータを“ｐｍ２”とし、支配的を正の値、服従的を負の値で表すこととする。

ここで、“Ｓｓ−Ｓｔ”が０より大きい場合、ユーザの声は標準範囲よりも大きいことになる。このとき、ユーザのパーソナリティは支配的であるとして、支配的の程度を表す評価パラメータ“ｐｍ２”は、「ｐｍ２＝ｐｍ２＋｜Ｓｓ−Ｓｔ｜／Ｓｔ」とする。また、“Ｓｓ−Ｓｔ”が０の場合は、ユーザのパーソナリティは標準であるとし「ｐｍ２＝０」とする。更に、“Ｓｓ−Ｓｔ”が０より小さい、つまり負の数である場合は、ユーザの声が標準範囲より小さいことになる。このとき、ユーザのパーソナリティは服従的であるとし服従的の程度を表す評価パラメータｐｍ２は、「ｐｍ２＝ｐｍ２−｜Ｓｓ−Ｓｔ｜／Ｓｔ」とする。

＜Ｓ０５：ユーザの音声の抑揚＞
次に、音声の抑揚における評価について説明する。具体的には、単位時間当たりにおける音量の最大値と最小値との差を抑揚レベルとし、基準抑揚レベルと比較することにより評価を行う。例えば、単位時間当たりの抑揚レベルをｉｓとし、基準抑揚レベルをｉｔとする。また、抑揚レベルｉｓによるパーソナリティ評価パラメータを“ｐｍ３”とし、支配的を正の値、服従的を負の値で表すこととする。“ｉｓ−ｉｔ”が０より大きい場合は、ユーザの声の抑揚が標準より大きいことになる。このとき、ユーザのパーソナリティは支配的であるとし、支配的の程度を表す評価パラメータ“ｐｍ３”は、「ｐｍ３＝ｐｍ３＋｜ｉｓ−ｉｔ｜／ｉｔ」とする。また、“ｉｓ−ｉｔ”＝０の場合、ユーザのパーソナリティは標準であるとし「ｐｍ３＝０」とする。更に、“ｉｓ−ｉｔ”が０より小さい場合は、ユーザの抑揚がかなり小さいことを示している。このとき、ユーザのパーソナリティは服従的であると服従的な程度を表す評価パラメータ“ｐｍ３”は、「ｐｍ３＝ｐｍ３−｜ｉｓ−ｉｔ｜／ｉｔ」とする。

＜Ｓ０６：パーソナリティ評価＞
次に、上述の応答時間評価（Ｓ０３）、音声レベル評価（Ｓ０４）、音声の抑揚評価（Ｓ０５）に基づいて、パーソナリティ評価を行う。

例えば、ユーザのパーソナリティ値をＵｐとすると、Ｕｐは、以下のように表される。なお、Ｕｐの変化範囲を−１〜＋１とする。

Ｓ０３の応答時間評価を行った場合、パーソナリティ（Ｕｐ）は、「Ｕｐ＝ｗ１×ｐｍ１＋ｗ２ａ×ｐｍ２＋ｗ３ａ×ｐｍ３」となる。ここで、ｗ１，ｗ２ａ，ｗ３ａは夫々重み定数を示しており、予めパーソナリティ評価部１６にて設定されている。なお、このときの重み付けは、評価を続けていくうちに蓄積されるユーザ毎の評価値に基づいて設定される。また、予め標準の重み付け値を設定してもよく、重み付けを用いなくてもよい。更には、年代別や性別等の区分けに基づいて設定してもよい。

また、Ｓ０３の応答時間評価を行わなかった場合、パーソナリティ（Ｕｐ）は、「Ｕｐ＝ｗ２ｂ×ｐｍ２＋ｗ３ｂ×ｐｍ３」となる。

ここで、Ｕｐ＞０の場合、ユーザパーソナリティは支配的であるとし、支配的レベルは｜Ｕｐ｜となる。また、Ｕｐ＝０の場合、ユーザパーソナリティは標準となる。更に、Ｕｐ＜０の場合、ユーザパーソナリティは服従的で、服従的レベルは｜Ｕｐ｜となる。パーソナリティ評価部１６は、このようにして得られたパーソナリティ情報をスクリプト生成部１７へ出力する。

次に、ユーザパーソナリティ情報に基づく、キャラクタ型エージェントの振る舞いの設定方法について図を用いて説明する。図５は、ＣＧエージェントの振る舞いの設定について説明するための一例の図である。なお、図５（ａ）では、ＣＧエージェントの声の抑揚設定を説明するための図であり、図５（ｂ）は、ＣＧエージェントの表情設定を説明するための図である。

＜ＣＧエージェントの声の抑揚設定＞
図５（ａ）では、エージェントの声の抑揚パラメータが０〜１０までの値で可変できるものとする。例えば、服従的な場合の抑揚レベルＬ１の範囲を０＜Ｌ１＜５とし、支配的な場合の抑揚レベルＬ２の範囲を５＜Ｌ２＜１０と設定する。この間で上述したパーソナリティ情報に基づいて抑揚レベルが可変するものとする。

ここで、抑揚レベルの可変パラメータを“Ａｉｎｔ”とすると、Ｕｐ＜５の場合、「Ａｉｎｔ＝５−（５×（−ＵＰ））」とする。また、ＵＰ＝５の場合、「Ａｉｎｔ＝５」する。更に、Ｕｐ＞５のとき、「Ａｉｎｔ＝５＋（５×ＵＰ）」とする。これにより、抑揚の変化に基づく可変パラメータ“Ａｉｎｔ”を容易に設定できる。

＜ＣＧエージェントの表情の変化範囲＞
次に、図５（ｂ）に示すように、一例としてエージェントがうれしい表情をする場合における、うれしい程度の値“Ａｆｅｘｐｄ”が０．０〜２．０で可変できるものとする。ここで、Ｕｐ＜０の場合、“Ａｆｅｘｐｄ”は０．０〜０．３の範囲で可変する。すなわち、Ｕｐ＜０の場合には、“Ａｆｅｘｐｄ”は０．０〜０．３の何れかの値になる。また、ＵＰ＝０の場合、“Ａｆｅｘｐｄ”は０．０〜１．０の範囲で可変することを示している。また、Ｕｐ＞０の場合には“Ａｆｅｘｐｄ”は０．０〜２．０の範囲で可変することを示している。なお、０．０はエージェントの顔が無表情であることを示し、値が大きいほどうれしい表情に変化する。

また、個々のコンテンツ毎に、エージェントの表情の程度“ｆｅｘｐｄ”が設定され、あるコンテンツＣａにおけるエージェントの表情の程度を“Ｃａ（ｆｅｘｐｄ）”とすると、エージェントの表情の程度は以下のように表す。Ｕｐ＜０の場合、「Ａｆｅｘｐｄ＝０．３×（−Ｕｐ）×Ｃａ（ｆｅｘｐｄ）」とし、Ｕｐ＝０の場合、「Ａｆｅｘｐｄ＝Ｃａ（ｆｅｘｐｄ）」とし、Ｕｐ＞０の場合、「Ａｆｅｘｐｄ＝２×Ｕｐ×Ｃａ（ｆｅｘｐｄ）」とする。なお、“Ｃａ（ｆｅｘｐｄ）”の可変範囲は０．０〜１．０とする。

次に、Ｕｐ値に対応させたエージェントの発話内容の例について図を用いて説明する。図６は、本発明における上述にＵｐ値に対応させたエージェントの発話内容と評価結果の様子を示す一例の図である。なお、図６では、エージェントの発話内容として、服従的度（服従的な程度）と支配的度（支配的な程度）に対応する“あいづち言葉”が定義されている。図６に示すように、上述の手順により求めたＵｐ値の値に応じてエージェントのあいづち言葉をリアルタイムに変更することができる。

なお、このテーブルは、データベース１８に蓄積されており、スクリプト生成部１７にてスクリプトを生成する際にパーソナリティ評価部１６から入力されるパーソナリティ情報に基づいて参照されるテーブルである。

上述の手順により、エージェントからの質問に対するユーザからの応答を、ユーザに気づかれないように評価して、評価に応じてエージェントの振る舞いを動的に変更することができる。これにより、ユーザはエージェントに親近感を持ち、対話をスムーズなものにすることができる。また、ユーザはシステムが自分を気遣ってくれていると感じ、より長時間システムがユーザに使われることが期待できる。更に、本発明ではユーザに対して特別な調査を行わないため、ユーザはシステムに対し、猜疑心を抱くことがない。

＜スクリプト生成＞
次に、スクリプト生成部１７にて生成されるスクリプトの例について説明する。なお、本実施例では、スクリプトの一例としては、ＴＶＭＬ（ＴＶ ｐｒｏｇｒａｍ Ｍａｒｋｉｎｇ Ｌａｎｇｕａｇｅ）を用いる。ＴＶＭＬは、テレビ番組を制作するためのオブジェクトベース記述言語である。ＴＶＭＬは、テレビ番組の映像と音声を、素材と台本とに分けて記述するものであり、番組台本を記述すれば、パソコン等で動作するソフトウェア等がこれを読取り、即座にテレビ番組として視聴することができるものである。

なお、ＴＶＭＬ以外でも、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等の表現形式を用いることもできる。

図７は、スクリプトの具体的な生成例を示す一例の図である。なお、図７（ａ）はＣＧエージェントの喋りの抑揚についてエージェントを制御するためのスクリプトを示し、図７（ｂ）はＣＧエージェントの表情を制御するスクリプトを示している。

図７（ａ）に示すように予め雛型のスクリプトに設定される抑揚（ｉｎｔｏｎａｔｉｏｎ）の値（ＬＥＶＥＬ）に上述した抑揚レベルの可変パラメータ“Ａｉｎｔ”を適用することにより、エージェントにパーソナリティ評価に基づく振る舞いを容易に設定することができる。

また、図７（ｂ）に示すようにＣＧエージェントの表情を制御する雛型のスクリプトに設定される表情の程度（ｄｅｇｒｅｅ）に上述の評価パラメータの値“Ａｆｅｘｐｄ”をそのまま適用することでスクリプトを生成することができる。また、評価パラメータの値“Ａｆｅｘｐｄ”に対応させて“ｔｙｐｅ”にうれしさを表現するための“ｈａｐｐｙ”をセットすることで、エージェントの表情をにこやかにする。例えば、ユーザにうれしかった話をする時に、にこやかな顔を表示することにより感情を共有させ、ユーザは親近感を持ちやすくさせることができる。

なお、図７に示すように雛型のスクリプトを予め生成しておくことで、パラメータをスクリプトの所定の位置に付与するだけでよいため、処理を簡素化できエージェントの振る舞いをユーザとの対話に応じてリアルタイムに変更することができる。

ここで、図７（ｂ）の設定により表示画面に表示されるエージェントの変化の様子について図を用いて説明する。図８は、表示されたエージェントの変化の様子を説明するための一例の図である。

図８（ａ）は、評価パラメータが標準値の範囲内、又はソフトウェアが起動した最初の状態を示している。表示画面３０−１には、床３１−１の上にエージェント３２−１が立っている。エージェント３２−１の表情は無表情であり、腕も下ろした状態である。

ここで、図７で示したスクリプトによりエージェントをコントロールすることにより、図８（ｂ）に示すようにエージェントは動作を行う。具体的には図８（ａ）の表示画面３０−２には床３１−１の上にエージェント３２−２が表示されており、表情はにこやかで、手を上にあげた動作をしている。更に、図６に示したようなあいづち言葉でも、ユーザのパーソナリティ情報に応じて言葉の話し方を変更させることで、ユーザが親近感を持ちやすくし、ユーザのニーズに即した情報提示を実現することができる。なお、表示されるエージェントの数は１人に限らず、何人でもよい。また、人間でなく動物や昆虫、植物等を表示させてもよい。

なお、ＣＧエージェントの振る舞いの方法としては、声の抑揚や、声の大きさ、体の振りの大きさ、表情、せりふ等がパーソナリティ情報におけるパラメータに応じて変更される。また、エージェント自体を変更させることもできる。

なお、上述の評価は、ソフトウェアの起動中は継続して評価を行う。具体的には、所定の時間間隔やユーザに提示する質問毎に評価される。また、評価する場合には、前回までのユーザのパーソナリティ情報を基準に評価させることが望ましい。前回までのパーソナリティ情報を評価の対象にすることで、エージェントの表情を急変させずに段階的に変化させることができ、これによりユーザに違和感を与えないようにすることができる。また、ユーザが新たにソフトウェアを起動させた場合には、エージェントは最初に標準的な振る舞いをするようにする。

ここで、上述の内容に基づく本発明における情報提示手順の一例についてフローチャートを用いて説明する。

図９は、本発明における情報提示手順を示す一例のフローチャートである。図９において、まず、ソフトウェアが起動中であるかを判断する（Ｓ１１）。起動中である場合（Ｓ１１において、ＹＥＳ）、ユーザからの音声（応答情報）を入力する（Ｓ１２）。なお、Ｓ１２では、応答を得るためにエージェントからユーザに対して何かしらの問い合わせ（質問）がされる。

次に、上述したパーソナリティ評価を行う（Ｓ１３）。Ｓ１３の処理終了後、得られるパーソナリティ評価について前回の値と変化があったかを判断する（Ｓ１４）。前回の値と変化があった場合（Ｓ１４において、ＹＥＳ）、新しい評価パラメータを抽出する（Ｓ１５）。また、前回の値と変化がなかった場合（Ｓ１４において、ＮＯ）は前回のパラメータ値（パーソナリティ情報）に基づき、Ｓ１５の処理を行った場合は、Ｓ１５にて得られる新しいパラメータ値（パーソナリティ情報）に基づいてスクリプトを生成する（Ｓ１６）。生成したスクリプトは画面に表示出力する（Ｓ１７）。

また、Ｓ１７の処理が終了後は、Ｓ１１に戻りソフトウェアが起動中である場合は、継続してＳ１２以降の処理を行う。また、ソフトウェアが終了した場合（Ｓ１１において、ＮＯ）、処理を終了する。このとき、現在のパーソナリティ評価の結果をクリアする。

上述の手順により、前回の評価に基づいてユーザのパーソナリティ評価を継続的に行い、動的にエージェントの振る舞いを変化させることができる。

上述したように、第１の実施形態により、ユーザはエージェントに親近感を持ち、対話をスムーズなものにすることができる。更に、対話がスムーズになることで、ユーザから様々な情報を取得することができ、ユーザのニーズに即した高精度な情報の提示を実現することができる。

＜第２の実施形態：画像評価＞
第１の実施形態では、エージェントの質問に対応するユーザの音声による応答からパーソナリティ評価を行ったが、例えば、情報提示システムにユーザを撮影するカメラ等の撮像装置を備え、撮像装置からのユーザの映像を応答情報として入力し、その入力された情報に基づいてユーザのパーソナリティを評価することもできる。ここで、第２の実施形態として、画像認識によりパーソナリティ評価を行う情報提示システムの構成例について図を用いて説明する。

図１０は、第２の実施形態における情報提示システムの一構成例を示す図である。図１０の情報提示システム４０は、撮像装置４１と、画像認識装置４２と、画像処理装置４３と、情報提示装置４４と、表示出力装置４５とを有するよう構成されている。また、情報提示装置４４は、パーソナリティ評価部４６と、スクリプト生成部４７と、データベース４８と、エージェントコントローラ４９とを有するよう構成されている。

撮像装置４１は、ユーザの顔や全体の動きを取得するため、ユーザの映像を撮影するものでありカメラ等からなる。画像認識装置４２は、撮像装置４１から受信した画像を認識するものである。画像認識装置４２は、どのような表情でユーザが応答しているか、その表情の変化の様子を解析する。例えば、ユーザが応答中の眉毛の動きや目の動きや瞳孔の大きさの変化等を解析する。画像認識装置４２は、解析した結果を画像処理装置４３へ出力する。

画像処理装置４３は、ユーザの表情の変化レベル等を計測する。画像処理装置４３は、計測結果を情報提示装置４４のパーソナリティ評価部４６へ出力する。パーソナリティ評価部４６は、エージェントコントローラ４９から送られるユーザにエージェントを表示させた時間に関する表示時間情報と、スクリプト生成部４７から送られるスクリプトの質問に対する回答難易度情報と、入力された計測結果とに基づいて、ユーザがどのような気分、心理状態にいるかを数値化する。具体的には第１の実施形態に示すように、例えばユーザが現時点で支配的なパーソナリティ状態なのか、服従的なパーソナリティ状態なのかを評価し、更に、その状態の程度を評価する。評価したパーソナリティ情報をスクリプト生成部４７へ出力する。

スクリプト生成部４７は、パーソナリティ評価部４６により評価されたパーソナリティ情報に基づいてスクリプトを生成する。このとき、データベース４８には、様々な状況でのエージェントの振る舞いパターンが複数蓄積されている。スクリプト生成部４７は、入力されたパーソナリティ情報に対応させてデータベース４８から文章テキストＣＧキャラクタ等を取得して、生成されたスクリプトをエージェントコントローラ４９へ出力する。また、スクリプト生成部４７は、スクリプトに含まれる質問に対する回答難易度情報をパーソナリティ評価部４６に出力する。

エージェントコントローラ４９は、上記の評価により設定されたユーザのパーソナリティに応じたスクリプトを入力し、エージェントの振る舞いをコントロールして表示出力装置４５へ出力する。また、エージェントコントローラ４９は、
表示時間情報をパーソナリティ評価部４６に出力する。

表示出力装置４５は、ディスプレイ等の表示装置やスピーカ等の音声出力装置等からなり、エージェントコントローラ４９から入力される映像をディスプレイ等の表示画面に表示し、音声をスピーカ等から出力する。

＜表情の変化の様子＞
ここで、上述の画像認識において、ユーザの表情の変化を認識する例について、図を用いて説明する。図１１は、画像認識の具体例を示す一例の図である。図１１に示す画像は、顔画像から取得される眉毛５０の位置に基づいて画像認識を行うための図である。ここで、表情の変化の大きいユーザは支配的な性格が強く、表情の変化の少ない人は服従的な性格が強いとする。

図１１では、表情として変化する部位の変化幅を計測する。眉毛５０の角度を特徴量とし、変化Ａから変化Ｂの間が予め設定される変化幅“ＥＢＤｅｆ”とする。ここで、標準的な変化量を“ＥＢ_０”とすると、ＥＢｄｅｆ＜ＥＢ_０の場合、ユーザは服従的であるとする。また、ＥＢｄｅｆ＝ＥＢ_０の場合、標準であるとする。更に、ＥＢｄｅｆ＞ＥＢ_０の場合、ユーザは支配的であるとする。

このように、眉毛１００の変化に応じてパーソナリティを評価することにより、パラメータ値を設定し、スクリプト生成部４７で評価結果に対応するキャラクタ型エージェントの振る舞いを変化させたスクリプトを生成し、エージェントコントローラ４９に出力する。エージェントコントローラ４９は、入力したスクリプトによりキャラクタ型エージェントを制御して表示出力装置４５から表示する。

このように、撮像装置４１からユーザの表情に関する情報を継続的に取得してパーソナリティを評価することにより、ユーザからの応答をユーザに気づかれないように評価して、評価に応じてエージェントの振る舞いを動的に変更することができる。これにより、ユーザはエージェントに親近感を持ち、対話をスムーズなものにすることができる。更に、対話がスムーズになることで、ユーザから様々な情報を取得することができ、ユーザのニーズに即した高精度な情報の提示を実現することができる。

＜第３の実施形態：文字評価＞
更に他の実施形態として、キーボード等の入力デバイスを用いてユーザから応答情報を取得する方法がある。ここで、第３の実施形態として、文字認識によりパーソナリティ評価を行う情報提示システムの構成例について図を用いて説明する。

図１２は、第３の実施形態における情報提示システムの一構成例を示す図である。図１２の情報提示システム６０は、文字入力装置６１と、文字認識装置６２と、文字処理装置６３と、情報提示装置６４と、表示出力装置６５とを有するよう構成されている。また、情報提示装置６４は、パーソナリティ評価部６６と、スクリプト生成部６７と、データベース６８と、エージェントコントローラ６９とを有するよう構成されている。

文字入力装置６１は、キーボード等の入力デバイスからなり、エージェントからユーザへの質問情報に対して、ユーザから文字情報が応答情報として入力される。文字入力装置６１は、入力した文字情報を文字認識装置６２に出力する。また、文字入力装置６１にユーザのタイプ字の押圧力やタイプスピードや、誤タイプ数を計測できるものであれば、その情報も文字認識装置６２に出力する。文字認識装置６２は、ユーザからどのような文章が入力されたか、その内容の変化の様子等を解析する。例えば、ユーザの文体や単語の使用率、文脈の変化等を解析する。更には、誤タイプ率やタイプ時の所定期間内の平均押圧力を計測する。

文字認識部６２は、得られた結果を文字処理装置６３へ出力する。文字処理装置６３は、文字認識部６２から得られる結果からユーザの文脈や、タイプスピード、誤タイプ等の変化のレベルを計測する。文字処理装置６３は、計測結果を情報提示装置６４のパーソナリティ評価部６６へ出力する。

パーソナリティ評価部６６は、エージェントコントローラ６９から送られるユーザにエージェントを表示させた時間に関する表示時間情報と、スクリプト生成部６７から送られるスクリプトの質問に対する回答難易度情報と、入力された計測結果とに基づいて、ユーザがどのような気分、心理状態にいるかを数値化する。具体的には上述の実施形態に示すように、例えばユーザが現時点で支配的なパーソナリティ状態なのか、服従的なパーソナリティ状態なのかを評価し、更に、その状態の程度を評価する。評価したパーソナリティ情報をスクリプト生成部６７へ出力する。

スクリプト生成部６７は、パーソナリティ評価部６６により評価されたパーソナリティ情報に基づいてスクリプトを生成する。このとき、データベース６８には、様々な状況でのエージェントの振る舞いパターンが複数蓄積されている。スクリプト生成部６７は、入力されたパーソナリティ情報に対応させてデータベース６８から文章テキストＣＧキャラクタ等を取得して、生成されたスクリプトをエージェントコントローラ６９へ出力する。また、スクリプト生成部６７は、スクリプトに含まれる質問に対する回答難易度情報をパーソナリティ評価部６６に出力する。

エージェントコントローラ６９は、上記の評価により設定されたユーザのパーソナリティに応じたスクリプトを入力し、エージェントの振る舞いをコントロールして表示出力装置６５へ出力する。また、エージェントコントローラ６９は、
表示時間情報をパーソナリティ評価部６６に出力する。

表示出力装置６５は、ディスプレイ等の表示装置やスピーカ等の音声出力装置等からなり、エージェントコントローラ６９から入力される映像をディスプレイ等の表示画面に表示し、音声をスピーカ等から出力する。

第３の実施形態を適用することにより、上述した実施例と同様に、ユーザの表情を継続的に取得してパーソナリティを評価することにより、ユーザからの応答をユーザに気づかれないように評価して、評価に応じてエージェントの振る舞いを動的に変更することができる。これにより、ユーザはエージェントに親近感を持ち、対話をスムーズなものにすることができる。更に、対話がスムーズになることで、ユーザから様々な情報を取得することができ、ユーザのニーズに即した高精度な情報の提示を実現することができる。また、上述の実施例の他にもキーボード等の入力手段を用いてユーザから入力される文字情報に基づいてパーソナリティ評価を行うことができる。

なお、上述した実施形態は、組み合わせて適用しても同様の効果を得ることができる。また、上述の実施例に示すような情報提示システムにおける専用の装置構成により、本発明における上述した情報提示手順を行うこともできるが、上述したエージェントを用いた情報提示手順における各処理をコンピュータに実行させることができる実行プログラム（情報提示プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等に情報提示プログラムをインストールすることにより本発明における情報提示が実現可能となる。

上述したように本発明によれば、ユーザに表示されるキャラクタ型エージェントの振る舞いを、ユーザのパーソナリティ情報に対応させて変化させることにより、よりスムーズな対話を可能とする。つまり、ユーザ毎に振る舞いの変化の度合いに応じて動的に設定することで、いわゆる「気の利いた」振る舞いをすることができる。

また、ユーザは特別に何かを測定されているという疑念を持つことなく、キャラクタ型エージェントとの対話をスムーズなものにすることができる。更に、対話がスムーズになることで、ユーザから様々な情報を取得することができ、ユーザのニーズに即した高精度な情報の提示を実現することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

第１の実施形態における情報提示システムの一構成例を示す図である。 表示出力装置に表示されるエージェントの振る舞いの一例を示す図である。 本発明におけるユーザのパーソナリティを評価する手順を示す一例のフローチャートである。 エージェントからの質問内容に対応する回答難易度と基準時間の関係の一例を示す図である。 ＣＧエージェントの振る舞いの設定について説明するための一例の図である。 本発明における上述にＵｐ値に対応させたエージェントの発話内容と評価結果の様子を示す一例の図である。 スクリプトの具体的な生成例を示す一例の図である。 表示されたエージェントの変化の様子を説明するための一例の図である。 本発明における情報提示手順を示す一例のフローチャートである。 第２の実施形態における情報提示システムの一構成例を示す図である。 画像認識の具体例を示す一例の図である。 第３の実施形態における情報提示システムの一構成例を示す図である。

符号の説明

１０，４０，６０ 情報提示システム
１１ 音声入力装置
１２ 音声認識装置
１３ 音声処理装置
１４，４４，６４ 情報提示装置
１５、４５，６５ 表示出力装置
１６，４６，６６ パーソナリティ評価部
１７，４７，６７ スクリプト生成部
１８，４８，６８ データベース
１９，４９，６９ エージェントコントローラ
２１，３０ 表示画面
２２，３２ エージェント
３１ 床
４１ 撮像装置
４２ 画像認識装置
４３ 画像処理装置
５０ 眉毛
６１ 文字入力装置
６２ 文字認識装置
６３ 文字処理装置

Claims (7)

1. 画面上に表示されるキャラクタ型のエージェントとユーザとの対話により得られる該ユーザの応答情報から、前記エージェントの振る舞いを変更して前記ユーザに対して情報を提示する情報提示システムにおいて、
   前記応答情報を入力する入力手段と、
   前記ユーザに対する質問情報と、前記応答情報とに基づいて、ユーザ毎のパーソナリティを評価するパーソナリティ評価手段と、
   前記パーソナリティ評価手段により得られるパーソナリティ情報に基づいて、スクリプトを生成するスクリプト生成手段と、
   前記スクリプト生成手段により得られるスクリプトに基づいて、前記エージェントの振る舞いを制御して前記画面上に表示させるエージェント制御手段とを有することを特徴とする情報提示システム。
2. 画面上に表示されるキャラクタ型のエージェントとユーザとの対話により得られる該ユーザの応答情報から、前記エージェントの振る舞いを変更して前記ユーザに対して情報を提示する情報提示装置において、
   前記ユーザに対する質問情報と、前記応答情報とに基づいて、ユーザ毎のパーソナリティを評価するパーソナリティ評価部と、
   前記パーソナリティ評価部により得られるパーソナリティ情報に基づいて、スクリプトを生成するスクリプト生成部と、
   前記スクリプト生成部により得られるスクリプトに基づいて、前記エージェントの振る舞いを制御して前記画面上に表示させるエージェント制御部とを有することを特徴とする情報提示装置。
3. 前記応答情報は、音声情報、画像情報、文字情報の少なくとも１つからなることを特徴とする請求項２に記載の情報提示装置。
4. 前記パーソナリティ評価部は、
   前記応答情報が音声情報である場合、音声の応答時間、音声レベル、音声の抑揚レベルの少なくとも１つを用いて前記ユーザのパーソナリティを評価することを特徴とする請求項２又は３に記載の情報提示装置。
5. 前記パーソナリティ評価部は、
   前回までの評価で得られたパーソナリティ情報に基づいて、前記ユーザのパーソナリティを評価することを特徴とする請求項２乃至４の何れか１項に記載の情報提示装置。
6. 前記スクリプト生成部は、
   前記パーソナリティ情報に含まれるパラメータを予め生成されている雛型スクリプトの所定の位置に付与することによりスクリプトを生成することを特徴とする請求項２乃至５の何れか１項に記載の情報提示装置。
7. 画面上に表示されるキャラクタ型のエージェントとユーザとの対話により得られる該ユーザの応答情報から、前記エージェントの振る舞いを変更して前記ユーザに対して情報を提示する情報提示処理をコンピュータに実行させるための情報提示プログラムにおいて、
   前記ユーザに対する質問情報と、前記応答情報とに基づいて、ユーザ毎のパーソナリティを評価するパーソナリティ評価処理と、
   前記パーソナリティ評価処理により得られるパーソナリティ情報に基づいて、スクリプトを生成するスクリプト生成処理と、
   前記スクリプト生成処理により得られるスクリプトに基づいて、前記エージェントの振る舞いを制御して前記画面上に表示させるエージェント制御処理とをコンピュータに実行させるための情報提示プログラム。
   
   

Images