JPH0981632A

JPH0981632A - 情報公開装置

Info

Publication number: JPH0981632A
Application number: JP23580595A
Authority: JP
Inventors: Yasuyo Shibazaki; 靖代芝崎; Miyoshi Fukui; 美佳福井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-13
Filing date: 1995-09-13
Publication date: 1997-03-28

Abstract

(57)【要約】【課題】ユーザの感情を考慮した自然で円滑な対話を実
現することにより、ユーザの精神的負担を軽減すること
を可能する情報公開装置を提供する。【解決手段】テキスト、音声、画像およびポインティン
グ位置を含む複数の形態のデータを入力し、この入力し
たデータからユーザの意図および感情情報を抽出し応答
プランを作成してユーザへの応答を生成する情報公開装
置において、応答プラン作成部１０５の内部状態と、ユ
ーザの意図ならびに感情情報と、作成された応答プラン
の種別を含む対話状況情報の時間軸上の推移とからユー
ザの感情状態を認識するユーザ感情認識部１０６を具備
し、応答プラン作成部が、ユーザ感情認識部１０６の認
識結果にしたがって応答戦略を選択または変更し、その
応答戦略に合致した応答プランを作成することを特徴と
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、個人の所有するデ
ータを他人に公開する情報公開装置に係り、特にユーザ
である他人の意図と感情とを認識して適切な応答を行な
う情報公開装置に関する。

【０００２】

【従来の技術】近年、自然言語インタフェース/ マルチ
モーダルインタフェースなど、人間が有する情報伝達手
段を複数採用したヒューマンインタフェースの構築が盛
んに行なわれてきている。

【０００３】こうしたメディアの種類もさることなが
ら、対話を効率的に進める要因として話者間の感情伝達
が果たす役割が大きい。実際、電子メールのやりとり
で、話者間の文脈認識・発話意図解釈のズレから対話が
平行線を辿る例が少なくないという現状は、話者の心理
状況あるいは感情の抽出／認識／伝達を支援する装置の
必要性を表している。

【０００４】音声の意図・感情情報の認識理解や合成に
ついては、金澤等( 電子情報通信学会論文集D-II, Vol.
J77-D-II, No.8, pp.1512-1521) の研究やCahn等("Gene
rating Expression in Synthesized Speech", Technic
al Report, MassachusettInstitute of Technology, 19
90)の研究が既に報告されている。

【０００５】これらは、音声信号のピッチやアクセント
等の「音声律情報」に注目して、怒り、喜び、悲しみ、
同意、感心、つなぎ等の意図や感情情報を認識理解した
り生成したりするものである。

【０００６】また、テキスト中の感情を表現する文字列
から感情を認識する試みもある。藤本等によって、単語
単位の感情情報を数量化して登録した感情辞書を用いて
単語列に含まれる感情情報を抽出する方式（特公平６−
８２３７６）や、さらに構文解析結果に基づき前記感情
情報を変換する規則をもつ方式（特公平６−８２３７
７）等が提案されている。

【０００７】しかし、これらは、一文あるいは一発話に
含まれる感情を抽出するものであり、対話を通じてユー
ザの感情を認識するものではない。実際には、同じ発話
や言語表現を用いても、状況に応じてユーザの感情は違
うことが多い。また、ユーザによっても感情を表す発話
や言語表現は異なる。

【０００８】これに対して、物語の記述から登場人物の
感情を認識する試みもある。W.G.Lehnert 等("The Role
of Affect in Narrative Structure", Cognition and
Emotion, 1987, pp. 299- 322)の研究や、M.G.Dyer("Em
otions and their Computations: Three Computer Mod
els",1987,Lawrence Erlbaum Associates Limited)の研
究が報告されている。これらは自然言語で記述された文
章から状況を認識し、登場人物の感情状態を推論するも
のである。しかし、感情を表す言語表現や状況は物語の
記述から抽出され、登場人物の発話や対話の内容のみを
用いた感情や状況の認識は行なわれていない。

【０００９】談話構造モデルをもちユーザの発話意図に
対して適切な応答を生成する対話システムの研究も行わ
れている。テキストの対話では、住田等( 「質問応答シ
ステムにおける応答の自然性に関する考察」, 信学技報
NLC86-16, pp.25-32, 1986)や浮田等( 「自然言語入力
による機器操作案内システム」, 信学技報OS88-18, pp.
13-18,1988) の研究、音声では、荒木等( 「対話の構造
と単語の概念を利用した発話の理解」、情報処理学会第
42回全国大会,3, pp. 61-62 ,1991)の研究等がある。こ
れらは、ユーザの発話あるいは入力テキストから状況に
応じたユーザの意図認識を行ない適切な応答を生成する
ことを目的とするものである。しかし、ユーザの感情認
識は行なっていない。

【００１０】さらに、特願平７−８６２６６に記載され
た情報公開装置及びマルチモーダル情報入出力システム
では、感情認識は1 文あるいは1 発話に含まれる感情情
報を利用して決定しているが、対話の状況に関する情報
は利用していない。

【００１１】

【発明が解決しようとする課題】このように、従来の情
報公開装置には、ユーザの感情を対話の状況に基づいて
解析する手段がなかった。このため、ユーザの感情を考
慮した応答生成が困難になり、対話がちぐはぐになって
ユーザの意図が正しく理解できないなど、ユーザに無用
な精神的負担を与えていた。

【００１２】本発明は、このような実情に鑑みてなされ
たものであり、対話の状況にしたがって発話者の感情を
認識し、ユーザの感情を考慮した自然で円滑な対話を実
現することにより、ユーザの精神的負担を軽減すること
を可能する情報公開装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明は、テキスト、音
声、画像およびポインティング位置を含む複数の形態の
データを入力する入力手段と、この入力手段により入力
されたデータからユーザの意図および感情情報を抽出す
る抽出手段と、この抽出手段の抽出結果に基づいて応答
プランを作成する応答プラン作成手段と、この作成され
た応答プランに基づいて前記ユーザへの応答を生成する
応答生成手段とを有する情報公開装置において、前記応
答プラン作成手段の内部状態、前記抽出されたユーザの
意図ならびに感情情報、および前記作成された応答プラ
ンの種別を含む対話状況情報の時間軸上の推移から前記
ユーザの感情状態を認識する感情認識手段を具備し、前
記応答プラン作成手段は、前記感情認識手段の認識結果
にしたがって応答戦略を選択または変更し、その応答戦
略に合致した応答プランを作成することを特徴とする。

【００１４】本発明によれば、音声、テキストおよび画
像などの複数形態の入力と、対話の状況とからユーザの
感情状態を認識し、適切な応答をすることが可能とな
る。すなわち、本発明によれば、ユーザが怒っている状
態の場合は、「平謝り」、「仲裁」、「喧嘩の買い言
葉」など、焦っている場合は、「迅速な対応」、「他の
手段の紹介」など、ユーザをプラスやマイナスの感情へ
導く応答を生成することができる。これにより、ユーザ
への応答のバリエーションを多数生成しうる場面におい
て、従来、画一的あるいはランダムに決定されていた応
答を、ユーザの感情を鑑みて決定することができ、より
自然な応答生成が実現できる。

【００１５】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１６】（第１実施形態）まず、本発明の第１実施
形態を説明する。

【００１７】図１は第１実施形態の情報公開装置の機能
ブロック図である。

【００１８】図１に示したように、同実施形態の情報公
開装置１０は、入力部１０１、データ記憶部１０２、デ
ータ検索管理部１０３、要求受付部１０４、応答プラン
作成部１０５、ユーザ感情認識部１０６および応答生成
部１０７を有してなる。

【００１９】入力部１０１は、テキスト、画像および音
声などといったユーザのデータを入力する。データ記憶
部１０２は、情報公開装置１０にアクセスができるユー
ザのリスト、各ユーザの情報提供者との関係、ユーザの
応答規則（テキスト、音声など）、およびユーザの履歴
などを記憶する。データ検索管理部１０３は、データ記
憶部１０２に記憶されているデータからユーザ情報を取
り出す。

【００２０】要求受付部１０４は、たとえばネットワー
クなどの通信手段を介して入力部１０１が入力したテキ
スト、画像および音などといったユーザのデータを受け
付けて、そのユーザの意図を抽出する。ユーザ感情認識
部１０６は、要求受付部１０４で抽出した意図と、要求
受付部１０４で受け付けたテキスト、画像および音声な
どのデータとからユーザの感情を抽出する。

【００２１】応答プラン作成部１０５は、要求受付部１
０４で抽出した意図とユーザ感情認識部１０６で抽出し
たユーザ感情とから応答プランを作成する。応答生成部
１０７は、応答プラン作成部１０５で作成した応答プラ
ンから応答を生成して出力する。

【００２２】以下に同実施形態の動作を説明する.ここ
では、情報を公開し提供する者を情報提供者と呼び、情
報公開装置にアクセスし情報を得ようとする者をユーザ
と呼ぶ。また、情報公開装置をエージェントと呼び、さ
らにユーザがエージェントにアクセスした目的を対話目
的、感情を表現する言葉を感情語と呼ぶ。

【００２３】図２を参照して同実施形態の情報公開装置
の動作手順を説明する。

【００２４】ユーザは、たとえばウィンドウベースのイ
ンタフェースによりテキスト文でエージェントにアクセ
スする。ここでエージェントは、このアクセスに対しユ
ーザの登録有無を確認し、登録されてなければ対話を拒
否する（図２のステップ２０１）。

【００２５】ステップ２０２で、エージェントは、ユー
ザ情報を検索する。すなわち、ユーザの性格、情報提供
者との社会的関係、および信頼関係などを対人情報デー
タベースから検索する。そして、ステップ２０３で、ユ
ーザの発話意図を抽出し、テキスト文あるいは音声に含
まれた感情語を形態素解析により抽出し、ステップ２０
４で、入力で用いられた感情語からユーザの感情を推定
する。なお、テキスト文や音声文に含まれる感情語のみ
でユーザの感情を推定することは困難なので、同実施形
態では、たとえば感情語からの感情抽出と、対話展開に
そった文脈感情の抽出との双方からユーザの感情を認識
することとする。

【００２６】たとえば、予め感情語は、感情の種類やそ
の言葉がもつ尤度やインパクトとともに辞書に登録して
おく。そして、ユーザ感情認識部１０６でテーブル形式
で保持している対話回数から感情を類推した対話回数感
情モデル（図３参照）を用いて、（期待）／（不安）／
（余裕）／（焦燥）／（感謝）／（納得）／（諦め）／
（怒り）などの対話から発生する感情を推定し、感情語
の意味が対話段階の感情に合致しているかを確認する。
なお、このモデルでは対話回数に応じて感情を設定する
が、対話回数と感情の指定はユーザモデルに拠ってもよ
い。たとえば、ユーザモデルにおける短気の程度を５段
階で表し、短気度が５だった場合各感情の標準回数から
１だけマイナスして設定する、などとする。

【００２７】この方法において、たとえば感情語が曖昧
性の高い言葉の場合、図４に示すように対話段階に相当
する感情を加味する。対話回数モデルの感情が（不安）
／（期待）のとき、［あのね；期待（５，１），焦燥
（５，８）；］が含まれていたら,(期待) の尤度を上げ
るなどの修正がある。あるいは、対話段階にそぐわない
感情がきた場合、満足／不満足を傾向として反映するた
め、対話回数感情モデルに沿った感情の尤度を上げる。
たとえば、対話回数感情モデルが（焦燥）の感情を指し
ているとき、［ばか；怒り（９，８）；］がテキスト文
に含まれていたら、不安の尤度を上げて怒りの尤度を下
げる。このような修正後、尤度×インパクトの値で感情
を特定する. たとえば、Ｗ１＝４０、Ｗ２＝６０などと
して、尤度×インパクトがＷ１とＷ２との間なら（対話
回数＋１）に相当する対話回数感情、Ｗ２以上なら（対
話回数＋２）に相当する対話感情、などとする。

【００２８】あるいは、感情の分布を［余裕−焦燥］、
［満足−不満］および［受容−拒否］から成る３次元空
間に配置し、感情語をこの３次元空間の座標で表し、各
軸の値とともに辞書に登録しておく。

【００２９】たとえば、感情語の［余裕−焦燥］、［期
待−不満］および［受容−拒否］の各度合を検索した
後、エージェントとユーザとの発話意図の組合せによ
り、各軸の度合を修正する。

【００３０】たとえば、感情語を［うっそぉ（余裕：−
４，期待：−３，受容：−２）］のように辞書登録し、
エージェントが謝罪、ユーザが要求という発話意図の組
合せのとき、感情語の余裕度と受容度とを−２にする。
あるいは、発話意図が肯定であった場合に、受容度の低
い感情語がはいってきたら、受容度を＋２などとする。
そして、修正した値を各条件にあてはめて感情を特定す
る。この修正条件は、ユーザ感情認識部１０６の中にテ
ーブルとして保持している。

【００３１】修正条件の例を図５に示す。修正結果か
ら、たとえば図６のような条件で感情語が表現する感情
を特定する。

【００３２】たとえば、図７の対話において、［うっそ
ぉ（余裕：−４，満足：−３，受容：−２）］という感
情語が登場した場合、発話意図の組合せから、［うっそ
ぉ（余裕：−６，満足：−４，受容：−３）］）とな
る。図６から、感情語が表現する感情は怒りと推定され
る。

【００３３】図２のステップ２０５では、ステップ２０
４での感情語結果を受け、対話におけるユーザの感情を
分析する。

【００３４】また、発話意図から、ユーザの対話目的を
［依頼］、［確認］および［命令］などに分類すること
ができる。そして、その目的達成の進捗に応じて、感情
の推移が設定できると考えられる。ここでは、これを感
情推移モデルと呼ぶことにする。

【００３５】たとえば、［依頼］の場合、アクセス段階
でのユーザの感情には（期待）が大きい。また、最終的
には依頼の結果を得たユーザが、（満足）および（感
謝）の感情で対話を終了するのが理想である。しかし、
不足情報が多くエージェントが補填質問をｎ回繰り返す
うちに、ユーザには（不安）や（不信）といった感情が
芽生えると思われる。また、意図が認識されていない、
あるいはエージェントが提示した結果が見当外れであ
る、などをｍ回繰り返すうちに、ユーザの感情は（不
信）、（焦燥）および（落胆）が支配するようになる。
さらに、対話総数ｋ回にいたっても意図した結果が得ら
れない場合、（困惑）や（怒り）が色濃くなる。対話終
了時のユーザの感情が（困惑）や（怒り）に達した場
合、エージェントは信頼性を失墜したことになる。この
状況を回避するため、エージェントは釈明／謝罪などの
応答生成プランを加える。図８に例を示す。

【００３６】［確認］の場合、アクセス段階でのユーザ
の感情（期待）は、［依頼］時よりも小さいと思われ
る。また、確認を終えたユーザの感情は、（納得）、
（満足）および（感謝) といった感情で対話を終了する
のが望ましい。［依頼］と同様、意図伝達が滞った場
合、（焦燥）の感情が生じるが、それは最終的に（諦
め）といった自己収束的な感情に移行すると考えられ
る。図９に例を示す。

【００３７】［命令］の場合、アクセス段階でのユーザ
の感情は、［依頼］時よりも期待がさらに大きい。ま
た、対話終了時のユーザ感情は、（満足）や（信頼）が
望ましい。また、目的達成に時間がかかると（焦燥）、
達成されないと（怒り）など、感情が大きく振れること
が予想できる。この状況を回避するため、エージェント
は釈明／謝罪などの適切な応答生成プランを加え、感情
の振れを小さくするように努める。図１０に例を示す。

【００３８】以上のような対話目的に応じた感情推移モ
デルは、ユーザ感情認識部１０６の中にテーブルとして
保持している。このテーブルの数値は、ユーザモデルに
登録されたユーザの性格（短気）などにより決定する。
たとえば、ユーザモデルの短気の程度を５段階で表し、
短気度が５だった場合に各感情の標準値から１だけマイ
ナスして設定する、などとする。

【００３９】例として、図１１のような意図獲得段階、
不足情報獲得段階、および回答提示段階の３段階からな
る談話遷移モデルを用いて、対話目的が［依頼］の感情
推移モデルのルールを示す。ここでは、アクセス時の感
情は（期待）とする。

【００４０】意図獲得段階でユーザに意図確認をし、Ｙ
ＥＳの回答を得れば成功、ＹＥＳ以外を失敗と見なす。
そして、成功数＋失敗数＝Ｆ１とする。Ｆ１＝−２にな
ったとき（不安）へ移行し、−４で（焦燥）、−６で
（困惑）と設定する。

【００４１】また、不足情報獲得段階での成功数＋失敗
数＝Ｆ２とする。Ｆ２が−２のときに（焦燥）、−４で
（困惑）、−６で（怒り）とする。

【００４２】そして、回答提示段階での成功数＋失敗数
＝Ｆ３とする。Ｆ３＝−１で（落胆）、−２で（困
惑）、−３で（怒り）などとする。

【００４３】もし、意図獲得段階で（焦燥）まで進んで
不足情報獲得段階になった場合（Ｆ１＝４）、Ｆ２−２
として（焦燥）から推移をスタートする。また、意図獲
得段階と不足情報獲得段階との失敗数の合計が−３以上
ならば、回答提示段階では（落胆）から、−５以上なら
ば（困惑）からスタートする、などとする。

【００４４】また、対話文に感情語が含まれていた場
合、図１１に示した感情語の分析結果を感情推移に反映
する。

【００４５】たとえば、図１２に示すように、（不安）
＝−１、（期待）＝＋１、（焦燥）＝−２、（余裕）＝
＋２、（困惑）＝−３、（納得）＝＋３、（怒り）＝−
４、（感謝）＝＋４などとした感情対応テーブルを感情
推移プラン記憶部に設けておく。

【００４６】いま、（推移モデル数値）−（感情語数
値）の値の絶対値をｓとし、談話遷移モデルの各段階の
失敗数＋成功数をＦで表す。そして、このテーブルを用
いて感情推移モデルの感情、感情語の感情をそれぞれ数
値で表す。（推移モデル数値）×（感情語数値）＜０だ
ったならば、感情語の表現と文脈が異なると判断し、感
情語の表現は無視する。あるいはここで、ユーザの感情
を確認してもよい。

【００４７】また、（推移モデル数値）×（感情語数
値）＞＝０だったならば、感情語と文脈は一致してお
り、（推移モデル数値）−（感情語数値）の値の絶対値
ｓ＝＝２で、（推移モデル数値）＞０ならばＦ＋１、
（推移モデル数値）＜０ならばＦ−１とする。あるい
は、Ｓ＝＝３で（推移モデル数値）＞０ならばＦ＋２、
（推移モデル数値）＜０ならばＦ−２とする。

【００４８】この結果、Ｆが属している感情をユーザ感
情として特定する。

【００４９】また、同じ感情語でも音声あるいはテキス
ト文により感情の種類や意味が異なることが考えられ
る。特に音声は、リアルタイムでユーザの感情を表現し
ている。そこで、音声に含まれた感情語を以下のように
処理することが可能である。

【００５０】たとえば、金澤等( 電子情報通信学会論文
集D-II, Vol.J77-D-II, No.8, pp.1512-1521) の研究
は、音声信号のピッチやアクセント等の非言語情報であ
る「音声律情報」に注目して、怒り、喜び、悲しみ、同
意、感心、つなぎ等の意図や感情情報を認識理解する手
法に関するものである。

【００５１】エージェントとの対話中にユーザが発する
［あーあ］や［えー］といった非言語情報を持つ感情語
のうち使用頻度が高い感情語に対して、［余裕−焦
燥］、［満足−不満］および［受容−拒否］の各度合を
登録して辞書を作成する。［なにそれ］や［わからな
い］など言語情報をもつ感情語の音声認識は、たとえ
ば、竹林等( 電子情報処理学会論文誌、D-11,Vol. J77-
D-11,No8,pp1417-1428 等) の従来手法を用いて行な
う。１つの発声に対して、言語情報音声認識と非言語情
報音声認識との両方の結果を用いて感情認識を行なう方
法は、前述の特願平７−８６２６６に詳しいので割愛す
る。

【００５２】感情語の語彙や感情の種類などの情報は、
テキスト文の感情語辞書の内容で併用してもよい。ま
た、言語情報音声認識と非言語情報音声認識の組み合わ
せによりユーザの感情を定義する感情語定義辞書を用い
てもよい。

【００５３】また、１対話対のユーザの感情を分析する
と、応答文表示中にはエージェントの表示内容に対して
反射的に生じる感情が生じ、入力時には自身の操作手順
などに対して生じる感情や対話全体への感想などが発せ
られる場合が多い。そこで、１対話対の進行をユーザが
テキスト文を入力しエージェントの応答を待つ入力中と
エージェントの応答文が表示される表示中に分類し、ユ
ーザがどちらのタイミングでどの感情語を発したかの分
析により、１対話対におけるユーザの感情を推定する。

【００５４】分析方法としては、たとえば入力中と表示
中にそれぞれ発せられた感情語の［余裕−焦燥］、［満
足−不満］および［受容−拒否］の各度合を集計して平
均値を算出する。表示中の感情語の平均値から入力中の
感情語の平均値をマイナスした各度合の値の組合せから
図１３のような感情に設定し、さらにそれぞれの感情に
対し［期待：＋１、不安：−1 、余裕：＋２、納得：＋
２、焦燥：−２、困惑：−２、感謝：＋３、怒り：−
３］などと数値を与える。これにより、対話対における
ユーザの感情を推定して数値化することができる。

【００５５】その他にも、前述の発話タイミングに着目
し、[ 余裕−焦燥］、［満足−不満］および［受容−拒
否］のうち、表示中は［満足−不満］と［受容−拒否］
の値を集計し、入力中は［余裕−焦燥］と［満足−不
満］の値を集計し、各度合の集計値を集計語数で割り平
均値を求める方法があり、この平均値と図１３から対話
対におけるユーザ感情を推定する、などがある。

【００５６】さらに、この音声感情とテキスト文の感情
を整合する。

【００５７】たとえば、テキスト文から推定した感情Ｆ
も［期待：＋１、不安：−１、余裕納得:+2 、焦燥：−
２、困惑：−２、感謝：＋３、怒り：−３］で音声感情
同様に数値化し、Ｅ＝（テキスト文感情（ｎ）−テキスト文感情（ｎ−
１））＋（音声感情（ｎ）−音声感情（ｎ−１））ｎ＝現在の対話回数の計算式から、対話の進行における感情の流れを把握す
る。たとえば、図１４のように感情を設定し、Ｅを満足
度とする。対話回数が５回目でそれまでのユーザの感情
が不安である時、Ｅ＜０であれば焦燥、Ｅ＝＝０であれ
ば困惑、Ｅ＞０であれば楽観、などと推定する。

【００５８】また、テキスト文に比べ音声はユーザのよ
り潜在的な感情を表すと考え、音声感情の優先度を高く
する方法も考えられる。たとえば、（テキスト文感情の
数値×音声感情の数値）が０以下の場合、テキスト文感
情（ｎ）＝テキスト文感情（ｎ）＋音声感情（ｎ）と
し、Ｅを計算する、などがある。

【００５９】以上のような手法で、感情語と感情推移モ
デルを用いて対話の状況に応じたユーザの感情を推定す
ることが可能である。

【００６０】（第２実施形態)次に、本発明の第２実施
形態を説明する。

【００６１】同実施形態では、ユーザの意図入力に対し
て複数の応答を生成しうる対話装置において、感情認識
結果を用いて適切な応答を選択、生成する手法を示す。

【００６２】図１５は同実施形態の情報公開装置の機能
ブロック図である。

【００６３】入力部２０１は、たとえばネットワークな
どの通信手段を介して、テキスト、静止画像、動画像お
よび音声などの入力を受け付ける。また、ネットワーク
を介さず、直接キーボードやマウス、マイク、カメラ等
の入力デバイスから直接受け付けても良い。

【００６４】意図感情情報抽出部２０３では、入力に含
まれる意図や感情を表す表現を抽出し、その結果を、た
とえば意味表現に変換するなどして感情認識部２０３と
応答プラン作成部２０４とへ送る。

【００６５】応答プラン作成部２０４では、意図感情情
報抽出部２０２で抽出したユーザの意図や感情に対し
て、適切な応答を作成するため、予め格納された知識や
ルールなどを用いて計画する。たとえば、対話の状態を
表す対話遷移モデルを用意して、抽出されたユーザの意
図により応答プランを作成する。また、感情認識部２０
３の結果や履歴記憶部の内容により応答プランを変更す
る。

【００６６】感情認識部２０３では、意図感情情報抽出
部２０２で抽出された感情情報と、応答プラン作成部２
０４や履歴記憶部内の対話遷移状態により、ユーザの感
情を認識する。

【００６７】応答生成部２０５では、応答プラン作成部
２０４で決定された応答プランにしたがって、たとえ
ば、テキスト、音声、静止画像および動画像などのデー
タで、またはこれらを組み合わせたものとして、応答を
生成する。

【００６８】図１６は、図１５で示した構成にユーザ情
報記憶部２０６と履歴記憶部２０７とを加えたものであ
る。

【００６９】ユーザ情報記憶部２０６は、ユーザの性格
（パーソナリティ）や社会的な役割、当該装置への慣れ
などに関するユーザ情報、および複数のユーザ間の社会
的あるいは個人的な対人関係情報などが登録してある。
感情認識部２０３や応答プラン作成部２０４は、ユーザ
情報記憶部２０６の内容にしたがって、ユーザごとに感
情の認識方法や作成する応答プランを変更する。

【００７０】履歴記憶部２０３では、応答プラン作成部
２０４の対話遷移モデルに対応させてユーザの意図や感
情認識結果、システムの生成した応答など、および、そ
れらの意味表現を記憶する。

【００７１】図１７は、入力部２０１および応答生成部
２０５と、感情認識部２０３や応答プラン作成部２０４
とを別のプロセス（２０９ａ、２０９ｂ）にし、データ
通信部２０８ａ〜２０８ｂを介してデータの受け渡しを
行なうものである。

【００７２】図１８は、入力部２０１と意図感情情報抽
出部２０２とを音声とテキストで分離させたものである
（２０１ａ〜２０１ｂ、２０２ａ〜２０２ｂ）。

【００７３】図１９に同実施形態の動作手順を示す。ま
た、図２０に同実施形態の応答の例を示す。

【００７４】はじめに、対話を希望するユーザがアクセ
ス開始の操作を行なう。たとえば、図２０に示すような
ウィンドウベースのインタフェースで、ユーザがテキス
ト入力可能なウィンドウ内でコマンド列「ｐｉｐｙａ
ｍａｍｏｔｏ」と入力するなどである。

【００７５】同実施形態では、コマンドｐｉｐによっ
て、たとえば人間の代わりに情報を対話的に公開する機
能をもつ。

【００７６】ここで、情報公開装置とのアクセスが開始
されるとする。たとえば、図２０に示すように、左上に
情報公開エージェントの画像、左下にユーザ自身の画像
が表示され、右のウィンドウでユーザとエージェントの
対話をテキストベースで行なう。情報公開装置の動作に
関しては、特願平７−８６２６６に詳しいので割愛す
る。なお、本発明は、対話装置の主機能をこの情報公開
装置に限定するものではなく、たとえばデータベースサ
ービスなどのような不特定の情報要求者への情報提供サ
ービスにも応用可能である。

【００７７】アクセス開始後、システムは最初の応答プ
ランを作成する。応答プラン作成部２０４では、たとえ
ば、要求対応に関して図２１に示すような対話遷移モデ
ルにしたがって処理を行なう。図２１の太枠楕円で表さ
れる状態では応答プランを作成し、破線枠楕円の状態で
は意図を解析する。

【００７８】図２１の対話遷移モデル例では、ユーザと
の対話をシステムとユーザとが共有する情報の深さで分
類した４つの段階で表している。レベル０は、ユーザの
要求の種類を獲得するレベルを表す。レベル１は、ユー
ザの要求を実行するために必要であればユーザのもつ情
報を獲得する段階を表す。レベル２では、実行前にシス
テムが行なう操作をユーザに確認する必要がある場合
に、ユーザに確認をとる。レベル３では、実際に操作を
行ない結果をユーザに報告する。

【００７９】ＳＴＡＲＴ状態では、挨拶のための応答生
成プランを、次に要求獲得状態で要求獲得のための応答
プランを作成する。要求獲得状態では、ユーザに要求の
入力を促す応答プランを作成する。要求が入力されない
場合は要求獲得状態に戻る。入力された要求の尤度が低
い場合は、要求確認状態で要求の種類を確認する応答プ
ランを作成する。

【００８０】尤度がある程度以上である要求が獲得でき
たら、確認はせずに要求の実行条件をチェックする。実
行条件が要求ごとに異なる場合は、たとえば図２２に示
したような要求の種類ごとに尤度や実行条件を指定する
ためのリスト（実行条件リスト）を用意しておき参照す
る。

【００８１】また、要求ごとに実行条件をチェックする
優先順位を変える場合や、実行条件が満たされない場合
の遷移先を変える場合も、図２２に示すように同様の方
法で実現できる。

【００８２】たとえば、要求がスケジュールの参照など
の場合は、スケジュールの検索条件が獲得できているか
をチェックする。たとえば、図２２では、日付（ｄａｔ
ｅ）がユーザによって指示されているか、あるいは、項
目種類（ａｃｔ）、タイトル、場所、週および月のうち
の２つ以上の条件が指定されていれば、検索を実行す
る。検索条件が不足している場合は、検索を実行する前
に、情報獲得状態に遷移し、不足する情報の入力を促す
ような応答プランを作成する。情報獲得状態は、レベル
０より対話の内容が深まったレベル１に分類する。要求
が他ユーザへの伝言などの場合、まだ伝言内容が獲得さ
れていなければ情報獲得状態で伝言内容を獲得する応答
プランを作成する。

【００８３】ユーザの要求が直接対話（ユーザ同士で直
接に対話する）の場合、相手のユーザに連絡がとれるか
を調べ、とれない場合は実行条件が満たされないため、
謝罪などの応答プランを作成し要求獲得状態に戻る。

【００８４】必要な情報が獲得されている場合、事前承
認が必要な要求の場合は事前承認状態に遷移する。たと
えば、伝言の場合は伝言を記録する前にユーザに対して
伝言内容の確認を行なう応答プランを作成する。

【００８５】すべての条件が満たされたら、要求実行状
態に遷移する。たとえば、スケジュールの検索を行な
い、その結果をユーザに呈示する応答プランを作成す
る。あるいは、検索の失敗など、要求が実行できない場
合は、その旨を伝えて謝罪するなどの応答プランを作成
する。この要求実行はレベル３とし、実行後は、対話終
了要求の実行以外は次の要求獲得のために要求獲得状態
に遷移し、レベルは０に戻る。

【００８６】このように図２１では、ユーザとの対話の
遷移をユーザとシステムとの情報共有段階で分類した
が、その他にも、段階数を増減したり、ユーザの意図の
種類や要求の種類ごとに分類したり、状態の分類は行な
わないなどの方法もありうる。分類を行なわなければ感
情認識部２０３や応答生成部２０５で、状態名をそのま
ま用いて処理を記述することになるが、その分、細かく
処理を変えることができる。逆に、分類することによ
り、対話履歴記憶や感情認識、応答生成等の処理を分類
項目ごとに記述できるというメリットが考えられるが、
それだけでは処理が大まかになりすぎる嫌いもある。図
２１の分類方法では、情報の共有段階によりシステムの
失敗や成功がユーザに与える心理的影響が異なる場合に
特に効果的である。

【００８７】応答プラン作成部２０４では、たとえば図
２３に示すような形で図２１の対話遷移モデルのレベル
情報にしたがって履歴記憶部２０７に履歴を記録する。
図２３の矩形ひとつひとつが対話履歴の１単位を表す。
図２３の例では、対話履歴の１単位は図２１の応答プラ
ン作成状態を通るごとに作成されるため、必ず１つ以上
の応答プランが含まれる。また、応答プラン作成状態に
到達する直前に意図解析状態を経過した場合は、ユーザ
の入力した意図情報も含まれる。例えば、意図解析や、
条件判断、要求実行等の各段階で、要求種類、成功、失
敗、遷移先などに応じて得点が与えられ、履歴記憶部２
０７に記憶される。

【００８８】ユーザの発話意図の抽出は、たとえば以下
のような手順で実現される。

【００８９】ユーザは、たとえば、図２０のテキストウ
ィンドウにキーボードなどの入力デバイスを用いて文章
を入力する。意図感情情報抽出部２０２では、入力され
たテキスト文から、まず図２４に示すようなユーザの発
話意図を抽出する。発話意図のうち要求は、たとえば図
２５に示すような種類の要求を受け付けるとする。

【００９０】まず、ユーザの入力は形態素解析され、単
語ごとに区切られ品詞情報を付加される。要求がスケジ
ュールや文書の参照の場合、人名、地名、数字、固有名
詞などの単語の抽出が不可欠である。

【００９１】次に、図２６に示すようなキーワード辞書
を用いたマッチングを行なう。キーワード辞書には、１
キーワードあたり１つ以上のカテゴリ候補が記述されて
いる。カテゴリ候補は、たとえば尤度や強度等が指定さ
れている。また、カテゴリ名に加えて属性名（ｔａｉ
ｌ、ｅｎｄなど）や項目が付加されているものもある。
たとえば、「今度の会議の予定わかる？」と入力された
とする。図２６の辞書によれば、「今度」はｔｅｎｓｅ
（時制）、「会議」はａｃｔ（項目種類）のカテゴリに
含まれ、「予定」はスケジュールに含まれることがわか
る。キーワード「会議」には、ａｃｔｔａｉｌというカ
テゴリの候補もある。ａｃｔｔａｉｌは名詞のあとにつ
く場合「○○会議」というように会議名を表すという属
性を示すが、この例文では形態素解析の結果、直前に名
詞がないためａｃｔの方が採用される。

【００９２】これらのキーワードの尤度から文の意図が
決定される。この例では意図を表すキーワードはない
が、図２５の要求対象としてスケジュールが含まれるた
め、意図は「要求」とする。発話の意味表現は、たとえ
ば図２７に示すような書式で表現され応答プラン作成部
２０４へ送られる。

【００９３】テキストに含まれる感情情報は、第１実施
形態に示すような感情語辞書を用いて以下に示すような
手法でユーザの入力文から抽出し、感情認識部２０３と
応答プラン作成部２０４へ送られる。

【００９４】同実施形態の対話装置は、主にユーザの要
求実行を目的とするものなので、依頼に関する感情認識
手法について述べる。なお、一般的な感情を分類する試
みは他にも多数行われている（福井泰之：感情の心理
学、川島書店）。たとえば、［快−不快］、［強度］お
よび［方向（指向性）］などの３軸に対応させる研究が
見られる。

【００９５】たとえば、相手に依頼（命令）する際に伴
なう感情に限定し、［快−不快］に加えて、［余裕−切
迫］と［受容−拒否］を採用するとする。［快−不快］
は、主に、システムの応答内容やユーザの予測、実際の
結果などに対するユーザの評価を表す感情の軸とする。
［余裕−切迫］は、主に時間的な制約などユーザ自身の
状況やパーソナリティから決まる要求達成欲と実際の達
成状況の差分に伴なう感情の軸とする。［受容−拒否］
は、システム自身やその応答をユーザが受け入れるかど
うかを表す感情の軸とする。図２８に以上の３軸の概略
を示す。

【００９６】入力文に含まれるユーザの感情は、前述し
た３軸から構成される空間上の座標値をもつとする。た
とえば、それぞれの軸上の最大値を５、最小値を−５と
して、図２７に示した入力文１の「ちょっと」は、［余
裕−切迫］、［快−不快］および［受容−拒否］の軸上
で、（−２，−１，−１）の座標値をもつと定義する。
また、「お願い」は（−２，１，１）、語尾の「あるん
だけど」は（−１，−１，−１）とし、入力文３の「か
な」は（３，−１，１）、入力文４の「悪いけど」は
（−２，−２，０）とする。これらの値を１文ごとに平
均をとる。すると、入力文１の感情表現情報は（−２，
−１，−１）となる。

【００９７】また同様に、前述した３軸上の領域に、実
際に依頼のタスクでみられる感情名を、たとえば図２９
のように割り当てる。感情領域同士は重なりがあっても
よい。たとえば、図２９の領域が示すように、「諦め」
は不快ではあるが、結果を受容しており、余裕のある感
情領域を表すとする。「納得」は、あまり不快ではなく
結果を受容している点が「諦め」と若干異なる。「焦
燥」は、状況が切迫している。「期待」と「不安」は、
どちらも少し切迫しており、まだ状況を受容も拒否もし
ていないが、予測したシステムの動作に対して、快であ
れば「期待」、不快であれば「不安」としている。

【００９８】それぞれの領域は、システム管理者などの
ユーザが定義し直せるようにすることも可能である。た
とえば、図２９のようなグラフィックスインタフェース
を用意して、マウスなどのポインティングデバイスで指
示させてもよい。また、図３０に示すように、それぞれ
の領域をテーブルなどで指定してもよい。

【００９９】前述した３軸の値から、たとえばユーザの
システムに対する「許容度＝満足度」として、ユーザの
感情状態を定義する。これはプラス（満足）かマイナス
（不満）かの値をもつ。たとえば、快であっても非常に
状況が切迫している場合は、システムに対する満足度は
低い。また、余裕があってもシステムの応答が不快感を
あおれば、満足度が低くなる。逆に、結果が得られない
場合でも、余裕がある場合は満足度はそう低くならな
い。すなわち、たとえば、３軸の値の平均値をとる、ま
たは最低値と最高値を比べて絶対値の大きい方を採用し
他の２軸の平均値を加える、といった処理を行なって決
定する。

【０１００】感情認識部２０３では、履歴記憶部２０７
に格納された図２３のような対話履歴とユーザの意図お
よび満足度から、ユーザの感情を認識する。

【０１０１】満足度を用いると、図１４で示したよう
に、ユーザの感情は、対話の推移につれていくつかのパ
ターンで記述される。「期待」、「不安」および「楽
観」などの各感情は、図１４中の文字の周囲に、ある範
囲をもって定義されるとする。実際は、「期待半分不安
半分」の状態も考えられ、ユーザの感情は図１４中の一
点に定められず、ある範囲をもって流動的に遷移すると
する。

【０１０２】たとえば、一般的なユーザの場合、対話の
回数が少ないうちに、対話の段階がレベル０、１、２と
進んでいけば、ユーザの満足度はプラスになり、いつま
でも段階が進まず失敗ばかり繰り返していればマイナス
になる。履歴記憶部２０７に記憶されている応答の成
功、失敗等によって定まる得点により満足度は上下する
が、早い時期ならレベル３で成功すれば感謝、失敗して
も納得できるが、時期が遅くなるにつれ諦めや怒りの気
持ちを覚える。

【０１０３】そこで、図１４の感情推移モデルを用い
て、前記の対話の状態遷移の段階と、抽出された感情語
による満足度の調整を行なう。たとえば、対話の流れに
対して、目安となる対話の回数を決めておいて比較して
もよい。すなわち、対話の回数により図１４における縦
の線が決まり、状態遷移の段階と、前述の得点等により
線上のある範囲に満足度が定まる。さらに、感情語から
求めた満足度の値と照合し、一致しない場合は、たとえ
ば、図１４で求めた満足度の範囲の中心と感情語から求
めた満足度の値の平均をとる、などの方法により決定で
きる。

【０１０４】対話の初期の要求獲得段階では、感情語が
入らないと満足度の範囲を限定できないが、図１４に示
すように、対話の初期には満足度は極端にふれているこ
とはあまりないと考える。たとえば、図１４の感情を表
す文字位置の中心からの距離に反比例して、その感情の
確率が表されるとすれば、対話のはじめには「期待」が
「不安」より確率が高いため、やや「期待」よりの満足
度とする。対話が少し進んだ場面で、まだ要求獲得状態
であれば「不安」の確率が高くなるので、満足度をやや
低めとする。

【０１０５】これらの感情遷移や確率分布を、システム
管理者などのユーザが定義し直せるようにすることも可
能である。たとえば、図２９のようなグラフィックスイ
ンタフェースを用意して、マウスなどのポインティング
デバイスで指示させてもよい。また、感情の種類ごとに
異なる確率分布を定義させることも可能である。

【０１０６】図１６に示すように、ユーザ情報記憶部２
０６にユーザのこれまでの操作履歴やパーソナリティ情
報などを蓄積している場合を考える。はじめてのユーザ
でなければ、操作履歴にユーザの感情推移パターンを、
図１４上の軌跡などの形で記録しておき、もっとも多い
パターンや、平均的なパターンなどを用いて推定するこ
とが可能である。また、ユーザがせっかち、怒りっぽ
い、または口は悪いが温厚である、計算機に慣れてい
る、といったパーソナリティ情報を前もって登録してお
くなどにより、はじめてのユーザでも、登録したパター
ンを用いて推定することができる。「怒っている上司」
や「焦っている同僚」など、複数の典型的なパターンを
登録しておけば、ユーザの地位などの情報を共有データ
ベースなどから入手して、その感情を推定することがで
きる。

【０１０７】また、第１実施形態に示したように、表情
認識、音声認識などの手法を用いて複数の入力情報から
感情認識を行なうことも可能である。たとえば、図３１
に示すような、抑揚などの非言語情報を伴った独り言の
うち頻度の高いものを、［快−不快］と、声の大きさや
抑揚の激しさなどの［大−小］との２軸に割り当てれ
ば、それぞれの領域を「喜び」、「驚き」、「納得」、
「怒り」および「失望」などの感情にカテゴライズする
ことができる。また、前述の３軸上の値に割り当てるこ
とにより感情を定義しておいてもよい。これをテキスト
の感情認識と組み合わせることにより、より正確な感情
認識結果を得ることができる。この感情認識部２０３に
よって決定された感情の値は、応答プラン作成部２０４
に渡される。

【０１０８】応答プランは、たとえば、図２１の各応答
プラン作成状態に応じて、図３２に示すようなシステム
の意図種類、および意図内容の組み合わせにより作成さ
れる。たとえばテキスト文を生成する際は、平叙文、疑
問文といった文型や、開示・要求する情報なども付加す
る。また、応答に表情を与えるための態度や親密度など
の表情情報を付加してもよい。

【０１０９】表情情報とは顔面における表情に限らず、
テキスト文や音声の応答への表情付けを行なうための情
報である。応答プランを受け取った応答生成部で、図３
２の文例に示すような応答文に変換されて出力される。

【０１１０】まず、感情認識結果によらない簡単な応答
プランと応答生成部の処理について例をあげて説明す
る。応答生成部２０５では、図３３のような書式に則っ
た１文単位の応答プランから、実際にユーザに示す応答
を生成する。たとえば、図３４に示すようなテキスト文
を生成する場合に、たとえばスロット法（長尾真：「人
工知能シリーズ２言語工学」昭晃堂、１９８３）を用い
て、図３５に示すような書式で予め登録されている応答
文辞書から、渡された応答プランにあてはまる文を選択
し、必要な情報を埋め込んで文を生成する。

【０１１１】図３２および図３３の応答プランでは、応
答の意図種類として、たとえばａｃｃｅｐｔ（ユーザの
要求を受け入れる）、ａｎｓｗｅｒ（ユーザの質問に対
して解答する）、ｃｈｉｍｅ（相づち）、ｃｏｎｆｉｒ
ｍ（ユーザの要求を確認する）、ｃｏｎｆｕｓｅ（ユー
ザの意図がわからないことを表明する）、ｇｏｏｄｂｙ
ｅ（対話終了の宣言）、ｇｒｅｅｔｉｎｇ（最初の挨
拶）、ｒｅｊｅｃｔ（ユーザの要求を拒絶する）、ｒｅ
ｑｕｅｓｔ（ユーザに対して情報などを要求する）、ｓ
ｏｒｒｙ（謝罪する）、ｓｕｇｇｅｓｔ（提案する）、
ｔｈａｎｋｓ（感謝する）等がある。意図内容として
は、目的、スケジュール、ユーザ同士の直接対話、ユー
ザの状況、伝言などがある。

【０１１２】回数とは、同じような状況で同じ応答プラ
ンを作成した回数である。図３４は、図２０の対話例に
対してシステムが生成した応答プランと生成文例とを示
したものである。ここでも、ユーザの要求を獲得するま
では「どのようなご用件でしょうか？」と聞くが、一度
要求が獲得された後は「他にご用件はありませんか？」
と応答を変えるために回数情報を用いている。回数情報
は対話履歴から計数できる。

【０１１３】項目には、応答プランで開示する情報、あ
るいはユーザに要求する情報などを記述する。たとえ
ば、図３４の応答プラン３では、項目に「ａｃｔ＝会議
＆ｄａｔｅ＝？」とあり、生成文は「いつ頃の会議です
か? 」となっている。

【０１１４】これに対して、応答生成部２０５に図３５
のような書式の応答文例を登録しておき、意図種類、意
図内容、文型、項目などが一致する文例を探し出す。項
目ａｃｔは、例文中で変数＄ａｃｔとして用いられてお
り、応答プラン中で指定された値「会議」で置き換えて
文例を完成する。文末には、疑問文の場合は「？」を平
叙文では「。」を付加する。

【０１１５】図３６は、図３３に応答の表情情報を付加
した例である。たとえば、親密度、態度等といった値を
応答生成部で指定する。親密度は、システムとユーザと
の親しさ、あるいは、情報を公開するユーザと要求する
ユーザとの親しさとし、事前にユーザ情報記憶部２０６
に登録した値を用いる。態度は、丁重、ていねい、普
通、および無礼といった４段階程度の粗さで、たとえ
ば、ユーザの社会的な地位、あるいはユーザ同士の社会
的な関係、あるいはユーザの感情認識結果などにより適
切な値を決定する。

【０１１６】図３７の例は、図３４に態度と親密度とを
加えたものである。ユーザ「佐藤」は情報を公開するユ
ーザ「山本」( エージェントの持ち主) の友達で年齢も
同じとする。よって、たとえば、親密度＝４、態度＝０
といった値を決定し、応答プランに付加する。

【０１１７】たとえば、感情認識の結果、「佐藤」が怒
っていることが分かれば、親密度を下げて態度の値を上
げるなどの処理を行なう。逆に「佐藤」の機嫌がよいよ
うなら親密度はもっとあげる。逆に、もともと親密度の
低い知り合いの場合は、相手が怒っていても親密度や態
度を変えない。予めこれらの値を決定する応答戦略を図
３８に示すようなルールとして登録しておくことにより
実現できる。また、システム管理者などのユーザによっ
て、ルールを変更させることも可能である。

【０１１８】親密度や態度を加えた応答文例辞書の例を
図３９に示す。図３９の上部は、スケジュールに関する
ユーザの問い合わせへの解答文の例であり、場所（ｐｌ
ａｃｅ）とスケジュールの項目種類（ａｃｔ）を答える
文を表している。親密度や態度は、０や１などの値か、
「１−３」などのような範囲を持った値を指定してされ
ている。

【０１１９】図３９の下部は、挨拶のバリエーション
が、親密度や態度だけでなく、時間帯や、ユーザが以前
にアクセスしたことがあるかどうか（既知／未知）とい
った分類により、記述されている。＄ｐｌａｃｅ、＄ａ
ｃｔおよび＄ｕｓｅｒは変数であり、実際に文を生成す
る際に、応答プランの項目で指定される実際の文字列
や、ｌｏｇｉｎ名などのユーザの名前をあてはめる。時
間帯は、応答プランに含まれていなくても、応答生成部
２０５で時間を調べ、たとえば午前３時以降１１時まで
は「朝」、１１時以降午後５時までは「昼」、以降を
「夜」と求めることができる。

【０１２０】応答生成部２０５では、前述した意図種
類、意図内容、文型、回数、親密度、態度および項目の
内容などが合致する文例を、図３９のような応答文辞書
から探しだす。また、１度用いた文例に、ｕｓｅｄフラ
グなどを用いて印をつけておき、同じ対話の中では、出
来る限り別の文例を用いるようにしてもよい。合致する
ものがない場合は、応答プランで指定した項目より項目
の指定が少ない文例、態度の丁寧な文例を選択する。

【０１２１】また、文の格構造を基に規則合成をする場
合、態度が丁寧な場合は文末のみ「ですます文」、無礼
な場合は「である文」などの形にして応答文を生成して
もよい。利用する語彙や文型を複数用意し、態度や親密
度などの値により変更する。

【０１２２】応答生成部２０５で生成した応答文は、た
とえば、図２０で示したようなテキストウィンドウに表
示する。また、図２０の左上のエージェントの画像の表
情を、図４０に示すように複数パターン用意しておき、
応答プランに応じて変更してもよい。この例では、応答
プランで指定された発話意図の種類と親密度によって表
示する画像を指定している。静止画だけでなく動画で
も、同様に複数パターン用意して切り替えることによっ
て応答を変更する。写真やビデオなどで実際の人物や人
形などの表情を複数パターン用意してもよい。また、P.
Ekman とW.V.Friesen("Facial Action Coding System",
Consulting Psycologist Presss, 1977)の表情合成規
則を用いて３次元ＣＧなどにより、程度の違う表情を合
成することが可能である。

【０１２３】また、以下の方法によっても応答戦略に基
づく応答生成が可能である。

【０１２４】たとえば、図１４において、要求獲得段階
の感情は「期待」、「不安」、「困惑」、「焦燥」およ
び「怒り」などが考えられる。図３３乃至図３９の応答
プランの項目に、この感情を付加して、たとえば図４１
のような形式で感情の種類を与えることにより、応答文
や表情などを変更することができる。また、満足度の値
を付加することも可能である。これにより、同じ感情で
も強さの違いなどを表現できる。

【０１２５】また、図１４上でユーザの感情種類を決定
した後、図２９の軸上の値を求め直して、この３軸の値
から応答戦略を決定する方法もある。すなわち、「拒
否」の強い状態では、システムの応答は信用されないた
め、慎重にユーザの入力を理解し実行する必要がある。
ユーザの感情に訴えず、冷淡に見えない程度に事務的な
応答を生成する。謝罪の場合は真摯な態度をとる。逆
に、「受容」の強い状態では、リラックスした応答を行
ってよい。親密な態度、軽口、失敗なども許容される。
また、「切迫」している状態では、システムもあまり余
計な応答を生成しない。ただし、ユーザの要求に答えら
れない場合は、すばやく関連する情報などを提供し誠意
を示す。システムの能力を明確にし、早めに他のユーザ
に助けを求めるよう助言する。ユーザの意図がわかりに
くい場合は、いくつかの選択肢を表示して選ばせてもよ
い。逆に「余裕」のある状態では、できるだけシステム
自身が対応を行なうようにする。

【０１２６】「不快」な感情状態では、ユーザはシステ
ムに対して怒りをストレートにぶつけるか、嫌気がさし
てアクセスを終了するかを望むようになる。「不快」が
強くなる前に応答方針を変更する必要がある。ユーザの
意図をシステムが理解できないとすれば、システムがで
きないことをユーザが要求している可能性が高い。シス
テムのサービス内容を呈示し、ユーザに選択させる。シ
ステムができないことをユーザが何度も要求していると
したら、他のユーザやシステムを紹介しアクセスを終了
する。対話の段階が順調に進んでいるのにもかかわらず
「不快」な傾向がある場合は、応答の態度などを変えて
みる。「快」の場合は、応答方針は継続してよい。

【０１２７】以上の応答を実現するために、たとえば、
応答方針を「冗長性」、「同調性」、「正確性」、「優
位性」および「情報公開性」などにより設定する。

【０１２８】冗長性は、余計な応答の割合を設定する。
たとえば、失敗した際に言い訳をするか等を表す。

【０１２９】同調性は、ユーザやユーザの話に対しての
評価の程度を設定する。同調性が高ければ媚びへつらい
になり、低ければ事務的な応答になる。

【０１３０】正確性は、常に正直に応答するか、ごまか
すか等を設定する。すなわち、ユーザの要求に答えられ
ない際に、正直に言えば「あなたには教えられません」
となる場合も、「ちょっとわかりません」などとごまか
すことが可能になる。

【０１３１】優位性は、システムとユーザとの力関係を
設定する。優位性が高い場合は、ユーザに対して高飛車
な態度となり、低い場合は下手に出る。

【０１３２】情報公開性は、システムの持つ情報をユー
ザの適正なアクセス権と比較して、多めに公開するか少
な目に公開するかを設定する。情報公開性が高い場合
は、ふだん教えないような情報も譲歩して教えてしまう
が、低い場合はふだんより出し惜しみする。

【０１３３】これらの値を応答プランに追加し、たとえ
ば図４２のような形式で応答文を生成する。ここでは、
各応答方針を０から５の間で指定している。「拒否」が
強い場合は、「冗長性」および「同調性」を低くする。
「切迫」が強い場合も「冗長性」を低くし、可能であれ
ば「情報公開性」を高くする。「不快」が強まってきた
際は、相手が上司であればシステムの「優位性」を下げ
る。以上のような応答方針の変更規則を複数用意し、３
軸の値がある閾い値を越えたら適用するといった適用条
件とともに記憶しておく。

【０１３４】あるいは、３軸の値の組み合わせによっ
て、適用条件を記述してもよい。たとえば、同じ切迫度
でも、「受容」している場合は「冗長性」を高めに設定
してもよいが、「拒否」の場合は低くする、といったル
ールも記述できる。

【０１３５】また、図４２のような応答プランにより、
応答時の画像の表情も変更できる。同調性が高ければ愛
敬のある表情にし、低ければ事務的な表情にする。冗長
性が高ければ表情豊かにし、低ければ単純でわかりやす
い数種類の表情に限定する。優位性が高ければ尊大な表
情、低ければおどおどした表情とする。以上のような表
情パターンを複数用意しておき、応答文の生成とともに
表示を変更してもよい。

【０１３６】また、応答戦略は、応答文の表情などを変
更させるだけでなく、対話遷移モデルの変更によっても
実現できる。たとえば、図２１の対話遷移モデル例に新
たな状態を追加し、遷移条件にユーザの感情状態やユー
ザとの親密度や態度などを加えることにより、たとえば
図４３に示すような複雑な応答戦略に基づく応答を実現
できる。

【０１３７】この方法では対話遷移モデルが複雑になる
嫌いがあるが、その場合は、対話遷移モデルを複数用意
し、ユーザの感情によって別のモデルに切り替えること
により単純さを保つことができる。また、ユーザの感情
状態を条件にし、動的に遷移条件や状態を追加・変更す
るための規則を持つことによって実現すれば、組み合わ
せ爆発の問題は回避できる。たとえば、ユーザが焦って
いる場合は、図２２に示した実行条件リストの尤度を下
げる、あるいは実行条件を減らすなどにより対話速度を
加速するなどの戦略が実現できる。

【０１３８】

【発明の効果】以上詳述したように本発明によれば、対
話の状況に応じたユーザの感情を認識することにより、
ユーザの感情を考慮した応答戦略に則った応答を生成す
る事ができる。すなわち、ユーザが明示的に表現する要
求のみに答えるのではなく、明示的でない要求をも考慮
した適切な応答を生成することが可能になり、ユーザの
精神的な負担を軽減し、対話の円滑化、効率化をはかる
ことができる。この際、単一の入力形態ではなく、テキ
スト、音声、画像などの複数の入力情報を用いて、より
正確にユーザの意図と感情を理解できる。また、複数の
応答形態を組み合わせて用い、それに対するユーザの感
情状態の変化を知ることにより、ユーザの好みや状況に
あわせた応答形態を選択することが可能になる。

【０１３９】なお、本発明は情報の公開のみならず、同
様な感情を扱う他の用途の対話システムにも適用するこ
とができる。また、ユーザ間の通信にも応用し、各ユー
ザの感情状態を代わりに伝達する機能を追加すれば、ユ
ーザ間の意図に対する見当外れの解釈を少なくし、ネッ
トワーク上での対話や対話目的の達成を効率的に行なう
ことができることとなる。

【図面の簡単な説明】

【図１】本発明の第１実施形態の情報公開装置の機能ブ
ロック図。

【図２】第１実施形態の情報公開装置の動作手順を説明
するためのフローチャート。

【図３】第１実施形態の対話回数感情モデルを示す図。

【図４】第１実施形態の感情を加味した対話回数感情モ
デルを示す図。

【図５】第１実施形態の修正条件を示す図。

【図６】第１実施形態の感情語が表現する感情を特定す
るアルゴリズムを示す図。

【図７】第１実施形態の対話の一例を示す図。

【図８】第１実施形態の感情推移モデルを示す図。

【図９】第１実施形態の感情推移モデルを示す図。

【図１０】第１実施形態の感情推移モデルを示す図。

【図１１】第１実施形態の談話遷移モデルを示す図。

【図１２】第１実施形態の感情対応テーブルを示す図。

【図１３】第１実施形態のユーザ感情の数値化のアルゴ
リズムを示す図。

【図１４】第１実施形態の感情推移モデルを示す図。

【図１５】本発明の第２実施形態の情報公開装置の機能
ブロック図。

【図１６】第２実施形態の情報公開装置の機能ブロック
図。

【図１７】第２実施形態の情報公開装置の機能ブロック
図。

【図１８】第２実施形態の情報公開装置の機能ブロック
図。

【図１９】第２実施形態の情報公開装置の動作手順を説
明するためのフローチャート。

【図２０】第２実施形態の応答の一例を示す図。

【図２１】第２実施形態の対話遷移モデルを示す図。

【図２２】第２実施形態の実行条件リストを示す図。

【図２３】第２実施形態の対話履歴記憶構造を示す図。

【図２４】第２実施形態の発話意図の一例を示す図。

【図２５】第２実施形態のユーザの要求の一例を示す
図。

【図２６】第２実施形態のキーワード辞書を示す図。

【図２７】第２実施形態の発話の意味表現を示す図。

【図２８】第２実施形態の感情空間を構成する３軸を示
す図。

【図２９】第２実施形態の感情空間に感情名を割り当て
た状態を示す図。

【図３０】第２実施形態の感情領域テーブルを示す図。

【図３１】第２実施形態の感情空間に非言語情報を割り
当てた状態を示す図。

【図３２】第２実施形態の応答プラン作成テーブルを示
す図。

【図３３】第２実施形態の応答の書式を示す図。

【図３４】第２実施形態の応答生成例を示す図。

【図３５】第２実施形態の応答の書式を示す図。

【図３６】第２実施形態の表情情報を付加した応答の書
式を示す図。

【図３７】第２実施形態の態度と親密度とを加えた応答
生成例を示す図。

【図３８】第２実施形態の応答戦略を示す図。

【図３９】第２実施形態の応答文例辞書の一例を示す
図。

【図４０】第２実施形態のエージェントの画像の表情の
パターンを示す図。

【図４１】第２実施形態の感情認識後の応答生成例を示
す図。

【図４２】第２実施形態の応用プランの一例を示す図。

【図４３】第２実施形態の応答戦略を示す図。

【符号の説明】

１０…情報公開装置、１０１…入力部、１０２…データ
記憶部、１０３…データ検索管理部、１０４…要求受付
部、１０５…応答プラン作成部、１０６…ユーザ感情認
識部、１０７…応答生成部、２０…情報公開装置、２０
１…入力部、２０２…意図感情情報抽出部、２０３…感
情認識部、２０４…応答プラン生成部、２０５…応答生
成部、２０６…ユーザ情報記憶部、２０７…履歴記憶
部、２０８ａ〜ｃ…データ通信部、２０９ａ〜ｃ…プロ
セス、２１０…対話管理部、２１１…検索部、２１２…
データ記憶部。

Claims

【特許請求の範囲】

【請求項１】テキスト、音声、画像およびポインティ
ング位置を含む複数の形態のデータを入力する入力手段
と、この入力手段により入力されたデータからユーザの
意図および感情情報を抽出する抽出手段と、この抽出手
段の抽出結果に基づいて応答プランを作成する応答プラ
ン作成手段と、この作成された応答プランに基づいて前
記ユーザへの応答を生成する応答生成手段とを有する情
報公開装置において、前記応答プラン作成手段の内部状態、前記抽出されたユ
ーザの意図ならびに感情情報、および前記作成された応
答プランの種別を含む対話状況情報の時間軸上の推移か
ら前記ユーザの感情状態を認識する感情認識手段を具備
し、前記応答プラン作成手段は、前記感情認識手段の認
識結果にしたがって応答戦略を選択または変更し、その
応答戦略に合致した応答プランを作成することを特徴と
する情報公開装置。