JPH11265239A - 感情生成装置及び感情生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 実際の運用場面において、所定の感情を発生
させる状況に特有に現われる予測不可能な付帯条件を学
習し、学習された付帯条件を満たす新たな状況下で該所
定の感情を想起させることが可能な感情生成装置を提供
すること。 【解決手段】 状況を認識して状況情報を生成し、状況
情報を現在から過去にさかのぼる所定期間分まとめた状
況情報列を生成して保持し、状況情報列の第１の指定期
間に対する反応感情情報を生成し、反応感情情報と第２
の指定期間分の状況情報列とを関連付けて記憶し、第３
の指定期間分の状況情報列に対して記憶された感情情報
を想起感情情報として想起し、想起感情情報と反応感情
情報とを合成して装置独自の自己感情情報を生成し、自
己感情情報に応じた信号を生成出力することを特徴とす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、インタフェースエ
ージェントの感情表現を制御する感情生成装置及び感情
生成方法に関する。

【０００２】

【従来の技術】従来より、システムとユーザとを結ぶヒ
ューマンインタフェースとして、スイッチとメーターの
並んだ計器盤、キーボードから命令を打ち込むコマンド
ラインインタフェース、ポインティングデバイスとアイ
コンから成るグラフィカル・ユーザ・インタフェース
（ＧＵＩ）などが提案され、かつ実用に供されている。
また最近では、音声による命令を受け付け、音声で応答
を返す音声インタフェースも研究段階から実用段階に移
りつつある。さらに、近年ではシステム内部とユーザと
の間に介在させるインタフェースエージェント（自律的
なインタフェース）として、執事／秘書／店員／愛犬な
どを模した生物的メタファ（仮想的な人間／ロボット／
動物）を実現する技術が研究されている。

【０００３】インタフェースエージェントとして執事や
愛犬などの生物的メタファを採用することは、無機的な
システムに対するユーザの抵抗感を軽減して親しみを覚
えさせる効果を生む。特に、電子フレンドや電子ペット
のようなアプリケーションでは、ユーザとインタフェー
スエージェントとの感情を交えたやりとりによる両者の
心理的結び付きを演出することがシステムの本質とな
る。したがって、このようなアプリケーションでは、イ
ンタフェースエージェントの知的有能性より感情面での
リアリティを向上させることが重要である。

【０００４】感情は生物の目に見えない内部状態の一種
であるが、表情、声の調子、言葉遣い／鳴き声、動作の
様子、態度、行動などから我々はそれを伺い知ることが
できる。特に感情に対応した人間の表情を画像化する技
術に関しては、文献“Ａ ｍｕｓｃｌｅ ｍｏｄｅｌ
ｆｏｒ ａｎｉｍａｔｉｎｇ ｔｈｒｅｅ ｄｉｍｅｎ
ｓｉｏｎａｌ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ”
（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ， ｖｏｌ．４，
１９８７年）に開示される３次元ＣＧによる表情合成
の研究に始まり、これまでにコンピュータグラフィック
スやヒューマンインタフェースの分野で多くの成果が成
されている。しかしながら、これらの研究は感情表現そ
のものをリアルに生成することを主眼とするものであ
り、感情表現の推移を与えるタイムテーブルや、特定の
条件と特定の感情表現のマッピングによる直接的な感情
表現生成を行うのみで、その中間に位置するはずの感情
そのものを模擬するものではなかった。

【０００５】感情そのものに踏み込んだ研究例として
は、文献“ＣＧアニメーションのための人間行動シミュ
レーション”（ＮＩＣＯＧＲＡＰＨ論文集、１９９２
年）に開示される人間行動シミュレーションや、文献
“ニューロベビー 感情モデルを持つ表情合成システ
ム”（画像ラボ、Ｓｅｐ．，１９９２）に開示されるニ
ューロベビーがある。

【０００６】前者の人間行動シミュレーションは、内部
状態として魅力度というパラメータを導入して、人が他
の人や自動車との衝突を避けながら距離を保って移動す
るＣＧアニメーションを生成可能にしている。魅力度の
与え方によって保とうとする距離が変化する効果は、人
間が嫌いな相手を回避し、好きな相手に接近する行動を
よく再現しており、魅力度とは相手に対する好悪感情に
相当するものであると考えることができる。この例で
は、好悪感情とも見なすことのできる魅力度というパラ
メータにより行動（接近行動／回避行動）を制御してい
るが、感情表現として表情などは扱っていない。

【０００７】後者のニューロベビーは、独自の感情パラ
メータを持ち、怒鳴ったりなだめたりするユーザの音声
に応じて自己の感情パラメータを変化させ、その感情パ
ラメータ値に基づいて喜怒哀楽の様子をＣＧキャラクタ
の表情、顔色、声、動作に乗せて演じることができる。
他の多くの従来技術と異なり、ニューロベビーは、入力
に基づいて内部状態である感情パラメータを操作し、次
に該感情パラメータに基づいて感情表現を生成するとい
う２段階を経て、入力から感情表現を生成する。

【０００８】しかしながら、感情パラメータを持つニュ
ーロベビーは、ユーザとのやりとりの中で感情パラメー
タを変化させることは可能であっても、特定のユーザと
のやりとりの積み重ねに応じて、感情パラメータの変化
のしかたや、同じ感情パラメータ値に対する表現のしか
たを変えることはできなかった。その結果、システムの
示す感情パラメータの変化と、それに基づく感情表現は
時と相手を選ばず固定的かつ反復的であり、あるユーザ
があるインタフェースエージェントとどう接してきたか
という歴史を、そのユーザに対するそのインタフェース
エージェント独自の感情表現として生成することはでき
なかった。これは、従来例の人間行動シミュレーション
でも同様である。魅力度は予め与えられるが、それが経
験により変化するという機能と効果については一切示唆
されていない。すなわち、電子フレンドや電子ペットで
は、ユーザとインタフェースエージェントとの対話の積
み重ねの歴史により、両者の心理的結び付きが醸成可能
であることがシステムの大きな目的となり得るにも関わ
らず、従来技術によるシステムではそのような機能を実
現することができなかった。

【０００９】

【発明が解決しようとする課題】以上説明してきたよう
に、従来の技術では、インタフェースエージェントに
は、予め定められた入力に対して予め定められた感情的
反応を示させることしかできなかった。

【００１０】また、特定のユーザと特定のインタフェー
スエージェントとの間での過去のやり取り（かかわり）
を反映させた形で、当該特定のインタフェースエージェ
ントにおける感情表現を制御することができなかった。

【００１１】また、複数のインタフェースエージェント
間における感情表現に関する特性に個体差を持たせるこ
とや、あるインタフェースエージェントに付与した個性
を別の個性に変更することが困難であった。

【００１２】本発明は、上記事情を考慮してなされたも
ので、実際の運用場面において、所定の感情を発生させ
る状況に特有に現われる予測不可能な付帯条件を学習
し、学習された付帯条件を満たす新たな状況下で該所定
の感情を想起させることが可能な感情生成装置及び感情
生成方法を提供することを目的とする。

【００１３】また、本発明は、状況が満たす付帯条件と
それに伴い想起される感情として、特定の人物や特定の
事物への好悪感情を学習でき、電子フレンドや電子ペッ
トなど、ユーザとの心理的関係構築を重視するインタフ
ェースエージェントに必要な機能、すなわちユーザ毎に
異なる感情的応答を示し、この応答をユーザがインタフ
ェースエージェントと如何に接するかで調整可変である
感情生成装置及び感情生成方法を提供することを目的と
する。

【００１４】また、本発明は、感情の現われ方に関し
て、インタフェースエージェント毎の性格付けを容易に
行うことのできる感情生成装置及び感情生成方法を提供
することを目的とする。

【００１５】

【課題を解決するための手段】本発明（請求項１）に係
る感情生成装置は、状況を認識して状況情報を生成する
状況認識手段と、前記状況情報を現在から過去にさかの
ぼる所定期間分まとめた状況情報列を生成して保持する
状況記述手段と、前記状況情報列の第１の指定期間に対
する反応感情情報を生成する反応感情生成手段と、前記
反応感情情報と第２の指定期間分の前記状況情報列とを
関連付けて記憶する感情的記憶記述手段と、第３の指定
期間分の状況情報列に対して前記記憶された感情情報を
想起感情情報として想起する想起感情生成手段と、前記
想起感情情報と前記反応感情情報とを合成して装置独自
の自己感情情報を生成する自己感情記述手段と、前記自
己感情情報に応じた信号を生成出力する感情表現手段と
を具備したことを特徴とする。

【００１６】好ましくは、前記感情表現手段は、前記自
己感情情報を動機として行動情報を生成し、該行動情報
を信号化して出力する手段を含むようにしてもよい。好
ましくは、前記感情表現手段は、前記動機たる自己感情
情報が快に分類されるものである場合には、前記生成さ
れる行動として、該快な自己感情情報の原因である状況
を維持する行動情報を生成するようにしてもよい。

【００１７】好ましくは、前記感情表現手段は、前記動
機たる自己感情情報が不快に分類されるものである場合
には、前記生成される行動として、該不快な自己感情情
報の原因である状況を回避する行動情報を生成するよう
にしてもよい。

【００１８】好ましくは、前記反応感情生成手段が生成
する反応感情情報の強さ、前記感情的記憶記述手段が記
憶対象とする反応感情情報の強さの下限、前記想起感情
生成手段が生成する想起感情情報の強さ、または前記感
情表現手段が出力する信号の強さのうちの少なくとも１
つを個性として調整可能とする手段をさらに備えるよう
にしてもよい。

【００１９】本発明（請求項６）に係る感情生成方法
は、状況を認識して状況情報を生成するステップと、前
記状況情報を現在から過去にさかのぼる所定期間分まと
めた状況情報列を生成し記憶手段に保持するステップ
と、前記状況情報列の第１の指定期間に対する最新の反
応感情情報を生成するステップと、前記反応感情情報と
第２の指定期間分の状況情報列とを関連付けて学習し、
この学習結果を記憶手段に保持するステップと、第３の
指定期間分の状況情報列の入力に対して前記学習された
感情情報を想起した想起感情情報を生成するステップ
と、前記想起感情情報と前記反応感情情報とを合成して
自己感情情報を生成するステップと、前記自己感情情報
に応じた信号を生成出力するステップとを有することを
特徴とする。

【００２０】なお、装置に係る本発明は方法に係る発明
としても成立し、方法に係る本発明は装置に係る発明と
しても成立する。また、装置または方法に係る本発明
は、コンピュータに当該発明に相当する手順を実行させ
るための（あるいはコンピュータを当該発明に相当する
手段として機能させるための、あるいはコンピュータに
当該発明に相当する機能を実現させるための）プログラ
ムを記録したコンピュータ読取り可能な記録媒体として
も成立する。

【００２１】本発明では、予測可能な条件に照らして状
況を評価して装置自身の感情を発生させる機構を与え、
該機構により実際に経験した感情とそのときの状況か
ら、該状況に特有な予測不可能の付帯条件を学習させ
る。学習した付帯条件を満たす新しい状況の入力に対し
ては、該付帯条件に一致する記憶された感情を想起する
ことにより、実際にその状況に至らずとも、付帯条件の
検出のみで感情を変化させることを可能にする。この結
果、付帯条件としてユーザやユーザの行動を学習して感
情的に応答できる、すなわちユーザ毎に感情表現を変
え、ユーザの接し方でこれを調整可変な（生成される感
情が経験により変化する）インタフェースエージェント
を実現することができる。また、感情の現われ方に関し
て、インタフェースエージェント毎の性格付けを容易に
行うことができる。

【００２２】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。本実施形態に係る感情生成装置
は、概略的には、ユーザとの対話機能もしくはユーザへ
の情報提示機能を有しかつその手段として擬人的（もし
くは擬生物的）な形態を有するインタフェースエージェ
ント（例えば、擬人的な外観がＣＧなどにより表現され
るインタフェースエージェント、外観自体を擬人化した
ロボット、など）における主として視聴覚的に感知され
得る出力（例えば、インタフェースエージェントを表現
する画像表示や音声出力、ロボットの動きや音声出力、
など）に対して感情表現を付与するためのものである。

【００２３】そして、本実施形態は、その感情表現をよ
り高度に擬人化させるためのものである。また、その感
情表現の生成の仕組みをより自律化させ、かつ人間で言
う個性に相当するような、インタフェースエージェント
の感情表現に関する特性の個体差、を容易に設定・変更
可能とするものである。

【００２４】本実施形態では、感情生成装置は、インタ
フェースエージェントに個別に搭載するものとして説明
する。従って、例えば、以下で装置独自と言った場合に
は、本感情生成装置独自であり、かつ、当該インタフェ
ースエージェント独自である。また例えば、以下で装置
周囲と言った場合には、本感情生成装置の周囲であり、
かつ、当該インタフェースエージェントの位置する場所
の周囲である。

【００２５】図１に、本発明の一実施形態に係る感情生
成装置の基本構成を示す。図１に示されるように、この
感情生成装置は、外部状況認識部１、状況記述部２、反
応感情生成部３、感情的記憶生成部４、感情的記憶記述
部５、想起感情生成部６、自己感情記述部７、感情表現
部８、制御情報生成部９を備えている。

【００２６】外部状況認識部１は、概略的には、画像や
音声やその他の情報を入力し、これを解析して装置周囲
の現在の状況を表わす外部状況情報を逐次生成する。状
況記述部２は、概略的には、外部状況認識部１にて生成
された外部状況情報（人物ＩＤコード、人物表情コー
ド、発話コード、明るさなど）を定期的に読み出して、
読み出し時刻とともに所定期間分の最新の外部状況情報
を状況情報列として保持する。

【００２７】反応感情生成部３は、概略的には、状況記
述部２による指定期間分の状況情報列に直接反応して変
化する装置独自の感情（反応感情情報）を生成出力す
る。感情的記憶生成部４は、概略的には、反応感情記述
部３による反応感情情報と状況記述部２による指定期間
内の状況情報列とを対応付けた状況感情対情報を生成し
て、これを記憶する感情的記憶記述部５に受け渡す（た
だし、後述するように、そのときの反応感情情報が十分
な強度を持つ場合にのみ状況感情対情報を生成するもの
とする）。

【００２８】感情的記憶記述部５は、概略的には、感情
的記憶生成部４による（強い）状況感情対情報を、状況
記述部２が保持できるよりも長期間保持する。想起感情
生成部６は、概略的には、状況記述部２から指定期間内
の状況情報列を読み出し、該状況情報列に対応する感情
情報を感情的記憶記述部５から検索して想起感情情報と
して出力する。

【００２９】自己感情記述部７は、概略的には、反応感
情生成部３による反応感情情報と、想起感情生成部６に
よる想起感情情報とを合成して得られる感情情報を現在
の自己感情情報として保持する。

【００３０】感情表現部８は、概略的には、自己感情記
述部７に記述される現在の自己感情情報にしたがって、
インタフェースエージェント等の感情表現を、例えば画
像や音声などにより出力する。

【００３１】制御情報生成部９は、概略的には、感受性
制御情報を反応感情生成部３に、記銘制御閾値情報を感
情的記憶生成部４に、学習強度制御情報を感情的記憶記
述部５に、想起強度制御情報を想起感情生成部６に、感
情表出制御情報を感情表現部８に各々供給する。なお、
これらの情報は、インタフェースエージェント等の感情
面での個性や性格を決定するパラメータである。

【００３２】さて以下では、外部状況認識部１から制御
情報生成部９のそれぞれについて順番に詳細に説明して
いく。最初に、外部状況認識部１について説明する。

【００３３】外部状況認識部１は、ＴＶカメラやマイク
ロフォンやその他のセンサを通じて、画像や音声やその
他の情報を入力し、これを解析して装置周囲の現在の状
況を表わす外部状況情報を逐次生成する。

【００３４】なお、本実施形態では、画像および音声お
よびその他の情報（例えば、温度など）を扱うものとし
て説明するが、これに限定されず、画像や音声を含めて
扱うべき物理量（インタフェースエージェント等にとっ
ての外界からの刺激となるもの）の組み合わせは適宜修
正可能である。

【００３５】図２に、外部状況認識部１の構成例を示
す。この外部状況認識部１は、画像情報入力部１１、人
物画像検出部１２、人物認識部１３、人物表情認識部１
４、人物動作認識部１５、音声情報入力部１６、人物音
声検出部１７、発声内容認識部１８、語気認識部１９、
変化速度検出部２０、明るさ検出部２１、その他情報入
力部２２、外部状況情報出力部２３を含む。

【００３６】画像情報入力部１１は、ＴＶカメラなどに
より画像を取り込んで画像データとして出力する。人物
画像検出部１２は、該画像データ中から人物の映ってい
る画像領域を検出して出力する。この検出は、予め記憶
されている、顔らしい画像特徴を記述した顔テンプレー
トを画像データ中で走査しつつ照合し、所定の基準値以
上の類似度を有する領域を顔のある箇所と認定し、さら
に該顔のある箇所を含むその周囲を人物領域として抽出
する。人物領域として抽出された部分画像データは人物
画像データとして出力される。

【００３７】人物認識部１３は、該人物画像データの顔
領域を、予め記憶されている、人物別の顔テンプレート
と照合して該人物が誰であるのかを特定し、この人物を
表わす人物ＩＤコード（既知のテンプレートに該当しな
い人物の場合は、未知人物を表わす特別なＩＤコード）
を外部状況情報出力部２３の所定のバッファ２４−１に
出力する。なお、人物画像データが検出されない場合に
は、人物ＩＤ情報として人物なしを表わす特別なＩＤコ
ードを出力する。

【００３８】人物表情認識部１４は、上記の人物画像デ
ータの顔領域を、予め記憶されている、表情別のテンプ
レートと照合して該表情の種別（例えば、平常、笑う、
怒る、悲しむなど）を特定し、この種別を表わす人物表
情コード（既知のテンプレートに該当しない表情の場合
は、未知表情を表わす特別なＩＤコード）を外部状況情
報出力部２３の所定のバッファ２４−２に出力する。な
お、人物画像データが検出されない場合には、人物表情
コードとして表情なしを表わす特別なＩＤコードを出力
する。

【００３９】人物動作認識部１５は、上記の人物画像デ
ータの全域をオプティカルフロー解析して得た動きベク
トルをもとめ、予め記憶されている、動作別のテンプレ
ートと照合して該動作の種別（例えば、発話動作、頷き
動作、手招き動作など）を特定し、この種別を表わす人
物動作コード（既知のテンプレートに該当しない動作の
場合は、未知動作を表わす特別なＩＤコード）を外部状
況情報出力部２３の所定のバッファ２４−３に出力す
る。なお、人物画像データが検出されない場合には、人
物動作コードとして動作なしを表わす特別なＩＤコード
を出力する。

【００４０】音声情報入力部１６は、マイクロフォンな
どにより音声を入力して音声データとして出力する。人
物音声検出部１７は、人物動作認識部１５と音声情報入
力部１６の出力を監視し、音声情報入力部１６の音声デ
ータが大きなパワーを有し、かつ、人物動作認識部１５
が人物の発話動作（口が開閉しているなど）を検出した
場合に、該音声データを人物音声データとして検出出力
する。

【００４１】発声内容認識部１８は、該人物音声データ
を、予め記憶されている、単語音声別のテンプレートと
照合して該音声中の単語を特定し、この単語を表わす発
話内容コード（既知のテンプレートに該当しない単語の
場合は、未知単語を表わす特別なＩＤコード）を外部状
況情報出力部２３の所定のバッファ２４−４に出力す
る。

【００４２】語気認識部１９は、上記の人物音声データ
をスペクトル解析して得た音声パラメータを、予め記憶
されている、語気別のテンプレートと照合して語気の種
別（例えば、優しい、怒鳴っているなど）を特定し、こ
の種別を表わす語気コード（既知のテンプレートに該当
しない語気の場合は、未知語気を表わす特別なＩＤコー
ド）を外部状況情報出力部２３の所定のバッファ２４−
５に出力する。

【００４３】変化速度検出部２０は、上記の画像データ
の時間差分の最大絶対値と上記の音声データの時間差分
の最大絶対値の合計値を計算し、状況変化速度として外
部状況情報出力部２３の所定のバッファ２４−６に出力
する。

【００４４】明るさ検出部２１は、上記の画像データの
画像全体の明るさを計算して、外部状況情報出力部２３
の所定のバッファ２４−７に出力する。なお、明るさ
は、照度計などのセンサにより得るようにしてもよい。

【００４５】その他情報入力部２２は、温度センサやス
イッチ類などの他の入力手段による入力データから温度
やその他の情報を抽出し、その他情報として外部状況情
報出力部２３の所定のバッファ２４−８に出力する。

【００４６】外部状況情報出力部２３は、以上の人物識
別部１３〜明るさ検出部２１の各ブロックにより生成さ
れた各種情報を保持するバッファ（２４−１〜２４−
８）の集合からなり、必要に応じて各バッファの値を一
括して外部状況情報として出力する。一般に、外部状況
情報は、人物の有無、人物の別、人物の動作、人物の発
話内容、人物の発話語気、状況の急な変化、人物以外の
例えば部屋の明るさや温度などから構成されるマルチト
ラック情報であり、画像処理や音声処理に要する時間が
トラック毎に異なる。したがって、バッファ（２４−１
〜２４−８）への各トラックの情報更新は非同期的に行
われるが、バッファ（２４−１〜２４−８）の先では、
常に次の更新前の最新の情報を読み出すことができる。

【００４７】なお、以上で使用する各種テンプレート
は、予め多数の実サンプルを収集し、これを統計的に解
析（例えば、主成分分析など）するなどして生成する。
また、外部状況認識部１の生成する外部状況情報の種類
は以上の例に限定されず、必要に応じて種々選択／拡張
可能であり、それに応じて外部状況情報出力部２３の持
つバッファの数と種類も種々選択／拡張可能である。

【００４８】また、人物音声検出部１７に、人物識別部
１３から出力される人物ＩＤコードを与え、人物音声検
出部１７では人物ＩＤコードに応じた特定話者音声検出
処理を行うようにしてもよい。同様に、発話内容認識部
１８に人物ＩＤコードを与え、発話内容認識部１８では
人物ＩＤコードに応じた特定話者発話内容認識処理を行
うようにしてもよい。同様に、語気認識部１９に人物Ｉ
Ｄコードを与え、語気認識部１９では人物ＩＤコードに
応じた特定話者語気認識処理を行うようにしてもよい。
このようにすることで、話者が既知の場合には、各認識
処理の精度や速度を向上させることができる。

【００４９】次に、状況記述部２について説明する。状
況記述部２は、外部状況認識部１にて生成された外部状
況情報（人物ＩＤコード、人物表情コード、発話内容コ
ード、明るさなど）を定期的に読み出して、読み出し時
刻とともに所定期間分の最新の外部状況情報を状況情報
列として保持する。また、状況記述部２は、保持する状
況情報列が必要とされる他のブロック（反応感情生成部
３、感情的記憶生成部４、想起感情生成部６）に対し
て、該ブロックからの期間指定情報に応じた期間の状況
情報列を出力することができる。

【００５０】図３に、状況記述部２の構成例を示す。こ
の状況記述部２は、外部状況情報取得部３１、状況情報
蓄積部３２、状況情報列出力部３３を含む。外部状況情
報取得部３１は、外部状況認識部１の外部状況情報出力
部２３の各バッファ（２４−１〜２４−８）に保持され
る外部状況情報を定期的に一括して読み出し、これに該
取得時点の時刻を付加して出力する。

【００５１】状況情報蓄積部３２は、内蔵するリングバ
ッファ３４の最も古い記憶を削除して、そこに新たに取
得された外部状況情報および取得時刻の最新値を書き込
む。このようにすることで、状況情報蓄積部３２は、最
新一定期間分（図３の例ではＴ−０からＴ−１１まで）
の状況情報の列とその取得時刻とを保持することが可能
になる（Ｔ−０を最新時刻としている）。

【００５２】状況情報列出力部３３は、外部から入力さ
れる期間指定情報の定める期間分だけの状況情報と取得
時刻とをリングバッファ３４から読み出し、列バッファ
３５に状況情報列として編集出力する。

【００５３】状況情報列を利用する他のブロックが状況
情報列を読み出す際に期間指定情報を与えられるように
することで、状況情報列を読み出すブロックがどの期間
に注目して処理を行うかを調整可変とすることができ
る。これを処理の時間感度と呼ぶことにする。一般に、
状況に迅速に応じる必要のあるブロックでは指定期間は
現在に近く、やや過去に遡った状況を利用するブロック
では指定期間は過去にシフトしている。

【００５４】なお、上記では、一定期間分の外部状況情
報および取得時刻の保持にリングバッファを用いたが、
その代わりにＦＩＦＯバッファを用いてもよい。この場
合、ＦＩＦＯバッファを外部状況情報の各トラック毎に
設け、最新の外部状況情報を取得したならば、各ＦＩＦ
Ｏバッファの先頭のデータを破棄し、最新の外部状況情
報を各ＦＩＦＯバッファの最後尾にそれぞれ投入する。

【００５５】次に、反応感情生成部３について説明す
る。反応感情生成部３は、状況記述部２による指定期間
分の状況情報列に直接反応して変化する装置独自の感情
（反応感情情報）を生成出力する。反応感情情報の強さ
は別に与える感受性制御情報の大きさに応じて制御可能
である。この感受性制御情報は装置が状況に対してどれ
くらい感情的に反応しやすいかを決定する制御パラメー
タであり、制御情報生成部９により与えられる。なお、
反応感情生成部３は、状況の変化に迅速に応答するため
に、時間感度として例えば図３のＴ−０からＴ−４まで
の期間のような最新の比較的短期間を指定する期間指定
情報を状況記述部２に対して出力する。

【００５６】図４に、反応感情生成部３の一構成例を示
す。この反応感情生成部３は、反応感情用状況情報列取
得部４１、状況感情変換部４２、反応感情スケール変換
部４３を含む。

【００５７】反応感情用状況情報列取得部４１は、期間
指定情報に対応する状況情報列を状況記述部２より読み
出す。読み出された状況情報列には、各時刻における人
物ＩＤコード（例えば、Ａさんを示す人物番号、など）
や発話内容コード（例えば、「おはよう」を示す単語番
号、など）や人物動作コード（例えば、手招きを示す動
作番号、など）等のコード量と、明るさや状況変化速度
等の数値量とが含まれる。

【００５８】状況感情変換部４２は、入力層４４と中間
層４５と出力層４６の３層からなる階層型ニューラルネ
ットワークを用いて構成され、各層（４４、４５、４
６）はそれぞれ所定数のユニット（４７）により形成さ
れている。入力層４４の全てのユニットからはそれぞれ
中間層４５の全てのユニットに荷重結合（４８）が張ら
れ、該当ユニットの出力値に荷重をかけた値が結合先の
ユニットに入力される。同様に中間層４５の全てのユニ
ットからもそれぞれ出力層４６の全てのユニットに荷重
結合が張られ、入力層４４のユニットの出力値は各々の
経路にしたがった荷重をかけられて出力層４６に伝播さ
れる。

【００５９】入力層４４には外部状況情報のトラックに
対応したユニット群があり、各ユニット群には必要な数
のユニットが用意されている。例えば、人物ＩＤに対応
するユニット群の場合、装置が「Ａさん」、「Ｂさ
ん」、「Ｃさん」の３人の人物を見分けられる（すなわ
ち、この３人の顔テンプレートが登録されている）とす
るならば、当該ユニット群に必要なユニットの数は、
「Ａさん」「Ｂさん」「Ｃさん」「未知人物」「誰もい
ない」の５つのコードに対応した５個に、指定期間数
（状況情報列の列の長さ；例えば図３のＴ−０からＴ−
４までの期間を指定する場合には５）を乗じて得た個数
となる。

【００６０】もし、状況情報列の「ある時刻」に人物Ｉ
Ｄとして「Ａさん」があれば、『対応する時刻のＡさん
のユニット』を活性化（１．０などの所定値を代入）さ
せる。逆に、該当するコードのないユニットについて
は、これを非活性化（０．０を代入）させる。

【００６１】また、明るさなどの数値量に対応するユニ
ット群に必要なユニットの数は、該数値を入れる１個
に、指定期間数（状況情報列の列の長さ）を乗じて得た
個数となる。

【００６２】このように、状況情報列は、時刻とトラッ
クと、場合によってはコードに応じた入力層４４の所定
のユニットに代入される。代入された値はそのままユニ
ットの出力値となる。

【００６３】入力層４４の各ユニットの値は荷重結合を
経て中間層４５のユニットに入力される。中間層４５の
ユニットでは入力層４４の全てのユニットから入力され
た値の総和を求め、この値に対応したシグモイド関数の
値を出力する。中間層４５の各ユニットの出力値はさら
に荷重結合を経て出力層４６のユニットに入力される。
そして、出力層４６のユニットでも中間層４５の全ての
ユニットから入力された値の総和を求め、この値に対応
したシグモイド関数の値を出力する。

【００６４】出力層４６の各ユニットは、本実施形態で
は、それぞれ、「幸福」、「怒り」、「悲しみ」、「嫌
悪」、「驚き」、「恐れ」の６つの感情パラメータに対
応するものとしている。そのため、状況感情変換部４２
の階層型ニューラルネットワークは、状況情報列を入力
とし、６つの感情パラメータの強度を出力とするパタン
変換器として機能する。

【００６５】もちろん、感情パラメータのバリエーショ
ンはこの例に限定されるものではないが、以下、この６
種類の感情パラメータを例に説明を続ける。ニュートラ
ルネットワークにこのようなパタン変換能力を与えるた
めに、所定の入出力関係を満たすサンプルデータをニュ
ーラルネットワークに与え、バックプロパゲーションア
ルゴリズムなどによりオフラインで学習させる。例え
ば、装置周囲が暗かったり（明るさを参照）、見知らぬ
人物が検出された（人物ＩＤコードを参照）ならば、恐
れパラメータに所定強度を与えたり、あるいは大きな音
声が入力されたり（状況変化速度を参照）、怒鳴られた
り（発話内容コードも加味）したならば、驚きパラメー
タに所定強度を与えたり、あるいは見知った人物がいた
り（人物ＩＤコードを参照）、優しく声を掛けられた
（語気コードを参照）ならば、幸福パラメータに所定強
度を与えたり、あるいはまた発話内容コードによって怒
りや悲しみや嫌悪のパラメータにも所定強度を与えたり
した入出力サンプルデータを与える。

【００６６】反応感情スケール変換部４３は、出力層４
６のユニットに現われる感情パラメータを感受性制御情
報の定めるゲイン（感情パラメータ毎に設定可能）をか
けて出力する。この結果、ニューラルネットワークの学
習後であっても、最終的に出力される反応感情情報の大
きさとパラメータ間のバランスが制御可能になる。

【００６７】この感受性制御情報は、同じニューラルネ
ットワークを持ちかつ同じ状況情報列を与えられた各々
の装置（各々の個別のインタフェースエージェント等）
に、互いに異なる強さとバランスの反応感情を生成させ
る制御パラメータである、と考えることができる。そし
て、ゲインを調整することにより、所望の個性を演出す
ることが可能になる。例えば、ゲインの絶対値を大きく
設定すればより感動し易いエージェントを、小さく設定
すればより冷めたエージェントをそれぞれ演出できる。
また、悲しみや恐れのバランスを大きくすれば、めそめ
そしたり、おどおどしたエージェントを、幸福のバラン
スを大きくすればニコニコしたエージェントをそれぞれ
演出できる。

【００６８】ところで、従来技術に係るニューロベビー
も、ニューラルネットワークを用いて状況に関する情報
の系列から感情情報を誘導するような構成を持つが、得
られた感情情報に任意のスケール変換をかけられないた
め、ニューロベビーの個性を個別に演出させるために
は、ニューラルネットワークの入出力関係を該個性に適
うように再学習させる必要があり、そのための学習デー
タを別途用意する手間がかかる。また、従来技術に係る
ニューロベビーでは、この学習作業を装置（ニューロベ
ビー）の運用以前に予め済ませておく必要があり、本実
施形態のように運用中に感受性制御情報を変更するだけ
で直ちに個性を変更させられるような柔軟性を持たな
い。

【００６９】以上、状況感情変換部にニューラルネット
ワークを用いた反応感情生成部３の一構成例を示した
が、以下では、状況感情変換部にｉｆ−ｔｈｅｎルール
を用いた反応感情生成部３の他の構成例について説明す
る。

【００７０】図４に、反応感情生成部３の他の構成例を
示す。この反応感情生成部３は、反応感情用状況情報列
取得部１１１、状況感情変換部１１２、反応感情スケー
ル変換部１１３を含む。

【００７１】反応感情用状況情報列取得部１１１、反応
感情スケール変換部１１３はそれぞれ前述の反応感情用
状況情報取得部４１、反応感情スケール部４３と同じで
ある。

【００７２】状況感情変換部１１２は、前述の状況感情
変換部４２と同じ機能を果たすものであるが、内部構成
が相違する。ここでは、この状況感情変換部１１２を中
心に説明する。

【００７３】図５に示されるように、状況感情変換部１
１２は、変換規則格納部１１４、規則照合部１１５、反
応感情合成部１１６を含む。変換規則格納部１１４は、
状況に基づいて感情パラメータをどのように決定すべき
かを定めた変換規則を格納する。

【００７４】変換規則の例としては以下のようなものが
ある。これらは怒鳴られた場合と周囲が暗い場合の規則
の例であり、各規則は条件部と述部とを持つｉｆ−ｔｈ
ｅｎルールの形式で記述される。 （怒鳴られた場合の規則の例） ｉｆ （語気コード＝“怒鳴る”） ｔｈｅｎ ｛ 驚き＝３、恐れ＝３ ｝ （周囲が暗い場合の規則の例） ｉｆ （明るさ＜所定値） ｔｈｅｎ ｛ 恐れ＝１ ｝ 規則照合部１１５は、変換規則格納部１１４に格納され
る変換規則の各々を、入力される状況情報列により与え
られる所定期間の状況と照合して、その一致の度合を計
算するとともに、当該規則が定める感情パラメータ値に
該一致度をかけた感情パラメータ値を出力する。一致度
の計算は、各規則の条件部が成立する累計期間長を求
め、状況情報列の期間長に対するこの累計期間長の割合
として求められる。このようにすることで、条件部に示
される条件が所定期間の状況情報列に現れ始めてから消
え去るまでの間、その現れている期間に応じた強さの感
情パラメータ値が出力される。

【００７５】反応感情合成部１１６は、規則照合部１１
５が出力する一致度に応じた感情パラメータ値を、上記
の変換規則格納部１１４が擁する全ての変換規則につい
て加え合わせた結果を、入力された状況情報列に対応し
た反応感情情報として出力する。

【００７６】なお、図４や図５の反応感情生成部３は、
怒鳴られれば恐れ驚くというように、装置の運用以前か
ら知られている一般的な条件（例えば、怒鳴られた）か
ら反応的に発生する感情を誘導する（例えば、怒鳴られ
た場合は恐れ驚くという事実）機能を担うものである。
したがって、誰が怒鳴ったとか、いつ怒鳴ったなどとい
う、怒鳴られたという条件に付帯する運用以降に判明す
る詳細な他の条件については関知しない。

【００７７】一方、後述する感情的記憶生成部４と感情
的記憶記述部５と想起感情生成部６による感情想起の仕
組みは、過去に怒鳴られた状況に付帯する、「誰が」と
か「いつ」などの詳細な条件を記憶から思い出し、状況
情報列中にそのような付帯条件（いつぞや怒鳴ったあの
人がいるなど）が現れると、怒鳴られていなくても恐れ
の感情（驚きの感情は刹那的なものなので、想起の対象
からはずしている）を発生させるのである。この仕組み
は、将来似たような状況に遭遇した装置（インタフェー
スエージェント）が、過去の経験に基づいてより強く迅
速な感情的反応を示すために必要なだけでなく、たった
今怒鳴られたばかりの状況にあっても、従来とは異なっ
た効果を奏することになる。すなわち、反応感情生成部
３が対象とする状況情報列から「怒鳴られた」という条
件が消え去っても、該怒鳴った人物が目前にいれば想起
感情生成部６が恐れの感情を維持してくれる。このよう
な反応は従来技術に係るニューロベビーでは達成されて
おらず、該従来技術では、怒鳴られたという条件が消え
去るとともに、直ちに恐れの感情も消え去ってしまい、
妙に立ち直りの早いエージェントが演出されてしまうこ
とになる（これによって天真爛漫なベビーを演出するこ
とができたとしても、その他の個性を演出することはで
きない）。

【００７８】次に、感情的記憶生成部４について説明す
る。感情的記憶生成部４は、反応感情生成部３による反
応感情情報と状況記述部２による指定期間内の状況情報
列とを対応付けた状況感情対情報を生成して、これを記
憶する感情的記憶記述部５に受け渡す。ただし、感情的
記憶生成部４はそのときの反応感情パラメータの少なく
とも１つが十分な強度を持つ場合にのみ状況感情対情報
を生成する。これは、強い感情を覚えた状況だけを記憶
し、それ以外の些末な状況を記憶しないためである。

【００７９】図６に、感情的記憶生成部４の構成例を示
す。この感情的記憶生成部４は、感情強度評価部５１、
状況感情対情報生成部５２を含む。感情強度評価部５１
は、反応感情記述部３から反応感情情報を読み出し、そ
の擁する感情パラメータのいずれかが、制御情報生成部
９による記銘制御閾値情報の指定する強度以上の値を持
つか否かを評価する。もし、十分な強度を持つパラメー
タが検出されれば、当該反応感情情報は状況とともに記
憶されるべきと判断して、検出情報をオンにし、次段の
状況感情対情報生成部５２に検出情報を送出する。

【００８０】状況感情対情報生成部５２は、記憶すべき
反応感情情報が検出された場合（検出情報がオンの場
合）に、感情強度評価部５１から当該反応感情情報を取
得するとともに、期間指定情報を状況記述部２に送出し
て指定期間分の状況情報列を読み出し、取得した当該反
応感情情報と当該状況情報列とを組み合わせた状況感情
対情報として、複合バッファ５３の状況情報列用バッフ
ァ５４と反応感情情報用バッファ５５に格納出力する。
なお、状況感情対情報生成部５２は、反応感情の変化が
起こる以前の比較的長い状況情報列が得られるように、
時間感度として例えば図３のＴ−１からＴ−８までの期
間のような、現在時刻よりもやや過去に遡ってからの比
較的長期間を指定する期間指定情報を状況記述部２に対
して出力する。

【００８１】次に、感情的記憶記述部５について説明す
る。感情的記憶記述部５は、感情的記憶生成部４による
（強い）状況感情対情報を、状況記述部２が保持できる
よりも長期間保持する。

【００８２】図７に、感情的記憶記述部５の一構成例を
示す。この感情的記憶記述部５は、状況感情対記憶部６
１、状況感情対更新部６２、状況感情対検索部６３を含
む。状況感情対記憶部６１は、図４に例示した状況感情
変換部４２と同様の構造を持つ階層型ニューラルネット
ワークを用いて構成され、ここでの階層型ニューラルネ
ットワークは、状況感情対情報中の状況情報列に対応す
る入力層６４と、状況感情対情報中の感情情報に対応す
る出力層６６と、中間層６５の３層により形成され、隣
接する階層間の各ユニット（６７）同士が荷重結合（６
８）で結ばれている。

【００８３】図４の状況感情変換部４２における入力層
（４４）や出力層（４６）と同様に、図７の状況感情対
記憶部６１における入力層６４のユニットは、状況情報
列の時刻、トラック、コード別に用意されており、出力
層６６のユニットは、装置が感じる感情パラメータ（本
例では、６つの感情パラメータ）に対応して用意されて
いる。各荷重結合の初期値は、いかなる入力に対しても
出力を出さないように０に設定されている。

【００８４】状況感情対更新部６２は、感情的記憶生成
部４による状況感情対情報を受け取ると、これを記銘用
状況情報列と記銘用感情情報とに分解し、記銘用状況情
報列に対応する入力層６４のユニットと記銘用感情情報
に対応する出力層６６のユニットを活性化／非活性化さ
せたり、数値を代入したりする。この結果入出力層６６
に与えられる活性値のパタンは、装置が実際に抱いた強
い反応感情とその原因となった（比較的長期の）状況を
示していることになる。本感情的記憶記述部５は、この
活性値パタンをサンプルデータとして、ニューラルネッ
トワークが与えられた入出力関係を満たす方向に結合荷
重を調整する。この調整の大きさは別に与えられる学習
強度制御情報に比例しており、この値が大きければ学習
は進み、小さければあまり進まない。そのため、学習強
度制御情報は学習の強さを与えるパラメータであると言
える。この調整の結果、ニューラルネットワークは以
後、記銘用状況情報列に似た状況に対して、記銘用感情
情報に似た反応感情を出力するようになる。

【００８５】状況感情対検索部６３は、外部から与えら
れる想起用状況情報列を状況感情対記憶部６１の入力層
６４に与え、その結果出力層６６に現われる感情パラメ
ータ値を想起感情情報として外部に出力する（状況感情
対検索部６３は、いわば記憶検索機構として機能す
る）。

【００８６】以上、状況感情対記憶部にニューラルネッ
トワークを用いた感情的記憶記述部５の一構成例を示し
たが、以下では、状況感情対記憶部にパターン・マッチ
ング的手法を用いた感情的記憶記述部５の他の構成例に
ついて説明する。

【００８７】図８に、感情的記憶記述部５の他の構成例
を示す。この感情的記憶記述部５は、状況感情対記憶部
１２１、状況感情対更新部１２２、状況感情対検索部１
２３を含む。

【００８８】状況感情対更新部１２２、状況感情対検索
部１２３はそれぞれ前述の状況感情対更新部６２、状況
感情対検索部６３と同じである。状況感情対記憶部１２
１は、前述の状況感情対記憶部６１と同じ機能を果たす
ものであるが、内部構成が相違する。

【００８９】ここでは、この状況感情対記憶部１２１を
中心に説明する。図８に示されるように、状況感情対記
述部１２１は、状況感情対バッファ部１２４、バッファ
更新部１２５、状況情報列照合部１２６、想起感情合成
部１２７を含む。

【００９０】状況感情対バッファ部１２４は、状況情報
列とそのときの感情情報とを組にして記憶する複合バッ
ファ（１２８）を所定数擁している記憶手段である。な
お、各複合バッファは、図６の状況感情対情報生成部５
２におけるものと同様、それぞれ状況情報列用バッファ
１２９と感情情報用バッファ１３０から構成される。

【００９１】バッファ更新部１２５は、状況感情対更新
部１２２からの記銘用状況情報列と、記銘用感情情報と
を組にして、状況感情対バッファ部１２４の空いている
複合バッファに書き込む。このとき、空いている複合バ
ッファがなければ、最も古い時刻の情報を保持する複合
バッファの内容を棄却してこれに新しい情報を上書き更
新する。また、バッファ更新部１２５は、記銘用感情情
報の各感情パラメータ値をそのまま書き込むのではな
く、学習強度制御情報の示すゲインでスケール変換した
感情パラメータ値を書き込む。この結果、全ての状況感
情対情報は一旦記憶されるものの、記憶される感情パラ
メータ値は学習強度制御情報によってその大きさとバラ
ンスが調整可能になる。

【００９２】状況情報列照合部１２６は、状況感情対検
索部１２３からの想起用状況情報列を受け、この状況情
報列と各複合バッファ１２８に記憶される状況情報とを
照合して、その一致の度合を計算するとともに、当該複
合バッファに記憶される感情パラメータ値に該一致度を
かけた感情パラメータ値を出力する。一致度の計算は、
まず想起用状況情報列の各時刻の各トラック値と、記憶
される状況情報列の各時刻の対応するトラック値の差分
（コード量なら一致する場合に０／不一致の場合に１、
数値量なら値の差の絶対値を正規化した値）を求める。
数値量に対する正規化は差の絶対値が０から１の間に収
まるようなスケール変換である。この結果、全てのトラ
ックについて、その差分は０から１の間に収まるように
なる。このような差分値を想起用状況情報列と記憶され
る状況情報列の全時刻と全トラックについて合計してさ
らに正規化する。この正規化は、該差分の合計値を、想
起用状況情報列の期間長×記憶される状況情報列の期間
長×トラック数、で割ることで行われる。この結果、差
分の合計値は０から１の間の数値となる。一致度は、こ
の正規化された差分の合計値を１から差し引いて得た値
すると、最も一致した場合に１、全く一致しない場合に
０となる。

【００９３】最後に想起感情合成部１２７は、状況情報
列用照合部１２６が出力する感情パラメータ値を上記の
状況感情対バッファ部１２４が擁する全ての複合バッフ
ァについて加え合わせた結果を、状況情報列に対応した
想起感情情報として出力する。

【００９４】なお、反応感情生成部３が感情を発生させ
る短期的な状況に反応するのに対して、図７や図８の感
情的記憶記述部５では、感情的記憶生成部４が比較的長
い時間感度に基づく状況感情対情報を生成することか
ら、強い感情が起こる前の比較的長期間の状況を学習す
る。

【００９５】次に、想起感情生成部６について説明す
る。想起感情生成部６は、状況記述部２から指定期間内
の状況情報列を読み出し、該状況情報列に対応する感情
情報を感情的記憶記述部５から検索して想起感情情報と
して出力する。

【００９６】図９に、想起感情生成部６の構成例を示
す。この想起感情生成部６は、想起用状況情報列取得部
７１、想起感情スケール変換部７２を含む。想起感情用
状況情報列取得部７１は、状況記述部２に期間指定情報
を送出して指定期間分の状況情報列を読み出し、さら
に、感情的記憶記述部５の状況感情対検索部６３にこれ
を送り出す。

【００９７】状況感情対検索部６３では、受け取った状
況情報列を想起用状況情報列として状況感情対記憶部６
１の入力層６４に入力し、これに呼応して出力層６６に
現われる記憶された感情パラメータ値を送り返す。

【００９８】想起感情スケール変換部７２は、状況感情
対検索部６３により返される感情パラメータ値を受け取
り、想起強度制御情報の定めるゲイン（感情パラメータ
毎に設定可能）をかけ、想起感情として出力する。

【００９９】この結果、出力される想起感情情報の大き
さとパラメータ間のバランスが制御可能になり、どのよ
うな感情を強く思い出すか、あるいはどのような感情を
あまり思い出さないかという、エージェントの想起上の
性格が演出可能になる。

【０１００】なお、このとき、驚きのような反応感情生
成部３のみで生成されるべき刹那的な感情を想起しない
ように、驚きに対する想起強度制御情報のゲインを低く
設定しておくのが好ましい。

【０１０１】ところで、従来技術に係るニューロベビー
では、例えば怒鳴られて怖かったというように、状況が
確定した場合に対応する感情を生成する。これは大声で
怒鳴られれば怖いという自然かつ生得的な反応を実現す
るが、誰がよく怒鳴る人なのかを予め教えておくことは
できない。人が皆怒鳴ってくるのであれば、そのことを
予め学習させても良いが、実際には怒鳴る人は一部であ
る。したがって、従来技術に係るニューロベビーでは誰
に怒鳴られたのかあるいは誰がよく怒鳴る人なのかなど
といった情報を扱うことも、そのような情報にニューロ
ベビーを反応させることもできない。

【０１０２】これに対して、本実施形態における感情的
記憶生成部４と感情的記憶記述部５による記憶の仕組み
では、実際にＡさんに怒鳴られて驚いたり恐ろしかった
経験から、怒鳴られたときの状況として「Ａさんが居
た」という付帯条件を学習する。さらに、想起感情生成
部６は、過去に怒鳴られた状況の付帯条件であるＡさん
を検出するだけで、怒鳴られそうな状況を察知するかの
ごとく恐れの感情を思い出すのである。これは、Ａさん
に対する好悪感情を学習したものと看做せる。また、例
えば、周囲が暗くなり、雷の大音響が鳴り響いて恐ろし
かったという場合も考えられるが、このような場合に
は、周囲の暗さという人物以外の付帯条件に対する好悪
感情を学習することも可能である。

【０１０３】繰り返しになるが、反応感情生成部３は、
装置に予め与えておくことができるよくわかった感情的
反応を生成するための機構であるのに対して、感情的記
憶生成部４と感情的記憶記述部５と想起感情生成部６か
らなる記憶と想起の仕組みは、反応感情生成部３による
生得的な感情的反応を拠り所にしつつ、その感情的反応
が生まれた状況に対応するさらに細かい条件を学習し
て、将来これに反応するための機構である。

【０１０４】なお、反応感情生成部３が注目する状況情
報列の期間（時間感度）は現在から遡る短期間（例えば
図３のＴ−０からＴ−４まで）であり、感情的記憶生成
部４が注目する状況情報列の期間は現在よりやや遡った
比較的長期間の過去（例えば図３のＴ−１からＴ−８ま
で）であることは既に述べた通りである。想起感情生成
部６の目的は実際に状況が確定する前に付帯条件を評価
し、来たるべき状況を予見した感情状態を装置に作るこ
とである。したがって、想起感情生成部６が注目する状
況情報列の期間は、感情的記憶生成部４の期間よりもさ
らに過去に遡った同じ長さの期間（例えば図３のＴ−４
からＴ−１１まで）とするのが妥当である。

【０１０５】次に、自己感情記述部７について説明す
る。自己感情記述部７は、反応感情生成部３による反応
感情情報と、想起感情生成部６による想起感情情報とを
合成して得られる感情情報を現在の自己感情情報として
保持する。

【０１０６】図１０に、自己感情記述部８の構成例を示
す。この自己感情記述部８は、自己感情合成部８１、自
己感情保持部８２を含む。自己感情合成部８１は、反応
感情生成部３による反応感情情報と、想起感情生成部６
による想起感情情報とを入力し、両者を合成して自己感
情情報として出力する。合成は、例えば、同じ感情パラ
メータ毎にその値を加え合わせて自己感情情報の感情パ
ラメータ値とすることで行われる。

【０１０７】自己感情保持部８２は、自己感情合成部８
１により求められた自己感情情報のパラメータ値を対応
する内蔵のバッファ（８３−１〜８３−６）に格納保持
する。

【０１０８】次に、感情表現部８について説明する。感
情表現部８は、自己感情記述部７に記述される現在の自
己感情情報にしたがって、インタフェースエージェント
の感情表現を画像や音声等により出力する。

【０１０９】図１１に、感情表現部８の構成例を示す。
この感情表現部８は、反応生成部９１、行動生成部９
２、エージェント合成部９３を含む。反応生成部９１
は、自己感情情報（心理反応源）と外部状況情報（生理
反応源）に応じたエージェントの表情反応、身体反応な
どを表わす反応情報を生成する。表情反応や身体反応と
は、例えば、嬉しいときに笑顔になったり、暑いときに
発汗したり、恐ろしいときに青ざめた表情になったりす
る、自己感情や外部状況に応じて非意図的に起こる反応
のことである。生成される反応情報は、例えば、笑顔７
０％、発汗２０％、青顔色４０％などのように、後段の
エージェント合成部９３が制御可能なパラメータのコー
ドとその強度等で表現される。

【０１１０】行動生成部９２は、自己感情情報（心理的
動機）と外部状況情報（行動制約条件）に応じたエージ
ェントの行動を表わす行動情報を生成する。ここで言う
行動とは、例えば、嫌な相手に愛想笑い（幸福感から笑
うのとは別物）をしたり、好きな相手に近づいたりす
る、自己感情や、外部状況に応じて意図的に起こされる
行動のことである。生成される行動情報は、反応情報と
同様、距離２ｍ、笑顔２０％などのように、後段のエー
ジェント合成部９３が制御可能なパラメータのコードと
その強度等で表現される。

【０１１１】反応は心理反応源と生理反応源とにより自
動的に発生するが、行動は意図的に為されるものである
から必ず動機が必要である。感情パラメータは、概ね、
快（幸福）、不快（悲しみ、嫌悪、驚き、恐れ）、不定
（怒り）に大別される。このうち、不快に分類される自
己感情が強い場合には、装置はその状況を回避する行動
を起こす。また、快に分類される自己感情が強い場合に
は、装置はその状況を維持する行動を起こす。したがっ
て、自己感情は行動のための心理的動機であると言え
る。

【０１１２】行動生成部９２は予め幾つかの行動パタン
を与えられている。各行動パタンには、適用可能な感情
状態および外部状況と、試行する優先順位とが、行動適
用規則として与えられている。動機が発生すると、行動
生成部９２は該行動適用規則を用いて行動パタンを１つ
選択する。選択された行動パタンには当該行動パタンを
実現するのに必要な行動情報が付加されているので、行
動生成部９２は該行動情報をエージェント合成部９３に
出力すれば良い。行動を行って所定期間経過しても状況
が改善されない場合には、行動生成部９２は次の順位を
与えられている適用可能な行動パタンを試す。

【０１１３】エージェント合成部９３は、以上のように
して前段から与えられる反応情報と行動情報を受け、こ
れらに応じたエージェントの形状、色彩、ポーズ、動作
軌道、声の調子などを計算し、エージェントの姿（映像
あるいはロボットの身体）と声を実現する。

【０１１４】なお、制御情報生成部９により外部から与
えられる感情表出制御情報は、反応生成部９１と行動生
成部９２の両方に働きかけ、反応や行動の現われる大き
さ、すなわち、エージェント合成部９３が制御可能なパ
ラメータのゲインを調節する。この結果、同じ条件であ
っても、感情表出制御情報を様々に調整することで、例
えば、顔には出ないが行動に出るとか、顔にすぐ出るが
なかなか行動しないというような、エージェントの性格
を演出することが可能となる。

【０１１５】次に、制御情報生成部９について説明す
る。制御情報生成部９は、感受性制御情報を反応感情生
成部３に、記銘制御閾値情報を感情的記憶生成部４に、
学習強度制御情報を感情的記憶記述部５に、想起強度制
御情報を想起感情生成部６に、感情表出制御情報を感情
表現部８に各々供給する。これらの情報は、インタフェ
ースエージェントの感情面での個性や性格を決定するパ
ラメータである。すなわち、このパラメータを調整する
ことにより、インタフェースエージェントに付与する感
情面での個性や性格を設定・変更することができる。

【０１１６】次に、本感情生成装置の処理手順について
説明する。図１２に、本感情生成装置の処理手順の一例
を示す。図１２の手順例では、外部状況認識処理Ｓ１
と、状況情報列更新処理Ｓ２と、反応感情更新処理Ｓ３
と、感情的記憶更新処理Ｓ４と、想起感情更新処理Ｓ５
と、自己感情更新処理Ｓ６と、感情表現処理Ｓ７が実行
される。

【０１１７】外部状況認識処理Ｓ１は、外部状況認識部
１における処理に対応しており、画像、音声、その他の
観測データ等に基づいて外部状況情報を生成する処理で
ある。

【０１１８】状況情報列更新処理Ｓ２は、状況記述部２
における処理に対応しており、外部状況認識処理Ｓ１の
処理結果である最新の外部状況情報を受け、状況情報列
から最も古い時刻の外部状況情報を破棄して、最新の外
部状況情報に置き換える処理である。

【０１１９】反応感情更新処理Ｓ３は、反応感情生成部
３における処理に対応しており、状況情報列更新処理Ｓ
２による最新の状況情報列から所定の期間の状況情報列
を取り出し、これに対する最新の反応感情情報を生成す
る処理である。

【０１２０】感情的記憶更新処理Ｓ４は、感情的記憶生
成部４と感情的記憶記述部５における処理に対応してお
り、新しく生成された反応感情情報を記憶すべきか否か
を、該感情の強さによって決定し、記憶すべき十分な強
さを有するときには、これを所定期間の状況情報列とと
もに記憶する処理である。

【０１２１】想起感情更新処理Ｓ５は、想起感情生成部
６における処理に対応しており、状況情報列更新処理Ｓ
２において更新された所定期間の状況情報列に類似した
過去の状況情報列に対する最新の想起感情情報を想起す
る処理である。

【０１２２】自己感情更新処理Ｓ６は、自己感情記述部
７における処理に対応しており、最新の反応感情情報と
最新の想起感情情報とを合成した最新の自己感情情報を
生成する処理である。

【０１２３】感情表現処理Ｓ７は、感情表現部８におけ
る処理に対応しており、最新の自己感情情報に応じて反
応と行動を表現する画像や音声などの信号を出力する処
理である。

【０１２４】さて、従来技術に係るニューロベビーは、
所定の期間内（可変期間ではなく最新の固定期間）の状
況に関する情報の系列（２０ｍ秒の間隔をあけてとられ
る１０ｍ秒間のユーザ音声の最大振幅とゼロ交差回数を
１０周期分採取した計２０個のパラメータ；語気に関す
る情報）を抽出し、これを入力層２０、中間層２４、出
力層２の階層型ニューラルネットワークに入力して２個
の感情に関するパラメータを求め、このパラメータに基
づいてニューロベビーの映像と音声を制御している。

【０１２５】一方、本実施形態では、現在の外界からの
刺激に対する直接的な感情的反応を実現するだけでな
く、過去に経験した状況／感情についての記憶との関連
で想起される感情的反応をも実現することを可能として
いる。すなわち、感情的記憶生成部４と感情的記憶記述
部５と想起感情生成部６とにより、状況記述部２の保持
期間より過去に装置が経験した状況と感情を状況感情対
情報として記憶・想起可能にすることで、強い感情を伴
う状況が満たしている付帯条件を経験により学習可能と
している。特に、状況が満たす付帯条件とそれに伴い想
起される感情として、特定の人物や特定の事物もしくは
事象への好悪感情を学習できることが、ユーザとの心理
的関係構築を重視するインタフェースエージェントに必
要な機能、すなわちユーザ毎に異なる感情的応答を示
し、この応答をユーザがエージェントと如何に接するか
で調整可変であるという性質を実現する。

【０１２６】また、本実施形態では、制御情報生成部９
により各種制御情報を供給可能とすることで、反応感情
情報の強さとバランス、状況感情対情報の選択的記憶な
らびに想起、経験による学習の強さ、想起感情情報の強
さとバランス、感情表現の強さを制御可能にしている。
この結果、インタフェースエージェントの個性として、
例えば、感情的に反応しやすいか否か（感受性制御情報
による）、懲りるたちか否かもしくは過去の経験が感情
の想起に反映され易いか否か（記銘制御閾値情報、学習
強度制御情報、想起強度制御情報による）、感情を表に
出すたちが否か（感情表現制御情報による）等を調整可
変とすることができる。

【０１２７】なお、本実施形態に係る感情生成装置およ
び感情生成方法は以上の例に限定されるものではない。
例えば、状況記述部２および状況情報列更新処理Ｓ２に
おいて生成される状況情報列として、外部状況情報に加
えて、自己感情情報や反応情報、行動情報などの装置自
身の内部状態（内部状況情報）を記述するようにしても
良い。このようにすることで、感情を生成する予測不可
能な付帯条件を、外部状況情報の他に内部状況情報をも
手がかりにして学習することが可能になる。

【０１２８】また、図４または図５の反応感情生成部３
の構成と、図７または図８の感情的記憶記述部５の構成
は、任意の組み合わせで実施可能である。なお、以上の
各機能は、ソフトウェアとしても実現可能である。

【０１２９】また、本実施形態は、コンピュータに所定
の手順を実行させるための（あるいはコンピュータを所
定の手段として機能させるための、あるいはコンピュー
タに所定の機能を実現させるための）プログラムを記録
したコンピュータ読取り可能な記録媒体として実施する
こともできる。

【０１３０】例えば、図１３に例示するように、本発明
に係る感情生成装置および感情生成方法を実現する情報
（例えばプログラム）を記録媒体１０４に記録し、該記
録した情報を該記録媒体１０４を経由して装置１０１や
装置１０３に適用したり、通信回線１０５や１０６を経
由して、装置１０２や１０３に適用することも可能であ
る。本発明は、上述した実施の形態に限定されるもので
はなく、その技術的範囲において種々変形して実施する
ことができる。

【０１３１】

【発明の効果】本発明によれば、過去に経験した感情と
そのときの状況から該状況に特有な予測不可能の付帯条
件を学習し、学習した付帯条件を満たす新しい状況の入
力に対しては該付帯条件に一致する記憶された感情を想
起することにより、実際にその状況に至らずとも、付帯
条件の検出のみで感情を変化させることを可能にする。
この結果、付帯条件としてユーザやユーザの行動を学習
して感情的に応答できる、すなわちユーザ毎に感情表現
を変え、ユーザの接し方でこれを調整可変なインタフェ
ースエージェントを実現することができる。また、感情
の現われ方に関して、インタフェースエージェント毎の
性格付けを容易に行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る感情生成装置の基本
構成を示す図

【図２】同実施形態に係る感情生成装置の外部状況認識
部の構成例を示す図

【図３】同実施形態に係る感情生成装置の状況記述部の
構成例を示す図

【図４】同実施形態に係る感情生成装置の反応感情生成
部の構成例を示す図

【図５】同実施形態に係る感情生成装置の反応感情生成
部の他の構成例を示す図

【図６】同実施形態に係る感情生成装置の感情的記憶生
成部の構成例を示す図

【図７】同実施形態に係る感情生成装置の感情的記憶記
述部の構成例を示す図

【図８】同実施形態に係る感情生成装置の感情的記憶記
述部の他の構成例を示す図

【図９】同実施形態に係る感情生成装置の想起感情生成
部の構成例を示す図

【図１０】同実施形態に係る感情生成装置の自己感情記
述部の構成例を示す図

【図１１】同実施形態に係る感情生成装置の感情表現部
の構成例を示す図

【図１２】同実施形態に係る感情生成装置における処理
手順の一例を示すフローチャート

【図１３】本発明を記録媒体等により実施する場合につ
いて説明するための図

【符号の説明】

１…外部状況認識部 ２…状況記述部 ３…反応感情生成部 ４…感情的記憶生成部 ５…感情的記憶記述部 ６…想起感情生成部 ７…自己感情記述部 ８…感情表現部 ９…制御情報生成部 １１…画像情報入力部 １２…人物画像検出部 １３…人物認識部 １４…人物表情認識部 １５…人物動作認識部 １６…音声情報入力部 １７…人物音声検出部 １８…発声内容認識部 １９…語気認識部 ２０…変化速度検出部 ２１…明るさ検出部 ２２…その他情報入力部 ２３…外部状況情報出力部 ３１…外部状況情報取得部 ３２…状況情報蓄積部 ３３…状況情報列出力部 ４１…反応感情用状況情報列取得部 ４２…状況感情変換部 ４３…反応感情スケール変換部 ５１…感情強度評価部 ５２…状況感情対情報生成部 ６１…状況感情対記憶部 ６２……状況感情対更新部 ６３…状況感情対検索部 ７１…想起感情用状況情報列取得部 ７２…想起感情スケール変換部 ８１…自己感情合成部 ８２…自己感情保持部 ９１…反応生成部 ９２…行動生成部 ９３…エージェント合成部 １０１〜１０３…装置 １０４…記録媒体 １０５，１０６…通信回路 １１１…反応感情用状況情報列取得部 １１２…状況感情変換部 １１３…反応感情スケール変換部 １１４…変換規則格納部 １１５…規則照合部 １１６…反応感情合成部 １２１…状況感情対記憶部 １２２…状況感情対更新部 １２３…状況感情対検索部 １２４…状況感情対バッファ部 １２５…バッファ更新部 １２６…状況情報列照合部 １２７…想起感情合成部

Claims (6)

【特許請求の範囲】
1. 【請求項１】状況を認識して状況情報を生成する状況認
   識手段と、 前記状況情報を現在から過去にさかのぼる所定期間分ま
   とめた状況情報列を生成して保持する状況記述手段と、 前記状況情報列の第１の指定期間に対する反応感情情報
   を生成する反応感情生成手段と、 前記反応感情情報と第２の指定期間分の前記状況情報列
   とを関連付けて記憶する感情的記憶記述手段と、 第３の指定期間分の状況情報列に対して前記記憶された
   感情情報を想起感情情報として想起する想起感情生成手
   段と、 前記想起感情情報と前記反応感情情報とを合成して装置
   独自の自己感情情報を生成する自己感情記述手段と、 前記自己感情情報に応じた信号を生成出力する感情表現
   手段とを具備したことを特徴とする感情生成装置。
2. 【請求項２】前記感情表現手段は、前記自己感情情報を
   動機として行動情報を生成し、該行動情報を信号化して
   出力する手段を含むことを特徴とする請求項１記載の感
   情生成装置。
3. 【請求項３】前記感情表現手段は、前記動機たる自己感
   情情報が快に分類されるものである場合には、前記生成
   される行動として、該快な自己感情情報の原因である状
   況を維持する行動情報を生成することを特徴とする請求
   項２に記載の感情生成装置。
4. 【請求項４】前記感情表現手段は、前記動機たる自己感
   情情報が不快に分類されるものである場合には、前記生
   成される行動として、該不快な自己感情情報の原因であ
   る状況を回避する行動情報を生成することを特徴とする
   請求項２に記載の感情生成装置。
5. 【請求項５】前記反応感情生成手段が生成する反応感情
   情報の強さ、前記感情的記憶記述手段が記憶対象とする
   反応感情情報の強さの下限、前記想起感情生成手段が生
   成する想起感情情報の強さ、または前記感情表現手段が
   出力する信号の強さのうちの少なくとも１つを個性とし
   て調整可能とする手段をさらに備えたことを特徴とする
   請求項１に記載の感情生成装置。
6. 【請求項６】状況を認識して状況情報を生成するステッ
   プと、 前記状況情報を現在から過去にさかのぼる所定期間分ま
   とめた状況情報列を生成し記憶手段に保持するステップ
   と、 前記状況情報列の第１の指定期間に対する最新の反応感
   情情報を生成するステップと、 前記反応感情情報と第２の指定期間分の状況情報列とを
   関連付けて学習し、この学習結果を記憶手段に保持する
   ステップと、 第３の指定期間分の状況情報列の入力に対して前記学習
   された感情情報を想起した想起感情情報を生成するステ
   ップと、 前記想起感情情報と前記反応感情情報とを合成して自己
   感情情報を生成するステップと、 前記自己感情情報に応じた信号を生成出力するステップ
   とを有することを特徴とする感情生成方法。