JPH10254592A - 感情生成装置およびその方法 - Google Patents
感情生成装置およびその方法Info
- Publication number
- JPH10254592A JPH10254592A JP7891897A JP7891897A JPH10254592A JP H10254592 A JPH10254592 A JP H10254592A JP 7891897 A JP7891897 A JP 7891897A JP 7891897 A JP7891897 A JP 7891897A JP H10254592 A JPH10254592 A JP H10254592A
- Authority
- JP
- Japan
- Prior art keywords
- data
- neural network
- information
- emotional state
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Feedback Control In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【課題】 ニューラルネットを用いて、自然かつ生物的
な変化をする感情の生成を可能にする感情生成装置およ
びその方法を実現する。 【解決手段】 人間と電気機器との間の情報仲介のため
のインタフェース装置において、ニューラルネット８は
ユーザ情報Ｉ0 〜Ｉ5 ，機器情報Ｉ6 ，Ｉ7 および現在
の感情状態Ｏ0 〜Ｏ3 を入力して次の感情状態Ｏ0 〜Ｏ
3 を出力し、行動決定エンジン１０はニューラルネット
８の感情状態Ｏ0 〜Ｏ3 およびユーザ情報Ｉ0 〜Ｉ5 を
入力してインタフェースの行動を決定し、様相決定エン
ジン１１はニューラルネット８の感情状態Ｏ0 〜Ｏ3 を
入力してインタフェースの様相を決定する。
な変化をする感情の生成を可能にする感情生成装置およ
びその方法を実現する。 【解決手段】 人間と電気機器との間の情報仲介のため
のインタフェース装置において、ニューラルネット８は
ユーザ情報Ｉ0 〜Ｉ5 ，機器情報Ｉ6 ，Ｉ7 および現在
の感情状態Ｏ0 〜Ｏ3 を入力して次の感情状態Ｏ0 〜Ｏ
3 を出力し、行動決定エンジン１０はニューラルネット
８の感情状態Ｏ0 〜Ｏ3 およびユーザ情報Ｉ0 〜Ｉ5 を
入力してインタフェースの行動を決定し、様相決定エン
ジン１１はニューラルネット８の感情状態Ｏ0 〜Ｏ3 を
入力してインタフェースの様相を決定する。
Description
【０００１】
【発明の属する技術分野】本発明は感情生成装置および
その方法に関し、特に人工生命，人工エージェント等
（以下、インタフェースと総称する）を含む電気機器に
おける感情生成装置およびその方法に関する。
その方法に関し、特に人工生命，人工エージェント等
（以下、インタフェースと総称する）を含む電気機器に
おける感情生成装置およびその方法に関する。
【０００２】
【従来の技術】近年、家庭用電化製品，オフィスオート
メーション機器などの電気機器（以下、単に機器とい
う）の多機能化および複雑化が進んでいる。また、多機
能になるにつれて使い易さを強調したインタフェースが
実現されている。バーコード入力，音声入出力などが、
その例である。従来、複雑なマニュアル操作で行ってい
た機器への命令操作が簡単なボタン操作になり、簡単な
ボタン操作の組合せがバーコード入力による一括入力に
なり、そしてなじみの深い自然言語での音声命令が可能
になってきた。また、機器からの反応も進化を遂げてお
り、以前は命令された結果を実行するのみであったもの
が、命令を受理したことを示すために反応をするように
なった。たとえば、ビデオの録画予約を例に考えると、
録画予約が済むとビデオ前面の時計表示部分に録画予約
マークがつくようになり、予約終了時に予約をした旨を
つげる記号列や自然言語がテレビ画面に表示されるよう
になり、自然言語が音声化され「予約しました」と告げ
るようになった。
メーション機器などの電気機器（以下、単に機器とい
う）の多機能化および複雑化が進んでいる。また、多機
能になるにつれて使い易さを強調したインタフェースが
実現されている。バーコード入力，音声入出力などが、
その例である。従来、複雑なマニュアル操作で行ってい
た機器への命令操作が簡単なボタン操作になり、簡単な
ボタン操作の組合せがバーコード入力による一括入力に
なり、そしてなじみの深い自然言語での音声命令が可能
になってきた。また、機器からの反応も進化を遂げてお
り、以前は命令された結果を実行するのみであったもの
が、命令を受理したことを示すために反応をするように
なった。たとえば、ビデオの録画予約を例に考えると、
録画予約が済むとビデオ前面の時計表示部分に録画予約
マークがつくようになり、予約終了時に予約をした旨を
つげる記号列や自然言語がテレビ画面に表示されるよう
になり、自然言語が音声化され「予約しました」と告げ
るようになった。
【０００３】現在、前記のような簡単化されたインタフ
ェースが徐々に実用化され、その動作を擬人化したエー
ジェントが行っているように見せる方法が注目されはじ
めている。しかし、擬人化することにより、ユーザのイ
ンタフェースに対する期待は増し、結果としてインタフ
ェースに不満を感じる可能性がある。これを解消するた
め、特開平６−１２４０１号公報では、擬人化エージェ
ントに感情を持たせる試みが行われている。
ェースが徐々に実用化され、その動作を擬人化したエー
ジェントが行っているように見せる方法が注目されはじ
めている。しかし、擬人化することにより、ユーザのイ
ンタフェースに対する期待は増し、結果としてインタフ
ェースに不満を感じる可能性がある。これを解消するた
め、特開平６−１２４０１号公報では、擬人化エージェ
ントに感情を持たせる試みが行われている。
【０００４】
【発明が解決しようとする課題】上述した従来の擬人化
エジェーントでは、感情の実現方法が、ある単一の状況
に対して１つもしくは複数のパラメータを個別に変更す
ることにより実現されているため、外部からの影響が同
じであれば、現在の感情状態にかかわらず、感情の変化
量も一意に決定するので、実際の生物的な感情の変化と
比較すると不自然な点がみられるという問題点があっ
た。
エジェーントでは、感情の実現方法が、ある単一の状況
に対して１つもしくは複数のパラメータを個別に変更す
ることにより実現されているため、外部からの影響が同
じであれば、現在の感情状態にかかわらず、感情の変化
量も一意に決定するので、実際の生物的な感情の変化と
比較すると不自然な点がみられるという問題点があっ
た。
【０００５】また、外部から受け入れるあらかじめ定義
したものに限定しているため、定義されていない状況に
対しては感情が変化せず、多様性がないという問題点が
あった。
したものに限定しているため、定義されていない状況に
対しては感情が変化せず、多様性がないという問題点が
あった。
【０００６】さらに、感情の変化量に乱数を使用する方
法もあるが、不自然さが生じる可能性があるという問題
点があった。
法もあるが、不自然さが生じる可能性があるという問題
点があった。
【０００７】本発明の目的は、ニューラルネットワーク
（以下、ニューラルネットと略記する），行動決定エン
ジンおよび様相決定エンジンを備えることにより、自然
かつ生物的な変化をする感情の生成を可能にする感情生
成装置を提供することにある。
（以下、ニューラルネットと略記する），行動決定エン
ジンおよび様相決定エンジンを備えることにより、自然
かつ生物的な変化をする感情の生成を可能にする感情生
成装置を提供することにある。
【０００８】また、本発明の他の目的は、ニューラルネ
ットを用いて、自然かつ生物的な変化をする感情の生成
を可能にした感情生成方法を提供することにある。
ットを用いて、自然かつ生物的な変化をする感情の生成
を可能にした感情生成方法を提供することにある。
【０００９】
【課題を解決するための手段】本発明の感情生成装置
は、人間と電気機器との間の情報仲介のためのインタフ
ェース装置において、ユーザ情報，機器情報および現在
の感情状態を入力して次の感情状態を出力するニューラ
ルネットと、このニューラルネットの感情状態およびユ
ーザ情報を入力してインタフェースの行動を決定する行
動決定エンジンと、前記ニューラルネットの感情状態を
入力してインタフェースの様相を決定する様相決定エン
ジンとを備えることを特徴とする。
は、人間と電気機器との間の情報仲介のためのインタフ
ェース装置において、ユーザ情報，機器情報および現在
の感情状態を入力して次の感情状態を出力するニューラ
ルネットと、このニューラルネットの感情状態およびユ
ーザ情報を入力してインタフェースの行動を決定する行
動決定エンジンと、前記ニューラルネットの感情状態を
入力してインタフェースの様相を決定する様相決定エン
ジンとを備えることを特徴とする。
【００１０】また、本発明の感情生成方法は、人間と電
気機器との間の情報仲介のための感情生成方法におい
て、ニューラルネットを用いることにより、前記電気機
器のインタフェースが生物的要素としての感情を備えて
いることを特徴とする。
気機器との間の情報仲介のための感情生成方法におい
て、ニューラルネットを用いることにより、前記電気機
器のインタフェースが生物的要素としての感情を備えて
いることを特徴とする。
【００１１】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１２】図１は、本発明の第１の実施の形態に係る
感情生成装置の構成を示すブロック図である。本実施の
形態に係る感情生成装置は、ニューラルネット８と、行
動決定エンジン１０と、様相決定エンジン１１とから、
その主要部が構成されている。
感情生成装置の構成を示すブロック図である。本実施の
形態に係る感情生成装置は、ニューラルネット８と、行
動決定エンジン１０と、様相決定エンジン１１とから、
その主要部が構成されている。
【００１３】第１の実施の形態に係る感情生成装置で
は、パーソナルコンピュータへの実装を想定している。
ユーザから感情生成装置へのデータの入力手段として
は、カメラ１，マイク２，センサ３，キーボード４，マ
ウス５などがある。ここで、ユーザのアナログ変動する
情報（以下、アナログ変動情報という）を獲得する手段
としては、カメラ１，マイク２，センサ３があり、カメ
ラ１による視線，顔つきなど、センサ３による皮膚温
度，脈拍数など、またマイク２からの音声入力で得られ
た声質，その他の音などがアナログ変動情報となる。プ
ログラム中で定義された流れをもって変動する情報（以
下、流れを持つ情報という）として考えられるものに
は、インタフェースのミスに対するユーザの怒鳴り声や
舌打ちなど、機器の出力に対する反応、およびその履歴
があげられる。これらの情報は、カメラ１，マイク２，
キーボード４，マウス５のいずれかを用いて伝達され
る。以下、アナログ変動情報および流れを持つ情報を総
称して、ユーザ情報という。機器内で変動する時系列的
な情報（以下、機器情報という）には、内部センサ６に
より得られる機器の温度Ｉ6 ，タイマ７により測定され
たパーソナルコンピュータの使用時間Ｉ7 などが対応す
る。
は、パーソナルコンピュータへの実装を想定している。
ユーザから感情生成装置へのデータの入力手段として
は、カメラ１，マイク２，センサ３，キーボード４，マ
ウス５などがある。ここで、ユーザのアナログ変動する
情報（以下、アナログ変動情報という）を獲得する手段
としては、カメラ１，マイク２，センサ３があり、カメ
ラ１による視線，顔つきなど、センサ３による皮膚温
度，脈拍数など、またマイク２からの音声入力で得られ
た声質，その他の音などがアナログ変動情報となる。プ
ログラム中で定義された流れをもって変動する情報（以
下、流れを持つ情報という）として考えられるものに
は、インタフェースのミスに対するユーザの怒鳴り声や
舌打ちなど、機器の出力に対する反応、およびその履歴
があげられる。これらの情報は、カメラ１，マイク２，
キーボード４，マウス５のいずれかを用いて伝達され
る。以下、アナログ変動情報および流れを持つ情報を総
称して、ユーザ情報という。機器内で変動する時系列的
な情報（以下、機器情報という）には、内部センサ６に
より得られる機器の温度Ｉ6 ，タイマ７により測定され
たパーソナルコンピュータの使用時間Ｉ7 などが対応す
る。
【００１４】図２を参照すると、ニューラルネット８
は、入力層，中間層，出力層の３層からなる。ニューラ
ルネット８に入力として与えられるユーザ情報として
は、カメラ１から得られる「瞬きの回数」Ｉ0 ，マイク
２から得られる「声の大きさ」Ｉ1 および「発声間隔」
Ｉ2 ，センサ３から得られる「脈拍数」Ｉ3 ，キーボー
ド４から得られる「打鍵の強さ」Ｉ4 ，およびマウス５
から得られる１回当たりの「使用時間」Ｉ5 がある。ま
た、機器情報としては、内部センサ６から得られる「内
部温度」Ｉ6 ，およびタイマ７から得られる「使用時
間」Ｉ7 がある。また、ニューラルネット８の出力層に
得られる出力Ｏ0 〜Ｏ3 は、感情状態を表すデータであ
り、「喜」，「怒」，「悲」，および「驚」に対応した
４出力である。以下、出力Ｏ0 〜Ｏ3 を感情状態とい
う。さらに、ニューラルネット８には、前回出力された
感情状態Ｏ0 〜Ｏ3 が、現在の感情状態Ｓ0 〜Ｓ3 とし
て入力されている。
は、入力層，中間層，出力層の３層からなる。ニューラ
ルネット８に入力として与えられるユーザ情報として
は、カメラ１から得られる「瞬きの回数」Ｉ0 ，マイク
２から得られる「声の大きさ」Ｉ1 および「発声間隔」
Ｉ2 ，センサ３から得られる「脈拍数」Ｉ3 ，キーボー
ド４から得られる「打鍵の強さ」Ｉ4 ，およびマウス５
から得られる１回当たりの「使用時間」Ｉ5 がある。ま
た、機器情報としては、内部センサ６から得られる「内
部温度」Ｉ6 ，およびタイマ７から得られる「使用時
間」Ｉ7 がある。また、ニューラルネット８の出力層に
得られる出力Ｏ0 〜Ｏ3 は、感情状態を表すデータであ
り、「喜」，「怒」，「悲」，および「驚」に対応した
４出力である。以下、出力Ｏ0 〜Ｏ3 を感情状態とい
う。さらに、ニューラルネット８には、前回出力された
感情状態Ｏ0 〜Ｏ3 が、現在の感情状態Ｓ0 〜Ｓ3 とし
て入力されている。
【００１５】図３は、ニューラルネット８の学習に必要
な学習データ（ユーザ情報Ｉ0 〜Ｉ5 ，機器情報Ｉ6 ，
Ｉ7 および教師信号Ｔ0 〜Ｔ3 ）を例示する図である。
ニューラルネット８は、例えば、バックプロパゲーショ
ン法等を用いて学習させて使用する。バックプロパゲー
ション法は、教師付き学習の一種であり、入力とそれに
対する適切な解答（教師）のデータとのセットを用意
し、その対になったデータを用いて学習を行う方法であ
る。例えば、機器を長時間使用し、ユーザおよび機器と
もに疲労が感じられる場合を例示すると、そのような状
況を表す入力が入ったときに、最初のうちはニューラル
ネット８は不適切である可能性が高い感情状態Ｏ0 〜Ｏ
3 を出力する。このとき、理想の感情状態Ｏ0 〜Ｏ3 、
つまり機器の感情は「激怒」であることを学習させるた
めに、教師信号として「激怒」を表す信号Ｔ0 〜Ｔ3 を
与える。このようにして、いくつかの入力に対して、信
号Ｔ0 〜Ｔ3 を与える処理を繰り返して学習を行う。学
習が済むと、入力セットとして直接与えていない情報に
関しても、与えられた入力セットを補完する形で感情状
態Ｏ0 〜Ｏ3 が得られるようになる。ここで、もし「怒
る」ことを教えなければ、決して怒らない感情を作り上
げることも可能である。一方、実際の感情は、連続性お
よび方向性があり、強く反応する部分とそうでない部分
とがある（怒りやすく、喜びにくいなど）。つまり、ニ
ューラルネット８の特性を使うことにより、生物らしい
感情を表現できる。なお、ニューラルネット８の学習に
ついてのより詳しい解説については、「ニューロコンピ
ュータ」（技術評論社）などに記載されている。
な学習データ（ユーザ情報Ｉ0 〜Ｉ5 ，機器情報Ｉ6 ，
Ｉ7 および教師信号Ｔ0 〜Ｔ3 ）を例示する図である。
ニューラルネット８は、例えば、バックプロパゲーショ
ン法等を用いて学習させて使用する。バックプロパゲー
ション法は、教師付き学習の一種であり、入力とそれに
対する適切な解答（教師）のデータとのセットを用意
し、その対になったデータを用いて学習を行う方法であ
る。例えば、機器を長時間使用し、ユーザおよび機器と
もに疲労が感じられる場合を例示すると、そのような状
況を表す入力が入ったときに、最初のうちはニューラル
ネット８は不適切である可能性が高い感情状態Ｏ0 〜Ｏ
3 を出力する。このとき、理想の感情状態Ｏ0 〜Ｏ3 、
つまり機器の感情は「激怒」であることを学習させるた
めに、教師信号として「激怒」を表す信号Ｔ0 〜Ｔ3 を
与える。このようにして、いくつかの入力に対して、信
号Ｔ0 〜Ｔ3 を与える処理を繰り返して学習を行う。学
習が済むと、入力セットとして直接与えていない情報に
関しても、与えられた入力セットを補完する形で感情状
態Ｏ0 〜Ｏ3 が得られるようになる。ここで、もし「怒
る」ことを教えなければ、決して怒らない感情を作り上
げることも可能である。一方、実際の感情は、連続性お
よび方向性があり、強く反応する部分とそうでない部分
とがある（怒りやすく、喜びにくいなど）。つまり、ニ
ューラルネット８の特性を使うことにより、生物らしい
感情を表現できる。なお、ニューラルネット８の学習に
ついてのより詳しい解説については、「ニューロコンピ
ュータ」（技術評論社）などに記載されている。
【００１６】ニューラルネット８の感情状態Ｏ0 〜Ｏ3
は、行動決定エンジン１０および様相決定エンジン１１
に渡され、ユーザからの問い合わせに対する機器からの
返答等の行動を決定する際の１つの決定要素として用い
られたり、擬人化インタフェースの表情や色といった様
相の生成に使用されたりする。
は、行動決定エンジン１０および様相決定エンジン１１
に渡され、ユーザからの問い合わせに対する機器からの
返答等の行動を決定する際の１つの決定要素として用い
られたり、擬人化インタフェースの表情や色といった様
相の生成に使用されたりする。
【００１７】図４は、感情状態Ｏ0 〜Ｏ3 によって形成
される仮想的な４次元空間（以下、感情マップという）
を例示する図である。感情マップは、（喜，怒，悲，
驚）の４次元の感情状態Ｏ0 〜Ｏ3 からなるマップであ
り、各感情状態Ｏ0 〜Ｏ3 は（０，０，０，０）から
（１，１，１，１）の範囲で変動する。それぞれの感情
状態Ｏ0 〜Ｏ3 の特性は値が大きくなる程強くなり、
（０，０，０，０）から（１，１，１，１）を結ぶ線
上、すなわちすべての感情状態Ｏ0 〜Ｏ3 の値が等しい
時には感情は中立安定な状態である。
される仮想的な４次元空間（以下、感情マップという）
を例示する図である。感情マップは、（喜，怒，悲，
驚）の４次元の感情状態Ｏ0 〜Ｏ3 からなるマップであ
り、各感情状態Ｏ0 〜Ｏ3 は（０，０，０，０）から
（１，１，１，１）の範囲で変動する。それぞれの感情
状態Ｏ0 〜Ｏ3 の特性は値が大きくなる程強くなり、
（０，０，０，０）から（１，１，１，１）を結ぶ線
上、すなわちすべての感情状態Ｏ0 〜Ｏ3 の値が等しい
時には感情は中立安定な状態である。
【００１８】図５は、行動決定エンジン１０の内部構造
の一例を示すブロック図である。行動決定エンジン１０
は、入力検出・情報加工部５１と、行動決定データベー
ス５２と、行動決定部５３とから、その主要部が構成さ
れている。
の一例を示すブロック図である。行動決定エンジン１０
は、入力検出・情報加工部５１と、行動決定データベー
ス５２と、行動決定部５３とから、その主要部が構成さ
れている。
【００１９】入力検出・情報加工部５１は、外部から得
られたユーザ情報Ｉ0 〜Ｉ5 がどのような情報であるか
を検出し、画像は画像認識手段を用いて、音声は音声認
識手段を用いてというように、ユーザ情報に応じた手段
を用いてその加工を行う（以下、加工された結果の情報
を加工情報という）。
られたユーザ情報Ｉ0 〜Ｉ5 がどのような情報であるか
を検出し、画像は画像認識手段を用いて、音声は音声認
識手段を用いてというように、ユーザ情報に応じた手段
を用いてその加工を行う（以下、加工された結果の情報
を加工情報という）。
【００２０】図６を参照すると、入力検出・情報加工部
５１の処理は、入力タイプ判別ステップＳ１０１と、入
力文字列判断ステップＳ１０２と、入力ボタン判断・入
力位置判断ステップＳ１０３と、入力文字列判断・音質
判断ステップＳ１０４と、画像特徴判断ステップＳ１０
５と、脈拍数判断ステップＳ１０６とからなる。
５１の処理は、入力タイプ判別ステップＳ１０１と、入
力文字列判断ステップＳ１０２と、入力ボタン判断・入
力位置判断ステップＳ１０３と、入力文字列判断・音質
判断ステップＳ１０４と、画像特徴判断ステップＳ１０
５と、脈拍数判断ステップＳ１０６とからなる。
【００２１】図７は、行動決定データベース５２の内容
の一部を例示する図である。この行動決定データベース
５２では、入力される加工情報およびニューラルネット
８の感情状態Ｏ0 〜Ｏ3 に対応して、インタフェースの
行動が記述されている。
の一部を例示する図である。この行動決定データベース
５２では、入力される加工情報およびニューラルネット
８の感情状態Ｏ0 〜Ｏ3 に対応して、インタフェースの
行動が記述されている。
【００２２】行動決定部５３は、入力検出・情報加工部
５１からの加工情報とニューラルネット８の感情状態Ｏ
0 〜Ｏ3 とを用いて、行動決定データベース５２を検索
することにより、インタフェースの行動を決定する。
５１からの加工情報とニューラルネット８の感情状態Ｏ
0 〜Ｏ3 とを用いて、行動決定データベース５２を検索
することにより、インタフェースの行動を決定する。
【００２３】図８を参照すると、行動決定部５３の処理
は、加工情報入力ステップＳ２０１と、ニューラルネッ
ト感情状態入力ステップＳ２０２と、行動決定データベ
ース検索ステップＳ２０３と、行動出力ステップＳ２０
４とからなる。
は、加工情報入力ステップＳ２０１と、ニューラルネッ
ト感情状態入力ステップＳ２０２と、行動決定データベ
ース検索ステップＳ２０３と、行動出力ステップＳ２０
４とからなる。
【００２４】図９は、様相決定エンジン１１の概要を示
すブロック図である。様相決定エンジン１１は、目デー
タ導出部９１と、目データデータベース９２と、鼻デー
タ導出部９３と、鼻データデータベース９４と、口デー
タ導出部９５と、口データデータベース９６と、色デー
タ導出部９７と、色データデータベース９８と、様相デ
ータ導出部９９とから構成されている。
すブロック図である。様相決定エンジン１１は、目デー
タ導出部９１と、目データデータベース９２と、鼻デー
タ導出部９３と、鼻データデータベース９４と、口デー
タ導出部９５と、口データデータベース９６と、色デー
タ導出部９７と、色データデータベース９８と、様相デ
ータ導出部９９とから構成されている。
【００２５】様相は、目，鼻，口，色などの部品に分け
てデータの作成を行う。各部品は、部品ごとのデータベ
ースを持ち、ニューラルネット８の感情状態Ｏ0 〜Ｏ3
と目データデータベース９２，鼻データデータベース９
４，口データデータベース９６，および色データデータ
ベース９８とから、ニューラルネット８の感情状態Ｏ0
〜Ｏ3 に合った目データ，鼻データ，口データおよび色
データを導出し、これら導出データを基に画像データな
どの様相を形成するデータを導出する。
てデータの作成を行う。各部品は、部品ごとのデータベ
ースを持ち、ニューラルネット８の感情状態Ｏ0 〜Ｏ3
と目データデータベース９２，鼻データデータベース９
４，口データデータベース９６，および色データデータ
ベース９８とから、ニューラルネット８の感情状態Ｏ0
〜Ｏ3 に合った目データ，鼻データ，口データおよび色
データを導出し、これら導出データを基に画像データな
どの様相を形成するデータを導出する。
【００２６】図１０は、目データデータベース９２，鼻
データデータベース９４，口データデータベース９６お
よび色データデータベース９８におけるデータ格納形式
を例示する図である。感情値Ｄi （ｉ＝０〜３）は、ニ
ューラルネット８の感情状態Ｏ0 〜Ｏ3 と同様に、
「喜」，「怒」，「悲」，および「驚」に対応するが、
感情値Ｄi の取り得る値は、［０，０．５，１］の３値
のいずれかである。感情値Ｄi が決定すると、それぞれ
の部品を形成するデータが決定する。この形成データ
は、ビットマップデータやポリゴンデータなどの画像デ
ータである。すべての部品のデータが得られたならば、
様相データ導出部９９は、それらを統合した画像データ
を様相として作成する。
データデータベース９４，口データデータベース９６お
よび色データデータベース９８におけるデータ格納形式
を例示する図である。感情値Ｄi （ｉ＝０〜３）は、ニ
ューラルネット８の感情状態Ｏ0 〜Ｏ3 と同様に、
「喜」，「怒」，「悲」，および「驚」に対応するが、
感情値Ｄi の取り得る値は、［０，０．５，１］の３値
のいずれかである。感情値Ｄi が決定すると、それぞれ
の部品を形成するデータが決定する。この形成データ
は、ビットマップデータやポリゴンデータなどの画像デ
ータである。すべての部品のデータが得られたならば、
様相データ導出部９９は、それらを統合した画像データ
を様相として作成する。
【００２７】図１１は、目データ導出部９１，鼻データ
導出部９３，口データ導出部９５，および色データ導出
部９７によるニューラルネット８の感情状態Ｏi （ｉ＝
０〜３）から感情値Ｄi （ｉ＝０〜３）を求める方法を
示すフローチャートである。ニューラルネット８の感情
状態Ｏi （ｉ＝０〜３）から感情値Ｄi （ｉ＝０〜３）
を求める方法は、ニューラルネット８の出力Ｏi （ｉ＝
０〜３）と目データデータベース９２，鼻データデータ
ベース９４，口データデータベース９６および色データ
データベース９８に記録されている感情Ｄi （ｉ＝０〜
３）を比較して一番近いものを選択するという方法であ
る。
導出部９３，口データ導出部９５，および色データ導出
部９７によるニューラルネット８の感情状態Ｏi （ｉ＝
０〜３）から感情値Ｄi （ｉ＝０〜３）を求める方法を
示すフローチャートである。ニューラルネット８の感情
状態Ｏi （ｉ＝０〜３）から感情値Ｄi （ｉ＝０〜３）
を求める方法は、ニューラルネット８の出力Ｏi （ｉ＝
０〜３）と目データデータベース９２，鼻データデータ
ベース９４，口データデータベース９６および色データ
データベース９８に記録されている感情Ｄi （ｉ＝０〜
３）を比較して一番近いものを選択するという方法であ
る。
【００２８】図１１を参照すると、感情値Ｄi （ｉ＝０
〜３）を求める方法は、カウンタｉ＝４判定ステップＳ
３０１と、感情状態Ｏi ０．２５未満判定ステップＳ３
０２と、感情状態Ｏi ０．２５以上０．７５未満判定ス
テップＳ３０３と、感情値Ｄi ＝０設定ステップＳ３０
４と、感情値Ｄi ＝０．５設定ステップＳ３０５と、
と、感情値Ｄi ＝１設定ステップＳ３０６と、カウンタ
ｉ増加ステップＳ３０７とからなる。
〜３）を求める方法は、カウンタｉ＝４判定ステップＳ
３０１と、感情状態Ｏi ０．２５未満判定ステップＳ３
０２と、感情状態Ｏi ０．２５以上０．７５未満判定ス
テップＳ３０３と、感情値Ｄi ＝０設定ステップＳ３０
４と、感情値Ｄi ＝０．５設定ステップＳ３０５と、
と、感情値Ｄi ＝１設定ステップＳ３０６と、カウンタ
ｉ増加ステップＳ３０７とからなる。
【００２９】次に、このように構成された第１の実施の
形態に係る感情生成装置の動作について、その感情生成
方法とともに説明する。
形態に係る感情生成装置の動作について、その感情生成
方法とともに説明する。
【００３０】カメラ１，マイク２およびセンサ３からア
ナログ変動情報が、キーボード４およびマウス５から流
れを持った情報がユーザ情報Ｉ0 〜Ｉ5 として入力され
るとともに、機器の内部センサ６およびタイマ７から機
器情報Ｉ6 およびＩ7 が入力されると、ニューラルネッ
ト８は、前回の感情状態Ｓ0 〜Ｓ3 も一緒に入力して、
今回の感情状態Ｏ0 〜Ｏ3 を出力する。
ナログ変動情報が、キーボード４およびマウス５から流
れを持った情報がユーザ情報Ｉ0 〜Ｉ5 として入力され
るとともに、機器の内部センサ６およびタイマ７から機
器情報Ｉ6 およびＩ7 が入力されると、ニューラルネッ
ト８は、前回の感情状態Ｓ0 〜Ｓ3 も一緒に入力して、
今回の感情状態Ｏ0 〜Ｏ3 を出力する。
【００３１】次に、行動決定エンジン１０は、ユーザ情
報Ｉ0 〜Ｉ5 およびニューラルネット８の感情状態Ｏ0
〜Ｏ3 を入力してインタフェースの行動を決定する。
報Ｉ0 〜Ｉ5 およびニューラルネット８の感情状態Ｏ0
〜Ｏ3 を入力してインタフェースの行動を決定する。
【００３２】詳しくは、行動決定エンジン１０では、入
力検出・情報加工部５１が、ユーザ情報Ｉ0 〜Ｉ5 を入
力して入力タイプを判別し（ステップＳ１０１）、キー
入力であれば入力文字列を判断し（ステップＳ１０
２）、マウス入力であれば入力ボタンおよび入力位置を
判断し（ステップＳ１０３）、音声入力であれば入力文
字列および音質を判断し（ステップＳ１０４）、画像入
力であれば画像特徴を判断し（ステップＳ１０５）、セ
ンサ入力であれば脈拍数を判断して（ステップＳ１０
６）、加工情報として出力する。
力検出・情報加工部５１が、ユーザ情報Ｉ0 〜Ｉ5 を入
力して入力タイプを判別し（ステップＳ１０１）、キー
入力であれば入力文字列を判断し（ステップＳ１０
２）、マウス入力であれば入力ボタンおよび入力位置を
判断し（ステップＳ１０３）、音声入力であれば入力文
字列および音質を判断し（ステップＳ１０４）、画像入
力であれば画像特徴を判断し（ステップＳ１０５）、セ
ンサ入力であれば脈拍数を判断して（ステップＳ１０
６）、加工情報として出力する。
【００３３】次に、行動決定部５２は、入力検出・情報
加工部５１からの加工情報と、ニューラルネット８の感
情状態Ｏ0 〜Ｏ3 とを入力して行動決定データベース５
３を検索することにより、インタフェースの行動を決定
する。
加工部５１からの加工情報と、ニューラルネット８の感
情状態Ｏ0 〜Ｏ3 とを入力して行動決定データベース５
３を検索することにより、インタフェースの行動を決定
する。
【００３４】例えば、図７の行動決定データベース５２
を参照すると、マウス５のクリックを示すユーザ情報Ｉ
4 が入力されたとすると、行動決定部５３は、ニューラ
ルネット８の感情状態Ｏ1 が０．５以上の場合には何も
せず、その他の場合には（ｘ，ｙ）の位置のイベントを
判定し、イベントを処理する。また、マイク２からの音
声入力を示すユーザ情報Ｉ1 が入力されたとすると、行
動決定部５３は、ニューラルネット８の感情状態Ｏ2 が
０．５以上の場合にはトーンを下げて音声「お・は・よ
・う」を出力し、感情状態Ｏ1 が０．８より大きいか、
または感情状態Ｏ3 が０．５より大きい場合には何もせ
ず、その他の場合には音声「う・る・さ・い」を出力す
る。
を参照すると、マウス５のクリックを示すユーザ情報Ｉ
4 が入力されたとすると、行動決定部５３は、ニューラ
ルネット８の感情状態Ｏ1 が０．５以上の場合には何も
せず、その他の場合には（ｘ，ｙ）の位置のイベントを
判定し、イベントを処理する。また、マイク２からの音
声入力を示すユーザ情報Ｉ1 が入力されたとすると、行
動決定部５３は、ニューラルネット８の感情状態Ｏ2 が
０．５以上の場合にはトーンを下げて音声「お・は・よ
・う」を出力し、感情状態Ｏ1 が０．８より大きいか、
または感情状態Ｏ3 が０．５より大きい場合には何もせ
ず、その他の場合には音声「う・る・さ・い」を出力す
る。
【００３５】一方、様相決定エンジン１１は、ニューラ
ルネット８の感情状態Ｏ0 〜Ｏ3 を入力してインタフェ
ースの様相を決定する。
ルネット８の感情状態Ｏ0 〜Ｏ3 を入力してインタフェ
ースの様相を決定する。
【００３６】詳しくは、様相決定エンジン１１では、目
データ導出部９１が目データデータベース９２を検索し
て目データを決定し、鼻データ導出部９３が鼻データデ
ータベース９４を検索して鼻データを決定し、口データ
導出部９５が口データデータベース９６を検索して口デ
ータを決定し、色データ導出部９７が色データデータベ
ース９８を検索して色データを決定して、これらデータ
を様相データ導出部９９が、重畳してインタフェースの
様相として出力する。
データ導出部９１が目データデータベース９２を検索し
て目データを決定し、鼻データ導出部９３が鼻データデ
ータベース９４を検索して鼻データを決定し、口データ
導出部９５が口データデータベース９６を検索して口デ
ータを決定し、色データ導出部９７が色データデータベ
ース９８を検索して色データを決定して、これらデータ
を様相データ導出部９９が、重畳してインタフェースの
様相として出力する。
【００３７】このとき、目データ導出部９１，鼻データ
導出部９３，口データ導出部９５，および色データ導出
部９７では、ニューラルネット８の感情状態Ｏi （ｉ＝
０〜３）から感情値Ｄi （ｉ＝０〜３）を求める。すな
わち、感情状態Ｏi （ｉ＝０〜３）が０．２５より小さ
ければ（ステップＳ３０２）、感情値Ｄi （ｉ＝０〜
３）を０とし、感情状態Ｏi （ｉ＝０〜３）が０．２５
から０．７５の間であれば（ステップＳ３０３）、感情
値Ｄi （ｉ＝０〜３）を０．５とし、感情状態Ｏi （ｉ
＝０〜３）が０．７５より大きければ、感情値Ｄi （ｉ
＝０〜３）を１として正規化する。つまり、ニューラル
ネット８の感情状態Ｏi （ｉ＝０〜３）と目データデー
タベース９２，鼻データデータベース９４，口データデ
ータベース９６および色データデータベース９８に記録
されている感情値Ｄi （ｉ＝０〜３）とを比較して一番
近いものを選択する。
導出部９３，口データ導出部９５，および色データ導出
部９７では、ニューラルネット８の感情状態Ｏi （ｉ＝
０〜３）から感情値Ｄi （ｉ＝０〜３）を求める。すな
わち、感情状態Ｏi （ｉ＝０〜３）が０．２５より小さ
ければ（ステップＳ３０２）、感情値Ｄi （ｉ＝０〜
３）を０とし、感情状態Ｏi （ｉ＝０〜３）が０．２５
から０．７５の間であれば（ステップＳ３０３）、感情
値Ｄi （ｉ＝０〜３）を０．５とし、感情状態Ｏi （ｉ
＝０〜３）が０．７５より大きければ、感情値Ｄi （ｉ
＝０〜３）を１として正規化する。つまり、ニューラル
ネット８の感情状態Ｏi （ｉ＝０〜３）と目データデー
タベース９２，鼻データデータベース９４，口データデ
ータベース９６および色データデータベース９８に記録
されている感情値Ｄi （ｉ＝０〜３）とを比較して一番
近いものを選択する。
【００３８】図１２は、様相決定の方法として、顔の表
情の決定方法の一例を示す図である。感情値Ｄi （ｉ＝
０〜３）は感情マップ上のいずれかの点であるので、あ
らかじめ感情マップ上の主要な点、ユーザから見て常識
的な感情の変化を学習させる。その主要な点に関して、
あらかじめ顔の様相データを用意して、主要な点以外の
点の様相に対しては、その主要な点を補完するような中
間的な様相を出力するようにする。目の例を挙げれば、
主要な点として、「普通」（０，０，０，０），「怒」
（０，０．５，０，０），「激怒」（０，１，０，０）
を用意しておき、その中間の点があったときに、「ちょ
っと怒」（０，０．３，０，０）に適するようなデータ
を合成して作り出す。
情の決定方法の一例を示す図である。感情値Ｄi （ｉ＝
０〜３）は感情マップ上のいずれかの点であるので、あ
らかじめ感情マップ上の主要な点、ユーザから見て常識
的な感情の変化を学習させる。その主要な点に関して、
あらかじめ顔の様相データを用意して、主要な点以外の
点の様相に対しては、その主要な点を補完するような中
間的な様相を出力するようにする。目の例を挙げれば、
主要な点として、「普通」（０，０，０，０），「怒」
（０，０．５，０，０），「激怒」（０，１，０，０）
を用意しておき、その中間の点があったときに、「ちょ
っと怒」（０，０．３，０，０）に適するようなデータ
を合成して作り出す。
【００３９】図１３は、本発明の第２の実施の形態に係
る感情生成装置を示すブロック図である。本実施の形態
に係る感情生成装置は、図１に示した第１の実施の形態
に係る感情生成装置に対して、感情生成方法を実現する
感情生成プログラム（データを含む）を記録した記録媒
体２０を備えるようにしたものである。この記録媒体２
０は、磁気ディスク，半導体メモリその他の記録媒体で
あってよい。感情生成プログラムは、記録媒体２０から
コンピュータ（図示せず）に読み込まれ、コンピュータ
の動作を感情生成装置として制御する。感情生成装置の
動作は、第１の実施の形態に係る感情生成装置の場合と
全く同様なので、その詳しい説明は割愛する。
る感情生成装置を示すブロック図である。本実施の形態
に係る感情生成装置は、図１に示した第１の実施の形態
に係る感情生成装置に対して、感情生成方法を実現する
感情生成プログラム（データを含む）を記録した記録媒
体２０を備えるようにしたものである。この記録媒体２
０は、磁気ディスク，半導体メモリその他の記録媒体で
あってよい。感情生成プログラムは、記録媒体２０から
コンピュータ（図示せず）に読み込まれ、コンピュータ
の動作を感情生成装置として制御する。感情生成装置の
動作は、第１の実施の形態に係る感情生成装置の場合と
全く同様なので、その詳しい説明は割愛する。
【００４０】上記実施の形態に係る感情生成装置および
その方法は、ニューラルネット８にユーザ情報ユーザ情
報Ｉ0 〜Ｉ5 および機器情報Ｉ6 ，Ｉ7 の組合せとそれ
に対する理想的な感情状態Ｏ0 〜Ｏ3 を有限パタン学習
させることにより、あらゆる状況に対して感情状態Ｏ0
〜Ｏ3 を出力することを可能とし、インタフェースの行
動および様相をより擬人化することが可能となる。
その方法は、ニューラルネット８にユーザ情報ユーザ情
報Ｉ0 〜Ｉ5 および機器情報Ｉ6 ，Ｉ7 の組合せとそれ
に対する理想的な感情状態Ｏ0 〜Ｏ3 を有限パタン学習
させることにより、あらゆる状況に対して感情状態Ｏ0
〜Ｏ3 を出力することを可能とし、インタフェースの行
動および様相をより擬人化することが可能となる。
【００４１】
【発明の効果】以上説明したように、本発明の感情生成
装置およびその方法によれば、ニューラルネットを用い
て常にユーザの動作をとらえているので、それによって
変動するインタフェースの行動およびインタフェースの
様相も常に変化するという効果がある。
装置およびその方法によれば、ニューラルネットを用い
て常にユーザの動作をとらえているので、それによって
変動するインタフェースの行動およびインタフェースの
様相も常に変化するという効果がある。
【００４２】また、同じ入力をした場合でも、感情状態
の変動に応じてインタフェースの行動および様相に違い
が生じ、より自然で生物的な対応を可能にして擬人化を
高めることができるという効果がある。
の変動に応じてインタフェースの行動および様相に違い
が生じ、より自然で生物的な対応を可能にして擬人化を
高めることができるという効果がある。
【図１】本発明の第１の実施の形態に係る感情生成装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図２】図１中のニューラルネットの入力層，中間層お
よび出力層を示す図である。
よび出力層を示す図である。
【図３】図１中のニューラルネットの学習に必要な学習
データを例示する図である。
データを例示する図である。
【図４】図１中のニューラルネットの感情状態によって
形成される感情マップの一例を説明する図である。
形成される感情マップの一例を説明する図である。
【図５】図１中の行動決定エンジンの内部構造を示すブ
ロック図である。
ロック図である。
【図６】図５中の入力検出・情報加工部の処理を示すフ
ローチャートである。
ローチャートである。
【図７】図５中の行動決定データベースの内容の一部を
例示する図である。
例示する図である。
【図８】図５中の行動決定部の処理を示すフローチャー
トである。
トである。
【図９】図１中の様相決定エンジンの概略を示すブロッ
ク図である。
ク図である。
【図１０】図９中の目データデータベース，鼻データデ
ータベース，口データデータベースおよび色データデー
タベースのデータ格納形式を例示する図である。
ータベース，口データデータベースおよび色データデー
タベースのデータ格納形式を例示する図である。
【図１１】図９中の目データ導出部，鼻データ導出部，
口データ導出部および色データ導出部によるニューラル
ネットの感情状態から感情値を求める方法を示すフロー
チャートである。
口データ導出部および色データ導出部によるニューラル
ネットの感情状態から感情値を求める方法を示すフロー
チャートである。
【図１２】図１中の様相決定エンジンにおける様相決定
の方法として顔の表情の決定方法の一例を示す図であ
る。
の方法として顔の表情の決定方法の一例を示す図であ
る。
【図１３】本発明の第２の実施の形態に係る感情生成装
置の構成を示すブロック図である。
置の構成を示すブロック図である。
１ カメラ ２ マイク ３ センサ ４ キーボード ５ マウス ６ 内部センサ ７ タイマ ８ ニューラルネット １０ 行動決定エンジン １１ 様相決定エンジン ５１ 入力検出・情報加工部 ５２ 行動決定データベース ５３ 行動決定部 ９１ 目データ導出部 ９２ 目データデータベース ９３ 鼻データ導出部 ９４ 鼻データデータベース ９５ 口データ導出部 ９６ 口データデータベース ９７ 色データ導出部 ９８ 色データデータベース ９９ 様相データ導出部 Ｏ0 〜Ｏ3 感情状態 Ｓ１０１ 入力タイプ判別ステップ Ｓ１０２ 入力文字列判断ステップ Ｓ１０３ 入力ボタン判断・入力位置判断ステップ Ｓ１０４ 入力文字列判断・音質判断ステップ Ｓ１０５ 画像特徴判断ステップ Ｓ１０６ 脈拍数判断ステップ Ｓ２０１ 加工情報入力ステップ Ｓ２０２ ニューラルネット感情状態入力ステップ Ｓ２０３ 行動決定データベース検索ステップ Ｓ２０４ 行動出力ステップ Ｓ３０１ カウンタｉ＝４判定ステップ Ｓ３０２ 感情状態Ｏi ０．２５未満判定ステップ Ｓ３０３ 感情状態Ｏi ０．２５以上０．７５未満判定
ステップ Ｓ３０４ 感情値Ｄi ＝０設定ステップ Ｓ３０５ 感情値Ｄi ＝０．５設定ステップ Ｓ３０６ 感情値Ｄi ＝１設定ステップ Ｓ３０７ カウンタｉ増加ステップ Ｓ0 〜Ｓ3 前回の感情状態 Ｔ0 〜Ｔ3 教師信号
ステップ Ｓ３０４ 感情値Ｄi ＝０設定ステップ Ｓ３０５ 感情値Ｄi ＝０．５設定ステップ Ｓ３０６ 感情値Ｄi ＝１設定ステップ Ｓ３０７ カウンタｉ増加ステップ Ｓ0 〜Ｓ3 前回の感情状態 Ｔ0 〜Ｔ3 教師信号
Claims (6)
- 【請求項１】 人間と電気機器との間の情報仲介のため
のインタフェース装置において、 ユーザ情報，機器情報および自身の現在の感情状態を入
力して次回の感情状態を出力するニューラルネットと、 このニューラルネットの感情状態およびユーザ情報を入
力してインタフェースの行動を決定する行動決定エンジ
ンと、 前記ニューラルネットの感情状態を入力してインタフェ
ースの様相を決定する様相決定エンジンとを備えること
を特徴とする感情生成装置。 - 【請求項２】 前記ニューラルネットが、カメラから瞬
きの回数、マイクから声の大きさおよび発声間隔、セン
サから脈拍数、キーボードから打鍵の強さ、マウスから
使用時間をユーザ情報として入力し、センサから内部温
度、タイマから使用時間を機器情報として入力し、感情
状態として喜，怒，悲および驚を出力する請求項１記載
の感情生成装置。 - 【請求項３】 前記行動決定エンジンが、加工情報，感
情状態および行動の対応テーブルを有する行動決定デー
タベースと、カメラから瞬きの回数、マイクから声の大
きさおよび発声間隔、センサから脈拍数、キーボードか
ら打鍵の強さ、マウスから使用時間をユーザ情報として
検出して加工情報を出力する入力検出・情報加工部と、
この入力検出・情報加工部からの加工情報および前記ニ
ューラルネットからの喜，怒，悲および驚の感情状態を
入力して前記行動決定データベースを検索することによ
りインタフェースの行動を決定する行動決定部とを含む
請求項１記載の感情生成装置。 - 【請求項４】 前記様相決定エンジンが、目データを格
納する目データデータベースと、この目データデータベ
ースから前記ニューラルネットの感情状態に対応する目
データを導出する目データ導出部と、鼻データを格納す
る鼻データデータベースと、この鼻データデータベース
から前記ニューラルネットの感情状態に対応する鼻デー
タを導出する鼻データ導出部と、口データを格納する口
データデータベースと、この口データベースから前記ニ
ューラルネットの感情状態に対応する口データを導出す
る口データ導出部と、色データを格納する色データデー
タベースと、この色データデータベースから前記ニュー
ラルネットの感情状態に対応する色データを導出する色
データ導出部と、前記目データ導出部，前記鼻データ導
出部，前記口データ導出部および前記色データ導出部に
より導出された目データ，鼻データ，口データおよび色
データに基づいてインタフェースの様相を導出する様相
データ導出部とからなる請求項１記載の感情生成装置。 - 【請求項５】 コンピュータを、ユーザ情報，機器情報
および自身の現在の感情状態を入力して次回の感情状態
を出力するニューラルネット，このニューラルネットの
感情状態およびユーザ情報を入力してインタフェースの
行動を決定する行動決定エンジン，および前記ニューラ
ルネットの感情状態を入力してインタフェースの様相を
決定する様相決定エンジンとして機能させるためのプロ
グラムを記録した機械読み取り可能な記録媒体。 - 【請求項６】 人間と電気機器との間の情報仲介のため
の感情生成方法において、 ニューラルネットを用いることにより、前記電気機器の
インタフェースが生物的要素としての感情を備えている
ことを特徴とする感情生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7891897A JP3159242B2 (ja) | 1997-03-13 | 1997-03-13 | 感情生成装置およびその方法 |
| US09/041,658 US6219657B1 (en) | 1997-03-13 | 1998-03-13 | Device and method for creation of emotions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7891897A JP3159242B2 (ja) | 1997-03-13 | 1997-03-13 | 感情生成装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10254592A true JPH10254592A (ja) | 1998-09-25 |
| JP3159242B2 JP3159242B2 (ja) | 2001-04-23 |
Family
ID=13675244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7891897A Expired - Fee Related JP3159242B2 (ja) | 1997-03-13 | 1997-03-13 | 感情生成装置およびその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6219657B1 (ja) |
| JP (1) | JP3159242B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005216149A (ja) * | 2004-01-30 | 2005-08-11 | Ntt Docomo Inc | 携帯通信端末及びプログラム |
| JP2008545196A (ja) * | 2005-06-29 | 2008-12-11 | グーグル インコーポレイテッド | 所望リポジトリの判定 |
| JP2009508263A (ja) * | 2005-09-13 | 2009-02-26 | ニューロサイエンシーズ リサーチ ファンデーション インコーポレイテッド | ハイブリッド制御デバイス |
| JP2016532953A (ja) * | 2013-08-02 | 2016-10-20 | オークランド ユニサービシーズ リミティド | 神経行動学的アニメーションのためのシステム |
| WO2017183523A1 (ja) | 2016-04-19 | 2017-10-26 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | 感情決定システム、システム及びプログラム |
| WO2017195519A1 (ja) | 2016-05-13 | 2017-11-16 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | 記憶制御システム、システム及びプログラム |
| WO2020195642A1 (ja) * | 2019-03-28 | 2020-10-01 | 富士フイルム株式会社 | 撮像装置、制御方法、プログラム、及び非一時的記録媒体 |
| WO2024242017A1 (ja) | 2023-05-19 | 2024-11-28 | ソフトバンクグループ株式会社 | 制御システム、システム及びプログラム |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10289006A (ja) * | 1997-04-11 | 1998-10-27 | Yamaha Motor Co Ltd | 疑似感情を用いた制御対象の制御方法 |
| US8396824B2 (en) * | 1998-05-28 | 2013-03-12 | Qps Tech. Limited Liability Company | Automatic data categorization with optimally spaced semantic seed terms |
| US20070294229A1 (en) * | 1998-05-28 | 2007-12-20 | Q-Phrase Llc | Chat conversation methods traversing a provisional scaffold of meanings |
| US7711672B2 (en) * | 1998-05-28 | 2010-05-04 | Lawrence Au | Semantic network methods to disambiguate natural language meaning |
| JP2000064933A (ja) * | 1998-08-19 | 2000-03-03 | Yamaha Motor Co Ltd | ２サイクル筒内噴射エンジンの始動方法 |
| US6604091B2 (en) * | 1999-09-10 | 2003-08-05 | Yamaha Hatsudoki Kabushiki Kaisha | Interactive artificial intelligence |
| US6446056B1 (en) | 1999-09-10 | 2002-09-03 | Yamaha Hatsudoki Kabushiki Kaisha | Interactive artificial intelligence |
| JP2001188555A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
| JP2001209820A (ja) * | 2000-01-25 | 2001-08-03 | Nec Corp | 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体 |
| EP1176483A2 (en) * | 2000-07-27 | 2002-01-30 | Yamaha Hatsudoki Kabushiki Kaisha | Automatic electronic device and method for controlling such an electronic device |
| US7747549B2 (en) * | 2001-09-25 | 2010-06-29 | Rikan | Long-term memory neural network modeling memory-chaining functions of the brain wherein a pointer holds information about mutually related neurons and neurons are classified hierarchically by degree of activation |
| KR100624403B1 (ko) * | 2001-10-06 | 2006-09-15 | 삼성전자주식회사 | 인체의 신경계 기반 정서 합성 장치 및 방법 |
| JP2004237022A (ja) * | 2002-12-11 | 2004-08-26 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| KR100457813B1 (ko) * | 2003-02-07 | 2004-11-18 | 삼성전자주식회사 | 커뮤니티 서비스 제공 시스템 및 방법 |
| US7496546B2 (en) * | 2003-03-24 | 2009-02-24 | Riken | Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor |
| JP4048492B2 (ja) * | 2003-07-03 | 2008-02-20 | ソニー株式会社 | 音声対話装置及び方法並びにロボット装置 |
| US20050054381A1 (en) * | 2003-09-05 | 2005-03-10 | Samsung Electronics Co., Ltd. | Proactive user interface |
| JP3953024B2 (ja) * | 2003-11-20 | 2007-08-01 | ソニー株式会社 | 感情算出装置及び感情算出方法、並びに携帯型通信装置 |
| DE102004011426B3 (de) * | 2004-03-09 | 2005-05-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zum Erkennen einer in einem Sprachsignal enthaltenen Emotion und Verfahren zum Erkennen einer in einem Sprachsignal enthaltenen Emotion |
| US8650141B2 (en) * | 2006-03-31 | 2014-02-11 | Imagini Holdings Limited | System and method of segmenting and tagging entities based on profile matching using a multi-media survey |
| US7610255B2 (en) * | 2006-03-31 | 2009-10-27 | Imagini Holdings Limited | Method and system for computerized searching and matching multimedia objects using emotional preference |
| US20080189268A1 (en) * | 2006-10-03 | 2008-08-07 | Lawrence Au | Mechanism for automatic matching of host to guest content via categorization |
| WO2009009722A2 (en) | 2007-07-12 | 2009-01-15 | University Of Florida Research Foundation, Inc. | Random body movement cancellation for non-contact vital sign detection |
| US20090112694A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Targeted-advertising based on a sensed physiological response by a person to a general advertisement |
| US9513699B2 (en) * | 2007-10-24 | 2016-12-06 | Invention Science Fund I, LL | Method of selecting a second content based on a user's reaction to a first content |
| US20090112849A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc | Selecting a second content based on a user's reaction to a first content of at least two instances of displayed content |
| US20090112693A1 (en) * | 2007-10-24 | 2009-04-30 | Jung Edward K Y | Providing personalized advertising |
| US20090112696A1 (en) * | 2007-10-24 | 2009-04-30 | Jung Edward K Y | Method of space-available advertising in a mobile device |
| US20090113297A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Requesting a second content based on a user's reaction to a first content |
| US9582805B2 (en) * | 2007-10-24 | 2017-02-28 | Invention Science Fund I, Llc | Returning a personalized advertisement |
| US20090112695A1 (en) * | 2007-10-24 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Physiological response based targeted advertising |
| US20090112697A1 (en) * | 2007-10-30 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Providing personalized advertising |
| KR100919825B1 (ko) * | 2008-03-25 | 2009-10-01 | 한국전자통신연구원 | 다차원 벡터공간에서 복합감성 모델링 방법 |
| US20120116186A1 (en) * | 2009-07-20 | 2012-05-10 | University Of Florida Research Foundation, Inc. | Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data |
| US8784311B2 (en) | 2010-10-05 | 2014-07-22 | University Of Florida Research Foundation, Incorporated | Systems and methods of screening for medical states using speech and other vocal behaviors |
| TW201220216A (en) * | 2010-11-15 | 2012-05-16 | Hon Hai Prec Ind Co Ltd | System and method for detecting human emotion and appeasing human emotion |
| GB2505400B (en) * | 2012-07-18 | 2015-01-07 | Toshiba Res Europ Ltd | A speech processing system |
| WO2016057781A1 (en) | 2014-10-08 | 2016-04-14 | The University Of Florida Research Foundation, Inc. | Method and apparatus for non-contact fast vital sign acquisition based on radar signal |
| US9833200B2 (en) | 2015-05-14 | 2017-12-05 | University Of Florida Research Foundation, Inc. | Low IF architectures for noncontact vital sign detection |
| JP6199927B2 (ja) * | 2015-06-17 | 2017-09-20 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | 制御システム、システム及びプログラム |
| JP6255368B2 (ja) * | 2015-06-17 | 2017-12-27 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | 感情制御システム、システム及びプログラム |
| CN108510071B (zh) * | 2017-05-10 | 2020-01-10 | 腾讯科技（深圳）有限公司 | 数据的特征提取方法、装置及计算机可读存储介质 |
| GB2568030A (en) * | 2017-10-24 | 2019-05-08 | Zyzzle Ltd | Artificial intelligence systems and autonomous entity apparatuses including artificial intelligence systems |
| US10885905B2 (en) * | 2018-07-13 | 2021-01-05 | Samsung Electronics Co., Ltd. | Predicting user actions on ubiquitous devices |
| WO2020089961A1 (ja) * | 2018-10-29 | 2020-05-07 | 健一 海沼 | 音声処理装置、およびプログラム |
| US11074484B2 (en) * | 2019-01-31 | 2021-07-27 | International Business Machines Corporation | Self-improving transferring in bot conversation |
| CN111624880B (zh) * | 2020-05-21 | 2021-05-18 | 大连理工大学 | 一种基于脑情感学习模型的变循环发动机多变量控制算法 |
| KR102385198B1 (ko) * | 2020-06-25 | 2022-04-12 | (주)아크릴 | 인공지능 간의 대화를 위한 대화생성 시스템 및 방법 |
| US20230368794A1 (en) * | 2022-05-13 | 2023-11-16 | Sony Interactive Entertainment Inc. | Vocal recording and re-creation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0772900A (ja) * | 1993-09-02 | 1995-03-17 | Nippon Hoso Kyokai <Nhk> | 音声合成の感情付与方法 |
| JPH07104778A (ja) * | 1993-10-07 | 1995-04-21 | Fuji Xerox Co Ltd | 感情表出装置 |
| JPH08339446A (ja) * | 1995-06-09 | 1996-12-24 | Sharp Corp | 対話装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3177746B2 (ja) * | 1991-03-20 | 2001-06-18 | 株式会社日立製作所 | デ−タ処理システム及び方法 |
| US5497430A (en) * | 1994-11-07 | 1996-03-05 | Physical Optics Corporation | Method and apparatus for image recognition using invariant feature signals |
| US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
| JP3002136B2 (ja) | 1996-08-06 | 2000-01-24 | 株式会社エイ・ティ・アール知能映像通信研究所 | 感情変換装置 |
-
1997
- 1997-03-13 JP JP7891897A patent/JP3159242B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-13 US US09/041,658 patent/US6219657B1/en not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0772900A (ja) * | 1993-09-02 | 1995-03-17 | Nippon Hoso Kyokai <Nhk> | 音声合成の感情付与方法 |
| JPH07104778A (ja) * | 1993-10-07 | 1995-04-21 | Fuji Xerox Co Ltd | 感情表出装置 |
| JPH08339446A (ja) * | 1995-06-09 | 1996-12-24 | Sharp Corp | 対話装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005216149A (ja) * | 2004-01-30 | 2005-08-11 | Ntt Docomo Inc | 携帯通信端末及びプログラム |
| US9639579B2 (en) | 2005-06-29 | 2017-05-02 | Google Inc. | Determination of a desired repository for retrieving search results |
| JP2008545196A (ja) * | 2005-06-29 | 2008-12-11 | グーグル インコーポレイテッド | 所望リポジトリの判定 |
| US8266133B2 (en) | 2005-06-29 | 2012-09-11 | Google Inc. | Determination of a desired repository |
| US9092488B2 (en) | 2005-06-29 | 2015-07-28 | Google Inc. | Determination of a desired repository for retrieving search results |
| JP2009508263A (ja) * | 2005-09-13 | 2009-02-26 | ニューロサイエンシーズ リサーチ ファンデーション インコーポレイテッド | ハイブリッド制御デバイス |
| JP2013020644A (ja) * | 2005-09-13 | 2013-01-31 | Neurosciences Research Foundation Inc | ハイブリッド制御デバイス |
| JP2016532953A (ja) * | 2013-08-02 | 2016-10-20 | オークランド ユニサービシーズ リミティド | 神経行動学的アニメーションのためのシステム |
| WO2017183523A1 (ja) | 2016-04-19 | 2017-10-26 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | 感情決定システム、システム及びプログラム |
| WO2017195519A1 (ja) | 2016-05-13 | 2017-11-16 | Ｃｏｃｏｒｏ Ｓｂ株式会社 | 記憶制御システム、システム及びプログラム |
| WO2020195642A1 (ja) * | 2019-03-28 | 2020-10-01 | 富士フイルム株式会社 | 撮像装置、制御方法、プログラム、及び非一時的記録媒体 |
| JPWO2020195642A1 (ja) * | 2019-03-28 | 2021-12-23 | 富士フイルム株式会社 | 撮像装置、制御方法、プログラム、及び非一時的記録媒体 |
| WO2024242017A1 (ja) | 2023-05-19 | 2024-11-28 | ソフトバンクグループ株式会社 | 制御システム、システム及びプログラム |
| EP4715668A1 (en) | 2023-05-19 | 2026-03-25 | SoftBank Group Corp. | Control system, system, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3159242B2 (ja) | 2001-04-23 |
| US6219657B1 (en) | 2001-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3159242B2 (ja) | 感情生成装置およびその方法 | |
| Ball et al. | Emotion and personality in a conversational agent | |
| US6212502B1 (en) | Modeling and projecting emotion and personality from a computer user interface | |
| Armstrong | Big data, big design: Why designers should care about artificial intelligence | |
| JPWO2018235607A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| WO2008054983A2 (en) | Method and apparatus for providing realtime feedback in a voice dialog system | |
| KR20260049520A (ko) | 의사소통 지원을 위한 생성 콘텐츠 | |
| WO2005093650A1 (ja) | 意志発現モデル装置、心理効果プログラム、意志発現シミュレ－ション方法 | |
| US12277636B2 (en) | Agent providing system, agent providing method, and recording medium | |
| JP2015069231A (ja) | キャラクタ生成装置およびプログラム | |
| JP2001249949A (ja) | 感情生成方法、感情生成装置、記録媒体 | |
| CN120256666B (zh) | 一种基于多模态情感识别的情感状态评估与电子音乐生成方法 | |
| CN120951111A (zh) | 基于多模态感知与可解释决策的用户状态干预方法及系统 | |
| JPH04338817A (ja) | 電子機器の制御装置及び制御方法 | |
| CN118260389B (zh) | 信息输出方法及装置、电子设备和存储介质 | |
| CN118470163A (zh) | 一种基于语义理解的虚拟形象语音交互系统及方法 | |
| US20260073609A1 (en) | Real-time adaptive avatar creation system using integrated programmatic and specialized guided and constrained artificial intelligence | |
| JP7649407B1 (ja) | 創出支援装置、創出支援方法、およびプログラム | |
| Bertrand et al. | " What Do You Want to Do Next?" Providing the User with More Freedom in Adaptive Spoken Dialogue Systems | |
| Zargham | Expanding speech interaction for domestic activities | |
| Qiu | Voice and Beyond: Shaping the Future of Personalized Conversational Agents | |
| CN119380687B (zh) | 定制化音色的语音生成方法、装置、设备及介质 | |
| CN121723856A (zh) | 一种基于大模型的元宇宙数字人mees建模系统及方法 | |
| US20240171782A1 (en) | Live streaming method and system based on virtual image | |
| JP7585145B2 (ja) | 行動評価システム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090216 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 11 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 11 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 11 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 13 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |