JPH10143351A - インタフェース装置 - Google Patents
インタフェース装置Info
- Publication number
- JPH10143351A JPH10143351A JP30195496A JP30195496A JPH10143351A JP H10143351 A JPH10143351 A JP H10143351A JP 30195496 A JP30195496 A JP 30195496A JP 30195496 A JP30195496 A JP 30195496A JP H10143351 A JPH10143351 A JP H10143351A
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- attitude
- internal state
- input
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【課題】 コンピュータ側のエージェントと人との間の
マルチモーダルでの対話を円滑に進めるための入出力手
段を備えたインタフェース装置を提供する。 【解決手段】 ユーザより生じる画像及び音声などから
求められたユーザの仕草，声のピッチなどを入力する入
力手段１１と、該入力手段からの入力を少くともその１
要素として擬人化された人工エージェントの感情・態度
の内部状態パラメータを生成する感情・態度生成手段１
２と、該感情・態度生成手段１２の生成した内部状態パ
ラメータに応じて人工エージェントの感情・態度を画像
及び音声として表現し出力する出力手段１３を備える。
感情・態度生成手段１２では、リズムやタイミングなど
が対話時に重要であることから、感情や態度を内部状態
パラメータという時間的な変化が考慮された系で表現す
る。
マルチモーダルでの対話を円滑に進めるための入出力手
段を備えたインタフェース装置を提供する。 【解決手段】 ユーザより生じる画像及び音声などから
求められたユーザの仕草，声のピッチなどを入力する入
力手段１１と、該入力手段からの入力を少くともその１
要素として擬人化された人工エージェントの感情・態度
の内部状態パラメータを生成する感情・態度生成手段１
２と、該感情・態度生成手段１２の生成した内部状態パ
ラメータに応じて人工エージェントの感情・態度を画像
及び音声として表現し出力する出力手段１３を備える。
感情・態度生成手段１２では、リズムやタイミングなど
が対話時に重要であることから、感情や態度を内部状態
パラメータという時間的な変化が考慮された系で表現す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、インタフェース装
置に関し、例えば、コンピュータやコンピュータ化され
た玩具のような電子機器と人間との間に行われる情報の
やりとりを、より円滑にする入出力手段としてのインタ
フェース装置に関するものである。
置に関し、例えば、コンピュータやコンピュータ化され
た玩具のような電子機器と人間との間に行われる情報の
やりとりを、より円滑にする入出力手段としてのインタ
フェース装置に関するものである。
【０００２】
【従来の技術】近年、技術の発展によって画像，音声な
ど複数の情報をマルチモーダルに出力するマルチメディ
アが進展している。また、コンピュータの進歩によっ
て、コンピュータを多くの人にとって使い易くするため
に、人間が通常使っている情報のモードである音声情報
や、身振り手振りなどの画像情報を入力手段として用い
るマルチモーダルシステムがいくつか提案されている。
さらに、擬人化エージェントが機械の窓口となり、人間
が機械に接し易くなるように考慮されているものがあ
り、ヒューマンインタフェースとしてのエージェントの
中には擬似的感情モデルを持ち、エージェントをより人
間らしく振舞わせて情報伝達をスムーズに行うことを目
的とする感情模擬装置も提案されている（例えば、特開
平６−１２４０１号公報，参照）。
ど複数の情報をマルチモーダルに出力するマルチメディ
アが進展している。また、コンピュータの進歩によっ
て、コンピュータを多くの人にとって使い易くするため
に、人間が通常使っている情報のモードである音声情報
や、身振り手振りなどの画像情報を入力手段として用い
るマルチモーダルシステムがいくつか提案されている。
さらに、擬人化エージェントが機械の窓口となり、人間
が機械に接し易くなるように考慮されているものがあ
り、ヒューマンインタフェースとしてのエージェントの
中には擬似的感情モデルを持ち、エージェントをより人
間らしく振舞わせて情報伝達をスムーズに行うことを目
的とする感情模擬装置も提案されている（例えば、特開
平６−１２４０１号公報，参照）。
【０００３】
【発明が解決しようとする課題】しかしながら、上記従
来技術においては、身振りなども言語情報に代わるも
の、あるいは、言語情報に伴われるものとして言語情報
と同等に取り扱われていた。しかし、マルチモーダル情
報の中には、仕草，ピッチ，タイミングなど記号で表現
可能な言語情報的取り扱いに適さないものもある。これ
らの情報は時空間的に連続的なパターン情報のまま取り
扱う手法の確立が重要となる。また、感情を持つ擬人化
エージェントでは、感情は基本感情要素に分解され、そ
のベクトルとしてとらえられ、時間発展に対して線形に
推移することが想定されている。しかし、このような手
法では比較的単純にしか感情を表現できず、また、イン
タフェースとして有効なタイミングなどを表現すること
ができない。人と人とのコミュニケーションでは、その
場の微妙な変化によって感情・態度は多様に変化した
り、話しの間やリズム，タイミングなどの時間的要素を
変化させて積極的に対話を進めている。コンピュータと
の間の情報の入出力のための擬人化エージェントにおい
ても、人間同士と同様にこのような多様な態度の変化や
時間的要素の変化を積極的に活用することにより、より
良いインタフェースを実現することができるものと考え
られる。
来技術においては、身振りなども言語情報に代わるも
の、あるいは、言語情報に伴われるものとして言語情報
と同等に取り扱われていた。しかし、マルチモーダル情
報の中には、仕草，ピッチ，タイミングなど記号で表現
可能な言語情報的取り扱いに適さないものもある。これ
らの情報は時空間的に連続的なパターン情報のまま取り
扱う手法の確立が重要となる。また、感情を持つ擬人化
エージェントでは、感情は基本感情要素に分解され、そ
のベクトルとしてとらえられ、時間発展に対して線形に
推移することが想定されている。しかし、このような手
法では比較的単純にしか感情を表現できず、また、イン
タフェースとして有効なタイミングなどを表現すること
ができない。人と人とのコミュニケーションでは、その
場の微妙な変化によって感情・態度は多様に変化した
り、話しの間やリズム，タイミングなどの時間的要素を
変化させて積極的に対話を進めている。コンピュータと
の間の情報の入出力のための擬人化エージェントにおい
ても、人間同士と同様にこのような多様な態度の変化や
時間的要素の変化を積極的に活用することにより、より
良いインタフェースを実現することができるものと考え
られる。
【０００４】本発明は、このような人との対話を可能と
するコンピュータ側のエージェントが対話を行う際に、
マルチモーダルでの対話を円滑に進めるためのマルチモ
ーダルに適した情報の入出力手段を備えたインタフェー
ス装置を提供することで、具体的には、エージェントの
行動の表現力を増し、エージェントの感情・態度を多様
化し、感情・態度の履歴によって行動に変化を与え、エ
ージェント自身に固有な周期に従って感情・態度を生成
すると同時に、ユーザの周期に同調するようにした当該
装置を提供することをその解決すべき課題とする。
するコンピュータ側のエージェントが対話を行う際に、
マルチモーダルでの対話を円滑に進めるためのマルチモ
ーダルに適した情報の入出力手段を備えたインタフェー
ス装置を提供することで、具体的には、エージェントの
行動の表現力を増し、エージェントの感情・態度を多様
化し、感情・態度の履歴によって行動に変化を与え、エ
ージェント自身に固有な周期に従って感情・態度を生成
すると同時に、ユーザの周期に同調するようにした当該
装置を提供することをその解決すべき課題とする。
【０００５】
【課題を解決するための手段】請求項１の発明は、ユー
ザより生じる画像及び音声などから求められたユーザの
仕草，声のピッチなどを入力する入力手段と、該入力手
段からの入力を少くともその１要素として擬人化された
人工エージェントの感情・態度の内部状態パラメータを
生成する感情・態度生成手段と、該感情・態度生成手段
の生成した内部状態パラメータに応じて人工エージェン
トの感情・態度を画像及び音声として表現し出力する出
力手段を備えることを特徴とするもので、入力手段とし
て言語情報のみならず、仕草，顔の動き，声のピッチな
ど非言語情報も想定している。これらの非言語情報を取
り扱うには、時間的，空間的なパターンとしてそのまま
扱うことが有効であり、リズムやタイミングなどが対話
時に重要であることから、感情や態度をある内部状態パ
ラメータという時間的な変化が考慮された系で表現する
ことが有効と考えられる。すなわち、時間変化を取り扱
う発展方程式で下記（１）式のように記述することによ
り、感情・態度を生成することが可能になる。
ザより生じる画像及び音声などから求められたユーザの
仕草，声のピッチなどを入力する入力手段と、該入力手
段からの入力を少くともその１要素として擬人化された
人工エージェントの感情・態度の内部状態パラメータを
生成する感情・態度生成手段と、該感情・態度生成手段
の生成した内部状態パラメータに応じて人工エージェン
トの感情・態度を画像及び音声として表現し出力する出
力手段を備えることを特徴とするもので、入力手段とし
て言語情報のみならず、仕草，顔の動き，声のピッチな
ど非言語情報も想定している。これらの非言語情報を取
り扱うには、時間的，空間的なパターンとしてそのまま
扱うことが有効であり、リズムやタイミングなどが対話
時に重要であることから、感情や態度をある内部状態パ
ラメータという時間的な変化が考慮された系で表現する
ことが有効と考えられる。すなわち、時間変化を取り扱
う発展方程式で下記（１）式のように記述することによ
り、感情・態度を生成することが可能になる。
【０００６】
【数１】
【０００７】ここで、エージェントの行動のための準備
状態を示す感情や態度を記述するＮ個の内部状態パラメ
ータｑj（ｊ＝１，…，Ｎ）の時間変化は現在のそれ自
身の値及び入力される制御用パラメータｘi（ｉ＝１，
…，Ｍ）によって定まる。この制御用パラメータはユー
ザの仕草，声のピッチなどや、音声認識されて得た結
果、時刻などである。特に、下記（２）式のように制御
用パラメータと内部状態パラメータを分離すれば、エー
ジェントの感情・態度の生成が容易になる。
状態を示す感情や態度を記述するＮ個の内部状態パラメ
ータｑj（ｊ＝１，…，Ｎ）の時間変化は現在のそれ自
身の値及び入力される制御用パラメータｘi（ｉ＝１，
…，Ｍ）によって定まる。この制御用パラメータはユー
ザの仕草，声のピッチなどや、音声認識されて得た結
果、時刻などである。特に、下記（２）式のように制御
用パラメータと内部状態パラメータを分離すれば、エー
ジェントの感情・態度の生成が容易になる。
【０００８】
【数２】
【０００９】請求項２の発明は、ユーザより生じる画像
及び音声などから求められたユーザの仕草，声のピッチ
などを入力する入力手段と、該入力手段からの入力を少
くともその１要素として擬人化された人工エージェント
の感情・態度の内部状態パラメータを生成する感情・態
度生成手段と、該感情・態度生成手段の内部状態パラメ
ータに応じて人工エージェントの感情・態度パラメータ
を決定する感情・態度パラメータ決定手段と、該感情・
態度パラメータ決定手段の出力に応じてエージェントの
感情・態度を画像及び音声として表現し出力する出力手
段を備えることを特徴とするもので、内部状態パラメー
タを直接的に行動を規制する感情・態度として用いるの
ではなく、下記（３）式で表わされるように、
及び音声などから求められたユーザの仕草，声のピッチ
などを入力する入力手段と、該入力手段からの入力を少
くともその１要素として擬人化された人工エージェント
の感情・態度の内部状態パラメータを生成する感情・態
度生成手段と、該感情・態度生成手段の内部状態パラメ
ータに応じて人工エージェントの感情・態度パラメータ
を決定する感情・態度パラメータ決定手段と、該感情・
態度パラメータ決定手段の出力に応じてエージェントの
感情・態度を画像及び音声として表現し出力する出力手
段を備えることを特徴とするもので、内部状態パラメー
タを直接的に行動を規制する感情・態度として用いるの
ではなく、下記（３）式で表わされるように、
【００１０】
【数３】
【００１１】内部状態パラメータｑjを感情・態度パラ
メータＹk（ｋ＝１，…，Ｌ）へ対応させる手段を導入
することにより、内部状態パラメータの生成をより自由
に設定できると共に、エージェントの出力である行動を
多様にすることができる。
メータＹk（ｋ＝１，…，Ｌ）へ対応させる手段を導入
することにより、内部状態パラメータの生成をより自由
に設定できると共に、エージェントの出力である行動を
多様にすることができる。
【００１２】請求項３の発明は、請求項１又は２記載の
インタフェース装置において、前記感情・態度生成手段
において、内部状態パラメータが時間系で記述された非
線型方程式にもとづいて生成されるようにしたことを特
徴とするもので、発展方程式として非線形方程式の系を
採用することにより、例えば、カオス、定常的な状態を
とる場合にも実際には内部で動いているリミットサイク
ルなど複雑な態度・感情を生成し、様々な状態をとるこ
とができ、このように生成された感情・態度をもとにエ
ージェントの行動を出力することにより、より人同士に
近い円滑な対話を行うことができる。
インタフェース装置において、前記感情・態度生成手段
において、内部状態パラメータが時間系で記述された非
線型方程式にもとづいて生成されるようにしたことを特
徴とするもので、発展方程式として非線形方程式の系を
採用することにより、例えば、カオス、定常的な状態を
とる場合にも実際には内部で動いているリミットサイク
ルなど複雑な態度・感情を生成し、様々な状態をとるこ
とができ、このように生成された感情・態度をもとにエ
ージェントの行動を出力することにより、より人同士に
近い円滑な対話を行うことができる。
【００１３】請求項４の発明は、請求項２又は３記載の
インタフェース装置において、前記感情・態度パラメー
タ決定手段において、内部状態パラメータの値の履歴に
よって感情・態度パラメータの値を異ならせるようにし
たことを特徴とするもので、Ｏkとして多価関数を用
い、ｑj,Ｙkのそれまでとってきた値により、ｑjに対し
てＹkの値を変えて、それまでどのような態度・感情を
とってきたかによって、現在の感情・態度を変え、より
人間的な振舞いが可能になる。
インタフェース装置において、前記感情・態度パラメー
タ決定手段において、内部状態パラメータの値の履歴に
よって感情・態度パラメータの値を異ならせるようにし
たことを特徴とするもので、Ｏkとして多価関数を用
い、ｑj,Ｙkのそれまでとってきた値により、ｑjに対し
てＹkの値を変えて、それまでどのような態度・感情を
とってきたかによって、現在の感情・態度を変え、より
人間的な振舞いが可能になる。
【００１４】請求項５の発明は、請求項３又は４記載の
インタフェース装置において、前記非線型方程式が、非
線型振動子の方程式の形式をとるようにしたことを特徴
とするもので、非線型振動子の方程式の形式をとること
により、例えば、リミットサイクルとしてエージェント
自身がリズムを持つと同時に、外部からの入力に同期す
ることも可能で、より人間同士に近い対話を行うことが
できる。
インタフェース装置において、前記非線型方程式が、非
線型振動子の方程式の形式をとるようにしたことを特徴
とするもので、非線型振動子の方程式の形式をとること
により、例えば、リミットサイクルとしてエージェント
自身がリズムを持つと同時に、外部からの入力に同期す
ることも可能で、より人間同士に近い対話を行うことが
できる。
【００１５】
【発明の実施の形態】図１は、本発明の基本構成を示す
ものである。図１に示すように、インタフェース装置側
には、この装置を通して対話しようとするユーザが発す
る音声及び画像を入力，処理する入力手段１１と、この
入力手段１１の出力にもとづいて感情・態度生成手段１
２では人工エージェントの感情・態度を画像及び音声と
して表現する出力手段１３を動作させる。以下、図１に
示す基本構成に従う本発明の実施形態を図面に沿って説
明する。図２は、本発明によるインタフェース装置をマ
ルチモーダルヒューマンインタフェースシステムへ適用
した実施形態を示すものである。マイクによって取り込
まれたユーザの音声は、音声処理手段２１によって言語
に変換され、言語処理手段２２に送られると同時に、ピ
ッチ，強弱が感情・態度生成手段２４に送られる。ま
た、カメラによって取り込まれたユーザの画像は、画像
処理手段２１で画像における顔の向き，頭の振り，うな
ずきが言語処理手段２２に送られると同時に動きの激し
さが感情・態度生成手段２３に送られる。感情・態度生
成手段２３では、例えば、内部パラメータをｒがvan de
r Polの方程式で表す時、ｑ1＝γ、及びその時間微分ｑ
2＝ｄγ／ｄｔを用いて、
ものである。図１に示すように、インタフェース装置側
には、この装置を通して対話しようとするユーザが発す
る音声及び画像を入力，処理する入力手段１１と、この
入力手段１１の出力にもとづいて感情・態度生成手段１
２では人工エージェントの感情・態度を画像及び音声と
して表現する出力手段１３を動作させる。以下、図１に
示す基本構成に従う本発明の実施形態を図面に沿って説
明する。図２は、本発明によるインタフェース装置をマ
ルチモーダルヒューマンインタフェースシステムへ適用
した実施形態を示すものである。マイクによって取り込
まれたユーザの音声は、音声処理手段２１によって言語
に変換され、言語処理手段２２に送られると同時に、ピ
ッチ，強弱が感情・態度生成手段２４に送られる。ま
た、カメラによって取り込まれたユーザの画像は、画像
処理手段２１で画像における顔の向き，頭の振り，うな
ずきが言語処理手段２２に送られると同時に動きの激し
さが感情・態度生成手段２３に送られる。感情・態度生
成手段２３では、例えば、内部パラメータをｒがvan de
r Polの方程式で表す時、ｑ1＝γ、及びその時間微分ｑ
2＝ｄγ／ｄｔを用いて、
【００１６】
【数４】
【００１７】と表すことができる。ここでγ，α，ωは
エージェントの個性や内部パラメータによって決まる定
数である。特に、ωはエージェントの持つ固有のリズム
である。Ｅ（ｔ）は外部から与えられる刺激で、これは
音声処理手段，画像処理手段から送られてきたものであ
る。
エージェントの個性や内部パラメータによって決まる定
数である。特に、ωはエージェントの持つ固有のリズム
である。Ｅ（ｔ）は外部から与えられる刺激で、これは
音声処理手段，画像処理手段から送られてきたものであ
る。
【００１８】この場合、エージェントの個性γ，αによ
って（４）式で表わされる系では、その周期は外部の周
期に同調するように設計することが可能である。これに
より、ユーザにとっては快適なリズムで対話を進められ
るであろう。また、ユーザ自身も同様に擬似人間の影響
を受けると考えられるのであるならば、互いに同調して
いき、会話を積極的に推し進める効果も期待できる。そ
のことをシュミレートした例を以下に示す。
って（４）式で表わされる系では、その周期は外部の周
期に同調するように設計することが可能である。これに
より、ユーザにとっては快適なリズムで対話を進められ
るであろう。また、ユーザ自身も同様に擬似人間の影響
を受けると考えられるのであるならば、互いに同調して
いき、会話を積極的に推し進める効果も期待できる。そ
のことをシュミレートした例を以下に示す。
【００１９】
【数５】
【００２０】上記式（５Ａ），（５Ｂ）は２つの系Ａ，
Ｂでそれぞれ構成されていることを表わしている。系Ａ
とＢはそれぞれ式（４）において、固有のα，γ，ωを
もつ式で表わされる。インタラクションとして互いに相
手のｑ1に比例する刺激を受けるものとする。
Ｂでそれぞれ構成されていることを表わしている。系Ａ
とＢはそれぞれ式（４）において、固有のα，γ，ωを
もつ式で表わされる。インタラクションとして互いに相
手のｑ1に比例する刺激を受けるものとする。
【００２１】図３は、αA＝０.２７，γA＝０.１３，ω
A＝２.５５，αB＝０.２３，γB＝０.４６，ωB＝３.０
７で系Ａ，Ｂ間にインタラクションがない場合（λ＝
０）の結果を示すもので、系Ａ，Ｂ間の同期がとれてい
ないリズムのパターンを示している。図４は、２つの振
動する系Ａ，Ｂの間に、インタラクションがある場合
（λ＝１.７５）の結果を示すもので、系Ａ，Ｂ間の同
期がとれているリズムのパターンを示している。この場
合、お互いのリズムの中間の周波数２.７３で同期がと
られ、互いに相手のペースにあわせている状況である。
また、図５は、上と同じ周波数ωA＝２.５５，ωB＝３.
０７であるが、αA＝０.０２，γA＝０.４６，αB＝０.
０６，γB＝０.３６でインタラクションがない場合の結
果を示している。図６には、図５と同様の条件がある
が、系Ａ，Ｂの間のインタラクションがある場合（λ＝
１.７５）を示している。このときも、やはり同期がと
れているが、双方のインタラクションがない場合より大
きい周波数３.４９で同期がとられている。人間同士の
対話では、話しが盛り上がってテンポが速くなることが
よくあるが、これはそのような効果を生み出すのに有効
であることをこの結果が示している。
A＝２.５５，αB＝０.２３，γB＝０.４６，ωB＝３.０
７で系Ａ，Ｂ間にインタラクションがない場合（λ＝
０）の結果を示すもので、系Ａ，Ｂ間の同期がとれてい
ないリズムのパターンを示している。図４は、２つの振
動する系Ａ，Ｂの間に、インタラクションがある場合
（λ＝１.７５）の結果を示すもので、系Ａ，Ｂ間の同
期がとれているリズムのパターンを示している。この場
合、お互いのリズムの中間の周波数２.７３で同期がと
られ、互いに相手のペースにあわせている状況である。
また、図５は、上と同じ周波数ωA＝２.５５，ωB＝３.
０７であるが、αA＝０.０２，γA＝０.４６，αB＝０.
０６，γB＝０.３６でインタラクションがない場合の結
果を示している。図６には、図５と同様の条件がある
が、系Ａ，Ｂの間のインタラクションがある場合（λ＝
１.７５）を示している。このときも、やはり同期がと
れているが、双方のインタラクションがない場合より大
きい周波数３.４９で同期がとられている。人間同士の
対話では、話しが盛り上がってテンポが速くなることが
よくあるが、これはそのような効果を生み出すのに有効
であることをこの結果が示している。
【００２２】上記した結果を生ずるべく感情・態度生成
手段２３で生成された内部状態パラメータｑ1，ｑ2は感
情・態度パラメータ決定手段２４に送られる。ここで、
１秒間に（ｑ1が０になる回数）/２のリズムをエージェ
ントの感情・態度パラメータの１つとして行動出力手段
２５に送る。このリズムに合わせエージェントの動きや
発話について制御が行われる。また、同時に感情・態度
パラメータ決定手段２４では、感情の高まりＥ＝ｑ1 2＋
ｑ2 2から行動の激しさＳへ多価関数Ｓ＝ｈ（Ｅ）にゆっ
て写像される。図７は、感情の高まりＥと行動の激しさ
Ｓの関係を表わすもので、同図に示すようにエージェン
トの行動が落ち着いている状態１から、感情の高まりに
従って行動の激しさは状態２，３と大きくなるが、ここ
で、これ以上高まりが大きくなると状態は５にジャンプ
し、急激に行動の激しさは大きくなる。しかし、逆に激
しさが大きい状態６から段々と感情の高まりが小さくな
る場合、状態６，５，４と来た後、状態２にジャンプす
る。このような履歴を考慮して行動の激しさＳは行動出
力手段２５に送られ、同じ感情の高まりでもそれ以前の
エージェントの状態の履歴の違いによって行動を変化さ
せることが可能になる。行動出力手段では、感情・態度
決定手段から送られてきた結果に基づき、エージェント
の表情，体の揺れなどを出力するようになされるが、言
語処理手段から送られてきた情報と共に、感情・態度決
定手段から送られてきた情報に基づいて音声や身振りを
大きさや速さを変えてユーザ入力に対応した出力を行
う。
手段２３で生成された内部状態パラメータｑ1，ｑ2は感
情・態度パラメータ決定手段２４に送られる。ここで、
１秒間に（ｑ1が０になる回数）/２のリズムをエージェ
ントの感情・態度パラメータの１つとして行動出力手段
２５に送る。このリズムに合わせエージェントの動きや
発話について制御が行われる。また、同時に感情・態度
パラメータ決定手段２４では、感情の高まりＥ＝ｑ1 2＋
ｑ2 2から行動の激しさＳへ多価関数Ｓ＝ｈ（Ｅ）にゆっ
て写像される。図７は、感情の高まりＥと行動の激しさ
Ｓの関係を表わすもので、同図に示すようにエージェン
トの行動が落ち着いている状態１から、感情の高まりに
従って行動の激しさは状態２，３と大きくなるが、ここ
で、これ以上高まりが大きくなると状態は５にジャンプ
し、急激に行動の激しさは大きくなる。しかし、逆に激
しさが大きい状態６から段々と感情の高まりが小さくな
る場合、状態６，５，４と来た後、状態２にジャンプす
る。このような履歴を考慮して行動の激しさＳは行動出
力手段２５に送られ、同じ感情の高まりでもそれ以前の
エージェントの状態の履歴の違いによって行動を変化さ
せることが可能になる。行動出力手段では、感情・態度
決定手段から送られてきた結果に基づき、エージェント
の表情，体の揺れなどを出力するようになされるが、言
語処理手段から送られてきた情報と共に、感情・態度決
定手段から送られてきた情報に基づいて音声や身振りを
大きさや速さを変えてユーザ入力に対応した出力を行
う。
【００２３】
請求項１の効果：ユーザが発する言語或いは言語に相当
する情報のみならず、仕草，顔の動き，声のピッチなど
の非言語情報を入力情報とし、それを処理して時間発展
系で感情・態度の内部状態パラメータを生成し、人工エ
ージェントの感情・態度の出力に反映させることによ
り、エージェントがマルチモーダル情報を用いて積極的
に、より人間らしく振舞い円滑な対話を進めていくこと
ができる。 請求項２の効果：請求項１の効果に加えて、内部状態パ
ラメータに応じて感情・態度パラメータを決定するよう
にし、このパラメータ間に変化を与えることができるこ
とから、出力を多様化することができ、表現力を増すこ
とが可能となる。 請求項３の効果：請求項１及び２の効果に加えて、時間
発展系で記述された非線型方程式にもとづいて複雑な感
情・態度を生成することができるので、より人間同士に
近い円滑な対話を行うことができる。 請求項４の効果：請求項２及び３の効果に加えて、例え
ば、履歴により感情と行動の相関が変化するという人間
の性質をとり入れることにより、人間的な振舞いを可能
とする。 請求項５の効果：請求項３及び４の効果に加えて、非線
型方程式を非線型振動子の方程式とすることにより、よ
り人間同士に近い対話が可能となる。
する情報のみならず、仕草，顔の動き，声のピッチなど
の非言語情報を入力情報とし、それを処理して時間発展
系で感情・態度の内部状態パラメータを生成し、人工エ
ージェントの感情・態度の出力に反映させることによ
り、エージェントがマルチモーダル情報を用いて積極的
に、より人間らしく振舞い円滑な対話を進めていくこと
ができる。 請求項２の効果：請求項１の効果に加えて、内部状態パ
ラメータに応じて感情・態度パラメータを決定するよう
にし、このパラメータ間に変化を与えることができるこ
とから、出力を多様化することができ、表現力を増すこ
とが可能となる。 請求項３の効果：請求項１及び２の効果に加えて、時間
発展系で記述された非線型方程式にもとづいて複雑な感
情・態度を生成することができるので、より人間同士に
近い円滑な対話を行うことができる。 請求項４の効果：請求項２及び３の効果に加えて、例え
ば、履歴により感情と行動の相関が変化するという人間
の性質をとり入れることにより、人間的な振舞いを可能
とする。 請求項５の効果：請求項３及び４の効果に加えて、非線
型方程式を非線型振動子の方程式とすることにより、よ
り人間同士に近い対話が可能となる。
【図１】本発明のインタフェース装置の基本構成を示す
図である。
図である。
【図２】本発明によるマルチモーダルインタフェースシ
ステムへ適用した実施形態を示す図である。
ステムへ適用した実施形態を示す図である。
【図３】非線型振動子モデルでインタラクションがない
場合の本発明の実施例のシュミレーション結果を示すグ
ラフである。
場合の本発明の実施例のシュミレーション結果を示すグ
ラフである。
【図４】非線型振動子モデルでインタラクションがある
場合の本発明の実施例のシュミレーション結果を示すグ
ラフである。
場合の本発明の実施例のシュミレーション結果を示すグ
ラフである。
【図５】他の非線型振動子モデルでインタラクションが
ない場合の本発明の実施例のシュミレーション結果を示
すグラフである。
ない場合の本発明の実施例のシュミレーション結果を示
すグラフである。
【図６】他の非線型振動子モデルでインタラクションが
ある場合の本発明の実施例のシュミレーション結果を示
すグラフである。
ある場合の本発明の実施例のシュミレーション結果を示
すグラフである。
【図７】感情・態度決定手段における感情と行動の相関
を表わす説明図である。
を表わす説明図である。
１１…入力手段、１２…感情・態度生成手段、１３…出
力手段、２１…音声処理手段，画像処理手段、２２…言
語処理手段、２３…感情・態度生成手段、２４…感情・
態度決定手段、２５…行動出力手段。
力手段、２１…音声処理手段，画像処理手段、２２…言
語処理手段、２３…感情・態度生成手段、２４…感情・
態度決定手段、２５…行動出力手段。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 日出 晴夫 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 坂本 憲治 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内
Claims (5)
- 【請求項１】 ユーザより生じる画像及び音声などから
求められたユーザの仕草，声のピッチなどを入力する入
力手段と、該入力手段からの入力を少くともその１要素
として擬人化された人工エージェントの感情・態度の内
部状態パラメータを生成する感情・態度生成手段と、該
感情・態度生成手段の生成した内部状態パラメータに応
じて人工エージェントの感情・態度を画像及び音声とし
て表現し出力する出力手段を備えることを特徴とするイ
ンタフェース装置。 - 【請求項２】 ユーザより生じる画像及び音声などから
求められたユーザの仕草，声のピッチなどを入力する入
力手段と、該入力手段からの入力を少くともその１要素
として擬人化された人工エージェントの感情・態度の内
部状態パラメータを生成する感情・態度生成手段と、該
感情・態度生成手段の内部状態パラメータに応じて人工
エージェントの感情・態度パラメータを決定する感情・
態度パラメータ決定手段と、該感情・態度パラメータ決
定手段の出力に応じてエージェントの感情・態度を画像
及び音声として表現し出力する出力手段を備えることを
特徴とするインタフェース装置。 - 【請求項３】 前記感情・態度生成手段において、内部
状態パラメータが時間発展系で記述された非線型方程式
にもとづいて生成されるようにしたことを特徴とする請
求項１又は２記載のインタフェース装置。 - 【請求項４】 前記感情・態度パラメータ決定手段にお
いて、内部状態パラメータの値の履歴によって感情・態
度パラメータの値を異ならせるようにしたことを特徴と
する請求項２又は３記載のインタフェース装置。 - 【請求項５】 前記非線型方程式が、非線型振動子の方
程式の形式をとるようにしたことを特徴とする請求項３
又は４記載のインタフェース装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30195496A JPH10143351A (ja) | 1996-11-13 | 1996-11-13 | インタフェース装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30195496A JPH10143351A (ja) | 1996-11-13 | 1996-11-13 | インタフェース装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10143351A true JPH10143351A (ja) | 1998-05-29 |
Family
ID=17903122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30195496A Pending JPH10143351A (ja) | 1996-11-13 | 1996-11-13 | インタフェース装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10143351A (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1115664A (ja) * | 1997-06-23 | 1999-01-22 | Matsushita Electric Ind Co Ltd | エージェントインタフェース装置 |
| US6288222B1 (en) * | 2000-02-16 | 2001-09-11 | Neose Technologies, Inc. | Method of filtration of a dairy stream |
| WO2002023524A1 (en) * | 2000-09-13 | 2002-03-21 | A.G.I.Inc. | Emotion recognizing method, sensibility creating method, device, and software |
| JP2002091482A (ja) * | 2000-09-13 | 2002-03-27 | Agi:Kk | 感情検出方法及び感情検出装置ならびに記録媒体 |
| JP2002215183A (ja) * | 2001-01-16 | 2002-07-31 | Agi:Kk | 感性発生方法及び感性発生装置並びにソフトウェア |
| JP2002239256A (ja) * | 2001-02-14 | 2002-08-27 | Sanyo Electric Co Ltd | 自動応答玩具における感情決定装置および自動応答玩具 |
| JP2007287177A (ja) * | 2002-12-11 | 2007-11-01 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP2009151314A (ja) * | 2008-12-25 | 2009-07-09 | Sony Corp | 情報処理装置及び情報処理方法 |
| JP2018001404A (ja) * | 2016-07-07 | 2018-01-11 | 深▲せん▼狗尾草智能科技有限公司Ｓｈｅｎｚｈｅｎ Ｇｏｗｉｌｄ Ｒｏｂｏｔｉｃｓ Ｃｏ．，Ｌｔｄ． | 音声と仮想動作を同期させる方法、システムとロボット本体 |
| JP2018001403A (ja) * | 2016-07-07 | 2018-01-11 | 深▲せん▼狗尾草智能科技有限公司Ｓｈｅｎｚｈｅｎ Ｇｏｗｉｌｄ Ｒｏｂｏｔｉｃｓ Ｃｏ．，Ｌｔｄ． | 音声と仮想動作を同期させる方法、システムとロボット本体 |
| JPWO2019160105A1 (ja) * | 2018-02-16 | 2021-02-04 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
| JPWO2019160100A1 (ja) * | 2018-02-16 | 2021-02-04 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
| JP2021101363A (ja) * | 2019-07-11 | 2021-07-08 | 株式会社フューチャーアイ | サービス提供システム及びプログラム |
| JP2024525119A (ja) * | 2021-05-18 | 2024-07-10 | アトゥーン・メディア・ラブズ・パブリック・ベネフィット・コーポレイション | インタラクティブな同調離散アバターをリアルタイムで自動生成するシステムおよび方法 |
-
1996
- 1996-11-13 JP JP30195496A patent/JPH10143351A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1115664A (ja) * | 1997-06-23 | 1999-01-22 | Matsushita Electric Ind Co Ltd | エージェントインタフェース装置 |
| US6288222B1 (en) * | 2000-02-16 | 2001-09-11 | Neose Technologies, Inc. | Method of filtration of a dairy stream |
| CN100370414C (zh) * | 2000-09-13 | 2008-02-20 | 株式会社A·G·I | 感受能力生成器及其方法 |
| WO2002023524A1 (en) * | 2000-09-13 | 2002-03-21 | A.G.I.Inc. | Emotion recognizing method, sensibility creating method, device, and software |
| JP2002091482A (ja) * | 2000-09-13 | 2002-03-27 | Agi:Kk | 感情検出方法及び感情検出装置ならびに記録媒体 |
| US7340393B2 (en) | 2000-09-13 | 2008-03-04 | Advanced Generation Interface, Inc. | Emotion recognizing method, sensibility creating method, device, and software |
| JP2002215183A (ja) * | 2001-01-16 | 2002-07-31 | Agi:Kk | 感性発生方法及び感性発生装置並びにソフトウェア |
| JP2002239256A (ja) * | 2001-02-14 | 2002-08-27 | Sanyo Electric Co Ltd | 自動応答玩具における感情決定装置および自動応答玩具 |
| JP2007287177A (ja) * | 2002-12-11 | 2007-11-01 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
| JP2009151314A (ja) * | 2008-12-25 | 2009-07-09 | Sony Corp | 情報処理装置及び情報処理方法 |
| JP2018001404A (ja) * | 2016-07-07 | 2018-01-11 | 深▲せん▼狗尾草智能科技有限公司Ｓｈｅｎｚｈｅｎ Ｇｏｗｉｌｄ Ｒｏｂｏｔｉｃｓ Ｃｏ．，Ｌｔｄ． | 音声と仮想動作を同期させる方法、システムとロボット本体 |
| JP2018001403A (ja) * | 2016-07-07 | 2018-01-11 | 深▲せん▼狗尾草智能科技有限公司Ｓｈｅｎｚｈｅｎ Ｇｏｗｉｌｄ Ｒｏｂｏｔｉｃｓ Ｃｏ．，Ｌｔｄ． | 音声と仮想動作を同期させる方法、システムとロボット本体 |
| JPWO2019160105A1 (ja) * | 2018-02-16 | 2021-02-04 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
| JPWO2019160100A1 (ja) * | 2018-02-16 | 2021-02-04 | 日本電信電話株式会社 | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム |
| JP2021101363A (ja) * | 2019-07-11 | 2021-07-08 | 株式会社フューチャーアイ | サービス提供システム及びプログラム |
| JP2022003586A (ja) * | 2019-07-11 | 2022-01-11 | 株式会社フューチャーアイ | 支援システム |
| JP2024525119A (ja) * | 2021-05-18 | 2024-07-10 | アトゥーン・メディア・ラブズ・パブリック・ベネフィット・コーポレイション | インタラクティブな同調離散アバターをリアルタイムで自動生成するシステムおよび方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5967838B2 (ja) | 人間型ロボットのジェスチャと音声の同期 | |
| EP1256931A1 (en) | Method and apparatus for voice synthesis and robot apparatus | |
| JPH10143351A (ja) | インタフェース装置 | |
| Schwenk et al. | R2-D2 reloaded: A flexible sound synthesis system for sonic human-robot interaction design | |
| CN113689880B (zh) | 实时驱动虚拟人的方法、装置、电子设备及介质 | |
| CN106462255A (zh) | 一种机器人交互内容的生成方法、系统及机器人 | |
| Ritschel et al. | Shaping a social robot’s humor with natural language generation and socially-aware reinforcement learning | |
| TW202117498A (zh) | 化身臉部表情產生系統及化身臉部表情產生方法 | |
| JP6201212B2 (ja) | キャラクタ生成装置およびプログラム | |
| Ritschel et al. | Multimodal joke generation and paralinguistic personalization for a socially-aware robot | |
| WO2016203964A1 (ja) | 制御システム、システム及びプログラム | |
| KR102753703B1 (ko) | 감정 값의 제어가 가능한 음성 기반 애니메이션 생성 방법 및 이를 수행하는 전자 장치 | |
| Corradini et al. | Towards believable behavior generation for embodied conversational agents | |
| Thompson et al. | Emotibot: An interactive tool for multi-sensory affect communication | |
| Vélez et al. | ROBSNA: Social robot for interaction and learning therapies | |
| Kiderle et al. | Multimodal Generation of Contextualized Jokes for a Real-Time Virtual Character | |
| Mahale et al. | HRITI-Human Robot Interaction with Translational Intelligence | |
| Lokesh et al. | Computer Interaction to human through photorealistic facial model for inter-process communication | |
| Samsonovich et al. | On the possibility of regulation of human emotions via multimodal social interaction with an embodied agent controlled by ebica-based emotional interaction model | |
| Deshmukh et al. | Contextual non-verbal behaviour generation for humanoid robot using text sentiment | |
| JPH11305985A (ja) | 対話装置 | |
| JP3629088B2 (ja) | 人体コンピュータグラフィクス制御装置及びその制御方法 | |
| JP2001209779A (ja) | 仮想生物システム及び仮想生物システムにおけるパタン学習方法 | |
| JP2025045650A (ja) | システム | |
| JP2026024331A (ja) | システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051013 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061121 |