JP2000347690A - マルチモーダル対話装置 - Google Patents
マルチモーダル対話装置Info
- Publication number
- JP2000347690A JP2000347690A JP11158172A JP15817299A JP2000347690A JP 2000347690 A JP2000347690 A JP 2000347690A JP 11158172 A JP11158172 A JP 11158172A JP 15817299 A JP15817299 A JP 15817299A JP 2000347690 A JP2000347690 A JP 2000347690A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- reaction
- recognition
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 111
- 230000003068 static effect Effects 0.000 claims abstract description 6
- 230000004044 response Effects 0.000 claims abstract description 4
- 208000003443 Unconsciousness Diseases 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000008451 emotion Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 利用者に対し利用者タイプに応じた最適な
「間」をもって対話できるマルチモーダル対話装置を提
供する。 【解決手段】 利用者のタイプ別の情報とタイプ別の
「間」の関係が保持されている利用者状態記憶部３８０
と、該利用者状態記憶部３８０に保持されている静的な
情報と、利用者との対話の推移である動的な情報とから
利用者の状況を推定して最適な「間」を再設定する利用
者状況推定部３９０とを備える。対話管理手段３３０
は、利用者の意図に基づき、最適な対話の管理を行い、
利用者へ提示する情報を利用者のタイプに応じた「間」
をもって提示するように、利用者状況推定部３９０で再
設定された「間」を参照して生成タイミングを反応生成
手段３４０・３４１へ出力する。
「間」をもって対話できるマルチモーダル対話装置を提
供する。 【解決手段】 利用者のタイプ別の情報とタイプ別の
「間」の関係が保持されている利用者状態記憶部３８０
と、該利用者状態記憶部３８０に保持されている静的な
情報と、利用者との対話の推移である動的な情報とから
利用者の状況を推定して最適な「間」を再設定する利用
者状況推定部３９０とを備える。対話管理手段３３０
は、利用者の意図に基づき、最適な対話の管理を行い、
利用者へ提示する情報を利用者のタイプに応じた「間」
をもって提示するように、利用者状況推定部３９０で再
設定された「間」を参照して生成タイミングを反応生成
手段３４０・３４１へ出力する。
Description
【０００１】
【発明が属する技術分野】本発明は、対話型情報入出力
装置に関し、例えば情報機器を利用した受付や案内カウ
ンターで利用者との間に行われる情報のやりとりを円滑
に行うマルチモーダル対話装置に関するものである。
装置に関し、例えば情報機器を利用した受付や案内カウ
ンターで利用者との間に行われる情報のやりとりを円滑
に行うマルチモーダル対話装置に関するものである。
【０００２】
【従来の技術】情報機器を多くの人に使いやすくするた
めに、人が通常使用している音声情報や身振り、手振り
などの複数の入力手段を用いるマルチモーダルシステム
が提案されている。さらに、擬人化エージェントが情報
機器の窓口となり、利用者が情報機器に接しやすくなる
よう考慮されているものもある。
めに、人が通常使用している音声情報や身振り、手振り
などの複数の入力手段を用いるマルチモーダルシステム
が提案されている。さらに、擬人化エージェントが情報
機器の窓口となり、利用者が情報機器に接しやすくなる
よう考慮されているものもある。
【０００３】特開平６-１２４０１号公報には、擬似的
感情モデルによりエージェントを人間らしく振る舞わ
せ、情報伝達をスムーズに行うことを目的とした感情模
擬装置が提案されている。また、特開平８-２３４７８
９号公報には、マルチモーダル対話データベースの情報
を元にして、複数の入力チャネルからの入力を時刻情報
も含めて統合して扱うことで、より自然な対話を行うこ
とができる統合認識対話装置が提案されている。
感情モデルによりエージェントを人間らしく振る舞わ
せ、情報伝達をスムーズに行うことを目的とした感情模
擬装置が提案されている。また、特開平８-２３４７８
９号公報には、マルチモーダル対話データベースの情報
を元にして、複数の入力チャネルからの入力を時刻情報
も含めて統合して扱うことで、より自然な対話を行うこ
とができる統合認識対話装置が提案されている。
【０００４】図１に従来のマルチモーダル対話装置の構
成を示す。このマルチモーダル対話装置は、第１の入力
手段４００、第２の入力手段４０１、第１の認識手段４
１０、第２の認識手段４１１、統合処理手段４２０、対
話管理手段４３０、出力手段４６０、計時手段４７０か
ら成っている。
成を示す。このマルチモーダル対話装置は、第１の入力
手段４００、第２の入力手段４０１、第１の認識手段４
１０、第２の認識手段４１１、統合処理手段４２０、対
話管理手段４３０、出力手段４６０、計時手段４７０か
ら成っている。
【０００５】第１の入力手段４００と第２の入力手段４
０１は、それぞれ、利用者からの意識、無意識のマルチ
モーダル情報を入力できる。具体的には、音声信号、利
用者の位置、視線、顔の動き、身体の動きなどである。
０１は、それぞれ、利用者からの意識、無意識のマルチ
モーダル情報を入力できる。具体的には、音声信号、利
用者の位置、視線、顔の動き、身体の動きなどである。
【０００６】第１の認識手段４１０、第２の認識手段４
１１は、対応する第１の入力手段４００、第２の入力手
段４０１からのデータに応じた認識アルゴリズムを持
ち、認識結果を統合処理手段４２０に出力する。統合処
理手段４２０は、複数の認識手段から並列に出力される
認識結果を統合し、利用者の意図を認識する。対話管理
手段４３０は、利用者の意図に基づき、最適な対話の管
理を行う。出力手段４６０は、統合処理手段４２０から
の情報を利用者に出力する。計時手段４７０は、第１の
入力手段４００、第２の入力手段４０１、第１の認識手
段４１０、第２の認識手段４１１、統合処理手段４２
０、対話管理手段４３０、出力手段４６０の各手段で行
われる処理の開始時刻、終了時刻、所要時間を計測でき
る。
１１は、対応する第１の入力手段４００、第２の入力手
段４０１からのデータに応じた認識アルゴリズムを持
ち、認識結果を統合処理手段４２０に出力する。統合処
理手段４２０は、複数の認識手段から並列に出力される
認識結果を統合し、利用者の意図を認識する。対話管理
手段４３０は、利用者の意図に基づき、最適な対話の管
理を行う。出力手段４６０は、統合処理手段４２０から
の情報を利用者に出力する。計時手段４７０は、第１の
入力手段４００、第２の入力手段４０１、第１の認識手
段４１０、第２の認識手段４１１、統合処理手段４２
０、対話管理手段４３０、出力手段４６０の各手段で行
われる処理の開始時刻、終了時刻、所要時間を計測でき
る。
【０００７】
【発明が解決しようとする課題】前述のような従来のマ
ルチモーダル対話装置では、下記のような問題点が生じ
る。第１の問題点は、複数の入力チャネルからの入力を
統合し、より自然な対話を目的としているが、システム
の認識に要する時間が、人間同士の対話における通常の
「間」より長くなったり短くなったりする場合、つまり
対話における「間」に利用者により個人差がある場合、
その「間」に応じた反応処理については対処していな
い。
ルチモーダル対話装置では、下記のような問題点が生じ
る。第１の問題点は、複数の入力チャネルからの入力を
統合し、より自然な対話を目的としているが、システム
の認識に要する時間が、人間同士の対話における通常の
「間」より長くなったり短くなったりする場合、つまり
対話における「間」に利用者により個人差がある場合、
その「間」に応じた反応処理については対処していな
い。
【０００８】第２の問題点は、人間同士の対話における
自然な「間」は、利用者の年齢、性別、性格などにより
異なり、画一的な「間」では不自然に感じる場合があ
る。
自然な「間」は、利用者の年齢、性別、性格などにより
異なり、画一的な「間」では不自然に感じる場合があ
る。
【０００９】第３の問題点は、情報機器と利用者との対
話の「間」は、利用者の置かれている状況、対話の流れ
で動的に変化するため、利用者の静的な属性だけでは不
自然に感じる場合がある。
話の「間」は、利用者の置かれている状況、対話の流れ
で動的に変化するため、利用者の静的な属性だけでは不
自然に感じる場合がある。
【００１０】本発明は、このような問題点を解決し、利
用者に対し利用者タイプに応じた最適な「間」をもって
対話できるマルチモーダル対話装置を提供することを目
的とする。
用者に対し利用者タイプに応じた最適な「間」をもって
対話できるマルチモーダル対話装置を提供することを目
的とする。
【００１１】
【課題を解決するための手段】本発明の第１の形態のマ
ルチモーダル対話装置は、上記第１の問題点を解決する
ため、利用者からの意識、無意識のマルチモーダル情報
を入力できる入力手段と、該入力手段からのデータに応
じた認識アルゴリズムによってマルチモーダル情報を認
識する複数の認識手段と、これら複数の認識手段から並
列に出力される認識結果を統合し、利用者の意図を認識
する統合処理手段と、利用者の意図に基づき最適な対話
の管理を行い、利用者へ提示する情報を利用者のタイプ
に応じた「間」をもって提示するように生成タイミング
を出力する対話管理手段と、該対話管理手段からの生成
タイミングに従い、利用者へ提示する情報としての反応
の生成、中断を行う反応生成手段と、該反応生成手段で
生成が完了した単数または複数の出力待ちの情報から、
最適な情報を選択する反応選択手段と、該反応選択手段
からの情報を利用者に出力する出力手段と、前記入力手
段、認識手段、統合処理手段、対話管理手段、反応生成
手段、反応選択手段、出力手段の各手段で行われる処理
の開始時刻、終了時刻、所要時間を計測できる計時手段
とを備えている。
ルチモーダル対話装置は、上記第１の問題点を解決する
ため、利用者からの意識、無意識のマルチモーダル情報
を入力できる入力手段と、該入力手段からのデータに応
じた認識アルゴリズムによってマルチモーダル情報を認
識する複数の認識手段と、これら複数の認識手段から並
列に出力される認識結果を統合し、利用者の意図を認識
する統合処理手段と、利用者の意図に基づき最適な対話
の管理を行い、利用者へ提示する情報を利用者のタイプ
に応じた「間」をもって提示するように生成タイミング
を出力する対話管理手段と、該対話管理手段からの生成
タイミングに従い、利用者へ提示する情報としての反応
の生成、中断を行う反応生成手段と、該反応生成手段で
生成が完了した単数または複数の出力待ちの情報から、
最適な情報を選択する反応選択手段と、該反応選択手段
からの情報を利用者に出力する出力手段と、前記入力手
段、認識手段、統合処理手段、対話管理手段、反応生成
手段、反応選択手段、出力手段の各手段で行われる処理
の開始時刻、終了時刻、所要時間を計測できる計時手段
とを備えている。
【００１２】本発明の第２の形態のマルチモーダル対話
装置は、上記第２の問題点を解決するため、利用者から
の意識、無意識のマルチモーダル情報を入力できる入力
手段と、該入力手段からのデータに応じた認識アルゴリ
ズムによってマルチモーダル情報を認識する複数の認識
手段と、利用者のタイプ別の情報とタイプ別の「間」の
関係が保持されている利用者状態記憶部と、前記複数の
認識手段から並列に出力される認識結果を統合し、利用
者の意図を認識する統合処理手段と、利用者の意図に基
づき、最適な対話の管理を行い、利用者へ提示する情報
を利用者のタイプに応じた「間」をもって提示するよう
に、前記利用者状態記憶部を参照して生成タイミングを
出力する対話管理手段と、該対話管理手段からの生成タ
イミングに従い、利用者へ提示する情報としての反応の
生成、中断を行う反応生成手段と、該反応生成手段で生
成が完了した単数または複数の出力待ちの情報から、最
適な情報を選択する反応選択手段と、該反応選択手段か
らの情報を利用者に出力する出力手段と、前記入力手
段、認識手段、統合処理手段、対話管理手段、反応生成
手段、反応選択手段、出力手段の各手段で行われる処理
の開始時刻、終了時刻、所要時間を計測できる計時手段
とを備えている。
装置は、上記第２の問題点を解決するため、利用者から
の意識、無意識のマルチモーダル情報を入力できる入力
手段と、該入力手段からのデータに応じた認識アルゴリ
ズムによってマルチモーダル情報を認識する複数の認識
手段と、利用者のタイプ別の情報とタイプ別の「間」の
関係が保持されている利用者状態記憶部と、前記複数の
認識手段から並列に出力される認識結果を統合し、利用
者の意図を認識する統合処理手段と、利用者の意図に基
づき、最適な対話の管理を行い、利用者へ提示する情報
を利用者のタイプに応じた「間」をもって提示するよう
に、前記利用者状態記憶部を参照して生成タイミングを
出力する対話管理手段と、該対話管理手段からの生成タ
イミングに従い、利用者へ提示する情報としての反応の
生成、中断を行う反応生成手段と、該反応生成手段で生
成が完了した単数または複数の出力待ちの情報から、最
適な情報を選択する反応選択手段と、該反応選択手段か
らの情報を利用者に出力する出力手段と、前記入力手
段、認識手段、統合処理手段、対話管理手段、反応生成
手段、反応選択手段、出力手段の各手段で行われる処理
の開始時刻、終了時刻、所要時間を計測できる計時手段
とを備えている。
【００１３】本発明の第３の形態のマルチモーダル対話
装置は、上記第３の問題点を解決するため、利用者から
の意識、無意識のマルチモーダル情報を入力できる入力
手段と、該入力手段からのデータに応じた認識アルゴリ
ズムによってマルチモーダル情報を認識する複数の認識
手段と、利用者のタイプ別の情報とタイプ別の「間」の
関係が保持されている利用者状態記憶部と、該利用者状
態記憶部に保持されている静的な情報と、利用者との対
話の推移である動的な情報とから利用者の状況を推定し
て最適な「間」を再設定する利用者状況推定部と、前記
複数の認識手段から並列に出力される認識結果を統合
し、利用者の意図を認識する統合処理手段と、利用者の
意図に基づき、最適な対話の管理を行い、利用者へ提示
する情報を利用者のタイプに応じた「間」をもって提示
するように、前記利用者状況推定部で再設定された
「間」を参照して生成タイミングを出力する対話管理手
段と、該対話管理手段からの生成タイミングに従い、利
用者へ提示する情報としての反応の生成、中断を行う反
応生成手段と、反応生成手段で生成が完了した単数また
は複数の出力待ちの情報から、最適な情報を選択する反
応選択手段と、該反応選択手段からの情報を利用者に出
力する出力手段と、前記入力手段、認識手段、統合処理
手段、対話管理手段、反応生成手段、反応選択手段、出
力手段の各手段で行われる処理の開始時刻、終了時刻、
所要時間を計測できる計時手段とを備えている。
装置は、上記第３の問題点を解決するため、利用者から
の意識、無意識のマルチモーダル情報を入力できる入力
手段と、該入力手段からのデータに応じた認識アルゴリ
ズムによってマルチモーダル情報を認識する複数の認識
手段と、利用者のタイプ別の情報とタイプ別の「間」の
関係が保持されている利用者状態記憶部と、該利用者状
態記憶部に保持されている静的な情報と、利用者との対
話の推移である動的な情報とから利用者の状況を推定し
て最適な「間」を再設定する利用者状況推定部と、前記
複数の認識手段から並列に出力される認識結果を統合
し、利用者の意図を認識する統合処理手段と、利用者の
意図に基づき、最適な対話の管理を行い、利用者へ提示
する情報を利用者のタイプに応じた「間」をもって提示
するように、前記利用者状況推定部で再設定された
「間」を参照して生成タイミングを出力する対話管理手
段と、該対話管理手段からの生成タイミングに従い、利
用者へ提示する情報としての反応の生成、中断を行う反
応生成手段と、反応生成手段で生成が完了した単数また
は複数の出力待ちの情報から、最適な情報を選択する反
応選択手段と、該反応選択手段からの情報を利用者に出
力する出力手段と、前記入力手段、認識手段、統合処理
手段、対話管理手段、反応生成手段、反応選択手段、出
力手段の各手段で行われる処理の開始時刻、終了時刻、
所要時間を計測できる計時手段とを備えている。
【００１４】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について図面を参照して詳細に説明する。
の形態について図面を参照して詳細に説明する。
【００１５】図２は本発明の第１の実施例の構成を示す
ブロック図である。このマルチモーダル対話装置は、第
１の入力手段１００、第２の入力手段１０１、第１の認
識手段１１０、第２の認識手段１１１、統合処理手段１
２０、対話管理手段１３０、第１の反応生成手段１４
０、第２の反応生成手段１４１、反応選択手段１５０、
出力手段１６０、計時手段１７０から成っている。この
中で第１の反応生成手段１４０、第２の反応生成手段１
４１、反応選択手段１５０が、図１の従来の構成より追
加された部分である。
ブロック図である。このマルチモーダル対話装置は、第
１の入力手段１００、第２の入力手段１０１、第１の認
識手段１１０、第２の認識手段１１１、統合処理手段１
２０、対話管理手段１３０、第１の反応生成手段１４
０、第２の反応生成手段１４１、反応選択手段１５０、
出力手段１６０、計時手段１７０から成っている。この
中で第１の反応生成手段１４０、第２の反応生成手段１
４１、反応選択手段１５０が、図１の従来の構成より追
加された部分である。
【００１６】第１の入力手段１００と第２の入力手段１
０１は、それぞれ、利用者からの意識、無意識のマルチ
モーダル情報を入力できる。具体的には、音声信号、利
用者の位置、視線、顔の動き、身体の動きなどである。
０１は、それぞれ、利用者からの意識、無意識のマルチ
モーダル情報を入力できる。具体的には、音声信号、利
用者の位置、視線、顔の動き、身体の動きなどである。
【００１７】第１の認識手段１１０、第２の認識手段１
１１は、対応する第１の入力手段１００、第２の入力手
段１０１からのデータに応じた認識アルゴリズムを持
ち、認識結果を統合処理手段１２０に出力する。
１１は、対応する第１の入力手段１００、第２の入力手
段１０１からのデータに応じた認識アルゴリズムを持
ち、認識結果を統合処理手段１２０に出力する。
【００１８】統合処理手段１２０は、複数の認識手段か
ら並列に出力される認識結果を統合し、利用者の意図を
認識する。
ら並列に出力される認識結果を統合し、利用者の意図を
認識する。
【００１９】対話管理手段１３０は、利用者の意図に基
づき最適な対話の管理を行い、利用者へ提示する情報
を、予め決めておいた利用者のタイプに応じた「間」を
もって提示するために、第１の反応生成手段１４０、第
２の反応生成手段１４１に生成内容と生成タイミングを
出力する。また、複数の生成された情報の選択方法とタ
イミングを反応選択手段１５０に出力する。
づき最適な対話の管理を行い、利用者へ提示する情報
を、予め決めておいた利用者のタイプに応じた「間」を
もって提示するために、第１の反応生成手段１４０、第
２の反応生成手段１４１に生成内容と生成タイミングを
出力する。また、複数の生成された情報の選択方法とタ
イミングを反応選択手段１５０に出力する。
【００２０】第１の反応生成手段１４０、第２の反応生
成手段１４１は、対話管理手段１３０からの命令に基づ
き、利用者へ提示する情報としての反応の生成、中断を
行う。具体的には、仮想擬似人物像の発話付き動作や動
画データ、ビットマップデータ、音データ、外部制御可
能機器の制御命令などである。
成手段１４１は、対話管理手段１３０からの命令に基づ
き、利用者へ提示する情報としての反応の生成、中断を
行う。具体的には、仮想擬似人物像の発話付き動作や動
画データ、ビットマップデータ、音データ、外部制御可
能機器の制御命令などである。
【００２１】反応選択手段１５０は、反応生成手段で生
成が完了した単数または複数の出力待ちの情報から、対
話管理手段１３０からの命令に基づき、最適な情報を選
択し、出力手段１６０に出力する。出力手段１６０は、
反応選択手段１５０からの情報を利用者に出力する。
成が完了した単数または複数の出力待ちの情報から、対
話管理手段１３０からの命令に基づき、最適な情報を選
択し、出力手段１６０に出力する。出力手段１６０は、
反応選択手段１５０からの情報を利用者に出力する。
【００２２】計時手段１７０は、第１の入力手段１０
０、第２の入力手段１０１、第１の認識手段１１０、第
２の認識手段１１１、統合処理手段１２０、対話管理手
段１３０、第１の反応生成手段１４０、第２の反応生成
手段１４１、反応選択手段１５０、出力手段１６０の各
手段で行われる処理の開始時刻、終了時刻、所要時間を
計測できる。
０、第２の入力手段１０１、第１の認識手段１１０、第
２の認識手段１１１、統合処理手段１２０、対話管理手
段１３０、第１の反応生成手段１４０、第２の反応生成
手段１４１、反応選択手段１５０、出力手段１６０の各
手段で行われる処理の開始時刻、終了時刻、所要時間を
計測できる。
【００２３】本実施例では、入力手段および認識手段は
二組で構成されるが、入力チャネルの増加に対応して、
変更可能とする。また、反応生成手段は二つであるが、
マルチモーダル対話装置の処理能力に応じて、変更可能
とする。
二組で構成されるが、入力チャネルの増加に対応して、
変更可能とする。また、反応生成手段は二つであるが、
マルチモーダル対話装置の処理能力に応じて、変更可能
とする。
【００２４】よって、第１の実施例によると、利用者の
意図に基づき最適な対話の管理を行い、利用者へ提示す
る情報を利用者のタイプに応じた「間」をもって提示す
るように生成タイミングを出力する対話管理手段と、複
数の反応生成手段と、これらの反応から最適な反応（利
用者のタイプに応じた「間」）を選び、出力手段へ渡す
反応選択手段を備えているため、利用者のタイプに応じ
たタイミングの自然な反応を返すことが可能であり、上
述した第１の問題点を解決する。
意図に基づき最適な対話の管理を行い、利用者へ提示す
る情報を利用者のタイプに応じた「間」をもって提示す
るように生成タイミングを出力する対話管理手段と、複
数の反応生成手段と、これらの反応から最適な反応（利
用者のタイプに応じた「間」）を選び、出力手段へ渡す
反応選択手段を備えているため、利用者のタイプに応じ
たタイミングの自然な反応を返すことが可能であり、上
述した第１の問題点を解決する。
【００２５】図３は本発明の第２の実施例の構成を示す
ブロック図である。このマルチモーダル対話装置は、第
１の入力手段２００、第２の入力手段２０１、第１の認
識手段２１０、第２の認識手段２１１、統合処理手段２
２０、対話管理手段２３０、第１の反応生成手段２４
０、第２の反応生成手段２４１、反応選択手段２５０、
出力手段２６０、計時手段２７０、利用者状態記憶部２
８０から成っている。この中で第１の反応生成手段２４
０、第２の反応生成手段２４１、反応選択手段２５０、
利用者状態記憶部２８０が、図１の従来の構成より追加
された部分である。
ブロック図である。このマルチモーダル対話装置は、第
１の入力手段２００、第２の入力手段２０１、第１の認
識手段２１０、第２の認識手段２１１、統合処理手段２
２０、対話管理手段２３０、第１の反応生成手段２４
０、第２の反応生成手段２４１、反応選択手段２５０、
出力手段２６０、計時手段２７０、利用者状態記憶部２
８０から成っている。この中で第１の反応生成手段２４
０、第２の反応生成手段２４１、反応選択手段２５０、
利用者状態記憶部２８０が、図１の従来の構成より追加
された部分である。
【００２６】第１の入力手段２００、第２の入力手段２
０１は、利用者からの意識、無意識のマルチモーダル情
報を入力できる。具体的には、音声信号、利用者の位
置、視線、顔の動き、身体の動きなどである。
０１は、利用者からの意識、無意識のマルチモーダル情
報を入力できる。具体的には、音声信号、利用者の位
置、視線、顔の動き、身体の動きなどである。
【００２７】第１の認識手段２１０、第２の認識手段２
１１は、対応する第１の入力手段２００、第２の入力手
段２０１からのデータに応じた認識アルゴリズムを持
ち、認識結果を統合処理手段２２０に出力する。
１１は、対応する第１の入力手段２００、第２の入力手
段２０１からのデータに応じた認識アルゴリズムを持
ち、認識結果を統合処理手段２２０に出力する。
【００２８】統合処理手段２２０は、複数の認識手段か
ら並列に出力される認識結果を統合し、利用者の意図を
認識する。
ら並列に出力される認識結果を統合し、利用者の意図を
認識する。
【００２９】利用者状態記憶部２８０は、利用者の年
齢、性別など情報と「間」の関係が保持されている。図
５に例として利用者状態記憶部の定義を示す。利用者タ
イプとそのタイプに対応する性別、年齢、来場数の属
性、最適な「間」が保持されている。
齢、性別など情報と「間」の関係が保持されている。図
５に例として利用者状態記憶部の定義を示す。利用者タ
イプとそのタイプに対応する性別、年齢、来場数の属
性、最適な「間」が保持されている。
【００３０】対話管理手段２３０は、利用者の意図に基
づき、最適な対話の管理を行い、利用者へ提示する情報
を生成するために、第１の反応生成手段２４０、第２の
反応生成手段２４１に生成内容と生成タイミングを出力
する。ここで、最適な「間」を決定するために、利用者
状態記憶部２８０を参照してそこで定義された「間」を
利用する。また、複数の生成された情報の選択方法とタ
イミングを反応選択手段２５０に出力する。
づき、最適な対話の管理を行い、利用者へ提示する情報
を生成するために、第１の反応生成手段２４０、第２の
反応生成手段２４１に生成内容と生成タイミングを出力
する。ここで、最適な「間」を決定するために、利用者
状態記憶部２８０を参照してそこで定義された「間」を
利用する。また、複数の生成された情報の選択方法とタ
イミングを反応選択手段２５０に出力する。
【００３１】第１の反応生成手段２４０、第２の反応生
成手段２４１は、対話管理手段２３０からの命令に基づ
き、利用者へ提示する情報としての反応の生成、中断を
行う。具体的には、仮想擬似人物像の発話付き動作や動
画データ、ビットマップデータ、音データ、外部制御可
能機器の制御命令などである。
成手段２４１は、対話管理手段２３０からの命令に基づ
き、利用者へ提示する情報としての反応の生成、中断を
行う。具体的には、仮想擬似人物像の発話付き動作や動
画データ、ビットマップデータ、音データ、外部制御可
能機器の制御命令などである。
【００３２】反応選択手段２５０は、反応生成手段で生
成が完了した単数または複数の出力待ちの情報から、対
話管理手段２３０からの命令に基づき、最適な情報を選
択し、出力手段２６０に出力する。出力手段２６０は、
反応選択手段２５０からの情報を利用者に出力する。
成が完了した単数または複数の出力待ちの情報から、対
話管理手段２３０からの命令に基づき、最適な情報を選
択し、出力手段２６０に出力する。出力手段２６０は、
反応選択手段２５０からの情報を利用者に出力する。
【００３３】計時手段２７０は、第１の入力手段２０
０、第２の入力手段２０１、第１の認識手段２１０、第
２の認識手段２１１、統合処理手段２２０、対話管理手
段２３０、第１の反応生成手段２４０、第２の反応生成
手段２４１、反応選択手段２５０、出力手段２６０の各
手段で行われる処理の開始時刻、終了時刻、所要時間を
計測できる。
０、第２の入力手段２０１、第１の認識手段２１０、第
２の認識手段２１１、統合処理手段２２０、対話管理手
段２３０、第１の反応生成手段２４０、第２の反応生成
手段２４１、反応選択手段２５０、出力手段２６０の各
手段で行われる処理の開始時刻、終了時刻、所要時間を
計測できる。
【００３４】本実施例では、入力手段および認識手段は
二組で構成されるが、入力チャネルの増加に対応して、
変更可能とする。また、反応生成手段は二つであるが、
マルチモーダル対話装置の処理能力に応じて、変更可能
とする。
二組で構成されるが、入力チャネルの増加に対応して、
変更可能とする。また、反応生成手段は二つであるが、
マルチモーダル対話装置の処理能力に応じて、変更可能
とする。
【００３５】よって、この第２の実施例は、利用者状態
記憶部２８０を備えているため、利用者の年齢、性別、
性格や利用履歴などを保持でき、このデータから対話管
理手段２３０は利用者に最適な「間」を設定することが
可能であり、上述した第２の問題点を解決できる。
記憶部２８０を備えているため、利用者の年齢、性別、
性格や利用履歴などを保持でき、このデータから対話管
理手段２３０は利用者に最適な「間」を設定することが
可能であり、上述した第２の問題点を解決できる。
【００３６】図４は本発明の第３の実施例の構成を示す
ブロック図である。このマルチモーダル対話装置は、第
１の入力手段３００、第２の入力手段３０１、第１の認
識手段３１０、第２の認識手段３１１、統合処理手段３
２０、対話管理手段３３０、第１の反応生成手段３４
０、第２の反応生成手段３４１、反応選択手段３５０、
出力手段３６０、計時手段３７０、利用者状態記憶部３
８０、利用者状況推定部３９０から成っている。この中
で第１の反応生成手段３４０、第２の反応生成手段３４
１、反応選択手段３５０、利用者状態記憶部３８０、利
用者状況推定部３９０が、図１の従来の構成より追加さ
れた部分である。
ブロック図である。このマルチモーダル対話装置は、第
１の入力手段３００、第２の入力手段３０１、第１の認
識手段３１０、第２の認識手段３１１、統合処理手段３
２０、対話管理手段３３０、第１の反応生成手段３４
０、第２の反応生成手段３４１、反応選択手段３５０、
出力手段３６０、計時手段３７０、利用者状態記憶部３
８０、利用者状況推定部３９０から成っている。この中
で第１の反応生成手段３４０、第２の反応生成手段３４
１、反応選択手段３５０、利用者状態記憶部３８０、利
用者状況推定部３９０が、図１の従来の構成より追加さ
れた部分である。
【００３７】第１の入力手段３００、第２の入力手段３
０１は、利用者からの意識、無意識のマルチモーダル情
報を入力できる。具体的には、音声信号、利用者の位
置、視線、顔の動き、身体の動きなどである。
０１は、利用者からの意識、無意識のマルチモーダル情
報を入力できる。具体的には、音声信号、利用者の位
置、視線、顔の動き、身体の動きなどである。
【００３８】第１の認識手段３１０、第２の認識手段３
１１は、対応する第１の入力手段３００、第２の入力手
段３０１からのデータに応じた認識アルゴリズムを持
ち、認識結果を統合処理手段３２０に出力する。
１１は、対応する第１の入力手段３００、第２の入力手
段３０１からのデータに応じた認識アルゴリズムを持
ち、認識結果を統合処理手段３２０に出力する。
【００３９】統合処理手段３２０は、複数の認識手段か
ら並列に出力される認識結果を統合し、利用者の意図を
認識する。
ら並列に出力される認識結果を統合し、利用者の意図を
認識する。
【００４０】利用者状態記憶部３８０は、利用者の年
齢、性別など情報と「間」の関係が保持されている。
齢、性別など情報と「間」の関係が保持されている。
【００４１】利用者状況推定部３９０は、利用者状態記
憶部３８０にある、利用者の静的な情報と、対話管理手
段から得られるマルチモーダル対話装置利用開始時から
の利用者との対話の流れとしての動的な情報とから利用
者の状況を推定する。具体的には、「いらいらしてい
る」、「あわてている」ような状況を推定し、最適な
「間」を再設定する。
憶部３８０にある、利用者の静的な情報と、対話管理手
段から得られるマルチモーダル対話装置利用開始時から
の利用者との対話の流れとしての動的な情報とから利用
者の状況を推定する。具体的には、「いらいらしてい
る」、「あわてている」ような状況を推定し、最適な
「間」を再設定する。
【００４２】対話管理手段３３０は、利用者の意図に基
づき、最適な対話の管理を行い、利用者へ提示する情報
を生成するために、第１の反応生成手段３４０、第２の
反応生成手段３４１に生成内容と生成タイミングを出力
する。ここで、最適な「間」を決定するために、利用者
状況推定部３９０の情報を利用する。また、複数の生成
された情報の選択方法とタイミングを反応選択手段３５
０に出力する。
づき、最適な対話の管理を行い、利用者へ提示する情報
を生成するために、第１の反応生成手段３４０、第２の
反応生成手段３４１に生成内容と生成タイミングを出力
する。ここで、最適な「間」を決定するために、利用者
状況推定部３９０の情報を利用する。また、複数の生成
された情報の選択方法とタイミングを反応選択手段３５
０に出力する。
【００４３】第１の反応生成手段３４０、第２の反応生
成手段３４１は、対話管理手段３３０からの命令に基づ
き、利用者へ提示する情報としての反応の生成、中断を
行う。具体的には、仮想擬似人物像の発話付き動作や動
画データ、ビットマップデータ、音データ、外部制御可
能機器の制御命令などである。
成手段３４１は、対話管理手段３３０からの命令に基づ
き、利用者へ提示する情報としての反応の生成、中断を
行う。具体的には、仮想擬似人物像の発話付き動作や動
画データ、ビットマップデータ、音データ、外部制御可
能機器の制御命令などである。
【００４４】反応選択手段３５０は、第１の反応生成手
段３４０、第２の反応生成手段３４１で生成が完了した
単数または複数の出力待ちの情報から、対話管理手段３
３０からの命令に基づき、最適な情報を選択し、出力手
段３６０に出力する。出力手段３６０は、反応選択手段
３５０からの情報を利用者に出力する。
段３４０、第２の反応生成手段３４１で生成が完了した
単数または複数の出力待ちの情報から、対話管理手段３
３０からの命令に基づき、最適な情報を選択し、出力手
段３６０に出力する。出力手段３６０は、反応選択手段
３５０からの情報を利用者に出力する。
【００４５】計時手段３７０は、第１の入力手段３０
０、第２の入力手段３０１、第１の認識手段３１０、第
２の認識手段３１１、統合処理手段３２０、対話管理手
段３３０、第１の反応生成手段３４０、第２の反応生成
手段３４１、反応選択手段３５０、出力手段３６０の各
手段で行われる処理の開始時刻、終了時刻、所要時間を
計測できる。
０、第２の入力手段３０１、第１の認識手段３１０、第
２の認識手段３１１、統合処理手段３２０、対話管理手
段３３０、第１の反応生成手段３４０、第２の反応生成
手段３４１、反応選択手段３５０、出力手段３６０の各
手段で行われる処理の開始時刻、終了時刻、所要時間を
計測できる。
【００４６】本実施例では、入力手段および認識手段は
二組で構成されるが、入力チャネルの増加に対応して、
変更可能とする。また、反応生成手段は二つであるが、
マルチモーダル対話装置の処理能力に応じて、変更可能
とする。
二組で構成されるが、入力チャネルの増加に対応して、
変更可能とする。また、反応生成手段は二つであるが、
マルチモーダル対話装置の処理能力に応じて、変更可能
とする。
【００４７】よって、第３の実施例は、 利用者状態記
憶部３８０および利用者状態推定部３９０を備えている
ため、利用者状況推定部３９０は、利用者状態記憶部３
８０の保持する利用者の年齢、性別、性格や利用履歴な
どのデータと、利用者とマルチモーダル対話装置の対話
の流れから、利用者の状況を推定することで、対話管理
手段３３０は利用者に最適な「間」を設定することが可
能であり、上述した第３の問題点を解決できる。
憶部３８０および利用者状態推定部３９０を備えている
ため、利用者状況推定部３９０は、利用者状態記憶部３
８０の保持する利用者の年齢、性別、性格や利用履歴な
どのデータと、利用者とマルチモーダル対話装置の対話
の流れから、利用者の状況を推定することで、対話管理
手段３３０は利用者に最適な「間」を設定することが可
能であり、上述した第３の問題点を解決できる。
【００４８】
【発明の効果】以上説明したように本発明によれば、利
用者に対し利用者タイプに応じた最適な「間」をもって
対話できるので、利用者との間に行われる情報のやりと
りを円滑に行うことが可能となる。
用者に対し利用者タイプに応じた最適な「間」をもって
対話できるので、利用者との間に行われる情報のやりと
りを円滑に行うことが可能となる。
【図１】従来のマルチモーダル対話装置のブロック図で
ある。
ある。
【図２】本発明の第１の実施例の構成を示すブロック図
である。
である。
【図３】本発明の第２の実施例の構成を示すブロック図
である。
である。
【図４】本発明の第３の実施例の構成を示すブロック図
である。
である。
【図５】利用者状態記憶部の定義例を示す図である。
１００ 第１の入力手段 １０１ 第２の入力手段 １１０ 第１の認識手段 １１１ 第２の認識手段 １２０ 統合処理手段 １３０ 対話管理手段 １４０ 第１の反応生成手段 １４１ 第２の反応生成手段 １５０ 反応選択手段 １６０ 出力手段 １７０ 計時手段 ２００ 第１の入力手段 ２０１ 第２の入力手段 ２１０ 第１の認識手段 ２１１ 第２の認識手段 ２２０ 統合処理手段 ２３０ 対話管理手段 ２４０ 第１の反応生成手段 ２４１ 第２の反応生成手段 ２５０ 反応選択手段 ２６０ 出力手段 ２７０ 計時手段 ２８０ 利用者状態記憶部 ３００ 第１の入力手段 ３０１ 第２の入力手段 ３１０ 第１の認識手段 ３１１ 第２の認識手段 ３２０ 統合処理手段 ３３０ 対話管理手段 ３４０ 第１の反応生成手段 ３４１ 第２の反応生成手段 ３５０ 反応選択手段 ３６０ 出力手段 ３７０ 計時手段 ３８０ 利用者状態記憶部 ３９０ 利用者状況推定部
Claims (3)
- 【請求項１】利用者からの意識、無意識のマルチモーダ
ル情報を入力できる入力手段と、該入力手段からのデー
タに応じた認識アルゴリズムによってマルチモーダル情
報を認識する複数の認識手段と、これら複数の認識手段
から並列に出力される認識結果を統合し、利用者の意図
を認識する統合処理手段と、利用者の意図に基づき最適
な対話の管理を行い、利用者へ提示する情報を利用者の
タイプに応じた「間」をもって提示するように生成タイ
ミングを出力する対話管理手段と、該対話管理手段から
の生成タイミングに従い、利用者へ提示する情報として
の反応の生成、中断を行う反応生成手段と、該反応生成
手段で生成が完了した単数または複数の出力待ちの情報
から、最適な情報を選択する反応選択手段と、該反応選
択手段からの情報を利用者に出力する出力手段と、前記
入力手段、認識手段、統合処理手段、対話管理手段、反
応生成手段、反応選択手段、出力手段の各手段で行われ
る処理の開始時刻、終了時刻、所要時間を計測できる計
時手段とを備えることを特徴とするマルチモーダル対話
装置。 - 【請求項２】利用者からの意識、無意識のマルチモーダ
ル情報を入力できる入力手段と、該入力手段からのデー
タに応じた認識アルゴリズムによってマルチモーダル情
報を認識する複数の認識手段と、利用者のタイプ別の情
報とタイプ別の「間」の関係が保持されている利用者状
態記憶部と、前記複数の認識手段から並列に出力される
認識結果を統合し、利用者の意図を認識する統合処理手
段と、利用者の意図に基づき、最適な対話の管理を行
い、利用者へ提示する情報を利用者のタイプに応じた
「間」をもって提示するように、前記利用者状態記憶部
を参照して生成タイミングを出力する対話管理手段と、
該対話管理手段からの生成タイミングに従い、利用者へ
提示する情報としての反応の生成、中断を行う反応生成
手段と、該反応生成手段で生成が完了した単数または複
数の出力待ちの情報から、最適な情報を選択する反応選
択手段と、該反応選択手段からの情報を利用者に出力す
る出力手段と、前記入力手段、認識手段、統合処理手
段、対話管理手段、反応生成手段、反応選択手段、出力
手段の各手段で行われる処理の開始時刻、終了時刻、所
要時間を計測できる計時手段とを備えることを特徴とす
るマルチモーダル対話装置。 - 【請求項３】利用者からの意識、無意識のマルチモーダ
ル情報を入力できる入力手段と、該入力手段からのデー
タに応じた認識アルゴリズムによってマルチモーダル情
報を認識する複数の認識手段と、利用者のタイプ別の情
報とタイプ別の「間」の関係が保持されている利用者状
態記憶部と、該利用者状態記憶部に保持されている静的
な情報と、利用者との対話の推移である動的な情報とか
ら利用者の状況を推定して最適な「間」を再設定する利
用者状況推定部と、前記複数の認識手段から並列に出力
される認識結果を統合し、利用者の意図を認識する統合
処理手段と、利用者の意図に基づき、最適な対話の管理
を行い、利用者へ提示する情報を利用者のタイプに応じ
た「間」をもって提示するように、前記利用者状況推定
部で再設定された「間」を参照して生成タイミングを出
力する対話管理手段と、該対話管理手段からの生成タイ
ミングに従い、利用者へ提示する情報としての反応の生
成、中断を行う反応生成手段と、反応生成手段で生成が
完了した単数または複数の出力待ちの情報から、最適な
情報を選択する反応選択手段と、該反応選択手段からの
情報を利用者に出力する出力手段と、前記入力手段、認
識手段、統合処理手段、対話管理手段、反応生成手段、
反応選択手段、出力手段の各手段で行われる処理の開始
時刻、終了時刻、所要時間を計測できる計時手段とを備
えることを特徴とするマルチモーダル対話装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15817299A JP3514372B2 (ja) | 1999-06-04 | 1999-06-04 | マルチモーダル対話装置 |
| US09/585,288 US6513011B1 (en) | 1999-06-04 | 2000-06-02 | Multi modal interactive system, method, and medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15817299A JP3514372B2 (ja) | 1999-06-04 | 1999-06-04 | マルチモーダル対話装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000347690A true JP2000347690A (ja) | 2000-12-15 |
| JP3514372B2 JP3514372B2 (ja) | 2004-03-31 |
Family
ID=15665857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15817299A Expired - Fee Related JP3514372B2 (ja) | 1999-06-04 | 1999-06-04 | マルチモーダル対話装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6513011B1 (ja) |
| JP (1) | JP3514372B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005076258A1 (ja) * | 2004-02-03 | 2007-10-18 | 松下電器産業株式会社 | ユーザ適応型装置およびその制御方法 |
| JP2018151661A (ja) * | 2018-05-21 | 2018-09-27 | ヤマハ株式会社 | 音声制御装置、音声制御方法およびプログラム |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6964023B2 (en) * | 2001-02-05 | 2005-11-08 | International Business Machines Corporation | System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input |
| US7013427B2 (en) * | 2001-04-23 | 2006-03-14 | Steven Griffith | Communication analyzing system |
| KR100580619B1 (ko) * | 2002-12-11 | 2006-05-16 | 삼성전자주식회사 | 사용자와 에이전트 간의 대화 관리방법 및 장치 |
| US8478645B2 (en) * | 2003-04-07 | 2013-07-02 | Sevenecho, Llc | Method, system and software for digital media narrative personalization |
| JP4027269B2 (ja) * | 2003-06-02 | 2007-12-26 | キヤノン株式会社 | 情報処理方法及び装置 |
| JP2005157494A (ja) * | 2003-11-20 | 2005-06-16 | Aruze Corp | 会話制御装置及び会話制御方法 |
| EP1699040A4 (en) * | 2003-12-12 | 2007-11-28 | Nec Corp | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM |
| US9083798B2 (en) * | 2004-12-22 | 2015-07-14 | Nuance Communications, Inc. | Enabling voice selection of user preferences |
| US8340971B1 (en) * | 2005-01-05 | 2012-12-25 | At&T Intellectual Property Ii, L.P. | System and method of dialog trajectory analysis |
| US20060248461A1 (en) * | 2005-04-29 | 2006-11-02 | Omron Corporation | Socially intelligent agent software |
| US7944448B2 (en) * | 2005-06-14 | 2011-05-17 | Omron Corporation | Apparatus and method for socially intelligent virtual entity |
| US8090584B2 (en) * | 2005-06-16 | 2012-01-03 | Nuance Communications, Inc. | Modifying a grammar of a hierarchical multimodal menu in dependence upon speech command frequency |
| US7917365B2 (en) | 2005-06-16 | 2011-03-29 | Nuance Communications, Inc. | Synchronizing visual and speech events in a multimodal application |
| US20060288309A1 (en) * | 2005-06-16 | 2006-12-21 | Cross Charles W Jr | Displaying available menu choices in a multimodal browser |
| US8073700B2 (en) | 2005-09-12 | 2011-12-06 | Nuance Communications, Inc. | Retrieval and presentation of network service results for mobile device using a multimodal browser |
| US7848314B2 (en) * | 2006-05-10 | 2010-12-07 | Nuance Communications, Inc. | VOIP barge-in support for half-duplex DSR client on a full-duplex network |
| US9208785B2 (en) | 2006-05-10 | 2015-12-08 | Nuance Communications, Inc. | Synchronizing distributed speech recognition |
| US8332218B2 (en) * | 2006-06-13 | 2012-12-11 | Nuance Communications, Inc. | Context-based grammars for automated speech recognition |
| US7676371B2 (en) * | 2006-06-13 | 2010-03-09 | Nuance Communications, Inc. | Oral modification of an ASR lexicon of an ASR engine |
| US8145493B2 (en) | 2006-09-11 | 2012-03-27 | Nuance Communications, Inc. | Establishing a preferred mode of interaction between a user and a multimodal application |
| US8374874B2 (en) | 2006-09-11 | 2013-02-12 | Nuance Communications, Inc. | Establishing a multimodal personality for a multimodal application in dependence upon attributes of user interaction |
| US8073697B2 (en) | 2006-09-12 | 2011-12-06 | International Business Machines Corporation | Establishing a multimodal personality for a multimodal application |
| US8086463B2 (en) | 2006-09-12 | 2011-12-27 | Nuance Communications, Inc. | Dynamically generating a vocal help prompt in a multimodal application |
| US7957976B2 (en) | 2006-09-12 | 2011-06-07 | Nuance Communications, Inc. | Establishing a multimodal advertising personality for a sponsor of a multimodal application |
| US7827033B2 (en) * | 2006-12-06 | 2010-11-02 | Nuance Communications, Inc. | Enabling grammars in web page frames |
| US8612230B2 (en) | 2007-01-03 | 2013-12-17 | Nuance Communications, Inc. | Automatic speech recognition with a selection list |
| US8069047B2 (en) * | 2007-02-12 | 2011-11-29 | Nuance Communications, Inc. | Dynamically defining a VoiceXML grammar in an X+V page of a multimodal application |
| US8150698B2 (en) | 2007-02-26 | 2012-04-03 | Nuance Communications, Inc. | Invoking tapered prompts in a multimodal application |
| US7801728B2 (en) | 2007-02-26 | 2010-09-21 | Nuance Communications, Inc. | Document session replay for multimodal applications |
| US9208783B2 (en) * | 2007-02-27 | 2015-12-08 | Nuance Communications, Inc. | Altering behavior of a multimodal application based on location |
| US7822608B2 (en) * | 2007-02-27 | 2010-10-26 | Nuance Communications, Inc. | Disambiguating a speech recognition grammar in a multimodal application |
| US8938392B2 (en) * | 2007-02-27 | 2015-01-20 | Nuance Communications, Inc. | Configuring a speech engine for a multimodal application based on location |
| US7809575B2 (en) * | 2007-02-27 | 2010-10-05 | Nuance Communications, Inc. | Enabling global grammars for a particular multimodal application |
| US8713542B2 (en) * | 2007-02-27 | 2014-04-29 | Nuance Communications, Inc. | Pausing a VoiceXML dialog of a multimodal application |
| US20080208589A1 (en) * | 2007-02-27 | 2008-08-28 | Cross Charles W | Presenting Supplemental Content For Digital Media Using A Multimodal Application |
| US7840409B2 (en) * | 2007-02-27 | 2010-11-23 | Nuance Communications, Inc. | Ordering recognition results produced by an automatic speech recognition engine for a multimodal application |
| US20080208594A1 (en) * | 2007-02-27 | 2008-08-28 | Cross Charles W | Effecting Functions On A Multimodal Telephony Device |
| US8843376B2 (en) * | 2007-03-13 | 2014-09-23 | Nuance Communications, Inc. | Speech-enabled web content searching using a multimodal browser |
| US7945851B2 (en) | 2007-03-14 | 2011-05-17 | Nuance Communications, Inc. | Enabling dynamic voiceXML in an X+V page of a multimodal application |
| US8515757B2 (en) | 2007-03-20 | 2013-08-20 | Nuance Communications, Inc. | Indexing digitized speech with words represented in the digitized speech |
| US8670987B2 (en) * | 2007-03-20 | 2014-03-11 | Nuance Communications, Inc. | Automatic speech recognition with dynamic grammar rules |
| US8909532B2 (en) * | 2007-03-23 | 2014-12-09 | Nuance Communications, Inc. | Supporting multi-lingual user interaction with a multimodal application |
| US8788620B2 (en) | 2007-04-04 | 2014-07-22 | International Business Machines Corporation | Web service support for a multimodal client processing a multimodal application |
| US8862475B2 (en) * | 2007-04-12 | 2014-10-14 | Nuance Communications, Inc. | Speech-enabled content navigation and control of a distributed multimodal browser |
| US8725513B2 (en) * | 2007-04-12 | 2014-05-13 | Nuance Communications, Inc. | Providing expressive user interaction with a multimodal application |
| US8121837B2 (en) * | 2008-04-24 | 2012-02-21 | Nuance Communications, Inc. | Adjusting a speech engine for a mobile computing device based on background noise |
| US8082148B2 (en) | 2008-04-24 | 2011-12-20 | Nuance Communications, Inc. | Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise |
| US9349367B2 (en) * | 2008-04-24 | 2016-05-24 | Nuance Communications, Inc. | Records disambiguation in a multimodal application operating on a multimodal device |
| US8229081B2 (en) * | 2008-04-24 | 2012-07-24 | International Business Machines Corporation | Dynamically publishing directory information for a plurality of interactive voice response systems |
| US8214242B2 (en) * | 2008-04-24 | 2012-07-03 | International Business Machines Corporation | Signaling correspondence between a meeting agenda and a meeting discussion |
| US8150695B1 (en) | 2009-06-18 | 2012-04-03 | Amazon Technologies, Inc. | Presentation of written works based on character identities and attributes |
| TWI413938B (zh) * | 2009-12-02 | 2013-11-01 | Phison Electronics Corp | 情感引擎、情感引擎系統及電子裝置的控制方法 |
| US8887044B1 (en) | 2012-06-27 | 2014-11-11 | Amazon Technologies, Inc. | Visually distinguishing portions of content |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60247697A (ja) * | 1984-05-24 | 1985-12-07 | 株式会社東芝 | 音声対話装置 |
| JPH01316797A (ja) * | 1988-06-17 | 1989-12-21 | Nec Corp | 音声応答制御方法 |
| JPH0527790A (ja) * | 1991-07-18 | 1993-02-05 | Oki Electric Ind Co Ltd | 音声入出力装置 |
| JPH07104778A (ja) * | 1993-10-07 | 1995-04-21 | Fuji Xerox Co Ltd | 感情表出装置 |
| JPH08234789A (ja) * | 1995-02-27 | 1996-09-13 | Sharp Corp | 統合認識対話装置 |
| JPH1020884A (ja) * | 1996-07-04 | 1998-01-23 | Nec Corp | 音声対話装置 |
| JPH10111786A (ja) * | 1996-10-03 | 1998-04-28 | Sharp Corp | リズム制御対話装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69232407T2 (de) * | 1991-11-18 | 2002-09-12 | Kabushiki Kaisha Toshiba, Kawasaki | Sprach-Dialog-System zur Erleichterung von Rechner-Mensch-Wechselwirkung |
| JPH0612401A (ja) | 1992-06-26 | 1994-01-21 | Fuji Xerox Co Ltd | 感情模擬装置 |
| US5918222A (en) * | 1995-03-17 | 1999-06-29 | Kabushiki Kaisha Toshiba | Information disclosing apparatus and multi-modal information input/output system |
| JP3363283B2 (ja) * | 1995-03-23 | 2003-01-08 | 株式会社日立製作所 | 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 |
| JPH10289006A (ja) * | 1997-04-11 | 1998-10-27 | Yamaha Motor Co Ltd | 疑似感情を用いた制御対象の制御方法 |
| US6012030A (en) * | 1998-04-21 | 2000-01-04 | Nortel Networks Corporation | Management of speech and audio prompts in multimodal interfaces |
| US6018711A (en) * | 1998-04-21 | 2000-01-25 | Nortel Networks Corporation | Communication system user interface with animated representation of time remaining for input to recognizer |
| US6144938A (en) * | 1998-05-01 | 2000-11-07 | Sun Microsystems, Inc. | Voice user interface with personality |
| AU6225199A (en) * | 1998-10-05 | 2000-04-26 | Scansoft, Inc. | Speech controlled computer user interface |
| US6275806B1 (en) * | 1999-08-31 | 2001-08-14 | Andersen Consulting, Llp | System method and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters |
-
1999
- 1999-06-04 JP JP15817299A patent/JP3514372B2/ja not_active Expired - Fee Related
-
2000
- 2000-06-02 US US09/585,288 patent/US6513011B1/en not_active Expired - Lifetime
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60247697A (ja) * | 1984-05-24 | 1985-12-07 | 株式会社東芝 | 音声対話装置 |
| JPH01316797A (ja) * | 1988-06-17 | 1989-12-21 | Nec Corp | 音声応答制御方法 |
| JPH0527790A (ja) * | 1991-07-18 | 1993-02-05 | Oki Electric Ind Co Ltd | 音声入出力装置 |
| JPH07104778A (ja) * | 1993-10-07 | 1995-04-21 | Fuji Xerox Co Ltd | 感情表出装置 |
| JPH08234789A (ja) * | 1995-02-27 | 1996-09-13 | Sharp Corp | 統合認識対話装置 |
| JPH1020884A (ja) * | 1996-07-04 | 1998-01-23 | Nec Corp | 音声対話装置 |
| JPH10111786A (ja) * | 1996-10-03 | 1998-04-28 | Sharp Corp | リズム制御対話装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005076258A1 (ja) * | 2004-02-03 | 2007-10-18 | 松下電器産業株式会社 | ユーザ適応型装置およびその制御方法 |
| US7684977B2 (en) | 2004-02-03 | 2010-03-23 | Panasonic Corporation | User adaptive system and control method thereof |
| JP2018151661A (ja) * | 2018-05-21 | 2018-09-27 | ヤマハ株式会社 | 音声制御装置、音声制御方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6513011B1 (en) | 2003-01-28 |
| JP3514372B2 (ja) | 2004-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3514372B2 (ja) | マルチモーダル対話装置 | |
| CN114207710A (zh) | 检测和/或登记热命令以由自动助理触发响应动作 | |
| US20040023195A1 (en) | Method for learning language through a role-playing game | |
| Kühnel | Quantifying quality aspects of multimodal interactive systems | |
| JP5851051B2 (ja) | 情報処理装置、サーバ装置、対話システムおよびプログラム | |
| JP3894767B2 (ja) | 対話装置 | |
| JP7849003B2 (ja) | 分身による活動を可能とするシステムにおける映像揺れ補正の制御方法 | |
| JP2026050908A (ja) | システム | |
| CN121882265A (zh) | 一种信息处理方法和电子设备 | |
| JP2026030628A (ja) | システム | |
| JP2026038931A (ja) | システム | |
| JP2026025604A (ja) | システム | |
| JP2026028927A (ja) | システム | |
| JP2026018403A (ja) | システム | |
| JP2025051511A (ja) | システム | |
| JP2026014967A (ja) | システム | |
| JP2026026983A (ja) | システム | |
| JP2026028089A (ja) | システム | |
| JP2026033046A (ja) | システム | |
| JP2026030453A (ja) | システム | |
| JP2026038616A (ja) | システム | |
| JP2026033617A (ja) | システム | |
| JP2026033863A (ja) | システム | |
| JP2026024967A (ja) | システム | |
| JP2026032882A (ja) | システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20031226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080123 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090123 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100123 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110123 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110123 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |