JPH11249773A - マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法 - Google Patents

Abstract

(57)【要約】 【課題】非言語メッセージを利用してインタフェース動
作を制御することにより、利用者との自然なインタラク
ションの実現を図る 【解決手段】利用者の視線あるいは呼吸状態などといっ
た非言語メッセージを観察し、その結果に応じて対話を
管理する。具体的には、制御部１０３は、呼吸検出部１
０１で検出された利用者の呼吸状況情報に基づいて、音
声入力部１０２による音声入力の開始／継続／中断など
を制御する。これにより、特別な操作無しで、利用者と
の間でスムーズで効率の良い対話処理を実現できるよう
になり、新たに利用可能となった各入出力メディアある
いは、複数の入出力メディアを効率的に利用でき、高能
率で、効果的で、利用者の負担を軽減することが出来る
対話システムを実現できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、利用者と対話する
マルチモーダルインタフェース装置およびマルチモーダ
ルインタフェース方法に関する。

【０００２】

【従来の技術】近年、パーソナルコンピュータをはじめ
とする各種計算機システムにおいては、従来のキーボー
ドやマウスなどによる入力と、ディスプレイなどによる
文字や画像情報の出力に加えて、音声情報や画像情報な
どのマルチメディア情報を入出力することが可能になっ
て来ている。

【０００３】こういった状況に加え、自然言語解析や自
然言語生成、あるいは音声認識や音声合成技術あるいは
対話処理技術の進歩などによって、利用者と音声入出力
を用いて対話する音声対話システムへの要求が高まって
おり、自由発話による音声入力を利用可能な対話システ
ムである“ＴＯＳＢＵＲＧ−ＩＩ”（電気情報通信学会
論文誌、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ、Ｎｏ．８，ｐｐ１
４１７−１４２８，１９９４）など、様々な音声対話シ
ステムの開発がなされている。

【０００４】また、さらに、こう言った音声入出力に加
え、例えばカメラを使った視覚情報入力を利用したり、
あるいは、タッチパネル、ペン、タブレット、データグ
ローブ、フットスイッチ、対人センサ、ヘッドマウンド
ディスプレイ、フォースディスプレイ（提力装置）な
ど、様々な入出力デバイスを通じて利用者と授受できる
情報を利用して、利用者とインタラクションを行なうマ
ルチモーダル対話システムへの要求が高まっている。

【０００５】このマルチモーダルインタフェースは、人
間同士の対話においても、例えば音声など一つのメディ
ア（チャネル）のみを用いてコミュニケーションを行な
っている訳ではなく、身振りや手ぶりあるいは表情とい
った様々なメディアを通じて授受される非言語メッセー
ジを駆使して対話することによって、自然で円滑なイン
タラクションを行っている（“Ｉｎｔｅｌｌｉｇｅｎｔ
Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅｓ”，Ｍ
ａｙｂｕｒｙ Ｍ．Ｔ，Ｅｄｓ．，Ｔｈｅ ＡＡＡＩ
Ｐｒｅｓｓ／Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ，１９９３）
ことから考えても、自然で使いやすいヒューマンインタ
フェースを実現するための一つの有力な方法として期待
が高まっている。

【０００６】従来、たとえば利用者から音声入力がなさ
れた場合には、入力された音声波形信号を例えばアナロ
グ／デジタル変換し、単位時間当たりのパワー計算を行
なうことなどによって、音声区間を検出し、例えばＦＦ
Ｔ（高速フーリエ変換）などの方法によって分析し、例
えば、ＨＭＭ（隠れマルコフモデル）などの方法を用い
て、あらかじめ用意した標準パターンである音声認識辞
書と照合処理を行なうことなどによって、発声内容を推
定し、その結果に応じた処理を行なう。

【０００７】あるいは、例えばタッチセンサなどの接触
式の入力装置を通じて、利用者からの指し示しジェスチ
ャの入力がなされた場合には、タッチセンサの出力情報
である、座標情報、あるいはその時系列情報、あるいは
入力圧力情報、あるいは入力時間間隔などを用いて、指
し示し先を同定する処理を行なう。

【０００８】あるいは、例えば、“Ｕｎｃａｌｉｂｒａ
ｔｅｄ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ ｗｉｔｈ Ｐｏ
ｉｎｔｉｎｇ ｆｏｒ ａ Ｍａｎ−Ｍａｃｈｉｎｅ
Ｉｎｔｅｒｆａｃｅ”（Ｒ．Ｃｉｐｏｌｌａ， ｅｔ．
ａｌ．， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＭＶＡ’９
４， ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉ
ｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎ， ｐ
ｐ．１６３−１６６，１９９４．）などに示された方法
を用いて、単数あるいは複数のカメラを用いて、利用者
の手などを撮影し、観察された、形状、あるいは動作な
どを解析することによって、利用者の指し示した、実世
界中の指示対象、あるいは表示画面上の指示対象などを
入力することが出来るようにしている。

【０００９】また、同様に、例えば赤外線などを用いた
距離センサなどを用いて、利用者の手の、位置、形、あ
るいは動きなどを認識することで、利用者の指し示し
た、実世界中の指示対象、あるいは表示画面上の指示対
象などへの指し示しジェスチャを入力することが出来る
ようにしている。

【００１０】あるいは、利用者の手に、例えば磁気セン
サや加速度センサなどを装着することによって、手の空
間的位置や、動き、あるいは形状を入力したり、仮想現
実（ＶＲ＝Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術のた
めに開発された、データグローブやデータスーツを利用
者が装着することで、利用者の手や体の、動き、位置、
あるいは形状を解析することなどによって、利用者の指
し示した、実世界中の指示対象、あるいは表示画面上の
指示対象などを入力することが出来るようにしている。

【００１１】ところで、利用者からの入力に対応して利
用者への適切な出力を行なったり、あるいは利用者から
の入力と利用者への出力のタイミングを適切に制御した
り、あるいは、利用者からの入力の認識に失敗したりあ
るいは利用者への情報の出力に失敗をした場合など、利
用者との間のコミュニケーションに関する何らかの障害
が発生した場合などには、その障害の発生を検知し、か
つその障害を解決するための、例えば確認のための情報
の再提示や、あるいは利用者への問い返し質問対話や、
あるいは対話の論議の流れを適切に管理するための対話
管理処理が必要となる。

【００１２】従来、こういった対話管理処理には、あら
かじめ用意した対話の流れであるスクリプトを利用した
方法や、あるいは例えば質問／回答、挨拶／挨拶といっ
た互いに対となる発話の組である発話対や発話交換構造
といった情報を利用した方法や、あるいは、対話の流れ
全体を対話の参加者の各個人の計画（プラン）あるいは
参加者間の共同の計画（プラン）として形式化し記述、
生成あるいは認識するプランニングによる方法などが用
いられている。

【００１３】

【発明が解決しようとする課題】しかし、従来、それぞ
れのメディアからの入力の解析精度の低さや、それぞれ
の入出力メディアの性質が明らかとなっていないため、
新たに利用可能となった各入出力メディアあるいは、複
数の入出力メディアを効率的に利用し、高能率で、効果
的で、利用者の負担を軽減する、マルチモーダルインタ
フェースは実現されていないという問題がある。具体的
には、次の通りである。

【００１４】つまり、各メディアからの入力の解析精度
が不十分であるため、たとえば、音声入力における周囲
雑音などに起因する誤認識の発生や、あるいはジェスチ
ャ入力の認識処理において、入力デバイスから刻々得ら
れる信号のなかから、利用者が入力メッセージとして意
図した信号部分の切りだしに失敗することなどによっ
て、誤動作が起こり、利用者への負担となっているとい
う問題がある。

【００１５】また、音声入力やジェスチャ入力など、利
用者が現在の操作対象である計算機などへの入力として
用いるだけでなく、例えば周囲の他の人間へ話しかけた
りする場合にも利用されるメディアを用いたインタフェ
ース装置では、利用者が、インタフェース装置ではな
く、たとえば自分の横にいる他人に対して話しかけた
り、ジェスチャを示したりした場合にも、インタフェー
ス装置が自分への入力であると誤って判断をして、認識
処理などを行なって、誤動作を起こり、その誤動作の取
消や、誤動作の影響の復旧や、誤動作を避けるために利
用者が絶えず注意を払わなくてはいけなくなるなどの負
荷を含め、利用者への負担となっているという問題があ
る。

【００１６】また、本来不要な場面においても、入力信
号の処理が継続的にして行われるため、その処理負荷に
よって、利用している装置に関与する他のサービスの実
行速度や利用効率が低下するという問題がある。

【００１７】また、この問題を解決するために、音声や
ジェスチャなどの入力を行なう際に、たとえば、ボタン
を押したり、メニュー選択などによって、特別な操作に
よってモードを変更するなどという方法が用いられてい
るが、このような特別な操作は、人間同士の会話では不
要な操作であるために不自然なインタフェースとなるだ
けでなく、利用者にとって繁雑であったり、操作の種類
によっては、習得のための訓練が必要となったりするこ
とによって、利用者の負担を増加するという問題があ
る。

【００１８】また、例えば、音声入力の可否をボタン操
作によって切替える場合などでは、音声メディアによる
入力は、本来、口だけを使ってコミュニケーションが出
来るため、例えば手で行っている作業を妨害することが
なく、双方を同時に利用することが可能であると言う、
音声メディア本来の利点を活かすことが出来ないという
問題がある。

【００１９】また、従来、指し示しジェスチャの入力に
於いて、例えばタッチセンサを用いて実現されたインタ
フェース方法では、離れた位置からや、機器に接触せず
に、指し示しジェスチャを行なうことが出来ないという
問題がある。

【００２０】さらに、例えばデータグローブや、磁気セ
ンサや、加速度センサなどを利用者が装着することで実
現されたインタフェース方法では、機器を装着しなけれ
ば利用できないという問題点がある。

【００２１】一方、カメラなどを用いて、利用者の手な
どの形状、位置、あるいは動きを検出することで実現さ
れているインタフェース方法では、十分な精度が得られ
ないために、利用者が入力を意図したジェスチャだけ
を、適切に抽出することが困難であり、結果として、利
用者がジェスチャとしての入力を意図していない手の動
きや、形やなどを、誤ってジェスチャ入力であると誤認
識してしまったり、あるいは利用者が入力を意図したジ
ェスチャを、ジェスチャ入力であると正しく抽出するこ
とが出来ない場合が多発し、結果として、例えば誤認識
のために引き起こされる誤動作の影響の訂正が必要にな
ったり、あるいは利用者が入力を意図して行なったジェ
スチャ入力が実際にはシステムに正しく入力されず、利
用者が再度入力を行なう必要が生じ、利用者の負担を増
加させてしまうという問題がある。

【００２２】また、従来のマルチモーダルインタフェー
スでは、人間同士のコミュニケーションにおいては重要
な役割を演じていると言われる、視線一致（アイコンタ
クト）、注視位置、身振り、手振りなどのジェスチャ、
顔表情など非言語メッセージを、効果的に利用すること
が出来ないという問題がある。

【００２３】また、利用者からの入力に対応して利用者
への適切な出力を行なったり、あるいは利用者からの入
力と利用者への出力のタイミングを適切に制御するため
には、利用者の発話が開始されるタイミングや、あるい
は利用者の発話が終了するタイミングなどを、事前に予
測する必要があるが、スクリプトを利用した方法や、あ
るいは発話対や発話交換構造といった情報を利用した方
法や、プランニングによる方法などを用いた従来の対話
管理処理だけではそれを行なうことが困難であるという
問題がある。

【００２４】また、利用者からの入力の認識に失敗した
り、あるいは利用者への情報の出力に失敗をした場合な
ど、利用者との間のコミュニケーションに関する何らか
の障害が発生した場合などには、その障害の発生を検知
する必要があるが、スクリプトを利用した方法や、ある
いは発話対や発話交換構造といった情報を利用した方法
や、プランニングによる方法などを用いた従来の対話管
理処理だけではそれを行なうことが困難であるという問
題がある。

【００２５】また、検知した障害を解決するための、例
えば確認のための情報の再提示や、あるいは利用者への
問い返し質問対話や、あるいは対話の論議の流れを適切
に管理するための対話管理処理が必要であるが、スクリ
プトを利用した方法や、あるいは発話対や発話交換構造
といった情報を利用した方法や、プランニングによる方
法などを用いた従来の対話管理処理だけではそれを行な
うことが困難であるという問題がある。

【００２６】本発明はこのような事情を考慮してなされ
たもので、非言語メッセージを用いて利用者との対話の
ためのインタフェース動作を制御できるようにすること
により、新たに利用可能となった各入出力メディアある
いは、複数の入出力メディアを効率的に利用し、高能率
で、効果的で、利用者の負担を軽減することが出来るマ
ルチモーダルインタフェース装置およびマルチモーダル
インタフェース方法を提供することを目的とする。

【００２７】また、本発明の具体的な目的の一つは、各
メディアからの入力の解析精度が不十分さに起因する誤
認識や、利用者が入力メッセージとして意図した信号部
分の切りだしの失敗に起因する誤動作を起こさず、利用
者への余分な負担を生じないマルチモーダルインタフェ
ース装置およびマルチモーダルインタフェース方法を提
供することである。

【００２８】また、他の具体的な目的は、音声入力やジ
ェスチャ入力など、利用者が現在の操作対象である計算
機などへの入力として用いるだけでなく、例えば周囲の
他の人間へ話しかけたりする場合にも利用されるメディ
アを用いたインタフェース装置では、利用者が、インタ
フェース装置ではなく、たとえば自分の横にいる他人に
対して話しかけたり、ジェスチャを示したりした場合
に、インタフェース装置が自分への入力であると誤って
判断することがないマルチモーダルインタフェース装置
およびマルチモーダルインタフェース方法を提供するこ
とである。

【００２９】また、別の具体的な目的は、上述のような
計算機への入力を利用者が意図していないメッセージを
誤って自己への入力であると誤認識したことによる誤動
作や、その影響の復旧や、誤動作を避けるために利用者
が絶えず注意を払わなくてはいけなくなるなどの負荷を
含めた利用者への負担を生じないマルチモーダルインタ
フェース装置およびマルチモーダルインタフェース方法
を提供することである。

【００３０】また、さらにもう一つの具体的な目的は、
本来不要な場面においても、入力信号の処理が継続的に
して行われるため、その処理負荷によって、利用してい
る装置に関与する他のサービスの実行速度や利用効率が
低下してしまうことのないマルチモーダルインタフェー
ス装置およびマルチモーダルインタフェース方法を提供
することである。

【００３１】また、さらにもう一つの具体的な目的は、
音声やジェスチャなどの入力を行なう際に、たとえば、
ボタンを押したり、メニュー選択などといった特別な操
作によるモード変更が必要なく、自然で、利用者にとっ
て繁雑でなく、習得のための訓練が不要であり、利用者
の負担を増加しないマルチモーダルインタフェース装置
およびマルチモーダルインタフェース方法を提供するこ
とである。

【００３２】また、さらにもう一つの具体的な目的は、
例えば、口だけを使ってコミュニケーションが出来、例
えば手で行なっている作業を妨害することがなく、双方
を同時に利用することが可能であると言う、音声メディ
ア本来の利点を活かすことが出来るマルチモーダルイン
タフェース装置およびマルチモーダルインタフェース方
法を提供することである。

【００３３】また、さらにもう一つの具体的な目的は、
離れた位置からや、機器に接触せずに、ジェスチャの入
力を行なう際に、利用者が入力を意図したジェスチャだ
けを、適切に抽出できるマルチモーダルインタフェース
装置およびマルチモーダルインタフェース方法を提供す
ることである。

【００３４】また、さらにもう一つの具体的な目的は、
人間同士のコミュニケーションにおいては重要な役割を
演じていると言われる、視線一致（アイコンタクト）、
注視位置、身振り、手振りなどのジェスチャ、顔表情な
ど非言語メッセージを、効果的に利用することが出来る
マルチモーダルインタフェース装置およびマルチモーダ
ルインタフェース方法を提供することである。

【００３５】また、さらにもう一つの具体的な目的は、
利用者からの入力に対応して利用者への適切な出力を行
なったり、あるいは利用者からの入力と利用者への出力
のタイミングを適切に制御するために、利用者の発話が
開始されるタイミングや、あるいは利用者の発話が終了
するタイミングなどを、事前に予測することの出来るマ
ルチモーダルインタフェース装置およびマルチモーダル
インタフェース方法を提供することである。

【００３６】また、さらにもう一つの具体的な目的は、
利用者からの入力の認識に失敗したり、あるいは利用者
への情報の出力に失敗をした場合など、利用者との間の
コミュニケーションに関する何らかの障害が発生した場
合などには、その障害の発生を適切に検知することの出
来るマルチモーダルインタフェース装置およびマルチモ
ーダルインタフェース方法を提供することである。

【００３７】また、さらにもう一つの具体的な目的は、
検知した障害を解決するための、例えば確認のための情
報の再提示や、あるいは利用者への問い返し質問対話
や、あるいは対話の論議の流れの適切な管理を行なうこ
との出来るマルチモーダルインタフェース装置およびマ
ルチモーダルインタフェース方法を提供することであ
る。

【００３８】

【課題を解決するための手段】本発明は、利用者からの
情報の入力を受けつける入力手段、および利用者への情
報の出力を行なう出力手段、および利用者との対話を管
理する対話管理手段の内、少なくとも一つを利用者イン
タフェースとして有するマルチモーダルインタフェース
装置において、利用者の表情、発声、注視、ジェスチ
ャ、姿勢、あるいは身体動作の少なくとも一つからなる
非言語メッセージを認識し非言語メッセージ情報として
出力する非言語メッセージ認識手段と、前記非言語メッ
セージ情報に基づいて、前記利用者との間のインタフェ
ースのために行われる前記入力手段あるいは前記出力手
段あるいは前記対話管理手段の少なくとも一つの動作を
制御する制御手段とを具備したことを特徴とする。

【００３９】このマルチモーダルインタフェース装置に
おいては、人間同士のコミュニケーションとして重要な
利用者の表情、発声、注視、ジェスチャ、姿勢、あるい
は身体動作の少なくとも一つからなる非言語メッセージ
が認識され、その結果に応じて、例えば音声情報やジェ
スチャ情報などを用いて行われる利用者との間のインタ
フェース動作が制御される。具体的には、認識した非言
語メッセージに応じて、音声入力の開始／継続／中断の
制御、あるいは情報の再提示、あるいは確認のための対
話の起動、あるいはジェスチャ入力の認識候補の信憑性
の判断、あるいは対話タイミングを調整等が行われる。
これにより、特別な操作無しで、利用者との間でスムー
ズで効率の良い対話処理を実現できるようになり、新た
に利用可能となった各入出力メディアあるいは、複数の
入出力メディアを効率的に利用でき、高能率で、効果的
で、利用者の負担を軽減することが出来る対話システム
を実現できる。

【００４０】前記非言語メッセージ認識手段は、利用者
からの音声入力の取り込み、あるいは利用者の動作ある
いは表情の観察、あるいは利用者の目の動きの検出、あ
るいは利用者の頭部の動きの検知、あるいは利用者の手
や足など体の一部あるいは全体の動き若しくは姿勢の検
知、あるいは利用者の動作の取り込み、あるいは利用者
の接近、離脱、着席の検知の内、少なくとも一つの処理
によって、利用者の表情、発声、注視、ジェスチャ、姿
勢、あるいは身体動作の少なくとも一つからなる非言語
メッセージを認識するものである。これは、例えば、利
用者からの音声入力を取り込むマイク、あるいは利用者
の動作や表情などを観察するカメラ、あるいは利用者の
目の動きを検出するアイトラッカ、あるいは利用者の頭
部の動きを検知するヘッドトラッカ、あるいは利用者の
手や足など体の一部あるや全体の動きや姿勢を検知する
身体センサ、あるいは利用者が装着してその動作などを
取り込むデータグローブ、あるいはデータスーツ、ある
いは利用者の接近、離脱、着席などを検知する対人セン
サなどの内、少なくとも一つを用いて実現できる。

【００４１】また、本発明のマルチモーダルインタフェ
ース装置は、利用者の様子を撮影するカメラ等から得ら
れる画像情報への処理、あるいは利用者の身体に装着あ
るいは近接して設置したセンサ情報の処理など少なくと
も一つの方法を用いることにより、利用者の呼吸の状況
を観察し呼吸状況情報として出力する呼吸状況認識手段
と、入力手段の一つとして、利用者の発する音声の、取
り込み、あるいは録音、あるいは加工、あるいは分析、
あるいは認識の少なくとも一つの処理をなう入力音声処
理手段と、該呼吸状況情報に基づいて、該入力音声処理
手段を制御して、利用者からの音声入力信号の受け付け
可否制御、あるいは音声区間の推定処理、あるいは雑音
低減処理、あるいは音声信号変換処理の少なくとも一つ
の処理の動作を制御する制御手段とを具備したことを特
徴とするものである。

【００４２】このように利用者から認識した呼吸状況情
報に基づいて入力音声処理手段の動作を制御することに
より、音声入力の解析精度が不十分さに起因する誤認識
や、利用者が入力音声として意図した信号部分の切りだ
しの失敗に起因する誤動作を起こさず、利用者への余分
な負担を生じないマルチモーダルインタフェース装置を
提供すること等が可能となる。

【００４３】また、本発明のマルチモーダルインタフェ
ース装置は、利用者の様子を撮影するカメラ等から得ら
れる画像情報への処理、あるいは利用者の身体に装着あ
るいは近接して配置したセンサ情報の処理など少なくと
も一つの方法で、利用者の呼吸の状況を観察し呼吸状況
情報として出力する呼吸状況認識手段と、利用者の入力
と本装置からの出力のタイミングを管理する対話管理手
段と、該呼吸状況情報に基づいて、該対話管理手段を制
御して、利用者からの入力信号の受け付けタイミング、
および本装置からの利用者への出力信号の出力タイミン
グの少なくとも一つを調整する制御手段とを具備したこ
とを特徴とするものである。

【００４４】また、本発明のマルチモーダルインタフェ
ース装置は、カメラなどによって取り込んだ利用者の画
像情報を解析処理、あるいは利用者の頭部あるいは眼
部、あるいは身体に装着あるいは近接して設置したセン
サ情報の解析によって、利用者の利用者の視線方向を検
出し、注視対象情報として出力する視線検出手段と、カ
メラなどによって得られる利用者の画像情報の処理、あ
るいは赤外線等の遠隔センサ、装着センサなどによって
得られる信号の処理などによって、利用者の手など体の
部分あるいは体の全体の動作を解析し利用者からのジェ
スチャ入力を認識するジェスチャ認識手段と、該視線検
出情報に基づいて、ジェスチャ入力の受け付け可否、あ
るいはジェスチャ入力の検出あるいは認識に用いられる
パラメータ情報の調整などによって、該ジェスチャ認識
手段の動作を制御する制御手段とを具備したことを特徴
とするものである。

【００４５】このように利用者の視線を観測することに
よって得られる注視対象情報を用いてジェスチャ認識手
段の動作を制御することにより、ジェスチャ入力の解析
精度が不十分であることが原因で、たとえば、ジェスチ
ャ入力の認識処理において、入力デバイスから刻々得ら
れる信号のなかから、利用者が入力メッセージとして意
図した信号部分の切りだしに失敗するという問題を回避
することが出来、その結果、誤動作などによる利用者へ
の負担を起こさないインタフェースを実現することが可
能となる。また、利用者が現在の操作対象である計算機
などへの入力として用いるだけでなく、例えば周囲の他
の人間とのコミュニケーションを行なう場合にも利用さ
れるメディアを用いたインタフェース装置においては、
利用者がインタフェース装置ではなく、たとえば自分の
横にいる他人に対してジェスチャを示したりした場合に
も、インタフェース装置が自分への入力であると誤って
判断しないインタフェース装置を実現することができ
る。

【００４６】また、本発明のマルチモーダルインタフェ
ース装置は、カメラなどによって取り込んだ利用者の画
像情報を解析処理、あるいは利用者の頭部あるいは腹
部、あるいは身体に装着あるいは近接して設置したセン
サ情報の解析によって、利用者の利用者の視線方向を検
出し、注視対象情報として出力する視線検出手段と、画
像ディスプレイ、あるいはスピーカ、あるいは提力装置
（フォースディスプレイ）など少なくとも一つの機器を
通じて、音声情報あるいは画像情報あるいは力情報の少
なくとも一つを利用者への出力として提示する出力手段
と、該注視対象情報に基づいて、該出力手段の動作を制
御し、例えば、該出力手段から利用者の情報提示を行な
っている途中あるいは直後に、利用者が該出力手段を注
視した際に、該出力情報を再度出力するなどするよう出
力手段を制御する制御手段とを具備したことを特徴とす
るものである。

【００４７】また、本発明のマルチモーダルインタフェ
ース装置は、カメラなどによって取り込んだ利用者の画
像情報を解析処理、あるいは利用者の頭部あるいは腹
部、あるいは身体に装着あるいは近接して設置したセン
サ情報の解析によって、利用者の利用者の視線方向を検
出し、注視対象情報として出力する視線検出手段と、画
像ディスプレイ、あるいはスピーカ、あるいは提力装置
（フォースディスプレイ）など少なくとも一つの機器を
通じて、音声情報あるいは画像情報あるいは力情報の少
なくとも一つを利用者への出力として提示する出力手段
と、利用者との対話を管理し、該出力手段を通じた利用
者への伝達に失敗した情報の再提示、あるいは情報伝達
が達成されたかどうかを確認するための確認の対話など
の内、少なくとも一つを行なう対話管理手段と、該注視
対象情報に基づいて、例えば、該出力手段から利用者の
情報提示を行なっている途中あるいは直後に、利用者の
該出力手段を注視した際に、情報の再提示、あるいは情
報伝達が達成されたかどうかを確認するための確認対話
あるいは、利用者からの情報入力を行なう様、該対話管
理手段を制御する制御手段とを具備したことを特徴とす
るものである。

【００４８】また、本発明のマルチモーダルインタフェ
ース装置は、カメラなどによって取り込んだ利用者の画
像情報を解析処理、あるいは利用者の頭部あるいは眼
部、あるいは身体に装着あるいは近接して設置したセン
サ情報の解析によって、利用者の利用者の視線方向を検
出し、注視対象情報として出力する視線検出手段と、利
用者との対話を管理し、利用者からシステムへの入力の
タイミング、およびシステムから利用者への出力のタイ
ミングの少なくとも一方を管理する対話管理手段と、該
注視対象情報に応じて、該対話管理部を制御し、対話中
の利用者の注視対象が特定の方向あるいは領域に存在す
る場合には、制御パラメータを調整するなどして利用者
の入力あるいは利用者の出力の開始、あるいは中断、あ
るいは終了タイミングの少なくとも一つを調整する制御
手段とを具備したことを特徴とするものである。

【００４９】このように利用者を観測することによって
得られる注視対象情報を用いて対話管理部を制御するこ
とにより、利用者が情報入力の待ち受け時間を延長する
ために、例えばボタンを押すなどといった恣意的な操作
を行なうことが不要となり、自然で、利用者にとって繁
雑でなく、習得のための訓練が不要であり、利用者の負
担を増加しないマルチモーダルインタフェース装置を実
現できる。

【００５０】

【発明の実施の形態】（ｉ）第１の実施形態 以下、図面を参照して、本発明の第１実施形態に係るマ
ルチモーダルインタフェース装置およびマルチモーダル
インタフェース方法について説明する。

【００５１】図１は、本発明の第１実施形態に係るマル
チモーダルインタフェース装置の構成例であり、１０１
は呼吸検出部、１０２は音声入力部、１０３は制御部、
１０４はアプリケーションである。このマルチモーダル
インタフェース装置はコンピュータなどを用いて、音声
情報による利用者との対話を支援するためのシステムで
ある。

【００５２】図１に於いて、１０１は呼吸検出部を表し
ており、例えば、「ビジュアルセンシングによる呼吸監
視システムの関心領域（ＲＯＩ）の設定の自動化」（三
宅他、第１７回医療情報学連合大会予稿、１−Ｃ−１−
３、ｐｐ．１６８−１６９、１９９７）に示された方法
などの様に、例えばカメラから得られる利用者の画像か
ら、例えば利用者の胸部を観察し呼吸に付随する動作を
検出することなどによって、利用者の呼吸の状態を検知
し、呼吸状況情報として随時出力するようにしている。
また、利用者の身体に装着あるいは近接して配置したセ
ンサからの情報を処理することによって、利用者の呼吸
の状況を観察することもできる。

【００５３】図２は、呼吸検出部１０１が出力する呼吸
状況情報の例を表している。

【００５４】図２に於いて、ＩＤの欄は各呼吸状況情報
の識別記号を表しており、時間情報Ａは対応する呼吸の
状況が観察された時刻が記録されており、また状況情報
Ｂには観察された呼吸の状況を表す記号が記録されるよ
うにしている。

【００５５】各呼吸状況情報の状況情報Ｂの欄に於い
て、「定常呼吸（吸気）」および「定常呼吸（排気）」
は、利用者が定常状態で、それぞれ吸気および排気を行
なっていることが観察されたことを表している。

【００５６】また、「非定常呼吸（吸気）」および「非
定常呼吸（排気）」は、利用者が、例えば深呼吸や息継
ぎなど非定常状態で、それぞれ吸気および排気を行なっ
ていることが観察されたことを表している。

【００５７】また、図１に於いて、１０２は音声入力部
を表しており、例えばマイクなどによって利用者の発し
た音声信号を電気信号に変換するなどして本装置への入
力信号として取り込んだり、あるいはさらに例えばＡ／
Ｄ（アナログディジタル）変換を施すことによって本装
置で処理可能な表現への変換を行なったり、あるいはさ
らに、例えばＦＦＴ（高速フーリエ変換）などを用いて
分析処理や加工処理を行なったり、あるいはさらに例え
ば複合類似度法やＨＭＭ（隠れマルコフモデル）やＤＰ
（ダイナミックプログラミング）やニューラルネットワ
ークなどといった方法を用いてあらかじめ用意した標準
パターンと入力信号との間での照合処理を行なうことな
どによって認識処理を行なったりするようにしている。

【００５８】本音声入力部１０２による利用者の発する
音声の、取り込み、あるいは録音、あるいは加工、ある
いは分析、あるいは認識といった動作は制御部１０３に
よって制御されるようになっており、また音声入力部１
０２によって得られる音声入力の処理結果も制御部１０
３の制御に従って、アプリケーション１０４へと渡され
るようにしている。

【００５９】図１に於いて、１０３は制御部である。

【００６０】制御部１０３は、呼吸検出部１０１から逐
次得られる呼吸状況情報を参照し、音声入力部１０２お
よびアプリケーション１０４の内少なくとも一方を適宜
制御し、利用者からの音声入力信号の受け付け可否制
御、音声区間の推定処理、雑音低減処理、音声信号変換
処理などを制御する。

【００６１】なお、本制御部１０３の動作が、本装置の
効果の実現において本質的な役割を演ずるものであるた
めその詳細は後述することとする。

【００６２】図１に於いて、１０４はアプリケーション
であり、制御部１０３の制御に応じて音声入力部１０２
の出力を受けとり、例えばデータベースシステムでは、
入力された検索要求に対応する検索結果を出力したり、
あるいは音声録音システムでは、入力された音声信号を
適切に保存するなどといったサービスを行なうものであ
り、コンピュータのアプリケーションプログラムに相当
する。

【００６３】つづいて、制御部１０３について詳説す
る。

【００６４】制御部１０３は以下の処理手順Ａに従って
動作するようにしている。なお、図３は処理手順Ａの処
理内容を説明するフローチャートである。

【００６５】＜処理手順Ａ＞ Ａ１：音声入力部１０２を制御し、音声入力を「非受け
付け状態」とする。

【００６６】Ａ２：呼吸検出部１０１から得られる呼吸
状況情報の内容を常時監視し、「非定常呼吸（吸気）」
を検出した場合にはステップＡ３へ進み、そうでない場
合はステップＡ２に留まる。

【００６７】Ａ３：音声入力部１０２を制御し、音声入
力を受け付け状態とする。

【００６８】Ａ４：タイマＴの値を０とした上で、タイ
マＴを（再）スタートする。

【００６９】Ａ５：タイマＴに関して、あらかじめ定め
た時間ｔＡが経過していたら、ステップＡ１へ進み、そ
うでなければステップＡ６へ進む。

【００７０】Ａ６：現時点において、利用者からの音声
入力Ｉがなされていたら、ステップＡ８へ進み、そうで
なければステップＡ７へ進む。

【００７１】Ａ７：現時点に於いて、呼吸検出部１０１
から得られる呼吸状況情報により、「非定常呼吸（吸
気）」が検出されたら、ステップＡ４へ進み、そうでな
ければステップＡ５へ進む。

【００７２】Ａ８：音声入力Ｉに対する音声入力部１０
２の処理結果を、アプリケーション１０４へ渡し、ステ
ップＡ４へ進む。

【００７３】以上が本発明に係る第１実施形態の構成と
その機能である。

【００７４】ここで先ず上述した処理について、具体例
を用いて詳しく説明する。

【００７５】（１）まず、ステップＡ１の処理によっ
て、本装置の音声入力が非受け付け状態になる。

【００７６】（２）ここで、利用者の周囲で雑音が発生
したとする。

【００７７】（３）ここでは音声入力は非受け付け状態
にあるので、この雑音に起因する音声認識の誤認識は発
生しない。

【００７８】（４）つづいて、利用者が本装置への音声
入力を行なうために、発声のために大きく息を吸ったも
のとする。

【００７９】（５）この行動が、呼吸検出部１０１によ
って検知され、図２のｐ１０４のエントリに示した通り
の呼吸状況情報が出力される。

【００８０】（６）さらに、ステップＡ２〜Ａ４の処理
によって、音声入力が受け付け状態に変更され、タイマ
Ｔがスタートされる。

【００８１】（７）ここで利用者が音声入力を行なった
とする。

【００８２】（８）ここまでの処理によって音声入力は
受け付け状態であるため、利用者の音声入力が受け付け
られ、ステップＡ８によって、その処理結果がアプリケ
ーション１０４へと送られ、所望のサービスが利用者に
提供される。

【００８３】以上の処理によって、利用者は明示的ある
いは恣意的な操作をすることなく自然に音声入力を行な
うことが可能となり、また周囲雑音による誤動作の発生
も解消することが出来ている。

【００８４】（９）その後、ステップＡ４の処理によっ
てタイマＴがリスタートされる。

【００８５】（１０ａ）もしこの段階で利用者が行なう
べき音声入力がない場合には、利用者は、黙っているこ
ととなり、タイマＴがｔＡを経過した段階でステップＡ
５の処理によって、ステップＡ１へ進み、音声入力が非
受け付け状態に戻る。

【００８６】（１０ｂ）あるいは、もしこの利用者が次
に行なうべき音声入力があり、次の音声入力を行なった
場合には、ステップＡ６の処理によって、再度音声が受
け付けられ、ステップＡ８によって、その処理結果がア
プリケーション１０４へと送られ、所望のサービスが利
用者に提供されたのち、ステップＡ４へ進み、タイマＴ
がリスタートされ、利用者からの音声入力の待ち受け時
間が延長される。

【００８７】（１０ｃ）あるいは、もしこの利用者が次
に行なうべき音声入力があるが、まだ発声を行わず、発
声準備のために息継ぎを行なった場合には、ステップＡ
７の処理によって、ステップＡ４へ進み、タイマＴがリ
スタートされ、利用者からの音声入力の待ち受け時間が
延長される。

【００８８】（１１）以上の音声入力処理あるいは音声
入力の待ち受け時間の延長処理は、利用者の行動に応じ
て任意回必要なだけ繰り返されたのち、ステップＡ５の
分岐によって、ステップＡ１に進み、初期状態に戻る。

【００８９】かくしてこのように構成された本装置の第
１の実施形態によれば、音声入力の解析精度が不十分さ
に起因する誤認識や、利用者が入力音声として意図した
信号部分の切りだしの失敗に起因する誤動作を起こさ
ず、利用者への余分な負担を生じないマルチモーダルイ
ンタフェース装置およびマルチモーダルインタフェース
方式を提供することが可能となる。

【００９０】また、本来不要な場面での、入力音声信号
の処理負荷を軽減し、利用している装置に関与する他の
サービスの実行速度や利用効率が低下しない、マルチモ
ーダルインタフェース装置およびマルチモーダルインタ
フェース方式を提供することが出来る。

【００９１】また、音声入力を行なう際に、たとえば、
ボタンを押したり、メニュー選択などといった特別な操
作によるモード変更が必要なく、自然で、利用者にとっ
て繁雑でなく、習得のための訓練が不要であり、利用者
の負担を増加しないマルチモーダルインタフェース装置
およびマルチモーダルインタフェース方式を提供するこ
とが出来る。

【００９２】また、例えば、口だけを使ってコミュニケ
ーションが出来、例えば手で行なっている作業を妨害す
ることがなく、双方を同時に利用することが可能である
と言う、音声メディア本来の利点を活かすことが出来る
マルチモーダルインタフェース装置およびマルチモーダ
ルインタフェース方式を提供することが出来る。

【００９３】また、人間同士のコミュニケーションにお
いては重要な役割を演じていると言われる、非言語メッ
セージを、効率的に利用することが出来るマルチモーダ
ルインタフェース装置およびマルチモーダルインタフェ
ース方式を提供することが出来るなど、多大な効果が奏
せられる。

【００９４】（ｉｉ）第２の実施形態 続いて、図面を参照して本発明の第２実施形態に係るマ
ルチモーダルインタフェース装置およびマルチモーダル
インタフェース方法について説明する。

【００９５】図４は、本発明の第２実施形態に係るマル
チモーダルインタフェース装置の構成例を表しており、
注視対象検出部２０１、ジェスチャ認識部２０２、制御
部２０３、およびアプリケーションプログラム２０４か
ら構成されている。

【００９６】図４に於いて、２０１は注視対象検出部を
表しており、例えば、特願平０９−６２６８１号の「オ
ブジェクト操作装置およびオブジェクト操作方法」と同
様の方法によって、例えば利用者の姿を観察した画像情
報の解析などによって、利用者が注視している対象を検
出し、注視対象情報として随時出力するようにしてい
る。

【００９７】図５は、注視対象検出部２０１の出力する
注視対象情報の例を表している。

【００９８】図５の各エントリに於いて、ＩＤの欄に
は、各注視対象情報の識別信号が記録されており、時間
情報Ａの欄には対応する注視が検出された時刻に関する
情報が記録されるようにしている。

【００９９】また、対象情報Ｂの欄には、対応する注視
の対象となった物体あるいは領域を表す記号が記録され
るようにしている。

【０１００】（なお、図５のエントリｑ２５１およびｑ
２５２の対象情報Ｂの欄に記載された記号「マインズア
イ」については後述する。） 図４に於いて、２０２はジェスチャ認識部を表してお
り、これは、単数または複数のカメラなどによって得ら
れる利用者の画像情報の処理、あるいは赤外線センサな
どの遠隔センサ、装着センサなどによって得られる信号
の処理などによって、利用者の手など体の部分あるいは
体の全体の動作を解析し利用者からのジェスチャ入力を
認識するものであり、ジェスチャ入力の解析、認識は、
例えば、“Ｕｎｃａｌｉｂｒａｔｅｄ Ｓｔｅｒｅｏ
Ｖｉｓｉｏｎ ｗｉｔｈ Ｐｏｉｎｔｉｎｇ ｆｏｒ
ａ Ｍａｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ”
（Ｒ．Ｃｉｐｏｌｌａ， ｅｔ．ａｌ．， Ｐｒｏｃｅ
ｅｄｉｎｇｓ ｏｆ ＭＶＡ’９４， ＩＡＰＲ Ｗｏ
ｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ ＶｉｓｉｏｎＡ
ｐｐｌｉｃａｔｉｏｎ， ｐｐ．１６３−１６６， １
９９４．）などに示された方法を用いることができる。

【０１０１】図６は、ジェスチャ認識部２０２が出力す
るジェスチャ認識情報の例を表している。図６の各エン
トリに於いて、ＩＤは各ジェスチャ認識情報の識別記号
を表しており、開始時間情報Ａおよび終了時間情報Ｂの
欄は、それぞれ対応するジェスチャの開始および終了時
刻が記録されるようにしている。

【０１０２】また、ジェスチャ種別情報Ｃの欄にはジェ
スチャ認識部２０２における処理によって得られたジェ
スチャの種別が記号で記録されるようにしている。

【０１０３】図４に於いて、２０３は制御部を表してお
り、注視対象検出部２０１、およびジェスチャ認識部２
０２、およびアプリケーション２０４を制御する。この
制御部２０３が、視線検出情報に基づいて、ジェスチャ
入力の受け付け可否、あるいはジェスチャ入力の検出あ
るいは認識に用いられるパラメータ情報の調整などの制
御を行うことにより、本装置の効果が実現される。

【０１０４】なお、本制御部２０３は、本装置の効果を
実現する上で重要な役割を担うものであるため、その動
作の詳細については後述することとする。

【０１０５】図４に於いて、２０４はアプリケーション
を表しており、本部品の役割は、前述第１実施形態にお
けるアプリケーション１０４と同様である。

【０１０６】続いて制御部２０３について説明する。

【０１０７】図７は、制御部２０３の内部構成の例を表
しており、制御部２０３が、制御処理部２０３ａ、およ
び注視解釈規則記憶部２０３ｂ、および注視状況記録部
２０３ｃから構成されていることを示している。

【０１０８】図８は注視解釈規則記憶部２０３ｂの内容
の例を表しており、注視解釈規則の各エントリが、Ｉ
Ｄ、および注視対象情報Ａ、および可能ジェスチャ種別
リスト情報Ｂなどと分類され記録される様にしている。

【０１０９】注視解釈規則記憶部２０３ｂの各エントリ
において、ＩＤの欄は対応する規則の識別記号が記録さ
れる。

【０１１０】また、注視対象情報Ａの欄には解釈すべき
注視対象情報の注視対象の種類が記録されており、ま
た、可能ジェスチャ種別リスト情報Ｂの欄には、注視対
象情報Ａの欄に記録されてた注視対象を注視している状
態で、提示されうるジェスチャの種別のリストが記録さ
れるようにしている。

【０１１１】図９は注視状況記憶部２０３ｃの内容の例
を表しており、注視状況記憶部２０３ｃの各エントリ
が、ＩＤおよび、時間情報Ａ、および種別リスト情報Ｂ
などと分類され記録される様にしている。

【０１１２】注視状況記憶部２０３ｃの各エントリに於
いて、ＩＤは対応する注視状況情報の識別記号である。

【０１１３】また、時間情報Ａの欄には対応する注視情
報の表す注視が行なわれた時間が記録されるようにして
おり、また種別リスト情報Ｂの欄には、対応する注視が
行なわれたことによって規定されるその時点で可能なジ
ェスチャの種別のリストが記録されるようにしている。

【０１１４】以上が本発明の第２実施形態に係るマルチ
モーダルインタフェース装置の構成の説明である。

【０１１５】つづいて、制御部２０３の動作について説
明する。

【０１１６】制御部２０３は、並列あるいは交互に動作
する以下の処理手順Ｂおよび処理手順Ｃに従って動作す
る。

【０１１７】なお、図１０は処理手順Ｂを説明するフロ
ーチャートであり、図１１は処理手順Ｃを説明するフロ
ーチャートである。

【０１１８】＜処理手順Ｂ＞ Ｂ１：注視対象検出部２０１から、注視対象情報Ｅｉを
受け取ったら、ステップＢ２へ進み、そうでない場合に
はステップＢ１へ進む。

【０１１９】Ｂ２：注視解釈規則記憶部２０３ｂを参照
し、注視対象情報Ｅｉの対象情報Ｂと同一の内容を、注
視対象情報ＡにもつエントリＳｉを探す。

【０１２０】Ｂ３：注視状況情報記憶部２０３ｃに新た
なエントリＵｉを作成し、エントリＵｉの時間情報Ａの
欄に、注視対象情報Ｅｉの時間情報Ａの内容を複写し、
かつエントリＵｉの種別リスト情報Ｂの欄に、ステップ
Ｂ２で検索した注視解釈規則記憶部２０３ｂのエントリ
Ｓｉの可能ジェスチャ種別リスト情報Ｂの内容を複写す
る。

【０１２１】Ｂ４：ステップＢ１へ進む。

【０１２２】＜処理手順Ｃ＞ Ｃ１：ジェスチャ認識部２０２から、ジェスチャ認識情
報Ｇｊを受け取ったら、ステップＣ２へ進み、そうでな
ければステップＣ１へ進む。

【０１２３】Ｃ２：ジェスチャ認識情報Ｇｊを参照し、
その開始時間情報Ａの内容Ｔｊｓと、終了時間情報Ｔｊ
ｅを得る。

【０１２４】Ｃ３：注視解釈状況記憶部２０３ｃの内容
を参照し、時間情報Ａの値が、Ｔｊｓ以降で、かつＴｊ
ｅ以前の値である、注視解釈状況情報２０２ｃのエント
リの集合Ｓｕを得る。

【０１２５】Ｃ４：集合Ｓｕが空集合なら、Ｃ７へ進
む。

【０１２６】Ｃ５：エントリの集合Ｓｕの全ての要素の
種別リスト情報Ｂの欄に、ジェスチャ認識情報Ｇｊのジ
ェスチャ種別情報Ｃの内容が含まれる場合は、ステップ
Ｃ６へ進み、そうでない場合はステップＣ７へ進む。

【０１２７】Ｃ６：ジェスチャ認識情報Ｇｊをジェスチ
ャ入力として受理し、アプリケーション２０４へ送りス
テップＣ１へ進む。

【０１２８】Ｃ７：ジェスチャ認識情報Ｇｊをジェスチ
ャ入力として受理せずに破棄し、ステップＣ１へ進む。

【０１２９】続いて、本発明の第２実施形態の処理につ
いて、具体例を用いて説明する。

【０１３０】（１）まず、時点ｔ１０の時点で、本装置
の利用者が、他の人物の方向を向いていたものとする。

【０１３１】（２）これに対する注視対象検出部２０１
での処理によって、図５のＩＤがｑ２０１に示すような
注視対象情報が生成され、制御部２０３へ伝えられる。

【０１３２】（３）このｑ２０１の注視対象情報を受け
とったため、ステップＢ１からステップＢ２へとの分岐
が起こり、ステップＢ２での処理によって注視対象情報
ｑ２０１の対象情報Ｂと同一の内容である「他人物１」
と同じ種類の値を、その注視対象情報Ａの欄に持つ注視
解釈規則記憶部２０２ｂのエントリＳ４０１がＳｉとし
て検索される。

【０１３３】（４）ステップＢ３での処理によって、注
視状況情報記憶部２０３ｃに新たなエントリｕ５０１が
生成され、その時間情報Ａの欄に、注視対象情報ｑ２０
１の時間情報Ａの内容が複写され、かつ、エントリｕ５
０１の種別リスト情報Ｂの欄に、エントリｓ４０１の可
能ジェスチャ種別リスト情報Ｂの内容が複写された後、
ステップＢ４によりステップＢ１へ戻る。

【０１３４】（５）以後上記と同様の処理が、注視対象
検出部２０１から順次得られる図５に示した注視対象情
報ｑ２０２〜ｑ１０４に対して施され、結果として図９
に示した注視状況記憶部２０２ｃの注視状況情報ｕ５０
２〜ｕ５０４のエントリが生成される。

【０１３５】（６）ここで、ジェスチャ認識部２０２か
ら図６ジェスチャ認識情報の例のｒ３０１のエントリに
示したジェスチャ認識情報が得られたとする。

【０１３６】（７）このジェスチャ認識情報ｒ３０１に
対して、ステップＣ１の処理により、ステップＣ２への
分岐が起こる。

【０１３７】（８）ステップＣ２によって、ｒ３０１の
開始時間情報Ａの値＝ｔ１１と終了時間情報Ｂの値＝ｔ
１２が得られる。

【０１３８】（９）続いて、ステップＣ３の処理によっ
て、注視状況記憶部２０３ｃから、ｔ１１〜ｔ１２の間
の注視状況情報が検索され、結果として、エントリｕ５
０２とエントリｕ５０３とを要素とする集合Ｓｕが得ら
れる。

【０１３９】（１０）Ｓｕは空集合でないのでステップ
Ｃ４からＣ５へと進む。

【０１４０】（１１）ステップＣ５の処理によって、エ
ントリｕ５０２とエントリｕ５０３の双方の種別リスト
情報Ｂに、ジェスチャ認識情報ｒ３０１のジェスチャ種
別情報Ｃの値「うなづき」が含まれるかどうかが調べら
れるが、ここでは、条件が成立しないため、Ｃ７へ進
む。

【０１４１】（１２）ステップＣ７によって、ジェスチ
ャ認識情報ｒ３０１が示唆した「うなづき」がジェスチ
ャとして受理されずに破棄されステップＣ１へ進み初期
状態へ戻る。

【０１４２】これは、時点ｔ１１〜ｔ１２に於いて、利
用者が他の人物を注視している状態に於いて検出された
うなづきジェスチャの候補は、本装置への入力を意図し
たジェスチャではないと、本装置が判断したことに相当
する。

【０１４３】また、以上の処理と同様の処理によって、
図６のｒ３０２に示したｔ２０〜ｔ２４に渡る「うなづ
き」ジェスチャ認識情報では、図９に示した注視状況記
憶部２０２ｃのｕ５１１〜ｕ５１６のエントリの種別リ
スト情報Ｂの全てが「うなづき」を含んではいないため
破棄されるが、これは、時点ｔ２０〜ｔ２４の利用者の
うなづきのジェスチャ入力の可能性を持つ信号が検知さ
れたが、その時点での利用者の注視対象が、「画面」→
「利用者手元」→「画面」へと推移していることを根拠
として、このジェスチャ入力の候補は誤って抽出された
ものであると判断されジェスチャ候補が破棄された例で
ある。

【０１４４】一方、時点ｔ３１〜ｔ３３に渡って検出さ
れた図６のｒ３０３のエントリに対応するジェスチャ入
力候補に関しては、本装置によって「うなづき」のジェ
スチャ入力として受理され、アプリケーション２０４へ
と送られることになる。

【０１４５】その手順を順を追って説明する。

【０１４６】（１）まず注視対象検出部２０１での処理
によって、図５のＩＤがｑ２２１に示すような注視対象
情報が生成され、制御部２０３へ伝えられる。

【０１４７】（２）このｑ２２１の注視対象情報を受け
とったため、ステップＢ１からステップＢ２へとの分岐
が起こり、ステップＢ２での処理によって注視対象情報
ｑ２２１の対象情報Ｂと同一の内容である「カメラ１」
と同じ種類の値を、その注視対象情報Ａの欄に持つ注視
解釈規則記憶部２０２ｂのエントリＳ４０４がＳｋとし
て検索される。

【０１４８】（３）ステップＢ３での処理によって、注
視状況情報記憶部２０３ｃに新たなエントリｕ５２１が
生成され、その時間情報Ａの欄に、注視対象情報ｑ２２
１の時間情報Ａの内容が複写され、かつ、エントリｕ５
２１の種別リスト情報Ｂの欄に、エントリｓ４０４の可
能ジェスチャ種別リスト情報Ｂの内容が複写された後、
ステップＢ４によりステップＢ１へ戻る。

【０１４９】（４）以後上記と同様の処理が、注視対象
検出部２０１から順次得られる図５に示した注視対象情
報ｑ２３２〜ｑ２３４に対して施され、結果として図９
に示した注視状況記憶部２０３ｃのｕ５２２〜ｕ５２４
のエントリが生成される。

【０１５０】（５）ここで、ジェスチャ認識部２０２か
ら図６ジェスチャ認識情報の例のｒ３０３のエントリに
示したジェスチャ認識情報が得られたとする。

【０１５１】（６）このジェスチャ認識情報ｒ３０３に
対して、ステップＣ１の処理により、ステップＣ２の分
岐が起こる。

【０１５２】（７）ステップＣ２によって、ｒ３０３の
開始時間情報Ａの値＝ｔ３０と終了時間情報Ｂの値＝ｔ
３３が得られる。

【０１５３】（８）続いて、ステップＣ３の処理によっ
て、注視状況記憶部２０３ｃから、ｔ３０〜ｔ３３の間
の注視状況情報が検索され、結果として、エントリｕ５
２１、エントリｕ５２２、エントリｕ５２３、およびエ
ントリｕ５２４を含む集合Ｓｖが得られる。

【０１５４】（９）Ｓｖは空集合でないのでステップＣ
４からＣ５へと進む。

【０１５５】（１０）ステップＣ５の処理によって、エ
ントリｕ５２１〜エントリｕ５２４の全種別リスト情報
Ｂに、ジェスチャ認識情報ｒ３０３のジェスチャ種別情
報Ｃの値「うなづき」が含まれるかどうかが調べられ、
ここでは、条件が成立し、Ｃ６へ進む。

【０１５６】（１１）ステップＣ６によって、ジェスチ
ャ認識情報ｒ３０３が示唆した「うなづき」がジェスチ
ャとして受理され、アプリケーション２０４へ送られた
上で、ステップＣ１へ進み初期状態へ戻る。

【０１５７】これは、利用者がカメラをずっと注視した
ままの状態において、提示された「うなづき」ジェスチ
ャの候補は、利用者からシステムへの入力を意図したジ
ェスチャ入力として信頼できるという判断を行ない受理
されたことに相当するものである。

【０１５８】かくしてこのように構成された本装置の第
２実施形態によれば、ジェスチャ入力の解析精度が不十
分であるため、たとえば、ジェスチャ入力の認識処理に
おいて、入力デバイスから刻々得られる信号のなかか
ら、利用者が入力メッセージとして意図した信号部分の
切りだしに失敗するという問題を回避することが出来、
その結果、誤動作などによる利用者への負担を起こさな
いインタフェースを実現することが可能となる。

【０１５９】また、利用者が現在の操作対象である計算
機などへの入力として用いるだけでなく、例えば周囲の
他の人間とのコミュニケーションを行なう場合にも利用
されるメディアを用いたインタフェース装置において、
利用者がインタフェース装置ではなく、たとえば自分の
横にいる他人に対してジェスチャを示したりした場合に
も、インタフェース装置が自分への入力であると誤って
判断しないインタフェース装置を実現するものである。

【０１６０】さらに、たとえば、ボタンを押したり、メ
ニュー選択などによって、特別な操作によって入力モー
ドの変更を行なう必要がないため、自然なインタフェー
ス装置を実現することが出来る。

【０１６１】また、本発明によって、人間同士のコミュ
ニケーションにおいては重要な役割を演じていると言わ
れる非言語メッセージを、効果的に利用することが可能
となる。

【０１６２】（ｉｉｉ）第３の実施形態 続いて、図面を参照して本発明の第３実施形態に係るマ
ルチモーダルインタフェース装置およびマルチモーダル
インタフェース方法について説明する。

【０１６３】図１２は、本発明の第３実施形態に係るマ
ルチモーダルインタフェース装置の構成例を示してお
り、本装置が、注視対象検出部３０１、および入力部３
０２、および出力部３０３、および対話管理部３０４、
およびアプリケーション３０５から構成されていること
を表している。

【０１６４】図１２において、３０１は注視対象検出部
であり、利用者の注視対象を検出するが、本注視対象検
出部３０１に関しては、前述の第２実施形態における注
視対象検出部２０１と同様の構成によって実現し、同様
の注視対象情報を出力するものとする。

【０１６５】図１２において、３０２は入力部であり、
利用者からの音声入力、あるいは画像入力、あるいはキ
ーボード、マウス、ジョイスティック、トラックボー
ル、タッチセンサー、ボタンなどといった機器の操作入
力などの、入力を受け付ける様にしている。

【０１６６】図１２において、３０３は出力部であり、
利用者への音声出力、画像出力、あるいは提力装置を通
じた力出力など、出力を提示する様にしている。

【０１６７】図１２において、３０４は対話管理部であ
り、入力部３０２および出力部３０３を、例えばスクリ
プトや、あるいは発話対や、あるいは発話交換構造や、
あるいはプランニング手法などを用いた従来手法によっ
て制御し、例えば、利用者からの入力信号の受付と利用
者への出力信号の提示、および該入力信号と出力信号の
時間調整、あるいは利用者への確認や問い返しのための
対話などを含む、利用者と本装置との間での対話（＝イ
ンタラクション）を実現するようにしている。

【０１６８】図１２において、３０５はアプリケーショ
ンであり、対話管理部３０４から提供される利用者から
の要求などに対して、例えばデータベースの検索や、推
論処理や、あるいは算術処理などによって応答の内容を
決定し、対話管理部３０４に返すようにしている。

【０１６９】対話管理部３０４は、注視対象検出部３０
１から随時提供される注視対象情報を参照して、以下に
示す＜処理手順Ｄ＞にしたがった処理によって動作する
ことで、本装置の効果を実現する。

【０１７０】なお、図１３は処理手順Ｄを説明するフロ
ーチャートである。

【０１７１】＜処理手順Ｄ＞ Ｄ１：入力部３０２を通じて利用者からの入力Ｉを受け
とる場合はステップＤ２へ進み、出力部３０３を通じて
利用者へ出力Ｏを利用者に出力する場合は、ステップＤ
９へ進む。

【０１７２】Ｄ２：タイマＱをリセットしスタートす
る。

【０１７３】Ｄ３：タイマＱがあらかじめ定めた値Ｈを
超えたらステップＤ１へ進む。

【０１７４】Ｄ４：注視対象検出部３０１から得られる
注視対象情報Ｗの対象情報Ｂの内容を参照し、あらかじ
め定めた特定の物体あるいは領域である注視対象Ｘを注
視していることが判明したら、ステップＤ２へ進む。

【０１７５】Ｄ５：入力３０２によって、利用者からの
入力Ｉが検知された場合は、ステップＤ７へ進む。

【０１７６】Ｄ６：ステップＤ３へ進む。

【０１７７】Ｄ７：入力部３０２による入力Ｉの処理結
果が、対話制御部３０４を通じて、アプリケーション３
０５へと渡される。

【０１７８】Ｄ８：アプリケーション３０５によって、
利用者に応答すべき出力Ｏが決定され、対話管理部３０
４へと渡される。

【０１７９】Ｄ９：出力部３０３を通じて、利用者への
出力Ｏの出力を開始する。

【０１８０】Ｄ１０：出力部３０３を通じての出力Ｏが
終了したらステップＤ１へ進む。

【０１８１】Ｄ１１：注視対象検出部３０１から得られ
る注視対象情報Ｖの対象情報Ｂの内容を参照し、あらか
じめ定めた特定の物体あるいは領域である注視対象Ｙへ
の利用者の注視を検出した場合には、ステップＤ１３へ
進む。

【０１８２】Ｄ１２：ステップＤ１０へ進む。

【０１８３】Ｄ１３：現在の出力Ｏの提示を中断した後
で、出力Ｏの利用者への再提示を行なう。

【０１８４】Ｄ１４：利用者からの、例えば「えっ」と
いった非言語音声が入力されるなど、本装置から利用者
への、出力Ｏの伝達が正しく行われなかったことを表す
明示的な入力がなされた場合には、ステップＤ１６へ進
む。

【０１８５】Ｄ１５：ステップＤ１へ進む。

【０１８６】Ｄ１６：出力Ｏに関して利用者が理解して
いるかどうかに関する確認の対話処理を起動する。

【０１８７】Ｄ１７：ステップＤ１へ進む。

【０１８８】続いて、具体的例を用いて第３実施実施形
態の動作説明を行なう。

【０１８９】まず、仮定として、入力手段３０２として
音声入力を持ち、出力手段３０３としてスピーカから出
力される音声出力とディスプレイからの出力される画像
情報出力を持つマルチモーダルインタフェース装置を例
として説明を行なう。

【０１９０】また、処理手順ＤのステップＤ４に現れる
特定の注視対象Ｘとしては、マインズアイ（後述）が設
定されているものとし、また処理手順ＤのステップＤ１
１に現れる特定の注視対象Ｙとして、スピーカ部分が設
定されているものとする。

【０１９１】まずはじめ、本装置から利用者に向かっ
て、例えば「宛先を教えて下さい」という音声出力がな
され、この質問に対する利用者からの回答を本装置が受
けとるという状況であるものとする。

【０１９２】この質問に対する利用者からの音声入力を
受けとるため、ステップＤ１からＤ２への分岐が行われ
る。

【０１９３】続いて、タイマＱによって時間Ｈの間、ス
テップＤ２〜ステップＤ６の処理ループが繰り返される
が、今回はその時間の間に利用者から例えば「神戸市で
す」という音声入力Ｉ１がなされたとする。

【０１９４】ここまでに行なわれた処理は、従来のマル
チモーダルインタフェース処理あるいは対話装置におけ
る処理と同様のものである。

【０１９５】次に、上述と同じ状況に対して、利用者が
入力すべき情報（例えば宛先）を即座に答えることが出
来ず、入力すべき情報を思い出すために、マインズアイ
と呼ばれる行動をとった場合を考えてみる。

【０１９６】このマインズアイとは、人間が何らかの情
報を思い出したり、あるいは考えをまとめようとする場
合に、ある特定の方向を向く傾向があることを指すもの
であり、典型的には、斜め上方向を向く場合が多い。

【０１９７】本装置では、利用者があらかじめ定めた特
定の注視対象（この場合は斜め上方）を注視した場合
に、注視対象検出部３０１が、対象情報Ｂの値として記
号「マインズアイ」を含む注視対象情報Ｗ１を出力する
ようにしている。

【０１９８】そのため、処理手順ＤのステップＤ２〜Ｄ
６の利用者からの入力を待つ処理ループの中を処理して
いる間に、利用者がマインズアイと呼ばれる行動（具体
的には、この場合は斜め上方向を注視する行動）を行な
うと、注視対象検出部３０１によってそれが検知され、
例えば図５のエントリｑ２５１あるいはｑ２５２の対象
情報Ｂの欄に示した記号「マインズアイ」を含む注視対
象情報が出力されることとなる。

【０１９９】これにより、ステップＤ４からステップＤ
２へと進み、タイマＱがリセットされ、結果として利用
者の入力を待つ時間が延長されることとなる。

【０２００】以上の処理によって、本装置では利用者が
入力すべき情報を想起するなどのために、マインズアイ
と呼ばれる行動を行なった際に、自動的に入力待ち受け
時間が延長され、結果としてユーザフレンドリーなマル
チモーダルインタフェースが実現されることとなる。

【０２０１】つづいて、この音声入力Ｉ１により、ステ
ップＤ５からステップＤ７〜Ｄ８へと進み、例えば、利
用者の出力として「新しい郵便番号を教えて下さい」と
いう音声出力に対応する出力Ｏ１がアプリケーション３
０５によって、決定され、対話管理部３０４に渡された
ものとする。

【０２０２】続いて、ステップＤ９へと進み、出力Ｏ１
に関する音声出力「新しい郵便番号…」が利用者へと提
示され始めたものとする。

【０２０３】ここから、ステップＤ１０〜Ｄ１２の処理
ループによって、利用者への出力Ｏ１の提示が続けられ
るが、今回は、その出力の途中で、利用者が現在提示さ
れつつある出力の一部分、例えば「新しい郵便番号」の
部分が、聞きとれなかったため、スピーカを注視したも
のとする。

【０２０４】この利用者のスピーカへの注視は、注視対
象検出部３０１により検知され、注視対象情報Ｖ１とし
て対話管理部３０４に渡される。

【０２０５】この注視対象情報Ｖ１により、ステップＤ
１１からステップＤ１３へと分岐する。

【０２０６】ステップＤ１３により、現在出力途中であ
った出力は中断され、出力部３０２を通じて、再度利用
者に提示され直す。

【０２０７】ここで、利用者が再提示出力を受け取れた
場合には、ステップＤ１５からステップＤ１へとすすみ
初期状態へと戻る。

【０２０８】以上の処理によって、本装置では、利用者
が出力情報の受け取りに失敗した場合にも、あらかじめ
定めた特定の注視対象を注視するだけで再提示が行われ
るため、出力情報を正しく受け取ることが出来る。

【０２０９】なおこれは、人間が人間同士の対話に於い
て、例えば理解できなかったりあるいは聞き取りに失敗
した場合などに、無意識に対話相手を見ることによっ
て、その障害の発生を対話相手にフィードバックすると
いう行動と同様の行動を、本装置に対して行なう利用者
に対して適切に対応するための機能を実現するものであ
る。

【０２１０】あるいは、ステップＤ１３の再提示によっ
ても利用者が出力情報を正しく受け取れなかった場合に
も、その障害の発声を利用者が明示的に提示すること
で、ステップＤ１４、Ｄ１６〜Ｄ１７の処理によって、
確認の対話を起動することが出来る。

【０２１１】かくしてこのように構成された本第３実施
形態によれば、利用者が情報入力の待ち受け時間を延長
するために、例えばボタンを押すなどといった恣意的な
操作を行なうことが不要で、自然で、利用者にとって繁
雑でなく、習得のための訓練が不要であり、利用者の負
担を増加しないマルチモーダルインタフェース装置およ
びマルチモーダルインタフェース方式を提供することが
可能となる。

【０２１２】また、人間同士のコミュニケーションにお
いては重要な役割を演じていると言われる、非言語メッ
セージを、効果的に利用することが出来るマルチモーダ
ルインタフェース装置およびマルチモーダルインタフェ
ース方式を提供することが可能となる。

【０２１３】また、利用者からの入力に対応して利用者
への適切な出力を行なったり、あるいは利用者からの入
力と利用者への出力のタイミングを適切に制御するため
に、利用者の発話が開始されるタイミングや、あるいは
利用者の発話が終了するタイミングなどを、事前に予測
することが可能となる。

【０２１４】また、利用者からの入力の認識に失敗した
り、あるいは利用者への情報の出力に失敗をした場合な
ど、利用者との間のコミュニケーションに関する何らか
の障害が発生した場合などには、その障害の発生を適切
に検知することが可能となる。

【０２１５】また、検知した障害を解決するための、例
えば確認のための情報の再提示や、あるいは利用者への
問い返し質問対話や、あるいは対話の論議の流れの適切
な管理を行なうことが可能となる。

【０２１６】尚、本発明は、以上の各実施形態に限定さ
れるものではない。

【０２１７】まず、上述の第１実施形態では、利用者の
呼吸状態の検出にカメラから得られる画像情報の解析に
よる方法を示したが、例えば利用者の身体や衣服などに
装着あるいは近接して設置するセンサーなどを用いた方
法によっても、同様の効果を得ることが可能である。

【０２１８】また、上述の第１実施形態では、検知した
利用者の呼吸の状態に関する情報を、利用者の発話の開
始時間の予測や、あるいはある発話に継続して行なわれ
る発話の検出などに利用する例を示したが、例えば利用
者の呼吸の深さまでを検出し、呼吸の深さと、後続する
発話の全体、あるいは次の息継ぎまでのフレーズの長さ
との関係を、あらかじめ用意しておいたり、あるいはそ
の時点までの実際の利用履歴から抽出した学習データな
どから推測した値などを参照することで、利用者の呼吸
の深さに応じて、続く発話の長さを予測し、該発声の取
り込み処理や、あるいは音響分析や、あるいは言語的解
析処理や、あるいは対話における発話交替タイミング管
理処理などに於いて、利用するように構成することも可
能である。

【０２１９】また、上述の第２実施形態では、＜処理手
順Ｃ＞のステップＣ２〜ステップＣ５の処理において、
各ジェスチャ入力候補の開始時間と終了時間との間の全
時間区間に対応する注視状況情報記憶部２０２ｃのエン
トリに関して、種別リスト情報Ｂを参照した条件判断を
行ない、該ジェスチャ入力候補を受理すべきかどうかを
判断するようにしているが、例えば、該ジェスチャ入力
候補の提示されている時間の内の、例えば時間比率の上
での最初の一部分であるとか、あるいは最後の一部分で
あるとか、あるいは最初の一部分と最後の一部分の双方
などといった、特定の部分に関してのみ、同様の条件判
断を行なって、該ジェスチャ入力候補を受理すべきかど
うかを判断するように構成することも可能である。

【０２２０】さらに、この条件判断に使う部分の時間的
位置や、箇所数などを利用毎にあらかじめ調整しておい
たり、あるいは自動的適応的に調整する様に構成するこ
とも可能であり、これにより、ある利用者は例えばある
特定の方向を注視しながらジェスチャ入力を開始し、そ
の後視線を逸した後該ジェスチャ入力を終えるといった
癖などを持っている場合にも適切にジェスチャ入力を受
理することのできるマルチモーダルインタフェース装置
およびマルチモーダルインタフェース方法を実現するこ
とが出来る。

【０２２１】また、上述の第１乃至第３実施形態では、
装置として本発明を実現する場合のみを示したが、上述
の具体例の中で示した処理手順、フローチャートをプロ
グラムとして記述し、実装し、汎用の計算機システムで
実行することによっても同様の機能と効果を得ることが
可能である。

【０２２２】すなわち、この場合図１４の汎用コンピュ
ータの構成の例に示したように、ＣＰＵ４０１、メモリ
４０２、大容量記憶装置４０３、通信インタフェース４
０４からなる汎用コンピュータに、入力インタフェース
４０４ａ〜４０４ｎと、入力デバイス４０５ａ〜４０５
ｎ、そして、出力インタフェース４０７ａ〜４０７ｍ、
出力デバイス４０８ａ〜４０８ｍを設け、入力デバイス
４０６ａ〜４０６ｎに、マイクやキーボード、ペンタブ
レット、ＯＣＲ、マウス、スイッチ、タッチパネル、カ
メラ、データグローブ、データスーツといった部品を使
用し、出力デバイス４０８ａ〜４０８ｍとして、ディス
プレイ、スピーカ、フォースディスプレイ、等を用い
て、ＣＰＵ４０１によるソフトウェア制御により、上述
のごとき動作を実現することが出来る。

【０２２３】すなわち、第１乃至第３実施形態に記載し
た手法は、コンピュータに実行させることの出来るプロ
グラムとして、磁気ディスク（フロッピーディスク、ハ
ードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶ
Ｄなど）、半導体メモリなどの記録媒体を用いてコンピ
ュータにプログラムを読み込み、ＣＰＵ４０５で実行さ
せれば、本発明のマルチモーダルインタフェース装置を
実現することが出来ることになる。

【０２２４】

【発明の効果】以上説明したように、本発明によれば、
新たに利用可能となった各入出力メディアあるいは、複
数の入出力メディアを効率的に利用し、高能率で、効果
的で、利用者の負担を軽減することが出来るマルチモー
ダルインタフェースを実現することができる。

【０２２５】また、各メディアからの入力の解析精度が
不十分さに起因する誤認識や、利用者が入力メッセージ
として意図した信号部分の切りだしの失敗に起因する誤
動作を起こさず、利用者への余分な負担を生じないマル
チモーダルインタフェースを実現することが出来る。

【０２２６】また、音声入力やジェスチャ入力など、利
用者が現在の操作対象である計算機などへの入力として
用いるだけでなく、例えば周囲の他の人間へ話しかけな
りする場合にも利用されるメディアを用いたインタフェ
ース装置では、利用者が、インタフェース装置ではな
く、たとえば自分の横にいる他人に対して話しかけた
り、ジェスチャを示したりした場合に、インタフェース
装置が自分への入力であると誤って判断することがない
マルチモーダルインタフェースを実現することが出来
る。

【０２２７】また、上述のような計算機への入力を利用
者が意図していないメッセージを誤って自己への入力で
あると誤認識したことによる誤動作や、その影響の復旧
や、誤動作を避けるために利用者が絶えず注意を払わな
くてはいけなくなるなどの負荷を含めた利用者への負担
を生じないマルチモーダルインタフェースを実現するこ
とが出来る。

【０２２８】また、本来不要な場面においても、入力信
号の処理が継続的にして行われるため、その処理負荷に
よって、利用している装置に関与する他のサービスの実
行速度や利用効率が低下してしまうことのないマルチモ
ーダルインタフェースを実現することが出来る。

【０２２９】また、音声やジェスチャなどの入力を行な
う際に、たとえば、ボタンを押したり、メニュー選択な
どといった特別な操作によるモード変更が必要なく、自
然で、利用者によって繁雑でなく、習得のための訓練が
不要であり、利用者の負担を増加しないマルチモーダル
インタフェースを実現することが出来る。

【０２３０】また、例えば、口だけを使ってコミュニケ
ーションが出来、例えば手で行なっている作業を妨害す
ることがなく、双方を同時に利用することが可能である
と言う、音声メディア本来の利点を活かすことが出来る
マルチモーダルインタフェースを実現することが出来
る。

【０２３１】また、離れた位置や、機器に接触せずに、
ジェスチャの入力を行なう際に、利用者が入力を意図し
たジェスチャだけを、適切に抽出できるマルチモーダル
インタフェースを実現することが出来る。

【０２３２】また、人間同士のコミュニケーションにお
いては重要な役割を演じていると言われる、非言語メッ
セージを、効果的に利用することが出来るマルチモーダ
ルインタフェースを実現することが出来る。

【０２３３】また、利用者からの入力に対応して利用者
への適切な出力を行なったり、あるいは利用者からの入
力と利用者への出力のタイミングを適切に制御するため
に、利用者の発話が開始されるタイミングや、あるいは
利用者の発話が終了するタイミングなどを、適切に予測
することの出来るマルチモーダルインタフェースを実現
することが出来る。

【０２３４】また、利用者からの入力の認識に失敗した
り、あるいは利用者への情報の出力に失敗をした場合な
ど、利用者との間のコミュニケーションに関する何らか
の障害が発生した場合などには、その障害の発生を適切
に検知することの出来るマルチモーダルインタフェース
を実現することが出来る。

【０２３５】また、検知した障害を解決するための、例
えば確認のための情報の再提示や、あるいは利用者への
問い返し質問対話や、あるいは対話の論議の流れの適切
な管理を行なうことの出来るマルチモーダルインタフェ
ースを実現することが可能となる等の、実用上多大な効
果が奏せられる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係るマルチモーダルイ
ンタフェース装置の構成を示すブロック図。

【図２】同第１実施形態のマルチモーダルインタフェー
ス装置で用いられる呼吸状況情報の例を示す図。

【図３】同第１実施形態のマルチモーダルインタフェー
ス装置の処理手順（Ａ）の内容を示すフローチャート。

【図４】本発明の第２実施形態に係るマルチモーダルイ
ンタフェース装置の構成を示すブロック図。

【図５】同第２実施形態のマルチモーダルインタフェー
ス装置で用いられる注視対象情報の例を示す図。

【図６】同第２実施形態のマルチモーダルインタフェー
ス装置で用いられるジェスチャ認識情報の例を示す図。

【図７】同第２実施形態のマルチモーダルインタフェー
ス装置に設けられた制御部の内部構成の例を示すブロッ
ク図。

【図８】同第２実施形態のマルチモーダルインタフェー
ス装置で用いられる注視解釈規則記憶部の内容の例を示
す図。

【図９】同第２実施形態のマルチモーダルインタフェー
ス装置で用いられる注視状況記憶部の内容の例を示す
図。

【図１０】同第２実施形態のマルチモーダルインタフェ
ース装置の処理手順（Ｂ）の内容を示すフローチャー
ト。

【図１１】同第２実施形態のマルチモーダルインタフェ
ース装置の処理手順（Ｃ）の内容を示すフローチャー
ト。

【図１２】本発明の第３実施形態に係るマルチモーダル
インタフェース装置の構成を示すブロック図。

【図１３】同第３実施形態のマルチモーダルインタフェ
ース装置の処理手順（Ｄ）の内容を示すフローチャー
ト。

【図１４】本発明の各実施形態に係るマルチモーダルイ
ンタフェース装置を実現するコンピュータの構成例を示
すブロック図。

【符号の説明】

１０１…呼吸検出部 １０２…音声入力部 １０３…制御部 １０４…アプリケーション ２０１…注視対象検出部 ２０２…ジェスチャ認識部 ２０３…制御部 ２０４…アプリケーション ２０３ａ…制御処理部 ２０３ｂ…注視解釈規則記憶部 ２０３ｃ…注視状況記憶部 ３０１…注視対象検出部 ３０２…入力部 ３０３…出力部 ３０４…対話管理部 ３０５…アプリケーション ４０１…ＣＰＵ ４０２…メモリ ４０３…大容量記憶装置 ４０４…通信インタフェース ４０５ａ〜ｎ…入力デバイス ４０６ａ〜ｎ…入力インタフェース ４０７ａ〜ｍ…出力デバイス ４０８ａ〜ｍ…出力インタフェース

Claims (18)

【特許請求の範囲】
1. 【請求項１】 利用者からの情報の入力を受けつける入
   力手段、および利用者への情報の出力を行なう出力手
   段、および利用者との対話を管理する対話管理手段の
   内、少なくとも一つを利用者インタフェースとして有す
   るマルチモーダルインタフェース装置において、 利用者の表情、発声、注視、ジェスチャ、姿勢、あるい
   は身体動作の少なくとも一つからなる非言語メッセージ
   を認識し非言語メッセージ情報として出力する非言語メ
   ッセージ認識手段と、 前記非言語メッセージ情報に基づいて、前記利用者との
   間のインタフェースのために行われる前記入力手段ある
   いは前記出力手段あるいは前記対話管理手段の少なくと
   も一つの動作を制御する制御手段とを具備したことを特
   徴とするマルチモーダルインタフェース装置。
2. 【請求項２】 利用者の呼吸の状況を観察し呼吸状況情
   報として出力する呼吸状況認識手段と、 利用者の発する音声の、取り込み、あるいは録音、ある
   いは加工、あるいは分析、あるいは認識の少なくとも一
   つの処理をなう入力音声処理手段と、 前記呼吸状況情報に基づいて、前記入力音声処理手段を
   制御して、利用者からの音声入力信号の受け付け可否制
   御処理、あるいは音声区間の推定処理、あるいは雑音低
   減処理、あるいは音声信号変換処理の少なくとも一つの
   処理の動作を制御する制御手段とを具備したことを特徴
   とするマルチモーダルインタフェース装置。
3. 【請求項３】 利用者の呼吸の状況を観察し呼吸状況情
   報として出力する呼吸状況認識手段と、 利用者からの情報入力および利用者への情報出力のタイ
   ミングを管理する対話管理手段と、 前記呼吸状況情報に基づいて、前記対話管理手段を制御
   して、利用者からの入力情報の受け付けタイミング、お
   よび利用者への情報出力のタイミングの少なくとも一つ
   を調整する制御手段とを具備したことを特徴とするマル
   チモーダルインタフェース装置。
4. 【請求項４】 前記呼吸状況認識手段は、 利用者の様子を撮影することにより得られた画像情報の
   処理、あるいは利用者の身体に装着あるいは近接して配
   置したセンサから得られたセンサ情報の処理によって、
   利用者の呼吸の状況を観察することを特徴とする請求項
   ２または３記載のマルチモーダルインタフェース装置。
5. 【請求項５】 利用者の視線方向を検出し、注視対象情
   報として出力する視線検出手段と、 利用者の画像情報の処理、あるいは赤外線等の遠隔セン
   サあるいは装着センサよって得られる信号の処理によっ
   て、利用者の体の一部分あるいは体の全体の動作を解析
   し利用者からのジェスチャ入力を認識するジェスチャ認
   識手段と、 前記視線検出情報に基づいて、ジェスチャ入力の受け付
   け可否、あるいはジェスチャ入力の検出あるいは認識に
   用いられるパラメータ情報の調整によって、前記ジェス
   チャ認識手段の動作を制御する制御手段とを具備したこ
   とを特徴とするマルチモーダルインタフェース装置。
6. 【請求項６】 利用者の視線方向を検出し、注視対象情
   報として出力する視線検出手段と、 画像ディスプレイ、あるいはスピーカ、あるいは提力装
   置（フォースディスプレイ）の少なくとも一つの機器を
   通じて、音声情報あるいは画像情報あるいは力情報の少
   なくとも一つを利用者への出力として提示する出力手段
   と、 前記注視対象情報に基づいて、前記出力手段の動作を制
   御する制御手段とを具備し、 前記出力手段から利用者への情報提示を行なっている途
   中あるいは直後に、利用者が前記出力手段を注視した際
   に、前記出力情報を再出力するよう前記出力手段を制御
   できるようにしたことを特徴とするマルチモーダルイン
   タフェース装置。
7. 【請求項７】 利用者の視線方向を検出し、注視対象情
   報として出力する視線検出手段と、 画像ディスプレイ、あるいはスピーカ、あるいは提力装
   置（フォースディスプレイ）の少なくとも一つの機器を
   通じて、音声情報あるいは画像情報あるいは力情報の少
   なくとも一つを利用者への出力として提示する出力手段
   と、 利用者との対話を管理し、前記出力手段を通じた利用者
   への伝達に失敗した情報の再提示、あるいは情報伝達が
   達成されたかどうかを確認するための確認の対話の内、
   少なくとも一つを行なう対話管理手段と、 前記注視対象情報に基づいて、前記対話管理部を制御す
   る制御手段とを具備し、 前記出力手段から利用者への情報提示を行なっている途
   中あるいは直後に、利用者が前記出力手段を注視した際
   に、情報の再提示、あるいは情報伝達が達成されたかど
   うかを確認するための確認対話あるいは、利用者からの
   情報入力を行なうように、前記対話管理手段を制御でき
   るようにしたことを特徴とするマルチモーダルインタフ
   ェース装置。
8. 【請求項８】 利用者の視線方向を検出し、注視対象情
   報として出力する視線検出手段と、 利用者との対話を管理し、利用者からの情報入力タイミ
   ング、および利用者への情報出力のタイミングの少なく
   とも一方を管理する対話管理手段と、 前記注視対象情報に応じて、前記対話管理部を制御し、
   対話中の利用者の注視対象が特定の方向あるいは領域に
   存在する場合には、利用者からの入力あるいは利用者へ
   の出力の開始、あるいは中断、あるいは終了タイミング
   の少なくとも一つを調整する制御手段とを具備したこと
   を特徴とするマルチモーダルインタフェース装置。
9. 【請求項９】 前記視線検出手段は、 利用者の画像情報を解析処理、あるいは利用者の頭部あ
   るいは眼部、あるいは身体に装着あるいは近接して設置
   したセンサ情報の解析によって、利用者の視線方向を検
   出することを特徴とする請求項５乃至８のいずれか１項
   記載のマルチモーダルインタフェース装置。
10. 【請求項１０】 利用者からの音声情報あるいはジェス
    チャ情報を利用して、利用者との間の情報の入出力、あ
    るいは利用者との間の対話を管理するマルチモーダルイ
    ンタフェース装置において、 利用者の呼吸状況あるいは利用者の視線方向を、利用者
    からの非言語メッセージとして認識する非言語メッセー
    ジ認識手段と、 この非言語メッセージ認識手段による認識結果に基づい
    て、前記利用者との間の情報入出力動作、あるいは利用
    者との間の対話動作を制御する制御手段とを具備したこ
    とを特徴とするマルチモーダルインタフェース装置。
11. 【請求項１１】 利用者からの情報の入力を受けつける
    入力ステップ、および利用者への情報の出力を行なう出
    力ステップ、および利用者との対話を管理する対話管理
    ステップの内、少なくとも一つのステップを含むマルチ
    モーダルインタフェース方法において、 利用者の表情、あるいは発声、注視、ジェスチャ、姿
    勢、身体動作など、利用者が発する少なくとも一つの非
    言語メッセージを認識し非言語メッセージ情報として出
    力する非言語メッセージ認識ステップと、 前記非言語メッセージ情報に基づいて、前記利用者との
    間のインタフェースのために行われる前記入力ステップ
    あるいは前記出力ステップあるいは前記対話管理ステッ
    プの少なくとも一つの動作を制御することを特徴とする
    マルチモーダルインタフェース方法。
12. 【請求項１２】 利用者の発する音声の、取り込み、あ
    るいは録音、あるいは加工、あるいは分析、あるいは認
    識の少なくとも一つの処理をなう入力音声処理ステップ
    と、 利用者の呼吸の状況を観察し呼吸状況情報として出力す
    る呼吸状況認識ステップと、 前記呼吸状況情報に基づいて、前記入力音声処理ステッ
    プを制御して、利用者からの音声入力信号の受け付け可
    否制御処理、あるいは音声区間の推定処理、あるいは雑
    音低減処理、あるいは音声信号変換処理の少なくとも一
    つの処理の動作を制御する制御ステップとを具備するこ
    とを特徴とするマルチモーダルインタフェース方法。
13. 【請求項１３】 利用者からの情報入力と利用者への情
    報出力のタイミングを管理する対話管理ステップと、 利用者の呼吸の状況を観察し呼吸状況情報として出力す
    る呼吸状況認識ステップと、 前記呼吸状況情報に基づいて、前記対話管理ステップを
    制御して、利用者からの入力情報の受け付けタイミン
    グ、および利用者への情報出力のタイミングの少なくと
    も一つを調整する制御ステップとを具備することを特徴
    とするマルチモーダルインタフェース方法。
14. 【請求項１４】 利用者の視線方向を検出し、注視対象
    情報として出力する視線検出ステップと、 利用者の体の一部分あるいは体の全体の動作を解析し利
    用者からのジェスチャ入力を認識するジェスチャ認識ス
    テップと、 前記視線検出情報に基づいて、ジェスチャ入力の受け付
    け可否、あるいはジェスチャ入力の検出あるいは認識に
    用いられるパラメータ情報の調整によって、前記ジェス
    チャ認識手段の動作を制御する制御ステップとを具備す
    ることを特徴とするマルチモーダルインタフェース方
    法。
15. 【請求項１５】 利用者の視線方向を検出し、注視対象
    情報として出力する視線検出ステップと、 画像ディスプレイ、あるいはスピーカ、あるいは提力装
    置（フォースディスプレイ）など少なくとも一つの機器
    を通じて、音声情報あるいは画像情報あるいは力情報の
    少なくとも一つを利用者への出力として提示する出力ス
    テップと、 前記注視対象情報に基づいて、該出力手段の動作を制御
    する制御ステップとを具備し、 前記出力ステップから利用者への情報提示を行なってい
    る途中あるいは直後に、利用者が、その利用者への情報
    出力のために用いられるの機器を注視した際に、該出力
    情報を再出力するよう出力ステップを制御できるように
    したことを特徴とするマルチモーダルインタフェース方
    法。
16. 【請求項１６】 利用者の視線方向を検出し、注視対象
    情報として出力する視線検出ステップと、 画像ディスプレイ、あるいはスピーカ、あるいは提力装
    置（フォースディスプレイ）など少なくとも一つの機器
    を通じて、音声情報あるいは画像情報あるいは力情報の
    少なくとも一つを利用者への出力として提示する出力ス
    テップと、 利用者との対話を管理し、前記出力ステップを通じた利
    用者への伝達に失敗した情報の再提示、あるいは情報伝
    達が達成されたかどうかを確認するための確認の対話な
    どの内、少なくとも一つを行なう対話管理ステップと、 前記注視対象情報に基づいて、前記対話管理ステップを
    制御する制御ステップとを具備し、 前記出力ステップから利用者への情報提示を行なってい
    る途中あるいは直後に、利用者が前記出力ステップによ
    る情報出力のために用いられる機器を注視した際に、情
    報の再提示、あるいは情報伝達が達成されたかどうかを
    確認するための確認対話あるいは、利用者からの情報入
    力を行なうように前記対話管理ステップを制御できるよ
    うにしたことを特徴とするマルチモーダルインタフェー
    ス方法。
17. 【請求項１７】 利用者の視線方向を検出し、注視対象
    情報として出力する視線検出ステップと、 利用者との対話を管理し、利用者からの情報入力のタイ
    ミング、および利用者への情報出力のタイミングの少な
    くとも一方を管理する対話管理ステップと、 前記注視対象情報に応じて、前記対話管理ステップを制
    御し、対話中の利用者の注視対象が特定の方向あるいは
    領域に存在する場合には、利用者の入力あるいは利用者
    への出力の開始、あるいは中断、あるいは終了タイミン
    グの少なくとも一つを調整する制御ステップとを具備し
    たことを特徴とするマルチモーダルインタフェース方
    法。
18. 【請求項１８】 利用者からの音声情報あるいはジェス
    チャ情報を利用して、利用者との間の情報の入出力、あ
    るいは利用者との間の対話を管理するマルチモーダルイ
    ンタフェース方法において、 利用者の呼吸状況、あるいは利用者の視線方向を、利用
    者からの非言語メッセージとして認識する非言語メッセ
    ージ認識ステップと、 この非言語メッセージ認識ステップによる認識結果に基
    づいて、前記利用者との間の情報入出力動作、あるいは
    利用者との間の対話動作を制御する制御ステップとを具
    備したことを特徴とするマルチモーダルインタフェース
    方法。