JPH1124813A

JPH1124813A - マルチモーダル入力統合システム

Info

Publication number: JPH1124813A
Application number: JP17799997A
Authority: JP
Inventors: Keiju Okabayashi; 桂樹岡林
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1997-07-03
Filing date: 1997-07-03
Publication date: 1999-01-29

Abstract

(57)【要約】【課題】本発明は情報機器を扱うためのユーザインタフ
ェースを備えるマルチモーダル入力統合システムに関
し，情報機器に対しユーザの負担がかからない入力様式
により目的とする処理を実行させることができることを
目的とする。【解決手段】複数の様式の入力手段において入力された
内容を認識し，認識結果を出力する入力部を備え，入力
部から出力される認識結果の単語を受け取るプランナー
部は入力された単語を一般化された指令スクリプトに変
換し，プランナー部からの指令スクリプトはエージェン
ト部において解釈されて実行することにより，各種のタ
イプの入力を上位の意味に統合して情報機器へ指令する
よう構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報機器を扱うため
のユーザインタフェースを備えるマルチモーダル入力統
合システムに関する。

【０００２】近年，コンピュータ，電子手帳，ＡＴＭ端
末等の各種端末やロボットのような各種の情報機器が利
用されているが，それらの入力装置としてはキーボード
やマウス等が使用されている。そして，マルチメディア
の発展と共に情報が多様化し，それにともなって，タッ
チパネル，タブレット等新しい入力装置も用いられるよ
うになってきた。更に，それらとは，様式（タイプ）が
異なった，音声入力や，ジェスチャー入力等のノンバー
バルな入力方法も研究開発されている。

【０００３】このような，様々な異なったタイプの入力
を使用状況や好みからユーザが選択し，または冗長に使
うことができるインタフェースは，マルチモーダル（mo
dal:タイプ, 様式の) インタフェースと呼ばれている。
本発明は，このマルチモーダルインタフェースの実現の
ための入力統合方式や，システムアーキテクチャに関す
る。

【０００４】

【従来の技術】パーソナルコンピュータ等ではアプリケ
ーションを起動するため，アプリケーション名をキーボ
ードで打ったり，アプリケーションを示すアイコンをマ
ウスでクリックする方法が一般に用いられている。

【０００５】図１６は従来のアプリケーション起動方法
を示し，この例ではパーソナルコンピュータ等の情報機
器に対し，ユーザが「メールを読みたい」という目的が
ある場合の例である。この場合，ユーザは，メールを扱
うアプリケーションが何であるかを判断して決定する。
次に決定したアプリケーションをキーボードまたはマウ
スを操作してディスプレイに表示された中から探し出
し，そのアプリケーションを起動するコマンドを所定の
場所に打ち込むか，デスクトップでそのアプリケーショ
ンに相当するアイコンを探してクリックすることによっ
てアプリケーションを起動する。

【０００６】また別の例として，インターネットの例を
挙げると，「インターネット（www)にアクセスしたい」
という目的に対して，従来はブラウザと呼ばれるアプリ
ケーションを使用することをユーザが判断して，ユーザ
が自らキーボードを打ったり，マウスをクリックする等
のアクションを起こしてブラウザを起動しなければなら
ない。

【０００７】

【発明が解決しようとする課題】上記の従来の方法で
は，ユーザが起動したいアプリケーションの正確なスペ
ルや，アイコンの形を覚えておかなければならず，ユー
ザの負担が大きいという問題があった。

【０００８】本発明は情報機器に対しユーザの負担をか
けない入力により目的とする処理を実行させることがで
きるマルチモーダル入力統合システムを提供することを
目的とする。また，情報機器としてパーソナルコンピュ
ータのような情報処理装置だけでなく，各種のロボット
についてもユーザの負担をかけないで操作できるマルチ
モーダル入力統合システムを提供することも目的とす
る。

【０００９】

【課題を解決するための手段】本発明は，ユーザが目的
とするアプリケーションを起動するためにユーザが動作
を行うことにより入力するだけで，システムがその目的
を達成できるアプリケーションを自動的に選択して自動
的に起動するものである。

【００１０】図１は本発明の原理構成図である。図中，
１はユーザの音声，ジェスチャー（手の動き等）等の各
種タイプ（様式）による入力に対応した複数の入力手段
１ａ〜ｃを備えたマルチモーダルの入力部，２は様々な
様式（タイプ）の入力の情報を統合するために入力内容
を識別して，その上位概念の単語（または上位単語）に
翻訳して実行の対象や目的を表す指令スクリプト（文字
列）を発生するプランナー部，３は入力を上位概念の単
語に変換（翻訳）するための，複数の属性を持つオブジ
ェクト指向の概念に基づく単語辞書，４はプランナー部
２で生成されたスクリプトを実行して，対応するアプリ
ケーションを起動するエージェント部，５は多数のアプ
リケーションで構成するアプリケーション群である。

【００１１】なお，入力部１を構成する入力手段１ａ〜
ｃは，各様式（タイプ）に対応した入力（音声や，ゼス
チャー等）を識別するための個別の手段を備えるか，一
つの入力部１により複数の様式の入力を識別するよう構
成することができる。

【００１２】ユーザが目的とする処理を実行させるため
に，目的に対応する表現を様々な様式（タイプ）の１つ
で入力すると，対応する入力手段１ａ〜１ｃはその表現
内容を認識する。この表現は入力様式により異なるが，
認識した結果はプランナー部２へ供給される。単語辞書
３には予め様々な入力様式に応じて識別された概念を統
合するため標準化された上位概念単語が定義され，いく
つかの属性を持つオブジェクト指向の概念に基づいて作
成されている。プランナー部２は入力部１からの認識結
果について判別し，単語辞書３を使って，エージェント
部４が実行できる指令スクリプト（文字列）を生成す
る。

【００１３】エージェント部４はこの指令スクリプトを
受け取ると，そのスクリプトを実行することにより，当
該「メール」を「読む」ため，アプリケーション群５の
中の対応する一つを起動する。ユーザとシステムの間の
会話には複数のレベルがあり，システムへの指令に関す
るトップ（システム）レベル，エージェント部との間の
会話に関するエージェントレベル，アプリケーションと
の間の会話に関するアプリケーションレベルがある。

【００１４】

【発明の実施の形態】図２は実施例の構成図を示し，図
中，１０は実入力デバイスを表し，１０−１はユーザの
音声入力を認識して認識結果の単語を出力する音声入力
デバイス，１０−２はユーザの手や表情の動きを画像入
力として認識して認識結果の単語を出力する動き入力デ
バイス，１０−３はその他（マウスまたはキーボード等
を含む）の入力デバイス，１１は入力モデルであり，各
実入力デバイス１０─１〜１０─３に対応して１１─１
〜１１─３の入力モデルが設けられ，それぞれ対応する
入力デバイスのドライバとして機能し，各入力モデルの
中に対応する入力デバイスが扱う単語の辞書（またはテ
ンプレート）を備える。１２はユーザから各種の実入力
デバイスを介して入力された単語を単語辞書１２０を用
いて上位概念の単語に置き変え，エージェント部が実行
できるスクリプトを生成するプランナー部，１３はプラ
ンナー部が生成したスクリプトを実行するエージェント
部である。

【００１５】１４はアプリケーションモデルであり，起
動するアプリケーション名やオプション，アプリケーシ
ョン起動時にエージェントが出力するメッセージ，終了
時にエージェントが出力するメッセージを保存する。１
５はアプリケーションモデル１４により目的とする処理
を実行するアプリケーション群である。１６は実計算機
システム（ハードウェアやＯＳなど）を表し，１７は計
算機の内部情報や外部センサの状態を監視するシステム
モデルであり，エージェント部１３がスクリプトを実行
する際に，そのようなシステム情報が必要になればこの
オブジェクトに問いかけることで，その情報を引き出す
ことができる。具体的には日付，時間，ユーザ着席の有
無などが得られる。

【００１６】１８はユーザモデルであり，ユーザが出力
情報を受け取る時の様式（画面表示，音声出力，印字出
力，電子メール等）の好み，またはくせなどの個人情報
を蓄積する。ユーザモデル１８にユーザ固有のくせや好
みを蓄積することで，ユーザに応じた様式（タイプ）で
応答を返すことができる。従って，エージェント部１３
が応答する場合には，出力デバイスを一切気にする必要
がないため，エージェントの処理が簡略化される。ま
た，エージェント部１３と出力デバイス（後述する）の
関係を切り離すことにより，出力デバイスの変更が容易
に行える。なぜなら，出力デバイスの変更のためにエー
ジェント部１３の記述を変更する必要がないからであ
る。このような構成により出力デバイスのアレンジが自
由に行え，種々のシステムへの適用が可能となる。

【００１７】１９は出力モデルであり，１９−１，１９
−２の複数のモデルからなり，各出力モデルは実出力デ
バイス２０を構成する各実出力デバイス２０−１，２０
−２に対応する各ドライバの機能を備え，実出力デバイ
ス２０への指令はこのオブジェクトへの指令に全て置き
換えられる。２０は実出力デバイスであり，ユーザから
の指示に対する実行結果または拒否等の応答を画像，印
字，音声，電子メール等の異なる形式で出力するための
表示装置，音声出力装置等で構成される。

【００１８】図２に示す構成の各部の内容についてシス
テムの動作の順に説明する。音声入力デバイス１０─１
は，ユーザが発声する音声を認識する入力デバイスであ
り，従来公知の技術を用いたパターンマッチング等の音
声認識技術を用い，音声入力デバイス内に備えられた音
声辞書を用いて認識した単語を出力する。動き入力デバ
イス１０─２はユーザが手の動きまたは，顔の表情報の
画像を入力として，その動きを追跡し，入力モデル１１
─２に予め設定されたテンプレート（図示省略）と照合
して各動きを認識して，認識結果を出力するものであ
る。この技術は例えば，本発明と同じ出願人により「相
関追跡システム」（特願平７−３４２３２０号）として
先に提案されており，その技術を使用することにより実
施することができる。その技術内容を図３，図４を用い
て説明する。

【００１９】図３は提案された相関追跡のフローチャー
トであり，最初にビデオカメラで対象物（手や顔）を撮
影した画像を取り込み（図３のＳ１），次に探索する範
囲を全画面として指定する（同Ｓ２）。一方，予め，対
象物（手の形や顔の表情）の変化する異なる複数の形状
を表す複数のテンプレート（後述する図４に例を示す）
を用意しておき，その中から１つのテンプレートを選択
し（図３のＳ３），画面全体についてテンプレートを順
次ずらしながらパターンマッチングを行い，一致度を算
出して（同Ｓ４），最も一致する一致度を記憶する（同
Ｓ５）。１つのテンプレートについて終了すると，次の
テンプレートについて同様の処理を行って，全てのテン
プレートについて処理を終了すると，一致度が最も高い
テンプレートとその位置を検出し，その位置から追跡を
開始する（同Ｓ７）。

【００２０】すなわち，画像を取り込んで（同Ｓ８），
所定の大きさの探索ブロックを設定し（Ｓ９），テンプ
レートを１つ選択し（Ｓ１０），探索ブロック内で一致
度が最も大きくなる位置を探し（Ｓ１１），探索される
と一致度と位置を記憶する（同Ｓ１２），各テンプレー
トについて処理を行って終了すると，一致度が最も大き
いテンプレートが示す位置へ参照ブロックを移動し，こ
の時の移動ベクトルを求める（同Ｓ１４）。このように
して，対象物を追跡すると共に，対象物の形状が変化し
た時に何れかのテンプレートとの一致を検出する。

【００２１】図４は上記の提案された原理による手形状
の認識例を示し，(a) は直前のフレーム,(b)は現在のフ
レーム，(c) はテンプレートの例である。直前のフレー
ムでは参照ブロック内の対象物が手を開いたテンプレー
トとの一致度が最も大きいが, (b) に示す現在の参照
ブロック内の対象物が２本の指を出したテンプレート
との一致度が最も大きいとして算出された例である。こ
の場合，移動ベクトルは図４中の矢印を付した線で表
し，認識結果として数字“２”が出力される。これらの
手の指の形を予めＯＫ（またはＧＯＯＤ），ＮＯＧＯＯ
Ｄ，ＯＰＥＮ，ＣＬＯＳＥ等を表現するように定義し
て，それぞれの指の形を認識して，対応する認識結果を
出力することができる。

【００２２】図２のプランナー部１２がスクリプトを生
成するために使用する単語辞書１２０の構成を説明す
る。図５は単語辞書のデータ構造であり，図６は同じ上
位概念を持つ単語（同義語）の構成，図７は上位概念単
語の属性の例を示す。

【００２３】単語辞書は図５のＡ．に示すようなデータ
構造を備え，各単語に対応して，その品詞，上位概念単
語，及び発行相手リスト（動作の対象のリスト）とから
成り，図５のＢ．に例として示すように，「企画書」と
いう単語は，名詞であり，文書を意味し，発行相手は
“文書エージェント”（文書を取り扱うエージェントを
意味する）であることを表す。「読む」という単語は，
動詞，上位概念単語は「ｒｅａｄ」であり，発行相手と
しては，文書エージェント，アシスタントエージェント
がある。「アシスタント」は，固有名詞で，上位概念単
語はアシスタントエージェントであり，発行相手先は無
いことを表す。

【００２４】図６は同じ上位概念を持つ単語の例であ
り，この例ではユーザの音声入力であるａ「はい」，ｂ
「イエス」と，ユーザの手の指形による入力であるｃ
「ｇｏｏｄ」，「ｏｋ」について同意の単語（同義語）
として定義され，それぞれ品詞が動詞，上位概念単語が
ｙｅｓ，発行相手先が文書エージェントまたはアシスタ
ントエージェントがあることを示している。

【００２５】図７は上位概念単語の属性の例を示し，図
７のＡ．に示すよう各上位概念単語に対し，意味を表
す文字列，対にできる上位概念単語（組み合わせが可
能な上位概念単語）のリスト，起動するアプリケーシ
ョンのパス，起動するアプリケーション名という各属
性により構成される。図７のＢ．に上位単語「ｍａｉ
ｌ」について，〜の各項目のデータの具体例を示
す。

【００２６】図８，図９はプランナー部の処理フロー
（その１），（その２）である。最初に，入力ポート
（図２の入力モデル１１の出力が発生するポート）を調
べ（図８のＳ１），単語が入力されたか判別する（同Ｓ
２）。入力された場合，入力された単語をプランナー部
１２内の図示省略されたスタックに格納し（図８のＳ
３），スタックの単語が２つになったか判別する（同Ｓ
４）。これは，名詞（処理の対象）と動詞（メソッド，
すなわち処理内容）の２つが入力されることが必要であ
るためである。そのため，２つの単語が入力された場
合，単語の品詞をチェックして（図８のＳ５），名詞と
動詞の組み合わせであるか判別し（同Ｓ６），組み合わ
せが不可能な場合はスタックをクリアする（同Ｓ７）。
この場合はその旨をユーザに通知する。組み合わせが可
能な場合には入力された単語の属性から上位概念単語を
取り出し（同Ｓ８），組み合わせのチェックを行う（同
Ｓ９）。

【００２７】このチェックにより，上記図７のを参照
して当該名詞と動詞の組み合わせが可能であるかを判定
し（図９のＳ１０），可能な場合，名詞の発行相手先属
性から発行相手先（実行を行うエージェント部）を決定
し（同Ｓ１１），動詞の上位概念単語属性からメソッド
（処理内容）を決定する（同Ｓ１２）。次に名詞の上位
概念単語属性より引数（処理の対象）を決定し（同Ｓ１
３），相手先，メソッド，引数を組み合わせてスクリプ
ト（文字列）を作成して（同Ｓ１４），スタックをクリ
アし（同Ｓ１５），終了する。

【００２８】このプランナー部１２における処理による
スクリプト生成の例を図１０に示す。この例は，図１０
のＢ．に示すように入力された単語が「メール」と「読
む」であり，「メール」は単語辞書により名詞で，「読
む」は動詞であり，組み合わせが可能であり，それぞれ
の上位概念単語属性を用いて，図１０のＡ．に示すルー
ルに基づいてスクリプトを作成する。このルールによ
り，図１０のＣ．のスクリプトフォーマット例に示すよ
うに，発行相手先が「assist Agent」（メールの属性の
発行相手先を表す固有名詞），メソッド（動詞）がｒｅ
ａｄ，メソッドの引数（ｒｅａｄの対象）がｍａｉｌと
なるスクリプトが生成される。

【００２９】プランナー部１２で生成されたスクリプト
がエージェント部１３に供給されると，エージェント部
１３でスクリプトをチェックし，必要な情報が不足して
いる場合には，ユーザモデル１８に対しその旨を通知す
るメッセージを出力する。ユーザモデル１８は予め蓄積
されたユーザの好み（くせ）に応じた出力形式に対応し
た出力モデル１９に対しメッセージを応答し，その出力
モデル１９は対応する実出力デバイス２０を駆動する。
実出力デバイス２０に出力された応答内容をユーザが認
識することにより，ユーザは必要な情報または指示を実
入力デバイス１０に入力する。必要な情報が入力される
ことにより，エージェント部１３は対応するアプリケー
ションモデル１４に対し指示を発生し，アプリケーショ
ンモデル１４は指示されたアプリケーション（アプリケ
ーション群１５内）を駆動する命令を予め登録されたメ
ソッドから発生し，そのアプリケーションは受け取った
命令を実行する。

【００３０】図１１はユーザへの出力提示の処理フロー
である。ユーザモデル１８（図２の１８）でエージェン
ト部（図２の１３）の出力指示の中から出力内容を取り
出し（図１１のＳ１），ユーザモデルの蓄積情報（好
み，くせ等）から出力先を決定する（同Ｓ２）。次に出
力は画面表示か判別して該当すると画面に出力する（図
１１のＳ３，Ｓ４）。この場合，画面表示を行う実出力
デバイスに対応する出力モデル（図２の１９）に表示さ
せたいメッセージを出力する。次に音声出力か判別して
該当すると対応する出力モデルに音声出力をさせ（図１
１のＳ５，Ｓ６），続いて電子メールの出力か判別して
該当すると，電子メールで出力し（同Ｓ７，Ｓ８），更
にＦＡＸ出力であるか判別して該当するとＦＡＸに出力
する（同Ｓ９，Ｓ１０）。最後にファイル出力であるか
判別し該当するとファイルに出力する（図１１のＳ１
１，Ｓ１２）。

【００３１】本発明ではユーザとマルチモーダル入力統
合システムの間の会話を通じて，必要なアプリケーショ
ンの起動を指示して実行させ，システムからの出力をユ
ーザに提示する。そのために，ユーザとシステムの間の
会話は３つのレベルに分類する。

【００３２】図１２はユーザとシステム間の会話のレベ
ルを示し，３０はトップレベル，31エージェントレベ
ル，３２はアプリケーションレベルを表す。トップレベ
ル３０は，ユーザとプランナーとの会話を表し，「メー
ル」，「読む」等の目的の指示がこれに相当する。次に
エージェントレベル３１は，ユーザとエージェント部と
の会話を表し，エージェント部がアプリケーションを起
動するに当たって不足している情報がある場合に，ユー
ザとの間で行われる会話である。

【００３３】例えば，ユーザが，「レポート」，「変更
する」というトップレベルの会話による指示を入力する
と，エージェントレベルにおいて，対象とするファイル
が不明であるため，「これらのうち，どのファイルです
か」というメッセージ出力がユーザに対して提示され
る。これに対しユーザが，例えば，「３番のファイル」
という出力を発生する。また，アプリケーションレベル
は，アプリケーションとの会話であり，アプリケーショ
ンの操作に関し，例えば，「終了」，「開く」，「検
索」等のアプリケーションへのユーザからの指示や，ア
プリケーションからユーザへの出力がある。

【００３４】上記したようにユーザとシステムの間の会
話は３つのレベルに分類され，各レベルで使用する単語
はそれぞれ異なる。また，音声入力等のパターンマッチ
ングを行う入力デバイスでは，登録する単語が多くなれ
ばなるほど，テンプレートの探索範囲は広くなり，認識
の認識率が劣化する。そこで，図１３に示すようにそれ
ぞれのレベルに応じた音声テンプレート群を用意し，そ
のレベルが遷移する毎に切り替えて探索範囲を少なくす
ることによって認識率を向上できる。

【００３５】図１３は会話のレベルによる入力動作の説
明図である。この例は実入力デバイスとして音声入力デ
バイスを用いた例であり，この例では上記図１２に示す
トップレベル，エージェントレベル，アプリケーション
レベルをレベル１，レベル２，レベル３として呼ぶ。図
１３において，４０は音声入力デバイス，４１は音声辞
書（テンプレート）であって，４２〜４４はレベル１〜
３に対応する音声辞書，４５はプランナー部である。

【００３６】図１３のＡ．は音声入力デバイスとプラン
ナー部の関係を示している。音声入力デバイス内は，３
つの会話レベルに対応した音声辞書を持つ。プランナー
部は入力デバイスからのレベル情報の問い合わせを受け
付け，現在のレベルを返す。音声入力デバイスがユーザ
の音声入力を認識する際，まず最初にプランナー部に対
し現在の会話レベルを問い合わせ，プランナー部から入
手したレベル情報によって音声辞書の探索範囲を限定す
る。例えば，図１３のＢ．に示すようにプランナー部か
ら入手したレベル情報がレベル３であれば，レベル３に
対応する音声辞書４４だけを用いて探索を行い音の認識
動作を行う。

【００３７】このようにして，音声認識の探索範囲を小
さくして認識の速度を向上すると共に認識ミスを防ぎ，
認識率を向上することが可能となる。図１４は遠隔地の
エージェントに指令するマルチモーダル入力統合システ
ムの構成例を示す。

【００３８】図中，１０〜２０は上記図２に示す実施例
の同じ符号で表す各部と同じであり説明を省略する。２
１は通信ネットワークであり，インターネットを含む。
図１４の構成では上記図２の構成とは，プランナー部１
２，ユーザモデル１８とエージェント部１３との間が通
信ネットワーク２１により接続されている点が相違す
る。このマルチモーダル入力統合システムにより，ユー
ザが遠隔地にあるエージェント部１３（アプリケーショ
ンモデル１４，アプリケーション群１５を含む）に対し
て各種の処理をマルチモーダル入力により会話を行うこ
とにより，種々の処理を実行して結果を得ることが可能
となる。

【００３９】次に図１５は遠隔地のロボット群に指令す
るマルチモーダル入力統合システムの構成例である。図
１５中，１０〜１２，１８〜２０は上記図２に示す実施
例の同じ符号で表す各部と同じであり説明を省略する。
２１はインターネットを含む通信ネットワーク，２２，
２３はエージェント部（図２の１３）の機能を備えた機
構を内蔵し，各種の作業を実行するロボットＡ，Ｂであ
り，エージェント部が実質的に２つ備えられている。

【００４０】このシステムでは実ユーザ（ロボットオペ
レータ）は，音声や手振りなど好みの入力形式を用い
て，遠隔地のロボット２２，２３に対して指令を与え
る。この指令は実入力デバイス１０，入力モデル１１，
プランナー部１２，インターネット等の通信ネットワー
ク２１を介してあて先のロボット２２または２３へ送ら
れる。なお，実出力デバイス２０によりロボット２２ま
たは２３の状態を表示することができる。具体的には，
「ロボットＡ」，「移動」など直観的な言葉で指示で
き，各ロボットにはプランナー部１２が生成したスクリ
プトが送られる。このようにマルチモーダル入力により
オペレータの負担を軽減することができる。

【００４１】

【発明の効果】本発明によればユーザにとって計算の利
用目的に対応する音声や，ジェスチャーにより通常の人
間同士の会話で用いている馴染みのある音声または動作
で入力することができるので，ユーザがコマンドやアプ
リケーション名を覚える負担を大幅に軽減することがで
きる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】実施例の構成図である。

【図３】提案された相関追跡のフローチャートである。

【図４】提案された原理による手形状の認識例を示す図
である。

【図５】単語辞書のデータ構造を示す図である。

【図６】同じ上位概念を持つ単語の構成を示す図であ
る。

【図７】上位概念単語の属性の例を示す図である。

【図８】プランナー部の処理フローを示す図（その１）
である。

【図９】プランナー部の処理フローを示す図（その２）
である。

【図１０】スクリプト生成の例を示す図である。

【図１１】ユーザへの出力提示の処理フローを示す図で
ある。

【図１２】ユーザとシステム間の会話のレベルを示す図
である。

【図１３】会話のレベルによる入力動作の説明図であ
る。

【図１４】遠隔地のエージェントに指令するマルチモー
ダル入力統合システムの構成例を示す図である。

【図１５】遠隔地のロボット群に指令するマルチモーダ
ル入力統合システムの構成例を示す図である。

【図１６】従来のアプリケーション起動方法を示す図で
ある。

【符号の説明】

１マルチモーダルの入力部２プランナー部３単語辞書４エージェント部５アプリケーション群

Claims

【特許請求の範囲】

【請求項１】音声，ジェスチャー等による複数の様式
の入力の何れかを認識して認識結果を出力する入力部
と，前記各入力部から出力される認識結果を判断し，一
般化された指令スクリプトに変換するプランナー部と，
前記プランナー部からの前記指令スクリプトを解釈して
実行するエージェント部とを備え，様式の異なった入力
を上位の意味に統合して情報機器へ指令することを特徴
とするマルチモーダル入力統合システム。
【請求項２】前記入力部は情報機器の使用目的を表現
する音声またはジェスチャー等による入力を認識して対
応する単語を生成し，前記プランナー部へ出力すること
を特徴とするマルチモーダル入力統合システム。
【請求項３】請求項２において，前記プランナー部は
上位概念を表す単語を設定し，各上位概念を表す単語と
関連付けた属性を設定した単語辞書を備え，前記複数の
様式の入力手段からの単語の入力に対し前記プランナー
部は前記単語辞書を用いて上位概念を表す単語からなる
前記エージェント部で実行する指令を表すスクリプトを
生成することを特徴とするマルチモーダル入力統合シス
テム。
【請求項４】請求項３において，前記プランナー部の
単語辞書に格納された上位概念を表す単語に関連付けた
属性として，当該単語と組み合わせ可能な単語のリスト
を設定し，前記プランナー部は，スクリプトの生成時に
単語の組み合わせが可能か前記リストにより判断するこ
とを特徴とするマルチモーダル入力統合システム。
【請求項５】請求項１において，前記エージェント部
は入力されたスクリプトにより指定されたアプリケーシ
ョンの実行において，必要な入力の指示，処理の状態を
含む出力情報を発生し，前記エージェント部からの前記
出力を受け取るユーザモデルを備え，前記ユーザモデル
は，予めユーザの出力様式の好みを表す情報を保持し，
前記保持された情報に対応した様式で前記エージェント
部からの出力情報を出力することを特徴とするマルチモ
ーダル入力統合システム。
【請求項６】請求項１または２において，前記入力部
からのユーザの入力と情報機器との対話を複数のレベル
に分け，前記入力部は各レベルに対応した音声等の入力
を認識するための辞書を備え，入力に対して現在のレベ
ルを識別して，対応する辞書を使用して認識を行うこと
を特徴とするマルチモーダル入力統合システム。
【請求項７】請求項１において，前記プランナー部と
エージェント部との間をネットワークで接続し，前記プ
ランナー部が生成するスクリプトを遠隔地に設けたエー
ジェント部に与えることを特徴とするマルチモーダル入
力統合システム。