JP2000200125A

JP2000200125A - インタフェ―ス

Info

Publication number: JP2000200125A
Application number: JP37576499A
Authority: JP
Inventors: A Purebosuto Scott; エイプレボストスコット; W Bigmore Timothy; ダブリュビックモアーティモシー; W Sullivan Joseph; ダブリュスリバンジョセフ; Churchill Elizabeth; チャーチルエリザベス; Gaajenshon Andreas; ガージェンションアンドレス
Original assignee: Fuji Xerox Co Ltd; Xerox Corp
Current assignee: Fujifilm Business Innovation Corp; Xerox Corp
Priority date: 1998-12-30
Filing date: 1999-12-28
Publication date: 2000-07-18
Also published as: US6570555B1

Abstract

(57)【要約】【課題】ユーザの入力を効果的に取り込む。【解決手段】バーチャル空間に合成キャラクタを表示
する。物理空間に存在するユーザの位置や動作などのユ
ーザ入力を取り込み、ユーザと合成キャラクタとの相互
作用（インタクト）を検出し、各種の反応を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人間−コンピュー
タインタフェース（ＨＣＩ）に関する。本発明は特に、
ユーザと、ＨＣＩなどの動画化された擬人キャラクタと
のインタラクション（対話；interaction）に関する。
本発明はより詳細には、擬人キャラクタの構築のための
構成に関する。そして本発明はさらに、処理技術と入力
／出力モダリティとを統合することで、言語およびイン
タラクション技術しか有しないユーザが直観的に使用で
きる会話キャラクタインタフェースの生成に関する。

【０００２】

【従来の技術】合成動画キャラクタは、大きく二つの部
類に分割することができる。一つは、人間であるユーザ
の動作によって直接的に制御されるキャラクタである。
他方は、ユーザの動作から独立し、自律的または事前に
編集されたスクリプトにしたがって行動するキャラクタ
である。合成キャラクタ種類の分類を、図１に示す。

【０００３】ユーザの動作によって制御されるキャラク
タは、しばしば「アバター（化身；avatar）」と呼ば
れ、一般的にはその行動を制御するユーザを仮想環境内
に表示するよう機能する。これらのアバターキャラクタ
は、ハビタット、ザ・パレス、ボディチャット［ヴィル
ジャルムソン９７］、オズバーチャル、オンライブ！テ
クノロジーズアンドワールズ社などの、グラフィカルチ
ャットルームやオンラインバーチャルワールド（Habita
t, the Palace, BodyChat [Vilhjalmsson97], OzVirtua
l, OnLive! Technologies and Worlds, Inc.）で使用さ
れている。

【０００４】グラフィカル仮想環境におけるリアルタイ
ムインタラクションの計算上の複雑さに起因し、アバタ
ー表示は、グラフィック上単純になりがちであり、自然
発生的なジェスチャ、顔の表情、および他の非言語的行
動を表現するのに十分でないことがある。その上、オン
ライン仮想ワールドでは入力モダリティが極めて制限さ
れており通常はマウスおよびキーボードだけであるた
め、アバターのユーザは、各ジェスチャ動作に対してき
め細かい意識的な制御を実施しなければならない。

【０００５】ヴィルジャルムソンのボディチャットシス
テムは、アバター内に認知および順番交代（turn-takin
g）行動のモデルを含ませることでこの問題点を克服し
ようとしている。たとえば、会話時のためにユーザが規
定したパラメータに基づいて、アバターにいくらかの自
律性を持たせてどこを見るかの判断を実施させる。

【０００６】直接に制御されるキャラクタの他の利用と
しては、人間の役者の動作に基づいて自動的に動画を生
成する場合が挙げられる。役者の身体上の点をキャラク
タのグラフィック表示内のノードに関連させることによ
って、この「パフォーマンス動画化」技術はキャラクタ
において、きめ細かいジェスチャおよび表情の生成を可
能にし、現実的な視線配置行動および身体の動きを表現
できるようにする。

【０００７】ユーザが直接制御しないキャラクタは、さ
らに二つのグループに分割できる。その一方は、行動が
事前にスクリプト化されているものである。他方は、行
動が、実質的に自律的であり、ユーザからの入力に基づ
いて実行時に算出されるものである。前者の種類のキャ
ラクタの行動の幅は、キャラクタの作成者によって明確
に規定されなければならない。事前スクリプト化の一つ
の利点は、言語的および非言語的行動の統合化を実行時
に計算する必要がないことであり、それにより、動画モ
デルにおけるモータ制御を進行中に計画する複雑な作業
を回避できる。

【０００８】その反面、スクリプト化キャラクタでは、
ユーザとのインタラクション能力および多モード（マル
チモード）ユーザ入力に対する反応能力が制限される。
スクリプト化キャラクタシステムは、以下を含む。・ドキュメントアバター［ビックモア９７］（Document
Avatar [Bickmore97]）：これらのキャラクタは、ハイ
パーテキスト文書に添付され、文書の特定箇所（たとえ
ばリンク）が選択された時に特定の行動を実施するよう
スクリプトされることができる。ドキュメントアバター
を利用することで、特定の読者の視点を表して文書内の
案内ツアーを提供できる。アバターは、話し、文書内を
移動し、物体を指差し、さらにはリンクを実行するよう
スクリプトされることができる。

【０００９】・マイクロソフトエージェント（Microsof
t Agent）［マイクロソフト９７］：これらのキャラク
タは、テキストストリングを話し、特定の動画シーケン
スを実施し、隠れ、動き、さらにはサイズ変更をするよ
うスクリプトできる。ユーザは、キャラクタをドラッグ
するか、ポップアップメニュからコマンドを選択するこ
とによって、キャラクタとインタラクトする（関係す
る；interact）。

【００１０】・ジャックプレゼンター［バドラー９７］
（Jack Presenter [Badler97]）：このシステムでは、
擬人的に正確な三次元動画人物がプレゼンテーションを
実施するよう、スクリプトできる。キャラクタの作成者
は、どのようなジェスチャをいつ、どこで実行すべきか
を説明する注釈を含むナレーションテキストを作成す
る。ユーザは単に、キャラクタの事前決定された行動を
観察する。

【００１１】・ＰＰＰパーソナ［アンドレ９６］（PPP
Persona [Andre96]）：このプロジェクトは、プレゼン
テーションの目標時間長さが設定されている中で特定の
題材の講義を計画する計画システムを採用している。プ
レゼンテーションは人間の著者がスクリプトするのでは
なく、計画システムが作成する。ドキュメントアバター
およびマイクロソフトエージェントのキャラクタとは異
なり、ユーザは、プレゼンテーション中にキャラクタと
インタラクトできない。

【００１２】第二のグループである間接的に制御される
キャラクタは、自律的（または半自律的）なキャラクタ
である。この分野の技術はさらに、娯楽／シミュレーシ
ョンキャラクタと、タスクベースのキャラクタとの、二
つの部類に分割できる。前者の部類は、非人物キャラク
タ表示（たとえば、ＭＩＴメディアラボラトリーのＡＬ
ＩＶＥシステム［Ｍａｅｓ９４］、ＰＦマジックのドッ
グズ（PF Magic's Dogz）、富士通インタラクティブの
フィンフィン、およびＣＭＵのオズ）に加え、擬人仮想
役者を作成するシステム（ＮＹＵメディアリサーチラボ
ラトリーのインプロヴシステム［パーリン９６］（Impr
ov system [Perlin 96]）およびスタンフォード大学の
バーチャルシアタープロジェクト）を含む。

【００１３】前述のタスクベースの自律的キャラクタ
は、以下のシステムを含む。・マイクロソフトオフィスキャラクタ：ＭＳオフィスシ
リーズのアプリケーションは、一連の動画キャラクタを
含むことにより、ユーザヘルプと、オンライン文書化へ
のインタフェースとを提供する。これらのキャラクタ
は、タイプされた自由形式の質問に応答でき、マウスで
クリックできるメニュ選択肢を含むテキストバルーンを
用いて応答する。

【００１４】・マイクロソフトパーソナ（Microsoft Pe
rsona）［マイクロソフト９７］：このパーソナプロジ
ェクトでは、ユーザが動画キャラクタを通じて、コンピ
ュータ化されたジュークボックスを制御することができ
る。この動画キャラクタは、音声入力を受け付け、限定
的な自然発生的ジェスチャを伴う音声出力を生成する。

【００１５】・アニメーテッドコンバセーション［カッ
セル９４］（Animated Conversation [Cassel94]）：こ
のシステムでは、二つの動画キャラクタ、ギルバートと
ジョージが、内容に適した発言、ジェスチャ、および表
情を用いて互いに会話することで、仮想銀行において銀
行取引を交渉する。

【００１６】・ワイミール［ソーリソン９６］（Ymir
[Thorisson96]）：ワイミールは、順番交代および他の
インタラクション能力を有する自律的キャラクタの構成
である。ユーザは、ワイミール構成によって開発された
動画キャラクタ、ガンダルフと、自然の発言およびジェ
スチャを用いてインタラクトすることで、太陽系につい
ての質問をする。上記に引用した従来技術のうち、この
ガンダルフ／ワイミールシステムのみが、ジェスチャお
よび頭の位置などの、いくらかの自然の非言語的入力を
利用する。

【００１７】上述の合成キャラクタを含むユーザインタ
フェースはしばしば、デスクトップなどの一般的なメタ
ファー（隠喩）を用いて、コンピュータシステムをより
簡単かつ直観的に使用できるようにしている。しかしこ
れらのメタファーは、特に初心者のユーザには必ずしも
よく理解されず、詳細な教習が必要であることが多い。
現代の世界において、コンピュータが遍在しシステムの
複雑さが増すにつれて、最少限の専門技術および教習し
か要しない人間−コンピュータ間のインタラクション方
法の必要性が高まっている。

【００１８】近年の研究［リーブス＆ナス９７］（[Ree
ves&Nass97]）では、人間のコンピュータおよび他の形
態のメディアとのインタラクションは本質的に社会的な
性質のものであり、我々は（無意識的に）コンピュータ
を社会的関係者として扱い、他人との社会的インタラク
ションにおけるルールを、ユーザはコンピュータにも適
用していることが示唆されている。しかし、通常のイン
タラクションメタファー（たとえばメニュ、デスクトッ
プ、ウィンドウなど）は、コンピュータを、効果的な使
用のためにはユーザがマスターしなければならない物理
的ツールとして取り上げている。

【００１９】

【課題を解決するための手段】本願の発明者は、物理的
ツールではなく社会的関与のルールに基づくインタフェ
ースのメタファーを用いることで、ユーザがコンピュー
タおよび他のデバイスに対して社会的にインタラクトで
きるようになり、多くのユーザにとって極めて有用であ
ることに着目した。

【００２０】したがって、社会的関与のルールに基づく
インタフェースを提供することを、本発明の一つの目的
とする。本発明の別の目的は、コンピュータまたは他の
デバイスの操作のための、ユーザのアライ（味方；all
y）の構築に基づくインタフェースを提供することであ
る。

【００２１】本発明のさらなる目的は、複数の処理技術
および複数の入力／出力モダリティを統合することで、
自然的、直観的、かつ一貫性のあるインタフェースとし
て機能する会話キャラクタを提供することである。また
本発明の目的の一つは、会話キャラクタが実行すべき動
作を決定する中央モジュールに未処理および処理済の両
データを供給する、会話キャラクタのモジュール構成を
提供することである。

【００２２】さらに本発明は、基本的な言語およびイン
タラクション技術しか有しないユーザが操作可能な、す
ぐに使える（walk-up）インタフェースを供給すること
を目的とする。本発明の他の目的は、キャラクタの仮想
空間内およびユーザの物理的空間内でインタラクトする
会話キャラクタを提供することである。

【００２３】これらおよび他の目的は、システムのイン
タフェースによって達成される。そのインタフェース
は、ユーザ入力を捉えるよう構成された入力デバイス
と、前記ユーザ入力に対して実施される思考性（delibe
rative）および反応性（reactive）処理を統合する処理
部と、思考性および反応性処理に基づいて動作を実施す
る出力機構とを含む。

【００２４】代替案としては、本発明は、ユーザ入力を
捉えるマルチモードインタフェースと、前記入力に応答
するよう構成された合成キャラクタとを含む。マルチモ
ード入力は、合成キャラクタを制御する思考性および反
応性処理の組み合わせに対して供給されることが好まし
い。

【００２５】また本発明は、デバイスを操作する方法で
あって、仮想空間を表示するステップと、物理的空間内
のユーザからユーザ入力を得るステップと、前記入力に
対する思考性および反応性の両処理を結合して応答を生
成するステップとを含む。思考性処理は、物理的環境お
よびユーザ動作に関する一貫性のある理解の中にユーザ
入力の選択された部分を融合するステップと、ユーザか
ら得た現在および過去の入力を反映する談話（discours
e）モデルを更新するステップと、ユーザ入力を表現す
る少なくとも一つのフレームを反応性処理へ出力するス
テップとを含む。

【００２６】反応性処理は、選択されたユーザ入力の非
同期性の更新情報を受信し、前記思考性処理からのユー
ザ入力に関するフレームを理解するステップを含む。反
応性処理はまた、ドメインに関する静的知識ベースから
のデータと、ユーザ、物理的環境、および仮想空間の間
の現在の談話に関する推測情報を有する動的知識ベース
からのデータと、にアクセスするステップを含む。反応
性処理はさらに、非同期性更新情報およびデータに基づ
いて仮想空間における現在の動作を決定するステップを
含む。

【００２７】本発明のより完全な認識およびそれに付随
の多数の利点は、以下の詳細な説明を添付の図面と共に
考慮することを通じて本発明をよりよく理解することに
よって明らかになる。

【００２８】

【発明の実施の形態】上述のスクリプト化キャラクタシ
ステムの各々は以下に説明する問題点を有し、我々が提
案するキャラクタ構成はそれらの問題点に取り組む。・マルチモード非対称性：キャラクタは、発言、顔の表
情、およびジェスチャを通じて「伝達」することができ
るが、ユーザ側のそれらの行動を読み取ることができな
い。ユーザ入力は、マウスのクリックおよび単純なテキ
ストコマンドに限定される。これらのシステムは、ユー
ザが理解しやすい形態の出力を生成するが、入力モダリ
ティが貧弱なため、これらのキャラクタは会話インタフ
ェースとして適さない。

【００２９】・前後関係の欠如：行動が事前にスクリプ
ト化されているため、これらのキャラクタは、前後関係
によって異なる応答をする能力が極めて限定されてい
る。たとえば、ドキュメントアバターが特定のハイパー
リンク上に配置された場合は、実施された他の動作に関
わらず、いつも同じ行動を示す。

【００３０】図を参照するが、類似の符号は、いくつか
の図にわたって同一または対応する部分を示す。図２
は、インタフェースのインタラクションを示す図であ
る。この図は、ユーザ、システム、およびアライの間の
インタラクションの一例を示す。濃線は、ユーザが直接
にアクセスできるシステム部分を示す。ユーザとアライ
との間の矢印の濃度は、それらが伝達に使用できるモダ
リティの数に関連した、それらの間のインタラクション
の帯域幅を表す。

【００３１】このインタフェースは、社会的な忠誠構築
に基づいている。複雑なコンピュータシステムの使用に
おいてユーザのアライとして機能することで情報収集、
コマンド実行、または作業完了のための補助を提供す
る、動画仮想インタフェースキャラクタの構築のための
構成を提供する。

【００３２】ツールのメタファーに基づく従来のユーザ
インタフェースは多くの場合、ユーザとインタフェース
との間に対立的な関係を促進させ、インタフェースがユ
ーザのためにではなく、ユーザに反して動作していると
いう印象をしばしば与える。リーブスおよびナスの研究
では、そのように社会的（または反社会的）行動を当て
はめて考えることは一般的であると示唆されている。本
願の発明者は、言語、性格、および使用の簡便性を通じ
てユーザに対して明確な忠誠を示す動画キャラクタイン
タフェースを設計することで、望ましくない対立的イン
タラクションを最少化できることに着目した。

【００３３】本願の発明者はまた、ユーザとキャラクタ
インタフェースとの間の忠誠感覚を養う一つの方法とし
て、発言、表情、ジェスチャ、および他の形態の身体コ
ミュニケーションを含む複数のモダリティが関わる対面
しての会話にまつわる社会的メタファーを使用すること
が可能であると気づいた。動画キャラクタとの対面式イ
ンタラクションによってユーザは、根幹のシステムの複
雑さからインタフェースを切り離して捉えることができ
る。対面式インタラクションのメタファーに沿って構築
されたインタフェースによって、人間であるユーザは、
新しい「ツール」を学習させられることなく、定着し繰
返し実施している社交技術に依存することができる。

【００３４】自然言語処理（ＮＬＰ）の分野では、すで
に多くの研究が為されている。しかし、ＮＬＰシステム
は大部分においてテキスト入力に依存しており、英語な
どの自然言語の質問やコマンドをタイプする時点に至る
前に、ユーザはツールに基づくインタフェースを学習す
る必要がある。音声インタフェースは、テキストのみの
ＮＬＰシステムの落し穴をある程度は回避することがで
きるが、ジェスチャなどの非言語的チャネルを通じた情
報を用いることができないし、また、話手のイントネー
ションが伝達する意味合いなどの発言の抑揚自体に含ま
れるいくらかの情報を使用することもできない。

【００３５】対面式インタラクションにおいてジェスチ
ャ、表情、およびイントネーションパターンが果たす重
要な役割は、少なくとも二つある。第一に、これらの
「パラ言語的」行動は、音声のみからは捉えられない意
味論上の内容を伝達できる。それはたとえば、話手が指
を差すジェスチャで物体を示す場合などである。第二に
「パラ言語的」行動によって、対話者間の情報の流れを
調整するインタラクション上の微妙な合図を出すことが
可能である。それはたとえば、発言権を維持しようとし
て、フレーズの最後で話手がイントネーションを上げる
場合などである。

【００３６】本発明の構成では、（従来の合成キャラク
タ構成でそうであったように）これらの二つの役割に対
して別々に取り組むことはせずに、その代わりに、入力
および出力の両モダリティにおける内容含有行動および
インタラクション上の行動の両行動を処理する統合モデ
ルを供給する。本発明は、タスクベースの対面式会話能
力を有する（すなわち、パラ言語的行動の認識および生
成能力を有することで、意味論上およびインタラクショ
ン上の両情報をユーザと交換できる）、動画アライキャ
ラクタインタフェースの構築のための構成を提供する。

【００３７】本発明の構成によって開発されたキャラク
タは、ユーザの発言、身体位置、特定の部類のジェスチ
ャ、および一般的な視線方向を認識する能力を有する。
またそれに応じ、そのようなキャラクタは、話し、ジェ
スチャおよび表情をつくり、視線を適切な方向に配する
ことができる。これらのキャラクタは、根幹のシステム
から明らかに分離されて具体化されたインタフェースを
提供する。ユーザは、そのようなインタフェースに単純
に近づいて自然にインタラクトすることで、情報収集ま
たは所定の作業を実施することができる。図３に、イン
タラクション例を示す。この例ではキャラクタが、壇上
のパネルディスプレイから部屋の照明を制御する方法を
説明している。ヘルプメニュまたは他の事前にスクリプ
ト化された応答を読む必要はなく、代わりにユーザは、
ユーザと共に目の前の問題を解決するよう動作するキャ
ラクタとインタラクトする。

【００３８】本発明は、内容含有情報を扱う（数種のモ
ダリティで会話の内容を生成する）構成や、会話の両参
加者間のインタラクションの性質を扱う（同様に数種の
モダリティに依存する）構成を含む、理論および技術を
融合する。本発明は、言語理解および生成と、非言語的
伝達行動を表すマルチモード入力および出力とを、リア
ルタイムで統合する点でユニークである。本発明は、コ
ピー機、会議用設備、ＡＶ機器、およびＰＣアプリケー
ションソフトウェアなどを含む、幅広い種類のシステム
およびデバイスの制御に適用できる。

【００３９】本発明はまた、対面式インタラクションを
実施する自律的擬人キャラクタを作成するための反応性
構成および思考性構成を、融合および統合する。反応性
構成によってキャラクタは、言語的および非言語的合図
に対して、深い言語学的分析を実施することなく直ちに
反応する能力を得る。そのような合図によってキャラク
タは、順番交代および他の調整行動を、非言語的に納得
が得られるよう合図することができる。対照的に、思考
性構成によってキャラクタは、非言語的入力にリアルタ
イムで反応的に応答することを必要としない複雑なダイ
アログをプランする能力を得る。

【００４０】本発明はさらに、反応性および思考性機能
を合併することにより、適切な反応性非言語的行動を示
すと同時にダイアログをプランすることができる。反応
性および思考性行動は互いに協同して機能しなければな
らないため、反応性および思考性構成を単に連結しても
適切な構成は得られず、それらの構成の反応性および思
考性側面を統合しなければならない。

【００４１】また本発明は、キャラクタと、ユーザが占
有する物理的空間との間の動的インタラクションを可能
にする。キャラクタが物理的空間内の物体を指差しても
よいし、ユーザは、キャラクタが占有する仮想空間内の
物体を指差すこともある。さらに、多様な入力によって
インタフェースは、装置がどこに位置するかをトラッキ
ング（ビデオまたはセンサベースの機器を通じて）また
は認識することができる。

【００４２】提案する構成において反応性および思考性
行動の統合は、一つの構成部である「反応モジュール」
を中心にしたモジュール方式設計によって達成される。
「反応モジュール」は、各反復において常時「ワールド
（world）」の状態を評価する小さなループ（たとえば
図１１を参照のこと）を実行している。ワールドについ
ての情報は、人間であるユーザがどこを見ているかを特
定する座標などの非言語的行動を表す未処理入力データ
から得られ、それに加え、ユーザの言葉またはジェスチ
ャの意味を表す思考モジュールからの処理済データから
も得られる。

【００４３】各ステップで反応モジュールは、どの入力
に対して動作する必要があるか、並びに動作をどのよう
に整理するかについての重みおよび優先順位（前提が満
たされたルールの各セットに対する重要度）に基づいて
判断を下す。アニメーテッドコンバセーションとは異な
り、思考性行動は反応モジュールによって調整されるこ
とがある。それにより、たとえばユーザがキャラクタに
対して背を向けた場合は、キャラクタはユーザの発言を
無視する必要があるかもしれないことを理解する。反応
性行動は、直前の行動のみから派生するものではなく、
実行されるまでに数ループ反復かかることのあるダイア
ログプラン（思考性言語構成部によって生成される）か
ら派生することもある。たとえば、ダイアログにおける
順番交代を示す主要な要素であるキャラクタの視線配置
行動は、特定の談話目的の達成にはいくつかのプランス
テップを実行する必要があるという知識によって影響さ
れる。

【００４４】反応性および思考性プラニングを統合する
ハイブリッド構成を用いることにより、自律的合成キャ
ラクタにおいていくつかの追加の新規特徴が実現され
る。それらを、以下の段落で要約する。口語処理表１は、ここで考慮されている自律キャラクタシステム
の言語能力の比較を示す。

【００４５】

【表１】ワイミール設計は、設計の主に反応的な処理において
は、ダイアログ計画を統合しておらず、したがって口語
出力は録音されている（すなわちあらかじめ計画されて
いる）。言語（何を言うか及びどう言うか）は文脈（お
よそ談話の履歴）に依存するところが大きいので、録音
された応答はしばしば不自然に聞こえ、または文脈的に
不適切な場合もある。これは、キャラクタの信用性に大
きな影響を及ぼす。

【００４６】本発明はこの問題に対して、単純なテンプ
レートによる生成体制を採用し、参照表現に柔軟性を持
たせ（人がこの世界で対象を参照する方法）取り組む。
本発明はまた、プリボースト（Prevost)（プリボースト
９６）の議題／コメント構成のモデル及びイントネーシ
ョンへの関係を利用し、合成したスピーチの出力に、文
脈に適切なイントネーションを持たせる。言葉に出さない命題及び対話行動の統合導入部で説明したように、言葉に出さない行動の重要性
は、二つの部分を有する。一つは命題的な内容を伝える
ことであり、もう一つは、対話においての情報の流れを
整理することである。従来のシステムは、これらの役割
の片方または他方のどちらかに集中しているのに対し
て、本発明は、多様な入力における、言葉に出ない行動
を分析し、明白な命題的な内容（たとえば、指示ジェス
チャまたは視線など）を解釈し、対話の順番交代の合図
（視線または体の位置によって合図される）を見つけ
る。対話及び命題的な行動を自律キャラクタのためにモ
デル化することは新しい技術であり、そしてこれは本発
明のハイブリッド設計の直接的な結果である。

【００４７】設計上の決定に直接関係する新しい技術に
加え、本発明のいくつかの新しい特徴は、今まで関連し
たシステムにおいて実現されていなかった。これらの特
徴では、後述するように、物理的な環境をキャラクタが
表現することおよび認識することを考慮し、すなわち、
ユーザへの負担を考慮する。本発明のシステムは、ユー
ザ及びキャラクタが本当の世界にある対象を参照できる
ように設計され、ユーザ情報、たとえばユーザの位置や
姿勢など、をキャラクタが知覚できるように設計されて
いる。

【００４８】例えば、・ユーザの存在の認識−姿勢やユーザに顔を向けるなど・フィードバック機能−キャラクタがいくつかのモダリ
ティにおいてフィードバックを与える。キャラクタは、
うなづくこともあるし、ユーザのスピーチの短い間隔に
反応し言葉を補足する文（たとえば「うーむ」）または
「なるほど」などの短い文を発することもある。キャラ
クタはまた、眉毛を動かし単語または文章を一部理解し
ていることを示す。・順番交代機能−キャラクタは、話す順番をトラッキン
グしており、キャラクタの順番時のみ話す。一つの実施
形態では、キャラクタがいつでも、ユーザの言葉による
中断を可能にし、ユーザが話し始めると順番を譲る。も
しユーザがジュスチャをした場合、キャラクタはこれ
を、話したいという希望の表現と解釈し（１４）、した
がって一番近くの文章の区切りで現在の意見を止める。
最後に、キャラクタが話す順番の終わりには、キャラク
タはユーザに顔を向け、キャラクタの順番の終わりを示
す。キャラクタはまた、ユーザの視線をトラッキング
し、順番終了の視線での合図を理解する。

【００４９】その他の機能は、対話的及び命題的な内容
の両方を含む。例えば、同一または異なる実施形態にお
いて、・歓迎／別れの挨拶機能−キャラクタは、歓迎の時やさ
ようならを言う時に話しジェスチャをする。歓迎の挨拶
の一連では、キャラクタが名乗り、そしてユーザの名前
を聞いて命題データベースに加える。・強調機能−人は韻律的な手段（ピッチアクセント）ま
たはビートジェスチャ（ｂｅａｔｇｅｓｔｕｒｅ）（短
く形のない手の動き）を言葉とともに示し、特定の言語
学的な項目を強調する。強調を認識することは、発言の
どの部分が談話の鍵となるのかを決定するために重要で
ある。例えば、ユーザが「花崗岩のタイルのフロアリン
グが欲しい」と言った時に、キャラクタは、「ここに花
崗岩を使うのはいい選択ね」と答えることができ、また
はユーザが「花崗岩のタイルのフロアリングがほしい」
と言った時に、キャラクタが「ここにはタイルが似合う
わね」と答えることができる。出願人は、しばしば強調
を示す「ビート」ジェスチャを検出するためのジェスチ
ャ分類システムを現在開発している。出力側では、出願
人は、キャラクタにどちらのモダリティを用いても強調
を示すことができるように計画している。

【００５０】これらの会話的機能は、会話的行動として
実現される。例えば、順番交代のためには、次のような
ものを用いることもできる。もし、キャラクタの順番
中、キャラクタが話している時にユーザがジェスチャを
始めた場合、これはユーザの「順番を譲って欲しい」機
能と解釈される。もしキャラクタの順番中、キャラクタ
が話している時にユーザが話し始めた場合、これはユー
ザへの「順番交代」機能と解釈される。もしユーザが話
しているときに、５００ｍ秒よりも短い時間、間隔があ
いた場合、「フィードバックが欲しい」機能と解釈され
る。もしユーザが話していて平叙文を発し、話及びジェ
スチャを止めた場合、又は命令または疑問詞を発した場
合、これらの入力は、キャラクタに「順番を譲る」機能
と解釈される。最後に、もしユーザの順番中に、平叙文
を発した後も５００ｍ秒以内の間隔の後にジェスチャを
続ける場合、またはもしユーザが平叙文の後に５００ｍ
秒以内の間隔の後にその他の文章を話し始めた場合、こ
れは、「順番維持」機能と解釈される。この方法は、表
２にまとめられる。

【００５１】

【表２】したがってスピーチは、異なる対話的な情報を伝える場
合があり、会話の状況および他のモダリティにより何が
伝達されるかによって、順番交代または順番を譲るまた
は順番維持の機能と解釈される場合がある。

【００５２】会話的行動を生成するために同様の方法が
使われる。キャラクタは、現在の会話の状況及びキャラ
クタが伝達しようとしている会話機能に基づき、スピー
チおよびジェスチャおよび顔の表現を生成する。例え
ば、ユーザが最初にキャラクタに近づいた時（「ユーザ
が存在する」状況）、キャラクタはユーザを見る、笑う
及び／又は頭を動かすことにより、ユーザとの会話に参
加する意志を示す。会話の順番交代が始まると、キャラ
クタはユーザと４５度の角度になるように体を動かす。
ユーザが話している時に、キャラクタが順番を譲って欲
しい場合は、キャラクタはユーザの方を向き、言葉を補
足する文をつぶやく（「うーん」）。キャラクタが話し
終え順番をユーザに返す時には、キャラクタはユーザの
方を向き、キャラクタの手をジェスチャ空間の外に置
き、何かを予測するように眉毛を動かす。表３はキャラ
クタの現在の出力動作をまとめたものである。

【００５３】

【表３】物理的な対象の参照図４に示すように、本発明の設計は、ユーザが仮想上で
動くキャラクタと対話するだけでなく、本当の世界にあ
る対象とも相互に作用することも可能にする。前述の他
のシステムはユーザに仮想の対象とのみ作用することを
可能にする。例えば、本発明の設計では、ユーザが会議
室の照明器具を指しキャラクタに「この電灯をつけてく
ださい」と頼むことができる。その他に、キャラクタが
照明パネルまたは室内の他の対象を指し、たとえばその
使い方についてコメントすることもできる。多様な入力表４は、本発明の設計にもっとも関係があるシステムで
使われる多様な入力及び出力を分類したものである。表
４に示すように、ワイミール及び本発明の設計は、ほと
んどをテキストに依存する他のシステムに比べ、より広
い範囲の多様な入力に対応している。

【００５４】

【表４】表４は、ワイミールの多様な能力と本発明の設計の多様
な能力との重要な違いを示す。ワイミールでは、ユーザ
が、体トラッキングジャケットやサイバー手袋や頭に取
り付ける視線トラッキング装置などの邪魔になるハード
ウェアを着る必要がある。これらの装置は、ユーザの自
然な相互作用からずれ、また各ユーザに対し、数分間を
有する再較正処理を必要とする。

【００５５】さらに上述の装置は、ワイミールが処理で
きるよりも微細な出力を生じ、その結果、多くの不必要
な計算が生じる。例えば、サイバー手袋は、指の各関節
の現在の形を示すデータを提供するが、ワイミールは、
空間における手の場所のみに注意を向ける。同様に、ワ
イミールの頭に取り付ける視線トラッキング装置は、ユ
ーザの視線の方向について細かい計測を行うが、システ
ムは、ユーザがだいたいどちらの方向を向いているかの
近似のみに注意を向ける。

【００５６】本発明は、ジェスチャ及び視線のトラッキ
ングに対して、EXPALおよびMITにおいて現在開発されて
いる視覚に基づく方法を考慮する。視覚に基づく方法は
このような細かい分析をすることができないが、少なく
ともワイミールに必要とされる程度の細かい分析を行う
ことはでき、同時に体に取りつける邪魔なハードウェア
を避けることができる。例えば、視覚に基づくシステム
は、ユーザのｘ，ｙ位置を色の違い、運動の検出、また
はその他の技法によって決定する。

【００５７】図５は、本発明の設計の高レベルの図を示
し、反応部品を含むモジュールとより思考するモジュー
ルとの分析を示す。この反応部品を含むモジュールはリ
アルタイム（〜１５−３０ヘルツ）の処理を実行し、基
本的に自然に「反応性」である（反応部品５００を参
照。また反応／反応モジュールとしても参照される）。
「思考」モジュールは、些細でない推論を実行し単一の
出力を生じるために複数のリアルタイムのサイクルをか
ける場合もある（思考性部品５１０を参照。また思考／
思考モジュールとしても参照される）。入力マネージャ
５２０は、すべての入力装置５４０へのインタフェース
を有し、入力データに対して信号処理を行い、その結果
を入手できる時に反応部品５００及び思考性部品５１０
にルーティングする（非同期）。アクションスケジュー
ラ５３０は、全ての出力装置（モジュール）５５０への
インタフェースを有し、動作（出力）要求を受け取り
（反応及び思考性部品から）、その要求に答えようと
し、必要とあれば衝突の解決を実行し、要求者に要求さ
れたアクションが完了したことまたはキャンセルされた
ことを通知する。

【００５８】反応部品５００は、システムの「動作選
択」機能を実行し、各タイムステップにおいて、キャラ
クタが何をするかを決定する。思考性部品５１０は、単
一（例えば、スピーチのみ）または複数のモダリティの
入力データの理解（認識）および動作／応答および動作
生成などの機能を実行する。

【００５９】図６は、理解モジュール６１０及び応答プ
ランニングモジュール（反応プランナ）６２０及び生成
モジュール６３０へも拡張した思考機能を示す。理解モ
ジュール６１０は、多様なセンサの統一を行いユーザが
何をしているのか、または何を伝達したいのか、を理解
する。反応プランナ６２０は、後に実行されなければな
らない一連の動作を合成する。生成モジュール６３０
は、高レベルの動作の明細を、現在の実行サイクルで直
接実行される語根語にする。

【００６０】図７は、設計の詳細な図を示し、システム
で使われるデータの保存を示す。これらは、複数のモジ
ュールで共有される状況情報をあらわし、知識ベース７
１０及び談話モデル７２０及びプラン７３０を含む。知
識ベース７１０は、システムの仕事メモリをあらわし、
初期化データ（「静的知識ベース」）や例えば電灯の特
定の列における照明のレベルなどの世界の状況に関する
情報や例えばユーザの位置や視線などのユーザ及び現在
行っているタスクに関する一過性または短時間の情報
（「動的知識ベース」）などを含む。様々な周辺ハード
ウェア（例えばビデオカメラ及び認識ソフトウェアやセ
ンサに基づくシステムなど）が設けられ、器具の位置を
決定する入力を可能にする。

【００６１】談話モデル７２０は、ユーザとのダイアロ
グの状況情報（発言の意味論上の表現の記録）を含み、
主に自然な言語の理解及び生成のために使われる。プラ
ン７３０は、キャラクタが行おうとしている未来の動作
をあらわし反応モジュールの動作に影響を及ぼす。例え
ば、３つのステップのプランのステップ２及びステップ
３はステップ１がどのように実行されるのかに影響を及
ぼす。

【００６２】設計の部品を説明したところで、個々のモ
ジュールを説明する。入力マネージャ入力マネージャ５２０は、主に入力装置からデータを取
得し残りのシステムが受け入れられるような形に変換
（アルゴリズム信号処理ルーチンを通じて）し、その結
果を理解モジュール６１０及び／または反応部品５００
にルーティングする。とても動的なドメイン（例えばリ
アルタイムで制御されるアプリケーション）でこの機能
を反応モジュール５００と同期で実行することもできる
が、比較的変化の頻度が低いため、非同期を基本にして
機能する可能性が高く、入力が変化したときのみに出力
を送る。しかし、いくつかの種類の情報、たとえば現在
の電灯の設定などは、システムを通じて非同期の更新を
送り、状況が変わるたびに動的なメモリを更新するより
も、調査／必要な時に基づくことにより、より効率的に
取得できる。

【００６３】一つの実施形態では、入力マネージャが、
キャラクタによって占められる仮想空間の各々からのデ
ータ入力とユーザを含む本当の空間（ドメイン）とを同
期化させる（タイムスタンプを発行する）。入力マネー
ジャはまた、物理的な空間で検出された動きを、対応す
る仮想空間上の座標と較正する。ユーザからのデータ入
力及びドメイン及び仮想空間に関する情報の入力は、単
一の構成に配置され、他のモジュールに送られる。フレ
ームとして参照されるデータ構成をこの単一の構成とし
て使うこともできる。

【００６４】フレームでは、ユーザとキャラクタとの間
の対話の特定の面に関係するデータ（例えば、体の位置
や視線など）は、迅速なアクセス／参照のために同じ場
所に保持される。フレームのスロットは、データを保存
するためにまたは、データを保持する他のフレームまた
はデータ構成を参照するために使われる。

【００６５】入力マネージャは、世界の状況の変化を検
出した時にその情報を使って動的知識ベースを更新して
もよい。その他の方法では簡単に、情報に作用すること
に加え動的知識ベースの更新を一手に引き受ける反応モ
ジュールに、状況情報を送ることもできる。更にその他
の方法では、理解モジュールが入力マネージャの知覚タ
スクを「伝える」ように構成されてもよい。

【００６６】入力マネージャは、装置管理の負荷が理解
モジュール６１０及び反応部品５００から軽減され理解
及び反応モジュールへの明確なインタフェースを確立す
るために、別個のモジュールとして存在する。装置管理
は、複雑な計算及び装置の初期化やフォールト検出、ポ
ーリングなどの時間が限られた操作を伴う場合がある。
入力マネージャ自体を分配された処理として実行し、複
数のコンピュータ上の入力装置の使用を容易にすること
もできる。入力マネージャモジュールはまた、適切な入
力装置の抽象を提供しシステムへの新しい装置の迅速な
追加を容易にすべきである。

【００６７】入力マネージャの一つの実施形態を図８の
フローチャートに示す。各入力装置に対して、入力マネ
ージャは最初に、装置を初期化する（８００）（すなわ
ち、ソケット接続を設定し、装置処理を開始する）。初
期化段階では、入力マネージャが、その装置が自動的に
定期的な更新を送信するかどうか（８１０）または更新
を規則正しい周期でポーリングするか要求があった場合
にポーリングするかを決定する。前者の場合、入力マネ
ージャはループ（またはイベントトリガ）を設定し更新
を捕らえる。後者の場合、入力マネージャはループ（ま
たはイベントトリガ）を設定し、いつ入力装置から次の
データを要求するかを決定する。入力装置から受信され
たデータは確認され（８３０）（妥当な値かどうかをチ
ェックされ）、信号処理ルーチンに送られる（８４
０）。信号処理ルーチン８４０では、データから関連し
た情報を抽出し他のモジュール（入力マネージャへの加
入者）による処理のためにまとめる。複数のパケットの
データが確認できない場合、その装置は再び初期化さ
れ、処理を再度開始する。反応モジュール反応モジュール５００は、設計の「動作選択」部品であ
り、キャラクタが何をしているべきかを瞬間ごとに決定
する。したがって、このモジュールはシステムの「行
政」と考えることができ、設計全体の制御の中心として
機能する。反応モジュール５００は、非同期の更新を入
力マネージャ５２０及び理解モジュール６１０から受信
し、ドメインに関する情報（静的知識ベース）及び現在
の談話から推測される情報（動的知識ベース）を使い、
現在実行すべき動作を決定する。

【００６８】動作には、三つの違う形があってもよい。
この三つは、即時基本、即時複合、そして未来である。
即時基本の動作は、即時に実行される必要があり低レベ
ルの動作（例えば、動画命令）のみを含む動作であり、
直接アクションスケジューラ５３０に送信される。即時
複合の動作は、即時に実行される必要があるが伝達動作
のように精巧さを必要とする動作であり、生成モジュー
ル６３０に送られ実現される。未来動作は、一連の動作
の計画を伴い、この一連の一部または全てが後の更新サ
イクルで実行される動作であり、反応プランナ６２０に
仕上げのために送られる。反応プランナ６２０は、プラ
ン（一連の動作）を反応モジュールに返信し、反応モジ
ュールは、後に参照するためにキャッシュする。

【００６９】本発明の反応処理の一例として、ユーザの
スピーチを認識した時のキャラクタの即時反応がある。
反応モジュールは、スピーチを理解することやスピーチ
が完了することを待たずに、即時に反応（例えば、まゆ
げを動かす、ユーザのスピーチを予期して指を動かす、
会話的な注視を始めるなどのジェスチャ、スピーチ、ま
たは顔の表現）の命令を送信する。

【００７０】アクションスケジューラ及び生成モジュー
ルの両方が要求された動作の完了に関するフィードバッ
クを提供する。一つの実施形態では、反応モジュールが
動的知識ベースを一手に更新する。反応モジュールにお
いて採られる動作選択の方法は、未来の動作とともに、
反応プランナにおいて生成されたプランをキャッシュす
ることを含む。実行されるべき計画の各ステップの時間
になるたびに、プランは、行動選択システムを「偏ら」
せ、行動選択システムが、プランステップを実行するこ
とを優先するようにするが、本発明は、変化した環境に
対応するためにプランを無視する機会を保持する。

【００７１】反応モジュールは、会話的な動作及び言葉
に出さない社会の対話ルールを図９に示す行動階層制を
使ってモデル化する。これにより、キャラクタがユーザ
とコミュニケーションをとることに加え、任意の広い集
合からのタスクに従事することを可能にし、本物の、主
導権が混じったダイアログ（システムまたはユーザのど
ちらが、例えば質問をすることなどにより、制御しても
よい）を実行することを可能にする（ガンダルフシステ
ムなどの一方的にユーザが主導権を握るダイアログに対
して）。

【００７２】このモジュールの実行の制約は、実行時間
の効率である。更新頻度は、動画の更新率（およそ１５
Ｈｚ以上）ほどに頻繁でなくてもよいが、滑らかな動画
（例えば、動作間の移行）及び応答を確保するために好
適には、少なくとも２−５Ｈｚである。ほとんどのリア
ルタイム自律システム設計が反応に基づくため、多様な
制御体制の根本に柔軟な前方鎖ルールに基づく言語を使
うことも一つの選択肢である。ＣＬＩＰＳ⁷（公的ドメ
インのＣに基づくＮＡＳＡ製品）やＪＥＳＳ⁸（ローレ
ンスリバモアによるＣＬＩＰＳの部分集合のJavaによる
実行）などが候補に含まれる。

【００７３】反応モジュールの実行の一例を、図１１の
フローチャートに示す。ループ１１００を通じ、反応部
品が絶えず入力マネージャ及び思考モジュールからの入
力を探す。各入力（メッセージ）に対する現在の動作が
決定される（１１１０）。もしメッセージが「即時基
本」とタグをつけられていれば、そのメッセージは直
接、アクションスケジューラに送られる（１１２０を参
照）。理解モジュールからの「聞き」注視行動を開始し
ろというメッセージなどがこの例にあたる。もしメッセ
ージが「即時複合」とタグをつけられていた場合、その
メッセージは、生成モジュールに送られる（１１４０を
参照）。反応プランナからの、何かを話せ、という高レ
ベルのメッセージなどがこの例にあたる。もしメッセー
ジが「未来」とタグをつけられていれば、そのメッセー
ジは反応プランナに仕上げのために送られる（１１３０
を参照）。理解モジュールからの副ダイアログをプラン
しろ（例えば、電話による会議を設定するための一連の
動作／発言を計画する）というメッセージなどがこれの
例にあたる。アクションスケジューラとのインタフェース反応モジュールは、キャラクタアニメーション又は外部
装置を直接制御するための基本動作要求（primitive ac
tion requests）を、それぞれの優先順位及び任意の時
間期限とともにアクションスケジューラに送ることがで
きる。アクションスケジューラは、要求された動作が完
了したら、あるいは（例えば、期限切れ又はより優先順
位の高い動作との衝突により）考慮から除外されたらこ
れを反応モジュールに通知する。反応モジュールの一実
施形態が図１１のフローチャートに示されている。理解モジュール理解モジュール６１０は、全入力モダリティを、ユーザ
が行っていることを含め、一貫した世界の理解に融合す
る。理解モジュール６１０は、そのタスクの実行のため
に、入力マネージャ５２０から入力を受信し、ドメイン
についての知識（静的知識ベース）及び現在の談話から
推定された知識（動的知識ベース）にアクセスし、さら
に現在の談話のコンテキスト（談話モデル７２０）にア
クセスする。続いて、理解モジュールは、現行の談話及
びドメインの知識との関連において、入力どうしがどの
ように相互関連しているかについての規則の集合を適用
する。

【００７４】例えば、理解モジュールは、ユーザの視線
は話しかけられている対象（人／物）を示す強力なイン
ジケータである、という規則を適用することができる。
したがって、ユーザが、（１）キャラクタを見て、
（２）話していれば、理解モジュールはそのキャラクタ
が話しかけられていると推定する。

【００７５】さらに、ジェスチャの意味と音声とを組み
合わせてコミニュケーション全体に対する意味を決定す
る、意味的融合（simantic fusing）を呼ばれる処理を
適用してもよい。例えば、ユーザが「あなたにこれを送
ります」という言葉とともにタイプするジェスチャ（キ
ーボードをタイプしているような動き）をすれば、これ
を融合して、そのジェスチャと音声によりＥメールが意
図されていることを示す。このような構成は、ジェスチ
ャが不明瞭な言及表現（名詞句）と組み合わされている
ときに利用される可能性が高い。

【００７６】理解モジュールは、入力を説明する１つ以
上のフレームを反応モジュールに出力し、談話モデルを
更新する。ある種の曖昧性は理解モジュールでは解決で
きない可能性があるため、理解モジュールからは単一の
フレームではなく起こりうるフレームの集合が出力され
る（例えば、反応モジュールに対し、ユーザに説明を求
める質問（clarifying question）をさせる）。理解モ
ジュール６１０は、伝達的（commumicative）及び非伝
達的（non-communicative）の（タスク）動作理解をい
ずれも行う。伝達的理解は、ユーザの行う伝達的な動作
を理解しようとする試みであり、命題的（propositiona
l）理解モジュールと対話的理解モジュールの二つのサ
ブモジュールによって行われる。命題的理解モジュール
は、利用可能な全入力モダリティ（例えば、身体位置、
視線ジェスチャ認識、音声）を統合し、ユーザの意味的
ジェスチャの命題的内容を引き出す。対話的理解モジュ
ールも同一の入力にアクセスするが、順番交代（turn-t
aking）またはバックチャネルコミュニケーション（メ
インチャネルにないコミニュケーション、例えば会話途
中のうなずき）などの非命題的内容を決定する。非命題
的内容は、規則ベースのシステムを介して決定する。サ
ブモジュールのいずれもが談話モデル７２０にアクセス
して更新することができる。ユーザが行う非伝達的動作
を理解するために、タスク理解モジュールを利用するこ
とができる（例えば、ユーザがラップトップコンピュー
タのプラグを差し込もうとしている、またはキャラクタ
との会話を中断して第２の人間に応答していることを認
識する）。

【００７７】理解モジュールは、フレームが非同期的に
利用できるようになるとこれを反応モジュールに送信す
る。しかしながら、センテンスが受信されても１つ以上
の意味を持つ場合及びユーザが１つセンテンスを完結し
ていない場合には、曖昧性を表すフレーム及び部分フレ
ームがそれぞれさらに送信される。

【００７８】理解モジュールの応答性は合理的な時間内
にユーザに応答するために重要であるが、その出力はキ
ャラクタアニメーションの更新周期に厳密に関連してお
らず、好ましくは実行時間を１から２秒まで許容する。
一実施形態においては、理解モジュールは（知識ベース
７１０）の動的知識を直接更新する。しかしながら、情
報に基づく動作に加え、動的知識ベースの更新に完全な
責任を持つよう形成される反応モジュールにもこれらの
結果は送られる。タスク理解モジュールは、その動作の
観察からユーザの意図を理解すべく構成することができ
る。曖昧性の場合、反応モジュールは、理解モジュール
に対して、今送信された（部分）フレームが処理不可能
であることを通知し、ユーザがその発声を完了又は訂正
するのを待つ。

【００７９】理解モジュールの一実施形態が図１２のフ
ローチャートに示されている。同図は、理解モジュール
の簡単な実施を示している。理解モジュールは、入力マ
ネージャから連続的に入力１２００を受信し、その入力
に応じて対話的１２１０、命題的１２２０の少なくとも
いずれかの規則集合を生成する。ユーザの順番交代キュ
ーを解釈するための例示的規則がさらに示されている。
例えば、ユーザが発話と同時に会話キャラクタを見てい
ることを表すメッセージが入力マネージャにより送信さ
れると、順番交代規則は反応モジュールにメッセージを
送り、「リスニング」凝視行為１２５０を開始させる
（キャラクタは話者を見て話者の動きに従う）。他の入
力（例えば音声入力なし）に関しては、順番交代規則は
「遊休（idle）」凝視行為１２６０（ランダムな視
線）を開始するメッセージを反応モジュールに送信す
る。一方、音声ストリームなどの命題的データを含む入
力を受信すると、理解モジュールはパーサ（構文解析
系）を呼び出してメッセージの統語的構造及び意味的内
容を決定する。音声を構文解析できる場合、その内容の
高レベルの意味的表示を含むメッセージが反応モジュー
ルに送られ、談話モデルが更新される（１２８０）。音
声の構文解析が不可能であれば、音声エラーメッセージ
が反応モジュールに送られる（１２９０）。反応プランナ反応プランナは、将来の実行周期において一部又は全て
を実行しなければならない一連の動作を系統化（formul
ate）し、所望のコミュニケーション又はタスク目標を
実行する。反応プランナは、実行すべき動作を表すフレ
ームが反応モジュールにより非同期的に送信されると、
起動する。反応プランナは、静的及び動的知識ベース
（それぞれが知識ベース７１０に組み込まれている）中
の情報及び（伝達的動作に対する）談話モデル７２０
を、すでに生成された保留の計画及び未達成の目標につ
いての知識とともに使用し、期限の来ていない、未達成
の全ての目標を満たす新たなプランを合成する。

【００８０】一実施形態においては、反応プランナは、
プランオペレータレベルで、伝達的及び非伝達的（タス
ク）プラニングのサブモジュールに区分される（図１０
参照）。２種類のプラニングが調整されている。複雑な
再プラニングが要求される場合には、システムがより長
い時間を要することもあるが、プランに対する応答時間
は１秒以下にすべきである。プラニングアルゴリズムの
煩雑性及びハードリアルタイム制約の欠如のため、この
モジュールは好ましくはＬＩＰＳなどの記号言語で実施
される。一実施形態においては、反応プランナと反応モ
ジュールは同一のソフトウェアにおいて実施される。

【００８１】初期のデザインにおいては、反応プランナ
が生成モジュールに直接接続されていたので、プランが
形成されると、反応プランナは現行周期（ｔ_i）に対す
る動作要求をその実現のために直接生成モジュールに送
信し、将来的な周期（ｔ_i+1・・・）に対する動作要求
を反応モジュールに送信することができた。しかしなが
ら、これは以下の理由で不必要である。すなわち、反応
モジュールに戻されたプランは、ｔ_i+1において簡単に
その第１ステップ（約３０分の１秒後に反応モジュール
により実行される）を行うことができるからである。ま
た、この初期デザインはそのアーキテクチャにおいて非
対称を生成する。これは、ｔ_iにおいて実行すべき基本
動作が存在する場合に、反応プランナはアクションスケ
ジューラに対しても直接接続される必要があるためであ
る。生成モジュール生成モジュール６３０は、１つ以上の調整された（coor
dinated）基本動作（例えば、音声生成、ジェスチャ、
顔の表情、「身体的」動作）を生成し、その動作を実行
のためにアクションスケジューラ５３０に送り、その実
行をモニタすることにより、反応モジュールからの複雑
な動作要求を実現する。要求される動作は、パラレルな
実行を要求される場合もある。例えば、生成モジュール
は、キャラクタが特定の動作をしながら何かを言い、そ
の一方で別のタスクを実行する（ユーザに要求されたデ
ータベース機能又はタスクなど）ことを要求することも
ある。

【００８２】要求された動作が何らかの理由で実行され
ない場合には、生成モジュール６３０は反応モジュール
にこれを通知して、必要であれば修復動作を計画できる
ようにしなければならない。一実施形態においては、生
成モジュールに対して行われた動作要求は、一度発せら
れると反応モジュールがこれを取り消すことができない
という意味において「衝撃(ballistic）」である。

【００８３】生成モジュールは、図１３に示すように２
つのサブモジュールを有する。すなわち、キャラクタの
連続的な「身体的」動作のプラニングに関わるタスク生
成モジュールと、伝達的動作のプラニングに関わるコミ
ュニケーション生成モジュールである。

【００８４】一実施形態においては、コミュニケーショ
ン生成モジュールは、テンプレートベースシステム（談
話モデルなどの他のソースから得た単語を記入するため
の空所を有するセンテンスに基づき形成されたセンテン
ス）として実行できる。さらに、コミュニケーション生
成モジュール自体が２つのコンポーネントを有する。す
なわち、単語選択などのタスクを行うセンテンスプラン
ナと、パースツリーのような構造（他の構造を利用して
もよい）に逆構文解析を実行して音声生成のために単語
列を求める表面生成部である。

【００８５】生成モジュールの一実施形態が図１５に高
レベルで表示されている。生成モジュールは、高レベル
の意味的表示を入力として取り込み、発するべき単語列
及び実行すべき対応非言語行為を含むパケットを出力す
る線形の処理である。この処理は、意味的表示をテンプ
レートの集合に対して比較一致させることより開始する
（１５１０）。テンプレートは、部分的に具体化された
（instantiated）単語列（例えば、「Ｘはすでにオンさ
れている」）、対応する行動のリスト、及び部分的に具
体化された意味的形式（例えば、すでにオン（Ｘ））を
含む。

【００８６】次に、入力に一致するテンプレートが選択
される（例えば、「すでにオン（Ｘ）」によって索引付
けられたテンプレートは、入力「すでにオン（ｖｃ
ｒ）」と一致する）。テンプレート列における各内容
（オープンクラス）単語が談話モデルに比較一致され
（１５２０）、テンプレート列がトピックとコメントの
２つの部分に分けられる。トピックは談話モデルにおい
て最も最近見られる単語を含むサブストリングであり、
コメントは談話モデルに見られない、又は談話モデルに
おいて最近はごくまれに現れた単語を含むサブストリン
グである。

【００８７】空所欄（例えば上記の例におけるＸ）は、
入力形式に対して比較一致を行い（Ｘはｖｃｒに一致す
る）、談話モデルを参照し、適当な事例を選択すること
により記入される（１５３０）。例えば、「ｖｃｒ」が
言及されたのであれば、「ｉｔ（それ）」を選択する。
さもなければ、完全な言及表現「ｔｈｅｖｃｒ」が選
択される。

【００８８】次に、完全に具体化された発話中の単語
を、どの単語が最も顕著であるかを決定する焦点規則
（fucus rules）に基づき評価する（１５４０）。単語
は、（談話モデルの参照により決定するように）最初に
現れたとき、又は最近言及されていない場合に、「焦
点」（最も顕著である）と見なされる。

【００８９】生成の最終段階は、テンプレートにおいて
特定された非言語行為の修正に関する（１５６０）。こ
れには、ジェスチャ及び表情を、「焦点を当てた」単語
と同時に発生するように整列調整することが含まれる。
この時点で、イントネーション（すなわち、音の調子）
が単語に付与されるとともに、ピッチアクセント（すな
わち、基本周波数におけるピーク）が焦点単語において
発生するように設定される。最後に、具体化された単語
列及び修正された行動を有するパケットが反応モジュー
ルに送られる（１５７０）。アクションスケジューラとのインタフェース生成モジュールは、アクションスケジューラに対して、
保留中の全動作のリストを、それぞれの優先順位及び期
限と共に入手することを問い合わせでき、これによりア
クションスケジューラが、キャラクタの現在の身体的動
作を考慮しつつ基本動作選択肢から選択できるようにす
る。さらに、これにより生成モジュールは、優先順位の
高いリソースを主張するための新たな使用を要求するこ
とで、身体的動作を優先使用（preempt）することがで
きる。続いて、生成モジュールは、キャラクタアニメー
ションまたは外部装置を直接制御する低レベルの動作要
求を、それぞれの優先順位及び任意の期限と共にアクシ
ョンスケジューラに送信する。アクションスケジューラ
は、要求された動作が完了すると、または（例えば時間
切れまたはより優先順位の高い動作との衝突のために）
考慮から除外されると、これを生成モジュールに通知す
る。

【００９０】生成モジュールの応答性は合理的な時間内
にユーザに応答するために重要であるが、その出力はキ
ャラクタアニメーションの更新周期に厳密に関連してい
る必要はなく、そのためその実行時間は１から２秒まで
許容できる（調整された発話及びジェスチャのプラン
は、ひとたび求められるとバッチ単位でアクションスケ
ジューラに送られる）。一実施形態においては、このモ
ジュールはＰｒｏｌｏｇまたはＬＩＳＰにおいて実施さ
れ、全実行時間はほぼこれらの例示的境界の範囲内に維
持される。アクションスケジューラアクションスケジューラ５３０はキャラクタの「モータ
コントローラ」であり、最低レベルの動作の調整に責任
を有する。アクションスケジューラは複数の要求送信部
（requestors）（すなわち、反応モジュール及び生成モ
ジュール）からの複数の動作要求を取り込み、これを実
行しようと試みる。動作要求はそれぞれ、優先順位及び
任意の期限を有している。動作がその期限前に実行不可
能であれば、その動作は放棄される（そして、要求発信
元にこれが通知される）。２つの動作が競合する（同一
の装置リソースが必要な）場合、優先順位の高い動作を
優先する（先制的に）。

【００９１】このモジュールはさらに、システムが使用
する種々の出力装置と接続し、これを管理する。これら
の装置は、論理的（例えば、単一自由度を表すアニメー
ションモデルにおける線形補間装置（linear interpora
tor））でも物理的（例えば、会議室の照明セット）装
置でもよい。動作の非実行時には、装置は、その現行状
態を維持するか、デフォルト状態に戻るかのいずれかで
ある。

【００９２】反応プランナのブロック図を図１４に示
す。同図には、反応モジュール及び生成モジュールとの
インタフェース、及びスケジュールされるべき保留中の
動作の保存が示されている。円滑なアニメーションを維
持するためには、アクションスケジューラを３０分の１
秒から１５分の１秒以内にエンドトゥエンドで実行する
のが好ましい。一実施形態においては、これは、Ｃ＋＋
またはＪａｖａなどの手続き的言語で実施される。出力
のほとんどがアニメーション作成（rendering）エンジ
ンに送られるため、アクションスケジューラとアニメー
ション作成エンジンを同一の実行可能装置に統合するこ
ともできる。

【００９３】アニメーション要求は、別の生成システム
への移植（portability）を簡単にするためにできる限
り抽象的に符号化しなければならない。例えば、「スマ
イル（微笑）」などの顔の表情のコマンドは、ＦＡＣＳ
（顔動作符号システム）に適する。一実施形態では、ア
クションスケジューラは、実現される選択肢からの選択
を絞り込む（bias）「ヒント」を受信する。知識ベースアプリケーションドメイン知識を含む状態情報は、論理
的に静的知識ベース７１０、動的知識ベース７１０、及
び談話モデル７２０に分けられている。静的知識ベース静的知識ベース（ＫＢ）は、キャラクタが新しいユーザ
ダイアログを開始する時に「席（table）に持ち込ん
だ」ドメイン知識を符号化する。静的ＫＢはさらにドメ
イン特有語彙（lexicon）及びキャラクタの人物プロフ
ィールを含む。動的知識ベース動的ＫＢ（「ブラックボード」ともいう）は、ダイアロ
グの間に、反応、理解、応答プラニング、及び生成モジ
ュールによって使用されるスクラッチメモリである。動
的ＫＢは、ユーザの現在位置、キャラクタの現在位置、
及びユーザとキャラクタの間の現在の対話に関連するプ
ラン中のポイントを識別する情報を保持する。このＫＢ
は、異なるカテゴリまたは活動（例えば、異なる時間尺
度において行われる活動）の情報を保持すべく簡単に区
分けできる。談話モデル談話モデルは、理解、生成及び応答プラニングモジュー
ルにより使用され、談話トピックのスタック及び自然言
語ダイアログの処理において使用される他の情報をトラ
ッキングする。一実施形態においては、談話モデルは、
タグ付き音声履歴及び議論中のトピックを含む。

【００９４】一実施形態においては、各知識ベース（Ｋ
Ｂ）及び談話モデルは、同一のソフトウェアモジュール
において実施される。静的ＫＢは、動的ＫＢの初期化デ
ータ及び各モジュールのドメイン特定データとして実現
される。動的ＫＢは、反応モジュールの作業メモリ（例
えば、ＣＬＩＰＳ／ＪＥＳＳにおける事実リスト）であ
り、理解、応答プラニング及び生成モジュールとの共有
は、要求／返答プロトコルを介して実現できる。談話モ
デルは、理解又は生成モジュールの一つとして実行して
もよいし、または動的ＫＢ内に含んでもよい。入力装置本発明の入力装置には、以下が含まれる（ただし、これ
らに限られない）。

【００９５】音声認識装置：市販の製品が複数存在す
るが、最適な候補としては、ＮａｔｕｒａｌｌｙＳｐ
ｅａｋｉｎｇ（ＤｒａｇｏｎＳｙｓｔｅｍｓ）、Ｖｉ
ａＶｏｉｃｅ（ＩＢＭ）、ＶｏｉｃｅＸｐｒｅｓｓ
（ＨａｕｓｐｉｅＳｐｅｅｃｈＰｒｏｄｕｃｔ）が
ある。

【００９６】身体位置認識／ジェスチャ認識：これら
の２つは密接に関連している。技術には、モーションキ
ャプチャ（動きの捕捉）（磁気及び抵抗性、着衣（body
suit)の使用、いずれも市販されている）及び視覚ベー
スのシステムを含む。視線検出装置（「視線トラッキング装置」）：固定ヘッ
ドアプリケーション用に市販製品が複数存在する。ＭＩ
ＴのＭｅｄｉａＬａｂが視覚ベースの視線トラッキン
グシステムに有効である。

【００９７】ユーザの識別：顔認識ソフトウェア、タ
グ付け、又はメニュー入力の使用。キーボード：音声入力の別の選択肢。マウス：キャラクタのドラッグ、キャラクタ環境にあ
る物体のドラッグ、メニューオプションの選択。

【００９８】動きの検出：何かがコンピュータの前で
動いているかを判断したい場合。出力装置本発明の出力装置には、以下が含まれる（ただし、これ
らに限られない）。

【００９９】アニメーション作成：ウェブページのＴｏ
ｏｎＦａｃｅ様式２Ｄアニメーションから、リッチシミ
ュレート環境における最高品質３Ｄキャラクタまで。３
Ｄの場合、最適なクロスプラットフォームの選択は、ｏ
ｐｅｎＧＬに基づくものである。Ｃｏｓｍｏ３Ｄ（ＳＧ
Ｉから）は、ｏｐｅｎＧＬに基づく適当な候補作成シス
テムであり、ウィンドウズまたはＳＧＩのいずれかにＪ
ａｖａベースの作成を提供する。別の候補としてはＪａ
ｖａ３Ｄがある。任意のウィンドウズアプリケーション
上に重ねることのできる単純２Ｄ作成の暫定的な候補
は、マイクロソフト社のＡｇｅｎｔである。別の可能性
として、Ｐｒｏｔｏｚｏａの「Ａｌｉｖｅ」リアルタイ
ム３Ｄアニメーションシステムがある。

【０１００】音声合成装置：ＴｒｕｅＴａｌｋ、Ａｃ
ｃｕＶｏｉｃｅ、ＤＥＣＴａｌｋが候補に含まれる。高
品質及びイントネーション制御能力が優先される。二次
的な基準は、異なる音声の合成能力である。他の装置及びソフトウェア：キャラクタは、ユーザに
よるタスクの実行のアシスト中にソフトウェアアプリケ
ーション又はハードウェア装置を制御する必要がある場
合もある。クモにおけるルーム制御は、すべてＡＦＸス
イッチャのＲＳ２３２ポートによるテキストコマンドを
介して命令することができる。シナリオ例本発明のアーキテクチャはクモ（人型合成キャラクタ）
に対して提供される。以下に、対話のサンプルの組を示
し、アーキテクチャにおける処理ステップ及びデータの
流れをたどる。クモ：「それは木星ですか」１．身体位置トラッキング装置は、木星に向けられたユ
ーザのジェスチャを登録する。ユーザの身体は宇宙に向
いているが、ユーザはクモを見ている。音声認識装置
は、ユーザが話し始めたことを検出する。

【０１０１】２．上記の情報は入力マネージャにおいて
利用でき、入力マネージャはこれを反応モジュールと理
解モジュールのいずれにも送信する。３．対話的理解は、ユーザの順番であることを判断し、
その事実を記載するフレームを反応モジュールに送る。

【０１０２】４．反応モジュールは、アクションスケジ
ューラに対して即座の「注意」動作を発し、クモが聞い
ていることを示す。５．アクションスケジューラは、アニメーション作成装
置にコマンドを発し、クモにユーザを見させ、眉を上げ
させる。

【０１０３】６．音声認識装置は、入力マネージャに対
して「それは木星ですか。」と出力する。７．入力マネージャはこの音声列を受信し、これを反応
モジュール及び理解モジュールに送信する。

【０１０４】８．命題的理解は、この音声列をユーザの
ジェスチャからの情報と融合してユーザの問い合わせに
対するフレーム（「（ＡＳＫ（ＢＥ＜ｏｂｊ１２３＞
ＪＵＰＩＴＥＲ））」のようなもの）を生成し、これを
反応モジュールに送って談話モデルを更新する。

【０１０５】９．要求された伝達的応答動作は複数の動
作ステップを必要とするかもしれないため（「（ＡＳＫ
（ＢＥ＜ｏｂｊ１２３＞ＪＵＰＩＴＥＲ））」のよう
なもの）、反応モジュールは要求を反応プランナに送
る。１０．反応プランナは、ユーザが実際には土星を指して
いると判断し、（動的ＫＢ及び談話モデルにおける情報
に基づき）適当な応答は、ユーザに木星を示して「ちが
います。あなたは土星を指しています。こちらが木星で
す」と言うことだと決定する。以下のプランが反応モジ
ュールに戻される。

【０１０６】ｔ_i+1（ＴＥＬＬ（ＰＯＩＮＴ＜ｕｓ
ｅｒ＞ＳＡＴＵＲＮ））ｔ_j （ＡＣＴＩＯＮ（ＳＨＯＷ＜ｏｂｊ４５６
＞））ｔ_k（ＴＥＬＬ（ＢＥ＜ｏｂｊ４５６＞ＪＵＰ
ＩＴＥＲ））１１．次の更新サイクル（ｔ_i+1に対応）で、反応モジ
ュールは（プランステップによって生成された絞り込み
により）コミュニケーション行動を選択し、「(TELL (P
OINT) <user> SATURN))」を生成モジュールに発行して
実現する。

【０１０７】１２．コミュニケーション生成により、
「いいえ。あなたは土星を指しています。」というスト
リングを生成し、「いいえ」と言うのに合せて首を振る
アニメーションコマンドおよびリップシンク（唇との同
期）アニメーションコマンドとともにこのストリングを
アクション（動作）スケジューラに送る。

【０１０８】１３．アクションスケジューラは基本コマ
ンドをアニメーションレンダラ（生成器）に送り、スト
リングを音声合成装置に送る。これが完了すると、生成
モジュールに知らせる。１４．生成モジュールは反応モジュールに無事に完了し
たことを知らせ、談話モデルを更新する。

【０１０９】１５．次の更新サイクル（ｔ_jに対応）
で、反応モジュールは（プランステップによって生成さ
れた絞り込みにより）ドメインアクション行動を選択
し、「(ACTION (SHOW <OBJ456>))」をアクションスケジ
ューラに直接発行する（基本アクションであるため）。

【０１１０】１６．アクションスケジューラは太陽系シ
ミュレーションにコマンドを送って、木星を表示させ
る。完了すると、反応モジュールに知らせる。１７．次の更新サイクル（ｔ_kに対応）で、反応モジュ
ールは（プランステップによって生成された絞り込みに
より）コミュニケーション行動を選択し、「(TELL (BE)
<obj456> JUPITER))」を生成モジュールに発行して実
現する。

【０１１１】１８．コミュニケーション生成により、
「これが木星です。」というストリングを生成し、太陽
系ディスプレイに対して対象指示的なジェスチャを生成
するアニメーションコマンドおよびリップシンクアニメ
ーションコマンドとともにこのストリングをアクション
スケジューラに送る。

【０１１２】１９．アクションスケジューラは基本コマ
ンドをアニメーションレンダラに送り、ストリングを音
声合成装置に送る。これが完了すると、生成モジュール
に知らせる。２０．生成モジュールは反応モジュールに無事に完了し
たことを知らせ、談話モデルを更新する。プラン上述のように、プランは、談話の目標を達成するために
実現される一連の動作（ステップ）を表す。プランはこ
の先の動作を表し、反応モジュールの行動に影響を与え
るように用いられる。

【０１１３】図１６は、ユーザが会議室を設立するのを
助けるという談話の目標に関するプランの一例である。
談話では、基本的にユーザに挨拶をして（GREET)、部屋
を設立する（SET#UP#ROOM）。これらの各ステップはさ
らにサブプラン（例えば、後で参照するためにユーザの
名前を得るGET#USERなど）に分かれる。プランにより、
いかにして談話を進め、介入する状況を避けるか、さら
に、介入する状況（たとえばコーヒーをとるための割り
込み）があった後、いかにして談話を続けるかに関する
基本的な枠組みが与えられる。行動の同期本発明のアクションスケジューラは、ジェスチャコマン
ドが埋め込まれた音声ストリングまたは絶対タイムスタ
ンプを用いて、ジェスチャと音声を同期させてもよい。
しかし、絶対タイムスタンプを用いるとエラーにつなが
りやすい。その理由は、音声合成装置にストリングを発
行してから実際に生成を始めるまでの時間差が多くのプ
ラットフォームでコールごとに大きく異なる可能性があ
ることと、音声またはジェスチャのセグメント持続時間
を正確に予測するのが難しいこととによる。ジェスチャ
コマンドが埋め込まれた音声ストリングを用いるとジェ
スチャの開始と指定された音声セグメントを同期させや
すいが、ジェスチャ同士を柔軟に連鎖させ、他の状況に
おいて発話の開始を同期させる（例えば、ドアを指し、
ユーザを見て、「こちらへどうぞ」と言う、など）ため
の備えは十分ではない。さらに、プランニングされた一
連の行動が始まると、プランを順次行うために、アクシ
ョンスケジューラが一連の動きの完了を反応モジュール
に知らせるのが好ましい（別の選択肢として、開ループ
でタイミングを合せた制御を使用することが出来るが、
これもエラーにつながりやすい）。

【０１１４】マイクロソフト音声ＳＤＫＡＰＩ (Micros
oft Speech SDK API) （およびJava音声ＡＰＩ）は、所
与の発話の生成中に音声合成装置からのコールバックを
与えるものであり、これを使用すると、絶対タイムスタ
ンプと比べ、はるかに信頼性が高く精度の高い同期を達
成することができる。特に、ＡＰＩは、各音素が生成さ
れるたびに合成装置がアプリケーションに知らせるのに
使用する音素コールバックと、合成装置が各語の生成の
開始を知らせるのに使用する語境界コールバックとを与
える。音素コールバックはまた、生成されている音素に
ついての情報を与え、これを利用して、生成中に合成装
置にキャラクタの口を直接操作させることによりキャラ
クタのリップシンクの問題を解決することができる。ジ
ェスチャ事象は一般に語境界で起こるため、語境界コー
ルバックを用いて音声とジェスチャ、顔の表情、および
他のアニメーション出力をきっちりと同期させることが
できる。

【０１１５】反応および生成モジュールが状況−動作の
ペアで一連の行動（ジェスチャおよび音声セグメントを
含む）を指定できるように本発明のアクションスケジュ
ーラ（アクションスケジューラの行動およびコマンドプ
ロトコル）を設計してもよく、その際、状況は事象に関
して指定し（たとえば、ｎ番目の単語を発するまたはジ
ェスチャの完了、など）、動作により新しい行動を始め
たり、行動を終えたり、反応モジュールに通知を送り返
す。行動制御低いレベルでは、動画キャラクタの制御は、関節の回転
と対象物および特徴（手や眉毛など）の位置を操作する
個々の「アナログ」制御ノブからなる。これらの制御ノ
ブ−自由度（ＤＯＦ）−が各々設定され、キャラクタが
１０Ｈｚ以上で再レンダリングされて、円滑なアニメー
ションを得る。

【０１１６】この制御層の上には、極小の(atomic)プロ
シージャ−行動−があり、１つ以上のＤＯＦをいくつか
の更新サイクルにわたって増分的に動かして、アニメー
ションを得る。基本的には、コマンディング行動には離
散および継続の２つのスタイルがある。離散的な制御ス
タイルでは、それぞれが指定された開始時間と持続時間
を有する実行すべきコマンド列を公式化し、その列をア
ニメーションシステムに渡して実行する。

【０１１７】継続的な制御スタイルでは、各更新サイク
ル（たとえば１０Ｈｚ以上）ごとにアニメーションシス
テムにどの行動を実行しつづけるべきかを伝える。例え
ば、前進するには、キャラクタが目的地に到達するまで
「WALK FORWARD」（前に歩け）、「WALK FORWARD」等の
コマンドが一連の連続する更新サイクルにわたって存在
し、目的地に到達すると単にコマンドが発行されなくな
る。したがって、アニメーション制御の継続的更新サイ
クルでは、行動は一定の持続時間を持たず、コマンドが
存在する限り、単に増分的に継続する。

【０１１８】本発明は異なる状況でいずれの制御スタイ
ルも使用する。伝達的な動作（正確に同期された発話、
ジェスチャおよび表現のシーケンス）を指令するには、
離散的な制御スタイルが好ましい。しかし、遊休的（ア
イドル）な行動や、歩いたり、頻繁なブリンキングとい
った「二次的」動作や、他の生きているように見せるた
めに必要な行動を指令するには、継続的な制御スタイル
が好ましいが、これらの各々について離散的な動作をプ
ランニングしなくてはならなければ反応モジュールが更
に複雑になってしまう。離散的な制御は、離散的な動作
を単に行い、完了するとそのＤＯＦを更新しない行動に
よって達成できるため、制御の処理スタイルは実際には
より一般的である。

【０１１９】行動制御におけるその他の問題は、行動の
混合、競合の解消、および推移である。たとえば、ある
行動をある特定の音素を発するように定義し、別の行動
をにっこりするように定義するとする。双方の行動が同
時に要求されると、これらの行動の各々が口のＤＯＦを
操作しようとする。一実施形態では、行動は混合され
る。たとえば、キャラクタは口角を上に上げた状態で
（少なくともその方向にゆがんだ状態で）発話する。別
の実施形態では、１つの時間期間においてあるＤＯＦを
使用できる行動は１つだけである。しかし、後者の方の
実施形態では、同じＤＯＦに対していくつかの行動が競
合するという競合の解消の問題が生じる。これを別の機
構（たとえば、一定の優先順位や重み付け機構など）で
解決してもよい。

【０１２０】別の問題は、ある行動から別の行動へとア
ニメーションがＤＯＦ設定をいかに円滑に推移させるか
である。２つの簡単な解決法として、制御を解除する前
に行動にそれらのＤＯＦを標準的静止位置に戻させた
り、単に各ＤＯＦの位置を行動の開始時の位置から第１
の目標に、またはその行動に対して指定されたキーフレ
ーム位置に介挿することが考えられる。

【０１２１】

【表５】一実施形態では、行動の混合はサポートされず、一度に
ＤＯＦを制御するのは１つの行動のみである。資源の競
合（コンテンション）にはコマンドの優先順位によって
対処する。行動を開始させるコマンドにより、実行し始
めるとその行動に割当てられる優先順位（デフォルト値
ゼロ）を指定できる。優先順位がより高く、実行中の行
動が所有するＤＯＦのうちの１つを必要とする後続のコ
マンドは、実行中の行動を強制排除し、終了させる。同
様に、優先順位の低い後続のコマンドは単に無視され
る。

【０１２２】どの行動も初期化ルーチン、「論理的終
了」（継続的なコマンドについては、これは単に任意の
数の更新サイクルであり得る）、およびラップアップル
ーチン（ある数の更新サイクルにわたってそのＤＯＦを
静止位置に戻す機会を行動に与える）を有する。

【０１２３】一実施形態では、行動には任意の時間に３
つのコマンドのうちの１つを送ることができる。・ONCE…初期化ルーチンが呼び出され、この後、行動
は、その論理的終了に達するまで、その後の各サイクル
で増分的に更新される。論理的終了時に、そのラップア
ップルーチンを開始し、その後終了する（ＤＯＦを解
放）。

【０１２４】・CONT…（継続）行動が現在実行中でな
ければ、初期化ルーチンが実行される。その後の各サイ
クルで行動は増分的に更新される。（「HANDS TO GESTU
RE SPACE」等の離散的スタイルの行動は、その行動が取
り消されるまでその終了位置を維持する可能性が高
い。）・END …行動は直ちにそのラップアップルーチンの実行
を始め、その後終了する。同期本発明は音声とジェスチャとの同期を与える。アクショ
ンスケジューラに送られるコマンドは、各々の開始時間
を明示的に特定するのではなく（しかしこのコマンドス
タイルもサポートされる）、いつ実行すべきかを記述す
る事象表現で修飾される。事象表現は、たとえばアニメ
ーション事象および音声合成装置の条件および時間的関
係の任意の組合わせであってもよい。各コマンドは、最
初の更新サイクルで一度、またはされるとしても部分的
に実行され、その際にその事象表現が真であると評価す
る。 [事象表現の例] IMMEDIATE 直ちに実行せよ (on:event 14:01:32.143) 指定された時間に実行せよ (and :1(on:eventBIEND) Ｂ１の行動が完了し、指定された時間 :2(before:event 14:01:32.143)) 以前であれば実行せよ開ループ対閉ループ制御反応モジュールは、（たとえば）コミュニケーションプ
ランの次のステップに進むために、出力装置においてあ
る事象がいつ起こるかを通知される。これをタイミング
予測などを用いて開ループの態様で行うことは可能であ
るが、アクションスケジューラにある予め定義された事
象がいつ起こるかを反応モジュールに通知させる方がは
るかに正確で直接的である。NOTIFYコマンドを用いてこ
れに対処するように、記述されるコマンド言語が拡張さ
れており、このコマンドが実行時に反応モジュールにメ
ッセージを送る。NOTIFYフレーム全体が反応モジュール
に送られ、任意のパラメータがNOTIFYフレームに属性と
して渡されることが可能となる。 [ラベルを付された２つの行動が完了したときのコール
バックの例] アクションスケジューラコマンド遂行ＫＱＭＬ遂行構文（シンタクス）を拡張して同期される
事象を扱うようにすることによる基本的な問題の１つ
は、音声およびジェスチャを基本的に異なる態様で表す
ことである。前者はCOMMACTフレームのトップレベルで
音声ストリングが埋め込まれた命題として符号化され、
後者は :INPUTまたは :OUTPUT属性におけるいくつかの
レベルに符号化される。これは同期が絶対タイムスタン
プによって達成される限り機能するが、事象ベースの同
期の指定を難しくする。理想的には、音声とジェスチャ
（および他の動作）は、その実行が互いを条件としうる
ピア（同位）行動として指定されるべきである。たとえ
ば、右腕を上げ、腕の動作が終るとキャラクタが「こん
にちは。私の名前はクモです。」と言って、「クモ」と
言うときにキャラクタにジェスチャをさせ、最後のジェ
スチャが終ると手を下ろすように指定してもよい。

【０１２５】表６は、本発明によるアクションスケジュ
ーラコマンドプロトコルを示す。このコマンドプロトコ
ルは、上述の要件を満たすように定義されている。

【０１２６】

【表６】表６に示されるように、オプションで行動を語（WORD)
でラベル付けしてもよい（<event#id#word>）。このよ
うな行動により、開始時（<event#id#word>.START）と
終了時（<event#id#word>.END）に事象が発生する。ラ
ベルは、行動を中止するのに使用してもよい（ENDコマ
ンドを用いる）。さらに、ラベル付けされた音声行動に
より、各語が生成される際にフォームの事象<event#id#
word>.WORD<i>が発生する（最初の語が生成される際にW
ORD0が発生する）。この機構では行動フレームはもう持
続時間(:dur）の属性を必要とせず、状態(:state)と一
時的(:trans)な行動の区別を指定する必要もないことに
注目されたい（これらはそれぞれONCEまたはCONTコマン
ドを用いて達成される)。

【０１２７】上述の指定は入力および出力の表面的フォ
ームの表現において対称ではないが、現実を反映するも
のである。入力は絶対タイムスタンプおよび確率を伴っ
て行われるが、出力は事象ベースの仕様および優先順位
で公式化される。例以下、行動のcommact/: 出力属性の値を例として挙げ
る。１．動作の期限（すなわち、動作が期限までに実行できなければ、それは実行されない）。 [(action :when (before :event 14:01:32.143): cmd once :content (...))] ２．処理行動 [(action :when immediate :cmd cont :content (...))] ３．ジェスチャを伴う発話（手を上下させる） [(action :id B1 :when immediate :cmd once :speech "Sorry, I didn't get that.") (action :id B2R :when (on :event B1. START) :cmd cont :content (rightgesture :cmd raise) (action id B2L :when (on :event B1. START) :cmd cont :content (leftgesture :cmd raise) (action :when B1.END :cmd end :content B2R) (action :when B1.END :cmd end :content B2L)] ４．対象指示的なジェスチャを伴う発話 [(action :id B1 :when immediate :cmd once :content (speech :content "The tape player is in the podium." ) (action :when B1.WORD5 :cmd once :content (rightgesture :cmd point))] 本発明のさらに別の実施形態は、アイドルな状況と行動
の混合を含む。たとえば、:when (idle :DOF <name>)と
いう状況は、ＤＯＦが利用可能となり次第、行動を開始
できる（例えばアイドルルーチンの実行開始）ようにす
るものである。

【０１２８】行動の混合に関しては、ビートを他のジェ
スチャと混合するのが一般的である（特に、その準備お
よびリラクセーション段階で）。適切な同時調音は混合
モデルによって生成され得る。しかし、この効果は単に
ジェスチャ行動をパラメータ化したり、動き制御の真の
混合とまではいかない他の技術によって実現可能であ
る。

【０１２９】これまで、本発明を会話および合成キャラ
クタインタフェースに関して説明してきたが、本発明は
同じインタフェースにおいて同時に数多くの会話または
合成キャラクタに適用できる。さらに、本発明の教示は
いかなるタイプの動画インタフェースまたは表示装置
（たとえば仮想教師、家庭教師など）や、他の動画装置
またはアイコンにも適用できる。本発明はコンピュータ
インタフェースとしても使用できるし、様々な構成のい
かなるタイプの機器の操作指導のためにも使用できる
（たとえば、テレビ、ビデオデッキ、ステレオ、おもち
ゃのフィギュア、レーダ装置、建設管理／メンテナンス
装置、重機械等の機器などが挙げられるが、これに限ら
れるわけではない）。

【０１３０】この詳細な説明は、例示的なコード部分を
含むが、これはコンパイル可能または実行可能なプログ
ラムまたはプログラム設計言語として意図されたもので
も、ここで説明したすべての特徴を含むよう意図された
ものでもなく、ここで説明した技術の単なる例として示
すものである。

【０１３１】本発明は、ここで述べた教示に従ってプロ
グラムされた従来の汎用または特殊デジタルコンピュー
タまたはマイクロプロセッサを用いて好都合に実施する
ことができ、コンピュータ技術の当業者には明らかにな
るであろう。ソフトウェア技術の当業者には明らかであ
るように、適切なソフトウェアのコーディングは、この
教示に基づいてプログラマにより容易に準備できるもの
である。本発明はまた、当業者には容易に明らかになる
ように、特定用途向けＩＣの準備、または従来部材の回
路の適切なネットワーク接続により、実現が可能であ
る。

【０１３２】本発明は、その任意のプロセスを実行する
ようにコンピュータをプログラムするのに使用できる
か、またはそのように命令が記憶された記憶媒体である
コンピュータプログラム製品を含む。これに限られる訳
ではないが、記憶媒体としては、任意の形態のディス
ク、例えば、フロッピーディスク、光ディスク、ＤＶ
Ｄ、ＣＤ−ＲＯＭ、マイクロドライブ、および光磁気デ
ィスク、さらに、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰ
ＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイ
ス、磁気または光カード、ナノシステム（分子メモリＩ
Ｃを含む）や、命令および／またはデータを記憶するの
に適したあらゆるタイプの媒体または装置を含む。

【０１３３】任意のコンピュータ読み出し可能媒体に記
憶され、本発明は汎用／特殊コンピュータまたはマイク
ロプロセッサのハードウェアを制御するとともに、コン
ピュータまたはマイクロプロセッサが本発明の処理を利
用して使用者または他の機構と対話するのを可能にする
ソフトウェアを含む。このようなソフトウェアは、これ
に限られる訳ではないが、デバイスドライバ、周辺機器
プログラム、オペレーティングシステム、およびユーザ
アプリケーションを含む。さらに、このようなコンピュ
ータ読み出し可能媒体は、上述のような本発明の機能を
実行するためのソフトウェアを含む。

【０１３４】汎用／特殊コンピュータまたはマイクロプ
ロセッサのプログラミング（ソフトウェア）には、以下
を含む本発明の教示を実現するためのソフトウェアモジ
ュールが含まれる。すなわち、これに限られる訳ではな
いが、入力およびユーザ入力の識別、思考的および反応
的処理、知識および談話モデルの検索、入力および他の
処理に応じた動作のスケジューリング、合成キャラクタ
または他のアニメーションの動作および音声によってス
ケジュールされた動作の実行などである。

【０１３５】明らかに、上述の教示に照らして本発明に
数々の変形および変更を加えることが可能である。従っ
て、前掲の特許請求の範囲内で本発明をここで具体的に
説明したのとは異なる態様で実施することが可能である
ことが理解されるであろう。

【図面の簡単な説明】

【図１】合成キャラクタの種類を示す階層分類チャー
トである。

【図２】ユーザ、システム、およびアライの間のイン
タラクションを示す図である。

【図３】会話キャラクタとのインタラクション例を示
す図である。

【図４】物理的環境を伴うユーザとアライとの間のイ
ンタラクションを示す図である。

【図５】統合された思考性および反応性処理部をサポ
ートする構成を示すブロック図である。

【図６】思考性構成部が複数のモジュールに拡張され
た図５の構成を示すブロック図である。

【図７】知識ベース、談話モデル、およびプランを用
いた追加のフローを含む図６の構成を示すブロック図で
ある。

【図８】図５に示す入力マネージャの動作を示すフロ
ーチャートである。

【図９】伝達的動作および非言語的社会的インタラク
ションルールに関する行動の階層分類を示す図である。

【図１０】反応プランナモジュールを示すブロック図
である。

【図１１】反応性構成部の動作を示すフローチャート
である。

【図１２】思考性構成部の理解モジュールを示すフロ
ーチャートである。

【図１３】生成モジュールを示すブロック図である。

【図１４】アクションスケジューラの入力、出力、お
よび保留動作を示すブロック図である。

【図１５】思考性構成部の生成モジュールを示すフロ
ーチャートである。

【図１６】プラン例を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者スコットエイプレボストアメリカ合衆国カリフォルニア州サンフランシスコサンチェストリート 263 (72)発明者ティモシーダブリュビックモアーアメリカ合衆国マサチューセッツ州ソマービルホールストリート 13−アール (72)発明者ジョセフダブリュスリバンアメリカ合衆国カリフォルニア州サンフランシスコブルクソムストリート 175 ＃103 (72)発明者エリザベスチャーチルアメリカ合衆国カリフォルニア州サンフランシスコ 25ティエイチストリート 3740 ＃206 (72)発明者アンドレスガージェンションアメリカ合衆国カリフォルニア州メンロパークウェバリーストリート 210 ＃４

Claims

【特許請求の範囲】

【請求項１】システムのためのインタフェースであっ
て、ユーザの入力を取り込む多様インタフェースと、上記入力に応答する合成キャラクタと、を含むインタフェース。
【請求項２】請求項１に記載のインタフェースにおい
て、上記多様インタフェースは、それぞれが少なくとも１つの上記ユーザ入力を上記イン
タフェースに伝送するマルチ入力チャンネルと、上記マルチ入力チャンネルによって取り込まれた上記ユ
ーザ入力をフレームに作り上げる入力マネージャと、を含むインタフェース。
【請求項３】請求項２に記載のインタフェースにおい
て、上記マルチ入力チャンネルは、スピーチ、ボディー位
置、視線方向、ジェスチャ認識、キーボート入力、マウ
ス入力、ユーザＩＤおよびユーザの動きの検出のうちの
少なくとも１つを取り込むインタフェース。
【請求項４】請求項２に記載のインタフェースにおい
て、上記ユーザのスピーチを取り込むマイクロフォンと、上記ユーザのジェスチャ、ボディー位置、および視線方
向のうちの少なくとも１つを取り込むビデオカメラと、上記ユーザに取り付けられ、ユーザの方向を取り込むコ
ンパスと、をさらに含み、上記マルチ入力チャンネルは、上記マイクロフォンに接続されたマイクロフォン入力チ
ャンネルと、上記ビデオカメラに接続されたビデオ入力チャンネル
と、上記コンパスに接続された方向入力チャンネルと、を含むインタフェース。
【請求項５】請求項２に記載のインタフェースにおい
て、上記フレームは、上記ユーザ入力を含むデータを配置するユニフォーム格
納構造を含み、上記フレームは、各ユーザ入力からのデータと、上記キ
ャラクタの仮想空間を同期させるインタフェース。
【請求項６】請求項２に記載のインタフェースにおい
て、上記マルチ入力チャンネルは、動き検出器、サイバーグローブ、複数のサイバーグロー
ブ、ボディトラッキングハードウェアのデータを上記入
力マネージャへ送信する少なくとも１つの入力チャンネ
ルを含むインタフェース。
【請求項７】システムのためのユーザインタフェース
であって、仮想空間に発生されたディスプレイを含み、上記ディスプレイのオペレーションは、上記ディスプレ
イによる上記ユーザによって占領されている物理空間と
のインタラクションを含むインタフェース。
【請求項８】請求項７に記載のユーザインタフェース
において、上記ディスプレイは、合成キャラクタを生成し、上記物理空間とのインタラクションは、物理空間におけるオブジェクトに対する上記合成キャラ
クタによるポインティングまたはジェスチャを含むイン
タフェース。
【請求項９】請求項７に記載のユーザインタフェース
において、上記ディスプレイのオペレーションは、上記物理空間におけるオブジェクトの仮想空間とのイン
タラクションを含み、このインタラクションは、仮想空
間におけるオブジェクトに対する上記合成キャラクタに
よるポインティングまたはジェスチャを含むインタフェ
ース。
【請求項１０】請求項７に記載のユーザインタフェー
スにおいて、装置の少なくとも一部の現在位置を認識するセンサを有
するプレースメント認識装置をさらに含むインタフェー
ス。
【請求項１１】システムのインタフェースであって、ユーザ入力を取り込む入力装置と、上記ユーザ入力に行われる思考性および反応性処理を統
合する処理部と、上記思考性および反応性処理に基づき動作する出力機構
と、を含むインタフェース。
【請求項１２】請求項１１に記載のインタフェースに
おいて、上記出力機構は、合成キャラクタを生成するインタフェ
ース。
【請求項１３】請求項１１に記載のインタフェースに
おいて、上記反応性処理は、上記入力装置からの入力を受け取る
とすぐに上記出力機構への反応性出力を生成するインタ
フェース。
【請求項１４】請求項１１に記載のインタフェースに
おいて、上記反応性処理は、ユーザによる上記入力装置から入力
されるスピーチに応答して、そのスピーチが完了する前
に上記出力機構への反応性出力を生成するインタフェー
ス。
【請求項１５】請求項１４に記載のインタフェースに
おいて、上記出力装置は、合成キャラクタを含み、上記反応性出力は、スピーチ、ジェスチャおよび表情の
少なくとも１つを含むインタフェース。
【請求項１６】システムのためのウォークアップイン
タフェースであって、ユーザ入力を取り込む入力装置と、少なくとも１つのユーザ入力および所定のプログラムに
基づいて動作する出力機構と、を含み、上記ユーザは、上記ウォークアップインタフェースをオ
ペレートするために人間のインタラクションスキルのみ
を利用することが必要であるウォークアップインタフェ
ース。
【請求項１７】請求項１６に記載のウォークアップイ
ンタフェースにおいて、上記動作を決定するためにユーザ入力に実行される思考
性および反応性プロセスを統合する処理部をさらに有す
るウォークアップインタフェース。
【請求項１８】請求項１６に記載のウォークアップイ
ンタフェースにおいて、上記入力機構は、多様インタフェースであって、それぞれが少なくとも１
つの上記ユーザ入力を取り込むマルチ入力チャネルと、上記マルチ入力チャンネルによって取り込まれたユーザ
入力をフレームに統合する入力マネージャと、を有するウォークアップインタフェース。
【請求項１９】請求項１６に記載のウォークアップイ
ンタフェースにおいて、上記出力機構は、上記ユーザとインタラクトする会話キ
ャラクタを生成するウォークアップインタフェース。
【請求項２０】請求項１８に記載のウォークアップイ
ンタフェースにおいて、入力マネージャによる上記ユーザ入力の統合は、仮想お
よびリアル空間の同期とりまたはキャリブレーションを
含むウォークアップインタフェース。
【請求項２１】システムのインタフェースにおいて、ユーザ入力を取り込む多様インタフェースと、この多様インタフェースによって受け取られたユーザ入
力に行う思考性および反応性処理を統合する処理部と、上記思考性および反応性処理に基づいて上記入力に応答
して動作する合成キャラクタと、を含むインタフェース。
【請求項２２】請求項２１に記載のインタフェースに
おいて、上記多様インタフェースは、上記ユーザ入力の少なくとも１つを取り込むマルチ入力
チャンネルと、上記マルチ入力チャンネルから入力されるユーザ入力を
統合し、統合されたユーザ入力を上記処理部に提供する
入力マネージャと、を有するインタフェース。
【請求項２３】請求項２２に記載のインタフェースに
おいて、上記マルチ入力チャンネルは、スピーチ、ボディ位置、
視線方向、ジェスチャ認識、キーボードマウス、ユーザ
ＩＤおよび動きの検出チャンネルのうちの少なくとも１
つを含むインタフェース。
【請求項２４】請求項２１に記載のインタフェースに
おいて、上記処理部は、上記ユーザ入力の少なくとも１つを処理するとともに、
ユーザ入力に基づき動作する思考性部と、上記ユーザ入力の予め定められたものにリアルタイムの
反応またはユーザ入力に基づく複合動作を行う反応性部
と、を含むインタフェース。
【請求項２５】請求項２１に記載のインタフェースに
おいて、各多様インタフェース、デリバティブ処理および反応性
処理は、並列して動作するインタフェース。
【請求項２６】請求項２４に記載のインタフェースに
おいて、上記反応性処理は、上記入力装置から所定の入力を受け
取ったらすぐに上記出力機構に反応性出力をするインタ
フェース。
【請求項２７】請求項２６に記載のインタフェースに
おいて、上記所定の入力は、ユーザによるスピーチであり、上記
反応性出力は、上記合成キャラクタ上の会話的注目をイ
ニシエイトするコマンドであるインタフェース。
【請求項２８】請求項２４に記載のインタフェースに
おいて、上記思考性部は、上記多様インタフェースからの入力を融合させるととも
にユーザの物理環境およびユーザが何をしているかとい
うことの両方にコヒーレントな理解を決定する理解モジ
ュールと、上記コヒーレントな理解に基づいた動作のシーケンスを
計画するレスポンスプランナーと、各リアルタイムレスポンスおよび上記反応性部によって
作成された複合動作を実行する発生モジュールと、を含むインタフェース。
【請求項２９】請求項２４に記載のインタフェースに
おいて、上記マルチ入力チャンネルは、ユーザによって入力されたスピーチを送信する少なくと
も１つのチャンネルを有し、少なくとも１つのチャンネ
ルは、ボディ位置、視線方向、ジェスチャ認識、キーボ
ード、マウス、ユーザＩＤおよび動作方向を含むユーザ
入力の少なくとも１つの追加のユーザ入力の組み合わせ
を送信し、上記思考性部は、スピーチへの少なくとも１つの追加の
ユーザ入力の関連づけを行う関連モジュールを含むイン
タフェース。
【請求項３０】請求項２４に記載のインタフェースに
おいて、さらに、リアルタイムレスポンスおよび複合動作に従って合成キ
ャラクタを上記ユーザとインタラクトするようにコント
ロールするアクションスケジューラを含むインタフェー
ス。
【請求項３１】請求項２８に記載のインタフェースに
おいて、上記発生モジュールは、上記合成キャラクタまたは上記
合成キャラクタをサポートする計算システムの並列オペ
レーションを始めるインタフェース。
【請求項３２】請求項３１に記載のインタフェースに
おいて、上記始められた並列オペレーションは、合成キャラクタ
によるスピーチ出力、合成キャラクタによって実行され
る動作および上記コンピュータシステムによって実行さ
れるタスクのうちの少なくとも１つを含むインタフェー
ス。
【請求項３３】請求項２１に記載のインタフェースに
おいて、上記インタフェースがユーザとインタラクトし、ユーザ
入力により要求された動作を実行するようにインタフェ
ースを表示するアニメーションをコントロールするアク
ションスケジューラを含み、上記ユーザ入力は、スピーチ、ジェスチャ、オリエンテ
ーション、ボディ位置、視線方向、ジェスチャ認識、キ
ーボード、マウス、ユーザＩＤ、および動き検出の少な
くとも１つを含み、上記思考性処理は、少なくとも１つのユーザ入力を複合
動作を実行するために用い、上記反応性処理は、ユーザ入力の予め定められたリアル
タイムレスポンスを構成するインタフェース。
【請求項３４】請求項２１に記載のインタフェースに
おいて、上記処理部は、上記思考性処理の部分として、スピーチの意味および上記ユーザ入力に関連する言葉通
りでないものを発生する多様理解部と、上記理解に基づくコミュニケーションの動作のシーケン
スを計画するレスポンスプランニング部と、文章および関連するジェスチャであって上記コミュニケ
ーションの動作のシーケンスに適用可能なジェスチャを
発生する多様言語発生部と、を含むインタフェース。
【請求項３５】装置をオペレートする方法であって、仮想空間を表示するステップと、ユーザおよびドメインから入力を取り出すステップと、上記入力についての思考性および反応性処理を組み合わ
せ、上記装置のレスポンスを形成するステップと、を含む方法。
【請求項３６】請求項３５に記載の方法において、上記組み合わせステップは、予め定められた入力に対してリアルタイムレスポンスを
形成するステップと、上記入力に基づいて複合動作を形成するステップと、を含む方法。
【請求項３７】請求項３５に記載の方法において、上記思考性処理は、ユーザのドメインおよび動作についての理解を検出する
ステップと、反応性プロセスに上記理解を出力するステップと、を含む方法。
【請求項３８】請求項３７に記載の方法において、上記理解を検出するステップは、上記入力を取り出すステップと、ドメインについての知識にアクセスするステップと、ユーザ、ユーザ入力、および知識ベースからの上記ドメ
インの中の少なくとも１つについての理解を推論するス
テップと、上記入力、アクセスした知識および推定した知識の少な
くとも１つを、上記ユーザのドメインおよび動作のコヒ
ーレントな理解を示す少なくとも１つのフレームに融合
させるステップと、を含む方法。
【請求項３９】請求項３８に記載の方法において、上記融合するステップは、入力が互いにどのように影響するかについてのルールの
セットを提供するステップを含む方法。
【請求項４０】請求項３９に記載の方法において、上記融合するステップは、入力によって取り込んだジェスチャを識別するステップ
と、このジェスチャと同時または近接した時間に取り込まれ
たスピーチの意味を検出するステップと、を含む方法。
【請求項４１】請求項３７に記載の方法において、上記思考性処理は、さらに、上記理解に基づきレスポンスを計画するステップと、取り出された入力に基づいて談話モデルを更新するステ
ップと、を含む方法。
【請求項４２】請求項３９に記載の方法において、上記更新するステップは、ユーザのスピーチのタグがつけられたヒストリーを維持
するステップを含み、このステップは、ユーザおよび仮想空間の間の会話および上記思考性およ
び反応性処理を介し受け取った他の情報の下で少なくと
も１つのトピックにタグをつけるステップを含む方法。
【請求項４３】請求項３７に記載の方法において、上記理解を検出するステップは、選択された上記入力をユーザのドメインおよび動作のコ
ヒーレントな理解を提供するフレームに融合させるステ
ップを含み、この融合させるステップは、上記選択された入力に関するドメインについての静的知
識ベースにアクセスするステップと、動的知識ベースおよびユーザおよび仮想空間間の現在の
話の理解を推論する談話モデルの少なくとも１つにアク
セスするステップと、談話モデルにアクセスし、現在の話の理解を推論し、上記静的知識ベース、上記動的知識ベースおよび上記談
話モデルの少なくとも１つからの情報を組み合わせ上記
フレームを生成するステップと、を含む方法。
【請求項４４】請求項３５に記載の方法において、さらに、仮想空間についての情報およびドメインについての動的
知識ベースを維持するステップを含む方法。
【請求項４５】請求項４４に記載の方法において、上記維持するステップは、上記ドメイン内におけるユーザ位置を識別する情報を維
持するステップと、上記仮想空間に表示されたキャラクタおよびオブジェク
トの位置または方位を識別する情報を維持するステップ
と、上記仮想空間のプログラミングによって実行されるプラ
ンにおける配置をトラッキングするステップと、を含む方法。
【請求項４６】請求項３５に記載の方法において、上記反応性処理は、上記ユーザ入力の選択された更新と上記思考性処理から
のユーザ入力に関するフレームの理解を同期して受信す
るステップと、上記ドメインについての静的知識ベースおよびユーザ
と、ドメインと仮想空間間の現在の話についての推論さ
れた情報を含む動的知識についてのデータにアクセスす
るステップと、非同期の更新、理解フレームおよび上記データに基づい
て上記仮想空間についての現在の動作を検出するステッ
プと、を含む方法。
【請求項４７】請求項３５に記載の方法において、さらに、上記仮想空間内の会話的キャラクタを表示するステップ
を含む方法。
【請求項４８】請求項４７に記載の方法において、上記会話的キャラクタを表示するステップは、会話的キャラクタを上記ドメインとインタラクトさせる
ステップを含む方法。
【請求項４９】請求項４７に記載の方法において、上記会話的キャラクタを表示するステップは、上キャラクタのスピーチおよび上記キャラクタによるジ
ェスチャを上記ドメイン中のオブジェクトに向けて統合
するステップを含む方法。
【請求項５０】請求項３５に記載の方法において、上記レスポンスに従って仮想空間中の動作をスケジュー
ルするステップをさらに含む方法。