【発明の詳細な説明】
対話式オーディオビジュアル制御機構
産業上の利用分野
本発明は、概括的には対話式コンピュータシステムの分野に関し、特に、マル
チメディアのコンピュータシステムに使用される対話式制御機構に関する。
発明の背景
コンパクトディスク（ＣＤ）、コンパクトディスク／読み取り専用メモリ（Ｃ
Ｄ／Ｒ０Ｍ）及びビデオディスク（ＶＤ）デジタル記憶技術の出現に伴い、コン
ピュータシステムは多種多様なメディアを通してユーザと対話すること、並びに
ユーザに許容可能であり教育学上効果的なアクセス速度で高質の音声及びビジュ
アル固像のユーザへの呈示を容易にすることが急速に可能となってきている。ソ
フトウエア開発者はもはやテキストの情報に単に頼っていてはいけない、或いは
現実の出来事を説明又は模倣するためにコンピュータの中央処理装置（ＣＰＵ）
によって発生されるコンピュータグラフィックス及びアニメーションでさえも単
に頼っていてはいけない。最近ではそれらの蓄積は実際のスピーチ及び音楽と共
にライブビデオの高質な再生をするほどまでに拡大されている。
これらの技術の有望さにもかかわらず、実用的なマルチメディアのアプリケー
ションは幾分遅れている。この理由の１
つは技術に於ける現在の「読み取り専用」の性質である。消去可能なＣＤ技術は
未だ商業的には利用されていないので、ハードディスク磁気メディアに使用され
る機構に類似したランダムアクセス機構によってＣＤ／ＲＯＭに記憶されたスピ
ーチ、音楽又はデータ、或いはＶＤに記憶されたビデオ及びオーディオを変更す
ることはユーザにはまだ不可能である。
しかし、純粋に読み取り専用の技術に対してさえも多くのアプリケーションが
ある。例えば、不変情報の大量データベース（百科事典、歴史の記録又は法律上
の判例法など）は大記憶容量のＣＤ／ＲＯＭドライブを用いて保持されることが
できる。その後、そのような情報の全文書は探索され、ユーザに膨大な量の情報
をアクセスさせることができる。
教育の分野において、生徒はありきたりの教科書に加えてオーディオ及びビジ
ュアル情報への急速なアクセスから大きな恩恵を受けている。同じ情報を何度も
呈示し、様式を変えることによって学習プロセスが向上される。特に対話式アプ
リケーションは、ありきたりな講義への生のビジュアルな助けによる優れた捕足
として、多くの教育者に理解されている。なぜなら、対話形式では学習過程にお
いて、学習者にキーを動かす選択及び制御を与えるからである。
いくつかのマルチメディアの学習用具が最近開発されたが（例えば、ＶＤをコ
ンピュータに接続することによって、そのコンピュータアプリケーションから関
連するビデオにボタンに触れることにより切り換えることができる）、これらの
用具の成功には限界があった。ユーザが自らどのように進みたいかを選択できる
理想的なマルチメディア情報データベースは実現からは程遠い。
これまでのマルチメディアアプリケーションの成功に限度がある第１の理由は
オーディオ及びビデオの同時使用に対するＶＤ技術の現状である。対話式コンピ
ュータのプログラムはこれまで、大量の高質のオーディオ及びビデオを同時にア
クセスできず、さらにこの取り合わせにコンピュータグラフィックスを加えるこ
ともできなかった。
特に教育へのアプリケーションに於いては、学習者（ユーザ）が意味のある方
法でシステムと対話するならば、ある閾値が満たされなくてはならない。何秒も
の遅れはしばしば耐えがたいものである。充分に大量の高質のオーディオ及びビ
デオ情報が非常に短期間にアクセス可能でなくてはならない。そのような実行可
能であるべき対話式システムでは、最低６０分の連続又は離散的音声又は発話（
ＦＭ音質以上）、及び３０分の高質ビデオが最大で１秒１／２のアクセス時間以
内にアクセス可能であるべきである。
ビデオディスクのオーディオ部分は現在、各面につき２つのオーディオチャネ
ルに制限されており、各々の期間はおよそ３０分である。期間が限定されている
ことよりも重要なのは、両方のオーディオトラックをビデオトラックの個々のビ
ジュアルフレームと同期させる必要性である。言い換えると、各トラックのオー
ディオ部分は、ビデオトラックのフレーム
と「一列に並んで（line up）」いなくてはならない。
このようにＶＤ上のオーディオ及びビデオを同期させる必要性は、映画又は他
の伝統的なビデオの場合には概して問題とはならなかった。なぜなら、ビデオ画
像とサウンドトラックとの間には１対１の対応があり、サウンドトラックはその
ような画像が表示されると同時に再生されるものだからである。しかしながら、
対話式コンピュータシステムは、このようにオーディオ及びビデオを同期させる
必要性によって主に妨げられている。
例えば、人がスピーチしているビデオ画像をユーザが見て、付随するオーディ
オを英語にするか、翻訳された日本語などの言語にするかを選択できる簡単な対
話式コンピュータシステムを考えてみる。そのようなシステムは日本語を話す人
に英語を教える場合に有用である。２つのＶＤオーディオトラックのうち１つの
英語の声は、個々のビデオ画像に同期することが可能である。しかしながら、日
本語の翻訳は同一のビデオ画像とは容易に同期することはできない。なぜならば
、日本語のオーディオ部分は対応する英語の部分よりも長いからである。これが
問題を提起し、ビデオが多数のオーディオ部分と同期することが要求される多く
のアプリケーションに於て起こる。
そのような同期の問題に対する１つの以前の解決策は、ＶＤ上の複数箇所にお
いてビデオ画像を繰り返すビデオ画像の独自のセットにそれぞれ対応するオーデ
ィオ部分を同期させ
ることであった。しかしながら、この「解決策」はＶＤ上の限られた面積の非常
な無駄使いであり、従って重要なアプリケーションには適していない。
この問題に対する他のもっともらしい論理的解決策は、オーディオ部分が再生
されている間は個々のビデオフレームをコマ止めすることである。しかし、ＶＤ
に対するこの方法では（「静止フレームオーディオ」として公知のように）、音
質がＡＭラジオの音質のようになり、よりリアルなＦＭ音質又はＣＤ音質を要求
するアプリケーションには適当でない。さらに、１個のビデオフレームにオーデ
ィオをパックし位置合わせするプロセスは非常に複雑であり、特に、ＣＤにオー
ディオを単に記録するよりも高価となる。
従って、オーディオ及びビデオの本質的同期と共にＶＤ技術に主に頼ることに
よって、対話式コンピュータシステムはこれまで、大量の高質のオーディオ及び
ビデオへの同時アクセスをユーザに与えることができていない。
近年まで、ＣＤからの高質オーディオは「トラック」（各ＣＤにつき約１００
）によってアクセス可能なだけであり、限られたアクセス、例えばアルバムの各
曲へのアクセスのみが可能である。しかしＣＤ技術における近年の発展に伴い、
ハードディスク磁気メディアに対して用いられる方法と同様のランダムアクセス
法を用いて、１個のトラック内でＣＤ上の個々の音声又は発話に、ユーザが許容
するアクセス時間でアクセスすることが可能である。おそらくこの技術が新しい
ので、或いはおそらくＶＤが高質のオーディオ及びビデオの同期を提供する現在
唯一のメディアであるので、発明者が知っている対話式コンピュータシステムは
未だこの技術を開発していない。
さらに、今日の対話式コンピュータシステムには他にも問題があり、特に、ユ
ーザが意のままにアクセスできる情報の莫大な配列形態でシステムが知能を有し
ていることをユーザに示す目的に関して問題がある（大量の高質のオーディオ及
びビデオが１秒１／２以内の効果的なアクセス時間で利用できることが要求され
る）。
１つのそのような問題は、そのようなシステムによってユーザがアクセスした
い情報に集中することができるという実用的な要求に関連する。システムは、そ
の情報源（ＣＤ、ＶＤ又はコンピュータのＣＰＵのどれか）からユーザを隔離し
、さらに時間の最小閾値を越えて待たせることなく各種の情報源から情報をアク
セスするプロセスからユーザを隔離しながら、少なくとも、情報がどこにあるの
かを「知って」いるべきである。
加えて、そのようなシステムはまた、経験及び専門のレベルの異なるユーザに
対応できるべきである。過去において、対話式コンピュータシステムは専門の「
平均」レベル、又はより低いレベルを通して進歩することによってユーザが達す
ることができる多レベルを単に与えるだけであった。非シーケンシャルにリンク
した情報にユーザがアクセスできる「ハ
イパーテキスト（hypertext）」システムでさえ、これまでのところ、システム
に知的形態を与えるために必要な選択（choice）の深さを提供していない。ユー
ザが「次にどこへ行くベきか」の選択を有するだけでなく、専門の各レベルを反
映して充分な種類の情報及び選択をユーザに呈示することも重要である。
従って、現在の対話式コンピュータシステムは大量の高質のオーディオ及びビ
デオへの同時アクセスをユーザに提供することができず、さらにユーザが情報自
体に焦点を合わせることができるように充分な知的形態を与えること及びユーザ
がアクセスした情報の技術及び限られた選択から隔離されたままであることは不
可能である。
発明の要旨
離散的オーディオ情報（個々の音声又は発話など）のランダムアクセスを可能
とするＣＤ技術における最近の進歩を利用して、本発明の対話式オーディオビジ
ュアル制御機構（ＩＡＣＭ）は、大量の高質のオーディオ及びビデオがユーザに
同時に呈示される対話式コンピュータシステムを初めて提供する。以下に説明さ
れる好ましい実施態様において、これはＣＤ／ＲＯＭ及びＶＤ装置へのランダム
アクセスを介して達成される。そこでは、ＶＤの個々のビジュアルフレームは、
ＣＤ／ＲＯＭからの離散的音声及び発話がシステムのスピーカを通して再生され
る特定の期間にシステムの表示モニタに
表示される。
もちろん、上記のように、ＶＤサウンドトラックは同時に再生されることも可
能であるが、特に、その使用はビデオの同期の必要性のためにさらに制限されて
いる。コンピュータグラフィックの静止画像及びアニメーションはまた、ビデオ
及びコンピュータグラフィックスの両方を同時に表示することができる周知の「
ゲンロック（GENLOCK）」装置のために、ビデオ上の層としてアクセス可能であ
る。
「制御バー（Control Bar）」機構自体は、このオーディオビジュアル情報の
各種情報源からユーザを隔離するように設計されている。言い換えると、ユーザ
は音声がＣＤ、ＶＤ又はＣＰＵのいずれから発されているのかを気にする（又は
気付くことさえ）必要はない。彼又は彼女はスピーカから音声が出ており、それ
が特定のビジュアル表示に関連しており、おそらくユーザのシステムとの以前の
対話に反応していることのみを知っていればよい（例えば、マウス、ライトペン
又はキーボードなどの入力装置を用いてピクチャを選択することによって）。同
様に、ユーザは特定のビジュアル画像がＶＤ又はＣＰＵから発されているかどう
かを知る必要はない。簡単に言うと、ユーザは情報だけに集中するために解放さ
れており、その情報を呈示するために使用された技術には関わらない。さらに、
１秒１／２より短いアクセス時間のために、ユーザは不自然な時間待たなくては
ならないフラストレーションを受けずに済む。
制御バーはまた、開発者が製作し得るほぼ全ての対話式システムとユーザとの
間の一貫したユーザインタフェースを提供するように設計されている。アプリケ
ーションに関係無く、制御バーは、呈示を制御しオーディオビジュアル情報を順
序付けする手段をユーザに提供する。
「フォワード（forward）」、「リバース（reverse）」及び「リピート（repe
at）」ボタンなどの制御「ボタン」（特定のアクションを起こすためにユーザが
選択する）のいくつかは、一見したところでは、テープデッキ、ビデオカセット
レコーダ及び他の一般的なオーディオ及びビデオ機器に見られるボタンに対応し
ている。しかし、これらのボタンは実際には、ユーザがアクセスを提供される高
質のオーディオビジュアル情報の情報源として好ましい実施態様において使用さ
れる実際のＣＤ／ＲＯＭ及びＶＤプレーヤを含むいかなる物理的装置に見られる
制御装置にも対応していない。
その代わりに、（好ましい実施態様においては）これらのボタンによって、ア
プリケーション開発者又は著者は、表示されている情報への「概念的にシーケン
シャルな」アクセスをユーザに提供することができる。もちろん他の実施態様に
おいては、特定のアプリケーションに独特の非シーケンシャルなアクセスをユー
ザに提供することができる。
好ましい実施態様においてさえ、オーディオビジュアル情報の著者の呈示は純
粋に線形であり得（例えば、関連する音声が再生されている間に１０個の画像を
順次表示する）、或
いは関連する音声と画像との間の非シーケンシャルな「ハイパーテキストのよう
な」複数のリンクからなり、システムと対話することによって関連する音声又は
画像への特定のリンクをユーザが選択することが可能である。著者によって設計
された様式は、著者の資料を通して「進める（forward）」又は「戻す（backwor
d）」という意味を決定し、音声及び画像自体の物理的位置（ＣＤ／Ｒ０Ｍ）
ＶＤ及びＣＰＵ装置へのランダムアクセスを介して獲得される）には必ずしも対
応しない。
好ましい実施態様において、制御バーは特定のアプリケーション、ここでは日
本のビジネスマンに英語を教えるための「言語学習システム」、に対応するボタ
ンもまた備えている。そのようなボタンは、「ＡＢＣ」と記されたテキストボタ
ン（起動されると再生されているスピーチに対応してテキストが表示される）、
及び翻訳される言語の国旗が記された翻訳ボタン（起動されると、以前の句又は
発話が特定の翻訳言語、ここでは日本語で繰り返される）を有している。
制御バーと共に、システムの知的形態の多くをユーザに与える「シャッフラ（
schuffler）」機構がある。制御バーによってユーザが著者の資料の望ましいセ
クションをアクセスできる（各種情報源から適当なオーディオビジュアル資料の
対応するランダムアクセス検索を用いることによって）のに対し、シャッフラは
、システムとのユーザの以前の対話から決定される（認識可能な遅延はない）ユ
ーザの「能力レベル」
に基づいて、どの特定のオーディオ要素及び／又はビジュアル要素をシステムが
選択するか（著者によって提供された資料の全領域から）を制御する。
例えば、特定の発話に対して、シャッフラは選ぶべき選択肢が１つしかない。
なぜなら、ユーザが特定のアプリケーションの最初の導入レベル又はその部分に
いるからである。しかしながら、ユーザが進歩し、彼又は彼女の進歩をシステム
に示すにつれて（例えば、質問に正しく答えることによって、又は単語及び／又
はピクチャの思慮のある又は適当な組合せを選択することによって）、シャッフ
ラは著者から与えられた複数の選択からオーディオビジュアル入力の特定のオー
ディオ及び／又はビジュアルのシーケンスを自由に選択し構成して、ユーザに呈
示する。
この技術によってシステムは冗長性（以前の選択、つまりオーディオビジュア
ル応答がより高いレベルで再び選択されるような場合）だけでなく、複雑性の増
大も（新しい、おそらくより複雑な選択がより高いレベルで選択される場合）自
動的に提供することができる。どちらも学習プロセスのキー構成要素である。シ
ャッフラ機構は以前に導入された資料を一瞥すること、又は導入されるべき資料
を予示することのバランスを考慮する。このバランスの偏りは、対話における生
徒の能力によって、又はシャッフラレベル制御を通して生徒がレベルを選択する
ことによって決定される。
このように、様々な知的レベル及び／又は経験レベルのユ
ーザには、複雑さの「平均」レベル又は複雑さの段階（tiers）（ユーザはしば
しば覚えておくことができる）ではなく、一部は不変であり（重複するオーディ
オビジュアル情報がユーザに呈示される）、一部は複雑さを増大する（新しいお
そらくより複雑なオーディオビジュアル情報又は概念もまたユーザに呈示される
）統合されたシステムが呈示される。著者がより深い選択を提供する場合、ユー
ザはパターンを記憶することがより少なくなる。なぜならば、多くの離散的音声
及びビジュアル画像の自由な選択のために、変化は単に線形ではなく、本質的に
指数関数的となるからである。
シャッフラはこのように、単なる「分岐（branching）」機構以上のものであ
る。シャッフラはまた、ユーザに明らかに知的なシステムを呈示する重要な「深
さ（depth）」を提供する（冗長性及び増大した複雑さの使用を通して）。
以下に説明される本発明の好ましい実施態様は日本のビジネスマンに英語を教
えるための言語学習システムについて示すが、本発明の他の多くの実施態様（対
話式環境において高質のオーディオ及びビジュアル情報の同時呈示も包含する）
が以下の説明から明らかであろう。
図面の簡単な説明
図１は対話式オーディオビジュアル制御機構（ＩＡＣＭ）のシステム構造のブ
ロック図を示している。
図２はＩＡＣＭのユーザがオーディオビジュアルフレーム
セグメントの順序付けを制御できる制御バー機構を説明している。
図３はユーザの能力レベル（ユーザのシステムとの以前の対話によって決定さ
れる）に基づいて、ＩＡＣＭのユーザにオーディオビジュアルフレームセグメン
トの自由な選択を提供するシャッフラ機構を説明している。
好ましい実施態様の詳細な説明
ＩＡＣＭの好ましい実施態様の構成は図１のブロック図に示されている。上記
のように、この構成が適用される具体的なアプリケーションは、英語を学ぶ日本
人学習者に英語を教えるために設計された言語学習システムである。この具体的
なアプリケーションをより詳細に説明する。
ＩＡＣＭの中央制御は、コンピュータ（本実施態様では、ＩＢＭのＡＴコンパ
チブルパーソナルコンピュータ）１１の中央処理装置（ＣＰＵ）１０によるもの
である。ＣＰＵ１０によって実行される全ての命令は先ず、ハードディスク１３
などの外部メモリ源から内部ランダムアクセスメモリ（ＲＡＭ）１２にロードさ
れる。ＩＡＣＭのユーザにハードディスクドライブを所有することを要求せずに
、本実施態様の全てのソフトウエア１５はＣＤ／ＲＯＭに記憶され、ＣＤ／ＲＯ
Ｍプレイヤ２０を通してアクセスされる。
従って、ＣＰＵ１０は、初めはハードディスク１３から（ローカルバス１７及
び１８を介して）又はＣＤ／ＲＯＭプレ
イヤ２０から（システムバス１６及びローカルバス１７を介して）ロードされた
個々の命令を、ＲＡＭ１２から（ローカルバス１７及びシステムバス１６を介し
て）受け取り、実行する。ソフトウエア１５はこれらの命令を通してＣＰＵ１０
を制御して、スピーカ５０から音声を再生し、モニタ４０にビジュアル固像を表
示させる。
スピーカ５０は３つの異なる情報源（ＣＰＵ１０、ＣＤ／ＲＯＭプレイヤ２０
及びＶＤプレイヤ３０）から発生された、又はそれらの情報源に記憶されたオー
ディオを再生することができる。ＣＤ／ＲＯＭプレイヤ２０及びＶＤプレイヤ３
０はどちらも高質のデジタルオーディオ２５及び３２をそれぞれ記憶する。ＣＤ
／ＲＯＭプレイヤ２０はまた、デジタルオーディオ２５に加えて、２進データつ
まりソフトウエア１５を記憶することができる。３つのオーディオ情報源すべて
は本実施態様ではスピーカ５０（５１、５２及び５３参照）を通して再生され、
スピーカ５０はそのようなオーディオをローカルバス５４及びシステムバス１６
を介して受け取る。
ＶＤプレイヤ３０も、もちろん、（上記のような）デジタルオーディオ３２の
２つの周囲のトラックと各トラック上で同期された高質デジタルビデオ画像を記
憶することができる。さらに、ＣＰＵ１０はモニタ４０上に静止グラフィック画
像４１及び動画化されたグラフィック画像４２を発生させて表示し、またＶＤプ
レイヤ３０によって発生されたデジタルビデオ画像４３（３１参照）を表示する
こともできる。ＣＰＵ
はローカルバス３３及びシステムバス１６を介してＶＤプレイヤ３０からのデジ
タルオーディオ及びビデオをアクセスし、ローカルバス２６及びシステムバス１
６を介してＣＤ／ＲＯＭプレイヤ２０からのデジタルオーディオ及び２進データ
をアクセスする。本実施態様では、コンピュータグラフィックス及びビデオの全
ての形態はモニタ４０に表示され、モニタ４０はローカルバス１９及びシステム
バス１６を介してビジュアル画像を受け取る。
図１のこの構成はソフトウエア１５がＣＰＵ１０を如何に制御し、種々のビジ
ュアル画像（静止グラフィック固像４１、動画化されたグラフィック画像４２及
びビデオ画像４３を含む）を、対応するオーディオ音声５１、５２及び５３がス
ピーカ５０を通して同時に再生されている間に表示させ得るかを説明している。
ある所定の時刻に於ける、スピーカ５０からのオーディオ出力に対応しているモ
ニタ４０上の全オーディオビジュアル表示を包含している得られる出力を、オー
ディオビジュアルフレーム７０と称する。複数のオーディオビジュアルフレーム
はオーディオビジュアルセグメントと称される。１つのオーディオビジュアルセ
グメントは、対応するオーディオが再生されている間（例えば人が話している間
）画面上で静止された１個のピクチャからなるようにしてもよいし、或いは変化
するオーディオ及び／又はビジュアル効果（例えば、サウンドトラックを有する
、おそらくオーバレイされたコンピュータアニメーションを有する映画）からな
る
ようにすることもできる。
上記のように、以前の対話式システムにおける困難性の根本は、表示されてい
るビジュアル固像に対応する大量の高質オーディオを再生する能力がなかったこ
とである。しかしながら、近年のＣＤ／ＲＯＭ（ＣＤＩ、ＤＶＩ等）技術の発達
のために、現在ではランダムアクセス法によりＣＤ／ＲＯＭから離散的オーディ
オ音声及び発話を検索することが可能である。例えば、現在のＣＤ／ＲＯＭプレ
イヤはおよそ６０〜７５分の高質デジタルオーディオを（ステレオ音声が必要で
なければ２つのチャネルそれぞれに）記憶することができ、さらに重要なことに
は、１秒より短い間に１個のオーディオ「フレーム」（音声の約１／７５秒を構
成する）をアクセスすることができる（学習者がしばしば不本意に待つ閾値であ
る１秒１／２より充分に短い）。従って、小さなオーディオ構成要素（１個の音
声又は数語のスピーチなど）は、そのようなＣＤ／ＲＯＭプレイヤの製造者によ
って提供された仕様に適合するように容易に書き込まれたローレベルソフトウエ
アドライバを通してＣＤ／ＲＯＭから正確にアクセスされることができる。より
低いサンプリング速度での音声のサンプルが可能になることによって、将来のＣ
Ｄ／ＲＯＭプレイヤはわずかに質の悪い音声（例えば、ＣＤ音質の音声ではなく
てＦＭ音質の音声）を少なくとも１０〜２０時間、多くの教育的アプリケーショ
ンのために必要な音質限度内で記録することが可能となるであろう。
同様のランダムアクセス方法がＶＤプレイヤに対して周知である。しかしなが
ら、多重のオーディオ出力が同一のビデオフレームに所望される場合（映画とは
異なり、対話式コンピュータシステムにおいては一般的である）、上記の同期の
問題のために、ＶＤプレイヤのオーディオトラックを利用することはしばしば実
行可能ではない。図１に示されるＩＡＣＭ構成はオーディオがＶＤプレイヤ３０
から（本質において、表示されているビジュアル画像にオーディオが「所属する
」場合）又は、ＣＤ／ＲＯＭプレイヤ２０から（部分的にはシステムとのユーザ
の対話に基づいて各種オーディオ選択が必要である場合）アクセスされることが
できる。もちろん、ＣＰＵはまた、静止グラフィック画像４１及び動両化された
グラフィック画像４２、並びに音声５１を動的に（システムが動いている間に）
発生させることができる。
高質音声及びビジュアル圃像の同時呈示の重要な利点は、システムのユーザに
対しても対話式プログラムの開発者に対してもある。同一の情報が様々な形式で
そのようなシステムの著者又は開発者によって伝えられることができるので（テ
キスト、グラフィックス、アニメーション、ビデオ、音声及びそれらの組合せに
よって）、学習プロセスが容易になる。ある人はビジュアルメディアにより反応
し、他の人は純粋にテキストの情報を好み、さらに他の人は実際のビデオをより
好むかもしれない。対話式プログラムの開発者又は著者は、ユーザの選択及び制
御を最大限にし、呈示される情報の情報
源からユーザから分離して、ユーザとの効果的なインタフェースを提供しなけれ
ばならず、それによってユーザは意味のある方法でその情報と対話することが可
能となる。
ＩＡＣＭのユーザインタフェースがこれらの目的を満たす１つの方法は、シス
テム上で働くあらゆる対話式アプリケーションをユーザが制御できる「制御バー
」６０を通してである。一見、制御バー７０はテープ、ＣＤ又はＶＤプレイヤの
ための制御パネルのように見える。しかし、明らかになるように、制御バーの目
的及び機能はＣＤ／ＲＯＭプレイヤ２０又はＶＤプレイヤ３０を直接制御するこ
とではなく、そのようなアプリケーションに共通する基本コマンドを通して、た
またま実行されている特定のアプリケーションを制御することである。本実施態
様において、これらのコマンドのいくつかは、言語学習システムに対して開発さ
れたアプリケーションのセットと共に使用することが最適である。しかしながら
、他のコマンドはＩＡＣＭのために開発し得るほぼ全てのタイプの対話式アプリ
ケーションに対しても非常に有用である。
例えば、フォワードボタン６７及びリバースボタン６６はほとんど全ての対話
式アプリケーションと一貫して機能する。著者は、例えば、スピーチする人を示
すオーディオビジュアルフレームの線形セットからなる特定のオーディオビジュ
アルフレームセグメントを設計することができた。フォワードボタン６７を選択
する（又は継続的に押す）ことによって、ユーザは、あるオーディオビジュアル
フレームをプログラム
にスキップさせ、線形のシーケンスで後に再開させることができる。同様に、リ
バースボタン６６は順番が前のプログラムを再開させる。どちらの場合でも、ユ
ーザが「ストップ／プレイ（stop/play）」ボタン６８を押すと、呈示が再開さ
れる。
ユーザにＶＤプレイヤの出力を単に呈示し、これらのボタンを対応するＶＤプ
レイヤの制御として作動させることは可能であるが、制御バーはもっと効力のあ
る概念である。例えば、ある所定の時刻に於いて、表示されているオーディオビ
ジュアルフレームはＶＤプレイヤ３０からのビデオ固像４３からだけではなく、
ビデオ上にオーバレイされた動画化されたグラフィック画像４２からも構成され
ている。さらに、そのオーディオビジュアルフレームはＣＤ／ＲＯＭプレイヤ２
０からアクセスされた対応する音声からも構成されることもできる（その音声は
、後述されるユーザの能力レベルに応じて変化し得る）。
フォワードボタン６７はＶＤプレイヤのフォワードボタンには対応しておらず
、実際には、制御バーにＶＤプレイヤ３０を早期に物理的に示された画像に「リ
バース」して戻すことを要求し、ビデオディスク上にそれらの早期のビデオ画像
を表示させる。対話式アプリケーションがシーケンシャルなオーディオビジュア
ルフレームを呈示するとしても、それらのフレームは、あらゆる装置にシーケン
シャルに記憶された情報とは必ずしも対応していない。その代わりに、対話式ア
プリケーションはＣＤ／ＲＯＭプレイヤ２０及びＶＤプレイヤ３０を含む各種の
記憶メディア上の様々な物理的位置からオーディオ及びビジュアル情報のビット
又はピースを、ランダムアクセスを介して検索することはもっともである。
従って、フォワード及びリバースの正確な意味は特定のアプリケーションによ
って、及びオーディオ及びビジュアル情報内のシーケンシャルリンク又は非シー
ケンシャルリンクによって変化する。制御バーの他のボタンを言語学習システム
に関連して以下にさらに詳細に説明する。
オーディオビジュアルフレームセグメントの順序付けをユーザが制御すること
を可能にする制御バーに加えて、シャッフラ機構（図１には図示しない）は、ユ
ーザの能力レベル（ユーザのシステムとの以前の対話によって決定される）に応
じて各オーディォビジュアルフレームセグメントにおいて呈示された情報又は概
念的複雑さを変化させることによって、ＩＡＣＭシステムが知性を有していると
いう印象をユーザに与える。
概して、シャッフラは、著者によって供給された可能な選択の変化する領域の
中からオーディオビジュアルフレームセグメント（又はオーディオビジュアルフ
レームセグメントのシーケンス）を選ぶための機構である。特に、領域の大きさ
は生徒の能力レベルによって決定される。この特定のアプリケーションにおいて
、シャッフラは、乱数発生器を用いて、著者によって供給された可能な選択の領
域から可能なオーデ
ィオ発話の１つ（モニタ４０に表示されている特定のビジュアル画像に対応する
）を選ぶ。
例えば、（好ましい実施態様において）英語を教えるために使用された人物の
１人は「Ｍａｘ」と名付けられた人である。Ｍａｘのピクチャは動画化されたコ
ンピュータグラフィックスを用いてモニタ４０に表示される。Ｍａｘの口が動い
ている間、Ｍａｘは英語で発話している。ユーザが初めてシステムを動かし始め
る時には、彼又は彼女の能力レベルは最低のレベルである。しかしながら、ユー
ザが質問に正しく答え始める、或いは適当な対話応答を行うにつれて、その能力
レベルは上がる。逆に、ユーザが間違い始めると能力レベルは落ちる。
各決定ポイントで（つまり、各オーディオビジュアルフレームセグメントの呈
示の直前に）、シャッフラは動作を開始し、様々な領域の可能な発話の中から自
由にＭａｘの発話を選択する（認識可能な遅延はない）。最低の能力レベルでは
、領域は１つの発話しかなく、もちろんそれが選択される。より高いレベルでは
、著者は付加的な発話を供給することができ、冗長性（より低いレベルからの同
一の発話を再び選択する場合）及び（より複雑であるかどうかは別として、新し
い発話が供給されるにつれて）増大する複雑さをユーザに提供する。シャッフラ
機構の正確な動作は、言語学習システムに関連して以下に説明される。
オーサリング言語
制御バー及びシャッフラ機構はソフトウエア１５において実行される（他の実
施態様においては、それらは他のソフトウエア又は純粋にハードウエアにおいて
実行され得る）。コンピュータのＲＡＭ１２及びハードディスク１３から、及び
ＣＤ／ＲＯＭプレイヤ２０及びＶＤプレイヤ３０からのオーディオ、ビデオ及び
データの実際のランダムアクセス検索を実行するローレベルドライバ（当該分野
において周知）に加えて、ソフトウエア１５は、対話式アプリケーションの開発
者又は著者がその特定のアプリケーションに制御バー及びシャッフラ機構を適合
させることができる「オーサリング言語（Authoring Language）」を実行する。
本実施態様におけるオーサリング言語は、日本のビジネスマンに英語を教える
ための言語学習システムに最適である。言語学習システムのための対話アプリケ
ーションを作るために、著者は先ず１セットのファイルを用意しなくてはならな
い。
これらのファイルのほとんどは単なるデータファイルである。そのようなファ
イルの１つは「辞書（dictionary）」ファイルであり、このアプリケーションの
辞書機能と共に用いるための単語を供給するための機構を著者に提供する（これ
によってユーザは単語の意味を調べることができ、関連する単語及び文脈におけ
る句を理解することができる）。このファイルは簡単には、識別及び検索のため
の２文字コードを有
する１セットの単語（及び関連する単語）からなる。著者が作らなくてはならな
い他のファイルは「単語（word）」ファイルとして知られ、その特定のアプリケ
ーションのためにコンピュータ（ＣＤ／ＲＯＭ又はＶＤプレイヤとは異なる）に
よって発生されるべき各単語（及びその単語をアクセスするために使用される対
応する番号）のリストを包含している。著者はまた、「ピクチャ（pics）」ファ
イルも作らなくてはならない。ピクチャファイルは、あるならば、動画化される
べきピクチャの大きさ及び部分の相対位置（他の、同様のピクチャと共に表示す
ることによる）などのピクチャの人物と共に、そのアプリケーションのための各
固像（関連するファイルに記憶されている）にアクセスするために用いられる符
号化された番号を包含している。
著者が作らなくてはならない最後の２つのファイルは「スクリプト（script）
」ファイル（アプリケーション全体を制御する）及び「音声（sound）」ファイ
ル（オーディオ部分だけでなく各オーディオビジュアルフレームセグメントを制
御する）である。
本質において、音声ファイルは実際のＣＤ／ＲＯＭプレイヤ及びＶＤプレイヤ
を制御するためのローレベルドライバソフトウエアへの指示を包含している。音
声ファイルは、特定のオーディオビジュアルフレームセグメント、例えば、ＶＤ
プレイヤからの特定の一連のビデオ画像の表示、時間遅延、及び関連するオーデ
ィオ部分、に対応する一連のコマンド（
それぞれ独特の番号を有している）を包含している。それらのコマンドはオーデ
ィオビジュアルフレームセグメントが属する「シャッフラ」レベルを指示する番
号（従ってオーディオ部分が選択される領域の大きさが決定される）、及びオー
ディオ部分の言語を指示する文字（ここでは、英語は「Ｅ」であり、常に翻訳さ
れた日本語「Ｊ」に先行する）を包含している。
各オーディオの句又は発話（又はおそらく全スピーチ）に対して、著者は、あ
るならば、ＣＤ／ＲＯＭ又はＶＤプレイヤのどのフレームが再生されるべきであ
るかを指示しなくてはならない（例えば、ＣＤ／ＲＯＭプレイヤの21,222フレー
ムから21,444フレームまでが再生されるべきことを指示するために21222-21444
とし、ＣＤ／ＲＯＭに対して「−」を用い、ＶＤに対して「ｖ」を用い、（これ
に限定されないが）１秒間に３０の割合で表示される１セットのＶＤフレームに
対して「ｓ」を用いる）。さらに、著者は、あるならば、モニタに特定の単語又
はピクチャを表示する前の時間遅延を指示しなくてはならない。例えば、ピクチ
ャはビデオが開始した２秒後に表示されることができ、そのいずれの部分も動画
化され得、或いは強調された単語が表示され得る。この情報の後に、辞書符号化
と共に適当な言語より文の実際の単語（ユーザが表示を選択することができる）
が続けられる（符号化によってユーザはこれらの単語を選択することができ、辞
書の適当な頁がモニタに現れる）。
スクリプトファイルは以下の１７個のコマンドを通して（本実施態様において
は）アプリケーション全体を制御する。
１．「Ａ」（書き取り起動）
このコマンドは、ユーザが単語または文を聴いて、理解したことをモニタ上の
適当な単語又はビジュアル要素に「触れる」ことによって（例えば、マウス又は
他の指示具を用いて）示す「書き取り」モジュールのために使用される。このコ
マンドが実行されると、システムはユーザが適当な要素に触れるのを待つ。
２．「Ｂ］（ボックス）
このコマンドはモニタにテキスト又はコンピュータグラフィックスを（所定の
ボックス又はウインドウに）表示させるために使用される。著者は表示されるべ
き単語及び／又はグラフィックスに対応する数字（「単語」及び「ピクチャ」フ
ァイルに規定されているように）、テキスト又はグラフィックスが表示されるボ
ックス（符号化された列の番号を介して）、及びテキスト又はグラフィックスが
すぐに見えるべきかどうかを指示する他の番号を示さなくてはならない。このコ
マンドは「音声」コマンドに先行し、特定のテキスト又はグラフィックスが音声
コマンドを通して起動された特定のオーディオ及び／又はビデオに対応すること
を示す。ボックスの全てにおいて「Ｘｓ」を指定することによって、著者はまた
、次の音声コマンドが実行される場合、モニタの上部をクリアすることができる
。
３．「Ｃ」（組合せ）
このコマンドは、モニタ上のボックスの組合せにユーザが触れるのをシステム
に待たせるようにする。１０個のボックス又は「DynEd Bell」に触れるとグラフ
ィックスはシーケンスを終了する。このコマンドは、ユーザが選択するためのモ
ニタ上の「タッチポイント」を起動する「Ｐ」コマンドによって先行される。こ
のコマンドを通して、ユーザは話されている文の知識を、例えば、その文に対応
するビジュアル要素に触れることによって示すことができる。
４．「Ｄ」（遅延）
このコマンドは、例えば、適当な休止が話される文に挿入されるように、指定
された「百分の数秒（hundreds of a second）」の間システムを休止させる。ユ
ーザは実際に「休止係数」をセットすることができる（１秒の１／５単位で、１
秒の０から９／５の増加）。休止係数は指定された遅延時間とその後に乗算され
る。
５．「Ｅ」（消去）
このコマンドはモニタの上部を消去する（本実施態様においてはしばしば、特
定のテキスト及び／又はグラフィク要素を表示するために使用される）。消去コ
マンドは、次の音声コマンドの終了を待たずにすぐに画面の上部を消去するが、
ボクッスコマンドもこの目的で使用されることができる。
６．「Ｊ」（ジャンプ）
このコマンドは所望の指示の特定のラベルに実行を非シー
ケンシャルに単に転送する。
７．「Ｌ」（レベル）
このコマンドは指定された量単位で「シャッフラ」レベルを上下することによ
ってユーザの能力又は「シャッフラ」レベルを変更する。このようにして、著者
はユーザの進歩、モニタの正しい又は正しくない応答を評価し、このコマンドを
介してユーザの能力レベルに応じて（上下に）変更する。ユーザはまた、後述す
る「制御パネル」によって手動で所望のレベルを指定することができる。
８．「Ｐ」（タッチポイント）
このコマンドはモニタ上の「タッチポイント」を起動し、キーボード、マウス
又は多の入力装置を用いて質問に答えることによって、及び他の応答を与えるこ
とによってユーザがシステムと対話することができる。著者は所定のタッチポイ
ント（本実施態様では７８）の１つに対応する数、及びユーザがタッチポイント
を選択した場合にプログラムが実行を転送するラベルを指定しなければならない
。
９．「Ｑ」（終了）
このコマンドは現在のレッスンを終了し、全ての利用可能なレッスンをシステ
ムに表示させる。
１０．「Ｒ」（リターン）
このコマンドは、著者によって呼び出されたサブルーチンから（後述の「ユー
ズ」コマンドを介して）、実行をリターンさせる。
１１．「Ｓ」（音声）
このコマンドは指定された番号に対応する音声をＣＤ／ＲＯＭ又はＶＤプレイ
ヤに再生させる。その音声は同期されたビデオ（ＶＤプレイヤに対して）に対応
することができ、及び／又はモニタに表示された最近の指定されたテキスト又は
グラフィック要素に対応することができる。オーディオ／ビジュアル同期の正確
なタイミングはスクリプトファイルの遅延コマンドと音声ファイル内で（上述の
ように）指定されたタイミング遅延との組合せによって達成されることができる
。
１２．「Ｔ」（タッチ）
このコマンドはモニタ上のタッチポイントをユーザが選択するのをシステムに
待たせるようにする（以前に上記の「Ｐ」コマンドによって起動され、これは各
タッチポイントが選択された場合実行がどこに転送されるかを書き取る）。
１３．「Ｕ」（ユーズ）
このコマンドは指定されたラベルに対応するサブルーチンを呼び出し、そのラ
ベルでのコマンドのシーケンスに実行を転送する（リターンコマンドに達するま
で、そのポイントで実行はこのユーズコマンドのすぐ前のコマンドに送り返され
る。
１４．「Ｖ」（ビデオ）
このコマンドは、モニタ上の指定された矩形座標で「ビデオウインドウ」を開
閉する（ビデオウインドウ内でＶＤプレイヤからの実際のビデオ画像は表示され
る）。ＶＤプレイヤ
からのビデオ固像を表示させる場合、ビデオウインドウは音声コマンドが出され
る前に開かれなくてはならない。同様に、そのウインドウはモニタのその領域を
非活性化するために閉じられなくてはならない。
１５．「Ｗ」（時計）
このコマンドは所定の時間の後、次のコマンドへ実行をリターンさせる「クロ
ック」をセットする。
１６．「＃」（スコア調整）
このコマンドはユーザの「スコア」を上下させる。スコアは彼又は彼女の進歩
に関してユーザに対話式フィードバックを提供するために保持される（著者の希
望に応じて）。
１７．「？」（ランダムジャンプ）
このコマンドは、このコマンドのすぐ後に著者によって指定されたＮラベルの
うち１つにランダムに実行を転送させる。このコマンドは選択自体をリストする
前に可能な選択の番号を著者が指定することを必要とする。
上述の各コマンドは、プログラミング技術を熟知した者によって比較的簡単に
書かれる追加ソフトウェアにより実行される。留意すべき重要なことは、ＩＡＣ
Ｍシステムが種々の態様で実行され得ること、及び上記コマンドがオーサリング
言語の一形態のみを実行し、他の多くのこの様な言語が（ソフトウェアで実行さ
れる場合であってもハードウェアで実行される場合であっても）制御バー機構及
びシャッフラ機構を含むＩＡＣＭシステムを実行するために考案され得ることで
ある。
オーサリング言語でスクリプト及び関連ファイルを書く場合には、プログラミ
ングの経験は実質的に必要ない。オーサリング言語は、マルチメディアコンピュ
ータシステムに対して対話式アプリケーションを行うことを望む教育者及び他の
著者によって使用されるように意図されている。
制御バーの何れの実行においても重要な特徴は「事象駆動（event driven）」
性である。ユーザはアプリケーションの実行に対して実質的に如何なる時点でも
制御バーによって割り込むことができなければならない。この「非モード（mode
less）」制御及び選択の特徴は、学習プロセスにおいて非常に重要であり、しか
もプログラムに対して「生」の感覚を与える。制御バーインタフェースによって
、学習者及び著者は真に動的な態様で対話することができる。対話を行えるまで
にプログラム中においてある特定の時間待つ必要はない。本実施態様における制
御バーは、マウス（又は他の入力装置）
を介した生徒入力を絶えず監視している。
制御バー機構及びシャッフラ機構の具体的な実行は、以下のようなスクリプト
コマンドの短い例によって最も分かりやすく説明される。
「Meet Max and Kathy：
ＩＡＣＭシステムの制御バー及びシャッフラの特徴
を利用する例」
本発明の好ましい実施態様により実行される言語学習システムアプリケーショ
ンは、日本の英語学習者に英語を教えるように設計された多数の機能「モジュー
ル」（著者のアプリケーションの個別のユニット）を備えている。１個のモジュ
ールは「ビジネス」英語に焦点を合わせるように設計されており、チャート、グ
ラフ、及び定量的情報を示す他の方法を備えている。他のモジュールは上級ユー
ザのためのものであり、ＶＤプレーヤを介してビデオ上に示される、さらに「現
実の世界」の状況を備えている。
以下に説明される例は、入門「Meet Max and Kathy」モジュールからのもので
ある。これには、ＩＡＣＭシステムにおいて制御バー、シャッフラおよび他の機
構がどのように実行されるかが示されている。ＩＡＣＭは、各モジュールに対し
て多数の個別の「レッスン」（又はサブモジュール）を備えている。Meet Max a
nd Kathyモジュールは文法、書き取り、語彙、その他のレッスンを備えており、
さらに以下に記載の「聞き取り」レッスンを備えている。
「聞き取り」レッスンは、Max及びKathyというキャラクタを紹介する。その際
には、（それぞれコンピュータグラフィックス及びアニメーションを用いて描か
れるMax、kathy及び他のキャラクタの個々の発話に、デジタルビデオ及びこれに
伴うＶＤプレーヤからの音声に加えて主にＣＤ／ＲＯＭに格納された高品質オー
ディオが利用される。このレッスンの目的は、非常に単純な英語の単語、句、文
を呈示し、ユーザが教材への理解を示すに従って、徐々にこれらを多様化し、よ
り複雑なものとすることである。さらにこれに伴って、キャラクタ及び彼らが住
む都市及び国のグラフィック画像によって示される単純な概念が強調される。
以下に示すように、ユーザは、制御バーによって「レッスンを制御」すること
ができる。即ち、早送りすることによって新しい情報を見ること、巻戻すことに
よって教材を復習すること、レッスンの一時停止又は（英語、日本語の何れであ
っても）最終発話の繰り返しを行うこと、さらには（これもまた英語、日本語の
何れであっても）その発話のテキストの表示を決定することによって、レッスン
の制御が可能である。
重要なことは、ＣＰＵ自体から生成された音声及び画像に加えてＣＤ／ＲＯＭ
プレーヤ及びＶＤプレーヤからの適当な音声及び画像のランダムアクセス検索が
ソフトウェアによって自動的に行われることには関係なく、ユーザがレッスンの
順序付けを制御バーによって制御することができるということである。あるオー
ディオは互いに会話している２人のグラ
フィックキャラクタに対応し得る。一方の声はＣＤ／ＲＯＭに格納され得るが、
他方はビデオディスクに格納される。ユーザはこのような詳細に関知する必要は
ない。制御バーが、レッスンを構成する高品質のオーディオビジュアル情報を格
納及びアクセスするために使用される実際の技術からはるかに離れた非常に高レ
ベルのインタフェースを提供するために、ユーザはこのような詳細から隔離され
る。
シャッフラ機構は、以下の例によって示されるように、ユーザには「見えない
」ものである。キャラクタが「Hello,my name is Max」などの単純な句を用いて
話す時点までには、シャッフラは、より大きい選択ドメインからその句を無作為
に選ぶというタスクを完了する。ドメインのサイズは、ユーザの「シャッフラ」
（能力）レベルによって決定される。ただし、当然、著者によって各発話に対し
て提供された全選択肢の数によって限定される。
ここで重要なことは、ユーザの進歩に従って、（何れのレッスンにおいても何
百以上存在し得る）各組の発話のアクティブドメインが（１個から著者によって
提供される全発話数までの範囲で）増加することである。変形例のみによって加
えられた複雑さの他に、より複雑な句が導入され得る。さらに、（過去の発話が
再度無作為に選択されることによって）冗長性もまた導入されて、以前の概念が
補強される。
Meet Max and Kathyレッスンはモジュールメニューからユーザによって起動さ
れる。この時には、レッスンメニューが
現れて、ユーザはレッスンメニューから入門「聞き取り」レッスンを選択できる
。このレッスンはオーディオビジュアルフレームセグメントの線形シーケンスか
ら開始する。これは、「Max」及び「Kathy」というキャラクタを紹介するために
、これらのキャラクタの声を示す（主にＣＤ／ＲＯＭプレーヤからの）音声と共
に用いられるコンピュータグラフィックス及びアニメーションによって構成され
る。
例えば、スクリプトは、以下の３個のボックスコマンドによって、Maxの顔の
グラフィックを画面に表示させる。
B1 XXX,XXX,XXX,XXX,XXX
B2 XXX,112,XXX,XXX,XXX
B3 XXX,XXX,XXX,XXX,XXX
これらの３個のコマンドは画面の上部におけるボックスの３行に対応する。「
112」指示によって、Maxの顔（ピクチャ番号「12」）がボックスの２行目の左か
ら２番目のボックスに表示される。ピクチャ番号の前の「1」は、ボックスコマ
ンドが実行されると直ちにピクチャが表示されることを示している。
Maxの顔を表示させた後に、スクリプトは、次の４個のコマンドを含んでいる
。
D 050
S 10010
D 100
S 20010
遅延（「Ｄ」）コマンドは、（「休止係数」が１に設定されていると仮定して
）各音声「Ｓ」コマンドの実行間において１／２秒の遅延及び１秒の遅延をそれ
ぞれ生成し、これによってMaxが話すようにされる。音声コマンドの効果を理解
するためには、音声ファイルの、これらのコマンドに対応する部分を参照しなけ
ればならない。音声ファイルは上記の２個の音声コマンドに対して以下の情報を
収容している。
＾10010
1E 019360-019453050,414
[This]AG [is]AA Max,
1J 019495-019680050,414
Kono hito wa Maxdesu.
＾20010
1E 019720-019865000,112000,114
Hello，[my]AH name [is]AA Max.
1J 019942-020148
Konnichi wa．Watashi no namae wa Max desu.
2E 020225-020360000,112000,114
Hello，[I'm]AA Max.
2J 020445-020620
Konnichi wa．Watashi wa Max desu.
3E 020722-021002000.112000.114
Hi，[my]AH name[is]AA Maxwell，[but]AK people call meMax.
3J 021090-021525
Konnichi wa．Watashi no namae waMaxwell desu，demominna wa Max to yobima
su.
第１の音声コマンド（10010）は、音声ファイルにおいて１個の選択肢のみを
含む。したがって、その音声ファイルがレッスンの何れか及び全てのブランチに
おいて呼び出された場合には、ユーザの能力レベルに関係なく常にその選択肢が
選ばれる。「IE」指示及び「1J］指示は、（英語及び日本語の）発話の第１の（
及び唯一の）能力レベルの選択肢を示す。数字は、上記のように、再生されるで
あろうＣＤ／ＲＯＭの（それぞれがオーディオの１秒の約７５分の１である）「
フレーム」を示す。その次の２個の数字（「050,414」）はＣＤ／
ＲＯＭプレーヤが特定の発話を再生し始めた時点から050/100即ち1/2秒の遅延が
生じること、及び、その後に、（最初の「４」によって示される）赤いボックス
がピクチャ番号「１４」の周囲に配されることを示す。最後に、各発話選択肢の
第２行の英語又は日本語のテキストが、再生されることになるであろう、またお
そらくは画面上に表示されるであろう実際の言葉を示している。ブラケット表示
は、どの単語が「辞書」に存在するかを示す。これらの単語は画面上に表示され
るときに、強調表示され、ユーザに選択された場合には、辞書の対応ページが表
示される。このことにより、ユーザは、レッスンをさらに続ける前に、話されて
いる言葉を聞くことだけでなく視覚化することを決定し、強調表示されたいずれ
かの単語の意味及び用法を即時参照することができる。
第２の音声コマンド（20010）は第１のものに類似しているが、３個の異なる
能力レベルを伴う３個の選択肢を含む。ユーザの能力レベルが２以上になると、
最初の２個の選択肢が無作為に「シャッフル」され、２個のうちの１個が、再生
されるであろう実際の発話として選択される。同様に、ユーザの能力レベルが３
以上になると、３個の選択の全てから選ばれる。２組の数字は、声が再生される
と同時にピクチャ「１２」及び「１４」（Maxの大小のピクチャ）が画面に表示
されるようにする。また各ピクチャ番号の前の「１」は、これらのピクチャをア
ニメーション化する。アニメーション化は、（上記の「ピクチャ」ファイルにお
いて指定されているよう
な）複数のピクチャを連続して表示することによって行われる。この場合には、
ピクチャの口の部分のみが異なる複数のピクチャを用いて、Maxが話す時に口が
動くように見えるようにする。
したがって、これらの２個の音声コマンドがスクリプトから実行されると、低
レベルドライバソフトウェアによってコンピュータがMaxのピクチャを表示する
ようにされる。同時に、（又は指定された遅延後に）ＣＤ／ＲＯＭプレーヤがMa
xの発話を再生するようにされる。第２の音声コマンドの場合には、再生される
であろう実際の発話はユーザの能力レベルに依存する。そのレベルはスクリプト
ファイルにおいて著者によって、「Ｌ」（レベル）及び「＃」（スコア調整）コ
マンドなどのコマンドを介して維持される。
一般に、これらの音声コマンドは、各々１個のオーディオビジュアルフレーム
セグメントに対応する。即ち、第１のオーディオビジュアルフレームセグメント
は、Maxのピクチャを表示し、（著者によって挿入され、ユーザによって変更可
能である）短い遅延の後に、ＣＤ／ＲＯＭプレーヤからの声がMaxを紹介する間
にMaxの小さい方のピクチャを表示し、赤で強調表示することを含む。次のオー
ディオビジュアルフレームセグメントは、Maxが（これもまたＣＤ／ＲＯＭプレ
ーヤを介して）自己紹介する間にMaxの口をアニメーション化すること、などを
含む。
レッスンは線形態様で進行する（即ち音声コマンドを含む
スクリプトコマンドがシーケンシャルに実行される）が、ユーザは、図２に示さ
れた制御バーを介して何れの時点においてもこのプロセスに割り込みを行ってこ
のオーディオビジュアルフレームセグメントの順序付けを制御することができる
。さらに、レッスンはユーザへの照会などのユーザ対話を含む。これは、シャッ
フラ機構に関連して以下に説明する。
図２に示されている制御バー１４０はモニタ１０の最下部に現れ、ユーザがレ
ッスンのシーケンシャル又は非シーケンシャルフローに割り込むための手段を提
供する。「フレームカウンタ」ボタン２０はレッスンにおける（オーディオビジ
ュアルフレームセグメントの単位で）ユーザの現在の「ロケーション」を表示す
る。したがって、スクリプト中において音声コマンドに遭遇すると、フレームカ
ウンタが増分される。サブルーチンの使用が必要である決定ポイントに到達する
と、フレームカウンタの第１の部分が増分され、これによって、サブルーチンへ
のシフトによってスクリプト教育におけるブランチが生じたことが示される。例
えば、最初の４個のオーディオビジュアルフレームセグメントが（線形であれば
）「0-1、0-2、0-3、及び0-4」と番号付けされた場合に、そのようなブランチに
遭遇すると、次のオーディオビジュアルフレームセグメント（そのブランチが取
り入れられるスクリプトの部分）は「1-1」などと番号付けされるであろう。
ユーザは「リバース」７０または「フォワード」８０ボタンを押すことによっ
てレッスンにおける自分のロケーション
を手動で変えることができる。「リバース」７０または「フォワード」８０ボタ
ンを押すとフレームカウンタが減少又は増加し、これによって現時点以前又は以
降のオーディオビジュァルフレームセグメントがユーザに呈示される。通例、リ
バースボタン７０を押すとフレームカウンタは以前に遭遇したオーディオビジュ
アルフレームセグメントまでそのカウントを戻す（これはスクリプトコマンドの
動的実行において以前のブランチを通過して戻ることを含む）。
しかしフォワードボタン８０の機能はこれほど簡単なものではない。このボタ
ンによってフレームカウンタは現時点以降のオーディオビジュアルフレームセグ
メント（即ちスクリプト中の現時点以降の音声コマンド）までそのカウントを進
める。これは実行に於ける条件付きブランチに到達するまで継続される。条件付
きブランチがユーザの対話に依存するために、ブランチが依存する条件は一般に
未決定であり、したがってプログラムは何れのブランチロケーションが「フォワ
ード」であるかを決定することができない。したがってフォワード８０ボタンは
、一旦そのような条件付きブランチに到達すると無効となる。
フォワード８０又はリバース７０ボタンが押された場合には、「ストップ／プ
レイ」ボタン９０が押されると実行は（レッスンにおける現時点以降又は以前の
時点で）再開される。ストップ／プレイボタン９０は現在のオーディオビジュア
ルフレームセグメントにおけるレッスンを停止又は休止するた
めにも使用され得る。
対話式コンピュータシステムでは、キャラクタの声を聞くことのみではなく、
話されている言葉のテキストを見ることも時には望ましい。これは特に言語学習
アプリケーションにおいて真実である。デフォルト状態では（ユーザに話し言葉
への集中を促すために）話される言葉のテキストを表示しないようにされている
が、ユーザは「テキスト」ボタン３０を押すことによって現在の発話（例えばMa
x１００によって最近話された発話１１０）のモニタ１０への表示を任意に選択
できる。
現在の発話のテキスト表示に加えて、ユーザは（「リピート」ボタン５０を押
すことによって）レッスンに割り込んでその発話が繰り返されるようにすること
もできる。これによって現在のオーディオビジュアルフレームセグメントによっ
て示される概念が補強される。「リピート／翻訳」ボタン４０を押すことによっ
てユーザはその発話が指定の翻訳言語（本実施態様では日本語）で繰り返される
ようにすることができる。このアプリケーションにおいては、日本のビジネスマ
ンは、ある特定の英語の発話を理解できない可能性があるため、（ボタンを押す
だけで）日本語に翻訳されたその同一の発話を即時再生することができる。
制御バーの他の部分は、「質問ボックス」１４５として示されており、これは
好ましい実施態様では各レッスンによって異なる。レッスンによっては質問ボッ
クス１４５がユーザ
のスコア及び／又は時間遅延（適切な場合）を含むものがあり、また他のレッス
ンでは質問プロンプト及び／又は質問に対する回答を含むものがある。したがっ
て質問ボックスはユーザとシステムとの他の対話手段である。
最後に、ユーザは「制御パネル」ボタン６０を押して、ユーザが変更できるあ
る「ユニバーサルな」設定を含むメニューが表示されるようにすることができる
。メニューの正確な内容は当然アプリケーションによって異なる（ただし言語学
習システムなどの１個のアプリケーションにおける各モジュール及びレッスン間
では一般的に一定である）。このアプリケーションでは、ユーザはモジュール及
びレッスンのリストを選択すること、辞書を見ること、自分の記録（即ちユーザ
がレッスンにおいて進歩するに従って著者によって維持される統計）を調べるこ
と、あるいは、各文の間の（上述の）「休止係数」、現在の能力レベル及び画面
上に話される言葉のテキストを表示するか否かのためのデフォルト状態などの、
プログラムの一般的な特徴を変更することができる。
制御バー機構によって、ユーザは、どの時点で以前の概念の繰り返しを行うか
、どの時点で新しい教材に進むか、どの時点でテキストを表示するか、どの時点
で単語の定義及び用法を辞書で調べるか、などを（著者によって設定された構成
上の制限内で）選択することができるため、制御と柔軟性との両方が与えられて
いることは強調に値する。上記のようにレッスンの順序付けに対するこの制御は
、アクセスされユー
ザに呈示されているオーディオビジュアル情報の技術及びソースとは独立したも
のである。
さらに、制御バー機構はスクリプトの実施フローがシーケンシャルであっても
非シーケンシャルであっても機能する。ユーザは、フォワード８０及びリバース
７０ボタンを介して、純粋にシーケンシャルの非対話式オーディオビジュアル教
材を通過する場合と同様の態様で、非シーケンシャルリンクを通過して（そのよ
うなリンクがユーザ対話に依存するものであろうとなかろうと）スクリプトの他
の部分に進むことができる。制御バーインタフェースは一定である。
ユーザは制御バー機構に加えて多様な態様でシステムと対話することもできる
。質問又は選択は、例えば種々のテキストのグラフィック及びビデオ画像により
構成された「タッチポイント」によってスピーカを介して再生されるか又は画面
上に表示される。次いでユーザは（キーボード、マウス、又は他の入力装置を用
いて）画面上の適切な構成要素を選択（タッチ）することによって、質問を生成
するかもしくは質問に答えること、選択肢を選ぶこと、あるいはシステムと対話
することができる。
シャッフラ機構は図３に模式的に示されており、ユーザの目には見えないもの
である。シャッフラ機構は（好ましい実施態様では）著者によって提供された代
替発話の選択を制御する。ただし、オーディオ及び／又はビジュアル画像の実質
的に何れの組合せ又はシーケンスからの選択に加えて、可能
なビデオ及びグラフィック固像からの選択にも適用され得る（条件付きコンピュ
ータ計算及びユーザに与えられる他のほぼ何れの要素についても言うまでもない
）。
一般的に、ユーザの能力（「シャッフラ」）レベルは、ユーザが上述の制御パ
ネル機構を介して手動でより高いレベルを選択しない限り、１（最下レベル）か
ら開始されるであろう。ユーザがレッスンにおいて進むに従って、線形態様で（
即ちユーザのシステムとの対話による割り込みが行われないで）ある音声が再生
され、ビジュアル要素が表示される。やがてユーザは決定ポイントに到達する。
決定ポイントでは、ユーザの動作（例えばマウスで画面上の要素を選択すること
）によって、レッスンにおける非シーケンシャルポイントへの「ブランチ」が行
われる。非シーケンシャルポイントでは、次の決定ポイントに到達するなどの時
点まで、オーディオ及び／又はビジュアル要素の他の線形シーケンスがユーザに
呈示される。
図３に示されているシャッフラ機構は、確かに、スピーカを介して再生される
、（好ましい実施態様では）変動する数の発話選択肢から１個の発話を選ぶが、
単なるブランチング機構ではない。システムのユーザとの対話が、純粋に線形シ
ーケンスを含むものであってもレッスンの何れかの箇所でユーザがブランチを行
い得る種々の決定ポイントを含むものであっても、シャッフラはレッスン全体に
渡って深さ（depth）を提供する。
例えば、Meet Max and Kathyモジュールの聞き取りレッスンにおける線形シー
ケンスの中間にある以下の発話について考察する。
S 20030 [My]AH name[is]AA Max.
D 100
S 30040 What?
D 100
S 20030 [My]AH name[is]AA Max.
D 100
S 30050 Max.
D 100
S 20040 [Yes]AJ．that's right.
「My name is Max」発話に対応する音声ファイル（この発話は同一の「S 20030
」音声ファイルを使用して２回繰り返されている）は、ユーザが、自分の能力レ
ベルに応じて聞くであろう発話の複数の選択肢を含む。音声ファイル「S 20030
」は著者によって作成された以下の３個の発話（英語及び日本語の双方）のため
の情報を収容している。
＾S 20030
1E 024321-024414000,112000,114
[My]AH name[is]AA Max.
1J 024484-024640
Watashi no namae wa Max desu.
2E 024693-024753000.112000,114
[I'm]AA Max.
2J 024825-024938
Watashi wa Max desu.
3E 025016-025209000,112000,114
[My]AH name [is]AA Maxwell，[but]AK people call me Max.
3J 025299-025635
Watashi no namae wa Maxwell desu，demo minna wa Max to vobimasu.
これらの３個の発話（及び一般的には著者によって提供された何れかの代替発
話）は２点において異なる。ある発話は他の発話よりも複雑である（例えば、「
My name is Maxwell.but people call me Max」は、より入門的な「My name is
Max」よりも複雑な句である）。また、単に代替語句（例えば「I'm Max」）を提
供するものもある。留意すべき重要なこと
は、シャッフラがこれらを各々異なる能力レベルに適用して現在のレベルに対応
する１個を選択するのではないことである。
その代わりに、上記の３個の各々の発話が特定の能力レベルに割り当てられて
いるにもかかわらず、シャッフラは、現在の能力レベル以下の各々の能力レベル
に割り当てられた全ての代替対象から発話を選択する。したがって、ユーザは、
レベル１では「My nameis Max」を聞き、レベル２では、この発話を聞く可能性
は５０％でありかつ「I'm Max」を聞く可能性は５０％であろう。レベル３では
、より複雑な句「My name is Maxwell，but people call me Max」をさらに含む
３個の句をユーザが聞く可能性は各々等しく３分の１である。
したがって、特定の線形シーケンス全体に渡って、多くの場合、著者が複数の
選択肢を提供している発話のような情報がユーザに呈示され得る。能力レベル１
にある間は、ユーザは指定レベル１発話を常に聞くであろう。しかしある時点で
は、図３に示されるように、ユーザは決定ポイント１０（又はシステムとの対話
を行う他の機会）に直面するであろう。
例えば、レッスンではユーザに質問（あるいはより高いレベルでは多数の代替
質問のうちの１個）を呈示することが必要となり得る。ユーザが充分な数のこれ
らの質問または他の対話応答に対して正確に応答すると（これらの応答の数及び
正確さはレッスンの著者によって決定される）、次の能力レベルに進む。同様に
、充分な数のこの様な応答又は不正確あ
るいは不適切である場合には、ユーザは以前の能力レベルに戻される。
したがって、レッスンにおいてポイント１０及び他のポイントで質問に応答し
た後に、ユーザは能力レベル４を目指して作業し得る。レベル４などの各レベル
にある間は、全ての発話（あるいは他の実施態様ではユーザに呈示された全ての
オーディオ及び／又はビジュアル要素）が、著者によって提供された変動する数
（即ちその能力レベル）の代替対象からシャッフラ機構によって選択され得る。
したがって、レベル４にある間は、著者がレッスンにおける多様なポイントで
５個、１０個、又はより大きい数の可能な発話を提供していたとしても、シャッ
フラは（少なくとも４個が利用可能であると仮定して）それらのうちの最初の４
個のみから選択する。ユーザがポイント２０などの他の決定ポイントに到達する
と、ユーザの応答は、その能力レベルの向上又は低下に再び影響することになる
。連続した不正確な応答を行うと、ユーザのレベルは２に低下し得る。レベル２
では、次の決定ポイント３０に到達してユーザが能力レベルの向上又は低下の機
会を得るまで、わずか２個の代替対象から各発話が選択される。
したがって、Meet Max and Kathyモジュールの聞き取りレッスン全体を通じて
、ユーザにはMax、Kathy及び他のキャラクタによる種々の発話が呈示される。著
者はこれらの発話の各々に対して多様な数（ただし等しい必要はない）の代替対
象を提供している。能力レベルは、この最高数の発話から、無作為に実際の発話
が選択される代替対象のサブセットのサイズを決定する。シャッフラは、好まし
い実施態様では、単に決定ポイントで話されるものに対してのみではなく、全て
の発話に対して起動される。
この様にして、ユーザには、（比較的単純な発話がより高いレベルにおいても
繰り返されるために）冗長性が呈示され、（ユーザの能力レベルが変化した時に
はいつでも代替発言が導入され得るために）重要な変形例、及び、（レベルが高
くなるに従ってより複雑な発話が導入されるためだけではなく、単に新しい発話
が聞かれたときに変形例が生じるために）増加していく複雑さが呈示される。
これらの要素が結合して、代替対象のリストから単に選択する代わりに、実際
の会話にあるような変化の多くを模擬的に作り出し、ユーザに対して、システム
が知能を有するという印象を与える。さらに、制御バー機構はユーザにレッスン
の方向を制御する能力を提供するが、ユーザがレッスンを記憶する可能性は低い
。例えば能力レベル４のユーザがレッスンの同一ポイントに繰り返し戻ったとし
ても、異なる情報が呈示され得るからである。
【手続補正書】特許法第１８４条の８
【提出日】１９９１年２月２５日
【補正内容】
１１．「Ｓ」（音声）
このコマンドは指定された番号に対応する音声をＣＤ／ＲＯＭ又はＶＤプレイ
ヤに再生させる。その音声は同期されたビデオ（ＶＤプレイヤに対して）に対応
することができ、及び／又はモニタに表示された最近の指定されたテキスト又は
グラフィック要素に対応することができる。オーディオ／ビジュアル同期の正確
なタイミングはスクリプトファイルの遅延コマンドと音声ファイル内で（上述の
ように）指定されたタイミング遅延との組合せによって達成されることができる
。
１２．「Ｔ」（タッチ）
このコマンドはモニタ上のタッチポイントをユーザが選択するのをシステムに
待たせるようにする（以前に上記の「Ｐ」コマンドによって起動され、これは各
タッチポイントが選択された場合実行がどこに転送されるかを書き取る）。
１３．「Ｕ」（ユーズ）
このコマンドは指定されたラベルに対応するサブルーチンを呼び出し、そのラ
ベルでのコマンドのシーケンスに実行を転送する（リターンコマンドに達するま
で）、そのポイントで実行はこのユーズコマンドのすぐ前のコマンドに送り返さ
れる。
１４．「Ｖ」（ビデオ）
このコマンドは、モニタ上の指定された矩形座標で「ビデオウインドウ」を開
閉する（ビデオウインドウ内でＶＤプレイヤからの実際のビデオ画像は表示され
る）。ＶＤプレイヤ
からのビデオ画像を表示させる場合、ビデオウインドウは音声コマンドが出され
る前に開かれなくてはならない。同様に、そのウインドウはモニタのその領域を
非活性化するために閉じられなくてはならない。
しかしある時点では、図３に示されるように、ユーザは決定ポイント１０（又は
システムとの対話を行う他の機会）に直面するであろう。
例えば、レッスンではユーザに質問（あるいはより高いレベルでは多数の代替
質問のうちの１個）を呈示することが必要となり得る。ユーザが充分な数のこれ
らの質問または他の対話応答に対して正確に応答すると（これらの応答の数及び
正確さはレッスンの著者によって決定される）、次の能力レベルに進む。同様に
、充分な数のこの様な応答が、不正確あるいは不適切である場合には、ユーザは
以前の能力レベルに戻される。
したがって、レッスンにおいてポイント１０及び他のポイントで質問に応答し
た後に、ユーザは能力レベル４を目指して作業し得る。レベル４などの各レベル
にある間は、全ての発話（あるいは他の実施態様ではユーザに呈示された全ての
オーディオ及び／又はビジュアル要素）が、著者によって提供された変動する数
（即ちその能力レベル）の代替対象からシャッフラ機構によって選択され得る。
したがって、レベル４にある間は、著者がレッスンにおける多様なポイントで
５個、１０個、又はより大きい数の可能な発話を提供していたとしても、シャッ
フラは（少なくとも４個が利用可能であると仮定して）それらのうちの最初の４
個のみから選択する。ユーザがポイント２０などの他の決定ポイントに到達する
と、ユーザの応答は、その能力レベルの
向上又は低下に再び影響することになる。連続した不正確な応答を行うと、ユー
ザのレベルは２に低下し得る。レベル２では、次の決定ポイント３０に到達して
ユーザが能力レベルの向上又は低下の機会を得るまで、わずか２個の代替対象か
ら各発話が選択される。
１．対話式コンピュータシステムであって、
中央処理装置、
音声を再生するためのオーディオ出力装置、
該中央処理装置及び該オーディオ出力装置に作動的に接続された、該音声を生
成するためのオーディオソース装置、
ビジュアル固像を表示するためのビジュアル出力装置、
該中央処理装置及び該ビジュアル出力装置に作動的に接続された、該ビジュア
ル画像を生成するためのビジュアルソース装置、並びに
該中央処理装置を制御するために該中央処理装置に作動的に接続されたコンピ
ュータ制御手段を備えており、該コンピュータ制御手段は、
１個以上の該音声が該オーディオ出力装置を介して再生されている間に該ビジ
ュアル出力装置上に表示される１個以上の該ビジュアル画像を備えた１個以上の
オーディオビジュアルフレームを含む、オーディオビジュアル情報の複数のフレ
ームセグメントを生成するための手段と、
該オーディオソース装置によって生成された個々の音声に非シーケンシャルに
アクセスするためのランダムアクセスオーディオアドレッシング手段と、
該ビジュアルソース装置によって生成された個々のビジュアル画像を非シーケ
ンシャルにアクセスするための、該ビジュアルソース装置からの該個々のビジュ
アル画像のアクセスが、該オーディオソース装置からの該個々の音声のアクセス
から独立しており、該ビジュアル画像及び音声が同一の記録媒体上で前もって関
連づけられていないようにされている、ランダムアクセスビジュアル画像アドレ
ッシング手段と、
オーディオビジュアル情報の個々のフレームセグメントにアクセスするための
同期手段であって、該ランダムアクセスオーディオアドレッシング手段が該音声
をアクセスして該オーディオ出力装置を直接介して音声を再生している間に同時
に該ランダムアクセスビジュアルアドレッシング手段が該ビジュアル画像をアク
セスして該ビジュアル出力装置上に直接表示するようにする同期手段と、
リアルタイムで新しいオーディオビジュアルフレームセグメントを生成するよ
うに、該対話式コンピュータシステムのユーザがオーディオビジュアル情報のフ
レームセグメントに対話的にアクセスできるようにするためのユーザ制御手段と
を備えている、
対話式コンピュータシステム。
２．対話式コンピュータシステムであって、
中央処理装置、
音声を再生するためのオーディオ出力装置、
該中央処理装置及び該オーディオ出力装置に作動的に接続された、該音声を生
成するためのオーディオソース装置、並びに、
該中央処理装置を制御するために該中央処理装置に作動的に接続されたコンピ
ュータ制御手段を備え、該コンピュータ
制御手段は、
該オーディオソース装置によって生成された個々の音声に非シーケンシャルに
アクセスするためのランダムアクセスオーディオアドレッシング手段と、
該対話式コンピュータシステムのユーザの該システムとの対話に基づいてユー
ザの能力レベルをリアルタイムで決定するためのユーザレベル決定手段と、
該ユーザの能カレベルが向上するとその数が増加し、低下するとその数が減少
する複数の関連された該音声を備えたオーディオ情報の複数のセグメントを生成
するための手段と、
該複数の関連音声のうちから１個を選択し、ユーザのシステムとの対話に応答
して、該ランダムアクセスオーディオアドレッシング手段が該選択された音声を
リアルタイムでアクセスして該オーディオ出力手段を介して直接再生するように
するための手段とを備えている、
対話式コンピュータシステム。
３．対話式コンピュータシステムであって、
中央処理装置、
音声を再生するためのオーディオ出力装置、
該中央処理装置及び該オーディオ出力装置に作動的に接続された、該音声を生
成するためのオーディオソース装置、
ビジュアル画像を表示するためのビジュアル出力装置、
該中央処理装置及び該ビジュアル出力装置に作動的に接続された、該ビジュア
ル画像を生成するためのビジュアルソー
ス装置、並びに
該中央処理装置を制御するために該中央処理装置に作動的に接続されたコンピ
ュータ制御手段を備えており、該コンピュータ制御手段は、
１個以上の該音声が該オーディオ出力装置を介して再生されている間に該ビジ
ュアル出力装置上に表示される１個以上の該ビジュアル画像を備えた１個以上の
オーディオビジュアルフレームを含む、オーディオビジュアル情報の複数のフレ
ームセグメントを生成するための手段と、
該オーディオソース装置によって生成された個々の音声に非シーケンシャルに
アクセスするためのランダムアクセスオーディオアドレッシング手段と、
該ビジュアルソース装置によって生成された個々のビジュアル固像を非シーケ
ンシャルにアクセスするための、該ビジュアル画像及び音声が同一の記録媒体上
で前もって関連づけられていないようにされている、ランダムアクセスビジュア
ル画像アドレッシング手段と、
オーディオビジュアル情報の個々のフレームセグメントにアクセスするための
同期手段であって、該ランダムアクセスオーディオアドレッシング手段が該音声
をアクセスして該オーディオ出力装置を直接介して音声を再生している間に同時
に該ランダムアクセスビジュアルアドレッシング手段が該ビジュアル画像をアク
セスして該ビジュアル出力装置上に直接表示するようにする同期手段と、
リアルタイムで新しいオーディオビジュアルフレームセグメントを生成するよ
うに、該対話式コンピュータシステムのユーザがオーディオビジュアル情報のフ
レームセグメントに対話的にアクセスできるようにするためのユーザ制御手段と
、
該ユーザ制御手段がリアルタイムで新しいオーディオビジュァルフレームセグ
メントを生成するように、該対話式コンピュータシステムのユーザの該システム
との以前の対話に基づいてユーザの能力レベルを決定するためのユーザレベル決
定手段、
所定の一組の関連オーディオビジュアルフレームをアクセスするための手段、
該一組の関連オーディオビジュアルフレームから、ユーザの能力レベルと同等
の数の該関連オーディオビジュアルフレームのサブセットを生成するための手段
、及び
該関連オーディオビジュアルフレームのサブセットから該オーディオビジュア
ルフレームのうちの１個を選択するための手段を備えている、
対話式コンピュータシステム。