JPH07200230A - オブジェクト指向ユーザ・インターフェイス内にマルチメディア表現を統合する方法及びシステム - Google Patents

オブジェクト指向ユーザ・インターフェイス内にマルチメディア表現を統合する方法及びシステム

Info

Publication number
JPH07200230A
JPH07200230A JP6294400A JP29440094A JPH07200230A JP H07200230 A JPH07200230 A JP H07200230A JP 6294400 A JP6294400 A JP 6294400A JP 29440094 A JP29440094 A JP 29440094A JP H07200230 A JPH07200230 A JP H07200230A
Authority
JP
Japan
Prior art keywords
data
polymorphic
representation
multimedia
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6294400A
Other languages
English (en)
Other versions
JP2713330B2 (ja
Inventor
E Berry Richard
リチャード・イー・ベリー
Thomas N Richards
トーマス・エヌ・リチャーズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH07200230A publication Critical patent/JPH07200230A/ja
Application granted granted Critical
Publication of JP2713330B2 publication Critical patent/JP2713330B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 （修正有） 【目的】 データ処理システムにおける改良されたマル
チメディア表現を提供する。 【構成】 別々のユーザ選択可能データ・ビューが各オ
ブジェクトに対して定義され、そのオブジェクトに関連
するデータの異なるビューを提供する。ユーザによる、
あるオブジェクトの音声またはビデオ・データ・ビュー
の選択により、音声またはビデオ・データが適切な装置
に自動的に結合され、マルチメディア表現が提供され
る。音声データは直接オブジェクトに関連付けされる
か、音声データ・ビューの選択に応答して、テキスト−
音声変換処理により導出されてもよい。マルチメディア
・データをオブジェクト内にカプセル化することによ
り、ユーザにより操作されなければならない別の音声ま
たはビデオ・オブジェクトを要求することなく、マルチ
メディア表現機能をオブジェクト内に統合することが可
能となる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は一般にデータ処理システ
ムにおけるマルチメディア表現に関し、特に、データ処
理システムのオブジェクト指向ユーザ・インターフェイ
ス内にマルチメディア表現を統合する方法及びシステム
に関する。更に詳しくは、本発明は各オブジェクトに対
応する多様なユーザ選択可能データ・ビューにより、オ
ブジェクト指向ユーザ・インターフェイス内に選択可能
マルチメディア表現を提供する方法及びシステムに関す
る。
【０００２】
【従来の技術】コンピュータ・ユーザ・インターフェイ
スにおけるマルチメディアの使用が急速に普及しつつあ
る。テキスト、グラフィックス、イメージ、音声及びビ
デオなどの様々な媒体が、高度な対話式及び伝達式ユー
ザ・インターフェイスを提供するように結合され、生産
性及びユーザ満足度の全体的な向上に大きく寄与してい
る。
【０００３】データ処理システムにおいて、マルチメデ
ィア支援を提供する既知のアプローチは、通常、各マル
チメディア・オブジェクトに対応する"プレイヤ"・イン
ターフェイスを提供する。例えば音声及びビデオは通
常、個々のオブジェクトとして扱われ、カセット・テー
プ・プレイヤ、ビデオ・カセット・レコーダ、レーザ・
ディスク・プレイヤ及び他のこうした装置を表す制御パ
ネルが図形的に表示され、ユーザは音声またはビデオ・
オブジェクトを"プレイヤ"装置により図形的に操作する
ことにより、記録情報をアクセスすることができる。
【０００４】このアプローチはマルチメディアがデータ
処理システム内で使用されるための論理的で効果的な技
術を提供するが、各異なるタイプのマルチメディア出力
をアクセスするための様々な"プレイヤ"装置のグラフィ
ック表現の提供は、プログラマにとって非常に厄介なこ
とである。これはまた、通常、データに集中したいと思
うユーザにとって、非常に紛らわしく感じられたりもす
る。
【０００５】最近、複雑なコンピュータ・システムにお
いて、いわゆる"オブジェクト指向プログラミング"・イ
ンターフェイスの利用が提案されている。オブジェクト
指向のインターフェイスは、通常、こうしたシステムを
従来のプログラミング言語から区別する３つの重要な機
構により特徴化される。第１に、オブジェクト指向プロ
グラミング・システム内の"オブジェクト"は、通常、"
多相性（polymorphic）"である、すなわち各オブジェク
トが同じメッセージに異なる方法で応答する機能を有す
る。従って、オブジェクトがコマンドを受信すると、そ
のタイプのコマンドに対して、そのオブジェクトの応答
がどうあるべきかを決定するトランスレータが提供され
る。
【０００６】次に、オブジェクト指向ユーザ・インター
フェイス内のオブジェクトは、"継承（インヘリタン
ス）"を実証する。換言すると、オブジェクトはそのデ
ータ及び機能を、自動的に別のオブジェクトから導出す
る機能を有する。最後に、オブジェクトはその私有のデ
ータが外部アクセスから保護される時、"カプセル化
（情報陰蔽）"されると言われる。すなわち、他のオブ
ジェクトはそのオブジェクトの内部データをアクセスで
きない。
【０００７】オブジェクト指向ユーザ・インターフェイ
スの別の共通の特徴は、データ・ビュー分離モデルであ
る。このモデルは、オブジェクト指向ユーザ・インター
フェイス内のオブジェクトが、データ及びそのデータの
ビューに分離可能であり、単一のオブジェクトが、同一
データの複数の多様のビューを提供する前提にもとづ
く。例えば最近のスプレッドシート・プログラミング・
システムでは、データの選択ファイルが数値スプレッド
シート或いは図形チャートとして"表示"（viewed）され
る。
【０００８】オブジェクト指向ユーザ・インターフェイ
スは、この多様なデータ・ビュー機能を提供するものと
して知られるが、オブジェクト指向ユーザ・インターフ
ェイス内のマルチメディア・ファイルの表現は、まだ一
般に、出力ファイルの図形操作により達成され、この出
力ファイルは媒体のタイプにより特徴化され、特定の"
プレイヤ"装置を使用して出力される。従って、マルチ
メディア表現をオブジェクト指向ユーザ・インターフェ
イスに統合する、より直観的で効率的な技術を提供する
方法及びシステムが必要とされる。
【０００９】
【発明が解決しようとする課題】本発明の目的は、デー
タ処理システムにおける改良されたマルチメディア表現
を提供することである。
【００１０】本発明の別の目的は、マルチメディア表現
をデータ処理システム内のオブジェクト指向ユーザ・イ
ンターフェイスに統合する改良された方法及びシステム
を提供することである。
【００１１】更に本発明の別の目的は、各オブジェクト
の多様なユーザ選択可能データ・ビューにより、オブジ
ェクト指向ユーザ・インターフェイス内に選択可能なマ
ルチメディア表現を提供する改良された方法及びシステ
ムを提供することである。
【００１２】
【課題を解決するための手段】上述の目的が次のように
して達成される。本発明の方法及びシステムは、各々が
関連するカプセル化データ及び機能を有する複数の多相
性オブジェクトを含むオブジェクト指向ユーザ・インタ
ーフェイスに、マルチメディア表現を統合するために使
用される。複数の別々のユーザ選択可能データ・ビュー
が各オブジェクトに対して定義され、そのオブジェクト
に関連するデータの異なるビューを提供する。ユーザに
よる、あるオブジェクトの音声またはビデオ・データ・
ビューの選択により、音声またはビデオ・データが適切
な装置に自動的に結合され、マルチメディア表現が提供
される。音声データは直接オブジェクトに関連付けされ
るか、音声データ・ビューの選択に応答して、テキスト
−音声変換処理または他の類似の技術により導出されて
もよい。マルチメディア・データをオブジェクト内にカ
プセル化することにより、ユーザにより操作されなけれ
ばならない別の音声またはビデオ・オブジェクトを要求
することなく、マルチメディア表現機能をオブジェクト
内に統合することが可能となる。
【００１３】
【実施例】図１を参照すると、本発明の方法及びシステ
ムを実現するために使用されるデータ処理システム１０
が示される。本発明の好適な実施例のデータ処理システ
ム１０は、ＩＢＭ社のＰＳ／２（商標）パーソナル・コ
ンピュータなどのいわゆる"パーソナル・コンピュータ"
を用いて実現されるが、オブジェクト指向ユーザ・イン
ターフェイスをサポートする任意のデータ処理システム
が使用可能である。図示のようにデータ処理システム１
０は、好適には、中央処理ユニット１２及びユーザ入力
装置１４を含む。ユーザ入力装置１４は、好適には、キ
ーボード及びマウス、光ペンまたは類似の装置などのグ
ラフィック・ユーザ入力装置を含む。ユーザ入力装置１
４は、好適には、既知のようにケーブルを使用し、中央
処理ユニット１２に接続される。
【００１４】中央処理ユニット１２には更にディスプレ
イ１６が接続される。本発明の好適な実施例では、ディ
スプレイ１６はコンピュータ・グラフィックス、テキス
ト及びビデオを表示可能なカラー・モニタである。中央
処理ユニット１２はまた、メモリ１８、及び参照番号２
０で示される１つ以上の直接アクセス記憶装置（ＤＡＳ
Ｄ）に接続される。メモリ１８及び直接アクセス記憶装
置２０は、既知のように、アプリケーション・プログラ
ムを記憶するために使用される。
【００１５】音声出力装置２２が更に中央処理ユニット
１２に接続される。音声出力装置２２は好適には増幅器
を含み、スピーカ２６及び２８によりステレオ音声出力
を提供する。音声出力装置２２は、Creaive Labs社によ
り製造されるSoundBlaster音声カードなどの、既知の市
販の装置を用いて実現される。ビデオ出力装置２４が更
に中央処理ユニット１２に接続され、中央処理ユニット
１２からビデオ出力装置２４へのビデオ・データの結合
に応答して、ビデオ出力表現を生成し、これが本発明の
実施例では、ディスプレイ１６に結合される。
【００１６】当業者には理解されるように、ビデオ出力
装置２４は中央処理ユニット１２内にビデオ・アダプタ
・カードを含み、この例としてCreaive Labs社により製
造されるVideoBlasterカードなどがある。こうしたカー
ドはビデオ出力を生成するために、メモリからのビデオ
・データを利用するが、ビデオ・カセット・レコーダ、
レーザ・ディスク・プレイヤまたは他の適切なビデオ出
力装置などのビデオの外部ソースも受入れることができ
る。
【００１７】図２を参照すると、本発明の方法及びシス
テムにより、オブジェクト指向ユーザ・インターフェイ
ス内に提供される複数の多相性オブジェクトのデータ処
理システム表示が示される。図示のように、ディスプレ
イ１６は複数の多相性オブジェクト３４、３６、３８及
び４０を含むビューポートまたはウィンドウ３２を提供
するために使用される。当業者には理解されるように、
オブジェクト指向ユーザ・インターフェイスは、インタ
ーフェイス内の異なるタイプのオブジェクトが同一のメ
ッセージに異なる方法で応答する時、"多相性"と言われ
る。オブジェクトはマウス・ポインタなどのユーザ入力
装置１４を用いて選択され、オブジェクト指向ユーザ・
インターフェイスに矛盾しない方法により操作される。
【００１８】本発明の実施例では、ウィンドウ３２はク
リスマス・キャロルを表す複数のオブジェクトを表す。
マウス・ポインタ４２を使用することにより、ユーザは
例えばオブジェクト３８などの特定のオブジェクトを選
択する。オブジェクト３８の選択に際し、いわゆる"ポ
ップアップ"・メニュー４４が現れる。ポップアップ・
メニュー４４内に表されるように、複数の選択項目がユ
ーザに提供される。本発明の図示の実施例によれば、ユ
ーザは例えば"Look at"、"Listen to"、"Watch"、"Sett
ings"及び"Help"などを含む様々なコマンドを選択する
ことができる。
【００１９】図２に表されるように、ユーザは次にポッ
プアップ・メニュー４４内の選択項目を選択し、それに
よりウィンドウ３２内でオブジェクトを操作する。こう
したインターフェイス内でしばしば見られるように、特
定の選択項目、例えば"Lookat"の選択は、更にサブメニ
ューを表示する。このようにして、ユーザがコマンド"L
ook at"を選択すると、サブメニュー４６が提供され
る。サブメニュー４６は選択項目"Lyrics"及び"Score"
を含む。このように、ユーザは選択項目"Look at"を選
択し、その後、歌詞の表現または選択されたクリスマス
・キャロルの楽譜を選択する。
【００２０】図３乃至図５を参照すると、本発明の方法
及びシステムにより提供される多相性オブジェクトの複
数のデータ・ビューが示される。図示のように、多相性
オブジェクト３８を選択し、その後"Look at"コマン
ド、次に"Lyrics"サブコマンドを選択すると、第２のウ
ィンドウが開き、ウィンドウ３２をオーバレイする。説
明の都合上、図３乃至図５では、最上部のウィンドウだ
けが示される。図示のように、ディスプレイ１６は今度
はウィンドウ５０を含み、そこには選択オブジェクトに
関連するクリスマス・キャロルの歌詞が表示される。グ
ラフィック・ユーザ・インターフェイスでは一般的なよ
うに、スクロール・バー５２が提供され、ユーザはマウ
ス・ポインタ４２を用いて、選択されたクリスマス・キ
ャロルの歌詞をスクロール操作することができる。
【００２１】代わりに、ユーザがコマンド"Look at"及
びサブコマンド"Score"を選択すると、図４に示される
表現が提供される。図示のように、ディスプレイ１６は
今度はウィンドウ５４を表示し、そこには多相性オブジ
ェクト３８に関連する選択クリスマス・キャロルの楽譜
が含まれる。上述のように、スクロール・バー５２が水
平面内に提供され、楽譜の別の部分をアクセスするため
に、マウス・ポインタ４２を用いて操作される。
【００２２】図５を参照すると、ユーザによる選択項
目"watch"の選択に応答して、データ処理システムが表
示する画面が示される。図示のように、多相性オブジェ
クト３８に関連するクリスマス・キャロルの演奏のビデ
オ及び音声表現を含むウィンドウ６０が提供される。コ
マンド・バー６２は、通常、"rewind"、"reverse"、"pl
ay"、"stop"及び"fast forward"などのビデオ・プレイ
ヤ装置に関連する様々なインターフェイス・コマンドを
実施する。
【００２３】図３乃至図５を参照して当業者には明らか
なように、図２のウィンドウ３２内の単一の多相性オブ
ジェクト３８がユーザにより選択され、３つの異なるデ
ータ・ビューが提供される。多相性オブジェクト３８に
関連するクリスマス・キャロルの演奏における歌詞、楽
譜または実際のビデオ表現が、単一のオブジェクトに対
して提供され、マルチメディア表現をユーザ・インター
フェイスに統合することにより、データ処理システム１
０の効率を著しく向上させる。
【００２４】もちろん、コマンド"Listen to"の選択
は、音声出力装置２２及びスピーカ２６及び２８（図１
参照）を使用する音声出力だけを表現する。これはＭＩ
ＤＩデータを多相性オブジェクト３８にカプセル化する
か、波形生成に使用されるいわゆる"Wave"データをカプ
セル化することにより、容易に達成される。
【００２５】本発明のオブジェクト指向ユーザ・インタ
ーフェイス内のオブジェクトの多相性の性質について、
図６に関連して説明する。図６は本発明の方法及びシス
テムにより提供される第２の多相性オブジェクトを表
す。図示のようにディスプレイ１６内には、テキスト・
メモを含むウィンドウ６０が提供される。マウス・ポイ
ンタ４２を使用してメモを選択すると、図２のオブジェ
クト３８に関連して提供されたのと同じコマンドを含む
ポップアップ・メニュー４４が表示される。しかしなが
ら、"Listen to"コマンドの選択では、メモの音声表現
が提供されてもよい。もちろん、当業者には理解される
ように、こうした音声表現はメモの記憶音声表現を用い
て、或いはデータ処理システム１０内で実施されるテキ
スト−音声変換処理により生成される。
【００２６】このようにコマンド"Listen to"は、複数
の多相性オブジェクトを含むオブジェクト指向ユーザ・
インターフェイス内の任意のオブジェクトに適用され、
そのコマンドが適用されるオブジェクトのタイプに応答
して、異なる方法で応答される。もちろん、コマンド"W
atch"はウィンドウ６０内に示されるメモには適用され
ない可能性もあり、それが無効であることを示すため
に、その選択項目がグレー色に表示されたりする。しか
しながら、ポップアップ・メニュー４４内の残りの選択
項目は、ウィンドウ６０内に表されるオブジェクトによ
り解釈され、適切に適用される。代わりに、ウィンドウ
６０内のメモの作者のビデオ表現が、"Watch"コマンド
の選択に応答して表示されてもよい。
【００２７】図７を参照すると、本発明の方法及びシス
テムにより、多相性オブジェクトの複数のデータ・ビュ
ーを提供する処理のハイレベル論理流れ図が示される。
図示のように、処理はブロック８０で開始し、その後ブ
ロック８２に移行する。ブロック８２は、ユーザが多相
性オブジェクトのデータ・ビューを選択したかどうかの
判断を表す。否定の場合、処理はユーザによりデータ・
ビューが選択されるまで、単に繰返される。
【００２８】ユーザがデータ・ビューを選択したことが
ブロック８２で判断されると、処理はブロック８４に移
行する。ブロック８４は、ユーザにより選択されたデー
タ・ビューが"Listen to"かどうかを判断する。肯定の
場合、処理はブロック８６に移行し、問題の多相性オブ
ジェクトに対して、音声データが使用可能かどうかを判
断する。使用可能な場合、処理はブロック９０に移行
し、音声を実演する。処理は次にブロック９２に移行
し、復帰する。
【００２９】ブロック８６に再度戻り、ユーザが選択し
たこのデータ・ビューに対応する多相性オブジェクトに
対し、音声データが使用可能でないと、処理はブロック
８８に移行する。ブロック８８はテキスト−音声変換処
理または他の類似の技術の適用を表し、その後処理はブ
ロック９０に移行し、そのオブジェクトに対して音声・
データ・ビューを実演する。再度処理はブロック９２に
移行し、復帰する。
【００３０】ブロック８４に戻り、選択されたデータ・
ビューが"Listen to"でないと、処理はブロック９４に
移行する。ブロック９４は、選択されたデータ・ビュー
が"Look at"かどうかを判断し、肯定の場合、処理はブ
ロック９６に移行し、オブジェクトのテキスト内容を表
示する。次に処理はブロック９２に移行し、復帰する。
もちろん、図２及び図３乃至図５に示されるように、"L
ook at"データ・ビューの選択が、更にユーザがサブコ
マンド"Lyrics"または"Score"を選択したかどうかの判
断を導出し、適切なデータ・ビューの表示を生成しても
よい。
【００３１】再度ブロック９４に戻り、ユーザが"Look
at"データ・ビューを選択しなかった場合、処理はブロ
ック９８に移行し、選択されたデータ・ビューが"Watc
h"データ・ビューかどうかを判断する。肯定の場合、処
理はブロック１００に移行し、ビデオをビデオ出力装置
に結合し、次にブロック９２に移行して復帰する。選択
されたデータ・ビューが"Watch"コマンドでない場合、
処理はブロック９８からブロック９２に移行し、復帰す
る。
【００３２】もちろん、当業者には理解されるように、
これらの選択データ・ビューは、単に、特定のオブジェ
クトに関連する異なるタイプのデータ・ビューを表すだ
けである。
【００３３】まとめとして、本発明に構成に関して以下
の事項を開示する。
【００３４】（１）マルチメディアをオブジェクト指向
ユーザ・インターフェイス内に統合する方法であって、
前記方法がデータ処理システムにより実施される以下の
ステップ、すなわち、各々が特定のカプセル化データ及
び機能を含む複数の多相性オブジェクトをデータ処理シ
ステム内に提供するステップと、各前記複数の多相性オ
ブジェクトに関連する複数のユーザ選択可能データ・ビ
ューを定義するステップであって、前記複数のユーザ選
択可能データ・ビューの少なくとも１つがマルチメディ
ア・データ・ビューを含む、前記定義ステップと、関連
マルチメディア・データ・ビューのユーザ選択に応答し
て、前記多相性オブジェクトの１つのマルチメディア表
現を前記データ処理システム内に自動的に提供するステ
ップと、を含む方法。 （２）前記複数の多相性オブジェクトの少なくとも１つ
が特定のビデオ・データを含み、前記多相性オブジェク
トの１つのマルチメディア表現を自動的に提供する前記
ステップが、前記特定のビデオ・データのビデオ表現を
自動的に提供するステップを含む、前記（１）記載の方
法。 （３）前記複数の多相性オブジェクトの少なくとも１つ
が特定のグラフィックス・データを含み、前記多相性オ
ブジェクトの１つのマルチメディア表現を自動的に提供
する前記ステップが、前記特定のグラフィックス・デー
タのグラフィカル表現を自動的に提供するステップを含
む、前記（１）記載の方法。 （４）前記複数の多相性オブジェクトの少なくとも１つ
が特定のＭＩＤＩデータを含み、前記多相性オブジェク
トの１つのマルチメディア表現を自動的に提供する前記
ステップが、前記特定のＭＩＤＩデータの音声表現を自
動的に提供するステップを含む、前記（１）記載の方
法。 （５）前記定義ステップが音声表現ビューを定義するス
テップを含む、前記（１）記載の方法。 （６）前記複数の多相性オブジェクトの少なくとも１つ
が特定のテキスト・データを含み、前記データ処理シス
テムがテキスト−音声変換処理を含み、前記多相性オブ
ジェクトの１つのマルチメディア表現を自動的に提供す
る前記ステップが、関連音声表現ビューのユーザ選択に
応答して、前記特定のテキスト・データを前記テキスト
−音声変換処理に自動的に結合するステップを含む、前
記（５）記載の方法。 （７）マルチメディアをオブジェクト指向ユーザ・イン
ターフェイス内に統合するデータ処理システムであっ
て、各々が特定のカプセル化データ及び機能を含む複数
の多相性オブジェクトをデータ処理システム内に提供す
る手段と、各前記複数の多相性オブジェクトに関連する
複数のユーザ選択可能データ・ビューを定義する手段で
あって、前記複数のユーザ選択可能データ・ビューの少
なくとも１つがマルチメディア・データ・ビューを含
む、前記定義手段と、関連マルチメディア・データ・ビ
ューのユーザ選択に応答して、前記多相性オブジェクト
の１つのマルチメディア表現を前記データ処理システム
内に自動的に提供する手段と、を含むデータ処理システ
ム。 （８）前記複数の多相性オブジェクトの少なくとも１つ
が特定のビデオ・データを含み、前記多相性オブジェク
トの１つのマルチメディア表現を自動的に提供する前記
手段が、前記特定のビデオ・データのビデオ表現を自動
的に提供する手段を含む、前記（７）記載のデータ処理
システム。 （９）前記複数の多相性オブジェクトの少なくとも１つ
が特定のグラフィックス・データを含み、前記多相性オ
ブジェクトの１つのマルチメディア表現を自動的に提供
する前記手段が、前記特定のグラフィックス・データの
グラフィカル表現を自動的に提供する手段を含む、前記
（７）記載のデータ処理システム。 （１０）前記複数の多相性オブジェクトの少なくとも１
つが特定のＭＩＤＩデータを含み、前記多相性オブジェ
クトの１つのマルチメディア表現を自動的に提供する前
記手段が、前記特定のＭＩＤＩデータの音声表現を自動
的に提供する手段を含む、前記（７）記載のデータ処理
システム。 （１１）前記定義手段が音声表現ビューを定義する手段
を含む、前記（７）記載のデータ処理システム。 （１２）前記複数の多相性オブジェクトの少なくとも１
つが特定のテキスト・データを含み、前記データ処理シ
ステムがテキスト−音声変換処理を含み、前記多相性オ
ブジェクトの１つのマルチメディア表現を自動的に提供
する前記手段が、前記音声表現ビューのユーザ選択に応
答して、前記特定のテキスト・データを前記テキスト−
音声変換処理に自動的に結合する手段を含む、前記（１
１）記載のデータ処理システム。
【００３５】
【発明の効果】上述の説明を参考に当業者には、本出願
人が、音声またはビデオ表現について「別のオブジェク
トの表現形式及び明示的なプレイヤ装置の操作を要求す
ることなしに、選択マルチメディア表現をデータ処理シ
ステム内の単一の多相性オブジェクトの多様なデータ・
ビューとして提供することにより、マルチメディア表現
をデータ処理システム内のオブジェクト指向ユーザ・イ
ンターフェイスに統合するシステムを開示したことが理
解されよう。マルチメディア表現をオブジェクトの別個
のデータ・ビューとして、オブジェクト指向ユーザ・イ
ンターフェイスに統合することにより、本発明の方法及
びシステムは、こうしたシステム内のマルチメディア表
現を選択及び操作する新規で効率的な技術を提供する。
【図面の簡単な説明】
【図１】本発明の方法及びシステムを実現するために使
用されるデータ処理システムのハイレベル・ブロック図
である。
【図２】本発明の方法及びシステムにより、オブジェク
ト指向ユーザ・インターフェイス内に提供される複数の
多相性オブジェクトのデータ処理システム表示を表す図
である。
【図３】本発明の方法及びシステムにより提供される多
相性オブジェクトの複数のデータ・ビューを表す図であ
る。
【図４】本発明の方法及びシステムにより提供される多
相性オブジェクトの複数のデータ・ビューを表す図であ
る。
【図５】本発明の方法及びシステムにより提供される多
相性オブジェクトの複数のデータ・ビューを表す図であ
る。
【図６】本発明の方法及びシステムにより、オブジェク
ト指向ユーザ・インターフェイス内に提供される第２の
多相性オブジェクトを表す図である。
【図７】本発明の方法及びシステムにより、多相性オブ
ジェクトの複数のデータ・ビューを提供する処理のハイ
レベル論理流れ図である。
【符号の説明】
１０ データ処理システム １２ 中央処理ユニット １４ ユーザ入力装置 １６ ディスプレイ １８ メモリ ２０ 直接アクセス記憶装置（ＤＡＳＤ） ２２ 音声出力装置 ２４ ビデオ出力装置 ２６、２８ スピーカ ３２、６０ ウィンドウ ３４、３６、３８、４０ 多相性オブジェクト ４２ マウス・ポインタ ４４ ポップアップ・メニュー ５２ スクロール・バー ６２ コマンド・バー
───────────────────────────────────────────────────── フロントページの続き (72)発明者 トーマス・エヌ・リチャーズ アメリカ合衆国27606、ノースカロライナ 州ローリー、レラ・コート 3509

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】マルチメディアをオブジェクト指向ユーザ
    ・インターフェイス内に統合する方法であって、前記方
    法がデータ処理システムにより実施される以下のステッ
    プ、すなわち、 各々が特定のカプセル化データ及び機能を含む複数の多
    相性オブジェクトをデータ処理システム内に提供するス
    テップと、 各前記複数の多相性オブジェクトに関連する複数のユー
    ザ選択可能データ・ビューを定義するステップであっ
    て、前記複数のユーザ選択可能データ・ビューの少なく
    とも１つがマルチメディア・データ・ビューを含む、前
    記定義ステップと、 関連マルチメディア・データ・ビューのユーザ選択に応
    答して、前記多相性オブジェクトの１つのマルチメディ
    ア表現を前記データ処理システム内に自動的に提供する
    ステップと、 を含む方法。
  2. 【請求項２】前記複数の多相性オブジェクトの少なくと
    も１つが特定のビデオ・データを含み、前記多相性オブ
    ジェクトの１つのマルチメディア表現を自動的に提供す
    る前記ステップが、前記特定のビデオ・データのビデオ
    表現を自動的に提供するステップを含む、請求項１記載
    の方法。
  3. 【請求項３】前記複数の多相性オブジェクトの少なくと
    も１つが特定のグラフィックス・データを含み、前記多
    相性オブジェクトの１つのマルチメディア表現を自動的
    に提供する前記ステップが、前記特定のグラフィックス
    ・データのグラフィカル表現を自動的に提供するステッ
    プを含む、請求項１記載の方法。
  4. 【請求項４】前記複数の多相性オブジェクトの少なくと
    も１つが特定のＭＩＤＩデータを含み、前記多相性オブ
    ジェクトの１つのマルチメディア表現を自動的に提供す
    る前記ステップが、前記特定のＭＩＤＩデータの音声表
    現を自動的に提供するステップを含む、請求項１記載の
    方法。
  5. 【請求項５】前記定義ステップが音声表現ビューを定義
    するステップを含む、請求項１記載の方法。
  6. 【請求項６】前記複数の多相性オブジェクトの少なくと
    も１つが特定のテキスト・データを含み、前記データ処
    理システムがテキスト−音声変換処理を含み、前記多相
    性オブジェクトの１つのマルチメディア表現を自動的に
    提供する前記ステップが、関連音声表現ビューのユーザ
    選択に応答して、前記特定のテキスト・データを前記テ
    キスト−音声変換処理に自動的に結合するステップを含
    む、請求項５記載の方法。
  7. 【請求項７】マルチメディアをオブジェクト指向ユーザ
    ・インターフェイス内に統合するデータ処理システムで
    あって、 各々が特定のカプセル化データ及び機能を含む複数の多
    相性オブジェクトをデータ処理システム内に提供する手
    段と、 各前記複数の多相性オブジェクトに関連する複数のユー
    ザ選択可能データ・ビューを定義する手段であって、前
    記複数のユーザ選択可能データ・ビューの少なくとも１
    つがマルチメディア・データ・ビューを含む、前記定義
    手段と、 関連マルチメディア・データ・ビューのユーザ選択に応
    答して、前記多相性オブジェクトの１つのマルチメディ
    ア表現を前記データ処理システム内に自動的に提供する
    手段と、 を含むデータ処理システム。
  8. 【請求項８】前記複数の多相性オブジェクトの少なくと
    も１つが特定のビデオ・データを含み、前記多相性オブ
    ジェクトの１つのマルチメディア表現を自動的に提供す
    る前記手段が、前記特定のビデオ・データのビデオ表現
    を自動的に提供する手段を含む、請求項７記載のデータ
    処理システム。
  9. 【請求項９】前記複数の多相性オブジェクトの少なくと
    も１つが特定のグラフィックス・データを含み、前記多
    相性オブジェクトの１つのマルチメディア表現を自動的
    に提供する前記手段が、前記特定のグラフィックス・デ
    ータのグラフィカル表現を自動的に提供する手段を含
    む、請求項７記載のデータ処理システム。
  10. 【請求項１０】前記複数の多相性オブジェクトの少なく
    とも１つが特定のＭＩＤＩデータを含み、前記多相性オ
    ブジェクトの１つのマルチメディア表現を自動的に提供
    する前記手段が、前記特定のＭＩＤＩデータの音声表現
    を自動的に提供する手段を含む、請求項７記載のデータ
    処理システム。
  11. 【請求項１１】前記定義手段が音声表現ビューを定義す
    る手段を含む、請求項７記載のデータ処理システム。
  12. 【請求項１２】前記複数の多相性オブジェクトの少なく
    とも１つが特定のテキスト・データを含み、前記データ
    処理システムがテキスト−音声変換処理を含み、前記多
    相性オブジェクトの１つのマルチメディア表現を自動的
    に提供する前記手段が、前記音声表現ビューのユーザ選
    択に応答して、前記特定のテキスト・データを前記テキ
    スト−音声変換処理に自動的に結合する手段を含む、請
    求項１１記載のデータ処理システム。
JP6294400A 1993-12-16 1994-11-29 オブジェクトの複数のマルチメディア表示を提示する方法及びシステム Expired - Fee Related JP2713330B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16872193A 1993-12-16 1993-12-16
US168721 1993-12-16

Publications (2)

Publication Number Publication Date
JPH07200230A true JPH07200230A (ja) 1995-08-04
JP2713330B2 JP2713330B2 (ja) 1998-02-16

Family

ID=22612671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6294400A Expired - Fee Related JP2713330B2 (ja) 1993-12-16 1994-11-29 オブジェクトの複数のマルチメディア表示を提示する方法及びシステム

Country Status (4)

Country Link
US (1) US5692205A (ja)
EP (1) EP0658855A1 (ja)
JP (1) JP2713330B2 (ja)
KR (1) KR0138002B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116791A (ja) * 1995-10-23 1997-05-02 Nikon Corp 情報処理機器
JPH09212328A (ja) * 1996-01-26 1997-08-15 Internatl Business Mach Corp <Ibm> 動画表示オブジェクトを表示するための方法およびシステム
US6192363B1 (en) 1997-06-25 2001-02-20 Nec Corporation Method and apparatus for supplying multi-media data to a client by using threads

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6300880B1 (en) 1996-01-16 2001-10-09 Philips Electronics North America Corp. Multichannel audio distribution system having portable receivers
GB2311151B (en) * 1996-02-29 2000-11-15 Jba Holdings Plc An object browser and manipulation system
US5898423A (en) * 1996-06-25 1999-04-27 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven captioning
US7284187B1 (en) * 1997-05-30 2007-10-16 Aol Llc, A Delaware Limited Liability Company Encapsulated document and format system
US5929857A (en) * 1997-09-10 1999-07-27 Oak Technology, Inc. Method and apparatus for dynamically constructing a graphic user interface from a DVD data stream
US6191790B1 (en) 1998-04-01 2001-02-20 Microsoft Corporation Inheritable property shading system for three-dimensional rendering of user interface controls
US6169546B1 (en) * 1998-04-01 2001-01-02 Microsoft Corporation Global viewer scrolling system
US6249284B1 (en) 1998-04-01 2001-06-19 Microsoft Corporation Directional navigation system in layout managers
US6233347B1 (en) 1998-05-21 2001-05-15 Massachusetts Institute Of Technology System method, and product for information embedding using an ensemble of non-intersecting embedding generators
US6314192B1 (en) 1998-05-21 2001-11-06 Massachusetts Institute Of Technology System, method, and product for information embedding using an ensemble of non-intersecting embedding generators
US6400826B1 (en) 1998-05-21 2002-06-04 Massachusetts Institute Of Technology System, method, and product for distortion-compensated information embedding using an ensemble of non-intersecting embedding generators
GB2338371A (en) 1998-06-09 1999-12-15 Ibm Voice processing system
CA2279504A1 (fr) * 1998-08-13 2000-02-13 Guy Fouquet Document multimedia dynamique
US6486897B1 (en) * 1998-09-29 2002-11-26 Apple Computer, Inc. Multi-repository display system using separate presentation, adaptation and access layers
US6350199B1 (en) * 1999-03-16 2002-02-26 International Game Technology Interactive gaming machine and method with customized game screen presentation
US6636238B1 (en) 1999-04-20 2003-10-21 International Business Machines Corporation System and method for linking an audio stream with accompanying text material
US6346934B1 (en) 1999-05-17 2002-02-12 Gateway, Inc. Programmable remote device control apparatus and method
US6556219B1 (en) * 1999-05-18 2003-04-29 Gateway, Inc. Method and system for peripheral device user interface construction
US20010030660A1 (en) * 1999-12-10 2001-10-18 Roustem Zainoulline Interactive graphical user interface and method for previewing media products
US7209980B2 (en) 1999-12-17 2007-04-24 Gateway Inc. Method and system for interpreting device control commands
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7277765B1 (en) 2000-10-12 2007-10-02 Bose Corporation Interactive sound reproducing
GB0103664D0 (en) * 2001-02-15 2001-03-28 Hutchinson Neil Web-based on-line audio-visual presentations
TWI238008B (en) * 2003-12-15 2005-08-11 Inst Information Industry Method and system for processing interactive multimedia data
US8239749B2 (en) 2004-06-25 2012-08-07 Apple Inc. Procedurally expressing graphic objects for web pages
USD529508S1 (en) * 2005-04-22 2006-10-03 Microsoft Corporation Icon for a portion of a display screen
USD540345S1 (en) * 2005-04-22 2007-04-10 Mircosoft Corporation Icon for a portion of a display screen
USD540812S1 (en) * 2005-04-22 2007-04-17 Microsoft Corporation Icon for a portion of a display screen
USD540813S1 (en) * 2005-04-22 2007-04-17 Mircosoft Corporation Icon for a portion of a display screen
USD537836S1 (en) * 2005-04-22 2007-03-06 Microsoft Corporation Icon for a portion of a display screen
USD570368S1 (en) * 2005-04-22 2008-06-03 Microsoft Corporation Icon for a portion of a display screen
USD536701S1 (en) * 2005-04-22 2007-02-13 Microsoft Corporation Icon for a portion of a display screen
USD551246S1 (en) * 2005-04-22 2007-09-18 Microsoft Corporation Icon for a portion of a display screen
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
USD547764S1 (en) * 2006-03-29 2007-07-31 Samsung Electronics Co., Ltd. Generated image for a portable telephone
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20090297121A1 (en) * 2006-09-20 2009-12-03 Claudio Ingrosso Methods and apparatus for creation, distribution and presentation of polymorphic media
US20090297120A1 (en) * 2006-09-20 2009-12-03 Claudio Ingrosso Methods an apparatus for creation and presentation of polymorphic media
JP2010504601A (ja) * 2006-09-20 2010-02-12 ジョン ダブリュ ハネイ アンド カンパニー リミテッド 多形性メディアの製作、配布、および再生のための機構および方法
JP4310345B2 (ja) 2007-01-09 2009-08-05 石川ガスケット株式会社 金属積層形シリンダヘッドガスケット
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
USD594027S1 (en) * 2007-09-28 2009-06-09 Siemens Aktiengesellschaft Icon for a portion of a display screen
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8977584B2 (en) 2010-01-25 2015-03-10 Newvaluexchange Global Ai Llp Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
USD692479S1 (en) * 2010-07-01 2013-10-29 Laerdal Medical As Card with symbols
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
USD693839S1 (en) 2012-01-06 2013-11-19 Microsoft Corporation Display screen with a graphical user interface
USD683356S1 (en) 2012-01-06 2013-05-28 Microsoft Corporation Display screen with graphical animated user interface
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
USD781917S1 (en) 2015-10-15 2017-03-21 Threewire, Inc. Display screen with icon
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03504544A (ja) * 1989-08-03 1991-10-03 インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン データ処理装置
JPH0454630A (ja) * 1990-06-22 1992-02-21 Hitachi Ltd 項目入力制御方法および装置
JPH04287116A (ja) * 1990-10-31 1992-10-12 Internatl Business Mach Corp <Ibm> ハイパー・メディア・システムおよびそのグラフィカル・ユーザ・インタフェース方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914586A (en) * 1987-11-06 1990-04-03 Xerox Corporation Garbage collector for hypermedia systems
US5060135A (en) * 1988-09-16 1991-10-22 Wang Laboratories, Inc. Apparatus for manipulating documents in a data processing system utilizing reduced images of sheets of information which are movable
JPH0217508A (ja) * 1988-07-06 1990-01-22 Fanuc Ltd 穴形状の多面図表示方法
US4931950A (en) * 1988-07-25 1990-06-05 Electric Power Research Institute Multimedia interface and method for computer system
US5065345A (en) * 1988-11-04 1991-11-12 Dyned International, Inc. Interactive audiovisual control mechanism
US5136712A (en) * 1989-06-29 1992-08-04 Digital Equipment Corporation Temporary object handling system and method in an object based computer operating system
US5140677A (en) * 1990-05-11 1992-08-18 International Business Machines Corporation Computer user interface with window title bar mini-icons
US5412774A (en) * 1990-08-29 1995-05-02 At&T Corp. Apparatus for and method of displaying a data item of a database using the display function of a selected data item
US5539869A (en) * 1992-09-28 1996-07-23 Ford Motor Company Method and system for processing and presenting on-line, multimedia information in a tree structure
US5345550A (en) * 1992-12-23 1994-09-06 International Business Machines Corporation User-modifiable popup menus for object oriented behavior

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03504544A (ja) * 1989-08-03 1991-10-03 インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン データ処理装置
JPH0454630A (ja) * 1990-06-22 1992-02-21 Hitachi Ltd 項目入力制御方法および装置
JPH04287116A (ja) * 1990-10-31 1992-10-12 Internatl Business Mach Corp <Ibm> ハイパー・メディア・システムおよびそのグラフィカル・ユーザ・インタフェース方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116791A (ja) * 1995-10-23 1997-05-02 Nikon Corp 情報処理機器
JPH09212328A (ja) * 1996-01-26 1997-08-15 Internatl Business Mach Corp <Ibm> 動画表示オブジェクトを表示するための方法およびシステム
US6192363B1 (en) 1997-06-25 2001-02-20 Nec Corporation Method and apparatus for supplying multi-media data to a client by using threads

Also Published As

Publication number Publication date
JP2713330B2 (ja) 1998-02-16
EP0658855A1 (en) 1995-06-21
US5692205A (en) 1997-11-25
KR0138002B1 (ko) 1998-06-15

Similar Documents

Publication Publication Date Title
JP2713330B2 (ja) オブジェクトの複数のマルチメディア表示を提示する方法及びシステム
KR0138003B1 (ko) 시각 장애가 있는 컴퓨터 사용자가 표시된 객체를 그래픽에 의해 선택할 수 있도록 해주는 방법 및 시스템
JP2677754B2 (ja) データ処理方法
EP0784259B1 (en) Data manupulation in systems displaying a visual representation of a physical environment
US5374924A (en) Computer user interface with stereo and filtered sound effects
AU695912B2 (en) A computer based training system
Gaver The SonicFinder: An interface that uses auditory icons
US5969719A (en) Computer generating a time-variable icon for an audio signal
CN104995596B (zh) 用于在选项卡层级管理音频的方法和系统
US5826064A (en) User-configurable earcon event engine
JP2001195165A (ja) Ｇｕｉ制御方法及び装置並びに記録媒体
JPH08509311A (ja) 対話型ユーザ・インタフェース
TW302453B (ja)
JP3340581B2 (ja) テキスト読み上げ装置及びウインドウシステム
US20050071764A1 (en) Method for creating a collection of multimedia interactive graphic elements using arrow logic
JP2760289B2 (ja) 視覚障害者向けグラフィカル・ユーザ・インタフェース操作装置
Wersényi Auditory representations of a graphical user interface for a better human-computer interaction
US20080091643A1 (en) Audio Tagging, Browsing and Searching Stored Content Files
JP7229296B2 (ja) 関連情報提供方法及びシステム
JPH0793353A (ja) 情報検索装置
CN117059121A (zh) 音频处理方法、装置、设备及存储介质
Lorho et al. Structured menu presentation using spatial sound separation
JP3211563B2 (ja) データ編集装置及びデータ編集方法
JPH0876968A (ja) 音響ディスプレイ装置
CN119396512A (zh) 显示设备、服务器和古诗词多媒体数据的展示方法

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees