【発明の詳細な説明】
対話式マルチメディア娯楽システム
発明の分野
本発明は、対話式（双方向）マルチメディアシステムに係り、より詳細には、
対話式マルチメディア娯楽システムに係る。
発明の背景
娯楽産業は時と共に益々多岐にわたってきている。音楽映像娯楽の出現に伴い
現在では異なる情報を吹き替える機能や視聴者又は聴取者が娯楽に積極的に参加
する設備が益々利用できるようになってきている。音楽娯楽の結果として開発さ
れた技術が現在ある。例えば、アジアではカラオケが非常に普及している。カラ
オケでは、各人が音楽を聴き、スクリーン上の言葉を読み、歌詞を見て、一緒に
歌う。大勢の人々が家庭環境の中でこれと同じことをしているのは同様に興味の
あることである。
カラオケ娯楽では、参加者は、メインボーカルトラック（音帯）が除去された
ポピュラーソングを歌う。カラオケには、参加者が歌詞の台本又は記憶力を使用
するオーディオテープだけのカラオケや、ＣＤ−ＲＯＭからのスチル映像や普通
の映像を利用して歌わない参加者には娯楽を提供しそして歌う参加者の助けとな
るように色の変化する歌詞を与えるＣＤ−ＲＯＭカラオケや、独特の映像を色の
変化する歌詞と共に含んでいるレーザディスクカラオケを含む多数のものが存在
している。典型的に、このようなシステムは、歌の再生速度を変えることによっ
てしかピッチを変えられない。というのは、音声は本来アナログであるかストリ
ームデジタルをベースとする情報であって、どこにもバッファされないからであ
る。カラオケバーやボックスのひいき客から集めた入場料や、レコード又はカラ
オケショップでディスクやテープ製品を購入することにより所得が得られる。
マルチメディア音楽娯楽を楽しむのを困難にしたり又はその入手コストを高く
したりする多数の欠点が存在する。例えば、音楽を聴く娯楽においては、所与の
レコード上に多数の曲があって仲々放送時間が来ない状態では、曲が放送されて
聞こえるまでその曲を判断することができない。音楽映像娯楽においては、その
音楽映像娯楽に専用のケーブルチャンネル数が僅かしかないので、放送時間が更
に制約される。これら２つのことは対話式アクセスシステムからも顕著に言える
ことであり、創造性のある参加者対話性を付加することができれば、更に大きな
娯楽価値が得られることになろう。本発明は、これら２つの点に向けられる。
カラオケ娯楽の既存の技術には多数の特定の欠点がある。先ず、第１に、テー
プ、ＣＤ−ＲＯＭディスク又はレーザディスクといった媒体は、購入者が１つ又
は２つの曲にしか関心がなくても多数の曲を含んだテープやディスクを買わなけ
ればならない。第２に、カラオケバーやボックスの場合には幾つかの曲が購入者
によって何回も使用されるが、個人的な娯楽目的では所与の曲が年に１回又は２
回しか使用されないのが一般的であり、従って、娯楽の実効コストは高いものと
なる。第３に、カラオケの歌の曲目は数千もあるが、通常のレコード店やカラオ
ケ店でも、作曲されている全ての曲目のうちの僅かな部分しかもっていない。既
存のカラオケシステムの最近の欠点は、全部分のうちの１つのトラック即ちボー
カルについてしか使用されていないことである。本発明は、上記した全ての欠点
に向けられる。
発明の概要
本発明は、対話式マルチメディア娯楽方法及び装置に関する。
第１の特徴において、対話式音楽聴取娯楽システムは、複数の歌を記憶する手
段と、この記憶手段から複数の歌の１つを選択する手段と、この選択手段に応答
し、上記記憶手段からの上記１つの歌を受信者により受信する手段とを備え、こ
の受信手段は、上記記憶手段から１つの歌の料金に関する情報も受信し、そして
１つの歌に対する演奏の回数を制限する手段を含んでいる。
第２の特徴において、対話式マルチメディア映像娯楽システムは、複数の歌と
これらの歌に関連した映像情報を記憶する手段と、１つの歌及びそれに関連した
映像情報を上記記憶手段から選択する手段と、この選択手段に応答して上記１つ
の歌及びそれに関連した映像情報を受信する手段であって、上記記憶手段から上
記１つの歌及びそれに関連した映像情報の料金に関する情報も受信すると共に、
その１つの歌が演奏される回数をカウントしそして演奏当たりの特定の価格を受
信者に課するための受信手段とを備えている。
第３の特徴において、対話式マルチメディアカラオケシステムは、映像及び音
声表現を作り出せるようにマルチメディア情報を記憶する手段と、特定組のマル
チメディア情報を上記記憶手段から選択する手段と、この選択手段に応答して、
上記特定組のマルチメディア情報を受信すると共に、上記特定組のマルチメディ
ア情報を変更して、その特定組のマルチメディア情報の質及び対話性を増強する
手段とを備えている。
図面の簡単な説明
第１図は、音楽聴取娯楽に用いられる対話式マルチメディアシステムの図であ
る。
第２Ａ図は、映像娯楽のための対話式マルチメディアシステムの図である。
第２Ｂ図は、カラオケ娯楽のための対話式マルチメディアシステムの図である
。
第２Ｃ図は、対話式マルチメディアカラオケ表現を示す図である。
第３図は、本発明によりネットワークに使用される最適化方法の第１実施例を
示すフローチヤートである。
第４図は、圧縮アルゴリズムと送信アルゴリズムのマトリクスを使用するよう
にして本発明によりネットワークに使用される最適化方法の第２実施例を示すフ
ローチャートである。
第５図は、本発明によるマルチメディア情報の分離を示すフローチャートであ
る。
第６図は、本発明による圧縮アルゴリズムと送信アルゴリズムの共働を示す図
である。
第７図は、像ファイルとＭＩＤＩファイルのデジタル情報を示すブロック図で
ある。
第８図は、本発明によるマルチメディア通話処理システム（ＭＣＰＳ）のブロ
ック図である。
第９図は、本発明による対話式マルチメディア装置のブロック図である。
発明の詳細な説明
本発明は、対話式マルチメディア娯楽システムの改良に係る。以下の説明は、
当業者が本発明を利用できるようにするもので、特許出願及びその要件の形態で
与えられる。当業者であれば、好ましい実施例の種々の変更が容易に明らかとな
ろうが、ここでは一般的な原理及び特徴を述べることにする。
第１図は、対話式音楽聴取娯楽システムが示されている。この音楽聴取娯楽シ
ステム１０は、対話式マルチメディアマスターリングシステム（ＩＭＭ）４２を
備え、これはマルチメディア通話処理システム（ＭＣＰＳ）４４を介して送られ
るＣＤ品質の歌又は記録のようなプログラムソース資料を受け取り、ＭＣＰＳ４
４は、電話によって作動されると共に、対話式マルチメディア装置（ＩＭＤ）５
２も接続されている。ＩＭＤ５２は、この状態においては、ステレオ等で再生で
きる幾つかの歌を記憶することができる。この形式のシステムでは、ＩＭＤ５２
はネットワークを経て送信できるＣＤ品質の歌を供給することがでる。ＭＣＰＳ
４４は、クレジット又は注文情報を得ることができ、ＩＭＤ５２の歌をネットワ
ークに搬送したり又はＣＤを郵送すべきであることを指示したりすることができ
る。本発明においては、ＩＭＤ５２は、歌が送られるときにそれを特定の仕方で
エンコードすることによりその歌を再生できる回数を制限し、そして特定の歌が
再生されるたびに料金を課すことができる。更に、このシステムは、パーソナル
アルバムを作成することもできる。例えば、特定の歌の受信者が、それをＩＭＭ
から直接記録したい場合に、ＩＭＤ５２を経てＩＭＭ４２へ信号を送信すること
ができる。次いで、ＩＭＭ４２は、記録されるべき高質音響の歌を供給する。
第２Ａ図は、ＩＭＭ４２がＭＣＰＳ４４に増強した音楽を供給する前記の音楽
聴取娯楽システムと同様の音楽映像娯楽システム２０の実施例を示している。更
に、映像のプログラムソース資料は別のソース（図示せず）からＩＭＤ５２へ送
られる。ＩＭＤ５２は、音声、ＩＭＤＩ、楽器等に関連した情報をＴＶ３２及び
／又はステレオ３４に送信するのに用いられる。この実施例では、静止画、動画
、歌詞、譜面等のマルチメディア情報をネットワークを経て送信して再生と同期
させることができる。更に、音楽映像トラックの１つ又は全部を実際の音声又は
ＭＩＤＩ楽器入力と置き換えることもできる。これは、個人がグラフィックディ
スプレイに基づいてバンドのメンバーとして演奏して楽しんだり又は学習したり
することができる。このグラフィックディスプレイは、その一部に現在の音楽の
回
転する楽譜をもつと共に、伴奏者の手引きである現在位置を強調するための色変
化を含むことができる。更に、ＩＭＤ５２から発生されたデータの制御で、テン
ポとピッチを調整することができる。又、マルチメディア情報は、その形式によ
ってキーイングすることもできるし、映像をオーバーレイするように発生するこ
ともできる。
第２Ｂ図は、カラオケ娯楽システム３０の簡単なブロック図である。このシス
テムもＩＭＭ４２を備えており、これは、ＩＭＤ５２とで、ＣＤ品質の歌をＴＶ
３２及びステレオ３４へ送ることができる。イコライゼーション及びダイナミッ
クレベルのようなサイコグラフ的な情報も表示できる。静止画、動画、歌詞、譜
面等のマルチメディア情報をネットワークを経てＴＶ３２に送信してシステムの
再生機能と同期させることができる。
このシステム３０では、ボイス（歌声の集合）を伴う複数の楽器の各々を本発
明によって増強することができる。この特徴を詳細に説明するために、本発明に
よるマルチメディアカラオケ表現４００について示した第２Ｃ図を参照する。こ
の図から明らかなように、１人の人４０２はマイク４０４を持ち、その前にはモ
ニタ４０６があり、そしてその人の前でモニタ４０６の上にはビデオカメラ４０
８がある。２番目の人４１０も同様の構成であるが、ＭＩＤＩドラム４１２を演
奏している。３番目の人４１４も同様のビデオカメラ／モニタ構成であるが、Ｍ
ＩＤＩギター４１６を演奏している。全ての人４０２、４１０及び４１４は、そ
れらの各々のモニタを介してカラオケ娯楽スクリーンを見ることができる。同時
に、スクリーン４５２の視聴者４５０にもカラオケ表現を与えることができる。
このような構成では、ポピュラーソングのマルチメディア表現が導入され、各
演奏者は自分の楽器又はボイス（場合に応じて）を元の歌／映像の同じトラック
に置き換えることができる。この構成では、元のトラック（ボイス、歌詞、ドラ
ム、ギター及び楽譜）の全部を、個人４０２、４１０及び４１４の楽器（又はボ
イス）のトラックと置き換えることができる。テンポに対する演奏者の手引きは
演奏している楽器又は歌っているボーカルのための対応譜面の部分（ドラムのト
ラック、ギターの譜面、ボーカルの歌詞）を表示するモニタを使用し、トラック
の変化する色によってタイミングをとって位置を指示することによって与えられ
る。
好ましい実施例では、各演奏者の映像ソースごとにキー映像のカラーキーイン
グ技術を用いて異なる演奏者からの対話式映像ソースを組み込むことによって各
トラックを更に増強することができる。観客が見るシーンは、一実施例では、元
の映像資料に置き換わるものとして映像にマスターリングされたカラーキーによ
り識別された演奏者の映像ソースを使用する実際の映像において人々の身体の上
にある個々の演奏者の頭である。この場合に、以下に述べる増強等の多くは、演
奏をできるだけ現実的なものにするように行うことができる。
全ての上記実施例において、ＩＭＭ４２は、プログラムのある対話的作用を与
えるために重要である。この最適化技術を詳細に説明するために、本発明による
最適化方法のブロック図である第３図を参照する。上記のシステム１０及び２０
はＭＣＰＳ４４に送るプログラムソース資料を著しく最適化するＩＭＭ４２を備
えている。
この最適化技術を詳細に説明するために、本発明による最適化方法のブロック
図である第４図を参照する。この最適化技術は、参考としてここに取り上げる本
発明の譲受人に譲渡された「増強したマルチメディア情報を形成しそして送信す
る方法（Method for the Production and Transmission of Enhanced Mulimedia
Information）」と題する米国特許出願に詳細に説明されている。添付図面を参
照した以下の説明は、この最適化方法に関する詳細と、対話性を増強したマルチ
メディアシステムを提供するためにこれをいかに効果的に使用するかである。
ＩＭＭ４２の目的は、対話性を最大にするのと同時にプログラムモデルを最大
限に保持することである。又、対話性に対するトランシット時間を最小にしなが
ら情報を最大限に複製することも重要である。それ故、プログラムモデルのサイ
コグラフ的なパラメータを充分に記載することが非常に重要である。例えば、空
間、色、時間、音声応答、資料内容及び内容の認知は、全て、プログラムモデル
に充分に記載されそして定義されねばならない。
本発明の原理を用いて増強した対話像を形成する第１実施例のフローチャート
が第４図に示されている。このフローチャート１００は、プログラムモデルをセ
パレータに与える段階を備えている。セパレータ１０２は、情報を対話式マルチ
メディア情報の一次層と二次層に分割する。この分離は自動的であり、種々の方
法で実行できる。例えば、これらの層は、形成ソースによって分離することがで
きる。別の例では、これらの層をキーコード化することによって分離を行うこと
ができる。更に第３の例では、これら層を空間的に分離することもできるし、種
々の色で分離することもできる。更に、これら情報層は、フィルタプロセスによ
って分離することができる。
一次層は、圧縮・発生ブロック１０４に送られる。短い帯域巾を使用するよう
にマルチメディアデータを変更又は発生できるようにする方法は種々のものがあ
る。例えば、圧縮アルゴリズム又はその等効物を用いて、使用帯域巾を減少する
ことができる。更に、トーンジェネレータシステムのような発生器を使用して、
所要の帯域巾を減少することができる。更に、キーコード化システムを用いて、
使用帯域巾を減少することもできる。このようなシステムは、以下で詳細に説明
する。
この実施例においては、一次層はエンコーダに送られ、そこで一次層が送信の
ために準備される（ブロック１０８）。一次層は、次いで圧縮解除される（ブロ
ック１１０）。その後、一次層の情報は圧縮解除される（ブロック１１０）。次
いで、一次層はデコードされて、二次層のデータ情報と混合され（ブロック１１
２）、対話性の増強されたマルチメディア像（動き、映像、その他）即ちデータ
がディスプレイに送られる。
同様に、二次層はブロック１１４を経て圧縮され、エンコードされ（ブロック
１１６）そしてブロック１１８を経て圧縮解除及び混合ブロック１１０に送られ
る。次いで、２つの信号（一次及び二次）はディスプレイ１１２へ送られる。
この実施例では、例えば、映像の最適化において、一次層を前景像とし、二次
層を背景情報とすることができる。この形式の最適化技術の使用により、マルチ
メディア情報を増強できると同時に、著しく短い帯域巾を使用できる。
この特徴を充分に理解するために、以下に説明する。典型的な対話式マルチメ
ディアシステムにおいては、情報が全て１つの層に沿って送られる。従って、送
信することのできる情報は、その層の帯域巾によって制限される。
公知技術においては、典型的なネットワーク又は送信路に沿って送信すること
のできる対話式マルチメディア情報は、例えば、映像の場合に、高画質の像をデ
ィスプレイに送るに充分な帯域巾がないために、非常に制約がある。
従って、本発明においては、マルチメディア情報を一次及び二次の層に分離し
そしてその後に公知の圧縮アルゴリズムを用いてより重要な情報を圧縮すること
により、既存のネットワークを介して容易に送信できる対話性の増強されたマル
チメディア情報を発生することのできるシステムが提供される。
本発明のサイコグラフ的な増強特徴を完全に説明するために、特定のプログラ
ムモデルからの種々の可能性を示した第４図を参照する。プログラムモデルはマ
ルチメディアシステムのセパレータ４２に送られる。
サイコグラフ的な増強は、対話式マルチメディア送信及び受信を改良する上で
重要であり、本発明の説明における増強とは、送信されるものでなくて、送信さ
れるマルチメディア情報において動作するかそれと一緒に動作するか又はそれを
補うものとして動作するような情報をいう。サイコグラフ的な増強に関連して３
つの別々の分類について説明する。
第１の分類は、送信される情報と、送信されない情報の存在によって増強され
る情報との間の交差相関として説明される。像のディザ動作は、存在する像の欠
陥をマスクし像の質を改善する点で、その一例である。この形式のシステムは、
欠陥を除去しないが、不完全部を実際にマスクする。第２の例は、波の音等の二
次の音声材料が一次音声（ボイス、音楽等）の音質の問題をマスクすることのあ
る音響舞台である。
第２の分類は、制御信号を使用することなく、例えば、補間やその他の技術に
よって信号を実際に変更することである。その典型的な例は、特定装置の範囲に
基づいてある周波数を増強するグラフィックイコライザである。第２の分類の別
の例は、送信されている周波数を更に増強するようにある信号の周波数又は振幅
を圧縮することである。又、信号それ自体を制御せずに信号を実際に変更するよ
うなある情報を与えるか或いはそれを鮮明にするように種々のフィルタを使用す
ることも知られている。
更に、第３の分類は、一次及び二次情報を使用して、マルチメディアシステム
内に存在することのある他のジェネレータを駆動することである。これは、マル
チメディア情報を増強するか又はプログラムモデルを増強するのに使用できる。
その一例は、音楽ジュークボックス型プログラムモデルを増強するように実時間
グラフィック周波数スペクトルディスプレイを使用することである。
第５図から明らかなように、一次のマルチメディア情報層は、公知のアルゴリ
ズムを使用して帯域巾を減少するように圧縮することができる。又、信号は、一
次／二次層信号に応答するジェネレータと置き換えできることも明らかである。
更に、キーコードを使用して、ルックアップテーブル等から情報を提供すること
もできる。
上記した方法は全て本発明による効果を与えるが、キーコード化は、本発明の
最適化システムに使用されたときには、ある付加的な明確でない効果を奏する。
以下の説明では、種々のキーコード化システムの使用を、それに付随する効果と
共に一般的に説明する。
典型的に、対話式マルチメディア情報信号を探すときには、その情報の多数の
成分が存在する。第１の成分は、搬送されるデータ又はマルチメディア情報それ
自体である。第２の成分はプログラムモデルダイナミックスと称する。これは、
例えば、グラフィック又は映像の１つのシーンから別のシーンへの移行を許すフ
ェードにより対話式マルチメディア情報に生じる変化である。逆に、像を拭い去
る（ワイプ）ことを希望する場合には、マルチメディアデータに関連した情報で
あって、その移行を効率的に変化させるために呼び出される情報がある。
更に、対話式マルチメディア情報の第３成分は、本明細書において特定の装置
又はシステムがある分類から別の分類へ進めるようにするものである。典型的な
対話式マルチメディア情報システムでは、このような情報を充分に送信するため
にこの情報全てが必要とされる。
その最も簡単な形態においては、キーが、装置の他の側にコマンドを指示する
識別コードを有する。このようなキーイングシステムの最も明瞭な例は、非常に
簡単な二重トーンマルチ周波数（ＤＴＭＦ）信号である。この形式の信号は、低
帯域巾プロトコルに対してキーイングを行うために遠隔通信エリアにおいて使用
することができる。これらのキーは、次いで、ネットワークの側にコードテーブ
ルを指令し、マルチメディア情報の実際の送信を必要とせずに、表示されるべき
マルチメディア情報に関するある情報を与えるようにする。
この形式のキーコード化についてのより特定の態様は、本明細書において制御
情報キーイングと称するものである。制御情報キーイングとは、キーコードを用
いて特定の形式のコマンドをアクセスし、次いで、これを用いてネットワークの
他の側の他の項目を制御できるようにすることである。
次いで、このようなテーブルを用いてネットワークのあるｌ組のマルチメディ
ア情報をアクセスすることができる。キーコード化の最終的な態様は、プログラ
ム分岐キーイングト称するもので、ある分岐識別を表すキーの各々によって記述
される。従って、この形式のキーコード化においては、キーは、各分岐が複数の
ファンクション又はコマンドをアクセスしてプログラムモデルを複製できるよう
な対話式マルチメディアプログラムの特定の分岐を相互参照する。
これら全ての形式のキーコード化構成によってもたらされる重要な特徴は、ネ
ットワークに既に存在する情報を利用できることである。それ故、最適化システ
ム自体の中に処理能力を与えることが必要なのではなくて、アクセスされている
ネットワーク又はシステムに本来ある処理能力を利用することができる。
又、マルチメディア情報の送信の質を改善する手段を開発することも重要であ
り、例えば、ＣＣＩＴＴ ｖ．３２又はＢｅｌｌ ２０２のような典型的な送信
アルゴリズムを標準的な通信ファイルデータ転送プロトコルと共に使用して情報
が送信されてもよい。又、対話式マルチメディア情報は、送信されるべき特定の
対話式マルチメディア情報に対して最適化された特殊なプロトコルも使用するこ
とができる。この場合に、圧縮アルゴリズムを送信アルゴリズムと対話的にマト
リクス構成して、最小の送信ラインで最大の対話性をもつ最も良質な情報を与え
ることができる。
第４図は、送信アルゴリズムと圧縮アルゴリズムとが共働して、高質のマルチ
メディア像を形成することを示すフローチャートである。このフローチャートは
、一次及び二次層が分離されたプログラムモデルを設けることを含む（ブロック
２０２）。一次の層は圧縮されそしてエンコードされる（ブロック２０４及び２
０６）。
制御エレメント（ブロック２１０）は、圧縮マトリクス及び送信マトリクスを
制御するのに使用される。これら２つのマトリクスは、種々のアルゴリズムが検
出されるときに、マルチメディア情報の質と送信速度とが対話的に決定されるよ
うに各々相互作用的に制御される複数の圧縮アルゴリズム及び送信アルゴリズム
を備えている。
情報の質は、手動で決定することもできるし、ある制御回路を使用することに
よって決定することもできる。これらの同じマトリクスを二次層に使用できるこ
とも理解されたい。明瞭化及び簡単化のために、これについては図示も説明もし
ない。
第６図は、本発明によって使用することのできる圧縮アルゴリズムと送信アル
ゴリズムとのマトリクスを示すブロック図である。垂直方向に整列された円３０
２は、圧縮アルゴリズムである。水平方向に整列された長方形３０４は、送信ア
ルゴリズムである。
例えば、圧縮アルゴリズムは、ＪＰＥＧ、及びＭＩＤＩをもつジェネレータで
ある。同様に、送信アルゴリズムは、ＪＰＥＧ、ＭＩＤＩのためのデータ圧縮、
又はキー送信型アルゴリズムのためのＤＴＭＦである。最も質の高いマルチメデ
ィア情報を与えると同時に、最小の帯域巾を利用するために、異なるアルゴリズ
ムを対話的に選択することができる。
従って、第１の圧縮アルゴリズムを第１の送信アルゴリズムと共に選択するこ
とができる。マルチメディア情報は像又は音声の質について検討され、次いで、
第２の圧縮アルゴリズムが選択される。マルチメディア情報が検討され、質が受
け入れられない場合には、第２の送信アルゴリズムが選択される。情報の質が検
討される。このプロセスは、最高の質の又は所望の質のマルチメディア情報及び
対話速度が与えられるまで繰り返される。
圧縮／送信アルゴリズムから導出されたマルチメディア情報は、アナログ又は
デジタルのいずれの性質のものでもよい。しかしながら、デジタル信号の場合に
は、本発明により使用することのできる効果へと引き継ぐことのできる他の幾つ
かの効果がある。
デジタルデータ情報は、典型的に、そのデータ及びデータ情報それ自体のある
パラメータを指定するファイルにおいて送信され、そしてデータ情報それ自体の
中では、ある１組のファイルに対して変化することのない情報であることが知ら
れている。像ファイルの場合には、ヘッダ情報が、特定像の大きさ、ピクセル深
さ、及び他の幾つかの特徴を指定する。このファイルは、データファイルの２０
％程度を占有する。
これに対し、複数の一連の音譜を含むＭＩＤＩ音楽ファイルのようなファイル
の場合には、ヘッダは、その特定のファイルの楽器情報、関連情報及び特性を含
む。上記の両方の例においては、ヘッダ情報は不変であり、最適化方法を使用す
ることにより、情報の量を時間と共に著しく減少することができる。
従って、像ファイルの場合には、ヘッダは、常に同じであるから、圧縮せずに
又はロスのないデータ圧縮で二次ファイルとして最初に送信することができる。
データファイルそれ自体は、次いで、その最小サイズに圧縮できる。
サイコグラフ的パラメータを増強する別の方法は、ある形態のエラー検出及び
調整を与えることである。上記したように、検出及び調整は、エラーの補間によ
って行うことができる。エラー補正の別の方法は、エラー補正／送信アルゴリズ
ムによるものである。これは、送信を圧縮に関連付けて対話性を増強する。
この形式のシステムにおいては、ファイルが送られる前に、ベースファイルが
圧縮されそして圧縮解除される。この圧縮解除されたファイルを、拡張した圧縮
ベースファイルと称する。この拡張した圧縮ベースファイルは、次いで、元のベ
ースファイルと比較され、そしてエラーファイルが発生される（エラーファイル
は、ベースファイルと拡張した圧縮ベースファイルとの間の相違である）。エラ
ーファイルは圧縮され、そしてベースファイルの圧縮バージョンと共にラインを
下るように送られる。これらファイルは次いで結合されそして圧縮解除されて、
増強された像を形成する。
第８図を参照すれば、この技術を用いるデータファイルは、最初に一次及び二
次層に分離できることが明らかであろう。一次層は第１圧縮アルゴリズムを用い
て圧縮することができ、ヘッダは最初に第１送信路に沿って送ることができそし
て圧縮信号は第２送信路に沿って送ることができる。
それ故、ファイルに必要な記憶量は、二次圧縮技術により著しく減少される。
次いで、この情報はネットワークにわたって送信又は記憶することができ、最適
化システム内の特定の装置内に記憶された全ての情報をもつ必要はない。
当業者であれば、アルゴリズムの数は添付図面に示された数に限定されるもの
でないことが理解されよう。更に、アルゴリズムを選択する順序は、本発明の精
神及び範囲内で変更できることが理解されよう。
本発明は、一次層を圧縮しそしてその一次層を特定の仕方で圧縮して送信する
ことによりシステムの対話性を増強することについて説明した。二次層を増強し
て同じ効果を与えることも等しく重要であることを理解されたい。
それ故、二次層を増強することは重要であり、一次層を増強することは重要で
あり又はその両方を増強することは重要である。従って、本発明は、圧縮及び送
信アルゴリズムを使用することにより且つプログラムモデルのサイコグラフ的な
増進によりマルチメディアシステムの対話性を増強することができる。
又、圧縮及び送信アルゴリズムの機能は別の手段によって行うこともでき、例
えば、信号ジェネレータを用いて同じ情報を発生できることも理解されたい。即
ち、特定層の情報に応答する信号ジェネレータを用いて、その情報又はその層を
表すあるレベルの情報を与えることができる。例えば、二次層からのある信号に
応答して、その二次層を表すトーンを発生するトーンジェネレータを使用するこ
とができる。
これに対し、ある形式のグラフィックジェネレータを使用し、その同じ形式の
信号に応答してある形式のグラフ像をビデオシステムに形成することができる。
更に、サイコグラフ的なパラメータは人間のオペレータが調整することもできる
し、或いは又、自動手段によって調整又は修正することもできることを理解され
たい。
プログラムソース資料からの最適化されたマルチメディア情報は、ＩＭＤ５２
と対話式に使用するようにＭＣＰＳ４４（第２Ａ図）によって処理される。ＭＣ
ＰＳ４４の好ましい実施例が第８図に示されている。ＭＣＰＳは、分配式コンピ
ュータアーキテクチャ５００を備えている。この分配式コンピュータアーキテク
チャ５００はマスターノード５０２を備え、このマスターノードは多数のサーバ
ノード５０４を有し、このサーバノードは多数のポート５０６に接続されている
。
既存のネットワークを介して交換電話ネットワークに接続されそしてそれ自身
の処理記憶装置及び計算構造体を有するＩＭＤ５２に接続されるときは、ネット
ワーク全体を大容量の分配コンピュータ環境として動作することができる。この
環境は、計算、記憶、送信及び周辺リソース（プリント、製品発注、メイル機能
等）の全ての次元を分担するものである。この形式の計算アーキテクチャは、ダ
イナミックポート割り当てを含むと共に、ＭＣＰＳ４４の頑丈さを考慮するため
に増分欠陥特性を含んでいる。
又、上記娯楽システムのいずれにおいても、ＩＭＭ４２から高質のマルチメデ
ィア情報を受信することのできる対話式マルチメディア装置５２を有することが
非常に重要である。
第９図は、対話式マルチメディアデコーダ（ＩＭＤ）５２Ａの好ましい実施例
である。このＩＭＤ５２Ａは多数の部品より成る。電話線はマルチメディアモデ
ム５２２に接続される。このマルチメディアモデムは、拡張可能なダイナミック
ランダムアクセスメモリ（ＤＲＡＭ）であるマルチメディアメモリ５２４に接続
される。マルチメディアモデムチップ５２２は、マルチメディア圧縮解除装置５
２６へデータを与える。マルチメディアメモリは、グラフィック／キャラクタジ
ェネレータ５３６、スピーチジェネレータ５３８及びミュージックシンセサイザ
ー５４０にデータを与える。
更に、ジェネレータ５３６、５３８及び５４０の出力はビデオ制御チップ５３
２に送られる。ビデオ制御チップ５３２は、標準テレビディスプレイに信号を与
えそして標準テレビソースから信号を受信する。マルチメディアモデム５３２、
マルチメディアメモリ５２４、マルチメディア圧縮解除装置５２６、マルチメデ
ィアデジタル／音声制御器５２８、ビデオ制御器５３２及びミュージックシンセ
サイザ−５４４は全て最終的には対話式制御インターフェイス５３０によって制
御され、該インターフェイスは全ての上記エレメントの動作を管理する。ビデオ
制御器５２８は標準電話キーパッド入力に接続され、或いはテレビのリモート式
装置又は特殊なＩＭＤリモート装置の場合には、以下に詳細に述べる種々の方法
で使用することができる。
ユーザの個人的及び人口統計学的情報（年齢、人種、性別及びその他の個人的
な特徴）は、ＩＭＤ５２に関連した技術的な情報（シリアルナンバー、ジェネレ
ータの数、タイプ等）と共に使用される。ＩＭＤ５２をＭＣＰＳ４４に接続する
ときには、ＩＭＤ５２は、その期間の始めに又はその後の任意の時間にこの情報
を送ることができる。次いで、この情報は、キーパッド又はリモート制御器を用
いて選択するか或いはＭＣＰＳ４４からのデータを受信することによってＭＣＰ
Ｓ４４を介して更新するか又は直接的にＩＭＤ５２によって更新することができ
る。
別の動作モードは、通信ネットワークが使用されていない時間中にマルチメデ
ィア情報を供給することである。このように、多量のマルチメディア情報を、後
で検討し対話性を増強するように、ＩＭＤ５２に効率的に送信及び記憶すること
ができる。
好ましい実施例における種々の部品各々の機能は以下に要約する。
マルチメディアモデム５２２
Ａ．標準的な電話線、オプションのシリアルポート、マルチメディアメモリへ
のインターフェイス、マルチメディアデコード、音声制御器及びプロセッサ制御
モジュールの間の全ての通信を行う。
Ｂ．半二重、全二重及び半二重高速動作のための標準プロトコルをサポートす
る。
Ｃ．オンチップエンコード／デコード機能、Ｄ／Ａ、ボイス用Ａ／Ｄ、ファク
シミリ及びデータ機能。
Ｄ．二重トーンマルチ周波数（ＤＭＴＦ）検出及び発生。
Ｅ．透過的モード移行のための自動検出ボイス／ファクシミリ／データスイッ
チ。
Ｆ．２進ファイル転送、ファクシミリ、データ及びボイスモードを有する制御
ユニット、及びオプションの版権付きマルチメディアプロセッサ制御で最適化さ
れたプロトコルファームウェアを組み込む。
Ｇ．ファームウェアは、ＩＭＤがマルチメディアモデムを使用して、他の機能
の中でも電話通話ダイヤル及び接続、データ及びファックスの無人受信を含む通
話処理機能を実行できるようにする。
マルチメディアメモリ５２４
Ａ．像混合／処理及び補助的なマルチメディアデータ記憶のための公称ＤＲＡ
Ｍ又はＶＲＡＭ。
Ｂ．常駐ＩＭＤ制御プログラム用の公称ＲＯＭ。
Ｃ．マルチメディアデータ記憶及びプログラム／データ記憶のためのオプショ
ンの共常駐ＤＲＡＭ。
Ｄ．オプションの不揮発性記憶（拡張性）。
Ｅ．ＶＲＡＭ／ＲＯＭ／ＤＲＡＭ及び不揮発性記憶のためのメモリ制御ユニッ
ト。
マルチメディアデコーダ５２６
Ａ．ＩＭＤ５２に転送されるか又はそこに記憶された像の実時間圧縮解除を行
う。
Ｂ．多アルゴリズムコード化を伴うオンチップの逆個別コサイン変換プロセッ
サ。
Ｃ．逆イコライザーデコーダ／テーブル。
Ｄ．内蔵ズーム、パン、クロマキー、圧縮データからの混合は、ビデオデータ
バス、マルチメディアメモリ、マルチメディアモデム、ビデオ制御、及びマイク
ロプロセッサ制御部分へのインターフェイスを合体する。
ビデオ制御器５３２
Ａ．ＩＭＤ５２のビデオ混合、増強及び表示機能の全てを果たす。
Ｂ．混合、ズーム、パン、クロマキー、ピクセルデータの変換、遷移に対する
ピクセルプロセッサ。
Ｃ．図形（例えば、色を満たした長方形）発生、スプライト、外国文字入りの
テキスト、及びスクロールのためのグラフィックプロセッサ。
Ｄ．デジタル／アナログ変換、アナログ／ＮＴＳＣ、ＮＴＳＣビデオ及びステ
レオ音響／ＲＦ。
グラフィック／キャラクタ、スピーチジェネレータ、ミュージックシンセサイ ザー５３６、５３８及び５４０
Ａ．受信したアナログ／デジタル音声、音楽合成の発生、及び全アナログ混合
及び音響効果の役目を果たす。
Ｂ．デコード負担を組み込む。
Ｃ．圧縮されたＭＩＤＩ入力からのサンプルされた楽器合成。
Ｄ．マルチタスク発生のための内蔵マイクロコントローラ。
Ｅ．二重アナログソース混合、デジタル音声及びシンセサイザー混合、アナロ
グ左右音声出力のためのアナログ音声制御（音量、低音、高音、バランス）。
対話式マルチタスクプロセッサ５３０
Ａ．ＭＣＰＳに関連して又はそれとは独立して動作するための常駐及びダウン
ロードＩＭＤコードのマルチタスク実行を果たす。
Ｂ．通信のマルチタスク制御、マルチメディアメモリ、マルチメディアデコー
ド、デジタルビデオ制御、デジタル音声／合成、及びインターフェイス管理のた
めのマスター／スレーブマイクロコントローラアーキテクチャ。
ＩＭＭ４２、ＩＭＤ５２及びＭＣＰＳ４４の共働により、増強されたマルチメ
ディア娯楽システムが提供された。これらの装置は、ネットワークを経て接続さ
れるか又はテレビやステレオ装置に接続されたときには、質が増強され対話性が
向上されたマルチメディア情報の表現をもたらす。加えて、この形式のシステム
は、収益を生み出し且つプログラムソース資料（歌及び映像）のユーザである個
人の特徴を追跡する構成体を提供する。
図示された実施例について本発明を説明したが、当業者であれば、本発明の精
神及び範囲内でこれら実施例に対する変更が明らかであろ。従って、特許請求の
範囲に規定する本発明の精神及び範囲から逸脱せずに多数の変更がなされ得るこ
とが当業者に明らかであろう。Detailed Description of the Invention
Interactive multimedia entertainment system
Field of the invention
The present invention relates to interactive (bidirectional) multimedia systems, and more particularly to
It relates to an interactive multimedia entertainment system.
BACKGROUND OF THE INVENTION
The entertainment industry is becoming more diverse over time. With the advent of music video entertainment
The ability to dubb different information and viewers or listeners now actively participate in entertainment
The equipment to do is becoming more and more available. Developed as a result of music entertainment
Technology is currently available. For example, karaoke is very popular in Asia. Kara
At orchestra, each person listens to music, reads words on the screen, sees the lyrics,
sing. It's equally interesting that a lot of people do the same in their home environment.
There is.
In karaoke entertainment, participants removed the main vocal track (sound band)
Sing popular songs. For karaoke, participants use the script or memory of lyrics
Karaoke only with audio tape, still images from CD-ROM and normal
Provide entertainment to those who do not sing using the footage of the video and help those who sing.
CD-ROM karaoke, which gives lyrics that change color like
There are many, including Laser Disc Karaoke, which includes with changing lyrics
are doing. Typically, such systems rely on changing the playback speed of the song.
You can only change the pitch. Because the voice is originally analog
The information is based on digital and is not buffered anywhere.
It Admission fee collected from patronage of karaoke bar and box, record or color
Earn money by purchasing discs and tape products at the orchestra.
Make it difficult to enjoy multimedia music entertainment or make its acquisition cost high
There are a number of drawbacks. For example, in the entertainment of listening to music, given
If there are many songs on the record and the broadcast time does not come on time, the songs will be broadcast
I can't judge the song until I hear it. In music video entertainment,
There are only a few cable channels dedicated to music and video entertainment, so the broadcast time
Be constrained to. These two things can be said notably from an interactive access system.
So, if we can add creative participant interactivity, it will be even greater.
Entertainment value will be obtained. The present invention addresses these two points.
The existing technology of karaoke entertainment has a number of particular drawbacks. First of all,
Media such as discs, CD-ROM discs or laser discs
Should be interested in only two songs, but don't buy tapes or discs containing a lot of songs
I have to. Second, in the case of karaoke bars and boxes, some songs are purchased by the buyer.
Many times by a given song, but for personal entertainment purposes, a given song is once or twice a year.
It is generally used only once, and therefore the effective cost of entertainment is high.
Become. Thirdly, there are thousands of karaoke songs, but they are usually found at record stores and Karao.
Even in the Ke store, it has only a small part of all the songs written. Already
A recent drawback of existing karaoke systems is that one track or bow of all parts
It is used only for Cal. The present invention has all the above-mentioned drawbacks.
Directed to.
Summary of the invention
The present invention relates to an interactive multimedia entertainment method and device.
In a first aspect, an interactive music listening and entertainment system includes a hand for storing a plurality of songs.
A step, a means for selecting one of a plurality of songs from the storage means, and a response to the selection means
And a means for receiving the one song from the storage means by a recipient.
Receiving means also receives from the storage means information regarding the price of one song, and
It includes means for limiting the number of plays for a song.
In the second aspect, the interactive multimedia video entertainment system comprises a plurality of songs and
Means to store video information associated with these songs, and one song and its associated
Means for selecting video information from the storage means, and one of the above in response to the selection means
Means for receiving the song and the video information related to the song,
As well as receiving information about the price of one song and its associated video information,
Count the number of times that one song is played and receive a specific price per performance
Receiving means for imposing on believers.
In the third feature, the interactive multimedia karaoke system includes a video and audio system.
A means of storing multimedia information so that a voice expression can be created, and a specific set of multimedia
Means for selecting chimedia information from the storage means, and in response to the selecting means,
While receiving the particular set of multimedia information, the particular set of multimedia information is received.
Modifying information to enhance the quality and interactivity of that particular set of multimedia information
And means.
Brief description of the drawings
FIG. 1 is a diagram of an interactive multimedia system used for music listening entertainment.
It
FIG. 2A is a diagram of an interactive multimedia system for video entertainment.
FIG. 2B is a diagram of an interactive multimedia system for karaoke entertainment.
.
FIG. 2C is a diagram showing an interactive multimedia karaoke representation.
FIG. 3 shows a first embodiment of an optimization method used in a network according to the present invention.
It is a flow chart shown.
Figure 4 uses a matrix of compression and transmission algorithms
A second embodiment of an optimization method used in a network according to the present invention will be described below.
It is a row chart.
FIG. 5 is a flowchart showing the separation of multimedia information according to the present invention.
It
FIG. 6 is a diagram showing the cooperation of the compression algorithm and the transmission algorithm according to the present invention.
Is.
FIG. 7 is a block diagram showing digital information of an image file and a MIDI file.
is there.
FIG. 8 is a block diagram of a multimedia call processing system (MCPS) according to the present invention.
FIG.
FIG. 9 is a block diagram of an interactive multimedia device according to the present invention.
Detailed Description of the Invention
The present invention relates to improvements in interactive multimedia entertainment systems. The following explanation
It enables one skilled in the art to use the present invention, in the form of a patent application and its requirements.
Given. Various modifications of the preferred embodiment will be readily apparent to those skilled in the art.
However, general principles and features will now be described.
FIG. 1 shows an interactive music listening and entertainment system. This music listening entertainment system
The stem 10 includes an interactive multimedia mastering system (IMM) 42.
Provided through a multimedia call processing system (MCPS) 44
Receive program source material such as CD quality songs or recordings, and
4 is operated by telephone and is also an interactive multimedia device (IMD) 5
2 are also connected. In this state, the IMD52 can be played back in stereo etc.
Can memorize some songs. In this type of system, IMD52
Can provide CD quality songs that can be transmitted over the network. MCPS
44 can get credit or order information and play songs from IMD 52 online.
Can be sent to the customer or instructed that the CD should be mailed
It In the present invention, the IMD 52 identifies the song when it is sent in a specific manner.
Encoding limits the number of times that song can be played, and allows a particular song to
You can charge a fee for each playback. Moreover, this system is personal
You can also create an album. For example, the recipient of a particular song could
If you want to record directly from, send the signal to IMM42 via IMD52
Can be. The IMM 42 then provides the high quality acoustic song to be recorded.
FIG. 2A shows the above music that the IMM 42 supplies to the MCPS 44 enhanced music.
1 illustrates an embodiment of a music video entertainment system 20 similar to a listening entertainment system. Change
In addition, the video program source material is sent to the IMD 52 from another source (not shown).
Can be The IMD 52 displays information related to voice, IMDI, musical instruments, etc. on the TV 32 and
And / or used to transmit to the stereo 34. In this example, still images and videos
Synchronize with playback by transmitting multimedia information such as lyrics, music score, etc. via network
Can be made. In addition, one or all of the music video tracks may be
It can also be replaced with MIDI instrument input. This is a graphic
Enjoy playing or learn as a band member based on the spray
can do. This graphic display is part of the current music
Times
It has a turning score and color change to emphasize the current position, which is a guide for the accompaniment.
Can be included. In addition, the control of the data generated from the IMD 52 allows
Po and pitch can be adjusted. Also, multimedia information depends on its format.
Keying, or it can happen to overlay the video.
Can also be.
FIG. 2B is a simplified block diagram of the karaoke entertainment system 30. This sis
Tem also has an IMM42, which is a CD quality song on the TV with the IMD52.
32 and stereo 34. Equalization and dynamics
You can also display psychographic information such as clock levels. Stills, videos, lyrics, staves
The multimedia information of the surface etc. is transmitted to the TV 32 via the network and
It can be synchronized with the playback function.
In this system 30, each of a plurality of musical instruments with a voice (a set of singing voices) is generated.
Can be augmented by light. In order to explain this feature in detail, the present invention
Reference is made to FIG. 2C, which illustrates a multimedia karaoke representation 400 according to. This
As is clear from the figure, one person 402 has a microphone 404,
There is a Nita 406 and a video camera 40 on the monitor 406 in front of him.
There is 8. The second person 410 has a similar configuration but plays the MIDI drum 412.
Playing. The third person 414 has a similar video camera / monitor configuration, but M
I'm playing an IDI guitar 416. All people 402, 410 and 414
The karaoke entertainment screen can be viewed via each of these monitors. simultaneous
In addition, a karaoke expression can also be given to the viewer 450 of the screen 452.
Such a configuration introduces a multimedia representation of popular songs,
The performer must play his instrument or voice (as the case may be) on the same track of the original song / video
Can be replaced with In this configuration, the original track (voice, lyrics,
The entire musical instrument, guitar, and sheet music are played by the individual 402, 410, and 414 musical instruments (or
It can be replaced with a chair track. The player's guide to tempo
Corresponding musical score part for playing musical instrument or singing vocal
Use a monitor to display racks, guitar scores, vocal lyrics, and track
Given by timing the position by changing colors of
It
In the preferred embodiment, a color key-in of the key image is provided for each performer's image source.
Each by incorporating interactive video sources from different performers using
The truck can be further enhanced. The scene that the audience sees is
The color key mastered on the image replaces the image material of
Above the body of the person in the actual video using the identified video source of the performer.
Is the head of an individual performer. In this case, many of the enhancements described below
It can be done to make the performance as realistic as possible.
In all of the above embodiments, IMM 42 provides some interactive interaction with the program.
Is important to get. In order to explain this optimization technique in detail, according to the present invention,
Please refer to FIG. 3, which is a block diagram of the optimization method. Systems 10 and 20 above
Has an IMM42 that significantly optimizes the program source material sent to the MCPS44
I am.
In order to explain this optimization technique in detail, the blocks of the optimization method according to the present invention
Please refer to FIG. 4, which is a drawing. This optimization technique is described in this book as a reference.
Assigned to the assignee of the invention "Forming and transmitting enhanced multimedia information"
Method for the Production and Transmission of Enhanced Mulimedia
Information) "in the US patent application. See attached drawing
The following discussion, in light of the details of this optimization method,
How to effectively use this to provide a media system.
The purpose of IMM42 is to maximize interactivity as well as program model.
It is to hold the limit. Also, minimize the transit time for interactivity.
It is also important to duplicate the information from them. Therefore, the size of the program model
It is very important to fully describe the cograph parameters. For example, the sky
Time, color, time, voice response, material content and content recognition are all program models
Must be fully described and defined in.
A flow chart of a first embodiment for forming an enhanced dialogue image using the principles of the present invention.
Are shown in FIG. This flowchart 100 sets the program model
It has a stage to give to the pallet. Separator 102 is a multi-information interactive
The media information is divided into a primary layer and a secondary layer. This separation is automatic and different
Can be done by law. For example, these layers can be separated by the forming source.
Wear. Another example is to perform the isolation by key-coding these layers.
Can be. Furthermore, in the third example, the layers can be spatially separated and
It can also be separated by different colors. Furthermore, these information layers are filtered by the filtering process.
Can be separated.
The primary layer is sent to the compression and generation block 104. Like to use a shorter bandwidth
There are various ways in which multimedia data can be modified or generated.
It Reduce the bandwidth used, eg by using compression algorithms or their equivalents
be able to. Furthermore, using a generator such as a tone generator system,
The required bandwidth can be reduced. Furthermore, using a key coding system,
The bandwidth used can also be reduced. Such a system is described in detail below.
To do.
In this example, the primary layer is sent to the encoder, where the primary layer
(Block 108). The primary layer is then decompressed (bro
110). The primary layer information is then decompressed (block 110). Next
The first layer is then decoded and mixed with the data information of the second layer (block 11
2), multimedia images (motion, video, etc.) or data with enhanced interactivity
Is sent to the display.
Similarly, the second layer is compressed via block 114 and encoded (block
116) and is sent to the decompression and mixing block 110 via block 118.
It The two signals (primary and secondary) are then sent to the display 112.
In this embodiment, for example, in image optimization, the primary layer is the foreground image and the secondary layer is
The layer can be the background information. The use of this form of optimization technology
Media information can be enhanced while significantly shorter bandwidth can be used.
To fully understand this feature, it is described below. Typical interactive multimedia
In the Deer system, all information is sent along one layer. Therefore, send
The information that can be conveyed is limited by the bandwidth of that layer.
In known technology, transmitting along a typical network or transmission path
Interactive multimedia information that can be displayed, for example, in the case of video, will produce high quality images.
It is very limited because there is not enough bandwidth to send it to the display.
Therefore, in the present invention, the multimedia information is separated into the primary and secondary layers.
And then compress more important information using known compression algorithms
Allows for enhanced interactivity, which makes it easier to send over existing networks.
A system is provided that is capable of generating multimedia information.
In order to fully explain the psychographic enhancement features of the present invention, a specific programming
Reference is made to FIG. 4 which shows various possibilities from the Mu model. The program model is
It is sent to the separator 42 of the multimedia system.
Psychographic enhancements improve interactive multimedia transmission and reception.
It is important to note that enhancements in the context of the present invention are not transmitted, but transmitted.
Work with, work with, or work with multimedia information
Information that acts as a supplement. 3 in connection with psychographic enhancement
Describe the two separate classifications.
The first category is augmented by the presence of information that is transmitted and information that is not transmitted.
Described as cross-correlation between Image dithering is the result of a missing image.
This is an example of the point that the defect is masked and the image quality is improved. This type of system
Does not remove defects, but actually masks imperfections. The second example is the sound of waves.
The following audio material may mask the sound quality problems of the primary audio (voice, music, etc.).
It is a sound stage.
The second class is, for example, interpolation and other techniques without the use of control signals.
Therefore, the signal is actually changed. A typical example is the range of specific equipment.
It is a graphic equalizer that enhances a certain frequency based on the above. Second classification
Is an example of the frequency or amplitude of a signal to further enhance the frequency being transmitted.
Is to compress. It also modifies the signal without controlling the signal itself.
Use various filters to give some information or sharpen it.
It is also known.
Furthermore, the third classification uses primary and secondary information to enable multimedia systems.
To drive other generators that may be present within. This is Maru
It can be used to augment the chimedia information or augment the program model.
One example is real-time augmentation of the music jukebox programming model.
Using a graphic frequency spectrum display.
As is clear from FIG. 5, the primary multimedia information layer is a well-known algorithm.
Can be used to reduce bandwidth. Also, the signal is
It is also clear that it could be replaced by a generator that responds to next / second layer signals.
In addition, use key codes to provide information from lookup tables, etc.
You can also
All of the above methods give the effect according to the present invention, but the key encoding is
When used in an optimization system, it has some additional unclear effects.
In the following description, the use of various key-coding systems will be referred to as the attendant effects.
Both are generally explained.
Typically, when looking for an interactive multimedia information signal, many of that information
Ingredient is present. The first component is the data or multimedia information being carried
Itself. The second component is called the program model dynamics. this is,
For example, a graphic or video frame that allows the transition from one scene to another.
Is the change caused by interactive multimedia information by the edo. On the contrary, wipe off the image
If you want to wipe (wipe), use information related to multimedia data.
There is information that is called to efficiently change that transition.
Further, the third component of the interactive multimedia information is the device specific herein.
Or, the system is to advance from one classification to another. Typical
In interactive multimedia information systems, in order to send such information sufficiently
All this information is needed.
In its simplest form, keys direct commands to the other side of the device.
Has an identification code. The clearest example of such a keying system is the very
It is a simple dual tone multi frequency (DTMF) signal. This form of signal is low
Used in telecommunications areas to provide keying for bandwidth protocols
can do. These keys are then code-taped on the side of the network.
Should be displayed, without requiring the actual transmission of multimedia information.
Try to give some information about multimedia information.
More specific aspects of this form of key encoding are controlled herein.
This is called information keying. Control information keying is a key code
To access a specific form of command, which can then be used to
To be able to control other items on the other side.
Then, using such a table, one set of multimedia
You can access information. The final aspect of key encoding is the program
This is called a branch keying, and is described by each key that represents a branch identification.
Is done. Therefore, in this form of key encoding, the key is
Ability to access functions or commands to duplicate the program model
Cross-reference a specific branch of an interactive multimedia program.
An important feature brought about by all these forms of key-encoding construction is that
The information that already exists in the network can be used. Therefore, the optimization system
Access is not required to provide processing power within the system itself
The processing power inherent in the network or system can be utilized.
It is also important to develop means to improve the quality of transmission of multimedia information.
For example, CCITT v. 32 or typical transmission such as Bell 202
Information using algorithms with standard communication file data transfer protocols
May be transmitted. Also, the interactive multimedia information may be specific to the particular
Special protocols optimized for interactive multimedia information may also be used.
You can In this case, the compression algorithm interacts interactively with the transmission algorithm.
Lexing to give the best quality information with maximum interactivity on the smallest transmission line.
Can be
Figure 4 shows that the transmission algorithm and compression algorithm work together
8 is a flowchart showing forming a media image. This flowchart is
, Including providing a program model in which the primary and secondary layers are separated (block
202). The first layer is compressed and encoded (blocks 204 and 2).
06).
The control element (block 210) provides the compression matrix and the transmission matrix.
Used to control. These two matrices are examined by various algorithms.
When delivered, the quality and speed of multimedia information will be interactively determined.
Compression and transmission algorithms, each of which is interactively controlled
It has.
The quality of information can be determined manually or by using some control circuitry.
Therefore, it can be determined. You can use these same matrices for the secondary layers.
I want you to understand. For clarity and simplicity, this is neither shown nor described.
Absent.
FIG. 6 shows a compression algorithm and transmission algorithm that can be used by the present invention.
It is a block diagram which shows the matrix with a gorism. Vertically aligned circles 30
2 is a compression algorithm. Horizontally aligned rectangles 304 represent the transmit axes.
It is rugorism.
For example, the compression algorithm is a generator with JPEG and MIDI.
is there. Similarly, the transmission algorithm is JPEG, data compression for MIDI,
Or DTMF for keyed algorithms. The highest quality multimedia
Different algorithms in order to provide minimum bandwidth while at the same time providing
System can be selected interactively.
Therefore, it is possible to select the first compression algorithm together with the first transmission algorithm.
You can The multimedia information is examined for image or sound quality, then
The second compression algorithm is selected. The multimedia information is considered and the quality is
If not, the second transmission algorithm is selected. Quality of information
Be punished. This process uses the highest quality or desired quality multimedia information and
Repeated until a dialogue speed is given.
The multimedia information derived from the compression / transmission algorithm can be analog or
It may be of any digital nature. However, in the case of digital signals
Are some of the other effects that can be inherited to the effects that can be used with the present invention.
It has the effect.
Digital data information is typically the data and the data information itself
Sent in a file that specifies the parameters, and the data information itself
In some cases, it is known that the information that does not change for a certain set of files.
Have been. In the case of image files, the header information includes the size of the specific image and the pixel depth.
And some other features. This file is a data file 20
Occupy about%.
On the other hand, a file such as a MIDI music file that contains a series of musical notes.
, The header contains instrument information, related information and properties for that particular file.
Mu. In both examples above, the header information is immutable and the optimization method is used.
By doing so, the amount of information can be significantly reduced over time.
Therefore, for image files, the header is always the same, so do not compress it.
Or it can be sent first as a secondary file with lossless data compression.
The data file itself can then be compressed to its minimum size.
Another way to enhance the psychographic parameters is by some form of error detection and
To give adjustments. As mentioned above, detection and adjustment is performed by error interpolation.
You can do it. Another method of error correction is error correction / transmission algorithm.
It is due to This associates transmission with compression to enhance interactivity.
In this type of system, the base file is
Compressed and decompressed. Expanded compression of this decompressed file
It is called a base file. This expanded compressed base file is then the original
Source file and an error file is generated (error file
Is the difference between a base file and an expanded compressed base file). Ella
File is compressed, and lines are
It is sent down. These files are then combined and decompressed,
Form an enhanced image.
Referring to FIG. 8, the data files using this technique are initially primary and secondary.
It will be apparent that the next layer can be separated. The first layer uses the first compression algorithm
Header can be sent first along the first transmission path.
The compressed signal can be sent along the second transmission path.
Therefore, the amount of storage required for the file is significantly reduced by the secondary compression technique.
This information can then be transmitted or stored across the network,
It is not necessary to have all the information stored in a particular device in the virtualization system.
Those skilled in the art will understand that the number of algorithms is limited to the number shown in the accompanying drawings.
It will be understood that it is not. Furthermore, the order in which the algorithms are selected depends on the
It will be appreciated that changes can be made within God and within scope.
The present invention compresses the primary layer and compresses and transmits the primary layer in a particular manner.
By doing so, we have described how to enhance the interactivity of the system. Enhance the secondary layer
It should be understood that it is equally important to provide the same effect as above.
Therefore, it is important to enhance the secondary layer, and it is important to enhance the primary layer.
It is important to have some or both. Therefore, the present invention provides compression and transmission.
By using a belief algorithm and the psychographic
The enhancements can enhance the interactivity of multimedia systems.
The functions of the compression and transmission algorithms can also be performed by other means, eg
It should also be appreciated, for example, that a signal generator can be used to generate the same information. Immediately
Then, using a signal generator that responds to the information of a specific layer,
It can give some level of information to represent. For example, for a signal from the second layer
In response, you can use a tone generator that produces tones that represent that second layer.
You can
On the other hand, if you use a graphics generator of one
Some form of graphical image can be formed in the video system in response to the signal.
In addition, psychographic parameters can be adjusted by a human operator.
Or alternatively, it may be adjusted or modified by automatic means.
I want to.
Optimized multimedia information from program source material can be found in IMD52
And is processed by the MCPS 44 (FIG. 2A) for use interactively. MC
A preferred embodiment of PS44 is shown in FIG. MCPS is a distributed computer
Computer architecture 500. This distributed computer architecture
The cha 500 includes a master node 502, which is a large number of servers.
Has a node 504 and this server node is connected to a number of ports 506
.
Connected to the switched telephone network through the existing network and itself
When connected to the IMD 52, which has the processing memory and computing structure of
The entire work can operate as a large capacity distributed computer environment. this
Environment includes calculation, storage, transmission and peripheral resources (print, product order, mail function
Etc.) is to share all dimensions. This form of computing architecture
Includes dynamic port assignments as well as consideration of MCPS44 robustness
Including incremental defect characteristics.
Also, in any of the above entertainment systems, high quality multimedia from the IMM42.
Having an interactive multimedia device 52 capable of receiving wireless information.
Very important.
FIG. 9 illustrates a preferred embodiment of an interactive multimedia decoder (IMD) 52A.
Is. The IMD 52A is composed of many parts. Telephone line is a multimedia model
522. This multimedia modem has an expandable dynamic
Connected to multimedia memory 524 which is random access memory (DRAM)
Is done. The multimedia modem chip 522 is used by the multimedia decompression device 5
Data is given to 26. Multimedia memory is a graphic / character
Generator 536, speech generator 538 and music synthesizer
-Data is given to 540.
In addition, the outputs of the generators 536, 538 and 540 are the video control chip 53.
Sent to 2. Video control chip 532 provides a signal to a standard television display.
Eh and receive signals from standard television sources. Multimedia modem 532,
Multimedia memory 524, multimedia decompression device 526, multimedia
Digital / Voice Controller 528, Video Controller 532 and Music Synth
All sizers 544 are ultimately controlled by the interactive control interface 530.
The interface manages the operation of all the above elements. video
The controller 528 is connected to a standard telephone keypad input, or is remote from a television.
In the case of a device or a special IMD remote device, the various methods detailed below.
Can be used in.
User personal and demographic information (age, race, gender and other personal
The important information is the technical information (serial number, generator) related to IMD52.
Number, type, etc.). Connect IMD52 to MCPS44
Sometimes the IMD 52 will send this information at the beginning of the period or at any time thereafter.
Can be sent. This information is then used by the keypad or remote control.
MCP by selecting or receiving data from the MCPS 44.
Can be updated via S44 or directly by the IMD 52
It
Another mode of operation is when the communication network is not in use and the multimedia
Is to provide the ear information. In this way, a large amount of multimedia information can be
Efficiently send and store in IMD 52 to enhance interactivity as discussed in
Can be.
The function of each of the various components in the preferred embodiment is summarized below.
Multimedia modem 522
A. To standard telephone line, optional serial port, multimedia memory
Interface, multimedia decoding, voice controller and processor control
Performs all communication between modules.
B. Supports standard protocols for half-duplex, full-duplex and half-duplex high speed operation
It
C. On-chip encoding / decoding function, D / A, voice A / D, fax
Simili and data functions.
D. Dual Tone Multi Frequency (DMTF) detection and generation.
E. FIG. Auto detect voice / facsimile / data switch for transparent mode transition
Ji.
F. Control with binary file transfer, fax, data and voice modes
Optimized with units and optional multimedia processor control with copyright
Built-in protocol firmware.
G. The firmware uses the IMD multimedia modem to perform other functions.
Among them are telephone calls including dialing and connection, unattended reception of data and fax.
Allows you to perform speech processing functions.
Multimedia memory 524
A. Nominal DRA for image mixing / processing and auxiliary multimedia data storage
M or VRAM.
B. Nominal ROM for resident IMD control programs.
C. Options for multimedia data storage and program / data storage
The co-resident DRAM of the computer.
D. Optional non-volatile memory (expandable).
E. FIG. Memory control unit for VRAM / ROM / DRAM and non-volatile storage
To.
Multimedia decoder 526
A. Performs real-time decompression of images transferred to or stored in IMD 52.
U
B. On-chip inverse discrete cosine transform process with multi-algorithm coding
Sa.
C. Inverse equalizer decoder / table.
D. Built-in zoom, pan, chroma key, mix from compressed data, video data
Bus, multimedia memory, multimedia modem, video control, and microphone
Coupling the interface to the processor control part.
Video controller 532
A. It performs all of the video mixing, enhancement and display functions of IMD52.
B. For blending, zooming, panning, chromakeying, pixel data conversion, transitions
Pixel processor.
C. Shapes (eg, filled rectangles) sprites, foreign characters
A graphics processor for text and scrolling.
D. Digital / analog conversion, analog / NTSC, NTSC video and stereo
Leo sound / RF.
Graphics / characters, speech generators, music synthesizers The 536, 538 and 540
A. Received analog / digital voice, music synthesis occurrences, and full analog mixing
And play the role of sound effects.
B. Incorporate decoding burden.
C. Sampled instrument synthesis from compressed MIDI input.
D. Built-in microcontroller for multitasking.
E. FIG. Dual analog source mix, digital voice and synthesizer mix, analog
Analog voice control for left and right audio output (volume, bass, treble, balance).
Interactive multitasking processor 530
A. Resident and down to operate in connection with or independent of MCPS
Performs multitasking execution of load IMD code.
B. Multitask control of communication, multimedia memory, multimedia decoding
Mode, digital video control, digital voice / synthesis, and interface management.
Master / slave microcontroller architecture for
Enhanced multimedia due to the cooperation of IMM42, IMD52 and MCPS44
Deer entertainment system provided. These devices are connected via a network.
Quality or enhanced interactivity when connected to a television or stereo device.
Result in an enhanced representation of multimedia information. In addition, this type of system
Is an individual who is a revenue generating and user of program source material (songs and videos)
A structure for tracking human characteristics is provided.
Although the present invention has been described with respect to the illustrated embodiments, those skilled in the art will understand that
Changes to these examples should be obvious within God and scope. Therefore, the claims
Numerous changes may be made without departing from the spirit and scope of the invention as defined by the scope.
Will be apparent to those skilled in the art.