JPH10511513A - Ｍｐｅｇ再生システムにおいてオーディオとビデオを同期するための方法及び装置 - Google Patents

Abstract

(57)【要約】 マルチメディアシステムは、統合システム及びオーディオ再生とビデオ画像の表示を実質的に同期するためのオーディオ／ビデオ同期回路（２００）を持つビデオデコーダを含む。オーディオ・プレゼンテーション・タイム・スタンプ（ＡＰＴＳ）（４１５）は、統合システムとビデオデコーダ内で圧縮／符合化オーディオデータストリーム中で検出され、データラッチ（４４２）に記憶される。圧縮／符合化オーディオデータストリームは、オーディオデータを復号化／伸張し、オーディオ信号を出力するオーディオデコーダに供給される。オーディオデコーダは、ＡＰＴＳ（４１５）に対応するオーディオデータが出力された時を検出し、対応フラグ（２１３）をセットする。フラグ（２１３）は、統合システムとビデオデコーダに、対応するオーディオセグメントが復号化／伸張され出力されているということを示す。統合システムとビデオデコーダは、そして、ビデオデータのフレームを繰り返すかスキップすることによって、ビデオ出力とオーディオ出力を同期させる。

Description

【発明の詳細な説明】 ＭＰＥＧ再生システムにおいてオーディオとビデオを同期するための方法及び装 置 発明の分野 本発明は、一般的に、マルチメディア・システムの分野に関し、一層詳細には 、本発明は、回路がオーディオ再生とビデオ表示との間の同期をとるマルチメデ ィア・パーソナル・コンピュータ（ＰＣ）のための同期方法及び回路に関する。 本発明は、特に、モーション・ピクチャー・エキスパート・グループ（ＭＰＥＧ Ｉ＋II）によるデータ圧縮及び伸張標準に適用する。 本発明の背景 パーソナル・コンピュータは、オーディオ及びビデオ情報を含むマルチメディ ア・ソフトウエア・アプリケーションを動作させるために応用されている。いく つかのマルチメディア仕様委員会は、符号化／圧縮及び復号／伸張の標準化を確 立し、若しくは提案している。モーション・ピクチャー・エキスパート・グルー プによって確立されたＭＰＥＧＩ及びIIは、マルチメディア・ＰＣ・ソフトウエ ア・アプリケーションの分野で最も広く認められている国際標準である。他の標 準として、ジョイント・フォトグラフィック・エキスパート・グループによって 確立されているＪＰＥＧ及びモーションＪＰＥＧがある。 図１Ａは、ＭＰＥＧアルゴリズムに基づいて圧縮され符号化されたビデオ及び ／またはオーディオデータを伸張するＭＰＥＧオーディオ及びビデオ復号化シス テム１２０を説明している。このシステム・デコーダ１１０は、散在され圧縮さ れたビデオ及び／またはオーディオデータを含むことのできる符号化されたＭＰ ＥＧデータ・ストリーム１０１を読み、ビデオ・プレゼンテーション・タイム・ スタンプ（ＶＰＴＳ）１０４、システム・クロック・リファレンス（ＳＣＲ）１ ０５、及びオーディオ・プレゼンテーション・タイム・スタンプ（ＡＰＴＳ）１ ０６のようなタイミング情報を発生する。ビデオデコーダ１１１は、ビデオデー タストリーム１０２を復号化し伸張して、復号化／伸張されたビデオ信号１０７ を発生する。オーディオデコーダ１１２はオーディオデータ・ストリーム１０３ を復号し伸張して、復号化／伸張されたオーディオ信号１０８を発生する。復号 化／伸張されたオーディオ信号１０８が、オーディオスピーカ若しくは他のオー ディオ発生手段（図示せず）に接続される一方、復号化／伸張されたビデオ信号 １０７は、ＰＣモニタ若しくは他のタイプのディスプレイに接続される。 図１Ｂは、ＭＰＥＧに関するＩＳＯ／ＩＥＣ１１１７２−１：１９９３（Ｅ） 国際標準仕様書の４９ページから参考としてここに編入されたものであり、これ は、符号化／圧縮データのデータストリームがパケットを用いてどのようなまと まりにされ伝送されるかの詳細な図を示している。データストリーム１６０は、 例えば、ＩＳＯレイヤー（層）とパックレイヤーのような異なるレイヤーを持つ 。ＩＳＯレイヤー内の連続するパッケージ１６１は、ＩＳＯエンドコード１６４ に達するまで伝送される。各パッケージ１６１は、パック・スタート・コード１ ６２及びパックデータ１６３を有するものとして定義される。パックレイヤーで は、各パッケージ１６１は、パック開始コード１６２、システム・クロック・リ ファレンス１１７、システムヘッダー１８０及びデータパケット１６５〜１６８ を持つものとして定義される。省略符号１６７は多数のパケットを示している。 システム・クロック・リファレンス１１７は、ビットパターン００１０、Ｘの３ ビット１８５、１のビット・パターン、Ｙの１５ビット１８６、１のビットパタ ーン、Ｚの１５ビット１８７、ビットパターン１１、マルチプレクサレート１８ ８、及びビットパターン１であることが更に定義される。Ｘの３ビット１８５、 Ｙの１５ビット１８６及びＺの１５ビット１８７は、システム・クロック・リフ ァレンス（ＳＣＲ）を示す３３ビット・パターンを構成する。システム・クロッ ク・リファレンスは、基準とされるシステム時間を示す。 マルチプレクサレート１８８は、オーディオパケットがどのくらいの間隔でビ デオパケットの間に散在されているのかを示す。各パケット１６５〜１６８は、 パケット１６６と同じように説明される。パケット１６６は、３バイトのパケッ ト開始コードプリフィックス１７０Ａ、１バイトのストリームＩＤ１７０Ｂ、２ バイトのパッケージ長１７１、ｈバイトの他のヘッダーデータ１７２、及びＮバ イトのパッケージデータ１７３を有する。Ｎバイトのパケットデータ１７３は、 オーディオ若しくはビデオデータを示す。例えば、ＭＰＥＧＩ、ＭＰＥＧII若し くはＪＰＥＧ等の圧縮／符号化方法を用いる場合においては、データパケットは 、適切に符号化される。ｈバイトの他のヘッダーデータ１７２は、１から１６ま でのスタッフィングバイト１４０、コードビット１４１、基準バッファスケール のための１フラグビット１４２、１３基準バッファサイズビット１４３、及び何 もないか、プレゼンテーション・タイム・スタンプ（ＰＴＳ）か、デコーディン グ・タイム・スタンプ（ＤＴＳ）を持つプレゼンテーション・タイム・スタンプ （ＰＴＳ）かを夫々示す、１、５または１０バイトのタイムスタンプ情報１５０ からなる。 プレゼンテーション・タイム・スタンプは、もし次に続くデータパケット１７ ３がオーディオ情報を含むならば、オーディオ・プレゼンテーション・タイム・ スタンプとなる。これに代えて、プレゼンテーション・タイム・スタンプは、も し次に続くデータパケット１７３がビデオ情報を含むなら、ビデオ・プレゼンテ ーション・タイム・スタンプとなる。これらのどの場合においても、ＡＰＴＳや ＶＰＴＳは、５バイト、即ち、未使用の７ビットを含む３３ビットの情報によっ て示される。 図３Ａは図１Ｂと比較して符号化／圧縮データストリーム１０１の簡単化され た例３１５を説明している。このような符号化／圧縮されたデータストリームは 、複数の符号化／圧縮されたビデオデータパケット、若しくはブロック及び複数 の符号化／圧縮されたオーディオデータパケット、若しくはブロックを含む。Ｍ ＰＥＧは、ビデオフレーム若しくはピクチャに基いてビデオパケットを符号化／ 圧縮する。 ３つのタイプのビデオフレームが用いられる。イントラ−フレーム、即ち、Ｉ −タイプフレームは、それ自身に関する情報を用いて符号化されるビデオデータ のフレームを含む。１つの任意の圧縮されていないビデオフレームのみが符号化 ／圧縮されて、１つの符号化／圧縮されたビデオデータのＩ−タイプフレームに なる。予測フレーム、即ち、Ｐ−タイプフレームは、過去の参照フレームから動 き補償予測を用いて符号化／圧縮されたフレームのビデオデータを含む。Ｉ−タ イプやＰ−タイプのような、以前に符号化／圧縮されたフレームは、ビデオデー タの現在の圧縮されていないビデオデータのフレームを符号化／圧縮して、符号 化され圧縮されたビデオデータのＰ−タイプフレームにするために用いられる。 双方向フレーム、即ち、Ｂ−タイプフレームは、過去及び未来の参照フレーム、 または過去、または未来のビデオデータの参照フレームを用いて符号化／圧縮さ れたフレームのビデオデータを含む。参照フレームはＩ−タイプフレームかＰ− タイプフレームのどちらでも良い。 Ｂ−タイプフレームは、Ｉ−タイプ若しくはＰ−タイプフレーム、Ｉ−タイプ とＰ−タイプの組み合わせ、または複数のフレームにわたって画像内に速い動き があるときはそのどちらかの間に挿入される。動き補償は、符号化／圧縮及び復 号化／伸張での画素値を予測する効率を向上するために、あるフレームから次の フレームまでの動きベクトルの利用を参照する。予測方法は、動きベクトルを用 いる。これは、オフセット値と、ビデオデータの任意のフレームを圧縮／符号化 若しくは伸張／復号化するために、エラーデータと共に用いられる復号化された 画素値を持つビデオデータの過去若しくは未来のフレームに関連しているエラー データを供給するためである。 画像は可変の解像度を有し、動きを含み、そして、フレームレートはより大き いので、画像を表示するためには、随伴するオーディオを生成するよりもより多 くのデータが必要とされる。従って、３０３〜３０５のようなビデオデータパケ ットは、３１１のようなオーディオデータパケットよりもＭＰＥＧデータストリ ーム内でより頻繁に発生する。ビデオデータパケットの間にオーディオデータパ ケットのまばらな挿入は、オーディオが再生される前若しくは後にイメージフレ ームが表示されることを引き起こす。タイムスタンプはオーディオとビデオの同 期を容易にするために符号化／圧縮されたデータストリーム中に設けられる。 ビデオ・プレゼンテーション・タイム・スタンプ３００〜３０２は、任意のシ ステムタイムクロック３１６の様々なインターバル３０６〜３０８で用意される 。参照符号３１０で例示されているオーディオ・プレゼンテーション・タイム・ スタンプもまた、ＭＰＥＧデータストリームの様々なインターバル３１２で用意 される。更に、様々なインターバルで供給されるシステム・クロック・リファレ ンス（ＳＣＲ）がある。これらＳＣＲ、ＶＰＴＳ及びＡＰＴＳの夫々は時間値を 示す３３ビットの値である。ＭＰＥＧ標準は、ＭＰＥＧデコーダがビデオ表示シ ーケンスの開始時刻として３３ビットＶＰＴＳを用い、オーディオ再生シーケン スの開始時刻として３３ビットＡＰＴＳを用いることを推奨している。ＡＰＴＳ 及びＶＰＴＳは、あわせてプレゼンテーション・タイム・スタンプ（ＰＴＳ）と 呼ばれる。ＭＰＥＧ標準は、ＡＰＴＳ、ＶＰＴＳ及びＳＣＲが少なくとも０．７ 秒に１度、ビットストリーム中に現れることを要求している。 従来技術においては、３３ビットのシステム・クロック・リファレンス（ＳＣ Ｒ）は、ビデオ再生とオーディオ再生との間のずれを最小限にするためにビデオ 及びオーディオ出力の両方に対する基準時間として用いられてきた。ＳＣＲはシ ステムカウンタと呼ばれるカウンタにロードされ、そして９０ｋｈｚのシステム クロック（ＳＣＬＫ）でインクリメントされる。システムカウンタの出力は、オ ーディオ若しくはビデオ再生にどのくらいの量の同期ずれがあったかを決定する ために、ビデオデコーダ１１１においてＶＰＴＳと及びオーディオデコーダ１１ ２内においてＡＰＴＳと比較される。もし、しきい値レベルに達したら、ビデオ はオーディオと正確に同期するためにジャンプする。従って、ＳＣＲはビデオ再 生とオーディオ再生を再同期させるために用いられる。 いくつかの復号化システムにおいては、ビデオクロック若しくは復号化クロッ クはＳＣＲを参照することなく生成され、それはロックされていない若しくは基 準に合わされていないので、時間ドリフト（進み若しくは遅れ）がビデオ若しく は復号化クロックから得られる合成されたＶＰＴＳ中に現れる。この時間ドリフ トは、１秒若しくは９００００システムクロック周期内で、１００万で約５０の 時間誤差を引き起こす。これは実際のＶＰＴＳ値と４４から６７μｓｅｃ異なる 合成されたＶＰＴＳ値に相当する。同期ずれについて修正を行わないシステムに おいては、時間誤差は蓄積し、ビデオイメージをオーディオ再生に対して５から ６分毎に１フレーム進ませる若しくは遅れさせる。もしビデオ表示及びオーディ オ再生がときどき再同期されないなら、フレームの進み若しくは遅れは更に長期 間にわたって蓄積される。 本発明の概要及び目的 本発明は、少なくともオーディオデータパケット、ビデオデータパケット、オ ーディオ・プレゼンテーション・タイム・スタンプ及びビデオ・プレゼンテーシ ョン・タイム・スタンプを含む符号化データストリームからの、オーディオ及び ビデオ信号を同期するための装置を含む。システムデコーダは、符号化データス トリームを受信し、該データストリームを、少なくともオーディオデータパケッ ト及びオーディオ・プレゼンテーション・タイム・スタンプを含む符号化オーデ ィオデータストリーム、及び少なくともビデオデータパケット及びビデオ・プレ ゼンテーション・タイム・スタンプを含むビデオデータストリームに分離する。 第１のオーディオ・プレゼンテーション・タイム・スタンプ検出器はシステムデ コーダに接続され、符号化オーディオデータストリーム中のオーディオ・プレゼ ンテーション・タイム・スタンプの存在（有無）を検出する。システムタイムク ロックカウンタは、第１のオーディオ・プレゼンテーション・タイム・スタンプ 検出器に接続され、ロード信号を受信したときにオーディオ・プレゼンテーショ ン・タイム・スタンプをスタートカウントとして受信し、予め決められているク ロック周波数に従ってスタートカウントをインクリメントし、システムタイムク ロックを出力する。ビデオデコーダは、システムデコーダ及びシステムタイムク ロックカウンタに接続され、システムタイムクロック及び符号化ビデオデータス トリームを受信し、そしてシステムタイムクロックに同期して符号化ビデオデー タストリームを復号化する。オーディオデコーダは、符号化オーディオデータス トリームからオーディオデータパケットを受信し、そしてオーディオデータパケ ットを復号化する。第２のオーディオ・プレゼンテーション・タイム・スタンプ 検出器は、オーディオデコーダに接続され、符号化オーディオデータストリーム 中のオーディオ・プレゼンテーション・タイム・スタンプの存在（有無）を検出 し、そしてそのオーディオ・プレゼンテーション・タイム・スタンプに対応する オーディオパケットが復号化されるときにシステムタイムクロックカウンタにロ ード信号を出力する。 本発明の目的は、オーディオ及びビデオ信号間の同期を検出するための改良さ れた技術を提供することにある。 本発明のさらなる目的は、改良されたオーディオ及びビデオ同期を提供するこ とにある。 本発明のさらなる目的は、オーディオ／ビデオ同期をとるのに必要な回路の数 及び規模を減らすことによってマルチメディアシステムのコストを低くすること にある。 本発明のさらなる目的は、マルチ−スタンダード（ｓｔａｎｄａｒｄ）なオー ディオデコーダを用いるＭＰＥＧ再生システムを提供することにある。 本発明のさらなる目的は、システムデコーダ及びオーディオデコーダ間の信号 線の数が減らされたＭＰＥＧ再生システムを提供することにある。 本発明のさらなる目的は、種々のフレームレート及びクロックレートを持つマ ルチメディアシステムによって受信される種々の同期要求を持つ様々なメディア に適応される、マルチメディアシステムにおける順応性のある同期装置を提供す ることにある。 本発明のさらなる目的は、同期の精度の可変な解像度を有する、マルチメディ アシステムにおける順応性のある装置を提供することにある。 図面の簡単な説明 図１ＡはＭＰＥＧ復号化システムの従来技術のブロック図を示す。 図１Ｂはオーディオ及びビデオデータのシリアル伝送に関する従来技術の符号 化データストリームのフォーマットを示す。 図２は本発明の回路及びアルゴリズムを含むＭＰＥＧ復号化システムのブロッ ク図を示す。 図３Ａは図１Ｂで説明されたＭＰＥＧデータストリームに関する概略波形図及 びシステムタイミング図である。 図３Ｂはどのようにして進んだビデオフレームがオーディオデータと再同期さ れるのかを示す説明図である。 図３Ｃはどのようにして遅れたビデオフレームがオーディオデータと再同期さ れるのかについて示す説明図である。 図４Ａは本発明の好ましい形態の論理回路に関する概略ブロックの説明図であ る。 図４Ｂは本発明の第２の形態の論理に関する概略ブロックの説明図である。 図４Ｃは本発明のＶｉｄｓｙｓｔデコーダのブロック図である。 図４Ｄは本発明のオーディオデコーダのブロック図である。 図４Ｅは図４Ｄのオーディオデコーダのプログラミングを説明するフローチャ ートである。 図５Ａは本発明の好ましい形態の論理回路の詳細なブロックの説明図である。 図５Ｂは本発明の第２の形態の論理回路の詳細なブロックの説明図である。 図６は本発明がどのようにしてマルチメディアコンピュータシステム内で使用 されるのかを説明する概略システム図である。 図７Ａ〜７Ｃはグラフィック及び符号化されたデータの転送を合成するための 本発明の選択的構成の説明図である。 図８は本発明による、符号化／圧縮されたオーディオ及びビデオデータと復号 化／伸張されたビデオデータを記憶するためのフレームバッファメモリの機能及 び制御を説明するブロック図である。 図９は選択されたオフセット値と切り捨てのための各ビットに対する個々の時 間の２進テーブルの説明図である。 本発明の詳細な説明 図１Ａの従来技術においては、ビデオ・プレゼンテーション・タイムスタンプ （ＶＰＴＳ）１０４は、時間ドリフトを決めるためにＳＣＲ１０５に対して比較 された。図２を参照すると、本発明のオーディオデコーダは、オーディオデータ ストリーム１０３中のＡＰＴＳの存在（有無）を検出し、そのオーディオデータ ストリームの対応部分が再生されているときに対応するＡＰフラグ２１３をセッ トする。ビデオデータはそしてＶｉｄｓｙｓｔデコーダ２００内でオーディオ再 生と同期される。Ｖｉｄｓｙｓｔデコーダ２００は、モノリシック集積回路から 成り、そして少なくとも本発明のアルゴリズム及び回路の一部を含む。 図２は、Ｖｉｄｓｙｓｔデコーダ２００を含むＭＰＥＧオーディオ／ビデオデ コーダシステムの単純化されたブロック図を示している。図４ＣはＶｉｄｓｙｓ ｔデコーダ２００のブロック図である。Ｖｉｄｓｙｓｔデコーダ２００は、ＭＰ ＥＧデータストリーム１０１を受け取り、データパケットから時間情報（ＶＰＴ Ｓ、ＳＣＲ、ＡＰＴＳ）を分離すると同様にオーディオデータパケットからビデ オデータパケットを分離するシステムデコーダ２５０を含む。ビデオデータパケ ットはビデオデータストリーム１０２としてビデオデコーダ２５１に送られる。 ビデオデータストリーム１０２内のビデオデータパケットは、復号化／伸張され たビデオデータ１０７を生成するために、ビデオデコーダ２５１内で復号化され 伸張される。 Ｖｉｄｓｙｓｔデコーダ２００のビデオデコーダ２５１内には、時間ドリフト を修正するためにＡ／Ｖ同期回路（図示せず）が設けられている。Ａ／Ｖ同期回 路は、もしも時間ドリフトが予め決められた制限値を超えたなら、表示されたビ デオイメージとオーディオ再生の再同期をとるために、復号化／伸張ビデオの生 成を制御する。 Ｖｉｄｓｙｓｔデコーダ２００内のシステムデコーダ２５０によって分離され たオーディオデータパケットはオーディオデータストリーム１０３としてオーデ ィオデコーダ２０１へ外部的に送られる。オーディオデコーダ２０１もまた、Ｄ ＳＰチップのようなモノリシック集積回路やＣｒｉｓｔａｌ Ｓｅｍｉｃｏｎｄ ｕｃｔｏｒ ｏｆ Ａｕｓｔｉｎ、Ｔｅｘａｓ製のＣＳ４９２０のような専用化 されたオーディオデコーダを含む。同期はすべてＶｉｄｓｙｓｔデコーダ２００ によって行われるので、オーディオデコーダ２０１は同期を提供する必要がない 。加えて、繰り返されたり、スキップされたビデオのフレームは、視る人にさほ ど気づかれるものではないのに対し、繰り返されたり、スキップされたオーディ オデータのフレームは容易に聞く人に聞きわけられてしまうので、オーディオ再 生を調整することによって同期を提供することは好ましくない。 図３Ｂと図３Ｃは、本発明によってビデオ表示がどのようにオーディオ再生に 同期されるかを示すものである。図３Ｂを参照すると、時間上のビデオ表示はビ デオデータフレーム（０）３２０Ａからビデオデータフレーム（Ｎ＋１）３２０ （Ｎ＋１）までのシーケンスによって示されている。時間上のオーディオ再生は オーディオデータ（０）３３０Ａからオーディオデータ（Ｎ＋１）３３０（Ｎ＋ １）までのシーケンスによって示されている。図３Ｃも同様に説明される。図３ Ｂにおいて、ビデオデータフレームとオーディオデータとの再同期をとるために 、ビデオデータフレームはオーディオデータに対して進み、オーディオが追いつ くのを許容するためにビデオデータフレームが繰り返される。初めに、ビデオデ ータフレーム（０）３２０Ａとオーディオデータ（０）３３０Ａが完全に同期し ていると仮定する。時間が経過してビデオデータフレーム（ｋ）３２０Ｋはオー ディオデータ（Ｋ）３３０Ｋに対して進んでいる。一度、進みしきい値−−例え ば、１または１．５フレーム−−に達すると、Ａ／Ｖ同期回路はビデオフレーム （場合によって半フレーム）が繰り返されるようにする。図３Ｂにおいては、ビ デオデータフレーム（Ｍ）３２０Ｍがオーディオデータ（Ｍ）３３０Ｍに１フレ ーム先行するとき、１フレーム進みしきい値に到達し、リピートビデオフレーム ３２２で示されるように、次のビデオデータフレーム（Ｎ）３２０Ｎがビデオ表 示上で繰り返される。このように、ビデオデータフレーム（Ｎ）３２０Ｎがオー ディオデータ（Ｎ）３３０と再同期される。 図３Ｃを参照すると、ビデオデータフレームはオーディオデータよりも遅れ、 ビデオデータフレームとオーディオデータとの再同期のためにビデオデータフレ ームはスキップされる。初めに、ビデオデータフレーム（０）３２１Ａはオーデ ィオデータ（０）３３１Ａと完全に同期している。時間が経過してビデオデータ フレーム（Ｊ）３２１Ｊはオーディオデータ（Ｊ）３３１Ｊに対して遅れている 。一度、遅れしきい値−−例えば、１または１．５フレーム−−に達すると、Ａ ／Ｖ同期回路はビデオフレーム（場合によって半フレーム）がスキップされるよ うにする。 図３Ｃにおいては、ビデオデータフレーム（Ｌ）３２０Ｌがオーディオデータ （Ｎ）３３１Ｎに１フレーム先行するとき、１フレーム遅れしきい値に到達し、 スキップビデオフレーム３２３で示されるように、次のビデオデータフレーム（ Ｍ）（図示せず）がビデオ表示上でスキップされる。ビデオデータフレーム（Ｍ ）の代わりに、オーディオデータ（Ｎ）３３１Ｎが再生されるときにビデオデー タフレーム（Ｎ）３２１Ｎが表示される。このように、ビデオデータフレーム（ Ｎ）３２１Ｎはオーディオデータ（Ｎ）３３１Ｎと再同期される。 図３Ｂと図３Ｃは１フレーム全部のリピートまたはスキップを示す。１／２フ レームのリピートは、フレームの下半分が対応する新しいフレームデータの対応 する部分に更新される間、そのフレームの上半分を同じ状態で保持する必要があ る。１／２フレームのスキップは、そのフレームの上半分が次のフレームデータ の対応する部分に更新されている間、そのフレームの下半分を現在のフレームデ ータの対応する半分に更新する必要がある。 図３Ｂと図３Ｃは単一ビデオデータフレームをリピートするまたはスキップす る単なる典型例であり、複数のフレームがスキップされたり繰り返されても良い 。もし、オーディオとビデオが１フレーム以上同期が外れていたら、複数のフレ ームをスキップするかリピートするのが好ましい。ある応用として、オーディオ データが絶えなく再生され聞こえていることを可能にしている限り、ユーザーは ビデオデータフレームを停止するかリピートするかを選択してよい。他の場合に は、ユーザーは複数のフレームをスキップすることによって早送りしたり、又、 多数のビデオデータフレームに渡ってポーズしたり駒送りしたりすることを要求 してもよい。何れの場合においても、ノーマル再生を始めたい所望のビデオデー タフレームが見つかった時には、オーディオデータをミュートさせ、それからビ デオとオーディオトラックとを再同期させるのが望ましい。 ＭＰＥＧ復号化の要求は、スキップされてよい符号化／圧縮ビデオフレームの タイプを限定している。前のＩ−タイプのフレームからＰ−タイプのフレームを 復号化／伸張するのを可能にするために、普通、Ｉ−タイプのフレームの直前の 最後のＰ−タイプフレーム以外は、Ｂ−タイプフレームのみスキップされなけれ ばならない。 例として、符号化／圧縮されたデータストリームが次のようなフレームシーケ ンス、Ｉ₁Ｂ₂Ｂ₃Ｐ₄Ｂ₅Ｐ₆Ｂ₇Ｐ₈Ｂ₉Ｂ₁₀Ｐ₁₁・・・Ｐ_n-3Ｂ_n-2Ｐ_n-1Ｉ_nである ことを考える。ここで、ＢはＢ−タイプに符号化されたビデオフレ ーム、ＰはＰ−タイプに符号化されたビデオフレーム、ＩはＩ−タイプに符号化 されたビデオフレームを表す。予測された又はＰ−タイプのフレームを復号化す るためには、Ｉ−タイプのフレームを前もって復号化することが必要である。こ のように、Ｐ₄はＩ₁がまず復号化されることを必要とし、符号化／圧縮されたＩ₁ フレームはハードウエアによってスキップされてはならない。同様に、フレー ムＰ₆はフレームＰ₆を復号化／伸張するためにＰ₄が利用可能であることを要求 する。従って、Ｐ₄もスキップされてはならない。フレームＢ₃がＰ₄とＩ₁を必要 とするので、Ｂ−タイプフレームは符号化中Ｉ−タイプとＰ−タイプまたはその 組み合わせの間に挿入され、イメージの正確な再生には必要ではない。例の中の Ｐ_n-1のようなＩ−タイプフレームの前の最後のＰ−タイプフレームは、同様に スキップされてもよい。符号化／圧縮されるために、Ｐ_n-1が利用可能であるこ とに依存する未来のフレームは無い。 復号化／伸張されたフレームをスキップするハードウエアはこのような制限は 持たないが、より大きなメモリを必要とする。ソフトウエアはフレームタイプを 決定するために前もった復号化をすることができるので、符号化／圧縮フレーム をスキップするソフトウエア方法は、このような制限を持たない。しかしながら 、ソフトウエア方法はハードウエア方法が行うようなリアルタイムの処理を行わ ない。 ビデオとオーディオとの同期を取るのに、プラスまたはマイナス１／２フレー ム又はその複数倍フレームのフレーム同期分解能を提供するのが望ましい。この 方法では、１／２フレームの時間ドリフトを持つ符号化／圧縮されたデータを復 号化することは、よく同期の取れたビデオイメージとオーディオプレイバックの 再生を提供する。説明の目的のために、本発明の動作はＭＰＥＧＩ符号化／圧縮 標準を用いて説明される。本発明が、ＭＰＥＧIIやモーションＪＰＥＧのような 他の符号化／圧縮標準をサポートするように修正されることは、諒解されよう。 ＭＰＥＧ符号化／圧縮されたビットストリームを圧縮／復号化するために、Ｍ ＰＥＧ標準は、９０ｋｈｚのクロック周波数がシステム基準クロック（ＳＣＬＫ ）としてどの復号化回路にも使用されることを推奨している。９０ｋｈｚのシス テム基準クロック周波数は１１．１１マイクロ秒のクロック周期と等価である。 ビデオ表示レートやフレームレートは、ある一定期間にモニターやそのようなデ バイスに表示されるイメージフレームの数であるが、変化する。人間の目はその 平均化の特性からディスプレイをちらちらする動きとは対称的にスムースで普通 の動きをしているように見るので、毎秒６０フレーム（ｆｐｓ）のフレームレー トは時々リアルタイムとして参照する。３０ｆｐｓのフレームレートは、６０ｆ ｐｓのフレームレートよりもスクリーンに表示されるデータが少なくて済むが、 それほどスムースでも普通の動きでもなく多少フリッカが現れる。３０ｆｐｓの フレームレートはＣＤＲＯＭやマルチメディアのアプリケーションに対しては理 想的と考えられている−−イメージの質に対するデータの必要量がバランスがと れている。３０ｆｐｓのフレームレートは表示装置に約３３．３３ミリ秒毎に１ つのイメージフレームを表示することと等価である。１／２フレームの同期の分 解能のために、許される時間ドリフトは約３３．３３ミリ秒の半分、即ち、１６ ．６７ミリ秒である。１６．６７ミリ秒の間に、システムクロック（ＳＣＬＫ） は約１５００周期経過している。従って、１／２フレームの分解能の同期は１５ ００ＳＣＬＫクロック周期以下の時間ドリフトを要求する。同様な理由から、も し６０ｆｐｓのフレームレートに対して１／２フレームの同期の分解能が望まれ た場合には、時間ドリフトは約７５０ＳＣＬＫクロック周期であるべきである。 もし、３０ｆｐｓに対しての分解能が２．５フレームならば、許容される時間ド リフトは１５００ＳＣＬＫクロック周期の半分のフレームの時間ドリフトの５倍 、即ち、７５００ＳＣＬＫクロック周期であるべきである。同様に、もし３０ｆ ｐｓに対する分解能が１フレームであれば、許容される時間ドリフトは１５００ ＳＣＬＫクロック周期の半分のフレームの時間ドリフトの２倍、即ち、３０００ ＳＣＬＫクロック周期である。従って、３０ｆｐｓに対しての３フレームの時間 ドリフトは９０００ＳＣＬＫクロック周期と等価である。まとめると、３０ｆｐ ｓに対する１／２フレーム、１フレーム、２．５フレーム、及び３フレームの時 間ドリフトは、それぞれ１５００、３０００、７５００、及び９０００ＳＣＬＫ クロック周期である。６０ｆｐｓに対しては、１／２フレーム、１フレーム、２ ．５フレーム、及び３フレームの時間ドリフトは、それぞれ７５０、１５００、 ３７５０、及び４５００ＳＣＬＫクロック周期である。本発明では、システムク ロック（ＳＣＬＫ）は時間ドリフトを決定するのに使用される。 本発明は、同期はずれ状態を決定するためにＶＰＴＳとＡＰＴＳの差を使用す る。図３Ａを参照すると、システムクロックタイムライン３１６はシステムクロ ックＳＣＬＫの増加するクロック周期を示している。ＭＰＥＧビットストリーム ３１５はＭＰＥＧビットストリームの一例を示している。ＭＰＥＧビットストリ ーム３１５内のＶＰＴＳ（３０６−３０８）、ＡＰＴＳ３１２とＳＣＲ３１８の 発生のタイミング情報は、ＳＣＬＫの所定のクロック周期数と一致する。図３Ａ に示されているように、ＡＰＴＳ３１２の発生からＶＰＴＳ３０８の発生には遅 延がある。ＶＰＴＳ３０７とＡＰＴＳ３１２の受信の間の遅延に対するＳＣＬＫ クロック周期の数は、値Ｎ３１４である。ＡＰＴＳ３１２とＶＰＴＳ３０８の受 信の間の遅延に対するＳＣＬＫクロック周期の数は、値Ｍ３１３である。 例えば、図３Ａと図４Ａを考える。ここで、カウンタ４１１が値Ｍ３１３をカ ウントし、レジスタ４１２が結果的にＶＰＴＳ３０８の値を格納する。ＡＰＴＳ ３１２が生じると、カウンタ４１１はＶＰＴＳ３０８を受け取る前に生じるＳＣ ＬＫクロック周期の数をカウントする。このように、カウンタ４１１によってカ ウントされたカウント値はＭ３１３の値を示す。Ｎの値も同様に図４Ａのブロッ ク図によってカウントされる。 ＡＰＴＳとＶＰＴＳは３３ビットのタイムスタンプ値である。従って、例えば 、ＡＰＴＳ３１２は午後２時６分５．１１０秒というタイムスタンプ値を取り、 ＶＰＴＳ３０８は午後２時６分５．２９０秒というタイムスタンプ値を取る。こ の２つのタイムスタンプを比較すると、ＶＰＴＳ３０８はＡＰＴＳ３１２よりも 後のタイムスタンプ値をとる。ビデオがオーディオより先行しているか遅れてい るかを正しく比較するために、ＡＰＴＳは後に生じるＶＰＴＳに対して正規化さ れるか修正されなければならない。従って、遅延値Ｍは同じ基準フレームを持つ ためにＡＰＴＳに対して加算される必要がある。３０ｆｐｓで１／２フレーム時 間の時間ドリフトのしきい値が約１６．６７ｍｓ、即ち、０．０１６６７秒であ ることに注意しなければならない。 第１の場合として、Ｍは０．１６６の時間値をとると仮定する。ＭをＡＰＴＳ に加算すると（ＡＰＴＳ＋Ｍ）＝午後２時６分５．１７６秒になり、これは正規 化されたＡＰＴＳ値である。正規化されたＡＰＴＳ値の合計を午後２時６分５． ２９０秒のＶＰＴＳ値と比較すると、ビデオはオーディオに対し０．１１４秒（ 即ちＶＰＴＳ−（ＡＰＴＳ＋Ｍ）＝０．１１４秒）進んでいる。このように、Ｖ ＰＴＳは正規化されたＡＰＴＳ、即ち（ＡＰＴＳ＋Ｍ）、より０．１１４秒大き い。マルチメディアシステムで再生されると、図３Ｂのフレーム３２０Ｎと３３ ０Ｍで示されるように、ビデオのイメージ表示がオーディオ再生に対して進んで しているように、ユーザーはビデオの後のフレームを見、前のビデオに合うオー ディオを聞く。そのかわりに、オーディオがビデオに遅れているとも言え、しか しながら、オーディオデータを基準フレームとして使うほうが好ましい。このよ うに、オーディオデータを進めることを許容し、任意のビデオフレームに合わす ようにするために、ビデオを減速させるか又はビデオフレームをホールドしリピ ートすることが望ましい。 第２の場合として、（ＡＰＴＳ＋Ｍ）＝午後２時６分５．４４３秒となるよう Ｍは０．３３３秒の時間値をとると仮定する。（ＡＰＴＳ＋Ｍ）−ＶＰＴＳを実 行することにより、正規化されたＡＰＴＳと午後２時６分５．２９０秒のＶＰＴ Ｓ値を比較すると、その結果は０．１５３秒となる。（ＡＰＴＳ＋Ｍ）の値がＶ ＰＴＳの値よりも後のタイムスタンプなので、ビデオはオーディオよりも遅れて いることに注意されたい。マルチメディアシステムで再生されると、図３Ｃのフ レーム３２１Ｌと３３１Ｍで示されるように、ユーザーはビデオの前のフレーム を見、ビデオの後のフレームに対するオーディオを聞く。このように、ビデオフ レームを進めることを許容し、オーディオと実質的に合わせるために、ビデオの フレームをジャンプさせたりスキップさせたりすることが望ましい。 Ｎの値は、（ＶＰＴＳ＋Ｎ）と続くＡＰＴＳ３１２との比較を可能にするため に、前のＶＰＴＳ３０７を同様に正規化する。ビデオがオーディに対して遅れて おり、時間ドリフトしきい値を超えている場合、ビデオデータのフレームまたは その一部分をスキップさせることによりビデオの表示を実質的にオーディオと合 わせることが望ましい。 ビデオ表示がオーディオ再生に対してフレームのごく少しだけ、進んでいたり 遅れたりしていることが、気づかれないものである時は、スキップや繰り返しに フレーム全体を使用することは回路の複雑さを低減するために好ましい。 このように、ＶＰＴＳが正規化されたＡＰＴＳ値よりも大きいときにＶＰＴＳ −（ＡＰＴＳ＋Ｍ）の計算が実行され、ＶＰＴＳが正規化されたＡＰＴＳ値より 小さいときに（ＡＰＴＳ＋Ｍ）−ＶＰＴＳの計算が実行される。Ｎが使用される 場合、同様に、ＡＰＴＳが正規化されたＶＰＴＳ値よりも大きいときにＡＰＴＳ −（ＶＰＴＳ＋Ｎ）の計算が実行され、ＡＰＴＳが正規化されたＶＰＴＳ値より 小さいときに（ＶＰＴＳ＋Ｎ）−ＡＰＴＳの計算が実行される。何れの場合でも 、これら２つの演算の結果を検出した後に、何フレームまたはフレームのどれく らいの部分ビデオ表示がオーディオ再生に対して進んでいるまたは遅延している かを決めるのが望ましい。フレームの数は、その計算の結果と予め定められた時 間ドリフトしきい値とを比較することにより、決定される。時間ドリフトしきい 値は、所望の表示レートでの所定の数のフレームまたはその一部内のＳＣＬＫク ロック周期の数内のフレーム時間やその一部を示す。特に、プラスとマイナス１ ／２フレーム時間、１フレーム時間、２と１／２（２．５）フレーム時間、３フ レーム時間の時間ドリフトしきい値は興味がそそられるものである。上述したよ うに、３０ｆｐｓの表示レートの時、１／２フレーム時間は１５００ＳＣＬＫク ロック周期と決められ、１フレーム時間は３０００ＳＣＬＫクロック周期であり 、２．５フレーム時間は７５００ＳＣＬＫクロック周期で、３フレーム時間９０ ００ＳＣＬＫクロック周期であった。６０ｆｐｓの表示レートに対しては、これ らの時間ドリフトしきい値は半分にされてそれぞれ７５０、１５００、３７５０ と４５００ＳＣＬＫクロック周期になる。他のしきい値が本発明の精神と範囲か ら逸脱しないで選択されることが諒解されよう。 図４Ａは、様々な時間ドリフトしきい値に対する結果の比較と同様に、ＶＰＴ Ｓが（ＡＰＴＳ＋Ｍ）より大きい時ＶＰＴＳ−（ＡＰＴＳ＋Ｍ）の、ＶＰＴＳが （ＡＰＴＳ＋Ｍ）よりも小さい時、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳの計算を行うた めの回路の機能的なブロック図を示す。図４Ｂは、ＡＰＴＳが（ＶＰＴＳ＋Ｎ） より大きい時ＡＰＴＳ−（ＶＰＴＳ＋Ｎ）の、ＡＰＴＳが（ＮＰＴＳ＋Ｎ）より も小さいときに（ＶＰＴＳ＋Ｎ）−ＡＰＴＳの計算を行うための回路の機能的な ブロック図を示す。これらの計算の結果に対する時間ドリフトしきい値の比較に おいて、プラスマイナス３フレーム時間のようなより粗いフレーム時間分解能（ 時間ドリフトしきい値）は論理的に最初に計算されるべきであり、プラスマイナ ス１／２フレーム時間のような最も細かいフレーム時間分解能（時間ドリフトし きい値）は最後に計算されるべきである。 図４Ａは様々な時間ドリフトしきい値に対する結果の比較と同様に、ＶＰＴＳ が（ＡＰＴＳ＋Ｍ）より大きい時ＶＰＴＳ−（ＡＰＴＳ＋Ｍ）の、ＶＰＴＳが（ ＡＰＴＳ＋Ｍ）よりも小さい時、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳの計算を行うため の回路の機能的なブロック図を示す。図４Ｂは、ＡＰＴＳが（ＶＰＴＳ＋Ｎ）よ り大きい時ＡＰＴＳ−（ＶＰＴＳ＋Ｎ）の、ＡＰＴＳが（ＮＰＴＳ＋Ｎ）よりも 小さいときに（ＶＰＴＳ＋Ｎ）−ＡＰＴＳの計算を行うための回路の機能的なブ ロック図を示す。これらの計算の結果に対する時間ドリフトしきい値の比較にお いて、プラスマイナス３フレーム時間のようなより粗いフレーム時間分解能（時 間ドリフトしきい値）は論理的に最初に計算されるべきであり、プラスマイナス １／２フレーム時間のような最も細かいフレーム時間分解能（時間ドリフトしき い値）は最後に計算されるべきである。 図４Ａを参照すると、ＡＰＴＳが符号化／圧縮されたデータストリーム内に検 出されたときには、ＳＴＣカウンタ４１１はカウンタ入力４０２の検出されたＡ ＰＴＳを示す２進値に設定されロードされる。ＳＴＣカウンタ４１１がどのよう にカウントするかによって、ＳＣＬＫクロック周波数は分割される。ＳＴＣカウ ンタ４１１が１つずつカウントすると仮定すると、線４０１の９０ｋｈｚのＳＣ ＬＫ周波数は、カウンタクロック入力４０４に対して同じ周波数を生成する周波 数デバイダ４１０で１つに分割される。ＳＴＣカウンタ４１１がインクリメント されるとき、Ｍに対する値が生成される。ＶＰＴＳに達すると、検出されたＶＰ ＴＳに対するＭの生成は完了され、カウンタ出力４０５は（ＡＰＴＳ＋Ｍ）の計 算を反映する。ＶＰＴＳが符号化／圧縮されたデータストリーム中に検出された とき、レジスタ４１２はレジスタ入力４０３での検出されたＶＰＴＳを示す２進 値がロードされる。減算器４１３は減算器入力４０５の（ＡＰＴＳ＋Ｍ）の値と 減算器入力４０６のＶＰＴＳの値から（ＡＰＴＳ＋Ｍ）−ＶＰＴＳを計算する。 バス４０７上の減算器４１３からの結果出力はバス４０９上に与えられた時間ド リフトしきい値とコンパレータ４１４によって比較イネーブル入力信号４２０に よる適当な時に比較される。上述されたように、次の一連の式が３０ｆｐｓの表 示レートに対してコンパレータ４１４によって実行されるように、大きな時間ド リフトしきい値が最初に比較される。 もし、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＜−９０００ （Ａ） なら、ビデオは少なくとも３フレームオーディオに対し進んでおり、ビ デオフレームをリピートし、もしそうではなくて、 もし、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＞９０００ （Ｂ） なら、ビデオは少なくとも３フレームオーディオに対して遅れており、 ビデオフレームをスキップし、もしそうではなければ、次のより細かい分解能の ステップを実行する。 もし、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＜−７５００ （Ｃ） なら、ビデオは少なくとも２．５フレーム以上３フレームより少なくオ ーディオに対して進んでおり、ビデオフレームをリピートし、もしそうではなく て、 もし、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＞７５００ （Ｄ） なら、ビデオは少なくとも２．５フレーム以上３フレームより少なくオ ーディオに対して遅れており、ビデオフレームをスキップし、もしそうではなけ れば、次のより細かい分解能のステップを実行する。 もし、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＜−３０００ （Ｅ） なら、ビデオは少なくとも１フレーム以上２．５フレームより少なくオ ーディオに対して進んでおり、ビデオフレームをリピートし、もしそうではなく て、 もし、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＞３０００ （Ｆ） なら、ビデオは少なくとも１フレーム以上２．５フレームより少なくオ ーディオに対して遅れており、ビデオフレームをスキップし、もしそうではなけ れば、次のより細かい分解能のステップを実行する。 もし、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＜−１５００ （Ｇ） なら、ビデオは少なくとも１／２フレーム以上１フレームより少なくオ ーディオに対して進んでおり、ビデオフレームをリピートし、もしそうではなく て、 もし、（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＞１５００ （Ｈ） なら、ビデオは少なくとも１／２フレーム以上１フレームより少なくオ ーディオに対して遅れており、ビデオフレームをスキップし、もしそうではなけ れば、次のより細かい分解能のステップを実行し、もしそれ以上細かい分解能の ステップが無く、実際の時間ドリフトがプラスマイナス１／２フレームの最後に テストされたフレーム時間より少なくであれば、中止する。 ６０ｆｐｓの表示レートに対しては、時間ドリフトしきい値は同じ結果を決め るために半分にカットされる。例えば、Ｅｑ．（Ａ）は次のように変更される： もし（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ＜−４５００ （Ａ’） なら、図４Ａに対して一般に、式は一般的に次のように書かれる： ｜（ＡＰＴＳ＋Ｍ）−ＶＰＴＳ｜＜時間ドリフトしきい値 （Ｉ） 図４Ｂに関してこの式は次のように変更される： ｜（ＶＰＴＳ＋Ｍ）−ＡＰＴＳ）｜＜時間ドリフトしきい値 （III） これらの計算の結果に依存して、オーディオ再生とイメージのビデオ表示は、 ビデオフレームまたはその一部をリピートしたりスキップすることによって、ま たはオーディオデータパケットまたはその一部をスキップしたり遅延させること によって、再同期される。しかしながら、人間はスキップされたりリピートされ たオーディオデータに容易に気づく。 オーディオとビデオの再同期を制御する時に、プラスマイナス１／２フレーム の時間ドリフトしきい値は、Ａ／Ｖ同期回路が振動しフレーム又はその一部を連 続的にリピートしたりスキップすることを引き起こすこともありうる。従って、 １フレームの時間ドリフト分解能が、最も細かいフレーム時間分解能として好ま しい。前記の計算に使用された時間ドリフト分解能は、ビデオイメージ表示とオ ーディオ再生中のフレームやその一部（１／２フレームのような）のスキップ又 はリピートとは同じではない。 図４Ｂを再び参照すると、ＶＰＴＳが符号化／圧縮されたデータストリーム内 に検出されたときには、ＳＴＣカウンタ４１１はカウンタ入力４０３の検出され たＶＰＴＳを示す２進値に設定されロードされる。ＳＴＣカウンタ４１１がどの ようにカウントするかに依存して、ＳＣＬＫクロック周波数は分割される。ここ で、ＳＴＣカウンタ４１１が１つずつカウントする場合を想定すると、線４０１ の９０ｋｈｚのＳＣＬＫ周波数は、カウンタクロック入力４０４に対して同じ周 波数を生成する周波数周波数デバイダ４１０で１つに分割される。ＳＴＣカウン タ４１１がインクリメントされるとき、Ｎに対する値が生成される。ＡＰＴＳに 達すると、検出されたＡＰＴＳに対するＮの生成は完了されカウンタ出力４０５ は（ＶＰＴＳ＋Ｎ）の計算を反映する。ＡＰＴＳが符号化／圧縮されたデータス トリーム中に検出されたとき、レジスタ４１２はレジスタ入力４０２での検出さ れたＡＰＴＳを示す２進値がロードされる。減算器４１３は減算器入力４０５の （ＶＰＴＳ＋Ｎ）の値と減算器入力４０６のＡＰＴＳの値から（ＶＰＴＳ＋Ｎ） −ＡＰＴＳを計算する。 バス４０７上の減算器４１３からの結果出力は、バス４０９上に供給された時 間ドリフトしきい値とコンパレータ４１４によって比較イネーブル入力信号４２ ０による適当な時に比較される。上述されたように、次の一連の式が３０ｆｐｓ の表示レートに対してコンパレータ４１４によって実行されるよう、大きな時間 ドリフトしきい値が最初に比較される。 もし、（ＶＰＴＳ＋Ｎ）−ＡＰＴＳ＜−９０００ （Ｋ） なら、ビデオは少なくとも３フレームオーディオに対して遅れており、 ビデオフレームをスキップし、もしそうではなくて、 もし、（ＶＰＴＳ＋Ｎ）−ＡＰＴＳ＞９０００ （Ｌ） なら、ビデオは少なくとも３フレームオーディオに対して進んでおり、 ビデオフレームをリピートし、もしそうではなければ、次のより細かい分解能の ステップを実行する。 もし、（ＶＰＴＳ＋Ｎ）−ＡＰＴＳ＜−７５００ （Ｍ） なら、ビデオは少なくとも２．５フレーム以上３フレームより少なくオ ーディオに対して遅れており、ビデオフレームをスキップし、もしそうではなく て、 もし、（ＶＰＴＳ＋Ｎ）−ＡＰＴＳ＞７５００ （Ｎ） なら、ビデオは少なくとも２．５フレーム以上し３フレームより少なく オーディオに対して進んでおり、ビデオフレームをリピートし、もしそうではな ければ、次のより細かい分解能のステップを実行する。 もし、（ＶＰＴＳ＋Ｎ）−ＡＰＴＳ＜−３０００ （Ｏ） なら、ビデオは少なくとも１フレーム以上２．５フレームより少なくオ ーディオに対して遅れており、ビデオフレームをスキップし、もしそうではなく て、 もし、（ＶＰＴＳ＋Ｎ）−ＡＰＴＳ＞３０００ （Ｐ） なら、ビデオは少なくとも１フレーム以上２．５フレームより少なくオ ーディオに対して進んでおり、ビデオフレームをリピートし、もしそうではなけ れば、次のより細かい分解能のステップを実行する。 もし、（ＶＰＴＳ＋Ｎ）−ＡＰＴＳ＜−１５００ （Ｑ） なら、ビデオは少なくとも１／２フレーム以上１フレームより少なくオ ーディオに対して遅れており、ビデオフレームをスキップし、もしそうではなく て、 もし、（ＶＰＴＳ＋Ｎ）−ＡＰＴＳ＞１５００ （Ｒ） なら、ビデオは少なくとも１／２フレーム以上１フレームより少なくオ ーディオに対して進んでおり、ビデオフレームをリピートし、もしそうではなけ れば、次のより細かい分解能のステップを実行し、もしそれ以上細かい分解能の ステップが無く、実際の時間ドリフトがプラスマイナス１／２フレームの最後に テストされたフレーム時間より少ない場合、中止する。 今、図４Ａと図４Ｂを参照すると、上述したように、ＳＴＣカウンタ４１１が どのようにカウントするかに依存して、ＳＣＬＫクロック周波数は分割される。 もし、ＳＴＣカウンタ４１１が２つずつカウントすると、線４０１の９０ｋｈｚ のＳＣＬＫ周波数は、カウンタクロック入力４０４に対してＳＣＬＫの周波数の １／２を生成する周波数デバイダ４１０によって２つに分割される。もし、ＳＴ Ｃカウンタ４１１が１２８ずつカウントするとすると、線４０１上の９０ｋｈｚ のＳＣＬＫ周波数は１２８、即ち、２^m（ｍ＝７）で、カウンタクロック入力４ ０４に対してＳＣＬＫの周波数の１／１２８を生成する周波数デバイダ４１０に よって分割される。 本発明の機能を実際のハードウエアに変換するために、Ａ／Ｖ同期回路が単一 のモノリシック集積回路内で機能するための図４Ａ及び図４ＢのＡ／Ｖ同期回路 に対して行われるいくつかの好ましい変更がある。符号化／圧縮されたデータを 復号化／伸張されたビデオ及びオーディオデータに伸張し、復号化するために必 要とされる時間、スクリーン上にイメージを表示するための時間、及びオーディ オデータを再生するための時間と関連するシステムの遅延があるので、ビデオ及 びオーディオのシステムの遅延の差異を考慮しなければならない。従って、ＶＰ ＴＳ若しくはＡＰＴＳは、ＶＰＴＳ若しくはＡＰＴＳからフレーム時間値を加算 又は減算することによって、システムの遅延に対して補正される必要がある。こ れは次のように式で表される： ＶＴＰＳ’＝ＶＰＴＳ＋ＡＶＬＡＴＥＮＣＹ（オーディオビデオ遅延）(III) ここで、ＡＶＬＡＴＥＮＣＹ＝ＶＬＡＴＥＮＣＹ−ＡＬＡＴＥＮＣＹ 一方、ＡＰＴＳは次のように修正される。 ＡＰＴＳ’＝ＡＰＴＳ＋ＶＡＬＡＴＥＮＣＹ （IV） ここで、ＶＡＬＡＴＥＮＣＹ＝ＡＬＡＴＥＮＣＹ−ＶＬＡＴＥＮＣＹ 従って、異なるシステムでのＡＶＬＡＴＥＮＣＹ及びＶＡＬＡＴＥＮＣＹの様 々な値は、修正されたＡＰＴＳ、即ち、ＡＰＴＳ’又は修正されたＶＰＴＳ、即 ち、ＶＰＴＳ’を得るためにレジスタにロードされ、ＡＰＴＳ若しくはＶＰＴＳ のどちらかに加えられる。ＡＶＬＡＴＥＮＣＹとＶＡＬＡＴＥＮＣＹはあわせて 、ＡＶＬＡＴＥＮＣＹ若しくは単純にシステム遅延と呼ばれる。３０ｆｐｓの表 示レートについて上に示す（Ａ）乃至（Ｈ）の式を再編成及び再公式化する： もし（ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−９０００）＜０ （１ａ） ならばビデオはオーディオに対して少なくとも３フレーム進んでいるので、ビ デオフレームを繰り返し、そしてもしそうでないのなら、 もし（ＶＰＴＳ’＋９０００）−（ＡＰＴＳ＋Ｍ）＜０ （２ａ） ならばビデオはオーディオに対して少なくとも３フレーム遅れているのでビデ オフレームをスキップし、そしてもしそうでないのなら次のより細かい分解能の ステップを実行する。 もし（ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−７５００）＜０ （３ａ） ならばビデオはオーディオに対して少なくとも２．５フレーム以上３フレーム より少なく進んでいるのでビデオフレームを繰り返し、そしてもしそうでないの なら、 もし（ＶＰＴＳ’＋７５００）−（ＡＰＴＳ＋Ｍ）＜０ （４ａ） ならばビデオはオーディオに対して少なくとも２．５フレーム以上３フレーム より少なく遅れているので、ビデオフレームをスキップし、そしてもしそうでな いのなら、より細かい分解能のステップを実行する。 もし（ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−３０００）＜０ （５ａ） ならばビデオはオーディオに対して少なくとも１フレーム以上２．５フレーム より少なく進んでいるのでビデオフレームを繰り返し、そしてもしそうでないの なら、 もし（ＶＰＴＳ’＋３０００）−（ＡＰＴＳ＋Ｍ）＜０ （６ａ） ならばビデオはオーディオに対して少なくとも１フレーム以上２．５フレーム より少なく遅れているのでビデオフレームをスキップし、そしてもしそうでない のなら、次のより細かい分解能のステップを実行する。 もし（ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−１５００）＜０ （７ａ） ならばビデオはオーディオに対して少なくとも１／２フレーム以上１フレーム より少なく進んでいるのでビデオフレームを繰り返し、そしてもしそうでないの なら、 もし（ＶＰＴＳ’＋１５００）−（ＡＰＴＳ＋Ｍ）＜０ （８ａ） ならばビデオはオーディオに対して少なくとも１／２フレーム以上１フレーム より少なく遅れているのでビデオフレームをスキップし、そしてもしそうでない のなら、次のより細かい分解能のステップを実行し、或いはもしより細かい分解 能のステップがなく、そして実際の時間ドリフトがプラスマイナス１／２フレー ムの最後にテストされたフレーム時間よりも少ない場合には、中止する。 ６０ｆｐｓの表示レートについては、時間しきい値が半分にされるのみならず 、ＡＶＬＡＴＥＮＣＹの値によって示される遅延も半分にされる。従って、ＡＰ ＴＳはＡＰＴＳ”に修正され、ＶＰＴＳはＶＰＴＳ”に修正される。Ｅｑ．（１ ａ）−（６ａ）はＥｑ．（１ｂ）−（８ｂ）に修正される： （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ”−４５００）＜０ （１ｂ） （ＶＰＴＳ”＋４５００）−（ＡＰＴＳ＋Ｍ）＜０ （２ｂ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ”−３７５０）＜０ （３ｂ） （ＶＰＴＳ”＋３７５０）−（ＡＰＴＳ＋Ｍ）＜０ （４ｂ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ”−１５００）＜０ （５ｂ） （ＶＰＴＳ”＋１５００）−（ＡＰＴＳ＋Ｍ）＜０ （６ｂ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ”−７５０）＜０ （７ｂ） （ＶＰＴＳ”＋７５０）−（ＡＰＴＳ＋Ｍ）＜０ （８ｂ） 表示レートが変化すると、時間ドリフトのしきい値及びＶＰＴＳ’及びＡＰＴ Ｓ’は式Ｅｑ．（１ｂ）−（８ｂ）で変更されるということを注意すべきである 。回路規模を縮小するために、時間ドリフトしきい値は、理想的な１０進値から ここではオフセット値と呼ばれる値までの２進値に丸められる。 タイムスタンプ値は３３ビット巾なので、カウンタ及び減算器も同様に３３ビ ット巾でなければならない。これは回路規模やシリコンリアルエステイト（ｒｅ ａｌ ｅｓｔａｔｅ）の使用を増大させるものとして集積回路では好ましくない 。その代わりに、３３ビット値をより扱いやすい巾に縮めることは好ましい。 ＭＰＥＧ標準で推奨されている好ましいシステムクロック周波数が９０ｋｈｚ 、即ち、１１．１１マイクロ秒（μｓ）だったことを思い出すべきである。周波 数デバイダが１（２^m＝１の場合、ｍ＝０）で分割する上述の図４Ａのシステム を用いると、各カウンタのカウント値は１１．１１μｓを示す。従って、少なく ともＡＰＴＳ及びＶＰＴＳタイムスタンプ値の最下位のビットは同様に１１．１ １μｓを示す。２番目のＬＳＢは２２．２２μｓを示し、３番目のＬＳＢは４４ ．４４μｓ、４番目のＬＳＢは８８．８８μｓ等である。 ３０ｆｐｓでは、１／２フレーム時間は、およそ１６．６７ミリ秒となる１５ ００ＳＣＬＫクロック周期、１フレーム時間は３０００ＳＣＬＫ周期、即ち、３ ３．３３ミリ秒、２．５フレーム周期は７５００ＳＣＬＫ周期、即ち、８３．３ ３μｓだったことを思い出すべきである。図９は３３ビットタイムスタンプの下 位１８ビットの興味のある時間値のあるパターンについて示している。 １／２、１、２．５及び３フレーム時間の時間ドリフトのしきい値に関しては 、プラスマイナス１５３６、３０７２、７６８０及び９２１６のオフセット比較 値は殆ど近似値である。これらの値の選択は、全ての他の上位及び下位ビットが ０なので、オフセット比較値の長さをビット９から１３に切り捨てることを可能 にする。従って、本発明の構成においては、オフセット比較に対してたった５ビ ット巾の値及び５ビット巾の記憶レジスタが用いられることが必要である。これ はＥｑ．（１ａ）−（８ａ）を次に示すＥｑ．（９ａ）−（１６ａ）に夫々変更 する： （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−９２１６）＜０ （９ａ） （ＶＰＴＳ’＋９２１６）−（ＡＰＴＳ＋Ｍ）＜０ （１０ａ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−７６８０）＜０ （１１ａ） （ＶＰＴＳ’＋７６８０）−（ＡＰＴＳ＋Ｍ）＜０ （１２ａ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−３０７２）＜０ （１３ａ） （ＶＰＴＳ’＋３０７２）−（ＡＰＴＳ＋Ｍ）＜０ （１４ａ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−１５３６）＜０ （１５ａ） （ＶＰＴＳ’＋１５３６）−（ＡＰＴＳ＋Ｍ）＜０ （１６ａ） ６０ｆｐｓの表示レートでは、１／２、１、２．５及び３フレーム時間の修正 された時間ドリフトは、夫々プラスマイナス７５０、１５００、３７５０及び４ ５００であった。必要とされるビットの数を縮めるために、プラスマイナス７６ ８、１５３６、３８４０及び４６０８の値は上のテーブルから置き換えられる。 ７６８は、１５３６に対する値を単にＬＳＢの方向に１ビットシフトすることで ある２で分割することにより、１５３６から取り出すことができるということに 注意されたい。他の値は、オフセット値の長さを５ビット巾に保持するために、 この方法と同様に得ることができる。好ましくは、周波数デバイダは、３０ｆｐ ｓの表示レートの、２若しくは１／２倍の表示レートに対してＥｑ．（９ａ）− （１６ａ）と共に用いられる。Ｅｑ．（１ｂ）−（８ｂ）から変更された６０ｆ ｐｓの式は： （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ”−４６０８）＜０ （９ｂ） （ＶＰＴＳ”＋４６０８）−（ＡＰＴＳ＋Ｍ）＜０ （１０ｂ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ”−３８４０）＜０ （１１ｂ） （ＶＰＴＳ”＋３８４０）−（ＡＰＴＳ＋Ｍ）＜０ （１２ｂ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ”−１５３６）＜０ （１３ｂ） （ＶＰＴＳ”＋１５３６）−（ＡＰＴＳ＋Ｍ）＜０ （１４ｂ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ”−７６８）＜０ （１５ｂ） （ＶＰＴＳ”＋７６８）−（ＡＰＴＳ＋Ｍ）＜０ （１６ｂ） この方法は、３０ｆｐｓに対するオフセット値をＭＳＢの方向に１ビットシフ トすることによって成し遂げられるオフセット値の２倍化によって３０ｆｐｓの 式から１５ｆｐｓに対する式及び値を生成するために用いられる。一方、オフセ ット値をシフトしない代わりに、可変周波数デバイダによるシステムクロックの 分割は、正確な表示レートに対してＥｑ．（９ａ）−（１６ａ）を使用する。１ ５ｆｐｓに対する結果として生じる式は次に示すようにＥｑ．（９ａ）−（１６ ａ）から変更される。 （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’’’−１８４５２）＜０ （９ｃ） （ＶＰＴＳ’’’＋１８４５２）−（ＡＰＴＳ＋Ｍ）＜０ （１０ｃ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’’’−１５３６０）＜０ （１１ｃ） （ＶＰＴＳ’’’＋１５３６０）−（ＡＰＴＳ＋Ｍ）＜０ （１２ｃ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’’’−６１４４）＜０ （１３ｃ） （ＶＰＴＳ’’’＋６１４４）−（ＡＰＴＳ＋Ｍ）＜０ （１４ｃ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’’’−３０７２）＜０ （１５ｃ） （ＶＰＴＳ’’’＋３０７２）−（ＡＰＴＳ＋Ｍ）＜０ （１６ｃ） ＶＰＴＳは、１５ｆｐｓの表示レートでの適正な遅延に対するＥｑ．（９ｃ） −（１６ｃ）で、ＶＰＴＳ’’’に修正されるものとして示される。一方、ＡＰ ＴＳの値はＡＰＴＳ’’’に修正される。Ｅｑ．（９ｃ）−（１６ｃ）に対する オフセット値は、Ｅｑ．（９ａ）−（１６ａ）のそれの２倍であり、そしてＥｑ ．（９ｂ）−（１６ｂ）に対するオフセット値は、Ｅｑ．（９ａ）−（１６ａ） のそれの１／２であるということに注意されたい。従って、３０ｆｐｓの表示レ ートに対して選択されたオフセット数を使うことにより、２倍又は１／２の表示 レートに対する他のオフセット数は、オフセット値のビットを左若しくは右にシ フトすることによって表示レートに対して生成される。もし表示レートが３０ｆ ｐｓの２倍若しくは１／２倍でなければ、他のオフセット数はＡ／Ｖ同期回路に ロードされる必要がある。その代わり、ＳＣＬＫの周波数の分割を変更すること によって、他の表示レートは、Ｅｑ．（９ａ）−（１６ａ）のようなただ１組の 式によってサポートされる。 インクリメントされたＡＰＴＳ値からＶＰＴＳが減算される、図４Ａのロジッ ク及びＥｑ．（Ａ）−（Ｈ）に対し、Ｅｑ．（９ａ）−（１６ａ）、Ｅｑ．（９ ｂ）−（１６ｂ）及びＥｑ．（９ｃ）−（１６ｃ）が適用可能である。インクリ メントされたＶＰＴＳ値からＡＰＴＳが減算される、図４Ｂのロジック及びＥｑ ．（Ｋ）−（Ｒ）に対し、Ｅｑ．（９ａ）−（１６ａ）、Ｅｑ．（９ｂ）−（１ ６ｂ）及びＥｑ．（９ｃ）−（１６ｃ）は、Ｅｑ．（１７ａ）−（２４ａ）、Ｅ ｑ．（１７ｂ）−（２４ｂ）及びＥｑ．（１７ｃ）−（２４ｃ）に１つ１つ適合 するように変更される。 ３０ｆｐｓの表示レート用： （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ’−９２１６）＜０ （１７ａ） （ＡＰＴＳ’＋９２１６）−（ＶＰＴＳ＋Ｎ）＜０ （１８ａ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ’−７６８０）＜０ （１９ａ） （ＡＰＴＳ’＋７６８０）−（ＶＰＴＳ＋Ｎ）＜０ （２０ａ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ’−３０７２）＜０ （２１ａ） （ＡＰＴＳ’＋３０７２）−（ＶＰＴＳ＋Ｎ）＜０ （２２ａ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ’−１５３６）＜０ （２３ａ） （ＡＰＴＳ’＋１５３６）−（ＶＰＴＳ＋Ｎ）＜０ （２４ａ） ６０ｆｐｓの表示レート用： （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ”−４６０８）＜０ （１７ｂ） （ＡＰＴＳ”＋４６０８）−（ＶＰＴＳ＋Ｎ）＜０ （１８ｂ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ”−３８４０）＜０ （１９ｂ） （ＡＰＴＳ”＋３８４０）−（ＶＰＴＳ＋Ｎ）＜０ （２０ｂ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ”−１５３６）＜０ （２１ｂ） （ＡＰＴＳ”＋１５３６）−（ＶＰＴＳ＋Ｎ）＜０ （２２ｂ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ”−７６８）＜０ （２３ｂ） （ＡＰＴＳ”＋７６８）−（ＶＰＴＳ＋Ｎ）＜０ （２４ｂ） １５ｆｐｓの表示レート用： （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ’’’−１８４５２）＜０ （１７ｃ） （ＡＰＴＳ’’’＋１８４５２）−（ＶＰＴＳ＋Ｎ）＜０ （１８ｃ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ’’’−１５３６０）＜０ （１９ｃ） （ＡＰＴＳ’’’＋１５３６０）−（ＶＰＴＳ＋Ｎ）＜０ （２０ｃ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ’’’−６１４４）＜０ （２１ｃ） （ＡＰＴＳ’’’＋６１４４）−（ＶＰＴＳ＋Ｎ）＜０ （２２ｃ） （ＶＰＴＳ＋Ｎ）−（ＡＰＴＳ’’’−３０７２）＜０ （２３ｃ） （ＡＰＴＳ’’’＋３０７２）−（ＶＰＴＳ＋Ｎ）＜０ （２４ｃ） 図４Ｃに戻って参照すると、Ｖｉｄｓｙｓｔデコーダ２００は、符号化／圧縮 データストリーム１０１を受信するシステムデコーダ２５０を含む。システムデ コーダ２５０はオーディオ及びビデオデータを分離し、符号化／圧縮オーディオ データ２１０をオーディオデータバッファ２２０に送る。オーディオデータバッ ファ２２０は、そして、符号化／圧縮オーディオデータ２１０を、シリアル化さ れたオーディオデータ１０３として、ＡＰＴＳ検出器４１５を介して図２のオー ディオデコーダ２０１に送る。シリアル化されたオーディオデータ１０３は、非 同期で若しくは同期してオーディオデコーダ２０１に送られる。好ましい実施例 においては、シリアル化されたオーディオデータ１０３は、データクロック信号 （図示せず）と同時に、同期して送られる。 ＡＰＴＳ検出器４１５は、圧縮／符号化オーディオデータストリーム２１０中 のオーディオ・プレゼンテーション・タイム・スタンプの存在を検出する。オー ディオ・プレゼンテーション・タイム・スタンプは、ＡＰＴＳの特徴的なビット ストリームなため、圧縮／符号化オーディオデータストリーム２１０内で容易に 検出される。ＡＰＴＳ検出器４１５は、図４Ｃにおいてオーディオバッファ２２ ０の出力で分離した要素として示されているが、ＡＰＴＳ検出器４１５はまた、 本発明の精神若しくは範囲から逸脱することなく、システムデコーダ２５０に組 み込まれて提供されても良い。ＡＰＴＳ検出器４１５は、第１の（最初の）オー ディオ・プレゼンテーション・タイム・スタンプ（ＡＰＴＳ）の存在を検出し、 検出されたＡＰＴＳ４１５ａをラッチ４４２に出力する。検出されたＡＰＴＳは また、圧縮／符号化オーディオデータストリーム中に存続し、シリアル化オーデ ィオデータストリーム１０３内に入って、オーディオデコーダ２０１に出力され る。 ＡＰＴＳ検出器４１５は、第２の（次の）ＡＰＴＳがオーディオデータストリ ーム中に検出されたときに信号４１５ｂを出力する。ＡＰフラグ２１３の受信に よって示される、検出されたＡＰＴＳに対応するオーディオデータがオーディオ デコーダ２０１で伸張／復号化されるまで、更なるオーディオデータがオーディ オデコーダ２０１に送信されるのを妨げるために、信号４１５ｂは、オーディオ デコーダ２０１（図４Ｄ参照）からオアゲート４１６を介して受信したＦＩＦＯ フルハンドシェーク信号２１２と論理和演算される。 図４Ｄは図２のオーディオデコーダ２０１のブロック図である。好ましい実施 例では、オーディオデコーダ２０１は、例えば、Ｃｒｙｓｔａｌ Ｓｅｍｉｃｏ ｎｄｕｃｔｏｒ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｕｓｔｉｎ、Ｔｅｘａｓ製 のマルチスタンダードオーディオデコーダ／ＤＡＣ モデルＣＳ４９２０を含み 、その（１９９３年１０月付）予備生産仕様は、参照により、ここに組み込まれ る。このようなデコーダは、多目的のＤＳＰ、オンボードＲＡＭ及びシリアルコ ントロールポート（図示せず）で提供される。実際には、オーディオデコーダは 、ここで説明される方法で動作するようにそのシリアルコントロールポートを介 してプログラムされる。これに代えて、このようなデコーダ（若しくは同様なデ コーダ）のカスタム若しくはセミカスタム版は、ここに説明される機能を実行す るために提供される。 図４Ｄに示されるように、シリアル化されたオーディオデータ１０３は、オー ディオデコーダ２０１内のバッファ／ＦＩＦＯ３０１で受信される。バッファ／ ＦＩＦＯ３０１は、１６ビットデータワードをオーディオデコーダ３０２に出力 するための１６ビット幅ＦＩＦＯと共に１６ビットデータを受信するためのシフ トインバッファを含む。説明の便宜上、その２つの要素は、ここではバッファ／ ＦＩＦＯ３０１として示される。バッファ／ＦＩＦＯ３０１は１６ビットデータ ワードを受信するとして開示されているが、他のサイズのバッファ及びＦＩＦＯ が、本発明の精神及び範囲を逸脱することなく、他の長さのデータワードを受信 するためにに利用されても良い。 ＦＩＦＯフルハンドシェーク信号２１２は、バッファ／ＦＩＦＯ３０１のアン ダーフロー若しくはオーバーフローを防止するためにＶｉｄｓｙｓｔデコーダ２ ００内のオーディオデータＦＩＦＯ２２０からのシリアル化されたオーディオデ ータ１０３の流れを制御する。バッファ／ＦＩＦＯ３０１からのデータ３１０は 、オーディオデコーダ３０２及びオーディオ・プレゼンテーション・タイム・ス タンプデコーダ３０３に与えられる。オーディオデコーダ３０２は、バッファ／ ＦＩＦＯ３０１から受信したオーディオデータ３１０を複合化し、伸張／復号化 オーディオ信号２６０を出力する。好ましい実施例では、シフトインバッファ３ ０１からのオーディオデータ３１０の伸張及び復号は、連続的に実行され、そし てオーディオデータは、出力オーディオ及びビデオ信号間のタイミングの不完全 性を修正するために繰り返されたり、スキップされたりはしない。 プレゼンテーション・タイム・スタンプデコーダ３０３は、オーディオデータ ストリーム３１０中のオーディオ・プレゼンテーション・タイム・スタンプ（Ａ ＰＴＳ）の存在を検出し、そして、対応するオーディオがオーディオデコーダ３ ０２内で伸張／復号化されたときに、予め決められた期間（即ち、クロック周期 の数）の間、ＡＰフラグ２１３をハイにセットする。オーディオデータ３１０は 連続的に複合化されるので、オーディオデータストリーム３１０中のオーディオ ・プレゼンテーション・タイム・スタンプ（ＡＰＴＳ）の存在によって示される 、オーディオデータの特定の部分が存在している（若しくは複合化されている） ときはいつでも、ＡＰフラグ２１３は、効果的にセットされる。 上述のように、オーディオデコーダ２０１は、オーディオデータストリーム３ １０内のオーディオ・プレゼンテーション・タイム・スタンプ（ＡＰＴＳ）を検 出するために適当にプログラムされた、モデルＣＤ４９２０オーディオデコーダ を含む。実用上、ＡＰＴＳデコーダ３０３及びオーディオデコーダ３０２は、図 ４Ｄにおいて破線で示されるように、オーディオデコーダ３４０全体の部分を構 成する。モデルＣＳ４９２０のようなオーディオデコーダは、使用されていない ピン（例えば、ピン８から１６、３０、３２、３５若しくは３７）にＡＰフラグ ２１３を出力するように適当にプログラムされる。従って、本発明のオーディオ デコーダ部は、カスタム若しくはセミカスタムＡＳＩＣ、または専用のデコーダ を使用することなく実施され得る。しかしながら、適当に変更若しくは設計され たオーディオデコーダが、本発明の精神及び範囲から逸脱することなく、上述し たようにオーディオ・プレゼンテーション・タイム・スタンプ（ＡＰＴＳ）の存 在を検出し、ＡＰフラグ２１３を出力するために提供されても良い。 図４Ｅは、オーディオ・プレゼンテーション・タイム・スタンプを検出し、Ａ Ｐフラグ２１３をセットするために、オーディオデコーダ２０１にロードされる ソフトウエアの処理を表すフローチャートである。ステップ５５０では、オーデ ィオパケットが、ステップＳ５５１でヘッダー情報をデコードするオーディオデ コーダ／ＡＰＴＳ検出器３４０によって読み取られる。ヘッダー情報からＡＰＴ Ｓは検出され（もし存在すれば）、ステップ５５２でＡＰＴＳ検出器３０３に記 憶される。オーディオデコーダ３０２は、ステップ５５３でオーディオデータを 復号化／伸張し、ステップ５５４で伸張／復号化オーディオデータ２６０を出力 する。 ステップ５５５では、ＡＰＴＳデコーダ３０３に記憶されたＡＰＴＳによって 示される時間が経過した（即ち、対応するオーディオデータが復号化／伸張され 、そして再生された）か否かを決定するために比較が行われる。もし対応する時 間位置を過ぎると、ＡＰフラグ２１３がステップ５５６でセットされ、オーディ オデータの残りがステップ５５７で出力される。もしＡＰＴＳ位置が経過してい ないと、バッファ内のオーディオデータの残りが復号化／伸張され、出力され、 そして処理がステップ５５０に戻る。 図４Ｃに戻って説明すると、ＡＰフラグ２１３は、ラッチ４４２に記憶されて いるＡＰＴＳをロードするためのロード信号として、ＳＴＣカウンタ４１１によ って受信される。ＳＴＣカウンタ４１１は、次いで、対応するＡＰＴＳ及びＶＰ ＴＳ間の時間差（もしあれば）を決定するために、ＳＣＬＫ４０１で駆動され、 カウントを開始する。ＳＣＬＫ４０１は、例えば、図４Ａに示されるように、適 当に分割される。説明の便宜上、このような分割回路はここでは示されない。同 様に、ラッチ４２２にロードされたＡＰＴＳ値は、図４Ａに関連して上述したよ うに、遅延値Ｍを加算することによって正規化される。上述したように、好まし い実施例においては、オーディオデータは連続的に復号化／伸張され、繰り返さ れたりスキップはされない。従って、図４ＣのＳＴＣカウンタは、図４Ａのそれ と同様の方法で望ましくは設計される。同様に、ビデオ／同期デコーダ２５１の 同期部分は、好ましい実施例において、図５Ａに示されたそれと同様の方法で設 計されよう。 従って、Ｖｉｄｓｙｓｔデコーダ２００は、ＳＴＣカウンタ４１１を初期化す るためにＡＰＴＳを内部で得て、そしてＡＰＴＳデータはオーディオデコーダ２ ０１からＶｉｄｓｙｓｔデコーダ２００に送られる必要はない。好ましい実施例 においては、ＡＰＴＳ検出器４１５によって、データストリーム１０３中の第２ のＡＰＴＳ４１５ｂが検出されるとオーディオデータバッファ２２０からの出力 が保留されるので、オーディオデコーダ２０１は、任意の時間に、バッファ／Ｆ ＩＦＯに多くても１つのＡＰＴＳのみを持つ。この方法においては、ラッチ４４ ２にロードされたＡＰＴＳがＡＰＴＳ検出器３０３によって検出された同じＡＰ ＴＳであるということが保証される。この技術の１つの利点は、オーディオデコ ーダ２０１によって検出されたＡＰＴＳがＶｉｄｓｙｓｔデコーダ２００に送り 戻される必要がなく、デバイス間の信号の数及び／または信号線が減らされるこ とである。更に、本発明の技術は、Ｃｒｙｓｔａｌ Ｓｅｍｉｃｏｎｄｕｃｔｏ ｒ ＣＳ４９２０のようなマルチスタンダードなオーディオデコーダが、ソフト ウエアの変更のみで本発明のＶｉｄｓｙｓｔデコーダ２００で用いられることを 許容する。 図５Ａは、図４Ａのそれに機能の点で同様の式Ｅｑ．（９ａ）−（１６ａ）の ８つの式の内の４つを用いる、Ａ／Ｖ同期回路を説明している。図５Ｂは、図４ Ｂのそれに機能の点で同様のＥｑ．（１７ａ）−（２４ａ）の８つの式の内の４ つを用いる、Ａ／Ｖ同期回路を説明している。図５Ｂの回路の動作は、図５Ａの 回路の動作と同様である。それゆえに、次の説明の大半は、両方の回路に適用で きる。２つのオフセット値及びＡＶ遅延値は、入力端子５１７を介してロード値 信号を受信しているときに、入力端子５４３を介してレジスタ５７７にロードさ れる。 オフセット値を得るために時間ドリフトしきい値を切り捨てるか若しくは丸め ることは、周波数デバイダ５１０と合わされた場合に、図５Ａの残りのハードウ エアのデータバスの大きさを縮小することができる。記憶されたオフセット値の ２倍若しくは１／２を得るために左若しくは右にシフトすることは、マルチプレ クサ５６６によって成し遂げられる。好ましくは、周波数デバイダ５１０は、図 ４Ａの周波数デバイダ４１０に関して簡単に説明された切り捨てを支持すること だけでなく、３０ｆｐｓの式に対するオフセット値の倍数を得るためにも用いら れる。 図９及び図５Ａは、オフセット値と呼ばれる切り捨てられ修正された時間ドリ フトしきい値と組み合わせて周波数デバイダを使用することの有効性を説明して いる。ＡＰＴＳ及びＶＰＴＳが３３ビット値であるとして説明されたが、しかし ながら、要求されている最大時間ドリフト幅を決定するために、ＡＰＴＳ及びＶ ＰＴＳの最上位ビットの全てが必要とされてはいない。例えば、１番目のＭＳＢ がＡＭ（午前）若しくはＰＭ（午後）を示す間に、２番目のＭＳＢは、２³¹×１ １．１１μｓ、即ち、６．６２５時間を示す。従って、オーディオ再生とビデオ 再生とはそう大きく同期がはずれないと予測される。オーディオ及びビデオとの 同期はずれは、１８から０までのビットによって示される０から３秒までの範囲 内であることが予想される。 従って、ＡＰＴＳ及びＶＰＴＳ値の両方の３２から１９までのビットは切り捨 て可能である。再同期はまた、６０ｆｐｓのフレームの１／１０よりも少ない１ ．４２ｍｓより少ない時間値については求められていないので、ＡＰＴＳ及びＶ ＰＴＳ値の６から０までのビットが同様に切り捨て可能である。従って、ＡＰＴ Ｓ及びＶＰＴＳについて解析される望ましいビットの範囲は１８から７である。 図５Ａにおいては、切り捨てられたＡＰＴＳ［１８：７］がバス５０２を介し てカウンタ５１１に入力され、切り捨てられたＶＰＴＳ［１８：７］がバス５０ ３を介してレジスタ５１２に入力されることが諒解されよう。切り捨てのために 、カウンタ５１１は、正確な表示レート及び所定のオフセット値だけでなく切り 捨てにも適応するように、カウントしなければならない。切り捨てることだけ考 えると、カウンタは２⁷（１２８）でカウントすべきである。従って、セレクタ ブル周波数デバイダ５１０は、ライン５０４を介してカウンタ５１１に正確な増 分値入力を供給するために、１２８でＳＣＬＫの周波数を分割する。このように 、ＶＰＴＳ、ＡＰＴＳ及び修正された時間ドリフトしきい値の巾を切り捨てるこ とは、より少ない回路を持つＡ／Ｖ同期回路を提供するために、より小さなカウ ンタ、加算器、レジスタ、バス及び他のハードウエアの使用を許容にする。 Ａ／Ｖ同期回路によって使用される回路の総量を更に減らすために、Ｅｑ．（ ９ａ）−（１６ａ）、Ｅｑ．（９ｂ）−（１６ｂ）、Ｅｑ．（９ｃ）−（１６ｃ ）若しくは時間ドリフトがしきい値を超えているか否かを決定するための他の同 様な式の演算を実行するため１つの加算器／減算器が図５Ａで用いられている。 もし、図５Ａの加算器／減算器によって式の１つの演算の結果が負の値を示すオ ーバーフロー状態であれば、その式は満足される。ＡＰＴＳ、ＶＰＴＳ及び修正 された時間ドリフト値は切り捨てられているので、加算器／減算器５１３はたっ た１２ビットしか必要としない。勿論、全く切り捨てないか若しくは他のビット が、ＡＰＴＳ、ＶＰＴＳ及び修正された時間ドリフト値に対して異なるデータ長 となるように切り捨てられ、それによって、他の回路に対する異なる大きさと同 様に異なる大きさの加算器／減算器を必要とするのでも良い。 さて、図５ＡのＡ／Ｖ同期回路の動作が、３０ｆｐｓの表示レート、プラスマ イナス１と３フレーム時間の時間ドリフトしきい値が、適切なＥｑ．（９ａ）− （１０ａ）、Ｅｑ．（１３ａ）−（１４ａ）が適用できると仮定して詳細に説明 する。このシステムは、ソフトウエアリセット若しくはシステムデコーダ内の分 離器からのリセットのどちらかを受信して初期リセットされる。このシステムは またＥｑ．（９ａ）−（１０ａ）、Ｅｑ．（１３ａ）−（１４ａ）の結果の１つ が満たされたときにリセットされる。オーディオ及びビデオが、丁度良く適合す ることができるよりも多いフレーム同期がはずれている場合には、ソフトウエア が再同期を実行することができるように、割り込み要求がソフトウエアに送られ る。 オーディオとビデオが同期しておらず、ビデオフレームをスキップすることが 望ましいが、しかしながら、Ｂ−タイプフレームが圧縮されたビデオデータスト リーム内に予め決められた期間中に見つけられていない場合には、ソフトウエア が、オーディオとビデオを同期させるために１つのビデオフレーム若しくは複数 のビデオフレームをスキップさせるようにするために、同様にソフトウエアに割 り込みが送られる。リセット状態のどの場合でも、リセットロジック５５２はス テートマシン５５３をリセットしてＩＤＬＥ（活動停止）状態０（Ｓ０）５２０ にする。セレクタブル周波数デバイダ５１０は、圧縮及び異なるフレームレート を適応させるためにシステムクロックを分割する。 もしもレジスタ５５７がＥｑ．（９ａ）−（１０ａ）、Ｅｑ．（１３ａ）−（ １４ａ）で表された３０ｆｐｓの表示レートに対する値がロードされ、実際に受 信される圧縮されたビットストリームが３０ｆｐｓの表示レートに適合している 場合には、周波数デバイダは、切り捨てのみに適合するために２⁷（１２８）で 分割する。しかしながら、もしもレジスタ５５７内の値がロードされたＥｑ．（ ９ａ）−（１０ａ）、Ｅｑ．（１３ａ）−（１４ａ）に対する値のままで、実際 に受信した圧縮ビットストリームが６０ｆｐｓの値だった場合には、セレクタブ ル周波数デバイダ５１０は、カウンタ５１１がより速くカウントすることを可能 とするために、２⁶ （６４）で分割する。 ２⁷（１２８）から２⁶（６４）へのセレクタブル周波数デバイダ５１０の分割 の変更は、Ｅｑ．（９ｂ）−（１０ｂ）、Ｅｑ．（１３ｂ）−（１４ｂ）が図５ Ａの回路によって効果的に用いられるように、レジスタ５５７に記憶されている オフセット値を半分に分割するのと同じ効果を持つ。同様に、もしも圧縮されて いるビットストリームが１５ｆｐｓの表示レートであった場合、デバイダは、 Ｅｑ．（９ｃ）−（１０ｃ）、Ｅｑ．（１３ｃ）−（１４ｃ）を用いるようにレ ジスタ５５７に記憶されているオフセット値を２倍にする効果を生み出すために 、２５６、即ち、２⁸で分割する。 状態０（Ｓ０）の間、システムは適切なオフセット値及び遅延値をレジスタ５ ５７内に読み込む。時間ドリフトは、プラスマイナス１フレーム時間及びプラス マイナス３フレーム時間の好ましい時間ドリフトしきい値を超えているかどうか を見るために検査されると仮定する。最初に符号化／圧縮されたビデオフレーム がスキップされているか否かを知り、次に復号化／伸張されたビデオフレームが リピートされたか否かを知ることが好ましいので、式の並び順序はわずかに変更 される。従って、式の計算の順序は３０ｆｐｓの通常の表示レートに関しては、 次のようになる： （ＶＰＴＳ’＋９２１６）−（ＡＰＴＳ＋Ｍ）＜０ （１０ａ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−９２１６）＜０ （９ａ） （ＶＰＴＳ’＋３０７２）−（ＡＰＴＳ＋Ｍ）＜０ （１４ａ） （ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−３０７２）＜０ （１３ａ） ここで、ＶＰＴＳがＶＰＴＳ’になるためにＡＶＬＡＴＥＮＣＹによって変更さ れる。 切り捨てられた値であるオフセット値は、ＡＶＬＡＴＥＮＣＹ値と並列にバス ５４３のビット［１９：０］からレジスタ５７７にロードされる。例えば、図９ のビット［１３：９］からの２進パターン１００１０で示されるオフセット値９ ２１６は、ＯＶ１と示されているレジスタ５５７の５ビット［９：５］にロード される。図９のビット［１３：９］からの２進パターン００１１００で示される オフセット値３０７２は、ＯＶ２と示されているレジスタ５５７の５ビット［１ ４：１０］に同時にロードされる。ＡＶＬＡＴＥＮＣＹ値は、ＡＶＬと示されて いるレジスタ５５７の５ビット［４：０］に同時にロードされる。Ａ／Ｖ同期回 路は、圧縮されたデータストリームから最初のＡＰＴＳ値を受信状態０（５２０ ）で待つ。 図３ＡのＡＰＴＳ３１２のようなＡＰＴＳが発生すると、図５ＡのＡ／Ｖ同期 回路は、カウンタ５１１をバス５０２上で使用可能な短くされたＡＰＴＳ値に初 期化する。ＳＣＬＫは、セレクタブル周波数デバイダ５１０がカウンタ５１１が 初期化されたＡＰＴＳ値からインクリメントするのを可能にする前に、２^mのク ロック周期を実行する。この場合、１２８ＳＣＬＫクロック周期がカウントされ た後、周波数デバイダ５１０はカウンタ５１１をインクリメントする。カウンタ ５１１は連続的にインクリメントし、レジスタ５８１によって記憶された圧縮デ ータストリーム中の新しいＡＰＴＳ値の受信後に、ＬＤＰＴＳ１信号５１５によ って再初期化されて新しいＡＰＴＳ値にされる。 カウンタ５１１が多数回インクリメントされた後に、図３ＡのＶＰＴＳ３０８ のようなＶＰＴＳが圧縮データストリーム中で受信され、ステートマシン５５３ を状態１（Ｓ１）５２１に移行させる。 状態１の間、切り捨てられたＶＰＴＳ値は、ＰＴＳレジスタ５１２にロードさ れるようにマルチプレクサ５５９によって選択される。次のステップは、以下に 繰り返されているＥｑ．（III）によってＶＰＴＳとＶＰＴＳ’に修正する： ＶＰＴＳ’＝ＶＰＴＳ＋ＡＶＬＡＴＥＮＣＹ (III) チップクロック５１８は、Ｅｑ．（III）を実行するために、ステートマシン ５５３を、次の状態、ステート２（Ｓ２）５５２にインクリメントする。Ｓ２の 間、レジスタ５１７のビット［４：０］に記憶されているＡＶＬＡＴＥＮＣＹ値 は、バスＹ［１２：０］５３７のＹ［６：２］５３５のビットへマルチプレクサ ５５６を通過するよう選択される。バスＹ［１２：０］５３７のＹ［１２：７、 １：０］の１２から７及び１から０までの番号付けされた残りのビットは、ビッ ト１２から７及び１から０を論理０レベルにセットするためにグランドに接続さ れる。 状態２、３、５、７及び９の間、信号５３１（Ｓ２、Ｓ３、Ｓ５、Ｓ７、Ｓ９ ）は、加算器／減算器５１３の入力Ａとしてのバス５０５へマルチプレクサ５５ ８を通過するようにバスＹ［１２：０］５３７を選択する。信号５３１（Ｓ２、 Ｓ３、Ｓ５、Ｓ７、Ｓ９）もまた、状態２、３、５、７及び９の間、マルチプレ クサ５５４を介して加算器／減算器５１３の入力Ｂに入力するため、バスＲ［１ ２：０］５４０を選択する。レジスタ５１２は、その中に記憶されているＶＰＴ Ｓ、ＶＰＴＳ［１８：７］の切り捨てられた値を、バスＲ［１２：０］５４０の Ｒ［１１：００］のビット１１から０に送る。状態２の間、切り捨てられたＶＰ ＴＳの値は、マルチプレクサ５５４を介して加算器／減算器５１３のバス５０６ 上の入力Ｂに入力する。加算器／減算器５１３は、２の補数の加算を用いて減算 を実行する能力及び入力Ａを入力Ｂと交換する及びこの逆を行う能力を持つ加算 器である。 状態２の間、加算器／減算器５１３は（ＡＶＬＡＴＥＮＣＹ＋ＶＰＴＳ）を実 行し、バスＳＵＭ ［１２：０］５０７にＶＰＴＳ’値を送る。その出力、加算 器／減算器５１３のＳＵＭ［１２：０］は、状態２の間はレジスタ５１２に、状 態３、５、７及び９の間はレジスタ５５５に記憶される。従って、状態２の間、 （ＡＶＬＡＴＥＮＣＹ＋ＶＰＴＳ）＝ＶＰＴＳ’の結果はレジスタ５１２に記憶 される。次に、ステートマシン５５３は状態３（Ｓ３）５２３に遷移する。 状態３（Ｓ３）５２３の間、ビデオがオーディオに対して３フレームより大き く遅れているか否かを検出するために、Ｅｑ．（１０ａ）（ＶＰＴＳ’＋９２１ ６）−（ＡＰＴＳ＋Ｍ）＜０の計算の最初のステップが実行される。（ＶＰＴＳ ’＋９２１６）の値は、カウンタが（ＡＰＴＳ＋Ｍ）の値を保持している間に生 成される。状態３及び５の間、信号５６５（Ｓ３、Ｓ５）は、マルチプレクサ５ ５６を介してＹ［１２：０］バス５３７のビット２から６へ送るようオフセット 値ＯＶ１を選択する。信号５３１は、マルチプレクサ５５８を介してバス５０５ に送り、加算器／減算器５１３の入力Ａに入力するために、Ｙ［１２：０］バス ５３７を選択する。レジスタ５１２に記憶されているＶＰＴＳ’の値は、マルチ プレクサ５５４を介してバス５０６に送り、加算器／減算器の入力Ｂに入力する ために信号５３１によって選択される。 加算器／減算器制御信号５６０−５６２は、加算器／減算器にＡ＋Ｂの機能を 実行させる。従って、加算器／減算器５１３は、（９２１６＋ＶＰＴＳ’）を実 行し、そして、その結果をＳＵＭ［１２：０］バス５０７に出力する。ＳＵＭ［ １２：０］バス５０７上の結果は、状態３、５、７及び９の間、チップクロック ５１８及び信号５６７（Ｓ３、Ｓ５、Ｓ７、Ｓ９）によってレジスタ５５５に記 憶される。チップクロック信号はまたステートマシンに次の状態、即ち、状態４ に遷移させる。 状態４（Ｓ４）５２４の間、Ｅｑ．（１０ａ）の（ＶＰＴＳ’＋９２１６）− （ＡＰＴＳ＋Ｍ）＜０の計算の最後のステップが実行される。状態４、６、８及 び１０の間、信号５３１は、加算器／減算器５１３の入力端子Ａに入力されるバ ス５０５にマルチプレクサ５５８を介して送るためにカウンタ５１１の出力を選 択する。図５ＡのＡ／Ｖ同期回路の残りの部分がシステムクロックの周波数で動 作している間、カウンタはセレクタブル周波数デバイダ５１０からの出力によっ てインクリメントされるので、カウンタ５１１の出力は、式の計算の間不変の値 として現れる。従って、カウンタ出力５４４は、ＶＰＴＳが受信された後にその 値からインクリメントされるべきではない。 状態４、６、８及び１０の間、信号５３１は、マルチプレクサ５５４を介して バス５０６上に送り、加算器／減算器５１３の入力Ｂに入力するように、レジス タ５５５からの出力を選択する。状態４の間、値（９２１６＋ＶＰＴＳ’）は、 入力Ｂとして加算器／減算器５１３に入力され、値（ＡＰＴＳ＋Ｍ）は、入力Ａ として加算器／減算器５１３に入力される。加算器／減算器制御信号５６０−５ ６２は、Ｂ−Ａの演算を実行するために、加算器／減算器５１３を選択する。Ｓ ＷＡＰ信号５６１はＡ入力とＢ入力とを交換するためにアクティブにされ、ＣＯ ＭＰＢ信号５６２は、加算器／減算器５１３のキャリー入力でのＳＵＢ信号５６ ０の加算に伴い、加算器／減算器５１３が、（ＡＰＴＳ＋Ｍ）を補い、それの２ の補数の形に変換するためにアクティブにされる。加算器／減算器５１３は、そ の後は（ＶＰＴＳ’＋９２１６）を−（ＡＰＴＳ＋Ｍ）に加算する。 もしも状態４の間、加算器／減算器５１３のオーバーフロー出力５４９がオー バーフロー状態を示すと、Ｅｑ．（１０ａ）は満足され、ビデオイメージの表示 はオーディオ再生に対して少なくとも３フレーム遅れており、ビデオフレーム若 しくはそれの一部分が後のオーディオ再生時間に追いつくようスキップされる。 もしも計算が結果としてオーバーフロー状態にならなければ、ステートマシンは 状態５（Ｓ５）５２５に遷移する。オーバーフロー出力５４９は、状態４の間Ｄ フリップフロップ５７２に、状態６の間Ｄフリップフロップ５７４に、状態８の 間Ｄフリップフロップ５７６に、そして状態１０の間Ｄフリップフロップ５７８ に記憶される。 オーバーフロー状態では、制御信号出力ＳＫＩＰ ＭＵＬＴ５４５は、ビデオ イメージをオーディオ再生に十分マッチさせるために、ビデオイメージの複数の フレーム、例えば３フレーム、のスキップをさせるために、他の回路（図示せず ）に知らせる。それに代えて、制御信号出力５４５は、イメージのビデオ表示が 追いつくまでの間、多数のフレーム分、オーディオ再生を遅延させても良い。し かしながら、この後者の方法は、人の眼に対するビデオ表示の変化よりも、人の 耳に対するオーディオ再生の変化が気づかれ易いので好ましくない。更に、もし オーバーフローの状態が現れたら、オーバーフロー出力５４９は、リセットロジ ック５５２を通じてステートマシン５５３をリセットさせる。一旦、式（９ａ） 、（１０ａ）、（１３ａ）若しくは（１４ａ）の１つが満足されると、図５Ａの Ａ／Ｖ同期回路は、計算のシーケンスの全てを実行する必要がない。もし（ＶＰ ＴＳ’＋９２１６）−（ＡＰＴＳ＋Ｍ）の計算がオーバーフロー状態にならなか った場合は、ステートマシン５５３は状態５に遷移するということを思い出され たい。 状態５（Ｓ５）５２３の間、ビデオがオーディオに対し３フレーム時間以上進 んでいるか否かを検出するために、Ｅｑ．（９ａ）（ＡＰＴＳ＋Ｍ）−（ＶＰＴ Ｓ’−９２１６）＜０の計算が開始される。状態５は（ＶＰＴＳ’−９２１６） を生成する。制御信号５６５（Ｓ３、Ｓ５）は、状態５の間、マルチプレクサ５ ５６を介してバスＹ［１２：０］５３７のビット６から２に送るように、ＯＶ１ に記憶されているオフセット値を選択する。制御信号５３１は、状態５の間、マ ルチプレクサ５５８を介して加算器／減算器５１３の入力Ａに入力するために、 バスＹ［１２：０］５３７を選択する。制御信号５３１は、状態５の間、マルチ プレクサ５５４を介して加算器／減算器５１３の入力Ｂに入力するために、ビッ ト１１から０上の切り捨てられたＶＰＴＳを持つバスＲ［１２：０］を更に選択 する。 加算器／減算器制御信号５６０−５６２は、Ｂ−Ａの演算を実行するために加 算器／減算器５１３を選択する。ＳＷＡＰ信号５６１は、Ａ入力とＢ入力を交換 するためにアクティブになり、ＣＯＭＰＢ信号５６２は、加算器／減算器５１３ のキャリー入力へのＳＵＢ信号５６０の加算に伴い、加算器／減算器５１３が（ ９２１６）を補い、その２の補数の形に変換するようにアクティブになる。従っ て、加算器／減算器５１３は、（ＶＰＴＳ＋−９２１６）の加算を実行し、バス ５０７上のその結果は、状態５の間、レジスタ５５５に記憶される。ステートマ シンはそして状態６に遷移する。 状態６（Ｓ６）５２６の間、計算Ｅｑ．（９ａ）（ＡＰＴＳ＋Ｍ）−（ＶＰＴ Ｓ’−９２１６）＜０は完了される。（ＶＰＴＳ＋−９２１６）の値は（ＡＰＴ Ｓ＋Ｍ）から減算される。信号線５３１は、状態６の間、加算器／減算器５１３ の入力Ａに入力されるバス５０５にマルチプレクサ５５８を介して送るために、 カウンタ出力バス５４４を選択する。信号線５３１は、また、マルチプレクサを 介してバス５０６に送り、加算器／減算器５１３の入力Ｂに入力するためにバス ５４１上のレジスタ５５５からの出力を選択する。加算器／減算器制御信号５６ ０−５６２は、Ｂ−Ａの演算を実行するために、加算器／減算器５１３を選択す る。ＳＷＡＰ信号５６１は、入力Ａと入力Ｂを交換するためにアクティブになり 、ＣＯＭＰＢ信号５６２は、加算器／減算器５１３のキャリー入力へのＳＵＢ信 号５６０の加算に伴い、加算器／減算器５１３が（ＶＰＴＳ’＋−９２１６）を 、その２の補数の形に変換するようにアクティブにする。 加算器／減算器５１３は、（ＡＰＴＳ＋Ｎ）への−（ＶＰＴＳ’＋−９２１６ ）の加算を実行する。もし（ＡＰＴＳ＋Ｎ）への（ＶＰＴＳ’＋−９２１６）の 加算によってオーバーフロー状態となったら、Ｅｑ．（９ａ）は満足され、ビデ オはオーディオに対して少なくとも３フレーム進んでいる。もし、オーバーフロ ー状態がなければ、ステートマシンは状態７に遷移する。 オーバーフローでは、オーバーフロー出力５４９は、状態６の間、Ｄフリップ フロップ５７４に記憶される。制御信号出力ＲＰＴ ＭＵＬＴ５４６は生成され 、ビデオイメージが不変に保持され、オーディオがビデオに追いつくように、ビ デオイメージの複数のフレーム、例えば３フレームをリピートするように、他の 回路（図示せず）に知らせる。その代わりに、制御信号出力５４５は、イメージ のビデオ表示に追いつくために、オーディオ再生に、多数のフレーム若しくはデ ータパケットをスキップするようにさせるが、しかしながら、オーディオデータ のスキップは好ましくない。更にまた、オーバーフローでは、ステートマシン５ ５３は状態０にリセットされる。もしも（ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−９２ １６）の計算がオーバーフロー状態とならなければ、ステートマシンが状態７に 遷移するということを思い出されたい。 状態７（Ｓ７）５２５の間、計算Ｅｑ．（１４ａ）（ＶＰＴＳ’＋３０７２） −（ＡＰＴＳ＋Ｍ）＜０は、ビデオがオーディオに対し１フレーム時間より大き く遅れているか否かを検出するために開始される。状態７の間、（ＶＰＴＳ’＋ ３０７２）に対する値が生成される。状態７及び９の間、レジスタ５５７からの オフセット値ＯＶ２は、マルチプレクサ５５６を介して、バスＹ［１２：０］５ ３７のビット６から２に送られるように、信号５６９（Ｓ７、Ｓ９）によって選 択される。信号５３１は、マルチプレクサ５５８を介してバス５０５に送り、加 算器／減算器５１３の入力端子Ａに入力するために、バスＹ［１２：０］５３７ を選択する。信号線５３１はまた、状態７の間、加算器／減算器５１３の入力Ｂ として、バス５０６に接続するために、ビット１１から０上でレジスタ５１２に 記憶されているＶＰＴＳ値を使用可能なバスＲ［１２：０］５４０を選択する。 加算器／減算器制御信号５６０から５６２は、Ａ＋Ｂの演算を実行するために、 加算器／減算器５１３を選択する。ＳＷＡＰ信号５６１、ＣＯＭＰＢ信号５６２ 及びＳＵＢ信号５６０は、加算器／減算器５１３が（ＶＰＴＳ’＋３０７２）の 加算を実行できるようにインアクティブになる。バス５０７上の結果として生じ た出力は、状態７の間、信号５６７及びチップクロック５１８によってレジスタ ５５５に記憶される。チップクロック５１８はまた、ステートマシンを状態８へ 遷移させる。 状態８（Ｓ８）５２８の間、計算Ｅｑ．（１４ａ）（ＶＰＴＳ’＋３０７２） −（ＡＰＴＳ＋Ｍ）は完了される。カウンタ５１１内の（ＡＰＴＳ＋Ｍ）の値は 、レジスタ５５５に記憶されている（ＶＰＴＳ’＋３０７２）の値から減算され る。状態８の間、信号５３１は、マルチプレクサ５５８を介してバス５０５に送 り、加算器／減算器５１３の入力Ａに入力するように、バス５４４上のカウンタ 出力を選択する。信号５３１はまた、状態８の間、マルチプレクサ５５４を介し て、加算器／減算器５１３の入力Ｂとしてバス５０６に送るために、バス５４１ 上のレジスタ５５５からの出力を選択する。加算器／減算器制御信号５６０−５ ６２は、Ｂ−Ａの演算を実行するために、加算器／減算器５１３を選択する。Ｓ ＷＡＰ信号５６１は、入力Ａ及び入力Ｂを交換するためにアクティブになり、Ｃ ＯＭＰＢ信号５６２は、加算器／減算器５１３のキャリー入力へのＳＵＢ信号５ ６０の加算に伴い、加算器／減算器５１３が（ＡＰＴＳ＋Ｍ）を補い、その２の 補数の形に変換するようアクティブになる。加算器／減算器は、次いで、（ＶＰ ＴＳ’＋３０７２）を−（ＡＰＴＳ＋Ｍ）に加算する。 もし−（ＡＰＴＳ＋Ｍ）への（ＶＰＴＳ’＋３０７２）の加算からオーバーフ ロー状態となった場合には、Ｅｑ．（１４ａ）は満たされ、ビデオはオーディオ に対して少なくとも１フレーム以上３フレームより少なく遅れている。もしオー バーフロー状態がなかったらステートマシンは状態９に遷移する。 オーバーフローでは、オーバーフロー出力５４９は状態８の間Ｄフリップフロ ップ５７６に記憶され、ビデオイメージの１フレーム若しくはその一部をスキッ プするように、他の回路（図示せず）に知らせる制御信号出力５４７を生成する 。一方、制御信号出力５４７は、イメージのビデオ表示が追いつくのを可能にす るために、オーディオ再生をオーディオデータの１フレーム若しくはそれの一部 分だけ遅延させても良いが、これは好ましくない。オーバーフローでは、さらな る計算は不要なので、ステートマシンは状態０にリセットされる。しかしながら 、もしＥｑ．（１４ａ）の計算を行った後にオーバーフロー状態が生じなければ 、ステートマシン５５３は状態９に遷移する。 状態９（Ｓ９ ５２９）の間、計算Ｅｑ．（１３ａ）（ＡＰＴＳ＋Ｍ）−（Ｖ ＰＴＳ’−３０７２）＜０は、ビデオがオーディオに対して１フレーム時間より 大きく進んでいるか否かを検出するために開始される。状態９の間、切り捨てら れたオフセット値ＯＶ２は、バスＹ［１２：０］５３７のビット６から２をマル チプレクサ５５６を通過するよう信号５６９によりレジスタ５５７から選択され る。信号５３１は、バス５０５へマルチプレクサ５５８を通過するようにバスＹ ［１２：０］５３７を選択し、加算器／減算器５１３の入力端子Ａに入力される 。信号５３１はまた、状態９の間、加算器／減算器５１３の入力Ｂとしてマルチ プレクサ５５４を介してバス５０６に送るために、ビット１１から０上でレジス タ５１２内に記憶されているＶＰＴＳ値を使用可能なバスＲ［１２：０］５４０ を選択する。加算器／減算器制御信号５６０−５６２は、Ｂ−Ａの演算を実行す るために加算器／減算器５１３を選択する。ＳＷＡＰ信号５６１はＡ入力とＢ入 力を交換するためにアクティブにされ、ＣＯＭＰＢ信号５６２は、加算器／減算 器５１３のキャリー入力へのＳＵＢ信号の加算に伴い加算器／減算器５１３が（ ３０７２）を補いその２の補数の形に変換するようにアクティブになる。従って 、加算器／減算器５１３は、（ＶＰＴＳ＋−３０７２）の加算を実行し、バス５ ０７上のその結果は、状態９の間、チップクロック５１８及び信号５６７により レジスタ５５５に記憶される。チップクロック５１８はまた、ステートマシン５ ５３を状態１０に遷移させる。 状態１０の間、Ｅｑ．（１３ａ）（ＡＰＴＳ＋Ｍ）−（ＶＰＴＳ’−３０７２ ）の計算が完了される。現在レジスタ５５に記憶されている（ＶＰＴＳ’−３０ ７２）の値は（ＡＰＴＳ＋Ｍ）から減算される。状態１０の間、信号５３１は、 マルチプレクサ５５８を介してバス５０５に渡し、加算器／減算器５１３の入力 Ａに入力するために、バス５４４上のカウンタ５１１の出力を選択する。信号線 ５３１は状態１０の間、加算器／減算器５１３の入力Ｂとしてマルチプレクサ５ ５４を介してバス５０６に渡すために、バス５４１上のレジスタ出力を選択する 。加算器／減算器制御信号５６０−５６２は、Ｂ−Ａの演算を実行するために加 算器／減算器５１３を選択する。ＳＷＡＰ信号５６１は、Ａ入力とＢ入力を交換 するためにアクティブにされ、ＣＯＭＰＢ信号５６２は、加算器／減算器５１３ のキャリー入力へのＳＵＢ信号５６０の加算に伴い、加算器／減算器５１３が（ ＶＰＴＳ’＋３０７２）を補い、その２の補数の形に変換するようにアクティブ になる。加算器／減算器５１３は（ＡＰＴＳ＋Ｎ）への−（ＶＰＴＳ’＋−３０ ７２）の加算を実行する。 もし（ＡＰＴＳ＋Ｎ）への−（ＶＰＴＳ’＋−３０７２）の加算からオーバー フロー状態となった場合には、Ｅｑ．（１３ａ）は満足され、オーディオはビデ オに対し少なくとも１フレーム以上３フレームより少なく進んでいる。もしオー バーフロー状態がないなら、ステートマシンは動作停止状態である状態０に遷移 する。 オーバーフローでは、オーバーフロー出力５４９は、状態１０の間、Ｄフリッ プフロップ５７８に記憶されオーディオが追いつくのを可能にするためにビデオ イメージの１フレーム若しくはその一部分をリピートするように他の回路（図示 せず）に知らせる制御信号出力５４８を生成する。そのかわり、制御信号出力５ ４８は、イメージのビデオ表示に適合するために、オーディオデータ１フレーム 若しくはそれの一部分をオーディオ再生にスキップさせてもよいが、これは好ま しくない。このステートマシンは、さらなる計算が不要なのでオーバーフロー状 態により状態０にリセットされる。もしＥｑ．（１３ａ）の計算した後にオーバ ーフローが生じなかったら、ステートマシンは、実際の時間ドリフトがＥｑ．（ １２ａ）、（１１ａ）、（１４ａ）及び（１３ａ）によって検出されたものより 少ないので状態０に反転する。 図５ＡのＡ／Ｖ同期回路は前述の例で４つの式と２つのオフセット値のみを用 いて特に詳細に説明されているが、追加の式及びオフセット値は、追加のレジス タを追加すること及びステートマシンに追加の状態を与えることによって適応さ れ、若しくは他の式の計算が実行され、若しくは今の式が他の方法で実行される 。他の変更は当業者にとって明らかであろう。興味深い１つの変更は図５Ｂのそ れである。図５Ｂは、図５Ａの回路とほんのわずかに異なる方法で同期はずれを 検出する第２のＡ／Ｖ同期回路を説明している。ＶＰＴＳの切り捨てられた値が カウンタ５１１に入力され、ＡＰＴＳの切り捨てられた値がレジスタ５１２に入 力されることに注意されたい。図５Ａの説明においては、Ｅｑ．（１２ａ）、（ １１ａ）、（１４ａ）及び（１３ａ）が用いられた。図５Ｂでは、Ｅｑ．（２０ ａ）−（１９ａ）及び（２２ａ）−（２１ａ）が１及び３フレーム時間に対して 用いられる。図５ＢのＡ／Ｖ同期回路は、図５ＡのＡ／Ｖ同期回路と同じ方法で 動作する。図３Ａの３０６−３０８のような符号化されたビデオストリーム中の ＶＰＴＳが発生される毎に、カウンタ５１０はＶＰＴＳ値を示す２進値が再ロー ドされる。カウンタ５１０はＳＣＬＫでインクリメントされる。図３Ａの３１２ のような符号化されたデータストリーム中にＡＰＴＳが生じると、ＡＰＴＳを表 す２進値は、遅延時間の修正及び式の計算が生じるように、レジスタ５１２に記 憶される。他の点では、図５Ｂの回路は上述した図５Ａと同様に機能し動作する 。 図８は、図６で説明されているような典型的なマルチメディアシステムの一部 を説明している。メモリ６９１は、Ｖｉｄｓｙｓｔデコーダ６１９のメモリコン トローラ８２９及びＦＩＦＯ６４１に接続する。ビデオデコーダ６２１及びシス テムデコーダ６２２は、Ｖｉｄｓｙｓｔデコーダ６１９内に含まれる。図５Ａ及 びＢでより詳細に説明されているＡ／Ｖ同期回路６２０は、Ｖｉｄｓｙｓｔデコ ーダ６１９に含まれる。 メモリ６９１は、ホストプロセッサ（図示せず）から受信した符号化／圧縮さ れたオーディオデータ及び符号化／圧縮されたビデオデータを一時的に記憶部分 ８７０に記憶する。記憶部分８７０は、多数のＭＰＥＧタイプの符号化されたビ デオフレーム及び多数のＭＰＥＧタイプの符号化されたオーディオデータパケッ トを記憶するのに十分な大きさである。符号化／圧縮されたオーディオデータは 、適切な時間にＶｉｄｓｙｓｔデーコーダ６１９によって記憶部分８７０から読 み出され、ＦＩＦＯ６４１及びオーディオコントロール／ＦＩＦＯ８３０を介し てオーディオデコーダ６２７に送られる。符号化／圧縮されたビデオデータは、 その符号化／圧縮ビデオデータを復号化し伸張して、復号化／伸張されビデオデ ータにする適切な時間にＶｉｄｓｙｓｔデコーダ６１９によって記憶部分８７０ から読み出され、メモリ９６１に記憶され直す。メモリ９６１は、各記憶部分８ ７１から８７４に、１フレームの復号化／伸張されたビデオデータを一時的に記 憶する。 メモリコントローラ８２９は、メモリ６９１内のアドレス指定可能な記憶位置 に対しデータを読み書きするようメモリ制御ロジック８７５に命令する。メモリ ６９１内のメモリ制御ロジック８７５は、データバス８２４及びＦＩＦＯメモリ ６４１を介してＶｉｄｓｙｓｔデコーダ６１９とメモリ６９１内のアドレス指定 可能な位置を接続する。 上述したように、同期はずれを検出するために、Ａ／Ｖ同期回路によって行わ れる計算結果に依存して、オーディオ再生及びイメージのビデオ表示は、ビデオ フレーム若しくはそれの一部分をリピート若しくはスキップすること、又はオー ディオデータパケット若しくはそれの一部分をスキップ若しくは遅延することに よって再同期される。 イメージのビデオ表示のフレームをスキップするには、符号化／圧縮されたビ デオデータフレームが、オーディオ再生とビデオ表示を再同期するためにスキッ プされることが好ましい。イメージのビデオ表示のフレームをリピートするには 、復号化／伸張されたビデオデータフレームが、オーディオ再生とビデオ表示を 再同期するためにリピートされることが好ましい。これに代えて、符号化／圧縮 されたオーディオデータのパケットが、オーディオ再生とビデオ表示を再同期す るためにスキップ若しくは遅延されても良い。 符号化／圧縮されたビデオデータフレームをスキップするために、適切なフレ ームのタイプが検出されることが必要である。システムデコーダ６２２は、符号 化／圧縮されたビットストリームを分離して、符号化／圧縮されたビデオデータ 、符号化／圧縮されたオーディオデータ及びタイミング情報にすると、例えばＩ −タイプ、Ｐ−タイプ若しくはＢ−タイプ等のビデオフレームのタイプを信号線 ８５１を介してメモリコントローラ８２９に知らせる。従って、メモリコントロ ーラ８２９は、符号化されたビデオフレームのタイプが何であるか及び各タイプ を見つけることのできるメモリ６９１内のアドレス指定可能な記憶位置のアドレ ス空間のアドレスを知る。Ａ／Ｖ同期回路から、同期はずれを示す、図５Ａ−Ｂ の信号５４５−５４８のような信号を受信すると、メモリコントローラ８２９は 、メモリ６９１内にスキップされても良い適切なタイプの符号化／圧縮されたビ デオフレームタイプがあるか否かを検出する。もしもメモリコントローラ８２９ がスキップされるタイプを知ると、所望の符号化／圧縮されたフレームをスキッ プするために、メモリ６９１に供給されるアドレッシングの順序を変更する。ア ドレッシング順序の変更は、異なる開始アドレスを選択することと同様に単純で ある。所定のアドレスシーケンスに対する他の変更が、記憶された符号化／圧縮 フレームのスキップに適応することが諒解されよう。 もしもメモリコントローラ８２９が、メモリ６９１内にスキップされても良い タイプの符号化されたフレームがないことを知った場合には、受信された符号化 ／圧縮されたビットストリーム中にそれがシステムデコーダ６２２によって分離 されたとき、スキップされても良いタイプを探す。予め決められた時間の後、も しもスキップされても良い符号化／圧縮されたフレームのタイプが、符号化／圧 縮ビットストリーム中に見つけられなかった場合は、メモリコントローラは、ソ フトウエアに再同期を実行させるように割り込み要求を信号線８５０を介して通 知する。 復号化／伸張されたビデオデータフレームをリピートするために、メモリコン トローラ８２９は、ビデオデータの同じフレームを含むメモリ６９１中のアドレ ス指定可能な記憶位置に対するメモリアドレスのシーケンスをリピートするよう に、メモリ６９１に単純に命令する。リピートされるために選択された符号化／ 圧縮ビデオデータフレームは、２回メモリ６９１から読み出され、ＦＩＦＯ６４ １を介してビデオデコーダ６２１に送られる。 符号化／圧縮されたオーディオデータをスキップするために、メモリコントロ ーラ８２９は、メモリアドレスのシーケンスを選択的にスキップ、若しくは、符 号化／圧縮されたオーディオデータをより滑らかにスキップするためにメモリア ドレスを定期的にスキップする。符号化／圧縮されたオーディオデータのアドレ スのシーケンスをスキップすることは、上述したような符号化／圧縮されたビデ オデータのアドレスのシーケンスをスキップすることと同様である。好ましくは 、オーディオコントローラ／ＦＩＦＯ８３０は、オーディオ再生とイメージのビ デオ表示を同期させるために、オーディオデコーダ６２７による復号化／伸張さ れたオーディオデータの発生の速度を上げても良い。復号化／伸張されたオーデ ィオデータの生成の速度を上げることは、符号化／圧縮されたオーディオデータ をスキップすることよりも、より人に知覚されにくい。オーディオコントローラ ／ＦＩＦＯ８３０は、復号化／伸張オーディオデータの生成の速度を上げるため に、メモリ６９１から符号化／圧縮オーディオデータをより頻繁に要求し、符号 化／圧縮オーディオデータをより速くオーディオデコーダ６２７に供給すること もできる。 符号化／圧縮オーディオデータを遅延するために、オーディオコントローラ／ ＦＩＦＯ８３０は、オーディオデコーダ６２７に復号化／伸張オーディオデータ の生成の速度を落とさせるために、メモリ６９１からあまり頻繁には符号化／圧 縮オーディオデータを要求せず、符号化／圧縮されたオーディオデータを少しだ けゆっくり供給する。 本発明の特にマルチメディアに対する応用例が、図６に示されている。マルチ メディアコンピュータのようなマルチメディアデジタルシステム６００は、内部 的にＣＤＲＯＭリーダ６１１に接続されたメインのシステムボード６１０とオー ディオ／ビデオデコーダ６１２を有する。マルチメディアデジタルシステム６０ ０は、イメージソース６０１からなる符号化システムに外部的に接続され、デジ タルディスプレイ６０５やＣＲＴモニタ６０６やテレビ６０７のような外部の表 示デバイスに接続される。始めに、符号化は、イメージデータを供給するあるソ ースからのデータに対して行われる。イメージデータを供給するソースの例とし ては、動画カメラ、テレビモニタ、コンピュータ、スキャナとスチルカメラであ る。ソースに関係なくイメージデータはバス６３５上へエンコーダ６０２に対し て供給される。図６では、イメージ６０３は、動画カメラのようなイメージソー ス６０１によって読まれ、エンコーダ６０２によって符号化されるために、バス ６３５上のデータストリームに変換される。使用される標準のタイプによってエ ンコーダ６０２はＭＰＥＧＩエンコーダやＭＰＥＧIIエンコーダ、ＪＰＥＧエン コーダ、また符号化／圧縮データを生成する他のタイプのエンコーダでありえる 。イメージデータは、符号化された後、エンコーダ６０２から直接プロセッサに 接続されたり、コンパクト・ディスク・リード・オンリー・メモリ（ＣＤＲＯＭ ）６０４上に書かれる。ＣＤＲＯＭ６０４上に書かれた場合は、エンコーダ６０ ２から記録された符号化／圧縮データをプロセッサ６１３に結合させるために、 ディスクはＣＤＲＯＭリーダ６１１に挿入されなければならない。 プロセッサ６１３は、インテル８０４８６のような標準プロセッサでも良いし 、専用化されたプロセッサでも良い。プロセッサ６１３は、符号化／圧縮された データを、後に読み出され、システムバス６１５に置かれるためにシステムメモ リ６１４に記憶しても良いし、直接符号化／圧縮データをシステムバス６１５に 結合させても良い。システムバス６１５は、ＩＳＡバス、ＰＣＩバスまた他の標 準的なコンピュータバスまたはいくつかの種類の専用化バスでも良い。システム バス６１５上の符号化／圧縮されたデータストリームは、オーディオ／ビデオ復 号化システム６１２に接続される。システムバス６１５上の符号化／圧縮データ は、Ｖｉｄｓｙｓｔデコーダ６１９に接続される。Ｖｉｄｓｙｓｔデコーダ６１ ９内では、システムデコーダ６２２は、符号化／圧縮データを符号化／圧縮ビデ オデータと、符号化／圧縮オーディオデータと、タイミング制御信号に分離する 。システムデコーダ６２２は、タイミング制御信号を伝送するために、オーディ オ／ビデオ同期回路６２０に接続される。システムデコーダ６２２は、符号化／ 圧縮オーディオデータを伝送するために、直接オーディオデコーダ６２７に接続 されても良いし、符号化／圧縮オーディオデータのフレームのオーディオデコー ダ６２７へ転送される前の一時的な記憶を提供するＦＩＦＯ６４１とメモリ６９ １を介してオーディオデコーダ６２７へ間接的に接続されても良い。システムデ コーダ６２２はまた、符号化／圧縮ビデオデータを伝送するために、ビデオデコ ーダ６２１に直接接続されても良い。他の方法として、システムデコーダ６２２ は、符号化／圧縮されたビデオデータのフレームのビデオデコーダ６２１に転送 される前の一時的な記憶を提供するＦＩＦＯ６４２とメモリ６９１を介して間接 的にビデオデコーダ６２１に接続されても良い。どの場合においても、ＦＩＦＯ ６４１への制御信号６３１、ＦＩＦＯ６４２への制御信号６３０、メモリ６９０ への制御信号は、符号化／圧縮されたビデオデータのフレーム又はその一部、符 号化／圧縮されたオーディオデータのパケットまたはその一部、または復号化／ 伸張されたビデオデータのフレーム又はその一部のどれでもスキップするか繰り 返す可能性を呈する。 もし、メモリ６９１またはＦＩＦＯ６４２内で多数の予め決められたフレーム 以上スキップする必要がある場合には、オーディオ／ビデオデータストリームを 再び並べるために、ＭＰＥＧビットストリームをシーケンス層の初めから再開始 するためにＶｉｄｓｙｓｔデコーダ６１９によって割り込み信号が発生される。 もし、予め定められているフレームの数よりも多くリピートする必要性がある場 合には、オーディオ／ビデオデータストリームを再整列させるために、シーケン ス層の開始部位からＭＰＥＧビットストリームを再始動すべく、割込信号が生成 される。図５Ａでは、復号繰り返し信号５４６と復号スキップ信号５４５のどち らかが、ＣＰＵ６１３に送られる割り込み要求を生成する。ＦＩＦＯ６４１と６ ４２、メモリ６９１に対する他の制御信号は、図示されていないが、コントロー ラ６２９から発生する。 Ｖｉｄｓｙｓｔデコーダ６１９内のビデオデコーダ６２１は、符号化／圧縮さ れたビデオデータをバス６２６に供給される復号化／伸張されたビデオデータス トリームに伸張し復号する機能を果たす。グラフィックコントローラ６２５は、 復号化／伸張されたビデオデータストリームを受け取り、ビデオ表示メモリ６２ ４と連動してデジタルディスプレイ６０５かＣＲＴビデオモニタ６０６のどちら かにイメージをスキャンする。 コーデック６２８は、復号化／伸張されたビデオデータストリームを受け取っ て、テレビ６０７に合うＹＵＶやＲＧＢのようなデータフォーマットに変換する 。コーデック６２８は、現在はＮＴＳＣやＰＡＬのテレビに表示するために、復 号化／伸張されたビデオデータストリームをＮＴＳＣやＰＡＬフォーマットに変 換しているが、将来的なフォーマット変換が同様に使用されても良い。 オーディオデコーダ６２７は符号化／圧縮されたオーディオデータストリーム をアナログアプリケーションデバイス（図示せず）またはドライブスピーカ６０ ８に直接伝送される復号化／伸張オーディオアナログ信号に復号／伸張する。別 な方法として、オーディオデコーダ６２７は符号化／圧縮されたオーディオデー タストリームをアナログアプリケーションデバイス（図示せず）にバス６０９を 介して伝送される復号化／伸張デジタルオーディオデータストリームに復号／伸 張する。 オーディオ／ビデオ同期回路６２０は、図５Ａを参照して上述されたが、シス テムデコーダ６２２によって符号化／圧縮ビットストリームから分離されたタイ ミング情報（ＶＰＴＳ、ＡＰＴＳ、ＳＣＲ）を受け取る。タイミング情報に応じ て、オーディオ／ビデオ同期回路６２０は、符号化／圧縮されたまたは復号化／ 伸張されたオーディオまたはビデオデータの１またはそれ以上のフレームまたは フレームの一部をスキップまたは繰り返すために、ＦＩＦＯ６４１、６４２、メ モリ６９１及びビデオデコーダ６２１への制御信号を間接的におよび直接的に生 成する。ビデオフレームまたはその一部を繰り返すために、オーディオ／ビデオ 同期回路６２０は、ビデオデコーダ６２１に所定の期間同じ出力を制御信号バス ６３０、６３２を介して生成させる。ビデオフレームまたはその一部をスキップ するために、オーディオ／ビデオ同期回路６２０は、ＦＩＦＯ６４２とメモリ６ ９１に、適切な符号化／圧縮されたビットストリームビデオデコーダ６２１に供 給するために、決められた数のアドレスをスキップするようにさせる。 同様に、オーディオデータまたはその一部をスキップするために、オーディオ ／ビデオ同期回路６２０は、ＦＩＦＯ６４１とメモリ６９１に、適切な符号化／ 圧縮されたビットストリームビデオデコーダ６２１に供給するために、決められ た数のアドレスをスキップさせる。 ビデオ基本入出力オペレーティングシステム（ＶＢＩＯＳ）６２３は、グラフ ィックコントローラ６２５とＶｉｄｓｙｓｔデコーダ６１９を初期化する。ＶＢ ＩＯＳ６２３は、Ｖｉｄｓｙｓｔデコーダ６１９とグラフィックコントローラ６ ２５に対するソフトウエアのコード化された命令を有している。Ｖｉｄｓｙｓｔ デコーダ６１９に対する命令は、ＶＨＳテープ記録再生機と同様な、停止、ステ ップ、早送りや符号化／圧縮されたデータに対する他のコマンドを行う。これら の命令は、オーディオ／ビデオ同期回路６２０に、さらにＦＩＦＯ６４２、６４ １、ビデオデコーダ６２０、オーディオデコーダ６２７にビデオフレームやオー ディオデータまたはそれらの一部の組み合わせをスキップまたは繰り返させる制 御信号を生じさせる。 図６はグラフィックスデータと符号化されたデータがバス６１５と表示デバイ ス６０５−６０７を共有する１つの方法を示す。この場合、グラフィックスコン トローラ６２５は、モニタ６０６またはデジタルディスプレイ６０５の同じ表示 デバイス上に表示されるべき６２６上の復号化／伸張されたビデオデータストリ ームとバス６１５上のグラフィックスデータを結合する内部マルチプレクサ（図 示せず）を有する。この場合、グラフィックスデータは背景のウィンドウと他の ウィンドウをディスプレイ上に供給し、一方、復号化／伸張されたデータは同じ ディスプレイ上の他のウィンドウ内に表示される。テレビモニタは１つのディス プレイ上に結合された両方のデータタイプを同様に有することができる。 図７Ａは図６の簡略化されたブロック図を示す。図６及び図７Ａにおいて、バ ス６１５は、バス６１５からＶｉｄｓｙｓｔデコーダ６１９へ送られる符号化さ れたデータとバス６１５からグラフィックスコントローラ６２５へ送られるグラ フィックスデータとの間で時間多重される。図７Ａと図６において、グラフィッ クスコントローラ６２５は、グラフィックスデータと復号化／伸張されたビデオ データを同じ表示デバイス上に多重化する内部マルチプレクサを有する。 図７Ｂは、グラフィックスデータと復号化／伸張されたビデオデータを同じ表 示デバイス上に表示するもう１つの代替案である。この場合、バス６１５は符号 化されたデータとグラフィックスデータと符号化データから生成された復号化／ 伸張されたビデオデータを時間多重する。符号化されたデータはバス６１５上に 置かれ、双方向ポートを有するＶｉｄｓｙｓｔデコーダ７１９によって受け取ら れる。Ｖｉｄｓｙｓｔデコーダ７１９は、その符号化データを復号化／伸張し、 復号化／伸張されたデータをバス６１５へ返送する。グラフィックスコントロー ラ７２５は、グラフィックスデータと復号化／伸張されたデータの両方を、デジ タルディスプレイ６０５、モニタ６０６またはＴＶ６０７それぞれへのほぼ同時 の表示のために内部的に一緒に多重化されるよう受け取る。この場合、グラフィ ックスコントローラ７２５はその２つのデータタイプを正確に多重するだけでな くグラフィックスデータと復号化／伸張されたビデオデータをＴＶ６０７に表示 させるためにＮＴＳＣやＰＡＬ信号に正確に変換するためにもより多くの回路を 有する。 図７Ｃは、外部の構成要素を使ってグラフィックスデータと復号化／伸張され たビデオデータを同じ表示デバイス上に表示するもう１つの代替案である。図７ Ａと同様に、バス６１５は符号化されたデータとグラフィックスデータを時間多 重する。Ｖｉｄｓｙｓｔデコーダ６１９は、バス６１５から符号化データを受け 取り、選択的にピクセルデータとしてデジタルディスプレイ６０５にマルチプレ クサ７０１によって結合され、選択的にアナログ信号としてデジタルアナログ変 換器７０４とマルチプレクサ７０２を介してモニタ６０６に結合され、ＮＴＳＣ ／ＰＡＬコーデック６２８とマルチプレクサ７０３を介してＮＴＳＣ又はＰＡＬ 信号としてＴＶ６０７に結合される復号化／伸張されたビデオデータストリーム を生成する。グラフィックスコントローラ７２６はグラフィックスデータをバス ６１５から受け取り、ピクセルデータをデジタルディスプレイ６０５に、アナロ ググラフィックス信号をモニタ６０６に、ＮＴＳＣ／ＰＡＬ信号をＴＶ６０７に 、タイミング／制御信号をディスプレイ６０５−６０７に、多重化制御信号をマ ルチプレクサ７０１−７０３に供給する。マルチプレクサ７０１−７０３を使用 して、グラフィックスコントローラ７２６は正確に多重化制御信号を生成し、そ れによってグラフィックスデータとＶｉｄｓｙｓｔデコーダ６１９からの復号化 ／伸張されたビデオデータがディスプレイ６０５−６０７のいずれかに表示され るタイミングをとる。グラフィックスコントローラ６２５と７２５内の内部マル チプレクサは外部の多重化７０１−７０３と同様の方法で動作する。 本発明の好ましい実施例と様々な変形例がここで詳細に開示され説明されたが 、当業者にとっては発明の精神と範囲を逸脱しないで様々な形式や詳細な点にお いての変形が容易である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０９Ｇ 5/18 Ｇ０９Ｇ 5/18 5/36 ５１０ 5/36 ５１０Ｍ (72)発明者 サーティン、ダーリル アメリカ合衆国、テキサス州 78744、オ ースチン、サウス インダストリアル ウ ェイ 4210 (72)発明者 ダウム、ダニエル アメリカ合衆国、カリフォルニア州 94538、フレモント、ウエスト ウォーレ ン アベニュー 3100 (72)発明者 オート、ジェフリー、ジー アメリカ合衆国、カリフォルニア州 94538、フレモント、ウエスト ウォーレ ン アベニュー 3100

Claims (1)

1. 【特許請求の範囲】 １．少なくともオーディオデータパケット、ビデオデータパケット、オーディ オ・プレゼンテーション・タイム・スタンプ及びビデオ・プレゼンテーション・ タイム・スタンプを含む符号化データストリームからのオーディオ及びビデオ信 号の同期をとるための装置であって、 符号化データストリームを受信し、前記データストリームを少なくともオーデ ィオデータパケット及びオーディオ・プレゼンテーション・タイム・スタンプを 含む符号化オーディオデータストリームと、少なくとも前記ビデオデータパケッ ト及びビデオ・プレゼンテーション・タイム・スタンプを含む符号化ビデオデー タストリームとに分離するためのシステムデコーダと、 前記システムデコーダに接続され、符号化オーディオデータストリーム中のオ ーディオ・プレゼンテーション・タイム・スタンプの存在を検出するための第１ のオーディオ・プレゼンテーション・タイム・スタンプ検出器と、 前記第１のオーディオ・プレゼンテーション・タイム・スタンプ検出器に接続 され、ロード信号が受信されたときに前記オーディオ・プレゼンテーション・タ イム・スタンプをスタートカウントとして受信し、予め決められたクロック周波 数に基いて前記スタートカウントをインクリメントし、システムタイムクロック を出力するためのシステムタイムクロックカウンタと、 前記システムデコーダ及び前記システムタイムクロックカウンタに接続され、 前記システムタイムクロック及び前記符号化ビデオデータストリームを受信し、 前記システムタイムクロックに同期して前記符号化ビデオデータストリームを復 号化するためのビデオデコーダと、 符号化オーディオデータストリームからの前記オーディオデータパケットを受 信し、前記オーディオデータパケットを復号化するためのオーディオデコーダと 、 前記オーディオデコーダに接続され、符号化オーディオデータストリーム中の オーディオ・プレゼンテーション・タイム・スタンプの存在を検出し、前記オー ディオ・プレゼンテーション・タイム・スタンプに対応するオーディオデータパ ケットが復号化されたときに、前記システムタイムクロックカウンタにロード信 号を出力するための第２のオーディオ・プレゼンテーション・タイム・スタンプ 検出器と、 からなることを特徴とする装置。 ２．前記第１のオーディオ・プレゼンテーション・タイム・スタンプ検出器に 接続され、符号化オーディオデーストリームからの検出されたオーディオ・プレ ゼンテーション・タイム・スタンプを記憶するためのラッチを有することを特徴 とする請求項１記載の装置。 ３．前記システムデコーダに接続され、前記符号化オーディオデータストリー ムからのオーディオデータパケット及びオーディオ・プレゼンテーション・タイ ム・スタンプを受信し、記憶するための第１のオーディオデータバッファを更に 含むことを特徴とする請求項２記載の装置。 ４．前記オーディオデコーダは、前記第１のオーディオデータバッファからの 符号化オーディオデータストリームを受信し、オーディオデータパケット及びオ ーディオ・プレゼンテーション・タイム・スタンプを記憶するための第２のオー ディオデータバッファを更に含むことを特徴とする請求項３記載の装置。 ５．前記第１のオーディオ・プレゼンテーション・タイム・スタンプ検出器は 、多くとも１つだけのオーディオ・プレゼンテーション・タイム・スタンプが前 記第２のオーディオデータバッファに記憶されるように、前記第２のオーディオ ・プレゼンテーション・タイム・スタンプ検出器からのロード信号を受信するよ り前に第２のオーディオ・プレゼンテーション・タイム・スタンプが符号化オー ディオデータストリーム中で検出されたときに、バッファフルハンドシェーク信 号を前記第１のオーディオデータＦＩＦＯに出力することを特徴とする請求項４ 記載の装置。 ６．前記システムデコーダは、符号化データストリームを分離して、オーディ オデータパケット及びオーディオ・プレゼンテーション・タイム・スタンプを含 む符号化オーディオデータストリーム、並びにビデオデータパケット及びビデオ ・プレゼンテーション・タイム・スタンプを含む符号化ビデオデータストリーム とにするためのパーサと、 アドレス指定可能な記憶部を有し、前記パーサに接続され、符号化オーディオ データ、符号化ビデオデータ、若しくは復号化ビデオデータをアドレス指定可能 な記憶部に選択的に記憶及び読み出すためにアドレス指定可能な記憶部をアドレ ッシングするメモリとを更に含むことを特徴とする請求項５記載の装置。 ７．前記ビデオデコーダは、メモリに接続され、符号化ビデオデータを復号化 し、復号化ビデオデータを生成するためのデコーダと、 前記検出器及び前記メモリに接続され、ビデオ・プレゼンテーション・タイム ・スタンプとシステムタイムクロックを比較し、その比較結果が予め決められた しきい値を超えたときに、デコーダによる復号化ビデオデータの生成とメモリに よるアドレス指定可能な記憶部のアドレッシングを実質的に同期するためのシン クロナイザとを更に含むことを特徴とする請求項６記載の装置。 ８．シンクロナイザは、ビデオ時間値が、予め決められたしきい値だけ、シス テムタイムクロック値を超えたことを確定し、 復号化されたビデオデコーダを含むアドレス指定可能な記憶部のメモリによる アドレッシングのシーケンスは、デコーダによる復号化されたビデオデータの生 成とメモリによるアドレス指定可能な記憶部のアドレッシングを実質的に同期さ せるために、アドレスのシーケンスを繰り返すことによって変更されることを含 むことを特徴とする請求項７記載の装置。 ９．同期及び符号化データストリームからのオーディオ及びビデオ信号を復号 化／伸張する方法であって、 組み合わされたシステムとビデオデコーダにおいて、少なくともオーディオデ ータパケット、ビデオデータパケット、オーディオ・プレゼンテーション・タイ ム・スタンプ及びビデオ・プレゼンテーション・タイム・スタンプを含む符号化 データストリームを受信し、前記符号化データストリームを、少なくともオーデ ィオデータパケット及び前記オーディオ・プレゼンテーション・タイム・スタン プを含む符号化オーディオデータストリームと、少なくとも前記ビデオデータパ ケット及び前記ビデオ・プレゼンテーション・タイム・スタンプを含む符号化ビ デオデータストリームとに分離し、 前記組み合わされたシステムとビデオデコーダにおいて、符号化オーディオデ ータストリーム中のオーディオ・プレゼンテーション・タイム・スタンプの存在 を検出し、 前記組み合わされたシステムとビデオデコーダにおいて、符号化オーディオデ ータストリームからの検出されたオーディオ・プレゼンテーション・タイム・ス タンプを記憶し、 前記組み合わされたシステムとビデオデコーダに接続された、前記オーディオ デコーダにおいて、前記符号化オーディオデータストリームからのオーディオデ ータパケットを受信し、前記オーディオデータパケットを復号化／伸張し、 前記オーディオデコーダにおいて、符号化オーディオデータストリーム中のオ ーディオ・プレゼンテーション・タイム・スタンプの存在を検出し、前記オーデ ィオ・プレゼンテーション・タイム・スタンプに対応するオーディオデータパケ ットが復号化されたときにフラグを出力し、 前記組み合わされたシステムとビデオデコーダにおいて、前記フラグが受信さ れたときに、記憶されたオーディオ・プレゼンテーション・タイム・スタンプを スタートカウントとしてシステムタイムクロックカウンタにセットし、予め決め られたクロック周波数に基いて前記スタートカウントをインクリメントし、シス テムタイムクロックを出力し、 前記システムタイムクロックと同期して前記符号化ビデオデータストリームを 復号化／伸張することを特徴とする方法。 １０．前記記憶ステップは更に、前記組み合わされたシステムとビデオデコー ダ内の第１のオーディオデータバッファ内に、前記符合化オーディオデータスト リームからのオーディオデータパケット及びオーディオ・プレゼンテーション・ タイム・スタンプを記憶することを特徴とする請求項９記載の方法。 １１．前記オーディオデコーダ内の第２のオーディオデータバッファに前記第 １のオーディオデータバッファからの符合化オーディオデータストリームを受信 し、オーディオデータパケット及びオーディオ・プレゼンテーション・タイム・ スタンプを記憶する受信ステップを更に含むことを特徴とする請求項１０記載の 方法。 １２．多くとも１つだけのオーディオ・プレゼンテーション・タイム・スタン プが前記第２のオーディオデータバッファに記憶されるように、前記第２のオー ディオ・プレゼンテーション・タイム・スタンプ検出器からのロード信号を受信 するより前に第２のオーディオ・プレゼンテーション・タイム・スタンプが符号 化オーディオデータストリーム中で検出されたときに、バッファフルハンドシェ ーク信号を、前記第１のオーディオ・プレゼンテーション・タイム・スタンプ検 出器から、前記第１のオーディオデータＦＩＦＯに出力するステップを更に含む ことを特徴とする請求項１１記載の方法。 １３．前記受信及び分離ステップは、符合化データストリームを、オーディオ データパケット及びオーディオ・プレゼンテーション・タイム・スタンプを含む 符合化オーディオデータストリームと、ビデオデータパケット及びビデオ・プレ ゼンテーション・タイム・スタンプを含む符合化ビデオデータストリームとに分 離するステップと、 符合化オーディオデータ、符合化ビデオデータ若しくは復号化ビデオデータを アドレス指定可能な記憶部に選択的に記憶及び読み出すためアドレス指定可能な 記憶部をアドレッシングするステップを含むことを特徴とする請求項９記載の方 法。 １４．前記ビデオデータを復号化／伸張するステップは、符合化ビデオデータ を復号化して復号化ビデオデータを生成するステップと、 ビデオ・プレゼンテーション・タイム・スタンプとシステムタイムクロックを 比較して、その比較結果が予め決められたしきい値を超えた場合には、復号化ビ デオデータの生成とアドレス指定可能な記憶部のアドレッシングを実質的に同期 させるステップを更に含むことを特徴とする請求項１３記載の方法。 １５．前記比較ステップは、予め決められたしきい値によってビデオ時間値が システムタイムクロック値を超えていることを確定するステップと、 復号化ビデオデータの生成とアドレス指定可能な記憶部のアドレッシングを実 質的に同期させるために、アドレスのシーケンスを繰り返すことによって、復号 化ビデオデータを含むアドレス指定可能な記憶部のアドレッシングのシーケンス を変更するステップとを更に含む請求項１４記載の方法。 １６．符号化オーディオ／ビデオデータを読み取り、復号化し、そして伸張し て複数の表示タイプで表示するためのビデオデータ、及び複数の音声再生装置で 再生するためのオーディオデータにするマルチメディアシステムであって、 少なくともオーディオデータパケット、ビデオデータパケット、オーディオ・ プレゼンテーション・タイム・スタンプ及びビデオ・プレゼンテーション・タイ ム・スタンプを含む符号化データストリームを受信し、前記符号化データストリ ームを少なくともオーディオデータパケット及び前記オーディオ・プレゼンテー ション・タイム・スタンプを含む符号化オーディオデータストリームと、少なく とも前記ビデオデータパケット及びビデオ・プレゼンテーション・タイム・スタ ンプを含む符号化ビデオデータストリームとに分離するためのシステムデコーダ と、 前記システムデコーダに接続され、符号化オーディオデータストリーム中のオ ーディオ・プレゼンテーション・タイム・スタンプの存在を検出するための第１ のオーディオ・プレゼンテーション・タイム・スタンプ検出器と、 前記第１のオーディオ・プレゼンテーション・タイム・スタンプ検出器に接続 され、ロード信号が受信されると、前記オーディオ・プレゼンテーション・タイ ム・スタンプをスタートカウントとして受信し、予め決められたクロック周波数 に基いて前記スタートカウントをインクリメントしてシステムタイムクロックを 出力するためのシステムタイムクロックカウンタと、 前記システムデコーダ及び前記システムタイムクロックカウンタに接続され、 前記システムタイムクロック及び前記符号化ビデオデータストリームを受信し、 前記システムタイムクロックに同期して前記符号化ビデオデータストリームを復 号化／伸張するためのビデオデコーダと、 符号化オーディオデータストリームからの前記オーディオデータパケットを受 信し、前記オーディオデータパケットを復号化／伸張するためのオーディオデコ ーダと、 前記オーディオデコーダに接続され、符合化オーディオデータストリーム中の オーディオ・プレゼンテーション・タイム・スタンプの存在を検出し、前記オー ディオ・プレゼンテーション・タイム・スタンプに対応するオーディオデータパ ケットが復号化されたときに、前記組み合わされたシステムとビデオデコーダ内 の前記システムタイムクロックカウンタにロード信号を出力するための第２のオ ーディオ・プレゼンテーション・タイム・スタンプ検出器と、からなることを特 徴とするマルチメディアシステム。 １７．前記組み合わされたシステムとビデオデコーダは、前記第１のオーディ オ・プレゼンテーション・タイム・スタンプ検出器に接続され、符合化オーディ オデータストリームからの検出オーディオ・プレゼンテーション・タイム・スタ ンプを記憶するためのラッチを更に含むことを特徴とする請求項１６記載のマル チメディアシステム。 １８．前記組み合わされたシステムとビデオデコーダは、前記システムデコー ダに接続され、前記符合化オーディオデータストリームからのオーディオデータ パケット及びオーディオプレゼンテーションタイムスタンプを受信して記憶する ための第１のオーディオデータバッファを更に含むことを特徴とする請求項１７ 記載のマルチメディアシステム。 １９．前記オーディオデコーダは、前記第１のオーディオデータバッファから の符合化オーディオデータストリームを受信し、オーディオデータパケット及び オーディオ・プレゼンテーション・タイム・スタンプを記憶するための第２のオ ーディオデータバッファを更に含むことを特徴とする請求項１７記載のマルチメ ディアシステム。 ２０．前記第１のオーディオ・プレゼンテーション・タイム・スタンプ検出器 は、多くとも１つだけのオーディオ・プレゼンテーション・タイム・スタンプが 前記第２のオーディオデータバッファに記憶されるように、前記第２のオーディ オ・プレゼンテーション・タイム・スタンプからのロード信号を受信する前に、 符合化オーディオデータストリーム内で第２のオーディオ・プレゼンテーション ・タイム・スタンプが検出されたときに、バッファフルハンドシェーク信号を前 記第１のオーディオデータＦＩＦＯに出力することを特徴とする請求項１９記載 のマルチメディアシステム。 ２１．前記システムデコーダは、符号化データストリームを、オーディオデー タパケット及びオーディオ・プレゼンテーション・タイム・スタンプを含む符号 化オーディオデータストリーム、並びにビデオデータパケット及びビデオ・プレ ゼンテーション・タイム・スタンプを含む符号化ビデオデータストリームとに分 離するためのパーサと、 アドレス指定可能な記憶部を有し、前記パーサに接続され、符号化オーディオ データ、符号化ビデオデータ、若しくは復号化ビデオデータをアドレス指定可能 な記憶部に選択的に記憶及び読み出すためアドレス指定可能な記憶部をアドレッ シングするためのメモリとを更に含むことを特徴とする請求項１７記載のマルチ メディアシステム。 ２２．前記ビデオデコーダは、メモリに接続され、符号化ビデオデータを復号 化し、復号化ビデオデータを生成するためのデコーダと、 前記検出器及び前記メモリに接続され、ビデオ・プレゼンテーション・タイム ・スタンプとシステムタイムクロックを比較し、その比較結果が予め決められた しきい値を超えたときに、デコーダによる復号化ビデオデータの生成とメモリに よるアドレス指定可能な記憶部のアドレッシングを実質的に同期するためのシン クロナイザとを更に含むことを特徴とする請求項２１記載のマルチメディアシス テム。 ２３．シンクロナイザは、ビデオ時間値が、予め決められたしきい値だけ、シ ステムタイムクロック値を超えたことを確定し、 復号化されたビデオデータを含むアドレス指定可能な記憶部のメモリによるア ドレッシングのシーケンスは、デコーダによる復号化されたビデオデータの生成 とメモリによるアドレス指定可能な記憶部のアドレッシングを実質的に同期させ るために、アドレスのシーケンスを繰り返すことによって変更されることを含む ことを特徴とする請求項２２記載のマルチメディアシステム。 ２４．ビデオデコーダ及びビデオモニタに接続され、復号化されたビデオデー タをビデオモニタ上の画像として表示するためのグラフィックスコントローラを 更に含むことを特徴とする請求項１６記載のマルチメディアシステム。 ２５．ビデオデコーダ及びデジタルディスプレイに接続され、復号化されたビ デオデータをデジタルディスプレイ上の画像として表示するためのグラフィック スコントローラを更に含むことを特徴とする請求項１６記載のマルチメディアシ ステム。 ２６．ビデオデコーダ及びテレビジョンディスプレイに接続され、復号化され たビデオデータからテレビジョンデータを生成し、テレビジョンデータをテレビ ジョンディスプレイ上に画像として表示するためのテレビジョン信号エンコーダ を更に含むことを特徴とする請求項１６記載のマルチメディアシステム。 ２７．オーディオデコーダに接続され、復号化オーディオデータからアナログ オーディオ信号を生成するためのデジタル−アナログ変換器を更に含むことを特 徴とする請求項１６記載のマルチメディアシステム。 ２８．デジタル−アナログ変換器に接続され、アナログオーディオ信号の振幅 を増幅するためのオーディオ増幅器を更に含むことを特徴とする請求項２７記載 のマルチメディアシステム。 ２９．少なくともオーディオデータパケット、ビデオデータパケット、オーデ ィオ・プレゼンテーション・タイム・スタンプ及びビデオ・プレゼンテーション ・タイム・スタンプによって特徴づけられる符号化データストリームを受信し、 前記ビデオデータパケットを復号化するための装置であって、 符号化データを受信し、少なくともオーディオデータパケット及びオーディオ ・プレゼンテーション・タイム・スタンプを含む符号化オーディオデータストリ ームと、少なくとも前記ビデオデータパケット及びビデオ・プレゼンテーション ・タイム・スタンプを含む符号化ビデオデータストリームとに分離し、前記オー ディオデータストリームを外部のオーディオデコーダに出力するためのシステム デコーダと、 前記システムデコーダに接続され、符号化オーディオデータストリーム中のオ ーディオ・プレゼンテーション・タイム・スタンプの存在を検出するためのオー ディオ・プレゼンテーション・タイム・スタンプ検出器と、 前記オーディオ・プレゼンテーション・タイム・スタンプ検出器に接続され、 オーディオ・プレゼンテーション・タイム・スタンプに対応するオーディオデー タが復号化されたことを示す信号が、外部のオーディオデコーダから受信された ときに、前記オーディオ・プレゼンテーション・タイム・スタンプをスタートカ ウントとして受信し、予め決められたクロック周波数に基いて前記スタートカウ ントをインクリメントしてシステムタイムクロックを出力するためのシステムタ イムクロックカウンタと、 前記システムデコーダ及び前記システムタイムクロックカウンタに接続され、 前記システムタイムクロック及び前記符号化ビデオデータストリームを受信し、 前記システムタイムクロックに同期して前記符号化ビデオデータストリームを復 号化するためのビデオデコーダと、を有することを特徴とする装置。 ３０．前記オーディオ・ブレゼンテーション・タイム・スタンプ検出器に接続 され、符号化オーディオデータストリームからの検出オーディオ・プレゼンテー ション・タイム・スタンプを記憶するためのラッチを更に含むことを特徴とする 請求項２９記載の装置。 ３１．前記システムデコーダに接続され、前記符号化ビデオデータストリーム からのオーディオデータパケット及びオーディオ・プレゼンテーション・タイム ・スタンプを受信し記憶するためのオーディオデータバッファとを更に含むこと を特徴とする請求項２９記載の装置。 ３２．前記システムデコーダは、符号化データストリームを、オーディオデー タパケット及びオーディオ・プレゼンテーション・タイム・スタンプを含む符号 化オーディオデータストリームと、ビデオデータパケット及びビデオ・プレゼン テーション・タイム・スタンプを含む符号化ビデオデータストリームとに分離す るためのパーサと、 アドレス指定可能な記憶装置を有し、前記パーサに接続され、符号化オーディ オデータ、符号化ビデオデータ若しくは復号化ビデオデータを選択的にアドレス 指定可能な記憶部に記憶及び読み出すためのアドレス指定可能な記憶部をアドレ ッシングするためのメモリとを更に含むことを特徴とする請求項３１記載の装置 。 ３３．前記ビデオデコーダは、メモリに接続され、符号化ビデオデータを復号 化して復号化ビデオデータを生成するためのデコーダと、 前記デコーダ及び前記メモリに接続され、ビデオ・プレゼンテーション・タイ ム・スタンプとシステムタイムクロックとを比較し、その比較結果が予め決めら れたしきい値を超えたときに、デコーダによる復号化ビデオデータの生成とメモ リによるアドレス指定可能な記憶部のアドレッシングとを同期するためのシンク ロナイザとを更に含むことを特徴とする請求項３２記載の装置。 ３４．シンクロナイザは、予め決められたしきい値によってビデオ時間値がシ ステムタイムクロック値を超えたことを確定し、 メモリによって復号化されたビデオデータを含むアドレス指定可能な記憶部を アドレッシングするシーケンスは、デコーダによる復号化ビデオデータの生成と 、メモリによるアドレス指定可能の記憶部のアドレッシングとを実質的に同期さ せるために、アドレスのシーケンスを繰り返すことによって変更されることを特 徴とする請求項３３記載の装置。 ３５．少なくともオーディオデータパケット及びオーディオ・プレゼンテーシ ョン・タイム・スタンプによって特徴づけられる符合化オーディオデータストリ ームを受信し、前記オーディオデータパケットを復号するための装置であって、 符合化オーディオデータストリームからの前記オーディオパケットを受信し、 前記オーディオデータパケットを復号化するオーディオデコーダと、 前記オーディオデコーダに接続され、符合化オーディオデータストリーム中の オーディオ・プレゼンテーション・タイム・スタンプの存在を検出し、前記オー ディオ・プレゼンテーション・タイム・スタンプに対応するオーディオデータパ ケットが復号化されたときにフラグ信号を出力するためのオーディオ・プレゼン テーション・タイム・スタンプ検出器とを有することを特徴とする装置。 ３６．前記オーディオデコーダは更に、符合化オーディオデータストリームを 受信し、オーディオデータパケット及びオーディオ・プレゼンテーション・タイ ム・スタンプを記憶するためのオーディオデータバッファを含むことを特徴とす る請求項３５記載の装置。