JPH06343065A - デコーディングシステム、デマルチプレクス方法および信号処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 どのタイムスタンプが、どのアクセスユニッ
トに属するのかを、容易に決定できるようにする。 【構成】 圧縮されたビデオ信号と圧縮されたオーディ
オ信号をデコードするシステムが、デジタルＡＶアプリ
ケーションのためのローカルアクセスユニットカウンタ
を有している。そこにおいては、アクセスユニットヘッ
ダ（例えば、フレームヘッダ、オーディオユニットヘッ
ダ、またはその他のデータユニットヘッダ）が、ストレ
ージメディアエラーや伝送エラーによって失われたり、
あるいは生成される。ＡＶシンクエラーの発生を抑制す
るために、“アクセスユニットカウント”と称される値
が各エレメンタリストリームに含まれる。この値をレジ
スタ２３８，２４４に記憶し、各エンコーダ２２８，２
３０は、アクセスユニットヘッダの消失や誤りを検知
し、ＡＶ同期を訂正することができる。編集を支持する
ために、アクセスユニットカウント内の不連続を表す特
別のビットを付加することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一般的に、オーディオ
およびビデオ情報のデジタル的伝送または蓄積の分野に
関する。特に本発明は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏ
ｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎ
ｄａｒｄｉｚａｔｉｏｎ）のＭＰＥＧ（Ｍｏｔｉｏｎ
Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）のよう
な、マルチプレクスされ、かつパック化されたオーディ
オおよび、またはビデオ（Ａ／Ｖ）情報のタイミングを
確認する技術に関する。

【０００２】

【従来の技術】ここにおいて用いられるアクセスユニッ
トの言葉は、１フレームのビデオデータまたは１バッチ
（ｂａｔｃｈ）（群）のオーディオサンプル、若しくは
１群の他のデータサンプルを意味する。一般的に、デコ
ーダは、所定の周期で、このアクセスユニットを処理
し、デコードされたアクセスユニットを出力する。この
周期は、例えばビデオの場合、ピクチャレートであり、
オーディオの場合、オーディオサンプリングレートの整
数倍（オーディオアクセスユニットにおけるオーディオ
サンプルの数に等しい）となる。

【０００３】例えば、ＩＳＯドキュメント番号１−１１
１７２に規定されているようなＩＳＯスタンダードＭＰ
ＥＧシステムアプリケーションにおいては、アクセスユ
ニットのデコーディング時刻を表すタイムスタンプ（Ａ
ＴＳ，ＶＴＳ）が、図７に示すように、マルチプレクス
されたビデオおよびオーディオパケットのマルチプレク
スシンタックスの中に含まれている。これらのタイムス
タンプは、マルチプレクスシンタックス、即ち、パケッ
トヘッダの中に含まれている。

【０００４】タイムスタンプは、そのパケット内の最初
のアクセスユニットヘッダのデコーディング時刻を表し
ている。各パケットは、複数のアクセスユニットを含む
ことができるため、全てのアクセスユニットがタイムス
タンプに関連付けられているわけではない。

【０００５】マルチプレクスアプリケーションは、複数
のデコーダを用いるが、ＩＳＯのＭＰＥＧ１システムス
タンダードは、１つのデコーダのみを有するアプリケー
ションにもまた、適用が可能である。固定されたビット
レートの（例えばオーディオ）アプリケーションにおい
て、完全なるクロックは存在しない。従って、デジタル
ストレージメディア（ＤＳＭ）ビットレート（または伝
送ビットレート）、およびデコーダ入力ビットレート
は、例えばサンプリングクロック周波数エラーによって
変化する。

【０００６】このようなシステムにおいて、デコーダ
は、一般的に、一度に１つのアクセスユニットを読み込
む。さらに、クロックの差異に起因して、伝送ビットレ
ート（記録媒体より再生出力されるデータのビットレー
ト）と、デコーダへ入力されるデータのビットレートは
一致しない。このような差異を補償するために、バッフ
ァを使用することが可能である。

【０００７】ビデオデータの場合、連続するアクセスユ
ニット（即ち、フレーム）は、ピクチャの内容に対応し
て圧縮され、可変長符号化（ＶＬＣ）されたアクセスユ
ニットとなる。その結果、ビデオデコーダ入力ビットレ
ートは、大きなばらつきを有し、比較的大きなバッファ
を必要とする。

【０００８】しかしながら、バッファを用いたとして
も、そもそも理想的なビットレートは存在し得ず、その
結果、バッファエラー（バッファのオーバフローまたは
アンダフロー）が起こり得る。バッファのオーバフロー
とアンダフローを防止するために、一般的に２つの方法
が用いられる。

【０００９】デジタルストレージメディアスレーブと称
される１つの方法においては、伝送レート（即ち、バッ
ファ入力レート）が制御される。

【００１０】デコーダスレーブと称される他の方法によ
れば、バッファ出力のデータレートが制御される。ビデ
オの場合、これは、フレームレートを調整することによ
り実行される。オーディオの場合、サンプリングレート
を調整することにより実行される。バッファ出力データ
レートは、このように調整される。

【００１１】他のデコーダスレーブ方法は、バッファ出
力データレートを制御するために、アクセスユニットを
スキップするか（オーバフローの恐れがあるとき）、あ
るいは繰り返し出力する（アンダフローの恐れがあると
き）。

【００１２】デコーダレートの調整および伝送ビットレ
ートの調整は、周辺ハードウエアの特性によって制限さ
れる。従って、バッファエラー（即ち、理想的なバッフ
ァの蓄積状態からの偏差）があまりにも大きすぎる場
合、適切な制御が困難になるか、あるいは不可能にな
る。大きなバッファエラーは、再生開始時に、ときどき
発生する。従って、一般的に、デコーダは初期のバッフ
ァエラーを抑制するために、適当なスタートアップディ
レイを与えた後に再生を開始する。

【００１３】ＭＰＥＧ１システムスタンダードにおいて
は、デコーダレートまたは伝送レートを制御するために
使用可能なフィールドが、マルチプレクスシンタックス
に含まれている。パックヘッダのＳＣＲ（Ｓｙｓｔｅｍ
Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）と称される値を、
伝送データレートの制御に用いることができる。ビデオ
パケットヘッダのタイムスタンプは、フレームレートを
制御するために用いることができ、オーディオパケット
ヘッダのタイムスタンプは、サンプリングレートを制御
するために用いることができる。ＳＣＲは、パケットデ
ータ（の先頭部分）がデコーダバッファに入力される時
刻を表し、タイムスタンプは、パケットデータ内の所定
のアクセスユニットがデコーダバッファから出力される
時刻（デコーディングされる時刻）を表している。

【００１４】ＳＣＲとタイムスタンプは、両方とも９０
ＫＨｚのレートで連続的にインクリメントするクロック
の絶対値で表されている。従って、最初に読み出された
ＳＣＲと、最初に読み出されたタイムスタンプの差は、
スタートアップディレイとして用いることができる。

【００１５】残念ながら（最初のスタートアップのため
の最初のオーディオタイムスタンプとビデオタイムスタ
ンプを除き）、このタイムスタンプを連続的に使用する
ことは困難である。なぜならば、デマルチプレクスの
後、タイムスタンプが関係するアクセスユニットから分
離されてしまうからである。即ち、デコーディングシス
テムのデマルチプレクススイッチが、パケットデータか
らタイムスタンプを分離し、そのパケットデータを（タ
イムスタンプを付随させることなく）それぞれのバッフ
ァ内に蓄積するため、どのタイムスタンプが、どのアク
セスユニットヘッダに属するのかを追跡することが困難
になる。

【００１６】例えば、あるデコーディングシステムが所
定のＭＰＥＧマルチプレクスストリームを処理する。最
初のＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅ
ｎｃｅ）が検出され、システムがこの値をローカルクロ
ック（９０ＫＨｚ）の初期化のために用いる。そのとき
から、このクロックは自動的に９０ＫＨｚのレートでイ
ンクリメントされる。そして、システムは、最初のビデ
オＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ
ｓ）を検出する。このＤＴＳは、９０ＫＨｚのクロック
の値で、最初のこの後に続くピクチャヘッダのデコーデ
ィングタイムを表している。

【００１７】しかしながら、一般的に、このピクチャヘ
ッダは、デコードされる前に、ビデオデコーダの前のバ
ッファに起因して、相当遅延しており、従って、使用す
る前に、タイムスタンプも遅延するか、あるいは記憶し
ておく必要がある。さらに、最初のピクチャがデコード
される前に、さらにいくつかのタイムスタンプを有する
ビデオパケットが、デマルチプレクススイッチに到来す
る。従って、これらのタイムスタンプも、使用する前に
遅延されるか、どこかに保持されなければならない。

【００１８】パケットヘッダは、１つのタイムスタンプ
のみを有し、パケットデータは、いくつかのアクセスユ
ニットヘッダを有することができるので、全てのアクセ
スユニットヘッダがタイムスタンプを有する訳ではな
い。パケットデータが１つのアクセスユニットヘッダを
有するものとしても、先行するパケットヘッダにタイム
スタンプを挿入することは選択的なことであり、義務で
はない。なぜならば、タイムスタンプに関し、ＭＰＥＧ
で要求していることは、タイムスタンプを少なくとも
０．７秒毎に１回発生させることだけであるからであ
る。

【００１９】仮に、特定のアプリケーションが２以上の
デコーダを（例えば、１つのビデオデコーダと、１つの
オーディオデコーダを）使用するものとすると、これら
のデコーダを同期させることが度々必要になる。ＭＰＥ
Ｇ１システムスタンダードによれば、タイムスタンプ
は、この同期化を実現するのに使用されなければならな
い。このスタンダードは、オーディオデコーダの処理に
よる遅延と、ビデオデコーダの処理による遅延を、０ｍ
ｓと仮定している。その結果（このモデルにおいて
は）、アクセスユニットがデコードされる時刻は、デコ
ードされたアクセスユニット（即ち、プレゼンテーショ
ンユニット）が出力される時刻である。

【００２０】デコーダの（初期バッファエラーを最小化
するための）スタートアップディレイについて、上述し
た理由の他、マルチデコーダシステムにおいては、各デ
コーダ毎にイニシアルスタートアップディレイが必要と
なる。これは、例えば、（同じパック内において）同時
に発生するオーディオとビデオのパケットが、デコード
された後、異なる時刻に出力されるべきオーディオとビ
デオ信号のセグメントであるようなことが、時折、起き
るからである。

【００２１】これは、有り得ることである。なぜなら
ば、ＭＰＥＧは、各ビデオデコーダとオーディオデコー
ダの前段における所定量の記憶を認めており、これによ
り、フレキシブルなマルチプレクスビットストリーム構
造が許容されるからである。ＭＰＥＧマルチプレクスス
タンダードを記述する他の方法は、そのデコーダにおけ
るバッファが、オーバフローあるいはアンダフローしな
い限り、如何なる種類のパックおよびパケット構造も受
け入れられるとしている。

【００２２】同期化のためのデコーディングシステムと
して、２つの種類が存在する。第１はロックシステムで
あり、そこにおいては、フレームレートとサンプリング
レートが１つの共通のクロック（例えば、ＭＰＥＧにお
ける９０ＫＨｚ）にロックされている。このロックシス
テムは、フレームレートとサンプリングレートが同様に
１つの共通のクロックにロックするようになされたエン
コードシステムにおいて生成されたビットストリームし
か再生することができないという欠点を有している。ビ
デオエンコーダのクロックとオーディオエンコーダのク
ロックがロックしているか否かは、アプリケーションに
よる（ＣＤＩ−ＦＭＶ（即ち、ＭＰＥＧ１スタンダード
を採用するフルモーションビデオエクステンションを有
する、フィリップス社のコンパクトディスクインターラ
クティブ）の場合においては、エンコーダをロックする
ことが義務付けられている）。

【００２３】このシステムにおいては、（仮に、伝送エ
ラー特性が制限されていれば）最初のビデオタイムスタ
ンプとオーディオタイムスタンプを読み取り、それをそ
れぞれのデコードの開始のために使用した後、それに続
く全てのタイムスタンプは、無視することができる。こ
の種のデコーディングシステムは、比較的シンプルであ
り、どのタイムスタンプが、どのアクセスユニットに属
するのかを追跡する必要がない。しかしながら、伝送エ
ラーが、アクセスユニットヘッダを消失させたり、誤っ
て発生させれば、シンクエラー（およびそれに対応する
バッファエラー）が起きる。このような問題は、ＭＰＥ
Ｇシステム以外のシステムにおいても発生する。本発明
は、この問題を解決するものである。

【００２４】第２の種類のデコーディングシステム（ノ
ンロックデコーディングシステムと称される）は、ま
た、ノンロックエンコードマルチプレクスビットストリ
ームを再生することができる。ノンロックエンコードビ
ットストリームは、独立したエンコーダフレームレート
クロックとサンプリングレートクロックを有するエンコ
ードシステムによって発生されたものである。この場
合、ビデオエンコーダのフレームレートエラーと、オー
ディオエンコーダのサンプリングレートエラーは無関係
であり、それらは独立に変化するものである。

【００２５】ノンロックＭＰＥＧデコーディングシステ
ムは、マルチプレクスビットストリームが、ノンロック
エンコーディングシステム、即ち、ピクチャレートクロ
ックとオーディオサンプリングレートクロックが独立し
ているエンコードシステムによって生成された場合にお
いて使用される。ノンロックエンコードシステムが使用
されるか否かは、アプリケーションに依存する。

【００２６】例えば、ＣＤＩ−ＦＭＶの場合、独立した
ビデオエンコーダクロックとオーディオエンコーダクロ
ックが許容される。その代わり、これらの両方のクロッ
クが１つの共通のクロックとロックする必要がある。し
かしながら、将来、ノンロックＭＰＥＧシステムを使用
するアプリケーションが現れるかもしれない。

【００２７】ＭＰＥＧスタンダードが使用されたとき、
ノンロックエンコーダ（フレームレートおよびサンプリ
ングレート）クロックエラーは、タイムスタンプととも
に記録され、ビットストリームに含まれる。再生の間、
ＡＶシンクエラーを防止するため、少なくとも１つのデ
コーダがＰＬＬ機構を有し、そのＰＬＬ機構が周期的に
タイムスタンプを使用し、実際のフレーム（またはサン
プリング）レートをタイムスタンプ値と一致させる必要
がある。

【００２８】ビデオデコーダは、このように、ビデオタ
イムスタンプ（即ち、ビデオＤＴＳまたはビデオＰＴＳ
（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ
ｓ））を読み出し、これらのタイムスタンプを、ピクチ
ャレートを制御するために使用しなければならない。あ
るいはまた、オーディオデコーダが、オーディオＤＴＳ
を読み取り、これらを、オーディオサンプリングレート
を制御するために使用しなければならない。あるいはま
た、両方のデコーダが、これらのタイムスタンプを、そ
れらのクロックを制御するために用いなければならな
い。

【００２９】

【発明が解決しようとする課題】図７において、ＭＰＥ
Ｇまたは同様のパケットのマルチプレクスビットストリ
ーム２０は、ビデオパケット２２とオーディオパケット
２４の混合として示されている。パケット２２とパケッ
ト２４の集合が、パックヘッダ２６により先行される、
より大きなパックとされている。それぞれの場合におい
て、実際のビデオデータ２７またはオーディオデータ２
８は、（他のデータ項目とともに）タイムスタンプ（Ｖ
ＴＳ）３０を有するビデオパケットヘッダ、または（他
のデータ項目とともに）タイムスタンプ（ＡＴＳ）３２
を有するオーディオパケットヘッダにより、それぞれ先
行されている。実際のビデオデータ２７は、ビデオフレ
ームに分割され、オーディオデータ２８は、図示されて
いるように、サンプルの群（ユニット）に分割される。

【００３０】１つのデコーディング方法によれば、デコ
ーディングシステムが、入力パケットを、オーディオビ
ットストリームとビデオビットストリームにデマルチプ
レクスし、そのパケットヘッダからタイムスタンプを取
り出し、このタイムスタンプを、各エレメンタリストリ
ーム（ビデオビットストリームまたはオーディオビット
ストリーム）の関係するアクセスユニットの直前に挿入
する。

【００３１】これにより、図８に示すようなシンタック
スが生成される。このシンタックスにおいて、例えばフ
レームｎ＋１は、ビデオタイムスタンプ（ＶＴＳ）（９
０ＫＨｚクロックによる時間値）を有している。同様
に、オーディオユニットｍ＋１は、そのの直前にオーデ
ィオタイムスタンプ（ＡＴＳ）を含んでいる。

【００３２】このようなエレメンタリストリームを生成
するために、図９に示すようなデコーディングシステム
を用いることができる。このシステムにおいては、マル
チプレクスビットストリーム２０が、デマルチプレクサ
５０に供給され、このデマルチプレクサ５０は、ビット
ストリームを、ビデオデータ、ビデオタイムスタンプ、
オーディオデータおよびオーディオタイムスタンプに分
離する。

【００３３】ビデオデータは、ビデオシンタックス変更
回路５４に供給され、オーディオデータは、オーディオ
シンタックス変更回路５８に供給される。そこで、シン
タックスが図８に示すように変更されたビデオデータと
オーディオデータは、ビデオデコーダ６６とオーディオ
デコーダ６８において、それぞれピクチャレートコント
ロール回路７４とサンプルレートコントロール回路７６
の制御の下、デコーディングされる前にバッファ６０と
６２に記憶される。ビデオとオーディオは、出力８４と
８６にそれぞれ現れる。

【００３４】この方法は、デマルチプレックスされたデ
ータストリームの適正な位置にタイムスタンプを挿入す
るために、各バッファ６０，６２の前に特別のモジュー
ル（変更回路５４，５８）が必要になるという欠点を有
している。

【００３５】このノンロックシステムは、さらに、エレ
メンタリ（Ａ／Ｖ）ビットストリームの両方が変更され
るという欠点を有している（即ち、デコーダ６６，６８
の入力におけるビットストリームは、それぞれオーディ
オスタンダードとビデオスタンダードに従わないことに
なる）。従って、このシステムのデコーダは、ノンマル
チプレックスオーディオビットストリームとビデオビッ
トストリームを直接デコードすることができない。

【００３６】結局、このノンロックシステムは、タイム
スタンプとアクセスユニットヘッダとの間の関係を保持
することができる。従って、（例えば、伝送エラーによ
り）アクセスユニットヘッダが失われたか、あるいは、
誤って生成されたかを検出する能力を有する。このよう
なエラーは、意図するアクセスユニットのデコード時刻
（即ち、タイムスタンプの値）と、作用を受けたデコー
ダのＰＬＬによって検出された実際のアクセスユニット
のデコード時刻との間に大きな差をもたらす原因とな
る。

【００３７】しかしながら、残念なことに、ＰＬＬは、
デコーダのクロックを調整して、このような差を修正す
るよう設計されており、これにより、最悪の場合、第３
の欠点が発生する。ＰＬＬは、デコーダレートを（通
常）非常にゆっくり調整して、大きなＡＶシンクエラー
を修正しようとする。このようなゆっくりした修正処理
は、ＡＶシンクエラーとそれに対応するバッファエラー
を修正するのに、長い時間を必要とする。その結果、バ
ッファがアンダフローあるいはオーバフローする可能性
が増加する。また、大きなＡＶシンクエラーは、数秒あ
るいはそれ以上継続するので、ユーザがＡＶシンクエラ
ーに気付く可能性も増加する。

【００３８】ＰＬＬが作用を受けたデコーダクロックを
迅速に調整することによって、ＡＶシンクエラーを修正
しようとすれば、オーディオまたはビデオに他の影響が
現れる（例えば、ビデオの垂直ロールまたはオーディオ
における周波数シフト）。従って、このシステムにおい
て、タイムスタンプ値によりデコーダクロックを調整す
ることは、ノンロックエンコードコンポジットビットス
トリームに存在する小さなエンコーダクロックエラーを
再現するのに適切である。このアプローチは、所定の数
のアクセスユニットヘッダが失われたり、過剰となった
りすることによって発生する大きなシンクエラーを修正
するのには、常に適切なものという訳ではない。

【００３９】最も単純なＭＰＥＧデコーディングシステ
ム、および最も単純なノンＭＰＥＧデコーディングシス
テムは、ロックされたデコーディングシステムである
（ビデオデコーダのピクチャレートとオーディオデコー
ダのサンプリングレートが１つの共通のクロックにロッ
クしたシステムである）。これらのシステムは、（例え
ば、伝送エラーや記憶エラーに起因して）アクセスユニ
ットヘッダを失ったり、あるいは誤って生成したアプリ
ケーションにおいて使用することができない欠点を有し
ている。

【００４０】本発明の目的は、アクセスユニットヘッダ
の消失または過剰を検出することができるデコーディン
グシステムを提供することにある。

【００４１】本発明の他の目的は、アンロックシステム
において、同期化を維持することができるデコーディン
グシステムを提供することにある。

【００４２】本発明のさらに他の目的は、編集されたマ
ルチプレクスビットストリームおよび編集されたエレメ
ンタリビットストリームを再生することができるデコー
ディングシステムを提供することにある。

【００４３】

【課題を解決するための手段】本発明の一実施例におい
ては、マルチプレクスされたオーディオビデオ信号のた
めのデコーディングシステムが、タイムリファランスを
生成するクロックを有している。デマルチプレクススイ
ッチは、オーディオタイムスタンプが、オーディオサン
プル群の数と等しいか、それより少なく、また、ビデオ
タイムスタンプが、ビデオフレームの数と等しいか、そ
れより少ない場合において、コンポジットデータストリ
ームを、オーディオサンプル群、オーディオタイムスタ
ンプ、ビデオフレームおよびビデオタイムスタンプに分
離する。オーディオフェイズロックループは、オーディ
オタイムスタンプとタイムリファランスを受け取り、タ
イムリファランスとオーディオタイムスタンプとを比較
し、オーディオサンプル群の１つを各オーディオタイム
スタンプに関連付けるオーディオタイミング信号を生成
する。オーディオデコーダは、オーディオサンプル群と
オーディオタイミング信号とを受け取り、オーディオタ
イミング信号に同期して、オーディオサンプル群をデコ
ードする。ビデオフェイズロックループは、ビデオタイ
ムスタンプとタイムリファランスを受け取り、タイムリ
ファランスとビデオタイムスタンプとを比較し、ビデオ
フレームの１つを各ビデオタイムスタンプに関連付ける
ビデオタイミング信号を生成する。ビデオデコーダは、
ビデオフレームとビデオタイミング信号とを受け取り、
ビデオタイミング信号に同期して、ビデオフレームをデ
コードする。

【００４４】ＭＰＥＧスタンダードマルチプレクスオー
ディオビデオ信号のためのデコーディングシステムは、
参照時刻から経過した絶対時刻を表すタイムリファラン
スを生成する、９０ＫＨｚのクロックを含む。デマルチ
プレクススイッチは、オーディオタイムスタンプが、オ
ーディオサンプル群の数と等しいか、それより少ない数
であり、ビデオタイムスタンプが、ビデオフレームの数
と等しいか、それより少ない数である場合において、コ
ンポジットデータストリームを、オーディオサンプル
群、オーディオタイムスタンプ、ビデオフレームおよび
ビデオタイムスタンプに分離する。ビデオタイムスタン
プバッファは、デマルチプレクススイッチから、ビデオ
タイムスタンプを受け取り、オーディオタイムスタンプ
バッファは、デマルチプレクススイッチから、オーディ
オタイムスタンプを受け取る。ビデオバッファは、デマ
ルチプレクススイッチからビデオフレームを受け取り、
オーディオバッファは、デマルチプレクススイッチから
オーディオサンプル群を受け取る。オーディオフェイズ
ロックループは、オーディオタイムスタンプバッファか
らオーディオタイムスタンプを受け取り、また、タイム
リファランスを受け取る。オーディオＰＬＬは、タイム
リファランスとオーディオタイムスタンプを比較し、オ
ーディオサンプル群の１つを各オーディオタイムスタン
プに関連付けるオーディオタイミング信号を生成する。
オーディオフェイズロックループは、クロックを計測す
ることで、オーディオタイムスタンプの値に最も近い時
刻においてデコードされたオーディオサンプル群に、オ
ーディオタイムスタンプを関連付ける。オーディオデコ
ーダは、オーディオサンプル群とオーディオタイミング
信号を受け取り、オーディオタイミング信号に同期し
て、オーディオサンプル群をデコードする。ビデオフェ
イズロックループは、ビデオタイムスタンプバッファか
らビデオタイムスタンプを受け取り、また、タイムリフ
ァランスを受け取る。ビデオＰＬＬは、タイムリファラ
ンスとビデオタイムスタンプとを比較し、各ビデオタイ
ムスタンプをビデオフレームの１つに関連付けるビデオ
タイミング信号を生成する。この場合、ビデオフェイズ
ロックループは、クロックを計測し、ビデオタイムスタ
ンプの値に最も近い時刻においてデコードされたビデオ
フレームとビデオタイムスタンプとを関連付ける。ビデ
オデコーダは、ビデオフレームとビデオタイミング信号
を受け取り、ビデオタイミング信号に同期して、ビデオ
フレームをデコードする。

【００４５】本発明の他の面においては、デコーダがタ
イムリファランスを生成するクロックを含んでいる。コ
ンポジットデータストリームは、データタイムスタンプ
が、データユニットと等しいか、少ない数となっている
場合において、データユニットとデータタイムスタンプ
とに分離される。フェイズロックループは、タイムスタ
ンプとタイムリファランスを受け取り、タイムリファラ
ンスをタイムスタンプと比較し、各タイムスタンプをデ
ータユニットの１つに関連付けるタイミング信号を生成
する。この場合、フェイズロックループはクロックを計
測し、ビデオタイムスタンプの値に最も近い時刻におい
てデコードされたデータユニットとタイムスタンプを関
連付ける。デコーダは、データユニットとオーディオタ
イミング信号を受け取り、タイミング信号に同期して、
ユニットをデコードする。

【００４６】本発明の他の面においては、マルチプレク
スされたオーディオビデオ信号用のデマルチプレクサ
が、コンポジットデータストリームを、オーディオサン
プル群、オーディオタイムスタンプ、ビデオフレームお
よびビデオタイムスタンプに分離する、デマルチプレク
ススイッチを有する。オーディオフェイズロックループ
は、オーディオタイムスタンプを受け取り、オーディオ
タイムスタンプに同期したオーディオタイミング信号を
生成する。オーディオデコーダは、オーディオサンプル
群およびオーディオタイミング信号を受け取り、オーデ
ィオタイミング信号に同期して、オーディオサンプル群
をデコードする。オーディオデコーダは、オーディオサ
ンプル群から、アクセスユニットカウントを抽出し、ア
クセスユニットカウントを、蓄積されたアクセスユニッ
トカウントと比較し、オーディオデコーダが正しく同期
して動作しているか否かを確認する。ビデオフェイズロ
ックループは、ビデオタイムスタンプを受け取り、ビデ
オタイムスタンプに同期するビデオタイミング信号を生
成する。ビデオデコーダは、ビデオフレームとビデオタ
イミング信号を受け取り、ビデオフレームをビデオタイ
ミング信号に同期してデコードする。ビデオデコーダ
は、ビデオフレームからアクセスユニットカウントを抽
出し、アクセスユニットカウントを、蓄積されたアクセ
スユニットカウントと比較し、ビデオデコーダが正しく
同期して動作しているか否かを確認する。

【００４７】本発明の他の面においては、デコーダが、
コンポジットデータストリームをデータユニットとデー
タタイムスタンプとに分離する、デマルチプレクス回路
を有している。タイミング回路は、データタイムスタン
プを受け取り、タイムスタンプに同期してタイミング信
号を生成する。デコーダは、データユニットとタイミン
グ信号を受け取り、データユニットをタイミング信号に
同期してデコードする。デコーダは、各データユニット
から、アクセスユニットカウントを抽出する回路を有
し、アクセスユニットカウントを、蓄積されたアクセス
ユニットカウントと比較し、デコーダが正しく同期して
動作していることを確認する。

【００４８】本発明によるマルチプレクスされたオーデ
ィオビデオ信号をデマルチプレクスする方法は、コンポ
ジットデータストリームを、オーディオサンプル群、オ
ーディオタイムスタンプ、ビデオフレームおよびビデオ
タイムスタンプに分離するステップと、オーディオタイ
ムスタンプに同期して、オーディオタイミング信号を生
成するステップと、オーディオタイミング信号に同期し
て、オーディオサンプル群をデコードするステップと、
オーディオサンプル群からアクセスユニットカウントを
抽出し、アクセスユニットカウントを、蓄積されたアク
セスユニットカウントと比較し、オーディオの同期化を
確認するステップと、ビデオタイムスタンプに同期し、
ビデオタイミング信号を生成するステップと、ビデオタ
イミング信号に同期して、ビデオフレームをデコードす
るステップと、ビデオフレームからアクセスユニットカ
ウントを抽出し、アクセスユニットカウントを、蓄積さ
れたアクセスユニットカウントと比較し、ビデオの同期
を確認するステップと、蓄積されたアクセスユニットカ
ウントを、新しいアクセスユニットが受け取られる毎に
インクリメントするステップとを含む。

【００４９】本発明のビデオおよびそれに付随するオー
ディオ信号を処理する方法は、オーディオサンプル群と
ビデオフレームを含む信号を供給するステップと、オー
ディオサンプル群をデコードするステップと、オーディ
オサンプル群からアクセスユニットカウントを抽出し、
アクセスユニットカウントを、蓄積されたアクセスユニ
ットカウントと比較し、オーディオの同期を確認するス
テップと、ビデオフレームをデコードするステップと、
ビデオフレームからアクセスユニットカウントを抽出
し、アクセスユニットカウントと、蓄積されたアクセス
ユニットカウントと比較し、ビデオの同期を確認するス
テップと、蓄積されたアクセスユニットカウントを、新
しいアクセスユニットが受け取られる毎にインクリメン
トするステップとを有する。

【００５０】データビットのストリームを処理する本発
明の他の方法は、第１のフレームヘッダに対応するアク
セスユニットカウントを有するレジスタを初期化するス
テップと、１以上の連続するフレームを受け取り、デコ
ードするステップと、各連続するフレームのレジスタを
インクリメントし、各連続フレーム毎に、レジスタの内
容とアクセスユニットカウントとを比較するステップ
と、各連続フレームからのアクセスユニットカウント
が、レジスタに蓄積されているアクセスユニットカウン
トと同一であるか否かを決定し、同期を確認するステッ
プと、ビデオフレームのアクセスユニットカウントが、
レジスタに蓄積されているアクセスユニットカウントよ
り小さい場合、ビデオフレームを削除するステップと、
オーディオサンプル群のアクセスユニットカウントが、
蓄積されたアクセスユニットカウントより小さい場合、
オーディオサンプル群を削除するステップと、不連続ビ
ットを検出するステップと、不連続ビットを検出したと
き、レジスタを再度チェックするステップとを有する。

【００５１】デコーダにおけるＡＶ同期エラーを検出
し、修正するために、（デジタルＡＶストレージメディ
アアプリケーションまたはデジタルＡＶ伝送アプリケー
ションのための）ＩＳＯのＭＰＥＧ１システムスタンダ
ードによれば、タイムスタンプは、マルチプレクスシン
タックスのパケットヘッダに含まれている。タイムスタ
ンプは、そのパケットにおいて発生する最初のアクセス
ユニットヘッダ（即ち、フレームヘッダまたはオーディ
オユニットヘッダ）の表示時刻を表す。デマルチプレク
スされた後、タイムスタンプは、通常、関係するアクセ
スユニットから分離される。これが、その使用を困難に
する。例えば、ノンロックデコーディングシステムにお
いては、どのタイムスタンプが、どのアクセスユニット
に属するかを発見する何らかの方法が採用されなければ
ならない。本発明の一実施例によれば、比較的単純なデ
コーディングシステムが、この関係を決定するタイムス
タンプ値の冗長性を利用する。本発明は、各タイムスタ
ンプの値を見て、それを所定のアクセスユニットに関連
付けることによって、どのタイムスタンプが、どのアク
セスユニットに属するかを決定する問題を解決する。こ
れは、ノンロックデコーディングを容易にする。

【００５２】本発明の実施例による圧縮ビデオ信号およ
び圧縮オーディオ信号デコーディング装置は、アクセス
ユニットヘッダ（例えば、フレームヘッダ、オーディオ
ユニットヘッダまたはその他のデータユニットヘッダ）
が、ストレージメディアまたは伝送エラーにより失われ
たり、あるいは生成された場合のためのデジタルＡＶア
プリケーション用のローカルアクセスユニットカウンタ
を含む。ＡＶシンクエラーの発生を抑制するために、ア
クセスユニットカウントと称される値が、各エレメンタ
リストリームに含まれる。この値により、各デコーダ
は、アクセスユニットヘッダの消失、あるいは誤りを検
出することができ、ＡＶ同期を修正することができる。
編集を支持するために、不連続性を表す特別なビットを
付加することができる。

【００５３】アクセスユニットカウントフィールドが各
エンコーダの各エレメンタリビットストリームのシンタ
ックスに含まれる実施例においては、このデータをマル
チプレクスレアーから各エレメンタリに移動する必要が
ない。従って、デコーディングシステムのハードウエア
あるいはソフトウエアは複雑にならない。このデコーデ
ィングシステムにおいては、タイムスタンプがイニシア
ルスタートアップディレイと同期に用いられ、また、エ
ンコーダのフレームおよび、またはオーディオサンプリ
ングレートクロックエラーの追跡に用いられる。アクセ
スユニットカウントは、アクセスユニットヘッダの消失
または偽のアクセスユニットヘッダの検出にのみ用いら
れる。また、より容易なＭＰＥＧロックデコーダシステ
ムが可能であり、本発明は、ノンＭＰＥＧ装置において
も使用が可能である。

【００５４】

【作用】各エレメンタリストリームにおいて、アクセス
ユニットカウント値を使用することで、各デコーダは、
アクセスユニットヘッダの消失や誤ったアクセスユニッ
トを検出することができる。作用を受けたデコーダは、
システムに対し、アクセスユニットを再度デコーディン
グすることによって、あるいはまた、アクセスユニット
をスキップすることによって、同期化エラーの修正やリ
セットを要求することができる。

【００５５】このようなシステムのデコーダは、容易に
提供することができる。加えて、アクセスカウントは、
上記したノンロックデコーディングシステムの欠点を有
しない、よりシンプルなノンロックデコーディングシス
テムを可能にする。

【００５６】

【実施例】上記した問題のうちのいくつかの部分的な解
決は、図１と図２に関して記述される。この解決は、Ｍ
ＰＥＧ１スタンダードに厳格に従うことを要求するシス
テムに適用することができる。このシステムにおいて
は、比較的シンプルなデコーディングシステムが、タイ
ムスタンプとそれに関連付けられるアクセスユニットと
の間の関係を決定するタイムスタンプ値の冗長性を利用
する。

【００５７】ノンロックエンコードビットストリームに
おいては、例えば、ビデオタイムスタンプが、ビデオエ
ンコーダのピクチャレート（例えば３０Ｈｚ）、および
ビデオエンコーダのクロックエラーに依存する、それら
のピクチャのデコーディング時刻を表している。

【００５８】この種のビットストリームにおいては、ビ
デオエンコーダのピクチャレートクロックエラーが０で
あり、かつ、そのエンコーディングシステムにおいて、
完全な９０ＫＨｚのクロックが用いられている場合にお
いては、連続するタイムスタンプの間の差は、ｎを１以
上の整数とすると、３０００ｎとなる（３０００は、ピ
クチャレートが正確に３０Ｈｚであるとした場合の、各
ピクチャ周期内の９０ＫＨｚのサイクルの数である）。

【００５９】しかしながら、クロックエラーがあると、
この差は、例えば３０００ｎ＋１または３０００ｎ−１
となる（ＭＰＥＧスタンダードは、エンコーダにおける
クロックエラーの限界（＜１００ｐｐｍ）を規定すると
ともに、２つの連続するタイムスタンプの間の間隔に限
界（＜０．８ｓ）を規定している）。

【００６０】従って、各タイムスタンプの値を見て、か
つ、処理されたピクチャの数をカウントすることによ
り、ビデオデコーダ（のモジュール）は、どのタイムス
タンプが、どのピクチャに属するのかを見いだすことが
でき、そして、ピクチャレートを制御するために、その
タイムスタンプを利用することができる。同様の方法
は、必要であれば、オーディオデコーダにも適用するこ
とが可能である。

【００６１】この部分的な解決法によるデコーディング
システムが、図１に示されている。このデコーディング
システムにおいては、マルチプレクスビットストリーム
２０が、デジタルシグナルプロセッサ（ＤＳＰ）９８の
制御の下に動作する、デマルチプレクサ５０に入力さ
れ、そこでビデオデータなどが分離される。分離された
ビデオデータが、ビデオバッファ１００に供給される。
分離されたオーディオデータは、オーディオバッファ１
０２に供給される。分離されたビデオタイムスタンプ
は、ビデオタイムスタンプバッファ１０４に供給され、
分離されたオーディオタイムスタンプは、オーディオタ
イムスタンプバッファ１０８に供給される。

【００６２】このシステムにおいては、各ＰＬＬがタイ
ムスタンプを特定のアクセスユニットに関係付ける。即
ち、ビデオフェイズロックループ（ビデオＰＬＬ）１２
０とオーディオＰＬＬ１２２は、タイムスタンプを、そ
のタイムスタンプ値に最も近い位置でデコードされたア
クセスユニットに関係付ける。そして、そのタイムスタ
ンプは、オーディオデコーダ１３０またはビデオデコー
ダ１２８の時間設定の制御に使用される。

【００６３】初期化のために、最初のパックヘッダのＳ
ＣＲが、クロック１１８（ＭＰＥＧ１の場合、９０ＫＨ
ｚ）によって駆動される絶対時刻訂正レジスタ１１４に
供給される。この絶対時刻の値は、ビデオＰＬＬ１２０
およびオーディオＰＬＬ１２２を駆動するために用いら
れる。ビデオおよびオーディオＰＬＬ１２０および１２
２は、それぞれビデオおよびオーディオデータを、ビデ
オバッファ１００およびオーディオバッファ１０２から
受け取るビデオデコーダ１２８およびオーディオデコー
ダ１３０の時間設定を行う。

【００６４】このデコーディングシステムの動作は、図
２に示されている。時刻Ｔ１において、ＤＳＰ９８は最
初のパックヘッダを検出し、デマルチプレクサ５０を位
置ａに切り換え、レジスタ１１４をＳＣＲ_nで初期化す
る。その後、レジスタ１１４の内容は、９０Ｈｚのクロ
ック１１８により、１づつインクリメントされる。時刻
Ｔ２において、ＤＳＰ９８は最初のビデオパケットを検
出し（ＰＴＳを無視し）、デマルチプレクサ５０を位置
ｃに切り換える。これにより、ＤＴＳ_mが、ビデオタイ
ムスタンプバッファ１０４に蓄積される。そして、次の
パックヘッダが時刻Ｔ３で検出されたとき、そのヘッダ
のＳＣＲ_n+1とレジスタ１１４の内容との差が、ＤＳＭ
ビットレート（マルチプレクスビットストリーム２０の
レート）を制御するために、図示せぬ前段の装置で用い
られる。

【００６５】時刻Ｔ４において、ＤＳＰ９８はビデオパ
ケットを検出し、デマルチプレクサ５０を位置ｃに切り
換え、タイムスタンプＤＴＳ_m+1を、ビデオタイムスタ
ンプバッファ１０４に蓄積させる。次に、デマルチプレ
クサ５０は位置ｂにセットされ、ビデオデータをビデオ
バッファ１００に供給する。時刻Ｔ５において、ＤＳＰ
９８はデマルチプレクサ５０を位置ｃにセットし、次の
タイムスタンプＤＴＳ_m+2がビデオタイムスタンプバッ
ファ１０４に記憶される。そして、デマルチプレクサ５
０は位置ｂにセットされ、再びデータをビデオバッファ
１００に供給する。

【００６６】時刻Ｔ６において、レジスタ１１４の内容
（クロック１１８の出力によりインクリメントされてい
る）が、ビデオタイムスタンプバッファ１０４の最初の
タイムスタンプＤＴＳ_mと同じになる。ＰＬＬ１２０
は、この一致を検出し、ビデオデコーダ１２８のフレー
ムｉのデコードをスタートさせる。時刻Ｔ７において、
ＤＳＰ９８はオーディオパケットを検出し、デマルチプ
レクサ５０を位置ｅにセットさせ、タイムスタンプＤＴ
Ｓ_aを、オーディオタイムスタンプバッファ１０８に記
憶させる。

【００６７】時刻Ｔ８において、レジスタ１１４の内容
が、オーディオタイムスタンプバッファ１０８のＤＴＳ
_aと同じになる。ＰＬＬ１２２は、これを検出し、オー
ディオデコーダ１３０のユニット０のデコードをスター
トさせる。

【００６８】また、時刻Ｔ６（ＤＴＳ_m）から１フレー
ム分の時間を経過したときの時刻Ｔ８において、ＰＬＬ
１２０は、ビデオデコーダ１２８にクロックを出力し、
ビデオデコーダ１２８にフレームｉ＋１のデコードを開
始させる。このときタイミング（図２において、太い線
で示すタイミング）は、エンコーダ側で予定しているタ
イミング（図２において、細い線で示すタイミング）よ
り、何らかの理由により、若干遅くなっている。

【００６９】さらに、ＰＬＬ１２０は、次のタイムスタ
ンプ（ＤＴＳ_m+1）と、このタイミング時におけるレジ
スタ１１４の値との差から、このタイミングがＤＴＳ
_m+1に対応するものであるか否かを判定する。両者の差
は比較的大きいので、両者が対応していないことが判
る。即ち、ＰＬＬ１２０は、このフレーム（ｉ＋１）が
タイムスタンプを有していないことを知る。

【００７０】さらに、１フレーム分の時間が経過したと
き、ＰＬＬ１２０はクロックを出力し、ビデオデコーダ
１２８がフレームｉ＋２をデコードする。また、時刻Ｔ
９において、ＰＬＬ１２０は、このデコードのタイミン
グと、時刻ＤＴＳ_m+1との差を検出し、その差が所定値
以下であれば、両者を関連付ける。そして、その差か
ら、例えば、フレームレートが遅いことを検出し、ＰＬ
Ｌ１２０をスピードアップさせようとする。

【００７１】この方法は、伝送（またはＤＳＭ）エラー
特性が制限されているとき（余り大きくないとき）、う
まく動作する。しかしながら、例えば伝送エラーがアク
セスユニットヘッダ（例えば、図２におけるフレームヘ
ッダｉ＋３）を破壊した場合、この方法は、次のような
問題を有している。

【００７２】即ち、この例においては、時刻Ｔ９で（正
確には、それより若干後のタイミングで）、ビデオデコ
ーダ１２８が損傷したフレームヘッダｉ＋３を検出でき
ず、次のフレームヘッダｉ＋４まで、全ての後続するデ
ータを、単に破棄することになる。そして、次の時刻Ｔ
１０（正確には、それより若干後の時刻）において、ビ
デオデコーダ１２８は、フレームｉ＋４を１ピクチャ周
期だけ早く処理し（フレームｉ＋３として処理しようと
するため）、これにより、略１ピクチャ周期に等しいＡ
Ｖシンクエラーが発生する。

【００７３】また、時刻Ｔ１０において、ＰＬＬ１２０
は、タイムスタンプＤＴＳ_m+2を、時刻ＤＴＳ_m+2の近く
でデコードしたフレームに関係付けるが、このフレーム
は、伝送エラーに起因して、フレームｉ＋４となる。従
って、再びＰＬＬ１２０は、フレームレートが遅すぎる
ものと判定し、フレームレートクロックをスピードアッ
プしようとする。しかしながら、損傷を受けたフレーム
ヘッダｉ＋３に起因して、フレームレートは実際には速
すぎるのである。

【００７４】ＭＰＥＧビデオシンタックスの各フレーム
ヘッダの現在のテンポラルリファランスフィールドに
は、ピクチャ１枚につき、１ずつカウントアップするデ
ータが記録されるため、これを用いて、フレームヘッダ
の消失または過剰を検出することが考えられる。しかし
ながら、残念なことに、この値は、各グループオブピク
チャ（ＧＯＰ）の最初のフレームにおいて０にリセット
される。その結果、各ＧＯＰの最後のフレームは保護さ
れず、各ＧＯＰが１フレームだけを有している場合（例
えば、全てのテンポラルリファランスが０である場
合）、ビデオビットストリームが全く保護されない。

【００７５】他の選択は、ＭＰＥＧビデオシンタックス
のＧＯＰヘッダに存在するタイムコードを使用すること
である。しかしながら、この方法は、ＧＯＰヘッダを受
け取ったときにおいてのみ、エラー検出が実行可能であ
るという欠点を有している。多くのフレームを有するＧ
ＯＰの場合、シンクエラーとバッファエラーが長く続く
という欠点を有している。さらに、シンクエラーが訂正
されない場合、それが起こってすぐバッファがオーバフ
ローあるいはアンダフローする可能性が増加する。

【００７６】次に、図３において、アクセスユニットカ
ウントを含むように変更された本発明のデータストリー
ムを示す。このデータストリームにおいては、ビデオデ
ータ２７がフレームｎ，ｎ＋１として構成されている。
本発明によれば、ビデオの各フレームは、そのフレーム
に先行して、アクセスユニットカウント１９０を有して
いる。アクセスユニットカウント１９０は、例えばフレ
ームｎ＋１に対応し、値ｎ＋１が割り付けられている。

【００７７】同様に、オーディオデータ２８の各オーデ
ィオユニットは、１９２ａと１９２ｂとして表されるア
クセスユニットカウント１９２を有している。ユニット
ｍ＋１に対応するアクセスユニットカウント１９２ａに
割り付けられている値は、ｍ＋１であり、ユニットｍ＋
２に対応するアクセスユニットカウント１９２ｂに割り
付けられている値は、ｍ＋２である。アクセスユニット
カウントの割り付けのその他の調整が本発明から離脱し
ない範囲で使用可能である。

【００７８】図４において、図３のデータストリームの
デコーダが示されている。このデコーダにおいては、マ
ルチプレクスビットストリーム２０がデジタルシグナル
プロセッサ（ＤＳＰ）９８の制御の下に動作するデマル
チプレクサ５０に入力され、ビデオデータなどを分離
し、ビデオデータをビデオバッファ１００に供給する。
その他の分離されたオーディオデータは、オーディオバ
ッファ１０２に供給され、タイムスタンプは、ビデオタ
イムスタンプバッファ１０４に供給され、オーディオタ
イムスタンプは、オーディオタイムスタンプバッファ１
０８に供給される。

【００７９】図４の実施例において（図１の実施例でも
同様であるが）、タイムスタンプとして全てのタイムス
タンプを使用しようとすると、比較的大きく、かつ高価
なビデオタイムスタンプバッファ１０４が必要となる。
そこで、一度に１つのタイムスタンプのみを保持するこ
とができる、小さなタイムスタンプバッファを使用でき
るようにすることが好ましい。

【００８０】タイムスタンプバッファを小さくすると、
そこにデータが一杯記憶されているときは、その後入力
されるタイムスタンプは破棄される。これは、タイムス
タンプバッファに対する読み書きのポインタを必要とし
ないため、バッファの管理が単純になる利点を有する反
面、ＰＬＬ制御が幾分遅くなる欠点を有している。

【００８１】しかしながら、タイムスタンプは小さなエ
ンコーダクロックエラーを再現するためにのみ使用され
るのである。従って、（タイムスタンプに定義されてい
る）デコーディングタイムからの付加的な偏差は、非常
に小さな付加的なＡＶシンクエラーと、非常に小さな付
加的なバッファエラーを発生させるに過ぎない。

【００８２】例えば、従来のクリスタルがデコーダクロ
ックを駆動するのに使用されるとき、数秒のクロック制
御動作の遅延でも、９０ＫＨｚクロックのせいぜい数サ
イクルの付加的なＡＶシンクエラーが発生されるに過ぎ
ない。このように、これらのエラーは、半分のピクチャ
周期シンクエラー（３０Ｈｚの場合、９０ＫＨｚクロッ
クの１５００サイクル分）よりはるかに小さいので、タ
イムスタンプを関係するアクセスユニットに関連付ける
ことは容易である。従って、ＰＬＬ制御が幾分遅くなっ
たとしても、実用的には、それ程、問題にはならない。

【００８３】図４の実施例においては、図１のシステム
における場合のように、初期化のため、最初のパケット
ヘッダのＳＣＲがクロック１１８（ＭＰＥＧ１の場合、
９０ＫＨｚ）により駆動される絶対時刻訂正レジスタ１
１４に供給される。この絶対時刻は、ビデオＰＬＬ１２
０とオーディオＰＬＬ１２２を駆動するために用いられ
る。ビデオＰＬＬ１２０とオーディオＰＬＬ１２２は、
それぞれビデオバッファ１００とオーディオバッファ１
０２から、ビデオデータとオーディオデータを受け取る
ビデオデコーダ２２８とオーディオデコーダ２３０の時
間設定を行う。

【００８４】ビデオデコーダ２２８は、ビデオビットス
トリームから、（スタートアップ後）最初に読み出した
（最初に遭遇した）アクセスユニットカウントを抽出
し、それをローカルアクセスユニットカウントとしてレ
ジスタ２３８に保持するビデオＤＳＰ２３４を有する。
同様に、オーディオデコーダ２３０は、オーディオビッ
トストリームから最初に読み出したアクセスユニットカ
ウントを抽出し、それをローカルアクセスユニットカウ
ントとしてレジスタ２４４に保持するオーディオＤＳＰ
２４０を有している。

【００８５】この実施例の動作は、図５のタイミング図
を参照して、より理解することができる。時刻Ｔ１にお
いて、ビデオデコーダ２２８がフレームｉのデコードを
スタートする。ビデオＤＳＰ２３４は、値ｉ（最初のフ
レームヘッダからのアクセスユニットカウントを表す）
によりレジスタ２３８を初期化する。時刻Ｔ１から１フ
レーム後の時刻Ｔ２において、ＤＳＰ２３４は、次のフ
レームｉ＋１をデコードし、レジスタ２３８をインクリ
メントし（ｉ＋１とし）、それを現在のアクセスユニッ
トカウント（即ち、現在処理されているフレーム（いま
の場合、フレームｉ＋１）からのアクセスユニットカウ
ント）と比較する。ＤＳＰ２３４は、そのアクセスユニ
ットカウントがレジスタ２３８に保持されている値と同
一であることを確認し、これによりシステムが同期化す
る。

【００８６】時刻Ｔ２からさらに１フレーム後の時刻Ｔ
３において、ＤＳＰ２３４は、フレームｉ＋２をデコー
ドするとともに、レジスタ２３８をインクリメントし
（ｉ＋２とし）、その値を現在のアクセスユニットカウ
ント（ｉ＋２）と比較し、その結果が適切であることを
確認する。

【００８７】時刻Ｔ４（ＤＴＳ_m+1）において、ＤＳＰ
２３４は、レジスタ２３８をインクリメントし、その値
を（ｉ＋３）とする。しかしながら、フレームｉ＋３の
アクセスユニットカウント（ｉ＋３）が破損しているた
め、次のフレームｉ＋４のアクセスユニットカウント
（ｉ＋４）が検出される。その結果、レジスタ２３８の
値（ｉ＋３）がアクセスユニットカウント（ｉ＋４）と
比較され、これにより、両者が一致しないので、エラー
が発生したことが検出される。

【００８８】このとき、フレームｉ＋４のデコーディン
グは、延期され、現在表示されているフレーム（ｉ＋
２）が再度表示される。その後、時刻Ｔ５において、Ｄ
ＳＰ２３４は、フレームｉ＋４のデコーディングを再開
し、ＡＶシンクエラーを訂正する。

【００８９】図５に示すビットストリームが伝送エラー
に起因して損なわれていなければ、ＭＰＥＧスタンダー
ドの３つの全てのパート（システム、オーディオおよび
ビデオ）を満足する。しかしながら、実際には、フレー
ムヘッダが破壊されているので、ビデオのパーツとマル
チプレクスビットストリーム（システム）のパーツを満
足するものではない。また、受信されたビデオビットス
トリームは、フレームｉ＋２に続いて、デコード不能の
データを有するため、かつ、フレームｉ＋３が失われて
いるため、これらのパーツを満足するものではない。さ
らに、この実施例の（図５の）マルチプレクスビットス
トリームは、フレームｉ＋３のビデオパケットが、タイ
ムスタンプを有するが、検出可能なフレームヘッダを有
しないため、パーツの条件を満足するものではない。こ
れらのビットストリームは、エンコード時には、合法的
なビットストリームであったものである。

【００９０】この図３乃至図５に示す実施例は、ＡＶシ
ンクエラーがいかに検出され、訂正されるかを表すもの
である。この実施例においては、消失ピクチャエラー
は、１ピクチャ周期後に直ちに訂正される。しかしなが
ら、よりインテリジェントなビデオデコーダは、（例え
ば）静止画（または殆ど動かない）ピクチャシーケンス
が発生するまで、訂正手続を延期することができる。同
様のことは、オーディオの場合にも可能である。オーデ
ィオアクセスユニットをスキップしたり、コピーするこ
とは、オーディオトラックの無音部分の区間において行
うのが好ましい。

【００９１】アクセスユニットの消失または付加に拘ら
ず再生を継続するためには、バッファの容量は（エラー
が少ないシステムにおける場合より）、より大きくなさ
れるべきである。これにより、アンダフローを抑制し、
かつ（アプリケーションによっては）、オーバフローを
抑制することができる。アクセスユニットの消失の問題
は、例えば、高い伝送レートエラーと極めて低いビデオ
ビットエラーを有するアプリケーションにおいて最も発
生しやすい。この場合、そのエラーがフレームヘッダで
発生する可能性が高くなる。

【００９２】望むならば、あるいは必要とするならば、
編集されたビットストリームの再生を可能にするため
に、“不連続ビット”をアクセスユニットカウントフィ
ールドに付加することができる。図６の実施例は、ビッ
トストリームをいかに編集するかを表している。この場
合、編集者は、１フレームを除去することを決定する。
これにより、フレームは、連続するアクセスユニットカ
ウントを有していない。

【００９３】即ち、図６において、ＡＡＣはアクセスユ
ニットカウントを表し、編集前の状態においては、１ず
つインクリメントされている。しかしながら、フレーム
（ｉ＋１）を除去するように編集すると、ＡＡＣはｉか
らｉ＋２に変化し、不連続となる。そこで、フレームｉ
以前のヘッダや、フレームｉ＋３以降のヘッダにおいて
は、不連続ビットＤＢを０にするが、フレーム（ｉ＋
２）のヘッダにおいては、不連続ビットＤＢを１とし、
不連続であることを表す。

【００９４】デコーディングシステムは、不連続ビット
ＤＢが０の場合、図５に示したように動作するが、不連
続ビットＤＢの１が検出される毎に、ローカルアクセス
ユニットカウンタを再度初期化する。これにより、編集
したビットストリームが誤って処理されることが防止さ
れる。

【００９５】但し、アクセスユニットの消失または付加
が、そのビットストリームの編集ポイントにおいて発生
した場合、不連続ビットを用いてフレームの不連続を検
出することができない（換言すれば、不連続ビットＤＢ
＝１は、１アクセスユニット周期の間、デコーディング
システムのアクセスユニットカウントチェック機構を不
能にする）。

【００９６】本発明は、多くの異なる形の実施例を受け
入れることができるが、図示および詳細な記述は、特定
の実施例についてのみ行われる。この開示は、本発明の
原理の例であり、本発明を、示され、かつ記述された特
定の実施例に限定するものではない。例えば、本発明
は、ＣＤ−ＲＯＭおよびインターラクティブＣＤアプリ
ケーションに用いることが可能である。また、実施例
は、ＭＰＥＧのマルチプレクスシステムのためのもので
あるが、本発明は同様のシステムに適用することが可能
である。

【００９７】このように、本発明の目的、意図、利点を
完全に満足する装置が上述されたことは明かである。本
発明は、特定の実施例に関連して記述されたが、上記し
た記述に照らし、多くの代案、修正、置換および変更が
当業者にとって自明である。従って、本発明はこのよう
な全ての代案、修正および変更が添付した特許請求の範
囲内に含まれるものである。

【００９８】

【発明の効果】以上の如く本発明によれば、アクセスユ
ニットヘッダの消失または過剰を検出することができ
る。また、アンロックシステムにおいて、同期化を維持
することができる。さらに、編集されたマルチプレクス
ビットストリーム、および編集されたエレメンタリビッ
トストリームを再生することができる。

【図面の簡単な説明】

【図１】関連する発明のアンロックデコーディングシス
テムの図である。

【図２】図１のアンロックデコーディングシステムの動
作のタイミング図である。

【図３】本発明のアクセスユニットカウントを組み込ん
だデータストリームの図である。

【図４】本発明のデコーディングシステムのブロック図
である。

【図５】図４の実施例の動作を説明するタイミング図で
ある。

【図６】ビットストリームの編集を表す図である。

【図７】ＭＰＥＧデータストリームの図である。

【図８】シンタックスの変更を説明する図である。

【図９】図８のデータストリームを生成するシステムの
ブロック図である。

【符号の説明】

２０ マルチプレクスビットストリーム ３６ ビデオビットストリーム ５０ デマルチプレクサ ９８ デジタルシグナルプロセッサ １００ ビデオバッファ １０２ オーディオバッファ １０４ ビデオタイムスタンプバッファ １０８ オーディオタイムスタンプバッファ １１４ 絶対時刻訂正レジスタ １１８ クロック １２０，１２２ ＰＬＬ １２８ ビデオデコーダ １３０ オーディオデコーダ １９０，１９２，１９２ａ，１９２ｂ アクセスユニッ
トカウント ２２８ ビデオデコーダ ２３０ オーディオデコーダ ２３４ ビデオＤＳＰ ２３８ レジスタ ２４０ オーディオＤＳＰ ２４４ レジスタ

Claims (32)

【特許請求の範囲】
1. 【請求項１】 タイムリファランスを生成するタイムリ
   ファランス生成手段と、 オーディオタイムスタンプがオーディオサンプル群と等
   しいか、または少ない数であり、かつ、ビデオタイムス
   タンプがビデオフレームと等しいか、または少ない数で
   ある場合において、コンポジットデータストリームを前
   記オーディオサンプル群、オーディオタイムスタンプ、
   ビデオフレームおよびビデオタイムスタンプに分離する
   分離手段と、 前記オーディオタイムスタンプとタイムリファランスと
   を受け取り、前記タイムリファランスを前記オーディオ
   タイムスタンプと比較し、前記オーディオサンプル群の
   １つを前記オーディオタイムスタンプのそれぞれに関連
   付けるオーディオタイミング信号を生成するオーディオ
   タイミング信号生成手段と、 前記オーディオサンプル群とオーディオタイミング信号
   を受け取り、前記オーディオサンプル群を前記オーディ
   オタイミング信号に同期してデコードするオーディオデ
   コード手段と、 前記ビデオタイムスタンプとタイムリファランスとを受
   け取り、前記タイムリファランスを前記ビデオタイムス
   タンプと比較し、前記ビデオフレームの１つを前記ビデ
   オタイムスタンプの各々に関連付けるビデオタイミング
   信号を生成するビデオタイミング信号生成手段と、 前記ビデオフレームとビデオタイミング信号を受け取
   り、前記ビデオフレームを前記ビデオタイミング信号に
   同期してデコードするビデオデコード手段とを有するこ
   とを特徴とするマルチプレクスオーディオビデオ信号の
   デコーディングシステム。
2. 【請求項２】 前記分離手段から前記ビデオタイムスタ
   ンプを受け取るビデオタイムスタンプ記憶手段をさらに
   備えることを特徴とする請求項１に記載のデコーディン
   グシステム。
3. 【請求項３】 前記分離手段から前記オーディオタイム
   スタンプを受け取るオーディオタイムスタンプ記憶手段
   をさらに備えることを特徴とする請求項１または２に記
   載のデコーディングシステム。
4. 【請求項４】 前記分離手段から前記ビデオフレームを
   受け取るビデオ記憶手段をさらに備えることを特徴とす
   る請求項１，２または３に記載のデコーディングシステ
   ム。
5. 【請求項５】 前記分離手段から前記オーディオサンプ
   ル群を受け取るオーディオ記憶手段をさらに備えること
   を特徴とする請求項１乃至４のいずれかに記載のデコー
   ディングシステム。
6. 【請求項６】 前記タイムリファランスが参照時刻から
   経過した絶対時刻を表すことを特徴とする請求項１乃至
   ５のいずれかに記載のデコーディングシステム。
7. 【請求項７】 前記タイムリファランス生成手段が９０
   ＫＨｚで動作することを特徴とする請求項６に記載のデ
   コーディングシステム。
8. 【請求項８】 前記マルチプレクスオーディオビデオ信
   号がＭＰＥＧスタンダード信号であることを特徴とする
   請求項１乃至７のいずれかに記載のデコーディングシス
   テム。
9. 【請求項９】 前記オーディオタイミング信号生成手段
   が、前記オーディオタイムスタンプを、前記タイムリフ
   ァランスにより計測した場合に、前記オーディオタイム
   スタンプの値に最も近い時刻でデコードされたオーディ
   オサンプル群に関連付けることを特徴とする請求項６に
   記載のデコーディングシステム。
10. 【請求項１０】 前記ビデオタイミング信号生成手段
    は、前記ビデオタイムスタンプを、前記タイムリファラ
    ンスにより計測した場合に、前記ビデオタイムスタンプ
    の値に最も近い時刻でデコードされたビデオフレームに
    関連付けることを特徴とする請求項６に記載のデコーデ
    ィングシステム。
11. 【請求項１１】 ＭＰＥＧスタンダードマルチプレクス
    オーディオビデオ信号のデコーディングシステムであっ
    て、 参照時刻から経過した絶対時刻を表す９０ＫＨｚのタイ
    ムリファランスを生成するタイムリファランス生成手段
    と、 オーディオタイムスタンプがオーディオサンプル群と等
    しいか、または少ない数であり、かつ、ビデオタイムス
    タンプがビデオフレームと等しいか、または少ない数で
    ある場合において、コンポジットデータストリームか
    ら、前記オーディオサンプル群、オーディオタイムスタ
    ンプ、ビデオフレームおよびビデオタイムスタンプを分
    離する分離手段と、 前記分離手段から前記ビデオタイムスタンプを受け取
    り、記憶するビデオタイムスタンプ記憶手段と、 前記分離手段から前記オーディオタイムスタンプを受け
    取り、記憶するオーディオタイムスタンプ記憶手段と、 前記分離手段から前記ビデオフレームを受け取り、記憶
    するビデオ記憶手段と、 前記分離手段から前記オーディオサンプル群を受け取
    り、記憶するオーディオ記憶手段と、 前記オーディオタイムスタンプ記憶手段から前記オーデ
    ィオタイムスタンプを受け取るとともに、前記タイムリ
    ファランスを受け取り、前記タイムリファランスを前記
    オーディオタイムスタンプと比較し、前記オーディオサ
    ンプル群の１つを前記オーディオタイムスタンプの各々
    に関連付けるオーディオタイミング信号を生成し、か
    つ、前記タイムリファランスにより測定した場合におい
    て、前記オーディオタイムスタンプの値に最も近い時刻
    でデコードされた前記オーディオサンプル群に前記オー
    ディオタイムスタンプを関連付けるオーディオフェイズ
    ロックループ手段と、 前記オーディオサンプル群とオーディオタイミング信号
    を受け取り、前記オーディオサンプル群を前記オーディ
    オタイミング信号に同期してデコードするオーディオデ
    コード手段と、 前記ビデオタイムスタンプを前記ビデオタイムスタンプ
    記憶手段から受け取るとともに、前記タイムリファラン
    スを受け取り、前記タイムリファランスを前記ビデオタ
    イムスタンプと比較し、前記ビデオフレームの１つを前
    記ビデオタイムスタンプの各々に関連付けるビデオタイ
    ミング信号を生成し、前記タイムリファランスにより測
    定した場合において、前記ビデオタイムスタンプの値に
    最も近い時刻でデコードされた前記ビデオフレームに前
    記ビデオタイムスタンプを関連付けるビデオフェイズロ
    ックループ手段と、 前記ビデオフレームとビデオタイミング信号を受け取
    り、前記ビデオフレームを前記ビデオタイミング信号に
    同期してデコードするビデオデコード手段とを備えるこ
    とを特徴とするデコーディングシステム。
12. 【請求項１２】 タイムリファランスを生成するタイム
    リファランス生成手段と、 データタイムスタンプがデータユニットと等しいか、ま
    たは少ない数の場合において、コンポジットデータスト
    リームを前記データユニットとデータタイムスタンプと
    に分離する分離手段と、 前記タイムスタンプとタイムリファランスを受け取り、
    前記タイムリファランスを前記タイムスタンプと比較
    し、前記データユニットの１つを前記タイムスタンプの
    各々に関連付けるタイミング信号を生成し、前記タイム
    リファランスにより測定した場合において、前記データ
    タイムスタンプの値に最も近い時刻でデコードされた前
    記データユニットに前記タイムスタンプを関連付けるフ
    ェィズロックループ手段と、 前記データユニットとオーディオタイミング信号を受け
    取り、前記ユニットを前記タイミング信号に同期してデ
    コードするデコード手段とを備えることを特徴とするデ
    コーディングシステム。
13. 【請求項１３】 コンポジットデータストリームを、オ
    ーディオサンプル群、オーディオタイムスタンプ、ビデ
    オフレームおよびビデオタイムスタンプに分離する分離
    手段と、 前記オーディオタイムスタンプを受け取り、前記オーデ
    ィオタイムスタンプに同期するオーディオタイミング信
    号を生成するオーディオフェイズロックループ手段と、 前記オーディオサンプル群とオーディオタイミング信号
    を受け取り、前記オーディオサンプル群を前記オーディ
    オタイミング信号に同期してデコードするオーディオデ
    コード手段と、 前記ビデオタイムスタンプを受け取り、前記ビデオタイ
    ムスタンプに同期するビデオタイミング信号を生成する
    ビデオフェイズロックループ手段と、 前記ビデオフレームとビデオタイミング信号を受け取
    り、前記ビデオフレームを前記ビデオタイミング信号に
    同期してデコードするビデオデコード手段とを備え、 前記オーディオデコード手段は、前記オーディオサンプ
    ル群からアクセスユニットカウントを抽出し、前記アク
    セスユニットカウントを、蓄積した前記アクセスユニッ
    トカウントと比較し、前記オーディオデコーダが正しく
    同期して動作していることを確認するオーディオ確認手
    段を含み、 前記ビデオデコード手段は、前記ビデオフレームからア
    クセスユニットカウントを抽出し、前記アクセスユニッ
    トカウントを、蓄積した前記アクセスユニットカウント
    と比較し、前記ビデオデコーダが正しく同期して動作し
    ていることを確認するビデオ確認手段とを含むことを特
    徴とするマルチプレクスオーディオビデオ信号のデコー
    ディングシステム。
14. 【請求項１４】 前記分離手段から前記ビデオタイムス
    タンプを受け取るビデオタイムスタンプ記憶手段をさら
    に備えることを特徴とする請求項１３に記載のデコーデ
    ィングシステム。
15. 【請求項１５】 前記分離手段から前記オーディオタイ
    ムスタンプを受け取るオーディオタイムスタンプ記憶手
    段をさらに備えることを特徴とする請求項１３に記載の
    デコーディングシステム。
16. 【請求項１６】 前記分離手段から前記ビデオフレーム
    を受け取るビデオ記憶手段をさらに備えることを特徴と
    する請求項１３，１４または１５に記載のデコーディン
    グシステム。
17. 【請求項１７】 前記分離手段から前記オーディオサン
    プル群を受け取るオーディオ記憶手段をさらに備えるこ
    とを特徴とする請求項１３乃至１６のいずれかに記載の
    デコーディングシステム。
18. 【請求項１８】 コンポジットデータストリームからデ
    ータユニットとデータタイムスタンプとを分離する分離
    手段と、 前記データタイムスタンプを受け取り、前記データタイ
    ムスタンプに同期するタイミング信号を生成するタイミ
    ング信号生成手段と、 前記データユニットとタイミング信号を受け取り、前記
    データユニットを前記タイミング信号に同期してデコー
    ドするデコード手段とを備え、 前記デコード手段は、前記各パケットからアクセスユニ
    ットカウントを抽出し、前記アクセスユニットカウント
    を、蓄積された前記アクセスユニットカウントと比較
    し、前記デコード手段が正しく同期して動作しているこ
    とを確認する確認手段を備えることを特徴とするデコー
    ディングシステム。
19. 【請求項１９】 前記タイミング信号生成手段は、フェ
    イズロックループを含むことを特徴とする請求項１８に
    記載のデコーディングシステム。
20. 【請求項２０】 マルチプレクスオーディオビデオ信号
    をデマルチプレクスする方法であって、 コンポジットデータストリームを、オーディオサンプル
    群、オーディオタイムスタンプ、ビデオフレームおよび
    ビデオタイムスタンプに分離する工程と、 前記オーディオタイムスタンプに同期するオーディオタ
    イミング信号を生成する工程と、 前記オーディオタイミング信号に同期して、前記オーデ
    ィオサンプル群をデコードする工程と、 前記オーディオサンプル群からアクセスユニットカウン
    トを抽出し、前記アクセスユニットカウントを、蓄積さ
    れた前記アクセスユニットカウントと比較し、オーディ
    オ同期を確認する工程と、 前記ビデオタイムスタンプに同期するビデオタイミング
    信号を生成する工程と、 前記ビデオタイミング信号に同期して、前記ビデオフレ
    ームをデコードする工程と、 前記ビデオフレームからアクセスユニットカウントを抽
    出し、前記アクセスユニットカウントを、蓄積された前
    記アクセスユニットカウントと比較し、ビデオ同期を確
    認する工程と、 蓄積された前記アクセスユニットカウントを、新しいア
    クセスユニットが受け取られる毎に、インクリメントす
    る工程とを備えることを特徴とするデマルチプレクス方
    法。
21. 【請求項２１】 前記ビデオフレームのアクセスユニッ
    トカウントが、蓄積された前記アクセスユニットカウン
    トより大きい場合、前記ビデオフレームを再現する工程
    をさらに備えることを特徴とする請求項２０に記載のデ
    マルチプレクス方法。
22. 【請求項２２】 前記ビデオフレームのアクセスユニッ
    トカウントが、蓄積された前記アクセスユニットカウン
    トより小さい場合、前記ビデオフレームを削除する工程
    をさらに備えることを特徴とする請求項２０または２１
    に記載のデマルチプレクス方法。
23. 【請求項２３】 前記オーディオサンプル群のアクセス
    ユニットカウントが、蓄積された前記アクセスユニット
    カウントより小さい場合、前記オーディオサンプル群を
    削除する工程をさらに備えることを特徴とする請求項２
    ０，２１または２２に記載のデマルチプレクス方法。
24. 【請求項２４】 前記オーディオサンプル群のアクセス
    ユニットカウントが、蓄積された前記アクセスユニット
    カウントより大きい場合、前記オーディオサンプル群を
    再現する工程をさらに備えることを特徴とする請求項２
    ０乃至２３のいずれかに記載のデマルチプレクス方法。
25. 【請求項２５】 ビデオ信号と付随するオーディオ信号
    を処理する信号処理方法であって、 オーディオサンプル群とビデオフレームを有する信号を
    供給する工程と、 前記オーディオサンプル群をデコードする工程と、 前記オーディオサンプル群からアクセスユニットカウン
    トを抽出し、前記アクセスユニットカウントを、蓄積さ
    れた前記アクセスユニットカウントと比較し、オーディ
    オの同期を確認する工程と、 前記ビデオフレームをデコードする工程と、 前記ビデオフレームから前記アクセスユニットカウント
    を抽出し、前記アクセスユニットカウントを、蓄積され
    た前記アクセスユニットカウントと比較し、ビデオの同
    期を確認する工程と、 蓄積された前記アクセスユニットカウントを、新しいア
    クセスユニットが受け取られる毎に、インクリメントす
    る工程とを備えることを特徴とする信号処理方法。
26. 【請求項２６】 前記ビデオフレームのアクセスユニッ
    トカウントが、蓄積された前記アクセスユニットカウン
    トより大きい場合、前記ビデオフレームを再現する工程
    をさらに備えることを特徴とする請求項２５に記載の信
    号処理方法。
27. 【請求項２７】 前記ビデオフレームのアクセスユニッ
    トカウントが、蓄積された前記アクセスユニットカウン
    トより小さい場合、前記ビデオフレームを削除する工程
    をさらに備えることを特徴とする請求項２５または２６
    に記載の信号処理方法。
28. 【請求項２８】 前記オーディオサンプル群のアクセス
    ユニットカウントが、蓄積された前記アクセスユニット
    カウントより小さい場合、前記オーディオサンプル群を
    削除する工程をさらに備えることを特徴とする請求項２
    ５，２６または２７に記載の信号処理方法。
29. 【請求項２９】 前記オーディオサンプル群のアクセス
    ユニットカウントが、蓄積された前記アクセスユニット
    カウントより大きい場合、前記オーディオサンプル群を
    再現する工程をさらに備えることを特徴とする請求項２
    ５乃至２８のいずれかに記載の信号処理方法。
30. 【請求項３０】 前記オーディオビデオ信号は、前記オ
    ーディオサンプル群とビデオフレームの所定のものの表
    示に関連するオーディオタイムスタンプとビデオタイム
    スタンプとを含むことを特徴とする請求項２５乃至２９
    のいずれかに記載の信号処理方法。
31. 【請求項３１】 データビットストリームを処理する信
    号処理方法であって、 第１のフレームヘッダに対応するアクセスユニットカウ
    ントによりレジスタを初期化する工程と、 １以上の連続するフレームを受け取り、デコードする工
    程と、 連続する前記フレームの各々の前記レジスタをインクリ
    メントし、アクセスユニットカウントを有する前記レジ
    スタの内容を、連続する前記フレームの各々と比較する
    工程と、 連続する前記フレームの各々からの前記アクセスユニッ
    トカウントが、前記レジスタに蓄積した値と等しいか否
    かを判定し、同期を確認する工程と、 前記ビデオフレームのアクセスユニットカウントが、蓄
    積した前記アクセスユニットカウントより小さい場合、
    前記ビデオフレームを削除する工程と、 不連続ビットを検出する工程と、 前記不連続ビットの検出に対応して、前記レジスタを再
    度初期化する工程とを備えることを特徴とする信号処理
    方法。
32. 【請求項３２】 前記レジスタは、前記不連続ビットに
    続くアクセスユニットカウントにより再度初期化するこ
    とを特徴とする請求項３１に記載の信号処理方法。