JPH09509035A - オーディオ／ビデオタイミング不一致管理 - Google Patents

Abstract

(57)【要約】 インタリーブされたディジタルビデオ信号セグメントを符号化し、１つのシステムストリーム（ビデオＳＴＤに加えてオーディオＳＴＤ）を形成する方法を提供する。前記セグメントのシームレスな結合を可能にするために、ビデオシステム層バッファローディングの制御を、ビデオ層バッファのローディング（ＶＢＶ占有値）に関係させる。第１画像をデコーダバッファから読み出すべき時点における理想的な調和から始め、前記第１画像をシステム層バッファから読み出す時点を、セグメントの予測される期間と、セグメントの最終フレームを読み出すべき時点とによって規定される量によって調節する。この調節は、前記理想的な調和から始めに得られたセグメントタイミング値の可能性のあるオーバラップを回避する。この技術は、ビデオクリップの実時間における結合を、最小の視覚的不連続によって行う必要がある対話型マルチメディア用途に対して、特に用途を有する。

Description

【発明の詳細な説明】 オーディオ／ビデオタイミング不一致管理 本発明はオーディオ及びビデオ信号の符号化に関するものであり、特にオンザ フライ式に一緒に接合し得るオーディオ及びビデオ資料のセグメントの生成に関 するものである。 通常は、２つのビデオクリップを順に再生する必要がある場合に、デコーダを 第２クリップの復号化前に開始状態にリセットする必要がある。このリセット期 間中、ユーザはスクリーン上に固定された第１クリップの最終フレームを、それ に付随する可聴音を消して見ることになる。この停止状態の期間に応じて、この 中断は、ユーザにとって邪魔になる恐れがある。 従って、１つのクリップの終了個所と次のクリップの開始個所との間の遷移が デコーダに認識されないようにビデオクリップをシームレスに接合する必要があ る。このことは、ユーザの観点からすると、視聴フレームレートに知覚できる変 化がなくて、しかもオーディオが中断せずに連続することを意味する。シームレ スビデオのアプリケーションは多数ある。ＣＤ−ｉ透視の例に、コンピュータ生 成キャラクタ用のホト−リアルバックグラウンドを用いるものがある。この技法 の使用例ではアニメーションのキャラクタをＭＰＥＧ符号化ビデオ系列の前に走 行させる。他の例として、視聴者が利用可能な他のシナリオを選択することによ って映画の筋の展開を変えることのてきる対話式映画のような一連のキャラクタ −ユーザインタラクションがある。ユーザが対話式映画にて選択を行う筋書の分 岐点はシームレス個所に現われるようにすべきであり、そのようにしないと、ユ ーザは鑑賞中の映画に関連する疑惑のサスペンスを失うことになる。 ビデオ信号のセグメントを符号化するのに、デコーダの再初期設定を必要とし ない方法は、本出願人による１９９４年１２月２日出願の“ビデオ編集バッファ の管理”なる名称の英国特許出願第９４２４４３６．５号に開示されている。こ の方法では、デコーダのバッファレベルを目標値に定めて、各ビデオクリップの 終了時におけるデコーダバッファの占有値に一貫性を持たせると共に連続するク リップをデコーダバッファにオーバフロー又はアンダーフローを生じることなく 直接接合し得るように各セグメントの開始点を予測し得るようにする。 上述した方法は、ビデオフレームの系列にとっては好適であるも、この方法は 通常ビデオフレームに付随する他の情報、例えばオーディオサウンドトラックに ついては何等考慮していない。ビデオ信号は一般に他の情報と一緒にシステムス トリームと称される単一のストリーム内にインタリーブされ、このストリームは デコーダ／ディスプレイ装置に与えられるデータ（例えば、コンパクトディスク から読取られるデータストリーム又はケーブルネットワークを経て伝送されるデ ータストリーム）を構成する。一般的に、ビデオの伝送を受け取る時間がオーデ ィオ信号を受け取る時間と等しくないため、シームレスに結合することができる インタリーブされたセグメントを形成しようとすることによって問題が生じる。 次のクリップを開始すべき時点を予測しようとすると、このタイミングの相違は 、現在のクリップの復号化を完了する前に次のクリップの復号化が始まることを 示すようなエラー状態を発生する恐れがある。 したがって本発明の目的は、このようなタイミングの重なりを回避し、デコー ダバッファのオーバフローまたはアンダフローを回避すると同時に、システムス トリームセグメントのシームレスな結合を提供することである。 本発明によれば、符号化段と、エンコーダバッファと、符号化されたビデオ信 号を少なくとも１つの他の信号とインタリーブしてシステムストリームを形成す る手段とを有するエンコーダ装置において、２つまたはそれ以上のビデオフレー ムを各々含むセグメントの形態において、ディジタルビデオ信号を符号化する方 法であって、各々のセグメントに関して、予め決められた符号化計画にしたがっ てセグメントのフレームを連続的に符号化するステップと、符号化されたフレー ムを前記バッファ中に読み出すステップと、符号化されたセグメントを前記バッ ファから実際的に一定のビットレートにおいて読み出すステップと、前記バッフ ァの出力信号を１つまたはそれ以上のタイムスタンプと共にシステムストリーム 中にインタリーブするステップとを具える前記方法において、 前記エンコーダバッファの占有値を、前のセグメントの最終フレームを前記バ ッファ中に読み出した瞬間において第１の予め決められたレベルを有するように 制御し、この占有レベルがデコーダバッファ占有レベルと関係し、前記方法が、 − デコーダバッファを前記一定のビットレートにおいて空から前記デコーダバ ッファ占有レベルにまで満たすために必要な時間ｔを得るステップと、 − 現在のセグメントに関する期間ｄｅｌｔａを予測するステップと、 − 現在のセグメントの最終フレームを前記デコーダバッファから読み出すべき 時点の時間値を予測するステップと、 − （ｔ＋ｄｅｌｔａ）によって与えられる時間値が、前記現在のセグメントの 最終フレームを前記デコーダバッファから読み出すべき時点の時間値に近いが、 より大きくなるまで、ｔの値を減少するステップと、 − 開始されたセグメントのローディング後にｔの減少値によって与えられる時 間において前記デコーダバッファからセグメントの第１フレームを読み出すべき ことを示すセグメントのシステムストリーム中にタイムスタンプを挿入するステ ップとを具えることを特徴とする方法が提供される。 現在のセグメントの最終フレームを前記デコーダバッファから読み出すべき時 点の時間値を、前記セグメントの持続時間を計算し、時間の項における前記デコ ーダバッファの最大容量を減算することによって予測することができる。好適に は、（現在のセグメントの最終フレームを前記デコーダバッファから読み出すべ き時点の）この時間値を、インタリーブされた別々のストリームの各々に関して 予測し、最も大きい値を、すべてのストリームに関するｔの減少値の誘導に使用 する。 起こりそうもないが、理論的には可能性がある（後に説明するような）アンダ フロー状態を防止するために、前記エンコーダは、予め決められたデコーダバッ ファ占有レベルに到達するまで、符号化されるフレームの寸法を制限してもよい 。 後に説明するように、デコーダが受信されたセグメントの復号化を開始すべき 時点の誘導は、システムストリームレベルにおけるセグメントの滑らかな結合を 可能にし、この開始時間をストリーム長に応じて調節することによって、上述し た可能性のある重なりの問題が回避される。また、デコーダバッファ目標レベル は、前記エンコーダバッファの内容を基礎として計算されたレベルであるため、 前記デコーダバッファを復号化を始める前にできるかぎり満たす必要がある慣例 的な技術は回避される。 好適には、共通デコーダバッファレベル（および、したがって最初のタイムス タンプが位置するｔの初期値）を与える。これは、第１セグメントの画像の符号 化に使用されるビットの目標数を設定し、前記セグメントの終端における前記エ ンコーダバッファ占有レベルに達するような符号化中の画像当たりのビット割り 当てを制御可能に変化させることによって達成される。 後に説明するように、デコーダバッファレベルを決定するために、好適には、 最大エンコーダバッファ占有レベルを、第１セグメントの最終画像をエンコーダ バッファ中に読み出した後の１フレーム周期の、エンコーダの最大レベルと、エ ンコーダバッファ占有レベルとの差として規定されるデコーダバッファ占有レベ ルによって指定する。 本発明は、各々のセグメントが２つまたはそれ以上のビデオフレームを具える 映像セグメントの符号化用に形成され、セグメントの連続するフレームを受けて これらを予め決められた符号化計画にしたがって符号化するために構成された符 号化段と、前記符号化段から連続する符号化されたフレームを受けるために結合 され、符号化されたセグメントを実際的に一定のビットレートにおいて出力する ように構成されたバッファと、前記バッファ出力および少なくとも１つの他の信 号を受けるために結合され、これらをシステムストリーム中にインタリーブする ように構成されたマルチプレクサとを具えるディジタルビデオ信号エンコーダ装 置において、前記符号化段を、制御しうる可変のビット数におけるセグメントの 映像を符号化し、セグメントの最終映像が前記エンコーダバッファ中に読み出さ れる時点における予め決められたエンコーダバッファ占有値を発生し、前記セグ メントの持続時間の予測値および、前記セグメントの最終フレームをデコーダバ ッファから読み出すべき時点の時間値を発生することができるようにし、前記マ ルチプレクサを、前記セグメントのデコーダバッファへのローディングが開始さ れた後の前記予め決められた時間値において前記デコーダバッファからセグメン トの第１フレームを読み出すべきことを示すセグメントのシステムストリーム中 にタイムスタンプを挿入するように構成したことを特徴とするディジタルビデオ 信号エンコーダ装置も提供する。 次に本発明を図面を参照し説明する。 図１は２つのビデオクリップの接合部におけるエンコーダ及びデコーダバッフ ァの内容を示し、 図２はデコーダビデオバッファの占有値とシステムバッファの占有値との関係 を示し、 図３〜図５は通常のシステムで、しかも目標としたクリップの最初と最後にお けるデコーダビデオバッファの内容及びシステムバッファの内容をそれぞれ示し 、 図６及び図７は目標としたオーディオクリップの最初と最後におけるオーディ オバッファの内容をそれぞれ示し、 図８及び図９はエンコーダ及びデコーダ装置をそれぞれ概略的に示し、 図１０は、多重化対を目標とするオーディオ／ビデオに関するＭＰＥＧ ＳＴ Ｄ状態曲線を示し、 図１１は、ＭＰＥＧ ＶＢＶと、オーディオおよびビデオＳＴＤバッファ占有 値とに関する開始の状態を示し、 図１２は、図１１のオーディオおよびビデオＳＴＤバッファ占有値に関する最 終状態を示し、 図１３は、オーディオおよびビデオフレーム間の時間値における差を示す。 以下の説明はＭＰＥＧ標準規格に従って作動するエンコーダ及びデコーダに関 するものであり、以後これらの標準規格による通常の用語を用いるものとする。 しかし、本発明の用途がＭＰＥＧ標準規格に制約されないことは当業者に明らか である。 いずれの符号化標準規格も、エンコーダ及びデコーダを如何にして互いにイン タフェースさせるかのモデルを用いて開発する必要がある。エンコーダは作動し 続けるので、エンコーダはこれがデコーダを決してイリーガルな状態にしないよ うに、デコーダにて起ることをモデル化する必要がある。同様に、デコーダはエ ンコーダにて用いられるモデルと同じものをサポートして、このエンコーダがリ ーガル状態に留まり、しかも出力を所定のエンコーダへ発生する必要がある。Ｍ ＰＥＧはこうした規則に従うものである。 先ず、シームレスに接合し得るビデオデータだけのセグメントの生成法につき 考察する。このセグメント生成の好適な方法は本出願人による前記英国特許願第 ９４２４４３６．５号に記載されており、この方法を以下図１を参照して手短に 説明する。図１は時間ｔに対するバッファの占有値Ｂの特性を示したものであり 、これは１つのビデオフレーム（画像）系列Ａが終了して、別のビデオフレーム 系列Ｂが開始するときに起生するエンコーダ及びデコーダのバッファ状態を示し ている。ＬＡは系列Ａの最終画像を示し、ＦＢは系列Ｂの第１画像を示す。系列 Ａから系列Ｂへのデータの転送変化をバッファ占有ラインの太さの変化で示し、 鎖線は系列Ａからの画像を示す。或る時間ｔ_xにて、系列Ａに対する全てのデー タが転送し終り、ＶＢＶ（ビデオバッファリング検証装置−ＭＰＥＧデコーダモ デル）はＢ_xビットの占有値を有する。この時点からバッファへ転送される全て のデータは系列Ｂに対するものとなる。なお、系列Ａの終了後にバッファ内には まだ幾つかの画像を存在するが、これらの画像はバッファがＢ₁ビットの占有値 を有する時点までには全て除去される。 エンコーダは、それがＶＢＶバッファに所定の占有値を達成させるようとする 際に、目標設定として既知のプロセスを実行する。この目標設定のプロセス中に 、エンコーダはそれが符号化した第１画像をバッファに格納する際に、ＶＢＶバ ッファが所定の目標占有値を有するようにする。これは第１画像の大きさに上限 値を定める。符号化の実行終了時にエンコーダは、次の系列に対する第１画像が バッファから除去される直前の時点、つまり図１の時点Ｂ_xにおけるＶＢＶ占有 値を目標に定める。エンコーダはそれが画像を符号化する際に、最終画像又は最 後の数画像の大きさを変えることによってこの状態を目標設定する。 図１に示す例では、エンコーダは状態Ｂ_tを目標設定する。この状態は新規の 系列の第１画像が除去される直前の時点におけるＶＢＶバッファの占有値を示す 。エンコーダが動作する際、このエンコーダは一般にデコーダとは直接係わりが ないため、ＶＢＶバッファ状態への及びそれからの変換というよりもむしろ、そ の出力バッファに基いて画像の大きさを管理する。従って、下記の記載はＢ_tc及 びＢ_lcに関するものである（図１の上部のエンコーダ占有値参照）。 開始状態を目標に定める場合に、エンコーダはそれが第１画像を取り入れる時 点にそのバッファに所定の占有値をとらせるものとする。このバッファ占有値が Ｂ_tcビットであり、これは前の系列の終了時点からの残留ビットを表わす。こう した残留ビットの存在はＢ_tビットとすべき第１画像の最大の大きさを制限し、 時間ｔ_tcの後に全てのビットが除去されるまでの後の画像の大きさに影響を及ぼ し続ける。 エンコーダの観点からして、開始状態で目標を定めることは極めて簡単なこと であり、これはエンコーダの初期占有値を通常の空の開始状態と云うよりむしろ Ｂ_tcビットに設定するだけで済むからである。 エンコーダの処理が或る系列の終りに近づくと、このエンコーダは最終画像を バッファ内に格納する際に占有値がＢ_lcビットに増加するような大きさにその最 終画像の大きさを定めることにより点Ｂ_lcを目標に定めようとする。エンコーダ は、最終画像に対する大きさだけを大きくしようとする場合には品質の極めて劣 る画像を生成することになる。こうしたことをなくすために、エンコーダには最 終ＧＯＰ（画像のグループ）に対する目標ビット数及びＧＯＰ内のＫ個の各画像 に対する目標ビット数を持たせて、エンコーダが漸次正しい状態に近づくように するのが好適である。 システム層について考察するに、これはマルチプレクサがビデオ、オーディオ 及び他の基本ストリームを１つのシステムストリームに合成する際に生成される 。システムストリームはインタリーブされた基本ストリーム及びタイミング情報 をシステムクロックレファレンス（ＳＣＲ）、プレゼンテーションタイムスタン プ（ＰＴＳ）及びデコーディングタイムスタンプ（ＤＴＳ）の形態にて包含する 。 マルチプレクサの作動は、データをシステムストリームからデコーダのバッフ ァへ、これらのバッファが決して完全には空にならないような十分な速さで、し かも前記バッファが決してオーバフローしないような速度にて転送することにあ る。ＭＰＥＧ標準規格はディジタル記憶媒体（ＤＳＭ）からデコーダへのデータ の転送をモデル化するのに用いられるシステム目標デコーダ（ＳＴＤ）と称する バッファを規定している。このバッファの目的は、データをインイリーブするた めに、デコーダへのデータの転送がバースト単位で行われるも、デコーダのパフ ォーマンスモデルが一定のビットレートを呈すると云うことをマスクすることに ある。ビデオ及びオーディオストリームを多重化するための通常の戦略は、例え ばＳＴＤバッファをできるだけいっぱいに満たすことによって開始する。こうし て作った最終パックのＳＣＲは適当な値に設定され、この時点にバッファから第 １画像が除去されるようにする。次に、前のパックのＳＣＲが正しい値に設定さ れ、これはこれらのＳＣＲがやがて前記最終パックの先頭に達するからである。 最終的に、バッファは基本ストリームからのデータが全て消費されるまでできる だけいっぱいの状態に維持される。 多重動作は多少複雑となり、これはマルチプレクサが多重ストリームとジャッ グルしなければならないからである。又、マルチプレクサはそれが目標プラット ホームを規定しているので、システムストリームの明細を満たすのに必要とされ るいずれの追加の特徴も支援する必要がある。 ＳＴＤバッファは図２に示すようにＶＢＶバッファを囲むものと想定すること ができる。この図はＳＴＤとＶＢＶとの関係を簡単に示したものである。図２に はＶＢＶバッファを囲むＳＴＤバッファの占有値（太線）を示してある。ここで 注意すべき点は、ＳＴＤバッファの占有値の線の傾斜がＶＢＶの線の傾斜よりも 大きいことである。これはＤＳＭのビットレートが符号化ビデオ信号のビットレ ートよりも速いからである。Ｑで示した時間にはＳＴＤにデータが転送されない ことも明らかである。こうしたことが起る理由は、ＤＳＭの帯域幅が他の基本ス トリームによって引継がれるか、或いはバッファ管理が行われるためにマルチプ レクサがデータをＳＴＤへ転送しなくしたりするからである。 図３は通常の、即ち目標設定しないストリームの復号化開始時にＶＢＶ及びＳ ＴＤの占有値がどのようになるかを示したグラフである。このグラフでは判り易 くするために、画像が２つのバッファから除去される時間（システム−ティック ）を互いに同期をとって示してある。ＶＢＶはデータ転送開始時間のコンセプト を有さず、ＶＢＶ遅延に基づく画像除去時間のコンセプトを有するだけである。 グラフを並べるために、この図ではＶＢＶのサンプル時間に一定のオフセットを 与えてある。 図３から明らかなように、マルチプレクサ及びエンコーダはクリップの開始時 には同じような戦略に従う。即ち、それらのバッファには上述したように第１画 像が除去される前はできるだけ多くのデータが満たされている。この場合に、Ｓ ＴＤバッファの占有値を示す線が常にＶＢＶの占有値を包含していることも明ら かである。この規則に対する例外は開始期間にあり、これはＤＳＭのデータ速度 がＶＢＶのデータ速度よりも速くて、ＳＴＤへの伝送がＶＢＶの後に開始するか らである。 互いに鎖状につなぐことのできるシステムストリームの生成に転じるに、先ず ビデオデータを包含しているシームレスのシステムストリームの生成につき考察 する。図１に戻るに、系列Ａの終了時点から全てのビットを除去するのにかかる 時間は、系列Ａのデータ転送が終了する時点にバッファ内にどれだけ多くの画像 があるかに依存する。この時間はソース資料及び使用するエンコーダに依存する 。従って、時間ｔ_xにおけるバッファの占有値はクリップ毎に変化する。このた めに、マルチプレクサは、通常計算に利用できる情報、即ちビットレートや、フ レームレートや、Ｂ_tがどのようなものであるかに基づいてｔ_x及びＢ_tがどのよ うになるのかを計算することができない。 上述した全ての未知の問題を回避するために、系列Ａの転送が終了する際にバ ッファにおけるデータが、Ｂ_tビットを一定の速度で転送するのに要する時間を 十分にカバーするようにする。このようにすると、多重ストリームの開始時にＢ_t ビットを転送する最大時間を次のように設定し得ることを認識した。即ち、 ｔ_t＝Ｂ_t／Ｒ （１） ここに、ｔ_tは図１に示したような時間であり、Ｒは転送速度である。 この時間はマルチプレクサにとって重要であり、その理由はこの時点にてＳＣ Ｒの時間を設定することができるからであり、又この時点は第１画像をＳＴＤバ ッファから除去すべき時点である。従って、マルチプレクサはＳＴＤバッファを 少なくともＢ_tビットに満たすべくセットされ、且つＳＣＲをセットして、この 時点にて第１画像が除去されるようにする。なお、この点は第１画像を除去する 時点にバッファにできるだけ多くのデータを満たしておく通常の技法とは相違す る。 ここで注意すべきことは、ＳＴＤバッファの方がＶＢＶバッファよりも大きい と云うことにある。 条件付きのシステムパラメータの場合には、ＳＴＤバッファを最大４０Ｋバイ トのＶＢＶの大きさに比べて４６Ｋバイトまでとすることができる。この特別な スペースがあるために、マルチプレクサは種々の基本ストリームを１つのシステ ムストリーム内にインタリーブして、デコーダへのまばらな転送をなくすことが できる。 図４は目標設定した多重動作の開始時にＶＢＶ及びＳＴＤバッファの状態がど のようになるのかを示すグラフである。このグラフは図３と同様に時間ｔに対す る占有値Ｂ（ビット）をシステムティック（クロックパルス）の形態にて示した ものである。なお、ＶＢＶ及びＳＴＤバッファの占有値は第１画像がバッファか ら除去される時点に同じとなる。この時点からＳＴＤバッファの占有値はＶＢＶ バッファのそれに追いつき始め、これはデータ転送速度が速いからである。 マルチプレクサはＳＴＤバッファの終了状態までは制御しない。この終了状態 はエンコーダによって制御されるバッファ内にまだ存在する画像の大きさに依存 する。好ましくは、マルチプレクサがデータをＳＴＤにできるだけ早く転送して 、ＳＣＲのオーバラップとして既知の問題、つまり最初のクリップからの全ての データが転送し終わらない時にデータが次のクリップに対する期限となることに 対処するようにする。このようなことに対して提案されているマルチプレクサ戦 略は、データがどんなに小さくてもＳＴＤバッファがデータを受入れることがで きる時は常にデータパケットを作製することにある。 図５はクリップの終了時におけるＶＢＶ及びＳＴＤの状態を示すグラフである 。これから明らかなように、ＳＴＤへのデータの転送はＶＢＶへの転送前に終了 する。これはＳＴＤバッファの方が大きく、しかも受信するビットレートが速い からである。クリップの終了に向けて２つのグラフは再び収束する。これは双方 のバッファへのデータ転送が終了して、これらのデータがクリップの端部を成す 画像だけを含む時点である。こうした端部画像をバッファから除去するのに要す る時間は、そのクリップの第１画像を除去する前にバッファを次のクリップから のデータで満たすのに利用できる時間である。この充填時間を図１に時間ｔ_tと して示してある。 オーディオ信号について考察すると、オーディオ信号に対してはＶＢＶバッフ ァに等価なものは存在せず、シームレスオーディオの生成はビデオの場合よりも 遙かに簡単である。その理由は、オーディオ信号は一定のビットレートで符号化 されるからである。換言するに、同じように符号化される全てのオーディオフレ ームは同じ大きさ（１バイト以内）であるが、ビデオフレームの大きさはフレー ムのタイプ及び複雑性に依存して変化するからである。しかし、マルチプレクサ はＳＴＤのバッファ状態を、第１オーディオフレームがビデオフレームと同様に 除去される時点に目標設定することができる。 図６は目標オーディオ多重処理の開始のグラフを示す。この場合には、マルチ プレクサはＳＴＤの状態を第１オーディオフレームが除去される時点に２０４８ バイト（１６３８４ビット）に目標設定する。充填時間は図１のｔ_tに相当し、 同じような特性を有し、この時間はデータ転送の終了時のバッファ内のオーディ オフレームにより表わされる時間より大きくしてはならない。マルチプレクサが その目標値に到達し、第１オーディオフレームが除去される場合には、ＳＴＤの バッファをできるだけいっぱいの状態に維持する戦略をそのままとる。グラフの 大きな増大傾斜はオーディオパケットの転送を表わす。この場合におけるオーデ ィオパケットは約２Ｋバイトの大きさとする。これは、そのケットがＣＤ−ｉ再 生に対して約２ＫバイトのＣＤ−ｉセクタと多重されているからである。 図７はオーディオクリップの終了時にＳＴＤに起生する状態を示している。デ ータ転送の終了時にバッファ内のオーディオフレームを示す占有値の規則正しい 段階的な減少が開始する。これらの残留オーディオフレームは１つのオーディオ クリップの終了から次のオーディオクリップへの切り換えをマスクする。これら の残留オーディオフレームはフレーム数に依存する有限時間継続するが、図６か ら明らかなように、ＳＴＤのバッファをその目標値に充填するのに要する時間は 残留フレームによりマスクされる時間に比べて遙かに短いために、ＤＳＭのビッ トレートがオーディオビットレートよりも相当高いものと仮定すると、ＳＴＤの アンダーフローは生じなくなる。実験の結果、オーディオ信号に対しては、ＳＴ Ｄのバッファをフル状態の約５０％に目標設定すると容認できる結果が得られる ことを確かめた。 図８はそれぞれビデオ信号Ｖ及びオーディオ信号Ａ用の別個のエンコーダ段１ ０，１２を有するエンコーダ装置を示す。ビデオ信号内のフレームを（例えば、 系列の第１画像及び最終画像に対する相対位置により）識別するフレーム基準信 号ＦＣ用の他の入力端子が目標設定段１４に接続され、この目標設定段は系列の 画像に対するビット割当を指定する。なお、オーディオエンコーダには対応する 目標設定段は存在しない。これは上述したように、符号化されたオーディオフレ ームの大きさが一定であるために不要である。 各エンコーダ段１０，１２からの出力は図示のようにそれぞれのバッファ１６ ，１８に供給される（実際にはこれらのバッファはそれぞれのエンコーダ段の一 部を構成する）。ビデオエンコーダ段１０の出力から目標設定段１４への帰還路 ２０により、設定目標が符号化したグループ内の１画像当りの所要バット数にな ったかどうかを検査することができる。 バッファされた出力はマルチプレクサ２２によりインタリーブされる。このマ ルチプレクサはタイムスタンプも挿入して単一データストリームＤＳ（システム ストリーム）を形成し、次いでこのストリームをデコーダに伝送するか、又はコ ンパクトディスクのような適当な媒体に記憶することができる。 デコーダ（図９）では、デマルチプレクサ２４が入力ストリームを監視する検 出器２６を参照して、ストリームＤＳをビットチャネル及びオーディオチャネル に分離する。分離したビデオ及びストリームはそれぞれのバッファ２８，３０へ 供給され、そこからそれぞれのデコーダ段３２，３４に供給され、復号化されて 出力信号Ｖ_out，Ａ_outを出力する。これらのバッファは実際にはそれぞれのデコ ーダ段の一部を構成するが、これらはＳＴＤモデルを明瞭に示すために分離して 示してある。 前記マルチプレクサは、異なったストリームをインタリーブするため、すべて のＤＳＭバンド幅を、特定のある１つのストリームに使用することはできない。 したがって、Ｂ_tビットに達するバッファ状態に対して選択される時間は、スト リームの数が増加するにしたがって増加する。これは、上述したＳＣＲオーバラ ップの現象を招く恐れがある、可能性がある問題である。ＳＣＲオーバラップは 、それ自体を以下のように示す。ｄｅｌｔａ値（見積もられる持続時間値）を、 次のクリップの始端におけるＳＣＲに用いる場合、これらは、前記最終クリップ の終端におけるＳＣＲより小さいことが分かる。すなわち、次のクリップに関す るデータは、現在のクリップのすべてのデータが伝送される前に伝送される。こ れは、明らかに不可能な状況であり、システムクラッシュを引き起こす。 前記マルチプレクサは、データの第１の伝送と、バッファをＢ_tビットに形成 するパケットの伝送との間の時間がｔ_t秒より短くなるように各々のストリーム を検査することによってＳＣＲオーバラップを防止することができる。前記マル チプレクサが、時間ｔ_tを越えたことを見つけると、ＳＣＲオーバラップが生じ たかもしれないことを知り、監視されたシステムにおいて、適切なエラーメッセ ージをユーザに示すことができる。 基本的なストリームのビットレートの和が、ＤＳＭのビットレートより大きい 場合、ＳＣＲオーバラップが生じる恐れがある。しかしながら、この場合におい て、多重化は、どんな方法でも不可能であり、マルチプレクサは、再び適切なエ ラーメッセージを出すべきである。 Ｂ_tに達した時点におけるＳＣＲを設定するマルチプレクサの基本的なアルゴ リズムが間違っている場合、またはマルチプレクサがＢ_tを間違って判断した場 合、ＳＣＲオーバラップが生じる恐れがある。 満たされるまでの時間の増加とともに、ストリームの数が増加し、伝送をより 早く開始しなければならないため、多重化されたクリップの開始ＳＣＲは減少す る。したがって、データ値をこの開始ＳＣＲに用いる場合、ＳＣＲオーバラップ を発生するほど小さいかもしれない。 ビットレートおよびＳＴＤバッファの容量は、ストリーム間で異なり、したが って、すべてのデータがＤＳＭからＳＴＤに伝送される時間は異なる。例えば、 オーディオＳＴＤバッファは、ＣＳＰＳの場合においては小さいので、伝送は実 時間に近い。これは、同様の長さのオーディオおよびビデオストリームを共に多 重化した場合、オーディオパックが最終ビデオパックの終端以上に延長し、最終 ＳＣＲが増加することを意味する。このため、ストリームの数が増加するため、 すなわち開始ＳＣＲが減少し、終端ＳＣＲが増加するため、多重化されたストリ ームの両端において問題が生じる。 多重化動作の終わりにおいて、マルチプレクサは、可能性のあるＳＣＲオーバ ラップを、以下のように抑制することができる。マルチプレクサは、入力ストリ ームを検査することによって、クリップに対するｄｅｌｔａ値をどの程度にすべ きかを知っているため、この値をクリップの第１ＳＣＲに用いることができ、そ れ自身でループになっているクリップと類似する。マルチプレクサは、最も小さ い次に可能性があるＳＣＲがどの程度なのかも知っている。パッチされたＳＣＲ （第１ＳＣＲにｄｅｌｔａ値を加えたもの）と、次に可能性があるＳＣＲとの比 較を行う。パッチされたＳＣＲが、次に可能性があるＳＣＲより小さいことが分 かった場合、ＳＣＲオーバラップが生じる。 シームレスなシステム層クリップを発生するオーディオおよびビデオの組み合 わせを、目的のオーディオ／ビデオ多重化対に関するＳＴＤ状態曲線を示す図１ ０の参照とともに説明する。２つの形式のストリームに関するＳＴＤグラフの異 なった性質に注意されたい。画像形式の変更（例えば、Ｉ画像がＢ画像より大き い）または画像における複雑さの変化の結果、ビデオＳＴＤグラフは、画像の寸 法において極めて不規則に反射が変化する。他方では、オーディオＳＴＤグラフ は、すべてのオーディオフレームが一定のサイズである（１バイト以内）ため、 極めて規則的に反射する。 図１１において、ビデオＳＴＤ状態と、その対応するＶＢＶ状態と、オーディ オＳＴＤ状態とに関する曲線を示す。ビデオＳＴＤ状態は、この場合において、 第１画像がバッファから除去された時点において目標となるＶＢＶ状態に達して いないことは明らかである。マルチプレクサが、ＳＣＲオーバラップを与えるよ うに計算しているため、これが生じる。すなわち、充填時間が増加し、ＶＢＶの 開始状態に対するＳＴＤ開始状態を得た場合、クリップの開始におけるＳＣＲは 小さすぎてしまう。 マルチプレクサは、クリップ全体の最終ＳＣＲがなにかを予測し、ＳＣＲオー バラップが生じる前に開始ＳＣＲをどの程度負にできるかを見つけることによっ て最大充填時間を計算する。すなわち、ｄｅｌｔａ値を用いる前に開始ＳＣＲが どの程度負にできるかが、クリップの終端におけるより小さいＳＣＲを与える。 最終ＳＣＲを、各々のストリームがどのくらい長く続くかを計算し、ＳＴＤに 一時記憶することができる（時間として表した）データの量から減算することに よって予測する。ＳＴＤに一時記憶されたデータによって表される時間は、丁度 、ＳＴＤサイズを基本的なストリームビットレートで割った値である。理解され るように、オーディオに関して、オーディオフレームのサイズが既知であり、バ ッファは、整数個のフレームを含んでいるに違いないため、バッファ時間に対す るより精度の高い予測を行うことができる。もちろんこれをビデオに用いること は、フレームサイズが変化するため、できない。 最終ＳＣＲを各々のストリームに関して計算し、最も大きいものを使用する。 実際には、オーディオおよびビデオストリームが同じ長さの場合、最大最終ＳＣ Ｒは、ほとんど常にオーディオストリームからのものになる。これは、ビデオデ ータレートがオーディオデータレートに近い起こりそうもない場合において、変 化するかもしれない。 ＳＴＤ状態がＶＢＶ状態に追いつく前のストリーム中の極めて大きい画像がバ ッファアンダフローを生じるかもしれないため、マルチプレクサが、開始ＶＢＶ 状態に達しない開始ＳＴＤ状態の発生を許可することによるポテンシャル問題が 存在する。これは、実際には起こりそうもないが、理論的には可能性があり、こ の問題を克服する方法は、エンコーダがクリップの開始において発生する画像の サイズを抑制することである。 上述した方法は、存在するクリップの最終ＳＣＲの見積もりにおいて適度な精 度を提供するが、個々の用途に応じて常に十分な精度とすることはできないこを 指摘すべきである。マルチプレクサがクリップを通過するのを一度だけしか発見 できない多重化動作によってパック割り当てが影響されるため、不正確さが生じ る恐れがある。この理由のため、精度を必要とするユーザは、マルチプレクサを ２回使用すべきであり、いくつかのパラメータの２度目の変更（例えば、オーデ ィオの短縮または目標の減少）は、オーバラップしないＳＣＲを得る。変化する クリップの自動化発生の方法は、２段階の方法であり、上述した最良推測方法を 使用する第１の段階と、この第１の段階の結果に基づいて行う必要がある他の変 更を考慮した第２の段階とである。 ここで、クリップの終端におけるオーディオおよびビデオＳＴＤ状態を示す図 １２を参照し、オーディオＳＴＤに対するデータの伝送が、ビデオＳＴＤに対す る伝送の終了後に延びてることに注意されたい。したがって、オーディオは、終 了ＳＣＲを制御するストリームである。上述したように、マルチプレクサは、デ ータをＳＴＤにできるだけ早く伝送することによって、最終ＳＣＲを減少させよ うとすることができる。このための適切な技術は、多重化動作の終了において最 適値より小さいパケットを形成することである。 ここでタイムスタンプに戻ると、マルチプレクサが制御できない唯一のタイム スタンプは、パックが伝送される時点におけるＳＣＲである。他のタイムスタン プ（ＰＴＳおよびＤＴＳ）は、ユーザが、第１フレームのＰＴＳをなににすべき かを判断するときに設定される。上述した方法にによって発生されたクリップを デコーダに対してシームレスに見せるために、タイムスタンプを線型的に増加す るように見せる必要がある。すなわち、デコーダが見るタイムスタンプにおいて 、急激な段階の変化があってはならない。これは、次のクリップにおけるすべて のタイムスタンプにｄｅｌｔａ値を用いることによって、これらが、現在のクリ ップがより長かった場合に現れる値を有するようにして達成される。 ｄｅｌｔａ値を、デコーダがこのｄｅｌｔａを見る前に用いる必要がある。こ の値を、例えば、 − クリップをデコーダに送る前のアプリケーション、 − クリップをデコーダに送る前のドライバ、 − ビデオデータをセットトップボックスに対して電話線に送る前の遠隔サー バのＣＰＵにおいて用いることができる。 ｄｅｌｔａ値は、（存在していた）現在のクリップの最終フレーム後のフレー ムのＰＴＳと、次のクリップの第１フレームのＰＴＳとの差であり、次式によっ て要約される。 Δ＝ＰＴＳ_last＋ＰＴＳ_step＋ＰＴＳ_first （２） ここで、 ＰＴＳ_lastは、現在のクリップの最終フレームのＰＴＳである。 ＰＴＳ_stepは、隣接するＰＴＳにおける増分である。 ＰＴＳ_firstは、次のクリップの第１フレームのＰＴＳである。 互いに同期したＭＰＥＧオーディオおよびビデオのシームレスなクリップの再 生することが望ましく、双方のデータ形式のタイムスタンプに用いられる１つの ｄｅｌｔａ値とすることができる。これは、ＭＰＥＧシステム層がＳＣＲによっ て表される時間が、双方の形式のデータストリームに対して同じレートにおいて 増加する効果によるものである。データ値が異なる場合、タイムスタンプが離れ 離れになってしまうため、同期が失われてしまう。オーディオおよびビデオに関 するフレームサイズと、したがってＰＴＳ_stepとは異なることから、ｄｅｌｔａ 値をどのように計算するかの問題を、以下に論考する。 ビデオに用いる場合、”フレームレート”という言葉がよく知られており、例 えば、ＰＡＬに関して２５Ｈｚで、ＮＴＳＣに関して２９．９７Ｈｚである。し かしながら、ＭＰＥＧ符号化オーディオは、レイヤＩに関しては３８４標本、レ イヤIIおよびIIIに関しては１１５２標本から成るフレームに分割もされている 。これらは、集めた場合、ＭＰＥＧオーディオストリームを構成する独立したブ ロックを形成する。デコーダに所望の出力を発生させるために、整数個のフレー ムを受ける必要があり、オーディオのフレームを半分送るとグリッチが引き起こ されるか、ことによるとシステムクラッシュが引き起こされる。ＭＰＥＧのある クリップに関して、そこに含まれるオーディオおよびビデオフレームによって占 められる時間は通常異なるため、これは問題を生じる。５秒の長さのオーディオ およびビデオを示す図１３を考えると、異なる理由が明らかになるであろう。 図１３は、整数個のオーディオおよびビデオフレームを表す２つのブロックを 示す。各ブロック内のフレーム数は、ブロック関する時間ができるだけ５秒に近 くなるような数である。オーディオおよびビデオのタイミング間の差を最小にす るために、好適にはマルチプレクサを、個々のストリーム部分を選択できるよう に構成する。すなわち、完全なオーディオまたはビデオを選択することを強制し ない。このようにして、個々の開始および終了を、オーディオおよびビデオクリ ップ長の全体的な差が最小となるように選択することができる。 例として、図１３のデータが、ループになっていることが望まれるシステムフ ァイル内に含まれ、ビデオまたはオーディオから計算されたｄｅｌｔａ値を有す る場合、なにが起こるかを考える。 ビデオｄｅｌｔａ値を最初に選択し、このビデオｄｅｌｔａ値をビデオデータ に用いると、ループ内のビデオフレームレートが一様になる。しかしながら、こ のデータ値（５．０秒）をオーディオブロックに使用した場合、タイムスタンプ は、ループの開始において、終端におけるタイムスタンプと同じにパッチされる 。これは、明らかにうまくいかず、オーディオフレーム数を１９１に減少する必 要性を導き、以下の結果を与える。 しかしながら、オーディオの開始におけるタイムスタンプを終端のタイムスタン プの５秒前にパッチすることによって、１０．６ｍｓのエラーが生じ、これは、 オーディオフレームの４０．６％である。この不一致によって、オーディオがル ープの終端から開始までの１０．６ｍｓの間、無音になる。 ここでオーディオｄｅｌｔａ値に戻り、これを使用することによって、オーデ ィオフレームレートは維持される。しかしながら、ビデオに関するパッチされた タイムスタンプと、フレームレートが一定の場合のタイムスタンプとの間には１ ５．５ｍｓの差が存在し、これは、ビデオフレームの３８．８％である。この差 によって、クリップの最終フレームは１５．５ｍｓ間停止する。しかしながら、 このフレームは、画面上に依然として存在する。 上述したことは、フレーム長が異なる問題に対する完全な解決法が存在しない ことを示し、オーディオ無音または停止ビデオフレームのいずれかが生じるが、 停止の期間を、上述したようにファイル全体でなく基本的なストリーム部分を選 択することによって、最小化することができる。これら２つの内では、ユーザが 、極めて目立つオーディオ無音に比べて気づきにくいため、停止ビデオフレーム の方が好適である。この理由のため、同期したオーディオおよびビデオをループ しようとする場合、オーディオをｄｅｌｔａ値に対する駆動データ形式として使 用することを提案する。 以上の説明から、他の様々な変更は当業者に明らかである。このような変更に は、オーディオ及び／又はビット信号の編集方法および装置並びにその構成要素 において既知であって、ここに記載した特徴に代えて、又はそれに加えて使用し 得る他の特徴が含まれる。特許請求の範囲は構成要素の組合せとして記載してあ るが、本発明で解決すべき技術的な問題の一部又は全部を解決するか、しないか に拘らず、本明細書に開示した新規な構成又は構成要素の組合せも本発明の範囲 に含まれるものである。

Claims (1)

1. 【特許請求の範囲】 １． 符号化段と、エンコーダバッファと、符号化されたビデオ信号を少なくと も１つの他の信号とインタリーブしてシステムストリームを形成する手段とを有 するエンコーダ装置において、２つまたはそれ以上のビデオフレームを各々含む セグメントの形態において、ディジタルビデオ信号を符号化する方法であって、 各々のセグメントに関して、 − 予め決められた符号化計画にしたがってセグメントのフレームを連続的 に符号化するステップと、 − 符号化されたフレームを前記バッファ中に読み出すステップと、 − 符号化されたセグメントを前記バッファから実際的に一定のビットレー トにおいて読み出すステップと、 − 前記バッファの出力信号を１つまたはそれ以上のタイムスタンプと共に システムストリーム中にインタリーブするステップとを具える方法において、 前記エンコーダバッファの占有値を、前のセグメントの最終フレームを前記 バッファ中に読み出した瞬間において第１の予め決められたレベルを有するよう に制御し、この占有レベルがデコーダバッファ占有レベルと関係し、 − デコーダバッファを前記一定のビットレートにおいて空から前記デコー ダバッファ占有レベルにまで満たすために必要な時間ｔを得るステップと、 − 現在のセグメントに関する期間ｄｅｌｔａを予測するステップと、 − 現在のセグメントの最終フレームを前記デコーダバッファから読み出す べき時点の時間値を予測するステップと、 − （ｔ＋ｄｅｌｔａ）によって与えられる時間値が、前記現在のセグメン トの最終フレームを前記デコーダバッファから読み出すべき時点の時間値に近い が、より大きくなるまで、ｔの値を減少するステップと、 − 開始されたセグメントのローディング後にｔの減少値によって与えられ る時間において前記デコーダバッファからセグメントの第１フレームを読み出す べきことを示すセグメントのシステムストリーム中にタイムスタンプを挿入する ステップとを具えることを特徴とする方法。 ２． 請求の範囲１に記載の方法において、現在のセグメントの最終フレームを 前記デコーダバッファから読み出すべき時点を、前記セグメントの持続時間を計 算し、時間の項における前記デコーダバッファの最大容量を減算することによっ て予測することを特徴とする方法。 ３． 請求の範囲１に記載の方法において、現在のセグメントの最終フレームを 前記デコーダバッファから読み出すべき時点の時間値を、インタリーブされた各 々のストリームに関して予測し、最も大きい値を、すべてのストリームに関する 前記減少値の誘導に使用することを特徴とする方法。 ４． 請求の範囲１に記載の方法において、前記第１セグメントの画像を符号化 するために使用されるビットの目標数を、前記エンコーダバッファ占有レベルに 達するように制御的に変化させることを特徴とする方法。 ５． 請求の範囲１に記載の方法において、最大エンコーダバッファ占有レベル を指定し、前記デコーダバッファ占有レベルを、前記最大レベルと、前記第１セ グメントの最終画像を前記エンコーダバッファに読み込んだ１フレーム周期後の エンコーダバッファ占有レベルとの差として規定したことを特徴とする方法。 ６． 請求の範囲１に記載の方法において、セグメントの画像を、ＭＰＥＧ標準 に従って符号化することを特徴とする方法。 ７． 各々のセグメントが２つまたはそれ以上のビデオフレームを具える映像セ グメントの符号化用に形成され、 セグメントの連続するフレームを受けてこれらを予め決められた符号化計画 にしたがって符号化するために構成された符号化段と、 前記符号化段から連続する符号化されたフレームを受けるために結合され、 符号化されたセグメントを実際的に一定のビットレートにおいて出力するように 構成されたバッファと、 前記バッファ出力および少なくとも１つの他の信号を受けるために結合され 、これらをシステムストリーム中にインタリーブするように構成されたマルチプ レクサとを具えるディジタルビデオ信号エンコーダ装置において、 前記符号化段を、制御しうる可変のビット数におけるセグメントの映像を符 号化し、セグメントの最終映像が前記エンコーダバッファ中に読み出される時点 における予め決められたエンコーダバッファ占有値を発生し、前記セグメントの 持続時間の予測値および、前記セグメントの最終フレームをデコーダバッファか ら読み出すべき時点の時間値を発生することができるようにし、前記マルチプレ クサを、前記セグメントのデコーダバッファへのローディングが開始された後の 前記予め決められた時間値において前記デコーダバッファからセグメントの第１ フレームを読み出すべきことを示すセグメントのシステムストリーム中にタイム スタンプを挿入するように構成したことを特徴とするディジタルビデオ信号エン コーダ装置。 ８． 請求の範囲７に記載の装置において、連続するデータフレームを受け、こ れらを前記予め決められた符号化計画に従って符号化する他の符号化段と、前記 他の符号化段から連続する符号化データフレームを受けるために結合され、実際 的に一定のビットレートにおいて符号化データを出力するように構成された他の バッファとを具え、前記マルチプレクサによって受けられた少なくとも１つの他 の信号を前記他のバッファから出力することを特徴とする方法。 ９． 請求の範囲１に記載の方法によって符号化された複数のセグメントを具え るディジタルビデオ映像信号であって、少なくとも１つの他の信号をシステムス トリーム中にインタリーブされた符号化データのストリームを具え、前記システ ムストリームが、開始されたセグメントのローディング後にｔの減少値によって 与えられる時間において前記デコーダバッファから個々のセグメントの第１フレ ームを読み出すべきことを示す前記タイムスタンプを、各セグメントごとに含む ことを特徴とする信号。 １０． 請求の範囲９に記載のビデオ映像信号のような信号を保持する光ディス ク。