JP2016531475A - 多層化されたビデオ符号化における低遅延コンセプト - Google Patents

Abstract

【解決手段】異なる層のインターリーブされた復号ユニットを用いてインターリーブされ多層化されたビデオ・データ・ストリームは、インターリーブ復号ユニットの配置を反映するタイミング制御情報に加えて更なるタイミング制御情報を提供される。追加のタイミング制御情報は、アクセス・ユニットの全復号ユニットがアクセス・ユニットに関する復号されたバッファで扱われることに従う代案、または中間手続きが用いられることに従う代案のどちらかに関連し、異なる層のＤＵｓのインターリービングは、追加で送られるタイミング制御情報に従って反転され、それによって、復号器のバッファでＤＵに関する扱いを符号化し、しかしながら、異なる層に関して復号ユニットのデインターリービングを用いる。両方の代案は、共に存在し得る。様々な実施形態の利点および代替は、ここで付随される様々な請求項の主題である。【選択図】図１７

Description

本願は、多視点ピクチャ／ビデオ符号化のような効率的な多視点／層を可能にする符号化コンセプトに関する。

スケーラブル・ビデオ符号化（ＳＶＣ）における符号化ピクチャ・バッファ（ＣＰＢ）は、完全なアクセス・ユニット（ＡＵｓ）で動作する。全てのネットワーク抽出層ユニット（ＮＡＬＵｓ）のうち１つのＡＵは、同じ瞬間に符号化ピクチャ・バッファ（ＣＰＢ）から移動させられる。１つのＡＵは、全層のパケット（すなわち、ＮＡＬＵｓ）を含む。

ＨＥＶＣ基礎仕様［１］における復号ユニット（ＤＵ）のコンセプトは、Ｈ．２６４／ＡＶＣと比較して書き加えられる。１つのＤＵは、ビットストリームにおいて連続的な位置でＮＡＬユニットの一グループである。ＮＡＬユニットは、同じ層、すなわち、いわゆるベース層に属する。

ＨＥＶＣ基礎仕様は、超低遅延を用いて、すなわち、Ｈ．２６４／ＡＶＣにおいてのようなＡＵレベルでのＣＰＢ動作とは対照的にＤＵレベルでのＣＰＢ動作、及びＤＵ粒度を有するＣＰＢタイミング情報を手段として、ビットストリームの復号を可能とするのに必要なツールを含む。したがって、１つの装置は、発生する処理の遅れを減らすために、ピクチャのサブ部分で動作し得る。超低遅延が多層ＳＨＶＣ、ＭＶ−ＨＥＶＣ、及びＨＥＶＣ拡張の３Ｄ−ＨＥＶＣにおいて動作するのと同様に、ＣＰＢは多層に亘ってＤＵレベルで動作し、適切に定義される必要がある。特に、いくつかの層又は視点を用いる１つのＡＵのＤＵｓが多層に亘って交互的であるビットストリームが必要である。すなわち、１つの与えられたＡＵの層ｍのＤＵｓは、ビットストリーム順で次に続くＤＵｓに非依存である限り、このような超低遅延を使用可能な多層ビットストリームにおいて、同じＡＵの層（ｍ＋１）のＤＵｓに従い得る。

超低遅延動作は、ＡＵｓに基づいて働くＳＶＣ及びＨ．２６４／ＡＶＣ拡張のＭＶＣと比較して多層復号器のためのＣＰＢ動作の修正を必要とする。超低遅延復号器は、例えばＳＥＩメッセージを手段として提供される、追加のタイミング情報を使用し得る。

１つの多層復号器のいくつかの実装は、層に関する復号（及びＤＵ又はＡＵレベルのどちらかでのＣＰＢ動作）、すなわち、新しい機構が提供される場合を除いて、ＳＨＶＣ、ＭＶ−ＨＥＶＣ、及び３Ｄ−ＨＥＶＣを用いる如何なる多層超低遅延アプリケーションをも効果的に妨げるであろう、層ｍ＋１の復号の前に層ｍの復号、を好み得る。

現在、ＨＥＶＣ基礎仕様は、２つの復号動作モードを含む。
復号に基づくアクセス・ユニット（ＡＵ）：１つのアクセス・ユニットの全復号ユニットが同時にＣＰＢから移動させられる。
復号に基づく復号ユニット（ＤＵ）：それぞれの復号ユニットが自らのＣＰＢ除去時間を有する。

B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, T. Wiegand (Eds.), "High Efficiency Video Coding (HEVC) text specification draft 10", JCTVC-L1003, Geneva, CH, Jan. 2013 G. Tech, K. Wegner, Y. Chen, M. Hannuksela, J.Boyce (Eds.), "MV-HEVC Draft Text 3 (ISO/IEC 23008-2 PDAM2)", JCT3V-C1004, Geneva, CH, Jan. 2013 G. Tech, K. Wegner, Y. Chen, S. Yea (Eds.), "3D-HEVC Test Model Description, draft specification", JCT3V-C1005, Geneva, CH, Jan. 2013 WILBURN, Bennett, et al. High performance imaging using large camera arrays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776. WILBURN, Bennett S., et al. Light field video camera. In:Electronic Imaging 2002. International Society for Optics and Photonics, 2001. S. 29-36. HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In:Proc. Int. Symposium of 3D and Contents. 2010. S. 7-10.

それにもかかわらず、多視点／層符号化コンセプトをさらに改良する手の届くところにあるコンセプトを有することがより有利であるだろう。

それに応じて、本発明の目的は、多視点／層符号化コンセプトをさらに改良するコンセプトを提供することである。特に、本発明の目的は、端末間の低遅延を、しかしながら、低遅延コンセプトを復号器が取り扱うことのできない又は復号が用いない、少なくとも１つの代案を断念することなしに、可能とすることの実現性を提供する。

この目的は、懸案中の独立請求項の主題によって達成される。

本願の基本的な考えは、インターリーブ復号ユニット配置を反映するタイミング制御情報に加えて、更なるタイミング制御情報を用いて異なる層のインターリーブ復号ユニットを有するインターリーブの多層化されたビデオ・データ・ストリームを提供することである。追加のタイミング制御情報は、アクセス・ユニットの全復号ユニットがユニットに関する復号バッファ・アクセスで取り扱われることに従う代案、又は中間手続きが用いられ、異なる層のＤＵｓのインターリービングが追加で送信されるタイミング制御情報に従って反転されることに従う代案のどちらかに関連し、その結果、復号器のバッファでＤＵに関する取り扱いを可能とし、しかしながら、異なる層に関して復号ユニットのインターリービングを用いない。両方の代案が共に存在し得る。様々な有利な実施形態及び代替は、ここで付随される様々な請求項の主題である。

本願の好ましい実施形態は、以下で図面に関して説明される。

次に続く図に関して更に概説される多層符号器のいずれかを実装するための実例として役立つビデオ符号器を示す。 図１のビデオ符号器に適したビデオ復号器を示す略ブロック図を示す。 ＷＰＰ処理のためにサブストリームに細分されるピクチャの略図を示す。 空間的なセグメントへのピクチャの更なる細分を示してブロックに細分される、いくつかの層のピクチャを例示する略図を示す。 ブロック及びタイルに細分される、いくつかの層のピクチャの略図を示す。 ブロック及びサブストリームに細分されるピクチャの略図を示す。 ここで３つの層を模範的に備え、そこでデータ・ストリームの中で時刻それぞれ及び層それぞれに属するＮＡＬユニットを配置するためのオプション１及び２が図７の下半分において例示される、多層化されたビデオ・データ・ストリームの略図を示す。 ２つの層の模範的な事例においてこれら２つのオプションを例示することによって１つのデータ・ストリームの一部の略図を示す。 １つの比較実施形態として、オプション１の図７及び８に従って多層化されたビデオ・データ・ストリームを処理するように構成された復号器の略ブロック図を示す。 図９の復号器に適した符号器の略ブロック図を示す。 変化する層のＤＵｓのインターリーブ伝達を示すフラグを含むＶＰＳシンタックス拡張の一部のシンタックス例を示す。 一実施形態に係る復号器のバッファからインターリーブ伝達されるＤＵｓのＤＵデインターリーブ除去を可能とするタイミング制御情報を含むＳＥＩメッセージの模範的なシンタックスを示す。 代替の実施形態に係る、インターリーブＤＵｓの始端で散在されることになっており、図１２ａのタイミング制御情報をまた運ぶ、ＳＥＩメッセージの模範的なシンタックスを示す。 一実施形態に従ってインターリービングするＤＵを維持するとき、ＤＵに関するバッファ検索を可能とするタイミング制御情報を明らかにするＳＥＩメッセージの模範的なシンタックスを示す。 登録された番号０〜２として例示される層インデックスを用いて、時間とともに３つの層のＤＵｓのビットストリーム順の略図を示す。 時間とともにそこで、図１３と比較して、ＤＵｓがインターリーブされる３つの層のＤＵｓのビットストリーム順の略図を示す。 一実施形態に係るマルチプルＣＰＢｓのための多層ＤＵｓの分布を例示する略図を示す。 一実施形態に係るマルチプルＣＰＢｓに関してメモリアドレス例示を例示する略図を示す。 本願の一実施形態に対応するために図７に関連して修正される符号器とともに多層化されたビデオ・データ・ストリームの略図を示す。 本願の一実施形態に対応するために図７に関連して修正される符号器とともに多層化されたビデオ・データ・ストリームの略図を示す。 本願の一実施形態に対応するために図７に関連して修正される符号器とともに多層化されたビデオ・データ・ストリームの略図を示す。 本願の一実施形態に対応するために図７に関連して修正される符号器とともに多層化されたビデオ・データ・ストリームの略図を示す。 本願の一実施形態に対応するために図９において模範的に示される１つと関連のある修正された復号器とともに多層化されたビデオ・データ・ストリームの略図を示す。 本願の一実施形態に対応するために図９において模範的に示される１つと関連のある修正された復号器とともに多層化されたビデオ・データ・ストリームの略図を示す。 本願の一実施形態に対応するために図９において模範的に示される１つと関連のある修正された復号器とともに多層化されたビデオ・データ・ストリームの略図を示す。 本願の一実施形態に対応するために図９において模範的に示される１つと関連のある修正された復号器とともに多層化されたビデオ・データ・ストリームの略図を示す。 復号器バッファから上流に配置される中間ネットワークを例示するブロック図を示す。

まず、概説として、符号器／復号器構造の一例が、後に提示される実施形態に適して、提示される。すなわち、符号器は、後に概説されるコンセプトを利用するために実施され得、同じものが復号器に関して適用される。

図１は、一実施形態に係る符号器の全体構造を示す。符号器１０は、マルチスレッド方法またはそうでない、すなわち、単にシングルスレッドで動作することができるために実装され得る。つまり、符号器１０は、例えば、マルチプルＣＰＵコアを用いて実装され得る。言い換えると、符号器１０は、並列処理をサポートし得、しかし、それはする必要はない。生成されたビットストリームは、シングルスレッドの符号器／復号器によって生成可能／復号可能でもまたあるだろう。本願の符号化コンセプトは、しかしながら、並列処理符号器に、効率的にしかしながら圧縮効率を備えることなしに、並列処理を適用することを可能とする。並列処理能力に関して、同様の陳述は、図２に関して後に説明される復号器に有効である。

符号器１０は、ビデオ符号器である。ビデオ１４のピクチャ１２は、入力１６で符号器１０に入るように示される。ピクチャ１２は、特定のシーン、すなわち、ピクチャ・コンテンツを示す。しかしながら、符号器１０は、その入力１６で異なる層に属する両方のピクチャ１２および１５と同じ瞬間で関連する他のピクチャ１５もまた受け取る。単に例示目的のため、ピクチャ１２が層０に属するように示され、一方、ピクチャ１５が層１に属するように示される。図１は、層１が層０に関してより高い空間分解能を含み得、すなわち、ピクチャ・サンプルのより多い数で同じシーンを示し得ることを例示する。しかし、これは単に例示目的のためのみであり、且つ層１のピクチャ１５は、代わりに、同じ空間分解能を有し、しかし、例えば、層０に関するビュー方向において異なり得る。すなわち、ピクチャ１２および１５は、異なる視点からキャプチャされ得る。この文章において用いられる基本および拡張の用語が、層の階層における参照および依存する層のいずれにも言及し得ることが留意される。

符号器１０は、ハイブリッド符号器、すなわち、ピクチャ１２および１５が符号器１０の予測器１８、および符号器１０の残余判定器２２によって得られる予測残余２０によって予測され、ＤＣＴのようなスペクトル分解、および符号器１０の変換／量子化モジュール２４における量子化のように、変換の対象となる。変換および量子化される予測残余２６、このように取得され、例えば、コンテキスト適応性を用いる算術符号化または可変長符号化のように、エントロピー符号器２８においてエントロピー符号化の対象となる。残余の再構築可能なバージョンは、復号器に利用可能である。すなわち、逆量子化および再変換される残余信号３０は、再変換／再量子化モジュール３１によって回復され、且つ結合器３３によって予測器１８の予測信号３２と再結合され、それによってピクチャ１２および１５それぞれの再構築３４という結果になる。しかしながら、符号器１０は、ブロック単位で動作する。それに応じて、再構築信号３４は、ブロック境界で不連続性に苦しみ、且つ、それに応じて、フィルタ３６は、ピクチャ１２および１５のために、それぞれ、予測器１８が次に異なる層の符号化ピクチャを予測することに基づいて、参照ピクチャ３８を産出するために、再構築信号３４に適用され得る。図１において破線によって示されるように、予測器１８、しかしながら、また、空間予測モードのような他の予測モードにおいてのように、直接、フィルタ３６または中間バージョンなしに、再構築信号３４を利用し得る。

予測器１８は、ピクチャ１２の特定のブロックを予測するために異なる予測モードの中で選択し得る。ピクチャ１２のこのような１つのブロック３９は、図１において模範的に示されるピクチャ１２が区画されるピクチャ１２のいずれかのブロックの代表であり、ピクチャ１２´のような同じ層の事前符号化ピクチャに基づいて予測される、ブロック３９に従う時間予測モードがあり得る。空間予測モードは、ブロック３９が同じピクチャ１２の隣接するブロック３９の事前符号化部分に基づいて予測されることに従って存在する。ピクチャ１５のブロック４１は、ピクチャ１５が区画される他のブロックのいずれかの代表であるために、図１においてもまた例示的に示される。ブロック４１のために、予測器１８は、たった今議論された予測モード、すなわち、時間および空間予測モードをサポートし得る。加えて、予測器１８は、ブロック４１がより低い層のピクチャ１２の対応する部分に基づいて予測されることに従う層間予測モードのために提供し得る。「対応する部分（ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｐｏｒｔｉｏｎ）」における「対応する（ｃｏｒｒｅｓｐｏｎｄｉｎｇ）」は、空間対応、すなわち、ピクチャ１５において予測されるブロック４１のようにシーンの同じ部分を示すピクチャ１２の中で一部分を意味する。

予測器１８の予測は、当然ながら、ピクチャ・サンプルに制限され得ない。予測は、如何なる符号化パラメータ、すなわち、予測モード、時間予測の運動ベクトル、多視点予測の視差ベクトルなどにも適用され得る。単に、残余がビットストリーム４０においてそのとき符号化され得る。すなわち、空間および／または層間予測を用いて、符号化パラメータが予測的に符号化／復号され得る。ここでさえ、視差補償が用いられ得る。

特定のシンタックスは、量子化残余データ２６をコンパイルするために、すなわち、係数レベルおよび他の残余データも、例えば、予測器１８によって決定されるようなピクチャ１２および１５の個々のブロック３９および４１のための予測モードおよび予測パラメータを含む符号化パラメータも変換するために、用いられる。また、このシンタックスのシンタックス要素は、エントロピー符号器２８によるエントロピー符号化の対象となる。エントロピー符号器２８による出力としてそれ故に取得されるデータ・ストリームは、符号器１０によってビットストリーム４０の出力を形成する。

図２は、図１の符号器に適応する復号器、すなわち、ビットストリーム４０を復号することができる復号器を示す。図２の復号器は、参照信号５０によって全体的に示され且つエントロピー復号器、変換／逆量子化モジュール５４、結合器５６、フィルタ５８、および予測器６０を備える。エントロピー復号器４２は、残余データ６２および符号化パラメータ６４を受け取るために、ビットストリームを受け取り、且つエントロピー復号を実行する。再変換／逆量子化モジュール５４は、残余データ６２を逆量子化および再変換し、且つそれ故に取得された残余信号を結合器５６へと転送する。結合器５６は、予測器６０からの予測信号もまた受け取る。予測器６０は、順番に、予測信号６６および残余信号６５を結合することによって結合器５６によって決定される再構築信号６８に基づいて符号化パラメータ６４を用いて予測信号を形成する。予測は、予測器１８から最終的に選択される予測を映し出す。すなわち、同じ予測モードが利用可能であり、且つこれらのモードがピクチャ１２および１５の個々のブロックのために選択され且つ予測パラメータに従って操縦される。図１に関して既に上記で説明されたように、予測器６０は、再構築信号６８のフィルタ処理されたバージョン、または、代わりにまたは加えて、それの同じ中間バージョンを用い得る。復号器５０の出力７０で最終的に再生成され且つ出力するべき異なる層のピクチャは、同じく、結合信号６８のフィルタ処理されていないバージョン、またはそれの同じフィルタ処理されたバージョンで決定される。

図１０の符号器１０は、タイル・コンセプトをサポートする。タイル・コンセプトに従って、ピクチャ１２および１５は、タイル８０および８２、それぞれ、且つこれらのタイル８０および８２の中で少なくともブロック３９および４１の予測へと細分され、それぞれ、空間予測の基礎として、それぞれ、同じピクチャの同じタイルに関する単なるデータを用いることを制限される。これは、ブロック３９の空間予測が同じタイルの事前符号化部分を用いることを制限され、しかし、時間予測モードがピクチャ１２´のような事前符号化ピクチャの情報に依存することを制限されないことを意味する。同様に、ブロック４１の空間予測モードは、同じタイルのみの事前符号化データを用いることを制限され、しかし、時間および層間予測モードは制限されない。復号器５０の予測器６０は、同じく、タイル境界を扱うように構成され、特に、予測器およびエントロピー・コンテキストの選択および／または適合は、如何なるタイル境界を横断することなしに１つのタイルのみの中で実行される。

６つのタイルへのピクチャ１５および１２の細分は、それぞれ、例示目的のために単に選択された。タイルへの細分は、それぞれ、ピクチャ１２，１２´および１５，１５´のために個々にビットストリーム４０の中で選択され且つ信号を送られ得る。ピクチャ１２および１５ごとのタイルの番号は、それぞれ、１，２，３，４，６などのいずれかであり得る。タイルのパーティション分割は、タイルのみの行および列へと一定の間隔でのパーティション分割を制限され得る。完全を期すために、タイルを別々に符号化する方式は、イントラ予測または空間予測に制限され得、しかし、タイル境界を横断する符号化パラメータの如何なる予測、およびエントロピー符号化におけるコンテキスト選択をも取り囲み得ることを留意されたい。すなわち、後者は、同じタイルのデータにのみ依存するように制限もまたされ得る。したがって、復号器は、たった今述べた並列における、すなわちタイルのユニットにおける動作を実行することができる。

図１および２の符号器および復号器は、代わりにまたは加えて、ＷＰＰ（ｗａｖｅｆｒｏｎｔ ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ（波面並列処理））コンセプトを用いる／サポートすることができる。図３を参照すると、ＷＰＰサブストリーム１００は、ＷＰＰサブストリームへのピクチャ１２，１５の空間パーティション分割を表わす。タイルおよびスライスと対照的に、ＷＰＰサブストリームは、ＷＰＰサブストリーム１００を横断する予測およびコンテキスト選択に制限を課さない。ＷＰＰサブストリーム１００は、ＬＣＵｓ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ（最大符号化ユニット））１０１、すなわち、予測符号化モードがビットストリームにおいて個々に送られるために最もあり得るブロックの行を横断するように行に関して拡張する。また、並列処理を可能とするために、単に１つの妥協がエントロピー符号化に関してなされる。特に、命令１０２は、ＷＰＰサブストリーム１００の中で定義され、それは模範的に上から下まで導き、且つＷＰＰサブストリーム１００それぞれのために、命令１０２において第１のＷＰＰサブストリームを除いて、シンボル・アルファベットのための確率推定、すなわち、エントロピー確率は、完全にリセットし、しかし、互いに、ＬＣＵ行方向において、矢印１０６によって示され且つ導くように左手側のように、ピクチャ１２および１５の同じ側で、それぞれ、ＷＰＰサブストリームそれぞれのために、始める、ＬＣＵ命令、またはサブストリームの復号器命令を用いて、ライン１０４によって示されるように、その、第２のＬＣＵまで直ちに先行するＷＰＰサブストリームを、符号化／復号されたエントロピーを有する後で結果として生じる確率から採用される、または、に等しい。それに応じて、同じピクチャ１２と１５のＷＰＰサブストリームのシーケンスの間のいくらかの符号化遅延に従うことによって、それぞれ、これらＷＰＰサブストリーム１００は、ピクチャ１２，１５それぞれで部分が並列に符号化／復号され、すなわち、共に、左から右へとタイル化されるようにピクチャを横断して動く一種の波面１０８を形成するために、並列に復号可能／符号化可能である。

命令１０２および１０４は、上から下まで行ごとに左上のＬＣＵ１０１から右下のＬＣＵまで導くＬＣＵｓの中でラスタ走査命令もまた定義することに、簡潔に留意されたい。ＷＰＰサブストリームは、１つのＬＣＵ行それぞれに対応する。タイルに戻って簡潔に参照すると、後者は、ＬＣＵ境界にアラインされることもまた制限され得る。サブストリームは、サブストリームの内側において２つのスライスの間の境界が関係する限り、ＬＣＵ境界に結び付けられることないしに１つ以上のスライスへと寸断され得る。エントロピー確率は、しかしながら、サブストリームの１つのスライスからサブストリームの次へと通過するときその場合において採用される。タイルの場合、タイル全体は１つのスライスへと集約され得、または１つのタイルは、タイルの内側における２つのスライスの間の境界が関係する限り、ＬＣＵに再び結び付けられない、１つ以上のスライスへと破断され得る。タイルの場合、ＬＣＵｓの中での命令は、タイル命令において次のタイルに先行する前に、まず、ラスタ走査命令においてタイル命令においてタイルを横断するために、変更される。

今までに説明されたように、ピクチャ１２は、タイルまたはＷＰＰサブストリームへとパーティション分割され得、同じく、ピクチャ１５も、タイルまたはＷＰＰサブストリームへとパーティション分割され得る。理論上は、ＷＰＰサブストリームのパーティション分割／コンセプトは、タイルのパーティション分割／コンセプトが２つの相手のために選択されるとき、ピクチャ１２および１５の１つのために選択され得る。代わりに、制限は、コンセプト型、すなわち、タイルまたはＷＰＰサブストリームが層の中で同じであるべきことに従うビットストリームに課され得る。

空間セグメントの他の例はスライスを取り囲む。スライスは、伝送目的のためのビットストリーム４０を分割することに適している。スライスは、伝送のための最小の実体であるＮＡＬユニットへとパックされる。スライスそれぞれは、独立して符号化可能／復号可能である。すなわち、スライス境界を横断する如何なる予測も、コンテキスト選択などと同様に、禁じられる。

これらは、完全に、空間セグメントの３つの例：スライス、タイル、およびＷＰＰサブストリームである。加えて、３つの並列化コンセプトの全て、タイル、ＷＰＰサブストリーム、およびスライスは、組合せで用いられ得る。すなわち、ピクチャ１２またはピクチャ１５は、タイルへと分裂され得、タイルそれぞれは、マルチプルＷＰＰサブストリームへと分裂される。また、スライスは、例えば（しかし制限されない）、タイルまたはＷＰＰ境界で、ビットストリームをマルチプルＮＡＬユニットへとパーティション分割することに適し得る。ピクチャ１２，１５が、タイルまたはＷＰＰサブストリームを用いて、且つ、加えて、スライスを用いて、パーティション分割され、且つスライスのパーティション分割が他のＷＰＰ／タイルのパーティション分割から外れる場合、そのとき、空間セグメントは、ピクチャ１２，１５の最小に独立して復号可能なセクションとして定義されるだろう。代わりに、制限は、コンセプトの組合せがピクチャ（１２または１５）の中で、および／または境界が異なる用いられるコンセプトの間で整列されるべき場合に用いられ得ることが、ビットストリームに課され得る。

様々な予測モードが、上記で説明された、タイルおよび／またはＷＰＰコンセプトのような並列処理コンセプトを可能とするために、符号器および復号器によっても、予測モードにもコンテキスト導出にも課される制限によってもサポートされた。符号器および復号器は、ブロック単位で動作し得ることが、上記でもまた述べられた。例えば、上記で説明された予測モードは、ブロック単位で、すなわち、ピクチャ自身よりもより細かな粒度で、選択される。本願の説明する側面を続行する前に、スライス、タイル、ＷＰＰサブストリーム、および一実施形態に係るたった今述べられたブロックの間の関係が説明されるだろう。

図４は、層１２またはピクチャ１５のような層１のピクチャのような、層０のピクチャであり得るピクチャを示す。ピクチャは、ブロック９０の配列へと一定の間隔で細分される。時々、これらのブロック９０は、最大符号化ブロック（ＬＣＢ）、最大符号化ユニット（ＬＣＵ）、符号化ツリー・ブロック（ＣＴＢ）などと呼ばれる。ブロック９０へのピクチャの細分は、上記で記述された予測および残余符号化が実行される基礎の一種または最も粗い粒度を形成し得る。また、この最も粗い粒度、すなわち、ブロック９０のサイズは、層０および層１のために独立して、符号器によって信号を送られ得且つセットし得る。例えば、４ツリー細分のようなマルチ・ツリーが、ブロック９０それぞれを予測ブロック、残余ブロック、および／または符号化ブロックそれぞれへと細分するために、データ・ストリームの中で用いられ得、および信号を送られ得る。特に、符号化ブロックは、ブロック９０の再帰的マルチ・ツリー細分のリーフ・ブロックであり得、且ついくつかの予測関係決定は、予測モードのように、符号化ブロックの粒度で信号を送られ、且つ、例えば、中間層予測の場合、時間的中間予測および視差ベクトルの場合、運動ベクトルのような予測パラメータの粒度で予測ブロックは、符号化され、且つ、予測残余が符号化されることの粒度で残余ブロックは、別々の再帰的コード・ブロックのマルチ・ツリー細分のリーフ・ブロックであり得る。

ラスタ走査符号化／復号命令９２は、ブロック９０の中で定義され得る。符号化／復号命令９２は、空間予測の目的のために隣接部分の有効性を制限する。：符号化／復号命令９２が、カレントで予測されるシンタックス要素が関連するために、ブロック９０またはいくつかのより小さいそのブロックのようなカレント部分に先行することに従うピクチャの単なる部分は、カレント・ピクチャの中で空間予測に利用可能である。層それぞれの中で、符号化／復号命令９２は、ピクチャの時間的な再生に従う必要のないピクチャ符号化／復号命令において層それぞれの次のピクチャの横断ブロックを用いてそのとき継続するためにピクチャの全ブロック９０を横断する。個々のブロック９０の中で、符号化／復号命令９２は、符号化ブロックのような、より小さいブロックの中でスキャンへとリファインされる。

たった今概説されたブロック９０およびより小さいブロックに関して、ピクチャそれぞれは、たった今述べられた符号化／復号命令９２に沿って１つまたはよりスライスへとさらに細分される。図４において模範的に示されるスライス９４ａおよび９４ｂは、ギャップレスにピクチャそれぞれをそれに応じてカバーする。１つのピクチャの連続したスライス９４ａと９４ｂの間の境界またはインターフェイス９６は、隣接ブロック９０の境界にアラインされ得またはされ得ない。より正確に言うと、図４の右手側で例示された、１つのピクチャの中で連続したスライス９４ａと９４ｂは、符号化ブロック、すなわち、ブロック９０の１つの細分のリーフ・ブロックのような、より小さいブロックの境界で互いに隣接し得る。

ピクチャのスライス９４ａおよび９４ｂは、ピクチャが符号化されることへとデータ・ストリームの部分において最小ユニットを形成し得、パケット、すなわち、ＮＡＬユニットへとパケット化され得る。スライスの更なる可能な特性、すなわち、例えば、スライス境界に亘る予測およびエントロピー・コンテキスト決定に関するスライスに対する制限は、上記で説明された。このような制限を有するスライスは、「標準」スライスと呼ばれ得る。下記でより詳細に概説されるように、標準スライスに加えて「依存スライス」もまた存在し得る。

ブロック９０の配列の中で定義される符号化／復号命令９２は、タイル・パーティション分割コンセプトがピクチャのために用いられる場合、変更し得る。これは、ピクチャが４つのタイル８２ａ〜８２ｄへとパーティション分割されて模範的に示される図５において示される。図５において例示されるように、タイルは、ブロック９０のユニットにおいてピクチャの一定間隔の分割のようにそれ自身が定義される。すなわち、タイル８２ａ〜８２ｄそれぞれは、タイルの行それぞれのために個々にセットされるｎ、およびタイルの列それぞれのために個々にセットされるｍを有するｎ×ｍブロック９０の配列から構成される。符号化／復号命令９２に続いて、第１のタイルにおけるブロック９０は、次のタイル８２ｂなどのための手順の前に、ラスタ走査命令においてまず走査され、そこではタイル８２ａ〜８２ｄがラスタ走査命令においてそれ自身走査される。

ＷＰＰストリーム・パーティション分割コンセプトに従って、ピクチャは、符号化／復号命令９２に沿って、ブロック９０の１つ以上の行のユニットにおいて、ＷＰＰサブストリーム９８ａ〜９８ｄへと細分される。ＷＰＰサブストリームそれぞれは、例えば、図６において例示されるようにブロック９０の１つの完全な行をカバーする。

タイル・コンセプトおよびＷＰＰサブストリーム・コンセプトは、しかしながら、混合もまたされ得る。この場合において、ＷＰＰサブストリームそれぞれは、タイルそれぞれの中でブロック９０の例えば１つの行をカバーする。

ピクチャのスライス・パーティション分割でさえも、タイル・パーティション分割および／またはＷＰＰサブストリーム・パーティション分割を用いて共通に用いられ得る。タイルに関して、ピクチャの１つ以上のスライスのそれぞれが、１つの完全なタイルもしくは１つ以上の完全なタイル、または符号化／復号命令９２に沿って単に１つのタイルのサブ部分から正確に構成されるどちらかへと細分され得る。スライスは、ＷＰＰサブストリーム９８ａ〜９８ｄを形成するためにもまた用いられ得る。この目的のために、パケット化のための最小ユニットを形成するスライスは、一方で標準スライス、他方で依存スライスを備え得る。：標準スライスが上記で説明した制限を予測およびエントロピー・コンテキスト導出に対して課す一方、依存スライスは、このような制限を課さない。符号化／復号命令９２が行に関して十分に離れることからピクチャの境界で開始する依存スライスは、ブロック９０の直ちに先行する行においてエントロピー復号ブロック９０から結果として生じるようなエントロピー・コンテキストを採用する。また、どこか別の場所から開始する依存スライスは、エントロピー符号化／復号から直ちに先行するスライスのその終端まで結果として生じるようなエントロピー符号化コンテキストを採用し得る。この方式によって、ＷＰＰサブストリーム９８ａ〜９８ｄそれぞれは、１つ以上の依存スライスから構成され得る。

すなわち、ブロック９０の中で定義される符号化／復号命令９２は、ここで模範的に左側のピクチャそれぞれの第１の側から、模範的に右側の反対側へと直線的に導き、且つ下向きの／底の方向においてブロック９０の次の行へと下がる。利用可能な、すなわち、カレント・ピクチャの既出符号化／復号部分は、それに応じて、カレント・ブロック９０のように、カレント符号化／復号部分の左および上まで主に位置する。タイル境界を亘る予測およびエントロピー・コンテキスト導出の途絶に起因して、１つのピクチャのタイルは、並列に処理され得る。１つのピクチャのタイルの符号化／復号は、同時に開始さえされ得る。同じものの場合における上述したループ内フィルタ処理から生じる制限は、タイル境界を横断することを可能とされる。順番に、ＷＰＰサブストリームの符号化／復号を開始することは、上から下まで千鳥状に実行される。連続的なＷＰＰサブストリームの間のピクチャ内遅延は、複数のブロック９０、２つのブロック９０において測定される。

しかしながら、ピクチャ１２および１５の符号化／復号、すなわち、異なる層の瞬間を並列処理することさえ好ましいだろう。明らかに、依存層のピクチャ１５を符号化／復号は、既に利用可能なベース層の「空間的に対応する」部分があることを保証するためにベース層の符号化／復号と比較して遅延されなけらばならない。これらの思索は、個々にピクチャ１２および１５のいずれかの中での符号化／復号のいずれかの並列処理を用いない場合でさえ有効である。ピクチャ１２および１５の非タイルおよび非ＷＰＰサブストリーム処理、符号化／復号を用いて、それぞれ、ピクチャ１２および１５全体をカバーするために１つのスライスを用いる場合でさえ、並列処理され得る。次に説明する信号伝達、すなわち、６つ目の局面は、このような場合においてさえ、またはタイルまたはＷＰＰ処理が層のピクチャのいずれかのために用いられるかどうかに関わらず、複数の層の間でこのような符号化／復号遅延を表現することが可能である。

本願の上述したコンセプトを議論する前に、再び図１および２を参照して、図１および２における符号器および復号器のブロック構造が単に説明目的のためであり、且つ構造もまた異なり得るということに留意されたい。

端末間遅延が可能な限り低い、しかしながら、多層化された（スケーラブル）符号化であろうビデオ会議および産業サーベイランス・アプリケーションのようなアプリケーションがある。以下でより詳細に説明される実施形態は、多層ビデオ符号化においてより低い端末間遅延を許す。この点に関して、下文に説明される実施形態が多視点符号化に制限されないこともまた留意されたい。下文に説明される多層は、異なる視点を含み得、しかし、ＳＮＲ精度などの空間分解能の程度を変化することで同じ視点もまた表わし得る。以下で議論される多層に沿った可能なスケーラブルな寸法は、前の層が多種であり、且つ例えば視点の番号、空間分解能、およびＳＮＲ精度を備えることによって運ばれる情報コンテンツを増加する。

上記で説明したように、ＮＡＬユニットはスライスから構成される。タイルおよび／またはＷＰＰコンセプトは、多層化されたビデオ・データ・ストリームの異なる層のために個々に自由に選択されることが可能である。それに応じて、そこへとパケット化されるスライスを有するＮＡＬユニットそれぞれは、スライスそれぞれが参照するピクチャのエリアに空間的に起因され得る。それに応じて、層内予測の場合において低遅延符号化を可能とするために、符号器および復号器が、異なる層のこれらのピクチャの並列処理を可能とし、しか、同じ瞬間に付随する方式でこれらのＮＡＬユニットへとパケット化されるスライスを、それぞれ、符号化、伝達、および復号することを開始することを可能とするために、同じ瞬間に付随する異なる層のＮＡＬユニットをインターリーブすることを可能とすることが好ましいだろう。しかしながら、アプリケーションに依存して、符号器は、層寸法において並列処理を可能とする能力を超えて、異なる層のための異なるＧＯＰ構造の使用のような、異なる層のピクチャの中で異なる符号化命令を用いるための能力のほうがよい。比較の実施形態に従うデータ・ストリームの構文は、図７を参照して下文で説明される。

図７は、異なる層のそれぞれのためにピクチャ２０４のシーケンスから構成される多層化されたビデオ素材２０１を示す。層それぞれは、多層化されたビデオ素材２０１によって説明されるこのシーン（ビデオ・コンテンツ）の異なる特性を説明し得る。すなわち、層の意義は、例えば、色成分、深度図および／または視点の中で選択され得る。一般性を失うことなしに、私たちに多視点ビデオであるビデオ素材２０１とは異なる視点に対応する異なる層を担わせる。

低遅延を必要とするアプリケーションの場合、符号器は、長期高レベルシンタックス要素に信号を送ることを決定し得る。その場合、符号器によって生成されるデータ・ストリームは、それの周りに円で１つで、図７の中央において示されるように見え得る。その場合、多層化されたビデオ・ストリーム２００は、１つの時間的な瞬間のピクチャに関する１つのアクセス・ユニット２０６に属するＮＡＬユニット２０２、および異なる瞬間に関する異なるアクセス・ユニットのＮＡＬユニット２０２のような、ＮＡＬユニット２０２のシーケンスから構成される。すなわち、アクセス・ユニット２０６は、１つの瞬間のＮＡＬユニット２０２、すなわちアクセス・ユニット２０６に関連付けられる１つを集める。アクセス・ユニット２０６それぞれの中で、層それぞれのために、層それぞれに関するＮＡＬユニットの少なくともいくつかは、１つ以上の復号ユニット２０８にグループ分けされる。これは、ＮＡＬユニット２０２の中に、上記で示されたような、一方でＶＣＬ ＮＡＬユニット、他方で非ＶＣＬ ＮＡＬユニットのような、異なるタイプのＮＡＬユニットがあることの次に続くことを意味する。さらに特に言えば、ＮＡＬユニット２０２が異なるタイプであり得、且つこれらのタイプが次を備え得る。

１）スライス、タイル、ＷＰＰサブストリームなど、すなわち、ピクチャ・サンプル・スケール／粒度に関してピクチャ・コンテンツを説明する予測パラメータおよび／または残余データに関するシンタックス要素を運ぶＮＡＬユニット。１つ以上のこのようなタイプが存在し得る。ＶＣＬ ＮＡＬユニットはこのようなタイプである。このようなＮＡＬユニットが除去可能である。
２）パラメータ・セットＮＡＬユニットが上記で説明されたいくつかの例、長期符号化セッティングのような稀に変更する情報を運び得る。このようなＮＡＬユニットは、例えば、いくらかの範囲で且つ繰り返し、データ・ストリームの中で散在され得る。
３）補足拡張情報（ＳＥＩ）ＮＡＬユニットが任意データを運び得る。

用語「ＮＡＬユニット」の代替として、「パケット」は、第１のタイプのＮＡＬユニット、すなわち、ＶＣＬユニットを表示して次に続いて時々用いられ、「ペイロード・パケット」、一方で「パケット」は、上記したリストのタイプ２および３のパケットが属する非ＶＣＬユニットもまた取り囲む。

復号ユニットは、上述したＮＡＬユニットの第１から構成され得る。より正確には、復号ユニットは、アクセス・ユニットおよび関連非ＮＡＬユニットにおいて１つ以上のＶＣＬ ＮＡＬユニットから構成され得る。復号ユニットは、それ故に、１つのピクチャの特定のエリア、すなわち、その中に含まれる１つ以上のスライスへと符号化されるエリアを説明する。

異なる層に関連するＮＡＬユニットの復号ユニット２０８は、復号ユニットそれぞれに対して、以前は復号ユニットそれぞれを符号化した層内予測が復号ユニットそれぞれが関連する層以外の層のピクチャの部分に基づくために、インターリーブされ、その部分は、アクセス・ユニットそれぞれの中で復号ユニットそれぞれに先行する復号ユニットへと符号化される。例えば、図７における復号ユニット２０８ａを参照のこと。模範的に、依存層２のピクチャそれぞれのエリア２１０および特定の瞬間に関するこの復号ユニットを想像されたい。同じ瞬間のベース層ピクチャにおけるコロケート・エリアが２１２によって示され、且つこのエリア２１２を僅かに超えるこのベース層ピクチャのエリアが、層内予測を利用することによって復号ユニット２０８ａを完全に復号するために必要とされ得る。僅かに超えることは、例えば、視差補償予測の結果であり得る。これは、同様に、アクセス・ユニット２０６の中で復号ユニット２０８ａに先行する、（複数の）復号ユニット２０８ｂが、完全に層内予測のために必要とされるエリアをカバーするべきことを意味する。インターリービング粒度のための境界のように用いられ得る遅延指示に関する上記の説明について言及する。

しかしながら、アプリケーションが異なる層の中でピクチャの復号命令を異なって選択する自由のより利点を取る場合、符号器は、その周りの円でその２で図７の底部で描写される場合が好まれ得る。この場合、多層化されたビデオ・データ・ストリームは、層ＩＤの値および単独の時間的な瞬間の１つ以上の特定の組合せに属するピクチャそれぞれのための個々のアクセス・ユニットを有する。図７において示されるように、（ｉ−１）番目の復号器命令、すなわち、瞬間ｔ（ｉ−１）で、層それぞれは、アクセス・ユニットＡＵ₁、ＡＵ₂（など）、または全ての層が単独のアクセス・ユニットＡＵ₁において含まれる非（ｃ．ｐ 瞬間ｔ（ｉ））から成り得る。しかしながら、インターリービングは、この場合において可能でない。アクセス・ユニットは、復号命令ｉ＋１などに対応するこれらの層のピクチャに関連するアクセス・ユニットに続いて、復号命令インデックスｉ、すなわち、層それぞれに対する復号命令ｉのアクセス・ユニットの次に続くデータ・ストリーム２００に配置される。等しい符号化命令または異なるピクチャ符号化命令のどちらかに関するデータ・ストリーム信号における時間的な層内予測信号伝達は、異なる層を求める。また、信号伝達は、例えば、１つの中で、ＮＡＬユニットへとパケット化されたスライスの中でのようなデータ・ストリームの中で１つ以上の位置の中で重複してさえ、配置され得る。言い換えると、場合（ｃａｓｅ）２がアクセス・ユニット・スコープを細分する。：別々のアクセス・ユニットは、瞬間および層の組合せそれぞれのために開かれる。

ＮＡＬユニット・タイプに関して、それらの間で定義される命令規則は、復号器に、連続的なアクセス・ユニットの間の境界が復号器に伝達または伝達でない間に除去されていた除去可能なパケット・タイプのＮＡＬユニットに関わりなく配置される位置を決定することを可能とし得ることを留意されたい。除去可能なパケット・タイプのＮＡＬユニットは、例えば、ＳＥＩ ＮＡＬユニット、または重複するピクチャ・データＮＡＬユニット、または他の特定のＮＡＬユニット・タイプを備え得る。すなわち、アクセス・ユニットの間の境界が動かないが留まり、且つまだ、命令規則がアクセス・ユニットそれぞれの中で従い、しかし、２つのアクセス・ユニットのいずれかの間の境界それぞれで壊される。

完全を期すために、図１８は、図７の場合１が、異なる層、しかし、同じ瞬間（ｉ−１）に属するパケットが、例えば、１つのアクセス・ユニットの中で分配されることを可能とすることを例示する。図１６の場合２は、それの周りの円を用いて２で同様に描写される。

アクセス・ユニットそれぞれの中に含まれるＮＡＬユニットがデータ・ストリームの層とのこれらの関連に関して実際にインターリーブされるか、またはされないかのどちらかに関する事実は、符号器の裁量で決定され得る。データ・ストリームの扱いを容易とするために、シンタックス要素が、復号器に対して、特定のタイム・スタンプの全ＮＡＬユニットを集めるアクセス・ユニットの中でＮＡＬユニットのインターリービングまたはデインターリービングに信号を送り得る。これは、後者がＮＡＬユニットをより容易に処理し得るためである。例えば、インターリービングがスイッチをオンにされる信号を送られるときはいつでも、復号器は、図９を参照して簡潔に例示されたような１つ以上の符号化ピクチャ・バッファを用い得る。

図９は、図２を参照して上記で概説されたように実施され得る復号器７００を示す。模範的に、図９の多層化されたビデオ・データ・ストリーム、その周りに円を有するオプション１は、復号器７００に入力するように示される。異なる層、しかし共通の瞬間、アクセス・ユニットＡＵごとに属するＮＡＬユニットのデインターリービングをより容易に実行するために、復号器７００は、アクセス・ユニットＡＵそれぞれのために、例えば、バッファ７０２に対する第１の層に属する、アクセス・ユニットＡＵのＮＡＬユニット、および例えば、バッファ７０４に対する第２の層に属するＮＡＬユニットを転送するマルチプレクサ７０６を用いて、２つのバッファ７０２および７０４を用いる。復号ユニット７０８は、そのとき、復号を実行する。例えば、図９において、ベース／第１の層に属するＮＡＬユニットは、例えば、ハッチングされないように示され、一方で、依存／第２の層のＮＡＬユニットは、ハッチングを用いて示される。上記で概説されたインターリービング信号伝達がデータ・ストリームにおいて存在する場合、復号器７００は、次の方式でこのインターリービング信号伝達に対応し得る。：インターリービング信号伝達がスイッチをオンされるためにＮＡＬユニット・インターリービングに信号を送る場合、すなわち、異なる層のＮＡＬユニットが１つのアクセス・ユニットＡＵの中で互いにインターリーブされ、且つ復号器７００は、たった今概説したこれらのバッファの上にＮＡＬユニットを分配するマルチプレクサ７０６を用いてバッファ７０２および７０４を用いる。そうでない場合、しかしながら、符号器７００は、例えば、バッファ７０２のように如何なるアクセス・ユニットによっても備えられる全ＮＡＬユニットのためにバッファ７０２および７０４の１つを単に用いる。

より容易に図９の実施形態を理解するために、上記で概説されたような多層ビデオ・データ・ストリームを生成するように構成される符号器を示す図１０を用いて、図１０と一緒に図９を参照する。図１０の符号器は、引用符号７２０を用いて一般に示され、且つ、模範的に、理解の容易のために、ベース層を形成する層１２、および依存層を形成する層１として示される２つの層である、ここでのインバウンド・ピクチャを符号化する。これらは、以前に概説されたように、異なる視点を形成する。符号器７２０が層１２および１５のピクチャを符号化することと一緒に全体的な符号化命令は、これらの時間的な（演出時間）命令と実質的に一緒にこれらの層のピクチャを走査し、そこでは、符号器命令７２２が、ピクチャのグループのユニットにおいて、ピクチャ１２および１５の演出時間命令から逸脱し得る。時間的な瞬間それぞれで、符号化命令７２２は、層１２および１５、これらの依存関係、すなわち、層１２から層１５までピクチャをパスする。

符号器７２０は、前述したＮＡＬユニットのユニットにおいて、層１２および１５のピクチャをデータ・ストリーム４０へと符号化し、そのそれぞれは空間的なセンスにおいてピクチャそれぞれの部分と関連付けられる。それ故に、特定のピクチャに属するＮＡＬユニットは、空間的にピクチャそれぞれを細分またはパーティション分割し、且つ既に説明したように、層内予測は、視差変位を「実質的に」取り囲むことによって、層１５のピクチャの部分それぞれに実質的にコロケートされる層１２の時間アライン・ピクチャの部分に依存する層１５のピクチャの部分をレンダリングする。図１０の例において、符号器７２０は、特定の瞬間に属する全ＮＡＬユニットを集めるアクセス・ユニットを形成する際、インターリービング実現性を利用するために選択された。図１０において、その１つに対応して例示されたデータ・ストリーム４０の外の部分は図９の復号器にインバウンドする。すなわち、図１０の例において、復号器７２０は、層１２および１５を符号化する際、層内並列処理を用いる。瞬間ｔ（ｉ−１）に関する限り、符号器７２０は、層１２のピクチャのＮＡＬユニット１が符号化されて直ぐに、層１のピクチャの符号化を開始する。符号化が完了した、ＮＡＬユニットそれぞれは、符号器７２０によって出力され、ＮＡＬユニットそれぞれが符号器７２０によって出力された時間に対応する到着タイム・スタンプに提供される。瞬間ｔ（ｉ−１）で層１２のピクチャの第１のＮＡＬユニットを符号化した後で、符号器７２０は、層１２のピクチャのコンテンツを符号化することを開始し、且つ層１５の時間アライン・ピクチャの第１のＮＡＬユニットの到着タイム・スタンプの後に続く到着タイム・スタンプに提供される、層１２のピクチャの第２のＮＡＬユニットを出力する。すなわち、符号器７２０は、インターリーブ方式で、全てが同じ瞬間に属する、層１２および１５のピクチャのＮＡＬユニットを出力し、且つこのインターリーブ方式で、データ・ストリーム４０のＮＡＬユニットは、実際に伝達される。符号器７２０がインターリービングの実現性を利用するために選ばれた状況は、インターリービング信号伝達７２４それぞれの方法によってデータ・ストリーム４０の中で符号器７２０によって示され得る。符号器７２０が、層１５の第１のＮＡＬユニットの出力が時間アライン・ベース層ピクチャの全ＮＡＬユニットの符号化および出力の完了まで延ばされるだろうことに従うデインターリーブ・シナリオと比較してより早い瞬間ｔ（ｉ−１）の依存層１５の第１のＮＡＬユニットを出力することが可能であるように、図９の復号器と図１０の符号器との間の端末間遅延は、減少され得る。

既に上記で述べられたように、代替例に従って、デインターリービングの場合、すなわち、デインターリーブ代替を示す信号伝達７２４の場合、アクセス・ユニットの鮮明度が同じものを維持し得、すなわち、アクセス・ユニットＡＵが特定の瞬間に属する全ＮＡＬユニットを集め得る。その場合、信号伝達７２４は、アクセス・ユニットそれぞれの中で、異なる層１２および１５に属するＮＡＬユニットがインターリーブされるか、またはされないかのどちらかを単に示す。

上記で説明したように、信号伝達７２４に依存して、図９の復号器は、１つのバッファまたは２つのバッファのどちらかを用いる。インターリービングがスイッチをオンされる場合、復号器７００は、ＮＡＬユニットを、例えば、層１２のＮＡＬユニットがバッファ７０２においてバッファされ、一方で、層１５のＮＡＬユニットがバッファ７０４でバッファされるような２つのバッファ７０２および７０４の上へと分配する。バッファ７０２および７０４は、アクセス・ユニットに関して空にされる。これは、インターリービングまたはデインターリービングを示す信号伝達７２４の両方の場合において真実である。

符号器７２０は、復号器ユニット７０８が中間層並列処理を用いるデータ・ストリーム４０から層１２および１５を復号することの実現性を利用するような、ＮＡＬユニットそれぞれの中で除去時間をセットする場合が好ましい。端末間遅延は、しかしながら、復号器７００が中間層並列処理を適用しない場合でさえ、既に減少される。

上記で既に説明されたように、ＮＡＬユニットは、異なるＮＡＬユニット・タイプであり得る。ＮＡＬユニットそれぞれは、可能なタイプの外で、且つアクセス・ユニットそれぞれの中で、ＮＡＬユニットそれぞれのタイプを示すＮＡＬユニット・タイプ・インデックスを有し得、アクセス・ユニットそれぞれのＮＡＬユニットのタイプは、ＮＡＬユニット・タイプの中で命令規則に従い得、一方で、単に２つの連続的なアクセス・ユニットの間で、復号器７００がこの規則を調査することによってアクセス・ユニット境界を識別できるために、命令規則が破壊される。より詳細な情報のために、Ｈ．２６４規格を参照されたい。

図９および１０に関して、復号ユニット、ＤＵは、同じ層に属する、１つのアクセス・ユニットの中で連続的なＮＡＬユニットの動作として識別可能である。アクセス・ユニットＡＵ（ｉ−１）において図１０において「３」および「４」で示されるＮＡＬユニットは、例えば、１つのＤＵを形成する。アクセス・ユニットＡＵ（ｉ−１）全ての他の復号ユニットは、単に１つのＮＡＬユニットを備える。合わせて、図１９のアクセス・ユニットＡＵ（ｉ−１）は、アクセス・ユニットＡＵ（ｉ−１）の中で交互に配置される６つの復号ユニットＤＵを模範的に備え、すなわち、これらは、層１および層０の間で交互に変わる１つの層と共に１つの層のＮＡＬユニットの動作から構成される。

ＣＰＢを可能とし且つ制御する機構が提供される図７〜図１０は、ＨＥＶＣのようなカレント単独の層ビデオ・コーデックにおいて可能な必要とされる超低遅延を満足する多層ビデオ・コーデックにおいて、動作する。たった今述べられた図において説明されたビットストリーム命令に基づいて、下記では、入ってくるビットストリーム・バッファを動作するビデオ復号器を説明する。すなわち、復号ユニット・レベルで符号化されるピクチャ・バッファ、そこでは、加えて、ビデオ復号器がＤＵレベルでマルチプルＣＰＢｓを動作する。特に、ＨＥＶＣ拡張に適用できる方式においてもまた、動作モードは、追加タイミング情報が低遅延方式で多層コーデックの動作に提供されるところで説明される。このタイミングは、ストリームにおいて異なるマルチプル層のインターリーブ符号化のためにＣＰＢの制御機構を提供する。

下文に説明される実施形態において、図７および図１０の場合２は、必要でない、または、言い換えると、実現される必要がない。：アクセス・ユニットは、−層に関わりなく−特定のタイム・スタンプまたは瞬間に属するピクチャに関する情報を運ぶ全ペイロード・パケット（ＶＣＬ ＮＡＬユニット）を集めるコンテナとしてその機能を維持し得る。それにもかかわらず、下文で説明される実施形態は、異なるタイプの符号器、またはインバウンド多層化されたビデオ・データ・ストリームを復号する際、異なるストラテジを好む符号器との互換性を達成する。

すなわち、以下で説明されるビデオ符号器および復号器は、まだスケーラブルな、多視点または３Ｄビデオ符号器および復号器である。ターム層は、視点および／または多視点符号化ビデオ・ストリームの深度図のためだけでなく、スケーラブル・ビデオ符号化層のために集合的に用いられる上記の説明に従う。

ＤＵに基づく復号モード、すなわち、連続的様式におけるＤＵ ＣＰＢ除去は、以下で概説される実施形態のいくつかに従って、単独の層（基本仕様）超低遅延復号器によってもまだ用いられ得る。多層超低遅延復号器は、図７および図１０並びにそれに続く図において場合１に関して説明されるような多数の層で低遅延動作を達成するために復号するインターリーブＤＵに基づくモードを用いるだろう。一方、インターリーブＤＵｓを復号しない多層復号器は、様々な実施形態に従ってＡＵに基づく復号処理、またはデインターリーブ様式におけるＤＵに基づく復号に戻ってき得、それは、インターリーブ・アプローチとＡＵに基づくアプローチとの間において低遅延動作を提供するだろう。結果として生じる３つの動作モードは、次の通りである。：
ＡＵに基づく復号：ＡＵの全ＤＵｓが同じ時間でＣＰＢから除去される。
連続的なＤＵに基づく復号：多層ＡＵのＤＵそれぞれが、層の連続的な命令においてＤＵ除去に従うＣＰＢ除去時間に起因すると考えられる。すなわち、層ｍの全ＤＵｓは、ＣＰＢから除去される層（ｍ＋１）のＤＵｓよりも前にＣＰＢから除去される。
インターリーブＤＵに基づく復号：多層ＡＵのＤＵそれぞれは、複数の層に亘るインターリーブ命令においてＤＵ除去に従うＣＰＢ除去時間に起因すると考えられる。すなわち、層ｍのＤＵｓは、層（ｍ＋１）のＤＵｓがＣＰＢから除去されるよりも後にＣＰＢから除去され得る。

インターリーブ動作のための追加タイミング情報は、ＤＵが、バッファのオーバーフローおよびアンダーフローを防止するために復号器の正常動作に必要である、復号器動作モードに関わりなく、送信機がインターリーブ方式で多層データを送るとき、ＣＰＢに到着しなければならない、到着時間を決定するためのシステム層装置を可能とする。システム層装置（例えば、ＭＰＥＧ−２ ＴＳ受信機）がデータが復号器ＣＢＰに到着しなければならない時間を決定し得る仕方は、次に続くセクション単独のＣＰＢ動作の末尾で模範的に示される。

図１１における次の表は、インターリーブ・モードにおける動作のためのＤＵタイミング情報のビットストリームにおける存在に信号を送る模範的な実施形態を与える。

他の実施形態は、インターリーブＤＵモードで動作できない装置がＡＵモードで動作し、且つＤＵタイミングを却下し得るために、ＤＵタイミング情報の示唆が提供されるインターリーブ動作モードに対応することの示唆であるだろう。

加えて、層ごとに、ＤＵに基づくＣＰＢ除去、すなわち、層に亘るデインターリーブ様式におけるＤＵ ＣＰＢ除去を特徴とする他の動作モードが、ベース層のためのインターリーブ・モードにおいてのようにＤＵｓに基づく同じ低遅延ＣＰＢ動作を可能とすることをなされるが、しかし、層ｍのＤＵｓの除去を完了した後のみで、層（ｍ＋１）からＤＵｓを除去する。したがって、非ベース層ＤＵｓは、インターリーブＣＰＢ動作モードにおいて除去される際よりも、ＣＰＢにおいて長時間とどまり得る。図１２ａおよび１２ｂにおける表は、ＡＵレベルまたはＤＵレベルのどちらかに基づいて、追加のＳＥＩの追加タイミング情報に信号を送る模範的な一実施形態を与える。他の可能性は、他の手段によって提供されるタイミングが層に亘ってインターリーブされるＣＰＢからＣＰＢ除去に導くことの示唆を含む。

更なる局面は、次の２つの場合のために述べられる復号器動作モードを適用することの可能性である。

１．全層のデータを収容するために用いられる単独のＣＰＢ。アクセス・ユニットの中で異なる層のＮＡＬユニットが散在され得る。この動作モードは、次に単独のＣＰＢ動作として言及される。
２．層ごとの１つのＣＰＢ。層それぞれのＮＡＬユニットは、連続的なポジションに位置する。この動作モードは、次に複数のＣＰＢ動作として言及される。

・単独のＣＰＢ動作
図１３において、アクセス・ユニット（２）の復号ユニット（１）の到着は、層に関して順序付けられたビットストリームのために示される。ボックスの中の番号は、層のＩＤを意味する。示されるように、まず、層０の全ＤＵｓが、その後に層１のＤＵｓ、その次に層２が到着する。例では３つの層が示されるが、しかし、更なる層が続き得る。

図１４においてアクセス・ユニット（２）の復号ユニット（１）の到着は、図７および８、場合１に係るインターリーブ・ビットストリームのために示される。ボックスの中の番号は、層のＩＤを意味する。示されるように、異なる層のＤＵｓは、アクセス・ユニットの中で混合され得る。

ＣＰＢ除去時間は、復号処理の開始時間である復号ユニットそれぞれに関連付けられる。この復号時間は、第１の復号ユニットのための（３）として模範的に示される、復号ユニットの最終到着時間よりも低くなり得る。（４）をラベル付けされる、第２の層の第１の復号ユニットの最終到着時間が図１４において示されるようなインターリーブ・ビットストリーム命令を用いることによって低くされ得る。

一実施形態は、インターリーブ・ビットストリームのために高レベル・シンタックス要素を用いるビットストリームにおいて最低の可能なＣＰＢ除去（且つそれ故に復号時間）を示すビットストリームの中で復号器ヒントを生成するビデオ符号器である。

より低い到着時間のために説明される復号器ヒントを利用する復号器は、これらの到着のあと直ちにまたは直ぐにＣＰＢから復号ユニットを除去する。それ故に、ピクチャの一部が（全層を通じて）より早く完全に符号化され得、且つそれ故にデインターリーブ・ビットストリームのためによりもより早く表示され得る。

このような復号器のより低価格な実装は、ビットストリーム命令においてＤＵｍに先行するいかなるＤＵｎのための次の方法において信号タイミングを制約することによって達成され得る。ＤＵｎのためのＣＰＢ除去時間は、ＤＵｍのＣＰＢ除去時間よりも低いまたは等しいだろう。到着するとき、パケットはＣＰＢにおいて連続的なメモリ・アドレス（典型的には環状バッファ）に保存され、この制約は、ＣＰＢにおいて空きメモリの分断を回避する。パケットは、これらが受信されるのと同じ命令において除去される。符号器は、使用済みおよび空きメモリ・ブロックのリストを保持する代わりに、使用済みメモリ・ブロックの始端および終端のアドレスのみを保持するように実装され得る。これは、新たに到着するＤＵｓが、使用済みおよび空きメモリが連続ブロックであるため、いくつかのメモリ場所に分割されることを必要としないことを保証する。

以下では、インターリービングのためのタイミング情報が先に述べたように追加ＤＵレベルＳＥＩメッセージを通して提供される、ＨＥＶＣ拡張によって用いられるような実際のカレントＨＲＤ定義に基づく一実施形態を説明する。説明された実施形態は、ＤＵｓが、連続してまたはＡＵに関して、インターリーブ様式においてＣＰＢからＤＵに関して除去されるために、層に亘ってインターリーブされる命令において送信されることを可能とする。

単独ＣＰＢの解決策において、付属書［１］ＣにおけるＣＰＢ除去時間は、以下の（下線を付された）ように拡張されるべきである。

複数のテストが、被試験ビットストリームとして参照される、ビットストリームの適合性を確認するために必要とされ得る。テストそれぞれに、次のステップがリスト化された命令において適用される。：
アクセス・ユニット０から開始する、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅにおいてアクセス・ユニットそれぞれのために、アクセス・ユニットに関連付けられ、且つＴａｒｇｅｔＯｐに適用される（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅにおいて存在し、またはこの明細書において特定されない外部手段を通じて利用できる）バッファ時間ＳＥＩメッセージが選択され、アクセス・ユニットに関連付けられ、且つＴａｒｇｅｔＯｐに適用される（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅにおいて存在し、またはこの明細書において特定されない外部手段を通じて利用できる）ピクチャ・タイミングＳＥＩメッセージが選択され、且つＳｕｂＰｉｃＨｒｄＦｌａｇが１であり、且つｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０であるとき、アクセス・ユニットにおいて復号ユニットに関連付けられ、且つＴａｒｇｅｔＯｐに適用される（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅにおいて存在し、またはこの明細書において特定されない外部手段を通じて利用できる）復号ユニット情報ＳＥＩメッセージが選択され、且つｓｕｂ＿ｐｉｃ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１であるとき、アクセス・ユニットにおいて復号ユニットに関連付けられ、且つＴａｒｇｅｔＯｐに適用される（ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅにおいて存在し、またはこの明細書において特定されない外部手段を通じて利用できる）復号ユニット・インターリービング情報ＳＥＩメッセージが選択される。ｓｕｂ＿ｐｉｃ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、選択されるシンタックス構造において、１であるとき、ＣＰＢは、（変数ＳｕｂＰｉｃＩｎｔｅｒｌｅａｖｅｄＨｒｄＦｌａｇが０にセットされる場合において）ＡＵレベル、または（変数ＳｕｂＰｉｃＩｎｔｅｒｌｅａｖｅｄＨｒｄＦｌａｇが１にセットされる場合において）インターリーブＤＵレベルのどちらかで動作する予定である。
変数ＳｕｂＰｉｃＩｎｔｅｒｌｅａｖｅｄＨｒｄＰｒｅｆｅｒｒｅｄＦｌａｇは、外部手段によって特定され、または外部手段によって特定されないとき、どちらかで、０にセットされる。
変数ＳｕｂＰｉｃＩｎｔｅｒｌｅａｖｅｄＨｒｄＦｌａｇの値が上記したこの従属節においてステップ９でセットされなかったとき、それは次のように導出される。
SubPicInterleavedHrdFlag = SubPicHrdPreferredFlag &&
SubPicInterleavedHrdPreferredFlag &&
sub＿pic＿interleaved＿hrd＿params＿present＿flag

ＳｕｂＰｉｃＨｒｄＦｌａｇ、およびＳｕｂＰｉｃＩｎｔｅｒｌｅａｖｅｄＨｒｄＦｌａｇが０である場合、ＨＲＤはアクセス・ユニット・レベルで動作し、且つ復号ユニットそれぞれが１つのアクセス・ユニットである。そうでなければ、ＨＲＤはサブ・ピクチャ・レベルで動作し、且つ復号ユニットそれぞれが１つのアクセス・ユニットのサブセットである。

ビットストリーム適合性試験それぞれのために、ＣＰＢの動作が従属節Ｃ．２において特定され、瞬間的復号器動作が節２〜１０において特定され、ＤＰＢの動作が従属節Ｃ．３において特定され、且つ出力クロッピングは、従属節Ｃ．３．３、および従属節Ｃ．５．２．２において特定される。

列挙される配信スケジュールの数に関するＨＳＳおよびＨＲＤ情報、並びにこれらの関連ビット・レートおよびバッファ・サイズが、従属節Ｅ．１．２およびＥ．２．２において特定される。ＨＲＤは、従属節Ｄ．２．２およびＤ．３．２において特定されるバッファ時間ＳＥＩメッセージによって特定されるように初期化される。ＣＰＢからの復号ユニットの除去時間、およびＤＰＢからの符号化ピクチャの出力タイミングは、（従属節Ｄ．２．２１およびＤ．３．２１において特定される）復号ユニット情報ＳＥＩメッセージにおいて、または（従属節Ｄ．２．ＸＸおよびＤ．３．ＸＸにおいて特定される）復号ユニット・インターリービング情報ＳＥＩメッセージにおいて、（従属節Ｄ．２．３およびＤ．３．３において特定される）ピクチャ・タイミングＳＥＩメッセージにおける情報を用いて特定される。特定の復号ユニットに関する全タイミング情報は、復号ユニットのＣＰＢ除去時間よりも前に到着するだろう。

ＳｕｂＰｉｃＨｒｄＦｌａｇが１のとき、次を適用する。：
−変数ｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃが次のように導出される。
−ＳｕｂＰｉｃＩｎｔｅｒｌｅａｖｅｄＨｒｄＦｌａｇが１の場合、ｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃが復号ユニット・インターリービング情報ＳＥＩメッセージにおいてｄｕ＿ｓｐｔ＿ｃｐｂ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔの値に等しくセットされ、従属節Ｃ１において特定されるように選択され、復号ユニットｍに関連付けられる。
−そうでなければ、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０であり、且つｓｕｂ＿ｐｉｃ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である場合、ｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃが復号ユニット情報ＳＥＩメッセージにおいてｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔの値に等しくセットされ、従属節Ｃ１において特定されるように選択され、復号ユニットｍに関連付けられる。
−そうでなければ、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０であり、且つｓｕｂ＿ｐｉｃ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、ｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃが復号ユニット情報ＳＥＩメッセージにおいてｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔの値と等しくセットされ、且つｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃＩｎｔｅｒｌｅａｖｅｄが復号ユニット・インターリービング情報ＳＥＩメッセージにおいてｄｕ＿ｓｐｔ＿ｃｐｂ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔの値と等しくセットされ、従属節Ｃ１において特定されるように選択され、復号ユニットｍに関連付けられる。
−そうでなければ、ｄｕ＿ｃｏｍｍｏｎ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｌａｇが０であり、且つｓｕｂ＿ｐｉｃ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である場合、
ｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃがピクチャ・タイミングＳＥＩメッセージにおいて復号ユニットｍのためにｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔ＿ｍｉｎｕｓ１［ｉ］＋１の値と等しくセットされ、従属節Ｃ．１において特定されるように選択され、アクセス・ユニットｎに関連付けられ、そこでは、ｉの値が０である第１のｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［０］＋１、アクセス・ユニットにおいて連続的なＮＡＬユニットは、復号ユニットｍ、同じアクセス・ユニットにおいて次に続くｉの値が１であるｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［１］＋１ ＮＡＬユニット、同じアクセス・ユニットにおいて次に続くｉの値が２であるｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［２］＋１ ＮＡＬユニットなどを含む。
−そうでなければ、ｄｕ＿ｃｏｍｍｏｎ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｆｌａｇが０であり、且つｓｕｂ＿ｐｉｃ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、ｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃは、ピクチャ・タイミングＳＥＩメッセージにおいて復号ユニットｍのためのｄｕ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔ＿ｍｉｎｕｓ１［ｉ］＋１の値と等しくセットされ、且つｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃＩｎｔｅｒｌｅａｖｅｄが復号ユニット・インターリービング情報ＳＥＩメッセージにおいてｄｕ＿ｓｐｔ＿ｃｐｂ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔの値と等しくセットされ、従属節Ｃ．１において特定されるように選択され、アクセス・ユニットｎに関連付けられる。そこでは、ｉの値が０である第１のｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［０］＋１、アクセス・ユニットにおいて連続的なＮＡＬユニットは、復号ユニットｍ、同じアクセス・ユニットにおいて次に続くｉの値が１であるｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［１］＋１ ＮＡＬユニット、同じアクセス・ユニットにおいて次に続くｉの値が２であるｎｕｍ＿ｎａｌｕｓ＿ｉｎ＿ｄｕ＿ｍｉｎｕｓ１［２］＋１ ＮＡＬユニットなどを含む。
−そうでなければ、ｄｕＣｐｂＲｅｍｏｖａｌＤｅｌａｙＩｎｃがピクチャ・タイミングＳＥＩメッセージにおいてｄｕ＿ｃｏｍｍｏｎ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｃｒｅｍｅｎｔ＿ｍｉｎｕｓ１＋１の値に等しくセットされ、従属節Ｃ．１において特定されるように選択され、アクセス・ユニットｎに関連付けられる。
−ＣＰＢからの復号ユニットｍの標準除去時間は、ＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｎ］がアクセス・ユニットｎのノミナル除去時間（ｎｏｍｉｎａｌ ｒｅｍｏｖａｌ ｔｉｍｅ）である、次のように特定される。：
−復号ユニットｍがアクセス・ユニットｎにおいて最後の復号ユニットである場合、復号ユニットｍのノミナル除去時間ＤｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｍ］がＡｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｎ］と等しくセットされる。
−そうでなければ（復号ユニットｍがアクセス・ユニットｎにおいて最後の復号ユニットでない）、復号ユニットｍのノミナル除去時間ＤｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｍ］が次のように導出される。：
if( sub＿pic＿cpb＿params＿in＿pic＿timing＿sei＿flag && !SubPicInterleavedHrdFlag)
DuNominalRemovalTime[m] = DuNominalRemovalTime[m+1] −
ClockSubTick*duCpbRemovalDelayInc (C13)
else
DuNominalRemovalTime[m] = AuNominalRemovalTime(n) −
ClockSubTick*duCpbRemovalDelayInc

ＤＵ動作モードが用いられるＳｕｂＰｉｃＩｎｔｅｒｌｅａｖｅｄＨｒｄＦｌａｇでは、インターリーブ動作モードまたは非インターリーブ動作モードのどちらかを決定し、且つＤＵＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｍ］が選択動作モードのためのＤＵの除去時間である。加えて、ＤＵｓの最早到着時間は、ｓｕｂ＿ｐｉｃ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｈｒｄ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、動作モードにかかわりなく、１である場合、現在定義されるのと異なる。最早到着時間は、それ故に以下のように導出される。：
if(!SubPicInterleavedHrdFlag&& sub＿pic＿interleaved＿hrd＿params＿present＿flag)
DuNominalRemovalTimeNonInterleaved[ m ] = AuNominalRemovalTime(n) −
ClockSubTick*duCpbRemovalDelayIncInterleaved
if( !subPicParamsFlag )
tmpNominalRemovalTime = AuNominalRemovalTime[m] (C6)
else if(!sub＿pic＿interleaved＿hrd＿params＿present＿flag || SubPicInterleavedHrdFlag)
tmpNominalRemovalTime = DuNominalRemovalTime[m]
else
tmpNominalRemovalTime = DuNominalRemovalTimeNonInterleaved[m]"

上記の実施形態に関して、ＣＰＢの動作は、ＣＰＢへのデータ・パケットの到着時間、加えて明確に信号伝達されるデータ・パケットの除去時間の主要因であることは注目に値する。このような到着時間は、データ・パケットの伝達連鎖、例えば、ＭＰＥＧ−２トランスポート・ストリームの受信機における基本ストリーム・バッファに沿って、バッファを構成する中間装置の動きに影響を与え、そのような基本ストリーム・バッファは、復号器のＣＰＢとして振る舞う。上記した実施形態に基づくＨＲＤモデルが、変数ｔｍｐＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅに基づく最初の到着時間を導出し、それによって、


ＣＰＢ（Ｃ−６を参照）へのデータ・パケットの正確な最初の到着時間のために（あたかもデータがＣＰＢからインターリーブ方式で除去されるように）、インターリーブＤＵ動作の場合におけるＤＵｓのための除去時間、または連続的なＤＵ動作モードのための同等の除去時間「ＤｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅＮｏｎＩｎｔｅｒｌｅａｖｅｄ」のどちらかが考慮される。

更なる実施形態は、ＡＵに基づく復号動作のためのＤＵｓの層に関する再順序付けである。単独のＣＰＢ動作が用いられ、且つデータがインターリーブ様式において受信されたとき、復号器は、ＡＵに基づいて動作することが望まれ得る。このような場合、いくつかの層に対応する、ＣＰＢから読み込まれるデータは、インターリーブされ、且つ復号器に直ぐに送信されるだろう。ＡＵに基づく復号動作が実行されるとき、ＡＵは、参照層がそれを参照する強化層よりも前に常に復号されるために、層ｍから全ＤＵｓが、復号のために送信される前に、層ｍ＋１からＤＵｓに先行するそのような方法で、再順序付け／再配置される。

マルチＣＰＢ動作
代わりに、復号器は、層それぞれのＤＵｓのために１つの符号化ピクチャ・バッファを用いて説明される。

図１５は、異なるＣＰＢｓへのＤＵｓの割り当てを示す。それぞれの層（ボックスの中の番号）のために、自己のＣＰＢが動作されると、ＤＵｓがＣＰＢそれぞれのために異なるメモリ位置に保存される。模範的に、インターリーブ・ビットストリームの到着時間が示される。割り当ては、非インターリーブ・ビットストリームが層識別子に基づくのと同じ方法で動作する。

図１６は、異なるＣＰＢｓにおけるメモリ使用を示す。同じ層のＤＵｓは、連続的なメモリ位置において保存される。

多層復号器は、同じ層に属するＤＵｓが連続したメモリアドレスでアクセスされ得るため、このようなメモリ割付けを活用し得る。ＤＵｓは、層それぞれの復号順序で到着する。異なる層のＤＵｓの除去は、使用済みＣＰＢメモリ・エリアにおいて如何なる「ホール（ｈｏｌｅｓ）」も作り出し得ない。使用済みメモリ・ブロックは、ＣＰＢそれぞれにおいて連続ブロックを常にカバーする。複数のＣＰＢコンセプトは、トランスポート層で層に関して分裂されるビットストリームの利点もまた有する。異なる層が異なるチャンネルを用いて伝送される場合、単独のビットストリームへのＤＵｓの多重化は、回避され得る。したがって、多層ビデオ復号器は、この追加ステップを実装する必要がなく、そして、実装コストが低減され得る。

マルチＣＰＢ動作が用いられる場合、さらに適用される単独のＣＰＢの場合のために説明されるタイミングに加えて、次が適用される。：

更なる局面は、ＤＵｓが同じＣＰＢ除去時間（ＤｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅ［ｍ］）を共有する際、複数のＣＰＢからのＤＵｓの再配置である。ＤＵ除去のためのインターリーブ動作モード、および非インターリーブ動作モードの両方において、異なる層からのＤＵｓ、およびそれ故に異なるＣＰＢｓが同じＣＰＢ除去時間を共有することが生じ得る。このような場合、ＤＵｓは、復号器に送信される前に、ＬａｙｅｒＩｄの番号を増加させて、順序付けられる。

上記で述べられた実施形態は、下記においてもまた、複数のＣＰＢｓと同期する機構を説明する。現テキスト［１］において、参照時間またはアンカー・タイムは、（固有の）ＣＰＢに入力する第１の復号ユニットの最初の到着時間として説明される。マルチＣＰＢの場合、複数のＣＰＢの間の依存に至る、１つのマスターＣＰＢおよび複数のスレーブＣＰＢｓが存在する。スレーブＣＰＢと同期するためのマスターＣＰＢのための機構もまた、説明される。この機構は、ＤＵｓを受信するＣＰＢｓが固有時間で、すなわち同じ時間基準を用いて、それらのＤＵｓを除去するために、有利である。より具体的には、ＨＲＤを初期化する第１のＤＵは、他のＣＰＢｓと同期し、且つアンカー時間は、延びられたＣＰＢのためにＤＵの最初の到着時間に等しくセットされる。特定の実施形態において、マスターＣＰＢは、ベース層ＤＵｓのためのＣＰＢであり、一方で、強化層のためのランダム・アクセス・ポイントが可能とされ、ＨＲＤを初期化する場合、マスターＣＰＢが強化層データを受信するＣＰＢに対応することが可能となり得る。

したがって、上記で図７〜１０に続いて概説された思索に従って、これらの図の比較実施形態は、次の図に関して下文で概説される方法において修正される。図１７の符号器は、図１０に関して上記で議論された１つに類似して動作する。信号伝達７２４は、しかしながら、任意である。それに応じて、上記の説明の範囲は、次の実施の形態にもまた適用され、且つ類似する陳述は、続いて説明される復号器の実施形態に当てはまるだろう。

特に、図１７の符号器７２０は、ここで模範的に層１２および１５のビデオを含むビデオ・コンテンツを多層化されたビデオ・データ・ストリーム４０へと符号化するので、同じものは、複数の層１２および１５のそれぞれのために、層内予測を用いてビデオ・コンテンツのピクチャのサブ部分のユニットにおいてその中に符号化されるビデオ・コンテンツを有する。例では、サブ部分は、層０に対して１−４、および層１に対して１−３で表示される。サブ部分それぞれは、ビデオ・データ・ストリーム４０のパケットのシーケンスの１つ以上のペイロード・パケットへとそれぞれ符号化され、パケットそれぞれが複数の層の１つに関連付けられ、パケットのシーケンスが、アクセス・ユニットが共通の瞬間に関連付けられるペイロード・パケットを集めるために、アクセス・ユニットＡＵのシーケンスへと分割される。２つのＡＵは、一方が瞬間ｉ−１、他方がｉで模範的に示される。アクセス・ユニットＡＵは、複数の層の１つに関連付けられるペイロード・パケットを単独で備える復号ユニットそれぞれを用いて、アクセス・ユニットそれぞれが２つ以上の復号ユニットへと細分されるために、復号ユニットＤＵへと細分される。異なる層に関連付けられるパケットを備える復号ユニットは、互いにインターリーブされる。率直に言って、符号器７２０は、まず層、後にサブ部分の横断命令において共通の瞬間を横断および符号化することによって、端末間遅延を減じる−または出来るだけ低く保つために、アクセス・ユニットの中で復号ユニットのインターリービングを制御する。今までのところ、動作の符号器のモードは、図１０に関して上記で既に提供された。

しかしながら、図１７の符号器は、時間制御情報の２つの時間を有するアクセス・ユニットＡＵそれぞれを提供する。：第１の時間制御情報８００は、アクセス・ユニット全体としてそれぞれの復号器バッファ検索時間に信号を送る。また、第２の時間制御情報８０２は、アクセス・ユニットＡＵの復号ユニットＤＵそれぞれのために、多層ビデオ・データ・ストリームにおいてこれらのシーケンシャルな命令に相当する復号器バッファ検索時間に信号を送る。

図１７において例示されるように、符号器７２０は、第２のタイミング情報８０２を、それぞれの中で復号ユニットＤＵに先行するいくつかのタイミング制御パケットへと広げ得、タイミング制御パケットそれぞれは、復号ユニットＤＵのために第２の復号器検索バッファ時間に関連付けられ、且つ示し、タイミング制御パケットそれぞれが先行する。図１２ｃは、このようなタイミング制御パケットの一例を示す。タイミング制御パケットが関連付けられる復号ユニットの始端を形成し得、且つＤＵそれぞれに関連付けられるインデックス、すなわち、ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄｘ、およびＤＵそれぞれのための復号器検索バッファ時間、すなわち、ｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｉｎｃｒｅｍｅｎｔを示すことから見て取れるように、それは予め定められた時間的なユニット（インクリメント）における検索時間またはＤＰＢ除去時間を示す。それに応じて、第２のタイミング制御情報８０２は、カレントの瞬間の層の符号化の間に符号器７２０によって出力され得る。この目的のために、符号器７２０は、符号化の間に、様々な層のピクチャ１２および１５において空間的な複雑さのバリエーションに反応する。

符号器７２０は、アクセス・ユニットＡＵそれぞれのための復号バッファ検索時間、すなわち、カレントの瞬間および場所の層を符号化することに先立つ第１の時間制御情報８００、ＡＵそれぞれの始端で、または−基準に従って可能である場合−ＡＵの終端で第１のタイミング制御情報８００を評価し得る。

加えて又は代わりにタイミング制御情報８００の供給のために、符号器７２０は、図１８において示されるように、アクセス・ユニットそれぞれに、アクセス・ユニットそれぞれの復号ユニットそれぞれのために、第３の復号器バッファ検索時間に信号を送る第３のタイミング制御情報を供給する。その結果、アクセス・ユニットそれぞれの復号ユニットＤＵのための第３の復号器バッファ検索時間に従って、アクセス・ユニットＡＵそれぞれにおいて復号ユニットＤＵは、複数の層の中で定義される層の順序に従って順序付けられ、その結果、第１の層に関連付けられるパケットを備える非復号ユニットは、層の順序に従って第１の層に続く第２の層に関連付けられるパケットを備える、アクセス・ユニットそれぞれにおいていずれかの復号ユニットに続く。すなわち、第３のタイミング制御情報８０４のバッファ検索時間に従って、図１８において示されるＤＵｓは、ピクチャ１２の部分１，２，３および４のＤＵｓがピクチャ１５の部分１，２および３のＤＵｓに先行するために、復号器側で再区分される。符号器７２０は、ＡＵそれぞれの始端で第１のタイミング制御情報８０２、カレントの瞬間および場所の層を符号化することに先立ってＤＵｓのために第３のタイミング制御情報８０に従う復号器バッファ検索時間を評価し得る。この実現性は、図８において、模範的に図１２ａにおいて描写される。図１２ａは、ｌｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｉｎｃｒｅｍｅｎｔ＿ｍｉｎｕｓ１が、ＤＵそれぞれのためにおよび層それぞれのために送信されることを示す。層ごとの復号ユニットの番号が全層に対して等しく制限され得ること、すなわち、図１２ａにおいて例示されるように、１つのｎｕｍ＿ｌａｙｅｒ＿ｄｅｃｏｄｉｎｇ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１が用いられることだろうけれども、図１２ａの代替案は、層ごとの復号ユニットの番号が層それぞれのために個々にセットされ得ることだろう。後者の場合、シンタックス要素ｎｕｍ＿ｌａｙｅｒ＿ｄｅｃｏｄｉｎｇ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１が層それぞれのために読み込まれ得、この場合において読み込みは、図１２ａにおいて示される場所から、例えば、図１２ａにおいて２つの次のｆｏｒループの間に移されるだろう。その結果、ｎｕｍ＿ｌａｙｅｒ＿ｄｅｃｏｄｉｎｇ＿ｕｎｉｔｓ＿ｍｉｎｕｓ１は、カウンタ変数ｊを用いる次のｆｏｒループの中で層それぞれのために読み込まれるだろう。基準に従うことが許される場合、符号器７２０は、代わりにＡＵの終端でタイミング制御情報をセットする。代わりにでさえ、符号器７２０は、まさに第２のタイミング制御情報のように、ＤＵｓ始端それぞれで第３のタイミング制御情報をセットし得る。これは、図１２ｂにおいて示される。図１２ｂは、ＤＵそれぞれの始端で（これらのインターリーブ状態において）セットされるタイミング制御パケットのための例を示す。特定のＤＵのためにタイミング制御情報８０４を運ぶタイミング制御パケットが、関連付けられる復号ユニットの始まりでセットされ得、且つＤＵそれぞれに関連付けられる１つのインデックス、すなわち、ｌａｙｅｒ＿ｄｅｃｏｄｉｎｇ＿ｕｎｉｔ＿ｉｄｘを示すことから見て取れるように、それは層特異的、すなわち、同じ層に属する全ＤＵｓが同じ層のＤＵインデックスに起因する。さらに、ＤＵそれぞれのための復号器検索バッファ時間、すなわち、所定の時間的なユニット（インクリメント）における検索時間またはＤＰＢ除去時間を示すｌｄｕ＿ｓｐｔ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｉｎｔｅｒｌｅａｖｅｄ＿ｉｎｃｒｅｍｅｎｔがこのようなパケットにおいて信号が送られる。これらのタイミングに従って、ＤＵｓは、層順序に従うように再区分される。すなわち、まず層０のＤＵｓが、そのあと層１のＤＵｓなどがＤＰＢから除去される。それに応じて、タイミング制御情報８０８は、カレントの瞬間の層の符号化の間に符号器７２０によって出力され得る。

説明されたように、情報８０２および８０４は、同時にデータ・ストリームにおいて存在し得る。これは、図１９において例示される。

最後に、図２０において例示されるように、復号ユニットのインターリービング・フラグ８０８は、タイミング制御情報８０２または８０４のように動作するタイミング制御情報８００に加えて送信されるタイミング制御情報８０８のどちらかのために、符号器７２０によってデータ・ストリームへと挿入され得る。すなわち、符号器７２０が図２０（および図１７〜１９）において描写されるように異なる層のＤＵｓをインターリーブするように決定した場合、そのとき、復号ユニットのインターリービング・フラグ８０８は、情報８０８が情報８０２に等しく、且つ図１７の上記した説明が図２０の符号器の機能性の残余に関して適用することを示すためにセットされる。しかしながら、符号器が、図１３において描写されるように、アクセス・ユニットの中で異なる層のパケットをインターリーブしない場合、そのとき、復号ユニット・インターリービング・フラグ８０８は、情報８０８が、符号器がそれ故に情報８０２に加えてタイミング制御情報８０４を評価する必要がなく、しかし、タイミング制御情報８０２を生成することの手続きと同様の方法でアクセス・ユニットを符号化する間のオン・ザ・フライの層のシーケンスの中で層の特定のコーディングの複雑化のバリエーションで反応することを用いてオン・ザ・フライでタイミング制御情報８０４のバッファ検索時間を決定し得ることとされる８０４の生成に関して図１８の描写との差を用いて、情報８０４に等しいことを示すために符号器７２０によってセットされる。

図２１，２２，２３および２４は、それぞれ、復号器７００に入ってくる際の図１７，１８，１９および２０のデータ・ストリームを示す。復号器７００が上記の図９に関して説明された１つのように構成される場合、そのとき、復号器７００は、タイミング制御情報８０２を用いて図９に関して上記で説明されたのと同じ方法でデータ・ストリームを復号し得る。すなわち、符号器および復号器は、共に最小遅延に寄与する。図２４の場合、復号器は図２０のストリームを受信し、これは、フラグ８０６によって用いられ且つ示されたＤＵインターリービングの場合において明らかに単に可能である。

どのような理由であれ、復号器は、しかしながら、図２１，２３および２４の場合において第１のタイミング制御情報８００を用いて且つ第２のタイミング制御情報８０２に関わりなくアクセス・ユニットのユニットにおいて多層化されたデータ・ストリームをバッファリングするための復号器のバッファを空にすることで多層化されたビデオ・データ・ストリームを復号する。例えば、復号器は、並列処理を実行できなくてもよい。復号器は、例えば、１つ以上のバッファを有しなくてもよい。復号器のバッファがＤＵレベルよりはむしろ完全なＡＵｓで動作するため、遅延は、タイミング制御情報８０２に従ってＤＵｓのインターリーブされた層の順序を利用する場合と比較して符号器および復号器の両方の側で増加する。

上記で既に議論されたように、図２１〜２４の復号器は、２つのバッファを有する必要はない。７０２のような１つのバッファは、タイミング制御情報８００および８０４の形式におけるいずれかの代替策よりはむしろ、特にタイミング制御情報８０２が利用されない場合、十分である。一方で、復号器のバッファは、層それぞれのために一部のバッファから構成され、これは、復号器が、層それぞれのために、層それぞれのために部分的なバッファにおいて層それぞれに関連付けられるパケットを備える復号ユニットをバッファリングし得るため、タイミング制御情報を利用するときに役立つ。７０５を用いて、２つ以上のバッファを有する可能性が例示される。復号器は、異なる部分的なバッファから異なるコーダの復号器エンティティへと復号ユニットを空にし得る。代わりに、復号器は、層の数と比較してよりも部分的なバッファのより少ない数、すなわち、ＤＵそれぞれの層が属する層のセットに関連付けられる部分的なバッファのための特定の層のＤｕｓを転送することによって層のサブセットのための部分的なバッファそれぞれを用いる。７０２のような１つの部分的なバッファは、７０４および７０５のようなその他の部分的なバッファと同期し得る。

どのような理由であれ、復号器は、しかしながら、図２２および２３の場合において、タイミング制御情報８０４を介して制御される復号器のバッファを空にして、すなわち、層の順序に従ってデインターリービングすることによって、アクセス・ユニットの復号ユニットを除去することによって、多層化されたビデオ・データ・ストリームを復号する。この対策によって、復号器は−タイミング制御情報８０４によってガイドされ−同じ層に関連付けられ且つアクセス・ユニットに属する復号ユニットを効果的に再結合し、且つ層ｎ＋１のＤＵの前の層ｎのＤＵのような特定の規則に従うこれらを再順序付けする。

図２４において例示されるように、データ・ストリームにおいてフラグ８０６をインターリービングする復号ユニットは、タイミング制御情報８０８がタイミング制御情報８０２または８０４のどちらかのように動作し得る。この場合において、データ・ストリームを受信する復号器は、情報８０６が８０２に従う第２のタイミング制御情報である場合、第１のタイミング制御情報８００を用いて且つ情報８０６に関わりなくアクセス・ユニットのユニットにおいて多層化されたデータ・ストリームをバッファリングするために復号器のバッファを空にし、且つ情報が８０４に従うタイミング制御情報である場合、情報８０６を用いて復号ユニットのユニットにおいて多層化されたデータ・ストリームをバッファリングするために復号器のバッファを空にするために、フラグ８０６をインターリービングする復号ユニットに反応するように構成され得る。：すなわち、この場合、ＤＵが１つさもなければ８０２を用いることによって達成され得る間にある端末間遅延とタイミング制御情報８０８を用いて順序付けられたＤＵ動作がインターリーブされたｓではない。また、タイミング制御情報８００によって達成可能な最大遅延が結果として生じるだろう。

タイミング制御情報８００が代替策、すなわち、符号器がアクセス・ユニットのユニットにおいて符号器のバッファを空にすることを選択することが用いられるときはいつでも、復号器がデインターリービング方法で、バッファ７０２からアクセス・ユニットの復号ユニットを−またはＤＵｓとバッファ７０２を満たすことでさえ−除去し得る。その結果、ＤＵｓを有するＡＵからこれらが層の順序に従って順序付けられる。すなわち、復号器は、同じ層に関連付けられ且つアクセス・ユニットに属する復号ユニットを再結合し得、全ＡＵがそれ故に復号されるためにバッファから除去される前に、層ｎ＋１のＤＵより前の層ｎのＤＵのような特定の規則に従ってこれらを再順序付けする。このデインターリービングは、デインターリーブ伝達が既に用いられたことを示す図２４のフラグ８０６をインターリービングする復号ユニットの場合において必要でなく、また、タイミング制御情報８０８がタイミング制御情報８０４のように動作する。

上記で特に議論されていないけれども、第２のタイミング制御情報８０２は、第１のタイミング制御情報８００のためにオフセットとして定義され得る。

図２１〜２４において示されるマルチプレクサ７０６は、復号器のコード化されたピクチャ・バッファのために多層化されたビデオ・データ・ストリームを転送するように構成された中間ネットワーク装置として動作する。中間ネットワーク装置は、実施の形態にしたがって、第２のタイミング制御情報を扱うことができるように復号器を特定する情報を受信するように構成され、復号器が第２のタイミング制御情報８０２を扱うことができる場合、第１の計算規則に従って、すなわち、ＤｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅに従ってタイミング制御情報８０２および８００から、転送をスケジュールするために最も早い到着時間を引き出す。；また、復号器が第２のタイミング制御情報８０２を扱うことができない場合、第２の計算規則に従って、すなわち、ＤｕＮｏｍｉｎａｌＲｅｍｏｖａｌＴｉｍｅＮｏｎＩｎｔｅｒｌｅａｖｅｄに従ってタイミング制御情報８０２および８００から、転送をスケジュールするために最も早い到着時間を引き出す。ただ概説された問題についてさらに詳細に説明するために、中間ネットワーク装置が示され、また参照番号７０６を用いても示され、インバウンドの多層化されたビデオ・データ・ストリームと参照番号７０２を用いて一般に示される復号バッファを導く出力との間に配置される、しかし上記で概説された図２５の参照がなされる。復号バッファは、いくつかの部分的なバッファの構成であり得る。図２５において示されるように、内部に中間ネットワーク装置７０６はバッファリング・インバウンドＤＵｓのためのバッファ９００を備え、且つそれ故にこれらを復号バッファ７０２に転送する。上記した実施形態は、インバウンドＤＵｓの復号バッファ除去時、すなわち、これらのＤＵｓが復号バッファ７０２から復号器の復号ユニット７０８へと転送される必要があるときの時間に関するものであった。復号バッファ７０２の記憶容量は、しかしながら、除去時間に加えて、すなわち、バッファ７０２においてバッファリングされるＤＵｓでの時間が除去されるべきであり、最も早い到着時間も管理されるだろうことのために制限されることに関する量をできる限り保証される。これは、前に述べた「最も早い到着時間」の目的であり、且つここで概説される実施形態に従って、中間ネットワーク装置７０６は、インバウンドＤＵｓのインターリーブ・フォーマットにおいてインバウンドＤＵｓで動作する復号器の能力についての情報に従う計算規則を選択する異なる計算規則に従う取得タイミング制御情報のベースに基づくこれらの最も早いとうちゃく時間を計算するように構成される。すなわち、復号器が同じインターリーブ方法かまたは違う方法のどちらで動作することができるかに依存する。原則として、中間ネットワーク装置７０６は、ＤＵインターリーブ・コンセプトを用いてインバウンド・データ・ストリームを復号できる復号器の場合、ＤＵそれぞれに対する最も早い到着時間と除去時間との間の不変の時間的なオフセットを提供することによってタイミング制御情報８０２のＤＵ除去時間のベースに基づく最も早い到着時間を決定し得る。中間ネットワーク装置７０６は、同様に、インバウンド・データ・ストリーム・アクセス・ユニットに関しての扱いを好む、すなわち、第１のタイミング制御情報８００を選択する、復号器の場合、アクセス・ユニットの最も早い到着時間を導くために、タイミング制御情報８００によって示されるように、ＡＵ除去時間の間の不変の時間的なオフセットを提供する。一定の時間的なオフセットを用いることの代わりに、中間ネットワーク装置７０６は、個々のＤＵｓおよびＡＵｓのサイズもまた考慮し得る。

図２５の問題は、上記で説明された実施形態のあり得る改良を示す機会としてもまた用いられるだろう。特に、上記で議論された実施形態は、直接的に信号伝達する「除去時間」、すなわち、それぞれのＤＵｓおよびＡＵｓが、それぞれ、バッファ７０２から復号ユニット７０８に転送される必要がある際の時間によって、復号ユニット、およびアクセス・ユニットのために「復号器バッファ除去時間」信号伝達として、タイミング制御情報８００，８０２および８０４を取り扱った。しかしながら、図２５の議論からも明らかとなったように、到着時間および除去時間は、これらの保証された最小サイズのような、復号器バッファ７０２のサイズ、他方では、タイミング制御情報８０２および８０４の場合における個々のＤＵｓのサイズ、およびタイミング制御情報８００の場合におけるアクセス・ユニットのサイズ、それぞれ、を介して互いに相互に関係する。それに応じて、上記した実施形態の全ては、「タイミング制御情報」８００，８０２および８０４によって、それぞれ、信号伝達される「復号器バッファ除去時間」が、両方の代わりとなるもの、最も早い到着時間またはバッファ除去時間の方法による明示的な信号伝達を含むように解釈されるだろう。上記した議論の全ては、最も早い到着時間が復号器バッファ除去時間として持ちいられた代わりとなる実施形態で復号器バッファ検索時間としてバッファ除去時間の明示的な信号伝達を用いて上記で議題に挙げられた説明から直接的に解釈する。：インターリーブ伝達ＤＵｓがタイミング制御情報８０４に従って再区分されるだろう。唯一の相違：再区分またはデインターリービングは、すなわち、これらのダウンストリームよりもむしろバッファ７０２の前で、すなわち、バッファ７０２と復号ユニット７０８との間で、アップストリームを行うだろう。インバウンド・タイミング制御情報から最も早い到着時間を計算する中間ネットワーク装置７０６の場合、中間ネットワーク装置７０６は、バッファ９００の供給においてこれらの最も早い到着時間に従うために、また、インバウンド・タイミング制御情報からバッファ除去時間を導出する代わりとなる場合において、符号器自身または同じ中間ネットワーク・エンティティのように、中間ネットワーク装置７０６に関するアップストリームに位置するネットワーク・エンティティを命ずるために、これらの最も早い到着時間を用いるだろう。−それ故に最も早い到着時間の明示的な信号伝達を用いて−中間ネットワーク装置７０６は、ＤＵｓの除去時間、または、代わりの場合において、導かれた除去時間に従ってバッファ９００からのアクセス・ユニットを活性化する。

上記で概説された実施形態の代替のまさに概説を要約して、これは、復号器バッファを空にするためにタイミング制御情報の使用がタイミング制御情報を直接的にまたは非直接的に用いることによって行われ得る。：タイミング制御情報が復号器バッファ除去時間の直接的な信号伝達として実装される場合、そのとき、バッファを空にすることは、これらの復号器バッファ除去時間に従って直接的にスケジュールされるように行われ得、また、復号器バッファ到着時間を用いてタイミング制御情報を実装化する場合、そのとき、再計算は、ＤＵｓまたはＡＵｓの除去が行うことに従って、これらの復号器バッファ到着時間から復号器バッファ除去時間を演繹するために行われ得る。

「インターリーブ・パケット」伝達を例示する様々な実施形態および図面の上記した説明に共通することとして書き記すように、「インターリービング」が共通のチャンネルで異なる層のＤＵｓに属するパケットの結合を必ずしも含まないことが提示される。むしろ、伝達は、分かれたチャンネル（論理的または物理的に分かれたチャンネル）において完全に並列に行われ得る。：異なる層のパケットは、それ故に異なるＤＵｓを形成して、上記で議論されたようにインターリーブされる出力時間を用いて、並列に符号器によって出力され、また、ＤＵｓに加えて、上記で述べられた時間制御情報は、復号器に送信される。このタイミング制御情報の中で、タイミング制御情報８００は、完全なＡＵを形成するＤＵｓが復号器のバッファから復号器へと転送される必要があるときについて示し、タイミング制御情報８０２はＤＵそれぞれが復号器のバッファから復号器へと転送される必要があるときについてＤＵそれぞれ個々のために示し、符号器でＤＵの出力時間の順序に対応するこれらの除去時間、およびタイミング制御情報８０４は、ＤＵそれぞれが復号器のバッファから復号器へと転送される必要があるときについてＤＵそれぞれ個々のために示し、符号器でＤＵの出力時間の順序から逸脱し、且つ再区分へと導くこれらの検索時間：復号器のバッファから復号器へと転送される代わりにこれらの出力のインターリーブ順序において、層ｉのＤＵｓは、全層に対して層ｉ＋１のＤＵｓより前に転送される。説明されたように、ＤＵｓは、層の関係に従って、別個のバッファ部分に分配され得る。

図１９〜２３の多層化されたビデオ・データ・ストリームは、ＡＶＣまたはＨＥＶＣまたはこれらの如何なる拡張に従い得、しかし、これは他の可能性を除外されない。

いくつかの局面が装置のコンテキストにおいて説明されたけれども、これらの局面が対応する方法の説明もまた表すことは明らかであり、そこではブロックまたは装置は方法ステップまたは方法ステップの機能に対応する。類似して、局面は、方法ステップのコンテキストにおいても説明され、対応するブロックまたはアイテムまたは対応する装置の特徴の説明もまた表す。いくつかのまたは全ての方法ステップは、例えば、マイクロプロセッサ、プログラム可能な計算機または電子回路のようなハードウェア装置によって（またはを用いて）実行され得る。いくつかの実施形態において、重要な方法ステップのほとんどの１つ以上は、このような装置によって実行され得る。

独創的な符号化ビデオ信号は、デジタル記憶媒体に保存され得、または、ワイヤレス伝送媒体またはインターネットのような有線伝送媒体のような伝送媒体で伝送され得る。

特定の実装要求に依存して、本発明に係る実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実装され得る。実装は、例えば、それらに保存される電子的に読み取り可能な制御信号を有する、フロッピー（登録商標）・ディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ，ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリのようなデジタル記憶媒体、それは、方法それぞれが実行されるようなプログラム可能な計算機システムと協働する（または協働することができる）を用いて実行され得る。したがって、デジタル記憶媒体は、計算機読み取り可能であり得る。

本発明に係るいくつかの実施形態は、電子的に読み取り可能な制御信号を有するデータ・キャリアを備え、それは、ここで説明された方法の１つが実行されるように、プログラム可能な計算機システムと協働することができる。

一般に、本発明の実施形態は、プログラム・コードを伴う計算機プログラム製品として実装され得、プログラム・コードは、計算機プログラム製品が計算機で動作するとき、方法の１つを実行するために働かされる。プログラム・コードは、例えば、装置読み取り可能なキャリアで保存され得る。

他の実施形態は、機械読み取り可能なキャリアで保存され、ここで説明される方法の１つを実行するための計算機プログラムを備える。

言い換えると、本発明の方法の実施形態は、したがって、計算機プログラムが計算機で動作するとき、ここで説明された方法の１つを実行するためのプログラム・コードを有する計算機プログラムである。

本発明の方法の更なる実施形態は、したがって、ここで説明された方法の１つを実行するための計算機プログラムをそれらに記憶されて備えるデータ・キャリア（またはデジタル記憶媒体、または計算機読み取り可能な媒体）である。データ・キャリア、デジタル記憶媒体または記憶された媒体は、典型的に、有形および／または非遷移である。

本発明の方法の更なる実施形態は、したがって、ここで説明された方法の１つを実行するための計算機プログラムを表す信号のデータ・ストリームまたはシーケンスである。信号のデータ・ストリームまたはシーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して伝達されるように構成され得る。

更なる実施形態は、処理手段、例えば、ここで説明された方法の１つを実行するように構成されるまたは適応される、計算機、またはプログラム可能な論理装置を備える。

更なる実施形態は、ここで説明された方法の１つを実行するための計算機プログラムをそれらにインストールされた計算機を備える。

本発明に係る更なる実施形態は、受信機のためにここで説明された方法の１つを実行するための計算機プログラムを（例えば、電子的にまたは光学的に）伝送するように構成される装置またはシステムを備える。受信機は、例えば、計算機、モバイル装置、メモリ装置などであり得る。装置またはシステムは、例えば、受信機のための計算機プログラムを伝送するためのファイル・サーバーを備え得る。

いくつかの実施形態において、プログラム可能な論理装置（例えば、フィールド・プログラム可能なゲート・アレイ）は、ここで説明された方法の機能性のいくつかまたは全てを実行することに用いられ得る。いくつかの実施形態において、フィールド・プログラム可能なゲート・アレイは、ここで説明された方法の１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は如何なるハードウェア装置によっても好ましくは実行される。

上記で説明された実施形態は、本発明の本質のための単なる例示である。ここで説明された配置および詳細の改良および変動が他の当業者に明らかであることを理解されたい。したがって、差し迫った特許請求の範囲のみによって制限され、ここでの実施形態の説明および解釈の方法によって提供された特定の詳細によっては制限されないことを意図する。

Claims (35)

1. 複数の層のそれぞれのために、その中で層間予測を用いる前記ビデオ・コンテンツのピクチャ（１２，１５）のサブ部分のユニットにおいて、符号化されたビデオ・コンテンツ（２０１）を有する多層化されたビデオ・データ・ストリームであって、サブ部分それぞれは、前記ビデオ・データ・ストリームのパケットのシーケンスの１つ以上のペイロード・パケット（２０２）へとそれぞれ符号化され、パケットそれぞれは、前記複数の層の１つに関連付けられ、前記パケットのシーケンスは、アクセス・ユニットそれぞれが共通の瞬間に関して前記ペイロード・パケット（２０２）を集めるために、アクセス・ユニット（２０６）のシーケンスへと分割され、前記アクセス・ユニット（２０６）は、アクセス・ユニット（２０６）それぞれが２つ以上の復号ユニット（２０８）へと細分されるために、復号ユニット（２０８）へと細分され、復号ユニット（２０８）それぞれが前記複数の層の１つに関連付けられるペイロードパケット（２０２）を単に備え、且つ前記復号ユニット（２０８）は、互いにインターリーブされる異なる層に関連付けられるペイロード・パケット（２０２）を備え、アクセス・ユニット（２０６）それぞれは、前記アクセス・ユニット（２０６）それぞれのために第１の復号器バッファ検索時間に信号を送る第１のタイミング制御情報（８００）と、前記アクセス・ユニットの復号ユニットそれぞれのために、多層ビデオ・データ・ストリームにおいてこれらの復号ユニットのシーケンシャルな命令に対応する第２の復号器バッファ検索時間に信号を送る第２のタイミング制御情報（８０２）とを備える、多層化されたビデオ・データ・ストリーム。
2. 前記第２のタイミング情報（８０２）は、いくつかのタイミング制御パケットの上に広げられ、それぞれが復号ユニットに先行して、前記タイミング制御パケットそれぞれが、前記復号ユニットのために前記タイミング制御パケットそれぞれが先行する前記第２の復号器検索バッファ時間に関連付けられ且つ示す、請求項１に記載の多層化されたビデオ・データ・ストリーム。
3. アクセス・ユニットそれぞれは、前記アクセス・ユニットそれぞれの復号ユニットそれぞれのために第３の復号器バッファ検索時間を送る第３のタイミング制御情報（８０４）をさらに備え、前記アクセス・ユニットの復号ユニットのための前記第３の復号器バッファ検索時間に従うために、前記アクセス・ユニットそれぞれにおける前記復号ユニットは、非復号ユニットが、前記アクセス・ユニットそれぞれにおいていずれかの復号ユニットに従う第１の層に関連付けられるパケットを備え、層の順序に従って前記第１の層の後に続く第２の層に関連付けられるパケットを備えるために、複数の層の中で定義される層の順序に従って順序付けられる、請求項１または２に記載の多層化されたビデオ・データ・ストリーム。
4. 前記アクセス・ユニットそれぞれの復号ユニットのために前記第３の復号器バッファ検索時間に従って、前記アクセス・ユニットそれぞれにおける前記復号ユニットが、層それぞれのために、前記層それぞれに関連付けられるペイロード・パケットを備える前記復号ユニットがこれらが前記アクセス・ユニットの中で互いに従う前記順序を保つために、順序付けられる、請求項３に記載の多層化されたビデオ・データ・ストリーム。
5. 多層化されたビデオ・データ・ストリームは、複数の層のそれぞれのために、符号化されたビデオ・コンテンツ（２０１）を有し、その中で層間予測を用いる前記ビデオ・コンテンツのピクチャ（１２，１５）のサブ部分のユニットにおいて、サブ部分それぞれは、前記ビデオ・データ・ストリームのパケットのシーケンスの１つ以上のペイロード・パケット（２０２）へとそれぞれ符号化され、パケットそれぞれは、前記複数の層の１つに関連付けられ、前記パケットのシーケンスは、アクセス・ユニット（２０６）それぞれが共通の瞬間に関して前記ペイロード・パケット（２０２）を集めるために、アクセス・ユニット（２０６）のシーケンスへと分割され、前記アクセス・ユニット（２０６）は、アクセス・ユニットそれぞれが２つ以上の復号ユニットへと細分されるために、復号ユニット（２０８）へと細分され、復号ユニットそれぞれが前記複数の層の１つに関連付けられるペイロードパケット（２０２）を単に備え、且つ前記復号ユニット（２０８）は、互いにインターリーブされる異なる層に関連付けられるペイロード・パケットを備え、アクセス・ユニット（２０６）それぞれは、前記アクセス・ユニットそれぞれの復号ユニットそれぞれのために、前記アクセス・ユニットそれぞれの復号ユニットのための前記第１の復号器バッファ検索時間に従うために、第１の復号器バッファ検索時間に信号を送る第１の制御情報（８０４）を備え、前記アクセス・ユニットそれぞれにおける前記復号ユニットは、第１の層に従うパケットを備える非復号ユニットが前記アクセス・ユニットそれぞれにおけるいずれかの復号ユニットに従うために、前記複数の層の中で定義される層の順序に従って順序付けられ、前記アクセス・ユニットそれぞれは、前記層の順序に従って第１の層の後に続く第２の層に関連付けられるパケットと、前記アクセス・ユニットの復号ユニットそれぞれのために、前記多層ビデオ・データ・ストリームにおける前記復号ユニットのシーケンシャルな命令に対応する第２の復号器バッファ検索時間に信号を送る第２のタイミング制御情報（８０２）とを備える、多層化されたビデオ・データ・ストリーム。
6. 前記アクセス・ユニットそれぞれの復号ユニットのために前記第１の復号器バッファ検索時間に従って、前記アクセス・ユニットそれぞれにおける前記復号ユニットは、層それぞれのために、前記層それぞれに関連付けられるパケットを備える前記復号ユニットが、これらが前記アクセス・ユニットに互いに従うことにおいて前記順序を保つために、順序付けられる、請求項５に記載の多層化されたビデオ・データ・ストリーム。
7. 前記第１および第２のタイミング制御情報は、それぞれが復号ユニットに先行するいくつかのタイミング制御パケットの上に広げられ、前記タイミング制御パケットそれぞれは、
   前記タイミング制御パケットそれぞれが先行する前記復号ユニットのために前記第１および第２の復号器バッファ検索時間に関連付けられ、および示す、請求項５または６に記載の多層化されたビデオ・データ・ストリーム。
8. 前記復号器バッファ検索時間は、復号器バッファ除去時間を用いて明確に信号を送られる、請求項１〜７のいずれかに記載の多層化されたビデオ・データ・ストリーム。
9. 前記復号器バッファ検索時間は、復号器バッファの最早到着時間を用いて明確に信号を送られる、請求項１〜８のいずれかに記載の多層化されたビデオ・データ・ストリーム。
10. ビデオ・コンテンツ（２０１）を多層化されたビデオ・データ・ストリーム（２００）へと符号化する符号器は、同じものが、複数の層のそれぞれのために、符号化された前記ビデオ・コンテンツ（２０１）を有するために、その中で層間予測を用いる前記ビデオ・コンテンツのピクチャ（２０４）のサブ部分のユニットにおいて、サブ部分のそれぞれは、前記ビデオ・データ・ストリームのパケットのシーケンスの１つ以上のペイロード・パケット（２０２）へとそれぞれ符号化され、パケットそれぞれは、複数の層の１つに関連付けられ、パケットのシーケンスは、アクセス・ユニットそれぞれが共通の瞬間に関して前記ペイロード・パケット（２０２）を集めるために、アクセス・ユニット（２０６）のシーケンスへと分割され、前記アクセス・ユニット（２０６）は、アクセス・ユニット（２０６）それぞれが２つ以上の復号ユニット（２０８）へと細分されるために、復号ユニット（２０８）へと細分され、復号ユニット（２０８）それぞれは、前記複数の層の１つに関連付けられるペイロード・パケットを単に備え、前記復号ユニット（２０８）は、互いにインターリーブされる異なる層に関連付けられるペイロード・パケットを備え、アクセス・ユニットそれぞれは、前記アクセス・ユニットそれぞれのために復号器バッファ検索時間に信号を送る第１のタイミング制御情報（８００）と、前記アクセス・ユニットの復号ユニットそれぞれのために、前記多層ビデオ・データ・ストリームにおいてこれらのシーケンシャルな命令に対応する復号器バッファ検索時間に信号を送る第２のタイミング制御情報（８０２）とを備える、符号器。
11. ビデオ・コンテンツ（２０１）を多層化されたビデオ・データ・ストリーム（２００）へと符号化する符号器は、同じものが、複数の層のそれぞれのために、符号化されたビデオ・コンテンツを有するために、その中で層間予測を用いる前記ビデオ・コンテンツのピクチャ（２０４）のサブ部分のユニットにおいて、サブ部分それぞれは、前記ビデオ・データ・ストリームのパケットのシーケンスの１つ以上のペイロード・パケット（２０２）へとそれぞれ符号化され、パケットそれぞれは、前記複数の層の１つに関連付けられ、前記パケットのシーケンスは、アクセス・ユニットそれぞれが共通の瞬間に関して前記ペイロード・パケット（２０２）を集めるために、アクセス・ユニット（２０６）のシーケンスへと分割され、前記アクセス・ユニット（２０６）は、アクセス・ユニットそれぞれが２つ以上の復号ユニットへと細分されるために、復号ユニットへと細分され、復号ユニットそれぞれは、前記複数の層の１つに関連付けられるペイロード・パケットを単に備え、且つ前記復号ユニットは、互いにインターリーブされる異なる層に関連付けられるペイロード・パケットを備え、アクセス・ユニットそれぞれは、前記アクセス・ユニットそれぞれの復号ユニットために前記第１の復号器バッファ検索時間に従うために、前記アクセス・ユニットそれぞれの復号ユニットそれぞれのために、第１の復号器バッファ検索時間に信号を送る第１の時間制御情報（８０４）を備え、前記アクセス・ユニットそれぞれにおける前記復号ユニットは、第１の層に関連付けられるパケットを備える非復号ユニットが前記アクセス・ユニットにおいていずれかの復号ユニットに従うために、前記複数の層の中で定義される層の順序に従って順序付けられ、前記アクセス・ユニットそれぞれは、前記層の順序に従って前記第１の層の後に続く第２の層に関連付けられるパケットを備え、且つ第２のタイミング制御情報（８０２）は、前記アクセス・ユニットの復号ユニットそれぞれのために、前記多層ビデオ・データ・ストリームにおいて前記復号ユニットのシーケンシャルな命令に対応する第２の復号器バッファ検索時間に信号を送る第２のタイミング制御情報（８０２）を備える、エンコーダ。
12. 第１のおよび横断順で後のサブ部分の層において前記共通の瞬間を横断且つ符号化することによって端末間の遅延を減らすために、前記アクセス・ユニットの中で前記復号ユニットの前記インターリービングを制御するように構成される、請求項１０または１１に記載のエンコーダ。
13. 前記第１のタイミング制御情報（８００）を用いて、且つ前記第２および第３のタイミング制御情報（８０２）に関わりなく、アクセス・ユニットのユニットにおける前記多層データ・ストリームをバッファリングするために前記復号器のバッファ（７０２，７０４）を空にするように構成される請求項１および２の前記多層化されたビデオ・データ・ストリームのいずれかを復号するように構成される、復号器。
14. 前記第１のタイミング制御情報を用いて、且つ前記第２および第３のタイミング制御情報に関わりなく、アクセス・ユニットのユニットにおける前記多層化されたデータ・ストリームをバッファリングするために、前記復号器のバッファ（７０２，７０４）を空にするように構成される請求項３および４の前記多層化されたビデオ・データ・ストリームのいずれかを復号するように構成される、復号器。
15. 前記復号器のバッファ（７０２，７０４）を空にするとき、デインターリービングによって、前記層順に従って、前記アクセス・ユニットの復号ユニットを除去するように構成される、請求項１３または１４に記載の復号器。
16. 復号器は、複数の層のそれぞれのために、符号化されたビデオ・コンテンツ（２０１）を有する多層化されたビデオ・データ・ストリーム（２００）を復号するように構成され、サブ部分それぞれは、前記ビデオ・データ・ストリームのパケットのシーケンスの１つ以上のペイロード・パケット（２０２）へとそれぞれ符号化され、パケットそれぞれは、前記複数の層の１つに関連付けられ、前記パケットのシーケンスは、アクセス・ユニット（２０６）それぞれが共通の瞬間に関して前記ペイロード・パケット（２０２）を集めるために、アクセス・ユニット（２０６）のシーケンスへと分割され、前記アクセス・ユニット（２０６）は、アクセス・ユニットそれぞれが２つ以上の復号ユニットへと細分されるように、復号ユニット（２０８）へと細分され、復号ユニットそれぞれは、前記複数の層の１つに関連付けられるペイロード・パケット（２０２）を単に備え、且つ異なる層に関連付けられるペイロード・パケットを備える前記復号ユニットは、互いにインターリーブされ、アクセス・ユニット（２０６）それぞれは、前記アクセス・ユニット（２０６）それぞれのために第１の復号器バッファ検索時間に信号を送る第１のタイミング制御情報（８００）と、前記アクセス・ユニットの復号ユニットそれぞれのために、フラグ（８０６）をインターリーブする復号ユニットに依存する、前記多層ビデオ・データ・ストリームにおいて前記復号ユニットのシーケンシャルな命令に対応する第２の復号器バッファ検索時間、または前記アクセス・ユニットそれぞれの復号ユニットのために前記第３の復号器バッファ検索時間に従うために、第３の復号器バッファ検索時間に信号を送る第２のタイミング制御情報（８０８）とを備え、前記アクセス・ユニットそれぞれにおける前記復号ユニットは、第１の層に関連付けられるパケットを備える非復号ユニットが、前記アクセス・ユニットそれぞれにおいていずれかの復号ユニットに従うために、前記複数の層の中で定義される層の順序に従って順序付けられ、前記アクセス・ユニットそれぞれは、前記層の順序に従って前記第１の層の後に続く第２の層に関連付けられるパケットを備え、
    前記第２のタイミング制御情報（８０８）が復号ユニットそれぞれのために前記第２の復号器バッファ検索時間に信号を送る場合、前記第１のタイミング制御情報を用いて、且つ前記第２および第３のタイミング制御情報に関わりなく、アクセス・ユニット（２０６）のユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファを空にし、または、
    前記第２のタイミング制御情報（８０８）が復号ユニットそれぞれのために前記第３の復号器バッファ検索時間に信号を送る場合、前記第３のタイミング制御情報を用いる前記復号ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファを空にする、復号器。
17. アクセス・ユニットのユニットにおいて前記復号器のバッファを空にするとき、デインターリービングによって、前記層の順序に従って、前記アクセス・ユニットの復号ユニットを除去するように構成される、請求項１６に記載の復号器。
18. 前記第２のタイミング制御情報を用いる前記復号ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファ（７０２，７０４）を空にするように構成される請求項１〜４のいずれかの前記多層化されたビデオ・データ・ストリームのいずれかを復号するように構成される、復号器。
19. 前記第２のタイミング制御情報のためのオフセットとして前記第１のタイミング制御情報を用いるように構成される、請求項１８に記載の復号器。
20. 前記第１のタイミング制御情報を用いて、且つ前記第２のタイミング制御情報に関わりなく、前記復号ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファを空にするように構成される請求項５〜７のいずれかの前記多層化されたビデオ・データ・ストリームのいずれかを復号するように構成される、復号器。
21. 前記第２のタイミング制御情報を用いて、且つ前記第１のタイミング制御情報に関わりなく、前記復号ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファ（７０２，７０４）を空にするように構成される請求項５〜７のいずれかの前記多層化されたビデオ・データ・ストリームのいずれかを復号するように構成される、復号器。
22. 前記復号器のバッファは、層それぞれのために一部の前記バッファ（７０２，７０４）から構成され、前記復号器は、層それぞれのために、前記層それぞれのために部分的な前記バッファにおいて前記層それぞれに関連付けられるパケットを備える前記復号ユニットをバッファするように構成される、復号器。
23. 前記復号器のバッファは、複数の部分的なバッファから構成され、部分的なバッファそれぞれは前記層のサブセットに関連付けられ、前記復号器は、層それぞれのために、前記それぞれが属する層の前記サブセットのために前記部分的なバッファにおいて層それぞれに関連付けられるパケットを備える前記復号ユニットをバッファするように構成される、請求項１４〜２１のいずれかに記載の復号器。
24. 前記復号器は、部分的なバッファが前記他の部分的なバッファと同期するように構成される、請求項２３に記載の復号器。
25. 中間ネットワーク装置は、請求項１〜４のいずれかの前記多層化されたビデオ・データ・ストリームのいずれかを復号器の前記符号化ピクチャ・バッファへと転送するように構成され、前記復号器を前記第２のタイミング制御情報を扱うことができることとして分類する情報を受け取り、
    前記復号器が前記第２のタイミング制御情報を扱うことができる場合、第１の計算規則に従って前記第１および第２のタイミング制御情報から、前記転送をスケジュールするために最早到着または除去時間を導き出し、且つ
    前記復号器が前記第２のタイミング制御情報を扱うことができない場合、第２の計算規則に従って前記第１および第２のタイミング制御情報から、前記転送をスケジュールするために最早到着または除去時間を導き出す、中間ネットワーク装置。
26. ビデオ・コンテンツ（２０１）を多層化されたビデオ・データ・ストリーム（２００）へと符号化する方法は、同じものが、複数の層のそれぞれのために、符号化された前記ビデオ・コンテンツ（２０１）を有するために、その中で層間予測を用いる前記ビデオ・コンテンツのピクチャ（２０４）のサブ部分のユニットにおいて、サブ部分それぞれが前記ビデオ・データ・ストリームのパケットのシーケンスの１つ以上のペイロード・パケット（２０２）へとそれぞれ符号化され、パケットそれぞれが前記複数の層の１つに関連付けられ、前記パケットのシーケンスは、アクセス・ユニットそれぞれが共通の瞬間に関して前記ペイロード・パケット（２０２）を集めるために、アクセス・ユニット（２０６）のシーケンスへと分割され、前記アクセス・ユニット（２０６）は、アクセス・ユニット（２０６）それぞれが２つ以上の復号ユニット（２０８）へと細分されるために、復号ユニット（２０８）へと細分され、復号ユニット（２０８）それぞれは、前記複数の層の１つに関連付けられるペイロード・パケットを単に備え、前記復号ユニット（２０８）は、互いにインターリーブされる異なる層に関連付けられるペイロード・パケットを備え、アクセス・ユニットそれぞれは、前記アクセス・ユニットそれぞれのために復号器バッファ検索時間に信号を送る第１のタイミング制御情報（８００）と、前記アクセス・ユニットの復号ユニットそれぞれのために、前記多層ビデオ・データ・ストリームにおいてこれらのシーケンシャルな命令に対応する復号器バッファ検索時間に信号を送る第２のタイミング制御情報（８０２）とを備える、ビデオ・コンテンツを多層化されたビデオ・データ・ストリームへと符号化する方法。
27. ビデオ・コンテンツ（２０１）を多層化されたビデオ・データ・ストリーム（２００）へと符号化する方法は、同じものが、複数の層のそれぞれのために、符号化されたビデオ・コンテンツを有するために、その中で層間予測を用いる前記ビデオ・コンテンツのピクチャ（２０４）のサブ部分のユニットにおいて、サブ部分のそれぞれが、前記ビデオ・データ・ストリームのパケットのシーケンスの１つ以上のペイロード・パケット（２０２）へとそれぞれ符号化され、パケットそれぞれが前記複数の層の１つに関連付けられ、前記パケットのシーケンスは、アクセス・ユニットそれぞれが共通の瞬間に関して前記ペイロード・パケット（２０２）を集めるために、アクセス・ユニット（２０６）のシーケンスへと分割され、前記アクセス・ユニット（２０６）は、アクセス・ユニットそれぞれが２つ以上の復号ユニットへと細分されるために、復号ユニットへと細分され、復号ユニットは、前記複数の層の１つに関連付けられるペイロード・パケットを単に備え、且つ前記復号ユニットは、互いにインターリーブされる異なる層に関連付けられるペイロード・パケットを備え、アクセス・ユニットそれぞれは、前記アクセス・ユニットそれぞれの復号ユニットそれぞれのために、前記アクセス・ユニットそれぞれの復号ユニットのために前記第１の復号器バッファ検索時間に従うために、第１の復号器バッファ検索時間に信号を送る第１のタイミング制御情報（８０４）を備え、前記アクセス・ユニットそれぞれにおける前記復号ユニットは、第１の層に関連付けられるパケットを備える非復号ユニットが前記アクセス・ユニットそれぞれにおいていずれかの復号ユニットに従うために、前記複数の層の中で定義される層の順序に従って順序付けられ、前記層の順序に従う前記第１の層の後に続く第２の層に関連付けられるパケットを備え、且つ第２のタイミング制御情報（８０２）は、前記アクセス・ユニットの復号ユニットそれぞれのために、前記多層ビデオ・データ・ストリームにおいて前記復号ユニットのシーケンシャルな命令に対応する第２の復号バッファ検索時間に信号を送る、ビデオ・コンテンツを多層化されたビデオ・データ・ストリームへと符号化する方法。
28. 請求項１および２の前記多層化されたビデオ・データ・ストリームのいずれかを復号する方法は、前記第１のタイミング制御情報（８００）を用いて、且つ前記第２のタイミング制御情報（８０２）に関わりなく、アクセス・ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファ（７０２，７０４）を空にすることを備える、多層化されたビデオ・データ・ストリームのいずれかを復号する方法。
29. 請求項３および４の前記多層化されたビデオ・データ・ストリームのいずれかを復号する方法は、前記第１のタイミング制御情報を用いて、および前記第２および第３のタイミング制御情報に関わりなく、アクセス・ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファ（７０２，７０４）を空にするように構成される、多層化されたビデオ・データ・ストリームのいずれかを復号する方法。
30. 多層化されたビデオ・データ・ストリーム（２００）を復号する方法は、複数の層のそれぞれのために、符号化されたビデオ・コンテンツ（２０１）を有し、その中で層間予測を用いる前記ビデオ・コンテンツのピクチャ（２０４）のサブ部分のユニットにおいて、サブ部分それぞれは、前記ビデオ・データ・ストリームのパケットのシーケンスの１つ以上のペイロード・パケット（２０２）へとそれぞれ符号化され、パケットそれぞれは、前記複数の層の１つに関連付けられ、前記パケットのシーケンスは、アクセス・ユニット（２０６）が共通の瞬間に関して前記ペイロード・パケット（２０２）を集めるために、アクセス・ユニット（２０６）のシーケンスへと分割され、前記アクセス・ユニット（２０６）は、アクセス・ユニットそれぞれが２つ以上の復号ユニットへと細分されるために、復号ユニット（２０８）へと細分され、復号ユニットそれぞれは、前記複数の層の１つに関連付けられるペイロード・パケット（２０２）を単に備え、且つ前記復号ユニットは、互いにインターリーブされる異なる層に関連付けられるペイロード・パケットを備え、アクセス・ユニット（２０６）それぞれは、前記アクセス・ユニット（２０６）それぞれのために第１の復号器バッファ検索時間に信号を送る第１のタイミング制御情報（８００）と、前記アクセス・ユニットの復号ユニットそれぞれのために、フラグ（８０６）をインターリーブする復号ユニットに依存する、前記多層化されたビデオ・データ・ストリームにおいて前記復号ユニットのシーケンシャルな命令に対応する第２の復号器バッファ検索時間、または前記アクセス・ユニットそれぞれの復号ユニットのための第３の復号器バッファ検索時間に従うために、前記第３の復号バッファ検索時間に信号を送る第２のタイミング制御情報（８０８）とを備え、前記アクセス・ユニットそれぞれにおける前記復号ユニットは、第１の層に関連付けられるパケットを備える非復号ユニットが前記アクセス・ユニットそれぞれにおいていずれかの復号ユニットに従うために、前記複数の層の中で定義される層の順序に従って順序付けられ、前記層の順序に従って前記第１の層の後に続く第２の層に関連付けられるパケットを備え、
    前記方法は、
    前記第２のタイミング制御情報（８０８）が復号ユニットそれぞれのために前記第２の復号器バッファ検索時間に信号を送る場合、前記第１のタイミング制御を用いて、且つ前記第２および第３のタイミング制御情報に関わりなく、アクセス・ユニット（２０６）のユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファを空にするために、または、
    前記第２のタイミング制御情報（８０８）が復号ユニットそれぞれのために前記第３の復号器バッファ検索時間に信号を送る場合、前記第３のタイミング制御情報を用いて前記復号ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファを空にするために、
    フラグをインターリーブする前記復号ユニットに応答することを備える、多層化されたビデオ・データ・ストリームを復号する方法。
31. 請求項１〜４のいずれかの前記多層化されたビデオ・データ・ストリームのいずれかを復号する方法は、前記第２のタイミング制御情報を用いて前記復号ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファ（７０２，７０４）を空にすることを備える。
32. 請求項５〜７のいずれかの前記多層化されたビデオ・データ・ストリームのいずれかを復号する方法は、前記第１のタイミング制御情報を用いて、且つ前記第２のタイミング制御情報に関わりなく、前記復号ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファを空にすることを備える。
33. 請求項５〜７のいずれかの前記多層化されたビデオ・データ・ストリームのいずれかを復号する方法は、前記第２のタイミング制御情報を用いて、且つ前記第１のタイミング制御情報に関わりなく、前記復号ユニットのユニットにおいて前記多層化されたデータ・ストリームをバッファリングするために前記復号器のバッファ（７０２，７０４）を空にすることを備える。
34. 請求項１〜４のいずれかの前記多層化されたビデオ・データ・ストリームのいずれかを復号器の前記符号化ピクチャ・バッファへと転送する方法は、
    前記第２のタイミング制御情報を扱うことができるように前記復号器を修飾する情報を受け取ること、
    前記復号器が前記第２のタイミング制御情報を扱うことができる場合、第１の計算規則に従って前記第１および第２のタイミング制御情報から、前記転送をスケジューリングするために最早到着または除去時間を導き出すこと、且つ
    前記復号器が前記第２のタイミング制御情報を扱うことができない場合、第２の計算規則に従って前記第１および第２のタイミング制御情報から、前記転送をスケジュールするために最早到着または除去時間を導き出すことを備える。
35. コンピュータプログラムは、コンピュータで動作するとき、実行するためのプログラム・コードを有する、請求項２６〜３４のいずれかに記載の方法。

Images