JP2017525257A - スケーラブルビデオコード化におけるビットストリーム適合制約 - Google Patents

Abstract

ビットストリームの中のビデオ情報をコード化するように構成された装置は、メモリと、メモリと通信しているプロセッサとを含む。メモリは、ビットストリームの中の複数のビデオレイヤに関連するビデオ情報を記憶するように構成され、ビットストリームの中の複数のビデオレイヤが、複数のビットストリームパーティションに分割され、ここにおいて、各ビットストリームパーティションが、複数のビデオレイヤのうちの少なくとも１つを含む。プロセッサは、複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理するように構成され、ここにおいて、ビットストリーム適合パラメータが、第１のビットストリームパーティションに適用可能であるが、第１のビットストリームパーティションによって包含されない、ビットストリームの別の部分に適用可能でない。プロセッサは、ビットストリームの中のビデオ情報を符号化又は復号し得る。

Description

[0001]本開示は、ビデオコード化及び圧縮の分野に関し、詳細には、スケーラブルビデオコード化、マルチビュービデオコード化又は３次元（３Ｄ）ビデオコード化に関する。

[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、携帯電話又は衛星無線電話、ビデオ遠隔会議機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ムービングピクチャエキスパートグループ−２（ＭＰＥＧ−２）、ＭＰＥＧ−４、国際電信連合−電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０、高度ビデオコード化（ＡＶＣ）、高効率ビデオコード化（ＨＥＶＣ）規格によって定義された規格及びそのような規格の拡張に記載されているものなどの、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号及び／又は記憶し得る。

[0003]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために、空間（イントラピクチャ）予測及び／又は時間（インターピクチャ）予測を実行する。ブロックベースのビデオコード化の場合、ビデオスライス（例えば、ビデオフレーム、ビデオフレームの一部分など）が、ツリーブロック、コード化単位（ＣＵ：coding unit）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化される（Ｉ）スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化される（Ｐ又はＢ）スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測又は他の参照ピクチャにおける参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0004]本開示のシステム、方法及び機器は、幾つかの発明的態様をそれぞれ有し、それらの態様は、１つとして、本明細書で開示する望ましい属性を単独で担うものではない。

[0005]一態様では、ビットストリームの中のビデオ情報をコード化（例えば、符号化又は復号）するように構成された装置は、メモリと、メモリと通信しているプロセッサとを含む。メモリは、ビットストリームの中の複数のビデオレイヤに関連するビデオ情報を記憶するように構成され、ビットストリームの中の複数のビデオレイヤが、複数のビットストリームパーティションに分割され、ここにおいて、各ビットストリームパーティションが、複数のビデオレイヤのうちの少なくとも１つを含む。プロセッサは、複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理するように構成され、ここにおいて、ビットストリーム適合パラメータが、第１のビットストリームパーティションに適用可能であるが、第１のビットストリームパーティションによって包含されない、ビットストリームの別の部分に適用可能でない。

[0006]別の態様では、ビットストリームの中のビデオ情報をコード化する方法は、複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理することを含み、各ビットストリームパーティションが、ビットストリームの中の複数のビデオレイヤのうちの少なくとも１つを含み、ここにおいて、ビットストリーム適合パラメータが、第１のビットストリームパーティションに適用可能であるが、第１のビットストリームパーティションによって包含されない、ビットストリームの別の部分に適用可能でない。

[0007]別の態様では、非一時的コンピュータ可読媒体は、実行されたとき、装置に、ビットストリームの中の複数のビデオレイヤに関連するビデオ情報を記憶することと、ビットストリームの中の複数のビデオレイヤが、複数のビットストリームパーティションに分割され、ここにおいて、各ビットストリームパーティションが、複数のビデオレイヤのうちの少なくとも１つを含む、複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理することと、ここにおいて、ビットストリーム適合パラメータが、第１のビットストリームパーティションに適用可能であるが、第１のビットストリームパーティションによって包含されない、ビットストリームの別の部分に適用可能でない、を行わせるコードを含む。

[0008]別の態様では、ビットストリームの中のビデオ情報をコード化するように構成されたビデオコード化機器は、ビットストリームの中の複数のビデオレイヤに関連するビデオ情報を記憶するための手段と、ビットストリームの中の複数のビデオレイヤが、複数のビットストリームパーティションに分割され、ここにおいて、各ビットストリームパーティションが、複数のビデオレイヤのうちの少なくとも１つを含む、複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理するための手段と、ここにおいて、ビットストリーム適合パラメータが、第１のビットストリームパーティションに適用可能であるが、第１のビットストリームパーティションによって包含されない、ビットストリームの別の部分に適用可能でない、を含む。

[0009]本開示で説明する態様による技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 [0010]本開示で説明する態様による技法を実行し得る別の例示的なビデオ符号化及び復号システムを示すブロック図。 [0011]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0012]本開示で説明する態様による技法を実装し得るビデオエンコーダの一例を示すブロック図。 [0013]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0014]本開示で説明する態様による技法を実装し得るビデオデコーダの一例を示すブロック図。 [0015]異なるビットストリームパーティションの中のピクチャの例示的な構成を示すブロック図。 [0016]ビットストリームパーティションに関連するパラメータを処理する方法を示すフローチャート。 [0017]ビットストリーム適合制約が満たされているかどうかを決定する方法を示すフローチャート。 [0018]異なるレイヤの中の接合点を越えるピクチャの例示的な一構成を示すブロック図。 [0019]異なるレイヤにおけるピクチャの例示的な構成を示すブロック図。 [0020]異なるレイヤの中のピクチャのピクチャ順序カウント（ＰＯＣ）値を示す表。 [0021]異なるレイヤの中のピクチャの例示的な一構成を示すブロック図。 [0022]異なるレイヤにおけるピクチャのＰＯＣ値を示す表。

[0023]幾つかの実装形態では、ビットストリーム適合に関する様々なパラメータがビットストリームの中で信号伝達され、ここで、幾つかのビットストリーム適合制約は、そのようなパラメータによって規定される値を制限し得る。例えば、そのようなパラメータは、ビットストリームの中のコード化されたピクチャに関連するタイミング情報又はビットストリーム若しくはその一部分（例えば、コード化単位、ピクチャ、ビデオレイヤなど）の他の特性を規定し得る。既存の実装形態では、これらのパラメータは、しばしば、ビットストリーム全体又はアクセス単位全体（例えば、同じ出力時間インスタンスに対応する、ビットストリームの中の全てのピクチャ）に関連する。

[0024]幾つかの状況では、ビットストリーム（又は、アクセス単位）をより小さい単位でトランスポート又は処理することが望ましい場合がある。しかしながら、ビットストリーム全体（例えば、ビットストリームの中の全てのレイヤ）又はアクセス単位全体（例えば、アクセス単位の中の全てのピクチャ）に適用可能なビットストリーム適合パラメータとビットストリーム適合制約とを有することは、ビットストリームを区分しパーティションの一部又は全部を独立に処理するためのプロセスを複雑にする場合がある。

[0025]従って、ビットストリームの中の様々なビットストリーム適合パラメータを定義及び処理するための、改善された方法が望まれる。

[0026]本開示では、ビットストリームの中で推定又は信号伝達されるビットストリーム適合パラメータを定義及び処理するための、様々な技法が説明される。本開示の幾つかの実施形態では、コーダは、ビットストリームの中の複数のビデオレイヤのサブセットを含むビットストリームパーティションに関連するビットストリーム適合パラメータを処理する。そのような実施形態では、ビットストリーム適合パラメータは、ビットストリームパーティションに適用可能であってよいが、ビットストリームパーティションによって包含されない、ビットストリームの別の部分に適用可能でなくてよい。ビットストリームパーティションに関連しビットストリーム全体に関連しないビットストリーム適合パラメータを処理することによって、ビットストリームをトランスポート及び処理する際のより大きいフレキシビリティが実現され得る。

[0027]以下の説明では、幾つかの実施形態に関係するＨ．２６４／高度ビデオコード化（ＡＶＣ）技法が記載され、ＨＥＶＣ規格及び関係する技法も説明される。ＨＥＶＣ規格及び／又はＨ．２６４規格のコンテキストにおいて、幾つかの実施形態が本明細書に記載されるが、本明細書で開示されるシステム及び方法が任意の適切なビデオコード化規格に適用可能であり得ることを、当業者なら諒解されよう。例えば、本明細書で開示する実施形態は、次の規格、即ち、国際電気通信連合（ＩＴＵ）電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６１、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）ＭＰＥＧ−１ビジュアル、ＩＴＵ−Ｔ Ｈ．２６２及びＩＳＯ／ＩＥＣ ＭＰＥＧ−２ビジュアル、ＩＴＵ−Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ビジュアル若しくはそのスケーラブルビデオコード化（ＳＶＣ）及びマルチビュービデオコード化（ＭＶＣ）拡張を含むＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）のうちの、１つ又は複数に適用可能であり得る。

[0028]ＨＥＶＣは、概して、多くの点で、前のビデオコード化規格のフレームワークに従う。ＨＥＶＣにおける予測の単位は、幾つかの前のビデオコード化規格における予測の単位（例えば、マクロブロック）とは異なる。事実上、マクロブロックの概念は、幾つかの前のビデオコード化規格において理解されているように、ＨＥＶＣ中に存在しない。マクロブロックは、他の考えられる利益の中でも高いフレキシビリティを与え得る、４分木方式に基づく階層構造と置き換えられる。例えば、ＨＥＶＣ方式内で、コード化単位（ＣＵ）、予測単位（ＰＵ：Prediction Unit）及び変換単位（ＴＵ：Transform Unit）という３つのタイプのブロックが定義される。ＣＵは領域分割の基本単位を指すことがある。ＣＵはマクロブロックの概念に類似するとみなされてよいが、ＨＥＶＣは、ＣＵの最大サイズを制限せず、コンテンツ適応性を改善するために４つの等しいサイズのＣＵへの再帰的分割を可能にし得る。ＰＵは、インター／イントラ予測の基本単位とみなされてよく、単一のＰＵは、不規則なイメージパターンを効率的にコード化するために、複数の任意形状区分を含み得る。ＴＵは、変換の基本単位とみなされてよい。ＴＵはＰＵとは無関係に定義され得るが、ＴＵのサイズはＴＵが属するＣＵのサイズに限定されることがある。３つの異なる概念へのブロック構造のこの分離は、各ユニットがそのユニットのそれぞれの役割に従って最適化されることを可能にし得、このことはコード化効率の改善をもたらし得る。

[0029]単に説明の目的で、本明細書で開示する幾つかの実施形態は、ビデオデータの２つのレイヤ（例えば、ＢＬなどの下位レイヤ及びＥＬなどの上位レイヤ）のみを含む例を用いて説明する。ビデオデータの「レイヤ」は、概して、ビュー、フレームレート、解像度などの、少なくとも１つの共通の特性を有するピクチャのシーケンスを指すことがある。例えば、レイヤは、マルチビュービデオデータの特定のビュー（例えば、視点）に関連したビデオデータを含み得る。別の例として、レイヤは、スケーラブルビデオデータの特定のレイヤに関連したビデオデータを含み得る。従って、本開示は、ビデオデータのレイヤ及びビューを互換的に指すことがある。例えば、ビデオデータのビューは、ビデオデータのレイヤと呼ばれることがあり、ビデオデータのレイヤは、ビデオデータのビューと呼ばれることがある。加えて、マルチレイヤコーデック（マルチレイヤビデオコーダ又はマルチレイヤエンコーダデコーダとも呼ばれる）は、マルチビューコーデック又はスケーラブルコーデック（例えば、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、ＳＨＶＣ又は別のマルチレイヤコード化技法を使用してビデオデータを符号化及び／又は復号するように構成されるコーデック）を一緒に指すことがある。ビデオ符号化及びビデオ復号は、概して、両方ともビデオコード化と呼ばれることがある。そのような例が複数のＢＬ、ＲＬ及び／又はＥＬを含む構成に適用可能であり得ることを理解されたい。更に、説明を簡単にするために、以下の開示は、幾つかの実施形態に関して「フレーム」又は「ブロック」という用語を含む。しかしながら、これらの用語は、限定的であることを意味しない。例えば、以下で説明する技法は、ブロック（例えば、ＣＵ、ＰＵ、ＴＵ、マクロブロックなど）、スライス、フレームなどの、任意の適切なビデオ単位とともに使用され得る。

ビデオコード化規格
[0030]ビデオ画像、ＴＶ画像、静止画像又はビデオレコーダ若しくはコンピュータによって生成された画像などの、デジタル画像は、水平ライン及び垂直ラインで構成された画素又はサンプルを含み得る。単一の画像中の画素の数は一般に数万個である。各画素は、一般に、ルミナンス情報とクロミナンス情報とを含んでいる。圧縮がなければ、画像エンコーダから画像デコーダに搬送されるべき情報の純粋な量は、リアルタイム画像伝送を実行不可能にすることになる。送信されるべき情報の量を低減するために、ＪＰＥＧ、ＭＰＥＧ及びＨ．２６３規格など、幾つかの異なる圧縮方法が開発された。

[0031]ビデオコード化規格は、ＩＴＵ−Ｔ Ｈ．２６１と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ビジュアルと、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ビジュアルと、ＩＴＵ−Ｔ Ｈ．２６３と、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ビジュアルと、（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとも呼ばれる）ＩＴＵ−Ｔ Ｈ．２６４と、それのスケーラブルビデオコード化（ＳＶＣ）及びマルチビュービデオコード化（ＭＶＣ）拡張を含むＨＥＶＣとを含む。

[0032]更に、ビデオコード化規格、即ち、ＨＥＶＣが、ＩＴＵ−Ｔ ＶＣＥＧとＩＳＯ／ＩＥＣ ＭＰＥＧとのジョイントコラボレーションチームオンビデオコード化（ＪＣＴ−ＶＣ：Joint Collaboration Team on Video Coding）によって開発されている。ＨＥＶＣドラフト１０についての完全引用は、文書ＪＣＴＶＣ−Ｌ１００３、Ｂｒｏｓｓら、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）Ｔｅｘｔ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｄｒａｆｔ １０」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントコラボレーティブチームオンビデオコード化（ＪＣＴ−ＶＣ）、第１２回会合：ジュネーブ、スイス、２０１３年１月１４日〜２０１３年１月２３日である。ＨＥＶＣへのマルチビュー拡張、即ち、ＭＶ−ＨＥＶＣ及びＳＨＶＣと名付けられたＨＥＶＣへのスケーラブル拡張も、ＪＣＴ−３Ｖ（ＩＴＵ−Ｔ／ＩＳＯ／ＩＥＣジョイントコラボレーティブチームオン３Ｄビデオコード化拡張開発）及びＪＣＴ−ＶＣによって、それぞれ開発されている。

ビデオコード化システム
[0033]新規のシステム、装置及び方法の様々な態様は、これ以降、添付図面を参照しながら、より十分に説明される。しかしながら、本開示は、多くの異なる形態で実施可能であり、本開示の全体を通して示される任意の特定の構造又は機能に限定されるものと解釈されるべきでない。むしろ、本開示が、入念で完全であり、本開示の範囲を当業者に十分に伝達するように、これらの態様が提供される。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様と無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する新規のシステム、装置及び方法のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。例えば、本明細書に記載される任意の数の態様を使用して装置が実装されてよく又は方法が実施されてもよい。更に、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えて又はそれらの態様以外に、他の構造、機能又は構造及び機能を使用して実施されるそのような装置又は方法をカバーするものとする。本明細書で開示する任意の態様は、特許請求の範囲の１つ又は複数の要素により実施されてもよいことを理解されたい。

[0034]特定の態様について本明細書で説明するが、これらの態様の多くの変形及び置換は本開示の範囲内に入る。好ましい態様の幾つかの利益及び利点が述べられるが、本開示の範囲は、特定の利益、使用又は目的に限定されることを意図しない。むしろ、本開示の態様は、異なるワイヤレス技術、システム構成、ネットワーク及び伝送プロトコルに広く適用可能なものであり、そのうちの幾つかが図面及び好ましい態様の以下の説明において例として示される。詳細な説明及び図面は、限定的ではなく、本開示の例示にすぎず、本開示の範囲は、添付の特許請求の範囲及びその均等物によって定義される。

[0035]添付の図面は、例を示す。添付の図面内で参照番号によって指示される要素は、以下の説明において同様の参照番号で指示される要素に対応する。本開示では、序数語（例えば、「第１の」、「第２の」、「第３の」など）で始まる名前を有する要素は、必ずしもそれらの要素が特定の順序を有することを暗示するとは限らない。むしろ、そのような序数語は、同じ又は同様のタイプの、異なる要素を指すために使用されるにすぎない。

[0036]図１Ａは、本開示で説明する態様による技法を利用し得る例示的なビデオコード化システム１０を示すブロック図である。本明細書で使用し説明する「ビデオコーダ」又は「コーダ」という用語は、総称的にビデオエンコーダとビデオデコーダの両方を指す。本開示では、「ビデオコード化」又は「コード化」という用語は、ビデオ符号化とビデオ復号とを総称的に指すことがある。ビデオエンコーダ及びビデオデコーダに加えて、本出願に記載される態様は、トランスコーダ（例えば、ビットストリームを復号し別のビットストリームを再符号化することができる機器）及びミドルボックス（例えば、ビットストリームを修正、変換及び／又は別のやり方で操作することができる機器）などの、他の関係する機器に拡張され得る。

[0037]図１Ａに示すように、ビデオコード化システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを生成する発信源機器１２を含む。図１Ａの例では、発信源機器１２及び宛先機器１４は別個の機器を構成する。しかしながら、発信源機器１２及び宛先機器１４が、図１Ｂの例に示すように、同じ機器上にあってもよく又は同じ機器の部分であってもよいことに留意されたい。

[0038]もう一度図１Ａを参照すると、発信源機器１２及び宛先機器１４はそれぞれ、デスクトップコンピュータ、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲の機器のいずれかを備え得る。様々な実施形態では、発信源機器１２及び宛先機器１４はワイヤレス通信のために装備され得る。

[0039]宛先機器１４は、リンク１６を介して、復号されるべき符号化ビデオデータを受信し得る。リンク１６は、発信源機器１２から宛先機器１４に符号化ビデオデータを動かすことが可能な任意のタイプの媒体又は機器を備え得る。図１Ａの例では、リンク１６は、発信源機器１２が、符号化ビデオデータをリアルタイムで宛先機器１４に送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され得、宛先機器１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトル又は１つ又は複数の物理伝送線路などの、任意のワイヤレス通信媒体又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク又はインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局又は発信源機器１２から宛先機器１４への通信を容易にするために有用であり得る、任意の他の機器を含み得る。

[0040]代替的に、符号化データは出力インターフェース２２から、（随意に存在する）記憶機器３１に出力され得る。同様に、符号化データは、例えば、宛先機器１４の入力インターフェース２８によって、記憶機器３１からアクセスされ得る。記憶機器３１は、ハードドライブ、フラッシュメモリ、揮発性又は不揮発性のメモリ若しくは符号化ビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散された、又は局所的にアクセスされるデータ記憶媒体のいずれかを含み得る。更なる例では、記憶機器３１は、発信源機器１２によって生成された符号化ビデオを保持し得るファイルサーバ又は別の中間記憶機器に相当し得る。宛先機器１４は、記憶されているビデオデータに、記憶機器３１からストリーミング又はダウンロードを介してアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することができ、その符号化ビデオデータを宛先機器１４に送信することができる、任意のタイプのサーバであり得る。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用の）、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続ストレージ（ＮＡＳ）機器又はローカルディスクドライブを含む。宛先機器１４は、インターネット接続を含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）接続）、ワイヤード接続（例えば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）又はその両方の組合せを含み得る。記憶機器３１からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送又はその両方の組合せであり得る。

[0041]本開示の技法は、ワイヤレスの用途又は設定に限定されない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信（例えば、動的適応ストリーミングオーバーハイパーテキスト転送プロトコル（ＨＴＴＰ）など）、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、ビデオコード化システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング及び／又はビデオ電話などの用途をサポートするために、単方向又は双方向のビデオ送信をサポートするように構成され得る。

[0042]図１Ａの例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。場合によっては、出力インターフェース２２は変調器／復調器（モデム）及び／又は送信機を含み得る。発信源機器１２において、ビデオ発信源１８は、撮像装置、例えばビデオカメラ、以前に撮られたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース及び／又は発信源ビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどの発信源又はそのような発信源の組合せを含み得る。一例として、図１Ｂの例に示すように、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂「カメラ付き電話」又は「ビデオ電話」を形成し得る。しかしながら、本開示に記載される技法は、概してビデオコード化に適用可能であり得、ワイヤレスアプリケーション及び／又は有線アプリケーションに適用され得る。

[0043]撮られたビデオ、以前に撮られたビデオ又はコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオデータは、発信源機器１２の出力インターフェース２２を介して、宛先機器１４に送信され得る。符号化ビデオデータは、更に（又は代替的に）、復号及び／又は再生のための宛先機器１４又は他の機器による後のアクセスのために、記憶機器３１に記憶され得る。図１Ａ及び図１Ｂに示すビデオエンコーダ２０は、図２に示すビデオエンコーダ２０又は本明細書に記載される任意の他のビデオエンコーダを備えてよい。

[0044]図１Ａの例では、宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。場合によっては、入力インターフェース２８は、受信機及び／又はモデムを含み得る。宛先機器１４の入力インターフェース２８は、符号化ビデオデータを、リンク１６を介して及び／又は記憶機器３１から受信し得る。リンク１６を介して通信され又は記憶機器３１上に提供された符号化ビデオデータは、ビデオデータを復号する際のビデオデコーダ３０などのビデオデコーダによる使用のために、ビデオエンコーダ２０によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体に記憶されるか、又はファイルサーバに記憶される符号化ビデオデータに含まれ得る。図１Ａ及び図１Ｂに示すビデオデコーダ３０は、図３Ａに示すビデオデコーダ３０、図３Ｂに示すビデオデコーダ３３又は本明細書に記載される任意の他のビデオデコーダを備えてよい。

[0045]表示装置３２は、宛先機器１４と一体化されるか、又はその外部にあり得る。幾つかの例では、宛先機器１４は、一体型表示装置を含み得、また、外部表示装置とインターフェースするように構成され得る。他の例では、宛先機器１４は表示装置であり得る。概して、表示装置３２は、復号ビデオデータをユーザに対して表示し、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。

[0046]関係する態様では、図１Ｂは、例示的なビデオコード化システム１０’を示し、ここにおいて、発信源機器１２及び宛先機器１４は、機器１１上にあり、又はその部分である。機器１１は、「スマート」フォンなどの電話ハンドセットであり得る。機器１１は、発信源機器１２及び宛先機器１４と動作可能に通信している（随意に存在する）コントローラ／プロセッサ機器１３を含み得る。図１Ｂのビデオコード化システム１０’及びその構成要素は、図１Ａのビデオコード化システム１０及びその構成要素と場合によっては類似である。

[0047]ビデオエンコーダ２０及びビデオデコーダ３０は、ＨＥＶＣなど、ビデオ圧縮規格に従って動作し得、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，ＡＶＣと呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他の独自の規格又は業界規格又はそのような規格の拡張に従って動作し得る。但し、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオ圧縮規格の他の例は、ＭＰＥＧ−２及びＩＴＵ−Ｔ Ｈ．２６３を含む。

[0048]図１Ａ及び図１Ｂの例に示されないが、ビデオエンコーダ２０及びビデオデコーダ３０は各々、オーディオエンコーダ及びオーディオデコーダと統合されてよく、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するための適切なＭＵＸ−ＤＥＭＵＸユニット又は他のハードウェア及びソフトウェアを含み得る。適用可能な場合、幾つかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0049]ビデオエンコーダ２０及びビデオデコーダ３０は各々、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組合せなどの様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、適切な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し得、本開示の技法を実行するために、１つ又は複数のプロセッサを使用して、命令をハードウェアで実行し得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ又は複数のエンコーダ又はデコーダに含まれ得、そのいずれも、それぞれの機器において複合エンコーダ／デコーダの一部として統合され得る。

ビデオコード化プロセス
[0050]上記で簡略に述べられたように、ビデオエンコーダ２０はビデオデータを符号化する。ビデオデータは、１つ又は複数のピクチャを備え得る。ピクチャの各々は、ビデオの一部を形成する静止画像である。幾つかの事例では、ピクチャは、ビデオ「フレーム」と呼ばれることがある。ビデオエンコーダ２０がビデオデータを符号化するとき、ビデオエンコーダ２０は、ビットストリームを生成し得る。ビットストリームは、ビデオデータのコード化された表現を形成するビットのシーケンスを含み得る。ビットストリームは、コード化ピクチャと、関連するデータとを含み得る。コード化ピクチャは、ピクチャのコード化された表現である。

[0051]ビットストリームを生成するために、ビデオエンコーダ２０は、ビデオデータ中の各ピクチャに対して符号化演算を実行し得る。ビデオエンコーダ２０がピクチャに対して符号化演算を実行するとき、ビデオエンコーダ２０は、一連のコード化ピクチャと、関連するデータとを生成し得る。関連するデータは、ビデオパラメータセット（ＶＰＳ：video parameter set）と、シーケンスパラメータセット（ＳＰＳ）と、ピクチャパラメータセット（ＰＰＳ）と、適応パラメータセット（ＡＰＳ）と、他のシンタックス構造とを含み得る。ＳＰＳは、ピクチャの０個以上のシーケンスに適用可能なパラメータを含み得る。ＰＰＳは、０個以上のピクチャに適用可能なパラメータを含み得る。ＡＰＳは、０個以上のピクチャに適用可能なパラメータを含み得る。ＡＰＳ中のパラメータは、ＰＰＳ中のパラメータよりも変化する可能性が高いパラメータであり得る。

[0052]コード化ピクチャを生成するために、ビデオエンコーダ２０は、ピクチャを等しいサイズのビデオブロックに区分し得る。ビデオブロックはサンプルの２次元アレイであり得る。ビデオブロックの各々は、ツリーブロックに関連付けられる。幾つかの事例では、ツリーブロックは、最大コード化単位（ＬＣＵ：largest coding unit）と呼ばれることがある。ＨＥＶＣのツリーブロックは、Ｈ．２６４／ＡＶＣのような従来の規格のマクロブロックに、広い意味で類似し得る。しかしながら、ツリーブロックは、特定のサイズに必ずしも限定されず、１つ又は複数のコード化単位（ＣＵ）を含み得る。ビデオエンコーダ２０は、ツリーブロックのビデオブロックを、ＣＵに関連付けられたビデオブロックに区分するために、４分木区分を使用し得、従って、「ツリーブロック」という名前である。

[0053]幾つかの例では、ビデオエンコーダ２０は、ピクチャを複数のスライスに区分し得る。スライスの各々は、整数個のＣＵを含み得る。幾つかの事例では、スライスは、整数個のツリーブロックを備える。他の事例では、スライスの境界は、ツリーブロック内にあり得る。

[0054]ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。ビデオエンコーダ２０がスライスに対して符号化演算を実行するとき、ビデオエンコーダ２０は、スライスに関連付けられた符号化データを生成し得る。スライスに関連付けられた符号化データは、「コード化スライス」と呼ばれることがある。

[0055]コード化スライスを生成するために、ビデオエンコーダ２０は、スライス中の各ツリーブロックに対して符号化演算を実行し得る。ビデオエンコーダ２０がツリーブロックに対して符号化演算を実行するとき、ビデオエンコーダ２０は、コード化されたツリーブロックを生成し得る。コード化されたツリーブロックは、ツリーブロックの符号化されたバージョンを表すデータを備え得る。

[0056]ビデオエンコーダ２０がコード化スライスを生成するとき、ビデオエンコーダ２０は、ラスタ走査順序に従って、スライス中のツリーブロックに対して符号化演算を実行（例えば、符号化）し得る。例えば、ビデオエンコーダ２０は、スライス中のツリーブロックの一番上の行にわたって左から右に進み、次いでツリーブロックの次の下の行にわたって左から右に進み、以下同様に進む順序で、ビデオエンコーダ２０がスライス中のツリーブロックの各々を符号化するまで、スライスのツリーブロックを符号化し得る。

[0057]ラスタ走査順序に従ってツリーブロックを符号化した結果として、所与のツリーブロックの上及び左のツリーブロックは符号化されていることがあるが、所与のツリーブロックの下及び右のツリーブロックはまだ符号化されていない。従って、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの上及び左のツリーブロックを符号化することによって生成される情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のツリーブロックを符号化するとき、所与のツリーブロックの下及び右のツリーブロックを符号化することによって生成される情報にアクセスできないことがある。

[0058]コード化されたツリーブロックを生成するために、ビデオエンコーダ２０は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロック上で４分木区分を再帰的に実行し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。例えば、ビデオエンコーダ２０は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し得、サブブロックのうちの１つ又は複数を４つの等しいサイズのサブサブブロックに区分し得、以下同様である。区分されたＣＵは、そのビデオブロックが他のＣＵに関連付けられたビデオブロックに区分されているＣＵであり得る。区分されていないＣＵは、そのビデオブロックが他のＣＵに関連付けられたビデオブロックに区分されていないＣＵであり得る。

[0059]ビットストリーム中の１つ又は複数のシンタックス要素は、ビデオエンコーダ２０がツリーブロックのビデオブロックを区分し得る最大の回数を示し得る。ＣＵのビデオブロックは形状が正方形であり得る。ＣＵのビデオブロックのサイズ（例えば、ＣＵのサイズ）は、８×８の画素から、最大で６４×６４以上の画素を有するツリーブロックのビデオブロックのサイズ（例えば、ツリーブロックのサイズ）までわたり得る。

[0060]ビデオエンコーダ２０は、ｚ走査順序に従って、ツリーブロックの各ＣＵに対して符号化演算を実行（例えば、符号化）し得る。言い換えれば、ビデオエンコーダ２０は、左上のＣＵと、右上のＣＵと、左下のＣＵと、次いで右下のＣＵとを、その順序で符号化し得る。ビデオエンコーダ２０が、区分されているＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、ｚ走査順序に従って、区分されているＣＵのビデオブロックのサブブロックに関連付けられたＣＵを符号化し得る。言い換えれば、ビデオエンコーダ２０は、左上のサブブロックに関連付けられたＣＵと、右上のサブブロックに関連付けられたＣＵと、左下のサブブロックに関連付けられたＣＵと、次いで右下のサブブロックに関連付けられたＣＵとを、その順序で符号化し得る。

[0061]ｚ走査順序に従ってツリーブロックのＣＵを符号化した結果として、所与のＣＵの上、左上、右上、左及び左下のＣＵは符号化されていることがある。所与のＣＵの下又は右のＣＵはまだ符号化されていない。従って、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する幾つかのＣＵを符号化することによって生成される情報にアクセスすることが可能であり得る。しかしながら、ビデオエンコーダ２０は、所与のＣＵを符号化するとき、所与のＣＵに隣接する他のＣＵを符号化することによって生成される情報にアクセスできないことがある。

[0062]ビデオエンコーダ２０が、区分されていないＣＵを符号化するとき、ビデオエンコーダ２０は、ＣＵに対する１つ又は複数の予測単位（ＰＵ）を生成し得る。ＣＵのＰＵの各々は、ＣＵのビデオブロック内の異なるビデオブロックに関連付けられ得る。ビデオエンコーダ２０は、ＣＵの各ＰＵに対して予測ビデオブロックを生成し得る。ＰＵの予測ビデオブロックは、サンプルのブロックであり得る。ビデオエンコーダ２０は、ＰＵのための予測ビデオブロックを生成するために、イントラ予測又はインター予測を使用し得る。

[0063]ビデオエンコーダ２０がＰＵの予測ビデオブロックを生成するためにイントラ予測を使用するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がＣＵのＰＵの予測ビデオブロックを生成するためにイントラ予測を使用する場合、ＣＵはイントラ予測されたＣＵである。ビデオエンコーダ２０がＰＵの予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つ又は複数のピクチャの復号サンプルに基づいて、ＰＵの予測ビデオブロックを生成し得る。ビデオエンコーダ２０がＣＵのＰＵの予測ビデオブロックを生成するためにインター予測を使用する場合、ＣＵはインター予測されたＣＵである。

[0064]更に、ビデオエンコーダ２０がＰＵのための予測ビデオブロックを生成するためにインター予測を使用するとき、ビデオエンコーダ２０は、ＰＵのための動き情報を生成し得る。ＰＵのための動き情報は、ＰＵの１つ又は複数の参照ブロックを示し得る。ＰＵの各参照ブロックは、参照ピクチャ内のビデオブロックであり得る。参照ピクチャは、ＰＵに関連付けられたピクチャ以外のピクチャであり得る。幾つかの事例では、ＰＵの参照ブロックは、ＰＵの「参照サンプル」と呼ばれることもある。ビデオエンコーダ２０は、ＰＵの参照ブロックに基づいて、ＰＵのための予測ビデオブロックを生成し得る。

[0065]ビデオエンコーダ２０がＣＵの１つ又は複数のＰＵのための予測ビデオブロックを生成した後、ビデオエンコーダ２０は、ＣＵのＰＵのための予測ビデオブロックに基づいて、ＣＵに対する残差データを生成し得る。ＣＵの残差データは、ＣＵのＰＵのための予測ビデオブロック中のサンプルと、ＣＵの元のビデオブロック中のサンプルとの差分を示し得る。

[0066]更に、区分されていないＣＵに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ＣＵの残差データを、ＣＵの変換単位（ＴＵ）に関連付けられた残差データの１つ又は複数のブロック（例えば、残差ビデオブロック）に区分するために、ＣＵの残差データに対して再帰的な４分木区分を実行し得る。ＣＵの各ＴＵは、異なる残差ビデオブロックに関連付けられ得る。

[0067]ビデオエンコーダ２０は、ＴＵに関連付けられた変換係数ブロック（例えば、変換係数のブロック）を生成するために、ＴＵに関連付けられた残差ビデオブロックに１つ又は複数の変換を適用し得る。概念的に、変換係数ブロックは変換係数の２次元（２Ｄ）行列であり得る。

[0068]変換係数ブロックを生成した後、ビデオエンコーダ２０は、変換係数ブロックに対して量子化プロセスを実行し得る。量子化は、概して、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を実現するプロセスを指す。量子化プロセスは、変換係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中に、ｎビット変換係数はｍビット変換係数に切り捨てられ得、ここで、ｎはｍよりも大きい。

[0069]ビデオエンコーダ２０は、各ＣＵを、量子化パラメータ（ＱＰ）値に関連付け得る。ＣＵに関連付けられたＱＰ値は、ビデオエンコーダ２０が、ＣＵに関連付けられた変換係数ブロックをどのように量子化するかを決定し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。

[0070]ビデオエンコーダ２０が変換係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数ブロックの中で変換係数を表すシンタックス要素のセットを生成し得る。ビデオエンコーダ２０は、これらのシンタックス要素のうちの幾つかに、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：Context Adaptive Binary Arithmetic Coding）演算などのエントロピー符号化演算を適用し得る。コンテキスト適応型可変長コード化（ＣＡＶＬＣ：context adaptive variable length coding）、確率間隔区分エントロピー（ＰＩＰＥ：probability interval partitioning entropy）コード化又は他のバイナリ算術コード化など、他のエントロピーコード化技法も使用され得る。

[0071]ビデオエンコーダ２０によって生成されるビットストリームは、一連のネットワーク抽象化レイヤ（ＮＡＬ：Network Abstraction Layer）単位を含み得る。ＮＡＬ単位の各々は、ＮＡＬ単位中のデータのタイプの指示と、データを含むバイトとを含む、シンタックス構造であり得る。例えば、ＮＡＬ単位は、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、コード化スライス、ＳＥＩ、アクセス単位デリミタ、フィラーデータ又は別のタイプのデータを表すデータを含み得る。ＮＡＬ単位中のデータは、様々なシンタックス構造を含み得る。

[0072]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。ビットストリームは、ビデオエンコーダ２０によって符号化されたビデオデータのコード化された表現を含み得る。ビデオデコーダ３０がビットストリームを受信すると、ビデオデコーダ３０は、ビットストリームに対して構文解析動作を実行し得る。ビデオデコーダ３０が構文解析動作を実行するとき、ビデオデコーダ３０は、ビットストリームからシンタックス要素を抽出し得る。ビデオデコーダ３０は、ビットストリームから抽出されたシンタックス要素に基づいて、ビデオデータのピクチャを再構成し得る。シンタックス要素に基づいてビデオデータを再構成するためのプロセスは、一般に、シンタックス要素を生成するためにビデオエンコーダ２０によって実行されるプロセスの逆であり得る。

[0073]ビデオデコーダ３０がＣＵに関連付けられたシンタックス要素を抽出した後、ビデオデコーダ３０は、シンタックス要素に基づいて、ＣＵのＰＵのための予測ビデオブロックを生成し得る。更に、ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた変換係数ブロックを逆量子化し得る。ビデオデコーダ３０は、ＣＵのＴＵに関連付けられた残差ビデオブロックを再構成するために、変換係数ブロックに対して逆変換を実行し得る。予測ビデオブロックを生成し、残差ビデオブロックを再構成した後、ビデオデコーダ３０は、予測ビデオブロック及び残差ビデオブロックに基づいて、ＣＵのビデオブロックを再構成し得る。このようにして、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて、ＣＵのビデオブロックを再構成し得る。

ビデオエンコーダ
[0074]図２Ａは、本開示で説明する態様による技法を実装し得るビデオエンコーダ２０の一例を示すブロック図である。ビデオエンコーダ２０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。更に、ビデオエンコーダ２０は、本開示の技法のいずれか又は全てを実行するように構成され得る。幾つかの例では、本開示で説明する技法は、ビデオエンコーダ２０の様々な構成要素間で共有され得る。幾つかの例では、追加又は代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る。

[0075]説明の目的で、本開示は、ＨＥＶＣコード化のコンテキストにおいてビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、他のコード化規格又は方法に適用可能であり得る。図２Ａに示す例は、シングルレイヤコーデックのためのものである。しかしながら、図２Ｂに関して更に説明するように、ビデオエンコーダ２０の一部又は全部は、マルチレイヤコーデックの処理のために複製され得る。

[0076]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化とインターコード化とを実行し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間的冗長性を低減又は除去するために、空間予測に依拠する。インターコード化は、ビデオシーケンスの隣接するフレーム内又はピクチャ内のビデオの時間的冗長性を低減する、又は除去するために時間予測に依拠する。イントラモード（Ｉモード）は、幾つかの空間ベースのコード化モードのいずれかを参照し得る。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを参照し得る。

[0077]図２Ａの例では、ビデオエンコーダ２０は複数の機能構成要素を含む。ビデオエンコーダ２０の機能構成要素は、予測処理ユニット１００と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換ユニット１１０と、再構成ユニット１１２と、フィルタユニット１１３と、復号ピクチャバッファ１１４と、エントロピー符号化ユニット１１６とを含む。予測処理ユニット１００は、インター予測ユニット１２１と、動き推定ユニット１２２と、動き補償ユニット１２４と、イントラ予測ユニット１２６と、レイヤ間予測ユニット１２８とを含む。他の例では、ビデオエンコーダ２０は、より多いか、より少ないか又は異なる機能構成要素を含み得る。更に、動き推定ユニット１２２及び動き補償ユニット１２４は、高度に統合され得るが、図２Ａの例では、説明の目的で別々に表されている。

[0078]ビデオエンコーダ２０は、ビデオデータを受信し得る。ビデオエンコーダ２０は、様々な発信源からビデオデータを受信し得る。例えば、ビデオエンコーダ２０は、ビデオ発信源１８（例えば、図１Ａ又は図１Ｂに示す）又は別の発信源からビデオデータを受信し得る。ビデオデータは、一連のピクチャを表し得る。ビデオデータを符号化するために、ビデオエンコーダ２０は、ピクチャの各々に対して符号化演算を実行し得る。ピクチャに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、ピクチャの各スライスに対して符号化演算を実行し得る。スライスに対して符号化演算を実行することの一部として、ビデオエンコーダ２０は、スライス中のツリーブロックに対して符号化演算を実行し得る。

[0079]ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ビデオブロックを徐々により小さいビデオブロックに分割するために、ツリーブロックのビデオブロックに対して４分木区分を実行し得る。より小さいビデオブロックの各々は、異なるＣＵに関連付けられ得る。例えば、予測処理ユニット１００は、ツリーブロックのビデオブロックを４つの等しいサイズのサブブロックに区分し得、サブブロックのうちの１つ又は複数を４つの等しいサイズのサブサブブロックに区分し得、以下同様である。

[0080]ＣＵに関連付けられたビデオブロックのサイズは、８×８サンプルから、最大で６４×６４サンプル以上のツリーブロックのサイズにまでわたり得る。本開示では、「Ｎ×Ｎ」及び「Ｎ ｂｙ Ｎ」は、垂直方向の寸法及び水平方向の寸法に関するビデオブロックのサンプルの寸法、例えば、１６×１６サンプル又は１６ ｂｙ １６サンプルを指すために、互換的に使用され得る。一般に、１６×１６のビデオブロックは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×Ｎのブロックは、一般に、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。

[0081]更に、ツリーブロックに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ツリーブロック用の階層的な４分木データ構造を生成し得る。例えば、ツリーブロックは、４分木データ構造のルートノードに対応し得る。予測処理ユニット１００がツリーブロックのビデオブロックを４つのサブブロックに区分する場合、ルートノードは、４分木データ構造中に４つの子ノードを有する。子ノードの各々は、サブブロックのうちの１つに関連付けられたＣＵに対応する。予測処理ユニット１００がサブブロックのうちの１つを４つのサブサブブロックに区分する場合、サブブロックに関連付けられたＣＵに対応するノードは、サブサブブロックのうちの１つに関連付けられたＣＵに各々が対応する、４つの子ノードを有し得る。

[0082]４分木データ構造の各ノードは、対応するツリーブロック又はＣＵのシンタックスデータ（例えば、シンタックス要素）を含み得る。例えば、４分木の中のノードは、そのノードに対応するＣＵのビデオブロックが４つのサブブロックに区分（例えば、分割）されているかどうかを示すスプリットフラグを含み得る。ＣＵのためのシンタックス要素は、再帰的に定義され得、ＣＵのビデオブロックがサブブロックに分割されているかどうかに依存し得る。ビデオブロックが区分されていないＣＵは、４分木データ構造におけるリーフノードに対応し得る。コード化されたツリーブロックは、対応するツリーブロック用の４分木データ構造に基づくデータを含み得る。

[0083]ビデオエンコーダ２０は、ツリーブロックの区分されていない各ＣＵに対して符号化演算を実行し得る。ビデオエンコーダ２０が、区分されていないＣＵに対して符号化演算を実行するとき、ビデオエンコーダ２０は、区分されていないＣＵの符号化された表現を表すデータを生成する。

[0084]ＣＵに対して符号化演算を実行することの一部として、予測処理ユニット１００は、ＣＵの１つ又は複数のＰＵの中で、ＣＵのビデオブロックを区分し得る。ビデオエンコーダ２０及びビデオデコーダ３０は、様々なＰＵサイズをサポートし得る。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２０及びビデオデコーダ３０は、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズ及び２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、ｎＬ×２Ｎ、ｎＲ×２Ｎ又は同様の対称ＰＵサイズでのインター予測とをサポートし得る。ビデオエンコーダ２０及びビデオデコーダ３０は、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ及びｎＲ×２ＮのＰＵサイズに対する非対称区分もサポートし得る。幾つかの例では、予測処理ユニット１００は、ＣＵのビデオブロックの辺に直角に接触しない境界に沿ってＣＵのＰＵの間でＣＵのビデオブロックを区分するように、幾何学的な区分を実行し得る。

[0085]インター予測ユニット１２１は、ＣＵの各ＰＵに対してインター予測を実行し得る。インター予測は、時間圧縮を実現し得る。ＰＵに対してインター予測を実行するために、動き推定ユニット１２２は、ＰＵのための動き情報を生成し得る。動き補償ユニット１２４は、ＰＵベースの動き情報及びＣＵに関連付けられたピクチャ以外のピクチャ（例えば、参照ピクチャ）の復号サンプルのための、予測ビデオブロックを生成し得る。本開示では、動き補償ユニット１２４によって生成される予測ビデオブロックは、インター予測ビデオブロックと呼ばれることがある。

[0086]スライスは、Ｉスライス、Ｐスライス又はＢスライスであり得る。動き推定ユニット１２２及び動き補償ユニット１２４は、ＰＵがＩスライス中にあるのか、Ｐスライス中にあるのか、それともＢスライス中にあるのかに応じて、ＣＵのＰＵのための異なる演算を実行し得る。Ｉスライス中では、全てのＰＵがイントラ予測される。従って、ＰＵがＩスライス中にある場合、動き推定ユニット１２２及び動き補償ユニット１２４は、ＰＵに対してインター予測を実行しない。

[0087]ＰＵがＰスライス中にある場合、ＰＵを含むピクチャは、「リスト０」と呼ばれる参照ピクチャのリストに関連付けられる。リスト０中の参照ピクチャの各々は、他のピクチャのインター予測のために使用され得るサンプルを含む。動き推定ユニット１２２がＰスライス中のＰＵに関して動き推定演算を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得る。ＰＵの参照ブロックは、ＰＵのビデオブロック中のサンプルに最も密接に対応するサンプルのセット、例えば、サンプルのブロックであり得る。動き推定ユニット１２２は、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定するために、様々なメトリックを使用し得る。例えば、動き推定ユニット１２２は、絶対差分和（ＳＡＤ：sum of absolute difference）、２乗差分和（ＳＳＤ：sum of square difference）又は他の差分メトリックによって、参照ピクチャ中のサンプルのセットがどの程度密接にＰＵのビデオブロック中のサンプルに対応するかを決定し得る。

[0088]Ｐスライス中のＰＵの参照ブロックを識別した後、動き推定ユニット１２２は、参照ブロックを含んでいる、リスト０中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。様々な例において、動き推定ユニット１２２は、動きベクトルを異なる精度に生成し得る。例えば、動き推定ユニット１２２は、１／４サンプル精度、１／８サンプル精度又は他の分数のサンプル精度で動きベクトルを生成し得る。分数のサンプル精度の場合、参照ブロック値は、参照ピクチャ中の整数位置のサンプル値から補間され得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって識別された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0089]ＰＵがＢスライス中にある場合、ＰＵを含むピクチャは、「リスト０」及び「リスト１」と呼ばれる参照ピクチャの２つのリストに関連付けられ得る。幾つかの例では、Ｂスライスを含むピクチャは、リスト０とリスト１の組合せである、リストの組合せと関連付けられ得る。

[0090]更に、ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵのための単方向予測又は双方向予測を実行し得る。動き推定ユニット１２２がＰＵのための単方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０又はリスト１の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含む、リスト０又はリスト１中の参照ピクチャを示す参照インデックスと、ＰＵと参照ブロックとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと、予測方向インジケータと、動きベクトルとを出力し得る。予測方向インジケータは、参照インデックスが、リスト０中の参照ピクチャを示すのか、それともリスト１中の参照ピクチャを示すのかを示し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0091]動き推定ユニット１２２がＰＵのための双方向予測を実行するとき、動き推定ユニット１２２は、ＰＵのための参照ブロックについて、リスト０中の参照ピクチャを探索し得、また、ＰＵのための別の参照ブロックについて、リスト１中の参照ピクチャを探索し得る。動き推定ユニット１２２は、次いで、参照ブロックを含む、リスト０及びリスト１中の参照ピクチャを示す参照インデックスと、参照ブロックとＰＵとの間の空間変位を示す動きベクトルとを生成し得る。動き推定ユニット１２２は、ＰＵの動き情報として、ＰＵの参照インデックスと動きベクトルとを出力し得る。動き補償ユニット１２４は、ＰＵの動き情報によって示された参照ブロックに基づいて、ＰＵの予測ビデオブロックを生成し得る。

[0092]幾つかの事例では、動き推定ユニット１２２は、ＰＵのための動き情報のフルセットをエントロピー符号化ユニット１１６に出力しない。そうではなく、動き推定ユニット１２２は、別のＰＵの動き情報を参照して、ＰＵの動き情報を信号伝達し得る。例えば、動き推定ユニット１２２は、ＰＵの動き情報が、隣接ＰＵの動き情報と十分に類似していると決定し得る。この例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、ＰＵが隣接ＰＵと同じ動き情報を有することをビデオデコーダ３０に示す値を示し得る。別の例では、動き推定ユニット１２２は、ＰＵに関連付けられたシンタックス構造において、隣接ＰＵと動きベクトル差分（ＭＶＤ）とを識別し得る。動きベクトル差分は、ＰＵの動きベクトルと、示される隣接ＰＵの動きベクトルとの差分を示す。ビデオデコーダ３０は、ＰＵの動きベクトルを決定するために、示された隣接ＰＵの動きベクトルと、動きベクトル差分とを使用し得る。第２のＰＵの動き情報を信号伝達するときに第１のＰＵの動き情報を参照することによって、ビデオエンコーダ２０は、より少数のビットを使用して、第２のＰＵの動き情報を信号伝達することが可能であり得る。

[0093]ＣＵに対して符号化演算を実行することの一部として、イントラ予測ユニット１２６は、ＣＵのＰＵに対してイントラ予測を実行し得る。イントラ予測は、空間圧縮を実現し得る。イントラ予測ユニット１２６がＰＵに対してイントラ予測を実行するとき、イントラ予測ユニット１２６は、同じピクチャ中の他のＰＵの復号サンプルに基づいて、ＰＵのための予測データを生成し得る。ＰＵのための予測データは、予測ビデオブロックと様々なシンタックス要素とを含み得る。イントラ予測ユニット１２６は、Ｉスライス、Ｐスライス及びＢスライス中のＰＵに対してイントラ予測を実行し得る。

[0094]ＰＵに対してイントラ予測を実行するために、イントラ予測ユニット１２６は、ＰＵのための予測データの複数のセットを生成するために、複数のイントラ予測モードを使用し得る。イントラ予測ユニット１２６がＰＵのための予測データのセットを生成するためにイントラ予測モードを使用するとき、イントラ予測ユニット１２６は、イントラ予測モードと関連する方向及び／又は勾配で、隣接ＰＵのビデオブロックからＰＵのビデオブロックにわたってサンプルを延ばし得る。ＰＵ、ＣＵ及びツリーブロックについて左から右、上から下の符号化順序を仮定すると、隣接ＰＵは、ＰＵの上、右上、左上又は左にあり得る。イントラ予測ユニット１２６は、ＰＵのサイズに応じて、様々な数のイントラ予測モード、例えば、３３個の方向性イントラ予測モードを使用し得る。

[0095]予測処理ユニット１００は、動き補償ユニット１２４によってＰＵのために生成された予測データ又はイントラ予測ユニット１２６によってＰＵのために生成された予測データの中から、ＰＵのための予測データを選択し得る。幾つかの例では、予測処理ユニット１００は、予測データのセットのレート／歪みメトリックに基づいて、ＰＵのための予測データを選択する。

[0096]予測処理ユニット１００がイントラ予測ユニット１２６によって生成された予測データを選択する場合、予測処理ユニット１００は、ＰＵのための予測データを生成するために使用されたイントラ予測モード、例えば、選択されたイントラ予測モードを信号伝達し得る。予測処理ユニット１００は、選択されたイントラ予測モードを様々な方法で信号伝達し得る。例えば、選択されたイントラ予測モードは、隣接ＰＵのイントラ予測モードと同じであることが起こり得る。言い換えれば、隣接ＰＵのイントラ予測モードは、現在ＰＵに対して最確モードであり得る。従って、予測処理ユニット１００は、選択されたイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示すためのシンタックス要素を生成し得る。

[0097]上記で説明したように、ビデオエンコーダ２０は、レイヤ間予測ユニット１２８を含み得る。レイヤ間予測ユニット１２８は、ＳＨＶＣにおいて利用可能である１つ又は複数の異なるレイヤ（例えば、ベースレイヤ又は参照レイヤ）を使用して、現在ブロック（例えば、ＥＬ中の現在ブロック）を予測するように構成される。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１２８は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コード化効率を改善し、計算リソース要件を低減する。レイヤ間予測の幾つかの例は、レイヤ間イントラ予測と、レイヤ間動き予測と、レイヤ間残差予測とを含む。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤの中でコロケートされているブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。

[0098]予測処理ユニット１００がＣＵのＰＵのための予測データを選択した後、残差生成ユニット１０２は、ＣＵのビデオブロックからＣＵのＰＵの予測ビデオブロックを差し引くこと（例えば、マイナス符号によって示される）によって、ＣＵの残差データを生成し得る。ＣＵの残差データは、ＣＵのビデオブロック中のサンプルの異なるサンプル成分に対応する２Ｄ残差ビデオブロックを含み得る。例えば、残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのルミナンス成分と、ＣＵの元のビデオブロック中のサンプルのルミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。更に、ＣＵの残差データは、ＣＵのＰＵの予測ビデオブロック中のサンプルのクロミナンス成分と、ＣＵの元のビデオブロック中のサンプルのクロミナンス成分との間の差分に対応する、残差ビデオブロックを含み得る。

[0099]予測処理ユニット１００は、ＣＵの残差ビデオブロックをサブブロックに区分するために、４分木区分を実行し得る。分割されていない各残差ビデオブロックは、ＣＵの異なるＴＵに関連付けられ得る。ＣＵのＴＵに関連付けられる残差ビデオブロックのサイズ及び位置は、ＣＵのＰＵに関連付けられたビデオブロックのサイズ及び位置に基づいてもよく又は基づかなくてもよい。「残差４分木」（ＲＱＴ）と呼ばれる４分木構造は、残差ビデオブロックの各々に関連付けられたノードを含み得る。ＣＵのＴＵは、ＲＱＴのリーフノードに対応し得る。

[0100]変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに１つ又は複数の変換を適用することによって、ＣＵの各ＴＵのための１つ又は複数の変換係数ブロックを生成し得る。変換係数ブロックの各々は、変換係数の２Ｄ行列であり得る。変換処理ユニット１０４は、ＴＵに関連付けられた残差ビデオブロックに様々な変換を適用し得る。例えば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向変換又は概念的に類似の変換を、ＴＵに関連付けられた残差ビデオブロックに適用し得る。

[0101]変換処理ユニット１０４が、ＴＵに関連付けられた変換係数ブロックを生成した後、量子化ユニット１０６は、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット１０６は、ＣＵに関連付けられたＱＰ値に基づいて、ＣＵのＴＵに関連付けられた変換係数ブロックを量子化し得る。

[0102]ビデオエンコーダ２０は、様々な方法でＱＰ値をＣＵに関連付け得る。例えば、ビデオエンコーダ２０は、ＣＵに関連付けられたツリーブロックに対して、レート歪み分析を実行し得る。レート歪み分析では、ビデオエンコーダ２０は、ツリーブロックに対して符号化演算を複数回実行することによって、ツリーブロックの複数のコード化された表現を生成し得る。ビデオエンコーダ２０が、ツリーブロックの異なる符号化表現を生成するとき、ビデオエンコーダ２０は、異なるＱＰ値をＣＵに関連付け得る。最小のビットレート及び歪みメトリックを有するツリーブロックのコード化された表現で所与のＱＰ値がＣＵに関連付けられるとき、ビデオエンコーダ２０は、所与のＱＰ値がＣＵに関連付けられることを信号伝達し得る。

[0103]逆量子化ユニット１０８及び逆変換ユニット１１０は、変換係数ブロックから残差ビデオブロックを再構成するために、それぞれ、逆量子化と逆変換とを変換係数ブロックに適用し得る。再構成ユニット１１２は、ＴＵに関連付けられた再構成されたビデオブロックを生成するために、再構成された残差ビデオブロックを、予測処理ユニット１００によって生成された１つ又は複数の予測ビデオブロックからの対応するサンプルに追加し得る。このようにＣＵの各ＴＵについてビデオブロックを再構成することによって、ビデオエンコーダ２０は、ＣＵのビデオブロックを再構成し得る。

[0104]再構成ユニット１１２がＣＵのビデオブロックを再構成した後、フィルタユニット１１３は、ＣＵに関連付けられたビデオブロックにおけるブロック歪みを低減するために、デブロッキング演算を実行し得る。１つ又は複数のデブロッキング演算を実行した後、フィルタユニット１１３は、ＣＵの再構成されたビデオブロックを復号ピクチャバッファ１１４に記憶し得る。動き推定ユニット１２２及び動き補償ユニット１２４は、後続のピクチャのＰＵに対してインター予測を実行するために、再構成されたビデオブロックを含む参照ピクチャを使用し得る。更に、イントラ予測ユニット１２６は、ＣＵと同じピクチャ中の他のＰＵに対してイントラ予測を実行するために、復号ピクチャバッファ１１４の中の再構成されたビデオブロックを使用し得る。

[0105]エントロピー符号化ユニット１１６は、ビデオエンコーダ２０の他の機能構成要素からデータを受信し得る。例えば、エントロピー符号化ユニット１１６は、量子化ユニット１０６から変換係数ブロックを受信し得、予測処理ユニット１００からシンタックス要素を受信し得る。エントロピー符号化ユニット１１６がデータを受信すると、エントロピー符号化ユニット１１６は、エントロピー符号化データを生成するために、１つ又は複数のエントロピー符号化演算を実行し得る。例えば、ビデオエンコーダ２０は、ＣＡＶＬＣ演算、ＣＡＢＡＣ演算、変数間（Ｖ２Ｖ：variable-to-variable）レングスコード化演算、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）演算、確率間隔区分エントロピー（ＰＩＰＥ）コード化演算又は別のタイプのエントロピー符号化演算をデータに対して実行し得る。エントロピー符号化ユニット１１６は、エントロピー符号化データを含むビットストリームを出力し得る。

[0106]データに対してエントロピー符号化演算を実行することの一部として、エントロピー符号化ユニット１１６は、コンテキストモデルを選択し得る。エントロピー符号化ユニット１１６がＣＡＢＡＣ演算を実行している場合、コンテキストモデルは、特定の値を有する特定のビンの確率の推定値を示し得る。ＣＡＢＡＣのコンテキストでは、「ビン」という用語は、シンタックス要素の２値化されたバージョンのビットを指すために使用される。

マルチレイヤビデオエンコーダ
[0107]図２Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオエンコーダ２３（単にビデオエンコーダ２３とも呼ばれる）の一例を示すブロック図である。ビデオエンコーダ２３は、ＳＨＶＣ及びマルチビューコード化の場合など、マルチレイヤビデオフレームを処理するように構成され得る。更に、ビデオエンコーダ２３は、本開示の技法のいずれか又は全てを実行するように構成され得る。

[0108]ビデオエンコーダ２３はビデオエンコーダ２０Ａとビデオエンコーダ２０Ｂとを含み、それらの各々はビデオエンコーダ２０として構成され得、ビデオエンコーダ２０に関して上記で説明した機能を実行し得る。更に、参照番号の再利用によって示されるように、ビデオエンコーダ２０Ａ及び２０Ｂは、ビデオエンコーダ２０としてのシステム及びサブシステムのうちの少なくとも幾つかを含み得る。ビデオエンコーダ２３は、２つのビデオエンコーダ２０Ａ及び２０Ｂを含むように示されるが、ビデオエンコーダ２３は、そのように限定されず、任意の数のビデオエンコーダ２０のレイヤを含み得る。幾つかの実施形態では、ビデオエンコーダ２３は、アクセス単位中の各ピクチャ又は各フレームに対してビデオエンコーダ２０を含み得る。例えば、５つのピクチャを含むアクセス単位は、５つのエンコーダレイヤを含むビデオエンコーダによって処理又は符号化され得る。幾つかの実施形態では、ビデオエンコーダ２３は、アクセス単位中のフレームよりも多くのエンコーダレイヤを含み得る。幾つかのそのような場合では、ビデオエンコーダのレイヤのうちの幾つかは、幾つかのアクセス単位を処理するときに非アクティブであり得る。

[0109]ビデオエンコーダ２０Ａ及び２０Ｂに加えて、ビデオエンコーダ２３は、リサンプリングユニット９０を含み得る。リサンプリングユニット９０は、場合によっては、例えば、ＥＬを作成するために、受信されたビデオフレームのＢＬをアップサンプリングし得る。リサンプリングユニット９０は、フレームの受信されたＢＬに関連付けられた特定の情報をアップサンプリングし得るが、他の情報をアップサンプリングしないことがある。例えば、リサンプリングユニット９０は、ＢＬの空間サイズ又は画素の数をアップサンプリングし得るが、スライスの数又はピクチャ順序カウントは一定のままであり得る。場合によっては、リサンプリングユニット９０は、受信されたビデオを処理しないことがあり及び／又は随意であり得る。例えば、場合によっては、予測処理ユニット１００は、アップサンプリングを実行し得る。幾つかの実施形態では、リサンプリングユニット９０は、レイヤをアップサンプリングし、スライス境界ルール及び／又はラスタ走査ルールのセットに準拠するように、１つ又は複数のスライスを再編成、再定義、修正又は調整するように構成される。アクセス単位中のＢＬ又は下位レイヤをアップサンプリングするものとして主に説明したが、場合によっては、リサンプリングユニット９０は、レイヤをダウンサンプリングし得る。例えば、ビデオのストリーミング中に帯域幅が低減した場合、フレームは、アップサンプリングされるのではなく、ダウンサンプリングされ得る。

[0110]リサンプリングユニット９０は、下位レイヤエンコーダ（例えば、ビデオエンコーダ２０Ａ）の復号ピクチャバッファ１１４からピクチャ又はフレーム（又はピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（又は受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤエンコーダと同じアクセス単位中のピクチャを符号化するように構成された、上位レイヤエンコーダ（例えば、ビデオエンコーダ２０Ｂ）の予測処理ユニット１００に供給され得る。場合によっては、上位レイヤエンコーダは、下位レイヤエンコーダから除去された１つのレイヤである。他の場合には、図２Ｂのレイヤ０ビデオエンコーダとレイヤ１エンコーダとの間に、１つ又は複数の上位レイヤエンコーダがあり得る。

[0111]場合によっては、リサンプリングユニット９０は、省略又はバイパスされ得る。そのような場合、ビデオエンコーダ２０Ａの復号ピクチャバッファ１１４からのピクチャは、直接又は少なくともリサンプリングユニット９０に供給されずに、ビデオエンコーダ２０Ｂの予測処理ユニット１００に供給され得る。例えば、ビデオエンコーダ２０Ｂに供給されたビデオデータ及びビデオエンコーダ２０Ａの復号ピクチャバッファ１１４からの参照ピクチャが、同じサイズ又は解像度である場合、参照ピクチャは、いかなるリサンプリングも伴わずにビデオエンコーダ２０Ｂに供給され得る。

[0112]幾つかの実施形態では、ビデオエンコーダ２３は、ビデオエンコーダ２０Ａにビデオデータを供給する前に、ダウンサンプリングユニット９４を使用して下位レイヤエンコーダに供給されるべきビデオデータをダウンサンプリングする。代替的に、ダウンサンプリングユニット９４は、ビデオデータをアップサンプリング又はダウンサンプリングすることが可能なリサンプリングユニット９０であり得る。また他の実施形態では、ダウンサンプリングユニット９４は省略され得る。

[0113]図２Ｂに示すように、ビデオエンコーダ２３は、マルチプレクサ９８、即ちｍｕｘを更に含み得る。ｍｕｘ９８は、ビデオエンコーダ２３から合成ビットストリームを出力することができる。合成ビットストリームは、ビデオエンコーダ２０Ａ及び２０Ｂの各々からビットストリームを取ることと、所与の時間において出力されるビットストリームを交替することとによって、作成され得る。場合によっては、２つの（又は、３つ以上のビデオエンコーダレイヤの場合には、より多くの）ビットストリームからのビットが一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に合成される。例えば、出力ビットストリームは、選択されたビットストリームを一度に１ブロックずつ交替することによって作成され得る。別の例では、出力ビットストリームは、ビデオエンコーダ２０Ａ及び２０Ｂの各々から非１：１比のブロックを出力することによって作成され得る。例えば、２つのブロックは、ビデオエンコーダ２０Ａから出力された各ブロックについてビデオエンコーダ２０Ｂから出力され得る。幾つかの実施形態では、ｍｕｘ９８からの出力ストリームはプリプログラムされ得る。他の実施形態では、ｍｕｘ９８は、発信源機器１２を含む発信源機器上のプロセッサからなど、ビデオエンコーダ２３の外部のシステムから受信された制御信号に基づいて、ビデオエンコーダ２０Ａ、２０Ｂからのビットストリームを合成し得る。制御信号は、ビデオ発信源１８からのビデオの解像度又はビットレートに基づいて、リンク１６の帯域幅に基づいて、ユーザに関連するサブスクリプション（例えば、有料サブスクリプション対無料サブスクリプション）に基づいて又はビデオエンコーダ２３から望まれる解像度出力を決定するための他のファクタに基づいて生成され得る。

ビデオデコーダ
[0114]図３Ａは、本開示で説明する態様による技法を実装し得るビデオデコーダ３０の一例を示すブロック図である。ビデオデコーダ３０は、ＨＥＶＣの場合など、ビデオフレームの単一のレイヤを処理するように構成され得る。更に、ビデオデコーダ３０は、本開示の技法のいずれか又は全てを実行するように構成され得る。幾つかの例では、本開示で説明する技法は、ビデオデコーダ３０の様々な構成要素の間で共有され得る。幾つかの例では、追加又は代替として、プロセッサ（図示せず）が、本開示で説明する技法のいずれか又は全てを実行するように構成され得る
[0115]説明の目的で、本開示は、ＨＥＶＣコード化のコンテキストにおいてビデオデコーダ３０を説明する。しかしながら、本開示の技法は他のコード化規格又は方法に適用可能であり得る。図３Ａに示す例は、シングルレイヤコーデックのためのものである。しかしながら、図３Ｂに関して更に説明するように、ビデオデコーダ３０の一部又は全部は、マルチレイヤコーデックの処理のために複製され得る。

[0116]図３Ａの例では、ビデオデコーダ３０は複数の機能構成要素を含む。ビデオデコーダ３０の機能構成要素は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換ユニット１５６と、再構成ユニット１５８と、フィルタユニット１５９と、復号ピクチャバッファ１６０とを含む。予測処理ユニット１５２は、動き補償ユニット１６２と、イントラ予測ユニット１６４と、レイヤ間予測ユニット１６６とを含む。幾つかの例では、ビデオデコーダ３０は、図２Ａのビデオエンコーダ２０に関して説明された符号化経路とは全般に逆の復号経路を実行し得る。他の例では、ビデオデコーダ３０は、より多いか、より少ないか又は異なる機能構成要素を含み得る。

[0117]ビデオデコーダ３０は、符号化ビデオデータを備えるビットストリームを受信し得る。ビットストリームは、複数のシンタックス要素を含み得る。ビデオデコーダ３０がビットストリームを受信すると、エントロピー復号ユニット１５０は、ビットストリームに対して構文解析動作を実行し得る。ビットストリームに対して構文解析動作を実行した結果として、エントロピー復号ユニット１５０は、ビットストリームからシンタックス要素を抽出し得る。構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、ビットストリーム中のエントロピー符号化シンタックス要素をエントロピー復号し得る。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換ユニット１５６、再構成ユニット１５８及びフィルタユニット１５９は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成する再構成演算を実行し得る。

[0118]上記で説明したように、ビットストリームは、一連のＮＡＬ単位を備え得る。ビットストリームのＮＡＬ単位は、ビデオパラメータセットＮＡＬ単位、シーケンスパラメータセットＮＡＬ単位、ピクチャパラメータセットＮＡＬ単位、ＳＥＩ ＮＡＬ単位などを含み得る。ビットストリームに対して構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、シーケンスパラメータセットＮＡＬ単位からのシーケンスパラメータセット、ピクチャパラメータセットＮＡＬ単位からのピクチャパラメータセット、ＳＥＩ ＮＡＬ単位からのＳＥＩデータなどを抽出しエントロピー復号する構文解析動作を実行し得る。

[0119]更に、ビットストリームのＮＡＬ単位は、コード化スライスＮＡＬ単位を含み得る。ビットストリームに対して構文解析動作を実行することの一部として、エントロピー復号ユニット１５０は、コード化スライスＮＡＬ単位からコード化スライスを抽出しエントロピー復号する構文解析動作を実行し得る。コード化スライスの各々は、スライスヘッダとスライスデータとを含み得る。スライスヘッダは、スライスに関するシンタックス要素を含み得る。スライスヘッダ中のシンタックス要素は、スライスを含むピクチャに関連付けられたピクチャパラメータセットを識別するシンタックス要素を含み得る。エントロピー復号ユニット１５０は、スライスヘッダを復元するために、コード化スライスヘッダ中のシンタックス要素に対してＣＡＢＡＣ復号演算などのエントロピー復号演算を実行し得る。

[0120]コード化スライスＮＡＬ単位からスライスデータを抽出することの一部として、エントロピー復号ユニット１５０は、スライスデータ中のコード化されたＣＵからシンタックス要素を抽出する構文解析動作を実行し得る。抽出されたシンタックス要素は、変換係数ブロックに関連付けられたシンタックス要素を含み得る。エントロピー復号ユニット１５０は、次いで、シンタックス要素のうちの幾つかに対してＣＡＢＡＣ復号演算を実行し得る。

[0121]エントロピー復号ユニット１５０が、区分されていないＣＵに対して構文解析動作を実行した後、ビデオデコーダ３０は、区分されていないＣＵに対して再構成演算を実行し得る。区分されていないＣＵに対して再構成演算を実行するために、ビデオデコーダ３０は、ＣＵの各ＴＵに対して再構成演算を実行し得る。ＣＵの各ＴＵについて再構成演算を実行することによって、ビデオデコーダ３０は、ＣＵに関連付けられた残差ビデオブロックを再構成し得る。

[0122]ＴＵに対して再構成演算を実行することの一部として、逆量子化ユニット１５４は、ＴＵに関連付けられた変換係数ブロックを逆の量子化（inverse quantize）、例えば、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、ＨＥＶＣのために提案された又はＨ．２６４復号規格によって定義された逆量子化処理と同様の方法で、変換係数ブロックを逆量子化し得る。逆量子化ユニット１５４は、量子化の程度を決定し、同様に、逆量子化ユニット１５４が適用すべき逆量子化の程度を決定するために、変換係数ブロックのＣＵに関してビデオエンコーダ２０によって計算される量子化パラメータＱＰを使用し得る。

[0123]逆量子化ユニット１５４が変換係数ブロックを逆量子化した後、逆変換ユニット１５６は、変換係数ブロックに関連付けられたＴＵのための残差ビデオブロックを生成し得る。逆変換ユニット１５６は、ＴＵのための残差ビデオブロックを生成するために、変換係数ブロックに逆変換を適用し得る。例えば、逆変換ユニット１５６は、変換係数ブロックに、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）、逆回転変換、逆方向変換又は別の逆変換を適用し得る。幾つかの例では、逆変換ユニット１５６は、ビデオエンコーダ２０からの信号伝達に基づいて、変換係数ブロックに適用すべき逆変換を決定し得る。そのような例では、逆変換ユニット１５６は、変換係数ブロックに関連付けられたツリーブロックの４分木のルートノードにおいて信号伝達された変換に基づいて、逆変換を決定し得る。他の例では、逆変換ユニット１５６は、ブロックサイズ、コード化モードなど、１つ又は複数のコード化特性から逆変換を推定し得る。幾つかの例では、逆変換ユニット１５６はカスケード逆変換を適用し得る。

[0124]幾つかの例では、動き補償ユニット１６２は、補間フィルタに基づく補間を実行することによって、ＰＵの予測ビデオブロックを改良し得る。サブサンプル精度を有する動き補償のために使用されるべき補間フィルタ用の識別子は、シンタックス要素に含まれ得る。動き補償ユニット１６２は、参照ブロックのサブ整数サンプルについての補間値を計算するために、ＰＵの予測ビデオブロックの生成中にビデオエンコーダ２０によって使用された同じ補間フィルタを使用し得る。動き補償ユニット１６２は、受信されたシンタックス情報に従って、ビデオエンコーダ２０によって使用された補間フィルタを決定し得、予測ビデオブロックを生成するためにその補間フィルタを使用し得る。

[0125]ＰＵが、イントラ予測を使用して符号化される場合、イントラ予測ユニット１６４は、ＰＵのための予測ビデオブロックを生成するためにイントラ予測を実行し得る。例えば、イントラ予測ユニット１６４は、ビットストリーム中のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。ビットストリームは、ＰＵのイントラ予測モードを決定するためにイントラ予測ユニット１６４が使用し得るシンタックス要素を含み得る。

[0126]幾つかの事例では、イントラ予測ユニット１６４が現在ＰＵのイントラ予測モードを決定するために別のＰＵのイントラ予測モードを使用するべきであることを、シンタックス要素が示し得る。例えば、現在ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることが起こり得る。言い換えれば、隣接ＰＵのイントラ予測モードは、現在ＰＵに対して最確モードであり得る。従って、この例では、ビットストリームは、ＰＵのイントラ予測モードが隣接ＰＵのイントラ予測モードと同じであることを示す、小さいシンタックス要素を含み得る。イントラ予測ユニット１６４は、次いで、空間的に隣接するＰＵのビデオブロックに基づいてＰＵのための予測データ（例えば、予測サンプル）を生成するために、イントラ予測モードを使用し得る。

[0127]上記で説明したように、ビデオデコーダ３０もレイヤ間予測ユニット１６６を含み得る。レイヤ間予測ユニット１６６は、ＳＨＶＣにおいて利用可能である１つ又は複数の異なるレイヤ（例えば、ベースレイヤ又は参照レイヤ）を使用して、現在ブロック（例えば、エンハンスメントレイヤ中の現在ブロック）を予測するように構成される。そのような予測は、レイヤ間予測と呼ばれることがある。レイヤ間予測ユニット１６６は、レイヤ間冗長性を低減するための予測方法を利用し、それによって、コード化効率を改善し、計算リ発信源要件を低減する。レイヤ間予測の幾つかの例は、レイヤ間イントラ予測と、レイヤ間動き予測と、レイヤ間残差予測とを含む。レイヤ間イントラ予測は、エンハンスメントレイヤ中の現在ブロックを予測するために、ベースレイヤの中でコロケートされているブロックの再構成を使用する。レイヤ間動き予測は、エンハンスメントレイヤ中の動作を予測するために、ベースレイヤの動き情報を使用する。レイヤ間残差予測は、エンハンスメントレイヤの残差を予測するために、ベースレイヤの残差を使用する。レイヤ間予測方式の各々について、以下でより詳細に説明する。

[0128]再構成ユニット１５８は、ＣＵのビデオブロックを再構成するために、ＣＵのＴＵに関連付けられた残差ビデオブロック及びＣＵのＰＵの予測ビデオブロック、例えば、適用可能なとき、イントラ予測データ又はインター予測データのいずれかを使用し得る。従って、ビデオデコーダ３０は、ビットストリーム中のシンタックス要素に基づいて予測ビデオブロックと残差ビデオブロックとを生成し得、予測ビデオブロックと残差ビデオブロックとに基づいてビデオブロックを生成し得る。

[0129]再構成ユニット１５８がＣＵのビデオブロックを再構成した後、フィルタユニット１５９は、ＣＵに関連したブロック歪みを低減するためにデブロッキング演算を実行し得る。フィルタユニット１５９が、ＣＵに関連したブロック歪み（blocking artifacts）を低減するためにデブロッキング演算を実行した後、ビデオデコーダ３０は、ＣＵのビデオブロックを復号ピクチャバッファ１６０に記憶し得る。復号ピクチャバッファ１６０は、次の動き補償、イントラ予測及び図１Ａ又は図１Ｂの表示装置３２などの表示装置上での提示のために、参照ピクチャを提供し得る。例えば、ビデオデコーダ３０は、復号ピクチャバッファ１６０の中のビデオブロックに基づいて、他のＣＵのＰＵに対して、イントラ予測演算又はインター予測演算を実行し得る。

マルチレイヤデコーダ
[0130]図３Ｂは、本開示で説明する態様による技法を実装し得るマルチレイヤビデオデコーダ３３（単にビデオデコーダ３３とも呼ばれる）の一例を示すブロック図である。ビデオデコーダ３３は、ＳＨＶＣ及びマルチビューコード化の場合など、マルチレイヤビデオフレームを処理するように構成され得る。更に、ビデオデコーダ３３は、本開示の技法のいずれか又は全てを実行するように構成され得る。

[0131]ビデオデコーダ３３は、ビデオデコーダ３０Ａとビデオデコーダ３０Ｂとを含み、それらの各々はビデオデコーダ３０として構成され得、ビデオデコーダ３０に関して上記で説明した機能を実行し得る。更に、参照番号の再利用によって示されるように、ビデオデコーダ３０Ａ及び３０Ｂは、ビデオデコーダ３０としてのシステム及びサブシステムのうちの少なくとも幾つかを含み得る。ビデオデコーダ３３は、２つのビデオデコーダ３０Ａ及び３０Ｂを含むように示されるが、ビデオデコーダ３３は、そのように限定されず、任意の数のビデオデコーダ３０のレイヤを含み得る。幾つかの実施形態では、ビデオデコーダ３３はアクセス単位中の各ピクチャ又は各フレームのためのビデオデコーダ３０を含み得る。例えば、５つのピクチャを含むアクセス単位は、５つのデコーダレイヤを含むビデオデコーダによって処理又は復号され得る。幾つかの実施形態では、ビデオデコーダ３３は、アクセス単位中のフレームよりも多くのデコーダレイヤを含み得る。幾つかのそのような場合では、ビデオデコーダのレイヤのうちの幾つかは、幾つかのアクセス単位を処理するときに非アクティブであり得る。

[0132]ビデオデコーダ３０Ａ及び３０Ｂに加えて、ビデオデコーダ３３は、アップサンプリングユニット９２を含み得る。幾つかの実施形態では、アップサンプリングユニット９２は、フレーム又はアクセス単位のための参照ピクチャリストに追加されるべきエンハンストレイヤを作成するために、受信されたビデオフレームのＢＬをアップサンプリングし得る。このエンハンストレイヤは、復号ピクチャバッファ１６０に記憶され得る。幾つかの実施形態では、アップサンプリングユニット９２は、図２Ａのリサンプリングユニット９０に関して説明した実施形態の一部又は全部を含むことができる。幾つかの実施形態では、アップサンプリングユニット９２は、レイヤをアップサンプリングし、スライス境界ルール及び／又はラスタ走査ルールのセットに準拠するように、１つ又は複数のスライスを再編成、再定義、修正又は調整するように構成される。場合によっては、アップサンプリングユニット９２は、受信されたビデオフレームのレイヤをアップサンプリング及び／又はダウンサンプリングするように構成されたリサンプリングユニットであり得る。

[0133]アップサンプリングユニット９２は、下位レイヤデコーダ（例えば、ビデオデコーダ３０Ａ）の復号ピクチャバッファ１６０からピクチャ又はフレーム（又はピクチャに関連付けられたピクチャ情報）を受信し、ピクチャ（又は受信されたピクチャ情報）をアップサンプリングするように構成され得る。このアップサンプリングされたピクチャは、次いで、下位レイヤデコーダと同じアクセス単位中のピクチャを復号するように構成された、上位レイヤデコーダ（例えば、ビデオデコーダ３０Ｂ）の予測処理ユニット１５２に供給され得る。場合によっては、上位レイヤデコーダは、下位レイヤデコーダから除去された１つのレイヤである。他の場合には、図３Ｂのレイヤ０デコーダとレイヤ１デコーダとの間に、１つ又は複数の上位レイヤデコーダがあり得る。

[0134]場合によっては、アップサンプリングユニット９２は、省略又はバイパスされ得る。そのような場合、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０からのピクチャは、直接又は少なくともアップサンプリングユニット９２に供給されずに、ビデオデコーダ３０Ｂの予測処理ユニット１５２に供給され得る。例えば、ビデオデコーダ３０Ｂに供給されたビデオデータ及びビデオデコーダ３０Ａの復号ピクチャバッファ１６０からの参照ピクチャが、同じサイズ又は解像度である場合、参照ピクチャは、アップサンプリングを伴わずにビデオデコーダ３０Ｂに供給され得る。更に、幾つかの実施形態では、アップサンプリングユニット９２は、ビデオデコーダ３０Ａの復号ピクチャバッファ１６０から受信された参照ピクチャを、アップサンプリング又はダウンサンプリングするように構成されたリサンプリングユニット９０であり得る。

[0135]図３Ｂに示すように、ビデオデコーダ３３は、デマルチプレクサ９９、即ちｄｅｍｕｘを更に含み得る。ｄｅｍｕｘ９９は、符号化ビデオビットストリームを複数のビットストリームに分割することができ、ｄｅｍｕｘ９９によって出力された各ビットストリームは、異なるビデオデコーダ３０Ａ及び３０Ｂに供給される。複数のビットストリームは、ビットストリームを受信することによって作成され得、ビデオデコーダ３０Ａ及び３０Ｂの各々は、所与の時間においてビットストリームの一部分を受信する。場合によっては、ｄｅｍｕｘ９９において受信されるビットストリームからのビットは、ビデオデコーダの各々（例えば、図３Ｂの例ではビデオデコーダ３０Ａ及び３０Ｂ）の間で、一度に１ビットずつ交替され得るが、多くの場合、ビットストリームは別様に分割される。例えば、ビットストリームは、一度に１ブロックずつビットストリームを受信するビデオデコーダを交替することによって分割され得る。別の例では、ビットストリームは、非１：１比のブロックによって、ビデオデコーダ３０Ａ及び３０Ｂの各々に分割され得る。例えば、２つのブロックは、ビデオデコーダ３０Ａに供給される各ブロックについてビデオデコーダ３０Ｂに供給され得る。幾つかの実施形態では、ｄｅｍｕｘ９９によるビットストリームの分割は、プリプログラムされ得る。他の実施形態では、ｄｅｍｕｘ９９は、宛先機器１４を含む宛先機器上のプロセッサからなど、ビデオデコーダ３３の外部のシステムから受信された制御信号に基づいてビットストリームを分割し得る。制御信号は、入力インターフェース２８からのビデオの解像度又はビットレートに基づいて、リンク１６の帯域幅に基づいて、ユーザに関連付けられたサブスクリプション（例えば、有料サブスクリプション対無料サブスクリプション）に基づいて又はビデオデコーダ３３によって取得可能な解像度を決定するための他のファクタに基づいて生成され得る。

ビットストリーム適合制約
[0136]ビデオコード化規格は、そのような規格に適合するビットストリームが従うべきビットストリーム適合制約を規定し得る。言い換えれば、規格に適合するビットストリーム（例えば、適合ビットストリーム）を有するために、ビットストリームは、規格によって規定された全てのビットストリーム適合制約を満たす必要がある。幾つかのビデオコード化規格では、適合ビットストリームは、エンコーダの出力に概念的に接続されている仮想デコーダによって復号されるべきと言われる。そのような仮想デコーダは、デコーダバッファ、デコーダ及び／又は表示ユニットからなり得る。この仮想デコーダは、既存のコード化方式（例えば、Ｈ．２６４、ＨＥＶＣなど）において仮想参照デコーダ（ＨＲＤ）と呼ばれることがある。所与の規格のビットストリーム適合制約は、所与の規格に適合する任意のデコーダによって正しく復号され得るビットストリームをエンコーダが生成することを確実にする。

[0137]ビットストリーム適合制約は、特定のビットストリームが規格に適合するかどうかをテストすることを望む任意のエンティティによって使用され得る。例えば、そのようなエンティティは、エンコーダ側であってよく（例えば、ビットストリームが規格に適合しない場合、ビットストリームが適合デコーダによって正しく復号可能でないことがあるので、コンテンツプロバイダは、生成され送り出されたビットストリームが確かに規格に適合することを確認しようと望むことがある）又はデコーダ側であってよく（例えば、規格に適合する全てのビットストリームをデコーダが復号できない限り、デコーダは適合デコーダであると言われ得ないので、デコーダ又はデコーダ側のエンティティが、所与の規格によって規定された１つ又は複数のビットストリーム適合制約を所与のビットストリームが満たしているかどうかをテストすることが望ましい場合がある）、又はネットワークエンティティであってもよい（例えば、ネットワークボックスエンティティはビットストリームを受信し得、ビットストリーム適合制約が有効であることを検査することによってビットストリームが適合ビットストリームであることを確認した後のみ、それを他のエンティティへ転送し得る）。

ビットストリームパーティション
[0138]上記で説明したように、ビットストリームは、２つ以上のビデオレイヤ（例えば、ＢＬ、ＥＬなど）を含み得る。幾つかの実装形態では、ビットストリームは、複数のビットストリームパーティションに分割されてよく、ここで、各ビットストリームパーティションは、ビットストリームの中の少なくとも１つのビデオレイヤを含む。例えば、ビットストリームがレイヤＡ、Ｂ及びＣを有する場合、ビットストリームはパーティションＸ及びＹに分割されてよく、ここで、パーティションＸはレイヤＡ及びＢを含み、パーティションＹはレイヤＣを含む。ビデオレイヤが１つ又は複数のビットストリームパーティションに分割される方法は、区分方式と呼ばれることがある。例えば、エンコーダは、ビットストリームに対して（例えば、各区分方式に関連するパラメータを規定することによって）１つ又は複数の区分方式を規定し得る。幾つかの実施形態では、ビットストリームは、少なくとも２つのビットストリームパーティションを含み得る。

[0139]同様に、ビットストリームは、複数のアクセス単位（ＡＵ）を含み得、ここで、各ＡＵは、同じ出力時間インスタンスに対応する、ビットストリームの中のピクチャを含む。ビットストリームが１つ又は複数のビットストリームパーティションを含む場合、単一のビットストリームパーティションに属するＡＵの部分（例えば、ピクチャのセット）は、パーティション単位と呼ばれることがある。言い換えれば、パーティション単位は、ＡＵのサブセットであり得、ここで、パーティション単位は、同じ出力時間インスタンスに対応する、ビットストリームパーティションのピクチャを含む。幾つかの実装形態では、パーティション単位は、ビットストリームパーティションの中に含まれるレイヤに属するＡＵのビデオコード化レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）単位と、それらの関連する非ＶＣＬ ＮＡＬ単位とを含む。例えば、ＮＡＬ単位は、ローバイトシーケンスペイロード（ＲＢＳＰ）とＮＡＬ単位ヘッダとを含む、トランスポートの単位であり得る。

ビットストリームパーティションのトランスポート
[0140]幾つかの既存のコード化方式では、ビットストリーム全体が、単一のパイプラインの中で一緒にトランスポートされる。ビットストリームの中のピクチャは、コード化ピクチャバッファ（ＣＰＢ）に記憶され、デコーダへ出力され、復号ピクチャバッファ（ＤＰＢ）に記憶される。

[0141]ビットストリームを複数のビットストリームパーティションに区分することは、得られたビットストリームパーティションが単一のビットストリームの中で一緒にトランスポートされる必要がなく独立にトランスポートされ得るコード化フレキシビリティをもたらすことができる。例えば、上記の例におけるレイヤＡ及びＢは、レイヤＣがトランスポートされるビットストリームとは異なるビットストリームの中でトランスポートされてよい。しかしながら、幾つかのビットストリーム適合制約は、同じ出力時間インスタンスに対応する、ビットストリーム全体（例えば、レイヤＡ、Ｂ及びＣ）の中の全てのピクチャを含むアクセス単位を指す。ビットストリームに属する全てのビットストリームパーティションが一緒にトランスポートされるとは限らない場合、そのようなビットストリームは、無意味又は不適当になり得る。例えば、ビットストリームの中のビデオレイヤのうちの幾つかが別個又は独立にトランスポートされるとき、ビットストリーム全体（又は、ＡＵ全体）がもはや一緒に又は単一のビットストリームの中で受信されないので、その中に含まれるビットストリーム全体又はアクセス単位全体に対してピクチャレート、到達時間などのパラメータを規定することはもはや適切であり得ない。確かに、１つ又は複数のビットストリームパーティションが異なるビットストリームパーティションバッファ（ＢＰＢ）へ送られることがあり、ビットストリームパーティションは、単一のデコーダによって一緒に復号されるか又は複数のデコーダによって別個に復号されることがある。従って、そのような実施形態では、これらのビットストリーム適合パラメータは、各ビットストリームパーティション又はそれに含まれる各パーティション単位に対して規定されるべきである。

[0142]２つのビットストリームパーティションを含む例示的なビットストリームが図４に示される。図４のビットストリーム４００は、レイヤ４０２、４０４及び４０６を含む。レイヤ４０２及び４０４はビットストリームパーティション４１０に属し、レイヤ４０６はビットストリームパーティション４２０に属する。レイヤ４０２及び４０４は復号システム４４０のＢＰＢ４４２Ａへ送られ、レイヤ４０６は復号システム４４０のＢＰＢ４４２Ｂへ送られる。ピクチャは、ＢＰＢ４４２Ａ及び４４２Ｂからデコーダ４４４へ出力され、デコーダ４４４によって復号される。複数のＢＰＢ４４２Ａ及び４４２Ｂを含む復号システム４４０及び単一のデコーダ４４４が図４の例に示されるが、単一のＢＰＢと単一のデコーダとを含む復号システム及び複数のＢＰＢと複数のデコーダとを含む復号システムなどの、他の構成が可能である。幾つかの実装形態では、デコーダは、どのレイヤがデコーダによって処理されるべきかを定義する変数を決定し得る。例えば、（ｉ）どのレイヤが復号及び出力されるべきかを規定するターゲット出力レイヤセットインデックス、（ｉｉ）時間サブレイヤがいくつ復号されるべきかを規定し、事実上、出力ピクチャのフレームレートを規定する最大時間ＩＤが、デコーダに提供され得るか、又はそうでなければデコーダによって決定され得る。これらの変数及び利用可能なリ発信源に基づいて、デコーダは、エンコーダによって定義された区分方式のうちの１つの下で提供される特定のビットストリームパーティションを要求し得る。

[0143]幾つかの実装形態では、ビットストリームは、復号されるためにピクチャがＣＰＢからその時点で除去されるべき除去時間を規定するパラメータを含み得る。そのようなパラメータは、パーティション単位を指すように修正されず（代わりに、ビットストリームの中のＡＵに対して規定される）、異なるＢＰＢを介して別個にトランスポートされるとともに異なるデコーダによって復号されるべき複数のパーティションをビットストリームが含む場合、パラメータによって規定される値は、もはや意味をなし得ないか又は準最適であり得る（例えば、除去時間は、幾つかのピクチャに対して遅延されるようにメイする）。従って、そのようなパラメータは、単一のパーティション単位の中のピクチャが一緒にトランスポートされる場合、アクセス単位ではなくパーティション単位を指すように修正されるべきである。

例示的なビットストリームパラメータ処理
[0144]図５を参照しながら、ビットストリームパーティションに関連するパラメータを処理するための例示的なルーチンが説明される。図５は、本開示の一実施形態による、ビデオ情報をコード化するための方法５００を示すフローチャートである。方法５００は、エンコーダ（例えば、図２Ａ又は図２Ｂに示すようなビデオエンコーダ）、デコーダ（例えば、図３Ａ又は図３Ｂに示すようなビデオデコーダ）又は任意の他の構成要素によって実行され得る。便宜上、方法５００は、エンコーダ、デコーダ又は別の構成要素であり得る、コーダによって実行されるものとして説明される。

[0145]方法５００は、ブロック５０１において開始する。ブロック５０５において、コーダは、ビットストリームの中の複数のビットストリームパーティションのうちの１つのビットストリームパーティションに関連するビットストリーム適合パラメータを処理する。ビットストリーム適合パラメータは、ビットストリームパーティションに適用可能であってよいが、ビットストリームパーティションによって包含されない、ビットストリームの別の部分（例えば、ビットストリームパーティションに属さない、ビットストリームの中の他のレイヤ）に適用可能でなくてよい。例えば、そのようなパラメータは、ビットストリームパーティションの中の１つ又は複数のピクチャに関するタイミング情報（例えば、ビットストリームパーティションの中のピクチャが復号システムによっていつ受信されるのか、ＢＰＢに記憶されたピクチャが復号されるためにいつ出力されるべきかなど）に関係し得る。別の例では、パラメータは、ビットストリームパーティションの中の又はビットストリームパーティションの単一のパーティション単位の中の、全てのピクチャに共通の幾つかの特性を規定し得る。パラメータはまた、特定のパーティション単位に適用可能なビットストリーム適合制約を表し得る。特定のパーティション単位は、ビットストリームパーティションの中に含まれるビデオレイヤに属するＡＵのＶＣＬ ＮＡＬ単位と、ＶＣＬ ＮＡＬ単位に関連する他の非ＶＣＬ ＮＡＬ単位とを含み得る。

[0146]幾つかの実施形態では、ビットストリームは、ビットストリームの中の複数のＮＡＬ単位を含むアクセス単位と、ビットストリームパーティションに属するアクセス単位の複数のＮＡＬ単位のサブセットを含むパーティション単位とを含み得る。ビットストリーム適合パラメータは、パーティション単位に関連し得、ビットストリーム適合パラメータは、パーティション単位の複数のＮＡＬ単位のサブセットに適用可能であってよいが、パーティション単位によって包含されない、アクセス単位の他のＮＡＬ単位（例えば、他のビットストリームパーティションに属する他のレイヤの一部であるＮＡＬ単位）に適用可能でなくてよい。ビットストリーム適合パラメータは、パーティション単位に関連する、ビットストリームの中の復号単位の数を規定し得、ここで、ビットストリーム適合パラメータによって規定される復号単位の数は、単一のピクチャの中に収まることができる復号単位の最大数を上回る。復号単位の最小サイズは、コード化ツリーブロック（ＣＴＢ）であってよい。幾つかの実施形態では、ビットストリーム適合パラメータによって規定される復号単位の数は、パーティション単位の中に収まることができるＣＴＢの最大数に等しい最大値を上回らないことがある。ブロック５１０において、コーダは、ビットストリームの中のビットストリームパーティションに関連するシンタックス要素をコード化（例えば、符号化又は復号）する。方法５００は、５１５において終了する。

[0147]上記で説明したように、図２Ａのビデオエンコーダ２０、図２Ｂのビデオエンコーダ２３、図３Ａのビデオデコーダ３０又は図３Ｂのビデオデコーダ３３の１つ又は複数の構成要素は、ビットストリームの中の複数のビットストリームパーティションのうちの１つのビットストリームパーティションに関連するビットストリーム適合パラメータを処理すること、ビットストリームの中のビットストリームパーティションに関連するシンタックス要素をコード化することなどの、本開示で説明する技法のいずれかを実施するために使用され得る。

復号単位
[0148]幾つかの実装形態では、ビットストリームは、複数の復号単位に分割され、ここで、各復号単位は、ＡＵ全体又はＡＵの中の連続したＶＣＬ ＮＡＬ単位のセットのいずれか及びそれらの関連する非ＶＣＬ ＮＡＬ単位として定義される。２つの隣接するレイヤ（例えば、連続したレイヤＩＤを有するレイヤ）を異なるビットストリームパーティションの中に配置する区分方式の下で、ＡＵ全体に広がる所与の復号単位は、所与の復号単位に含まれるＶＣＬ ＮＡＬ単位を含む任意のビットストリームパーティションに対して、ビットストリームパーティションがどのようにトランスポートされるべきか（例えば、それらが別個にトランスポートされてよいかどうか又はそれらが一緒にトランスポートされる必要があるかどうか）に関するあいまいさを持ち込む場合がある。

[0149]幾つかの実施形態では、この明瞭性問題を解決するために、復号単位は、ＡＵ全体又はそのサブセットのいずれかとして定義され得、ここで、ＡＵ又はそのサブセットは、単一のビットストリームパーティションに属するＶＣＬ ＮＡＬ単位と、そのようなＶＬＣ ＮＡＬ単位に関連する非ＶＣＬ ＮＡＬ単位とを含む。

[0150]幾つかの実装形態では、各ＡＵは単一のコード化ピクチャを含み、復号プロセスはピクチャごとに実行される。他の実装形態では、各ピクチャは複数の復号単位を含み、デコーダは、コード化ピクチャ全体が受信されるのを待つことなく、復号単位が受信されるとすぐにそれらを復号し、それによって、低減された待ち時間が達成される。そのような実装形態は、超低遅延モデルと呼ばれることがある。しかしながら、ビットストリームパーティションが独立又は別個にトランスポートされ得るとき、複数のビットストリームパーティションを包含する復号単位は、復号単位の一部分が、異なるビットストリームの中で別個にトランスポートされるか又は異なる復号システムへトランスポートされる場合、直ちに復号され得ないことがある。従って、復号単位が複数のビットストリームパーティションにまたがることができないことを規定するビットストリーム適合制約を与えること又はそれらが複数のビットストリームパーティションにまたがらないような復号単位を定義することが有益であり得る。

復号単位の最大数
[0151]幾つかの実装形態では、ＳＥＩメッセージがビットストリームに関する幾つかの追加情報を提供し得、そのうちの幾つかは随意であり得る。そのようなＳＥＩメッセージのうちの幾つかは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、復号単位情報ＳＥＩメッセージなどの、ビットストリーム適合制約を提供し得、それらはビットストリームが所与の規格（例えば、ＳＨＶＣ）に適合するか否かを決定するために存在することが必要とされる場合がある。例えば、ピクチャタイミングＳＥＩメッセージは、単一のＡＵの中に存在し得る復号単位の数を規定し得る。例えば、ビットストリームが単一のレイヤを有する事例では、レイヤの中の各ピクチャが６４０画素×６４０画素としてのサイズを有し、個別に復号可能な最小単位である各コード化ツリーブロック（ＣＴＢ）が６４画素×６４画素としてのサイズを有する場合、任意のＡＵの中の復号単位の最大数は１０＊１０＝１００であり得る。従って、単一のＡＵの中の復号単位の数を示す、ピクチャタイミングＳＥＩメッセージの中で規定される値は、両端値を含む１〜（ＣＴＢの中のピクチャサイズ）としての範囲の中にあるように制約され得る。言い換えれば、ピクチャタイミングＳＥＩメッセージが、この範囲の外側である、単一のＡＵの中の復号単位の数に対する値を規定する場合、ピクチャタイミングＳＥＩメッセージを含むビットストリームは、特定の規格（例えば、ＳＨＶＣ）に適合しないものと決定されてよい。

[0152]しかしながら、マルチレイヤ事例では、ＡＵ（又は、ビットストリームがビットストリームパーティションに分割される場合にはパーティション単位）は、２つ以上のピクチャを含み得、その結果として、各ＡＵは、各ＡＵが単一のピクチャを含むという仮定に基づいて最大値が計算された、より多くの復号単位を含み得る。従って、ピクチャタイミングＳＥＩメッセージの中で与えられる制約は、（ＳＥＩメッセージがＡＵに関連する場合）単一のＡＵの中の復号単位の数を示す変数の値が、１から（ＡＵの中の全てのピクチャの内部に収まることができるＣＴＢの数）までの範囲の中にあるべきことを規定するように修正されるべきである。同様に、ピクチャタイミングＳＥＩメッセージの中で与えられる制約は、（ＳＥＩメッセージがパーティション単位に関連する場合）単一のパーティション単位の中の復号単位の数を示す変数の値が、１から（パーティション単位の中の全てのピクチャの内部に収まることができるＣＴＢの数）までの範囲の中にあるべきことを規定するように修正されるべきである。上記の例では、パーティション単位が２つのピクチャを含む場合、適合ビットストリームの中のピクチャタイミングＳＥＩメッセージによって規定され得る復号単位の最大数は２００であることになる。

ビットレート及び時間ＩＤに基づく制約
[0153]幾つかの実装形態では、ビットストリームが固定されたビットレートで到達する固定ビットレートＣＰＢモデルが使用される。他の実装形態では、ビットストリームが可変ビットレートで到達する可変ビットレートＣＰＢモデルが使用される。例えば、可変ビットレートＣＰＢモデルを使用するそのような実装形態では、ビットストリームがデコーダ側において受信されるレートは、ある時間期間の間は一定であり得及び／又は、更に別の時間期間の間は０になり得る。

[0154]幾つかの既存のコード化方式では、ビットストリーム適合制約は、特定の復号単位の復号単位ＣＰＢ除去時間の値が、特定の復号単位に復号順序において先行する全ての復号単位の復号単位ＣＰＢ除去時間よりも大きいことを規定する。そのようなコード化方式は、固定ビットレートＣＰＢモデルを使用する実装形態のみにおいてビットストリーム適合制約を適用し得る。しかしながら、そのようなビットストリーム適合制約は、復号単位が適切な復号順序で復号されることを確実にし得る。従って、そのようなビットストリーム適合制約は、可変ビットレートＣＰＢモデルを使用する実装形態に拡張されるべきである。

[0155]幾つかの既存のコード化方式では、そのようなビットストリーム適合制約は、最低ビットストリームパーティション内の復号単位に適用されない。最低ビットストリームパーティションは、ビットストリームのベースレイヤを含む及び／又は最低レイヤＩＤを有するビデオレイヤを含む、ビットストリームパーティションであり得る。同様に、そのようなビットストリーム適合制約が、最低ビットストリームパーティション内の復号単位に適用されるべきである。

イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャ
[0156]幾つかのビデオコード化方式は、ビットストリームが、ビットストリームの中のそれらのランダムアクセスポイントに先行するいかなるピクチャも復号する必要なく、それらのランダムアクセスポイントのいずれかから始めて復号され得るような、様々なランダムアクセスポイントをビットストリーム全体にわたって提供し得る。そのようなビデオコード化方式では、出力順序においてランダムアクセスポイントに追従する全てのピクチャ（例えば、ランダムアクセスポイントを提供するピクチャと同じアクセス単位の中にあるピクチャを含む）は、ランダムアクセスポイントに先行するいかなるピクチャも使用することなく正しく復号され得る。例えば、ビットストリームの一部分が送信の間又は復号の間に失われても、デコーダは、次のランダムアクセスポイントから始めてビットストリームの復号を再開することができる。ランダムアクセスのサポートは、例えば、動的なストリーミングサービス、シーク動作、チャネル切替えなどを容易にし得る。

[0157]幾つかのコード化方式では、そのようなランダムアクセスポイントは、イントラランダムアクセスポイント（ＩＲＡＰ）ピクチャと呼ばれるピクチャによって提供され得る。例えば、ｌａｙｅｒＢの中にあり復号順序においてａｕＡに先行するアクセス単位（「ａｕＢ」）の中に含まれるランダムアクセスポイント（又は、ａｕＡの中に含まれるランダムアクセスポイント）を有するｌａｙｅｒＡの各参照レイヤ（「ｌａｙｅｒＢ」）（例えば、ｌａｙｅｒＡを予測するために使用されるレイヤである参照レイヤ）に関して出力順序においてａｕＢに追従するｌａｙｅｒＡの中のピクチャ（ａｕＢの中に位置するそれらのピクチャを含む）が、ａｕＢに先行するｌａｙｅｒＡの中のいかなるピクチャも復号する必要なく正しく復号可能であるように、アクセス単位（「ａｕＡ」）の中に含まれるエンハンスメントレイヤ（「ｌａｙｅｒＡ」）の中のランダムアクセスポイント（例えば、エンハンスメントレイヤＩＲＡＰピクチャによって提供される）は、レイヤ特有のランダムアクセスを提供し得る。

[0158]ＩＲＡＰピクチャは、イントラ予測（例えば、他のピクチャを参照することなしにコード化される）及び／又はレイヤ間予測を使用してコード化され得、例えば、瞬時デコーダリフレッシュ（ＩＤＲ）ピクチャと、クリーンランダムアクセス（ＣＲＡ）ピクチャと、ブロークンリンクアクセス（ＢＬＡ）ピクチャとを含み得る。ビットストリームの中にＩＤＲピクチャがあるとき、復号順序においてＩＤＲピクチャに先行する全てのピクチャは、ＩＤＲピクチャに追従するピクチャによる予測のために使用されない。ビットストリームの中にＣＲＡピクチャがあるとき、ＣＲＡピクチャに追従するピクチャは、復号順序においてＣＲＡピクチャに先行するピクチャを予測のために使用してよく又は使用しなくてもよい。復号順序においてＣＲＡピクチャに追従するが、復号順序においてＣＲＡピクチャに先行するピクチャを使用するそれらのピクチャは、ランダムアクセススキップド進み（ＲＡＳＬ：random access skipped leading）ピクチャと呼ばれることがある。復号順序においてＩＲＡＰピクチャに追従するとともに出力順序においてＩＲＡＰピクチャに先行することができる別のタイプのピクチャは、復号順序においてＩＲＡＰピクチャに先行するいかなるピクチャへの参照も含まないことがあるランダムアクセス復号可能進み（ＲＡＤＬ：random access decodable leading）ピクチャである。ＣＲＡピクチャに先行するピクチャが利用可能でない場合、ＲＡＳＬピクチャはデコーダによって廃棄されてよい。ＢＬＡピクチャは、（例えば、２つのビットストリームが互いに接合され、ＢＬＡピクチャが復号順序において第２のビットストリームの最初のピクチャであるので）ＢＬＡピクチャに先行するピクチャがデコーダにとって利用可能でない場合があることを、デコーダに示す。ＩＲＡＰピクチャであるベースレイヤのピクチャ（例えば、０としてのレイヤＩＤ値を有する）を含むアクセス単位（例えば、複数のレイヤにわたって同じ出力時間に関連付けられた全てのコード化ピクチャからなるピクチャのグループ）は、ＩＲＡＰアクセス単位と呼ばれることがある。

ＩＲＡＰピクチャのクロスレイヤアライメント
[0159]スケーラブルビデオコード化の幾つかの実装形態では、ＩＲＡＰピクチャは、異なるレイヤにわたって位置合わせされる（例えば、同じアクセス単位に含まれる）ことを必要とされない場合がある。例えば、ＩＲＡＰピクチャが位置合わせを必要とされるのであれば、少なくとも１つのＩＲＡＰピクチャを含むいかなるアクセス単位もＩＲＡＰピクチャのみを含むはずである。一方、ＩＲＡＰピクチャが位置合わせを必要とされないのであれば、単一のアクセス単位の中で、１つのピクチャ（例えば、第１のレイヤの中の）がＩＲＡＰピクチャであってよく、別のピクチャ（例えば、第２のレイヤの中の）が非ＩＲＡＰピクチャであってよい。ビットストリームの中にそのような非整合ＩＲＡＰピクチャを有することは、幾つかの利点をもたらすことがある。例えば、２レイヤビットストリームの中で、エンハンスメントレイヤの中よりも多くのＩＲＡＰピクチャがベースレイヤの中にある場合、ブロードキャスト及びマルチキャストの適用例において、小さい同調遅延及び高いコード化効率が達成され得る。

接合点を含むビットストリーム
[0160]図６を参照しながら、接合点を有する例示的なビットストリームが説明される。図６は、ビットストリーム６１０及び６２０を接合することによって作り出されたマルチレイヤビットストリーム６００を示す。ビットストリーム６１０は、エンハンスメントレイヤ（ＥＬ）６１０Ａとベースレイヤ（ＢＬ）６１０Ｂとを含み、ビットストリーム６２０は、ＥＬ６２０ＡとＢＬ６２０Ｂとを含む。ＥＬ６１０ＡはＥＬピクチャ６１２Ａを含み、ＢＬ６１０ＢはＢＬピクチャ６１２Ｂを含む。ＥＬ６２０Ａは、ＥＬピクチャ６２２Ａ、６２４Ａ及び６２６Ａを含み、ＢＬ６２０Ｂは、ＢＬピクチャ６２２Ｂ、６２４Ｂ及び６２６Ｂを含む。マルチレイヤビットストリーム６００は、アクセス単位（ＡＵ）６３０〜６６０を更に含む。ＡＵ６３０は、ＥＬピクチャ６１２ＡとＢＬピクチャ６１２Ｂとを含み、ＡＵ６４０は、ＥＬピクチャ６２２ＡとＢＬピクチャ６２２Ｂとを含み、ＡＵ６５０は、ＥＬピクチャ６２４ＡとＢＬピクチャ６２４Ｂとを含み、ＡＵ６６０は、ＥＬピクチャ６２６ＡとＢＬピクチャ６２６Ｂとを含む。図６の例では、ＢＬピクチャ６２２ＢはＩＲＡＰピクチャであり、ＡＵ６４０の中の対応するＥＬピクチャ６２２Ａは末尾のピクチャ（例えば、非ＩＲＡＰピクチャ）であり、その結果として、ＡＵ６４０は非整合ＩＲＡＰ ＡＵである。また、ＡＵ６４０が接合点６７０の直後にくるアクセス単位であることに留意されたい。

[0161]図６の例は、２つの異なるビットストリームが互いに接合される事例を示すが、幾つかの実施形態では、ビットストリームの一部分が除去されるときに接合点が存在することがある。例えば、ビットストリームは、部分Ａ、Ｂ及びＣを有し得、部分Ｂは、部分Ａと部分Ｃとの間にある。部分Ｂがビットストリームから除去される場合、残りの部分Ａ及びＣが互いに接合されてよく、それらが互いに接合されている点は接合点と呼ばれることがある。より一般的には、本出願で説明されるような接合点は、１つ又は複数の信号伝達又は導出されたパラメータ又はフラグが所定の値を有するときに存在するとみなされ得る。例えば、接合点が特定のロケーションにおいて存在するという特定の表示を受信することなく、デコーダは、フラグ（例えば、１に設定されている場合、クロスレイヤランダムアクセススキップピクチャが出力されるべきでないことを示し得、０に設定されている場合、クロスレイヤランダムアクセススキップピクチャが出力されるべきであることを示し得る、ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇ）の値を決定し得、フラグの値に基づいて、本出願に記載される１つ又は複数の技法を実行し得る。

ＰＯＣ
[0162]幾つかのビデオコード化方式では、復号ピクチャが出力される相対順序を追跡するためにＰＯＣが使用され得る。この値は極めて大きい数（例えば、３２ビット）であってよく、各スライスヘッダは、スライスに関連するピクチャのＰＯＣを含み得る。従って、幾つかの実装形態では、ＰＯＣの最下位ビット（ＬＳＢ）だけがビットストリームの中で信号伝達され、ＰＯＣの最上位ビット（ＭＳＢ）はＰＯＣ導出プロセスに基づいて計算される。例えば、ビットを節約するために、ＬＳＢがスライスヘッダの中で信号伝達されてよく、ＭＳＢは、現在ピクチャのＮＡＬ単位タイプ及び（ｉ）ＲＡＳＬ又はＲＡＤＬピクチャでなく、（ｉｉ）廃棄可能（例えば、他のピクチャがそれらに依存せず、それによって、帯域幅制約を満たすようにそれらが落とされることを可能にすることを示す「廃棄可能」としてマークされたピクチャ）でなく、（ｉｉｉ）サブレイヤ非参照ピクチャ（例えば、同じ時間サブレイヤ又は同じレイヤの中の他のピクチャによる参照のために使用されないピクチャ）でなく、（ｉｖ）０に等しい時間ＩＤ（例えば、時間サブレイヤＩＤ）値を有する、１つ又は複数の復号順序における前のピクチャのＭＳＢ及びＬＳＢに基づいて、エンコーダ又はデコーダによって計算され得る。

[0163]ＬＳＢだけがビットストリームの中で提供される事例では、ＤＰＢの中のいかなる復号ピクチャのＰＯＣ値もＭＳＢの単位値即ち「サイクル」よりも大きく分離されないことを確実にするように、ビットストリーム適合制約が与えられ得る。例えば、ＤＰＢが１及び２５７としてのＰＯＣ値を有するピクチャを含む場合、それぞれ、ＬＳＢが８ビットで表されると、一方が他方にそれらのＰＯＣ値に基づく出力順序において先行するべきときに２つのピクチャが同じＬＳＢ値（例えば、１）を有するという思い違いをさせることがある。従って、幾つかの実施形態では、ビットストリーム適合制約は、ＤＰＢの中のいかなる２つのピクチャも、２で除算されたサイクル長よりも大きく異なるＰＯＣ値を有してはならないことを規定し得る。例えば、そのようなピクチャは、（ｉ）現在ピクチャ、（ｉｉ）０に等しいＴｅｍｐｏｒａｌＩｄ値を有するとともにＲＡＳＬピクチャ、ＲＡＤＬピクチャ又はサブレイヤ非参照ピクチャでない復号順序における前のピクチャ、（ｉｉｉ）現在ピクチャのＲＰＳの中の短期参照ピクチャ及び（ｉｖ）１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇ値を有するとともに現在ピクチャに復号順序において先行するピクチャを含み得る。マルチレイヤ事例の場合、このビットストリーム適合制約は、各サブＤＰＢに適用される。例えば、ＤＰＢは複数のサブＤＰＢを含んでよく、各サブＤＰＢは単一のレイヤの中のピクチャを記憶する。そのような事例では、ビットストリーム適合制約は、サブＤＰＢの中の復号ピクチャのＰＯＣ値が、特定の値よりも大きく（サイクル長よりも大きく、又は２で除算されたサイクル長さよりも大きく）分離されるべきでないことを規定するように修正されるべきである。

[0164]幾つかの実施形態では、制約は、単一のＣＶＳに制限される（例えば、複数のＣＶＳにわたって適用されない）。幾つかの実施形態では、制約は、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ値を有するＩＲＡＰピクチャであるか、又は０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するとともに１に等しいＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇ値を有するＩＲＡＰピクチャに後続する０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する現在レイヤの最初のピクチャである、現在ピクチャにわたって適用されない。言い換えれば、現在ピクチャが、（ｉ）１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ値を有するＩＲＡＰピクチャでないこと、又は（ｉｉ）０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するとともに１に等しいＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇ値を有するＩＲＡＰピクチャに後続する０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する現在レイヤの最初のピクチャでないことを、コーダが決定する場合のみ、各サブＤＰＢに適用されるような上のリストのピクチャの最大ＰＯＣ値と最小ＰＯＣ値との間の差分は、ＭａｘＰｉｃＯｒｄｅｒＣｎｔＬｓｂ／２よりも小さくなるように制約される。条件が満たされていないとコーダが決定する場合、コーダは、ビットストリーム適合制約を検査することを控えてよい。代替として、現在ピクチャが、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ値を有するＩＲＡＰピクチャでなくＰＯＣ ＭＳＢ値が信号伝達されないか又は０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するとともに１に等しいＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇ値を有するＩＲＡＰピクチャに後続する０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有する現在レイヤの最初のピクチャでないときのみ、上記のビットストリーム適合制約が適用されてよい。

例示的なＤＰＢ ＰＯＣ値の処理
[0165]図７を参照しながら、ビットストリーム適合制約が満たされているかどうかを決定するための例示的なルーチンが説明される。図７は、本開示の一実施形態による、ビデオ情報をコード化するための方法７００を示すフローチャートである。図７に示すステップは、エンコーダ（例えば、図２Ａ又は図２Ｂに示すようなビデオエンコーダ）、デコーダ（例えば、図３Ａ又は図３Ｂに示すようなビデオデコーダ）又は任意の他の構成要素によって実行され得る。便宜上、方法７００は、エンコーダ、デコーダ又は別の構成要素であり得る、コーダによって実行されるものとして説明される。

[0166]方法７００は、ブロック７０１において開始する。ブロック７０５において、コーダは、現在ＡＵが第１のレイヤに関連する条件を満たしているかどうかを決定する。例えば、コーダは、現在ＡＵの中の現在ピクチャが、第１のピクチャに復号順序において後続するが第１のピクチャに復号順序において先行するピクチャを使用する任意のピクチャが出力されるべきでないことを示すフラグ（例えば、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ値）に関連するＩＲＡＰピクチャであるかどうかを決定することによって、そのような決定を行ってよい。別の例では、コーダは、第２のピクチャに関連するフラグ又はシンタックス要素を処理することによってそのような決定を行ってよく、ここで、第２のピクチャは、最低レイヤＩＤ（例えば、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ値）を有するベースレイヤの中にある。そのような例では、第２のピクチャは、現在ＡＵの直前にくるＡＵの中にあってよい。フラグ又はシンタックス要素は、ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇであってよく、ＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇは、１に設定されている場合、クロスレイヤランダムアクセススキップピクチャが出力されるべきでないことを示し得、０に設定されている場合、クロスレイヤランダムアクセススキップピクチャが出力されるべきであることを示す。そのような例では、フラグ又はシンタックス要素の１としての値は、ピクチャが接合点の直後にくるアクセス単位の中にあることを示し得、フラグ又はシンタックス要素の０としての値は、ピクチャが接合点の直後にくるアクセス単位の中にないことを示し得る。幾つかの実施形態では、フラグ又はシンタックス要素は、（ｉ）第２のピクチャが、ビットストリームの中の最初のピクチャであるかどうか（例えば、ビットストリームの中の他のピクチャの前に現れること）、（ｉｉ）第２のピクチャが、ＳｍａｌｌｅｓｔＬａｙｅｒＩｄ値又は０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有するシーケンスＮＡＬ単位の終わりを含むアクセス単位に、復号順序において後続する最初のアクセス単位に含まれるかどうか、（ｉｉｉ）第２のピクチャが、１に等しいＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇ値を有するＢＬＡピクチャ又はＣＲＡピクチャであるかどうか、又は（ｉｖ）第２のピクチャが、１に等しいｃｒｏｓｓ＿ｌａｙｅｒ＿ｂｌａ＿ｆｌａｇ値を有するＩＤＲピクチャであるかどうか、のうちの１つを示し得る。

[0167]現在ＡＵが条件を満たしていないとコーダが決定する場合、方法７００はブロック７１０に進む。現在ＡＵが条件を満たしているとコーダが決定する場合、方法７００はブロック７１５に進む。ブロック７１０において、コーダは、ＤＰＢの中のピクチャの最高ＰＯＣと最低ＰＯＣとの間の差分が閾値よりも小さいかどうかを決定する。例えば、ピクチャは、（ｉ）現在ピクチャ、（ｉｉ）０に等しいＴｅｍｐｏｒａｌＩｄ値を有するとともにＲＡＳＬピクチャでない復号順序における前のピクチャ、ＲＡＤＬピクチャ又はサブレイヤ非参照ピクチャ、（ｉｉｉ）現在ピクチャのＲＰＳの中の短期参照ピクチャ及び／又は（ｉｖ）１に等しいＰｉｃＯｕｔｐｕｔＦｌａｇ値を有し、現在ピクチャに復号順序において先行し、出力順序において現在ピクチャを継承するピクチャを含み得る。ブロック７１５において、コーダは、ＤＰＢの中のピクチャの最高ＰＯＣと最低ＰＯＣとの間の差分が閾値よりも小さいかどうかを決定することを控える。例えば、ビットストリーム適合制約は、接合点を越えてピクチャに適用されない。別の例では、ビットストリーム適合制約は、１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇ値を有するＩＲＡＰピクチャであるか又は０よりも大きいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するとともに、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ値を有し１に等しいＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇ値を有するＩＲＡＰピクチャに後続する、現在レイヤの最初のピクチャであるピクチャに適用されない。ブロック７２０において、コーダは、ビットストリームの中の現在ＡＵに関連するシンタックス要素をコード化する（例えば、符号化する、又は復号する）。方法７００は、７２５において終了する。

[0168]上記で説明したように、図２Ａのビデオエンコーダ２０、図２Ｂのビデオエンコーダ２３、図３Ａのビデオデコーダ３０又は図３Ｂのビデオデコーダ３３の１つ又は複数の構成要素が、現在ＡＵが条件を満たしているかどうかを決定すること、ＤＰＢの中のピクチャの最高ＰＯＣと最低ＰＯＣとの間の差分が閾値よりも小さいかどうかを決定すること及びビットストリームの中の現在アクセス単位に関連するシンタックス要素をコード化することなどの、本開示で説明する技法のいずれかを実施するために使用され得る。

ＰＯＣリセット
[0169]幾つかの実装形態では、幾つかのタイプのピクチャがビットストリームの中に現れるときはいつでも、ＰＯＣの値はリセットされ得る（例えば、ゼロに設定され得る、ビットストリームの中で信号伝達される何らかの値に設定され得る、又はビットストリームの中に含まれる情報から導出され得る）。例えば、幾つかのランダムアクセスポイントピクチャがビットストリームの中に現れるとき、ＰＯＣはリセットされてよい。特定のピクチャのＰＯＣがリセットされると、復号順序において特定のピクチャに先行するいかなるピクチャのＰＯＣも、例えば、それらのピクチャが出力される、又は表示されるべき相対順序を維持するようにリセットされてよい。また、その各々が特定のＰＯＣ値に関連し得る復号ピクチャは、後でＤＰＢから除去されてよい。

ＰＯＣリセットの例
[0170]図８〜図１１を参照すると、ＰＯＣ値（例えば、ＬＳＢ及びＭＳＢ）をリセットするための例示的なプロセスが説明される。上述されたように、幾つかのコード化方式では、単一のＡＵの中の全てのコード化ピクチャのＰＯＣが同じであるべきであることを、幾つかの適合制約が規定することがある。ＰＯＣ値の適切なリセットを伴わないと、ビットストリームの中の非整合ＩＲＡＰ ＡＵは、そのような適合制約に違反するＰＯＣ値を生み出すことがある。

[0171]図８は、エンハンスメントレイヤ（ＥＬ）８１０とベースレイヤ（ＢＬ）８２０とを含むマルチレイヤビットストリーム８００を示す。ＥＬ８１０はＥＬピクチャ８１２〜８１８を含み、ＢＬはＢＬピクチャ８２２〜８２８を含む。マルチレイヤビットストリーム８００は、アクセス単位（ＡＵ）８３０〜８６０を更に含む。ＡＵ８３０は、ＥＬピクチャ８１２とＢＬピクチャ８２２とを含み、ＡＵ８４０は、ＥＬピクチャ８１４とＢＬピクチャ８２４とを含み、ＡＵ８５０は、ＥＬピクチャ８１６とＢＬピクチャ８２６とを含み、ＡＵ８６０は、ＥＬピクチャ８１８とＢＬピクチャ８２８とを含む。図８の例では、ＥＬピクチャ８１４はＩＤＲピクチャであり、ＡＵ８４０の中の対応するＢＬピクチャ８２４は末尾のピクチャ（例えば、非ＩＲＡＰピクチャ）であり、従って、ＡＵ８４０は非整合ＩＲＡＰ ＡＵである。幾つかの実施形態では、そのピクチャがベースレイヤの中にないＩＤＲピクチャである場合、ＭＳＢリセットが所与のピクチャにおいて実行される。そのようなＩＤＲピクチャは、非ゼロのＰＯＣ ＬＳＢ値を有してよい。

[0172]図９は、図８のマルチレイヤビットストリーム８００に関して信号伝達及び導出され得るＰＯＣ値を示す表９００を示す。図９に示すように、ＥＬ８１０の中のＰＯＣのＭＳＢはＥＬピクチャ８１４においてリセットされるが、ＢＬ８２０の中のＰＯＣのＭＳＢはリセットされない。従って、リセットが非整合ＩＲＡＰ ＡＵ８４０の中のＢＬピクチャ８２４においてＢＬ８２０の中で実行されない場合、ＡＵ８４０〜８６０の中のＢＬピクチャ及びＥＬピクチャのＰＯＣ値は、適合制約によって規定されるように一致（即ち、等しい）しないことになる。リセットあり及びリセットなしのＰＯＣ値の差異が、図９ではボールドで強調されている。

[0173]図１０は、エンハンスメントレイヤ（ＥＬ）１０１０とベースレイヤ（ＢＬ）１０２０とを含むマルチレイヤビットストリーム１０００を示す。ＥＬ１０１０はＥＬピクチャ１０１２〜１０１８を含み、ＢＬはＢＬピクチャ１０２２〜１０２８を含む。マルチレイヤビットストリーム１０００は、アクセス単位（ＡＵ）１０３０〜１０６０を更に含む。ＡＵ１０３０は、ＥＬピクチャ１０１２とＢＬピクチャ１０２２とを含み、ＡＵ１０４０は、ＥＬピクチャ１０１４とＢＬピクチャ１０２４とを含み、ＡＵ１０５０は、ＥＬピクチャ１０１６とＢＬピクチャ１０２６とを含み、ＡＵ１０６０は、ＥＬピクチャ１０１８とＢＬピクチャ１０２８とを含む。図１０の例では、ＢＬピクチャ１０２４はＩＤＲピクチャであり、ＡＵ１０４０の中の対応するＥＬピクチャ１０１４は末尾のピクチャ（例えば、非ＩＲＡＰピクチャ）であり、従って、ＡＵ１０４０は非整合ＩＲＡＰ ＡＵである。幾つかの実施形態では、そのピクチャがベースレイヤの中にあるＩＤＲピクチャである場合、ＭＳＢリセット及びＬＳＢリセットが所与のピクチャに対して実行される。例えば、ビットストリームは、そのようなＢＬ ＩＤＲピクチャのＰＯＣ ＭＳＢ及びＰＯＣ ＬＳＢがリセットされるべきであるという指示を含み得る。或いは、デコーダは、ＰＯＣリセットが実行されるべきであるといういかなる指示もビットストリームの中に伴わず、そのようなＢＬ ＩＤＲピクチャのＰＯＣ ＭＳＢ及びＰＯＣ ＬＳＢのリセットを実行し得る。

[0174]図１１は、図１０のマルチレイヤビットストリーム１０００に関して信号伝達及び導出され得るＰＯＣ値を示す表１１００を示す。図１１に示すように、ＢＬ１０２０の中のＰＯＣのＭＳＢ及びＬＳＢはＢＬピクチャ１０２４においてリセットされるが、ＥＬ１０１０の中のＰＯＣのＭＳＢもＬＳＢもリセットされない。従って、ＰＯＣのＭＳＢ及びＬＳＢのリセットが非整合ＩＲＡＰ ＡＵ１０４０の中のＥＬピクチャ１０１４においてＥＬ１０１０の中で実行されない場合、ＡＵ１０４０〜１０６０の中のＢＬピクチャ及びＥＬピクチャのＰＯＣ値は、適合制約によって規定されるように一致しないことになる。リセットあり及びリセットなしのＰＯＣ値の差分が、図１１ではボールドで強調されている。

[0175]本明細書で説明される実施形態は図８及び図１０に示す例示的なビットストリーム構成に限定されず、本明細書で説明される技法は、任意の数のレイヤと、アクセス単位と、ピクチャとを有する任意のマルチレイヤビットストリームに拡張され得る。また、図８〜図１１に示す例では、ＰＯＣのＬＳＢは７つのビットを使用して表される。しかしながら、本明細書で説明される技法は、ＰＯＣ値表現の任意の形態を有するシナリオに拡張され得る。

ＰＯＣリセット又はＤＰＢからの除去の結果
[0176]幾つかの実装形態では、ビットストリーム適合制約は、コード化ビデオシーケンス（ＣＶＳ）内の２つのピクチャｍ及びｎに対して、ＤｐｂＯｕｔｐｕｔＴｉｍｅ［ｍ］がＤｐｂＯｕｔｐｕｔＴｉｍｅ［ｎ］よりも大きい場合、ピクチャｍのＰｉｃＯｒｄｅｒＣｎｔＶａｌもピクチャｎのＰｉｃＯｒｄｅｒＣｎｔＶａｌよりも大きくなければならないことを規定する。但し、制約をテストするためにピクチャのＰｉｃＯｒｄｅｒＣｎｔＶａｌのどんな値が使用されるべきかを制約が規定しないので、ピクチャｍ又はピクチャｎ若しくは中間のピクチャのＰｉｃＯｒｄｅｒＣｎｔＶａｌがリセットされた場合、そのような制約が満たされるかどうかが不明瞭になる。更に、テストされるべきピクチャのうちの１つがテストする時間においてＤＰＢから除去された場合、どのようにビットストリーム適合制約が満たされるべきなのかが不明瞭であり得る。その上、ＰＯＣチェーンがＣＶＳ境界を越えてさえエンハンスメントレイヤの中で継続することができるので、ＰｉｃＯｒｄｅｒＣｎｔＶａｌの幾つかの制限はコード化ビデオシーケンスにわたってさえ適用可能であるべきである。例えば、所与のＡＵは、ベースレイヤの中のＩＤＲピクチャとエンハンスメントレイヤの中の非ＩＲＡＰピクチャとを含み得る。ベースレイヤの中のＩＤＲピクチャは、ベースレイヤの中のＰＯＣチェーンを分断するが、エンハンスメントレイヤの中の非ＩＲＡＰピクチャは、エンハンスメントレイヤの中のＰＯＣチェーンを分断しない（非ＩＲＡＰピクチャに復号順序において後続する非ＩＲＡＰピクチャ又は他のエンハンスメントレイヤピクチャを予測するために、所与のＡＵに復号順序において先行するエンハンスメントレイヤピクチャを使用することが望ましい場合がある）。

[0177]幾つかの実施形態では、ＤｐｂＯｕｔｐｕｔＴｉｍｅ及びＰｉｃＯｒｄｅｒＣｎｔＶａｌへの制約は次のように更新され得る。１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有しレイヤｌａｙｅｒＡに属するＩＲＡＰピクチャをｐｉｃＡとする。０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び１に等しいＮｏＣｌｒａｓＯｕｔｐｕｔＦｌａｇを有し復号順序においてｐｉｃＡを継承するＩＲＡＰピクチャを含む最初のアクセス単位及びｌａｙｅｒＡの中の１に等しいＮｏＲａｓｌＯｕｔｐｕｔＦｌａｇを有し復号順序においてｐｉｃＡを継承するＩＲＡＰピクチャを含む最初のアクセス単位のうちの、復号順序において早いほうをａｕＢとする。それぞれ、ｐｉｃＡであるか、又は復号順序においてｐｉｃＡを継承するとともに復号順序においてａｕＢに先行する、アクセス単位ｍ及びｎにそれぞれ含まれるレイヤｌａｙｅｒＡの中の任意の２つのピクチャｐｉｃＭ及びｐｉｃＮに対して、ＤｐｂＯｕｔｐｕｔＴｉｍｅ［ｍ］がＤｐｂＯｕｔｐｕｔＴｉｍｅ［ｎ］よりも大きいとき、ＰｉｃＯｒｄｅｒＣｎｔＶａｌ（ｐｉｃＭ）はＰｉｃＯｒｄｅｒＣｎｔＶａｌ（ｐｉｃＮ）よりも大きくなければならず、ここで、ＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＭ）及びＰｉｃＯｒｄｅｒＣｎｔ（ｐｉｃＮ）は、それぞれ、ｐｉｃＭ及びｐｉｃＮのうちの復号順序における後者のピクチャ順序カウントのための復号プロセスの起動の直後の、ｐｉｃＭ及びｐｉｃＮのＰｉｃＯｒｄｅｒＣｎｔＶａｌ値である。例えば、ビットストリーム適合制約は、後者のピクチャが復号された直後のみテストされ得、もっと後の時間においてテストされ得ない。幾つかの実施形態では、ｐｉｃＭがｐｉｃＮに復号順序において先行する。他の実施形態では、ｐｉｃＮがｐｉｃＭに復号順序において先行する。

連続ピクチャの出力時間
[0178]幾つかの実装形態では、ビットストリーム適合制約（例えば、ＤｐｂＯｕｔｐｕｔＴｉｍｅ［］又はピクチャごとに導出される他の変数）は、出力ピクチャの実際のフレームレートが、規定された最大フレームレート（例えば、３００ｆｐｓ）を上回らないことを確実にするために、連続ピクチャの出力時間（例えば、ピクチャがＤＰＢから除去されるとき）の下限を規定する。しかしながら、マルチレイヤビットストリームは、（例えば、単一のＡＵの中で）同じ出力時間に対応する２つ以上のピクチャを含む必要がある場合がある。従って、単一レイヤ事例の上記のビットストリーム適合制約がマルチレイヤ事例に適用されれば各ＡＵが単一のピクチャしか含まない場合があり、そのことは望ましくない場合がある。従って、異なるＡＵの中のピクチャに出力時間制約が適用されるべきである。

他の考慮事項
[0179]本明細書で開示された情報及び信号は、多種多様な技術及び技法のいずれかを使用して表され得る。例えば、上記の説明全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル及びチップは、電圧、電流、電磁波、磁場若しくは磁性粒子、光場若しくは光学粒子又はそれらの任意の組合せによって表され得る。

[0180]本明細書で開示された実施形態に関して記載された様々な例示的な論理ブロック、モジュール、回路及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア又は両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路及びステップが、概してそれらの機能に関して上記で説明されている。そのような機能性が、ハードウェア又はソフトウェアのどちらとして実施されるのかは、特定の応用例と、システム全体に課せられる設計制約とに依存する。当業者は、特定の適用例ごとに様々な方法で記載された機能を実装し得るが、そのような実装の決定が、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。

[0181]本明細書に記載された技術は、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組合せに実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信機器ハンドセット又はワイヤレス通信機器ハンドセット及び他の機器における適用例を含む複数の用途を有する集積回路機器などの、様々な機器のいずれかにおいて実装され得る。モジュール又は構成要素として記載された任意の特徴は、集積論理機器内で一緒に又は個別であるが相互運用可能な論理機器として別々に実装され得る。ソフトウェアに実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つ又は複数を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気又は光学データ記憶媒体などの、メモリ又はデータ記憶媒体を備え得る。本技法は、追加又は代替として、伝搬信号又は電波などの、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセスされ、読み取られ及び／又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

[0182]プログラムコードは、１つ又は複数のＤＳＰなどの１つ又は複数のプロセッサ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ又は他の等価の集積回路及びディスクリート論理回路を含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示に記載された技法のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ又は状態機械であり得る。プロセッサはまた、コンピュータ機器の組合せ、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ又は複数のマイクロプロセッサ又は任意の他のそのような構成として実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ又は本明細書に記載された技法の実装に適した任意の他の構造若しくは装置のいずれかを指し得る。更に、幾つかの態様では、本明細書に記載された機能は、符号化及び復号のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内に提供され得るか、又は複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。また、本技法は、１つ又は複数の回路又は論理要素で十分に実装され得る。

[0183]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置で実装され得る。様々なコンポーネント、モジュール又はユニットは、開示されている技術を実行するように構成された機器の機能的態様を強調するように本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上記で説明したように、様々なユニットが、適切なソフトウェア及び／又はファームウェアとともに、上記で説明した１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか又は相互動作可能なハードウェアユニットの集合によって与えられ得る。

[0184]本発明の様々な実施形態について説明した。これら及び他の実施形態は、以下の特許請求の範囲内に入る。

Claims (26)

1. ビットストリームの中のビデオ情報をコード化するための装置であって、
   前記ビットストリームの中の複数のビデオレイヤに関連するビデオ情報を記憶するように構成されたメモリと、前記ビットストリームの中の前記複数のビデオレイヤが、複数のビットストリームパーティションに分割され、ここにおいて、各ビットストリームパーティションが、前記複数のビデオレイヤのうちの少なくとも１つを含み、
   前記メモリと通信しており、前記複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理するように構成されたプロセッサと、ここにおいて、前記ビットストリーム適合パラメータが、前記第１のビットストリームパーティションに適用可能であるが、前記第１のビットストリームパーティションによって包含されない、前記ビットストリームの別の部分に適用可能でない、
   を備える装置。
2. 前記ビットストリームの中の前記複数のビデオレイヤが、ビットストリームパーティションの１つ以上の利用可能な組合せを規定する区分方式に従って、前記１つ以上のビットストリームパーティションに分割される、請求項１に記載の装置。
3. 前記ビットストリームが、前記ビットストリームの中の複数のネットワーク抽象化レイヤ（ＮＡＬ）単位を含むアクセス単位と、前記第１のビットストリームパーティションに属する、前記アクセス単位の前記複数のＮＡＬ単位のサブセットを含む第１のパーティション単位とを含み、ここにおいて、前記ビットストリーム適合パラメータが、前記第１のパーティション単位に関連し、前記ビットストリーム適合パラメータが、前記第１のパーティション単位の前記複数のＮＡＬ単位の前記サブセットに適用可能であるが、前記第１のパーティション単位によって包含されない、前記アクセス単位の他のＮＡＬ単位に適用可能でない、請求項１に記載の装置。
4. 前記ビットストリーム適合パラメータが、前記第１のパーティション単位に関連する、前記ビットストリームの中の復号単位の数を規定し、ここにおいて、前記ビットストリーム適合パラメータによって規定される復号単位の前記数が、単一のピクチャの中に収まることができる復号単位の最大数を上回る、請求項３に記載の装置。
5. 前記ビットストリーム適合パラメータによって規定される復号単位の前記数が、前記第１のパーティション単位の中に収まることができるコード化ツリーブロック（ＣＴＢ）の最大数に等しい最大値を上回らない、請求項４に記載の装置。
6. 前記ビットストリームが、各々が前記ビットストリームの中の１つ以上の連続したネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む複数の復号単位を含み、ここにおいて、前記ビットストリームの中の前記複数の復号単位の各々が、前記複数のビットストリームパーティションのうちの１つのみに属する１つ以上のＮＡＬ単位を含む、請求項１に記載の装置。
7. 前記ビットストリームが、各々が前記ビットストリームの中の１つ以上の連続したネットワーク抽象化レイヤ（ＮＡＬ）単位を含む複数の復号単位を含み、ここにおいて、前記ビットストリームの中の前記複数の復号単位の各々が、前記ビットストリームの中の単一のピクチャに属する１つ以上のＮＡＬ単位を含む、請求項１に記載の装置。
8. 前記ビットストリームが、第１の復号単位がコード化ピクチャバッファ（ＣＰＢ）からいつ除去されるべきかを規定する第１の除去時間に関連する前記第１の復号単位と、第２の復号単位が前記ＣＰＢからいつ除去されるべきかを規定する第２の除去時間に関連する前記第２の復号単位とを含み、ここにおいて、前記第１の除去時間が前記第２の除去時間よりも遅く、前記第２の復号単位が前記第１の復号単位に復号順序において先行し、ここにおいて、前記ビットストリームが可変ビットレートを有する、請求項１に記載の装置。
9. 前記第１のビットストリームパーティションが、第１の復号単位がコード化ピクチャバッファ（ＣＰＢ）からいつ除去されるべきかを規定する第１の除去時間に関連する前記第１の復号単位と、第２の復号単位が前記ＣＰＢからいつ除去されるべきかを規定する第２の除去時間に関連する前記第２の復号単位とを含み、ここにおいて、前記第１の除去時間が前記第２の除去時間よりも遅く、前記第２の復号単位が前記第１の復号単位に復号順序において先行し、ここにおいて、前記第１のビットストリームパーティションが前記複数のビデオレイヤのうちの最低レイヤを含む、請求項１に記載の装置。
10. ビットストリームの中のビデオ情報をコード化する方法であって、
    複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理することと、各ビットストリームパーティションが、前記ビットストリームの中の複数のビデオレイヤのうちの少なくとも１つを含み、ここにおいて、前記ビットストリーム適合パラメータが、前記第１のビットストリームパーティションに適用可能であるが、前記第１のビットストリームパーティションによって包含されない、前記ビットストリームの別の部分に適用可能でない、
    前記ビットストリームの中の前記第１のビットストリームパーティションに関連するシンタックス要素をコード化することと
    を備える方法。
11. 前記ビットストリームの中の前記複数のビデオレイヤを、ビットストリームパーティションの１つ以上の利用可能な組合せを規定する区分方式に従って、前記１つ以上のビットストリームパーティションに分割することを更に備える、請求項１０に記載の方法。
12. 前記ビットストリームが、前記ビットストリームの中の複数のネットワーク抽象化レイヤ（ＮＡＬ）単位を含むアクセス単位と、前記第１のビットストリームパーティションに属する、前記アクセス単位の前記複数のＮＡＬ単位のサブセットを含む第１のパーティション単位とを含み、ここにおいて、前記ビットストリーム適合パラメータが、前記第１のパーティション単位に関連し、前記ビットストリーム適合パラメータが、前記第１のパーティション単位の前記複数のＮＡＬ単位の前記サブセットに適用可能であるが、前記第１のパーティション単位によって包含されない、前記アクセス単位の他のＮＡＬ単位に適用可能でない、請求項１０に記載の方法。
13. 前記ビットストリーム適合パラメータが、前記第１のパーティション単位に関連する、前記ビットストリームの中の復号単位の数を規定し、ここにおいて、前記ビットストリーム適合パラメータによって規定される復号単位の前記数が、単一のピクチャの中に収まることができる復号単位の最大数を上回る、請求項１２に記載の方法。
14. 前記ビットストリーム適合パラメータによって規定される復号単位の前記数が、前記第１のパーティション単位の中に収まることができるコード化ツリーブロック（ＣＴＢ）の最大数に等しい最大値を上回らない、請求項１３に記載の方法。
15. 前記ビットストリームが、各々が前記ビットストリームの中の１つ以上の連続したネットワーク抽象化レイヤ（ＮＡＬ）単位を含む複数の復号単位を含み、ここにおいて、前記ビットストリームの中の前記複数の復号単位の各々が、前記複数のビットストリームパーティションのうちの１つのみに属する１つ以上のＮＡＬ単位を含む、請求項１０に記載の方法。
16. 前記ビットストリームが、各々が前記ビットストリームの中の１つ以上の連続したネットワーク抽象化レイヤ（ＮＡＬ）単位を含む複数の復号単位を含み、ここにおいて、前記ビットストリームの中の前記複数の復号単位の各々が、前記ビットストリームの中の単一のピクチャに属する１つ以上のＮＡＬ単位を含む、請求項１０に記載の方法。
17. 前記ビットストリームが、第１の復号単位がコード化ピクチャバッファ（ＣＰＢ）からいつ除去されるべきかを規定する第１の除去時間に関連する前記第１の復号単位と、第２の復号単位が前記ＣＰＢからいつ除去されるべきかを規定する第２の除去時間に関連する前記第２の復号単位とを含み、ここにおいて、前記第１の除去時間が前記第２の除去時間よりも遅く、前記第２の復号単位が前記第１の復号単位に復号順序において先行し、ここにおいて、前記ビットストリームが可変ビットレートを有する、請求項１０に記載の方法。
18. 前記第１のビットストリームパーティションが、第１の復号単位がコード化ピクチャバッファ（ＣＰＢ）からいつ除去されるべきかを規定する第１の除去時間に関連する前記第１の復号単位と、第２の復号単位が前記ＣＰＢからいつ除去されるべきかを規定する第２の除去時間に関連する前記第２の復号単位とを含み、ここにおいて、前記第１の除去時間が前記第２の除去時間よりも遅く、前記第２の復号単位が前記第１の復号単位に復号順序において先行し、ここにおいて、前記第１のビットストリームパーティションが前記複数のビデオレイヤのうちの最低レイヤを含む、請求項１０に記載の方法。
19. 実行されたとき、装置に、
    ビットストリームの中の複数のビデオレイヤに関連するビデオ情報を記憶することと、前記ビットストリームの中の前記複数のビデオレイヤが、複数のビットストリームパーティションに分割され、ここにおいて、各ビットストリームパーティションが、前記複数のビデオレイヤのうちの少なくとも１つを含む、
    前記複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理することと、ここにおいて、前記ビットストリーム適合パラメータが、前記第１のビットストリームパーティションに適用可能であるが、前記第１のビットストリームパーティションによって包含されない、前記ビットストリームの別の部分に適用可能でない、
    を行わせるコードを備える非一時的コンピュータ可読媒体。
20. 前記ビットストリームが、前記ビットストリームの中の複数のネットワーク抽象化レイヤ（ＮＡＬ）単位を含むアクセス単位と、前記第１のビットストリームパーティションに属する、前記アクセス単位の前記複数のＮＡＬ単位のサブセットを含む第１のパーティション単位とを含み、ここにおいて、前記ビットストリーム適合パラメータが、前記第１のパーティション単位に関連し、前記ビットストリーム適合パラメータが、前記第１のパーティション単位の前記複数のＮＡＬ単位の前記サブセットに適用可能であるが、前記第１のパーティション単位によって包含されない、前記アクセス単位の他のＮＡＬ単位に適用可能でない、請求項１９に記載のコンピュータ可読媒体。
21. 前記ビットストリーム適合パラメータが、前記第１のパーティション単位に関連する、前記ビットストリームの中の復号単位の数を規定し、ここにおいて、前記ビットストリーム適合パラメータによって規定される復号単位の前記数が、単一のピクチャの中に収まることができる復号単位の最大数を上回る、請求項２０に記載のコンピュータ可読媒体。
22. 前記ビットストリームが、各々が前記ビットストリームの中の１つ以上の連続したネットワーク抽象化レイヤ（ＮＡＬ）単位を含む複数の復号単位を含み、ここにおいて、前記ビットストリームの中の前記複数の復号単位の各々が、前記複数のビットストリームパーティションのうちの１つのみに属する１つ以上のＮＡＬ単位を含む、請求項１９に記載のコンピュータ可読媒体。
23. ビットストリームの中のビデオ情報をコード化するように構成されたビデオコード化機器であって、
    前記ビットストリームの中の複数のビデオレイヤに関連するビデオ情報を記憶するための手段と、前記ビットストリームの中の前記複数のビデオレイヤが、複数のビットストリームパーティションに分割され、ここにおいて、各ビットストリームパーティションが、前記複数のビデオレイヤのうちの少なくとも１つを含む、
    前記複数のビットストリームパーティションのうちの第１のビットストリームパーティションに関連するビットストリーム適合パラメータを処理するための手段と、ここにおいて、前記ビットストリーム適合パラメータが、前記第１のビットストリームパーティションに適用可能であるが、前記第１のビットストリームパーティションによって包含されない、前記ビットストリームの別の部分に適用可能でない、
    を備えるビデオコード化機器。
24. 前記ビットストリームが、前記ビットストリームの中の複数のネットワーク抽象化レイヤ（ＮＡＬ）単位を含むアクセス単位と、前記第１のビットストリームパーティションに属する、前記アクセス単位の前記複数のＮＡＬ単位のサブセットを含む第１のパーティション単位とを含み、ここにおいて、前記ビットストリーム適合パラメータが、前記第１のパーティション単位に関連し、前記ビットストリーム適合パラメータが、前記第１のパーティション単位の前記複数のＮＡＬ単位の前記サブセットに適用可能であるが、前記第１のパーティション単位によって包含されない、前記アクセス単位の他のＮＡＬ単位に適用可能でない、請求項２３に記載のビデオコード化機器。
25. 前記ビットストリーム適合パラメータが、前記第１のパーティション単位に関連する、前記ビットストリームの中の復号単位の数を規定し、ここにおいて、前記ビットストリーム適合パラメータによって規定される復号単位の前記数が、単一のピクチャの中に収まることができる復号単位の最大数を上回る、請求項２４に記載のビデオコード化機器。
26. 前記ビットストリームが、各々が前記ビットストリームの中の１つ以上の連続したネットワーク抽象化レイヤ（ＮＡＬ）単位を含む複数の復号単位を含み、ここにおいて、前記ビットストリームの中の前記複数の復号単位の各々が、前記複数のビットストリームパーティションのうちの１つのみに属する１つ以上のＮＡＬ単位を含む、請求項２３に記載のビデオコード化機器。

Images