JP7201873B2 - 残差及び係数符号化の方法、プログラム並びに装置 - Google Patents

Description

関連出願の相互参照

本願は、２０１９年９月２４日に提出した発明の名称「Ｒｅｓｉｄｕａｌ ａｎｄ Ｃｏｅｆｆｉｃｉｅｎｔｓ Ｃｏｄｉｎｇ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」の米国仮特許出願第６２／９０５，３４２号の優先権を主張し、該出願は援用により本願に全体的に取り込まれる。

本願は一般的にビデオデータ符号化及び圧縮に関し、且つ具体的に、ビデオ符号化のための残差及び係数符号化の改善の方法並びにシステムに関する。

デジタルビデオは様々な電子機器、例えばデジタルテレビ、ラップトップ又はデスクトップパソコン、タブレットコンピュータ、デジタルカメラ、デジタル記録装置、デジタルメディアプレーヤー、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議装置、ビデオストリーミング装置等によりサポートされている。これらの電子機器はＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４第１０部分、高度ビデオ符号化（ＡＶＣ）、高効率ビデオ符号化（ＨＥＶＣ）及び汎用ビデオ符号化（ＶＶＣ）標準により定義されたビデオ圧縮／解凍標準を実現することにより、デジタルビデオデータを伝送、受信、エンコーディング、デコーディング及び／又は記憶する。ビデオ圧縮は一般的に、空間領域（イントラフレーム）予測及び／又は時間領域（インターフレーム）予測を実施することによりビデオデータにおける固有の冗長性を低減又は除去することを含む。ブロックベースビデオ符号化に対して、ビデオフレームは１つ又は複数のスライスに分割され、各スライスは複数のビデオブロックを有し、これらのビデオブロックは符号化ツリーユニット（ＣＴＵ）とも称されてもよい。各ＣＴＵは１つの符号化ユニット（ＣＵ）を含んでもよく、又は、予め定義された最小ＣＵ寸法に達するまで一層小さなＣＵに再帰的に分割される。各ＣＵ（リーフＣＵとも称される）は１つ又は複数の変換ユニット（ＴＵ）を含み、且つ各ＣＵは更に１つ又は複数の予測ユニット（ＰＵ）を含む。各ＣＵはイントラ、インター又はＩＢＣモードに基づいて符号化されてもよい。同一ビデオフレーム内の隣接ブロックにおける参照サンプルに対する空間領域予測を使用してビデオフレームのイントラ符号化（Ｉ）スライスにおけるビデオブロックをエンコードする。ビデオフレームのインター符号化（Ｐ又はＢ）スライスにおけるビデオブロックは同一ビデオフレーム内の隣接ブロックにおける参照サンプルに対する空間領域予測又は他の以前及び／又は将来の参照ビデオフレームにおける参照サンプルに対する時間領域予測を使用することができる。

以前にエンコードされた参照ブロック（例えば、隣接ブロック）の空間領域又は時間領域予測によって、符号化する現在ビデオブロックの予測ブロックを生成する。参照ブロックを探す過程はブロックマッチングアルゴリズムにより完了してもよい。符号化する現在ブロックと予測ブロックとの間のピクセル差を示す残差データは残差ブロック又は予測誤差と称される。インター符号化ブロックは予測ブロックを形成する参照フレーム内の参照ブロックを指す動きベクトルと残差ブロックに基づいてエンコードされる。動きベクトルの決定過程は一般的に動き推定と称される。イントラ符号化ブロックはイントラ予測モードと残差ブロックに基づいてエンコードされる。更なる圧縮のために、残差ブロックはピクセル領域から変換領域（例えば周波数領域）に変換されて、残差変換係数を生成し、次に残差変換係数を量子化することができる。最初に２次元配列で配置されている量子化変換係数は走査されて変換係数の１次元ベクトルを生成し、次にエントロピーによりビデオビットストリームにエンコードされて、更なる圧縮を実現することができる。

次に、エンコードされたビデオビットストリームはコンピュータ可読記憶媒体（例えば、フラッシュメモリ）に保存され、それによりデジタルビデオ機能を有する他の電子機器によりアクセスされ、又は直接に有線又は無線により前記電子機器に伝送される。次に、前記電子機器は、例えば該エンコードされたビデオビットストリームを解析することによりビットストリームから構文要素を取得し、且つ少なくとも部分的にビットストリームから取得された構文要素に基づいてエンコードされたビデオビットストリームから前記デジタルビデオデータをそのオリジナルフォーマットに再構築してビデオ解凍（これは上記ビデオ圧縮とは逆の過程である）を実施し、且つ電子機器のディスプレイにおいて再構築されたデジタルビデオデータを表示する。

デジタルビデオ品質は高精細度から４Ｋｘ２Ｋひいては８Ｋｘ４Ｋになるにつれて、エンコード／デコードするビデオデータ量は指数的に増加している。デコードされたビデオデータの画像品質を維持するとともに、ビデオデータをどのように一層効率的にエンコード／デコードするかは継続的な挑戦である。

本願においてビデオデータのエンコーディング及びデコーディングに関わる実施形態を説明し、且つより具体的に、パレットモードを用いるビデオエンコーディング及びデコーディングのシステム並びに方法に関わる実施形態を説明した。

本願の第１態様によれば、ビデオデータをデコードする方法は、電子装置がビデオデータをデコードする方法を実施することを含む。前記方法は、ビットストリームから変換スキップモード符号化ブロックに対応するビデオデータを受信することと、前記ビデオデータから前記変換スキップモード符号化ブロック内のピクセルに対する第１コードワード、第２コードワード及び第１組のコードワードをデコードすることと、前記第１組のコードワードから初期レベル値を導き出すことと、一定のＲｉｃｅパラメータを使用して生成した予め定義されたマッピング関係に基づいて、前記第１コードワードをピクセルの剰余に変換することと、前記第２コードワードを前記剰余の符号値に変換することと、前記剰余、前記符号値及び前記初期レベル値から前記ピクセルの量子化残差を導き出すことと、を含み、前記一定のＲｉｃｅパラメータの値は、変換スキップモードに従って、１に固定されている。

本願の第２態様によれば、電子装置は、１つ又は複数の処理ユニットと、メモリと、前記メモリに記憶される複数のプログラムと、を含む。前記プログラムは、前記１つ又は複数の処理ユニットにより実行されるとき、前記電子装置に以上に記載のビデオデータをデコードする方法を実施させる。

本願の第３態様によれば、非一時的コンピュータ可読記憶媒体は、１つ又は複数の処理ユニットを有する電子装置により実行される複数のプログラムが記憶される。前記プログラムは、前記１つ又は複数の処理ユニットにより実行されるとき、前記電子装置に以上に記載のビデオデータをデコードする方法を実施させる。

図面を含んで実施形態に対する更なる理解を提供し、且つ図面は本明細書に取り込まれて明細書の一部を構成し、前記図面は説明される実施形態を示し且つ該説明とともに基本原理を解釈することに用いられる。類似の図面記号は対応の部分を示す。
図１は本開示のいくつかの実施形態に係る例示的なビデオエンコーディング及びデコーディングシステムを示すブロック図である。 図２は本開示のいくつかの実施形態に係る例示的なビデオエンコーダを示すブロック図である。 図３は本開示のいくつかの実施形態に係る例示的なビデオデコーダを示すブロック図である。 図４Ａは本開示のいくつかの実施形態に係るフレームがどのように異なる寸法及び形状の複数のビデオブロックに再帰的に分割されるかを示すブロック図である。 図４Ｂは本開示のいくつかの実施形態に係るフレームがどのように異なる寸法及び形状の複数のビデオブロックに再帰的に分割されるかを示すブロック図である。 図４Ｃは本開示のいくつかの実施形態に係るフレームがどのように異なる寸法及び形状の複数のビデオブロックに再帰的に分割されるかを示すブロック図である。 図４Ｄは本開示のいくつかの実施形態に係るフレームがどのように異なる寸法及び形状の複数のビデオブロックに再帰的に分割されるかを示すブロック図である。 図４Ｅは本開示のいくつかの実施形態に係るフレームがどのように異なる寸法及び形状の複数のビデオブロックに再帰的に分割されるかを示すブロック図である。 図５Ａは本開示のいくつかの実施形態に係るコンテキスト（context）符号化及びバイパス符号化を用いる変換高効率符号化の例を示すブロック図である。 図５Ｂは本開示のいくつかの実施形態に係るコンテキスト（context）符号化及びバイパス符号化を用いる変換高効率符号化の例を示すブロック図である。 図６は本開示のいくつかの実施形態に係る依存スカラー量子化の例示的な過程を示すブロック図である。 図７は本開示のいくつかの実施形態に係る２つの異なるスカラー量子化器を切り替えるための例示的なステートマシンを示すブロック図である。 図８は本開示のいくつかの実施形態に係るビデオデコーダが変換スキップモード符号化ブロックに対して残差符号化を実施する例示的な過程を示すフローチャートである。 図９は本開示のいくつかの実施形態に係る例示的なコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）エンジンを示すブロック図である。

現在、具体的な実施形態を詳しく参照し、その例は図面に示される。以下の詳細な説明において、本明細書の主題を理解するため、多くの非限定的な具体的な詳細を詳述する。しかしながら、特許請求の範囲を逸脱せずに様々な代替案を使用することができ、且つこれらの具体的な詳細がない場合に主題を実践することができることは、当業者にとって明らかである。例えば、本明細書の主題はデジタルビデオ機能を有する様々なタイプの電子機器において実現されることができることは、当業者にとって明らかである。

図１は本開示のいくつかの実施形態に係るビデオブロックを同時にエンコード及びデコードするための例示的なシステム１０を示すブロック図である。図１に示すように、システム１０はソースデバイス１２を備え、ソースデバイス１２は後で宛先デバイス１４によりデコードされるビデオデータを生成してエンコードする。ソースデバイス１２及び宛先デバイス１４は複数種類の電子機器のうちのいずれか１つを含んでもよく、デスクトップ又はラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミング装置等を含む。いくつかの実施形態では、ソースデバイス１２及び宛先デバイス１４に無線通信機能が装備されている。

いくつかの実施形態では、宛先デバイス１４はリンク１６を介して、デコードしようとするエンコードされたビデオデータを受信することができる。リンク１６は、エンコードされたビデオデータをソースデバイス１２から宛先デバイス１４に移動することができるいかなるタイプの通信媒体又は装置を含んでもよい。一例では、リンク１６は通信媒体を含んでもよく、それによりソースデバイス１２はエンコードされたビデオデータを宛先デバイス１４にリアルタイムで直接伝送することができる。エンコードされたビデオデータは、例えば無線通信プロトコル等の通信標準に基づいて変調され、宛先デバイス１４に伝送されることができる。通信媒体はいかなる無線又は有線通信媒体、例えば無線周波数（ＲＦ）スペクトル又は１つ又は複数の物理伝送線を含んでもよい。通信媒体はパケットベースネットワーク（例えば、ローカルエリアネットワーク、広域ネットワーク又は例えばインターネット等のグローバルネットワーク）の一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、又はソースデバイス１２から宛先デバイス１４までの通信を促進するのに役立ついかなる他の装置を含んでもよい。

いくつかの他の実施形態では、エンコードされたビデオデータは出力インターフェース２２から記憶装置３２に伝送されることができる。その後、宛先デバイス１４は入力インターフェース２８を介して記憶装置３２でのエンコードされたビデオデータにアクセスすることができる。記憶装置３２は様々な分散型又はローカルアクセスするデータ記憶媒体のうちのいずれか１つ、例えばハードディスクドライブ、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性メモリ、又はエンコードされたビデオデータを記憶するためのいかなる他の適切なデジタル記憶媒体を含んでもよい。更なる例では、記憶装置３２はファイルサーバ、又はソースデバイス１２により生成されたエンコードされたビデオデータを保存することができる他の一時記憶装置に対応してもよい。宛先デバイス１４はストリーミング又はダウンロードにより記憶装置３２に記憶されたビデオデータにアクセスすることができる。ファイルサーバは、エンコードされたビデオデータを記憶してエンコードされたビデオデータを宛先デバイス１４に伝送することができるいかなるタイプのコンピュータであってもよい。例示的なファイルサーバは（例えば、ウェブサイトに使用される）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）装置又はローカルディスクドライブを含む。宛先デバイス１４はいかなる標準データ接続によりエンコードされたビデオデータにアクセスすることができ、前記標準データ接続はファイルサーバに記憶されるエンコードされたビデオデータにアクセスすることに適する無線チャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデム等）又は両方の組み合わせを含む。記憶装置３２からのエンコードされたビデオデータの伝送はストリーミング伝送、ダウンロード伝送又は両方の組み合わせであってもよい。

図１に示すように、ソースデバイス１２はビデオソース１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。ビデオソース１８は例えば、ビデオキャプチャ装置（例えば、ビデオカメラ）、以前にキャプチャされたビデオを含むビデオファイル、ビデオコンテンツプロバイダーからビデオを受信するためのビデオ供給インターフェース、及び／又はコンピュータ図形データをソースビデオとして生成するためのコンピュータ図形システム、又はこれらのソースの組み合わせ等のソースを含んでもよい。一例として、ビデオソース１８が安全監視システムのビデオカメラである場合、ソースデバイス１２及び宛先デバイス１４はカメラ電話又はビデオ電話を形成することができる。ところが、本願に説明される実施形態は一般的にビデオ符号化に適用でき、且つ無線及び／又は有線アプリケーションに適用できる。

キャプチャされ、予めキャプチャされ又はコンピュータにより生成されたビデオはビデオエンコーダ２０によりエンコードされることができる。エンコードされたビデオデータはソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接伝送されることができる。エンコードされたビデオデータは（又は、代替的に）記憶装置３２に記憶されることができ、それによりその後で宛先デバイス１４又は他の装置によりアクセスされ、又はデコーディング及び／又は再生に使用される。出力インターフェース２２は更にモデム及び／又は送信装置を含んでもよい。

宛先デバイス１４は入力インターフェース２８と、ビデオデコーダ３０と、表示装置３４とを備える。入力インターフェース２８は受信機及び／又はモデムを備えて、リンク１６を介してエンコードされたビデオデータを受信することができる。リンク１６を介して伝送される又は記憶装置３２において提供されるエンコードされたビデオデータは、ビデオエンコーダ２０により生成された、ビデオデコーダ３０がビデオデータをデコードする際に使用することに供する様々な構文要素を含んでもよい。このような構文要素は通信媒体において伝送され、記憶媒体に記憶され又はファイルサーバに記憶されるエンコードされたビデオデータに含まれてもよい。

いくつかの実施形態では、宛先デバイス１４は表示装置３４を備えてもよく、表示装置３４は統合された表示装置、及び宛先デバイス１４と通信するように構成される外部表示装置であってもよい。表示装置３４はユーザーに対して、デコードされたビデオデータを表示し、様々な表示装置、例えば液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ又は他のタイプの表示装置のうちのいずれか１つを含んでもよい。

ビデオエンコーダ２０及びビデオデコーダ３０は専有又は業界標準（例えば、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４第１０部分、高度ビデオ符号化（ＡＶＣ）又はこのような標準の拡張）に基づいて操作することができる。理解されるように、本願は特定のビデオ符号化/デコーディング標準に限らず、他のビデオ符号化/デコーディング標準に適用できる。一般的に理解されるように、ソースデバイス１２のビデオエンコーダ２０はこれらの現在又は将来の標準のうちのいずれか１つに基づいてビデオデータをエンコードするように構成されてもよい。同様に、一般的に理解されるように、宛先デバイス１４のビデオデコーダ３０はこれらの現在又は将来の標準のうちのいずれか１つに基づいてビデオデータをデコードするように構成されてもよい。

ビデオエンコーダ２０及びビデオデコーダ３０はいずれも複数種類の適切なエンコーダ回路システム、例えば１つ又は複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、個別論理、ソフトウェア、ハードウェア、ファームウェア又はそれらの任意の組み合わせのうちのいずれか１つとして実現されることができる。部分的にソフトウェアにより実現されるとき、電子機器はソフトウェアの命令を適切な非一時的コンピュータ可読媒体に記憶し、１つ又は複数のプロセッサを使用してハードウェアにおいて前記命令を実行して、本開示に開示されるビデオ符号化／デコーディング操作を実施することができる。ビデオエンコーダ２０及びビデオデコーダ３０のそれぞれはいずれも１つ又は複数のエンコーダ又はデコーダに含まれてもよく、エンコーダ又はデコーダのうちのいずれか１つは対応装置における複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部に統合されてもよい。

図２は本願に説明されるいくつかの実施形態に係る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０はビデオフレーム内のビデオブロックのイントラ及びインター予測符号化を実施することができる。イントラ予測符号化は空間領域予測に依存して、与えられたビデオフレーム又はピクチャ内のビデオデータにおける空間領域冗長性を低減又は除去する。インター予測符号化は時間領域予測に依存して、ビデオシーケンスの近接ビデオフレーム又はピクチャ内のビデオデータにおける時間領域冗長性を低減又は除去する。

図２に示すように、ビデオエンコーダ２０はビデオデータメモリ４０と、予測処理ユニット４１と、デコーディングピクチャバッファ（ＤＰＢ）６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーエンコーディングユニット５６と、を備える。予測処理ユニット４１は更に、動き推定ユニット４２と、動き補償ユニット４４と、パーティションユニット４５と、イントラ予測処理ユニット４６と、イントラブロックコピー（ＢＣ）ユニット４８と、を備える。いくつかの実施形態では、ビデオエンコーダ２０は逆量子化ユニット５８と、逆変換処理ユニット６０と、ビデオブロックを再構築するための加算器６２とを更に備える。デブロッキングフィルタ（図示せず）は加算器６２とＤＰＢ６４との間に位置してもよく、それによりブロック境界をフィルタリングして再構築ビデオからブロック状アーティファクトを除去する。デブロッキングフィルタ以外に、更にループフィルタ（図示せず）を使用して加算器６２の出力をフィルタリングすることができる。ビデオエンコーダ２０は固定又はプログラマブルハードウェアユニットの形式を用いてもよく、又は図示の固定又はプログラマブルハードウェアユニットの１つ又は複数に分割されてもよい。

ビデオデータメモリ４０はビデオエンコーダ２０の部材によりエンコードされたビデオデータを記憶することができる。ビデオデータメモリ４０におけるビデオデータは例えばビデオソース１８から取得されることができる。ＤＰＢ６４は、ビデオエンコーダ２０によりビデオデータをエンコードする際に（例えば、イントラ又はインター予測符号化モードにおいて）使用される参照ビデオデータを記憶するバッファである。ビデオデータメモリ４０及びＤＰＢ６４は複数種類のメモリ装置のうちのいずれか１つにより形成されることができる。各例では、ビデオデータメモリ４０はビデオエンコーダ２０の他の部材とともにチップに位置し、又はそれらの部材に対してチップ外に位置してもよい。

図２に示すように、ビデオデータを受信した後、予測処理ユニット４１内のパーティションユニット４５はビデオデータをビデオブロックに分割する。該分割は、ビデオデータに関連する例えば４分木構造等の予め定義された分割構造に基づいて、ビデオフレームをスライス、タイル（ｔｉｌｅ）又は他の一層大きな符号化ユニット（ＣＵ）に分割することを更に含んでもよい。ビデオフレームは、複数のビデオブロック（タイルのビデオブロック群とも称される）に分割されることができる。予測処理ユニット４１は、誤差結果（例えば、符号化率及び歪みレベル）に基づいて、現在ビデオブロックに対して複数の可能な予測符号化モードの１つ、例えば複数のイントラ予測符号化モードの１つ又は複数のインター予測符号化モードの１つを選択することができる。予測処理ユニット４１は、残差ブロックを生成するように、取得されたイントラ又はインター予測符号化ブロックを加算器５０に提供し、且つ、エンコードされるブロックを再構築してその後で参照フレームの一部として使用するように加算器６２に提供することができる。予測処理ユニット４１は更にエントロピーエンコーディングユニット５６に構文要素、例えば動きベクトル、イントラモードインジケータ、パーティション情報及び他のこのような構文情報を提供する。

現在ビデオブロックに適切なイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、符号化する現在ブロックと同一フレームに位置する１つ又は複数の隣接ブロックに対して、現在ビデオブロックのイントラ予測符号化を実施して空間領域予測を提供することができる。予測処理ユニット４１内の動き推定ユニット４２及び動き補償ユニット４４は、１つ又は複数の参照フレームにおける１つ又は複数の予測ブロックに対して、現在ビデオブロックのインター予測符号化を実施して時間領域予測を提供する。ビデオエンコーダ２０は、例えば、ビデオデータの各ブロックに適切な符号化モードを選択するために、複数回の符号化を実施することができる。

いくつかの実施形態では、動き推定ユニット４２は、動きベクトルを生成することにより現在ビデオフレームのインター予測モードを決定し、前記動きベクトルはビデオフレームシーケンス内の予め定められたパターンに基づく、参照ビデオフレーム内の予測ブロックに対する現在ビデオフレーム内のビデオブロックの予測ユニット（ＰＵ）の変位を示す。動き推定ユニット４２により実施される動き推定は、動きベクトルを生成する過程であり、該過程はビデオブロックの動きを推定する。例えば、動きベクトルは、現在フレームに符号化される現在ブロック（又は、他の符号化ユニット）に対する、参照フレーム内の予測ブロック（又は、他の符号化ユニット）に対する現在ビデオフレーム又はピクチャ内のビデオブロックのＰＵの変位を示すことができる。予め定められたパターンは、シーケンスにおけるビデオフレームをＰフレーム又はＢフレームとして指定することができる。イントラＢＣユニット４８は、動き推定ユニット４２がインター予測に対して動きベクトルを決定する方式と同様の方式で、イントラＢＣ符号化に対するベクトル（例えばブロックベクトル）を決定することができ、又は動き推定ユニット４２を利用してブロックベクトルを決定することができる。

予測ブロックは、ピクセル差で符号化されるビデオブロックのＰＵに密接にマッチングすると見なされる参照フレームのブロックであり、ピクセル差は絶対差の和（ＳＡＤ）、二乗差の和（ＳＳＤ）又は他の差分尺度によって決定されてもよい。いくつかの実施形態では、ビデオエンコーダ２０はＤＰＢ６４に記憶される参照フレームのサブ整数（ｓｕｂ－ｉｎｔｅｇｅｒ）ピクセル位置の値を計算することができる。例えば、ビデオエンコーダ２０は、参照フレームの４分の１のピクセル位置、８分の１のピクセル位置又は他の分数のピクセル位置の値を補間することができる。従って、動き推定ユニット４２は、フルピクセル位置及び分数ピクセル位置に対して動き検索を実施し、分数ピクセル精度を有する動きベクトルを出力することができる。

動き推定ユニット４２はＰＵの位置と、第１参照フレームリスト（リスト０）又は第２参照フレームリスト（リスト１）から選ばれた参照フレームの予測ブロックの位置とを比較することにより、インター予測符号化フレームにおけるビデオブロックのＰＵの動きベクトルを計算し、第１参照フレームリスト（リスト０）又は第２参照フレームリスト（リスト１）は、それぞれ、ＤＰＢ６４における１つ又は複数の参照フレームを識別する。動き推定ユニット４２は、計算された動きベクトルを動き補償ユニット４４に送信し、次にエントロピーエンコーディングユニット５６に送信する。

動き補償ユニット４４により実施される動き補償は、動き推定ユニット４２により決定された動きベクトルに基づいて、予測ブロックを取出又は生成するのに関わることができる。現在ビデオブロックのＰＵの動きベクトルを受信した後、動き補償ユニット４４は参照フレームリストの１つにおいて動きベクトルが指す予測ブロックを位置特定し、ＤＰＢ６４から前記予測ブロックを検索し、且つ予測ブロックを加算器５０に転送することができる。次に、加算器５０は、符号化中の現在ビデオブロックのピクセル値から動き補償ユニット４４が提供する予測ブロックのピクセル値を引くことにより、ピクセル差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成するピクセル差分値は、輝度、色度差成分又は両方を含んでもよい。動き補償ユニット４４は更に、ビデオフレームのビデオブロックに関連する構文要素を生成することができ、ビデオデコーダ３０がビデオフレームのビデオブロックをデコードする際に使用することに供する。構文要素は例えば、予測ブロックを識別するための動きベクトルを定義する構文要素、予測モードを示すいかなる識別子、又は本明細書に説明されるいかなる他の構文情報を含んでもよい。動き推定ユニット４２及び動き補償ユニット４４は、高度に統合されてもよいが、概念の目的のため、独立して説明する。

いくつかの実施形態では、イントラＢＣユニット４８は、動き推定ユニット４２及び動き補償ユニット４４を参照して説明した上記方式と同様の方式で、ベクトルを生成して予測ブロックを取り出すことができるが、予測ブロック及び符号化中の現在ブロックは同一フレームに位置し、且つベクトルは動きベクトルではなくブロックベクトルと称される。具体的には、イントラＢＣユニット４８は現在ブロックをエンコードするためのイントラ予測モードを決定することができる。いくつかの例では、イントラＢＣユニット４８は様々なイントラ予測モードを使用して現在ブロックをエンコードすることができ、例えば、独立した繰り返しエンコーディング期間にレート－歪み分析によってそれらの性能をテストする。次に、イントラＢＣユニット４８は様々なテスト後のイントラ予測モードから適切なイントラ予測モードを選択してイントラモードインジケータを使用し、且つイントラモードインジケータを対応して生成する。例えば、イントラＢＣユニット４８は様々なテスト後のイントラ予測モードに対するレート－歪み分析を使用してレート－歪み値を計算し、且つテスト後のモードから最適なレート－歪み特性を有するイントラ予測モードを適切なイントラ予測モードとして選択して使用する。レート－歪み分析は一般的にエンコードされたブロックとオリジナル未エンコードされたブロックとの間の歪み（又は、エラー）量を決定し、前記オリジナル未エンコードされたブロックはエンコードされて符号化ブロックを生成し、更に符号化ブロックを生成するためのビットレート（即ち、ビット数）を決定する。イントラＢＣユニット４８は様々なエンコードされたブロックの歪み及びレートに基づいて比率を計算して、どのイントラ予測モードが前記ブロックに対して最適なレート－歪み値を表現するかを決定する。

他の例では、イントラＢＣユニット４８は動き推定ユニット４２及び動き補償ユニット４４を全体的又は部分的に使用して本明細書に説明される実施形態に基づいてイントラＢＣ予測のためのこのような機能を実施することができる。いずれか１つの場合、イントラブロックコピーについては、予測ブロックはピクセル差の面でエンコードされるブロックに密接にマッチングすると見なされるブロックであってもよく、前記ピクセル差は絶対差の和（ＳＡＤ）、二乗差の和（ＳＳＤ）又は他の差分尺度によって決定されてもよく、且つ予測ブロックの識別はサブ整数ピクセル位置の値の計算を含んでもよい。

予測ブロックがイントラ予測による同一フレームからのものであるか、それともインター予測による異なるフレームからのものであるかにかかわらず、ビデオエンコーダ２０はいずれも符号化中の現在ビデオブロックのピクセル値から予測ブロックのピクセル値を引くことによりピクセル差分を形成して残差ビデオブロックを形成することができる。残差ビデオブロックを形成するピクセル差分は輝度及び色度成分差の両方を含んでもよい。

イントラ予測処理ユニット４６は現在ビデオブロックに対してイントラ予測を行うことができ、動き推定ユニット４２及び動き補償ユニット４４により実施されるインター予測又はイントラＢＣユニット４８により実施されるイントラブロックコピー予測の代替としては、上述のとおりである。具体的には、イントラ予測処理ユニット４６は現在ブロックをエンコードするためのイントラ予測モードを決定することができる。このために、イントラ予測処理ユニット４６は様々なイントラ予測モードを使用して現在ブロックをエンコードすることができ、例えば、独立した繰り返しエンコーディング期間に、イントラ予測処理ユニット４６（又は、いくつかの実例では、モード選択ユニット）はテスト後のイントラ予測モードから適切なイントラ予測モードを選択して使用することができる。イントラ予測処理ユニット４６はエントロピーエンコーディングユニット５６に、前記ブロックに対して選択したイントラ予測モードを示す情報を提供することができる。エントロピーエンコーディングユニット５６はビットストリームにおいて選択されたイントラ予測モードを示す情報をエンコードすることができる。

予測処理ユニット４１がインター予測又はイントラ予測により現在ビデオブロックの予測ブロックを決定した後、加算器５０は現在ビデオブロックから前記予測ブロックを引くことにより残差ビデオブロックを形成する。前記残差ブロックにおける残差ビデオデータは１つ又は複数の変換ユニット（ＴＵ）に含まれて変換処理ユニット５２に提供されることができる。変換処理ユニット５２は例えば離散余弦変換（ＤＣＴ）等の変換又は概念的に類似する変換を使用して残差ビデオデータを残差変換係数に変換する。

変換処理ユニット５２は取得された変換係数を量子化ユニット５４に送信することができる。量子化ユニット５４は変換係数を量子化してビットレートを更に低減する。量子化過程は更にいくつか又はすべての係数に関連するビット深度を低減することができる。量子化パラメータを調整することにより量子化度を修正することができる。いくつかの例では、次に、量子化ユニット５４は量子化後の変換係数を含む行列に対して走査を実施することができる。代替的に、エントロピーエンコーディングユニット５６は走査を実行することができる。

量子化後、エントロピーエンコーディングユニット５６は例えばコンテキスト適応型可変長符号化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースコンテキスト適応型バイナリ算術符号化（ＳＢＡＣ）、確率間隔区分化エントロピー（ＰＩＰＥ）符号化又は他のエントロピー符号化方法又は技術を使用して量子化された変換係数をビデオビットストリームにエントロピーエンコードする。エンコードされたビットストリームは、その後でビデオデコーダ３０に伝送され、又は、記憶装置３２に保存されてその後でビデオデコーダ３０に伝送され又はビデオデコーダ３０により検索されることができる。エントロピーエンコーディングユニット５６は更に符号化中の現在ビデオフレームの動きベクトル及び他の構文要素に対してエントロピーエンコーディングを行うことができる。

逆量子化ユニット５８及び逆変換処理ユニット６０はそれぞれ逆量子化及び逆変換によりピクセルフィールドにおける残差ビデオブロックを再構築して、他のビデオブロックを予測するための参照ブロックを生成する。上述のように、動き補償ユニット４４はＤＰＢ６４に記憶されるフレームの１つ又は複数の参照ブロックに基づいて動き補償後の予測ブロックを生成することができる。動き補償ユニット４４は更に１つ又は複数の補間フィルタを予測ブロックに応用して動き推定のためのサブ整数ピクセル値を計算することができる。

加算器６２は再構築された残差ブロックと動き補償ユニット４４により生成された動き補償後の予測ブロックとを加えて参照ブロックを生成してＤＰＢ６４に記憶する。次に、参照ブロックは、イントラＢＣユニット４８、動き推定ユニット４２及び動き補償ユニット４４により、予測ブロックとして使用されて、後続のビデオフレームにおける他のビデオブロックに対してインター予測を行うことができる。

図３は本願のいくつかの実施形態に係る例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０はビデオデータメモリ７９、エントロピーデコーディングユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０及びＤＰＢ９２を備える。予測処理ユニット８１は更に動き補償ユニット８２、イントラ予測処理ユニット８４及びイントラＢＣユニット８５を備える。ビデオデコーダ３０は図２におけるビデオエンコーダ２０について説明される上記エンコーディング過程とはほぼ逆のデコーディング過程を実行することができる。例えば、動き補償ユニット８２はエントロピーデコーディングユニット８０から受信された動きベクトルに基づいて予測データを生成することができるが、イントラ予測ユニット８４はエントロピーデコーディングユニット８０から受信されたイントラ予測モードインジケータに基づいて予測データを生成することができる。

いくつかの例では、ビデオデコーダ３０のユニットには本願の実施形態を実施するタスクが割り当てられることができる。また、いくつかの例では、本開示の実施形態はビデオデコーダ３０の１つ又は複数のユニットの間で分割されてもよい。例えば、イントラＢＣユニット８５は独立して本願の実施形態を実施してもよく、又はビデオデコーダ３０の他のユニット（例えば、動き補償ユニット８２、イントラ予測処理ユニット８４及びエントロピーデコーディングユニット８０）と組み合わせて本願の実施形態を実施してもよい。いくつかの例では、ビデオデコーダ３０はイントラＢＣユニット８５を含まなくてもよく、且つイントラＢＣユニット８５の機能は予測処理ユニット８１の他の部材（例えば、動き補償ユニット８２）により実施されてもよい。

ビデオデータメモリ７９はビデオデコーダ３０の他の部材によりデコードされるビデオデータ、例えばエンコードされたビデオビットストリームを記憶することができる。ビデオデータメモリ７９に記憶されるビデオデータは、ビデオデータの有線又は無線ネットワーク経由で、例えば記憶装置３２、ローカルビデオソース（例えば、カメラ）から取得され、又は物理データ記憶媒体（例えば、フラッシュメモリドライブ又はハードディスク）にアクセスすることにより取得されてもよい。ビデオデータメモリ７９は符号化ピクチャバッファ（ＣＰＢ）を含んでもよく、前記符号化ピクチャバッファ（ＣＰＢ）はエンコードされたビデオビットストリームからのエンコードされたビデオデータを記憶する。ビデオデコーダ３０のデコーディングピクチャバッファ（ＤＰＢ）９２は参照ビデオデータを記憶して、ビデオデコーダ３０がビデオデータを（例えば、イントラ又はインター予測符号化モードに基づいて）デコードする際に使用することに供する。ビデオデータメモリ７９及びＤＰＢ９２は複数種類のメモリ装置、例えばダイナミックランダムアクセスメモリ（ＤＲＡＭ）（シンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含む）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、電気抵抗ＲＡＭ（ＲＲＡＭ）、又は他のタイプの記憶装置のうちのいずれか１つにより形成されてもよい。説明のために、ビデオデータメモリ７９及びＤＰＢ９２は、図３においてビデオデコーダ３０の２つの異なる部材に描かれる。しかしながら、当業者にとって明らかなことは、ビデオデータメモリ７９及びＤＰＢ９２は同じメモリ装置又は別々のメモリ装置により提供されてもよい。いくつかの例では、ビデオデータメモリ７９はビデオデコーダ３０の他の部材とともにチップに位置し、又はそれらの部材に対してチップ外に位置してもよい。

デコーディング過程期間に、ビデオデコーダ３０は符号化ビデオビットストリームを受信し、符号化ビデオビットストリームは符号化ビデオフレームのビデオブロック及び関連する構文要素を示す。ビデオデコーダ３０はビデオフレームレベル及び／又はビデオブロックレベルで構文要素を受信することができる。ビデオデコーダ３０のエントロピーデコーディングユニット８０はビットストリームに対してエントロピーデコーディングを行って量子化係数、動きベクトル又はイントラ予測モードインジケータ及び他の構文要素を生成する。次に、エントロピーデコーディングユニット８０は動きベクトル及び他の構文要素を予測処理ユニット８１に転送する。

ビデオフレームがイントラ予測符号化（Ｉ）フレームにエンコードされ、又は他のタイプのフレームにおけるイントラ符号化予測ブロックに使用される場合、予測処理ユニット８１のイントラ予測処理ユニット８４はシグナリングにより送信されるイントラ予測モード及び現在フレームの以前デコーディングブロックからの参照データに基づいて現在ビデオフレームのビデオブロックに対する予測データを生成することができる。

前記ビデオフレームがインター予測符号化（即ち、Ｂ又はＰ）フレームにエンコードされる場合、予測処理ユニット８１の動き補償ユニット８２はエントロピーデコーディングユニット８０から受信された動きベクトル及び他の構文要素に基づいて現在ビデオフレームのビデオブロックに対する１つ又は複数の予測ブロックを生成する。予測ブロックのそれぞれはいずれも参照フレームリストの１つにおける参照フレームに基づいて生成されてもよい。ビデオデコーダ３０はデフォルト構築技術を使用してＤＰＢ９２に記憶される参照フレームに基づいて参照フレームリスト即ちリスト０及びリスト１を構築することができる。

いくつかの例では、本明細書において説明されたイントラＢＣモードに基づいてビデオブロックを符号化するとき、予測処理ユニット８１のイントラＢＣユニット８５はエントロピーデコーディングユニット８０から受信されたブロックベクトル及び他の構文要素に基づいて現在ビデオブロックの予測ブロックを生成する。予測ブロックはビデオエンコーダ２０により定義された現在ビデオブロックと同じピクチャの再構築領域内に位置してもよい。

動き補償ユニット８２及び／又はイントラＢＣユニット８５は動きベクトル及び他の構文要素を解析することにより現在ビデオフレームのビデオブロックに対する予測情報を決定し、次に該予測情報を使用してデコーディング中の現在ビデオブロックの予測ブロックを生成する。例えば、動き補償ユニット８２は受信された構文要素のうちのいくつかを使用して、ビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ又はインター予測）、インター予測フレームタイプ（例えば、Ｂ又はＰ）、前記フレームの１つ又は複数の参照フレームリストに対する構築情報、前記フレームの各インター予測符号化ビデオブロックに対する動きベクトル、前記フレームの各インター予測エンコーディングビデオブロックに対するインター予測状態、及び現在ビデオフレームにおけるビデオブロックをデコードするための他の情報を決定する。

同様に、イントラＢＣユニット８５は受信された構文要素（例えば、識別子）のうちのいくつかを使用して、現在ビデオブロックがイントラＢＣモードを使用して予測されること、前記フレームのどのビデオブロックの構築情報が再構築領域内に位置し且つＤＰＢ９２に記憶されるべきであるか、前記フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、前記フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在ビデオフレームにおけるビデオブロックをデコードするための他の情報を決定することができる。

動き補償ユニット８２は更に、ビデオエンコーダ２０がビデオブロックのエンコーディング期間に使用する補間フィルタ等を使用して補間を実施して、参照ブロックのサブ整数ピクセルに対する補間後の値を計算することができる。この場合、動き補償ユニット８２は受信された構文要素に基づいてビデオエンコーダ２０が使用する補間フィルタを決定し、且つ前記補間フィルタを使用して予測ブロックを生成することができる。

逆量子化ユニット８６はビデオエンコーダ２０がビデオフレームにおける各ビデオブロックに対して計算した同じ量子化パラメータを使用してビットストリームにおいて提供し且つエントロピーデコーディングユニット８０によりエントロピーデコードされる量子化変換係数を逆量子化して、量子化度を決定する。逆変換処理ユニット８８は前記変換係数に対して逆変換（例えば、逆ＤＣＴ、逆整数変換又は概念的に類似する逆変換過程）を応用してピクセルフィールドにおける残差ブロックを再構築する。

動き補償ユニット８２又はイントラＢＣユニット８５がベクトル及び他の構文要素に基づいて現在ビデオブロックに対する予測ブロックを生成した後、加算器９０は逆変換処理ユニット８８からの残差ブロックと、動き補償ユニット８２及びイントラＢＣユニット８５により生成される対応予測ブロックとの和を求めることにより、現在ビデオブロックのデコードされたビデオブロックを再構築する。ループフィルタ（図示せず）は加算器９０とＤＰＢ９２との間に位置してもよく、それによりデコードされたビデオブロックを更に処理する。フレームにおけるデコードされたビデオブロックを与えてからＤＰＢ９２に記憶し、ＤＰＢ９２は次のビデオブロックの後続の動き補償に使用される参照フレームを記憶する。ＤＰＢ９２又はＤＰＢ９２と分離するメモリ装置はデコードされたビデオを記憶してもよく、それによりその後で表示装置（例えば、図１における表示装置３４）に表示する。

代表的なビデオ符号化過程において、ビデオシーケンスは一般的に１組の規則的なフレーム又はピクチャを含む。各フレームは３つのサンプル配列を含んでもよく、それらがＳＬ、ＳＣｂ及びＳＣｒと示される。ＳＬが輝度サンプルの２次元配列である。ＳＣｂがＣｂ色度サンプルの２次元配列である。ＳＣｒがＣｒ色度サンプルの２次元配列である。他の実例では、フレームは単色であってもよく、従って、１つのみの２次元輝度サンプル配列を含む。

図４Ａに示すように、ビデオエンコーダ２０（又は、より具体的に、パーティションユニット４５）はまずフレームを１組の符号化ツリーユニット（ＣＴＵ）に分割してフレームのエンコードされた表示を生成する。ビデオフレームは整数個のＣＴＵを含んでもよく、それらが左から右まで及び上から下までのラスター走査順序に従って連続的に配列されている。各ＣＴＵは最も大きな論理符号化ユニットであり、且つＣＴＵの幅及び高さはビデオエンコーダ２０がシーケンスパラメータセットにおいてシグナリングにより送信されるのであり、ビデオシーケンスにおけるすべてのＣＴＵに同じ寸法、即ち１２８×１２８、６４×６４、３２×３２及び１６×１６を有させる。しかしながら、注意されるように、本願は特定の寸法に限らない。図４Ｂに示すように、各ＣＴＵは輝度サンプルの１つの符号化ツリーブロック（ＣＴＢ）と、色度サンプルの２つの対応符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するための構文要素と、を含んでもよい。構文要素はエンコードされたピクセルブロックの異なるタイプユニットの属性、及びビデオデコーダ３０においてビデオシーケンスをどのように再構築するかについて説明し、インター又はイントラ予測、イントラ予測モード、動きベクトル及び他のパラメータを含む。単色ピクチャ又は３つの独立したカラー平面を有するピクチャにおいて、ＣＴＵは単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するための構文要素とを含んでもよい。符号化ツリーブロックはサンプルのＮｘＮブロックであってもよい。

より良い性能を実現するために、ビデオエンコーダ２０はＣＴＵの符号化ツリーブロックに対してツリー分割、例えば２分木分割、３分木分割、４分木分割又は両方の組み合わせを再帰的に実施し、且つＣＴＵを一層小さな符号化ユニット（ＣＵ）に分割することができる。図４Ｃに示すように、まず６４ｘ６４のＣＴＵ４００を４つの比較的小さなＣＵに分割し、各比較的小さなＣＵが３２ｘ３２のブロック寸法を有する。４つの比較的小さなＣＵのうち、ＣＵ４１０及びＣＵ４２０のそれぞれはブロック寸法に基づいて４つの１６ｘ１６のＣＵに分割される。２つの１６ｘ１６のＣＵ４３０及び４４０のそれぞれはブロック寸法に基づいて４つの８ｘ８のＣＵに更に分割される。図４Ｄには４分木データ構造を示し、該４分木データ構造は図４Ｃに示されるＣＴＵ４００のパーティション過程の最終的な結果を示し、４分木の各リーフノードは３２ｘ３２から８ｘ８までの対応寸法範囲における１つのＣＵに対応する。図４Ｂに示されるＣＴＵのように、各ＣＵは輝度サンプルの符号化ブロック（ＣＢ）と、同じ寸法を有するフレームの色度サンプルの２つの対応符号化ブロックと、符号化ブロックのサンプルを符号化するための構文要素と、を含んでもよい。単色ピクチャ又は３つの独立したカラー平面を有するピクチャにおいて、ＣＵは単一の符号化ブロックと、符号化ブロックのサンプルを符号化するための構文構造とを含んでもよい。注意されるように、図４Ｃ及び図４Ｄに示される４分木分割は説明のためのものに過ぎず、且つ１つのＣＴＵをＣＵに分割して４分木／３分木／２分木パーティションによる異なる局所特性に適応することができる。マルチタイプツリー構造において、１つのＣＴＵは４分木構造に基づいて分割され、各４分木のリーフＣＵは２分木及び３分木構造に基づいて更に分割されてもよい。図４Ｅに示すように、５つの分割タイプ、即ち４元分割、水平２元分割、垂直２元分割、水平３元分割及び垂直３元分割がある。

いくつかの実施形態では、ビデオエンコーダ２０は更にＣＵの符号化ブロックを１つ又は複数のＭｘＮ予測ブロック（ＰＢ）に分割することができる。予測ブロックは矩形（正方形又は非正方形）サンプルブロックであり、該サンプルブロックにおいて同じインター又はイントラ予測を応用する。ＣＵの予測ユニット（ＰＵ）は輝度サンプルの予測ブロックと、色度サンプルの２つの対応予測ブロックと、前記予測ブロックを予測するための構文要素と、を含んでもよい。単色ピクチャ又は３つの独立したカラー平面を有するピクチャにおいて、ＰＵは単一の予測ブロックと、前記予測ブロックを予測するための構文構造とを含んでもよい。ビデオエンコーダ２０はＣＵの各ＰＵの輝度、Ｃｂ及びＣｒ予測ブロックに対して予測輝度、Ｃｂ及びＣｒブロックを生成することができる。

ビデオエンコーダ２０はイントラ予測又はインター予測によりＰＵの予測ブロックを生成することができる。ビデオエンコーダ２０がイントラ予測によりＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０はＰＵに関連するフレームのデコードされたサンプルに基づいてＰＵの予測ブロックを生成することができる。ビデオエンコーダ２０がインター予測によりＰＵの予測ブロックを生成する場合、ビデオエンコーダ２０は該ＰＵに関連するフレーム以外の１つ又は複数のフレームのデコードされたサンプルに基づいてＰＵの予測ブロックを生成することができる。

ビデオエンコーダ２０がＣＵの１つ又は複数のＰＵに対して予測輝度、Ｃｂ及びＣｒブロックを生成した後、ビデオエンコーダ２０はそのオリジナル輝度符号化ブロックからＣＵの予測輝度ブロックを引くことによりＣＵの輝度残差ブロックを生成することができ、ＣＵの輝度残差ブロックにおける各サンプルがＣＵの予測輝度ブロックの１つにおける輝度サンプルとＣＵのオリジナル輝度符号化ブロックにおける対応サンプルとの差を示すようにする。同様に、ビデオエンコーダ２０はＣＵに対してそれぞれＣｂ残差ブロック及びＣｒ残差ブロックを生成することができ、ＣＵのＣｂ残差ブロックにおける各サンプルがＣＵの予測Ｃｂブロックの１つにおけるＣｂサンプルとＣＵのオリジナルＣｂ符号化ブロックにおける対応のサンプルとの差を示すようにし、且つＣＵのＣｒ残差ブロックにおける各サンプルはＣＵの予測Ｃｒブロックの１つにおけるＣｒサンプルとＣＵのオリジナルＣｒ符号化ブロックにおける対応サンプルとの差を示すことができる。

また、図４Ｃに示すように、ビデオエンコーダ２０は４分木分割によりＣＵの輝度、Ｃｂ及びＣｒ残差ブロックを１つ又は複数の輝度、Ｃｂ及びＣｒ変換ブロックに分解することができる。変換ブロックはそれに同じ変換を応用する矩形（正方形又は非正方形）サンプルブロックである。ＣＵの変換ユニット（ＴＵ）は輝度サンプルの変換ブロックと、色度サンプルの２つの対応変換ブロックと、前記変換ブロックサンプルを変換するための構文要素と、を含んでもよい。従って、ＣＵの各ＴＵは輝度変換ブロック、Ｃｂ変換ブロック及びＣｒ変換ブロックに関連してもよい。いくつかの例では、ＴＵに関連する輝度変換ブロックはＣＵの輝度残差ブロックのサブブロックであってもよい。Ｃｂ変換ブロックはＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックはＣＵのＣｒ残差ブロックのサブブロックであってもよい。単色ピクチャ又は３つの独立したカラー平面を有するピクチャにおいて、ＴＵは単一の変換ブロックと、前記変換ブロックを変換するためのサンプルの構文構造とを含んでもよい。

ビデオエンコーダ２０は１つ又は複数の変換をＴＵの輝度変換ブロックに応用してＴＵに対する輝度係数ブロックを生成することができる。係数ブロックは変換係数の２次元配列であってもよい。変換係数はスカラーであってもよい。ビデオエンコーダ２０は１つ又は複数の変換をＴＵのＣｂ変換ブロックに応用してＴＵに対するＣｂ係数ブロックを生成することができる。ビデオエンコーダ２０は１つ又は複数の変換をＴＵのＣｒ変換ブロックに応用してＴＵに対するＣｒ係数ブロックを生成することができる。

係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は前記係数ブロックを量子化することができる。量子化は一般的に、変換係数を量子化して前記変換係数を示すためのデータ量をできる限り低減することにより更なる圧縮を提供する過程を指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は量子化後の変換係数を示す構文要素に対してエントロピーエンコードを行うことができる。例えば、ビデオエンコーダ２０は量子化後の変換係数を示す構文要素に対してコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）を実施することができる。最後に、ビデオエンコーダ２０はビットシーケンスを含むビットストリームを出力することができ、前記ビットシーケンスは符号化フレーム及び関連データの表示を形成し、該表示は記憶装置３２に保存され、又は宛先デバイス１４に伝送される。

ビデオエンコーダ２０により生成されたビットストリームを受信した後、ビデオデコーダ３０は前記ビットストリームを解析して前記ビットストリームから構文要素を取得することができる。ビデオデコーダ３０は少なくとも部分的に前記ビットストリームから取得された構文要素に基づいてビデオデータのフレームを再構築することができる。ビデオデータの再構築過程は一般的にビデオエンコーダ２０が実行するエンコーディング過程と逆である。例えば、ビデオデコーダ３０は現在ＣＵのＴＵに関連する係数ブロックに対して逆変換を実施することができ、それにより現在ＣＵのＴＵに関連する残差ブロックを再構築する。ビデオデコーダ３０は更に現在ＣＵのＰＵの予測ブロックのサンプルと現在ＣＵのＴＵの変換ブロックの対応サンプルとを加えることにより現在ＣＵの符号化ブロックを再構築する。フレームの各ＣＵに対して符号化ブロックを再構築した後、ビデオデコーダ３０は前記フレームを再構築することができる。

上述のように、ビデオ符号化は主に２種類のモードを使用してビデオ圧縮即ちイントラ予測及びインター予測を実現する。パレットベース符号化は多くのビデオ符号化標準により採用される他の符号化スキームである。スクリーンにより生成されたコンテンツの符号化に特に適する可能性があるパレットベース符号化において、ビデオコーデック（例えば、ビデオエンコーダ２０又はビデオデコーダ３０）はカラーのパレットテーブルを形成し、該パレットテーブルが与えられたブロックのビデオデータを示す。パレットテーブルは与えられたブロックにおける最も主要な（例えば、頻繁に使用される）ピクセル値を含む。与えられたブロックのビデオデータにおける頻繁に表示されていないピクセル値はパレットテーブルに含まれないか、パレットテーブルに含まれてエスケープカラー（ｅｓｃａｐｅ ｃｏｌｏｒ）とされるかである。

パレットテーブルにおける各エントリーはパレットテーブルにおける対応ピクセル値のインデックスを含む。ブロックにおけるサンプルに対するパレットインデックスはエンコードされて、パレットテーブルにおけるどのエントリーがどのサンプルの予測又は再構築に使用されるかを示すことができる。該パレットモードは、ピクチャ、スライス、タイル又は他のこのようなビデオブロックをグルーピングする第１ブロックがパレット予測器を生成する過程からスタートする。以下に解釈する、後続のビデオブロックに使用されるパレット予測器は一般的に以前に使用したパレット予測器を更新することにより生成されるものである。説明のために、パレット予測器がピクチャレベルで定義されると仮定する。即ち、ピクチャは複数の符号化ブロックを含む可能性があり、各符号化ブロックはいずれもそれ自体のパレットテーブルを有するが、ピクチャ全体は１つのみのパレット予測器がある。

ビデオビットストリームにおけるシグナリングによりパレットエントリーを送信するために必要なビットを低減するために、ビデオデコーダはパレット予測器を利用してパレットテーブルにおけるビデオブロックを再構築するための新たなパレットエントリーを決定することができる。例えば、パレット予測器は以前に使用したパレットテーブルからのパレットエントリーを含んでもよく、又は、ひいては最近に使用したパレットテーブルのすべてのエントリーを含むことにより最近に使用したパレットテーブルを利用してパレット予測器を初期化することができる。いくつかの実施形態では、パレット予測器は最近に使用したパレットテーブルのすべてのエントリーより少ないものを含んでもよく、且つ、次に以前に使用した他のパレットテーブルからのいくつかのエントリーを合わせることができる。パレット予測器は異なるブロックを符号化するためのパレットテーブルと同じ寸法を有してもよく、又は異なるブロックを符号化するためのパレットテーブルより大きくてもよく、又は異なるブロックを符号化するためのパレットテーブルより小さくてもよい。一例では、パレット予測器は６４個のパレットエントリーを含む先入れ先出し（ＦＩＦＯ）テーブルとして実現される。

パレット予測器に基づいてビデオデータブロックに対するパレットテーブルを生成するために、ビデオデコーダはエンコードされたビデオビットストリームからパレット予測器の各エントリーの１ビット識別子を受信することができる。１ビット識別子は前記パレット予測器の関連エントリーがパレットテーブルに含まれることを示す第１値（例えば、バイナリ１）、又はパレット予測器の関連エントリーがパレットテーブルに含まれないことを示す第２値（例えば、バイナリ０）を有してもよい。パレット予測器の寸法がビデオデータブロックに使用されるパレットテーブルより大きい場合、パレットテーブルの最大寸法に達すると、ビデオデコーダはより多くの識別子の受信を停止することができる。

いくつかの実施形態では、パレットテーブルにおけるいくつかのエントリーはパレット予測器を使用して決定されるのではなく、エンコードされたビデオビットストリームにおいて直接にシグナリングにより送信されてもよい。このようなエントリーに対して、ビデオデコーダはエンコードされたビデオビットストリームから３つの別々のｍビット値を受信することができ、該３つの別々のｍビット値は該エントリーに関連する輝度及び２つの色度成分のピクセル値を示し、ここで、ｍがビデオデータのビット深度を示す。直接にシグナリングによりパレットエントリーを送信するために必要な複数のｍビット値に比べて、パレット予測器から導き出されたそれらのパレットエントリーは１ビット識別子のみを必要とする。従って、パレット予測器を使用してシグナリングによりいくつか又はすべてのパレットエントリーを送信することにより、シグナリングにより新たなパレットテーブルのエントリーを送信するために必要なビット数を著しく低減することができ、それによりパレットモードで符号化する全体の符号化効率を向上させる。

多くの場合、１つのブロックに対するパレット予測器は以前にエンコードされた１つ又は複数のブロックを符号化するためのパレットテーブルに基づいて決定したものである。しかしながら、ピクチャ、スライス又はタイルにおける第１符号化ツリーユニットを符号化するとき、以前にエンコードされたブロックのパレットテーブルは利用不可能である可能性がある。従って、以前に使用したパレットテーブルのエントリーを使用してパレット予測器を生成することが不可能である。このような場合、シーケンスパラメータセット（ＳＰＳ）及び／又はピクチャパラメータセット（ＰＰＳ）においてシグナリングによりパレット予測器初期化値のシーケンスを送信することができ、これらの値は以前に使用したパレットテーブルが利用不可能である場合にパレット予測器を生成するための値である。ＳＰＳは一般的に、連続的にエンコードされる一連のビデオピクチャ（符号化ビデオシーケンス（ＣＶＳ）と称される）に応用される構文要素の構文構造を指し、各スライスセグメントヘッダにおいて発見した構文要素が指すＰＰＳにおいて見つけた構文要素のコンテンツによって決定される。ＰＰＳは一般的に、ＣＶＳ内の１つ又は複数の個別ピクチャに応用される構文要素の構文構造を指し、各スライスセグメントヘッダにおいて発見した構文要素によって決定される。従って、ＳＰＳは一般的にＰＰＳより一層高いレベルの構文構造と見なされ、これは、ＰＰＳに含まれる構文要素に比べて、ＳＰＳに含まれる構文要素が一般的に頻繁に変化せず且つビデオデータのより大きな部分に応用されることを意味する。

図５Ａ～図５Ｂは本開示のいくつかの実施形態に係るコンテキスト符号化及びバイパス符号化を用いる変換係数符号化の例を示すブロック図である。

ＶＶＣにおける変換係数の符号化はＨＥＶＣにおける変換係数の符号化と類似し、その理由は、それらがいずれも非重複係数グループ（ＣＧ又はサブブロックとも称される）を使用するためである。しかしながら、この２種類のスキームにはいくつかの相違がある。ＨＥＶＣにおいて、係数の各ＣＧの寸法が４ｘ４に固定される。ＶＶＣ Ｄｒａｆｔ６において、ＣＧ寸法がＴＢ寸法に依存するようになる。従って、ＶＶＣにおいて様々なＣＧ寸法（１ｘ１６、２ｘ８、８ｘ２、２ｘ４、４ｘ２及び１６ｘ１）を使用することができる。符号化ブロック内のＣＧ及びＣＧ内の変換係数は予め定義された走査順序に従ってエンコードされる。

各ピクセルのコンテキスト符号化ビン（ＣＣＢ）の最大数を制限するために、ＴＢの面積及びビデオ成分のタイプ（即ち、輝度成分及び色度成分）はＴＢに対するコンテキスト符号化ビン（ＣＣＢ）の最大数を導き出すことに用いられる。いくつかの実施例では、コンテキスト符号化ビンの最大数はＴＢ＿ｚｏｓｉｚｅ＊１．７５に等しい。ここで、ＴＢ＿ｚｏｓｉｚｅが係数をゼロリセットした後のＴＢ内のサンプルの数を示す。なお、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇはＣＧが非ゼロ係数を含むかどうかを示す識別子であり、該識別子がＣＣＢカウント時に考慮されていない。

係数のゼロリセットは、変換ブロックに対して変換ブロックの特定領域内に位置する係数を強制的にゼロとして設定することを実施する操作である。例えば、現在ＶＶＣにおいて、６４ｘ６４ＴＢは関連するゼロリセット操作を有する。その結果、６４ｘ６４ＴＢの左上の３２ｘ３２領域以外に位置する変換係数はすべて強制的にゼロにされる。事実的に、現在ＶＶＣにおいて、ある次元に沿う寸法が３２を超えるいかなる変換ブロックに対して、該次元に沿って係数のゼロリセット操作を実施して左上の３２ｘ３２領域以外に位置する係数を強制的にゼロにする。

ＶＶＣにおける変換係数の符号化において、変数ｒｅｍＢｉｎｓＰａｓｓｌはまず許容されるコンテキスト符号化ビン（ＭＣＣＢ）の最大数として設定される。符号化過程期間に、シグナリングによりコンテキストエンコードされたバイナリビットを送信するたびに、変数はいずれも１を引くこととなる。ｒｅｍＢｉｎｓＰａｓｓ１が４以上である場合、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ及びａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇを含む構文要素を利用してシグナリングにより係数を送信し、すべてのこれらはいずれも第１繰り返しにおいてコンテキストエンコードされたバイナリビットを使用する。前記係数の残りのレベル情報はａｂｓ＿ｒｅｍａｉｎｄｅｒの構文要素を利用して第２繰り返しにおいてＧｏｌｏｍｂ－Ｒｉｃｅコード及びバイパスエンコードされたバイナリビットを使用してエンコードされる。第１繰り返しを符号化する際にｒｅｍＢｉｎｓＰａｓｓ１が４より小さくなる場合、現在係数は第１繰り返しにおいてエンコードされるのではなく、第２繰り返しにおいてＧｏｌｏｍｂ－Ｒｉｃｅコード及びバイパスエンコードされたバイナリビットを使用してｄｅｃ＿ａｂｓ＿ｌｅｖｅｌの構文要素を利用して直接エンコードされる。すべての上記レベルがエンコードされた後、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇが１に等しいすべての符号フラグ（ｓｉｇｎ＿ｆｌａｇ）は最終的にバイパスバイナリビットにエンコードされる。このような過程は図５Ａにおいて説明される。ｒｅｍＢｉｎｓＰａｓｓ１は各ＴＢに対してリセットされる。ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ及びａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇに対してコンテキストエンコードされたバイナリビットを使用することから、残りの係数に対してバイパスエンコードされたバイナリビットを使用することまでの変換は１ＴＢあたりに多くとも１回発生する。係数サブブロックについては、その１番目の係数を符号化する前にｒｅｍＢｉｎｓＰａｓｓ１が４より小さい場合、バイパスエンコードされたバイナリビットを使用して係数サブブロック全体を符号化する。

ＨＥＶＣにおいて単一の残差符号化スキームを設計して変換係数及び変換スキップ係数の両方を符号化することに用いられることと異なり、ＶＶＣにおいて、２つの独立した残差符号化スキームはそれぞれ変換係数及び変換スキップ係数（即ち、残差）に使用される。

例えば、変換スキップモードにおける残差の統計特性が変換係数の統計特性と異なり、且つ低周波数成分の周囲にエネルギー圧縮がないことが見える。残差の符号化は、（空間領域）変換スキップ残差を考慮した異なる信号特性に修正されており、
（１）最後のｘ／ｙ位置がないシグナリング、
（２）すべての以前の識別子がいずれも０に等しい場合、ＤＣサブブロック以外の各サブブロックに対してエンコードされたｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ、
（３）２つの隣接係数ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇを利用してコンテキストモデリングを行うこと、
（４）ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇが１つのみのコンテキストモデルを使用すること、
（５）追加の５、７、９つ以上の識別子、
（６）剰余二値化のための修正されたｒｉｃｅパラメータを導き出すこと、及び、
（７）符号フラグのコンテキストモデリングが左及び上隣接係数値に基づいて決定したものであり、且つｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの後で符号フラグを解析してコンテキストエンコードされたすべてのバイナリビットを一体に維持すること、を含み、
図５Ｂに示すように、構文要素ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇは第１繰り返しにおいて一方の残差サンプルから他方の残差サンプルまでのインターリーブ方式でエンコードされ、その後は第２繰り返しにおけるａｂｓ＿ｌｅｖｅｌ＿ｇｔＸ＿ｆｌａｇビットプレーン及び第３繰り返しにおけるａｂｓ＿ｒｅｍａｉｎｄｅｒ符号化である。

繰り返し１
ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇである。

繰り返し２
ａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ５＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ７＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ９＿ｆｌａｇである。

繰り返し３
ａｂｓ＿ｒｅｍａｉｎｄｅｒである。

図６は本開示のいくつかの実施形態に係る依存スカラー量子化の例示的な過程を示すブロック図である。

現在のＶＶＣにおいて、最大ＱＰ値は５１から６３に拡張され、且つ初期ＱＰのシグナリングも対応して変化する。ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａの非ゼロ値がエンコードされるとき、ＳｌｉｃｅＱｐＹの初期値はスライスサブ層で修正されてもよい。変換スキップブロックについては、許容される最小ＱＰは４に限定され、その理由はＱＰが１に等しい場合、量子化ステップサイズが１になるためである。

また、「依存スカラー量子化」と称される新しい概念を利用してＨＥＶＣにおいて使用されるスカラー量子化に適応する。依存スカラー量子化とは、変換係数に対する１組の許容可能な再構築値が再構築順序に従って現在変換係数レベルの前に位置する変換係数レベルの値によって決定される方法を指す。ＨＥＶＣにおいて使用される通常の独立したスカラー量子化に比べて、許容可能な再構築ベクトルはＮ次元ベクトル空間においてより集中して圧縮される（Ｎが変換ブロックにおける変換係数の数を示す）。即ち、与えられた１Ｎ次元あたりの単位体積の許容可能な再構築ベクトルの平均数に対して、入力ベクトルと最も接近する再構築ベクトルとの平均歪みが低減される。依存スカラー量子化方法は、（ａ）異なる再構築レベルを有する２つのスカラー量子化器を定義すること、（ｂ）２つのスカラー量子化器を切り替える過程を定義すること、により実現される。

使用される２つのスカラー量子化器（Ｑ０及びＱ１で示される）は図６に示される。利用可能な再構築レベルの位置は量子化ステップサイズΔによって唯一に指定される。使用されるスカラー量子化器（Ｑ０又はＱ１）はビットストリームにおいてシグナリングにより明示的に送信されない。それとは逆に、現在変換係数のための量子化器は符号化又は再構築順序に従って現在変換係数の前に位置する変換係数レベルの奇偶性によって決定される。

図７は本開示のいくつかの実施形態に係る２つの異なるスカラー量子化器を切り替えるための例示的なステートマシンを示すブロック図である。

図７に示すように、２つのスカラー量子化器（Ｑ０及びＱ１）の切り替えは４つの量子化器状態（ＱＳｔａｔｅ）を有するステートマシンにより実現される。ＱＳｔａｔｅは４つの異なる値、即ち０、１、２、３を用いてもよい。それは符号化／再構築順序に従って現在変換係数の前に位置する変換係数レベルの奇偶性によって唯一に決定される。変換ブロックの逆量子化が始まるとき、状態は０に等しく設定される。変換係数は走査順序（即ち、それらに対してエントロピーデコーディングを行うときと同じ順序）に従って再構築される。現在変換係数を再構築した後、状態が更新され、図７に示され、ここで、ｋが変換係数レベルの値を示す。

シグナリングによりデフォルト及びユーザー定義したスケーリング行列を送信することが更にサポートされる。デフォルト（ＤＥＦＡＵＬＴ）モードスケーリング行列はいずれも平坦なものであり、すべてのＴＢ寸法に対して、要素がいずれも１６に等しい。現在、ＩＢＣ及びイントラ符号化モードは同じスケーリング行列を共有する。従って、ユーザー定義した（ＵＳＥＲ＿ＤＥＦＩＮＥＤ）行列の場合には、ＭａｔｒｉｘＴｙｐｅ及びＭａｔｒｉｘＴｙｐｅ＿ＤＣの数は、
ＭａｔｒｉｘＴｙｐｅ：３０＝２（２がイントラ＆ＩＢＣ／インターに対する）×３（Ｙ／Ｃｂ／Ｃｒ成分）×５（正方形ＴＢ寸法：対する輝度が４×４～６４×６４であり、対する色度が２×２～３２×３２である）
ＭａｔｒｉｘＴｙｐｅ＿ＤＣ：１４＝２（２がイントラ＆ＩＢＣ／インターに対する×１がＹ成分に対する）×３（ＴＢ寸法：１６×１６、３２×３２、６４×６４）＋４（２がイントラ＆ＩＢＣ／インターに対する×２がＣｂ／Ｃｒ成分に対する）×２（ＴＢ寸法：１６×１６、３２×３２）、に更新される。

ＤＣ値は独立してエンコードされ、１６×１６、３２×３２及び６４×６４のスケーリング行列に使用される。寸法が８×８より小さなＴＢに対して、１つのスケーリング行列におけるすべての要素はいずれもシグナリングにより送信される。ＴＢの寸法が８×８以上である場合、１つの８×８スケーリング行列には６４個のみの要素は基本スケーリング行列としてシグナリングにより送信される。寸法が８×８より大きな行列を取得するために、８×８基本スケーリング行列は（要素に対するコピーにより）対応の正方形寸法（即ち、１６×１６、３２×３２、６４×６４）にアップサンプリングされる。６４ポイント変換された高周波数係数のゼロリセットを応用するとき、スケーリング行列の対応高周波数もゼロリセットされる。即ち、ＴＢの幅又は高さが３２以上である場合、係数の左半部又は上半部のみを保存し、且つ残りの係数がゼロに割り当てられる。また、６４×６４スケーリング行列に対してシグナリングにより送信される要素の数も８×８から３つの４×４サブ行列まで減少し、その理由は右下の４×４個の要素を使用しないためである。

変換係数レベルの絶対値に関連する構文要素に対して確率モデルを選択することは、絶対レベル又は局所隣接領域における一部の再構築された絶対レベルの値によって決定される。

選択された確率モデルは局所隣接領域における絶対レベル（又は、再構築された絶対レベルの一部）と、局所隣接領域における０より大きな絶対レベルの数（１に等しいｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇｓの数により与えられる）との総和によって決定される。コンテキストモデリング及び二値化は、
・ｎｕｍＳｉｇであって、局所隣接領域における非ゼロレベルの数であるもの、
・ｓｕｍＡｂｓ１であって、局所隣接領域において第１繰り返しの後で再構築された絶対レベル（ａｂｓＬｅｖｅｌ１）の一部の総和であるもの、
・ｓｕｍＡｂｓであって、局所隣接領域における再構築された絶対レベルの総和であるもの、
・対角線位置（ｄ）であって、変換ブロック内の現在走査位置の横座標と縦座標との和であるもの、によって決定される。

ｎｕｍＳｉｇ、ｓｕｍＡｂｓ１及びｄの値に基づいて、ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ、ａｂｓ＿ｌｅｖｅｌ＿ｇｔ１＿ｆｌａｇ、ｐａｒ＿ｌｅｖｅｌ＿ｆｌａｇ及びａｂｓ＿ｌｅｖｅｌ＿ｇｔ３＿ｆｌａｇを符号化するための確率モデルを選択する。ｓｕｍＡｂｓ及びｎｕｍＳｉｇの値に基づいてａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌを二値化するためのＲｉｃｅパラメータを選択する。

現在ＶＶＣにおいて、減少された３２ポイントＭＴＳ（ＲＭＴＳ３２とも称される）はスキップ高周波数係数に基づいて３２ポイントＤＳＴ－７／ＤＣＴ－８の計算複雑度を低減することに用いられる。且つ、それはすべてのタイプのゼロリセット（即ち、ＲＭＴＳ３２及びＤＣＴ２における高周波数成分に対する現在ゼロリセット）を含む係数の符号化に従って変化する。具体的には、最後の１つの非ゼロ係数位置で符号化する二値化は減少されたＴＵ寸法に基づいて符号化し、且つ最後の１つの非ゼロ係数位置に対してエンコードされるコンテキストモデルの選択はオリジナルＴＵ寸法によって決定される。また、６０個のコンテキストモデルを使用して変換係数のｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇを符号化する。コンテキストモデルインデックスの選択はｌｏｃＳｕｍＡｂｓＰａｓｓ１と称される以前に部分的に再構築された５つの絶対レベルのうちの最大値と依存量子化状態ＱＳｔａｔｅとの総和に基づくものであり、
ｃＩｄｘが０に等しい場合、ｃｔｘＩｎｃは、
ｃｔｘＩｎｃ＝１２＊Ｍａｘ（０，ＱＳｔａｔｅ－１）＋Ｍｉｎ（（ｌｏｃＳｕｍＡｂｓＰａｓｓ１＋１）＞＞１，３）＋（ｄ＜２？８：（ｄ＜５？４：０））に導き出され、
そうでない場合、（ｃＩｄｘが０より大きい場合）、ｃｔｘＩｎｃは、
ｃｔｘＩｎｃ＝３６＋８＊Ｍａｘ（０，ＱＳｔａｔｅ－１）＋Ｍｉｎ（（ｌｏｃＳｕｍＡｂｓＰａｓｓ１＋１）＞＞１，３）＋（ｄ＜２？４：０）に導き出される。

図８は本開示のいくつかの実施形態に係るビデオデコーダが変換スキップモード符号化ブロックに対して残差符号化を実施する例示的な過程を示すフローチャートである。

いくつかの実施例では、残差を符号化するとき、統一された（同じ）Ｒｉｃｅパラメータ（ｒｉｃｅＰａｒ）が導き出されてシグナリングにより構文要素ａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌを送信することに用いられる。唯一の相違点は、ｂａｓｅＬｅｖｅｌが符号化ａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌに対してそれぞれ４及び０として設定されることである。Ｒｉｃｅパラメータの決定は局所テンプレートにおける隣接する５つの変換係数の絶対レベルの和に基づくものだけではなく、更に対応の基本レベルに基づくものであり、
ＲｉｃｅＰａｒａ＝ＲｉｃｅＰａｒＴａｂｌｅ［ｍａｘ（ｍｉｎ（３１，ｓｕｍＡｂｓ－５＊ｂａｓｅＬｅｖｅｌ），０）］である。

即ち、隣接係数のレベル情報に基づいて構文要素ａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌのバイナリコードワードを適応的に決定する。このコードワードの決定が各サンプルに対して実施されるため、追加の論理によりこのコードワードの適応を処理して係数の符号化を行う必要がある。同様に、残差ブロックを符号化するとき、隣接係数のレベル情報に基づいて構文要素ａｂｓ＿ｒｅｍａｉｎｄｅｒのバイナリコードワードを適応的に決定する。

また、残差符号化又は変換係数符号化に関連する構文要素を符号化するとき、選択された確率モデルは隣接レベルのレベル情報によって決定され、従って、追加の論理及び追加のコンテキストモデルにより該コンテキストの選択を処理する必要がある。

いくつかの実施例では、ビデオコーデックは構文要素ａｂｓ＿ｒｅｍａｉｎｄｅｒの値に対して固定バイナリコードワードを使用して残差符号化を行う。
（１）ａｂｓ＿ｒｅｍａｉｎｄｅｒのコードワードを決定する過程が固定ｒｉｃｅパラメータ（例えば、１、２又は３）を利用してＶＶＣにおいて使用する過程と同様であること、
（２）固定長二値化、
（３）切断された（truncated）Ｒｉｃｅ二値化、
（４）切断されたバイナリ（ＴＢ）二値化過程、
（５）ｋオーダＥｘｐ－Ｇｏｌｏｍｂ二値化過程（ＥＧｋ）、
（６）有限ｋオーダＥｘｐ－Ｇｏｌｏｍｂ二値化、
（７）固定長二値化、の方法を使用してバイナリコードワードを形成することができる（しかしながら、それらに限らない）（詳細な過程はＶＶＣ草案仕様書において見つけることができる）。

一定のＲｉｃｅパラメータを使用して変換スキップモード符号化ブロックをデコードするとき、ビデオデコーダはまずビットストリームから変換スキップモード符号化ブロックに対応するビデオデータを受信する（８１０）。ここで、前記ブロックが変換スキップモードを用いてエンコードし、且つビデオデコーダがデコーディング過程において逆変換を実施しないと仮定する。

次に、ビデオデコーダは受信されたビデオデータから第１コードワード（例えば、ａｂｓ＿ｒｅａｍｉｎｄｅｒ）、第２コードワード（例えば、ｓｉｇｎ＿ｃｏｅｆｆ＿ｆｌａｇ）、及び変換スキップモード符号化ブロック内のピクセルに対する第１組のコードワードをデコードする（８２０）。

デコーダは前記第１組のコードワードから初期レベル値（例えば、ｄｅｃ＿ａｂｓ＿ｌｅｖｅｌ）を導き出す（８３０）。

次に、ビデオデコーダは一定のＲｉｃｅパラメータを使用して生成した予め定義されたマッピング関係に基づいて第１コードワードをピクセルの剰余に変換する（８４０）。例えば、Ｒｉｃｅパラメータは１、２又は３の定常値を有してもよい。いくつかの実施例では、Ｒｉｃｅパラメータは１として設定される。

いくつかの実施例では、特定剰余値ａｂｓ＿ｒｅｍａｉｎｄｅｒと対応コードワードとの予め定義されたマッピング関係の生成は、
１）一定のＲｉｃｅパラメータに基づいて一定の二値化パラメータｃＭａｘを決定することは、
ｃＭａｘ＝６＜＜ｃＲｉｃｅＰａｒａｍであるステップ、
２）切断されたＲｉｃｅ二値化過程を呼び出すことにより、対応コードワードのプレフィックス値ｐｒｅｆｉｘＶａｌを導き出し、
ｐｒｅｆｉｘＶａｌ＝Ｍｉｎ（ｃＭａｘ，ａｂｓ＿ｒｅｍａｉｎｄｅｒ）であるステップ、
３）プレフィックスバイナリビットストリングは長さが６であってすべてのビットがいずれも１に等しいビットストリングに等しい場合、導き出された対応コードワードのサフィックス値ｓｕｆｆｉｘＶａｌは、
ｓｕｆｆｉｘＶａｌ＝ａｂｓ＿ｒｅｍａｉｎｄｅｒ－ｃＭａｘであるステップ、に関わる。

上述のように、特定剰余値の対応コードワードのサフィックス値は選択可能であり、その理由はコードワードのプレフィックス値がいくつかの条件を満足する場合のみ、それが存在するためである。いくつかの実施例では、該予め定義されたマッピング関係はルックアップテーブルの形式でビデオエンコーダ／デコーダのメモリに構築され、ビデオエンコーダが与えられた剰余値に対してルックアップテーブルからプレフィックス値と選択可能なサフィックス値とを含むコードワードを迅速に見つけることができるようにする。同様に、ビデオデコーダはルックアップテーブルから対応コードワードの剰余を迅速に見つけることができる。

次に、ビデオデコーダは第２コードワードを剰余（第１コードワードから取得された）の符号値（例えば、正又は負）に変換する（８５０）。

次に、ビデオデコーダは前記剰余、前記符号値及び前記初期レベル値からピクセルの量子化残差を導き出す（８６０）。

いくつかの実施形態では、ビデオコーデックは構文要素ａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌに対して固定コードワードを使用して係数符号化を行う。下記方法を使用してバイナリコードワードを形成することができる（しかしながら、それらに限らない）。

（１）ａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌに対するコードワードを決定する過程は固定Ｒｉｃｅパラメータ（例えば、１、２又は３）を利用してＶＶＣにおいて使用する過程と同様である。現在ＶＶＣにおいて使用されるａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌに対するｂａｓｅＬｅｖｅｌは依然として異なってもよく（例えば、ｂａｓｅＬｅｖｅｌが符号化ａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌに対してそれぞれ４及び０として設定される）、
（２）ａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌに対するコードワードを決定する過程は固定Ｒｉｃｅパラメータ（例えば、１、２又は３）を利用してＶＶＣにおいて使用する過程と同様である。ａｂｓ＿ｒｅｍａｉｎｄｅｒ及びｄｅｃ＿ａｂｓ＿ｌｅｖｅｌに対するｂａｓｅＬｅｖｅｌｓも統一されたものである。（例えば、いずれも０を使用し、又はいずれも４を使用する）
（３）固定長二値化であり、
（４）切断されたＲｉｃｅ二値化であり、
（５）切断されたバイナリ（ＴＢ）二値化過程であり、
（６）ｋオーダＥｘｐ－Ｇｏｌｏｍｂ二値化過程（ＥＧｋ）であり、
（７）有限ｋオーダＥｘｐ－Ｇｏｌｏｍｂ二値化であり、
（８）固定長二値化である。

いくつかの実施例では、ビデオコーデックは単一のコンテキストを使用して残差符号化又は係数符号化に関連する構文要素（例えば、ａｂｓ＿ｌｅｖｅｌ＿ｇｔｘ＿ｆｌａｇ）を符号化し、且つ隣接デコーディングレベル情報に基づくコンテキスト選択を削除することができる。

図９は本開示のいくつかの実施形態に係る例示的なコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）エンジンを示すブロック図である。

コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）は多くのビデオ符号化標準（例えば、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ、高効率ビデオ符号化（ＨＥＶＣ）及びＶＶＣ）において使用されるエントロピー符号化形式である。ＣＡＢＡＣは算術符号化に基づくものであり、いくつかの変化を有することによりビデオ符号化標準のニーズを満足させる。例えば、ＣＡＢＡＣはバイナリシンボルを符号化し、これは低複雑度を維持し、且ついかなるシンボルのより頻繁に使用するビットに対して確率モデリングを行うことを許容する。局所コンテキストに基づいて確率モデルを適応的に選択することにより、確率をより良くモデリングすることを許容し、その理由は符号化モードが一般的に部分的に良く関連するためである。最後に、ＣＡＢＡＣは量子化の確率範囲及び確率状態を使用することにより乗算なしの範囲の分割を使用する。

ＣＡＢＡＣは異なるコンテキストに対する複数の確率モデルを有する。それはまずすべての非バイナリシンボルをバイナリに変換する。次に、各バイナリビット（「ビット」とも称される）に対して、コーデックはどの確率モデルを使用するかを選択し、次に近傍要素からの情報を使用して確率推定を最適化する。最後に、算術符号化を応用してデータを圧縮する。

コンテキストモデリングは符号化シンボルの条件確率の推定を提供する。適切なコンテキストモデルを利用して、エンコードされる現在シンボル隣接領域における符号化後のシンボルに基づいて、異なる確率モデルを切り替えることにより与えられたシンボル間冗長性を利用することができる。データシンボルに対する符号化は下記段階に関わる。

二値化
ＣＡＢＡＣはバイナリ算術符号化を使用し、これはバイナリデシジョン（１又は０）のみをエンコードすることを意味する。算術符号化の前に、非バイナリ値シンボル（例えば、変換係数又は動きベクトル）はバイナリコードに「二値化」又は変換される。該過程はデータシンボルを可変長コードに変換する過程と類似するが、バイナリコードは伝送される前に更にエンコードされる（算術コーデックにより実行される）。二値化シンボルの各バイナリビット（又は、「ビット」）に対して各段階を繰り返す。

コンテキストモデル選択
「コンテキストモデル」は二値化シンボルに対する１つ又は複数のバイナリビットの確率モデルである。最近にエンコードされたデータシンボルの統計データに基づいて利用可能モデルの選択によって該モデルを選択することができる。コンテキストモデルは各バイナリビットが「１」又は「０」である確率を記憶する。

算術エンコーディング
算術エンコーダは選択された確率モデルに基づいて各バイナリビットをエンコードする。なお、各バイナリビットは２つのみのサブ範囲（「０」及び「１」に対応する）がある。

確率更新
実際符号化値に基づいて選択されたコンテキストモデルを更新する（例えば、バイナリビット値が「１」である場合、「１」の周波数カウントを増加する）。

各非バイナリ構文要素値を一連のバイナリビットに分解することにより、ＣＡＢＡＣにおける各バイナリビット値の更なる過程は関連する符号化モードデシジョンによって決定され、関連する符号化モードは通常モード又はバイパスモードとして選択されてもよい。後者はバイナリビットに使用されるものとして選択され、バイナリビットが均一に分布すると仮定し、従って、バイナリビットに対する通常のバイナリ算術エンコーディング（及び、デコーディング）過程全体を簡単に避ける。通常の符号化モードにおいて、各バイナリビット値は通常のバイナリ算術符号化エンジンを使用してエンコードされ、関連する確率モデルは構文要素のタイプ及び構文要素の二値化表示におけるバイナリビット位置又はバイナリビットインデックス（ｂｉｎＩｄｘ）に基づいて固定選択によって決定され、又は、関連する副次情報（例えば、ＣＵ／ＰＵ／ＴＵの空間領域近傍、成分、深度又は寸法、又はＴＵ内の位置）に基づいて２つ又は複数の確率モデルから適応的に選択される。確率モデルの選択はコンテキストモデリングと称される。重要な設計デシジョンとして、後者は一般的に最もよく見られるバイナリビットのみに適用されるが、一般的によく見られない他のバイナリビットは連携される一般的にゼロオーダ確率モデルを使用して処理される。このような方式によって、ＣＡＢＡＣはサブシンボルレベルでの選択適応確率モデリングを実現し、従って、高効率ツールを提供し、著しく低減する全体モデリング又は学習コストでシンボル間冗長性を利用することに用いられる。なお、固定及び適応の２つの状況に対して、原則的に、一方の確率モデルから他方の確率モデルまでの切り替えはいずれか２つの連続した通常の符号化バイナリビットの間で発生してもよい。一般的には、ＣＡＢＡＣにおけるコンテキストモデルの設計は不必要なモデリングコストオーバーヘッドを回避することと、統計的依存性を大きな程度で利用することとのバランスを取ることを反映する。

ＣＡＢＡＣにおける確率モデルのパラメータは適応的なものであり、これは、モデル確率のバイナリビットソースの統計変化への適応が１バイナリビットあたりに後向きに適応及び同期する方式でエンコーダ及びデコーダの両方において実施されることを意味し、この過程は確率推定と称される。このために、ＣＡＢＡＣにおける各確率モデルはいずれも１２６種類の異なる状態から１種類を選択してもよく、関連モデル確率値ｐ範囲は区間［０：０１８７５；０：９８１２５］内にある。各確率モデルの２つのパラメータは７ビットエントリーとしてコンテキストメモリに記憶され、即ち、６ビットは最も不可能なシンボル（ＬＰＳ）を示すモデル確率ｐＬＰＳの６３個の確率状態のそれぞれに対するものであり、且つ１ビットはｎＭＰＳ、即ち最も可能なシンボル（ＭＰＳ）の値に対するものである。

１つ又は複数の例では、説明される機能はハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにより実現される場合、機能は１つ又は複数の命令又はコードとしてコンピュータ可読媒体に記憶され、又はコンピュータ可読媒体により伝送されてハードウェアベース処理ユニットにより実行されてもよい。コンピュータ可読媒体は、例えばデータ記憶媒体等の有形媒体に対応するコンピュータ可読記憶媒体、又は、コンピュータプログラムを一箇所から例えば通信プロトコルに基づいて他の箇所まで容易に伝送することができるいかなる媒体を含む通信媒体を含んでもよい。この方式によって、コンピュータ可読媒体は一般的に、（１）非一時的有形コンピュータ可読記憶媒体、又は、（２）例えば信号又はキャリア等の通信媒体に対応してもよい。データ記憶媒体は、１つ又は複数のコンピュータ、又は１つ又は複数のプロセッサがアクセスして命令、コード及び／又はデータ構造を検索することにより本願に説明される実施形態を実現することができるいかなる利用可能媒体であってもよい。コンピュータプログラム製品はコンピュータ可読媒体を含んでもよい。

本明細書の実施形態の説明において使用される用語は特定の実施形態を説明するためのものに過ぎず、特許請求の範囲を制限するためのものではない。上下の文脈において他の意味を明確に示していない限り、実施形態の説明及び添付の特許請求の範囲に使用される単数形式の「１種類」、「１つ」及び「該」は複数形式も含むように意図されている。更に理解されるように、本明細書に使用される用語「及び／又は」は１つ又は複数の関連する列挙した項目の任意及びすべての可能な組み合わせを指し、且つ１つ又は複数の関連する列挙した項目の任意及びすべての可能な組み合わせを含む。更に理解されるように、用語「備える」及び／又は「含む」は本明細書に使用される際に前記特徴、要素及び／又は部材の存在を指定するが、１つ又は複数の他の特徴、要素、部材及び／又はそれらからなる群の存在又は追加を排除しない。

更に理解されるように、用語「第１」、「第２」等は本明細書において様々な要素を説明することに用いられてもよいが、これらの要素はこれらの用語により制限されるものではない。これらの用語は１種類の要素と他の種類の要素とを区別することのみに用いられる。例えば、実施形態の範囲を逸脱せずに、第１電極は第２電極と称されてもよく、且つ、同様に第２電極は第１電極と称されてもよい。第１電極及び第２電極はいずれも電極であるが、同じ電極ではない。

本願の記述は説明及び記述のためのものであり、開示される形式の本発明を網羅又は制限するように意図されるものではない。上記記述及び関連図面における指導を受けて、多くの修正、変化及び代替実施形態は当業者にとっては明らかなものである。実施例の選択及び記述は、本発明の原理、実際応用を最もよく解釈し、且つ、当業者が本発明の様々な実施形態を理解でき、基本原理及び様々な修正を有する様々な実施形態を最もよく利用し、例えば期待される特定用途に適用するようにするためのものである。従って、理解されるように、特許請求の範囲は開示される実施形態の具体例に限らず、且つ修正及び他の実施形態は添付の特許請求の範囲内に含まれるように意図されている。

Claims (10)

1. ビデオデータをデコードする方法であって、
   ビットストリームから変換スキップモード符号化ブロックに対応するビデオデータを受信することと、
   前記ビデオデータから前記変換スキップモード符号化ブロック内のピクセルに対する第１コードワード、第２コードワード及び第１組のコードワードを決定することと、
   前記第１組のコードワードから初期レベル値を導き出すことと、
   一定のＲｉｃｅパラメータを使用して生成した予め定義されたマッピング関係に基づいて、前記第１コードワードをピクセルの剰余に変換することと、
   前記第２コードワードに基づいて、前記剰余に対する符号を決定することと、
   前記剰余、前記符号及び前記初期レベル値から前記ピクセルの量子化残差を導き出すことと、を含み、
   前記一定のＲｉｃｅパラメータの値は、変換スキップモードに従って、１に固定されているビデオデータをデコードする方法。
2. 前記予め定義されたマッピング関係は、
   前記一定のＲｉｃｅパラメータを使用して一定の二値化パラメータを計算することと、
   前記一定の二値化パラメータを使用して、１つの候補剰余値に対して、コードワードのプレフィックス値及び対応コードワードの選択可能なサフィックス値を決定することにより生成される請求項１に記載の方法。
3. 前記コードワードのプレフィックス値は切断されたＲｉｃｅ二値化過程を使用して決定したものである請求項２に記載の方法。
4. 前記初期レベル値は、前記変換スキップモード符号化ブロック内の前記ピクセルの位置に基づいて前記ピクセルの量子化残差を導き出すことに用いられる請求項１に記載の方法。
5. 前記第１コードワードは、予め定義された値を有する前記ピクセルの剰余の固定バイナリコードワードである請求項１に記載の方法。
6. 前記第１コードワードは構文要素ａｂｓ＿ｒｅｍａｉｎｄｅｒに対応し、前記第２コードワードは構文要素ｓｉｇｎ＿ｃｏｅｆｆｉｃｉｅｎｔ＿ｆｌａｇに対応する請求項１に記載の方法。
7. 単一のコンテキストモデルは、前記第１コードワード、前記第２コードワード及び前記第１組のコードワードをデコードすることに使用される請求項１に記載の方法。
8. 電子装置であって、
   １つ又は複数の処理ユニットと、
   前記１つ又は複数の処理ユニットに結合されるメモリと、
   前記メモリに記憶される複数のプログラムと、
   を含み、
   前記プログラムは、前記１つ又は複数の処理ユニットにより実行されるとき、前記電子装置に請求項１～７のうちいずれか１項に記載の方法のひとつを実行させる電子装置。
9. 非一時的コンピュータ可読記憶媒体であって、
   １つ又は複数の処理ユニットを有する電子装置により実行される複数のプログラムを記憶し、
   前記複数のプログラムは、前記１つ又は複数の処理ユニットにより実行されるとき、前記電子装置に請求項１～７のうちいずれか１項に記載の方法のひとつを実行させる非一時的コンピュータ可読記憶媒体。
10. 非一時的コンピュータ可読記憶媒体に記憶される、１つ又は複数の処理ユニットを有する電子装置により実行されるコンピュータプログラムであって、前記１つ又は複数の処理ユニットによって実行されるときに、前記電子装置に請求項１～７のうちいずれか１項に記載の方法のひとつを実行させるコンピュータプログラム。

Images