JP7825687B2

JP7825687B2 - ルマ及びクロマ信号を処理するための方法及びシステム

Info

Publication number: JP7825687B2
Application number: JP2024185966A
Authority: JP
Inventors: イエ，ヤン; チェン，ジエ; リャオ，ルーリン
Original assignee: アリババグループホウルディングリミテッド
Priority date: 2019-06-24
Filing date: 2024-10-22
Publication date: 2026-03-06
Anticipated expiration: 2040-05-29
Also published as: CN120786069A; KR20220024912A; EP3977737A4; US11051022B2; US20220132130A1; JP2025016544A; US12069271B2; US20230353745A1; CN114375582A; US20200404278A1; JP2022538747A; EP3977737A1; WO2020263493A1; CN120786070A; US20240397052A1; US11711517B2; JP7577078B2; CN120786072A; CN114375582B; CN120786071A

Description

関連出願の相互参照
[001] 本開示は、参照によりその全体が本明細書に援用される、２０１９年６月２４日に出願された米国仮特許出願第６２／８６５，８１５号に対する優先権の利益を主張する。

技術分野
[002] 本開示は、概して、映像処理に関し、より詳細には、クロマスケーリングによるルママッピングを行うための方法及びシステムに関する。

[003] 映像は、視覚情報を捕捉する静的ピクチャ（又は「フレーム」）の組である。記憶メモリ及び伝送帯域幅を減らすために、映像は、記憶又は伝送前に圧縮し、表示前に解凍することができる。圧縮プロセスは、通常、符号化と呼ばれ、解凍プロセスは、通常、復号と呼ばれる。最も一般的には、予測、変換、量子化、エントロピーコード化及びインループフィルタリングに基づく規格化された映像コード化技術を使用する様々な映像コード化形式がある。特定の映像コード化形式を指定するHigh Efficiency Video Coding（ＨＥＶＣ／Ｈ．２６５）規格及びVersatile Video Coding（ＶＶＣ／Ｈ．２６６）規格、ＡＶＳ規格等の映像コード化規格が規格化組織によって策定されている。一層進化した映像コード化技術が映像規格に採用されるにつれて、新たな映像コード化規格のコード化効率が一層高くなる。

開示の概要
[004] 本開示の実施形態は、クロマスケーリング及びクロスコンポーネント線形モデルを伴うインループルママッピングを行うための方法及びシステムを提供する。

[005] ある例示的実施形態では、この方法は、ピクチャ内の第１のブロック及び第２のブロックを表すデータを受信することであって、データは、第１のブロックに関連する複数のクロマサンプル及び第２のブロックに関連する複数のルマサンプルを含む、受信すること、第２のブロックに関連する複数のルマサンプルの平均値を決定すること、平均値に基づいて、第１のブロックのためのクロマスケール因子を決定すること、及びクロマスケール因子を使用して、第１のブロックに関連する複数のクロマサンプルを処理することを含む。

[006] 一部の実施形態では、このシステムは、一組の命令を記憶するためのメモリと、少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、システムに、ピクチャ内の第１のブロック及び第２のブロックを表すデータを受信することであって、データは、第１のブロックに関連する複数のクロマサンプル及び第２のブロックに関連する複数のルマサンプルを含む、受信すること、第２のブロックに関連する複数のルマサンプルの平均値を決定すること、平均値に基づいて、第１のブロックのためのクロマスケール因子を決定すること、及びクロマスケール因子を使用して、第１のブロックに関連する複数のクロマサンプルを処理することを行わせるように、一組の命令を実行するように構成される。

図面の簡単な説明
[007] 本開示の実施形態及び様々な態様を以下の詳細な説明及び添付図面に示す。図中に示す様々な特徴は、縮尺通りに描かれていない。

[008]本開示の一部の実施形態による映像シーケンスの一例の構造を示す。 [009]本開示の一部の実施形態による符号化プロセスの一例の概略図を示す。 [010]本開示の一部の実施形態による符号化プロセスの別の例の概略図を示す。 [011]本開示の一部の実施形態による復号プロセスの一例の概略図を示す。 [012]本開示の一部の実施形態による復号プロセスの別の例の概略図を示す。 [013]本開示の一部の実施形態による、映像を符号化又は復号するための機器の一例のブロック図を示す。 [014]本開示の一部の実施形態による、例示的なクロマスケーリングによるルママッピング（ＬＭＣＳ）プロセスの概略図を示す。 [015]本開示の一部の実施形態による、ＬＭＣＳのためのタイルグループレベルの構文表である。 [016]本開示の一部の実施形態による、ＬＭＣＳのための別のタイルグループレベルの構文表である。 [017]本開示の一部の実施形態による、ＬＭＣＳのためのスライスレベルの構文表である。 [018]本開示の一部の実施形態による、ＬＭＣＳ区分線形モデルのための構文表である。 [019]本開示の一部の実施形態による、α及びβを導出するために使用するサンプルの位置の一例を示す。 [020]本開示の一部の実施形態による、ＣＣＬＭが有効化される場合にルマモードからクロマ予測モードを導出するための表である。 [021]本開示の一部の実施形態による、例示的なコード化ツリー単位の構文構造である。 [022]本開示の一部の実施形態による、例示的なデュアルツリー分割の構文構造である。 [023]本開示の一部の実施形態による、例示的なコード化ツリー単位の構文構造である。 [024]本開示の一部の実施形態による、例示的なデュアルツリー分割の構文構造である。 [025]本開示の一部の実施形態による、例示的なクロマツリー分割を示す。 [026]本開示の一部の実施形態による、例示的なルマツリー分割を示す。 [027]本開示の一部の実施形態による、平均化演算の例示的な単純化を示す。 [028]本開示の一部の実施形態による、クロマスケール因子を導出するための平均計算において使用されるサンプルの例を示す。 [029]本開示の一部の実施形態による、ピクチャの右側又は下部の境界におけるブロックに関してクロマスケール因子を導出する一例を示す。 [030]本開示の一部の実施形態による、例示的なコード化ツリー単位の構文構造である。 [031]本開示の一部の実施形態による、別の例示的なコード化ツリー単位の構文構造である。 [032]本開示の一部の実施形態による、スライスレベルにおけるＬＭＣＳ区分線形モデルの例示的な修正されたシグナリングである。 [033]本開示の一部の実施形態による、映像コンテンツを処理するための例示的方法のフローチャートである。

詳細な説明
[034] ここで、その例が添付図面に示される例示的実施形態を詳細に参照する。以下の説明は、添付図面を参照し、添付図面では、他に指示がない限り、異なる図中の同じ数字が同じ又は同様の要素を表す。例示的実施形態についての以下の説明に記載される実装形態は、本発明と合致する全ての実装形態を表すわけではない。むしろ、それらは、添付の特許請求の範囲で列挙する本発明に関係する態様と合致する機器及び方法の例に過ぎない。別段の定めがない限り、「又は」という語は、実行不可能な場合を除いて、あり得る全ての組み合わせを包含する。例えば、ある構成要素がＡ又はＢを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、その構成要素は、Ａ若しくはＢ又はＡ及びＢを含むことができる。第２の例として、ある構成要素がＡ、Ｂ又はＣを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、その構成要素は、Ａ、若しくはＢ、若しくはＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ、及びＢ、及びＣを含むことができる。

[035] 映像とは、視覚的情報を記憶するために時系列順に配置される静止ピクチャ（又は「フレーム」）の組である。それらのピクチャを時系列順に捕捉し、記憶するために、映像捕捉装置（例えば、カメラ）を使用することができ、かかるピクチャを時系列順に表示するために、映像再生装置（例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ又は表示機能を有する任意のエンドユーザ端末）を使用することができる。更に、一部の応用では、監視、会議又は生放送等のために、映像捕捉装置が捕捉映像を映像再生装置（例えば、モニタを有するコンピュータ）にリアルタイムで伝送することができる。

[036] かかる応用が必要とする記憶空間及び伝送帯域幅を減らすために、映像を記憶及び伝送前に圧縮し、表示前に解凍することができる。この圧縮及び解凍は、プロセッサ（例えば、汎用コンピュータのプロセッサ）又は専用ハードウェアによって実行されるソフトウェアによって実装され得る。圧縮のためのモジュールを一般に「符号器」と呼び、解凍のためのモジュールを一般に「復号器」と呼ぶ。符号器及び復号器は、まとめて「コーデック」と呼ぶことができる。符号器及び復号器は、様々な適切なハードウェア、ソフトウェア、又はその組み合わせとして実装することができる。例えば、符号器及び復号器のハードウェア実装は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、書換可能ゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、又はその任意の組み合わせ等の回路を含み得る。符号器及び復号器のソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体内に固定される任意の適切なコンピュータによって実装されるアルゴリズム若しくはプロセスを含み得る。映像の圧縮及び解凍は、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６ｘシリーズ等の様々なアルゴリズム、又は規格によって実装され得る。一部の応用では、コーデックが第１のコード化規格から映像を解凍し、第２のコード化規格を使用して、解凍された映像を再圧縮することができ、その場合、コーデックを「トランスコーダ」と呼ぶことができる。

[037] 映像符号化プロセスは、ピクチャを再構築するために使用可能な有用な情報を識別し、保つことができ、再構築に重要でない情報を無視することができる。無視された重要でない情報を完全に再構築できない場合、かかる符号化プロセスは、「非可逆」と呼ぶことができる。さもなければ、かかる符号化プロセスは、「可逆」と呼ぶことができる。殆どの符号化プロセスは、非可逆であり、これは、必要な記憶空間及び伝送帯域幅を減らすためのトレードオフである。

[038] 符号化されているピクチャ（「現ピクチャ」と呼ぶ）の有用な情報は、参照ピクチャ（例えば、過去に符号化され、再構築されたピクチャ）に対する変化を含む。かかる変化は、ピクセルの位置変化、光度変化、又は色変化を含むことができ、そのうちの位置変化が最も関係している。オブジェクトを表すピクセル群の位置変化は、参照ピクチャと現ピクチャとの間のオブジェクトの動きを反映し得る。

[039] 別のピクチャを参照することなくコード化されるピクチャ（即ちピクチャが自らの参照ピクチャである）を「Ｉピクチャ」と呼ぶ。参照ピクチャとして過去のピクチャを使用してコード化されるピクチャを「Ｐピクチャ」と呼ぶ。参照ピクチャとして過去のピクチャ及び将来のピクチャの両方を使用してコード化される（即ち参照が「双方向」である）ピクチャを「Ｂピクチャ」と呼ぶ。

[040] 先に述べたように、新たな映像コード化技法を開発する目標の１つは、コード化効率を改善すること、即ち同じピクチャ品質を表すためにより少ないコード化データを使用することである。本開示は、クロマスケーリングによるルママッピングを行うための方法及びシステムを提供する。ルママッピングは、ループフィルタで使用するためのルマサンプルをマッピングするためのプロセスであり、クロマスケーリングは、クロマ残差値をスケーリングするためのルマ依存プロセスである。半分の帯域幅を使用するＨＥＶＣ／Ｈ．２６５と同じ主観的品質、ＬＭＣＳは、１）コード化ループで使用するための新たなコード値の組に入力ルマコード値をマッピングするためのプロセス、及び２）クロマ残差値をスケーリングするためのルマ依存プロセス、という２つの主なコンポーネントを有する。ルママッピングプロセスは、指定のビット深度において許可されるルマコード値の範囲をより良好に活用することにより、標準的な及び高ダイナミックレンジの映像信号のコード化効率を改善する。

[041] 図１は、本開示の一部の実施形態による、映像コード化を使用する映像シーケンス１００の一例の構造を示す。映像シーケンス１００は、生中継映像、又は捕捉されアーカイブされている映像であり得る。映像１００は、現実の映像、コンピュータによって生成される映像（例えば、コンピュータゲーム映像）、又はその組み合わせ（例えば、拡張現実効果を有する現実の映像）であり得る。映像シーケンス１００は、映像捕捉装置（例えば、カメラ）、過去に捕捉された映像を含む映像アーカイブ（例えば、記憶装置内に記憶される映像ファイル）、又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース（例えば、映像ブロードキャストトランシーバ）から入力され得る。

[042] 図１に示すように、映像シーケンス１００は、ピクチャ１０２、１０４、１０６及び１０８を含む、タイムラインに沿って時間的に配置される一連のピクチャを含み得る。ピクチャ１０２～１０６は、連続的であり、ピクチャ１０６とピクチャ１０８との間に更に多くのピクチャがある。図１では、ピクチャ１０２は、Ｉピクチャであり、その参照ピクチャは、ピクチャ１０２自体である。ピクチャ１０４は、Ｐピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ１０２である。ピクチャ１０６は、Ｂピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ１０４及び１０８である。一部の実施形態では、ピクチャ（例えば、ピクチャ１０４）の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ１０４の参照ピクチャは、ピクチャ１０２に先行するピクチャであり得る。ピクチャ１０２～１０６の参照ピクチャは、例に過ぎず、本開示は、参照ピクチャの実施形態を、図１に示す例として限定しないことに留意すべきである。

[043] 典型的には、映像コーデックは、ピクチャ全体を一度に符号化又は復号せず、それは、かかるタスクが計算的に複雑であるためである。むしろ、映像コーデックは、ピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号することができる。本開示では、そのような基本セグメントを基本処理単位（「ＢＰＵ」）と呼ぶ。例えば、図１の構造１１０は、映像シーケンス１００のピクチャ（例えば、ピクチャ１０２～１０８の何れか）の構造の一例を示す。構造１１０では、ピクチャが４ｘ４の基本処理単位に分けられており、その境界が破線で示されている。一部の実施形態では、基本処理単位は、一部の映像コード化規格（例えば、ＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３又はＨ．２６４／ＡＶＣ）の「マクロブロック」と呼ぶことができ、他の一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）の「コード化ツリー単位」（「ＣＴＵ」）と呼ぶことができる。１２８ｘ１２８、６４ｘ６４、３２ｘ３２、１６ｘ１６、４ｘ８、１６ｘ３２、又はピクセルのあらゆる任意の形状及びサイズ等、基本処理単位は、ピクチャ内で可変サイズを有することができる。基本処理単位のサイズ及び形状は、コード化の効率及び基本処理単位内で保とうとする詳細度のバランスに基づいてピクチャについて選択することができる。

[044] 基本処理単位は、コンピュータメモリ（例えば、映像フレームバッファ）に記憶される様々な種類の映像データ群を含み得る論理単位であり得る。例えば、カラーピクチャの基本処理単位は、無彩色の輝度情報を表すルマ成分（Ｙ）、色情報を表す１つ又は複数のクロマ成分（例えば、Ｃｂ及びＣｒ）、並びにルマ成分及びクロマ成分が同じサイズを有し得る基本処理単位の関連構文要素を含むことができる。一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）では、ルマ成分及びクロマ成分が「コード化ツリーブロック」（「ＣＴＢ」）と呼ばれ得る。基本処理単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。

[045] 映像のコード化は、複数の操作段階を有し、その例を図２Ａ～図２Ｂ及び図３Ａ～図３Ｂで詳述する。それぞれの段階について、基本処理単位のサイズは、依然として処理するのに大き過ぎる場合があり、従って本開示で「基本処理副単位」と呼ぶセグメントに更に分けることができる。一部の実施形態では、基本処理副単位は、一部の映像コード化規格（例えば、ＭＰＥＧファミリ、Ｈ．２６１、Ｈ．２６３又はＨ．２６４／ＡＶＣ）の「ブロック」と呼ぶことができるか、又は他の一部の映像コード化規格（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣ）の「コード化単位」（「ＣＵ」）と呼ぶことができる。基本処理副単位は、基本処理単位と同じ又はそれよりも小さいサイズを有し得る。基本処理単位と同様に、基本処理副単位もコンピュータメモリ（例えば、映像フレームバッファ）に記憶される様々な種類の映像データ群（例えば、Ｙ、Ｃｂ、Ｃｒ及び関連構文要素）を含み得る論理単位である。基本処理副単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。処理の必要性に応じて、かかる分割は、更なるレベルに対して行われ得ることに留意すべきである。様々な段階が様々な方式を使用して基本処理単位を分割できることにも留意すべきである。

[046] 例えば、（その一例を図２Ｂで詳述する）モード決定段階において、基本処理単位に対して何れの予測モード（例えば、イントラピクチャ予測又はインターピクチャ予測）を使用するかを符号器が決定することができ、基本処理単位は、かかる決定を下すには大き過ぎる場合がある。符号器は、基本処理単位を複数の基本処理副単位（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣにあるＣＵ）に分け、個々の基本処理副単位ごとに予測の種類を決定することができる。

[047] 別の例では、（その一例を図２Ａに詳述する）予測段階において、符号器は、基本処理副単位（例えば、ＣＵ）のレベルで予測操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣで「予測ブロック」又は「ＰＢ」と呼ばれる）に更に分けることができ、そのレベルで予測操作を行うことができる。

[048] 別の例では、（その一例を図２Ａに詳述する）変換段階において、符号器は、残差基本処理副単位（例えば、ＣＵ）に対する変換操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント（例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣで「変換ブロック」又は「ＴＢ」と呼ばれる）に更に分けることができ、そのレベルで変換操作を行うことができる。同じ基本処理副単位の分割方式は、予測段階と変換段階とで異なり得ることに留意すべきである。例えば、Ｈ．２６５／ＨＥＶＣ又はＨ．２６６／ＶＶＣでは、同じＣＵの予測ブロック及び変換ブロックは、異なるサイズ及び数を有し得る。

[049] 図１の構造１１０では、基本処理単位１１２が３ｘ３の基本処理副単位に更に分けられており、その境界が点線で示されている。同じピクチャの異なる基本処理単位を異なる方式で基本処理副単位に分けることができる。

[050] 一部の実装形態では、映像の符号化及び復号に並列処理及び誤り耐性の機能を与えるために、ピクチャを処理のための領域に分けることができ、それにより、ピクチャの領域について、符号化又は復号プロセスがピクチャの他の任意の領域の情報に依存しないようにすることができる。換言すれば、ピクチャの各領域を独立に処理することができる。そうすることで、コーデックは、ピクチャの異なる領域を並列に処理し、従ってコード化の効率を高めることができる。更に、領域のデータが処理内で破損するか又はネットワーク伝送内で失われる場合、コーデックは、破損するか又は失われたデータに依存することなく、同じピクチャの他の領域を正しく符号化又は復号することができ、従って誤り耐性の機能を提供する。一部の映像コード化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、Ｈ．２６５／ＨＥＶＣ及びＨ．２６６／ＶＶＣは、「スライス」及び「タイル」という２種類の領域を提供する。映像シーケンス１００の様々なピクチャは、ピクチャを領域に分けるための様々な分割方式を有し得ることにも留意すべきである。

[051] 例えば、図１では、構造１１０が３つの領域１１４、１１６、及び１１８に分けられており、その境界が構造１１０内の実線として示されている。領域１１４は、４個の基本処理単位を含む。領域１１６及び１１８のそれぞれは、６個の基本処理単位を含む。図１の構造１１０の基本処理単位、基本処理副単位、及び領域は、例に過ぎず、本開示は、その実施形態を限定しないことに留意すべきである。

[052] 図２Ａは、本開示の一部の実施形態による符号化プロセス２００Ａの一例の概略図を示す。符号器は、プロセス２００Ａに従って、映像シーケンス２０２を映像ビットストリーム２２８に符号化することができる。図１の映像シーケンス１００と同様に、映像シーケンス２０２は、時系列順に配置されるピクチャ（「元のピクチャ」と呼ぶ）の組を含み得る。図１の構造１１０と同様に、映像シーケンス２０２のそれぞれの元のピクチャは、符号器によって基本処理単位、基本処理副単位、又は処理のための領域に分けられ得る。一部の実施形態では、符号器は、映像シーケンス２０２のそれぞれの元のピクチャに関する基本処理単位のレベルで、プロセス２００Ａを実行することができる。例えば、符号器は、プロセス２００Ａを反復的な方法で実行することができ、符号器は、プロセス２００Ａの１回の反復において基本処理単位を符号化することができる。一部の実施形態では、符号器は、映像シーケンス２０２のそれぞれの元のピクチャの領域（例えば、領域１１４～１１８）について、プロセス２００Ａを並列に実行することができる。

[053] 図２Ａでは、符号器は、映像シーケンス２０２の元のピクチャの基本処理単位（「元のＢＰＵ」と呼ぶ）を予測段階２０４にフィードして、予測データ２０６及び予測されたＢＰＵ２０８を生成することができる。符号器は、元のＢＰＵから、予測されたＢＰＵ２０８を減算して、残差ＢＰＵ２１０を生成することができる。符号器は、残差ＢＰＵ２１０を変換段階２１２及び量子化段階２１４にフィードして、量子化された変換係数２１６を生成することができる。符号器は、予測データ２０６及び量子化された変換係数２１６をバイナリコード化段階２２６にフィードして、映像ビットストリーム２２８を生成することができる。構成要素２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２２６及び２２８は、「順方向経路」と呼ぶことができる。プロセス２００Ａ中、符号器は、量子化段階２１４後、量子化された変換係数２１６を逆量子化段階２１８及び逆変換段階２２０にフィードして、再構築された残差ＢＰＵ２２２を生成することができる。符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、プロセス２００Ａの次の反復の予測段階２０４に使用される予測基準２２４を生成することができる。プロセス２００Ａの構成要素２１８、２２０、２２２及び２２４は、「再構築経路」と呼ぶことができる。再構築経路は、符号器及び復号器の両方が予測に同じ参照データを使用することを確実にするために使用され得る。

[054] 符号器は、プロセス２００Ａを反復的に実行して、（順方向経路内で）元のピクチャのそれぞれの元のＢＰＵを符号化し、（再構築経路内で）元のピクチャの次の元のＢＰＵを符号化するための予測された基準２２４を生成することができる。元のピクチャの全ての元のＢＰＵを符号化した後、符号器は、映像シーケンス２０２内の次のピクチャの符号化に進むことができる。

[055] プロセス２００Ａを参照すると、符号器は、映像捕捉装置（例えば、カメラ）によって生成される映像シーケンス２０２を受信することができる。本明細書で使用する「受信（する）」という用語は、データを入力するために受信すること、入力すること、取得すること、取り出すこと、得ること、読み出すこと、アクセスすること、又は任意の方法の任意のアクションを指すことができる。

[056] 予測段階２０４では、現在の反復において、符号器が、元のＢＰＵ及び予測基準２２４を受信し、予測操作を行って予測データ２０６及び予測されたＢＰＵ２０８を生成することができる。予測基準２２４は、プロセス２００Ａ前の反復の再構築経路から生成され得る。予測段階２０４の目的は、予測データ２０６及び予測基準２２４から予測されたＢＰＵ２０８として元のＢＰＵを再構築するために使用され得る予測データ２０６を抽出することにより、情報の冗長性を減らすことである。

[057] 理想的には、予測されたＢＰＵ２０８は、元のＢＰＵと同一であり得る。しかし、理想的でない予測及び再構築操作により、予測されたＢＰＵ２０８は、概して、元のＢＰＵと僅かに異なる。そのような差を記録するために、符号器は、予測されたＢＰＵ２０８を生成した後、それを元のＢＰＵから減算して、残差ＢＰＵ２１０を生成することができる。例えば、符号器は、予測されたＢＰＵ２０８のピクセルの値（例えば、グレースケール値又はＲＧＢ値）を元のＢＰＵの対応するピクセルの値から減算することができる。元のＢＰＵの対応するピクセルと、予測されたＢＰＵ２０８との間のかかる減算の結果、残差ＢＰＵ２１０の各ピクセルは、残差値を有し得る。元のＢＰＵと比較して、予測データ２０６及び残差ＢＰＵ２１０は、より少ないビットを有し得るが、品質を著しく損なうことなく元のＢＰＵを再構築するためにそれらを使用することができる。

[058] 残差ＢＰＵ２１０を更に圧縮するために、変換段階２１２において、符号器は、残差ＢＰＵ２１０を２次元「基底パターン」の組に分解することにより、残差ＢＰＵ２１０の空間的冗長性を低減することができ、各基底パターンは、「変換係数」に関連する。基底パターンは、同じサイズ（例えば、残差ＢＰＵ２１０のサイズ）を有することができる。それぞれの基底パターンは、残差ＢＰＵ２１０の変動周波数（例えば、輝度変動周波数）成分を表すことができる。基底パターンの何れも、他の任意の基底パターンの任意の組み合わせ（例えば、線形結合）から再現することができない。換言すれば、分解は、残差ＢＰＵ２１０の変動を周波数領域に分解することができる。かかる分解は、関数の離散フーリエ変換に類似し、基底パターンは、離散フーリエ変換の基底関数（例えば、三角関数）に類似し、変換係数は、基底関数に関連する係数に類似する。

[059] 様々な変換アルゴリズムが様々な基底パターンを使用することができる。例えば、離散コサイン変換、離散サイン変換等、変換段階２１２では、様々な変換アルゴリズムを使用することができる。変換段階２１２における変換は、可逆的である。即ち、符号器は、変換の逆操作（「逆変換」と呼ぶ）によって残差ＢＰＵ２１０を復元することができる。例えば、残差ＢＰＵ２１０のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値を、関連するそれぞれの係数で乗算し、積を加算して加重和をもたらすことであり得る。映像コード化規格では、符号器及び復号器の両方が同じ変換アルゴリズム（従って同じ基底パターン）を使用することができる。従って、符号器は、変換係数のみを記録することができ、復号器は、符号器から基底パターンを受信することなく、変換係数から残差ＢＰＵ２１０を再構築することができる。残差ＢＰＵ２１０と比較して、変換係数の方が少ないビットを有し得るが、それらの変換係数は、品質を著しく損なうことなく残差ＢＰＵ２１０を再構築するために使用され得る。従って、残差ＢＰＵ２１０が更に圧縮される。

[060] 符号器は、量子化段階２１４において変換係数を更に圧縮することができる。変換プロセスでは、様々な基底パターンが様々な変動周波数（例えば、輝度変動周波数）を表すことができる。人間の目は、概して、低周波変動を認識することが得意であるため、符号器は、復号の際の著しい品質劣化を引き起こすことなく高周波変動の情報を無視することができる。例えば、量子化段階２１４において、符号器は、各変換係数を整数値（「量子化パラメータ」と呼ぶ）で除算し、商をその最近隣数に丸めることにより、量子化された変換係数２１６を生成することができる。かかる操作後、高周波基底パターンの一部の変換係数をゼロに変換することができ、低周波基底パターンの変換係数をより小さい整数に変換することができる。符号器は、ゼロ値の量子化された変換係数２１６を無視することができ、それにより変換係数が更に圧縮される。量子化プロセスも可逆的であり、量子化された変換係数２１６は、量子化の逆操作（「逆量子化」と呼ぶ）で変換係数に再構築することができる。

[061] 符号器は、丸め操作でかかる除算の剰余を無視するため、量子化段階２１４は、非可逆であり得る。典型的には、量子化段階２１４は、プロセス２００Ａで最大の情報損失に寄与し得る。情報損失が大きいほど、量子化された変換係数２１６が必要とし得るビットが少なくなる。情報損失の様々なレベルを得るために、符号器は、量子化パラメータの様々な値又は量子化プロセスの他の任意のパラメータを使用することができる。

[062] バイナリコード化段階２２６において、符号器は、例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化、又は他の任意の可逆若しくは非可逆圧縮アルゴリズム等のバイナリコード化技法を使用し、予測データ２０６及び量子化された変換係数２１６を符号化することができる。一部の実施形態では、予測データ２０６及び量子化された変換係数２１６に加えて、符号器は、例えば、予測段階２０４で使用される予測モード、予測操作のパラメータ、変換段階２１２の変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）等の他の情報を、バイナリコード化段階２２６において符号化することができる。符号器は、バイナリコード化段階２２６の出力データを使用して映像ビットストリーム２２８を生成することができる。一部の実施形態では、映像ビットストリーム２２８をネットワーク伝送のために更にパケット化することができる。

[063] プロセス２００Ａの再構築経路を参照すると、逆量子化段階２１８では、符号器は、量子化された変換係数２１６に対して逆量子化を行って、再構築された変換係数を生成することができる。逆変換段階２２０では、符号器は、再構築された変換係数に基づいて、再構築された残差ＢＰＵ２２２を生成することができる。符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、プロセス２００Ａの次の反復で使用される予測基準２２４を生成することができる。

[064] 映像シーケンス２０２を符号化するために、プロセス２００Ａの他のバリエーションを使用できることに留意すべきである。一部の実施形態では、符号器がプロセス２００Ａの段階を異なる順序で実行することができる。一部の実施形態では、プロセス２００Ａの１つ又は複数の段階を単一の段階に組み合わせることができる。一部の実施形態では、プロセス２００Ａの単一の段階を複数の段階に分けることができる。例えば、変換段階２１２と量子化段階２１４とを単一の段階に組み合わせることができる。一部の実施形態では、プロセス２００Ａは、追加の段階を含み得る。一部の実施形態では、プロセス２００Ａは、図２Ａの１つ又は複数の段階を省くことができる。

[065] 図２Ｂは、本開示の一部の実施形態による符号化プロセスの別の例２００Ｂの概略図を示す。プロセス２００Ｂは、プロセス２００Ａから修正され得る。例えば、プロセス２００Ｂは、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する符号器によって使用され得る。プロセス２００Ａと比較して、プロセス２００Ｂの順方向経路は、モード決定段階２３０を更に含み、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に分ける。プロセス２００Ｂの再構築経路は、ループフィルタ段階２３２及びバッファ２３４を追加で含む。

[066] 概して、予測技法は、空間的予測及び時間的予測の２つの種類に分類することができる。空間的予測（例えば、イントラピクチャ予測又は「イントラ予測」）は、現ＢＰＵを予測するために、同じピクチャ内の既にコード化された１つ又は複数の隣接ＢＰＵのピクセルを使用することができる。即ち、空間的予測における予測基準２２４は、隣接ＢＰＵを含み得る。空間的予測は、ピクチャの固有の空間的冗長性を減らすことができる。時間的予測（例えば、インターピクチャ予測又は「インター予測」）は、現ＢＰＵを予測するために、既にコード化された１つ又は複数のピクチャの領域を使用することができる。即ち、時間的予測における予測基準２２４は、コード化されたピクチャを含み得る。時間的予測は、ピクチャの固有の時間的冗長性を減らすことができる。

[067] プロセス２００Ｂを参照すると、順方向経路において、符号器は、空間的予測段階２０４２及び時間的予測段階２０４４で予測操作を行う。例えば、空間的予測段階２０４２では、符号器は、イントラ予測を行うことができる。符号化されているピクチャの元のＢＰＵに関して、予測基準２２４は、同じピクチャ内の（順方向経路内で）符号化され、（再構築経路内で）再構築されている１つ又は複数の隣接ＢＰＵを含み得る。符号器は、隣接ＢＰＵを外挿することにより、予測されたＢＰＵ２０８を生成することができる。外挿技法は、例えば、線形外挿又は線形補間、多項式外挿又は多項式補間等を含み得る。一部の実施形態では、予測されたＢＰＵ２０８のピクセルごとに対応するピクセルの値を外挿することによって等、符号器がピクセルレベルで外挿を行うことができる。外挿に使用される隣接ＢＰＵは、垂直方向（例えば、元のＢＰＵの上）、水平方向（例えば、元のＢＰＵの左）、対角線方向（例えば、元のＢＰＵの左下、右下、左上又は右上）、又は使用される映像コード化規格内で規定される任意の方向等、様々な方向から元のＢＰＵに対して位置し得る。イントラ予測では、予測データ２０６は、例えば、使用される隣接ＢＰＵの位置（例えば、座標）、使用される隣接ＢＰＵのサイズ、外挿のパラメータ、元のＢＰＵに対する使用される隣接ＢＰＵの方向等を含み得る。

[068] 別の例では、時間的予測段階２０４４では、符号器は、インター予測を行うことができる。現ピクチャの元のＢＰＵに関して、予測基準２２４は、（順方向経路内で）符号化され、（再構築経路内で）再構築されている１つ又は複数のピクチャ（「参照ピクチャ」と呼ぶ）を含み得る。一部の実施形態では、参照ピクチャがＢＰＵごとに符号化され再構築され得る。例えば、符号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、再構築されたＢＰＵを生成することができる。同じピクチャの全ての再構築されたＢＰＵが生成されると、符号器は、参照ピクチャとして再構築されたピクチャを生成することができる。符号器は、参照ピクチャのある範囲（「探索窓」と呼ぶ）について一致領域を探すために「動き推定」の操作を行うことができる。参照ピクチャ内の探索窓の位置は、現ピクチャ内の元のＢＰＵの位置に基づいて決定することができる。例えば、探索窓は、現ピクチャ内の元のＢＰＵと参照ピクチャ内で同じ座標を有する位置に中心を置くことができ、所定の距離にわたって広げることができる。符号器が探索窓内で元のＢＰＵと同様の領域を（例えば、pel再帰アルゴリズム、ブロックマッチングアルゴリズム等を使用することによって）識別すると、符号器は、その領域を一致領域として決定することができる。一致領域は、元のＢＰＵと異なる（例えば、それよりも小さい、等しい、大きい又は異なる形状の）寸法を有し得る。参照ピクチャ及び現ピクチャは、（例えば、図１に示すように）タイムライン内で時間的に隔てられているため、時間が経つにつれて一致領域が元のＢＰＵの位置に「移動する」と見なすことができる。符号器は、かかる動きの方向及び距離を「動きベクトル」として記録することができる。（例えば、図１のピクチャ１０６のような）複数の参照ピクチャが使用される場合、符号器は、参照ピクチャごとに一致領域を探し、その関連する動きベクトルを求めることができる。一部の実施形態では、符号器は、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てることができる。

[069] 動き推定は、例えば、平行移動、回転、拡大縮小等の様々な種類の動きを識別するために使用することができる。インター予測では、予測データ２０６は、例えば、一致領域の位置（例えば、座標）、一致領域に関連する動きベクトル、参照ピクチャの数、参照ピクチャに関連する重み等を含み得る。

[070] 予測されたＢＰＵ２０８を生成するために、符号器は、「動き補償」の操作を行うことができる。動き補償は、予測データ２０６（例えば、動きベクトル）及び予測基準２２４に基づいて、予測されたＢＰＵ２０８を再構築するために使用することができる。例えば、符号器は、動きベクトルに従って参照ピクチャの一致領域を動かすことができ、そのようにして、符号器は、現ピクチャの元のＢＰＵを予測することができる。（例えば、図１のピクチャ１０６のような）複数の参照ピクチャが使用される場合、符号器は、個々の動きベクトルに従って参照ピクチャの一致領域を動かし、一致領域のピクセル値を平均することができる。一部の実施形態では、符号器が、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てた場合、符号器は、動かした一致領域のピクセル値の加重和を加えることができる。

[071] 一部の実施形態では、インター予測は、単方向又は双方向であり得る。単方向のインター予測は、現ピクチャに対して同じ時間的方向にある１つ又は複数の参照ピクチャを使用することができる。例えば、図１のピクチャ１０４は、参照ピクチャ（即ちピクチャ１０２）がピクチャ１０４に先行する単方向のインター予測ピクチャである。双方向のインター予測は、現ピクチャに対して両方の時間的方向にある１つ又は複数の参照ピクチャを使用することができる。例えば、図１のピクチャ１０６は、参照ピクチャ（即ちピクチャ１０４及び１０８）がピクチャ１０４に対して両方の時間的方向にある双方向のインター予測ピクチャである。

[072] プロセス２００Ｂの順方向経路を引き続き参照すると、空間的予測段階２０４２及び時間的予測段階２０４４の後、モード決定段階２３０において、符号器は、プロセス２００Ｂの現在の反復のための予測モード（例えば、イントラ予測又はインター予測の１つ）を選択することができる。例えば、符号器は、レート歪み最適化技法を実行することができ、かかる技法では、符号器は、候補予測モードのビットレート及び候補予測モード下の再構築された参照ピクチャの歪みに応じて、コスト関数の値を最小化するための予測モードを選択することができる。選択される予測モードに応じて、符号器は、対応する予測されたＢＰＵ２０８及び予測されたデータ２０６を生成することができる。

[073] プロセス２００Ｂの再構築経路において、順方向経路内でイントラ予測モードが選択されている場合、予測基準２２４（例えば、現ピクチャ内で符号化され再構築されている現ＢＰＵ）を生成した後、符号器は、後に使用するために（例えば、現ピクチャの次のＢＰＵを外挿するために）空間的予測段階２０４２に予測基準２２４を直接フィードすることができる。順方向経路内でインター予測モードが選択されている場合、予測基準２２４（例えば、全てのＢＰＵが符号化され再構築されている現ピクチャ）を生成した後、符号器は、ループフィルタ段階２３２に予測基準２２４をフィードすることができ、ループフィルタ段階２３２では、符号器は、予測基準２２４にループフィルタを適用して、インター予測によって引き起こされる歪み（例えば、ブロッキングアーティファクト）を減らすか又はなくすことができる。例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ等、符号器は、ループフィルタ段階２３２で様々なループフィルタ技法を適用することができる。ループフィルタされた参照ピクチャは、後に使用するために（例えば、映像シーケンス２０２の将来のピクチャのためのインター予測参照ピクチャとして使用するために）バッファ２３４（又は「復号されたピクチャバッファ」）内に記憶することができる。符号器は、時間的予測段階２０４４で使用するために１つ又は複数の参照ピクチャをバッファ２３４内に記憶することができる。一部の実施形態では、符号器は、量子化された変換係数２１６、予測データ２０６、及び他の情報と共に、ループフィルタのパラメータ（例えば、ループフィルタの強度）をバイナリコード化段階２２６で符号化することができる。

[074] 図３Ａは、本開示の一部の実施形態による復号プロセス３００Ａの一例の概略図を示す。プロセス３００Ａは、図２Ａの圧縮プロセス２００Ａに対応する解凍プロセスであり得る。一部の実施形態では、プロセス３００Ａは、プロセス２００Ａの再構築経路と同様であり得る。復号器は、プロセス３００Ａに従って映像ビットストリーム２２８を映像ストリーム３０４に復号することができる。映像ストリーム３０４は、映像シーケンス２０２と非常に類似し得る。しかし、圧縮及び解凍プロセス（例えば、図２Ａ～図２Ｂの量子化段階２１４）における情報損失により、概して、映像ストリーム３０４は、映像シーケンス２０２と同一ではない。図２Ａ～図２Ｂのプロセス２００Ａ及び２００Ｂと同様に、復号器は、映像ビットストリーム２２８内に符号化される各ピクチャについて、基本処理単位（ＢＰＵ）のレベルにおいてプロセス３００Ａを実行することができる。例えば、復号器は、プロセス３００Ａを反復的な方法で実行することができ、復号器は、プロセス３００Ａの１回の反復において基本処理単位を復号することができる。一部の実施形態では、復号器は、映像ビットストリーム２２８内に符号化される各ピクチャの領域（例えば、領域１１４～１１８）についてプロセス３００Ａを並列に実行することができる。

[075] 図３Ａでは、復号器は、符号化されたピクチャの基本処理単位（「符号化されたＢＰＵ」と呼ぶ）に関連する映像ビットストリーム２２８の一部を、バイナリ復号段階３０２にフィードすることができる。バイナリ復号段階３０２では、復号器は、その部分を予測データ２０６及び量子化された変換係数２１６に復号することができる。復号器は、量子化された変換係数２１６を逆量子化段階２１８及び逆変換段階２２０にフィードして、再構築された残差ＢＰＵ２２２を生成することができる。復号器は、予測データ２０６を予測段階２０４にフィードして、予測されたＢＰＵ２０８を生成することができる。復号器は、再構築された残差ＢＰＵ２２２を、予測されたＢＰＵ２０８に加えて、予測された基準２２４を生成することができる。一部の実施形態では、予測された基準２２４がバッファ（例えば、コンピュータメモリ内の復号されたピクチャバッファ）内に記憶され得る。復号器は、プロセス３００Ａの次の反復内で予測操作を行うための予測された基準２２４を予測段階２０４にフィードすることができる。

[076] 復号器は、プロセス３００Ａを反復的に実行して、符号化されたピクチャの各符号化されたＢＰＵを復号し、符号化されたピクチャの次の符号化されたＢＰＵを符号化するための、予測された基準２２４を生成することができる。符号化されたピクチャの全ての符号化されたＢＰＵを復号した後、復号器は、表示するためにピクチャを映像ストリーム３０４に出力し、映像ビットストリーム２２８内の次の符号化されたピクチャの復号に進むことができる。

[077] バイナリ復号段階３０２では、復号器は、符号器が使用したバイナリコード化技法（例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化又は他の任意の可逆圧縮アルゴリズム）の逆操作を行うことができる。一部の実施形態では、予測データ２０６及び量子化された変換係数２１６に加えて、復号器は、例えば、予測モード、予測操作のパラメータ、変換の種類、量子化プロセスのパラメータ（例えば、量子化パラメータ）、符号器制御パラメータ（例えば、ビットレート制御パラメータ）等の他の情報を、バイナリ復号段階３０２において復号することができる。一部の実施形態では、映像ビットストリーム２２８がネットワーク上においてパケット単位で伝送される場合、復号器は、映像ビットストリーム２２８をパケット化解除してから、それをバイナリ復号段階３０２にフィードすることができる。

[078] 図３Ｂは、本開示の一部の実施形態による復号プロセスの別の例３００Ｂの概略図を示す。プロセス３００Ｂは、プロセス３００Ａから修正され得る。例えば、プロセス３００Ｂは、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する復号器によって使用され得る。プロセス３００Ａと比較して、プロセス３００Ｂは、予測段階２０４を空間的予測段階２０４２及び時間的予測段階２０４４に更に分け、ループフィルタ段階２３２及びバッファ２３４を追加で含む。

[079] プロセス３００Ｂでは、復号対象の符号化されたピクチャ（「現ピクチャ」と呼ぶ）の符号化された基本処理単位（「現ＢＰＵ」と呼ぶ）に関して、復号器によってバイナリ復号段階３０２から復号される予測データ２０６は、現ＢＰＵを符号化するために何れの予測モードが符号器によって使用されたかに応じて、様々な種類のデータを含み得る。例えば、現ＢＰＵを符号化するためにイントラ予測が符号器によって使用された場合、予測データ２０６は、イントラ予測、イントラ予測操作のパラメータ等を示す予測モードインジケータ（例えば、フラグ値）を含み得る。イントラ予測操作のパラメータは、例えば、基準として使用される１つ又は複数の隣接ＢＰＵの位置（例えば、座標）、隣接ＢＰＵのサイズ、外挿のパラメータ、元のＢＰＵに対する隣接ＢＰＵの方向等を含み得る。別の例では、現ＢＰＵを符号化するためにインター予測が符号器によって使用された場合、予測データ２０６は、インター予測、インター予測操作のパラメータ等を示す予測モードインジケータ（例えば、フラグ値）を含み得る。インター予測操作のパラメータは、例えば、現ＢＰＵに関連する参照ピクチャの数、参照ピクチャにそれぞれ関連する重み、それぞれの参照ピクチャ内の１つ又は複数の一致領域の位置（例えば、座標）、一致領域にそれぞれ関連する１つ又は複数の動きベクトル等を含み得る。

[080] 予測モードインジケータに基づき、復号器は、空間的予測段階２０４２で空間的予測（例えば、イントラ予測）を行うか、又は時間的予測段階２０４４で時間的予測（例えば、インター予測）を行うかを決めることができる。かかる空間的予測又は時間的予測の実行の詳細は、図２Ｂに示されており、以下で繰り返さない。かかる空間的予測又は時間的予測を行った後、復号器は、予測されたＢＰＵ２０８を生成することができる。図３Ａに記載したように、復号器は、予測されたＢＰＵ２０８と、再構築された残差ＢＰＵ２２２とを加えて、予測基準２２４を生成することができる。

[081] プロセス３００Ｂでは、復号器は、プロセス３００Ｂの次の反復内で予測操作を行うための、予測された基準２２４を、空間的予測段階２０４２又は時間的予測段階２０４４にフィードすることができる。例えば、現ＢＰＵが空間的予測段階２０４２においてイントラ予測を使用して復号される場合、予測基準２２４（例えば、復号された現ＢＰＵ）を生成した後、復号器は、後に使用するために（例えば、現ピクチャの次のＢＰＵを外挿するために）空間的予測段階２０４２に予測基準２２４を直接フィードすることができる。現ＢＰＵが時間的予測段階２０４４においてインター予測を使用して復号される場合、予測基準２２４（例えば、全てのＢＰＵが復号されている参照ピクチャ）を生成した後、符号器は、ループフィルタ段階２３２に予測基準２２４をフィードして歪み（例えば、ブロッキングアーティファクト）を減らすか又はなくすことができる。復号器は、図２Ｂに記載した方法で予測基準２２４にループフィルタを適用することができる。ループフィルタされた参照ピクチャは、後に使用するために（例えば、映像ビットストリーム２２８の将来の符号化ピクチャのためのインター予測参照ピクチャとして使用するために）バッファ２３４（例えば、コンピュータメモリ内の復号されたピクチャバッファ）内に記憶することができる。復号器は、時間的予測段階２０４４で使用するために１つ又は複数の参照ピクチャをバッファ２３４内に記憶することができる。一部の実施形態では、現ＢＰＵを符号化するためにインター予測が使用されたことを予測データ２０６の予測モードインジケータが示す場合、予測データは、ループフィルタのパラメータ（例えば、ループフィルタの強度）を更に含むことができる。

[082] 図４は、本開示の一部の実施形態による、映像を符号化又は復号するための機器４００の一例のブロック図である。図４に示すように、機器４００は、プロセッサ４０２を含み得る。プロセッサ４０２が本明細書に記載の命令を実行するとき、機器４００は、映像を符号化又は復号するための専用マシンになり得る。プロセッサ４０２は、情報を操作又は処理することができる任意の種類の回路であり得る。例えば、プロセッサ４０２は、任意の数の中央処理装置（「ＣＰＵ」）、グラフィックス処理装置（「ＧＰＵ」）、ニューラル処理ユニット（「ＮＰＵ」）、マイクロコントローラユニット（「ＭＣＵ」）、光プロセッサ、プログラム可能論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、アイピー（ＩＰ）コア、プログラム可能論理アレイ（ＰＬＡ）、プログラム可能アレイ論理（ＰＡＬ）、汎用アレイ論理（ＧＡＬ）、複合プログラム可能論理装置（ＣＰＬＤ）、書換可能ゲートアレイ（ＦＰＧＡ）、システムオンチップ（ＳｏＣ）、特定用途向け集積回路（ＡＳＩＣ）等の任意の組み合わせを含み得る。一部の実施形態では、プロセッサ４０２は、単一の論理構成要素としてグループ化されるプロセッサの組であり得る。例えば、図４に示すように、プロセッサ４０２は、プロセッサ４０２ａ、プロセッサ４０２ｂ及びプロセッサ４０２ｎを含む複数のプロセッサを含み得る。

[083] 機器４００は、データ（例えば、命令、コンピュータコード、中間データ等の組）を記憶するように構成されるメモリ４０４も含み得る。例えば、図４に示すように、記憶データは、プログラム命令（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ又は３００Ｂ内の段階を実装するためのプログラム命令）及び処理用データ（例えば、映像シーケンス２０２、映像ビットストリーム２２８、又は映像ストリーム３０４）を含み得る。プロセッサ４０２は、プログラム命令及び処理用データに（例えば、バス４１０を介して）アクセスし、プログラム命令を実行して処理用データに対する操作又は処理を行うことができる。メモリ４０４は、高速ランダムアクセス記憶装置又は不揮発性記憶装置を含み得る。一部の実施形態では、メモリ４０４は、任意の数のランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル（ＳＤ）カード、メモリスティック、コンパクトフラッシュ（登録商標）（ＣＦ）カード等の任意の組み合わせを含み得る。メモリ４０４は、単一の論理構成要素としてグループ化される（図４には不図示の）メモリ群でもあり得る。

[084] 内蔵バス（例えば、ＣＰＵメモリバス）、外部バス（例えば、ユニバーサルシリアルバスポート、周辺機器コンポーネント相互接続エクスプレスポート）等のバス４１０は、機器４００内の構成要素間でデータを転送する通信装置であり得る。

[085] 曖昧さを招くことなく説明を簡単にするために、本開示では、プロセッサ４０２及び他のデータ処理回路をまとめて「データ処理回路」と呼ぶ。データ処理回路は、完全にハードウェアとして又はソフトウェア、ハードウェア、若しくはファームウェアの組み合わせとして実装することができる。加えて、データ処理回路は、単一の独立したモジュールであり得るか、又は機器４００の他の任意の構成要素内に完全に若しくは部分的に組み合わされ得る。

[086] 機器４００は、ネットワーク（例えば、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク等）との有線通信又は無線通信を提供するためのネットワークインタフェース４０６を更に含み得る。一部の実施形態では、ネットワークインタフェース４０６は、任意の数のネットワークインタフェースコントローラ（ＮＩＣ）、無線周波数（ＲＦ）モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetoothアダプタ、赤外線アダプタ、近距離無線通信（「ＮＦＣ」）アダプタ、セルラネットワークチップ等の任意の組み合わせを含み得る。

[087] 一部の実施形態では、１つ又は複数の周辺装置への接続を提供するための周辺装置インタフェース４０８を任意選択的に機器４００が更に含み得る。図４に示すように、周辺装置は、これのみに限定されないが、カーソル制御装置（例えば、マウス、タッチパッド又はタッチスクリーン）、キーボード、ディスプレイ（例えば、ブラウン管ディスプレイ、液晶ディスプレイ又は発光ダイオードディスプレイ）、映像入力装置（例えば、映像アーカイブに結合されるカメラ又は入力インタフェース）等を含み得る。

[088] 映像コーデック（例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂを実行するコーデック）は、機器４００内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装できることに留意すべきである。例えば、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部の又は全ての段階は、メモリ４０４内にロード可能なプログラム命令等の、機器４００の１つ又は複数のソフトウェアモジュールとして実装され得る。別の例では、プロセス２００Ａ、２００Ｂ、３００Ａ、又は３００Ｂの一部の又は全ての段階は、専用データ処理回路（例えば、ＦＰＧＡ、ＡＳＩＣ、ＮＰＵ等）等の、機器４００の１つ又は複数のハードウェアモジュールとして実装され得る。

[089] 図５は、本開示の一部の実施形態による、例示的なクロマスケーリングによるルママッピング（ＬＭＣＳ）プロセス５００の概略図を示す。例えば、プロセス５００は、ハイブリッド映像コード化規格（例えば、Ｈ．２６ｘシリーズ）に準拠する復号器によって使用され得る。ＬＭＣＳは、図２Ｂのループフィルタ２３２の前に適用される新たな処理ブロックである。ＬＭＣＳは、リシェーパと呼ぶこともできる。

[090] ＬＭＣＳプロセス５００は、適応区分線形モデルに基づくルマ成分値のインループマッピング及びクロマ成分のルマ依存クロマ残差スケーリングを含み得る。

[091] 図５に示すように、適応区分線形モデルに基づくルマ成分値のインループマッピングは、順方向マッピング段階５１８及び逆マッピング段階５０８を含み得る。クロマ成分のルマ依存クロマ残差スケーリングは、クロマスケーリング５２０を含み得る。

[092] マッピング前又は逆マッピング後のサンプル値は、元の領域内のサンプルと呼ぶことができ、マッピング後及び逆マッピング前のサンプル値は、マップ領域内のサンプルと呼ぶことができる。ＬＭＣＳが有効化される場合、プロセス５００内の一部の段階は、元の領域ではなくマップ領域内で行うことができる。順方向マッピング段階５１８及び逆マッピング段階５０８は、ＳＰＳフラグを使用してシーケンスレベルで有効化／無効化できることが理解されるであろう。

[093] 図５に示すように、Ｑ^－１＆Ｔ^－１段階５０４、再構築５０６、及びイントラ予測５１４は、マップ領域内で実行される。例えば、Ｑ^－１＆Ｔ^－１段階５０４は、逆量子化及び逆変換を含むことができ、再構築５０６は、ルマ予測とルマ残差との加算を含むことができ、イントラ予測５０８は、ルマイントラ予測を含み得る。

[094] ループフィルタ５１０、動き補償段階５１６及び５３０、イントラ予測段階５２８、再構築段階５２２、並びに復号されたピクチャバッファ（ＤＰＢ）５１２及び５２６は、元の（即ち非マップ）領域内で実行される。一部の実施形態では、ループフィルタ５１０は、デブロッキング、適応ループフィルタ（ＡＬＦ）、及びサンプル適応オフセット（ＳＡＯ）を含むことができ、再構築段階５２２は、クロマ予測とクロマ残差との加算を含むことができ、ＤＰＢ５１２及び５２６は、復号されたピクチャを参照ピクチャとして記憶することができる。

[095] 一部の実施形態では、区分線形モデルによるルママッピングを使用して映像コンテンツを処理するための方法を適用することができる。

[096] ルマ成分のインループマッピングは、ダイナミックレンジにわたるコード語の再配分により、入力映像の信号統計を調節して圧縮効率を改善することができる。ルママッピングは、順方向マッピング関数「FwdMap」及び対応する逆マッピング関数「InvMap」を利用する。「FwdMap」関数は、１６個の等しい区分と共に区分線形モデルを使用して信号化される。「InvMap」関数は、信号化される必要がなく、代わりに「FwdMap」関数から導出される。

[097] 区分線形モデルの信号化を図６の表１及び図７の表２に示し、後のＶＶＣのドラフト５では、区分線形モデルの信号化が図８の表３及び図９の表４にあるように変更される。表１及び表３は、タイルグループヘッダ及びスライスヘッダの構文構造を示す。標的タイルグループ又は標的スライス内にルママッピングモデルがあるかどうかを示すために、リシェーパモデルパラメータ存在フラグが最初に信号化され得る。現タイルグループ／スライス内にルママッピングモデルがある場合、図７の表２及び図９の表４に示す構文要素を使用し、標的タイルグループ又は標的スライスに対応する区分線形モデルパラメータをtile_group_reshaper_model()/lmcs_data()内で信号化することができる。区分線形モデルは、入力信号のダイナミックレンジを１６個の等しい区分に分割する。各区分について、区分に割り当てられるコード語の数を使用して区分の線形マッピングパラメータを表すことができる。１０ビット入力の一例では、入力の１６個の区分のそれぞれは、その区分に割り当てられる６４のコード語をデフォルトで有し得る。スケール因子を計算し、その区分についてマッピング関数を適宜調節するために、信号化されるコード語の数を使用することができる。図７の表２及び図９の表４は、表２に見られる「reshaper_model_min_bin_idx」及び「reshaper_model_delta_max_bin_idx」、表４に見られる「lmcs_min_bin_idx」及び「lmcs_delta_max_bin_idx」等の信号化されるコード語の数にわたる最小インデックス及び最大インデックスも包含的に定める。区分インデックスが「reshaper_model_min_bin_idx」若しくは「lmcs_min_bin_idx」よりも小さい場合又は「15-reshaper_model_max_bin_idx」若しくは「15-lmcs_delta_max_bin_idx」よりも大きい場合、その区分のためのコード語の数は、信号化されず、ゼロであると推論される。換言すれば、その区分にコード語が割り当てられず、マッピング／スケーリングが適用されない。

[098] 図５に示すＬＭＣＳプロセスが標的タイルグループ又は標的スライスに適用されるかどうかを示すために、タイルグループヘッダレベル又はスライスヘッダレベルにおいて別のリシェーパイネーブルフラグ（例えば、「tile_group_reshaper_enable_flag」又は「slice_lmcs_enabled_flag」）が信号化され得る。リシェーパが標的タイルグループ又は標的スライスについて有効化され、標的タイルグループ又は標的スライスがデュアルツリー分割を使用しない場合、クロマスケーリングが標的タイルグループ又は標的スライスについて有効化されるかどうかを示すために更なるクロマスケーリングイネーブルフラグが信号化され得る。デュアルツリー分割は、クロマセパレートツリーとも呼び得ることが理解されるであろう。以下では、本開示は、デュアルツリー分割をより詳細に説明する。

[099] 区分線形モデルは、表２又は表４内の信号化される構文要素に基づいて以下のように構築することができる。「FwdMap」区分線形モデルのｉ番目の区分（ｉ＝０．．．１５）は、２つの入力ピボットポイントInputPivot[]及び２つのマップされたピボットポイントMappedPivot[]によって定めることができる。マップされたピボットポイントMappedPivot[]は、「FwdMap」区分線形モデルの出力であり得る。例示的な入力映像のビット深度を１０ビットであると仮定すると、InputPivot[]及びMappedPivot[]は、信号化される構文に基づいて以下のように計算することができる。ビット深度は、１０ビットと異なり得ることが理解されるであろう。
ａ）表２の構文要素を使用：
１）OrgCW=64
２）i=0:16ではInputPivot[i]=i*OrgCW
３）i=reshaper_model_min_bin_idx: reshaper_model_max_bin_idxではSignaledCW[i]=OrgCW+(1￢2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i]；
４）i=0:16ではMappedPivot[i]を以下のように計算する：
MappedPivot[0]=0；
(i=0; i<16; i++)では
MappedPivot[i+1]=MappedPivot[i]+SignaledCW[i]
ｂ）表４の構文要素を使用：
１）OrgCW=64
２）i=0:16ではInputPivot[i]=i*OrgCW
３）i=lmcs_min_bin_idx: lmcsl_max_bin_idxではSignaledCW[i]=OrgCW+(1￢2*lmcs_bin_delta_sign_CW[i])*lmcsl_bin_delta_abs_CW[i]；
４）i=0:16ではMappedPivot[i]を以下のように計算する：
MappedPivot[0]=0；
(i=0; i<16; i++)では
MappedPivot[i+1]=MappedPivot[i]+SignaledCW[i]

[100] 逆マッピング関数「InvMap」は、InputPivot[]及びMappedPivot[]によって定められる。「FwdMap」と異なり、「InvMap」区分線形モデルでは、各区分の２つの入力ピボットポイントがMappedPivot[]によって定められ、２つの出力ピボットポイントがInputPivot[]によって定められる。このようにして、「FwdMap」の入力は、等しい区分に分割されるが、「InvMap」の入力が等しい区分に分割されることは、保証されない。

[101] 図５に示すように、インターコード化ブロックでは、動き補償予測をマップ領域内で実行することができる。換言すれば、動き補償予測５１６後、ＤＰＢ内内の参照信号に基づいてY_predを計算し、元の領域内のルマ予測ブロックをマップ領域にマップするために「FwdMap」関数５１８を適用することができる（Y’_pred=FwdMap(Y_pred)）。イントラコード化されたブロックでは、イントラ予測内で使用された参照サンプルがマップ領域内に既にあるため、「FwdMap」関数が適用されない。再構築されたブロック５０６後、Y_rを計算することができる。マップ領域内の再構築されたルマ値を元の領域内の再構築されたルマ値に変換して戻すために、「InvMap」関数５０８を適用することができる（

）。「InvMap」関数５０８は、イントラコード化されたルマブロック及びインターコード化されたルマブロックの両方に適用することができる。

[102] ルママッピングプロセス（順方向又は逆マッピング）は、参照表（ＬＵＴ）を使用して又はその場での計算を使用して実施することができる。ＬＵＴが使用される場合、タイルグループレベル又はスライスレベルでの使用のために、「FwdMapLUT[]」及び「InvMapLUT[]」の表を予め計算し、予め記憶しておくことができ、順方向マッピング及び逆マッピングを単純にFwdMap(Y_pred)=FwdMapLUT[Y_pred]及びInvMap(Y_r)=InvMapLUT[Y_r]としてそれぞれ実施することができる。

[103] 代わりに、その場での計算を使用することができる。順方向マッピング関数「FwdMap」を例に取る。ルマサンプルが属する区分を特定するために、サンプル値を（１０ビットの映像を仮定して１６個の等しい区分に対応する）６ビット右シフトして区分インデックスを得ることができる。次いで、その区分の線形モデルパラメータを取得し、その場で適用してマップされたルマ値を計算する。「FwdMap」関数は、以下のように評価される。
Y’pred=FwdMap(Y_pred)=((b2-b1)/(a2-a1))*(Y_pred-a1)+b1
ここで、「i」は、区分インデックスであり、a1は、InputPivot[i]であり、a2は、InputPivot[i+1]であり、b1は、MappedPivot[i]であり、b2は、MappedPivot[i+1]である。

[104] 「InvMap」関数は、マップ領域内の区分が等しいサイズであることが保証されないため、サンプル値が属する区分を見出すときに単純な右ビットシフトの代わりに条件付きチェックを適用しなければならないことを除き、同様の方法でその場で計算することができる。

[105] 一部の実施形態では、ルマ依存クロマ残差スケーリングを使用して映像コンテンツを処理するための方法が提供され得る。

[106] クロマ残差スケーリングは、ルマ信号と、ルマ信号に対応するクロマ信号との間の相互作用を補償するために使用することができる。クロマ残差スケーリングが有効化されるかどうかも、タイルグループレベル又はスライスレベルで信号化され得る。図６の表１及び図８の表３に示すように、ルママッピングが有効化される場合及びデュアルツリー分割が現タイルグループに適用されない場合、ルマ依存クロマ残差スケーリングが有効化されるかどうかを示すために追加のフラグ（例えば、「tile_group_reshaper_chroma_residual_scale_flag」又は「slice_chroma_residual_scale_flag」）が信号化され得る。ルママッピングが使用されない場合又はデュアルツリー分割が標的タイルグループ（又は標的スライス）内で使用される場合、ルマ依存クロマ残差スケーリングがそれに応じて無効化され得る。更に、ルマ依存クロマ残差スケーリングは、その領域が４以下のクロマブロックについて無効化され得る。

[107] クロマ残差スケーリングは、クロマ信号に対応する（イントラコード化されたブロック及びインターコード化されたブロックの両方に関する）ルマ予測ブロックの平均値に依存する。ルマ予測ブロックの平均「avgY’」は、以下の式を使用して求めることができる。

[108] 以下のステップを使用して、クロマ残差スケーリングのためのクロマスケール因子の値「C_ScaleInv」を求めることができる。
１）avgY’が属する区分線形モデルのインデックスY_Idxを、InvMap関数に基づいて見つける。
２）C_ScaleInv=cScaleInv[Y_Idx]が成立し、ここで、cScaleInv[]は、例えば、１６個の区分を有する予め計算されたＬＵＴである。

[109] 一部の実施形態において、ＬＭＣＳの方法では、予め計算されたＬＵＴであり、iが０～１５の範囲内である「cScaleInv[i]」は、６４エントリ静的ＬＵＴ「ChromaResidualScaleLut」及び信号化されるコード語「SignaledCW[i]」の値に基づいて以下のように導出することができる。
ChromaResidualScaleLut[64]={ 16384, 16384, 16384, 16384, 16384, 16384, 16384, 8192, 8192, 8192, 8192, 5461, 5461, 5461, 5461, 4096, 4096, 4096, 4096, 3277, 3277, 3277, 3277, 2731, 2731, 2731, 2731, 2341, 2341, 2341, 2048, 2048, 2048, 1820, 1820, 1820, 1638, 1638, 1638, 1638, 1489, 1489, 1489, 1489, 1365, 1365, 1365, 1365, 1260, 1260, 1260, 1260, 1170, 1170, 1170, 1170, 1092, 1092, 1092, 1092, 1024, 1024, 1024, 1024};
shiftC=11
－ (SignaledCW[i]==0)が成立する場合、
cScaleInv[i]=(1<<shiftC)
－さもなければ、
cScaleInv[i]=ChromaResidualScaleLut[(SignaledCW[i]>>1)-1]

[110] 一例として、入力が１０ビットであり、静的ＬＵＴ「ChromaResidualScaleLut[]」が６４個のエントリを含み、信号化されるコード語「SignaledCW[]」が[0,128]の範囲内にあると仮定する。従って、クロマスケール因子ＬＵＴの「cScaleInv[]」を構築するために、２による除算（又は１による右シフト）を使用する。ＬＵＴの「cScaleInv[]」は、タイルグループ（又はスライスレベル）で構築され得る。

[111] 現ブロックがイントラ、ＣＩＩＰ、又はイントラブロックコピー（ＩＢＣ）モードを使用してコード化できる場合、avgY’は、イントラ、ＣＩＩＰ、又はＩＢＣ予測ルマ値の平均として求めることができる。さもなければ、avgY’は、順方向マップされるインター予測ルマ値（即ち図３のY’_pred）の平均として計算される。ＩＢＣは、現ピクチャ参照（ＣＰＲ）モードと呼ぶこともできる。サンプルに基づいて実行されるルママッピングと異なり、「C_ScaleInv」は、全クロマブロックの定数値である。「C_ScaleInv」を用いてクロマ残差スケーリングを以下のように復号器側で適用することができる。

[112] ここで、

は、現ブロックの再構築されたクロマ残差である。符号器側では、順方向クロマ残差スケーリング（変換され量子化される前）を以下のように行う：Encoder side: C_ResScale=C_Res*C_Scale=C_Res/C_ScaleInv。

[113] 一部の実施形態では、クロスコンポーネント線形モデル予測を使用して映像コンテンツを処理するための方法が提供され得る。

[114] クロスコンポーネントの冗長性を減らすために、クロスコンポーネント線形モデル（ＣＣＬＭ）予測モードを使用することができる。ＣＣＬＭでは、以下のように線形モデルを使用することにより、同じコード化単位（ＣＵ）の再構築されたルマサンプルに基づいてクロマサンプルが予測される。
pred_C(i,j)=α・rec_L’(i,j)+β

[115] ここで、pred_C(i,j)は、ＣＵ内の予測クロマサンプルを表し、rec_L(i,j)は、同じＣＵのダウンサンプルされた再構築されたルマサンプルを表す。

[116] 線形モデルパラメータα及びβは、２つのサンプル位置からのルマ値とクロマ値との間の関係に基づいて導出される。２つのサンプル位置は、ダウンサンプルされた隣接ルマサンプルの組のうち、最大ルマサンプル値を有する第１のルマサンプル位置及び最小ルマサンプル値を有する第２のルマサンプル位置、並びにそれらの対応するクロマサンプルを含むことができる。線形モデルパラメータα及びβは、以下の式に従って得られる。

β=Y_b-α・X_b

[117] ここで、Ｙ_ａ及びＸ_ａは、第１のルマサンプル位置のルマ値及びクロマ値をそれぞれ表す。Ｘ_ｂ及びＹ_ｂは、第２のルマサンプル位置のルマ値及びクロマ値をそれぞれ表す。

[118] 図１０は、本開示の一部の実施形態によるＣＣＬＭモードに関与するサンプル位置の一例を示す。

[119] パラメータαの計算は、参照表を用いて実装することができる。表を記憶するのに必要なメモリを減らすために、diff値（最大値と最小値との差）及びパラメータαを指数表現によって表す。例えば、diffは、４ビットの有効部分及び指数によって近似される。その結果、1/diffのための表は、以下のように有効数字部の１６個の値についての１６個の要素に減らされる。
DivTable [] = {0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0}

[120] 「DivTable []」の表は、計算の複雑さを減らし、必要な表を記憶するのに必要なメモリサイズを減らすこともできる。

[121] 線形モデル係数を計算するために上部の位置及び左側の位置を一緒に使用できることに加えて、それらの位置は、ＬＭ＿Ａモード及びＬＭ＿Ｌモードと呼ばれる他の２つのＬＭモード内で代わりに使用することもできる。

[122] ＬＭ＿Ａモードでは、線形モデル係数を計算するために、上部の位置にあるサンプルのみを使用する。より多くのサンプルを取得するために、上部の位置は、（Ｗ＋Ｈ）サンプルを範囲に含まれように拡張することができる。ＬＭ＿Ｌモードでは、線形モデル係数を計算するために、左側の位置にあるサンプルのみを使用する。より多くのサンプルを得るために、左側の位置は、（Ｈ＋Ｗ）サンプルを範囲に含まれるように拡張することができる。

[123] 非正方形ブロックでは、上のテンプレートをＷ＋Ｗに拡張し、左側のテンプレートをＨ＋Ｈに拡張する。

[124] ４：２：０の映像シーケンスに関してクロマサンプル位置をマッチするために、２種類のダウンサンプリングフィルタをルマサンプルに適用して、２対１のダウンサンプリング比を水平方向及び垂直方向の両方に実現することができる。ダウンサンプリングフィルタの選択は、ＳＰＳレベルフラグによって指定され得る。「タイプ０」及び「タイプ２」コンテンツにそれぞれ対応する２つのダウンサンプリングフィルタは、以下の通りである。

[125] 上部の参照ラインがＣＴＵの境界にある場合、ダウンサンプルされたルマサンプルを計算するために、ルマライン（イントラ予測における一般的なラインバッファ）を１つのみ使用することが理解されるであろう。

[126] このパラメータの計算は、単に符号器の探索操作としてではなく、復号プロセスの一環として行うことができる。その結果、α及びβの値を復号器に伝えるために構文が使用されない。α及びβのパラメータは、クロマ成分のそれぞれについて別々に計算される。

[127] クロマイントラモードコード化では、合計８個のイントラモードが許可され得る。それらのモードは、５個の従来のイントラモードと、３個のクロスコンポーネント線形モデルモード（例えば、ＣＣＬＭ、ＬＭ＿Ａ及びＬＭ＿Ｌ）とを含む。ＣＣＬＭが有効化される場合にクロマモードを信号化し、導出するためのプロセスを、図９の表５に示す。クロマブロックのクロマモードコード化は、クロマブロックに対応するルマブロックのイントラ予測モードに依存し得る。Ｉスライス内でルマ成分及びクロマ成分のための別個のブロック分割構造が有効化されるため（以下で説明する）、１つのクロマブロックが複数のルマブロックに対応し得る。従って、クロマ導出モード（ＤＭ）では、現クロマブロックの中心位置を覆う、対応するルマブロックのイントラ予測モードが継承される。

[128] 一部の実施形態では、デュアルツリー分割を使用して映像コンテンツを処理するための方法が提供され得る。

[129] ＶＶＣのドラフトでは、コード化ツリー方式は、ルマ及びクロマが別個のブロックツリー分割を有する能力をサポートする。これは、デュアルツリー分割とも呼ばれる。ＶＶＣのドラフトでは、デュアルツリー分割の信号化は図１２の表６）及び図１３の表７に示される。後のＶＶＣのドラフト５では、デュアルツリー分割は、図１４の表８及び図１５の表９）にあるように信号化される。ＳＰＳ内で信号化されるシーケンスレベル制御フラグ（例えば、「qtbtt_dual_tree_intra_flag」）がオンにされ、標的タイルグループ（又は標的スライス）がイントラコード化される場合、ブロック分割情報をまずルマについて、次いでクロマについて、別々に信号化することができる。インターコード化されるタイルグループ／スライス（例えば、Ｐ及びＢタイルグループ／スライス）では、デュアルツリー分割が許可されない。別個のブロックツリーモードが適用される場合、図１３の表７に示すように、ルマコード化ツリーブロック（ＣＴＢ）が第１のコード化ツリー構造によってＣＵに分割され、クロマＣＴＢが第２のコード化ツリー構造によってクロマＣＵに分割される。

[130] ルマ及びクロマブロックが異なる分割を有することが許可される場合、様々な色成分間の依存性を有するコード化ツールに関して問題が生じ得る。例えば、ＬＭＣＳが適用される場合、標的クロマブロックに適用されるスケール因子を決定するために、標的クロマブロックに対応するルマブロックの平均値を使用することができる。デュアルツリー分割が使用される場合、ルマブロックの平均値を決定することが全ＣＴＵのレイテンシを招き得る。例えば、ＣＴＵのルマブロックが垂直に１回分割され、ＣＴＵのクロマブロックが水平に１回分割される場合、ＣＴＵの第１のクロマブロックが復号可能である前にＣＴＵのルマブロックの両方が平均値を計算するために復号される。ＶＶＣでは、ＣＴＵがルマサンプルの単位で１２８ｘ１２８もの大きさである可能性があり、クロマブロックを復号するレイテンシが大幅に増加することを引き起こす。従って、ＶＶＣのドラフト４及びドラフト５は、デュアルツリー分割と、ルマ依存クロマスケーリングとの組み合わせを禁止することができる。標的タイルグループ（又は標的スライス）についてデュアルツリー分割が有効化される場合、クロマスケーリングを強制的にオフにすることができる。ＬＭＣＳのルママッピング部分は、ルマ成分に対してのみ影響し、色成分を横断する依存性の問題を有さないため、デュアルツリー分割でも引き続き許可されることに留意されたい。

[131] より優れたコード化効率を実現するために色成分間の依存性に依拠するコード化ツールの別の例は、上記で論じたクロスコンポーネント線形モデル（ＣＣＬＭ）と呼ばれる。ＣＣＬＭでは、隣接するルマ及びクロマ再構築されたサンプルを使用してクロスコンポーネントパラメータを導出することができる。そのクロスコンポーネントパラメータを標的クロマブロックの対応する再構築されたルマサンプルに適用して、クロマ成分のための予測子を導出することができる。デュアルツリー分割が使用される場合、ルマ及びクロマ分割が位置合わせされることは、保証されない。従って、ＣＣＬＭに使用されるサンプルを含む対応するルマブロックの全てが再構築されるまで、ＣＣＬＭをクロマブロックに対して開始することができない。

[132] 図１６Ａ～図１６Ｂは、本開示の一部の実施形態による例示的なクロマツリー分割及び例示的なルマツリー分割を示す。図１６Ａは、クロマブロック１６００の例示的な分割構造を示す。図１６Ｂは、図１６のクロマブロック１６００に対応するルマブロック１６１０の例示的な分割構造を示す。図１６Ａでは、クロマブロック１６００が４つのサブブロックに４分割されており、左下のサブブロックが４つのサブブロックに更に４分割されており、グリッドパターンを有するブロックは、予測しようとする現ブロックである。図１６Ｂでは、ルマブロック１６１０が２つのサブブロックに水平に２分割されており、グリッドパターンを有する領域は、予測しようとする標的クロマブロックに対応する領域である。ＣＣＬＭパラメータを導出するために、無地の円で表す隣接する再構築されたサンプルの値が必要である。従って、下部のルマブロックの再構築が終了するまで標的クロマブロックの予測を開始することができず、これは、大きいレイテンシを生じさせる。

[133] 一部の実施形態では、仮想パイプラインデータ単位を使用して映像コンテンツを処理するための方法が提供され得る。

[134] ＶＶＣの規格化では、よりフレンドリーなハードウェア実装のために仮想パイプラインデータ単位（ＶＰＤＵ）の概念が導入されている。ＶＰＤＵは、ピクチャ内の重複しないＭｘＭルマ（Ｌ）／ＮｘＮクロマ（Ｃ）単位として定められる。ハードウェア復号器では、連続したＶＰＤＵが複数のパイプライン段によって同時に処理される。異なる段が異なるＶＰＤＵを同時に処理する。ＶＰＤＵのサイズは、殆どのパイプライン段においてバッファサイズにおよそ比例し、従ってＶＰＤＵのサイズを小さく保つことが重要である。ＶＶＣでは、ＶＰＤＵのサイズが６４ｘ６４サンプルに設定される。従って、ＶＶＣで採用される全てのコード化ツールは、ＶＰＤＵの制約に違反することができない。例えば、全変換ブロックを同じパイプライン段において操作する必要があるため、最大変換サイズは、６４ｘ６４とすることのみができる。ＶＰＤＵの制約により、イントラ予測ブロックも６４ｘ６４以内とすべきである。従って、イントラコード化されるタイルグループ／スライス（例えば、Ｉタイルグループ／スライス）において、ＣＴＵは、（ＣＴＵが６４ｘ６４よりも大きい場合）４つの６４ｘ６４ブロックに分割されることを強制され、それぞれの６４ｘ６４ブロックは、デュアルツリー構造によって更に分割され得る。従って、デュアルツリーが有効化される場合、ルマ分割ツリーとクロマ分割ツリーとの共通の根は、６４ｘ６４ブロックサイズにある。

[135] ＬＭＣＳ及びＣＣＬＭの現在の設計において幾つかの問題がある。

[136] 第一に、タイルグループレベルのクロマスケール因子ＬＵＴの「cScaleInv[]」の導出は、容易に拡張することができない。導出プロセスは、現在、６４個のエントリを有する一定のクロマＬＵＴ「ChromaResidualScaleLut」に依存する。１６個の区分を有する１０ビットの映像では、２による除算の追加のステップを適用しなければならない。区分の数が変わる場合（例えば、１６個の区分の代わりに８個の区分が使用される場合）、２ではなく、４による除算を適用するように導出プロセスを変更しなければならない。この追加のステップは、精度の損失を引き起こし得る。

[137] 第二に、例えばクロマスケール因子を得るために使用されるY_Idxを計算するために、全ルマブロックの平均値を使用する。１２８ｘ１２８の最大ＣＴＵサイズを考慮して、平均ルマ値は、１６３８４（１２８ｘ１２８）ルマサンプルに基づいて計算され得、かかる計算は、複雑である。更に、１２８ｘ１２８のルマブロック分割が符号器によって選択される場合、そのブロックは、均質のコンテンツを含む可能性が高い。従って、ルマ平均を計算するのにブロック内のルマサンプルのサブセットで十分であり得る。

[138] 第三に、デュアルツリー分割中、ハードウェア復号器の潜在的なパイプラインの問題を回避するためにクロマスケーリングがオフに設定される。しかし、（適用されるクロマスケール因子を導出するために対応するルマサンプルを使用する代わりに）適用されるクロマスケール因子を示すための明確な信号化を使用する場合、この依存性を回避することができる。イントラコード化されるタイルグループ／スライス内のクロマスケーリングを有効化することは、コード化効率を更に改善し得る。

[139] 第四に、従来、１６個の区分のそれぞれについてデルタコード語値が信号化される。多くの場合、この１６区分について、限られた数の異なるコード語のみが使用されることが認められている。従って、信号化のオーバヘッドを更に減らすことができる。

[140] 第５にＣＣＬＭのパラメータは、標的クロマブロックの因果的近傍であるブロックからのルマ及びクロマ再構築されたサンプルを用いて導出される。デュアルツリー分割では、ルマブロック分割及びクロマブロック分割が必ずしも位置合わせされない。従って、複数のルマブロック又は標的クロマブロックよりも大きい領域を有するルマブロックが標的クロマブロックに対応し得る。標的クロマブロックのＣＣＬＭパラメータを導出するために、図１６Ａ～図１６Ｂに示すように、対応するルマブロックの全てが再構築されなければならない。かかる再構築は、パイプライン実装におけるレイテンシを引き起こし、ハードウェア復号器のスループットを低下させる。

[141] 上記の問題に対処するために、本開示の実施形態を下記の通り示す。

[142] 本開示の実施形態は、クロマスケーリングＬＵＴを除去することによって映像コンテンツを処理するための方法を提供する。

[143] 上記で述べたように、６４エントリのクロマＬＵＴは、容易に拡張可能ではなく、他の区分線形モデル（例えば、８区分、４区分、６４区分等）が使用される場合に問題を引き起こすことがある。同じコード化効率を実現するために、クロマスケール因子をその対応する区分のルマスケール因子と同じに設定することができるため、かかるＬＵＴは、不要でもある。本開示の一部の実施形態では、現クロマブロックの区分インデックスをY_Idxで表し、以下のステップを使用してクロマスケール因子を決定する：
・Y_Idx>reshaper_model_max_bin_idx若しくはY_Idx<reshaper_model_min_bin_idxが成立する場合又はSignaledCW[Y_Idx]=0が成立する場合、chroma_scalingをデフォルトに設定し、chroma_scaling=1.0となり、即ちスケーリングが適用されない。
・さもなければ、chroma_scalingをSignaledCW[Y_Idx]/OrgCWに設定する。

[144] 上記で導出したクロマスケール因子は、小数精度を有する。ハードウェア／ソフトウェアプラットフォーム上の依存性を回避するために固定小数点近似を適用することができる。更に、復号器側で逆クロマスケーリングを行う必要がある。かかる除算は、乗算と、その後に続く右シフトを使用する固定小数点演算とによって実装することができる。固定小数点近似内のビットの数をCSCALE_FP_PRECで表す。固定小数点精度での逆クロマスケール因子を決定するために以下を使用することができる：
inverse_chroma_scaling[Y_Idx]=((1<<(luma_bit_depth-log2(TOTAL_NUMBER_PIECES)+CSCALE_FP_PREC))+(SignaledCW[Y_Idx]>>1))/SignaledCW[Y_Idx]；
ここで、luma_bit_depthは、ルマビット深度であり、TOTAL_NUMBER_PIECESは、ＶＶＣのドラフト４で１６に設定される区分線形モデル内の総区分数である。inverse_chroma_scalingの値は、タイルグループ／スライスごとに１回計算するのみでよい場合があり、上記の除算は、整数除算演算であることに留意されたい。

[145] クロマスケール因子及び逆スケール因子を導出するために更なる量子化を適用することができる。例えば、SignaledCWの全ての偶数（２×ｍ）値について逆クロマスケール因子を計算することができ、SignaledCWの奇数（２×ｍ＋１）値は、隣接する偶数値のスケール因子のクロマスケール因子を再利用する。換言すれば、下記を使用することができる。
for(i=reshaper_model_min_bin_idx; i<=reshaper_model_max_bin_idx; i++)
{
tempCW=SignaledCW[i]>>1)<<1;
inverse_chroma_scaling[i]=((1<<(luma_bit_depth-log2(TOTAL_NUMBER_PIECES)+CSCALE_FP_PREC))+(tempCW>>1))/tempCW;
}

[146] クロマスケール因子を量子化する上記の実施形態は、更に汎用化することができ、例えば他の全ての隣接値が同じクロマスケール因子を共有しながら、SignaledCWのｎ番目の値ごとに逆クロマスケール因子を計算することができる。例えば、「ｎ」は、４に設定することができ、それは、隣接する４個のコード語値ごとに同じ逆クロマスケール因子値が共有されることを意味する。「ｎ」の値は、２のべき乗とすることが望ましく、かかる設定は、除算を計算するためにシフトを使用することを可能にする。log2(n)の値をLOG2_nとして表し、上記の式は、以下のように修正することができる：tempCW=SignaledCW[i]>>LOG2_n)<<LOG2_n。

[147] 最後に、LOG2_nの値は、区分線形モデル内で使用される区分数の関数であり得る。より少ない区分が使用される場合、より大きいLOG2_nを使用することが有益である。例えば、TOTAL_NUMBER_PIECESが１６以下の場合、LOG2_nは、1+(4-log2(TOTAL_NUMBER_PIECES))に設定することができる。TOTAL_NUMBER_PIECESが１６を上回る場合、LOG2_nは、０に設定することができる。

[148] 本開示の実施形態は、ルマ予測ブロックの平均化を単純化することによって映像コンテンツを処理するための方法を提供する。

[149] 上記で論じたように、現クロマブロックの区分インデックス「Y_Idx」を決定するために、対応するルマブロックの平均値を使用することができる。しかし、大きいブロックのサイズでは、平均化プロセスが多数のルマサンプルを含み得る。最悪の場合、１２８ｘ１２８のルマサンプルが平均化プロセスに関与し得る。

[150] 本開示の実施形態は、最悪の場合を僅かＮｘＮのルマサンプル（Ｎは２のべき乗である）を使用することに低減するための単純化した平均化プロセスを提供する。

[151] 一部の実施形態では、２次元ルマブロックの両方の寸法が事前設定閾値Ｎ以下である（換言すれば、２つの寸法の少なくとも一方がＮを上回る）場合、その寸法内のＮの位置のみを使用するように「ダウンサンプリング」を適用することができる。一般性を失うことなく、横寸法を例に取る。幅がＮを上回る場合、位置ｘ（x=i×(width>>log2(N)), i=0,…N-1）にあるサンプルのみを平均化に使用する。

[152] 図１７は、本開示の一部の実施形態による平均化演算の例示的な単純化を示す。この例では、Ｎが４に設定され、ブロック内の１６個のルマサンプル（陰影付きのサンプル）のみが平均化に使用される。Ｎの値は、４に限定されないことが理解されるであろう。例えば、Ｎは、２のべき乗である任意の値に設定することができる。換言すれば、Ｎは、１、２、４、８等であり得る。

[153] 一部の実施形態では、横寸法及び縦寸法に異なるＮの値が適用され得る。換言すれば、平均化演算の最悪の事例は、ＮｘＭのサンプルを使用し得る。一部の実施形態では、寸法を考慮することなく、平均化プロセス内でサンプル数を限定することができる。例えば、最大で１６個のサンプルを使用することができる。それらの１６個のサンプルは、１ｘ１６、１６ｘ１、２ｘ８、８ｘ２、４ｘ４形式、又は標的ブロックの形状に適合する形式で、横寸法又は縦寸法内に分布し得る。例えば、ブロックが縦長である場合、２ｘ８を使用し、ブロックが横長である場合、８ｘ２を使用し、ブロックが正方形である場合、４ｘ４を使用する。

[154] かかる単純化は、平均値が全ルマブロックの真の平均と異なることを引き起こし得るが、そのようないかなる差異も小さいと考えられる。その理由は、大きいブロックのサイズが選択される場合、ブロック内のコンテンツがより均質になる傾向があるからである。

[155] 更に、復号器側動きベクトル洗練（ＤＭＶＲ）モードは、とりわけ復号器にとってＶＶＣ規格内の複雑なプロセスである。その理由は、ＤＭＶＲが、動き補償が適用可能である前に復号器が動き検出を行って動きベクトルを導出することを要求するからである。双方向オプティカルフロー（ＢＤＯＦ）は、ルマ予測ブロックを得るためにＤＭＶＲ後に適用しなければならない追加の逐次プロセスであるため、ＶＶＣ規格内のＢＤＯＦモードは、この状況を更に複雑にし得る。クロマスケーリングは、対応するルマ予測ブロックの平均値を必要とするため、平均値が計算可能である前にＤＭＶＲ及びＢＤＯＦが適用される可能性があり、レイテンシの問題を引き起こす。

[156] このレイテンシの問題を解決するために、本開示の一部の実施形態では、ＤＭＶＲ及びＢＤＯＦ前にルマ予測ブロックを使用して平均ルマ値を計算し、平均ルマ値を使用してクロマスケール因子を得る。これは、ＤＭＶＲ及びＢＤＯＦプロセスと並列にクロマスケーリングを適用できるようにし、従ってレイテンシを著しく減らすことができる。

[157] 本開示と合致して、レイテンシ低減の改変形態を考えることができる。一部の実施形態では、このレイテンシ低減は、平均ルマ値を計算するためにルマ予測ブロックの一部のみを使用する上記の単純化した平均化プロセスと組み合わせることもできる。一部の実施形態では、ルマ予測ブロックをＤＭＶＲプロセス後及びＢＤＯＦプロセス前に使用して、平均ルマ値を計算することができる。次いで、平均ルマ値を使用してクロマスケール因子を得る。この設計は、クロマスケール因子を決定する精度を保ちながら、ＢＤＯＦプロセスと並列にクロマスケーリングを適用できるようにする。ＤＭＶＲプロセスは、動きベクトルを洗練させ得、従って、ＤＭＶＲプロセス前の動きベクトルと共に予測サンプルを使用することよりも、ＤＭＶＲプロセス後の洗練された動きベクトルと共に予測サンプルを使用する方が正確であり得る。

[158] 更に、ＶＶＣ規格では、ＣＵ構文構造（例えば、coding_unit()）は、標的ＣＵ内に何らかの非ゼロ残差係数があるかどうかを示すための構文要素「cu_cbf」を含み得る。ＴＵレベルでは、ＴＵ構文構造transform_unit()は、標的ＴＵ内に何らかの非ゼロクロマ（Ｃｂ又はＣｒ）残差係数があるかどうかを示すための構文要素tu_cbf_cb及びtu_cbf_crを含む。ＶＶＣのドラフト４では、タイルグループレベル又はスライスレベルでクロマスケーリングが有効化される場合、対応するルマブロックの平均化を呼び出すことができる。本開示は、ルマ平均化プロセスをバイパスするための方法も提供する。開示する実施形態と合致して、クロマスケーリングプロセスは、残差クロマ係数に適用されるため、非ゼロクロマ係数がない場合、ルマ平均化プロセスをバイパスすることができる。これは、以下の条件に基づいて決定することができる。
条件１：cu_cbfが０に等しい
条件２：tu_cbf_cr及びtu_cbf_cbが何れも０に等しい

[159] 条件１又は条件２が満たされる場合、ルマ平均化プロセスをバイパスすることができる。

[160] 上記の実施形態では、予測ブロックのＮｘＮサンプルのみを使用して平均値を導出し、これは、平均化プロセスを単純化する。例えば、Ｎが１に等しい場合、予測ブロックの左上サンプルのみが使用され得る。しかし、この単純化した事例でも、予測ブロックが最初に生成されることを必要とし、それによりレイテンシを引き起こす。従って、一部の実施形態では、クロマスケール因子を導出するために参照ルマサンプルを直接使用できることを考える。これは、復号器がルマ予測プロセスと並列にクロマスケール因子を導出できるようにし、それによりレイテンシを低減する。換言すれば、イントラ予測とインター予測とが別々に処理される。

[161] イントラ予測の場合、予測ブロックを生成するための参照サンプルとして、同じピクチャ内の既に復号された隣接サンプルを使用することができる。これらの参照サンプルは、標的ブロックの上部のサンプル、標的ブロックの左側のサンプル、及び標的ブロックの左上のサンプルを含む。これらの全ての参照サンプルの平均を使用してクロマスケール因子を導出することができる。代わりに、これらの参照サンプルの一部のみの平均を使用することができる。例えば、標的ブロックの左上の位置に最も近いＭ個の参照サンプル（例えば、Ｍ＝３）のみを平均化することができる。

[162] 別の例として、クロマスケール因子を導出するために平均化されるＭ個の参照サンプルは、左上の位置に最も近くなく、図１８にあるように標的ブロックの上部の境界及び左側の境界に沿って分布する。図１８は、クロマスケール因子を導出するための平均計算に使用される例示的なサンプルを示す。図１８にあるように、例示的なサンプルを点線の四角形で表す。図１８に示す例示的な四角形１８０１～１８０７のそれぞれにおいて１個、２個、３個、４個、５個、６個及び８個のサンプルが平均化される。本開示の平均計算は、異なるサンプルが平均計算における異なる重みを有し得る加重平均で置換することができる。例えば、平均計算における除算演算を回避するために、重みの和は、２のべき乗であり得る。

[163] インター予測の場合、予測ブロックを生成するために時間的参照ピクチャからの参照サンプルを使用することができる。これらの参照サンプルは、参照ピクチャインデックス及び動きベクトルによって識別される。動きベクトルが小数精度を有する場合、補間を適用することができる。参照サンプルの平均を計算するために、補間後の参照サンプルが使用され得るか、又は補間前の参照サンプル（即ち整数精度にクリッピングされる動きベクトル）が使用され得る。開示する実施形態と合致して、参照サンプルの全てを使用して平均を計算することができる。代わりに、参照サンプルの一部のみ（例えば、標的ブロックの左上の位置に対応する参照サンプル）を使用して平均を計算することができる。

[164] 図５に示すように、元の領域内でインター予測を行いながら、リシェープド領域内でイントラ予測を行う。従って、インター予測では、予測ブロックに対して順方向マッピングを適用し、順方向マッピング後のルマ予測ブロックを使用してルマブロックの平均値を計算する。レイテンシを減らすために、平均値は、順方向マッピング前のルマ予測ブロックを使用して計算することができる。例えば、順方向マッピング前の全ルマブロック、又は順方向マッピング前のルマブロックのＮｘＮ部分、又は順方向マッピング前のルマブロックの左上サンプルを使用することができる。

[165] 本開示の実施形態は、デュアルツリー分割のためのクロマスケーリングを伴う映像コンテンツを処理するための方法を更に提供する。

[166] ルマブロックに対する依存性は、ハードウェア設計の複雑化を引き起こし得るため、デュアルツリー分割を可能にするイントラコード化されるタイルグループ／スライスについてクロマスケーリングをオフにすることができる。しかし、この制限は、コード化効率の損失を引き起こし得る。

[167] ＣＴＵは、ルマコード化ツリー及びクロマコード化ツリーの両方の共通のルートであるため、クロマスケール因子をＣＴＵレベルで導出することは、デュアルツリー分割におけるクロマとルマとの間の依存性を除去することができる。例えば、クロマスケール因子を導出するために、ＣＴＵに隣接する再構築されたルマサンプル又はクロマサンプルが使用される。このクロマスケール因子は、ＣＴＵ内の全てのクロマサンプルに対して使用することができる。この例では、上記の参照サンプルを平均化する方法を適用して、ＣＴＵに隣接する再構築されたサンプルを平均化することができる。これらの全ての参照サンプルの平均を使用してクロマスケール因子を導出することができる。又は、これらの参照サンプルの一部のみの平均値を使用することができる。例えば、標的ブロックの左上の位置に最も近いＭ個の参照サンプル（例えば、Ｍ＝４、８、１６、３２又は６４）のみを平均化することができる。

[168] しかし、図１９の灰色のＣＴＵのように、ピクチャの下部又は右側の境界上のＣＴＵでは、ＣＴＵの全てのサンプルがピクチャ境界内にない場合がある。この場合、クロマスケール因子を導出するために、ピクチャ境界内のＣＴＵの境界上の隣接する再構築されたサンプル（図１９の灰色のサンプル）のみを使用することができる。しかし、平均計算における可変数のサンプルは、ハードウェア実装において不所望な除算演算を必要とする。従って、本開示の実施形態は、平均計算における除算演算を回避することができるように、２のべき乗である定数にピクチャ境界サンプルをパディングする方法を提供する。例えば、図１９に示すように、ピクチャの下部の境界の外にあるパデッドサンプルは、ピクチャの下部の境界上の全てのサンプルのうち、パデッドサンプルに最も近いサンプルであるサンプル１９０５から生成される。ＣＴＵレベルのクロマスケール因子の導出に加えて、クロマスケール因子は、固定グリッド上で導出することができる。パイプライン段によって処理されるデータ単位として定められる仮想パイプラインデータ単位（ＶＰＤＵ）を考慮し、クロマスケール因子は、ＶＰＤＵレベルにおいて導出することができる。ＶＶＣのドラフト５では、ＶＰＤＵがルマサンプルグリッド上の６４ｘ６４ブロックとして定められる。従って、本開示の実施形態では、６４ｘ６４グロックの粒度でのクロマスケール因子の導出を行う。ＶＶＣのドラフト６では、ＶＰＤＵがルマサンプルグリッド上のＭｘＭブロックとして定められ、Ｍは、ＣＴＵサイズ及び６４の小さい方である。先に説明したＣＴＵレベルの導出方法は、ＶＰＤＵレベルでも使用することができる。

[169] 一部の実施形態では、グリッドサイズが、ＣＴＵよりも小さい固定グリッド上でクロマスケール因子を導出することに加えて、因子は、ＣＴＵごとに１回のみ導出され、ＣＴＵ内の全てのグリッド単位（例えば、ＶＰＤＵ）に使用される。例えば、ＣＴＵの第１のＶＰＤＵ上でクロマスケール因子を導出し、その因子をＣＴＵ内の全てのＶＰＤＵに使用する。ＶＰＤＵレベル上の方法は、導出時に限られた数の隣接サンプルを使用する（例えば、ＣＴＵ内の第１のＶＰＤＵに対応する隣接サンプルのみを使用する）ＣＴＵレベルの導出と同等であることが理解されるであろう。

[170] 対応するルマブロックのサンプル値を平均化して、ＣＴＵレベルにおいてＶＰＤＵレベル又は他の任意の固定サイズブロック単位レベルでavgY’を計算し、区分インデックスY_Idxを決定し、クロマスケール因子inverse_chroma_scaling[Y_Idx]を得る代わりに、デュアルツリー分割の場合にルマに対する依存性を回避するためにクロマスケール因子をビットストリーム内で明示的に信号化することもできる。

[171] クロマスケールインデックスは、複数のレベルで信号化することができる。例えば、図２０の表１０及び図２１の表１１に示すように、クロマスケールインデックスは、クロマ予測モードと共にコード化単位（ＣＵ）レベルで信号化することができる。標的クロマブロックのクロマスケール因子を決定するために、構文要素lmcs_scaling_factor_idx（図２０の要素２００２及び図２１の要素２１０２）を使用する。lmcs_scaling_factor_idxがない場合、標的クロマブロックのクロマスケール因子は、浮動小数点数精度で１．０又は均等に固定小数点精度で（1<<CSCALE_FP_PREC）に等しいと推論される。lmcs_chroma_scaling_idxの許容値の範囲は、タイルグループレベル又はスライスレベルで決定することができ、後に解説する。

[172] lmcs_chroma_scaling_idxの可能な値にもよるが、とりわけ小さいブロックにとってその信号化のコストが高くなり過ぎる場合がある。従って、本開示の一部の実施形態では、図２０の表１０の信号化条件がブロックサイズの条件を追加で含み得る。例えば、この「lmcs_chroma_scaling_idx」の構文要素（図２０の要素２００２）は、標的ブロックがＮ個のクロマサンプル以下を含む場合、又は標的ブロックが所与の幅Ｗよりも大きい幅及び／又は所与の高さＨよりも大きい高さを有する場合にのみ信号化される。より小さいブロックでは、lmcs_chroma_scaling_idxが信号化されない場合、復号器側でそのクロマスケール因子を決定することができる。一例として、クロマスケール因子は、浮動小数点数精度で１．０に設定することができる。一部の実施形態では、タイルグループヘッダレベル又はスライスヘッダレベルでデフォルトのlmcs_chroma_scaling_idx値を追加することができる（図１０の表１）。信号化されるlmcs_chroma_scaling_idxを有さないブロック（例えば、小さいブロック）は、ブロックに対応するクロマスケール因子を導出するために、このタイルグループ／スライスレベルのデフォルトインデックスを使用することができる。一部の実施形態では、小さいブロックのクロマスケール因子は、スケール因子を明示的に信号化したその近傍（例えば、上部又は左側の近傍）から継承することができる。

[173] この「lmcs_chroma_scaling_idx」の構文要素をＣＵレベルで信号化することに加えて、この構文要素は、ＣＴＵレベルでも信号化することができる。しかし、ＶＶＣにおいて最大ＣＴＵサイズが１２８ｘ１２８である場合、ＣＴＵレベルで信号化される「lmcs_chroma_scaling_idx」の構文要素によるクロマスケーリングが粗過ぎる場合がある。従って、本開示の一部の実施形態では、固定された粒度を使用して、この「lmcs_chroma_scaling_idx」の構文要素を信号化することができる。例えば、１６ｘ１６サンプルの領域（又はＶＰＤＵでは６４ｘ６４サンプルの領域）ごとに１つのlmcs_chroma_scaling_idxが信号化され、１６ｘ１６サンプルの領域（又は６４ｘ６４サンプルの領域）内のサンプルに適用され得る。

[174] 標的タイルグループ／スライスのlmcs_chroma_scaling_idxの範囲は、標的タイルグループ／スライス内で許可されるクロマスケール因子の値の数に依存する。lmcs_chroma_scaling_idxの範囲は、上記で論じたように、６４エントリクロマＬＵＴに依拠するＶＶＣ内の既存の方法によって決定され得る。代わりに、lmcs_chroma_scaling_idxの範囲は、上記で論じたクロマスケール因子の計算を使用して決定することもできる。

[175] 一例として、上記の「量子化」方法では、LOG2_nの値を２に設定し（即ち「ｎ」を４に設定し）、標的タイルグループ／スライスの区分線形モデル内の各区分のコード語割り当てを以下のように設定する：{0, 65, 66, 64, 67, 62, 62, 64, 64, 64, 67, 64, 64, 62, 61, 0}。従って、６４～６７の任意のコード語の値は、同じスケール因子の値（例えば、小数精度で１．０）を有することができ、６０～６３の任意のコード語の値は、同じスケール因子の値（例えば、小数精度で６０／６４＝０．９３７５）を有することができるため、全タイルグループについて可能なスケール因子の値は、２つのみある。コード語が割り当てられていない２つの末端区分では、クロマスケール因子をデフォルトで１．０に設定することができる。従って、この例では、標的スライス内のブロックに関してlmcs_chroma_scaling_idxを信号化するのに１ビットで十分である。ブロックは、クロマスケール因子の信号化レベルに応じてＣＵ、ＣＴＵ又は固定領域を含むことができる。

[176] 区分線形モデルを使用して可能なクロマスケール因子の値を導出する以外、一部の実施形態では、符号器がタイルグループ／スライスヘッダにおいてクロマスケール因子の値の組を信号化することができる。次いで、ブロックレベルにおいて、この組及びそのブロックのlmcs_chroma_scaling_idxの値を使用してクロマスケール因子の値を決定することができる。

[177] 代わりに、信号化のコストを低減するために、クロマスケール因子を隣接ブロックから予測することができる。例えば、標的ブロックのクロマスケール因子が標的ブロックの隣接ブロックのクロマスケール因子と等しいことを示すためにフラグを使用することができる。隣接ブロックは、上部又は左側の隣接ブロックであり得る。従って、標的ブロックに関して２ビットまで信号化することができる。例えば、その２ビットの第１のビットは、標的ブロックのクロマスケール因子が標的ブロックの左側の近傍のクロマスケール因子に等しいかどうかを示すことができ、第２のビットは、標的ブロックのクロマスケール因子が標的ブロックの上部の近傍に等しいかどうかを示すことができる。標的ブロックのクロマスケール因子が上部の近傍又は左側の近傍に等しいことを何れのビットの値も示さない場合、lmcs_chroma_scaling_idx構文を信号化することができる。

[178] 「lmcs_chroma_scaling_idx」の様々な値の可能性に応じて、平均コード長を減らすために、「code lmcs_chroma_scaling_idx」に可変長のコード語を使用することができる。

[179] 「lmcs_chroma_scaling_idx」をコード化するためにコンテキストベース適応二値算術コード化（ＣＡＢＡＣ）を適用することができる。標的ブロックに関連するＣＡＢＡＣコンテキストは、標的ブロックの隣接ブロックの「lmcs_chroma_scaling_idx」に依存し得る。例えば、ＣＡＢＡＣコンテキストを形成するために、左側の隣接ブロック又は上部の隣接ブロックを使用することができる。「lmcs_chroma_scaling_idx」の二値化に関して、「lmcs_chroma_scaling_idx」を二値化するためにトランケーティドライス二値化を使用することができる。

[180] 「lmcs_chroma_scaling_idx」を信号化することにより、符号器は、レート歪みコストに関して適応性のあるlmcs_chroma_scaling_idxを選択することができる。従って、レート歪み最適化を使用してlmcs_chroma_scaling_idxを選択してコード化効率を改善することができ、これは、信号化コストの増加を相殺することを促進し得る。

[181] 本開示の実施形態は、ＬＭＣＳ区分線形モデルを信号化することを伴う映像コンテンツを処理するための方法を更に提供する。

[182] ＶＶＣのドラフト４におけるＬＭＣＳの方法は、１６個の区分を有する区分線形モデルを使用するが、タイルグループ／スライス内のSignaledCW[i]の固有値の数は、１６よりもはるかに少ない傾向がある。例えば、１６個の区分の一部は、コード語のデフォルトの数「OrgCW」を使用することができ、１６個の区分の一部は、互いと同じコード語の数を有することができる。従って、ＬＭＣＳ区分線形モデルを信号化する際、固有のコード語の数を「listUniqueCW[]」の形式で信号化し、ＬＭＣＳ区分線形モデルの各区分について標的区分のコード語を選択するためにlistUniqueCW[]のインデックスを送信することができる。

[183] 図２２の表１２において、修正された構文表を示し、表１２では、イタリック体で示す構文要素２２０２及び２２０４が本実施形態に従って改定されている。

[184] 開示する信号化方法の意味規則は、以下の通りであり、変更箇所に下線を引いてある：
reshaper_model_min_bin_idxは、リシェーパ構築プロセス内で使用される最小ビン（又は区分）インデックスを規定する。reshape_model_min_bin_idxの値は、０～MaxBinIdxまでの範囲内にあるものとする。MaxBinIdxの値は、１５に等しいものとする。
reshaper_model_delta_max_bin_idxは、最大許容ビン（又は区分）インデックスMaxBinIdx引く、リシェーパ構築プロセス内で使用される最大ビンインデックスを規定する。reshape_model_max_bin_idxの値は、MaxBinIdx-reshape_model_delta_max_bin_idxに等しく設定される。
reshaper_model_bin_delta_abs_cw_prec_minus1 plus 1は、構文reshape_model_bin_delta_abs_CW[i]の表現に使用されるビット数を規定する。
reshaper_model_bin_num_unique_cw_minus1 plus 1は、コード語アレイlistUniqueCWのサイズを規定する。
reshaper_model_bin_delta_abs_CW[i]は、ｉ番目のビンの絶対デルタコード語値を規定する。
reshaper_model_bin_delta_sign_CW_flag[i]は、reshape_model_bin_delta_abs_CW[i]の符号を以下のように規定する：
－ reshape_model_bin_delta_sign_CW_flag[i]が０に等しい場合、対応する変数RspDeltaCW[i]は、正値である。
－さもなければ、（reshape_model_bin_delta_sign_CW_flag[i]が０に等しくない）対応する変数RspDeltaCW[i]は、負値である。
reshape_model_bin_delta_sign_CW_flag[i]がない場合、対応する変数RspDeltaCW[i]は、０に等しいと推論する。
変数RspDeltaCW[i]は、RspDeltaCW[i]=(1-2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i]として導出される。
変数listUniqueCW[0]は、OrgCWに等しく設定される。i=1... reshaper_model_bin_num_unique_cw_minus1までの変数listUniqueCW[i]は、以下のように導出される：
－変数OrgCWを(1<<BitDepth_Y)/(MaxBinIdx+1)に等しく設定する。
－ listUniqueCW[i]=OrgCW+RspDeltaCW[i-1]
reshaper_model_bin_cw_idx[i]は、RspCW[i]を導出するために使用されるアレイlistUniqueCW[]のインデックスを規定する。reshaper_model_bin_cw_idx[i]の値は、０～（reshaper_model_bin_num_unique_cw_minus1+1）までの範囲内にあるものとする。
RspCW[i]は、以下のように導出される：
－ reshaper_model_min_bin_idx < = i <= reshaper_model_max_bin_idxが成立する場合、
RspCW[i]=listUniqueCW[reshaper_model_bin_cw_idx[i]]。
－さもなければ、RspCW[i]=0。

[185] BitDepth_Yの値が１０に等しい場合、RspCW[i]の値は、３２～2*OrgCW-1の範囲内にあり得る。

[186] 本開示の実施形態は、ブロックレベルにおける条件付きクロマスケーリングを伴う映像コンテンツを処理するための方法を提供する。

[187] 図６）の表１に示すように、クロマスケーリングが適用されるかどうかは、タイルグループ／スライスレベルで信号化されるtile_group_reshaper_chroma_residual_scale_flagによって判定することができる。しかし、ブロックレベルでクロマスケーリングを適用するかどうかを判定することが有益であり得る。例えば、一部の実施形態では、標的ブロックにクロマスケーリングが適用されるかどうかを示すためにＣＵレベルフラグを信号化することができる。ＣＵレベルフラグの存在は、タイルグループレベルフラグ「tile_group_reshaper_chroma_residual_scale_flag」に基づいて条件付けることができる。換言すれば、ＣＵレベルフラグは、タイルグループ／スライスレベルでクロマスケーリングが許可される場合にのみ信号化され得る。ＣＵレベルフラグは、標的ブロックにとってクロマスケーリングが有益であるかどうかに基づいて、クロマスケーリングを使用するかどうかを符号器が決めることを可能にし得るが、信号化オーバヘッドも招き得る。

[188] 開示する実施形態と合致して、上記の信号化オーバヘッドを回避するために、ブロックにクロマスケーリングが適用されるかどうかは、標的ブロックの予測モードに基づいて条件付けることができる。例えば、標的ブロックがインター予測される場合、とりわけその参照ピクチャが時間的距離の点で近い場合、予測信号がよい傾向にある。この場合、残差が非常に小さいと予期されるため、クロマスケーリングをバイパスすることができる。例えば、より高い時間的レベル内のピクチャは、時間的距離の点で近い参照ピクチャを有する傾向がある。ブロックに関して、近くの参照ピクチャを使用するこれらのピクチャ内でクロマスケーリングを無効化することができる。この条件が満たされるかどうかを判定するために、標的ピクチャと標的ブロックの参照ピクチャとの間のピクチャ順序カウント（ＰＯＣ）の差を使用することができる。

[189] 一部の実施形態では、全てのインターコード化されるブロックについてクロマスケーリングを無効化することができる。一部の実施形態では、全てのイントラコード化されるブロックについてクロマスケーリングを無効化することができる。一部の実施形態では、ＶＶＣ規格内で定められる複合イントラ／インター予測（ＣＩＩＰ）モードについてクロマスケーリングを無効化することができる。

[190] ＶＶＣ規格では、ＣＵ構文構造「coding_unit()」は、標的ＣＵ内に何らかの非ゼロ残差係数があるかどうかを示すための構文要素「cu_cbf」を含み得る。ＴＵレベルでは、ＴＵ構文構造「transform_unit()」は、標的ＴＵ内に何らかの非ゼロクロマ（Ｃｂ又はＣｒ）残差係数があるかどうかを示すための構文要素「tu_cbf_cb」及び「tu_cbf_cr」を含み得る。これらのフラグに基づいて、クロマスケーリングプロセスを条件付けることができる。上記で説明したように、非ゼロ残差係数がない場合、対応するルマクロマスケーリングプロセスの平均化を呼び出すことができ、その後、クロマスケーリングプロセスをバイパスすることができ、本開示は、ルマ平均化プロセスをバイパスするための方法を提供する。

[191] 本開示の実施形態は、ＣＣＬＭパラメータの導出を伴う映像コンテンツを処理するための方法を提供する。

[192] 先に述べたように、ＶＶＣ５では、標的クロマブロックを予測するためのＣＣＬＭのパラメータは、隣接ブロックからのルマ及びクロマ再構築されたサンプルを用いて導出される。デュアルツリーの場合、ルマブロック分割及びクロマブロック分割が位置合わせされない場合がある。換言すれば、１つのＮｘＭクロマブロックのためのＣＣＬＭパラメータを導出するために、複数の隣接するルマブロック又は２Ｎｘ２Ｍ（カラー形式４：２：０の場合）よりも大きいサイズを有するルマブロックが再構築され、従ってレイテンシを招き得る。

[193] レイテンシを低減するために、一例としてＣＣＬＭパラメータがＣＴＵ／ＶＰＤＵレベルで導出される。ＣＣＬＭパラメータを導出するために、隣接するＣＴＵ／ＶＰＤＵからの再構築されたルマ及びクロマサンプルを使用することができる。導出されるパラメータは、ＣＴＵ／ＶＰＤＵ内の全てのブロックに適用することができる。例えば、クロスコンポーネント線形モデル予測において記載した公式を使用してパラメータを導出することができ、Ｘ_ａ及びＹ_ａは、それぞれＣＴＵ／ＶＰＤＵ隣接ルマサンプルの最大ルマサンプル値を有するルマサンプル位置のルマ値及びクロマ値である。Ｘ_ｂ及びＹ_ｂは、それぞれＣＴＵ／ＶＰＤＵ隣接ルマサンプルの最小ルマサンプルを有するルマサンプル位置のルマ値及びクロマ値を表す。当業者にとって、本明細書で提案するＣＴＵ／ＶＰＤＵレベルのパラメータの導出の概念と組み合わせて他の任意の導出プロセスが使用され得る。

[194] ＣＴＵ／ＶＰＤＵレベルのＣＣＬＭパラメータの導出に加えて、かかる導出プロセスは、固定ルマグリッド上で実行され得る。ＶＶＣのドラフト５では、デュアルツリー分割が使用される場合、別個のルマ及びクロマ分割は、６４ｘ６４のルマグリッドから開始し得る。換言すれば、１２８ｘ１２８ＣＴＵから６４ｘ６４ＣＵへの分割は、ルマ及びクロマについて、別々ではなく、一緒に行われ得る。従って、別の例として、ＣＣＬＭパラメータは、６４ｘ６４ルマグリッド上で導出することができる。６４ｘ６４グリッド単位内の全てのクロマブロックのためのＣＣＬＭパラメータを導出するために、６４ｘ６４グリッド単位の隣接する再構築されたルマ及びクロマサンプルを使用することができる。ルマサンプルにおいて、１２８ｘ１２８に達し得るＣＴＵレベルの導出と比較して、６４ｘ６４単位レベルの導出は、より正確である可能性があり、それでもなお現在のＶＶＣのドラフト５にあるようなパイプラインのレイテンシの問題を有さない。この例に加えて、ＣＣＬＭパラメータの導出は、一部のグリッドに関する導出を飛ばすことによって更に単純化することができる。例えば、ＣＣＬＭパラメータがＣＴＵ内の最初の６４ｘ６４ブロック上でのみ導出され、同じＣＴＵ内の後続の６４ｘ６４ブロックの導出が飛ばされる。最初の６４ｘ６４ブロックに基づいて導出されるパラメータは、ＣＴＵ内の全てのブロックに使用することができる。

[195] 図２３は、本開示の一部の実施形態による、映像コンテンツを処理するための例示的方法２３００のフローチャートを示す。一部の実施形態では、方法２３００は、コーデック（例えば、図２Ａ～図２Ｂの符号器又は図３Ａ～図３Ｂの復号器）によって実行され得る。例えば、コーデックは、映像シーケンスを符号化するか又は別のコードに変換するための機器（例えば、機器４００）の１つ又は複数のソフトウェア又はハードウェア構成要素として実装することができる。一部の実施形態では、映像シーケンスは、非圧縮映像シーケンス（例えば、映像シーケンス２０２）又は復号される圧縮映像シーケンス（例えば、映像ストリーム３０４）であり得る。一部の実施形態では、映像シーケンスは、機器のプロセッサ（例えば、プロセッサ４０２）に関連する監視装置（例えば、図４の映像入力装置）によって捕捉され得る監視映像シーケンスであり得る。映像シーケンスは、複数のピクチャを含み得る。機器は、ピクチャのレベルで方法２３００を実行することができる。例えば、機器は、方法２３００内でピクチャを１つずつ処理することができる。別の例では、機器は、方法２３００内で１度に複数のピクチャを処理することができる。方法２３００は、以下のステップを含み得る。

[196] ステップ２３０２では、ピクチャ内の第１のブロック及び第２のブロックを表すデータを受信することができる。複数のブロックは、第１のブロック及び第２のブロックを含み得る。一部の実施形態では、第１のブロックは、標的クロマブロック（例えば、図１６Ａのクロマブロック１６００）であり得、第２のブロックは、コード化ツリーブロック（ＣＴＢ）、変換単位（ＴＵ）又は仮想パイプラインデータ単位（ＶＰＤＵ）であり得る。仮想パイプラインデータ単位は、ピクチャのコード化ツリー単位のサイズ以下のサイズを有するピクチャ内の非重複単位である。例えば、ＣＴＵのサイズが１２８ｘ１２８ピクセルである場合、ＶＰＤＵは、ＣＴＵのサイズよりも小さいサイズを有することができ、ＶＰＤＵのサイズ（例えば、６４ｘ６４ピクセル）は、ハードウェア（例えば、ハードウェア復号器）の殆どのパイプライン段においてバッファサイズに比例し得る。

[197] 一部の実施形態では、コード化ツリーブロックは、標的クロマブロックに対応するルマブロック（例えば、図１６Ｂのルマブロック１６１０）であり得る。従って、データは、第１のブロックに関連する複数のクロマサンプル及び第２のブロックに関連する複数のルマサンプルを含み得る。第１のブロックに関連する複数のクロマサンプルは、第１のブロック内の複数のクロマ残差サンプルを含む。

[198] ステップ２３０４では、第２のブロックに関連する複数のルマサンプルの平均値を決定することができる。複数のルマサンプルは、図１８～図１９に関して説明したサンプルを含み得る。一例として、図１９に示すように、複数のルマサンプルは、第２のブロック（例えば、１９０２）の左側の境界１９０１上又は第２のブロックの上部の境界上の複数の再構築されたルマサンプル（例えば、陰影付きのサンプル１９０５及びパデッドサンプル１９０３）を含み得る。複数の再構築されたルマサンプルは、隣接する再構築されたルマブロック（例えば、１９０４）に属し得ることが理解されるであろう。

[199] 方法２３００は、第２のブロックに関連する複数のルマサンプルのうち、第１のルマサンプルがピクチャの境界の外にあるかどうかを判定すること、及び第１のルマサンプルがピクチャの境界の外にあるという判定に応答して、第１のルマサンプルの値を、ピクチャの境界内にある複数のルマサンプルの第２のルマサンプルの値に設定することを更に含み得る。ピクチャの境界は、ピクチャの右側の境界及びピクチャの下側の境界の１つを含み得る。例えば、パデッドサンプル１９０３がピクチャの下側の境界の外にあると判定することができ、従って、パデッドサンプル１９０３の値は、ピクチャの下側の境界上の全てのサンプルのうち、パデッドサンプル１９０３に最も近いサンプルである陰影付きのサンプル１９０５の値になるように設定される。

[200] 第２のブロック（例えば、１９０２）がピクチャの境界を横断する場合、複数のルマサンプルの数が除算演算を回避するために通常２のべき乗である定数であり得るように、パデッドサンプル（例えば、パデッドサンプル１９０３）を作成できることが理解されるであろう。

[201] ステップ２３０６では、第１のブロックのためのクロマスケール因子を平均値に基づいて決定することができる。図１８に関して上記で論じたように、イントラ予測では、同じピクチャの隣接ブロック内の復号されたサンプルを参照サンプルとして使用して予測ブロックを生成することができる。例えば、標的ブロック（例えば、この例では第１のブロック）のクロマスケール因子を決定するためのルマ平均値として、隣接ブロック内のサンプルの平均値を使用することができ、第１のブロックのためのクロマスケール因子は、第２のブロックのルマ平均値を使用して決定することができる。

[202] ステップ２３０８では、クロマスケール因子を使用して、第１のブロックに関連する複数のクロマサンプルを処理することができる。図５に関して上記で論じたように、複数のクロマスケール因子がタイルグループレベルにおけるクロマスケール因子ＬＵＴを構築し、標的ブロックの再構築されたクロマ残差に対して復号器側で適用され得る。同様に、クロマスケール因子は、符号器側でも適用することができる。

[203] 一部の実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を実行するための装置（開示した符号器及び復号器等）によって実行され得る。一般的な非一時的媒体は、例えば、フロッピ（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ若しくは他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、フラッシュＥＰＲＯＭ若しくは他の任意のフラッシュメモリ、ＮＶＲＡＭ、キャッシュ、レジスタ、他の任意のメモリチップ若しくはカートリッジ及びそれらのもののネットワーク化されたバージョンを含む。装置は、１つ又は複数のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース及び／又はメモリを含み得る。

[204] 実施形態は、以下の条項を使用して更に記載することができる：
１．映像コンテンツを処理するためのコンピュータによって実施れる方法であって、
ピクチャ内の第１のブロック及び第２のブロックを表すデータを受信することであって、データは、第１のブロックに関連する複数のクロマサンプル及び第２のブロックに関連する複数のルマサンプルを含む、受信すること、
第２のブロックに関連する複数のルマサンプルの平均値を決定すること、
平均値に基づいて、第１のブロックのためのクロマスケール因子を決定すること、及び
クロマスケール因子を使用して、第１のブロックに関連する複数のクロマサンプルを処理すること
を含む、コンピュータによって実装される方法。
２．第２のブロックに関連する複数のルマサンプルは、第２のブロックの左側の境界上又は第２のブロックの上部の境界上の複数の再構築されたルマサンプルを含む、条項１に記載の方法。
３．第２のブロックに関連する複数のルマサンプルのうち、第１のルマサンプルがピクチャの境界の外にあるかどうかを判定すること、及び
第１のルマサンプルがピクチャの境界の外にあるという判定に応答して、第１のルマサンプルの値を、ピクチャの境界内にある複数のルマサンプルのうちの第２のルマサンプルの値に設定すること
を更に含む、条項２に記載の方法。
４．第２のブロックに関連する複数のルマサンプルのうち、第１のルマサンプルがピクチャの境界の外にあるかどうかを判定すること、及び
第１のルマサンプルがピクチャの境界の外にあるという判定に応答して、第１のルマサンプルの値を、ピクチャの境界上にある複数のルマサンプルのうちの第２のルマサンプルの値に設定すること
を更に含む、条項３に記載の方法。
５．ピクチャの境界は、ピクチャの右側の境界及びピクチャの下部の境界の１つである、条項４に記載の方法。
６．第２のブロックは、コード化ツリーブロック、変換単位、又は仮想パイプラインデータ単位であり、仮想パイプラインデータ単位のサイズは、ピクチャのコード化ツリー単位のサイズ以下である、条項１～５の何れか一項に記載の方法。
７．仮想パイプラインデータ単位は、ピクチャ内の非重複単位である、条項６に記載の方法。
８．第１のブロックに関連する複数のクロマサンプルは、第１のブロック内の複数のクロマ残差サンプルを含む、条項１～７の何れか一項に記載の方法。
９．第１のブロックは、標的クロマブロックであり、第２のブロックは、標的クロマブロックに対応するルマブロックである、条項１～８の何れか一項に記載の方法。
１０．映像コンテンツを処理するためのシステムであって、
一組の命令を記憶するためのメモリと、
少なくとも１つのプロセッサとを含み、少なくとも１つのプロセッサは、システムに、
ピクチャ内の第１のブロック及び第２のブロックを表すデータを受信することであって、データは、第１のブロックに関連する複数のクロマサンプル及び第２のブロックに関連する複数のルマサンプルを含む、受信すること、
第２のブロックに関連する複数のルマサンプルの平均値を決定すること、
平均値に基づいて、第１のブロックのためのクロマスケール因子を決定すること、及び
クロマスケール因子を使用して、第１のブロックに関連する複数のクロマサンプルを処理すること
を行わせるように、一組の命令を実行するように構成される、
システム。
１１．第２のブロックに関連する複数のルマサンプルは、第２のブロックの左側の境界上又は第２のブロックの上部の境界上の複数の再構築されたルマサンプルを含む、条項１０に記載のシステム。
１２．少なくとも１つのプロセッサは、システムに、
第２のブロックに関連する複数のルマサンプルのうち、第１のルマサンプルがピクチャの境界の外にあるかどうかを判定すること、及び
第１のルマサンプルがピクチャの境界の外にあるという判定に応答して、第１のルマサンプルの値を、ピクチャの境界内にある複数のルマサンプルのうちの第２のルマサンプルの値に設定すること
を更に行わせるように、一組の命令を実行するように構成される、条項１１に記載のシステム。
１３．第２のルマサンプルは、ピクチャの境界上にある、条項１２に記載のシステム。
１４．ピクチャの境界は、ピクチャの右側の境界及びピクチャの下部の境界の１つである、条項１３に記載のシステム。
１５．第２のブロックは、コード化ツリーブロック、変換単位、又は仮想パイプラインデータ単位であり、仮想パイプラインデータ単位のサイズは、ピクチャのコード化ツリー単位のサイズ以下である、条項１０～１４の何れか一項に記載のシステム。
１６．仮想パイプラインデータ単位は、ピクチャ内の非重複単位である、条項１５に記載のシステム。
１７．第１のブロックに関連する複数のクロマサンプルは、第１のブロック内の複数のクロマ残差サンプルを含む、条項１０～１６の何れか一項に記載のシステム。
１８．第１のブロックは、標的クロマブロックであり、第２のブロックは、標的クロマブロックに対応するルマブロックである、条項１０～１７の何れか一項に記載のシステム。
１９．一組の命令を記憶する非一時的コンピュータ可読媒体であって、一組の命令は、映像コンテンツを処理するための方法をコンピュータシステムに行わせるために、コンピュータシステムの少なくとも１つのプロセッサによって実行可能であり、前記方法は、
ピクチャ内の第１のブロック及び第２のブロックを表すデータを受信することであって、データは、第１のブロックに関連する複数のクロマサンプル及び第２のブロックに関連する複数のルマサンプルを含む、受信すること、
第２のブロックに関連する複数のルマサンプルの平均値を決定すること、
平均値に基づいて、第１のブロックのためのクロマスケール因子を決定すること、及び
クロマスケール因子を使用して、第１のブロックに関連する複数のクロマサンプルを処理すること
を含む、非一時的コンピュータ可読媒体。
２０．第２のブロックに関連する複数のルマサンプルは、第２のブロックの左側の境界上又は第２のブロックの上部の境界上の複数の再構築されたルマサンプルを含む、条項１９に記載の非一時的コンピュータ可読媒体。

[205] 本明細書の「第１の」及び「第２の」等の関係語は、あるエンティティ又は操作を別のエンティティ又は操作と区別するために使用されるに過ぎず、それらのエンティティ又は操作間のいかなる実際の関係又は順序も必要としないか又は含意しないことに留意すべきである。更に、「含む」、「有する」、「含有する」及び「包含する」並びに他の同様の形式の用語は、意味の点で均等であることを意図し、これらの用語の何れか１つの後に続くアイテムがかかるアイテムの網羅的列挙であることを意図していないか、又は列挙するアイテムのみに限定されることを意図していない点で非限定的であることを意図する。

[206] 本明細書で使用するとき、別段の定めがない限り、「又は」という語は、実行不可能な場合を除いて、あり得る全ての組み合わせを包含する。例えば、あるデータベースがＡ又はＢを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、Ａ若しくはＢ又はＡ及びＢを含むことができる。第２の例として、あるデータベースがＡ、Ｂ又はＣを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、Ａ、若しくはＢ、若しくはＣ、又はＡ及びＢ、又はＡ及びＣ、又はＢ及びＣ、又はＡ、及びＢ、及びＣを含むことができる。

[207] 上記で説明した実施形態は、ハードウェア若しくはソフトウェア（プログラムコード）又はハードウェアとソフトウェアとの組み合わせによって実装できることが理解されるであろう。ソフトウェアによって実装される場合、ソフトウェアは、上記のコンピュータ可読媒体に記憶することができる。ソフトウェアは、プロセッサによって実行されるとき、開示した方法を実行することができる。本開示で説明した計算ユニット及び他の機能ユニットは、ハードウェア若しくはソフトウェア又はハードウェアとソフトウェアとの組み合わせによって実装することができる。上記のモジュール／ユニットの複数を１つのモジュール／ユニットとして組み合わせることができ、上記のモジュール／ユニットのそれぞれを複数のサブモジュール／サブユニットに更に分割できることも当業者であれば理解するであろう。

[208] 上記の本明細書では、実装形態ごとに変わり得る多数の具体的な詳細に関して実施形態を説明してきた。記載した実施形態に対する一定の適応形態及び修正形態がなされ得る。本明細書を検討し、本明細書で開示した本発明を実践することで他の実施形態が当業者に明らかになり得る。本明細書及び例は、専ら例示として検討され、本開示の真の範囲及び趣旨は、添付の特許請求の範囲によって示されることを意図する。図中に示すステップの順序は、例示目的に過ぎず、特定のステップの順序に限定されることを意図しない。そのため、それらのステップは、同じ方法を実装しながら異なる順序で実行できることを当業者であれば理解することができる。

[209] 図面及び本明細書で例示的実施形態を開示してきた。しかし、それらの実施形態に対する多くの改変形態及び修正形態がなされ得る。従って、特定の用語を使用したが、それらの用語は、限定目的ではなく、全般的及び説明的な意味で使用されたものに過ぎない。

Claims

映像シーケンスに関連するビットストリームを復号する方法であって、
前記ビットストリーム内の符号化された構文要素に基づいて、クロマコード化ブロックを再構築すること、
前記ビットストリーム内の前記符号化された構文要素に基づいて、前記再構築されたクロマコード化ブロックに関連する逆クロマスケール因子を決定すること、及び
前記逆クロマスケール因子を使用して、前記再構築されたクロマコード化ブロックの逆クロマ残差スケーリングを行うこと
を含み、前記逆クロマスケール因子は、前記再構築されたクロマコード化ブロックのビット深度、前記ビットストリーム内で信号化された変数、及び固定小数点近似で使用されるビットの数に基づいて決定される、方法。
前記再構築されたクロマコード化ブロックは、タイルグループに属し、前記方法は、前記逆クロマスケール因子を前記タイルグループ内の全てのクロマコード化ブロックに適用することを更に含む、請求項１に記載の方法。
前記再構築されたクロマコード化ブロックは、スライスに属し、前記方法は、前記逆クロマスケール因子を前記スライス内の全てのクロマコード化ブロックに適用することを更に含む、請求項１に記載の方法。
前記ビットストリーム内で信号化された前記変数は、前記再構築されたクロマコード化ブロックの区分インデックスに関連する、請求項１に記載の方法。
前記ビットストリーム内で信号化された前記変数は、区分線形モデル内で使用されるコード語の数を示す、請求項１に記載の方法。
映像シーケンスをビットストリームに符号化する方法であって、
標的クロマコード化ブロックのクロマスケーリングを行うための変数を、前記ビットストリーム内に符号化すること、
前記変数、前記標的クロマコード化ブロックのビット幅、及び固定小数点近似で使用されるビットの数に基づいて、クロマスケール因子を決定すること、
前記クロマスケール因子を使用して、前記標的クロマコード化ブロックのクロマ残差スケーリングを行うこと、及び
前記スケーリングされた標的クロマコード化ブロックを信号化する１つ又は複数の構文要素を、前記ビットストリーム内に符号化すること
を含む、方法。
前記標的クロマコード化ブロックは、タイルグループに属し、前記方法は、前記クロマスケール因子を前記タイルグループ内の全てのクロマコード化ブロックに適用することを更に含む、請求項６に記載の方法。
前記標的クロマコード化ブロックは、スライスに属し、前記方法は、前記クロマスケール因子を前記スライス内の全てのクロマコード化ブロックに適用することを更に含む、請求項６に記載の方法。
前記ビットストリーム内で信号化された前記変数は、前記標的クロマコード化ブロックの区分インデックスに関連する、請求項６に記載の方法。
前記変数は、区分線形モデル内で使用されるコード語の数を示す、請求項６に記載の方法。