JP2017523672A - ビデオコーディングにおける成分間予測 - Google Patents

ビデオコーディングにおける成分間予測 Download PDF

Info

Publication number
JP2017523672A
JP2017523672A JP2016572815A JP2016572815A JP2017523672A JP 2017523672 A JP2017523672 A JP 2017523672A JP 2016572815 A JP2016572815 A JP 2016572815A JP 2016572815 A JP2016572815 A JP 2016572815A JP 2017523672 A JP2017523672 A JP 2017523672A
Authority
JP
Japan
Prior art keywords
syntax element
value
block
mapping function
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016572815A
Other languages
English (en)
Other versions
JP2017523672A5 (ja
Inventor
リ・ジャン
マルタ・カルチェヴィッチ
ジエンレ・チェン
ジョエル・ソール・ロジャルス
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017523672A publication Critical patent/JP2017523672A/ja
Publication of JP2017523672A5 publication Critical patent/JP2017523672A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオを復号するためのシステムおよび方法。ビデオデータのブロックに関する第1のシンタックス要素が受信される。第1のシンタックス要素の値は、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す。ビデオデータのブロックに関する第2のシンタックス要素が受信される。第2のシンタックス要素の値は、スケーリングパラメータの値に対応し、第2のシンタックス要素を受信することは、特定の2値化法によって第2のシンタックス要素の値を復号することを含む。スケーリングパラメータの値は、第1のシンタックス要素によって示される複数のマッピング関数のうちの1つおよび第2のシンタックス要素の値を使用して決定される。スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つの成分に対して成分間予測が実行される。

Description

本出願は、参照によって全体が本明細書に組み込まれている、2014年6月20日に出願された米国仮出願第62/015,301号の利益を主張するものである。
本開示は、ビデオコーディングに関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれる場合がある。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、パート10、アドバンスドビデオコーディング(AVC:Advanced Video Coding)、ITU-T H.265、高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格、およびそのような規格の拡張規格によって定義された規格に記載されているようなビデオ圧縮技法を実施する。ビデオデバイスは、そのようなビデオ圧縮技法を実施することによって、デジタルビデオ情報のより効率的な送信、受信、符号化、復号、および/または記憶を実現する場合がある。
ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間的(ピクチャ内)予測および/または時間的(ピクチャ間)予測を実行する。ブロックベースのビデオコーディングに関して、ビデオスライス(すなわち、ピクチャまたはピクチャの一部)は、ビデオブロックに区分されることがあり、ビデオブロックはまた、ツリーブロック、コーディングユニット(CU:coding unit)、および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされる(I)スライスの中のビデオブロックは、同じピクチャの中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされる(PまたはB)スライスの中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用してもよい。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
空間予測または時間予測によって、コーディングされるべきブロックのための予測ブロックが得られる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コーディングされたブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、空間領域から変換領域に変換されてもよく、それによって残差変換係数が得られ、残差変換係数は、次いで量子化されてもよい。最初に2次元アレイに配置される量子化変換係数は、変換係数の1次元ベクトルを生成するために走査されてもよく、エントロピーコーディングが、さらなる圧縮を達成するために適用されてもよい。
Soleら「HEVC Screen Content Coding Core Experiment 1 (SCCE1):Intra Block Copying Extensions」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のビデオコーディング共同研究部会(JCT-VC)、第17回会議:スペイン、バレンシア、2014年3月27日〜4月4日、JCTVC-Q1121 Wei Puら「RCE1:Descriptions and Results for Experiments 1, 2, 3, and 4」、ITU-T SG 16 WP 3およびISO/IEC JTC1/SC 29/WG 11のJCT-VC、第15回会議:スイス、ジュネーブ、2013年10月25日〜11月1日(JCTVC-O0202)
概して、本開示では、色成分間残差予測に関する技法について説明する。本開示の技法は、ルーマ残差サンプルのブロックに少なくとも部分的に基づいて残差クロマサンプルのブロックを予測するのに使用されてもよい。
一例では、ビデオデータを復号する方法は、ビデオデータのブロックに関する第1のシンタックス要素を受信するステップであって、第1のシンタックス要素の値は、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、ステップと、ビデオデータのブロックに関する第2のシンタックス要素を受信するステップであって、第2のシンタックス要素の値は、スケーリングパラメータの値に相当し、第2のシンタックス要素を受信するステップは、第1のシンタックス要素の値とは無関係に特定の2値化法によって第2のシンタックス要素の値を復号するステップを含む、ステップと、第1のシンタックス要素によって示される複数のマッピング関数のうちの1つおよび第2のシンタックス要素の値を使用してスケーリングパラメータ値のセットからスケーリングパラメータの値を決定するステップと、スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に関する成分間予測を実行するステップとを含む。
別の例では、宛先デバイスは、ビデオデータを記憶するように構成されたメモリと、メモリに接続されたビデオデコーダとを含む。ビデオデコーダは、ビデオデータのブロックに関する第1のシンタックス要素を受信することであって、第1のシンタックス要素の値は、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、受信することと、ビデオデータのブロックに関する第2のシンタックス要素を受信することであって、第2のシンタックス要素の値は、スケーリングパラメータの値に相当し、第2のシンタックス要素を受信することは、第1のシンタックス要素の値とは無関係に特定の2値化法によって第2のシンタックス要素の値を復号することを含む、受信することと、第1のシンタックス要素によって示される複数のマッピング関数のうちの1つおよび第2のシンタックス要素の値を使用してスケーリングパラメータ値のセットからスケーリングパラメータの値を決定することと、スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に関する成分間予測を実行することとを行うように構成される。
別の例では、ビデオデコーダは、ビデオデータのブロックに関する第1のシンタックス要素を受信するための手段であって、第1のシンタックス要素の値は、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、手段と、ビデオデータのブロックに関する第2のシンタックス要素を受信するための手段であって、第2のシンタックス要素の値は、スケーリングパラメータの値に相当し、第2のシンタックス要素を受信するための手段は、第1のシンタックス要素の値とは無関係に特定の2値化法によって第2のシンタックス要素の値を復号するための手段を含む、手段と、第1のシンタックス要素によって示される複数のマッピング関数のうちの1つおよび第2のシンタックス要素の値を使用してスケーリングパラメータ値のセットからスケーリングパラメータの値を決定するための手段と、スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に関する成分間予測を実行するための手段とを含む。
また別の例では、ビデオデータのブロックを符号化する方法は、ビデオデータのブロックの成分間予測に関するスケーリングパラメータを決定するステップと、複数のマッピング関数からあるマッピング関数を選択するステップであって、各マッピング関数は、スケーリングパラメータの値に相当するマッピングされた値にスケーリングパラメータをマッピングする、ステップと、ビデオビットストリームにおいて、第1のシンタックス要素をシグナリングするステップであって、第1のシンタックス要素の値は、複数のマッピング関数から選択されたマッピング関数を示す、ステップと、ビデオビットストリームにおいて、第2のシンタックス要素をシグナリングするステップであって、第2のシンタックス要素は、選択されたマッピング関数に相当するマッピングされた値を含み、第2のシンタックス要素をシグナリングするステップは、第1のシンタックス要素の値とは無関係に特定の2値化法によって第2のシンタックス要素の値を符号化するステップを含む、ステップとを含む。
本開示の1つまたは複数の態様の詳細を添付の図面および以下の説明に記載する。本開示で説明する技法の他の特徴、目的、および利点は、これらの説明および図面、ならびに特許請求の範囲から明らかになろう。
本開示の技法を成分間予測に利用する場合がある例示的なビデオ符号化および復号システム10を示すブロック図である。 以下においてより詳細に説明するように、成分間予測に関する本開示の技法を実施する場合があるビデオエンコーダ20の一例を示すブロック図である。 成分間予測に関する技法を実装することができるビデオデコーダ30の一例を示すブロック図である。 イントラブロックコピー(BC)コーディング技法を示す概念図である。 動きベクトル予測に関する例示的な候補ブロックを示す概念図である。 動きベクトル予測に関する例示的な候補ブロックを示す概念図である。 本開示の1つまたは複数の態様による、成分間予測パラメータをシグナリングするための例示的なプロセスを示すフローチャートである。 本開示の1つまたは複数の態様による、成分間予測を含むビデオを復号するための例示的なプロセスを示すフローチャートである。 本開示の1つまたは複数の態様による、成分間予測を含むビデオを符号化するための例示的なプロセスを示すフローチャートである。 本開示の1つまたは複数の態様による、成分間予測を含むビデオを復号するための他の例示的なプロセスを示すフローチャートである。 スケーリングパラメータのセットをシグナリングするための技法によるスケーリングパラメータのセットを示す図である。 スケーリングパラメータのセットをシグナリングするための技法によるスケーリングパラメータのセットを示す図である。 スケーリングパラメータのセットをシグナリングするための技法によるスケーリングパラメータのセットを示す図である。
概して、本開示は、ビデオ符号化プロセスおよび/またはビデオ復号プロセスにおいて成分間予測(CCP:cross-component prediction)を実行するための技法に関する。より具体的には、本開示では、CCPに関するスケーリングパラメータおよびオフセットのシグナリングおよび導出に関係する技法について説明する。この技法は、HEVCの拡張または次世代のビデオコーディング規格など、先進的なビデオコーデックのコンテキストにおいて使用されてもよい。
ビデオコーダ(すなわち、ビデオエンコーダまたはデコーダ)は概して、概してピクチャのシーケンスとして表されるビデオシーケンスをコーディングするように構成される。一般に、ビデオコーダは、ブロックベースのコーディング技法を使用してピクチャのシーケンスの各々をコーディングする。ビデオコーダは、ブロックベースのビデオコーディングの一部として、ビデオシーケンスの各ピクチャをデータのブロックに分割する。ビデオコーダは、ブロックの各々をコーディングする(すなわち、符号化または復号する)。ビデオデータのブロックを符号化することは概して、元のブロックに関する1つまたは複数の予測ブロック、および元のブロックと1つまたは複数の予測ブロックとの間の差に相当する残差ブロックを特定することによって、データの元のブロックを符号化することを含む。詳細には、ビデオデータの元のブロックは、「サンプル」の1つまたは複数のチャネルによって構成されたピクセル値のマトリックスを含み、予測ブロックは、各々がさらに予測サンプルによって構成された予測ピクセル値のマトリックスを含む。残差ブロックの各サンプルは、予測ブロックのサンプルと元のブロックの対応するサンプルとの間のピクセル値差を示す。
ビデオデータのブロックのための予測技法は一般に、イントラ予測およびインター予測に分類される。イントラ予測(たとえば、空間予測)は概して、同じピクチャ内の前にコーディングされた隣接するブロックのピクセル値からブロックを予測することを含む。インター予測は一般に、前にコーディングされたピクチャ内の前にコーディングされたブロックのピクセル値からブロックを予測することを含む。
ビデオデータの各ブロックのピクセルの各々は、特定のフォーマットにおいて色を表しており、「色表現」と呼ばれる。様々なビデオコーディング規格では、ビデオデータのブロックにそれぞれに異なる色表現を使用する場合がある。一例として、ビデオコーディング共同研究部会(JCT-VC)によって開発された高効率ビデオコーディング(HEVC)ビデオ規格のメインプロファイルでは、YCbCr色表現を使用してビデオデータのブロックのピクセルを表す。
YCbCr色表現は概して、ビデオデータの各ピクセルが色情報「Y」「Cb」および「Cr」の3つの成分またはチャネルによって表される色表現を指す。Yチャネルは、特定のピクセルに関する輝度(すなわち、光強度または明るさ)データを表す。Cb成分およびCr成分は、それぞれ、青色差および赤色差クロミナンス、すなわち、「クロマ(chroma)」成分である。一般にY成分とCb成分とCr成分との間には相関がなく、すなわち、Y成分とCb成分とCr成分の間には重複したデータまたは冗長なデータがほとんどないので、YCbCrは、圧縮されたビデオデータ内の色を表すのに使用されることが多い。したがって、YCbCr色表現を使用してビデオデータをコーディングすると、多くの場合、圧縮性能が良好になる。
さらに、多くのビデオコーディング技法は、色データの圧縮をさらに向上させるために「クロマサブサンプリング」と呼ばれる技法を利用する。YCbCr色表現を有するビデオデータのクロマサブサンプリングは、パターンに従ってクロマ成分を選択的に省略することによって、コーディングされたビデオビットストリームにおいてシグナリングされるクロマ値の数を低減させる。クロマサブサンプリングされたビデオデータのブロックには、概してブロックのピクセルごとにルーマ値がある。しかし、Cb成分およびCr成分は、ブロックのピクセルのいくつかについてのみシグナリングされる場合があり、それによって、クロマ成分はルーマ(luma)成分に対してサブサンプリングされる。
ビデオコーダ(ビデオエンコーダまたはビデオデコーダを指す場合がある)は、ピクセルのクロマサブサンプリングされたブロックに関してCb値およびCr値が明示的にシグナリングされないピクセルに関してCb成分およびCr成分を補間する。クロマサブサンプリングは、より一様なピクセルのブロックにひずみを生じさせずにクロミナンスデータの量を低減させるうえでうまく作用する。クロマサブサンプリングは、大幅に異なるクロマ値を有するビデオデータを表すうえではうまく作用せず、そのような場合に大規模なひずみを生じさせる場合がある。
HEVC範囲拡張規格およびスクリーンコンテンツコーディング拡張規格は、HEVC規格の拡張規格であり、追加の色表現(「色フォーマット」とも呼ばれる)に関するHEVCにサポートを付加する。他の色フォーマットに関するサポートには、ビデオデータのRGBソース、ならびに他の色表現を有しHEVCメインプロファイルとは異なるクロマサブサンプリングパターンを使用するビデオデータを符号化し復号するためのサポートを含めてもよい。
上述のように、HEVCメインプロファイルは、ルーマ成分と色表現(色フォーマットとも呼ばれる)の2つのクロマ成分との間の色無相関化が強力であるのでYCbCrを使用する。しかし、それにもかかわらず、多くの場合、Y成分とCb成分とCr成分との間には相関があってもよい。色表現の成分間の相関は、色成分間相関と呼ばれる場合がある。
本開示の技法では、残差領域におけるサンプル間の相関を利用してもよい。本開示の技法に従って構成されたビデオコーダ(すなわち、ビデオエンコーダまたはビデオデコーダ)は、互いに対応するクロマ残差サンプルのブロックおよびルーマ残差サンプルのブロックの予測子からクロマ残差サンプルのブロックを判定するように構成されてもよい。いくつかの例では、クロマ残差サンプルのブロックおよびルーマ残差サンプルの対応するブロックに関する予測子に基づいて、クロマ残差値の更新されたブロックが判定されてもよい。ルーマ残差サンプルのブロックは、スケールファクタおよび/またはオフセットによって修正されてもよい。
本開示の1つまたは複数の例は、YCbCrクロマYCbCr4:4:4および/またはYCbCr4:2:2クロマサブサンプリングフォーマットを利用する場合がある色成分間残差予測技法を対象としてもよい。しかし、本開示の技法に従って構成されたビデオコーダは、RGB色フォーマットを有するブロックなどの他の色フォーマットのブロックを、本明細書において開示される技法を使用してYCbCr4:4:4と同様に処理してもよい。
図1は、本開示の技法を成分間予測に利用する場合がある例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示すように、システム10は、宛先デバイス14によって後の時間に復号されるべき符号化されたビデオデータを生成する、ソースデバイス12を含む。具体的には、ソースデバイス12は、コンピュータ可読媒体(記憶デバイス31など)またはリンク16を介して宛先デバイス14にビデオデータを提供する。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、表示デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、を含む、広い範囲のデバイスのうちのいずれかを含んでもよい。場合によっては、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備されてもよい。
宛先デバイス14は、記憶デバイス31を介して復号されるべき符号化されたビデオデータを受信してもよい。記憶デバイス31は、ソースデバイス12から宛先デバイス14に符号化されたビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備えてもよい。一例では、記憶デバイス31は、ソースデバイス12が符号化されたビデオデータを宛先デバイス14に直接送信することを可能にする通信媒体を備えてもよい。別の例では、リンク16は、ソースデバイス12が符号化されたビデオデータを宛先デバイス14に直接送信するためにソースデバイス12によって使用される通信媒体を提供する。
符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信されてもよい。通信媒体は、無線周波数(RF)スペクトルなどの任意のワイヤレス通信媒体もしくはワイヤード通信媒体、または、1つもしくは複数の物理的伝送線を備えてもよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースのネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、または、ソースデバイス12から宛先デバイス14への通信を容易にするために有用である場合がある任意の他の機器を含んでもよい。
いくつかの例では、符号化されたデータは、出力インターフェース22から記憶デバイス31に出力されてもよい。同様に、符号化されたデータは、入力インターフェース28によって記憶デバイス31からアクセスされてもよい。記憶デバイス31は、ハードドライブ、Blu-ray(登録商標)ディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体などの、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含んでもよい。さらなる例では、記憶デバイス31は、ソースデバイス12によって生成された符号化ビデオを記憶することができるファイルサーバまたは別の中間記憶デバイスに対応してもよい。
宛先デバイス14は、ストリーミングまたはダウンロードを介して記憶デバイス31から記憶されたビデオデータにアクセスしてもよい。ファイルサーバは、符号化されたビデオデータを記憶し、宛先デバイス14にその符号化されたビデオデータを送信することが可能な任意のタイプのサーバであってもよい。例示的なファイルサーバは、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS:network attached storage)デバイス、またはローカルディスクドライブを含む。宛先デバイス14は、インターネット接続を含む任意の標準的なデータ接続を介して符号化されたビデオデータにアクセスしてもよい。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適した、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せを含んでもよい。記憶デバイス31からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであってもよい。
本開示の技法は、ワイヤレスの適用例または設定に限定されない。この技法は、オーバージエアテレビ放送、ケーブルテレビ送信、衛星テレビ送信、HTTP(DASH)を介する動的適応ストリーミングなどのインターネットストリーミングビデオ送信、データ記憶媒体上で符号化されるデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の用途など、様々なマルチメディア用途のうちのいずれかをサポートするビデオコーディングに適用されてもよい。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオ放送、および/またはビデオ電話などの用途をサポートするために、一方向または双方向ビデオ送信をサポートするように構成されてもよい。
図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、表示デバイス32とを含む。本開示によれば、ソースデバイス12のビデオエンコーダ20は、ビデオコーディングにおける成分間予測のための技法を適用するように構成されてもよい。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または配置を含んでもよい。たとえば、ソースデバイス12は、外部カメラなどの外部ビデオソース18からビデオデータを受信してもよい。同様に、宛先デバイス14は、一体化された表示デバイスを含むのではなく、外部表示デバイスとインターフェースしてもよい。加えて、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き電話またはテレビ電話を形成してもよい。本開示において説明する技法は、ビデオコーディング全般に適用可能であってもよく、ワイヤレス用途および/またはワイヤード用途に適用されてもよい。
図1に示した符号化および復号システム10は一例にすぎない。成分間予測のための技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実行されてもよい。一般に、本開示の技法はビデオ符号化デバイスによって実行されるが、この技法はまた、一般に「コーデック」と呼ばれるビデオエンコーダ/デコーダによって実行されてもよい。その上、本開示の技法はまた、ビデオプロセッサによって実行されてもよい。ソースデバイス12および宛先デバイス14は、ソースデバイス12が宛先デバイス14への送信のためにコーディングされたビデオデータを生成するようなコーディングデバイスの単なる例である。いくつかの例では、デバイス12、14の各々がビデオ符号化および復号構成要素を含むように、デバイス12、14は、実質的に対称的に動作してもよい。したがって、システム10は、たとえばビデオストリーミング、ビデオ再生、ビデオ放送、またはビデオ電話のために、ビデオデバイス12と14との間で一方向または双方向ビデオ送信をサポートしてもよい。
ソースデバイス12のビデオソース18は、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するビデオ供給インターフェースなどの、ビデオキャプチャデバイスを含んでもよい。さらなる代替として、ビデオソース18は、ソースビデオとしてコンピュータグラフィックスベースのデータを、または、ライブビデオ、アーカイブされたビデオ、およびコンピュータ生成ビデオの組合せを生成してもよい。いくつかの場合には、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き電話またはテレビ電話を形成してもよい。しかしながら、上述のように、本開示で説明する技術は、一般にビデオコーディングに適用可能であってもよく、ワイヤレス用途および/またはワイヤード用途に適用されてもよい。各場合において、キャプチャされた、事前にキャプチャされた、またはコンピュータによって生成されたビデオは、ビデオエンコーダ20によって符号化されてもよい。符号化されたビデオ情報は、次いで、出力インターフェース22によって、ストレージ31などのコンピュータ可読媒体上に出力されてもあるいはリンク16を介して宛先デバイス14に出力されてもよい。
コンピュータ可読媒体は、ワイヤレスブロードキャストもしくはワイヤードネットワーク送信などの一時的媒体、または、ハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu-ray(登録商標)ディスク、もしくは他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含んでもよい。いくつかの例では、ネットワークサーバ(図示せず)は、ソースデバイス12から符号化されたビデオデータを受信してもよく、たとえば、ネットワーク送信を介して、宛先デバイス14に符号化されたビデオデータを提供してもよい。同様に、ディスクスタンプ設備などの媒体製造設備のコンピューティングデバイスは、ソースデバイス12から符号化されたビデオデータを受信してもよく、符号化されたビデオデータを含むディスクを製造してもよい。したがって、コンピュータ可読媒体は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むと理解されてもよい。
本開示は、一般に、ビデオデコーダ30などの別のデバイスに特定の情報を「シグナリングする」ビデオエンコーダ20を参照することがある。しかしながら、ビデオエンコーダ20は、シンタックス要素を生成し、そのシンタックス要素をビデオデータの符号化された様々な部分と関連付けることによって、情報をシグナリングしてもよいことを理解されたい。すなわち、ビデオエンコーダ20は、ビデオデータの符号化された様々な部分のヘッダに特定のシンタックス要素を格納することによって、データを「シグナリング」してもよい。いくつかの場合では、そのようなシンタックス要素は、ビデオデコーダ30によって受信され復号される前に、生成され、符号化され、記憶され(たとえば、コンピュータ可読媒体に記憶され)てもよい。したがって、「シグナリングする」という用語は、一般に、そのような通信がリアルタイムもしくはほぼリアルタイムで、またはある時間の期間にわたって生じるかにかかわらず、符号化の時点で、媒体にシンタックス要素を記憶するときに生じてもよいような、圧縮されたビデオデータを復号するためのシンタックスまたは他のデータの通信を指してもよく、次いで、シンタックス要素は、この媒体に記憶された後の任意の時間に、復号デバイスによって取り出されてもよい。
宛先デバイス14の入力インターフェース28は、ストレージ31から情報を受信する。記憶デバイス31などのコンピュータ可読媒体の情報は、ビデオデコーダ30によっても使用される、ビデオエンコーダ20によって定義されたシンタックス情報を含んでもよく、シンタックス情報は、ブロックおよびコーディングされた他のユニット、たとえばピクチャグループ(GOP)の特性および/または処理を記述するシンタックス要素を含む。表示デバイス32は、復号されたビデオデータをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプの表示デバイスなどの、様々な表示デバイスのうちのいずれかを備えてもよい。
図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は各々、オーディオエンコーダおよびオーディオデコーダと一体化されてもよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX-DEMUXユニット、または他のハードウェアおよびソフトウェアを含んでもよい。該当する場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、または、ユーザデータグラムプロトコル(UDP:user datagram protocol)などの他のプロトコルに準拠してもよい。
ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、適用可能な様々な適切なエンコーダもしくはデコーダの回路のうちのいずれかとして実装されてもよい。ビデオエンコーダ20およびビデオデコーダ30の各々は、1つまたは複数のエンコーダまたはデコーダに含まれてもよく、これらのいずれもが、複合ビデオエンコーダ/デコーダ(コーデック)の一部として統合されてもよい。ビデオエンコーダ20および/またはビデオデコーダ30を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備えてよい。
例示的な一手法では、ビデオエンコーダ20は、ビデオデータのブロックの成分間予測に関するスケーリングパラメータを決定することと、複数のマッピング関数からあるマッピング関数を選択することであって、各マッピング関数が、スケーリングパラメータの値に相当するマッピングされた値にスケーリングパラメータをマッピングする、選択することと、ビデオビットストリームにおいて、第1のシンタックス要素をシグナリングすることであって、第1のシンタックス要素の値が、複数のマッピング関数から選択されたマッピング関数を示す、シグナリングすることと、ビデオビットストリームにおいて、第2のシンタックス要素をシグナリングすることであって、第2のシンタックス要素が、選択されたマッピング関数に相当するマッピングされた値を含む、シグナリングすることとによって、本開示の技法に従ってビデオデータのブロックを符号化する。
例示的な一手法では、ビデオデコーダ30は、ビデオデータのブロックに関する第1のシンタックス要素を受信することであって、第1のシンタックス要素の値が、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、受信することと、ビデオデータのブロックに関する第2のシンタックス要素を受信することであって、第2のシンタックス要素の値が、スケーリングパラメータの値に相当する、受信することと、第1のシンタックス要素によって示される複数のマッピング関数のうちの1つおよび第2のシンタックス要素の値を使用してスケーリングパラメータ値のセットからスケーリングパラメータの値を決定することと、スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に関する成分間予測を実行することとによって、本開示の技法に従ってビデオデータを復号する。
例示的な一手法では、デバイス14は、ビデオデータを記憶するように構成されたメモリと、メモリに接続されたビデオデコーダ30とを含む。ビデオデコーダ30は、ビデオデータのブロックに関する第1のシンタックス要素を受信することであって、第1のシンタックス要素の値が、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、受信することと、ビデオデータのブロックに関する第2のシンタックス要素を受信することであって、第2のシンタックス要素の値が、スケーリングパラメータの値に相当する、受信することと、第1のシンタックス要素によって示される複数のマッピング関数のうちの1つおよび第2のシンタックス要素の値を使用してスケーリングパラメータ値のセットからスケーリングパラメータの値を決定することと、スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に関する成分間予測を実行することとを行うように構成される。
別の例示的な手法では、ビデオデコーダ30は、ビデオデータのブロックに関する第1のシンタックス要素を受信するための手段であって、第1のシンタックス要素の値が、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、手段と、ビデオデータのブロックに関する第2のシンタックス要素を受信するための手段であって、第2のシンタックス要素の値が、スケーリングパラメータの値に相当する、手段と、第1のシンタックス要素によって示される複数のマッピング関数のうちの1つおよび第2のシンタックス要素の値を使用してスケーリングパラメータ値のセットからスケーリングパラメータの値を決定するための手段と、スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に関する成分間予測を実行するための手段とを含む。
ビデオエンコーダ20およびビデオデコーダ30は、いくつかの例では、HEVCのようなビデオコーディング規格に従って動作してもよく、HEVCテストモデル(HM)に準拠してもよい。HEVCは、ITU-Tビデオコーディングエキスパートグループ(VCEG)およびISO/IECモーションピクチャエキスパートグループ(MPEG)のビデオコーディング共同研究部会(JCT-VC)によって開発され、ITU-T H.265およびISO/IEC 23008-2として承認された。ITU-T H.265の現在のバージョンは、www.itu.int/rec/T-REC-H.265において入手可能である。HEVCの範囲拡張規格の1つのワーキングドラフトは、以下ではRExt WD7と呼ばれ、http://phenix.int-evry.fr/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1005-v8.zipから入手可能である。HEVCのスクリーンコンテンツコーディング拡張規格の1つのワーキングドラフトは、以下ではSCC WD3と呼ばれ、http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=10025から入手可能である。
HEVC規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコーディングデバイスの発展的モデルに基づいている。HMは、たとえば、ITU-T H.264/AVCによる既存のデバイスに対して、ビデオコーディングデバイスのいくつかの追加の機能を仮定する。たとえば、H.264は、9のイントラ予測符号化モードを規定するが、HMは、35ものイントラ予測符号化モードを規定し得る。
一般に、HMの作業モデルは、ビデオピクチャ(または「フレーム」)がルーマサンプルとクロマサンプルの両方を含むツリーブロックまたは最大コーディングユニット(LCU)のシーケンスに分割されてもよいことを記載している。ビットストリーム内のシンタックスデータは、ピクセル数の点から最大コーディングユニットであるLCUのサイズを定義してもよい。スライスは、コーディング順にいくつかの連続するツリーブロックを含む。ピクチャは、1つまたは複数のスライスに分割されてもよい。各ツリーブロックは、4分木に従ってコーディングユニット(CU:coding unit)に分割されてもよい。一般に、4分木データ構造は、CUごとに1つのノードを含み、ルートノードは、ツリーブロックに対応する。CUが4つのサブCUに分割されたとき、CUに対応するノードは、4つのリーフノードを含み、各々のリーフノードは、サブCUのうちの1つに対応する。
4分木データ構造の各ノードは、対応するCUのためのシンタックスデータを提供してもよい。たとえば、4分木内のノードは、ノードに対応するCUがサブCUに分割されているかどうかを示す分割フラグを含んでもよい。CUのためのシンタックス要素は、再帰的に定義されてもよく、CUがサブCUに分割されているかどうかに依存してもよい。CUがさらに分割されていない場合、それは、リーフCUと呼ばれる。本開示では、リーフCUの4つのサブCUはまた、元のリーフCUの明示的な分割が存在しない場合でも、リーフCUと呼ばれる。たとえば、16×16サイズのCUがそれ以上分割されない場合、4つの8×8サブCUもリーフCUと呼ばれる。ただし、16×16CUは分割されていない。
CUは、CUがサイズの区別を持たないことを除いて、H.264規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、4つの子ノード(サブCUとも呼ばれる)に分割されてもよく、各子ノードは、今度は親ノードになり、別の4つの子ノードに分割されてもよい。最後の、4分木のリーフノードと呼ばれる分割されていない子ノードは、リーフCUとも呼ばれるコーディングノードを備える。コード化ビットストリームと関連付けられたシンタックスデータは、最大CU深度と呼ばれる、ツリーブロックが分割されてもよい最大回数を規定してもよく、また、コーディングノードの最小サイズを規定してもよい。したがって、ビットストリームはまた、最小コーディングユニット(SCU)を規定してもよい。本開示は、HEVCのコンテキストにおけるCU、PU、もしくはTU、または他の規格のコンテキストにおける同様のデータ構造(たとえば、H.264/AVCにおけるマクロブロックおよびそれらのサブブロック)のうちのいずれかを指すために、「ブロック」という用語を使用する。
CUは、コーディングノードと、コーディングノードに関連付けられた予測ユニット(PU:prediction unit)および変換ユニット(TU:transform unit)とを含む。CUのサイズはコーディングノードのサイズに対応し、典型的には、形状が正方形である。CUのサイズは、8×8ピクセルから、最大64×64ピクセルまたはそれ以上のツリーブロックのサイズまでの範囲であってもよい。各CUは、1つまたは複数のPUと1つまたは複数のTUとを含んでもよい。CUに関連付けられたシンタックスデータは、たとえば、1つまたは複数のPUへのCUの区分を記述してもよい。分割モードは、CUがスキップもしくは直接モードで符号化されているか、イントラ予測モードで符号化されているか、またはインター予測モードで符号化されているかに応じて異なってもよい。PUは、形状が非正方形であるように区分されてもよい。CUに関連付けられたシンタックスデータはまた、たとえば、4分木に従った1つまたは複数のTUへのCUの区分を記述してもよい。TUは、形状が正方形または非正方形(たとえば、矩形)であることが可能である。
HEVC規格は、TUに従う変換を可能にし、それはCUごとに異なってもよい。イントラモードでは通常、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてTUのサイズが定められるが、これが必ずしも当てはまるとは限らない場合がある。TUは通常、PUと同じサイズであるか、またはPUよりも小さい。インターモードでは、TUはPUよりも大きくてもよい。いくつかの例では、CUに対応する残差サンプルは「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用して、より小さいユニットに細分されてもよい。RQTのリーフノードは、変換ユニット(TU)と呼ばれることがある。TUに関連付けられたピクセル差分値は、量子化されてもよい変換係数を生成するために変換されてもよい。
リーフCUは、1つまたは複数の予測ユニット(PU)を含んでよい。一般に、PUは、対応するCUの全部または一部に対応する空間エリアを表し、PUに対する参照サンプルを取り出すためのデータを含んでよい。さらに、PUは、予測プロセスに関連するデータを含む。たとえば、PUがイントラモード符号化されたとき、PUに対するデータは、PUに対応するTUに対するイントラ予測モードを記述するデータを含む場合がある残差4分木(RQT)の中に含まれてよい。別の例として、PUがインターモード符号化されたとき、PUは、PUのための1つまたは複数の動きベクトルを定義するデータを含んでもよい。PUのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(たとえば、4分の1ピクセル精度もしくは8分の1ピクセル精度)、動きベクトルが指す参照ピクチャ、および/または動きベクトルのための参照ピクチャリスト(たとえば、リスト0、リスト1、もしくはリストC)を記述してもよい。
1つまたは複数のPUを有するリーフCUはまた、1つまたは複数の変換ユニット(TU)を含んでもよい。変換ユニットは、上記のように、RQT(TU4分木構造とも呼ばれる)を使用して指定されてよい。たとえば、分割フラグは、リーフCUが4つの変換ユニットに分割されるかどうかを示してよい。次いで、各変換ユニットは、さらなるサブTUにさらに分割されてよい。TUは、それ以上分割されないとき、リーフTUと呼ばれることがある。一般に、イントラコーディングでは、1つのリーフCUに属するすべてのリーフTUは、同じイントラ予測モードを共有する。すなわち、同じイントラ予測モードは、一般に、リーフCUのすべてのTUに対する予測値を計算するために適用される。イントラコーディングでは、ビデオエンコーダ20は、各リーフTUに対する残差値を、TUに対応するCUの部分と元のブロックとの間の差としてイントラ予測モードを使用して計算してもよい。TUは、必ずしもPUのサイズに限定されるとは限らない。したがって、TUは、PUより大きくても小さくてもよい。イントラコーディングに対して、PUは、同じCUに対して対応するリーフTUとコロケートされてよい。いくつかの例では、リーフTUの最大サイズは、対応するリーフCUのサイズに相当してもよい。
その上、リーフCUのTUはまた、残差4分木(RQT)と呼ばれるそれぞれの4分木データ構造と関連付けられてもよい。すなわち、リーフCUがTUに、どのように区分されているかを示す4分木を、リーフCUは含んでもよい。TU4分木のルートノードは概して、リーフCUに対応し、一方、CU4分木のルートノードは概して、ツリーブロック(またはLCU)に対応する。分割されないRQTのTUは、リーフTUと呼ばれる。一般に、本開示は、別段に記載されていない限り、リーフCUを指すためにCUという用語を、リーフTUを指すためにTUという用語を使用する。
ビデオシーケンスは通常、一連のピクチャを含む。本明細書において説明するように、「ピクチャ」と「フレーム」は互換的に使用される場合がある。すなわち、ビデオデータを含むピクチャは、ビデオフレームと呼ばれることも、あるいは単に「フレーム」と呼ばれることもある。ピクチャグループ(GOP)は一般に、一連の1つまたは複数のビデオピクチャを備える。GOPは、GOPに含まれるピクチャの数を記述するシンタックスデータを、GOPのヘッダ、ピクチャのうちの1つまたは複数のヘッダ、または他の場所に含んでもよい。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含んでもよい。ビデオエンコーダ20は通常、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロック上で動作する。ビデオブロックは、CU内のコーディングノードに対応する場合がある。ビデオブロックは固定サイズまたは可変サイズを有してもよく、指定されたコーディング規格に従ってサイズが異なってもよい。
一例として、HMは、様々なPUサイズにおける予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2NまたはN×NのPUサイズにおけるイントラ予測と、2N×2N、2N×N、N×2N、またはN×Nの対称PUサイズにおけるインター予測とをサポートする。HMはまた、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズにおけるインター予測のための非対称区分をサポートする。非対称区分では、CUの一方の方向は、区分されず、他方の方向は、25%および75%に区分される。25%区分に対応するCUの部分は、「n」とその後に続く「上」、「下」、「左」、または「右」の表示によって示される。したがって、たとえば、「2N×nU」は、上に2N×0.5NのPUおよび下に2N×1.5NのPUで水平に区分された2N×2NのCUを指す。
本開示では、「NxN」および「N掛けるN」は、垂直方向および水平方向の寸法に関するビデオブロックのピクセルの寸法、たとえば、16×16ピクセル、または16掛ける16ピクセルを指すために、交換可能に使用されてもよい。一般に、16×16ブロックは、垂直方向に16ピクセル(y=16)と水平方向に16ピクセル(x=16)とを有することになる。同様に、N×Nブロックは、一般に、垂直方向にNピクセルと水平方向にNピクセルとを有し、ここでNは、負ではない整数値を表す。ブロック内のピクセルは、行および列に配置されてもよい。さらに、ブロックは、必ずしも水平方向で垂直方向と同じ数のピクセルを有する必要はない。たとえば、ブロックは、N×Mピクセルを備えてもよく、ここでMは、Nと必ずしも等しくない。
CUのPUを使用するイントラ予測またはインター予測コーディングに続いて、ビデオエンコーダ20は、CUのTUのための残差データを計算してもよい。PUは、空間領域(ピクセル領域とも呼ばれる)における予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備えてもよく、TUは、変換、たとえば離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用することに続いて、変換領域における係数を備えてもよい。残差データは、符号化されていないピクチャのピクセルと、PUに対応する予測値との間のピクセル差に対応してもよい。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、CUのための変換係数を生成するためにTUを変換してもよい。
変換係数を生成するための任意の変換に続いて、ビデオエンコーダ20は、変換係数の量子化を実行してもよい。量子化は、一般に、係数を表すために使用されるデータの量をできる限り低減するために変換係数が量子化され、さらなる圧縮が行われるプロセスを指す。量子化プロセスは、係数の一部またはすべてに関連付けられたビット深度を低減してもよい。たとえば、nビット値は、量子化の間にmビット値に切り捨てられてもよく、ここでnは、mよりも大きい。
量子化に続いて、ビデオエンコーダ20は、量子化された変換係数を含む2次元マトリックスから1次元ベクトルを生成して、変換係数を走査してもよい。走査は、アレイの前方により高いエネルギー(したがって、より低い周波数)係数を配置し、アレイの後方により低いエネルギー(したがって、より高い周波数)係数を配置するように設計されてもよい。
いくつかの例では、ビデオエンコーダ20は、エントロピー符号化されることが可能なシリアル化ベクトルを生成するために、量子化された変換係数を走査するために事前定義された走査順を利用してもよい。他の例では、ビデオエンコーダ20は、適応走査を実行してもよい。1次元ベクトルを形成するために、量子化された変換係数を走査した後、ビデオエンコーダ20は、たとえば、コンテキスト適応可変長コーディング(CAVLC:context adaptive variable length coding)、コンテキスト適応2値算術コーディング(CABAC:context adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応2値算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率インターバル区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コーディング、または別のエントロピー符号化方法に従って、1次元ベクトルをエントロピー符号化してもよい。ビデオエンコーダ20はまた、ビデオデータを復号する上でビデオデコーダ30によって使用するための符号化されたビデオデータに関連付けられたシンタックス要素をエントロピー符号化してもよい。
ビデオエンコーダ20は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびGOPベースのシンタックスデータなどのシンタックスデータを、たとえばピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはGOPヘッダにおいてビデオデコーダ30に送信することがある。GOPシンタックスデータは、それぞれのGOP内のピクチャの数を記述してもよく、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化/予測モードを示してもよい。
図2は、以下においてより詳細に説明するように、成分間予測に関する本開示の技法を実施する場合があるビデオエンコーダ20の一例を示すブロック図である。
ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行してもよい。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオにおける空間的冗長性を低減または除去するために空間予測に依存する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間予測に依存する。イントラモード(Iモード)は、いくつかの空間ベースのコーディングモードのうちのいずれかを指す場合がある。単方向予測(Pモード)または双予測(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのうちのいずれかを指す場合がある。
図2に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、ビデオデータメモリ41と、モード選択ユニット40と、復号済みピクチャバッファ(DPB)64と、加算器50と、成分間予測処理ユニット51と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。モード選択ユニット40は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測ユニット46と、区分ユニット48とを含む。ビデオブロックの再構成のために、ビデオエンコーダ20は、逆量子化ユニット58と、逆変換ユニット60と、逆成分間予測処理ユニット61と、加算器62も含む。デブロッキングフィルタ(図2に図示せず)もまた、再構成されたビデオからブロッキネスアーティファクトを除去するために、ブロック境界をフィルタ処理するために含まれてもよい。必要に応じて、デブロッキングフィルタは、典型的には、加算器62の出力をフィルタリングする。追加のフィルタ(ループ内またはループ後)がデブロッキングフィルタに加えて使用されてもよい。そのようなフィルタは、簡潔のために示さないが、所望される場合、(ループ内フィルタとして)加算器50の出力をフィルタ処理してよい。例示的なフィルタは、適応ループフィルタ、サンプル適応オフセット(SAO)フィルタ、または他の種類のフィルタを含んでもよい。
ビデオデータメモリ41は、ビデオエンコーダ20の構成要素によって符号化されるべきビデオデータを記憶してもよい。ビデオデータメモリ41内に記憶されるビデオデータは、たとえば、ビデオソース18から取得されてもよい。復号済みピクチャバッファ64は、たとえば、イントラコーディングモードまたはインターコーディングモードにおいて、ビデオエンコーダ20によってビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであってもよい。ビデオデータメモリ41および復号済みピクチャバッファ64は、シンクロナスDRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM(登録商標))、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成されてもよい。ビデオデータメモリ41および復号済みピクチャバッファ64は、同じメモリデバイスまたは別個のメモリデバイスによって提供されてもよい。様々な例では、ビデオデータメモリ41は、ビデオエンコーダ20の他の構成要素とともにオンチップであってもよく、または、これらの構成要素に対してオフチップであってもよい。
符号化プロセス中に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに分割されてよい。動き推定ユニット42および動き補償ユニット44は、時間予測を実現するために、1つまたは複数の参照フレーム内の1つまたは複数のブロックに対する受信されたビデオブロックのインター予測コーディングを実行する。代替として、イントラ予測ユニット46は、空間予測を提供するために、コーディングされるべきブロックと同じフレームまたはスライス内の1つまたは複数の隣接ブロックに対する受信されたビデオブロックのイントラ予測コーディングを実行してもよい。ビデオエンコーダ20は、たとえば、ビデオデータの各ブロックに対する適切なコーディングモードを選択するために、複数のコーディングパスを実行してよい。
その上、区分ユニット48は、以前のコーディングパスにおける以前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分してもよい。たとえば、区分ユニット48は、最初にフレームまたはスライスをLCUに区分し、レートひずみ分析(たとえば、レートひずみ最適化)に基づいて、LCUの各々をサブCUに区分してもよい。モード選択ユニット40は、LCUをサブCUに区分することを示す4分木データ構造をさらに作成してもよい。4分木のリーフノードCUは、1つまたは複数のPUと1つまたは複数のTUとを含んでもよい。
モード選択ユニット40は、たとえば誤差結果に基づいてイントラコーディングモードまたはインターコーディングモードのうちの一方を選択してもよく、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器50に供給し、参照フレームとして使用するための符号化ブロックを再構成するために加算器62に供給する。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、区分情報、および他のそのようなシンタックス情報などのシンタックス要素をエントロピー符号化ユニット56に供給する。
動き推定ユニット42および動き補償ユニット44は高集積される場合があるが、概念的な目的のために別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックに関する動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム(またはコーディングされた他のユニット)内でコーディングされている現在のブロックに対する、参照フレーム(またはコーディングされた他のユニット)内の予測ブロックに対する、現在のビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示す場合がある。
予測ブロックは、差分絶対値和(SAD:sum of absolute difference)、差分二乗和(SSD:sum of square difference)、または他の差分メトリックによって決定される場合があるピクセル差分に関して、コーディングされるべきブロックと厳密に一致することが判明したブロックである。いくつかの例では、ビデオエンコーダ20は、復号済みピクチャバッファ64内に記憶された参照ピクチャのサブ整数ピクセル位置に関する値を計算してもよい。たとえば、ビデオエンコーダ20は、参照ピクチャの4分の1ピクセル位置の値、8分の1ピクセル位置の値、または他の分数ピクセル位置の値を補間してもよい。したがって、動き推定ユニット42は、フルピクセル位置および分数ピクセル位置に対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力してもよい。
動き推定ユニット42は、参照ピクチャの予測ブロックの位置とPUの位置とを比較することによって、インターコーディングされたスライス内のビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、その各々が復号済みピクチャバッファ64内に記憶された1つまたは複数の参照ピクチャを識別する、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択されてもよい。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56および動き補償ユニット44に送信する。
動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて、予測ブロックをフェッチまたは生成することを含んでもよい。この場合も、動き推定ユニット42および動き補償ユニット44は、いくつかの例では、機能的に統合されてもよい。動き補償ユニット44は、現在のビデオブロックのPUのための動きベクトルを受信したときに、参照ピクチャリストのうちの1つにおいて動きベクトルが指す予測ブロックの位置を特定してもよい。加算器50は、以下で説明するように、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット42は、ルーマ成分に対する動き推定を実行し、動き補償ユニット44は、クロマ成分とルーマ成分の両方に対してルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30によって使用するための、ビデオブロックおよびビデオスライスに関連付けられたシンタックス要素を生成してもよい。
イントラ予測ユニット46は、上記で説明したように、動き推定ユニット42および動き補償ユニット44によって実行されるインター予測の代替として、現在のブロックをイントラ予測してもよい。具体的には、イントラ予測ユニット46は、現在のブロックを符号化するために使用するイントラ予測モードを決定してもよい。いくつかの例では、イントラ予測ユニット46は、たとえば、別々の符号化パスの間、様々なイントラ予測モードを使用して現在のブロックを符号化してもよく、イントラ予測ユニット46(または、いくつかの例ではモード選択ユニット40)は、テストされたモードから使用する適切なイントラ予測モードを選択してもよい。
たとえば、イントラ予測ユニット46は、様々なテストされたイントラ予測モードに対してレート-ひずみ分析を使用してレート-ひずみ値を計算し、テストされたモードの中から最良のレート-ひずみ特性を有するイントラ予測モードを選択してもよい。レート-ひずみ分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の非符号化ブロックとの間のひずみ(または誤差)の量、ならびに、符号化ブロックを生成するために使用されたビットレート(すなわち、ビット数)を決定する。イントラ予測ユニット46は、どのイントラ予測モードがブロックのための最良のレート-ひずみ値を示すのかを判断するために、様々な符号化ブロックに関するひずみおよびレートから比を計算してもよい。
成分間予測処理ユニット51は、第1の色成分の残差を使用して第2および第3の色成分の残差をコーディングする適応的に切り替えられる予測子である。例示的な一手法では、YCbCrの場合、2つのクロマ(Cb,Cr)成分の残差をコーディングするのにルーマ(Y)成分の残差が使用される。例示的な別の手法では、RGBの緑色(G)チャネルの残差は、赤色(R)チャネルおよび青色(B)チャネルの残差をコーディングするのに使用される。成分間予測処理ユニット51は、成分間予測のためのスケーリングパラメータのマッピング関数を決定してシグナリングすることに関する本開示の技法を実行するように構成されてもよい。この技法について、以下においてより詳細に説明する。
変換処理ユニット52は、残差ブロックに変換を適用し、残差変換係数のブロックを生成する。変換では、残差情報をピクセル値領域から周波数領域などの変換領域に変換してもよい。変換処理ユニット52は、離散コサイン変換(DCT)などの変換または概念的にDCTに類似した他の変換を実行してもよい。ウェーブレット変換、整数変換、サブバンド変換、または他のタイプの変換が使用されてもよい。変換処理ユニット52は、結果として生じた変換係数を量子化ユニット54に送信してもよい。いくつかの例では、変換プロセスがスキップされてもよい。
量子化ユニット54は、ビットレートをさらに低減するために、変換係数を量子化する。量子化プロセスでは、係数の一部またはすべてに関連するビット深度を小さくしてもよい。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行してもよい。代替的には、エントロピー符号化ユニット56が走査を実行してもよい。
量子化に続いて、エントロピー符号化ユニット56は、量子化変換係数をエントロピーコーディングする。たとえば、エントロピー符号化ユニット56は、コンテキスト適応型バイナリ算術コーディング(CABAC)、またはコンテキスト適応型可変長コーディング(CAVLC)、シンタックスベースコンテキスト適応型2進算術コーディング(SBAC)、確率インターバル区分エントロピー(PIPE)コーディングなどの他のエントロピーコーディングプロセスを実行してもよい。コンテキストベースのエントロピーコーディングの場合には、コンテキストは、隣接ブロックに基づいてもよい。エントロピー符号化ユニット56によるエントロピーコーディングに続いて、符号化ビットストリームは、別のデバイス(たとえば、ビデオデコーダ30)に送信されてもよく、または後の送信もしくは検索のためにアーカイブされてもよい。
逆量子化ユニット58、逆変換ユニット60、および逆成分間予測処理ユニット61は、たとえば、参照ブロックとして後で使用できるように、ピクセル領域における残差ブロックを再構成するために、それぞれ、逆量子化、逆変換、および逆成分間予測処理を適用する。動き補償ユニット44は、復号済みピクチャバッファ64のフレームのうちの1つの予測ブロックに残差ブロックを加算することによって、参照ブロックを計算してもよい。動き補償ユニット44はまた、サブ整数ピクセル値を動き推定において使用できるように計算するために、1つまたは複数の補間フィルタを再構成された残差ブロックに適用してもよい。
加算器62は、復号済みピクチャバッファ64内に記憶する再構成されたビデオブロックを生成するために動き補償ユニット44によって生成された動き補償された予測ブロックに再構成された残差ブロックを加算する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために、参照ブロックとして、動き推定ユニット42および動き補償ユニット44によって使用されてもよい。
例示的な一手法では、成分間予測処理ユニット51は、ビデオデータのブロックの成分間予測に関するスケーリングパラメータを決定することと、複数のマッピング関数からあるマッピング関数を選択することであって、各マッピング関数が、スケーリングパラメータの値に相当するマッピングされた値にスケーリングパラメータをマッピングする、選択することと、ビデオビットストリームにおいて、第1のシンタックス要素をシグナリングすることであって、第1のシンタックス要素の値が、複数のマッピング関数から選択されたマッピング関数を示す、シグナリングすることと、ビデオビットストリームにおいて、第2のシンタックス要素をシグナリングすることであって、第2のシンタックス要素が、選択されたマッピング関数に相当するマッピングされた値を含む、シグナリングすることとによって、本開示の技法に従ってビデオデータのブロックを符号化する。
図3は、成分間予測のための技法を実施する場合があるビデオデコーダ30の一例を示すブロック図である。図3の例では、ビデオデコーダ30は、ビデオデータメモリ71と、エントロピー復号ユニット70と、動き補償ユニット72と、イントラ予測ユニット74と、逆量子化ユニット76と、逆変換ユニット78と、逆成分間予測処理ユニット79と、復号済みピクチャバッファ(DPB)82と、加算器80とを含む。
ビデオデータメモリ71は、ビデオデコーダ30の構成要素によって復号されるべき符号化されたビデオビットストリームなどのビデオデータを記憶してもよい。ビデオデータメモリ71に記憶されるビデオデータは、たとえば、コンピュータ可読媒体から取得されてもよく、またはたとえば、カメラなどのローカルビデオソースから取得されてもよく、またはビデオデータのワイヤードネットワーク通信もしくはワイヤレスネットワーク通信を介して取得されてもよく、または物理データ記憶媒体にアクセスすることによって取得されてもよい。ビデオデータメモリ71は、符号化されたビデオビットストリームからの符号化されたビデオデータを記憶するコーディングピクチャバッファ(CPB:coded picture buffer)を形成してもよい。復号済みピクチャバッファ82は、たとえば、イントラコーディングモードまたはインターコーディングモードにおいて、ビデオデコーダ30によってビデオデータを復号する際に使用できる参照ビデオデータを記憶する参照ピクチャメモリであってもよい。ビデオデータメモリ71および復号済みピクチャバッファ82は、シンクロナスDRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗変化型RAM(RRAM(登録商標))、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成されてもよい。ビデオデータメモリ71および復号済みピクチャバッファ82は、同じメモリデバイスまたは別個のメモリデバイスによって提供されてもよい。様々な例では、ビデオデータメモリ71は、ビデオデコーダ30の他の構成要素とともにオンチップであってもよく、または、これらの構成要素に対してオフチップであってもよい。
復号プロセスの間、ビデオデコーダ30は、ビデオエンコーダ20から、符号化されたビデオスライスのビデオブロックと関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。エントロピー復号ユニット70は、量子化された係数と、動きベクトルまたはイントラ予測モードインジケータと、他のシンタックス要素とを生成するためにビットストリームをエントロピー復号する。ビデオデコーダ30は、シンタックス要素をビデオスライスレベルおよび/またはビデオブロックレベルにおいて受信してもよい。
ビデオスライスがイントラコード化(I)スライスとしてコーディングされるとき、イントラ予測ユニット74は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの以前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成してもよい。
ビデオフレームがインターコード化(すなわち、BまたはP)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つのリスト内の参照ピクチャのうちの1つから生成されてもよい。ビデオデコーダ30は、復号済みピクチャバッファ82内に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、リスト0およびリスト1を構成してもよい。
動き補償ユニット72は、動きベクトルと他のシンタックス要素とをパースすることによって、現在のビデオスライスのビデオブロックのための予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット72は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラまたはインター予測)と、インター予測スライスタイプ(たとえば、BスライスまたはPスライス)と、スライスのための1つまたは複数の参照ピクチャリストのための構成情報と、スライスのインター符号化された各ビデオブロックのための動きベクトルと、スライスのインターコーディングされた各ビデオブロックのためのインター予測状態と、現在のビデオスライス内のビデオブロックを復号するための他の情報とを決定するために、受信したシンタックス要素のうちのいくつかを使用する。
動き補償ユニット72はまた、補間フィルタに基づいて補間を実行してもよい。動き補償ユニット72は、ビデオブロックの符号化の間にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルのための補間された値を計算してもよい。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを判定し、補間フィルタを使用して、予測ブロックを生成してもよい。
逆量子化ユニット76は、ビットストリーム内に供給され、エントロピー復号ユニット70によって復号された量子化された変換係数を逆量子化する(inverse quantize)、すなわち逆量子化する(de-quantize)。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するために、ビデオデコーダ30によって計算された量子化パラメータQPYをビデオスライス内の各ビデオブロックに使用することを含んでもよい。逆変換ユニット78は、ピクセル領域における残差ブロックを生成するために、変換係数に逆変換、たとえば、逆DCT、逆整数変換、または概念的に同様の逆変換プロセスを適用する。
逆成分間予測処理ユニット79は、第2および第3の色成分のコーディングされた残差を受信し、第2および第3の色成分の残差を第1の色成分の関数として再構成する。YCbCrの場合、ルーマ(Y)成分は、たとえば第1の成分として使用されてもよく、その場合、ルーマ成分の残差は、2つのクロマ(Cb,Cr)成分の残差を再構成するのに使用される。同様に、RGBの場合、緑色(G)成分は、たとえば第1の成分として使用されてもよく、その場合、緑色成分の残差は、赤色(R)成分および青色(B)成分の残差を再構成するのに使用される。このプロセスについて以下にさらに詳細に説明する。
動き補償ユニット72またはイントラ予測ユニット74が、動きベクトルまたは他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ30は、逆成分間予測処理ユニット79からの残差ブロックを、動き補償ユニット72またはイントラ予測ユニット74によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器80は、この加算演算を実行する1つまたは複数の構成要素を表す。
必要に応じて、ブロッキネスアーティファクトを除去することを目的として、復号ブロックをフィルタ処理するためにデブロッキングフィルタが適用されてもよい。(コーディングループ内またはコーディングループ後のいずれかの)他のループフィルタが、ピクセル遷移を平滑化するために使用されるかまたは別の方法でビデオ品質を改善するために使用されてもよい。次いで、所与のフレームまたはピクチャ中の復号されたビデオブロックが、後続の動き補償のために使用される参照ピクチャを記憶する復号済みピクチャバッファ82内に記憶される。復号済みピクチャバッファ82はまた、復号されたビデオを後で図1の表示デバイス32などの表示デバイス上に提示できるように記憶する。
例示的な一手法では、逆成分間予測処理ユニット79は、ビデオデータのブロックに関する第1のシンタックス要素を受信することであって、第1のシンタックス要素の値が、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、受信することと、ビデオデータのブロックに関する第2のシンタックス要素を受信することであって、第2のシンタックス要素の値が、スケーリングパラメータの値に相当する、受信することと、第1のシンタックス要素によって示される複数のマッピング関数のうちの1つおよび第2のシンタックス要素の値を使用してスケーリングパラメータ値のセットからスケーリングパラメータの値を決定することと、スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に関する成分間予測を実行することとによって、本開示の技法に従ってビデオデータを復号する。
HEVC RExtにはイントラBC技法が含まれている。図4は、イントラBCモードに従って現在のピクチャ103内の現在のビデオブロック102を予測するための例示的な技法を示す概念図である。図4は、現在のピクチャ103内の予測ビデオブロック104を示す。ビデオコーダ、たとえば、ビデオエンコーダ20および/またはビデオデコーダ30は、予測ビデオブロック104を使用して、本開示の技法に従ってイントラBCモードに応じて現在のビデオブロック102を予測してもよい。
ビデオエンコーダ20は、ビデオデータの以前に再構成されたブロックのセットから現在のビデオブロック102を予測するための予測ビデオブロック104を決定する。すなわち、予測ビデオブロック104は、現在のビデオブロック102と同じフレームにおいてすでに符号化され再構成されたビデオデータのブロックの中から決定される。ビデオエンコーダ20は、符号化されたビデオビットストリームにも含まれるビデオデータを逆量子化し逆変換し、得られた残差ブロックを、ビデオデータの再構成されたブロックを予測するのに使用される予測ブロックと加算することによってビデオデータのブロックを再構成する。
図4の例では、現在のピクチャ103内の探索領域108は、「対象領域」、「探索領域」、または「ラスタ領域」と呼ばれることもあり、以前に再構成されたビデオブロックのセットを含む。ビデオエンコーダ20は、探索領域108内の様々なビデオブロックに基づいて現在のビデオブロック102を予測しコーディングする相対的な効率および精度の分析に基づいて探索領域108内のビデオブロックの中から現在のビデオブロック102を予測するのに使用される予測ビデオブロック104を決定してもよい。
ビデオエンコーダ20は、現在のビデオブロック102に対する予測ビデオブロック104の位置または変位を表す2次元ブロックベクトル106(オフセットベクトル、変位ベクトル、または動きベクトルとも呼ばれる)を決定する。いくつかの例では、ブロックベクトル106は、予測ビデオブロック104の左上ピクセルの位置および現在のビデオブロック102の左上ピクセルの位置から計算される。しかし、ブロックベクトル106は、予測ビデオブロック104および現在のビデオブロック102内の任意のあらかじめ定義された位置またはシグナリングされた位置に対して計算されてもよい。
ブロックベクトル106は、それぞれ現在のビデオブロック102に対する予測ビデオブロック104の水平変位および垂直変位を表す水平変位成分112(すなわち、x成分)および垂直変位成分110(すなわち、y成分)を含む2次元ベクトルである。ビデオエンコーダ20は、符号化されたビデオビットストリーム内の、ブロックベクトル106を特定または定義し、たとえば、水平変位成分112および垂直変位成分110を定義する1つまたは複数のシンタックス要素を含んでもよい。ビデオデコーダ30は、ブロックベクトル106の水平変位成分および垂直変位成分を決定するために1つまたは複数のシンタックス要素を復号し、決定されたブロックベクトルを使用して現在のビデオブロック102に関する予測ビデオブロック104を特定してもよい。
現在のビデオブロック102はCUまたはCUのPUであってもよい。いくつかの例では、ビデオコーダ(たとえば、ビデオエンコーダ20および/またはビデオデコーダ30)は、イントラBCに従って予測されたCUをいくつかのPUに分割してもよい(たとえば、図5Aおよび図5Bを参照されたい)。そのような例では、ビデオコーダは、CUのPUの各々についてそれぞれの(たとえば、異なる)BVDを決定してもよい。たとえば、ビデオコーダは、2N×2N CUを2つの2N×N PUまたは2つのN×2N PUまたは4つのN×N PUに分割してもよい。他の例として、ビデオコーダは、2N×2N CUを((N/2)×N + (3N/2)×N) PU、または((3N/2)×N + (N/2)×N) PU、または(N×(N/2) + N×(3N/2)) PU、または(N×(3N/2) + N×(N/2)) PU、または4つの(N/2)×2N PUs、または4つの2N×(N/2) PUに分割してもよい。いくつかの例では、ビデオコーダは、2N×2N PUを使用して2N×2N CUを予測してもよい。
図4に示すように、予測ビデオブロック104がすでに復号された領域(すなわち、探索領域108)の内側にしか存在できず、この領域の外側には存在できない場合が観測されることがある。SCCに関するいくつかの提案では、ブロックベクトル106の全体をコーディングするのではなく、ビットストリームにおいてブロックベクトル差分(BVD)がコーディングされる。BVDは、ブロックベクトルからブロックベクトル予測子(BVP)を減じた値である。BVP予測法に関する様々な提案があり、そのような方法を研究するためにコア実験が確立された(文献Soleら「HEVC Screen Content Coding Core Experiment 1 (SCCE1):Intra Block Copying Extensions」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のビデオコーディング共同研究部会(JCT-VC)、第17回会議:スペイン、バレンシア、2014年3月27日〜4月4日、JCTVC-Q1121にいくつかの方法が詳述されている)。
パーシングの間現在のブロックの予測子が既知である場合、有効なBVDおよび無効なBVDを導出することができ、そのような情報を使用してBVDコーディングを最適化することができる。この所見を根拠として、BVDコーディングを向上させるためのシステムおよび方法を開示する。本明細書ではイントラBCコーディングに関する様々な態様を開示する。後述の例の各々は他の例と一緒に適用されてもまたは別個に適用されてもよい。
次の節では、本開示の成分間予測(CCP)技法に関連するHEVCの様々な特徴について説明する。
上述のように、HEVCでは、スライスの中の最大のコーディングユニットは、コーディングツリーブロック(CTB)と呼ばれる。CTBは、そのノードがコーディングユニットである4分木を含む。CTBのサイズは、HEVCメインプロファイルにおいて16×16〜64×64の範囲とすることができる(ただし、技術的には8×8CTBサイズをサポートすることができる)。コーディングユニット(CU)は、CTBと同じサイズであってもよいが、8×8程度の小さいサイズであってもよい。各CUは、1つのモードによってコーディングされる(たとえば、インターコーディングまたはイントラコーディング)。CUは、インターコーディングされるときに、2つの予測ユニット(PU:prediction unit)にさらに区分されてもよく、またはさらなる区分が適用されないときに単一のPUになってもよい。1つのCUの中に2つのPUが存在するとき、各PUは、CUの半分のサイズの長方形であってもよく、あるいはCUの1/4または3/4のサイズを有する2つの長方形であってよい。
CUがインターコーディングされるとき、動き情報の1セットが各PUに対して存在する。加えて、各PUは、動き情報のセットを導出するために一意のインター予測モードでコーディングされる。HEVCでは、最小のPUサイズは、8×4および4×8である。
HEVCでは、予測残差をコーディングするために4×4、8×8、16×16および32×32のサイズを有する4つの変換ユニット(TU:transform unit)を指定する。CTBは、4つ以上のTUに再帰的に区分されてもよい。TUは、離散コサイン変換(DCT)関数に類似する整数基底関数を使用する。加えて、イントラコード化領域に属する4×4ルーマ変換ブロックは、離散サイン変換(DST)関数から導出される整数変換を使用して変換される。クロマ変換ブロックは、ルーマ変換ブロックと同じTUサイズを使用する。
現在のHEVC規格では、各PUのルーマ成分に関して、33個の角度予測モード(2から34までのインデックスによって表される)、DCモード(1のインデックスによって表される)、および平面モード(0のインデックスによって表される)からイントラ予測モードが決定される。上記の35のイントラモードに加えて、「I-PCM」という名称のもう1つのモードもまた、HEVCによって利用される。I-PCMモードでは、予測、変換、量子化、およびエントロピーコーディングがバイパスされる一方で、予測サンプルが所定の数のビットだけコーディングされる。I-PCMモードの主たる目的は、信号が他のモードによって効率的にコーディングできない状況を処理することである。
HEVC規格では、それぞれPUに関する、インター予測のための動きベクトル予測プロセス、指定されたマージ(スキップはマージの特殊なケースとみなされる)モードおよび高度動きベクトル予測(AMVP)モードがある。AMVPモードまたはマージモードのいずれかにおいて、動きベクトル(MV)候補リストが、複数の動きベクトル予測子に関して維持される。現在のPUの動きベクトル、ならびにマージモードにおける参照インデックスは、MV候補リストにおける1つの候補(たとえば、隣接ブロック)から動きベクトルおよび参照インデックスのコピーを取ることによって生成される。
いくつかの例では、MV候補リストは、マージモードに関して5つまでの候補を含み、AMVPモードに関して2つの候補のみを含む。マージ候補は、動き情報のセット、たとえば参照ピクチャリスト(リスト0およびリスト1)と参照インデックスの両方に対応する動きベクトルを含んでよい。マージ候補がマージインデックスによって識別される場合、参照ピクチャが現在のブロックの予測のために使用されるだけでなく、関連する動きベクトルが決定される。しかしながら、AMVP候補は動きベクトルだけを含むので、リスト0またはリスト1のいずれかからの潜在的予測方向の各々に対するAMVPモードのもとで、参照インデックスは、MV候補リストに対するMVPインデックスとともに明示的にシグナリングされる必要がある。AMVPモードでは、予測された動きベクトルをさらに改善することができる。
上記からわかるように、マージ候補は動き情報の全セットに対応し、一方、AMVP候補は特定の予測方向および参照インデックスに関する1つの動きベクトルのみを含む。両モードに対する候補は、同じ空間的および時間的隣接ブロックから同様に導出される。
空間的MV候補が、特定のPU(PU0)に対して図5Aに示す隣接ブロックから導出されるが、ブロックから候補を生成する方法は、マージモードとAMVPモードとで異なる。マージモードでは、4つまでの空間的MV候補を図5Aに番号で示される順番に導出することができる。MV候補をチェックする順番としては、左(0)、上(1)、右上(2)、左下(3)、左上(4)の順に行われる。
図5Bに示すように、AMVPモードでは、隣接ブロックは2つのグループ、すなわちブロック0および1からなる左のグループと、ブロック2、3および4からなる上のグループに分割される。各グループに関して、シグナリングされた参照インデックスによって示される参照ピクチャと同じ参照ピクチャを参照する隣接ブロック内の潜在的候補は、グループの最終候補を形成するために選択されるための最高の優先度を有する。すべての隣接ブロックが、同じ参照ピクチャを指す動きベクトルを含まないことが可能である。そのために、そのような候補を見出すことができない場合、第1の利用可能な候補が、最終候補を形成するようにスケーリングされることになり、したがって時間的距離の差を補償することができる。
Wei Puら「RCE1:Descriptions and Results for Experiments 1, 2, 3, and 4」、ITU-T SG 16 WP 3およびISO/IEC JTC1/SC 29/WG 11のJCT-VC、第15回会議:スイス、ジュネーブ、2013年10月25日〜11月1日(JCTVC-O0202)において、ルーマ残差をクロマ成分の残差に関する予測子として使用することによって色成分間の相関を除去するCCPに関する技法が提案された。CCPを実施するために、スケーリングパラメータのセットがあらかじめ定義され、スケーリングパラメータのうちの1つが選択されビットストリームにおいてシグナリングされる。CCPは、イントラコーディングされたブロックとインターコーディングされたブロックの両方に対して実施されてもよい。しかし、イントラコーディングの場合、いくつかの例では、直接モード(DM)およびクロマモードを有するブロックのみがこの予測を使用することを許容される。スケーリングパラメータが変換ブロックごとに選択されてもよい。
CCPに関する現在の提案にはいくつかの欠点がある。1つの欠点は、スケーリングパラメータα、すなわち、log2_res_scale_abs_plus1の復号された値に関するマッピング関数に関する。CCPに関する1つの手法では、(α?1<<(α-1):0)のマッピング関数を使用して、復号された値αを実際に使用されるスケーリングパラメータの値に変換する。
RGBシーケンスとYCbCrシーケンスをコーディングする際のスケーリングパラメータαの統計結果はかなり異なる。したがって、同じマッピング関数を使用することは、異なる色コーディングフォーマットに対して最適ではない場合がある。
第2の欠点は、スケーリングパラメータの固定セットが様々なテストシーケンスに適用できないことである。
次に、成分間予測のコーディング性能を改善するためにこれらの欠点に対処する解決手段について説明する。例示的な一手法では、コーディングされた情報に基づく新しいスケーリングパラメータを使用して追加のコーディング利得を生成してもよい。
図6は、本開示の1つまたは複数の態様による、成分間予測パラメータをシグナリングするための例示的なプロセスを示すフローチャートである。単に一例として、図6の方法は、図1および図2のビデオエンコーダ20に対応するビデオエンコーダなどのビデオエンコーダによって実施されてもよい。
以下の説明では、成分間予測に関して、rc(x,y)は、位置(x,y)における最終的なクロマ再構成残差サンプルを表す。rc'(x,y)は、位置(x,y)においてビットストリームから再構成されたクロマ残差サンプルを表し、rL(x,y)は、位置(x,y)におけるルーマ成分の再構成された残差サンプルを表す。例示的な一手法では、クロマ残差は、エンコーダ側において(スケーリングパラメータおよび/またはスケーリングパラメータの2つ以上のセットから選択されたオフセットに基づいて)
rc'(x,y) = rc(x,y) - (α(i) × rL(x,y)) >> 3
として予測され、デコーダ側において、
rc(x,y) = rc'(x,y) + (α(i) × rL(x,y)) >> 3
として補償される。上式において、iはスケーリングパラメータの選択されたセットを示し、選択されたセットへのインデックスは、選択されたスケーリングパラメータα(i)を示す。
例示的な別の手法では、クロマ残差は、エンコーダ側において(スケーリングパラメータおよび/またはスケーリングパラメータの1つのセットから選択されたオフセットに基づいて)
rc'(x,y) = rc(x,y) - (α × rL(x,y)) >> 3
として予測され、デコーダ側において、
rc(x,y) = rc'(x,y) + (α × rL(x,y)) >> 3
として補償される。そのような例示的な一手法では、使用されるスケーリングパラメータおよび/もしくはオフセットは、新しいマッピング関数のシグナリングによってシグナリングされ、またはいくつかの実施形態では、スケーリングパラメータおよび/もしくはオフセットのみのシグナリングによってシグナリングされる。いくつかのそのような手法では、シグナリングされたスケーリングパラメータは、デコーダおよびエンコーダによって将来成分間予測に使用されるスケーリングパラメータのセットの一部になる。
さらに別の例示的な手法では、スケーリングパラメータおよび/またはオフセットは、以前のフレームからの残差情報に基づいて決定される。
上記の手法の各々を包含するビデオを符号化する方法が図6に示されている。例示的な一手法では、ビデオエンコーダ20内の成分間予測(CCP)処理ユニット51は、本開示の技法に従ってビデオデータのブロックを符号化する。CCP処理ユニット51は、マッピング関数を選択し(140)、選択されたマッピング関数を第1のシンタックス要素においてシグナリングする(142)。各マッピング関数は、スケーリングパラメータをスケーリングパラメータの値に対応するマッピングされた値にマッピングする。CCP処理ユニット51は次いで、ビデオデータのブロックの成分間予測に関するスケーリングパラメータを決定する(144)。CCP処理ユニット51は、ビデオビットストリームにおいて、第2のシンタックス要素をシグナリングし(146)、この場合、第2のシンタックス要素は、選択されたマッピング関数に対応するスケーリングパラメータのマッピングされた値を含む。例示的な一手法では、第1のシンタックスが1つの全体的なスライス/ピクチャに対して1度のみシグナリングされ、一方、第2のシンタックス要素の値は、たとえばTUレベルにおいてシグナリングされる。
例示的な一手法では、スケーリングパラメータαのセットは、{-8, -4, -2, -1, 0, 1, 2, 4, 8}から包含的に選択されることが許容される。α=0であるとき、成分間残差予測がオフにされる。TUレベルオン/オフスイッチシグナリングを使用してこのケースに効率的に対処してもよい。
例示的なCCP実装形態に関するシンタックス要素およびセマンティクスを以下に示す。関係するシンタックス要素はイタリック体によって示されている。
Figure 2017523672
Figure 2017523672
Figure 2017523672
次に、CCPに関する復号プロセスについて説明し、図7に示す。例示的な一手法では、スケーリングパラメータαのシグナリングは2つの部分を有し、第1の部分は値を(log2_res_scale_abs_plus1として)コーディングするものであり、第2の部分は符号フラグを(res_scale_sign_flagとして)コーディングするものである。値(すなわち、以下の表ではabs(α))をコーディングする際、値はまず別の非負値(すなわち、M(α))にマッピングされ、次いでtruncated unary binarization法によってコーディングされる。第1のマッピング関数に関するabs(α)のマッピング関数を以下の表に示す。
Figure 2017523672
第2のマッピング関数に関するabs(α)のマッピング関数を以下の表に示す。
Figure 2017523672
図7は、本開示の1つまたは複数の態様による、成分間予測を含むビデオを復号するための例示的なプロセスを示すフローチャートである。例示的な一手法では、逆成分間予測処理ユニット79は、ビデオデータのブロックに関する第1のシンタックス要素を受信する(150)ことによって本開示の技法に従ってビデオデータを復号する。第1のシンタックス要素は、第2の成分もしくは第3の成分のいずれかまたはその両方に関する第1の成分の残差をスケーリングするのに使用されるスケーリングパラメータの値を決定するのに複数のマッピング関数のうちのどれを使用すべきかを示す値を含む。逆CCP処理ユニット79は第2のシンタックス要素も受信する(152)。第2のシンタックス要素は値を含む。逆CCP処理ユニット79は次いで、第2のシンタックス要素における値に基づいてスケーリングパラメータの値を決定し(154)、第1の色成分(ここではルーマ成分)の残差値を調整する(156)。逆CCP処理ユニット79は次いで、スケーリングパラメータの決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に対する成分間予測を実行する(158)。
いくつかの例示的な手法では、逆CCP処理ユニット79は第3のシンタックス要素を使用してスケーリングパラメータの符号を決定する。
例示的な一手法では、逆CCP処理ユニット79は、第1のシンタックス要素によって示されるマッピング関数および第2のシンタックス要素の値を使用してスケーリングパラメータの値を決定する。そのような一手法では、ユニット79は、第2のシンタックス要素の値および第1のシンタックス要素によって示されるマッピング関数を使用して、以下にさらに詳細に説明するように第2のシンタックス要素の値をパラメータのあらかじめ定義されたセットにマッピングする。そのような一手法では、スケーリングパラメータのセットは、{-8, -4, -2, -1, 0, 1, 2, 4, 8}である。マッピング関数は、第2のシンタックス要素の値をスケーリングパラメータのセットの要素のうちの1つにマッピングするのに使用される。
例示的な一手法では、値は、パラメータの1つまたは複数のセットへのインデックスを取得するために第1のシンタックス要素によって示されるマッピング関数によってマッピングされる。
図8に示す方法では、ビデオエンコーダ20は、ビデオデータのブロックに関するルーマ残差サンプルを決定し(180)、ビデオデータのブロックに関するクロマ残差サンプルを決定する(182)。例示的な一手法では、ビデオエンコーダ20は、スケーリングパラメータの2つ以上のセットから選択されたスケーリングパラメータによってルーマ残差サンプルを調整してルーマ残差サンプル予測子を生成する(184)、クロマ残差サンプルおよびルーマ残差サンプル予測子に基づいてビデオデータのブロックに関する予測クロマ残差サンプルを決定する(186)。別の手法では、スケーリングパラメータはオフセットも含む。ビデオエンコーダ20は、選択されたスケーリングパラメータおよびオフセットによって、ルーマ残差サンプルを、ルーマ残差サンプル予測子を生成するように調整し(184)、クロマ残差サンプルおよびルーマ残差サンプル予測子に基づいてビデオデータのブロックに関する予測クロマ残差サンプルを決定する(186)。ビデオエンコーダ20のエントロピー符号化ユニット56は、予測クロマ残差サンプルおよびルーマ残差サンプルを符号化してもよい(188)。
上述のように、スケーリングパラメータの同じセットがすべてのアプリケーションに最適であるとは限らない場合がある。システム10は、この問題に対処するために、2つ以上のマッピング関数を含み、場合によっては、スケーリングパラメータの2つ以上のセットを含む。例示的な一手法では、第1のマッピング関数がYCbCrシーケンスに使用され、一方、第2のマッピング関数がRGBシーケンスに使用される。そのような例示的な一手法では、所望のマッピング関数をシグナリングするためにシンタックス要素が使用される。スケーリングパラメータの単一のセットにおいて2つのマッピング関数を有する例示的な手法では、そのようなシンタックス要素はフラグdiff_mapping_alpha_enabled_flagの形をとる場合がある。3つ以上のマッピング関数を有する例示的な手法では、そのようなシンタックス要素はインデックスdiff_mapping_alpha_enabled_idxの形をとる。
マッピングがスケーリングパラメータの同じセットに対するものである必要はない。例示的な一手法では、diff_mapping_alpha_enabled_flagはスケーリングパラメータの2つのセットのうちの一方を選択し、一方、パラメータの各セットにおけるマッピングは変化しない。同様に、スケーリングパラメータの3つ以上のセットの場合、diff_mapping_alpha_enabled_idxにおけるインデックスはスケーリングパラメータの3つ以上のセットのうちの1つを選択する。様々なマッピング関数とスケーリングパラメータのセットとを混合することも考えられる。
以下の説明では、本開示の技法についてスケーリングパラメータのセットに関して説明する。場合によっては、スケーリングパラメータの単一のセットにおいて様々なマッピング関数を使用することによって同じ結果を実現できることを理解されたい。
例示的な一手法では、スケーリングパラメータαはスケーリングパラメータの2つのセット{-8, -4, -2, -1, 0, 1, 2, 4, 8}および{-1, -2, -4, -8, 0, 8, 4, 2, 1}から包含的に選択される。α=0であるとき、成分間残差予測がオフにされる。TUレベルオン/オフスイッチシグナリングを使用してこのケースに効率的に対処してもよい。そのような一手法では、選択されたスケーリングパラメータを示す値が、デコーダに対してシグナリングされ、デコーダにおいて使用すべきスケーリングパラメータを決定するのに使用される。
別の例示的な手法では、スケーリングパラメータαは、スケーリングパラメータの2つのセットおよびオフセットから選択される。α=0であるとき、成分間残差予測がオフにされる。TUレベルオン/オフスイッチシグナリングを使用してこのケースに効率的に対処してもよい。そのような一手法では、選択されたスケーリングパラメータ/オフセットを示す値が、デコーダに対してシグナリングされ、デコーダにおいて使用すべきスケーリングパラメータおよびオフセットを決定するのに使用される。
図9は、本開示の1つまたは複数の態様による、成分間予測を含むビデオを復号するための例示的なプロセスを示すフローチャートである。単に一例として、図9の方法は、図1および図2のビデオデコーダ30に対応するビデオデコーダなどのビデオデコーダによって実施されてもよい。
図9に示す方法では、ビデオデコーダ30は、ビデオデータのブロックに関するルーマ残差サンプルを決定してもよく(200)、ビデオデータのブロックに関する予測クロマ残差サンプルを決定してもよい(202)。ビデオデコーダ30は、例示的な一手法では、スケールファクタおよび/またはオフセットによってルーマ残差サンプルを調整してルーマ残差サンプル予測子を生成するようにさらに構成されてもよい(204)。ささらに、ビデオデコーダ30は、予測クロマ残差サンプルおよびルーマ残差サンプル予測子に基づいて更新されたクロマ残差サンプルを決定してもよい(206)。ビデオデコーダは、ルーマ残差サンプルおよび更新されたクロマ残差サンプルに基づいてビデオデータのブロックを復号する(208)。
次に、スケーリングパラメータをシグナリングするための方法について説明する。図10A〜図10Cは、スケーリングパラメータのセットをシグナリングするための様々な技法によるスケーリングパラメータのセットを示す図である。図10Aに示すような例示的な一手法では、第1のシンタックス要素はスケーリングパラメータの選択されたセット162へのインデックス付けに使用されるインデックス164をシグナリングし、一方、第2の構成要素(図示せず)は、スケーリングパラメータの符号をシグナリングする。エンコーダ側において、例示的な一手法では、選択されたスケーリングパラメータの符号を表す値が第2のシンタックス要素に記憶され、一方、インデックス164はスケーリングパラメータの値のセットへのインデックスである。図10Aに示す例では、スケーリングパラメータα160は、セット選択フラグ162(たとえば、diff_mapping_alpha_enabled_flag)およびインデックス164の関数である。
例示的な一手法では、選択されたスケーリングパラメータおよびオフセットが、セット選択フラグ162(たとえば、diff_mapping_alpha_enabled_flag)およびインデックス164を使用してシグナリングされる。別の例示的な手法では、スケーリングパラメータの単一のセットが使用され、diff_mapping_alpha_enabled_flag 162が、スケーリングパラメータのセットへのインデックスにスケーリングパラメータをマッピングするマッピング関数のうちの1つを選択するのに使用される。
例示的な第2の手法では、第1のシンタックス要素と第2のシンタックス要素の組合せが8つまでの符号付きスケーリングパラメータのセットへのインデックスを表す。エンコーダ側において、例示的な一実施形態では、8つの符号付きスケーリングパラメータのセットへのインデックスの最上位ビットが第2のシンタックス要素に記憶され、一方、最下位2ビットが第1のシンタックス要素に記憶される。そのような例示的な一手法が図10Bに示されており、この場合、スケーリングパラメータα170は、セット選択インデックス172(たとえば、diff_mapping_alpha_enabled_idx)ならびに符号176およびインデックス174の関数である。
例示的な一手法では、選択されたスケーリングパラメータおよびオフセットが、セット選択インデックス172(たとえば、diff_mapping_alpha_enabled_idx)ならびに符号176およびインデックス174を使用してシグナリングされる。
CCPに関する現在の提案では、シンタックス要素cross_component_prediction_enabled_flag、log2_res_scale_abs_plus1[c]、およびres_scale_sign_flag[c]を使用して、位置(y,x)におけるルーマ成分の再構成された残差サンプルに基づいてCCPの態様を定義する。いくつかの例示的な手法では、これらの同じシンタックス要素を使用して、選択されたスケーリングパラメータまたはオフセットをシグナリングするためのセットベースの手法を実施してもよい。
以下に、本開示の技法によるCCPの例示的な実装形態について説明する。以下の例では、HEVC RExt WD7において開示された技法に加えてシンタックス要素およびセマンティクス変更について説明する。新たに追加された部分は太字および下線によって強調され、削除された部分はstrikethroughのように示されている。
Figure 2017523672
あるいは、以下が適用される。
Figure 2017523672
例示的な一手法では、cross_component_prediction_enabled_flagを1に等しく設定すると、ピクチャパラメータセット(PPS)を参照するピクチャに関する変換ユニットシンタックスにdiff_mapping_alpha_enabled_flag、log2_res_scale_abs_plus1、およびres_scale_sign_flagが、存在してもよいことが指定される。シンタックス要素cross_component_prediction_enabled_flagが0に等しい場合、PPSを参照するピクチャにはlog2_res_scale_abs_plus1およびres_scale_sign_flagが存在しないことを示す場合がある。log2_res_scale_abs_plus1 およびres_scale_sign_flagが存在しないとき、cross_component_prediction_enabled_flagの値は0に等しいと推定される。ChromaArrayTypeが3に等しくないとき、ビットストリーム準拠の要件として、cross_component_prediction_enabled_flagの値は0に等しいものとする。
例示的な一手法では、シンタックス要素log2_res_scale_abs_plus1[c]マイナス1は、成分間残差予測において使用されるスケーリングファクタResScaleValの値の、2を底とする対数を指定する。これは、システム10において使用される場合があるスケーリングパラメータのセットのうちの1つである。log2_res_scale_abs_plus1 およびres_scale_sign_flagが存在しないとき、log2_res_scale_abs_plus1は0に等しいと推定される。
例示的な一手法では、シンタックス要素res_scale_sign_flag[ c ]が第3のシンタックス要素である。シンタックス要素res_scale_sign_flag[ c ]は、成分間残差予測において使用されるスケーリングファクタの符号を次のように指定する。res_scale_sign_flag[c]が0に等しい場合、対応するResScaleValは正の値を有する。そうでない(res_scale_sign_flag[c]が1に等しい)場合、対応するResScaleValは負の値を有する。
上述のように、例示的な一手法では、スケーリングパラメータの2つのセットのうちのどちらをスケーリングパラメータのソースとして使用するかを選択するのに、新しいシンタックス要素diff_mapping_alpha_enabled_flagが使用される。異なるシンタックス要素diff_mapping_alpha_enabled_idx(図示せず)は、スケーリングパラメータの3つ以上のセットのうちのどれをスケーリングパラメータのソースとして使用するかを選択するのに使用されるインデックスである。
変数ResScaleVal[cIdx][x0][y0]は、成分間残差予測において使用されるスケーリングファクタを指定する。アレイインデックスx0およびy0は、ピクチャの左上のルーマサンプルに対する考えられる変換ブロックの左上のルーマサンプルのロケーション(x0,y0)を指定する。アレイインデックスcIdxは色成分に関するインジケータを指定し、Cbについては1に等しく、Crについては2に等しい。そのような例示的な一手法では、変数ResScaleVal[cIdx][x0][y0]は次のように導出される。log2_res_scale_abs_plus1[cIdx-1]が0に等しい場合、以下が適用される。
ResScaleVal[cIdx][x0][y0] = 0
log2_res_scale_abs_plus1[cIdx-1]が0に等しくない場合、例示的な一手法では、(スケーリングパラメータの2つのセットの場合およびlog2_res_scale_abs_plus1[cIdx-1])が0に等しくない場合)、以下が適用される。
- 変数ScalParaを以下と等しくする:
!diff_mapping_alpha_enabled_flag?log2_res_scale_abs_plus1[cIdx-1]:map[log2_res_scale_abs_plus1[cIdx-1]]).
- ResScaleVal[cIdx][x0][y0] = (1<<ScalPara-1)) *
(1-2*res_scale_sign_flag[cIdx-1])
diff_mapping_alpha_enabled_flagが0に等しいとき、マッピング関数は(1<<log2_res_scale_abs_plus1[cIdx-1]-1)として定義され、一方、diff_mapping_alpha_enabled_flagが1に等しいとき、マッピング関数は(1<<map[log2_res_scale_abs_plus1[cIdx-1]]-1)として定義される。log2_res_scale_abs_plus1[cIdx-1]がビットストリームのパーシングによるデコーダ値であり、ResScaleVal[cIdx][x0][y0]がCCP復号プロセスにおいて使用される実際の値であることに留意されたい。
この結果は、図10AにおいてcIdxの様々な値に関して示されている。
例示的なCCP実装形態に関するシンタックス要素およびセマンティクスは、全体が参照により本明細書に組み込まれる、2014年6月20日に出願された米国仮出願第62/015,301号に記載されている。
次に、CCPに関する復号プロセスについて説明する。例示的な一手法では、スケーリングパラメータαのシグナリングは2つの部分を有し、第1の部分は値を(上記の例からlog2_res_scale_abs_plus1として)コーディングするものであり、第2の部分は符号フラグを(上記の例からres_scale_sign_flagとして)コーディングするものである。例示的な一手法では、値(すなわち、abs(α))をコーディングする際、値はまず別の非負値(すなわち、M(α))にマッピングされ、次いでtruncated unary binarization法によってコーディングされる。デコーダ側に関しては、M(α)は復号された値であり、前述の導入部ではlog2_res_scale_abs_plus1[cIdx-1]によって示されている。abs(α)に関するそのようなマッピング関数の例は、上記の後続の表に示されており、図10Aおよび図10Bではそれぞれセット0および1として示されている。
例示的な一手法では、復号された値M(α)をスケーリングパラメータαの値にマッピングするのに使用すべき特定のマッピング関数を示すためにシーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、またはスライスヘッダにおいて1つまたは複数のシンタックス要素がシグナリングされる。図10Aに示されているようなそのような一手法では、使用すべきセットは、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、またはスライスヘッダにおいてシグナリングされるセット選択フラグ162を介して選択される。そのような例示的な一手法では、セット選択フラグ162は、上述のようにdiff_mapping_alpha_enabled_flagを介してシグナリングされ、一方、インデックス164はlog2_res_scale_abs_plus1[c]を介してシグナリングされる。CCPに関する現在のシンタックス設計および2値化プロセスは変更されていない。
例示的な一手法では、マッピング関数の一方が、現在のHEVC範囲拡張規格と同様に、(α?1<<(α-1):0 )として定義され、一方、他方のマッピング関数が、図10Aにセット1として示される(α?(1<<(4-α)):0)として定義される。セット1のパラメータセットは、たとえば、RGBシーケンスに対処するために使用されてもよい。
例示的な第2の手法では、2つのマッピング方法によってスケーリングパラメータの2つの異なるセットが得られる場合がある。たとえば、図10Bのセット2に示すように、別の新しいマッピング関数が(α?(1<<(5-α)):0)として定義されてもよい。セット2のパラメータセットは、たとえば、RGBシーケンスに対処するために使用されてもよい。
例示的な第3の手法では、シンタックス要素は、シンタックス要素cross_component_prediction_enabled_flagが1に等しいときにのみシグナリングされる。そのような例示的な一手法では、シンタックスは次のようになる。
Figure 2017523672
例示的な第4の手法では、図10Bに示すように、複数のマッピング関数のうちの1つを示すためにSPS、PPS、またはスライスヘッダにおいてセット選択インデックス172がシグナリングされる。たとえば、コーダが4つのマッピング関数を有する場合があり、インデックス172は、4つのマッピング関数のうちのどれを使用すべきかをシグナリングする。
例示的な一手法では、クロマ成分の一方が、ルーマ成分および他方のクロマ成分を予測するために上記においてルーマ成分に関して説明したプロセスにおいて使用されてもよい。
スケーリングパラメータの符号フラグをコーディングするためのコンテキストモデルは、シグナリングされるマッピング関数に依存してもよい。この一例が図10Cに示されており、この場合、符号176(たとえば、res_scale_sign_flag[c]) = 0は、セット1に関するマイナス符号を示し、一方、符号176(たとえば、res_scale_sign_flag[c]) = 1は、セット0およびセット2に関するマイナス符号を示す。例示的ないくつかの手法では、新しい符号フラグres_scale_new_sign_flag[c]が、diff_mapping_alpha_enabled_flagのいくつかの状態およびdiff_mapping_alpha_enabled_idxのいくつかの値に使用され、一方、res_scale_sign_flag[c]が、diff_mapping_alpha_enabled_flagの他の状態およびdiff_mapping_alpha_enabled_idxの他の値に使用される。
第2の例の一態様では、本開示の新たに導入されたマッピング関数があるピクチャ/スライス/シーケンスに関して有効化されるとき、初期設定値が0と1の等確率に相当する154に等しくない別個のコンテキストモデルが利用されるそのような例示的な一手法では、異なる初期設定値を導入するために新しいシンタックス要素res_scale_new_sign_flag[c]が使用される。たとえば、そのような例示的な一手法では、res_scale_sign_flag[c]は、ctxIdxの2つ以上の値の各々について初期設定値が154であり、一方、res_scale_new_sign_flag[c]は、ctxIdxの2つ以上の値の各々について初期設定値が79である。新しいシンタックス要素res_scale_new_sign_flag[c]の2値化および初期設定プロセスはそれぞれ、Table 9-34(表9)およびTable 9-4(表10)に記載されている。res_scale_new_sign_flag[c]の考えられる値は0と1のみである場合があるので、2値化プロセスを実行する必要はなく、すなわち、値は直接コーディングされる。
Figure 2017523672
Figure 2017523672
Figure 2017523672
Figure 2017523672
Figure 2017523672
スケーリングパラメータ160および170をシグナリングし適用する他の技法について次に説明する。例示的な一代替手法では、新しいマッピング関数がSPS、PPS、またはスライスヘッダを介してシグナリングされる。そのような手法はたとえば、デフォルトマッピングプロセス、たとえば、HEVC RExt(図10A〜図10Cではセット0として示されている)において指定された既存のマッピングプロセスを異なるマッピングプロセスと置き換えるために使用されてもよい。例示的な一手法では、このマッピング関数は、デフォルトマッピングから、たとえば、インデックス(164または174)をスケーリングパラメータおよびオフセットにマッピングする新しいマッピングへの変更をシグナリングしてもよい。たとえば、新しいマッピングプロセスは、復号されたインデックス164または復号されたインデックス174によって示される値のセットの各値に関するスケーリングパラメータおよびオフセットを決定してもよい。そのような手法は、スケーリングのみでは十分でない場合に使用することができる。
例示的な一手法では、デコーダが、新しいマッピング関数を示す信号を受信し、新しいマッピング関数に基づいてスケーリングパラメータαに関する値を決定し、スケーリングパラメータαの値に基づいて、ビデオデータのブロックにおける位置(x,y)ごとのクロマ再構成残差サンプルrc(x,y)を再構成する。この場合、rc(x,y) = rc'(x,y) + (α × rL(x,y)) >> 3であり、rc'(x,y)は、位置(x,y)ごとの、ビットストリームにおける再構成されたクロマ残差サンプルを表し、rL(x,y)は、位置(x,y)ごとのルーマ成分における再構成された残差サンプルを表す。
そのような例示的な一手法では、新しいマッピング関数は、たとえば、HEVC RExtにおいて指定された既存のマッピングプロセスなどのデフォルトマッピング関数を置き換える。
別の例示的な手法では、SPS、PPS、またはスライスヘッダにおいて(オフセットを有する場合も有さない場合もある)1つのスケーリングパラメータのみがシグナリングされる。そのような例示的な一手法では、新しいスケーリングパラメータは、現在のHEVC RExt設計において(たとえば、復号されたインデックス164または174において)定義されたスケーリングパラメータのセットにおけるスケーリングパラメータのうちの1つを置き換えるのに使用され、必要な場合には、各位置(x,y)におけるルーマ成分の再構成された残差サンプルをスケーリングするのに使用される。
別のそのような例では、シグナリングされるスケーリングパラメータは単に追加のスケーリングパラメータとして使用されてもよく、たとえば、スケーリングパラメータの現在のHEVC RExtセットにおけるスケーリングパラメータのうちの1つを置き換えるためにマッピングなしで使用される。そのような手法は、たとえばスケーリングパラメータの数を増やすのに使用することができる。
上記の例のすべてにおいて、シグナリングされるマッピング関数は両方のクロマ成分に適用されてもよい。代替的に、マッピングパラメータのセットはクロマ成分ごとに別個に送信され使用される。
例示的な一手法では、クロマ成分の一方が、ルーマ成分および他方のクロマ成分を予測するために上記においてルーマ成分に関して説明したプロセスにおいて使用されてもよい。
マッピングプロセスの変更は、いくつかの例示的な手法では、以前に復号されたフレームの残差情報から導くことが可能である。例示的な一手法では、新しいマッピング関数/スケーリングパラメータ/オフセット値が、以前にコーディングされたフレームの残差情報から導出される。いくつかのそのような手法では、新しいマッピング関数/スケーリングパラメータ/オフセット値が、同じピクチャタイプを有する直前のフレームの残差情報から導出される。
例示的な他の手法では、まず残差がいくつかのセットに分類され、セットごとに、(オフセットを有する場合も有さない場合もある)1つのスケーリングパラメータが導出される。一例では、この分類は残差のエネルギーまたは分散に基づく。別の例では、この分類は、コーディングモードに基づく。たとえば、現在のブロックがイントラコーディングされ、新しいブロックがインターコーディングされる場合(異なるコーディングモード)、それぞれの異なるスケーリングパラメータおよび/またはオフセットが使用される。
例示的な一手法では、デコーダが、以前にコーディングされたフレームの残差情報に基づいて、スケーリングパラメータαの値を決定し、スケーリングパラメータαの値に基づいて、ビデオデータのブロックにおける位置(x,y)ごとのクロマ再構成残差サンプルrc(x,y)を再構成する。この場合、rc(x,y) = rc'(x,y) + (α × rL(x,y)) >> 3であり、rc'(x,y)は、位置(x,y)ごとの、ビットストリームにおける再構成されたクロマ残差サンプルを表し、rL(x,y)は、位置(x,y)ごとのルーマ成分における再構成された残差サンプルを表す。
上述された技法は、ビデオエンコーダ20(図1および図2)および/またはビデオデコーダ30(図1および図3)によって実行されてよく、それらの両方が概してビデオコーダと呼ばれることがある。加えて、ビデオコーディングは概して、必要に応じて、ビデオ符号化および/またはビデオ復号を指す場合がある。本開示の技法についてHEVCの範囲拡張規格およびスクリーンコンテンツ拡張規格に関して概略的に説明したが、この技法はこのように限定されない。上述の技法は、他の現在の規格またはまだ開発されていない将来の規格に適用可能であってもよい。
例に応じて、本明細書で説明する方法のいずれかのいくつかの行為またはイベントは、異なる順序で実行されてもよく、まとめて追加され、統合され、または省略されてもよい(たとえば、すべての前述の行為またはイベントが方法の実施のために必要であるとは限らない)ことを理解されたい。さらに、いくつかの例では、行為またはイベントは、順次的にではなく、たとえばマルチスレッド処理、割り込み処理またはマルチプロセッサを通じて同時に実行されてもよい。加えて、明快のために本開示のいくつかの態様は単一のモジュールまたはユニットによって実行されるものとして説明されるが、本開示の技法がビデオコーダと関連したユニットまたはモジュールの組合せによって実行されてもよいことを理解されたい。
技法の様々な態様の組合せについて上記において説明したが、これらの組合せは単に本開示において説明した技法の例を示すために提示されている。したがって、本開示の技法は、これらの例示的な組合せに限定すべきではなく、本開示において説明する技法の様々な態様の考えられる組合せを包含してもよい。
1つまたは複数の例において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアで実装される場合、機能は、1つもしくは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信されてもよく、かつハードウェアに基づく処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含むことがある。
このように、コンピュータ可読媒体は、一般に、(1)非一時的である有形のコンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応してもよい。データ記憶媒体は、本開示に記載の技法の実装のための命令、コード、および/またはデータ構造を取得するために、1つもしくは複数のコンピュータ、または1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体と包装材料とを含んでもよい。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形式の所望のプログラムコードを記憶するために使用され、コンピュータによってアクセスされてもよい任意の他の媒体を含むことができる。また、いかなる接続も適切にコンピュータ可読媒体と呼ばれる。たとえば、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから命令が送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに、非一時的な有形の記憶媒体を対象としていることを理解されたい。ディスク(disk)およびディスク(disc)は、本明細書において使用されるときに、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、一方、ディスク(disc)は、レーザを用いてデータを光学的に再生する。上記の組合せは、コンピュータ可読媒体の範囲内に同じく含まれるものとする。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価の集積論理回路もしくは離散論理回路のような、1つまたは複数のプロセッサによって実行されてもよい。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造、または本明細書で説明される技法の実装に適した任意の他の構造のいずれかを指す場合がある。さらに、いくつかの態様では、本明細書で説明される機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内に与えられてもよく、または複合コーデックに組み込まれてもよい。また、技法は、1つまたは複数の回路または論理要素において完全に実装されてもよい。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装されてもよい。開示する技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて本開示において説明したが、これらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、様々なユニットは、上述のように、コーデックハードウェアユニットにおいて結合されてもよく、または適切なソフトウェアおよび/もしくはファームウェアとともに、前述のような1つもしくは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって実現されてもよい。
本開示の様々な態様について説明した。これらの態様および他の態様は以下の特許請求の範囲内に入る。
10 復号システム
12 ソースデバイス
14 宛先デバイス
16 リンク
18 外部ビデオソース
20 ビデオエンコーダ
22 出力インターフェース
28 入力インターフェース
30 ビデオデコーダ
31 記憶デバイス
32 表示デバイス
40 モード選択ユニット
41 ビデオデータメモリ
42 動き推定ユニット
44 動き補償ユニット
46 イントラ予測ユニット
48 区分ユニット
50 加算器
51 CCPユニット
52 変換処理ユニット
54 量子化ユニット
56 エントロピー符号化ユニット
58 逆量子化ユニット
60 逆変換ユニット
61 逆CCPユニット
62 加算器
64 復号済みピクチャバッファ
70 エントロピー復号ユニット
71 ビデオデータメモリ
72 動き補償ユニット
74 イントラ予測ユニット
76 逆量子化ユニット
78 逆変換ユニット
79 逆成分間予測処理ユニット
82 復号済みピクチャバッファ
102 現在のビデオブロック
103 現在のピクチャ
104 予測ビデオブロック
106 ブロックベクトル
108 探索領域
110 垂直変位成分
112 水平変位成分
162 セット選択フラグ
164 インデックス
172 セット選択インデックス
QPY 量子化パラメータ

Claims (30)

  1. ビデオデータを復号する方法であって、
    ビデオデータのブロックに関する第1のシンタックス要素を受信するステップであって、前記第1のシンタックス要素の値は、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、ステップと、
    ビデオデータの前記ブロックに関する第2のシンタックス要素を受信するステップであって、前記第2のシンタックス要素の値は前記スケーリングパラメータの前記値に対応し、前記第2のシンタックス要素を受信するステップは、前記第1のシンタックス要素の前記値とは無関係に特定の2値化法によって前記第2のシンタックス要素の前記値を復号するステップを含む、ステップと、
    前記第1のシンタックス要素によって示される前記複数のマッピング関数のうちの前記1つおよび前記第2のシンタックス要素の前記値を使用してスケーリングパラメータのセットから前記スケーリングパラメータの前記値を決定する、ステップと、
    前記スケーリングパラメータの前記決定された値を使用して前記ブロックビデオデータの少なくとも1つのクロマ成分に対する成分間予測を実行するステップとを含む方法。
  2. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    前記第1のマッピング関数は、(α?(1<<(α-1)):0)として定義され、αは、前記第2のシンタックス要素の前記値であり、
    前記第2のマッピング関数は、(α?(1<<(4-α)):0)として定義される、請求項1に記載の方法。
  3. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    前記第1のマッピング関数は、(α?(1<<(α-1)):0)として定義され、αは、前記第2のシンタックス要素の前記値であり、
    前記第2のマッピング関数は、(α?(1<<(5-α)):0)として定義される、請求項1に記載の方法。
  4. ビデオデータの前記ブロックに関する第3のシンタックス要素を受信するステップであって、前記第3のシンタックス要素の値は、前記スケーリングパラメータの符号を示す、ステップをさらに含み、
    成分間予測を実行するステップは、前記スケーリングパラメータの前記値および前記スケーリングパラメータの前記符号を使用して前記ブロックビデオデータの前記少なくとも1つのクロマ成分に対する成分間予測を実行するステップを含む、請求項1に記載の方法。
  5. 前記第1のシンタックス要素によって示される前記複数のマッピング関数のうちの前記1つに基づいて前記第3のシンタックス要素をエントロピー復号するのに使用されるコンテキストモデルを決定するステップと、
    前記決定されたコンテキストモデルを使用して前記第3のシンタックス要素をエントロピー復号するステップとをさらに含む、請求項4に記載の方法。
  6. ビデオデータの前記ブロックに関する前記第1のシンタックス要素を受信するステップは、シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダの少なくとも1つにおけるビデオデータの前記ブロックに関する前記第1のシンタックス要素を受信するステップを含む、請求項1に記載の方法。
  7. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、前記方法は、
    ビデオデータの前記ブロックに関する前記第1のシンタックス要素を受信するステップであって、前記第1のシンタックス要素は前記第2のマッピング関数を示す、ステップと、
    シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダのうちの少なくとも1つにおけるビデオデータの前記ブロックに関する前記第2のマッピング関数を受信するステップとをさらに含む、請求項1に記載の方法。
  8. シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダのうちの少なくとも1つにおけるスケーリングパラメータの前記セットに関する新しいスケーリングパラメータを受信するステップと、
    スケーリングパラメータの前記セットのうちの1つのスケーリングパラメータを前記新しいスケーリングパラメータに置き換えるステップとをさらに含む、請求項7に記載の方法。
  9. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、前記方法は、
    ビデオデータの前記ブロックに関する前記第1のシンタックス要素を受信するステップであって、前記第1のシンタックス要素は前記第2のマッピング関数を示す、ステップと、
    以前にコーディングされたビデオフレームの残差情報の特性から前記第2のマッピング関数を決定するステップであって、前記特性は、前記残差情報の1つまたは複数のエネルギー、前記残差情報の分散、または前記情報のコーディングモードを含む、ステップとをさらに含む、請求項1に記載の方法。
  10. 前記第2のマッピング関数を決定するステップは、ビデオデータの前記ブロックのフレームと同じピクチャタイプを有する以前にコーディングされたビデオフレームの残差情報の特性に基づいて前記第2のマッピング関数を決定するステップを含む、請求項9に記載の方法。
  11. ビデオデータを記憶するように構成されたメモリと、
    前記メモリに接続されたビデオデコーダとを備え、前記ビデオデコーダは、
    前記ビデオデータのブロックに関する第1のシンタックス要素を受信することであって、前記第1のシンタックス要素の値は、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、受信することと、
    ビデオデータの前記ブロックに関する第2のシンタックス要素を受信することであって、前記第2のシンタックス要素の値は前記スケーリングパラメータの前記値に対応し、前記第2のシンタックス要素を受信するために、前記ビデオデコーダは、前記第1のシンタックス要素の前記値とは無関係に特定の2値化法によって前記第2のシンタックス要素の前記値を復号するように構成される、受信することと、
    前記第1のシンタックス要素によって示される前記複数のマッピング関数のうちの前記1つおよび前記第2のシンタックス要素の前記値を使用してスケーリングパラメータのセットから前記スケーリングパラメータの前記値を決定することと、
    前記スケーリングパラメータの前記決定された値を使用してブロックビデオデータの少なくとも1つのクロマ成分に対する成分間予測を実行することとを行うように構成されるデバイス。
  12. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    前記第1のマッピング関数は、(α?(1<<(α-1)):0)として定義され、αは、前記第2のシンタックス要素の前記値であり、
    前記第2のマッピング関数は、(α?(1<<(4-α)):0)として定義される、請求項11に記載のデバイス。
  13. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    前記第1のマッピング関数は、(α?(1<<(α-1)):0)として定義され、αは、前記第2のシンタックス要素の前記値であり、
    前記第2のマッピング関数は、(α?(1<<(5-α)):0)として定義される、請求項11に記載のデバイス。
  14. 前記ビデオデコーダは、
    ビデオデータの前記ブロックに関する第3のシンタックス要素を受信することであって、前記第3のシンタックス要素の値は、前記スケーリングパラメータの符号を示す、受信することを行うようにさらに構成され、
    前記成分間予測を実行するために、前記ビデオデコーダは、前記スケーリングパラメータの前記値および前記スケーリングパラメータの前記符号を使用して前記ブロックビデオデータの前記少なくとも1つのクロマ成分に対する成分間予測を実行するように構成される、請求項11に記載のデバイス。
  15. 前記ビデオデコーダは、
    前記第1のシンタックス要素によって示される前記複数のマッピング関数のうちの前記1つに基づいて前記第3のシンタックス要素をエントロピー復号するのに使用されるコンテキストモデルを決定することと、
    前記決定されたコンテキストモデルを使用して前記第3のシンタックス要素をエントロピー復号することとを行うようにさらに構成される、請求項14に記載のデバイス。
  16. ビデオデータの前記ブロックに関する前記第1のシンタックス要素を受信するために、前記ビデオデコーダは、シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダの少なくとも1つにおけるビデオデータの前記ブロックに関する前記第1のシンタックス要素を受信するように構成される、請求項11に記載のデバイス。
  17. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    ビデオデータの前記ブロックに関する前記受信された第1のシンタックス要素は、前記第2のマッピング関数がビデオデータの前記ブロックに関する成分間予測に関する前記スケーリングパラメータの前記値を決定するのに使用されるべきであることの表示を含み、
    前記ビデオデコーダは、シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダのうちの少なくとも1つにおける前記第2のマッピング関数を受信するように構成される、請求項11に記載のデバイス。
  18. 前記ビデオデコーダは、
    シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダのうちの少なくとも1つにおけるスケーリングパラメータの前記セットに関する新しいスケーリングパラメータを受信することと、
    スケーリングパラメータの前記セットのうちの1つのスケーリングパラメータを前記新しいスケーリングパラメータに置き換えることとを行うようにさらに構成される、請求項17に記載のデバイス。
  19. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    ビデオデータの前記ブロックに関する前記受信された第1のシンタックス要素は、前記第2のマッピング関数がビデオデータの前記ブロックに関する成分間予測に関する前記スケーリングパラメータの前記値を決定するのに使用されるべきであることの表示を含み、
    前記ビデオデコーダは、以前にコーディングされたビデオフレームの残差情報の特性から前記第2のマッピング関数を決定することであって、前記特性は、前記残差情報のエネルギー、前記残差情報の分散、または前記情報のコーディングモードのうちの1つまたは複数を含む、決定することを行うようにさらに構成される、請求項11に記載のデバイス。
  20. 前記第2のマッピング関数を決定するために、前記ビデオデコーダは、ビデオデータの前記ブロックのフレームと同じピクチャタイプを有する以前にコーディングされたビデオフレームの残差情報の特性から前記第2のマッピング関数を決定するように構成される、請求項19に記載のデバイス。
  21. ビデオデータのブロックに関する第1のシンタックス要素を受信するための手段であって、前記第1のシンタックス要素の値は、成分間予測に関するスケーリングパラメータの値を決定するのに使用すべき複数のマッピング関数のうちの1つを示す、手段と、
    ビデオデータの前記ブロックに関する第2のシンタックス要素を受信するための手段であって、前記第2のシンタックス要素の値は前記スケーリングパラメータの前記値に対応し、前記第2のシンタックス要素を受信するための前記手段は、前記第1のシンタックス要素の前記値とは無関係に特定の2値化法によって前記第2のシンタックス要素の前記値を復号するための手段を含む、手段と、
    前記第1のシンタックス要素によって示される前記複数のマッピング関数のうちの前記1つおよび前記第2のシンタックス要素の前記値を使用してスケーリングパラメータのセットから前記スケーリングパラメータの前記値を決定するための手段と、
    前記スケーリングパラメータの前記決定された値を使用して前記ブロックビデオデータの少なくとも1つのクロマ成分に対する成分間予測を実行するための手段とを備える、ビデオデコーダ。
  22. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    前記第1のマッピング関数は、(α?(1<<(α-1)):0)として定義され、αは、前記第2のシンタックス要素の前記値であり、
    前記第2のマッピング関数は、(α?(1<<(4-α)):0)として定義される、請求項21に記載のビデオデコーダ。
  23. ビデオデータの前記ブロックに関する第3のシンタックス要素を受信するための手段であって、前記第3のシンタックス要素の値は、前記スケーリングパラメータの符号を示す、手段と、
    前記第1のシンタックス要素によって示される前記複数のマッピング関数のうちの前記1つに基づいて前記第3のシンタックス要素をエントロピー復号するのに使用されるコンテキストモデルを決定するための手段と、
    前記決定されたコンテキストモデルを使用して前記第3のシンタックス要素をエントロピー復号するための手段とをさらに備え、
    成分間予測を実行するための前記手段は、前記スケーリングパラメータの前記値および前記スケーリングパラメータの前記符号を使用して前記ブロックビデオデータの前記少なくとも1つのクロマ成分に対する成分間予測を実行するための手段を含む、請求項21に記載のビデオデコーダ。
  24. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    ビデオデータの前記ブロックに関する前記受信された第1のシンタックス要素は、前記第2のマッピング関数がビデオデータの前記ブロックに関する成分間予測に関する前記スケーリングパラメータの前記値を決定するのに使用されるべきであることの表示を含み、
    前記ビデオデコーダは、
    シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダのうちの少なくとも1つにおける前記第2のマッピング関数を受信するための手段と、
    シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダのうちの少なくとも1つにおけるスケーリングパラメータのセットに関する新しいスケーリングパラメータを受信するための手段と、
    スケーリングパラメータの前記セットのうちの1つのスケーリングパラメータを前記新しいスケーリングパラメータに置き換えるための手段とをさらに備える、請求項21に記載のビデオデコーダ。
  25. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    ビデオデータの前記ブロックに関する前記受信された第1のシンタックス要素は、前記第2のマッピング関数がビデオデータの前記ブロックに関する成分間予測に関する前記スケーリングパラメータの前記値を決定するのに使用されるべきであることの表示を含み、
    前記デバイスは、
    以前にコーディングされたビデオフレームの残差情報の特性から前記第2のマッピング関数を決定するための手段であって、前記特性は、前記残差情報のエネルギー、前記残差情報の分散、または前記情報のコーディングモードのうちの1つまたは複数を含み、前記第2のマッピング関数を決定するための手段は、ビデオデータの前記ブロックのフレームと同じピクチャタイプを有する以前にコーディングされたビデオフレームの残差情報の特性から前記第2のマッピング関数を決定するための手段を含む、手段をさらに備える、請求項21に記載のビデオデコーダ。
  26. ビデオデータのブロックを符号化する方法であって、
    ビデオデータのブロックの成分間予測に関するスケーリングパラメータを決定するステップと、
    複数のマッピング関数からあるマッピング関数を選択するステップであって、各マッピング関数は、前記スケーリングパラメータを前記スケーリングパラメータの値に対応するマッピングされた値にマッピングする、ステップと、
    ビデオビットストリームにおいて、第1のシンタックス要素をシグナリングするステップであって、前記第1のシンタックス要素の値は前記複数のマッピング関数から選択された前記マッピング関数を示す、ステップと、
    前記ビデオビットストリームにおいて、第2のシンタックス要素をシグナリングするステップであって、前記第2のシンタックス要素は、前記選択されたマッピング関数に対応する前記マッピングされた値を含み、第2のシンタックス要素をシグナリングするステップは、前記第1のシンタックス要素の前記値とは無関係に特定の2値化法によって前記第2のシンタックス要素の前記値を符号化するステップを含む、ステップとを含む方法。
  27. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、
    前記第1のマッピング関数は、(α?(1<<(α-1)):0)として定義され、αは、前記第2のシンタックス要素の前記値であり、
    前記第2のマッピング関数は、(α?(1<<(4-α)):0)として定義される、請求項26に記載の方法。
  28. ビデオデータの前記ブロックに関する第3のシンタックス要素を生成するステップであって、前記第3のシンタックス要素の値は、前記スケーリングパラメータの符号を示す、ステップと、
    前記第1のシンタックス要素によって示される前記複数のマッピング関数のうちの前記1つに基づいて前記第3のシンタックス要素をエントロピー復号するのに使用されるコンテキストモデルを決定するステップと、
    前記決定されたコンテキストモデルを使用して前記第3のシンタックス要素をエントロピー符号化するステップとをさらに含み、
    成分間予測を実行するステップは、前記スケーリングパラメータの前記値および前記スケーリングパラメータの前記符号を使用して前記ブロックビデオデータの少なくとも1つのクロマ成分に対する成分間予測を実行するステップを含む、請求項26に記載の方法。
  29. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、前記方法は、
    ビデオデータの前記ブロックに関する前記第1のシンタックス要素を介して、前記第2のマッピング関数がビデオデータの前記ブロックに関する成分間予測に関する前記スケーリングパラメータの前記値を決定するのに使用されるべきであることの表示をシグナリングするステップと、
    シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダのうちの少なくとも1つにおける前記第2のマッピング関数をシグナリングするステップと、
    シーケンスパラメータセット、ピクチャパラメータセット、またはスライスヘッダのうちの少なくとも1つにおいて、スケーリングパラメータのセットに関する新しいスケーリングパラメータをシグナリングするステップであって、前記新しいスケーリングパラメータは、スケーリングパラメータの前記セットにおける前記スケーリングパラメータのうちの1つを置き換える、ステップとをさらに含む、請求項26に記載の方法。
  30. 前記複数のマッピング関数は、第1のマッピング関数と第2のマッピング関数とを含み、前記方法は、
    以前にコーディングされたビデオフレームの残差情報の特性から前記第2のマッピング関数を決定するステップであって、前記特性は、前記残差情報のエネルギー、前記残差情報の分散、または前記情報のコーディングモードのうちの1つまたは複数を含む、ステップをさらに含み、
    前記第2のマッピング関数を決定するステップは、ビデオデータの前記ブロックのフレームと同じピクチャタイプを有する以前にコーディングされたビデオフレームの残差情報の特性から前記第2のマッピング関数を決定するステップをさらに含む、請求項26に記載の方法。
JP2016572815A 2014-06-20 2015-06-19 ビデオコーディングにおける成分間予測 Pending JP2017523672A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015301P 2014-06-20 2014-06-20
US62/015,301 2014-06-20
US14/743,804 2015-06-18
US14/743,804 US10200700B2 (en) 2014-06-20 2015-06-18 Cross-component prediction in video coding
PCT/US2015/036760 WO2015196119A1 (en) 2014-06-20 2015-06-19 Cross-component prediction in video coding

Publications (2)

Publication Number Publication Date
JP2017523672A true JP2017523672A (ja) 2017-08-17
JP2017523672A5 JP2017523672A5 (ja) 2018-07-12

Family

ID=54870869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016572815A Pending JP2017523672A (ja) 2014-06-20 2015-06-19 ビデオコーディングにおける成分間予測

Country Status (5)

Country Link
US (1) US10200700B2 (ja)
EP (1) EP3158743A1 (ja)
JP (1) JP2017523672A (ja)
CN (1) CN106664425A (ja)
WO (1) WO2015196119A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071186A1 (ko) * 2019-10-07 2021-04-15 에스케이텔레콤 주식회사 픽처 분할 방법 및 복호화 장치
JP2025525513A (ja) * 2022-07-13 2025-08-05 ノキア テクノロジーズ オサケユイチア ビデオの符号化およびデコーディングのための装置、方法、およびコンピュータプログラム

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112017004886A2 (pt) * 2014-09-12 2017-12-05 Vid Scale Inc dispositivo de codificação de vídeo e método de codificação de vídeo
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
US10511853B2 (en) * 2016-11-24 2019-12-17 Ecole De Technologie Superieure Method and system for parallel rate-constrained motion estimation in video coding
WO2018116925A1 (ja) * 2016-12-21 2018-06-28 シャープ株式会社 イントラ予測画像生成装置、画像復号装置、および画像符号化装置
EP3386198A1 (en) 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
WO2019121164A1 (en) * 2017-12-18 2019-06-27 Telefonaktiebolaget Lm Ericsson (Publ) De-blocking for video coding
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
CN116647688A (zh) * 2018-07-12 2023-08-25 华为技术有限公司 视频译码中使用交叉分量线性模型进行帧内预测
TWI829721B (zh) 2018-07-15 2024-01-21 大陸商北京字節跳動網絡技術有限公司 跨分量幀內預測模式導出
CN116347109A (zh) 2018-08-17 2023-06-27 北京字节跳动网络技术有限公司 一种处理视频数据的方法和装置
CN110868594B (zh) 2018-08-28 2023-04-07 北京字节跳动网络技术有限公司 分割方法的冗余移除
CN117478883A (zh) 2018-09-12 2024-01-30 北京字节跳动网络技术有限公司 交叉分量线性模型中的尺寸相关的下采样
CN110971897B (zh) * 2018-09-28 2021-06-29 杭州海康威视数字技术股份有限公司 色度分量的帧内预测模式的编码、解码方法、设备和系统
WO2020094057A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
PH12021551289A1 (en) 2018-12-07 2022-03-21 Beijing Bytedance Network Tech Co Ltd Context-based intra prediction
CN113261291B (zh) 2018-12-22 2024-07-26 北京字节跳动网络技术有限公司 基于多个参数的两步交叉分量预测模式
CN113366836B (zh) * 2019-01-11 2025-01-17 北京字节跳动网络技术有限公司 尺寸相关的跨分量线性模型
EP3700205A1 (en) * 2019-02-19 2020-08-26 Nokia Technologies Oy Quantization parameter derivation for cross-channel residual encoding and decoding
MY207950A (en) 2019-02-22 2025-03-31 Beijing Bytedance Network Tech Co Ltd Neighboring sample selection for intra prediction
CN113491121B (zh) 2019-02-24 2022-12-06 北京字节跳动网络技术有限公司 对视频数据进行编解码的方法、设备及计算机可读介质
CN119629348A (zh) * 2019-02-28 2025-03-14 交互数字Vc控股公司 编码和解码方法、装置、程序及介质
US12114000B2 (en) * 2019-03-08 2024-10-08 Qualcomm Incorporated Combined residual coding in video coding
WO2020182093A1 (en) 2019-03-08 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
CN113632481B (zh) * 2019-03-15 2023-12-26 寰发股份有限公司 色度残差缩放的延迟降低方法和装置
KR102817161B1 (ko) * 2019-03-18 2025-06-05 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 픽처 컴포넌트 예측 방법, 인코더, 디코더 및 저장 매체
CN113767631B (zh) 2019-03-24 2023-12-15 北京字节跳动网络技术有限公司 用于帧内预测的参数推导中的条件
JP7480170B2 (ja) * 2019-03-25 2024-05-09 オッポ広東移動通信有限公司 画像予測方法、エンコーダー、デコーダー及び記憶媒体
PH12021552544A1 (en) 2019-04-18 2022-07-04 Beijing Bytedance Network Tech Co Ltd Restriction on applicability of cross component mode
CN113711612B (zh) 2019-04-20 2023-05-26 北京字节跳动网络技术有限公司 视频编解码中的色度语法元素的信令
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
JP7271683B2 (ja) 2019-04-27 2023-05-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応するイントラ予測方法
WO2020224629A1 (en) 2019-05-08 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
EP3912341A4 (en) * 2019-05-21 2022-10-19 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR INTER-COMPONENT PREDICTION
CN115567707B (zh) 2019-05-30 2025-05-13 抖音视界有限公司 一种处理视频数据的方法、装置、介质
EP3973707A4 (en) 2019-06-22 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CHROMA REST SCALE SYNTAX ELEMENT
CN114026858B (zh) * 2019-06-23 2024-08-09 夏普株式会社 用于在视频编码中导出视频块的量化参数的系统和方法
CN114827609B (zh) 2019-06-25 2023-09-12 北京大学 视频图像编码和解码方法、设备及介质
EP3952308B1 (en) * 2019-06-25 2024-02-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image component prediction method and device, and computer storage medium
US11930169B2 (en) * 2019-06-27 2024-03-12 Hfi Innovation Inc. Method and apparatus of cross-component adaptive loop filtering for video coding
CN119815007A (zh) * 2019-07-05 2025-04-11 Lg电子株式会社 图像解码/编码方法、存储比特流的方法和发送数据的方法
WO2021006581A1 (ko) * 2019-07-05 2021-01-14 엘지전자 주식회사 루마 맵핑 기반 비디오 또는 영상 코딩
CN114128280B (zh) * 2019-07-07 2023-11-14 北京字节跳动网络技术有限公司 色度残差缩放的信令通知
CN114270817B (zh) 2019-08-20 2024-07-05 北京字节跳动网络技术有限公司 基于位置的系数缩放
CN114287130B (zh) 2019-08-24 2025-03-25 北京字节跳动网络技术有限公司 基于历史的运动矢量预测表的编解码表示
FI4024858T3 (fi) 2019-08-29 2025-09-10 Lg Electronics Inc Komponenttien väliseen adaptiiviseen silmukkasuodatukseen perustuva kuvan koodauslaitteisto ja menetelmä
US11202068B2 (en) * 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
WO2021052490A1 (en) 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Scaling window in video coding
WO2021052491A1 (en) 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Deriving reference sample positions in video coding
KR20220065758A (ko) 2019-09-20 2022-05-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록의 스케일링 프로세스
KR102626260B1 (ko) * 2019-10-01 2024-01-17 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 잔차 및 계수 코딩 방법 및 장치
CN118890491A (zh) 2019-10-05 2024-11-01 北京字节跳动网络技术有限公司 基于级别的视频编解码工具的信令通知
CN120881274A (zh) * 2019-10-09 2025-10-31 夏普株式会社 用于基于交叉分量相关性来减小视频编码中的重构误差的系统和方法
CN114556918B (zh) 2019-10-12 2025-08-12 北京字节跳动网络技术有限公司 细化视频编解码工具的使用和信令
JP7414980B2 (ja) 2019-10-13 2024-01-16 北京字節跳動網絡技術有限公司 参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
EP4035379A4 (en) * 2019-10-23 2023-03-15 Beijing Bytedance Network Technology Co., Ltd. CALCULATION FOR MULTIPLE CODING TOOLS
WO2021083257A1 (en) 2019-10-29 2021-05-06 Beijing Bytedance Network Technology Co., Ltd. Cross-component adaptive loop filter
US11425405B2 (en) * 2019-11-15 2022-08-23 Qualcomm Incorporated Cross-component adaptive loop filter in video coding
CN114930832B (zh) 2019-11-30 2025-10-28 抖音视界(北京)有限公司 跨分量自适应滤波和子块编解码
WO2021115235A1 (en) 2019-12-08 2021-06-17 Beijing Bytedance Network Technology Co., Ltd. Cross-component prediction using multiple components
JP7393550B2 (ja) 2019-12-11 2023-12-06 北京字節跳動網絡技術有限公司 クロス成分適応ループフィルタリングのためのサンプルパディング
MX2022007503A (es) 2019-12-27 2022-07-04 Beijing Bytedance Network Tech Co Ltd Se?alizacion de tipos de corte en encabezados de imagenes de video.
CN115176475B (zh) * 2019-12-31 2026-02-06 抖音视界有限公司 多参考线色度预测
US11303914B2 (en) 2020-01-08 2022-04-12 Tencent America LLC Method and apparatus for video coding
CN115136603B (zh) * 2020-02-07 2025-10-10 北京达佳互联信息技术有限公司 用于视频编解码的无损编解码模式
CN115362685A (zh) * 2020-04-01 2022-11-18 北京达佳互联信息技术有限公司 用于视频编解码的无损编解码模式
CN114080806B (zh) 2020-06-03 2022-11-11 北京达佳互联信息技术有限公司 在多跨分量预测(pmc)模式下的色度编解码增强
MX2025011166A (es) * 2020-06-12 2025-10-01 Beijing Dajia Internet Information Tech Co Ltd Metodos y aparato de codificacion de video en formato de color 4:4:4
EP4173290A4 (en) 2020-06-30 2024-01-10 Beijing Bytedance Network Technology Co., Ltd. BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING
EP3984222A4 (en) 2020-08-13 2022-10-26 Beijing Dajia Internet Information Technology Co., Ltd. ENHANCED CHROMINANCE CODING IN INTER-COMPONENT ADAPTIVE SAMPLE SHIFT
US11645812B2 (en) 2020-10-06 2023-05-09 Qualcomm Incorporated Inter-component residual prediction for color attributes in geometry point cloud compression coding
US11651551B2 (en) * 2020-10-06 2023-05-16 Qualcomm Incorporated Coding of component of color attributes in geometry-based point cloud compression (G-PCC)
US12412311B2 (en) * 2020-10-09 2025-09-09 Qualcomm Incorporated High level syntax refinements for geometry point cloud compression (G-PCC)
US11467947B2 (en) * 2020-10-19 2022-10-11 EMC IP Holding Company LLC Automated mocking of computer system deployments
US11689743B2 (en) * 2020-11-12 2023-06-27 Tencent America LLC Method and apparatus for video coding
CN117121481A (zh) 2021-03-17 2023-11-24 抖音视界有限公司 单独树编解码限制
WO2023138628A1 (en) * 2022-01-21 2023-07-27 Mediatek Inc. Method and apparatus of cross-component linear model prediction in video coding system
US20250343926A1 (en) * 2022-05-19 2025-11-06 Google Llc Chroma-From-Luma Prediction With Derived Scaling Factor
WO2024074129A1 (en) * 2022-10-07 2024-04-11 Mediatek Inc. Method and apparatus of inheriting temporal neighbouring model parameters in video coding system
US12483700B2 (en) * 2023-04-24 2025-11-25 Tencent America LLC Cross-component residual prediction by using residual template
WO2025007931A1 (en) * 2023-07-05 2025-01-09 Mediatek Inc. Methods and apparatus for video coding improvement by multiple models
CN121533017A (zh) * 2023-07-14 2026-02-13 联发科技股份有限公司 跨组件模型传播
WO2025024051A1 (en) * 2023-07-24 2025-01-30 Tencent America LLC Cross-component prediction
WO2025153059A1 (en) * 2024-01-17 2025-07-24 Mediatek Inc. Inheriting cross-component models based on cascaded vectors for inter chroma prediction

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2984837B1 (en) * 2013-04-08 2018-01-17 GE Video Compression, LLC Inter-component prediction
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
POLIN LAI ET AL., DESCRIPTION OF SCREEN CONTENT CODING TECHNOLOGY PROPOSAL BY MEDIATEK, JPN6019016096, 27 March 2014 (2014-03-27), ISSN: 0004167356 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071186A1 (ko) * 2019-10-07 2021-04-15 에스케이텔레콤 주식회사 픽처 분할 방법 및 복호화 장치
US12052417B2 (en) 2019-10-07 2024-07-30 Sk Telecom Co., Ltd. Method for splitting picture and decoding apparatus
US12549723B2 (en) 2019-10-07 2026-02-10 Sk Telecom Co., Ltd. Method for splitting picture and decoding apparatus
US12610049B2 (en) 2019-10-07 2026-04-21 Sk Telecom Co., Ltd. Method for splitting picture and decoding apparatus
JP2025525513A (ja) * 2022-07-13 2025-08-05 ノキア テクノロジーズ オサケユイチア ビデオの符号化およびデコーディングのための装置、方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
WO2015196119A1 (en) 2015-12-23
EP3158743A1 (en) 2017-04-26
US20150373349A1 (en) 2015-12-24
CN106664425A (zh) 2017-05-10
US10200700B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
US10200700B2 (en) Cross-component prediction in video coding
TWI853918B (zh) 用於視訊寫碼之區塊內複製合併資料語法
US10506228B2 (en) Variable number of intra modes for video coding
JP6612767B2 (ja) 色空間変換コーディングのための量子化パラメータ
US10440399B2 (en) Coding sign information of video data
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
JP2022533664A (ja) ビデオコーディングのためのマージモードコーディング
JP2022510297A (ja) ビデオコーディングのための三角形動き情報
JP2017513332A (ja) ビデオコーディングの参照として現在のピクチャを使用すること
TW201813386A (zh) 用於視訊寫碼之樹型寫碼
JP2018524906A (ja) イントラブロックコピーモードでの参照ピクチャリスト構成
JP2017523685A (ja) イントラブロックコピーイングのためのブロックベクトルコーディング
JP2015525988A (ja) ３ｄビデオコーディングのための深度マップのイントラコーディング
JP2016506684A (ja) ビット深度スケーラブルビデオコーディングのためのサンプル適応調整を使用するレイヤ間予測
US10904529B2 (en) Quantization group for video coding
US20130322538A1 (en) Reference index for enhancement layer in scalable video coding
JP2015533462A (ja) ビデオコーディングのための参照ピクチャステータス
US10129550B2 (en) Inter-layer syntax prediction control
US9338452B2 (en) Motion vector difference coding extension for enhancement layer
JP2016533119A (ja) サブｐｕレベル高度残差予測
CN107251556A (zh) 用于运动搜索中低复杂度四分之一像素产生的方法及设备
JP2023508468A (ja) マージ推定領域のための履歴ベースの動きベクトル予測子制約
CN113994675B (zh) 用于bdpcm模式的最大允许块大小

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190513

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191209