JP2018137796A - 適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置 - Google Patents

適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置 Download PDF

Info

Publication number
JP2018137796A
JP2018137796A JP2018075717A JP2018075717A JP2018137796A JP 2018137796 A JP2018137796 A JP 2018137796A JP 2018075717 A JP2018075717 A JP 2018075717A JP 2018075717 A JP2018075717 A JP 2018075717A JP 2018137796 A JP2018137796 A JP 2018137796A
Authority
JP
Japan
Prior art keywords
size
adaptive
palette
predictor
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018075717A
Other languages
English (en)
Inventor
林敬傑
Ching-Chieh Lin
張耀仁
Yao-Jen Chang
林俊隆
Chun-Lung Lin
塗日昇
Jih-Sheng Tu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2018137796A publication Critical patent/JP2018137796A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Systems (AREA)

Abstract

【課題】適応パレットプレディクタを用いて、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法を提供する。【解決手段】動画コンテンツの複雑性および動画コンテンツの符号化品質の少なくとも1つに基づいて、適応パレットプレディクタの最大サイズを適応的に決定する方法であって、動画コンテンツの事前に符号化または復号された符号化ユニットの全てのパレットから得られる適応パレットプレディクタを、適応的に決定する工程において決定された最大サイズ内に制限しながら、適応パレットプレディクタを用いて、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する。適応パレットプレディクタを用いて、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する。【選択図】図9A

Description

本発明は、適応最大サイズを用いる適応パレットプレディクタを使用する、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置に関する。
非カメラ取り込みコンテンツ動画(non-camera-captured content videos)、またはスクリーンコンテンツ動画を符号化するための技術に対しては、無線表示、リモートコンピュータデスクトップアクセス、映像会議用のリアルタイムスクリーンシェアリング、クラウドゲーミング等の適用分野の急成長のため、近年大きな関心が寄せられている。色彩が豊富で、複雑なパターンを有するカメラ取り込みコンテンツ動画と比較すると、スクリーンコンテンツ動画の大部分は、色の数が少なく、テキストパターンが繰り返されるコンピュータに加工されたグラフィックスおよびテキストを含んでいる。
例えば、テキストを有するスクリーンコンテンツ画像においては、符号化ブロックは、通常、前景テキストカラーと、背景色しか含んでいない。テキストの文字(characters)および字体(letters)のランダムなパターンでは、時に、現行の符号化ブロックにおいて、同じピクチャまたは事前に符号化されたピクチャにおける適合するブロックを見つけることが難しい。また、この状況において、効率的な圧縮のために方向性ローカルイントラ予測(directional local intra prediction)を利用することが難しいこともあり得る。従来のイントラおよびインター動画符号化ツールは、主にカメラ取り込みコンテンツ動画用に設計されており、スクリーンコンテンツ動画は、カメラ取り込みコンテンツ動画と大きく異なる特徴を有しているため、こうした従来のイントラおよびインター動画符号化ツールはスクリーンコンテンツ動画に不十分である。したがって、スクリーンコンテンツ動画の効率的な符号化の必要性が差し迫っている。
市場の需要に応じて、ITU−T Video Coding Expert GroupおよびISO/IEC Motion Picture Expert Groupが、共同で新たな規格化プロジェクト、つまりHigh-Efficiency Video Coding(HEVC)のスクリーンコンテンツ向け符号化(SCC、screen content coding)の拡張、を開始した。パレット符号化を含むいくつかの新たな動画符号化ツールが、効率的にスクリーンコンテンツ動画を符号化/復号するために開発され、HEVC SCC標準草案に採用された。
パレット符号化は、主要色に基づく予測方法である。主に、異なる符号化ユニット間の冗長性を除去する従来のイントラおよびインター予測と異なり、パレット符号化は、符号化ユニット内の反復的な画素値/パターンの冗長性を対象とする。主要色のオリジナル値を伝送するオーバーヘッドを低減するために、パレット予測がパレット符号化に取り入れられた。現行のパレット符号化モードにおいては、符号化ブロックの全画素が分析され、(エスケープカラー(escape colors)に分類される、いずれの主要色にも分類することができない、ほとんど使用されないいくつかの画素を除いて)主要色リストに分類される。各主要色は、符号化ブロックにおいて高頻度で出現する代表的な色である。パレットが符号化された各符号化ユニット(CU)について、カラーインデックステーブル(つまりパレット)が、1つの主要色に関する各索引エントリと共に形成される。CU内の全画素は、(エスケープカラーを有するエスケープ画素を除いて)対応するインデックスに変換される。図1は、パレット符号化工程の簡略版を示している。
ここで、符号器は、現行のCU内の主要色を表す各索引エントリが、現行のパレットプレディクタ(predictor)におけるいずれかの主要色に適合するかどうかを確認するための確認工程を開始する。パレットプレディクタにおける各エントリについて、上記エントリが現行のパレットで使用されているかどうかを示すために、フラグ(1:使用されている、0:使用されていない)が送られる。上記エントリが使用されている場合、上記エントリは、現行のパレットの先頭部に置かれる。したがって、現行のパレットプレディクタのエントリに対応するフラグは、現行のパレットプレディクタにおいて、いずれの主要色が、現行のCUで使用されるかを示すために送られる。現行のパレットにあるが、パレットプレディクタにないエントリについては、その数およびその画素(例えば、Y/Cb/CrまたはR/G/B)値が通知され、これらの通知された新たなエントリは、現行のパレットの最底部に置かれる。符号器側のパレット符号化モードの例が図2に示されている。現行のパレットサイズは、再生パレットエントリの数と、通知される新たなパレットエントリの数とを合計して算出される。
復号器側では、復号器は、現行のパレットプレディクタにおいて、いずれの主要色が現行のCUで使用されているかを示すフラグを受信する。復号器は、フラグの順番に現行のパレットプレディクタを確認して、現行のパレットプレディクタにおいて、いずれの主要色が現行のCUで使用されているかを決定する。復号器は、現行のパレットプレディクタにない新たなパレットエントリのその画素(例えば、Y/Cb/CrまたはR/G/B)値も受信する。そして、復号器は、受信した現行のパレットの先頭部に、現行のパレットプレディクタにおいて使用される主要色(フラグ(1)による)に対応する索引エントリを有する該CUに対する受信したパレットを生成する。次に、現行のパレットプレディクタにない新たな主要色に対応する索引エントリを生成する。復号器側におけるパレット符号化モードの例を図3に示す。
パレットが現行のCUを符号化、またはCUが符号化された現行のパレットを復号した後、パレットプレディクタは、次のCU、または次のCUが符号化されたパレットのために更新される。これは現行のパレットの情報を使用して行われる。現行のパレット/受信したパレットのエントリ(新たなエントリを含む)は、新たなパレットプレディクタの先頭部に与えられ、次に、その前のパレットプレディクタの未使用のエントリが続く。新たなパレットプレディクタのサイズは、現行のパレットのサイズと、未使用のパレットエントリの数とを合計して算出される。パレットプレディクタの更新の例を図4に示す。
米国特許出願公開第20160100171号(発明のタイトル:Palette index binarization for palette-based video coding)(特許文献1)は、動画データを符号化する方法の例を開示している。上記方法は、動画データの現行のブロックについて、それぞれの色の値に対応する複数のエントリを含むパレットを決定する工程と、上記現行のブロックの現行の画素の色の値に対応すると予測されるパレットにおける特定のエントリを決定する工程と、複数の2値化から2値化を選択する工程と、選択した2値化を使用して、パレット内のいずれのエントリが、上記現行のブロックの現行の画素に関する色の値に対応するかを示すインデックスを符号化する工程とを含んでいる。ここで、上記複数の2値化の第1の2値化を使用して上記インデックスを符号化することは、上記インデックスが上記特定のエントリに等しいかどうかを示すシンタックス要素を符号化することを含んでおり、上記複数の2値化の第2の2値化を使用して上記インデックスを符号化することは、シンタックス要素を符号化せずに、可変長符号を使用して、上記インデックスを符号化することを含んでいる。
ただし、現行の設計においては、パレットプレディクタの最大のサイズは、任意の整数に指定され得る。パレットプレディクタの最大のサイズに制限がないことによって、パレットプレディクタの実施、および更新プロセスにおける問題が生じる。これは、パレット予測をハードウェアで実施するために、無限の大きさを有するバッファを復号器が用意する必要があり得るためであるが、これは現在の技術では実行不可能である。さらに、現行のパレット符号化モードは、動画の複雑性、または符号化品質に関わらず、SPSレベルにおいて信号が送られる、パレットプレディクタの1つの固定された最大サイズのみを許容する。パレットプレディクタの最大サイズが固定されると、全ての異なる符号化条件、および符号化品質の要求に対する必要性に適合できないため、パレット符号化を非効率的かつ非効果的にしてしまう。
米国特許出願公開第20160100171号明細書
したがって、パレット符号化モードにおける符号化効率を改善するために、動画コンテンツの複雑性、および/または動画コンテンツの符号化品質に応じて、パレットプレディクタの適応最大サイズを提供することが本発明の目的である。
上記の目的を達成するために、本発明の第1の態様によると、適応パレットプレディクタを用いて、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法が提供される。上記方法は、上記動画コンテンツの複雑性、および上記動画コンテンツの符号化品質の少なくとも1つに基づいて、上記適応パレットプレディクタの最大サイズを適応的に決定する工程と、上記動画コンテンツの事前に符号化または復号された符号化ユニットの全てのパレットから得られる、上記適応パレットプレディクタを、上記適応的に決定する工程において決定された上記最大サイズ内に制限しながら、上記適応パレットプレディクタを用いて、上記パレット符号化モードにおいて、上記動画コンテンツの上記符号化ユニットを符号化、または復号する工程とを含んでいる。
さらに、本発明の第2の態様によると、適応パレットプレディクタを用いて、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化、または復号する装置が提供される。上記装置は、上記適応パレットプレディクタを収容するメモリ装置と、上記動画コンテンツの複雑性、および上記動画コンテンツの符号化品質の少なくとも1つに基づいて、上記適応パレットプレディクタの最大サイズを適応的に決定するように構成された適応パレットプレディクタサイズ決定ユニットと、上記動画コンテンツの事前に符号化、または復号された符号化ユニットの全てのパレットから得られる上記適応パレットプレディクタを、上記適応パレットプレディクタサイズ決定ユニットによって提供された上記最大サイズ内に制限しながら、上記メモリ装置に収容された上記適応パレットプレディクタを用いて、上記パレット符号化モードにおいて、上記動画コンテンツの上記符号化ユニットを符号化、または復号するように構成された符号器、または復号器とを備えている。
本発明の適用可能性のさらなる範囲は、後述の詳細な説明から明らかになるだろう。しかしながら、本発明の精神および範囲における様々な変化および変形が、詳細な説明から当業者に明らかになるであろうことから、本発明の好ましい実施形態を示している詳細な説明および特定の例は、例示するためだけに挙げられたものであることが理解されるべきである。
本発明は、例示するためだけに挙げられているため、本発明を限定するものではない後述の詳細な説明、および添付の図面からより十分に理解されるだろう。
パレット符号化工程の簡略版を示している図である。 符号器側のパレット符号化モードの例を示している図である。 復号器側のパレット符号化モードの例を示している図である。 パレットプレディクタの更新の例を示している図である。 本発明の実施形態に係る、適応パレットプレディクタを用いた、パレット符号化モードにおける、動画コンテンツの符号化ユニットを符号化または復号する装置のブロック図である。 本発明の実施形態に係る適応パレットプレディクタサイズ決定ユニットのブロック図である。 図6に示す候補サイズ生成ユニットの複数の実施形態を示している図である。 図6に示す候補サイズ生成ユニットの複数の実施形態を示している図である。 図6に示す候補サイズ生成ユニットの複数の実施形態を示している図である。 図6に示す候補サイズ生成ユニットの複数の実施形態を示している図である。 図6に示す候補サイズ生成ユニットの複数の実施形態を示している図である。 図6に示す候補サイズ生成ユニットの複数の実施形態を示している図である。 図6に示す候補サイズ生成ユニットの複数の実施形態を示している図である。 図6に示す候補サイズ生成ユニットの複数の実施形態を示している図である。 図6に示す適応パレットプレディクタサイズ選択ユニットの複数の実施形態を示している図である。 図6に示す適応パレットプレディクタサイズ選択ユニットの複数の実施形態を示している図である。 図6に示す適応パレットプレディクタサイズ選択ユニットの複数の実施形態を示している図である。 図6に示す適応パレットプレディクタサイズ選択ユニットの複数の実施形態を示している図である。 図6に示す適応パレットプレディクタサイズ選択ユニットの複数の実施形態を示している図である。 本発明の実施形態に係る、パレット符号化モードにおける、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程のいくつかの可能性のある構成を示している図である。 本発明の実施形態に係る、パレット符号化モードにおける、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程のいくつかの可能性のある構成を示している図である。 本発明の実施形態に係る、パレット符号化モードにおける、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程のいくつかの可能性のある構成を示している図である。 本発明の実施形態に係る、パレット符号化モードにおける、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程のいくつかの可能性のある構成を示している図である。
<例示実施形態の詳細な説明>
ここで、添付の図面を参照しながら本発明を詳細に説明する。上記図面においては、同一の参照番号は、複数の図面を通して、同一もしくは類似の要素を特定するために使用される。図面は参照番号の配置の方向に基づいて確認するべきであることに留意されたい。
前述したように、パレットプレディクタの最大サイズが固定されているパレットプレディクタは、パレット符号化モードにおける、全ての異なる符号化条件、および符号化品質の要求に対する必要性に適合できない。符号化品質の要求が高い場合、高精度な分類によって、より多くの主要色が生成されることが考えられる。そのため、優れたパレット予測を得るために、パレットプレディクタの最大サイズを大きく設定して、事前に復号された符号化ユニット内で出現したより多くの主要色を含むようにすべきである。一方、符号化品質の要求が低い場合、符号化ユニットにおいて、主要色が少ないことが考えられる。したがって、パレットプレディクタの最大サイズを小さく設定して、現行のパレットの索引エントリと、パレットプレディクタとを比較する確認時間を低減し、さらに、予測されない主要色の値を伝送する機会を減らして、符号化効率を向上させるべきである。さらに、動画コンテンツの複雑性に関しては、複雑な符号化ユニットに対する主要色が増加するので、符号化効率のための的中率を向上させるために、より大きなサイズのパレットプレディクタが必要となる。一方で、単純な動画コンテンツや単純な符号化ユニットは、それほど多くの主要色を表示する必要がないことがある。したがって、パレットプレディクタのサイズを低減することができ、それによって、余分な確認時間を無くし、パレットプレディクタにおける未使用のフラグを伝送するオーバーヘッドが低減される。したがって、パレットプレディクタが、1つの固定された最大サイズのみを有するのではなく、パレットプレディクタの最大サイズは、動画コンテンツの複雑性、および符号化品質に応じて、適応的に変化し、パレット符号化モードにおける符号化効率を向上させるべきである。
図5は、本発明のある実施形態に係る、適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する装置のブロック図である。図5に示されるように、装置100は、適応パレットプレディクタ30を収容するメモリ装置20と、上記動画コンテンツの複雑性、および上記動画コンテンツの符号化品質の少なくとも1つに基づいて、上記適応パレットプレディクタ30の最大サイズを適応的に決定するように構成された適応パレットプレディクタサイズ決定ユニット60と、上記動画コンテンツの事前に符号化、または復号された符号化ユニットの全てのパレットから得られる上記適応パレットプレディクタを、上記適応パレットプレディクタサイズ決定ユニット60によって提供された上記最大サイズ内に制限しながら、上記メモリ装置20に収容された上記適応パレットプレディクタ30を用いて、上記パレット符号化モードにおいて、上記動画コンテンツの上記符号化ユニットを符号化、または復号するように構成された符号器、または復号器40とを備えている。ある実施形態においては、上記装置は、ファームウェア/ソフトウェア、論理回路、および/またはハードウェア符号器/復号器等を備えたプロセッサによって実行することができる。
図6は、本発明のある実施形態に係る適応パレットプレディクタサイズ決定ユニット60のブロック図である。図6に示すように、適応パレットプレディクタサイズ決定ユニット60は、以下のパラメータ(調整パラメータV、パレット最大サイズ(符号化ユニットのパレットサイズはパレット最大サイズ以下である)、M、および動画コンテンツの複雑性、および/または動画コンテンツの符号化品質を表すパラメータ)を受信する。いくつかの実施形態においては、適応パレットプレディクタサイズ決定ユニット60は、符号化ユニットのデルタパレットプレディクタサイズおよび/またはパレットサイズでもよい。
図6に示すように、適応パレットプレディクタサイズ決定ユニット60は、少なくともV、M、および上記パレット最大サイズに基づいて、上記適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成するように構成された候補サイズ生成ユニット70(Vは1以上の整数、Mは1以上、Niは上記パレット最大サイズ以上であり、Niが上限値より大きい場合、Niは上記適応パレットプレディクタの最大サイズの上限値によって上限が定められる)と、上記動画コンテンツの上記複雑性、および上記動画コンテンツの上記符号化品質の少なくとも1つに基づいて、上記適応パレットプレディクタの上記候補サイズの集合Niから、上記適応パレットプレディクタの上記最大サイズとして、1つの候補サイズを適応的に選択するように構成された適応パレットプレディクタサイズ選択ユニット80とを含んでいる。ある実施形態においては、適応パレットプレディクタの最大サイズの上限値は、M、およびパレット最大サイズに基づいて設定される。ある実施形態においては、Mが整数である場合、上限値はMとパレット最大サイズの積の値になるように設定され、Mが整数でない場合、上限値は下記のうちの1つに設定される。(M×パレット最大サイズ)のラウンド(round)、(M×パレット最大サイズ)のシーリング(ceiling)、(M×パレット最大サイズ)のフロアー(floor)、(M)×パレット最大サイズのラウンド、(M)×パレット最大サイズのシーリング、(M)×パレット最大サイズのフロアー。
図7A‐1〜7A‐5、7B、7C‐1、および7C‐2は、図6に示す候補サイズ生成ユニット70のいくつかの実施形態を示している。
図7A‐1〜7A‐5に示す実施形態においては、候補サイズ生成ユニット70A‐1、70A‐2、70A‐3、70A‐4、70A‐5は、それぞれ、V、M、およびパレット最大サイズに加えて、デルタパレットプレディクタサイズ、およびパレットサイズにさらに基づいて、適応パレットプレディクタ30の候補サイズの集合(set)を生成するように構成されている。
図7A‐1に示す実施形態においては、候補サイズ生成ユニット70A‐1は、以下のように、適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成する。
Figure 2018137796
ここで、
はパレット最大サイズ以上、B以下であり、
B=M×パレット最大サイズ(つまり、適応パレットプレディクタの最大サイズの上限値であり、Mは本実施形態では整数である)
p=パレットサイズ+デルタパレットプレディクタサイズ
Figure 2018137796
Vは1以上、最大qp以下、かつVは正の整数であり、
Mは1以上、log(変換ユニット(TU)の最大サイズ)以下である。
図7A‐2に示す実施形態においては、候補サイズ生成ユニット70A‐2は、以下のように、適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成する。
Figure 2018137796
ここで、
はパレット最大サイズ以上、B以下であり、
B=M×パレット最大サイズ(つまり、適応パレットプレディクタの最大サイズの上限値であり、Mは本実施形態では整数である)
p=パレットサイズ+デルタパレットプレディクタサイズ
Figure 2018137796
Vは1以上、最大qp以下、かつVは正の整数であり、
Mは1以上、log(変換ユニット(TU)の最大サイズ)以下である。
図7A‐3に示す実施形態においては、候補サイズ生成ユニット70A‐3は、以下のように、適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成する。
Figure 2018137796
ここで、
はパレット最大サイズ以上、B以下であり、
B=M×パレット最大サイズ(つまり、適応パレットプレディクタの最大サイズの上限値であり、Mは本実施形態では整数である)
p=パレットサイズ+デルタパレットプレディクタサイズ
Figure 2018137796
Vは1以上、最大qp以下、かつVは正の整数であり、
Mは1以上、log(変換ユニット(TU)の最大サイズ)以下である。
図7A‐4に示す実施形態においては、候補サイズ生成ユニット70A‐4は、以下のように、適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成する。
Figure 2018137796
ここで、
はパレット最大サイズ以上、B以下であり、
B=M×パレット最大サイズ(つまり、適応パレットプレディクタの最大サイズの上限値であり、Mは本実形態では整数である)
p=パレットサイズ+デルタパレットプレディクタサイズ
Figure 2018137796
Vは1以上、最大qp以下、かつVは正の整数であり、
Mは1以上、log(変換ユニット(TU)の最大サイズ)以下である。
図7A‐5に示す実施形態においては、候補サイズ生成ユニット70A‐5は、以下のように、適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成する。
=p=パレットサイズ+デルタパレットプレディクタサイズ
ここで、
はパレット最大サイズ以上、B以下である。
B=M×パレット最大サイズ(つまり、適応パレットプレディクタの最大サイズの上限値であり、Mは本実形態では整数である)
Vは1以上、最大qp以下、かつVは正の整数であり、
Mは1以上、log(変換ユニット(TU)の最大サイズ)以下である。
つまり、候補サイズの集合Niは、i=0,1,...,V−1について、固定された出力である。
図7Bに示す実施形態においては、候補サイズ生成ユニット70Bは、V、M、およびパレット最大サイズに加えて、(パレットサイズにさらに基づくことなく)デルタパレットプレディクタサイズにさらに基づき、適応パレットプレディクタ30の候補サイズの集合を生成するように構成されている。
図7Bに示す実施形態においては、候補サイズ生成ユニット70Bは、以下のように、適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成する。
Figure 2018137796
ここで、
はパレット最大サイズ以上、B以下であり
B=M×パレット最大サイズ(つまり、適応パレットプレディクタの最大サイズの上限値であり、Mは本実施形態では整数である)
Vは1以上、最大qp以下、かつVは正の整数であり、
Mは1以上、log(変換ユニット(TU)の最大サイズ)以下である。
図7C‐1、7C‐2に示す実施形態においては、候補サイズ生成ユニット70C‐1、70C‐2は、それぞれ、デルタパレットプレディクタサイズ、またはパレットサイズにさらに基づくことなく、V、M、およびパレット最大サイズに基づき、適応パレットプレディクタ30の候補サイズの集合を生成するように構成されている。
図7C‐1に示す実施形態においては、候補サイズ生成ユニット70C‐1は、以下のように、適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成する。
Figure 2018137796
ここで、
はパレット最大サイズ以上、B以下であり、
B=M×パレット最大サイズ(つまり、適応パレットプレディクタの最大サイズの上限値であり、Mは本実施形態では整数である)
Vは1以上、最大qp以下、かつVは正の整数であり、
Mは1以上、log(変換ユニット(TU)の最大サイズ)以下である。
図7C‐2に示す実施形態においては、候補サイズ生成ユニット70C‐2は、以下のように、適応パレットプレディクタ30の候補サイズの集合Ni(i=0,1,...,V−1)を生成する。
はルックアップテーブルに基づいて決定される。
ここで、
はパレット最大サイズ以上、B以下である(つまり、適応パレットプレディクタの最大サイズの上限値であり、Mは本実施形態では整数である)
B=M×パレット最大サイズ
Vは1以上、最大qp以下、かつVは正の整数であり、
Mは1以上、log(変換ユニット(TU)の最大サイズ)以下である。
下記はV=4の場合のルックアップテーブルの例である。
Figure 2018137796
図8A〜8Eは、図6に示す適応パレットプレディクタサイズ選択ユニット80のいくつかの実施形態を示している。
図8Aおよび8Bに示す実施形態においては、適応パレットプレディクタサイズ選択ユニット80Aおよび80Bは、それぞれ、動画コンテンツの符号化品質に基づき、適応パレットプレディクタ30の最大サイズとして、適応パレットプレディクタ30の候補サイズの集合Niから、1つの候補サイズを適応的に選択するように構成されている。
ある実施形態においては、上記符号化品質は、上記動画コンテンツの符号化ユニットレベル、スライスレベル、フレームレベル、シンタックス(パラメータセット)解析レベル(例えば、SPS/PPS/VPS/SEI解析レベル)、シンタックス(パラメータセット)生成レベル(例えば、SPS/PPS/VPS/SEI生成レベル)、設定ファイル解析レベルまたは設定ファイル生成レベルの現行の量子化パラメータ、および最大量子化パラメータのうちの少なくとも1つに基づいて決定され、Vは上記最大量子化パラメータ(qp)以下である。
例えば、図8Aに示す実施形態においては、適応パレットプレディクタサイズ選択ユニット80Aは、以下のように、適応パレットプレディクタ30の候補サイズの集合Niから1つの候補サイズを適応的に選択する。
パレットプレディクタ最大サイズ=Ns
ここで、
qpは、(符号器内の)設定ファイル生成レベル、(符号器内の)設定ファイル解析レベル、(符号器内の)シンタックス(パラメータセット)生成レベル、(復号器内の)シンタックス(パラメータセット)解析レベル、フレームレベル、スライスレベル、または符号化ユニットレベルにおける量子化パラメータである。
Figure 2018137796
Figure 2018137796
Vは1以上、最大qp以下、かつVは正の整数である。
ある実施形態においては、上記符号化品質は、上記動画コンテンツの上記符号化ユニットレベル、上記スライスレベル、上記フレームレベル、上記シンタックス(パラメータセット)解析レベル(例えば、SPS/PPS/VPS/SEI解析レベル)、上記シンタックス(パラメータセット)生成レベル(例えば、SPS/PPS/VPS/SEIパラメータセット生成レベル)、上記設定ファイル解析レベル、または上記設定ファイル生成レベルの上記現行の量子化パラメータ(qp)であり、上記適応パレットプレディクタサイズ選択ユニットは、上記動画コンテンツの上記符号化ユニットレベル、上記スライスレベル、上記フレームレベル、上記シンタックス(パラメータセット)解析レベル、上記シンタックス(パラメータセット)生成レベル、上記設定ファイル解析レベル、または上記設定ファイル生成レベルの上記現行の量子化パラメータに対応するサイズを、ルックアップテーブルから選択することによって、上記適応パレットプレディクタの上記候補サイズの集合Niから上記1つの候補サイズを適応的に選択するように構成されている。
例えば、図8Bに示す実施形態においては、適応パレットプレディクタサイズ選択ユニット80Bは、以下のように、適応パレットプレディクタ30の候補サイズの集合Niから1つの候補サイズを適応的に選択する。
qpは、(符号器内の)設定ファイル生成レベル、(符号器内の)設定ファイル解析レベル、(符号器内の)シンタックス(パラメータセット)生成レベル、(復号器内の)シンタックス(パラメータセット)解析レベル、フレームレベル、スライスレベル、または符号化ユニットレベルにおける量子化パラメータである。
パレットプレディクタ最大サイズは、qpと候補サイズNiとを対応付けるルックアップテーブルによって決定される。
下記は、異なる範囲のqpと候補サイズN〜Nとを対応付ける、V=3の場合のルックアップテーブルの例である。
Figure 2018137796
図8C、8D、8Eに示す実施形態においては、適応パレットプレディクタサイズ選択ユニット80C、80D、80Eは、それぞれ、動画コンテンツの複雑性に基づき、適応パレットプレディクタ30の最大サイズとして、適応パレットプレディクタ30の候補サイズの集合Niから、1つの候補サイズを適応的に選択するように構成されている。
ある実施形態においては、上記符号化ユニットのサイズは、最小符号化ユニットのサイズと最大符号化ユニットのサイズとの間で設定され、上記動画コンテンツの上記複雑性は、上記動画コンテンツの上記符号化ユニットの上記サイズ、上記最大符号化ユニットのサイズ、上記最小符号化ユニットのサイズ、および上記動画コンテンツのフレームサイズのうちの少なくとも1つに基づいて決定される。
ある実施形態においては、上記動画コンテンツの上記複雑性は、上記動画コンテンツの上記符号化ユニットの上記サイズ、上記最大符号化ユニットのサイズ、および上記最小符号化ユニットのサイズに基づいて決定される。
例えば、図8Cに示す実施形態においては、適応パレットプレディクタサイズ選択ユニット80Cは、以下のように、適応パレットプレディクタ30の候補サイズの集合Niから1つの候補サイズを適応的に選択する。
パレットプレディクタ最大サイズ=Ns
ここで、
Figure 2018137796
Figure 2018137796
Vは1以上、最大qp以下、かつVは正の整数である。
ある実施形態においては、上記動画コンテンツの上記複雑性は、上記動画コンテンツの上記符号化ユニットの上記サイズであり、上記適応パレットプレディクタサイズ選択ユニットは、上記動画コンテンツの上記符号化ユニットの上記サイズに対応するサイズを、ルックアップテーブルから選択することによって、上記適応パレットプレディクタの上記候補サイズの集合Niから、上記1つの候補サイズを適応的に選択するように構成されている。
例えば、図8Dに示す実施形態においては、適応パレットプレディクタサイズ選択ユニット80Dは、以下のように、適応パレットプレディクタ30の候補サイズの集合Niから1つの候補サイズを適応的に選択する。
パレットプレディクタ最大サイズは、CUサイズと候補サイズNiとを対応付けるルックアップテーブルによって決定される。
下記は、異なるCUサイズと候補サイズN〜Nとを対応付ける、V=4の場合のルックアップテーブルの例である。
Figure 2018137796
ある実施形態においては、上記動画コンテンツの上記複雑性は、上記動画コンテンツのフレームサイズであり、上記適応パレットプレディクタサイズ選択ユニットは、上記動画コンテンツの上記フレームサイズに対応するサイズを、ルックアップテーブルから選択することによって、上記適応パレットプレディクタの上記候補サイズの集合Niから、上記1つの候補サイズを適応的に選択するように構成されている。
例えば、図8Eに示す実施形態においては、適応パレットプレディクタサイズ選択ユニット80Eは、以下のように、適応パレットプレディクタ30の候補サイズの集合Niから1つの候補サイズを適応的に選択する。
パレットプレディクタ最大サイズは、CUサイズと候補サイズNiとを対応付けるルックアップテーブルによって決定される。
下記は、異なるフレームサイズと候補サイズN〜Nとを対応付ける、V=3の場合のルックアップテーブルの例である。
Figure 2018137796
ある実施形態においては、符号器または復号器40は、上記動画コンテンツの事前に符号化、または復号された符号化ユニットの全てのパレットから得られる適応パレットプレディクタ30を用いて、上記パレット符号化モードにおいて、上記動画コンテンツの現行の符号化ユニットを符号化、または復号し、上記最大サイズ内に次の符号化ユニットに関する上記適応パレットプレディクタ30を制限しながら、上記現行の符号化ユニットに関する上記適応パレットプレディクタ30、および上記現行の符号化ユニットの上記パレットから、上記次の符号化ユニットに関する上記適応パレットプレディクタ30を更新するようにさらに構成されている。
例示するために、以下の例では、図7A‐1に示す候補サイズ生成ユニット70A‐1、および図8Aに示す適応パレットプレディクタサイズ選択ユニット80Aを使用して、適応パレットプレディクタの候補サイズの集合Ni(i=0,1,...,V−1)がどのように生成されるか、および適応パレットプレディクタの最大サイズが、どのように上記候補サイズの集合Niから選択されるかを説明する。
<例1>V=1、M=2、パレット最大サイズ=パレットサイズ=デルタパレットプレディクタサイズ=64、最大qp=51、qp=最大qp以下の任意の値
本例では、V=1であるから、候補サイズ生成工程において、候補サイズ生成ユニット70A‐1は、適応パレットプレディクタ30の1つの候補サイズ(つまりN)のみを生成することとなる。
Figure 2018137796
適応パレットプレディクタサイズ選択工程については、1つの候補サイズN(128)しか存在しないため、適応パレットプレディクタサイズ選択ユニット80Aは、適応パレットプレディクタ30の最大サイズとして、N(128)を選択することとなる。
さらに、以下のように、同様の結果が得られることとなる。
Figure 2018137796
Figure 2018137796
パレットプレディクタ最大サイズ=N=N
さらに、N(128)は、B(つまり、適応パレットプレディクタの最大サイズの上限値)=M×パレット最大サイズ(2×64)=128より大きくないため、N(128)は適応パレットプレディクタ30の最大サイズとして選択されることとなる。
<例2>V=3、M=2、パレット最大サイズ=パレットサイズ=64、デルタパレットプレディクタサイズ=32、最大qp=52、qp=15
本例では、V=3であるため、候補サイズ生成工程においては、候補サイズ生成ユニット70A‐1は、適応パレットプレディクタ30の3つの候補サイズ(つまり、N、N、N)を生成することとなる。
Figure 2018137796
Figure 2018137796
Figure 2018137796
適応パレットプレディクタサイズ選択工程については、適応パレットプレディクタサイズ選択ユニット80Aは、以下のように、適応パレットプレディクタ30の最大サイズとして、N(86)、N(96)、N(106)のうちの1つを選択することとなる。
Figure 2018137796
Figure 2018137796
パレットプレディクタ最大サイズ=Ns=N(106)
さらに、N(106)は、B(つまり、適応パレットプレディクタの最大サイズの上限値)=M×パレット最大サイズ(2×64)=128より大きくないため、N(106)はBを上限とせず、適応パレットプレディクタ30の最大サイズとして選択されることとなる。
本例では、上記選択工程は、上記の等式に全ての可能性のあるqpを適用する場合、以下のようなルックアップテーブル(LUT)で実行することも可能である。
Figure 2018137796
図9Aから9Dは、本発明の実施形態に係る、パレット符号化モードにおける、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程のいくつかの可能な構成を示している。
ある実施形態においては、適応パレットプレディクタの候補サイズの集合を生成するために、候補サイズ生成ユニットによって実行される候補サイズ生成工程は、以下のレベル(符号器についての設定ファイル解析レベル、符号器についての設定ファイル生成レベル、復号器についてのシンタックス(パラメータセット)解析レベル(例えば、SPS/PPS/VPS/SEI解析レベル)、符号器についてのシンタックス(パラメータセット)生成レベル(例えば、SPS/PPS/VPS/SEIパラメータセット生成レベル)、フレームレベル、スライスレベル、および符号化ユニットレベル)の1つにおいて実行可能である。そして、適応パレットプレディクタの候補サイズの集合から1つの候補サイズを適応的に選択するために、適応パレットプレディクタサイズ選択ユニットによって実行される適応パレットプレディクタサイズ選択工程は、上記のレベルのうちの1つにおいて実行することも可能である。
ある実施形態においては、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程は共に同じレベルで実行される。例えば、図9Aに示すように、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程は、共にSPS解析レベルにおいて実行される。図9Bに示すように、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程は、共にフレーム解析レベルにおいて実行される。同様に、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程は、共にスライスレベル、または符号化ユニットレベルにおいて実行可能である。
他の実施形態においては、候補サイズ生成工程、および適応パレットプレディクタサイズ選択工程は異なるレベルで実行される。例えば、図9Cに示すように、候補サイズ生成工程は、SPS解析レベルにおいて実行され、適応パレットプレディクタサイズ選択工程は、スライスレベルにおいて実行される。図9Dに示すように、候補サイズ生成工程は、SPS解析レベルにおいて実行され、適応パレットプレディクタサイズ選択工程は、符号化ユニットレベルにて実行される。
つまり、候補サイズ生成工程は、以下のレベル(符号器についての設定ファイル解析レベル、符号器についての設定ファイル生成レベル、復号器についてのシンタックス(パラメータセット)解析レベル(例えば、SPS/PPS/VPS/SEI解析レベル)、符号器についてのシンタックス(パラメータセット)生成レベル(例えば、SPS/PPS/VPS/SEIパラメータセット生成レベル)、フレームレベル、スライスレベル、および符号化ユニットレベル)の1つにおいて実行される。そして、適応パレットプレディクタサイズ選択工程は、候補サイズ生成工程と同じレベル、または下記の他のレベルで実行することができる。例えば、候補サイズ生成工程が、SPS解析レベルにて実行される場合、適応パレットプレディクタサイズ選択工程は、SPS解析レベル、フレームレベル、スライスレベル、または符号化ユニットレベルにおいて実行可能であり、候補サイズ生成工程が、SPSフレームレベルにて実行される場合、適応パレットプレディクタサイズ選択工程は、フレームレベル、スライスレベル、または符号化ユニットレベルにて実行可能であるが、SPS解析レベルはフレームレベルより高いレベルであるため、SPS解析レベルでは実行できない。
上述したように、符号化ユニットは、パレット符号化モードにて、動画コンテンツの複雑性、および/または動画コンテンツの符号化品質に基づいて、適応的な最大サイズを有する適応パレットプレディクタを使用して符号化/復号されるため、符号化効率が改善/向上することとなる。つまり、パレットプレディクタの的中率がより高くなり、パレットの索引エントリと、パレットプレディクタとを比較する確認時間が短縮され、メモリ/バッファサイズが小型化され、フラグ、および/または予測されない主要色値を伝送するためのオーバーヘッドが低減される。
本発明についてこれまで説明したが、本発明は多数の方法で変形してもよいことが明白であろう。そのような変形は、本発明の精神および範囲から逸脱するものと見なされるべきではなく、本技術の当業者に明らかであるように、全てのこのような変形は下記の請求項の範囲に含まれることが意図される。

Claims (18)

  1. 適応パレットプレディクタを用いて、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法であって、
    上記適応パレットプレディクタの最大サイズを適応的に決定する工程と、
    上記動画コンテンツの事前に符号化または復号された符号化ユニットの全てのパレットから得られる、上記適応パレットプレディクタを、上記適応的に決定する工程において決定された上記最大サイズ内に制限しながら、上記適応パレットプレディクタを用いて、上記パレット符号化モードにおいて、上記動画コンテンツの上記符号化ユニットを符号化、または復号する工程とを含み、
    上記符号化ユニットのパレットサイズは、パレット最大サイズ以下であり、
    上記適応的に決定する工程は、
    少なくともV、M、および上記パレット最大サイズに基づいて、上記適応パレットプレディクタの候補サイズの集合Ni(i=0,1,...,V−1)を生成する工程を含み、上記Vは1以上の整数、上記Mは1以上、上記Niは上記パレット最大サイズ以上であり、上記Niは、NiがMおよびパレット最大サイズに基づいて設定される上限値より大きい場合に、該上限値によって上限が定められていることを特徴とする方法。
  2. 上記適応的に決定する工程は、さらに、
    上記適応パレットプレディクタの上記候補サイズの集合Niから、上記適応パレットプレディクタの最大サイズとして、1つの候補サイズを適応的に選択する工程を含んでいることを特徴とする、請求項1に記載の方法。
  3. 上記Mは整数であり、上記上限値は、上記Mと上記パレット最大サイズとの積の値に設定されることを特徴とする、請求項1に記載の方法。
  4. 上記Vは1であり、上記Mは2であり、上記パレット最大サイズは64であり、上記適応パレットプレディクタの上記最大サイズは128であることを特徴とする、請求項1に記載の方法。
  5. 上記適応パレットプレディクタの上記候補サイズの集合を生成する上記工程は、デルタパレットプレディクタサイズおよび上記パレットサイズにさらに基づくことを特徴とする、請求項1に記載の方法。
  6. 上記符号化ユニットのサイズは、最小符号化ユニットのサイズと最大符号化ユニットのサイズとの間で設定され、
    上記適応パレットプレディクタの上記候補サイズの集合Niから上記1つの候補サイズを適応的に選択する上記工程は、上記動画コンテンツの上記符号化ユニットの上記サイズ、または上記動画コンテンツのフレームサイズに対応するサイズを、ルックアップテーブルから選択することを特徴とする、請求項2に記載の方法。
  7. 上記適応パレットプレディクタの上記候補サイズの集合Niから上記1つの候補サイズを適応的に選択する上記工程は、上記動画コンテンツの符号化ユニットレベル、スライスレベル、フレームレベル、シンタックス(パラメータセット)解析レベル、シンタックス(パラメータセット)生成レベル、設定ファイル解析レベル、または設定ファイル生成レベルの現行の量子化パラメータに対応するサイズを、ルックアップテーブルから選択することを含むことを特徴とする、請求項2に記載の方法。
  8. 上記適応パレットプレディクタの上記候補サイズの集合を生成する上記工程は、設定ファイル生成レベル、設定ファイル解析レベル、シンタックス(パラメータセット)生成レベル、シンタックス(パラメータセット)解析レベル、フレームレベル、スライスレベル、符号化ユニットレベルのうちの1つで行われ、
    上記適応パレットプレディクタの上記候補サイズの集合Niから上記1つの候補サイズを適応的に選択する上記工程は、上記設定ファイル生成レベル、上記設定ファイル解析レベル、上記シンタックス(パラメータセット)生成レベル、上記シンタックス(パラメータセット)解析レベル、上記フレームレベル、上記スライスレベル、上記符号化ユニットレベルのうち上記候補サイズの集合を生成する上記工程で用いられるものと同一のものあるいは別のもので行われることを特徴とする、請求項2に記載の方法。
  9. 上記適応パレットプレディクタを上記最大サイズ内に制限しながら、上記適応パレットプレディクタを用いて、上記パレット符号化モードにおいて、上記動画コンテンツの上記符号化ユニットを符号化または復号する上記工程は、
    上記動画コンテンツの事前に符号化、または復号された符号化ユニットの全てのパレットから得られる上記適応パレットプレディクタを用いて、上記パレット符号化モードにおいて、上記動画コンテンツの現行の符号化ユニットを符号化、または復号する工程と、
    上記最大サイズ内に次の符号化ユニットに関する上記適応パレットプレディクタを制限しながら、上記現行の符号化ユニットに関する上記適応パレットプレディクタ、および上記現行の符号化ユニットの上記パレットから、上記次の符号化ユニットに関する上記適応パレットプレディクタを更新する工程とを含むことを特徴とする、請求項1に記載の方法。
  10. 適応パレットプレディクタを用いて、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化、または復号する装置であって、上記装置は、
    上記適応パレットプレディクタを収容するメモリ装置と、
    上記適応パレットプレディクタの最大サイズを適応的に決定するように構成された適応パレットプレディクタサイズ決定ユニットと、
    上記動画コンテンツの事前に符号化、または復号された符号化ユニットの全てのパレットから得られる上記適応パレットプレディクタを、上記適応パレットプレディクタサイズ決定ユニットによって提供された上記最大サイズ内に制限しながら、上記メモリ装置に収容された上記適応パレットプレディクタを用いて、上記パレット符号化モードにおいて、上記動画コンテンツの上記符号化ユニットを符号化、または復号するように構成された符号器、または復号器とを備え、
    上記符号化ユニットのパレットサイズは、パレット最大サイズ以下であり、
    上記適応パレットプレディクタサイズ決定ユニットは、
    少なくともV、M、および上記パレット最大サイズに基づいて、上記適応パレットプレディクタの候補サイズの集合Ni(i=0,1,...,V−1)を生成するように構成された候補サイズ生成ユニットを含み、上記Vは1以上の整数、上記Mは1以上、上記Niは上記パレット最大サイズ以上であり、上記Niは、NiがMおよびパレット最大サイズに基づいて設定される上限値より大きい場合に、該上限値によって上限が定められていることを特徴とする装置。
  11. 上記適応パレットプレディクタサイズ決定ユニットは、さらに、
    上記適応パレットプレディクタの上記候補サイズの集合Niから、上記適応パレットプレディクタの上記最大サイズとして、1つの候補サイズを適応的に選択するように構成された適応パレットプレディクタサイズ選択ユニットを含んでいることを特徴とする、請求項10に記載の装置。
  12. 上記Mは整数であり、上記上限値は、上記Mと上記パレット最大サイズとの積の値に設定されることを特徴とする、請求項10に記載の装置。
  13. 上記Vは1であり、上記Mは2であり、上記パレット最大サイズは64であり、上記適応パレットプレディクタの上記最大サイズは128であることを特徴とする、請求項10に記載の装置。
  14. 上記候補サイズ生成ユニットは、デルタパレットプレディクタサイズおよび上記パレットサイズにさらに基づいて、上記適応パレットプレディクタの上記候補サイズの集合を生成するように構成されていることを特徴とする、請求項10に記載の装置。
  15. 上記符号化ユニットのサイズは、最小符号化ユニットのサイズと最大符号化ユニットのサイズとの間で設定され、
    上記適応パレットプレディクタサイズ選択ユニットは、上記動画コンテンツの上記符号化ユニットの上記サイズ、または上記動画コンテンツのフレームサイズに対応するサイズを、ルックアップテーブルから選択することによって、上記適応パレットプレディクタの上記候補サイズの集合Niから、上記1つの候補サイズを適応的に選択するように構成されていることを特徴とする、請求項11に記載の装置。
  16. 上記適応パレットプレディクタサイズ選択ユニットは、上記動画コンテンツの符号化ユニットレベル、スライスレベル、フレームレベル、シンタックス(パラメータセット)解析レベル、シンタックス(パラメータセット)生成レベル、設定ファイル解析レベル、または設定ファイル生成レベルの現行の量子化パラメータに対応するサイズを、ルックアップテーブルから選択することによって、上記適応パレットプレディクタの上記候補サイズの集合Niから上記1つの候補サイズを適応的に選択するように構成されていることを特徴とする、請求項11に記載の装置。
  17. 上記候補サイズ生成ユニットは、設定ファイル生成レベル、設定ファイル解析レベル、シンタックス(パラメータセット)生成レベル、シンタックス(パラメータセット)解析レベル、フレームレベル、スライスレベル、符号化ユニットレベルのうちの1つにて、上記適応パレットプレディクタの上記候補サイズの集合Niを生成するように構成されており、
    上記適応パレットプレディクタサイズ選択ユニットは、上記設定ファイル生成レベル、上記設定ファイル解析レベル、上記シンタックス(パラメータセット)生成レベル、上記シンタックス(パラメータセット)解析レベル、上記フレームレベル、上記スライスレベル、上記符号化ユニットレベルのうち上記候補サイズの集合を生成する上記工程で用いられるものと同一のものあるいは別のもので、上記適応パレットプレディクタの上記候補サイズの集合Niから上記1つの候補サイズを適応的に選択するように構成されていることを特徴とする、請求項11に記載の装置。
  18. 上記符号器または復号器は、
    上記動画コンテンツの事前に符号化、または復号された符号化ユニットの全てのパレットから得られる上記適応パレットプレディクタを用いて、上記パレット符号化モードにおいて、上記動画コンテンツの現行の符号化ユニットを符号化、または復号し、
    上記最大サイズ内に次の符号化ユニットに関する上記適応パレットプレディクタを制限しながら、上記現行の符号化ユニットに関する上記適応パレットプレディクタ、および上記現行の符号化ユニットの上記パレットから、上記次の符号化ユニットに関する上記適応パレットプレディクタを更新するようにさらに構成されていることを特徴とする、請求項10に記載の装置。
JP2018075717A 2015-06-08 2018-04-10 適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置 Pending JP2018137796A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562172256P 2015-06-08 2015-06-08
US62/172,256 2015-06-08

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016114199A Division JP2017022696A (ja) 2015-06-08 2016-06-08 適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置

Publications (1)

Publication Number Publication Date
JP2018137796A true JP2018137796A (ja) 2018-08-30

Family

ID=56117547

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016114199A Pending JP2017022696A (ja) 2015-06-08 2016-06-08 適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置
JP2018075717A Pending JP2018137796A (ja) 2015-06-08 2018-04-10 適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016114199A Pending JP2017022696A (ja) 2015-06-08 2016-06-08 適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置

Country Status (5)

Country Link
US (2) US20160360205A1 (ja)
EP (1) EP3104607A1 (ja)
JP (2) JP2017022696A (ja)
CN (1) CN106254871B (ja)
TW (1) TWI574551B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2648634C1 (ru) * 2014-09-26 2018-03-26 Долби Лабораторис Лайсэнзин Корпорейшн Кодирование и декодирование перцепционно квантованного видеосодержимого
US9807402B2 (en) * 2014-10-06 2017-10-31 Industrial Technology Research Institute Method of color palette coding applicable to electronic device and electronic device using the same
US10390020B2 (en) * 2015-06-08 2019-08-20 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
JP6148785B1 (ja) * 2016-12-26 2017-06-14 株式会社Cygames 情報処理システム、情報処理装置及びプログラム
US11012715B2 (en) * 2018-02-08 2021-05-18 Qualcomm Incorporated Intra block copy for video coding
CN111083484B (zh) 2018-10-22 2024-06-28 北京字节跳动网络技术有限公司 基于子块的预测
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
CN111436227B (zh) 2018-11-12 2024-03-29 北京字节跳动网络技术有限公司 在视频处理中使用组合帧间-帧内预测
WO2020103852A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Difference calculation based on patial position
WO2020103877A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Coding and decoding of video coding modes
WO2020108574A1 (en) * 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Improving method for transform or quantization bypass mode
KR102572355B1 (ko) 2018-11-30 2023-08-30 텐센트 아메리카 엘엘씨 비디오 코딩을 위한 방법 및 장치
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
WO2020164630A1 (en) * 2019-02-17 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Signaling of intra block copy merge candidates
KR102635518B1 (ko) 2019-03-06 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 변환된 단예측 후보의 사용
JP7177952B2 (ja) * 2019-04-25 2022-11-24 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド パレットモードを用いたビデオコーディングの方法および装置
CN114041287B (zh) * 2019-06-21 2024-10-22 北京字节跳动网络技术有限公司 自适应环内颜色空间转换和其他视频编解码工具的选择性使用
US11240507B2 (en) * 2019-09-24 2022-02-01 Qualcomm Incorporated Simplified palette predictor update for video coding
CN117336478A (zh) 2019-11-07 2024-01-02 抖音视界有限公司 视频编解码的自适应环内颜色空间变换的量化特性
US12206901B2 (en) * 2019-12-20 2025-01-21 Sony Group Corporation Image processing device and image processing method
EP4082201A4 (en) * 2019-12-30 2023-03-29 Alibaba Group Holding Limited METHOD AND APPARATUS FOR ENCODING VIDEO DATA IN PALETTE MODE
CN111327950B (zh) * 2020-03-05 2021-08-06 腾讯科技(深圳)有限公司 一种视频转码方法及装置
CN113784129B (zh) * 2020-06-10 2024-11-22 Oppo广东移动通信有限公司 点云质量评估方法、编码器、解码器及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016501A1 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Palette prediction in palette-based video coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634405B2 (en) 2005-01-24 2009-12-15 Microsoft Corporation Palette-based classifying and synthesizing of auditory information
AR064274A1 (es) 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
TWI440228B (zh) * 2011-09-29 2014-06-01 光頡科技股份有限公司 Light emitting diode package structure and manufacturing method thereof
US9654777B2 (en) 2013-04-05 2017-05-16 Qualcomm Incorporated Determining palette indices in palette-based video coding
US9609336B2 (en) * 2013-04-16 2017-03-28 Fastvdo Llc Adaptive coding, transmission and efficient display of multimedia (acted)
CN104301737B (zh) * 2013-07-15 2017-11-17 华为技术有限公司 目标图像块的解码方法和编码方法以及解码器和编码器
US9607574B2 (en) 2013-08-09 2017-03-28 Apple Inc. Video data compression format
US20150110181A1 (en) * 2013-10-18 2015-04-23 Samsung Electronics Co., Ltd. Methods for palette prediction and intra block copy padding
PL3117617T3 (pl) 2014-03-14 2022-08-22 Vid Scale, Inc. Kodowanie palety przeznaczone do kodowania zawartości ekranu
US10362336B2 (en) 2014-03-25 2019-07-23 Qualcomm Incorporated Palette predictor signaling with run length code for video coding
US10750198B2 (en) * 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
CN105323583B (zh) 2014-06-13 2019-11-15 财团法人工业技术研究院 编码方法、解码方法、编解码系统、编码器与解码器
US20150373327A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
US10687064B2 (en) 2014-08-04 2020-06-16 Qualcomm Incorporated Palette mode encoding and decoding with inferred pixel scan order
BR112017004886A2 (pt) * 2014-09-12 2017-12-05 Vid Scale Inc dispositivo de codificação de vídeo e método de codificação de vídeo
CN105491379A (zh) 2014-10-01 2016-04-13 财团法人工业技术研究院 解码器、编码器、解码方法、编码方法与编解码系统
US9877029B2 (en) 2014-10-07 2018-01-23 Qualcomm Incorporated Palette index binarization for palette-based video coding
US9883187B2 (en) * 2015-03-06 2018-01-30 Qualcomm Incorporated Fast video encoding method with block partitioning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016501A1 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Palette prediction in palette-based video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RAJAN JOSHI ET AL.: "High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 3", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) 20TH MEETING: GENEVA, vol. JCTVC-T1005-v2.docx, JPN6019009829, 5 April 2015 (2015-04-05), pages 4 - 3, ISSN: 0004475483 *
YUWEN HE ET AL.: "Text specification for palette mode used as a basis in screen content coding core experiment 3 (SCCE", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) 18TH MEETING: SAPPORO, vol. JCTVC-palette-WD-SCCE3-base_Test-A.5.doc, JPN6019009831, 9 July 2014 (2014-07-09), ISSN: 0004475484 *

Also Published As

Publication number Publication date
US20160360207A1 (en) 2016-12-08
JP2017022696A (ja) 2017-01-26
CN106254871B (zh) 2020-08-18
TWI574551B (zh) 2017-03-11
TW201709730A (zh) 2017-03-01
US10225556B2 (en) 2019-03-05
US20160360205A1 (en) 2016-12-08
EP3104607A1 (en) 2016-12-14
CN106254871A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
JP2018137796A (ja) 適応パレットプレディクタを用いる、パレット符号化モードにおいて、動画コンテンツの符号化ユニットを符号化または復号する方法および装置
JP6465890B2 (ja) 画素ブロックの符号化または復号の方法および装置
US10368092B2 (en) Encoder-side decisions for block flipping and skip mode in intra block copy prediction
CN110771171B (zh) 选择性混合用于视频压缩中进行熵代码化的概率分布
US8885711B2 (en) Image encoding/decoding method and device
JP6537511B2 (ja) Hevcにおける改良型パレットモード
CN110169068B (zh) Dc系数符号代码化方案
WO2020253828A1 (zh) 一种编解码方法、装置及存储介质
KR20200054934A (ko) 변환 계수 스캔 방법 및 그 장치
JP2005348390A (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2010103969A (ja) 画像復号方法、画像復号装置、画像符号化方法及び画像符号化装置
US10652541B2 (en) Method and device for encoding video data
KR20210044760A (ko) 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
KR20180075466A (ko) 영상 변환 부호화/복호화 방법 및 장치
JP7402280B2 (ja) 動画像復号装置、動画像復号方法及びプログラム
JP2019520001A (ja) 簡単なローカル予測子を用いる改善された重要度フラグ符号化の方法及び装置
US20190191162A1 (en) Method and device for encoding video data
JP2018078409A (ja) イントラ予測器、画像符号化装置、画像復号装置およびプログラム
WO2012118358A2 (ko) 변환 계수 스캔 방법 및 그 장치
WO2012118359A2 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
JP6917718B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
CN116897538A (zh) 基于梯度的逐像素图像空间预测

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210330