TW201904285A - 在視訊寫碼中之增強的解塊濾波設計 - Google Patents
在視訊寫碼中之增強的解塊濾波設計 Download PDFInfo
- Publication number
- TW201904285A TW201904285A TW107109473A TW107109473A TW201904285A TW 201904285 A TW201904285 A TW 201904285A TW 107109473 A TW107109473 A TW 107109473A TW 107109473 A TW107109473 A TW 107109473A TW 201904285 A TW201904285 A TW 201904285A
- Authority
- TW
- Taiwan
- Prior art keywords
- current block
- mode
- block
- pixels
- video
- Prior art date
Links
- 238000001914 filtration Methods 0.000 title claims description 92
- 238000013461 design Methods 0.000 title description 7
- 238000000638 solvent extraction Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 103
- 238000012545 processing Methods 0.000 claims description 87
- 230000011218 segmentation Effects 0.000 claims description 34
- 238000005192 partition Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 84
- 239000000523 sample Substances 0.000 description 79
- 241000023320 Luma <angiosperm> Species 0.000 description 54
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 54
- 238000013139 quantization Methods 0.000 description 36
- 230000008859 change Effects 0.000 description 28
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000013500 data storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 7
- 230000011664 signaling Effects 0.000 description 6
- 101150114515 CTBS gene Proteins 0.000 description 5
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 4
- 101100277553 Caenorhabditis elegans dep-1 gene Proteins 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 239000004381 Choline salt Substances 0.000 description 2
- 241000985610 Forpus Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- AVVWPBAENSWJCB-DGPNFKTASA-N beta-D-galactofuranose Chemical compound OC[C@@H](O)[C@@H]1O[C@@H](O)[C@H](O)[C@H]1O AVVWPBAENSWJCB-DGPNFKTASA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100379079 Emericella variicolor andA gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一種視訊編碼器重建一當前區塊之像素,且將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素。此外,該視訊編碼器基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值。該視訊編碼器基於該等所計算失真值而選擇用於該當前區塊之一編碼模式。用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。
Description
本發明係關於經組態以執行視訊寫碼之計算器件。
數位視訊能力可併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話——所謂的「智慧型電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、進階視訊寫碼(AVC)、ITU-T H.265、高效率視訊寫碼(HEVC)標準及此等標準之延伸所定義之標準中所描述的視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊壓縮技術可執行空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼,可將視訊截塊(例如,視訊圖框或視訊圖框之部分)分割成視訊區塊,諸如寫碼樹型區塊及寫碼區塊。空間或時間預測會產生用於待寫碼區塊之預測性區塊。殘餘資料表示原始待寫碼區塊與預測性區塊之間的像素差。為了進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生殘餘變換係數,殘餘變換係數接著可被量化。
一般而言,本發明描述與視訊編解碼器中之解塊濾波器相關的技術。舉例而言,提議除了僅水平及垂直邊緣以外之多邊緣解塊濾波、用於一個變換單元內之內部邊界之解塊濾波器、在其他迴路內濾波方法之假定下用於解塊濾波器中之參數設定。本發明之技術可應用於諸如高效率視訊寫碼(HEVC)之現有視訊編解碼器,或為任何未來視訊寫碼標準中之高效寫碼工具。 在一個實例中,本發明描述一種編碼視訊資料之方法,該方法包含:重建一當前區塊之像素;將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素;基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值;及基於該等所計算失真值而選擇用於該當前區塊之一編碼模式,用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。 在另一實例中,本發明描述一種用於編碼視訊資料之裝置,該裝置包含:一或多個儲存媒體,其經組態以儲存該視訊資料;及一或多個處理電路,其耦接至該一或多個儲存媒體,該一或多個處理電路經組態以進行以下操作:重建該視訊資料之一當前區塊之像素;將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素;基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值;及基於該等所計算失真值而選擇用於該當前區塊之一編碼模式,用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。 在另一實例中,本發明描述一種用於編碼視訊資料之裝置,該裝置包含:用於重建一當前區塊之像素的構件;用於將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素的構件;用於基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值的構件;及用於基於該等所計算失真值而選擇用於該當前區塊之一編碼模式的構件,用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。 在另一實例中,本發明描述一種儲存指令之電腦可讀儲存媒體,該等指令在執行時致使一或多個處理器進行以下操作:重建一當前區塊之像素;將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素;基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值;及基於該等所計算失真值而選擇用於該當前區塊之一編碼模式,用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。 下文在隨附圖式及實施方式中闡述本發明之一或多個態樣之細節。本發明中所描述之技術之其他特徵、目標及優點將自實施方式、圖式及申請專利範圍顯而易見。
本申請案主張2017年3月20日申請之美國臨時專利申請案第62/474,013號及2017年5月11日申請之美國臨時專利申請案第62/504,824號的權利,該等申請案中之每一者之全部內容以引用的方式併入本文中。 視訊寫碼器(例如,視訊編碼器或視訊解碼器)可使用解塊濾波器以藉由縮減在區塊之間的邊界處出現之區塊假影之出現而改良經解碼圖像之視覺品質。舉例而言,視訊寫碼器可在兩個預測單元(PU)、兩個變換單元(TU)或兩個寫碼單元(CU)之間的邊界處使用解塊濾波器。在高效率視訊寫碼(HEVC)及其他視訊寫碼標準中,視訊寫碼器在寫碼迴路外部應用解塊濾波器。因此,經濾波像素不用於編碼或解碼後續區塊或圖像。然而,視訊解碼器可輸出包括經濾波像素之圖像以供顯示。本發明可互換地使用術語像素及樣本。 視訊編碼器可使用各種寫碼模式來編碼區塊,且接著可選擇區塊之所得經編碼表示中之一者以供包括於位元串流中。舉例而言,視訊編碼器可根據複數個分割模式將寫碼樹型單元(CTU)分割成CU,且可針對該等分割模式中之每一者產生CTU之經編碼表示。在此實例中,視訊編碼器接著可判定CTU之經編碼表示中之哪一者具有最佳速率-失真成本。在另一實例中,視訊寫碼器可使用框內預測且使用框間預測來編碼CU。在此實例中,視訊編碼器接著可判定使用框內或框間預測而編碼之版本是否具有最佳速率-失真成本。區塊之速率-失真成本之失真分量為區塊之像素之原始值與同一區塊之經解碼像素之值之間的差的度量。 因為視訊寫碼器在寫碼迴路外部(例如,在重建迴路中)應用解塊濾波器,所以當視訊編碼器正選擇用於區塊之分割模式及/或寫碼單元模式(例如,框內或框間預測模式、仿射預測模式、平移運動預測模式,或其他類型之CU層級寫碼模式)時,區塊之經濾波像素之值不可用於供視訊編碼器使用。舉例而言,視訊編碼器可使用速率-失真成本以選擇用於區塊之分割模式及/或寫碼單元模式。在此實例中,視訊編碼器不會基於經濾波像素而判定區塊之速率-失真成本之失真分量。更確切而言,視訊編碼器基於未經濾波像素而判定區塊之速率-失真成本之失真分量。仿射預測模式係基於參考區塊之旋轉及/或縮放。平移運動預測模式為在無旋轉或縮放之情況下基於參考區塊之平移(亦即,空間位移)的運動預測模式。 根據本發明之一或多種技術,視訊編碼器重建當前區塊之像素。另外,視訊編碼器將解塊濾波器應用於當前區塊之經重建像素以導出當前區塊之經解塊濾波重建像素。此外,視訊編碼器可基於當前區塊之經解塊濾波重建像素及當前區塊之原始像素之值而計算失真值。視訊編碼器可基於所計算失真值而選擇用於當前區塊之編碼模式。用於當前區塊之編碼模式可為用於當前區塊之分割模式或CU模式。分割模式可為用以將CTU分割成CU之模式。使用經解塊濾波重建像素可改良視訊編碼器選擇編碼模式的準確度。 圖1為繪示可利用本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1所展示,系統10包括源器件12,源器件12提供將在稍後時間由目的地器件14解碼之經編碼視訊資料。詳言之,源器件12經由電腦可讀媒體16將經編碼視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中之任一者,包括桌上型電腦、筆記型(亦即,膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件或其類似者。在一些狀況下,源器件12及目的地器件14經裝備以用於無線通信。因此,源器件12及目的地器件14可為無線通信器件。本發明中所描述之技術可應用於無線及/或有線應用。源器件12為實例視訊編碼器件(亦即,用於編碼視訊資料之器件)。目的地器件14為實例視訊解碼器件(亦即,用於解碼視訊資料之器件)。 圖1之所繪示系統10僅僅為一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件執行。在一些實例中,該等技術可由視訊編碼器/解碼器——通常被稱作「編解碼器」——執行。源器件12及目的地器件14為源器件12產生經寫碼視訊資料以供傳輸至目的地器件14的此等寫碼器件之實例。在一些實例中,源器件12及目的地器件14以實質上對稱方式而操作,使得源器件12及目的地器件14中之每一者包括視訊編碼及解碼組件。因此,系統10可支援源器件12與目的地器件14之間的單向或雙向視訊傳輸,例如,用於視訊串流、視訊播放、視訊廣播或視訊電話。 在圖1之實例中,源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20,及輸出介面22。目的地器件14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30,及顯示器件32。在其他實例中,源器件12及目的地器件14包括其他組件或配置。舉例而言,源器件12可自諸如外部攝影機之外部視訊源接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而非包括整合顯示器件。 視訊源18為視訊資料源。視訊資料可包含一系列圖像。視訊源18可包括視訊捕捉器件,諸如視訊攝影機、含有經先前捕捉視訊之視訊檔案庫,及/或用以自視訊內容提供者接收視訊資料之視訊饋送介面。在一些實例中,視訊源18產生基於電腦圖形之視訊資料,或實況視訊、存檔視訊及電腦產生視訊之組合。儲存媒體19可經組態以儲存視訊資料。在每一狀況下,經捕捉、經預捕捉或電腦產生視訊可由視訊編碼器20編碼。 輸出介面22可將經編碼視訊資訊輸出至電腦可讀媒體16。輸出介面22可包含各種類型之組件或器件。舉例而言,輸出介面22可包含無線傳輸器、數據機、有線網路連接組件(例如,乙太網路卡),或另一實體組件。在輸出介面22包含無線傳輸器之實例中,輸出介面22可經組態以傳輸根據諸如4G、4G-LTE、進階LTE、5G及其類似者之蜂巢式通信標準而調變的資料,諸如經編碼視訊資料。在輸出介面22包含無線傳輸器之一些實例中,輸出介面22可經組態以傳輸根據諸如IEEE 802.11規格、IEEE 802.15規格(例如,ZigBee ™)、Bluetooth ™標準及其類似者之其他無線標準而調變的資料,諸如經編碼視訊資料。在一些實例中,輸出介面22之電路系統整合至源器件12之視訊編碼器20及/或其他組件之電路系統中。舉例而言,視訊編碼器20及輸出介面22可為系統單晶片(system on a chip;SoC)之部分。SoC亦可包括其他組件,諸如一般用途微處理器、圖形處理單元等等。 目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一些實例中,電腦可讀媒體16包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路——諸如區域網路、廣域網路,或諸如網際網路之全域網路——之部分。通信媒體可包括路由器、交換器、基地台,或可用於促進自源器件12至目的地器件14之通信之任何其他設備。目的地器件14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。 在一些實例中,輸出介面22可將諸如經編碼視訊資料之資料輸出至中間器件,諸如儲存器件。相似地,目的地器件14之輸入介面26可自中間器件接收經編碼資料。中間器件可包括多種分散式或本機存取資料儲存媒體中之任一者,諸如硬碟機、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體,或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在一些實例中,中間器件對應於檔案伺服器。實例檔案伺服器包括網頁伺服器、FTP伺服器、網路附接儲存(NAS)器件,或本機磁碟機。 目的地器件14可經由包括網際網路連接之任何標準資料連接而存取經編碼視訊資料。此可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等等)或兩者之組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。 電腦可讀媒體16可包括:暫時性媒體,諸如無線廣播或有線網路傳輸;或儲存媒體(亦即,非暫時性儲存媒體),諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟,或其他電腦可讀媒體。在一些實例中,網路伺服器(未圖示)可例如經由網路傳輸而自源器件12接收經編碼視訊資料且將經編碼視訊資料提供至目的地器件14。相似地,諸如光碟衝壓設施之媒體生產設施之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,在各種實例中,電腦可讀媒體16可被理解為包括各種形式之一或多個電腦可讀媒體。 目的地器件14之輸入介面26自電腦可讀媒體16接收資料。輸入介面26可包含各種類型之組件或器件。舉例而言,輸入介面26可包含無線接收器、數據機、有線網路連接組件(例如,乙太網路卡),或另一實體組件。在輸入介面26包含無線接收器之實例中,輸入介面26可經組態以接收根據諸如4G、4G-LTE、進階LTE、5G及其類似者之蜂巢式通信標準而調變的資料,諸如位元串流。在輸入介面26包含無線接收器之一些實例中,輸入介面26可經組態以接收根據諸如IEEE 802.11規格、IEEE 802.15規格(例如,ZigBee ™)、Bluetooth ™標準及其類似者之其他無線標準而調變的資料,諸如位元串流。在一些實例中,輸入介面26之電路系統可整合至目的地器件14之視訊解碼器30及/或其他組件之電路系統中。舉例而言,視訊解碼器30及輸入介面26可為SoC之部分。SoC亦可包括其他組件,諸如一般用途微處理器、圖形處理單元等等。 儲存媒體28可經組態以儲存經編碼視訊資料,諸如由輸入介面26接收之經編碼視訊資料(例如,位元串流)。顯示器件32向使用者顯示經解碼視訊資料。顯示器件32可包含多種顯示器件中之任一者,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器,或另一類型之顯示器件。 視訊編碼器20及視訊解碼器30各自可被實施為多種合適電路系統中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當技術部分地以軟體予以實施時,器件可將用於軟體之指令儲存於合適非暫時性電腦可讀媒體中,且可在硬體中使用一或多個處理器來執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,一或多個編碼器或解碼器中之任一者可被整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。 在一些實例中,視訊編碼器20及視訊解碼器30根據視訊寫碼標準或規格而編碼及解碼視訊資料。舉例而言,視訊編碼器20及視訊解碼器30可根據ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦被稱為ISO/IEC MPEG-4 AVC)——包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)延伸——或另一視訊寫碼標準或規格而編碼及解碼視訊資料。在一些實例中,視訊編碼器20及視訊解碼器30根據被稱為ITU-T H.265之高效率視訊寫碼(HEVC)、其範圍及螢幕內容寫碼延伸、其3D視訊寫碼延伸(3D-HEVC)、其多視圖延伸(MV-HEVC)或其可調式延伸(SHVC)而編碼及解碼視訊資料。在下文中被稱作HEVC WD之HEVC規格之草案可得自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/ wg11/JCTVC-N1003-v1.zip。 ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現在正研究針對將壓縮能力顯著地超過當前HEVC標準(包括其當前延伸及針對螢幕內容寫碼及高動態範圍寫碼之近期延伸)之壓縮能力之未來視訊寫碼技術標準化的潛在需要。該等團體正在被稱為聯合視訊探索小組(JVET)之聯合合作工作中共同致力於此探索活動,以評估由其在此領域中之專家提議的壓縮技術設計。JVET第一次會議在2015年10月19日至21日期間舉行。2017年1月12日至20日,瑞士日內瓦,ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊探索小組(JVET),第5次會議:文件JVET-E1001 (在下文中為JVET-E1001),Chen等人之「Algorithm description of Joint Exploration Test Model 5 (JEM5)」描述聯合探索測試模型5之演算法。 本發明大體上可指「傳信」某些資訊,諸如語法元素。術語「傳信」通常可指用以解碼經編碼視訊資料之語法元素及/或其他資料之傳達。此傳達可即時地或近即時地發生。替代地,此傳達可遍及一時間跨度而發生,諸如可能在編碼時間在位元串流中將語法元素儲存至電腦可讀儲存媒體時發生,該等語法元素接著可由解碼器件在儲存至此媒體之後的任何時間擷取。 在HEVC及其他視訊寫碼規格中,視訊資料包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括一或多個樣本陣列。圖像之每一各別樣本陣列可包含用於各別色彩分量之樣本陣列。圖像可包括三個樣本陣列,被表示為SL
、SCb
及SCr
。SL
為明度樣本之二維陣列(亦即,區塊)。SCb
為Cb色度樣本之二維陣列。SCr
為Cr色度樣本之二維陣列。在其他情況下,圖像可為單色的,且可僅包括明度樣本陣列。 作為編碼視訊資料之部分,視訊編碼器20可編碼視訊資料之圖像。換言之,視訊編碼器20可產生視訊資料之圖像之經編碼表示。圖像之經編碼表示可在本文中被稱作「經寫碼圖像」或「經編碼圖像」。 為了產生圖像之經編碼表示,視訊編碼器20可編碼圖像之區塊。視訊編碼器20可在位元串流中包括視訊區塊之經編碼表示。在一些實例中,為了編碼圖像之區塊,視訊編碼器20執行框內預測或框間預測以產生一或多個預測性區塊。另外,視訊編碼器20可產生用於區塊之殘餘資料。殘餘區塊包含殘餘樣本。每一殘餘樣本可指示所產生預測性區塊中之一者之樣本與區塊之對應樣本之間的差。視訊編碼器20可將變換應用於殘餘樣本之區塊以產生變換係數。此外,視訊編碼器20可量化變換係數。在一些實例中,視訊編碼器20可產生一或多個語法元素以表示變換係數。視訊編碼器20可熵編碼表示變換係數之語法元素中之一或多者。 更特定言之,當根據HEVC或其他視訊寫碼規格來編碼視訊資料時,為了產生圖像之經編碼表示,視訊編碼器20可將圖像之每一樣本陣列分割成寫碼樹型區塊(CTB)且編碼CTB。CTB可為圖像之樣本陣列中的樣本之N×N區塊。在HEVC主規範中,CTB之大小可在16×16至64×64之範圍內,但技術上可支援8×8 CTB大小。 圖像之寫碼樹型單元(CTU)可包含一或多個CTB,且可包含用以編碼一或多個CTB之樣本之語法結構。舉例而言,每一CTU可包含明度樣本之CTB、色度樣本之兩個對應CTB,及用以編碼CTB之樣本之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CTU可包含單一CTB及用以編碼CTB之樣本之語法結構。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。在本發明中,「語法結構」可被定義為按指定次序一起存在於位元串流中之零或多個語法元素。在一些編解碼器中,經編碼圖像為含有該圖像之所有CTU的經編碼表示。 為了編碼圖像之CTU,視訊編碼器20可將CTU之CTB分割成一或多個寫碼區塊。寫碼區塊為樣本之N×N區塊。在一些編解碼器中,為了編碼圖像之CTU,視訊編碼器20可對CTU之寫碼樹型區塊遞歸地執行四元樹分割以將CTB分割成寫碼區塊,因此名稱為「寫碼樹型單元」。寫碼單元(CU)可包含一或多個寫碼區塊及用以編碼一或多個寫碼區塊之樣本之語法結構。舉例而言,CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應寫碼區塊,以及用以編碼寫碼區塊之樣本之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中,CU可包含單一寫碼區塊及用以寫碼該寫碼區塊之樣本之語法結構。 此外,視訊編碼器20可編碼視訊資料之圖像之CU。在一些編解碼器中,作為編碼CU之部分,視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為被應用相同預測的樣本之矩形(亦即,正方形或非正方形)區塊。CU之預測單元(PU)可包含CU之一或多個預測區塊,及用以預測一或多個預測區塊之語法結構。舉例而言,PU可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊,及用以預測該等預測區塊之語法結構。在單色圖像或包含單獨色彩平面之圖像中,PU可包含單一預測區塊及用以預測該預測區塊之語法結構。在包括JEM之一些視訊寫碼標準及提議中,CU不被再分為PU。因此,在此等情況下,對CU之PU的參考可在本發明中被僅僅解譯為CU自身。 視訊編碼器20可產生用於CU之PU之預測區塊(例如,明度、Cb及Cr預測區塊)之預測性區塊(例如,明度、Cb及Cr預測性區塊)。視訊編碼器20可使用框內預測或框間預測以產生預測性區塊。若視訊編碼器20使用框內預測以產生預測性區塊,則視訊編碼器20可基於包括CU之圖像之經解碼樣本而產生預測性區塊。若視訊編碼器20使用框間預測以產生當前圖像之PU之預測性區塊,則視訊編碼器20可基於參考圖像(亦即,除了當前圖像以外之圖像)之經解碼樣本而產生PU之預測性區塊。在HEVC中,視訊編碼器20在用於經框間預測PU之「coding_unit」語法結構內產生「prediction_unit」語法結構,但不在用於經框內預測PU之「coding_unit」語法結構內產生「prediction_unit」語法結構。更確切而言,在HEVC中,與經框內預測PU相關之語法元素直接包括於「coding_unit」語法結構中。 因此,在HEVC中,截塊中之最大寫碼單元被稱為寫碼樹型區塊(CTB)。CTB含有四元樹,四元樹之節點為寫碼單元。在HEVC主規範中,CTB之大小可在16×16至64×64之範圍內(但技術上可支援8×8 CTB大小)。CU可與CTB具有相同大小,但且小至8×8。每一CU係運用一個模式被寫碼。當CU被框間寫碼時,CU可被進一步分割成2或4個預測單元(PU),或在進一步分割不適用時變為僅僅一個PU。當兩個PU存在於一個CU中時,兩個PU可為一半大小的矩形或大小為CU之¼或¾的兩個矩形大小。當CU被框間寫碼時,針對每一PU提供一個運動資訊集合。另外,每一PU係運用唯一框間預測模式被寫碼以導出運動資訊集合。 PU為藉由分割CU而界定之區域,該區域被應用相同預測。一般而言,PU並不限定於正方形形狀,以促進匹配於圖像中之真實物件之邊界的分割。每一CU取決於分割模式而含有一個、兩個或四個PU。圖2繪示可用以定義用於經框間寫碼CU之PU的八個實例分割模式。PART_2N×2N及PART_N×N分割模式用於經框內寫碼CU。僅當對應CU大小等於最小CU大小時才允許分割模式PART_N×N。在一些編解碼器中,CU未被進一步分割成PU。因此,在此等編解碼器中,PU可為與CU相同的概念。 在HEVC及一些其他編解碼器中,視訊編碼器20使用僅一個預測模式(亦即,框內預測或框間預測)來編碼CU。因此,在HEVC及特定其他編解碼器中,視訊編碼器20可使用框內預測來產生CU之每一PU之預測性區塊,或視訊編碼器20可使用框間預測來產生CU之每一PU之預測性區塊。當視訊編碼器20使用框間預測來編碼CU時,視訊編碼器20可將CU分割成2或4個PU,或一個PU對應於整個CU。當兩個PU存在於一個CU中時,兩個PU可為一半大小的矩形或大小為CU之¼或¾的兩個矩形大小。在HEVC中,對於運用框間預測模式而寫碼之CU存在八個分割模式,亦即:PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N及PART_nR×2N。當CU被框內預測時,2N×2N及N×N為僅容許的PU形狀,且在每一PU內,單一框內預測模式被寫碼(而色度預測模式在CU層級處被傳信)。 視訊編碼器20可產生用於CU之一或多個殘餘區塊。舉例而言,視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中之一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差。另外,視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中之Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差。視訊編碼器20亦可產生用於CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中之Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差。 此外,視訊編碼器20可將CU之殘餘區塊分解成一或多個變換區塊。舉例而言,視訊編碼器20可使用四元樹分割以將CU之殘餘區塊分解成一或多個變換區塊。變換區塊為被應用相同變換的樣本之矩形(例如,正方形或非正方形)區塊。CU之變換單元(TU)可包含一或多個變換區塊。舉例而言,TU可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊,及用以變換該等變換區塊樣本之語法結構。因此,CU之每一TU可具有明度變換區塊、Cb變換區塊及Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。在單色圖像或具有三個單獨色彩平面之圖像中,TU可包含單一變換區塊及用以變換該變換區塊之樣本之語法結構。在包括JEM之一些視訊寫碼標準及提議中,CU不被再分為TU。因此,在此等情況下,對CU之TU的參考可在本發明中被僅僅解譯為CU自身。 視訊編碼器20可將一或多個變換應用於TU之變換區塊以產生用於TU之係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。在一些實例中,一或多個變換將變換區塊自像素域轉換至頻域。因此,在此等實例中,變換係數可為被視為在頻域中之純量。變換係數層級為表示在按比例調整以用於計算變換係數值之前與解碼程序中之特定2維頻率索引相關聯之值的整數量。 因此,每一CU可對應於一個變換樹,其在HEVC中為四元樹,四元樹之葉為TU。TU為藉由CU之四元樹分割而界定的正方形區域,其共用相同變換及量化程序。圖3中繪示CU內之多個TU之四元樹結構。圖3為CU內之變換樹結構之實例。在一些實例中,TU形狀始終為正方形,且TU可採取自32×32一直至4×4樣本之大小。最大四元樹深度係可調整的且在截塊標頭語法中被指定。對於框間CU,TU可大於PU,亦即,TU可含有PU邊界。然而,在一些實例中,TU不能與內用於CU之PU邊界交叉。另外,對應於不進行變換之CU的節點。變換樹內部之節點,若其具有等於1之split_transform_flag,則其被進一步分裂成四個節點,變換樹之葉具有等於0之split_transform_flag。出於簡單起見,若TU或變換樹對應於不具有變換之區塊,則該區塊亦可被視為變換樹或變換單元,此係因為仍存在變換自身之階層。 等於1之rqt_root_cbf指定對於當前CU存在transform_tree語法結構。等於0之rqt_root_cbf指定對於當前CU不存在transform_tree語法結構。當不存在rqt_root_cbf時,其值被推斷為等於1。當rqt_root_cbf等於0時,變換樹僅含有一個節點,此意謂其不被進一步分裂且split_transform_flag等於0。等於1的變換單元之CBF指定變換單元含有不等於0之一或多個變換係數層級。等於0的變換單元之CBF指定變換單元之所有變換係數層級為0。針對變換單元之每一分量設定一CBF,亦即,分別針對明度、cb及cr分量設定cbf。 在一些實例中,視訊編碼器20跳過變換至變換區塊之應用。在此等實例中,視訊編碼器20可以與變換係數相同之方式處理殘餘樣本值。因此,在視訊編碼器20跳過變換之應用的實例中,變換係數及係數區塊之以下論述可適用於殘餘樣本之變換區塊。 在產生係數區塊之後,視訊編碼器20可量化係數區塊以可能地縮減用以表示係數區塊之資料的量,從而潛在地提供進一步壓縮。量化通常係指將值之範圍壓縮為單一值的程序。舉例而言,可藉由將值除以常數且接著捨位至最接近的整數進行量化。為了量化係數區塊,視訊編碼器20可量化係數區塊之變換係數。量化可縮減與變換係數中之一些或全部相關聯的位元深度。舉例而言,可在量化期間將n
位元變換係數降值捨位至m
位元變換係數,其中n
大於m
。在一些實例中,視訊編碼器20跳過量化。 視訊編碼器20可產生指示一些或所有經潛在量化變換係數之語法元素。視訊編碼器20可熵編碼指示經量化變換係數之語法元素中之一或多者。舉例而言,視訊編碼器20可對指示經量化變換係數之語法元素執行上下文調適性二進位算術寫碼(CABAC)。因此,經編碼區塊(例如,經編碼CU)可包括指示經量化變換係數之經熵編碼語法元素。 視訊編碼器20可輸出包括經編碼視訊資料之位元串流。換言之,視訊編碼器20可輸出包括視訊資料之經編碼表示的位元串流。視訊資料之經編碼表示可包括視訊資料之圖像之經編碼表示。舉例而言,位元串流可包含形成視訊資料及關聯資料之經編碼圖像之表示的位元序列。在一些實例中,經編碼圖像之表示可包括圖像之區塊之經編碼表示。 視訊解碼器30可接收由視訊編碼器20產生之位元串流。如上文所提及,位元串流可包含視訊資料之經編碼表示。視訊解碼器30可解碼位元串流以重建視訊資料之圖像。作為解碼位元串流之部分,視訊解碼器30可自位元串流獲得語法元素。視訊解碼器30可至少部分地基於自位元串流獲得之語法元素而重建視訊資料之圖像。用以重建視訊資料之圖像的程序可與由視訊編碼器20執行以編碼圖像之程序大體上互逆。 舉例而言,作為解碼視訊資料之圖像之部分,視訊解碼器30可使用框間預測或框內預測以產生預測性區塊。另外,視訊解碼器30可基於自位元串流獲得之語法元素而判定變換係數。在一些實例中,視訊解碼器30反量化經判定變換係數。反量化將經量化值映射至經重建值。舉例而言,視訊解碼器30可藉由判定一值乘以量化步長而反量化該值。此外,視訊解碼器30可對經判定變換係數應用反變換以判定殘餘樣本之值。視訊解碼器30可基於殘餘樣本及所產生預測性區塊之對應樣本而重建圖像之區塊。舉例而言,視訊解碼器30可將殘餘樣本與所產生預測性區塊之對應樣本相加以判定區塊之經重建樣本。 更特定言之,在HEVC及其他視訊寫碼規格中,視訊解碼器30可使用框間預測或框內預測以產生用於當前CU之每一PU之一或多個預測性區塊。另外,視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換以重建當前CU之TU之變換區塊。視訊解碼器30可基於當前CU之PU之預測性區塊之樣本及當前CU之TU之變換區塊之殘餘樣本而重建當前CU之寫碼區塊。在一些實例中,視訊解碼器30可藉由將用於當前CU之PU之預測性區塊之樣本與當前CU之TU之變換區塊之對應經解碼樣本相加而重建當前CU之寫碼區塊。藉由重建用於圖像之每一CU之寫碼區塊,視訊解碼器30可重建圖像。 圖像之截塊可包括圖像之整數數目個區塊。舉例而言,在HEVC及其他視訊寫碼規格中,圖像之截塊可包括圖像之整數數目個CTU。截塊之CTU可按諸如光柵掃描次序之掃描次序而連續地排序。在HEVC中,截塊被定義為同一存取單元內之一個非相依截塊片段及先於下一非相依截塊片段(若存在)之所有後續相依截塊片段(若存在)中所含有的整數數目個CTU。此外,在HEVC中,截塊片段被定義為在影像塊掃描中連續地排序且單一NAL單元中所含有的整數數目個CTU。影像塊掃描為分割圖像之CTB的特定循序排序,其中CTB在影像塊中之CTB光柵掃描中連續地排序,而圖像中之影像塊在圖像之影像塊之光柵掃描中連續地排序。影像塊為圖像中之特定影像塊行及特定影像塊列內的CTB之矩形區域。 如上文所提及,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可應用框間預測以產生用於當前圖像之視訊區塊之預測性區塊。舉例而言,在HEVC及其他視訊寫碼規格之內容背景中,視訊寫碼器可應用框間預測以產生用於當前區塊之CU之PU之預測區塊的預測性區塊。若視訊寫碼器應用框間預測以產生預測性區塊,則視訊寫碼器可基於一或多個參考圖像之經解碼樣本而產生預測性區塊。參考圖像為除了當前圖像以外之圖像。視訊寫碼器可判定一或多個參考圖像清單。參考圖像清單中之每一者可包括零或多個參考圖像。在HEVC及其他視訊寫碼規格之內容背景中,參考圖像清單中之一者可被稱作參考圖像清單0 (RefPicList0),且另一參考圖像清單可被稱作參考圖像清單1 (RefPicList1)。 視訊寫碼器可應用單向框間預測或雙向框間預測以產生預測性區塊。當視訊寫碼器應用單向框間預測以產生用於視訊區塊之預測性區塊時,視訊寫碼器基於單一參考圖像之樣本而判定用於視訊區塊之單一參考區塊。此外,當視訊寫碼器應用單向框間預測時,視訊寫碼器可將預測性區塊設定為等於參考區塊。當視訊寫碼器應用雙向框間預測以產生用於視訊區塊之預測性區塊時,視訊寫碼器判定用於視訊區塊之兩個參考區塊。在一些實例中,兩個參考區塊在不同參考圖像清單中之參考圖像中。另外,當視訊寫碼器應用雙向框間預測時,視訊寫碼器可基於兩個參考區塊而判定預測性區塊。舉例而言,視訊寫碼器可判定預測性區塊,使得預測性區塊之每一樣本為兩個參考區塊之對應樣本之加權平均值。參考清單指示符可用以指示參考圖像清單中之哪一者包括用於判定參考區塊之參考圖像。 如上文所提及,視訊寫碼器可基於參考圖像之樣本而判定參考區塊。在一些實例中,視訊寫碼器可判定參考區塊,使得參考區塊之每一樣本等於參考圖像之樣本。在一些實例中,作為判定參考區塊之部分,視訊寫碼器可根據參考圖像之樣本而內插參考區塊之樣本。舉例而言,視訊寫碼器可判定預測性區塊之樣本為參考圖像之兩個或多於兩個樣本之加權平均值。 在一些實例中,當視訊編碼器20執行單向框間預測時,視訊編碼器20搜尋參考圖像清單中之一者之一或多個參考圖像內的參考區塊。參考區塊可為相似於預測區塊的樣本之區塊。在一些實例中,視訊編碼器20使用均方誤差以判定參考區塊與預測區塊之間的相似性。此外,視訊編碼器20可判定用於預測區塊之運動資訊。用於預測區塊之運動資訊(亦即,運動參數)可包括運動向量及參考索引。運動向量可指示當前圖像(亦即,包括特定視訊區塊之圖像)內之特定視訊區塊之位置與參考圖像內之參考區塊之位置之間的空間位移。參考索引指示含有參考圖像清單之參考圖框之參考圖像清單內的位置。用於特定視訊區塊之預測性區塊可等於參考區塊。 當視訊編碼器20針對特定視訊區塊執行雙向框間預測時,視訊編碼器20可搜尋第一參考圖像清單(「清單0」)中之參考圖像內的第一參考區塊,且可搜尋第二參考圖像清單(「清單1」)中之參考圖像內的第二參考區塊。視訊編碼器20可至少部分地基於第一參考區塊及第二參考區塊而產生用於特定視訊區塊之預測性區塊。另外,視訊編碼器20可產生指示特定視訊區塊與第一參考區塊之間的空間位移的第一運動向量。視訊編碼器20亦可產生識別含有第一參考區塊之參考圖像之第一參考圖像清單內之位置的第一參考索引。此外,視訊編碼器20可產生指示特定視訊區塊與第二參考區塊之間的空間位移的第二運動向量。視訊編碼器20亦可產生識別包括第二參考區塊之參考圖像之第二參考圖像清單內之位置的第二參考索引。 當視訊編碼器20對特定視訊區塊執行單向框間預測時,視訊解碼器30可使用特定視訊區塊之運動資訊以識別特定視訊區塊之參考區塊。視訊解碼器30接著可基於參考區塊而產生特定視訊區塊之預測性區塊。當視訊編碼器20執行雙向框間預測以判定用於特定視訊區塊之預測性區塊時,視訊解碼器30可使用特定視訊區塊之運動資訊以判定兩個參考區塊。視訊解碼器30可基於特定視訊區塊之兩個參考樣本而產生特定視訊區塊之預測性區塊。 因此,在上文所提供之實例中之至少一些中,針對每一區塊可得到一運動資訊集合。運動資訊集合含有用於前向及後向預測方向之運動資訊。此處,前向及後向預測方向為雙向預測模式之兩個預測方向,且術語「前向」及「後向」未必具有幾何含義,代替地,其對應於當前圖像之參考圖像清單0 (RefPicList0)及參考圖像清單1 (RefPicList1)。當僅一個參考圖像清單可用於圖像或截塊時,僅RefPicList0係可用的,且截塊之每一區塊之運動資訊始終為前向。 在一些實例中,對於每一預測方向,運動資訊必須含有參考索引及運動向量。在一些狀況下,出於簡單起見,可以假定運動向量自身具有關聯參考索引之方式引用運動向量。參考索引用以識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。運動向量具有水平分量及垂直分量。 視訊編碼器20可以各種方式傳信視訊單元之運動資訊。此運動資訊可包括運動向量、參考索引、參考圖像清單指示符,及/或與運動相關之其他資料。在一些實例中,視訊編碼器20及視訊解碼器30可使用運動預測以縮減用於傳信運動資訊之資料的量。運動預測可包含基於一或多個其他視訊單元之運動資訊而判定視訊單元(例如,PU)之運動資訊。存在各種類型之運動預測。舉例而言,合併模式及進階運動向量預測(AMVP)模式為運動預測之兩個類型。 在合併模式中,視訊編碼器20產生候選者清單。候選者清單包括指示一或多個源視訊單元之運動資訊的候選者集合。源視訊單元可在空間上或在時間上相鄰於當前視訊單元。此外,在合併模式中,視訊編碼器20可自候選者清單選擇合併候選者,且可使用由所選擇候選者指示之運動資訊作為當前視訊單元之運動資訊。視訊編碼器20可傳信所選擇候選者之候選者清單中之位置。視訊解碼器30可基於自位元串流獲得之資訊而判定至候選者清單中之索引。另外,視訊解碼器30可產生同一候選者清單,且可基於索引而判定所選擇候選者。視訊解碼器30接著可使用所選擇候選者之運動資訊以產生用於當前視訊單元之預測性區塊。 AMVP模式相似於合併模式之處在於視訊編碼器20可產生候選者清單且可自候選者清單選擇候選者。然而,對於用來判定用於當前視訊單元之預測性區塊的每一各別參考區塊,視訊編碼器20可傳信用於當前視訊單元之各別運動向量差(MVD)、用於當前視訊單元之各別參考索引,及指示候選者清單中之所選擇候選者之各別候選者索引。用於視訊單元之MVD可指示視訊單元之運動向量與所選擇候選者之運動向量之間的差。用於當前視訊單元之參考索引指示供判定參考區塊的參考圖像。 此外,當使用AMVP模式時,對於用來判定用於當前視訊單元之預測性區塊的每一各別參考區塊,視訊解碼器30可判定用於當前視訊單元之MVD、用於當前視訊單元之參考索引,以及候選者索引及運動向量預測(MVP)旗標。視訊解碼器30可產生同一候選者清單,且可基於候選者索引而判定候選者清單中之所選擇候選者。如前所述,此清單可包括與同一參考索引相關聯之相鄰區塊之運動向量,以及基於時間參考圖像中之同置型區塊之相鄰區塊之運動參數而導出的時間運動向量預測子。視訊解碼器30可藉由將MVD與由所選擇AMVP候選者指示之運動向量相加而恢復當前PU之運動向量。亦即,視訊解碼器30可基於由所選擇AMVP候選者及MVD指示之運動向量而判定當前PU之運動向量。視訊解碼器30接著可使用當前PU之經恢復運動向量或多個運動向量以產生用於當前PU之預測性區塊。 當視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)產生用於當前PU之AMVP候選者清單時,視訊寫碼器可基於涵蓋在空間上相鄰於當前PU之位置之PU (亦即,空間相鄰PU)之運動資訊而導出一或多個AMVP候選者,且基於在時間上相鄰於當前PU之PU之運動資訊而導出一或多個AMVP候選者。在本發明中,若PU (或其他類型之視訊單元)之預測區塊(或視訊單元之其他類型之樣本區塊)包括一位置,則PU可據稱為「涵蓋」該位置。候選者清單可包括與同一參考索引相關聯之相鄰區塊之運動向量,以及基於時間參考圖像中之同置型區塊之相鄰區塊之運動參數(亦即,運動資訊)而導出的時間運動向量預測子。合併候選者清單或AMVP候選者清單中基於在時間上相鄰於當前PU之PU (亦即,不同於當前PU之時間例項中的PU)之運動資訊的候選者可被稱作TMVP。TMVP可用以改良HEVC之寫碼效率,且不同於其他寫碼工具,TMVP可能需要存取經解碼圖像緩衝器中、更特定地為參考圖像清單中之圖框之運動向量。 因此,在HEVC標準及其他編解碼器中,存在兩個框間預測模式,名稱分別為用於預測單元(PU)之合併(跳過被視為合併之特殊狀況)及進階運動向量預測(AMVP)模式。在AMVP或合併模式中,針對多個運動向量預測子維持運動向量(MV)候選者清單。當前PU之運動向量以及當前PU在合併模式中之參考索引係藉由自MV候選者清單採取一個候選者而產生。 在HEVC及其他編解碼器中,MV候選者清單含有針對合併模式之高達5個候選者及針對AMVP模式之僅兩個候選者。合併候選者可含有運動資訊集合,例如,對應於參考圖像清單(清單0及清單1)及參考索引兩者之運動向量。若由合併索引識別合併候選者,則參考圖像用於當前區塊之預測,以及判定關聯運動向量。然而,在AMVP模式下,對於自清單0或清單1之每一可能預測方向,需要明確地傳信參考索引連同至MV候選者清單之MVP索引,此係因為AMVP候選者僅含有運動向量。在AMVP模式中,可進一步改進經預測運動向量。自上文可看出,合併候選者對應於整個運動資訊集合,而AMVP候選者僅僅含有用於特定預測方向及參考索引之一個運動向量。相似地自相同空間及時間相鄰區塊導出用於兩個模式之候選者。 對於特定PU (PU0
),自圖4所展示之相鄰區塊導出空間MV候選者,但自該等區塊產生該等候選者之方法對於合併及AMVP模式不同。在合併模式中,可運用圖4A所展示的具有編號的次序導出高達四個空間MV候選者,且次序如下:左側(0)、上方(1)、右上方(2)、左下方(3),及左上方(4),如圖4A所展示。 在AMVP模式中,相鄰區塊被劃分成兩個群組:由區塊0及1組成之左側群組,及由區塊2、3及4組成之上方群組,如圖4B所展示。對於每一群組,參考與由經傳信參考索引指示之參考圖像係同一個的參考圖像的相鄰區塊中之潛在候選者具有待選擇之最高優先級以形成群組之最終候選者。有可能的是所有相鄰區塊皆不含有指向同一參考圖像之運動向量。因此,若不能找到此候選者,則可按比例調整第一可用候選者以形成最終候選者,因此可補償時間距離差。因此,圖4A繪示用於合併模式之實例空間相鄰MV候選者。圖4B繪示用於AMVP模式之實例空間相鄰MV候選者。 此外,時間運動向量預測子(TMVP)候選者在啟用及可用時可在空間運動向量候選者之後添加至MV候選者清單中。用於TMVP候選者之運動向量導出程序對於合併及AMVP模式兩者可相同,然而,用於合併模式中之TMVP候選者之目標參考索引始終被設定為0。在HEVC及其他實例中,用於TMVP候選者導出之主要區塊位置為如圖5A中展示為區塊「T」的同置型PU外部之右底部區塊,以補償用以產生空間相鄰候選者之上方及左側區塊之偏位。然而,若彼區塊位於當前CTB列外部或運動資訊不可用,則將該區塊取代為PU之中心區塊。因此,圖5A繪示實例TMVP候選者。圖5B繪示MV按比例調整之實例。用於TMVP候選者之運動向量係自截塊層級中所指示的同置型圖像之同置型PU導出。相似於AVC中之時間直接模式,TMVP候選者運動向量按比例調整之運動向量經執行以補償距離差。 如上文所提及,位元串流可包括視訊資料及關聯資料之經編碼圖像之表示。關聯資料可包括參數集。在HEVC及其他視訊寫碼規格中,NAL單元可囊封用於視訊參數集(VPS)、序列參數集(SPS)及圖像參數集(PPS)之RBSP。VPS為包含適用於零或多個全部經寫碼視訊序列(CVS)之語法元素的語法結構。SPS亦為包含適用於零或多個全部CVS之語法元素的語法結構。SPS可包括識別在SPS處於作用中時處於作用中之VPS的語法元素。因此,VPS之語法元素相比於SPS之語法元素可更一般化地適用。PPS為包含適用於零或多個經寫碼圖像之語法元素的語法結構。PPS可包括識別在PPS處於作用中時處於作用中之SPS的語法元素。截塊之截塊標頭可包括指示在截塊正被寫碼時處於作用中之PPS的語法元素。 在HEVC中,在解碼及重建截塊之後,針對每一CU以與解碼程序相同之次序執行解塊濾波器(DF)程序。首先濾波垂直邊緣(水平濾波),接著濾波水平邊緣(垂直濾波)。對於明度分量及色度分量兩者,將濾波應用於被判定為經濾波的8×8區塊邊界。不處理4×4區塊邊界以便縮減複雜度。 圖6繪示解塊濾波器程序之實例整體流程。解塊濾波器程序中涉及兩種種類之邊界:TU邊界及PU邊界。亦考慮CU邊界,此係因為CU邊界必定亦為TU邊界及PU邊界。 在圖6之實例中,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可執行邊界決策(600)。另外,視訊寫碼器可執行邊界串流(Bs)計算(602)。邊界強度(Bs)反映針對邊界可能多麼強地需要濾波程序。0值指示無解塊濾波。此外,視訊寫碼器可執行β及tC
決策(604)。 邊界可具有三個濾波狀態值:無濾波、弱濾波及強濾波。每一濾波決策係基於由Bs表示之邊界強度,以及臨限值β及tC
。因此,視訊寫碼器可進行濾波器接通/關斷決策(606)。假定視訊寫碼器做出接通濾波器之決策,則視訊寫碼器執行強/弱濾波器選擇(608)。基於強/弱濾波器選擇,視訊寫碼器可應用強濾波(610)或弱濾波(612)。 圖7為用於Bs計算之流程圖。假設P及Q被定義為濾波中涉及之區塊,其中P表示位於邊界左側(垂直邊緣狀況)或上方(水平邊緣狀況)之區塊,且Q表示位於邊界右側(垂直邊緣狀況)或上方(水平邊緣狀況)之區塊。特定而言,圖7繪示如何基於框內寫碼模式、非零變換係數之存在、參考圖像、運動向量之數目及運動向量差而計算Bs值。 如圖7所展示,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可判定P或Q是否為框內區塊(700)。換言之,視訊寫碼器可判定P或Q是否使用框內預測而產生。若P或Q為框內區塊(700之「是」分支),則視訊寫碼器判定Bs等於2 (702)。否則,若P或Q兩者皆不為框內區塊(700之「否」分支),則視訊寫碼器可判定P或Q是否具有一或多個非零係數(704)。若P或Q具有一或多個非零係數(704之「是」分支),則視訊寫碼器可判定Bs等於1 (706)。若P或Q兩者皆不具有任何非零係數(704之「否」分支),則視訊寫碼器可判定P及Q是否具有不同參考圖像(708)。若P及Q具有不同參考圖像(708之「是」分支),則視訊寫碼器可判定Bs等於1 (706)。若P及Q不具有不同參考圖像(亦即,P及Q具有同一參考圖像) (708之「否」分支),則視訊寫碼器可判定P及Q是否具有不同數目個運動向量(710)。若P或Q中之一者被單向框間預測且P及Q中之另一者被雙向框間預測,則P及Q可具有不同數目個運動向量。若P及Q具有不同數目個運動向量(710之「是」分支),則視訊寫碼器可判定Bs等於1 (706)。若P及Q不具有不同數目個運動向量(亦即,P及Q具有相同數目個運動向量) (710之「否」分支),則視訊寫碼器可判定P之第一運動向量(亦即,MV_Ph
)與Q之第一運動向量(亦即,MV_Qh
)之間的差的絕對值是否大於或等於4或P之第二運動向量(亦即,MV_Pv
)與Q之第二運動向量(亦即,MV_Qv
)之間的差的絕對值是否大於或等於4 (712)。若如此(712之「是」分支),則視訊寫碼器可判定Bs等於1 (706)。否則(712之「否」分支),視訊寫碼器可判定Bs等於0 (714)。 如上文所提及,在濾波器接通/關斷決策、強及弱濾波器選擇以及弱濾波程序中涉及臨限值β及tC
。臨限值β及tC
可自明度量化參數Q之值導出,如下表1中所展示。表 1 — 臨限變數自輸入 Q 之 導出
在HEVC及其他編解碼器中,如下自β'導出變數β: β = β' * ( 1 << ( BitDepthY
− 8 ) ) 如下自tC
'導出變數tC
: tC
= tC
' * ( 1 << ( BitDepthY
− 8 ) ) BitDepthY
指示明度樣本之位元深度。 解塊參數tC
及β根據QP及預測類型而提供調適性。然而,不同序列或同一序列之不同部分可具有不同特性。因此,可能重要的是使內容提供者基於序列或甚至基於截塊或圖像而改變解塊濾波的量。因此,可在截塊標頭或PPS中發送解塊調整參數以控制所應用之解塊濾波的量。對應參數為tc−offset−div2及beta−offset−div2,如2011年11月瑞士日內瓦,視訊寫碼聯合合作小組(JCTVC),T. Yamakage、S. Asaka、T. Chujoh、M. Karczewicz及I. S. Chong,CE12: Deblocking Filter Parameter Adjustment in Slice Level,ITUT SG16 WP3及ISO/IEC JTC1/SC29/WG11文件JCTVC-G174中所描述。此等參數指定在判定β及tC
值之前與QP值添加的偏移(除以二)。參數beta−offset−div2調整被應用解塊濾波之像素的數目,而參數tc−offset−div2調整可應用於彼等像素以及自然邊緣之偵測之濾波的量。 更特定而言,以下方式用以重算查找表之「Q」: 對於tC
計算: - Q = Clip3 (0, 53, ( QP + 2 * (Bs - 1) + (tc−offset−div2 << 1) ) ); 對於β計算: - Q = Clip3 (0, 53, ( QP + (beta−offset−div2 << 1) ) ); 在以上方程式中,QP指示自沿著邊界之兩個相鄰區塊之明度/色度QP導出的值。 JCTVC-G174提供以下語法表及語義描述,以支援解塊調整參數tc−offset−div2及beta−offset−div2:語法表 7.3.2.3.1 一般圖像參數集 RBSP 語法 7.3.6.1 一般截塊片段標頭語法 語義
等於1之pps_deblocking_filter_disabled_flag指定解塊濾波器之操作不應用於參考不存在slice_deblocking_filter_disabled_flag之PPS的截塊。等於0之pps_deblocking_filter_disabled_flag指定解塊濾波器之操作應用於參考不存在slice_deblocking_filter_disabled_flag之PPS的截塊。當不存在時,pps_deblocking_filter_disabled_flag之值被推斷為等於0。 pps_beta_offset_div2及pps_tc_offset_div2指定應用於參考PPS之截塊的針對β及tC
之預設解塊參數偏移(除以2),除非預設解塊參數偏移被存在於參考PPS之截塊之截塊標頭中的解塊參數偏移超覆。pps_beta_offset_div2及pps_tc_offset_div2之值應皆在-6至6之範圍內,-6及6包括在內。當不存在時,pps_beta_offset_div2及pps_tc_offset_div2之值被推斷為等於0。 等於1之pps_scaling_list_data_present_flag指定用於參考PPS之圖像的按比例調整清單資料係基於由作用中SPS指定之按比例調整清單及由PPS指定之按比例調整清單而導出。等於0之pps_scaling_list_ data_present_flag指定用於參考PPS之圖像的按比例調整清單資料被推斷為等於由作用中SPS指定之按比例調整清單資料。當scaling_list_ enabled_flag等於0時,pps_scaling_list_data_present_flag之值應等於0。當scaling_list_enabled_flag等於1,sps_scaling_list_data_present_flag等於0,且pps_scaling_list_data_present_flag等於0時,預設按比例調整清單資料用以導出陣列ScalingFactor,如條款7.4.5中所指定之按比例調整清單資料語義中所描述。 等於1之deblocking_filter_override_flag指定解塊參數存在於截塊標頭中。等於0之deblocking_filter_override_flag指定解塊參數不存在於截塊標頭中。當不存在時,deblocking_filter_override_flag之值被推斷為等於0。 等於1之slice_deblocking_filter_disabled_flag指定解塊濾波器之操作不應用於當前截塊。等於0之slice_deblocking_filter_disabled_flag指定解塊濾波器之操作應用於當前截塊。當不存在slice_deblocking_ filter_disabled_flag時,其被推斷為等於pps_deblocking_filter_ disabled_flag。 slice_beta_offset_div2及slice_tc_offset_div2指定用於當前截塊的針對β及tC
之解塊參數偏移(除以2)。slice_beta_offset_div2及slice_tc_offset_div2之值應皆在-6至6之範圍內,-6及6包括在內。當不存在時,slice_beta_offset_div2及slice_tc_offset_div2之值被推斷為分別等於pps_beta_offset_div2及pps_tc_offset_div2。 等於1之slice_loop_filter_across_slices_enabled_flag指定迴路內濾波操作可橫越當前截塊之左側及上部邊界而執行。等於0之slice_loop_filter_across_slices_enabled_flag指定迴路內操作不橫越當前截塊之左側及上部邊界而執行。迴路內濾波操作包括解塊濾波器及樣本調適性偏移濾波器。當不存在slice_loop_filter_across_slices_enabled_flag時,其被推斷為等於pps_loop_filter_across_slices_enabled_flag。用於 4 行之濾波器接通 / 關斷決策
如圖6之動作606中所展示,視訊寫碼器可執行濾波器接通/關斷決策。可使用被分組為單位之4行來做出濾波器接通/關斷決策,以縮減計算複雜度。圖8繪示接通/關斷濾波器決策及強/弱濾波器選擇中涉及之像素。第一4行中之兩個虛線方框中的6個像素用以判定濾波器對於彼等4行是接通抑或關斷。4行之第二群組中之兩個虛線方框中的6個像素用以判定濾波器對於4行之第二群組是接通抑或關斷。 定義以下變數: dp0 = | p2,0
- 2*p1,0
+ p0,0
| dp3 = | p2,3
- 2*p1,3
+ p0,3
| dq0 = | q2,0
- 2*q1,0
+ q0,0
| dq3 = | q2,3
- 2*q1,3
+ q0,3
| 若dp0+dq0+dp3+dq3 < β,則接通用於第一四行之濾波且應用強/弱濾波器選擇程序。若不滿足此條件,則針對第一4行進行無濾波。 另外,若滿足條件,則如下設定變數dE、dEp1及dEp2: 將dE設定為等於1,可在區塊P及Q中修改最接近於區塊邊界之第一像素。 若dp0 + dp3 < (β + ( β >> 1 )) >> 3,則將變數dEp1設定為等於1,可在區塊P中修改最接近於區塊邊界之兩個像素。 若dq0 + dq3 < (β + ( β >> 1 )) >> 3,則將變數dEq1設定為等於1,可在區塊Q中修改最接近於區塊邊界之兩個像素。 以與上文針對4行之第二群組所描述之方式相似的方式做出濾波器接通/關斷決策。用於 4 行之強 / 弱濾波器選擇
如圖6之動作608中所展示,若接通濾波,則在強濾波與弱濾波之間做出決策。所涉及之像素與用於濾波器接通/關斷決策之像素相同,如圖8所描繪。若滿足以下兩個條件集合,則視訊寫碼器使用強濾波器以用於濾波第一4行。否則,視訊寫碼器使用弱濾波器。 1) 2*(dp0+dq0) < ( β >> 2 ),| p30
- p00
| + | q00
- q30
| < ( β >> 3 )且| p00
- q00
| < ( 5* tC
+ 1 ) >> 1 2) 2*(dp3+dq3) < ( β >> 2 ),| p33
- p03
| + | q03
- q33
| < ( β >> 3 )且| p03
- q03
| < ( 5* tC
+ 1 ) >> 1 可以相似方式做出關於針對4行之第二群組選擇強濾波抑或弱濾波的決策。強濾波
對於強濾波,經濾波像素值係由以下方程式獲得。應注意,分別對於每一P及Q區塊使用四個像素作為輸入來修改三個像素。 p0
' = ( p2
+ 2*p1
+ 2*p0
+ 2*q0
+ q1
+ 4 ) >> 3 q0
' = ( p1
+ 2*p0
+ 2*q0
+ 2*q1
+ q2
+ 4 ) >> 3 p1
' = ( p2
+ p1
+ p0
+ q0
+ 2 ) >> 2 q1
' = ( p0
+ q0
+ q1
+ q2
+ 2 ) >> 2 p2
' = ( 2*p3
+ 3*p2
+ p1
+ p0
+ q0
+ 4 ) >> 3 q2
' = ( p0
+ q0
+ q1
+ 3*q2
+ 2*q3
+ 4 ) >> 3弱濾波
如下定義D。 D = ( 9 * ( q0
- p0
) - 3 * ( q1
- p1
) + 8 ) >> 4 當abs(D)小於tC
*10時, D = Clip3( - tC
, tC
, D ) p0
' = Clip1Y
( p0
+ D ) q0
' = Clip1Y
( q0
- D ) 若dEp1等於1,則 Dp = Clip3( -( tC
>> 1), tC
>> 1, ( ( ( p2
+ p0
+ 1 ) >> 1 ) - p1
+ D ) >>1 ) p1
' = Clip1Y
( p1
+ Dp ) 若dEq1等於1,則 Dq = Clip3( -( tC
>> 1), tC
>> 1, ( ( ( q2
+ q0
+ 1 ) >> 1 ) - q1
- D ) >>1 ) q1
' = Clip1Y
( q1
+ Dq ) 應注意,分別對於每一P及Q區塊使用三個像素作為輸入來修改兩個像素中之最大者。色度濾波
自明度繼承用於色度濾波之邊界強度Bs。若Bs > 1,則執行色度濾波。針對色度不執行濾波器選擇程序,此係因為可應用僅一個濾波器。如下導出經濾波樣本值p0
'及q0
'。 D = Clip3( -tC
, tC
, ( ( ( ( q0
- p0
) << 2 ) + p1
- q1
+ 4 ) >> 3 ) ) p0
' = Clip1C
( p0
+ D ) q0
' = Clip1C
( q0
- D )四元樹加二元樹 (QTBT)
2016年5月26日至6月1日,瑞士日內瓦,ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之聯合視訊探索小組(JVET),第3次會議:文件JVET-C0024 (下文中JVET-C0024),H. Huang、K. Zhang、Y.-W. Huang、S. Lei之「EE2.1: Quadtree plus binary tree structure integration with JEM tools」描述QTBT結構。在JEM軟體中採用QTBT結構。在QTBT結構中,寫碼樹型區塊(CTB)首先由四元樹結構分割。四元樹葉節點由二元樹結構進一步分割。二元樹葉節點——亦即,寫碼區塊(CB)——用於預測及變換而無任何進一步分割。對於P及B截塊,一個寫碼樹型單元(CTU)中之明度及色度CTB共用同一QTBT結構。對於I截塊,明度CTB由QTBT結構分割成CB,且兩個色度CTB由另一QTBT結構分割成色度CB。在I截塊中,所有PU被框內預測。因此,若PU在I截塊中,則框間預測處理單元1420不對PU執行框間預測。 為四元樹之根節點的CTU (或用於I截塊之CTB)首先由四元樹分割,其中一個節點之四元樹分裂可被反覆直至該節點達到最小允許四元樹葉節點大小(MinQTSize)。若四元樹葉節點大小不大於最大允許二元樹根節點大小(MaxBTSize),則其可由二元樹進一步分割。一個節點之二元樹分裂可被反覆直至該節點達到最小允許二元樹葉節點大小(MinBTSize)或最大允許二元樹深度(MaxBTDepth)。二元樹葉節點——亦即,CU (或用於I截塊之CB)——可用於預測(例如圖像內或圖像間預測)及變換而無任何進一步分割。亦即,在QTBT結構中,CU/PU/TU之概念對準且三者始終相同。 在二元樹分裂中存在兩種分裂類型:對稱水平分裂及對稱垂直分裂。 在QTBT分割結構之一個實例中,CTU大小被設定為128×128 (明度樣本及對應64×64 Cb/Cr樣本),MinQTSize被設定為16×16,MaxBTSize被設定為64×64,MinBTSize (對於寬度及高度兩者)被設定為4,且MaxBTDepth被設定為4。四元樹分割首先應用於CTU以產生四元樹葉節點。四元樹葉節點可具有自16×16 (亦即,MinQTSize)至128×128 (亦即,CTU大小)之大小。若葉四元樹節點為128×128,則葉四元樹節點不由二元樹進一步分裂,此係因為大小超過MaxBTSize (亦即,64×64)。否則,葉四元樹節點可由二元樹進一步分割。因此,四元樹葉節點亦為二元樹之根節點且其二元樹深度被定義為0。當二元樹深度達到MaxBTDepth (亦即,4)時,其暗示無進一步分裂。當二元樹節點具有等於MinBTSize (亦即,4)之寬度時,其暗示無進一步水平分裂。相似地,當二元樹節點具有等於MinBTSize之高度時,其暗示無進一步垂直分裂。二元樹之葉節點——亦即,CU——藉由預測及變換進一步處理而無任何進一步分割。 對於I截塊,提議明度色度分離區塊分割結構。一個CTU之明度分量(亦即,明度CTB)由QTBT結構分割成明度寫碼區塊,且彼CTU之兩個色度分量(亦即,兩個色度CTB)由另一QTBT結構分割成色度寫碼區塊。對於P截塊及B截塊,用於明度及色度之區塊分割結構被共用。亦即,一個CTU (包括明度及色度兩者)由一個QTBT結構分割成CU。 圖9A及圖9B為繪示實例四元樹二元樹(QTBT)結構900及對應寫碼樹型單元(CTU) 902之概念圖。特定言之,圖9A繪示使用四元樹加二元樹結構(QTBT)之實例區塊分割。圖9B繪示對應於圖9A之區塊分割之樹結構之實例。在圖9A及圖9B中,實線表示四元樹分裂,且點線指示二元樹分裂。在二元樹之每一分裂(亦即,非葉)節點中,傳信一個旗標以指示哪一分裂類型(亦即,水平或垂直)被使用,其中在此實例中,0指示水平分裂且1指示垂直分裂。對於四元樹分裂,不需要指示分裂類型,此係因為四元樹節點將區塊水平地及垂直地分裂成大小相等之4個子區塊。因此,視訊編碼器20可編碼且視訊解碼器30可解碼用於QTBT結構900之區域樹層級(亦即,實線)的語法元素(諸如分裂資訊)及用於QTBT結構902之預測樹層級(亦即,虛線)的語法元素(諸如分裂資訊)。視訊編碼器20可編碼且視訊解碼器30可解碼用於由QTBT結構900之終端葉節點表示之CU的視訊資料,諸如預測及變換資料。 一般而言,圖9B之CTU 902可與定義對應於第一及第二層級處之QTBT結構900之節點之區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 902之大小)、最小四元樹大小(MinQTSize,表示最小允許四元樹葉節點大小)、最大二元樹大小(MaxBTSize,表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth,表示最大允許二元樹深度),及最小二元樹大小(MinBTSize,表示最小允許二元樹葉節點大小)。基於子 PU 之 運動預測
在具有QTBT之JEM中,每一CU可具有用於每一預測方向之至多一個運動參數集合。藉由將大CU分裂成子CU且導出用於大CU之所有子CU之運動資訊來研究兩種子CU層級運動向量預測方法。進階時間運動向量預測(ATMVP)方法允許每一CU自小於同置型參考圖像中之當前CU的多個區塊提取多個運動資訊集合。在空間時間運動向量預測(STMVP)方法中,藉由使用時間運動向量預測子及空間相鄰運動向量遞歸地導出子CU之運動向量。圖框速率向上轉換 (FRUC)
型樣匹配運動向量導出(PMMVD)模式為基於圖框速率向上轉換(FRUC)技術之特定合併模式。在編碼器側處,關於是否使用用於CU之FRUC合併模式的決策係基於如針對正常合併候選者所進行的RD成本選擇。亦即,藉由使用RD成本選擇針對CU皆檢查兩個匹配模式(雙側匹配及範本匹配)。進一步比較導致最小成本之模式與其他CU模式。若FRUC匹配模式為最高效匹配模式,則將FRUC旗標設定為對於CU成立且使用相關匹配模式。較高運動向量儲存準確度
在HEVC中,運動向量準確度為四分之一像素(對於4:2:0視訊,四分之一明度樣本及八分之一色度樣本)。在JEM中,用於內部運動向量儲存及合併候選者之準確度增加至1/16像素。較高運動向量準確度(1/16像素)用於針對運用跳過/合併模式而寫碼之CU的運動補償框間預測。解塊濾波器
與HEVC解塊濾波相比較,在JEM中應用兩個主要改變: 1) 對於亮度分量,可濾波CU (PU/TU)邊界上之樣本而不管其是否在8×8柵格上 2) 因為MV儲存準確度自4增加至16,所以MV差之檢查自>= 4改變至>= 16 (仍在一個整數像素差內),如圖10所描繪。 圖10為繪示JEM中之實例Bs決策的流程圖。如圖10所展示,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可判定P或Q是否為框內區塊(1000)。換言之,視訊寫碼器可判定P或Q是否使用框內預測而產生。若P或Q為框內區塊(1000之「是」分支),則視訊寫碼器判定Bs等於2 (1002)。否則,若P或Q兩者皆不為框內區塊(1000之「否」分支),則視訊寫碼器可判定P或Q是否具有一或多個非零係數(1004)。若P或Q具有一或多個非零係數(1004之「是」分支),則視訊寫碼器可判定Bs等於1 (1006)。若P或Q兩者皆不具有任何非零係數(1004之「否」分支),則視訊寫碼器可判定P及Q是否具有不同參考圖像(1008)。若P及Q具有不同參考圖像(1008之「是」分支),則視訊寫碼器可判定Bs等於1 (1006)。若P及Q不具有不同參考圖像(亦即,P及Q具有同一參考圖像) (1008之「否」分支),則視訊寫碼器可判定P及Q是否具有不同數目個運動向量(1010)。若P及Q具有不同數目個運動向量(1010之「是」分支),則視訊寫碼器可判定Bs等於1 (1006)。若P及Q不具有不同數目個運動向量(亦即,P及Q具有相同數目個運動向量) (1010之「否」分支),則視訊寫碼器可判定P之第一運動向量(亦即,MV_Ph
)與Q之第一運動向量(亦即,MV_Qh
)之間的差的絕對值是否大於或等於16或P之第二運動向量(亦即,MV_Pv
)與Q之第二運動向量(亦即,MV_Qv
)之間的差的絕對值是否大於或等於16 (1012)。若如此(1012之「是」分支),則視訊寫碼器可判定Bs等於1 (1006)。否則(1012之「否」分支),視訊寫碼器可判定Bs等於0 (1014)。 HEVC/JEM解塊濾波器(DF)之設計可具有以下潛在問題: 第一,視訊內容可沿著不同方向具有局域多樣性及豐富邊緣。然而,當前DF僅濾波沿著CU之水平或垂直邊界(或諸如8×8柵格之某些柵格上之CU邊界)之樣本。沿著某些對角線邊緣之樣本可根據用於濾波水平/垂直邊緣之設計被錯誤地濾波。舉例而言,若區塊邊界處之像素實際上為物件之對角線邊緣之部分,則可藉由基於處於同一對角線中之其他像素來濾波像素而實現更準確的解塊,此與在像素正上方或下方或正左側或右側之像素相反。 第二,當不存在其他迴路內濾波方法時,DF中使用之參數可能高效。然而,當在DF之後應用更多迴路內濾波方法時,尤其是當啟用調適性迴路濾波器(ALF)時,尚未研究DF與ALF之間的互動。 第三,當寫碼工具在一個區塊(例如,JEM中之PU)內產生多個運動資訊集合時,如HEVC/JEM中所使用之解塊濾波器通常保持不變。然而,當前HEVC/JEM設計可能會失去濾波子PU之邊界的機會,此係因為在HEVC中假定一個PU內部之區塊在同一TU中之情況下自一個單一圖像之整個區塊被運動補償,因此無區塊假影被預期為移除。 第四,在HEVC參考軟體中,編碼器藉由最佳化速率-失真成本而決定CU模式及CU分割。然而,失真值可由未經濾波重建像素及原始像素之值的差計算。 第五,在當前DF中應用1維濾波器,此可能係次最佳的,此係因為實際邊緣方向可能不與濾波方向對準。 本發明描述用以解決上述顧慮之技術。可組合本發明之技術中之一些。本發明之所提議技術可應用於取決於某些已知資訊來隱含地導出調適性濾波器參數之其他迴路內濾波方法,或具有明確參數傳信之濾波器。出於闡釋簡易起見,本發明依據各態樣描述技術群組。各種態樣之技術可被共同地或單獨地使用。 在本發明之第一態樣中,除了濾波CU或PU或TU之水平及垂直邊緣以外,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)亦可濾波多個邊緣(或多個邊緣中之一者)。用於濾波多個邊緣之技術可應用於一或多個特定色彩分量(例如,僅明度分量)或特定寫碼區塊大小。 多個邊緣可包括但未必限於定向邊緣(例如,45度對角線邊緣、135度對角線邊緣),及非定向邊緣(例如,水平邊緣及垂直邊緣)。因此,在一些實例中,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可產生視訊資料之第一區塊及視訊資料之第二區塊。在此等實例中,視訊寫碼器可將解塊濾波器應用於沿著定向邊緣的第一區塊及第二區塊之樣本,其中定向邊緣並非水平或垂直。 當使用定向邊緣時,相應地修改P及Q區塊之定義。圖11B及圖11C中分別給出與垂直邊緣/水平邊緣交叉45度及135度的P及Q區塊之實例。P區塊含有由Pij
表示之樣本且Q區塊含有由Qij
表示之樣本(其中i為0..3且j為0..3)。應注意,當前Q區塊內相對於圖像/截塊之左頂部樣本q00
之協調器對於所有種類之邊緣係相同的。協調器為位置。在此實例中,對於Q區塊,不管邊緣方向,q00
保持不變。 圖11A、圖11B及圖11C繪示針對不同邊緣之P及Q區塊之實例。特定而言,圖11A繪示針對垂直邊界之P及Q之實例。圖11B繪示針對與垂直邊緣交叉之45度對角線邊緣之P及Q之實例。圖11C繪示針對與垂直邊緣交叉之135度對角線邊緣之P及Q之實例。 在一些實例中,當將濾波一個定向邊緣時,根據一方向而變換或旋轉P及Q區塊,以識別待用以決定是應用弱濾波器抑或強濾波器之樣本,及決定將濾波每區塊每行多少樣本。舉例而言,在圖11B及圖11C之實例中,視訊寫碼器可使用在本發明中別處所描述之程序以用於判定應用強濾波器抑或弱濾波器,惟使用如圖11B或圖11C而非圖11A中所標記之像素除外。 在一些實例中,對於定向/非定向邊緣,可利用不同濾波器係數/濾波器分接頭/參數(例如,β、tC
)。舉例而言,視訊寫碼器可針對定向邊緣使用2分接頭濾波器且針對非定向邊緣使用3分接頭濾波器。在一些實例中,視訊寫碼器可針對定向邊緣使用第一濾波器係數集合且針對非定向邊緣使用第二不同濾波器係數集合。在一些實例中,視訊寫碼器可針對定向邊緣使用第一參數集合(例如,β、tC
)且針對非定向邊緣使用第二不同濾波器係數集合。 在一些實例中,視訊寫碼器應用濾波程序之多個遍次。對於每一遍次,視訊寫碼器自包括定向/非定向邊緣兩者之邊緣候選者清單選擇僅一個定向邊緣。在一個實例中,保持HEVC設計中之兩遍次濾波(首先為垂直邊緣,接著為水平邊緣)。換言之,視需要,視訊寫碼器第一次可將解塊濾波器應用於垂直邊緣且第二次接著可將解塊濾波器應用於水平邊緣。然而,在此實例中,對於每一遍次,可預選擇包括定向邊緣之邊緣中之一者。亦即,可在無任何傳信之情況下預定義待針對每一遍次而濾波之邊緣之次序。在一些實例中,視訊寫碼器應用濾波程序之多個遍次,其中視訊寫碼器單獨地濾波定向及非定向邊緣。在一個實例中,第一兩個遍次與HEVC設計中相同。然而,在此實例中,視訊寫碼器可另外進一步應用一或多個定向邊緣之濾波。在一些實例中,對於待濾波之對角線邊緣(亦即,定向邊緣),本發明提議僅位於當前CU或CTU或截塊或影像塊內之樣本可用於濾波其他樣本或可被濾波。 對於不同分量,可應用相同或不同濾波方向。舉例而言,分量Cb/Cr (亦即,色度分量)可共用與分量Y (亦即,明度分量)相同之濾波方向。在一些實例中,當全部三個色彩分量應濾波相同邊緣方向時,濾波方向可僅由分量Y判定,或藉由考慮所有分量而判定。在另一實例中,分量Cb/Cr可應用其自己的程序以判定其自己的濾波方向,該濾波方向可能不同於分量Y之濾波方向。 在一些實例中,對於解塊濾波程序之每一遍次,可將一或多個邊緣列出為候選者且將待針對每一遍次而濾波之所有允許邊緣添加至邊緣候選者清單。邊緣候選者清單對於不同遍次可能不同,或可取決於色彩分量。在一個實例中,對於第一遍次,將垂直邊緣及定向邊緣添加至邊緣候選者清單,而對於第二遍次,將水平邊緣及定向邊緣添加至邊緣候選者清單。若多於一個邊緣包括於邊緣候選者清單中,則規則可被定義為選擇該等邊緣中之一者以用於濾波程序。 在一個實例中,對於每一邊緣,視訊寫碼器計算位於Q及P區塊中之樣本之間沿著邊緣方向之絕對差總和,由grad
表示。視訊寫碼器將提供grad
之最小值的邊緣選擇為待濾波之邊緣。如下給出用於使用4行以計算grad
值之實例:grad
=在一個實例中,、被定義為沿著邊緣方向之樣本。在一個實例中,用於第一遍次之邊緣候選者清單包括45度邊緣及90度邊緣(垂直邊界),且用於第二遍次之另一邊緣候選者清單包括用於第一遍次之邊緣候選者清單,包括135度邊緣及0度邊緣(水平邊界)。 在一個實例中,對於每一邊緣,視訊寫碼器計算位於Q及/或P區塊中之樣本之間的1-D拉普拉斯總和,由grad
表示。視訊寫碼器將提供grad
之最小值的邊緣選擇為待濾波之邊緣。如下給出用於在P區塊及Q區塊兩者中使用四行以計算grad
值之實例:grad
=如下給出用於在Q區塊中使用四行以計算grad
值之另一實例:grad
=在一些實例中,當定向邊緣提供grad
之最小值時,視訊寫碼器可進一步應用臨限值或按比例調整因數。亦即,僅當定向邊緣之grad
加臨限值(或由按比例調整因數按比例調整)亦小於邊緣候選者清單中之非定向邊緣之grad
時,視訊寫碼器才可自邊緣候選者清單選擇定向邊緣。否則,視訊寫碼器自邊緣候選者清單選擇非定向邊緣。 在一個實例中,視訊寫碼器可僅使用當前CU、當前LCU、當前影像塊或當前截塊內之樣本以決定待自邊緣候選者清單濾波之邊緣。在一個實例中,若樣本屬於不同CU或LCU/影像塊/截塊,則其不用於邊緣決策程序中,諸如用於grad
程序之計算中。在一些實例中,視訊寫碼器可使用P區塊及Q區塊外部之樣本以決定待濾波之邊緣。 在一個實例中,邊緣決策(亦即,方向決策)及濾波決策(強/弱、多少樣本)可以不同粒度而執行。在一個實例中,濾波決策係基於P區塊及/或Q區塊內之一或多個行,而方向決策係基於涵蓋P及/或Q之較大區塊(例如,8行)且較大區塊內之所有區塊共用相同濾波方向。 在一個實例中,濾波方向係以相同方式在視訊編碼器20及視訊解碼器30兩者處導出。在另一實例中,濾波方向係在視訊編碼器20處導出,且在序列層級、圖像層級、截塊層級、影像塊層級、LCU層級、CU層級、PU層級或TU層級處傳信至視訊解碼器30。 在一個實例中,如在一些條件下在HEVC中,濾波方法滾動回至非定向方法。條件可包括但未必限於以下各者中之一或多者:QP大於或低於臨限值;梯度值(例如,如上文所計算之grad
)大於或低於臨限值;運動向量大於或低於臨限值;區塊大小大於或低於臨限值;區塊之寬度及/或高度大於或低於臨限值。 在一個實例中,對於水平邊緣或與水平邊緣交叉之定向邊緣,由視訊寫碼器使用以判定Bs之值的P區塊及Q區塊可相同,亦即,當前區塊(Q)及上方區塊(P)。在一些實例中,對於垂直邊緣或與垂直邊緣交叉之定向邊緣,由視訊寫碼器使用以判定Bs之值的P區塊及Q區塊可相同,亦即,當前區塊(Q)及左側區塊(P)。在一些實例中,始終根據邊緣方向而選擇P及Q。 在本發明之第二態樣中,代替在DF中應用1維濾波器,視訊寫碼器可應用2維(2D)濾波器。2維濾波器可基於經濾波樣本上方/下方及左側/右側之樣本之值而判定經濾波樣本之值。在一些實例中,多個2-D濾波器集合可被預定義或在位元串流中被傳信。此外,在一些實例中,視訊寫碼器可應用關於本發明之第一態樣所描述之前述濾波器邊緣偵測程序中之任一者。IEEE PCS 2016,Marta Karczewicz、Li Zhang、Wei-Jung Chien、Xiang Li之「Geometry Transformation-based Adaptive In-Loop Filter」描述基於幾何變換之調適性迴路內濾波(GALF)。視訊寫碼器可進一步應用如GALF中之幾何變換以執行濾波程序。 在本發明之第三態樣中,視訊寫碼器可直接在CU被解碼及重建之後(代替在截塊被解碼及重建之後)執行解塊濾波器程序。根據本發明之一種技術,視訊寫碼器在視訊寫碼器已解碼及重建CU之後濾波CU中之像素。為了重建下一CU,視訊寫碼器之重建程序可存取經先前解碼CU中之經濾波像素值及/或未經濾波值。 當應用多邊緣DF時,若在方向決策/濾波器決策/濾波程序中使用之樣本不可用(例如,尚未被解碼,在同一截塊/CTU列外部),則以下技術可適用: 1) 可使用最接近的可用樣本來填補不可用樣本。 2) 可使用沿著方向之最接近的可用樣本來填補不可用樣本。 3) 可根據可用樣本而調適性地選擇濾波器(例如,濾波器分接頭、濾波方向)。亦即,對於不同行,濾波器甚至在相同所選擇邊緣方向之情況下仍可能不同。 4) 若相鄰樣本不可用,則可停用用於某些樣本之濾波。 在本發明之第四態樣中,對於涵蓋待濾波邊界之兩個相鄰區塊(諸如圖8中之P及Q),視訊寫碼器可使用解塊濾波器程序中使用之不同參數集合(例如,tC
及β)以判定是否濾波,及/或決定將濾波多少樣本,及/或決定將應用哪一種類之濾波器。在一個實例中,當判定最接近於區塊P或Q之邊界的兩個像素或1個像素時,代替僅僅使用一個參數β而使用不同參數(β0及β1): 若dp0 + dp3 < (β0 + ( β0 >> 1 )) >> 3,則將變數dEp1設定為等於1,可在區塊P中修改最接近於區塊邊界之兩個像素。 若dq0 + dq3 < (β1 + ( β1 >> 1 )) >> 3,則將變數dEq1設定為等於1,可在區塊Q中修改最接近於區塊邊界之兩個像素。 在一個實例中,視訊寫碼器可取決於經寫碼模式資訊(框內或框間模式)而針對每一區塊選擇一個參數集合。在一個實例中,視訊寫碼器可取決於與區塊相關聯之CBF值等於1抑或0而針對每一區塊選擇一個參數集合。在一個實例中,視訊寫碼器可取決於諸如變換類型、預測方向、運動資訊等等之其他資訊而針對每一區塊選擇一個參數集合。 在可使用多個參數集合之實例中,視訊寫碼器可應用以下實例中所描述之程序以導出多個參數集合。在一個實例中,多個參數集合可經由多個查找表集合而預定義。在此實例中,每一查找表定義解塊濾波器參數(例如,β及tC
)與量化參數之間的關係。上表1為查找表之一個實例,其中可運用給定量化參數作為輸入而自查找表導出參數(例如,β及tC
)。在另一實例中,在輸入參數Q
之導出根據參數集之選擇規則而可能不同時,使用一個查找表(例如,表1)。舉例而言,在如下導出最終參數(例如,β及tC
)時,利用查找表(例如,表1): 如下自β'導出變數β: β = β' * ( 1 << ( BitDepthY
− 8 ) ) + (Intra blocks? 2: 0) 如下自tC
'導出變數tC
: tC
= tC
' * ( 1 << ( BitDepthY
− 8 ) ) + (Intra blocks? 2: 0) 在一些實例中,可傳信或導出及使用多個語法元素集合(例如,slice_beta_offset_div2及/或slice_tc_offset_div2)以判定參數集合。 如上文所提及,視訊編碼器20可傳信針對β及tC
之預設解塊參數偏移(例如,使用pps_beta_offset_div2、pps_tc_offset_div2、slice_beta_ offset_div2及/或slice_tc_offset_div2語法元素)。視訊寫碼器可使用預設解塊參數偏移以判定接著可由視訊寫碼器使用以在諸如表1之查找表中查找β及tC
之值的Q之值。在HEVC中,PPS層級預設解塊參數偏移之傳信取決於解塊濾波器是否在參考PPS之截塊中被啟用。此外,在HEVC中,截塊層級預設解塊參數偏移之傳信取決於解塊濾波器是否針對個別截塊片段被啟用。 在本發明之第四態樣之一些實例中,解塊參數之一或多個預設偏移值可被預定義或傳信,此可取決於諸如ALF之其他迴路內濾波器之啟用/停用。因此,預設解塊參數偏移之傳信可代替地或另外取決於其他類型之迴路內濾波器被啟用抑或停用,而非取決於解塊濾波器被啟用。在一個實例中,當ALF被停用時,slice_beta_offset_div2及/或slice_tc_offset_div2之預設偏移值被設定為0。在一個實例中,當ALF被停用時,slice_beta_offset_div2及/或slice_tc_offset_div2之預設偏移值被設定為 -2。在一個實例中,當ALF被啟用時,slice_beta_offset_div2及/或slice_tc_offset_div2之預設偏移值可被設定為非零值。非零值可被預定義或傳信。非零值根據截塊類型或基於區塊之CU模式而可能不同。在一些實例中,此外,預設解塊參數偏移取決於截塊類型及/或低延遲檢查。低延遲檢查可檢查諸如HEVC規格中之NoBackwardPredFlag之旗標之值,其指示用於當前圖像中之一個截塊之所有參考圖像是否與大於或等於當前圖像之POC值的圖像次序計數(POC)值相關聯。舉例而言,用於I及B/P截塊之slice_tc_offset_div2之預設偏移值可分別被設定為-6及-4。 根據本發明之第五態樣,除了CU/PU/TU邊界以外,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)亦可在一個區塊被分裂成多個子PU且每一子PU具有其自己的運動資訊時濾波子PU (或被命名為子CU)邊界。因此,在一個實例中,視訊寫碼器可基於CU之PU之第一子PU之運動資訊而產生用於第一子PU之預測性區塊。在此實例中,視訊寫碼器可基於PU之第二子PU之運動資訊而產生用於第二子PU之預測性區塊。在此實例中,CU可具有一或多個PU。此外,在此實例中,視訊寫碼器可將解塊濾波器應用於第一子PU與第二子PU之間的邊界處的用於第一子PU之預測性區塊及用於第二子PU之預測性區塊的樣本。本發明可將在子PU之間但不在CU、PU或TU之間的邊界稱作「內部邊界」。 此外,在本發明之第五態樣之一些實例中,當運用ATMVP模式、STMVP模式或FRUC雙側匹配來寫碼一個區塊時,視訊寫碼器可濾波子PU邊界,其中區塊係運用多個子PU被寫碼。在一些實例中,視訊寫碼器藉由僅僅檢查內部邊界之任一側上之子PU之運動資訊而判定與內部邊界相關聯之Bs值。在一個實例中,所提議的用於將解塊濾波器應用於內部邊界之技術可僅應用於明度分量,或某些CU大小。舉例而言,若CU之大小低於特定臨限值,則視訊寫碼器不將解塊濾波器應用於CU之子PU之間的內部邊界。此外,在一些實例中,當當前CU、PU或TU之CBF等於1 (亦即,在當前CU、PU或TU中存在至少一個非零係數)時,始終停用子PU邊界之濾波。 在本發明之第五態樣之一個實例中,用於內部邊界之濾波可應用於某些色彩分量(例如,僅明度分量),及/或應用於某些區塊大小而非其他區塊大小,及/或某些類型之圖像(例如,可進一步用作參考圖像之圖像)而非其他類型之圖像。 在本發明之第五態樣之一些實例中,當應用重疊變換時(亦即,當一個TU含有一或多個CU/PU時),當TU中存在多於一個非零係數時始終停用解塊濾波器至惟TU邊界除外之CU/PU邊界之應用。在此狀況下,惟TU邊界除外之彼等CU或PU邊界亦可被視為內部邊界。 另外,在本發明之第五態樣之一些實例中,CU、PU或TU邊界及內部邊界可使用不同濾波器。舉例而言,相比於針對CU、PU或TU邊界,視訊寫碼器可針對內部邊界應用較弱濾波器。 本發明之第六態樣係關於使用經解塊濾波像素來判定寫碼模式。如上文所提及,在HEVC參考軟體中,視訊編碼器藉由最佳化速率-失真成本而決定CU模式及CU分割模式(例如,如何將CTU分裂成多個CU/TU/PU)。換言之,視訊編碼器可基於速率-失真成本而判定使用框間預測抑或框間預測來編碼CU,且亦可基於速率-失真成本而判定如何將CTU分割成CU。CU分割模式之實例類型可包括基於四元樹之分裂模式、基於二元樹之分裂模式,或基於三元樹之分裂模式,或無進一步分裂。此外,實例分割模式可包括對稱分裂模式,或不對稱分裂模式,或無進一步分裂。 視訊編碼器可將速率-失真成本計算為:在上述方程式中,J
為速率-失真成本,D
為失真值,R
為指示在CU之經編碼表示中使用之位元之數目的速率值,且λ
為拉格朗日乘數。失真值為CU之經解碼版本與CU之原始版本之間的差的度量。在一些實例中,視訊編碼器20可將失真值計算為均方誤差(MSE)。視訊編碼器20可將MSE計算為:在上述方程式中,n
表示當前區塊中之像素的數目,Y為當前區塊之原始像素的向量,且為經重建像素之向量。在HEVC參考軟體中,基於未經濾波重建像素之值與原始像素之值的差而計算失真值。 根據本發明之技術,代替使用未經濾波重建像素值,視訊編碼器20可基於經解塊濾波重建像素及原始像素之值而計算失真值。舉例而言,視訊編碼器20可基於經解塊濾波重建像素之值與原始像素之值的差而計算失真值。此可提供更準確的失真資訊,很大程度上可引起效能改良。 因此,在根據本發明之技術之一個實例中,視訊編碼器20重建像素。舉例而言,視訊編碼器20可重建CU之寫碼區塊中之樣本。此外,在此實例中,視訊編碼器20可將解塊濾波器應用於經重建像素以導出經解塊濾波重建像素。舉例而言,視訊編碼器20可應用如在本發明中別處所提供之實例中之任一者中所描述的解塊濾波器。此外,視訊編碼器20可基於經解塊濾波重建像素及原始像素之值(例如,此等值之差)而計算一或多個失真值。視訊編碼器20可基於所計算失真值而選擇編碼模式。舉例而言,視訊編碼器20可判定是否在位元串流中包括CU之經框間預測版本或CU之經框內預測版本。 在本發明之第六態樣之一些實例中,當編碼器藉由經解塊濾波重建像素及原始像素之值而計算失真值時,視訊編碼器20僅考慮經解塊濾波像素之部分以用於速率-失真(RD)成本計算。在一個實例中,視訊編碼器20僅考慮當前區塊(例如,CU、PU或TU)內之像素之失真以用於速率-失真(RD)成本計算。不計算當前區塊外部之像素之失真以簡化RD計算。 舉例而言,將解塊濾波器應用於區塊之邊緣可修改不同區塊中之邊緣之另一側上之樣本的值。然而,當計算與區塊之不同分割模式(例如,CTU分裂結構)或區塊之不同CU模式相關聯的RD成本時,視訊編碼器20不考慮藉由修改邊緣之另一側上之樣本之值而產生的失真。此係因為可能低效的是使視訊編碼器20返回且改變先前由視訊編碼器20編碼之區塊之分割模式或CU模式。 在一些實例中,當視訊編碼器20應用多邊緣DF時,若在方向決策程序、濾波器決策程序或濾波程序中使用之一或多個樣本不可用(例如,視訊編碼器20尚未解碼該等樣本,該等樣本在同一截塊或CTU列外部,或該等樣本以其他方式不可用),則視訊編碼器20可應用以下方法: 1) 使用原始樣本以替換彼等不可用樣本。 2) 可使用最接近的可用樣本以填補不可用樣本。 3) 可使用沿著方向之最接近的可用樣本以填補不可用樣本。 4) 可根據可用樣本而調適性地選擇濾波器(例如,濾波器分接頭)。舉例而言,視訊寫碼器可使用解塊濾波器中之較少分接頭以便避免基於不可用樣本之濾波。 5) 若相鄰樣本不可用,則視訊寫碼器可針對某些樣本停用濾波。 根據本發明之第五態樣之實例,當運用將一個CU分裂成多個子PU之寫碼工具來寫碼一個CU且該等子PU中之每一者可具有其自己的運動資訊時,子PU邊界(排除為CU邊界之部分的邊界)被定義為內部邊界。圖12繪示根據本發明之一或多種技術的應用於垂直邊緣之內部邊界之解塊濾波之實例。圖12之實例展示四個CU 1200、1202、1204及1206。CU 1206具有一或多個PU且被進一步分割成四個子PU。四個子PU之間的邊界在圖12中被展示為虛線。 在一個實例中,如下給出針對內部邊界(子PU之邊界)及CU邊界之檢查:對於CU邊界,當P及Q兩者可用時,視訊寫碼器可使用與HEVC/JEM相同之操作(其在圖7及圖10中被描繪)以判定Bs之值。對於內部邊界,在一個實例中,視訊寫碼器僅考慮P及Q之運動資訊以判定Bs之值。圖13繪示用於僅使用P及Q之運動資訊來判定Bs之值的一個實例操作。因此,圖13為根據本發明之一或多種技術的用於內部邊界之Bs計算之實例流程圖。 在圖13之實例中,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可判定P及Q是否具有不同參考圖像(1300)。回應於判定P及Q具有不同參考圖像(1300之「是」分支),視訊寫碼器可將Bs設定為等於1 (1302)。否則,回應於判定P及Q不具有不同參考圖像(1300之「否」分支),視訊寫碼器判定P及Q是否具有不同數目個運動向量(1304)。回應於判定P及Q具有不同數目個運動向量(1304之「是」分支),視訊寫碼器可將Bs設定為等於1 (1302)。回應於判定P及Q不具有不同數目個運動向量(1304之「否」分支),視訊寫碼器可判定P之第一運動向量(亦即,MV_Ph
)與Q之第一運動向量(亦即,MV_Qh
)之間的差的絕對值是否大於或等於值K或P之第二運動向量(亦即,MV_Pv
)與Q之第二運動向量(亦即,MV_Qv
)之間的差的絕對值是否大於或等於K (1306)。若如此(1306之「是」分支),則視訊寫碼器可判定Bs等於1 (1302)。否則(1306之「否」分支),視訊寫碼器可判定Bs等於0 (1308)。 在一些實例中,視訊寫碼器首先檢查當前區塊之CBF。在此等實例中,若當前區塊之CBF等於1 (亦即,當前CU內之至少一個非零係數),則視訊寫碼器直接將Bs設定為0,亦即,應用無濾波。在一些實例中,當視訊寫碼器因為一或多個相鄰區塊遺失或不可用而不能濾波CU邊界時(諸如當CU垂直邊界為截塊或圖像邊界之部分時),亦不允許沿著濾波器方向的內部邊界之濾波。亦即,Bs始終被設定為0,此可意謂應用無濾波。多個參數集合
如上文關於本發明之第四態樣所描述,不同參數集合可在解塊程序中用於相鄰區塊P及Q。可以各種方式實施根據本發明之第四態樣之實例。舉例而言,在本發明之第四態樣之第一實例實施方案中,如下定義根據ALF接通/關斷旗標而用於解塊濾波器中之多個參數集合。下文指示對用以實施此實例的2016年2月19日至26日,美國聖地亞哥,ITU-T SG 16 WP 3及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合合作小組(JCT-VC),第23次會議,Joshi等人之「High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 6」,文件JCTVC-W1005 (下文中,「JCTVC-W1005」)的改變。特定而言,在<CHANGE> </CHANGE>標籤(例如,<CHANGE> … </CHANGE>)之間指示對JCTVC-W1005之改變。在JCTVC-W1005中,上表1被稱作表8-12。8.7.2.5.3 用於明度區塊邊緣之決策程序
至此程序之輸入為: - 明度圖像樣本陣列recPictureL
, - 明度位置(xCb、yCb),其指定相對於當前圖像之左頂部明度樣本的當前明度寫碼區塊之左頂部樣本, - 明度位置(xBl、yBl),其指定相對於當前明度寫碼區塊之左頂部樣本的當前明度區塊之左頂部樣本, - 變數edgeType,其指定濾波垂直(EDGE_VER)邊緣抑或水平(EDGE_HOR)邊緣, - 變數bS,其指定邊界濾波強度。 此程序之輸出為: - 含有決策之變數dE、dEp及dEq, - 變數β及tC
。 若edgeType等於EDGE_VER,則如下導出樣本值pi,k
及qi,k
,其中i = 0..3且k = 0及3: qi,k
= recPictureL
[ xCb + xBl + i ][ yCb + yBl + k ] (8-345) pi,k
= recPictureL
[ xCb + xBl - i - 1 ][ yCb + yBl + k ] (8-346) 否則(edgeType等於EDGE_HOR),如下導出樣本值pi,k
及qi,k
,其中i = 0..3且k = 0及3: qi,k
= recPictureL
[ xCb + xBl + k ][ yCb + yBl + i ] (8-347) pi,k
= recPictureL
[ xCb + xBl + k ][ yCb + yBl - i - 1 ] (8-348) 將變數QpQ
及QpP
設定為等於寫碼單元之QpY
值,寫碼單元包括分別含有樣本q0,0
及p0,0
之寫碼區塊。 如下導出變數qPL
: qPL
= ( ( QpQ
+ QpP
+ 1 ) >> 1 ) (8-349) 基於如下所導出之明度量化參數Q而如表8-12中所指定來判定變數β'之值: Q = Clip3( 0, 51, qPL
+ ( slice_beta_offset_div2 << 1 ) ) (8-350) 其中slice_beta_offset_div2為用於含有樣本q0,0
之截塊之語法元素slice_beta_offset_div2的值。 如下導出變數β: β = β' * ( 1 << ( BitDepthY
- 8 ) ) (8-351) 基於如下所導出之明度量化參數Q而如表8-12中所指定來判定變數tC
'之值: Q = Clip3( 0, 53, qPL
+ 2 * ( bS - 1 ) + ( slice_tc_offset_div2 <CHANGE>+ default_tc_offset</CHANGE>) << 1 ) ) (8-352) 其中slice_tc_offset_div2為用於含有樣本q0,0
之截塊之語法元素slice_tc_offset_div2的值。 如下導出變數tC
: tC
= tC
' * ( 1 << ( BitDepthY
- 8 ) ) (8-353)<CHANGE>default_tc_offset</CHANGE>
在ALF針對當前截塊停用時被設定為0,在ALF啟用且當前截塊為I截塊時被設定為-6,在ALF啟用且當前截塊為P截塊或B截塊時被設定為-4。 替代地,可使用下式以替換方程式(8-352): Q = Clip3( 0, 53, qPL
+ 2 * ( bS - 1 ) <CHANGE> + default_tc_offset</CHANGE> + ( slice_tc_offset_div2) << 1 ) ) (8-352) 根據本發明之第四態樣之第一實例實施方案,在一個實例中,視訊編碼器20可設定預設偏移值(例如,default_tc_offset)。視訊編碼器20在調適性迴路濾波(ALF)針對當前截塊停用時將預設偏移值設定為第一值(例如,0),在ALF針對當前截塊啟用且當前截塊為I截塊時將預設偏移值設定為第二值(例如,-6),且在ALF針對當前截塊啟用且當前截塊為P截塊或B截塊時將預設偏移值設定為第三值(例如,-4)。此外,視訊編碼器20可基於預設偏移值而判定解塊濾波器參數(例如,如上文所展示之方程式8-352、表8-12、方程式8-353之任一版本中所展示)。視訊編碼器20亦可基於解塊濾波器參數而判定解塊濾波器。視訊編碼器20可將經判定解塊濾波器應用於當前截塊之樣本。在一些情況下,視訊編碼器20可以在上述標記為「4行之濾波器接通/關斷決策」、「用於4行之強/弱濾波器選擇」、「強濾波」、「弱濾波」及「色度濾波」之章節中所描述的方式判定解塊濾波器且應用經判定解塊濾波器。在其他實例中,視訊編碼器20可以其他方式判定及應用解塊濾波器。 相似地,根據本發明之第四態樣之第一實例實施方案,在一個實例中,視訊解碼器30設定預設偏移值。視訊解碼器30在調適性迴路濾波(ALF)針對當前截塊停用時將預設偏移值設定為第一值(例如,0),在ALF針對當前截塊啟用且當前截塊為I截塊時將預設偏移值設定為第二值(例如,-6),且在ALF針對當前截塊啟用且當前截塊為P截塊或B截塊時將預設偏移值設定為第三值(例如,-4)。視訊解碼器30可基於預設偏移值而判定解塊濾波器參數(例如,如上文所展示之方程式8-352、表8-12、方程式8-353之任一版本中所展示)。此外,在此實例中,視訊解碼器30可基於解塊濾波器參數而判定解塊濾波器。視訊解碼器30可將經判定解塊濾波器應用於當前截塊之樣本。在一些情況下,視訊解碼器30可以在上述標記為「4行之濾波器接通/關斷決策」、「用於4行之強/弱濾波器選擇」、「強濾波」、「弱濾波」及「色度濾波」之章節中所描述的方式判定解塊濾波器且應用經判定解塊濾波器。在其他實例中,視訊解碼器30可以其他方式判定及應用解塊濾波器。 根據本發明之第四態樣之第二實例實施方案,現有HEVC規格JCTVC-W1005中之slice_tc_offset_div2可由具有相同截塊類型或時間層之先前截塊中的先前slice_tc_offset_div2值預測。 在本發明之第四態樣之第二實施方案之一個實例中,視訊寫碼器(例如,視訊編碼器20或視訊解碼器30)可基於先前截塊之偏移值而判定當前截塊之偏移值(例如,slice_tc_offset_div2)。在此實例中,以下各者中之至少一者適用:先前截塊及當前截塊屬於相同截塊類型,或先前截塊及當前截塊屬於相同時間層。此外,在此實例中,視訊寫碼器可基於當前截塊之偏移值而判定解塊濾波器參數(例如,β及tC
)。視訊寫碼器可藉由判定如方程式8-352中所展示之Q且使用Q以查找表(例如,表8-12)中之解塊濾波器參數來判定解塊濾波器參數。此外,在此實例中,視訊寫碼器可基於解塊濾波器參數而判定解塊濾波器。視訊寫碼器可將經判定解塊濾波器應用於視訊資料之圖像之樣本。在一些情況下,視訊寫碼器可以在上述標記為「4行之濾波器接通/關斷決策」、「用於4行之強/弱濾波器選擇」、「強濾波」、「弱濾波」及「色度濾波」之章節中所描述的方式判定解塊濾波器且應用經判定解塊濾波器。在其他實例中,視訊解碼器可以其他方式判定及應用解塊濾波器。 根據本發明之第四態樣之第三實例實施方案,解塊濾波器中使用之多個參數集合係根據如下所給出的ALF接通/關斷旗標而定義。下文在<CHANGE> </CHANGE>標籤(例如,<CHANGE> … </CHANGE>)之間指示用以實現本發明之第四態樣之第三實施方案的相較於現有HEVC規格JCTVC-W1005之改變。5.2.3.1.1 用於明度區塊邊緣之決策程序
至此程序之輸入為: - 明度圖像樣本陣列recPictureL
, - 明度位置(xCb、yCb),其指定相對於當前圖像之左頂部明度樣本的當前明度寫碼區塊之左頂部樣本, - 明度位置(xBl、yBl),其指定相對於當前明度寫碼區塊之左頂部樣本的當前明度區塊之左頂部樣本, - 變數edgeType,其指定濾波垂直(EDGE_VER)邊緣抑或水平(EDGE_HOR)邊緣, - 變數bS,其指定邊界濾波強度。 此程序之輸出為: - 含有決策之變數dE、dEp及dEq, - 變數β及tC
。 若edgeType等於EDGE_VER,則如下導出樣本值pi,k
及qi,k
,其中i = 0..3且k = 0及3: qi,k
= recPictureL
[ xCb + xBl + i ][ yCb + yBl + k ] (0-1) pi,k
= recPictureL
[ xCb + xBl - i - 1 ][ yCb + yBl + k ] (0-2) 否則(edgeType等於EDGE_HOR),如下導出樣本值pi,k
及qi,k
,其中i = 0..3且k = 0及3: qi,k
= recPictureL
[ xCb + xBl + k ][ yCb + yBl + i ] (0-3) pi,k
= recPictureL
[ xCb + xBl + k ][ yCb + yBl - i - 1 ] (0-4) 將變數QpQ
及QpP
設定為等於寫碼單元之QpY
值,寫碼單元包括分別含有樣本q0,0
及p0,0
之寫碼區塊。 如下導出變數qPL
: qPL
= ( ( QpQ
+ QpP
+ 1 ) >> 1 ) (0-5) 基於如下所導出之明度量化參數Q而如表8-12中所指定來判定變數β'之值: Q = Clip3( 0, 51, qPL
+ ( slice_beta_offset_div2 << 1 ) ) (0-6) 其中slice_beta_offset_div2為用於含有樣本q0,0
之截塊之語法元素slice_beta_offset_div2的值。 如下導出變數β: β = β' * ( 1 << ( BitDepthY
- 8 ) ) (8-351) 基於如下所導出之明度量化參數Q而如表8-12中所指定來判定變數tC
'之值: Q = Clip3( 0, 53, qPL
+ 2 * ( bS - 1 ) + ( slice_tc_offset_div2 <CHANGE>+ default_tc_offset</CHANGE>) << 1 ) ) (0-7) 其中slice_tc_offset_div2為用於含有樣本q0,0
之截塊之語法元素slice_tc_offset_div2的值。 如下導出變數tC
: tC
= tC
' * ( 1 << ( BitDepthY
- 8 ) ) (0-8) <CHANGE>default_tc_offset
</CHANGE>在ALF針對當前截塊停用時被設定為-2,在ALF啟用且當前截塊為I截塊時被設定為<CHANGE>intra_slice_tc_offset_div2
</CHANGE>,在ALF啟用且當前截塊為P截塊或B截塊時被設定為<CHANGE>inter_slice_ tc_offset_div2
</CHANGE>。 替代地,可使用下式以替換方程式(8-352): Q = Clip3( 0, 53, qPL
+ 2 * ( bS - 1 ) <CHANGE>+ default_tc_offset</ CHANGE> + ( slice_tc_offset_div2) << 1 ) ) (0-9) 下表指示根據本發明之第四態樣之第三實例實施方案的對JCTVC-W1005中所定義之SPS之實例改變。
根據本發明之第四態樣之第三實例實施方案,在一個實例中,視訊編碼器20可在包括於包含視訊資料之經編碼表示之位元串流中的參數集(例如,SPS、PPS)中包括框內截塊偏移語法元素(例如,intra_slice_tc_offset_div2)及框間截塊偏移語法元素。另外,在此實例中,視訊編碼器20可設定預設偏移值(例如,default_tc_offset)。當ALF啟用且當前截塊為I截塊時,視訊編碼器20將預設偏移值設定為框內截塊偏移語法元素之值。當當前截塊為P截塊或B截塊時,視訊編碼器20將預設偏移值設定為框間截塊偏移語法元素之值。此外,視訊編碼器20可基於預設偏移值而判定解塊濾波器參數(例如,如上文所展示之方程式8-352、表8-12、方程式8-353之任一版本中所展示)。視訊編碼器20亦可基於解塊濾波器參數而判定解塊濾波器。視訊編碼器20可將經判定解塊濾波器應用於當前截塊之樣本。在一些情況下,視訊編碼器20可以在上述標記為「4行之濾波器接通/關斷決策」、「用於4行之強/弱濾波器選擇」、「強濾波」、「弱濾波」及「色度濾波」之章節中所描述的方式判定解塊濾波器且應用經判定解塊濾波器。在其他實例中,視訊編碼器20可以其他方式判定及應用解塊濾波器。 相似地,根據本發明之第四態樣之第三實例實施方案,在一個實例中,視訊解碼器30自包括於包含視訊資料之經編碼表示之位元串流中的參數集(例如,SPS、PPS)獲得框內截塊偏移語法元素(例如,intra_slice_tc_offset_div2)及框間截塊偏移語法元素(例如,inter_slice_tc_offset_div2)。另外,在此實例中,視訊解碼器30可設定預設偏移值。當ALF啟用且當前截塊為I截塊時,視訊解碼器30將預設偏移值設定為框內截塊偏移語法元素之值。當當前截塊為P截塊或B截塊時,視訊解碼器30將預設偏移值設定為框間截塊偏移語法元素之值。視訊解碼器30可基於預設偏移值而判定解塊濾波器參數(例如,如上文所展示之方程式8-352、表8-12、方程式8-353之任一版本中所展示)。此外,在此實例中,視訊解碼器30可基於解塊濾波器參數而判定解塊濾波器。視訊解碼器30可將經判定解塊濾波器應用於當前截塊之樣本。在一些情況下,視訊解碼器30可以在上述標記為「4行之濾波器接通/關斷決策」、「用於4行之強/弱濾波器選擇」、「強濾波」、「弱濾波」及「色度濾波」之章節中所描述的方式判定解塊濾波器且應用經判定解塊濾波器。在其他實例中,視訊解碼器30可以其他方式判定及應用解塊濾波器。 圖14為繪示可實施本發明之技術之實例視訊編碼器20的方塊圖。圖14係出於闡釋之目的而提供,且不應被視為限制如本發明中廣泛地例示及描述之技術。本發明之技術可適用於各種寫碼標準或方法。 處理電路系統包括視訊編碼器20,且視訊編碼器20經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言,視訊編碼器20包括積體電路系統,且圖14所繪示之各種單元可被形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為單獨電路區塊,或該等單元中之兩者或多於兩者可組合成共用硬體電路區塊。硬體電路區塊可被形成為電組件之組合,該等電組件形成諸如算術邏輯單元(ALU)、基本功能單元(EFU)之操作區塊,以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他相似邏輯區塊之邏輯區塊。 在一些實例中,圖14所繪示之單元中之一或多者可為在處理電路系統上執行之軟體單元。在此等實例中,用於此等軟體單元之物件碼儲存於記憶體中。作業系統可致使視訊編碼器20擷取物件碼且執行物件碼,此使視視訊編碼器20執行用以實施實例技術之操作。在一些實例中,軟體單元可為視訊編碼器20在啟動時執行之韌體。因此,視訊編碼器20為具有執行實例技術之硬體或具有在硬體上執行以特殊化硬體來執行實例技術之軟體/韌體的結構組件。 在圖14之實例中,視訊編碼器20包括預測處理單元1400、視訊資料記憶體1401、殘餘產生單元1402、變換處理單元1404、量化單元1406、反量化單元1408、反變換處理單元1410、重建單元1412、濾波器單元1414、經解碼圖像緩衝器1416,及熵編碼單元1418。預測處理單元1400包括框間預測處理單元1420及框內預測處理單元1426。框間預測處理單元1420可包括運動估計單元及運動補償單元(未圖示)。 視訊資料記憶體1401可經組態以儲存待由視訊編碼器20之組件編碼的視訊資料。可例如自視訊源18 (圖1)獲得儲存於視訊資料記憶體1401中之視訊資料。經解碼圖像緩衝器1416可為儲存供視訊編碼器20用來例如在框內或框間寫碼模式中編碼視訊資料之參考視訊資料的參考圖像記憶體。視訊資料記憶體1401及經解碼圖像緩衝器1416可由多種記憶體器件中之任一者形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體1401及經解碼圖像緩衝器1416。在各種實例中,視訊資料記憶體1401可與視訊編碼器20之其他組件一起在晶片上,或相對於彼等組件在晶片外。視訊資料記憶體1401可與圖1之儲存媒體19相同或為圖1之儲存媒體19之部分。 視訊編碼器20接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之截塊中之每一CTU。該等CTU中之每一者可與圖像之相等大小的明度寫碼樹型區塊(CTB)及對應CTB相關聯。作為編碼CTU之部分,預測處理單元1400可執行分割以將CTU之CTB分割成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言,預測處理單元1400可根據樹結構而分割與CTU相關聯之CTB。 視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即,經寫碼CU)。作為編碼CU之部分,預測處理單元1400可在CU之一或多個PU當中分割與CU相關聯之寫碼區塊。因此,每一PU可與明度預測區塊及對應色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示,CU之大小可指CU之明度寫碼區塊的大小,且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N,則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小,及用於框間預測的2N×2N、2N×N、N×2N、N×N或相似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的非對稱分割。 框間預測處理單元1420可產生用於PU之預測性資料。作為產生PU之預測性資料之部分,框間預測處理單元1420對PU執行框間預測。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。取決於PU在I截塊、P截塊抑或B截塊中,框間預測處理單元1420可針對CU之PU執行不同操作。在I截塊中,所有PU被框內預測。因此,若PU在I截塊中,則框間預測處理單元1420不對PU執行框間預測。因此,對於I模式中編碼之區塊,使用來自同一圖框內之經先前編碼相鄰區塊的空間預測來形成經預測區塊。若PU在P截塊中,則框間預測處理單元1420可使用單向框間預測以產生PU之預測性區塊。若PU在B截塊中,則框間預測處理單元1420可使用單向或雙向框間預測以產生PU之預測性區塊。 框內預測處理單元1426可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元1426可對I截塊、P截塊及B截塊中之PU執行框內預測。 為了對PU執行框內預測,框內預測處理單元1426可使用多個框內預測模式以產生用於PU之多個預測性資料集合。框內預測處理單元1426可使用來自相鄰PU之樣本區塊的樣本以產生用於PU之預測性區塊。在針對PU、CU及CTU假定自左側至右側、自頂部至底部之編碼次序的情況下,相鄰PU可在PU上方、右上方、左上方或左側。框內預測處理單元1426可使用各種數目個框內預測模式,例如,33個定向框內預測模式。在一些實例中,框內預測模式之數目可取決於與PU相關聯之區域的大小。 預測處理單元1400可自由框間預測處理單元1420針對PU產生之預測性資料或由框內預測處理單元1426針對PU產生之預測性資料當中選擇用於CU之PU之預測性資料。在一些實例中,預測處理單元1400基於預測性資料集合之速率/失真度量而選擇用於CU之PU之預測性資料。所選擇預測性資料之預測性區塊可在本文中被稱作所選擇預測性區塊。 殘餘產生單元1402可基於用於CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)及用於CU之PU之所選擇預測性區塊(例如,預測性明度、Cb及Cr區塊)而產生用於CU之殘餘區塊(例如,明度、Cb及Cr殘餘區塊)。舉例而言,殘餘產生單元1402可產生CU之殘餘區塊,使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中之樣本與CU之PU之對應所選擇預測性區塊中之對應樣本之間的差的值。 變換處理單元1404可執行將CU之殘餘區塊分割成CU之Tu之變換區塊。舉例而言,變換處理單元1404可執行四元樹分割以將CU之殘餘區塊分割成CU之Tu之變換區塊。因此,TU可與一明度變換區塊及兩個色度變換區塊相關聯。CU之Tu之明度變換區塊及色度變換區塊的大小及位置可能或可能不基於CU之PU之預測區塊的大小及位置。被稱為「殘餘四元樹」(RQT)之四元樹結構可包括與區域中之每一者相關聯的節點。CU之Tu可對應於RQT之葉節點。 變換處理單元1404可藉由將一或多個變換應用於TU之變換區塊而產生用於CU之每一TU之變換係數區塊。變換處理單元1404可將各種變換應用於與TU相關聯之變換區塊。舉例而言,變換處理單元1404可將離散餘弦變換(DCT)、定向變換或概念上相似變換應用於變換區塊。在一些實例中,變換處理單元1404不將變換應用於變換區塊。在此等實例中,變換區塊可被視為變換係數區塊。 量化單元1406可量化係數區塊中之變換係數。量化單元1406可基於與CU相關聯之量化參數(QP)值而量化與CU之TU相關聯的係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值而調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊損失。因此,經量化變換係數相比於原始變換係數可具有較低精確度。 反量化單元1408及反變換處理單元1410可分別將反量化及反變換應用於係數區塊,以自係數區塊重建殘餘區塊。重建單元1412可將經重建殘餘區塊與來自由預測處理單元1400產生之一或多個預測性區塊的對應樣本相加,以產生與TU相關聯之經重建變換區塊。藉由以此方式針對CU之每一TU重建變換區塊,視訊編碼器20可重建CU之寫碼區塊。 濾波器單元1414可執行一或多個解塊操作以縮減與CU相關聯之寫碼區塊中的區塊假影。濾波器單元1414可執行在本發明中別處所描述之濾波技術。經解碼圖像緩衝器1416可在濾波器單元1414對經重建寫碼區塊執行一或多個解塊操作之後儲存經重建寫碼區塊。框間預測處理單元1420可使用含有經重建寫碼區塊之參考圖像以對其他圖像之PU執行框間預測。另外,框內預測處理單元1426可使用經解碼圖像緩衝器1416中之經重建寫碼區塊以對與CU在同一圖像中之其他PU執行框內預測。 熵編碼單元1418可自視訊編碼器20之其他功能組件接收資料。舉例而言,熵編碼單元1418可自量化單元1406接收係數區塊,且可自預測處理單元1400接收語法元素。熵編碼單元1418可對資料執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言,熵編碼單元1418可對資料執行CABAC操作、上下文調適性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文調適性二進位算術寫碼(SBAC)操作、機率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元1418產生之經熵編碼資料的位元串流。舉例而言,位元串流可包括表示用於CU之變換係數之值的資料。 在本發明之第六態樣之一個實例中,重建單元1412重建當前區塊之像素。此外,濾波器單元1414可將解塊濾波器應用於當前區塊之經重建像素以導出當前區塊之經解塊濾波重建像素。隨後,預測處理單元1400可基於當前區塊之經解塊濾波重建像素及當前區塊之原始像素之值(例如,此等值之差)而計算失真值。預測處理單元1400接著可基於所計算失真值而選擇用於當前區塊之編碼模式,用於當前區塊之編碼模式為用於當前區塊之分割模式或CU模式。 圖15為繪示經組態以實施本發明之技術之實例視訊解碼器30的方塊圖。圖15係出於闡釋之目的而提供,且並不限制如本發明中廣泛地例示及描述之技術。出於闡釋之目的,本發明在HEVC寫碼之內容背景中描述視訊解碼器30。然而,本發明之技術可適用於其他寫碼標準或方法。 處理電路系統包括視訊解碼器30,且視訊解碼器30經組態以執行本發明中所描述之實例技術中之一或多者。舉例而言,視訊解碼器30包括積體電路系統,且圖15所繪示之各種單元可被形成為與電路匯流排互連之硬體電路區塊。此等硬體電路區塊可為單獨電路區塊,或該等單元中之兩者或多於兩者可組合成共用硬體電路區塊。硬體電路區塊可被形成為電組件之組合,該等電組件形成諸如算術邏輯單元(ALU)、基本功能單元(EFU)之操作區塊,以及諸如AND、OR、NAND、NOR、XOR、XNOR及其他相似邏輯區塊之邏輯區塊。 在一些實例中,圖15所繪示之單元中之一或多者可為在處理電路系統上執行之軟體單元。在此等實例中,用於此等軟體單元之物件碼儲存於記憶體中。作業系統可致使視訊解碼器30擷取物件碼且執行物件碼,此致使視訊解碼器30執行用以實施實例技術之操作。在一些實例中,軟體單元可為視訊解碼器30在啟動時執行之韌體。因此,視訊解碼器30為具有執行實例技術之硬體或具有在硬體上執行以特殊化硬體來執行實例技術之軟體/韌體的結構組件。 在圖15之實例中,視訊解碼器30包括熵解碼單元1500、視訊資料記憶體1501、預測處理單元1502、反量化單元1504、反變換處理單元1506、重建單元1508、濾波器單元1510,及經解碼圖像緩衝器1512。預測處理單元1502包括運動補償單元1514及框內預測處理單元1516。在其他實例中,視訊解碼器30可包括較多、較少或不同的功能組件。 視訊資料記憶體1501可儲存待由視訊解碼器30之組件解碼的經編碼視訊資料,諸如經編碼視訊位元串流。儲存於視訊資料記憶體1501中之視訊資料可例如經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而自電腦可讀媒體16——例如,自本機視訊源,諸如攝影機——獲得。視訊資料記憶體1501可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器1512可為參考圖像記憶體,其儲存供視訊解碼器30用來例如在框內或框間寫碼模式中解碼視訊資料或供輸出之參考視訊資料。視訊資料記憶體1501及經解碼圖像緩衝器1512可由多種記憶體器件中之任一者形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體1501及經解碼圖像緩衝器1512。在各種實例中,視訊資料記憶體1501可與視訊解碼器30之其他組件一起在晶片上,或相對於彼等組件在晶片外。視訊資料記憶體1501可與圖1之儲存媒體28相同或為圖1之儲存媒體28之部分。 視訊資料記憶體1501接收及儲存位元串流之經編碼視訊資料(例如,NAL單元)。熵解碼單元1500可自視訊資料記憶體1501接收經編碼視訊資料(例如,NAL單元),且可剖析NAL單元以獲得語法元素。熵解碼單元1500可熵解碼NAL單元中之經熵編碼語法元素。預測處理單元1502、反量化單元1504、反變換處理單元1506、重建單元1508及濾波器單元1510可基於自位元串流提取之語法元素而產生經解碼視訊資料。熵解碼單元1500可執行與熵編碼單元1418之程序大體上互逆的程序。 除了自位元串流獲得語法元素以外,視訊解碼器30亦可對未經分割CU執行重建操作。為了對CU執行重建操作,視訊解碼器30可對CU之每一TU執行重建操作。藉由針對CU之每一TU執行重建構操作,視訊解碼器30可重建CU之殘餘區塊。 作為對CU之TU執行重建操作之部分,反量化單元1504可反量化——亦即,解量化——與TU相關聯之係數區塊。在反量化單元1504反量化係數區塊之後,反變換處理單元1506可將一或多個反變換應用於係數區塊以便產生與TU相關聯之殘餘區塊。舉例而言,反變換處理單元1506可將反DCT、反整數變換、反卡忽南-拉維變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。 反量化單元1504可執行本發明之特定技術。舉例而言,對於視訊資料之圖像之CTU之CTB內的複數個量化群組中之至少一個各別量化群組,反量化單元1504可至少部分地基於在位元串流中傳信之局域量化資訊而導出用於各別量化群組之各別量化參數。另外,在此實例中,反量化單元1504可基於用於各別量化群組之各別量化參數而反量化CTU之CU之TU之變換區塊的至少一個變換係數。在此實例中,各別量化群組被定義為按寫碼次序連續的CU或寫碼區塊之群組,使得各別量化群組之邊界必須為CU或寫碼區塊之邊界且各別量化群組之大小大於或等於臨限值。視訊解碼器30 (例如,反變換處理單元1506、重建單元1508及濾波器單元1510)可基於變換區塊之經反量化變換係數而重建CU之寫碼區塊。 若使用框內預測來編碼PU,則框內預測處理單元1516可執行框內預測以產生PU之預測性區塊。框內預測處理單元1516可使用框內預測模式以基於樣本空間相鄰區塊而產生PU之預測性區塊。框內預測處理單元1516可基於自位元串流獲得之一或多個語法元素而判定用於PU之框內預測模式。 若使用框間預測來編碼PU,則熵解碼單元1500可判定用於PU之運動資訊。運動補償單元1514可基於PU之運動資訊而判定一或多個參考區塊。運動補償單元1514可基於一或多個參考區塊而產生用於PU之預測性區塊(例如,預測性明度、Cb及Cr區塊)。 重建單元1508可使用用於CU之TU之變換區塊(例如,明度、Cb及Cr變換區塊)及CU之PU之預測性區塊(例如,明度、Cb及Cr區塊)——亦即,適用時,框內預測資料或框間預測資料——以重建用於CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。舉例而言,重建單元1508可將變換區塊(例如,明度、Cb及Cr變換區塊)之樣本與預測性區塊(例如,明度、Cb及Cr預測性區塊)之對應樣本相加以重建CU之寫碼區塊(例如,明度、Cb及Cr寫碼區塊)。 濾波器單元1510可執行解塊操作以縮減與CU之寫碼區塊相關聯的區塊假影。濾波器單元1510可執行在本發明中別處所描述之濾波技術。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器1512中。經解碼圖像緩衝器1512可提供參考圖像以用於後續運動補償、框內預測及在顯示器件——諸如圖1之顯示器件32——上呈現。舉例而言,視訊解碼器30可基於經解碼圖像緩衝器1512中之區塊而針對其他CU之PU執行框內預測或框間預測操作。 圖16為繪示根據本發明之技術之視訊編碼器20之實例操作的流程圖。在圖16之實例中,視訊編碼器20可重建當前區塊之像素(1600)。舉例而言,視訊編碼器20可重建CU之寫碼區塊中之像素。在一些實例中,視訊編碼器20可重建用於當前區塊之複數個不同像素集合。每一不同像素集合為根據不同分割模式及/或CU模式而編碼的當前區塊之經解碼版本。 此外,在圖16之實例中,視訊編碼器20可將解塊濾波器應用於當前區塊之經重建像素以導出經解塊濾波重建像素(1602)。視訊編碼器20可根據在本發明中別處所提供之實例中之任一者而應用解塊濾波器。舉例而言,視訊編碼器20可沿著定向及/或非定向邊緣應用解塊濾波器,如在本發明中別處所描述。 根據本發明之一或多種技術,視訊編碼器20基於當前區塊之經解塊濾波重建像素及當前區塊之原始像素之值而計算失真值(1604)。失真值為當前區塊之經解塊濾波重建像素與當前區塊之原始像素相差程度的量度。藉由基於當前區塊之經解塊濾波重建像素之值以代替僅僅當前區塊之經重建像素(亦即,當前區塊之未經解塊濾波重建像素)之值而計算失真值,視訊編碼器20可能夠更準確地判定失真值。更準確地判定失真值可增加視訊編碼器20選擇用於當前區塊之最佳分割模式及/或CU模式的可能性。在一些實例中,視訊編碼器20可計算失真值,包含基於原始像素及經解塊濾波重建像素中在當前區塊內之僅彼等經解塊濾波重建像素之值(例如,基於原始像素與經解塊濾波重建像素中在當前區塊內之僅彼等經解塊濾波重建像素之差)而計算失真值。 因此,在圖16之實例中,視訊編碼器20基於所計算失真值而選擇用於當前區塊之編碼模式(1606)。編碼模式可為用於當前區塊之分割模式或用於當前區塊之CU模式。在一些實例中,視訊編碼器20使用所計算失真值以判定用於分割模式及CU模式之不同組合之速率-失真成本。在此等實例中,視訊編碼器20可選擇具有最低速率-失真成本之組合。視訊編碼器20可在位元串流中包括根據用於當前區塊之所選擇編碼模式而編碼的當前區塊之表示。在一些情況下,分割模式為以下各者中之一者:基於四元樹之分裂、基於二元樹之分裂,或無進一步分裂。在一些情況下,分割模式可包括對稱分裂、不對稱分裂,或無進一步分裂。 在一個實例中,對於複數個分割模式中之每一各別分割模式,視訊編碼器20可根據各別分割模式而產生當前區塊之經編碼版本。在一些情況下,複數個分割模式可包括基於四元樹之分裂、基於二元樹之分裂,及無進一步分裂。在一些情況下,複數個分割模式可包括對稱分裂、不對稱分裂,及無進一步分裂。另外,在此實例中,視訊編碼器20可根據各別分割模式基於當前區塊之經編碼版本而重建用於各別分割模式之像素。舉例而言,視訊編碼器20之反量化單元1408、反變換處理單元1410及重建單元1412可重建像素,如在本發明中別處所描述。此外,在此實例中,視訊編碼器20 (例如,視訊編碼器20之濾波器單元1414)可將解塊濾波器應用於用於各別分割模式之經重建像素以導出用於各別分割模式之經解塊濾波重建像素。在此實例中,視訊編碼器20可基於當前之原始像素及用於各別分割模式之經解塊濾波重建像素而計算用於各別分割模式之失真值。此外,在此實例中,作為選擇用於當前區塊之編碼模式之部分,視訊編碼器20可基於用於複數個分割模式中之分割模式之失真值而自複數個分割模式當中選擇用於當前區塊之分割模式。舉例而言,視訊編碼器20可基於失真值而判定用於分割模式之速率-失真成本,且選擇具有最低速率-失真成本之分割模式。 在一個實例中,對於複數個CU模式(例如,框內預測及框間預測)中之每一各別CU模式,視訊編碼器20可根據各別CU模式而產生當前區塊之經編碼版本。舉例而言,視訊編碼器20可產生當前區塊之經框內預測版本及當前區塊之經框間預測版本,如在本發明中別處所描述。此外,在此實例中,視訊編碼器20可根據各別CU模式基於當前區塊之經編碼版本而重建用於各別CU模式之像素。舉例而言,視訊編碼器20之反量化單元1408、反變換處理單元1410及重建單元1412可重建像素,如在本發明中別處所描述。此外,在此實例中,視訊編碼器20 (例如,視訊編碼器20之濾波器單元1414)可將解塊濾波器應用於用於各別CU模式之經重建像素以導出用於各別CU模式之經解塊濾波重建像素。在此實例中,視訊編碼器20可基於當前之原始像素及用於各別CU模式之經解塊濾波重建像素而計算用於各別分割模式之失真值。此外,在此實例中,作為選擇用於當前區塊之編碼模式之部分,視訊編碼器20可基於用於複數個CU模式中之CU模式之失真值而自複數個CU模式當中選擇用於當前區塊之CU模式。舉例而言,視訊編碼器20可基於失真值而判定用於CU模式之速率-失真成本,且選擇具有最低速率-失真成本之CU模式。 出於說明之目的,已關於HEVC標準之延伸而描述本發明之某些態樣。然而,本發明中所描述之技術可適用於其他視訊寫碼程序,包括尚未開發之其他標準或專屬視訊寫碼程序。 如本發明中所描述,視訊寫碼器可指視訊編碼器或視訊解碼器。相似地,視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地,適用時,視訊寫碼可指視訊編碼或視訊解碼。在本發明中,片語「基於」可指示僅基於、至少部分地基於,或以某一方式基於。本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以係指一或多個樣本區塊及用以寫碼一或多個樣本區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分割區等等。在一些內容背景中,PU之論述可與巨集區塊或巨集區塊分割區之論述互換。視訊區塊之實例類型可包括寫碼樹型區塊、寫碼區塊,及其他類型之視訊資料區塊。 本發明之技術可應用於視訊寫碼以支援多種多媒體應用中之任一者,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態調適性串流(DASH)之網際網路串流視訊傳輸、編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼,或其他應用。 應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行,可被添加、合併或完全省去(例如,並非所有所描述動作或事件為實踐該等技術所必要)。此外,在某些實例中,可例如經由多執行緒處理、中斷處理或多個處理器同時地而非循序地執行動作或事件。 在一或多個實例中,所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或在電腦可讀媒體上傳輸,且由基於硬體之處理單元執行。電腦可讀媒體可包括:電腦可讀儲存媒體,其對應於諸如資料儲存媒體之有形媒體;或通信媒體,其包括例如根據通信協定而促進電腦程式自一處傳送至另一處之任何媒體。以此方式,電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理電路存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 作為實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體,或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又,任何連接被適當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體並不包括連接、載波、信號或其他暫時性媒體,而是有關於非暫時性的有形儲存媒體。如本文中所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再生資料,而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。 本發明中所描述之功能性可由固定功能及/或可程式化處理電路系統執行。舉例而言,指令可由固定功能及/或可程式化處理電路系統執行。此處理電路系統可包括一或多個處理器,諸如一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA),或其他等效整合或離散邏輯電路系統。因此,如本文中所使用之術語「處理器」可指前述結構或適合於實施本文中所描述之技術之任何其他結構中的任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內,或併入於組合式編解碼器中。又,該等技術可完全實施於一或多個電路或邏輯元件中。處理電路可以各種方式耦接至其他組件。舉例而言,處理電路可經由內部器件互連、有線或無線網路連接或另一通信媒體而耦接至其他組件。 本發明之技術可實施於多種器件或裝置中,該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如,晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣,但未必要求由不同硬體單元來實現。更確切而言,如上文所描述,各種單元可結合合適的軟體及/或韌體而組合於編解碼器硬體單元中或由互操作性硬體單元之集合提供,該等硬件單元包括如上文所描述之一或多個處理器。 已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧儲存媒體
20‧‧‧視訊編碼器
22‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧儲存媒體
30‧‧‧視訊解碼器
32‧‧‧顯示器件
600‧‧‧動作
602‧‧‧動作
604‧‧‧動作
606‧‧‧動作
608‧‧‧動作
610‧‧‧動作
612‧‧‧動作
700‧‧‧步驟
702‧‧‧步驟
704‧‧‧步驟
706‧‧‧步驟
708‧‧‧步驟
710‧‧‧步驟
712‧‧‧步驟
714‧‧‧步驟
900‧‧‧四元樹二元樹(QTBT)結構
902‧‧‧寫碼樹型單元(CTU)
1000‧‧‧步驟
1002‧‧‧步驟
1004‧‧‧步驟
1006‧‧‧步驟
1008‧‧‧步驟
1010‧‧‧步驟
1012‧‧‧步驟
1014‧‧‧步驟
1200‧‧‧寫碼單元(CU)
1202‧‧‧寫碼單元(CU)
1204‧‧‧寫碼單元(CU)
1206‧‧‧寫碼單元(CU)
1300‧‧‧步驟
1302‧‧‧步驟
1304‧‧‧步驟
1306‧‧‧步驟
1308‧‧‧步驟
1400‧‧‧預測處理單元
1401‧‧‧視訊資料記憶體
1402‧‧‧殘餘產生單元
1404‧‧‧變換處理單元
1406‧‧‧量化單元
1408‧‧‧反量化單元
1410‧‧‧反變換處理單元
1412‧‧‧重建單元
1414‧‧‧濾波器單元
1416‧‧‧經解碼圖像緩衝器
1418‧‧‧熵編碼單元
1420‧‧‧框間預測處理單元
1426‧‧‧框內預測處理單元
1500‧‧‧熵解碼單元
1501‧‧‧視訊資料記憶體
1502‧‧‧預測處理單元
1504‧‧‧反量化單元
1506‧‧‧反變換處理單元
1508‧‧‧重建單元
1510‧‧‧濾波器單元
1512‧‧‧經解碼圖像緩衝器
1514‧‧‧運動補償單元
1516‧‧‧框內預測處理單元
1600‧‧‧步驟
1602‧‧‧步驟
1604‧‧‧步驟
1606‧‧‧步驟
圖1為繪示可使用本發明中所描述之一或多種技術之實例視訊編碼及解碼系統的方塊圖。 圖2繪示可用以定義用於經框間寫碼之寫碼單元(CU)之預測單元的八個實例分割模式。 圖3為CU內之變換樹結構之實例。 圖4A繪示用於合併模式之實例空間相鄰運動向量(MV)候選者。 圖4B繪示用於進階運動向量預測(AMVP)模式之實例空間相鄰MV候選者。 圖5A繪示實例時間運動向量預測(TMVP)候選者。 圖5B繪示MV按比例調整之實例。 圖6繪示解塊濾波器程序之實例整體流程。 圖7為用於Bs計算之流程圖。 圖8繪示接通/關斷濾波器決策及強/弱濾波器選擇中涉及之像素。 圖9A繪示使用四元樹加二元樹結構(QTBT)之實例區塊分割。 圖9B繪示對應於圖9A之區塊分割之樹結構之實例。 圖10為繪示聯合探索模型(JEM)中之實例Bs決策的流程圖。 圖11A繪示針對垂直邊界之P及Q之實例。 圖11B繪示針對與垂直邊緣交叉之45度對角線邊緣之P及Q之實例。 圖11C繪示針對與垂直邊緣交叉之135度對角線邊緣之P及Q之實例。 圖12繪示根據本發明之一或多種技術的應用於垂直邊緣之內部邊界之解塊濾波之實例。 圖13為根據本發明之一或多種技術的用於內部邊界之Bs計算之實例流程圖。 圖14為繪示可實施本發明中所描述之一或多種技術之實例視訊編碼器的方塊圖。 圖15為繪示可實施本發明中所描述之一或多種技術之實例視訊解碼器的方塊圖。 圖16為繪示根據本發明之技術之視訊編碼器之實例操作的流程圖。
Claims (29)
- 一種編碼視訊資料之方法,該方法包含: 重建一當前區塊之像素; 將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素; 基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值;及 基於該等所計算失真值而選擇用於該當前區塊之一編碼模式,用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。
- 如請求項1之方法,其中計算該等失真值包含:基於該等原始像素及該等經解塊濾波重建像素中在該當前區塊內之僅彼等經解塊濾波重建像素之該等值而計算該等失真值。
- 如請求項1之方法,其中: 該等經重建像素為一第一經重建像素集合且該等經解塊濾波重建像素為一第一經解塊濾波重建像素集合, 且其中該方法進一步包含: 對於複數個分割模式中之每一各別分割模式: 根據該各別分割模式而產生該當前區塊之一經編碼版本; 根據該各別分割模式基於該當前區塊之該經編碼版本而重建用於該各別分割模式之像素; 將該解塊濾波器應用於用於該各別分割模式之該等經重建像素以導出用於該各別分割模式之經解塊濾波重建像素;及 基於該當前之該等原始像素及用於該各別分割模式之該等經解塊濾波重建像素而計算用於該各別分割模式之一失真值,且 選擇用於該當前區塊之該編碼模式包含:基於用於該複數個分割模式中之該等分割模式之該等失真值而自該複數個分割模式當中選擇用於該當前區塊之該分割模式。
- 如請求項1之方法,其中: 該等經重建像素為一第一經重建像素集合且該等經解塊濾波重建像素為一第一經解塊濾波重建像素集合, 且其中該方法進一步包含: 對於複數個寫碼單元模式中之每一各別寫碼單元模式: 根據該各別寫碼單元模式而產生該當前區塊之一經編碼版本; 根據該各別寫碼單元模式基於該當前區塊之該經編碼版本而重建用於該各別寫碼單元模式之像素; 將該解塊濾波器應用於用於該各別寫碼單元模式之該等經重建像素以導出用於該各別寫碼單元模式之經解塊濾波重建像素;及 基於該當前之該等原始像素及用於該各別寫碼單元模式之該等經解塊濾波重建像素而計算用於該各別分割模式之一失真值,且 選擇用於該當前區塊之該編碼模式包含:基於用於該複數個寫碼單元模式中之該等寫碼單元模式之該失真值而自該複數個寫碼單元模式當中選擇用於該當前區塊之該寫碼單元模式。
- 如請求項1之方法,其進一步包含: 在一位元串流中包括根據用於該當前區塊之該所選擇編碼模式而編碼的該當前區塊之一表示。
- 如請求項1之方法,其中用於該當前區塊之該寫碼單元模式為框間預測或框內預測。
- 如請求項1之方法,其中用於該當前區塊之該分割模式為以下各者中之一者:基於四元樹之分裂、基於二元樹之分裂,或無進一步分裂。
- 如請求項1之方法,其中用於該當前區塊之該分割模式為以下各者中之一者:對稱分裂、不對稱分裂,或無進一步分裂。
- 一種用於編碼視訊資料之裝置,該裝置包含: 一或多個儲存媒體,其經組態以儲存該視訊資料;及 一或多個處理電路,其耦接至該一或多個儲存媒體,該一或多個處理電路經組態以進行以下操作: 重建該視訊資料之一當前區塊之像素; 將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素; 基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值;及 基於該等所計算失真值而選擇用於該當前區塊之一編碼模式,用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。
- 如請求項9之裝置,其中該一或多個處理電路經組態使得作為計算該等失真值之部分,該一或多個處理電路基於該等原始像素及該等經解塊濾波重建像素中在該當前區塊內之僅彼等經解塊濾波重建像素之該等值而計算該等失真值。
- 如請求項9之裝置,其中: 該等經重建像素為一第一經重建像素集合且該等經解塊濾波重建像素為一第一經解塊濾波重建像素集合, 其中該一或多個處理電路經進一步組態以進行以下操作: 對於複數個分割模式中之每一各別分割模式: 根據該各別分割模式而產生該當前區塊之一經編碼版本; 根據該各別分割模式基於該當前區塊之該經編碼版本而重建用於該各別分割模式之像素; 將該解塊濾波器應用於用於該各別分割模式之該等經重建像素以導出用於該各別分割模式之經解塊濾波重建像素;及 基於該當前之該等原始像素及用於該各別分割模式之該等經解塊濾波重建像素而計算用於該各別分割模式之一失真值,且 其中該一或多個處理電路經組態使得作為選擇用於該當前區塊之該編碼模式之部分,該一或多個處理電路基於用於該複數個分割模式中之該等分割模式之該等失真值而自該複數個分割模式當中選擇用於該當前區塊之該分割模式。
- 如請求項9之裝置,其中: 該等經重建像素為一第一經重建像素集合且該等經解塊濾波重建像素為一第一經解塊濾波重建像素集合, 且其中該一或多個處理電路經進一步組態以進行以下操作: 對於複數個寫碼單元模式中之每一各別寫碼單元模式: 根據該各別寫碼單元模式而產生該當前區塊之一經編碼版本; 根據該各別寫碼單元模式基於該當前區塊之該經編碼版本而重建用於該各別寫碼單元模式之像素; 將該解塊濾波器應用於用於該各別寫碼單元模式之該等經重建像素以導出用於該各別寫碼單元模式之經解塊濾波重建像素;及 基於該當前之該等原始像素及用於該各別寫碼單元模式之該等經解塊濾波重建像素而計算用於該各別分割模式之一失真值,且 其中該一或多個處理電路經組態使得作為選擇用於該當前區塊之該編碼模式之部分,該一或多個處理電路基於用於該複數個寫碼單元模式中之該等寫碼單元模式之該等失真值而自該複數個寫碼單元模式當中選擇用於該當前區塊之該寫碼單元模式。
- 如請求項9之裝置,其中該一或多個處理器經進一步組態以進行以下操作: 在一位元串流中包括根據用於該當前區塊之該所選擇編碼模式而編碼的該當前區塊之一表示。
- 如請求項9之裝置,其中用於該當前區塊之該寫碼單元模式為框間預測或框內預測。
- 如請求項9之裝置,其中用於該當前區塊之該分割模式為以下各者中之一者:基於四元樹之分裂、基於二元樹之分裂,或無進一步分裂。
- 如請求項9之裝置,其中用於該當前區塊之該分割模式為以下各者中之一者:對稱分裂、不對稱分裂,或無進一步分裂。
- 如請求項9之裝置,其中該裝置包含: 一積體電路, 一微處理器,或 一無線通信器件。
- 一種用於編碼視訊資料之裝置,該裝置包含: 用於重建一當前區塊之像素的構件; 用於將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素的構件; 用於基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值的構件;及 用於基於該等所計算失真值而選擇用於該當前區塊之一編碼模式的構件,用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。
- 如請求項18之裝置,其中該用於計算該等失真值的構件包含:用於基於該等原始像素及該等經解塊濾波重建像素中在該當前區塊內之僅彼等經解塊濾波重建像素之該等值而計算該等失真值的構件。
- 如請求項18之裝置,其中: 該等經重建像素為一第一經重建像素集合且該等經解塊濾波重建像素為一第一經解塊濾波重建像素集合, 且其中該裝置進一步包含: 對於複數個分割模式中之每一各別分割模式: 用於根據該各別分割模式而產生該當前區塊之一經編碼版本的構件; 用於根據該各別分割模式基於該當前區塊之該經編碼版本而重建用於該各別分割模式之像素的構件; 用於將該解塊濾波器應用於用於該各別分割模式之該等經重建像素以導出用於該各別分割模式之經解塊濾波重建像素的構件;及 用於基於該當前之該等原始像素及用於該各別分割模式之該等經解塊濾波重建像素而計算用於該各別分割模式之一失真值的構件,且 其中該用於選擇用於該當前區塊之該編碼模式的構件包含:用於基於用於該複數個分割模式中之該等分割模式之該等失真值而自該複數個分割模式當中選擇用於該當前區塊之該分割模式的構件。
- 如請求項18之裝置,其中: 該等經重建像素為一第一經重建像素集合且該等經解塊濾波重建像素為一第一經解塊濾波重建像素集合, 且其中該裝置進一步包含: 對於複數個寫碼單元模式中之每一各別寫碼單元模式: 用於根據該各別寫碼單元模式而產生該當前區塊之一經編碼版本的構件; 用於根據該各別寫碼單元模式基於該當前區塊之該經編碼版本而重建用於該各別寫碼單元模式之像素的構件; 用於將該解塊濾波器應用於用於該各別寫碼單元模式之該等經重建像素以導出用於該各別寫碼單元模式之經解塊濾波重建像素的構件;及 用於基於該當前之該等原始像素及用於該各別寫碼單元模式之該等經解塊濾波重建像素而計算用於該各別分割模式之一失真值的構件,且 其中該用於選擇用於該當前區塊之該編碼模式的構件包含:用於基於用於該複數個寫碼單元模式中之該等寫碼單元模式之該等失真值而自該複數個寫碼單元模式當中選擇用於該當前區塊之該寫碼單元模式的構件。
- 如請求項18之裝置,其進一步包含: 用於在一位元串流中包括根據用於該當前區塊之該所選擇編碼模式而編碼的該當前區塊之一表示的構件。
- 如請求項18之裝置,其中用於該當前區塊之該寫碼單元模式為框間預測或框內預測。
- 一種儲存指令之電腦可讀儲存媒體,該等指令在執行時致使一或多個處理器進行以下操作: 重建一當前區塊之像素; 將一解塊濾波器應用於該當前區塊之該等經重建像素以導出該當前區塊之經解塊濾波重建像素; 基於該當前區塊之該等經解塊濾波重建像素及該當前區塊之原始像素之值而計算失真值;及 基於該等所計算失真值而選擇用於該當前區塊之一編碼模式,用於該當前區塊之該編碼模式為用於該當前區塊之一分割模式或用於該當前區塊之一寫碼單元模式。
- 如請求項24之電腦可讀儲存媒體,其中作為致使該一或多個處理器計算該等失真值之部分,該等指令之執行致使該一或多個處理器基於該等原始像素及該等經解塊濾波重建像素中在該當前區塊內之僅彼等經解塊濾波重建像素之該等值而計算該等失真值。
- 如請求項24之電腦可讀儲存媒體,其中: 該等經重建像素為一第一經重建像素集合且該等經解塊濾波重建像素為一第一經解塊濾波重建像素集合, 且其中該等指令之執行進一步致使該一或多個處理器進行以下操作: 對於複數個分割模式中之每一各別分割模式: 根據該各別分割模式而產生該當前區塊之一經編碼版本; 根據該各別分割模式基於該當前區塊之該經編碼版本而重建用於該各別分割模式之像素; 將該解塊濾波器應用於用於該各別分割模式之該等經重建像素以導出用於該各別分割模式之經解塊濾波重建像素;及 基於該當前之該等原始像素及用於該各別分割模式之該等經解塊濾波重建像素而計算用於該各別分割模式之一失真值,且 作為致使該一或多個處理器選擇用於該當前區塊之該編碼模式之部分,該等指令之執行致使該一或多個處理器基於用於該複數個分割模式中之該等分割模式之該等失真值而自該複數個分割模式當中選擇用於該當前區塊之該分割模式。
- 如請求項24之電腦可讀儲存媒體,其中: 該等經重建像素為一第一經重建像素集合且該等經解塊濾波重建像素為一第一經解塊濾波重建像素集合, 且其中該等指令之執行進一步致使該一或多個處理器進行以下操作: 對於複數個寫碼單元模式中之每一各別寫碼單元模式: 根據該各別寫碼單元模式而產生該當前區塊之一經編碼版本; 根據該各別寫碼單元模式基於該當前區塊之該經編碼版本而重建用於該各別寫碼單元模式之像素; 將該解塊濾波器應用於用於該各別寫碼單元模式之該等經重建像素以導出用於該各別寫碼單元模式之經解塊濾波重建像素;及 基於該當前之該等原始像素及用於該各別寫碼單元模式之該等經解塊濾波重建像素而計算用於該各別分割模式之一失真值,且 作為致使該一或多個處理器選擇用於該當前區塊之該編碼模式之部分,該等指令之執行致使該一或多個處理器基於用於該複數個寫碼單元模式中之該等寫碼單元模式之該等失真值而自該複數個寫碼單元模式當中選擇用於該當前區塊之該寫碼單元模式。
- 如請求項24之電腦可讀儲存媒體,其中該等指令之執行進一步致使該一或多個處理器進行以下操作: 在一位元串流中包括根據用於該當前區塊之該所選擇編碼模式而編碼的該當前區塊之一表示。
- 如請求項24之電腦可讀儲存媒體,其中用於該當前區塊之該寫碼單元模式為框間預測或框內預測。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762474013P | 2017-03-20 | 2017-03-20 | |
| US62/474,013 | 2017-03-20 | ||
| US201762504824P | 2017-05-11 | 2017-05-11 | |
| US62/504,824 | 2017-05-11 | ||
| US15/925,310 US10708591B2 (en) | 2017-03-20 | 2018-03-19 | Enhanced deblocking filtering design in video coding |
| US15/925,310 | 2018-03-19 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW201904285A true TW201904285A (zh) | 2019-01-16 |
Family
ID=63520433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107109473A TW201904285A (zh) | 2017-03-20 | 2018-03-20 | 在視訊寫碼中之增強的解塊濾波設計 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10708591B2 (zh) |
| TW (1) | TW201904285A (zh) |
| WO (1) | WO2018175409A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113678464A (zh) * | 2019-04-15 | 2021-11-19 | 北京字节跳动网络技术有限公司 | 非线性自适应环路滤波器中的参数的时域预测 |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116866581A (zh) * | 2017-05-17 | 2023-10-10 | 株式会社Kt | 对视频解码和编码的方法以及存储压缩视频数据的装置 |
| WO2019107994A1 (ko) * | 2017-11-29 | 2019-06-06 | 한국전자통신연구원 | 루프내 필터링을 이용한 영상 부호화/복호화 방법 및 장치 |
| WO2019127358A1 (en) * | 2017-12-29 | 2019-07-04 | Intel Corporation | Modular motion estimation engine for tree-based video |
| CN117834919A (zh) * | 2018-01-17 | 2024-04-05 | 英迪股份有限公司 | 对视频进行解码或编码的方法和用于发送比特流的方法 |
| CN119211584A (zh) * | 2018-03-30 | 2024-12-27 | 夏普株式会社 | 用于将解块滤波器应用于重构视频数据的方法和设备 |
| WO2020044255A1 (en) | 2018-08-28 | 2020-03-05 | Beijing Bytedance Network Technology Co., Ltd. | Context coding in partitioning with extended quadtree |
| CN111418206B (zh) * | 2018-10-05 | 2023-12-01 | Lg电子株式会社 | 使用mpm列表的基于帧内预测的视频编码方法及其装置 |
| CN113056920B (zh) | 2018-11-22 | 2024-05-24 | 北京字节跳动网络技术有限公司 | 基于子块的帧间预测的协调方法 |
| CN109547798B (zh) * | 2018-12-17 | 2020-09-18 | 杭州当虹科技股份有限公司 | 一种快速的hevc帧间模式选择方法 |
| JP7418152B2 (ja) * | 2018-12-17 | 2024-01-19 | キヤノン株式会社 | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法 |
| EP4373095A3 (en) * | 2019-01-10 | 2024-08-21 | Huawei Technologies Co., Ltd. | Deblocking filter for sub-partition boundaries caused by intra sub-partition coding tool |
| CN117880498B (zh) * | 2019-01-17 | 2026-07-07 | 华为技术有限公司 | 去块效应滤波自适应的编码器、解码器及对应方法 |
| WO2020156572A1 (en) | 2019-02-03 | 2020-08-06 | Beijing Bytedance Network Technology Co., Ltd. | Unsymmetrical quad-tree partitioning |
| US10825154B2 (en) | 2019-03-19 | 2020-11-03 | Apple Inc. | Directional bilateral filtering with improved noise reduction along edges |
| EP3932058A4 (en) * | 2019-04-01 | 2022-06-08 | Beijing Bytedance Network Technology Co., Ltd. | USING HISTORY INTERPOLATION FILTERS BASED ON MOTION VECTOR PREDICTION |
| CN117499679A (zh) * | 2019-04-16 | 2024-02-02 | 北京字节跳动网络技术有限公司 | 用于视频编解码的自适应环路滤波 |
| EP4561076A3 (en) * | 2019-05-04 | 2025-07-30 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods using an adaptive loop filter |
| CN113906763B (zh) | 2019-05-05 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频编解码的色度去方块协调 |
| US11284093B2 (en) * | 2019-05-09 | 2022-03-22 | Qualcomm Incorporated | Affine linear weighted intra prediction in video coding |
| EP3954128A4 (en) | 2019-05-11 | 2022-06-15 | Beijing Bytedance Network Technology Co., Ltd. | Deblocking filter for video coding |
| WO2020228662A1 (en) | 2019-05-11 | 2020-11-19 | Beijing Bytedance Network Technology Co., Ltd. | Boundary strength determination for deblocking filters in video processing |
| US11432015B2 (en) * | 2019-07-11 | 2022-08-30 | Qualcomm Incorporated | Adaptive loop filtering across raster-scan slices |
| US11272203B2 (en) * | 2019-07-23 | 2022-03-08 | Tencent America LLC | Method and apparatus for video coding |
| JP7481430B2 (ja) | 2019-08-13 | 2024-05-10 | 北京字節跳動網絡技術有限公司 | サブブロックに基づくインター予測における動き精度 |
| CN117395411A (zh) | 2019-08-20 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置以及计算机可读存储介质 |
| KR102733969B1 (ko) | 2019-08-23 | 2024-11-26 | 두인 비전 컴퍼니 리미티드 | 코딩 블록 또는 서브블록 경계에서의 디블로킹 필터링 |
| CN114342369B (zh) | 2019-09-02 | 2025-07-18 | 北京字节跳动网络技术有限公司 | 用于视频编解码的色度去方块调谐 |
| KR102799921B1 (ko) | 2019-09-14 | 2025-04-25 | 바이트댄스 아이엔씨 | 크로마 디블로킹 필터링을 위한 양자화 파라미터 |
| WO2021052507A1 (en) | 2019-09-22 | 2021-03-25 | Beijing Bytedance Network Technology Co., Ltd. | Sub-picture coding and decoding of video |
| CA3303357A1 (en) * | 2019-09-24 | 2026-05-13 | Huawei Technologies Co., Ltd. | Filter flags for subpicture deblocking |
| CN112136329A (zh) * | 2019-09-24 | 2020-12-25 | 北京大学 | 视频编解码的方法和装置 |
| WO2021072177A1 (en) | 2019-10-09 | 2021-04-15 | Bytedance Inc. | Cross-component adaptive loop filtering in video coding |
| WO2021068921A1 (en) * | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Motion vector handling in geometry partition mode |
| KR20220073746A (ko) | 2019-10-14 | 2022-06-03 | 바이트댄스 아이엔씨 | 비디오 처리에서 크로마 양자화 파라미터 사용 |
| EP4055827A4 (en) | 2019-12-09 | 2023-01-18 | ByteDance Inc. | USE OF QUANTIZATION GROUPS IN VIDEO CODING |
| US11438611B2 (en) | 2019-12-11 | 2022-09-06 | Hfi Innovation Inc. | Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding |
| CN114902657B (zh) | 2019-12-31 | 2025-06-13 | 字节跳动有限公司 | 视频编解码中的自适应颜色变换 |
| WO2021136555A1 (en) | 2020-01-05 | 2021-07-08 | Beijing Bytedance Network Technology Co., Ltd. | Use of offsets with adaptive colour transform coding tool |
| US11445176B2 (en) * | 2020-01-14 | 2022-09-13 | Hfi Innovation Inc. | Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding |
| CN114982237B (zh) | 2020-01-14 | 2026-08-04 | 抖音视界(北京)有限公司 | 视频编解码中量化参数的信令通知 |
| WO2021143896A1 (en) | 2020-01-18 | 2021-07-22 | Beijing Bytedance Network Technology Co., Ltd. | Adaptive colour transform in image/video coding |
| CN115023953A (zh) * | 2020-02-04 | 2022-09-06 | 华为技术有限公司 | 指示高级语法的编码器、解码器以及对应方法 |
| CN120186349A (zh) * | 2020-02-21 | 2025-06-20 | 阿里巴巴(中国)有限公司 | 计算机实现的编码及解码方法、计算机可读存储介质 |
| MX2022010116A (es) | 2020-02-24 | 2022-09-05 | Bytedance Inc | Interaccion entre subimagen y se?alizacion de fila de mosaico. |
| KR102997097B1 (ko) | 2020-03-03 | 2026-07-30 | 바이트댄스 아이엔씨 | 비디오 코딩에서의 저 주파수 비-분리가능 변환 시그널링 |
| KR20240000623A (ko) | 2020-04-29 | 2024-01-02 | 바이트댄스 아이엔씨 | 비디오 픽처 헤더의 필터 파라미터 시그널링 |
| WO2021237063A1 (en) | 2020-05-21 | 2021-11-25 | Alibaba Group Holding Limited | Tile and slice partitioning in video processing |
| US11729381B2 (en) * | 2020-07-23 | 2023-08-15 | Qualcomm Incorporated | Deblocking filter parameter signaling |
| US12047567B2 (en) * | 2021-01-26 | 2024-07-23 | Beijing Dajia Internet Information Technology Co., Ltd. | System and method for applying adaptive loop filter in video coding |
| US20240196002A1 (en) * | 2021-04-21 | 2024-06-13 | Beijing Bytedance Network Technology Co., Ltd. | Method, device, and medium for video processing |
| CN119404498A (zh) * | 2022-06-21 | 2025-02-07 | 北京达佳互联信息技术有限公司 | 改进的视频编解码的跨分量预测 |
| WO2024153201A1 (en) * | 2023-01-18 | 2024-07-25 | Mediatek Inc. | Method and apparatus of cross-component discrete model in video coding system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9912942B2 (en) * | 2012-12-28 | 2018-03-06 | Qualcomm Incorporated | High-frequency-pass sample adaptive offset in video coding |
-
2018
- 2018-03-19 US US15/925,310 patent/US10708591B2/en active Active
- 2018-03-20 WO PCT/US2018/023319 patent/WO2018175409A1/en not_active Ceased
- 2018-03-20 TW TW107109473A patent/TW201904285A/zh unknown
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113678464A (zh) * | 2019-04-15 | 2021-11-19 | 北京字节跳动网络技术有限公司 | 非线性自适应环路滤波器中的参数的时域预测 |
| CN113678464B (zh) * | 2019-04-15 | 2022-12-02 | 北京字节跳动网络技术有限公司 | 非线性自适应环路滤波器中的参数的时域预测 |
| US11729382B2 (en) | 2019-04-15 | 2023-08-15 | Beijing Bytedance Network Technology Co., Ltd | Temporal prediction of parameters in non-linear adaptive loop filter |
| US12593038B2 (en) | 2019-04-15 | 2026-03-31 | Beijing Bytedance Network Technology Co., Ltd. | Temporal prediction of parameters in non-linear adaptive loop filter |
Also Published As
| Publication number | Publication date |
|---|---|
| US10708591B2 (en) | 2020-07-07 |
| WO2018175409A1 (en) | 2018-09-27 |
| US20180270480A1 (en) | 2018-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10708591B2 (en) | Enhanced deblocking filtering design in video coding | |
| CN113196752B (zh) | 对视频数据进行解码的方法、装置及存储介质 | |
| US11425387B2 (en) | Simplified local illumination compensation | |
| US11172229B2 (en) | Affine motion compensation with low bandwidth | |
| TWI722341B (zh) | 用於在視訊寫碼中自適應之迴路濾波之線路緩衝減少 | |
| TWI843809B (zh) | 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸 | |
| CN109716765B (zh) | 用于视频译码中的帧内预测的经改进内插滤波器 | |
| TWI853918B (zh) | 用於視訊寫碼之區塊內複製合併資料語法 | |
| TWI688262B (zh) | 用於視訊寫碼之重疊運動補償 | |
| CN111886861B (zh) | 根据图像编码系统中的块划分结构的图像解码方法和设备 | |
| CN109076218B (zh) | 基于多个滤波器混淆的视频编码/解码方法、装置 | |
| JP6545667B2 (ja) | Hevcにおけるサブ予測ユニット(pu)ベースの時間的動きベクトル予測および3d−hevcにおけるサブpu設計 | |
| CN108293119B (zh) | 在视频译码中用于非正方形变换单元的变换系数的修改 | |
| JP6339183B2 (ja) | Hevcにおけるサブ予測ユニット(pu)ベースの時間的動きベクトル予測および3d−hevcにおけるサブpu設計 | |
| TWI504237B (zh) | 視訊寫碼中之緩衝預測資料 | |
| WO2019136657A1 (en) | Video coding using local illumination compensation | |
| TW201941605A (zh) | 用於視訊寫碼之區塊內複製 | |
| CN112806012A (zh) | 用于帧间预测译码的基于历史的运动向量预测 | |
| CN113170123B (zh) | 照明补偿与帧间预测的相互作用 | |
| WO2018126163A1 (en) | Motion vector generation for affine motion model for video coding | |
| CN113196749A (zh) | 用于视频译码的基于最终运动矢量表达的修剪 | |
| TW201711461A (zh) | 片級內部區塊複製及其他視訊寫碼改善 | |
| CN114097246A (zh) | 跨光栅扫描切片的自适应环路滤波 | |
| TW202038614A (zh) | 用於視訊寫碼之空間時間運動向量預測圖案 | |
| US10764605B2 (en) | Intra prediction for 360-degree video |