TW201933871A - 視訊編碼解系統中的視訊處理方法及裝置 - Google Patents

視訊編碼解系統中的視訊處理方法及裝置 Download PDF

Info

Publication number
TW201933871A
TW201933871A TW108101786A TW108101786A TW201933871A TW 201933871 A TW201933871 A TW 201933871A TW 108101786 A TW108101786 A TW 108101786A TW 108101786 A TW108101786 A TW 108101786A TW 201933871 A TW201933871 A TW 201933871A
Authority
TW
Taiwan
Prior art keywords
coding unit
size
current coding
current
video
Prior art date
Application number
TW108101786A
Other languages
English (en)
Other versions
TWI687092B (zh
Inventor
向時達
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201933871A publication Critical patent/TW201933871A/zh
Application granted granted Critical
Publication of TWI687092B publication Critical patent/TWI687092B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊編碼或解碼系統中用於處理拆分成複數個編碼單元的切片的視訊資料處理方法以及裝置。視訊編碼或解碼系統接收當前CU的輸入資料以及檢查該當前CU的尺寸。如果該當前CU的尺寸大於最大尺寸閾值，將該當前CU的殘差設置為0或者在跳過模式中對該當前CU進行編碼。CU具有0殘差意味著一或複數個對應的轉換塊中係數層級值都是0，因此避免了大尺寸塊的複雜的轉換處理。

Description

視訊編碼解系統中的視訊處理方法及裝置
本發明涉及使用大尺寸編碼單元(coding unit，CU)對視訊資料進行編碼或解碼，特別地，本發明涉及用於處理尺寸大於指定最大變換尺寸的編碼單元方法及裝置，並且每一編碼單元包含單個變換單元(transform unit，TU)。
高效視訊編碼(High-Efficiency Video Coding，HEVC)也稱為H.265，是由來自ITU-T研究小組的視訊編碼專家組成的視訊編解碼聯合合作小組(JCT-VC)所開發的視訊壓縮標準。HEVC標準大大提高了其先前標準(H.264)的編碼效率。兩個標準藉由比較視訊圖像的不同區域來找到視訊圖像與相鄰圖像中的冗餘來壓縮視訊資料，以及這些區域用描述原始像素的短資訊來替代這些區域。HEVC中的編碼工具之一能夠將這些區域的尺寸擴展成更大或更小的塊，稱為編碼樹單元(Coding Tree Unit，CTU)，而H.264只允許這些區域的固定尺寸。HEVC的編碼結構將每一視訊圖像拆分成複數個非重疊的正方形CTU。編碼的圖像由一個或一組切片表示，以及每一切片由整數個CTU組成。以光柵掃描次序(raster scanning order)處理切片中的每一單獨的CTU。使用幀內預測(intra prediction)或幀間預測(inter prediction)對雙向預測(Bi-predictive，B)切片中的塊進行編碼，其中使用至多兩個運動向量以及參考索引來預測每一幀間編碼塊中的採樣值(sample value)。也使用幀內預測或幀間預測對預測(Predictive，P)切片中的塊進行編碼，但是使用至多一個運動向量以及參考索引來預測每一幀間編碼塊中的採樣值。僅使用幀內預測對幀內(Intra，I)切片中的塊進行編碼。
在HEVC主規格中，CTU的最大以及最小尺寸由在序列參數集(Sequence Parameter Set，SPS)中發信的語法元素指定。使用四叉樹(QuadTree，QT)拆分結構進一步將每一CTU遞迴地拆分成一或複數個非重疊的編碼單元以適應各種局部運動以及紋理特性(texture characteristic)。CTU的尺寸從64×64、32×32以及16×16像素採樣中選擇。在QT拆分結構的每一深度處，N×N塊是單個葉CU或者拆分成具有等尺寸N/2×N/2的四個較小塊。具有尺寸M×M像素採樣的CTU是四叉樹編碼樹的根節點(root node)，以及四個M/2×M/2塊是從根節點拆分的子四叉樹節點(child quadtree node)。四個M/2×M/2塊的每一個可以成為另一個拆分成四個子節點的父節點，該子節點在每一空間維度具有減少一半的尺寸。如果編碼樹節點沒有進一步拆分，則它是葉CU。葉CU尺寸被限制為大於或等於最小允許的CU尺寸，以及在SPS中指定最小以及最大CU尺寸。在第1圖中示出了遞迴四叉樹拆分結構的示例，其中實線指示CTU 100中的CU邊界。
一旦CTU被拆分成複數個葉CU，每一葉CU根據用於預測的預測單元(Prediction Unit，PU)拆分類型被進一步拆分成一或複數個PU。第2圖示出了在HEVC標準中定義的8種不同的PU拆分類型。根據第2圖中示出的8種PU拆分類型之一，每一CU被拆分成一個、兩個或4個PU。不同於CU的遞迴四叉樹拆分，每一葉CU可以僅被拆分一次來形成PU。因為相同的預測進程應用於PU中的所有像素，PU作為共用預測資訊的基礎代表塊(basic representative block)。在PU的基礎上將預測資訊傳達到解碼器。
在獲得基於PU拆分類型的預測進程所生成的殘差數據後，根據殘差四叉樹(Residual QuadTree，RQT)拆分結構，將屬於葉CU的殘差數據拆分成一或複數個TU，以將殘差數據轉換成用於緊湊資料表示的轉換係數。第1圖中的虛線指示CTU 100中的TU邊界。TU是將轉換與量化應用於殘差數據或轉換係數的基礎代表塊。對於每一TU，具有與TU相同尺寸的轉換矩陣被應用於殘差數據來生成轉換係數，以及在TU的基礎上量化這些係數並將其傳達到解碼器。4:2:0色彩格式中視訊圖像的每一TU由尺寸8×8、16×16或32×32的亮度採樣的一轉換塊(Transform Block，TB)或尺寸4×4亮度採樣的四個TB以及色度採樣的兩個對應的TB組成。在SPS中指定了最小以及最大TB尺寸。
術語CTB(coding tree block，編碼樹塊)、CB(coding block，編碼塊)、PB(prediction block，預測塊)以及TB被定義為指定分別與CTU、CU、PU以及TU有關的一個色彩分量的二維(2-D)採樣陣列。例如，一個CTU包含一個亮度CTB、兩個色度CTB以及其相關的語法元素。類似的關係對CU、PU以及TU是有效的。在HEVC系統中，除非達到了色度塊的最小尺寸，否則相同的四叉樹拆分結構通常應用於亮度以及色度分量兩者。
二叉樹(binary-tree，BT)拆分結構是四叉樹拆分結構的可替換結構，其遞迴地將塊拆分成兩個較小的塊。第3圖示出了二叉樹拆分結構的6種示例性拆分類型，其包括對稱拆分類型31與32以及非對稱拆分類型33、34、35以及36。最簡單的二叉樹拆分結構是對稱水平拆分類型21以及對稱垂直拆分類型31。對於尺寸M×N的給定塊，發信第一旗標來指示塊是否被拆分成兩個較小塊，如果第一旗標指示拆分，緊接著發信指示拆分類型的第二旗標。如果拆分類型是對稱水平拆分，這一M×N塊被拆分成尺寸為M×N/2的兩個塊。這一拆分進程可以重複直到拆分塊的塊尺寸、寬度或高度達到在高層級語法集(如SPS)中定義的最小塊尺寸、寬度或高度。因為二叉樹拆分結構能夠水平地或垂直地拆分塊，需要指示最小塊寬度以及高度兩者。如果塊高度小於最小塊高度意味著不允許水平拆分，以及類似地，如果塊寬度小於最小塊寬度意味著不允許垂直拆分。
第4A以及4B圖示出了根據二叉樹拆分結構以及其對應的編碼樹結構的塊拆分的示例。在第4B圖中，在二叉樹編碼樹的每一拆分節點(也就是，非葉節點)的一個旗標用於指示拆分類型，旗標值等於0指示對稱水平拆分，而旗標值等於1指示對稱垂直拆分。
ITU-T SG16 WP3以及ISO/IEC JTC1/SC29/WG11的聯合視訊專家組(Joint Video Expert Team，JVET)目前正在開發名為多功能視訊編碼(Versatile Video Coding，VVC)的下一代視訊編碼標準。在聯合勘探模組(Joint Exploration Model，JEM)以及VVC工作草案(WD)1中已採用了一些有前途的新編碼工具用於進一步研究。JEM中採用了一種稱為四叉樹加二叉樹(Quadtree plus Binary Tree，QTBT)結構的新拆分結構來平衡四叉樹拆分結構以及二叉樹拆分結構的編碼效率以及編碼複雜性之間的權衡。第5A圖示出了示例性的QTBT結構，其中CTU首先由四叉樹拆分結構拆分然後由二叉樹拆分結構拆分。CU可以由四叉樹拆分結構遞迴地拆分直到當前CU尺寸達到最小四叉樹葉節點尺寸。如果葉四叉樹塊尺寸不大於最大的二叉樹根節點尺寸，每一葉四叉樹塊可以由二叉樹結構進一步拆分。可以遞迴地應用二叉樹拆分直到當前CU尺寸、寬度或高度達到最小二叉樹葉節點尺寸、寬度或高度或者二叉樹深度達到最大二叉樹深度。在JEM中，僅對稱水平拆分以及對稱垂直拆分是兩個允許的二叉樹拆分類型。從JEM中QTBT拆分生成的葉CU是用於預測以及轉換處理兩者而沒有任何進一步的拆分的基礎代表塊，其意味著每一CU恰好包含用於預測處理的一個PU以及每一CU恰好包含用於轉換處理的一個TU。與HEVC相反，沒有額外的資訊用於指定從CU到複數個PU以及從CU到複數個TU的拆分結構。
第5A圖示出了根據QTBT拆分結構的塊拆分結構的示例以及第5B圖示出了第5A圖中示出的QTBT拆分結構的對應的編碼樹圖。第5A以及5B圖中的實線指示四叉樹拆分而虛線指示二叉樹拆分。類似於第4B圖，在二叉樹結構的每一拆分節點(也就是，非葉節點)，一個旗標指示使用了哪一拆分類型，0表示對稱水平拆分以及1指示對稱垂直拆分。在QTBT拆分結構中，在高層級語法中(如在SPS中)指示了最小的四叉樹葉節點尺寸、最大二叉樹根節點尺寸、最小二叉樹葉節點寬度與高度以及最大二叉樹深度與高度。在P以及B切片中，每一CTU由三個色彩分量的CTB組成。在I切片中，三個色彩分量的CTB分別由兩個CTU表示，一個CTU用於亮度CTB以及另一個CTU用於兩個色度CTB。單獨地控制兩個CTU的拆分結構以及為每一CTU發信指示從CTU到複數個CU的拆分的編碼樹表示。每一亮度CU包含來自亮度分量的一個CB而每一色度CU包含分別來自色度cb以及色度cr分量的兩個CB。對於在I切片中編碼的CTU，用於每一色度CTU的編碼樹表示可能不同於用於對應亮度CTU的編碼樹表示。對P以及B切片中編碼的CTU，相同的編碼樹表示應用於色度CTB以及亮度CTB兩者。
VVC中採用的多類型樹(Multi-Type-Tree，MTT)拆分結構藉由允許MTT拆分結構的第二層級中的二叉樹拆分以及三叉樹拆分兩者，擴展了QTBT拆分樹結構中兩層級樹結構的概念。MTT中樹的兩層級也分別稱為區域樹(Region Tree，RT)以及預測樹(Prediction Tree，PT)。第一層級RT總是QT拆分，而第二層級PT是BT拆分或中心側三叉樹拆分(Triple-Tree，TT)。例如，一CU首先由RT拆分，即QT拆分，以及每一RT葉節點可以進一步由PT拆分，PT是BT或TT拆分。由PT拆分的塊可以進一步用PT拆分直到達到最大PT深度。PT葉節點是用於預測以及轉換的葉CU，並且不會被進一步拆分。第6圖示出了MTT拆分結構中所使用的5種拆分類型，其中拆分類型包括QT拆分類型61、BT拆分類型62與63以及TT拆分類型64與65。垂直中心側TT拆分類型64與水平中心側TT拆分類型65將塊拆分成三個較小塊，所有塊在一個空間維度具有減小的尺寸而在另一個空間維度保持相同的尺寸。
HEVC標準中的編碼塊旗標(coded block flag，cbf)用於指示轉換塊中是否有任何非0係數，以及當cbf等於1，相關轉換塊包含至少一個非0係數，否則，不進一步對相關的轉換塊進行編碼並且轉換塊中所有係數被推斷為0。在HEVC中，發信語法元素cbf_luma、cbf_cb以及cbf_cr來分別從亮度、cb以及cr分量中推導轉換塊的cbf。在幀間編碼的CU中利用語法元素rqt_root_cbf(residual quadtree root cbf，殘差四叉樹根cbf)簡要地指示幀間編碼的CU中的轉換塊的所有編碼塊旗標是否都為0。例如，當rqt_root_cbf等於1時，該CU中一轉換塊的至少一個cbf為1，而當rqt_root_cbf等於0時，不對該CU中複數個轉換塊的所有編碼塊旗標進行編碼並且推斷為0。在VVC WD1中，在CU的視訊流中存在類似的語法元素cu_cbf(coding unit coded block flag，編碼單元編碼塊旗標)來指示與該CU相關的所有編碼塊旗標是否為0。
在HEVC標誌中定義的另一語法元素cu_skip_flag被發信於用於幀間預測切片中的每一CU來指示當前CU是否在跳過模式(MODE_SKIP)中進行編碼。當cu_skip_flag是1，表示當前CU在跳過模式中進行編碼，對於當前CU，除了運動向量合併候選索引(merge_idx)之外沒有其他語法元素被編碼。從所選擇的相鄰幀間預測的分區中推斷在跳過模式中編碼的當前CU的幀間預測參數，以及當前CU的相關參考被推斷為等於0。
本發明提供了一種編碼大尺寸編碼單元以提高壓縮效率和複雜度性能的方法。
視訊編解碼系統中視訊處理的方法及裝置，包括接收與當前切片中當前CU有關的輸入視訊資料，確定該當前CU的尺寸是否大於最大尺寸閾值，當該當前CU的該尺寸大於該最大尺寸閾值時，將該當前CU的殘差設置為0，以及對該當前切片中該當前CU進行編碼來形成視訊位元流，或者對來自該視訊位元流的該當前切片中的該當前CU進行解碼。該當前切片由遞迴拆分結構(如四叉樹、QTBT、MTT或其他拆分結構)拆分成複數個非重疊的CU，以及每一CU僅包含一個轉換單元(TU)。該當前CU作為預測以及轉換處理兩者的基礎代表塊，因此其不被拆分成複數個較小塊用於預測以及轉換處理。
在一維或在二維中測量該當前CU的該尺寸以及該最大尺寸閾值，例如，當在一維測量該尺寸時，該當前CU的該尺寸是該當前CU的寬度或高度，以及當在二維測量該尺寸時，該當前CU的該尺寸是面積。在一些實施例中，該當前CU中的當前TU包含一個亮度TB以及兩個色度TB，以及當該當前CU大於該最大尺寸閾值時，將亮度以及色度TB中所有係數層級值設置為0。
當該當前CU的該尺寸大於該最大尺寸閾值時，視訊編碼器跳過發信與該當前CU的相關殘差有關的資訊，以及當該當前CU的該尺寸大於該最大尺寸閾值時，對應的視訊解碼器推斷該當前CU的該相關殘差等於0。
可以在該視訊位元流的高層級語法集中明確地發信或隱含地推導該最大尺寸閾值。在一些示例中，設置該最大尺寸閾值或從一最大轉換尺寸推導該最大尺寸閾值，以及該最大轉換尺寸是一最大轉換單元尺寸或一最大轉換塊尺寸。
在一特定實施例中，當該當前CU大於該最大尺寸閾值時，藉由選擇跳過模式對該當前CU進行編碼或解碼，視訊編碼器或解碼器將該當前CU的殘差設置為0。在這一實施例中，當該當前CU的尺寸大於該最大尺寸閾值，該當前CU推斷為由跳過模式進行編碼，當該當前CU的尺寸大於該最大尺寸閾值時，因為視訊解碼器推斷跳過旗標為1，該視訊編碼器可以跳過發信跳過旗標(cu_skip_flag)。
當該當前CU的尺寸大於該最大尺寸閾值時，示例性視訊編碼器或解碼器藉由將該當前CU中一或複數個TB的cbf設置為0，來將該當前CU的殘差設置為0。當TB的cbf等於0時，推斷TB中所有係數層級值為0。當該當前CU的尺寸大於該最大尺寸閾值時，編碼器可以跳過發信該當前CU中TB的cbf，因此對應的解碼器推斷該cbf等於0。類似地，當該當前CU的尺寸大於該最大尺寸閾值時，編碼器可以跳過發信殘差四叉樹根cbf、CU預測模式旗標以及合併旗標的一個或其組合，以及對應的解碼器推斷該殘差四叉樹根cbf等於0，CU預測模式旗標為幀間預測模式，以及該合併旗標為不在合併模式中編碼。
視訊處理方法的變形不僅將該當前CU的該尺寸與該最大尺寸閾值進行比較，還將該當前CU的該尺寸與最小尺寸閾值進行比較。當該當前CU的該尺寸小於該最小尺寸閾值時，將該當前CU的殘差設置為0。在視訊位元流的高層級語法集中明確地發信或隱含地推導該最小尺寸閾值。例如，設置該最小尺寸閾值或者從指定最小轉換尺寸推導該最小尺寸閾值。
在一些實施例中，該當前切片是B切片或P切片，因此僅允許B切片以及P切片中的CU以大於最大尺寸閾值的尺寸進行編碼。I切片中的CU被限制為尺寸小於或等於最大尺寸閾值。在一些其他實施例中，僅允許幀間編碼的CU具有大於該最大尺寸閾值的尺寸，而所有幀內編碼的CU被限制為具有小於或等該最大尺寸閾值的尺寸。當該當前CU的尺寸大於該最大尺寸閾值時，用具有0殘差的跳過模式或AMVP模式對該當前CU進行編碼。
根據一實施例，在視訊位元流中發信額外的語法元素指示是否允許大尺寸CU，以及如果該語法元素指示不允許大尺寸CU，當該當前CU的該尺寸大於該最大尺寸閾值時，該視訊編碼器或解碼器強制將該當前CU拆分成複數個較小的CU。
本發明各方面進一步提供了視訊編解碼系統中用於處理視訊的裝置，其包括一或複數個電子電路，用於接收與當前CU有關的輸入資料，確定該當前CU的尺寸是否大於最大尺寸閾值，當該當前CU的該尺寸大於該最大尺寸閾值時，將該當前CU的殘差設置為0，藉由不進一步拆分的預測以及轉換處理對該當前CU進行編碼或解碼。
本發明的各方面進一步提供了存儲程式指令的非暫態電腦可讀媒介，該程式指令使得裝置的處理電路執行視訊編碼處理，當該當前CU的尺寸大於該最大尺寸閾值時，藉由將該當前CU的殘差設置為0來對當前CU進行編碼或解碼。在閱讀後續描述以及具體實施例後，本發明的其他方面及特徵對本領域習知技術者將是顯而易見的。
本發明當編碼單元的尺寸大於最大尺寸閾值或最小尺寸閾值時，將編碼單元的殘差設置為0，對具有0殘差的編碼單元進行編碼以避免需要對大尺寸編碼單元進行進一步拆分，降低了編碼複雜度，提高了壓縮效率。
容易理解的是，如在此描述及在附圖中示出的，本發明的元件可以以多種的不同配置進行排列和設計。如在附圖所示出的本發明的系統及方法的實施例的後續更具體的描述不旨在限制所要求保護的本發明的範圍，而是僅代表本發明的所選實施例。
在整個說明書提及的“一實施例”、“一些實施例”或者類似的語言意味著結合實施例描述的特定特徵、結構或者特性可以包括于本發明的至少一實施例中。因此，貫穿本說明書各個地方的短語“在一個實施例中”或者“在一些實施例中”的出現並不所有都指同一實施例，這些實施例可以單獨地或結合一或複數個實施例來實施。此外，所描述的特徵、結構或特性可以在一或複數個實施例中以任何合適的方式組合。然而，本領域習知技術者將認識到到，本發明可以在沒有一或複數個具體細節或利用其他方法、元件等等的情況下實施，在其他實施例中，沒有詳細示出或描述公知的結構或操作以避免混淆本發明的各方面。
下一代視訊壓縮標準VVC WD1中的CU被設計為用於預測以及轉換操作兩者的基礎代表塊，因此每一CU恰好包含用於預測操作的一個PU以及恰好包含用於轉換操作的一個TU。HEVC所支援的CTU尺寸多達64×64亮度採樣以及由HEVC標準支援的轉換塊尺寸多達32×32採樣。下一代視訊壓縮標準希望允許較大CTU尺寸以及轉換塊尺寸的使用以用於高解析度視訊應用，例如，JEM中CTU尺寸高達256×256採樣以及最大TU尺寸是128×128亮度採樣，以及VVC WD1支援CTU尺寸高達128×128亮度採樣以及TU尺寸高達64×64亮度採樣。因為隨著轉換塊尺寸的增加，與轉換處理有關的硬體實施複雜度以及計算成本趨向於顯著擴展，最大轉換尺寸被指定以限制TU尺寸。理論上，因為CTU可以僅包括一個CU，最大CU尺寸與指定的CTU尺寸相同。然而，當一個CU僅包括一個TU時，具有最大CU尺寸(例如，在VVC WD1中定義的128×128亮度採樣)的CU在其超過最大TU尺寸(例如，在VVC WD1中定義的64×64亮度採樣)時被強制拆分成複數個較小的CU。
在HEVC中，在SPS中指定都以亮度採樣為單元中的CTU尺寸以及最大TU尺寸，如果當前CU尺寸大於指定的最大TU尺寸，當前CU的殘差強制被拆分成四個TU。當TU的塊尺寸大於最大TU尺寸時，用於指示是否拆分TU的相關語法split_transform_flag沒有被編碼並被推斷為等於1。在正在開發的下一代視訊壓縮標準中，因為CU僅包括一個TU，寬度或高度大於最大TU尺寸的寬度或高度的大尺寸CU強制被拆分成較小的CU，直到每一CU小於或等於最大TU尺寸。這種用於處理大尺寸CU的強制拆分解決方法根據最大TU尺寸來減小最大CU尺寸。處理這些大尺寸CU的可替代解決方法是允許“一個CU包含一個TU規則”的例外，也就是每一大尺寸CU包含複數個TU而不是一個TU，以及每一TU的尺寸小於或等於最大TU尺寸。因為強制拆分解決方法避免使用大尺寸CU以及另一種解決方法違反了一個CU包含一個TU規則，另一種解決方法意味著更多的比特用於發信每一大尺寸CU中的複數個TU，這兩種解決方法可能會導致所生成的位元流的壓縮率的損失。
對於大尺寸 CU ，殘差被推斷為 0 。本揭露中視訊編碼器或視訊解碼器的各種實施例能夠使用大尺寸CU以及同時遵循一個CU包含一個TU的規則對視訊資料進行編解碼，同時維持與轉換處理相關的相當的實施複雜度以及計算成本。實施0殘差方法的實施例的視訊編碼器或解碼器可以在不支持與增加的轉換尺寸有關的額外處理模組的情況下，使用大尺寸CU對視訊資料進行編碼或解碼。大尺寸CU定義為尺寸大於最大尺寸閾值的CU。最大尺寸閾值的一示例是設置為指定的最大轉換尺寸，如在HEVC標準中的32×32亮度採樣或VVC WD1中給的64×64亮度採樣。因為CU是用於預測以及轉換處理的基礎代表單元，編碼器或解碼器能夠處理大尺寸CU表示具有能力來處理尺寸大於指定最大轉換尺寸的轉換塊。根據該0殘差方法，當當前CU的尺寸大於最大尺寸閾值時，視訊編碼器或解碼器將當前CU的殘差設置為0。可以在高層級語法集(例如SPS、PPS以及切片資料頭)中明確發信或者可以隱含地推導最大尺寸閾值。在一些實施例中，設置最大尺寸閾值或者從最大轉換尺寸推導最大尺寸閾值，例如設置最大尺寸閾值小於或等於最大轉換尺寸以確保大於最大轉換尺寸的轉換塊包含所有0係數。設置當前CU的殘差等於0意味著當前CU中的每一TB僅包含0係數。可以跳過僅具有0係數的TB的量化以及轉換處理。這樣，視訊編碼器或解碼器可以使用大尺寸CU來表示視訊資料而不需要進一步支援與增加的轉換尺寸有關的額外處理模組。
0殘差方法的優點是給編碼器提供了靈活性來根據率失真優化(rate-distortion)或複雜度性能選擇以具有0殘差的大尺寸CU或者將大尺寸CU拆分成正常尺寸CU的方式對視訊資料進行編碼。正常尺寸CU是尺寸小於或等於最大尺寸閾值的CU，以及允許這些正常尺寸CU中的對應的TB具有非0係數。這與總是遞迴地強制拆分大尺寸CU直到所有相關的TB的尺寸小於或等於最大轉換尺寸的傳統方法形成對比。本發明中最大轉換尺寸可以指最大TU尺寸或最大TB尺寸。在本發明中，可以以二維或一維測量尺寸，當在二維測量尺寸時，CU的面積與最大轉換面積進行比較；以及當在一維測量尺寸時，CU的寬度以及高度與最大轉換尺寸進行比較以確定這一CU是否是大尺寸CU。例如，如果當前CU的寬度以及高度的一個或兩個大於最大轉換尺寸，該當前CU是大尺寸CU以及該當前CU的殘差被設置為0。
在0殘差方法中，如果當前CU是大尺寸CU，將當前CU的殘差設置為0，以及當前CU可以以幀間預測模式或幀內預測模式進行編碼。當CU預測模式是幀間預測時，視訊編碼器可以選擇高級運動向量預測(Advance Motion Vector Prediction，AMVP)模式或跳過模式來對大尺寸CU進行編碼。當選擇跳過模式用於大尺寸CU時，視訊編碼器僅發信運動向量合併候選索引來指示相鄰幀間預測的分區，以及視訊編碼器從相鄰幀間預測的分區推導運動資訊。當選擇AMVP模式時，視訊編碼器發信運動向量差(Motion Vector Difference，MVD)與指示向量幀間預測的分區的運動向量預測子(Motion Vector Predictor，MVP)索引，以及視訊解碼器藉由將MVD與相鄰幀間預測的分區的MVP相加來推導大尺寸CU的運動向量(Motion Vector，MV)。在一實施例中，0殘差方法僅應用於使用幀間預測編碼的CU，使用幀內預測編碼的所有CU被限制為具有小於或等於最大尺寸閾值的尺寸。在另一實施例中，0殘差方法僅應用於B切片以及P切片中的CU，I切片中的所有CU被限制為具有小於或等於最大尺寸閾值的尺寸。
在用於實現進一步位元速率降低的一些實施中，當當前CU的寬度、高度或面積大於最大轉換尺寸，視訊編碼器跳過發信與當前CU的殘差相關的資訊。當當前CU的寬度、高度或面積大於最大轉換尺寸時，對應的視訊解碼器推斷當前CU的殘差等於0。
在一特定示例中，在採用所揭露的0殘差方法後，視訊編碼器可以對尺寸大於128×128的CU進行編碼而不需要進一步實施用於在寬度與高度上256採樣的轉換塊的額外的轉換處理模組，其中該視訊編碼器支援256×256採樣的CTU尺寸以及在寬度與高度兩者上128採樣的最大TU尺寸。在採用所揭露的0殘差方法後，對應的視訊解碼器也可以對尺寸大於128×128採樣的CU進行解碼而不需要實施用於256×256採樣的轉換塊尺寸的額外的轉換處理模組。
第7圖示出了視訊編解碼系統中用於處理視訊資料的0殘差方法的流程圖。在步驟S702中，示例性的編碼器或解碼器接收與當前切片中當前CU有關的輸入視訊資料或者從視訊位元流接收與當前切片中當前CU有關的編碼的視訊資料。該當前CU是從該當前切片拆分的葉CU，其中根據四叉樹拆分結構、QTBT拆分結構、MTT拆分結構或者其他遞迴拆分結構，該當前切片被拆分成複數個非重疊CU。在步驟S704中，編碼器或解碼器將該當前CU的尺寸與最大尺寸閾值進行比較，並在步驟S706中，確定該當前CU的該尺寸是否大於該最大尺寸閾值。最大尺寸閾值的示例設置為等於最大轉換尺寸。如果該當前CU的該尺寸大於該最大尺寸閾值，在步驟S708中，編碼器或解碼器將該當前CU的殘差設置為0。該當前CU可以僅包含一個TB或其可以包含兩個或複數個TB，如一個亮度TB與兩個色度TB。在一些實施例中，藉由將與每一TB有關的每一cbf設置為0或者將殘差四叉樹根cbf設置為0，該當前CU中所有TB中的係數層級值被推斷為0。在步驟S710中，藉由預測以及轉換處理對該當前CU進行編碼或解碼，而不需要進一步拆分。在步驟S708中，將該當前CU的殘差設置為0指該當前TU中所有係數層級值是0以及跳過了轉換處理中複雜的計算。
用於小尺寸 CU 的 0 殘差方法 。在一實施例中，0殘差方法可以應用於極其小尺寸的CU，其中小於最小尺寸閾值的當前CU的殘差被設置為0。對於那些極其小的尺寸CU，預測更有可能具有高精度，因此期望殘差較小。視訊編碼器或解碼器強制這些小尺寸CU的殘差以及相關的係數層級值等於0。藉由強制所有極其小尺寸CU的殘差為0，可以節省用於發信以及處理這些極其小尺寸CU的大量的資料比特與計算。最小尺寸閾值也可以在高層級語法集(如SPS、PPS以及切片資料頭)中明確發信或者隱含地推導。本實施例中的視訊編碼器或解碼器將當前CU的尺寸與最大尺寸閾值以及最小尺寸閾值兩者進行比較，以及如果當前CU大於最大尺寸閾值或小於最小尺寸閾值，設置0殘差或0係數層級值。
對於大尺寸 CU ，編碼模式推斷為跳過模式 。0殘差方法的一特定實施例是跳過模式方法。在跳過模式方法中，視訊編碼器以及解碼器總是選擇跳過模式用於對B以及P切片中的大尺寸CU進行編碼或解碼。本揭露中的大尺寸CU可以被定義為尺寸大於最大尺寸閾值的CU，或者大尺寸CU可以被定義為尺寸在指定尺寸範圍內的CU。示例性指定尺寸範圍包括大於最大尺寸閾值的任何尺寸或者小於最小尺寸閾值的任何尺寸。該指定尺寸範圍可以從在高層級語法集(如SPS、PPS以及切片資料頭)中發信的一或複數個語法元素推導。該指定尺寸範圍可以與CU的總像素採樣、寬度或高度有關。跳過模式是HEVC中有效的幀間預測編碼模式，其表示許多CU在B以及P切片中精確運動補償預測後具有低能量的殘差信號。因為當當前CU在跳過模式中進行編碼時，在位元流中既不計算也沒有發信當前CU的殘差以及MVD，相比於其他編碼模式，跳過模式通常涉及相對較低的比特成本以及計算與實施複雜性。視訊編碼器或解碼器的實施例有效地使用跳過模式來提高在壓縮效率方面的的編碼性能並降低視訊編碼系統中計算與硬體複雜性。
在跳過模式方法的一些實施例中，對於每一大尺寸CU，視訊編碼器或解碼器跳過信令或者跳過編碼或解碼跳過旗標，如語法元素cu_skip_flag。對於當CU的尺寸大於最大尺寸閾值或者在指定尺寸範圍內時的CU，這一跳過旗標推斷為等於1。跳過模式方法限制大尺寸CU在跳過模式中進行編碼，從而降低與CU模式決策有關的計算複雜性以及加快處理這些大尺寸CU的編碼時間。對於在跳過模式中編碼的每一大尺寸CU，僅運動向量合併候選索引被編碼為殘差以及MVD總是0。大尺寸CU的幀間預測參數係從藉由運動向量合併候選索引所選擇的相鄰幀間預測的分區被簡單地推測。
在一示例中，當當前CU的寬度、高度或面積大於B或P切片中最大尺寸閾值時，視訊編碼器跳過發信當前CU的語法元素cu_skip_flag。在解碼器，當當前CU的寬度、高度或面積大於B或P切片中最大尺寸閾值時，推斷該當前CU在跳過模式中進行編碼。該示例中最大尺寸閾值是指定的最大轉換尺寸，例如VVC WD1中的64×64採樣。在另一實施例中，當當前CU的寬度、高度或面積大於最大尺寸閾值或小於最小尺寸閾值時，視訊編碼器或解碼器總是選擇跳過模式來對B或P切片中的當前CU進行編碼。視訊編碼器或解碼器可以進一步跳過信令或者跳過對CU的語法元素cu_skip_flag進行編碼或解碼，其中該CU的尺寸大於最大尺寸閾值或小於最小尺寸閾值。在又一示例中，僅應用最小尺寸閾值，因此編碼器或解碼器被強制在跳過模式中對尺寸小於最小尺寸閾值的複數個CU進行編碼。
根據跳過模式方法，當最大尺寸閾值被設置為小於或等於最大TU尺寸時，視訊編碼器或解碼器支持對尺寸大於最大TU尺寸的CU進行編碼或解碼。在這一特定條件下，尺寸超過最大TU尺寸的所有CU都在跳過模式中進行編碼以及相關轉換塊的係數層級值被推斷為0。最大以及最小尺寸閾值可以在高層級語法集(例如，SPS、PPS以及切片資料頭)中發信或者這些閾值可以從當前位元流的指定的最大以及最小轉換尺寸中推導。
例如，理論上JEM中的最大CU尺寸等於CTU尺寸，其是256×256亮度採樣，因為大於128×128亮度採樣的最大TU尺寸的每一CU被拆分成小於或等於最大TU尺寸的複數個CU，JEM中的實際最大CU尺寸減少為128×128亮度採樣。藉由實施所揭露的0殘差方法或跳過模式方法，修正的視訊編碼器或解碼器可以對寬度或高度大於128亮度採樣的大尺寸CU進行編碼以及解碼。最大CU尺寸變得跟指定CTU尺寸一樣大，其在這一示例中是256×256亮度採樣。
用於定義大尺寸 CU 的額外語法元素 。在本發明的一方面，視訊編碼器在視訊位元流的HLS集合中插入一或複數個語法元素來發信用於推導一或複數個閾值的資訊，其中該一或複數個閾值用於定義大尺寸CU、小尺寸CU或兩者。閾值可以包括最大尺寸閾值、最小尺寸閾值或者最大以及最小尺寸閾值兩者。在所揭露的跳過模式方法的後續示例中，閾值僅包括最大尺寸閾值。視訊編碼器在跳過模式中對當前CU進行編碼以及當當前CU的寬度、高度或面積大於閾值時，跳過發信該當前CU的CU跳過旗標。在解碼器端，當該當前CU的寬度、高度或面積大於閾值時，該CU跳過旗標被推斷為等於1，指示該當前CU在跳過模式中進行編碼，在0殘差方法的示例中，在視訊位元流的HLS集合中的一或複數個語法元素中發信用於推導最大總閾值或最小總閾值的資訊，以及如果當前CU中像素的總數目大於最大尺寸閾值或小於最小尺寸閾值，視訊編碼器或解碼器通常將當前CU的殘差示為0。
用於 I 切片或幀內編碼的 CU 的不同方法 。在一些實施例中，因為在運動補償預測後，B以及P切片中CU的殘差趨向於具有低量級(magnitude)，視訊編碼器或解碼器僅採用0殘差方法用於B以及P切片中的CU。對於在I切片中編碼的視訊資料，視訊編碼器或解碼器總是將包含尺寸小於最大轉換尺寸的任意TB的CU或TU拆分成較小的複數個CU或複數個TU。
在後續的示例中，CTU尺寸是128×128，最大轉換尺寸是64×64，色彩格式是4:2:0，以及亮度採樣與色度採樣被編碼成各自的CTU，其中亮度CTU以及色度CTU的CU拆分結構在I切片中獨立地控制。在一示例中，0殘差方法僅應用於B以及P切片中的CU，因此由於CTU尺寸大於最大轉換尺寸，I切片中的亮度以及色度CTU兩者都強制被拆分成尺寸64×64的四個較小的CU。在將0殘差方法應用於B以及P切片中CU的另一示例中，因為亮度CTU中相關的複數個亮度TB大於指定的最大轉換尺寸，視訊編碼器或解碼器僅強制去拆分亮度CTU。因為色度CTU中相關的色度轉換塊等於最大轉換尺寸，其是64×64，不強制拆分色度CTU。
在另一實施例中，視訊編碼器或解碼器可以進一步施加約束，如0殘差方法僅用於使用任何幀間預測模式在B或P切片中編碼的CU。如果對應的TB尺寸超出最大轉換尺寸，I切片中的所有大尺寸CU以及B與P切片中所有幀內編碼的大尺寸CU被強制拆分，或者在可選的實施例中，這些大尺寸CU不被強制拆分成複數個小CU，但是每一大尺寸CU包含複數個TU以及每一TU的尺寸小於或等於最大轉換尺寸。
第8圖示出了僅在B以及P切片中採用0殘差方法的視訊處理方法實施例的流程圖。在步驟S802中，示例性視訊編碼器或解碼器接收當前切片中當前CU的輸入視訊資料或者從視訊位元流接收當前切片中當前CU的編碼的視訊資料，以及在步驟S804中，該編碼器或解碼器將該當前CU的尺寸與最大尺寸閾值進行比較，並確定該當前且切片是否是I切片還是B或P切片。在步驟S806中，檢測該當前CU的尺寸是否大於最大尺寸閾值，以及如果該該當前CU的尺寸小於或等於最大尺寸閾值，在步驟S814中，藉由一標準編碼或解碼進程，該編碼器或解碼器處理該當前CU。當該當前CU是尺寸大於最大尺寸閾值的大尺寸CU時，步驟S808進一步檢查該當前切片是否是I切片。在步驟S810中，如果該當前切片是I切片，該編碼器或解碼器推斷將該當前CU拆分成小於或等於該最大尺寸閾值的複數個CU。如果當前切片是B或P切片，在步驟S812中，該編碼器或解碼器將該當前CU的殘差設置為0。在步驟S814中，藉由預測以及轉換處理對該當前CU進行編碼或解碼，或者如果該當前CU不是葉CU，進一步拆分該當前CU。在採用跳過模式方法的視訊處理方法的另一實施例中，當該當前CU是大尺寸CU以及該當前切片是B或P切片時，可以藉由推斷該當前CU的編碼模式為跳過模式來替換第8圖中的步驟S812。
僅編碼器的方法 。所揭露的0殘差方法以及所揭露的跳過模式方法的一些實施例被實施為僅編碼器的方法，因此對應的解碼器不需要修正它的解析以及解碼演算法。如果當前CU的寬度、高度或面積大於最大尺寸閾值，視訊編碼器的一實施例強制將該當前CU的預測殘差設置為等於0，以及視訊編碼器用0殘差方法的當前CU進行編碼。視訊編碼器可以將與該當前CU中每一TB相關的cbf設置為等於0以跳過轉換以及量化處理。最大尺寸閾值可以從指定的最大轉換尺寸中推導。視訊編碼器的另一實施例藉由施加一位元流約束來實施所揭露的0殘差方法，以致當該當前CU的寬度、高度或面積大於最大尺寸閾值時，相關的語法值限制為發信0殘差給當前CU。視訊編碼器也可以施加一位元流約束來限制轉換塊中的係數層級值，當該轉換塊的寬度、高度或面積大於最大尺寸閾值時，該係數層級值等於0。以上所揭露的在視訊編碼器中實施的實施例每一修正現有語法，因此不需要改變解碼演算法。
使能所揭露的方法或控制最大轉換尺寸的語法元素 。本發明一方面在位元流中高層級語法(HLS)(如序列參數集(SPS)、圖像參數集(PPS)以及切片資料頭)中引入了一或複數個額外的語法元素來控制一或複數個所揭露方法的使用。該一或複數個語法元素可以用於指示是否使能或禁用具體的所揭露的方法，其支援對大尺寸CU進行編碼而不需要進一步拆分，大尺寸CU包含寬度、高度或面積大於最大轉換尺寸的複數個轉換塊。在另一實施例中，一或複數個HLS語法元素可以發信用於推導最大轉換尺寸的資訊，最大轉換尺寸可以是最大TB尺寸與最大TU尺寸的一個或兩者。對於寬度與高度，可以分別發信用於推導最大轉換尺寸的資訊。當可以選擇不同的CU拆分結構用於亮度以及色度分量時，對亮度轉換塊以及色度轉換塊，可以分別地發信用於推導最大轉換尺寸的資訊。可以從相關亮度與色度TB的最大TB尺寸中推導最大TU尺寸。對於I切片以及B與P切片，可以在SPS或PPS中分別發信用於推導最大轉換尺寸的資訊，以致可以為不同的切片類型選擇不同的CU拆分結構。可以在切片資料頭中發信用於推導最大轉換尺寸的資訊來允許來切片到切片適應性地調整CU拆分結構。
用於跳過某些語法元素的一些特定示例 。藉由使用QT結構、QTBT結構、MTT結構或其他遞迴性拆分結構，首先將每一視訊圖像拆分成複數個非重疊的CTU，然後將每一單個CTU拆分成一或複數個非重疊的CU，視訊編碼器或解碼器的實施例對視訊資料進行編碼或解碼。每一CU不僅作為預測處理的基礎單元而且也是轉換處理的基礎單元，換句話說，每一CU恰好包含一個TU。為B以及P切片中每一CU發信語法元素cu_skip_flag來指示當前CU是否在跳過模式中進行編碼，其中cu_skip_flag等於1表示該當前CU在跳過模式中進行編碼。當當前CU沒有在跳過模式中進行編碼，cu_skip_flag等於0時，發信語法元素pred_mode_flag來指示該當前CU是否在幀間預測或幀內預測中進行編碼，以及當該當前CU在幀間預測中進行編碼時，進一步發信語法元素merge_flag來指示該當前CU是否在合併模式中進行編碼，合併模式具有從指示的相鄰幀間預測的分區中推斷的相關幀間預測參數。在0殘差方法的第一實施例中，每一大尺寸CU的預測殘差設置為0，當當前CU的尺寸大於最大尺寸閾值時，視訊編碼器跳過發信該當前CU中每一轉換塊的cbf，以及當該當前CU的尺寸大於最大尺寸閾值時，視訊解碼器推斷該當前CU中每一轉換塊的相關cbf等於0。在0殘差方法的第二實施例中，當當前CU的尺寸大於最大尺寸閾值時，視訊編碼器跳過發信該當前CU的相關語法元素rqt_root_cbf或cu_cbf，以及當該當前CU的尺寸大於最大尺寸閾值時，視訊解碼器推斷該當前CU的相關rqt_root_cbf或cu_cbf等於0。在0殘差方法的第三實施例中，當當前CU的尺寸大於最大尺寸閾值時，視訊編碼器跳過發信B以及P切片中CU預測模式旗標(也就是pred_mode_flag)。當該當前CU的尺寸大於最大尺寸閾值時，視訊解碼器推斷CU預測模式為幀間預測。在0殘差方法的第四實施例中，當當前CU的尺寸大於最大尺寸閾值時，視訊編碼器跳過發信合併旗標(也就是merge_flag)，以及當該當前C的尺寸大於最大尺寸閾值時，對應的視訊解碼器推斷合併旗標為0，指示該當前CU不在合併模式中進行編碼。在第三以及第四實施例中，0殘差方法僅應用於幀間預測的CU，更具體地，第三實施例中的大尺寸CU可以僅由具有0殘差的跳過模式或AMVP模式進行編碼。在0殘差方法的優選實施例中，視訊編碼器跳過發信每一大尺寸CU的所有cbf、rqt_root_cbf或cu_cbf、pred_mode_flag以及merge_flag，以及視訊解碼器推斷cbf以及rqt_root_cbf或cu_cbf為0，推斷預測模式為幀間預測，以及推斷合併旗標為不在合併模式中進行編碼。在跳過模式方法的實施例中，當當前CU的尺寸大於最大尺寸閾值時，視訊編碼器跳過發信CU跳過旗標(也就是cu_skip_flag)，以及當該當前CU的尺寸大於最大尺寸閾值時，視訊解碼器推斷CU跳過旗標為1，指示該當前CU在跳過模式中進行編碼。上述實施例可以單獨地或與其他實施例結合來實施。在上述實施例中，最大尺寸閾值可以簡單的是最大轉換尺寸，以及最大尺寸閾值可以在視訊位元流中明確發信或隱含地推斷。
為單個色彩分量考慮 TB 尺寸 。在另一實施例中，視訊編碼器以及解碼器基於對應的色彩分量的相關轉換塊的尺寸決定拆分大尺寸CU。不同於先前所描述實施例中的將CU的尺寸與最大尺寸閾值進行比較，其將每一單個TB的尺寸與最大尺寸閾值進行比較。該最大尺寸閾值可以被設置為等於由具體編碼標準指定的最大轉換尺寸或者該最大轉換尺寸中推導。在這一實施例中，亮度採樣以及色度採樣可以被編碼為各自的CTU，其中單獨地控制亮度CTU以及色度CTU的CU拆分結構，以及為每一CTU發信指示CU拆分結構的編碼樹表示。一示例是由JEM採用I切片的CU/TU結構，JEM允許為每一亮度CTU以及它對應的色度CTU發信不同的編碼樹表示。示例性視訊編碼器或解碼器採用CU作為轉換處理的基礎代表單元，因此每一CU恰好包含一個TU，以及視訊編碼器或解碼器使用QT結構、QTBT結構、MTT結構或其他遞迴拆分結構將CTU拆分成複數個CU。來自一個亮度分量以及兩個色度分量的像素採樣由各自的CU表示。一個亮度CU包含一個亮度TB，而一個色度CU包含兩個色度TB。亮度TB的尺寸可以不同於相關色度TB的尺寸，因此當亮度TB的尺寸大於最大尺寸閾值時，色度TB的尺寸可以不超過最大尺寸閾值。例如，64×64亮度TB超出HEVC最大轉換尺寸(也就是32×32)，但根據4:2:0色彩格式，每一相關的32×32色度TB在HEVC最大轉換尺寸範圍內。當當前CU中相關的轉換塊的寬度、高度或面積大於最大尺寸閾值時，視訊編碼器強制將當前CU拆分成複數個較小尺寸的CU。強制拆分決定可以由視訊解碼器隱含地推導或明確第發信到視訊解碼器。例如，藉由根據相關轉換塊尺寸推斷該強制拆分決定或根據一拆分旗標，視訊解碼器拆分該當前CU。
在一特定示例中，使用以亮度採樣為單元的256×256的CTU尺寸對4:2:0色彩格式的視訊圖像進行編碼，以及指定的最大轉換尺寸在寬度以及高度上均等於128採樣。當視訊編碼器或解碼器處理具有256×256尺寸的亮度CTU時，因為對應的轉換塊尺寸256×256大於最大轉換尺寸，視訊編碼器或解碼器強制將每一亮度CTU拆分成四個四分之一大小的亮度CU。基於編碼器演算法(如率失真優化)，四個四分之一大小的亮度CU可以進一步拆分成複數個甚至更小尺寸的CU，以及最終的CU拆分結構可以被發信到解碼器。因為4:2:0格式在色度分量上應用2:1的下採樣(down sampling)，對應的色度CTU的每一相關TB的最大尺寸是128×128。因為每一相關的色度TB未超過最大轉換尺寸，視訊編碼器或解碼器將不強制拆分色度CTU。視訊編碼器具有靈活性來決定使用單個CU還是進一步拆分成較小尺寸的CU來對每一色度CTU進行編碼。在這一示例中，因為色度CTU可以被編碼為一個單個CU，僅亮度CTU需要被強制拆分。與之相比，在指定的最大轉換單元尺寸等於I切片中128×128採樣的情況下，傳統的編碼器或解碼器總是以亮度採樣為單元拆分亮度CTU以及尺寸256×256的相關色度CTU兩者。
示例性系統框圖 。第9圖示出了實施本發明各種實施例的視訊編碼器900的示例性系統框圖。CU結構拆分模組902接收視訊切片的輸入資料以及確定將要編碼的每一切片的塊拆分結構。在CU結構拆分模組902中，切片首先被拆分成複數個非重疊塊以及每一塊進一步由遞迴拆分結構拆分成複數個葉塊，例如，根據QTBT拆分結構或MTT拆分結構，切片中的複數個CTU被拆分成複數個CU。當前切片中的每一CU在幀內預測模組904由幀內預測來預測或在幀間預測模組906中由幀間預測來預測以移除空間冗餘或時間冗餘。幀內預測模組904基於相同圖像中重構的視訊資料為當前CU提供幀內預測子。幀間預測模組906基於來自其他一或複數個圖像的視訊資料執行運動估計(motion estimation，ME)以及運動補償(motion compensation，MC)來為當前CU提供預測子。開關908選擇幀內預測模組904或幀間預測模組906來提供預測子到加法器910來形成預測誤差，也稱為殘差。當前CU的殘差進一步由轉換模組(T)912處理，緊接著由量化模組(Q)914處理。已轉換以及已量化殘差然後由熵編碼器926編碼以形成視訊位元流。視訊位元流然後和輔助資訊(side information)一起打包。當前CU的已轉換以及已量化殘差由逆量化模組(IQ)916以及逆轉換模組(IT)918處理來恢復預測殘差。如第9圖所示，藉由在重構模組(REC)920添加回所選擇的預測子來恢復殘差，以生成重構的視訊資料。重構的視訊資料可以存儲於參考圖像緩衝器(Ref.Pict.Buffer)924中並由幀間預測模組906使用以用於其他圖像的預測。由於編碼處理，來自REC920的重構視訊資料可能受到各種損害，因此，在存儲到參考圖像緩衝器924之前將至少一個環路處理濾波器(濾波)922應用於已重構的視訊資料來進一步加強品質。環路處理濾波器的一些示例是去塊濾波器以及採樣自我調整偏移(Sample Adaptive Offset，SAO)。根據本發明的實施例，如果當前切片中當前CU的尺寸大於最大尺寸閾值，視訊編碼器900將當前CU的殘差設為等於0，其加速了視訊編碼器900，因為轉換模組912以及量化模組914以及逆量化模組916以及逆轉換模組914可以跳過處理所有大尺寸CU。在一些實施例中，當當前CU大於最大尺寸閾值時，視訊編碼器900跳過發信一或複數個語法元素，如CU跳過旗標。
在第10圖中示出了對由第9圖的視訊編碼器900生成的視訊位元流進行解碼的對應的視訊解碼器1000。輸入到視訊解碼器1000的是與當前切片中CU有關的編碼的視訊資料，以及每一CU由熵解碼器1002進行解碼來解析預測資訊、轉換的以及量化的殘差信號以及其他系統資訊。CU結構拆分模組1004確定每一視訊切片的CU拆分。解碼器1000的解碼過程類似於在編碼器900的重構過程，除了解碼器1000僅需要幀間預測模組1008中的運動補償預測。每一CU由幀內預測模組1006或幀間預測模組1008進行預測，以及開關1010根據解碼的模式資訊選擇幀內預測子或幀間預測子。由逆量化模組(IQ)1016以及逆轉換模組(IT)1014恢復與每一CU有關的已轉換及已量化的殘差。藉由在REC 1012添加回預測子重構所恢復的殘差來生成重構視訊。重構視訊由環路處理濾波器(濾波器)1018進一步處理來生成最終的解碼視訊。如果當前的解碼圖像是參考圖像，當前的解碼圖像的重構視訊也存儲於參考圖像緩衝器1020中用於解碼順序中的後續圖像。在一些實施例中，當僅在視訊編碼器900中實施0殘差方法時，沒有修正應用於視訊解碼器1000。在一些實施例中，當當前CU大於最大尺寸閾值時，視訊解碼器1000推斷當前CU的殘差為0或者推斷當前CU在跳過模式中進行編碼。例如，根據跳過模式方法，視訊解碼器1000推斷大尺寸CU的cu_skip_flag為1，或者根據0殘差方法，視訊解碼器1000推斷大尺寸CU中所有TB的cbf為0。
第9圖以及第10圖中視訊編碼器900以及視訊解碼器1000的各種元件可以由硬體元件、用於執行存儲於記憶體中的程式指令的一或複數個處理器，或者硬體與處理器的結合來實施。例如，處理器執行程式指令來控制接收與當前切片有關的輸入資料。處理器配備有單個或複數個處理核心。在一些實施例中，處理器執行程式指令來執行編碼器900與解碼器1000中一些元件的功能，以及電性耦合於處理器的記憶體用於存儲程式指令、對應於CU的重構圖像的資訊和/或編碼或解碼進程中的中間資料。一些實施例中的記憶體包括非暫態計算器可讀介質，例如半導體或固態記憶體、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、光碟或其他合適的存儲介質。記憶體也可以是上述列出的兩個或複數個非暫態電腦可讀介質的組合。如第9圖以及第10圖所述，編碼器900與解碼器1000可以在相同的電子裝置中實施，因此如果在相同的電子裝置中實施，可以共用或重新使用編碼器900以及解碼器1000的各種功能元件。
能夠處理大尺寸CU的視訊資料處理方法的實施例可以在集成到視訊壓縮晶片的電路或者集成到視訊壓縮軟體的軟體代碼來實施，以執行以上所描述的處理。例如，可以以在電腦處理器、數位訊號處理器(DSP)、微處理器或現場可程式設計閘陣列(FPGA)上執行的程式碼中實現為當前塊設置的當前模式的確定。這些處理器可以被配置于藉由執行定義由本發明實施的特定方法的機器可讀軟體代碼或固件代碼來執行根據本發明的特定任務。
可以在不背離本發明精神及基本特徵的情況下以其他特定形式實施本發明。所描述的示例在 所有方面僅被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而非前面的描述所指示。在申請專利範圍等同意義和範圍內的所有變化都包括在它們的範圍內。
100‧‧‧編碼樹單元
31~36‧‧‧二叉樹拆分類型
61~65‧‧‧MTT使用的拆分類型
S702~S710、S802~S814‧‧‧步驟
902‧‧‧CU結構拆分模組
904‧‧‧幀內預測模組
906‧‧‧幀間預測模組
908‧‧‧開關
910‧‧‧加法器
912‧‧‧轉換模組
914‧‧‧量化模組
916‧‧‧逆量化模組
918‧‧‧逆轉換模組
920‧‧‧重構模組
922‧‧‧環路處理濾波器
924‧‧‧參考圖像緩衝器
926‧‧‧熵編碼器
1002‧‧‧熵解碼器
1004‧‧‧CU結構拆分模組
1006‧‧‧幀內預測模組
1008‧‧‧幀間預測模組
1010‧‧‧開關
1012‧‧‧重構模組
1014‧‧‧逆轉換模組
1016‧‧‧逆量化模組
1018‧‧‧環路處理濾波器
1020‧‧‧參考圖像緩衝器
將參考以下附圖詳細描述作為示例提出的本揭露的各種實施例，其中相同的附圖標記表示相同的元件，以及其中： 第1圖示出了根據四叉樹拆分結構的將CTU拆分成CU以及將每一CU拆分成一或複數個TU的示例性編碼樹。 第2圖示出了在HEVC標準中定義的用於將CU拆分成一或複數個PU的8種不同的PU拆分類型。 第3圖示出了二叉樹拆分結構的6種示例性拆分類型。 第4A圖示出了根據二叉樹拆分結構的一示例性塊拆分結構。 第4B示出了對應於第4A圖中示出的二叉樹拆分結構的編碼樹結構。 第5A圖示出了根據QTBT拆分結構的示例性塊拆分結構。 第5B圖示出了對應於第5A圖的QTBT拆分結構的編碼樹結構。 第6圖示出了示例性MTT拆分結構中所使用的5種拆分類型。 第7圖示出了用於對當前切片中當前CU進行編碼或解碼的視訊處理方法的一實施例的流程圖。 第8圖示出了用於對當前切片中當前CU進行編碼或解碼的視訊處理方法的另一個實施例的流程圖。 第9圖示出了根據本發明實施例的結合視訊處理方法的視訊編碼系統的示例性系統框圖。 第10圖示出了根據本發明實施量的結合視訊處理方法的視訊解碼系統的示例性系統框圖。

Claims (20)

  1. 一種視訊編解碼系統的視訊處理方法，包括： 接收與一當前切片中一當前編碼單元有關的輸入視訊資料或者從一視訊位元流中接收與該當前切片中該當前編碼單元有關的編碼的視訊資料，其中該當前切片被拆分成複數個非重疊編碼單元以及每一編碼單元僅包含一個轉換單元； 確定該當前編碼單元的一尺寸是否大於一最大尺寸閾值； 當該當前編碼單元的該尺寸大於該最大尺寸閾值時，將該當前編碼單元的殘差設置為0；以及 編碼該當前編碼單元或解碼該當前編碼單元，其中該當前編碼單元不會進一步被拆分成複數個較小塊以用於預測以及轉換處理。
  2. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中在一維或在二維中測量該當前編碼單元的該尺寸以及該最大尺寸閾值，以及當在一維測量該尺寸時，該當前編碼單元的該尺寸是該當前編碼單元的寬度或高度。
  3. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中該當前編碼單元的一當前轉換單元包含一個亮度轉換塊以及兩個色度轉換塊，以及將當前編碼單元的該殘差設置為0包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，將該亮度轉換塊以及兩個色度轉換塊中所有係數層級值設置為0。
  4. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中編碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，跳過發信與該當前編碼單元的相關殘差有關的資訊，以及其中解碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，推斷該當前編碼單元的該相關殘差等於0。
  5. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中在該視訊位元流的高層級語法集中明確地發信該最大尺寸閾值或隱含地推導該最大尺寸閾值。
  6. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中設置該最大尺寸閾值或從一最大轉換尺寸推導該最大尺寸閾值，以及該最大轉換尺寸是一最大轉換單元尺寸或一最大轉換塊尺寸。
  7. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中將該當前編碼單元的殘差設置為0進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，選擇跳過模式來編碼或解碼該當前編碼單元。
  8. 如申請專利範圍第7項所述之視訊編解碼系統的視訊處理方法，其中編碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，跳過發信一跳過旗標，以及其中解碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，推斷該跳過旗標為1，指示該當前編碼單元在跳過模式中進行編碼。
  9. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中編碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，跳過發信該當前編碼單元中轉換塊的編碼塊旗標，以及其中解碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，推斷該轉換單元的該編碼塊旗標為0。
  10. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中編碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，跳過發信該當前編碼單元的一編碼單元編碼塊旗標，以及其中解碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，推斷該編碼單元編碼塊旗標為0。
  11. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中編碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，跳過發信一編碼單元預測模式旗標，以及其中解碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，推斷該編碼單元的該當前編碼單元預測模式是幀間預測。
  12. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中編碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，跳過發信一合併旗標，以及其中解碼該當前編碼單元進一步包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，推斷該合併旗標為0，指示該當前編碼單元不在合併模式中進行編碼。
  13. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，進一步包括確定該當前編碼單元的該尺寸是否小於一最小尺寸閾值，以及當該當前編碼單元的該尺寸小於該最小尺寸閾值時，將該當前編碼單元的殘差設置為0。
  14. 如申請專利範圍第13項所述之視訊編解碼系統的視訊處理方法，其中在該視訊位元流的高層級語法集中明確地發信該最小尺寸閾值或隱含地推導該最小尺寸閾值。
  15. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中該當前切片是B切片或P切片，以及I切片中所有編碼單元的尺寸被限制為小於或等於該最大尺寸閾值。
  16. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中該當前編碼單元在幀間預測模式對進行編碼，以及所有幀內編碼的編碼單元的尺寸被限制為小於或等於該最大尺寸閾值。
  17. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，進一步包括確定在該視訊位元流中發信一語法元素來指示是否允許大尺寸編碼單元，其中該大尺寸編碼單元是尺寸大於該最大尺寸閾值的編碼單元，以及如果該語法元素指示不允許大尺寸編碼單元，當該當前編碼單元的該尺寸大於該最大尺寸閾值時，強制將該當前編碼單元拆分成複數個較小的編碼單元。
  18. 如申請專利範圍第1項所述之視訊編解碼系統的視訊處理方法，其中將該當前編碼單元的殘差設置為0包括當該當前編碼單元的該尺寸大於該最大尺寸閾值時，將該當前編碼單元中一或複數個轉換塊的一編碼塊旗標設置為0。
  19. 一種視訊編解碼系統中處理視訊資料的裝置，該裝置包括一或複數個電子電路用於： 接收與一當前切片中一當前編碼單元有關的輸入視訊資料或者從一視訊位元流中接收與該當前切片中該當前編碼單元有關的編碼的視訊資料，其中該當前切片被拆分成複數個非重疊編碼單元以及每一編碼單元僅包含一個轉換單元； 確定該當前編碼單元的一尺寸是否大於一最大尺寸閾值； 當該當前編碼單元的該尺寸大於該最大尺寸閾值時，將該當前編碼單元的殘差設置為0；以及 編碼該當前編碼單元或解碼該當前編碼單元，其中該當前編碼單元不會進一步拆分成複數個較小塊用於預測以及轉換處理。
  20. 一種存儲程式指令的非暫態電腦可讀媒介，該程式指令導致裝置的處理電路執行視訊處理方法，以及該方法包括： 接收與一當前切片中一當前編碼單元有關的輸入視訊資料或者從一視訊位元流中接收與該當前切片中該當前編碼單元有關的編碼的視訊資料，其中該當前切片被拆分成複數個非重疊編碼單元以及每一編碼單元僅包含一個轉換單元； 確定該當前編碼單元的一尺寸是否大於一最大尺寸閾值； 當該當前編碼單元的該尺寸大於該最大尺寸閾值時，將該當前編碼單元的殘差設置為0；以及 編碼該當前編碼單元或解碼該當前編碼單元，其中該當前編碼單元不會進一步拆分成複數個較小塊用於預測以及轉換處理。
TW108101786A 2018-01-18 2019-01-17 視訊編碼解系統中的視訊處理方法及裝置 TWI687092B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201862618662P 2018-01-18 2018-01-18
US201862618660P 2018-01-18 2018-01-18
US201862618664P 2018-01-18 2018-01-18
US62/618,660 2018-01-18
US62/618,662 2018-01-18
US62/618,664 2018-01-18
US201862620005P 2018-01-22 2018-01-22
US62/620,005 2018-01-22
??PCT/CN2018/119531 2018-12-06
PCT/CN2018/119531 WO2019141012A1 (en) 2018-01-18 2018-12-06 Video processing methods and apparatuses for processing video data coded in large size coding units
WOPCT/CN2018/119531 2018-12-06

Publications (2)

Publication Number Publication Date
TW201933871A true TW201933871A (zh) 2019-08-16
TWI687092B TWI687092B (zh) 2020-03-01

Family

ID=67301687

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108101786A TWI687092B (zh) 2018-01-18 2019-01-17 視訊編碼解系統中的視訊處理方法及裝置

Country Status (4)

Country Link
US (1) US11051009B2 (zh)
CN (1) CN111602394B (zh)
TW (1) TWI687092B (zh)
WO (1) WO2019141012A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114930814A (zh) * 2019-12-24 2022-08-19 韩国电子通信研究院 图像编码/解码方法以及装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3804309A1 (en) * 2018-06-07 2021-04-14 InterDigital VC Holdings, Inc. Syntax elements for video encoding or decoding
CN110662050B (zh) * 2018-06-29 2022-06-14 北京字节跳动网络技术有限公司 处理视频数据的方法、装置及存储介质
AU2018217333B2 (en) * 2018-08-17 2025-04-24 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
AU2018217336B2 (en) 2018-08-17 2025-04-24 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
KR20260004538A (ko) * 2018-12-17 2026-01-08 삼성전자주식회사 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
WO2020171046A1 (en) * 2019-02-20 2020-08-27 Panasonic Intellectual Property Corporation Of America Image encoder and image decoder
JP2022068379A (ja) * 2019-03-08 2022-05-10 シャープ株式会社 画像復号装置
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
CN114365495B (zh) 2019-09-09 2025-03-21 北京字节跳动网络技术有限公司 帧内块复制编码与解码
CN119996693A (zh) * 2019-09-12 2025-05-13 阿里巴巴集团控股有限公司 视频编解码的计算机实现的方法及计算机可读存储介质
CN114424530B (zh) * 2019-09-13 2025-11-07 北京字节跳动网络技术有限公司 跳过模式信令通知
CN114902664B (zh) 2019-11-28 2025-05-23 Lg电子株式会社 图像/视频编码/解码方法和装置
US11363285B2 (en) * 2020-02-20 2022-06-14 Tencent America LLC Block partitioning at picture boundaries
CN113286152B (zh) 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
CN111683245B (zh) * 2020-06-23 2022-07-22 北京工业职业技术学院 基于纹理相似度的cu划分决策
US11259055B2 (en) * 2020-07-10 2022-02-22 Tencent America LLC Extended maximum coding unit size
WO2022135507A1 (en) 2020-12-23 2022-06-30 Beijing Bytedance Network Technology Co., Ltd. Video decoder initialization information
CN113225556B (zh) * 2021-05-31 2024-06-21 杭州当虹科技股份有限公司 视频编码方法
CN114827606A (zh) * 2022-05-26 2022-07-29 广东南方电信规划咨询设计院有限公司 一种编码单元划分的快速决策方法
WO2024046849A1 (en) * 2022-08-29 2024-03-07 Interdigital Ce Patent Holdings, Sas Missing attribute value transmission for rendered viewport of a volumetric scene
US20260107008A1 (en) * 2022-10-04 2026-04-16 Mediatek Inc. Affine motion based prediction in video coding
US12556732B2 (en) * 2023-11-27 2026-02-17 Tencent America LLC Systems and methods for transform partitioning in a recursive intra region

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483497B1 (ko) * 2008-09-25 2015-01-20 에스케이텔레콤 주식회사 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
JP2012019490A (ja) * 2010-07-09 2012-01-26 Sony Corp 画像処理装置及び画像処理方法
JP5594841B2 (ja) 2011-01-06 2014-09-24 Ｋｄｄｉ株式会社 画像符号化装置及び画像復号装置
US11245912B2 (en) * 2011-07-12 2022-02-08 Texas Instruments Incorporated Fast motion estimation for hierarchical coding structures
US20130016633A1 (en) * 2011-07-14 2013-01-17 Lum Nicholas W Wireless Circuitry for Simultaneously Receiving Radio-frequency Transmissions in Different Frequency Bands
CN108449602A (zh) 2012-01-19 2018-08-24 寰发股份有限公司 编码块旗标的编码及视频比特流的解码方法与装置
KR102071577B1 (ko) * 2012-03-20 2020-01-30 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 복호화 방법 및 그 장치
CN103237216B (zh) * 2013-04-12 2017-09-12 华为技术有限公司 深度图像的编解码方法和编解码装置
US9756359B2 (en) 2013-12-16 2017-09-05 Qualcomm Incorporated Large blocks and depth modeling modes (DMM'S) in 3D video coding
CN106063271B (zh) * 2013-12-26 2019-09-03 三星电子株式会社 用于执行基于子块的预测的层间视频解码方法及其设备以及用于执行基于子块的预测的层间视频编码方法及其设备
CN103780910A (zh) * 2014-01-21 2014-05-07 华为技术有限公司 视频编码中的块分割方式和最佳预测模式确定方法及相关装置
AU2014202682A1 (en) * 2014-05-16 2015-12-03 Canon Kabushiki Kaisha Method, apparatus and system for copying a block of video samples
EP3430808A4 (en) 2016-03-16 2020-01-15 Mediatek Inc. METHOD AND APPARATUS FOR PROCESSING VIDEO DATA WITH A RESTRICTED BLOCK LENGTH IN VIDEO CODING
EP3557870B1 (en) * 2016-12-16 2025-07-09 Sharp Kabushiki Kaisha Image decoding device and image coding device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114930814A (zh) * 2019-12-24 2022-08-19 韩国电子通信研究院 图像编码/解码方法以及装置

Also Published As

Publication number Publication date
US20210037237A1 (en) 2021-02-04
WO2019141012A1 (en) 2019-07-25
TWI687092B (zh) 2020-03-01
CN111602394A (zh) 2020-08-28
US11051009B2 (en) 2021-06-29
CN111602394B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
TWI687092B (zh) 視訊編碼解系統中的視訊處理方法及裝置
US11064220B2 (en) Method and apparatus of video data processing with restricted block size in video coding
KR102585509B1 (ko) 비디오 프로세싱 시스템에서 크로마 양자화 파라미터 도출의 방법 및 장치
TWI749584B (zh) 具有自適應色彩轉換技術之視訊資料編碼或解碼方法和裝置
US11792388B2 (en) Methods and apparatuses for transform skip mode information signaling
CN113273203B (zh) 两步交叉分量预测模式
US9986247B2 (en) Method and apparatus for line buffer reduction for video processing
US20220159301A1 (en) Adaptive in-loop color-space transform for video coding
US10484689B2 (en) Apparatus and method for performing rate-distortion optimization based on Hadamard-quantization cost
US11985327B2 (en) Bidirectional prediction method and video decoding apparatus
CN113632479B (zh) 越界节点视频数据的处理方法及装置
US20200213588A1 (en) Methods and Apparatuses of Video Data Coding with Tile Grouping
KR20140043015A (ko) 영상 부호화 방법 및 장치
RU2812648C2 (ru) Способ и устройство для обработки данных видео и носитель для хранения информации