TWI856336B - 應用膠片顆粒、提取及合併位元串流之方法、由編碼器執行之方法、及相關電腦程式、含有該程式之載體、及運算設備 - Google Patents

應用膠片顆粒、提取及合併位元串流之方法、由編碼器執行之方法、及相關電腦程式、含有該程式之載體、及運算設備 Download PDF

Info

Publication number
TWI856336B
TWI856336B TW111123804A TW111123804A TWI856336B TW I856336 B TWI856336 B TW I856336B TW 111123804 A TW111123804 A TW 111123804A TW 111123804 A TW111123804 A TW 111123804A TW I856336 B TWI856336 B TW I856336B
Authority
TW
Taiwan
Prior art keywords
region
value
image
block
regions
Prior art date
Application number
TW111123804A
Other languages
English (en)
Other versions
TW202310626A (zh
Inventor
利卡德 斯裘柏格
馬丁 派特森
米崔 達漢尼安
Original Assignee
瑞典商Lm艾瑞克生(Publ)電話公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商Lm艾瑞克生(Publ)電話公司 filed Critical 瑞典商Lm艾瑞克生(Publ)電話公司
Publication of TW202310626A publication Critical patent/TW202310626A/zh
Application granted granted Critical
Publication of TWI856336B publication Critical patent/TWI856336B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根據一個態樣，提供一種用於將膠片顆粒應用於從一位元串流解碼之一圖像之方法。該方法包含從該位元串流中之語法元素解碼區域資訊。該方法包含基於該區域資訊導出該圖像中之一區域數目，其中該區域數目係至少兩個。該方法包含基於該區域資訊導出該至少兩個區域之一第一區域之一區域光柵掃描順序。該方法包含解碼該第一區域，其中該第一區域之該解碼包括根據該區域光柵掃描順序將膠片顆粒應用於該第一區域。

Description

應用膠片顆粒、提取及合併位元串流之方法、由編碼器執行之方法、及相關電腦程式、含有該程式之載體、及運算設備
本發明揭示與獨立子圖像膠片顆粒有關之實施例。
1.HEVC及VVC
高效率視訊寫碼(HEVC)係由ITU-T及MPEG標準化之一基於區塊之視訊編解碼器，其利用時間及空間預測兩者。使用來自當前圖像內之框內(I)預測來達成空間預測。使用來自先前解碼之參考圖像之區塊層級上之單向(P)或雙向框間(B)預測來達成時間預測。在編碼器中，將原始像素資料與經預測像素資料之間之差異(被稱為殘留誤差)變換至頻域中，對該差異進行量化且接著在與必要預測參數(諸如預測模式及運動向量)一起傳輸之前進行熵寫碼，該等必要預測參數亦經熵寫碼。解碼器執行熵解碼、逆量化及逆變換以獲得殘留誤差，且接著將殘留誤差添加至一框內或框間預測以重建一圖像。
MPEG及ITU-T正在聯合視訊探索小組(JVET)內研究HEVC之後繼者。此視訊編解碼器之名稱係多功能視訊寫碼(VVC)及VVC規範之版本1，其在編寫時係VVC之當前版本，已發佈為Rec.ITU-T H.266 ISO/IEC 23090-3，「Versatile Video Coding」，2020年。
2.分量
一視訊(即，視訊序列)由一系列圖像(即，影像)組成，其中各圖像由一或多個分量組成。各分量可被描述為樣本值之二維矩形陣列。通常，一視訊序列中之一圖像由三個分量組成：一個亮度分量Y，其中樣本值係亮度值；及兩個色度分量Cb及Cr，其中樣本值係色度值。亦通常，在各維度中，色度分量之維度比亮度分量小1/2。例如，一HD圖像之亮度分量之大小將為1920x1080且色度分量將各自具有960x540之尺寸。分量有時被稱為色彩分量。
3.區塊及單元
一區塊係一個二維樣本陣列。在視訊寫碼中，將各分量分割為區塊，且經寫碼視訊位元串流由一系列經寫碼區塊組成。通常，在視訊寫碼中，將圖像分割為覆蓋圖像之一特定區域之單元。各單元由來自組成該特定區域之全部分量之全部區塊組成且各區塊完全屬於一個單元。H.264中之巨集區塊及HEVC中之寫碼單元(CU)係單元之實例。
一區塊可替代地被定義為二維陣列，在寫碼中使用之一變換應用於該二維陣列。此等區塊以名稱「變換區塊」而已知。替代地，一區塊可被定義為二維陣列，一單一預測模式應用於該二維陣列。此等區塊可被稱為「預測區塊」。在此應用中，字詞區塊不束縛於此等定義之一者，而是本文中之描述可應用於任一定義。
4.殘留誤差、變換及量化
一殘留誤差區塊由表示原始來源區塊及預測區塊之樣本值之間之樣本值差異之樣本組成。使用一空間變換處理殘留誤差區塊。在編碼器中，根據控制經量化係數之精確性之一量化參數(QP)對變換係數進行量化。經量化係數可被稱為殘留誤差係數。一高QP值將導致係數之低精 確性，且因此導致殘留誤差區塊之低保真度。一解碼器接收殘留誤差係數，應用逆量化及逆變換以導出殘留誤差區塊。
5.NAL單元
HEVC及VVC兩者定義一網路抽象層(NAL)。HEVC及VVC中之全部資料(即，視訊寫碼層(VCL)或非VCL資料兩者)封裝於NAL單元中。一VCL NAL單元含有表示圖像樣本值之資料。一非VCL NAL單元含有額外相關聯資料，諸如參數集及補充增強資訊(SEI)訊息。HEVC中之NAL單元以指定NAL單元之NAL單元類型之一標頭起始，其識別NAL單元中攜載什麼類型之資料、NAL單元所屬之層ID及時間ID。NAL單元類型在NAL單元標頭中之nal_unit_type碼字中傳輸，且該類型指示及定義應如何剖析及解碼NAL單元。NAL單元之其餘位元組係由NAL單元類型指示之類型之酬載。一位元串流由一系列串接NAL單元組成。
在表1中展示HEVC之NAL單元標頭之語法。
Figure 111123804-A0305-02-0005-1
在表2中展示VVC之當前版本中之NAL單元標頭之語法。
Figure 111123804-A0305-02-0005-2
在表3中展示VVC之當前版本之NAL單元類型。解碼順序係NAL單元應被解碼之順序，其相同於位元串流內之NAL單元之順序。解碼順序可不同於輸出順序，輸出順序係藉由解碼器輸出經解碼圖像(諸如用於顯示)之順序。
Figure 111123804-A0305-02-0006-3
Figure 111123804-A0305-02-0007-4
6.時間層
在HEVC及VVC中，全部圖像皆與指定圖像所屬之時間層之一TemporalId值相關聯。從NAL單元標頭中之nuh_temporal_id_plus1 語法元素解碼TemporalId值。要求編碼器設定TemporalId值，使得當丟棄較高時間層時，屬於一較低層之圖像係完全可解碼的。例如，假定一編碼器已使用時間層0、1及2輸出一位元串流。則移除全部層2 NAL單元或移除全部層1及2之NAL單元將導致可毫無問題地解碼之位元串流。此藉由編碼器必須遵守之HEVC規範中之限制來確保。例如，不容許一時間層之一圖像參考一較高時間層之一圖像。
7.層id
NAL單元標頭中之nuh_layer_id語法元素之值指定NAL單元所屬之層ID。VVC中之一層存取單元被定義為其中VCL NAL單元皆具有nuh_layer_id之一特定值之一組一或多個NAL單元，其等根據一指定分類規則彼此相關聯，在解碼順序上連續，且恰好含有一個經寫碼圖像。
VVC版本1中之一經寫碼層視訊序列(CLVS)被定義為一層存取單元序列，該層存取單元序列以解碼順序由一CLVS層存取單元，其後接著並非CLVS層存取單元之零或多個層存取單元組成，包含全部後續層存取單元，直至但不包含作為一CLVS層存取單元之任何後續層存取單元。圖1A中繪示層存取單元與經寫碼層視訊序列之間之關係。
在VVC版本1中，層可彼此獨立或相依地寫碼。當層被獨立地寫碼時，具有例如nuh_layer_id 0之一層可不預測來自具有例如nuh_layer_id 1之另一層之視訊資料。在VVC版本1中，可使用層之間之相依寫碼，此能夠支援具有SNR、空間及視圖可擴展性之可擴展寫碼。
8.圖像標頭
VVC包含一圖像標頭，其係具有等於PH_NUT之nal_unit_type之一NAL單元。圖像標頭類似於圖塊標頭，但圖像標頭中之 語法元素之值用於解碼一個圖像之全部圖塊。VVC中之各圖像由一個圖像標頭NAL單元，其後接著圖像之全部經寫碼圖塊組成，其中各經寫碼圖塊在一個經寫碼圖塊NAL單元中傳送。
9.框內隨機存取點(IRAP)圖像及經寫碼視訊序列(CVS)
針對HEVC中之單層寫碼，一存取單元(AU)係一單一圖像之經寫碼表示。一AU可由若干視訊寫碼層(VCL)NAL單元以及非VCL NAL單元組成。
HEVC中之一框內隨機存取點(IRAP)圖像係在其解碼程序中不參考除自身以外之任何圖像進行預測之一圖像。HEVC中呈解碼順序之位元串流中之第一圖像必須為一IRAP圖像，但一IRAP圖像亦可另外更晚出現在位元串流中。HEVC指定三種類型之IRAP圖像：斷鏈存取(BLA)圖像、瞬時解碼器再新(IDR)圖像及乾淨隨機存取(CRA)圖像。
HEVC中之一經寫碼視訊序列(CVS)係以解碼順序以一IRAP存取單元起始，直至但不包含下一IRAP存取單元之一系列存取單元。
IDR圖像始終起始一新CVS。一IDR圖像可具有相關聯隨機存取可解碼前導(RADL)圖像。一IDR圖像不具有相關聯RASL圖像。
BLA圖像亦起始一新CVS，且對解碼程序具有與一IDR圖像相同之效應。然而，HEVC中之一BLA圖像可含有指定一組非空一或多個參考圖像之語法元素。一BLA圖像可具有相關聯RASL圖像，該等RASL圖像並非由解碼器輸出且可能無法解碼，此係因為其等可含有對可能不存在於位元串流中之圖像之參考。一BLA圖像亦可具有經解碼之相關聯RADL圖像。
一CRA圖像可具有相關聯RADL或RASL圖像。正如一BLA圖像，一CRA圖像可含有指定一組非空一或多個參考圖像之語法元素。針對CRA圖像，可設定一旗標以指定相關聯RASL圖像並非由解碼器輸出，此係因為其等可能為無法解碼的，因為其等可含有對不存在於位元串流中之圖像之參考。一CRA可起始或可不起始一CVS。
在VVC中，亦存在逐漸解碼再新(GDR)圖像，其可在不具有一框內圖像之情況下起始或可不起始一CVS。VVC中之一經寫碼層視訊序列起始(CLVSS)圖像係一IRAP圖像或一GDR圖像。VVC中之一CLVSS圖像可起始類似於HEVC中之一CVS之一VVC經寫碼層視訊序列(CLVS)。在VVC中不存在BLA圖像類型。
10.參數集
HEVC指定三種類型之參數集：圖像參數集(PPS)、序列參數集(SPS)及視訊參數集(VPS)。PPS含有對一整個圖像共同之資料，SPS含有對一經寫碼視訊序列(CVS)共同之資料，且VPS含有對多個CVS共同之資料。
VVC亦使用HEVC參數集類型。在VVC中，另外存在適應參數集(APS)及解碼參數集(DPS)。APS可含有可用於多個圖塊之資訊，且相同圖像之兩個圖塊可使用不同APS。DPS由指定解碼器將在整個位元串流中遭遇之設定檔及位準方面之「最壞情況」之資訊組成。
11.SEI訊息
補充增強資訊(SEI)訊息係經寫碼位元串流中不影響來自VCL NAL單元之經寫碼圖像之解碼程序之碼點。SEI訊息通常解決經解碼位元串流之表示/呈現問題。SEI訊息之總體概念及許多訊息本身已從 H.264及HEVC規範繼承至VVC規範中。在VVC中，一SEI RBSP含有一或多個SEI訊息。
在表4中展示描述VVC中之一SEI訊息之一般結構之SEI訊息語法表。各SEI訊息之類型由其酬載類型來識別。
Figure 111123804-A0305-02-0011-5
VVC規範中之附件D指定一些SEI訊息之SEI訊息酬載之語法及語義，且指定在ITU-T H.SEI ISO|IEC 23002-7中指定語法及語義之SEI訊息及VUI參數之使用。VVC版本1之附件D中之SEI酬載結構列出VVC版本1中支援之SEI訊息。SEI訊息協助與解碼、顯示或其他目的相關之程序。然而，藉由解碼程序建構亮度或色度樣本無需SEI訊息。檢查位元串流符合性及輸出時序解碼器符合性需要一些SEI訊息。檢查位元串流符合性無需其他SEI訊息。無需解碼器支援全部SEI訊息。通常，若一解碼器遭遇一不受支援之SEI訊息，則將其丟棄。
ITU-T H.274|ISO/IEC 23002-7(亦被稱為VSEI)指定SEI訊 息之語法及語義，且尤其旨在與經寫碼視訊位元串流一起使用，但其以旨在為足夠通用之一方式編寫，使得其亦可與其他類型之經寫碼視訊位元串流一起使用。ITU-T H.274|ISO/IEC 23002-7之第一版本於2020年7月定稿。在編寫時，版本2正在開發中。JVET-U2006-v1係版本2之當前草案，其指定用於與經寫碼視訊位元串流一起使用之額外SEI訊息。
一SEI訊息之持久性指示在SEI訊息之例項中發信之值可應用至之圖像。SEI訊息之值可應用至之位元串流之部分被稱為SEI訊息之持久性範疇。
12.圖塊及子圖像
HEVC中之圖塊概念將圖像劃分為獨立寫碼之圖塊，其中一圖像中之一個圖塊之解碼獨立於相同圖像之其他圖塊。不同寫碼類型可用於相同圖像之圖塊，即，一圖塊可為一I圖塊、P圖塊或B圖塊。圖塊之一個目的係在資料丟失之情況中啟用再同步。在HEVC中，一圖塊係一組一或多個CTU。
在VVC之當前版本中，一圖塊被定義為整數個完整影像塊或單獨地容納於一單一NAL單元中之一圖像之一影像塊內之整數個連續完整CTU列。一圖像可被分割為光柵掃描圖塊或矩形圖塊。一光柵掃描圖塊由呈光柵掃描順序之數個完整影像塊組成。一矩形圖塊由一影像塊群組組成，該等影像塊共同佔據圖像中之一矩形區域或一個影像塊內部之連續數目個CTU列。各圖塊具有包括語法元素之一圖塊標頭。在解碼圖塊時使用來自此等語法元素之經解碼圖塊標頭值。各圖塊攜載於一個VCL NAL單元中。
在VVC規範之開發期間，圖塊已被稱為影像塊群組。在 VVC之當前版本中支援子圖像，其中一子圖像被定義為一圖像內之一或多個圖塊之一矩形區域。此意謂一子圖像含有共同覆蓋一圖像之一矩形區域之一或多個圖塊。
在VVC中，各子圖像之位置及大小在SPS中發信。此由一第一碼字sps_num_subpics_minus1完成，其指定存在多少子圖像。接著，存在一迴路，其針對各子圖像索引i指定子圖像之位置及大小。此迴路將各子圖像與其子圖像索引值i相關聯。SPS亦針對各子圖像指定針對運動補償及/或在迴路內濾波程序中，其邊界是否應被視為圖像邊界。
在VVC圖塊標頭中，存在一個子圖像ID語法元素及一個圖塊位址語法元素。子圖像ID指定子圖像之子圖像ID，且圖塊位址指定子圖像內之圖塊位址。屬於相同子圖像之全部圖塊必須具有相同子圖像ID值。為了支援位元串流提取及合併操作而無需重寫圖塊標頭，VVC中存在子圖像ID值與子圖像索引值之間之一映射機制。此映射分別由SPS及PPS中之sps_subpic_id[i]或pps_subpic_id[i]語法元素發信。例如，等於3之一sps_subpic_id[1]值意謂子圖像ID值3被映射至子圖像索引值1。藉由使用此映射機制，在一位元串流提取或合併操作期間僅需重寫SPS或PPS語法元素。
13.影像塊
VVC之當前版本包含稱為影像塊之一工具，其將一圖像劃分為矩形空間獨立區域。VVC寫碼標準中之影像塊類似於HEVC中使用之影像塊。在使用影像塊之情況下，VVC中之一圖像可被分割為CTU之列及行，其中一影像塊係一列與一行之一交叉點。圖1B展示使用4個影像塊列及5個影像塊行之一影像塊分割之一實例，從而導致圖像之總共20個影 像塊。
藉由指定列之高度及行之寬度而在圖像參數集(PPS)中發信影像塊結構。個別列及行可具有不同大小，但分割始終橫跨整個圖像，分別從左至右及從上至下。
相同圖像之影像塊之間不存在解碼相依性。此包含框內預測、用於熵寫碼之內容脈絡選擇及運動向量預測。一個例外係在影像塊之間通常容許迴路內濾波相依性。
在VVC中之矩形圖塊模式中，一影像塊可進一步劃分為多個圖塊，其中各圖塊由一個影像塊內部之連續數目個CTU列組成。圖1C展示影像塊分割之一實例，且圖1D展示使用圖1C之影像塊分割之一矩形圖塊分割之一實例。
14.位元串流提取及合併操作
一些視訊應用程式涉及對位元串流進行之操作，包含位元串流提取及位元串流合併操作。一位元串流提取操作將一輸入位元串流作為輸入且產生一輸出位元串流，其中輸出位元串流表示輸入位元串流之視訊內容之一子集。一位元串流合併操作將多個輸入位元串流作為輸入且產生一單一輸出位元串流，其中輸出位元串流表示輸入位元串流之視訊內容之聯集。為了使位元串流合併工作，在產生輸入位元串流時考慮合併支援係非常常見的。其中位元串流由例如不同編碼器完全獨立地編碼之位元串流合併操作通常係不可能的。
可期望位元串流格式支援位元串流提取及合併操作而無需低階位元串流改變，此係因為低階位元串流改變推斷大量實施負擔及增加運算複雜性。一常見設計目標係在無需操縱經寫碼圖塊資料之情況下啟用 此等操作。例如，在VVC中，重寫參數集資料將為可接受的，但重寫圖塊資料或圖像標頭資料係不可接受的。
為了使提取及合併工作，視訊格式需要支援將內容空間分割為獨立經寫碼片段。圖塊、影像塊及子圖像係此等片段之實例。在HEVC中，通常使用運動約束影像塊集(MCTS)，其中含有一或多個完整影像塊之圖塊經編碼，使得圖塊係獨立的。特別注意HEVC運動補償程序，其中HEVC編碼器需要仔細選擇運動參數，使得圖塊變得獨立，因此稱為MCTS。在VVC中，引入子圖像分割類型，其中支援較不複雜之位元串流提取及合併處理係一關鍵原因。與HEVC MCTS相比，VVC子圖像之壓縮更高效，且無需特別注意運動補償。
用於VVC中之子圖像之位元串流提取及合併操作可例如包括從一第一位元串流提取一或多個子圖像，從一第二位元串流提取一或多個子圖像，及將所提取子圖像合併至一新第三位元串流中。
15.圖像順序計數(POC)
HEVC中之圖像由其等之圖像順序計數(POC)值(亦被稱為全POC值)識別。各圖塊含有一碼字pic_order_cnt_lsb，該碼字針對一圖像中之全部圖塊皆應相同。pic_order_cnt_lsb亦被稱為全POC之最低有效位元(lsb)，此係因為其係一固定長度碼字且僅發信全POC之最低有效位元。編碼器及解碼器兩者追蹤POC且將POC值指派給經編碼/解碼之各圖像。可藉由4至16個位元發信pic_order_cnt_lsb。存在用於HEVC中之一變數MaxPicOrderCntLsb，該變數被設定為最大pic_order_cnt_lsb值加1。此意謂，若使用8個位元來發信pic_order_cnt_lsb，則最大值為255且MaxPicOrderCntLsb被設定為2^8=256。一圖像之圖像順序計數值在 HEVC中被稱為PicOrderCntVal。通常，當前圖像之PicOrderCntVal被簡稱為PicOrderCntVal。
16.輸出程序
圖1E展示一解碼系統中之一輸出程序。至視訊解碼器之輸入(位元串流)在一解碼程序中由一解碼引擎解碼為一或多個經解碼圖像。經解碼圖像最後經受一輸出程序且輸出。
至輸出程序之輸入係經解碼圖像，且輸出程序之輸出係輸出圖像。用作至輸出程序之輸入之經解碼圖像可儲存於經解碼圖像緩衝器中，且可在其他未來圖像之解碼程序中使用。輸出圖像可不相同於經解碼圖像。在此情況中，輸出圖像可作為一單獨圖像儲存於記憶體中。輸出程序可以數種不同方式輸出一輸出圖像(其係經解碼圖像之一經修改版本)，諸如以下之一者或以下之兩者或更多者之一組合：
1.應用膠片顆粒
2.應用一色彩變換及/或色彩分量值擴展
3.應用一投影映射或逆投影映射，諸如將經解碼圖像從一立方體映射投影轉換為一球面表示或一等矩形表示。
4.藉由諸如重新定位、擴展及旋轉之一組一或多個逐區域操作來執行圖像之一逐區域包裝或逐區域解包裝
5.裁剪經解碼圖像
6.將經解碼圖像轉換為一不同色彩格式，諸如從Rec 709至PQ
7.將經解碼圖像轉換為一不同色度格式，諸如從YUV 4：2：0至YUV 4：4：4
8.將圖像從一經解碼解析度擴展或重新取樣為一輸出解析度
9.轉換為一不同樣本縱橫比
10.將兩個經解碼欄位轉換為一交錯圖像
11.應用/移除圖框包裝
12.提取一或多個子圖像(類似於裁剪經解碼圖像，但可例如包括合併來自圖像中之不同位置之子圖像)。
17.在解碼圖像之後添加雜訊或膠片顆粒
視訊中之雜訊源自不同來源。此雜訊可在程序之最早階段由編碼器抑制。當圖像在顯示之前在解碼器處重建時，可將模型化或未模型化之雜訊添加至經解碼圖像。已引入不同目標，其藉由增加現已變得更明顯(由於圖像解析度之增加)之雜訊來顯現主觀品質增加。添加雜訊之第一原因可為例如在拍攝紀錄片、肖像、黑白場景時引入藝術效應以捕獲現實或獲得電影之「真正影院效應」。第二原因係隱藏寫碼偽影，諸如歸因於編碼器中之繁重編碼程序而出現之模糊、阻擋及條帶效應。
18.膠片顆粒
VVC中之膠片顆粒特性SEI訊息
在VVC中支援一膠片顆粒程序。此程序本質上相同於H.264/AVC及HEVC視訊寫碼標準中指定之膠片顆粒程序。該程序包含一SEI訊息，該SEI訊息攜帶用於在解碼器中進行膠片顆粒合成之一參數化模型。膠片顆粒特性SEI訊息包含一取消旗標film_grain_characteristics_cancel_flag，在其被設定為等於0時啟用膠片顆粒程序。而且，當旗標被設定為0時，膠片顆粒參數語法元素跟隨該旗標。最後，film_grain_characteristics_persistence_flag指定當前層之膠片顆粒特性SEI訊息之持久性。在下文表5中，展示語法之一簡化版本。
Figure 111123804-A0305-02-0018-6
SMPTE RDD 5(2006)中之膠片顆粒
在[SPMTE]中介紹之膠片顆粒技術規範中，指定一種子導出方法，該方法導出待用於膠片顆粒特性SEI程序之一種子值。種子使用在解碼器處已可用之資訊初始化，且選自一查找表中之一組預定一或多個256個可能種子。針對偽隨機數產生器，且為了選擇8x8個樣本區塊，將種子初始化為：seed=Seed_LUT[Mod[pic_offset+color_offset[c],256)]，其中針對Y、Cb及Cr通道，color_offset[c]分別等於0、85及170，且pic_offset被定義為：pic_offset=POC(curr_pic)+(POC_offset<<5)，其中POC(curr_pic)等於當前圖框之圖像順序計數值；且POC_offset被設定為等於IDR圖框上之idr_pic_id之值，否則其被設定為等於0。再者，用於產生64x64個樣本區塊之偽隨機數產生器如下般初始化：seed=Seed_LUT[h+v*13]，其中h及v分別表示水平方向及垂直方向之一值。h及v兩者在[0,12]之範圍內，且判定使用哪種型樣之膠片顆粒資料庫作為膠片顆粒樣本之來源。最後，在任一情況中，使用Seed_LUT[.]之輸出作為偽隨機數產生器之種子。
AV1中之膠片顆粒
AV1視訊編解碼器格式支援膠片顆粒產生。在輸出一圖像時應用膠片顆粒。sequence_header_obu()含有一film_grain_params_present旗標，其係膠片顆粒發信及程序之一啟用旗標。膠片顆粒參數在稱為film_grain_params()之一語法表中之frame_header_obu()中最後發信，在下文表6中展示。
Figure 111123804-A0305-02-0019-7
在film_grain_params()中，首先存在一旗標apply_gran，其控制是否應將膠片顆粒應用於當前圖像。接著存在一16位元grain_seed語法元素，其被用作產生顆粒之一偽隨機數產生器之一種子。update_grain旗標指定是否應使用來自一參考圖像之膠片顆粒參數值，或是否應從圖框標頭解碼待使用之膠片顆粒參數值。待使用之參考圖像由film_grain_params_ref_idx語法元素值識別。在表6中，圖框標頭膠片顆粒參數由more_film_grain_parameters()列表示以簡化該表。grain_seed之值初始化用於白雜訊顆粒之亮度分量之偽隨機數產生器之種子。針對色度分量Cb及Cr，經由XOR運算修改該值，如下：Cb_seed=grain_seed ^ 0xb524，且Cr_seed=grain_seed ^ 0x49d8。
19.標準(normative)膠片顆粒
在JVET稿件JVET-Q0424-v2中，提出在符合性範圍內將標準膠片顆粒產生添加至VVC，此意謂位元串流指定應應用膠片顆粒，每一解碼器必須在輸出之前將膠片顆粒應用於經解碼圖像，且全部解碼器應如此做，使得應用膠片顆粒之輸出圖像之樣本值係相同的，而不管實施方案如何。換言之，針對具有膠片顆粒之每一給定位元串流，存在樣本值之一特定輸出，且輸出與該特定輸出之對應樣本值不同之任何樣本值之任何解碼器將為一非符合VVC解碼器。在JVET-Q0424-v2中，在圖像標頭中存在一膠片顆粒種子語法元素，其與圖像之POC值一起用於初始化用於產生膠片顆粒之一偽隨機數產生器。
20.可擴展嵌套SEI訊息
VVC中之可擴展嵌套SEI訊息提供將SEI訊息與特定OLS、特定層或特定組子圖像相關聯之一機制。一可擴展嵌套SEI訊息含有一或 多個SEI訊息。容納於可擴展嵌套SEI訊息中之SEI訊息亦被稱為可擴展嵌套SEI訊息。在表7中展示VVC中之可擴展嵌套SEI訊息語法。
Figure 111123804-A0305-02-0021-8
一類似可擴展嵌套SEI訊息亦存在於HEVC中。HEVC可擴展嵌套SEI訊息提供將SEI訊息與對應於各種操作點之位元串流子集或與特定層或子層相關聯之一機制。子圖像概念在HEVC中不存在，且因此與 VVC嵌套SEI訊息相比，HEVC中之嵌套SEI訊息不可用於將SEI訊息與特定組子圖像相關聯。在表8中展示HEVC中之可擴展嵌套SEI訊息語法。在VVC中，膠片顆粒特性SEI訊息可與可擴展嵌套SEI訊息組合以將膠片顆粒產生與一子圖像相關聯，但不存在關於應如何進行膠片顆粒產生之描述，此對實施者開放。
Figure 111123804-A0305-02-0022-9
當前存在某些挑戰。例如，由於至少兩個原因，可期望使用JVET-Q0424-v2中提出之一標準膠片顆粒程序。首先，可期望編碼器知道將由解碼器應用膠片顆粒，此在一純粹基於SEI之膠片顆粒解決方案中係不被保證的。其次，可期望編碼器確切地知道解碼器將產生什麼輸出，且編碼器對圖像品質具有完全控制。由於無法保證在解碼器側上實施對基於SEI之膠片顆粒解決方案之支援，因此一內容/服務提供商可能決定不冒險使用膠片顆粒SEI訊息，且代替地在壓縮效率及/或視訊品質承受顯著損失的情況下編碼源視訊之雜訊。
現有解決方案之一問題係不支援標準膠片顆粒及子圖像之組合。在全部H.264、HEVC、VVC、AV1及JVET-Q0424-v2中，膠片顆粒程序係應用於整個圖像之一基於圖像之程序。針對VVC，膠片顆粒特性SEI訊息可與子圖像相關聯，但未提供關於一解碼器程序之細節。SMPTE RDD 5-2006僅含有一純粹基於圖像之程序。
將膠片顆粒應用於子圖像之一直接方法之一個問題係，一個子圖像之輸出樣本值可取決於該子圖像在整個圖像中之位置。此存在兩個原因。第一原因係偽隨機數產生器之初始化可針對圖像進行一次。此意謂當產生跨越一子圖像之一子圖像邊界時，偽隨機數產生器之狀態取決於先前子圖像。第二原因係膠片顆粒產生係以整個圖像之一光柵掃描順序進行，而並非以各子圖像內之一光柵掃描順序進行。
本文中之實施例提出用於視訊之一基於區域之膠片顆粒產生方法，其中各區域S之膠片顆粒產生以宛如區域S係一完全單獨圖像之方式進行。此藉由以下操作達成：i)以各區域內之一光柵掃描順序而非以 整個圖像內之光柵掃描順序應用膠片顆粒；ii)初始化用於針對各區域產生膠片顆粒之一偽隨機數產生器；iii)使用一區域ID值以針對各區域產生待用於初始化偽隨機數產生器之一不同種子值；iv)抑制跨區域邊緣之膠片顆粒解塊；及/或v)引入在區域之獨立及相依膠片顆粒產生之間切換之一模式。
因此，在一個態樣中，提供一種用於將膠片顆粒應用於從一位元串流解碼之一圖像之方法。在一項實施例中，該方法包含從該位元串流中之語法元素解碼區域資訊。該方法亦包含基於該區域資訊導出該圖像中之一區域數目，其中該區域數目係至少兩個。該方法亦包含基於該區域資訊導出該至少兩個區域之一第一區域之一區域光柵掃描順序。該方法亦包含解碼該第一區域，其中該第一區域之該解碼包括根據該區域光柵掃描順序將膠片顆粒應用於該第一區域。
在另一態樣中，提供一種用於提取一位元串流之方法。在一項實施例中，該方法包含獲得包括一經寫碼圖像之一輸入位元串流，其中該經寫碼圖像包括複數個區域。該方法包含從該輸入位元串流提取網路抽象層(NAL)單元之一子集，其中各子集包括多個圖塊資料NAL單元，且其中各圖塊資料NAL單元相同於該輸入位元串流中之一各自圖塊資料NAL單元。該方法包含產生一參數集NAL單元，其中該參數集NAL單元包括表示一經解碼圖像中之數個區域及該數個區域之各區域在該經解碼圖像中之一各自空間位置之一組語法元素。該方法包含產生包括該所提取之NAL單元子集及該所產生之參數集NAL單元之一輸出位元串流，其中該輸入位元串流及該輸出位元串流兩者指定應將膠片顆粒應用於從該輸入位元串流及該輸出位元串流解碼之一圖像，且其中該輸出位元串流可被解碼 為一輸出經解碼視訊序列，其中該輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於來自該輸入串流之一對應經解碼區域之樣本值。
在又另一態樣中，提供一種用於合併一位元串流之方法。在一項實施例中，該方法包含獲得包括一第一經寫碼圖像之一第一輸入位元串流。該方法包含獲得包括一第二經寫碼圖像之一第二輸入位元串流。該方法包含合併來自該第一輸入位元串流及該第二輸入位元串流之一組網路抽象層(NAL)單元，其中所合併之該組NAL單元包括來自該第一輸入位元串流之至少一個圖塊資料NAL單元及來自該第二輸入位元串流之至少一個圖塊資料NAL單元，且其中各圖塊資料NAL單元相同於該第一輸入位元串流或該第二輸入位元串流之一者中之一各自圖塊資料NAL單元。該方法包含產生一參數集網路抽象層單元，該所產生之參數集NAL單元包括表示數個區域及該數個區域之各區域在一經解碼圖像中之一各自空間位置之一組語法元素。該方法包含產生一輸出位元串流，其中該輸出位元串流包括該所產生之參數集NAL單元及該組合併NAL單元，其中該第一輸入位元串流、該第二輸入位元串流及該輸出位元串流各自指定應將膠片顆粒應用於從該各自位元串流解碼之一圖像，且其中該輸出位元串流可被解碼為一輸出經解碼視訊序列，其中該輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於來自該第一輸入串流或該第二輸入串流之一者之一對應經解碼區域之樣本值。
在另一態樣中，提供一種由一編碼器執行之方法。在一項實施例中，該方法包含判定區域資訊，該區域資訊包括指示(i)一圖像中之一區域數目，其中該區域數目係至少兩個，及(ii)該至少兩個區域之一第一區域之一區域光柵掃描順序之資訊。該方法包含判定膠片顆粒參數，其 中該等膠片顆粒參數用於以該至少兩個區域之該第一區域之該區域光柵掃描順序應用膠片顆粒。該方法包含產生一位元串流，其中該位元串流包括編碼該區域資訊之一或多個語法元素及編碼該等膠片顆粒參數之一或多個語法元素。
在另一態樣中，提供一種電腦程式，其包括當由一設備之處理電路執行時導致該設備執行本文中揭示之任何方法之指令。在一項實施例中，提供一種載體，其含有電腦程式，其中該載體係一電子信號、一光學信號、一無線電信號及一電腦可讀儲存媒體之一者。在另一態樣中，提供一種設備，其經組態以執行本文中揭示之方法。該設備可包含記憶體及耦合至該記憶體之處理電路。
本文中揭示之實施例之一優點係，當將膠片顆粒應用於區域時，其等實現一指定解碼器輸出，而無關於在解碼之前應用之任何位元串流提取或位元串流合併操作。另一優點係，針對各區域產生個別種子值，此意謂例如相同圖像中之兩個相鄰區域將不會得到應用於其等之相同膠片顆粒。另一優點係，一編碼器具備靈活性以選擇解碼器是否針對圖像整體地應用膠片顆粒或單獨及獨立地針對圖像中之各區域應用膠片顆粒。若膠片顆粒使得區域邊界在單獨地針對各區域應用膠片顆粒時將為可見的，則針對圖像整體地應用膠片顆粒。若情況並非如此，且期望位元串流提取或合併操作，則單獨應用膠片顆粒可為較佳的。
110:網路
200:系統
202:編碼器
204:解碼器
210:網路
330:解塊濾波器單元
341:加法器
342:變換器
343:量化器
344:編碼器
345:逆量化器
346:逆變換器
347:加法器
348:圖框緩衝器
349:框內預測器
350:運動估計器/補償器
351:選擇器
461:解碼器
462:逆量化器
463:逆變換器
464:加法器
465:圖框緩衝器
466:框內預測器
467:運動估計器/補償器
468:選擇器
500:使用者裝備(UE)
502:圖像處理器
504:顯示器
600A:圖像
600B:圖像
600D:圖像
700:程序/方法
1000:設備
1002:處理電路(PC)
1008:儲存單元
1041:電腦程式產品(CPP)
1042:電腦可讀媒體(CRM)
1043:電腦程式(CP)
1044:電腦可讀指令(CRI)
1045:傳輸器(Tx)
1047:接收器(Rx)
1048:網路介面
1055:處理器(P)
1100:程序/方法
s702:步驟/解碼
s704:步驟/導出
s706:步驟/導出
s708:步驟/解碼
800:程序/方法
s802:步驟/獲得
s804:步驟/提取
s806:步驟/產生
s808:步驟/產生
900:程序/方法
s902:步驟/獲得
s904:步驟/獲得
s906:步驟/合併
s908:步驟/產生
s910:步驟/產生
s1102:步驟/判定
s1104:步驟/判定
s1106:步驟/產生
併入本文中且形成本說明書之部分之隨附圖式繪示各種實施例。
圖1A繪示層存取單元與經寫碼層視訊序列之間之關係。
圖1B展示一影像塊分割之一實例。
圖1C展示一影像塊分割之另一實例。
圖1D展示矩形圖塊分割之一實例。
圖1E展示一輸出程序。
圖2繪示根據一實施例之一系統。
圖3係根據一實施例之一編碼器之一示意性方塊圖。
圖4係根據一實施例之一解碼器之一示意性方塊圖。
圖5繪示根據一實施例之一系統。
圖6A繪示被分割為三個區域之一圖像。
圖6B繪示被分割為三個區域之一圖像。
圖6C繪示根據一實施例之被劃分為三個區域之一圖像之區塊之一區域光柵掃描順序。
圖6D繪示根據一實施例之被劃分為三個區域之一圖像之一膠片顆粒產生模式。
圖7係繪示根據一實施例之一程序之一流程圖。
圖8係繪示根據一實施例之一程序之一流程圖。
圖9係繪示根據一實施例之一程序之一流程圖。
圖10係根據一實施例之一設備之一方塊圖。
圖11係繪示根據一實施例之一程序之一流程圖。
本申請案主張2021年6月29日申請之美國臨時申請案第63/216,262號之權利，該案之全部內容以引用的方式併入本文中。
圖2繪示根據一實例實施例之一系統200。系統200包含經 由一網路210(例如，網際網路或其他網路)與一解碼器204通信之一編碼器202。
圖3係根據一實施例之用於編碼一視訊序列之一視訊圖框(圖像)中之一像素值區塊(下文稱為「區塊」)之編碼器202之一示意性方塊圖。藉由由一運動估計器350從相同圖框或一先前圖框中之一已提供區塊執行一運動估計來預測一當前區塊。在框間預測之情況中，運動估計之結果係與參考區塊相關聯之一運動或位移向量。運動向量由一運動補償器350用於輸出區塊之一框間預測。一框內預測器349運算當前區塊之一框內預測。來自運動估計器/補償器350及框內預測器349之輸出被輸入一選擇器351中，其針對當前區塊選擇框內預測或框間預測。來自選擇器351之輸出被輸入至呈一加法器341之形式之一誤差計算器，其亦接收當前區塊之像素值。加法器341計算及輸出一殘留誤差作為區塊與其預測之間之像素值差異。誤差在一變換器342中變換，諸如藉由一離散餘弦變換，且由一量化器343量化，其後接著在一編碼器344中寫碼，諸如藉由熵編碼器。在框間寫碼中，所估計之運動向量亦被帶到編碼器344以產生當前區塊之經寫碼表示。當前區塊之經變換及量化殘留誤差亦被提供至一逆量化器345及逆變換器346以擷取原始殘留誤差。此誤差由一加法器347相加至從運動補償器350或框內預測器349輸出之區塊預測以產生可用於下一區塊之預測及寫碼之一參考區塊。此新參考區塊首先由根據實施例之一解塊濾波器單元330處理，以便執行解塊濾波以對抗任何區塊偽影。經處理之新參考區塊接著被臨時儲存於一圖框緩衝器348中，其中其可用於框內預測器349及運動估計器/補償器350。
圖4係根據一些實施例之解碼器204之一對應示意性方塊 圖。解碼器204包括用於解碼一區塊之一經編碼表示以獲得一組一或多個經量化及變換之殘留誤差之一解碼器461，諸如熵解碼器。此等殘留誤差在一逆量化器462中解量化且由一逆變換器463進行逆變換以獲得一組一或多個殘留誤差。此等殘留誤差在一加法器464中相加至一參考區塊之像素值。由一運動估計器/補償器467或框內預測器466取決於是否執行框間預測或框內預測來判定參考區塊。一選擇器468藉此互連至加法器464及運動估計器/補償器467及框內預測器466。從加法器464輸出之所得經解碼區塊被輸入至根據實施例之一解塊濾波器單元330，以便對任何區塊偽影進行解塊濾波。經濾波區塊從解碼器204輸出，且進一步較佳地臨時提供至一圖框緩衝器465，且可用作待解碼之一後續區塊之一參考區塊。圖框緩衝器465藉此連接至運動估計器/補償器467以使所儲存之像素區塊可用於運動估計器/補償器467。來自加法器464之輸出較佳地亦被輸入至框內預測器466以用作一未濾波參考區塊。
圖5繪示根據一實施例之一使用者裝備(UE)500。在圖5中展示，UE 500包含解碼器204，其接收一位元串流(例如，由編碼器202產生之一位元串流)，且基於位元串流中之資訊產生經解碼圖像。UE 500亦包含一圖像處理器502，其可使用由解碼器204提供之參數處理經解碼圖像之一或多者以產生可顯示在UE 500之一顯示器504上之經處理圖像(例如，圖像處理器502可執行一疊對程序)。雖然圖像處理器502在圖5中繪示為與解碼器204分離，但此並非一要求，因為在一些實施例中圖像處理器502可為解碼器204之一組件。圖像處理器502可以數種不同方式產生一經處理圖像(其係一經解碼圖像之一經修改版本)，諸如以下之一者或以下之兩者或更多者之一組合：
1.應用膠片顆粒
2.應用一色彩變換及/或色彩分量值擴展
3.應用一投影映射或逆投影映射，諸如將經解碼圖像從一立方體映射投影轉換為一球面表示或一等矩形表示。
4.藉由諸如重新定位、擴展及旋轉之一組一或多個逐區域操作來執行圖像之一逐區域包裝或逐區域解包裝
5.裁剪經解碼圖像
6.將經解碼圖像轉換為一不同色彩格式，諸如從Rec 709至PQ
7.將經解碼圖像轉換為一不同色度格式，諸如從YUV 4：2：0至YUV 4：4：4
8.將圖像從一經解碼解析度擴展或重新取樣為一輸出解析度
9.轉換為一不同樣本縱橫比
10.將兩個經解碼欄位轉換為一交錯圖像
11.應用/移除圖框包裝
12.提取一或多個子圖像(類似於裁剪經解碼圖像，但可例如包括合併來自圖像中之不同位置之子圖像)。
在下文描述中，描述解決上文描述之問題之一或多者之各種實施例。熟習此項技術者應理解，兩項或更多項實施例或實施例之部分可經組合以形成仍由本發明涵蓋之新實施例。
一區域可被定義為獨立於一圖像之其他經寫碼部分之一圖像之一經寫碼部分。此意謂可在無需來自圖像之任何其他部分之任何資訊之情況下剖析或解碼各部分。例如，可在無需解碼任何其他區域之經寫碼資料之情況下對一個區域之經寫碼資料進行熵解碼。而且，在無需屬於其 他區域之值之情況下導出在一經寫碼區域之解碼程序中使用之特定值。此等特定值之實例包含源樣本值、經解碼樣本值、運動向量值、框內模式值、區塊模式值等。
在一些實施例中，一區域可對應於VVC中之一圖塊。替代地，一區域可對應於其中一子圖像由一或多個完整矩形圖塊組成之一VVC子圖像。各圖塊可包含一子圖像ID，其中子圖像ID針對一子圖像中之全部圖塊具有相同值，在先前描述。一區域可為矩形的，但不一定係矩形的。熟習此項技術者應理解，在VVC以外之一未來視訊編解碼器標準中，一區域亦可對應於一圖像之一經寫碼部分之一圖塊、一子圖像或一類似概念。
圖6A及圖6B繪示被分割為三個區域之一圖像。圖6A繪示由複數個區塊(5)組成之一當前圖像600A。在VVC中，區塊(5)對應於CTU。圖6B繪示具有將圖像600B劃分為三個區域(4A至4C)之三個區域邊界(3A至3C)之相同當前圖像600B。
當前，將膠片顆粒應用於整個圖像600A、600B。本文中揭示之實施例單獨地針對各區域(4A至C)應用膠片顆粒。用於解碼、產生及將膠片顆粒應用於一當前圖像之一方法可由以下步驟之一子集或全部組成。
(1)解碼器(204)從位元串流中之一組語法元素解碼區域資訊(4)，解碼器從中導出區域數目及其等在經解碼當前圖像中之空間位置，且其中區域數目係至少兩個。
(2)解碼器解碼至少兩個區域之一第一區域，其中第一區域之解碼包括在將第一區域視為一完整圖像之情況下將膠片顆粒應用於第一 區域。
(3)解碼器解碼至少兩個區域之一第二區域，其中第二區域之解碼包括在將第二區域視為一完整圖像之情況下將膠片顆粒應用於第二區域。
(4)解碼器輸出經解碼當前圖像。
作為一替代方案，用於解碼、產生及將膠片顆粒應用於一當前圖像之一方法可由以下步驟之一子集或全部組成。
(1)解碼器(204)從位元串流中之一組語法元素解碼區域資訊(4)，解碼器從中導出區域數目及其等在經解碼當前圖像中之空間位置，且其中區域數目係至少兩個。
(2)解碼器解碼至少兩個區域之一第一區域，其中第一區域之解碼包括在將第一區域視為一完整圖像之情況下將膠片顆粒應用於第一區域，其中第一區域不包含圖像之左上CTU。
(3)解碼器輸出經解碼當前圖像。
在本文中之實施例中，區域可為一子圖像或圖塊之一者。
將一區域視為一完整圖像
本文中描述關於將一區域視為一完整圖像之細節。將一區域視為一完整圖像意謂將膠片顆粒應用於各區域，宛如該區域係一完整圖像。
在一項實施例中，以各區域內之一光柵掃描順序而非以整個圖像之一光柵掃描順序應用膠片顆粒。各區域內之此光柵掃描順序可被稱為區域光柵掃描順序。例如，在圖6B中，一個光柵掃描順序可為將膠片顆粒應用於區域4A，接著應用於區域4B，接著應用於區域4C。可考慮 將膠片顆粒應用於各區域之不同或替代順序。
膠片顆粒產生程序可包含產生用於初始化在膠片顆粒產生程序中使用之一偽隨機數產生器之一或多個種子值。將一區域視為一完整圖像可包含針對各區域產生用於膠片顆粒產生程序中之一種子值，而非針對整個圖像產生一種子值。在實施例之一個版本中，針對各區域產生一唯一種子值。
在一些實施例中，在二維區塊中產生膠片顆粒。此之一現有實例係SMPTE RDD 5-2006規範，其中在8x8樣本之區塊中產生膠片顆粒。在此等區塊實施例中，可以具有與產生膠片顆粒時使用之二維區塊相同之大小之區塊之區域光柵掃描順序應用膠片顆粒。在一個非限制性實例中，區塊大小可具有大小8x8。
圖6C繪示根據一實施例之被劃分為三個區域之一圖像之區塊之一區域光柵掃描順序。可以由數字1至32指示之順序將膠片顆粒應用於區域4A中之區塊。可以由數字1至16指示之一順序將膠片顆粒應用於區域4B中之區塊。可由數字1至16指示將膠片顆粒應用於區域4C中之區塊。圖6C中展示之光柵掃描順序係闡釋性的，且可利用每區域4A至4C之其他或替代順序。區塊之光柵掃描順序可被稱為一基於區塊之光柵掃描順序。
另外，膠片顆粒產生可包含在區塊邊界上應用一膠片顆粒解塊濾波器。在本文中使用，一區塊邊界(或邊界)亦可被稱為一區塊邊緣(或邊緣)。例如，在SMPTE RDD5-2006規範中，應用相鄰8x8區塊之間之垂直區塊邊緣之解塊，以及水平8x8區塊邊緣之解塊。在此一環境中，在一項實施例中，將一區域視為一完整圖像意謂區塊邊緣之膠片顆粒解塊僅應用於一個區域內之區塊邊緣，且不應用於亦為區域邊緣之區塊邊緣。 例如，參考圖6A至圖6C，在一項實施例中，膠片顆粒解塊可不應用於亦為區域邊緣之區塊邊緣，諸如圖6B中之邊緣3A、3B及3C。
總而言之，將一區域視為一完整圖像包括以下之一或多者：- 以圖像之各區域內之一光柵掃描順序應用膠片顆粒；- 以圖像之各區域內之一基於區塊之光柵掃描順序應用膠片顆粒；- 以圖像之各區域內之一基於區塊之光柵掃描順序及各區塊內之光柵掃描順序應用膠片顆粒；- 膠片顆粒產生可包括針對圖像之各區域產生用於初始化在膠片顆粒產生程序中使用之一偽隨機數產生器之種子值，其中針對任何區域產生之種子值不同於圖像中之任何其他區域之一所產生種子值；- 應用基於區塊之膠片顆粒，其包含判定兩個相鄰區塊是否屬於相同區域，且回應於判定兩個相鄰區塊屬於相同區域，將一膠片顆粒解塊濾波器應用於相鄰區塊之間之區塊邊緣。
在一些實施例中，用於解碼、產生及將膠片顆粒應用於一當前圖像之一方法可由以下步驟之一子集或全部組成：
(1)解碼器從位元串流中之一組語法元素解碼區域資訊，解碼器從中導出區域數目及其等在經解碼當前圖像中之空間位置，且其中區域數目係至少兩個。
(2)解碼器針對至少兩個區域之一第一區域產生一種子值A。
(3)解碼器解碼至少兩個區域之第一區域，其中第一區域之解碼包括在將第一區域視為一完整圖像之情況下使用種子值A將膠片顆粒 應用於第一區域。
(4)解碼器針對至少兩個區域之一第二區域產生一種子值B。
(5)解碼器解碼至少兩個區域之第二區域，其中第二區域之解碼包括在將第二區域視為一完整圖像之情況下使用種子值B將膠片顆粒應用於第二區域，其中A及B具有不同值。
(6)解碼器輸出經解碼當前圖像。
在此實施例之一個版本中，膠片顆粒產生包括針對圖像之各區域產生用於初始化在膠片顆粒產生程序中使用之一偽隨機數產生器之一種子值，且未如先前描述般針對圖像中之各區域產生個別種子值。代替地，僅針對圖像產生一個種子值A，且種子值A用於各區域。與此實施例中之先前解決方案相比，此解決方案將導致可針對圖像中之各區域重複之一膠片顆粒圖案，但針對圖像中之全部區域使用一單一種子值A不如針對各區域導出不同值複雜，尤其在圖像含有許多區域時。
在針對圖像中之全部區域使用一個種子值之替代方案及針對圖像中之各區域使用不同種子值之替代方案兩者中，針對各區域初始化偽隨機數產生器。與最新技術膠片顆粒產生解決方案相比，兩種替代方案將導致各區域之一確定性輸出，而無關於任何位元串流提取或合併操作。
在此實施例中，用於解碼、產生及將膠片顆粒應用於一當前圖像之一方法可由以下步驟之一子集或全部組成：
(1)解碼器從位元串流中之一組語法元素解碼區域資訊，解碼器從中導出區域數目及其等在經解碼當前圖像中之空間位置，且其中區域數目係至少兩個。
(2)解碼器針對當前圖像產生一種子值A。
(3)解碼器解碼至少兩個區域之一第一區域，其中第一區域之解碼包括在將第一區域視為一完整圖像之情況下使用種子值A將膠片顆粒應用於第一區域。
(4)解碼器解碼至少兩個區域之一第二區域，其中第二區域之解碼包括在將第二區域視為一完整圖像之情況下使用種子值A將膠片顆粒應用於第二區域。
(5)解碼器輸出經解碼當前圖像。
模式發信
在一些實施例中，以位元串流中之一或多個新語法元素之形式引入發信以使一編碼器指定一解碼器在整個經解碼圖像上整體地應用膠片顆粒產生或在將各區域視為一完整圖像之情況下應用膠片顆粒產生。此處，解碼一或多個新語法元素可導致解碼器將一模式值判定為等於一第一值，且接著針對各區域產生膠片顆粒，宛如各區域係一完全單獨圖像。若一或多個新語法元素之解碼導致解碼器將一模式值判定為等於不同於第一值之一第二值，則解碼器針對整個圖像產生膠片顆粒，宛如圖像由一個單一區域組成。
針對整個圖像使用一單一模式值之變體
在此實施例中，用於解碼、產生及將膠片顆粒應用於一當前圖像之一方法可由以下步驟之一子集或全部組成：
(1)解碼器從位元串流中之一組語法元素解碼區域資訊，解碼器從中導出區域數目及其等在經解碼當前圖像中之空間位置，且其中區域數目係至少兩個。
(2)解碼器從位元串流中之一或多個語法元素導出一模式值，其中模式值可等於至少一第一或一第二值。
(3)解碼器解碼當前圖像，其中解碼包括以下之至少一者
a.若模式值被導出為等於第一值，則解碼器以圖像之各區域內之一光柵掃描順序應用膠片顆粒。若模式值被導出為等於第二值，則解碼器以整個圖像之一光柵掃描順序應用膠片顆粒。
b.若模式值被導出為等於第一值，則解碼器以圖像之各區域內之一基於區塊之光柵掃描順序應用膠片顆粒。若模式值被導出為等於第二值，則解碼器以整個圖像之一基於區塊之光柵掃描順序應用膠片顆粒。
c.若模式值被導出為等於第一值，則解碼器針對圖像之各區域產生用於膠片顆粒產生程序中之種子值，其中針對任何區域產生之種子值不同於圖像中之任何其他區域之一所產生種子值。若模式值被導出為等於第二值，則解碼器針對整個圖像產生用於膠片顆粒產生程序中之一單一種子值A。在一個變體中，單一種子值A用於針對圖像初始化一次膠片顆粒產生程序。在另一變體中，針對各區域初始化在膠片顆粒產生程序中使用之偽隨機數產生器，其中單一種子值A用於全部初始化。
d.若模式值被導出為等於第一值，則進行以下操作：(i)解碼器判定任何兩個相鄰區塊是否屬於相同區域；(ii)回應於判定兩個相鄰區塊屬於相同區域，解碼器將一膠片顆粒解塊濾波器應用於相鄰區塊之間之區塊邊緣；(iii)回應於判定兩個相鄰區塊不屬於相同區域，解碼器不將任何膠片顆粒解塊濾波器應用於相鄰區塊之間之區塊邊緣。視情況：若模式值被導出為等於第二值，則解碼器將一膠片顆粒解塊濾波器應用於圖像 中之相鄰區塊之間之全部區塊邊緣，而無關於一區塊邊緣是否亦為一區域邊緣。
(4)解碼器輸出經解碼當前圖像。
針對各區域使用一模式值以控制膠片顆粒解塊之變體
圖6D繪示根據一實施例之被劃分為三個區域之一圖像之一膠片顆粒產生模式。在圖6D中展示，圖像600D具有三個區域(4A、4B及4C)，且被劃分為區塊。區域邊緣3A與區域4B接界，區域邊緣3B與區域4B及4C接界，且區域邊緣3C與區域4A及4C接界。區域4A中之區塊X與區域4B中之區塊Y共用一共同邊緣。
在一替代實施例中，用於解碼、產生及將膠片顆粒應用於一當前圖像之一方法可由以下步驟之一子集或全部組成：
(1)解碼器從位元串流中之一組語法元素解碼區域資訊，解碼器從中導出區域數目及其等在經解碼當前圖像中之空間位置，且其中區域數目係至少兩個。
(2)解碼器從位元串流中之一或多個語法元素導出圖像中之各區域之一模式值，其中各模式值可等於至少一第一或一第二值。例如，圖6D中之圖像600D之區域4A可具有一各自第一區域模式值，且區域4B可具有一第二區域模式值。此模式值可被稱為一「區域模式值」。
(3)解碼器將一膠片顆粒解塊濾波器應用於屬於相同區域之相鄰區塊之間之全部區塊邊緣。參考圖600D，解碼器將一膠片顆粒解塊濾波器應用於區塊X之左邊緣、頂邊緣及底邊緣以及區塊Y之頂邊緣、右邊緣及底邊緣。
(4)針對其中兩個相鄰區塊屬於不同區域R1及R2之各區塊 邊緣E，解碼器判定兩個區域R1及R2之模式值是否等於第二值。若情況如此，則解碼器將一膠片顆粒解塊濾波器應用於區塊邊緣E。若情況並非如此，則解碼器不將任何膠片顆粒解塊應用於區塊邊緣E。例如，參考圖600D，若區域4A之區域模式值係第二值，且區域4B之區域模式值亦為第二值，則解碼器將一膠片顆粒解塊濾波器應用於區塊X及Y上之共同區塊邊緣(邊緣3A)。若區域模式具有其他值，則解碼器不將一膠片顆粒解塊濾波器應用於邊緣3A。
(5)解碼器輸出經解碼當前圖像。
在一替代實施例中，用於解碼、產生及將膠片顆粒應用於一當前圖像之一方法可由以下步驟之一子集或全部組成：
(1)解碼器從位元串流中之一組語法元素解碼區域資訊，解碼器從中導出區域數目及其等在經解碼當前圖像中之空間位置，且其中區域數目係至少兩個。
(2)解碼器從位元串流中之一或多個語法元素導出圖像中之各區域之一模式值，其中各模式值可等於至少一第一或一第二值。
(3)解碼器將一膠片顆粒解塊濾波器應用於屬於相同區域之相鄰區塊之間之全部區塊邊緣。
(4)針對其中兩個相鄰區塊屬於不同區域R1及R2之各區塊邊緣E，解碼器將一膠片顆粒解塊濾波器應用於區塊邊緣E，使得僅修改屬於其模式值等於第二值之一區域之樣本值。例如，參考圖600D，若區域4A之區域模式值係第一值，且區域4B之區域模式值係第二值，則解碼器將一膠片顆粒解塊濾波器應用於區塊X及區塊Y上之共同區塊邊緣(邊緣3A)，使得僅藉由濾波修改區塊Y中之樣本值。
(5)解碼器輸出經解碼當前圖像。
種子值產生
在此實施例中，提供用於導出在膠片顆粒產生程序中使用之一偽隨機數產生器之一種子值之一新穎方法。該方法介紹基於從經寫碼區域S之位元串流解碼之一區域ID值來導出種子值。可較佳地從解碼表示來自參數集(諸如一SPS或PPS、一圖像標頭或一圖塊標頭)之一者之區域ID值之語法元素來導出區域ID值。
在此實施例中，用於從一位元串流解碼、產生及將膠片顆粒應用於一當前圖像之一方法可由以下步驟之一子集或全部組成：
(1)解碼器從位元串流中之一組語法元素解碼區域資訊，解碼器從中導出區域數目及其等在經解碼當前圖像中之空間位置，且其中區域數目係至少兩個。
(2)解碼器從位元串流中之語法元素值導出至少兩個區域之一第一區域之一區域ID值R1，且基於區域ID值R1產生第一區域之一種子值A。
(3)解碼器解碼至少兩個區域之第一區域，其中第一區域之解碼包括使用種子值A將膠片顆粒應用於第一區域。
(4)解碼器從位元串流中之語法元素值導出至少兩個區域之一第二區域之一區域ID值R2，且基於區域ID值R2產生第二區域之一種子值B。
(5)解碼器解碼至少兩個區域之第二區域，其中第二區域之解碼包括使用種子值B將膠片顆粒應用於第二區域。
(6)解碼器輸出經解碼當前圖像。
若從一參數集導出區域ID值，則導出一區域之一區域ID可包括：在該數目個區域上使用一迴路，在該迴路中針對各區域解碼參數集中之一區域ID語法元素，且將一區域之區域ID導出為等於參數集中之對應區域ID語法元素之值。
若從一圖像標頭導出區域ID值，則導出一區域之一區域ID可包括：在該數目個區域上使用一迴路，在該迴路中針對各區域解碼圖像標頭中之一區域ID語法元素，且將一區域之區域ID導出為等於圖像標頭中之對應區域ID語法元素之值。
若從圖塊標頭導出區域ID值，則導出一區域之一區域ID可包括從圖塊標頭中之一語法元素解碼區域ID。換言之，將區域ID導出為等於表示區域ID之圖塊標頭中之一或多個語法元素之值。在一個變體中，一區域之經寫碼資料包括兩個或更多個經寫碼圖塊。在此情況中，兩個或更多個經寫碼圖塊之各圖塊標頭含有表示相同區域ID值之語法元素，且從任一圖塊標頭導出區域之區域ID值。
在一項實施例中，區域ID係一子圖像ID。在VVC子圖像之頂部上使用該方法將包含基於VVC規範中稱為一子圖像之「子圖像ID」值之內容來導出子圖像之一膠片顆粒種子值。在VVC中，子圖像ID值可由以下語法元素之任一者發信：圖塊標頭中之sh_subpic_id、PPS中之pps_subpic_id[i]或SPS中之sps_subpic_id[i]。全部子圖像之子圖像ID值可單獨從SPS及PPS資料導出，藉由解碼pps_subpic_id[i]或sps_subpic_id[i]語法元素，或當此等元素皆不存在時，藉由將各子圖像之子圖像ID值導出為等於子圖像之子圖像索引值。
在一VVC案例中，單獨從參數集語法元素導出區域ID值可 為較佳的且並非藉由從一圖塊語法元素解碼區域ID，如下：
Figure 111123804-A0305-02-0042-10
在上文導出中，sps_num_subpics_minus1表示圖像中之子圖像之數目，i表示一子圖像索引，sps_subpic_id_mapping_explicitly_signalled_flag係指定是否調用子圖像索引映射之一旗標，subpicidval[i]係子圖像i之子圖像ID，pps_subpic_id_mapping_present_flag係指定子圖像索引映射語法是否存在於SPS或PPS中之一旗標，pps_subpic_id[i]係PPS中之一語法元素，其指定具有等於i之子圖像索引之子圖像之子圖像ID，且sps_subpic_id[i]係SPS中之一語法元素，其指定具有等於i之子圖像索引之子圖像之子圖像ID。
在此類似VVC之案例中，解碼器可將圖像中之第i個區域之區域ID導出為等於SubpicIdVal[i]，且藉此將第i個區域之種子值導出為SubpicIdVal[i]：seed[i]=f(SubpicIdVal[i])之一函數。
在一項實施例中，區域ID值與含有該區域之圖像之POC值組合以形成由解碼器用於該區域以解碼圖像之一種子值。在此實施例中，用於第i個區域之種子值可導出如下：seed[i]=f(SubpicIdVal[i],PicOrderCntVal)，其中PicOrderCntVal係含有該區域之當前圖像之POC值。
位元串流提取或合併操作
在此實施例中，描述用於位元串流提取及合併操作之方法。在當前技術中，膠片顆粒程序係基於圖像的，在先前論述，此意謂膠片顆粒程序引入視訊片段(諸如HEVC MCTS及VVC子圖像)之間之相依性。先前描述之實施例提供移除此等相依性且藉此使片段在應用膠片顆粒時完全獨立之新穎解決方案。此實現位元精確之位元串流提取及位元串流合併操作。
在此實施例中，介紹用於視訊位元串流提取之一方法，其包括： 從一輸入位元串流提取NAL單元之一適當子集，且產生包括NAL單元之適當子集及至少一個所產生參數集NAL單元之一輸出位元串流，其中：
a.輸入位元串流由經寫碼圖像組成，其中各圖像由至少兩個經寫碼區域組成，且輸出位元串流含有輸入位元串流中之經寫碼區域之一適當子集。
b.NAL單元之適當子集由多個圖塊資料NAL單元組成。
c.NAL單元之適當子集中之各圖塊資料NAL單元相同於輸入位元串流中之一個圖塊資料NAL單元。
d.至少一個參數集NAL單元被產生及包含在輸出位元串流中。
e.所產生之參數集NAL單元含有表示數個區域及其等在一經解碼圖像中之空間位置之一組語法元素，其中各區域在輸入及輸出位元串流兩者中表示。
f.輸出位元串流及輸入位元串流兩者指定應將膠片顆粒應用於可從各自位元串流解碼之各圖像。
g.輸出位元串流可由一解碼器解碼為一輸出經解碼視訊序列，其中輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於可從輸入位元串流解碼之一對應經解碼區域之樣本值。
另外，在此實施例中，介紹用於視訊位元串流合併之一方法，其包括： 合併來自至少一第一輸入位元串流及一第二輸入位元串流之一組NAL單元以產生包括該組NAL單元中之全部NAL單元及至少一個所產生參數集NAL單元之一輸出位元串流，其中：
a.第一輸入位元串流由經寫碼圖像組成，且第二輸入位元串流由經寫碼圖像組成。
b.該組NAL單元由來自第一輸入位元串流之至少一個圖塊資料NAL單元及來自第二輸入位元串流之至少一個圖塊資料NAL單元組成。
c.輸出位元串流中之各圖塊資料NAL單元相同於第一或第二輸入位元串流中之一個圖塊資料NAL單元。
d.至少一個參數集NAL單元被產生及包含在輸出位元串流中。
e.所產生之參數集NAL單元含有表示數個區域及其等在一經解碼圖像中之空間位置之一組語法元素，其中各區域在輸出位元串流及第一或第二輸入位元串流之確切一者中表示。
f.第一輸入位元串流、第二輸入位元串流及輸出位元串流 皆指定應將膠片顆粒應用於可從各自位元串流解碼之各圖像。
g.輸出位元串流可由一解碼器解碼為一輸出經解碼視訊序列，其中輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於可從第一輸入位元串流或第二輸入位元串流之確切一者解碼之一對應區域之樣本值
圖7係繪示根據一實施例之用於將膠片顆粒應用於從一位元串流解碼之一圖像之一程序700之一流程圖。下文描述之一設備1000可執行程序700之一些或全部步驟。程序700可在步驟s702中開始。步驟s702包括從位元串流中之語法元素解碼區域資訊。步驟s704包括基於區域資訊導出圖像中之一區域數目，其中區域數目係至少兩個。步驟s706包括基於區域資訊導出至少兩個區域之一第一區域之一區域光柵掃描順序。步驟s708包括解碼第一區域，其中第一區域之解碼包括根據區域光柵掃描順序將膠片顆粒應用於第一區域。
圖8係繪示根據一實施例之用於提取一位元串流之一程序800之一流程圖。下文描述之一設備1000可執行程序800之一些或全部步驟。程序800可在步驟s802中開始。步驟s802包括獲得包括一經寫碼圖像之一輸入位元串流，其中經寫碼圖像包括複數個區域。步驟s804包括從輸入位元串流提取網路抽象層(NAL)單元之一子集，其中各子集包括多個圖塊資料NAL單元，且其中各圖塊資料NAL單元相同於輸入位元串流中之一各自圖塊資料NAL單元。步驟s806包括產生一參數集NAL單元，其中參數集NAL單元包括表示一經解碼圖像中之數個區域及數個區域之各區域在經解碼圖像中之一各自空間位置之一組語法元素。步驟s808包括產生包括所提取之NAL單元子集及所產生之參數集NAL單元之一輸出位元串 流。在一些實施例中，輸入位元串流及輸出位元串流兩者指定應將膠片顆粒應用於從輸入位元串流及輸出位元串流解碼之一圖像。在一些實施例中，輸出位元串流可被解碼為一輸出經解碼視訊序列，其中輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於來自輸入串流之一對應經解碼區域之樣本值。
圖9係繪示根據一實施例之用於合併一位元串流之一程序900之一流程圖。下文描述之一設備1000可執行程序900之一些或全部步驟。程序900可在步驟s902中開始。步驟s902包括獲得包括一第一經寫碼圖像之一第一輸入位元串流。步驟s904包括獲得包括一第二經寫碼圖像之一第二輸入位元串流。步驟s906包括合併來自第一輸入位元串流及第二輸入位元串流之一組網路抽象層(NAL)單元，其中所合併之該組NAL單元包括來自第一輸入位元串流之至少一個圖塊資料NAL單元及來自第二輸入位元串流之至少一個圖塊資料NAL單元，且其中各圖塊資料NAL單元相同於第一輸入位元串流或第二輸入位元串流之一者中之一各自圖塊資料NAL單元。步驟s908包括產生一參數集網路抽象層單元，所產生之參數集NAL單元包括表示數個區域及數個區域之各區域在一經解碼圖像中之一各自空間位置之一組語法元素。步驟s910包括產生一輸出位元串流，其中輸出位元串流包括所產生之參數集NAL單元及該組所合併NAL單元。在一些實施例中，第一輸入位元串流、第二輸入位元串流及輸出位元串流各自指定應將膠片顆粒應用於從各自位元串流解碼之一圖像。在一些實施例中，輸出位元串流可被解碼為一輸出經解碼視訊序列，其中輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於來自第一輸入串流或第二輸入串流之一者之一對應經解碼區域之樣本值。
圖11係繪示根據一實施例之一程序之一流程圖。下文描述之一設備1000可執行程序1100之一些或全部步驟。程序1100可在步驟s1102中開始。步驟s1102包括判定區域資訊，該區域資訊包括指示(i)一圖像中之一區域數目，其中區域數目係至少兩個，及(ii)至少兩個區域之一第一區域之一區域光柵掃描順序之資訊。步驟s1104包括判定膠片顆粒參數，其中膠片顆粒參數用於以至少兩個區域之第一區域之區域光柵掃描順序應用膠片顆粒。步驟s1106包括產生一位元串流，其中位元串流包括編碼區域資訊之一或多個語法元素及編碼膠片顆粒參數之一或多個語法元素。
圖10係根據一些實施例之用於實施解碼器204及/或編碼器202之一設備1000之一方塊圖。當設備1000實施一解碼器時，設備1000可被稱為一「解碼設備1000」，且當設備1000實施一編碼器時，設備1000可被稱為一「編碼設備1000」。在圖10中展示，設備1000可包括：處理電路(PC)1002，其可包含一或多個處理器(P)1055(例如，一通用微處理器及/或一或多個其他處理器，諸如一特定應用積體電路(ASIC)、場可程式化閘陣列(FPGA)及類似物)，該等處理器可共置於一單一外殼中或一單一資料中心中或可在地理上分佈(即，設備1000可為一分佈式運算設備)；至少一個網路介面1048，其包括用於使設備1000能夠將資料傳輸至連接至網路介面1048所連接(直接或間接)之一網路110(例如，一網際網路協定(IP)網路)之其他節點或從該等其他節點接收資料之一傳輸器(Tx)1045及一接收器(Rx)1047(例如，網路介面1048可無線連接至網路110，在此情況中，網路介面1048連接至一天線配置)；及一儲存單元(即，「資料儲存系統」)1008，其可包含一或多個非揮發性儲存裝置及/或一或多個揮發性儲 存裝置。在其中PC 1002包含一可程式化處理器之實施例中，可提供一電腦程式產品(CPP)1041。CPP 1041包含儲存包括電腦可讀指令(CRI)1044之一電腦程式(CP)1043之一電腦可讀媒體(CRM)1042。CRM 1042可為一非暫時性電腦可讀媒體，諸如磁性媒體(例如，一硬碟)、光學媒體、記憶體裝置(例如，隨機存取記憶體、快閃記憶體)及類似物。在一些實施例中，電腦程式1043之CRI 1044經組態，使得當由PC 1002執行時，CRI導致設備1000執行本文中描述之步驟(例如，本文中參考流程圖描述之步驟)。在其他實施例中，設備1000可經組態以在無需程式碼之情況下執行本文中描述之步驟。即，例如，PC 1002可僅由一或多個ASIC組成。因此，本文中描述之實施例之特徵可在硬體及/或軟體中實施。
各種實施例之概述
A1.一種用於將膠片顆粒應用於從一位元串流解碼之一圖像之方法(700)，該方法包括：從該位元串流中之語法元素解碼區域資訊；基於該區域資訊導出該圖像中之一區域數目，其中該區域數目係至少兩個；基於該區域資訊導出該至少兩個區域之一第一區域之一區域光柵掃描順序；及解碼該第一區域，其中該第一區域之該解碼包括根據該區域光柵掃描順序將膠片顆粒應用於該第一區域。
A2.如實施例A1之方法，其中一區域係該圖像之一子圖像或一圖塊之一者。
A3.如前述實施例中任一項之方法，其中一區域係一矩形區域。
A4.如前述實施例中任一項之方法，其進一步包括：基於該區域資訊導出該至少兩個區域之一第二區域之一第二區域光柵掃描順 序；及解碼該第二區域，其中該解碼該第二區域包括根據該第二區域光柵掃描順序將膠片顆粒應用於該第二區域。
A5.如前述實施例中任一項之方法，其進一步包括：輸出該經解碼圖像。
A6.如前述實施例中任一項之方法，其中該區域光柵掃描順序包括該第一區域中之複數個區塊之一基於區塊之光柵掃描順序，該方法進一步包括：根據該基於區塊之光柵掃描順序將膠片顆粒應用於該第一區域中之該複數個區塊。
A7.如實施例A1至A5中任一項之方法，其中該區域光柵掃描順序包括：(i)該第一區域中之複數個區塊之一基於區塊之光柵掃描順序，及(ii)該第一區域中之該複數個區塊之各區塊內之一各自光柵掃描順序，該方法進一步包括：根據該基於區塊之光柵掃描順序及該第一區域中之該複數個區塊之一第一區塊內之該各自光柵掃描順序將膠片顆粒應用於該第一區塊。
A8.如前述實施例中任一項之方法，其進一步包括：判定一第一區塊及一第二區塊是否共用該圖像內之一共同區塊邊緣；判定共用該圖像內之該共同區塊邊緣之該第一區塊及該第二區塊是否屬於一相同區域；及回應於該第一區塊及該第二區塊屬於該相同區域之一判定，將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
A9.如實施例A8之方法，其進一步包括：回應於共用該共同區塊邊緣之該第一區塊及該第二區塊不屬於該相同區域之一判定，判定不將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
A10.如前述實施例中任一項之方法，其中該將膠片顆粒 應用於該第一區域包括：針對該第一區域產生一第一種子值；及針對該第一區域使用該第一種子值初始化一偽隨機數產生器以用於該將膠片顆粒應用於該第一區域。
A11.如實施例A10之方法，該方法進一步包括：針對該至少兩個區域之一第二區域產生一第二種子值，其中該第二種子值不同於該第一種子值；針對該第二區域使用該第二種子值初始化一偽隨機數產生器；及解碼該第二區域，其中該解碼該第二區域包括使用以該第二種子值初始化之該偽隨機數產生器將膠片顆粒應用於該第二區域。
A12.如實施例A10之方法，該方法進一步包括：針對該至少兩個區域之一第二區域使用該第一種子值初始化該偽隨機數產生器；及解碼該至少兩個區域之該第二區域，其中該解碼該第二區域包括使用以該第一種子值初始化之該偽隨機數產生器將膠片顆粒應用於該第一區域。
A13.如前述實施例中任一項之方法，該方法進一步包括：從該位元串流中之語法元素導出一第一模式值，其中該第一模式值等於一第一值或一第二值，其中該第一值指示使用該圖像中之該至少兩個區域之各區域之一各自區域光柵掃描順序個別地應用膠片顆粒處理各區域，且其中該第二值指示使用該圖像之一光柵掃描順序整體地將膠片顆粒應用於該圖像中之該至少兩個區域之各區域。
A14.如實施例A13之方法，其進一步包括：回應於該第一模式值等於該第一值之一判定，判定共用該圖像內之一共同區塊邊緣之一第一區塊及一第二區塊是否屬於一相同區域；及回應於該第一區塊及該第二區塊屬於該相同區域之一判定，將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
A15.如實施例A14之方法，其進一步包括：回應於該第一區塊及該第二區塊不屬於該相同區域之一判定，判定不將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
A16.如實施例A13至A15中任一項之方法，其進一步包括：回應於該第一模式值等於該第二值之一判定，將一膠片顆粒解塊濾波器應用於該圖像中之相鄰區塊之間之全部區塊邊緣，而無關於一區塊邊緣是否亦為一區域邊緣。
A17.如前述實施例中任一項之方法，該方法進一步包括：從該位元串流中之語法元素導出該至少兩個區域之各區域之一區域模式值，其中該區域模式值等於一第一值或一第二值，其中該第一值指示將一膠片顆粒解塊濾波器應用於除相鄰區域之間之區塊邊緣之外之一區域內之各區塊邊緣，且其中該第二值指示將一膠片顆粒解塊濾波器應用於包含相鄰區域之間之區塊邊緣之一區域內之各區塊邊緣。
A18.如實施例A17之方法，其進一步包括：導出屬於該第一區域之一第一區塊之一第一區域模式值；導出屬於一第二區域之一第二區塊之一第二區域模式值，其中該第一區塊及該第二區塊共用該圖像內之一共同區塊邊緣；判定該第一區域模式值是否等於該第二值及該第二區域模式值是否等於該第二值；及回應於該第一區域模式值等於該第二值及該第二區域模式值等於該第二值之一判定，將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
A19.如實施例A18之方法，其進一步包括：回應於該第一區域模式值或該第二區域模式值之至少一者等於該第一值之一判定，判定不將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
A-19.5如實施例A18之方法，其進一步包括：判定該第一區域模式值是否等於該第一值及該第二區域模式值是否等於該第二值；及回應於該第一區域模式值等於該第一值及該第二區域模式值等於該第二值之一判定，將一膠片顆粒解塊濾波器應用於該共同邊緣，使得僅對屬於該第二區域之樣本之值進行取樣。
A20.如前述實施例中任一項之方法，其進一步包括：導出該第一區域之一第一區域識別符值；及基於該第一區域識別符值針對該第一區域產生一第一種子值，其中該第一區域之該解碼包括使用該第一種子值將膠片顆粒應用於該第一區域。
A21.如實施例20之方法，其進一步包括：導出該至少兩個區域之一第二區域之一第二區域識別符值；基於該第二區域識別符值針對該第二區域產生一第二種子值；及解碼該第二區域，其中該解碼該第二區域包括使用該第二種子值將膠片顆粒應用於該第二區域。
A22.如實施例A20至A21中任一項之方法，其中該第一種子值進一步基於該圖像之一圖像順序計數值。
A23.如實施例A20至A22中任一項之方法，其中該第一區域係一子圖像，且該第一區域識別符係一子圖像識別符。
A24.如實施例A20至A23中任一項之方法，其中從一圖像參數集、一序列參數集、一圖像標頭或一圖塊標頭之一或多者中之一語法元素獲得該第一區域識別符值。
A25.如實施例A20至A24中任一項之方法，其中該第一區域及該第二區域共用一共同垂直區域邊緣。
B1.一種用於提取一位元串流之方法(800)，該方法包 括：獲得包括一經寫碼圖像之一輸入位元串流，其中該經寫碼圖像包括複數個區域；從該輸入位元串流提取網路抽象層(NAL)單元之一子集，其中各子集包括多個圖塊資料NAL單元，且其中各圖塊資料NAL單元相同於該輸入位元串流中之一各自圖塊資料NAL單元；產生一參數集NAL單元，其中該參數集NAL單元包括表示一經解碼圖像中之數個區域及該數個區域之各區域在該經解碼圖像中之一各自空間位置之一組語法元素；及產生包括該所提取之NAL單元子集及該所產生之參數集NAL單元之一輸出位元串流，其中該輸入位元串流及該輸出位元串流兩者指定應將膠片顆粒應用於從該輸入位元串流及該輸出位元串流解碼之一圖像，且其中該輸出位元串流可被解碼為一輸出經解碼視訊序列，其中該輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於來自該輸入串流之一對應經解碼區域之樣本值。
C1.一種用於合併一位元串流之方法(900)，該方法包括：獲得包括一第一經寫碼圖像之一第一輸入位元串流；獲得包括一第二經寫碼圖像之一第二輸入位元串流；合併來自該第一輸入位元串流及該第二輸入位元串流之一組網路抽象層(NAL)單元，其中所合併之該組NAL單元包括來自該第一輸入位元串流之至少一個圖塊資料NAL單元及來自該第二輸入位元串流之至少一個圖塊資料NAL單元，且其中各圖塊資料NAL單元相同於該第一輸入位元串流或該第二輸入位元串流之一者中之一各自圖塊資料NAL單元；產生一參數集網路抽象層單元，該所產生之參數集NAL單元包括表示數個區域及該數個區域之各區域在一經解碼圖像中之一各自空間位置之一組語法元素；及產生一輸出位元串流，其中該輸出位元串流包括該所產生之參數集NAL單元及該組所合併NAL單元，其中該第 一輸入位元串流、該第二輸入位元串流及該輸出位元串流各自指定應將膠片顆粒應用於從該各自位元串流解碼之一圖像，且其中該輸出位元串流可被解碼為一輸出經解碼視訊序列，其中該輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於來自該第一輸入串流或該第二輸入串流之一者之一對應經解碼區域之樣本值。
D1.一種由一編碼器執行之方法(1100)，該方法包括：判定區域資訊，該區域資訊包括指示(i)圖像中之區域數目，其中該區域資訊包括指示(i)一圖像中之一區域數目，其中該區域數目係至少兩個，及(ii)該至少兩個區域之一第一區域之一區域光柵掃描順序之資訊；判定膠片顆粒參數，其中該等膠片顆粒參數用於以該至少兩個區域之該第一區域之該區域光柵掃描順序應用膠片顆粒；及產生一位元串流，其中該位元串流包括編碼該區域資訊之一或多個語法元素及編碼該等膠片顆粒參數之一或多個語法元素。
D2.如實施例D1之方法，其中一區域係該圖像之一子圖像或一圖塊之一者。
D3.如前述實施例中任一項之方法，其中一區域係一矩形區域。
D4.如前述實施例(A1至A25、B1、C1或D1至D3)中任一項之方法，其中該區域資訊進一步包括該至少兩個區域之一第二區域之一第二區域光柵掃描順序，且其中將以該至少兩個區域之該第二區域之該第二區域光柵掃描順序應用膠片顆粒。
D5.如前述實施例(A1至A25、B1、C1或D1至D4)中任一項之方法，其中該區域光柵掃描順序包括該第一區域中之複數個區塊之 一基於區塊之光柵掃描順序。
D6.如實施例D1至D4中任一項之方法，其中該區域光柵掃描順序包括：(i)該第一區域中之複數個區塊之一基於區塊之光柵掃描順序，及(ii)該第一區域中之該複數個區塊之各區塊內之一各自光柵掃描順序。
D7.如前述實施例(A1至A25、B1、C1或D1至D6)中任一項之方法，其進一步包括：獲得一第一模式值，其中該第一模式值等於一第一值或一第二值，其中該第一值指示使用該圖像中之該至少兩個區域之各區域之一各自區域光柵掃描順序個別地應用膠片顆粒處理各區域，且其中該第二值指示使用該圖像之一光柵掃描順序整體地將膠片顆粒應用於該圖像中之該至少兩個區域之各區域；及產生一位元串流，其中該位元串流包括編碼該第一模式值之一或多個語法元素。
D8.如前述實施例(A1至A25、B1、C1或D1至D7)中任一項之方法，其進一步包括：從該位元串流中之語法元素獲得該至少兩個區域之各區域之一區域模式值，其中該區域模式值等於一第一值或一第二值，其中該第一值指示將一膠片顆粒解塊濾波器應用於除相鄰區域之間之區塊邊緣之外之一區域內之各區塊邊緣，且其中該第二值指示將一膠片顆粒解塊濾波器應用於包含相鄰區域之間之區塊邊緣之一區域內之各區塊邊緣；及產生一位元串流，其中該位元串流包括編碼該區域模式值之一或多個語法元素。
D9.如實施例D8之方法，其進一步包括：獲得該至少兩個區域之各區域之一區域識別符；及產生一位元串流，其中該位元串流包括編碼該至少兩個區域之各區域之該區域識別符之一或多個語法元素。
E1.一種電腦程式(1043)，其包括當由處理電路(1002)執行時導致該處理電路(1002)執行如上文實施例中任一項之方法之指令(1044)。
E2.一種載體，其含有實施例D1之電腦程式，其中該載體係一電子信號、一光學信號、一無線電信號及一電腦可讀儲存媒體(1042)之一者。
F1.一種設備(1000)，該設備經調適以執行如實施例A1至A25、B1、C1或D1至D9中任一項之方法。
G1.一種設備(1000)，該設備包括：記憶體(1042)；及處理電路(1002)，其中該設備經組態以執行如實施例A1至A25、B1、C1或D1至D9中任一項之方法。
額外實施例
實施例1
一種用於產生膠片顆粒且將其應用於包括至少兩個區域之一圖像中之一區域S之方法，其中該區域S不包含該圖像之左上CTU，且其中針對區域S進行該膠片顆粒產生，宛如區域S係一完全單獨圖像。
實施例2
如實施例1之方法，其中該區域係一子圖像或一圖塊之一者。
實施例3
如任何先前實施例之方法，其中該膠片顆粒產生包括以下之至少一者：以該圖像之各區域內之一光柵掃描順序應用膠片顆粒
以該圖像之各區域內之一基於區塊之光柵掃描順序應用膠片顆粒
以該圖像之各區域內之一基於區塊之光柵掃描順序及各區塊內之光柵掃描順序應用膠片顆粒
應用基於區塊之膠片顆粒，其包含判定兩個相鄰區塊是否屬於相同區域，且回應於判定該兩個相鄰區塊屬於該相同區域，將一膠片顆粒解塊濾波器應用於該等相鄰區塊之間之區塊邊緣。視情況，回應於判定該兩個相鄰區塊不屬於該相同區域，不將一膠片顆粒解塊濾波器應用於該等相鄰區塊之間之該區塊邊緣。
實施例4
如任何先前實施例之方法，其中該膠片顆粒產生包括針對該圖像之各區域產生用於初始化在該膠片顆粒產生程序中使用之一偽隨機數產生器之種子值，其中針對區域S產生之種子值不同於該圖像中之任何其他區域之任何所產生種子值。
實施例5
如實施例1至3中任一項之方法，其中該膠片顆粒產生包括針對該圖像之各區域產生用於初始化在該膠片顆粒產生程序中使用之一偽隨機數產生器之一種子值，且其中用於該圖像之各區域之該種子值具有相同值。
實施例6
如任何先前實施例之方法，其進一步包括將來自位元串流中之一或多個語法元素之一模式值判定為等於一第一值，該第一值指定針對各區域進行膠片顆粒產生，宛如各區域係一完全單獨圖像，其中該模式值等於一第二值指定將針對該圖像進行膠片顆粒產生，宛如該圖像由一個 單一區域組成。
實施例7
如任何先前實施例之方法，其進一步包括針對一偽隨機數產生器產生一種子值，其中該種子值產生係基於針對經寫碼區域S從該位元串流解碼之一區域ID值。
實施例8
如上文實施例7之方法，其中該種子值係基於針對該經寫碼區域S從該位元串流解碼之一區域ID值及針對含有該區域S之該圖像判定之一POC值兩者。
實施例9
如先前兩項實施例7或8之方法，其中該區域係一子圖像，且該區域ID係一子圖像ID。
實施例10
如先前三項實施例7至9中任一項之方法，其中從一圖像參數集PPS、一序列參數集SPS、一圖像標頭或一圖塊標頭之一者中之一語法元素獲得該區域ID。
實施例11
一種用於對使用膠片顆粒之區域進行位元串流提取或合併操作之方法，其中任何區域S之膠片顆粒之後之樣本值保持相同，而無關於操作
額外實施例
如前述實施例中任一項之方法，其中一區域係一矩形區域。
如先前實施例中任一項之方法，其中一區域係一圖塊及一 子圖像之至少一者。
雖然本文中(包含附錄中)描述各種實施例，但應理解，其等僅藉由實例呈現且非限制性。因此，本發明之範圍及範疇不應限於上文描述之例示性實施例之任一者。-再者，上文描述之元件在其等之全部可能變化內之任何組合被本發明涵蓋，除非本文中另外指示或內容脈絡另外清楚反對。
另外，雖然在上文描述且在圖式中繪示之程序被展示為一序列步驟，但此僅為繪示起見而進行。因此，經考慮，可添加一些步驟，可省略一些步驟，可重新配置步驟之順序，且可並行執行一些步驟。
以下揭示內容以一標準稿件之形式描述一實施例，最初出現在2021年6月29日申請之美國臨時申請案第63/216,262號之附錄中。
摘要
本稿件對VVC視訊寫碼規範提出以下修改：除基於圖像之膠片顆粒產生之外，亦添加對子圖像獨立膠片顆粒產生之支援。提供支援此之兩個選項，第一選項係在SPS中添加由sps_film_grain_enabled_flag語法元素選通之一模式旗標，且第二選項係重用現有sps_subpic_treated_as_pic_flag[]語法元素。
針對子圖像獨立膠片顆粒模式修改一膠片顆粒種子產生程序以包含sh_subpic_id語法元素(子圖像ID)之值。
針對子圖像獨立膠片顆粒模式修改膠片顆粒產生程序以依一光柵掃描順序逐子圖像產生膠片顆粒。
1.引言
基於SMPTE RDD5(2006)規範之標準膠片顆粒產生在此處 假定為已被採用至VVC。所採用之方法係一基於圖像之方法，因為其不考量任何圖像分割。
2.問題陳述
在VVC中，基於圖像之膠片顆粒程序意謂一個子圖像之輸出樣本值可取決於該子圖像在整個圖像中之位置。此存在兩個原因。第一原因係VVC中之偽隨機數產生器之初始化針對圖像進行一次。此意謂當產生跨越一子圖像之一子圖像邊界時，偽隨機數產生器之狀態取決於先前子圖像。第二原因係膠片顆粒產生係以整個圖像之一光柵掃描順序進行，且並非以各子圖像內之一光柵掃描順序進行。
3.提案
選項1-SPS旗標
Figure 111123804-A0305-02-0060-11
sps_independent_subpics_film_grain_flag等於1指定CLVS中之各子圖像在膠片顆粒產生程序中被視為一圖像(若適用)。sps_independent_subpics_film_grain_flag等於0指定CLVS中之各圖像在膠片顆粒產生程序中被視為該圖像由一個單一子圖像組成。當不存在時，sps_independent_subpics_film grain flag之值被推斷為等於1。
選項2-重用現有旗標
Figure 111123804-A0305-02-0061-13
sps_independent_subpics_flag等於1指定CLV中之全部子圖像邊界被視為圖像邊界，且不存在跨子圖像邊界之迴路過濾或膠片。sps_independent_subpics_flag等於0不施加此一約束。 sps_independent_subpics_flag等於1另外指定CLVS中之各子圖像在膠片顆粒產生程序中被視為一圖像(若適用)。sps_independent_subpics_film_grain_flag等於0指定CLVS中之各圖像在膠片顆粒產生程序中被視為該圖像由一個單一子圖像組成。當不存在時，sps_independent_subpics_flag之值被推斷為等於1。
sps_subpic_treated_as_pic_flag[i]等於1指定CLVS中之各經寫碼圖像之第i個子圖像在除迴路內濾波操作之外之解碼程序中被視為一圖像。sps_subpic_treated_as_pic_flag[i]等於0指定CLVS中之各經寫碼圖像之第i個子圖像在除迴路內濾波操作之外之解碼程序中不被視為一圖像。sps_subpic_treated_as_pic_flag[i]等於1另外指定CLVS中之各經寫碼圖像之第i個子圖像在膠片顆粒產生程序中被視為一圖像(若適用)。sps_subpic_treated_as_pic_flag[i]等於0指定CLVS中之各經寫碼圖像之第i個子圖像在膠片顆粒產生程序中不被視為一圖像。當不存在時，sps_subpic_treated_as_pic_flag[i]之值被推斷為等於1。
700:程序/方法
s702:步驟/解碼
s704:步驟/導出
s706:步驟/導出
s708:步驟/解碼

Claims (41)

  1. 一種用於將膠片顆粒應用於從一位元串流解碼之一圖像之方法(700)，該方法包括從該位元串流中之語法元素解碼(s702)區域資訊；基於該區域資訊導出(s704)該圖像中之一區域數目，其中該區域數目係至少兩個；基於該區域資訊導出(s706)該至少兩個區域之一第一區域之一區域光柵掃描順序；及解碼(s708)該第一區域，其中該第一區域之該解碼包括根據該區域光柵掃描順序將膠片顆粒應用於該第一區域內。
  2. 如請求項1之方法，其中一區域係該圖像之一子圖像或一圖塊之一者。
  3. 如請求項1至2中任一項之方法，其中一區域係一矩形區域。
  4. 如請求項1至2中任一項之方法，其進一步包括：基於該區域資訊導出該至少兩個區域之一第二區域之一第二區域光柵掃描順序；及解碼該第二區域，其中該解碼該第二區域包括根據該第二區域光柵掃描順序將膠片顆粒應用於該第二區域內。
  5. 如請求項1至2中任一項之方法，其進一步包括：輸出該經解碼圖像。
  6. 如請求項1至2中任一項之方法，其中該區域光柵掃描順序包括該第一區域中之複數個區塊之一基於區塊之光柵掃描順序，該方法進一步包括：根據該基於區塊之光柵掃描順序將膠片顆粒應用於該第一區域中之該複數個區塊。
  7. 如請求項1至2中任一項之方法，其中該區域光柵掃描順序包括：(i)該第一區域中之複數個區塊之一基於區塊之光柵掃描順序，及(ii)該第一區域中之該複數個區塊之各區塊內之一各自光柵掃描順序，該方法進一步包括：根據該基於區塊之光柵掃描順序及該第一區域中之該複數個區塊之一第一區塊內之該各自光柵掃描順序將膠片顆粒應用於該第一區塊。
  8. 如請求項1至2中任一項之方法，其進一步包括：判定一第一區塊及一第二區塊是否共用該圖像內之一共同區塊邊緣；判定共用該圖像內之該共同區塊邊緣之該第一區塊及該第二區塊是否屬於一相同區域；及回應於該第一區塊及該第二區塊屬於該相同區域之一判定，將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
  9. 如請求項8之方法，其進一步包括：回應於共用該共同區塊邊緣之該第一區塊及該第二區塊不屬於該相同區域之一判定，判定不將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
  10. 如請求項1至2中任一項之方法，其中該將膠片顆粒應用於該第一區域內包括：針對該第一區域產生一第一種子值；及針對該第一區域使用該第一種子值初始化一偽隨機數產生器以用於該將膠片顆粒應用於該第一區域內。
  11. 如請求項10之方法，其進一步包括：針對該至少兩個區域之一第二區域產生一第二種子值，其中該第二種子值不同於該第一種子值；針對該第二區域使用該第二種子值初始化一偽隨機數產生器；及解碼該第二區域，其中該解碼該第二區域包括使用以該第二種子值初始化之該偽隨機數產生器將膠片顆粒應用於該第二區域。
  12. 如請求項10之方法，其進一步包括：針對該至少兩個區域之一第二區域使用該第一種子值初始化該偽隨機數產生器；及解碼該至少兩個區域之該第二區域，其中該解碼該第二區域包括使 用以該第一種子值初始化之該偽隨機數產生器將膠片顆粒應用於該第一區域。
  13. 如請求項1至2中任一項之方法，該方法進一步包括：從該位元串流中之語法元素導出一第一模式值，其中該第一模式值等於一第一值或一第二值，其中該第一值指示使用該圖像中之該至少兩個區域之各區域之一各自區域光柵掃描順序個別地應用膠片顆粒處理各區域，且其中該第二值指示使用該圖像之一光柵掃描順序整體地將膠片顆粒應用於該圖像中之該至少兩個區域之各區域。
  14. 如請求項13之方法，其進一步包括：回應於該第一模式值等於該第一值之一判定，判定共用該圖像內之一共同區塊邊緣之一第一區塊及一第二區塊是否屬於一相同區域；及回應於該第一區塊及該第二區塊屬於該相同區域之一判定，將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
  15. 如請求項14之方法，其進一步包括：回應於該第一區塊及該第二區塊不屬於該相同區域之一判定，判定不將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
  16. 如請求項13之方法，其進一步包括：回應於該第一模式值等於該第二值之一判定，將一膠片顆粒解塊濾 波器應用於該圖像中之相鄰區塊之間之全部區塊邊緣，而無關於一區塊邊緣是否亦為一區域邊緣。
  17. 如請求項1至2中任一項之方法，其進一步包括：從該位元串流中之語法元素導出該至少兩個區域之各區域之一區域模式值，其中該區域模式值等於一第一值或一第二值，其中該第一值指示將一膠片顆粒解塊濾波器應用於除相鄰區域之間之區塊邊緣之外之一區域內之各區塊邊緣，且其中該第二值指示將一膠片顆粒解塊濾波器應用於包含相鄰區域之間之區塊邊緣之一區域內之各區塊邊緣。
  18. 如請求項17之方法，其進一步包括：導出屬於該第一區域之一第一區塊之一第一區域模式值；導出屬於一第二區域之一第二區塊之一第二區域模式值，其中該第一區塊及該第二區塊共用該圖像內之一共同區塊邊緣；判定該第一區域模式值是否等於該第二值及該第二區域模式值是否等於該第二值；及回應於該第一區域模式值等於該第二值及該第二區域模式值等於該第二值之一判定，將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
  19. 如請求項18之方法，其進一步包括：回應於該第一區域模式值或該第二區域模式值之至少一者等於該第一值之一判定，判定不將一膠片顆粒解塊濾波器應用於該共同區塊邊緣。
  20. 如請求項18之方法，其進一步包括：判定該第一區域模式值是否等於該第一值及該第二區域模式值是否等於該第二值；及回應於該第一區域模式值等於該第一值及該第二區域模式值等於該第二值之一判定，將一膠片顆粒解塊濾波器應用於該共同邊緣，使得僅對屬於該第二區域之樣本之值進行取樣。
  21. 如請求項1至2中任一項之方法，其進一步包括：導出該第一區域之一第一區域識別符值；及基於該第一區域識別符值針對該第一區域產生一第一種子值，其中該第一區域之該解碼包括使用該第一種子值將膠片顆粒應用於該第一區域。
  22. 如請求項21之方法，其進一步包括：導出該至少兩個區域之一第二區域之一第二區域識別符值；基於該第二區域識別符值針對該第二區域產生一第二種子值；及解碼該第二區域，其中該解碼該第二區域包括使用該第二種子值將膠片顆粒應用於該第二區域。
  23. 如請求項21之方法，其中該第一種子值進一步基於該圖像之一圖像順序計數值。
  24. 如請求項21之方法，其中該第一區域係一子圖像，且該第一區域識別符係一子圖像識別符。
  25. 如請求項21之方法，其中從以下之一或多者中之一語法元素獲得該第一區域識別符值：一圖像參數集，一序列參數集，一圖像標頭，或一圖塊標頭。
  26. 如請求項21之方法，其中該第一區域及該第二區域共用一共同垂直區域邊緣。
  27. 一種用於提取一位元串流之方法(800)，該方法包括：獲得(s802)包括一經寫碼圖像之一輸入位元串流，其中該經寫碼圖像包括複數個區域；從該輸入位元串流提取(s804)網路抽象層(NAL)單元之一子集，其中各子集包括多個圖塊資料NAL單元，且其中各圖塊資料NAL單元相同於該輸入位元串流中之一各自圖塊資料NAL單元；產生(s806)一參數集NAL單元，其中該參數集NAL單元包括表示一經解碼圖像中之數個區域及該數個區域之各區域在該經解碼圖像中之一各自空間位置之一組語法元素；及產生(s808)包括該所提取之NAL單元子集及該所產生之參數集NAL 單元之一輸出位元串流，其中該輸入位元串流及該輸出位元串流兩者指定應將膠片顆粒應用於從該輸入位元串流及該輸出位元串流解碼之一圖像，且其中該輸出位元串流可被解碼為一輸出經解碼視訊序列，其中該輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於來自該輸入串流之一對應經解碼區域之樣本值。
  28. 一種用於合併一位元串流之方法(900)，該方法包括：獲得(s902)包括一第一經寫碼圖像之一第一輸入位元串流；獲得(s904)包括一第二經寫碼圖像之一第二輸入位元串流；合併(s906)來自該第一輸入位元串流及該第二輸入位元串流之一組網路抽象層(NAL)單元，其中所合併之該組NAL單元包括來自該第一輸入位元串流之至少一個圖塊資料NAL單元及來自該第二輸入位元串流之至少一個圖塊資料NAL單元，且其中各圖塊資料NAL單元相同於該第一輸入位元串流或該第二輸入位元串流之一者中之一各自圖塊資料NAL單元；產生(s908)一參數集網路抽象層單元，該所產生之參數集NAL單元包括表示數個區域及該數個區域之各區域在一經解碼圖像中之一各自空間位置之一組語法元素；及產生(s910)一輸出位元串流，其中該輸出位元串流包括該所產生之參數集NAL單元及該組所合併NAL單元，其中該第一輸入位元串流、該第二輸入位元串流及該輸出位元串流各自指定應將膠片顆粒應用於從該各自位元串流解碼之一圖像，且其中該輸出位元串流可被解碼為一輸出經解碼視訊序列，其中該輸出經解碼視訊序列之各經解碼區域之經解碼樣本值相同於來自該第一輸入串流或該第二輸入串流之一者之一對應經解碼區域之 樣本值。
  29. 一種由一編碼器執行之方法(1100)，該方法包括：判定(s1102)區域資訊，該區域資訊包括指示(i)圖像中之區域數目，其中該區域數目係至少兩個，及(ii)該至少兩個區域之一第一區域之一區域光柵掃描順序之資訊；判定(s1104)膠片顆粒參數，其中該等膠片顆粒參數用於在該至少兩個區域之該第一區域內以該區域光柵掃描順序應用膠片顆粒；及產生(s1106)一位元串流，其中該位元串流包括編碼該區域資訊之一或多個語法元素及編碼該等膠片顆粒參數之一或多個語法元素。
  30. 如請求項29之方法，其中一區域係該圖像之一子圖像或一圖塊之一者。
  31. 如請求項29至30中任一項之方法，其中一區域係一矩形區域。
  32. 如請求項29至30中任一項之方法，其中該區域資訊進一步包括該至少兩個區域之一第二區域之一第二區域光柵掃描順序，且其中將在該至少兩個區域之該第二區域內以該第二區域光柵掃描順序應用膠片顆粒。
  33. 如請求項29至30中任一項之方法，其中該區域光柵掃描順序包括該第一區域中之複數個區塊之一基於區塊之光柵掃描順序。
  34. 如請求項29至30中任一項之方法，其中該區域光柵掃描順序包括：(i)該第一區域中之複數個區塊之一基於區塊之光柵掃描順序，及(ii)該第一區域中之該複數個區塊之各區塊內之一各自光柵掃描順序。
  35. 如請求項29至30中任一項之方法，其進一步包括：獲得一第一模式值，其中該第一模式值等於一第一值或一第二值，其中該第一值指示使用該圖像中之該至少兩個區域之各區域之一各自區域光柵掃描順序個別地應用膠片顆粒處理各區域，且其中該第二值指示使用該圖像之一光柵掃描順序整體地將膠片顆粒應用於該圖像中之該至少兩個區域之各區域；及產生一位元串流，其中該位元串流包括編碼該第一模式值之一或多個語法元素。
  36. 如請求項29至30中任一項之方法，其進一步包括：從該位元串流中之語法元素獲得該至少兩個區域之各區域之一區域模式值，其中該區域模式值等於一第一值或一第二值，其中該第一值指示將一膠片顆粒解塊濾波器應用於除相鄰區域之間之區塊邊緣之外之一區域內之各區塊邊緣，且其中該第二值指示將一膠片顆粒解塊濾波器應用於包含相鄰區域之間之區塊邊緣之一區域內之各區塊邊緣；及產生一位元串流，其中該位元串流包括編碼該區域模式值之一或多個語法元素。
  37. 如請求項36之方法，其進一步包括： 獲得該至少兩個區域之各區域之一區域識別符；及產生一位元串流，其中該位元串流包括編碼該至少兩個區域之各區域之該區域識別符之一或多個語法元素。
  38. 一種電腦程式(1043)，其包括當由處理電路(1002)執行時導致該處理電路(1002)執行如請求項1至37中任一項之方法之指令(1044)。
  39. 一種載體，其含有如請求項38之電腦程式，其中該載體係一電子信號、一光學信號、一無線電信號及一電腦可讀儲存媒體(1042)之一者。
  40. 一種運算設備(1000)，該設備經調適以執行如請求項1至37中任一項之方法。
  41. 一種運算設備(1000)，該設備包括：記憶體(1042)；及處理電路(1002)，其中該設備經組態以執行如請求項1至37中任一項之方法。
TW111123804A 2021-06-29 2022-06-27 應用膠片顆粒、提取及合併位元串流之方法、由編碼器執行之方法、及相關電腦程式、含有該程式之載體、及運算設備 TWI856336B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163216262P 2021-06-29 2021-06-29
US63/216,262 2021-06-29

Publications (2)

Publication Number Publication Date
TW202310626A TW202310626A (zh) 2023-03-01
TWI856336B true TWI856336B (zh) 2024-09-21

Family

ID=82358542

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111123804A TWI856336B (zh) 2021-06-29 2022-06-27 應用膠片顆粒、提取及合併位元串流之方法、由編碼器執行之方法、及相關電腦程式、含有該程式之載體、及運算設備

Country Status (4)

Country Link
US (1) US20240205439A1 (zh)
EP (1) EP4364423A1 (zh)
TW (1) TWI856336B (zh)
WO (1) WO2023274688A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025514754A (ja) * 2022-04-18 2025-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション コーディングされたメディアのためのマルチソース方法及びシステム
US12464148B2 (en) 2023-01-09 2025-11-04 Amazon Technologies, Inc. Computer-implemented multi-scale machine learning model for the enhancement of compressed video
US12375726B1 (en) * 2023-06-27 2025-07-29 Amazon Technologies, Inc. Computer-implemented method and apparatus for video coding using an implicit video frame output process
EP4492780A1 (en) * 2023-07-14 2025-01-15 Beijing YoJaJa Software Technology Development Co., Ltd. Video decoder guided region aware film grain synthesis
WO2025101112A1 (en) * 2023-11-10 2025-05-15 Telefonaktiebolaget Lm Ericsson (Publ) Subpicture grouping based on indication information.
CN120302066A (zh) * 2024-01-09 2025-07-11 中兴通讯股份有限公司 胶片颗粒区域处理方法、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021122367A1 (en) * 2019-12-19 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Film grain process

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8023567B2 (en) * 2004-11-24 2011-09-20 Thomson Licensing Film grain simulation technique for use in media playback devices
US9854270B2 (en) * 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
US10554981B2 (en) * 2016-05-10 2020-02-04 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
WO2019189340A1 (ja) * 2018-03-28 2019-10-03 パナソニックＩｐマネジメント株式会社 符号化装置、復号装置、符号化方法、および復号方法
KR20250073487A (ko) * 2019-01-02 2025-05-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 통합된 변환 타입 시그널링 및 변환 타입 종속 변환 계수 레벨 코딩

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021122367A1 (en) * 2019-12-19 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Film grain process

Also Published As

Publication number Publication date
US20240205439A1 (en) 2024-06-20
TW202310626A (zh) 2023-03-01
EP4364423A1 (en) 2024-05-08
WO2023274688A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
TWI856336B (zh) 應用膠片顆粒、提取及合併位元串流之方法、由編碼器執行之方法、及相關電腦程式、含有該程式之載體、及運算設備
CN115136605B (zh) 用于视频编码和解码的高级句法
CN115362683B (zh) 用于视频编码和解码的方法、解码器、编码器、计算机程序产品和计算机可读存储介质
CN115280785B (zh) 用于视频编码和解码的高级句法
CN115315949B (zh) 用于编码和解码视频数据的方法和装置、计算机可读存储介质和计算机程序产品
CN115244935B (zh) 用于编码和解码视频数据的方法和装置、计算机可读存储介质和计算机程序产品
US20240292003A1 (en) Applying an overlay process to a picture
CN120547329A (zh) 对图像数据进行编码和解码的方法和装置、计算机可读介质和计算机程序产品
CN115380531B (zh) 用于视频编码和解码的高级句法
HK40082899A (zh) 用於视频编码和解码的高级句法
HK40121677A (zh) 解码位流的方法、将视频数据编码到位流中的方法、解码器、编码器和存储介质
HK40121686A (zh) 解码位流的方法、将视频数据编码到位流中的方法、解码器、编码器和存储介质
HK40121676A (zh) 解码位流的方法、将视频数据编码到位流中的方法、解码器、编码器和存储介质
HK40083686A (zh) 用於视频编码和解码的方法、解码器、编码器、计算机程序産品和计算机可读存储介质
HK40083687A (zh) 用於视频编码和解码的高级句法
HK40081731B (zh) 用於视频编码和解码的高级句法
HK40081731A (zh) 用於视频编码和解码的高级句法
HK40084682A (zh) 用於编码和解码视频数据的方法和装置、计算机可读存储介质和计算机程序産品