TW201729594A - 用於高動態範圍及廣色域視訊寫碼之補充增強資訊(sei)訊息 - Google Patents
用於高動態範圍及廣色域視訊寫碼之補充增強資訊(sei)訊息 Download PDFInfo
- Publication number
- TW201729594A TW201729594A TW105130371A TW105130371A TW201729594A TW 201729594 A TW201729594 A TW 201729594A TW 105130371 A TW105130371 A TW 105130371A TW 105130371 A TW105130371 A TW 105130371A TW 201729594 A TW201729594 A TW 201729594A
- Authority
- TW
- Taiwan
- Prior art keywords
- value
- component
- partitions
- video
- dynamic range
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明係關於處理視訊資料,包括處理藉由一HDR/WCG色彩表示來表示的視訊資料。根據本發明之一或多個態樣,一或多個補充增強資訊(SEI)訊息可用以發信語法元素及或其他資訊,其允許一視訊解碼器或視訊後處理器件逆轉本發明之動態範圍調整(DRA)技術,以重建構該視訊資料之原始或原生色彩表示。動態範圍調整(DRA)參數可根據本發明之一或多個態樣而應用於視訊資料以便更好地使用一HDR/WCG色彩表示,且可包括將全域偏移值以及區域比例值及偏移值用於色彩成分值之分割區。
Description
本發明係關於視訊處理。
數位視訊能力可併入至廣泛範圍之器件中,該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放機、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術,諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)、ITU-T H.265高效率視訊寫碼(HEVC)所定義之標準及此等標準之擴展中所描述的彼等技術。視訊器件可藉由實施此等視訊寫碼技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除為視訊序列所固有的冗餘。對於基於區塊之視訊寫碼,可將視訊圖塊(例如,視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框,且參考圖像可被稱作參考圖框。 空間或時間預測產生用於待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼經框內寫碼區塊。為進行進一步壓縮,可將殘餘資料自像素域變換至變換域,從而產生可隨後進行量化之殘餘變換係數。最初配置成二維陣列的經量化變換係數可經掃描以便產生變換係數的一維向量,且可應用熵寫碼以達成甚至更多壓縮。 可由色域來定義可以擷取、寫碼及顯示之色值之總數目。色域指器件可擷取(例如,攝影機)或再現(例如,顯示器)之色彩之範圍。常常,色域在器件之間係不同的。針對視訊寫碼,可使用視訊資料之預定義色域,以使得視訊寫碼程序中之每一器件可經組態以在同一色域中處理像素值。某些色域係用比傳統上已用於視訊寫碼之色域大的色彩範圍進行定義。具有較大色彩範圍之此等色域可被稱作廣色域(WCG)。 視訊資料之另一態樣係動態範圍。動態範圍通常經界定為視訊信號之最大亮度與最小亮度(例如,明度)之間的比。認為過去所使用的常用視訊資料之動態範圍具有標準動態範圍(SDR)。視訊資料之其他實例規範定義具有較大的最大亮度與最小亮度之比的色彩資料。此視訊資料可描述為具有高動態範圍(HDR)。
本發明係關於處理視訊資料,包括處理由HDR/WCG色彩表示來表示的視訊資料。根據本發明之一或多個態樣,一或多個補充增強資訊(SEI)訊息可用以發信語法元素及或其他資訊,其允許視訊解碼器或視訊後處理器件逆轉本發明之動態範圍調整(DRA)技術,以重建構視訊資料之原始或原生色彩表示。動態範圍調整(DRA)參數可根據本發明之一或多個態樣而應用於視訊資料以便更好地使用HDR/WCG色彩表示,且可包括將全域偏移值以及區域比例值及偏移值用於色彩成分值之分割區。 在本發明之一個實例中,一種解碼已藉由執行一動態範圍調整進行調整之視訊資料之方法包含:接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之複數個分割區中之每一者的一全域偏移值;及根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值。 在本發明之另一實例中,一種編碼視訊資料之方法包含對該視訊資料執行一動態範圍調整以自該視訊資料產生調整後成分值,及在一經編碼視訊位元串流中產生至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之複數個分割區中之每一者的一全域偏移值。 在本發明之另一實例中,一種經組態以解碼已藉由執行一動態範圍調整進行調整之視訊資料之裝置包含:一記憶體,其經組態以儲存該視訊資料;及經組態以進行以下操作之一或多個處理器:接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之複數個分割區中之每一者的一全域偏移值;及根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值。 在本發明之另一實例中,一種經組態以解碼已藉由執行一動態範圍調整進行調整之視訊資料之裝置包含:用於接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息的構件,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之複數個分割區中之每一者的一全域偏移值;及用於根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值的構件。 在本發明之另一實例中,一種用於解碼已藉由執行一動態範圍調整進行調整之視訊資料之電腦程式產品包含儲存有指令之一電腦可讀媒體。在執行時,該等指令使一處理器進行以下操作:接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之複數個分割區中之每一者的一全域偏移值;及根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值。 在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
本申請案主張2015年9月21日申請之美國臨時申請案第62/221,586號及2015年10月2日申請之美國臨時申請案第62/236,804號的權利,該兩個美國臨時申請案之全部內容特此以引用之方式併入。 本發明係關於對具有高動態範圍(HDR)及廣色域(WCG)表示之視訊資料的處理及/或寫碼。更具體言之,本發明之技術包括應用於某些色彩空間中之視訊資料以實現HDR及WCG視訊資料之更有效壓縮的發信及相關操作。根據本發明之一或多個態樣,與此等操作相關之參數可經由一或多個SEI訊息進行發信。本文中所描述之技術及器件可改良用於寫碼視訊資料(包括HDR及WCG視訊資料)的混合式視訊寫碼系統(例如,H.265/HEVC、H.264/AVC等)之壓縮效率。 包括混合式視訊寫碼標準的視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦被稱作ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)的視訊寫碼聯合合作小組(JCT-VC)完成新的視訊寫碼標準(亦即,高效率視訊寫碼(HEVC,亦稱作H.265))之設計。Bross等人的被稱作HEVC工作草案10 (WD10)之HEVC草案規範「High efficiency video coding (HEVC) text specification draft 10 (for FDIS & Last Call)」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11的關於視訊寫碼之聯合合作小組(JCT-VC),第12次會議:瑞士日內瓦,2013年1月14日至23日,JCTVC-L1003v34)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得。定案之HEVC標準被稱作HEVC版本1。 Wang等人之瑕疵報告「High efficiency video coding (HEVC) Defect Report」(ITU-T SG16 WP3與ISO/IEC JTC1/SC29/WG11的關於視訊寫碼之聯合合作小組(JCT-VC),第14次會議:奧地利維也納,2013年7月25日至8月2日,JCTVC-N1003v1)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip獲得。定案之HEVC標準文件在2013年4月公佈為「ITU-T H.265, Series H: Audiovisual and Multimedia Systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding, Telecommunication Standardization Sector of International Telecommunication Union (ITU)」,且定案在HEVC標準之另一版本係在2014年10月公佈。H.265/HEVC規範文本之複本可自http://www.itu.int/rec/T-REC-H.265-201504-I/en下載。 圖1為說明可利用本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示,系統10包括源器件12,其提供稍後時間將由目的地裝置14解碼的經編碼視訊資料。詳言之,源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者,包括桌上型電腦、筆記型(即,膝上型)電腦、平板電腦、機上盒、電話手持機(諸如所謂的「智慧型」電話)、所謂的「智慧型」平板、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些情況下,可裝備源器件12及目的地器件14以用於無線通信。 目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中,電腦可讀媒體16可包含使得源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。經編碼視訊資料可根據通信標準(諸如有線或無線通信協定)進行調變,且傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體,諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如,區域網路、廣域網路或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14之通信的任何其他設備。 在其他實例中,電腦可讀媒體16可包括非暫時性儲存媒體,諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中,網路伺服器(未圖示)可自源器件12接收經編碼視訊資料,且例如經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地,媒體生產設施(諸如,光碟衝壓設施)之計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此,在各種實例中,可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒體。 在一些實例中,經編碼資料可自輸出介面22輸出至儲存器件。類似地,經編碼資料可由輸入介面自儲存器件存取。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者,諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適的數位儲存媒體。在另一實例中,儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如,用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸或其一組合。 本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼,諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如,經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中,系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在圖1之實例中,源器件12包括視訊源18、視訊預處理器19、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊後處理器31、視訊解碼器30及顯示器件32。根據本發明,源器件12之視訊預處理器19可經組態以實施本發明之技術,包括應用於特定色彩空間中之視訊資料以實現HDR及WCG視訊資料之更高效壓縮的發信及相關操作。在一些實例中,視訊預處理器19可與視訊編碼器20分離。在其他實例中,視訊預處理器19可為視訊編碼器20之部分。在其他實例中,源器件及目的地器件可包括其他組件或配置。舉例而言,源器件12可自外部視訊源18(諸如外部攝影機)接收視訊資料。同樣地,目的地器件14可與外部顯示器件介接,而非包括整合式顯示器件。 圖1之所說明系統10僅為一個實例。用於處理HDR及WCG視訊資料之技術可由任何數位視訊編碼及/或視訊解碼器件來執行。此外,本發明之技術亦可由視訊預處理器及/或視訊後處理器來執行。視訊預處理器可為經組態以在編碼(例如,在HEVC編碼)之前對視訊資料進行處理的任何器件。視訊後處理器可為經組態以在解碼(例如,在HEVC解碼)之後對視訊資料進行處理的任何器件。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料以供傳輸至目的地器件14的此等寫碼器件之實例。在一些實例中,器件12、14可以實質上對稱之方式操作,以使得器件12、14中之每一者包括視訊編碼及解碼組件,以及視訊預處理器及視訊後處理器(例如,分別為視訊預處理器19及視訊後處理器31)。因此,系統10可支援視訊器件12、14之間的單向或雙向視訊傳輸,(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。 源器件12之視訊源18可包括視訊擷取器件,諸如視訊攝影機、含有先前擷取之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代,視訊源18可產生基於電腦圖形之資料以作為源視訊,或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下,若視訊源18為視訊攝影機,則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而,如上文所提及,本發明中所描述之技術可適用於視訊寫碼及視訊處理,一般而言,且可應用於無線及/或有線應用。在每一情況下,可由視訊編碼器20編碼所擷取、預先擷取或電腦產生之視訊。可接著藉由輸出介面22將經編碼視訊資訊輸出至電腦可讀媒體16上。 目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊(其亦由視訊解碼器30使用),該語法資訊包括描述區塊及其他經寫碼單元(例如,圖像群組(GOP))之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料,且可包含多種顯示器件中之任一者,諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。 視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器電路中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中,編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器(CODEC))的部分。 視訊預處理器19及視訊後處理器31可各自實施為多種合適之編碼器電路中之任一者,諸如一或多個微處理器、DSP、ASIC、FPGA、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行該等指令以執行本發明之技術。 在一些實例中,視訊編碼器20及視訊解碼器30根據諸如以下各者之視訊壓縮標準而操作:ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱為ISO/IEC MPEG-4 AVC),包括其可調式視訊寫碼(SVC)擴展、多視圖視訊寫碼(MVC)擴展及基於MVC之三維視訊(3DV)擴展。在一些情況下,遵守基於MVC之3DV的任何位元串流始終含有與MVC設定檔(例如,立體聲高設定檔)一致之子位元串流。此外,存在持續努力以產生H.264/AVC之3DV寫碼擴展,即基於AVC之3DV。視訊寫碼標準之其他實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264、ISO/IEC Visual。在其他實例中,視訊編碼器20及視訊解碼器30可經組態以根據HEVC標準而操作。 根據本發明之一或多個態樣,一或多個SEI訊息可發信由視訊預處理器19產生之一或多個參數。如下文將更詳細地解釋,在一些實例中,視訊預處理器19及視訊後處理器31可經組態以:接收與包含一第一色彩容器之一第一 色彩表示相關之視訊資料,該第一色彩容器係由一第一色域或一第一集合或原色及一第一色彩空間界定;導出一或多個動態範圍調整參數,該等動態範圍調整參數係基於該視訊資料之特性;且根據該一或多個動態範圍調整參數對該視訊資料執行一動態範圍調整。視訊編碼器20可基於自視訊預處理器19接收之一或多個參數而發信一或多個SEI訊息。視訊解碼器30可接收且解碼該一或多個SEI訊息,且將該等參數傳遞至視訊後處理器31。 視訊預處理器19及視訊後處理器31可各自被實施為多種合適之編碼器電路中之任一者,諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分以軟體實施時,器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中,且在硬體中使用一或多個處理器執行該等指令以執行本發明之技術。如上文所論述,視訊預處理器19及視訊後處理器31可分別地為與視訊編碼器20及視訊解碼器30分離之器件。在其他實例中,視訊預處理器19可與視訊編碼器20整合於單一器件中,且視訊後處理器31可與視訊解碼器30整合於單一器件中。 在HEVC及其他視訊寫碼標準中,視訊序列通常包括一系列圖像。圖像亦可被稱作「圖框」。圖像可包括三個樣本陣列,指示為SL
、SCb
及SCr
。SL
為明度樣本之二維陣列(即,區塊)。SCb
係Cb色訊樣本之二維陣列。SCr
為Cr色訊樣本之二維陣列。色訊樣本在本文中亦可被稱作「色度(chroma)」樣本。在其他情況下,圖像可為單色的,且可僅包括明度樣本之陣列。 視訊編碼器20可產生一組寫碼樹單元(CTU)。CTU中之每一者可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應的寫碼樹型區塊,及用以對寫碼樹型區塊之樣本寫碼的語法結構。在單色圖像或具有三個單獨色平面之圖像中,CTU可包含單一寫碼樹型區塊及用以對寫碼樹型區塊之樣本寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。HEVC之CTU可廣泛地類似於諸如H.264/AVC之其他視訊寫碼標準的巨集區塊。然而,CTU未必限於特定大小,且可包括一或多個寫碼單元(CU)。圖塊可包括在光柵掃描中連續排序之整數數目個CTU。 本發明可使用術語「視訊單元」或「視訊區塊」以指代樣本之一或多個區塊,及用以對樣本之一或多個區塊之樣本寫碼的語法結構。視訊單元之實例類型可包括HEVC中之CTU、CU、PU、變換單元(TU),或其他視訊寫碼標準中之巨集區塊、巨集區塊分割區等。 為產生經寫碼CTU,視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割,以將寫碼樹型區塊劃分成寫碼區塊,之後命名為「寫碼樹單元」。寫碼區塊為樣本之NxN區塊。CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊及色度樣本之兩個對應的寫碼區塊,及用以對寫碼區塊之樣本寫碼的語法結構。在單色圖像或具有三個單獨色平面之圖像中,CU可包含單一寫碼區塊及用以對寫碼區塊之樣本寫碼的語法結構。 視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊可為經應用相同預測之樣本的矩形(亦即,正方形或非正方形)區塊。CU之預測單元(PU)可包含圖像之明度樣本的預測區塊、色度樣本之兩個對應預測區塊及用於預測預測區塊樣本之語法結構。在單色圖像或具有三個單獨色平面之圖像中,PU可包含單一預測區塊,及用以對預測區塊樣本進行預測之語法結構。視訊編碼器20可針對CU之每一PU的明度、Cb及Cr預測區塊產生預測性明度、Cb及Cr區塊。 視訊編碼器20可使用框內預測或框間預測以產生PU之預測性區塊。若視訊編碼器20使用框內預測產生PU之預測性區塊,則視訊編碼器20可基於與PU相關聯之圖像的經解碼樣本產生PU之預測性區塊。 若視訊編碼器20使用框間預測以產生PU之預測性區塊,則視訊編碼器20可基於不同於與PU相關聯之圖像的一或多個圖像之經解碼樣本,產生PU之預測性區塊。框間預測可為單向框間預測(亦即,單向預測)或雙向框間預測(亦即,雙向預測)。為執行單向預測或雙向預測,視訊編碼器20可產生當前片段之第一參考圖像清單(RefPicList0)及第二參考圖像清單(RefPicList1)。 參考圖像清單中之每一者可包括一或多個參考圖像。當使用單向預測時,視訊編碼器20可搜尋RefPicList0及RefPicList1中之任一者或兩者中的參考圖像,以判定參考圖像內之參考位置。此外,當使用單向預測時,視訊編碼器20可至少部分基於對應於參考位置之樣本而產生PU之預測性樣本區塊。此外,當使用單向預測時,視訊編碼器20可產生指示PU之預測區塊與參考位置之間的空間移位之單一運動向量。為了指示PU之預測區塊與參考位置之間的空間移位,運動向量可包括指定PU之預測區塊與參考位置之間的水平移位之水平成分切可包括指定PU之預測區塊與參考位置之間的垂直移位之垂直成分。 當使用雙向預測編碼PU時,視訊編碼器20可判定RefPicList0中之參考圖像中的第一參考位置,及RefPicList1中之參考圖像中的第二參考位置。視訊編碼器20可接著至少部分基於對應於第一及第二參考位置之樣本產生PU之預測性區塊。此外,當使用雙向預測編碼PU時,視訊編碼器20可產生指示PU之樣本區塊與第一參考位置之間的空間位移之第一運動,及指示PU之預測區塊與第二參考位置之間的空間位移之第二運動。 在視訊編碼器20產生CU之一或多個PU的預測性明度區塊、Cb區塊及Cr區塊之後,視訊編碼器20可產生CU之明度殘餘區塊。CU之明度殘餘區塊中的每一樣本指示CU之預測性明度區塊中之一者中的明度樣本與CU之原始明度寫碼區塊中的對應樣本之間的差異。此外,視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中的每一樣本可指示CU之預測性Cb區塊中之中一者中的Cb樣本與CU之原始Cb寫碼區塊中的對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr剩餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。 此外,視訊編碼器20可使用四分樹分割將CU之明度、Cb及Cr殘餘區塊分解成一或多個明度、Cb及Cr變換區塊。變換區塊可為經應用相同變換的樣本之矩形區塊。CU之變換單元(TU)可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊及用於對變換區塊樣本進行變換之語法結構。在單色圖像或具有三個單獨色平面之圖像中,TU可包含單一變換區塊,及用以對變換區塊樣本進行變換之語法結構。因此,CU之每一TU可與明度變換區塊、Cb變換區塊及Cr變換區塊相關聯。與TU相關聯之明度變換區塊可為CU之明度殘餘區塊之子區塊。Cb變換區塊可為CU之殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊之子區塊。 視訊編碼器20可將一或多個變換應用於TU之明度變換區塊,以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用至TU之Cr變換區塊以產生用於TU之Cr係數區塊。 在產生係數區塊((例如,明度係數區塊、Cb係數區塊或Cr係數區塊)之後,視訊編碼器20可量化該係數區塊。量化通常指變換係數經量化以可能減少用以表示變換係數的資料之量從而提供進一步壓縮之過程。此外,視訊編碼器20可反量化變換係數,並將反變換應用至變換係數,以便重建構圖像之CU的TU之變換區塊。視訊編碼器20可使用CU之TU的經重建構變換區塊,及CU之PU的預測性區塊,以重建構CU之寫碼區塊。藉由重建構圖像之每一CU的寫碼區塊,視訊編碼器20可重建構圖像。視訊編碼器20可將經重建構圖像儲存於經解碼圖像緩衝器(DPB)中。視訊編碼器20可將DPB中之經重建構之圖像用於進行框間預測及框內預測。 在視訊編碼器20量化係數區塊之後,視訊編碼器20可熵編碼指示經量化變換係數之語法元素。舉例而言,視訊編碼器20可對指示經量化變換係數之語法元素執行上下文自適應性二進位算術寫碼(CABAC)。視訊編碼器20可在位元串流中輸出經熵編碼之語法元素。 視訊編碼器20可輸出包括形成經寫碼圖像及相關聯資料之表示的位元序列之位元串流。位元串流可包含網路抽象層(NAL)單元的序列。該等NAL單元中之每一者包括NAL單元標頭且囊封原始位元組序列酬載(RBSP)。NAL單元標頭可包括指示NAL單元類型碼之語法元素。由NAL單元之NAL單元標頭指定的NAL單元類型碼指示單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下RBSP包括零個位元。 不同類型之NAL單元可封裝不同類型之RBSP。舉例而言,第一類型之NAL單元可封裝圖像參數集(PPS)之RBSP,第二類型之NAL單元可封裝經寫碼圖塊之RBSP,第三類型之NAL單元可封裝補充增強資訊(SEI)之RBSP等等。PPS為可含有適用於零或多個完整經寫碼圖像之語法元素的語法結構。囊封視訊寫碼資料之RBSP (與參數集及SEI訊息之RBSP相反)的NAL單元可被稱作視訊寫碼層(VCL) NAL單元。囊封經寫碼片段之NAL單元在本文中可被稱作經寫碼片段NAL單元。用於經寫碼圖塊之RBSP可包括圖塊標頭及圖塊資料。 視訊解碼器30可接收位元串流。此外,視訊解碼器30可剖析位元串流以自位元串流解碼語法元素。視訊解碼器30可至少部分基於自位元串流解碼之語法元素重建構視訊資料之圖像。重建構視訊資料之程序可大體上與由視訊編碼器20執行之程序互逆。舉例而言,視訊解碼器30可使用PU之運動向量,以判定當前CU之PU的預測性區塊。視訊解碼器30可使用PU之一或多個運動向量來產生PU之預測性區塊。 此外,視訊解碼器30可反量化與當前CU之TU相關聯的係數區塊。視訊解碼器30可對係數區塊執行反變換以重建構與當前CU之TU相關聯的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性樣本區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重構圖像之每一CU的寫碼區塊,視訊解碼器30可重構圖像。視訊解碼器30可將經解碼圖像儲存於經解碼圖像緩衝器中,以用於輸出及/或用於解碼其他圖像。 預期下一代視訊應用操作表示具有HDR及WCG之經擷取景物的視訊資料。所利用動態範圍及色域之參數為視訊內容之兩個獨立屬性,且出於數位電視及多媒體服務之目的,其規範由若干國際標準界定。舉例而言,ITU-R Rec. BT.709:“Parameter values for the HDTV standards for production and international programme exchange”及/或ITU-R Rec. BT.2020:“Parameter values for ultra-high definition television systems for production and international programme exchange,”分別定義用於高清晰度電視(HDTV)及超高清晰度電視(UHDTV)參數,諸如標準動態範圍(SDR)以擴展超出標準色域之色彩原色。Rec. BT.2100:“Image parameter values for high dynamic range television for use in production and international programme exchange”定義用於HDR電視用途之轉移函數及表示,包括支援廣色域表示之原色。亦存在其他標準開發組織(SDO)文獻,其指定其他系統中之動態範圍及色域屬性,例如DCI-P3色域界定於SMPTE-231-2(運動圖像及電視工程師協會)中且HDR之一些參數界定於STMPTE-2084中。以下提供視訊資料之動態範圍及色域的簡單描述。 動態範圍通常經界定為視訊信號之最大亮度與最小亮度(例如,明度)之間的比。亦可以「f光闌」為單位量測動態範圍,其中一個f光闌對應於信號動態範圍之加倍。在MPEG定義中,特徵化相對於多於16f光闌之亮度變化的內容被稱作HDR內容。在一些術語中,10f光闌與16f光闌之間的位準被視為中間動態範圍,但在其他定義中被視為HDR。在本發明之一些實例中,HDR視訊內容可為相較於傳統使用之具備標準動態範圍之視訊內容(例如,如藉由ITU-R Rec.BT.709指定之視訊內容)具有較高動態範圍的任何視訊內容。 人類視覺系統(HVS)能夠感知比SDR內容及HDR內容大很多的動態範圍。然而,HVS包括適應機構,其將HVS之動態範圍縮窄至所謂的同時範圍。同時範圍之寬度可取決於當前照明條件(例如,當前亮度)。由HDTV之SDR、UHDTV之預期HDR及HVS動態範圍提供之動態範圍之可視化展示於圖2中,但精確範圍可基於每一個人及顯示器而改變。 當前視訊應用及服務由ITU Rec.709調節,且提供SDR,從而通常支援約每m2 0.1至100燭光(cd)(常常被稱作「尼特」)之亮度(例如,明度)範圍,導致小於10 f光闌。預期一些實例下代視訊服務將提供達至16 f光闌之動態範圍。儘管用於此等內容之詳細規格目前正在研發,但一些初始參數已於SMPTE-2084及ITU-R Rec.2020中予以指定。 除HDR以外,更逼真視訊體驗之另一態樣係色彩維度。色彩維度通常由色域定義。圖3為展示SDR色域(基於BT.709色彩原色之三角形100)及用於UHDTV之較廣色域(基於BT.2020色彩原色之三角形102)的概念圖。圖3亦描繪所謂的光譜軌跡(由舌片形狀之區域104定界),從而表示天然色之界限。如圖3所說明,自BT.709 (三角形100)移動至BT.2020 (三角形102),色彩原色旨在提供具有約多於70%之色彩的UHDTV服務。D65指定用於BT.709及/或BT.2020規範之實例白色。 用於DCI-P3、BT.709及BT.2020色彩空間之色域規範之實例展示於表1中。表 1 - 色域參數
如表1中可以看出,色域可藉由白點之X及Y值及藉由原色(例如,紅色(R)、綠色(G)及藍色(B))之x及y值界定。x及y值表示根據色彩之色度(X及Z)及亮度(Y)導出之正規化值,如CIE 1931色彩空間所界定。CIE 1931色彩空間定義純色(例如,就波長而言)之間的連接及人眼如何感知此等色彩。 通常在每成分(甚至浮點)極高精度下(在4:4:4色度格式及極廣色彩空間(例如,CIE XYZ)之情況下)獲取及儲存HDR/WCG視訊資料。此表示以高精度為目標且在數學上幾乎無損。然而,用於儲存HDR/WCG視訊資料之此格式可包括大量冗餘且對於壓縮用途而言可能非最佳的。具有基於HVS之假定的較低精確度格式通常用於目前先進技術的視訊應用。 出於壓縮之目的,典型視訊資料格式轉換由三個主要元素構成,如圖4中所示。圖4之技術可例如由視訊預處理器17執行。該三個元素包括用於動態範圍壓縮以使得量化引起之錯誤在明度值範圍中在感知上(近似)均勻的非線性轉移函數(TF)、至更緊湊或穩固之色彩空間的色彩轉換及浮動至整數表示轉換(量化)。因此,使用用於動態範圍壓縮之非線性轉移函數(TF)來壓縮線性RGB資料。舉例而言,視訊預處理器17可包括轉移函數單元(TF)單元,其經組態以使用用於動態範圍壓縮以使得由量化引起之錯誤在明度值範圍中在感知上(近似)均勻的非線性轉移函數。經壓縮之資料接著經歷至更緊湊或穩固之色彩空間的色彩轉換程序(例如,經由色彩轉換單元)。接著使用浮動至整數表示轉換(例如,經由量化單元)將資料量化以產生可傳輸至視訊編碼器20之視訊資料(例如,HDR之資料)。 在圖5中描繪解碼器側之逆轉換。可由視訊後處理器33執行圖5之技術。舉例而言,視訊後處理器33可自視訊解碼器30接收視訊資料,對資料進行反量化(例如,經由反量化單元),執行反色彩轉換(例如,經由反色彩轉換單元),且執行反非線性轉移函數(例如,經由反TF單元)。此等元素之次序(例如,在圖4及圖5中)係作為一實例給出,且在現實世界應用中可改變。(例如,在圖4中,色彩轉換可先於TF模組(例如,TF單元),以及額外處理(例如,空間次取樣))可應用於色彩成分。 現將更詳細地論述圖4中所描繪之技術。一般而言,將轉移函數應用資料(例如,HDR/WCG視訊資料)以壓縮資料之動態範圍,以使得由量化引起之錯誤在明度值範圍中在感知上(近似)均勻。此壓縮允許用較少位元來表示資料。在一個實例中,轉移函數可為一維(1D)非線性函數且可反映最終使用者顯示器之電光轉移函數(EOTF)之逆,例如,如Rec. 709中針對SDR所指定。在另一實例中,轉移函數可近似對亮度變換之HVS感知,例如,SMPTE-2084中針對HDR所指定之PQ轉移函數。OETF之反向程序為EOTF(電光轉移函數),其將碼層級映射回至明度。圖6展示用作EOTF之非線性轉移函數之若干實例。該等轉移函數亦可單獨地應用於每一R、G及B成分。 在本發明之上下文中,術語「信號值」或「色值」可用以描述對應於影像元素之特定色彩成分(諸如,R、G、B或Y)之值的明度位準。信號值通常表示線性光階(明度值)。術語「碼層級」或「數位碼值」可指影像信號值之數位表示。通常,此數位表示表示非線性信號值。EOTF表示提供至顯示器件(例如,顯示器件32)之非線性信號值與由顯示器件產生之線性色值之間的關係。 RGB資料通常被用作輸入色彩空間,此係因為RGB係通常藉由影像擷取感測器產生之資料類型。然而,RGB色彩空間在其成分當中具有高冗餘且對於緊密表示而言並非最佳的。為達成更緊湊且更穩固之表示,RGB成分通常經轉換(例如,執行色彩變換)至更適合於壓縮之更不相關色彩空間(例如,YCbCr)。YCbCr色彩空間分離不同的相關較少成分中的呈明度(Y)形式之亮度及色彩資訊(CrCb)。在此上下文中,穩固表示可指在以受限位元速率進行壓縮時特徵為較高階錯誤彈性之色彩空間。 在色彩變換之後,仍然可以高位元深度(例如,浮點準確度)來表示目標色彩空間中之輸入資料。可例如使用量化程序將高位元深度資料轉換為目標位元深度。某些研究展示,10位元至12位元準確度結合PQ轉移足以提供具有低於恰可辨差異(JND)之失真的16f光闌之HDR資料。一般而言,JND係為了使差異可辨(例如,藉由HVS)而必須改變的某物(例如,視訊資料)之量。以10位元準確度表示之資料可進一步藉由大部分目前先進技術視訊寫碼解決方案進行寫碼。此量化為有損寫碼之元素且為引入至經轉換資料之不準確度的來源。 預期下一代HDR/WCG視訊應用將對以HDR及CG之不同參數擷取的視訊資料進行操作。不同組態之實例可為具有高達1000尼特或高達10,000尼特之峰值亮度的HDR視訊內容之擷取。不同色域之實例可包括BT.709、BT.2020以及SMPTE指定之P3或其他色域。 亦預期併有(或幾乎併有)所有其他當前使用之色域的單一色彩空間(例如,目標色彩表示)將在未來使用。此目標色彩表示之一個實例係BT.2020。支援單一目標色彩表示將顯著簡化HDR/WCG系統之標準化、實施及部署,此係因為操作點之減小數目(例如,色彩容器、色彩空間、色彩轉換演算法等之數目)及/或所需演算法之減小數目應由解碼器(例如,視訊解碼器30)支援。 在此系統之一個實例中,所擷取的具有不同於目標色彩表示(例如BT.2020)之天然色域(例如P3或BT.709)的內容可在處理之前(例如,在視訊編碼之前)轉換至目標容器。以下為此轉換之若干實例: 自BT.709至BT.2020色彩表示之RGB轉換: ○ R2020
= 0.627404078626 * R709
+ 0.329282097415 * G709
+ 0.043313797587 * B709
○ G2020
= 0.069097233123 * R709
+ 0.919541035593 * G709
+ 0.011361189924 * B709
○ B2020
= 0.016391587664 * R709
+ 0.088013255546 * G709
+ 0.895595009604 * B709
(方程式1) 自P3至BT.2020色彩表示之RGB轉換: ○ R2020
= 0.753832826496 * RP3
+ 0.198597635641 * GP3
+ 0.047569409186 * BP3
○ G2020
= 0.045744636411 * RP3
+ 0.941777687331 * GP3
+ 0.012478735611 * BP3
○ B2020
= -0.001210377285 * RP3
+ 0.017601107390 * GP3
+ 0.983608137835 * BP3
(方程式2) 在此轉換期間,由在P3或BT.709色域中擷取之信號之每一成分(R、G、B)佔用之值範圍在BT.2020表示中之可縮小。由於資料係以浮點準確度表示,因此無損失;然而,當與色彩轉換(例如,自RGB至YCrCB之轉換,在下文於方程式3中展示)及量化(下文方程式4中之實例)結合時,值範圍之收縮引起輸入資料的增加之量化錯誤。 Y'= 0.2627 * R' + 0.6780 * G' + 0.0593 * B';;(方程式3)(方程式4) 在方程式(4)中,DY '
係經量化的Y'成分,DCb
係經量化的Cb,且DCr
係經量化的Cr成分。項目<<表示逐位元右移。BitDepthY
、BitDepthCr
及BitDepthCb
分別為經量化成分之所要位元深度。 另外,在現實世界寫碼系統中,利用縮小之動態範圍對信號進行寫碼可導致經寫碼色度成分之準確度的顯著損失,且可由觀看者觀察為寫碼假影,例如,色彩失配及/或滲色。 圖7為視訊預處理器17可如何產生獨特位元序列的簡化概念說明,該等獨特位元序列表示用於色彩表示中之色彩成分之值範圍,其可不佔用色彩表示中之成分之完全值範圍,可轉譯成目標色彩之值範圍。展示出成分值之一維範圍,包括碼字之一維原生範圍910,及碼字之一維目標範圍920。為簡單起見,且出於說明的目的,假定圖7之實例中的碼字之原生範圍(對應於碼字範圍910)具有1024個碼字(例如,0至1023之範圍),且假定碼字之目標範圍(對應於碼字範圍920)具有更多數目個碼字,諸如2048個(例如,0至2047之範圍)。 圖7中說明了碼字之原生範圍910中之數個表示值910a,其中每一者可對應於碼字之原生範圍910中的以視訊資料之樣本表示之成分值。為簡單起見,在圖7之說明中,僅僅展示沿著碼字範圍910的幾個表示值910a,但該範圍中之更多值910a可存在於視訊資料之典型樣本中。類似地,僅僅展示了碼字範圍920中的在轉換至目標碼字範圍之後的對應成分值920a;在不同實例中,可表示碼字範圍920中之更多值920a。 在一些實例中,視訊預處理器可將碼字之原生範圍910中之未調整成分值910a轉換成碼字之目標範圍920之調整後值920a。出於說明的目的,可以圖7之簡化實例中所示的方式來說明此程序。舉例而言,若碼字之原生範圍中之明度值係由對應於圖7中之碼字之原生範圍的值之一維表示910表示,則明度值可具有碼字之原生範圍中的1024個可能值(0至1023),其中視訊資料之實際樣本包括明度值910a。類似地,若轉換至碼字之目標範圍的彼等相同明度值係由對應於碼字之目標範圍的值之碼字之一維表示920表示,則明度值可具有碼字之目標範圍中的2048個可能值(0至2047),其中視訊資料之樣本包括轉換之後的明度值920a。相應地,碼字範圍910中之表示值910a可經由轉換程序轉譯為碼字範圍920中之表示值920a,如圖7中所示。在每一情況下,碼字範圍910中之值910a及碼字範圍920中之值920a將各自由對應於範圍內的一個此值之二進位碼字表示。 一般而言,在圖7之簡化實例中,在色域轉換(及藉由轉移函數之動態範圍壓縮)之後,經轉換成分值不可使用目標色彩表示中之所有可用碼字。在圖7之實例中,碼字之目標範圍具有的明度碼字為碼字之原生範圍的兩倍。視碼字範圍910中之成分值之分佈而定,對碼字範圍910中之成分值所執行的轉換及量化程序在一些情況下可導致在轉換之後明顯小於碼字範圍920中之全部2048個碼字供明度值使用。換言之,轉換程序(諸如,圖7中所說明之轉換程序)可以使色值相對於在碼字範圍920中以其他方式可獲得之數個目標碼字低效地分佈,且結果,可能未高效地使用所有可能碼字。相應地,轉換及量化程序可導致相當大的準確度損失。此準確度損失對所得視訊可能有不當影響,包括寫碼假影、色彩失配及/或滲色。 為解決上述問題,可考慮其他技術。一個實例技術包括色域感知型視訊編解碼器。在此技術中,假想視訊編碼器經組態以估計輸入信號之天然色域且調整寫碼參數(例如,用於經寫碼色度成分之量化參數),以減少由減小之動態範圍產生的任何失真。然而,此技術將不能夠恢復可歸因於以上方程式(4)中所進行之量化而發生之準確度損失,此係因為所有輸入資料係以整數點準確度提供至典型編碼解碼器。 本發明描述用以執行動態範圍調整(DRA)以補償引入至HDR信號表示之動態範圍變化的技術、方法及裝置。動態範圍調整可幫助阻止及/或減輕所引起之任何失真,包括色彩失配、滲色等。在本發明之一或多個實例中,在編碼器側之量化(例如,藉由源器件12)之前及在解碼器側之反量化(例如,藉由目的地器件14)之後,對目標色彩空間(例如,YCbCr)之每一色彩成分之值進行DRA。考慮到前述內容,本發明提出經由一或多個SEI訊息發信與執行此動態範圍調整相關之參數,此等參數包括與比例及偏移、分割、全域偏移及區域比例及偏移相關之資訊。 圖8為說明根據本發明之技術操作之實例HDR/WCG轉換裝置的方塊圖。在圖8中,實線指定資料流且虛線指定控制信號。本發明中所描述之一或多個技術可由源器件12之視訊預處理器19執行。如上文所論述,視訊預處理器19可為與視訊編碼器20分離之器件。在其他實例中,視訊預處理器19可與視訊編碼器20併入至同一個器件中。 如圖8所示,RGB原生CG視訊資料200經輸入至視訊預處理器19。在藉由視訊預處理器19進行之視訊預處理之情況下,RGB原生CG視訊資料200係由輸入色彩表示定義。輸入色彩容器指定用以表示視訊資料200之一組色彩原色(例如,BT.709、BT.2020、P3等)。在本發明之一個實例中,視訊預處理器19可經組態以將RGB原生CG視訊資料200之色彩容器及色彩空間兩者轉換至HDR之資料216之目標色彩容器及目標色彩空間。與輸入色彩容器相同,目標色彩容器可指定用以表示HDR之資料216之一組或色彩原色。在本發明之一個實例中,RGB原生CG視訊資料200可為HDR/WCG視訊,且可具有BT.2020或P3色彩容器(或任何WCG),且可在RGB色彩空間中。在另一實例中,RGB原生CG視訊資料200可為SDR視訊,且可具有BT.709色彩容器。在一個實例中,HDR之資料216之目標色彩容器可能已針對HDR/WCG視訊經組態(例如,BT.2020色彩容器)且可使用對於視訊編碼更為最佳之色彩空間(例如,YCrCb)。 在本發明之一個實例中,CG轉換器202可經組態以將RGB原生CG視訊資料200之色彩容器自輸入色彩容器(例如,第一色彩容器)轉換至目標色彩容器(例如,第二色彩容器)。作為一個實例,CG轉換器202可將RGB原生CG視訊資料200自BT.709色彩表示轉換至BT.2020色彩表示(其實例於下文展示)。 將RGB BT.709樣本(R709
, G709
, B709
)轉換至RGB BT.2020樣本(R2020
, G2020
, B2020
)之程序可用兩步轉換來實施,該兩步轉換涉及首先轉換至XYZ表示,繼而使用適當轉換矩陣進行自XYZ至RGB BT.2020之轉換。 X = 0.412391 * R709
+ 0.357584 * G709
+ 0.180481 * B709
Y = 0.212639 * R709
+ 0.715169 * G709
+ 0.072192 * B709
(方程式5) Z = 0.019331 * R709
+ 0.119195 * G709
+ 0.950532 * B709
自XYZ至R2020
G2020
B2020
(BT.2020)之轉換 R2020
= clipRGB( 1.716651 * X - 0.355671 * Y - 0.253366 * Z ) G2020
= clipRGB( -0.666684 * X + 1.616481 * Y + 0.015768 * Z ) (方程式6) B2020
= clipRGB( 0.017640 * X - 0.042771 * Y + 0.942103 * Z ) 類似地,單一步驟且建議之方法如下: R2020
= clipRGB( 0.627404078626 * R709
+ 0.329282097415 * G709
+ 0.043313797587 * B709
) G2020 = clipRGB( 0.069097233123 * R709 + 0.919541035593 * G709 + 0.011361189924 * B709 ) B2020
= clipRGB( 0.016391587664 * R709
+ 0.088013255546 * G709
+ 0.895595009604 * B709
) (方程式7) CG轉換之後的所得視訊資料在圖8中展示為RGB目標CG視訊資料204。在本發明之其他實例中,輸入資料及輸出HDR之資料之色彩容器可相同。在此實例中,CG轉換器202不必對RGB原生CG視訊資料200執行任何轉換。 接下來,轉移函數單元206壓縮RGB目標CG視訊資料204之動態範圍。轉移函數單元206可經組態以應用轉移函數以壓縮動態範圍,其方式與上文參看圖4所述的相同。色彩轉換單元208將RGB目標CG色彩資料204自輸入色彩容器之色彩空間(例如,RGB)轉換至目標色彩容器之色彩空間(例如,YCrCb)。如上文參看圖4所解釋,色彩轉換單元208將經壓縮資料轉換至更緊密或穩固之色彩空間(例如,YUV或YCrCb色彩空間)中,該色彩空間更適合於由混合式視訊編碼器(例如,視訊編碼器20)進行之壓縮。 調整單元210經組態以根據藉由DRA參數估計單元212導出之DRA參數來執行經色彩轉換之視訊資料之動態範圍調整(DRA)。一般而言,在藉由CG轉換器202進行之CG轉換及藉由轉移函數單元206進行之動態範圍壓縮之後,所得視訊資料之實際色值可能不會使用特定目標色彩表示之分配的所有可獲得碼字(例如,表示每一色彩之獨特位元序列)。亦即,在某些情況下,RGB原生CG視訊資料200自輸入色彩表示至輸出色彩表示之轉換可將視訊資料之色值(例如,Cr及Cb)過度壓縮,以使得所得經壓縮視訊資料並不高效地使用所有可能色值。如上文所解釋,利用色彩之縮小動態範圍對信號進行寫碼可導致經寫碼色度成分之準確度的顯著損失,且可由觀看者觀察為寫碼假影,例如,色彩失配及/或滲色。 調整單元210可經組態以將DRA參數應用於視訊資料(例如,動態範圍壓縮及色彩轉換之後的RGB目標CG視訊資料204)之色彩成分(例如,YCrCb),以充分利用可用於特定目標色彩表示之碼字。調整單元210可在像素層級將DRA參數應用於視訊資料。一般而言,DRA參數定義將用以表示實際視訊資料之碼字擴展至儘可能多的可用於目標色彩表示之碼字的功能。如下文進一步所描述,用於擴展用以表示實際視訊之碼字之程序可包括分割碼字範圍,及將比例及偏移應用於每一此分割區。 在本發明之一個實例中,該等DRA參數包括應用於視訊資料之成分的比例值及偏移值。一般而言,視訊資料之色彩成分之值範圍愈低,可使用的縮放因數愈大。偏移參數可用以使色彩成分之值以用於目標色彩表示之可用碼字之中心為中心。舉例而言,若目標色彩表示每個色彩成分包括1024個碼字,則可選擇偏移值,以使得中心碼字移動至碼字512(例如,最中間之碼字)。在其他實例中,偏移參數可用以提供輸入碼字至輸出碼字之較佳映射,以使得目標色彩表示中之總體表示在對抗寫碼假影時更有效。 在一個實例中調整單元210如下所述地將DRA參數應用於目標色彩空間(例如,YCrCb)中之視訊資料: - Y'' = scale1 *Y' + offset1 - Cb'' = scale2 *Cb' + offset2 (方程式8) - Cr'' = scale3 *Cr' + offset3 其中信號成分Y'、Cb'及Cr'為由RGB至YCbCr轉換(方程式3中之實例)產生之信號。請注意,Y'、Cr'及Cr'亦可為由視訊解碼器30解碼之視訊信號。Y''、Cb''及Cr''為DRA參數已應用於每一色彩成分之後的視訊信號之色彩成分。如在以上實例中可見,每一色彩成分與不同的比例及偏移參數相關。舉例而言,scale1及offset1用於Y'成分,scale2及offset2用於Cb'成分,且scale3及offset3用於Cr'成分。應理解,此僅為實例。在其他實例中,相同的比例值及偏移值可用於每個色彩成分。 如在以上實例中可見,調整單元210可將動態範圍調整參數(諸如比例及偏移DRA參數)應用作為線性函數。因而,調整單元210並非必需在藉由色彩轉換單元208進行之色彩轉換之後在目標色彩空間中應用DRA參數。此係因為色彩轉換本身係線性程序。因而,在其他實例中,調整單元210可在任何色彩轉換程序之前將DRA參數應用於原生色彩空間(例如,RGB)中之視訊資料。在此實例中,色彩轉換單元208將在調整單元210應用DRA參數之後應用色彩轉換。 在其他實例中,且如下文關於圖9A至圖9C進一步描述,每一色彩成分可與多個比例及偏移參數相關聯,且碼字範圍可劃分成多個分割區。舉例而言,Cr或Cb色彩成分之色度值之實際分佈對於不同部分之碼字可能不同,且在碼字範圍中可能不均勻。在此情形中(或在其他情形中),將碼字所述劃分成多個分割區且將比例及偏移應用於每一分割區可為有益的。一或多個全域偏移可應用於分割區中之一些或全部。 在一些實例中,調整單元210可如下所述地在目標色彩空間或原生色彩空間中應用DRA參數: - Y'' = (scale1 *(Y' - offsetY) + offset1) + offsetY; - Cb'' = scale2 *Cb' + offset2 (方程式9) - Cr'' = scale3 *Cr' + offset3 在此實例中,參數scale1、scale2、scale3、offset1、offset2及offset3具有如上所述之相同含義。參數offsetY為反映信號之亮度之參數,且可等於Y'之平均值。在其他實例中,類似於offset Y之偏移參數可應用於Cb'及Cr'成分,以更好地保留輸入表示及輸出表示中之中心值之映射。 在本發明之另一實例中,調整單元210可經組態以在除原始色彩空間或目標色彩空間以外之色彩空間中應用DRA參數。一般而言,調整單元210可經組態以如下所述地應用DRA參數: - X' = scale1 *(X - offset1) + offset2 + offset3; - Y' = scale2 *(Y -offset4) + offset5 + offset6 (方程式10) - Z' = scale3 *(Z - offset7) + offset8 + offset9 其中信號成分X、Y及Z為不同於目標色彩空間之色彩空間(例如,RGB或中間色彩空間)中之信號成分。值X、Y及Z可僅為變數或信號成分之參考,且不應與XYZ色彩空間混淆。 圖9A為表示碼字之原生範圍中之色彩成分之一系列值的獨特位元序列可如何根據本發明之一或多個態樣的藉由圖8之視訊預處理器19轉換成目標碼字範圍之一系列值的簡化概念說明。圖9A中展示出成分值之一維範圍,包括對應於碼字之原生範圍的碼字之一維原生範圍1210,及對應於碼字之目標範圍的碼字之一維目標範圍1220。以類似於結合圖7所描述之方式的方式,為簡單起見且出於說明的目的, 假定圖9A之實例中的碼字之原生範圍(對應於範圍1210)的成分值之範圍具有1024個碼字,且假定碼字之目標範圍(對應於範圍1220)的成分值之範圍具有2048個碼字。舉例而言,若碼字之一維原生範圍1210表示明度值,則在對應於碼字之原生範圍之碼字範圍1210中可存在1024個可能明度值。若碼字之一維目標範圍1220表示碼字之目標範圍中之明度值,則在對應於碼字之目標範圍的碼字之範圍1220中可存在2048個可能明度值。 圖9A中說明了碼字之原生範圍1210中之數個表示值1210a,其各自對應於視訊資料之樣本在碼字之原生範圍1210中所表示的成分值。為簡單起見,在圖9A之說明中僅僅展示碼字範圍1210中之若干表示值1210a,但碼字範圍1210中之更多成分值1210a可存在於視訊資料之典型樣本中。 在一些情況下,視訊資料之樣本之值1210a在碼字範圍1210上可非均勻地散佈,且可集中在碼字範圍1210內的相對少量區域中。儘管圖9A中之說明為簡化實例,但此非均勻表示在圖9A中仍然顯而易見,此係因為碼字範圍1210展示靠近碼字範圍1210之端部的數個成分值1210a,而大體上在範圍中間(即,169與702之間的碼字範圍)沒有值。 在一些實例中,在執行動態範圍調整以將碼字值範圍1210中之未調整成分值1210a有效率地映射至成分值範圍1220中之調整後成分值1220a時,視訊預處理器19可將全域偏移值應用於圖9A中之碼字值範圍1210。舉例而言,在圖9A中,視訊預處理器19可選擇碼字之未調整範圍1210中之第一全域偏移值119,其為碼字範圍1210中之成分值1210a中之一者。視訊預處理器19可選擇第二全域偏移值為0,在圖9A之實例中,第二全域偏移值為當執行動態範圍調整時第一全域偏移(119)映射至的碼字範圍1220中之調整後值。 在一些實例中,碼字範圍1210中可存在小於全域偏移值之未調整成分值。在圖9A中之碼字範圍1210中,存在一個此成分值1210a (具有值60)。在一些實例中,視訊預處理器19可忽略此值,特別在小於第一全域偏移之未調整成分值對經解碼視訊資料沒有顯著影響之情況下。在其他實例中,碼字範圍1210中小於第一全域偏移值(119)之任何成分值1210a可削減至第一全域偏移值(119),或換言之,視訊預處理器19可假定該值等於第一全域偏移值(119)。在此實例中,視訊預處理器19可在執行動態範圍調整之前修改未調整值60,使得該值在碼字範圍1210內具有未調整成分值119,而非具有未調整成分值60。 預處理器19可選擇適當比例值以結合全域偏移值使用。相應地,在圖9A之實例中,視訊預處理器19可使用此等動態範圍參數將碼字範圍1210中之未調整成分值1210a轉譯至碼字範圍1220中之值1220a。在一些實例中,可選擇此等動態範圍調整參數,使得當將值1210a轉換至碼字範圍1220時,碼字範圍1220中之可用碼字以高效率方式使用。舉例而言,視訊預處理器19可基於如下假設來計算線性比例值:動態範圍調整將第一全域偏移(未調整值119)轉譯成第二全域偏移(調整後值0),且動態範圍調整將碼字範圍1210中之最後未調整值1210a (具有未調整值852)轉換成碼字範圍1210中之調整後值2047。基於圖9A之簡化實例中之此等假設,視訊預處理器19可判定以下公式可用以將來自碼字範圍1210之未調整成分值1210a轉譯成碼字範圍1220中之調整後成分值1220a。 A1220 = 2.793 * (U1210-119) + 0 (方程式11) 在以上方程式中,A1220
為碼字範圍1220中之調整後成分值,且U1210
為碼字範圍1210中之未調整成分值。在此公式中,比例值經計算為2.793,且第一全域偏移值為119,且第二全域偏移值為0。 藉由視訊預處理器19執行且在圖9A中加以說明的動態範圍調整之效應在於,碼字範圍1210中之值經轉換成碼字範圍1220中之值,以使得調整後成分值在碼字範圍1220內散佈以實際上使用碼字範圍1220中之更多碼字。在一些實例中,視訊預處理器19選擇比例及全域偏移值,使得視訊資料中所表示之成分值(碼字範圍1210中之值1210a)沿著碼字範圍1220更有益地在碼字中。在另外實例中,即使當對應於範圍1210及1220之位元深度及/或碼字相同時,視訊預處理器19亦可能將值轉譯成碼字範圍1220中之值,使得調整後成分值散佈在碼字範圍1220內,以實際上使用碼字範圍1220中之更多碼字。在一些實例中,可能的一種方式為將等於或小於全域偏移值之未調整值映射至碼字範圍1220中之第一值(例如,將值1210a映射至調整後值0)。 圖9B為視訊預處理器19可如何將表示碼字之原生範圍中之色彩成分的一系列值之獨特位元序列轉譯成碼字之目標範圍的一系列值的另一簡化概念說明。如同圖9A,在圖9B中展示出成分值之一維範圍,包括對應於碼字之原生範圍的碼字之一維原生範圍1230,及對應於碼字之目標範圍的碼字之一維目標範圍1240。為簡單起見,且出於說明的目的,假定圖9B之實例中的原生色彩表示的成分值之範圍(對應於碼字範圍1230)具有1024個碼字,且假定碼字之目標範圍的成分值之範圍(對應於碼字範圍1240)具有2048個碼字。舉例而言,以類似於圖9A之方式,若碼字在一維原生範圍1230表示明度值,則在對應於碼字之原生範圍的碼字範圍1230中可存在1024個可能明度值。若碼字之一維目標範圍1240表示碼字之目標範圍中之明度值,則在對應於碼字之目標範圍的碼字範圍1240中可存在2048個可能明度值。 圖9B中說明了碼字之原生範圍1230中之數個表示值1230a,其各自對應於視訊資料之樣本在碼字之原生範圍1230中所表示的成分值。為簡單起見,在圖9B之說明中僅僅展示碼字範圍1230中之若干表示值1230a,但碼字範圍1230中之更多成分值1230a可存在於視訊資料之典型樣本中。 如圖9B中所說明,且在一些實例中,視訊預處理器19可判定,藉由將碼字範圍1230劃分成多個分割區,可獲得執行動態範圍調整時之更高效率。視訊預處理器19可判定用於每一分割區之比例值及偏移值,視訊預處理器19使用其將每一分割區中之未調整成分值1230a映射至成分值之範圍1240中之調整後成分值1240a。若視訊預處理器19選擇縮放參數及偏移參數以有效率地使用碼字之目標範圍1240之碼字,則有可能在碼字之目標範圍1240中有效率地表示視訊資料,且亦可導致較高品質之經解碼視訊資料。 舉例而言,在圖9B中,視訊預處理器19將碼字範圍1230劃分成五個分割區(1231、1232、1233、1234及1235)。分割區1231對應於碼字範圍1230中之碼字0至118 (包括0及118),且包括僅一個表示成分值(成分值60)。分割區1232對應於碼字119至168,且在圖9B之簡化實例中,由碼字範圍1210表示之視訊樣本包括分割區1232中之三個成分值1230a (成分值119、132及168)。分割區1233對應於碼字169至702,且由碼字範圍1230表示之視訊樣本不包括此範圍中之成分值。分割區1234對應於碼字703至852,且由碼字範圍1230表示之視訊樣本包括此分割區中之三個成分值1230a (成分值703、767及852)。最終,第五分割區(分割區1235)範圍在碼字853至碼字1023,且由碼字範圍1230表示之視訊樣本不包括此範圍中之成分值。 視訊預處理器19選擇分割區及適當之比例值及偏移值,使得對碼字範圍1230中所示之成分值執行動態範圍調整將導致以高效方式使用碼字範圍1240中之可用碼字。在圖9B之實例中,視訊預處理器19為包括值之分割區(例如,分割區1232及1234)分配碼字範圍1240之一部分,而視訊預處理器19不為不包括值(分割區1231、1233、1225)分配碼字範圍1240之部分。類似地,視訊預處理器19分配至分割區的範圍1240之部分之大小取決於對應分割區1231、1232、1233、1234及1235之大小。為範圍1230上之較大或較寬分割區分配範圍1240之較大部分。 此外,在一些情況下,如先前關於圖9A所描述,視訊預處理器19可判定,省略或忽略碼字範圍1230中之特定值(諸如,碼字範圍1230之極端處之值)可為有益的。關於此等值數目可能很少之情況,及/或在此等值對經解碼視訊資料沒有實質影響之情況下,藉由省略此等值可獲得某些效率。舉例而言,相對於圖9B之實例中之分割區1211,在視訊預處理器19忽略分割區1231中具有由視訊資料表示之成分值60的單一碼字之情況下,可獲得某些效率,因此在圖9B之實例中,視訊預處理器19不為分割區1231分配碼字範圍1240之任何部分。 相應地,在圖9B之實例中,視訊預處理器19將碼字範圍1230中跨50個值或碼字(119至168)之分割區1232轉譯成跨碼字範圍1240之碼字0至511之分割區1242。視訊預處理器19將跨碼字範圍1230中之150個碼字之分割區1234轉譯成碼字範圍1240中跨碼字512至2047之分割區1244。結果,碼字範圍1240中之分割區1242沿著碼字範圍1240跨512個碼字,且碼字範圍1240中之分割區1244沿著碼字範圍1240跨1536個碼字。分割區1244因此為分割區1242之大小的三倍。在圖9B之實例中,視訊預處理器19可以此方式來選擇分割區大小,此係因為分割區1232及1234成類似比例(即,分割區1234為分割區1232之大小的三倍),由此在動態範圍調整將彼等分割區轉譯成碼字範圍1240中之分割區1242及1244內的調整後成分值時維持分割區1232及1234之相對大小。在其他實例中,當將動態範圍調整應用於碼字範圍1230中之值以將彼等分割區轉譯至碼字範圍1240中之值時,視訊預處理器19可不以此方式維持沿著碼字範圍1230之分割區之比例。在其他實例中,視訊預處理器19可以不同道路維持沿著碼字範圍1230之分割區之比例。 仍參考圖9B之實例,視訊預處理器19可以區域方式將比例值及偏移值(例如,區域比例及區域偏移)應用於碼字值範圍1230中之分割區中之每一者,以將彼等分割區中之未調整成分值1230a轉譯至沿著碼字範圍1240之分割區1242及1244中之調整後成分值1240a。舉例而言,針對分割區1232,視訊預處理器19可基於如下假設來計算線性比例值及偏移值:分割區1232中之第一未調整值119映射至分割區1242中之調整後值0,且分割區1232中之最後未調整值168映射至分割區1242中之調整後值511。基於圖9B之簡化實例中之此等假設,視訊預處理器19可判定,以下公式可用以將來自分割區1232之未調整成分值轉譯成來自分割區1242之調整後成分值。 A1242
= 10.429 * U1232
+ -1241.1 (方程式12) 在以上方程式中,A1242
為碼字範圍1240內之分割區1242中之調整後成分值,且U1232
為碼字範圍1230內之分割區1232中之未調整成分值。在此公式中,用於分割區1232之區域比例值為10.429,且用於分割區1232之區域偏移值為-1241.1。 類似地,視訊預處理器19可基於如下假設來計算用於將分割區1234中之未調整成分值轉換成分割區1244中之調整後成分值的線性比例值及偏移值:分割區1234中之第一未調整值703對應於分割區1244中之調整後值512,且分割區1234中之最後未調整值852對應於分割區1244中之調整後值2047。基於此等假設,視訊預處理器19可判定,以下公式可用以將來自分割區1234之未調整成分值轉譯成分割區1244中之調整後成分值。 A1244
= 10.302 * U1234
+ -6730.3 (方程式13) 在以上方程式中,A1244
為碼字範圍1240內之分割區1244中之調整後成分值,且U1234
為碼字範圍1230內之分割區1234中之未調整成分值。在此公式中,用於分割區1234之區域比例值為10.302,且用於分割區1234之區域偏移值為-6730.3。 在圖9B之實例中,視訊預處理器19不為分割區1231、1233及1235分配碼字範圍1240中之任一者,此可實現碼字範圍1240之更高效使用,且允許碼字範圍1240之更多碼字用於視訊資料包括更多值的分割區(例如,分割區1232及1234)。在此實例中,分割區1231、1233及1235可不具有碼字範圍1240中之任何對應分割區。在一些實例中,視訊預處理器19可忽略或丟棄可能包括於對應於分割區1231、1233及1235之視訊資料樣本中的任何未調整成分值。在其他實例中,視訊預處理器19可將可包括於分割區1231、1233及1235中之任何未調整成分值映射至其他分割區中之一者中的適當值,或視訊預處理器19可將此等值映射至碼字範圍1240中所分配的分割區之間的邊界上或附近的值,或視訊預處理器19可將此等值映射至碼字範圍1240之兩個末端中之一者。替代地,視訊預處理器19可分配(或邏輯上分配)小分割區或大小為零之分割區,且視訊預處理器19可應用此分割區之適當區域比例值及偏移值,以將此等分割區之未調整成分值映射成碼字範圍1240中之調整後成分值。 圖9B中所說明的動態範圍調整之效應在於,視訊預處理器19將碼字範圍1230中之值轉譯成碼字範圍1240中之值,其方式為:分割區1232及1234中之值在碼字範圍1240內散佈以實際上使用碼字範圍1240中之更多碼字。在一些實例中,視訊預處理器19針對每一分割區選擇區域比例值及區域偏移值,使得視訊資料中所表示之值(如碼字範圍1230中之值1230a所表示)沿著碼字範圍1240在儘可能多的碼字中展開。在一些情況下,諸如在特定範圍內存在大量值1230a之情況下,此調整可為有益的。在此情況下,視訊預處理器19以類似於關於圖9B所描述之方式的方式執行動態範圍調整可導致防止或減少經寫碼成分組件之準確度的任何損失,且因此,可防止寫碼假影(例如,色彩失配及/或滲色)由經解碼視訊資料之觀看者觀察到。 在一些實例中,視訊預處理器19可藉由選擇可應用於圖9B中之碼字範圍1230及1240之全域偏移值(選擇方式類似於關於圖9A所描述之方式)而獲得更多效率。舉例而言,在圖9B中,視訊預處理器19可全域偏移值119,使得碼字範圍1210中小於119之任何值可假定為未調整值119。在此實例中,視訊預處理器19可假設分割區1231中之未調整成分值60具有值119 (而非60),且因此可包括於分割區1232中。在一些實例中,在執行動態範圍調整之前對值進行修改之視訊預處理器19可較佳忽略該值或不對該值執行動態範圍調整。 在圖9B之實例中,視訊預處理器19將用於未調整成分值119之全域偏移值轉譯成沿著碼字範圍1240之調整後成分值0。以類似於關於圖9A所描述之方式的方式,對應於用於未調整值119之全域偏移值之調整後值0本身可用作為第二全域偏移值。此第二全域偏移值可被視為對應於未調整值119之調整後值,或換言之,第一全域偏移值(碼字範圍1230中之未調整成分值)可映射至第二全域偏移值(碼字範圍1240中之調整後成分值)。 先前描述的用於對分割區1212及1214中之值執行動態範圍調整的方程式{12}及{13}可就根據此等上述全域偏移值重寫。具體言之,視訊預處理器19可判定,當使用一或多個全域偏移值時,不同關係可應用於分割區1232。相應地,可如下所述地重寫方程式{12}。 A1242
= 10.429 * (U1232
+ -119) + 0 + 0 (方程式14) 在以上方程式中,A1242
為碼字範圍1240內之分割區1242中之調整後成分值,且U1232
為碼字範圍1230內之分割區1232中之未調整成分值。在此公式中,用於碼字範圍1230中之未調整成分值之(第一)全域偏移值為-119,且用於碼字範圍1240中之調整後成分值之(第二)全域偏移值為0。用於分割區1232之比例值為10.429,且用於分割區1232之偏移值為0。 類似地,視訊預處理器19可判定,當使用一或多個全域偏移值時,不同關係可應用於分割區1234。相應地,可如下所述地重寫方程式{13}。 A1244
= 10.302 * (U1234
+ -119) + 0 + -5504.4 (方程式15) 在以上方程式中,A1244
為碼字範圍1240內之分割區1244中之調整後成分值,且U1234
為碼字範圍1230內之分割區1234中之未調整成分值。在此公式中,用於碼字範圍1230中之未調整成分值之(第一)全域偏移值為-119,且用於碼字範圍1240中之調整後成分值之(第二)全域偏移值為0。用於分割區1234之比例值為10.302,且用於該分割區之偏移值為-5504.4。 圖9C為視訊預處理器19可如何將表示碼字之原生範圍中之色彩成分的一系列值之獨特位元序列轉譯成碼字之目標範圍的一系列值的另一簡化概念說明。如同圖9A及圖9B,在圖9C中展示出成分值之一維範圍,包括對應於碼字之原生範圍的碼字之一維原生範圍1250,及對應於碼字之目標範圍的碼字之一維目標範圍1260。在此實例中,假定碼字之原生範圍的成分值之範圍(對應於碼字範圍1250)對應於2048個碼字,且假定碼字之目標範圍的成分值之範圍(對應於碼字範圍1260)對應於2048個碼字。舉例而言,若碼字之一維原生範圍1250表示明度值,則在對應於碼字之原生範圍之碼字範圍1250中可存在2048個可能明度值。若碼字之一維目標範圍1260表示碼字之目標範圍中之明度值,則在對應於碼字之目標範圍的碼字範圍1260中可存在2048個可能明度值。 圖9C之實例說明,即使當碼字之原生範圍(對應於圖9C中之碼字範圍1250)與碼字之目標範圍(對應於圖9C中之碼字範圍1260)大小相同或大體上相同大小時,根據本發明之一或多個態樣藉由視訊預處理器19執行之動態範圍調整亦可為有益的。圖9C中說明了碼字之原生範圍1250中之數個表示值1250a。為簡單起見,僅僅展示若干表示值1250a。 如圖9C中所說明,視訊預處理器19可將碼字範圍1250劃分成多個分割區。視訊預處理器19可計算用於每一分割區之比例值及偏移值且使用該等值將每一分割區中之未調整成分值1250a映射至成分值範圍1260中之調整後成分值1260a。視訊預處理器19可選擇動態範圍調整參數以有效率地使用碼字之目標範圍1260之碼字。舉例而言,在圖9C中,視訊預處理器19可將碼字範圍1250劃分成五個分割區(1251、1252、1253、1254及1255)。如同其他實例一樣,在圖9C之實例中,視訊預處理器19將碼字範圍1260之一部分分配至包括值之彼等分割區,而視訊預處理器19可不將碼字範圍1260之任何部分分配至不包括值之彼等分割區。類似地,視訊預處理器19可將碼字範圍1260之較大部分分配至碼字範圍1250中比1250中之另一分割區寬或跨更多值之彼等分割區。此外,關於圖9C之實例中之分割區1251,視訊預處理器19不將碼字範圍1260之任何部分分配至分割區1251,即使該分割區包括成分值120。 相應地,在圖9C之實例中,視訊預處理器19將碼字範圍1250中跨100個值或碼字(238至337)之分割區1252轉譯成跨碼字範圍1260之碼字0至511之分割區1262。視訊預處理器19將跨碼字範圍1250中之300個碼字之分割區1254轉譯成碼字範圍1260中跨碼字512至2047之分割區1264。 仍參考圖9C之實例,視訊預處理器19可計算比例值及偏移值且以區域方式將該等值應用於碼字值範圍1250中之分割區中之每一者,以將彼等分割區中之未調整成分值轉譯至沿著碼字範圍1260之分割區1262及1264中之調整後成分值。舉例而言,針對分割區1252,視訊預處理器19可基於如下假設來計算線性比例值及偏移值:分割區1252中之第一未調整值238映射至分割區1262中之調整後值0,且分割區1252中之最後未調整值337映射至分割區1262中之調整後值511。基於圖9C之簡化實例中之此等假設,視訊預處理器19可判定,以下關係可用以將來自分割區1212之未調整成分值轉譯成來自分割區1222之調整後成分值。 A1262
= 5.162 * (U1252
+ -238) + 0 + 0 (方程式16) 在以上方程式中,A1262
為碼字範圍1260內之分割區1262中之調整後成分值,且U1252
為碼字範圍1250內之分割區1252中之未調整成分值。在此公式中,(第一)全域偏移值為-238,且(第二)全域偏移值為0。用於分割區1252之區域比例值為5.162,且分割區1252之區域偏移值為0。 類似地,視訊預處理器19可基於如下假設來計算用於將分割區1254中之未調整成分值轉換成分割區1264中之調整後成分值的線性比例值及偏移值:分割區1254中之第一未調整值1406對應於分割區1264中之調整後值512,且分割區1254中之最後未調整值1705對應於分割區1264中之調整後值2047。基於此等假設,視訊預處理器19可判定,以下關係可用以將來自分割區1254之未調整成分值轉譯成分割區1264中之調整後成分值。 A1264
= 5.134 * (U1254
+ -238) + 0 +-5484.5 (方程式17) 在以上方程式中,A1264
為碼字範圍1260內之分割區1264中之調整後成分值,且U1254為碼字範圍1250內之分割區1254中之未調整成分值。在此公式中,(第一)全域偏移值為-238,且(第二)全域偏移值為0。用於分割區1254之區域比例值為5.134,且用於分割區1254之區域偏移值為-5484.5。 同樣,圖9C中所說明的動態範圍調整之效應在於,視訊預處理器19將碼字範圍1250中之值轉譯成碼字範圍1260中之值,其方式為:分割區1252及1254中之值在碼字範圍1260內散佈以實際上使用碼字範圍1260中之更多碼字。在一些實例中,視訊預處理器19以類似於關於圖9C所描述之方式的方式執行動態範圍調整可導致防止或減少經寫碼成分組件之準確度的任何損失,且因此,可防止寫碼假影(例如,色彩失配及/或滲色)由經解碼視訊資料之觀看者觀察到。 如下文進一步描述,且根據本發明之一或多個態樣,一或多個新SEI訊息可包括與上文所述之執行動態範圍調整相關之參數及/或資訊。動態範圍調整參數或資訊可由視訊預處理器19產生,且由視訊解碼器30編碼為SEI訊息。此等SEI訊息可包括足以使視訊解碼器30及/或視訊後處理器31能夠執行動態範圍調整之逆轉以重建構視訊資料的資訊。 在本發明之其他實例中,調整單元210可經組態以將線性轉移函數應用於視訊以執行DRA。此轉移函數可不同於由轉移函數單元206用以壓縮動態範圍之轉移函數。類似於上文所定義之比例及偏移術語,由調整單元210應用之轉移函數可用以擴充色值且使色值以目標色彩表示中之可用碼字為中心。應用轉移函數以執行DRA之實例展示如下。 - Y'' = TF2 (Y') - Cb'' = TF2 (Cb') - Cr'' = TF2 (Cr') 項TF2指定由調整單元210應用之轉移函數。在一些實施例中,調整單元可將不同轉移函數應用於成分中之每一者。 在本發明之另一實例中,調整單元210可經組態以在單一程序中與色彩轉換單元208之色彩轉換結合而應用DRA參數。亦即,可組合調整單元210及色彩轉換單元208之線性函數。下面展示組合應用之實例,其中f1及f2為RGB至YCbCr矩陣及DRA縮放因數之組合。在本發明之另一實例中,在應用DRA參數之後,調整單元210可經組態以執行剪裁程序,從而防止視訊資料具有在針對特定目標色彩表示所指定之碼字範圍外的值。在某些情況下,由調整單元210應用之比例及偏移參數可使某些色彩成分值超過可允許碼字之範圍。在此情況下,調整單元210可經組態以將超過範圍之成分之值裁剪至範圍中之最大值。 由調整單元210應用之DRA參數可由DRA參數估計單元212判定。DRA參數估計單元212用來更新DRA參數之頻率及時間例項係靈活的。舉例而言,DRA參數估計單元212可從時間層級上更新DRA參數。亦即,針對圖像群組(GOP)或單一圖像(圖框)可判定新DRA參數。在此實例中,RGB原生CG視訊資料200可為GOP或單一圖像。在其他實例中,DRA參數估計單元212可從空間層級上(例如,在圖塊方塊或區塊層級)更新DRA參數。在此上下文中,視訊資料區塊可為巨集區塊、編碼樹單元(CTU)、寫碼單元或任何其他大小及形狀之區塊。區塊可為正方形、矩形或任何其他形狀。相應地,可使用DRA參數以達成更加高效的時間及空間預測及寫碼。 在本發明之其他實例中,DRA參數估計單元212可經組態以導出DRA參數之值,以便將與預處理及/或編碼視訊資料相關聯之特定成本函數減至最小。作為一個實例,DRA參數估計單元212可經組態以估計最小化上文由量化單元214引入之量化錯誤(例如,參見方程式(4))的DRA參數。DRA參數估計單元212可藉由對已應用了DRA參數之不同集合之視訊資料執行量化錯誤測試而將此錯誤減至最小。在另一實例中,DRA參數估計單元212可經組態而以感知方式估計將由量化單元214引入之量化錯誤減至最小的DRA參數。DRA參數估計單元212可基於對已應用了DRA參數之不同集合之視訊資料的感知錯誤測試而將此錯誤減至最小。DRA參數估計單元212接著可選擇產生最少量化錯誤之DRA參數。 在另一實例中,DRA參數估計單元212可選擇將與由調整單元210執行之DRA及由視訊編碼器20執行之視訊編碼兩者相關聯之成本函數減至最小的DRA參數。舉例而言,DRA參數估計單元212可利用DRA參數之多個不同集合來執行DRA及對視訊資料進行編碼。DRA參數估計單元212接著可藉由形成由DRA及視訊編碼引起之位元速率以及由此等兩種有損程序引入之失真之加權總和來計算用於DRA參數之每一集合之成本函數。DRA參數估計單元212接著可選擇將成本函數減至最小的DRA參數集合。 在針對DRA參數估計之以上技術中之每一者中,DRA參數估計單元212可使用關於成分之資訊針對每一成分單獨地判定DRA參數。在其他實例中,DRA參數估計單元212可使用交叉成分資訊來判定DRA參數。舉例而言,針對Cr成分導出之DRA參數可用以導出用於Cb成分之DRA參數。 在利用加權預測之視訊寫碼方案中,根據以權重(Wwp
)及偏移(Owp
)取得的參考圖像Sr之樣本(針對單向預測)來預測當前經寫碼圖像Sc之樣本,此將產生預測樣本Sp: Sp= Sr * Wwp
+ Owp
。 在利用DRA之一些實例中,可用使用不同參數(即,針對當前圖像之{ scale1cur
, offset1cur
}及針對參考圖像之{ scale1ref
, offset1ref
})之DRA對參考及當前經寫碼圖像之樣本進行處理。在此等實施例中,加權預測之參數可自DRA導出,例如: Wwp
= scale1cur
/ scale1ref
Owp
= offset1cur
- offset1ref
在調整單元210應用DRA參數之後,視訊預處理器19接著可使用量化單元214將視訊資料量化。量化單元214可以與上文參看圖4所述之方式相同的方式操作。在量化之後,現在於HDR之資料216之目標色彩容器之目標色彩空間及目標原色中對視訊資料進行調整。接著可將HDR之資料216發送至視訊編碼器20以供壓縮。 圖10為說明根據本發明之技術之實例HDR/WCG逆轉換裝置的方塊圖。如圖10所示,視訊後處理器31可經組態以應用由圖8之視訊預處理器19執行之該等技術之逆轉。在其他實例中,視訊後處理器31之技術可併入視訊解碼器30中且藉由視訊解碼器執行。 在一個實例中,視訊解碼器30可經組態以解碼由視訊編碼器20編碼之視訊資料。接著將經解碼視訊資料(目標色彩容器中之HDR之資料316)轉送至視訊後處理器31。反量化單元314對HDR之資料316執行反量化程序以逆轉由圖8之量化單元214執行之量化程序。 視訊解碼器30亦可經組態以解碼由圖10之DRA參數估計單元212產生之一或多個語法元素中之任一者且將語法元素發送至視訊後處理器31之DRA參數導出單元312。根據本發明之一或多個態樣,DRA參數導出單元312可經組態以基於一或多個語法元素或SEI訊息來判定DRA參數。在一些實例中,一或多個語法元素或SEI訊息可明確地指示DRA參數。在其他實例中,DRA參數導出單元312經組態以使用來自語法元素或SEI訊息之資訊及/或使用供圖10之DRA參數估計單元212使用之相同技術來導出DRA參數中之一些(或全部)。 可將由DRA參數導出單元312導出之參數發送至反調整單元310。反調整單元310使用該等DRA參數執行由調整單元210執行之線性DRA調整之逆轉。反調整單元310可應用上文針對調整單元210所描述之調整技術中之任一者的逆轉。另外,如同調整單元210一樣,反調整單元310可在任何反色彩轉換之前或之後應用反DRA。因而,反調整單元310可對目標色彩表示或原生色彩表示中之視訊資料應用DRA參數。在一些實例中,反調整單元亦可在反量化單元之前應用。 反色彩轉換單元308將視訊資料自目標色彩空間(例如,YCbCr)轉換至原生色彩空間(例如,RGB)。反轉移函數306接著應用由轉移函數206應用之轉移函數之反轉,以解壓縮視訊資料之動態範圍。所得視訊資料(RGB目標CG 304)仍使用目標原色來表示,但現在處於原生動態範圍及原生色彩空間中。接下來,反CG轉換器302將RGB目標CG 304轉換至天然色域以重建構RGB原生CG 300。 在一些實例中,額外後處理技術可由視訊後處理器31使用。應用DRA可使視訊處於其實際天然色域外。由量化單元214及反量化單元314執行之量化步驟以及由調整單元210及反調整單元310執行之增頻取樣及降頻取樣技術可有助於原生色彩表示中之所得色值在天然色域外。當已知天然色域時(或如上所述,在發信情況下,實際最小內容原色),則可將額外程序應用於RGB原生CG視訊資料304,以將色值(例如,RGB或Cb及Cr)變換回至預期色域中,如針對DRA的後處理。在其他實例中,此後處理可在量化之後或在DRA應用之後應用。 根據本發明之一或多個態樣,且如下文進一步描述,視訊解碼器30可接收指示與由視訊預處理器19執行之動態範圍調整相關之參數及/或資訊的一或多個SEI訊息。視訊解碼器30可剖析及/或解碼該資訊,且對該資訊作用及/或將彼資訊傳遞至視訊後處理器31。此等SEI訊息可包括足以使視訊解碼器30及/或視訊後處理器31能夠執行動態範圍調整之逆轉以重建構視訊資料的資訊。 除推導DRA參數或DRA調整資訊之外,圖8之視訊預處理器19 (例如,DRA參數估計單元212)或視訊編碼器20亦可經組態以在經編碼位元串流中或藉由其他手段(諸如不同頻道)發信DRA參數。圖10之DRA參數導出單元312或視訊解碼器30可經組態以接收經編碼位元串流中或來自其他手段(諸如不同頻道)之此發信。DRA參數估計單元212可直接發信指示DRA參數之一或多個語法元素,或可經組態以將一或多個語法元素提供至視訊編碼器20以供於發信。參數之此等語法元素可在位元串流中發信,以使得視訊解碼器30及/或視訊後處理器31可執行視訊預處理器19之程序之逆轉,從而以原生色彩表示重建構視訊資料。 視訊編碼器20或視訊預處理器19可用來發信DRA調整參數或DRA調整資訊之一個方法係經由SEI訊息。補充增強資訊(SEI)訊息已被用於數個用途,且可包括於視訊位元串流中,通常用來載運並非解碼器對位元串流進行解碼所必需的資訊。此資訊可用於改良經解碼輸出之顯示或處理;例如,此資訊可由解碼器側實體使用以改良內容之可視性。亦有可能,特定應用標準可以授權此等SEI訊息在位元串流中之存在,使得品質之改良能夠到達符合應用標準之所有器件(針對圖框相容之平立體3DTV視訊格式的圖框填充SEI訊息之載運,其中針對視訊之每個圖框載運SEI訊息,例如,如以下各者中所描述:ETSI - TS 101 547-2, Digital Video Broadcasting (DVB) Plano-stereoscopic 3DTV;Part 2: Frame compatible plano-stereoscopic 3DTV;恢復點SEI訊息之處置,例如,如以下各者中所描述:3GPP TS 26.114 v13.0.0, 3rd Generation Partnership Project;Technical Specification Group Services and System Aspects;IP Multimedia Subsystem (IMS);Multimedia Telephony;Media handling and interaction (Release 13);或DVB中拉移式掃描矩形SEI訊息之使用,例如,如以下各者中所描述:ETSI - TS 101 154, Digital Video Broadcasting (DVB); Specification for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Stream。 根據本發明之一或多個態樣,已使用的數個SEI訊息在用於發信動態範圍調整參數之一或多個方法中可能有缺陷。 舉例而言,一個SEI訊息為載頻調映射資訊SEI訊息,其用以映射明度樣本或RGB成分樣本中之每一者。tone_map_id之不同值用以界定不同用途,且載頻調映射SEI訊息之語法亦經過對應修改。舉例而言,tone_map_id之值1允許作用於SEI訊息之處理器將RGB樣本裁剪至最小值及最大值。tone_map_id之值3允許或指示查找表以支點之形式發信。然而,在應用時,相同值被應用於所有RGB成分,或僅應用於明度成分。 另一實例為膝函數(knee function) SEI訊息,其用以指示經解碼圖像之RGB成分在正規化線性域中之映射。亦指示出輸入及輸出最大明度值,且查找表將輸入明度值映射至輸出明度值。可將同一查找表應用於所有三個色彩成分。 使用在HEVC標準中定義之色彩重映射資訊(CRI)SEI訊息來輸送用以將一個色彩空間中之圖像映射另一色彩空間的資訊。圖11展示CRI SEI訊息所使用之色彩重映射資訊程序之典型結構。在一個實例中,CRI SEI訊息之語法包括三個部分:第一查找表(前LUT) 1302,繼之以指示色彩重映射係數之3×3矩陣1304,且繼之以第二查找表(後LUT) 1306。對於每一色彩成分(例如,R、G、B或Y、Cb、Cr),定義獨立的前LUT,且亦定義獨立的後LUT。CRI SEI訊息亦包括稱作colour_remap_id之語法元素,其不同值可用以指示SEI訊息之不同用途。 在另一實例中,動態範圍調整(DRA) SEI訊息已在D. Bugdayci Sansli、A. K. Ramasubramonian、D. Rusanovskyy、S. Lee、J. Sole、M. Karczewicz之「Dynamic range adjustment SEI message」(m36330,MPEG會議,波蘭華沙,2015年6月22日至26日)中予以描述。實例DRA SEI訊息包括用以映射輸入樣本之比例及偏移數目(scale and offset numbers)之一個集合之發信。SEI訊息亦允許針對不同成分發信不同查找表,且亦允許當將相同比例及偏移用於超過一個成分時的發信最佳化。比例及偏移數字可以固定長度準確度進行發信。 本部分列出相關聯於色彩重映射資訊SEI訊息及與縮放或映射視訊內容相關之其他SEI訊息的若干問題。先前段落中所描述之SEI訊息具有以下缺陷中之一或多者: 存在與載頻調映射SEI訊息、膝函數SEI訊息及CRI SEI訊息相關聯之若干問題。舉例而言,載頻調映射資訊SEI語法不允許指示用於色度成分Cb及Cr之縮放或提供關於其之任何指示。此外,指示查找表支點及其他語法元素所需的位元之數目(例如,在CRI SEI訊息中)多於可能需要之數目,且可能效率低下。當SEI訊息應更頻繁地(例如,每個圖框)發信時,SEI訊息簡單且耗用較少位元可為有益的。此外,適當時,許多SEI訊息(例如,載頻調映射資訊、膝函數SEI訊息)使得同一查找表應用於全部三種色彩成分。再此外,動態範圍調整SEI訊息針對每一成分僅發信一個比例及一個偏移。 考慮到前述內容,且如下文進一步描述,本發明提議經由一或多個新SEI訊息來發信與上文所述之執行動態範圍調整相關之參數及/或資訊。動態範圍調整參數或資訊可由視訊解碼器30及/或視訊後處理器31使用以執行動態範圍調整之逆轉,從而重建構視訊資料。在一些實例中,可明確地發信DRA參數或DRA資訊。舉例而言,一或多個SEI訊息可包括各種全域偏移、區域偏移、分割區及比例資訊。 相應地,在一些實例中,視訊編碼器20可自視訊預處理器19接收動態範圍調整參數或資訊,且可發信包括各種動態範圍調整參數或動態範圍調整資訊之一或多個SEI訊息。此資訊可包括全域偏移、區域偏移、分割區及縮放參數,或足以推導此參數或資訊或以其他方式足以描述動態範圍調整如何應用於視訊資料的資訊。解碼器30可接收此等SEI訊息中之一或多者,剖析及/或解碼該等SEI訊息中之資訊,且作用於此資訊及/或將該資訊傳遞至視訊後處理器31。 在一些實例中,視訊編碼器20可發信包括全域偏移值之一或多個SEI訊息,對於每一成分,包括判定第一未調整成分值之第一偏移值,低於其之所有成分值在應用如本發明中所描述之動態範圍調整之前被裁剪至第一成分值。解碼器30可接收此等SEI訊息中之一或多者,剖析及/或解碼該等SEI訊息中之資訊,且將該資訊傳遞至視訊後處理器31。 在一些實例中,對於每一成分,視訊編碼器20可發信包括第二偏移值之一或多個SEI訊息,該第二偏移值指定在動態範圍調整之後第一偏移值映射至的調整後值。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在另一實例中,第一全域偏移值或第二全域偏移值均不在SEI訊息中發信。實情為,解碼器30假定第一全域偏移及第二全域偏移之值為解碼器30根據序列判定或藉由外部構件接收的恆定、預定或發信之值。在另一實例中,視訊編碼器20在SEI訊息中發信第一全域偏移值,但不在SEI訊息中發信第二全域偏移值。實情為,視訊解碼器30推斷其值為解碼器30根據序列判定或藉由外部構件接收的恆定、預定或發信之值。在又一實例中,視訊編碼器20在SEI訊息中發信第二全域偏移值,但不在SEI訊息中發信第一全域偏移值。實情為,視訊解碼器30推斷第一全域偏移值為解碼器30根據序列判定或藉由外部構件接收的恆定、預定或發信之值。 在一些實例中,視訊編碼器20可發信偏移值,該等偏移值由解碼器30接收且供解碼器30使用以導出其他全域或區域參數(包括全域及區域比例值及偏移值兩者),以及一系列未調整值之分割區,及一系列調整後值之分割區。 在一些實例中,視訊編碼器20可發信一或多個SEI訊息,其包括輸入表示值(即,成分值)之範圍在動態範圍調整期間劃分成的分割區之數目。在一個實例中,分割區之數目可限於2的冪(即,1、2、4、8、16等), 且分割區之數目係發信為對數(例如,8分割區發信為3=log2
8)。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在一些實例中,用於色度成分的分割區之數目可不同於用於明度成分的分割區之數目。分割區之數目可限於2的冪+1且發信為對數且向負0捨位。以此方式,具有中性色度之像素可具有自身之值,且彼分割區之大小可小於其他分割區。在此實例中,中性色度可指中值(例如,當色度值範圍在-0.5與0.5之間或在-512與511 (在10位表示中)之間時為0)周圍之色度之值。將分割區之數目限制為2的冪可使編碼器20能夠節約位元,此係因為編碼器20可能夠以與整數值之實際值相比更少的位元來表示值之對數。將分割區之數目限制為2的冪+1可確保至少一個分割區可專用於中性色度值,且在一些實例中,對應於中性色度值之分割區之寬度可小於其餘部分。在其他實例中,此分割區可大於其他分割區中之一或多者。 在一些實例中,解碼器30可使用發信的分割區之數目導出其他全域或區域參數(包括全域及區域比例值及偏移值兩者),以及一系列未調整成分值之分割區之實際大小及/或一系列調整後成分值之分割區之大小。 在一些實例中,編碼器20可發信一或多個SEI訊息,其可包括用於每一分割區的區域比例及區域偏移值,該等值指定一系列輸入成分值及對應的映射輸出成分值。在一些實例中,編碼器20可發信SEI訊息,其包括供語法元素使用以發信比例及偏移的位元之數目。在其他實例中,編碼器20可發信SEI訊息,其指示語法元素中用以表示比例及偏移之分數部分的位元之數目。在其他實例中,編碼器20可發信一或多個SEI訊息或語法元素,其指示縮放參數之整數部分係以有正負號表示進行發信。在一些實例中,有正負號表示係二的補碼。在其他實例中,有正負號表示係有正負號量值表示。視訊解碼器30可接收此等SEI訊息及/或語法元素,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在其他實例中,編碼器20可相繼使用每一偏移值來首先計算經調整成分或表示值之範圍,接著使用比例值來計算未調整表示中之對應範圍。舉例而言,一個偏移值可用以使用針對調整後成分導出或發信之全域偏移值的值來計算調整後成分中之第一分割區之範圍,接著使用比例值及調整後表示之第一分割區之範圍導出未調整表示之對應分割區中之範圍,且利用調整後表示之第一分割區及未調整表示之對應分割區的各別範圍,導出針對調整後範圍之第一分割區及指示分割區之邊界的未調整表示之對應分割區導出的各別值。此後,另一偏移值可用以使用在前一步驟中導出的調整後中之第一分割區之邊界值來計算調整後成分中之第二分割區之範圍,接著使用比例值及調整後表示之第二分割區之範圍導出未調整表示之範圍,且利用調整後表示之第二分割區及未調整表示之對應分割區的各別範圍,導出針對調整後及未調整表示中指示各別表示之邊界的分割區導出的各別值。可重複此方法,直至針對調整後及未調整表示中之所有分割區導出所有範圍及邊界。在另一實例中,編碼器20可相繼使用每一偏移值以首先計算未調整成分或表示值之範圍,接著使用比例值計算調整後表示中之對應範圍。換言之,經應用比例值及偏移值之成分或表示可在未調整表示與調整後表示之間調換。 在一些實例中,供語法元素使用以發信比例值及偏移值的位元之數目可取決於成分。在其他實例中,定義位元之預設數目且在此等數目未明確地發信時使用該預設數目。 在一些實例中,編碼器20可發信指示輸出表示(即,輸出成分)之分割區之長度是否相等的語法元素。在此實例中,對於一或多個分割區,編碼器20可不發信偏移值。解碼器30可推斷偏移值在一些實例中相等。在另一實例中,解碼器30可假設分割區具有相等長度且可不接收如此指示之語法元素。在一些實例中,解碼器30可自發信的語法元素及表示之預定義總動態範圍而導出每一分割區之大小。 在其他實例中,並非發信每一分割區之支點以及每一分割區之比例值及偏移值,視訊編碼器20可發信指示每一分割區之導數或比例值以及一或多個或所有分割區之大小的一或多個SEI訊息。此方法可允許編碼器20避免發信每一分割區之區域偏移值。實情為,在一些實例中,編碼器20可能夠在一或多個SEI訊息中發信一或多個分割區之分割區大小及比例值(或導數)。每一分割區或分割(其可能需要更高準確度)之區域偏移值可由解碼器30判定或導出。 在一些實例中,編碼器20可發信指示模式值之一或多個SEI訊息,模式值指定特定分割區之偏移值及比例值的若干預設值。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在一些實例中,編碼器20可發信一或多個SEI訊息,其指示定義SEI訊息之持續以使得可定義成分之一子集之持續且可更新成分之一子集之成分比例值的值。SEI訊息之持續指示SEI之執行個體中所發信的值可應用於之圖像。在一些實例中,定義SEI訊息之持續,以使得在SEI訊息之一個執行個體中發信之值可相應地應用於經應用SEI訊息的圖像之所有成分。在其他實例中,定義SEI訊息之持續,以使得在SEI訊息之一個執行個體中發信之值可經指示為相應地應用於成分之一子集,其中未應用SEI訊息之執行個體中之值的成分可不具有可適用的值或可具有在SEI訊息之另一執行個體中發信的可適用的值。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在一些實例中,編碼器20可發信包括指示將對經解碼輸出執行的後處理步驟之語法元素的一或多個SEI訊息。每一語法元素可與特定程序(例如,縮放成分、色彩變換、增頻取向/降頻取樣濾波器等)相關聯, 且語法元素之每一值可指定將使用與處理相關聯之參數之特定集合。在一些實例中,與程序相關聯之參數係由視訊編碼器20使用SEI訊息(該等訊息為位元串流之部分或作為可經由其他構件傳輸的後設資料)來發信。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在一些實例中,編碼器20可發信語法元素或一或多個SEI訊息,其可用於描述及/或建構用於將輸入表示(即,輸入成分值)映射至輸出表示(即,輸出成分值)的片段線性模型函數。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。在其他實例中,預定義假設可用於描述及/或建構用於將輸入表示映射至輸出表示之片段線性模型函數。 在一些實例中,編碼器20可發信可包括一或多個語法元素之一或多個SEI訊息,語法元素指示SEI訊息中所發信之比例及偏移參數表示作為第二成分之不同值之函數的待應用於第一成分之比例的變化。 在一些實例中,編碼器20可發信指示偏移參數之一或多個SEI訊息,該等偏移參數作為第二成分之不同值之函數將或可與用於第一成分之比例一起應用。在一些實例中,編碼器20可發信可包括一或多個額外語法元素之一或多個SEI訊息,額外語法元素指示作為第二成分之不同值之函數將或可與用於第一成分之比例一起應用的偏移參數。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在一些實例中,編碼器20可發信包括指示電光轉移函數特性之第一集合之第一語法元素的一或多個SEI訊息,以使得當在解碼器側使用電光轉移函數特性時,SEI訊息所應用的經發信之比例、偏移及其他動態範圍調整參數類似於電光轉移函數特性之第一集合。 在另一實例中,編碼器20可發信一或多個SEI訊息,其指示當電光轉移函數特性之第一集合或具有類似特性之函數供解碼器30使用時,將應用SEI訊息中的經發信之偏移、比例及其他動態範圍參數以實現HDR輸出之最佳重建構。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在另一實例中,編碼器20可發信一或多個SEI訊息,其指示電光轉移函數特性之第一集合,及當在解碼器側應用對應之反電光轉移函數特性時,藉由解碼器30應用的經發信之比例、偏移及其他動態範圍調整參數。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在其他實例中,編碼器20可發信一條件,以使得當超過一個SEI訊息呈現從而指示電光/光電(的)特性及可適用的當前圖像之不同集合時,僅應用一個SEI訊息。編碼器可發信電光/光電特性之不同集合以滿足不同類型之解碼器或具有不同能力之解碼器。舉例而言,解碼器側處之某些顯示器可應用PT EOTF,以將適當域中之經寫碼成分值轉換至線性光,而其他顯示器(例如,舊式顯示器)可應用γEOTF以轉換至線性光。編碼器發送的具有特定特性之每一SEI對於特定類型之顯示器可為適當或有益的,而對於其他類型之顯示器並非適當或有益的,例如,具有PQ EOTF特性之SEI訊息可適合於應用PQ EOTF以將經寫碼視訊轉換至線性光之顯示器。解碼器30判定將應用哪一SEI訊息,且基於應用標準、基於最終使用者器件、基於接收之信號或基於經由外部構件接收之另一指示而做出此選擇。舉例而言,解碼器30可判定:應用於當前圖像之第一SEI訊息中之第一語法元素指示SEI訊息將以反PQ OETF應用,且應用於當前圖像之第二SEI訊息中之第一語法元素指示SEI訊息將以另一轉移函數(諸如BBC或PH)應用,解碼器30或最終使用者器件可選擇應用第一SEI訊息中之參數,此係因為器件使用PQ EOTF。在一些實例中,解碼器符合之應用標準可指定具有特性之特定集合之SEI訊息將被使用。 在其他實例中,編碼器20可發信載運對應於多組轉移特性之參數的SEI訊息。在其他實例中,編碼器20可發信不同SEI訊息以用於彼目的。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在一些實例中,編碼器20可信號包括指示SEI訊息之適用性之語法元素的一或多個SEI訊息。SEI訊息之適用性可包括(但不限於):(1)比例及偏移將應用至的成分,(2)應用成分縮放之位置,及/或(3)是否發信額外縮放參數。 如所描述,編碼器20可發信包括指示比例及偏移應用至的成分之語法元素的一或多個SEI訊息。以下列出此應用之若干實例。舉例而言,語法元素之一個值可以指示第一成分索引之發信參數將應用於RGB成分。另一值可指示第一成分索引之發信參數將應用於明度成分,且第二及第三索引之發信參數將應用於Cb及Cr成分。另一值可指示第一成分索引之發信參數將應用於R、G及B成分,且第二及第三索引之發信參數將應用於Cb及Cr成分。另一值可指示前三個索引之發信參數將應用於明度、Cb及Cr成分,且對應於剩餘索引之發信參數被應用於色彩校正。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 亦如所描述,編碼器20可發信包括指示應用成分縮放之位置之語法元素的一或多個SEI訊息。若干程序在解碼視訊之後在解碼器側上及在視訊後處理器31中發生。發信指示將應用與SEI相關聯之程序之位置的語法元素(換言之,指示與使用SEI中之資訊相關聯之程序的前述或接續操作之任何子集)對於視訊解碼器30或視訊後處理器31處理視訊將有幫助。舉例而言,此語法元素可指示在增頻取樣之前或之後將成分縮放應用於(例如)YCbCr成分的位置。在另一實例中,語法元素可指示成分縮放係在量化之前應用於解碼器側。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 亦如所描述,編碼器20可發信包括指示是否發信縮放及參數之額外集合(例如針對色彩校正)之語法元素的一或多個SEI訊息。參數之額外集合可用於色彩校正以映射色彩成分以配合特定色域,或在應用不同於VUI中之transfer_characteristics語法元素所指示之轉移函數的轉移函數時用於校正成分值。 在其他實例中,編碼器20可發信不同語法元素以指示以上態樣;例如,一個語法元素用以指示SEI應用於哪個(哪些)成分,一個語法元素用以指示SEI是否應用於HDR相容之SDR相容內容,且一個語法元素用以指示將應用成分縮放SEI訊息之位置。 當成分縮放SEI訊息參數應用至的成分之數目大於一時,編碼器20可發信包括指示可基於成分之索引依序進行比例及偏移參數之應用之語法元素的一或多個SEI訊息。舉例而言,可應用基於第一成分之比例及偏移參數的映射,接著第二成分之映射(其例如使用針對第二成分發信之比例及偏移)可取決於第一成分之值。在一些實例中,此(例如)藉由指定應使用第一成分之映射值的語法元素來指示。視訊解碼器30可接收此等SEI訊息,剖析及/或解碼該資訊,且將彼資訊傳遞至視訊後處理器31。 在另一實例中,視訊編碼器20可限制一或多個SEI訊息中或位元串流中所發信之值,以此方式使得HDR10接收器可解碼及展示可視HDR視訊,即使未應用SEI後處理。SEI訊息可包括語法元素以指示情況如此(例如,位元串流係HDR10回溯相容之位元串流)。 此部分包括使用根據本發明之一或多個態樣揭示之技術的若干實例。實例 1
在此實例中1,成分縮放函數係發信為查找表,且亦發信用以發信定義查找表之點的位元之數目。對於不具有發信之明確點之樣本值,基於相鄰支點對值進行內插。成分縮放 SEI 訊息之語法 成分縮放 SEI 訊息之語義
成分縮放SEI訊息提供資訊以對經解碼圖像之各種成分執行縮放操作。色彩空間及應加以執行縮放操作之成分係由SEI訊息中所發信之語法元素之值判定。comp_scale_id
含有可用以識別成分縮放SEI訊息之用途之識別數字。comp_scale_id之值應在0至232
- 2範圍中(包括0及232
- 2)。comp_scale_id之值可用以指定成分縮放SEI訊息所處之色彩空間,或成分縮放SEI訊息係在線性或非線性域中應用。 如應用所判定,可使用0至255 (包括0及255)及512至231
- 1(包括512及231
- 1)的comp_scale_id之值。保留256至511 (包括256及511)及231
至232
-2(包括231
及232
-2)的comp_scale_id之值以供ITU-T|ISO/IEC未來使用。解碼器應忽略含有256至511範圍中(包括256及511)或231
至232
-2範圍中(包括231
及232
-2)的comp_scale_id之值的所有成分比例資訊SEI訊息,且位元串流不應含有此等值。 註解1-comp_scale_id可用以支援適合於不同顯示情境之成分縮放程序。舉例而言,comp_scale_id之不同值可對應於不同顯示位元深度或縮放應用所在之不同色彩空間。 替代地,comp_scale_id亦可用以識別針對與特定類型之顯示或解碼器(例如HDR、SDR)之相容性是否執行縮放。 等於1之comp_scale_cancel_flag
指示成分縮放資訊SEI訊息以應用於當前層之輸出次序抵消任何先前成分資訊SEI訊息之持續。等於0之comp_scale_cancel_flag指示成分縮放資訊跟隨。comp_scale_persistence_flag
指定當前層之成分縮放資訊SEI消息之持續。 等於0之comp_scale_persistence_flag指定成分縮放資訊僅應用於當前經解碼圖像。 令picA為當前圖像。等於1之comp_scale_persistence_flag指定成分縮放資訊對於當前層按輸出次序持續,直至以下條件中之任一者成立: - 當前層之新CLVS開始。 - 位元串流結束。 - 含有具有comp_scale_id之相同值且可適用於當前層之成分縮放資訊SEI訊息之存取單元中的當前層中之圖像picB被輸出,其中PicOrderCnt( picB )大於PicOrderCnt( picA ),其中PicOrderCnt( picB )及PicOrderCnt( picA )分別為緊接在調用用於針對picB之圖片次序計數的解碼程序之後的picB及picA之PicOrderCntVal值。comp_scale_num_comps_minus1
加1指定成分縮放函數經指定之成分之數目。comp_scale_num_comps_minus1應在0至2 (包括0及2)之範圍中。 當comp_scale_num_comps_minus1小於2且第c個成分之成分縮放參數未發信時,推斷成分縮放參數等於第(c - 1)個成分之彼等參數。 替代地,當comp_scale_num_comps_minus1小於2且第c個成分之成分縮放參數未發信時,推斷第c個成分之成分縮放參數等於預設值,以使得實際上不存在成分之縮放。 替代地,對成分縮放參數之推斷可基於SEI訊息所應用於的色彩空間來指定。 - 當色彩空間為YCbCr且comp_scale_num_comps_minus1等於1時,成分縮放參數應用於Cb及Cr成分兩者。 - 當色彩空間為YCbCr且comp_scale_num_comps_minus1等於2時,第一及第二成分縮放參數應用於Cb及Cr成分兩者。 在一個替代方案中,基於comp_scale_id之值或基於明確語法元素來指定不同推斷。 替代地,添加如下所述之約束: 針對位元串流一致性之約束為,對於具有CLVS內之comp_scale_id之給定值的所有成分縮放SEI訊息,comp_scale_num_comps_minus1之值應相同。comp_scale_input_bit_depth_minus8
加8指定用以發信語法元素comp_scale_input_point[ c ][ i ]之位元之數目。comp_scale_input_bit_depth_minus8之值應在0至8(包括0及8)之範圍中。 當將成分縮放SEI訊息應用於在0.0至1.0之範圍中之正規化浮點表示中的輸入時,SEI訊息指為了以等於(colour_remap_input_bit_depth_minus8 + 8)之位元深度將輸入視訊轉換至經轉換視訊表示所執行的量化操作之假想結果。 當將成分縮放SEI訊息應用於具有不等於(comp_scale_input_bit_depth_minus8 + 8)之位元深度之輸入時,SEI訊息指為了以等於(colour_remap_input_bit_depth_minus8 + 8)之位元深度將輸入視訊表示轉換至經轉換視訊表示所執行的轉碼操作之假想結果。comp_scale_output_bit_depth_minus8
加8指定用以發信語法元素comp_scale_output_point[ c ][ i ]之位元之數目。comp_scale_output_bit_depth_minus8之值應在0至8範圍中(包括0及8)。 當將成分縮放SEI訊息應用於浮點表示中之輸入時,SEI訊息指為了將在處理成分縮放訊息之後獲得具有等於(colour_remap_output_bit_depth_minus8 + 8)之位元深度的視訊表示轉換至範圍0.0至1.0中之浮點表示所執行的反量化操作之假想結果。 替代地,用以發信comp_scale_input_point[ c ][ i ]及comp_scale_output_point[ c ][ i ]之位元之數目係分別發信為comp_scale_input_bit_depth及comp_scale_output_bit_depth,或換言之,無需減去8。comp_scale_num_points_minus1
[ c ]加1指定用以定義成分縮放函數之支點之數目。comp_scale_num_points_minus1[ c ]應在0至( 1 << Min(comp_scale_input_bit_depth_minus8 + 8, comp_scale_output_bit_depth_minus8 + 8) ) - 1範圍中(包括0及( 1 << Min(comp_scale_input_bit_depth_minus8 + 8, comp_scale_output_bit_depth_minus8 + 8) ) - 1)。comp_scale_input_point
[ c ][ i ]指定輸入圖像之第c個成分之第i個支點。comp_scale_input_point[ c ][ i ]之值應在0至( 1 << comp_scale_input_bit_depth_minus8[ c ] + 8 ) - 1範圍中(包括0及( 1 << comp_scale_input_bit_depth_minus8[ c ] + 8 ) - 1)。comp_scale_input_point[ c ][ i ]之值應大於或等於comp_scale_input_point[ c ][ i - 1 ]之值,其中i在1至comp_scale_points_minus1[ c ]範圍中(包括1及comp_scale_points_minus1[ c ])。comp_scale_output_point
[ c ][ i ]指定輸出圖像之第c個成分之第i個支點。comp_scale_output_point[ c ][ i ]之值應在1至( 1 << comp_scale_output_bit_depth_minus8[ c ] + 8 ) - 1範圍中(包括1及( 1 << comp_scale_output_bit_depth_minus8[ c ] + 8 ) - 1)。comp_scale_output_point[ c ][ i ]之值應大於或等於comp_scale_output_point[ c ][ i - 1 ]之值,其中i在1至comp_scale_points_minus1[ c ]範圍中(包括1及comp_scale_points_minus1[ c ])。 將映射輸入信號表示x及輸出信號表示y之程序指定如下,其中輸入及輸出兩者之樣本值分別在0至( 1 << comp_scale_input_bit_depth_minus8[ c ] + 8 ) - 1範圍中(包括0及( 1 << comp_scale_input_bit_depth_minus8[ c ] + 8 ) - 1)及0至( 1 << comp_scale_output_bit_depth_minus8[ c ] + 8 ) - 1範圍中(包括0及( 1 << comp_scale_output_bit_depth_minus8[ c ] + 8 ) - 1)。 if( x <= comp_scale_input_point[ c ][ 0 ] ) y = comp_scale_output_point[ c ][ 0 ] else if( x > comp_scale_input_point[ c ][ comp_scale_input_point_minus1[ c ] ] ) y = comp_scale_output_point[ c ][ comp_scale_output_point_minus1[ c ] ] else for( i = 1; i <= comp_scale_output_point_minus1[ c ]; i++ ) if( comp_scale_input_point[ i - 1 ] < x && x <= comp_scale_input_point[ i ] ) y = ( ( comp_scale_output_point[ c ][ i ] - comp_scale_output_point[ c ][ i - 1 ] ) ÷ ( comp_scale_input_point[ c ][ i ] - comp_scale_input_point[ c ][ i - 1 ] ) ) * ( x - comp_scale_input_point[ c ][ i - 1 ] ) + ( comp_scale_output_point[ c ][ i - 1 ] ) 在一個替代方案中,將輸入及輸出支點comp_scale_input_point[ c ][ i ]及comp_scale_output_point[ c ][ i ]寫碼為鄰近值之差;例如,delta_comp_scale_input_point[ ][ ]及delta_comp_scale_output_point[ ][ ],且使用指數哥倫布碼來寫碼該等語法元素。 在另一替代方案中,藉由其他內插方法(包括(但不限於)樣條及立方內插)來指定映射輸入及輸出表示值之程序。實例 2
此實例2展示與實例1中所描述之SEI語法結構相比的不同語法結構。在此語法結構中,關於比例及偏移(而非支點)來描述映射函數。成分縮放 SEI 訊息之語法 comp_scale_bit_depth_scale_val
指定用以發信語法元素comp_scale_val[ c ][ i ]之位元之數目。comp_scale_bit_depth_scale_val之值應在0至24範圍中(包括0及24)。comp_scale_log2_denom_scale_val
指定比例值之底數2分母。comp_scale_log2_denom_scale_val之值應在0至16範圍中(包括0及16)。comp_scale_global_offset_input_val
[ c ]加1指定輸入樣本值,小於該輸入樣本值之所有輸入表示值被裁剪至CompScaleOffsetOutputVal[ c ][ 0 ]。用以定義成分縮放函數。comp_scale_num_points_minus1[ c ]應在0至(1<<comp_scale_input_bit_depth)-1範圍中(包括0及(1<<comp_scale_input_bit_depth)-1)。用以表示comp_scale_global_offset_input_val[ c ]之位元之數目為comp_scale_input_bit_depth。comp_scale_global_offset_output_val
[ c ]加1指定輸出樣本值,低於comp_scale_global_offset_input_val[ c ]之所有輸入表示值將裁剪至該輸出樣本值。comp_scale_num_points_minus1[ c ]應在0至(1<<comp_scale_output_bit_depth)-1範圍中(包括0及(1<<comp_scale_output_bit_depth)-1)。用以表示comp_scale_global_offset_output_val[ c ]之位元之數目為comp_scale_output_bit_depth。comp_scale_num_points_minus1
[ c ]加1指定用以定義成分縮放函數之支點之數目。comp_scale_num_points_minus1[ c ]應在0至( 1 << Min(comp_scale_input_bit_depth, comp_scale_output_bit_depth) - 1範圍中(包括0及( 1 << Min(comp_scale_input_bit_depth, comp_scale_output_bit_depth) - 1)。 將映射輸入信號表示x及輸出信號表示y之程序指定如下,其中輸入表示兩者之樣本值在0至(1 << comp_scale_input_bit_depth) - 1範圍中(包括0及(1 << comp_scale_input_bit_depth) - 1),且輸出表示在及0至(1 << comp_scale_output_bit_depth) - 1範圍中(包括0及(1 << comp_scale_output_bit_depth) - 1)。 if( x <= CompScaleOffsetInputVal[ c ][ 0 ] ) y = CompScaleOffsetOutputVal[ c ][ 0 ] else if( x > CompScaleOffsetInputVal[ c ][ comp_scale_output_point_minus1 ] ) y = CompScaleOffsetOutputVal[ c ][ comp_scale_output_point_minus1 ] else for( i = 1; i <= comp_scale_output_point_minus1; i++ ) if( CompScaleOffsetInputVal[ i − 1 ] < x && x <= CompScaleOffsetInputVal[ i ] ) y = ( x − CompScaleOffsetInputVal[ i − 1 ] ÷ ( comp_scale_val[ c ][ i ] + CompScaleOffsetOutputVal[ c ][ i ]comp_scale_offset_val
[ c ][ i ]指定第c個成分之第i個樣本值區之偏移值。用以表示comp_scale_offset_val[ c ]之位元之數目等於comp_scale_input_bit_depth。comp_scale_val
[ c ][ i ]指定第c個成分之第i個樣本值區點之比例值。用以表示comp_scale_val[ c ]之位元之數目等於comp_scale_bit_depth_scale_val。 如下所述地導出變數CompScaleOffsetOutputVal[ c ][i]及CompScaleOffsetInputVal[ c ][i],其中i在0至comp_scale_num_points_minus1[ c ]範圍中(包括0及comp_scale_num_points_minus1[ c ])。 roundingOffset = ( comp_scale_log2_denom_scale_val = = 0 ) ? 0 : (1 << comp_scale_log2_denom_scale_val - 1) for( i = 0; i <= comp_scale_num_points_minus1[ c ]; i++ ) if( i = = 0 ) CompScaleOffsetOutputVal[ c ][ i ] = comp_scale_global_offset_output_val[ c ] CompScaleOffsetInputVal[ c ][ i ] = comp_scale_global_offset_input_val[ c ] else CompScaleOffsetOutputVal[ c ][ i ] = CompScaleOffsetOutputVal[ c ][ i - 1 ] + (comp_scale_offset_val[ c ][ i - 1 ] * comp_scale_val[ c ][ i - 1 ] + roundingOffset ) >> comp_scale_log2_denom_scale_val CompScaleOffsetInputVal[ c ][ i ] = CompScaleOffsetInputVal[ c ][ i - 1 ] + comp_scale_offset_val[ c ][ i - 1 ] 在一個替代方案中,如下所述,使用comp_scale_offset_val[ c ][ i ]直接計算CompScaleOffsetOutputVal[ ][ i ]及間接計算CompScaleOffsetInputVal[ ][ i ],其中i在0至comp_scale_num_points_minus1[ c ]範圍中。 for( i = 0; i < comp_scale_num_points_minus1[ c ]; i++ ) if( i = = 0 ) CompScaleOffsetOutputVal[ c ][ i ] = comp_scale_global_offset_output_val[ c ] CompScaleOffsetInputVal[ c ][ i ] = comp_scale_global_offset_input_val[ c ] else CompScaleOffsetInputVal[ c ][ i ] = CompScaleOffsetInputVal[ c ][ i - 1 ] + (comp_scale_offset_val[ c ][ i - 1 ] * comp_scale_val[ c ][ i - 1 ] + roundingOffset ) >> comp_scale_log2_denom_scale_val) CompScaleOffsetOutputVal[ c ][ i ] = CompScaleOffsetOutputVal[ c ][ i - 1 ] + comp_scale_offset_val[ c ][ i - 1 ] 在一個替代方案中,未發信comp_scale_offset_val[ c ][ i ],其中i在0至comp_scale_num_points_minus1[ c ]範圍中(包括0及comp_scale_num_points_minus1[ c ]),且基於比例經指定的comp_scale_num_points_minus1[ c ]等距分佈的間隔來導出comp_scale_offset_val[ c ][ i ]之值。如下所述地導出comp_scale_offset_val[ c ][ i ]之值,其中i在0至comp_scale_num_points_minus1[ c ] - 1範圍中(包括0及comp_scale_num_points_minus1[ c ] - 1)。 comp_scale_offset_val[ c ][ i ] = ( (1 << comp_scale_output_bit_depth ) - comp_scale_global_offset_output_val[ c ] ) ÷ comp_scale_num_points_minus1[ c ] 在另一替代方案中,如下所述地計算comp_scale_offset_val[ c ][ i ],其中i在0至comp_scale_num_points_minus1[ c ]範圍中(包括0及comp_scale_num_points_minus1[ c ])。 comp_scale_offset_val[ c ][ i ] = (1 << comp_scale_output_bit_depth ) ÷ comp_scale_num_points_minus1[ c ] ÷ 在一個替代方案中,替代發信comp_scale_num_points_minus1[ c ],使用log2_comp_scale_num_points[ c ]來發信支點之數目,其中( 1 << log2_comp_scale_num_points[ c ] )指定第c個成分之支點之數目。 替代地,將comp_scale_offset_val[ c ][ ]及comp_scale_val[ c ][ ]中之每一者發信為浮點數字,或具有指數及尾數之兩個語法元素。 在另一替代方案中,由comp_scale_output_point[ c ][ i ]來替代comp_scale_val[ c ][ i ]之發信。 語法元素之其餘部分之語義類似於實例1中所描述之彼等語義。實例 3
實例3中所描述之此方法類似於實例2中所描述之替代方案中之一者,以下情況除外:允許成分縮放函數獨立地更新。成分縮放 SEI 訊息之語法 成分縮放 SEI 訊息之語義
語義類似於實例2,以下語法元素除外。comp_scale_num_scale_regions
[ c ]指定用於針對第c個成分發信語法元素comp_scale_val[ c ][ i ]的區之數目。comp_scale_num_scale_regions[ c ]應在0至(1 << comp_scale_input_bit_depth) - 1範圍中(包括0及(1 << comp_scale_input_bit_depth) - 1)。 等於0之comp_scale_persist_component_flag
[ c ]指定用於第c個成分之成分縮放參數係明確地在SEI訊息中發信。等於1之comp_scale_persist_component_flag[ c ]指定用於第c個成分之成分縮放參數未明確地在SEI訊息中發信,且其按輸出次序自應用於先前圖像的成分縮放SEI訊息之第c個成分之成分縮放參數持續。 位元串流一致性之一要求為:當成分縮放SEI訊息存在於IRAP存取單元中時,comp_scale_persist_component_flag[ c ](若存在)之值應等於0。 替代地,添加以下條件: 位元串流一致性之要求為:當成分縮放SEI訊息存在於非IRAP存取單元之存取單元中且comp_scale_persist_component_flag[ c ]等於1時,則存在按輸出次序先於當前圖像且按輸出次序在按解碼次序之先前IRAP圖像之後的至少一個圖像(包括性),以使得該一個圖像與comp_scale_persistence_flag 等於1之成分縮放SEI訊息相關聯。comp_scale_persistence_flag
指定當前層之成分縮放資訊SEI消息之持續。 等於0之comp_scale_persistence_flag指定成分縮放資訊僅應用於當前經解碼圖像。 令picA為當前圖像等於1之comp_scale_persistence_flag指定第c個成分在成分縮放資訊對於當前層按輸出次序持續,直至以下條件中之任一者成立: - 當前層之新CLVS開始。 - 位元串流結束。 - 含有具有comp_scale_id之相同值及comp_scale_persist_component_flag[ c ]等於0且可適用於當前層之成分縮放資訊SEI訊息之存取單元中的當前層中之圖像picB被輸出,其中PicOrderCnt( picB )大於PicOrderCnt( picA ),其中PicOrderCnt( picB )及PicOrderCnt( picA )分別為緊接在調用用於針對picB之圖片次序計數的解碼程序之後的picB及picA之PicOrderCntVal值。實例 4
在此實例4中,揭示發信比例區之不同方法。成分縮放 SEI 訊息語法之變化 成分縮放 SEI 訊息語義之變化
該等語法元素之語義類似於先前實例中所描述之語義,以下除外:comp_scale_offset_begin_val
[ c ][ i ]指定比例值comp_scale_val[ c ][ i ]可適用的樣本值範圍之開始。用以表示comp_scale_offset_begin_val[ c ]之位元之數目等於comp_scale_input_bit_depth。comp_scale_offset_end_val
[ c ][ i ]指定比例值comp_scale_val[ c ][ i ]可適用的樣本值範圍之結束。用以表示comp_scale_offset_end_val[ c ]之位元之數目等於comp_scale_input_bit_depth。 針對comp_scale_offset_begin_val及comp_scale_offset_end_val未明確指定之區,推斷彼等區之comp_scale_value[ c ][ i ]等於0。 替代地,不發信comp_scale_offset_end_val[ c ][ i ],而改為發信comp_scale_offset_end_val[ c ][ i ]與comp_scale_offset_begin_val[ c ][ i ]之間的差,且在解碼器側導出comp_scale_offset_end_val[ c ][ i ]之值。 在另一替代方案中,指定輸出樣本範圍分成的區之總數目,且發信比例區經明確地發信的區之數目。
comp_scale_tot_scale_regions[ c ]指定樣本值分成的相等長度樣本值範圍之總數目。用以表示comp_scale_tot_scale_regions[ c ]之位元之數目等於comp_scale_input_bit_depth。 在一個替代方案中,comp_scale_tot_scale_regions[ c ]樣本值範圍在長度上可能不完全相等而係幾乎完全相等,以考慮區長度之整數準確度。comp_scale_region_idx
[ c ][ i ]指定比例值comp_scale_val[ c ][ i ]所應用於的樣本值範圍之索引。語法元素comp_scale_region_idx[ c ]之長度為Ceil( Log2( comp_scale_tot_scale_regions[ c ] ) )個位元。替代方案
替代地,色度中值(對於10位元資料為511)圍繞之區具有較小大小,即其他區之大小的一半。實例 5 成分比例 SEI 訊息之語法 成分比例 SEI 訊息之語義
成分縮放SEI訊息提供資訊以對經解碼圖像之各種成分執行縮放操作。色彩空間及應加以執行縮放操作之成分係由SEI訊息中所發信之語法元素之值判定。comp_scale_id
含有可用以識別成分縮放SEI訊息之用途之識別數字。comp_scale_id之值應在0至232
- 2範圍中(包括0及232
- 2)。comp_scale_id之值可用以指定成分縮放SEI訊息所處之色彩空間,或成分縮放SEI訊息係在線性或非線性域中應用。 在一些實例中,comp_scale_id可指定HDR重建構程序之組態。在一些實例中,comp_scale_id之特定值可與用於3個成分之縮放參數之發信相關聯。第一成分之縮放將應用於R'、G'、B'色彩空間之樣本,且應用隨後2個成分之參數以用於縮放Cr及Cb。 對於又一comp_scale_id值,hdr重建構程序可利用用於3個成分之參數,且將縮放應用於明度、Cr及Cb色彩成分之樣本。 在又一comp_scale_id值中,hdr重建構程序可利用針對4個成分之發信,該等成分中之3個將應用於明度、Cr及Cb縮放,且第4成分攜帶色彩校正之參數。 在一些實例中,comp_scale_id值之特定範圍可與以SDR回溯相容組態進行之HDR重建構相關聯,而comp_scale_id值之另一範圍可與進行至非回溯相容組態之HDR重建構相關聯。 如應用所判定,可使用0至255 (包括0及255)及512至231
- 1(包括512及231
- 1)的comp_scale_id之值。保留256至511 (包括256及511)及231
至232
-2(包括231
及232
-2)的comp_scale_id之值以供ITU-T|ISO/IEC未來使用。解碼器應忽略含有256至511範圍中(包括256及511)或231
至232
-2範圍中(包括231
及232
-2)的comp_scale_id之值的所有成分比例資訊SEI訊息,且位元串流不應含有此等值。 註解1-comp_scale_id可用以支援適合於不同顯示情境之成分縮放程序。舉例而言,comp_scale_id之不同值可對應於不同顯示位元深度或縮放應用所在之不同色彩空間。 替代地,comp_scale_id亦可用以識別針對與特定類型之顯示或解碼器(例如HDR、SDR)之相容性是否執行縮放。 等於1之comp_scale_cancel_flag
指示成分縮放資訊SEI訊息以應用於當前層之輸出次序抵消任何先前成分資訊SEI訊息之持續。等於0之comp_scale_cancel_flag指示成分縮放資訊跟隨。comp_scale_persistence_flag
指定當前層之成分縮放資訊SEI消息之持續。 等於0之comp_scale_persistence_flag指定成分縮放資訊僅應用於當前經解碼圖像。 令picA為當前圖像。等於1之comp_scale_persistence_flag指定成分縮放資訊對於當前層按輸出次序持續,直至以下條件中之任一者成立: - 當前層之新CLVS開始。 - 位元串流結束。 - 含有具有comp_scale_id之相同值且可適用於當前層之成分縮放資訊SEI訊息之存取單元中的當前層中之圖像picB被輸出,其中PicOrderCnt( picB )大於PicOrderCnt( picA ),其中PicOrderCnt( picB )及PicOrderCnt( picA )分別為緊接在調用用於針對picB之圖片次序計數的解碼程序之後的picB及picA之PicOrderCntVal值。comp_scale_scale_bit_depth
指定用以發信語法元素comp_scale_scale_val[ c ][ i ]之位元之數目。comp_scale_scale_bit_depth之值應在0至15範圍中(包括0及15)。comp_scale_offset_bit_depth
指定用以發信語法元素comp_scale_global_offset_val[ c ]及comp_scale_offset_val[ c ][ i ]之位元之數目。comp_scale_offset_bit_depth之值應在0至15範圍中(包括0及15)。comp_scale_scale_frac_bit_depth
指定用以指示第c個成分之第i個分割區之縮放參數之分數部分的LSB之數目。comp_scale_scale_frac_bit_depth之值應在0至15範圍中(包括0及15)。comp_scale_scale_frac_bit_depth之值應小於或等於comp_scale_scale_bit_depth之值。comp_scale_offset_frac_bit_depth
指定用以指示第c個成分之第i個分割區之偏移參數之分數部分的LSB之數目及第c個成分之全域偏移。comp_scale_offset_frac_bit_depth之值應在0至15範圍中(包括0及15)。comp_scale_offset_frac_bit_depth之值應小於或等於comp_scale_offset_bit_depth之值。comp_scale_num_comps_minus1
加1指定成分縮放函數經指定之成分之數目。comp_scale_num_comps_minus1應在0至2 (包括0及2)之範圍中。comp_scale_num_ranges
[ c ]指定輸出樣本範圍分割成的範圍之數目。comp_scale_num_ranges[ c ]之值應在0至63範圍中(包括0及63)。 等於1之comp_scale_equal_ranges_flag
[ c ]指示:輸出樣本範圍經分割成comp_scale_num_ranges[ c ]幾乎相等的分割區,且未明確發信分割區寬度。等於0之comp_scale_equal_ranges_flag[ c ]指示:輸出樣本範圍可分割成comp_scale_num_ranges[ c ]分割區,並非所有分割區具有相同大小,且明確發信分割區寬度。comp_scale_global_offset_val
[ c ]用以導出偏移值,該偏移值用以映射第c個成分之有效輸入資料範圍之最小值。comp_scale_global_offset_val[ c ]之長度為comp_scale_offset_bit_depth個位元。comp_scale_scale_val
[ c ][ i ]用以導出偏移值,該偏移值用以導出第c個成分之第i個分割區之寬度。comp_scale_global_offset_val[ c ]之長度為comp_scale_offset_bit_depth個位元。 如下所述地導出變數CompScaleScaleVal[ c ][ i ]: CompScaleScaleVal[ c ][ i ] = ( comp_scale_scale_val[ c ][ i ] >> comp_scale_scale_frac_bit_depth ) + ( comp_scale_scale_val[ c ][ i ] & ( (1 << comp_scale_scale_frac_bit_depth ) - 1 ) ) ÷ (1 << comp_scale_scale_frac_bit_depth )comp_scale_offset_val
[ c ][ i ]用以導出偏移值,該偏移值用以導出第c個成分之第i個分割區之寬度。comp_scale_global_offset_val[ c ]之長度為comp_scale_offset_bit_depth個位元。 當發信comp_scale_offset_val[ c ][ i ]時,如下所述地導出CompScaleOffsetVal[ c ][ i ]之值。 CompScaleOffsetVal[ c ][ i ] = ( comp_scale_offset_val[ c ][ i ] >> comp_scale_offset_frac_bit_depth ) + ( comp_scale_offset_val[ c ][ i ] & ( (1 << comp_scale_offset_frac_bit_depth ) - 1 ) ) ÷ (1 << comp_scale_offset_frac_bit_depth ) 替代地,如下所述地導出變數CompScaleScaleVal[ c ][ i ]及CompScaleOffsetVal[ c ][ i ]。 CompScaleScaleVal[ c ][ i ] = comp_scale_scale_val[ c ][ i ] ÷ (1 << comp_scale_scale_frac_bit_depth ) CompScaleOffsetVal[ c ][ i ] = comp_scale_offset_val[ c ][ i ] ÷ (1 << comp_scale_offset_frac_bit_depth ) 當comp_scale_equal_ranges_flag[ c ]等於1時,不發信comp_scale_offset_val[ c ][ i ],且如下所述地導出CompScaleOffsetVal[ c ][ i ]之值。 CompScaleOffsetVal[ c ][ i ] = 1 ÷ comp_scale_num_ranges[ c ] 如下所述地導出變數CompScaleOutputRanges[ c ][ i ]及CompScaleOutputRanges[ c ][ i ],其中i在0至comp_scale_num_ranges[ c ]範圍中。 for( i = 0; i <= comp_scale_num_ranges[ c ]; i++ ) if( i = = 0 ) CompScaleOutputRanges[ c ][ i ] = comp_scale_global_offset_val[ c ] ÷ (1 << comp_scale_offset_frac_bit_depth ) CompScaleInputRanges[ c ][ i ] = 0 else CompScaleInputRanges[ c ][ i ] = CompScaleOffsetInputRanges[ c ][ i - 1 ] + (CompScaleOffsetVal[ c ][ i - 1 ] * CompScaleScaleVal[ c ][ i - 1 ] CompScaleOutputRanges[ c ][ i ] = CompScaleOutputRanges[ c ][ i - 1 ] + CompScaleOffsetVal[ c ][ i - 1 ] 在一個替代方案中,如下所述地導出CompScaleOutputRanges[ ][ ]及CompScaleOutputRanges[ ][ ]之值。 for( i = 0; i <= comp_scale_num_ranges[ c ]; i++ ) if( i = = 0 ) CompScaleInputRanges[ c ][ i ] = comp_scale_global_offset_val[ c ] ÷ (1 << comp_scale_offset_frac_bit_depth ) CompScaleOutputRanges[ c ][ i ] = 0 else CompScaleInputRanges[ c ][ i ] = CompScaleOffsetInputRanges[ c ][ i - 1 ] + (CompScaleOffsetVal[ c ][ i - 1 ] * CompScaleScaleVal[ c ][ i - 1 ] CompScaleOutputRanges[ c ][ i ] = CompScaleOutputRanges[ c ][ i - 1 ] + CompScaleOffsetVal[ c ][ i - 1 ] 如下所述地指定映射輸入信號表示(其可用以涵蓋整數以及浮點兩者) x及輸出信號表示y之程序,其中輸入表示之樣本值經正規化在0至1範圍中,且輸出表示在0至1範圍中。 if( x <= CompScaleInputRanges[ c ][ 0 ] ) y = CompScaleOutputRanges[ c ][ 0 ] else if( x > CompScaleInputRanges[ c ][ comp_scale_num_ranges[ c ] ] ) y = CompScaleOutputRanges[ c ][ comp_scale_num_ranges[ c ]; ] else for( i = 1; i <= comp_scale_num_ranges[ c ]; i++ ) if( CompScaleInputRanges[ i - 1 ] < x && x <= CompScaleInputRanges[ i ] ) y = ( x – CompScaleInputRanges[ i - 1 ] ) ÷ comp_scale_val[ c ][ i ] + CompScaleOutputRanges[ c ][ i - 1 ] 在一個替代方案中,基於准許之樣本值範圍來設定CompScaleOutputRanges[ c ][ 0 ]之值。 替代地,如下所述地定義將輸入值valIn映射至輸出值valOut之程序。 m_pAtfRangeIn[ 0 ] = 0; m_pAtfRangeOut[ 0 ] = -m_offset2 *m_pAtfScale2[c][0]; for (int j = 1; j < m_atfNumberRanges + 1; j++) { m_pAtfRangeIn[ j ] = m_pAtfRangeIn[j - 1] + m_pAtfDelta[j - 1]; m_pAtfRangeOut[ j ] = m_pAtfRangeOut[j - 1] + m_pAtfScale2[ c ][ j - 1 ] * m_pAtfDelta[ j - 1 ]; } for (int j = 0; j < numRanges && skip = = 0; j++) { if (valIn <= pAtfRangeIn[ j + 1 ]) { valOut = (valIn - pOffset[component][ j ]) * pScale[ component ][ j ]; skip = 1; } ] 在一個替代方案中,對於第c個成分,m_offset2等於comp_scale_global_offset_val[ c ]□□ ( 1 << comp_scale_offset_frac_bit_depth ),m_pAtfScale[ c][ i ]等於CompScaleScaleVal[ c ][ i ]且m_pAtfDelta[ i ]等於CompScaleOffsetVal[ c ][ i ],且pScale及pOffset為自m_AtfScale及m_pAtfDelta導出之縮放參數及偏移參數。 將相應地定義反操作。實例 6
在一些實例中,上文所述(例如,實例5中)之發信方法中之一些可如展示地用於以下偽程式碼中。 m_atfNumberRanges為針對給定c的語法元素comp_scale_num_ranges[ c ]之項,其指定針對映射資料之動態範圍分割之數目。 m_pAtfRangeIn為CompScaleInputRanges之項,為大小為m_atfNumberRanges+1之陣列,其包括指定兩個串接分割區(例如,i及i+1)之間的邊界之輸入樣本值。 m_pAtfRangeOut為CompScaleOutputRanges之項,為大小為m_atfNumberRanges+1之陣列,其包括指定兩個串接分割區(例如,i及i+1)之間的邊界之輸出樣本值。 m_pAtfScale2為變數CompScaleScaleVal [ c ]之項,為具有大小m_atfNumberRanges之陣列,其包括用於每一分割區之比例值。 m_pAtfOffset2為陣列大小為m_atfNumberRanges之陣列,其包括用於每一分割區之偏移值。 m_offset2為針對comp_scale_global_offset_val之項目。 在此實例中,可根據語法元素判定片段線性模型之參數,如在演算法1中。 演算法1: m_pAtfRangeIn[0] = 0; m_pAtfRangeOut[0] = -m_offset2 *m_pAtfScale2[c][0]; for (int j = 1; j < m_atfNumberRanges + 1; j++) { m_pAtfRangeIn[j] = m_pAtfRangeIn[j - 1] + m_pAtfDelta[j - 1]; m_pAtfRangeOut[j] = m_pAtfRangeOut[j - 1] + m_pAtfScale2[c][j - 1] * m_pAtfDelta[j - 1]; } for (int j = 0; j < m_atfNumberRanges; j++) { temp = m_pAtfRangeIn[j + 1] - m_pAtfRangeOut[j + 1] / m_pAtfScale2[c][j]; m_pAtfOffset2[c][j] = temp; } 一旦判定,即可將片段線性模型應用於輸入樣本值inValue,以判定輸出樣本值outValue,如在演算法2中: 演算法2: for (int j = 0; j < m_atfNumberRanges && skip == 0; j++) { if (inValue <= m_pAtfRangeIn[j + 1]) { outValue = (inValue - m_pAtfOffset2 [j]) * m_pAtfScale2 [j]; skip = 1; } } 將進行逆程序,如在演算法3中: 演算法3: for (int j = 0; j < m_atfNumberRanges && skip == 0; j++) { if (inValue <= m_pAtfRangeOut[j + 1]) { outValue = inValue / m_pAtfScale2 [j] + m_pAtfOffset2 [j]; skip = 1; } } 在一些實例中,兩個串接分割區i與i+1之間的邊界樣本值(m_pAtfRangeIn或m_pAtfRangeOut之輸入項)可不同地解譯為屬於i+1分割區(而非屬於i分割區),此係因為其展示於演算法2及3中。 在一些實例中,演算法3中所展示之逆程序可藉由利用乘以m_pAtfInverseScale2值(而非除以m_pAtfScale2[j])來實施。在此等實例中,預先根據m_pAtfScale2[ j ]來判定m_pAtfScale2[ j ]之值。 在一些實例中,m_pAtfInverseScale2 [j]在解碼器側經判定為1/m_pAtfScale2[j]。 在一些實例中,m_pAtfInverseScale2 [j]可在編碼器側進行計算,且經由位元串流發信。在此等實例中,演算法1、2及3中給定之操作將予以相應調整。 各種實例 在一些實例中,建議之發信機制可用以模型化片段函數,其可用以實現針對輸入信號之樣本的動態範圍調整,(例如)以改良視訊寫碼系統之壓縮效率。 在一些實例中,建議之發信機制可用以模型化片段函數,其可應用於藉由OETF(例如,藉由ST.2084之PQ TF或其他)產生之碼字(R、G、B樣本之非線性表示)。 在一些實例中,建議之發信機制可用以模型化可應用於YCbCr色彩之樣本的片段函數。 在一些實例中,建議之發信機制可用以模型化可用以具有SDR相容性之HDR/WCG解決方案之片段函數。 在一些實例中,建議之發信機制可用以模型化可應用於浮點表示之樣本之片段函數。在另一實例中,建議之發信機制及所得函數可應用於整數表示(例如,10位元)之樣本。 在一些實例中,建議之發信機制可用以模型化可應用於查找表形式之樣本的片段函數。在另一實例中,建議之發信機制可用以模型化可應用於乘法器形式之樣本的函數。組合及擴展
在以上實例中,針對每一區採用線性模型(即,比例加偏移);本發明之技術亦可適用於高次多項式模型,例如,第2程度之多項式需要三個參數而非兩個參數。將針對此情境適當地擴展發信及語法。 上述態樣之組合係可能的且為本發明之技術之部分。 工具箱組合:存在可以與本發明中所描述之SEI之目的有些類似之目的為目標的若干HDR方法。為了適應其中超過一個之目標,但同時限制每個圖框之可適用SEI處理之數目,建議將此等方法(中之一或多者)組合在單一SEI中。建議之語法元素將指示在各情況下應用之特定方法。舉例而言,若SEI中存在兩種可能方法,則語法元素將為指示待使用之方法的旗標。實例 7
在此實例中,修改縮放參數之發信,以使得可傳輸負比例,且所發信之縮放參數指示針對各種成分之不同範圍將應用的比例之偏差。以下為相對於實例5之變化。SEI 訊息之語法之變化 SEI 訊息之語義之變化
等於1之comp_scale_negative_scales_present_flag
指定自comp_scale_scale_val[ c ][ i ]導出之縮放參數之整數部分係表示為有正負號整數。等於0之comp_scale_negative_scales_present_flag指定自comp_scale_scale_val[ c ][ i ]導出之整數部分縮放參數係表示為無正負號整數。 在一個替代方案中,將偏移參數之另一集合與comp_scale_scale_val一起發信,該等偏移參數用以定義與第一成分之比例一起應用之偏移作為第二成分之值之函數。 有正負號整數表示包括(但不限於)二補碼標記法且有正負號量值表示(一個位元用於正負號且剩餘位元用於整數部分)。針對有正負號量值表示給出以下推導。對於其他形式之有正負號表示,可類似地定義推導。 如下所述地導出變數CompScaleScaleVal[ c ][ i ]: compScaleScaleFracPart = ( comp_scale_scale_val[ c ][ i ] & ( (1 << comp_scale_scale_frac_bit_depth ) - 1 ) ) ÷ (1 << comp_scale_scale_frac_bit_depth ) if( comp_scale_negative_scales_present_flag ) { compScaleSignPart = comp_scale_scale_val[ c ][ i ] >> (comp_scale_scale_bit_depth - 1) compScaleIntegerPart = comp_scale_scale_val[ c ][ i ] - ( compScaleSignPart << (comp_scale_scale_bit_depth - 1) ) compScaleIntegerVal = ( ( compScaleSignPart = = 1 ) : -1 : 1 ) * compScaleIntegerPart } else compScaleIntegerVal = comp_scale_scale_val[ c ][ i ] >> comp_scale_scale_frac_bit_depth CompScaleScaleVal[ c ][ i ] = compScaleIntegerVal + compScaleScaleFracPart 位元串流一致性之一要求為:當comp_scale_negative_scale_present_flag等於1時,comp_scale_scale_bit_depth之值應大於或等於comp_scale_scale_frac_bit_depth。comp_scale_dependent_component_id
指定縮放參數及偏移參數於視訊之各種成分之應用。當comp_scale_dependent_component_id等於0時,使用語法元素comp_scale_global_offset_val[ c ]、comp_scale_scale_val[ c ][ i ]及comp_scale_offset_val[ c ][ i ]來識別第c個成分之輸入值及輸出值之映射。當comp_scale_dependent_component_id大於0時,comp_scale_dependent_component_id - 1指定成分之索引,以使得語法元素comp_scale_global_offset_val[ c ]、comp_scale_scale_val[ c ][ i ]及comp_scale_offset_val[ c ][ i ]指定待應用於樣本之第c個成分之縮放參數之映射為樣本之第( comp_scale_dependent_component_id - 1 )個成分之值的函數。 語義之其餘部分類似於實例5中所描述之彼等語義。實例 8
在此實例中,ATF參數之位元深度取決於成分。對於每一成分,語法元素之位元深度係明確地發信。另外,對於彼等語法元素,存在預設位元深度。預設值係在位元深度未明確地發信時指派。一旗標可指示是否應用預設值或明確地發信預設值。 下表展示此等概念之實例。ATF參數之語法元素為比例hdr_recon_scale_val[ ][ ]及範圍hdr_recon_range_val[ ][ ]。指示對應位元深度之語法元素(整數部分及分數部分)為以下各者: · hdr_recon_scale_bit_depth[c], · hdr_recon_offset_bit_depth[c], · hdr_recon_scale_frac_bit_depth[c], · hdr_recon_offset_frac_bit_depth[ c ], 其中c為成分索引。可將比例及偏移(範圍)之預設位元深度設定為: · hdr_recon_scale_bit_depth[c] = 8, · hdr_recon_offset_bit_depth[c] = 8, · hdr_recon_scale_frac_bit_depth[c] = 6, · hdr_recon_offset_frac_bit_depth[ c ] = 8. 參數之準確度亦可針對ATF參數及色彩調整參數而不同。並且,預設值可按成分且針對色彩調整參數而不同。在此實例中,假定預設值為相同的。 實例 9
新HDR解決方案之所需性質為與先前HDR解決方案(如HDR10)回溯相容。語法元素可指示情況如此。此指示位元串流之特性,且HDR解碼器可決定在某些環境下不將計算資源耗費在反ATF處理上,若非ATF版本已經可視。 在一個實例中,保留hdr_recon_id語法元素之某些值以指示HDR10回溯相容性,或回溯相容性之程度。 在另一實例中,旗標(hdr_recon_hdr10_bc)指示此情形。 在一個實例中,發信之HDR10回溯相容性指示位元串流係可視的。替代地,其可指示發信值之某些特定性質:例如,發信值為保證此性質之一系列值。舉例而言,約束可為比例在0.9與1.1之間。 圖12為說明可實施本發明之技術之視訊編碼器20之實例的方塊圖。視訊編碼器20可執行目標色彩表示中已由視訊預處理器19處理之視訊圖塊內之視訊區塊的框內及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干基於空間之寫碼模式中之任一者。框間模式(諸如,單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中的任一者。 如圖12所示,視訊編碼器20接收待編碼視訊圖框之當前視訊區塊。在圖12之實例中,視訊編碼器20包括模式選擇單元40、視訊資料記憶體41、經解碼圖像緩衝器64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測處理單元46及分割單元48。為了視訊區塊重建構,視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括解區塊濾波器(圖12中未圖示)以濾波區塊邊界以自重建構視訊移除區塊效應假影。若需要,解區塊濾波器通常將對求和器62之輸出進行濾波。亦可使用除解區塊濾波器以外之額外濾波器(迴路中或迴路後)。為簡潔起見未展示此等濾波器,但若需要,此等濾波器可對求和器50之輸出進行濾波(作為迴路中濾波器)。 視訊資料記憶體41可儲存待由視訊編碼器20之組件編碼的視訊資料。可(例如)自視訊源18獲得儲存於視訊資料記憶體41中之視訊資料。經解碼圖像緩衝器64可為儲存用於由視訊編碼器20在編碼視訊資料(例如,以框內或框間寫碼模式)時使用之參考視訊資料的參考圖像記憶體。視訊資料記憶體41及經解碼圖像緩衝器64可由多種記憶體器件中之任一者形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM (SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體41及經解碼圖像緩衝器64。在各種實例中,視訊資料記憶體41可與視訊編碼器20之其他組件一起在晶片上,或相對於彼等組件在晶片外。 在編碼程序期間,視訊編碼器20接收待寫碼之視訊圖框或圖塊。圖框或圖塊可劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收之視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測處理單元46可替代地執行所接收視訊區塊相對於在與待寫碼之區塊相同的圖框或圖塊中之一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次,(例如)以選擇用於每一視訊資料區塊的適當寫碼模式。 此外,分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言,分割單元48可起初將圖框或圖塊分割成LCU,並且基於速率-失真分析(例如,速率-失真最佳化)將LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。 模式選擇單元40可(例如)基於誤差結果而選擇寫碼模式(框內或框間)中之一者,且將所得經框內寫碼或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料,且提供至求和器62以重建構用作參看圖框之經編碼區塊。模式選擇單元40亦將語法元素(諸如,運動向量、框內模式指示符、分區資訊及其他此類語法資訊)提供至熵編碼單元56。 運動估計單元42及運動補償單元44可高度整合,但為概念目的而分開說明。由運動估計單元42執行之運動估計為產生運動向量之程序,運動向量估計視訊區塊之運動。舉例而言,運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖像(或其他經寫碼單元)內的預測性區塊相對於在該當前圖像(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼區塊之區塊,該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中,視訊編碼器20可計算儲存於經解碼圖像緩衝器64中之參考圖像之子整數像素位置的值。舉例而言,視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此,運動估計單元42可執行相對於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊之位置而計算框間寫碼圖塊中之視訊區塊之PU的運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1),該等參考圖像清單中之每一者識別儲存於經解碼圖像緩衝器64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於由運動估計單元42所判定之運動向量來提取或產生該預測性區塊。又,在一些實例中,運動估計單元42及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量之後,運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊,從而形成像素差值,如下文所論述。一般而言,運動估計單元42相對於明度成分而執行運動估計,且運動補償單元44將基於明度成分所計算之運動向量用於色度成分與明度成分兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊過程中使用。 如上所述,作為由運動估計單元42及運動補償單元44所執行之框間預測的替代,框內預測處理單元46可對當前區塊進行框內預測。詳言之,框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中,框內預測處理單元46可(例如)在分開之編碼遍次期間使用各種框內預測模式來編碼當前區塊,且框內預測單元46(或在一些實例中,模式選擇單元40)可自所測試之模式選擇使用之適當框內預測模式。 舉例而言,框內預測處理單元46可使用針對各種所測試框內預測模式之速率-失真分析來計算速率-失真值,且在所測試模式間選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析一般判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量,以及用以產生經編碼區塊之位元速率(亦即,位元數目)。框內預測處理單元46可自各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。 在選擇區塊之框內預測模式之後,框內預測處理單元46可將指示區塊之所選擇框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者:組態資料,其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表);各種區塊之編碼上下文的定義;及待用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。 視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊,從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。在任何狀況下,變換處理單元52將變換應用於殘差區塊,從而產生殘差變換係數區塊。該變換可將殘差資訊自像素值域變換至變換域,諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。 量化單元54量化變換係數以進一步減小位元速率。該量化程序可減少與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數來修改量化之程度。在一些實例中,量化單元54隨後可執行對包括經量化之變換係數之矩陣的掃描。替代地,熵編碼單元56可執行掃描。 在量化之後,熵編碼單元56熵寫碼經量化之變換係數。舉例而言,熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的狀況下,上下文可基於鄰近區塊。在由熵寫碼單元56進行熵寫碼之後,可將經編碼位元串流傳輸至另一器件(例如,視訊解碼器30)或加以存檔以供稍後傳輸或擷取。 反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊加至經解碼圖像緩衝器64之圖框中的一者之預測性區塊而計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構之殘餘區塊,以計算在運動估計中使用之子整數像素值。求和器62將經重建構之殘餘區塊添加至由運動補償單元44所產生之經運動補償預測區塊,以產生用於儲存於經解碼圖像緩衝器64中之經重建構視訊區塊。經重建構的視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以框間寫碼在後續視訊圖框中之區塊。 圖13為說明可實施本發明之技術之視訊解碼器30之實例的方塊圖。詳言之,視訊解碼器30可將視訊資料解碼成目標色彩表示,其接著可由視訊後處理器31進行處理,如上所述。在圖13之實例中,視訊解碼器30包括熵解碼單元70、視訊資料記憶體71、運動補償單元72、框內預測處理單元74、反量化單元76、反變換處理單元78、經解碼圖像緩衝器82及求和器80。在一些實例中,視訊解碼器30可執行大體上與關於視訊編碼器20(圖12)所描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70所接收之運動向量產生預測資料,而框內預測處理單元74可基於自熵解碼單元70所接收之框內預測模式指示符產生預測資料。 視訊資料記憶體71可儲存待由視訊解碼器30之組件解碼的視訊資料,諸如經編碼視訊位元串流。可(例如)經由視訊資料之有線或無線網路通信或藉由存取實體資料儲存媒體而自電腦可讀媒體16 (例如,自本端視訊源,諸如攝影機)獲得儲存於視訊資料記憶體71中之視訊資料。視訊資料記憶體71可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器82可為儲存用於由視訊解碼器30在解碼視訊資料(例如,在框內或框間寫碼模式中)過程中使用的參考視訊資料之參考圖像記憶體。視訊資料記憶體71及經解碼圖像緩衝器82可由多種記憶體裝置中之任一者形成,諸如動態隨機存取記憶體(DRAM),包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體裝置。可由同一記憶體器件或單獨記憶體器件提供視訊資料記憶體71及經解碼圖像緩衝器82。在各種實例中,視訊資料記憶體71可與視訊解碼器30之其他組件一起在晶片上,或相對於彼等組件在晶片外。 在解碼程序期間,視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化之係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收視訊片段層級及/或視訊區塊層級之語法元素。 當視訊圖塊經寫碼為經框內寫碼(I)圖塊時,框內預測處理單元74可基於經傳信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即,B或P)圖塊時,運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生當前視訊圖塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於經解碼圖像緩衝器82中之參考圖像使用預設建構技術來建構參考圖像清單(清單0及清單1)。運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊,且使用該預測資訊產生用於正經解碼之當前視訊區塊之預測性區塊。舉例而言,運動補償單元72使用所接收語法元素中之一些,以判定用以寫碼視訊圖塊之視訊區塊之預測模式(例如,框內或框間預測)、框間預測圖塊類型(例如,B圖塊或P圖塊)、用於該圖塊之參考圖像清單中之一或多者之建構資訊、用於該圖塊之每一經框間編碼視訊區塊之運動向量、用於該圖塊之每一經框間寫碼視訊區塊之框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間所使用的內插濾波器,以計算參考區塊之子整數像素的內插值。在此情況下,運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。 反量化單元76反量化(亦即,解量化)位元串流中所提供,並由熵解碼單元70解碼的經量化變換係數。反量化程序可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY
以判定應進行應用的量化程度及(同樣地)反量化程度。反變換處理單元78將反變換(例如,反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數,以便產生像素域中之殘餘區塊。 在運動補償單元72基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後,視訊解碼器30藉由將來自反變換處理單元78之殘餘區塊與由運動補償單元72產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示可執行此求和運算之組件或多個組件。若需要,亦可應用解區塊濾波器來對經解碼區塊濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)使像素轉變平滑,或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存在經解碼圖像緩衝器82中,經解碼圖像緩衝器儲存用於後續運動補償之參考圖像。經解碼圖像緩衝器82亦儲存經解碼視訊,以用於稍後在顯示器件(諸如,圖1之顯示器件32)上呈現。 圖14為說明根據本發明之技術之實例HDR/WCG轉換程序的流程圖。圖14之該等技術可由圖1之源器件12 (包括視訊預處理器19及/或視訊編碼器20中之一或多者)執行。 在本發明之一個實例中,源器件12可經組態以編碼視訊。此器件可進行以下操作:對視訊資料執行一動態範圍調整以自該視訊資料產生調整後成分值(1502);及在一經編碼視訊位元串流中發信至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之複數個分割區中之每一者的一全域偏移值(1504)。在圖14之實例中,視訊資料為進行視訊編碼之前的輸入視訊資料。在一些其他實例中,源器件可在一經編碼視訊位元串流中發信至少一個SEI訊息,該至少一個SEI訊息指示指定該反動態範圍調整將由一解碼器應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間將分割成之複數個分割區中之每一者的一全域偏移值(1504)。 在一些實例中,該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代,其中該調整資訊進一步包括一第二全域偏移值,且其中對該視訊資料執行該動態範圍調整包括:將匹配該第一全域偏移值之成分值映射至該第二全域偏移值。 在其他實例中,該調整資訊進一步包括該視訊資料在該動態範圍調整期間所分割成的分割區之一數目,及用於一或多個分割區之一比例及一區域偏移值,且其中執行該動態範圍調整包括:根據分割區之該數目及用於一或多個分割區之比例及區域偏移而產生該等調整後成分值(1506)。 圖15為說明根據本發明之技術之實例HDR/WCG逆轉換程序的流程圖。圖15之該等技術可由圖1之目的地器件14 (包括視訊後處理器31及/或視訊解碼器30中之一或多者)執行。 在本發明之一個實例中,目的地器件14可經組態以解碼已藉由執行一動態範圍調整進行調整之視訊資料。此器件可進行以下操作:接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之複數個分割區中之每一者的一全域偏移值(1602);及根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值(1604)。在圖15之實例中,視訊資料為經解碼視訊資料。在其他實例中,器件可進行以下操作:接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示該動態範圍調整將如何應用於該視訊資料之調整資訊,且其中該調整資訊包括應用於該視訊資料在該反動態範圍調整期間將分割成的複數個分割區中之每一者的一全域偏移值(1604);及根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值(1604)。 在一些實例中,該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代,其中該調整資訊進一步包括一第二全域偏移值,且其中對該視訊資料執行該反動態範圍調整包括:將匹配該第二全域偏移值之成分值映射至該第一全域偏移值。 在其他實例中,該調整資訊進一步包括該視訊資料在該動態範圍調整期間所分割成的分割區之一數目,及用於一或多個分割區之一比例及區域偏移值,且其中執行該反動態範圍調整包括:根據分割區之該數目及用於一或多個分割區之該比例及偏移而產生該等未調整成分值(1606)。 出於說明目的,本發明之某些態樣已經關於HEVC標準之擴展而描述。然而,本發明中所描述之技術可用於其他視訊寫碼程序,包括尚未開發之其他標準或專屬視訊寫碼程序。 如本發明中所描述,視訊寫碼器可指視訊編碼器或視訊解碼器。類似地,視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地,如適用,視訊寫碼可指視訊編碼或視訊解碼。 應認識到,取決於實例,本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可添加、合併或完全省略(例如,並非所有所描述的動作或事件對於技術之實踐係必要的)。此外,在某些實例中,可例如經由多執行緒處理、中斷處理或多個處理器同時地(而非依序地)執行動作或事件。 在一或多個實例中,所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施,則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸,且藉由基於硬體之處理單元來執行。電腦可讀媒體可包括電腦可讀儲存媒體,其對應於諸如資料儲存媒體之有形媒體或(例如)根據通信協定包括促進電腦程式自一位置至另一位置之傳送之任何媒體的通信媒體。以此方式,電腦可讀媒體大體可對應於(1)為非暫時性的有形電腦可讀儲存媒體,或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 借助於實例而非限制,此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器、快閃記憶體或可用以儲存呈指令或資料結構形式之所要的程式碼且可由電腦存取的任何其他媒體。又,將任何連接適當地稱為電腦可讀媒體。舉例而言,若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令,則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而,應理解,電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體,而是針對非暫時性有形儲存媒體。如本文所使用,磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟,其中磁碟通常以磁性方式再現資料,而光碟用雷射以光學方式再現資料。以上各者之組合亦應包括於電腦可讀媒體之範圍內。 可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。相應地,如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中的任一者。另外,在一些態樣中,本文中所描述之功能性可提供於經組態用於編碼及解碼的專用硬體及/或軟體模組內,或併入於組合式編解碼器中。再者,該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可在多種器件或裝置中實施,該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如,晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣,但未必要求由不同硬體單元來實現。相反地,如上所述,可將各種單元組合於編碼解碼器硬體單元中,或由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供該等單元。 已描述各種實例。此等及其他實例可在以下申請專利範圍之範疇內。
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
17‧‧‧視訊預處理器
18‧‧‧視訊源
19‧‧‧視訊預處理器
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
31‧‧‧視訊後處理器
32‧‧‧顯示器件
33‧‧‧視訊後處理器
40‧‧‧模式選擇單元
41‧‧‧視訊資料記憶體
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧經解碼圖像緩衝器
70‧‧‧熵解碼單元
71‧‧‧視訊資料記憶體
72‧‧‧運動補償單元
74‧‧‧框內預測處理單元
76‧‧‧反量化單元
78‧‧‧反變換處理單元
80‧‧‧求和器
82‧‧‧經解碼圖像緩衝器
100‧‧‧SDR色域/三角形
102‧‧‧較廣色域/三角形
104‧‧‧光譜軌跡/舌片形狀之區域
200‧‧‧RGB原生CG視訊資料
202‧‧‧CG轉換器
204‧‧‧RGB目標CG視訊資料
206‧‧‧轉移函數單元
208‧‧‧色彩轉換單元
210‧‧‧調整單元
212‧‧‧DRA參數估計單元
214‧‧‧量化單元
216‧‧‧HDR之資料
300‧‧‧RGB原生CG
302‧‧‧反CG轉換器
304‧‧‧RGB目標CG
306‧‧‧反轉移函數
308‧‧‧反色彩轉換單元
310‧‧‧反調整單元
312‧‧‧DRA參數導出單元
314‧‧‧反量化單元
316‧‧‧HDR之資料
910‧‧‧碼字之一維原生範圍
910a‧‧‧值
920‧‧‧碼字之一維目標範圍
920a‧‧‧成分值
1210‧‧‧碼字之一維原生範圍
1210a‧‧‧表示值
1220‧‧‧碼字之一維目標範圍
1220a‧‧‧調整後成分值
1230‧‧‧碼字之一維原生範圍
1230a‧‧‧表示值
1231‧‧‧分割區
1232‧‧‧分割區
1233‧‧‧分割區
1234‧‧‧分割區
1235‧‧‧分割區
1240‧‧‧碼字之一維目標範圍
1240a‧‧‧調整後成分值
1242‧‧‧分割區
1244‧‧‧分割區
1250‧‧‧碼字之原生範圍
1250a‧‧‧表示值
1251‧‧‧分割區
1252‧‧‧分割區
1253‧‧‧分割區
1254‧‧‧分割區
1255‧‧‧分割區
1260‧‧‧碼字之目標範圍
1260a‧‧‧調整後成分值
1302‧‧‧第一查找表
1304‧‧‧3×3矩陣
1306‧‧‧第二查找表
1502‧‧‧步驟
1504‧‧‧步驟
1506‧‧‧步驟
1602‧‧‧步驟
1604‧‧‧步驟
1606‧‧‧步驟
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
17‧‧‧視訊預處理器
18‧‧‧視訊源
19‧‧‧視訊預處理器
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
31‧‧‧視訊後處理器
32‧‧‧顯示器件
33‧‧‧視訊後處理器
40‧‧‧模式選擇單元
41‧‧‧視訊資料記憶體
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧經解碼圖像緩衝器
70‧‧‧熵解碼單元
71‧‧‧視訊資料記憶體
72‧‧‧運動補償單元
74‧‧‧框內預測處理單元
76‧‧‧反量化單元
78‧‧‧反變換處理單元
80‧‧‧求和器
82‧‧‧經解碼圖像緩衝器
100‧‧‧SDR色域/三角形
102‧‧‧較廣色域/三角形
104‧‧‧光譜軌跡/舌片形狀之區域
200‧‧‧RGB原生CG視訊資料
202‧‧‧CG轉換器
204‧‧‧RGB目標CG視訊資料
206‧‧‧轉移函數單元
208‧‧‧色彩轉換單元
210‧‧‧調整單元
212‧‧‧DRA參數估計單元
214‧‧‧量化單元
216‧‧‧HDR之資料
300‧‧‧RGB原生CG
302‧‧‧反CG轉換器
304‧‧‧RGB目標CG
306‧‧‧反轉移函數
308‧‧‧反色彩轉換單元
310‧‧‧反調整單元
312‧‧‧DRA參數導出單元
314‧‧‧反量化單元
316‧‧‧HDR之資料
910‧‧‧碼字之一維原生範圍
910a‧‧‧值
920‧‧‧碼字之一維目標範圍
920a‧‧‧成分值
1210‧‧‧碼字之一維原生範圍
1210a‧‧‧表示值
1220‧‧‧碼字之一維目標範圍
1220a‧‧‧調整後成分值
1230‧‧‧碼字之一維原生範圍
1230a‧‧‧表示值
1231‧‧‧分割區
1232‧‧‧分割區
1233‧‧‧分割區
1234‧‧‧分割區
1235‧‧‧分割區
1240‧‧‧碼字之一維目標範圍
1240a‧‧‧調整後成分值
1242‧‧‧分割區
1244‧‧‧分割區
1250‧‧‧碼字之原生範圍
1250a‧‧‧表示值
1251‧‧‧分割區
1252‧‧‧分割區
1253‧‧‧分割區
1254‧‧‧分割區
1255‧‧‧分割區
1260‧‧‧碼字之目標範圍
1260a‧‧‧調整後成分值
1302‧‧‧第一查找表
1304‧‧‧3×3矩陣
1306‧‧‧第二查找表
1502‧‧‧步驟
1504‧‧‧步驟
1506‧‧‧步驟
1602‧‧‧步驟
1604‧‧‧步驟
1606‧‧‧步驟
圖1為說明經組態以實施本發明之技術之實例視訊編碼及解碼系統的方塊圖。 圖2為說明HDR資料之概念的概念圖。 圖3為說明實例色域之概念圖。 圖4為說明HDR/WCG表示轉換之實例的概念圖。 圖5為說明HDR/WCG表示逆轉換之實例的概念圖。 圖6為說明用於自感知均勻的碼層級至線性明度之視訊資料轉換(包括SDR及HDR)之電光轉移函數(EOTF)之實例的概念圖。 圖7為說明應用於單一色彩成分之色域轉換程序之態樣的概念圖。 圖8為說明根據本發明之技術操作之實例HDR/WCG轉換裝置的方塊圖。 圖9A至圖9C為說明根據本發明之一或多個態樣的動態範圍調整程序之態樣的概念圖。 圖10為說明根據本發明之技術之實例HDR/WCG逆轉換裝置的方塊圖。 圖11為展示色彩重映射資訊(CRI)程序之典型結構的概念圖。 圖12為說明可實施本發明之技術或可根據本發明之一或多個態樣使用的視訊編碼器之實例的方塊圖。 圖13為說明可實施本發明之技術或可根據本發明之一或多個態樣使用的視訊解碼器之實例的方塊圖。 圖14為說明根據本發明之技術之實例HDR/WCG轉換程序的流程圖。 圖15為說明根據本發明之技術之實例HDR/WCG逆轉換程序的流程圖。
1230‧‧‧碼字之一維原生範圍
1230a‧‧‧表示值
1231‧‧‧分割區
1232‧‧‧分割區
1233‧‧‧分割區
1234‧‧‧分割區
1235‧‧‧分割區
1240‧‧‧碼字之一維目標範圍
1240a‧‧‧調整後成分值
1242‧‧‧分割區
1244‧‧‧分割區
Claims (73)
- 一種解碼已藉由執行一動態範圍調整進行調整之視訊資料之方法,該方法包含: 自一經編碼視訊位元串流接收至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之一或多個分割區中之每一者的一全域偏移值;及 根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值。
- 如請求項1之方法, 其中該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代, 其中該調整資訊進一步包括一第二全域偏移值;且 其中對該視訊資料執行該反動態範圍調整包括: 將匹配該第二全域偏移值之成分值映射至該第一全域偏移值。
- 如請求項1之方法, 其中該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代,且 其中對該視訊資料執行該反動態範圍調整包括: 根據以下各者中之一或多者導出一第二全域偏移值:後設資料、視訊可用性資訊、一視訊參數集合、一序列參數集合、一圖像參數、一圖塊標頭或一CTU標頭;及 將匹配該第二全域偏移值之成分值映射至該第一全域偏移值。
- 如請求項1之方法, 其中該全域偏移值為一第一全域偏移值, 其中對該視訊資料執行該反動態範圍調整包括: 根據以下各者中之一或多者導出一第二全域偏移值:後設資料、視訊可用性資訊、一視訊參數集合、一序列參數集合、一圖像參數、一圖塊標頭或一CTU標頭,其中該第二全域偏移值係在對該視訊資料執行該動態範圍調整之前由小於該第二全域偏移值的未調整成分值取代之一值, 將匹配該第一全域偏移值之成分值映射至該第二全域偏移值。
- 如請求項1之方法,其進一步包含: 根據至少該全域偏移值而導出額外調整資訊,該額外調整資訊進一步指定該動態範圍調整已應用於該視訊資料之方式。
- 如請求項1之方法,其中該調整資訊進一步包括該視訊資料在該動態範圍調整期間所分割成的分割區之一數目,且 其中執行該反動態範圍調整包括: 根據分割區之該數目而產生該等未調整成分值。
- 如請求項6之方法,其中該調整資訊指定一個分割區,且其中該一個分割區適用於所有成分。
- 如請求項1之方法,其中該視訊資料包括明度成分及色度成分,其中該調整資訊包括該等明度成分在該動態範圍調整期間所分割成的分割區之一第一數目、該等色度成分之一第一集合在該動態範圍調整期間所分割成的分割區之一第二數目及該等色度成分之一第二集合在該動態範圍調整期間所分割成的分割區之一第三數目,且其中執行該反動態範圍調整包括: 根據分割區之該第一數目而產生未調整明度成分值; 根據分割區之該第二數目而產生對應於色度成分之該第一集合的未調整色度成分值;及 根據分割區之該第三數目而產生對應於色度成分之該第二集合的未調整色度成分值。
- 如請求項8之方法,其中分割區之該第二數目不同於分割區之該第一數目,且其中該第二數目個分割區中之一者係小於該第二數目個分割區中之任何其他分割區之一中性色度分割區。
- 如請求項1之方法,其中該視訊資料包括紅色、綠色及藍色成分,其中該調整資訊包括該等紅色成分在該動態範圍調整期間所分割成的分割區之一第一數目、該等綠色成分在該動態範圍調整期間所分割成的分割區之一第二數目及該等藍色成分在該動態範圍調整期間所分割成的分割區之一第三數目,且其中執行該反動態範圍調整包括: 根據分割區之該第一數目而產生未調整紅色成分值; 根據分割區之該第二數目而產生未調整綠色成分值;及 根據分割區之該第三數目而產生未調整藍色成分值。
- 如請求項6之方法,其中分割區之該數目係表示為分割區之該數目之一函數之一對數。
- 如請求項6之方法,其進一步包含: 根據該至少一個SEI訊息而導出額外調整資訊,該額外調整資訊進一步指定該動態範圍調整已應用於該視訊資料之方式。
- 如請求項6之方法,其中對該視訊資料執行該反動態範圍調整包括: 針對該視訊資料之每一成分之每一輸入樣本而判定該輸入樣本所屬之一分割區,及 針對該等分割區中之每一者而產生該等未調整成分值。
- 如請求項13之方法,其中該調整資訊進一步包括用於該等分割區中之每一者的一區域偏移值及一區域比例值,且其中產生該等未調整成分值包括: 根據該區域偏移值及該區域比例值而產生該等未調整成分值。
- 如請求項14之方法,其中用於該等分割區中之每一者的該區域偏移值係由一第一數目個位元及一第二數目個位元來表示,其中該第一數目個位元用以表示該區域偏移值之一整數部分且該第二數目個位元用以表示該區域偏移值之一分數部分,其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,且 其中對該視訊資料執行該反動態範圍調整包括: 根據如該第一數目個位元及該第二數目個位元所表示的用於該等分割區中之每一者的該區域偏移值而產生該等未調整成分值。
- 如請求項14之方法,其中用於該等分割區中之每一者的該區域比例值係由一第一數目個位元及一第二數目個位元來表示,其中該第一數目個位元用以表示該區域比例值之一整數部分且該第二數目個位元用以表示該區域比例值之一分數部分,其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,且 其中對該視訊資料執行該反動態範圍調整包括: 根據如該第一數目個位元及該第二數目個位元所表示的用於該等分割區中之每一者的該區域比例值而產生該等未調整成分值。
- 如請求項16之方法,其中該比例值之該整數部分係用一帶正負號量值格式或二補碼標記法中之一者來表示。
- 如請求項14之方法, 其中用於該等分割區中之每一者的該區域比例值係用於該等分割區中之每一者的一第一成分區域比例值, 其中該調整資訊進一步包括用於該等分割區中之每一者的一第二成分區域比例值, 其中用於該等分割區中之每一者的該第一成分區域比例值係由一第一數目個位元來表示,其中用於該等分割區中之每一者的該第二成分區域比例值係由一第二數目個位元來表示, 其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,位元之該第二數目不同於位元之該第一數目,且 其中對該視訊資料執行該反動態範圍調整包括: 根據用於該等分割區中之每一者的該第一成分區域比例值而產生第一成分未調整成分值;及 根據用於該等分割區中之每一者的該第二成分區域比例值而產生第二成分未調整成分值。
- 如請求項14之方法, 其中用於該等分割區中之每一者的該區域偏移值係用於該等分割區中之每一者的一第一成分區域偏移值, 其中該調整資訊進一步包括用於該等分割區中之每一者的一第二成分區域偏移值, 其中用於該等分割區中之每一者的該第一成分區域偏移值係由一第一數目個位元來表示,其中用於該等分割區中之每一者的該第二成分區域偏移值係由一第二數目個位元來表示, 其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,位元之該第二數目不同於位元之該第一數目,且 其中對該視訊資料執行該反動態範圍調整包括: 根據用於該等分割區中之每一者的該第一成分區域偏移值而產生第一成分未調整成分值;及 根據用於該等分割區中之每一者的該第二成分區域偏移值而產生第二成分未調整成分值。
- 如請求項6之方法,其中該調整資訊指示該等分割區是否具有相等大小。
- 如請求項6之方法,其中該調整資訊包括用於該等分割區中之每一者的一比例值及一大小值。
- 如請求項1之方法,其進一步包含: 在一顯示器件上顯示該動態範圍經調整之視訊資料。
- 一種編碼視訊資料之方法,其包含: 對該視訊資料執行一動態範圍調整以自該視訊資料產生調整後成分值;及 在一經編碼視訊位元串流中產生至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之一或多個分割區中之每一者的一全域偏移值。
- 如請求項23之方法, 其中該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代, 其中該調整資訊進一步包括一第二全域偏移值;且 其中對該視訊資料執行該動態範圍調整包括: 將匹配該第一全域偏移值之成分值映射至該第二全域偏移值。
- 如請求項23之方法, 其中該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代,且 其中對該視訊資料執行該動態範圍調整包括: 在以下各者中之一或多者中產生一第二全域偏移值:後設資料、視訊可用性資訊、一視訊參數集合、一序列參數集合、一圖像參數、一圖塊標頭或一CTU標頭;及 將匹配該第一全域偏移值之成分值映射至該第二全域偏移值。
- 如請求項23之方法, 其中該全域偏移值為一第一全域偏移值, 其中對該視訊資料執行該動態範圍調整包括: 在以下各者中之一或多者中產生一第二全域偏移值:後設資料、視訊可用性資訊、一視訊參數集合、一序列參數集合、一圖像參數、一圖塊標頭或一CTU標頭,其中該第二全域偏移值係在對該視訊資料執行該動態範圍調整之前由小於該第二全域偏移值的未調整成分值取代之一值, 將匹配該第一全域偏移值之成分值映射至該第二全域偏移值。
- 如請求項23之方法,其進一步包含: 基於該全域偏移值而產生額外調整資訊,該額外調整資訊進一步指定該動態範圍調整已應用於該視訊資料之方式。
- 如請求項23之方法,其中該調整資訊進一步包括該視訊資料在該動態範圍調整期間所分割成的分割區之一數目,且 其中執行該動態範圍調整包括: 根據分割區之該數目而產生該等調整後成分值。
- 如請求項26之方法,其中該調整資訊指定一個分割區,且其中該一個分割區適用於所有成分。
- 如請求項23之方法,其中該視訊資料包括明度成分及色度成分,其中該調整資訊包括該等明度成分在該動態範圍調整期間所分割成的分割區之一第一數目、該等色度成分之一第一集合在該動態範圍調整期間所分割成的分割區之一第二數目及該等色度成分之一第二集合在該動態範圍調整期間所分割成的分割區之一第三數目,且其中執行該動態範圍調整包括: 根據分割區之該第一數目而產生調整後明度成分值; 根據分割區之該第二數目而產生對應於色度成分之該第一集合的調整後色度成分值;及 根據分割區之該第三數目而產生對應於色度成分之該第二集合的調整後色度成分值。
- 如請求項30之方法,其中分割區之該第二數目不同於分割區之該第一數目,且其中該第二數目個分割區中之一者係小於該第二數目個分割區中之任何其他分割區之一中性色度分割區。
- 如請求項23之方法,其中該視訊資料包括紅色、綠色及藍色成分,其中該調整資訊包括該等紅色成分在該動態範圍調整期間所分割成的分割區之一第一數目、該等綠色成分在該動態範圍調整期間所分割成的分割區之一第二數目及該等藍色成分在該動態範圍調整期間所分割成的分割區之一第三數目,且其中執行該動態範圍調整包括: 根據分割區之該第一數目而產生調整後紅色成分值; 根據分割區之該第二數目而產生調整後綠色成分值;及 根據分割區之該第二數目而產生調整後藍色成分值。
- 如請求項28之方法,其中分割區之該數目係表示為分割區之該數目之一函數之一對數。
- 如請求項28之方法,其進一步包含: 基於分割區之該數目而產生額外調整資訊,該額外調整資訊進一步指定該動態範圍調整已應用於該視訊資料之方式。
- 如請求項26之方法,其中對該視訊資料執行該動態範圍調整包括: 針對該視訊資料之每一成分之每一輸入樣本而判定該輸入樣本所屬之一分割區;及 針對該等分割區中之每一者而產生該等調整後成分值。
- 如請求項35之方法,其中該調整資訊進一步包括用於該等分割區中之每一者的一區域偏移值及一區域比例值,且其中對該視訊資料執行該動態範圍調整包括: 根據該區域偏移值及該區域比例值而產生該等調整後成分值。
- 如請求項36之方法,其中用於該等分割區中之每一者的該區域偏移值係由一第一數目個位元及一第二數目個位元來表示,其中該第一數目個位元用以表示該區域偏移值之一整數部分且該第二數目個位元用以表示該區域偏移值之一分數部分,其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,且 其中對該視訊資料執行該動態範圍調整包括: 根據如該第一數目個位元及該第二數目個位元所表示的用於該等分割區中之每一者的該區域偏移值而產生該等調整後成分值。
- 如請求項36之方法,其中用於該等分割區中之每一者的該區域比例值係由一第一數目個位元及一第二數目個位元來表示,其中該第一數目個位元用以表示該區域比例值之一整數部分且該第二數目個位元用以表示該區域比例值之一分數部分,其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,且 其中對該視訊資料執行該動態範圍調整包括: 根據如該第一數目個位元及該第二數目個位元所表示的用於該等分割區中之每一者的該區域比例值而產生該等調整後成分值。
- 如請求項38之方法,其中該比例值之該整數部分係用一帶正負號量值格式或二補碼標記法中之一者來表示。
- 如請求項36之方法, 其中用於該等分割區中之每一者的該區域比例值係用於該等分割區中之每一者的一第一成分區域比例值, 其中該調整資訊進一步包括用於該等分割區中之每一者的一第二成分區域比例值, 其中用於該等分割區中之每一者的該第一成分區域比例值係由一第一數目個位元來表示,其中用於該等分割區中之每一者的該第二成分區域比例值係由一第二數目個位元來表示, 其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,位元之該第二數目不同於位元之該第一數目,且 其中對該視訊資料執行該動態範圍調整包括: 根據用於該等分割區中之每一者的該第一成分區域比例值而產生第一成分調整後成分值;及 根據用於該等分割區中之每一者的該第二成分區域比例值而產生第二成分調整後成分值。
- 如請求項36之方法, 其中用於該等分割區中之每一者的該區域偏移值係用於該等分割區中之每一者的一第一成分區域偏移值, 其中該調整資訊進一步包括用於該等分割區中之每一者的一第二成分區域偏移值, 其中用於該等分割區中之每一者的該第一成分區域偏移值係由一第一數目個位元來表示,其中用於該等分割區中之每一者的該第二成分區域偏移值係由一第二數目個位元來表示, 其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,位元之該第二數目不同於位元之該第一數目,且 其中對該視訊資料執行該動態範圍調整包括: 根據用於該等分割區中之每一者的該第一成分區域偏移值而產生第一成分調整後成分值;及 根據用於該等分割區中之每一者的該第二成分區域偏移值而產生第二成分調整後成分值。
- 如請求項28之方法,其中該調整資訊指示該等分割區是否具有相等大小。
- 如請求項28之方法,其中該調整資訊包括用於該等分割區中之每一者的一比例值及一大小值。
- 一種經組態以解碼已藉由執行一動態範圍調整進行調整之視訊資料之裝置,該裝置包含: 一記憶體,其經組態以儲存該視訊資料;及 經組態以進行以下操作之一或多個處理器: 接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之一或多個分割區中之每一者的一全域偏移值,及 根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值。
- 如請求項44之裝置, 其中該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代, 其中該調整資訊進一步包括一第二全域偏移值;且 其中對該視訊資料執行該反動態範圍調整包括: 將匹配該第二全域偏移值之成分值映射至該第一全域偏移值。
- 如請求項44之裝置, 其中該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代,且 其中對該視訊資料執行該反動態範圍調整包括: 根據以下各者中之一或多者導出一第二全域偏移值:後設資料、視訊可用性資訊、一視訊參數集合、一序列參數集合、一圖像參數、一圖塊標頭或一CTU標頭;及 將匹配該第二全域偏移值之成分值映射至該第一全域偏移值。
- 如請求項44之裝置, 其中該全域偏移值為一第一全域偏移值, 其中對該視訊資料執行該反動態範圍調整包括: 根據以下各者中之一或多者導出一第二全域偏移值:後設資料、視訊可用性資訊、一視訊參數集合、一序列參數集合、一圖像參數、一圖塊標頭或一CTU標頭,其中該第二全域偏移值係在對該視訊資料執行該動態範圍調整之前由小於該第二全域偏移值的未調整成分值取代之一值, 將匹配該第一全域偏移值之成分值映射至該第二全域偏移值。
- 如請求項44之裝置,其中該一或多個處理器經進一步組態以: 根據至少該全域偏移值而導出額外調整資訊,該額外調整資訊進一步指定該動態範圍調整已應用於該視訊資料之方式。
- 如請求項44之裝置,其中該調整資訊進一步包括該視訊資料在該動態範圍調整期間所分割成的分割區之一數目,且 其中執行該反動態範圍調整包括: 根據分割區之該數目而產生該等未調整成分值。
- 如請求項49之裝置,其中該調整資訊指定一個分割區,且其中該一個分割區適用於所有成分。
- 如請求項44之裝置,其中該視訊資料包括明度成分及色度成分,其中該調整資訊包括該等明度成分在該動態範圍調整期間所分割成的分割區之一第一數目、該等色度成分之一第一集合在該動態範圍調整期間所分割成的分割區之一第二數目及該等色度成分之一第二集合在該動態範圍調整期間所分割成的分割區之一第三數目,且其中執行該反動態範圍調整包括: 根據分割區之該第一數目而產生未調整明度成分值; 根據分割區之該第二數目而產生對應於色度成分之該第一集合的未調整色度成分值;及 根據分割區之該第三數目而產生對應於色度成分之該第二集合的未調整色度成分值。
- 如請求項51之裝置,其中分割區之該第二數目不同於分割區之該第一數目,且其中該第二數目個分割區中之一者係小於該第二數目個分割區中之任何其他分割區之一中性色度分割區。
- 如請求項44之裝置,其中該視訊資料包括紅色、綠色及藍色成分,其中該調整資訊包括該等紅色成分在該動態範圍調整期間所分割成的分割區之一第一數目、該等綠色成分在該動態範圍調整期間所分割成的分割區之一第二數目及該等藍色成分在該動態範圍調整期間所分割成的分割區之一第三數目,且其中執行該反動態範圍調整包括: 根據分割區之該第一數目而產生未調整紅色成分值; 根據分割區之該第二數目而產生未調整綠色成分值;及 根據分割區之該第三數目而產生未調整藍色成分值。
- 如請求項49之裝置,其中分割區之該第一數目係表示為一對數。
- 如請求項49之裝置,其中該一或多個處理器經進一步組態以: 根據該至少一個SEI訊息而導出額外調整資訊,該額外調整資訊進一步指定該動態範圍調整已應用於該視訊資料之方式。
- 如請求項49之裝置,其中對該視訊資料執行該反動態範圍調整包括: 針對該視訊資料之每一成分之每一輸入樣本而判定該輸入樣本所屬之一分割區,及 針對該等分割區中之每一者而產生該等未調整成分值。
- 如請求項56之裝置,其中該調整資訊進一步包括用於該等分割區中之每一者的一區域偏移值及一區域比例值,且其中對該視訊資料執行該反動態範圍調整包括: 根據該區域偏移值及該區域比例值而產生該等未調整成分值。
- 如請求項57之裝置,其中用於該等分割區中之每一者的該區域偏移值係由一第一數目個位元及一第二數目個位元來表示,其中該第一數目個位元用以表示該區域偏移值之一整數部分且該第二數目個位元用以表示該區域偏移值之一分數部分,其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,且 其中對該視訊資料執行該反動態範圍調整包括: 根據如該第一數目個位元及該第二數目個位元所表示的用於該等分割區中之每一者的該區域偏移值而產生該等未調整成分值。
- 如請求項57之裝置,其中用於該等分割區中之每一者的該區域比例值係由一第一數目個位元及一第二數目個位元來表示,其中該第一數目個位元用以表示該區域比例值之一整數部分且該第二數目個位元用以表示該區域比例值之一分數部分,其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,且 其中對該視訊資料執行該反動態範圍調整包括: 根據如該第一數目個位元及該第二數目個位元所表示的用於該等分割區中之每一者的該區域比例值而產生該等未調整成分值。
- 如請求項59之裝置,其中該比例值之該整數部分係用一帶正負號量值格式或二補碼標記法中之一者來表示。
- 如請求項57之裝置, 其中用於該等分割區中之每一者的該區域比例值係用於該等分割區中之每一者的一第一成分區域比例值, 其中該調整資訊進一步包括用於該等分割區中之每一者的一第二成分區域比例值, 其中用於該等分割區中之每一者的該第一成分區域比例值係由一第一數目個位元來表示,其中用於該等分割區中之每一者的該第二成分區域比例值係由一第二數目個位元來表示, 其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,位元之該第二數目不同於位元之該第一數目,且 其中對該視訊資料執行該反動態範圍調整包括: 根據用於該等分割區中之每一者的該第一成分區域比例值而產生第一成分未調整成分值;及 根據用於該等分割區中之每一者的該第二成分區域比例值而產生第二成分未調整成分值。
- 如請求項57之裝置, 其中用於該等分割區中之每一者的該區域偏移值係用於該等分割區中之每一者的一第一成分區域偏移值, 其中該調整資訊進一步包括用於該等分割區中之每一者的一第二成分區域偏移值, 其中用於該等分割區中之每一者的該第一成分區域偏移值係由一第一數目個位元來表示,其中用於該等分割區中之每一者的該第二成分區域偏移值係由一第二數目個位元來表示, 其中該調整資訊進一步包括位元之該第一數目及位元之該第二數目,位元之該第二數目不同於位元之該第一數目,且 其中對該視訊資料執行該反動態範圍調整包括: 根據用於該等分割區中之每一者的該第一成分區域偏移值而產生第一成分未調整成分值;及 根據用於該等分割區中之每一者的該第二成分區域偏移值而產生第二成分未調整成分值。
- 如請求項49之裝置,其中該調整資訊指示該等分割區是否具有相等大小。
- 如請求項49之裝置,其中該調整資訊包括用於該等分割區中之每一者的一比例值及一大小值。
- 如請求項44之裝置,其進一步包含一顯示器,該顯示器經組態以顯示包含該經解碼視訊資料之一圖像。
- 如請求項44之裝置,其中該裝置包含一攝影機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。
- 一種經組態以編碼視訊之裝置,該裝置包含: 一記憶體,其經組態以儲存該視訊資料;及 經組態以進行以下操作之一或多個處理器: 對該視訊資料執行一動態範圍調整以自該視訊資料產生調整後成分值,及 在一經編碼視訊位元串流中產生至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之一或多個分割區中之每一者的一全域偏移值。
- 如請求項67之裝置, 其中該全域偏移值為一第一全域偏移值,該第一全域偏移值在對該視訊資料執行該動態範圍調整之前由小於該第一全域偏移值之未調整成分值取代, 其中該調整資訊進一步包括一第二全域偏移值;且 其中對該視訊資料執行該動態範圍調整包括: 將匹配該第一全域偏移值之成分值映射至該第二全域偏移值。
- 如請求項67之裝置,其中該調整資訊進一步包括該視訊資料在該動態範圍調整期間所分割成的分割區之一數目,且 其中執行該動態範圍調整包括: 根據分割區之該數目而產生該等調整後成分值。
- 如請求項67之裝置,其進一步包含一攝影機感測器,該攝影機感測器經組態以擷取包含該視訊資料之一圖像。
- 如請求項67之裝置,其中該裝置包含一攝影機、一電腦、一行動器件、一廣播接收器器件或一機上盒中之一或多者。
- 一種經組態以解碼已藉由執行一動態範圍調整進行調整之視訊資料之裝置,該裝置包含: 用於接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息的構件,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之一或多個分割區中之每一者的一全域偏移值;及 用於根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值的構件。
- 一種用於解碼已藉由執行一動態範圍調整進行調整之視訊資料之電腦程式產品,該電腦程式產品包含儲存有指令之一電腦可讀媒體,該等指令在經執行時使一處理器進行以下操作: 接收一經編碼視訊位元串流中之至少一個補充增強資訊(SEI)訊息,該至少一個SEI訊息指示指定該動態範圍調整已應用於該視訊資料之方式的調整資訊,且其中該調整資訊包括應用於該視訊資料在該動態範圍調整期間所分割成之一或多個分割區中之每一者的一全域偏移值;及 根據該調整資訊對該視訊資料執行一反動態範圍調整以自該視訊資料產生未調整成分值。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562221586P | 2015-09-21 | 2015-09-21 | |
| US62/221,586 | 2015-09-21 | ||
| US201562236804P | 2015-10-02 | 2015-10-02 | |
| US62/236,804 | 2015-10-02 | ||
| US15/269,497 | 2016-09-19 | ||
| US15/269,497 US10129558B2 (en) | 2015-09-21 | 2016-09-19 | Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201729594A true TW201729594A (zh) | 2017-08-16 |
| TWI755363B TWI755363B (zh) | 2022-02-21 |
Family
ID=58283606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105130371A TWI755363B (zh) | 2015-09-21 | 2016-09-20 | 用於高動態範圍及廣色域視訊寫碼之補充增強資訊(sei)訊息 |
Country Status (14)
| Country | Link |
|---|---|
| US (2) | US10129558B2 (zh) |
| EP (1) | EP3354024B1 (zh) |
| JP (1) | JP6840740B2 (zh) |
| KR (1) | KR102642646B1 (zh) |
| CN (1) | CN108028935B (zh) |
| AU (1) | AU2016328639B2 (zh) |
| DK (1) | DK3354024T3 (zh) |
| ES (1) | ES2866180T3 (zh) |
| HU (1) | HUE054203T2 (zh) |
| PL (1) | PL3354024T3 (zh) |
| PT (1) | PT3354024T (zh) |
| SI (1) | SI3354024T1 (zh) |
| TW (1) | TWI755363B (zh) |
| WO (1) | WO2017053280A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230052835A1 (en) * | 2020-03-30 | 2023-02-16 | Bytedance Inc. | Slice type in video coding |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10129558B2 (en) * | 2015-09-21 | 2018-11-13 | Qualcomm Incorporated | Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding |
| US10244249B2 (en) | 2015-09-21 | 2019-03-26 | Qualcomm Incorporated | Fixed point implementation of range adjustment of components in video coding |
| US10200701B2 (en) * | 2015-10-14 | 2019-02-05 | Qualcomm Incorporated | HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding |
| US20190132600A1 (en) * | 2016-05-04 | 2019-05-02 | Thomson Licensing | Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function |
| EP3244616A1 (en) * | 2016-05-13 | 2017-11-15 | Thomson Licensing | A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions |
| US10334277B2 (en) * | 2016-09-02 | 2019-06-25 | Qualcomm Incorporated | Signaling target display parameters of color remapping information supplemental enhancement information messages |
| CN115834909B (zh) * | 2016-10-04 | 2023-09-19 | 有限公司B1影像技术研究所 | 图像编码/解码方法和计算机可读记录介质 |
| HUE060276T2 (hu) | 2016-10-05 | 2023-02-28 | Dolby Laboratories Licensing Corp | Forrásszínnel kapcsolatos mennyiségi információ üzenetküldés |
| US10477212B2 (en) * | 2016-10-11 | 2019-11-12 | Dolby Laboratories Licensing Corporation | Adaptive chroma quantization in video coding for multiple color imaging formats |
| EP3386198A1 (en) | 2017-04-07 | 2018-10-10 | Thomson Licensing | Method and device for predictive picture encoding and decoding |
| US10728559B2 (en) * | 2017-07-07 | 2020-07-28 | Qualcomm Incorporated | Precision of computation and signaling of dynamic range adjustment and color remapping information |
| US10778978B2 (en) * | 2017-08-21 | 2020-09-15 | Qualcomm Incorporated | System and method of cross-component dynamic range adjustment (CC-DRA) in video coding |
| US10778979B2 (en) * | 2018-01-11 | 2020-09-15 | Qualcomm Incorporated | Signaling mechanisms for equal ranges and other DRA parameters for video coding |
| US11153579B2 (en) * | 2018-03-23 | 2021-10-19 | Qualcomm Incorporated | Deriving dynamic range adjustment (DRA) parameters for video coding |
| US11303912B2 (en) * | 2018-04-18 | 2022-04-12 | Qualcomm Incorporated | Decoded picture buffer management and dynamic range adjustment |
| US11388447B2 (en) * | 2018-07-20 | 2022-07-12 | Interdigital Vc Holdings, Inc. | Method and apparatus for processing a medium dynamic range video signal in SL-HDR2 format |
| KR102533723B1 (ko) | 2018-09-14 | 2023-05-18 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| US10630867B2 (en) | 2018-09-17 | 2020-04-21 | Samsung Electronics Co., Ltd. | Perceptual hue preserved color-gamut transferring in non-uniform CIE-1931 color space |
| US11532261B1 (en) | 2018-10-25 | 2022-12-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11587491B1 (en) | 2018-10-25 | 2023-02-21 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10950162B2 (en) | 2018-10-25 | 2021-03-16 | Baylor University | System and method for a six-primary wide gamut color system |
| US11062638B2 (en) | 2018-10-25 | 2021-07-13 | Baylor University | System and method for a multi-primary wide gamut color system |
| US12444337B2 (en) | 2018-10-25 | 2025-10-14 | Baylor University | System and method for a multi-primary wide gamut color system |
| US12555507B2 (en) | 2018-10-25 | 2026-02-17 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11475819B2 (en) | 2018-10-25 | 2022-10-18 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11289003B2 (en) | 2018-10-25 | 2022-03-29 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11315467B1 (en) | 2018-10-25 | 2022-04-26 | Baylor University | System and method for a multi-primary wide gamut color system |
| US12444334B2 (en) | 2018-10-25 | 2025-10-14 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11410593B2 (en) | 2018-10-25 | 2022-08-09 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10607527B1 (en) | 2018-10-25 | 2020-03-31 | Baylor University | System and method for a six-primary wide gamut color system |
| US11289000B2 (en) | 2018-10-25 | 2022-03-29 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10997896B2 (en) | 2018-10-25 | 2021-05-04 | Baylor University | System and method for a six-primary wide gamut color system |
| US11189210B2 (en) | 2018-10-25 | 2021-11-30 | Baylor University | System and method for a multi-primary wide gamut color system |
| US12475826B2 (en) | 2018-10-25 | 2025-11-18 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11341890B2 (en) | 2018-10-25 | 2022-05-24 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11037481B1 (en) | 2018-10-25 | 2021-06-15 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11069280B2 (en) | 2018-10-25 | 2021-07-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11403987B2 (en) | 2018-10-25 | 2022-08-02 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11373575B2 (en) | 2018-10-25 | 2022-06-28 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11043157B2 (en) | 2018-10-25 | 2021-06-22 | Baylor University | System and method for a six-primary wide gamut color system |
| US11488510B2 (en) | 2018-10-25 | 2022-11-01 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11030934B2 (en) | 2018-10-25 | 2021-06-08 | Baylor University | System and method for a multi-primary wide gamut color system |
| US11069279B2 (en) | 2018-10-25 | 2021-07-20 | Baylor University | System and method for a multi-primary wide gamut color system |
| US10950161B2 (en) | 2018-10-25 | 2021-03-16 | Baylor University | System and method for a six-primary wide gamut color system |
| WO2020125803A1 (en) * | 2018-12-21 | 2020-06-25 | Beijing Bytedance Network Technology Co., Ltd. | Intra prediction using polynomial model |
| US11348553B2 (en) | 2019-02-11 | 2022-05-31 | Samsung Electronics Co., Ltd. | Color gamut mapping in the CIE 1931 color space |
| US11146823B2 (en) * | 2019-06-25 | 2021-10-12 | Qualcomm Incorporated | Signalling chroma quantization parameter (QP) mapping tables |
| US11533460B2 (en) * | 2019-09-11 | 2022-12-20 | Nbc Universal Media, Llc | High dynamic range and wide colour gamut comfort measurement and feedback |
| US11558616B2 (en) * | 2020-03-05 | 2023-01-17 | Qualcomm Incorporated | Methods for quantization parameter control for video coding with joined pixel/transform based quantization |
| US11533512B2 (en) * | 2020-04-10 | 2022-12-20 | Qualcomm Incorporated | Dynamic range adjustment parameter signaling and enablement of variable bit depth support |
| IL319187A (en) | 2020-05-22 | 2025-04-01 | Ge Video Compression Llc | Video encoder, video decoder, encoding and decoding methods, and video data sequences for implementing advanced video coding concepts |
| KR20240059003A (ko) * | 2020-06-12 | 2024-05-07 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 4:4:4 색 포맷의 비디오 코딩 방법 및 장치 |
| CN112132120B (zh) * | 2020-11-24 | 2021-03-30 | 北京沃东天骏信息技术有限公司 | 用于视频结构化的方法及装置 |
| CN114650449A (zh) * | 2022-03-03 | 2022-06-21 | 京东科技信息技术有限公司 | 一种视频数据处理方法和装置 |
| WO2023244670A1 (en) * | 2022-06-15 | 2023-12-21 | Innopeak Technology, Inc. | Methods, systems, and apparatuses for point cloud coding |
| CN115174880B (zh) * | 2022-09-08 | 2023-03-10 | 江西渊薮信息科技有限公司 | 一种提高色域的投影系统、投影仪及投影方法 |
| US20240283926A1 (en) * | 2023-02-21 | 2024-08-22 | Tencent America LLC | Adaptive Cross-Component Sample Offset Filtering Parameters |
| US12368900B2 (en) * | 2023-04-12 | 2025-07-22 | Sharp Kabushiki Kaisha | Systems and methods for performing motion compensation in video coding |
| US12462772B1 (en) | 2024-06-20 | 2025-11-04 | 6P Color, Inc. | System and method for conversion from XYZ to multiple primaries using pseudo white points |
Family Cites Families (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070011335A (ko) | 2004-04-01 | 2007-01-24 | 마쯔시다덴기산교 가부시키가이샤 | 영상음성 처리용 집적회로 |
| US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US9036042B2 (en) | 2011-04-15 | 2015-05-19 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
| RU2616158C2 (ru) * | 2011-04-28 | 2017-04-12 | Конинклейке Филипс Н.В. | Устройства и способы для кодирования и декодирования hdr-изображений |
| US8891863B2 (en) | 2011-06-13 | 2014-11-18 | Dolby Laboratories Licensing Corporation | High dynamic range, backwards-compatible, digital cinema |
| US9363535B2 (en) * | 2011-07-22 | 2016-06-07 | Qualcomm Incorporated | Coding motion depth maps with depth range variation |
| CN102333223A (zh) * | 2011-10-25 | 2012-01-25 | 北京华兴宏视技术发展有限公司 | 视频数据编码方法、解码方法、编码系统和解码系统 |
| US8873877B2 (en) | 2011-11-01 | 2014-10-28 | Dolby Laboratories Licensing Corporation | Adaptive false contouring prevention in layered coding of images with extended dynamic range |
| TWI575933B (zh) | 2011-11-04 | 2017-03-21 | 杜比實驗室特許公司 | 階層式視覺動態範圍編碼中之層分解技術 |
| AR091515A1 (es) * | 2012-06-29 | 2015-02-11 | Sony Corp | Dispositivo y metodo para el procesamiento de imagenes |
| US9426462B2 (en) * | 2012-09-21 | 2016-08-23 | Qualcomm Incorporated | Indication and activation of parameter sets for video coding |
| US9154785B2 (en) * | 2012-10-08 | 2015-10-06 | Qualcomm Incorporated | Sub-bitstream applicability to nested SEI messages in video coding |
| JP6290924B2 (ja) * | 2013-01-07 | 2018-03-07 | ノキア テクノロジーズ オサケユイチア | ビデオ・コーディングおよびデコーディングのための方法と装置 |
| US20140218473A1 (en) * | 2013-01-07 | 2014-08-07 | Nokia Corporation | Method and apparatus for video coding and decoding |
| EP2819414A3 (en) * | 2013-06-28 | 2015-02-25 | Samsung Electronics Co., Ltd | Image processing device and image processing method |
| AU2013206815A1 (en) | 2013-07-11 | 2015-03-05 | Canon Kabushiki Kaisha | Method, apparatus and system for encoding and decoding video data |
| RU2670782C9 (ru) * | 2013-07-18 | 2018-11-23 | Конинклейке Филипс Н.В. | Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений |
| US9264683B2 (en) * | 2013-09-03 | 2016-02-16 | Sony Corporation | Decoding device and decoding method, encoding device, and encoding method |
| US9277196B2 (en) | 2014-02-19 | 2016-03-01 | DDD IP Ventures, Ltd. | Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering |
| EP3205093B1 (en) | 2014-10-07 | 2022-05-18 | TRELLIS EUROPE S.r.l. | Improved video and image encoding process |
| US10687069B2 (en) | 2014-10-08 | 2020-06-16 | Microsoft Technology Licensing, Llc | Adjustments to encoding and decoding when switching color spaces |
| PL3231174T3 (pl) | 2014-12-11 | 2021-03-08 | Koninklijke Philips N.V. | Optymalizacja obrazów o wysokim zakresie dynamiki dla konkretnych wyświetlaczy |
| US9942551B2 (en) * | 2015-01-30 | 2018-04-10 | Qualcomm Incorporated | Palette index grouping for video coding |
| US20160309154A1 (en) * | 2015-04-17 | 2016-10-20 | Qualcomm Incorporated | Dynamic range adjustment for high dynamic range and wide color gamut video coding |
| US10244245B2 (en) * | 2015-06-08 | 2019-03-26 | Qualcomm Incorporated | Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data |
| JP2018525905A (ja) | 2015-07-22 | 2018-09-06 | アリス エンタープライジズ エルエルシーArris Enterprises Llc | 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム |
| US10244249B2 (en) * | 2015-09-21 | 2019-03-26 | Qualcomm Incorporated | Fixed point implementation of range adjustment of components in video coding |
| US10129558B2 (en) * | 2015-09-21 | 2018-11-13 | Qualcomm Incorporated | Supplement enhancement information (SEI) messages for high dynamic range and wide color gamut video coding |
| US10200690B2 (en) * | 2015-09-22 | 2019-02-05 | Qualcomm Incorporated | Video decoder conformance for high dynamic range (HDR) video coding using a core video standard |
| US20170105014A1 (en) * | 2015-10-08 | 2017-04-13 | Qualcomm Incorporated | Luma-driven chroma scaling for high dynamic range and wide color gamut contents |
| US10200701B2 (en) * | 2015-10-14 | 2019-02-05 | Qualcomm Incorporated | HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding |
| US11228770B2 (en) * | 2016-05-16 | 2022-01-18 | Qualcomm Incorporated | Loop sample processing for high dynamic range and wide color gamut video coding |
| US10574959B2 (en) * | 2017-07-05 | 2020-02-25 | Qualcomm Incorporated | Color remapping for non-4:4:4 format video content |
| US10778978B2 (en) * | 2017-08-21 | 2020-09-15 | Qualcomm Incorporated | System and method of cross-component dynamic range adjustment (CC-DRA) in video coding |
| US11095896B2 (en) * | 2017-10-12 | 2021-08-17 | Qualcomm Incorporated | Video coding with content adaptive spatially varying quantization |
| US10681358B2 (en) * | 2017-12-19 | 2020-06-09 | Qualcomm Incorporated | Quantization parameter control for video coding with joined pixel/transform based quantization |
| US10778979B2 (en) * | 2018-01-11 | 2020-09-15 | Qualcomm Incorporated | Signaling mechanisms for equal ranges and other DRA parameters for video coding |
-
2016
- 2016-09-19 US US15/269,497 patent/US10129558B2/en active Active
- 2016-09-20 WO PCT/US2016/052640 patent/WO2017053280A1/en not_active Ceased
- 2016-09-20 EP EP16775933.1A patent/EP3354024B1/en active Active
- 2016-09-20 JP JP2018514897A patent/JP6840740B2/ja active Active
- 2016-09-20 AU AU2016328639A patent/AU2016328639B2/en active Active
- 2016-09-20 PT PT167759331T patent/PT3354024T/pt unknown
- 2016-09-20 PL PL16775933T patent/PL3354024T3/pl unknown
- 2016-09-20 CN CN201680054059.6A patent/CN108028935B/zh active Active
- 2016-09-20 DK DK16775933.1T patent/DK3354024T3/da active
- 2016-09-20 KR KR1020187011144A patent/KR102642646B1/ko active Active
- 2016-09-20 HU HUE16775933A patent/HUE054203T2/hu unknown
- 2016-09-20 SI SI201631152T patent/SI3354024T1/sl unknown
- 2016-09-20 ES ES16775933T patent/ES2866180T3/es active Active
- 2016-09-20 TW TW105130371A patent/TWI755363B/zh active
-
2018
- 2018-08-14 US US16/103,622 patent/US10595032B2/en active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230052835A1 (en) * | 2020-03-30 | 2023-02-16 | Bytedance Inc. | Slice type in video coding |
| US11902558B2 (en) | 2020-03-30 | 2024-02-13 | Bytedance Inc. | Conformance window parameters in video coding |
| US11902557B2 (en) * | 2020-03-30 | 2024-02-13 | Bytedance Inc. | Slice type in video coding |
| US20240187627A1 (en) * | 2020-03-30 | 2024-06-06 | Bytedance Inc. | Slice type in video coding |
| US12501064B2 (en) * | 2020-03-30 | 2025-12-16 | Bytedance Inc. | Slice type in video coding |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170085896A1 (en) | 2017-03-23 |
| US20190045209A1 (en) | 2019-02-07 |
| EP3354024B1 (en) | 2021-03-31 |
| PT3354024T (pt) | 2021-05-04 |
| TWI755363B (zh) | 2022-02-21 |
| AU2016328639B2 (en) | 2020-06-25 |
| US10595032B2 (en) | 2020-03-17 |
| CN108028935A (zh) | 2018-05-11 |
| AU2016328639A1 (en) | 2018-04-26 |
| DK3354024T3 (da) | 2021-04-26 |
| KR102642646B1 (ko) | 2024-02-29 |
| SI3354024T1 (sl) | 2021-08-31 |
| EP3354024A1 (en) | 2018-08-01 |
| JP2018532322A (ja) | 2018-11-01 |
| ES2866180T3 (es) | 2021-10-19 |
| WO2017053280A1 (en) | 2017-03-30 |
| JP6840740B2 (ja) | 2021-03-10 |
| PL3354024T3 (pl) | 2021-08-30 |
| KR20180056726A (ko) | 2018-05-29 |
| US10129558B2 (en) | 2018-11-13 |
| HUE054203T2 (hu) | 2021-08-30 |
| CN108028935B (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021200087B2 (en) | Fixed point implementation of range adjustment of components in video coding | |
| TWI755363B (zh) | 用於高動態範圍及廣色域視訊寫碼之補充增強資訊(sei)訊息 | |
| JP6761045B2 (ja) | ビデオのための色再マッピング情報補足エンハンスメント情報メッセージを生成するための方法およびシステム | |
| JP2018515018A (ja) | 高ダイナミックレンジおよび広色域ビデオコーディングのためのダイナミックレンジ調整 | |
| WO2017200925A1 (en) | Methods and systems for generating and processing content color volume messages for video | |
| TW201711470A (zh) | 用於高動態範圍及廣色域視訊寫碼之自適應常數照度方法 | |
| TW201931853A (zh) | 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制 | |
| AU2017308831B2 (en) | Color remapping information sei message signaling for display adaptation | |
| HK1241179A1 (zh) | 用於高动态范围和宽色域视频译码的动态范围调整 |