TWI610558B - 位元分配方法及視訊編碼裝置 - Google Patents

位元分配方法及視訊編碼裝置 Download PDF

Info

Publication number
TWI610558B
TWI610558B TW105116412A TW105116412A TWI610558B TW I610558 B TWI610558 B TW I610558B TW 105116412 A TW105116412 A TW 105116412A TW 105116412 A TW105116412 A TW 105116412A TW I610558 B TWI610558 B TW I610558B
Authority
TW
Taiwan
Prior art keywords
block
weight value
texture
coding
protection color
Prior art date
Application number
TW105116412A
Other languages
English (en)
Other versions
TW201742455A (zh
Inventor
鄧書緯
何嘉強
Original Assignee
晨星半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晨星半導體股份有限公司 filed Critical 晨星半導體股份有限公司
Priority to TW105116412A priority Critical patent/TWI610558B/zh
Priority to US15/337,121 priority patent/US20170347107A1/en
Publication of TW201742455A publication Critical patent/TW201742455A/zh
Application granted granted Critical
Publication of TWI610558B publication Critical patent/TWI610558B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種位元分配方法，用於一視訊編碼裝置，該位元分配方法包含有對一第一幀（Frame）之複數個編碼區塊進行一高頻運算，以取得對應於該複數個編碼區塊中一第一編碼區塊之一第一區塊紋理權重值；對該複數個編碼區塊進行一保護色偵測運算，以取得對應於該第一編碼區塊之一第一區塊保護色權重值；根據該第一區塊紋理權重值及該第一區塊保護色權重值，計算對應於該第一編碼區塊之一第一位元權重值；以及根據該第一位元權重值，對該編碼區塊進行位元分配。

Description

位元分配方法及視訊編碼裝置
本發明係指一種位元分配方法及視訊編碼裝置，尤指一種可優化主觀視覺品質的位元分配方法及視訊編碼裝置。
位元分配（Bit Allocation）是視訊編碼中的一個基本課題。在視訊傳輸及儲存過程當中，網路頻寬、儲存資源都是有限的，位元分配的作用就是在最大限度保證視訊編碼品質的前提下，針對編碼區塊之不同特性，分配適當的位元數至不同的編碼區塊，使得輸出的視訊碼流（Video Stream）具有最佳之視覺品質（Perceptual Visual Quality），同時亦能夠滿足傳輸及儲存限制。一般來說，針對人眼較關注之編碼區塊，編碼裝置可分配較多位元數，以降低該區域的失真；相反地，針對位於人眼易忽視之編碼區塊，編碼裝置可分配較少位元數，以節省位元數消耗。因此，如何提昇視覺品質，也就成為業界所努力的目標之一。
因此，本發明之主要目的即在於提供一種位元分配方法及視訊編碼裝置，以優化主觀視覺品質。
本發明揭露一種位元分配方法，用於一視訊編碼裝置，該位元分配方法包含有對一第一幀（Frame）之複數個編碼區塊進行一高頻運算，以取得對應於該複數個編碼區塊中一第一編碼區塊之一第一區塊紋理權重值；對該複數個編碼區塊進行一保護色偵測運算，以取得對應於該第一編碼區塊之一第一區塊保護色權重值；根據該第一區塊紋理權重值及該第一區塊保護色權重值，計算對應於該第一編碼區塊之一第一位元權重值；以及根據該第一位元權重值，對該編碼區塊進行位元分配。
本發明另揭露一種視訊編碼裝置，包含有一紋理計算單元，用來對一第一幀之複數個編碼區塊進行一高頻運算，以取得對應於該複數個編碼區塊中一第一編碼區塊之一第一區塊紋理權重值；一保護色計算單元，用來對該複數個編碼區塊進行一保護色偵測運算，以取得對應於該第一編碼區塊之一第一區塊保護色權重值；一組合單元，耦接於該紋理計算單元及該保護色計算單元，用來根據該第一區塊紋理權重值及該第一區塊保護色權重值，計算對應於該第一編碼區塊之一第一位元權重值；以及一分配單元，耦接於該組合單元，用來根據該第一位元權重值，對該編碼區塊進行位元分配。
對於視訊監控或是視訊會議等相關之應用，人眼較關注影像中平坦漸層區域的失真，甚於物件的邊緣或皺摺。一般而言，平坦漸層區域有較低的空間性紋理複雜度（Spatial Texture Complexity），而物的邊緣或皺摺具有較高的空間性紋理複雜度，另外，畫面中的臉部表情，其影像區塊中具有較高的保護色像素個數（Protected-Color Count），即膚色像素個數（Skin-Color Count），本發明係根據影像畫面中複數個區塊的空間性紋理複雜度以及保護色像素個數，作為位元分配的依據，以提昇視覺品質（Perceptual Visual Quality）。
請參考第1圖及第2圖，第1圖為本發明實施例一位元分配流程10之示意圖，第2圖為一幀（Frame）F n之示意圖。如第2圖所示，幀F n包含有複數個編碼區塊CB 1～CB M，一視訊編碼裝置可根據編碼區塊CB 1～CB M的特性，分配適當的位元數給編碼區塊CB 1～CB M。具體來說，視訊編碼裝置可根據編碼區塊CB 1～CB M的空間性紋理複雜度以及編碼區塊CB 1～CB M中的保護色像素個數，分配適當的位元數給編碼區塊CB 1～CB M。位元分配流程10可由視訊編碼裝置來執行，位元分配流程10包含以下步驟：
步驟100：開始。
步驟102：對幀F n之編碼區塊CB 1～CB M進行一高頻運算，以取得對應於編碼區塊CB 1～CB M之區塊紋理權重值BTW 1～BTW M。
步驟104：對幀F n之編碼區塊CB 1～CB M進行一保護色偵測運算，以取得對應於編碼區塊CB 1～CB M之區塊保護色權重值BCW 1～BCW M。
步驟106：根據幀F n中對應於編碼區塊CB 1～CB M之區塊權重值IBW 1～IBW M、區塊紋理權重值BTW 1～BTW M及區塊保護色權重值BCW 1～BCW M，計算幀F n中對應於編碼區塊CB 1～CB M之位元權重值W 1～W M。
步驟108：結束。
位元分配流程10的操作細節詳述如下。步驟102用來取得對應於編碼區塊CB 1～CB M的空間性紋理複雜度，於步驟102中，視訊編碼裝置對幀F n之編碼區塊CB 1～CB M進行高頻運算（如邊緣偵測(Edge Detection)運算等），以取得對應於編碼區塊CB 1～CB M之區塊紋理權重值BTW 1～BTW M，即取得對應於編碼區塊CB 1～CB M中一編碼區塊CB i之區塊紋理權重值BTW i。整體來說，視訊編碼裝置先對編碼區塊CB 1～CB M進行高頻運算，以取得對應於編碼區塊CB 1～CB M之區塊紋理複雜度BT 1～BT M，再對區塊紋理複雜度BT 1～BT M進行一正規化（Normalization）運算，以取得對應於編碼區塊CB 1～CB M之區塊紋理權重值BTW 1～BTW M，換句話說，對編碼區塊CB i來說，區塊紋理權重值BTW i可經過計算
Figure TWI610558BD00001
而得，即區塊紋理權重值BTW i為區塊紋理複雜度BT i相對於區塊紋理複雜度BT 1～BT M之比例。
更進一步地，關於視訊編碼裝置對編碼區塊CB 1～CB M中任一編碼區塊CB j進行高頻運算，以取得對應於編碼區塊CB j之區塊紋理複雜度BT j的操作流程，請參考第3圖，第3圖為本發明實施例一紋理分析流程30之示意圖，紋理分析流程30可由視訊編碼裝置來執行，紋理分析流程30包含以下步驟：
步驟300：開始。
步驟302：對編碼區塊CB j中複數個像素（Pixel）P 1～P K進行高頻運算，以取得對應於像素P 1～P K之像素紋理結果OPT 1～OPT K。
步驟304：對像素紋理結果OPT 1～OPT K取絕對值，以取得像素紋理結果OPT 1～OPT K之絕對值ABS 1～ABS K。
步驟304：對絕對值ABS 1～ABS K進行累加，以取得一累加值ACT j。
步驟306：取得區塊紋理複雜度BT j為累加值ACT j之倒數。
步驟308：結束。
於步驟302中，視訊編碼裝置對編碼區塊CB j中像素P 1～P K進行高頻運算，舉例來說，視訊編碼裝置可對像素P 1～P K進行一空間銳化（Spatial Sharping）濾波運算（即高頻濾波運算），以強化編碼區塊CB j之影像細節並凸顯編碼區塊CB j之色彩強度的變化。空間銳化濾波運算不限於利用特定方式來實現，舉例來說，視訊編碼裝置可先對像素P 1～P K進行一水平梯度運算以及一垂直梯度運算，以取得水平梯度運算結果gh 1～gh K以及垂直梯度運算結果gv 1～gv K，再根據水平梯度運算結果gh 1～gh K及垂直梯度運算結果gv 1～gv K，取得像素紋理結果OPT 1～OPT K，其中，水平梯度運算之一核心（Kernel）可為[1, 0, －1]，垂直梯度運算之一核心可為[1, 0, －1] T ，視訊編碼裝置可計算像素紋理結果OPT k為水平梯度運算結果gh k的絕對值與垂直梯度運算結果gv k的絕對值之一總和，即OPT k＝abs(gh k) + abs(gv k)（其中，abs( ) 代表取絕對值運算），如此一來，視訊編碼裝置即可取得對應於像素P 1～P K之像素紋理結果OPT 1～OPT K。另外，於另一實施例中，空間銳化濾波運算可由一二維拉普拉斯運算（2-Dimension Laplacian Operation）來實現，其中該二維拉普拉斯運算之一核心可為
Figure TWI610558BD00002
或
Figure TWI610558BD00003
。
於步驟304中，對編碼區塊CB j中像素P 1～P K進行高頻運算後，視訊編碼裝置對像素紋理結果OPT 1～OPT K取絕對值，以取得像素紋理結果OPT 1～OPT K之絕對值ABS 1～ABS K。於步驟306中，視訊編碼裝置取得絕對值ABS 1～ABS K之累加值ACT j為
Figure TWI610558BD00004
。於步驟306中，取得區塊紋理複雜度BT j為累加值ACT j之倒數，即BT j＝1/ACT j。透過步驟102及紋理分析流程30，視訊編碼裝置即可取得對應於編碼區塊CB 1～CB M之區塊紋理複雜度BT 1～BT M，並據以取得對應於編碼區塊CB 1～CB M之區塊紋理權重值BTW 1～BTW M。
另外，步驟104用來取得對應於編碼區塊CB 1～CB M的保護色像素個數，於步驟104中，視訊編碼裝置對幀F n之編碼區塊CB 1～CB M進行保護色偵測運算，以取得對應於編碼區塊CB 1～CB M之區塊保護色權重值BCW 1～BCW M，即取得編碼區塊CB 1～CB M中編碼區塊CB i之區塊保護色權重值BCW i。整體來說，視訊編碼裝置先對編碼區塊CB 1～CB M進行保護色偵測運算，以取得對應於編碼區塊CB 1～CB M之區塊保護色程度BC 1～BC M，再對區塊保護色程度BC 1～BC M進行正規化運算，以取得對應於編碼區塊CB 1～CB M之區塊保護色權重值BCW 1～BCW M，換句話說，對編碼區塊CB i來說，區塊保護色權重值BCW i可經過計算
Figure TWI610558BD00005
而得，即區塊保護色權重值BCW i為區塊保護色程度BC i相對於區塊保護色程度BC 1～BC M之比例。其中，編碼區塊CB i­之區塊保護色程度BC i­相關於編碼區塊CB i­之保護色像素個數。
更進一步地，關於視訊編碼裝置對編碼區塊CB 1～CB M中任一編碼區塊CB j進行保護色偵測運算，以取得對應於編碼區塊CB j之區塊保護色程度BC j的操作流程，請參考第4圖，第4圖為本發明實施例一保護色分析流程40之示意圖，保護色分析流程40可由視訊編碼裝置來執行，保護色分析流程40包含以下步驟：
步驟400：開始。
步驟402：對編碼區塊CB j中複數個像素P 1～P K進行保護色偵測運算，以取得對應於像素P 1～P K之像素保護色偵測結果OPC 1～OPC K。
步驟404：對像素保護色偵測結果OPC 1～OPC K進行累加，以取得一累加值ACC j。
步驟406：結束。
於步驟402中，視訊編碼裝置對編碼區塊CB j中像素P 1～P K進行保護色偵測運算，以取得對應於像素P 1～P K之像素保護色偵測結果OPC 1～OPC K。其中，像素保護色偵測結果OPC k代表像素P k所呈現的影像顏色是否符合一特定顏色，像素保護色偵測結果OPC k的值可為0或1。當像素保護色偵測結果OPC k的值為1時，代表像素P k所呈現的影像顏色符合該特定顏色；當像素保護色偵測結果OPC k的值為0時，代表像素P k所呈現的影像顏色不為該特定顏色。舉例來說，保護色偵測運算可為一膚色偵測（Skin Color Detection）運算，膚色偵測運算為本領域具通常知識者所熟知，其可根據像素P k之一明亮度（Luminance或Luma）Y、一藍色色度Cb及一紅色色度Cr判斷像素P k所呈現的影像顏色是否為膚色，例如，視訊編碼裝置可判斷像素P k之明亮度Y、藍色色度Cb及紅色色度Cr的值是否於一特定範圍，而產生像素保護色偵測結果OPC k為0或1。於步驟404中，視訊編碼裝置對編碼區塊CB j之像素保護色偵測結果OPC 1～OPC K進行累加，以取得對應於編碼區塊CB j之累加值ACC j，累加值ACC j即代表編碼區塊CB j­之保護色像素個數。於一實施例中，視訊編碼裝置可直接取得區塊保護色程度BC 1～BC M為對應於編碼區塊CB 1～CB M之累加值ACC 1～ACC M。較佳地，視訊編碼裝置可對累加值ACC 1～ACC M­進行一低通濾波運算，如其核心為
Figure TWI610558BD00006
之低通濾波運算，進而產生對應於編碼區塊CB 1～CB M之區塊保護色程度BC 1～BC M。
視訊編碼裝置對幀F n執行步驟104及保護色分析流程40後，即可取得對應於編碼區塊CB 1～CB M之區塊保護色權重值BCW 1～BCW M。視訊編碼裝置取得對應於編碼區塊CB 1～CB M之區塊紋理權重值BTW 1～BTW M及區塊保護色權重值BCW 1～BCW M後，於步驟106中，視訊編碼裝置即可根據幀F n中對應於編碼區塊CB i之區塊權重值IBW i、區塊紋理權重值BTW i及區塊保護色權重值BCW i，計算幀F n中對應於編碼區塊CB i之位元權重值W i。其中，區塊權重值IBW 1～IBW M可由視訊編碼裝置所提供，視訊編碼裝置可根據幀F n之前一幀F n － 1的特性而決定對應於編碼區塊CB 1～CB M之區塊權重值IBW 1～IBW M（例如，區塊權重值IBW i可為幀F n － 1中對應於編碼區塊CB i之位元權重值）。
詳細來說，視訊編碼裝置計算幀F n中對應於編碼區塊CB i之位元權重值W i為幀F n中對應於編碼區塊CB i之區塊權重值IBW i、區塊紋理權重值BTW i及區塊保護色權重值BCW i之一組合（Combination），其組合方式並未有所限，舉例來說，位元權重值W i可為對應於編碼區塊CB i之編碼區塊CB i之區塊權重值IBW i、區塊紋理權重值BTW i及區塊保護色權重值BCW i之一線性組合（Linear Combination），即計算位元權重值W i為W i＝αIBW i+βBTW i+γBCW i，其中α、β、γ為可視實際情況而調整之常數。
於另一實施例中，視訊編碼裝置可先將區塊紋理權重值及區塊保護色權重值進行混合，並取得第一混合結果，再將第一混合結果與區塊權重值進行混合，以取得位元權重值。詳細來說，視訊編碼裝置可先對每一編碼區塊CB i計算一混合權重值BBW i，混合權重值BBW i可為區塊紋理權重值BTW i及區塊保護色權重值BCW i之一線性組合（即計算混合權重值BBW i為BBW i＝ζBTW i+δBCW i，其中ζ、δ為可視實際情況而調整之常數），如此一來，視訊編碼裝置即可取得對應於編碼區塊CB 1～CB M之混合權重值BBW 1～BBW M。接著，視訊編碼裝置可對混合權重值BBW 1～BBW M進行一低通濾波運算，以取得低通權重值BLW 1～BLW M，其低通濾波運算之一核心可為
Figure TWI610558BD00007
。接著，視訊編碼裝置可取得對應於編碼區塊CB i之一第一混合結果FW i為對應於編碼區塊CB i之混合權重值BBW i，或取得第一混合結果FW i為對應於編碼區塊CB i之低通權重值BLW i。舉例來說，當混合權重值BBW i大於或等於低通權重值BLW i時，視訊編碼裝置取得第一混合結果FW i為混合權重值BBW i；而當混合權重值BBW i小於低通權重值BLW i時，視訊編碼裝置取得第一混合結果FW i為低通權重值BLW i，換句話說，第一混合結果FW i可表示為
Figure TWI610558BD00008
。最後，視訊編碼裝置再計算位元權重值W i為第一混合結果FW i與區塊權重值IBW i之一線性組合，即計算位元權重值W i為W i＝μIBW i+νFW i，其中μ、ν為可視實際情況而調整之常數。如此一來，視訊編碼裝置即可取得對應於編碼區塊CB 1～CB M之位元權重值W 1～W M。
因此，根據位元分配流程10，視訊編碼裝置即可取得幀F n中對應於編碼區塊CB 1～CB M之位元權重值W 1～W M，進而根據對應於編碼區塊CB 1～CB M之位元權重值W 1～W M，分配適當的位元數給編碼區塊CB 1～CB M，使得視訊編碼裝置可根據分配給編碼區塊CB 1～CB M的位元數，對編碼區塊CB 1～CB M進行視訊編碼。
請參考第5圖，第5圖為本發明實施例一視訊編碼裝置50之示意圖，視訊編碼裝置50包含一位元率控制(rate control)單元510以及一編碼單元508，視訊編碼裝置50接收一視訊資料流UVS並對視訊資料流UVS進行視訊編碼，以產生一已壓縮視訊資料流CVS，其中視訊資料流UVS包含幀F n。位元率控制單元510包含有一紋理計算單元500、一保護色計算單元502、一組合單元504以及一分配單元506。紋理計算單元500用來對幀F n執行步驟102及紋理分析流程30，以取得對應於編碼區塊CB 1～CB M之區塊紋理權重值BTW 1～BTW M。保護色計算單元502用來對幀F n執行步驟104及保護色分析流程40，以取得對應於編碼區塊CB 1～CB M之區塊保護色權重值BCW 1～BCW M。組合單元504用來執行步驟106，以計算幀F n中對應於編碼區塊CB 1～CB M之位元權重值W 1～W M。分配單元506用來根據對應於編碼區塊CB 1～CB M之位元權重值W 1～W M，分配適當的位元數給編碼區塊CB 1～CB M。編碼單元508用來根據分配給編碼區塊CB 1～CB M的位元數，對尚未編碼之幀F n中的編碼區塊CB 1～CB M進行視訊編碼。本技術領域具通常知識者當知紋理計算單元500、保護色計算單元502、組合單元504、分配單元506以及編碼單元508皆可為一特殊應用積體電路（application-specific integrated circuit，ASIC），並可依設計者需求予以適度整合，不必須各為獨立的積體電路。
另外，請參考第6圖，第6圖為本發明實施例一視訊編碼裝置60之示意圖，視訊編碼裝置60包含一處理單元602及一儲存單元604。前述位元分配流程10、紋理分析流程30及保護色分析流程40可編譯成程式碼608並儲存於儲存單元604中，以指示處理單元602執行位元分配流程10、紋理分析流程30及保護色分析流程40。其中，處理單元602可為一中央處理器（CPU）、一數位訊號處理器（Digital Signal Processor，DSP）或是一微處理器（Microprocessor），而不在此限，儲存單元604可為一唯讀式記憶體（read-only memory，ROM）或是一非揮發性記憶體（non-volatile memory，例如，一電子抹除式可複寫唯讀記憶體（electrically erasable programmable read only memory, EEPROM）或一快閃記憶體（flash memory）），而不在此限。
需注意的是，視訊編碼裝置50、60可應用於與視訊監控或是視訊會議相關之電視、數位視訊轉換盒（Set-Top Box， STB）、數位電視棒、網路攝影機等，其可分配較多位元數給具有較高空間性紋理複雜度及較高保護色（膚色）像素個數之編碼區塊，使得該編碼區塊具有較清晰的畫質，以提昇主觀視覺品質（Perceptual Visual Quality）。
另一方面，前述實施例係用以說明本發明之概念，本領域具通常知識者當可據以做不同之修飾，而不限於此。舉例來說，位元權重值W i不限於為區塊權重值IBW i、區塊紋理權重值BTW i及區塊保護色權重值BCW i之線性組合，例如，可計算位元權重值W i為W i＝αf(IBW i)+βf(BTW i)+γf(BCW i)或是W i＝(IBW i)­ α*(BTW i) β*(BCW i) γ等（其中，α、β、γ為可視實際情況而調整），亦屬於本發明之範疇。另外，於步驟102之高頻運算不限於二維拉普拉斯運算，只要可達到高通濾波（High-Pass Filtering）的效果，皆屬於本發明之範疇。
綜上所述，本發明根據複數個編碼區塊的空間性紋理複雜度以及保護色像素個數，分配相應的位元數給複數個編碼區塊，以提昇視覺品質。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
<TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> 10、30、40 </td><td> 流程 </td></tr><tr><td> 100～108、300～308、400～406 </td><td> 步驟 </td></tr><tr><td> 50、60 </td><td> 視訊編碼裝置 </td></tr><tr><td> 500 </td><td> 紋理計算單元 </td></tr><tr><td> 502 </td><td> 保護色計算單元 </td></tr><tr><td> 504 </td><td> 組合單元 </td></tr><tr><td> 506 </td><td> 分配單元 </td></tr><tr><td> 508 </td><td> 編碼單元 </td></tr><tr><td> 510 </td><td> 位元率控制單元 </td></tr><tr><td> 602 </td><td> 處理單元 </td></tr><tr><td> 604 </td><td> 儲存單元 </td></tr><tr><td> 608 </td><td> 程式碼 </td></tr><tr><td> F<sub>n</sub></td><td> 幀 </td></tr><tr><td> CB<sub>1</sub>～CB<sub>M</sub></td><td> 編碼區塊 </td></tr></TBODY></TABLE>
第1圖為本發明實施例一位元分配流程之示意圖。 第2圖為一幀之示意圖。 第3圖為本發明實施例一紋理分析流程之示意圖。 第4圖為本發明實施例一保護色分析流程之示意圖。 第5圖為本發明實施例一視訊編碼裝置之示意圖。 第6圖為本發明實施例一視訊編碼裝置之示意圖。
<TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> 10 </td><td> 位元分配流程 </td></tr><tr><td> 100～108 </td><td> 步驟 </td></tr></TBODY></TABLE>

Claims (16)

  1. 一種位元分配方法，用於一視訊編碼裝置，該位元分配方法包含有：對一第一幀(Frame)之複數個編碼區塊分別進行一高頻運算，以取得複數個區塊紋理複雜度，其中取得對應於該複數個編碼區塊中一第一編碼區塊之一第一區塊紋理複雜度的步驟包含對該第一編碼區塊中複數個像素(Pixel)進行該高頻運算，以取得對應於該複數個像素之複數個像素紋理結果，並根據該複數個像素紋理結果，取得對應於該第一編碼區塊之一第一區塊紋理複雜度；根據該複數個區塊紋理複雜度，計算對應於該第一編碼區塊之一第一區塊紋理權重值；對該複數個編碼區塊進行一保護色偵測運算，以取得對應於該第一編碼區塊之一第一區塊保護色權重值；根據該第一區塊紋理權重值及該第一區塊保護色權重值，計算對應於該第一編碼區塊之一第一位元權重值；以及根據該第一位元權重值，對該第一編碼區塊進行位元分配。
  2. 如請求項1所述之位元分配方法，其中該高頻運算為一二維拉普拉斯運算(2-Dimension Laplacian Operation)。
  3. 如請求項1所述之位元分配方法，其中根據該複數個像素紋理結果，取得對應於該第一編碼區塊之該第一區塊紋理複雜度的步驟包含有：取得該複數個像素紋理結果之複數個絕對值；對該複數個絕對值進行累加，以取得一累加值；以及 根據該累加值，取得該第一區塊紋理複雜度，其中，該第一區塊紋理複雜度相關於該累加值之倒數。
  4. 如請求項1所述之位元分配方法，其中對該複數個編碼區塊進行該保護色偵測運算，以取得對應於該第一編碼區塊之該第一區塊保護色權重值的步驟包含有：對該複數個編碼區塊分別進行該保護色偵測運算，以取得複數個區塊保護色程度；以及根據該複數個區塊保護色程度，計算該第一區塊保護色權重值；其中，該第一區塊保護色權重值相關於對應於該第一編碼區塊之一第一區塊保護色程度相對於該複數個區塊保護色程度之一比例。
  5. 如請求項4所述之位元分配方法，其中對該複數個編碼區塊分別進行該保護色偵測運算，以取得複數個區塊保護色程度的步驟包含有：對該複數個編碼區塊之一第三編碼區塊中複數個像素進行該保護色偵測運算，以取得對應於該複數個像素之複數個像素保護色偵測結果；根據該複數個像素保護色偵測結果，取得對應於該第三編碼區塊之一區塊保護色程度；其中，該區塊保護色程度相關於對該複數個像素保護色偵測結果進行累加後之一累加值。
  6. 如請求項1所述之位元分配方法，其中該第一位元權重值為該第一區塊紋理權重值及該第一區塊保護色權重值之一組合。
  7. 如請求項1所述之位元分配方法，另包含：根據一第一區塊權重值、該第一區塊紋理權重值及該第一區塊保護色權重值，計算對應於該第一編碼區塊之該第一位元權重值。
  8. 如請求項1所述之位元分配方法，其中該高頻運算包含於一第一方向進行一第一梯度運算以及於一第二方向進行一第二梯度運算。
  9. 一種視訊編碼裝置，包含有：一紋理計算單元，用來對一第一幀(Frame)之複數個編碼區塊分別進行一高頻運算，以取得複數個區塊紋理複雜度，並根據該複數個區塊紋理複雜度，計算對應於該複數個編碼區塊中一第一編碼區塊之一第一區塊紋理權重值，其中該紋理計算單元對該第一編碼區塊中複數個像素(Pixel)進行該高頻運算，以取得對應於該複數個像素之複數個像素紋理結果，並根據該複數個像素紋理結果，取得對應於該第一編碼區塊之一第一區塊紋理複雜度；一保護色計算單元，用來對該複數個編碼區塊進行一保護色偵測運算，以取得對應於該第一編碼區塊之一第一區塊保護色權重值；一組合單元，耦接於該紋理計算單元及該保護色計算單元，用來根據該第一區塊紋理權重值及該第一區塊保護色權重值，計算對應於該第一編碼區塊之一第一位元權重值；以及一分配單元，耦接於該組合單元，用來根據該第一位元權重值，對該第一編碼區塊進行位元分配。
  10. 如請求項9所述之視訊編碼裝置，其中該高頻運算為一二維拉普拉斯 運算(2-Dimension Laplacian Operation)。
  11. 如請求項9所述之視訊編碼裝置，其中該紋理計算單元另用來執行以下步驟，以根據該複數個像素紋理結果並取得對應於該第一編碼區塊之該第一區塊紋理複雜度：取得該複數個像素紋理結果之複數個絕對值；對該複數個絕對值進行累加，以取得一累加值；以及根據該累加值，取得該第一區塊紋理複雜度，其中，該第一區塊紋理複雜度相關於該累加值之倒數。
  12. 如請求項9所述之視訊編碼裝置，其中該保護色計算單元另用來執行以下步驟，以對該複數個編碼區塊進行該保護色偵測運算並取得對應於該第一編碼區塊之該第一區塊保護色權重值：對該複數個編碼區塊分別進行該保護色偵測運算，取得複數個區塊保護色程度；以及根據該複數個區塊保護色程度，計算該第一區塊保護色權重值；其中該第一區塊保護色權重值相關於對應於該第一編碼區塊之一第一區塊保護色程度相對於該複數個區塊保護色程度之一比例。
  13. 如請求項12所述之視訊編碼裝置，其中該保護色計算單元另用來執行以下步驟，以對該複數個編碼區塊分別進行該保護色偵測運算並取得複數個區塊保護色程度：對該複數個編碼區塊之一第三編碼區塊中複數個像素進行該保護色偵測運算，以取得對應於該複數個像素之複數個像素保護色偵測結果； 根據該複數個像素保護色偵測結果，取得對應於該第三編碼區塊之一區塊保護色程度；其中，該區塊保護色程度相關於對該複數個像素保護色偵測結果進行累加後之一累計值。
  14. 如請求項9所述之視訊編碼裝置，其中該組合單元計算該第一位元權重值為該第一區塊紋理權重值及該第一區塊保護色權重值之一組合。
  15. 如請求項9所述之視訊編碼裝置，其中該組合單元計算根據一第一區塊權重值、該第一區塊紋理權重值及該第一區塊保護色權重值，計算對應於該第一編碼區塊之該第一位元權重值。
  16. 如請求項9所述之視訊編碼裝置，其中該高頻運算包含於一第一方向進行一第一梯度運算以及於一第二方向進行一第二梯度運算。
TW105116412A 2016-05-26 2016-05-26 位元分配方法及視訊編碼裝置 TWI610558B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105116412A TWI610558B (zh) 2016-05-26 2016-05-26 位元分配方法及視訊編碼裝置
US15/337,121 US20170347107A1 (en) 2016-05-26 2016-10-28 Bit allocation method and video encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105116412A TWI610558B (zh) 2016-05-26 2016-05-26 位元分配方法及視訊編碼裝置

Publications (2)

Publication Number Publication Date
TW201742455A TW201742455A (zh) 2017-12-01
TWI610558B true TWI610558B (zh) 2018-01-01

Family

ID=60418528

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105116412A TWI610558B (zh) 2016-05-26 2016-05-26 位元分配方法及視訊編碼裝置

Country Status (2)

Country Link
US (1) US20170347107A1 (zh)
TW (1) TWI610558B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2578769B (en) 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
US11381825B2 (en) * 2018-11-27 2022-07-05 Advanced Micro Devices, Inc. Variable rate rendering based on motion estimation
CA3066838A1 (en) * 2019-01-08 2020-07-08 Comcast Cable Communications, Llc Processing media using neural networks
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
CN111695523B (zh) * 2020-06-15 2023-09-26 浙江理工大学 基于骨骼时空及动态信息的双流卷积神经网络动作识别方法
US20240273806A1 (en) * 2023-02-13 2024-08-15 Meta Platforms Technologies, Llc Smart bit allocation across channels of texture data compression

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416512A (zh) * 2006-04-07 2009-04-22 微软公司 基于纹理水平的量化调整
TW201141232A (en) * 2010-05-07 2011-11-16 Ind Tech Res Inst Bit rate control apparatus for a video encoder and the control method thereof
TW201218776A (en) * 2010-04-14 2012-05-01 Mediatek Inc Method and apparatus for performing localized multihypothesis prediction during video coding of a coding unit
CN102884536A (zh) * 2010-04-07 2013-01-16 苹果公司 用于视频会议压缩的肤色与特征检测
US20140219356A1 (en) * 2011-06-30 2014-08-07 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program, picture decoding device, picture decoding method, and picture decoding program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416512A (zh) * 2006-04-07 2009-04-22 微软公司 基于纹理水平的量化调整
CN102884536A (zh) * 2010-04-07 2013-01-16 苹果公司 用于视频会议压缩的肤色与特征检测
TW201218776A (en) * 2010-04-14 2012-05-01 Mediatek Inc Method and apparatus for performing localized multihypothesis prediction during video coding of a coding unit
TW201141232A (en) * 2010-05-07 2011-11-16 Ind Tech Res Inst Bit rate control apparatus for a video encoder and the control method thereof
US20140219356A1 (en) * 2011-06-30 2014-08-07 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program, picture decoding device, picture decoding method, and picture decoding program

Also Published As

Publication number Publication date
US20170347107A1 (en) 2017-11-30
TW201742455A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
TW201742455A (zh) 位元分配方法及視訊編碼裝置
US10701361B2 (en) Encoding of pictures in a video
JP6852947B2 (ja) 動画符号化における彩度量子化
CN112913237B (zh) 使用深度神经网络的人工智能编码和人工智能解码方法和设备
CN107424198B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US6477201B1 (en) Content-adaptive compression encoding
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
US10491924B2 (en) Encoding and decoding of image data
EP3375190B1 (en) High dynamic range color conversion correction
WO2012138568A1 (en) System and method for encoding and decoding anti-aliased video data
JP2018527675A (ja) 逆トーンマッピングの方法及び装置
GB2568326A (en) Video image processing
CN107871303A (zh) 一种图像处理方法及装置
CN104504666B (zh) 一种基于拉普拉斯金字塔的色调映射方法
CN111556320B (zh) 数据处理系统
EP2684158A1 (en) Method for efficient representation and processing of color pixel data in digital pathology images
CN106921840B (zh) 一种即时视频中的人脸美化方法、设备及系统
Wang et al. Perceptual video coding based on saliency and just noticeable distortion for H. 265/HEVC
JP2017216630A (ja) 画像符号化装置及びその制御方法
CN105447830B (zh) 动态视频图像清晰度强化方法及装置
CN110175967A (zh) 图像去雾处理方法、系统、计算机设备和存储介质
CN109314787A (zh) 用于高动态范围视频编码的增强层掩蔽
CN112689137A (zh) 一种视频信号处理方法及装置
CN107277369B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN106454386B (zh) 一种基于jnd的视频编码的方法和装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees