TW201924349A - 與移動補償相關之影像處理裝置及影像處理方法 - Google Patents

與移動補償相關之影像處理裝置及影像處理方法 Download PDF

Info

Publication number
TW201924349A
TW201924349A TW106139902A TW106139902A TW201924349A TW 201924349 A TW201924349 A TW 201924349A TW 106139902 A TW106139902 A TW 106139902A TW 106139902 A TW106139902 A TW 106139902A TW 201924349 A TW201924349 A TW 201924349A
Authority
TW
Taiwan
Prior art keywords
search
motion vector
circuit
image processing
ranges
Prior art date
Application number
TW106139902A
Other languages
English (en)
Inventor
汪岱錡
鄧書緯
Original Assignee
晨星半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晨星半導體股份有限公司 filed Critical 晨星半導體股份有限公司
Priority to TW106139902A priority Critical patent/TW201924349A/zh
Priority to US15/884,518 priority patent/US10687065B2/en
Publication of TW201924349A publication Critical patent/TW201924349A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種影像處理裝置，其中包含一搜尋範圍提供電路、一搜尋電路與一編碼器。該搜尋範圍提供電路係用以為一目標影像區塊取得N個移動向量預測值，並據此於一參考圖框中設定相對應的N個搜尋範圍。符號N為大於一之整數。該搜尋電路係用以於該N個搜尋範圍中各進行一移動補償搜尋程序，藉此為該目標影像區塊找出一移動向量。該編碼器係用以根據該移動向量為該目標影像區塊編碼。

Description

與移動補償相關之影像處理裝置及影像處理方法
本發明與影像處理技術相關，並且尤其與進行動態影像編碼時會採用的移動補償（motion compensation）技術相關。
為了滿足觀看者對於逼真影像的期待，許多影像顯示設備的主要發展方向之一是持續提升畫面的尺寸和解析度。如何在保有良好畫質的同時，透過編碼技術降低影像的資料量，以節省儲存空間與傳輸資源，是備受關注的議題。
移動補償是一種被廣泛應用的動態影像編碼技術，奠基於時序上相鄰兩圖框（frame）之內容通常有高度相似性的特點。每一個圖框會被分割為多個影像區塊，做為編碼的基本單位。針對各個待編碼的影像區塊，編碼器會從一特定影像範圍（以下稱搜尋範圍）中找出一個最相似的影像區塊做為參考區塊。一待編碼影像區塊與其參考區塊在圖框中的座標差異稱為移動向量（motion vector），而這兩個影像區塊的影像內容差異稱為殘差（residual）。編碼器只需要對殘差與移動向量（而非整個待編碼影像區塊的內容）進行編碼。一影像區塊與其參考區塊愈相似，殘差便愈小。顯然，找出適當的參考區塊，對於降低編碼結果的資料量大有助益。因此，選定適當的搜尋範圍是一個重要的步驟。
最傳統的移動補償技術是以整個參考圖框做為搜尋範圍，逐一評估所有可能的移動向量，以找出其中能最小化殘差資料量的影像區塊做為參考區塊。這種做法的缺點在於會耗費大量運算資源與時間。為此，第一種改良方案是採用一鄰近區塊的移動向量，做為待編碼影像區塊的移動向量預測值，據此進行範圍較小的搜尋。請參閱圖一(A)。假設目前待編碼圖框100中有待編碼影像區塊111，而已知待編碼影像區塊111之鄰近影像區塊110的參考區塊為參考圖框900中的影像區塊R，則編碼器可採用影像區塊R相對於影像區塊110的移動向量MV110 做為待編碼影像區塊111的移動向量預測值PMV。如圖一(B)所示，移動向量預測值PMV的大小及方向皆與移動向量MV110 相同，惟其起點係對應於待編碼影像區塊111的中心點。以移動向量預測值PMV之尾端為中心點的特定大小區域被設定為搜尋範圍S，做為編碼器為待編碼影像區塊111尋找參考區塊時的搜尋對象。
不同於只考量單一鄰近區塊的第一種改良方案，第二種改良方案將多個鄰近區塊的已知移動向量納入考量。請參閱圖一(C)的範例。在這個範例中，待編碼影像區塊111之四個鄰近區塊107~110的已知移動向量被納入考量。更具體地說，第二種改良方案係令移動向量預測值PMV等於鄰近影像區塊107~110之移動向量MV107 ~MV110 的中位數，並據此設定搜尋範圍S。為便於說明向量預測值PMV與移動向量MV107 ~MV110 的相對關係，在圖一(D)中，移動向量MV107 ~MV110 被繪示皆為以待編碼影像區塊111的中心點為起點。由圖一(D)可看出，在待編碼影像區塊111與鄰近影像區塊107或是108關聯性較高（相較於鄰近影像區塊109、110）的情況下，採用第二種改良方案會比採用第一種改良方案更好。相對地，若待編碼影像區塊111與鄰近影像區塊109或是110的關聯性更高，採用第二種改良方案便未必能找出更理想的參考區塊。
本發明提出一種新的影像處理裝置及影像處理方法。
本發明之一具體實施例為一種影像處理裝置，其中包含一搜尋範圍提供電路、一搜尋電路與一編碼器。該搜尋範圍提供電路係用以為一目標影像區塊取得N個移動向量預測值，並據此於一參考圖框中設定相對應的N個搜尋範圍。符號N為大於一之整數。該搜尋電路係用以於該N個搜尋範圍中進行一移動補償搜尋程序，藉此為該目標影像區塊找出一移動向量。該編碼器係用以根據該移動向量為該目標影像區塊編碼。
本發明之另一具體實施例為一種影像處理方法。首先，一目標影像區塊N個移動向量預測值被取得，且位於一參考圖框中之相對應的N個搜尋範圍據此被設定，其中N為大於一之整數。隨後，一移動補償搜尋程序於該N個搜尋範圍中進行，藉此為該目標影像區塊找出一移動向量。接著，根據該移動向量，該目標影像區塊被編碼。
關於本發明的優點與精神可以藉由以下發明詳述及所附圖式得到進一步的瞭解。
本發明之一具體實施例為一影像處理裝置，其功能方塊圖係繪示於圖二(A)。影像處理裝置200包含一搜尋範圍提供電路201、一搜尋電路202以及一編碼器203。於實際應用中，影像處理裝置200可被整合在各種需要利用移動補償技術進行動態影像編碼的電子產品內。
如先前所述，影像區塊為編碼的基本單位。搜尋範圍提供電路201負責為目前待編碼的影像區塊（以下稱目標影像區塊）取得N個移動向量預測值（N為大於一之整數），並據此在一參考圖框中設定N個相對應的搜尋範圍S1 ~SN 。舉例而言，若目標影像區塊周圍有N個鄰近影像區塊的移動向量為已知數，則目標影像區塊的N個移動向量預測值可以是該N個鄰近影像區塊各自的移動向量。須說明的是，此處所謂｢相鄰｣可指空間上的相鄰，亦可指時間上的相鄰。圖三(A)中的影像區塊107~110是目標影像區塊111在空間上的鄰近影像區塊，而前一張參考圖框的影像區塊111是目標影像區塊111在時間上的鄰近影像區塊。實務上，數字N的決定因素可能有幾種，例如硬體資源數量、可取得的參考資料個數。該等鄰近影像區塊的移動向量可能係藉由對整個參考圖框進行搜尋而找出，或者是藉由搜尋電路202稍早進行的移動補償搜尋程序所找出。請參閱圖三(A)與圖三(B)呈現的範例。假設目標影像區塊為影像區塊111，且N被設定為四，則搜尋範圍提供電路201可將影像區塊107~110各自的移動向量挪移至以影像區塊111的中心點為起點，做為影像區塊111的四個移動向量預測值（以符號PMV1 ~PMV4 表示），並據此在參考圖框900中設定四個搜尋範圍S1 ~S4 。
在圖三(B)呈現的範例中，搜尋範圍S1 ~S4 是各自以移動向量預測值PMV1 ~PMV4 之尾端為中心點的特定大小區域。須說明的是，搜尋範圍S1 ~SN 的特性(例如大小與各邊長)之決定因素可包含但不限於硬體資源數量、鄰近影像區塊與目標影像區塊的關聯性高低。一例中，假設搜尋電路202能提供在一特定工作週期中對總面積為64畫素*64畫素之搜尋範圍進行移動補償搜尋程序的硬體資源，且N被設定為四，則搜尋範圍提供電路201可令搜尋範圍S1 ~S4 各自的大小被平均分配為32畫素*32畫素。須說明的是，該N個搜尋範圍的大小或形狀亦不需要完全相同。舉例而言，相對於影像區塊107、109，影像區塊108、110距離影像區塊111較近、在空間上的關聯性較高。搜尋範圍提供電路201可維持所有搜尋範圍的總面積不變，但分配較大的搜尋範圍（例如兩個大小分別為32畫素*48畫素的區域）給移動向量預測值PMV2 、PMV4 ，分配較小的搜尋範圍（例如兩個大小分別為32畫素*16畫素的區域）給移動向量預測值PMV1 、PMV3 。
接著，搜尋電路202便會在搜尋範圍提供電路201設定的搜尋範圍S1 ~SN 中進行移動補償搜尋程序，藉此為目標影像區塊找出一移動向量，亦即在搜尋範圍S1 ~SN 中逐一評估所有可能的移動向量，以找出其中能最小化殘差資料量的移動向量。如圖二(B)所示，搜尋電路202可被設計為包含N個子搜尋電路202A與一選擇電路202B。該等子搜尋電路202A可平行化地進行移動補償搜尋程序，各自搜尋範圍S1 ~SN 中的一個，並且各自在負責的搜尋範圍中找出一個區域性移動向量（以符號LMV1 ~LMVN 表示）。選擇電路202B可根據區域性移動向量LMV1 ~LMVN 與目標影像區塊對應的N筆殘差資料量（以符號RE1 ~REN 表示），選出殘差資料量最低的區域性移動向量，做為輸出搜尋電路202的移動向量。
隨後，編碼器203會根據搜尋電路202找出的移動向量、參考圖框的影像資料，以及目標影像區塊的影像資料為目標影像區塊編碼。須說明的是，根據指定的移動向量為一影像區塊編碼之實施細節，為本發明所屬技術領域中具有通常知識者所知，於此不贅述。
影像處理裝置200的優點在於，無論目標影像區塊是與哪一個鄰近區塊的關聯性較高（也就是無論多個移動向量預測值中的哪一個移動向量預測值較準確），各個相對應的搜尋範圍都會被加以搜尋。在使用等量搜尋資源（例如搜尋總面積皆為64畫素*64畫素）的情況下，相較於先前技術根據單一個移動向量預測值，於單一個搜尋範圍內進行移動補償搜尋程序的做法，即使移動向量預測值PMV1 ~PMVN 各自對應的搜尋範圍可能較小，影像處理裝置200通常仍可找出更理想的移動向量。
請參閱圖四。於一實施例中，影像處理裝置200進一步包含一判斷電路204與一延伸電路205。判斷電路204係用以判斷搜尋範圍S1 ~SN 中是否有兩個或多於兩個的搜尋範圍相互重疊。若判斷電路204之判斷結果為是，延伸電路205便會自參考圖框中另外選出未與搜尋範圍S1 ~SN 重疊的延伸搜尋範圍SE ，並使得搜尋電路202於尋找移動向量時，除了搜尋範圍S1 ~SN ，亦於延伸搜尋範圍SE 中進行移動補償搜尋程序。圖五(A)~圖五(C)呈現了幾種可能的重疊情況與延伸搜尋範圍之範例，說明如下。
首先請參閱圖五(A)的範例。如圖五(A)左側所示，搜尋範圍提供電路201提供的搜尋範圍S3 、S4 有部份重疊（標示有斜線陰影的區域）。若搜尋電路202分別對搜尋範圍S3 、S4 施以移動補償搜尋程序，該重疊區域便會被搜尋兩次，造成運算資源的浪費。因此，當判斷電路204判定搜尋範圍S3 、S4 符合重疊條件，延伸電路205可另外選出如圖五(A)右側所示之未與搜尋範圍S1 ~S4 重疊的延伸搜尋範圍SE ，並請求搜尋電路202於尋找移動向量時，將原本會用於重複搜尋該重疊區域的運算資源用於搜尋延伸搜尋範圍SE 。須說明的是，延伸搜尋範圍SE 的位置與形狀皆不限於圖五(A)所示者。延伸搜尋範圍SE 的特性(例如位置與形狀)的決定因素可包含但不限於預先設計的模式、目標影像區塊相對於原鄰近影像區塊的位置以及關聯性高低等等。舉例而言，延伸搜尋範圍SE 亦可被選定在搜尋範圍S3 、S4 的左側，如圖五(B)所示。另一例中，選擇延伸搜尋範圍SE 的位置時，延伸電路205考量在哪一個區域找出較佳移動向量的機率較高。舉例而言，由於搜尋範圍S1 、S2 位在搜尋範圍S3 、S4 的左側，較佳移動向量出現在搜尋範圍S3 、S4 左側的機率高於出現在搜尋範圍S3 、S4 右側的機率。因此，在搜尋範圍S3 、S4 的左側選定延伸搜尋範圍SE 可能是較好的。另一方面，相較於不規則的多邊形，令延伸搜尋範圍SE 的形狀為長方形或正方形，在實作上較容易。
在圖五(C)的範例中，搜尋範圍提供電路201提供的搜尋範圍S3 、S4 完全相同、相互重疊（標示有斜線陰影的區域），且延伸電路205首先自搜尋範圍S3 的中心點延伸出一個延伸搜尋範圍SE1 。隨後，判斷電路204可以再次運作，判斷搜尋範圍S1 ~SN 與延伸搜尋範圍SE1 中是否另有兩個或多於兩個的搜尋範圍相互重疊。如圖五(C)所示，延伸搜尋範圍SE1 與搜尋範圍S2 有部份重疊（標示有點狀陰影的區域）。因此，延伸電路205可進一步選出如圖五(C)最下方所示之延伸搜尋範圍SE2 ，並請求搜尋電路202於尋找移動向量時，除了搜尋範圍S1 ~S4 ，亦於延伸搜尋範圍SE1 、SE2 中進行移動補償搜尋程序。
在搜尋範圍S1 ~SN 中有搜尋範圍相互重疊的情況下，延伸電路205可令所有延伸搜尋範圍SE 的總面積相等於所有重疊區域的總面積，藉此維持運算資源的使用量不變。就圖五(A)而言，便是令延伸搜尋範圍SE 的面積相等於搜尋範圍S3 、S4 之重疊區域的面積。就圖五(C)而言，則是令延伸搜尋範圍SE1 、SE2 的總面積相等於搜尋範圍S3 的面積。
實務上，判斷電路204於判斷搜尋範圍S1 ~SN 中是否有兩個或多於兩個的搜尋範圍相互重疊時，除了可利用該等搜尋範圍本身的涵蓋區域來判斷，亦可利用移動向量預測值PMV1 ~PMVN 之尾端為中心點座標作為判斷依據。更具體地說，由於搜尋範圍的長寬通常為已知數，兩個中心點座標的間距若小於一預設門檻，判斷電路204便可判斷相對應的兩個搜尋範圍是符合重疊條件的。於實際應用中，判斷電路204與延伸電路205可利用多種控制和處理平台實現，包含固定式或可程式化的邏輯電路，例如可程式化邏輯閘陣列、針對特定應用的積體電路、微控制器、微處理器、數位信號處理器。此外，判斷電路204與延伸電路205亦可被設計為透過執行一記憶體（未繪示）中所儲存之處理器指令來完成任務。
請參閱圖六。於一實施例中，除了圖二(B)中繪示的N個子搜尋電路202A與選擇電路202B，搜尋電路202進一步包含一分派電路202C。分派電路202C負責將搜尋範圍S1 ~SN 與延伸搜尋範圍SE 依面積大小平均分配為互不重疊的N等分（以符號S1 ’~SN ’表示），分派給N個子搜尋電路202A，平行化地進行移動補償搜尋程序。
請參閱圖七。於一實施例中，判斷電路204包含一量化電路204A與一比較電路204B。量化電路204A負責將移動向量預測值PMV1 ~PMVN 量化，以產生量化後移動向量預測值PMVQ1 ~PMVQN 。當該等移動向量預測值係以多個二進位或八進位位元表示，此量化程序可被視為忽略較低有效位元，僅考慮較高有效位元。只要量化的解析度選擇得當，兩個移動向量預測值的較高有效位元相同便等同於距離近到會使得其搜尋範圍相互重疊。因此，比較電路204B係用以比較量化後移動向量預測值PMVQ1 ~PMVQN 。若其中有M個量化後移動向量預測值相同（M為大於一之整數），比較電路204B即判定相對應之M個搜尋範圍符合重疊條件。
本發明之另一具體實施例為一種影像處理方法，其流程圖係繪示於圖八。首先，步驟S801是為一目標影像區塊取得N個移動向量預測值，並據此於一參考圖框中設定N個相對應的搜尋範圍，其中N為大於一之整數。接著，步驟S802為於該N個搜尋範圍中進行一移動補償搜尋程序，藉此為該目標影像區塊找出一移動向量。隨後，步驟S803為根據該移動向量為該目標影像區塊編碼。
本發明所屬技術領域中具有通常知識者可理解，先前在介紹影像處理裝置200時描述的各種操作變化亦可應用至圖八中的影像處理方法，其細節不再贅述。
藉由以上具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。
100‧‧‧待編碼圖框
107~111‧‧‧影像區塊
R‧‧‧參考區塊
S、S1~SN‧‧‧搜尋範圍
SE‧‧‧延伸搜尋範圍
MV107~MV110‧‧‧移動向量
PMV‧‧‧移動向量預測值
200‧‧‧影像處理裝置
201‧‧‧搜尋範圍提供電路
202‧‧‧搜尋電路
202A‧‧‧子搜尋電路
202B‧‧‧選擇電路
202C‧‧‧分派電路
203‧‧‧編碼器
204‧‧‧判斷電路
204A‧‧‧量化電路
204B‧‧‧比較電路
205‧‧‧延伸電路
900‧‧‧參考圖框
S801~S803‧‧‧流程步驟
圖一(A)~圖一(D)之圖框及影像區塊範例係用以說明兩種傳統的移動補償方案。 圖二(A)為本發明之一實施例中的影像處理裝置之功能方塊圖。 圖二(B)為本發明之一實施例中的搜尋電路之功能方塊圖。 圖三(A)與圖三(B)之圖框及影像區塊範例係用以說明與本發明相關的移動補償方案。 圖四為本發明之另一實施例中的影像處理裝置之功能方塊圖。 圖五(A)~圖五(C)顯示幾種延伸搜尋範圍的範例。 圖六為本發明之另一實施例中的搜尋電路之功能方塊圖。 圖七為本發明之一實施例中的影像處理裝置之功能方塊圖。 圖八為本發明之一實施例中的影像處理方法之流程圖。 須說明的是，本發明的圖式包含呈現多種彼此關聯之功能性模組的功能方塊圖。該等圖式並非細部電路圖，且其中的連接線僅用以表示信號流。功能性元件及/或程序間的多種互動關係不一定要透過直接的電性連結始能達成。此外，個別元件的功能不一定要如圖式中繪示的方式分配，且分散式的區塊不一定要以分散式的電子元件實現。

Claims (14)

  1. 一種影像處理裝置，包含： 一搜尋範圍提供電路，用以為一目標影像區塊取得N個移動向量預測值，並據此於一參考圖框中設定相對應的N個搜尋範圍，其中N為大於一之整數； 一搜尋電路，用以於該N個搜尋範圍中各進行一移動補償搜尋程序，藉此為該目標影像區塊找出一移動向量；以及 一編碼器，用以根據該移動向量為該目標影像區塊編碼。
  2. 如申請專利範圍第1項所述之影像處理裝置，其中該N個移動向量預測值係該目標影像區塊之N個鄰近影像區塊各自的移動向量。
  3. 如申請專利範圍第2項所述之影像處理裝置，其中該搜尋範圍提供電路依照該N個鄰近影像區塊與該目標影像區塊之關聯性分別決定該N個搜尋範圍之特性。
  4. 如申請專利範圍第1項所述之影像處理裝置，進一步包含： 一判斷電路，用以判斷該N個搜尋範圍中是否有兩個或多於兩個的搜尋範圍符合一重疊條件；以及 一延伸電路，若該判斷電路之判斷結果為是，自該參考圖框中選出未與該N個搜尋範圍重疊之一延伸搜尋範圍，並請求該搜尋電路於尋找該移動向量時，除了該N個搜尋範圍，亦於該延伸搜尋範圍中進行一移動補償搜尋程序。
  5. 如申請專利範圍第4項所述之影像處理裝置，其中該延伸電路令該延伸搜尋範圍之總面積等於該N個搜尋範圍之所有重疊區域的總面積。
  6. 如申請專利範圍第5項所述之影像處理裝置，其中該延伸電路進一步依照該N個鄰近影像區塊與該目標影像區塊之關聯性決定該延伸搜尋範圍之特性。
  7. 如申請專利範圍第4項所述之影像處理裝置，其中該搜尋電路包含： N個子搜尋電路，用以平行地進行該移動補償搜尋程序；以及 一分派電路，用以將該N個搜尋範圍與該延伸搜尋範圍依面積大小平均分配為互不重疊之N等分，分派給該N個子搜尋電路。
  8. 如申請專利範圍第4項所述之影像處理裝置，其中該判斷電路包含： 一量化電路，用以將該N個移動向量預測值量化，以產生N個量化後移動向量預測值；以及 一比較電路，用以比較該N個量化後移動向量預測值，若其中有M個量化後移動向量預測值相同，則判定相對應之M個搜尋範圍符合該重疊條件，M為大於一之整數。
  9. 一種影像處理方法，包含： (a)為一目標影像區塊取得N個移動向量預測值，並據此於一參考圖框中設定相對應的N個搜尋範圍，其中N為大於一之整數； (b)於該N個搜尋範圍中各進行一移動補償搜尋程序，藉此為該目標影像區塊找出一移動向量；以及 (c)根據該移動向量為該目標影像區塊編碼。
  10. 如申請專利範圍第9項所述之影像處理方法，其中該N個移動向量預測值係該目標影像區塊之N個鄰近影像區塊各自的移動向量。
  11. 如申請專利範圍第9項所述之影像處理方法，進一步包含： (d)判斷該N個搜尋範圍中是否有兩個或多於兩個的搜尋範圍符合一重疊條件； (e)若步驟(d)之判斷結果為是，自該參考圖框中選出未與該N個搜尋範圍重疊之一延伸搜尋範圍；以及 (f)於尋找該移動向量時，除了該N個搜尋範圍，亦於該延伸搜尋範圍中進行一移動補償搜尋程序。
  12. 如申請專利範圍第11項所述之影像處理方法，其中步驟(e)包含令該延伸搜尋範圍之總面積等於該N個搜尋範圍之所有重疊區域的總面積。
  13. 如申請專利範圍第11項所述之影像處理方法，其中步驟(f)包含： 將該N個搜尋範圍與該延伸搜尋範圍依面積大小平均分配為互不重疊之N等分，並利用N個子搜尋程序，平行化地進行該移動補償搜尋程序。
  14. 如申請專利範圍第11項所述之影像處理方法，其中步驟(d)包含： 將該N個移動向量預測值量化，以產生N個量化後移動向量預測值；以及 比較該N個量化後移動向量預測值，若其中有M個量化後移動向量預測值相同，則判定相對應之M個搜尋範圍符合該重疊條件，M為大於一之整數。
TW106139902A 2017-11-17 2017-11-17 與移動補償相關之影像處理裝置及影像處理方法 TW201924349A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106139902A TW201924349A (zh) 2017-11-17 2017-11-17 與移動補償相關之影像處理裝置及影像處理方法
US15/884,518 US10687065B2 (en) 2017-11-17 2018-01-31 Image processing apparatus and image processing method related to motion compensation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106139902A TW201924349A (zh) 2017-11-17 2017-11-17 與移動補償相關之影像處理裝置及影像處理方法

Publications (1)

Publication Number Publication Date
TW201924349A true TW201924349A (zh) 2019-06-16

Family

ID=66532707

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106139902A TW201924349A (zh) 2017-11-17 2017-11-17 與移動補償相關之影像處理裝置及影像處理方法

Country Status (2)

Country Link
US (1) US10687065B2 (zh)
TW (1) TW201924349A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434715B (zh) * 2020-03-23 2024-06-21 瑞昱半导体股份有限公司 用于针对图像进行搜索的方法以及图像处理电路
US20240223768A1 (en) * 2022-12-28 2024-07-04 Ati Technologies Ulc Content adaptive configurable hierarchical and partitional motion estimation search

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100644498B1 (ko) * 1999-08-25 2006-11-10 마츠시타 덴끼 산교 가부시키가이샤 노이즈 검출방법과 노이즈 검출장치 및 화상 복호화장치
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US8000392B1 (en) * 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
WO2006041832A2 (en) * 2004-10-05 2006-04-20 Vectormax Corporation Method and system for broadcasting multimedia data
US8254444B2 (en) * 2007-05-14 2012-08-28 Samsung Electronics Co., Ltd. System and method for phase adaptive occlusion detection based on motion vector field in digital video
US9292899B2 (en) * 2013-09-25 2016-03-22 Apple Inc. Reference frame data prefetching in block processing pipelines
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10271064B2 (en) * 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
US10419777B2 (en) * 2016-12-22 2019-09-17 Google Llc Non-causal overlapped block prediction in variable block size video coding

Also Published As

Publication number Publication date
US20190158844A1 (en) 2019-05-23
US10687065B2 (en) 2020-06-16

Similar Documents

Publication Publication Date Title
KR101342268B1 (ko) 모션 보상을 위한 자연 형상 영역
WO2019072248A1 (zh) 运动估计方法、装置、电子设备及计算机可读存储介质
US20100020877A1 (en) Multiple reference frame motion estimation in video coding
JP2017535162A (ja) 画像予測方法および関連装置
US20160080766A1 (en) Encoding system using motion estimation and encoding method using motion estimation
JP6275719B2 (ja) ビデオシーケンスの画像の色をサンプル化する方法および色クラスタリングへの適用
CN1260977C (zh) 在数字影像压缩中决定运动矢量的方法
US11178398B2 (en) Method and electronic device for coding a segment of an inter frame
TW201032594A (en) Motion estimation approach for real-time embedded multimedia design
JP6461209B2 (ja) ビデオ符号化システム及びビデオを符号化する方法
TWI868071B (zh) 交織預測的應用
CN103763563B (zh) 运动估计搜索方法
JP2019528634A (ja) インターフレーム予測符号化方法および装置
TW201924349A (zh) 與移動補償相關之影像處理裝置及影像處理方法
US9426337B2 (en) Apparatus, method and video decoder for reconstructing occlusion region
JP2026502304A (ja) 動的点群のための学習ベースの予測コーディング
TWI442775B (zh) 執行移動評估之低功率高效能視頻編碼方法
CN111343465B (zh) 电子电路和电子设备
EP2367357A2 (en) Adaptive search area in motion estimation processes
CN109068140B (zh) 视频编码中运动向量的确定方法、装置及视频编解码设备
US20200193618A1 (en) Electronic circuit and electronic device performing motion estimation based on decreased number of candidate blocks
KR102056218B1 (ko) 특징점 기반 움직임 벡터를 이용한 움직임 추정 방법 및 장치
Pohl et al. Real-time 3DRS motion estimation for frame-rate conversion
CN119211529A (zh) 视频帧间编码中的运动向量修正处理方法、装置及设备
US10776183B2 (en) Information processing apparatus and information processing method