TWI428024B

TWI428024B - 提升圖框速率的系統與方法

Info

Publication number: TWI428024B
Application number: TW099114570A
Authority: TW
Inventors: Ying Ru Chen; Sheng Chun Niu
Original assignee: Himax Media Solutions Inc; Himax Tech Ltd
Priority date: 2010-05-06
Filing date: 2010-05-06
Publication date: 2014-02-21
Also published as: TW201141237A

Description

提升圖框速率的系統與方法

本發明係有關圖框速率的提升，特別是關於一種針對內插圖框的空間內插(spatial interpolation)處理與平滑化。

提升圖框速率技術(frame rate up conversion，FRUC)經常應用在數位影像的顯示(例如數位電視)，其可在二相鄰原始圖框間產生一或多張內插圖框，以提升顯示圖框的速率，例如由60Hz提升至120Hz甚至240Hz。內插圖框通常係藉由動作補償(motion compensation，MC)的內插技術所產生。第一圖顯示以區塊為基礎的動作估計/補償技術，其根據前一圖框A和目前圖框B以產生內插圖框。首先，估計目前圖框B之巨集區塊(macroblock,MB)相對於前一圖框A之相應巨集區塊的動作。接著，根據動作估計以得到內插圖框。

對於以區塊為基礎之動作補償所產生的內插圖框，經常會產生破裂(或裂開)區域，於該區域內不具有動作向量。再者，對於以區塊為基礎之動作補償，沿著相鄰區塊之間的邊界通常存在有邊界效應(side effect)。為克服破裂區域的問題，傳統系統或方法係使用線緩衝器(line-buffer)來儲存目前區塊的像素以及前一區塊與下一區塊的某些像素。例如，對於8x8區塊為基礎的系統或方法，需使用十個線緩衝器來儲存目前區塊的8條線、前一區塊的最後一條線及下一區塊的第一條線。由於存取十個線緩衝器的像素需要耗費大量的時間，因此，傳統的系統或方法並無法用於即時影像的顯示。另外，十個線緩衝器會造成電路面積與成本的增加。

鑑於傳統系統與方法無法有效的解決破裂區域的問題與邊界效應，因此，亟需提出一種新穎的系統與方法，以經濟且有效的方式產生沒有破裂區域與邊界效應的內插圖框。

鑑於上述，本發明實施例的目的之一在於提供一種提升圖框速率(frame rate up conversion，FRUC)的系統與方法，使用較傳統少的緩衝器資源，以修補及平滑化所產生的內插圖框。

根據本發明實施例，提升圖框速率系統包含動作估計(motion estimation，ME)單元與三線緩衝器為基礎之動作補償單元。動作估計單元根據連續的圖框輸入，產生至少一動作向量(motion vector，MV)。動作補償單元根據動作向量、參考圖框與目前圖框以產生內插圖框，藉此，產生一圖框輸出，其圖框速率高於圖框輸入之圖框速率。

21‧‧‧動作估計單元

22‧‧‧動作補償單元

221‧‧‧時間內插單元

222‧‧‧空間內插單元

223‧‧‧平滑化單元

2221‧‧‧記憶體

2222‧‧‧三線緩衝器

2223‧‧‧空間內插處理器

31-32‧‧‧步驟

321-323‧‧‧步驟

3222-3223‧‧‧步驟

p1、p2、p3、p4、pc、b1、bc‧‧‧像素

第一圖顯示根據前一圖框與目前圖框以產生內插圖框的例子。

第二A圖顯示本發明實施例之提升圖框速率的系統方塊圖。

第二B圖顯示本發明實施例之提升圖框速率的方法流程圖。

第三A圖顯示本發明實施例中第二A圖之動作補償(MC)單元的詳細方塊圖。

第三B圖顯示本發明實施例中第二B圖之內插圖框產生步驟的詳細流程圖。

第四A圖顯示本發明實施例中第三A圖之空間內插單元的詳細方塊圖。

第四B圖顯示本發明實施例中第三B圖之空間內插以修補破裂區域步驟的詳細流程圖。

第五A圖及第五B圖例示將前一區塊之最後一條線、目前線與下一區塊的第一條線儲存於三線緩衝器。

第六圖顯示藉由空間內插處理器以執行空間內插的例子。

第七圖顯示執行平滑化的例子。

第二A圖顯示本發明實施例之提升圖框速率(frame rate up conversion，FRUC)的系統方塊圖。第二B圖顯示本發明實施例之提升圖框速率的方法流程圖。提升圖框速率系統主要包含動作估計單元(motion estimation，ME)21與動作補償(motion compensation，MC)單元22。於步驟31，動作估計單元21接收具原始圖框速率(例如60Hz)之連續圖框輸入，用以產生動作向量(motion vector，MV)或動作向量圖(motion vector map，MV map)。於步驟32，動作補償單元22(特別是以三線(triple-line)緩衝器為基礎的動作補償單元)根據動作向量/動作向量圖、參考圖框(例如前一圖框或後一圖框)及目前圖框以產生內插圖框，藉此產生圖框速率提升(例如120Hz)的連續圖框輸出。在本實施例中，係採用以區塊為基礎的動作補償。

第三A圖顯示本發明實施例中第二A圖之動作補償單元22的詳細方塊圖。第三B圖顯示本發明實施例中第二B圖之內插圖框產生步驟(步驟32)的詳細流程圖。在本實施例中，動作補償單元22包含時間(temporal)內插單元221、空間內插單元222與平滑化單元223。於步驟321，時間內插單元221根據動作向量/動作向量圖、參考圖框與目前圖框，以產生時間內插圖框(其中，參考圖框與目前圖框可從動作估計單元21或圖框儲存記憶體取得)。鑑於以區塊為基礎的動作補償所產生之時間內插圖框中經常會有破裂(或裂開)區域，因此於步驟322中，使用空間內插單元222針對時間內插圖框執行空間內插，以修補破裂區域。有關破裂區域修補之細節，稍後將會於本說明書詳加說明。另外，鑑於以區塊為基礎的動作補償存在有邊界效應於區塊間的邊界，因此於步驟323中，使用平滑化單元23沿著空間內插圖框的區塊間邊界執行平滑化，以減少邊界效應。有關區塊邊界平滑化之細節，稍後將會於本說明書詳加說明。

第四A圖顯示本發明實施例中第三A圖之空間內插單元222的詳細方塊圖。第四B圖顯示本發明實施例中第三B圖之空間內插以修補破裂區域步驟(步驟322)的詳細流程圖。在本實施例中，空間內插單元222包含記憶體2221、三線緩衝器2222與空間內插處理器2223。記憶體2221提供一些像素區塊的線條。三線緩衝器2222包含三個線緩衝器，分別用以儲存將被處理的目前線、前一區塊的最後一條線與下一區塊的第一條線(步驟3222)。接著，根據所儲存之前一(上端鄰近)區塊的最後一條線與下一(下端鄰近)區塊的第一條線，使用空間內插處理器2223對目前線執行空間內插(步驟3223)。由於本實施例僅使用三線緩衝器以進行空間內插(與平滑化)，相較於傳統系統與方法，本實例可大量減少硬體資源與加快內插(與平滑化)速度。

第五A圖顯示一例子，其中前一區塊N-1的最後一條線儲存在緩衝器1，目前區塊N的目前線儲存在緩衝器2且下一區塊N+1的第一條線儲存在緩衝器3，上述區塊N-1、區塊N與區塊N+1為影像垂直方向之連續區塊。對於相同區塊N，每次係以下一條線覆蓋緩衝器2的內容。如第五B圖所顯示的另一例子，在處理完區塊N的最後一條線之後，區塊N+1的第一條線成為目前線。由於此目前線已預先儲存在緩衝器3，故不需要再次由記憶體2221擷取。再者，保留在緩衝器2之區塊N所完成處理的最後一條線將成為前一區塊N的最後一條線。同時，由記憶體2221擷取區塊N+2的第一條線並將其儲存在緩衝器1。對同一區塊N+1，每次係以下一條線覆蓋緩衝器3(而非第五A圖所示之緩衝器2)的內容。藉此，第五A圖與第五B圖所示之例子可重複執行於所有區塊。

第六圖顯示藉由空間內插處理器2223以執行空間內插(步驟3222)的例子。在一實施例中，根據前一區塊的最後一條線之像素p1與下一區塊的第一條線之像素p2，對目前線的像素pc執行空間內插。例如，可由下列算式算出像素pc的值： pc=[p1*n1+p2*n2]/(n1+n2)，其中n1與n2分別為像素p1與p2的權重(weighting)。

在另一實施例中，根據以下四個像素對目前線的像素pc執行空間內插：前一區塊之最後一條線的像素p1、下一區塊之第一條線的像素p2、左側相鄰區塊的像素p3與右側相鄰區塊的像素p4。

接下來，以平滑化單元223對空間內插圖框執行平滑化處理(步驟323)。在本實施例中，採用低通濾波(low-pass filtering，LPF)以平滑化區塊邊界，進而減少邊界效應。第七圖顯示執行平滑化的例子。在本實施例中，根據目前線的像素bc本身與前一區塊之最後一條線的像素b1，以平滑化目前線的像素bc。例如，可由下列算式算出平滑化像素bc’的值：bc’=[b1*n1+bc*n2]/(n1+n2)，其中n1與n2分別為像素b1與bc的權重(weighting)。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

222‧‧‧空間內插單元

2221‧‧‧記憶體

2222‧‧‧三線緩衝器

2223‧‧‧空間內插處理器

Claims

一種提升圖框速率的系統，包含：一動作估計單元，根據連續的圖框輸入以產生至少一動作向量；及一動作補償單元，其以三線緩衝器為基礎，該動作補償單元根據該動作向量、一參考圖框與一目前圖框以產生一內插圖框，藉此，產生一圖框輸出，其圖框速率高於該圖框輸入之圖框速率；其中該動作補償單元包含：一時間內插單元，根據該動作向量、該參考圖框與該目前圖框以產生一時間內插圖框；及一空間內插單元，對該時間內插圖框執行空間內插，以產生一空間內插圖框；其中該空間內插單元包含：一記憶體，用以提供像素區塊的複數條線；該三線緩衝器包含三個線緩衝器，分別用以儲存一目前區塊之目前線、一前一區塊之一最後一條線與一下一區塊之第一條線；及一空間內插處理器，根據所儲存的該前一區塊之最後一條線與該下一區塊的第一條線，用以對該目前線執行空間內插。
如申請專利範圍第1項所述提升圖框速率的系統，更包含一平滑化單元，沿著相鄰區塊間之一周邊，對該空間內插圖框執行平滑化處理。
如申請專利範圍第1項所述提升圖框速率的系統，其中儲存目前線的該線緩衝器，其內容受到下一條目前線所覆蓋。
如申請專利範圍第1項所述提升圖框速率的系統，於第一周期期間，三個該線緩衝器包含：一第一緩衝器，用於儲存該前一區塊N-1之最後一條線；一第二緩衝器，用於儲存該目前區塊N之目前線；及一第三緩衝器，用於儲存該下一N+1之第一條線；其中該區塊N-1、該區塊N與該區塊N+1為一影像於垂直方向的連續區塊。
如申請專利範圍第4項所述提升圖框速率的系統，在第二周期期間，該第一緩衝器用於儲存一區塊N+2之第一條線，該第二緩衝器用於儲存該區塊N之最後一條線，且該第三緩衝器用於儲存該區塊N+1之目前線，其中該區塊N、該區塊N+1與該區塊N+2為該影像於垂直方向的連續區塊。
如申請專利範圍第1項所述提升圖框速率的系統，根據該前一區塊之最後一條線的一像素與該下一區塊之第一條線之一像素，對該目前線之一像素執行空間內插。
一種提升圖框速率的方法，包含：根據連續的圖框輸入，進行動作估計(ME)以產生至少一動作向量(MV)；及根據該動作向量、一參考圖框與一目前圖框，執行三線緩衝器為基礎之動作補償，以產生一內插圖框，藉此，產生一圖框輸出，其圖框速率高於該圖框輸入之圖框速率；其中該動作補償步驟包含：根據該動作向量、該參考圖框與該目前圖框，執行時間內插以產生一時間內插圖框；及對該時間內插圖框執行空間內插，以產生一空間內插圖框；其中該空間內插步驟包含：提供像素區塊的複數條線；將一目前區塊之目前線、一前一區塊之最後一條線與一下一區塊之第一條線分別儲存至該三線緩衝器內；及根據所儲存的該前一區塊之最後一條線與該下一區塊之第一條線，對該目前線執行空間內插。
如申請專利範圍第7項所述提升圖框速率的方法，更包含沿著相鄰區塊間之一周邊，平滑化該空間內插圖框。
如申請專利範圍第7項所述提升圖框速率的方法，更包含一步驟，以下一條目前線覆蓋儲存目前線之該線緩衝器的內容。
如申請專利範圍第7項所述提升圖框速率的方法，於第一周期期間，該線緩衝器儲存步驟包含：將該前一區塊N-1之最後一條線儲存至一第一緩衝器；將該目前區塊N之目前線儲存至一第二緩衝器；及將該下一區塊之第一條線儲存至一第三緩衝器；其中該區塊N-1、該區塊N與該區塊N+1為一影像於垂直方向之連續區塊。
如申請專利範圍第10項所述提升圖框速率的方法，於第二周期期間，該線緩衝器儲存步驟包含：將一區塊N+2之第一條線儲存至該第一緩衝器；將該區塊N之最後一條線儲存至該第二緩衝器；及將該區塊N+1之目前線儲存至該第三緩衝器；其中該區塊N、該區塊N+1與該區塊N+2為該影像於垂直方向之連續區塊。
如申請專利範圍第7項所述提升圖框速率的方法，其中該空間內插步驟包含：根據該前一區塊的最後一條線之一像素與該下一區塊的第一條線之一像素，對該目前線的一像素執行空間內插。