TW201141237A - Frame rate up conversion system and method - Google Patents

Description

201141237 六、發明說明： 【發明所屬之技術領域】 [0001] 本發明係有關圖框速率的提升，特別是關於一種針對内 插圖框的空間内插（spat i a 1 i nterpo 1 at i on)處理與平 . 滑化。 [先前技術] [0002] 提升圖框速率技術（frame rate up conversion， FRUC)經常應用在數位影像的顯示（例如數位電視），其可 0 在二相鄰原始圖框間產生一或多張内插圖框，以提升顯 示圖框的速率，例如由60Hz提升至12〇Hz甚至24〇Hz。内 插圖框通常係藉由動作補償（m〇ti〇n c〇mpensati〇n， MC)的内插技術所產生。第一圖顯示以區塊為基礎的動作 估汁/補償技術，其根據前一圖框A和目前圖框產生内 插圖框。首先，估計目前圖框Β之巨集區塊 (macroblock，MB)相對於前一圖框人之相應巨集區塊的 動作。接著，根據動作估計以得到内插圖裎。 ❹侧]肖於以區塊為基礎之動作補償所產生的内插圖框，經常 會產生破裂（或裂開）區域，於該區域内不具有動作向 量再者對於以區塊為基礎之動作補償，沿著相鄰區 塊之間的邊界通常存在有邊界效應（side ⑴。為 克服破裂區域的問題’傳統系統或方法係使用線緩衝器 (line-buffer)來健存目前區塊的像素以及前-區塊與 下—區塊的某些像素。例如，對於8x8區塊為基礎的系統 或方法，需使用十個線緩衝器來儲存目前區塊的8條線' 前一區塊的最後-條線及下一區塊的第一條線。由於存 099114570 表單編號A0101 第3頁/共22頁 0992025738-0 201141237 取十個線緩衝器的像素需要耗費大量㈣間，因此，傳 統的系統或方法並無法· ”影像的顯示。另外，十 個線緩衝n會«轉面積料本的增加。 [0004] [0005] [0006] [0007] 鑑於傳統线與方法無料效的料韻㈣的問題與 邊界效應，因此’ Μ提出—種新穎的系統與方法，以 、讀且U的方生沒有破㈣域與邊界效應的内插 圖框。 【發明内容】 鑑於上述，本發明實施_目的之_在於提供—種提升 圖框速率（fr_ rate up conversion，FRUC)的系統 與方法，使用較傳統少的緩衝器資源，以修補及平滑化 所產生的内插圖框。 根據本發明實施例，提升圖框速率系統包含動作估計 (motion estimation，ME)單元與三線緩衝器為基礎之 動作補償料。動作料杨轉賴輸入產 生至少一動作向量（m〇ti〇n德输，MV)。動作補償單 兀根據動作向量、參考圖框與i前圖框以產生内插圖框 ，藉此，產生一圖框輪出，其圖框速率高於圖框輸入之 圖桓速率。 【實施方式】 第二A圖顯示本發明實施例之提升圖框速率（frame rate up conversion ’ FRUC)的系統方塊圖。第二B圖顯示本 發明實施例之提升圖框速率的方法流程圖。提升圖框速 率系統主要包含動作估計單元（motion estimation ， 奸）21 與動作補償（motion compensation，MC)單元 22 099114570 表單編號A0101 第4頁/共22頁 0992025738-0 201141237 〇 [0008] 。於步驟31 ’動作估計單元21接收具原始圖框速率（例如 隱z)之連續圖框輪入，用以產生動作向量（㈣_ Μ，，或動作向量圖（咖_ Vector map，MV map)。於步驟32，動作補償單元22(特別是以三線 (triple llne)緩衝器為基礎的動作補償單元）根據動作 向量/動作向量圖、參考圖框（例如前—圖框或後_圖框） 及目前圖框以產生内插圖框，藉此產生圖框速率提升（例 如腫z)的連續圖框輸出。在本實施例巾，係採用以區 塊為基礎的動作補償。 第三A圖顯示本發明實施例中第二A圖之動作補償單元22 的詳細方塊圖。第三B圖顯示本發明實施例令第二B圖之 内插圖框產生步驟（步驟32)的詳細流程圖。在本實施例 中，動作補償單元22包含時間（temp〇ral)内插單元221 、空間内插單元222與平滑化單元223。於步驟321，時 間内插單元221根據動作向量/動作向量圖、參考圖框與 目前圖框’以產生時間内插圖框（其中，參考圖框與目前 ❹ 圖框可從動作估計單元21或圖框儲存記憶體取得）鑑於 以區塊為基礎的動作補償所產生之時間内插圖框中經常 會有破裂（或裂開）區域，因此於步驟322中，使用空間内 插單元222針對時間内插圖框執行空間内插，_ = 區域。有關破裂區域修補之細節，稍後將會於本說 詳加說明區塊為基礎_作補償存在有 邊界效應於區塊間的邊界，因此於步驟323中，使用平滑 化單元 以減少邊界效應。有關區塊邊界平滑化之細節，:後將 099114570 表單編號A0101 第5頁/共22頁 0992025738-0 201141237 會於本說明書詳加說明。 [0009] 第四A圖顯示本發明實施例中第三A圖之空間内插單元222 的詳細方塊圖。第四B圖顯示本發明實施例中第三B圖之 空間内插以修補破裂區域步驟（步驟322)的詳細流程圖。 在本實施例中，空間内插單元222包含記憶體2221、三線 緩衝器2222與空間内插處理器2223。記憶體222 1提供一 些像素區塊的線條。三線緩衝器2222包含三個線缓衝器 ，分別用以儲存將被處理的目前線、前一區塊的最後一 條線與下一區塊的第一條線（步驟3222)。接著，根據所 儲存之前一（上端鄰近）區塊的最後一條線與下一（下端鄰 近）區塊的第一條線，使用空間内插處理器2223對目前線 執行空間内插（步驟3223)。由於本實施例僅使用三線缓 衝器以進行空間内插（與平滑化），相較於傳統系統與方 法，本實例可大量減少硬體資源與加快内插（與平滑化） 速度。

[0010] 第五A圖顯示一例子，其中前一區塊N-1的最後一條線儲 存在緩衝器1，目前區塊N的目前線儲存在緩衝器2且下一 區塊N+1的第一條線儲存在緩衝器3，上述區塊N-1、區塊 N與區塊N + 1為影像垂直方向之連續區塊。對於相同區塊N ，每次係以下一條線覆蓋缓衝器2的内容。如第五B圖所 顯示的另一例子，在處理完區塊N的最後一條線之後，區 塊N + 1的第一條線成為目前線。由於此目前線已預先儲存 在緩衝器3，故不需要再次由記憶體2221擷取。再者，保 留在緩衝器2之區塊N所完成處理的最後一條線將成為前 一區塊N的最後一條線。同時，由記憶體2221擷取區塊 099114570 表單編號A0101 第6頁/共22頁 0992025738-0 201141237 N + 2的第一條線並將其儲存在緩衝器j。對同一區塊N+i， 每次係以下一條線覆蓋緩衝器3 (而非第五A圖所示之緩衝 器2)的内容。藉此，第五A圖與第五B圖所示之例子可重 複執行於所有區塊。 [0011] 第六圖顯示藉由空間内插處理器2 2 2 3以執行空間内插（步 驟3222)的例子。在一實施例中，根據前一區塊的最後一 條線之像素pi與下_區塊的第一條線之像素口2，對目前 線的像素pc執行空間内插。例如，可由下列算式算出像 素pc的值： pc=[pl*nl+p2*n2]/(nl+n2)， 其中nl與n2分別為像素“與以的權重（weighting)。 [0012] 在另-實施例中，根據以下四個像素對目前線的像素Μ 執行空間内插：前-區塊之最後_條線的像糾、下一區 塊之第-條㈣像素P2、左側相鄰區塊的像如與右側 相鄰區塊的像素p 4。 [0013] Ο 接下來’以平;f化單兀223對空_漏框執行平滑化處 理（步驟323)。在本實施例中，採用低通遽波U〇W-Pass filtering，LPF)以平滑化區塊邊界，進而減少邊界效 應。第七關示執行平滑化㈣子。在本實關中，根 據目前線的像素be本身與前-區塊之最後__條線的像素 b卜以平滑化目前線的像素bc。例如，可由下列算式算 出平滑化像素be’的值： be’ =[bl*nl+bc*n2]/(nHn2)， 其中nl與n2分別為像素1)1與1)(；的權重（weighting)。 099114570 表單編號A0101 第7頁/共22頁 0992025738-0 201141237 [0014] 以上所述僅為本發明之較佳實施例而已，並非用以限定 本發明之申請專利範圍；凡其它未脫離發明所揭示之精 神下所完成之等效改變或修飾，均應包含在下述之申請 專利範圍内。 【圖式簡單說明】 [0015] 第一圖顯示根據前一圖框與目前圖框以產生内插圖框的 例子。 第二A圖顯示本發明實施例之提升圖框速率的系統方塊圖 〇 第二B圖顯示本發明實施例之提升圖框速率的方法流程圖 〇 第三A圖顯示本發明實施例中第二A圖之動作補償（MC)單 元的詳細方塊圖。 第三B圖顯示本發明實施例中第二B圖之内插圖框產生步 驟的詳細流程圖。 第四A圖顯示本發明實施例中第三A圖之空間内插單元的 詳細方塊圖。 第四B圖顯示本發明實施例中第三B圖之空間内插以修補 破裂區域步驟的詳細流程圖。 第五A圖及第五B圖例示將前一區塊之最後一條線、目前 線與下一區塊的第一條線儲存於三線緩衝器。 第六圖顯示藉由空間内插處理器以執行空間内插的例子 〇 第七圖顯示執行平滑化的例子。 【主要元件符號說明】 099114570 表單編號A0101 第8頁/共22頁 0992025738-0 201141237 [0016] Ο 21 動作估計單元 22 動作補償單元 221 時間内插單元 222 空間内插單元 223 平滑化單元 2221 記憶體 2222 三線緩衝器 2223 空間内插處理器 31-32 步驟 321-323 步驟 3222-3223 步驟 pi ' p2 ' p3 ' p4 ' pc ' bl ' be 像素 ο pTC 專 099114570 表單編號A0101 第9頁/共22頁 0992025738-0

Claims (1)

1. 201141237 七、申請專利範圍： 1 . 一種提升圖框速率的系統，包含： 一動作估計單元，根據連續的圖框輸入以產生至少一動作 向量；及 一三線緩衝器為基礎之動作補償單元，根據該動作向量、 一參考圖框與一目前圖框以產生一内插圖框，藉此，產生 一圖框輸出’其圖框速率1¾於該圖框輸入之圖框速率。 2 .如申請專利範圍第1項所述提升圖框速率的系統，其中該 動作補償單元包含： 一時間内插單元，根據該動作向量、該參考圖框與該目前 圖框以產生一時間内插圖框；及 一空間内插單元，對該時間内插圖框執行空間内插，以產 生一空間内插圖框。 3 .如申請專利範圍第2項所述提升圖框速率的系統，更包含 一平滑化單元，沿著相鄰區塊間之一周邊，對該空間内插 圖框執行平滑化處理。 4 .如申請專利範圍第2項所述提升圖框速率的系統，其中該 空間内插單元包含： 一記憶體，用以提供像素區塊的複數條線； 一三線緩衝器，其包含三個線缓衝器，分別用以儲存一目 前線、一前一區塊之一最後一條線與一下一區塊之第一條 線，及 一空間内插處理器，根據所儲存的該前一區塊之最後一條 線與該下一區塊的第一條線，用以對該目前線執行空間内 插。 099114570 表單編號A0101 第10頁/共22頁 0992025738-0 201141237 如/申請專利範圍第4項所述提升圖框速率的系統，其中儲 存目前線的該線緩衝器，其内容受到下一條目前線所覆蓋 〇 如申請專利範圍第4項所述提升圖框速率的系統，於第一 周期期間，三個該線緩衝器包含： 一第一緩衝器，用於儲存該前一區塊Ν-1之最後一條線； 一第二緩衝器，用於儲存該目前區塊Ν之目前線；及 一第三緩衝器，用於儲存該下一Ν + 1之第一條線； Ο 其中該區塊Ν-1、該區塊Ν與該區塊Ν + 1為一影像於垂直方 向的連續區塊。 如申請專利範圍第6項所述提升圖框速率的系統，在第二 周期期間，該第一緩衝器用於儲存一區塊Ν + 2之第一條線 ，該第二緩衝器用於儲存該區塊Ν之最後一條線，且該第 三緩衝器用於儲存該區塊Ν + 1之目前線，其中該區塊Ν、 該區塊Ν+1與該區塊Ν + 2為該影像於垂直方向的連續區塊 〇 Ο 如申請專利範圍第4項所述提升圖框速率的系統，根據該 前一區塊之最後一條線的一像素與該下一區塊之第一條線 之一像素，對該目前線之一像素執行空間内插。 一種提升圖框速率的方法，包含： 根據連續的圖框輸入，進行動作估計（ME)以產生至少一 動作向量（MV);及 ίο . 根據該動作向量、一參考圖框與一目前圖框，執行三線緩 衝器為基礎之動作補償，以產生一内插圖框，藉此，產生 一圖框輸出》其圖框速率高於該圖框輸入之圖框速率。 如申請專利範圍第9項所述提升圖框速率的方法，其中該 099114570 表單編號A0101 第11頁/共22頁 0992025738-0 201141237 動作補償步驟包含： 根據該動作向量、該參考圖框與該目前圖框，執行時間内 插以產生一時間内插圖框；及 對該時間内插圖框執行空間内插，以產生一空間内插圖框 0 11 .如申請專利範圍第10項所述提升圖框速率的方法，更包含 沿著相鄰區塊間之一周邊，平滑化該空間内插圓框。 12 .如申請專利範圍第1〇項所述提升圖框速率的方法，其中該 空間内插步驟包含： 提供像素區塊的複數條線； 將一目前線、一前一區塊之最後一條線與一下一區塊之第 一條線分別儲存至該三線緩衝器内；及 根據所儲存的該前一區塊之最後一條線與談下一區塊之第 一條線’對該目前線執行空間内插。 13 ·如申請專利範圍第12項所述提升圖框速率的方法，更包含 一步驟，以下一條目前線覆蓋儲存目前線之該線緩衝器的 内容。 14 .如申請專利範圍第12項所述提升圖框速率的方法，於第一 周期期間，該線緩衝器儲存步驟包含： 將該前一區塊N-1之最後一條線儲存至一第一緩衝器； 將該目前區塊N之目前線儲存至一第二緩衝器；及 將該下一區塊之第一條線儲存至一第三緩衝器； 其中該區塊N-1、該區塊N與該區塊Ν + ι為一影像於垂直方 向之連續區塊。 15 .如申請專利範圍第14項所述提升圖框速率的方法，於第二 周期期間，該線緩衝器儲存步驟包含： 099114570 表單編號A0101 第12頁/共22頁 0992025738-0 201141237 將一區塊N + 2之第一條線儲存至該第一缓衝器； 將該區塊N之最後一條線儲存至該第二緩衝器；及 將該區塊N+1之目前線儲存至該第三緩衝器； 其中該區塊N、該區塊N + 1與該區塊N + 2為該影像於垂直方 向之連續區塊。 16 .如申請專利範圍第12項所述提升圖框速率的方法，其中該 空間内插步驟包含： 根據該前一區塊的最後一條線之一像素與該下一區塊的第 一條線之一像素，對該目前線的一像素執行空間内插。 ❹ 〇 099114570 表單編號 A0101 第 13 頁/共 22 頁 0992025738-0