TWI490819B - 影像處理方法及其裝置 - Google Patents

影像處理方法及其裝置 Download PDF

Info

Publication number
TWI490819B
TWI490819B TW098100776A TW98100776A TWI490819B TW I490819 B TWI490819 B TW I490819B TW 098100776 A TW098100776 A TW 098100776A TW 98100776 A TW98100776 A TW 98100776A TW I490819 B TWI490819 B TW I490819B
Authority
TW
Taiwan
Prior art keywords
block
interpolation
vector
picture
image
Prior art date
Application number
TW098100776A
Other languages
English (en)
Other versions
TW201027458A (en
Inventor
Chung Yi Chen
Chia Hao Chung
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW098100776A priority Critical patent/TWI490819B/zh
Priority to US12/509,495 priority patent/US8447126B2/en
Publication of TW201027458A publication Critical patent/TW201027458A/zh
Application granted granted Critical
Publication of TWI490819B publication Critical patent/TWI490819B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Description

影像處理方法及其裝置
本發明係指一種影像處理機制，尤指一種用以決定一插補畫面中影像覆蓋區/影像顯露區之影像的影像處理方法及其相關裝置。
目前傳統影像插補機制在決定一插補畫面中之一插補區塊的移動向量時，係直接以區塊比對演算法(block matching algorithm)的運算結果來決定其移動向量，以產生該插補區塊的影像。請參考第1圖，其係為區塊比對演算法的示意圖。如第1圖所示，影像畫面F2 、F3 係為輸入影像中前、後兩張的畫面，而畫面Finter 係為傳統影像插補機制所產生的一插補畫面，A’~L’係代表影像畫面F2 、F3 中的背景影像，圖中的虛線箭頭係表示背景影像移動的方向，而實線箭頭則表示一前景物體移動的方向，在影像畫面F2 中F’~I’的背景影像被該前景物體所遮蓋住，而在下一張影像畫面F3 中則是C’~F’的背景影像被該前景物體所遮蓋住；由於區塊比對演算法可在前、後兩張影像畫面F2 、F3 中皆可找到背景影像A’、B’、J’、K’、L’，所以，可決定出相對應區塊的正確目標移動向量，並將背景影像A’、B’、J’、K’、L’呈現於畫面Finter 上(如第1圖所示)；另外，區塊比對演算法亦可在前、後兩張影像畫面F2 、F3 中找到前景物體的影像，因此，可決定出相對應區塊的正確目標移動向量，並將前景物體的影像呈現於畫面Finter 上。
然而，在決定區域Rinter 與Rinter ’內之插補區塊的目標移動向量時，理想上區域Rinter 與Rinter ’內之插補區塊的目標移動向量應係為背景移動向量以使得區域Rinter 與Rinter ’內可呈現出背景影像，例如，區域Rinter 理想上應呈現背景影像C’、D’，而區域Rinter ’理想上應呈現背景影像H’、I’，然而，實際上，由於區塊比對演算法在影像畫面F3 中找不到背景影像C’、D’(已被前景物體所蓋住)，而在影像畫面F2 中找不到背景影像H’、I’(原本被前景物體所蓋住)，所以，區塊比對演算法並無法決定出正確的移動向量，造成插補區域Rinter 、Rinter ’實際所呈現的影像失真，當應用於圖框更新頻率轉換時，傳統影像插補機制將會大幅降低輸出影像的品質。
因此，本發明的目的之一在於提供一種能夠正確地決定一插補區塊之影像的影像處理方法及其相關裝置，以解決上述的問題。
依據本發明的實施例，其係揭露一種影像處理方法。該影像處理方法係用於進行運動畫面插補時決定一插補畫面之影像覆蓋區/影像顯露區的移動向量，該插補畫面由複數個區塊所組成，以及該方法包含有：產生該插補畫面中一區塊之一第一移動向量與一第二移動向量；依據該第一移動向量與該第二移動向量，決定該區塊位於影像覆蓋區及該影像顯露區之其中之一，以及計算一參考向量；以及依據該參考向量，決定該區塊之移動向量；其中，該參考向量係對該第一、第二移動向量進行一向量運算所得。
依據本發明的實施例，其另揭露一種影像處理方法。該影像處理方法係用於進行運動畫面插補時對一插補畫面之影像覆蓋區/影像顯露區進行影像插補，該插補畫面由複數個區塊所組成，以及該方法包含有：利用一區塊比對法，計算該插補畫面、前一插補畫面及後一插補畫面中複數個區塊之移動向量；依據該插補畫面中一區塊之移動向量及鄰近複數個區塊之移動向量，產生該插補畫面中該區塊之一第一移動向量與一第二移動向量，其中該區塊之移動向量為第一候選向量；依據該第一移動向量與該第二移動向量，計算該區塊之一參考向量；依據該參考向量，以該插補畫面中該區塊為一起始位置指到前一插補畫面或後一插補畫面中一比對區塊，並以該前一插補畫面或該後一插補畫面中該比對區塊之移動向量為第二候選向量；依據該第一、第二候選向量，進行該區塊之影像插補。
依據本發明的實施例，其係揭露一種影像處理裝置。該影像處理裝置係用於進行運動畫面插補時決定一插補畫面之影像覆蓋區/影像顯露區中的移動向量，該插補畫面由複數個區塊所組成，以及該影像處理裝置包含有一儲存單元與一計算單元，其中該儲存單元係用於至少儲存該插補畫面、前一插補畫面與後一插補畫面中相關區塊之原始移動向量，而該計算單元耦接於該儲存單元，並包括一移動向量產生模組與一移動向量決定模組，其中該移動向量產生模組係用於來決定該插補畫面中之一區塊的一第一移動向量與一第二移動向量，以及該移動向量決定模組係依據該第一移動向量與該第二移動向量，決定該區塊位於影像覆蓋區及該影像顯露區之其中之一，以及計算一參考向量，並據以決定該區塊之移動向量；此外，該參考向量係對該第一、第二移動向量進行一向量運算所得。
依據本發明的實施例，其另揭露一種影像處理裝置。該影像處理裝置係用於進行運動畫面插補時對一插補畫面之影像覆蓋區/影像顯露區進行影像插補，該插補畫面由複數個區塊所組成，以及該影像處理裝置包含有一儲存單元與一計算單元，其中該儲存單元係用於至少儲存該插補畫面、前一插補畫面與後一插補畫面中相關區塊之原始移動向量，而該計算單元耦接於該儲存單元，並包含有一第一候選向量產生模組、一第二候選向量產生模組與一畫面插補模組，其中該第一候選向量產生模組係用於依據該插補畫面中一區塊之移動向量及鄰近複數個區塊之移動向量，來產生該插補畫面中該區塊之一第一移動向量與一第二移動向量，其中該區塊之移動向量為第一候選向量，而該第二候選向量產生模組係用於依據該第一移動向量與該第二移動向量，來計算該區塊之一參考向量，並依據該參考向量，以該插補畫面中該區塊為一起始位置指到前一插補畫面或後一插補畫面中一比對區塊，並以該前一插補畫面或該後一插補畫面中該比對區塊之移動向量為第二候選向量，以及該畫面插補模組係用於依據該第一、第二候選向量，來進行該區塊之影像插補。
本發明之實施例的優勢在於，若一區塊實際屬於一影像覆蓋區或一影像顯露區，則上述影像處理裝置及方法可參考該區塊之第二候選向量來產生正確的影像，因而可提升影像品質，其中該第二候選向量係對應於背景移動向量；而若該區塊實際並非屬於影像覆蓋區或影像顯露區，則該影像處理裝置及方法可參考該區塊之第一候選向量來產生正確的影像，因而不會影響影像品質，其中該第一候選向量係區塊比對演算法針對該區塊所計算的一移動向量。
首先，為方便閱讀，以下係將前一張影像畫面中並未被前景物體遮住但卻在下一張影像畫面中被前景物體所遮住的背景影像區域，稱作影像覆蓋區(covered area)，並將前一張影像畫面中被前景物體遮住但卻在下一張影像畫面中出現(未被前景物體所遮住)的背景影像區域，稱作影像顯露區(uncovered area)；舉例來說，第1圖所示之背景影像C’、D’、E’係為影像覆蓋區，而背景影像G’、H’、I’係為影像顯露區；請注意，以上定義僅用以方便說明本發明之實施例的操作，並非本發明的限制。
請搭配參照第2圖與第3圖，其分別繪示本發明第一實施例之影像處理裝置200及其相關操作步驟的流程；為了方便說明，以下係搭配第3圖的步驟來說明第2圖之影像處理裝置200的操作，需注意的是，倘若大體上可達到相同的結果，並不需要一定照第3圖所示之流程中的步驟順序來進行，且第3圖所示之步驟不一定要連續進行，亦即其他步驟亦可插入其中。影像處理裝置200係用於進行運動畫面插補時決定一插補畫面之影像覆蓋區/影像顯露區之移動向量，該插補畫面由複數個區塊所組成，如第2圖所示，影像處理裝置200包含有一計算單元205與一儲存單元210，其中儲存單元210係用於至少儲存該插補畫面、前一插補畫面與後一插補畫面中之區塊的原始移動向量及該插補畫面前一張和後兩張之輸入畫面之影像資料，而計算單元205係耦接至儲存單元210，並包含有一向量產生模組2051、一向量決定模組2052與一畫面插補模組2053，其中向量產生模組2051係用來決定/產生該插補畫面(亦即第一插補畫面)中之一區塊的第一移動向量MVL 與第二移動向量MVR (步驟305)，實作上在本實施例中，向量產生模組2051係對該插補畫面中的每一區塊皆產生其相對應的兩移動向量MVL 、MVR ，每一區塊例如包含有8×8的像素範圍，然此並非本發明的限制，其他像素範圍的實施變型亦符合本發明的精神；此外，對於該區塊，向量決定模組2052係依據第一移動向量MVL 與第二移動向量MVR 來決定該區塊位於影像覆蓋區及影像顯露區之其中之一並計算一參考向量(步驟310)，再將該參考向量儲存至儲存單元210中，其中該參考向量係對第一移動向量MVL 與第二移動向量MVR 進行一向量運算所得，實作上，向量決定模組2052係利用第一移動向量MVL 減去第二移動向量MVR 得到的向量結果，判斷該區塊相關於影像覆蓋區或影像顯露區。
接著，向量決定模組2052會依據該參考向量及該區塊位於影像覆蓋區或影像顯露區之結果，於前一插補畫面或後一插補畫面中找到一比對區塊(步驟315)，並得到該比對區塊之一原始移動向量及一區塊比對差值(步驟320)，而當該區塊比對差值小於一臨界值時，向量決定模組2052會以該比對區塊之該原始移動向量作為該區塊之移動向量(步驟325)；最後，畫面插補模組2053再以該區塊之移動向量來產生該區塊的影像(步驟330)。
實作上，向量決定模組2052係依據一區塊比對演算法(block matching algorithm)來計算該區塊之一移動向量以作為該區塊的第一候選向量，以及依據該參考向量以該插補畫面中該插補區塊之空間位置為一起始點，指到前一插補畫面或後一插補畫面(亦即第二插補畫面)中之一影像區塊，並依據該區塊比對演算法計算該前一/後一插補畫面中該影像區塊之一移動向量作為該插補區塊的第二候選向量，在計算出第一、第二候選向量後，向量決定模組2052會由第一、第二候選向量中挑選一向量作為該區塊的移動向量，而畫面插補模組則依據向量決定模組2052所決定的移動向量來產生該插補區塊的影像。
上述第一、第二插補畫面之間係至少存在一非影像插補的畫面，亦即，第一插補畫面可以是第二插補畫面前一張影像插補所產生的畫面，舉例來說，請參照第4圖，其所繪示為第2圖所示之計算單元205對多個輸入畫面(圖框或圖場，在此僅繪示Fn-2 、Fn-1 、Fn 、Fn＋1 )進行圖框更新頻率轉換(frame rate conversion)以產生多個輸出影像，例如，圖框Fn-2 、Fn-1 、Fn 、Fn＋1 等係為60Hz的輸入畫面圖框，計算單元205係將該等輸入畫面圖框進行圖框更新頻率轉換以產生具有120Hz的圖框Fn-2 、F’、Fn-1 、F”、Fn 、F’’’、Fn＋1 等等。此外，本實施例的影像處理裝置200在經由適當的調整後亦可應用於處理不同轉換比例的圖框更新頻率轉換，例如將頻率為60Hz的影像轉換成頻率為240Hz的影像，換言之，影像處理裝置200可於每兩張影像畫面之間插補一或多張的畫面來達成不同輸出頻率的圖框更新頻率轉換。
實際上，計算單元205至少於畫面Fn-2 、Fn-1 中產生一插補畫面F’，於畫面Fn-1 、Fn 中產生一插補畫面F”，以及於畫面Fn 、Fn＋1 中產生一插補畫面F’’’，在本發明之實施例中，第一插補畫面例如係畫面F”，而對於插補畫面F”中的區域R1 ”，第二插補畫面例如係畫面F’(亦即插補畫面F”的前一張插補畫面)，而對於插補畫面F”中的區域R2 ”，第二插補畫面例如係畫面F’’’，(亦即插補畫面F”的後一張插補畫面)，換言之，在本發明中，當該插補區塊與影像覆蓋區(例如區域R1 ”)有關時，該第二插補畫面於時間順序上較早於該第一插補畫面；以及當該插補區塊與影像顯露區(例如區域R2 ”)有關時，該第二插補畫面於時間順序上較晚於該第一插補畫面。以第4圖的影像畫面Fn-2 、Fn-1 、Fn 、Fn＋1 等為例來說，前景物體的移動方向係由右至左水平移動(以移動向量Vfore 表示之)，而背景影像係由左至右水平移動(以移動向量Vback 表示之)；需注意的是，在此為方便說明係僅以水平移動的例子作為說明，然而，對於任一特定方向(例如垂直方向或畫面的對角方向等)的影像移動，皆可使用本發明之實施例的影像處理裝置200進行處理。
以下先對向量產生模組2051針對每一插補畫面(包括畫面F’、F”、F’’’等)之每一插補區塊產生兩移動向量MVL 、MVR 的運作來說明。首先，向量產生模組2051會依據區塊比對演算法計算相關插補區塊的移動向量，再以每一個所計算出的移動向量與其複數個鄰近區塊的複數個移動向量，來計算移動向量的混亂程度，以算出一數值曲線，其中，以本實施例來說，該數值曲線係為沿某一插補區塊水平方向之移動向量混亂程度的剖面所形成的曲線，而該混亂程度代表移動向量的變異值(motion vector variance)，亦即，該數值曲線包含有沿著一特定方向上代表不同移動向量變異程度的複數個數值。請參照第5A圖，其係本發明計算代表移動向量變異程度之數值的示意圖；例如，若第一插補區塊與其複數個鄰近區塊(如第5A圖所示，位於5×5的區塊範圍)依區塊比對演算法所計算出的複數個移動向量分別是MV00 與MV-2-2 ~MV22 ，則根據該等移動向量可計算出一移動向量變異值MV_VAR，其算法是取該等移動向量中最大水平分量減去其中最小水平分量所得的絕對值，再加上該等移動向量中最大垂直分量減去其中最小垂直分量所得的絕對值，MV_VAR可利用以下的等式表示之：
MV_VAR=|MAX(MVx )-MIN(MVx )|+|MAX(MVy )-MIN(MVy )|　等式(1)
其中MVx 和MVy 分別代表水平分量(x軸分量)與垂直分量(y軸分量)。需注意的是，5×5的區塊範圍並非是本發明的限制，其亦可利用N×N或是N×M的區塊範圍來實作之，其中參數N與M皆是正整數且N不等於M；此外，計算移動向量變異值MV_VAR的方式亦可改用等式(2)或等式(3)來實現：
MV_VAR=|MAX(MVx )-MIN(MVx )|+|MAX(MVy )-MIN(MVy )|+SAD　等式(2)
MV_VAR=α×{|MAX(MVx )-MIN(MVx )|+|MAX(MVy )-MIN(MVy )|}+β×SAD　等式(3)
其中數值SAD係為第一插補區塊依照區塊比對法所算出的一區塊比對差值，參數α、β係為加權參數；凡可用以計算代表移動向量變異程度之數值的任一實施變化，皆屬於本發明的範疇。由上所述，依據等式(1)、等式(2)或等式(3)其中之一，向量產生模組2051逐一針對不同的插補區塊進行計算，如此可得出第一數值曲線CV，如第5B圖所示。
第5B圖所繪示為是本發明包含有多個移動向量變異值之第一數值曲線CV。MB00 係為第一插補區塊，而在第5B圖中向量產生模組2051係決定出插補區塊MB00 的兩移動向量MVL 、MVR ，首先，以背景或前景影像移動的方向(例如水平方向)來看，向量產生模組2051在空間上延著第一插補區塊MB00 的兩側複數個(例如兩側各六個，MB10 ~MB60 與MB-10 ~MB-60 )區塊的相對應移動向量變異值，在該等相對應移動向量變異值範圍內取出一極大值(例如第5B圖所示之VARmax )，並在該等相對應移動向量變異值範圍內找出該極大值VARmax 左、右兩側之極小值所對應到的區塊，例如，可找到區塊MB-40 與MB50 ，而此左、右兩區塊MB-40 與MB50 分別利用區塊比對演算法所計算之移動向量即作為插補區塊MB00 的兩移動向量MVL 、MVR ，換句話說，插補區塊MB00 的第一移動向量MVL 係對應至位於第一數值曲線CV之極大值VARmax 之左側的極小值VARmin ，而其第二移動向量MVR 係對應至位於第一數值曲線CV之極大值VARmax 之右側的極小值VARmin ’；第一、第二移動向量MVL 、MVR 的其中之一係對應至背景移動向量(background motion vector)，而其另一則對應於前景移動向量(foreground motion vector)，這是因為屬於影像覆蓋區或影像顯露區之插補區塊週圍的移動向量變異值將會相當大，而左、右兩側之最小移動向量變異值所對應之影像區塊，其會對應於一前景移動向量或一背景移動向量，視其位於影像覆蓋區或影像顯露區而定。因此，若插補區塊MB00 係位於影像覆蓋區與影像顯露區之其中之一，則其第一、第二移動向量MVL 、MVR 的其中之一對應於背景移動向量，而其另一對應於前景移動向量。藉由上述的操作，向量產生模組2051可計算出對插補畫面F’中每一插補區塊的相對應兩移動向量MVL 與MVR 。
在產生移動向量MVL 、MVR 之後，向量決定模組2052即可依據移動向量MVL 、MVR 來判斷該插補畫面中一插補區塊是否屬於影像覆蓋區(或影像顯露區)或其鄰近區域中(亦即，判斷該插補區塊是否係相關於影像覆蓋區或影像顯露區)，接著依據每一插補區塊的移動向量MVL 、MVR 與上述的判斷結果來計算每一插補區塊的參考向量。為了方便說明，以下係以另一輸入影像(包含圖框F1 、F2 、F3 )為例來說明本實施例產生參考向量的方式；請參照第6A圖，其所繪示為第2圖所示之向量決定模組2052於另一實施例中產生參考向量的運作示意圖。如第6A圖所示，以水平方向來看，前景物體影像係靜止(以移動向量Vfore ’表示)，而背景影像係由右至左水平移動(以移動向量Vback ’表示)，因為本實施例主要係以水平移動影像為例來說明，因此以移動向量由左至右的方向為正，反之，其相對的方向(由右至左)則為負；然而，此非本發明的限制，凡在二維平面空間上以某一特定方向為正，再以其相對方向為負的實施變化，皆符合本發明的精神。
實作上，產生一插補區塊之參考向量的方式係以移動向量MVL 、MVR 來決定參考向量的向量大小以及利用上述的判斷結果來決定參考向量的方向。對於參考向量的向量大小，第6A圖所示之位置P1 上的區塊係位於前景物體影像與影像覆蓋區R1 的邊緣，而其第一、第二候選向量MVL 、MVR 分別為前景移動向量與背景移動向量，如第6A圖所示，第一、第二候選向量MVL 、MVR 可組成一三角形的兩邊，其第三邊落於畫面F2 上，依照相似三角形基本原理，影像覆蓋區R1 所包含的影像範圍大小係恰好是畫面F2 中區域R1 ’所包含之影像範圍大小的一半，而向量決定模組2052取移動向量MVL 的一半以及移動向量MVR 的一半進行向量加法運算，可計算出一向量Vref ，向量Vref 的向量大小即是參考向量的向量大小；而對於參考向量的方向，向量決定模組2052係以移動向量MVL 減去移動向量MVR 後得到的向量結果判斷該插補區塊是否係相關於影像覆蓋區或影像顯露區，以決定是否將該向量加法結果所產生的向量進行反向以得到該參考向量，在此例子中係將向量Vref 進行反向來得到參考向量Vref ’，由圖可知，參考向量Vref ’以位置P1 為一起始點，將可指到插補畫面Fa 的位置P2 ，而位置P2 係為影像覆蓋區R2 與背景影像之間的邊緣位置；以下於第6B圖與第6C圖將針對第6A圖中不同的插補區塊進行說明之。
首先，以影像畫面F2 、F3 之間的插補畫面Fb 為例，對於實際上屬於影像覆蓋區R1 的插補區塊(例如靠近前景物體影像的插補區塊MB1 )，其移動向量MVL 、MVR 分別是前景移動向量與背景移動向量，依照上述的計算，向量決定模組2052取移動向量MVL 的一半以及移動向量MVR 的一半進行向量加法運算，可算出一向量V1 ，而向量決定模組2052會將移動向量MVL 減去移動向量MVR 來得到一向量結果，由於該向量結果為正(表示由左至右的方向)，所以，向量決定模組2052可知該插補區塊MB1 係與影像覆蓋區有關，並依據該向量結果決定插補區塊MB1 後續被算出的參考向量V1 應指到前一張插補畫面Fa ，亦即，向量決定模組2052依據該向量結果將向量V1 進行反向而產生如第6B圖中所示插補區塊MB1 的參考向量V1 ，其中參考向量V1 以插補區塊MB1 為起始點會指到前一張插補畫面Fa 中區塊MB1 ’的位置，這是因為第6A圖所示之參考向量Vref ’係指到位置P2 ，則相對地第6B圖所示之參考向量V1 係指到區塊MB1 ’，而區塊MB1 ’實際上係不屬於插補畫面Fa 中的影像覆蓋區R2 ，且區塊MB1 ’依區塊比對演算法所算出的移動向量係背景移動向量；同理，對於實際上屬於影像覆蓋區R1 的插補區塊MB2 (其較靠近背景影像但實際上仍屬於影像覆蓋區R2 )，向量決定模組2052依上述方式亦可算出其參考向量V2 以插補區塊MB2 為起始點係指到插補畫面Fa 中的區塊MB2 ’之位置，區塊MB2 ’實際上係不屬於插補畫面Fa 中的影像覆蓋區R2 ，且區塊MB1 ’依區塊比對演算法所算出的移動向量係背景移動向量。
此外，對於實際上較靠近影像覆蓋區邊緣R1 但係屬於前景影像的插補區塊MB3 而言，其移動向量MVL 、MVR 分別是前景移動向量與背景移動向量，然值得注意的是，依所算出的參考向量V3 以插補區塊MB3 為起始點將指到插補畫面Fa 中實際上屬於影像覆蓋區R2 的區塊MB3 ’之位置。另外，對於實際上較靠近影像覆蓋區R1 邊緣但係屬於背景影像的插補區塊MB4 來說，其移動向量MVL 、MVR 分別是前景移動向量與背景移動向量，然值得注意的是，依所算出的參考向量V4 以插補區塊MB4 為起始點將指到插補畫面Fa 中實際上屬於背景影像的區塊MB4 ’之位置。再者，對於實際上不屬於影像覆蓋區R1 且不落於其鄰近區域的插補區塊MB5 來說，插補區塊MB5 的兩移動向量MVL 、MVR 分別是前景移動向量，向量決定模組2052將其移動向量MVL 減去移動向量MVR 後得到的向量結果幾乎為零(表示並非屬於影像覆蓋區及其鄰近的區域)，當向量結果幾乎為零時，參考向量V5 (參考向量V5 的向量大小係兩前景向量各一半進行加法運算後的結果，因此仍代表前景向量的向量大小)以插補區塊MB5 為起始點指到前一張插補畫面Fa 之一插補區塊MB5 ’的空間位置或後一張插補畫面之一插補區塊的空間位置(未顯示於第6B圖中)並不會影響到後續的運算，所以，向量決定模組2052仍可依據該向量結果的正或負來判斷是否對向量加法結果進行反向以產生參考向量V5 ，於本實施例中，向量決定模組2052係對向量加法結果進行反向以產生參考向量V5 ；同理，對於實際上不屬於影像覆蓋區R1 且不落於其鄰近區域的插補區塊MB6 來說，插補區塊MB6 的兩移動向量MVL 、MVR 分別是背景移動向量，向量決定模組2052將其移動向量MVL 減去移動向量MVR 後得到的向量結果亦幾乎為零，當向量結果幾乎為零時，參考向量V6 以插補區塊MB6 為起始點指到前一張插補畫面Fa 中一區塊MB6 ’的位置或後一張插補畫面之一區塊的位置(未顯示於第6b圖中)並不會影響到後續的運算，所以，向量決定模組2052仍可依據該向量結果的正或負來判斷是否對向量加法結果進行反向以產生參考向量V6 ，於本實施例中，向量決定模組2052係對向量加法結果進行反向以產生參考向量V6 ，其中參考向量V6 的向量大小係兩背景向量各一半進行加法運算後的結果，因此仍代表背景向量的向量大小。
接著，請參照第6C圖，以插補畫面Fa 為例，對於實際上屬於影像顯露區R3 的插補區塊(例如靠近前景物體影像的插補區塊MB7 )，其移動向量MVL 、MVR 分別是背景移動向量與前景移動向量，向量決定模組2052取移動向量MVL 的一半以及移動向量MVR 的一半進行向量加法運算，可算出一向量V7 (如第6C圖所示)，而向量決定模組2052會將移動向量MVL 減去移動向量MVR 來得到一向量結果，由於該向量結果為負(表示由右至左的方向)，所以，向量決定模組2052可知該插補區塊MB7 係與影像顯露區R3 有關，並依據該向量結果決定插補區塊MB7 後續被算出的參考向量應指到後一張畫面Fb ，亦即，向量決定模組2052依據該向量結果將向量V7 作為參考向量而不另對向量V7 進行反向，因此，向量決定模組2052利用上述所算出的參考向量V7 以插補區塊MB7 的位置為起始點，將可指到插補畫面Fb 中實際上不屬於影像顯露區R4 的區塊MB7 ’之位置，其中區塊MB7 ’依區塊比對演算法所算出的移動向量係背景移動向量；同理，對於實際上屬於影像顯露區R3 的插補區塊MB8 (其較靠近背景影像但仍屬於影像顯露區R3 )，向量決定模組2052依上述方式亦可算出其參考向量V8 以插補區塊MB8 ’的位置為起始點，係指到插補畫面Fb 中的區塊MB8 ’之位置，如第6C圖所示。
此外，對於實際上靠近影像顯露區邊緣但係屬於前景影像的插補區塊MB9 而言，其移動向量MVL 、MVR 分別是背景移動向量與前景移動向量，然值得注意的是，依所算出的參考向量V9 以插補區塊MB9 的位置為起始點，將指到插補畫面Fb 中實際上屬於影像顯露區R4 的區塊MB9 ’之位置。另外，對於實際上靠近影像顯露區邊緣但係屬於背景影像的插補區塊MB10 來說，其移動向量MVL 、MVR 分別是背景移動向量與前景移動向量，然值得注意的是，依所算出的參考向量V10 以插補區塊MB10 之位置為起始點，將指到插補畫面Fb 中實際上屬於背景影像的區塊MB10 ’之位置。再者，對於實際上不屬於影像顯露區R3 且不落於其鄰近區域的插補區塊MB11 來說，插補區塊MB11 的兩移動向量MVL 、MVR 分別是背景移動向量，向量決定模組2052將其移動向量MVL 減去移動向量MVR 後得到的向量結果幾乎為零(表示並非屬於影像顯露區R3 及其鄰近的區域)，當向量結果幾乎為零時，參考向量V11 以插補區塊MB11 之位置為起始點而指到前一張插補畫面之一區塊的位置(未顯示於第6C圖中)或後一張插補畫面Fb 之一區塊MB11 ’的位置並不會影響到後續的運算，所以，向量決定模組2052仍可依據該向量結果的正或負來判斷是否對向量加法結果進行反向來產生參考向量，於本實施例中，向量決定模組2052係對向量加法結果進行反向以產生參考向量V11 ，其中參考向量V11 的向量大小係兩背景向量各一半進行加法運算後的結果，因此仍代表背景向量的向量大小。
請參照第7A圖，其所繪示為向量決定模組2052決定第4圖所示之輸入影像中一插補區塊之第二候選向量MV’的一實施例；需注意的是，在本發明中每一插補區塊之第一候選向量MV係為向量決定模組2052依照區塊比對演算法所算出的移動向量。如第7A圖所示，前景物體影像係由右至左水平移動(以移動向量Vfore 表示)，而背景影像係由左至右水平移動(以移動向量Vback 表示)，插補畫面F’中的區域RA ’實際係為影像覆蓋區，且插補畫面F”中的區域RA ”實際亦為影像覆蓋區；以區域RA ”內之插補區塊MBA 為例，向量決定模組2052依照上述方式產生參考向量VA 並以插補區塊MBA 的位置為起始點指向插補畫面F’中的一區塊MBA ’之位置，依區塊比對演算法所算出之區塊MBA ’的移動向量即係為插補區塊MBA 的第二候選向量MV’，其第一候選向量MV則係其插補區塊MBA 本身依區塊比對演算法所算出之移動向量，如第7A圖所示，參考向量VA 所指到之區塊MBA ’實際上係不屬於影像覆蓋區RA ’，區塊比對演算法可於影像畫面Fn-2 與Fn-1 中找到相同或相似的影像(影像區塊MBn-2 與MBn-1 )，因此，依據第二候選向量MV’所計算的區塊比對差值(亦即影像區塊MBn-2 與MBn-1 的差值)，由於其值係相當小，向量決定模組2052可判定插補區塊MBA 的第二候選向量MV’係對應於背景移動向量，實作上，向量決定模組2052比較該所計算的區塊比對差值與一特定臨界值TH來達到判斷第二候選向量MV’是否對應於背景移動向量的操作。
此外，以第7A圖中實際上靠近影像覆蓋區RA ”但係前景影像的插補區塊MBB 為例，其所算出的參考向量VB 如第7A圖所示，以插補區塊MBB 的位置為起始點，係指向插補畫面F’中屬於影像覆蓋區RA ’的區塊MBB ’之位置，此時依區塊比對演算法所算出之區塊MBB ’的移動向量即係為插補區塊MBB 的第二候選向量MV’，而其第一候選向量MV則係插補區塊MBB 本身依區塊比對演算法所算出之移動向量，在此實施例中，參考向量VB 所指到之區塊MBB ’實際上係屬於影像覆蓋區RA ’，由於影像畫面Fn-2 中區塊MBn-2 ’的影像於畫面Fn-1 中已被前景物體影像所遮住，所以，區塊比對演算法無法於影像畫面Fn-2 與Fn-1 中找到相同或相似的影像，即便是依據背景移動向量亦找不到相似的影像(區塊MBn-2 ’的影像係背景影像與區塊MBn-2 ’的前景影像差異相當大)，因此，依據第二候選向量MV’所計算的區塊比對差值會相當大，向量決定模組2052可判定插補區塊MBB 的第二候選向量MV’並非背景移動向量，實作上，向量決定模組2052比較該所計算出的區塊比對差值與特定臨界值TH，得知該區塊比對差值不小於特定臨界值TH，因而判斷第二候選向量MV’並非是背景移動向量。
在第7A圖之實施例中，以插補區塊MBA 來說，插補畫面F’中依據該第二候選向量MV’所計算之影像區塊MBA ’的區塊比對差值係小於特定臨界值TH，向量決定模組2052直接使用第二候選向量MV’作為插補區塊MBA 的目標移動向量，而畫面插補模組2053則依據上述的判斷結果以及參考該目標移動向量來產生插補區塊MBA 的影像；然而，以插補區塊MBB 來說，插補畫面F’中依據其第二候選向量MV’所計算之影像區塊MBB ’的區塊比對差值係不小於特定臨界值TH，向量決定模組2052係使用其第一候選向量MV作為插補區塊MBB 的目標移動向量，而畫面插補模組2053則參考該目標移動向量來產生插補區塊MBB 的影像。其理由如前所述，當依據第二候選向量MV’所計算之區塊比對差值小於特定臨界值TH時，向量決定模組2052才會判定第二候選向量MV’係為背景移動向量，並採用第二候選向量MV’作為插補區塊的目標移動向量，而畫面插補模組2053接著以該目標移動向量至前一張輸入影像畫面或後一張輸入影像畫面中複製一特定影像來作為該插補區塊的影像，舉例來說，向量決定模組2052依據插補區塊MBA (或MBB )之移動向量MVL 、MVR 的差，可判斷該插補區塊MBA (或MBB )是否與影像覆蓋區或影像顯露區有關，以插補區塊MBA 與MBB 來說，向量決定模組2052會判斷兩插補區塊皆與影像覆蓋區有關，然而不同的是，依據相對應第二候選向量MV’所計算之影像區塊MBA ’的區塊比對差值係小於特定臨界值TH，而依據相對應第二候選向量MV’所計算之影像區塊MBB ’的區塊比對差值係不小於特定臨界值TH，所以，畫面插補模組2053會採用插補區塊MBA 的第二候選向量MV’(其係背景移動向量)至前一張輸入影像畫面Fn-1 中複製相對應的影像作為插補區塊MBA 的影像，以及採用插補區塊MBB 的第一候選向量MV(其係前景移動向量)至前一張輸入影像畫面Fn-1 中複製相對應的影像作為插補區塊MBB 的影像，換言之，插補區塊MBB 上係適當地呈現前景物體的影像，而插補區塊MBA 上係適當地呈現背景影像，影像品質可獲得提升。
此外，在第二實施例中，亦可藉由依據第一、第二候選向量MV、MV’來合成不同影像區塊的影像以產生該插補區塊的影像；請參照第8圖，其繪示本發明第二實施例之影像處理裝置800。影像處理裝置800係用於進行運動畫面插補時決定一插補畫面之影像覆蓋區/影像顯露區之移動向量，其包含有一計算單元805與一儲存單元810，其中儲存單元810的功能與操作係類似於第2圖之儲存單元210，所以在此不另贅述，而計算單元805則包含有一第一候選向量產生模組8051、一第二候選向量產生模組8052與一畫面插補模組8053，其中第一候選向量產生模組8051係依據該插補畫面中一區塊之移動向量及鄰近複數個區塊之移動向量，產生該插補畫面中該區塊之一第一移動向量MVL 與一第二移動向量MVR ，而該區塊之移動向量為第一候選向量MV，第二候選向量產生模組8052則依據該第一移動向量MVL 與該第二移動向量MVR ，計算該區塊之一參考向量，並依據該參考向量，以該插補畫面中該區塊為一起始位置指到前一插補畫面或後一插補畫面中一比對區塊，並以該前一插補畫面或該後一插補畫面中該比對區塊之移動向量作為第二候選向量MV’，以及畫面插補模組8053係依據所決定出之該第一、第二候選向量MV、MV’進行該區塊的影像插補。
畫面插補模組8053更包含一選擇模組8054，選擇模組8054係用於選擇第一候選向量MV及第二候選向量MV’之其中之一，作為一更新移動向量，以進行該區塊之影像插補；當該前一插補畫面或後一插補畫面中該比對區塊依據該第二候選向量MV’所計算之一區塊比對差值小於一特定臨界值時，畫面插補模組8053使用該第二候選向量MV’作為該區塊之移動向量，以及當該前一插補畫面或後一插補畫面中該比對區塊依據該第二候選向量MV’所計算之一區塊比對差值不小於一特定臨界值時，畫面插補模組8053使用該第一候選向量MV作為該區塊之移動向量。此外，畫面插補模組8053更依據前一插補畫面或後一插補畫面中該比對區塊所計算出之一區塊比對差值來決定一權重值，並依據第一候選向量MV、第二候選向量MV’及該權重值來進行該區塊的影像插補。當該插補區塊係位於該影像覆蓋區時，畫面插補模組8053係利用該插補畫面之前一張輸入畫面進行影像插補，而當該插補區塊係位於該影像顯露區時，畫面插補模組8053係利用該插補畫面之後一張輸入畫面進行影像插補；詳細運作係描述於下。
舉例來說，對於插補區塊MBA ，畫面插補模組8053係依據其第一候選向量MV參考插補畫面F”之前一張輸入畫面Fn-1 中的相對應影像(或參考插補畫面F”之前一張輸入畫面Fn-1 及後一張輸入畫面Fn 的相對應影像)以產生一第一影像F1st ，以及依據其第二候選向量MV’參考前一輸入畫面Fn-1 中的另一相對應影像以產生一第二影像F2nd ，具體而言，畫面插補模組8053係利用第一、第二候選向量MV、MV’分別複製影像畫面Fn-1 中的相對應影像作為第一、第二影像F1st 、F2nd ，此時因為已知插補區塊MBA 的第二候選向量MV’係為背景移動向量，所以，畫面插補模組8053係主要以第二影像F2nd 來產生插補區塊MBA 的影像，實作上將使用上述權重值(weighting value)來達成，例如，對於插補區塊MBA ，權重值WA 的大小係依據插補畫面F’中參考第二候選向量MV’所計算出之區塊MBA ’的區塊比對差值來決定，此外，並亦可將該權重值與該區塊比對差值之間的關係設計為一線性關係，當區塊比對差值較大時，設計該權重值變得較大，而當區塊比對差值較小時，設計該權重值變得較小。畫面插補模組8053則依據權重值WA 對第一影像F1st 與第二影像F2nd 進行像素的加權平均，該平均結果將主要為第二影像F2nd 的像素值(因為該區塊比對差值相當小，權重值WA 相對較小)，且該平均結果係作為插補區塊MBA 的影像；插補區塊MBA 的影像可利用等式(4)表示之：
MBA =WA ×F1st +(1-WA )×F2nd 　等式(4)
此外，在另一實施例中，對於插補區塊MBB ，畫面插補模組8053亦利用其相對應第一、第二候選向量MV、MV’分別複製影像畫面Fn-1 中的相對應影像作為第一、第二影像F1st 、F2nd ，此時因為已知插補區塊MBB 的第二候選向量MV’並非是背景移動向量，所以，畫面插補模組8053係主要以第一影像F1st 來產生插補區塊MBB 的影像，此時依據插補畫面F’中參考其第二候選向量MV’所計算出之區塊MBB ’的區塊比對差值相當大，其相對應權重值WB 將變得較大，而畫面插補模組8053依據權重值WB 對第一影像F1st 與第二影像F2nd 進行像素的加權平均，該平均結果將主要為第一影像F1st 的像素值(因為該區塊比對差值相當大，權重值WB 相對較大)，且該平均結果係作為插補區塊MBB 的影像；插補區塊MBB 的影像可利用等式(5)表示之：
MBB =WB ×F1st +(1-WB )×F2nd 　等式(5)
另外，在另一實施例中，合成不同影像區塊的影像來產生該插補區塊影像的方式亦可搭配利用該目標移動向量產生該插補區塊影像的方式；例如，可採用兩臨界值TH1 、TH2 來達成上述的目的，其中臨界值TH2 大於臨界值TH1 。當一插補區塊的第二候選向量MV’所指到之第二插補畫面F’中的區塊，其依區塊比對演算法所計算出之一區塊比對差值小於臨界值TH1 時，畫面插補模組8053係以第二候選向量MV’作為該插補區塊的目標移動向量，其中由於第二影像F2nd 幾乎等同於利用該目標移動向量至影像畫面Fn-1 中所複製的相對應影像，所以此時可視同將該權重值設計為零；而當該區塊比對差值大於或等於臨界值TH2 時，畫面插補模組8053係以第一候選向量MV作為該插補區塊的目標移動向量，其中由於第一影像F1st 幾乎等同於利用該目標移動向量至影像畫面Fn-1 中所複製的相對應影像，因而此時可視同將該權重值設計為1；而當該區塊比對差值落入臨界值TH1 、TH2 之間時，畫面插補模組8053則係藉由合成第一、第二影像F1st 、F2nd 的方式來產生該插補區塊的影像，為免篇幅過於冗長，在此不另贅述其運算過程。凡上述用來產生插補區塊之影像的任一實施變化，皆屬於本發明的範疇。
請再次參照第2圖並搭配參照第7B圖，其所繪示為第2圖之向量決定模組2052決定第4圖所示之輸入影像中一插補區塊之第二候選向量MV’的另一實施例；在本發明中該插補區塊之第一候選向量MV係為向量決定模組2052依照區塊比對演算法直接算出的移動向量。如第7B圖所示，前景物體影像係由右至左水平移動(以移動向量Vfore 表示)，而背景影像係由左至右水平移動(以移動向量Vback 表示)，插補畫面F”中的區域RB ”實際係為影像顯露區，且插補畫面F’’’中的區域RB ’’’實際亦為影像顯露區；以區域RB ”內之插補區塊MBC 為例，向量決定模組2052依照前述方式產生參考向量VC 並以插補區塊MBB 的位置為起始點指向插補畫面F’’’中的區塊MBC ’之位置，依區塊比對演算法所算出之區塊MBC ’的移動向量即係為插補區塊MBC 的第二候選向量MV’，而其第一候選向量MV則係插補區塊MBC 本身依區塊比對演算法所算出之移動向量，其中，由於插補區塊MBC 位於影像顯露區RB ”內，其參考向量VC 所指向的區塊MBC ’之位置實際係屬於背景影像而不位於影像顯露區RB ’’’內，直接使用區塊比對演算法來計算區塊MBC ’的移動向量時可於影像畫面Fn 與Fn＋1 中找到相同或相似的影像(影像區塊MBn 與MBn＋1 )，因此，依據第二候選向量MV’所計算的區塊比對差值(亦即影像區塊MBn 與MBn＋1 的差值)，向量決定模組2052可判定插補區塊MBC 的第二候選向量MV’(亦即直接使用區塊比對演算法所計算出的區塊MBC ’之移動向量)係背景移動向量，實作上，向量決定模組2052比較該所計算的區塊比對差值與特定臨界值TH來達到判斷第二候選向量MV’是否係背景移動向量的操作。
此外，以第7B圖中實際上位於前景影像區域的插補區塊MBD 為例，其所算出的參考向量VD 如第7B圖所示，以插補區塊MBD 的位置為起始點，係指向插補畫面F’’’中屬於影像顯露區RB ’’’內一區塊MBD ’的位置，此時依區塊比對演算法所算出之區塊MBD ’的移動向量係作為插補區塊MBD 的第二候選向量MV’，而其第一候選向量MV則係插補區塊MBD 本身依區塊比對演算法所算出之移動向量，在此實施例中，插補區塊MBD 不位於影像顯露區RB ”內，但其參考向量VD 所指向的區塊MBD ’的位置實際卻位於影像顯露區RB ’’’內，區塊比對演算法無法於影像畫面Fn 與Fn＋1 中找到相同或相似的影像，即便依據一背景移動向量亦找不到相似的影像(區塊MBn ’的影像係前景影像與區塊MBn＋1 ’的背景影像差異相當大)，所以，依據第二候選向量MV’所計算的區塊比對差值相當大，向量決定模組2052可判定插補區塊MBD 的第二候選向量MV’並非是背景移動向量，實作上，向量決定模組2052比較該所計算的區塊比對差值與特定臨界值TH，得知該區塊比對差值不小於特定臨界值TH，因而判斷第二候選向量MV’並非是背景移動向量。
接著，畫面插補模組2053可產生插補區塊(例如區塊MBC 或區塊MBD )的目標移動向量來取得該插補區塊的影像，或是藉由合成不同影像來產生該插補區塊的影像；此一操作類似於前述產生第7A圖中所示之插補區塊的影像，為了簡化說明，在此不再贅述。
綜而言之，若一插補區塊實際屬於一影像覆蓋區或一影像顯露區，則本發明之影像處理裝置200、800可參考該插補區塊之第二候選向量來產生正確的影像，因而可提升影像品質，其中該第二候選向量係對應於背景移動向量；而若該插補區塊實際並非屬於影像覆蓋區或影像顯露區，則本發明之影像處理裝置200、800可參考該插補區塊之第一候選向量來產生正確的影像，因而不會影響影像品質，其中該第一候選向量係區塊比對演算法針對該插補區塊所計算的一移動向量。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
200、800．．．影像處理裝置
205、805．．．計算單元
210、810．．．儲存單元
2001．．．向量產生模組
2052．．．向量決定模組
2053、8053．．．畫面插補模組
8051．．．第一候選向量產生模組
8052．．．第二候選向量產生模組
8054．．．選擇模組
第1圖為傳統區塊比對演算法的操作示意圖。
第2圖為本發明第一實施例之影像處理裝置的元件示意圖。
第3圖為第2圖所示之影像處理裝置的操作流程圖。
第4圖為第2圖所示之計算單元對輸入影像進行圖框更新頻率轉換時所產生之輸出影像的示意圖。
第5A圖為第2圖所示之向量產生模組計算代表移動向量變異程度之數值的範例示意圖。
第5B圖為包含有多個移動向量變異值之第一數值曲線CV的範例示意圖。
第6A圖為第2圖所示之向量決定模組於另一實施例中產生參考向量的運作示意圖。
第6B圖為第2圖所示之向量決定模組於第6A之實施例中產生不同插補區塊之參考向量的範例示意圖。
第6C圖為第2圖所示之向量決定模組於第6A之實施例中產生不同插補區塊之參考向量的另一範例示意圖。
第7A圖為第2圖所示之向量決定模組決定第4圖所示之輸入影像中之插補區塊之第二候選向量MV’的一實施例示意圖。
第7B圖為第2圖所示之向量決定模組決定第4圖所示之輸入影像中之插補區塊之第二候選向量MV’的另一實施例示意圖。
第8圖為本發明第二實施例之影像處理裝置的元件示意圖。
200．．．影像處理裝置
205．．．計算單元
210．．．儲存單元
2051．．．向量產生模組
2052．．．向量決定模組
2053．．．畫面插補模組

Claims (19)

  1. 一種影像處理方法，用於進行運動畫面插補時，決定一插補畫面之影像覆蓋區/影像顯露區之移動向量，該插補畫面由複數個區塊所組成，該方法包含有：產生該插補畫面中一區塊之一第一移動向量與一第二移動向量；依據該第一移動向量與該第二移動向量，決定該區塊位於影像覆蓋區及該影像顯露區之其中之一，以及計算一參考向量；以及依據該參考向量，決定該區塊之移動向量；其中，該參考向量係由對該第一、第二移動向量進行一向量運算所得。
  2. 如申請專利範圍第1項所述之影像處理方法，其中產生該插補畫面中複數個區塊之一第一移動向量與一第二移動向量之步驟包含：依據該區塊之一原始移動向量與其複數個鄰近區塊之複數個原始移動向量，計算一數值曲線；以及依據該數值曲線來決定該區塊之該第一移動向量與該第二移動向量，其中該第一移動向量係對應至位於該數值曲線之一極大值之左側的一極小值之區塊之原始移動向量，以及該第二移動向量係對應至位於該數值曲線之該極大值之右側的一極小值之區塊之原始移動向量。
  3. 如申請專利範圍第1項所述之影像處理方法，其中依據該第一移動向量與該第二移動向量，決定該區塊位於影像覆蓋區及該影像顯露區之其中之一步驟係利用第一移動向量減去第二移動向量得到的向量結果，判斷該區塊相關於影像覆蓋區或影像顯露區。
  4. 如申請專利範圍第1項所述之影像處理方法，其中依據該參考向量，決定該區塊之移動向量之步驟包含：依據該參考向量及該區塊位於影像覆蓋區或影像顯露區之結果，找到一比對區塊位於前一插補畫面或後一插補畫面，並得到該比對區塊之一原始移動向量及一區塊比對差值；以及當該區塊比對差值小於一臨界值，則以該比對區塊之該原始移動向量為該區塊之移動向量。
  5. 一種影像處理方法，用於進行運動畫面插補時，對一插補畫面之影像覆蓋區/影像顯露區進行影像插補，該插補畫面由複數個區塊所組成，該方法包含有：利用一區塊比對法，計算該插補畫面、一前一插補畫面及一後一插補畫面中複數個區塊之移動向量；依據該插補畫面中一區塊之移動向量及鄰近複數個區塊之移動向量，產生該插補畫面中該區塊之一第一移動向量與一第二移動向量，其中該區塊之移動向量為一第一候選向量； 依據該第一移動向量與該第二移動向量，計算該區塊之一參考向量；依據該參考向量，以該插補畫面中該區塊為一起始位置指到前一插補畫面或後一插補畫面中一比對區塊，並以該前一插補畫面或該後一插補畫面中該比對區塊之移動向量為一第二候選向量；以及依據該第一候選向量與該第二候選向量，進行該區塊之影像插補。
  6. 如申請專利範圍第5項所述之影像處理方法，其中計算該區塊之該參考向量之步驟包含有：對該第一、第二移動向量進行一相似三角形的一向量運算以得到該參考向量。
  7. 如申請專利範圍第5項所述之影像處理方法，另包含有：依據該第一移動向量與該第二移動向量，決定該區塊位於影像覆蓋區及該影像顯露區之其中之一。
  8. 如申請專利範圍第7項所述之影像處理方法，其中依據該參考向量，以該插補畫面中該區塊為一起始位置指到前一插補畫面或後一插補畫面中一區塊之步驟包含：當該區塊位於影像覆蓋區時，依據該參考向量，以該插補畫面中該區塊為一起始位置指到前一插補畫面之該比對區塊； 以及當該區塊位於影像顯露區時，依據該參考向量，以該插補畫面中該區塊為一起始位置指到後一插補畫面之該比對區塊。
  9. 如申請專利範圍第5項所述之影像處理方法，其中依據該第一、第二候選向量，進行該區塊之影像插補之步驟包含有：當該前一插補畫面或後一插補畫面中該比對區塊依據該第二候選向量所計算之一區塊比對差值小於一特定臨界值時，使用該第二候選向量作為該區塊之移動向量；以及當該前一插補畫面或後一插補畫面中該比對區塊依據該第二候選向量所計算之一區塊比對差值不小於一特定臨界值時，使用該第一候選向量作為該區塊之移動向量。
  10. 如申請專利範圍第5項所述之影像處理方法，其中依據該第一、第二候選向量，進行該區塊之影像插補之步驟包含有：依據前一插補畫面或後一插補畫面中該比對區塊所計算出之一區塊比對差值，決定一權重值；依據該第一候選向量、第二候選向量及該權重值，進行該區塊之影像插補。
  11. 如申請專利範圍第5項所述之影像處理方法，其中，當該插補區塊係位於該影像覆蓋區時，利用該插補畫面之前一張輸入畫面進行影像插補；當該插補區塊係位於該影像顯露區時，利用該插 補畫面之後一張輸入畫面進行影像插補。
  12. 一種影像處理裝置，用於進行運動畫面插補時，決定一插補畫面之影像覆蓋區/影像顯露區中之移動向量，該插補畫面由複數個區塊所組成，該裝置包含有：一儲存單元，用於至少儲存該插補畫面、一前一插補畫面與一後一插補畫面中之相關區塊之原始移動向量；以及一計算單元，耦接於該儲存單元，包含有：一向量產生模組，用於來決定該插補畫面中之一區塊之一第一移動向量與一第二移動向量；以及一向量決定模組，依據該第一移動向量與該第二移動向量，決定該區塊位於影像覆蓋區及該影像顯露區之其中之一，以及計算一參考向量，並據以決定該區塊之移動向量；其中，該參考向量係對該第一、第二移動向量進行一向量運算所得。
  13. 如申請專利範圍第12項所述之影像處理裝置，其中該向量決定模組利用第一移動向量減去第二移動向量得到的向量結果，判斷該區塊相關於影像覆蓋區或影像顯露區。
  14. 如申請專利範圍第13項所述之影像處理裝置，其中該向量決定模組，依據該參考向量及該區塊位於影像覆蓋區或影像顯露區之結 果，找到一比對區塊位於前一插補畫面或後一插補畫面，並得到該比對區塊之一原始移動向量及一區塊比對差值；以及當該區塊比對差值小於一臨界值，則以該比對區塊之該原始移動向量為該區塊之移動向量。
  15. 一種影像處理裝置，用於進行運動畫面插補時，對一插補畫面之影像覆蓋區/影像顯露區進行影像插補，該插補畫面由複數個區塊所組成，該裝置包含有：一儲存單元，用於至少儲存該插補畫面、一前一插補畫面與一後一插補畫面中之相關區塊之原始移動向量；以及一計算單元，耦接於該儲存單元，包含有：一第一候選向量產生模組，用於依據該插補畫面中一區塊之移動向量及鄰近複數個區塊之移動向量，產生該插補畫面中該區塊之一第一移動向量與一第二移動向量，其中該區塊之移動向量為一第一候選向量；一第二候選向量產生模組，用於依據該第一移動向量與該第二移動向量，計算該區塊之一參考向量，並依據該參考向量，以該插補畫面中該區塊為一起始位置指到前一插補畫面或後一插補畫面中一比對區塊，並以該前一插補畫面或該後一插補畫面中該比對區塊之移動向量為一第二候選向量；以及一畫面插補模組，用於依據該第一候選向量與該第二候選向 量，進行該區塊之影像插補。
  16. 如申請專利範圍第15項所述之影像處理裝置，其中畫面插補模組更包含：一選擇模組，用於選擇該第一候選向量及該當該二候選向量其中之一，作為一更新移動向量，進行該區塊之影像插補；其中當該前一插補畫面或後一插補畫面中該比對區塊依據該第二候選向量所計算之一區塊比對差值小於一特定臨界值時，使用該第二候選向量作為該區塊之移動向量；以及當該前一插補畫面或後一插補畫面中該比對區塊依據該第二候選向量所計算之一區塊比對差值不小於一特定臨界值時，使用該第一候選向量作為該區塊之移動向量。
  17. 如申請專利範圍第15項所述之影像處理裝置，其中該畫面插補模組更依據前一插補畫面或後一插補畫面中該比對區塊所計算出之一區塊比對差值，決定一權重值，並依據該第一候選向量、第二候選向量及該權重值，進行該區塊之影像插補。
  18. 如申請專利範圍第15項所述之影像處理裝置，其中該畫面插補模組利用該插補畫面之前一張輸入畫面進行影像插補，當該插補區塊係位於該影像覆蓋區時，以及利用該插補畫面之後一張輸入畫面進行影像插補，當該插補區塊係位於該影像顯露區時。
  19. 一種影像處理裝置，用於進行運動畫面插補時，依據一插補畫面、一前一插補畫面與一後一插補畫面中相關區塊之原始移動向量，對該插補畫面之影像覆蓋區/影像顯露區進行影像插補，該插補畫面由複數個區塊所組成，該裝置包含有：一第一候選向量產生模組，用於依據該插補畫面中一區塊之移動向量及鄰近複數個區塊之移動向量，產生該插補畫面中該區塊之一第一移動向量與一第二移動向量，其中該區塊之移動向量為一第一候選向量；一第二候選向量產生模組，用於依據該第一移動向量與該第二移動向量，計算該區塊之一參考向量，並依據該參考向量，以該插補畫面中該區塊為一起始位置指到前一插補畫面或後一插補畫面中一比對區塊，並以該前一插補畫面或該後一插補畫面中該比對區塊之移動向量為一第二候選向量；以及一畫面插補模組，用於依據該第一候選向量與該第二候選向量，進行該區塊之影像插補。
TW098100776A 2009-01-09 2009-01-09 影像處理方法及其裝置 TWI490819B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098100776A TWI490819B (zh) 2009-01-09 2009-01-09 影像處理方法及其裝置
US12/509,495 US8447126B2 (en) 2009-01-09 2009-07-27 Image processing method and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098100776A TWI490819B (zh) 2009-01-09 2009-01-09 影像處理方法及其裝置

Publications (2)

Publication Number Publication Date
TW201027458A TW201027458A (en) 2010-07-16
TWI490819B true TWI490819B (zh) 2015-07-01

Family

ID=42319144

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098100776A TWI490819B (zh) 2009-01-09 2009-01-09 影像處理方法及其裝置

Country Status (2)

Country Link
US (1) US8447126B2 (zh)
TW (1) TWI490819B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602763B1 (en) * 2010-12-16 2017-03-21 Pixelworks, Inc. Frame interpolation using pixel adaptive blending
JP5863273B2 (ja) * 2011-05-02 2016-02-16 キヤノン株式会社 画像処理装置、制御方法及びプログラム
US9563960B2 (en) * 2014-04-09 2017-02-07 Mediatek Inc Method for detecting foreground
JP6412819B2 (ja) * 2015-03-30 2018-10-24 株式会社東芝 画像処理装置、画像処理方法、および画像処理プログラム
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
WO2019124191A1 (ja) * 2017-12-18 2019-06-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN111325673B (zh) * 2018-12-14 2023-06-30 瑞昱半导体股份有限公司 影像处理方法与影像处理电路

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252764A1 (en) * 2003-06-16 2004-12-16 Hur Bong-Soo Motion vector generation apparatus and method
US20060017843A1 (en) * 2004-07-20 2006-01-26 Fang Shi Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
US20070002058A1 (en) * 2003-09-02 2007-01-04 Koninklijke Philips Electronics N.V. Temporal interpolation of a pixel on basis of occlusion detection
US20070140346A1 (en) * 2005-11-25 2007-06-21 Samsung Electronics Co., Ltd. Frame interpolator, frame interpolation method and motion reliability evaluator

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2279531B (en) * 1993-06-24 1997-07-16 Sony Uk Ltd Motion compensated image interpolation
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
JP4596216B2 (ja) * 2001-06-20 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN100385936C (zh) * 2003-01-23 2008-04-30 皇家飞利浦电子股份有限公司 检测背景运动向量的方法和装置
US7667778B2 (en) * 2004-04-09 2010-02-23 Sony Corporation Image processing apparatus and method, and recording medium and program used therewith
WO2007049209A2 (en) * 2005-10-24 2007-05-03 Nxp B.V. Motion vector field retimer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040252764A1 (en) * 2003-06-16 2004-12-16 Hur Bong-Soo Motion vector generation apparatus and method
US20070002058A1 (en) * 2003-09-02 2007-01-04 Koninklijke Philips Electronics N.V. Temporal interpolation of a pixel on basis of occlusion detection
US20060017843A1 (en) * 2004-07-20 2006-01-26 Fang Shi Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
US20070140346A1 (en) * 2005-11-25 2007-06-21 Samsung Electronics Co., Ltd. Frame interpolator, frame interpolation method and motion reliability evaluator

Also Published As

Publication number Publication date
US8447126B2 (en) 2013-05-21
US20100177974A1 (en) 2010-07-15
TW201027458A (en) 2010-07-16

Similar Documents

Publication Publication Date Title
TWI408620B (zh) 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
TWI490819B (zh) 影像處理方法及其裝置
CN105517671B (zh) 一种基于光流法的视频插帧方法及系统
JP4220284B2 (ja) フレーム補間方法、装置及びこれを用いた画像表示システム
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
US20100271554A1 (en) Method And Apparatus For Motion Estimation In Video Image Data
JP4741836B2 (ja) 質量中心の繰り返し使用によるカメラパンベクトルのロバスト推定
TWI398159B (zh) 具動態控制畫質功能的幀率轉換裝置及相關方法
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
TWI452909B (zh) 移動向量校正電路、影像產生裝置及相關方法
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
CN101444094A (zh) 用于对输入图像序列的先前和后继图像插值的方法
CN100442820C (zh) 去隔行扫描的装置和方法
JP5081898B2 (ja) 補間画像生成方法及びシステム
TWI408621B (zh) 影像插補處理裝置及其方法
TW201322769A (zh) 運動向量改善裝置及其影像改善方法
CN104811726B (zh) 帧率转换中运动估计的候选运动矢量选择方法
CN107124617B (zh) 运动估计运动补偿中随机矢量的生成方法及系统
CN201374785Y (zh) 用以决定插补画面的移动向量的影像处理装置
KR20050081730A (ko) 움직임 보상 기반의 영상 신호 프레임율 변환 방법
US20100283897A1 (en) De-interlacing system
JP6708131B2 (ja) 映像処理装置、映像処理方法及びプログラム
CN109788297A (zh) 一种基于元胞自动机的视频帧率上转换方法
CN101778292B (zh) 影像处理方法及其装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees