TW201230820A - Predictive image coding device, predictive image coding method, predictive image coding program, predictive image decoding device, predictive image decoding method, and predictive image decoding program - Google Patents

Description

201230820 六、發明說明： 【發明所屬之技術領域】 本發明的實施形態係有關於影像預測編碼裝置、影像 預測編碼方法、影像預測編碼程式、影像預測解碼裝置、 影像預測解碼方法及影像預測解碼程式，更詳言之是有關 於’使用周圍區塊的運動資訊來生成對象區塊之預測訊號 的影像預測編碼裝置、影像預測編碼方法、影像預測編碼 程式'影像預測解碼裝置、影像預測解碼方法及影像預測 解碼程式。 【先前技術】 爲了有效率地進行靜止影像或動態影像資料的傳送， 採用了壓縮編碼技術。對動態影像，係有被MPEG-1〜4或 ITU(International Telecommunication Union)H.261 〜H.264 所規定的技術，被廣泛使用。 在這些編碼技術中，是將身爲編碼對象的影像，分割 成複數區塊，然後進行區塊基礎的編碼及解碼處理。在畫 面內的預測編碼時，係使用與對象區塊位於相同畫面內的 相鄰之領域的已再生之影像訊號（亦即從已被壓縮之影像 資料所還原而成者）來生成預測訊號’而將該當預測資訊 與對象區塊之像素訊號的差分亦即差分訊號予以編碼。在 畫面間的預測編碼時，係參照與對象區塊位於不同畫面內 的相鄰之領域的已再生之影像訊號來進行運動補正，以生 成預測訊號’而將該當預測資訊與對象區塊之訊號的差分 -5- 201230820 亦即差分訊號予以編碼。 例如在H. 2 64的畫面內預測編碼時，係採用將身爲編 碼對象之區塊所相鄰之領域的已再生之.像素値朝所定方向 進行外插，以生成預測訊號的方法。圖17係ITU H. 2 64 中所採用的畫面內預測方法的說明用模式圖。於圖1 7(A) 中，對象區塊8 02係身爲編碼對象之區塊該對象區塊8 02 的交界處所相鄰的像素A〜Μ所成的像素群801係爲相鄰 領域，是於過去處理中已經被再生的影像訊號。 在圖17的（Α)所示的預測中，是將存在於對象區塊 802正上方的相鄰像素亦即像素群801往下方拉長，而生 成預測訊號。又，在圖17(B)中，係將存在於對象區塊 8 04的左方的已再生像素（I〜L)往右拉長以生成預測訊號 。關於生成預測訊號的具體方法，請參考例如專利文獻1 。如此取得以圖17(A)至（I)所示之方法所生成的9個預測 訊號之候補分別與對象區塊之像素訊號的差分，藉由比較 這些差分，而將能給予最小差分値的候補，選擇成爲最佳 的預測訊號。如以上，藉由將像素進行外插，就可生成預 測訊號。關於以上的內容，係被記載於下記專利文獻1。 在通常的畫面間預測編碼時，是以從已再生之畫面中 探索出與對象區塊之像素訊號類似之訊號的此一方法，來 生成預測訊號。然後，將對象區塊與探索到的訊號所構成 之領域之間的空間性位移量亦即運動向量，和對象區塊的 像素訊號與預測訊號的差分亦即殘差訊號，進行編碼。如 此對每一區塊，進行運動向量之探索的手法，稱作區塊比 -6- 201230820 對（block matching) ° 圖1 6係區塊比對處理的說明用模式圖。此 編碼對象之畫面701上的對象區塊702爲例，來 訊號的生成程序。畫面703係爲已再生影像，該 影像內的領域704係爲與對象區塊702在空間上 置的領域。在區塊比對時，會設定含有領域704 圍705。從該探索範圍偵測出，具有對對象區塊 素訊號呈現最小絕對値誤差和之訊號的領域706 706的訊號係成爲預測訊號，從領域704往領域 移量，係被偵測成爲運動向量707。又，準備複 畫面，就每一對象區塊，選擇要實施區塊比對的 ，偵測出參照畫面選擇資訊的方法，也被經常> Η.2 64中，爲了對應於影像的局部性特徵變化， 運動向量進行編碼之區塊尺寸是互異的複數種預 關於Η. 2 64的預測形式，例如記載於專利文獻2。 在動態影像資料的壓縮編碼時，各畫面（畫β 的編碼順序係可爲任意。因此，參照已再生畫面 測訊號的畫面間預測中，關於編碼順序係有3種 1手法係參照顯示順序上爲過去已再生之畫面來 訊號的前方預測，第2手法係參照顯示順序上爲 之畫面的後方預測，第3手法係前方預測和後方 進行，將二個預測訊號予以平均化的雙向預測。 間預測的種類，例如記載於專利文獻3。 在Η.2 64中，作爲參照畫面之候補，是使用 處，以在 說明預測 當已再生 爲同一位 的探索範 7 02之像 。該領域 706的位 數個參照 參照畫面 度用。在 而備有將 測形式。 5·、圖場） 來生成預 手法。第 生成預測 未來再生 預測都會 關於畫面 由複數已 201230820 再生之畫面所成的二個參照畫面清單，來進行第3手法。 更詳言之，是使用各參照畫面清單中所被登錄的複數參照 畫面來進行區塊比對，偵測出相當於領域706的二個領域 ，將所偵測出來的二個預測訊號予以平均化。 以圖5和圖6來說明參照畫面清單的例子。在圖5(A) 中係表示，畫面505係爲編碼對象影像，從畫面501至畫 面5 04係爲已再生影像。各影像（畫面·）的識別是以畫格編 號（frame_iium)來爲之。圖6(A)的參照畫面清單識別號碼 Li stO及List 1是表示二個參照畫面清單，在此例中，二個 參照畫面清單分別被登錄有4個參照畫面。各參照畫面係 以參照畫面編號（ref_idx)來識別。 可登錄在參照畫面清單中的已再生影像，基本上係爲 任意。如圖6(A)所示的表521，被登錄在二個參照畫面清 單中的參照畫面，係亦可全部都是過去已再生之影像。此 時，由於二個預測訊號都是前方預測，因此將二個預測訊 號予以平均化的預測手段，不是稱作雙向預測而是稱作2 方向預測。 在該2方向預測中，必須要將運動向量與參照畫面編 號之二者的組合（運動資訊），加以編碼。於是，爲了減少 代碼量，而有在相鄰區塊的運動資訊當中，使用被List 0 所識別之運動資訊與被List 1所識別之運動資訊來進行2 方向預測的手法。 [先前技術文獻] [專利文獻] 201230820 [專利文獻1]美國專利公報第6765964號 [專利文獻2]美國專利公報第7003 03 5號 [專利文獻3]美國專利公報第6259739號 【發明內容】 [發明所欲解決之課題] 在2方向預測時，藉由類似的二個預測訊號的平均化 ，就可以平滑化效果而更有效果地去除預測訊號中所含的 雜訊。因此’只要從相同參照畫面中取出運動向量有些微 差異的二個訊號即可。然而，在使用相鄰區塊之運動資訊 的2方向預測的先前方法中，二個預測訊號之生成時所使 用的運動資訊之選擇，係被參照畫面清單所限制。由於該 限制，導致即使相鄰區塊的二個運動資訊之配對是含有基 於相同參照畫面的相近之運動向量，仍無法選擇。 此處，當圖7的區塊4 00是編碼對象區塊、從區塊 401至區塊403是對象區塊的相鄰區塊時，想定有三個相 鄰區塊是分別具有被ListO與Listl所識別的二個運動資 訊。若依據先前技術的手法，則從三個相鄰區塊之運動資 訊、且是被ListO所識別之三個運動資訊與被Listl所識 別的三個運動資訊中，分別選擇出一個運動資訊，生成二 個預測訊號。一般而言，由於參照畫面編號ref_idx所需 要的代碼量是比該當參照畫面編號ref_idx爲「〇」時還要 少，因此相鄰區塊之運動資訊中所含之參照畫面編號 ref_idx經常是全部爲0。參照畫面編號爲「〇」時，若使 -9- 201230820 用圖6(A)的參照畫面清單（521)，則二個預測訊號會是分 別從畫格編號（frame-num)爲「3」的參照畫面與畫格編號 爲「2」的參照畫面中取得。此時，無法獲得高平滑化效 果。 作爲另一例，想定二個參照畫面清單是由不同參照畫 面所構成的情形。如圖5(B)所示，被畫格編號「3」所識 別的畫面5 1 0係爲編碼對象影像，被畫格編號「0」、「1 」、「2」、「4」所識別的畫面507、508、509、5 1 1係 爲已再生影像，參照畫面清單是如圖6(B)所示的清單522 的情況下，則會從不同參照畫面中生成二個預測訊號。此 時，也無法獲得高平滑化效果。 因此，能夠抑制預測訊號之雜訊的影像預測編碼裝置 、影像預測編碼方法、影像預測編碼程式、影像預測解碼 裝置、影像預測解碼方法及影像預測解碼程式，是必要的 [用以解決課題之手段] 本發明的一側面係有關於影像預測編碼。 本發明之一側面所述之影像預測編碼裝置，係具備： 領域分割手段，係用以將輸入影像分割成複數領域；和預 測訊號生成手段’係用以決定用來從已再生影像中取得像 素訊號所需之運動資訊，該像素訊號係爲，在已被上記領 域分割手段所分割之上記複數領域當中、與編碼對象之對 象領域的像素訊號的相關較高，基於該運動資訊而從上記

-10- 201230820 已再生影像生成出上記對象領域之預測訊號；和運動資訊 記錄手段，係用以保存上記運動資訊；和殘差訊號生成手 段，係用以生成上記對象領域之預測訊號與上記對象領域 之像素訊號的差分亦即殘差訊號；和殘差訊號編碼手段， 係將上記殘差訊號生成手段所生成的上記殘差訊號，加以 編碼；和殘差訊號復原手段，係用以將已被上記殘差訊號 編碼手段所生成的編碼資料予以解碼，而生成再生殘差訊 號；和加算手段，係用以將上記預測訊號與上記再生殘差 訊號進行加算，以生成上記對象領域的再生像素訊號；和 影像記錄手段，係用以將已被上記加算手段所生成之上記 再生像素訊號，當作已再生影像之一部分而加以保存；上 記預測訊號生成手段係含有：運動資訊導出手段，係用以 從上記運動資訊記錄手段所保存的複數運動資訊之中，將 其構成要素之任一値爲互異的二個運動資訊所組成的一個 以上的運動資訊之組合，予以導出；和運動預測資訊選擇 手段，係用以從上記一個以上的運動資訊之組合中，選擇 出對象領域之預測訊號生成時所使用的運動資訊之組合， 令已被選擇之組合的二個運動資訊，被保存在上記運動資 訊記錄手段中；和運動補償手段，係用以基於已被選擇之 上記組合的二個運動資訊，而將從上記已再生影像所取得 到的二個訊號加以合成，以生成上記對象領域之預測訊號 〇 本發明之一側面所述之影像預測編碼方法，係含有： 將輸入影像分割成複數領域的步驟；和將上記複數領域當 -11 - 201230820 中之編碼對象之對象領域的預測訊號予以生成的步驟，且 該步驟係爲，決定用來從已再生影像取得與該對象領域之 像素訊號之相關較高之像素訊號所需的運動資訊，基於該 運動資訊而從該已再生影像生成出上記預測訊號；和以運 動資訊記錄手段而將上記運動資訊予以保存的步驟；和生 成上記對象領域之預測訊號與上記對象領域之像素訊號的 差分亦即殘差訊號的步驟；和將上記殘差訊號予以編碼的 步驟；和將上記殘差訊號予以編碼的步驟中所生成之編碼 資料，予以解碼，而生成再生殘差訊號的步驟；和將上記 預測訊號與上記再生殘差訊號進行加算，以生成上記對象 領域的再生像素訊號的步驟；和以影像記錄手段，將上記 再生像素訊號當作已再生影像之一部分而加以保存的步驟 ;將上記預測訊號予以生成的步驟，係含有：從上記運動 資訊記錄手段所保存的複數運動資訊之中，將其構成要素 之任一値爲互異的二個運動資訊所組成的一個以上的運動 資訊之組合，予以導出的步驟；和從上記一個以上的運動 資訊之組合中，選擇出對象領域之預測訊號生成時所使用 的運動資訊之組合，令已被選擇之組合的二個運動資訊， 被保存在上記運動資訊記錄手段中的步驟：和基於已被選 擇之上記組合的二個運動資訊，而將從上記已再生影像所 取得到的二個訊號加以合成，以生成上記對象領域之預測 訊號的步驟。 本發明·之一側面所述之影像預測編碼程式，係使電腦 發揮功能成爲：領域分割手段、預測訊號生成手段、運動

-12- 201230820 資訊記錄手段、殘差訊號生成手段'殘差訊號編碼手段、 殘差訊號復原手段、加算手段、影像記錄手段。預測訊號 生成手段係含有：運動資訊導出手段、運動補償手段、預 測訊號生成手段。 若依照本發明之一側面所述之影像預測編碼，則可不 必受到參照畫面清單所限制，將構成要素之値互異的二個 運動資訊予以選出。其結果爲，可對預測訊號之生成，給 予平滑化之效果。 於一實施形態中，亦可爲，上記影像記錄手段係保存 有複數已再生影像；上記運動資訊係含有用來識別上記已 再生影像的資訊和運動向量；上記影像記錄手段中所保存 的已再生影像，係使用已再生影像進行編碼之際的畫格編 號，來加以識別；導出運動資訊之組合，其中含有，上記 已再生影像之畫格編號爲一致但運動向量之値爲互異的二 個運動資訊。 於一實施形態中，亦可爲，上記影像記錄手段係保存 有複數已再生影像；上記影像記錄手段中所被保存的複數 已再生影像，是使用由一個以上之已再生影像所構成的二 個參照畫面清單，來加以識別；上記運動資訊係含有’用 來識別上記二個參照畫面清單的資訊和上記運動向量；導 出運動資訊之組合’其中含有，識別上記參照影像清單的 資訊是一致、但運動向量之値爲互異的二個運動資訊。 於一實施形態中’亦可爲，從相鄰於上記對象領域之 領域所附隨之複數運動資訊，選擇出該對象領域之預測訊 -13- 201230820 號之生成時所使用的上記運動資訊之組合。 又’於一實施形態中，亦可爲，將用來指示已被選擇 之二個運動資訊所組成的運動資訊之組合的資訊，予以編 碼。 本發明的另一側面係有關於影像預測解碼。 本發明之另一側面所述之影像預測解碼裝置，係具備 :資料解析手段，係用以從壓縮資料之中，抽出用來生成 影像內之複數領域當中作爲解碼對象之對象領域的預測訊 號所需的運動資訊的編碼資料、與殘差訊號的編碼資料； 和運動資訊記錄手段，係用以保存上記運動資訊；和運動 補償手段，係用以基於上記運動資訊，而生成上記對象領 域之預測訊號；和殘差訊號復原手段，係從上記殘差訊號 之編碼資料，復原出上記對象領域的再生殘差訊號；和影 像記錄手段，係用以藉由將上記預測訊號與上記再生殘差 訊號予以加算，以復原上記對象領域的像素訊號，並將已 復原之該像素訊號，當作已再生影像之一部分而加以保存 ;和運動資訊導出手段，係用以從上記運動資訊記錄手段 所保存的複數運動資訊之中，將其構成要素之任一値爲互 異的二個運動資訊所組成的一個以上的運動資訊之組合， 予以導出；和運動資訊決定手段，係用以從已被導出之上 記一個以上的運動資訊之組合之中，決定實際用於對象領 域之預測訊號生成的運動資訊之組合，令已決定之組合的 二個運動資訊，被保存在上記運動資訊記錄手段中；上記 運動補償手段，係用以將基於已被決定之上記組合的二個

-14- 201230820 運動資訊而從上記已再生影像所取得的二個訊 成，以生成上記對象領域之預測訊號。 本發明之另一側面所述之影像預測解碼方 :從壓縮資料之中，抽出用來生成影像內之複 作爲解碼對象之對象領域的預測訊號所需的運 碼資料、與殘差訊號的編碼資料的步驟；和以 錄手段而將上記運動資訊予以保存的步驟：和 動資訊，而生成上記對象領域之預測訊號的步 記殘差訊號之編碼資料，復原出上記對象領域 訊號的步驟；和藉由將上記預測訊號與上記再 予以加算，以復原上記對象領域的像素訊號， 記錄手段而將已復原之該像素訊號，當作已再 部分而加以保存的步驟；和從上記運動資訊記 存的複數運動資訊之中，將其構成要素之任一 二個運動資訊所組成的一個以上的運動資訊之 導出的步驟；和從上記已導出之運動資訊之組 定實際用於對象領域之預測訊號生成的運動資 令已被決定之組合的二個運動資訊，被保存在 訊記錄手段中的步驟；在將上記預測訊號予以 中，係基於已被決定之上記組合的二個運動資 已再生影像所取得的二個訊號，加以合成，以 象領域之預測訊號。 本發明之另一側面所述之影像預測解碼程 腦發揮功能成爲：資料解析手段、運動資訊記 號，加以合 法，係含有 數領.域當中 動資訊的編 運動資訊記 基於上記運 驟；和從上 的再生殘差 生殘差訊號 並藉由影像. 生影像之一 錄手段所保 値爲互異的 組合，予以 合之中，決 訊之組合， 上記運動資 生成的步驟 訊而從上記 生成上記對 式，係使電 錄手段、運 -15- 201230820 動補償手段 '殘差訊號復原手段、影像記錄手段、運動資 訊導出手段、運動資訊決定手段。 若依照本發明之一側面所述之影像預測解碼，則可從 上述一側面之影像預測編碼所生成的壓縮資料中，復原出 影像。在該影像中，雜訊可被降低。 於一實施形態中，亦可爲，從上記運動資訊記錄手段 所保存的複數運動資訊之中，將用來識別其構成要素之任 一値爲互異的二個運動資訊所組成的一個運動資訊之組合 所需的指示資訊的編碼資料，予以抽出；藉由預測資訊解 碼手段而將指示資訊予以解碼，基於已被解碼之上記指示 資訊，而從上記運動資訊導出手段所導出的一個以上的運 動資訊之組合之中，將對象領域之預測訊號生成時所使用 的運動資訊之組合，予以抽出。 於一實施形態中，亦可爲，上記影像記錄手段係保存 有複數已再生影像；上記運動資訊係含有用來識別上記複 數已再生影像的資訊和運動向量；上記影像記錄手段中所 保存的複數已再生影像，係使用該複數已再生影像進行解 碼之際的畫格編號，來加以識別；導出運動資訊之組合’ 其中含有，上記已再生影像之畫格編號爲—致但運動向量 之値爲互異的二個運動資訊。 於一實施形態中，亦可爲，上記影像記錄手段係保存 有複數已再生影像；上記影像記錄手段中所被保存的複數 已再生影像，是使用由一個以上之已再生影像所構成的二 個參照畫面清單，來加以識別；上記運動資訊係含有’用

-16- 201230820 來識別上記二個參照畫面清單的資訊和上記運動向量而被 構成；且導出運動資訊之組合，其中含有，識別上記參照 影像清單的資訊是一致、但運動向量之値爲互異的二個運 動資訊。 又，於一實施形態中，亦可爲，從相鄰於上記對象領 域之領域所附隨之複數運動資訊，導出對象領域之預測訊 號之生成時所使用的上記運動資訊之組合。 [發明效果] 如以上所說明，若依據本發明的數個側面，則可提供 能夠抑制預測訊號之雜訊的影像預測編碼裝置、影像預測 編碼方法、影像預測編碼程式、影像預測解碼裝置、影像 預測解碼方法及影像預測解碼程式。 【實施方式】 以下，參照圖面而詳細說明數種實施形態。此外，對 於各圖面中同一或相當之部分係標示同一符號，並省略重 複說明。又，於本說明書中’構成動態影像的「畫格」、 「畫面」、「影像」（圖5的501至51 1)係爲相同的意思 〇 圖1係一實施形態所述之影像預測編碼裝置之構成的 圖示。圖1所不的影像預測編碼裝置1〇〇’係具備：輸入 端子101、區塊分割器102、預測訊號生成器103、畫格記 憶體104、減算器105、轉換器106、量化器107、逆量化 -17- 201230820 器108、逆轉換器109、加算器110、量化轉換係數編碼器 1 1 1、輸出端子1 1 2、預測資訊用記憶體1 1 3、及預測資訊 編碼器114。於一實施形態中，轉換器106及量化器107 ，係成爲殘差訊號編碼手段而發揮功能，逆量化器1 〇8及 逆轉換器1 09係成爲殘差訊號復原手段而發揮功能，預測 資訊用記憶體係成爲運動資訊記錄手段而發揮功能。此外 ，預測資訊用記憶體1 1 3係亦可被包含在預測訊號生成器 103中。又，於一實施形態中，量化轉換係數編碼器111 係亦可成爲殘差訊號編碼手段的一部分而發揮功能，此情 況下，將量化轉換係數編碼器111所生成的資料予以解碼 而輸出至逆量化器的要素，係構成了殘差訊號復原手段的 —部分。 輸入端子1 0 1，係用來輸入複數張影像所成之動態影 像之訊號的端子。 區塊分害ξ!器1 02，係將從輸入端子1 0 1所輸入之訊號 所表示之編碼對象的影像，分割成複數領域。在一實施形 態中，編碼對象影像，係可被分割成由8x8像素所成的複 數區塊。這些複數領域或區塊，係成爲以下說明的處理所 被適用的對象領域或對象區塊。此外，區塊的大小及形狀 係不限定於此。又，亦可在畫面內混合有尺寸不同的區塊 〇 預測訊號生成器1 〇 3，係將對象區塊內的各預測區塊 的預測訊號之生成所必須的運動資訊予以測出，並且生成 預測訊號。預測訊號之生成方法係沒有限定，但可爲如先

-18- 201230820 前技術所說明的畫面間預測或畫面內預測（畫面內預測係 未圖示）。在一實施形態中，可以藉由圖16所示的區塊比 對而偵測出運動資訊。在區塊比對時’對對象區塊的原訊 號（像素訊號）呈現最小絕對値誤差和的預測訊號’係從經 由訊號線L1 04所取得之已再生影像中’被偵測出來。 在一實施形態中’係可在運動資訊裡’含有：運動向 量、參照畫面清單的識別號碼（圖5的ListO與List 1)、及 參照畫面編號（圖5的ref_idx)。 如圖6所示，當各參照畫面清單是由複數參照畫面所 構成時，爲了表示運動資訊中所含之運動向量是以哪個參 照畫面爲對象，因此參照畫面編號會與運動向量同時被偵 測出來。又，在利用2方向預測時，預測形式（前方/後方 /2方向）也被同時決定。當預測形式是前方預測時，則參 照畫面清單的識別號碼爲ListO的運動資訊會被偵測出來 ，若爲後方預測時，則參照畫面清單的識別號碼爲List 1 的運動資訊會被偵測出來。若爲2方向預測時，則被 ListO與Li stl所識別的二個運動資訊，會被偵測出來。此 外，圖6所示的參照畫面清單中所被登錄的已再生影像， 係可依照預先決定的規則而被自動地決定，也可爲，用來 將參照畫面清單中所登錄之已再生影像予以特定的資訊， 是以畫格單位或序列單位而明示性地被編碼。在—實施形 態中，作爲該當資訊，可利用如圖5與圖6所示的畫格編 號。 回到圖1，運動資訊與預測形式係經由訊號線L 1 03 c -19- 201230820 及訊號線L 1 0 3 b，而分別被輸出至預測資訊用記憶體1 1 3 及預測資訊編碼器1 1 4。 預測資訊用記憶體1 1 3，係將所被輸入之運動資訊與 預測類型，加以保存。 預測資訊編碼器114係將編碼對象區塊的運動資訊進 行熵編碼，將編碼資料經由訊號線L 1 1 4而輸出至輸出端 子1 1 2。熵編碼之方法係沒有限定，但可適用算術編碼或 可變長度編碼等。 已被預測訊號生成器1 03所生成的預測訊號，係經由 訊號線L1 03 a而被輸出至減算器105與加算器110。 減算器105，係從對象區塊之像素訊號中減去經由訊 號線LI 03a所輸入的對象區塊之預測訊號，以生成殘差訊 號。減算器105，係將殘差訊號，經由訊號線L1 05而輸 出至轉換器106。 轉換器1 06，係將已被輸入之殘差訊號進行離散餘弦 轉換，以生成轉換係數。又，量化器107，係將轉換器 1 06所生成的轉換係數進行量化，以生成量化轉換係數。 量化轉換係數編碼器111，係將已被量化器107所生成的 量化轉換係數，進行熵編碼。已被量化轉換係數編碼器 1 1 1所生成的編碼資料，係經由訊號線L 1 1 1而被輸出至 輸出端子112。量化轉換係數編碼器111中的熵編碼之方 法係沒有限定，但可適用算術編碼或可變長度編碼等。 輸出端子1 1 2，係將從預測資訊編碼器1 1 4及量化轉 換係數編碼器1 1 1所收取到的資訊加以整合而輸出至外部 -20- 201230820 逆量化器108，係將已被量化器107所生成的量化轉 換係數進行逆量化，以生成轉換係數。逆轉換器109，係 對已被逆量化器108所生成的轉換係數，適用逆離散餘弦 轉換而將殘差訊號予以復原。加算器110,係將已被復原 的殘差訊號與經由訊號線L103a所輸入之預測訊號進行加 算，生成編碼對象區塊的再生影像訊號，將該當再生影像 訊號儲存至畫格記憶體104。此外，亦可取代轉換器106 與逆轉換器109之處理改用其他的轉換處理。又，轉換器 106及逆轉換器109係並非必須。如此，爲了使用於後續 的編碼對象區塊的預測訊號之生成，編碼對象區塊的再生 像素訊號，係被當成參照畫面、亦即已再生影像之一部分 ，而被記億在畫格記億體1 04中。 在一實施形態中，預測訊號生成器1 03係亦可利用相 鄰於對象區塊的區塊（相鄰區塊）所附隨的運動資訊，來生 成對象區塊之預測訊號。所謂附隨於相鄰區塊的運動資訊 ，係爲相鄰區塊是編碼對象時，曾經用於預測訊號之生成 的運動資訊。附隨於相鄰區塊的運動資訊，係被保存在預 測資訊用記憶體1 1 3中。此外，亦可每一區塊地，將表示 曾利用附隨於相鄰區塊之運動資訊而生成預測訊號之事實 、或曾使用區塊比對所測出之運動向量來生成預測訊號之 事實的資訊，在壓縮資料中以編碼狀態而加以包含。 此處，考慮以2方向預測來生成對象區塊之預測訊號 的情形。以下舉出圖7(A)爲例子來說明。在對象區塊400 -21 - 201230820 的正左方和正上方，該當對象區塊所相鄰的二個區塊401 及區塊402係被視爲相鄰區塊，附隨於這些區塊的運動資 訊，係被使用於預測。此時，若附隨於二個相鄰區塊的預 測形式是2方向預測，則最多有四個運動資訊可利用於對 象區塊之預測訊號之生成。預測訊號生成器1〇3’係從候 補的四個運動資訊（四個候補運動資訊）中，選擇出運動向 量之値或參照畫面之畫格編號之値互異的二個運動資訊。 參照畫面的畫格編號（frame_num)係可藉由參照畫面清單 識別號碼（ListO或Listl)與參照畫面編號（ref_idex)之組合 ，來加以識別。然後，基於各個運動資訊而從畫格記憶體 1 04取得二個預測訊號，將該當二個預測訊號以像素單位 進行平均化，而獲得預測訊號。若二個預測訊號是類似， 則藉由平滑化所帶來的雜訊去除效果，可改善預測性能。 預測資訊編碼器114係不將運動資訊做編碼，而是將 4個候補運動資訊當中會使用於對象區塊之預測訊號之生 成的二個運動資訊加以識別所需的資訊（指示資訊），加以 編碼。因此，可以比運動資訊編碼所得之編碼資料的代碼 量還少的代碼量，來生成預測訊號。指示資訊，係可爲用 來識別候補運動資訊的2個指示資訊，也可爲用來識別2 個候補運動資訊之組合的指示資訊。 又，預測資訊用記憶體Π 3，係將曾經使用於對象區 塊的預測訊號生成的2個運動資訊，當作附隨於對象區塊 的運動資訊，而加以保存。2個運動資訊係可直接被保存 ，但在既存之影像預測編碼及解碼中，由於會有參照

-22- 201230820

ListO及Listl之二個參照畫面清單的限制，因此可如以下 說明般地，保存2個運動資訊。 亦即，當二個運動資訊的參照畫面清單識別號碼是相 同時，則二個運動資訊中所含之參照畫面清單編號’係可 依照預定的規則而被變更。例如’在二個運動資訊當中’ 將具有較小參照畫面編號（ref_idx)之一方的運動資訊的參 照畫面清單 '識別號碼指派成ListO ’將另一方運動資訊的 參照畫面清單識別號碼指派成Listl。 當二個運動資訊的參照畫面編號也相同時，則將具有 各成分之絕對値和較小之運動向量的一方之運動資訊的參 照畫面清單識別號碼指派成ListO ’將另一方運動資訊的 參照畫面清單識別號碼指派成Listl。 當藉由該指派而會參照與指派前的畫格編號不同的畫 格編號時，則可變更參照畫面編號（ref_idx) ’以使得該當 指派前的畫格編號被參照。 又，如圖6(B)所示若二個參照畫面清單並不含有相同 畫格編號時，則亦可使用如圖6(C)所示般地擴充成含有相 同畫格編號的參照畫面清單（5 2 3 )，來管理運動資訊。該已 擴充之參照畫面清單，係當使用附隨於相鄰區塊之運動資 訊來生成對象區塊之預測訊號時，可直接利用。又’由於 有畫格編號被記錄，因此當隨著畫面間的時間方向之距離 而將運動向量予以縮放時（例如，將以圖5(A)的畫面504 爲對象的運動向量，轉換成以畫面503爲對象之運動向量 時，係將各向量成分變成2倍）也可利用。此外，此處所 -23- 201230820 示的運動向量的保存方法係可彼此轉換，因此無論使用哪 種保存方法，對編碼結果都不會有影響。 更詳細說明預測訊號生成器103之處理。圖2係一實 施形態所述之預測訊號生成器之構成的圖示。如圖2所示 ，預測訊號生成器1 03係具備：運動資訊導出器1 2 1、運 動預測資訊選擇器1 22、及運動補償器1 23。此外，在此 圖中，先前的區塊比對所致之運動偵測的部分，係被省略 〇 運動資訊導出器121，係當作爲相鄰區塊而使用的正 上方與正左方區塊的預測形式都是2方向預測時，則將這 些相鄰區塊所附隨的4個運動資訊，加以比較。運動資訊 導出器121，係將構成運動資訊之要素、亦即運動向量、 參照畫面清單識別號碼、參照畫面編號之任一値是與其他 三個運動資訊不同的運動資訊，當作可利用於對象區塊之 預測的候補運動資訊。若是運動向量之値與參照畫面的畫 格編號之値（參照畫面的畫格編號係可由參照畫面清單與 參照畫面編號之組合來得知）爲相同的運動資訊，則僅將 其中任一者視爲候補運動資訊。然後，運動資訊導出器 1 2 1係將任意二個候補運動資訊之組合，當作候補2方向 預測資訊而予以導出。此時，最多可導出六個候補2方向 預測資訊。當將對象區塊正上方及正左方的區塊之至少一 方當作相鄰區塊而採用時且爲2方向預測的情況下，則可 將以下說明之個數的二個運動資訊之組合模態，從相鄰區 塊中予以導出。亦即，

S -24 - 201230820 (1) 採用正上方區塊（4 02)或正左方區塊（401)的二個運動資 訊時：2模態 (2) 正上方區塊（4 02)的一個運動資訊與正左方區塊（4 01)的 一個運動資訊，且二個運動資訊中所含之參照畫面清單爲 互異時：4模態 / (3) 正上方區塊（4 02)的一個運動資訊與正左方區塊（4 01)的 一個運動資訊，且二個運動資訊中所含之參照畫面清單爲 相同時：2模態 圖3中係圖示了運動資訊導出器121所進行之處理的 流程圖。首先在步驟S 3 0 1中，將利用於對象區塊之預測 的相鄰區塊之數目N予以設定，將目前的相鄰區塊編號η 設成「〇」。例如’將區塊401設定成η = 0 ’將區塊402 設定成η=1。又，將候補運動資訊的數目L，初期化成0 。接著，將η號區塊的運動資訊與預測形式’從預測資訊 用記憶體1 1 3加以取得（步驟S 3 02)。然後’基於預測形式 而將附隨於η號相鄰區塊之運動資訊的數目Μ ’予以設定 (步驟 S 3 0 3 )。 接著，η號相鄰區塊的第m個運動資訊與L個候補運 動資訊進行比較（步驟S3 04)。若所有的候補運動資訊是與 比較對象之運動資訊不同’或L = 0時’則處理係前進至步 驟S305。在步驟S305中，將η號相鄰區塊的第m個運動 資訊追加至候補運動資訊’將L之値增加1。其後’處理 係前進至步驟S 3 06。 在步驟S3 04當候補運動資訊之中找到與第m個運動 201230820 資訊相同者時，則處理係前進至步驟S306。此外，於步 驟S304中，若所比較的二個運動向量的値爲相同，且所 比較的二個參照畫面編號與參照畫面清單識別號碼之組合 所對應的畫格編號是相同，則即使參照畫面清單不同’仍 判斷爲相同的運動資訊。這是因爲，當二個運動資訊的運 動向量與其參照畫面的畫格編號是相同時，則從該運動資 訊所生成之預測訊號會是一致。 步驟S306中，將m的値增加1。接著在步驟S307中 ，針對第η個相鄰區塊所附隨之所有運動資訊，判定步驟 S3 04〜步驟S3 06的處理是否完成，若已完成則處理係前 進至步驟S 3 08，若未完成則處理係返回步驟S304。 步驟S3 08中，將相鄰區塊的編號η的値增加1。然 後，在步驟S309中，判定所有相鄰區塊的處理是否都完 成。若已完成則處理係前進至步驟S310，若未完成則處 理係返回步驟S302。 最後，在步驟S3 10中，從L個候補運動資訊將運動 向量之値是與參照畫面的畫格編號之値（參照畫面的畫格 編號係可由參照畫面清單與參照畫面編號之組合來得知） 爲不同的二個運動資訊之組合，全部予以導出，設定成爲 候補2方向預測資訊。 此外，關於運動資訊導出器121是要利用來自哪個相 鄰區塊的運動資訊，是事前對編碼側與解碼側雙方預先決 定。又，亦可將用來特定運動資訊導出器121是要利用來 自哪個相鄰區塊的運動資訊所需之資訊，以編碼狀態傳達

-26- 201230820 給解碼側。 在運動預測資訊選擇器122中，係從運動資訊導出器 1 2 1經由線L 1 2 1所輸入的候補2方向預測資訊中’選擇 最佳的一者。具體而言是選擇，會使「基於二個候補運動 資訊而經由訊號線L 1 04從畫格記憶體1 04所取得到的二 個訊號平均所得到之訊號」與「經由訊號線L 1 02所得到 之對象區塊之像素訊號」的差分絕對値和呈最小的候補2 方向預測資訊。然後，將已選擇之候補2方向預測資訊、 或是用來識別構成已選擇之候補2方向預測資訊的二個候 補運動資訊用的指示資訊，經由訊號線LI 03b而輸出至預 測資訊編碼器。 又，運動預測資訊選擇器122係將已選擇之二個運動 資訊，經由訊號線L103c而輸出至預測資訊用記憶體而保 存之，又，經由訊號線L122而輸出至運動補償器123。 運動補償器123，係基於已被輸入的二個運動資訊，將從 經由訊號線L 1 04所取得到的已再生影像中所抽出的二個 已再生像素訊號進行平均而生成預測訊號，將該當預測訊 號經由訊號線L103a而輸出至減算器105與加算器1 10。 此外，藉由運動預測資訊選擇器122來選擇最佳的一 個候補2方向預測資訊的手法，係沒有限定。例如，亦可 如圖4所示，不用編碼對象影像451內的對象區塊461的 像素訊號，改用相鄰於其的倒L字之已再生領域（462)。 領域462係爲已再生的領域，因此在解碼裝置上也可利用 。如圖所示，基於一個運動資訊473就可從參照畫面452 -27- 201230820 取得對應於領域4 62的預測領域（472)。針對所有的候補2 方向預測資訊，藉由針對二個候補運動資訊取得倒L字領 域並將該訊號進行平均，就可找出對領域462使差分絕對 値和呈最小的候補2方向預測資訊。若依據此手法，則即 使在解碼裝置也可選擇與編碼裝置相同的候補2方向預測 資訊，具有不必發送指示資訊此一優點。 如此，藉由根據相鄰於對象區塊的區塊所附隨的運動 資訊，生成與原始訊號的差較小的預測訊號，且選擇運動 向量之値是與參照畫面的畫格編號之値（參照衋面的畫格 編號係可由參照畫面清單與參照畫面編號之組合來得知） 不同的二個運動資訊，藉此就不必發送運動資訊，就能進 行對象區塊的2方向預測。由於運動資訊係含有用來識別 參照畫面清單的資訊，因此可使用參照畫面清單爲相同的 運動資訊來做2方向預測。因此，即使當二個參照畫面清 單中所含之參照晝面完全互異時，仍可使用相同參照畫面 的運動向量來實施2方向預測。例如，利用相同參照畫面 的運動向量，進行二個類似訊號所致之2方向預測，就可 期待因平滑化效果而帶來預測性能之提升。 圖9係一實施形態所述之影像預測編碼方法之程序的 流程圖。首先，在區塊分割器1 02中，將輸入影像分割成 8 X 8的編碼區塊（亦可分割成其他區塊大小或形狀。又，亦 可在畫面內混合有尺寸不同的區塊）。 接著，運動資訊導出器121係將編碼對象之對象區塊 所相鄰之區塊所附隨之運動資訊，從預測資訊用記憶體

S -28- 201230820 11 3中加以取得，將其構成要素之任一値與其他運動資訊 不同者’當作可利用於對象區塊之預測的候補運動資訊而 予以抽出。然後，將任意二個候補運動資訊之組合，當作 候補2方向預測資訊而予以導出（步驟S3 00)。關於該步驟 S3 00之細節，已經在圖3中說明。 接著’運動預測資訊選擇器122係從複數候補2方向 預測資訊中，選擇出要用於對象區塊之預測訊號之生成的 一個。然後，運動預測資訊選擇器1 22係將已選擇之候補 2方向預測資訊、或是用來識別構成已選擇之候補2方向 預測資訊的二個候補運動資訊用的指示資訊，加以決定（ 步驟S320)。接著在步驟S101中，將已選擇的二個運動資 訊儲存至預測資訊用記憶體1 1 3，同時，以預測資訊編碼 器1 1 4將指示資訊進行編碼。 接著’在步驟S102中，運動補償器123係基於已選 擇之運動資訊，從畫格記憶體1 04所取得的二個已再生影 像，取得像素訊號，將這些像素訊號進行平均而生成對象 區塊之預測訊號。此外，在不利用相鄰區塊之運動資訊的 預測手法中，則是藉由圖1 6所說明的區塊比對來偵測出 運動資訊，基於該運動資訊而生成對象區塊之預測訊號。 運動資訊與二個預測訊號之切換所需的資訊，係被預測資 訊編碼器1 1 4所編碼。又，運動資訊係被保存在預測資訊 用記憶體1 1 3中。 接著，表示編碼對象區塊之像素訊號與預測訊號的差 分的殘差訊號，係被轉換器106、量化器107、及量化轉 -29- 201230820 換係數編碼器1 1 1進行轉換編碼（步驟s 103)。指示資訊與 量化轉換係數的編碼資料，係透過輸出端子112而被輸出 (步驟 S 1 0 4)。 爲了將後續的編碼對象區塊進行預測編碼，在這些處 理之後或平行於這些處理而被編碼之殘差訊號，係被逆量 化器108及逆轉換器109所解碼。然後，在加算器110中 ，已被解碼之殘差訊號與預測訊號會被加算，編碼對象區 塊之訊號會被再生。再生訊號係被當成參照畫面（已再生 影像訊號）而記憶在畫格記億體104中（步驟S105)。然後 ’當所有的編碼對象區塊之處理尙未完成時，處理係返回 步驟S101，對下一編碼對象區塊進行處理。若所有的編 碼對象區塊之處理都完成時，則處理係結束（步驟S 106)。 接著說明一實施形態所述之影像預測解碼裝置。圖1 0 係一實施形態所述之影像預測解碼裝置的區塊圖。圖10 所示的影像預測解碼裝置200係具備：輸入端子201 '資 料解析器202、逆量化器203、逆轉換器204、加算器205 、輸出端子206、量化轉換係數解碼器207、預測資訊解 碼器208、畫格記憶體1〇4、運動資訊決定器209、運動資 訊導出器1 2 1、預測資訊用記憶體1 1 3、運動補償器1 26。 逆量化器203及逆轉換器204，係成爲殘差訊號解碼手段 而發揮功能，預測資訊用記憶體係成爲運動資訊記錄手段 而發揮功能。逆量化器303及逆轉換器304所構成之解碼 手段’係亦可採用這些東西以外的構成來爲之。又，亦可 沒有逆轉換器3 04。 -30- 201230820 輸入端子20 1，係將已被上述影像預測編碼方法所壓 縮編碼過的壓縮資料，進行輸入。在該壓縮資料中，係針 對複數區塊，含有：藉由殘差訊號之轉換量化而生成之量 化轉換係數的熵編碼所成的編碼資料、以及預測資訊的編 碼資料，亦即，從用來生成區塊之預測訊號所需的運動資 訊或相鄰區塊所附隨之運動資訊，識別要使用於解碼對象 之區塊之預測訊號之生成的運動資訊所需的指示資訊的編 碼資料、及表示運動資訊與指示資訊之哪一者是被編碼的 資訊的編碼資料。 資料解析器202，係將已被輸入至輸入端子201的壓 縮資料加以解析，關於解碼對象區塊，分離成量化轉換係 數的編碼資料、預測資訊的編碼資料，將這些編碼資料分 別經由訊號線L202a、訊號線L202b而輸出至量化轉換係 數解碼器2 07、預測資訊解碼器208 ^ 預測資訊解碼器208，係將運動資訊或指示資訊的編 碼資料，進行熵解碼。已被解碼之運動資訊係經由訊號線 L208而被送往運動資訊決定器209，直接經由訊號線 L207a與訊號線L207b而被輸出至運動補償器126與預測 資訊用記憶體1 1 3。預測資訊用記憶體1 1 3係將運動資訊 予以保存，運動補償器1 26，係基於運動資訊，從畫格記 憶體104所取得之已再生影像中，取得像素訊號，使用該 當像素訊號而生成解碼對象區塊內的各預測區塊的預測訊 號。所被生成之預測訊號’係經由訊號線L 1 2 6而被輸出 至加算器2 05。 -31 - 201230820 另一方面，當由預測資訊解碼器208將指示資訊的編 碼資料進行熵解碼時，則運動資訊導出器121會發揮功能 。運動資訊導出器1 2 1，係如圖3所詳細說明，將解碼對 象區塊所相鄰之區塊所附隨之運動資訊，從預測資訊用記 憶體1 1 3中加以取得，將其構成要素之任一値爲互異之資 訊’當作可利用於解碼對象區塊之預測的候補運動資訊而 予以抽出。然後，運動資訊導出器121係將任意二個候補 運動資訊之組合，當作候補2方向預測資訊而予以導出， 將該當候補2方向預測資訊經由訊號線L 1 2 1而輸出至運 動資訊決定器209。 運動資訊決定器209，係隨經由訊號線L 1 2 1所輸入 之複數候補2方向預測資訊中，選擇出被經由訊號線 L2 08所輸入之指示資訊所識別的一個候補2方向預測資 訊。構成已被選擇之候補2方向預測資訊的二個運動資訊 ，係經由訊號線L207a與訊號線L207b而被輸出至運動補 償器1 26與預測資訊用記憶體1 1 3。預測資訊用記憶體 1 1 3係將運動資訊予以保存，運動補償器1 26，係基於二 個運動資訊，從畫格記憶體1 04所取得之已再生影像中， 取得像素訊號，使用該當像素訊號而生成解碼對象區塊內 的各預測區塊的預測訊號。所被生成之預測訊號，係經由 L126而被輸出至加算器205。 量化轉換係數解碼器2 07，係將編碼對象區塊中的殘 差訊號之量化轉換係數的編碼資料進行熵解碼，將已復原 之量化轉換係數，經由訊號線L207而輸出至逆量化器 -32- 201230820 203 〇 逆量化器203，係將經由訊號線L207所輸入之解碼 對象區塊的量化轉換係數，進行逆量化，而生成轉換係數 。逆轉換器204，係將轉換係數進行逆離散餘弦轉換，以 將殘差訊號予以復原。 加算器20 5，係將預測訊號生成器103所生成的預測 訊號，加算至逆量化器203及逆轉換器204所復原出來的 殘差訊號，以生成解碼對象區塊的再生像素訊號》再生像 素訊號，係經由訊號線L205而被輸出至輸出端子206及 畫格記憶體104。輸出端子206，係將含有再生像素訊號 的再生影像輸出至外部（例如顯示器）。 畫格記憶體1 04，作爲下個解碼處理所需的參照用再 生影像，而將從加算器205所輸出的再生影像，當作參照 畫面而加以記憶。 接著參照圖1 1，說明一實施形態所述之影像預測解碼 方法。首先，透過輸入端子201，壓縮資料係被輸入（步驟 S 201)。然後，藉由資料解析器202而進行壓縮資料的資 料解析’將從用來生成區塊之預測訊號所需的運動資訊或 相鄰區塊所附隨之運動資訊，識別要使用於解碼對象之區 塊之預測訊號之生成的運動資訊所需的指示資訊、表示運 動資訊與指示資訊之哪一者是被編碼的資訊的編碼資料、 及量化轉換係數的編碼資料，予以抽出。運動資訊的編碼 資料或指示資訊的編碼資料係被預測資訊解碼器208所解 碼。 -33- 201230820 當運動資訊已被復原時，則基於已被復原之運動資訊 ，運動補償器126會生成解碼對象區塊的預測訊號。已被 復原之運動資訊係被保存在預測資訊用記億體1 1 3中。 當指示資訊已被復原時，運動資訊導出器1 2 1係從預 測資訊用記憶體1 1 3取得相鄰區塊之運動資訊。運動資訊 導出器121，係可從預定之相鄰區塊取得運動資訊，也可 根據從編碼側所傳達的資訊，而從相鄰區塊取得運動資訊 〇 接著，運動資訊導出器1 2 1係如圖3詳細所示，將已 取得之複數運動資訊當中其構成要素之任一値爲互異的運 動資訊，當作可利用於解碼對象區塊之預測的候補運動資 訊而予以抽出。然後，運動資訊導出器121係將任意二個 候補運動資訊之組合，當作候補2方向預測資訊而予以導 出（步驟S 3 0 0)。 接著’運動資訊決定器209係使用已被復原之指示資 訊，而從已被導出的複數候補2方向預測資訊中選擇出一 個2方向預測資訊，將二個運動資訊予以復原（步驟S203 ) 〇 其後’基於已被復原的二個運動資訊，運動補償器 126會生成解碼對象區塊的預測訊號，將該當二個運動資 訊保存在預測資訊用記憶體中（S 207)。 接著’已被量化轉換係數解碼器207所解碼的量化轉 換係數，係在逆量化器203中被逆量化，然後於逆轉換器 204中對來自逆量化器203的輸出適用逆轉換，生成再生 -34- 201230820 殘差訊號（S2 08)。 接著，所生成的預測訊號和再生殘差訊號會被加算而 生成再生訊號，該再生訊號係爲了用來再生下一解碼對象 區塊，而被儲存在畫格記憶體104中（步驟S209)。然後， 藉由步驟S2 1 0之判定而判定爲有下個壓縮資料時，則重 複S202〜S209之處理程序（S210)，直到所有資料被處理 到最後爲止。 圖1 2係令電腦執行一實施形態所述之影像預測編碼 方法的程式之構成的圖示。影像預測編碼程式P 1 〇〇，係 具備：區塊分割模組P101、預測訊號生成模組P103、記 憶模組P 1 04、減算模組p 1 05、轉換模組P 1 06、量化模組 P 1 07、逆量化模組P 1 08、逆轉換模組P 1 09、加算模組 P 1 1 0、量化轉換係數編碼模組P 1 1 1、預測資訊記億模組 P 1 1 3、及預測資訊編碼模組P 1 1 4 »預測訊號生成模組 P 1 03係含有：運動資訊導出模組P 1 2 1、運動預測資訊選 擇模組P 1 22、及運動補償模組P 1 23。 區塊分割模組p 1 〇 1、預測訊號生成模組P 1 03、記憶 模組P 1 04、減算模組P 1 05、轉換模組P 1 06、量化模組 P107、逆量化模組P108、逆轉換模組P109、加算模組 P 1 1 0、量化轉換係數編碼模組P U 1、預測資訊記憶模組 p 1 1 3、預測資訊編碼模組p 1 1 4、運動資訊導出模組P 1 2 1 、運動預測資訊選擇模組p 1 22 '運動補償模組P 1 2 3令電 腦所執行的功能’係與區塊分割器1 〇2、預測訊號生成器 103、畫格記憶體104、減算器105、轉換器106、量化器 -35- 201230820 107、逆量化器108、逆轉換器109、加算器11〇、量化轉 換係數編碼器1 1 1、預測資訊用記憶體1 1 3、預測資訊編 碼器114、運動資訊導出器121、運動預測資訊選擇器122 、運動補償器1 23各自的功能相同。 圖1 3係令電腦執行一實施形態所述之影像預測解碼 方法的程式之構成的圖示。影像預測解碼程式P200 ’係 具備：資料解析模組P 2 〇 1、預測資訊解碼模組P 2 0 2、運 動資訊導出模組P 1 2 1、運動資訊決定模組P203、預測資 訊記憶模組P205、運動補償模組P 1 26、量化轉換係數解 碼模組P206、逆量化模組P207、逆轉換模組P208、加算 模組P209、及記憶模組P104。 資料解析模組P201、預測資訊解碼模組P202、運動 資訊導出模組P 1 2 1、運動資訊決定模組P203、預測資訊 記憶模組P2 05、運動補償模組P 1 26、量化轉換係數解碼 模組P206、逆量化模組P207、逆轉換模組P208、加算模 組P209、記憶模組P 1 04令電腦所執行的功能，係與資料 解析器202、預測資訊解碼器208、運動資訊導出器121、 運動資訊決定器209、預測資訊用記憶體1 1 3、運動補償 器126、量化轉換係數解碼器207、逆量化器203、逆轉換 器204、加算器205、畫格記憶體104各自的功能相同。 如此構成的影像預測編碼程式P 1 0 0或影像預測解碼 程式P200，係被記憶在記錄媒體1 〇，在後述的電腦上執 行。 圖1 4係將記錄媒體中所記錄之程式加以執行所需之 -36- 201230820 電腦的硬體構成之圖示，圖1 5係將記錄媒體中所記憶之 程式加以執行所需之電腦的斜視圖。此外，執行記錄媒體 中所記億之程式者係不限定於電腦，亦可爲具備CPU而 可進行軟體所致之處理或控制的DVD播放器、機上盒、 行動電話等。 如圖14所示，電腦3 0，係具備：軟碟驅動裝置、 CD-IIOM驅動裝置、DVD驅動裝置等讀取裝置12、讓作 業系統常駐的作業用記憶體（RAM) 1 4、用來記憶記錄媒體 1 0中所記憶之程式的記憶體1 6、顯示器這類顯示裝置1 8 、屬於輸入裝置的滑鼠20及鍵盤22、進行資料收送用的 通訊裝置24、控制著程式之執行的CPU26。電腦30，係 一旦把記錄媒體10插入至讀取裝置12，則從讀取裝置12 就可向記錄媒體10中所儲存的影像預測編碼程式P100或 影像預測解碼程式P200進行存取，藉由該當影像預測編 碼程式P1 〇〇或影像預測解碼程式P200，就可成爲影像預 測編碼裝置1 00或影像預測解碼裝置200而動作。 如圖1 5所示，影像預測編碼程式及影像預測解碼程 式，係可以被重疊於載波之電腦資料訊號40的方式，透 過網路而提供。此時，電腦3 0，係將通訊裝置24所接收 到的影像預測編碼程式或影像預測解碼程式，儲存在記憶 體16，就可執行該當影像預測編碼程式或影像預測解碼程 式。 雖然說明了各種實施形態，但本發明還可包含下述的 變形樣態。 -37- 201230820 (運動資訊之候補） . 在上記實施形態中，雖然運動資訊是由運動向量、參 照畫面清單的識別號碼（圖5的ListO與Listl)、及參照畫 面編號（圖5的ref_idx)所構成，但亦可取代參照畫面清單 的識別號碼與參照畫面編號，改由畫格編號來構成運動資 訊。這是因爲，即使使用畫格編號，仍可獲得與使用附隨 於相鄰區塊之運動資訊的上述實施形態相同的結果及效果 (候補2方向運動資訊之限制） 在上記實施形態中，雖然是藉由運動資訊導出器而將 候補運動資訊的全部組合當作候補2方向運動資訊，但亦 可將滿足下記條件的運動資訊之組合，當作候補2方向運 動資訊》 1) 只有對象區塊的正上方與正左方區塊 2) 指示相同參照畫面的二個運動資訊 3) 二個運動向量雖然不同，但具有相近的値（絕對値和小於 某個値）。亦即，正上方之區塊的運動向量（MVXa、MV Ya) 、及正左方之區塊的運動向量（MVXb、MVYb)，是滿足 (|MVXa-MVXb|!=0)||(|MVYa-MVYb|!=0)，且滿足 (|MVXa-MVXb|< = N)&&(|MVYa-MVYb|< = N)(N 係爲較小的値） 此外，若沒有滿足條件的候補2方向運動資訊存在時，則 亦可不發送指示資訊而使用其他預測處理。 -38- 201230820 又，亦可將候補2方向運動資訊之數目以畫格單位或 區塊單位來加以指定，將用來特定已指定之數目的資訊， 包含在壓縮資料中。甚至，亦可將此種指示候補2方向運 動資訊之限制之適用的資訊，以畫格單位加以編碼。 (指示資訊的識別號碼） 在決定指示資訊的識別號碼之際，亦可利用對象區塊 (圖8之400)的右上區塊（圖8的404)的運動資訊，來決定 正左方區塊（401)與正上方區塊（402)的優先順位。此處， 關於 正上方之區塊的運動向量（MVXa、MVYa) 正左方之區塊的運動向量（MVXb、MVYb)及 左上方之區塊的運動向量（MVXc、MVYc)，若 |MVXa-MVXc| + |MVYa-MVYc|<|MVXb-MVXc| + |MVYb-MVYc| 成立，則對正左方區塊的運動資訊給予代碼量較小的識別 號碼。若不成立，則對正上方區塊的運動資訊給予代碼量 較小的識別號碼。如此，若使被推測爲與對象區塊之相關 較高的相鄰區塊之運動資訊爲優先，則有可能削減指示資 訊的代碼量。 (候補運動向量的導出與選擇） 在上記實施形態中，將運動向量的水平方向與垂直方 向之成分整體地進行候補運動向量的導出與選擇，但亦可 對運動向量的水平方向與垂直方向之成分，個別地使用候 -39- 201230820 補運動向量的導出及選擇。又，在上記中，雖然將相鄰區 塊的單獨之運動向量當作候補運動向量，但亦可將隨著二 個運動向量之平均値或畫面間之時間方向之距離而縮放的 運動向量（例如，將以圖5(A)的畫面504爲對象的運動向 量，轉換成以畫面503爲對象之運動向量時，係將各向量 成分變成2倍），當作候補運動向量。 (預測形式） 在上記實施形態中，雖然是把二個相鄰區塊的預測形 式都視爲2方向預測，但即使其中一方是前方或後方預測 ’本發明仍可適用。此時，最多可導出三個候補2方向預 測資訊。又，此時，可將以下說明之個數的二個運動資訊 之組合模態，從相鄰區塊中予以導出。亦即， (1) 採用正上方區塊（402)或正左方區塊（401)的二個運動資 訊時：1模態 (2) 正上方區塊（402)的一個運動資訊與正左方區塊（4〇1)的 一個運動資訊，且二個運動資訊所涉及之參照畫面清單爲 互異時：1模態 (3) 正上方區塊（402)的一個運動資訊與正左方區塊（4〇1)的 —個運動資訊，且二個運動資訊所涉及之參照畫面清單爲 相同時：1模態 又，亦可二個相鄰區塊雙方都是前方或後方預測，也 可其中一方是前方預測而另一方是後方預測。 -40- 201230820 (相鄰區塊之數目） 可利用於對象區塊之預測的相鄰區塊 限定。如圖7的（B)所示，亦可將區塊401 視爲相鄰區塊。又，亦可利用前畫格之區 資訊。又，當如圖8所示，相鄰區塊（401 割時，則亦可將這些較小區塊所附隨的運 候補運動資訊中。又，亦可利用不相鄰於 的運動資訊。 數目，係沒有 403這3個， 所附隨的運動 405)是被再分 資訊，包含在 象區塊的區塊 (N方向預測） 在上記實施施形態中，使用附隨於相鄰 訊所進行的對象區塊之預測訊號是假設爲2 預測方向係不限定於此，亦可爲1方向預測 預測。此時，只要在圖3的步驟S3 10中導 預測資訊，並進行其選定即可。此外，亦可 資訊，但若N爲3以上時，亦可隨著參照畫 向量之値，將所保存的運動資訊限制爲2個 區塊之運動資 方向預測，但 也可爲3方向 出候補N方向 保存N個運動 :面編號或運動 (轉換器、逆轉換器） 殘差訊號的轉換處理，係可用固定的 ，也可配合部分領域而將對象領域予以再 處理。 塊尺寸來進行 割而進行轉換 (色彩訊號） -41 - 201230820 在上記實施施形態的說明中，雖然沒有特別描述色彩 格式，但關於色彩訊號或色差訊號，也是可和亮度訊號分 開來個別進行預測訊號之生成處理。又，亦可與亮度訊號 之處理連動而進行處理。 以上，基於數個實施形態而詳細說明了本發明。可是 ，本發明係並非限定於上記實施施形態。本發明在不脫離 其宗旨的範圍內，可作各種變形。 【圖式簡單說明】 [圖1 ] 一實施形態所述之影像預測編碼裝置之構成的 圖示。 [圖2]圖1所示的預測訊號生成器之構成的區塊圖。 [圖3]圖2所示之運動資訊導出器之處理的流程圖。 [圖4]使用對象區塊之相鄰像素而從候補運動預測資 訊（二個運動資訊之組合）中選擇出一個候補預測資訊的手 法之例子的說明用模式圖。 [圖5]畫面的編碼順序之例子的說明用模式圖。 [圖6]參照畫面清單之例子的說明圖。 [圖7]相鄰區塊之例子的說明圖。 [圖8]相鄰區塊之另一例子的說明圖。 [圖9] 一實施形態所述之影像預測編碼方法之程序的 流程圖。 [圖1 0]—實施形態所述之影像預測解碼裝置之構成的 圖示。 -42- 201230820 [圖1 1 ] 一實施形態所述之影像預測解碼方法之程序的 流程圖。 [圖1 2 ]令電腦執行一實施形態所述之影像預測編碼方 法的程式之構成的圖示。 [圖1 3 ]令電腦執行一實施形態所述之影像預測解碼方 法的程式之構成的圖示。 [圖14]將記錄媒體中所記錄之程式加以執行所需之電 腦的硬體構成之圖示。 [圖1 5]將記錄媒體中所記憶之程式加以執行所需之電 腦的斜視圖。 [圖1 6]畫面間預測時的運動推定處理的說明用模式圖 〇 [圖17]先前之畫面內預測方法的說明用模式圖。 【主要元件符號說明】 100 :影像預測編碼裝置 101 :輸入端子 102 :區塊分割器 103 :預測訊號生成器 104 :畫格記憶體 105 :減算器 106 :轉換器 1 0 7 :量化器 108 :逆量化器 -43- 201230820 1 0 9 :逆轉換器 1 1 〇 :加算器 111 :量化轉換係數編碼器 1 1 2 :輸出端子 1 1 3 :預測資訊用記憶體 1 1 4 :預測資訊編碼器 1 2 1 :運動資訊導出器 122 :運動預測資訊選擇器 1 2 3 :運動補償器 2 0 1 :輸入端子 2 0 2 :資料解析器 203 :逆量化器 204 :逆轉換器 20 5 :加算器 2 0 6 :輸出端子 207 :量化轉換係數解碼器 20 8 :預測資訊解碼器 209 :運動資訊決定器

Claims (1)

1. 201230820 七、申請專利範圍： 1.—種影像預測編碼裝置，其特徵爲， 具備： 領域分割手段，係用以將輸入影像分割成複數領域； 和 預測訊號生成手段，係用以決定用來從已再生影像中 取得像素訊號所需之運動資訊，該像素訊號係爲，在已被 前記領域分割手段所分割之前記複數領域當中、與編碼對 象之對象領域的像素訊號的相關較高，基於該運動資訊而 從前記已再生影像生成出前記對象領域之預測訊號；和 運動資訊記錄手段，係用以保存前記運動資訊；和 殘差訊號生成手段，係用以生成前記對象領域之預測 訊號與前記對象領域之像素訊號的差分亦即殘差訊號；和 殘差訊號編碼手段，係用以將前記殘差訊號生成手段 所生成的前記殘差訊號，予以編碼；和 殘差訊號復原手段，係用以將已被前記殘差訊號編碼 手段所生成的編碼資料予以解碼，而生成再生殘差訊號； 和 加算手段，係用以將前記預測訊號與前記再生殘差訊 號進行加算，以生成前記對象領域的再生像素訊號；和 影像記錄手段，係用以將已被前記加算手段所生成之 前記再生像素訊號，當作已再生影像之一部分而加以保存 > 前記預測訊號生成手段係含有： -45- 201230820 運動資訊導出手段，係用以從前記運動資訊記錄手 段所保存的複數運動資訊之中，將其構成要素之任一値爲 互異的二個運動資訊所組成的一個以上的運動資訊之組合 ，予以導出；和 運動預測資訊選擇手段，係用以從前記一個以上的 運動資訊之組合中，選擇出對象領域之預測訊號生成時所 使用的運動資訊之組合，令已被選擇之組合的二個運動資 訊，被保存在前記運動資訊記錄手段中；和 運動補償手段，係用以基於已被選擇之前記組合的 二個運動資訊，而將從前記已再生影像所取得到的二個訊 號加以合成，以生成前記對象領域之預測訊號。 2.如請求項1所記載之影像預測編碼裝置，其中， 前記影像記錄手段係保存有複數已再生影像； 前記運動資訊係含有用來識別前記已再生影像的資訊 和運動向量； 前記影像記錄手段中所保存的已再生影像，係使用已 再生影像進行編碼之際的畫格編號，來加以識別； 前記運動資訊導出手段，係導出運動資訊之組合，其 係含有，前記已再生影像之畫格編號爲一致但運動向量之 値爲互異的二個運動資訊。 3 .如請求項1所記載之影像預測編碼裝置，其中， 前記影像記錄手段係保存有複數已再生影像； 前記影像記錄手段中所被保存的複數已再生影像，是 使用由一個以上之已再生影像所構成的二個參照畫面清單

   -46- 201230820 ，來加以識別； 前記運動資訊係含有，用來識別前記二個參照畫面清 單的資訊和前記運動向量； 前記運動資訊導出手段，係導出運動資訊之組合，其 係含有，用來識別前記參照畫面清單的資訊爲一致、但運 動向量之値爲互異的二個運動資訊。 4.如請求項1〜3之任一項所記載之影像預測編碼裝 置，其中，前記運動資訊導出手段，係從相鄰於前記對象 領域之領域所附隨之複數運動資訊，導出該對象領域之預 測訊號之生成時所使用的前記運動資訊之組合。 5 .如請求項1〜4之任一項所記載之影像預測編碼裝 置，其中，還具備：預測資訊編碼手段，係用以將一資訊 其係用來指示已被前記預測訊號生成手段所選擇之二個運 動資訊所組成的運動資訊之組合，予以編碼。 6.—種影像預測解碼裝置，其特徵爲， 具備： 資料解析手段，係用以從壓縮資料之中，抽出用來生 成影像內之複數領域當中作爲解碼對象之對象領域的預測 訊號所需的運動資訊的編碼資料、與殘差訊號的編碼資料 :和 運動資訊記錄手段，係用以保存前記運動資訊；和 運動補償手段，係用以基於前記運動資訊，而生成前 記對象領域之預測訊號：和 殘差訊號復原手段，係用以從前記殘差訊號之編碼資 -47- 201230820 料，復原出前記對象領域的再生殘差訊號；和 影像記錄手段，係用以藉由將前記預測訊號與前記再 生殘差訊號予以加算，以復原前記對象領域的像素訊號， 並將已復原之該像素訊號，當作已再生影像之一部分而加 以保存；和 運動資訊導出手段，係用以從前記運動資訊記錄手段 所保存的複數運動資訊之中，將其構成要素之任一値爲互 異的二個運動資訊所組成的一個以上的運動資訊之組合， 予以導出；和 運動資訊決定手段，係用以從已被導出之前記一個以 上的運動資訊之組合之中，決定實際用於對象領域之預測 訊號生成的運動資訊之組合，令已決定之組合的二個運動 資訊，被保存在前記運動資訊記錄手段中； 前記運動補償手段，係用以將基於已被決定之前記組 合的二個運動資訊而從前記已再生影像所取得的二個訊號 ，加以合成，以生成前記對象領域之預測訊號。 7.如請求項6所記載之影像預測解碼裝置，其中， 前記資料解析手段，係從前記運動資訊記錄手段所保 存的複數運動資訊之中，將用來識別其構成要素之任一値 爲互異的二個運動資訊所組成的一個運動資訊之組合所需 的指示資訊的編碼資料，予以抽出； 還具備：預測資訊解碼手段，係用以將前記指示資訊 予以解碼； 前記運動資訊決定手段，係基於已被解碼之前記指示

   -48- 201230820 資訊，而從前記運動資訊導出手段所導出的一個以上的運 動資訊之組合之中，將對象領域之預測訊號生成時所使用 的運動資訊之組合，予以抽出。 8. 如請求項6或7所記載之影像預測解碼裝置，其中 前記影像記錄手段係保存有複數已再生影像； 前記運動資訊係含有用來識別前記複數已再生影像的 資訊和運動向量； 前記影像記錄手段中所保存的複數已再生影像，係使 用該複數已再生影像進行解碼之際的畫格編號，來加以識 別； 前記運動資訊導出手段，係導出運動資訊之組合，其 係含有，前記已再生影像之畫格編號爲一致但運動向量之 値爲互異的二個運動資訊。 9. 如請求項6或7所記載之影像預測解碼裝置，其中 > 前記影像記錄手段係保存有複數已再生影像； 前記影像記錄手段中所被保存的複數已再生影像，是 使用由一個以上之已再生影像所構成的二個參照畫面清單 ，來加以識別； 前記運動資訊係含有，用來識別前記二個參照畫面清 單的資訊和前記運動向量而被構成； 前記運動資訊導出手段，係導出運動資訊之組合，其 係含有，用來識別前記參照畫面清單的資訊爲一致、但運 -49- 201230820 動向量之値爲互異的二個運動資訊。 1 〇.如請求項6〜9之任一項所記載之影像預測解碼裝 置，其中，前記運動資訊導出手段，係從相鄰於前記對象 領域之領域所附隨之複數運動資訊，導出對象領域之預測 訊號之生成時所使用的前記運動資訊之組合。 11· —種影像預測編碼方法，其特徵爲， 含有： 將輸入影像分割成複數領域的步驟；和 將前記複數領域當中之編碼對象之對象領域的預測訊 號予以生成的步驟，且該步驟係爲，決定用來從已再生影 像取得與該對象領域之像素訊號之相關較高之像素訊號所 需的運動資訊，基於該運動資訊而從該已再生影像生成出 前記預測訊號；·和 以運動資訊記錄手段而將前記運動資訊予以保存的步 驟；和 生成前記對象領域之預測訊號與前記對象領域之像素 訊號的差分亦即殘差訊號的步驟；和 將前記殘差訊號予以編碼的步驟；和 將前記殘差訊號予以編碼的步驟中所生成之編碼資料 ，予以解碼，而生成再生殘差訊號的步驟；和 將前記預測訊號與前記再生殘差訊號進行加算，以生 成前記對象領域的再生像素訊號的步驟；和 以影像記錄手段，將前記再生像素訊號當作已再生影 像之一部分而加以保存的步驟；

   -50- 201230820 將前記預測訊號予以生成的步驟，係含有·· 從前記運動資訊記錄手段所保存的複數運動資訊之 中，將其構成要素之任一値爲互異的二個運動資訊所組成 的一個以上的運動資訊之組合，予以導出的步驟；和 從前記一個以上的運動資訊之組合中，選擇出對象 領域之預測訊號生成時所使用的運動資訊之組合，令已被 選擇之組合的二個運動資訊，被保存在前記運動資訊記錄 手段中的步驟；和 基於已被選擇之前記組合的二個運動資訊，而將從 前記已再生影像所取得到的二個訊號加以合成，以生成前 記對象領域之預測訊號的步驟。 1 2 · —種影像預測編碼程式，其特徵爲，係使電腦發 揮功能成爲： 領域分割手段，係用以將輸入影像分割成複數領域； 和 預測訊號生成手段，係用以決定用來從已再生影像中 取得像素訊號所需之運動資訊，該像素訊號係爲，在已被 前記領域分割手段所分割之前記複數領域當中、與編碼對 象之對象領域的像素訊號的相關較高，基於該運動資訊而 從前記已再生影像生成出前記對象領域之預測訊號；和 運動資訊記錄手段，係用以保存前記運動資訊；和 殘差訊號生成手段，係用以生成前記對象領域之預測 訊號與前記對象領域之像素訊號的差分亦即殘差訊號；和 殘差訊號編碼手段，係用以將前記殘差訊號生成手段 -51 - 201230820 所生成的前記殘差訊號，予以編碼：和 殘差訊號復原手段，係用以將已被前記殘差訊號編碼 手段所生成的編碼資料予以解碼，而生成再生殘差訊號； 和 加算手段，係用以將前記預測訊號與前記再生殘差訊 號進行加算，以生成前記對象領域的再生像素訊號；和 影像記錄手段，係用以將已被前記加算手段所生成之 前記再生像素訊號，當作已再生影像之一部分而加以保存 9 前記預測訊號生成手段係含有： 運動資訊導出手段，係用以從前記運動資訊記錄手 段所保存的複數運動資訊之中，將其構成要素之任一値爲 互異的二個運動資訊所組成的一個以上的運動資訊之組合 ，予以導出；和 運動預測資訊選擇手段，係用以從前記一個以上的 運動資訊之組合中，選擇出對象領域之預測訊號生成時所 使用的運動資訊之組合，令已被選擇之組合的二個運動資 訊，被保存在前記運動資訊記錄手段中；和 運動補償手段，係用以基於已被選擇之前記組合的 二個運動資訊，而將從前記已再生影像所取得到的二個訊 號加以合成，以生成前記對象領域之預測訊號。 1 3 . —種影像預測解碼方法，其特徵爲， 含有·’ 從壓縮資料之中，抽出用來生成影像內之複數領域當 -52- 201230820 中作爲解碼對象之對象領域的預測訊號所需的運動資訊的 編碼資料、與殘差訊號的編碼資料的步驟；和 以運動資訊記錄手段而將前記運動資訊予以保存的步 驟；和 基於前記運動資訊，而生成前記對象領域之預測訊號 的步驟；和 從前記殘差訊號之編碼資料，復原出前記對象領域的 再生殘差訊號的步驟；和 藉由將前記預測訊號與前記再生殘差訊號予以加算， 以復原前記對象領域的像素訊號，並藉由影像記錄手段而 將已復原之該像素訊號，當作已再生影像之一部分而加以 保存的步驟；和 從前記運動資訊記錄手段所保存的複數運動資訊之中 ，將其構成要素之任一値爲互異的二個運動資訊所組成的 一個以上的運動資訊之組合，予以導出的步驟；和 從前記已導出之運動資訊之組合之中，決定實際用於 對象領域之預測訊號生成的運動資訊之組合，令已被決定 之組合的二個運動資訊，被保存在前記運動資訊記錄手段 中的步驟； 在將前記預測訊號予以生成的步驟中，係基於已被決 定之前記組合的二個運動資訊而從前記已再生影像所取得 的二個訊號，加以合成，以生成前記對象領域之預測訊號 0 1 4 · 一種影像預測解碼程式，其特徵爲，係使電腦發 -53- 201230820 揮功能成爲· 資料解析手段，係用以從壓縮資料之中’抽出用來生 成影像內之複數領域當中作爲解碼對象之對象領域的預測 訊號所需的運動資訊的編碼資料、與殘差訊號的編碼資料 :和 運動資訊記錄手段，係用以保存前記運動資訊，·和 運動補償手段，係用以基於前記運動資訊’而生成前 記對象領域之預測訊號；和 殘差訊號復原手段，係用以從前記殘差訊號之編碼資 料，復原出前記對象領域的再生殘差訊號；和 影像記錄手段，係用以藉由將前記預測訊號與前記再 生殘差訊號予以加算，以復原前記對象領域的像素訊號， 並將已復原之該像素訊號，當作已再生影像之一部分而加 以保存；和 運動資訊導出手段，係用以從前記運動資訊記錄手段 所保存的複數運動資訊之中，將其構成要素之任一値爲互 異的二個運動資訊所組成的一個以上的運動資訊之組合， 予以導出；和 運動資訊決定手段，係用以從前記已導出之運動資訊 之組合之中，決定實際用於對象領域之預測訊號生成的運 動資訊之組合，令已決定之組合的二個運動資訊，被保存 在前記運動資訊記錄手段中； 前記運動補償手段，係用以將基於前記已決定之組合 的二個運動資訊而從前記已再生影像所取得的二個訊號， S -54 - 201230820 加以合成，以生成前記對象領域之預測訊號 -55-