TW201325258A

TW201325258A - 動態影像編碼裝置、動態影像編碼方法、動態影像編碼程式、送訊裝置、送訊方法及送訊程式、以及動態影像解碼裝置、動態影像解碼方法、動態影像解碼程式、收訊裝置、收訊方法及收訊程式

Info

Publication number: TW201325258A
Application number: TW101141590A
Authority: TW
Inventors: Hideki Takehara; Shigeru Fukushima
Original assignee: Jvc Kenwood Corp
Priority date: 2011-11-08
Filing date: 2012-11-08
Publication date: 2013-06-16

Abstract

結合運動資訊候補清單生成部(140)，係在生成候補清單之際，從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將選擇之已編碼之預測區塊的運動資訊，視為選擇候補，基於編碼對象之預測區塊的分割類型與編碼對象之預測區塊在編碼區塊內之位置，將編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為選擇候補。結合運動資訊選擇部(141)，係從候補清單中決定出編碼對象之預測區塊的運動補償預測時所使用的運動資訊。編碼列生成部(104)，係將用來在候補清單中特定出已被決定之運動資訊所需的資訊，予以編碼。

Description

動態影像編碼裝置、動態影像編碼方法、動態影像編碼程式、送訊裝置、送訊方法及送訊程式、以及動態影像解碼裝置、動態影像解碼方法、動態影像解碼程式、收訊裝置、收訊方法及收訊程式

本發明係有關於利用運動補償預測的動態影像編碼及解碼技術，尤其是有關於，將運動補償預測中所利用的運動資訊予以編碼及解碼的動態影像編碼及解碼技術。

在一般的動態影像壓縮編碼中，會利用運動補償預測。運動補償預測，係將對象影像分割成細小的區塊，將已解碼之影像當作參照影像，基於運動向量所示的運動量，將從對象影像之處理對象區塊移動至參照影像之參照區塊的位置的訊號，當作預測訊號而加以生成的技術。運動補償預測係有，利用1條運動向量而單預測地進行者，和利用2條運動向量而雙預測地進行者。

關於運動向量，係將處理對象區塊所相鄰之已編碼區塊的運動向量當作預測運動向量(亦簡稱為「預測向量」，求出處理對象區塊之運動向量與預測向量的差分，藉由差分向量當作編碼向量而予以傳輸，以提升壓縮效率。

在MPEG-4 AVC/H.264(以下簡稱MPEG-4AVC)這類動態影像壓縮編碼中，藉由把進行運動補償預測的區塊尺寸切割成細緻且多樣化，就可進行高精度的運動補償預測。另一方面，縮小區塊尺寸，會造成編碼向量的編碼量變大之問題。

於是，在MPEG-4AVC中，著眼於時間方向的運動的連續性，將與處理對象區塊位於同一位置的參照影像之區塊所擁有的運動向量，當作處理對象區塊之運動向量來利用，而不傳輸編碼向量即實現運動補償預測的運動補償預測，是採用此種時間直接運動補償預測。

又，在專利文獻1中係揭露，著眼於空間方向的運動的連續性，將處理對象區塊所相鄰之已處理區塊所擁有的運動向量，當作處理對象區塊之運動向量來利用，而不傳輸編碼向量即實現運動補償預測的方法。

[先前技術文獻] [專利文獻]

[專利文獻1]日本特開平10-276439號公報

在專利文獻1所記載的方法中，當進行運動補償預測的區塊尺寸是可變時係以最小的區塊尺寸為基準，適用於如MPEG-AVC那樣事前定義多樣區塊尺寸這類動態影像壓縮編碼時，會有無法直接適用之課題。

本發明係有鑑於此種狀況而研發，其目的在於提供一種，不傳輸編碼向量即可高效率地實現運動補償預測的動態影像編碼及解碼技術。

為了解決上記課題，本發明的某個樣態的動態影像編碼裝置，係屬於基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼裝置，其特徵為，具備：候補導出部(140)，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化部(140)，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成部(140)，係生成含有前記選擇候補的候補清單；和追加部(140)，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定部(141)，係從前記候補清單中，決定出前記編碼對象之預測區塊的運動補償預測時所使用的運動資訊；和編碼部(104)，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。

本發明的另一樣態，係亦為動態影像編碼裝置。該裝置係屬於基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測的動態影像編碼裝置，其特徵為，具備：隱性結合運動資訊候補判定部(166)，係基於編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，從前記編碼對象之預測區塊所相鄰的已編碼之複數相鄰區塊之運動資訊所組成的第1運動資訊群之中，選擇出可以用比前記編碼對象之預測區塊之尺寸還大之尺寸的預測區塊來進行運動補償預測的隱性結合運動資訊候補；和結合運動資訊候補清單生成部(140)，係使用從前記第1運動資訊群排除了前記隱性結合運動資訊候補而成的第2運動資訊群，來生成用來利用於前記編碼對象之預測區塊所需的結合運動資訊候補的結合運動資訊候補清單；和結合運動資訊候補追加部(163)，係將至少1個前記隱性結合運動資訊候補，追加至前記結合運動資訊候補清單；和結合運動資訊選擇部(141)，係從前記結合運動資訊候補清單中選擇出1個結合運動資訊候補，視為前記編碼對象之預測區塊的運動資訊；和編碼部(104)，係將用來在前記結合運動資訊候補清單中特定出前記已被選擇之結合運動資訊候補所需的索引當作候補特定索引而予以編碼。

本發明的另一其他樣態，係為動態影像編碼方法。此方法係屬於基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼方法，其特徵為，具備：候補導出步驟，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定步驟，係從前記候補清單中，決定出使用於前記編碼對象之預測區塊的運動補償預測中的運動資訊；和編碼步驟，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。

本發明的另一其他樣態，係為送訊裝置。該裝置係具備：封包處理部，係將編碼串流予以封包化而獲得編碼資料，該編碼串流係藉由，基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼方法所編碼而成者；和送訊部，係將已被封包化之前記編碼資料，予以發送。前記動態影像編碼方法係具備：候補導出步驟，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定步驟，係從前記候補清單中，決定出使用於前記編碼對象之預測區塊的運動補償預測中的運動資訊；和編碼步驟，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。

本發明的另一其他樣態，係為送訊方法。該方法係具備：封包處理步驟，係將編碼串流予以封包化而獲得編碼資料，該編碼串流係藉由，基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼方法所編碼而成者；和送訊步驟，係將已被封包化之前記編碼資料，予以發送。前記動態影像編碼方法係具備：候補導出步驟，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定步驟，係從前記候補清單中，決定出使用於前記編碼對象之預測區塊的運動補償預測中的運動資訊；和編碼步驟，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。

本發明的某個樣態的動態影像解碼裝置，係屬於基於分割類型而將解碼區塊分割成1或複數個預測區塊而進行運動補償預測，將動態影像之編碼串流予以解碼的動態影像解碼裝置，其特徵為，具備：候補導出部(230)，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化部(230)，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成部(230)，係生成含有前記選擇候補的候補清單；和追加部(230)，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析部(201)，係將表示在前記候補清單內之位置的資訊，予以解碼；和選擇部(231)，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出前記解碼對象之預測區塊的運動補償預測時所使用的運動資訊。

本發明的另一樣態，係亦為動態影像解碼裝置。該裝置係屬於基於分割類型而將解碼區塊分割成1或複數個預測區塊而進行運動補償預測的動態影像解碼裝置，其特徵為，具備：解碼部(201)，係從用來在結合運動資訊候補清單中特定出結合運動資訊候補所需的索引被當成候補特定索引所被編碼而成的編碼列，解碼出前記候補特定索引；和隱性結合運動資訊候補判定部(166)，係基於解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，從前記解碼對象之預測區塊所相鄰的已解碼之複數相鄰區塊之運動資訊所組成的第1運動資訊群之中，選擇出可以用比前記解碼對象之預測區塊之尺寸還大之尺寸的預測區塊來進行運動補償預測的隱性結合運動資訊候補；和結合運動資訊候補清單生成部(230)，係使用從前記第1運動資訊群排除了前記隱性結合運動資訊候補而成的第2運動資訊群，來生成用來利用於前記解碼對象之預測區塊所需的結合運動資訊候補的結合運動資訊候補清單；和結合運動資訊候補追加部(163)，係將至少1個前記隱性結合運動資訊候補，追加至前記結合運動資訊候補清單；和結合運動資訊選擇部(231)，係根據前記候補特定索引而從前記結合運動資訊候補清單中選擇出1個結合運動資訊候補，視為前記解碼對象之預測區塊的運動資訊。

本發明的另一其他樣態，係為動態影像解碼方法。該方法係屬於基於分割類型而將解碼區塊分割成1或複數個預測區塊而進行運動補償預測，將動態影像之編碼串流予以解碼的動態影像解碼方法，其特徵為，具備：候補導出步驟，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析步驟，係將表示在前記候補清單內之位置的資訊，予以解碼；和選擇步驟，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出，使用於前記解碼對象之預測區塊的運動補償預測中的運動資訊。

本發明的另一其他樣態，係為收訊裝置。該裝置係屬於在所接收到的動態影像的編碼串流中，將解碼區塊分割成1或複數個預測區塊而進行運動補償預測以進行解碼處理的收訊裝置，其特徵為，具備：收訊部，係將基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測所編碼而成的動態影像的編碼串流所被封包化而成的編碼資料，予以接收；和復原部，係將已被接收到的前記編碼資料進行封包處理，以復原出原本的編碼串流；和候補導出部(230)，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化部(230)，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成部(230)，係生成含有前記選擇候補的候補清單；和追加部(230)，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析部(201)，係從已被復原之編碼串流，解碼出表示在前記候補清單內之位置的資訊；和選擇部(231)，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出前記解碼對象之預測區塊的運動補償預測時所使用的運動資訊。

本發明的另一其他樣態，係為收訊方法。該方法係屬於在所接收到的動態影像的編碼串流中，將解碼區塊分割成1或複數個預測區塊而進行運動補償預測以進行解碼處理的收訊方法，其特徵為，具備：收訊步驟，係將基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測所編碼而成的動態影像的編碼串流所被封包化而成的編碼資料，予以接收；和復原步驟，係將已被接收到的前記編碼資料進行封包處理，以復原出原本的編碼串流；和候補導出步驟，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析步驟，係從已被復原之編碼串流，解碼出表示在前記候補清單內之位置的資訊；和選擇步驟，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出，使用於前記解碼對象之預測區塊的運動補償預測中的運動資訊。

此外，即使將以上構成要素之任意組合、本發明之表現，在方法、裝置、系統、記錄媒體、電腦程式等之間做轉換而成者，對本發明的樣態而言皆為有效。

若依據本發明，則可不傳輸編碼向量即可高效率地實現運動補償預測。

首先說明作為本發明的實施形態之前提的技術。

目前，以MPEG(Moving Picture Experts Group)等之編碼方式為依據的裝置及系統，已經普及。在此種編碼方式中，是將時間軸上連續的複數影像，以數位訊號的資訊的方式來對待。此時，為了高效率的資訊播送、傳輸或積存等目的，將影像分割成複數區塊而利用時間方向之冗長性的運動補償預測、及利用空間方向之冗長性的離散餘弦轉換等，會使用這類正交轉換而進行壓縮編碼。

在2003年，由國際標準化機構(ISO)與國際電氣標準會議(IEC)之聯合技術委員會(ISO/IEC)，和國際電氣通訊聯合電氣通訊標準化部門(ITU-T)的共同作業，一種稱作MPEG-4 AVC/H.264的編碼方式(在ISO/IEC中稱作14496-10、在ITU-T中編號為H.264之規格號碼。以下稱之為MPEG-4AVC)係被制定成為國際標準。在MPEG-4AVC中，基本上是將處理對象區塊的複數相鄰區塊之運動向量的中央值，當作預測向量。當預測區塊尺寸並非正方形時且處理對象區塊的特定之相鄰區塊的參照索引與處理對象區塊的參照索引一致時，則將該特定之相鄰區塊的運動向量，當作預測向量。

目前，由國際標準化機構(ISO)與國際電氣標準會議(IEC)之聯合技術委員會(ISO/IEC)，和國際電氣通訊聯合電氣通訊標準化部門(ITU-T)的共同作業，一種稱作HEVC的編碼方式的標準化，正在研討中。

在HEVC的標準化中係研討了，將複數相鄰區塊與已解碼之另一影像的區塊當作候補區塊群，從這些候補區塊群中選擇出1個候補區塊，將已被選擇之候補區塊的資訊予以編碼及解碼的合併模式。

[實施形態1] (編碼區塊)

在本實施形態中，係已被輸入之影像訊號係被分割成最大編碼區塊單位，將已被分割之最大編碼區塊，以逐線掃描順序進行處理。編碼區塊係呈現階層構造，考慮編碼效率等而依序均等地做4分割，藉此而可變成更小的編碼區塊。此外，已被4分割之編碼區塊，係以曲折掃描(Zig Zag Scan)順序而被編碼。無法變得更小的編碼區塊，稱作最小編碼區塊。編碼區塊係為編碼的單位，最大編碼區塊若分割數為0時也是視為編碼區塊。在本實施形態中，係假設最大編碼區塊為64像素×64像素，最小編碼區塊為8像素×8像素。

圖1(a)、(b)係編碼區塊的說明圖。在圖1(a)的例子中，編碼區塊係被分割成10個。CU0、CU1及CU9係為32像素×32像素的編碼區塊，CU2、CU3及CU8係為16像素×16像素的編碼區塊，還有CU4、CU5、CU6及CU7係為8像素×8像素的編碼區塊。在圖1(b)的例子中，編碼區塊係被分割成1個。

(預測區塊)

在本實施形態中，編碼區塊係還會再被分割成預測區塊。編碼區塊係藉由預測區塊尺寸類型(亦稱作「分割類型」)而被分割成1個以上的預測區塊。圖2(a)~(d)係預測區塊尺寸類型的說明圖。圖2(a)係表示未分割編碼區塊的2N×2N，圖2(b)係表示水平2分割的2N×N，圖2(c)係表示垂直2分割的N×2N，及圖2(d)係表示水平與垂直4分割的N×N。2N×2N係由1個預測區塊0所成，2N×N和N×2N係由2個的預測區塊0 和預測區塊1所成，N×N係由4個的預測區塊0、預測區塊1、預測區塊2、預測區塊3所成。

圖3係編碼區塊的分割數和預測區塊尺寸類型所致之預測區塊尺寸的說明圖。本實施形態中的預測區塊尺寸，係存在有從CU分割數為0且預測區塊尺寸類型為2N×2N的64像素×64像素，到CU分割數為3且預測區塊尺寸類型N×N的4像素×4像素為止的13種預測區塊尺寸。

在本實施形態中，雖然假設最大編碼區塊為64像素×64像素，最小編碼區塊為8像素×8像素，但不限定於此一組合。又，雖然將預測區塊的分割模態示於圖2(a)~(d)，但只要有被分割成1個以上的組合即可，並非限定於此。

(預測編碼模式)

在本實施形態中，係可將運動補償預測或編碼向量數，對預測區塊之每一區塊來做切換。此處，關於把運動補償預測與編碼向量數建立關連而成的預測編碼模式之一例，使用圖4來簡單說明。圖4係預測編碼模式的說明圖。

圖4所示的預測編碼模式中，係有：運動補償預測之預測方向為單預測(L0預測)且編碼向量數為1的PredL0、運動補償預測之預測方向為單預測(L1預測)且編碼向量數為1的PredL1、運動補償預測之預測方向為雙預測(BI預測)且編碼向量數為2的PredBI、及運動補償預測之預測方向為單預測(L0預測/L1預測)或雙預測(BI預測)且編碼向量數為0的合併模式(MERGE)。又，還有不實施運動補償預測的預測編碼模式亦即畫面內模式(Intra)。此處，PredL0、PredL1、及PredBI係為預測向量模式。

在合併模式中，預測方向係可能是L0預測/L1預測/BI預測之任一者，但這是因為，合併模式的預測方向是直接繼承從候補區塊群所選擇出來之候補區塊的預測方向，或是從已解碼之資訊所導出的緣故。又，在合併模式下，編碼向量係不被編碼。這是因為，合併模式的編碼向量是直接繼承從候補區塊群所選擇出來之候補區塊的運動向量，或是從已解碼之資訊所導出的緣故。

(參照索引)

在本實施形態中，為了提升運動補償預測之精度，在運動補償預測時，可從複數參照影像之中，選擇出最佳的參照影像。因此，將運動補償預測時所利用之參照影像，當作參照影像索引，而連同編碼向量一起編碼。運動補償預測時所被利用的參照影像索引，係為0以上之數值。若運動補償預測是單預測，則參照索引係被利用1個，若運動補償預測是雙預測，則會利用2個參照索引(圖4)。

在合併模式下，參照索引係不被編碼。這是因為，合併模式的參照索引是直接繼承從候補區塊群所選擇出來之候補區塊的參照索引，或是從已解碼之資訊所導出的緣故。

(參照索引清單)

在本實施形態中，將運動補償預測時所能利用之複數參照影像，事先登錄在參照索引清單內，藉由參照索引來表示已被登錄在參照索引清單內的參照影像，就可確定參照影像而在運動補償預測時進行利用。在參照索引清單中，係有參照索引清單L0和參照索引清單L1。當運動補償預測是單預測時，則會利用使用了參照索引清單L0之中之參照影像的L0預測、或使用了參照索引清單L1之中之參照影像的L1預測之任一者。雙預測時係利用，利用了將參照索引清單L0和參照索引清單L1這2者的BI預測。各參照索引清單中所能登錄的參照影像的最大數，係為16。

(合併索引)

在本實施形態中，若為合併模式，則將處理對象影像內的複數相鄰區塊及已編碼之另一影像內的與處理對象區塊位於同一位置之周邊的區塊，當作候補區塊群，從候補區塊群之中，選擇出具有最佳預測編碼模式、運動向量、及參照索引的候補區塊，將用來表示已選擇之候補區塊的合併索引，予以編碼及解碼。只有在合併模式時，才會利用1個合併索引(圖4)。合併索引的最大數(亦稱作合併候補最大數)係為5，合併索引係為0至4的整數。此處，雖然將合併索引的最大數設成5，但只要2以上即可，並非限定於此。

以後，將合併索引之對象的候補區塊的運動資訊，稱作結合運動資訊候補，將結合運動資訊候補的集合體稱作結合運動資訊候補清單。以下，所謂運動資訊係包含有預測方向、運動向量、及參照索引。

此外，關於合併索引與編碼列之關係，使用圖來說明。圖5係合併索引與編碼列之關係的說明圖。合併索引為0時的編碼列係為'0'，合併索引為1時的編碼列係為'10'，合併索引為2時的編碼列係為'110'，合併索引為3時的編碼列係為'1110'，合併索引為4時的編碼列係為'11110'，合併索引越大則編碼列設定得越長。因此，藉由對選擇率高的候補區塊分配較小的合併索引，就可提升編碼效率。

(預測向量索引)

在本實施形態中，為了提升預測向量之精度，將複數相鄰區塊及已編碼之另一影像的與處理對象區塊位於同一位置之周邊的區塊，當作候補區塊群，從候補區塊群選擇出具有最佳運動向量來作為預測向量的候補區塊，將用來表示已選擇之候補區塊的預測向量索引，予以編碼及解碼。若運動補償預測是單預測，則預測向量索引係被利用1個，若運動補償預測是雙預測，則會利用2個預測向量索引(圖4)。預測向量索引的最大數(亦稱作預測向量候補最大數)係為2，預測向量索引係為0或1之整數。此處，雖然將預測向量候補最大數設成2，但只要2以上即可，並非限定於此。

以後，將預測向量索引之對象的候補區塊的運動向量稱作預測向量候補，將預測向量候補的集合體稱作預測向量候補清單。

(語法)

關於本實施形態所述之預測區塊之語法之一例，使用圖6來說明。預測區塊是否為畫面內還是畫面間，是由上位的編碼區塊所指定，圖6係圖示了預測區塊為畫面間時的預測區塊之語法。又，關於預測區塊尺寸類型也是由編碼區塊所指定。

在預測區塊(圖6的PU)中係配置有：合併旗標(merge_flag)、合併索引(merge_idx)、畫面間預測類型(inter_pred_type)、L0預測的參照索引(ref_idx_l0)、L0預測的差分向量(mvd_l0[0]、mvd_l0[1])、L0預測的預測向量索引(mvp_idx_l0)、L1預測的參照索引(ref_idx_l1)、L1預測的差分向量(mvd_l1[0]、mvd_l1[1])、及L1預測的預測向量索引(mvp_idx_l1)。差分向量的[0]係表示水平成分，[1]係表示垂直成分。

此處，inter_pred_type係表示運動補償預測之預測方向(亦稱作畫面間預測類型)，係有Pred_L0(L0預測的單預測)、Pred_L1(L1預測的單預測)及Pred_BI(BI預測的雙預測)這3種類。當inter_pred_type是Pred_L0或Pred_BI時，係被設置有關於L0預測之資訊，當inter_pred_type是Pred_L1或Pred_BI時，係被設置有關於L1預測之資訊。

此外，雖然將本實施形態所述之預測區塊之語法設定成如圖6所示，但並非限定於此。

以下，連同圖式來說明本發明的理想實施形態所述之動態影像編碼裝置、動態影像編碼方法及動態影像編碼程式、以及動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式之細節。此外，圖式的說明中，對同一要素係賦予同一符號，並省略重複說明。

(動態影像編碼裝置100之構成)

圖7係圖示本實施形態1所述的動態影像編碼裝置100之構成。動態影像編碼裝置100係為將動態影像訊號，以實施運動補償預測之預測區塊單位來進行編碼的裝置。編碼區塊的分割、預測區塊尺寸類型的決定、預測區塊尺寸與預測區塊在編碼區塊內之位置(預測區塊的位置資訊)的決定、預測編碼模式是否為畫面內的決定，係由未圖示的上位編碼控制部所決定，在實施形態1中係針對預測編碼模式不是畫面內的情形加以說明。又，實施形態1中是針對對應於雙預測的B圖像來說明，但針對不是對應於雙預測的P圖像，係只要省略L1預測即可。

動態影像編碼裝置100，係由具備CPU(Central Processing Unit)、畫格記憶體、硬碟等的資訊處理裝置等硬體所實現。動態影像編碼裝置100，係藉由上記的構成要素的作動，而實現以下說明的機能性構成要素。此外，關於處理對象之預測區塊的位置資訊、預測區塊尺寸及運動補償預測之預測方向，係在動態影像編碼裝置100內被共用，而未圖示。

實施形態1的動態影像編碼裝置100係含有：預測區塊影像取得部101、減算部102、預測誤差編碼部103、編碼列生成部104、預測誤差解碼部105、運動補償部106、加算部107、運動向量偵測部108、運動資訊生成部109、畫格記憶體110、及運動資訊記憶體111。

(動態影像編碼裝置100的機能與動作)

以下，說明各部的機能與動作。預測區塊影像取得部101，係基於預測區塊的位置資訊與預測區塊尺寸，從端子10所供給的影像訊號，取得處理對象之預測區塊的影像訊號，將預測區塊的影像訊號，供給至減算部102、運動向量偵測部108及運動資訊生成部109。

運動向量偵測部108，係從預測區塊影像取得部101所供給之影像訊號及內部所記憶之相當於複數參照影像之影像訊號，偵測出L0預測與L1預測各自的運動向量與表示參照影像之參照影像索引。將該當L0預測和L1預測的運動向量、及該當L0預測和L1預測的參照索引，供給至運動資訊生成部109。此處，雖然運動向量偵測部108係利用內部所記憶的相當於複數參照影像的影像訊號來作為參照影像，但亦可利用畫格記憶體110中所記憶的參照影像。

一般的運動向量之偵測方法，係針對從與對象影像之影像訊號同一位置起移動了所定之移動量的參照影像的預測訊號而算出誤差評價值，將誤差評價值為最小的移動量，當作運動向量。若參照影像為複數時，則針對各參照影像偵測出運動向量，將誤差評價值呈最小的參照影像予以選擇。作為誤差評價值，係可利用表示絕對差分和的SAD(Sum of Absolute Difference)或表示平方誤差平均的MSE(Mean Square Error)等。又，亦可將運動向量編碼量加算至誤差評價值來評估。

運動資訊生成部109，係根據運動向量偵測部108所供給之L0預測與L1預測之運動向量及L0預測與L1預測之參照索引、運動資訊記憶體111所供給之候補區塊群、參照索引所示的畫格記憶體110內的參照影像、及預測區塊影像取得部101所供給的影像訊號，來決定預測編碼模式。

基於已被決定之預測編碼模式，而將合併旗標、合併索引、運動補償預測之預測方向、L0預測與L1預測的參照索引、L0預測與L1預測的差分向量及L0預測與L1預測的預測向量索引，因應需要而供給至編碼列生成部104。將運動補償預測之預測方向、L0預測與L1預測的參照索引、及L0預測和L1預測的運動向量，供給至運動補償部106及運動資訊記憶體111。至於運動資訊生成部109之細節，將於後述。

運動補償部106，係若運動資訊生成部109所供給之運動補償預測之預測方向是LN預測，則將運動資訊生成部109所供給之LN預測之參照索引所示的畫格記憶體110內的參照影像，基於運動資訊生成部109所供給之LN預測之運動向量，進行運動補償，生成LN預測之預測訊號。N係為0或1。此處，若運動補償預測之預測方向是雙預測，則L0預測與L1預測之預測訊號的平均值就成為預測訊號。此外，亦可將L0預測與L1預測之預測訊號予以加權。運動補償部106，係將該當預測訊號，供給至減算部102。

減算部102，係將預測區塊影像取得部101所供給之影像訊號與運動補償部106所供給之預測訊號，進行減算，以算出預測誤差訊號，將該當預測誤差訊號供給至預測誤差編碼部103。

預測誤差編碼部103，係對於減算部102所供給的預測誤差訊號，進行正交轉換或量化等之處理以生成預測誤差編碼資料，將該當預測誤差編碼資料供給至編碼列生成部104及預測誤差解碼部105。

編碼列生成部104，係將預測誤差編碼部103所供給之預測誤差編碼資料、以及運動資訊生成部109所供給之合併旗標、合併索引、運動補償預測之預測方向(畫面間預測類型)、L0預測與L1預測的參照索引、L0預測與L1預測的差分向量及L0預測與L1預測的預測向量索引，按照圖6所示之語法的順序來進行熵編碼以生成編碼列，將該當編碼列供給至端子11。熵編碼係藉由包含算術編碼或霍夫曼編碼等之可變長度編碼的方法來實施。

預測誤差解碼部105，係對於預測誤差編碼部103所供給之預測誤差編碼資料，進行逆量化或逆正交轉換等之處理以生成預測誤差訊號，將該當預測誤差訊號供給至加算部107。加算部107，係將預測誤差解碼部105所供給之預測誤差訊號、和運動補償部106所供給之預測訊號，進行加算，以生成解碼影像訊號，將該當解碼影像訊號供給至畫格記憶體110。

畫格記憶體110係將加算部107所供給之解碼影像訊號，加以記憶。又，針對影像全體之解碼已經完成的解碼影像，係視為參照影像，而記憶1以上之所定影像數。畫格記憶體110，係將所記憶之參照影像訊號，供給至運動補償部106及運動資訊生成部109。記憶參照影像的記憶領域，係以FIFO(First In First Out)方式而被控制。

運動資訊記憶體111，係將運動資訊生成部109所供給之運動資訊，以最小預測區塊尺寸單位，記憶所定之影像數。將處理對象之預測區塊的相鄰區塊之運動資訊，視為空間候補區塊群。

又，運動資訊記憶體111，係將與處理對象之預測區塊位於同一位置的ColPic上的區塊和其周邊區塊的運動資訊，視為時間候補區塊群。運動資訊記憶體111，係將空間候補區塊群與時間候補區塊群當作候補區塊群而供給至運動資訊生成部109。運動資訊記憶體111，係與畫格記憶體110同步，以FIFO(First In First Out)方式而被控制。

此處，所謂ColPic，係指有別於處理對象之預測區塊的另一已解碼之影像，且在畫格記憶體110中當成參照影像而被記憶。在實施形態1中，ColPic係為處理對象影像的前一個已解碼之參照影像。此外，雖然在實施形態1中，ColPic係設為處理對象影像的前一個已解碼之參照影像，但只要是已解碼之影像即可，例如，亦可為顯示順序上前一個參照影像或顯示順序上後一個參照影像，亦可在編碼串流中做指定。

此處，說明運動資訊記憶體111中的運動資訊之管理方法。運動資訊係以最小預測區塊單位而被記憶在各記憶區域中。各記憶區域中係至少記憶著：預測方向、L0預測的運動向量、L0預測的參照索引、L1預測的運動向量、及L1預測的參照索引。

此外，若預測編碼模式是畫面內模式，則作為L0預測與L1預測之運動向量是記憶著(0,0)，作為L0預測與L預測之參照索引是記憶著「-1」。以後，運動向量(H、V)係為，H是表示水平成分、V是表示垂直成分。此外，參照索引的「-1」係為只要是能夠判定其為不實施運動補償預測之模式，則可為任意之值。此後的說明中，單純表現為區塊的時候，若沒有特別聲明，則是代表最小的預測區塊單位。又，即使在領域外之區塊的情況下，也是和畫面內模式同樣地，作為L0預測與L1預測之運動向量是記憶著(0,0)，作為L0預測與L1預測之參照索引是記憶著「-1」。若LX方向(X為0或1)為有效則LX方向的參照索引係為0以上，若LX方向為無效(非有效)則LX方向的參照索引係為「-1」。此外，所謂領域外，係表示一般而言處理對象之預測區塊所隸屬之圖像之外的領域或切片之外的領域。

(運動資訊生成部109之構成)

接著說明運動資訊生成部109的詳細構成。圖8係圖示運動資訊生成部109之構成。運動資訊生成部109係含有：預測向量模式決定部120、合併模式決定部121及預測編碼模式決定部122。端子12係連接至運動資訊記憶體111，端子13係連接至運動向量偵測部108，端子14係連接至畫格記憶體110，端子15係連接至預測區塊影像取得部101，端子16係連接至編碼列生成部104，端子50係連接至運動補償部106，及端子51係連接至運動資訊記憶體111。

(運動資訊生成部109的機能與動作)

以下，說明各部的機能與動作。預測向量模式決定部120，係根據端子12所供給之候補區塊群、端子13所供給之L0預測與L1預測之運動向量及L0預測與L1預測之參照索引、端子14所供給之參照索引所示之參照影像、及端子15所供給之影像訊號，來決定畫面間預測類型，依照畫面間預測類型，選擇L0預測與L1預測之預測向量索引而算出L0預測與L1預測之差分向量，並且算出預測誤差，算出位元率失真評價值。然後，將基於該當畫面間預測類型的運動資訊、差分向量、預測向量索引、及位元率失真評價值，供給至預測編碼模式決定部122。

合併模式決定部121，係根據端子12所供給之候補區塊群、端子14所供給之參照影像、及端子15所供給之影像訊號，來生成結合運動資訊候補清單，從該當結合運動資訊候補清單之中選擇出1個結合運動資訊候補並決定合併索引，算出位元率失真評價值。然後，將該當結合運動資訊候補之運動資訊、該當合併索引及該當位元率失真評價值，供給至預測編碼模式決定部122。合併模式決定部121的細節，將於後述。

預測編碼模式決定部122，係將預測向量模式決定部120所供給之位元率失真評價值、和合併模式決定部121所供給之位元率失真評價值，進行比較，然後決定合併旗標。

若預測向量模式位元率失真評價值未滿合併模式位元率失真評價值，則將合併旗標設定成「0」。預測編碼模式決定部122，係將該當合併旗標、預測向量模式決定部120所供給之畫面間預測類型、參照索引、差分向量和預測向量索引，供給至端子16，將預測向量模式決定部120所供給之運動資訊，供給至端子50及端子51。

若合併模式位元率失真評價值是預測向量模式位元率失真評價值以下，則將合併旗標設定成「1」。預測編碼模式決定部122，係將該當合併旗標及合併模式決定部121所供給之合併索引，供給至端子16，將合併模式決定部121所供給之運動資訊，供給至端子50及端子51。此外，位元率失真評價值的具體算出方法係不是本發明的重點因此省略詳細說明，但從預測誤差與編碼量算出每一編碼量的預測誤差量，位元率失真評價值係為越小則帶有越高編碼效率之特性的評價值。因此，藉由選擇位元率失真評價值較小的預測編碼模式，就可提升編碼效率。

(合併模式決定部121之構成)

接著說明合併模式決定部121的詳細構成。圖9係用來說明合併模式決定部121之構成的圖。合併模式決定部121係含有：結合運動資訊候補清單生成部140及結合運動資訊選擇部141。結合運動資訊候補清單生成部140，係將在實施形態1所述之動態影像編碼裝置100所生成之編碼列加以解碼的動態影像解碼裝置200中也被同樣設置，在動態影像編碼裝置100與動態影像解碼裝置200中生成同一結合運動資訊清單。

(合併模式決定部121的機能與動作)

以下，說明各部的機能與動作。結合運動資訊候補清單生成部140，係根據端子12所供給之候補區塊群而生成含有合併候補最大數之結合運動資訊候補的結合運動資訊候補清單，將該當結合運動資訊候補清單，供給至結合運動資訊選擇部141。關於結合運動資訊候補清單生成部140之詳細構成，將於後述。

結合運動資訊選擇部141，係從結合運動資訊候補清單生成部140所供給之結合運動資訊候補清單之中，選擇出最佳的結合運動資訊候補，決定表示已被選擇之結合運動資訊候補的資訊亦即合併索引，將該當合併索引供給至端子17。

此處，說明最佳之結合運動資訊候補的選擇方法。根據基於結合運動資訊候補之預測方向、運動向量及參照索引而進行運動補償預測所得之由端子14所供給之參照影像、和端子15所供給之影像訊號，來算出預測誤差量。合併索引的編碼量、和該當預測誤差量而算出位元率失真評價值，位元率失真評價值呈最小之結合運動資訊候補，會被當成最佳結合運動資訊候補而選擇。

(被供給至結合運動資訊候補清單生成部140的候補區塊群)

接著，關於被供給至結合運動資訊候補清單生成部140的候補區塊群，使用圖10和圖11來說明。在候補區塊群中係含有空間候補區塊群與時間候補區塊群。

圖10係圖示了，處理對象之預測區塊尺寸為16像素×16像素時的處理對象之預測區塊的相鄰區塊。在實施形態1中，作為空間候補區塊群係假設為圖10所示的區塊A1、區塊C、區塊D、區塊B1及區塊E這5個區塊。雖然此處是將空間候補區塊群假設為區塊A1、區塊C、區塊D、區塊B1及區塊E這5個區塊，但空間候補區塊群係只要是相鄰於處理對象之預測區塊的至少1個以上的已處理之區塊即可，並非限定於此。例如，區塊A1、區塊A2、區塊A3、區塊A4、區塊B1、區塊B2、區塊B3、區塊B4、區塊C、區塊D及區塊E全部都可以當成空間候補區塊。

接著，關於時間候補區塊群，使用圖11來說明。圖11係圖示了，處理對象之預測區塊尺寸為16像素×16像素時的與處理對象之預測區塊位於同一位置的ColPic上的預測區塊內的區塊和其周邊區塊。在實施形態1中，作為時間候補區塊群係假設為圖11所示的區塊H與區塊I6這2個區塊。雖然此處是將時間候補區塊群假設為ColPic上的區塊H及區塊I6這2個區塊，但時間候補區塊群係只要是有別於處理對象之預測區塊的另一已解碼影像上的至少1個以上之區塊即可，並非限定於此。例如，亦可只有區塊H。以後，將區塊A4表示成區塊A，將區塊B4表示成區塊B，將區塊I6表示成區塊I，將區塊H和區塊I6之區塊，表示成時間區塊。

(結合運動資訊候補清單生成部140之構成)

接著說明，結合運動資訊候補清單生成部140的詳細構成。圖12係結合運動資訊候補清單生成部140之構成的說明圖。端子19係連接至結合運動資訊選擇部141。結合運動資訊候補清單生成部140係含有：空間結合運動資訊候補生成部160、時間結合運動資訊候補生成部161、冗長結合運動資訊候補刪除部162、隱性結合運動資訊候補追加部163、第1結合運動資訊候補補充部164、及第2結合運動資訊候補補充部165。空間結合運動資訊候補生成部160係含有隱性結合運動資訊候補判定部166。

(結合運動資訊候補清單生成部140的機能與動作)

以下，說明各部的機能與動作。圖13係結合運動資訊候補清單生成部140之動作的說明用流程圖。首先，結合運動資訊候補清單生成部140，係將結合運動資訊候補清單予以初期化(S100)。已被初期化之結合運動資訊候補清單中係不存在有結合運動資訊候補。

接著，隱性結合運動資訊候補判定部166，係選擇隱性結合運動資訊候補而將該當隱性結合運動資訊候補予以記憶(S101)。已被記憶之隱性結合運動資訊候補，係在結合運動資訊候補清單生成部140內被共用。隱性結合運動資訊候補判定部166的詳細動作，將於後述。接著，空間結合運動資訊候補生成部160，係根據端子12所供給之候補區塊群而生成0個至空間結合運動資訊候補最大數的空間結合運動資訊候補然後追加至結合運動資訊候補清單(S102)，將該當結合運動資訊候補清單和候補區塊群，供給至時間結合運動資訊候補生成部161。空間結合運動資訊候補生成部160的詳細動作，將於後述。又，關於空間結合運動資訊候補最大數，也將於後述。

接著，時間結合運動資訊候補生成部161，係根據空間結合運動資訊候補生成部160所供給之候補區塊群來生成0個或時間結合運動資訊候補最大數的時間結合運動資訊候補然後追加至空間結合運動資訊候補生成部160所供給之結合運動資訊候補清單(S103)，將該當結合運動資訊候補清單，供給至隱性結合運動資訊候補追加部163。時間結合運動資訊候補生成部161的詳細動作，將於後述。又，關於時間結合運動資訊候補最大數，也將於後述。

接著，冗長結合運動資訊候補刪除部162，係檢查時間結合運動資訊候補生成部161所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補，若有同一運動資訊的結合運動資訊候補是複數存在時，則留下1個結合運動資訊候補而刪除其他結合運動資訊候補(S104)，將該當結合運動資訊候補清單，供給至隱性結合運動資訊候補追加部163。因此，該當結合運動資訊候補清單中所被登錄的結合運動資訊候補，係為全部都是不同的結合運動資訊候補。

接著，隱性結合運動資訊候補追加部163，係若隱性結合運動資訊候補為有效，則在冗長結合運動資訊候補刪除部162所供給之結合運動資訊候補清單的最末尾，追加隱性結合運動資訊候補(S105)，將該當結合運動資訊候補清單，供給至第1結合運動資訊候補補充部164。若隱性結合運動資訊候補並非有效，則將冗長結合運動資訊候補刪除部162所供給之結合運動資訊候補清單，供給至第1結合運動資訊候補補充部164。隱性結合運動資訊候補追加部163的詳細動作，將於後述。

接著，第1結合運動資訊候補補充部164，係根據隱性結合運動資訊候補追加部163所供給之結合運動資訊候補清單中所登錄的結合運動資訊候補，生成0個至2個的第1補充結合運動資訊候補然後追加至結合運動資訊候補清單(S106)，將該當結合運動資訊候補清單，供給至第2結合運動資訊候補補充部165。第1結合運動資訊候補補充部164的詳細動作，將於後述。

接著，第2結合運動資訊候補補充部165，係生成不依存於第1結合運動資訊候補補充部164所供給之結合運動資訊候補清單的0個至2個的第2補充結合運動資訊候補，然後追加至第1結合運動資訊候補補充部164所供給之結合運動資訊候補清單(S107)，將該當結合運動資訊候補清單供給至端子19。第2結合運動資訊候補補充部165的詳細動作，將於後述。

(隱性結合運動資訊候補)

以下說明隱性結合運動資訊候補。圖14(a)至(d)係用來說明隱性結合運動資訊候補的圖。編碼區塊，上面已經說明過可以分割成1或2或4個預測區塊。圖14係表示編碼區塊為16x16的例子。藉由將編碼區塊分割成多數預測區塊，可使涉及編碼區塊的預測誤差最小化，但是另一方面，圖6所示的涉及預測區塊的語法的負荷，會隨預測區塊的個數而增加。因此，針對運動資訊為相同且預測誤差為相同的複數預測區塊，係總結成1個預測區塊，抑制預測區塊的分割數，就可提升編碼效率。

圖14(a)係用來說明候補區塊A是隱性結合運動資訊候補之例1的圖。圖示了編碼區塊係為合併模式，且預測區塊尺寸類型係為N×2N而被編碼時的預測區塊1的空間結合運動資訊候補的位置。此處，若預測區塊0的運動資訊與預測區塊1的運動資訊是相同，則將預測區塊0與預測區塊1總結成2N×2N來進行編碼，藉此可減少涉及預測區塊的語法之負荷，可提升編碼效率。亦即，當預測區塊尺寸類型是N×2N且處理對象區塊是預測區塊1的情況下，設成2N×2N而被編碼時的候補區塊所相當之候補區塊A被選擇成為結合運動資訊候補的可能性係較低。因此，當預測區塊尺寸類型是N×2N且處理對象區塊是預測區塊1的情況下，將候補區塊A當作隱性結合運動資訊候補。

圖14(b)係用來說明候補區塊A是隱性結合運動資訊候補之例2的圖。圖示了編碼區塊係為合併模式，且預測區塊尺寸類型係為N×N而被編碼時的預測區塊3的空間結合運動資訊候補的位置。此處，若預測區塊0的運動資訊與預測區塊1的運動資訊是相同、且預測區塊2的運動資訊與預測區塊3的運動資訊是相同，則將預測區塊0與預測區塊1總結，而且還將預測區塊2與預測區塊3總結成2N×N來進行編碼，藉此就可減少涉及預測區塊的語法之負荷，可提升編碼效率。因此，預測區塊尺寸類型為N×N且預測區塊0的運動資訊與預測區塊1的運動資訊為相同且為預測區塊3的情況下，則將候補區塊A當作隱性結合運動資訊候補。

圖14(c)係用來說明候補區塊B是隱性結合運動資訊候補之例1的圖。係圖示了，編碼區塊為合併模式，且預測區塊尺寸類型係設成2N×N來進行編碼的樣子。此處，若預測區塊0的運動資訊與預測區塊1的運動資訊是相同，則將預測區塊0與預測區塊1總結成2N×2N來進行編碼，藉此可減少涉及預測區塊的語法之負荷，可提升編碼效率。因此，當預測區塊尺寸類型是2N×N且處理對象區塊是預測區塊1的情況下，將候補區塊B當作隱性結合運動資訊候補。

圖14(d)係用來說明候補區塊B是隱性結合運動資訊候補之例2的圖。圖示了編碼區塊係為合併模式，且預測區塊尺寸類型係為N×N而被編碼時的預測區塊3的空間結合運動資訊候補的位置。此處，預測區塊0的運動資訊與預測區塊2的運動資訊是相同且預測區塊1的運動資訊與預測區塊3的運動資訊是相同，則將預測區塊0與預測區塊2總結，而且還將預測區塊1與預測區塊3總結成N×2N來進行編碼，藉此可減少涉及預測區塊的語法之負荷，可提升編碼效率。因此，預測區塊尺寸類型為N×N且預測區塊0的運動資訊與預測區塊2的運動資訊為相同且為預測區塊3的情況下，則將候補區塊B當作隱性結合運動資訊候補。

如此，基於編碼對象之預測區塊的分割類型與編碼對象之預測區塊在編碼區塊內之位置，以比編碼對象之預測區塊的尺寸還大之尺寸的預測區塊來進行運動補償預測，係可將編碼效率之觀點上較為適切的結合運動資訊候補，選擇來作為隱性結合運動資訊候補。如以上，所謂隱性結合運動資訊候補，係為藉由被結合成更大預測區塊尺寸，而編碼效率有所提升的結合運動資訊候補。所謂隱性結合運動資訊，係為隱性結合運動資訊候補的運動資訊。

(隱性結合運動資訊候補判定部166之動作)

圖15係用來說明隱性結合運動資訊候補判定部166的判定處理之一例的流程圖。

首先，檢查預測區塊尺寸類型是否為2N×2N(S150)。若預測區塊尺寸類型是2N×2N(S150的Y)，則結束處理。若預測區塊尺寸類型不是2N×2N(S150的N)，則檢查預測區塊尺寸類型(S151)。若預測區塊尺寸類型為N×2N(S151的N×2N)，則檢查是否為預測區塊1(S152)。若預測區塊尺寸類型為2N×N(S151的2N×N)，則檢查是否為預測區塊1(S154)。若預測區塊尺寸類型為N×N(S151的N×N)，則檢查是否為預測區塊3(S156)。若預測區塊尺寸類型是N×2N，且為預測區塊1(S152的Y)，則將區塊A當作隱性結合運動資訊候補(S153)。若預測區塊尺寸類型是N×2N，且並非預測區塊1(S152的N)，則結束處理。若預測區塊尺寸類型是2N×N，且為預測區塊1(S154的Y)，則將區塊B當作隱性結合運動資訊候補(S155)。若預測區塊尺寸類型是2N×N，且並非預測區塊1(S154的N)，則結束處理。

若預測區塊尺寸類型是N×N，且為預測區塊3(S156的Y)，則檢查預測區塊0與預測區塊2是否相同(S157)。若預測區塊尺寸類型是N×N，且並非預測區塊3(S156的N)，則結束處理。若預測區塊0與預測區塊2的運動資訊相同(S157的Y)，則將區塊A當作隱性結合運動資訊候補(S158)。若預測區塊0與預測區塊2的運動資訊並非相同(S157的N)，則檢查預測區塊0與預測區塊1的運動資訊是否相同(S159)。若預測區塊0與預測區塊1的運動資訊相同(S159的Y)，則將區塊B當作隱性結合運動資訊候補(S160)。若預測區塊0與預測區塊1的運動資訊並非相同(S159的N)，則結束處理。

如以上所述，若隱性結合運動資訊候補已被決定時則隱性結合運動資訊候補係為有效，若隱性結合運動資訊候補未被決定時則隱性結合運動資訊候補係為無效。

圖15係隱性結合運動資訊候補判定部166之判定處理的一例，只要能夠至少使用編碼區塊往預測區塊之分割數和預測區塊在編碼區塊內之位置之雙方或任一方來判定隱性結合運動資訊候補即可，並非限定於此。

例如，為了簡化預測區塊類型是N×N時的條件判定，亦可省略預測區塊0與預測區塊1的運動資訊同一性判定(步驟S159)或預測區塊0與預測區塊2(步驟S157)的運動資訊同一性判定，在預測區塊3上係可總是將區塊A與B視為隱性結合運動資訊候補。然後，亦可在預測區塊1上係總是將區塊A視為隱性結合運動資訊候補，在預測區塊2上係總是將區塊B視為隱性結合運動資訊候補。

又，作為簡化預測區塊類型是N×N時的條件判定的另一手法，亦可當預測區塊類型是N×N時，不進行隱性結合運動資訊候補的判定。這就變成，基於編碼區塊往預測區塊之分割數，來進行隱性結合運動資訊的追加控制。

(空間結合運動資訊候補生成部160的詳細動作)

接著說明空間結合運動資訊候補生成部160的詳細動作。圖16係空間結合運動資訊候補生成部160之動作的說明用流程圖。空間結合運動資訊候補生成部160，係按照候補區塊群之空間候補區塊群中所含之候補區塊亦即區塊A、區塊B、區塊C、區塊E、區塊D之順序，重複進行以下處理(S110至S115)。

首先，檢查候補區塊是否有效(S111)。所謂候補區塊是有效，係為候補區塊的L0預測與L1預測之參照索引的至少一方是0以上。若候補區塊是有效(S111之Y)，則檢查隱性結合運動資訊候補是否有效(S112)。若候補區塊並非有效(S111的N)，則略過步驟S112至步驟S115而檢查下個候補區塊(S116)。若隱性結合運動資訊候補是有效(S112的Y)，則檢查候補區塊的運動資訊是否和隱性結合運動資訊候補的運動資訊相同(S113)。若隱性結合運動資訊候補並非有效(S112的N)，則將候補區塊之運動資訊當作空間結合運動資訊候補而追加至結合運動資訊候補清單中(S114)。若候補區塊的運動資訊和隱性結合運動資訊候補的運動資訊相同(S113的Y)，則略過步驟S114和步驟S115而檢查下個候補區塊(S116)。若候補區塊的運動資訊和隱性結合運動資訊候補的運動資訊並非相同(S113的N)，則將候補區塊之運動資訊當作空間結合運動資訊候補而追加至結合運動資訊候補清單中(S114)。接在步驟S114之後，檢查結合運動資訊候補清單中所被追加之空間結合運動資訊候補的數目是否為空間結合運動資訊候補最大數(S115)。此處，假設空間結合運動資訊候補最大數為4。若結合運動資訊候補清單中所被追加之空間結合運動資訊候補的數目不是空間結合運動資訊候補最大數(S115的N)，則檢查下個候補區塊(S115)。若結合運動資訊候補清單中所被追加之空間結合運動資訊候補的數目是空間結合運動資訊候補最大數(S115的Y)，則結束處理。

於空間結合運動資訊候補生成部160中藉由不將隱性結合運動資訊候補登錄至結合運動資訊候補清單，例如，若區塊A、區塊B、區塊C、區塊E、區塊D全部都是有效時，則可取代掉隱性結合運動資訊候補而改為將選擇機率比隱性結合運動資訊候補相對較高的區塊D的運動資訊，登錄至結合運動資訊候補清單，可提升編碼效率。

此處，雖然是為了使得與處理對象區塊之接線較長的一般認為與處理對象區塊之相關性較高的區塊A與區塊B的運動資訊，能被優先登錄至結合運動資訊候補清單，而將處理的順序，設計成區塊A、區塊B、區塊C、區塊E、區塊D，但只要能夠以相關性較高之順序來把結合運動資訊候補登錄至結合運動資訊候補清單即可，並非限定於此。又，雖然將空間結合運動資訊候補最大數設成4，但空間結合運動資訊候補最大數係只要是1以上且為空間候補區塊群中所含之候補區塊數以下即可，並非限定於此。又，為了簡化空間結合運動資訊候補之導出，亦可省略步驟S112和步驟S113，若候補區塊為有效(S111的Y)，則可將候補區塊之運動資訊當作空間結合運動資訊候補而追加至結合運動資訊候補清單中(S114)。

(時間結合運動資訊候補生成部161的詳細動作)

接著說明時間結合運動資訊候補生成部161的詳細動作。圖17係時間結合運動資訊候補生成部161之動作的說明用流程圖。針對L0預測與L1預測的各預測方向LX，重複進行以下處理(S120至S127)。此處，X係為0或1。又，候補區塊群的時間候補區塊群中所含之候補區塊亦即區塊H、區塊I之順序，重複進行以下處理(S121至S126)。

時間結合運動資訊候補生成部161，係檢查候補區塊的LN預測是否有效(S122)。此處，N係為0或1。此處N係和X相同。所謂候補區塊的LN預測是有效，係為候補區塊的LN預測之參照索引是0以上。若候補區塊的LN預測是有效(S122之Y)，則將候補區塊的LN預測之運動向量，當作基準運動向量(S123)。若候補區塊的LN預測並非有效(S122的N)，則略過步驟123至步驟126而檢查下個候補區塊(S126)。

接在步驟S123之後，決定時間結合運動資訊候補的LX預測之參照影像(S124)。此處，時間結合運動資訊候補的LX預測之參照影像，係空間候補區塊群中所含之候補區塊的作為LX預測之參照影像被利用最多的參照影像。接著，將基準運動向量進行比例縮放使得處理對象影像與時間結合運動資訊候補的LX預測之參照影像的距離相符，而算出比例縮放向量，將該當比例縮放向量當作時間結合運動資訊候補的LX預測之運動向量(S125)，處理下個預測方向(S127)。此處，關於比例縮放向量的算出式，係和MPEG-4AVC中的時間直接運動補償預測的比例縮放向量的算出式相同。在針對L0預測與L1預測結束處理的步驟S127之後，檢查時間結合運動資訊候補的L0預測與L1預測之至少一方的預測是否有效(S128)。所謂時間結合運動資訊候補的LN預測是有效，係為時間結合運動資訊候補的LN預測之參照影像是已經決定的意思。若時間結合運動資訊候補的L0預測與L1預測之至少一方的預測是有效(S128的Y)，則決定時間結合運動資訊候補的畫面間預測類型，將該當時間結合運動資訊候補，追加至結合運動資訊候補清單(S129)。此處，畫面間預測類型的決定，係若只有L0預測有效，則將時間結合運動資訊候補的畫面間預測類型設成Pred_L0，若只有L1預測有效，則將時間結合運動資訊候補的畫面間預測類型設成Pred_L1，若L0預測與L1預測雙方都有效，則將時間結合運動資訊候補的畫面間預測類型設成Pred_BI。

此處，將結合運動資訊候補清單中所能登錄之時間結合運動資訊候補的最大數亦即時間結合運動資訊候補最大數，設成1。因此，圖17中雖然省略說明空間結合運動資訊候補生成部160之動作流程圖亦即相當於圖16所示之步驟S115的處理，但當時間結合運動資訊候補最大數為2以上時，係亦可在步驟S129之後追加相當於步驟S115之處理。

此處，雖然令N係和X相同，但N亦可和X不同，並非限定於此。又，雖然假設時間結合運動資訊候補的 LX預測之參照影像，係為空間候補區塊群中所含之候補區塊的作為LX預測之參照影像被利用最多的參照影像，但並非限定於此，亦可決定成參照索引0的參照影像等。又，雖然畫面間預測類型設成Pred_L0、Pred_L1、Pred_BI之任一者，但亦可僅為Pred_BI，並非限定於此。

在實施形態1中，將空間候補區塊群設成5、將空間結合運動資訊候補最大數設成4、將時間結合運動資訊候補最大數設成1而取代掉隱性結合運動資訊候補改為將選擇機率相對高於隱性結合運動資訊候補的區塊D，登錄至結合運動資訊候補清單，但只要能取代掉隱性結合運動資訊候補改為將選擇機率相對高於隱性結合運動資訊候補的空間結合運動資訊候補或時間結合運動資訊候補予以登錄至結合運動資訊候補清單即可，不限定於該組合。例如，亦可為，將空間結合運動資訊候補最大數設成5、將時間結合運動資訊候補最大數設成1，隱性結合運動資訊候補並非有效時，係將空間結合運動資訊候補的5個優先追加至結合運動資訊候補清單，若隱性結合運動資訊候補為有效時，則將選擇機率相對高於隱性結合運動資訊候補的時間結合運動資訊候補，追加至結合運動資訊候補清單。

(隱性結合運動資訊候補追加部163的詳細動作)

接著說明隱性結合運動資訊候補追加部163的詳細動作。圖18係隱性結合運動資訊候補追加部163之動作的說明用流程圖。首先，檢查隱性結合運動資訊候補是否為有效(S140)。若隱性結合運動資訊候補是有效(S140的Y)，則將隱性結合運動資訊候補的運動資訊，追加至結合運動資訊候補清單的最末尾(S141)。若隱性結合運動資訊候補並非有效(S140的N)，則結束處理。這裡雖然是若隱性結合運動資訊候補是有效則將隱性結合運動資訊候補的運動資訊追加至結合運動資訊候補清單的最末尾，但為了從結合運動資訊候補清單內排除冗長的結合運動資訊候補之存在，亦可設計成，若隱性結合運動資訊候補為有效且結合運動資訊候補清單中沒有與隱性結合運動資訊候補的運動資訊相同的運動資訊時，則追加至結合運動資訊候補清單的最末尾。此情況下，從結合運動資訊候補清單內排除冗長的結合運動資訊候補之存在，取而代之是將第1補充結合運動資訊候補或第2補充結合運動資訊候補追加至結合運動資訊候補清單，藉此就可提升合併模式的選擇率而提升編碼效率。

一般而言，候補區塊A或候補區塊B，係相較於其他區塊是選擇率相對較高的結合運動資訊候補，因此被分配了編碼長度較短的合併索引。可是，如上記，候補區塊A或候補區塊B是該當於隱性結合運動資訊候補之條件時，由於被結合成比候補區塊A或候補區塊B還大的預測區塊，編碼效率較為良好，因此被選擇來作為結合運動資訊候補的可能性較低。因此，於空間結合運動資訊候補生成部160中，先把與隱性結合運動資訊候補相同的運動資訊，從結合運動資訊候補清單中予以排除，於隱性結合運動資訊候補追加部163中，令隱性結合運動資訊候補移動至結合運動資訊候補清單的最末尾，對隱性結合運動資訊候補分配編碼長度較長的合併索引，對選擇率相對變高之隱性結合運動資訊候補以外的候補區塊，分配編碼長度較短的合併索引，藉此就可提升編碼效率。隱性結合運動資訊候補判定部166，係為了簡化預測區塊類型是N×N時的條件判定，而省略預測區塊0與預測區塊1的運動資訊同一性判定(步驟S159)或預測區塊0與預測區塊2(步驟S157)的運動資訊同一性判定，在預測區塊3上係總是將區塊A與B視為隱性結合運動資訊候補的此種情況下，則亦可將圖18之動作，針對區塊A與區塊B這2個隱性結合運動資訊候補，重複處理。

(第1結合運動資訊候補補充部164的詳細動作)

接著說明第1結合運動資訊候補補充部164的詳細動作。圖19係第1結合運動資訊候補補充部164之動作的說明用流程圖。首先，根據隱性結合運動資訊候補追加部163所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)與合併候補最大數(MaxNumMergeCand)，將生成第1補充結合運動資訊候補的最大數MaxNumGenCand，由式1予以算出(S170)。

MaxNumGenCand=MaxNumMergeCand-NumCandList；(NumCandList>0)MaxNumGenCand=0；(NumCandList==0) 式1

接著，檢查MaxNumGenCand是否大於0(S171)。若MaxNumGenCand並非大於0(S171的N)，則結束處理。若MaxNumGenCand大於0(S171的Y)，則進行以下處理。首先，決定組合檢查次數loopTimes。loopTimes係設定成NumCandList×NumCandList。但是，loopTimes超過8時則loopTimes係限制成8(S172)。此處，loopTimes係為0至7的整數。重複進行以下的處理loopTimes次(S172至S180)。決定結合運動資訊候補M與結合運動資訊候補N之組合(S173)。此處，說明組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係。圖20係用來說明組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係的圖。如圖20所示，M與N係不同值，M與N的合計值是被設定成由小而大之順序。檢查是否為結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S174)。若結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S174的Y)，則檢查結合運動資訊候補M的L0預測之參照影像和運動向量，是否和結合運動資訊候補N的L1預測之參照影像和運動向量不同(S175)。若並非結合運動資訊候補M的L0預測為有效且結合運動資訊候補N的L1預測為有效(S174的N)，則處理下個組合。若結合運動資訊候補M的L0預測之參照影像與結合運動資訊候補N的L1預測之參照影像不同(S175的Y)，則將結合運動資訊候補M的L0預測之運動向量與參照影像與結合運動資訊候補N 的L1預測之運動向量與參照影像進行組合，生成畫面間預測類型為Pred_BI的雙結合運動資訊候補(S176)。此處，作為第1補充結合運動資訊候補，將某結合運動資訊候補的L0預測與和其不同之結合運動資訊候補的L1預測之運動資訊加以組合而生成雙結合運動資訊。若結合運動資訊候補M的L0預測之參照影像與結合運動資訊候補N的L1預測之參照影像相同(S175的N)，則處理下個組合。接在步驟S176之後，檢查雙結合運動資訊候補是否存在於結合運動資訊候補清單中(S177)。若雙結合運動資訊候補不存在於結合運動資訊候補清單中(S177的Y)，則將雙結合運動資訊候補追加至結合運動資訊候補清單(S178)。若雙結合運動資訊候補存在於結合運動資訊候補清單中(S177的N)，則略過步驟S178。皆在步驟S177或步驟S178之後，檢查已生成之雙結合運動資訊的數目是否為MaxNumGenCand(S179)。若已被生成之雙結合運動資訊的數目是MaxNumGenCand(S179的Y)，則結束處理。若已被生成之雙結合運動資訊的數目不是MaxNumGenCand(S179的N)，則處理下個組合。

此處，雖然是將第1補充結合運動資訊候補設計成，將已被登錄至結合運動資訊候補清單中的某一結合運動資訊候補的L0預測之運動向量與參照影像，與另一結合運動資訊候補的L1預測之運動向量與參照影像進行組合，成為運動補償預測之方向為雙向的雙結合運動資訊候補，但並非限定於此。例如，亦可為對已被登錄至結合運動資訊候補清單中的某一結合運動資訊候補的L0預測之運動向量與L1預測之運動向量加上+1等偏置值而成的運動補償預測之方向為雙向的結合運動資訊候補、對已被登錄至結合運動資訊候補清單中的某一結合運動資訊候補的L0預測之運動向量或L1預測之運動向量加上+1等偏置值而成的運動補償預測之方向為單向的結合運動資訊候補。作為第1補充結合運動資訊候補的另一例，亦可將已被登錄至結合運動資訊候補清單中的某一結合運動資訊候補的L0預測之運動向量當作基準而將L1預測之運動向量進行比例縮放而求出，將其予以組合以生成運動補償預測之方向為雙向的新的結合運動資訊候補。又，亦可將它們做任意組合。

此處，第1補充結合運動資訊候補，係當已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊和處理對象的運動資訊候補之運動有微妙的偏差時，將已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊予以修正而生成有效的結合運動資訊候補，藉此就可提高編碼效率。

如以上所述，即使被選擇來作為結合運動資訊候補之可能性較低的隱性結合運動資訊候補的運動資訊，仍有L0預測或L1預測之任一方是與處理對象區塊之運動資訊相同的情況，或處理對象區塊之運動資訊是與隱性結合運動資訊候補之運動資訊有微小偏差的可能性。因此，不要刪除隱性結合運動資訊候補的運動資訊，而是令隱性結合運動資訊候補的運動資訊與其他結合運動資訊候補之運動資訊做組合，或修正隱性結合運動資訊候補的運動資訊等等，以生成選擇率比隱性結合運動資訊候補相對較高的第1補充結合運動資訊候補，藉此就可提高編碼效率。尤其是，在利用雙結合運動資訊候補時係至少需要2個結合運動資訊候補，因此當隱性結合運動資訊候補以外的結合運動資訊候補是在結合運動資訊候補清單中僅被登錄1個的情況下，則不要刪除隱性結合運動資訊候補的運動資訊，而是令隱性結合運動資訊候補的運動資訊與其他結合運動資訊候補之運動資訊做組合，藉此就可提高編碼效率。

(第2結合運動資訊候補補充部165的詳細動作)

接著說明第2結合運動資訊候補補充部165的詳細動作。圖21係第2結合運動資訊候補補充部165之動作的說明用流程圖。首先，根據第1結合運動資訊候補補充部164所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)與合併候補最大數(MaxNumMergeCand)，將生成第2補充結合運動資訊候補的最大數MaxNumGenCand，由式2予以算出(S190)。

MaxNumGenCand=MaxNumMergeCand-NumCandList；(NumCandList>0)MaxNumGenCand=2；(NumCandList==0) 式2

接著，將以下的處理，針對i重複進行MaxNumGenCand次(S191至S195)。此處，i係為0至MaxNumGenCand-1的整數。生成L0預測之運動向量為(0,0)、參照索引為i，且L1預測之運動向量為(0,0)、參照索引為i的畫面間預測類型為Pred_BI的第2補充結合運動資訊候補(S192)。檢查第2補充結合運動資訊候補是否存在於結合運動資訊候補清單中(S193)。若第2補充結合運動資訊候補不存在於結合運動資訊候補清單中(S193的Y)，則將第2補充結合運動資訊候補追加至結合運動資訊候補清單(S194)。若第2補充結合運動資訊候補存在於結合運動資訊候補清單中(S193的N)，則針對下個i進行處理(S195)。

此處，將第2補充結合運動資訊候補設成，L0預測之運動向量為(0,0)、參照索引為i，且L1預測之運動向量為(0,0)、參照索引為i的畫面間預測類型為Pred_BI的結合運動資訊候補。這是因為，在一般的動態影像中，L0預測之運動向量與L1預測之運動向量為(0,0)的結合運動資訊候補的發生頻率在統計上較高的緣故。不依存於已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊，只要是統計上利用頻率較高的結合運動資訊候補即可，並非限定於此。例如，L0預測或L1預測之運動向量係亦可分別是(0,0)以外的向量值，亦可設定成L0預測與L1預測的參照索引不同。又，亦可將第2補充結合運動資訊候補，當成已編碼之影像或已編碼之影像之一部分的發生頻率較高的運動資訊，編碼在編碼串流中加以傳輸而設定。

此處，藉由設定不依存於被當成第2補充結合運動資訊候補而登錄在結合運動資訊候補清單中之結合運動資訊候補的結合運動資訊候補，當已被登錄在結合運動資訊候補清單中的結合運動資訊候補為0個時，就可利用合併模式，可提升編碼效率。又，當已被登錄在結合運動資訊候補清單中的結合運動資訊候補的運動資訊和處理對象的運動資訊候補之運動有所不同的情況下，對結合運動資訊候補清單追加統計上利用頻率較高之新的結合運動資訊候補來擴展選擇幅度，藉此就可提升編碼效率。

(動態影像解碼裝置200之構成)

接著，說明實施形態1的動態影像解碼裝置。圖22係實施形態1所述之動態影像解碼裝置200之構成的圖示。動態影像解碼裝置200，係為將動態影像編碼裝置100所編碼之編碼列予以解碼以生成再生影像的裝置。

動態影像解碼裝置200，係由具備CPU(Central Processing Unit)、畫格記憶體、硬碟等的資訊處理裝置等硬體所實現。動態影像解碼裝置200，係藉由上記的構成要素的作動，而實現以下說明的機能性構成要素。編碼區塊的分割、預測區塊尺寸類型的決定、預測區塊尺寸與預測區塊在編碼區塊內之位置(預測區塊的位置資訊)的決定、預測編碼模式是否為畫面內的決定，係由未圖示的上位之控制部所決定，此處係係針對預測編碼模式不是畫面內的情形加以說明。此外，關於解碼對象之預測區塊的位置資訊、預測區塊尺寸，係在動態影像解碼裝置200內被共用，而未圖示。

實施形態1的動態影像解碼裝置200係具備：編碼列解析部201、預測誤差解碼部202、加算部203、運動資訊再生部204、運動補償部205、畫格記憶體206及運動資訊記憶體207。

(動態影像解碼裝置200之動作)

以下，說明各部的機能與動作。編碼列解析部201，係將端子30所供給之編碼列予以解析而將預測誤差編碼資料、合併旗標、合併索引、運動補償預測之預測方向(畫面間預測類型)、參照索引、差分向量、及預測向量索引，依照語法而進行熵解碼。熵解碼係藉由包含算術編碼或霍夫曼編碼等之可變長度編碼的方法來實施。然後，將該當預測誤差編碼資料供給至預測誤差解碼部202，將該當合併旗標、該當合併索引、該當畫面間預測類型、該當參照索引、該當差分向量、及該當預測向量索引，供給至運動資訊再生部204。

運動資訊再生部204，係根據編碼列解析部201所供給之合併旗標、合併索引、畫面間預測類型、參照索引、差分向量、及預測向量索引，和運動資訊記憶體207所供給之候補區塊群，而再生出運動資訊，將該當運動資訊供給至運動補償部205及運動資訊記憶體207。運動資訊再生部204之詳細構成，將於後述。

運動補償部205，係基於運動資訊再生部204所供給之運動資訊，將畫格記憶體206內的參照索引所示的參照影像，基於運動向量進行運動補償，以生成預測訊號。若預測方向為雙預測，則將L0預測與L1預測之預測訊號進行平均後的訊號加以生成來作為預測訊號，將該當預測訊號供給至加算部203。

預測誤差解碼部202，係對於編碼列解析部201所供給之預測誤差編碼資料，進行逆量化或逆正交轉換等之處理以生成預測誤差訊號，將該當預測誤差訊號供給至加算部203。

加算部203，係將預測誤差解碼部202所供給之預測誤差訊號、和運動補償部205所供給之預測訊號，進行加算，以生成解碼影像訊號，將該當解碼影像訊號供給至畫格記憶體206及端子31。

畫格記憶體206及運動資訊記憶體207，係具有和動態影像編碼裝置100的畫格記憶體110及運動資訊記憶體111相同之機能。畫格記憶體206係將加算部203所供給之解碼影像訊號，加以記憶。運動資訊記憶體207，係將運動資訊再生部204所供給之運動資訊，以最小預測區塊尺寸單位，加以記憶。

(運動資訊再生部204之詳細構成)

接著說明運動資訊再生部204的詳細構成。圖23係圖示運動資訊再生部204之構成。運動資訊再生部204係含有：編碼模式判定部210、運動向量再生部211及結合運動資訊再生部212。端子32係連接至編碼列解析部201，端子33係連接至運動資訊記憶體207，端子34係連接至運動補償部205，端子36係連接至運動資訊記憶體207。

(運動資訊再生部204的詳細動作)

以下，說明各部的機能與動作。編碼模式判定部210，係判定編碼列解析部201所供給之合併旗標係為「0」還是「1」。若合併旗標為「0」，則將編碼列解析部201所供給之畫面間預測類型、參照索引、差分向量、及預測向量索引，供給至運動向量再生部211。若合併旗標為「1」，則將編碼列解析部201所供給之合併索引，供給至結合運動資訊再生部212。

運動向量再生部211，係根據編碼模式判定部210所供給之畫面間預測類型、參照索引、差分向量、及預測向量索引，和端子33所供給之候補區塊群，再生出運動向量而生成運動資訊，供給至端子34及端子36。

結合運動資訊再生部212，係根據編碼模式判定部210所供給之合併索引、端子33所供給之候補區塊群，再生出運動資訊並供給至端子34及端子36。

(結合運動資訊再生部212的詳細構成)

接著說明結合運動資訊再生部212的詳細構成。圖24係圖示結合運動資訊再生部212之構成。結合運動資訊再生部212，係含有結合運動資訊候補清單生成部230及結合運動資訊選擇部231。端子35係連接至編碼模式判定部210。

(結合運動資訊再生部212的詳細動作)

以下，說明各部的機能與動作。結合運動資訊候補清單生成部230係具有和動態影像編碼裝置100之結合運動資訊候補清單生成部140相同的機能，藉由和動態影像編碼裝置100的結合運動資訊候補清單生成部140相同的動作而生成結合運動資訊候補清單，將該當結合運動資訊候補清單，供給至結合運動資訊選擇部231。

結合運動資訊選擇部231，係從結合運動資訊候補清單生成部230所供給之結合運動資訊候補清單之中，選擇出端子35所供給之合併索引所表示的結合運動資訊候補而決定結合運動資訊，將該當結合運動資訊的運動資訊，供給至端子34及端子36。

(效果說明)

說明本發明的實施形態1的動態影像編碼裝置及動態影像解碼裝置所致之效果。圖25係本發明的實施形態1所致之效果之一例的說明圖。圖25係表示候補區塊A為隱性結合運動資訊候補時，隱性結合運動資訊候補往結合運動資訊候補清單之後方追加所致之效果。此處，假設在結合運動資訊候補清單中係被登錄有：候補區塊A、候補區塊B、候補區塊C、候補區塊E、候補區塊T。假設合併索引0(候補區塊A)、合併索引1(候補區塊B)、合併索引2(候補區塊C)、合併索引3(候補區塊E)、合併索引4(候補區塊T)的選擇機率分別為2%、60%、14%、12%、12%。嚴謹來說，將隱性結合運動資訊候補追加至結合運動資訊候補清單的前方時和將隱性結合運動資訊候補追加至結合運動資訊候補清單的後方時，合併索引的選擇機率會有所變動，但此處為了簡化說明而假設合併索引的選擇機率沒有變動來進行說明。這在之後的效果說明例子中也是同樣如此。此時，前方追加的合併索引的編碼長度的期望值係為2.6位元(式3)。另一方面，後方追加的合併索引的編碼長度的期望值係為1.8位元(式4)。因此，後方追加的合併索引的編碼長度的期望值係比前方追加短了0.8位元，可知編碼效率有提升。

0.02x1+0.6x2+0.14x3+0.12x4+0.12x4=2.6 式3

0.6x1+0.14x2+0.12x3+0.12x4+0.02x4=1.8 式4

如以上所述，將隱性結合運動資訊候補追加至比空間結合運動資訊候補或時間結合運動資訊候補的合併索引編碼長度還長的結合運動資訊候補清單之最末尾，對選擇率相對變高之隱性結合運動資訊候補以外的候補區塊，分配編碼長度較短的合併索引，藉此就可提升編碼效率。

圖26係本發明的實施形態1所致之效果之另一例的說明圖。此處，假設在候補區塊群之中僅候補區塊A、候補區塊B、及候補區塊T為有效，候補區塊A與候補區塊B的運動補償預測之方向係皆為Pred_BI。又，假設在結合運動資訊候補清單中係登錄有：候補區塊A、候補區塊B、候補區塊T、從候補區塊A與候補區塊B所生成的2個雙結合運動資訊候補亦即BD0與BD1。假設合併索引0(候補區塊A)、合併索引1(候補區塊B)、合併索引2(候補區塊T)、合併索引3(雙結合運動資訊候補BD0)、合併索引4(雙結合運動資訊候補BD1)的選擇機率係分別為5%、60%、15%、10%、10%。雖然省略計算式，但前方追加的合併索引的編碼長度的期望值係為2.36位元。另一方面，後方追加的合併索引的編碼長度的期望值係為1.46位元。因此，後方追加的合併索引的編碼長度的期望值係比前方追加短了0.9位元，可知編碼效率有提升。

(實施形態1的變形例1)

實施形態1的隱性結合運動資訊候補判定部166之判定處理，係如圖15所示般地至少使用編碼區塊往預測區塊之分割數和預測區塊在編碼區塊內之位置之雙方或任一方，來判定隱性結合運動資訊候補。例如，作為在預測區塊類型為N×N時不判定隱性結合運動資訊候補的條件判定簡略化手法，亦可如圖27所示般地，使用編碼區塊往預測區塊之分割數和預測區塊之寬度與預測區塊之高度，來判定隱性結合運動資訊候補。圖27係用來說明隱性結合運動資訊候補判定部166的判定處理之一例的流程圖。以下，關於實施形態1的變形例2的隱性結合運動資訊候補判定部166之動作，使用圖27來說明。

首先，檢查是否為預測區塊1(S200)。若為預測區塊1(S200的Y)，則檢查預測區塊的高度是否大於預測區塊的寬度(S201)。若非預測區塊1(S200的N)，則結束處理。若預測區塊的高度大於預測區塊的寬度(S201的Y)，則將區塊A當作隱性結合運動資訊候補(S202)，結束處理。若預測區塊的高度沒有大於預測區塊的寬度(S201的N)，則檢查預測區塊的高度是否小於預測區塊的寬度(S203)。若預測區塊的高度小於預測區塊的寬度(S203的Y)，則將區塊B當作隱性結合運動資訊候補(S204)，結束處理。若預測區塊的高度沒有小於預測區塊的寬度(S203的N)，則結束處理。

(實施形態1的變形例2)

實施形態1的結合運動資訊候補清單生成部140之構成係如圖12所示般地將隱性結合運動資訊候補追加部163設置在冗長結合運動資訊候補刪除部162之後，但亦可將隱性結合運動資訊候補追加部163設置在空間結合運動資訊候補生成部160之後。

此情況下，在結合運動資訊候補清單中，雖然無法將隱性結合運動資訊候補登錄在比時間結合運動資訊候補還要後面，但亦可構成為隱性結合運動資訊候補的追加處理是在空間結合運動資訊候補生成部160內完成，因此可提高空間結合運動資訊候補生成部160與時間結合運動資訊候補生成部161的獨立性，可使電路設計或軟體設計變得容易。

(實施形態1的變形例3)

實施形態1的結合運動資訊候補清單生成部140之構成係如圖12所示般地將隱性結合運動資訊候補追加部163設置在冗長結合運動資訊候補刪除部162之後，但亦可將隱性結合運動資訊候補追加部163設置在第1結合運動資訊候補補充部164或第2結合運動資訊候補補充部165之後。

此情況下，在第1結合運動資訊候補補充部164中，從隱性結合運動資訊候補以外的結合運動資訊候補來生成第1補充結合運動資訊候補的時候，對選擇機率相對高於隱性結合運動資訊候補的第1補充結合運動資訊候補，分配比隱性結合運動資訊候補編碼長度還短的合併索引，就可提升編碼效率。又，若第2補充結合運動資訊候補的選擇機率是相對高於隱性結合運動資訊候補，則藉由對第2補充結合運動資訊候補分配編碼長度比隱性結合運動資訊候補還短的合併索引，就可提升編碼效率。

如以上，不要刪除與隱性結合運動資訊候補相同的運動資訊，而是令與隱性結合運動資訊候補相同的運動資訊與其他結合運動資訊候補之運動資訊做組合，或修正與隱性結合運動資訊候補相同的運動資訊等等，以生成選擇率比隱性結合運動資訊候補相對較高的第1補充結合運動資訊候補，藉此就可提高編碼效率。尤其是，在利用雙結合運動資訊候補時係至少需要2個結合運動資訊候補，因此當隱性結合運動資訊候補以外的結合運動資訊候補是在結合運動資訊候補清單中僅被登錄1個的情況下，則不要刪除與隱性結合運動資訊候補相同的運動資訊，而是令與隱性結合運動資訊候補相同的運動資訊與其他結合運動資訊候補之運動資訊做組合，藉此就可提高編碼效率。

(實施形態1的變形例4)

實施形態1的結合運動資訊候補清單生成部140之構成係如圖12所示般地，空間結合運動資訊候補生成部160是含有隱性結合運動資訊候補判定部166，但只要在隱性結合運動資訊候補追加部163之前，隱性結合運動資訊候補沒有被登錄至結合運動資訊候補清單中即可，並非限定於此。例如，亦可構成為，冗長結合運動資訊候補刪除部162是含有隱性結合運動資訊候補判定部166。

此情況下，在冗長結合運動資訊候補刪除部162中，可將帶有與隱性結合運動資訊候補的運動資訊相同運動資訊的空間集合運動資訊候補，從結合運動資訊候補清單中予以排除，取而代之是將第1補充結合運動資訊候補或第2補充結合運動資訊候補追加至結合運動資訊候補清單，藉此就可提升合併模式的選擇率而提升編碼效率。

(實施形態1的變形例5)

實施形態1的結合運動資訊候補清單生成部140之構成係如圖12所示，但第1結合運動資訊候補補充部164和第2結合運動資訊候補補充部165係亦可其中一方或雙方都刪除。

[實施形態2]

以下，說明實施形態2。和實施形態1係結合運動資訊候補清單生成部140之構成與動作有所不同。

首先說明，結合運動資訊候補清單生成部140的構成。圖28係實施形態2的結合運動資訊候補清單生成部140之構成的說明圖。和圖12的實施形態1的結合運動資訊候補清單生成部140係為，隱性結合運動資訊候補刪除部167是被追加在第1結合運動資訊候補補充部164之後，這點有所不同。

接著說明，結合運動資訊候補清單生成部140的動作。圖29係實施形態2的結合運動資訊候補清單生成部140之動作的說明圖。和圖13的實施形態1的結合運動資訊候補清單生成部140之動作係為，接在步驟S106之後，設置有隱性結合運動資訊候補刪除部167會從結合運動資訊候補清單中刪除隱性結合運動資訊候補的步驟(S108)，這點有所不同。

接著說明，隱性結合運動資訊候補刪除部167的動作。圖30係隱性結合運動資訊候補刪除部167之動作的說明圖。針對第1結合運動資訊候補補充部164所供給之結合運動資訊候補清單中所被登錄的結合運動資訊候補之數目(NumCandList)份的結合運動資訊候補M，重複進行以下處理(S210至S213)。此處，M係為0至NumCandList-1的整數。檢查候補區塊M是否為隱性結合運動資訊(S211)。若候補區塊M是隱性結合運動資訊(S211的Y)，則從結合運動資訊候補清單中刪除隱性結合運動資訊候補(S212)，結束處理。若候補區塊M不是隱性結合運動資訊(S211的N)，則處理下個結合運動資訊候補(S213)。

(效果說明)

說明本發明的實施形態2的動態影像編碼裝置及動態影像解碼裝置所致之效果。像是第2補充結合運動資訊候補是利用已編碼之影像或已編碼之影像之一部分中發生頻率較高之運動資訊而被設定的情形或預先設定選擇率高的運動資訊候補的情形等，若第2補充結合運動資訊候補的選擇機率比隱性結合運動資訊候補的選擇機率相對較高，則從結合運動資訊候補清單中刪除隱性結合運動資訊候補，對結合運動資訊候補清單追加第2補充結合運動資訊候補，藉此，可提升編碼效率。

(實施形態2的變形例)

實施形態2的隱性結合運動資訊候補刪除部167之動作係如圖32所示般地將已被登錄在結合運動資訊候補清單中的隱性結合運動資訊候補單純地予以刪除，但藉由判定隱性結合運動資訊候補亦即預測區塊的結合運動資訊是否為重複結合運動資訊候補，也可決定是否刪除已被登錄在結合運動資訊候補清單中的隱性結合運動資訊候補。

以下說明伴隨重複結合運動資訊候補之判定的實施形態2的擴充例。圖31係實施形態2的變形例中的隱性結合運動資訊候補刪除部167之動作的說明圖。與圖30的不同點在於，追加了步驟S213。檢查含有隱性結合運動資訊候補的預測區塊的結合運動資訊，是否為重複結合運動資訊候補(步驟S213)。若含有隱性結合運動資訊候補的預測區塊的結合運動資訊候補是重複結合運動資訊候補(步驟S213的Y)，則從結合運動資訊候補清單中刪除隱性結合運動資訊候補(S212)，結束處理。若含有隱性結合運動資訊候補的預測區塊的結合運動資訊不是重複結合運動資訊候補(步驟S213的N)，則結束處理。

接著說明重複結合運動資訊候補。圖32係用來說明重複結合運動資訊候補的圖。圖32係表示編碼區塊為16x16的例子。圖32(a)係為預測區塊尺寸類型是N×2N時的重複結合運動資訊候補的說明圖，圖示了預測區塊尺寸類型為N×2N時的預測區塊1的隱性結合運動資訊候補亦即預測區塊0的空間結合運動資訊候補亦即候補區塊A、候補區塊B、候補區塊C、候補區塊D、及候補區塊E。圖32(b)係圖示了預測區塊尺寸類型是2N×2N之預測區塊0時的空間結合運動資訊候補亦即候補區塊A、候補區塊B、候補區塊C、候補區塊D、及候補區塊E。在圖32(a)和圖32(b)中，可看出候補區塊A、候補區塊D、及候補區塊E的位置係為重複。這些在某預測區塊尺寸類型下與較大預測區塊尺寸類型之候補區塊的位置發生重複的候補區塊，稱作重複結合運動資訊候補。

此處，在預測區塊尺寸類型為N×2N時的預測區塊1的隱性結合運動資訊候補亦即預測區塊0中，當這些重複結合運動資訊候補是被選擇來作為結合運動資訊候補時，在預測區塊1上選擇重複結合運動資訊候補，係等價於設成2N×2N而選擇了重複結合運動資訊候補的情形，因此必定伴隨著編碼效率的降低。另一方面，在預測區塊尺寸類型為N×2N時的預測區塊1的隱性結合運動資訊候補亦即預測區塊0中，當這些非重複結合運動資訊候補的候補區塊B或候補區塊C是被選擇來作為結合運動資訊候補時，由於並非被當成2N×2N而選擇，因此在預測區塊1上藉由選擇候補區塊B或候補區塊C，編碼效率係有可能提升。圖32(c)係預測區塊尺寸類型是2N×N之預測區塊0時的重複結合運動資訊候補是候補區塊B、候補區塊C、及候補區塊D的圖示。圖32(d)係預測區塊尺寸類型是N×N之預測區塊2時的重複結合運動資訊候補是候補區塊A、候補區塊D、及候補區塊E的圖示。圖32(e)係預測區塊尺寸類型是N×N之預測區塊1時的重複結合運動資訊候補是候補區塊B、候補區塊C、及候補區塊D的圖示。

如以上所述，藉由判定隱性結合運動資訊候補亦即預測區塊的結合運動資訊是否為重複結合運動資訊候補，決定是否刪除已被登錄在結合運動資訊候補清單中的隱性結合運動資訊候補，藉此可提升編碼效率。

以上所述的實施形態的動態影像編碼裝置所輸出的動態影像的編碼串流，係為了可隨著實施形態中所使用之編碼方法來進行解碼，而具有特定的資料格式，對應於動態影像編碼裝置的動態影像解碼裝置係可將此特定資料格式的編碼串流加以解碼。

動態影像編碼裝置與動態影像解碼裝置之間為了收授編碼串流，而使用有線或無線網路的情況下，可將編碼串流轉換成適合於通訊路之傳輸形態的資料形式來進行傳輸。此情況下，會設置有：將動態影像編碼裝置所輸出之編碼串流轉換成適合於通訊路之傳輸形態之資料形式的編碼資料然後發送至網路的動態影像送訊裝置、和從網路接收編碼資料並復原成編碼串流而供給至動態影像解碼裝置的動態影像收訊裝置。

動態影像送訊裝置，係含有：將動態影像編碼裝置所輸出之編碼串流予以緩衝的記憶體、將編碼串流予以封包化的封包處理部、將已被封包化的編碼資料透過網路而進行發送的送訊部。動態影像收訊裝置，係含有：將已被封包化的編碼資料透過網路而進行接收的收訊部、將已被接收之編碼資料予以緩衝的記憶體、將編碼資料進行封包處理而生成編碼串流並提供給動態影像解碼裝置的封包處理部。

以上的關於編碼及解碼之處理，係可用硬體而以傳輸、積存、收訊裝置的方式來加以實現，當然，也可藉由記憶在ROM(唯讀記憶體)或快閃記憶體等中的韌體、或電腦等之軟體來加以實現。亦可將該韌體程式、軟體程式記錄至電腦等可讀取之記錄媒體來加以提供，或可透過有線或無線網路從伺服器來提供，也可用地表波或衛星數位播送的資料播送方式來提供之。

以上係依據實施形態來說明了本發明。實施形態係為例示，這些各構成要素或各處理程序之組合中還有各種可能的變形例，而這些變形例也都屬於本發明之範圍，而能被當業者所理解。

[產業上利用之可能性]

本發明係可利用於，將運動補償預測中所利用之運動資訊予以編碼的動態影像編碼技術。

100‧‧‧動態影像編碼裝置

101‧‧‧預測區塊影像取得部

102‧‧‧減算部

103‧‧‧預測誤差編碼部

104‧‧‧編碼列生成部

105‧‧‧預測誤差解碼部

106‧‧‧運動補償部

107‧‧‧加算部

108‧‧‧運動向量偵測部

109‧‧‧運動資訊生成部

110‧‧‧畫格記憶體

111‧‧‧運動資訊記憶體

120‧‧‧預測向量模式決定部

121‧‧‧合併模式決定部

122‧‧‧預測編碼模式決定部

130‧‧‧預測向量候補清單生成部

131‧‧‧預測向量決定部

140‧‧‧結合運動資訊候補清單生成部

141‧‧‧結合運動資訊選擇部

160‧‧‧空間結合運動資訊候補生成部

161‧‧‧時間結合運動資訊候補生成部

162‧‧‧冗長結合運動資訊候補刪除部

163‧‧‧隱性結合運動資訊候補追加部

164‧‧‧第1結合運動資訊候補補充部

165‧‧‧第2結合運動資訊候補補充部

166‧‧‧隱性結合運動資訊候補判定部

167‧‧‧隱性結合運動資訊候補刪除部

200‧‧‧動態影像解碼裝置

201‧‧‧編碼列解析部

202‧‧‧預測誤差解碼部

203‧‧‧加算部

204‧‧‧運動資訊再生部

205‧‧‧運動補償部

206‧‧‧畫格記憶體

207‧‧‧運動資訊記憶體

210‧‧‧編碼模式判定部

211‧‧‧運動向量再生部

212‧‧‧結合運動資訊再生部

230‧‧‧結合運動資訊候補清單生成部

231‧‧‧結合運動資訊選擇部

[圖1]圖1(a)、(b)係編碼區塊的說明圖。

[圖2]圖2(a)~(d)係預測區塊尺寸類型的說明圖。

[圖3]預測區塊尺寸類型的說明圖。

[圖4]預測編碼模式的說明圖。

[圖5]合併索引與編碼列之關係的說明圖。

[圖6]預測區塊的語法之一例的說明圖。

[圖7]實施形態1所述之動態影像編碼裝置之構成的圖示。

[圖8]圖7的運動資訊生成部之構成的圖示。

[圖9]圖8的合併模式決定部之構成的說明圖。

[圖10]處理對象之預測區塊尺寸為16像素×16像素時的處理對象之預測區塊的相鄰區塊的圖示。

[圖11]處理對象之預測區塊尺寸為16像素×16像素時的與處理對象之預測區塊位於同一位置的ColPic上的預測區塊內的區塊和其周邊區塊的圖示。

[圖12]圖9的結合運動資訊候補清單生成部之構成的說明圖。

[圖13]圖9的結合運動資訊候補清單生成部之動作的流程圖。

[圖14]圖14(a)至(d)係隱性結合運動資訊候補的說明圖。

[圖15]隱性結合運動資訊候補之判定處理的說明用流程圖。

[圖16]圖12的空間結合運動資訊候補生成部之動作的說明用流程圖。

[圖17]圖12的時間結合運動資訊候補生成部之動作的說明用流程圖。

[圖18]圖12的隱性結合運動資訊候補追加部之動作的說明用流程圖。

[圖19]圖12的第1結合運動資訊候補補充部之動作的流程圖。

[圖20]組合檢查次數和結合運動資訊候補M與結合運動資訊候補N之關係的說明圖。

[圖21]圖12的第2結合運動資訊候補補充部之動作的流程圖。

[圖22]實施形態1所述之動態影像解碼裝置之構成的圖示。

[圖23]圖22的運動資訊再生部之構成的圖示。

[圖24]圖23的結合運動資訊再生部之構成的圖示。

[圖25]實施形態1所致之效果之一例的說明圖。

[圖26]實施形態1所致之效果之另一例的說明圖。

[圖27]隱性結合運動資訊候補之判定處理的說明用流程圖。

[圖28]實施形態2的結合運動資訊候補清單生成部之構成的說明圖。

[圖29]實施形態2的結合運動資訊候補清單生成部之動作的說明圖。

[圖30]圖28的隱性結合運動資訊候補刪除部之動作的說明圖。

[圖31]實施形態2的變形例中的隱性結合運動資訊候補刪除部之動作的說明圖。

[圖32]重複結合運動資訊候補的說明圖。

12,14,15,17‧‧‧端子

121‧‧‧合併模式決定部

140‧‧‧結合運動資訊候補清單生成部

141‧‧‧結合運動資訊選擇部

Claims

一種動態影像編碼裝置，係屬於基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼裝置，其特徵為，具備：候補導出部，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化部，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成部，係生成含有前記選擇候補的候補清單；和追加部，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入至前記候補清單；和決定部，係從前記候補清單中，決定出前記編碼對象之預測區塊的運動補償預測時所使用的運動資訊；和編碼部，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。
如申請專利範圍第1項所記載之動態影像編碼裝置，其中，還具備：追加部，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種動態影像編碼裝置，係屬於基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測的動態影像編碼裝置，其特徵為，具備：隱性結合運動資訊候補判定部，係基於編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，從前記編碼對象之預測區塊所相鄰的已編碼之複數相鄰區塊之運動資訊所組成的第1運動資訊群之中，選擇出可以用比前記編碼對象之預測區塊之尺寸還大之尺寸的預測區塊來進行運動補償預測的隱性結合運動資訊候補；和結合運動資訊候補清單生成部，係使用從前記第1運動資訊群排除了前記隱性結合運動資訊候補而成的第2運動資訊群，來生成用來利用於前記編碼對象之預測區塊所需的結合運動資訊候補的結合運動資訊候補清單；和結合運動資訊候補追加部，係將至少1個前記隱性結合運動資訊候補，追加至前記結合運動資訊候補清單；和結合運動資訊選擇部，係從前記結合運動資訊候補清單中選擇出1個結合運動資訊候補，視為前記編碼對象之預測區塊的運動資訊；和編碼部，係將用來在前記結合運動資訊候補清單中特定出前記已被選擇之結合運動資訊候補所需的索引當作候補特定索引而予以編碼。
一種動態影像編碼方法，係屬於基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼方法，其特徵為，具備：候補導出步驟，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定步驟，係從前記候補清單中，決定出前記編碼對象之預測區塊的運動補償預測時所使用的運動資訊；和編碼步驟，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。
如申請專利範圍第4項所記載之動態影像編碼方法，其中，還具備：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種動態影像編碼程式，係屬於基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼程式，其特徵為，令電腦執行：候補導出步驟，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定步驟，係從前記候補清單中，決定出前記編碼對象之預測區塊的運動補償預測時所使用的運動資訊；和編碼步驟，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。
如申請專利範圍第6項所記載之動態影像編碼程式，其中，還令電腦執行：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種送訊裝置，其特徵為，具備：封包處理部，係將編碼串流予以封包化而獲得編碼資料，該編碼串流係藉由，基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼方法所編碼而成者；和送訊部，係將已被封包化之前記編碼資料，予以發送；前記動態影像編碼方法係具備：候補導出步驟，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定步驟，係從前記候補清單中，決定出前記編碼對象之預測區塊的運動補償預測時所使用的運動資訊；和編碼步驟，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。
如申請專利範圍第8項所記載之送訊裝置，其中，前記動態影像編碼方法係還具備：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種送訊方法，其特徵為，具備：封包處理步驟，係將編碼串流予以封包化而獲得編碼資料，該編碼串流係藉由，基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼方法所編碼而成者；和送訊步驟，係將已被封包化之前記編碼資料，予以發送；前記動態影像編碼方法係具備：候補導出步驟，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定步驟，係從前記候補清單中，決定出前記編碼對象之預測區塊的運動補償預測時所使用的運動資訊；和編碼步驟，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。
如申請專利範圍第10項所記載之送訊方法，其中，前記動態影像編碼方法係還具備：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種送訊程式，其特徵為，令電腦執行：封包處理步驟，係將編碼串流予以封包化而獲得編碼資料，該編碼串流係藉由，基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測以將動態影像進行編碼的動態影像編碼方法所編碼而成者；和送訊步驟，係將已被封包化之前記編碼資料，予以發送前記動態影像編碼方法係具備：候補導出步驟，係從編碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已編碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已編碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記編碼對象之預測區塊的分割類型與前記編碼對象之預測區塊在前記編碼區塊內之位置，將前記編碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和決定步驟，係從前記候補清單中，決定出前記編碼對象之預測區塊的運動補償預測時所使用的運動資訊；和編碼步驟，係將用來在前記候補清單中特定出前記已被決定之運動資訊所需的資訊，予以編碼。
如申請專利範圍第12項所記載之送訊程式，其中，前記動態影像編碼方法係還具備：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種動態影像解碼裝置，係屬於基於分割類型而將解碼區塊分割成1或複數個預測區塊而進行運動補償預測，將動態影像之編碼串流予以解碼的動態影像解碼裝置，其特徵為，具備：候補導出部，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化部，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成部，係生成含有前記選擇候補的候補清單；和追加部，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析部，係將表示在前記候補清單內之位置的資訊，予以解碼；和選擇部，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出前記解碼對象之預測區塊的運動補償預測時所使用的運動資訊。
如申請專利範圍第14項所記載之動態影像解碼裝置，其中，還具備：追加部，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種動態影像解碼裝置，係屬於基於分割類型而將解碼區塊分割成1或複數個預測區塊而進行運動補償預測的動態影像解碼裝置，其特徵為，具備：解碼部，係從用來在結合運動資訊候補清單中特定出結合運動資訊候補所需的索引被當成候補特定索引所被編碼而成的編碼列，解碼出前記候補特定索引；和隱性結合運動資訊候補判定部，係基於解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，從前記解碼對象之預測區塊所相鄰的已解碼之複數相鄰區塊之運動資訊所組成的第1運動資訊群之中，選擇出可以用比前記解碼對象之預測區塊之尺寸還大之尺寸的預測區塊來進行運動補償預測的隱性結合運動資訊候補；和結合運動資訊候補清單生成部，係使用從前記第1運動資訊群排除了前記隱性結合運動資訊候補而成的第2運動資訊群，來生成用來利用於前記解碼對象之預測區塊所需的結合運動資訊候補的結合運動資訊候補清單；和結合運動資訊候補追加部，係將至少1個前記隱性結合運動資訊候補，追加至前記結合運動資訊候補清單；和結合運動資訊選擇部，係根據前記候補特定索引而從前記結合運動資訊候補清單中選擇出1個結合運動資訊候補，視為前記解碼對象之預測區塊的運動資訊。
一種動態影像解碼方法，係屬於基於分割類型而將解碼區塊分割成1或複數個預測區塊而進行運動補償預測，將動態影像之編碼串流予以解碼的動態影像解碼方法，其特徵為，具備：候補導出步驟，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析步驟，係將表示在前記候補清單內之位置的資訊，予以解碼；和選擇步驟，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出前記解碼對象之預測區塊的運動補償預測時所使用的運動資訊。
如申請專利範圍第17項所記載之動態影像解碼方法，其中，還具備：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種動態影像解碼程式，係屬於基於分割類型而將解碼區塊分割成1或複數個預測區塊而進行運動補償預測，將動態影像之編碼串流予以解碼的動態影像解碼程式，其特徵為，令電腦執行：候補導出步驟，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析步驟，係將表示在前記候補清單內之位置的資訊，予以解碼；和選擇步驟，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出前記解碼對象之預測區塊的運動補償預測時所使用的運動資訊。
如申請專利範圍第19項所記載之動態影像解碼程式，其中，還令電腦執行：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種收訊裝置，係屬於在所接收到的動態影像的編碼串流中，將解碼區塊分割成1或複數個預測區塊而進行運動補償預測以進行解碼處理的收訊裝置，其特徵為，具備：收訊部，係將基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測所編碼而成的動態影像的編碼串流所被封包化而成的編碼資料，予以接收；和復原部，係將已被接收到的前記編碼資料進行封包處理，以復原出原本的編碼串流；和候補導出部，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化部，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成部，係生成含有前記選擇候補的候補清單；和追加部，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析部，係從已被復原之編碼串流，解碼出表示在前記候補清單內之位置的資訊；和選擇部，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出前記解碼對象之預測區塊的運動補償預測時所使用的運動資訊。
如申請專利範圍第21項所記載之收訊裝置，其中，還具備：追加部，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種收訊方法，係屬於在所接收到的動態影像的編碼串流中，將解碼區塊分割成1或複數個預測區塊而進行運動補償預測以進行解碼處理的收訊方法，其特徵為，具備：收訊步驟，係將基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測所編碼而成的動態影像的編碼串流所被封包化而成的編碼資料，予以接收；和復原步驟，係將已被接收到的前記編碼資料進行封包處理，以復原出原本的編碼串流；和候補導出步驟，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析步驟，係從已被復原之編碼串流，解碼出表示在前記候補清單內之位置的資訊；和選擇步驟，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出前記解碼對象之預測區塊的運動補償預測時所使用的運動資訊。
如申請專利範圍第23項所記載之收訊方法，其中，還具備：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。
一種收訊程式，係屬於在所接收到的動態影像的編碼串流中，將解碼區塊分割成1或複數個預測區塊而進行運動補償預測以進行解碼處理的收訊程式，其特徵為，令電腦執行：收訊步驟，係將基於分割類型而將編碼區塊分割成1或複數個預測區塊而進行運動補償預測所編碼而成的動態影像的編碼串流所被封包化而成的編碼資料，予以接收；和復原步驟，係將已被接收到的前記編碼資料進行封包處理，以復原出原本的編碼串流；和候補導出步驟，係從解碼對象之預測區塊所相鄰的複數預測區塊中，選擇出運動資訊係為有效的已解碼之預測區塊；其中，該運動資訊係含有運動向量之資訊與參照影像之資訊；將前記選擇之已解碼之預測區塊的運動資訊，視為選擇候補；和無效化步驟，係基於前記解碼對象之預測區塊的分割類型與前記解碼對象之預測區塊在前記解碼區塊內之位置，將前記解碼對象之預測區塊所相鄰之複數預測區塊內的特定之預測區塊的運動資訊，不視為前記選擇候補；和候補清單生成步驟，係生成含有前記選擇候補的候補清單；和追加步驟，係將前記候補清單中所含之選擇候補之一方的預測方向之運動資訊、和前記候補清單中所含之另一選擇候補之另一方的預測方向之運動資訊，加以組合，生成雙預測的新選擇候補而加入前記候補清單；和編碼列解析步驟，係從已被復原之編碼串流，解碼出表示在前記候補清單內之位置的資訊；和選擇步驟，係基於已解碼之前記表示位置之資訊，從前記候補清單中選擇出前記解碼對象之預測區塊的運動補償預測時所使用的運動資訊。
如申請專利範圍第25項所記載之收訊程式，其中，還令電腦執行：追加步驟，係將具有預先訂定之所定運動向量的運動資訊，視為新的選擇候補而加入至前記候補清單。