TW201311006A - 圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置、及圖像編碼解碼裝置 - Google Patents

Abstract

本發明之圖像解碼方法係將編碼位元流所含之圖像資料依各區塊解碼者，其具有合併候補取得步驟、及索引取得步驟，該合併候補取得步驟係取得合併候補，該合併候補係在解碼對象區塊之解碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；該索引取得步驟係從編碼位元流取得用以界定解碼對象區塊之合併候補的索引者；又，2以上之固定數之合併候補具有依據用於在空間或時間上與解碼對象區塊鄰接之鄰接區塊之解碼的預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、具有預先訂定之固定值之至少1個第2候補。

Description

圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置、及圖像編碼解碼裝置 發明領域

本發明係有關於動態圖像編碼方法及動態圖像解碼方法。

發明背景

在動態圖像編碼處理中，一般利用動態圖像具有之空間方向及時間方向之冗餘性，進行資訊量之壓縮。在此一般利用空間方向之冗餘性之方法係使用對頻域之轉換。又，利用時間方向之冗餘性之方法使用畫面間預測(之後稱為「框間預測」)編碼處理。在框間預測編碼處理中，於將某畫面編碼之際，對編碼對象畫面以顯示時間順序在前方或後方之編碼完畢之畫面使用作為參考畫面。又，藉對該參考畫面之編碼對象畫面之移動檢測，導出移動向量。又，藉算出依據所導出之移動向量而進行移動補償所得之預測圖像資料與編碼對象畫面之圖像資料的差分，去除時間方向之冗餘性(例如參考非專利文獻1)。在此，在移動檢測中，算出編碼畫面內之編碼對象區塊與參考畫面內之區塊的差分值，將差分值最小之參考畫面內之區塊決定作為參考區塊。然後，使用編碼對象區塊與參考區塊，檢測移動向量。

先行技術文獻 非專利文獻

非專利文獻1 ITU-T Recommendation H. 264 「Advanced video coding for generic audiovisual services」、2010年3月

非專利文獻2 JCT-VC, “WD3: Working Draft 3 of High-Efficiency Video Coding”, JCTVC-E603, March 2011.

發明概要

然而，在上述習知技術中，在使用框間預測之圖像編碼及解碼中，期望使容錯性提高。

是故，本發明之目的係提供在使用框間預測之圖像編碼及解碼中可使容錯性提高之圖像編碼方法及圖像解碼方法。

本發明一態樣之圖像解碼方法係將編碼位元流所含之圖像資料依各區塊解碼者，其具有合併候補取得步驟、索引取得步驟、及解碼步驟，該合併候補取得步驟係取得合併候補，該合併候補係在解碼對象區塊之解碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；該索引取得步驟係從前述編碼位元流取得用以從前述2以上之固定數之合併候補界定在前述解碼對象區塊之解碼中參考之合併候補的索引者；該解碼步驟係使用所取得之前述索引，界定前述合併候補，使用所界定之前述合併候補，將前述解碼對象區塊解碼者；又，前述2以上之固定數之合併候補具有依據用於在空間或時間上與前述解碼 對象區塊鄰接之鄰接區塊之解碼的預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、具有預先訂定之固定值之至少1個第2候補。

此外，該等全面或具體之態樣可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM(Compact Disc Read Only Memory)等記錄媒體實現，亦可以系統、方法、積體電路、電腦程式及記錄媒體之任意組合實現。

根據本發明之一態樣，在使用框間預測之圖像編碼及解碼中，可使容錯性提高。

圖式簡單說明

第1A圖係用以說明B畫面之參考畫面列表之一例的圖。

第1B圖係顯示B畫面之預測方向0之參考畫面列表之一例的圖。

第1C圖係顯示B畫面之預測方向1之參考畫面列表之一例的圖。

第2圖係用以說明時間預測移動向量模式之移動向量之圖。

第3圖係顯示在合併模式使用之鄰接區塊之移動向量之一例的圖。

第4圖係用以說明合併區塊候補列表之一例的圖。

第5圖顯示合併區塊候補尺寸與分配至合併區塊索引之位元列之關係的圖。

第6圖係顯示使用合併模式時之編碼處理之一例的流程圖。

第7圖係顯示圖像編碼裝置之結構之方塊圖。

第8圖係使用合併模式時之解碼處理之流程圖。

第9圖係顯示圖像解碼裝置之結構之方塊圖。

第10圖係顯示將合併區塊索引附加於編碼位元流之際之語法的圖。

第11圖係顯示第1實施形態之圖像編碼裝置之結構的方塊圖。

第12圖係顯示第1實施形態之圖像編碼裝置之處理動作的流程圖。

第13A圖(a)、第13A圖(b)係顯示第1實施形態之合併區塊候補列表之一例的圖。

第13B圖(a)~第13B圖(c)係顯示實施形態之變形例之合併區塊候補列表之一例的圖。

第13C圖(a)~第13C圖(c)係顯示實施形態之變形例之合併區塊候補列表之一例的圖。

第14A圖係顯示第1實施形態之合併區塊候補及合併區塊候補列表尺寸之算出處理的流程圖。

第14B圖係顯示實施形態之變形例之合併區塊候補及合併區塊候補列表尺寸之算出處理的流程圖。

第14C圖係顯示實施形態之變形例之合併區塊候補及合併區塊候補列表尺寸之算出處理的流程圖。

第15A圖係顯示判定第1實施形態之合併區塊候補是否 為可合併候補而更新可合併候補數之流程圖。

第15B圖係顯示判定實施形態之變形例之合併區塊候補是否為可合併候補而更新可合併候補數的流程圖。

第16圖係顯示第1實施形態之新候補之追加處理的流程圖。

第17圖係顯示實施形態之變形例之第2候補之追加處理的流程圖。

第18圖係顯示關於第1實施形態之合併區塊候補之選擇之處理的流程圖。

第19圖係顯示第2實施形態之圖像解碼裝置之結構的方塊圖。

第20圖係顯示第2實施形態之圖像解碼裝置之處理動作的流程圖。

第21圖係顯示判定第2實施形態之合併區塊候補是否為可合併候補而更新可合併候補數之處理的流程圖。

第22圖係顯示生成第2實施形態之合併區塊候補列表之處理的流程圖。

第23圖係顯示將合併區塊索引附加於編碼位元流之際之語法之一例的圖。

第24圖係顯示將合併區塊候補列表尺寸固定在合併區塊候補數之最大值時之語法之一例的圖。

第25圖係實現內容遞送服務之內容供給系統之全體結構圖。

第26圖係數位播放用系統之全體結構圖。

第27圖係顯示電視之結構例之方塊圖。

第28圖係顯示於為光碟之記錄媒體進行資訊之讀寫之資訊再生/記錄部的結構例之方塊圖。

第29圖係顯示為光碟之記錄媒體之構造例的圖。

第30A圖係顯示行動電話之一例之圖。

第30B圖係顯示行動電話之結構例之方塊圖。

第31圖係顯示多工資料之結構之圖。

第32圖係示意顯示各串流在多工資料如何多工之圖。

第33圖係更詳細顯示視訊串流如何儲存於PES封包列之圖。

第34圖係顯示多工資料之TS封包與來源封包之構造的圖

第35圖係顯示PMT之資料結構之圖。

第36圖係顯示多工資料資訊之內部結構之圖。

第37圖係顯示串流屬性資訊之內部結構之圖。

第38圖係顯示識別影像資料之步驟之圖。

第39圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之結構例的方塊圖。

第40圖係顯示轉換驅動頻率之結構之圖。

第41圖係顯示識別影像資料而轉換驅動頻率之步驟之圖。

第42圖係顯示使影像資料之規格與驅動頻率對應之查找表之一例的圖。

第43A圖係顯示將信號處理部之模組共有化之結構之 一例的圖。

第43B圖係顯示將信號處理部之模組共有化之結構之另一例的圖。

用以實施發明之形態 (作為本發明之基礎之見解)

在已標準化之稱為H.264之動態圖像編碼方式中，為壓縮資訊量，乃使用I畫面、P畫面、B畫面3種畫面類型。

I畫面未以框間預測編碼處理編碼。即，I畫面以畫面內預測(之後稱為「框內預測」)編碼處理編碼。P畫面係以顯示時間順序參考在編碼對象畫面之前方或後方之已編碼完畢的1個畫面而進行框間預測編碼。B畫面係以顯示時間順序參考在編碼對象畫面之前方或後方之已編碼完畢之2個畫面而進行框內預測編碼。

在框內預測編碼中，生成用以界定參考畫面之參考畫面列表。參考畫面列表係將參考畫面索引分配至在框內預測參考之編碼完畢之參考畫面的列表。舉例言之，在B畫面中，為參考2個畫面而可進行編碼，乃生成2個參考畫面列表(L0、L1)。

第1A圖係用以說明B畫面之參考畫面列表之一例的圖。第1B圖係顯示雙向預測之預測方向0之參考畫面列表0(L0)之一例。在此，在參考畫面列表0中，參考畫面索引0之值0分配至顯示順序2之參考畫面0。又，參考畫面索引0之值1分配至顯示順序1之參考畫面1。又，參考畫面索引0 之值2分配有顯示順序0之參考畫面2。亦即，對編碼對象畫面在顯示順序時間上越接近之參考畫面分配有具有越小值之參考畫面索引。

另一方面，第1C圖顯示雙向預測之預測方向1之參考畫面列表1(L1)之一例。在此，在參考畫面列表1中，參考畫面索引1之值0分配至顯示順序1之參考畫面1。又，參考畫面索引1之值1分配至顯示順序2之參考畫面0。又，參考畫面索引1之值2分配至顯示順序0之參考畫面2。

如此，可對各參考畫面分配各預測方向不同之參考畫面索引之值(參考第1A圖之參考畫面0、1)或可分配相同之參考畫面索引之值(參考第1A圖之參考畫面2)。

又，在稱為H.264之動態圖像編碼方式(非專利文獻1)中，B畫面之各編碼對象區塊之框間預測之編碼模式係使用移動向量檢測模式。在移動向量檢測模式中，將預測圖像資料及編碼對象區塊之圖像資料之差分值與用於預測圖像資料生成之移動向量編碼。又，在移動向量檢測模式，可選擇雙向預測及單向預測作為預測方向。在雙向預測，參考在編碼對象畫面之前方或後方之已編碼完畢之2個畫面，生成預測圖像。在單向預測，參考在前方或後方之已編碼完畢之1個畫面，生成預測圖像。

又，在稱為H.264之動態圖像編碼方式中，在B畫面之編碼中，導出移動向量之際，可選擇稱為時間預測移動向量模式之編碼模式。使用第2圖，說明時間預測移動向量之框間預測編碼方法。第2圖係用以說明時間預測移動向量模 式之移動向量之圖。具體言之，第2圖顯示以時間預測移動向量模式將畫面B2之區塊a編碼之情形。

在此，利用用於在畫面B2後方之為參考畫面之畫面P3內之與區塊a相同位置的區塊b(以下稱為「同位置(co-located)區塊」)之編碼之移動向量vb。移動向量vb係用於參考畫面P1而將區域b編碼之際之移動向量。

使用平行於移動向量vb之移動向量，從為前方向參考畫面之畫面P1與為後方參考畫面之畫面P3取得區塊a用之2個參考區塊。然後，藉依據所取得之2個參考區塊，進行雙向預測，將區塊a編碼。即，用於將區塊a編碼之際之移動向量對畫面P1為移動向量va1，對畫面P3則為移動向量va2。

又，檢討合併模式作為在B畫面或P畫面之各編碼對像區塊之框間預測模式(非專利文獻2)。在合併模式，複製用於編碼對象區塊之鄰接區域之編碼的預測方向、移動向量及參考畫面索引，進行編碼對象區塊之編碼。此時，將用於複製之鄰接區塊之索引等附加於編碼位元流(以下適宜地簡稱為「位元流」)。藉此，可在解碼方面選擇用於編碼之移動方向、移動向量及參考畫面索引。參考第3圖，說明具體例。

第3圖係顯示在合併模式使用之鄰接區塊之移動向量之一例的圖。在第3圖中，鄰接區塊A係編碼對象區塊之左鄰接之編碼完畢區塊。鄰接區域B係編碼對象區域之上鄰接之編碼完畢區塊。鄰接區塊C係編碼對象區塊之右上鄰接之編碼完畢區塊。鄰接區塊D係編碼對象區塊之左下鄰接之編 碼完畢區塊。

又，鄰接區塊A係以預測方向0之單向預測所編碼之區塊。鄰接區塊A具有預測方向0之移動向量MvL0_A作為對預測方向0之參考畫面索引RefL0_A顯示之參考畫面的移動向量。在此，MvL0顯示參考以參考畫面列表0(L0)界定之參考畫面之移動向量。又，MvL1顯示參考以參考畫面列表1(L1)界定之參考畫面之移動向量。

又，鄰接區塊B係以預測方向1之單向預測所編碼之區塊。鄰接區塊B具有預測方向1之MvL1_B作為對預測方向1之參考畫面索引RefL1_B顯示之參考畫面的移動向量。

又，鄰接區塊C係以框內預測所編碼之區塊。

又，鄰接區塊D係以預測方向0之單向預測所編碼之區塊。鄰接區塊D具有預測方向0之移動向量MvL0_D作為對預測方向0之參考畫面索引RefL0_D顯示之參考畫面的移動向量。

在此種情形，從鄰接區塊A~D之預測方向、移動向量及參考畫面索引、及使用同位置(co-located)區塊而求出之時間預測移動向量模式之預測方向、移動向量及參考畫面索引中選擇編碼效率最佳者作為編碼對象區塊之預測方向、移動向量及參考畫面索引。又，將顯示所選擇之預測方向、移動向量及參考畫面索引之區塊之合併區塊索引附加於位元流。

舉例言之，選擇鄰接區塊A時，編碼對象區塊係使用預測方向0之移動向量MvL0_A及參考畫面索引RefL0_A編 碼。然後，僅將顯示使用了第4圖所示之鄰接區塊A之合併區塊索引之值0附加於位元流。藉此，可刪減預測方向、移動向量及參考畫面索引之資訊量。

又，如第4圖所示，在合併模式，無法用於編碼之候補(以下稱為「無法合併候補」)、或預測方向、移動向量及參考畫面索引之組合相互一致之候補(以下稱為「重複候補」)從合併區塊候補刪除。

如此，藉刪減合併區塊候補數，可刪減分配至合併區塊索引之編碼量。在此，無法合併係表示合併區塊候補係(1)以框內預測所編碼之區塊、(2)包含編碼對象區塊之片段或畫面交界外之區塊、或(3)尚未編碼之區塊等。

在第4圖之例中，鄰接區塊C以框內預測編碼。因此，合併區塊索引3之合併區塊候補係無法合併候補，而從合併區塊候補列表刪除。又，鄰接區塊D與鄰接區塊A係預測方向、移動向量及參考畫面索引一致。因此，合併區塊索引4之合併區塊候補從合併區塊候補列表刪除。結果，最後，合併區塊候補數為3，合併區塊候補列表之列表尺寸設定為3。

合併區塊索引按合併區塊候補列表尺寸之大小，如第5圖所示，分配位元列，而進行可變長度編碼。如此，在合併模式，藉使分配至合併模式索引之位元列根據合併區塊候補列表尺寸之大小變化，而刪減了編碼量。

第6圖係顯示使用合併模式時之編碼處理之流程圖。在步驟S1001，從鄰接區塊及同位置(co-located)區塊取得合併 區塊候補之移動向量、參考畫面索引及預測方向。在步驟S1002，從合併區塊候補刪除重複候補及無法合併候補。在步驟S1003，刪除處理後之合併區塊候補數設定為合併區塊候補列表尺寸。在步驟S1004，決定用於編碼對象區塊之編碼之合併區塊索引。在步驟S1005，所決定之合併區塊索引使用根據合併區塊候補列表尺寸所決定之位元列，進行可變長度編碼。

第7圖係顯示使用合併模式時之圖像編碼裝置之一例的方塊圖。在第7圖中，合併區塊候補算出部導出合併區塊候補列表(步驟S1001、S1002)，將合併區塊候補數發送至可變長度編碼部。可變長度編碼部將合併區塊候補數設定為合併區塊候補列表尺寸(步驟S1003)。進一步，可變長度編碼部決定用於編碼對象區塊之編碼之合併區塊索引(步驟S1004)。進一步，可變長度編碼部使用按照合併區塊候補列表尺寸之位元列，將所決定之合併區塊索引進行可變長度編碼(步驟S1005)。

第8圖係顯示使用合併模式時之解碼處理之一例的流程圖。在步驟S2001，從鄰接區塊及同位置(co-located)區塊取得合併區塊候補之移動向量、參考畫面索引及預測方向。在步驟S2002，從合併區塊候補刪除重複候補及無法合併候補。在步驟S2003，刪除處理後之合併區塊候補數設定為合併區塊候補列表尺寸。在步驟S2004，從位元流將用於解碼對象區塊之解碼之合併區塊索引使用合併區塊候補列表尺寸來解碼。在步驟S2005，使用業經解碼之合併區塊索 引顯示之合併區塊候補，生成預測圖像，進行解碼處理。

第9圖係顯示使用合併模式時之圖像解碼裝置之一例的方塊圖。在第9圖中，合併區塊候補算出部導出合併區塊候補列表(步驟S2001、步驟S2002)，將合併區塊候補數發送至可變長度解碼部。可變長度解碼部將合併區塊候補數設定為合併區塊候補列表尺寸(步驟S2003)。進一步，可變長度解碼部從位元流將用於解碼對象區塊之解碼之合併區塊索引使用合併區塊候補列表尺寸來解碼(步驟S2004)。

第10圖顯示將合併區塊索引附加於位元流之際之語法。在第10圖中，merge_idx表示合併區塊索引。merge_flag表示合併旗標。NumMergeCand表示合併區塊候補列表尺寸。於此NumMergeCand設定從合併區塊候補刪除無法合併候補及重複候補後之合併區塊候補數。

如以上，使用合併模式，將圖像編碼或解碼。

如上述，在習知合併模式中，使用包含同位置(co_located)區塊等之畫面資訊，刪除無法合併候補及重複候補，而導出合併區塊候補列表。然後，刪除後之合併區塊候補列表之合併區塊候補數設定為合併區塊候補列表尺寸。因此，在圖像編碼裝置及圖像解碼裝置於合併區塊候補數產生不一致時，產生於分配至合併區塊索引之位元列在圖像編碼裝置及圖像解碼裝置產生不一致而無法將位元流正確解碼之問題。

舉例言之，因在傳送路徑等產生之封包損失等，而損失作為同位置(co-located)區塊而參考之參考畫面之資訊 時，由於同位置(co-located)區塊之移動向量或參考畫面索引不清楚，故從同位置(co-located)區塊生成之合併區塊候補之資訊不清楚。如此一來，無法於解碼時從合併區塊候補正確地刪除無法合併候補及重複候補，而無法正確地求出合併區塊候補列表尺寸，而無法將合併區塊索引正常地解碼。

此外，針對上述問題，考慮固定合併區塊候補列表尺寸。若固定合併區塊候補列表尺寸時，便不需求出合併區塊候補列表尺寸。

然而，當固定合併區塊候補列表尺寸時，從在空間鄰接之區塊導出之候補(重複候補之外之可合併候補)及在時間上鄰接之區塊(同位置(co-located)區塊)導出之候補(第1候補)之總數為合併區塊候補列表尺寸以下時，於合併區塊候補列表產生空要件。此時，在圖像解碼裝置，因錯誤等之產生而參考空要件時，有有執行無法預期之動作之可能性的問題。

是故，本發明一態樣之圖像解碼方法係將編碼位元流所含之圖像資料依各區塊解碼者，其具有合併候補取得步驟、索引取得步驟、及解碼步驟，該合併候補取得步驟係取得合併候補，該合併候補係在解碼對象區塊之解碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；該索引取得步驟係從前述編碼位元流取得用以從前述2以上之固定數之合併候補界定在前述解碼對象區塊之解碼中參考之合併候補的索引者；該解碼步驟係使 用所取得之前述索引，界定前述合併候補，使用所界定之前述合併候補，將前述解碼對象區塊解碼者；又，前述2以上之固定數之合併候補具有依據用於在空間或時間上與前述解碼對象區塊鄰接之鄰接區塊之解碼的預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、具有預先訂定之固定值之至少1個第2候補。

根據上述結構之圖像解碼方法，由於取得2以上之固定數之合併候補，即，固定合併區塊候補列表尺寸(以下，適宜簡稱為「候補列表尺寸」)，且於導出第1候補等後之空要件加入第2候補，故即使參照空要件時，亦可防止執行無法預期之動作，而可使容錯性提高

此外，「具有預先訂定之固定值」係指在同一合併區塊候補列表內，有複數第2候補時，該複數第2候補具有相同之預測方向、移動向量及參考畫面索引。亦即，不同之合併區塊候補列表之第2候補亦可預測方向、移動向量及參考畫面索引不同。

此外，在上述結構之圖像解碼方法中，亦可追加用以提高編碼效率之第3候補。此時，亦於導出第1候補及第3候補後，產生空候補時，藉於合併區塊候補列表(以下適宜簡稱為「候補列表」)之空要件加入第2候補，可使容錯性提高。此外，因第3候補係用以使編碼效率提高之候補，故與第2候補不同，在同一合併區塊候補列表內，有複數第3候補時，在第3候補間，不存在預測方向、移動向量及參考畫面索引全部一致之候補(第1候補及第2候補亦可能有結果 存在相同之候補之情形)。

又，舉例言之，前述合併候補取得步驟亦可具有第1導出步驟、第2導出步驟、及第3導出步驟，該第1導出步驟係導出前述第1候補，追加作為前述2以上之固定數之合併候補的一部份者；該第2導出步驟係前述第1候補之數小於前述2以上之固定數時，導出具有對在前述解碼對象區塊之解碼中可參考之畫面之畫面索引的至少1個第3候補，追加作為前述2以上之固定數之合併補候的一部份者；該第3導出步驟係前述第1候補之數及前述第3候補之數之總和小於前述2以上之固定數時，將至少1個前述第2候補追加作為前述2以上之固定數之合併候補的一部份，俾使前述第1候補之數、前述第2候補之數及前述第3候補之數之總和與前述2以上之固定數相等者。

又，舉例言之，在前述第2導出步驟中，亦可藉從預先準備之複數不同之候補根據預定優先順位選擇至少1個候補，而導出至少1個前述第3候補。

又，舉例言之，前述合併候補取得步驟亦可具有初始化步驟、第1導出步驟、及第2導出步驟，該初始化步驟係藉於前述2以上之固定數之合併候補全部設定前述第2候補，而將前述2以上之固定數之合併候補初始化者；該第1導出步驟係導出至少1個前述第1候補，更新作為前述2以上之固定數之合併候補的一部份者；該第2導出步驟係於前述第1候補之數小於前述2以上之固定數時，導出具有對在前述解碼對象區塊之解碼中可參考之畫面之畫面索引的至少 1個第3候補，更新作為前述2以上之固定數之合併候補的一部份者。

是故，本發明一態樣之圖像編碼方法係藉將圖像依各區塊編碼，而生成編碼位元流者，其包含有合併候補取得步驟、及編碼步驟，該合併候補取得步驟係取得合併候補，該合併候補係在編碼對象區塊之編碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；該編碼步驟係將用以從前述2以上之固定數之合併候補界定在前述編碼對象區塊之編碼中參考之前述合併候補之索引附加於前述編碼位元流者；又，前述2以上之固定數之合併候補具有依據用於在空間或時間上與前述編碼對象區塊鄰接之鄰接區塊之編碼的預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、具有預先訂定之固定值之至少1個第2候補。

又，舉例言之，前述合併補候取得步驟亦可具有第1導出步驟、第2導出步驟、及第3導出步驟，該第1導出步驟係導出前述第1候補，追加作為前述2以上之固定數之合併候補的一部份者；該第2導出步驟係於前述第1候補之數小於前述2以上之固定數時，導出具有對在前述解碼對象區塊之解碼中可參考之畫面之畫面索引的至少1個第3候補，追加作為前述2以上之固定數之合併補候的一部份者；該第3導出步驟係於前述第1候補之數及前述第3候補之數之總和小於前述2以上之固定數時，將至少1個前述第2候補追加作為前述2以上之固定數之合併候補的一部份，俾使前述第1候 補之數、前述第2候補之數及前述第3候補之數之總和與前述2以上之固定數相等者。

又，舉例言之，在前述第2導出步驟中，亦可藉從預先準備之複數不同之候補根據預定優先順位選擇至少1個候補，而導出至少1個前述第3候補。

又，舉例言之，前述合併候補取得步驟亦可具有初始化步驟、第1導出步驟、及第2導出步驟，該初始化步驟係藉於前述2以上之固定數之合併候補全部設定前述第2候補，而將前述2以上之固定數之合併候補初始化者；該第1導出步驟係導出至少1個前述第1候補，更新作為前述2以上之固定數之合併候補的一部份者；該第2導出步驟係於前述第1候補之數小於前述2以上之固定數時，導出具有對在前述解碼對象區塊之解碼中可參考之畫面之畫面索引的至少1個第3候補，更新作為前述2以上之固定數之合併候補的一部份者。

是故，本發明一態樣之圖像解碼裝置係將編碼位元流所含之圖像資料依各區塊解碼者，其具有合併候補取得部、索引取得部、及解碼部，該合併候補取得部係取得合併候補，該合併候補係在解碼對象區塊之解碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；該索引取得部係從前述編碼位元流取得用以從前述2以上之固定數之合併候補界定在前述解碼對象區塊之解碼中參考之合併候補的索引者；該解碼部係使用所取得之前述索引，界定前述合併候補，使用所界定之前述合併候補， 將前述解碼對象區塊解碼者；前述2以上之固定數之合併候補具有依據用於在空間或時間上與前述解碼對象區塊鄰接之鄰接區塊的解碼之預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、具有預先訂定之固定值之至少1個第2候補。

是故，本發明一態樣之圖像編碼裝置係藉將圖像依各區塊編碼，而生成編碼位元流者，其包含有合併候補取得部、及編碼部，該合併候補取得部係取得合併候補，該合併候補係在編碼對象區域之編碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；該編碼部係將用以從前述2以上之固定數之合併候補界定在前述編碼對象區塊之編碼中參考之前述合併候補的索引附加於前述編碼位元流者；前述2以上之固定數之合併候補具有依據用於在空間或時間上與前述編碼對象區塊鄰接之鄰接區塊之編碼的預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、具有預先訂定之固定值之至少1個第2候補。

是故，本發明一態樣之圖像編碼解碼裝置包含有上述圖像解碼裝置、上述圖像編碼裝置。

此外，該等全面或具體之態樣可以系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等記錄媒體實現，亦可以系統、方法、積體電路、電腦程式或記錄媒體之任意組合實現。

以下，就本發明一態樣之圖像編碼裝置及圖像解碼裝 置，一面參考圖式，一面具體地說明。

此外，在以下說明之實施形態皆係顯示本發明之一具體例者。在以下之實施形態顯示之數值、形狀、材料、構成要件、構成要件之配置位置及連接形態、步驟、步驟之順序等為一例，非限定本發明之主旨。又，關於以下之實施形態之構成要件中未記載於顯示最上位概念之獨立申請項之構成要件以任意之構成要件來說明。

(第1實施形態)

就使用本實施形態之圖像編碼方法之圖像編碼裝置，以第11圖~第18圖為基礎來說明。第11圖係顯示本實施形態之圖像編碼裝置之結構的方塊圖。圖像編碼裝置100藉將圖像依各區塊編碼，而生成位元流。

如第11圖所示，圖像編碼裝置100包含有減法部101、正交變換部102、量化部103、反量化部104、反正交變換部106、加法部106、區塊記憶體107、圖框記憶體108、框內預測部109、框間預測部110、框間預測控制部111、畫面類型決定部112、開關113、合併區塊候補算出部114、colPic記憶體115、可變長度編碼部116。

減法部101係藉於各區塊從輸入圖像列所含之輸入圖像資料減掉預測圖像資料，而生成預測誤差資料。

正交變換部102對所生成之預測誤差資料進行從圖像域至頻域之變換。

量化部103對業經變換成頻域之預測誤差資料進行量化處理。

反量化部104對業經以量化部103進行量化處理之預測誤差資料進行反量化處理。

反正交變換部105對業經反量化處理之預測誤差資料進行從頻域至圖像域之轉換。

加法部106藉於各區塊將預測圖像資料與業經以反正交變換部105進行反量化處理之預測誤差資料相加，而生成再構成圖像資料。

再構成圖像資料以區塊單位保存於區塊記憶體107。

再構成圖像資料以圖框單位保存於圖框記憶體108。

畫面類型決定部112決定以I畫面、B畫面及P畫面之任一畫面類型將輸入圖像資料編碼。又，畫面類型決定部112生成顯示所決定之畫面類型之畫面類型資訊。

框內預測部109藉使用保存於區塊記憶體107之區塊單位之再構成圖像資料，進行框內預測，而生成編碼對象區塊之框內預測圖像資料。

框間預測部110藉使用保存於圖框記憶體108之圖框單位之再構成圖像資料及以移動檢測等所導出之移動向量，進行框間預測，而生成編碼對象區塊之框間預測圖像資料。

開關113於將編碼對象區塊進行框內預測編碼時，將以框內預測部109所生成之框內預測圖像資料作為編碼對象區塊之預測圖像資料，輸出至減法部101及加法部106。另一方面，開關113於將編碼對象區塊進行框間預測編碼時，將以框間預測部110所生成之框間預測圖像資料作為編碼對象區塊之預測圖像資料，輸出至減法部101及加法部106

合併區塊候補算出部114在本實施形態中作成具有固定數之合併區塊候補之合併區塊候補列表。

具體言之，合併區塊候補算出部114使用編碼對象區塊之鄰接區塊之移動向量等、及儲存於colPic記憶體115之同位置(co-located)區塊之移動向量等(colPic資訊)，導出合併模式之合併區塊候補(第1候補)。再者，合併區塊候補算出部114將所導出之合併區塊候補追加至合併區塊候補列表。

又，合併區塊候補算出部114於合併區塊候補列表有空缺時，為使編碼效率提高，從預先訂定之合併區塊候補選擇新候補(第3候補)。進一步，合併區塊候補算出部114將所導出之新候補作為新之合併區塊候補，追加至合併區塊候補列表。進一步，合併區塊候補算出部114算出合併區塊候補數。

又，合併區塊候補算出部114對所導出之各合併區塊候補分配合併區塊索引之值。然後，合併區塊候補算出部114將合併區塊候補與合併區塊索引發送至框間預測控制部111。又，合併區塊候補算出部114將所算出之合併區塊候補數發送至可變長度編碼部116。

框間預測部111選擇使用以移動檢測所導出之移動向量之預測模式(移動檢測模式)與使用從合併區塊候補導出之移動向量之預測模式(合併模式)中可獲得預測誤差最小之預測模式。又，框間預測控制部111將顯示預測模式是否為合併模式之合併旗標發送至可變長度編碼部116。又，框間預測控制部111選擇合併模式作為預測模式時，將對應於 所決定之合併區塊候補之合併區塊索引發送至可變長度編碼部116。進一步，框間預測控制部111將包含編碼對象區塊之移動向量等之colPic資訊轉送至colPic記憶體115。

可變長度編碼部116藉對業經量化處理之預測誤差資料與合併旗標及畫面類型資訊進行可變長度編碼處理，而生成位元流。然後，可變長度編碼部116將合併區塊候補數設定為合併區塊候補列表尺寸。又，可變長度編碼部116將按照合併區塊候補列表尺寸之位元列分配至用於編碼之合併區塊索引，而對所分配之位元列進行可變長度編碼。

第12圖係顯示本實施形態之圖像編碼裝置100之處理動作的流程圖。

在步驟S101，合併區塊候補算出部114從編碼對象區塊之鄰接區塊及同位置(co-located)區塊導出合併區塊候補。又，合併區塊候補算出部114於將合併區塊候補列表尺寸設定為可變時，以後述方法算出合併區塊候補列表尺寸。

舉例言之，在如第3圖之情形中，合併區塊候補算出部114選擇鄰接區塊A~D作為合併區塊候補。進一步，合併區塊候補算出部114算出具有從同位置(co-located)區塊之移動向量以時間預測模式所算出之移動向量、參考畫面索引及預測方向的同位置(co-located)區塊作為合併區塊候補。

合併區塊候補算出部114對各合併區塊候補分配合併區塊索引。第13A圖(a)係顯示在於鄰接區塊分配有合併區塊索引之狀態之合併區塊候補列表的表。在第13A圖(a)之合併區塊候補列表中，左欄顯示合併區塊索引。又，右欄 顯示預測方向、參考畫面索引及移動向量。再者，合併區塊候補算出部114以後述方法進行無法合併候補及重複候補之刪除、及新候補追加，而更新合併區塊候補列表，算出合併區塊候補列表尺寸。第13A圖(b)顯示進行無法合併候補及重複候補之刪除、新候補之追加後的合併區塊候補列表。此外，在本實施形態，鄰接區塊A與鄰接區塊D重複，而刪除鄰接區塊D，亦可刪除鄰接區塊A。

合併區塊索引值越小，便分派越短之碼。即，合併區塊索引之值小時，合併區塊索引所需之資訊量少。

另一方面，當合併區塊索引之值大時，合併區塊索引所需之資訊量大。因而，當對具有精確度較高之移動向量及參考畫面索引之可能性高之合併區塊候補分配值小之合併區塊索引時，編碼效率便增高。

是故，合併區塊候補算出部114亦可於各合併區塊候補測量被選作合併區塊之次數，對該次數多之區塊分配值小之合併區塊索引。具體言之，考慮預先界定在鄰接區塊所選擇之合併區塊，於對象區塊編碼之際，使對所界定之合併區塊之合併區塊索引之值小。

此外，合併區塊候補不具有移動向量等資訊時(為業經以框內預測編碼之區塊時、為位於畫面或片段之交界外等之區塊時、或為尚未編碼之區塊時等)，無法利用於編碼。

在本實施形態中，將無法利用於編碼之合併區塊候補稱為無法合併候補。又，將可利用於編碼之合併區塊候補稱為可合併候補。又，在複數合併區塊候補，將與其他任 一合併區塊候補移向量、參考畫面索引及預測方向完全一致之候補稱為重複候補。

在第3圖之情形，由於鄰接區塊C係業經以框內預測編碼之區塊，故為無法合併候補。又，由於鄰接區塊D與鄰接區塊A係移動向量、參考畫面索引、及預測方向全部一致，故作為重複候補。

在步驟S102，框間預測控制部111以後述方法比較使用以移動檢測所導出之移動向量所生成之預測圖像的預測誤差與使用從合併區塊候補所得之移動向量所生成之預測圖像的預測誤差，選擇預測模式。在此，若所選擇之預測模式係合併模式時，框間預測控制部111將合併旗標設定為1，若非如此時，則將合併旗標設定為0。

在步驟S103，判定合併旗標是否為1(即，預測模式是否為合併模式)。

在此，若步驟S103之判定結果為真(S103之是(Yes))，在步驟S104，可變長度編碼部116便將合併旗標附加於位元流。進一步，在步驟S105，可變長度編碼部116將按照第5圖所示之合併區塊候補列表尺寸之位元列分配至用於編碼之合併區塊候補的合併區塊索引。然後，可變長度編碼部116對所分配之位元列進行可變長度編碼。

另一方面，若步驟S103之判定結果為假(S103之否(No))，在步驟S106，可變長度編碼部116將合併旗標及移動向量檢測模式之資訊附加於位元流。

在本實施形態中，如第13A圖(a)般，分配「0」作為對 應於鄰接區塊A之合併區塊索引之值。又，分配「1」作為對應於鄰接區塊B之合併區塊索引之值。又，分配「2」作為對應於同位置(co-located)區塊之合併區塊索引之值。又，分配「3」作為對應於鄰接區塊C之合併區塊索引之值。又，分配「4」作為對應於鄰接區D之合併區塊索引之值。

此外，合併區塊索引之值之分配法未必限於此例。舉例言之，可變長度編碼部116亦可於使用後述方法，追加新候補時，於原本之合併區塊候補分配小值，於新候補分配大值。亦即，可變長度編碼部116可於原本之合併區塊候補優先分配小值之合併區塊索引。

又，合併區塊候補未必限於鄰接區塊A~D之位置。舉例言之，亦可使用位於左下鄰接區塊D之上方之鄰接區塊等作為合併區塊候補。又，未必需使用所有之鄰接區塊作為合併區塊候補。舉例言之，亦可僅使用鄰接區塊A、B作為合併區塊候補。

又，在本實施形態中，在第12圖之步驟S105，可變長度編碼部116將合併區塊索引附加於位元流，未必需將合併區塊索引附加於位元流。舉例言之，可變長度編碼部116亦可於合併區塊候補列表尺寸為「1」時，不將合併區塊索引附加於位元流。藉此，可刪減合併區塊索引之資訊量。

第14A圖係顯示第12圖之步驟S101之詳細處理的流程圖。具體言之，第14A圖顯示算出合併區塊候補及合併區塊候補列表尺寸之方法。以下，就第14A圖作說明。

在第14A圖之處理前，合併區塊候補算出部114如第 13A圖(a)所示，將索引值分配至鄰接區塊(鄰接區塊A~D、同位置(co-located)區塊)。

在此，N係用以表示各合併區塊候補之索引值。在本實施形態中，N取0至4之值。具體言之，對合併區塊候補[0]分派第3圖之鄰接區塊A。又，對合併區塊候補[1]分派第3圖之鄰接區塊B。又，對合併區塊候補[2]分派同位置(co-located)區塊。又，對合併區塊候補[3]分派第3圖之鄰接區塊C。又，對合併區塊候補[4]分派第3圖之鄰接區塊D。

合併區塊候補算出部114對鄰接區塊分派索引值後，對合併區塊候補[0]~[4]分別進行是否為可合併候補之判定(步驟S111)、及第13A圖所示之合併區塊候補列表之右欄之資訊的取得(步驟S112)。

在步驟S111，合併區塊候補算出部114以後述方法判定合併區塊候補[N]是否為可合併候補，而導出合併區塊候補數。

在步驟S112，合併區塊候補算出部114取得合併區塊候補[N]之移動向量、參考畫面索引、及預測方向，追加於合併區塊候補列表(右欄)。

在步驟S113，如第13A圖(b)所示，合併區塊候補算出部114從合併區塊候補列表搜尋無法合併候補及重複候補，並刪除。進一步，合併區塊候補算出部114從合併區塊候補數減掉重複候補數。

在步驟S114，合併區塊候補算出部114以後述方法於合併區塊候補列表追加新候補(第3候補)。在此，追加新候補 之際，亦可進行合併區塊索引之值之再分配，俾對原本已有之合併區塊候補優先分配小值之合併區塊索引。亦即，區塊候補算出部114亦可進行合併區塊索引之值之再分配，俾對新候補分配值大之合併區塊索引。藉此，可刪減合併區塊索引之碼量。

在步驟S115，合併區塊候補算出部114將追加新候補後之合併區塊候補數設定為合併區塊候補列表尺寸。在第13A圖(b)例中，以後述方法，算出合併區塊候補數為「5」，於合併區塊候補列表尺寸設定「5」。此外，舉例言之，合併區塊候補列表尺寸非可變而設定為2以上之固定數時，於合併區塊候補列表尺寸設定該2以上之固定數。

此外，在步驟S114之新候補係指以後述方法合併區塊候補數未達最大合併區塊候補數時，於合併區塊候補新追加之候補。舉例言之，考慮將位於第3圖之左下鄰接區塊D之上方之鄰接區塊、包含同位置(co-located)區塊之參考畫面之鄰接區塊A、B、C、D的區塊、或者具有從參考畫面之畫面全體或一定區域之移動向量、參考畫面索引及預測方向之統計等算出之值等的區塊作為新候補。又，亦可將對可參考之各參考畫面具有值0之移動向量之zero候補作為新候補。再者，亦可藉組合所導出之相互不同之合併區塊候補具有的預測方向0之移動向量及參考畫面索引與預測方向1之移動向量及參考畫面索引，而將雙向預測之合併區塊候補(以下稱為「組合(combined)合併區塊候補」)作為新候補。

如此，合併區塊候補數未達最大合併區塊候補數時，圖像編碼裝置100藉追加新候補，可提高編碼效率。

第15A圖係顯示第14A圖之步驟S111之詳細處理的流程圖。具體言之，第15A圖顯示判定合併區塊候補[N]是否為可合併候補而更新可合併候補數之方法。以下，就第15A圖作說明。

在步驟S121，合併區塊候補算出部114判定合併區塊候補[N]是否為(1)業經以框內預測編碼之區塊、或(2)位於包含編碼對象區塊之片段或畫面交界外之區塊、或(3)尚未編碼之區塊。

在此，若步驟S121之判定結果為真(步驟S121之是(Yes))，在步驟S122，合併區塊候補算出部114將合併區塊候補[N]設定為無法合併候補。另一方面，若步驟S121之判定結果為假(步驟S121之否(No))，在步驟S123，合併區塊候補算出部114將合併區塊候補[N]設定為可合併候補。

在步驟S124，合併區塊候補算出部114判定合併區塊候補[N]是否為可合併候補或同位置(co-located)區塊候補。

若步驟S124之判定結果為真(步驟S124之是(Yes))，合併區塊候補算出部114在步驟S125，便於合併區塊候補數加1，而更新值。若步驟S124之判定結果為假(步驟S124之否(No))，合併區塊候補算出部114則不更新候補數。

如此，在本實施形態中，合併區塊候補算出部114於合併區塊候補為同位置(co-located)區塊時，不論同位置(co-located)區塊為可合併候補或無法合併候補，皆於合併 區塊候補數加1。藉此，即使因封包損失等損失同位置(co-located)合併區塊之資訊時，亦可防止在圖像編碼裝置及圖像解碼裝置於合併區塊候補數產生不一致。合併區塊候補算出部114在第14A圖之步驟S115中，將合併區塊候補數設定為合併區塊候補列表尺寸。又，合併區塊候補算出部114在第12圖之步驟S105中，分配按照合併區塊候補列表尺寸之位元列，將合併區塊索引進行可變長度編碼。藉此，即使損失包含同位置(co-located)區塊等之參考畫面資訊時，亦可生成可將合併區塊索引正常地解碼之位元流。

第16圖係顯示第14A圖之步驟S114之詳細處理的流程圖。具體言之，第16圖顯示追加用以使編碼效率提高之新候補(第3候補)之方法。以下，就第16圖作說明。

在步驟S131，合併區塊候補算出部114判定合併區塊候補數是否小於合併區塊候補列表尺寸。更具體言之，合併區塊候補算出部114於合併區塊候補列表尺寸為可變時，判定合併區塊候補數是否未達候補列表尺寸之最大值(最大合併區塊候補數)。另一方面，固定合併區塊候補列表尺寸時(合併區塊候補列表尺寸為2以上之固定數時)，判定合併區塊候補數是否未達2以上之固定數

若步驟S131之判定結果為真(步驟S131之是(Yes))，在步驟S132，合併區塊候補算出部114判定是否存在可作為合併區塊候補而追加於合併區塊候補列表之新候補。

在此，新候補為預先準備之候補。新候補係對可參考之各參考畫面具有值0之移動向量之zero候補。此時，可參 考之參考畫面之數為可追加作為新候補之候補之總數。此外，如上述，新候補可為組合(combined)候補等其他候補。

若步驟S132之判定結果為真(在步驟S132之是(Yes))，在步驟S133中，合併區塊候補算出部114對新候補分配合併區塊索引之值，並追加於合併區塊候補列表。

進一步，在步驟S134中，合併區塊候補算出部114於合併區塊候補數加1。

另一方面，若步驟S131或步驟S132之判定結果為假(步驟S131或步驟S132之否(No))，結束新候補之追加處理。亦即，合併區塊候補數達最大合併區塊候補數，或者，當無新候補時(將所有新候補作為合併區塊候補追加於候補列表後)，結束新候補之追加處理。

第18圖係顯示第12圖之步驟S102之詳細處理的流程圖。具體言之，第18圖顯示關於合併區塊候補之選擇之處理。以下，就第18圖作說明。

在步驟S151，框間預測控制部111於合併區塊候補索引設定0，於最小預測誤差設定移動向量檢測模式之預測誤差(成本)，於合併旗標設定0。在此，成本係以R-D最適當化模組之以下式算出。

(式1)Cost=D+λ R

在式1中，D表示編碼失真。舉例言之，使用利用以某移動向量所生成之預測圖像而將編碼對象區塊編碼及解碼所得之像素值與編碼對象區塊之原本之像素值的差分絕對 值和等作為D。又，R表示產生碼量。使用將用於預測圖像生成之移動向量編碼所需之碼量等作為R。又，λ係拉格朗日之未定乘數。

在步驟S152，框間預測控制部111判定合併區塊候補索引之值是否小於編碼對象區塊之合併區塊候補數。亦即，框間預測控制部111判定是否存在尚未進行以下步驟S153~步驟S155之處理的合併區塊候補。

在此，若步驟S152之判定結果為真(S152之是(Yes))，在步驟S153中，框間預測控制部111算出分派有合併區塊候補索引之合併區塊候補的成本。然後，在步驟S154，框間預測控制部111判定所算出之合併區塊候補之成本是否小於最小預測誤差。

在此，若步驟S154之判定結果為真(S154之是(Yes))，在步驟S155，框間預測控制部111便更新最小預測誤差、合併區塊索引、及合併旗標之值。另一方面，若步驟S154之判定結果為假(S154之否(No))，框間預測控制部111則不更新最小預測誤差、合併區塊索引、及合併旗標之值。

在步驟S156，框間預測控制部111於合併區塊候補索引之值加1，從步驟S125反覆進行步驟S156。

另一方面，若步驟S152之判定結果為假(S152之否(No))時，即若無未處理之合併區塊候補時，在步驟S157，框間預測控制部111確定最後設定之合併旗標及合併區塊索引。

如此，根據本實施形態之圖像編碼裝置100，以不依賴包含同位置(co-located)區塊等之參考畫面資訊之方法算出 用於將合併區塊索引編碼或解碼之際之合併區塊候補列表尺寸，藉此，可使容錯性提高。更具體言之，在本實施形態之圖像編碼裝置100中，不論同位置(co-located)區塊為可合併候補或無法合併候補，總是於合併區塊候補數加1。又，按合併區塊候補數，決定分配於合併區塊索引之位元列。藉此，即使損失包含同位置(co-located)區塊之參考畫面資訊時，在圖像編碼裝置100及圖像解碼裝置300，合併區塊候補數亦可相同，而可生成可將合併區塊索引正常解碼之位元流。又，合併區塊候補數未達可合併候補數時，藉追加具有新移動向量、參考畫面索引及預測方向之新候補，可提高編碼效率。

此外，在本實施形態中，如第15A圖之步驟S125及步驟S126所示，僅對同位置(co-located)合併區塊，不論為可合併候補或無法合併候補，總是於合併區塊候補數加1，但不限於此。對其他區塊亦可不論為可合併候補或無法合併候補，總是於合併區塊候補數加1。

又，在本實施形態中，令合併區塊候補列表尺寸為2以上之固定數時，2以上之固定數亦可為合併區塊候補數之最大值Max。亦即，亦可將所有鄰接區塊之合併區塊候補視為可合併候補，將合併區塊候補尺寸固定在合併候補區塊候補數之最大值Max，將合併區塊索引編碼。舉例言之，在本實施形態中，由於合併區塊候補數之最大值Max為5(鄰接區塊A、鄰接區塊B、同位置(co-locatd)合併區塊、鄰接區塊C、鄰接區塊D)，故亦可總是於區塊候補尺寸設定「5」， 將合併區塊索引編碼。

又，為不參考同位置(co-located)合併區塊之畫面(參考I畫面之B畫面或P畫面)時等，於合併區塊候補數之最大值Max為4(鄰接區塊A、鄰接區塊B、鄰接區塊C、鄰接區塊D)時，亦可總是於合併區塊候補列表尺寸設定「4」，將合併區塊索引編碼。

如此，合併區塊候補列表尺寸為2以上之固定數時，亦可於2以上之固定數設定合併區塊候補數之最大值Max，按2以上之固定數，決定合併區塊候補列表尺寸。此時，圖像編碼裝置100在第12圖之步驟S105，使用2以上之固定數，進行可變長度編碼。

藉此，圖像解碼裝置之可變長度解碼部可生成在不參考鄰接區塊或同位置(co-located)區塊之資訊下將位元流中之合併區塊索引解碼之位元流，而可刪減可變長度解碼部之處理量。又，亦可將2以上之固定數(例如合併區塊候補數之最大值Max)埋入SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、或片段標頭等。藉此，可按編碼對象畫面，切換2以上之固定數，而可謀求處理量之刪減及編碼效率之提高。

此外，在本實施形態中，顯示了在合併模式總是使合併旗標附加於位元流之例，但未必限於此。舉例言之，亦可依據用於編碼對象區塊之框間預測之參考區塊的形狀等，強制選擇合併模式。此時，藉不使合併區塊附加於位元流，可刪減資訊量。

此外，在本實施形態，顯示了從編碼對象區塊之鄰接區塊複製預測方向、移動向量、及參考畫面索引，進行編碼對象區塊之編碼之合併模式，但未必限於此。舉例言之，亦可使用跨越合併模式。在跨越合併模式中，使用如第13A圖(b)所作成之合併區塊候補列表，與合併模式同樣地，從編碼對象區塊之鄰接區塊複製預測方向、移動向量、及參考畫面索引，進行編碼對象區塊之編碼。結果，若編碼對象區塊之所有預測誤差資料為0時，便將跨越旗標設定為1，並將跨越旗標及合併區塊索引附加於位元流。又，若預測誤差資料非0時，則將跨越旗標設定為0，將跨越旗標、合併旗標、合併區塊索引及預測誤差資料附加於位元流。

此外，在本實施形態中，顯示了使用從編碼對象區塊之鄰接區塊複製預測方向、移動向量及參考畫面索引，進行編碼對象區塊之編碼之合併模式的例子，但未必限於此。舉例言之，亦可使用如第13A圖(b)所作成之合併區塊候補列表，將移動向量檢測模式之移動向量編碼。亦即，藉從移動向量檢測模式之移動向量減去以合併區塊索引所指定之合併區塊候補的移動向量，而求出差分。然後，亦可將所求出之差分及合併區塊索引附加於位元流。

又，亦可使用移動向量檢測模式之參考畫面索引RefIdx_ME、合併區塊候補之參考畫面索引RefIdx_Merge，將合併區塊候補之移動向量MV_Merge定標，從移動檢測模式之移動向量減去定標後之合併區塊候補移動向量scaledMV_Merge，而求出差分。然後，亦可將所求出之差 分及合併區塊索引附加於位元流。於以下顯示定標之式之例。

(式2)scaledMV_Merge=MV_Merge×(POC(RefIdx_ME)-curPOC)/(POC(RefIdx_Merge)-curPOC)………(2)

在此，POC(RefIdx_ME)係顯示參考畫面索引RefIdx_ME所示之參考畫面之顯示順序。POC(RefIdx_Merge)顯示參考畫面索引RefIdx_Merge所示之參考畫面之顯示順序。curPOC顯示編碼對象畫面之顯示順序。

此外，在本實施形態中，在第12圖之步驟S105中，按合併區塊候補列表尺寸，進行可變長度編碼(參考第5圖)，亦可按以第14A圖之步驟S111(第15A圖)所算出之合併區塊候補數(可合併候補數=第1候補+重複候補)等其他參數，進行可變長度編碼。

(第2實施形態)

就使用本實施形態之圖像解碼方法之圖像解碼裝置，以第19圖~第22圖為基礎來說明。第19圖係顯示本實施形態之圖像解碼裝置300之結構的方塊圖。此圖像解碼裝置300係對應於第1實施形態之圖像編碼裝置100之裝置。圖像解碼裝置300將以第1實施形態之圖像編碼裝置100所生成之位元流所含之編碼圖像依各區塊解碼。

如第19圖所示，圖像解碼裝置300包含有可變長度解碼部301、反量化部302、反正交變換部303、加法部304、區塊記憶體305、圖框記憶體306、框內預測部307、框間預測 部308、框間預測控制部309、開關310、合併區塊候補算出部311、colPic記憶體312。

可變長度解碼部301對所輸入之位元流進行可變長度解碼處理，生成畫面類型資訊、合併旗標及量化係數。又，可變長度解碼部301使用合併區塊候補算出部311所算出之合併區塊候補數，進行合併區塊索引之可變長度解碼處理。

反量化部302對以可變長度解碼處理所得之量化係數進行反量化處理。

反正交變換部303藉將以反量化處理所得之正交變換係數從頻域變換為圖像域，而生成預測誤差資料。

相加預測誤差資料及預測圖像資料而生成之解碼圖像資料以區塊單位保存於區塊記憶體305。

解碼圖像資料以圖框單位保存於圖框記憶體306。

框內預測部307藉使用保存於區塊記憶體305之區塊單位之解碼圖像資料，進行框內預測，而生成解碼對象區塊之預測圖像資料。

框間預測部308藉使用保存於圖框記憶體306之圖框單位之解碼圖像資料，進行框間預測，而生成解碼對象區塊之預測圖像資料。

開關310於將解碼對象區塊進行框內預測解碼時，將以框內預測部307所生成之框內預測圖像資料作為解碼對象區塊之預測圖像資料而輸出至加法部304。另一方面，開關310於將解碼對象區塊進行框間預測解碼時，將以框間預測部308所生成之框間預測圖像資料作為解碼對象區塊之預 測圖像資料而輸出至加法部304。

合併區塊候補算出部311使用解碼對象區塊之鄰接區塊之移動向量等、及儲存於colPic記憶體312之同位置(co-located)區塊之移動向量等(colPic資訊)，導出合併區塊候補。進一步，合併區塊候補算出部311將所導出之合併區塊候補追加於合併區塊候補列表。

又，合併區塊候補算出部311以後述方法導出具有靜止區域用移動向量及參考畫面類型之合併區塊候補作為用以使編碼效率提高之新候補(第3候補)。然後，合併區塊候補算出部311將所導出之新候補作為新之合併區塊候補追加於合併區塊候補列表。進一步，合併區塊候補算出部311於合併區塊候補列表尺寸為可變時，算出合併區塊候補數。

又，合併區塊候補算出部311對所導出之各合併區塊候補，分配合併區塊索引之值。然後，合併區塊候補算出部311將分配有合併區塊索引之值之合併區塊候補發送至框間預測控制部309。又，合併區塊候補算出部311於合併區塊候補列表尺寸為可變時，將所算出之合併區塊候補數發送至可變長度解碼部301。

框間預測控制部309若已解碼之合併旗標為「0」，便使用移動向量檢測模式之資訊，使框間預測部308生成框間預測圖像。另一方面，若合併旗標為「1」，框間預測控制部309從複數合併區塊候補，依據已解碼之合併區塊索引，決定用於框間預測之移動向量、參考畫面索引及預測方向。然後，框間預測控制部309使用已決定之移動向量、參考畫 面索引及預測方向，使框間預測部308生成框間預測圖像。又，框間預測控制部309將包含解碼對象區塊之移動向量等之colPic資訊轉送至colPic記憶體312。

最後，加法部304藉將預測圖像資料與預測誤差資料相加，而生成解碼圖像資料。

第20圖係顯示本實施形態之圖像解碼裝置300之處理動作的流程圖。

在步驟S301，可變長度解碼部301將合併區塊解碼。

在步驟S302，若合併旗標為「1」(步驟S302之是(Yes))，在步驟S303，合併區塊候補算出部311算出合併區塊候補數作為合併區塊候補列表尺寸。

在步驟S304，可變長度解碼部301使用所算出之合併區塊候補列表尺寸，將位元流中之合併區塊索引進行可變長度解碼。

在步驟S305，合併區塊候補算出部311以與第12圖之步驟S101相同之方法，生成合併區塊候補(合併區塊候補列表)。又，框間預測控制部309依據業經解碼之合併區塊索引，從合併區塊候補算出部311所生成之合併區塊候補列表，界定在合併區塊之解碼使用之合併區塊候補。

在步驟S306，框間預測控制部309使用在步驟S305所界定之合併區塊候補之移動向量、參考畫面索引、及預測方向，使框間預測部308生成框間預測圖像。

在步驟S302，若合併旗標為0(步驟S302之否(No))，在步驟S307，框間預測部308使用以可變長度解碼部301所解 碼之移動向量檢測模式之資訊，生成框間預測圖像。

此外，在步驟S303所算出之合併區塊候補列表尺寸為「1」時，合併區塊索引亦可不解碼而推定為「0」。

第21圖及第22圖係顯示第20圖之步驟S303之詳細處理的流程圖。在此，於執行第21圖之處理後，執行第22圖之處理。

具體言之，第21圖顯示算出合併區塊候補[N]、及合併區塊候補列表尺寸之方法。以下，就第21圖簡單地說明。

合併區塊候補算出部311當開始處理時，便將N初始化為0。進一步，合併區塊候補算出部311將索引值分配至鄰接區塊(鄰接區塊A-D、同位置(co-located)合併區塊)。

在步驟S311，合併區塊候補算出部311判定合併區塊候補[N]是否為(1)業經以框內預測解碼之區塊、或(2)位於包含解碼對象區塊之片段或畫面交界外之區塊、或(3)尚未解碼之區塊。

若步驟S311之判定結果為真(步驟S311之是(Yes))，在步驟S312，合併區塊候補算出部311將合併區塊候補[N]設定為無法合併候補。另一方面，若步驟S311之判定結果為假(步驟S311之否(No))，在步驟S313，合併區塊候補算出部311將合併區塊候補[N]設定為可合併候補。

在步驟S314，合併區塊候補算出部311判定合併區塊候補[N]是否為可合併候補或同位置(co-located)合併區塊候補。

若步驟S314之判定結果為真(步驟S314之是(Yes))，在 步驟S315，合併區塊候補算出部311便於合併區塊候補數加1，更新值。若步驟S314之判定結果為假(步驟S314之否(No))，則不更新合併區塊候補數。

如此，在本實施形態，合併區塊候補算出部311於合併區塊候補為同位置(co-located)合併區塊時，不論同位置(co-located)區塊是否為可合併候補或無法合法候補，皆於合併區塊候補加1。藉此，即使因封包損失等，而損失同位置(co-located)合併區塊之資訊時，亦可防止在圖像編碼裝置及圖像解碼裝置，於合併區塊候補數產生不一致。

接著，執行第22圖所示之處理。第22圖顯示算出合併區塊候補之方法。以下，就第22圖作說明。

在步驟S321，合併區塊候補算出部311取得合併區塊候補[N]之移動向量、參考畫面索引及預測方向，追加於合併區塊候補列表。

在步驟S322，如第13A圖(a)及(b)所示，合併區塊候補算出部311從合併區塊候補列表搜尋無法合併候補及重複候補並刪除。進一步，合併區塊候補算出部311從合併區塊候補數減掉重複候補。

在步驟S323，合併區塊候補算出部311以與圖像編碼裝置100之第16圖相同之方法，於合併區塊候補列表追加新候補。此時，合併區塊候補數為第1候補數+新候補數。

此外，合併區塊候補算出部311在第20圖之步驟S303中，於合併區塊候補列表尺寸為可變時，將此合併區塊候補數設定為合併區塊候補列表尺寸。又，合併區塊候補算 出部311在第20圖之步驟S303中，於合併區塊候補列表尺寸為2以上之固定數時，將2以上之固定數設定為合併區塊候補列表尺寸。

進一步，合併區塊候補算出部311在第20圖之步驟S304，使用合併區塊候補列表尺寸，將合併區塊索引進行可變長度解碼。藉此，在本實施形態之圖像解碼裝置300，即使損失包含同位置(co-located)區塊等之參考畫面資訊時，亦可將合併區塊索引正常地解碼。

第23圖係顯示使合併區塊索引附加於位元流之際之語法之一例的圖。在第23圖中，merge_idx表示合併區塊索引。又，merge_flag表示合併旗標。又，NumMergeCand表示合併區塊候補列表尺寸。合併區塊候補列表尺寸在本實施形態中，設定以第21圖所示之處理所算出之合併區塊候補數。

如此，根據本實施形態之圖像解碼裝置300，以不依賴包含同位置(co-located)區塊等之參考畫面資訊之方法算出用於將合併區塊索引編碼或解碼之際的合併區塊候補列表尺寸。藉此，圖像解碼裝置300可適當地將提高了容錯性之位元流解碼。更具體言之，不論同位置(co-located)合併區塊是否為可合併候補，總是於合併區塊候補數加1。使用如此進行而算出之合併區塊候補數，決定分配至合併區塊索引之位元列。藉此，圖像解碼裝置300即使損失包含同位置(co-located)區塊之參考畫面資訊時，亦可將合併區塊索引正常地解碼。又，圖像解碼裝置300於合併區塊候補數未達 可合併候補數時，藉追加具有新之移動向量、參考畫面索引及預測方向之新候補，可將提高了編碼效率之位元流適當地解碼。

此外，在本實施形態中，僅對同位置(co-located)合併區塊，不論為可合併候補或無法合併候補，總是於合併區塊候補數加1，但不限於此，舉例言之，在第21圖之步驟S314，亦可對同位置(co-located)合併區塊以外之合併區塊候補，總是於合併區塊候補數加1。

又，在本實施形態，令合併區塊候補尺寸為2以上之固定數時，2以上之固定數亦可為合併區塊候補數之最大值Max。亦即，亦可將所有合併區塊候補視為可合併候補，將合併區塊候補列表尺寸固定在合併區塊候補數之最大值Max。舉例言之，在本實施形態中，由於合併區塊候補數之最大值Max為5(鄰接區塊A、鄰接區塊B、同位置(co-located)合併區塊、鄰接區塊C、鄰接區塊D)，故亦可總是於合併區塊候補列表尺寸設定「5」，將合併區塊索引解碼。

又，舉例言之，為不參考同位置(co-located)區塊之畫面(參考I畫面之B畫面或P畫面)時等，於合併區塊候補數之最大值Max為4(鄰接區塊A、鄰接區塊B、鄰接區塊C、鄰接區塊D)時，亦可總是於合併區塊候補尺寸設定「4」，將合併區塊索引解碼。

藉此，圖像解碼裝置300之可變長度解碼部301可在不參考鄰接區塊或同位置(co-located)區塊之資訊下將位元流 中之合併區塊索引解碼。此時，亦可省略第21圖之步驟S314、步驟S315之處理，而可刪減可變長度解碼部301之處理量。

又，第24圖係顯示將合併區塊候補列表尺寸固定在合併區塊候補數之最大值Max時之語法之一例的圖。如第24圖，令合併區塊候補列表尺寸為2以上之固定數(例如合併區塊候補數之最大值Max)時，可從語法刪除NumMergeCand。亦即，可在不使用NumMergeCand下，進行處理。又，亦可使用將2以上之固定數(例如合併區塊候補數之最大值Max)埋入SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、或片段標頭等之值。藉此，藉按解碼對象畫面，轉換2以上之固定數，可將來自畫面編碼裝置100之位元流正確地解碼。此時，亦可從SPS、PPS、或片段標頭等將2以上之固定數解碼，使用該值，將合併區塊索引解碼。

此外，在本實施形態中，在第20圖之步驟S304，進行了按照合併區塊候補列表尺寸之可變長度解碼(參考第5圖)，亦可按照其他參數，進行可變長度編碼。舉例言之，在第1實施形態之圖像編碼裝置100，使用以第14A圖之步驟S111(第15A圖)所算出之合併區塊候補數(可合併候補數=第1候補+重複候補數)時，亦可使用以第21圖所示之處理所算出之合併區塊候補數，進行可變長度解碼。此時，亦可以步驟S305進行第22圖所示之處理。

在此，在第21圖所示之處理中，依據區塊候補[N]是否 為(1)業經以框內預測解碼之區塊、或(2)位於包含解碼對象區塊之片段或畫面交界外之區塊、或(3)尚未解碼之區塊，進行判定。即，在不使用預測方向、移動向量及參考畫面索引之資訊下，可求出用於可變長度解碼之合併區塊候補數。因而，於獨立執行求出預測方向、移動向量及參考畫面索引之處理與求出合併區塊索引之處理時，可不等待求出預測方向、移動向量及參考畫面索引之處理的執行結果，而進行求出合併區塊索引之處理，而可謀求處理速度之提高。

(第1實施形態及第2實施形態之變形例)

在上述第1實施形態及第2實施形態中，令合併區塊候補列表尺寸為2以上之固定數時，於合併區塊候補列表有空缺時，為使容錯性提高，亦可於合併區塊候補列表之空缺部份加入預定提高容錯性用之合併區塊候補(第2候補)。

第2候補若對象畫面(編碼對象畫面或解碼對象畫面)為B畫面時，在雙向預測，亦可分配預測方向0之參考畫面索引為0、移動向量為(0、0)之合併區塊候補及預測方向1之參考畫面索引為0、移動向量為(0、0)之合併區塊候補作為第2候補。又，若編碼對象畫面為P畫面時，在單向預測，亦可分配預測方向0之參考畫面索引為0、移動向量為(0、0)之合併區塊候補作為第2候補。因第2候補係用以使容錯性提高之候補，故即使於追加複數第2候補時，亦可全部設定為相同之值。此外，因關於第3候補，為用以使編碼效率提高之候補，故於追加複數第3候補時，追加不同之候補。惟，第 3候補在第1候補及第2候補間，結果亦可存在相同之候補。

此外，分配第2候補之方法考慮(1)於追加新候補(第3候補)後，將第2候補分配至空候補，或者(2)於合併區塊候補列表之所有要件加入第2候補後初始化。

首先，就在圖像編碼裝置100，(1)於追加新候補(第3候補)後，將第2候補分配至空候補之情形作說明。

在此，第13B圖係顯示於追加新候補(第3候補)後，將第2候補分配至空候補時之合併區塊候補列表之表。在第13B圖中，就合併區塊候補數之最大值Max為6之情形例示。

又，第14B圖係顯示第12圖所示之步驟S101之詳細處理的流程圖。此外，在第14B圖中，由於步驟S111~S114之處理與第1實施形態之圖像編碼裝置100之第14A圖之步驟S111~S114的處理相同，故省略說明。

在步驟S111~S114，圖像編碼裝置100之合併區塊候補算出部114從鄰接區塊求出第1候補，刪除無法合併候補及重複候補後，加進新候補。於追加新候補，如第13B圖(b)所示，由於區塊候補數為6，故未於合併區塊候補[5]分配合併區塊候補。

在步驟S116，合併區塊候補算出部114於空之候補列表分派第2候補。第17圖係顯示第14B圖所示之步驟S116之詳細處理的流程圖。

在步驟S141，合併區塊候補算出部114判定合併區塊候補數是否小於合併區塊候補列表尺寸(在第17圖簡稱為候補列表尺寸)。亦即，判定是否有空要件。

若步驟S141之判定結果為真(步驟S141之是(Yes))，在步驟S142，合併區塊候補算出部114於空候補列表(空要件)追加第2候補。如上述，緊接在追加新候補之後，未於合併區塊候補[5]分配合併區塊候補。此時，合併區塊候補算出部114於合併區塊候補[5]追加第2候補。第2候補如上述，亦可為在雙方向預測，預測方向0之參考畫面索引為0、移動向量為(0、0)、預測方向1之參考畫面索引為0、移動向量為(0、0)之合併區塊候補。進一步，在步驟S143，合併區塊候補算出部114於合併區塊候補數加1。

若步驟S141之判定結果為假(步驟S141之否(No))，便結束處理。

第13B圖(c)係顯示追加第2候補後之合併區塊候補列表之一例的表。

接著，就在圖像編碼裝置100中，(2)於合併區塊候補列表之所有要件加入第2候補後初始化之情形作說明。

在此，第13C圖係顯示以第2候補將合併區塊候補列表初始化時之合併區塊候補列表之表。在第13C圖，就合併區塊候補數之最大值Max為6之情形例示。

又，第14C圖係顯示第12圖所示之步驟S101之詳細處理的流程圖。

在步驟S117，合併區塊候補算出部114將合併區塊候補列表(候補列表)初始化。第13C圖(a)顯示初始化後之候補列表之一例。在第13C圖(a)，於合併區塊候補[0]~[5]全部加入第2候補。此外，雖在第13C圖(a)未明示，第2候補皆相同。

在步驟S118，合併區塊候補算出部114導出第1候補，將第1候補之數更新作為合併區塊候補數。N1係顯示鄰接區塊之值。在此，因鄰接區塊為鄰接區塊A~D及同位置(co-located)合併區塊6個，故以0~5規定。又，在此之第1候補係無法合併候補及重複候補之外之候補。進一步，合併區塊候補算出部114於候補列表追加第1候補，取得移動向量、參考畫面索引及預測方向。第13C圖(b)係顯示追加第1候補後之合併區塊候補列表之表。

在步驟S114，合併區塊候補算出部114以與第1實施形態相同之方法，追加新候補。第13C圖(c)係顯示追加新候補後之合併區塊候補列表之表。

第15B圖係顯示第14C圖之步驟S118之詳細處理的流程圖。

在步驟S126，合併區塊候補算出部114判定鄰接區塊是否為(1)業經以框內預測編碼之區塊、或(2)位於包含編碼對象區塊之片段或畫面交界外之區塊、或(3)尚未編碼之區塊、或(4)具有與已追加於候補列表之合併區塊候補之其中任一者相同之預測方向、移動向量及參考畫面索引的區塊(重複候補)。

當步驟S126之判定結果為真(步驟S126之是(Yes))時，合併區塊候補算出部114判定為無法合併候補。另一方面，當步驟S126之判定結果為假(步驟S126之否(No))時，合併區塊候補算出部114判定為可合併候補。

在步驟S124，對鄰接區塊之步驟S126之判定結果為可 合併候補時，或鄰接區塊為同位置(co-located)合併區塊時，於合併區塊候補列表追加合併區塊候補，於合併區塊候補數加1。

此外，第13C圖(c)與第13B圖(c)相同，不論於追加新候補後，或追加第2候補時，最初以第2候補將合併區塊候補列表初始化時，皆可獲得相同之合併區塊候補列表。

在圖像解碼裝置300，亦藉以同樣之方法，作成合併區塊候補列表，可將合併區塊索引正確地解碼。

於合併區塊候補列表有空要件時，在圖像解碼裝置300，有於合併區塊候補之重複候補之刪除產生錯誤，重複候補不被刪除而留下之可能性。此時，合併區塊候補列表尺寸為2以上之固定數時，有於合併區塊候補列表存在未分配合併區塊候補之候補的可能性。

在該變形例中，由於於所有空候補列表追加第2候補，故可避免存在未分配合併區塊候補之候補的狀況。

此外，在本變形例，顯示於未分配合併區塊候補之合併區塊索引分配參考畫面為0、移動向量為(0、0)之合併區塊候補(第2候補)之例，但未必限於此。其他第2候補亦可為複製其他鄰接區塊之參考畫面索引、移動向量、及預測方向作為合併區塊候補。又，亦可取從鄰接區塊而得之候補之平均等從自鄰接區塊而得之候補生成。

此外，在上述變形例中，就分配第2候補之方法係(1)於追加新候補(第3候補)後，於空候補分配第2候補，或(2)於合併區塊候補列表之所有要件加入第2候補後初始化之 方法作了說明，但不限於此。

舉例言之，在圖像解碼裝置300，在第20圖之步驟S306，亦可判定於業經解碼之合併區塊索引是否未分配合併區塊候補，若判定結果為真，便追加第2候補。亦即，在步驟S305，亦可不作成無空要件之合併區塊候補列表，而僅於業經解碼之合併區塊索引所示之要件為空要件時，僅對該空要件追加第2候補。此時，可刪減處理量。

此外，第2候補亦可使用參考畫面為0、移動向量為(0、0)之合併區塊候補、分配至其他合併區塊索引之合併區塊候補、或者從分配至其他合併區塊索引之合併區塊候補所生成之合併區塊候補等。

又，舉例言之，在圖像解碼裝置300，亦可在第20圖之步驟S306中，判定業經解碼之合併區塊索引是否為以步驟S303所求出之合併區塊候補數以上，若判定結果為真，便追加第2候補。亦即，業經解碼之合併區塊索引為以步驟S303所求出之合併區塊候補數以下時，便省略追加第2候補之處理。此時，可刪減處理量。

此外，第2候補亦可使用參考畫面為0、移動向量為(0、0)之合併區塊候補、分配至其他合併區塊索引之合併區塊候補、或者從分配至其他合併區塊索引之合併區塊候補所生成之合併區塊候補等。

又，舉例言之，在圖像解碼裝置300，亦可在第20圖之步驟S306，判定所解碼之合併區塊索引是否為以步驟S303所求出之合併區塊候補數以上，若判定結果為真，便以合 併區塊候補數之值將合併區塊索引之值縮減，俾使合併區塊索引為小於合併區塊候補數之值。

根據本實施形態之圖像編碼裝置100及圖像解碼裝置300，藉執行此種處理，於無法將合併區塊索引正常解碼時，即使於合併區塊候補之重複候補的刪除產生錯誤時，亦可避免於業經解碼之合併區塊索引未分配合併區塊候補之狀況。藉此，可使容錯性提高。

(第3實施形態)

藉將用以實現在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)之結構的程式記錄於記憶媒體，可在獨立之電腦系統，簡單地實施在上述各實施形態所示之處理。記憶媒體只要為磁碟、光碟、磁光碟、IC卡、半導體記憶體等可記錄程式者即可。

再者，在此，說明在上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)及動態圖像解碼方法(圖像解碼方法)之應用例及使用其之系統。該系統特徵在於具有由使用圖像編碼方法之圖像編碼裝置及使用圖像解碼方法之圖像解碼裝置構成之圖像編碼解碼裝置。關於系統之其他結構，可按情形適當地變更。

第25圖係顯示實現內容遞送服務之內容供給系統ex100之全體結構的圖。將通信服務之提供區域分割成所期之大小，於各細胞內分別設置有為固定無線台之基地台ex106、ex107、ex108、ex109、ex110。

此內容供給系統ex100於網際網路ex101藉由網際網路服務提供者ex102及電話網ex104、以及基地台ex106至110，連接電腦ex111、PDA(Personal Digital Assistant)ex112、照相機ex113、行動電話ex114、遊戲機ex115等各機器。

然而，內容供給系統ex100不限於第25圖之結構，亦可組合任一要件而連接。又，各機器亦可從為固定無線台之基地台ex106不藉由ex110而直接連接於電話網ex104。又，各機器亦可藉由近距離無線等直接相互連接。

照相機ex113係數位攝影機等可進行動態影像拍攝之機器，照相機ex116係數位照相機等可進行靜態影像拍攝、動態影像拍攝之機器。又，行動電話ex114為GSM(註冊商標)(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或者LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)之行動電話、或PHS(Personal Handphone System)等，可為其中任一者。

在內容供給系統ex100，藉照相機ex113等透過基地台ex109、電話網ex104而連接於串流伺服器103，可進行實況遞送。在實況遞送，用戶對使用照相機ex113拍攝之內容(例如音樂實況之影像等)如上述各實施形態所說明，進行編碼處理(即，具有作為本發明一態樣之圖像編碼裝置之功能)，發送至串流伺服器ex103。另一方面，串流伺服器ex103將 對有要求之客戶所發送之內容資料進行串流遞送。客戶有可將業經上述編碼處理之資料解碼之電腦ex111、PDAex112、照相機ex113、行動電話ex114、遊戲機ex115等。在接收了所遞送之資料之各機器，將所接收之資料進行解碼處理而再生(即，具有作為本發明一態樣之圖像解碼裝置之功能)。

此外，所拍攝之資料之編碼處理可以照相機ex113進行，亦可以進行資料之發送處理之串流伺服器ex103進行，亦可相互分擔進行。同樣地所遞送之資料之解碼處理可以客戶進行，亦可以串流伺服器ex103進行，亦可相互分擔進行。又，不限於照相機ex113，亦可將以照相機ex116所拍攝之靜態圖像及/或動態圖像資料藉由電腦ex111發送至串流伺服器ex103。此時之編碼處理可以照相機ex116、電腦ex111、串流伺服器ex103任一者進行，亦可相互分擔進行。

又，該等編碼、解碼處理一般在電腦ex111或各機器具有之LSIex500處理。LSIex500可為單晶片，亦可為由多晶片構成之結構。此外，亦可將動態圖像編碼、解碼用軟體組入可以電腦ex111等讀取之任一記錄媒體(CD-ROM、軟碟、硬碟等)，使用該軟體，進行編碼、解碼處理。再者，行動電話ex114附有照相機時，亦可發送以該照相機所取得之動態影像資料。此時之動態影像資料係業經以行動電話ex114具有之LSIex500進行編碼處理之資料。

又，串流伺服器ex103亦可為複數伺服器或複數電腦，而將資料分散處理、記錄、或遞送者。

如以上進行，在內容供給系統ex100，客戶可接收業經編碼之資料而將之再生。如此，在內容供給系統ex100，客戶即時接收用戶所發送之資訊而將之解碼、再生，不具有特別之權利或設備之用戶亦可實現個人播放。

此外，不限於內容供給系統ex100之例，如第26圖所示，亦可於數位播放用系統ex200組入上述各實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之其中任一個。具體言之，在播放台ex201，將音樂資料等業經多工於影像資料之多工資料藉由電波傳送至通信或衛星ex202。此影像資料係以在上述各實施形態所說明之動態編碼方法所編碼之資料(即，以本發明一態樣之圖像編碼裝置所編碼之資料)。接受此之播放衛星ex202發送播放用電波，可進行衛星播放之接收之家庭之天線ex204接收此電波。電視(接收機)ex300或數控器(STB)ex217等裝置將所接收之多工資料解碼而再生(即，具有本發明一態樣之圖像解碼裝置之功能)。

又，亦可於讀取器/記錄器ex218安裝在上述各實施形態所示之動態圖像解碼裝置或動態圖像編碼裝置，該讀取器/記錄器ex218係讀取記錄於DVD、BD等記錄媒體ex215之多工資料而解碼，或者於記錄媒體ex215將影像信號編碼，進一步依情況與音樂信號多工而寫入。此時，業經再生之影像信號顯示於監視器ex219，以記錄有多工資料之記錄媒體ex215在其他裝置或系統將影像信號再生。又，亦可於連接於有線電視用電纜ex203或播放衛星/地波之天線ex204之數 控器ex217內安裝動態解碼裝置，將此以電視之監視器ex219顯示。此時，亦可不於數控器，而於電視內組入動態圖像解碼裝置。

第27圖係顯示使用在上述各實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之電視(接收機)ex300的圖。電視ex300具有藉由接收上述播放之天線ex204或電纜ex203等取得或輸出聲音資料業經多工於影像資料之多工資料之調諧器ex301、將所接收之多工資料解調或調變成發送至外部之多工資料之調變/解調部ex302、將業經解調之多工資料分離成影像資料及聲音資料、或將業經以信號處理部ex306編碼之影像資料、聲音資料多工之多工/分離部ex303。

又，電視ex300具有信號處理部ex306及輸出部ex309，該信號處理部具有將聲音資料、影像資料分別解碼、或將各資訊編碼之聲音信號處理部ex304、影像信號處理部ex305(具有作為本發明一態樣之圖像編碼裝置或圖像解碼裝置之功能)，該輸出部具有輸出業經解碼之聲音信號之揚聲器ex307、顯示業經解碼之影像信號之顯示器等顯示部ex308。再者，電視ex300具有具有受理用戶操作之輸入之操作輸入部ex312等之介面部ex317。再者，電視ex300具有統括控制各部之控制部ex310、將電力供至各部之電源電路部ex311。介面部ex317除了操作輸入部ex312以外，亦可具有與讀取器/記錄器ex218等外部機器連接之橋接器ex313、用以可裝設SD卡等記錄媒體ex216之擴充槽部ex314、用以 與硬碟等外部記錄媒體連接之驅動器ex315、與電話網連接之數據機ex316等。此外，記錄媒體ex216係可以儲存之非依電性/依電性半導體記憶體元件電性記錄資訊者。電視ex300之各部藉由同步匯流排相互連接。

首先，就電視ex300將以天線ex204等從外部取得之多工資料編碼、再生之結構作說明。電視ex300接受來自遠程控制器ex220等之用戶操作，依據具有CPU等之控制部ex310之控制，以多工/分離部ex303將業經以調變/解調部ex302解調之多工資料分離。進一步，電視ex300將業經分離之聲音資料以聲音信號處理部ex304解碼，並將業經分離之影像資料以影像信號處理部ex305使用在上述各實施形態所說明之解碼方法解碼。業經解碼之聲音信號、影像信號分別從輸出部ex309朝外部輸出。於輸出之際，為使聲音信號及影像信號同步再生，可將該等信號暫時儲存於緩衝器ex318、ex319等。又，電視ex300亦可不從播放等，而從磁/光碟、SD卡等記錄媒體ex215、ex216讀取多工資料。接著，就電視ex300將聲音信號或影像信號編碼且發送至外部或寫入至記錄媒體等之結構作說明。電視ex300接受來自遠程控制器ex220等之用戶操作，依據控制部ex310之控制，以聲音信號處理部ex304將聲音信號編碼，以影像信號處理部ex305將影像信號使用在上述各實施形態所說明之編碼方法編碼。業經編碼之聲音信號、影像信號以多工/分離部ex303多工，輸出至外部。於多工之際，為使聲音信號與影像信號同步，可將該等信號暫時儲存於緩衝器ex320、ex321 等。此外，緩衝器ex318、ex319、ex320、ex321可如圖示，具有複數個，亦可為共有1個以上緩衝器之結構。再者，圖示以外，亦可於緩衝器儲存資料作為在調變/解調部ex302或多工/分離部ex303間等亦可避免系統之資料溢出、資料不足之緩衝材。

又，電視ex300亦可具有除了從播放或記錄媒體等取得聲音資料、影像資料以外，還受理麥克風或照相機之AV輸出之結構，對從該等取得之資料進行編碼處理。此外，在此，電視ex300以可進行上述編碼處理、多工、及外部輸出之結構作了說明，亦可為無法進行該等處理，而僅可進行上述接收、解碼處理、外部輸出之結構。

又，以讀取器/記錄器ex218從記錄媒體讀取或寫入多工資料時，上述解碼處理或編碼處理可以電視ex300、讀取器/記錄器ex218其中任一者進行，亦可電視ex300與讀取器/記錄器ex218相互分擔進行。

一例係於第28圖顯示從光碟進行資料之讀入或寫入時之資訊再生/記錄部ex400之結構。資訊再生/記錄部ex400具有以下說明之要件ex401、ex402、ex403、ex404、ex405、ex406、ex407。光學磁頭ex401係將雷射光點照射於為光碟之記錄媒體ex215之記錄面，寫入資訊，檢測來自記錄媒體ex215之記錄面之反射光，讀入資訊。調變記錄部ex402電性驅動內藏於光學磁頭ex401之半導體雷射，按照記錄資料，進行雷射光之調變。再生解調部ex403藉內藏於光學磁頭ex401之光偵測器，將已電性檢測出來自記錄面之反射光 之再生信號放大，分離記錄於記錄媒體ex215之信號成份而解調，再生必要之資訊。緩衝器404暫時保持用以記錄於記錄媒體ex215之資訊及從記錄媒體ex215再生之資訊。碟片馬達ex405使記錄媒體ex215旋轉。伺服控制部ex406一面控制碟片馬達ex405之旋轉驅動，一面使光學磁頭ex401移動至預定之資訊軌，進行雷射光點之追隨處理。系統控制部ex407進行資訊再生/記錄部ex400全體之控制。上述讀取或寫入之處理係藉下述動作實現，前述動作係系統控制部ex407利用保持於緩衝器ex404之各種資訊，又依需要，進行新之資訊之生成、追加，並且一面使調變記錄部ex402、再生解調部ex403、伺服控制部ex406協同運作，一面透過光學磁頭ex401，進行資訊之記錄再生。系統控制部ex407以微處理器構成，藉執行讀取寫入之程式，執行該等處理。

在以上，光學磁頭ex401以照射雷射光作了說明，亦可為使用近場光來進行更高密度之記錄之結構。

於第29圖顯示為光碟之記錄媒體ex215之示意圖。引導溝(溝槽)於記錄媒體ex215之記錄面形成螺旋狀，於資訊軌ex230預先記錄有根據之溝槽形狀之變化而顯示碟上之絕對位置之所在位置資訊。此所在位置資訊包含用以界定為記錄資料之單位之記錄區塊ex231之位置的資訊，藉在進行記錄或再生之裝置，將資訊軌ex230再生，讀取所在位置資訊，可界定記錄區塊。又，記錄媒體ex215包含資料記錄區域ex233、內周區域ex232、外周區域ex234。用於記錄用戶資料之區域係資料記錄區域ex233，配置於比資料記錄區域 ex233還內周或外周之內周區域ex232與外周區域ex234用於用戶資料之記錄以外的特定用途。資訊再生/記錄部ex400對此種記錄媒體ex215之資料記錄區域ex233進行業經編碼之聲音資料、影像資料、或該等資料業經多工之多工資料的讀寫。

在以上，舉1層之DVD、BD等光碟為例作了說明，但不限於此，亦可為多層構造且亦可記錄於表面以外之光碟。又，亦可為下述光碟，前述光碟於碟片之相同處使用各種不同之波長之顏色的光，記錄資訊，或從各種角度記錄不同之資訊之層等進行多維之記錄/再生的構造之光碟。

又，在數位播放用系統ex200，亦可以具有天線ex205之車ex210從衛星ex202等接收資料，將動態影像再生於車ex210具有之汽車導航ex211等顯示裝置。此外，汽車導航ex211之結構亦可考慮第27圖所示之結構中加入GPS接收部之結構，同樣之情況亦可考慮電腦ex111或行動電話ex114等。

第30A圖係顯示使用在上述實施形態所說明之動態圖像解碼方法及動態圖像編碼方法之行動電話ex114的圖。行動電話ex114具有用以在與基地台ex110間發送接收電波之天線ex350、可拍攝影像、靜態影像之照相機部ex365、顯示以照相機部ex365所拍攝之影像、以天線ex350所接收之影像等業經解碼之資料之液晶顯示器等顯示部ex358。行動電話ex114更具有具有操作鍵部ex366之本體部、用以輸出聲音之揚聲器等之聲音輸出部ex357、用以輸入聲音之麥克 風等之聲音輸入部ex356、保存所拍攝之影像、靜態影像、錄音之聲音、或所接收之影像、靜態影像、郵件等業經編碼之資料或業經解碼之資料的記憶體部ex367、還有為與同樣地保存資料之記錄媒體之介面部之擴充槽部ex364。

進一步，就行動電話ex114之結構例，使用第30B圖作說明。行動電話ex114對統括控制具有顯示部ex358及操作鍵部ex366之本體部之各部的主控制部ex360，藉由匯流排ex367相互連接電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機介面部ex363、LCD(Liquid Crystal Display)控制部ex359、調變/解調部ex352、多工/分離部ex353、聲音信號處理部ex354、擴充槽部ex364、記憶體部ex367。

電源電路部ex361當藉用戶之操作令話終及電源鍵為開啟狀態時，藉從電池組對各部供給電力，可將行動電話ex114啟動成可運作之狀態。

行動電話ex114依據具有CPU、ROM、RAM等之主控制部ex360之控制，於聲音通話模式時，將以聲音輸入部ex356所收音之聲音信號以聲音信號處理部ex354變換成數位聲音信號，將此以調變/解調部ex352進行展頻處理，以發送/接收部ex351施行數位類比變換處理及頻率變換處理後，藉由天線ex350發送。又，行動電話ex114於聲音通話模式時，將藉由天線ex350所接收之接收資料放大，施行頻率變換處理及類比數位變換處理，以調變/解調部ex352進行解展頻處理，以聲音信號處理部ex354變換成類比聲音信號後，將此 從聲音輸出部ex357輸出。

再者，於資料通信模式時，發送電子郵件時，以本體部之操作鍵部ex366等之操作所輸入之電子郵件的本文資料藉由操作輸入控制部ex362，送出至主控制部ex360。主控制部ex360將本文資料以調變/解調部ex352進行展頻處理，以發送/接收部ex351施行數位類比變換處理及頻率變換處理後，藉由天線ex350，發送至基地台ex110。接收電子郵件時，對所接收之資料進行此之大致相反之處理，輸出至顯示部ex358。

於資料通訊模式時，發送影像、靜態影像、或影像與聲音時，影像信號處理部ex355以在上述各實施形態所示之動態圖像編碼方法將從照相機部ex365所供給之影像信號壓縮編碼(即，具有作為本發明一態樣之圖像編碼裝置之功能)，將業經編碼之影像資料送出至多工/分離部ex353。又，聲音信號處理部ex354將正以照相機部ex365拍攝影像、靜態影像等時以聲音輸入部ex356所收音之聲音信號編碼，將業經編碼之聲音資料送出至多工/分離部ex353。

多工/分離部ex353以預定方式將從影像信號處理部ex355所供給之業經編碼之影像資料與從聲音信號處理部ex354所供給之業經編碼的聲音資料多工，結果，將所得之多工資料以調變/解調部(調變/解調電路部)ex352進行展頻處理，以發送/接收部ex351施行數位類比變換處理及頻率變換處理後，藉由天線ex350發送。

於資料通信模式時，接收鏈結於首頁等之動態圖像檔 案之資料時，或接收附加了影像或聲音之電子郵件時，為將藉由天線ex350所接收之多工資料解碼，多工/分離部ex350藉將多工資料分離，分成影像資料之位元流與聲音資料之位元流，藉由同步匯流排ex370，將業經編碼之影像資料供至影像信號處理部ex355，並且，將業經編碼之聲音資料供至聲音信號處理部ex354。影像信號處理部ex355藉以對應於在上述各實施形態所示之動態圖像編碼方法之動態圖像解碼方法解碼，而將影像信號解碼(即，具有作為本發明一態樣之圖像解碼裝置之功能)，藉由LCD控制部ex359，從顯示部ex358顯示鏈結於主頁之動態圖像檔案所含之影像、靜態影像。又，聲音信號處理部ex354將聲音信號解碼，從聲音輸出部ex357輸出聲音。

又，上述行動電話ex114等之終端與電視ex300同樣地，除了具有編碼器、解碼器兩者之發送接收式終端外，還可考慮僅編碼器之發送終端、僅解碼器之接收終端之3種安裝形式。再者，在數位播放用系統ex200，說明了接收、發送音樂資料等業經多工於影像資料之多工資料，除了聲音資料以外，亦可為與影像相關之文字資料等業經多工之資料，亦可不為多工資料而為影像資料自身。

如此，可將在上述各實施形態所示之動態圖像編碼方法或動態圖像解碼方法用於上述任一機器、系統，藉如此進行，可獲得在上述各實施形態所說明之效果。

又，本發明不限於此上述實施形態，在不脫離本發明之範圍下，可進行各種變形或修正。

(第4實施形態)

藉依需要適宜轉換在上述各實施形態所示之動態圖像編碼方法或裝置與依據MPEG-2、MPEG4-AVC、VC-1等不同之規格之動態圖像編碼方法或裝置，亦可生成影像資料。

在此，生成依據各自不同之規格之複數影像資料時，於解碼之際，需選擇對應於各自之規格之解碼方法。然而，由於無法識別解碼之影像資料為依據何種規格者，故產生無法選擇適當之解碼方法之課題。

為解決此課題，業經將聲音資料等多工於影像資料之多工資料係包含顯示影像資料為依據何種規格之識別資訊的結構。以下說明包含以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之多工資料的具體結構。多工資料係MPEG-2傳輸串流形式之數位串流。

第31圖係顯示多工資料之結構的圖。如第31圖所示，多工資料係藉將視訊串流、聲頻串流、演示圖形串流(PG)、交談圖形串流中1個以上多工而得者。視訊串流顯示影片之主影像及副影像，聲頻串流(IG)顯示影片之主聲音部份及與該主聲音混頻之副聲音，演示圖形串流顯示影片之字幕。在此，主影像係顯示顯示於畫面之普通影像，副影像係指在主影像中以小畫面顯示之影像。又，交談圖形串流顯示藉於畫面上配置GUI零件而作成之對話畫面。視訊串流以在上述各實施形態所示之動態圖像編碼方法或裝置、依據習知MPEG-2、MPEG4-AVC、VC-1等之規格之動態圖像編碼方法或裝置編碼。聲頻串流係以杜比-AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD或線性PCM等方式編碼。

多工資料所含之各串流以PID識別。舉例言之，對利用於影片之影像之視訊串流分配0x1011，對聲頻串流分配0x1100至0x111F，對演示圖形串流分配0x1200至0x121F，對交談圖形串流分配0x1400至0x141F，對利用於影片之副影像之視訊串流分配0x1B00至0x1B1F，對利用於與主聲音混頻之副聲音之聲頻串流分配0x1A00至0x1A1F。

第32圖係示意顯示多工資料如何多工之圖。首先，將由複數視訊框構成之視訊串流ex235、由複數音頻框構成之聲頻串流ex238分別變換成PES封包列ex236及ex239，而轉換成TS封包ex237及ex240。同樣地，將演示圖形串流ex241及交談圖形串流ex244之資料分別變換成PES封包列ex242及ex245，進一步，變換成TS封包ex243及ex246。多工資料ex247藉將該等TS封包於1條串流多工而構成。

第33圖更詳細地顯示視訊串流如何儲存於PES封包列。第33圖之第1段顯示視訊串流之視訊框列。第2段顯示PES封包列。如第33圖之箭號yy1、yy2、yy3、yy4所示，視訊串流之複數Video Presentation Unit之I畫面、B畫面、P畫面依各畫面分割，儲存於PES封包之酬載。各PES封包具有PED標頭，於PES標頭儲存為畫面之顯示時刻之PTS(Presentaion Time-Stamp)或畫面之解碼時刻之DTS(Decoding Time-Stamp)。

第34圖顯示於多工資料最終寫入之TS封包之形式。TS封包係由具有識別串流之PID等資訊之4位元組(Byte) 的TS標頭與由儲存資料之184位元組(Byte)之TS酬載構成之188位元組(Byte)固定長的封包，上述PES封包分割而儲存於TS酬載。為BD-ROM時，對TS封包賦與4位元組(Byte)之TP_Extra-Header，構成192位元組(Byte)之來源封包，寫入至多工資料。於TP_Extra_Header記載ATS(Arrival_Time_Stamp)等之資訊。ATS顯示對該TS封包之解碼器之PID檔案的轉送開始時刻。如第34圖下段所示，於多工資料排列來源封包，從多工資料之前頭遞增之號碼稱為SPN(來源封源號碼)。

又，於多工資料所含之TS封包除了影像、聲音、字幕等各串流以外，亦有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT顯示利用於多工資料中之PMT之PID為何，PAT自身之PID以0登記。PMT具有多工資料中所含之影像、聲音、字幕等各串流之PID及對應於各PID之串流之屬性資訊，又具有關於多工資料之各種描述符。描述符有指示許可、不許可多工資料之複製之複製控制資訊等。PCR為取得ATS之時間軸ATC(Arrival Time Clock)及PTS、DTS之時間軸STC(System Time Clock)的同步，而具有對應於該PCR封包轉送至解碼器之ATS之STC時間的資訊。

第35圖係詳細說明PMT之資料構造之圖。於PMT之前頭配置記錄有該PMT所含之資料之長度等的PMT標頭。於其後面配置複數關於多工資料之描述符。上述複製控制資料等記載作為描述符。於描述符之後面配置複數關於多工 資料所含之各串流之串流資訊。串流資訊由記載有用以識別串流之壓縮編解碼器等之串流類型、串流之PID、串流之屬性資訊(圖框率、長寬比等)之串流描述符構成。串流描述符僅存在存在於多工資料之串流之數。

記錄於記錄媒體等時，上述多工資料與多工資料資訊檔案一同記錄。

如第36圖所示，多工資料資訊檔案係多工資料之管理資訊，與多工資料1對1對應，由多工資料資訊、串流屬性資訊及登錄圖構成。

如第36圖所示，多工資料資訊由系統速率、再生開始時刻、再生結束時刻構成。系統速率顯示多工資料之對後述系統標的解碼器之PID檔案的最大轉送速率。多工資料中所含之ATS之間隔設定為系統速率以下。再生開始時刻係多工資料之前頭之視訊框的PTS，再生結束時刻設定於多工資料之終端之視訊框之PTS加上1框量的再生間隔者。

如第37圖所示，串流屬性資訊係依各PID登記關於多工資料所含之各串流之屬性資訊。屬性資訊具有依各視訊串流、聲頻串流、演示圖形串流、交談圖形串流不同之資訊。視訊串流屬性資訊係具有該視訊串流以何種壓縮編解碼器壓縮、構成視訊串流之各畫面資料之解析度為多少、長寬比為多少、圖框率為多少等的資訊。聲頻串流屬性資訊具有該聲頻串流以何種壓縮編解碼器壓縮、該聲頻串流所含之頻道數為何、對應於何種語言、取樣頻率為多少等的資訊。該等資訊利用於播放機再生前之解碼器之初始化等。

在本實施形態中，利用上述多工資料中PMT所含之串流類型。又，於記錄媒體記錄有多工資料時，利用多工資料所含之視訊串流屬性資訊。具體言之，在上述各實施形態所示之動態圖像編碼方法或裝置中，設對PMT所含之串流類型、或視訊串流屬性資訊設定顯示以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料之固有資訊的步驟或機構。藉此結構，可識別以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料與依據其他規格之影像資料。

又，於第38圖顯示本實施形態之動態圖像解碼方法之步驟。在步驟exS100中，從多工資料取得PMT所含之串流類型或多工資料資訊所含之視訊串流屬性資訊。接著，在步驟exS101，判斷串流類型或視訊串流屬性資訊是否顯示為以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之多工資料。然後，判定串流類型或視訊串流屬性資訊為以在上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，在步驟exS102，以在上述各實施形態所示之動態圖像解碼方法進行解碼。又，顯示串流類型資訊或視訊串流屬性資訊係依據習知MPEG-2、MPEG4-AVC、VC-1等之規格者時，在步驟exS103，以依據習知規格之動態圖像解碼方法進行解碼。

如此，藉於串流類型或視訊串流屬性資訊設新之固有值，可於解碼之際，判斷是否以在上述各實施形態所示之動態圖像解碼方法或裝置解碼。因而，由於即使於輸入依 據不同之規格之多工資料時，亦可選擇適當之解碼方法或裝置，故可在不產生錯誤下解碼。又，亦可將在本實施形態所示之動態圖像編碼方法或裝置、或者動態圖像解碼方法或裝置用於上述任一機器、系統。

(第5實施形態)

在上述各實施形態所示之動態圖像編碼方法及裝置、動態圖像解碼方法及裝置典型上以積體電路LSI實現。一例係於第39圖顯示單晶片化之LSIex500之結構。LSIex500包含有以下說明之要件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各要件藉由匯流排ex510連接。電源電路部ex505藉於電源為開啟狀態時對各部供給電力，而啟動成可運作之狀態。

舉例言之，進行編碼處理時，LSIex500依據具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等之控制部ex501之控制，以I/Oex509從麥克風ex117或照相機ex113等輸入AV信號。所輸入之AV信號暫時儲存於SDRAM等外部記憶體ex511。依據控制部ex501之控制，所儲存之資料按照處理量或處理速度，進行適宜地分成數次，送至信號處理部ex507，在信號處理部ex507，進行聲音信號之編碼及/或影像信號之編碼。在此，影像信號之編碼處理係在上述各實施形態所說明之編碼處理。在信號處理部ex507，進一步根據情況，進行將業經編碼之聲音資料與業經編碼之影像資料多工等之處理，從串流I/Oex506輸出至外部。此所輸出之多工資料往基地台ex107 發送或寫入至記錄媒體ex215。此外，於多工之際，為同步，可將資料暫時儲存於緩衝器ex508。

此外，在上述，說明了記憶體ex511為LSIex500之外部之結構，亦可為LSIex500之內部所含之結構。緩衝器ex508亦非限於1個者，亦可具有複數緩衝器。又，LSIex500可單晶片化，亦可多晶片化。

又，在上述，控制部ex501具有CPUex502、記憶體控制器ex503、串流控制器ex504、驅動頻率控制部ex512等，控制部ex501之結構不限於此結構。舉例言之，亦可為信號處理部ex507更具有CPU之結構。藉亦於信號處理部ex507之內部設CPU，可使處理速度更提高。又，另一例亦可為CPUex502具有信號處理部ex507、或為信號處理部ex507之一部份之聲音信號處理部之結構。此時，控制部ex501為包含具有信號處理部507、或其一部份之CPUex502之結構。

又，在此為LSI，亦有根據積體度之不同，稱為IC、系統LSI、特(super)LSI、極(ultra)LSI之情形。

又，積體電路化之手法不限於LSI，亦可以專用電路或通用處理器實現。亦可利用於LSI製造後可編程之FPGA(Field Programmable Gate Array)或可再構成LSI內部之電路胞元之連接或設定之可重組態處理器。

再者，若因半導體技術之進步或洐生之其他技術而置換成LSI之積體電路化之技術上市時，當然亦可使用該技術，進行功能區塊之積體化。有生物科技之應用等為可行之可能性。

(第6實施形態)

將以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼時，認為相較於將依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料解碼，處理量增加。因此，在LSIex500，需設定為較將依據習知規格之影像資料解碼之際之CPUex502之驅動頻率高的驅動頻率。然而，當提高驅動頻率時，便產生耗費電力增高之問題。

為解決此課題，電視ex300、LSIex500等動態圖像解碼裝置之結構係識別影像資料為依據何種規格者，而按照規格，轉換驅動頻率。第40圖顯示本實施形態之結構ex800。驅動頻率轉換部ex803於影像資料為以在上述各實施形態所示之動態圖像編碼方法或裝置所生成者時，將驅動頻率設定為高。又，對執行在上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801指示將資料解碼。另一方面，影像資料為依據習知規格之影像資料時，相較於影像資料為以在上述各實施形態所示之動態圖像編碼方法或裝置所生成者，將驅動頻率設定為低。然後，對依據習知規格之解碼處理部ex802指示將影像資料解碼。

更具體言之，驅動頻率轉換部ex803由第39圖之CPUex502及驅動頻率控制部ex512構成。又，執行在上述各實施形態所示之動態圖像解碼方法之解碼處理部ex801及依據習知規格之解碼處理部ex802相當於第39圖之信號處理部ex507。CPUex502識別影像資料依據何種規格。然 後，依來自CPUex502之信號，驅動頻率控制部ex512設定驅動頻率。又，依來自CPUex502之信號，信號處理部ex507進行影像資料之解碼。在此，考慮於影像資料之識別利用在第4實施形態所記載之識別資訊。關於識別資訊，不限於在第4實施形態所記載者，只要為可識別影像資料依據何種規格之資訊即可。舉例言之，依據識別影像料係利用於電視者、或利用於碟片者之外部信號，可識別影像資料依據何種規格時，亦可依據此種外部信號識別。又，CPUex502之驅動頻率之選擇考慮依據使第42圖之影像資料之規格與驅動頻率對應之查找表進行。藉將查找表儲存於緩衝器ex508或LSI之內部記憶體，CPUex502參考此查找表，可選擇驅動頻率。

第41圖顯示實施本實施形態之方法之步驟。首先，在步驟exS200，在信號處理部ex507，從多工資料取得識別資訊。接著，在步驟ex201，在CPUex502，依據識別資訊，識別影像資料是否為以在上述各實施形態所示之編碼方法或裝置所生成者。影像資料為以在上述各實施形態所示之編碼方法或裝置所生成者時，在步驟exS202，CPUex502將用以將驅動頻率設定為高之信號送至驅動頻率控制部ex512。然後，在驅動頻率控制部ex512，設定為高驅動頻率。另一方面，顯示為依據習知之MPEG-2、MPEG-4AVC、VC-1等規格之影像資料時，在步驟ex203中，CPUex502將用以將驅動頻率設定為低之信號送至驅動頻率控制部ex512。然後，在驅動頻率控制部ex512，相較於影像資料 為以在上述各實施形態所示之編碼方法或裝置所生成者，設定在較低之驅動頻率。

再者，藉連動於驅動頻率之轉換，變更給予LSIex500或包含LSIex500之裝置之電壓，可更提高省電力效果。舉例言之，考慮於將驅動頻率設定為低時，相較於將驅動頻率設定為高時，將給予LSIex500或包含LSIex500之裝置之電壓隨此設定為低。

又，驅動頻率之設定方法於解碼之際之處理量大時，將驅動頻率設定為高，於解碼之際之處理量小時，將驅動頻率設定為低即可，不限於上述之設定方法。舉例言之，將依據MPEG4-AVC規格之影像資料解碼之處理量大於將以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料解碼的處理量時，考慮令驅動頻率之設定為上述情形之相反。

再者，驅動頻率之設定方法不限於將驅動頻率設定為低之結構。舉例言之，亦考慮顯示識別資訊為以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，將給予LSIex500或包含有LSIex500之裝置之電壓設定為高，顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時，將給予LSIex500或包含有LSIex500之裝置之電壓設定為低。又，另一例亦考慮顯示識別資訊為以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，不使CPUex502之驅動停止，而於顯示以習知MPEG-2、MPEG4-AVC、VC-1等規格之影像資料時， 由於處理有餘裕，故使CPUex502之驅動暫時停止。亦考慮即使顯示識別資訊為以在上述各實施形態所示之動態圖像編碼方法或裝置所生成之影像資料時，若處理有餘裕，亦使CPUex502之驅動暫時停止。此時，考慮相較於顯示為依據習知MPEG-2、MPEG4-AVC、VC-1等之規格之影像資料時，將停止時間設定較短。

如此，藉按照影像資料依據之規格，轉換驅動頻率，可謀求省電力化。又，使用電池，驅動LSIex500或包含有LSIex500之裝置時，伴隨省電力化，可增長電池之壽命。

(第7實施形態)

有於電視、行動電話等上述機器、系統輸入依據不同之規格之複數影像資料的情形。如此，為於輸入依據不同之規格之複數影像資料時，亦可解碼，LSIex500之信號處理部ex507需對應於複數之規格。然而，當個別使用對應於各自之規格之信號處理部ex507時，產生LSIex500之電路規模增大，又，成本增加之課題。

為解決此課題，結構為將用以執行在上述各實施形態所示之動態圖像解碼方法之解碼處理部與依據習知MPEG-2、MPEG4-AVC、VC-1等規格之解碼處理部一部份共有化。於第43A圖之ex900顯示此結構例。舉例言之，在上述各實施形態所示之動態圖像解碼方法與依據MPEG4-AVC規格之動態圖像解碼方法係在熵編碼、反量化、除區塊濾波器、移動補償等處理中，處理內容一部份共通。考慮下述之結構，前述結構係關於共通之處理內容， 共有對應於MPEG4-AVC規格之解碼處理部ex902，不對應於MPEG4-AVC規格之本發明一態樣特有之其他處理內容，使用專用之解碼處理部ex901。關於解碼處理部之共有化，亦可為下述結構，前述結構係對共通之處理內容，共有用以執行在上述各實施形態所示之動態圖像解碼方法之解碼處理部，對MPEG4-AVC規格特有之處理內容，則使用專用之解碼處理部。

又，於第43B圖ex1000顯示將處理一部份共有化之另一例。在此例中，結構係使用對應於本發明一態樣特有之處理內容之專用解碼處理部ex1001、對應於其他習知規格特有之處理內容之專用解碼處理部ex1002、對應於本發明一態樣之動態圖像解碼方法與其他習知規格之動態圖像解碼方法共通之處理內容的共用解碼處理部ex1003。在此，專用解碼處理部ex1001、ex1002未別為對本發明一態樣、或其他習知規格特有之處理內容特殊化者，亦可為執行其他通用處理者。又，亦可以Lsex500安裝本實施形態之結構。

如此，藉對在本發明一態樣之動態圖像解碼方法與習知規格之動態圖像解碼方法共通之處理內容，共有解碼處理部，可縮小LSI之電路規模且可減低成本。

產業上之可利用性

本發明一態樣之圖像解碼方法及圖像編碼方法可有利地利用於動態圖像之解碼方法及編碼方法。

100‧‧‧圖像編碼裝置

101‧‧‧減法部

102‧‧‧正交變換部

103‧‧‧量化部

104，302‧‧‧反量化部

105，303‧‧‧反正交變換部

106，304‧‧‧加法部

107，305‧‧‧區塊記憶體

108，306‧‧‧圖框記憶體

109，307‧‧‧框內預測部

110，308‧‧‧框間預測部

111，309‧‧‧框間預測控制部

112‧‧‧畫面類型決定部

113，310‧‧‧開關

114，311‧‧‧合併區塊候補算出部

115，312‧‧‧colPic記憶體

116‧‧‧可變長度編碼部

300‧‧‧圖像解碼裝置

301‧‧‧可變長度解碼部

A-D‧‧‧鄰接區塊

B2，P1，P3‧‧‧畫面

MvL0_A，MvL0_D‧‧‧預測方向0之移動向量

MvL1_B‧‧‧預測方向1之移動向量

NumMergeCand‧‧‧合併區塊候補列表尺寸

RefL0_A，RefL0_D‧‧‧預測方向0之參考畫面索引

RefL1_B‧‧‧預測方向1之參考畫面索引

S101-S106、S111-S118、S121-S128、S131-S134、S141-S143、S151-S157、S301-S307、S311-S315、S321-S323、S1001-S1005、S2001-S2005‧‧‧步驟

a，b‧‧‧區塊

ex100‧‧‧內容供給系統

ex101‧‧‧網際網路

ex102‧‧‧網際網路服務提供者

ex103‧‧‧串流伺服器

ex104‧‧‧電話網

ex106-ex110‧‧‧基地台

ex111‧‧‧電腦

ex112‧‧‧PDA

ex113，ex116‧‧‧照相機

ex114‧‧‧行動電話

ex115‧‧‧遊戲機

ex117‧‧‧麥克風

ex200‧‧‧數位播放用系統

ex201‧‧‧播放台

ex202‧‧‧衛星

ex203‧‧‧電纜

ex204，ex205，ex350‧‧‧天線

ex210‧‧‧車

ex211‧‧‧汽車導航

ex215，ex216‧‧‧記錄媒體

ex217‧‧‧數控器

ex218‧‧‧讀取器/記錄器

ex219‧‧‧監視器

ex220‧‧‧遠程控制器

ex230‧‧‧資訊軌

ex231‧‧‧記錄區塊

ex232‧‧‧內周區域

ex233‧‧‧資料記錄區域

ex234‧‧‧外周區域

ex235‧‧‧視訊串流

ex236，ex239，ex242，ex245‧‧‧PES封包列

ex237，ex240，ex243，ex246‧‧‧TS封包

ex238‧‧‧聲頻串流

ex241‧‧‧演示圖形串流

ex244‧‧‧交談圖形串流

ex247‧‧‧多工資料

ex300‧‧‧電視

ex301‧‧‧調諧器

ex302，ex352‧‧‧調變/解調部

ex303，ex353‧‧‧多工/分離部

ex304，ex354‧‧‧聲音信號處理部

ex305，ex355‧‧‧影像信號處理部

ex306，ex507‧‧‧信號處理部

ex307‧‧‧揚聲器

ex308，ex358‧‧‧顯示部

ex309‧‧‧輸出部

ex310‧‧‧控制部

ex311‧‧‧電源電路部

ex312‧‧‧操作輸入部

ex313‧‧‧橋接器

ex314，ex364‧‧‧擴充槽部

ex315‧‧‧驅動器

ex316‧‧‧數據機

ex317‧‧‧介面部

ex318-ex321，ex404，ex508‧‧‧緩衝器

ex351‧‧‧發送/接收部

ex356‧‧‧聲音輸入部

ex357‧‧‧聲音輸出部

ex359‧‧‧LCD控制部

ex360‧‧‧主控制部

ex361‧‧‧電源電路部

ex362‧‧‧操作輸入控制部

ex363‧‧‧照相機介面部

ex365‧‧‧照相機部

ex366‧‧‧操作鍵部

ex367‧‧‧記憶體部

ex370‧‧‧同步匯流排

ex400‧‧‧資訊再生/記錄部

ex401‧‧‧光學磁頭

ex402‧‧‧調變記錄部

ex403‧‧‧再生解調部

ex405‧‧‧碟片馬達

ex406‧‧‧伺服控制部

ex407‧‧‧系統控制部

ex500‧‧‧LSI

ex501‧‧‧控制部

ex502‧‧‧CPU

ex503‧‧‧記憶體控制器

ex504‧‧‧串流控制器

ex506‧‧‧串流I/O

ex509‧‧‧I/O

ex511‧‧‧記憶體

ex512‧‧‧驅動頻率控制部

ex800‧‧‧結構

ex801，ex802，ex902‧‧‧解碼處理部

ex803‧‧‧頻率轉換部

ex900‧‧‧結構例

ex901‧‧‧專用之解碼處理部

ex1000‧‧‧將處理一部份共有之另一例

ex1001，ex1002‧‧‧專用之解碼處理部

ex1003‧‧‧共用之解碼處理部

exS100-exS103、exS200-exS203‧‧‧步驟

merge_idx‧‧‧合併區塊索引

merge_flag‧‧‧合併旗標

va1，va2，vb‧‧‧移動向量

yy1-yy4‧‧‧箭號

第1A圖係用以說明B畫面之參考畫面列表之一例的 圖。

第1B圖係顯示B畫面之預測方向0之參考畫面列表之一例的圖。

第1C圖係顯示B畫面之預測方向1之參考畫面列表之一例的圖。

第2圖係用以說明時間預測移動向量模式之移動向量之圖。

第3圖係顯示在合併模式使用之鄰接區塊之移動向量之一例的圖。

第4圖係用以說明合併區塊候補列表之一例的圖。

第5圖顯示合併區塊候補尺寸與分配至合併區塊索引之位元列之關係的圖。

第6圖係顯示使用合併模式時之編碼處理之一例的流程圖。

第7圖係顯示圖像編碼裝置之結構之方塊圖。

第8圖係使用合併模式時之解碼處理之流程圖。

第9圖係顯示圖像解碼裝置之結構之方塊圖。

第10圖係顯示將合併區塊索引附加於編碼位元流之際之語法的圖。

第11圖係顯示第1實施形態之圖像編碼裝置之結構的方塊圖。

第12圖係顯示第1實施形態之圖像編碼裝置之處理動作的流程圖。

第13A圖(a)、第13A圖(b)係顯示第1實施形態之合併區 塊候補列表之一例的圖。

第13B圖(a)~第13B圖(c)係顯示實施形態之變形例之合併區塊候補列表之一例的圖。

第13C圖(a)~第13C圖(c)係顯示實施形態之變形例之合併區塊候補列表之一例的圖。

第14A圖係顯示第1實施形態之合併區塊候補及合併區塊候補列表尺寸之算出處理的流程圖。

第14B圖係顯示實施形態之變形例之合併區塊候補及合併區塊候補列表尺寸之算出處理的流程圖。

第14C圖係顯示實施形態之變形例之合併區塊候補及合併區塊候補列表尺寸之算出處理的流程圖。

第15A圖係顯示判定第1實施形態之合併區塊候補是否為可合併候補而更新可合併候補數之流程圖。

第15B圖係顯示判定實施形態之變形例之合併區塊候補是否為可合併候補而更新可合併候補數的流程圖。

第16圖係顯示第1實施形態之新候補之追加處理的流程圖。

第17圖係顯示實施形態之變形例之第2候補之追加處理的流程圖。

第18圖係顯示關於第1實施形態之合併區塊候補之選擇之處理的流程圖。

第19圖係顯示第2實施形態之圖像解碼裝置之結構的方塊圖。

第20圖係顯示第2實施形態之圖像解碼裝置之處理動 作的流程圖。

第21圖係顯示判定第2實施形態之合併區塊候補是否為可合併候補而更新可合併候補數之處理的流程圖。

第22圖係顯示生成第2實施形態之合併區塊候補列表之處理的流程圖。

第23圖係顯示將合併區塊索引附加於編碼位元流之際之語法之一例的圖。

第24圖係顯示將合併區塊候補列表尺寸固定在合併區塊候補數之最大值時之語法之一例的圖。

第25圖係實現內容遞送服務之內容供給系統之全體結構圖。

第26圖係數位播放用系統之全體結構圖。

第27圖係顯示電視之結構例之方塊圖。

第28圖係顯示於為光碟之記錄媒體進行資訊之讀寫之資訊再生/記錄部的結構例之方塊圖。

第29圖係顯示為光碟之記錄媒體之構造例的圖。

第30A圖係顯示行動電話之一例之圖。

第30B圖係顯示行動電話之結構例之方塊圖。

第31圖係顯示多工資料之結構之圖。

第32圖係示意顯示各串流在多工資料如何多工之圖。

第33圖係更詳細顯示視訊串流如何儲存於PES封包列之圖。

第34圖係顯示多工資料之TS封包與來源封包之構造的圖

第35圖係顯示PMT之資料結構之圖。

第36圖係顯示多工資料資訊之內部結構之圖。

第37圖係顯示串流屬性資訊之內部結構之圖。

第38圖係顯示識別影像資料之步驟之圖。

第39圖係顯示實現各實施形態之動態圖像編碼方法及動態圖像解碼方法之積體電路之結構例的方塊圖。

第40圖係顯示轉換驅動頻率之結構之圖。

第41圖係顯示識別影像資料而轉換驅動頻率之步驟之圖。

第42圖係顯示使影像資料之規格與驅動頻率對應之查找表之一例的圖。

第43A圖係顯示將信號處理部之模組共有化之結構之一例的圖。

第43B圖係顯示將信號處理部之模組共有化之結構之另一例的圖。

S101，S111-S114，S116‧‧‧步驟

Claims (11)

1. 一種圖像解碼方法，係將編碼位元流所含之圖像資料依各區塊解碼者，其具有：合併候補取得步驟，係取得合併候補，該合併候補係在解碼對象區塊之解碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；索引取得步驟，係從前述編碼位元流取得索引者，該索引係用以從前述2以上之固定數之合併候補界定在前述解碼對象區塊之解碼中所參考之合併候補者；及解碼步驟，係使用所取得之前述索引，界定前述合併候補，使用所界定之前述合併候補，將前述解碼對象區塊解碼者；又，前述2以上之固定數之合併候補具有依據於在空間或時間上與前述解碼對象區塊鄰接之鄰接區塊之解碼所使用的預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、及具有預先訂定之固定值之至少1個第2候補。
2. 如申請專利範圍第1項之圖像解碼方法，其中前述合併候補取得步驟具有：第1導出步驟，係導出前述第1候補，追加作為前述2以上之固定數之合併候補的一部份者；第2導出步驟，係前述第1候補之數小於前述2以上之固定數時，導出具有對在前述解碼對象區塊之解碼中可參考之畫面之畫面索引的至少1個第3候補，追加作為 前述2以上之固定數之合併補候的一部份者；及第3導出步驟，係前述第1候補之數及前述第3候補之數之總和小於前述2以上之固定數時，將至少1個前述第2候補追加作為前述2以上之固定數之合併候補的一部份，俾使前述第1候補之數、前述第2候補之數及前述第3候補之數之總和與前述2以上之固定數相等者。
3. 如申請專利範圍第2項之圖像解碼方法，其中在前述第2導出步驟中，藉從預先準備之複數不同之候補根據預定優先順位選擇至少1個候補，而導出至少1個前述第3候補。
4. 如申請專利範圍第1項之圖像解碼方法，其中前述合併候補取得步驟具有：初始化步驟，係藉於前述2以上之固定數之合併候補全部設定前述第2候補，而將前述2以上之固定數之合併候補初始化者；第1導出步驟，係導出至少1個前述第1候補，更新作為前述2以上之固定數之合併候補的一部份者；及第2導出步驟，係於前述第1候補之數小於前述2以上之固定數時，導出具有對在前述解碼對象區塊之解碼中可參考之畫面之畫面索引的至少1個第3候補，更新作為前述2以上之固定數之合併候補的一部份者。
5. 一種圖像編碼方法，係藉將圖像依各區塊編碼，而生成編碼位元流者，其包含有：合併候補取得步驟，係取得合併候補，該合併候補 係在編碼對象區塊之編碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；及編碼步驟，係將用以從前述2以上之固定數之合併候補界定在前述編碼對象區塊之編碼中參考之前述合併候補之索引附加於前述編碼位元流者；又，前述2以上之固定數之合併候補具有依據於在空間或時間上與前述編碼對象區塊鄰接之鄰接區塊之編碼所使用的預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、及具有預先訂定之固定值之至少1個第2候補。
6. 如申請專利範圍第5項之圖像編碼方法，其中前述合併補候取得步驟具有：第1導出步驟，係導出前述第1候補，追加作為前述2以上之固定數之合併候補的一部份者；第2導出步驟，係於前述第1候補之數小於前述2以上之固定數時，導出具有對在前述解碼對象區塊之解碼中可參考之畫面之畫面索引的至少1個第3候補，追加作為前述2以上之固定數之合併補候的一部份者；及第3導出步驟，係於前述第1候補之數及前述第3候補之數之總和小於前述2以上之固定數時，將至少1個前述第2候補追加作為前述2以上之固定數之合併候補的一部份，俾使前述第1候補之數、前述第2候補之數及前述第3候補之數之總和與前述2以上之固定數相等者。
7. 如申請專利範圍第6項之圖像編碼方法，其中在前述第2 導出步驟中，藉從預先準備之複數不同之候補根據預定優先順位選擇至少1個候補，而導出至少1個前述第3候補。
8. 如申請專利範圍第5項之圖像編碼方法，其中前述合併候補取得步驟具有：初始化步驟，係藉於前述2以上之固定數之合併候補全部設定前述第2候補，而將前述2以上之固定數之合併候補初始化者；第1導出步驟，係導出至少1個前述第1候補，更新作為前述2以上之固定數之合併候補的一部份者；及第2導出步驟，係於前述第1候補之數小於前述2以上之固定數時，導出具有對在前述解碼對象區塊之解碼中可參考之畫面之畫面索引的至少1個第3候補，更新作為前述2以上之固定數之合併候補的一部份者。
9. 一種圖像解碼裝置，係將編碼位元流所含之圖像資料依各區塊解碼者，其具有：合併候補取得部，係取得合併候補，該合併候補係在解碼對象區塊之解碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；索引取得部，係從前述編碼位元流取得索引者，該索引係用以從前述2以上之固定數之合併候補界定在前述解碼對象區塊之解碼中所參考之合併候補者；及解碼部，係使用所取得之前述索引，界定前述合併候補，使用所界定之前述合併候補，將前述解碼對象區 塊解碼者；前述2以上之固定數之合併候補具有依據用於在空間或時間上與前述解碼對象區塊鄰接之鄰接區塊的解碼之預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、具有預先訂定之固定值之至少1個第2候補。
10. 一種圖像編碼裝置，係藉將圖像依各區塊編碼，而生成編碼位元流者，其包含有：合併候補取得部，係取得合併候補，該合併候補係在編碼對象區域之編碼中參考之預測方向、移動向量及參考畫面索引之候補且為2以上之固定數者；及編碼部，係將用以從前述2以上之固定數之合併候補界定在前述編碼對象區塊之編碼中參考之前述合併候補的索引附加於前述編碼位元流者；前述2以上之固定數之合併候補具有依據於在空間或時間上與前述編碼對象區塊鄰接之鄰接區塊之編碼所使用的預測方向、移動向量及參考畫面索引而導出之至少1個第1候補、及具有預先訂定之固定值之至少1個第2候補。
11. 一種圖像編碼解碼裝置，係包含有如申請專利範圍第9項之圖像解碼裝置、及如申請專利範圍第10項之圖像編碼裝置。