JP2019013032A - ビデオ復号化方法及びビデオ復号化装置 - Google Patents

Abstract

【課題】階層的深度を考慮して符号化単位のテクスチャー情報が符号化されたかどうかを表す情報を利用したビデオの復号化方法を提供する。【解決手段】ピクチャーを最大符号化単位で分割する段階と、ビットストリームから獲得された分割情報を用いて、最大符号化単位から１つ以上の符号化単位を決定する段階と、１つ以上の符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報をビットストリームから獲得する段階と、変換単位分割情報が現在レベルの変換単位の分割を示すと、現在レベルの変換単位を下位レベルの変換単位で分割する段階と、変換単位分割情報が現在レベルの変換単位の非分割を示すと、現在レベルの変換単位についてのパターン情報を獲得する段階とを含む。パターン情報は、現在レベルの変換単位が変換係数を含むか否かを示し、現在レベルの変換単位は、４個の下位レベルの変換単位で分割される。【選択図】図１４

Description

本発明は、ビデオ復号化方法及びビデオ復号化装置に関する。

高解像度または高画質ビデオコンテンツを再生、保存できるハードウェアの開発及び普及によって、高解像度または高画質ビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が増大しつつある。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。また、既存のビデオコーデックは、マクロブロック別に符号化ブロックパターン（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）を符号化して利用する。

本発明は、階層的深度を考慮して符号化単位のテクスチャー情報が符号化されたかどうかを表す情報を利用したビデオの符号化及び復号化に関する。

本発明の一実施形態によるビデオ復号化方法は、ビットストリームから獲得された分割情報を用いて一つ以上の符号化単位を決定する段階と、前記一つ以上の符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を前記ビットストリームから獲得する段階と、前記変換単位分割情報が前記現在レベルの変換単位の分割を示すと、前記現在レベルの変換単位を下位レベルの変換単位で分割する段階と、前記変換単位分割情報が前記現在レベルの変換単位の非分割を示すと、前記現在レベルの変換単位についてのパターン情報を獲得する段階とを含み、前記パターン情報は、前記現在レベルの変換単位が変換係数を含むか否かを示し、前記現在レベルの変換単位は４つの下位レベルの変換単位で分割されることを特徴とする。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。

深度とは、符号化単位が階層的に分割される段階を表し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。本明細書では、高い深度または上位深度から低い深度または下位深度の方向に‘深度が深くなる’と定義する。深度が深くなるにつれて最大符号化単位の分割回数が増加し、最大符号化単位の分割可能な総回数が‘最大深度’に対応する。符号化単位の最大サイズ及び最大深度があらかじめ設定されている。

一実施形態の前記最大符号化単位の符号化単位パターン情報は、前記最大符号化単位に含まれる少なくとも一つの符号化深度別符号化単位ごとに設定されている符号化深度符号化単位パターン情報と、変換深度別に、上位深度の階層的符号化単位パターン情報の符号化如何を表す階層的符号化単位パターン情報のうち少なくとも一つを含む。

一実施形態の前記復号化段階は、符号化深度別符号化単位の符号化単位パターン情報に基づいて、前記符号化深度別符号化単位の符号化されたテクスチャー情報が存在するならば、前記符号化深度別符号化単位に含まれた少なくとも一つの変換単位のテクスチャー情報が符号化されたかどうかを表す変換単位パターン情報を抽出する段階を含む。

一実施形態の前記復号化段階は、前記変換単位パターン情報に基づいて前記変換単位の符号化されたテクスチャー情報が存在するならば、前記符号化されたテクスチャー情報を復号化する段階をさらに含む。

一実施形態の前記復号化段階は、前記変換単位パターン情報に基づいて、前記変換単位の符号化されたテクスチャー情報が存在していなければ、前記変換単位の隣接情報を利用して前記変換単位を復号化する段階をさらに含む。

一実施形態の前記符号化深度符号化単位パターン情報は、映像データのカラー成分によって抽出できる。一実施形態の前記符号化深度符号化単位が４つ以上の変換単位を含む場合、前記符号化深度別符号化単位の前記ルーマ成分を４つの下位グループに分けて、前記下位グループごとに所定ビット数の符号化深度符号化単位パターン情報がさらに抽出される。

本発明の一実施形態によるビデオ符号化方法は、前記ビデオの現在ピクチャーを最大サイズの符号化単位である最大符号化単位に分割する段階と、前記最大符号化単位の領域を分割する回数が増加するにつれて深くなる深度に基づいて、前記深度ごとに前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定する段階と、前記最大符号化単位ごとに前記少なくとも一つの分割領域別最終符号化結果である映像データ、深度及び予測モードに関する符号化情報、及び前記最大符号化単位ごとにテクスチャー情報が符号化されるかどうかを表す符号化単位パターン情報を符号化して出力する段階と、を含む。

一実施形態によって、前記出力段階は、前記最大符号化単位の前記テクスチャー情報のうち変換係数がいずれも０であるかどうかによって、前記符号化単位パターン情報を設定して符号化する段階を含む。

一実施形態によって、前記出力段階は、前記最大符号化単位の少なくとも一つの符号化深度別に、前記符号化深度の符号化単位の変換係数がいずれも０であるかどうかによって、前記符号化深度符号化単位パターン情報を設定して符号化する段階を含む。

一実施形態によって、前記出力段階は、現在深度の上位深度の符号化単位に対する階層的符号化単位パターン情報及びテクスチャー情報が符号化されていない場合、前記最上位深度から前記現在深度までの階層的符号化単位パターン情報を設定して符号化する段階を含む。

一実施形態によって、前記ビデオ符号化方法は、前記現在ピクチャー、スライス、最大符号化単位のうち少なくとも一つに対して、前記符号化深度符号化単位パターン情報及び前記深度別階層的符号化単位パターン情報のうち少なくともいずれか一つを利用するかを決定する段階をさらに含む。

一実施形態によって、前記出力段階は、前記最大符号化単位の符号化単位パターン情報に基づいて、前記符号化深度別符号化単位に含まれた少なくとも一つの変換単位ごとに、前記変換単位のテクスチャー情報の符号化如何を表す変換単位パターン情報を設定するかどうかを決定する段階を含む。

本発明の一実施形態によるビデオ復号化装置は、符号化されたビデオに対するビットストリームを受信してパージングする受信部と、前記ビットストリームから最大サイズの符号化単位である最大符号化単位に割り当てられる現在ピクチャーの映像データ、前記最大符号化単位別符号化深度及び符号化モードに関する情報、及び前記最大符号化単位のテクスチャー情報が符号化されたかどうかを表す符号化単位パターン情報を抽出する抽出部と、前記最大符号化単位別符号化深度及び符号化モードに関する情報、及び前記符号化単位パターン情報に基づいて、前記最大符号化単位別符号化された映像データを復号化する映像データ復号化部と、を備える。

本発明の一実施形態によるビデオ符号化装置は、現在ピクチャーを、最大サイズの符号化単位である最大符号化単位に分割する最大符号化単位分割部と、前記最大符号化単位の領域を分割する回数が増加するにつれて深くなる深度に基づいて、前記深度ごとに前記最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、前記少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定する符号化深度決定部と、前記最大符号化単位に対する前記少なくとも一つの分割領域別最終符号化結果である映像データ、深度及び予測モードに関する符号化情報、及びテクスチャー情報が符号化されたかどうかを表す符号化単位パターン情報を符号化して出力する出力部と、を備える。

本発明は、一実施形態によるビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明は、一実施形態によるビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明の他の実施形態によるビデオ復号化方法は、符号化されたビデオのビットストリームから、現在ピクチャーの最大符号化単位に割り当てられた前記現在ピクチャーの符号化された映像データ、前記最大符号化単位の符号化深度についての情報、前記最大符号化単位のテクスチャー情報が符号化されたかどうかを表す符号化単位パターン情報を出力する段階と、前記抽出された前記最大符号化単位の符号化深度についての情報及び前記符号化単位パターン情報に基づいて、前記最大符号化単位の符号化された映像データを復号化する段階と、を含む。

階層的構造の符号化単位及び変換単位を基盤とする符号化単位パターン情報を利用することで、マクロブロックより大きいか、または任意のサイズの符号化単位に対して符号化ブロックパターン情報を符号化できる。また、ツリー構造による階層的構造の複数の変換単位を含む符号化単位に対して、統合的に符号化単位パターン情報が符号化できる。したがって、符号化単位パターン情報の符・復号化及び伝送において効率性が向上する。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を示す図である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを示す図である。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図である。 本発明の一実施形態による深度別符号化情報を示す図である。 本発明の一実施形態による深度別符号化単位を示す図である。 本発明の一実施形態による符号化単位の関係を示す図である。 本発明の一実施形態による予測単位の関係を示す図である。 本発明の一実施形態による変換単位の関係を示す図である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図である。 本発明の一実施形態によるビデオ符号化方法を示すフローチャートである。 本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。 本発明の一実施形態によって符号化単位パターン情報を利用するビデオ符号化装置を示す図である。 本発明の一実施形態によって符号化単位パターン情報を利用するビデオ復号化装置を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が一つの変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が一つの変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が一つの変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が４つの変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が４つの変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が４つの変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が複数の変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が複数の変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態によって符号化深度の符号化単位が複数の変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を示す図である。 本発明の一実施形態による階層的符号化単位パターン情報を示す図である。 本発明の一実施形態によって符号化単位パターン情報を利用するビデオ符号化方法を示すフローチャートである。 本発明の一実施形態によって符号化単位パターン情報を利用するビデオ復号化方法を示すフローチャートである。

以下、図１ないし図２９を参照して、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について詳述する。図１ないし図１５を参照して、本発明の一実施形態によって、空間別に独立的な階層的なデータ単位で構成されたツリー構造による符号化単位に基盤するビデオの符号化及びビデオの復号化が後述され、図１６ないし図２９を参照して、本発明の一実施形態によるツリー構造による符号化単位に対する符号化単位パターン情報を利用するビデオの符号化及びビデオの復号化が後述される。本明細書で、構成要素の目録前に先行する“少なくとも一つの”という表現は、構成要素の全体目録を修飾する表現であり、それぞれの構成要素を修飾するものではない。

以下、符号化単位は、実施形態によって符号化端で映像データを符号化するための符号化するデータ単位であり、復号化端で符号化された映像データを復号化するための符号化されたデータ単位である。また、符号化深度は、符号化単位が符号化された深度を表す。

以下、‘映像’は、ビデオの静止画または動画、すなわち、ビデオそれ自体を意味する。

以下、図１ないし図１５を参照して、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について詳述する。

図１は、本発明の一実施形態によるビデオ符号化装置１００のブロック図である。図１で、一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を備える。

最大符号化単位分割部１１０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切られる。現在ピクチャーが最大符号化単位より大きいならば、現在ピクチャーの映像データは、少なくとも一つの最大符号化単位に分割されうる。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であり、横及び縦サイズが２の二乗である正方形のデータ単位でありうる。映像データは、少なくとも一つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割した回数を表す。したがって、深度が深くなるか、または増大するほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義できる。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは低減するので、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。

前述したように符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の映像データが、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが、あらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化して、少なくとも一つの分割領域別に最終符号化結果が出力される深度を決定する。例えば、符号化単位決定部１２０は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化して、最も小さな符号化誤差が発生する深度を選択して符号化深度と決定する。したがって、決定された符号化深度の符号化単位の符号化された映像データが、符号化単位決定部１２０により出力される。また、符号化深度の符号化単位を、符号化される符号化単位とみなす。

決定された符号化深度及び最大符号化単位別映像データは出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づく符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも一つの符号化深度が決定される。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割され、符号化単位の数は増加する。また、一つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに対する符号化誤差を測定して下位深度への分割如何が決定される。したがって、一つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって決定される。したがって、一つの最大符号化単位に対して符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区切られる。

したがって、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では深度によって階層的に決定され、他の領域に対しては独立して決定される。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連する指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を表す。例えば、最大符号化単位の深度が０であれば、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０、１、２、３及び４の５つの深度レベルが存在する。この場合、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。変換は、直交変換または整数変換の方式によって行われる。

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるあらゆる深度別符号化単位に対して、予測符号化及び変換を含む符号化が行われねばならない。以下、説明の便宜のために、少なくとも一つの最大符号化単位のうち、現在深度の符号化単位に基づいて予測符号化及び変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択できる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、あらゆる段階にかけて同じデータ単位が使われてもよく、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択できる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上一分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上一分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。

例えば、サイズ２Ｎ×２Ｎ（ただし、Ｎは、正の整数）の符号化単位がこれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位になり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどでありうる。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的割合で分割された対称的パーティションだけでなく、非対称的比率（例えば、１：ｎまたはｎ：１）に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでありうる。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の一つの予測単位ごとに独立して符号化が行われて、符号化誤差の最も小さな予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行える。

符号化単位の変換のためには、符号化単位より小さいか、または同じサイズのデータ単位に基づいて変換が行われる。例えば、変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。

以下、変換の基盤になるデータ単位は‘変換単位’と称する。一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割して変換単位に至るまでの分割回数を表す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位が、現在符号化単位とサイズの同じサイズ２Ｎ×２Ｎの変換単位ならば、変換深度０に設定され、現在符号化単位の高さ及び幅がそれぞれ半分になって総４＾１個に分割されたサイズＮ×Ｎの変換単位ならば、変換深度１に、現在符号化単位の高さ及び幅がそれぞれ四分されて総４＾２個に分割されたサイズＮ／２×Ｎ／２の変換単位ならば、変換深度２に設定される。例えば、変換深度の階層的性格によって、上位変換深度の変換単位が４個の下位変換深度の変換単位に分割される階層的ツリー構造による変換単位が設定される。

また符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、領域別に独立して決定される。したがって、一実施形態による符号化単位内で符号化単位の残差データは、変換深度によってツリー構造による変換単位によって区切られる。

符号化深度別符号化情報は、符号化深度だけでなく予測関連情報及び変換関連情報が必要である。したがって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定できる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュの未定乗数法（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤のレート歪み最適化法（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）を利用して測定できる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも一つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報を、ビットストリーム形態で出力する。

符号化された映像データは、映像の残差データの符号化結果でありうる。

深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するかどうかを表す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるため、現在深度の分割情報は、これ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を利用した符号化を試みる必要がある。したがって、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が一つ以上存在する。したがって、それぞれの下位深度の符号化単位ごとに反復して符号化が行われて、同じ深度の符号化単位ごとに再帰的な符号化が行われる。

一つの最大符号化単位内にツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも一つの符号化モードに関する情報が決定されねばならないため、一つの最大符号化単位に対しては、少なくとも一つの符号化モードに関する情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なるため、データに対して符号化深度及び符号化モードに関する符号化情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、該当符号化深度及び符号化モードについての符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもありうる。

例えば、出力部１３０を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに大別できる。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に関する情報、インターモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報のうち少なくとも一つを含む。また、ピクチャー、スライスまたはＧＯＰ（ｇｒｏｕｐｓ ｏｆ ｐｉｃｔｕｒｅｓ）別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのＳＰＳ（Ｓｅｑｕｅｎｃｅ パラメータ
Ｓｅｔ）またはヘッダに挿入される。

ビデオ符号化装置１００で、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅のうち少なくとも一つを半分したサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を４つ含む。

したがって、一実施形態によるビデオ復号化装置１００は、現在ピクチャーの特性を考慮して決定された最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定して、ツリー構造による符号化単位を構成できる。また、それぞれの最大符号化単位ごとに多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが決定される。

映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を従来マクロブロック単位で符号化するならば、ピクチャー当りマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるため圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。したがって、一実施形態によるビデオ符号化装置１００は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置２００のブロック図である。図２のビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して前述した通りであるか、または類似している。

受信部２０５は、符号化されたビデオに対するビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出して映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャーに対するヘッダまたはＳＰＳから現在ピクチャーの符号化単位の最大サイズに関する情報を抽出できる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位に対する符号化深度及び符号化モードに関する符号化情報を抽出する。抽出された符号化深度及び符号化モードに関する符号化情報は、映像データ復号化部２３０に出力される。したがって、ビット熱意映像データを最大符号化単位に分割して、映像データ復号化部２３０をして、最大符号化単位ごとに映像データを復号化させる。

最大符号化単位別符号化深度及び符号化モードに関する符号化情報は、一つ以上の符号化深度情報に対して設定される。また、符号化深度別符号化モードに関する情報は、該当符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報のうち少なくとも一つを含む。また、符号化深度情報として、深度別分割情報が抽出されてもよい。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに関する符号化情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行って、最小符号化誤差を発生させることで決定された符号化深度及び符号化モードに関する符号化情報である。したがって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元できる。

一実施形態による符号化深度及び符号化モードについての符号化情報は、該当符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに関する符号化情報を抽出できる。所定データ単位別に、該当最大符号化単位の符号化深度及び符号化モードに関する符号化情報が記録されているならば、同じ符号化深度及び符号化モードに関する符号化情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は最大符号化単位別符号化深度及び符号化モードに関する符号化情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化できる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程のうち少なくとも一つを含む。逆変換過程は、直交逆変換または整数逆変換の方式による。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行える。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって逆変換を行える。

映像データ復号化部２３０は、深度別分割情報を利用して現在最大符号化単位の符号化深度を決定できる。もし、分割情報が現在深度でこれ以上分割されないことを表しているならば、現在深度が符号化深度である。したがって、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、各符号化深度に対応する符号化単位の符号化されたデータを、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化し、現在最大符号化単位の映像データを出力できる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察して、同じ分割情報を含む符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０により同じ符号化モードで復号化する一つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位に対する情報を獲得して、現在ピクチャーに対する復号化に利用できる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。符号化単位の最大単位は、解像度または映像データ量を考慮して決定される。

したがって、高い解像度の映像またはデータ量の過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を利用して、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元できる。

以下、図３ないし図１３を参照して、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式が詳述される。

図３は、階層的符号化単位の概念を図示する。

符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ６４×６４の符号化単位から、３２×３２、１６×１６、８×８を含む。しかし、他の実施形態への変形が制限されるものではないということは明らかである。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションに、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

図３で、第１ビデオデータ３１０は、解像度１９２０×１０８０、符号化単位の最大サイズ６４、最大深度２を持つ。第２ビデオデータ３２０は、解像度１９２０×１０８０、符号化単位の最大サイズ６４、最大深度３を持つ。第３ビデオデータ３３０は、解像度３５２×２８８、符号化単位の最大サイズ１６、最大深度１を持つ。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を表す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけでなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、第３ビデオデータ３３０に比べて、解像度の高い第１及び第２ビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

第１ビデオデータ３１０の最大深度は２であるため、第１ビデオデータ３１０の符号化単位３１５は、長軸サイズ６４の最大符号化単位から、２回分割しつつ深度が２階層深くなって長軸サイズ３２、１６の符号化単位まで含む。一方、第３ビデオデータ３３０の最大深度は１であるため、第３ビデオデータ３３０の符号化単位３３５は、長軸サイズ１６の符号化単位から、１回分割しつつ深度が１階層深くなって長軸サイズ８の符号化単位まで含む。

第２ビデオデータ３２０の最大深度は３であるため、第２ビデオデータ３２０の符号化単位３２５は、長軸サイズ６４の最大符号化単位から、３回分割しつつ深度が三階層深くなって長軸サイズ３２、１６、８の符号化単位まで含む。深度が深くなるほど（すなわち、増大するほど）細部情報の表現能力が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図である。図４で、一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償をそれぞれ行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは変換部４３０及び量子化部４４０を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を通じて空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて、参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０が、最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づく作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを決定せねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図である。図５で、ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータに出力され、逆変換部５４０を経て空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用してインターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて復元フレーム５９５に出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部４００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれにパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに変換単位のサイズを決定せねばならない。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示する。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は映像の特性によって適応的に決定されても、ユーザの要求に応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって深度別符号化単位のサイズが決定される。

図６で、一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度４の場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるため（増大するため）、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、第１符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。符号化単位の階層構造６００の縦軸に沿って深度が深くなり、符号化単位の階層構造６００は、サイズ３２×３２の深度１の第２符号化単位６２０、サイズ１６×１６の深度２の第３符号化単位６３０、サイズ８×８の深度３の第４符号化単位６４０、サイズ４×４の深度４の第５符号化単位６５０を含む。サイズ４×４の深度４の第５符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位６１０、６２０、６３０、６４０、６５０の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の第１符号化単位６１０が予測単位ならば、予測単位は、サイズ６４×６４の第１符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の第２符号化単位６２０の予測単位は、サイズ３２×３２の第２符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の第３符号化単位６３０の予測単位は、サイズ１６×１６の第３符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の第４符号化単位６４０の予測単位は、サイズ８×８の第４符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の第５符号化単位６５０は、最小符号化単位かつ最下位深度の符号化単位であり、第５符号化単位６５０の予測単位も、サイズ４×４のパーティション６５０のみに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位１つが含むデータに対して、深度２の符号化単位は４つ必要である。したがって、同じデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用してそれぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行って、該当深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択されうる。

図７は、本発明の一実施形態による、符号化単位７１０及び変換単位７２０の関係を図示する。一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００はそれぞれ、最大符号化単位ごとに、最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

図７で、例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を利用して変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化情報を図示する。図８で、一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに関する第１情報８００、予測モードに関する第２情報８１０、変換単位サイズに対する第３情報８２０を符号化して伝送できる。

パーティションタイプに対する第１情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に対する情報を表す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか一つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションタイプに関する第１情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち一つを表すように設定される。

予測モードに関する第２情報８１０は、それぞれのパーティションの予測モードを表す。例えば、予測モードに関する第２情報８１０を通じて、パーティションタイプに関する第１情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかどうかが設定される。

また、変換単位サイズに関する第３情報８２０は、現在符号化単位をいかなる変換単位に基づいて変換するかを表す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つでありうる。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する第１情報８００、予測モードに関する第２情報８１０、変換単位サイズに対する第３情報８２０を抽出して復号化に利用できる。

図９は、本発明の一実施形態による深度別符号化単位を図示する。

深度の変化を表すために分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを表す。

図９で、深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。図９では、予測単位が対称的割合で分割されたパーティション９１２、９１４、９１６、９１８のみ例示されているが、パーティションタイプの他の実施形態を制限するものではない。例えば、他の実施形態によるパーティションタイプは、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに反復して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションに対しては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションのみに予測符号化が行われる。

パーティションタイプ９１２、９１４、９１６、９１８による予測符号化を含む符号化誤差が比較されて、パーティションタイプ９１２、９１４、９１６、９１８のうちから最小符号化誤差が決定される。サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち一つによる符号化誤差が最も小さいならば、これ以上下位深度に分割しなくてもよい。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さいならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行って、最小符号化誤差を検索し続けられる。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さいならば、深度１を深度２に変更して分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して反復して符号化を行って、最小符号化誤差を検索し続けられる。

最大深度がｄである場合、深度別分割情報は深度ｄ−１まで設定され、分割情報は深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割（９７０）されて深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに反復して予測符号化による符号化が行われて、最小符号化誤差が発生するパーティションタイプが検索できる。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さくても、最大深度がｄであるため、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）はこれ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１と決定され、パーティションタイプはＮ＿（ｄ−１）×Ｎ＿（ｄ−１）と決定される。また最大深度がｄであるため、深度ｄ−１の符号化単位９５２に対して分割情報は設定されていない。

データ単位９９９は、現在最大符号化単位に対する‘最小単位’とみなす。一実施形態による最小単位は、最下位符号化深度の最小符号化単位が４分割されたサイズの正方形のデータ単位でありうる。これらの反復的符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して最も小さな符号化誤差が発生する深度を選択して符号化深度を決定し、該当パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。

かような方法で深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較して、誤差の最も小さな深度が選択されて符号化深度と決定される。符号化深度、及び予測単位のパーティションタイプ及び予測モードのうち少なくとも一つは、符号化モードに関する情報であり、符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないため、符号化深度の分割情報のみ‘０’に設定され、符号化深度を除外した深度別分割情報は‘１’に設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位に関する情報を抽出して、符号化単位９１２の復号化に利用できる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して分割情報が‘０’の深度を符号化深度と把握し、該当深度に対する符号化モードに関する情報を利用して復号化に利用できる。

図１０ないし図１２は、本発明の一実施形態による、符号化単位１０１０、予測単位１０６０及び変換単位１０７０の関係を図示する。図１０ないし図１２で、符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であれば、符号化単位１０１２、１０５４は深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は深度が４である。

予測単位１０６０のうち一部パーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。例えば、パーティション１０１４、１０２２、１０５０、１０５４は２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２はＮ×２Ｎのパーティションタイプ、パーティション１０３２はＮ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。

変換単位１０７０のうち一部１０５２の映像データに対しては、符号化単位に比べて小さなサイズのデータ単位に変換または逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該当予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であっても、それぞれ別個のデータ単位に基づいて行える。

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が決定されることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に対する分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報のうち少なくとも一つを含む。以下、表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定できる一例を表す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるかどうかを表す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるため、符号化深度に対してパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、さらに１段階分割されねばならない場合には、分割された４つの下位深度の符号化単位ごとに独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで表す。イントラモード及びインターモードはあらゆるパーティションタイプで定義でき、スキップモードはパーティションタイプ２Ｎ×２Ｎのみで定義できる。

パーティションタイプ情報は、予測単位の高さ及び幅のうち少なくとも一つが対称的割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、予測単位の高さ及び幅のうち少なくとも一つが非対称的割合で分割された非対称的パーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎとを表す。非対称的パーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を表す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。例えば、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎ×２Ｎの現在符号化単位に対するパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはＮ×Ｎ、非対称型パーティションタイプならば、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含む。

したがって、隣接したデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を利用すれば、該当符号化深度の符号化単位を確認できるため、最大符号化単位内の符号化深度等の分布が類推される。

したがって、この場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

さらに他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることで、周辺符号化単位が参照されてもよい。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する。図１３で、最大符号化単位１３００は、符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。このうち一つの符号化単位１３１８は符号化深度の符号化単位であるため、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、ＴＵ ｓｉｚｅ ｆｌａｇが１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称型パーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定された場合、ＴＵ ｓｉｚｅ ｆｌａｇが０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、ＴＵ ｓｉｚｅ ｆｌａｇが１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図１３を参照して前述された変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、０または１の値を持つフラッグであるが、一実施形態による変換単位分割情報が１ビットのフラッグに限定されるものではない。例えば、他の実施形態によるＴＵ ｓｉｚｅ ｆｌａｇが０，１，２，３…などと増加しつつ変換単位が階層的に分割されてもよい。

図１３を参照して前述された変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、０または１の値を持つフラッグであるが、一実施形態による変換単位分割情報が１ビットのフラッグに限定されるものではなく、設定によって０，１，２，３…などと増加しつつ変換単位が階層的に分割されてもよい。

この場合、一実施形態による変換単位分割情報を変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化できる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報はＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用できる。

例えば、現在符号化単位がサイズ６４×６４であり、最大変換単位サイズは３２×３２ならば、変換単位分割情報が０である時に変換単位のサイズが３２×３２、変換単位分割情報が１である時に変換単位のサイズが１６×１６、変換単位分割情報が２である時に変換単位のサイズが８×８に設定される。

他の例として、現在符号化単位がサイズ３２×３２であり、最小変換単位サイズは３２×３２ならば、変換単位分割情報が０である時に変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２より小さいことはないので、これ以上の変換単位分割情報が設定され得ない。

さらに他の例として、現在符号化単位がサイズ６４×６４であり、最大変換単位分割情報が１ならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定され得ない。

したがって、最大変換単位分割情報を‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ’、最小変換単位サイズを‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’、変換単位分割情報が０である場合の変換単位サイズを‘ＲｏｏｔＴｕＳｉｚｅ’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’は、下記の関係式（１）のように定義できる。

ＣｕｒｒＭｉｎＴｕＳｉｚｅ
＝ｍａｘ（ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ，ＲｏｏｔＴｕＳｉｚｅ/
（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）） （１）
現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’と比較して、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、システム上採択可能な最大変換単位サイズを表す。すなわち、関係式（１）によれば、‘ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）’は、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’は最小変換単位サイズであるため、これらのうち小さな値が、現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’でありうる。

一実施形態による最大変換単位サイズＲｏｏｔＴｕＳｉｚｅは、予測モードによって変わりうる。

例えば、現在予測モードがインターモードならば、ＲｏｏｔＴｕＳｉｚｅは、下記の関係式（２）によって決定できる。関係式（２）で‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最大変換単位サイズ、‘ＰＵＳｉｚｅ’は、現在予測単位サイズを表す。

ＲｏｏｔＴｕＳｉｚｅ
＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰＵＳｉｚｅ） （２）
すなわち、現在予測モードがインターモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。

現在パーティション単位の予測モードがイントラモードならば、‘ＲｏｏｔＴｕＳｉｚｅ’は、下記の関係式（３）によって決定できる。‘ＰａｒｔｉｔｉｏｎＳｉｚｅ’は、現在パーティション単位のサイズを表す。

ＲｏｏｔＴｕＳｉｚｅ
＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰａｒｔｉｔｉｏｎＳｉｚｅ （３）
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定できる。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ‘ＲｏｏｔＴｕＳｉｚｅ’は一実施形態に過ぎず、現在最大変換単位サイズを決定する要因がこれに限定されるものではないということに留意せねばならない。

図１４は、本発明の一実施形態によるビデオ符号化方法を示すフローチャートである。図１４で、段階１２１０で、現在ピクチャーは、少なくとも一つの最大符号化単位に分割される。また、可能な総分割回数を表す最大深度があらかじめ設定されてもよい。

段階１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域が符号化されて、少なくとも一つの分割領域別に最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

最大符号化単位は深度が深くなる度に空間的に分割されて、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されつつ再び下位深度の符号化単位に分割される。深度別に符号化単位ごとに反復して符号化が行われねばならない。

また、深度別符号化単位ごとに、符号化誤差の最も小さなパーティションタイプ別変換単位が決定されねばならない。符号化単位の最小符号化誤差を発生させる符号化深度が決定されるために、あらゆる深度別符号化単位ごとに符号化誤差が測定されて比較できる。

段階１２３０で、最大符号化単位ごとに少なくとも一つの分割領域別最終符号化結果である映像データと、符号化深度及び符号化モードに関する符号化情報とが出力される。符号化モードに関する情報は、符号化深度に関する情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報及び変換単位サイズ情報のうち少なくとも一つを含む。符号化された符号化モードに関する情報は、符号化された映像データと共に復号化端に伝送される。

図１５は、本発明の一実施形態によるビデオ復号化方法を示すフローチャートである。図１５で、段階１３１０で、符号化されたビデオに対するビットストリームが受信されてパージングされる。

段階１３２０で、パージングされたビットストリームから最大サイズの最大符号化単位に割り当てられる現在ピクチャーの映像データ、及び最大符号化単位別符号化深度及び符号化モードに関する符号化情報が抽出される。最大符号化単位別符号化深度は、現在ピクチャーの符号化過程で、最大符号化単位別に符号化誤差が最も少ない深度として選択された深度である。最大符号化単位別符号化は、最大符号化単位を深度別に階層的に分割した少なくとも一つのデータ単位に基づいて映像データが符号化されたことである。

一実施形態による符号化深度及び符号化モードに関する符号化情報によれば、最大符号化単位がツリー構造による符号化単位に分割される。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。したがって、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することで映像の符・復号化の効率性が向上する。

段階１３３０で、最大符号化単位別符号化深度及び符号化モードに関する符号化情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。復号化された映像データは、再生装置により再生されるか、記録媒体に保存されるか、またはネットワークを通じて伝送される。

以下、図１６ないし図２９を参照して、本発明の一実施形態によるツリー構造による符号化単位に対する符号化単位パターン情報を利用するビデオ符号化及びビデオ復号化が詳述される。

図１６は、本発明の一実施形態によって符号化単位パターン情報を利用するビデオ符号化装置を図示する。図１６で、一実施形態によるビデオ符号化装置１４００は、最大符号化単位分割部１４１０、符号化深度決定部１４２０、及び出力部１４６０を備える。出力部１４６０は、符号化された映像データ出力部１４３０、符号化情報出力部１４４０及び符号化単位パターン情報出力部１４５０を備える。

最大符号化単位分割部１４１０及び符号化深度決定部１４２０は、図１を参照して前述されたビデオ符号化装置１００の最大符号化単位分割部１１０及び符号化深度決定部１２０にそれぞれ対応する。符号化された映像データ出力部１４３０及び符号化情報出力部１４４０は、図１を参照して前述されたビデオ符号化装置１００の出力部１３０の少なくとも一部動作と同一または類似した動作を行う。ただし、一実施形態によって、符号化単位パターン情報出力部１４５０により符号化単位パターン情報を符号化する特徴が以下で詳述される。

一実施形態によって最大符号化単位分割部１４１０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切り、符号化深度決定部１４２０は、最大符号化単位ごとに深度別符号化単位で映像データを符号化して、最も小さな符号化誤差が発生する深度を選択して符号化深度と決定する。

一実施形態によって符号化された映像データ出力部１４３０は、符号化深度に基づいて符号化された最大符号化単位の映像データのビットストリームを出力する。符号化情報出力部１４４０は、最大符号化単位ごとに深度別符号化モードに関する情報を符号化して出力する。

一実施形態による符号化単位パターン情報出力部１４５０は、最大符号化単位ごとにテクスチャー情報が符号化されたかどうかを表す符号化単位パターン情報を符号化して出力する。テクスチャー情報は、該当データ単位に対する量子化パラメータ、変換係数、変換インデックスなどを含む。

一実施形態によるビデオ符号化装置１４００が映像符号化部４００に対応する場合、現在符号化単位の映像データに対して、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５を通じて動き予測または動き補償されたデータが生成され、動き予測または動き補償されたデータは、変換部４３０及び量子化部４４０を通じて変換されて量子化されることで、現在符号化単位の変換係数が生成される。

このように生成された現在符号化単位の変換係数が全部０であるかどうかによって、現在符号化単位に対する符号化単位パターン情報が設定される。符号化単位パターン情報により符号化されると設定された符号化単位の変換係数は、エントロピー符号化部４５０を経ることで符号化されたビットストリームが出力される。

符号化単位のテクスチャー情報を符号化しない場合と、テクスチャー情報を符号化する場合によって、符号化されたテクスチャー情報の伝送如何を区別するために符号化単位パターン情報が利用される。例えば、符号化単位内のあらゆる変換係数が０である場合、テクスチャー情報を符号化しないことを表すように符号化単位パターン情報が設定される。逆に、符号化単位に０でない変換係数が存在するならば、テクスチャー情報が符号化されたことを表すように符号化単位パターン情報が設定される。

一実施形態による符号化単位パターン情報として、符号化深度符号化単位パターン情報及び階層的符号化単位パターン情報が開示される。

符号化深度符号化単位パターン情報は、最大符号化単位内に少なくとも一つの符号化深度の符号化単位に対してのみそれぞれ設定され、符号化深度の符号化単位のテクスチャー情報の符号化如何を表す。例えば、符号化深度符号化単位パターン情報は、符号化深度の深度別符号化単位の変換係数がいずれも０であるかどうかを表すことができる。

階層的符号化単位パターン情報は、少なくとも一つの変換深度別に設定される。最大サイズの変換単位の変換深度が最上位変換深度であり、深度が１段階ずつ深くなるほど変換単位は分割される。また、現在変換深度の変換単位は、１段階下位変換深度の変換単位を４つ含む。

現在変換深度の階層的符号化単位パターン情報は、ある段階下位変換深度の最大符号化単位に対する階層的符号化単位パターン情報が符号化されたかどうかを表す。符号化単位パターン情報出力部１４５０は、最上位変換深度から最下位変換深度または所定深度まで、毎変換深度ごとに階層的符号化単位パターン情報を設定して符号化する。

例えば、変換深度別に階層的符号化単位パターン情報が設定され、最下位変換深度では変換単位のテクスチャー情報が符号化されねばならない。

変換深度は、深度及び符号化深度と連動する。例えば、変換単位に対する変換深度が符号化単位に対する深度と同一であるか、または変換深度が深度より１段階下位深度に固定されて設定される。または、変換深度が符号化単位のための深度と全く別個に具現されてもよい。

一実施形態によるビデオ符号化装置１４００は、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）、ピクチャー、スライド、最大符号化単位のうち少なくとも一つのデータ単位別に、符号化深度符号化単位パターン情報及び階層的符号化単位パターン情報のうち一つまたは２ついずれも符号化されるかどうかが選択的に設定される。

例えば、符号化深度符号化単位パターン情報及び階層的符号化単位パターン情報がいずれも使われるならば、符号化単位パターン情報出力部１４５０は、最上位深度から符号化深度までは深度別に階層的符号化単位パターン情報を設定し、符号化深度では、符号化深度の符号化単位の符号化深度符号化単位パターン情報を設定して符号化できる。

符号化深度符号化単位は少なくとも一つの変換単位を含み、変換単位ごとにテクスチャー情報の符号化如何を表す変換単位パターン情報が設定できる。例えば、変換単位パターン情報は、変換単位が０でない変換係数を含んでいるかどうかを表す。

符号化単位パターン情報出力部１４５０は、変換単位のテクスチャー情報を符号化する場合、それぞれの変換単位に対する変換単位パターン情報を設定し、この変換単位を含む符号化単位の符号化深度符号化単位パターン情報を設定して符号化できる。

もし、符号化深度符号化単位の複数の変換単位に０でない変換係数が全くなければ、符号化された映像データ出力部１４３０は符号化されたテクスチャー情報を出力しない。また一実施形態による符号化単位パターン情報出力部１４５０は、同じ符号化深度符号化単位に属する変換単位が、それぞれ０でない変換係数を全く含んでいなければ、変換単位パターン情報を符号化しない。その代りに、符号化単位パターン情報出力部１４５０は、符号化深度符号化単位のテクスチャー情報を符号化しないことを表す符号化深度符号化単位パターン情報を、符号化深度符号化単位に対して設定して符号化できる。

符号化深度符号化単位パターン情報は、映像データのカラー成分によって設定できる。例えば、ルーマ成分及びクロマ成分に対して、またはルーマ成分、クロマ成分、第１クロマ成分、第２クロマ成分それぞれに対して、符号化深度符号化単位パターン情報が設定できる（さらに詳細な実施形態は、図１８、１９、２０、２１、２２、２３、２４、２５及び２６を通じて詳述する。）。

各最大符号化単位に対して、深度別符号化単位及び変換単位のサイズによって、１ビットあるいはそれ以上の符号化単位パターン情報が設定される。

図１７は、本発明の一実施形態によって符号化単位パターン情報を利用するビデオ復号化装置を図示する。図１７で、一実施形態によるビデオ復号化装置１５００は、受信部１５０１、抽出部１５０５及び映像データ復号化部１５４０を備える。抽出部１５０５は、映像データ獲得部１５１０、符号化情報抽出部１５２０及び符号化単位パターン情報抽出部１５３０を備える。

受信部１５０１及び映像データ復号化部１５４０は、図２を参照して前述されたビデオ復号化装置２００の受信部２１０及び映像データ復号化部２３０にそれぞれ対応する。映像データ獲得部１５１０、符号化情報抽出部１５２０及び映像データ復号化部１５４０は、図２を参照して前述されたビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０の少なくとも一部動作と同一または類似した動作を行う。ただし、ビデオ復号化装置１５００を参照して一実施形態によって、符号化単位パターン情報抽出部１５３０から抽出された符号化単位パターン情報を利用して復号化する特徴が以下で詳述される。

受信部１５０１は、符号化されたビデオに対するビットストリームを受信してパージングし、抽出部１５０５は、パージングされた受信したビットストリームから各種符号化された情報を抽出する。映像データ獲得部１５１０は、パージングされた受信したビットストリームから、最大符号化単位別に符号化された映像データを獲得できる。符号化情報抽出部１５２０は、受信したビットストリームをパージングして、現在ピクチャーに対するヘッダから、最大符号化単位別符号化深度及び符号化モードに関する情報を抽出する。

符号化単位パターン情報抽出部１５３０は、最大符号化単位ごとに、最大符号化単位のテクスチャー情報が符号化されたかどうかを表す符号化単位パターン情報を抽出する。符号化単位パターン情報抽出部１５３０は、符号化単位パターン情報として、現在最大符号化単位に対して設定されている符号化深度符号化単位パターン情報、階層的符号化単位パターン情報を抽出できる。

符号化深度符号化単位パターン情報及び階層的符号化単位パターン情報のうち一つだけ抽出されて利用されるか、または２つとも抽出されて利用されるかどうかは、ＧＯＰ、ピクチャー、スライドまたは最大符号化単位別に設定されている。

符号化深度の符号化単位一つに対して、１単位の符号化深度符号化単位パターン情報が抽出され、最上位深度から符号化深度までの深度ごとに、１単位の階層的符号化単位パターン情報が抽出される。符号化深度パターン情報の１単位は、所定のビット数でありうる。各最大符号化単位に対して、深度別符号化単位及び変換単位のサイズによって、１ビットあるいはそれ以上の符号化単位パターン情報が設定される。例えば、符号化深度パターン情報がフラッグ形式ならば、１単位は１ビットである。

映像データ復号化部１５４０は、最大符号化単位別符号化深度及び符号化モードに関する情報、及び符号化単位パターン情報に基づいて、それぞれの最大符号化単位の符号化された映像データを復号化して現在ピクチャーを復元する。

一実施形態による映像データ復号化部１５４０は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、現在最大符号化単位の少なくとも一つの符号化深度を確認し、現在最大符号化単位に含まれたツリー構造による符号化単位を構成する符号化深度別符号化単位の階層的構造を把握できる。

また、映像データ復号化部１５４０は、符号化単位パターン情報抽出部１５３０から抽出された最大符号化単位に対する符号化単位パターン情報に基づいて、最大符号化単位のテクスチャー情報のうち、変換係数に対して逆変換を行って復号化できる。

一実施形態による映像データ復号化部１５４０が映像復号化部５００に対応する場合、符号化単位のテクスチャー情報のうち変換係数は、逆量子化部５３０及び逆変換部５４０を通じて時間領域のデータに逆変換される。

すなわち、映像データ復号化部１５４０は、符号化単位パターン情報により現在符号化単位のテクスチャー情報が符号化されていることを確認すれば、エントロピー復号化部５２０から、エントロピー復号化された現在符号化単位の変換係数を受信し、変換係数に対して逆変換を行える。逆変換された時間空間上のデータは、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０、ループフィルタリング部５８０を通じ復元フレーム５９５に復元される。

符号化単位パターン情報抽出部１５３０は、現在最大符号化単位の符号化深度別符号化単位に対する符号化単位パターン情報として、符号化深度符号化パターン情報または階層的符号化パターン情報を検索できる。

符号化深度符号化パターン情報が検索された場合、一実施形態による映像データ復号化部１５４０は、符号化深度符号化単位パターン情報に基づいて、現在符号化深度の符号化単位の復号化方式を決定できる。

例えば、符号化深度符号化パターン情報に基づいて、現在符号化深度の符号化単位のテクスチャー情報が符号化されていないと確認されるならば、映像データ復号化部１５４０は、現在符号化深度の符号化単位の隣接情報を参照して、現在符号化深度の符号化単位を復号化できる。

また、符号化深度符号化パターン情報に基づいて、現在符号化深度の符号化単位のテクスチャー情報が符号化されたと確認されるならば、映像データ復号化部１５４０は、現在符号化深度の符号化単位の符号化されたテクスチャー情報のうち変換係数を逆変換し、現在符号化深度の符号化単位を復号化できる。階層的符号化パターン情報が検索された場合、一実施形態による映像データ復号化部１５４０は、階層的符号化単位パターン情報に基づいて、現在変換深度の下位変換深度に対する階層的符号化パターン情報の存否、及び現在変換深度の変換単位の復号化方式を決定できる。

例えば、現在変換深度に対する階層的符号化単位パターン情報に基づいて、現在変換深度の下位深度に対する階層的符号化パターン情報が存在すると確認されれば、一実施形態による映像データ復号化部１５４０は、下位変換深度に対する階層的符号化パターン情報を確認することが望ましい。一方、現在変換深度に対する階層的符号化単位パターン情報に基づいて、下位変換深度に対する階層的符号化パターン情報が存在しないと確認されれば、一実施形態による映像データ復号化部１５４０は、現在変換深度の変換単位に対する復号化を行える。

符号化深度符号化パターン情報及び階層的符号化パターン情報がいずれも検索される場合には、一実施形態による映像データ復号化部１５４０は、現在変換深度に対する階層的符号化単位パターン情報に基づいて、上位変換深度に対する階層的符号化パターン情報の符号化如何を確認する。

下位変換深度の階層的符号化パターン情報が存在すると確認されれば、下位変換深度の階層的符号化パターン情報を確認せねばならない。仮りに、現在変換深度に対する階層的符号化単位パターン情報によって、下位変換深度の階層的符号化パターン情報が存在しないと確認されれば、一実施形態による映像データ復号化部１５４０は、現在変換深度の変換単位と関連する符号化深度符号化パターン情報を利用して、現在変換深度の変換単位に対する復号化を行える。

また、現在変換深度が最上位深度または既定の最終深度ならば、変換深度別階層的符号化パターン情報値とは関係なく、現在変換深度の変換単位に対する復号化が行われるように設定できる。現在変換深度の変換単位に対する復号化により、テクスチャー情報、例えば、量子化パラメータ、変換係数及び変換インデックスなどが復号化される。

符号化深度の符号化単位は少なくとも一つの変換単位を含み、変換単位ごとに設定されている変換単位パターン情報に基づいて、少なくとも変換単位ごとに逆変換により符号化単位の復号化が行われる。すなわち、変換単位パターン情報に基づいて、該当変換単位のテクスチャー情報が符号化されたかどうかが確認される。

したがって、一実施形態による映像データ復号化部１５４０は、符号化深度に対する符号化深度符号化単位パターン情報に基づいて、該当符号化単位に符号化されたテクスチャー情報が存在すると確認されるならば、該当符号化単位の変換単位別変換単位パターン情報を確認する。

変換単位パターン情報に基づいて、該当変換単位に符号化されたテクスチャー情報が存在すると確認されれば、一実施形態による映像データ復号化部１５４０は、該当変換単位の変換係数を逆変換できる。一方、変換単位パターン情報に基づいて、該当変換単位に符号化されたテクスチャー情報が存在しないと確認されれば、一実施形態による映像データ復号化部１５４０は、該当変換単位の隣接情報を利用して変換単位の符号化された映像データを復号化できる。

もし、符号化深度に対する符号化深度符号化単位パターン情報に基づいて、該当符号化単位に符号化されたテクスチャー情報が存在しないと確認されるならば、該当符号化単位のあらゆる変換単位に対する変換単位パターン情報も符号化されていない。したがって、この場合、一実施形態による映像データ復号化部１５４０は、該当符号化単位の変換単位別変換単位パターン情報を検索しない。

一実施形態によるビデオ符号化装置１４００及びビデオ復号化装置１５００では、ツリー構造による符号化単位及び変換単位に基づいて符号化された符号化単位パターン情報、または変換単位パターン情報を利用できる。したがって、複数の変換単位のグループを含む符号化単位に対して設定される符号化単位パターン情報に基づいて、変換単位それぞれに対する変換単位パターン情報の符号化如何が決定される。変換単位に比べて符号化単位の数が相対的に少ないため、あらゆる変換単位に対して変換単位パターン情報を設定するのに対し、符号化単位に対する設定された符号化単位パターン情報を利用することがデータ量を低減させることができ、ビット伝送効率が向上する。

以下、図１８ないし図２６を参照して、映像データのカラー成分によって設定される符号化深度符号化単位パターン情報の実施形態が記述される。以下の実施形態では、符号化単位パターン情報の１単位が１ビットであるが、これに限定されるものではない。

図１８ないし図２０は、本発明の一実施形態によって符号化深度の符号化単位が一つの変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を図示する。図１８ないし図２０で、ＹＣｂＣｒカラー規格によるカラー映像データの第１符号化単位は、ルーマ成分の符号化単位１６００、第１クロマ成分の符号化単位１６１０及び第２クロマ成分の符号化単位１６２０で構成される。

第１符号化単位の変換単位のサイズが第１符号化単位のサイズと同じ場合、第１符号化単位が変換単位一つのみを含む。したがって、第１符号化単位の変換単位は、ルーマ成分の変換単位１６０５、第１クロマ成分の変換単位１６１５及び第２クロマ成分の変換単位１６２５で構成される。変換単位１６０５、１６１５、１６２５ごとに変換単位パターン情報が設定されている。

図１８では、第１符号化単位に対する符号化深度符号化単位パターン情報が別途に符号化されていない。この場合、一実施形態による符号化単位パターン情報出力部１４５０は、第１符号化単位に対する符号化深度符号化単位パターン情報を出力しない。一実施形態による映像データ復号化部１５４０は、第１符号化単位に対する符号化深度符号化単位パターン情報の確認なしに、ルーマ成分の変換単位１６０５、第１クロマ成分の変換単位１６１５、第２クロマ成分の変換単位１６２５の変換単位パターン情報だけ確認し、これに基づいて変換単位１６０５、１６１５、１６２５の変換係数を逆変換できる。

図１９では、第１符号化単位のルーマ成分の符号化単位１６００、第１クロマ成分の符号化単位１６１０及び第２クロマ成分の符号化単位１６２０を含むグループ１６３０に対して、１ビットの符号化深度符号化単位パターン情報が設定される。この場合、一実施形態による符号化単位パターン情報出力部１４５０は、第１符号化単位に対して１ビットの符号化深度符号化単位パターン情報を出力する。

図２０では、第１符号化単位のルーマ成分の符号化単位１６００のグループ１６４０、第１クロマ成分の符号化単位１６１０及び第２クロマ成分の符号化単位１６２０を含むグループ１６５０に対して、グループ別にそれぞれ１ビットの符号化深度符号化単位パターン情報が設定される。この場合、一実施形態による符号化単位パターン情報出力部１４５０は、第１符号化単位に対して総２ビットの符号化深度符号化単位パターン情報を出力する。

一実施形態による映像データ復号化部１５４０は、第１符号化単位に対する１ビットの符号化深度符号化単位パターン情報（図１９）、または２ビットの符号化深度符号化単位パターン情報（図２０）を確認して、該当符号化単位に符号化されたテクスチャー情報が存在するかどうかを確認する。符号化単位に符号化されたテクスチャー情報が存在するならば、映像データ復号化部１５４０は、該当変換単位の変換単位パターン情報を確認し、これに基づいて変換係数を逆変換できる。

図２１ないし図２３は、本発明の一実施形態によって符号化深度の符号化単位が４つの変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を図示する。図２１ないし図２３で、ＹＣｂＣｒカラー規格によるカラー映像データの第２符号化単位は、ルーマ成分の符号化単位１７００、第１クロマ成分の符号化単位１７１０及び第２クロマ成分の符号化単位１７２０で構成される。

第２符号化単位が４つの変換単位を含む場合、第２符号化単位のカラー成分別符号化単位も、それぞれ４つの変換単位を含む。すなわち、ルーマ成分の符号化単位１７００に対して４つのルーマ成分の変換単位１７０２、１７０４、１７０６、１７０８を含み、第１クロマ成分の符号化単位１７１０は、４つの第１クロマ成分の変換単位１７１２、１７１４、１７１６、１７１８を含み、第２クロマ成分の符号化単位１７２０は、４つの第２クロマ成分の変換単位１７２２、１７２４、１７２６、１７２８を含む。

図２１では、第１符号化単位のルーマ成分の符号化単位１６００のみを含むグループ１７３０に対して、１ビットの符号化深度符号化単位パターン情報が設定される。第１クロマ成分の符号化単位１７１０及び第２クロマ成分の符号化単位１７２０に対して、符号化深度符号化単位パターン情報が別途に符号化されていない。

この場合、一実施形態による符号化単位パターン情報出力部１４５０は、ルーマ成分の符号化単位１７００に対する符号化深度符号化パターン情報１ビットを出力する。一実施形態による映像データ復号化部１５４０は、第２符号化単位のルーマ成分に対する１ビットの符号化単位パターン情報を確認して、ルーマ成分の符号化単位１７００に符号化されたテクスチャー情報が存在するかどうかを確認する。符号化されたテクスチャー情報が存在するならば、映像データ復号化部１５４０は、ルーマ成分の変換単位１７０２、１７０４、１７０６、１７０８の変換単位パターン情報を確認し、これに基づいて変換単位１７０２、１７０４、１７０６、１７０８の変換係数を逆変換できる。

また、一実施形態による映像データ復号化部１５４０は、第１符号化単位第１クロマ成分及び第２クロマ成分に対する符号化深度符号化単位パターン情報を確認せず、第１クロマ成分の変換単位１７１２、１７１４、１７１６、１７１８、第２クロマ成分の変換単位１７２２、１７２４、１７２６、１７２８の変換単位パターン情報のみ確認し、これに基づいて変換単位１７１２、１７１４、１７１６、１７１８、１７２２、１７２４、１７２６、１７２８の変換係数を逆変換できる。

図２２では、第２符号化単位のルーマ成分の符号化単位１７００、第１クロマ成分の符号化単位１７１０及び第２クロマ成分の符号化単位１７２０を含むグループ１７４０に対して、１ビットの符号化深度符号化単位パターン情報が設定される。この場合、一実施形態による符号化単位パターン情報出力部１４５０は、第２符号化単位に対して１ビットの符号化深度符号化単位パターン情報を出力する。

図２３では、第２符号化単位のルーマ成分の符号化単位１７００のグループ１７５０、第１クロマ成分の符号化単位１７１０のグループ１７６０、及び第２クロマ成分の符号化単位１７２０のグループ１７７０に対して、グループ別にそれぞれ１ビットの符号化深度符号化単位パターン情報が設定される。この場合、一実施形態による符号化単位パターン情報出力部１４５０は、第２符号化単位に対して３ビットの符号化深度符号化単位パターン情報を出力する。

一実施形態による映像データ復号化部１５４０は、第２符号化単位に対する１ビットの符号化深度符号化単位パターン情報（図２２）、または３ビットの符号化深度符号化単位パターン情報（図２３）を確認して、該当符号化単位に符号化されたテクスチャー情報が存在するかどうかを確認する。符号化単位に符号化されたテクスチャー情報が存在するならば、映像データ復号化部１５４０は、符号化単位に属する変換単位の変換単位パターン情報を確認し、これに基づいて変換係数を逆変換できる。

図２４ないし図２６は、本発明の一実施形態によって符号化深度の符号化単位が複数の変換単位を含む場合、符号化深度符号化単位パターン情報の実施形態を図示する。図２４ないし図２６で、ＹＣｂＣｒカラー規格によるカラー映像データの第３符号化単位は、ルーマ成分の符号化単位１８００、第１クロマ成分の符号化単位１８２０及び第２クロマ成分の符号化単位１８３０で構成される。

第３符号化単位が４つ以上の変換単位を含む場合、第３符号化単位のルーマ成分の符号化単位１８００も、少なくとも４つの変換単位を含む。すなわち、ルーマ成分の符号化単位１８００の変換単位の数は、第３符号化単位の変換単位の数と同一である。例えば、第３符号化単位が１６個の変換単位を含む場合、ルーマ成分の符号化単位１８００に対して、１６個のルーマ成分の変換単位１８０１、１８０２、１８０３、１８０４、１８０５、１８０６、１８０７、１８０８、１８０９、１８１０、１８１１、１８１２、１８１３、１８１４、１８１５、１８１６を含む。

第１クロマ成分に対する符号化単位１８２０及び第２クロマ成分に対する符号化単位１８３０は、それぞれ４つの変換単位を含む。すなわち、第１クロマ成分の符号化単位１８１０は、４つの第１クロマ成分の変換単位１８２２、１８２４、１８２６、１８２８を含み、第２クロマ成分の符号化単位１８３０は、４つの第２クロマ成分の変換単位１８３２、１８３４、１８３６、１８３８を含む。

ルーマ成分の符号化単位の一部に対する符号化深度符号化単位パターン情報として、所定数のルーマ成分の変換単位を含むグループに対して、１単位の符号化深度符号化単位パターン情報が設定される。例えば、ルーマ成分の符号化単位１８００のうち４つのルーマ成分の変換単位を含むグループに対して、それぞれ符号化深度符号化単位パターン情報が設定される。すなわち、ルーマ成分の符号化単位１８００のうち、４つの変換単位１８０１、１８０２、１８０３、１８０４を含むグループ１８４０、４つの変換単位１８０５、１８０６、１８０７、１８０８を含むグループ１８５０、４つの変換単位１８０９、１８１０、１８１１、１８１２を含むグループ１８６０、及び４つの変換単位１８１３、１８１４、１８１５、１８１６を含むグループ１８７０に対して、それぞれ１ビットずつ符号化単位パターン情報が設定される。

図２４では、第１クロマ成分の符号化単位１８２０及び第２クロマ成分の符号化単位１８３０に対して、符号化深度符号化単位パターン情報が別途に符号化されていない。

この場合、一実施形態による符号化単位パターン情報出力部１４５０は、ルーマ成分の符号化単位のグループ１８４０、１８５０、１８６０、１８７０に対する４ビットの符号化深度符号化パターン情報を出力する。一実施形態による映像データ復号化部１５４０は、第３符号化単位のルーマ成分に対する４ビットの符号化深度符号化単位パターン情報を確認して、ルーマ成分の符号化単位のグループ１８４０、１８５０、１８６０、１８７０別に符号化されたテクスチャー情報が存在するかどうかを確認する。

また、一実施形態による映像データ復号化部１５４０は、第１クロマ成分及び第２クロマ成分に対する符号化深度符号化単位パターン情報を確認せず、第１クロマ成分の変換単位１８２２、１８２４、１８２６、１８２８、第２クロマ成分の変換単位１８３２、１８３４、１８３６、１８３８の変換単位パターン情報のみ確認できる。

図２５では、第３符号化単位のルーマ成分の符号化単位のグループ１８４０、１８５０、１８６０、１８７０、第１クロマ成分の符号化単位１８２０のグループ１８８０、及び第２クロマ成分の符号化単位１８３０のグループ１８８５に対して、グループ別に１ビットの符号化深度符号化単位パターン情報が設定される。この場合、一実施形態による符号化単位パターン情報出力部１４５０は、第２符号化単位に対して６ビットの符号化深度符号化単位パターン情報を出力する。

図２６では、第３符号化単位のルーマ成分の符号化単位のグループ１８４０、１８５０、１８６０、１８７０、第１クロマ成分の符号化単位１８２０及び第２クロマ成分の符号化単位１８３０を含むグループ１８９０に対して、グループ別にそれぞれ１ビットの符号化深度符号化単位パターン情報が設定される。この場合、一実施形態による符号化単位パターン情報出力部１４５０は、第２符号化単位に対して５ビットの符号化深度符号化単位パターン情報を出力する。

一実施形態による映像データ復号化部１５４０は、第２符号化単位に対する６ビットの符号化深度符号化単位パターン情報（図２５）、または５ビットの符号化深度符号化単位パターン情報（図２６）を確認して、該当符号化単位に符号化されたテクスチャー情報が存在するかどうかを確認する。符号化単位に符号化されたテクスチャー情報が存在するならば、映像データ復号化部１５４０は、該当符号化単位に含まれる該当変換単位の変換単位パターン情報を確認し、これに基づいて変換係数を逆変換できる。

前述したように、一実施形態による符号化単位パターン情報は、カラー成分別に別途に設定されるが、同じ符号化単位のカラー成分別符号化単位パターン情報が統合されて共に符号化されてもよい。

一実施形態によるビデオ符号化装置１００及びビデオ復号化装置２００は、同一符号化単位のルーマ成分の符号化単位パターン情報、第１クロマ成分の符号化単位パターン情報及び第２クロマ成分の符号化単位パターン情報間の相関関係と、周辺符号化単位の同一カラー成分の符号化単位パターン情報間の相関関係に基づいて、カラー成分別符号化単位パターン情報が統合的に符号化／復号化される。

例えば、現在符号化単位のための可変長符号化（Ｖａｒｉａｂｌｅ−ｌｅｎｇｔｈ Ｃｏｄｉｎｇ；ＶＬＣ）のために、ルーマ成分の符号化単位パターン情報、第１クロマ成分の符号化単位パターン情報及び第２クロマ成分の符号化単位パターン情報が統合されて、一つのコードワードで共に符号化できる。

また、例えば、カラー成分別符号化単位パターン情報の組み合わせごとに、他の一進数コードワードを対応させるＶＬＣテーブルがそれぞれ設定される。したがって、カラー成分別符号化単位パターン情報らが統合されて符号化される。カラー成分別符号化単位パターン情報の組み合わせ別確率に比例して一進数コードワードの長さが短くなるように、ＶＬＣテーブルが選択される。

このように、同一符号化単位のカラー成分別符号化単位パターン情報間の相関関係と、周辺符号化単位の同一カラー成分の符号化単位パターン情報間の相関関係とに基づいて、カラー成分別符号化単位パターン情報が統合的に符号化／復号化されることで、符号化効率が向上する。

また、一実施形態による符号化深度符号化単位パターン情報は、符号化深度の符号化単位に対して設定され、階層的符号化単位パターン情報は、符号化深度の符号化単位が分割された変換深度別変換単位に対して設定され、変換単位パターン情報は、最終変換単位に対して設定される。

したがって、一実施形態による符号化単位及び変換単位の階層的構造によって、符号化深度符号化単位パターン情報、階層的符号化単位パターン情報及び変換単位パターン情報も連続的に定義される。

これにより、一実施形態によるビデオ符号化装置１００及びビデオ復号化装置２００は、符号化深度符号化単位パターン情報、階層的符号化単位パターン情報及び変換単位パターン情報をそれぞれ区別せず、変換深度によって階層的に設定される一つのデータ単位パターン情報を利用して、符号化単位から変換単位に至るまで０でないテクスチャー成分の符号化如何を決定してもよい。

図２７は、本発明の一実施形態による階層的符号化単位パターン情報を図示する。図２７の最大符号化単位１９００に対して変換単位１９１２、１９１４、１９１６、１９１８、１９２０、１９３０、１９４２、１９４４、１９４６、１９４８、１９５４、１９５６、１９５８が設定されており、変換深度によってサイズが異なる。

例えば、最大符号化単位１９００と同じサイズの変換単位が変換深度０に対応するが、図２７の最大符号化単位１９００は、変換深度０の変換単位を含んでいない。

変換深度１は、変換深度０の変換単位の高さ及び幅をそれぞれ半分したサイズの変換単位であり、変換単位１９２０及び１９３０が変換深度１に該当する。このような方式で、変換単位１９１２、１９１４、１９１６、１９１８、１９５４、１９５６及び１９５８は変換深度２に該当し、変換単位１９４２、１９４４、１９４６及び１９４８は変換深度３に該当する。

階層的符号化単位パターン情報は、下位変換深度に対する階層的符号化単位パターン情報が符号化されるかどうかを表す。さらに、階層的符号化単位パターン情報によって、下位変換深度のテクスチャー情報の符号化如何に関する情報も類推できる。

最大符号化単位１９００は、変換深度０の変換単位がないため、変換深度０の下位変換深度１の変換単位のテクスチャー情報が符号化される。したがって、変換深度０に対して１ビットの階層的符号化単位パターン情報１９６０が設定される。

変換深度１では、変換単位１９２０及び１９３０は、現在変換深度１で復号化されれば済むので、これ以上の下位変換深度２の変換単位のテクスチャー情報が符号化されない。また、下位変換深度２の階層的符号化単位パターン情報が設定されない。したがって、変換単位１９２０及び１９３０それぞれに対しては、下位変換深度２の階層的符号化単位パターン情報のテクスチャー情報が符号化されていないことを表す変換深度１の階層的符号化単位パターン情報が１ビットずつ提供される。

ただし、変換単位１９１２、１９１４、１９１６、１９１８を含む変換深度１のグループ、及び変換単位１９４２、１９４４、１９４６、１９４８、１９５４、１９５６、１９５８を含む変換深度１のグループそれぞれに対しては、下位変換深度２の変換単位のテクスチャー情報が符号化される。したがって、下位変換深度２の符号化単位パターン情報が符号化され、これを表す変換深度１の階層的符号化単位パターン情報が前記グループ別に１ビットずつ設定される。

したがって、変換深度１に対して総４ビットの階層的符号化単位パターン情報１９７０が設定される。

変換深度２では、変換単位１９１２、１９１４、１９１６、１９１８、１９５４、１９５６及び１９５８は、現在変換深度２で復号化されれば済むので、これ以上の下位変換深度３の変換単位のテクスチャー情報が符号化されず、下位変換深度３の階層的符号化単位パターン情報が設定されない。したがって、変換単位１９１２、１９１４、１９１６、１９１８、１９５４、１９５６及び１９５８それぞれに対しては、下位変換深度３の階層的符号化単位パターン情報が符号化されていないことを表す変換深度２の階層的符号化単位パターン情報が変換単位別に１ビットずつ必要である。

ただし、変換単位１９４２、１９４４、１９４６及び１９４８を含む変換深度２のグループに対しては、下位変換深度３の変換単位のテクスチャー情報が符号化される。したがって、下位変換深度３の符号化単位パターン情報が符号化され、これを表す変換深度２の階層的符号化単位パターン情報が１ビット設定されねばならない。

したがって、変換深度２に対して総８ビットの階層的符号化単位パターン情報１９８０が設定される。

変換深度３は最終変換深度であるため、変換単位１９４２、１９４４、１９４６及び１９４８に対して、下位変換深度の階層的符号化単位パターン情報が符号化されていないことを表す変換深度３の階層的符号化単位パターン情報を、変換単位別に１ビットずつ設定できる。したがって、変換深度３に対して総４ビットの階層的符号化単位パターン情報１９９０が設定される。

図２８は、本発明の一実施形態によって符号化単位パターン情報を利用するビデオ符号化方法を示すフローチャートである。図２８で、段階２０１０で、現在ピクチャーは、最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割され、段階２０２０で、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域に符号化されて、少なくとも一つの分割領域別に最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

段階２０３０では、それぞれの最大符号化単位ごとに一つの符号化深度で符号化された映像データと、符号化深度及び符号化モードに関する情報が符号化されて出力される。また、最大符号化単位ごとに符号化単位パターン情報が符号化されて出力される。

最大符号化単位の符号化単位パターン情報として、最大符号化単位の符号化深度別符号化単位のテクスチャー情報が符号化されたかどうかを表す符号化深度符号化単位パターン情報が符号化される。また、変換深度によって階層的に階層的符号化単位パターン情報が符号化される場合、それぞれの変換深度別階層的符号化単位パターン情報は、該当変換深度の下位変換深度の階層的符号化単位パターン情報が符号化されるかどうかを表す。

図２９は、本発明の一実施形態によって符号化単位パターン情報を利用するビデオ復号化方法を示すフローチャートである。図２９で、段階２１１０で符号化されたビデオに対するビットストリームが受信されてパージングされる。

段階２１２０で、パージングされたビットストリームから最大サイズの最大符号化単位に割り当てられる現在ピクチャーの映像データ、及び最大符号化単位別ツリー構造による符号化単位の符号化深度及び符号化モードに関する情報が抽出される。また、最大符号化単位ごとに、最大符号化単位のテクスチャー情報が符号化されたかどうかを表す符号化単位パターン情報が抽出される。最大符号化単位の符号化単位パターン情報として、最大符号化単位の符号化深度別符号化単位に対する符号化深度符号化単位パターン情報、及び階層的符号化単位パターン情報が抽出される。

段階２１３０で、最大符号化単位別符号化深度及び符号化モードに関する情報及び符号化単位パターン情報に基づいて、最大符号化単位の符号化された映像データが復号化されて、映像データが復元される。符号化深度符号化単位パターン情報に基づいて、符号化深度の符号化単位のテクスチャー情報が符号化されたかどうかが確認できる。また、変換深度ごとに階層的符号化単位パターン情報に基づいて、下位変換深度の階層的符号化単位パターン情報が符号化されたかどうかが確認できる。

符号化深度の符号化単位では、変換単位に対する変換単位パターン情報に基づいて変換係数が逆変換されて、変換単位の符号化されたデータが復号化される。

マクロブロック単位を変換単位で映像データの変換に利用する従来の技術では、映像データの変換及び逆変換時に、サイズ１６×１６または８×８のマクロブロックを変換単位として利用する。符号化結果、マクロブロックごとに符号化ブロックパターン情報を符号化して伝送し、復号化過程で利用する。

一方、一実施形態による階層的構造の符号化単位及び変換単位を基盤とする符号化単位パターン情報を利用することで、マクロブロックより大きいか、または任意のサイズの符号化単位に対して符号化ブロックパターン情報を符号化でき、ツリー構造による階層的構造の複数の変換単位を含む符号化単位に対して、統合的に符号化単位パターン情報が符号化される。したがって、符号化単位パターン情報の符・復号化及び伝送において効率性が向上する。

一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用ディジタルコンピュータで具現できる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットによる伝送）などの記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心として説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現できるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。

Claims (15)

1. ビットストリームから獲得された符号化単位の最大サイズについての情報を用いて、ピクチャーを少なくとも１つの最大符号化単位で分割する段階と、
   前記ビットストリームから獲得された分割情報を用いて、前記少なくとも１つの最大符号化単位から１つ以上の符号化単位を決定する段階と、
   前記１つ以上の符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を前記ビットストリームから獲得する段階と、
   前記変換単位分割情報が前記現在レベルの変換単位の分割を示すと、前記現在レベルの変換単位を下位レベルの変換単位で分割する段階と、
   前記変換単位分割情報が前記現在レベルの変換単位の非分割を示すと、前記現在レベルの変換単位についてのパターン情報を獲得する段階とを含み、
   前記パターン情報は、前記現在レベルの変換単位が変換係数を含むか否かを示し、
   前記現在レベルの変換単位は、４個の下位レベルの変換単位で分割されることを特徴とする復号化方法。
2. 前記現在レベルの変換単位は、前記現在符号化単位内に含まれ、
   前記現在レベルの変換単位のサイズは、前記符号化単位のサイズと等しいか小さいことを特徴とする請求項１に記載の復号化方法。
3. 前記現在レベルの変換単位は、前記現在符号化単位の高さ及び幅を分割して決定されることを特徴とする請求項２に記載の復号化方法。
4. 前記現在符号化単位は符号化されたビデオのピクチャーが符号化されたデータ単位であり、前記現在レベルの変換単位は、前記現在符号化単位のデータが変換されたデータ単位であることを特徴とする請求項１に記載の復号化方法。
5. ビットストリームから獲得された符号化単位の最大サイズについての情報を用いて、ピクチャーを少なくとも１つの最大符号化単位で分割し、
   前記ビットストリームから獲得された分割情報を用いて、前記少なくとも１つの最大符号化単位から１つ以上の符号化単位を決定し、
   現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を前記ビットストリームから獲得し、
   前記変換単位分割情報が前記現在レベルの変換単位の分割を示すと、前記現在レベルの変換単位を下位レベルの変換単位で分割し、
   前記変換単位分割情報が前記現在レベルの変換単位の非分割を示すと、前記現在レベルの変換単位についてのパターン情報を抽出する復号化部を含み、
   前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示し、
   前記現在レベルの変換単位は４個の下位レベルの変換単位で分割されることを特徴とする復号化装置。
6. ピクチャーを少なくとも１つの最大符号化単位で分割するための符号化単位の最大サイズについての情報を生成する段階と、
   前記少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
   前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
   前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
   前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
   前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示し、
   前記現在レベルの変換単位は、前記現在レベルの変換単位の高さ及び幅を分割して正方形の４個の下位レベルの変換単位で分割されることを特徴とする符号化方法。
7. ビットストリームを含む映像データを保存するためのコンピュータで読み取り可能な記録媒体において、
   前記ビットストリームは、プロセッサの映像エンコーディング方法によって獲得され、
   前記映像エンコーディング方法は、
   ピクチャーを少なくとも１つの最大符号化単位で分割するための符号化単位の最大サイズについての情報を生成する段階と、
   前記少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
   前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
   前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
   前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
   前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示し、
   前記現在レベルの変換単位は、前記現在レベルの変換単位の高さ及び幅を分割して正方形の４個の下位レベルの変換単位で分割されることを特徴とするコンピュータで読み取り可能な記録媒体。
8. 少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
   前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
   前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
   前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
   前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示し、
   前記現在レベルの変換単位は、前記現在レベルの変換単位の高さ及び幅を分割して正方形の４個の下位レベルの変換単位で分割されることを特徴とする符号化方法。
9. ビットストリームを含む映像データを保存するためのコンピュータで読み取り可能な記録媒体において、
   前記ビットストリームは、プロセッサの映像エンコーディング方法によって獲得され、
   前記映像エンコーディング方法は、
   少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
   前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
   前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
   前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
   前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示し、
   前記現在レベルの変換単位は、前記現在レベルの変換単位の高さ及び幅を分割して正方形の４個の下位レベルの変換単位で分割されることを特徴とするコンピュータで読み取り可能な記録媒体。
10. ピクチャーを少なくとも１つの最大符号化単位で分割するための符号化単位の最大サイズについての情報を生成する段階と、
    前記少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
    前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
    前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
    前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
    前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示すことを特徴とする符号化方法。
11. ビットストリームを含む映像データを保存するためのコンピュータで読み取り可能な記録媒体において、
    前記ビットストリームは、プロセッサの映像エンコーディング方法によって獲得され、
    前記映像エンコーディング方法は、
    ピクチャーを少なくとも１つの最大符号化単位で分割するための符号化単位の最大サイズについての情報を生成する段階と、
    前記少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
    前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
    前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
    前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
    前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示すことを特徴とするコンピュータで読み取り可能な記録媒体。
12. ピクチャーを少なくとも１つの最大符号化単位で分割するための符号化単位の最大サイズについての情報を生成する段階と、
    前記少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
    前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
    前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
    前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
    前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示し、
    前記現在レベルの変換単位は、正方形の４個の下位レベルの変換単位で分割されることを特徴とする符号化方法。
13. ビットストリームを含む映像データを保存するためのコンピュータで読み取り可能な記録媒体において、
    前記ビットストリームは、プロセッサの映像エンコーディング方法によって獲得され、
    前記映像エンコーディング方法は、
    ピクチャーを少なくとも１つの最大符号化単位で分割するための符号化単位の最大サイズについての情報を生成する段階と、
    前記少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
    前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
    前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
    前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
    前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示し、
    前記現在レベルの変換単位は、正方形の４個の下位レベルの変換単位で分割されることを特徴とするコンピュータで読み取り可能な記録媒体。
14. 少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
    前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
    前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
    前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
    前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示すことを特徴とする符号化方法。
15. ビットストリームを含む映像データを保存するためのコンピュータで読み取り可能な記録媒体において、
    前記ビットストリームは、プロセッサの映像エンコーディング方法によって獲得され、
    前記映像エンコーディング方法は、
    少なくとも１つの最大符号化単位から、少なくとも１つの符号化単位を決定するための分割情報を生成する段階と、
    前記少なくとも１つの符号化単位のうち現在符号化単位に含まれた現在レベルの変換単位の分割いかんを示す変換単位分割情報を生成する段階と、を含み、
    前記現在レベルの変換単位が下位レベルの変換単位で分割される場合、前記変換単位分割情報は、前記現在レベルの変換単位の分割を示し、
    前記現在レベルの変換単位からパターン情報が獲得される場合、前記変換単位分割情報は、前記現在レベルの変換単位の非分割を示し、
    前記パターン情報は、前記現在レベルの変換単位が０ではない変換係数を含むか否かを示すことを特徴とするコンピュータで読み取り可能な記録媒体。