JP6401357B2 - ビデオ復号化方法及びその装置 - Google Patents

Description

本発明は、ビデオの符号化及び復号化に係り、さらに詳細には、変換係数のサイズ情報を、エントロピー符号化及びエントロピー復号化するのに利用されるコンテクストモデルを選択する方法及びその装置に関する。

ＭＰＥＧ（moving picture experts group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を所定サイズのブロックに分けた後、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用して、ブロックの残差データを獲得する。残差データは、変換、量子化、スキャニング、ランレングスコーディング（run length coding）及びエントロピーコーディングを介して圧縮される。エントロピーコーディング時には、構文要素（syntax element）、例えば、変換係数や動きベクトルなどをエントロピー符号化し、ビットストリームを出力する。デコーダ側面で、ビットストリームから構文要素を抽出し、抽出された構文要素に基づいて復号化が行われる。

本発明が解決しようとする技術的課題は、変換係数レベルのエントロピー符号化及びエントロピー復号化に利用される不要なコンテクストモデルを除去し、コンテクストモデルを単純化することにより、コンテクストモデルを保存するメモリコストを低減させるためのものである。

また、本発明が解決しようとする技術的課題は、エントロピー符号化及びエントロピー復号化の性能を大きく低下させずに、コンテクストモデル選択過程を高速化及び単純化するためのものである。

本発明の実施形態は、カラー情報、変換係数が含まれたサブセットの位置、連続した１の長さのような情報に基づいて、変換係数レベルのエントロピー符号化及びエントロピー復号化に利用されるコンテクストモデルを選択する。

本発明の実施形態によれば、減少された個数のコンテクストモデルを利用することにより、コンテクストモデルを保存するメモリの利用量を減少させることができ、大きい性能低下なしに、変換係数レベルのエントロピー符号化及びエントロピー復号化を行うことができる。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図である。 本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、変換単位に含まれた変換係数情報をエントロピー符号化及びエントロピー復号化する過程を示したフローチャートである。 本発明の一実施形態による、変換単位を分割したサブセット（subset）を示した図面である。 図１５の変換単位に含まれたサブセットの一例を示した図面である。 図１６のサブセット１６００に対応する有効性マップを示した図面である。 図１６のサブセット１６００に対応する第１臨界値フラグを示した図面である。 図１６のサブセット１６００に対応する第２臨界値フラグを示した図面である。 図１６ないし図１９に図示された１つのサブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を示した表である。 本発明の一実施形態によるエントロピー符号化装置の構成を示したブロック図である。 本発明の一実施形態によるエントロピー復号化装置の構成を示したブロック図である。 本発明の一実施形態によるコンテクスト・モデラの構成を示したブロック図である。 本発明の一実施形態による、輝度成分の変換単位に適用される複数個のコンテクストセットと、各コンテクストセットに含まれた複数個のコンテクストとを示した図面である。 本発明の一実施形態による、色差成分の変換単位に適用される複数個のコンテクストセットと、各コンテクストセットに含まれた複数個のコンテクストとを示した図面である。 本発明の一実施形態による、変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法を示したフローチャートである。 本発明の一実施形態による、変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法を、さらに具体的に示したフローチャートである。 本発明の一実施形態による、輝度成分の有効変換係数及び色差成分の有効変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス（ｃｔｘｓｅｔ）を示す図面である。 本発明の一実施形態による、第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストオフセットを示す図面である。 本発明の一実施形態による、図２０のサブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を、エントロピー符号化またはエントロピー復号化するのに利用されるコンテクストオフセット・インデックス（ｃ１）を示した表である。 本発明の一実施形態による、サブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を、エントロピー符号化またはエントロピー復号化するのに利用されるコンテクストオフセット・インデックス（ｃ１）の他の例を示した表である。

前述の技術的課題を解決するための本発明の一実施形態による変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法は、変換単位を所定サイズのサブセットに分割し、各サブセットに含まれた０ではない有効変換係数を獲得する段階と、前記変換単位のカラー成分情報、前記有効変換係数が含まれた第１サブセットの位置、及び前記第１サブセットより以前に処理された第２サブセットに、所定の第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストを含む複数個のコンテクストセットのうち、前記有効変換係数が、前記第１臨界値より大きい値を有するか否かということを示す第１臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックスを獲得する段階と、以前の連続した１の値を有する変換係数の長さに基づいて、前記第１臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセットを獲得する段階と、前記コンテクストセット・インデックス及びコンテクストオフセットを利用して、前記第１臨界値フラグのエントロピー符号化及びエントロピー復号化に利用される１つのコンテクストを示すコンテクストインデックスを獲得する段階と、を含む。

本発明の一実施形態による変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定装置は、変換単位を所定サイズのサブセットに分割し、各サブセットに含まれた０ではない有効変換係数を獲得するマッピング部；前記変換単位のカラー成分情報、前記有効変換係数が含まれた第１サブセットの位置、及び前記第１サブセットより以前に処理された第２サブセットに、所定の第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストを含む複数個のコンテクストセットのうち、前記有効変換係数が、前記第１臨界値より大きい値を有するか否かということを示す第１臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックスを獲得するコンテクストセット獲得部；以前の連続した１の値を有する変換係数の長さに基づいて、前記第１臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセットを獲得するコンテクストオフセット獲得部；及び前記コンテクストセット・インデックス及びコンテクストオフセットを利用して、前記第１臨界値フラグのエントロピー符号化及びエントロピー復号化に利用される１つのコンテクストを示すコンテクストインデックスを獲得するコンテクスト決定部；を含むことを特徴とする。

以下、本明細書に記載された本発明の多様な実施形態において、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に呼称することができる。

映像と係わるデータに対して各種動作が遂行されるとき、映像と係わるデータは、データグループに分割され、同一データグループに含まれるデータについて、同一動作が遂行されもする。以下、本明細書において、所定基準によって形成されるデータグループを、「データ単位」とする。以下、本明細書において、「データ単位」ごとに行われる動作は、データ単位に含まれたデータを利用して、当該動作が遂行されるということを意味する。

以下、図１ないし図１３を参照し、本発明の一実施形態による、階層的ツリー構造による符号化単位に基づいたツリー構造の構文要素（ＳＥ：syntax element）を符号化及び復号化するビデオの符号化方法及び復号化方法、並びにその装置について開示する。また、図１４ないし図２９を参照し、図１ないし図１３で説明されたビデオの符号化方式及び復号化方式で利用されるエントロピー符号化及びエントロピー復号化の過程について具体的に説明する。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。一実施形態によるビデオ符号化装置１００は、階層的符号化部１１０及びエントロピー符号化部１２０を含む。

階層的符号化部１１０は、符号化される現在ピクチャを所定サイズのデータ単位に分割し、データ単位別に符号化を行う。具体的には、階層的符号化部１１０は、現在ピクチャを、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを分割することができる。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横サイズが８より大きい２の累乗である正方形のデータ単位でもある。

一実施形態による符号化単位は、最大サイズ及び深度でもって特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさが小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データは、深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズが前もって設定されている。

階層的符号化部１１０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、階層的符号化部１１０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、エントロピー符号化部１２０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度により、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数が増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による階層的符号化部１１０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立的に決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が、最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われもする。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び周波数変換を含んだ符号化が行われる。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基にして、予測符号化及び周波数変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、全ての段階にわたり、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基にして、予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を、「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基にして、符号化単位の映像データの周波数変換を行うことができる。

符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基にして、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。

以下、周波数変換の基盤になるデータ単位を、「変換単位」と呼ぶ。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって分割される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深図１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、階層的符号化部１１０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に説明する。

階層的符号化部１１０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

エントロピー符号化部１２０は、階層的符号化部１１０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。符号化された映像データは、映像の残差データの符号化結果でもある。深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。特に後述するように、一実施形態によるエントロピー符号化部１２０は、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストセットのうち一つを示すコンテクストセット・インデックスを獲得し、以前の連続した１の値を有する変換係数の長さに基づいて、コンテクストオフセットを獲得する。そして、獲得されたコンテクストセット・インデックス及びコンテクストオフセットに基づいて、第１臨界値、すなわち、１より大きい有効変換係数であるか否かということを示す第１臨界値フラグ（Greaterthan１ flag）、及び第２臨界値、すなわち、２より大きい有効変換係数であるか否かということを示すフラグ（Greaterthan２ flag）に適用するコンテクストモデルを示すコンテクスト・インデックス（ｃｔｄＩｄｘ）を決定する。エントロピー符号化部１２０において、変換係数のエントロピー符号化のためのコンテクストモデルを決定する過程については後述する。

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって、階層的に分割され、位置別に符号化深度が異なることがあるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態によるエントロピー符号化部１２０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、エントロピー符号化部１２０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含む。また、ピクチャ別、スライス別またはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報は、ビットストリームのヘッダに挿入される。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を、最大４個含む。

従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基にして、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置１００は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。一実施形態によるビデオ復号化装置２００は、構文要素（ＳＥ）抽出部２１０、エントロピー復号化部２２０及び階層的復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

構文要素抽出部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。エントロピー復号化部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位により、符号化単位ごとに符号化された映像データを抽出し、階層的復号化部２３０に出力する。

エントロピー復号化部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、符号化モード、カラー成分情報、予測モード情報などの付加情報を抽出する。抽出された符号化深度及び符号化モードなどに係わる情報は、階層的復号化部２３０に出力される。ビット列の映像データは、最大符号化単位に分割されて符号化されたので、階層的復号化部２３０は、最大符号化単位ごとに、映像データを復号化することができる。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されもする。

エントロピー復号化部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端において、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、エントロピー復号化部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているのであるならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

また、後述するように、本発明の一実施形態によるエントロピー復号化部２２０は、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、コンテクストセット・インデックスを獲得し、以前の連続した１の値を有する変換係数の長さに基づいて、コンテクストオフセットを獲得する。そして、獲得されたコンテクストセット・インデックス及びコンテクストオフセットに基づいて、第１臨界値、すなわち、１より大きい有効変換係数であるか否かということを示す第１臨界値フラグ（Greaterthan１ flag）及び第２臨界値、すなわち、２より大きい有効変換係数であるか否かということを示すフラグ（Greaterthan２ flag）に適用するコンテクストモデルを示すコンテクスト・インデックス（ｃｔｄＩｄｘ）を決定する。

階層的復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位うちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び周波数逆変換過程を含む。

階層的復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードにより、イントラ予測または動き補償を行うことができる。

また、階層的復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位により、周波数逆変換を行うことができる。

階層的復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、階層的復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、階層的復号化部２３０により、同一の符号化モードで復号化する１つのデータ単位と見なされる。

一実施形態によるビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードにより、効率的に映像データを復号化して復元することができる。

以下、図３ないし図１３を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について述べる。

図３は、階層的符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上及び映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含む。深度が深くなるほど、細部情報の表現能が向上する。

図４は、本発明の一実施形態による、階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図を図示している。イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるエントロピー符号化部４５０は、変換単位の構文要素、例えば、第１臨界値フラグ（Ｇｔｒ１ flag）、第２臨界値フラグ（Ｇｔｒ２ flag）を符号化するとき、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、コンテクストセット・インデックスを獲得し、以前の連続した１の値を有する変換係数の長さに基づいて、コンテクストオフセットを獲得し、獲得されたコンテクストセット・インデックス及びコンテクストオフセットに基づいて、コンテクストモデルを示すコンテクスト・インデックスを決定する。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定する。

図５は、本発明の一実施形態による階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。

イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。また、本発明の一実施形態によるエントロピー復号化部５２０は、変換単位の構文要素、例えば、第１臨界値フラグ（Ｇｔｒ１ flag）、第２臨界値フラグ（Ｇｔｒ２ flag）を復号化するとき、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、コンテクストセット・インデックスを獲得し、以前の連続した１の値を有する変換係数の長さに基づいて、コンテクストオフセットを獲得し、獲得されたコンテクストセット・インデックス及びコンテクストオフセットに基づいて、コンテクストモデルを示すインデックスを決定する。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比べるために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

図７は、本発明の一実施形態による符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり、あるいは復号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図８は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるか否かということが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基にして周波数変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つでもある。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

図９は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下、位深度の符号化単位に分割されるか否かということを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な比率で分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復して予測符号化を介する符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

かようにして、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部の変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比べれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基にして遂行することができる。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

一実施形態によるビデオ符号化装置１００のエントロピー符号化部１２０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００のエントロピー復号化部２１０は、受信されたビットストリームをパージングし、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：ｎ（ｎは、１より大きい定数）及びｎ：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：ｎ及びｎ：１に分割された形態を示す。

変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含む。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６、ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図９を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

他の例で、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

さらに他の例で、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

従って、最大変換単位分割情報を、「ＭａｘTransformSizeIndex」、最小変換単位サイズを「ＭｉｎTransformSize」、変換単位分割情報が０でる場合の変換単位、すなわち、基礎変換単位RootTuの大きさを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」は、下記数式（１）のように定義される。

ＣｕｒｒＭｉｎTuSize
＝ｍａｘ（ＭｉｎTransformSize，RootTuSize／（２＾ＭａｘTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」と比較し、基礎変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾ＭａｘTransformSizeIndex）」は、基礎変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎTuSize」でもある。

一実施形態による基礎変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位である基礎変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

現在パーティション単位の予測モードが、イントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

RootTuSize＝ｍｉｎ（ＭａｘTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、基礎変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズである基礎変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないことに留意しなければならない。

以下、図１のビデオ符号化装置１００のエントロピー符号化部１２０で遂行される構文要素（ＳＥ：syntax element）のエントロピー符号化過程、及び図２のビデオ復号化装置２００のエントロピー復号化部２２０で遂行される構文要素（ＳＥ）のエントロピー復号化過程について詳細に説明する。

前述のように、本発明の一実施形態によるビデオ符号化装置１００、及びビデオ復号化装置２００は、最大符号化単位より小さいか、あるいはそれと同じ符号化単位に、最大符号化単位を分割し、符号化及び復号化を行う。予測過程及び変換過程に利用される予測単位及び変換単位は、他のデータ単位と独立し、コストに基づいて決定される。このように、最大符号化単位に含まれた、階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造によるデータ単位が構成される。すなわち、最大符号化単位ごとに、ツリー構造の符号化単位、ツリー構造の予測単位及び変換単位が決定される。復号化のために、かような階層的構造のデータ単位の構造情報を示す情報である階層情報と、階層情報以外に、復号化のための階層外情報とが伝送される必要がある。

階層的構造と係わる情報は、前述の図１０ないし図１２に説明されたツリー構造の符号化単位、ツリー構造の予測単位、及びツリー構造の変換単位を決定するために必要な情報として、最大符号化単位の大きさ、符号化深度、予測単位のパーティション情報、符号化単位の分割いかんを示す分割フラグ（split flag）、変換単位のサイズ情報、変換単位の分割いかんを示す変換単位分割フラグ（ＴＵ size flag）などを含む。階層的構造情報以外の符号化情報としては、各予測単位に適用されたイントラ／インター予測の予測モード情報、動きベクトル情報、予測方向情報、複数個のカラー成分が利用された場合、当該データ単位に適用されたカラー成分情報、変換係数情報などを含む。以下の説明で、階層情報及び階層外情報は、エントロピー符号化及びエントロピー復号化の対象である構文要素（ＳＥ）とする。

特に、本発明の実施形態は、構文要素のうち、変換係数のレベル、すなわち、サイズ情報を、効率的にエントロピー符号化及びエントロピー復号化するためのコンテクストモデル決定過程係わるものである。以下、変換係数のレベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定過程について具体的に説明する。

図１４は、本発明の一実施形態による、変換単位に含まれた変換係数情報を、エントロピー符号化及びエントロピー復号化する過程を示したフローチャートである。図１４を参照すれば、段階１４１０において、現在変換単位に含まれた変換係数のうち、０ではない変換係数（以下「有効変換係数（significant coefficient）」とする）が存在するか否かということを示すcoded＿block＿flagが、まずエントロピー符号化及びエントロピー復号化される。

coded＿block＿flagが０であるならば、現在変換単位に、０である変換係数だけが存在するので、coded＿block＿flagとして、０の値だけがエントロピー符号化及びエントロピー復号化され、変換係数レベル情報は、エントロピー符号化及びエントロピー復号化されない。

段階１４２０で、現在変換単位に、有効変換係数が存在する場合には、有効変換係数の位置を示す有効性マップ（ＳｉｇMap：significance map）がエントロピー符号化及びエントロピー復号化される。

有効性マップは、有効ビット（significant bit）、及び最後の有効変換係数の位置を示す所定の情報で構成される。有効ビットは、各スキャンインデックスによる変換係数が有効変換係数であるか、あるいは０であるかということを示すものであり、significant＿ｃｏｅｆｆ＿flag［ｉ］を利用して表現される。後述するように、有効性マップは、変換単位を分割した所定サイズのサブセット単位で設定される。従って、significant＿ｃｏｅｆｆ＿flag［ｉ］は、変換単位に含まれた１つのサブセットに含まれた変換係数のうち、ｉ番目のスキャンインデックスの変換係数が０であるか否かということを示す。

従来のＨ．２６４などでは、各有効変換係数ごとに、最後の有効変換係数であるか否かということを示すフラグ（End−Of−Block）が、別途にエントロピー符号化及びエントロピー復号化された。しかし、本発明の一実施形態によれば、最後の有効変換係数の位置情報がそのままエントロピー符号化及びエントロピー復号化される。前述の図１ないし図１３で説明した通り、本発明の実施形態によれば、変換単位の大きさが、従来のＨ．２６４などで利用される４ｘ４に限定されるものではなく、８ｘ８、１６ｘ１６、３２ｘ３２のような大サイズを有することができる。大サイズの変換単位に含まれた各有効変換係数ごとに、最後の有効変換係数であるか否かということを示すフラグ（End−Of−Block）を、別途にエントロピー符号化及びエントロピー復号化することは、フラグ（End−Of−Block）の大きさが増大して非効率的である。従って、本発明の一実施形態によれば、最後の有効変換係数の位置情報が、そのままエントロピー符号化及びエントロピー復号化される。例えば、最後の有効変換係数の位置が、（ｘ，ｙ）（ｘ，ｙは、整数）であるならば、（ｘ，ｙ）座標値が、そのままエントロピー符号化及びエントロピー復号化される。

図１５は、本発明の一実施形態による、変換単位を分割したサブセット（subset）を示した図面である。図１５では、変換単位１５００の大きさが１６ｘ１６である場合を図示したが、変換単位１５００の大きさは、図示された１６ｘ１６に限定されるものではなく、４ｘ４〜３２ｘ３２のような多様な大きさを有することができる。

図１５を参照すれば、変換単位１５００に含まれた変換係数のエントロピー符号化及びエントロピー復号化のために、変換単位１５００は、所定サイズのサブセット（subset）に分割される。一例として、図示されているように、変換単位１５００は、４ｘ４サイズのサブセットに分割される。サブセットの大きさは、４ｘ４サイズに限定されるものではなく、変更されてもよい。

図示されているように、変換単位１５００は、１６個のサブセットに分割され、各サブセット単位で、変換係数情報がエントロピー符号化及びエントロピー復号化される。エントロピー符号化及びエントロピー復号化される変換係数情報は、有効性マップ（ＳｉｇMap）、サブセットに含まれた有効変換係数が、所定の第１臨界値、例えば、１より大きい値を有するか否かということを示す第１臨界値フラグ（Greaterthan１ flag、以下、「Ｇｔｒ１ flag」とする）、サブセットに含まれた有効変換係数が所定の第２臨界値、例えば、２より大きい値を有するか否かということを示す第２臨界値フラグ（Greaterthan２ flag、以下、「Ｇｔｒ２ flag」とする）、及び所定の第２臨界値より大きい有効変換係数のレベルを示す情報（level−３）などがある。以下の説明では、第１臨界値が１、第２臨界値が２である場合を仮定して説明するが、第１臨界値及び第２臨界値は、それらに限定されるものではなく、変更されてもよい。第１臨界値フラグ（Ｇｔｒ１ flag）は、有効性マップが１である変換係数、すなわち、有効変換係数に対して設定され、０である変換係数については、設定されない。また、第２臨界値フラグ（Ｇｔｒ２ flag）は、第１臨界値フラグが１である変換係数に対して設定される。

図１５で、最後の有効変換係数が含まれたサブセットを、subset １１ １５１０と仮定する。サブセット単位で遂行される変換係数情報のエントロピー符号化及びエントロピー復号化過程は、最後の有効変換係数が含まれたsubset １１ １５１０から、図示されたスキャン順序により、逆順（backward）で、各サブセットの変換係数情報がエントロピー符号化及びエントロピー復号化される。

図１６は、図１５の変換単位に含まれたサブセットの一例を示した図面である。

図１５及び図１６を参照すれば、図１５に図示された変換単位１５００に含まれたいずれか１つのサブセットが、図１６に図示されているような４ｘ４サイズの変換係数を含んでいると仮定する。前述のように、本発明の一実施形態によれば、サブセット単位で、有効性マップ（ＳｉｇMap）、第１臨界値フラグ（Ｇｔｒ１ flag）、第２臨界値フラグ（Ｇｔｒ２ flag）がエントロピー符号化及びエントロピー復号化される。

図１７は、図１６のサブセット１６００に対応する有効性マップを示した図面である。

図１６及び図１７を参照すれば、図１６のサブセット１６００に含まれた変換係数のうち、０ではない値を有する有効変換係数に対して、１の値を有する有効性マップ（ＳｉｇMap）１７００が設定される。かような有効性マップ（ＳｉｇMap）１７００は、既設定のコンテクストモデルを利用して、エントロピー符号化及びエントロピー復号化される。

図１８は、図１６のサブセット１６００に対応する第１臨界値フラグを示した図面である。

図１６ないし図１８を参照すれば、有効性マップ（ＳｉｇMap）１７００が１の値を有する変換係数に対して、当該変換係数が第１臨界値、すなわち、１より大きい値を有するか否かということを示す第１臨界値フラグ（Ｇｔｒ１ flag）１８００が設定される。第１臨界値フラグ（Ｇｔｒ１ flag）１８００が１であるならば、当該変換係数は、１より大きい値を有する変換係数であるということを示し、第１臨界値フラグ（Ｇｔｒ１ flag）１８００が０であるならば、当該変換係数は、１の値を有する変換係数であるということを示す。

図１９は、図１６のサブセット１６００に対応する第２臨界値フラグを示した図面である。

図１６ないし図１９を参照すれば、第１臨界値フラグ（Ｇｔｒ１ flag）１８００が１に設定された変換係数に対して、当該変換係数が第２臨界値、すなわち、２より大きい値を有するか否かということを示す第２臨界値フラグ（Ｇｔｒ２ flag）１９００が設定される。第２臨界値フラグ（Ｇｔｒ２ flag）１９００が１であるならば、当該変換係数は、２より大きい値を有する変換係数であるということを示し、第２臨界値フラグ（Ｇｔｒ２ flag）１９００が０であるならば、当該変換係数は、２の値を有する変換係数であるということを示す。

図１９で、第２臨界値フラグ（Ｇｔｒ２ flag）１９００が１である変換係数、すなわち、図１６で、「２３」及び「３」の値を有する変換係数は、レベル情報がそのままエントロピー符号化及びエントロピー復号化される。そのとき、第２臨界値フラグ（Ｇｔｒ２ flag）１９００が１である変換係数は、２より大きい値を有する変換係数であるので、当該変換係数のレベルから３を差し引いた値（level−３）を、当該変換係数のレベル情報として符号化する。前述の例において、エントロピー符号化時に、「２３」値の代わりに、「２０」値がレベル情報として符号化され、「３」値の代わりに、「０」値がレベル情報として符号化される。エントロピー復号化時に、第２臨界値フラグ（Ｇｔｒ２ flag）１９００が１である変換係数に対するレベル情報（level−３）をエントロピー復号化した後、３の値を加えることにより、当該変換係数のレベル情報を復元することができる。

図２０は、図１６ないし図１９に図示された１つのサブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を示した表である。前述のように、本発明の一実施形態によれば、サブセット単位において、最後の有効変換係数から所定スキャン順序により、有効変換係数の位置及びレベル情報を示す有効性マップ（ＳｉｇMap）、第１臨界値フラグ（Ｇｔｒ１ flag）、第２臨界値フラグ（Ｇｔｒ２ flag）及びレベル情報（level−３）が、エントロピー符号化及びエントロピー復号化される。

図２１Ａは、本発明の一実施形態によるエントロピー符号化装置の構成を示したブロック図である。図２１Ａのエントロピー符号化装置２１００は、図１のビデオ符号化装置１００のエントロピー符号化部１２０に対応する。

図２１Ａを参照すれば、一実施形態によるエントロピー符号化装置２１００は、二進化部（binarizer）２１１０、コンテクスト・モデラ（context modeler）２１２０、二進算術符号化部（binary arithmetic ccoder）２１３０を含む。また、二進算術符号化部２１３０は、レギュラー・コーディング部（regular coding engine）２１３２と、バイパス・コーディング部（bypass coding engine）２１３４とを含む。

エントロピー符号化装置２１００に入力される構文要素（syntax element）は、二進値ではないことがあるので、構文要素が二進値ではない場合、二進化部２１１０は、構文要素を二進化し、０または１の二進値で構成されたビンストリング（bin string）を出力する。ビンは、０または１から構成されたストリームの各ビットを示すものであり、各ビンは、ＣＡＢＡＣ（context adaptive binary arithmetic coding）を介して符号化される。構文要素が０及び１の頻度が同一であるデータであるならば、確率値を利用しないバイパス・コーディング部２１３４に出力されて符号化される。

コンテクスト・モデラ２１２０は、レギュラー・コーディング部２１３２に、現在符号化シンボルに係わる確率モデルを提供する。具体的には、コンテクスト・モデラ２１２０は、現在符号化シンボルの二進値を符号化するための二進値の発生確率を、二進算術符号化部２１３０に出力する。現在符号化シンボルとは、符号化される現在構文要素を二進化、すなわち、二進値から構成したとき、各二進値を示す。

コンテクストモデルは、ビンに係わる確率モデルであり、０及び１のうちいずれの値がＭＰＳ（most probable symbol）及びＬＰＳ（least probable symbol）に該当するかということに係わる情報と、ＭＰＳまたはＬＰＳの確率とを含む。以下の説明で、コンテクストモデルは、単にコンテクストと呼ばれもする。また、コンテクストセットは、複数個のコンテクストを含むコンテクストの集合を意味する。

レギュラー・コーディング部２１３２は、コンテクスト・モデラ２１２０から提供されたＭＰＳ、ＬＰＳに係わる情報、及びＭＰＳまたはＬＰＳの確率情報に基づいて、現在符号化シンボルに係わる二進算術符号化を行う。

後述するように、特に、本発明の一実施形態によるコンテクスト・モデラ２１２０は、サブセットの第１臨界値フラグ（Ｇｔｒ１ flag）をエントロピー符号化するためのコンテクストモデルを決定するために、変換単位のカラー成分情報、現在サブセットが変換単位のいずれの部分に位置するかというサブセットの位置情報、及び前述の図１５の処理順序によって、現在サブセット以前に処理されたサブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストを含む複数個のコンテクストセットのうち、第１臨界値フラグのエントロピー符号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス（ｃｔｘset）を獲得する。そして、コンテクスト・モデラ２１２０は、以前の連続した１の値を有する変換係数の長さに基づいて、第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセット（ｃ１）を獲得する。そして、コンテクスト・モデラ２１２０は、コンテクストセット・インデックス（ｃｔｘset）及びコンテクストオフセット（ｃ１）を利用して、第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化に利用される１つのコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１）を獲得する。変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）をエントロピー符号化及びエントロピー復号化するたびに、コンテクストオフセット（ｃ１）の値が維持または変更されるので、変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）をエントロピー符号化及びエントロピー復号化するたびに、コンテクストが維持または更新（update）される。

また、コンテクスト・モデラ２１２０は、サブセットの第２臨界値フラグ（Ｇｔｒ２ flag）をエントロピー符号化するために、変換単位のカラー成分情報、現在サブセットが変換単位のいずれの部分に位置するかというサブセットの位置情報、及び前述の図１５の処理順序により、現在サブセット以前に処理されたサブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用される複数個のコンテクストセットのうち一つを示すコンテクストセット・インデックス（ｃｔｘset）を獲得する。第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセット・インデックス（ｃｔｘset）を獲得するのに利用されるパラメータは、第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセット・インデックス（ｃｔｘset）を獲得するのに利用されるパラメータと同じである。従って、コンテクスト・モデラ２１２０は、前述の第１臨界値フラグのエントロピー符号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス（ｃｔｘset）を、第２臨界値フラグのエントロピー符号化のためのコンテクストセットの決定時、そのまま利用することができる。第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセット（ｃ２）は、０の値を有する。従って、第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化に利用されるコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ２）は、第１臨界値フラグ（Ｇｔｒ１ flag）のコンテクストセット・インデックス（ｃｔｘset）と同一に設定される。

図２１Ｂは、本発明の一実施形態によるエントロピー復号化装置の構成を示したブロック図である。図２１Ｂのエントロピー復号化装置２１５０は、図２のビデオ復号化装置２００のエントロピー復号化部２２０に対応する。エントロピー復号化装置２１５０は、前述のエントロピー符号化装置２１００で遂行されるエントロピー符号化過程の逆過程を遂行する。

図２１Ｂを参照すれば、エントロピー復号化装置２１５０は、コンテクスト・モデラ２１６０、レギュラー・デコーディング部２１７０、バイパス・デコーディング部２１８０、逆二進化部２１９０を含む。

バイパス・コーディングによって符号化されたシンボルは、バイパス・デコーディング部２１８０に出力されて復号化され、レギュラー・コーディングによって符号化されたシンボルは、レギュラー・デコーディング部２１７０によってデコーディングされる。レギュラー・デコーディング部２１７０は、コンテクスト・モデラ２１６０から提供されるコンテクストモデルに基づいて、現在符号化シンボルの二進値を算術復号化する。

コンテクスト・モデラ２１６０は、前述の図２１Ａのコンテクスト・モデラ２１２０と同一に、サブセットの第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー復号化のためのコンテクストモデルを決定する。図２１Ｂのコンテクスト・モデラ２１６０の動作は、復号化側で遂行されるという点を除き、符号化側の図２１Ａのコンテクスト・モデラ２１２０と同一に、第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー復号化のためのコンテクストモデルを決定する。

逆二進化部２１９０は、レギュラー・デコーディング部２１７０またはバイパス・デコーディング部２１８０で復元されたビンストリングを、さらに構文要素（syntax element）に復元する。

以下、図２１Ａ及び図２１Ｂのコンテクスト・モデラ２１２０，２１６０での、第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定過程について、具体的に説明する。

図２２は、本発明の一実施形態によるコンテクスト・モデラの構成を示したブロック図である。図２２を参照すれば、コンテクスト・モデラ２２００は、マッピング部２２１０、コンテクストセット獲得部２２２０、コンテクストオフセット獲得部２２３０及びコンテクスト決定部２２４０を含む。

マッピング部２２１０は、エントロピー符号化またはエントロピー復号化される現在サブセットに含まれた有効変換係数の位置情報を獲得する。エントロピー符号化時、マッピング部２２１０は、現在サブセットに含まれた変換係数の情報から、有効変換係数の位置を獲得することができる。エントロピー復号化時、マッピング部２２１０は、有効性マップ（ＳｉｇMap）から、サブセットに含まれた有効変換係数の位置を獲得することができる。

コンテクストセット獲得部２２２０は、有効変換係数に係わる第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）の、エントロピー符号化及びエントロピー復号化に利用される複数個のコンテクストを含む複数個のコンテクストセットのうち１つのコンテクストセットを決定するためのコンテクストセット・インデックス（ｃｔｘset）を獲得する。

具体的には、コンテクストセット獲得部２２２０は、変換単位のカラー成分情報、処理される現在サブセットの位置、及び現在サブセット以前に処理されたサブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス（ｃｔｘset）を獲得する。

コンテクストオフセット獲得部２２３０は、コンテクストセット・インデックス（ｃｔｘset）に含まれた複数個のコンテクストのうち一つを示すコンテクストオフセットを決定する。第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化時及びエントロピー復号化時に、コンテクストオフセット（ｃ１）は、現在サブセットに含まれた有効変換係数を、所定スキャン順序によって処理しながら、処理される現在有効変換係数以前に連続した１の値を有する変換係数の長さに基づいて決定される。第２臨界値フラグ（Ｇｔｒ１ flag）のコンテクストオフセット（ｃ２）は、０の値を有する。

コンテクスト決定部２２４０は、コンテクストセット・インデックス（ｃｔｘset）及びコンテクストオフセット（ｃ１）を利用して、１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化及びエントロピー復号化に利用される１つのコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１）を獲得する。第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化及びエントロピー復号化のために、ｎ（ｎは、整数）個のコンテクストセットが設定され、ｎ個のコンテクストセットは、それぞれｍ（ｍは、整数）個のコンテクストを有すると仮定すれば、全ｎ＊ｍ個のコンテクストが、第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化及びエントロピー復号化に利用される。ｎ個のコンテクストセットのうち一つを示すコンテクストセット・インデックス（ｃｔｘSet）が、０から（ｎ−１）までの整数であり、ｍ個のコンテクストオフセットのうち一つを示すコンテクストオフセット（ｃ１）が、０から（ｍ−１）までの整数であるとするとき、コンテクスト決定部２２４０は、次の数式に基づいて、ｎ＊ｍ個のコンテクストのうち一つを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１）を決定することができる。

ｃｔｘＩｄｘ１＝ｃｔｘSet＊ｍ＋ｃ１
第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用される１つのコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ２）は、次の数式に基づいて決定される。

ｃｔｘＩｄｘ２＝ｃｔｘSet＊１＋ｃ２
前述のように、ｃ２の値が０であるので、第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用される１つのコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ２）は、ただコンテクストセット・インデックス（ｃｔｘSet）の値に基づいて決定される。

図２３は、本発明の一実施形態による、輝度成分の変換単位に適用される複数個のコンテクストセットと、各コンテクストセットに含まれた複数個のコンテクストとを示した図面であり、図２４は、本発明の一実施形態による、色差成分の変換単位に適用される複数個のコンテクストセットと、各コンテクストセットに含まれた複数個のコンテクストとを示した図面である。

図２３を参照すれば、輝度成分サブセットに含まれた変換係数に係わる第１臨界値フラグ（Ｇｔｒ１ flag）を、エントロピー符号化及びエントロピー復号化するために、第１コンテクストセット２３１０、第２コンテクストセット２３２０、第３コンテクストセット２３３０及び第４コンテクストセット２３４０の全４個のコンテクストセットのうち、いずれか１つのコンテクストセットに含まれた１つのコンテクストが利用される。１つのコンテクストセットに含まれた互いに異なるコンテクストは、図示されているような０ないし３のコンテクストオフセット（ｃ１）を介して区分される。従って、輝度成分のサブセットの変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）に適用される全１６個のコンテクストのうち、適用される１つのコンテクストは、コンテクストセット・インデックス（ｃｔｘset）及びオフセット（ｃ１）を介して決定される。すなわち、輝度成分のサブセットに含まれた変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）に適用される全１６個のコンテクストのうち一つを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１）は、次の数式のように決定される。

ｃｔｘＩｄｘ１＝ｃｔｘSet＊４＋ｃ１
同様に、図２４を参照すれば、色差成分サブセットに含まれた変換係数に係わる第１臨界値フラグ（Ｇｔｒ１ flag）を、エントロピー符号化及びエントロピー復号化するために、第１コンテクストセット２４１０及び第２コンテクストセット２４２０の全２個のコンテクストセットのうち、いずれか１つのコンテクストセットに含まれた１つのコンテクストが利用される。１つのコンテクストセットに含まれた互いに異なるコンテクストは、それぞれ図示されているような０ないし３のコンテクストオフセット（ｃ１＿chroma）を介して区分される。後述するように、色差成分に係わるコンテクストオフセット（ｃ１＿chroma）は、輝度成分に係わるコンテクストオフセット（ｃ１）と同一に設定される。色差成分のサブセットに含まれた変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）に適用される全８個のコンテクストのうち一つを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１＿chroma）は、次の数式のように決定される。

ｃｔｘＩｄｘ１＿chroma＝ｃｔｘSet＊４＋ｃ１＿chroma
図２７Ａは、本発明の一実施形態による、輝度成分の有効変換係数及び色差成分の有効変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセット（context set）を決定するためのコンテクストセット・インデックス（ｃｔｘset）を示している。

図２７Ａを参照すれば、コンテクストセット獲得部２２２０は、変換単位のカラー成分情報、処理される現在サブセットの位置、及び現在サブセット以前に処理されたサブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス（ｃｔｘset）を獲得する。

例えば、輝度成分（luma）の変換単位に含まれた変換係数に対して、以前に処理されたサブセットに、１より大きい値を有する有効変換係数が存在せず（No GreatＴ１）、最左上側に位置したサブセット（subset ０）に含まれた有効変換係数の第１臨界値フラグを、エントロピー符号化及びエントロピー復号化するときには、第１コンテクストセット（ｃｔｘset＝０）が獲得される。以前に処理されたサブセットに、１より大きい値を有する有効変換係数が存在し（at least one GreatＴ１）、最左上側に位置したサブセット（subset ０）に含まれた有効変換係数の第１臨界値フラグを、エントロピー符号化及びエントロピー復号化するときには、第２コンテクストセット（ｃｔｘset＝１）が獲得される。以前に処理されたサブセットに、１より大きい値を有する有効変換係数が存在せず（No GreatＴ１）、最左上側に位置しないサブセット（other subsets）に含まれた有効変換係数の第１臨界値フラグを、エントロピー符号化及びエントロピー復号化するときには、第３コンテクストセット（ｃｔｘset＝２）が獲得される。また、以前に処理されたサブセットに、１より大きい値を有する有効変換係数が存在し（at least one GreatＴ１）、最左上側に位置しないサブセット（other subsets）に含まれた有効変換係数の第１臨界値フラグを、エントロピー符号化及びエントロピー復号化するときには、第４コンテクストセット（ｃｔｘset＝３）が獲得される。

色差成分（chroma）の変換単位に含まれた変換係数については、以前に処理されたサブセットに、１より大きい値を有効変換係数が存在するか否かということにのみ基づいて、コンテクストセットが獲得される。すなわち、以前に処理されたサブセットに、１より大きい値を有する有効変換係数が存在しなければ（No GreatＴ１）、第１コンテクストセット（ｃｔｘset＝０）が獲得され、以前に処理されたサブセットに、１より大きい値を有する有効変換係数が存在すれば（at least one GreatＴ１）、第２コンテクストセット（ｃｔｘset＝１）が獲得される。

図２７Ｂは、本発明の一実施形態による、第１臨界値フラグ（Ｇｔｒ１ flag）及び第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストオフセットを示している。

図２７Ｂを参照すれば、第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットに含まれた１つのコンテクストを決定するために、サブセットに含まれた有効変換係数のうち１以上の値を有する有効変換係数については、第１コンテクストオフセット（ｃ１＝０）が獲得される。サブセットに含まれた有効変換係数のうち、最初に処理される有効変換係数に対して、第２コンテクストオフセット（ｃ１＝１）が獲得される。以前の連続した１の値を有する変換係数の長さが１である場合、第３コンテクストオフセット（ｃ１＝２）が獲得される。以前の連続した１の値を有する変換係数の長さが２以上である場合、第４コンテクストオフセット（ｃ１＝３）が獲得される。コンテクストオフセット（ｃ１）は、輝度成分及び色差成分いずれにも同一に適用される。

第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用されるコンテクストオフセット（ｃ２）は、０の値を有する。

図２７Ａ及び図２７Ｂに図示された表に基づいて、サブセットに含まれた変換係数のエントロピー符号化及びエントロピー復号化のためのコンテクストセット・インデックス（ｃｔｘset）及びコンテクストオフセット（ｃ１またはｃ２）が決定されれば、コンテクスト決定部２２４０は、輝度成分のサブセットに含まれた変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）に適用される全１６個のコンテクストのうち一つを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１）を、以下数式のように決定する。

ｃｔｘＩｄｘ１＝ｃｔｘSet＊４＋ｃ１
また、コンテクスト決定部２２４０は、色差成分のサブセットに含まれた変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）に適用される８個のコンテクストのうち一つを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１＿chroma）を、次の数式を介して決定する。

ｃｔｘＩｄｘ１＿chroma＝ｃｔｘSet＊４＋ｃ１
図２７Ａ及び図２７Ｂに図示された表に基づいた場合、第１臨界値フラグ（Ｇｔｒ１ flag）に適用される全コンテクストの個数は、輝度成分の場合、４＊４の１６個、色差成分に係わる２＊４の８個を合わせ、全２４個である。

また、コンテクスト決定部２２４０は、第２臨界値フラグ（Ｇｔｒ２ flag）に適用されるコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ２）を、次の数式を介して決定する。

ｃｔｘＩｄｘ２＝ｃｔｘset＊１＋ｃ２
前述のように、コンテクストオフセット（ｃ２）の値が０であるので、ｃｔｘＩｄｘ２＝ｃｔｘsetである。すなわち、第２臨界値フラグ（Ｇｔｒ２ flag）に適用されるコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ２）は、コンテクストセット・インデックス（ｃｔｘset）の値と同一に設定される。従って、図２７Ａ及び図２７Ｂに図示された表に基づいた場合、第２臨界値フラグ（Ｇｔｒ２ flag）に適用される全コンテクストの個数は、輝度成分の場合、４個、色差成分に係わる２個を合わせ、全８個である。

図２５は、本発明の一実施形態による、変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法を示したフローチャートである。図２５を参照すれば、段階２５１０で、マッピング部２２１０は、変換単位を所定サイズのサブセットに分割し、各サブセットに含まれた０ではない有効変換係数を獲得する。前述のように、エントロピー符号化時、マッピング部２２１０は、現在サブセットに含まれた変換係数の情報から、有効変換係数の位置を獲得することができる。エントロピー復号化時、マッピング部２２１０は、有効性マップ（ＳｉｇMap）から、サブセットに含まれた有効変換係数の位置を獲得することができる。

段階２５２０で、コンテクストセット獲得部２２２０は、変換単位のカラー成分情報、有効変換係数が含まれた現在処理される第１サブセットの位置、及び第１サブセットより以前に処理された第２サブセットに、所定の第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、複数個のコンテクストを含む複数個のコンテクストセットのうち、有効変換係数が第１臨界値より大きい値を有するか否かということを示す第１臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットを決定するためのコンテクストセット・インデックス（ｃｔｘset）を獲得する。前述の図２７Ａ及び図２７Ｂのように、コンテクストセット獲得部２２２０は、輝度成分の変換単位に含まれた変換係数に対して、最左上側に位置したサブセット（subset ０）であるか否かということ、以前に処理されたサブセットに、１より大きい値を有する有効変換係数が存在するか否かということ、及び以前に処理されたサブセットに、１より大きい値を有する有効変換係数が存在するか否かということにより、４個のコンテクストセットのうち、１つのコンテクストセットを示すコンテクストセット（ｃｔｘset）を獲得することができる。また、コンテクストセット獲得部２２２０は、色差成分の変換単位に含まれた変換係数について、以前に処理されたサブセットに、１より大きい値を有効変換係数が存在するか否かということにのみ基づいて、２個のコンテクストセットのうち、１つのコンテクストセットを示すコンテクストセット（ｃｔｘset）を獲得することができる。

段階２５３０で、コンテクストオフセット獲得部２２３０は、以前の連続した１の値を有する変換係数の長さに基づいて、前記第１臨界値フラグのエントロピー符号化及びエントロピー復号化に利用されるコンテクストセットに含まれた複数個のコンテクストのうち一つを決定するためのコンテクストオフセットを獲得する。前述のように、コンテクストオフセット獲得部２２３０は、第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化時及びエントロピー復号化時に、現在サブセットに含まれた有効変換係数を、所定スキャン順序によって処理しながら、処理される現在有効変換係数以前に連続した１の値を有する変換係数の長さに基づいて、コンテクストオフセット（ｃ１）を決定することができる。コンテクストオフセット獲得部２２３０は、第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化時及びエントロピー復号化時に利用されるコンテクストオフセット（ｃ２）を、他のパラメータを考慮せずに、常に０の値を有したものであると設定することができる。

段階２５４０で、コンテクスト決定部２２４０は、コンテクストセット・インデックス（ｃｔｘset）及びコンテクストオフセット（ｃ１）を利用して、第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化及びエントロピー復号化に利用される１つのコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１）を獲得する。前述のように、ｎ個のコンテクストセットのうち一つを示すコンテクストセット・インデックス（ｃｔｘSet）が、０から（ｎ−１）までの整数であり、ｍ個のコンテクストオフセットのうち一つを示すコンテクストオフセット（ｃ１）が、０から（ｍ−１）までの整数であるとするとき、コンテクスト決定部２２４０は、次の数式に基づいて、ｎ＊ｍ個のコンテクストのうち一つを示すコンテクスト・インデックスｃｔｘＩｄｘ１を決定することができる。

ｃｔｘＩｄｘ１＝ｃｔｘSet＊ｍ＋ｃ１
また、コンテクスト決定部２２４０は、第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用される１つのコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ２）を、次の数式に基づいて、決定することができる。

ｃｔｘＩｄｘ２＝ｃｔｘSet＊１＋ｃ２
ｃ２の値が０であるので、第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化及びエントロピー復号化に利用される１つのコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ２）は、ただコンテクストセット・インデックス（ｃｔｘSet）の値に基づいて決定される。

図２６は、本発明の一実施形態による、変換係数レベルのエントロピー符号化及びエントロピー復号化のためのコンテクストモデル決定方法を、さらに具体的に示したフローチャートである。図２６を参照すれば、段階２６１１で、マッピング部２２１０は、変換単位を所定サイズのサブセットに分割し、各サブセットに含まれた０ではない有効変換係数を獲得する。

段階２６１２でコンテクストセット獲得部２２２０は、コンテクストセットを決定するのに利用されるパラメータのうち、現在サブセットの位置及びカラー成分情報に基づいて、コンテクストセット・インデックス（ｃｔｘset）を決定する。例えば、現在サブセットが、変換単位の最左上側に位置したサブセット（subset ０）であるか、あるいは色差成分である場合、ｃｔｘsetを０値に設定し、現在サブセットが、変換単位の最左上側に位置したサブセットではなく、かつ輝度成分である場合、ｃｔｘsetを２値に設定する。

段階２６１３で、コンテクストセット獲得部２２２０は、現在サブセットのすぐ以前に処理された以前サブセットに、第１臨界値より大きい有効変換係数が存在するか否かということを判断する。段階２６１３の判断結果、以前サブセットに、第１臨界値より大きい有効変換係数が存在する場合、コンテクストセット獲得部２２００は、段階２６１２で設定されたコンテクストセット・インデックス（ｃｔｘset）の値を１ほど増加させ、以前サブセットに、第１臨界値より大きい有効変換係数が存在しない場合、コンテクストセット獲得部２２００は、段階２６１２で設定されたコンテクストセット・インデックス（ｃｔｘset）の値を維持する。

段階２６１５で、コンテクストオフセット獲得部２２３０は、最初に処理される現在サブセットの有効変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）に適用されるコンテクストオフセット（ｃ１）の値として１を設定する。

段階２６１６で、コンテクスト決定部２２４０は、次の数式に基づいて、第１臨界値フラグ（Ｇｔｒ１ flag）に適用されるコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ１）を獲得する。

ｃｔｘＩｄｘ１＝ｃｔｘset＊４＋ｍｉｎ（ｃ１，３）
前記数式は、図２７Ａ及び図２７Ｂに基づいたものであり、後述する段階２６２０で、連続した１の値を有する変換係数の長さが判断されるが、コンテクストオフセット・インデックス（ｃ１）は、第１臨界値フラグ（Ｇｔｒ１ flag）が３個以上連続する場合、３以上の値を有することができる。しかし、図２７Ｂを参照すれば、２個以上の連続した１については、いずれもコンテクストオフセット・インデックス（ｃ１）が２の値を有するように設定されるので、ｍｉｎ（ｃ１，３）は、コンテクストオフセット・インデックス（ｃ１）が３より大きくないように制限するためのものである。

段階２６１７で、レギュラー・コーディング部２１３２及びレギュラー・デコーディング部２１７０は、獲得されたコンテクスト・インデックス（ｃｔｘＩｄｘ１）が示すコンテクストモデルに基づいて、第１臨界値フラグ（Ｇｔｒ１ flag）をエントロピー符号化またはエントロピー復号化する。

段階２６１８で、コンテクストオフセット獲得部２２３０は、現在符号化または現在復号化された第１臨界値フラグ（Ｇｔｒ１ flag）が０の値を有しながら、コンテクストオフセット・インデックス（ｃ１）が０ではないか否かということを判断する。段階２６１８の判断過程は、有効変換係数のうち連続した１の個数を判断するためのものである。段階２６１８の判断結果、現在符号化または現在復号化された第１臨界値フラグ（Ｇｔｒ１ flag）が０の値を有しながら、コンテクストオフセット・インデックス（ｃ１）が０ではない場合には、段階２６２０で、コンテクストオフセット・インデックス（ｃ１）の値が１ほど増加する。段階２６１８の判断結果、現在符号化または現在復号化された第１臨界値フラグ（Ｇｔｒ１ flag）が０の値を有さないか、あるいはコンテクストオフセット・インデックス（ｃ１）が０である場合には、段階２６１９で、コンテクストオフセット・インデックス（ｃ１）の値が０に再設定される。

段階２６１５ないし段階２６２０は、１つのサブセット内に含まれた変換係数の第１臨界値フラグ（Ｇｔｒ１ flag）をエントロピー符号化またはエントロピー復号化する過程である。処理過程を高速化するために、全ての有効変換係数に対して、第１臨界値フラグ（Ｇｔｒ１ flag）をエントロピー符号化またはエントロピー復号化する代わりに、最後の有効変換係数から、所定個数（＃）の有効変換係数に対して、第１臨界値フラグ（Ｇｔｒ１ flag）が、エントロピー符号化またはエントロピー復号化される（ｍａｘ loop＃）。対応する第１臨界値フラグ（Ｇｔｒ１ flag）がエントロピー符号化またはエントロピー復号化されない有効変換係数は、レベル情報がそのままエントロピー符号化またはエントロピー復号化される。

段階２６２１ないし段階２６２４は、第２臨界値フラグ（Ｇｔｒ２ flag）をエントロピー符号化またはエントロピー復号化する過程である。

段階２６２１で、コンテクストオフセット・インデックス（ｃ１）の値が０であるか否かということが判断される。段階２６２２で、第２臨界値フラグ（Ｇｔｒ２ flag）のエントロピー符号化またはエントロピー復号化のために適用されるコンテクストを示すコンテクスト・インデックス（ｃｔｘＩｄｘ２）は、第１臨界値フラグ（Ｇｔｒ１ flag）のエントロピー符号化時またはエントロピー復号化時に決定されたコンテクストセット・インデックス（ｃｔｘset）と同一に設定される。

段階２６２３で、レギュラー・コーディング部２１３２及びレギュラー・デコーディング部２１７０は、獲得されたコンテクスト・インデックス（ｃｔｘＩｄｘ２）が示すコンテクストモデルに基づいて、第２臨界値フラグ（Ｇｔｒ２ flag）をエントロピー符号化またはエントロピー復号化する。

段階２６２４で、レギュラー・コーディング部２１３２及びレギュラー・デコーディング部２１７０は、第２臨界値より大きい値を有する変換係数のレベルを、エントロピー符号化またはエントロピー復号化する。前述のように、当該変換係数から、所定値差し引いたレベル値（level−３）が、エントロピー符号化またはエントロピー復号化される。

図２８は、本発明の一実施形態による、図２０のサブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を、エントロピー符号化またはエントロピー復号化するのに利用されるコンテクストオフセット・インデックス（ｃ１）を示した表である。前述のように、コンテクストオフセット・インデックス（ｃ１）は、連続した１の値を有する変換係数の長さに基づいて決定されるものであり、図２７Ｂによって獲得されると仮定する。また、図２８で、各変換係数の処理順序は、右側から左側への方向であると仮定する。

また、前述のように、第１臨界値フラグ（ＧＴＲ１）及び第２臨界値フラグ（ＧＴＲ２）のエントロピー符号化及びエントロピー復号化のためのコンテクストセット・インデックス（ｃｔｘset）は、現在サブセットに含まれた変換係数の情報に基づいたものではなく、変換単位のカラー成分情報、現在サブセットの位置、及び現在サブセットより以前に処理されたサブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、決定されたものであると仮定する。

図２８を参照すれば、最初に処理されるサブセットの最後の有効変換係数１ ２８１０は、１より大きくないので、第１臨界値フラグ（ＧＴＲ１）は、０の値を有する。図２７Ｂによって、最初に処理される（initial）有効変換係数の第１臨界値フラグ（ＧＴＲ１）に係わるコンテクストオフセット（ｃ１）は、１の値に設定される。

次に、最後の有効変換係数２８１０の次の有効変換係数２８２０の第１臨界値フラグ（ＧＴＲ１）に係わるコンテクストオフセット（ｃ１）は、２の値を有する。なぜならば、以前に１個の１の値を有する有効変換係数２８１０が存在するからである。同様に、次の有効変換係数２８３０の第１臨界値フラグ（ＧＴＲ１）に係わるコンテクストオフセット（ｃ１）は、３の値を有する。なぜならば、以前に２個の連続した１の値を有する有効変換係数２８１０，２８２０が存在するからである。

有効変換係数２８３０の第１臨界値フラグ（ＧＴＲ１）は、１の値を有するので、有効変換係数２８３０以後の有効変換係数の第１臨界値フラグ（ＧＴＲ１）に係わるコンテクストオフセット（ｃ１）は、いずれも０の値を有する。なぜならば、前述の図２６の段階２６１８の判断結果、第１臨界値フラグ（ＧＴＲ１）が１の値を有する場合、段階２６１９によって、コンテクストオフセット（ｃ１）が０に設定され、以後の全ての有効変換係数に係わるコンテクストオフセット（ｃ１）は、０に設定される。

図２９は、本発明の一実施形態による、サブセットに含まれた変換係数、並びにエントロピー符号化及びエントロピー復号化される変換係数情報を、エントロピー符号化またはエントロピー復号化するのに利用されるコンテクストオフセット・インデックス（ｃ１）の他の例を示した表である。図２８及び図２９を比較すれば、図２９の場合、最後の有効変換係数２９１０が２の値を有し、第１臨界値フラグ（ＧＴＲ１）が１の値を有するという違いがある。前述のように、最初に処理される（initial）有効変換係数２９１０の第１臨界値フラグ（ＧＴＲ１）に係わるコンテクストオフセット（ｃ１）は、１の値に設定され、有効変換係数２９１０以後の有効変換係数の第１臨界値フラグ（ＧＴＲ１）に係わるコンテクストオフセット（ｃ１）は、いずれも０の値を有する。

前述の本発明の一実施形態によるコンテクストモデル決定方法及びその装置では、変換単位のカラー成分情報、現在サブセットの位置、及び以前サブセットに、第１臨界値より大きい値を有する有効変換係数が存在するか否かということに基づいて、コンテクストセット・インデックス（ｃｔｘset）を獲得し、以前の連続した１の値を有する変換係数の長さに基づいて、コンテクストオフセット（ｃ１）を獲得した。

コンテクスト・インデックスやコンテクストオフセットを決定するための基準は、前述の本発明の一実施形態に限定されるものではなく、変更されてもよい。

一例として、下記表２に図示されているように、発生確率が類似した場合をグループ化し、コンテクストオフセット（ｃ１）が設定される。

表２及び図２７Ｂを比較すれば、表２の場合は、１個の連続した１の変換係数の場合と、２個の連続した変換係数が、１つのコンテクストにマッピングされるようにグループ化された場合とである。また、以前サブセットに含まれた１以上の有効変換係数の個数を基準にグループ化され、以下表３のように、コンテクストセット・インデックス（ｃｔｘset）が設定される。

また、現在変換単位が含まれたスライスの類型、現在サブセットの位置、及び以前サブセットに、所定臨界値以上の値を有する変換係数の個数に基づいて、以下の表４ないし６のよう、にコンテクストセット・インデックス（ｃｔｘset）が設定される。

表４を参照すれば、一例として、Ｉスライスに含まれた変換単位のサブセットに具備された変換係数をエントロピー符号化したり、あるいはエントロピー復号化する場合、現在サブセットの位置、以前サブセットに、所定臨界値（Ｔ１）以上の値を有する変換係数が０個であるか、１〜４個であるか、あるいは４個を超えるか否かということにより、０〜５の値のうち１つの値が、コンテクストセット・インデックス（ｃｔｘset）の値に設定される。

表５を参照すれば、一例として、Ｐスライスに含まれた変換単位のサブセットに具備された変換係数をエントロピー符号化したり、あるいはエントロピー復号化する場合、現在サブセットの位置、以前サブセットに所定臨界値（Ｔ１）以上の値を有する変換係数が０個であるか、１〜３個であるか、あるいは３個を超えるか否かということにより、０〜５の値のうち１つの値が、コンテクストセット・インデックス（ｃｔｘset）の値に設定される。

表６を参照すれば、一例として、Ｂスライスに含まれた変換単位のサブセットに具備された変換係数をエントロピー符号化したり、あるいはエントロピー復号化する場合、現在サブセットの位置、以前サブセットに、所定臨界値（Ｔ１）以上の値を有する変換係数が０個であるか、１〜２個であるか、あるいは２個を超えるか否かということにより、０〜５の値のうち１つの値が、コンテクストセット・インデックス（ｃｔｘset）の値に設定される。

本発明はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードでもって保存されて実行される。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないであろう。

２２００ コンテクスト・モデラ
２２１０ マッピング部
２２２０ コンテクストセット獲得部
２２３０ コンテクストオフセット獲得部
２２４０ コンテクスト決定部

Claims (3)

1. ビットストリームから獲得した変換単位の大きさを示す情報を利用して現在変換単位を決定する段階と、
   前記現在変換単位が輝度成分である場合、前記現在変換単位に含まれた現在サブブロックの位置及び前記現在変換単位に含まれた以前サブブロックの変換係数が第１臨界値より大きいか否かに基づいて前記現在サブブロックに係わるコンテクストセットを決定する段階と、
   前記現在変換単位が色差成分である場合、前記現在サブブロックの位置に独立して、前記以前サブブロックの変換係数が前記第１臨界値より大きいか否かに基づいて前記現在サブブロックに係わるコンテクストセットを決定する段階と、
   前記決定されたコンテクストセットに基づき、前記現在サブブロックに含まれた変換係数が第１臨界値より大きいかを示す前記現在サブブロックの第１臨界値情報を獲得するための第１コンテクストモデルを決定する段階と、
   前記決定されたコンテクストセットに基づき、前記現在サブブロックに含まれた変換係数が第２臨界値より大きいかを示す前記現在サブブロックの第２臨界値情報を獲得するための第２コンテクストモデルを決定する段階と、
   前記決定された第１コンテクストモデルに基づいて前記現在サブブロックの第１臨界値情報を復号化する段階と、
   前記決定された第２コンテクストモデルに基づいて前記現在サブブロックの第２臨界値情報を復号化する段階と、を含み、
   前記以前サブブロックは、前記現在サブブロックよりも先に復号化されることを特徴とするビデオ復号化方法。
2. 前記第１臨界値は１であり、前記第２臨界値は２であることを特徴とする請求項１に記載のビデオ復号化方法。
3. ビットストリームから獲得した変換単位の大きさを示す情報を利用して現在変換単位を決定し、前記現在変換単位が輝度成分である場合、前記現在変換単位に含まれた現在サブブロックの位置及び前記現在変換単位に含まれた以前サブブロックの変換係数が第１臨界値より大きいか否かに基づいて前記現在サブブロックに係わるコンテクストセットを決定し、前記現在変換単位が色差成分である場合、前記現在サブブロックの位置に独立して、前記以前サブブロックの変換係数が前記第１臨界値より大きいか否かに基づいて前記現在サブブロックに係わるコンテクストセットを決定し、前記決定されたコンテクストセットに基づき、前記現在サブブロックに含まれた変換係数が第１臨界値より大きいかを示す前記現在サブブロックの第１臨界値情報を獲得するための第１コンテクストモデル及び前記現在サブブロックに含まれた変換係数が第２臨界値より大きいかを示す第２臨界値情報を獲得するための第２コンテクストモデルを決定するコンテクストモデラーと、
   前記決定された第１コンテクストモデルに基づいて前記現在サブブロックの第１臨界値情報を復号化し、前記決定された第２コンテクストモデルに基づいて前記現在サブブロックの第２臨界値情報を復号化するデコーダと、を含むビデオ復号化装置。

Images