JP7724337B2 - 画像符号化／復号化方法及び装置 - Google Patents

Description

本発明は、画像符号化／復号化方法及び装置に関する。

インターネットと携帯端末の普及及び情報通信技術の発展に伴い、マルチメディアデータに対する利用が急増している。したがって、各種のシステムで画像予測を介して様々なサービスや作業を行うために、画像処理システムの性能及び効率の改善に対する必要性が大幅に増加しているが、このような雰囲気に呼応することができる研究開発の結果が不十分な実情である。

このように、従来技術の画像符号化／復号化方法及び装置では、画像処理、特に画像符号化又は画像復号化に対する性能改善が求められている。

本発明は、カラー成分による画面内予測モードの誘導方法及び装置を提供することを目的とする。

本発明は、画面内予測のための参照画素構成方法及び装置を提供することを目的とする。

本発明は、任意の画素を用いて画面内予測に補正を行う画像符号化／復号化方法及び装置を提供することを目的とする。

本発明による画像符号化／復号化方法及び装置は、対象ブロックの画面内予測モードを決定し、前記画面内予測モードに基づいて、前記対象ブロックの予測ブロックを生成し、前記予測ブロックを補正することができる。

本発明による画像符号化／復号化方法及び装置において、前記対象ブロックの画面内予測モードは、前記対象ブロックの状態情報に応じた予測モード候補群内のモードに決定できる。

本発明による画像符号化／復号化方法及び装置において、前記対象ブロックのカラー成分が輝度成分である場合、方向性モードと非方向性モードで構成された予測モード候補群を参照し、前記対象ブロックのカラー成分が色差成分である場合、方向性モード、非方向性モード、カラーモード又はカラーコピーモードのうちの少なくとも一つが支援される予測モード候補群を参照することができる。

本発明による画像符号化／復号化方法及び装置において、前記予測モード候補群は、各カテゴリーに含むことが可能な予測モードの最大個数又は優先順位を考慮して、複数のカテゴリーに分類できる。

本発明による画像符号化／復号化方法及び装置において、前記予測モード候補群は、非方向性モードと方向性モードを含む第１カテゴリー、及びカラーコピーモードを含む第２カテゴリーに分類できる。

本発明による画像符号化／復号化方法及び装置において、複数のカテゴリーのうちのいずれかを特定する第１情報を取得し、前記第１情報によるカテゴリー内で前記対象ブロックの画面内予測モードを特定する第２情報を取得することができる。

本発明による画像符号化／復号化方法及び装置において、前記対象ブロックの画面内予測モードは、前記第１情報及び前記第２情報に基づいて、前記特定されたカテゴリーから決定できる。

本発明による画像符号化／復号化方法及び装置において、前記第２情報は、前記第１情報によるカテゴリーに一つの予測モードのみが含まれている場合には取得されなくてもよい。

本発明による画像符号化／復号化方法及び装置において、前記画面内予測に使用される参照画素を構成するステップをさらに含み、前記参照画素は、復号化装置で支援される複数の参照画素ラインの全部又は一部に属することができる。

本発明による画像符号化／復号化方法及び装置において、前記構成された参照画素に加重フィルタ又は補間フィルタのうちの少なくとも一つを行うステップをさらに含むことができる。

本発明による画像符号化／復号化方法及び装置において、前記予測ブロックを補正するステップは、所定の符号化情報に基づいて選択的に行われ、前記符号化情報は、画像タイプ、カラー成分、状態情報、符号化モード、画面内予測モード、サブブロック単位の画面内予測が適用されるか否か、又は参照画素ラインのうちの少なくとも一つを含むことができる。

本発明によれば、画面内予測モードを効率よく誘導することができる。

本発明によれば、参照画素ラインの選択的利用と所定のフィルタリングを介して画面内予測の効率を向上させることができる。

本発明によれば、予測ブロックを補正することにより画面内予測の精度を向上させ、符号化性能を向上させることができる。

本発明の実施形態による画像符号化及び復号化システムを示す概念図である。 本発明の一実施形態による画像符号化装置を示すブロック構成図である。 本発明の一実施形態による画像復号化装置を示すブロック構成図である。 本発明のブロック分割部で取得することができる様々な分割形態を示す例示図である。 本発明の一実施形態に係る画面内予測での予測モードを示す例示図である。 本発明の一実施形態に係る対象ブロックとそれに隣接するブロックに関する配置図である。 本発明の一実施形態に係る画面内予測の補正方法を示すフローチャートである。 本発明の一実施形態による対象ブロック及び隣接ブロックの画素に関する配置図である。 本発明の一実施形態に係る多重参照画素ラインに基づく補正方法に関する例示図である。 本発明の一実施形態に係る画面内予測の補正方法を示すフローチャートである。 本発明の一実施形態に係る予測画素補正に使用される任意の画素に対する例示図である。 本発明の一実施形態に係る任意の画素に基づいて補正が行われる例示図である。

本発明による画像符号化／復号化方法及び装置は、対象ブロックの画面内予測モードを決定し、前記画面内予測モードに基づいて、前記対象ブロックの予測ブロックを生成し、前記予測ブロックを補正することができる。

本発明による画像符号化／復号化方法及び装置において、前記対象ブロックの画面内予測モードは、前記対象ブロックの状態情報に応じた予測モード候補群内のモードに決定できる。

本発明による画像符号化／復号化方法及び装置において、前記対象ブロックのカラー成分が輝度成分である場合には、方向性モードと非方向性モードで構成された予測モード候補群を参照し、前記対象ブロックのカラー成分が色差成分である場合には、方向性モード、非方向性モード、カラーモード又はカラーコピーモードのうちの少なくとも一つが支援される予測モード候補群を参照することができる。

本発明による画像符号化／復号化方法及び装置において、前記予測モード候補群は、各カテゴリーに含むことが可能な予測モードの最大個数又は優先順位を考慮して、複数のカテゴリーに分類できる。

本発明による画像符号化／復号化方法及び装置において、前記予測モード候補群は、非方向性モードと方向性モードを含む第１カテゴリー、及びカラーコピーモードを含む第２カテゴリーに分類できる。

本発明による画像符号化／復号化方法及び装置において、複数のカテゴリーのうちのいずれかを特定する第１情報を取得し、前記第１情報によるカテゴリー内で前記対象ブロックの画面内予測モードを特定する第２情報を取得することができる。

本発明による画像符号化／復号化方法及び装置において、前記対象ブロックの画面内予測モードは、前記第１情報及び前記第２情報に基づいて、前記特定されたカテゴリーから決定できる。

本発明による画像符号化／復号化方法及び装置において、前記第２情報は、前記第１情報によるカテゴリーに一つの予測モードのみが含まれている場合には取得されなくてもよい。

本発明による画像符号化／復号化方法及び装置において、前記画面内予測に使用される参照画素を構成するステップをさらに含み、前記参照画素は、復号化装置で支援される複数の参照画素ラインの全部又は一部に属することができる。

本発明による画像符号化／復号化方法及び装置において、前記構成された参照画素に加重フィルタ又は補間フィルタのうちの少なくとも一つを行うステップをさらに含むことができる。

本発明による画像符号化／復号化方法及び装置において、前記予測ブロックを補正するステップは、所定の符号化情報に基づいて選択的に行われ、前記符号化情報は、画像タイプ、カラー成分、状態情報、符号化モード、画面内予測モード、サブブロック単位の画面内予測が適用されるか否か、又は参照画素ラインのうちの少なくとも一つを含むことができる。

［発明の実施のための形態］
本発明は、様々な変更を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に例示し、詳細な説明に詳細に説明する。ところが、これは本発明を特定の実施形態について限定するものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物乃至代替物を含むものと理解されるべきである。

用語「第１」、「第２」などは多様な構成要素の説明に使用できるが、これらの構成要素は上記の用語によって限定されてはならない。これらの用語は、一つの構成要素を他の構成要素から区別する目的にのみ使われる。例えば、本発明の権利範囲から外れることなく、第１構成要素は第２構成要素と命名することができ、これと同様に、第２構成要素も第１構成要素と命名することができる。用語「及び／又は」は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のいずれかを含む。

ある構成要素が他の構成要素に「連結されて」いる或いは「接続されて」いるとした場合には、その他の構成要素に直接連結されている或いは接続されていることもあるが、それらの間に別の構成要素が介在することもあると理解されるべきである。これに対し、ある構成要素が他の構成要素に「直接連結されて」いる或いは「直接接続されて」いるとした場合には、それらの間に別の構成要素が介在しないと理解されるべきである。

本発明で使用した用語は、単に特定の実施形態を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本発明において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらの組み合わせが存在することを指定するものであり、一つ又はそれ以上の他の特徴や数字、段階、動作、構成要素、部品又はこれらの組み合わせの存在又は付加可能性を予め排除しないと理解されるべきである。

他に定義されない限り、技術的又は科学的な用語を含めてここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般的に理解されるのと同一であることを意味する。一般的に使用される辞典に定義されている用語は、関連技術の文脈上持つ意味と一致するものと解釈されるべきであり、本発明で明らかに定義しない限り、理想的又は過度に形式的な意味で解釈されない。

通常、画像のカラーフォーマット（Ｃｏｌｏｒ Ｆｏｒｍａｔ）に応じて一つ以上のカラー空間で構成できる。カラーフォーマットに応じて、一定の大きさを有する一つ以上のピクチャ、又は異なる大きさを有する一つ以上のピクチャで構成できる。一例として、ＹＣｂＣｒカラー構成において４：４：４、４：２：２、４：２：０、Ｍｏｎｏｃｈｒｏｍｅ（Ｙのみで構成）などのカラーフォーマットが支援できる。一例として、ＹＣｂＣｒ４：２：０の場合、一つの輝度成分（本例では、Ｙ）と二つの色差成分（本例では、Ｃｂ／Ｃｒ）で構成できる。このとき、色差成分と輝度成分の構成比は、横、横が１：２であり得る。一例として、４：４：４の場合は、横と縦が同じ構成比を持つことができる。上記の例のように一つ以上のカラー空間で構成される場合、ピクチャは、各カラー空間への分割を行うことができる。

画像は、画像タイプ（例えば、ピクチャタイプ、スライスタイプ、タイルグループタイプ、タイルタイプ、ブリックタイプなど）によってＩ、Ｐ、Ｂなどに分類することができるが、Ｉ画像タイプは、参照ピクチャを用いず、自体的に符号化される画像を意味することができ、Ｐ画像タイプは、参照ピクチャを用いて符号化を行うが、前方向予測のみを許容する画像を意味することができ、Ｂ画像タイプは、参照ピクチャを用いて符号化を行い、前／後方向予測を許容する画像を意味することができるが、符号化の設定に応じて、前記タイプの一部が結合（ＰとＢを結合）されるか或いは他の構成の画像タイプが支援されてもよい。

本発明で発生する様々な符号化／復号化情報は、明示的（Ｅｘｐｌｉｃｉｔ）又は黙示的（Ｉｍｐｌｉｃｉｔ）な処理が可能である。ここで、明示的な処理は、符号化／復号化情報をシーケンス、スライス、タイルグループ、タイル、ブリック（Ｂｒｉｃｋ）、ブロック、サブブロックなどで生成し、これをビットストリームに収録することができ、復号化器で符号化器と同じレベルの単位で関連情報をパーシング（Ｐａｒｓｉｎｇ）して復号化情報に復元するものと理解することができる。ここで、黙示的な処理は、符号化／復号化情報を符号化器と復号化器で同じ過程や規則などで処理するものと理解することができる。

図１は本発明の実施形態による画像符号化及び復号化システムを示す概念図である。

図１を参照すると、画像符号化装置１０５及び復号化装置１００は、パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートパソコン、携帯端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯型マルチメディアプレーヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、プレイステーションポータブル（ＰＳＰ：ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ）、無線通信端末（Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｒｍｉｎａｌ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）又はＴＶなどのユーザー端末であるか、或いはアプリケーションサーバーやサービスサーバなどのサーバ端末であり、各種機器又は有無線通信網との通信を行うための通信モデムなどの通信装置、画像を符号化又は復号化するためにインター又はイントラ予測するための各種プログラムとデータを格納するためのメモリ（ｍｅｍｏｒｙ、１２０、１２５）、又はプログラムを実行して演算及び制御するためのプロセッサ（ｐｒｏｃｅｓｓｏｒ、１１０、１１５）などを備える様々な装置を含むことができる。

また、画像符号化装置１０５によってビットストリームに符号化された画像は、リアルタイム又は非リアルタイムでインターネット、近距離無線通信システム、無線ＬＡＮ網、ＷｉＢｒｏ網又は移動通信網などの有無線通信網（Ｎｅｔｗｏｒｋ）などを介して、或いはケーブル又は汎用シリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの様々な通信インターフェースを介して画像復号化装置１００に伝送されて画像復号化装置１００で復号化されることにより画像に復元され、再生できる。また、画像符号化装置１０５によってビットストリームに符号化された画像は、コンピュータ可読記録媒体を介して画像符号化装置１０５から画像復号化装置１００に伝達できる。

前述した画像符号化装置と画像復号化装置は、それぞれ別個の装置であり得るが、実現によって一つの画像符号化／復号化装置に作られてもよい。その場合、画像符号化装置の一部の構成は、画像復号化装置の一部の構成と実質的に同一の技術要素であって、少なくとも同じ構造を含むか、或いは少なくとも同じ機能を行うように実現できる。

したがって、以下の技術要素とこれらの作動原理などについての詳細な説明では、対応技術要素の重複説明を省略する。また、画像復号化装置は、画像符号化装置で行われる画像符号化方法を復号化に適用するコンピューティング装置に対応するので、以下の説明では、画像符号化装置を中心に説明する。

コンピューティング装置は、画像符号化方法及び／又は画像復号化方法を実現するプログラムやソフトウェアモジュールを格納するメモリと、メモリに接続され、プログラムを行うプロセッサとを含むことができる。ここで、画像符号化装置は符号化器、画像復号化装置は復号化器とそれぞれ呼ばれることがある。

図２は本発明の一実施形態による画像符号化装置を示すブロック構成図である。

図２を参照すると、画像符号化装置２０は、予測部２００、減算部２０５、変換部２１０、量子化部２１５、逆量子化部２２０、逆変換部２２５、加算部２３０、フィルタ部２３５、符号化ピクチャバッファ２４０、及びエントロピー符号化部２４５を含むことができる。

予測部２００は、ソフトウェアモジュールである予測モジュール（ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｕｌｅ）を用いて実現でき、符号化するブロックに対して画面内予測方式（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）や画面間予測方式（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）で予測ブロックを生成することができる。予測部２００は、画像で現在符号化しようとする対象ブロック（Ｔａｒｇｅｔ Ｂｌｏｃｋ）を予測して予測ブロックを生成することができる。言い換えれば、予測部２００は、画像で符号化しようとする対象ブロックの各画素の画素値（ｐｉｘｅｌ ｖａｌｕｅ）を画面内予測又は画面間予測によって予測して、生成された各画素の予測画素値（ｐｒｅｄｉｃｅｄ ｐｉｘｅｌ ｖａｌｕｅ）を有する予測ブロックを生成することができる。また、予測部２００は、画面内予測モード又は画面間予測モードなどの予測モードに関する情報など、予測ブロックを生成するために必要な情報を符号化部へ伝達して、符号化部が予測モードに関する情報を符号化するようにすることができる。このとき、予測が行われる処理単位と、予測方法及び具体的な内容が定められる処理単位は、符号化の設定に応じて定められ得る。例えば、予測方法、予測モードなどは予測単位で決定され、予測の実行は変換単位で行われ得る。

画面間予測部で参照ピクチャに基づいて時間予測と空間予測に区分することができる。時間予測の場合は、現在ピクチャと時間的に異なるピクチャから動きを見付ける予測方法であり、空間予測の場合は、現在ピクチャと時間的に同じ現在ピクチャ（符号化が完了した領域。対象ブロックに隣接する所定の領域）で動きを見付ける予測方法であり得る。これは、参照ピクチャリストを介して統合管理するか、或いは符号化モードを区分して管理することができる。

また、画面間予測部で動き予測方法によって移動動きモデルと移動外の動きモデルに区分することができる。移動動きモデルの場合は、平行移動だけを考慮して予測を行い、移動外の動きモデルの場合は、平行移動だけでなく、回転、遠近、ズームイン／ズームアウト（Ｚｏｏｍ ｉｎ／ｏｕｔ）などの動きを考慮して予測を行うことができる。単方向予測を仮定するとき、移動動きモデルの場合は一つの動きベクトルが必要であり得るが、移動外の動きモデルの場合は一つ以上の動き情報（例えば、一つの動きベクトル＋回転角度／スケールファクタ、二つ以上の動きベクトルなど。次は、二つ以上の動きベクトルを使用すると仮定）が必要であり得る。移動外の動きモデルの場合は、各動きベクトルは、対象ブロックの左上側頂点、右上側頂点、左下側頂点などのように、対象ブロックの所定の位置に適用される情報であることができ、当該動きベクトルを介して対象ブロックの予測しようとする領域の位置を画素単位又はサブブロック単位（４×４、８×８のような２以上の整数）で取得することができる。画面間予測部は、前記動きモデルに応じて、後述する一部の過程は共通に適用でき、一部の過程は個別に適用できる。

画面間予測部は、参照ピクチャ構成部、動き推定部、動き補償部、動き情報決定部、動き情報符号化部を含むことができる。参照ピクチャ構成部は、現在ピクチャを中心に以前又は以後に符号化されたピクチャを参照ピクチャリストＬ０、Ｌ１に含むことができる。前記参照ピクチャリストに含まれている参照ピクチャから予測ブロックを取得することができ、符号化の設定に応じて現在画像も参照ピクチャで構成されて参照ピクチャリストのうちの少なくとも一箇所に含まれ得る。

画面間予測部における参照ピクチャ構成部は、参照ピクチャ補間部を含むことができ、補間精度に応じて小数単位の画素のための補間過程を行うことができる。例えば、輝度成分の場合は、８－ｔａｐ ＤＣＴベースの補間フィルタを適用し、色差成分の場合は、４－ｔａｐ ＤＣＴベースの補間フィルタを適用することができる。

画面間予測部における動き推定部は、対象ブロックとの相関性が高いブロックを参照ピクチャを介して探索する過程であり、ＦＢＭＡ（Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ）、ＴＳＳ（Ｔｈｒｅｅ ｓｔｅｐ ｓｅａｒｃｈ）などの様々な方法が使用でき、動き補償部は、動き推定過程を介して予測ブロックを取得する過程を意味する。

画面間予測部における動き情報決定部は、対象ブロックの最適の動き情報を選定するための過程が行われ得る。動き情報は、スキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ Ｍｏｄｅ）、競争モード（Ｃｏｍｐｅｔｉｔｉｏｎ Ｍｏｄｅ）などの動き情報符号化モードによって符号化できる。前記モードは、動きモデルに応じて支援されるモードが結合されて構成でき、スキップモード（移動）、スキップモード（移動外）、マージモード（移動）、マージモード（移動外）、競争モード（移動）、競争モード（移動外）がそれに対する例になることができる。符号化の設定に応じて前記モードの一部が候補群に含まれ得る。

前記動き情報符号化モードは、少なくとも一つの候補ブロックから対象ブロックの動き情報（動きベクトル、参照ピクチャ、予測方向など）の予測値を取得することができ、二つ以上の候補ブロックが支援される場合には、最適の候補選択情報が発生することができる。スキップモード（残差信号なし）とマージモード（残差信号あり）は、前記予測値をそのまま対象ブロックの動き情報として使用することができ、競争モードは、対象ブロックの動き情報と前記予測値との差分値情報が発生することができる。

対象ブロックの動き情報予測値のための候補群は、動き情報符号化モードに応じて適応的であり、多様な構成を持つことができる。対象ブロックに空間的に隣接するブロック（例えば、左、上、左上、右上、左下ブロックなど）の動き情報が候補群に含まれることができ、時間的に隣接するブロック（例えば、対象ブロックと対応又は相応する他の画像内のブロック＜中央＞を含めて左、右、上、下、左上、右上、左下、右下ブロックなど）の動き情報が候補群に含まれることができ、空間的候補と時間的候補の混合動き情報（例えば、空間的に隣接するブロックの動き情報と時間的に隣接するブロックの動き情報を用いて二つ以上の候補の平均値、中央値などで取得される情報。対象ブロック又は対象ブロックのサブブロック単位で動き情報を取得することができる）などが候補群に含まれることができる。

動き情報予測値候補群の構成のための優先順位が存在することができる。前記優先順位に従って、予測値候補群の構成に含まれる順序が定められることができ、前記優先順位に従って候補群の個数（動き情報符号化モードに応じて定められる）だけ満たされると、候補群の構成を完了することができる。このとき、空間的に隣接するブロックの動き情報、時間的に隣接するブロックの動き情報、空間的候補と時間的候補の混合動き情報順に優先順位が定められることができるが、その他の変形も可能である。

例えば、空間的に隣接するブロックは、左－上－右上－左下－左上ブロックなどの順序で候補群に含むことができ、時間的に隣接するブロックは、右下－中－右－下ブロックなどの順序で候補群に含むことができる。

減算部２０５は、対象ブロックから予測ブロックを減算して残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。つまり、減算部２０５は、符号化しようとする対象ブロックの各画素の画素値と、予測部を介して生成された予測ブロックの各画素の予測画素値との差を計算して、ブロック形状の残差信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）である残差ブロックを生成することができる。また、減算部２０５は、後述するブロック分割部を介して取得されたブロック単位以外の単位に基づいて残差ブロックを生成することもできる。

変換部２１０は、空間領域に属する信号を、周波数領域に属する信号に変換することができる。変換過程を経て取得される信号を変換係数（Ｔｒａｎｓｆｏｒｍｅｄ Ｃｏｅｆｆｃｉｅｎｔ）という。例えば、減算部から伝達された残差信号を有する残差ブロックを変換して、変換係数を有する変換ブロックを取得することができるが、入力された信号は符号化の設定に応じて決定され、これは残差信号に限定されない。

変換部は、残差ブロックをアダマール変換（Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ）、離散サイン変換（ＤＳＴ Ｂａｓｅｄ－Ｔｒａｎｓｆｏｒｍ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、離散コサイン変換（ＤＣＴ Ｂａｓｅｄ－Ｔｒａｎｓｆｏｒｍ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの変換技法を用いて変換することができ、これに限定されず、これを改良及び変形させた様々な変換技法が使用できる。

前記変換技法のうちの少なくとも一つの変換技法が支援でき、各変換技法で少なくとも一つの詳細変換技法が支援できる。このとき、前記詳細変換技法は、各変換技法で基底ベクトルの一部が異なるように構成される変換技法であり得る。

例えば、ＤＣＴの場合は、ＤＣＴ－１～ＤＣＴ－８のうちの一つ以上の詳細変換技法が支援でき、ＤＳＴの場合は、ＤＳＴ－１～ＤＳＴ－８のうちの一つ以上の詳細変換技法が支援できる。前記詳細変換技法の一部を構成して変換技法候補群を構成することができる。一例として、ＤＣＴ－２、ＤＣＴ－８、ＤＳＴ－７を変換技法候補群として構成して変換を行うことができる。

変換は、水平／垂直方向に行われ得る。例えば、ＤＣＴ－２の変換技法を用いて水平方向に１次元変換を行い、ＤＳＴ－７の変換技法を用いて垂直方向に１次元変換を行って合計２次元変換を行うことにより、空間領域の画素値を周波数領域に変換することができる。

固定的な一つの変換技法を用いて変換を行うことができるか、或いは符号化の設定に応じて変換技法を適応的に選択して変換を行うことができる。このとき、適応的な場合には、明示的又は黙示的な方法を用いて変換技法を選択することができる。明示的な場合には、水平、垂直方向に適用されるそれぞれの変換技法選択情報又は変換技法セット選択情報がブロックなどの単位で発生することができる。黙示的な場合は、画像タイプ（Ｉ／Ｐ／Ｂ）、カラー成分、ブロックの大きさ／形状／位置、画面内予測モードなどに応じて符号化の設定が定義でき、これにより所定の変換技法が選択できる。

また、符号化の設定に応じて前記一部の変換が省略される場合が可能である。つまり、明示的又は黙示的に水平／垂直単位のうちの一つ以上を省略することができることを意味する。

変換部は、変換ブロックを生成するために必要な情報を符号化部へ伝達してこれを符号化するようにすることができ、それによる情報をビットストリームに収録してこれを復号化器へ伝送し、復号化器の復号化部は、これに対する情報をパーシングして逆変換過程に使用することができる。

量子化部２１５は、入力された信号を量子化することができる。この時、量子化過程を経て取得される信号を量子化係数（Ｑｕａｎｔｉｚｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）という。例えば、変換部から伝達された残差変換係数を有する残差ブロックを量子化して、量子化係数を有する量子化ブロックを取得することができるが、入力された信号は符号化の設定に応じて決定され、これは残差変換係数に限定されない。

量子化部は、変換された残差ブロックをデッドゾーン均一量子化（Ｄｅａｄ Ｚｏｎｅ Ｕｎｉｆｏｒｍ Ｔｈｒｅｓｈｏｌｄ Ｑｕａｎｔｉｚａｔｉｏｎ）、量子化重みマトリックス（Ｑｕａｎｔｉｚａｔｉｏｎ Ｗｅｉｇｈｔｅｄ Ｍａｔｒｉｘ）などの量子化技法を用いて量子化することができ、これに限定されず、これを改良及び変形させた様々な量子化技法が使用できる。

符号化の設定に応じて、量子化過程は省略することができる。例えば、符号化の設定（例えば、量子化パラメータが０。すなわち、無損失圧縮環境）に応じて量子化過程を省略（逆過程も含む）することができる。他の例として、画像の特性に応じて量子化による圧縮性能が発揮されない場合には量子化過程を省略することができる。このとき、量子化ブロック（Ｍ×Ｎ）における、量子化過程が省略される領域は、全体領域又は一部領域（Ｍ／２×Ｎ／２、Ｍ×Ｎ／２、Ｍ／２×Ｎなど）であり、量子化省略選択情報は、黙示的又は明示的に定められ得る。

量子化部は、量子化ブロックを生成するために必要な情報を符号化部へ伝達してこれを符号化するようにすることができ、それによる情報をビットストリームに収録してこれを復号化器へ伝送し、復号化器の復号化部は、これに対する情報をパーシングしてこれを逆量子化過程に使用することができる。

上記例では、変換部と量子化部を介して残差ブロックを変換し量子化するという仮定の下に説明したが、残差信号を変換して、変換係数を有する残差ブロックを生成し、量子化過程を行わなくてもよく、残差ブロックの残差信号を変換係数に変換せずに量子化過程のみを行うことができるだけでなく、変換と量子化過程の両方を行わなくてもよい。これは符号化器の設定に応じて決定できる。

逆量子化部２２０は、量子化部２１５によって量子化された残差ブロックを逆量子化する。つまり、逆量子化部２２０は、量子化周波数係数列を逆量子化して、周波数係数を有する残差ブロックを生成する。

逆変換部２２５は、逆量子化部２２０によって逆量子化された残差ブロックを逆変換する。つまり、逆変換部２２５は、逆量子化された残差ブロックの周波数係数を逆変換して、画素値を有する残差ブロック、すなわち復元された残差ブロックを生成する。ここで、逆変換部２２５は、変換部２１０で使用した変換方式を逆に用いて逆変換を行うことができる。

加算部２３０は、予測部２００で予測された予測ブロックと、逆変換部２２５によって復元された残差ブロックとを加算して対象ブロックを復元する。復元された対象ブロックは、符号化ピクチャバッファ２４０に参照ピクチャ（又は参照ブロック）として格納され、対象ブロックの次のブロック又は向後の他のブロック、他のピクチャを符号化するときに参照ピクチャとして使用できる。

フィルタ部２３５は、デブロッキングフィルタ、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）などの一つ以上の後処理フィルタ過程を含むことができる。デブロッキングフィルタは、復元されたピクチャからブロック間の境界に生じたブロック歪みを除去することができる。ＡＬＦは、デブロッキングフィルタを介してブロックがフィルタリングされた後に復元された画像と、原本画像とを比較した値に基づいて、フィルタリングを行うことができる。ＳＡＯは、デブロッキングフィルタが適用された残差ブロックに対して、画素単位で原本画像とのオフセット差を復元することができる。このような後処理フィルタは、復元されたピクチャ又はブロックに適用できる。

符号化ピクチャバッファ２４０は、フィルタ部２３５を介して復元されたブロック又はピクチャを格納することができる。符号化ピクチャバッファ２４０に格納された復元ブロック又はピクチャは、画面内予測又は画面間予測を行う予測部２００に提供できる。

エントロピー符号化部２４５は、生成された量子化周波数係数列を様々なスキャン方式に応じてスキャンして量子化係数列を生成し、これをエントロピー符号化技法などを用いて符号化することにより出力する。スキャンパターンは、ジグザグ、対角線、ラスター（ｒａｓｔｅｒ）などの様々なパターンのうちのいずれかに設定することができる。また、各構成部から伝達される符号化情報を含む符号化データを生成してビットストリームとして出力することができる。

図３は本発明の一実施形態による画像復号化装置を示すブロック構成図である。

図３を参照すると、画像復号化装置３０は、エントロピー復号化部３０５、予測部３１０、逆量子化部３１５、逆変換部３２０、加減算器３２５、フィルタ３３０及び復号化ピクチャバッファ３３５を含んで構成できる。

また、予測部３１０は、さらに画面内予測モジュール及び画面間予測モジュールを含んで構成できる。

まず、画像符号化装置２０から伝達された画像ビットストリームが受信されると、エントロピー復号化部３０５へ伝達できる。

エントロピー復号化部３０５は、ビットストリームを復号化して、量子化された係数と各構成部へ伝達される復号化情報を含む復号化データを復号化することができる。

予測部３１０は、エントロピー復号化部３０５から伝達されたデータに基づいて予測ブロックを生成することができる。このとき、復号化されたピクチャバッファ３３５に格納された参照画像に基づいて、デフォルト（ｄｅｆａｕｌｔ）構成技法を用いた参照ピクチャリストを構成することもできる。

画面間予測部は、参照ピクチャ構成部、動き補償部、動き情報復号化部を含むことができ、一部は符号化器と同じ過程を行い、一部は逆に誘導する過程を行うことができる。

逆量子化部３１５は、ビットストリームとして提供されてエントロピー復号化部３０５によって復号化された量子化変換係数を逆量子化することができる。

逆変換部３２０は、逆ＤＣＴ、逆整数変換又はそれと類似の概念の逆変換技法を変換係数に適用して残差ブロックを生成することができる。

このとき、逆量子化部３１５、逆変換部３２０は、先立って説明した画像符号化装置２０の変換部２１０及び量子化部２１５で行った過程を逆に行い、様々な方法で実現できる。例えば、変換部２１０及び量子化部２１５と共有する同じ過程及び逆変換を使用することもでき、画像符号化装置２０から変換及び量子化過程に関する情報（例えば、変換サイズ、変換形状、量子化タイプなど）を用いて変換及び量子化過程を逆に行うことができる。

逆量子化及び逆変換過程を経た残差ブロックは、予測部３１０によって導出された予測ブロックと加算されて復元された画像ブロックが生成できる。このような加算は、加減算器３２５によって行われ得る。

フィルタ３３０は、復元された画像ブロックに対して、必要に応じてブロッキング（ｂｌｏｃｋｉｎｇ）現象を除去するためにデブロッキングフィルタを適用することもでき、前記復号化過程の前後に、別のループフィルタを、ビデオの品質を向上させるためにさらに使用することもできる。

復元及びフィルタを経た画像ブロックは、復号化ピクチャバッファ３３５に格納できる。

図示してはいないが、画像符号化／復号化装置にブロック分割部をさらに含むことができる。

ブロック分割部を介して様々な単位と大きさのブロックに分割することができる。基本符号化単位（又は最大符号化単位。Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ。ＣＴＵ）は、画像符号化過程で予測、変換、量子化などに対する基本（又は開始）単位を意味することができる。このとき、基本符号化単位は、カラーフォーマット（本例において、ＹＣｂＣｒ）に応じて一つの輝度基本符号化ブロック（又は、最大符号化ブロック。Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ。ＣＴＢ）と二つの基本色差符号化ブロックで構成でき、カラーフォーマットに応じて各ブロックの大きさが定められ得る。分割過程に応じて符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ。ＣＢ）が取得できる。符号化ブロックは、一定の制限に応じてそれ以上の符号化ブロックに分割されていない単位と理解することができ、下位単位への分割の開始単位として設定できる。本発明において、ブロックは、四角形の形状にのみ制限せず、三角形や円形などの様々な形状を含む広い概念と理解することができる。

後述する内容は、一つのカラー成分を対象とするが、カラーフォーマットによる比率（例えば、ＹＣｂＣｒ４：２：０の場合、輝度成分と色差成分の横及び縦の長さ比は２：１）に比例して、他のカラー成分に変更適用できることを理解すべきである。また、他のカラー成分に依存的なブロック分割（例えば、Ｃｂ／ＣｒにおいてＹのブロック分割結果に依存的な場合）が可能であるが、各カラー成分に独立的なブロック分割が可能であることを理解すべきである。また、共通する一つのブロック分割設定（長さ比に比例することは考慮）を使用することができるが、カラー成分に応じて個別的なブロック分割設定が使用されることも考慮して理解する必要がある。

ブロック分割部において、ブロックは、Ｍ×Ｎで表現でき、各ブロックの最大値と最小
値が範囲内で取得できる。例えば、ブロックの最大値を２５６×２５６、最小値を４×４に定める場合には、サイズ２^ｍ×２^ｎのブロック（本例において、ｍとｎは２から８までの整数）又はサイズ２ｍ×２ｍのブロック（本例において、ｍとｎは２から１２８までの整数）又はサイズｍ×ｍのブロック（本例において、ｍとｎは４から２５６までの整数）を取得することができる。ここで、ｍとｎは同じでも同じでなくてもよく、前記最大値と最小値などのブロックが支援される範囲は一つ以上発生することができる。

例えば、ブロックの最大大きさ及び最小大きさなどに関する情報が発生することができ、一部分割設定におけるブロックの最大大きさ及び最小大きさなどに関する情報が発生することができる。ここで、前者の場合は、画像内で発生可能な最大及び最小大きさに対する範囲の情報であり、後者の場合は、一部分割設定に基づいて発生可能な最大及び最小大きさに関する情報であり得る。ここで、前記分割設定は、画像タイプ（Ｉ／Ｐ／Ｂ）、カラー成分（ＹＣｂＣｒなど）、ブロック種類（符号化／予測／変換／量子化など）、分割種類（Ｉｎｄｅｘ ｏｒ Ｔｙｐｅ）、分割方式（ツリー方式におけるＱＴ、ＢＴ、ＴＴなど、Ｉｎｄｅｘ方式におけるＳＩ２、ＳＩ３、ＳＩ４など）などによって定義できる。

また、ブロックが持つことができる横／縦の長さ比（ブロックの形状）に対する制限が存在することができ、これに対する境界値の条件が設定できる。このとき、任意の境界値（ｋ）以下／未満のブロックのみ支援でき、ｋはＡ／Ｂ（Ａは横と縦のうちのより長いか同じ値、Ｂはその残りの値）のような横と縦の長さ比に基づいて定義でき、１．５、２、３、４などの１以上の実数であり得る。上記の例でのように画像における一つのブロックの形状に関する制限条件が支援されるか或いは分割設定に応じて一つ以上の制限条件が支援され得る。

まとめると、上述した説明のような範囲及び条件と後述する分割設定などによってブロック分割の支援有無が定められ得る。例えば、ブロック（親ブロック）の分割による候補（子ブロック）が支援されるブロック条件を満足する場合には、当該分割は支援でき、満足しない場合には、当該分割は支援できない。

ブロック分割部は、画像符号化装置及び復号化装置の各構成部に関係して設定でき、この過程を介してブロックの大きさと形状が定められ得る。このとき、設定されるブロックは構成部によって異なるように定義でき、予測部の場合は予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）、変換部の場合は変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）、量子化部の場合は量子化ブロック（Ｑｕａｎｔｉｚａｔｉｏｎ Ｂｌｏｃｋ）などがこれに該当することができる。但し、これに限定されず、他の構成部によるブロック単位がさらに定義できる。本発明では、各構成部で入力と出力が長方形の形状である場合を中心に説明するが、一部の構成部では、他の形状（例えば、直角三角形など）の入力／出力が可能である。

ブロック分割部の初期（又は開始）ブロックの大きさ及び形状は、上位単位から決定できる。前記初期ブロックは、より小さい大きさのブロックに分割でき、ブロックの分割による最適の大きさ及び形状が決定されると、そのブロックは、下位単位の初期ブロックに決定できる。ここで、上位単位は符号化ブロック、下位単位は予測ブロック又は変換ブロックであり得るが、これに限定されず、様々な変形の例が可能である。上記の例のように下位単位の初期ブロックが定められると、上位単位のように最適の大きさ及び形状のブロックを見付けるための分割過程が行われ得る。

まとめると、ブロック分割部は、基本符号化ブロック（又は最大符号化ブロック）を少なくとも一つの符号化ブロックに分割することができ、符号化ブロックを少なくとも一つの予測ブロック／変換ブロック／量子化ブロックに分割することができる。また、予測ブロックは、少なくとも一つの変換ブロック／量子化ブロックに分割を行うことができ、変換ブロックは、少なくとも一つの量子化ブロックに分割を行うことができる。ここで、一部のブロックは、他のブロックと従属的な関係（つまり、上位単位と下位単位によって定義）を持ってもよく、独立した関係を持ってもよい。一例として、予測ブロックは、変換ブロックの上位単位であってもよく、変換ブロックと独立した単位であってもよく、ブロックの種類に応じて様々な関係設定が可能である。

符号化の設定に応じて、上位単位と下位単位の結合有無が定められ得る。ここで、単位間の結合は、上位単位から下位単位への分割を行わず、上位単位のブロック（大きさ及び形状）で下位単位の符号化過程（例えば、予測部、変換部、逆変換部など）を行うことを意味する。つまり、複数の単位における分割過程が共有され、分割情報はその中の一つの単位（例えば、上位単位）で発生することを意味することができる。

一例として、（符号化ブロックが予測ブロック、変換ブロックと結合される場合）符号化ブロックで予測過程、変換及び逆変換過程を行うことができる。

一例として、（符号化ブロックが予測ブロックと結合される場合）符号化ブロックで予測過程を行うことができ、符号化ブロックと同じかより小さい変換ブロックで変換及び逆変換過程を行うことができる。

一例として、（符号化ブロックが変換ブロックと結合される場合）符号化ブロックと同じかより小さい予測ブロックで予測過程を行うことができ、符号化ブロックで変換及び逆変換過程を行うことができる。

一例として、（予測ブロックが変換ブロックと結合された場合）符号化ブロックと同じかより小さい予測ブロックで予測過程を行うことができ、予測ブロックで変換及び逆変換過程を行うことができる。

一例として、（いずれのブロックでも結合されていない場合）符号化ブロックと同じかより小さい予測ブロックで予測過程を行うことができ、符号化ブロックと同じかより小さい変換ブロックで変換及び逆変換過程を行うことができる。

上記の例において符号化、予測、変換ブロックに関する様々な場合を説明したが、これに限定しない。

前記単位間の結合は、画像で固定的な設定が支援できるか、或いは様々な符号化要素を考慮して適応的な設定が支援できる。ここで、前記符号化要素は、画像タイプ、カラー成分、符号化モード（Ｉｎｔｒａ／Ｉｎｔｅｒ）、分割の設定、ブロックの大きさ／形状／位置、横／縦の長さ比、予測関連情報（例えば、画面内予測モード、画面間予測モードなど）、変換関連情報（例えば、変換技法選択情報など）、量子化関連情報（例えば、量子化領域選択情報、量子化された変換係数符号化情報など）などを含むことができる。

上述したように、最適な大きさ及び形状のブロックを見付けた場合、これに対するモード情報（例えば、分割情報など）が生成できる。モード情報は、ブロックの属する構成部で発生する情報（例えば、予測関連情報及び変換関連情報など）と一緒にビットストリームに収録されて復号化器へ伝送でき、復号化器で同じレベルの単位にパーシングされて画像復号化過程で使用できる。

以下では、分割方式について説明し、説明の便宜のために、初期ブロックが正方形の形状であることを仮定するが、初期ブロックが長方形の形状である場合にも同一又は類似に適用することができるので、これに限定されるものではない。

ブロック分割部は、様々な種類の分割を支援することができる。例えば、ツリーベースの分割又はインデックスベースの分割を支援することができ、その他の方法が支援することもできる。ツリーベースの分割は、様々な種類の情報（例えば、分割か否か、ツリー種類、分割方向など）で分割形態を決定することができ、インデックスベースの分割は、所定のインデックス情報で分割形態を決定することができる。

図４は本発明のブロック分割部で取得することができる様々な分割形態を示す例示図である。

本例では、１回の分割実行（又は過程）によって図４のような分割形態を取得する場合を仮定するが、これに限定されず、複数の分割動作によって取得される場合も可能である。また、図４に示されていない追加の分割形態が可能である。

（ツリーベースの分割）
本発明のツリーベースの分割において四分木（Ｑｕａｄ Ｔｒｅｅ。ＱＴ）、二分木（Ｂｉｎａｒｙ Ｔｒｅｅ。ＢＴ）、三分木（Ｔｅｒｎａｒｙ Ｔｒｅｅ。ＴＴ）などが支援できる。一つのツリー方式が支援される場合は単一ツリー分割と呼び、二つ以上のツリー方式が支援される場合は多重ツリー分割と呼ぶことができる。

ＱＴの場合は、ブロックが水平と垂直方向にそれぞれ二分割（すなわち、四分割）される方式（ｎ）を意味し、ＢＴの場合は、ブロックが水平又は垂直のうちの一つの方向に二分割される方式（ｂ乃至ｇ）を意味し、ＴＴの場合は、ブロックが水平又は垂直のうちの一つの方向に三分割される方式（ｈ乃至ｍ）を意味する。

ここで、ＱＴの場合は、分割方向を水平と垂直のうちのいずれかに限定して四分割する方式（ｏ、ｐ）を支援することもできる。また、ＢＴの場合は、均等な大きさを有する方式（ｂ、ｃ）のみを支援するか、或いは非均等な大きさを有する方式（ｄ乃至ｇ）のみを支援するか、或いは両方の方式を混合して支援することができる。また、ＴＴの場合は、分割が特定の方向に偏る配置（左→右又は上→下の方向に１：１：２、２：１：１など）を有する方式（ｈ、ｊ、ｋ、ｍ）のみ支援するか、或いは中央に配置（１：２：１など）される方式（ｉ、ｌ）のみを支援するか、或いは両方の方式を混合して支援することができる。また、分割方向を水平と垂直方向にそれぞれ四分割（すなわち、１６分割）される方式（ｑ）も支援することができる。

そして、前記ツリー方式のうち、水平分割方向に限定してｚ分割する方式（ｂ、ｄ、ｅ、ｈ、ｉ、ｊ、ｏ）を支援するか、或いは垂直分割方向に限定してｚ分割する方式（ｃ、ｆ、ｇ、ｋ、ｌ、ｍ、ｐ）を支援するか、或いは両方の方式を混合して支援することができる。ここで、ｚは、２、３、４のような２以上の整数であり得る。

本発明において、ＱＴはｎ、ＢＴはｂとｃ、ＴＴはｉとｌを支援する場合を仮定して説明する。

符号化の設定に応じて前記ツリー分割のうちの一つ以上の方式が支援できる。例えば、ＱＴを支援することができるか、或いはＱＴ／ＢＴを支援することができるか、或いはＱＴ／ＢＴ／ＴＴを支援することができる。

上記の例は、基本ツリー分割がＱＴであり、その他のツリー支援有無に応じてＢＴとＴＴが追加分割方式に含まれる場合についての例であるが、様々な変形が可能である。このとき、その他のツリー支援有無についての情報（ｂｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｔｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｂｔ＿ｔｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇなど。０又は１の値を持つことができ、０であれば支援せず、１であれば支援）は、符号化の設定に応じて黙示的に定められるか、或いはシーケンス、ピクチャ、スライス、タイルグループ、タイル、ブリックなどの単位で明示的に決定できる。

分割情報は、分割か否かについての情報（ｔｒｅｅ＿ｐａｒｔ＿ｆｌａｇ、又は、ｑｔ＿ｐａｒｔ＿ｆｌａｇ、ｂｔ＿ｐａｒｔ＿ｆｌａｇ、ｔｔ＿ｐａｒｔ＿ｆｌａｇ、ｂｔ＿ｔｔ＿ｐａｒｔ＿ｆｌａｇ。０又は１の値を持つことができ、０であれば分割されず、１であれば分割される）が含まれ得る。また、分割方式（ＢＴとＴＴ）に応じて分割方向（ｄｉｒ＿ｐａｒｔ＿ｆｌａｇ、又は、ｂｔ＿ｄｉｒ＿ｐａｒｔ＿ｆｌａｇ、ｔｔ＿ｄｉｒ＿ｐａｒｔ＿ｆｌａｇ、ｂｔ＿ｔｔ＿ｄｉｒ＿ｐａｒｔ＿ｆｌａｇ。０又は１の値を持つことができ、０であれば＜横／水平＞であり、１であれば＜縦／垂直＞）についての情報が追加でき、これは、分割が行われる場合に発生可能な情報であることができる。

複数のツリー分割が支援される場合には、様々な分割情報構成が可能である。次は、一つの深さ（Ｄｅｐｔｈ）レベル（つまり、支援される分割深さが一つ以上に設定されて再帰的な分割が可能であることもあるが、説明の便宜のための目的）で分割情報がどのように構成されているかについての例として仮定して説明する。

一例（１）として、分割か否かについての情報を確認する。このとき、分割が行われない場合であれば、分割が終了する。

もし分割が行われる場合であれば、分割の種類に関する選択情報（例えば、ｔｒｅｅ＿ｉｄｘ。０であればＱＴ、１であればＢＴ、２であればＴＴ）を確認する。このとき、選択される分割の種類に応じて分割方向情報をさらに確認し、次のステップ（分割深さが最大に達していない場合などの理由により追加分割が可能であれば、さらに最初から開始し、分割が不可能であれば、分割終了）に移行する。

一例（２）として、一部のツリー方式（ＱＴ）に対する分割か否かについての情報を確認し、次のステップに移行する。このとき、分割が行われない場合であれば、一部のツリー方式（ＢＴ）の分割か否かについての情報を確認する。このとき、分割が行われない場合であれば、一部のツリー方式（ＴＴ）の分割か否かについての情報を確認する。このとき、分割が行われない場合であれば、分割が終了する。

もし一部のツリー方式（ＱＴ）の分割が行われる場合であれば、次のステップに移行する。また、もし一部のツリー方式（ＢＴ）の分割が行われる場合であれば、分割方向情報を確認し、次のステップに移行する。また、もし一部のツリー分割方式（ＴＴ）の分割が行われる場合であれば、分割方向情報を確認し、次のステップに移行する。

一例（３）として、一部のツリー方式（ＱＴ）に対する分割か否かについての情報を確認する。このとき、分割が行われない場合であれば、一部のツリー方式（ＢＴとＴＴ）の分割か否かについての情報を確認する。このとき、分割が行われない場合であれば、分割が終了する。

もし一部のツリー方式（ＱＴ）の分割が行われる場合であれば、次のステップに移行する。また、もし一部のツリー方式（ＢＴとＴＴ）の分割が行われる場合であれば、分割方向情報を確認し、次のステップに移行する。

上記の例は、ツリー分割の優先順位が存在（２番と３番の例）するか或いは存在しない場合（１番の例）であり得るが、様々な変形の例が可能である。また、上記の例において、現在ステップの分割は、以前ステップの分割結果とは無関係な場合を説明する例であるが、現在ステップの分割が以前ステップの分割結果に依存的な設定も可能である。

例えば、１番乃至３番の例は、以前ステップで一部のツリー方式の分割（ＱＴ）が行われて現在ステップに移されてきた場合であれば、現在ステップでも同じツリー方式（ＱＴ）の分割が支援できる。

一方、以前ステップで一部のツリー方式の分割（ＱＴ）が行われず、他のツリー方式の分割（ＢＴ又はＴＴ）が行われて現在ステップに移されてきた場合であれば、一部のツリー方式の分割（ＱＴ）を除いて一部のツリー方式の分割（ＢＴとＴＴ）が現在ステップを含む後続ステップに支援される設定も可能である。

上述したような場合には、ブロック分割に支援されるツリー構成が適応的であり得るということを意味するので、前述した分割情報構成も異なるように構成できることを意味する。（後述する例は３番の例と仮定）すなわち、上記の例において一部のツリー方式（ＱＴ）の分割が以前ステップで行われていない場合、現在ステップでは一部のツリー方式（ＱＴ）は考慮せずに分割過程が行われ得る。また、関連ツリー方式に関する分割情報（例えば、分割か否かについての情報、分割方向情報など。本例＜ＱＴ＞では、分割か否かについての情報）は除去して構成できる。

上記の例は、ブロック分割が許容される場合（例えば、ブロックの大きさが最大値と最小値の間の範囲内に存在する。各ツリー方式の分割深さが最大深さ＜許容深さ＞に達しないなど）に対する適応的な分割情報構成に関する場合であり、ブロック分割が制限される場合（例えば、ブロックの大きさが最大値と最小値の間の範囲に存在しない。各ツリー方式の分割深さが最大深さに達するなど）にも適応的な分割情報構成が可能である。

既に述べたように、本発明において、ツリーベースの分割は、再帰的な方式を用いて行われ得る。例えば、分割深さがｋである符号化ブロックの分割フラグが０である場合、符号化ブロックの符号化は、分割深さがｋである符号化ブロックで行われ、分割深さがｋである符号化ブロックの分割フラグが１である場合、符号化ブロックの符号化は、分割方式に応じて、分割深さがｋ＋１であるＮ個のサブ符号化ブロック（このとき、Ｎは２、３、４などの２以上の整数）で行われる。

前記サブ符号化ブロックは、再び符号化ブロック（ｋ＋１）に設定され、前記過程を経て、サブ符号化ブロック（ｋ＋２）に分割できる。このような階層的分割方式は、分割範囲及び分割許容深さなどの分割設定に応じて決定できる。

このとき、分割情報を表現するためのビットストリーム構造は、一つ以上のスキャン方法の中から選択することができる。例えば、分割深さの順序を基準に分割情報のビットストリームを構成することができるか、或いは分割か否かを基準に分割情報のビットストリームを構成することができる。

例えば、分割深さの順序を基準とした場合、最初ブロックを基準に現レベルの深さでの分割情報を取得した後、次のレベルの深さでの分割情報を取得する方法であり、分割か否かを基準とした場合、最初ブロックを基準に分割されたブロックでの追加分割情報を優先的に取得する方法を意味し、他の追加のスキャン方法が考慮できる。

最大ブロックの大きさと最小ブロックの大きさは、ツリーの種類に関係なく、（又はすべてのツリー）共通する設定を持つことができるか、或いは各ツリーに応じて個別的な設定を持つことができるか、或いは二つ以上のツリーに対する共通の設定を持つことができる。この時、最大ブロックの大きさは、最大符号化ブロックと同じかより小さく設定できる。もし所定の第１ツリーによる最大ブロックの大きさが最大符号化ブロックと同じでなければ、第１ツリーの最大ブロックの大きさに到達するまで所定の第２ツリー方式を用いて黙示的に分割を行う。

そして、ツリーの種類に関係なく、共通の分割深さが支援できるか、或いは各ツリーに応じて個別的な分割深さが支援できるか、或いは二つ以上のツリーに対する共通の分割深さが支援できる。又は、一部のツリーには分割深さが支援され、一部のツリーには分割深さが支援されなくてもよい。

前記設定情報に対する明示的な構文要素が支援でき、一部の設定情報は黙示的に定められてもよい。

（インデックスベースの分割）
本発明のインデックスベースの分割において、ＣＳＩ（Ｃｏｎｓｔａｎｔ Ｓｐｌｉｔ Ｉｎｄｅｘ）方式とＶＳＩ（Ｖａｒｉａｂｌｅ Ｓｐｌｉｔ Ｉｎｄｅｘ）方式などが支援できる。

ＣＳＩ方式は、所定の方向の分割によってｋ個のサブブロックが取得される方式であり得る。このとき、ｋは２、３、４などの２以上の整数であり得る。詳細には、ブロックの大きさ及び形状に関係なく、前記ｋ値に基づいて、サブブロックの大きさ及び形状が定められる構成の分割方式であり得る。ここで、所定の方向は、水平、垂直、対角線（左上→右下方向、又は、左下→右上方向など）方向のうちの一つ又は二つ以上の方向が結合できる。

本発明のインデックスベースのＣＳＩ分割方式は、水平又は垂直のうちのいずれかの方向にｚ個に分割される候補を含むことができる。このとき、ｚは、２、３、４などの２以上の整数であり、各サブブロックの横又は縦の長さのうち、いずれか一つは同じであり、他の一つは同じか異なり得る。前記サブブロックの横又は縦の長さ比はＡ_１：Ａ_２：．．．：Ａ_Ｚであって、Ａ_１乃至Ａ_Ｚは１、２、３などの１以上の整数であり得る。

また、水平と垂直方向にそれぞれｘ、ｙ個に分割される候補を含むことができる。このとき、ｘとｙは１、２、３、４などの１以上の整数であり得るが、ｘとｙが同時に１である場合（ａが既に存在するので）は制限することができる。図４は、各サブブロックの横又は縦の長さ比が同じである場合を示しているが、異なる場合を含む候補を含んでもよい。

また、一部の対角線方向（左上→右下方向）又は一部の対角線方向（左下→右上方向）のうちのいずれか一方向にｗ個に分割される候補を含むことができ、ｗは２、３などの２以上の整数であることができる。

図４を参照すると、各サブブロックの長さ比によって対称的な分割形態（ｂ）と非対称的な分割形態（ｄ、ｅ）に区分することができ、特定の方向に偏った分割形態（ｋ、ｍ）と中央に配置される分割形態（ｋ）に区分することができる。サブブロックの長さ比だけでなく、サブブロックの形態などを含む様々な符号化要素によって分割形態を定義することができるが、符号化の設定に応じて、支援される分割形態が黙示的又は明示的に定められ得る。そこで、支援される分割形態に基づいてインデックスベースの分割方式での候補群が定められ得る。

一方、ＶＳＩ方式は、サブブロックの幅ｗ又は高さｈが固定されたまま、所定の方向の分割を介して一つ以上のサブブロックが取得される方式であり得る。ｗとｈは１、２、４、８などの１以上の整数であり得る。詳細には、ブロックの大きさ及び形状と前記ｗ又はｎの値に基づいてサブブロックの個数が定められる構成の分割方式であり得る。

本発明のインデックスベースのＶＳＩ分割方式は、サブブロックの横又は縦の長さのうちのいずれか一つを固定して分割される候補を含むことができる。又は、サブブロックの横と縦の長さを固定して分割される候補を含むことができる。サブブロックの横又は縦の長さが固定されるので、水平又は垂直方向に均等分割を許容する特徴を持つことができるが、これに限定されない。

分割前のブロックがＭ×Ｎであり、サブブロックの横の長さが固定（ｗ）されるか、或いは縦の長さが固定（ｈ）されるか、或いは横と縦の長さが固定（ｗ、ｈ）される場合には、取得されるサブブロックの個数は、それぞれ（Ｍ＊Ｎ）／ｗ、（Ｍ＊Ｎ）／ｈ、（Ｍ＊Ｎ）／ｗ／ｈであることができる。

符号化の設定に応じて、ＣＳＩ方式のみ支援されるか、或いはＶＳＩ方式のみ支援されるか、或いは両方の方式とも支援されることができ、支援される方式についての情報が黙示的又は明示的に定められ得る。

本発明では、ＣＳＩ方式が支援される場合を仮定して説明する。

符号化の設定に応じて、前記インデックス分割のうちの二つ以上の候補を含んで候補群を構成することができる。

例えば、｛ａ、ｂ、ｃ｝、｛ａ、ｂ、ｃ、ｎ｝、｛ａ乃至ｇ、ｎ｝のような候補群を構成することができるが、水平又は垂直方向に二分割されるか、或いは水平と垂直方向にそれぞれ二分割されるブロック形状のように、一般的な統計的特性に基づいて多く発生するものと予測されるブロック形状を候補群として構成する例であり得る。

又は、｛ａ、ｂ｝、｛ａ、ｏ｝、｛ａ、ｂ、ｏ｝又は｛ａ、ｃ｝、｛ａ、ｐ｝、｛ａ、ｃ、ｐ｝のような候補群を構成することができるが、それぞれ水平と垂直方向に二分割、四分割される候補を含む。これは、特定の方向の分割が多く発生するものと予測されるブロック形状を候補群として構成する例であり得る。

又は、｛ａ、ｏ、ｐ｝又は｛ａ、ｎ、ｑ｝のような候補群を構成することができるが、分割前のブロックよりも小さい大きさを有する分割が多く発生するものと予測されるブロック形状を候補群として構成する例であり得る。

又は、｛ａ、ｒ、ｓ｝のような候補群を構成することができるが、分割前のブロックから他の方式（ツリー方式）を用いて長方形の形状に得ることができる最適な分割結果を得たものと判断し、非四角形の分割形態を候補群として構成する例であり得る。

上記例のように様々な候補群の構成が可能であり、一つ以上の候補群の構成が様々な符号化要素を考慮して支援できる。

前記候補群の構成が完了すると、さまざまな分割情報構成が可能である。

例えば、分割されない候補（ａ）と分割される候補（ｂ乃至ｓ）を含んで構成される候補群からインデックス選択情報が発生することができる。

又は、分割か否かを示す情報（分割形態がａであるか否か）が発生することができ、分割が行われる場合（ａではない場合）に分割される候補（ｂ乃至ｓ）で構成される候補群からインデックス選択情報が発生することができる。

上記説明以外の多様な方式の分割情報構成が可能であり、前記分割か否かを示す情報を除いては候補群で各候補のインデックスに固定長の２値化、可変長の２値化などの様々な方法を用いてバイナリビットが割り当てられ得る。もし候補群の個数が二つである場合には、インデックス選択情報に１ビットが割り当てられ、三つ以上である場合には、インデックス選択情報に１ビット以上が割り当てられ得る。

ツリーベースの分割方式とは異なり、インデックスベースの分割方式は、多く発生すると予測される分割形態を選別的に候補群に構成する方式であることができる。

そして、支援される候補群の個数に応じて、インデックス情報を表現するためのビット量が増加することができるので、ツリーベースの方式の階層的分割（再帰的分割）ではなく、単一階層分割（例えば、分割深さが０に限定）に適した方式であり得る。つまり、１回の分割動作を支援する方式であってもよく、インデックスベースの分割を介して取得されたサブブロックはそれ以上の追加の分割が不可能な方式であってもよい。

このとき、より小さい大きさを有する同じ種類のブロックへの追加分割が不可能な場合（例えば、インデックス分割方式によって取得された符号化ブロックは、符号化ブロックへの追加分割が不可）を意味することができるが、他の種類のブロックへの追加分割が不可能な設定（例えば、符号化ブロックから符号化ブロックだけでなく、予測ブロックへの分割も不可）も可能である。もちろん、上記の例に限定されず、他の変形の例が可能である。

次に、符号化要素のうちブロックの種類を中心にブロック分割の設定が定められる場合について考察する。

まず、分割過程を介して符号化ブロックが取得できる。ここで、分割過程は、ツリーベースの分割方式が使用でき、ツリーの種類によって図４のａ（ｎｏ ｓｐｌｉｔ）、ｎ（ＱＴ）、ｂ、ｃ（ＢＴ）、ｉ、ｌ（ＴＴ）などの分割形態結果が得られる。符号化の設定に応じて、ＱＴ／ＱＴ＋ＢＴ／ＱＴ＋ＢＴ＋ＴＴなどの各ツリーの種類の様々な組み合わせが可能である。

後述する例は、上記の過程によって取得された符号化ブロックを基礎に予測ブロックと変換ブロックが最終的に区画される過程を示し、各区画された大きさに基づいて予測、変換及び逆変換過程が行われる場合を仮定する。

一例（１）として、符号化ブロックの大きさのまま予測ブロックが設定されて予測過程を行うことができ、符号化ブロック（又は予測ブロック）の大きさのまま変換ブロックが設定されて変換及び逆変換過程を行うことができる。予測ブロックと変換ブロックの場合は、符号化ブロックに基づいて設定されたため、別に発生する分割情報は存在しない。

一例（２）として、符号化ブロックの大きさのまま予測ブロックが設定されて予測過程を行うことができる。変換ブロックの場合は、符号化ブロック（又は予測ブロック）を基礎に分割過程を介して変換ブロックが取得でき、取得された大きさに基づいて変換及び逆変換過程を行うことができる。

ここで、分割過程は、ツリーベースの分割方式が使用でき、ツリーの種類に応じて、図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ、ｃ（ＢＴ）、ｉ、ｌ（ＴＴ）、ｎ（ＱＴ）などの分割形態結果が得られる。符号化の設定に応じて、ＱＴ／ＢＴ／ＱＴ＋ＢＴ／ＱＴ＋ＢＴ＋ＴＴなどの各ツリーの種類の様々な組み合わせが可能である。

ここで、分割過程は、インデックスベースの分割方式が使用でき、インデックスの種類に応じて、図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ、ｃ、ｄなどの分割形態の結果が得られる。符号化の設定に応じて、｛ａ、ｂ、ｃ｝、｛ａ、ｂ、ｃ、ｄ｝などのさまざまな候補群の構成が可能である。

一例（３）として、予測ブロックの場合は、符号化ブロックを基礎に分割過程を行うことにより予測ブロックが取得でき、取得された大きさに基づいて予測過程を行うことができる。変換ブロックの場合は、符号化ブロックの大きさのまま設定されて変換及び逆変換過程を行うことができる。本例は、予測ブロックと変換ブロックが互いに独立した関係を持つ場合に該当することができる。

ここで、分割過程は、インデックスベースの分割方式が使用でき、インデックスの種類に応じて、図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ乃至ｇ、ｎ、ｒ、ｓなどの分割形態結果が得られる。符号化の設定に応じて、｛ａ、ｂ、ｃ、ｎ｝、｛ａ乃至ｇ、ｎ｝、｛ａ、ｒ、ｓ｝などのさまざまな候補群の構成が可能である。

一例（４）として、予測ブロックの場合は、符号化ブロックを基礎に分割過程を行うことにより予測ブロックが取得でき、取得された大きさに基づいて予測過程を行うことができる。変換ブロックの場合は、予測ブロックの大きさのまま設定されて変換及び逆変換過程を行うことができる。本例は、取得された予測ブロックの大きさのまま変換ブロックが設定される場合であってもよく、又はその逆の場合（変換ブロックの大きさのまま予測ブロックが設定）であってもよい。

ここで、分割過程は、ツリーベースの分割方式が使用でき、ツリーの種類に応じて、図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ、ｃ（ＢＴ）、ｎ（ＱＴ）などの分割形態が得られる。符号化の設定に応じて、ＱＴ／ＢＴ／ＱＴ＋ＢＴなどの各ツリーの種類の様々な組み合わせが可能である。

ここで、分割過程は、インデックスベースの分割方式が使用でき、インデックスの種類に応じて、図４のａ（ｎｏ ｓｐｌｉｔ）、ｂ、ｃ、ｎ、ｏ、ｐなどの分割形態が得られる。符号化の設定に応じて、｛ａ、ｂ｝、｛ａ、ｃ｝、｛ａ、ｎ｝、｛ａ、ｏ｝、｛ａ、ｐ｝、｛ａ、ｂ、ｃ｝、｛ａ、ｏ、ｐ｝、｛ａ、ｂ、ｃ、ｎ｝、｛ａ、ｂ、ｃ、ｎ、ｐ｝などのさまざまな候補群の構成が可能である。また、インデックスベースの分割方式のうち、ＶＳＩ方式が単独で、又は前記ＣＳＩ方式と組み合わせられて候補群が構成されてもよい。

一例（５）として、予測ブロックの場合は、符号化ブロックを基礎に分割過程を行うことにより予測ブロックが取得でき、取得された大きさに基づいて予測過程を行うことができる。また、変換ブロックの場合も、符号化ブロックを基礎に分割過程を行うことにより予測ブロックが取得でき、取得された大きさに基づいて変換及び逆変換過程を行うことができる。本例は、符号化ブロックを基礎に予測ブロックと変換ブロックそれぞれの分割を行う場合であり得る。

ここで、分割過程は、ツリーベースの分割方式とインデックスベースの分割方式が使用でき、４番の例と同一又は類似に候補群が構成できる。

上記の例は、各種類のブロックの分割過程が共有されるか否かなどによって発生可能な一部の場合を説明しているが、これに限定されず、様々な変形の例が可能である。また、ブロックの種類だけでなく、様々な符号化要素が考慮されてブロック分割設定が定められ得る。

このとき、符号化要素は、画像タイプ（Ｉ／Ｐ／Ｂ）、カラー成分（ＹＣｂＣｒ）、ブロックの大きさ／形状／位置、ブロックの横／縦の長さ比、ブロックの種類（符号化ブロック、予測ブロック、変換ブロック、量子化ブロックなど）、分割状態、符号化モード（Ｉｎｔｒａ／Ｉｎｔｅｒ）、予測関連情報（画面内予測モード、画面間予測モードなど）、変換関連情報（変換技法選択情報など）、量子化関連情報（量子化領域選択情報、量子化された変換係数符号化情報など）などが含まれ得る。

図５は本発明の一実施形態に係る画面内予測での予測モードを示す例示図である。

図５を参照すると、９５個の予測モードは、画面内予測のために支援でき、この中の９３個は方向性モードであり、二つは非方向性モード（ＤＣ、Ｐｌａｎａｒ）である。このとき、方向性モードは、傾き（例えば、ｄｙ／ｄｘ）又は角度情報（Ｄｅｇｒｅｅ）に区分することができる。

非方向性モードの場合は、ブロックの隣接する参照画素の平均、内挿などの方法によって予測を行う方法であり、方向性モードの場合は、ブロックの隣接する参照画素の外挿、内挿などの方法によって予測を行う方法であり得る。

方向性モードの場合は、垂直（上→下／下→上）、水平（左→右／右→左）、対角線Ａ（左上→右下／右下→左上）、対角線Ｂ（右上→左下／左下→右上）などの方向性を持つことができる。

一般的に、ラスタースキャンなどで符号化を行う場合、左、上、左上、右上、左下方向に隣接するブロックが存在することができ、これを予測の開始点又は参照画素とした非方向性モード、又は垂直（上→下）、水平（左→右）、対角線Ａ（左上→右下）、対角線Ｂ－１（右上→左下）、対角線Ｂ－２（左下→右上）方向の予測モードが支援できる。ラスタースキャン以外の他のスキャンが支援される場合には、方向性モードは異なるように定義できる。

例えば、左ブロックは利用不可で、右ブロックは利用不可能な状態での水平モードは、（右→左）方向の外挿を介して予測を行うことができる。又は、左ブロックと右ブロックがすべて利用可能な状態では、所定の方向（左→右又は右→左）の外挿を介して予測を行うことができるか、或いは両ブロックの内挿によって予測を行うことができる。本発明では、ラスタースキャン又はｚスキャンの順序に従って符号化が行われ、左、上、左上、右上、左下方向に参照可能な画素が位置する場合を仮定して説明する。

また、カラー空間間の相関性を用いて、符号化済みの他のカラー空間の復元ブロックを対象ブロックの予測に使用することができ、これを支援する予測モードを含むことができる。例えば、色差成分の場合、対象ブロックと対応する輝度成分の復元されたブロックを用いて対象ブロックの予測ブロックを生成することができる。つまり、カラー空間間の相関性を考慮して、復元されたブロックに基づいて予測ブロックを生成することができ、色差成分のための画面内予測モードとして含むことができる。

色差成分の場合は、輝度成分の予測モード候補群と同じ候補群を持つか、或いは輝度成分の予測モード候補群のうちの一部のモードと色差成分に関する追加の予測モード（カラーコピーモード、カラーモード）が予測モード候補群に含まれ得る。ここで、カラーコピーモードの場合は、他のカラー空間内に位置した領域から予測ブロックの生成のためのデータを取得する方法に関する予測モードであることができ、カラーモードの場合は、他のカラー空間内に位置した領域から予測モードを取得する方法に関連する予測モードであることができる。カラーコピーモードとカラーモードの場合は、それぞれｍ個、ｎ個（ｍ、ｎは０、１、２、３又はそれ以上の整数）のモードが支援できる。

カラーコピーモードが一つ支援される場合、予測ブロックの生成のための所定のデータ取得方法を予め定義することができ、二つ以上支援される場合、予測ブロックの生成のためのデータ取得方法を区分（例えば、相関性取得のために参照される位置など。＜１＞左側、＜２＞上側、＜３＞左側＋上側領域など）して支援することができる。

カラーモードは、一つ支援される場合には、予測モード取得のための所定の位置が予め定義でき、二つ以上支援される場合には、予測モード取得のための複数の位置（例えば、対応するブロックの＜１＞中央、＜２＞左上側、＜３＞右上側、＜４＞左下側、＜５＞右下側など）を支援することができる。

上記の例で説明される予測モードの全部又は一部が輝度成分又は色差成分の予測モード候補群に含まれることができ、その他の追加モードが予測モード候補群に含まれることができる。

前記予測モードは、支援される画面内予測モードのすべての候補を意味することができる。この中の全部又は一部の構成で予測モード候補群を構成することができる。この際、ブロックの大きさ、形状（横／縦の長さ比）などに応じて、前記予測モード候補群を構成することができる。

例えば、ブロックの大きさに応じて、予測モード候補群の個数が定められ得る。この際、ブロックの大きさは、一つ以上の所定の閾値の大きさ（Ａ×Ｂ、Ｃ×Ｄなど）を基準に区分される二つ以上の範囲の中の一つに分類でき、前記分類された範囲に応じて、１１、３５、６７などと複数の候補群の個数のうちのいずれか一つに定められるか、或いはカラーコピーモードやカラーモードなどの支援有無及び個数が定められ得る。この時、前記閾値の大きさは幅（Ｗ）、高さ（Ｈ）、Ｗ×Ｈなどで表現でき、ＷとＨは４、８、１６、３２、６４などの２以上の整数であり得る。

又は、ブロックの形状（又はブロックの横／縦の長さ比）に応じて予測モード候補群の構成が定められ得る。この際、ブロックの横／縦の長さ比は、一つ以上の所定の閾値を基準に区分される二つ以上の範囲の中のいずれか一つに分類でき、前記分類された範囲に応じて候補群の構成が定められ得る。このとき、前記閾値は、Ｗ／Ｈ（又はＨ／Ｗ）などで表現でき、１、２、４、８、１６などの１以上の整数値を持つか、或いは１、１／２、１／４、１／８、１／１６など、０と１の間の小数値を持つことができる。

本発明における画面内予測は、方向性及び非方向性モードのために、図５のような９５個の予測モードが支援され、カラーモードとカラーコピーモードが支援され得る場合を仮定する。また、輝度成分の予測モード候補群は、方向性モードと非方向性モード６７個が支援され、色差成分の予測モード候補群は、方向性及び非方向性モード４個、カラーモード１個、カラーコピーモード３個の合計８個が支援される場合を仮定するが、これに限定されない。前記仮定以外の予測モード候補群に含まれるモードを選定するための所定の構成基準が存在することができる。

次に、ブロックの横／縦の長さ比による予測モード候補群の構成の一例を示す。

前記表は、正方形のブロック形状であるときに０と１番の予測モード、及び２番乃至６６番モードの予測モードが予測モード候補群に含まれる場合を基準に設定する。長方形のブロック形状であるときに正方形のブロックの予測モード候補群（非方向性モードを除く）に対して追加又は除外される予測モードで上記表のような候補構成が可能であるが、これは、ブロックの長さが短い方よりも長い方で予測モードをさらに広く構成することが、予測の精度の面で有利であるという仮定の下に設定される例であり得るが、これに反対される構成も可能である。

参照画素構成部では、画面内予測に使用される参照画素を構成することができる。このとき、参照画素は、一時メモリ（例えば、配列＜Ａｒｒａｙ＞。１次、２次配列など）を介して管理でき、画面内予測過程ごとに生成及び除去でき、一時メモリの大きさは参照画素の構成に応じて決定できる。

対象ブロックを中心に左、上、左上、右上、左下ブロックが画面内予測に使用される場合を仮定して説明するが、これに限定されず、他の構成のブロック候補群が画面内予測に使用されてもよい。

例えば、前記参照画素のための隣接ブロックの候補群は、ラスター又はＺスキャンに従う場合の一例であり、支援されるスキャンの順序に応じて前記候補群の一部を除去することができるか、或いは他のブロック候補群（例えば、右、下、右下ブロックなどが追加の構成）を含んで構成できる。

一方、対象ブロックに隣接する画素は、少なくとも一つの参照画素階層に分類することができるが、対象ブロックに最隣接する画素は、ｒｅｆ＿０｛対象ブロックの境界画素と画素値との差が１である画素。ｐ（－１、－１）～ｐ（２ｍ－１、－１）、ｐ（－１、０）～ｐ（－１、２ｎ－１）｝、その次の隣接する画素｛対象ブロックの境界画素と画素値との差が２である画素。ｐ（－２、－２）～ｐ（２ｍ、－２）、ｐ（－２、－１）～ｐ（－２、２ｎ）｝はｒｅｆ＿１、その次の隣接する画素｛対象ブロックの境界画素と画素値との差が３である画素。ｐ（－３、－３）～ｐ（２ｍ＋１、－３）、ｐ（－３、－２）～ｐ（－３、２ｎ＋１）｝はｒｅｆ＿２などに分けることができる。つまり、対象ブロックの境界画素に隣接する画素の距離によって、参照画素を複数の参照画素階層に分類することができる。

ここで支援される参照画素ラインはＮ個以上であることができ、Ｎは１、２、３、４又はそれ以上の整数であることができる。この際、対象ブロックに最隣接する参照画素ラインから順次参照画素ライン候補群に含まれることが一般的であるが、これに限定されない。例えば、Ｎが３である場合、＜ｒｅｆ＿０、ｒｅｆ＿１、ｒｅｆ＿２＞のように順次前記候補群が構成できるか、或いは＜ｒｅｆ＿０、ｒｅｆ＿１、ｒｅｆ＿３＞、＜ｒｅｆ＿０、ｒｅｆ＿２、ｒｅｆ＿３＞、＜ｒｅｆ＿１、ｒｅｆ＿２、ｒｅｆ＿３＞のように順次でないか、或いは最隣接する参照画素ラインを除外する構成で前記候補群が構成されることも可能である。

前記候補群内のすべての参照画素ラインを用いて予測を行うか、或いは一部の参照画素ライン（一つ以上）を用いて予測を行うことができる。

例えば、符号化の設定に応じて、複数の参照画素ラインのうちのいずれかが選択され、当該参照画素ラインを用いて画面内予測を行うことができる。又は、複数の参照画素ラインのうちの二つ以上が選択され、当該参照画素ラインを用いて（例えば、各参照画素ラインのデータに重み平均などを適用）画面内予測を行うことができる。

ここで、参照画素ラインの選択は、黙示的又は明示的に定められ得る。例えば、黙示的な場合には、画像タイプ、カラー成分、ブロックの大きさ／形状／位置などの要素のうちのいずれか一つ又は二つ以上の組み合わせに応じて定義される符号化の設定に基づいて定められることを意味する。また、明示的な場合は、ブロックなどの単位で参照画素ライン選択情報が発生しうることを意味する。

本発明では、最隣接する参照画素ラインを用いて画面内予測を行う場合を中心に説明する。但し、予測に参照される参照画素ラインは、本発明の主要符号化要素の一つとして考慮できる。つまり、選択される参照画素ラインに関係なく、画面内予測の設定が定められ得るが、それによる画面内予測の設定が定められることも可能である。

本発明の画面内予測の参照画素構成部は、参照画素生成部、参照画素補間部、参照画素フィルタ部などを含むことができ、前記構成の全部又は一部を含んで構成することができる。

参照画素構成部で参照画素使用可能性（Ａｖａｉｌａｂｉｌｉｔｙ）を確認して、使用可能な参照画素と使用不可能な参照画素を分類することができる。ここで、前記参照画素使用可能性は、次の条件のうちの少なくとも一つを満足する場合に使用不可と判断する。

例えば、ピクチャ境界の外に位置する場合には、対象ブロックと同じ分割単位（例えば、スライス、タイルなどのように互いに参照が不可能な単位。但し、スライスやタイルなどの単位であっても互いに参照可能な特性を持つ場合には、同じ分割単位でなくても例外処理）に属さない場合、符号化が完了していない場合のうちのいずれかでも満足する場合には、使用不可と判断することができる。すなわち、前記条件を全く満足しない場合には、使用可能と判断することができる。

また、符号化の設定によって参照画素使用を制限することができる。例えば、前記条件に基づいて使用可能と判断された場合であっても、限られた画面内予測（例えば、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ）の実行か否かによって参照画素の使用が制限できる。制限された画面内予測は、通信環境などの外部要因へのエラー伝播を防ぐために、他の画像から参照されて復元されたブロックを参照画素として使用禁止しようとするときに行われ得る。

制限された画面内予測が非活性化された場合（例えば、Ｉ画像タイプ。又はＰ又はＢ画像タイプにおけるｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝０）、参照画素候補ブロックはすべて使用可能である。

又は、制限された画面内予測が活性化された場合（例えば、Ｐ又はＢ画像タイプにおけるｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１）、参照画素候補ブロックは符号化モード（Ｍｏｄｅ＿Ｉｎｔｒａ、Ｍｏｄｅ＿ＩｎｔｅｒＤ、Ｍｏｄｅ＿ＩｎｔｅｒＣ）に応じて使用有無を判断する条件と仮定することができるが、それ以外の様々な符号化要素によって上記の条件が定められることも可能である。

ここで、Ｍｏｄｅ＿Ｉｎｔｒａ、Ｍｏｄｅ＿Ｉｎｔｅｒ＿Ｄ、Ｍｏｄｅ＿Ｉｎｔｅｒ＿Ｃは、それぞれ画面内予測、他のピクチャで参照する画面間予測（ブロックマッチングなど）、現在ピクチャで参照する画面間予測を意味することができる。Ｍｏｄｅ＿Ｉｎｔｒａの場合には参照が可能であり、Ｍｏｄｅ＿Ｉｎｔｅｒの場合には参照が不可能な設定が一般的であり得るが、これに限定されない。

参照画素は、一つ以上のブロックで構成されているので、前記参照画素可能性を確認した後に分類すると、＜すべて使用可能＞、＜一部使用可能＞、＜すべて使用不可＞のように三つの場合に分類することができる。すべて使用可能な場合を除いた残りの場合には、使用不可能な候補ブロック位置の参照画素を満たすか或いは生成することができる。

参照画素候補ブロックが使用可能な場合には、当該位置の画素を対象ブロックの参照画素メモリに含むことができる。この時、前記画素データは、そのままコピーされるか、或いは参照画素フィルタリング、参照画素補間などの過程を経て参照画素メモリに含むことができる。また、参照画素候補ブロックが使用不可能な場合には、参照画素生成過程を経て取得された画素を対象ブロックの参照画素メモリに含むことができる。

次に、さまざまな方法を用いて、使用不可能なブロック位置の参照画素を生成する例を示す。

例えば、任意の画素値を用いて参照画素を生成することができる。ここで、任意の画素値とは、画素値の範囲（例えば、ビット深度に基づいた画素値の範囲又は当該画像内の画素分布による画素値の範囲）に属する一つの画素値（例えば、画素値の範囲の最小値、最大値、中央値など）であり得る。詳細には、参照画素候補ブロックがすべて使用不可能な場合に適用される例であり得る。

又は、画像の符号化が完了した領域から参照画素を生成することができる。詳細には、使用不可能なブロックに隣接する少なくとも一つの使用可能なブロックから参照画素を生成することができる。このとき、外挿、内挿、コピーなどの方法のうちの少なくとも一つを使用することができる。

上記例の場合、参照画素は、対象ブロックを中心に隣接する領域を対象とすることができ、一部の予測モード（例えば、カラーコピーモードなど）で参照される他のカラー空間における、対象ブロックと対応する領域（予測データを取得する領域又はその隣接する領域）も含んで考慮できる。

前記参照画素の構成を完了した後に、参照画素フィルタリング又は参照画素補間を行うことができる。例えば、参照画素フィルタリングのみを行うことができ、参照画素補間のみを行うことができ、参照画素フィルタリングと参照画素補間を行うことができる。参照画素フィルタリングが参照画素補間に先行又は後行してもよく、同時に結合されて行われてもよい。

参照画素フィルタリングは、参照画素に残っている劣化を減らすための目的で行われる過程であり得る。参照画素フィルタリングに［１、２、１］／４、［２、３、６、３、２］／１６などのように様々なフィルタタップの長さ及び係数の設定で区分可能な複数のフィルタのうちのいずれかであることができる。また、フィルタの種類を異ならせて複数のフィルタリングが行われてもよい。

参照画素フィルタリングは、明示的に実行有無が決定できるか、或いは符号化の設定に応じて黙示的に実行有無が決定できる。ここで、符号化の設定は、対象ブロックの状態情報（ブロックの大きさ、形状、位置など）、画像タイプ（Ｉ／Ｐ／Ｂ）、カラー成分（Ｙ／Ｃｂ／Ｃｒ）、参照画素ライン選択情報、サブブロック単位の画面内予測が適用されるか否か、画面内予測モードなどに基づいて定義できる。

参照画素補間は、整数単位の画素だけを参照する予測モードには参照画素補間が行われず、小数単位の画素が参照される予測モードには参照画素補間が行われることができる。

予測モード（例えば、予測モードの方向性。ｄｙ／ｄｘなど）と参照画素及び予測画素の位置に基づいて補間が行われる画素位置（つまり、どの小数単位が補間されるか）が決定できる。このとき、小数単位の精度に関係なく、一つのフィルタが適用できるか、或いは複数のフィルタ（例えば、フィルタ係数やフィルタタップの長さを決定するために使用される数式が区分されるフィルタを仮定）のうちのいずれかが小数単位に応じて選択されて適用できる。

前者の場合は、小数単位画素の補間のために整数単位の画素を入力として使用する例であり、後者の場合は、ステップ別に入力画素を異ならせる例（例えば、１／２単位の場合は整数画素を使用。１／４単位の場合は整数と１／２単位画素を使用など）であることができるが、これに限定されず、本発明では、前者の場合を中心に説明する。

参照画素補間のために、固定的なフィルタリング又は適応的なフィルタリングを行うことができる。これは、符号化の設定に応じて定められることができる。ここで、符号化の設定は、対象ブロックの状態情報、画像タイプ、カラー成分、参照画素ライン選択情報、サブブロック単位の画面内予測が適用されるか否か、画面内予測モードなどに基づいて定義できる。

固定的なフィルタリングは、一つのフィルタを用いて参照画素補間を行うことができ、適応的なフィルタリングは、複数のフィルタのうちのいずれかを用いて参照画素補間を行うことができる。

このとき、適応的なフィルタリングの場合は、符号化の設定に応じて、複数のフィルタのうちのいずれかが黙示的に決定できるか、或いは明示的に決定できる。このとき、フィルタの種類は、４－ｔａｐ ＤＣＴ－ＩＦフィルタ、４－ｔａｐキュービックフィルタ、４－ｔａｐガウスフィルタ、６－ｔａｐウィーナーフィルタ、８－ｔａｐカルマンフィルタなどから一つ以上選択されて構成でき、カラー成分に応じて支援されるフィルタ候補群が異なるように定義されること（例えば、フィルタの種類が一部は同じか異なり、そしてフィルタータブの長さが短いか長いなど）も可能である。

予測ブロック生成部で少なくとも一つの予測モードに応じて予測ブロックを生成することができ、前記予測モードに基づいて参照画素を使用することができる。このとき、参照画素は、予測モードに応じて外挿（Ｅｘｔｒａｐｏｌａｔｉｏｎ）などの方法に使用でき、内挿（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）又は平均（ＤＣ）又はコピー（Ｃｏｐｙ）などの方法で使用できる。

予測モード決定部では、複数の予測モード候補群の中から最適のモードを選定するための過程が行われる。一般的に、ブロックの歪み｛例えば、対象ブロックと復元ブロックの歪み（Ｄｉｓｔｏｒｔｉｏｎ）。ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅなど｝と、当該モードに応じた発生ビット量が考慮されるレート歪み（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ）技法を用いて、符号化費用の面で最適なモードを決定することができる。上記の過程を経て決定される予測モードに基づいて生成される予測ブロックを減算部と加算部へ送信することができる。

予測モード符号化部では、予測モード決定部によって選定された予測モードを符号化することができる。予測モード候補群で前記予測モードに対応するインデックス情報を符号化することができるか、或いは前記予測モードを予測してそれに関する情報を符号化することができる。前者の場合は、輝度成分に適用される方法であり、後者の場合は、色差成分に適用される方法であり得るが、これに限定されない。

予測モードを予測して符号化する場合、複数のカテゴリー（ｋ個。ｋは２、３、４又はそれ以上の整数）に分類して管理することができる。例えば、二つのカテゴリーに分類するとしたとき、一つのカテゴリーは、対象ブロックの予測モードと一致すると予想される予測モードで構成でき、他のカテゴリーは、予測モードと一致する可能性が少ないと予想される予測モードで構成できる。つまり、他のカテゴリーは、対象ブロックの予測モードと一致すると予想されるモードとして選定されない予測モードで構成できる。

上記例の場合、二つのカテゴリーに予測モードを分類する場合であり、それ以上のカテゴリーに分類することもできる。三つのカテゴリーに分類するとき、第１カテゴリーは、対象ブロックの予測モードと一致する可能性が高いと予想される予測モードで構成でき、第２カテゴリーは、対象ブロックの予測モードと一致する可能性が普通であると予想される予測モードで構成でき、第３カテゴリーは、対象ブロックの予測モードと一致する可能性が少ないと予想される予測モードで構成できる。すなわち、第２カテゴリーは、第１カテゴリーに属していない予測モードのうち、対象ブロックの予測モードと一致すると予想される予測モードで構成でき、第３カテゴリーは、第１カテゴリー及び第２カテゴリーに属していない予測モードで構成できる。

カテゴリー分類に対する他の例として、予測方法による分類が可能である。例えば、外挿による予測方法、内挿／平均による予測方法、コピーによる予測方法などに分類することができる。ここで、外挿による予測方法は、方向性モードを意味することができ、内挿／平均による予測方法は、非方向性モードを意味することができ、コピーによる予測方法は、カラーコピーモードに分類することができ、その他の様々な分類が可能である。カラーモードの場合は、他のカラー空間で予測モードを誘導するため、前記方向性又は非方向性モードとは区分できるが、説明の便宜のために、方向性／非方向性モードに分類される場合を仮定する。

予測方法によって二つのカテゴリーに分類する場合、第１カテゴリーには方向性／非方向性モードが構成でき、第２カテゴリーにはカラーコピーモードが構成できる。又は、第１カテゴリーには方向性モードが構成でき、第２カテゴリーには非方向性モードが構成できる。前者の場合は、色差成分の画面内予測に適用可能であり、後者の場合は、輝度成分の画面内予測に適用可能な例であり得る。後述する部分においてもカラーコピーモードが含まれている場合、色差成分の画面内予測モードに適用可能であることを前提するが、カラーコピーモードが含まれていない場合でも、輝度成分の画面内予測モードのみに限定されて適用されないことを理解すべきである。

もし三つのカテゴリーに分類する場合、第１カテゴリーには方向性モードが構成でき、第２カテゴリーには非方向性モードが構成でき、第３カテゴリーにはカラーコピーモードが構成できる。又は、第１カテゴリーには、方向性モードのうちの所定のモード（例えば、垂直、水平、対角線Ａモードなど）が構成でき、第２カテゴリーには、方向性モードのうちの所定のモード（例えば、対角線Ｂモードなど）が構成でき、第３カテゴリーには、カラーコピーモードが構成できる。ここで、対角線Ａモードの場合は、予測時に整数画素のみを使用する対角線モードで構成し、対角線Ｂモードの場合は、予測時に整数画素及び小数画素を使用する対角線モードで構成することができるが、これに限定されない。

上記の説明は、カテゴリーの構成に関する一例であり、これに限定されず、様々な所定の基準によって分類できる。また、複数の所定の基準が混合されてカテゴリーの構成について適用できる。

複数のカテゴリーに予測モードを区分する場合、対象ブロックの予測モードがどのカテゴリーで発生したのかに関する選択情報が発生することができ、各カテゴリー内の候補選択情報が発生することができる。もしカテゴリー内の候補が一つである場合には、候補選択情報が省略できる。前記カテゴリーの選択及びカテゴリー内の候補選択に関する様々な構文要素の構成が可能である。次に、三つのカテゴリーが支援される場合を仮定する。

＊カテゴリーの選択に関する一つの構文要素が支援
本例において、カテゴリーの選択のために支援される構文要素の値は、０～２の値（１以上の値）を持つことができる。一例として、第１～第３カテゴリーのために、＜０＞、＜１０＞、＜１１＞のビットが割り当てられる２値化が可能である。つまり、カテゴリーの選択のための一つの構文要素が支援され、各カテゴリーに対するインデックスの割り当て及び２値化が適用される形式で構成できる。

＊カテゴリーの選択に関する複数の構文要素が支援
本例において、カテゴリーの選択のために支援される構文要素の値は、０又は１の値（１以上の値も可能）を持つことができる。

一例として、一つの構文要素（第１構文要素）は、第１カテゴリーと第２カテゴリーのために＜０＞が割り当てられ、第３カテゴリーのために＜１＞が割り当てられ得る。この時、前記構文要素が＜０＞の値を持つ場合に、第１カテゴリーと第２カテゴリーの中からいずれか一つを選択する詳細カテゴリーの選択に関する他の一つの構文要素（第２構文要素）が支援でき、当該構文要素は第１カテゴリーと第２カテゴリーのために＜０＞、＜１＞が割り当てられ得る。

一例として、一つの構文要素（第１構文要素）は、第１カテゴリーのために＜０＞が割り当てられ、第２カテゴリーと第３カテゴリーのために＜１＞が割り当てられ得る。この時、前記構文要素が＜１＞の値を持つ場合、第２カテゴリーと第３カテゴリーのうちのいずれかを選択する詳細カテゴリーの選択に関する他の一つの構文要素（第２構文要素）が支援でき、当該構文要素は、第２カテゴリーと第３カテゴリーのために＜０＞、＜１＞が割り当てられ得る。

上記の例は、カテゴリーの選択のための構文要素の構成に関する一例であり、様々な変形及び構成が可能である。

前記各カテゴリーは、少なくとも一つの予測モードを含むことができる。第１～第３カテゴリーの予測モードの数はａ、ｂ、ｃであることができ、ａはｂとｃよりも小さいか同じであり、ｂはｃより小さいか同じであり得る。本例において、ａは１～５の間の整数、ｂは３～８の間の整数、ｃは予測モード候補群の個数からａとｂの個数を減算した個数と仮定する。前記カテゴリーに属する予測モードにＴｒｕｎｃａｔｅｄ Ｒｉｃｅ２値化、Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ２値化、ｋ－ｔｈ Ｅｘｐ－Ｇｏｌｏｍｂ２値化などの可変長２値化又は固定長２値化が適用できる。

後述する例によって、カテゴリーの構成及び設定が固定的な場合を仮定して説明するが、様々な符号化要素に応じて適応的に設定（例えば、カテゴリーの個数、関連フラグの構成など）が可能である。ここで、前記符号化要素は、カラー成分（輝度／色差）、ブロックの状態情報（例えば、ブロックの大きさ、形状、横／縦の長さ比、位置など）、画像タイプ（Ｉ／Ｐ／Ｂ）、サブブロック単位の画面内予測が適用されるか否か、参照画素ライン選択情報などに基づいて定義できる。一例として、前記符号化情報に基づいてカテゴリーの数が二つ又は三つのいずれかに決定できる。

次に、予測モードと一致する可能性に基づいて、複数のカテゴリー３に予測モードを区分し、カテゴリー選択情報及びカテゴリー内の候補選択情報に基づいて予測モードを符号化する例を考察する。但し、カテゴリー構成のために予測方法によるカテゴリーの分類に対する基準が混合される例も可能である。また、第１カテゴリーと第２カテゴリーの中から第２カテゴリーの部分を除くか、或いは第１カテゴリーと第２カテゴリーに関する説明を統合する場合、二つのカテゴリーで構成される説明が誘導できるので、これについての詳細な説明は省略する。

図６は本発明の一実施形態に係る対象ブロックとそれに隣接するブロックの配置図である。

対象ブロックは、それに隣接するブロックと高い相関性を持つことができ、隣接する参照画素を用いて予測を行うだけでなく、隣接するブロックの予測モードも、対象ブロックの予測モードの予測に使用することができる。そこで、対象ブロックの隣接するブロックの予測モードを、第１又は第２カテゴリーに含まれる候補として選定することができる。この際、対象ブロックの左、上、左上、右上、左下ブロックの全部又は一部の予測モードを（先立った）カテゴリーに含まれる候補として考慮することができる。一例として、（左／上）、（左／上／右上）、（左／上／左下）、（左／上／左上／右下／左上）などが考慮できる。

隣接するブロックの予測モードをカテゴリーに含まれる候補として考慮するとき、各方向のブロックから少なくとも一つの予測モードを選定することができる。例えば、左ブロックの場合はＬ０乃至Ｌ３から一つを選定することができ、上ブロックの場合はＵ０乃至Ｕ３から一つを選定することができる。

所定の方向の隣接するブロック（本例において、左、上ブロック）が複数のサブブロックに分割された場合を考慮して予測モードを選定するための特定の位置のサブブロック（例えば、左ブロックはＬ３、上ブロックはＵ３）が定義できる。もし当該位置のブロックの予測モードが使用不可能な場合（例えば、当該ブロックが符号化されていない場合、参照不可能な位置にある場合、符号化モード＜Ｉｎｔｒａ／Ｉｎｔｅｒ＞が異なる場合など）であれば、当該方向のブロックでは予測モードを選定しなくてもよい。

又は、予測モード選択のための（サブブロック）優先順位が支援（例えば、Ｌ３→Ｌ０→Ｌ１→Ｌ２など）でき、それにより先立った順位の利用可能なサブブロックの予測モードを、当該方向の予測モードとして選定することができる。もしすべての位置のサブブロックの予測モードが使用不可能な場合であれば、当該方向のブロックでは予測モードを選定しなくてもよい。

そして、各方向のブロックから取得される予測モードをカテゴリーに含むための優先順位が支援できる。例えば、左→上→右上→左下→左上、左→上→左下→右上→左上、上→左→左下→右上→左上などの設定が可能であり、これに限定されない。

予測モード候補群に多くの予測モードが含まれているが、この中で一般的に多く発生する予測モードが存在することができる。例えば、垂直、水平方向のエッジは、多く発見可能な画像の特性であることができ、背景などの平坦な領域も多く発見できる。そこで、多く発生すると予想される所定の予測モードを、第１又は第２カテゴリーに含まれる候補として選定することができる。

前記多く発生すると予想される所定の予測モードの候補として、非方向性予測モードであるＰｌａｎａｒ（０番）、ＤＣモード（１番）、及び水平（１８番）、垂直（５０番）、対角線モード（２番、３４番、６６番など）がその対象となることができる。前記予測モードをカテゴリーに含むための優先順位が支援できる。例えば、Ｐｌａｎａｒ→ＤＣ→Ｖｅｒ→Ｈｏｒなどの設定が可能であり、これに限定されない。

隣接するブロックの予測モードのうちの全部又は一部が利用不可能な場合であれば、前記所定の予測モード（例えば、Ｐｌａｎａｒ、ＤＣなど）の少なくとも一つを代替して満たすことが可能である。

上記の説明によって、対象ブロックの隣接するブロックの予測モードと所定の予測モードを、（先立った）カテゴリーの構成のために考慮される予測モードとして言及した。しかし、予測モード候補群の個数が多い場合、上記の構成では対象ブロックの予測モードを効率よく予測するのに困難を経験することができる。一例として、方向性モードで（図５の予測モードを基準）１、２だけの差が発生する場合には、上記の構成で予測に失敗する場合が発生することができる。

このため、隣接するブロックの予測モードと所定の予測モードに基づいて誘導される予測モードをカテゴリー候補群の構成に考慮することができる。一例として、前記予測モード（本例において、方向性モード）を基準にｋの間隔を持つ予測モードを、誘導される予測モードとして考慮することができ、これを第１又は第２カテゴリーに含まれる候補として選定することができる。ここで、ｋは１、２、３、４又はそれ以上の整数であり得る。

ここで、隣接するブロックの予測モード又は所定の予測モードに基づく予測モードをＺと仮定するとき、Ｚ－１、Ｚ＋１、Ｚ－２のような誘導される予測モードの優先順位が存在することができる。本例は、１、２のような絶対値の順に優先順位が定められ（一つの絶対値を基準）、＜－＞符号に次いで、＜＋＞符号が続く場合を仮定するが、これに限定されない。すなわち、前記誘導される予測モードを満たすための間隔情報が１から始まらなくてもよい（例えば、４、８、１２などの整数）ことを意味する。そして、隣接するブロックの予測モードと所定の予測モードに基づいて誘導される予測モードとのｋ間隔は同じか同じでなくてもよい。

また、隣接するブロックの予測モード又は所定の予測モードに基づく予測モードがＸ、Ｙであると仮定するとき、Ｘ－１、Ｘ＋１、Ｙ－１、Ｙ＋１又はＸ－１、Ｙ－１、Ｘ＋１、Ｙ＋１などの誘導される予測モードの優先順位が存在することができる。本例は、ＸがＹに先立った順位を持ち、＜－＞符号と＜＋＞符号が交互に現れるか、或いは一つの符号（本例では、負数）が（一つの絶対値を基準）すべて誘導された後に他の符号（本例では、正数）が誘導される場合を仮定するが、これに限定されない。

また、複数のモード（本例では、Ｘ、Ｙ）が誘導されるモードの基準モードとして使用できるか、或いはその中に所定のモード（つまり、Ｘ、Ｙのうちのいずれか）が基準モードとして使用できる。これは、所定の基準によって分類が可能であるが、取得されたブロックの位置（例えば、左側ブロックと上側ブロックのうちのいずれかの特定ブロックのモードを基準モードとして設定）、対象ブロックの形状（例えば、横に長い長方形の形状である場合には、左側と上側のうちの上側ブロックのモード、縦に長い長方形の形状である場合には、左側ブロックのモードを基準モードとして設定。又はその逆の場合など）、予測モードの傾き情報（例えば、垂直又は水平モードを基準に特定の方向＜左又は右、上又は下＞にさらに傾いたモードを基準モードとして設定）に基づいて定められ得る。

まとめると、所定の予測モードに隣接するブロックの予測モード、そして先立った予測モードに基づいて誘導される予測モードを（先立った）カテゴリーに含むことができる。

各カテゴリーは、所定の予測モードに隣接するブロックの予測モード、そして誘導される予測モードのうちの少なくとも一つの予測モードを含むことができ、説明の便宜のために、それぞれＧｒｏｕｐ＿Ａ、Ｇｒｏｕｐ＿Ｂ、Ｇｒｏｕｐ＿Ｃと呼ぶ。

例えば、第１カテゴリーにはＧｒｏｕｐ＿Ａが構成でき、第２カテゴリーにはＧｒｏｕｐ＿Ａ、Ｇｒｏｕｐ＿Ｂ、Ｇｒｏｕｐ＿Ｃが構成でき、第３カテゴリーには残りのモード（この場合は、Ｇｒｏｕｐ＿Ｃと見ることも可能である）が構成できる。

又は、第１カテゴリーにはＧｒｏｕｐ＿Ｂが構成でき、第２カテゴリーにはＧｒｏｕｐ＿Ａ、Ｇｒｏｕｐ＿Ｂ、Ｇｒｏｕｐ＿Ｃが構成でき、第３カテゴリーには残りのモードが構成できる。

又は、第１カテゴリーにはＧｒｏｕｐ＿Ａ、Ｇｒｏｕｐ＿Ｂが構成でき、第２カテゴリーにはＧｒｏｕｐ＿Ａ、Ｇｒｏｕｐ＿Ｂ、Ｇｒｏｕｐ＿Ｃが構成でき、第３カテゴリーには残りのモードが構成できる。

上記の例は、カテゴリーの区分によるモードの構成に関する一例であり、複数のカテゴリーに含まれるＧｒｏｕｐ＿ＡとＧｒｏｕｐ＿Ｂの場合は、先立ったカテゴリーで構成されていない残りのモードが後続のカテゴリーに構成される場合と理解できる。また、上記の例に限定されず、様々なカテゴリーの区分によるモードの構成が可能である。

次に、カテゴリーの構成のための予測モードの優先順位が支援され、カテゴリーの優先順位（例えば、１－２－３のカテゴリー順序）に基づいて先順位のカテゴリー（例えば、第１カテゴリー）の個数だけモードの構成が完了すると、残ったモードが後順位のカテゴリー（例えば、第２カテゴリー、第３カテゴリーなど）に構成される場合を仮定する。

後述する例において、Ｐｌａｎａｒ（０番インデックスの割当と仮定）→Ｌ→Ａ→ＤＣ→＜Ｌ－１＞→＜Ｌ＋１＞→＜Ａ－１＞→＜Ａ＋１＞→＜Ｌ－２＞→＜Ｌ＋２＞→－＜Ａ－２＞→＜Ａ＋２＞→Ｖｅｒ→Ｈｏｒ→＜Ｖｅｒ－４＞→＜Ｖｅｒ＋４＞→＜Ｈｏｒ－４＞→＜Ｈｏｒ＋４＞などの優先順位が支援される場合を仮定する。

例えば、第１カテゴリーの予測モードの数が一つである場合、Ｇｒｏｕｐ＿Ａに属する予測モードはＰｌａｎａｒ（０番インデックス）であることができ、予測モードの数が増加するほど、後順位の予測モードでＧｒｏｕｐ＿Ａを構成することができる。

また、第２カテゴリーの予測モードの数が一つである場合、第１カテゴリーに最終的に構成された予測モード（ｍ番インデックス）の次の予測モード（ｍ＋１番インデックス）からＧｒｏｕｐ＿Ｂに属する予測モードであることができ、予測モードの数が増加するほど、後順位の予測モードでＧｒｏｕｐ＿Ｂを構成することができる。

また、第３カテゴリーは、第２カテゴリーに最終的に構成された予測モード（ｎ番インデックス）の次の予測モード（ｎ＋１番インデックス）から残った予測モードでＧｒｏｕｐ＿Ｃを構成することができる。

第１～第３カテゴリーの予測モードの数（本例は、予測モード候補群が６７個である場合）は、（１、５、６１）、（２、４、６１）、（４、８、５５）などの様々な設定が可能であり、予測モード候補群の個数に基づいて定められ得る。

上記の例における所定の予測モードは、符号化の環境に関係なく固定的に支援されるモードであることができ、誘導される予測モードは、既に候補群に存在する予測モードを基準モードにして取得できる。

一方、隣接するブロックの予測モードは、隣接するブロックの状態（例えば、分割単位境界、符号化か否か、符号化モードなど）に応じて取得が難しい場合が発生することができる。ここで、隣接するブロックの状態は、（１）隣接するブロックの全てが利用不可能な場合、（２）隣接するブロックの一部が利用不可能な場合、（３）隣接するブロックの全てが利用可能な場合に区分することができるが、前記優先順位の例は、隣接するブロックの全てが利用可能な場合を仮定して説明できる。

また、隣接するブロックの予測モードは、二つ以上のブロックから取得できるが、前記優先順位の例は、各ブロックの予測モードが重複しない場合を仮定して説明できる。

また、隣接するブロックの予測モードは、所定の予測モードと重複しない場合を仮定して、前記優先順位の例が説明できる。

カテゴリーの構成に関する優先順位は、前記要素を考慮して適応的に設定できる。例えば、隣接するブロックの予測モードに該当するインデックスは、前記優先順位から除去することができ、隣接するブロックの予測モードを基準モードにして誘導されるモードに関するインデックスも除去することができる。これは、隣接するブロックの予測モードが方向性モードであるだけでなく、非方向性モードである場合にも共通に適用される説明であることができる。

また、隣接するブロックの予測モードが重複する場合、重複する他の予測モードに該当するインデックスと誘導されるモードに関するインデックスを除去することができる。又は、前記要素を考慮した優先順位が複数個支援されることにより、それによるカテゴリーの構成が可能である。

本発明の画面内予測では、支援される予測モードの一部を予測モード候補群として構成することができることを言及した。これは、対象ブロックの状態情報（例えば、ブロックの大きさ、形状など）に応じて、それぞれ個別的な予測モード（例えば、方向性モード）が支援できることを意味することができる。

予測モード符号化のために、これを共通する予測モード候補群の構成に統一する過程が、前記符号化過程に先行することができる。例えば、予測モード符号化のための所定の範囲の予測モード候補群の構成に統一することができ、これに基づいて予測モード符号化を行うことができる。この時、前記所定の範囲は、図５の０番乃至６６番に該当する予測モードで構成することができるが、これに限定されない。

前記統一過程は、前記所定の範囲にマッピングする過程が行われ得るが、予測モードの方向性に基づいてマッピングが行われ得る。一例として、前記所定の範囲の外に存在する予測モードの場合は、当該予測モードと同様の特性を有する予測モードであって、マッピング過程（例えば、エッジ方向が同じ場合など。つまり、予測の開始点と予測方向は異なるが、エッジ方向が一致する場合を含む）を行うことができ、その他の様々な方法が支援できる。

前記過程によって生成される予測関連情報は、符号化部へ伝送されてビットストリームに収録できる。

上記の説明によって画面内予測が行われる単位は、対象ブロックと呼ぶ。この際、ブロックの設定に応じて、前記対象ブロックは様々なブロック単位で設定できる。

一例として、符号化ブロックが予測ブロック、変換ブロックと同じ単位である場合（つまり、符号化ブロックがすぐに予測ブロック又は変換ブロックに設定される場合）、参照画素領域の設定、参照画素の構成（参照画素フィルタリング／参照画素補間）、予測モード候補群の構成、予測の実行、予測モード符号化などのための画面内予測の対象ブロックは符号化ブロックとして選定できる。

一例として、符号化ブロックが予測ブロック、変換ブロックと同じか同じでない可能性が存在する単位である場合（つまり、符号化ブロックから二つ以上のサブブロック＜予測ブロック又は変換ブロック＞に分割できる）、画面内予測の対象ブロックは符号化ブロック、予測ブロック及び変換ブロックのうちのいずれかに設定できる。

例えば、（予測モード符号化／予測モード候補群の構成／参照画素の構成）などに符号化ブロックが対象ブロックとして設定でき、（参照画素領域の設定／予測の実行）などに予測ブロック又は変換ブロックが対象ブロックとして設定できる。

又は、（予測モード符号化／予測モード候補群の構成）などに符号化ブロックが対象ブロックとして設定でき、（参照画素領域の設定／参照画素の構成／予測の実行）などに予測ブロック又は変換ブロックが対象ブロックとして設定できる。

まとめると、対象ブロックは、符号化ブロック、予測ブロック及び変換ブロックのうちの一つに設定でき、符号化の設定に応じて詳細構成の対象ブロック単位が定められ得る。

本発明の一実施形態による画像復号化方法において、画面内予測は、次のとおり構成できる。予測部の画面内予測は、予測モード復号化ステップ、参照画素構成ステップ及び予測ブロック生成ステップを含むことができる。また、画像復号化装置は、予測モード復号化ステップ、参照画素構成ステップ、予測ブロック生成ステップを実現する予測モード復号化部、参照画素構成部及び予測ブロック生成部を含むように構成することができる。前述した過程の一部は省略できるか、他の過程が追加でき、前記記載された順序ではない他の順序に変更できる。

画像復号化装置の参照画素構成部、予測ブロック生成部は、画像符号化装置の対応する構成と同じ役割を果たすので、詳細な説明は省略し、予測モード復号化部は、予測モード符号化部で使用した方式を逆に採用して行うことができる。

図７は本発明の一実施形態に係る画面内予測の補正方法を示すフローチャートである。

図７を参照すると、対象ブロックの画面内予測モードを決定し（Ｓ７００）、画面内予測モードに基づいて予測ブロックを生成することができる（Ｓ７１０）。予測ブロックの補正設定を決定し（Ｓ７２０）、予測ブロックの補正を行うことができる（Ｓ７３０）。

対象ブロックの画面内予測は、対象ブロックの状態情報に基づいて取得される予測モード候補群の中から選定でき、その中の一つの予測モードを決定することができる。

輝度成分の場合は、方向性モードと非方向性モードで構成された予測モード候補群を参照することができ、色差成分の場合は、方向性モードと非方向性モードにカラーモード又はカラーコピーモードが支援される予測モード候補群を参照することができる。

このとき、予測方法による区分は、方向性モード／非方向性モード／カラーコピーモードに区分することができ、各方法は、外挿、内挿又は平均、コピー方法を使用することができるが、これに限定されず、他の変形が可能である。一例として、参照画素領域の設定に応じて、方向性モードは、外挿だけでなく、内挿（双方向予測）が支援される場合が可能である。

まとめると、各予測方法に応じて、画面内予測のための参照領域が異なるように設定できるが、外挿の場合は、対象ブロックの左、上、左上、右上、左下方向のブロックのうちの少なくとも一つが参照領域として設定でき、内挿の場合は、外挿の場合にさらに対象ブロックの右、下、右下方向のブロックのうちの少なくとも一つが参照領域として設定できる。このとき、隣接する領域が符号化されていない場合であれば、符号化された領域の一つ以上の画素から誘導して満たすことができる。また、コピーの場合は、対象ブロックと異なるカラー空間内の対応するブロックが参照領域として設定できる。

前記参照領域のデータと画面内予測モードに基づいて予測ブロックを生成することができる。

予測ブロックに対する補正は、所定の予測モードに応じて生成される予測ブロックが隣接ブロックとの不連続的な境界特性が現れることを減らすために行われ得る。しかし、画像の特性に応じて補正を行うことが、むしろ逆効果が現れることがあるので、様々な符号化要素を考慮して補正を行うことが必要である。

予測ブロックに補正を支援するか否かは、明示的に関連情報が生成できるか、或いは黙示的に決定できる。そして、シーケンスやピクチャなどの上位単位で補正を支援することに決定されても、対象ブロックの補正設定は、画像タイプ、カラー成分、対象ブロックの状態情報、符号化モード、画面内予測モード、サブブロック単位の画面内予測が適用されるか否か、参照画素ライン選択情報などに基づいて定義できる。また、補正に関する設定情報（例えば、ブロック単位の補正を行うかについてのフラグ、補正に適用される重み情報など）が下位単位（例えば、前者の情報はブロック、サブブロックなど）又は上位単位（例えば、後者の情報は、シーケンス、ピクチャ、スライス、タイルなど）に明示的に生成できる。

前記補正の設定は、補正が行われるか否か、補正に使用される参照画素の個数、位置、重みなどを含んで構成できる。補正が行われる場合でも、対象ブロック内の画素の全部又は一部に対して補正が行われ得る。例えば、対象ブロックがｍ×ｎである場合、１個乃至（ｍ×ｎ）個の画素に対して補正が行われ得る。

ここで、（画素単位）補正が適用されるか否か、（補正が行われるとき）補正に使用される参照画素の個数（１～５個）、位置、重みなどは、前記補正設定だけでなく、ブロック内画素の位置などに基づいて設定できる。

ここで、補正が支援される画面内予測モードは、所定の予測モードグループに属するか否かに応じて定められ得る。例えば、Ｐｌａｎａｒ、ＤＣ、水平、垂直、対角線モード（例えば、右上方向、右下方向、左下方向モードなど。図５の２、３４、６６番モード）、カラーコピーモードで前記予測モードグループを構成することができる。又は、前記予測モードグループから誘導される予測モード（例えば、方向性モードを基準にｋだけの間隔を持つモード。このとき、ｋは絶対値が１、２、３、４又はそれ以上の整数）をさらに含んで構成することができる。

補正が支援される対象ブロックは、所定の第１閾値の大きさよりも小さいか同じであり得る。ここで、第１閾値の大きさは、対象ブロックが持つことができる最大大きさを意味することができる。

また、補正が支援されるブロックは、所定の第２閾値の大きさよりも大きいか同じであり得る。ここで、第２閾値の大きさは、対象ブロックが持つことができる最小大きさを意味することができる。

ここで、第１閾値の大きさと第２閾値の大きさは、幅（Ｗ）、高さ（Ｈ）、Ｗ×Ｈ、Ｗ＊Ｈなどで表現でき、ＷとＨは４、８、１６、３２又はそれ以上の整数であることができる。ここで、第１閾値の大きさは、第２閾値の大きさよりも大きいか同じであることができる。

図８は本発明の一実施形態による対象ブロック及び隣接するブロックの画素に関する配置図である。

図８を参照すると、対象ブロック内の画素（ａ～ｐ）、隣接する符号化が完了したブロック内の画素（Ａ～Ｑ）、及び隣接する符号化が完了していないブロック内の画素（ａａ～ｉｉ）で構成されている。ここで、対象ブロック内の画素は補正が行われ、隣接するブロック内の画素は補正に参照できる。

この際、隣接するブロックの参照画素は、参照画素前処理過程（例えば、参照画素フィルタリング）が行われないか或いは行われて取得された値の一つであることができる。これは、ブロック単位で決定できるか、或いは画素単位で決定できる。

次に、予測画素に補正が適用されて補正画素が取得される数式を示す。

Ｚ＝（ｚ＊ｗ０）＋（ａ＊ｗ１）＋（ｂ＊ｗ２）＋（ｃ＊ｗ３）

ここで、ｚとＺはそれぞれ予測画素と補正画素を意味し、ａ乃至ｃは補正に使用される参照画素を意味し、ｗ０乃至ｗ３は補正に適用される重みを意味する。補正に使用される参照画素の個数に応じて、前記参照画素及び重みは定められ得る。このとき、重みは０を含んで正規化を考慮した値が割り当てられ得る。

対象ブロックの予測モードに応じて前記参照画素の位置及び個数が定められ得る。

例えば、対象ブロックの予測モードがＰｌａｎａｒ、ＤＣ、垂直、水平モードである場合、前記ａ、ｂ、ｃは、対象ブロックの外の左上側参照画素（例えば、＜－１、－１＞）、対象画素のｘ成分と対応又は相応する対象ブロックの上側参照画素（例えば、＜ｘ、－１＞）、対象画素のｙ成分と対応又は相応する対象ブロックの左側参照画素（例えば、＜－１、ｙ＞）に設定することができる。

ここで、Ｐｌａｎａｒ、ＤＣモードの場合は、対象ブロックの上側と左側の参照画素変化度を反映するために、ｗ２とｗ３に重みを割り当てることができる。これは、対象画素のｘとｙ成分に対応する参照画素からどれほど変化するかに基づいた重み設定の一例（例えば、ｗ１は０）であることができる。

ここで、垂直モードの場合は、予測方向と対応する参照画素の変化度を反映するために、ｗ０に負の符号を有する重みを割り当て、ｗ３には正の符号（つまり、反対される符号）を有する重みを割り当てることができる。これは、対象画素のｙ成分に対応する参照画素が左上側参照画素からどれほど変化するかに基づいた重み設定の一例（例えば、ｗ２は０）であることができる。水平モードの場合は、垂直モードでの関連説明を誘導することができるので、詳細な説明は省略する。

又は、対象ブロックの予測モードが対角線モードである場合、前記ａ、ｂ、ｃは、対象ブロックの外の左上側参照画素、対象ブロックの予測方向の開始点に対応又は相応する参照画素（例えば、＜ｘ＋ｙ＋１、－１＞）、対象ブロックの予測方向の開始点反対側に対応又は相応する参照画素（例えば、＜－１、ｘ＋ｙ＋１＞）に設定することができる。この時、前記参照画素が整数単位で取得されていない場合（つまり、小数単位で補間が必要な場合）には、隣接する一つの参照画素に置き換えるか、或いは両方に隣接する参照画素を介して補間して取得する方法の一つに設定することができる。

ここで、右上方向の対角線モードの場合は、予測方向の開始点に位置した画素と反対側に位置する参照画素の変化度を反映するために、ｗ３に重みを割り当てることができる。これは、対象画素の予測方向の線上に置かれた参照画素からどれほど変化するかに基づいた重み設定の一例（例えば、ｗ１とｗ２は０）であることができる。左下方向の対角線モードの場合は、前記モードでの関連説明を誘導することができるので、詳細な説明は省略する。

図９は本発明の一実施形態に係る多重参照画素ラインに基づいた補正方法に関する例示図である。

後述する例は、前述した複数の参照画素ラインから、画面内予測に使用される参照画素ラインが選択される構成とは別に支援できる構成であることができ、それに基づいて説明するが、相互結合される構成への適用も可能である。

図９を参照すると、（ａ）は水平又は垂直モードでの補正に対する例示を示す。詳細には、二つ以上の参照画素ラインの参照画素が補正に使用される場合に対する例示であることができる。

対象ブロックの予測モードが垂直モードである場合には、ａに加えてａ^＊を参照画素として設定することにより、補正の精度を向上させることができる。又は、ａとａ^＊に重み平均を適用してａ^＊＊を取得した後、前述した補正数式に適用することもできる。

これは、ブロック分割が画像特性を正確に区分する境界線を持つように行われないので、対象ブロックの隣接する参照画素を予測画素として使用するのと同じ理由であることができる。

対象ブロックの予測モードが水平モードである場合には、ｂに加えてｂ^＊を参照画素として設定して補正の精度を向上させることができ、ｂとｂ^＊に重み平均を適用してｂ^＊＊を取得した後、前述した補正数式に適用することができる。

図９を参照すると、（ｂ）は対角線モードでの補正に対する例示を示す。詳細には、二つ以上の参照画素ラインの参照画素が補正に使用される場合の例示であることができる。

対象ブロックの予測モードが左下方向である場合には、予測の開始点位置のａに加えてａ^＊を参照画素として設定することにより、補正の精度を向上させることができるか、或いは、ａとａ^＊に重み平均を適用してａ^＊＊を取得した後、前述した補正数式に適用することもできる。

また、予測の開始点反対側の位置のｂに加えてｂ^＊を参照画素として設定することにより、補正の精度を向上させることができるか、或いは、ｂとｂ^＊に重み平均を適用してｂ^＊＊を取得した後、前述した補正数式に適用することもできる。

対角線モードの場合、予測の開始点又は開始点の反対側のうちの一つ以上の参照画素に基づいて取得された参照画素を補正に使用することができる。この時、前記参照画素は、予測モードの方向線上に置かれた画素を対象に選定することができる。

上記の例で多重参照画素ラインに位置する参照画素を補正に使用する場合は、画像タイプ、カラー成分、対象ブロックの状態情報、画面内予測モード、サブブロック単位の画面内予測モードが適用されるか否か、参照画素ライン選択情報などに基づいて支援有無が決定できる。

図１０は本発明の一実施形態に係る画面内予測の補正方法を示すフローチャートである。

図１０を参照すると、対象ブロックの補正のための任意の画素を取得し（Ｓ９００）、対象ブロックと画面内予測モードに基づいて補正設定を決定し（Ｓ９１０）、予測ブロックの補正を行うことができる（Ｓ９２０）。

予測ブロックの補正のために、対象ブロックに隣接するブロックは、特定の方向（例えば、左上方向）に偏って構成できるが、これは、ラスタースキャン又はＺスキャンの方法による符号化順序により発生する状況である。

特定の方向に偏った参照画素を対象に予測及び補正を行うことに加えて、符号化が完了していない領域のデータを使用することにより、予測の精度を向上させることができる。このため、任意の画素を取得する過程が行われ得る。このとき、任意の画素個数は、１、２又はそれ以上の整数であり得る。

例えば、対象ブロックの補正に使用される任意の画素は、図８のａａ乃至ｉｉ画素の中から定められ得る。詳細には、対象ブロックの隣接するブロックのうち未だ符号化が完了していない領域に属する画素が任意の画素として設定できる。

又は、図８のａ乃至ｐ画素の中から定められ得る。詳細には、対象ブロックも、未だ符号化が完了していない画素に属するので、任意の画素選定対象に含まれ得る。

図１１は本発明の一実施形態に係る予測画素補正に使用される任意の画素の例示図である。

図１１を参照すると、（ａ）の場合は対象ブロック内の右下側画素、（ｂ）の場合は対象ブロックの外の右下側画素、（ｃ）の場合は対象ブロックの外の下側と左側画素、（ｄ）の場合は対象ブロックの外の下側画素、（ｅ）の場合は対象ブロックの外の右側画素が任意の画素（Ｘ、Ｘ１、Ｘ２）として定められる例示図を示す。

任意の画素を用いて補正を行うか否かは、明示的に関連情報が生成できるか、或いは黙示的に決定できる。そして、シーケンス、ピクチャなどの上位単位で任意の画素を使用することに決定されても、任意の画素に関する設定は、画像タイプ、カラー成分、対象ブロックの状態情報、符号化モード、画面内予測モード、サブブロック単位の画面内予測が適用されるか否か、参照画素ライン選択情報などに基づいて定義できる。また、任意の画素に関する設定情報（例えば、ブロック単位で任意の画素を用いて補正を行うかに関するフラグ等）が明示的に生成できる。

前記任意の画素に関する設定は、任意の画素を使用するか否か（つまり、補正に任意の画素を使用するか否か）、任意の画素の個数、位置などを含んで構成できる。

ここで、任意の画素を用いて補正を行う画面内予測モードは、所定の予測モードグループに属するか否かによって定められ得る。例えば、Ｐｌａｎａｒ、ＤＣ、水平、垂直、対角線モード（例えば、右上方向、右下方向、左下方向モードなど。図５の２、３４、６６番モード）、カラーコピーモードで前記予測グループを構成することができる。又は、前記予測モードグループから誘導される予測モード（例えば、方向性モードを基準にｋだけの間隔を有するモード。このとき、ｋは、絶対値が１、２、３、４又はそれ以上の整数）をさらに含んで構成することができる。

任意の画素を用いて補正が行われる対象ブロックは、所定の第１閾値の大きさよりも小さいか同じであることができ、第１閾値の大きさは、対象ブロックが持つことができる最大大きさを意味することができる。又は、所定の第２閾値の大きさより大もきいか同じであることができ、第２閾値の大きさは、対象ブロックが持つことができる最小大きさを意味することができる。ここで、前記閾値の大きさは幅（Ｗ）、高さ（Ｈ）、Ｗ×Ｈ、Ｗ＊Ｈなどで表現でき、ＷとＨは４、８、１６、３２又はそれ以上の整数であることができ、第１閾値の大きさは第２閾値の大きさよりも大きいか同じであることができる。

上記の説明は、以前の実施形態によって言及した補正設定の下位構成に属するか或いは結合される内容と理解することができるので、重複説明は省略する。後述する例では、図１１の（ａ）に任意の画素が設定される場合を仮定する。

任意の画素位置は、未だ符号化が完了していない領域であるため、様々な方法で当該位置の画素値を取得することができる。

例えば、任意の画素位置に関するデータを明示的に符号化することができる。当該位置の画素値をそのまま符号化（例えば、ビット深度に基づく）することができるか、或いは所定の分割値（例えば、量子化。補正への使用時には量子化された値を使用）で取得された値を符号化することができる。

又は、任意の画素位置に関するデータ候補値を対象ブロックの隣接する符号化が完了した領域から二つ以上取得し、これに対するインデックス情報を構成して符号化することができる。一例として、任意の画素位置の画素値が６７であり、対象ブロックの隣接領域（例えば、上側領域）から取得された第１候補値が７０、対象ブロックの隣接領域（例えば、左側領域）から取得された第２候補値が８５であって合計二つの候補が支援されるとき、候補値選択情報（例えば、第１候補値として選定。１ビットのフラグ）を符号化することができる。このとき、前記候補値の取得について後述する例で言及される方法が使用されてもよい。前記候補値は、２、３、４又はそれ以上の整数だけ支援できる。

上記例の場合、任意の画素位置のデータについての情報を明示的に符号化する場合であることができ、黙示的に任意の画素位置のデータを取得することができる。

例えば、所定の位置の参照画素又は任意の画素位置に対応又は相応する参照画素から取得することができる。所定の位置に対する例として、対象ブロックの外の左上側、上側、左側位置の参照画素（図８のＡ、Ｅ、Ｍ）から取得することもでき、前記位置における対象ブロックの幅又は高さに基づいた位置（右上側、左下側）の参照画素（図８のＩ、Ｑ）から取得することもできる。

また、任意の画素位置に対応する参照画素の例として、任意の画素のｘ又はｙ成分と対応する参照画素（例えば、＜ｘ、－１＞、＜－１、ｙ＞、＜ｘ＋ｙ＋１、－１＞、＜－１、ｘ＋ｙ＋１＞など）から取得することができる。

前記位置の参照画素のうち、一つの参照画素のデータ値をそのまま任意の画素位置のデータ値として取得することができるか、或いは二つ以上の参照画素に基づいて誘導された値（例えば、距離による重み平均など）を任意の画素位置のデータ値として取得することができる。

例えば、任意の画素位置に使用される複数の参照画素のうち所定の位置の参照画素を任意の画素位置のデータ値として取得することができる。又は、複数の参照画素のうち、所定のプロセス（例えば、最大値、最小値、中央値など）で取得された値を任意の画素位置のデータ値として取得することができる。又は、複数の参照画素のうち、所定のプロセス（例えば、重み平均など）で取得された値を任意の画素位置のデータ値として取得することができる。

次に、複数の参照画素に基づいて任意の画素位置のデータ値を取得する方法について説明する。図８のＡ、Ｅ、Ｍが参照画素として使用される場合を仮定し、後述する例では、ｘ、ｙ、ｚと呼ぶ。

前記表の０番乃至２番候補は、所定の位置の参照画素を任意の画素位置のデータ値として取得する場合を意味する。３番乃至６番候補は、対象ブロックの変化度を反映して任意の画素位置のデータを取得するための場合を意味する。詳細には、対象ブロックの変化度を所定の位置の参照画素に基づいて取得する場合に該当することができる。

上記の例は、対象ブロックが正方形の形状である場合を仮定して、複数の画素から誘導される数式の一例であり、ブロックの横／縦の長さ比に応じて変更適用できることを理解すべきである。また、任意の画素位置のデータ値は、上記の例に限定されず、様々な方法によって取得できる。

図１２は本発明の一実施形態に係る任意の画素に基づいて補正が行われる例示図である。

図１２を参照すると、（ａ）は任意の画素と上側ブロックに対応する参照画素を用いてそれらの間を補間する過程を示し、これにより取得された対象ブロックの左、右、上、左上、右上方向の参照画素を用いて補正を行う過程を示す。

前記過程は、対象ブロックの予測モードが垂直モードである場合に左、右方向の参照画素の変化度を反映して補正を行おうとするときに適用することができる。これは、従来の場合の左方向の参照画素の変化度に基づいて補正を行おうとするときとは異なる点であり得る。

図１２を参照すると、（ｃ）は、任意の画素と左側ブロックに対応する参照画素を用いてそれらの間を補間する過程を示し、これにより取得された対象ブロックの上、下、左、左上、左下方向の参照画素を用いて補正を行う過程を示す。

前記過程は、対象ブロックの予測モードが水平モードである場合に上、下方向の参照画素の変化度を反映して補正を行おうとするときに適用することができる。これは、従来の場合の上方向の参照画素の変化度に基づいて補正を行おうとするときとは異なる点であり得る。

図１２を参照すると、（ｅ）は、任意の画素と左側及び上側ブロックに対応する参照画素を用いてそれらの間を補間する過程を示し、これにより取得された対象ブロックの上、下、左、右、左上、右上、左下、右下方向の参照画素を用いて補正を行う過程を示す。

次に、予測画素に補正が適用されて補正画素が取得される数式を示す。このとき、参照画素は、任意の画素又は任意の画素に基づいて取得された参照画素が含まれることが、以前の数式とは異なる構成であり得る。

Ｚ＝（ｚ＊ｗ０）＋（ａ＊ｗ１）＋（ｂ＊ｗ２）＋（ｃ＊ｗ３）＋（ｄ＊ｗ４）＋（ｅ＊ｗ５）

ここで、ｚとＺはそれぞれ予測画素と補正画素を意味し、ａ乃至ｅは補正に使用される参照画素を意味し、ｗ０乃至ｗ５は補正に適用される重みを意味する。補正に使用される参照画素の個数に応じて、前記参照画素及び重みは定められ得る。このとき、重みは、０を含んで正規化を考慮した値が割り当てられ得る。

対象ブロックの予測モードに応じて前記参照画素の位置及び個数が決定でき、図１２のような様々な場合が可能である。その他の補正設定に関する説明は、以前の数式に関する部分から誘導することができるので、詳細な説明は省略する。

様々な実施形態によって画面内予測で補正を行う場合を説明した。ここで、補正は、予測ブロックを取得した後に行われる場合に限定して説明したが、画面内予測過程（つまり、予測ブロック生成過程）に反映されて行われる場合が可能である。

また、補正過程で生成されるフラグ情報は、画面内予測モードとは別個の構成で符号化／復号化できるが、画面内予測モードと結合されるか或いは依存的な構成が可能である。つまり、画面内予測過程以後の付加的又は後続的な部分に限定されないことを理解すべきである。

本発明に係る方法は、様々なコンピュータ手段を介して実行できるプログラム命令形態で実現され、コンピュータ可読媒体に記録できる。コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。コンピュータ可読媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたもの、又はコンピュータソフトウェア当業者に公知されて使用可能なものである。

コンピュータ可読媒体の例には、ＲＯＭ、ＲＡＭ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのようにプログラム命令を格納及び実行するように特別に構成されたハードウェア装置が含まれ得る。プログラム命令の例には、コンパイラ（ｃｏｍｐｉｌｅｒ）によって作られる機械語コードだけでなく、インタープリタ（ｉｎｔｅｒｐｒｅｔｅｒ）などを用いてコンピュータによって実行できる高級言語コードを含むことができる。上述したハードウェア装置は、本発明の動作を行うために少なくとも一つのソフトウェアモジュールとして作動するように構成でき、その逆も同様である。

また、上述した方法又は装置は、その構成や機能の全部又は一部が結合されて実現されるか、分離されて実現され得る。

上記では、本発明の好適な実施形態を参照して説明したが、当該技術分野の熟練した当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱することなく、本発明を多様に修正及び変更させることができることが理解できるだろう。

本発明は、ビデオ信号を符号化／復号化するために利用可能である。

Claims (3)

1. 対象ブロックの画面内予測モードを決定するステップと、
   前記画面内予測モードに基づいて前記対象ブロックの画面内予測を行うことによって前記対象ブロックの予測ブロックを生成するステップと、を含み、
   前記対象ブロックの画面内予測モードは、予測モード候補群内のモードに決定され、
   前記対象ブロックのカラー成分が色差成分である場合、前記予測モード候補群は、少なくとも１つの非方向性モードと少なくとも１つの方向性モードを含む第１カテゴリー、及び３つのカラーコピーモードを含む第２カテゴリーに分類され、
   前記カラーコピーモードは、前記色差成分の前記対象ブロックと、輝度成分の対応するブロックとの間における相関性を使用する画面内予測モードであり、前記対象ブロックで前記カラーコピーモードがサポートされているかどうかは、ブロックサイズと閾値との比較に基づいて決定され、前記対象ブロックの前記画面内予測モードが属するカテゴリーを選択するためのカテゴリー選択情報は、前記対象ブロックで前記カラーコピーモードがサポートされているかどうかに基づいて、ビットストリームから取得される、画像復号化方法。
2. 対象ブロックの画面内予測モードを決定するステップと、
   前記画面内予測モードに基づいて前記対象ブロックの予測ブロックを生成するステップと、を含み、
   前記対象ブロックの画面内予測モードは、予測モード候補群内のモードに符号化され、
   前記対象ブロックのカラー成分が色差成分である場合、前記予測モード候補群は、少なくとも１つの非方向性モードと少なくとも１つの方向性モードを含む第１カテゴリー、及び３つのカラーコピーモードを含む第２カテゴリーに分類され、
   前記カラーコピーモードは、前記色差成分の前記対象ブロックと、輝度成分の対応するブロックとの間における相関性を使用する画面内予測モードであり、前記対象ブロックで前記カラーコピーモードがサポートされているかどうかは、ブロックサイズと閾値との比較に基づいて決定され、前記対象ブロックの前記画面内予測モードが属するカテゴリーを選択するためのカテゴリー選択情報は、前記対象ブロックで前記カラーコピーモードがサポートされているかどうかに基づいて、ビットストリーム内で符号化される、画像符号化方法。
3. 画像符号化方法によって生成されたビットストリームを送信する方法であって、
   前記画像符号化方法が、
   対象ブロックの画面内予測モードを決定するステップと、
   前記画面内予測モードに基づいて前記対象ブロックの予測ブロックを生成するステップと、を含み、
   前記対象ブロックの画面内予測モードは、予測モード候補群内のモードに符号化され、
   前記対象ブロックのカラー成分が色差成分である場合、前記予測モード候補群は、少なくとも1つの非方向性モードと少なくとも１つの方向性モードを含む第１カテゴリー、及び３つのカラーコピーモードを含む第２カテゴリーに分類され、
   前記カラーコピーモードは、前記色差成分の前記対象ブロックと、輝度成分の対応するブロックとの間における相関性を使用する画面内予測モードであり、前記対象ブロックで前記カラーコピーモードがサポートされているかどうかは、ブロックサイズと閾値との比較に基づいて決定され、前記対象ブロックの前記画面内予測モードが属するカテゴリーを選択するためのカテゴリー選択情報は、前記対象ブロックで前記カラーコピーモードがサポートされているかどうかに基づいて、ビットストリーム内で符号化される、方法。