JP4876122B2 - 精度スケーラビリティを可能にする符号化スキーム - Google Patents

Description

本発明は、品質、精度またはＳＮＲのスケーラビリティに対応する画像または映像の符号化に関する。

ＩＳＯ／ＩＥＣのＭｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ、動画作業部会）とＩＴＵ−ＴのＶｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ、映像符号化作業部会）とのＪｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ、合同映像チーム）の現在のプロジェクトは、ＩＴＵ−Ｔ Ｒｅｃ．＆ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ、「一般的オーディオビジュアル用途のための先進的映像符号化（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｇｅｎｅｒｉｃ Ａｕｄｉｏｖｉｓｕａｌ Ｓｅｖｉｃｅｓ）」、バージョン３、２００５年、に規定された、最新技術の映像符号化規格Ｈ．２６４／ＭＰＥＧ４−ＡＶＣのスケーラビリティ拡張の開発である。Ｊ．Ｒｅｉｃｈｅｌ（ライヘル）、Ｈ．Ｓｃｈｗａｒｚ（シュワルツ）およびＭ．Ｗｉｅｎ（ウィーン）編纂の現在の作業草案、「スケーラブル映像符号化−共同草案４（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ−Ｊｏｉｎｔ Ｄｒａｆｔ ４）」、合同映像チーム、文書番号ＪＶＴ−Ｑ２０１、フランス、ニース、２００５年１０月、およびＪ．Ｒｅｉｃｈｅｌ（ライヘル）、Ｈ．Ｓｃｈｗａｒｚ（シュワルツ）およびＭ．Ｗｉｅｎ（ウィーン）編纂の「合同スケーラブル映像モデルＪＳＶＭ−４（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ ＪＳＶＭ−４）」、合同映像チーム、文書番号ＪＶＴ−Ｑ２０２、フランス、ニース、２００５年１０月、は、映像シーケンスまたはこれらの任意の組み合わせの時間、空間およびＳＮＲスケーラブルな符号化に対応している。

ＩＴＵ−Ｔ Ｒｅｃ．＆ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ、「一般的オーディオビジュアル用途のための先進的映像符号化（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｇｅｎｅｒｉｃ Ａｕｄｉｏｖｉｓｕａｌ Ｓｅｖｉｃｅｓ）」、バージョン３、２００５年、に記載されたＨ．２６４／ＭＰＥＧ４−ＡＶＣは、マクロブロックの予測信号が動き補償付予測またはイントラ予測のいずれかで生成されその後両方の予測が残差符号化されるハイブリッド映像コーディックを規定している。スケーラビリティ拡張性のないＨ．２６４／ＭＰＥＧ４−ＡＶＣ符号化は、シングル・レイヤＨ．２６４／ＭＰＥＧ４−ＡＶＣ符号化と呼ばれる。シングル・レイヤＨ．２６４／ＭＰＥＧ４−ＡＶＣに匹敵するレート歪特性であれば、通常、同じ映像再生品質が１０％のビットレートで達成されることになる。上述のことから、スケーラビリティは、サポートされている任意の空間的、時間的またはＳＮＲの分解能において、その特定の分解能におけるシングル・レイヤＨ．２６４／ＭＰＥＧ４−ＡＶＣ符号化のレベルと同等なＲ−Ｄ特性を達成しながら、ビットストリームの一部を削除するための機能性と見なされる。

スケーラブル映像符号化（ＳＶＣ）の基本設計は、階層化された映像コーディックとして類別することができる。Ｈ．２６４／ＭＰＥＧ４−ＡＶＣに見られるように、各レイヤにおいて、動き補償付予測およびイントラ予測の基本的なコンセプトが採用される。他方では、いくつかの空間またはＳＮＲレイヤ間の冗長性を利用するために、さらなるレイヤ間予測メカニズムが組み込まれている。ＳＮＲスケーラビリティは基本的には残差の量子化によって達成され、空間スケーラビリティに対しては、動き補償付予測とオーバーサンプルによるピラミッド分解との組み合わせが用いられる。Ｈ．２６４／ＭＰＥＧ４−ＡＶＣの時間スケーラビリティのアプローチは維持される。

一般的に、符号化装置の構造は、アプリケーションに要求されるスケーラビリティのスペースによる。例として、図５は、２つの空間レイヤ９０２ａ、９０２ｂを有する典型的な符号化装置９００を示す。各レイヤにおいて、レイヤ固有の動きパラメータ９０６ａ、ｂを有する独立した階層的動き補償付予測構造９０４ａ、ｂが採用されている。連続したレイヤ９０２ａ、ｂの間の冗長性は、動きパラメータ９０６ａ、ｂおよびテクスチャ・データ９１０ａ、ｂに対する予測メカニズムを含むレイヤ間予測コンセプト９０８によって利用される。各レイヤ９０２ａ、ｂの入力画面９１４ａ、ｂのベース表現９１２ａ、ｂは、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣのものに類似した変換符号化９１６ａ、ｂにより得られ、対応するＮＡＬユニット（ＮＡＬ−ネットワーク・アブストラクション・レイヤ）は、動き情報とテクスチャ・データとを含み、最低位レイヤのベース表現すなわち９１２ａのＮＡＬユニットは、シングル・レイヤＨ．２６４／ＭＰＥＧ４−ＡＶＣと互換性がある。ベース表現の再構築品質については、いわゆるプログレッシブ・リファインメント・スライスの追加符号化９１８ａ、ｂによって向上することができ、対応するＮＡＬユニットは、細精度品質スケーラビリティ（ＦＧＳ）またはフレキシブル・ビットレート適応に対応するために、任意に切り詰めることができる。

それぞれのレイヤ９０２ａ、ｂのベース・レイヤ符号化９１６ａ、ｂおよびプログレッシブＳＮＲリファインメント・テクスチャ符号化９１８ａ、ｂにより出力される結果として生じるビットストリームは、スケーラブル・ビットストリーム９２２を生成するために、それぞれマルチプレクサ９２０によって多重化される。このビットストリーム９２２は、時間、スペースおよびＳＮＲの品質に対してスケーラブルである。

要約すれば、映像符号化規格Ｈ．２６４／ＭＰＥＧ４−ＡＶＣの上述のスケーラブル拡張に従い階層的予測構造を用いることによって時間スケーラビリティが得られる。この階層的予測構造のために、シングル・レイヤＨ．２６４／ＭＰＥＧ４−ＡＶＣ規格の１つを、変更をせずに使うことができる。空間およびＳＮＲのスケーラビリティに対しては、シングル・レイヤＨ．２６４／ＭＰＥＧ４−ＡＶＣに付加ツールを加える必要がある。３種類すべてのスケーラビリティは、高度の組み合わせスケーラビリティに対応するビットストリームを生成するために、組み合わせることができる。

ＳＮＲスケーラビリティは、粗精度スケーラビリティ（ＣＧＳ）と細精度スケーラビリティ（ＦＧＳ）とに区分される。ＣＧＳは、選択されたＳＮＲスケーラビリティ・レイヤだけをサポートし、粗レート分類に対する符号化効率は、１つのレイヤから次のレイヤに対して１．５倍〜２倍になるように最適化される。ＦＧＳでは、いかなる任意の、そして最終的にはバイト配列された時点で、ＮＡＬユニットを切り詰めることができる。ＮＡＬユニットはビット・パケットを表し、これらパケットは、マルチプレクサ９２０によって出力されるスケーラブル・ビットストリーム９２２を表現するために、直列に配列される。

細精度ＳＮＲスケーラビリティに対応するために、いわゆるプログレッシブ・リファインメント（ＰＲ）スライスが導入されている。プログレッシブ・リファインメント・スライスは、ベース・レイヤのビットストリーム９１２ａ、ｂそれぞれからの該当スライスに使用可能な再構築品質をリファインするためのリファインメント情報を含んでいる。もっと正確に言えば、ＰＲスライスに対する各々のＮＡＬユニットは、量子化のステップ・サイズの二等分に対応するリファインメント信号を表す（ＱＰの６増加）。これらの信号は、復号装置側で、各変換ブロックに対して一回だけ逆変換をするだけでよいような仕方で表現されている。言い換えれば、ＰＲ・ＮＡＬユニットによって表現されるリファインメント信号は、映像の現在画面から分離された変換ブロックの変換係数をリファインする。復号装置側では、動き補償によるなどの空間および／または時間予測を使って実際の画面を再構築する際に用いられる予測残差のテクスチャを再構築するために、逆変換を行う前に、このリファインメント信号をベース・レイヤ・ビットストリームの中の変換係数をリファインするために使うことができる。

プログレッシブ・リファインメントＮＡＬユニットを、任意の時点で切り詰めて、ＳＮＲベース・レイヤの品質を細精度化により改善することができる。したがって、変換係数レベルの符号化順序は変更されている。（通常の）スライスで行われるような、マクロブロックごとの変換係数のスキャンに換えて、変換係数ブロックは、別々のパスでスキャンされ、各々のパスにおいて、変換係数ブロックに対する数個の符号化記号だけが符号化される。変更された符号化順序を除き、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣに規定されているようなＣＡＢＡＣエントロピ符号化が再使用される。

図５に示した符号化装置構造に対する改良が、Ｍ．Ｗｉｎｋｅｎ（ウィンケン）、Ｈ．Ｓｃｈｗａｒｚ（シュワルツ）、Ｄ．Ｍａｒｐｅ（マープ）、およびＴ．Ｗｉｅｇａｎｄ（ウィーガンド）の「ＦＧＳスライスに対する適応動きリファインメント（Ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ ＦＧＳ ｓｌｉｃｅｓ）」、合同映像チーム（ＪＶＴ）、文書番号ＪＶＴ−Ｑ０３１、フランス、ニース、２００５年１０月、に記載されている。具体的には、同文書の記載によれば、動き／予測情報の適応リファインメントを用いた映像シーケンスの細精度ＳＮＲスケーラブル符号化のためのコンセプトが、図５の符号化構造に加えられる。ＳＮＲスケーラブル映像符号化に対する適応動き情報リファインメントによるアプローチによって、図５の映像符号化装置は、レート歪（ＲＤ）の面から、残差と動きデータとの間で符号化するためのビットレートのより良いトレードオフを選択することができる。具体的には、図５の点線９２４ａおよび９２４ｂで示されているように、動き補償付予測をサポートするベース・レイヤ・スライス（いわゆるＰおよびＢスライス）に対応するプログレッシブ・リファインメント・スライス中の各マクロブロックに対して、リファインメント符号化ブロック９１８ａおよび９１８ｂは、下記の２つの可能な符号化モードのいずれを使うのかを追加設定する。具体的には、第１モードによれば、符号化ブロック９１８ａ、ｂは、ＳＮＲベース・レイヤと同じ動き情報を使い、このように残差データのリファインメントだけを送信する。このモードは、前記した、図５の符号化構造の機能性の内容と等しい。一方、別の符号化モードでは、符号化ブロック９１８ａ、ｂは、新しい動き情報を新しい残差と共にリファインメント・スライス情報の中に入れて送信する。この新しい動きおよび残差データの双方をＳＮＲ下位レイヤから予測して、より良好なＲＤ特性を実現することができる。可能な動きモードは、符号化規格Ｈ．２６４／ＭＰＥＧ４−ＶＣによってサポートされるものと同じ、すなわち、マクロブロックを、Ｐスライスにおいては１６動きベクトルまで、Ｂスライスにおいては３２動きベクトルまでの小さなブロックにサブ分割して、動き補償付予測を伝送することができる。

ブロック９１８ａ、ｂによって行われる動き情報に関する２つの符号化モードの間での選定は、所与のλに対してラグランジュ・コスト関数Ｊ＝Ｄ＋λＲが最小化されるラグランジュ・アプローチを使って行われる。ここで、Ｄは、元の信号と再構築（復号）された信号との間の歪を表し、Ｒは、マクロブロックを符号化するため必要なビットレートである。残差データだけをリファインするコストが、可能な動きリファインメント・モードの１つに対するコストより高い場合、レート歪の面から当該マクロブロックに対する動き情報の新しいセットを送信する方がよいのは明らかである。このように、適応動き情報リファインメントを使って、同一のビットレートでより高い画面品質を達成することが可能である。

前記で説明した、映像符号化規格Ｈ．２６４／ＭＰＥＧ４−ＡＶＣのスケーラブル拡張は、プログレッシブ・ソース・マテリアル、すなわち、画面またはフレームごとに、トップフィールドかボトムフィールドかの成分に関係なく、効率的に画面を処理できる映像、に対してはうまく機能する。しかしながら、インタレース方式のソース・マテリアル、すなわち、各フレームが２つの交互的フィールドで構成され、そのフィールドがフレームのように個々に処理される（フィールド符号化）方式の映像、もしくは、マクロブロックのペアごとに、トップフィールドまたはボトムフィールドとの帰属関係またはフレーム内のマクロブロックペア領域のトップハーフまたはボトムハーフへの帰属関係に従って、それぞれのマクロブロック部分を２つのマクロブロックに分割するかどうかを設定する方式の映像に対して、より良好なＲＤ特性を有する精度スケーラビリティを実施できる符号化構造を有することが望ましい。

Ｊ．Ｒｅｉｃｈｅｌ（ライヘル）、Ｈ．Ｓｃｈｗａｒｚ（シュワルツ）およびＭ．Ｗｉｅｎ（ウィーン）著、「スケーラブル映像符号化−共同草案４（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ−Ｊｏｉｎｔ Ｄｒａｆｔ ４）」、合同映像チーム、文書番号ＪＶＴ−Ｑ２０１、フランス、ニース、２００５年１０月 Ｊ．Ｒｅｉｃｈｅｌ（ライヘル）、Ｈ．Ｓｃｈｗａｒｚ（シュワルツ）およびＭ．Ｗｉｅｎ（ウィーン）著、「合同スケーラブル映像モデルＪＳＶＭ−４（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ ＪＳＶＭ−４）」、合同映像チーム、文書番号ＪＶＴ−Ｑ２０２、フランス、ニース、２００５年１０月 Ｍ．Ｗｉｎｋｅｎ（ウィンケン）、Ｈ．Ｓｃｈｗａｒｚ（シュワルツ）、Ｄ．Ｍａｒｐｅ（マープ）、およびＴ．Ｗｉｅｇａｎｄ（ウィーガンド）著、「ＦＧＳスライスに対する適応動きリファインメント（Ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ ＦＧＳ ｓｌｉｃｅｓ）」、合同映像チーム（ＪＶＴ）、文書番号ＪＶＴ−Ｑ０３１、フランス、ニース、２００５年１０月

それゆえに、本願発明の目的は、特にインタレース方式映像マテリアルに対して、符号化効率の向上を可能にする精度スケーラビリティを備えた符号化スキームを提供することである。

この目的は、請求項１による復号装置、および請求項１３による符号化装置、請求項２２または２３による方法、および請求項２１の精度スケーラブル・ビットストリームによって達成される。

本発明を構成する基本的考え方は、符号化装置に対し、第二精度は第一精度よりも高精度の、第一精度符号化データと第二精度符号化データとの間で、個別の画面部分のフィールド／フレーム処理方式を変更できる機能を持たせることによって、符号化効率の改善を達成できる、ということである。

本発明の好適な実施形態によれば、対応するベース品質スライスのフレーム／フィールド設定と関係なく、プログレッシブ・リファインメント・スライス中のフレーム／フィールド設定を行い、符号化することによって、インタレース方式フレームの細精度ＳＮＲスケーラブル符号化に対するコンセプトが実現される。これと比べ、動き情報リファインメントをサポートしていないＨ．２６４／ＭＰＥＧ４−ＡＶＣ規格の前記のスケーラブル拡張では、変換係数のリファインメントだけが符号化される。動きおよび予測情報は、対応するベース・レイヤ・スライスからコピーされる。さらに、ＳＮＲおよび空間スケーラビリティをサポートするツールは、プログレッシブ方式のソース・マテリアルに対してしか設計されていない。インタレース方式のソース・マテリアルに対する符号化効率を向上させるための特別なツールは組み込まれていない。前述の動き情報リファインメントを含むスケーラブル拡張によれば、ＦＧＳ符号化スキームは、特に大きなビットレート量に対し、細精度ＳＮＲスケーラブル符号化の符号化効率を改善するために、動きおよび予測情報の適応的リファインメントを行う。しかしながら、後者の方式のＦＧＳ符号化スキームも、プログレッシブ方式のソース・マテリアルに対してしか設計されていない。

以下に説明するＦＧＳ符号化スキームの実施形態は、前述の動き情報リファインメント・スケーラブル拡張を、同一場所に所在するマクロブロックのペア、およびベース品質スライスのフレーム／フィールド設定の改定もサポートするように拡張し、これにより、向上されたＲ／Ｄ比率を持つ精度スケーラブル・データストリームを実現することができる。

以下に、図を参照して本出願の好適な実施形態を説明する。具体的には以下の図を参照する。
（本発明の好適な実施の形態が添付図面を参照して以下に詳細に説明されるが、これらの図面としては：）
図１は、本発明の実施形態による映像符号化装置のブロック図である。
図２は、画面のマクロブロック・ペアへのサブ分割、およびマクロブロック適応フレーム／フィールド設定を持つ符号化フレームのスライスがアクティブな場合の、プログレッシブ・リファインメント・スライスのマクロブロックのスキャンを示す概略図である。
図３ａは、ベース・レイヤ・データストリームの生成に関連し、図１の符号化装置の動作のモードを示す概略ブロック図である。
図３ｂは、第一拡張レイヤの生成に関連し、図１の符号化装置の動作のモードを示す概略ブロック図である。
図４は、本発明の実施形態による、復号装置側において実施されるステップを示すフローチャートである。
図５は、スケーラブル映像符号化のための従来型の符号化装置の構造である。

以下に、図５の従来型の符号化装置構造と類似の構造を持つ実施形態を使って本発明を説明する。但し、本発明による改良をさらに明瞭に示すために、まず最初に、図５に関連させて本明細書の導入部分で提示した、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ規格のスケーラブル拡張に従った動作に関し、図１の本発明の実施形態を表す映像符号化装置を説明する。その後で、図５の映像構造による動作モードとの違いに重点を置いて、図１の符号化装置の実際の動作が説明される。以降の説明で明らかになるように、この違いはリファインメント符号化のやり方にある。

前記のＪｏｉｎｔ Ｄｒａｆｔｓ（合同草案）の定義に沿って動作する図１の映像符号化装置は、２つの空間レイヤに対応している。このため、１００で示された図１の符号化装置は、２つのレイヤ部分、すなわち、レイヤ１０２ａおよび１０２ｂを含み、このうちレイヤ１０２ｂは、より粗な空間解像度に関する、所望のスケーラブル・ビットストリームの部分を生成するために設けられており、他方のレイヤ１０２ａは、レイヤ１０２ｂからのビットストリーム出力に対し、入力映像信号１０４のさらに高解像度の表現に関する情報を補うために設けられている。したがって、符号化装置１００によって符号化される映像信号１０４は、レイヤ１０２ａには直接入力され、符号化装置１００は、映像信号１０４を空間的に間引きするために、空間デシメータ１０６を含み、該デシメータは、得られた空間的間引き映像信号１０８をレイヤ１０２ｂに入力する。

空間デシメータ１０６で行われるこの間引きは、例えば、元の映像信号１０４の各画面１０４ａに対するピクセルの数を、列および行方向に一つおきに放棄することによって四分の１に間引くことが含まれる。

低解像度レイヤ１０２ｂは、動き補償付予測ブロック１１０ｂ、ベース・レイヤ符号化ブロック１１２ｂ、およびリファインメント符号化ブロック１１４ｂを含む。予測ブロック１１０ｂは、間引き映像信号１０８の他の参照画面ら１０８ａから、間引き映像信号１０８の画面１０８ａを予測するために、間引き映像信号１０８の画面１０８ａに対する動き補償予測を実施する。例えば、ある特定の画面１０８ａについて、予測ブロック１１０ｂは、映像信号１０８の他の画面、すなわち、参照画面からどのようにして当該画面を予測するか、を示す動き情報を生成する。具体的には、この目的のため、該動き情報は、動きベクトルのペアらおよび関連する参照画面指標を含め、各ペアが、例えば、どのようにして、指標の参照画面から、それぞれの動きベクトルによって、それぞれの画面を変位させることによって現在画面の特定部分またはマクロブロックを予測するかを示すことができる。各マクロブロックは、一つ以上の動きベクトル・ペアおよび参照画面指標を割り当てることができる。さらに、画面の一部のマクロブロックについては、イントラ予測、すなわち、現在の画面の情報を使った予測をすることができる。具体的には、予測ブロック１１０ｂは、間引き映像信号１０８に対し階層的動き補償因子予測を行うことができる。

予測ブロック１１０ｂは、動き情報１１６ｂ、および、予測と実際の間引き画面１０８ａとの間の差を表す映像テクスチャ情報１１８ｂの予測残差を出力する。具体的には、予測ブロック１１０ｂにおける動き情報１１６ｂおよびテクスチャ情報１１８ｂの設定は、望ましくは、次のベース・レイヤ符号化１１０ｂよって得られる当該情報の符号化が最適のレート歪特性を持つベース表現ビットストリームとして出力されるように行われる。

前記のように、ベース・レイヤ符号化ブロック１１２ｂは、ブロック１１０ｂから第一動き情報１１６ｂとテクスチャ情報１１８ｂとを受信し、それら情報を、ベース表現ビットストリーム１２０ｂに符号化する。ブロック１１２ｂにより実施される符号化には、テクスチャ情報１１８ｂの変換と量子化とが含まれる。特に、ブロック１１２ｂによって使用される量子化は比較的、粗である。そこで、ビットストリーム１２０ｂの品質アップまたは精度アップを可能にするために、リファインメント符号化ブロック１１４ｂが、ビットストリーム１２０ｂ中のテクスチャ情報を表す粗く量子化された変換係数をリファインするための情報を含む、各種リファインメント・レイヤに対する追加ビットストリームを使って、ビットストリーム１２０ｂをサポートする。後記でさらに詳細を説明するように、リファインメント符号化ブロック１１４ｂには、前記のスケーラブル拡張のところで説明した機能性として、例えば、予測ブロック１１０ｂと協働し、特定のリファインメント・レイヤ・ビットストリーム１２２ｂにリファインされた動き情報１１６ｂを含める必要を判定させることもできる。但し、本発明の実施形態によれば、この機能性は、フレーム／フィールド設定を新規に符号化する機能性と関連しており、したがって、以降は、これらの機能性については、以下に説明する。先行して出力されたより低いリファインメント・レイヤのビットストリーム１２２ｂのベース表現１２０ｂに関連する残差テクスチャ情報のリファインメントには、例えば、現在の変換係数の量子化誤差を符号化し、これによりもっと細かな量子化予測によってテクスチャ情報を表現することを含む。

ビットストリーム１２０ｂおよび１２２ｂの双方は、符号化装置１００が発信する最終的スケーラブル・ビットストリーム１２６の中に挿入するために、符号化装置１００に含まれるマルチプレクサ１２４によって多重化される。

レイヤ１０２ａは、実質的にレイヤ１０２bと同様に動作する。したがって、レイヤ１０２ａは、動き補償予測ブロック１１０ａ、ベース・レイヤ符号化ブロック１１２ａ、およびリファインメント符号化ブロック１１４ａを含む。レイヤ１０２bに基づいて、予測ブロック１１０ａは、動き情報１１６ａおよびテクスチャ情報１１８ａを得るために、映像信号１０４を受信し、これに対し動き補償付予測を行う。出力された動き情報１１６ａおよびテクスチャ情報１１８ａは、符号化ブロック１１２ａによって受信され、該ブロックは、ベース表現ビットストリーム１２０ａを得るために、これら情報を符号化する。リファインメント符号化ブロック１１４ａは、ビットストリーム１２０ａの変換係数と、元のテクスチャ情報１１８ａから得られた実際の変換係数とを比較することによって、ベース表現１２０ａ上に現れている量子化誤差のリファインメントを符号化し、これに沿って、各種のリファインメント・レイヤのためのリファインメント・レイヤ・ビットストリーム１２２ａを出力する。

レイヤ１０２ａと１０２ｂとの唯一の違いは、レイヤ１０２ａはレイヤ間予測されることである。すなわち、予測ブロック１１０ａは、映像信号１０４の高解像度画面１０４ａを予備予測するために、ビットストリーム１２０ｂおよび１２２ｂの一つ以上から導き出すことが可能な、残差テクスチャ情報、動き情報、または再構築された映像信号といった、レイヤ１０２ｂから得られる情報を使用する。その後、間引き映像信号１０８に関する予測ブロック１１０ｂの動作に関連して前記で説明したのと同様に、該予備予測残差に対し動き補償付予測を実施する。これに代えて、予測ブロック１１０ａは、動き補償付予測１１８ａを予測するために、レイヤ１０２ｂから得られる情報を使う。この場合、イントラ・ブロックに対しては、再構築されたベース・レイヤ画面を使って画面コンテント１０４ａを予測することができる。インタ・ブロック１０４ａについて、再構築された対応ベース・レイヤの動きベクトルから、１１０ａから出力される動きベクトル１１６ａを予測することができる。さらに、レイヤ１０２ａの動き補償付残差１１８ａが推定された後、同残差を、対応する画面に対し再構築されたベース・レイヤ残差から予測することができ、残差は次いでブロック１１２ａ、１１４ａにおいてさらに処理される。

ここまで、図１の符号化装置の動作モードの説明は、リファインメント符号化手段１１４ａ、ｂによる残差情報の処理に絞ってきた。具体的には、ブロック１１０ａ、ｂによって出力され、符号化手段１１２ａ、ｂにおいて、ベース・レイヤの精度に符号化された残差情報またはテクスチャ情報は、リファインメント符号化手段１１４ａ、ｂにおいて、リファインされる。但し、同時に、リファインメント符号化手段１１４ａ、ｂは、レイヤごとに動き情報のリファインメントまたは変更でき、ブロック１１８ａ、ｂによって決められたフレーム／フィールド設定を変更をすることができる。

ここまで説明してきた図１の符号化装置の機能性は、プログレッシブ方式映像のソース・マテリアルの事例、またはベース・レイヤ符号化手段１１２ａ、ｂが、１に等しいｆｒａｍｅ＿ＭＢＳ＿ｏｎｌｙ＿ｆｌａｇの事例、ここでは映像を表す画面シーケンスは符号化フレームだけで構成されており、フレームのフィールドへの分解は無視されているわけだが、これらの事例にはよく適している。しかしながら、これまでに説明した機能性を備えた図１の符号化装置によって提供されるＳＮＲおよび空間スケーラビリティは、インタレース方式のソース・マテリアルに対しては理想的なものではない。このような理由のために、本発明の実施形態により動作する図１の符号化装置は、テクスチャ情報だけでなく動き情報、第一には、フレーム／フィールド設定のリファインメントを可能にし、これによりインタレース方式の元情報対応型の拡張を形成する。

但し、図１の符号化装置のこの別の機能を説明する前に、いくつかのインタレース用ツールが組み込まれているＨ．２６４／ＭＰＥＧ４−ＡＶＣ規格を参照する。第一のツールでは、フレームは、符号化フレーム、あるいは２つの符号化フィールドいずれでも符号化することができる。これは、ピクチャ適応型フレーム・フィールド符号化（ｐｉｃｔｕｒｅ−ａｄａｐｔｉｖｅ ｆｒａｍｅ ｆｉｅｌｄ ｃｏｄｉｎｇ）といわれる。すなわち、フレームまたは映像を、トップ（ｔｏｐ）とボトム(ｂｏｔｔｏｍ)との２つの交互配置フィールドを含むように設定することができる。トップフィールドは、偶数番号のライン０、２、…Ｈ／２−１を包含し、Ｈは、フレームの総ライン数であり、ボトムフィールドは、フレームの２番目のラインから始まる奇数番号ラインを含む。フレームの２つのフィールドが異なる時間インスタンスで配信される場合、該フレームはインタレース方式フレームといわれ、また、他方は、プログレッシブ方式フレームと呼ばれる。Ｈ．２６４／ＭＰＥＧ４−ＡＶＣにおける符号化表現は、この映像特性、すなわち、元の配信画像を構成するインタレースまたはプログレッシブ方式のタイミングについては基本的に関知しない。代わりに、該規格の符号化では、タイミングに基づくのでなく、主として幾何的コンセプトに基づいて表現が規定される。また、前述したピクチャ適応型フレーム・フィールド符号化の考え方は、マクロブロック適応フレーム・フィールド符号化に拡張される。フレームが、単一のフレームとして符号化され、シーケンス・パラメータ・セット中で送信されるｍｂ＿ａｄａｐｔｉｖｅ＿ｆｒａｍｅ＿ｆｉｅｌｄ＿ｆｌａｇフラグが１に等しい場合、図２に示されるように、スライス内のマクロブロックのスキャンが変更される。図２は、画面２００の例示的な部分を示す。画面は、マクロブロック２０２にサブ分割されている。さらに、マクロブロック適応フレーム／フィールド符号化が作動され、縦方向に隣接するマクロブロック２０２の各ペアは、マクロブロック・ペア２０４としてグループ化される。後記の説明でさらに明確になるが、画面２００のマクロブロック２０２へのサブ分割は、量子化の基礎単位を提供する大きな役割を果たし、これにより、符号化装置は、高い符号化効率で、それぞれの画面領域における映像コンテンツに適合させることが必要な符号化パラメータの設定をすることができる。マクロブロック・ペア２０４は、画面２００を空間的にマクロブロック・ペア２０４の矩形のアレイにサブ分割する。一つのマクロブロック・ペア２０４の２つのマクロブロック２０２ａと２０２ｂとは、画面２００の垂直方向解像度の半分の垂直方向解像度を持つ画面２００の、マクロブロック・ペアのほぼ全体部分を空間的に占めるか、あるいはマクロブロック・ペア２０４の領域を、上部半分と下部半分とに空間的に分割する。どの場合においても、第一、第三、…のラインを含む、または該上部半分を占めるマクロブロックは、トップ（ｔｏｐ）マクロブロック２０２ａと呼ばれ、もう一方はボトム（ｂｏｔｔｏｍ）マクロブロックと呼ばれる。言い換えれば、このような縦方向に隣接する２つのマクロブロックは、マクロブロック・ペアと呼ばれ、該ペアを、図２に示すように矩形アレイに配列することができる。各マクロブロック・ペアに対し、構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇが送信または推測される。ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇが０に等しい場合、当該マクロブロック・ペアは、幾何的意味合いで、マクロブロック・ペアの上側半分を表すトップマクロブロックと、マクロブロック・ペアの下側半分を表すボトムマクロブロックとを持つフレーム・マクロブロック・ペアとして符号化される。該トップおよびボトムマクロブロック双方に対しては、マクロブロック適応フレーム・フィールド符号化が非作動にされ、フレーム・マクロブロックだけが存在することを表す、０に等しいｍｂ＿ａｄａｐｔｉｖｅ＿ｆｒａｍｅ＿ｆｉｅｌｄ＿ｃｏｄｉｎｇを持つフレームのマクロブロックとして、動き補償予測および変換の符号化が適用される。ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇが１に等しい場合、当該マクロブロック・ペアは、マクロブロック・ペアのトップフィールド・ラインを表すトップマクロブロックと、マクロブロック・ペアのボトムフィールド・ラインを表すボトムマクロブロックとを持つフィールド・マクロブロック・ペアを表す。したがって、前者の場合、トップとボトムマクロブロックとは、実質的に画面の同一の領域、すなわちマクロブロック・ペア領域をカバーする。しかしながら、これらのマクロブロックでは、垂直方向解像度幅は水平方向解像度の２倍となる。後者のフィールド・マクロブロック・ペアの場合、動き補償予測および変換の符号化は、フィールド・ベースで行われる。ベース・レイヤおよびリファインメント・レイヤ内の画面コンテンツの符号化は、スライス、すなわちマクロブロックまたはマクロブロック・ペアのグループの単位で行われる。一つの画面またはフレームを、一つ以上のスライスで構成することができる。図２では、同一のスライスに属するマクロブロック・ペアとして想定されており、図２中の矢印は、それぞれのレイヤにおいてマクロブロックが符号化されて行く順序を示している。図から分かるように、マクロブロックは、ペア単位で、トップマクロブロックが最初に次いで対応ボトムマクロブロックがスキャンされ、その後、次のマクロブロック・ペアに移る。

符号化されたフィールドのマクロブロック、または符号化されたフレームの１に等しいｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇを持つマクロブロックは、フィールド・マクロブロックといわれる。フィールド・マクロブロックの各変換ブロックは、水平方向解像幅の２倍に等しい垂直解像幅を持つ画像領域を表現するので、ゼロでない変換係数レベルの分布が水平方向の低周波方向にシフトされ易く、レート歪最適化符号化のため、フィールド・マクロブロックに対する変換ブロック内の変換係数のスキャンは、フレーム・マクロブロックのものと変更される。

以下の、図１の符号化装置の説明は、動き情報のリファインメント、およびそれぞれのマクロブロック・ペアに対して行うフレーム／フィールド設定の更改に重点を置く。但し、これらデータのリファインメント更改について説明する前に、ブロック１１０ａ、ｂおよび１１２ａ、ｂによって、ベース・レイヤ９１２ａ、ｂを得るために行うステップを概略的に示している図３ａを参照する。図３ａにおいても同様に、開始点として、符号化対象の現在画面２００と、マクロブロック２０２にサブ分割された画面２００と、マクロブロック・ペア２０４にグループ化されたマクロブロック２０２とが示され、マクロブロック・ペア２０４が、画面２００を空間的に、矩形の配列にサブ分割しているのが示されている。画面２００の符号化において、ブロック１１０ａ、ｂは、各マクロブロック・ペア２０４に対し、当該マクロブロック・ペアのマクロブロックを、フィールド符号化マクロブロックまたはフレーム符号化のマクロブロックのいずれとすべきかを設定する。言い換えれば、ブロック９０４ａ、ｂは、各マクロブロック・ペアに対し、該ペアが、フィールドまたはフレームのいずれのモードで符号化されるべきかを設定し、この設定は、図３の２０６に示されている。マクロブロック・ペア２０４の一つを、円２０８で囲んで、例として目立たせることによって、マクロブロック・ペア単位での設定２０６を示している。設定２０６の結果は、２１０ａおよびｂに示されている。図で分かるように、フレーム符号化マクロブロック２０２ａおよび２０２ｂがマクロブロック・ペア２０４を構成している場合には、これらマクロブロックは、マクロブロック・ペア２０４が占めている画面領域を、上部半分と下部半分とに空間的にサブ分割する。したがって、マクロブロック・ペアの双方２０２ａおよび２０２ｂは、画面の奇数番号ラインおよび偶数番号ラインの双方の中に含まれる画面情報を含み、奇数番号のラインは白い長方形で示され、偶数番号ラインは斜線で示されている。一方、フィールド・モードの場合には、トップマクロブロック２０２ａは、奇数番号ラインすなわちトップフィールド中に含まれるマクロブロック・ペア領域内の画面情報だけを含み、ボトムマクロブロックは、偶数番号ライン中に含まれるマクロブロック・ペア領域内の画面情報を含む。これは、２１０ａと２１０ｂとを比較すれば明らかである。フィールド・モードの場合には、垂直方向の画面解像幅は半分位に狭くなる。ブロック１０４ａ、ｂによるフレーム／フィールド・モード設定２０６は、何らかの形でベース・レイヤ・ビットストリーム１２０ａ、ｂに反映され、復号装置側では、設定２０６を、スケーラブル・ビットストリーム１２６、特にスケーラブル・ビットストリーム１２６中のベース・レイヤ・ビットストリームの中から抽出することができ、該反映を、図３ａの設定２０６から、ベース・レイヤ・データストリーム２１６に含まれるブロック２１４に向かう矢印２１２によって示される。なお、場合の処置としてだけであるが、フレーム／フィールド・モード設定は、必ずしもベース・レイヤ・データストリーム２１６内の連続したブロック中に配置または符号化する必要はない。それぞれのマクロブロック・ペア２０４に対する設定を、解析可能な方法でベース・レイヤ・データストリーム２１６上に割り当てることができる。さらなる詳細についてはＨ．２６４／ＭＰＥＧ４−ＡＶＣ規格を参照することができる。

しかしながら、ブロック１１０ａ、ｂが行う設定は、フレーム／フィールド・モード設定２０６だけではない。２１８によって示すように、ブロック１１０ａ、ｂは、さらに、各マクロブロックに対する動きパラメータも設定する。これらの動きパラメータは、例えば、それぞれのマクロブロックに対し、動きベクトルの空間解像度が設定されるかについて規定する。例えば、図３ａの２２０ａに示されるように、トップマクロブロック２０２ａは、４つパーティション２２２にさらにサブ分割されており、各々のパーティション２２２に対し、動きベクトル２２４が定義されている。これに対して、ボトムマクロブロック２０２ｂは、一つのパーティションのままとされ、このマクロブロックに対しては、一つの動きベクトル２２４しか定義されていない。当然のことながら、動きパラメータの設定２１８は、レート／歪最適化の面で、フレーム／フィールド設定２０６と別のものではない。前記パーティション分割は、マクロブロック２０１ａおよび２０２ｂに対する例示的パーティション区画中の、フィールド符号化マクロブロックの場合を表す２２０ｂによって示され、その上に記載された２２０ａはフレーム符号化マクロブロックの場合を反映したものである。同２２０ａについてのパーティション区画も例示されているが、フレーム／フィールド設定２０６に基づいて区画を変えることができるのは明らかである。それぞれのマクロブロックを、予測動き補償された形で予測するために使う参照画面の番号を、さらなる動きパラメータで設定することができる。これら設定は、パーティション・ベース、マクロブロック・ベースまたは画面ベース、あるいはスライス・ベースで行うことができる。しかしながら、図３ａでは、簡明化のため、各パーティション２２２に対し一つだけの動きベクトルが示される。これらに加え、当然、動きパラメータ２１８は、方向および長さなど動きベクトル自体を規定する。動きベクトルは、再構築された参照画面の画面コンテンツをマクロブロック２０２ａ、ｂに含める画面情報の予測として取り入れる前に実施する必要のある、再構築参照画面の変位を規定する。残差または予測誤差２２６の算定において、動きベクトル２２４の規定に従い変位された再構築参照画面から取られた画面コンテンツは、当然ながら、フィールド符号化マクロブロックとフレーム符号化マクロブロックとでは異なっている。フレーム符号化マクロブロックの場合には、変位され再構築された参照画面から使われる画面情報は、連続した空間的サブ領域を表現する。一方、フィールド符号化マクロブロックの場合には、変位され再構築された参照画面から使われる画面情報は、前記領域の２倍の量の領域に関連している。特定のパーティション２２２に対してこのように得られた、フレーム符号化マクロブロックに対する残差が２２８に、フィールド符号化マクロブロックに対する残差が２２２ｂに示されている。これらのパーティション２２８ａ、ｂに包含されている残差サンプルは、ベース・レイヤ・ビットストリーム中に直接には符号化されない。これに代え、２２８ａ、ｂ中に包含される残差情報を表す変換係数マトリックスを得るために、これら残差サンプルに対し、ＤＣＴまたは何らかの他のスペクトル分解のような変換が行われる。全パーティション、または全マクロブロック２０２ａ、ｂに対して変換２３０を実施することができる。また一方、変換２３０は、パーティション２２８ａ中の点線２３２で例示したような、マクロブロック２０２ａ、ｂまたはパーティション２２８ａ、ｂのサブ部分に対しても実施することができる。これにより、一つのマクロブロックまたはパーティションから、一つ以上の変換係数マトリックス２３４を得ることができる。

動きパラメータ２１８、およびマトリックス２３４中の変換係数（前記したように後者は比較的粗い量子化形である）は、矢印２３６と２３８とで示すように、ベース・レイヤ符号化手段１１２ａ、ｂによって、ベース・レイヤ・データストリーム２１６または１２０ａ、ｂに組み入れられ、これにより、ベース・レイヤ・データストリーム１２０ａ、ｂ中に動き情報２４０および残差情報２４２を得る。

ラグランジュ・アプローチを使って、レート／歪比を何らかの形で最適化しながら、フレーム／フィールド・モード設定および動きパラメータ設定２１８を決めることができる。レート／歪の面から、設定２０６および２１８を、ベース・レイヤ・データストリームに関連する品質について最適化することはできるが、さらに高い品質を考慮し、これらと異なる設定を最適とすることができる。この考慮は、本出願の実施形態による、図１の符号化装置の動作モードが得られ、これによれば、符号化装置によって、一度決めたフレーム／フィールド・モード設定２０６が必ずしも維持される必要はない。それどころか、符号化装置および復号装置は、リファインメント・レイヤ中の個別のマクロブロック・ペアに対するフレーム／フィールド・モードを変更することができる。図１の実施形態によれば、フレーム／フィールド・モード設定の変更は、必然的に動きパラメータおよび残差変換係数の更改を伴う。但し、後記するように、必ず変更しなければならないわけではない。

図３ｂは、本発明の実施形態による、リファインメント符号化手段１１４ａ、ｂの動作モードを概略的に示す。図３ｂは、典型的なマクロブロック・ペア２０４のリファインメントに焦点を合わせており、例として、２つのフレーム符号化マクロブロック２０２ａおよび２０２ｂで構成され、トップマクロブロック２０２ａは４つのパーティション２２２に区画されており、ボトムマクロブロック２０２ｂは一つだけのパーティションで構成されている。典型的なマクロブロック・ペア２０４に対して、そのように決められるフレーム／フィールド・モード設定、および動きパラメータは、図３ａの２２０ａで示されるものに対応する。また、図３ａに関連して既に述べたように、マクロブロック・ペア２０４に関する残差情報は、変換係数マトリックス２３４中に配列された変換係数を使って伝送される。変換係数マトリックス２３４中の変換係数は、水平方向２４４および垂直方向２４６のいろいろな周波数に対応する。例えば、図３ｂでは、上部左の変換係数はＤＣ成分に対応し、この変換係数は２４８ａとして示されている。

次に、マクロブロック・ペア２０４に対するリファインメント、もしくは品質または精度向上について検討することとし、リファインメント符号化手段１１４ａ、ｂは、ベース・レイヤに関して、ブロック１１０ａ、ｂが決めたフレーム／フィールド・モード設定を維持するか、またはこれを変更するかの設定２５０を行う。

最初に、フレーム／フィールド・モード設定を維持する場合が検討される。この場合、マクロブロック・ペア２０４は、リファインメント・レイヤにおいてフレーム符号化を維持したまま取り扱われる。但し、リファインメント符号化手段１１４ａ、ｂは、動き情報については、レート歪の面からこれを維持するのがよいのか、すなわち下位レイヤつまりベース・レイヤからの動き情報を採用し残差情報だけをリファインするのがよいのか、あるいは、ベース・レイヤの動き情報および残差情報を変更するのがよいのかどうかを検討設定する。この設定は、図３ｂ中の２５２で示されている。リファインメント符号化手段１１４ａ、ｂが、特定のマクロブロック・ペア２０４に対し、フレーム／フィールド・モード設定および動き情報の双方を維持すると決めた場合には、リファインメント符号化手段１１４ａ、ｂは、その設定２５０および２５２の結果を、第一拡張レイヤ・データストリーム１２２ａ、ｂに組み入れる。設定２５０の結果は、点線２５８で示されているように、モード変更インジケータ２５６の形でデータストリーム１２２ａ、ｂに組み入れられる。同様に、設定２５２の結果は、点線２６２で示すように、動き精度拡張オン／オフ・インジケータ２６０としてデータストリーム１２２ａ、ｂに組み入れられる。さらに、リファインメント符号化手段１１４ａ、ｂは、残差精度拡張情報２６６をデータストリーム１２２ａ、ｂに組み入れ、この組み入れが点線矢印２６３によって示されている。現下の好適な実施形態において、２６３において組み入れられる残差精度拡張情報２６６は、それまで下位レイヤ、すなわち、下位リファインメント・レイヤまたはベース・レイヤにより規定されていた、それぞれの変換係数レベルの残差を表す残差変換係数レベルを、下位レイヤのステップサイズ幅を半分にするといった狭い幅の量子化ステップサイズによる実数変換係数に関連させて表現しなければならない。また一方、以下に示すように、ストリーム１２２ａ、ｂ内のさらなるフラッグ／インジケータを使って、復号装置側が、特定のマクロブロックに対する残差精度拡張情報２６６は、下位レイヤにまで遡上可能な現在変換係数レベルとは別な変換係数レベルを表す、更改変換係数レベルとして解釈するよう示すことができる。

リファインメント符号化手段１１４ａ、ｂは、特定のマクロブロックに対する動き情報を維持せず、ベース・レイヤの情報をリファインすることができる。この場合、リファインメント符号化手段１１４ａ、ｂは、この置き換え設定２５２の結果を、第一拡張レイヤデータストリーム１２２ａ、ｂ中のそれぞれのインジケータ２６０によって示すことができる。さらに、リファインメント符号化手段１１４ａ、ｂは、動き精度拡張情報２６４および残差精度拡張情報２６６をデータストリーム１２２ａ、ｂに組み入れ、これは点線矢印２６８および２７０によって示されている。動き精度拡張情報２６４および／または残差精度拡張情報２６６は、それぞれ、全く新規の動き情報／残差情報、あるいは、下位レイヤ、すなわち、図３ｂに示されたケースではベース・レイヤの動き情報および残差情報をリファインするためのリファインメント情報を表すことができる。完全な新規拡張情報２６４または２６６は、残差データに関して前述したように、下位拡張レイヤ、つまり、ベース・レイヤのそれぞれの拡張情報完全に置き換える拡張情報を表している必要がある。これに対し、下位レイヤの動き／残差情報をリファインするための拡張情報２６４および２６６の場合は、現在リファインメント・レイヤ、すなわち、図３ｂの場合は、第一拡張レイヤの動き／残差情報は、２つの連続するリファインメント・レベルの対応する変換係数レベルまたは動きベクトル成分レベルを加算することによって、現在拡張情報２６４、２６６と下位レイヤの動き／残差情報との双方を組み合わせるだけで導き出される。

第一拡張レイヤ中の動き情報の変更の影響を例示するために、フレーム／フィールド・モード設定を維持するが、動き情報を変更した場合の作用が、図３ｂの２７２に示される。示されるように、第一拡張レイヤ中のマクロブロック・ペア２０４に関連する動き情報は、ベース・レイヤにおけるそのマクロブロック・ペア２０４に関連する動き情報とは異なっており、該図では、該マクロブロック・ペア内の画面コンテンツを予測するために２つの参照画面が使われている。これによれば、各パーティション２２２は、２つの動きベクトル２２４ａおよび２２４ｂに関連付けられている。さらに、第一リファインメント・レイヤの動き情報は、ボトムマクロブロック２０２ｂのパーティション区画を変更し、該マクロブロックは、ベース・レイヤでの状態であった一つだけのパーティション形成に換えて、４つのパーティションに区画されている。第一リファインメント・レイヤの動き情報、すなわち、参照画面番号、動きベクトル２２４ａおよび２２４ｂ、ならびにマクロブロック２０２ａおよび２０２ｂのパーティション区分は、第一拡張レイヤ・データストリーム１２２ａ、ｂ中に全く新規に符号化するか、あるいはベース・レイヤの動き情報を予測因子として用い符号化することができる。例えば、動きベクトルら２２４ａが、同一の参照画面に対応している場合、ベース・レイヤの動きベクトル２２４に対する動きベクトルら２２４ａのオフセットだけを、動き精度拡張情報２６４の中に符号化することができる。時間的にリニアな動きが想定される場合は、該動きベクトル２２４は、異なる参照画面に対する新しい動きベクトル２２４ｂの予測のベースとしても用いることができる。これに加え、ボトムマクロブロック２０２ｂの単一のパーティションの単一の動きベクトル２２４は、第一拡張レイヤ中のボトムマクロブロック２０２ｂの各パーティションの動きベクトルに対する予測因子として用いることができる。

同様に、第一拡張レイヤ・データストリーム１２２ａ、ｂの中で送信される、変換係数マトリックス２３４の変換係数に対する変換係数レベルは、ベース・レイヤの変換係数レベルをもっと細かな量子化ステップサイズで量子化したレベルに対する残差またはオフセットだけを表すか、あるいは、予測因子としてベース・レイヤの変換係数を使わずに、全面的に更改された変換係数マトリックス２３４の変換係数を表すことができる。

ここまで、リファインメント符号化手段１１４ａ、ｂが、マクロブロック・ペア２０４に対するフレーム／フィールド・モード設定の維持のために決めるケースについて説明してきた。しかしながら、設定２５０の結果が、第一拡張レイヤの中のフレーム／フィールド・モードの変更である場合、このことは、それぞれのモードの変更インジケータ２５６によって示され、新規の残差情報と共に新規動き情報が、動き精度拡張情報２６４および残差精度拡張情報２６６の形で、点線矢印２７４と２７６で示すように、第一拡張レイヤ・データストリーム１２２ａ、ｂの中に挿入される。具体的には、図３ｂの例によれば、マクロブロック・ペア２０４の動き情報は、ベース・レイヤから第一拡張レイヤに変更されて、トップマクロブロック２０２ａのパーティション２２２に対する新規動きベクトル２２４が定義され、ボトムマクロブロック２０２ｂは、各パーティション２２２に対して、一つの動きベクトル２２４を持つ４つのパーティションに区画される。２７８で示すように、ここでは、マクロブロック２０２ａおよび２０２ｂは、フィールド符号化され、例えば、マクロブロック２０２ａは奇数番号のラインだけを含んでいる。残差情報は、それぞれの変換係数マトリックス２３４中の変換係数の変換係数レベルを使って符号化され、ベース・レイヤのマトリックス２３４の変換係数レベルを予測因子として使わずにレベルが符号化される。

また一方、本実施形態によれば、フレーム／フィールド・モード設定を維持しない場合には、動きおよび残差情報は、全面的に新しく符号化することになるが、これに換えて、異なったフレーム／フィールド・モードに対し定義されたベース・レイヤの動き情報および残差情報を予測因子として使うことができる。例えば、変換係数を考える。ベース・レイヤ中の残差サンプルの垂直方向解幅度は、第一拡張レイヤの残差サンプルの垂直解像幅の２倍である。したがって、その変換係数を含むベース・レイヤのマトリックス２３４に対する垂直方向２４６中の最高周波数成分の大きさは、その変換係数が第一拡張レイヤのマトリックス２３４に含まれている垂直方向２４６中の最高周波数成分の２倍である。したがって、少なくともベース・レイヤのマトリックス２３４の一部を、第一拡張レイヤのマトリックス２３４の変換係数に対する予測因子として使うことができる。もっと正確に言えば、ＤＣ成分を表し、第一拡張レイヤ・データストリーム１２２ａ、ｂ中の残差精度拡張情報２６６内で送信される、変換係数２４８ａの変換係数レベルを、ベース・レイヤ・データストリーム１２０ａ、ｂで送信される対応する変換係数２４８ａの変換係数レベルに対するオフセットで表すことができる。同じことが、高周波の水平成分に対しても適用される。さらに、一段階高い垂直周波数成分２８０のため送信される第一拡張レイヤの変換係数レベルを、２８２で示された、ベース・レイヤ中の次の垂直周波数成分に対する予測誤差として符号化することができる。同様に、ベース・レイヤのフレーム符号化のマクロブロックの動きベクトルを、第一拡張レイヤの動きベクトルに対する予測因子として使うことができる。

当然ながら、ベース・レイヤからのフレーム符号化マクロブロック・ペアを、第一拡張レイヤのフィールド符号化マクロブロック・ペアに変換する前述の例は、考えられる単なる例である。当然、ベース・レイヤのフィールド符号化マクロブロック・ペアを、第一拡張レイヤのフレーム符号化マクロブロック・ペアに変換することもできる。さらに、特定のマクロブロック・ペアに対するフレーム／フィールド・モード設定を、第一拡張レイヤについては変更しないが、第二またはその後の拡張レイヤについては変更することも可能である。映像の画面品質または精度は、例えば、変換係数レベルを送信するための量子化ステップサイズ幅を小さくし、動きベクトルを定義する解像度を増大し、および／または、より細かいパーティション区画および動き補償のため、より多数の参照画面を使うことによって向上でき、一つのレイヤから次のレイヤへの画面歪みを低減することができる。さらに、インジケータ２５６および２６０とは別に、第一拡張レイヤ・データストリーム１２２ａ、ｂによって他のインジケータを送信することもできる。例えば、第一拡張レイヤ・データストリーム１２２ａ、ｂによって、特定のマクロブロックについて、動き情報または残差情報のどちらかだけか、あるいはその双方を置き換えまたはリファインするのかを示すために、インジケータは、第一拡張レイヤ・データストリーム１２２ａ、ｂに入れて送信することができる。同様に、特定のマクロブロックに対する動き精度拡張情報または残差精度拡張情報によって定義するために使われる指標インジケータは、下位レイヤのそれぞれの動き／残差情報を置き換えまたはリファインする。

なお、本発明の好適な実施形態によれば、第一拡張レイヤの変換係数レベルが、現在の拡張レイヤ・データストリーム１２２ａ、ｂに挿入される順序は、設定２５０の結果による。例えば、現在拡張レイヤで、特定のマクロブロックがフレーム符号化マクロブロックの場合、第一拡張レイヤの変換係数レベルを、残差精度拡張情報２６６中に挿入する順序を定めるために使われるスキャンパス２８４は、下位拡張レイヤ中のそれぞれのフィールド符号化マクロブロックの変換係数レベルに対して使われるスキャンパス２８６とは異なる。フィールド符号化マクロブロックとフレーム符号化マクロブロックとに対するスキャンパスの違いは、フレーム符号化マクロブロックの変換係数マトリックス２３４の中に、フィールド符号化マクロブロックに比べ高い周波数の垂直成分が存在することを反映している。具体的には、望ましくは、変換係数は、非有意な変換係数、すなわち下位レイヤによる変換係数レベルが０の変換係数に対する変換係数レベルを最初に送信するようにして、残差精度拡張情報２６６中に送信される。非有意な変換係数の変換係数レベルは、いわゆるシグニフィカント・パスで符号化される。続いて行われる有意な変換係数の変換係数レベルの符号化は、リファインメント・パスと呼ばれる。シグニフィカンス・パスは、数サイクル行われる。例えば、第一サイクルでは、スキャンパス２８４または２８６に沿って、第一マクロブロック中の第一変換ブロック（図３ａの２３２参照）中の第一の非有意な変換係数が符号化される。直ぐ続いて、現在の変換ブロック内の次の非有意変換係数の変換係数レベルが、スキャンパス２８４または２８６の方向に、変換ブロックのサイズに従い最後まで符号化される。次いで、現在のマクロブロック内のすべての変換ブロックへのアクセスが完了するまで、現在マクロブロック内の変換ブロック・スキャン順番の次の変換ブロックへと移る。この後、現在のスライス内のマクロブロックのスキャン順番の次のマクロブロックに移り、当該マクロブロック内で上記手順が繰り返し実施され、このマクロブロック・スキャン順序は、図２の２８８で示されている。現在のスライスの最後のマクロブロック中の最後の変換ブロックへのアクセスの後、さらなるサイクルが実施される。非有意な変換係数の変換係数レベルの符号化完了後、重要な変換係数の変換係数レベルがリファインメント・パスで符号化される。リファインメント・パスを、構文要素をビットストリーム１２６の中に符号化するため用いられる符号化スキームに応じて、例えば、スライス内のマクロブロックらを一回だけスキャンまたは一定のサイクル数スキャンする可変長符号化または算術符号化とすることができ、各々のスキャンは、スキャン順序２８４または２８６における特定の変換係数位置に対する専用のスキャンとし、ある特定の変換係数位置に対する個別の変換係数レベルは、該変換係数が有意な場合にだけ符号化される。

シグニフィカンス・パスおよびリファインメント・パスにおいて、それぞれの変換ブロック内の変換係数の間でのアクセス順序を決めるために使われるスキャンパスは、現在のリファインメント・レイヤによるフレーム／フィールド・モードによる。すなわち、第一拡張レイヤ・データストリーム１２２ａ、ｂ中の変換係数の順序付けは、得られる第一拡張レイヤ・データストリーム１２２ａ、ｂのレート／歪比に影響を与えることができる、すなわち、状況対応型符号化スキーム（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｃｏｄｉｎｇ ｓｃｈｅｍｅ）が使われる場合、第一拡張レイヤ中の変換係数レベルの順番を、第一拡張レイヤ・データストリーム１２２ａ、ｂ内で、類似の確率分布を持つ変換係数レベルが並列位置に配置されるようにすると、符号化のため用いる確率推定をよりうまく適合させることができる。したがって、設定２５０および２５２は、符号化効率、または構文要素の、および特に第一拡張レイヤ中の変換係数レベルの符号化のため使われる、確率推定の質に対するこれら設定の影響に基づいて決めることができる。

リファインメント符号化手段１１４ａ、ｂが、設定２５０および２５２を決める仕方を、ブロック１１０ａ、ｂが、ベース・レイヤ符号化ブロック１１２ａ、ｂと共に、ベース・レイヤ・ビットストリーム１２０ａ、ｂを生成する仕方と同様にすることができる。より正確に言えば、レート／歪の面から設定を最適化するために、ラグランジュ・アプローチが用いられる。

図３ｂに関連させてリファインメント符号化手段１１４ａ、ｂの機能性について説明したので、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ規格をより具体的に参照しながら、図１および図３ｂに関連させて、図１の符号化装置の動作モードを説明する。言い換えれば、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ規格のスケーラブル拡張として、スケーラブル・ビットストリーム１２６を生成する面から、図１の符号化装置の機能性をさらに詳しく説明する。前述の２００５年１０月のＳＶＣ作業草案の中で、スケーラビリティ・ツールは、特に、１に等しいｆｒａｍ＿ＭＢＳ＿ｏｎｌｙ＿ｆｌａｇに対してだけ使うことができた。すなわち、これらの草案によれば、マクロブロックは、フレーム方式マクロブロックだけであった。ＳＮＲおよび空間スケーラビリティをサポートするコンセプトは、プログレッシブ方式のソース・マテリアルに対するものだけデザインされていた。これに対し、図１の符号化装置は、インタレース方式のソース・マテリアルの特性を取り入れることによって、インタレース方式のソースへの拡張を形成する。具体的には、図１の符号化装置は、インタレース方式元信号に関する前記作業草案ＪＶＴ−Ｑ０３１中に記載されるような、適応的動きリファインメントを持つプログレッシブ・リファインメント・スライスの符号化を最適化する。動きおよび残差リファインメントに加え、ベース品質レイヤのフレーム／フィールド設定のマクロブロック・ベースでの改定を、ＦＧＳ拡張レイヤにおいて送信することができる。

具体的には、図１の符号化装置は、マクロブロック適応フレーム／フィールド設定のインタレース方式フレームに対する、適応的リファインメントを持つプログレッシブ・リファインメント・スライスの符号化を拡張し、該拡張においては、マクロブロック適応フレーム／フィールド符号化が有効な場合、符号化フレームのプログレッシブ・リファインメント・スライスのすべてのマクロブロック・ペアまたはマクロブロック・ペアのサブセットに対し、それらマクロブロック・ペアが、ペア・マクロブロックまたはフィールド・マクロブロックまたはフレーム・マクロブロックのいずれとして符号化されるのかを信号伝達する構文要素が送信される。マクロブロック・ペアおよびプログレッシブ・リファインメント・スライスのフレーム／フィールド・モード、ならびに、下位ＳＮＲレイヤ中の、同所所在のマクロブロックのペアのフレーム／フィールド・モードに応じ、以下が適用される、（１）現在マクロブロック２０２ａ（図３ｂ）が、フィールド−フレーム・モードで符号化され、下位ＳＮＲレイヤ（図３ｂではベース・レイヤ）中の同所所在のマクロブロックのペアが、前記と同じフィールド−フレーム・モードで符号化されている場合（図３ｂの設定２５０からスタートしているｙｅｓ経路を参照）、該ＳＮＲ下位レイヤのマクロブロック・ペアのフィールド−フレーム設定が用いられる。動きおよび予測情報は、該フィールド−フレーム設定とは関係なく、追加のインジケータまたは構文要素２６２、２６８および２７０による伝達によってリファインすることができる。これに関するさらなる詳細については、ＰＣＴ／ＥＰ２００５／０１０９７２を参照でき、その内容は、フレーム／フィールド・モード設定が変更なく維持された場合における動き情報およびリファインメント情報のリファインメントに関する参考として、本明細書に組み込まれる。（２）前記と違って、現在スライスにおけるフレーム／フィールド設定が、下位ＳＮＲレイヤにおけるフレーム／フィールド設定と異なる場合（２５０からのｙｅｓ分岐を参照）、マクロブロック・ペアの双方のマクロブロックに対し、対応する動きおよび予測情報（２６４）と共に新しいマクロブロック・モード（２６０）が、残差信号のリファインメント（２６６）に加えて送信される。可能なマクロブロック・モードは、符号化規格Ｈ．２６４／ＭＰＥＧ４−ＡＶＣにサポートされているものと同じであり、このことは、Ｐスライスについては１６動きベクトルまで、Ｂスライスについては３２動きベクトルまでの、動き補償付予測のためのマクロブロックのより小さなブロックへの分割、またはパーティション区画の信号伝達が可能なことを意味する。

プログレッシブ・リファインメント・スライスにおけるこのフレーム／フィールド設定を決める一つのやり方は、ラグランジュ・アプローチを用いることであり、所与のλに対し、ラグランジュのコスト関数Ｊ＝Ｄ＋λＲが最小化される。ここで、Ｄは、元の信号と再構築（復号）された信号との間の歪みを表し、Ｒは、マクロブロック・ペアを符号化するため必要なビットレートを表す。下位ＳＮＲレイヤのフレーム／フィールド設定を破棄するコストが、該下位ＳＮＲレイヤのフレーム／設定を維持するコストよりも低い場合には、レート−歪の面から、マクロブロック・ペアのフレーム／フィールド設定を破棄して、動きおよび／または予測情報を送信する方が明らかにベターである（設定２５０のｎｏの経路を参照）。このように、適応的フレーム／フィールド・リファインメントを用いて、同一のビットレートでより高い画面品質を実現することができる。

図１および３ｂに関連させて本明細書で提示したＦＧＳ符号化スキームの利点は、復号装置側で、各変換ブロックに対する逆変換が一回しか必要でないことである。マクロブロック・ペアが、継続維持されたフレーム／フィールド符号化モードを有する場合においては、ベース品質レイヤのスケールされた変換係数と、関連するすべてのプログレッシブ・リファインメント・スライスとが加算され、得られた利用可能な最高の品質を表現する変換係数に変換することが必要なだけである。また、図１および３ｂのＦＧＳ符号化スキームによれば、適応的リファインメントに関してもこのコンセプトが適用される。適応的動きフレーム／フィールド設定を伴うＦＧＳ符号化スキームに対し、復号装置側での複雑さを増大させないために、望ましくは、下位ＳＮＲレイヤのフレーム／フィールド設定が変更されるケースに対し特別な制限が導入される。特定のリファインメント・レイヤにおいて適応的リファインメントを伴うＦＧＳ符号化スキームを使って、新たなマクロブロックのモードが送信される場合、追加の構文要素ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ信号によって、ＳＮＲベース・レイヤ（または下位リファインメント・レイヤ）の残差信号を再構築に使うかどうかが信号伝達される。このフラッグが１に等しい場合、ＳＮＲベース・レイヤで送信された変換係数は、拡張レイヤ表現の残差を再構築するために使われる。また、このフラグが０の場合、該拡張レイヤ表現の残差は、ＦＧＳ拡張レイヤ１２２ａ、ｂで送信された変換係数レベル２６６だけを使って再構築される。フィールド・マクロブロック・ペアに対し行われる変換は、フレーム・マクロブロック・ペアに対し行われる変換とは異なるサンプル・セットが使われるので、フレーム／フィールド設定が変更された場合には、残差予測を禁止することによって、重複した変換を避ける利点がある。したがって、本発明の好適な実施形態において、前記のＳＮＲベース・レイヤからの残差の使用を規定する構文要素、すなわち構文要素ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、ＳＮＲベース・レイヤのフレーム／フィールド設定が、ＳＮＲ拡張レイヤにおいて変更されていないときだけ送信される。それ以外の場合は、復号装置側では、構文要素ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは０に等しいと推定される。

本発明のある実施形態によれば、フレーム／フィールド設定、およびＦＧＳに対するマクロブロックのモードを規定する構文を、以下の擬似コードで表現することができる。ここでは、以下のコードは、ブロック１１４ａ、ｂによって、前述の構文要素をリファインメント・データストリーム１２２ａ、ｂ内に符号化するため実施されるステップを定義している。
（１０） …
（１２） ｉｆ（！ ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇ ＆＆ ｍｂ＿ａｄａｐｔｉｖｅ＿ｆｒａｍｅ＿ｆｉｅｌｄ＿ｆｌａｇ） ｛
（１４） …
（１６） ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ＿ＥＬ ／／ ｆｒａｍｅ／ｆｉｅｌｄ ｄｅｃｉｓｉｏｎ ｉｎ
（１８） ／／ ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ
（２０） ｉｆ（ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ＿ＥＬ ＝＝ ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ）｛
（２２） ／／ ｆｒａｍｅ／ｆｉｅｌｄ ｄｅｃｉｓｉｏｎ ｏｆ ｉｓ ｎｏｔ ｍｏｄｉｆｉｅｄ
（２４） ／／ ｔｏｐ ｍａｃｒｏｂｌｏｃｋ
（２６） ｃｈａｎｇｅ＿ｔｏｐ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇ ／／ ｍｏｄｉｆｉｅｄ
（２８） ／／ ｍｏｔｉｏｎ／ｐｒｅｄｉｃｔｉｏｎ
（３０） ｉｆ（ ｃｈａｎｇｅ＿ｔｏｐ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇ）｛
（３２） ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｍａｃｒｏｂｌｏｃｋ ｍｏｄｅ， ｍｏｔｉｏｎ ａｎｄ
（３４） ｐｒｅｄｉｃｔｉｏｎ ｄａｔａ
（３６） ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ
（３８） ｝
（４０） ｓｔａｒｔ ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ
（４２） ｌｅｖｅｌｓ ｆｏｒ ｔｈｅ ｔｏｐ ｍａｃｒｏｂｌｏｃｋ
（４４） ／／ ｂｏｔｔｏｍ ｍａｃｒｏｂｌｏｃｋ
（４６） ｃｈａｎｇｅ＿ｂｏｔ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇ ／／ ｍｏｄｉｆｉｅｄ
（４８） ／／ ｍｏｔｉｏｎ／ｐｒｅｄｉｃｔｉｏｎ
（５０） ｉｆ（ｃｈａｎｇｅ＿ｂｏｔ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇ）｛
（５２） ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｍａｃｒｏｂｌｏｃｋ ｍｏｄｅ， ｍｏｔｉｏｎ ａｎｄ
（５４） ｐｒｅｄｉｃｔｉｏｎ ｄａｔａ
（５６） ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ
（５８） ｝
（６０） ｓｔａｒｔ ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ
（６２） ｌｅｖｅｌｓ ｆｏｒ ｔｈｅ ｂｏｔｔｏｍ ｍａｃｒｏｂｌｏｃｋ
（６４） ｝ｅｌｓｅ ｛
（６６） ／／ ｆｒａｍｅ／ｆｉｅｌｄ ｄｅｃｉｓｉｏｎ ｉｓ ｍｏｄｉｆｉｅｄ
（６８） ／／ ｔｏｐ ｍａｃｒｏｂｌｏｃｋ
（７０） ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｍａｃｒｏｂｌｏｃｋ ｍｏｄｅ， ｍｏｔｉｏｎ ａｎｄ
（７２） ｐｒｅｄｉｃｔｉｏｎ ｄａｔａ
（７４） ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ
（７６） ｔｏ ０
（７８） ／／ ｂｏｔｔｏｍ ｍａｃｒｏｂｌｏｃｋ
（８０） ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｍａｃｒｏｂｌｏｃｋ ｍｏｄｅ， ｍｏｔｉｏｎ ａｎｄ
（８２） ｐｒｅｄｉｃｔｉｏｎ ｄａｔａ
（８４） ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ ｉｓ ｉｎｆｅｒｒｅｄ ｔｏ ｂｅ ｅｑｕａｌ
（８６） ｔｏ ０
（８８） ／／ ｃｏｄｉｎｇ ｏｆ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ
（９０） ｓｔａｒｔ ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ
（９２） ｌｅｖｅｌｓ ｆｏｒ ｔｈｅ ｍａｃｒｏｂｌｏｃｋ ｐａｉｒ
（９４） ｝
（９６） …
（９８） ｝

第一の条件節（ライン１２）は、ベース・レイヤ符号化ブロック１１２ａ、ｂによって、映像のソース・マテリアルは、マクロブロック適応フレーム／フィールド設定が作動されるように、符号化されているかどうかをチェックする。そうなっている場合は、当該拡張レイヤでの該マクロブロック・ペアのフレーム／フィールド設定を定義するために、拡張レイヤ中の現在マクロブロック・ペアまたはいくつかのマクロブロック・ペアに対し、構文要素ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ＿ＥＬが送信される（ライン１６）。第二の条件節（ライン２０）は、フレーム／フィールド設定がｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ中に符号化されているベース・レイヤに対し、拡張レイヤにおいてフレーム／フィールド設定が変更されているかどうかをチェックする。

次のライン群（ライン２２〜６２）は、フレーム／フィールド設定が変更されていなかった場合に送信される情報を定義する。この場合、まず、構文要素ｃｈａｎｇｅ＿ｔｏｐ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇが送信、符号化されて（ライン２６）、現在のトップマクロブロックに対する動き／予測情報が、下位レイヤのものから変更されているかどうかを示す。したがって、この構文要素は、図３ｂに示されたインジケータ２６０を表す。この場合には（ライン３０の第三条件節）、新規マクロブロック・モード、新規動きベクトルおよび参照画面番号が送信される（ライン３２および３４）。次いで、構文要素ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇの送信は、現在のトップマクロブロックに適用される変換係数レベルが、現在のより粗い量子化済み変換係数をリファインするための自己完結的な新規変換係数またはリファインメント情報として、送信されているかどうかが信号伝達のために行われる（ライン３６）。このとき、動き情報が、下位レイヤから取り入れるよう指示されている場合（ライン３０の条件節のｎｏ経路）、またはｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇと一緒に、新規の動き情報が送信されている場合（ライン３２〜３６）、ｃｈａｎｇｅ＿ｔｏｐ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇがセットされているならば、ライン３６で送信されたｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに応じ、新規の変換係数レベル情報、または作動符号化された残差変換係数レベルを表す変換係数レベルによって、変換係数レベルの送信が行われる（ライン４０、４２）。他の場合、すなわち、ｃｈａｎｇｅ＿ｔｏｐ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇがセットされていない場合、変換係数レベルは、残差変換係数レベルを表す、すなわちｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、差動符号化を示すものと推定される。これは、ボトムマクロブロックに対しても繰り返し実施される（ライン４４〜６０）。

言い換えれば、本実施形態によれば、フレーム／フィールド設定が変更されない場合、どの場合においても、残差情報の「リファインメント」が行われる。当然、このリファインメントをゼロにすることができ、または「リファインメント」を、それまで送信されてきたビットストリームを使わずに、差動符号化でなく全面的に更改された信号を送信することを意味するものとすることもできる。第一フラグ、すなわち、ｃｈａｎｇｅ＿ｔｏｐ／ｂｏｔ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇは、残差のリファインメントが「ノーマル・モード」で実施されたのか、すなわち、下位レイヤと同じ動きパラメータが使われ、ベース・レイヤ、および存在する場合下位リファインメント・レイヤによって送信されてきた変換係数に対する差分として、残差リファインメントが符号化されているのかどうかを示す。ｃｈａｎｇｅ＿ｔｏｐ／ｂｏｔ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇがセットされていない場合、新規の動きパラメータが、送信され（このケースでは差動符号化は使われていないが、前記に示すようにこれも可能である）、追加のフラグ、すなわち、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが送信され、このフラグは、今まで使われていた残差が有効かどうかを表す。後者のフラグがセットされる場合、リファインメントは、差分／残差／リファインメントとして符号化され、セットされない場合は、残差信号は全面的に更改され符号化される。

また一方、フレーム／フィールド設定が、ベース・レイヤの設定から変更された場合は、構文要素ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが信号伝達されることなく、現在のトップマクロブロックに対する新規のマクロブロックのパーティション区画モード、動きベクトル、および参照画面番号が送信され（ライン７０、７２）、この場合、復号装置側において、該構成要素は０に等しいと推定する（ライン７４、７６）。同じことがボトムマクロブロックに対して繰り返される（ライン７８〜８６）。全体のマクロブロック・ペアのトップおよびボトムマクロブロックに対する動き情報の送信を終えた後、現在のマクロブロック・ペアに対する変換係数レベルの送信が開始される（ライン９０および９２）。当然ながら、１０〜９２のステップは、さらなるマクロブロック・ペアに対しても同様に実施される。

なお、前記の擬似コードの実施形態に関し、これら変更構文は、フレーム符号化の場合、すなわち、ｆｉｅｌｄ＿ｐｉｃ＿ｆｌａｇが０に等しい場合であって、マクロブロック適応フレーム／フィールド符号化が有効の場合、すなわちｍｂ＿ａｄａｐｔｉｖｅ＿ｆｒａｍｅ＿ｆｉｅｌｄ＿ｆｌａｇが１に等しい場合（ライン１２）にだけ適用される。さらに、フレーム／フィールド設定は、プログレッシブ・リファインメント・スライスの符号化の過程で、当該マクロブロック・ペアが最初にアクセスされたときにだけ伝送される（ライン１６、１８）。構文要素がベースＳＮＲレイヤの対応する構文要素と異なる場合には、マクロブロック・モード、動きおよび／または予測情報の新規セットが、マクロブロック・ペアの双方のマクロブロックに対し伝送され（ライン７０、７２、８０、８２）、マクロブロック・ペアの双方のマクロブロックに対し、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは０に等しいと推定される（ライン７４、７６、８４、８６）。加えて、変換サイズを定義する構文要素を送信することもできよう。前述したシグニフィカンス・パスにおいて、トップマクロブロックの第一変換係数レベルから符号化が進む（ライン９０、９２）。フレーム／フィールド設定を定義する構文要素の値が、ベース品質スライスの対応値と同一の場合、ＦＧＳ符号化は、前述のＰＣＴ出願またはＪＶＴ−Ｑ０３１のコンセプトに従って行われる。該符号化は、トップマクロブロックを進め、最初に、マクロブロック・モードおよび関連する動きおよび予測データの変更を定義する構文要素、ｃｈａｎｇｅ＿ｔｏｐ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇが送信される（ライン２６）。この構文要素が１に等しい場合、新規のマクロブロック・モードおよび関連する動きおよび予測データ、ならびにベース・レイヤからの残差予測の使用を定義するフラグが送信される（ライン３２〜３６）。次いで、符号化は、シグニフィカント・パスにおけるトップマクロブロックの第一変換係数レベルを進める（ライン４０、４２）。

引き続くマクロブロック・ペアまたはマクロブロックへのすべてのアクセスにおいて、ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ＿ＥＬ、およびｃｈａｎｇｅ＿ｔｏｐ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇまたはｃｈａｎｇｅ＿ｂｏｔ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇ（適用される場合）、および変更マクロブロック予測モードを定義する対応構文要素が、既に送信されてしまっている場合には、前記した順番で追加の変換係数レベルだけが符号化される。すなわち、構文要素ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ＿ＥＬ（および、対応マクロブロック・ペアに対するマクロブロック予測情報のあり得る変更）は、最初のアクセスのときにだけ送信され、現在プログレッシブ・リファインメント・スライスにおいて、当該マクロブロック・ペア変換係数レベルは送信されない。同様に、構文要素ｃｈａｎｇｅ＿ｔｏｐ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇまたはｃｈａｎｇｅ＿ｂｏｔ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇ、およびマクロブロック予測情報の変更内容は、ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ＿ＥＬが、ＳＮＲベース・レイヤ中の同所所在のマクロブロックのペアのｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇと等しく、当該マクロブロックへの最初のアクセスであり、該マクロブロックに対し、変換係数レベルがまだ送信されていないときにだけ送信される。

図４に関連して、スケーラブル・ビットストリーム１２６の復号するために、復号装置により実施されるステップが説明される。復号装置は、ステップ８００において、スケーラブル・ビットストリーム１２６中に含まれるベース・レイヤ・ビットストリーム１２２ａおよび１２２ｂの構文解析から作業開始する。ステップ８００の結果として、復号装置は、各マクロブロック・ペアに対するフィールド／フレーム・モード、各マクロブロックに対する動きパラメータ、および存在する残差情報を把握する。すなわち、ステップ８００において、復号装置は、ベース・レイヤ・データストリーム１２２ａ、ｂから情報２１４、２４０、および２４２を抽出する。次のステップ、ステップ８０２において、復号装置は、さらなるリファインメントまたは品質拡張が、要求／必要とされているかどうかをチェックする。必要ない場合、復号装置は、そのまま復号ステップ８０４に進みベース・レイヤ・データストリーム１２２ａ、ｂを復号する。要求／必要とされる空間解像度によって、復号８０４は、Ｈ．２６４／ＭＰＥＧ４−ＡＶＣ規格に従ってベース・レイヤ・ビットストリーム１２０ｂだけが復号されるか、または、同規格に従ってベース・レイヤ・ビットストリーム１２０ａ、ｂの両方が復号され、次いで、粗く再構築された画面は、より細密に再構築された画面へとリファインされる。

さらなるリファインメントが要求／必要な場合、復号装置はステップ８０６に移行し、フレーム／フィールド・モード変更表示（ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇ）および、変更が指示されていない場合には、動き拡張オン／オフ指示（ｃｈａｎｇｅ＿＊＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇ）が、次により高位のリファインメント・レイヤ・ビットストリーム１２２ａ、ｂから抽出される。ステップ８０６において、復号装置は、現在のリファインメント・レイヤ中のマクロブロック・ペアらのフレーム／フィールド・モード、およびベース・レイヤまたは下位レイヤ中の変換係数レベルの有意性から、現在リファインメント・レイヤに対して、符号化装置側で使われたシグニフィカンス・パスおよびリファインメント・パスを再構築することができる。これにより、次のステップ８０８において、復号装置は、現在の動き情報の置き換えを示す動き拡張オン／オフ指示を有するすべてのマクロブロック、および変更されたフレーム／フィールド・モード設定を有するすべてのマクロブロックに対する動き情報を抽出するために、ならびに、ｃｈａｎｇｅ＿＊＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇがセットされている場合には、リファインメント・データストリームから構文解析された、またはｃｈａｎｇｅ＿＊＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇがセットされていない場合には、差動符号化を示すために推定された、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに応じ、差動符号化された残差情報、または自己完結的残差情報を表す残差情報とを抽出するために、リファインメント・レイヤを構文解析し、次いで、ステップ８１０において、復号装置は、各マクロブロック・ペアに対し、フレーム／フィールド・モードが下位レイヤのものから変更されているかどうかをチェックする。ｙｅｓの場合は、復号装置は、ステップ８１２に移行し、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが０に等しいと推定されるので、現在の符号化データ、すなわち、現在の動き／残差データを、現在の拡張レイヤの拡張レイヤ・データストリームから抽出した動き／リファインメント情報２６４および２６６と置き換える。また一方、フレーム／フィールド・モードが変更されていないすべてのマクロブロック・ペアに対して、復号装置は、動き拡張オン／オフ・インジケータ、すなわち、構文要素ｃｈａｎｇｅ＿ｂｏｔ＿ｐｒｅｄ＿ｉｎｆｏ＿ｆｌａｇをチェックし、マクロブロック・ペアのそれぞれのマクロブロックに対する動き拡張情報２６４または２６６が存在しないかどうかを点検する。存在する場合、復号装置は、当該マクロブロックに対する現在の動きデータ、すなわち、動き情報を置き換え（別の実施形態ではリファインし）、また、着信データストリーム中に送信されてきた、それぞれのフラグ、すなわち、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに応じ、当該マクロブロックに対する残差データを置き換えまたはリファインする。さらに正確に言えば、前記擬似コードよって拡張レイヤ・データストリームを復号する場合には、動き情報は、必ず置き換えられ、フレーム／フィールド設定が変更されていない場合には、残差情報は、ある特定のインジケータ、前述の擬似コード拡張レイヤ・データストリームの場合であれば、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに基づいて、置き換えられるかリファインされる。置き換える場合には、拡張レイヤに含まれる特定のマクロブロックに対する動き情報は、下位レイヤの動き情報を全面的に置き換えたものとなる。リファインメントの場合には、下位レイヤの情報は、拡張レイヤ中のそれぞれの情報と組み合わされる。特に、拡張レイヤの変換係数レベルは、逆量子化され、既に逆量子化またはスケールされた（および最終的に合算された）下位レイヤの対応変換係数の変換係数レベルに加算される。

他の場合、すなわち、動き拡張オン／オフ・インジケータは、拡張レイヤが個別のマクロブロックに対する動き拡張情報を持たないことを示している場合、当該マクロブロックに対する動きデータに関する変更は行われないが、復号装置は、ステップ８１８において、それまでに着信データストリームから得られた現在の変換係数の組み合わせと、現在リファインメント・レイヤ残差データからの、リファインのための（逆量子化を介した）リファインメント情報、すなわち、狭められた量子化ステップサイズ幅により定義された変換係数レベルとを使って、残差データをリファインする。

上記の後、すなわち、現在の画面のすべてのマクロブロックに対し、ステップ８１２，８１６、および８１８のどれかを実施した後、手順は、さらなるリファインメントが要求／必要かどうかをチェックするために、ステップ８０２に戻る。ｙｅｓの場合、次のリファインメント・レイヤに対し、ステップ８０６〜８１８が繰り返し実施される。ｎｏの場合、手順はステップ８０４に進み、現在の符号データが復号され、すなわち、逆スペクトル分解などの再変換が行われ、現在の動き情報を使うことにより、マクロブロックの画面コンテンツが予測され、既に再構築されている参照画面、および再変換と前記により得られた予測と組み合わせから得られた残差情報に基づいて、再構築された形の現在画面が生成される。

前記の実施形態を要約すれば、これらは、以下の特質を備えたＦＧＳ符号化スキームを表している。第一には、上下に隣り合ったマクロブロックのペアが、フレームのペア、またはフィールド・マクロブロックのペアのいずれかに符号化される、マクロブロック適応フレーム／フィールド設定を持つフレームに対する符号化がサポートされている。さらに、ベースＳＮＲレイヤのマクロブロック・ペアに対するフレーム／フィールド設定は、ＦＧＳ拡張レイヤにおいて状況に応じ変更することができる。該ＦＧＳ拡張レイヤに対するフレーム／フィールド設定は、ＦＧＳ拡張レイヤ中の各マクロブロック・ペアまたはマクロブロック・ペアのサブセットに対する構文要素によって信号伝達することができる。フレーム／フィールド設定が信号伝達されないマクロブロック・ペアについては、既に送信されている構文要素を使うことによって、フレーム／フィールド設定が推定される。一つの実施形態において、拡張レイヤ中のフレーム／フィールド設定が、ＳＮＲベース・レイヤのフレーム／フィールド設定と異なる場合は、マクロブロックの動きおよび予測情報の完全なセットが送信される。拡張レイヤ中のフレーム／フィールド設定が、ＳＮＲベース・レイヤのフレーム／フィールド設定と異なる場合は、ＳＮＲベース・レイヤからの残差予測の使用を規定している構文要素はＸに等しいと予測することができる。前記のＸの値は、残差予測が適用されず、再構築された残差信号が、現在ＦＧＳ拡張レイヤの変換係数レベルだけを使って得られたものであることを規定する。これに代えて、拡張レイヤにおけるマクロブロック・ペアのフレーム／フィールド設定が、ＳＮＲベース・レイヤのフレーム／フィールド設定と同一場合に、マクロブロック・ペアの双方のマクロブロックに対し構文要素を送ることもできる。この構文要素で、新規のマクロブロックの動きおよび／または予測情報をＦＧＳ拡張レイヤで送信するかどうか、またはＳＮＲベース・レイヤ中の同所所在のマクロブロックの動きおよび／または予測情報を用いるかどうかを規定することができる。フィールド・マクロブロックに対する動き補償は、フィールド・ベースで行われ、フレーム・マクロブロックに対する動き補償は、フレーム・ベースで行われる。同様に、フィールド・マクロブロックに対する逆変換は、フィールド・ベースで行うことができ、フレーム・マクロブロックに対する逆変換はフレーム・ベースで行うことができる。さらに同様に、変換ブロック内の変換係数のスキャン順序は、対象マクロブロックが、フィールド・マクロブロックまたはフレーム・マクロブロックのどちらであるかによって決まる。

終わりに、マクロブロック・ペアのフレーム／フィールド・モードを規定するための構文要素を、条件エントロピ符号を使って送信することができ、該条件は、ＳＮＲベース・レイヤ中の同所所在マクロブロック・ペアフレーム／フィールド・モードにより決まる。例えば、構文要素２５８を、ベース・レイヤ中のフィールド／フレーム・モード設定２１２に依存する確率推定を用いたエントロピ符号を使って送信することができる。

最後に、前述の実施形態は、特にＨ．２６４／ＭＰＥＧ４−ＡＶＣ規格に関連するものであった。しかしながら、本発明は、他の符号化スキームに対しても適用が可能である。

実際の実行形態に応じて、本発明の符号化スキームをハードウエアまたはソフトウエアに実装することができる。したがって、本発明は、ＣＤ、ディスク、または任意の他のデータ・キャリヤのような、コンピュータ可読の媒体に格納することが可能なコンピュータプログラムにも関係する。それ故に、本発明は、コンピュータで実行されると、前記の図に関連させて説明した本発明の方法実施するプログラム・コードを備えたコンピュータプログラムもある。

さらになお、流れ図に示されたすべてのステップを個別の手段で実行することができ、該実行には、ＣＰＵ、ＡＳＩＣの回路部分などで実行されるサブルーチンを含めることができる。

特定の実施形態を参照して、本発明を具体的に提示、説明しているが、本発明の精神および範囲から逸脱することなく、これらの形態および細部に多様な変更を加えることができることを、当業者は理解していよう。本明細書に開示され、添付特許請求範囲に包括される広義の概念から逸脱することなく、各種の実施形態に合わせて、さまざまな変更を加えることができるのを理解されよう。

本発明の実施形態による映像符号化装置のブロック図である。 画面のマクロブロック・ペアへのサブ分割、およびマクロブロック適応フレーム／フィールド設定を持つ符号化フレームのスライスがアクティブな場合の、プログレッシブ・リファインメント・スライスのマクロブロックのスキャンを示す概略図である。 ベース・レイヤ・データストリームの生成に関連し、図１の符号化装置の動作のモードを示す概略ブロック図である。 第一拡張レイヤの生成に関連し、図１の符号化装置の動作のモードを示す概略ブロック図である。 本発明の実施形態による、復号装置側において実施されるステップを示すフローチャートである。 スケーラブル映像符号化のための従来型の符号化装置の構造である。

Claims (23)

1. 所定画面（２００）を符号化する符号化された精度スケーラブル・データストリーム（１２６）を復号するための復号装置であって、前記符号化された精度スケーラブル・データストリームは、
   前記所定画面の所定部分（２０２ａ、ｂ）のために、フレーム符号化モードおよびフィールド符号化モードのうちの一方を使用して、前記所定画面が、第一精度で符号化される、第一精度符号化データ（１２０ａ、ｂ）と、
   前記所定部分（２０２ａ、ｂ）のために、前記フレーム符号化モードおよび前記フィールド符号化モードのうちの他方を使用して、前記所定部分が、前記第一精度より高い第二精度で符号化され、前記符号化された所定部分を含む第二精度符号化データを表すか、または前記第二精度符号化データを得るために、前記第一精度符号化データをリファインするリファインメント情報を表す、さらに高精度の情報（１２２ａ、ｂ）と、
   前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分に使用される前記フレームおよびフィールド符号化モードの変更があることを表す指示情報（２５６）とを含み、
   前記復号装置は、
   前記指示情報が、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分に使用される前記フレームおよびフィールド符号化モードの変更があることまたはないことを表示しているかどうかについて、前記指示情報をチェックするためのチェック手段（８１０）と、
   前記指示情報が、前記フレームおよびフィールド符号化モードの変更があることを表示している場合、前記所定部分に関する前記第一精度符号化データを少なくとも部分的に無視し、その代わりに、復号のためのデータとして前記第二精度符号化データを準備するか、あるいは、前記さらに高精度の情報に基づいて、前記第二精度符号化データを得るために、前記所定部分に関する前記第一精度符号化データをリファインし、そして復号のためのデータとして前記得られた第二精度符号化データを準備する、準備手段（８１０〜８１６）と、
   前記第二精度で前記所定画面を再構築するために、前記所定画面の前記所定部分のために、フレームおよびフィールド符号化モードのうちの他方を使用して、前記準備されたデータを復号するための復号手段（８０４）とを含む、復号装置。
2. 前記第一精度符号化データおよび前記さらに高精度の情報を実現するために、前記符号化された精度スケーラブル・データストリームを構文解析するための構文解析手段（８００〜８０８）をさらに含む、請求項１に記載の復号装置。
3. 前記構文解析手段は、前記指示情報に基づいて前記さらに高精度の情報の前記構文解析を行うよう構成されている、請求項２に記載の復号装置。
4. 前記所定画面は、映像画面シーケンス（１０４）の一部であり、前記復号手段は、復号のための前記データから、前記所定部分に対する動き情報および個別残差情報を抽出し、前記所定部分に対する動き補償付予測を得るために前記動き情報を再構築参照画面に適用し、そして、前記動き補償付予測と前記残差情報とに基づいて前記所定部分を再構築するために構成されている、請求項１ないし請求項３のいずれかに記載の復号装置。
5. 前記復号手段は、前記残差情報を抽出するために、逆スペクトル分解を行うよう構成されている、請求項４に記載の復号装置。
6. 前記復号手段は、前記指示情報に基づき、前記動き情報の前記適用および前記所定部分の前記再構築を実施するよう構成されている、請求項４または請求項５に記載の復号装置。
7. 前記準備手段（８１０〜８１６）は、前記復号装置に対する指示が、前記所定画像を前記第一精度だけで再構築することを伝えるものである場合には、前記第二精度符号化データを無視し、復号のためのデータとして前記第一精度符号化データを準備するために構成されている、請求項１ないし請求項６のいずれかに記載の復号装置。
8. 前記準備手段（８１０〜８１６）は、前記指示情報が、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分のために、前記フレームおよびフィールド符号化モードの前記変更がないことを表示している場合には、前記所定部分に関し、前記第一精度符号化データをリファインするかどうかについて、前記符号化された精度スケーラブル・データストリーム中のリファインメント変更情報（２６０）をチェック（８１４）し、前記チェックの結果に応じ、前記所定部分に関し、前記復号対象データとして前記第一精度符号化データを維持するか、または前記第二精度符号化データを得るために、前記高精度情報に基づいて前記第一精度符号化データをリファイン（８１６）し、前記復号対象データとして前記得られた第二精度符号化データを準備するよう構成されている、請求項１ないし請求項７のいずれかに記載の復号装置。
9. 前記指示情報は、前記所定部分に関する第一構文要素によって伝達され、前記所定画面は別の所定部分を含み、前記さらに高精度の情報は、前記第一精度符号化データと前記第二精度符号化データとの間で、前記別の所定部分に関する前記フレームおよびフィールド符号化モードの変更がないことまたはあることを伝達するための、前記別の所定部分に関するいかなる第二構文要素をも持たず、前記チェック手段は、前記さらに高精度の情報の中の既に送信されている構文要素を使うことにより、前記第二構文要素の値を推定するために構成されている、請求項１ないし請求項８のいずれかに記載の復号装置。
10. 第二チェック手段をさらに含み、該手段は、前記指示情報が、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分に関する前記フレームおよびフィールド符号化モードの変更がないことを表示している場合、前記第二精度符号化データが、動き情報および残差情報のうちの少なくとも一方を含むかどうか、前記所定部分に関連して、前記第一精度符号化データで前記第二精度符号化データが置き換えられるのか、またはチェック結果を得るために、前記第二精度符号化データが、前記第二精度符号化データを得るように前記第一精度符号化データをリファインするために設けられるかどうかについて、前記さらに高精度の情報からなる下位情報（２６０）をチェックして、前記準備手段は、前記チェック結果に基づいて、前記動き情報または残差情報に関し、前記無視および準備、または前記リファインおよび準備を実施するよう構成されている、請求項１ないし請求項９のいずれかに記載の復号装置。
11. 前記第二精度符号化データは、前記所定部分の少なくとも一部の動き補償付残差を表す変換係数マトリックスの変換係数に対する変換係数レベルを含み、前記構文解析手段は、前記変換係数の間でのスキャン順序を使用するよう準備され、前記スキャン順序は、前記指示情報に応じ、第一スキャン順序および前記第一スキャン順序とは異なる第二スキャン順序の一つに等しい、請求項１ないし請求項１０のいずれかに記載の復号装置。
12. 前記準備手段と復号手段とは、前記指示情報（２５６）が、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分のために、前記フレームおよびフィールド符号化モードの前記変更があることを表示している場合、前記動き補償付残差を得るために、前記変換マトリックスに逆変換を適用し、前記動き補償付残差と、フィールドまたはフレーム符号化モードを使用して符号化される再構築参照画面の部分とを組み合わせ、前記フレーム符号化モードおよびフィールド符号化モードのうちの他方が、フレーム符号化モードである場合において、前記再構築画面と等しい再構築画面候補を得るために、前記さらに高精度の情報または前記第一精度符号化データに表示された動き情報によって、前記所定部分から変位され、そして、前記フレームおよびフィールド符号化モードのうちの他方が、フィールド符号化モードである場合においては、前記再構築画面を得るために、前記再構築画面候補をフレーム表現からフィールド表現に変換するように構成されている、請求項１１に記載の復号装置。
13. 所定画面を符号化するための符号化装置であって、
    第一精度符号化データ（１２０ａ、ｂ）を得るために、前記所定画面の所定部分（２０２ａ、ｂ）のために、フレーム符号化モードおよびフィールド符号化モードのうちの一方を使用して、前記所定画面を第一精度で符号化するためのベース符号化手段（１１０ａ、ｂ、１１２ａ、ｂ）と、
    フレーム符号化モードおよびフィールド符号化モードのうちの他方を使用して、前記所定部分が、前記第一精度より高い第二精度で符号化され、前記符号化された所定部分を含む第二精度符号化データを表すか、または前記第二精度符号化データを得るために、前記第一精度符号化データをリファインするリファインメント情報を表す、さらに高精度の情報（１２０ａ、ｂ）を設定するための設定手段（１１４ａ、ｂ）と、
    前記所定画面を符号化している符号化された精度スケーラブル・データストリーム（１２６）を構築するための構築手段（１２４）であって、該ストリームは、前記第一精度符号化データ（１２０ａ、ｂ）、前記さらに高精度の情報（１２２ａ、ｂ）、および、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分に使用される前記フレームおよびフィールド符号化モードの変更を示す指示情報（２５６）を包含する、構築手段とを含む、符号化装置。
14. 前記所定画面は、別の所定部分をさらに含み、前記さらに高精度の情報は、前記別の所定部分が、前記第二精度およびフレームおよびフィールド符号化モードのうちの一方を使用して符号化され、前記符号化された別の所定部分を含む別の第二精度符号化データも表すか、または、前記別の所定部分が、前記第一精度で符号化される別の第一精度符号化データをリファインする別の個別リファインメント情報も表しており、前記設定手段は、前記第二精度符号化データを、同データが前記所定部分の動き補償付残差を表す第一変換係数マトリックスの変換係数に対する第一変換係数レベルを含むように設定し、前記別の第二精度符号化データを、同データが前記別の所定部分の動き補償付残差を表す第二変換係数マトリックスの変換係数に対する第二変換係数レベルを含むように設定するよう構成されており、前記構築手段は、前記第一変換係数レベルを、前記第一変換係数マトリックスの前記変換係数の間での第一スキャン順序に従って、前記符号化された精度スケーラブル・データストリームに符号化し、前記第二変換係数レベルを、前記第二変換係数マトリックスの前記変換係数の間での前記第一スキャン順序とは異なる第二スキャン順序に従って、前記符号化された精度スケーラブル・データストリームに符号化するために構成されている、請求項１３に記載の符号化装置。
15. 前記構築手段は、前記指示情報に基づいて前記さらに高精度の情報が正しく構文解析されるようにして前記構築を行うために構成されている、請求項１３または請求項１４に記載の符号化装置。
16. 前記所定画面は、映像画面シーケンス（１０４）の一部であり、前記ベース符号化手段と前記設定手段とは、前記第二精度符号化データが、前記符号化された精度スケーラブル・データストリームから、前記所定部分に対する動き情報および個別残差情報のうちの少なくとも一方を得ることと、前記所定部分に対する動き補償付予測を得るために、前記動き情報を既に符号化され再構築された参照画面に適用し、そして、前記動き補償付予測および前記残差情報に基づき前記所定部分を再構築することとが可能になるよう設計されている、請求項１３ないし請求項１５のいずれかに記載の符号化装置。
17. 前記ベース符号化手段と前記設定手段とは、前記残差情報を抽出するために逆スペクトル分解が実施されなければならないように構成されている、請求項１６に記載の符号化装置。
18. 前記ベース符号化手段と前記設定手段とは、前記指示情報に基づいて前記動き情報の前記適用および前記所定部分の前記再構築が実施されなければならないように構成されている、請求項１６または請求項１７に記載の符号化装置。
19. 前記構築手段（１１４ａ、ｂ）は、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定画面の別の所定部分に使用される前記フレームおよびフィールド符号化モードの前記変更がないことを前記指示情報が表示すよう構成され、前記構築手段と前記設定手段とは、前記別の所定部分に関し、前記第一精度符号化データがリファインされるのかどうかを示すリファインメント変更情報（２６０）を前記符号化された精度スケーラブル・データストリームが含み、前記さらに高精度の情報が、前記第二精度で前記所定部分を符号化している別の第二精度符号化データを得るために、前記別の所定部分に関し、前記第一精度符号化データをリファインするさらなるリファインメント情報を追加して表すように構成されている、請求項１３ないし請求項１８のいずれかに記載の符号化装置。
20. 前記構築手段（１１４ａ、ｂ）は、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定画面の別の所定部分に使用される前記フレームおよびフィールド符号化モードの前記変更がないことを前記指示情報が表示すよう構成され、前記構築手段と前記設定手段とは、前記符号化された精度スケーラブル・データストリームが前記さらに高精度の情報からなる下位情報（２６０）を含むように構成され、該下位情報は、前記さらに高精度の情報が前記別の所定部分に対する動き情報および残差情報のうちの少なくとも一方を包含する別の第二精度符号化データを含むかどうかを表示し、前記所定部分に関し前記第一精度符号化データに前記別の第二精度符号化データが置き換えられるのか、または前記別の第二精度符号化データは、前記第二精度符号化データを得るために、前記別の所定部分に関し前記第一精度符号化データをリファインするために設けられるかどうかを表示する、請求項１３ないし請求項１９のいずれかに記載の符号化装置。
21. 符号化された所定画面を有する精度スケーラブル・ビットストリームであって、前記精度スケーラブル・ビットストリームは、
    前記所定画面の所定部分（２０２ａ、ｂ）のために、フレームおよびフィールド符号化モードのうちの一方を使用して、前記所定画面が、第一精度で符号化される、精度符号化データ（１２０ａ、ｂ）と、
    前記所定部分（２０２ａ、ｂ）のために、前記フレームおよびフィールド符号化モードのうちの他方を使用して、前記所定部分（２０２ａ、ｂ）が、第一精度より高い第二精度で符号化され、前記符号化された所定部分を含む第二精度符号化データを表すか、または前記第二精度符号化データを得るために、前記第一精度符号化データをリファインするファインメント情報を表す、さらに高精度の情報（１２２ａ、ｂ）と、
    前記第一精度符号化データと前記第二精度符号化データとの間で、前記フレームおよびフィールド符号化モードの変更があることを示す指示情報（２５６）とを含む、ビットストリーム。
22. 所定画面（２００）を符号化した符号化された精度スケーラブル・データストリーム（１２６）を復号する方法であって、前記符号化された精度スケーラブル・データストリームは、
    前記所定画面の所定部分（２０２ａ、ｂ）のために、フレーム符号化モードおよびフィールド符号化モードのうちの一方を使用して、前記所定画面が、第一精度で符号化される、第一精度符号化データ（１２０ａ、ｂ）と、
    前記所定部分（２０２ａ、ｂ）のために、前記フレーム符号化モードおよび前記フィールド符号化モードのうちの他方を使用して、前記所定部分（２０２ａ、ｂ）が、前記第一精度より高い第二精度で符号化され、前記符号化された所定部分を含む第二精度符号化データを表すか、または前記第二精度符号化データを得るために、前記第一精度符号化データをリファインするリファインメント情報を表す、さらに高精度の情報（１２２ａ、ｂ）と、
    前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分に使用される前記フレームおよびフィールド符号化モードの変更があることを表す指示情報（２５６）とを含み、
    前記方法は、
    前記指示情報が、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分に使用される前記フレームおよびフィールド符号化モードの変更があることまたはないことを表示しているかどうかについて、前記指示情報をチェックするステップ（８１０）と、
    前記指示情報が、前記フレームおよびフィールド符号化モードの変更があることを表している場合、（８１０〜８１６）前記所定部分に関し前記第一精度符号化データを少なくとも部分的に無視し、その代わりに、復号のためのデータとして前記第二精度符号化データを準備するか、あるいは、前記さらに高精度の情報に基づいて、前記第二精度符号化データを得るために、前記所定部分に関する前記第一精度符号化データをリファインし、そして復号のためのデータとして前記得られた第二制度符号化データ準備するステップと、
    前記第二精度で前記所定画面を再構築ために、前記所定画面の前記所定部分のために、フレームおよびフィールド符号化モードのうちの他方を使用して、前記準備されたデータを復号するステップ（８０４）とを含み、ハードウェアにより実行される、方法。
23. 所定画面を符号化する方法であって、
    所定画面（２００）の所定部分（２０２ａ、ｂ）のために、フレーム符号化モードおよびフィールド符号化モードのうちの一方を使用して、第一精度符号データ（１２０ａ、ｂ）を得るために、前記所定画面が、第一精度で符号化されるステップと、
    フレーム符号化モードおよびフィールド符号化モードのうちの他方を使用して、前記所定部分が、前記第一精度より高い第二精度で符号化される、第二精度符号化データを表すか、または前記第二精度符号化データを得るために、前記第一精度符号化データをリファインするリファインメント情報を表す、さらに高精度の情報（１２０ａ、ｂ）を設定するステップと、
    前記所定画面を符号化している符号化され精度スケーラブル・データストリーム（１２６）を構築するステップであって、該ストリームは、前記第一精度符号化データ（１２０ａ、ｂ）、前記さらに高精度の情報（１２２ａ、ｂ）、および、前記第一精度符号化データと前記第二精度符号化データとの間で、前記所定部分に使用される前記フレームおよびフィールド符号化モードの変更を示す指示情報（２５６）を包含する、構築するステップとを含み、ハードウェアにより実行される、方法。

Images