JPH11513873A - ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法 - Google Patents

Abstract

(57)【要約】 マクロブロックに選択された量子化スケールに基づいてマクロブロック・コード化モードを選択するための装置および付随した方法である。各マクロブロックをコード化するために必要とされるビット総数は、動きベクトル（３２０）をコード化するために必要とされるビット、および予測残差（３３０）をコード化するためのビットの２つの部分から成る。動きベクトルのコード化用ビットの数は、通常、ルックアップ・テーブルから得られる。予測残差のコード化のためのビット数は、予測残差を符号化するためのビット数がその分散の値に正比例し、量子化器ステップ（量子化スケール）の値に反比例すると仮定する推定により得られる。この推定を使用して、マクロブロックをコード化するために必要なビットの総数が計算され（３４０）、各コード化モードについて比較される（３５０）。ビットのもっとも少ない数が設定されるコード化モードを選択することにより、実際的な実現のための複雑度が低いほぼ最適な解が取得される。

Description

【発明の詳細な説明】 ブロック・ベースのコード化システムにおいてコード化モードを選択するため の装置および方法 本発明は、動きのある画像（motion video）のコード化（coding）を最適化す るための装置（apparatus）および付随した方法に関する。さらに特定すると、 本発明は、マクロブロックのために選択された量子化スケールに基づいて、マク ロブロック・コード化モードを選択する装置および方法に関する。 デジタル画像技術の開発の進展は、画像圧縮コーディンクの高い費用を削減し 、また異なる製造業者の設備の相互運用性（インタオペラビリティ）の問題を解 決するというつねに大きくなり続ける問題を提示する。これらの目標を達成する ために、メディア統合系動画像圧縮の国際標準（Moving Picture Experts Group 、ＭＰＥＧ）が、（一般的にはＭＰＥＧ−１と呼ばれている）ＩＳＯ／ＩＥＣ国 際規格１３８１８−１（１９９４年）および（一般的にはＭＰＥＧ−２と呼ばれ ている）１３８１８−２（１９９５年１月２０日草案）を作成していて、これら は参照することによって全体としてここに組込まれる。これらの規格の１つの目 標は、デスクトップ・ビデオ・パブリッシング、ビデオ会議、デジタル記憶媒体 、およびテレビ放送といった複数の異なった用途およびサービスを処理するため に、十分な柔軟性を持つ標準的なコード化／復号化戦略を確立することである。 ＭＰＥＧ規格は、ＭＰＥＧに準拠したビットストリーム（）を生成するための 一般的な汎用コード化方法およびシンタックスを指定しているが、多くのバリエ ションがパラメータの多くに対して指定された値において許されており、それに より広範囲にわたって応用および相互運用性を維持している（support）。実際 、ＭＰＥＧは正当な（valid）ビット・ストリームを作成するために必要とされ る特定のアルゴリズムを定義していない。さらに、ＭＰＥＧエンコーダの設計者 は、画像前処理、動き推定、コード化モード決定、分解能可変性（スケーラビリ ティ、scalability）、およびレート（rate）制御といった領域において独自の ＭＰＥＧ固有の（MPEG-specific）アルゴリズムを開発し、また実現する際に大 きな柔軟性 を授けられている。この柔軟性は、異なるＭＰＥＧ固有のアルゴリズムの開発お よび実現を助長し、それにより市場において製品の区別化に帰着する。しかしな がら、ＭＰＥＧエンコーダ設計者の１つの共通した目標とは、規定されたビット ・レートおよび動作遅延の制約に対して本来的な（subjective）歪み（distorti on）を最小限に抑えることである。 コード化モード決定の領域では、ＭＰＥＧは、複数の異なるマクロブロックコ ード化モードを提供する。一般的には、これらのコード化モードは、２つの幅広 い分類、インター・モード・コード化（インター・モード・コーディング）とイ ントラ・モード・コード化（イントラ・モード・コーディング）とにグループ化 される。イントラ・モード・コード化は、そのマクロブロックまたはピクチャか らのみの情報を使用する、マクロブロックまたはピクチャのコード化を伴う。反 対に、インター・モード・コード化は、それ自体および異なる時間に起こるマク ロブロックおよびピクチャの両方からの情報を使用する、マクロブロックまたは ピクチャのコード化を伴う。具体的には、ＭＰＥＧ−２は、イントラ・モード、 動き補償なしモード（no motion compensation、Ｎｏ ＭＣ）、順方向／逆方向 ／平均インター・モード、およびフィールド／フレームＤＣＴモードを含むマク ロブロック・コード化モードを提供する。各コード化モードの詳細な説明につい ては、ＭＰＥＧ−１とＭＰＥＧ−２用のＩＳＯ／ＩＥＣ国際規格を参照する。 これらのコード化モードは、マクロブロックをコード化するために必要なビッ ト数において異なる効率を生み出す異なるコード化戦略（予測、prediction）を 提供する。このため、各モードは、量子化スケールの粗さ（coarseness）、ピク チャ・タイプ、およびマクロブロック内での信号の性質といったある数の異なっ た因子に応じて、別のモードよりさらに効率的である。最適なコード化性能を達 成するためには、各別個モードに対して特定のマクロブロックをコード化するた めに必要なビット数を計算し、また比較することによって、もっとも効率的なコ ード化モードを選択することが必要である。もっとも効率的なコード化モードは 、マクロブロックを最も少ないビット量でコード化すべきである。しかしながら 、最適解の決定は、運動ベクトルのＭＰＥＧ差分符号化および離散コサイン変換 （ＤＣＴ）係数によりさらに複雑化されて、その決定は、スライス長に等しい期 間、マクロブロックからマクロブロックへ持ち越される依存状態を導入する。ス ライスとは、ラスタ・スキャン順序で同じ水平の行に置かれるマクロブロックの シーケンスである。このような依存状態のため、「全検索」計算は、ここでは各個 別マクロブロックを異なるモードでコード化できるスライスをコード化する（co de）際に異なるモードの様々な組み合わせの効率を比較しなければならない。 例証すると、スライスが１０の長さのマクロブロックを有して、５つの異なっ たコード化モードがあると、各スライスに対して５¹⁰の利用可能なコード化組み 合わせがある。全検索のための計算は、モードの数に基づいてスライス・サイズ に指数関数的に比例している。このようにして、依存状態は、指数関数的に大き くなる関数に帰着し、それにより前記計算の複雑度を何倍にも増加させる。実際 、上記の計算に関連した時間遅延は、多くのＭＰＥＧアプリケーションに対して 容認しがたい。したがって、長い時間遅延および耐え難い計算オーバヘッドのた め、全検索計算の結果に基づいてコード化モードを選択することは実用的ではな い。 現在のＭＰＥＧコーディング戦略（例えば、テストモジュール４およびテスト モジュール５（ＴＭ４とＴＭ５））では、各マクロブロックのためのコード化モ ードは、予測残差（エラー信号）のエネルギを比較することにより選択される。 すなわち、イントラ／インター・モードの決定は、各コード化モードの予測残差 の分散に対して、マクロブロック・ピクセルの分散（σ²）を比較することによ って下される。しかしながら、この規準で選択されたコード化モードは、高い分 散が必ずしもマクロブロックのコード化に必要なビット数の増加に転換しないの で、最適コード化性能を達成しない場合がある。したがって、このような分散だ けに基づいたコーディング戦略は、必ずしも最終的な圧縮ビット・カウントを削 減しない場合がある。 したがって、技術分野において、最適解に近づき、また実用的な実現を促進す るために比較的に簡略であるコード化モードを選択するための装置および方法に 対する必要性が存在する。 本発明は、マクロブロックのために選択された量子化スケールに基づいて、マ クロブロック・コード化モードを選択するための装置および方法である。ある特 定のコード化モードの効率は、歪み（つまり、ある特定の量子化スケール）に対 する動作点（operating point）によって影響される。例えば、マクロブロック を符号化する際に低い歪みを作り出すコード化モードが、実際には、マクロブロ ックを符号化する際に高い歪みが許容可能である場合に、不十分に機能する場合 がある。このため、本発明は、マクロブロックのために選択される量子化スケー ルに従った適切なコード化モードを選択する。 具体的には、各マクロブロックをコード化するために必要とされるビットの総 数は、運動ベクトルをコード化するために必要とされるビット、および予測残差 をコード化するためのビットという、２つの部分から成る。動きベクトルをコー ド化するためのビット数は、一般には、ルックアップ・テーブルから獲得される 。予測残差を符号化するためのビット数は、その分散の値に正比例し、また量子 化器ステップ(量子化スケール)の値に反比例する、と仮定する推定によって獲得 される。この推定を使用すると、マクロブロックをコード化するために必要なビ ット総数が計算され、そして各コード化モードについて比較される。もっとも少 ないビット数を持つコード化モードを選択することによって、本発明は、実用的 な実現のための低い複雑度のほぼ最適な解を達成する。 本発明の教示は、添付図面といっしょに、引き続く詳説な記述を考慮すること により容易に理解できる。 図１は、レート制御と共にモード選択を共同して（jointly）決定するための 本発明のシステムのブロック図である。 図２は、マクロブロックのための最適モードの決定を導き出すためのフローチ ャートである。 図３は、予測残差信号をコード化するためのブロック図である。 理解を容易にするために、可能な場合には、図に共通している同一要素を示す ために、同一の参照番号が使用された。 図１は、レート制御と連携してマクロブロックに対するコード化モードを決定 するための本発明の装置１００のブロック図を示す。好ましい実施の形態では、 装置１００は、エンコーダ、またはよりブロック・ベースの複雑な動き補償コー ド化システムの一部分である。装置１００は、動き推定モジュール１４０、動き 補償モジュール１５０、モード決定モジュール１２０、レート制御モジュール１ ３０、ＤＣＴモジュール１６０、量子化モジュール１７０、可変長コード化モジ ュール１８０、バッファ（buffer）１９０、逆量子化モジュール１７５、逆ＤＣ Ｔモジュール１６５、減算器１１５、および総和器（summer）１５５を備える。 エンコーダ１００は複数のモジュールを備えているが、当業者は、様々なモジュ ールによって実行される機能が、図１に示されるように別々のモジュール内に隔 離される必要がないことを理解するだろう。例えば、動き補償モジュール１５０ 、逆量子化モジュール１７５、および逆ＤＣＴモジュール１６５を含むモジュー ルの組が、一般には、「埋込デコーダ（embedded decorder）」として知られて いる。 図１は、ＭＰＥＧ規格に従って輝度および２つの色差信号（Ｙ、Ｃ_r、Ｃ_b）と して表され、またデジタル化される入力動画像（画像シーケンス、画像列）１１ ０を図示する。これらの信号は、各ピクチャ（フレーム）が複数のマクロブロッ クによって表されるように、さらに複数の層に分割されている。各マクロブロッ クは、４個の輝度ブロック、１個のＣ_rブロック、および１個のＣ_bブロックを含 み、ブロックは８×８のサンプル・アレイとして定義される。ピクチャのブロッ ク・ユニットへ分割すると、２つの連続するピクチャ間の変更を認識する能力が 向上し、また（以下に説明される）低振幅の変換係数の排除によって画像圧縮が 改善される。デジタル化された信号は、オプションで、適切なウィンドウ、解像 度、および入力フォーマットを選択するためのフォーマット変換といった前処理 を経る場合がある。 入力動画像（input video image）１１０は、動きベクトルを推定するための 動き推定モジュール１４０内に受け取られる。動きベクトルは、現在のピクチャ 内のブロックの座標位置から基準フレームの座標へのオフセットを提供するため に動き補償により使用される二次元ベクトルである。画像シーケンスの連続（co nsecutive）フレーム間に存在する高い冗長性のため、現在のフレームは、運動 情報（動きベクトル）を使用することによって、以前の基準フレームと、現在の フレームおよび以前のフレームの間の差異とから再構築されることができる。動 きベクトルを使用すると、チャネル上に伝送される情報量を削減することによっ て、画像圧縮が大幅に高まる。なぜなら、現在のフレーム内での変更だけがコー ド化され、伝送されるからである。現在では、動き推定を実現するために、様々 な方 法がエンコーダ設計者に利用可能となる。 動き推定モジュール１４０からの動きベクトルは、サンプル値の予測の効率を 改善するために、動き補償モジュール１５０によって受け取られる。動き補償は 、予測エラーを形成するために使用され以前の復号化サンプル値を含む過去若し くは将来の基準フレーム、またはその両方の基準フレームにオフセットを提供す るために動きベクトルを使用する予測を伴う。すなわち、動き補償モジュール１ ５０は、以前に復号化されたフレームおよび動きベクトルを使用し、現在のフレ ームの推定を構築する。 さらに、与えられたマクロブロックに対して動き補償予測を実行するに先立っ て、コード化モードが選択されなければならない。前述したように、複数のコー ド化モードが使用可能であり、またコード化モードをマクロブロックごとに適切 に選択すると、最適なコード化性能を生み出す。各コード化モードに対する予測 は、動き補償モジュール１５０によって実行される。このため、コード化モード に応じて、動き補償モジュールは、過去若しくは将来の参照ピクチャ、または両 方の参照ピクチャに基づいてブロックの内容の動き補償された予測（予測された 画像）１５２を形成する。この動き補償された予測１５２は、現在のマクロブロ ック内の入力ビデオ画像１１０から減算器１１５を介して差し引かれ、エラー信 号（ｅ）または予測残差を形成する。各マクロブロックのための全コード化モー ドの予測残差は、推定のためのモード決定モジュール１２０に転送される。 モード決定モジュール１２０は、レート制御と共に各マクロブロックのための コード化モジュールの選択を共同して決定するために予測残差を使用する。ただ 、最小の分散を生じさせるマクロブロックのためのコード化モードを単に選択す るＴＭ４およびＴＭ５と異なって、モード決定モジュール１２０は、ある特定の コード化モードの効率に関する特定の量子化スケールの影響を考慮する方法を適 用する。モード決定モジュール１２０は、各コード化モードに対して各マクロブ ロックをコード化するために必要とされるビットの総数を推定する。推定は、予 測残差を符号化するためのビット数がその分散の値に正比例し、また量子化器ス テップ（量子化スケール）の値に反比例するという仮定を用いて、予測残差をコ ード化するためのビット数を得る。この簡略化されたアプローチの下に、ほぼ最 適 な解が全検索の複雑さのほんの一部で得られる。この推定の詳細な記述は、図２ を参照して以下に議論される。 マクロブロックのためのコード化モードを選択して、モード決定モジュール１ ２０は、選択されたコード化モードからの対応する予測残差信号をＤＣＴモジュ ール１６０に渡す。それから、ＤＣＴモジュールは、予測残差信号の各ブロック に順方向離散コサイン変換プロセスを適用し、ＤＣＴ係数の一組の８×８ブロッ クを作り出す。離散コサイン変換は、ＤＣＴ係数が一組のコサイン基底関数の振 幅を表す可逆離散直交変換である。離散コサイン変換の１つの有利な点は、ＤＣ Ｔ係数が非相関である（uncorrelated）ということである。ＤＣＴ係数のこの相 関のないこと（decorrelation、相関が除去されていること）は、圧縮にとって 重要である。なぜなら、各係数は、圧縮効率を失うことなく独立して処理されて いることができるからである。さらに、ＤＣＴ基底関数またはサブバンド分解（ decomposition）は、量子化の次のステップに重要である心理視覚の規準の効果 的な使用する機会を与える（permit）。 結果として生じるＤＣＴ係数の８×８のブロックは、ＤＣＴ係数が量子化され る量子化モジュール１７０によって受け取られる。量子化のプロセスは、一組の 量子化値でＤＣＴ係数を除算し、整数値を生成するために適切に丸めることによ ってＤＣＴ係数が表現される精度を縮小する。量子化値は、（視覚的に重み付け された量子化として知られている）基底関数の可視性に基づいた規準を使用して 、各ＤＣＴ係数にに対して個別に設定されることができる。すなわち、量子化値 は、与えられた基底関数の可視性のしきい値、つまり、人間の目によってちょう ど検出可能な係数の振幅に一致する。ＤＣＴ係数をこの値を用いて量子化するこ とによって、ＤＣＴ係数の多くはゼロに変換されて、それによって画像圧縮効率 を改良する。量子化のプロセスは、鍵となる演算であり、また視覚的な品質を達 成するために、そしてエンコーダの出力を所与のビットレートに一致させるため にエンコーダを制御する（レート制御）ための重要なツールである。異なる量子 化値を各ＤＣＴ係数に適用きるので、一般には、「量子化マトリックス」が、基準 テーブル、例えば輝度量子化テーブルまたは色差（chrominance）量子化テーブ ル、として確立される。このため、エンコーダは、変換されたブロック内の各周 波数係 数がどのように量子化されるのかを決定する量子化マトリックスを選択する。 しかしながら、量子化エラーの自覚的な知覚結果（subjective perception） は、周波数と共に大きく変化し、そしてより高い周波数のためにより粗い量子化 値を使用することが有利である。すなわち、量子化エラーに対する人間の知覚感 度は、より高い空間周波数に対してより低くなる。その結果とし、高い周波数は 、低い周波数より少ない許容値を用いてもっと粗く量子化される。さらに、正確 な量子化マトリックスは、意図された表示の特性、観察距離（viewing distance ）、およびソースにおける雑音の量といった多くの外部パラメータに依存してい る。このため、アプリケーションのために、またはフレームの個々のシーケンス のためにさえ、ある特定の量子化マトリックスを仕立てることが可能である。一 般的には、カスタマイズ化された量子化マトリックスは、圧縮された動画ととも にコンテキストとして格納されることができる。再び、現在では、多くの方法が 、量子化プロセスを実現するために、エンコーダ設計者に対して利用可能である 。 次に、結果として生じる量子化されたＤＣＴ係数の８×８ブロックは、信号接 続１７１を介して可変長コード化モジュール１８０によって受け取られて、この 場合、量子化された係数の二次元ブロックが、そのブロックを量子化されたＤＣ Ｔ係数の一次元文字列に変換するために「ジグザグ」順序で、走査される（scan ）。ジグザグ・スキャン（zig-zag scanning）順序は、最低の空間周波数から最 高の空間周波数までのＤＣＴ係数の近似的な順次的な順序である。量子化は、通 常、高い空間周波数をゼロに縮小するので、量子化されたＤＣＴ係数の一次元文 字列は、典型的にはゼロの文字列が後に続くいくつかの整数によって表現される 。 それから、可変長コード化（ＶＬＣ）モジュール１８０が、量子化されたＤＣ Ｔ係数の文字列、並びにマクロブロック・タイプおよび動きベクトルといったマ クロブロックの全ての副次的な情報を符号化する。ＶＬＣモジュール１８０は、 コード化効率を効率よく改善するために、可変長コード化（可変長コーディング ）およびラン・レングス・コード化（run-length coding、ラン・レングス・コ ーディング）を利用する。可変長コード化は、頻繁なイベントにはより短いコー ド・ワードが割り当てられ、またあまり頻繁ではないイベントにはより長いコー ド・ワードが割り当てられる可逆コード化プロセスであるが、ラン・レングス・ コー ド化は、単独記号を持つ一続き（run）のシンボルを符号化することによりコー ド化効率を上げる。これらのコーディング機構は、技術分野において周知であり 、整数長コード・ワードが使用されるとき、しばしばハフマン・コード化として 参照される。このため、ＶＬＣモジュール１８０は、入力画像を正当なデータ・ ストリームに変換するという最終ステップを実行する。 データ・ストリームは、「先入れ先出し」（ＦＩＦＯ）バッファ１９０内に受け 取られる。異なるピクチャ・タイプおよび可変長コード化を使用する結果は、総 体的なビットレートが可変であるということである。すなわち、各フレームをコ ード化するために使用されるビット数は異なり得る。このため、固定レートのチ ャネルを伴う用途では、ＦＩＦＯバッファが使用され、ビットレートを平滑化す るためにエンコーダ出力をチャネルに一致させる。このようにして、ＦＩＦＯバ ッファ１９０の出力信号は、入力ビデオ像（input video image）１１０の圧縮 された表現であって、それは記憶媒体または遠隔通信チャネルに送られる。 レート制御モジュール１３０は、データ・ストリームの伝送後に（図示されて いない受信機またはターゲット記憶デバイス内の）デコーダ側におけるオーバフ ローおよびアンダフローを防止するために、ＦＩＦＯバッファ１９０に入るデー タ・ストリームのビットレートを監視し、また調整するために役立つ。固定レー トチャネルは、（図示されていない）デコーダ内の入力バッファに一定レートで ビットを搬送することを想定している。ピクチャ・レートによって決定される規 則正しい間隔で、デコーダは、その入力バッファから次のピクチャのための全ビ ットを瞬間的に削除する。少なすぎるビットが入力バッファ内にある場合、すな わち次のピクチャのための全ビットが受け取られてはいないかった場合、入力バ ッファがアンダフローし、エラーに帰着する。同様に、多すぎるビットが入力バ ッファ内にある場合、すなわち入力バッファの容量がピクチャの始め部分の間に おいて限界を越えている場合、入力バッファはオーバフローし、オーバフロー・ エラーに帰着する。このため、エンコーダによって作成されるビットの数を制御 して、それによってオーバフロー状態およびアンダフロー状態を防止するために 、バッファ１９０のステータスをモニタすることが、レート制御モジュール１３ ０のタスクである。レート制御アルゴリズムは、画像品質および圧縮効率に影響 を 与えることにおいて重要な役割を果たす。 現在、ビットレートを制御する１つの方法は、量子化プロセスを改変する（al ter）ことであり、これは入力画像の歪みに影響を及ぼす。量子化器スケール（ ステップ・サイズ）を改変することによって、ビットレートが、変更され、そし て制御されることができる。例示すれば、バッファがオーバフローに向かってい る場合、量子化スケールが増加されるべきである。この動作は、量子化プロセス が追加のＤＣＴ係数をゼロに削減することを引き起こして、それによりマクロブ ロックをコード化するために必要なビット数を削減する。これは、実際には、ビ ットレートを削減して、潜在的なオーバフロー状態が解決されるはずである。 反対に、バッファがアンダフローに向かっている場合、量子化スケールは減少 されるべきである。この動作は、量子化された非ゼロのＤＣＴ係数の数が増加さ せることを引き起こして、それによってマクロブロックをコード化するために必 要なビットの数が増加する。このため、増加されたビットレートが、潜在的なア ンダフロー条件を解決するはずである。 量子化スケールは、図１に説明されるようにコード化モードの適切な選択を決 定するために使用される。このため、レート制御モジュール１３０は量子化スケ ールを改変しオーバフロー状態またはアンダフロー状態を訂正するため、モード 決定モジュール１２０は、マクロブロックのために現在の量子化スケールの下で 最適なコード化モードを選択することによって応答する。コード化モードの選択 が量子化スケールによって影響を受ける方法は、以下の図２に参照して議論され る。 さらに、量子化モジュール１７０からの結果として生じる量子化されたＤＣＴ 係数の８×８ブロックが、信号接続１７２を介して逆量子化モジュール１７５に よって受け取られる。この段階において、エンコーダは、データを復号化するこ とによって入力ビデオ画像のＩ−フレームとＰ−フレームを、それらが以降の符 号化の基準フレームとして使用されるために再生成する。逆量子化モジュール１ ７５は、量子化されたＤＣＴ係数を量子化を解除すること（dequantizing、逆量 子化すること）によって、復号化プロセスを開始する。すなわち、量子化された ＤＣＴ係数は、一組の量子化値によって乗算され、整数値を作り出すために適切 に丸められる。 結果として生じるＤＣＴ係数の量子化解除された（dequantized、逆量子化さ れた）８×８ブロックは、逆ＤＣＴが各マクロブロックに適用され復号化された エラー信号を作り出す逆ＤＣＴモジュール１６５に回される（pass）。このエラ ー信号は、加算器１５５を介して動き補償モジュールから予測信号に加算されて 戻し、復号化された基準ピクチャを作り出す。一般には、Ｉ−フレームまたはＰ −フレームが復号化される場合、それは格納され、もっとも古い格納された基準 を置き換える。このようにして、マクロブロックのために選択される量子化スケ ールに基づいてマクロブロック・コード化モードを選択する装置１００が、開示 される。 制約された最適化の問題が、コード化モードの選択に定式化された。解決策は 、コード化されているピクチャを構成する全マクロブロックのレート−歪み特性 、またはＲ（Ｄ）曲線に基づいている。最適化された結果に基づいて、各マクロ ブロックに対してコード化モードを選択するための方法が提示される。 量子化スケールに従ったコード化モード選択の最適化に基づいたコード化性能 における「上界（upper bound）」が、初期に得られる。上界は、一組の制約に 対してほぼ最適な（near-optimal）解を表す。一旦、上界が計算されると、実際 的な最適次善の（sub-optimal）方法の性能を査定するために使用される。 準最適な（near-optimum）解のための第１の制約は、以下の通りであり、 これは、ピクチャに対する歪み、Ｄ_PICTが、ピクチャ内のマクロブロックの数で ある全てのＮＭＢに対する個々のマクロブロック歪みＤ_MBの蓄積として測定され ることを述べている。この目的関数は、個々のマクロブロック歪みＤ_iをピクチ ャにわたって同じにすることのよって、 Ｄ₁＝Ｄ₂＝ ．．． ＝Ｄ_NMB （２） そして、各マクロブロックをコード化することから生成されたビットＲ_MBiを、 ピクチャ全体のターゲット・ビット割当て（ピクチャ・ビット・バジェット）Ｒ_PICT に合計させることによって、最小化される。 マクロブロック歪みの尺度Ｄ_MBのための選択物（choice）は、マクロブロック 内のピクセルにわたって平均平方和（mean-square-sum、ＭＳＥ）計算されるこ とができ、マクロブロックをコード化する際に使用される量子化器スケールであ り、または、その選択物は、本来的な（subjective）歪みをより正確に反映する 尺度、例えば輝度および周波数で重み付けされたＭＳＥまたは空間的な活性度（ spatial-activity）で重み付けされた量子化器スケール、であり得る。この最適 化問題の解決策は、目的関数および個々のマクロブロックＲ（Ｄ）関数が単調で あるという事実のために一意である。 上記のように、動きベクトルおよびＤＣＴ係数のＭＰＥＧ差分符号化による、 最適解（全検索）の計算において膨大な計算のオーバヘッドがあり、これは、ス ライス長により指定される期間中に、マクロブロックからマクロブロックへ伝搬 する依存性を持ち込む。全検索プロセスを回避するために、上界の計算は、依存 性の問題を委ねる（address）ために「グリーディ（greedy、貧欲な）アルゴリ ズム」を採用する。グリーディ・アルゴリズムは、以前にコード化されたマクロ ブロックのために選択された最良のコード化モードに基づいてコード化モードを 選択することによって、計算上のオーバヘッドを削減する。実際には、グリーデ ィ・アルゴリズム・プロセスは、全検索プロセスでのようにスライスの全長に関 して依存性を考える代わりに、以前にコード化されたマクロブロックにのみに依 存性を制限する。したがって、上界は、大局的な最適解である代わりに、準最適 な解である。 最適なコード化モードを得るために、同じ量子化スケールを用いて各コード化 モードに対して各マクロブロックをコード化するために必要とされるビットの総 数の計算および比較が実施される。各マクロブロックのビットの総数、Ｂ_tは、 動 きベクトルＢ_mvをコード化するために必要とされるビット、および予測残差Ｂ_{re s} をコード化するために必要とされるビットという２つの部分から成る。Ｂ_resは 、マクロブロック・タイプ、量子化器スケール、コード化されたブロック・パタ ーン、およびＤＣＴ係数のビットといった副次的な情報（side information）を コード化するためのビットを含むことに注意すべきである。しかしながら、ＤＣ Ｔ係数をコード化するために必要とされるビットは、一般にはＢ_resの大多数を 含み、Ｂ_resの支配的な部分であると考えられる。このため、各マクロブロック をコード化するために必要とされるビットの総数は、 Ｂ_t＝Ｂ_mv＋Ｂ_res （４） によって表される。 動きベクトルＢ_mvをコード化するために必要とされるビット数は、典型的には 、ルックアップ・テーブル（look-up table）から得られる。対照的に、予測残 差Ｂ_resをコード化するために必要とされるビットの数Ｂ_resを得るためには、３ つのステップ・プロセス２００が、図２に描かれるように必要とされる。 図２は、ＤＣＴ変換２１０、量子化２２０、およびラン・レングス（run leng th）・コーディング／可変長コーディング２３０のステップを含むプロセス２０ ０を図示する。ステップ２１０では、ＤＣＴが、予測残差の８×８ピクセル入力 ブロックに適用され、ＤＣＴ係数のブロックを作り出す。ＤＣＴ係数はステップ ２２０において量子化され、量子化されたＤＣＴ係数の８×８ブロックを作り出 す。最後に、ステップ２３０においては、量子化されたＤＣＴ係数が（ラン、レ ベル）対に変換される。すなわち、Ｂ_resは、ゼロが「連続する長さ（run lengt h、ラン・レングス）」および量子化されたＤＣＴ係数の「レベル」に従って検索 表（look-up table）を介して獲得される。ゼロの連続する長さは、量子化され たＤＣＴ係数の８×８ブロックのジグザグ・スキャニングにおいて継続する量子 化された非ゼロのＤＣＴ係数の間にあるゼロの数を表すと同時に、レベルは量子 化されたＤＣＴ係数の振幅を表す。ルックアップ・テーブルを使用することは、 ラン・レングス・コーディング／可変長コーディングにおいては従来の実務であ る。 このため、Ｂ_resは、ランおよびレベルの値の対に依存し、 Ｂ_res＝ｆ（ｒｕｎ，ｌｅｖｅｌ） （５） により表される。 要約すると、コード化性能についての上界を得るためには、全てのコード化モ ードに対して図２の３つのステップ・プロセスが各マクロブロックに対して実行 されなければならない。次いで、もっとも少ない数のビットを使用するコード化 モードが、最適なコード化モードとして選択される。上界方法の計算のオーバヘ ッドは中位であるが、それは全検索方法を越えるかなりの改善である。 図３は、ビット数Ｂ_resの近似を提供することによって、上界のさらに複雑な （involved）コード化手順をさらに簡略化する好ましい実施の形態を描いている 。方法３００では、式（５）におけるランおよびレベルの対が、各マクロブロッ クのための残差Ｖ_resの分散および量子化器スケールｑの値に強く依存している と想定している。このため、マクロブロックを符号化するために必要とされるビ ット数は、その分散の値に正比例の相関、および量子化器スケールの値に反比例 の相関を示すべきである。したがって、式（５）は、 Ｂ_res=f(q,Ｖ_res)=(Ｋ/(q＋Ｃq²))Ｖ_res （６） によって近似されて、ここでＫおよびＣは定数である。このため、式（４）は、 Ｂ_t'＝Ｂ_mv＋（Ｋ／（ｑ＋Ｃｑ²））Ｖ_res （７） によって近似され、ここで値Ｂ_t'は、各マクロブロックのために最適なコード化 モードを選択するための基準として使用される。好ましい実施の形態においては 、定数ＫおよびＣのための値は、それぞれ１および１２０である。他の定数値を 利用できることに注意すべきである。 図３を参照すると、プロセス３００は、ステップ３１０において、マクロブロ ック上の動き補償を実行し、ある特定のコード化モードのための予測残差および 対応する動きベクトルを作り出す。動きベクトルはステップ３２０に渡され、予 測残差はステップ３３０に渡される。 ステップ３２０では、プロセス３００は、動きベクトル・ビット・カウントＶ_mv を決定する。好ましい実施の形態では、事前に定義されたルックアップ・テー ブルが、各動きベクトルをコード化するために必要とされるビット数を確認する ために提供される。 ステップ３３０では、プロセス３００は、予測残差Ｂ_resをコード化するため に必要とされるビット数を計算する。式（６）に従って使用される残差分散の計 算が実行され、予測残差ビット・カウントＢ_resを作り出す。 ステップ３４０では、プロセス３００は、動きベクトル・ビット・カウントＶ_mv および予測残差ビット・カウントＢ_resの総和を実行し、現在のコード化モー ドの下におけるマクロブロックの総ビット・カウントＢ_tを求める。結果は、ス テップ３５０に渡される。 ステップ３５０では、プロセス３００は、現在のコード化モードに対して計算 されたＢ_tが全てのコード化モード中で最も小さいかを決定する。決定が肯定的 に回答されると、プロセス３００は、マクロブロックのためにそのコード化モー ドを選択し、ステップ３６０において次のマクロブロックのためにコード化モー ドを選択するために先に進む。決定が否定的に回答されると、プロセス３００は 、ステップ３１０に進み、別のコード化モードを使用して、最も小さいＢ_tを持 つコード化モードが選択されるまで、同じマクロブロックのために計算を再度開 始する。 装置は試験され、ある数のシミュレーションを実行した。シミュレーションに おいては、３つのモード決定方法が比較された。第１のモード決定方法（例えば 、ＴＭ４またはＴＭ５）は、動きベクトル・オーバヘッドに対する固定されたし きい値を加えたもっとも少ないの予測エラー・エネルギーを持つコード化モード を選択することに基づいており、ここでは、レート制御は独立に決定される（つ まり、レート制御は、コード化モード決定の一部分ではなかった）。第２のモー ド決定方法（例えば、上界方法）は、マクロブロックをコード化するために必要 と される最小ビット数を持つコード化モードを選択することに基づいている。この 第２の方法では、コード化モードの選択は、選択された量子化スケールに基づい て最適化され、またグリーディ・アルゴリズムが動きベクトルおよびＤＣＴ係数 の差分符号化に適用された。最後に、第３の方法は、コード化モードの決定が、 動きベクトル用のビット数を加えた予測残差をコード化するために必要とされる ビット数の近似に基づく、本発明の好ましい実施の形態である。近似は、式（６ ）に表されるように、量子化スケールの値および残差の分散の値に基づいている 。 これらの３つの方法のコード化性能を判断する際に、画像のシーケンスの再構 築された同じ品質を得るために必要とされるビットの総数の比較が成された。シ ミュレーションでは、各マクロブロックに対する量子化スケールが、再構築され た品質の基準として使用された。ＴＭエンコーダが、シーケンスをコード化する ために最初に使用され、また対応するマクロブロックのための結果として生じる 量子化器スケールが保存された。これらの同じ量子化器スケールは、上界エンコ ーダおよび本発明のエンコーダにおいて使用された。２つのシーケンス「花壇」 と「自転車」（各々は１５０フレームから成る）が、コンピュータ・シミュレー ションにおいて使用され、結果はそれぞれ以下の表１および表２に示されている 。 結果は、モード選択およびレート制御の合同した最適化が、花壇のシーケンス については従来のＴＭ方法から１４％の節約を、自転車のシーケンスについては ２４％の節約を生み出すことを実証している。同様に、本発明の好ましい実施例 は、ＴＭ方法を越えて、花壇のシーケンスについて９％を超える節約、および自 転車のシーケンスについて１７％の節約を得た。好ましい方法はより小さい総ビ ット・カウントの節約をもたらしたが、削減された計算上のオーバヘッドおよび 複雑度という観点において、１０％から１７％の間の節約がきわめて重要である 。 このようにして、マクロブロックのために選択された量子化スケールに基づい てマクロブロック・コード化モードを選択する新規の装置および方法が示され、 記述されてきた。しかしながら、主発明の多くの変更、改良、変形、並びにその 他の使用および応用は、実施例を開示する本明細書および添付図面を考慮した後 に当業者に明らかになるだろう。本発明の精神および範囲から逸脱しないこのよ うなすべての変更、改良、変形並びにその他の使用および用途は、本発明が及ぶ ことになると考えられ、本発明は引き続く請求項によってのみ制限されるべきで あるる。例えば、Ｂ_mvはルックアップ・テーブルから得られる場合がある。また 、ビットの総数は、公式 Ｂ_t＝Ｂ_mv＋Ｂ_res に従って計算される場合がある。この場合、Ｂ_tはビット総数であり、Ｂ_mvは動 きベクトルをコード化するために必要とされるビット数であり、Ｂ_resは予測残 差信号をコード化するために必要とされるビット数であり、Ｂ_mvはルックアップ ・テーブルから獲得され、Ｂ_resはＤＣＴ変換、量子化、およびラン・レングス ・コード化を予測残差信号に適用することにより獲得される。

【手続補正書】特許法第１８４条の８第１項 【提出日】１９９７年１１月６日 【補正内容】 特許協力条約第３４条に基づく補正 ［国際出願日における明細書の差し替え部分（第８頁）の翻訳文である。特許法 第１８４条の４第１項の規定より提出された国際出願日における明細書の翻訳文 の第９頁第６行から第１０頁第１４行までの「データ・ストリームは、「先入れ 先出し」 ・・・ アンダフロー条件を解決するはずである。」を下記の内容に 差し換える。］ 「 データ・ストリームは、「先入れ先出し」（ＦＩＦＯ）バッファ１９０内に受 け取られる。異なるピクチャ・タイプおよび可変長コード化を使用する結果は、 総体的なビットレートが可変であるということである。すなわち、各フレームを コード化するために使用されるビット数は異なり得る。このため、固定レートの チャネルを伴う用途では、ＦＩＦＯバッファが使用され、ビットレートを平滑化 するためにエンコーダ出力をチャネルに一致させる。このようにして、ＦＩＦＯ バッファ１９０の出力信号は、入力ビデオ像（input video image）１１０の圧 縮された表現であって、それは記憶媒体または遠隔通信チャネルに送られる。 レート制御モジュール１３０は、データ・ストリームの伝送後に（図示されて いない受信機またはターゲット記憶デバイス内の）デコーダ側におけるオーバフ ローおよびアンダフローを防止するために、ＦＩＦＯバッファ１９０に入るデー タ・ストリームのビットレートを監視し、また調整するために役立つ。固定レー トチャネルは、（図示されていない）デコーダ内の入力バッファに一定レートで ビットを搬送することを想定している。ピクチャ・レートによって決定される規 則正しい間隔で、デコーダは、その入力バッファから次のピクチャのための全ビ ットを瞬間的に削除する。少なすぎるビットが入力バッファ内にある場合、すな わち次のピクチャのための全ビットが受け取られてはいないかった場合、入力バ ッファがアンダフローし、エラーに帰着する。同様に、多すぎるビットが入力バ ッファ内にある場合、すなわち入力バッファの容量がピクチャの始め部分の間に おいて限界を越えている場合、入力バッファはオーバフローし、オーバフロー・ エラーに帰着する。このため、エンコーダによって作成されるビットの数を制御 して、それによってオーバフロー状態およびアンダフロー状態を防止するために 、 バッファ１９０のステータスをモニタすることが、レート制御モジュール１３０ のタスクである。レート制御アルゴリズムは、画像品質および圧縮効率に影響を 与えることにおいて重要な役割を果たす。 現在、ビットレートを制御する１つの方法は、量子化プロセスを改変する（al ter）ことであり、これは入力画像の歪みに影響を及ぼす。量子化器スケール（ ステップ・サイズ）を改変することによって、ビットレートが、変更され、そし て制御されることができる。例示すれば、バッファがオーバフローに向かってい る場合、量子化スケールが増加されるべきである。この動作は、量子化プロセス が追加のＤＣＴ係数をゼロに削減することを引き起こして、それによりマクロブ ロックをコード化するために必要なビット数を削減する。これは、実際には、ビ ットレートを削減して、潜在的なオーバフロー状態が解決されるはずである。 反対に、バッファがアンダフローに向かっている場合、量子化スケールは減少 されるべきである。この動作は、量子化された非ゼロのＤＣＴ係数の数が増加さ せることを引き起こして、それによってマクロブロックをコード化するために必 要なビットの数が増加する。このため、増加されたビットレートが、潜在的なア ンダフロー条件を解決するはずである。」 特許協力条約第３４条に基づく補正 ［国際出願日における明細書の差し替え部分（第１２頁）の翻訳文である。特許 法第１８４条の４第１項の規定より提出された国際出願日における明細書の翻訳 文の第１４頁第６行から第１５頁第１４行までの「要約すると、コード化性能 ・・・ ステップ３５０に渡される。」を下記の内容に差し換える。］ 「 要約すると、コード化性能についての上界を得るためには、全てのコード化 モードに対して図２の３つのステップ・プロセスが各マクロブロックに対して実 行されなければならない。次いで、もっとも少ない数のビットを使用するコード 化モードが、最適なコード化モードとして選択される。上界方法の計算のオーバ ヘッドは中位であるが、それは全検索方法を越えるかなりの改善である。 図３は、ビット数Ｂ_resの近似を提供することによって、上界のさらに複雑な （involved）コード化手順をさらに簡略化する好ましい実施の形態を描いている 。方法３００では、式（５）におけるランおよびレベルの対が、各マクロブロッ クのための残差Ｖ_resの分散および量子化器スケールｑの値に強く依存している と想定している。このため、マクロブロックを符号化するために必要とされるビ ット数は、その分散の値に正比例の相関、および量子化器スケールの値に反比例 の相関を示すべきである。したがって、式（５）は、 Ｂ_res=f(q,Ｖ_res)=(Ｋ/(q＋Ｃq²))Ｖ_res （６） によって近似されて、ここでＫおよびＣは定数である。このため、式（４）は、 Ｂ_t'＝Ｂ_mv＋（Ｋ／（ｑ＋Ｃｑ²））Ｖ_res （７） によって近似され、ここで値Ｂ_t'は、各マクロブロックのために最適なコード化 モードを選択するための基準として使用される。好ましい実施の形態においては 、定数ＫおよびＣのための値は、それぞれ１および１２０である。他の定数値を 利用できることに注意すべきである。 図３を参照すると、プロセス３００は、ステップ３１０において、マクロブロ ック上の動き補償を実行し、ある特定のコード化モードのための予測残差および 対応する動きベクトルを作り出す。動きベクトルはステップ３２０に渡され、予 測残差はステップ３３０に渡される。 ステップ３２０では、プロセス３００は、動きベクトル・ビット・カウントＢ_mv を決定する。好ましい実施の形態では、事前に定義されたルックアップ・テー ブルが、各動きベクトルをコード化するために必要とされるビット数を確認する ために提供される。 ステップ３３０では、プロセス３００は、予測残差Ｂ_resをコード化するため に必要とされるビット数を計算する。式（６）に従って使用される残差分散の計 算が実行され、予測残差ビット・カウントＢ_resを作り出す。 ステップ３４０では、プロセス３００は、動きベクトル・ビット・カウントＢ_mv および予測残差ビット・カウントＢ_resの総和を実行し、現在のコード化モー ドの下におけるマクロブロックの総ビット・カウントＢ_tを求める。結果は、ス テップ３５０に渡される。」 特許協力条約第３４条に基づく補正 ［国際出願日における請求の範囲の差し替え部分（第１６頁）の翻訳文である。 特許法第１８４条の４第１項の規定により提出された請求の範囲の翻訳文の第１ ９頁第７行から第２０頁第２７行までを下記の内容に差し換える。］ 「５． 該モード決定手段に結合され、該予測残差信号を一組の相関のない係数 に変換するための変換手段と、 該変換手段に結合され、該一組の相関のない係数を量子化するための量子化手 段と、 該変換手段に結合され、該量子化された一組の相関のない係数および該動きベ クトルをコード化するためのコード化手段と、 該コード化手段に結合され、チャネルにわたる伝送のためにデータ・ストリー ムを格納するためのバッファ手段と、 を備え、 該動き補償手段は、コード化された基準画像を復号化するための復号化手段を 含む、請求項２に記載の装置。 ６． 入力動画像信号の各マクロブロックのためにコード化モードを選択するた めの方法であって、 （ａ）該入力動画像信号から各マクロブロックのために動きベクトルを生成する ステップと、 （ｂ）該動きベクトルを使用して、各コード化モードのために該入力動画像信号 の予測画像信号を生成するステップと、 （ｃ）該入力動画像信号から該予測画像信号を差し引き、予測残差信号を作成す るステップと、 （ｄ）該予測残差信号のコード化のレートを制御するステップと、 （ｅ）該制御ステップ（ｄ）によって選択された量子化スケールに従って、各マ クロブロックのためにコード化モードを選択するステップと、 を備える方法。 ７．ステップ（ｅ）は、 （ｅ１）該複数のコード化モードの各々のためにマクロブロックの該動きベクト ルおよび該予測残差信号をコード化するために必要とされるビットの総数を計算 するステップと、 （ｅ２）最小量のビットを用いて該マクロブロックをコード化する、該マクロブ ロックのためのコード化モードを選択するステップと、 を備える請求項６に記載の方法。 ８．ステップ（ｅ１）における該ビットの総数は、式 Ｂ_t'＝Ｂ_mv＋（Ｋ／（ｑ＋Ｃｑ²））Ｖ_res に従って計算され、ここで、Ｂ_t'が該ビットの総数であり、Ｂ_mvが該動きベクト ルをコード化するために必要とされるビット数であり、ｑが量子化スケールであ り、Ｖ_resが該予測残差信号の分散であり、ＫおよびＣが定数である、請求項７ の方法。 ９．（ｆ）該予測残差信号を一組の相関のない係数に変換するステップと、 （ｇ）該一組の相関のない係数を量子化するステップと、 （ｈ）該量子化された一組の相関のない係数および該動きベクトルをコード化す るステップと、 （ｉ）チャネルにわたる伝送のためにデータ・ストリームを格納するステップと 、 （ｊ）更に符号化するためにコード化された基準画像信号を復号化するステップ と、 を備える請求項６に記載の方法。」

───────────────────────────────────────────────────── フロントページの続き (72)発明者 クォーク，ウィルソン アメリカ合衆国 カリフォルニア州 サン ノゼ マクラフリン アヴェニュー 2195 (72)発明者 サン，フイファング アメリカ合衆国 ニュージャージー州 ク ランベリー キングレット ドライヴ サ ウス 61

Claims (1)

1. 【特許請求の範囲】 １． 少なくとも１つのマクロブロックを有する入力動画像を符号化するための 装置であって、 該入力動画像に応答を示し、少なくとも１つの動きベクトルを生成するための 動き推定手段を備え、 該動き推定手段に結合され、該入力動画像の予測された画像信号を生成するた めの動き補償手段を備え、 該動き補償手段に結合され、該入力動画像の各マクロブロックのために利用可 能な複数のコード化モードからコード化モードを選択するためのモード決定手段 を備え、 該モード決定手段に結合され、当該装置のビットレートを制御するためのレー ト制御手段を備え、該モード決定手段は該レート制御手段によって選択される量 子化スケールに従ってマクロブロックのために該コード化モードを選択する、 ことを備える装置。 ２． 該モード決定手段に結合され、該入力動画像から該予測された画像信号を 差し引き、予測残差信号を生成するための差異手段を、更に備える請求項１に記 載の装置。 ３． 該モード決定手段は、該複数のコード化モードの各々に対してマクロブロ ックの動きベクトルおよび予測残余信号をコード化するために必要とされるビッ トの総数を計算するものであって、該モード決定手段は、最小量のビットを用い て該マクロブロックをコード化する該マクロブロックのためのコード化モードを 選択する、請求項２に記載の装置。 ４．該ビットの総数は、式 Ｂ_t'＝Ｂ_mv＋（Ｋ／（ｑ＋Ｃｑ²））Ｖ_res に従って計算され、ここで、Ｂ_t'が該ビットの総数であり、Ｂ_mvは該動きベクト ルをコード化するために必要とされるビット数であり、ｑは量子化スケールであ り、Ｖ_resが該予測残差信号の分散であり、ＫおよびＣが定数である、請求項３ に記載の装置。 ５． 該モード決定手段に結合され、該予測残差信号を一組の相関のない係数に 変換するための変換手段と、 該変換手段に結合され、該一組の相関のない係数を量子化するための量子化手 段と、 該変換手段に結合され、該量子化された一組の相関のない係数および該動きベ クトルをコード化するためのコード化手段と、 該コード化手段に結合され、チャネルにわたる伝送のためにデータ・ストリー ムを格納するためのバッファ手段と、 を備え、 該モード補償手段は、コード化された基準画像を復号化するための復号化手段 を含む、請求項２に記載の装置。 ６． 入力動画像信号の各マクロブロックのためにコード化モードを選択するた めの方法であって、 （ａ）該入力動画像信号から各マクロブロックのために動きベクトルを生成する ステップと、 （ｂ）該動きベクトルを使用して、各コード化モードのために該入力動画像信号 の予測画像信号を生成するステップと、 （ｃ）該入力動画像信号から該予測画像信号を差し引き、予測残差信号を作成す るステップと、 （ｄ）該予測残差信号のコード化のレートを制御するステップと、 （ｅ）該制御ステップ（ｄ）によって選択された量子化スケールに従って、各マ クロブロックのためにコード化モードを選択するステップと、 を備える方法。 ７．ステップ（ｅ）は、 （ｅ１）該複数のコード化モードの各々のためにマクロブロックの該動きベクト ルおよび該予測残差信号をコード化するために必要とされるビットの総数を計算 するステップと、 （ｅ２）最小量のビットを用いて該マクロブロックをコード化する、該マクロブ ロックのためのコード化モードを選択するステップと、 を備える請求項６に記載の方法。 ８．ステップ（ｅ１）における該ビットの総数は、式 Ｂ_t'＝Ｂ_mv＋（Ｋ／（ｑ＋Ｃｑ²））Ｖ_res に従って計算され、ここで、Ｂ_t'が該ビットの総数であり、Ｂ_mvが該動きベクト ルをコード化するために必要とされるビット数であり、ｑが量子化スケールであ り、Ｖ_resが該予測残差信号の分散であり、ＫおよびＣが定数である、請求項７ の方法。 ９．（ｆ）該予測残差信号を一組の相関のない係数に変換するステップと、 （ｇ）該一組の相関のない係数を量子化するステップと、 （ｈ）該量子化された一組の相関のない係数および該動きベクトルをコード化す るステップと、 （ｉ）チャネルにわたる伝送のためにデータ・ストリームを格納するステップと 、 （ｊ）更に符号化するためにコード化された基準画像信号を復号化するステップ と、 を備える請求項６に記載の方法。