JPH05509209A - 画像およびビデオ圧縮のための階層的エントロピー符号化格子閾値量子化符号方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 百　およびビデオ　のための エントロピー、。

、−゛および 及Ｕと１１ 本発明はデータ通信および信号処理方法および装置に関するものであり詳述する とたとえば電話通信チャンネルを介して伝送される画像データの配列を儒頼性良 くかつ効率良く符号化および復号化するための方法および装置に関する。画像の 配列、詳述すると、たとえばテレビジョン信号によって代表されるような自然に 発生する画像配列の伝送が相当な量の研究主題であり続ける。標準的には、研究 者たちは、配列の連続画像の高冗長性に斬りそして単位光に近い相関係数で画像 データをマルコフ過程としてモデル化することが多い。３次元マルコフモデルは 、フレーム間冗長度を考慮するのに差分パルス符号変調（ＤＰＣＭ）および変換 符号化技術を利用するための動機付けを与える。

標準的な動画の性質を分析することにより、連続フレーム間で生ずる主要な変化 がフレーム内の対象物の非同質付の運動であることを理解するのは容易である。

この空間依存性の運動を推定しかつこれを補償する正確な装置および方法が、連 続フレーム間の差を単に表示する信号送信によって実現されるよりも相当に良好 な性能を有することができるフレーム間データ圧縮方法および装置の構成を可能 にすることもまた理解されよう。

結果として、種々の運動補償符号化方法および装置が開発されている。これらの システムは、標準的には受信機をベースにした運動補償システムまたは送信機を ベースにした運動補償システムのいずれかである。受信機ベース運動補償システ ムに右いては、受信機は運動について予測を行いそして予測された運動について 前フレームを補償する。同様の態様で動作する送信機は、受信機により予測され るフレームを修正するために受信機で何が行われねばならないかを記述する誤差 信号だけを送信する。誤差信号は環準的には符号化されその帯域幅を減する。

送信機ベース運動補償システムについて運動推定プロセスが送信機でのみ生ずる 。変位ベクトルが通常、画像の種々の領域にわたり決定されそしてこのデータは 順次誤差情報データ信号と一緒に受信機へ送信される。受信機では、送信機によ って与えられる運動情報を最初使用して以前に符号化された画像に対して補償プ ロセスが遂行される。送信様によって与えられる誤差信号は順次斯く補償された 受信機画像へ加λられ画質を維持する。

標準的には送信機ベース運動補償システムのために与λられる複数の変位ベクト ルがあり、そして、少（とも一つの好ましい例では各ベクトルが画像の所定領域 またはブロックと関連付けられる。ブロックは通常重複せずそしてたとえば８画 素（ビクセル）に８画素を掛けた大きさを有する。種々の方法が、それぞれのブ ロックと関連付けられる運動補償データを符号化するために使用されている。

また多くの方法が送信機ベース運動補償システムで誤差情報データ信号を符号化 するのに使用されている。たとえば、ＨＬｎｖａｎによる米国特許第４．７２７ ．４２２号では、損失性圧縮方法および装置が開示されている。これらの方法は 非常に有利でありかつ彊れた結果を提供するけれども、データ情報の圧縮を別途 改善しそしてそれにより依然率さなチャンネル帯域幅を使用する高品質画像再生 を可能ならしめることが依然として嘱望されている。たとえば、画像と関連付け られるビットレートの制御によりデータ伝送にわたる良好な制御を提供すること が別途所望されている。

たとえばシーンあるいは場面の変化中、伝送されるべき相当な情報が存在するの で、単一のフレーム時間中、情報の全てを送信するのに不十分な帯域幅しか使用 できない。したがって、種々の方法がチャンネルを通じ伝送される情報のビット 数を選択的に限定するのに実施されている。”Ａ　Ｍｅｔｈｏｄ　ａｎｄ　Ａｐ ｐａｒａｔｕｓ　ｆｏｒ　ＥｆｆｉｃｉｅｎｔｌｙＣｏｄｉｎｇ　ａｎｄ　Ｄｅ ｃｏｄｉｎｇ　Ｉｍａｇｅ　５ｅｑｕｅｎｃｅｓ＋という表題の付された１９８ ７年１月７日付は出願の米国特許第４，８１６，９１４号でＥｒ１ｃｓｓｏｎに より開示されている、これら方法のうちの一つが、変換係数データセット部分の 伝送との関係で四分木ないしクオドトリー符号化を使用する。クオドトリー符号 化は、大きな運動または場面変化中、画像のより上品な劣化（グレースフルデグ ラデーション）を提供するのに有利である。

Ｅｒ１ｃｓｓｏｎによる米国特許第４．１１４９．８１０に開示される階層的ベ クトル量子化などの他の方法が符号化プロセスで他の利益を与える。

他の符号化方法がソースデータを符号化するのに使用されている。詳述すると、 格子がチャンネルおよびソース符号化応用に関する論文で研究されている。この ような仕事のほとんどが格子理論および応用に対する百科事典的な研究集大成と して要約される。データ圧縮における現行の仕事のほとんどのものが一般化ロイ ドベクトル量子化（ＶＱ）を使用するが、数人の研究者たちが最近格子量子化（ ＬＱ）への関心を復活すべ（研究している。

格子およびベクトル量子化は岡方とも多次元空間を有限あるいは計数可能な点の 集合に対応付ける＋＋　Ｅｒ１ｃｓｓｏｎによる米国特許第４，８４９，８１０ に開示されるベクトル量子化においては、有限な点集合を包含する符号表がある 学習方法または解析によって構成される。それぞれのソースベクトルは、ある歪 基準による測定に従って、「最も近傍の」点（または符号ベクトル）を符号表に 配置することにより量子化される。たとえば、２乗誤差基準（Ｌ−２ノルム）が 使用できるが、他の尺度も等しく有効である。符号器は符号ベクトルの指標を受 信機へ送信し、受信機は引き続き再構成中にソースベクトルを符号ベクトルで近 似する。

格子が有限な点の集合およびその全ての可能な線形変換として定義され、（標準 的には）計数可能であるが無限の点集合を生ずる。ソースベクトルが、（たとえ ば２乗誤差基準などの）ある歪み基準による測定に応じ格子に包含されるそれに 最も近い点の配置により格子量子化に従って量子化できる。格子がある方法によ り割り出される（計数される）と仮定すると、格子点の指標は伝送されそして受 信機はソースベクトルを当該格子点で近似する。

それゆえ本発明の目的は、格子量子化を使用し、相当に小さな帯域幅を実現し、 そして高い信頼性および忠実性を提供する、通信チャンネルにわたる画像配列の 伝送を行うことである。本発明の別の目的は複数の画像からなる配列の各画像の 伝送に使用されるビット数を制御しシーンの変化中または大きな運動の期間中画 像の上品な劣化を提供することである。本発明の他の目的は、ある配列の被走査 画像における変位誤差の正確な推定を信頼性良く送信および受信する運動補償符 号化および復号化方法および装置、そして、画像伝送装置における局部変位のリ アルタイム形式の正確な決定を可能にする改善された運動推定誤差符号化および 復号化方法および装置である。

本発明は、画像伝送系、詳述すると、運動補償画像伝送系におけるフレーム間誤 差データを符号化し、送信ステーションから受信ステーションへ画像フレームの 配列を伝送するための方法および装置に関する。本方法は、現行画像フレームの 予測を表わすフレーム間予測画像データを縮減し、現行画像予測を表わしそして 複数の縮減水準を有する予測ピラミッドデータ構造体を発生する段階と、現行の 符号化されない画像フレームを表示する非符号化現行画像データを縮減し、現行 画像を表わしそして複数の縮減水準を有する現行画像ピラミッドデータ構造体を 発生する段階と、エントロピ符号化格子閾値量子化符号化方法を、レベルバイレ ベルベースで予測ピラミッドデータ構造体および現行画像ピラミッドデータ構造 体の差分に適用し、予測画像データと非符号化現行画像データとの間の差分を表 示する符号化データを発生する段階に特徴がある。

他の様相において、本方法は、格子符号化方法を、Ｅ−８格子構造体を使用しブ ロックバイブロツクベースである水準のデータ構造体に適用する段階に特徴を存 する本発明の別の様相において、本方法は、現行画像フレームのための予測画像 データと符号化されない現行画像フレームを表示する非符号化現行画像データと の間の差分をビクセルをベースにして表示する差分画像を形成する段階に特徴が ある。本方法は、差分画像を縮減し、複数の縮減水準を有する差分画像ピラミッ ドデータ構造体を発生し、格子量子化符号化を、レベルバイレベルベースで差分 画像ピラミッドデータ構造体へ選択的に適用し、予測画像データと非符号化現行 画像データとの間の差分を表わす符号化データを発生することに特徴がある。

本発明の装置は、現行画像フレームのためにフレーム間予測画像データを縮減し 、複数の縮減水準を有する予測ピラミッドデータ構造体を発生する回路と、符号 化されない現行画像フレームを表示する非符号化現行画像データを縮減し、複数 の縮減水準を有する現行画像ピラミッドデータ構造体を発生する回路と、エント ロピ符号化格子閾値量子化符号化を、レベルバイレベルベースで予測ピラミッド データ構造体および現行画像ピラミッドデータ構造体に適用し、予測画像データ と符号化現行画像データとの間の差分を表示する符号化データを発生する回路に 特徴がある。本装置は、格子符号化方法を、Ｅ−８格子を使用しブロックバイブ ロツクベースである水準のデータ構造体へ適用する回路に特徴がある。

本発明のさらに別の様相において、画像フレームの配列を伝送するために、画像 伝送系でフレーム間誤差データを符号化するための装置は、現行画像フレームの ための予測画像データと符号化されない画像フレームを表示する非符号化現行画 像データとの間の差分をピクセルをベースにして表示する差分画像を形成する回 路を特徴とする。差分画像を縮減し、複数の縮減水準を有する差分子　□ 画像ピラミッドデータ構造体を発生し、エントロピ符号化格子閾値量子化符号化 を、レベルバイレベルベースで差分画像ピラミッドデータ構造体へ適用し、予測 画像データと符号化現行画像データとの間の差分を表わす符号化データを発生す るために、縮減回路が設けられる。

゛　の　蛍な会　日 本発明の他の目的、特長および利益は図面を参照しつつ説明する所定の好ましい 実施例の以下の叙述から明らかとなろう。

第１図は請求の範囲に記載の本発明による櫟準的な画像伝送系の電気ブロック図 である。

第２図は、本発明を使用する運動補償型画像符号化装置の送信機の電気ブロック 図である。

第３図は第２図の送信機からチャンネル信号を受信するため運動補償型画像符号 化装置の受信機の電気ブロック図である。

第３Ａ図は本発明による損失性圧縮器２８のブロック図である。

第４図は本発明による損失性圧縮器４６のブロック図である。

第５図は１次元殺減（ｄｅｃｉｍａｔｉｏｎ）プロセスの模式図である。

第６図は本発明による損失性圧縮器４６の詳細な電気ブロック図である。

第７図は本発明の一様相による損失性圧縮器の代習え路Ｉ６の出力を符号化し、 受イ言機２１への伝送に向けてこのように符号化されたデータをチャンネル２０ へ送る実施例の総括ブロック図である。

第８図は、次ブロック値予測で使用される隣接ブロックの相対配置の模式表示で ある。

第８Ａ図は、線形予測子で使用される隣接運動ベクトルの相対配置の模式表示で ある。

第９図は、ステップ帯域に分割された確率密度関数であり重心配置を図示する。

第１０図は、本発明によるコード化装置の電気ブロック図である。

第１１図は、本発明によるエントロピーによりコード化される格子閾値量子化符 号化装置の電気ブロック図である。

の　ま　い　の・ 第１図を参照すると、本発明の好ましい実施例に従えば、ビデオ信号をアナログ −ディジタル変換器およびフレームバッファ装置１２へ提供するためのカメラ１ ０を有する送信機８を具備する。アナログ−ディジタル変換器およびフレームバ ッファ装置１２のフレームバッファ部は、２５６　Ｘ２４０ビクセルのラスタを 横切ってたとえば８ビット程度に標本化された画像のフルフレームを記憶できる 。

全符号化および運動補償プロセスはディジタル定義域（ｄｏｍａｉｎ）で起こる 。送信機は誤差信号回路１４および運動推定および符号化回路１６を具備する。

チャンネル符号器１８が誤差回路１４および運動補償および符号化回定基準を意 味する。櫟準的にそして図示の実施例において、運動推定装置は前入力および現 在入力画像の非重複第１図に図示の運動推定および符号化回路１６は、本発明の 好ましい実施例に従えば、ライン２２を介して得られる現在の原人力フレーム画 像と、図示の本実施例でブロック間の領域マツチング技術を使用する。もし現在 画像のある領域について運動が生ずれば、推定袋！は前画像のいずれのブロック が現在画像のブロックについて最も良好に整合（ｍａｔｃｈ）するかを決定し、 変位値は現在わす符号化された運動信号を提供する。上述したように、損失性圧 縮器のこの出力は、復号化の際に、ライン３２を通る（運動変位の尺度を与える ）信号を正確には再生せず、それゆえ、これらに関連付けられる成る誤差信号を 有する。それにも拘らず、損失性圧縮器のデータ要求の減少は、たとえばＰＣＭ の正確な符号化方法と比較した場合相当なものであり、損失性圧縮器の使用は当 技術分野における意味のある進歩である。一つの好ましい損失性圧縮回路が適応 予測パルス符号化変調（ＡＤＰＣＭ）を使用する。

第３Ａ図を参照すると、図示の本発明の好ましい実施例において、損失性圧縮回 路２８は運動ベクトルフィールドの線形予測子２８ａを提供しそして運動ベクト ルフィールドの予測誤差および予測子を記述するのに必要とされるビット数（帯 域幅）を減するために追加の回路を具備する。第８Ａ図に図示のラスク走査パタ ーンおよび第３Ａ図を参照すると、線形予測子２８ａは以前に符号化された（０ とマークされている）４つの隣接要素（ライン３ｏを通じて以前に得られる）を 使用し、（Ｘとマークされている）現在運動ベクトルを予測する。そのとき、（ スイッチ回路２８ｂで具体化される）追加の回路が以下の３つの可能な選択につ いての決定を行う。

ａ）推定運動ベクトルをゼロ（ライン１８８を通ずる信号）にリセットしそして これを受信機へ送信せよ。

ｂ）推定運動ベクトル（ライン２８ｃを通ずる）を予測値ヘリセットしそしてこ れを受信機へ送信せよ。

Ｃ）予測誤差（原推定運動ベクトルと予測運動ベクトルとの間の差）を量子化装 置２８ｄで量子化しそして量子化インデックスを受信機へ送信せよ。

各選択に関連付けられるものに、（その決定を送信するのに使用されるビットＮ ）に課されるコストおよび（選択される運動ベクトルの使用により発生さハる差 分画像ブロックの平均２乗誤差の）誤差Ｅがある。追加回路２８ｂはエントロピ ー拘束誤差尺度、すなわち、使用ビットと誤差との重み付けられた組み合わせ（ たとえば、ある尺度は（ａＮ＋ｂＥ）に等しい（ここでａおよびｂは装置につい て実験的に決定される定数である））を使用してこの決定を行う。最小エントロ ピー拘束誤差を発生する結果が選択されそして送られる。符号化プロセスは推定 運動ベクトルをゼロにリセットするかどうかについて情報の１ビツトの送出によ り開始する。もしそれがゼロにリセットされれば、この運動ベクトルについてそ れ以上は何も送出されない。それ以外であれば、情報の第２のビットが送出され 、受信機に、予測遅動ベクトルだけを使用するかまたは追加の修正情報（量子化 誤差）が送出されるかどうかを報知する。最後に、もし修正情報が必要とされれ ば、予測誤差の量子化インデックスが送出される。符号化のためのビット数を別 途減するために、損失性圧縮器は最初の２つのステップについて算術符号化をそ して最後のステップについてハフマン符号化を使用する。

上述したように、ライン３０を通ずる損失性圧縮回路の出力は符号器工８へ送ら れる。加えて、これらの信号は、チャンネルにいずれの誤差もなければ、受信機 が認識するであろうものを決定するため誤差回路１４によって使用され、それに より、予測誤差信号、すなわち受信機がライン３０を通ずる符号化運動信号に基 づいて予測したであろうものと真の画像入力との間の差を表わす信号を決定する ための機構を提供する。

ライン３０を通ずる損失性圧縮器の出力は再構成回路３４により使用され、その 出力に、運動変位の尺度を表わす信号、運動ベクトルをライン３２に発生する。

ライン３６を通ずる信号間の差、再構成回路の出力およびライン３２を通ずる信 号は損失性圧縮回路２８により導入される符号化誤差を表わす。ライン３６を通 ずる再構成装置３４の出力は、空間定義域で動作し各画素と運動変位ベクトルと を関連づける運動フィールド補間回路３８に差し向けられる。こうして、ライン ３６を通ずる入力信号が、たとえば４Ｘ４ブロツクの画素などの要素からなる帯 域または群のために運動変位を表示する間、以下で詳述するように、運動フィー ルド補間器は各画素に関連づけられる運動変位ベクトルがあるようそのデータを 分解する。ライン４０を通ずる運動フィールド補間器の結果出力は運動再構成信 号と呼ばれる。

運動再構成信号は、誤差再構成ループ４３の一部を形成する運動補償装置４２に 印加される。誤差再構成ループは、フレームバッファ４４、損失性圧縮回路４６ および再構成回路４８を具備する。それぞれライン２２および５１を通ずる損失 性圧縮回路への入力は現行フレームのための原入力画像および推定受信機信号、 すなわち、いずれの別途データもなければ受信機が再構成しそして表示を行うと ころの信号である。損失性圧縮器４６は、原入力画像と評価受信器信号との間の 差を減縮するそして原則的には削除するため、別途の符号化データ、誤差再構成 信号を受信機に賦与する。その差は符号化され、その帯域幅および結果的に得ら れる信号を減じ、ライン５２を通ずる誤差再構成信号はチャンネル符号器１８へ 供給される。上述のＥｒ１ｃｓｓｏｎ特許の損失性圧縮器４６は、利得／形状ベ クトル量子化を使用する２次元ブロック符号器であり、ブロック変換の出力は、 損失性圧縮器２８との関係で上述したプロセスに従って、帯域幅が別途有効に減 ぜられかつ符号化される。しかし、本発明の好ましい図示の実施例では、階層的 なエントロピー符号化格子閾値量子化符号化方法および装置が損失性圧縮器４６ を実施する際に有効に使用される。

誤差再構成信号もまた再構成装置４８へ送られ、しかしてこの再構成装置は損失 性圧縮器４６により課されるのとは反対の動作を提供する。それゆえ、再構成装 置４８の出力にはライン５４の誤差再構成画像が生ずる。誤差再構成画像は運動 補償器の予想出力（ライン５１の２推定受信機画像）に加えられ、そして結果的 に生ずる信号、（前フレームについて予測される受信機画像である）推定受信機 画像はフレームバッファ４４に記憶される。

上述したように、フレームバッファ４４への入力は推定受信機画像である。受信 機により受信される全てのデータを考慮したこの受信機画像はあるフレームのた めの再構成受信機画像に対応する。ライン６４のフレームバッファからの出力画 像は、運動補償回路４２がライン４０の運動フィールド補間器３８の出力に従っ て修正を行うところの画像である。運動補償器４２の出力は、損失性圧縮器２８ からの出力データ再構成の結果としての予測受信機画像を表わす。

受信機２１では、第３図を参照すると、チャンネルからのデータがチャネル復号 化回路７０により復号化されそしてライン７２の結果的に生ずる受信機誤差再構 成信号およびライン７４の受信機の符号化運動信号表示がそれぞれ再構成回路７ ６、運動補償器９９および再構成回路７８へ供給される。再構成回路７６および ７８はそれぞれ送信機により使用される符号の復号化を行い、後に詳述するよう に、送信機の再構成回路４８および３４により遂行される動作を招く。誤差再構 成回路７６の出力は、ライン８２の運動補償信号がライン８４の誤差画像表示へ 加えられライン８６の再構成受信機信号を発生する回復ループ８０へ賦与される 。この信号は、ディジタル−アナログ変換回路９０へ賦与されそしてここから視 聴のためモニター９２へ賦与される。

運動再構成信号は、第２図の運動フィールド補間器３８に対応する運動フィール ド補間器９６により発生される。上述したように、運動フィールド補間器は、画 像の各画素について運動ベクトルを提供し、それゆλフレーム補間器が、受信フ レーム間の任意の選択される時間に画像がどのようなものであったかを正確に予 測するのを許容する。ライン８６の再構成受信機画像は逐次フレームバッファ９ ８に記憶されそして運動補償器９つへ供給され、しかしてこの運動補償器９９は 運動フィールド補間器９６からも信号を受信する。誤差修正のない予想受信機画 像を表わす運動補償器の出力は、送信機のライン５１の信号に対応しそしてライ ン８４の誤差再構成回路の出力との組み合わせのため加算器１００へ供給される 第２図および第３図の送信機回路および受信機回路はたとえば、上述の米国特許 第４．７２７．４２２号および第４，８１６．９１４号に述べられているような 複数の方法で修正できる。送信機および受信機構造のこれら代替実施例は種々の 通信構成において適用できるけれども、エントロピー符号化格子閾値量子化符号 化装置に関係する本命最初に開示の本発明は、これら所定の送信機構成のうちの いずれが使用されるかに依存せずそれゆえ上述の標準的な送信機および受信機構 成との関係だけで述べる。

送信機および受信機回路の運動フィールド補間器（３８，９６）および送信機回 路の損失性圧縮器２８は１９８９年７月１８日発行のＥｒ１ｃｓｓｏｎによる米 国特許第４，８４９，８１０号に詳細に述べられている。しかし、Ｅｒ１ｃｓｓ ｏｎ特許にも開示されている損失性圧縮器４６はそのエントロピー符号化格子閾 値量子化符号化方法の使用により修正される。したがって、損失性圧縮器はここ に詳細に説明する。

なお、本発明により有利に使用される適応フィルタおよび運動推定器は上述のＥ ｒ１ｃｓｓｏｎの米国特許第４，８４９，８１０号にもまた開示されている。

上述したように、損失性圧縮器４６は入力として、ライン２２の原非符号化儒号 とライン５１の推定受信機画像を表わす信号を受け取る。損失性圧縮器４６はこ れらの信号を使用し、これらの差を符号化し、そしてライン５２に符号化誤差再 構成信号を出力する。この信号は運動補償システムによって適宜には補償されな いたいていの誤差を修正する。

ここに第４図および第５図を参照すると、ライン５１の推定受信機画像（「歪曲 」画像と呼ばれることが多い）およびライン２２の原罪符号化画像はデシメーシ ョン回路５０２．５０４により４回の回数、縮減（デシメーション化）される（ すなわち、後述するようにフィルター操作が行われそして副標本化が行われる） 。各縮減段階で、画像は水平方向および垂直方向の両方に２因子だけ副標本化さ れる。こうして、輝度画像について５つの水準の画像が、図示の実施例で、輝度 について２５６Ｘ２４０．１２８Ｘ１２０．６４Ｘ６０．３２Ｘ３０および１６ Ｘ　１５画素の解像度で得られる。異なる画像解像度の一組の画像は通常「解像 度ピラミッド」と呼ばれる。ピラミッドの基部はフル解像度の画像であり、ピラ ミッドの頂部は、図示の実施例では、１６Ｘ　１５ピクセル画像である。

類似の解像度ピラミッドが色画像のｒＩＪおよび「Ｑ」のクロミナンス要素につ いて形成される。しかし、以下の説明では、画像の輝度成分だけを説明する。同 様の装置および処理ステップが画像のクロミナンス成分に等しく適用できる。

格子閾値量子化装置に従えば、歪曲画像と原罪符号化画像との間の画像差の符号 化が、解像度ピラミッドの頂部水準から底部水準へとレベルバイレベルベースで 符号化回路５０６により遂行される。プロセスは、何らの追加のビットもビデオ 伝送のために得られないときにその解像度で終了する。こうして、中庸の（ｍｏ ｄｅｒａｔｅ）運動中、装置は標準的には２５６　Ｘ２４０ビクセルの底部すな わち基部水準に到達し、大きな運動中、符号化は１２８Ｘ１２０水準で停止し得 る。標準的には、シーンの変化中、装置はピラミッドにおいて伝送ビットを早く 使い切るかまたは数個のピラミッド水準間で利用可能なリストを分割する。こう して一般に、画像またはシーンの大きな変化が、詳細は後のフレームに入れられ た状態で、標準的には高位水準で最初記述される。

詳述すると、エントロピー符号化格子閾値量子化（ＥＣ−ＬＴＱ）を使用する好 ましい階層的符号化装置によれば、符号化は、頂部水準、すなわち１６ｘ１５画 像から開始する。

１６Ｘ　１５バージヨンの歪曲画像またはバックグラウンド画像が予測に使用さ れる。これは、いずれの追加の情報もない場合に受信機で生成される（縮減され た）画像に対応することを思い起こされたい。第６図を参照すると、この頂部水 準予測は原画像の１６Ｘ　１５の縮減頂部水準画像から差し引かれる。頂部水準 での誤差を表わす差分画像が量子化されそして量子化情報は受信機への伝送のた め符号器１８へ差し向けられる。その後、量子化された差分画像は１６Ｘ　１５ 水準で予測画像に加えられ、受信機もまたそれを生成するところの１６Ｘ　１５ 再構成画像を形成する低位の水準では予測バージョンの画像は異なる態様で形成 される。本発明によれば、予測は高位水準再構成画像および現行レベルの歪曲画 像から以下のように導出される。

最初に、高位水準歪曲画像を補間し、それを現行水準歪曲画像から差し引くこと により補間誤差画像が導出される。結果的に生ずる歪曲補間誤差画像は本質的に 歪曲画像の空間的に高い周波数、すなわち高位水準画像に存在しない情報、を抽 出する。高位水準再構成画像は順次補間され現行水準に補間再構成画像を形成す る。Ｉｋ後に、歪曲補間誤差画像またはバックグラウンド画像は選択的に補間再 構成画像に加えられ、予測画像を発生する。

同時継続出願第０７１５２１．９７６号に詳細に述べられているように、歪曲補 間誤差画像またはバックグラウンド画像が使用され、この場合、それは予測を改 善するがそれ以外は改善しない。これはブロックバイブロツクをベースにして決 定されそして決定は「サイド」情報として受信機へ送信される。

その後、この低位水準で差分信号を発生するステップは頂部水準でのステップと 同様である。すなわち、現行水準予測画像は現行水準原画像から差し引かれそし てその差分が量子化され、受信機へ伝送される。その後、量子化された差分はそ の水準で予測画像へ加えられ、新規な再構成画像を形成する。この手続は、底部 水準に到達するまで解像度ピラミッドを通じ繰り返される。底部水準の再構成画 像はその水準での出力画像であり、そしてそれは復号器により表示されるまさに その画像である。

その画像はまた上述のように使用され、次のフレームのための歪曲画像を形成す る。送信機での歪曲画像の再構成は上述したように再構成回路４８により遂行さ れる。

利用可能なビットの全てが、底部水準に到達する前に使用されてしまったならば 、低位水準での予測は依然として同様の態様で発生されるが、何らの符号化、す なわち何らの量子化差分情報も受信機へ送られない。その代わりに、最低位水準 での予測がその水準での出力または上述のように予測へ加えられ、そして結果は 頂部水準での（ライン５２２の）出力または再構成画像である。

頂部水準予測誤差との関係で使用されるスカラー量子化装置５１６はゼロの周囲 にデッドゾーンを有する均等量子化装！である。それは、図示の実施例で、符号 を１ビツトでそして大きさを７ビツトで符号化する。大きさあるいは絶対値につ いての閾値（Ｔ（ｉ））は以下に配置される。

Ｔ（ｉ）＝ｉ＊Ｔ ｉ＝１．２、・・・、Ｎ　（式１） 再構成レベル（Ｒ（ｉ））は以下により定められる。

Ｒ（０）　＝Ｏ Ｒ（ｉ）＝　（ｉ＋Ｄｅｌｔａ＊Ｒ）ｉ＝１．２、・・・、Ｎ（式２） それゆえ、Ｘの値、ここでＸはＴ　（ｋ）よりも大きいが、Ｔ　（ｋ＋１）より も小さい、が量子化装置インデックスクス値に割り当てられそして値Ｒ（ｋ）を 有するとして受信機にて再構成される。量子化装置はゼロの周囲に対称的でもあ りそして絶対値がゼロに等しいＴ（１）よりも小さなとき全ての値をセットする 。

解像度ピラミッドの低位水準のために、予測画像は、次の高位水準からの出力画 像を同様の水準の歪曲画像と組合せることにより発生される。こうして、予測誤 差は、現行水率の原画像の差分を取ることにより形成される、差分画像は格子閾 値量子化装置を使用して符号化されそして量子化された差分は予測に加えられ、 現行水準に新規な出力画像を得る。Ｙ、ＩおよびＱ成分は３つの個別の画像とし て取り扱われる。

低位水準をより詳細に考察すると、予測画像は現行水準の歪曲画像を出力と次の 高位水準からの歪曲画像とを組合せることにより発生される。詳述すると、歪曲 画像の補間誤差は、現行水準の歪曲画像５２４と（回路５２６により補間された ）次の高位水準からの補間バージョンの歪曲画像を使用して発生される。その補 間誤差は、現行水準の歪曲画像と縮減されそして補間される同様の画像との差分 である。上述したように、それは、次高位水準画像を形成する縮減において喪失 された歪曲画像の詳細を包含する。次高位水準からの出力画像は補間回路５２７ で補間され現行水準の画像を得る。その後、ライン５２８の歪曲補間誤差または バックグラウンド画像は加算器５３０により補間出力画像へ条件付きで付加され 予測を形成する。すなわち、８Ｘ８ビクセルの各ブロックごとに、平方あるいは ２乗誤差が５３２に記憶された原画像と３つの可能な予測との間、すなわち、歪 曲補間誤差を包摂するそして包摂しない次高位水準からの補間出力画像とさらに バックグラウンド画像を包摂するそれとの間で決定される。

歪曲補間誤差の除去は予測のための歪曲画像のローパスフィルタリングと等価で ある。この有効フィルタリングプロセスはそれが予測誤差における有意な減少を 提供するすべてのブロック、すなわち運動補償が成功しなかったこれらブロック で、遂行される０図示の実施例でたとえば１６５などの重み付は因子を掛は合わ せた「曖昧化誤差」が歪曲補間誤差を使用する誤差よりも小さければ、「曖昧化 」と呼ばれるフィルタリングプロセスの結果がもたらされる。バックグラウンド 画像の使用は、非運動対象物の表示がたとえこれら対象物が短時間遮断されると きでさえ復号器により保持できるような長期間記憶と等価である。このバックグ ラウンドフレームは、有意な利得が他の選択を越えて実現されるときにだけ使用 されるべきである。それゆえ、その重み付は因子は「曖昧化」重みよりも２０〜 ２５％程度大きい。

曖昧およびバックグラウンド情報は各８Ｘ８ブロツクごとに１または２ビツト（ ３状態）ワードを発生する。

これは運動ベクトルフィールド符号化で使用される方法と類似しそしてこれら２ ビツトが以下の２つの質問に「答える」。

ａ）装置は現行の（８Ｘ　８）ブロックを曖昧化するか？ｂ）もし曖昧化が遂行 されなければ、歪曲予測またはバックグラウンド画像が使用されるべきか？たと えば、１が曖昧化を指示しそしてゼロが非曖昧化を指示する。情報は、上述した ように、算術符号器５３４を使用して符号化され、そして各ワードが１ビツトだ けを包含するので、ひとたび「曖昧場所地図」が符号化されれば、非ゼロ値を符 号化する必要はない。

曖昧情報のために所定の算術符号器５３４は６つのバイナリ変数を使用し、３２ 個の状態の内の一つを対応する確率で選択する。バイナリ変数は同様の水準にブ ロックを隣接するための以前に符号化された４つの曖昧化ワードと、高位水準隣 接要素、すなわち現行ブロックに対応する、次高位水準のブロックのための曖昧 化ワードである。こうして、符号器は、−水準での曖昧化が低位水準へ伝搬する という事実の明示の使用を行わず、その代わりにこの関係は非ゼロ高位水準隣接 要素を有する種々の状態のための確率に反映される。

予測誤差それ自身は格子量子化装置５３６により符号化される。こうして、各水 準で、Ｙ、１右よびＱｍｍ酸成分３つの個別の画像として取り扱われる。各水準 ごとに発生されるそれぞれの異なる画像はこうして４Ｘ２ビクセルのブロックに 分割される。各ブロックは「ベクトル」となりそして、最初、最近接点を決定し その後、以下に詳細に述べるように、この点を割り出すことにより格子量子化に より符号化される。

残余の水準は、後述のように好ましい実施例において画像データが符号化される ことを除いて、（３０Ｘ３２）水準で適用される手続の使用と、要素５２４．５ ２６．５２７と加算器５３８および要素５３０．５３４および５３６の等個物の 使用により符号化できる。

開示のエントロピ符号化格子閾値量子化はＥｒ１ｃｓｓｏｎの米国特許第４．８ ４９，８１０号に開示のベクトル量子化と置換する。ベクトル量子化（ＶＱ）符 号化とエントロピ符号化格子閾値量子化符号化とを比較すると、我々は、シャノ ンの理論から、最適指定されたベクトル量子化符号表の寸法および次元が増大す るに応じて、その性能は、エントロピ符号化の必要性なしに、動作上の歪−レー ト境界に接近することを知る。しかしベクトル量子化プロセスの複雑さもまた境 界なしに発展しそして中程度の複雑さでさえ良好な性能を得るために賢い方法が 使用されねばならない、シャノンの考えで最適である格子量子化装置は、本発明 以前には、少数のソースおよび次元についてのみ知られていた。たとえば、６角 形格子が２次元で独立の同等に分配された均等なソースにとって最適である。そ れは、矩形の格子が、独立の同等分配ラブラシアンンースについて良好に働くこ ともまた分かっている。

一般に、高い球形充填密度を有する格子が、符号化レートが高くかつ効率よいエ ントロピ符号化がインデックス伝送に使用されれば、独立同等分配ソースについ て良好に働くことを見８すことができる。低レートでそして本出願で開示される ようなメモリを具備したソースについて良好な性能を実現することは捕捉し難い 目標である。

エントロピ一 本発明によれば、種々のデータソースのために広範なデータレートにわたる最適 な性能が多次元格子の使用によりはじめて得られる。好ましい符号化構造体は第 １０図に図示のエントロピ符号化格子閾値量子化装置（ＥＣ−ＬＴＱ）と呼ばれ る９本発明の好ましい実施例は、最も高い既知の球充填密度を有する８次元格子 、Ｅ−８格子を使用する。

Ｅｒ１ｃｓｓｏｎによる米国特許第４，８４９，８１０号に開示のベクトル量子 化装置は、学習期間中その符号器をその復号器のためにそしてその復号器をその 符号器のために逐次最適化し、標準的にはエントロピ符号化など別途の符号化を 必要としない（大域的でないが）局部的最適設計を結果することにより、（おそ ら（測定されないけれども）ある所定の確率密度関数（ｐｄｆ）について設計さ れる。他方、たいていの格子量しか装置はメモリなし確率密度関数についてのみ 最も良好に働く、ところが、最も簡単な１次元格子（Ｚ−１または均等量子化装 置）は、スカラー量子化装置のＧ１５ｈ−Ｐｉｅｒｃｅ性能境界に接近するだけ でなくこれを達成することさえ可能であることが分かった、非常に良好な性能が 、量子化装置の再構成値についての各Ｖｏｒｏｎｏｉ領域の重心の使用（第９図 ）そして均一閾値量子化装置と効率のよいエントロピコードとの結合（第１０図 ）により得られる。所定の歪−レート動作点は量子化装置のステップ寸法により 固定される。

本発明のエントロピ符号化格子閾値量子化装置は、均一閾値量子化装置をベクト ルケースヘ一般適用する。上述したように、本発明によれば、Ｅ−８格子がソー スを符号化するのに使用されそして個別の最適復号器がそのために指定される。

符号器出力は近傍最適エントロピコードの使用により符号化される。復号器は、 ソース確立密度関数および歪の尺度が与えられると、各格子点のｖＯｒｏｎｏｉ 領域ごとに一つの重心の計数可能な重心の組からなる。

格子閾値量子化装置の性能はスカラ量子化装置のＧ１５ｈ−Ｐｉｅｒｃｅ境界と シャノンの動作歪−レート境界との間にある。エントロピ符号化格子閾値量子化 装置はいずれの格子についても組み込まれるけれども、エントロピ符号化格子閾 値量子化の性能は、使用される所定格子に比較的依存せず、それゆえ、最も簡単 なｎ次元格子、ｎ次元立方（またはＺ−ｎ）格子でさえも、より複雑であり密度 の高いＥ−８または２４次元Ｌｅｅｃｈ格子と同程度に作用できる。

たとえエントロピ符号化格子閾値量子化がベクトル量子化の歪−レート性能を達 成できな（とも、ベクトル量子化よりもエントロピ符号化格子閾値量子化を好む い（つ化の理由が存する。第１に、従来のベクトル量子化符号表は有限であるの で、すべての符号ベクトルをそのなかに包摂する超球が存在する。超球の外側に 存在するソースベクトルが標準的には低確率を有しそしてベクトル量子化の平均 歪にほとんど何も付加しないが、それにも拘らず、それらは、滅多に起こらない が容易に知覚されかつ目障りな人為的所産物として復号器の出力に出現する相当 な瞬間的歪を招く、たとえば、画像符号化において、ベクトル量子化のオーバロ ードは容易に知覚される局所化された曖昧化あるいは粗粒化を招き、音声符号化 においては、それは瞬間的であるが聴取し得る歪を招く。格子量子化装置は、任 意に大きなエネルギーを有するソースベクトルでさえも格子の点近傍に依然とし て配置されているので、何らのオーバロード領域も有しない。

格子量子化装置が、特に、時折の瞬間的な高レートを必要とするソース符号化装 置の感知性能を改善する。

第２に、格子のための高速符号化方法がありそして他の方法が特に高い球充填密 度を有する格子（たとえばＥ−８および２４次元Ｌｅｅｃｈ格子）のために絶え ずめられている。これらの方法は所与のソースベクトルに最も近い格子中に単一 点を配置することにより最適符号化を遂行する。対照的に、ベクトル量子化のた めのたいていの高速符号化方法が、ベクトル量子化の有限符号表の次善サーチを 遂行するか、または最適符号化を達成するために、標準的には符号表それ自体を 記憶するのに必要とされるよりも相当に大きなメモリを要求するかのいずれかで ある。

第３に、ソースからメモリの相当量を削除する良好な予測子を有すると仮定し、 量子化装置のソースモデルな（必然的にｉ、ｉ、ｄ、ではないけれども）ピーク 確率密度関数へ変換することは、最も蓋然性のあるソースベクトルを最適に符号 化するためにのみ複雑性とメモリとを消賀しそして頻度の小さな孤立値のために 簡単な次善符号化技術を残すことにより、非常に良好な歪−レート性能がエント ロピ符号化格子閾値量子化装置により得られる。これは、開示のリアルタイムビ デオ圧縮などエントロピ符号化格子閾値量子化の実用性のある実施のために重要 である。本発明の好ましい実施例はＥ−８格子についてこれを達成する一つの新 規な方法を示す。

本発明の好ましい実施例においてエントロピ符号化格子閾値量子化が閉ループピ ラミッド画像圧縮方法に適用されるけれども、開示のエントロピ符号化格子閾値 量子化技術は開ループピラミッド画像圧縮、従来のサブバンドおよび変換面＠お よび音声符号化ならびにベクトル量子化を使用する他のいずれの仮想的な圧縮技 術にも等しく適用できる。

Ｅ−８のためのエントロピ、１　値 本発明による階層的な圧縮のためのエントロピ符号化格子閾値量子化の好ましい 実施例はＥ−８格子を使用しそして本発明の装置および方法はこの格子について エントロピ符号化格子閾値量子化を効率よ〈実施する方法を提供する。

Ｅ−８格子は、一つのＤ−８格子とベクトル０．５★（１１１１１１１１）によ り並進（ｔｒａｎｓｌａｔｅ）される別のＤし、インデックスをエントロピ符号 化し、インデックス−８格子との結合からなる。Ｄ−８格子は合計が偶数になる 整数要素を具備する全部で８次元のベクトルからなる。たとえば、（１−３００ ００００）はＤ−８格子の一点であり、（１１１０００００）はそうではない、 変換ベクトルもまた合計が偶数であるから、Ｅ−８格子中のすべての点の成分は 合計が偶数である。Ｅ−８格子はすべてゼロのベクトルを含むことにも注意され たい。

Ｅ−８格子中のすべての点は、それらのＬ−２ノルムの値（２乗の和）により殻 あるいはシェルにグループ化でき、ここで殻の数はＬ−２ノルムと一緒に増大す る。

すべてゼロのベクトルはゼロのノルムを有する唯一の格子点であり、そして、そ れは殻０を構成する。２．０のＬ−２ノルムを有する２４０個の点があり、これ らの点は殻１を構成する。それぞれが４．０のＬ−２ノルムを有する２１６０個 の点が殻２にある（以下同様）。たとえばここに述べた標準的なピラミッドビデ オ符号化応用について、確率密度関数は非常に「尖頭」的であり、ソースベクト ルの９０％以上が殻０にある。残余の１０％、大雑把に８０％〜９０％またはそ れ以上、が殻１および殻２にあり、殻１および殻２を効率よく符号化するのは価 値あるが、殻３およびそれ以上についてより簡単な方法が使用されるのを可能な らしめる。

エントロピ符号化格子間（ｉｆ子化プロセスは５つのステップで遂行される。ソ ースベクトルを最も近い格子点へ量子化し、格子点を単一格子インデックスへ符 号化スペクトルに最も近いものを識別するために、我々は、る、さらに、もし丸 め誤差Ｒｎが負でなければ（≧○）、座標が丸められるようが截頭されようが同 様の値が得られる。もしＲｎが負であれば、截頭値は丸められた値よりも小さい ｌである。これらの事実を組合せると、丸め座標および截頭座標の合計の奇偶性 は、もしＲ１−Ｒ２″・・・−Ｒ８≧０（ここで（′）は排他的論理和操作を意 味する）であればそしてこのときだけ、同じである。

もし排他的論理和操作は負の値を生ずれば、丸め座標の奇偶性は截頭座標のそれ と反対となる。丸めの場合と截頭に１／２を加えた場合の両方の奇偶性は截頭値 とＲ１″Ｒ２−・・・−Ｒ８の和だけを計算することにより検査できる。

最後に、截頭と１／２の加算とにより得られる最も大きな絶対値誤差は丸め動作 により得られる最も小さな絶対値誤差を有する座標について生ずる。誤差の符号 は、最近接格子点の座標へ移動するためには、ｒＩｊが加算または減算されねば ならないかどうかを示す。もし座標が変化されれば、その対応する誤差項（Ｒｎ またはＴｎ）もまた以下のようにして更新されねばならない。もし丸め座標が変 化したならば、 Ｒｎ（新）＝２★［Ｒｎ　（古）］−１一方、もし截頭および１／２加算座標が 変化したならば、その対応するＲｎに対する影響は Ｒｎ（新）＝２★［Ｒｎ（古）〕 である。

インデックスの、およ　、１饗　の　ハソースベクトルに最も近いＥ−８格子点 を見出したので、その点は受信機に明瞭に識別されねばならない、我々は、８次 元ブロックのベア（ここで、それぞれのベアはビクセルからなる４Ｘ４ブロツク を形成する）において行う、我々は、最初、各４×４ブロツクごとに１ビツトの ビットの配列を発生し、この場合、ブロックに対応する格子点の両方が殻Ｏに属 すれば、ビットはゼロであり、一つまたはそれ以上の格子点が殻Ｏ以外の殻に属 するのであればビットは１である。この配列中、最も高い解像度水準、すなわち ２５６Ｘ２４０水準、にて孤立されたものがゼロにセットされ、「ポツピング」 効果を限定する。算術符号化がこの情報を符号化するのに使用される。

配列の残余の「１」それぞれについて、我々は対応ブロックで両方の格子点のた めに股の数を共同でハフマン符号化する。たいていのソースベクトルは殻１また は殻２へ符号化するので、我々は、４つの場合、殻０、殻１、殻２および殻３ま たはそれ以上、だけを考える。我々はすでに、少くとも一つの格子点は股Ｏの外 側にあり、１５個の可能性があることを知っているので、我々は１５個のハフマ ン符号の表を使用する。

我々は、次に、どのようにして、受信機が識別された殻で所定の点を見出すかを 述べる。殻Ｏにはただ一つの点だけがあるので、何らの格子インデックスも送ら れる必要はない。もし点が殻ｌまたは殻２にあれば、以下に述べる手続は受信機 に対して所定の点を識別させ、対称性を利用して、関連の重心および確率分布に 必要とされる記憶を減するのに使用される。９２０個の重心だけが殻ｌおよび殻 ２の２４００個の点に対して必要とされる。残余は配列である。同様の重心の配 列を有する格子点が都合がよいことに同様のソース確率を有し、「親」の重心ご とに一つの重心と一つのハフマンコードという、９２０個のハフマンコード（好 ましいエントロピ符号化方法）だけが記憶される。受信機は殻格子点の膜数を知 るので、好ましい実施は事実上２組のハフマン符号表、一方の表は殻１について １２０個のコードを包摂し、他方は殻２について８００個のコードを包含する、 を使用する（各組から一つの表が、ソースベクトルのエネルギーの使用ステップ 寸法に対する比を計算することにより選択される。これは我々をして格子点を適 応符号化するのを可能にする）。最後に、もし点が殻３またはそれ以上にあれば 、我々は、通常は、データのベアを共同してハフマン符号化することにより、点 の座標をはっきりと伝送する。

図示の実施例によれば、格子点のエネルギーは計算できそしてその殻は識別され る。それぞれの８次元格子点はビクセルの２列×４行ブロックに対応する。殻３ またはそれ以上の点ついて、共同符号化座標ベアを調整するのに十分な列間相関 がある。格子点の空間関係を以下のにょうに指示すると、 ×０×４ ×１×５ ×２×６ ×３×７ 点のベア（ｘＱ、×４）、（×１、×５）、（×２、×６）および（×３、×７ ）が共同符号化される。（もしベアがある所定のダイナミックレンジを越えれば 、それらは個別に符号化される。さらに、座標の範囲を厳しく制限し、必要とさ れるハフマン表の寸法を制限することも必要である）。受信機では、後述するよ うに、格子点は格子座標、ステップ寸法および減衰因子の積を取ることにより再 構成される。

殻１および殻２は、計算確率に基いてハフマンコードを使用し符号化される。直 接的な実施方法が２４０ｑ個の８次元重心と２４００個のハフマンコードを、２ つの殻の２４００点について記憶することであろう、しかし、点間の対称性への 注目により、相当な記憶要素が節約できるつ詳述すると、我々は点の半分が他の 半分の反対であることに注意する。我々は反対極性を有するベア（すなわち、そ れは極対称性を呈示する）に注目する。残りのものの多くは、以下の、列、行の 交換または列および行両方の交換により形成される互いの交換である。

ＸＯ×４　×４　ＸＯ×３　×７　×７　Ｘ３×１×５または×５×１または× ２×６または×６×２ｘ２　ｘ６　ｘ６　ｘ２　ｘｌ　ｘ５　ｘ５　ｘＩＸ３　 Ｘ７　Ｘ７　Ｘ３　ＸＯＸ４　Ｘ４　ＸＯ（原）　（列交換）　（行変換）　（ 両方交換）これは、ＢａｋｅｒおよびＢｕｄｇｅにより提案される平均反射型残 留ベクトル量子化装置の符号表寸法を減するのに使用される。

我々は、格子点にＥ−８の逆発生行列を掛は合わせそして各成分のモジュロ２を 取ることにより見出される数である格子点の８ビツトグループ数（ＧＮ）を最初 計算することによりこれら対称性を識別する。行列は以下の通りである。

を有するので、それらのいずれの一つに行列を掛は合わせても、値が２乗ノルム に等しい非ゼロ成分を一つだけ２５６個の可能なグループ数（ＧＮ）の中で、（ ゼロの値を有する）−グループ数は全部Ｏの殻０の格子点に対応し、１２０個は それぞれ殻１の２４０個の格子点の２つに対応しそして残りの１３５個は殻２の ２１６０個の点に対応する。−格子点およびその反対は同様のグループ数を生ず ることは明かである。こうして、殻１についての１２０個のグループ数のそれぞ れは一つの格子点およびその反対に対応する。綿密な検査が、殻２についての１ ３５個のグループ数のそれぞれは正確に１６個の格子点に対応し、そのうちの８ つが他の８つの反対であることを明かにする。８つからなる各グループもまた相 互に直交しそれゆえ以下の方法がそれらを割出すのに使用できる０行列の一列と して各点ａ　（ｉ）　Ｔ　（ｉ　＝Ｏ１１、・・・、７を使用し８×８行列を形 成する（ここで、Ｔは転！行列を示し、そしてベクトルａ（ｉ）はｉ番目の８次 元格子点である）。点は直交しそして同様のノルムるとして）が存在するかを知 る。最後に、反対極性を有する格子ペアと一種類の対称性により関連付けられる べ有するベクトルを生ずる。以下の二次形式は０と７との間のインデックスを生 ずる。

Ｃ★［１２３４５６７８］　１　ａ（４）Ｔ　ｌ　ａ（ｉ）ここで、Ｃは、任意 の点ａ（ｉ）についての２乗ノルムの逆数である。この計算は、予めＣと［２３ ４ｓ　６７８１行ベクトルと８×８行列とを掛は合わせることにより簡単化でき 、単一の８次元行ベクトルを生ずる。内積の結果は０を除（−８と８との間の単 一インデックスである。こうして、１３５個の行ベクトルだけが殻２の格子点に ついて格納されればよい。殻２の１３５個のグループ数のうち、６５個のものの 格子点が単に極対称性を共用し、他の７０個のグループ数のもののうち、他の４ つとの極対称性に加えて正確に一つの型の交換対称性を共用する４つの点だけか ら事実上構成される（行または列のいずれかまたは行／列交換）。グループ数を 知ることで受信機はこれらの対称性のうちのいずれ（もしあれアとは同様の確率 を有するので、我々は、それぞれの極性および対称性ごとに一つの重心および一 つの確率だけを必要とする。我々は、９２０個の重心および確率の総計について 、殻１について１２０をそして殻２について（６５＊８＋７０＊４）＝８００を 必要とする。

インデックスのエントロピ　および′。

我々は、殻１および殻２それぞれの格子点を、（当技術分野でよ（知られている ハフマン符号化を使用し）そのグループ数をエントロピ符号化しそして点の極性 について（エントロピ１を有する）１ビツトを送ることにより、送る。もし点が （グループ数から受信機に直ちに知られる）殻２に属すれば、３またはそれ以上 のビットが（その極性の）８つの点のうちのいずれがそうであるかを識別する。

これら３つのビットは上述の内積操作から送信機で計算できる。もし点が交換対 称性を有すれば、これら３つのビットのうちの一つがフルエントロピを有する。

復号器はグループ数からどのくらいの数の追加のビットが必要とされるかを知り 、それゆえ、コードはコンマ免除である、すなわち、復号器は別途の情報な（ビ ット列を解析できそれゆえコードは効率よい。

ベクトルの 受信機では、ベクトルは格子座標または関連の重心と、ステップ寸法と減衰因子 の積を取ることにより再構成される。

痕Ｊ已ｉ玉 エントロピ符号化格子閾値量子化は、種々のソース分布およびビットレートにわ たり動作するのに使用される、この応用では、エントロピ符号化格子閾値量子化 は階１的ピラミッドビデオ符号化のために使用され、そして殻１または２の重心 はピラミッドの３つの最高位解像度水準でのみ使用される。さらに各水準でのソ ースの統計は異なる。また、いずれの一つの水準でも、ソース確率密度関数はス テップ寸法が変化するに応じて、偏差が変化する傾向がある。たとえば、もし入 力エネルギーはステップ寸法に比較して大きければ、格子点にわたる確率分布は 、比が小さいときよりも、非常に広い。これらの変化と取り組むために、いくつ かの種別が定められ、そして水準のステップ寸法の２乗に対する水準の入力エネ ルギーの比の閾処理を行うことにより決定される。好ましい実施では、装置は各 種別について一組のエントロピ符号表を記憶する。さらに、ベクトルの再構成値 へ適用される減衰率は、種別、符号化が起こるピラミッドの水準および量子化装 置の殻とともに変化する。再構成はこうして以下により与えられる。

（再構成）＝（重心）★（ステップ寸法）★減衰−因子（ステップ寸法） ★減衰−表（殻、水準、種別） ここで、減衰因子は第１１図に図示されるように、ステップ寸法とともに変化す る。減衰−表により指示される別の減衰は、格子点が属する所定の殻、符号化さ れつつあるピラミッド中の水準、および現在効力のある種別に従っである値を取 る。殻３およびそれ以上のものの格子点について、この式で使用される重心は格 子点自身である。これら減衰値は調整され、再構成信号における「ポツピング」 の人工的構造を限定する。一般に、累積的な減衰は、再構成値を格子点のＶｏｒ ｏｎｏｉ領域の外側に移動させるのに十分な程度大きくない、ここに定められる 関係により確立される所定の関数値は、回帰分析といくつかの発見的手法の制約 および知覚実験との共同作業により決定されねばならない、それらはここではテ ーブルとそれぞれの部分の線形関数として実施されるが、連続関数関係へ一般化 できよう。

Ｌ１止旦ｌ 唯−組の重心がエントロピ符号化格子閾値量子化と一緒に使用されるので、ソー スデータはステップ寸法により正規化され、その確率密度関数をより不動の一組 の値へ分解しなければならない０図示の実施例によれば、適当なステップ寸法を 推定するのに使用される方法、「白色化規則」、はビット割当て方法である。こ の方法は、先の特許Ｅｒ１ｃｓｓｏｎ米国特許第４．８４９．８１０号に開示の 閉ループ５水準型階層ピラミッドベクトル量子化のためにも使用できる。この方 法は、ピラミッドの３つの高位解像度水準のそれぞれで使うビット数を、その水 準についてｂｉｔｓ★★３　＋ｄ） ２．閉ループ推定：　開放ループ推定Ｓ、（０）が順次、回帰方式により決定さ れる乗算パラメータＣ′により修正される。

５ｃ（０）　（ｎ）＝ｃ　’　（ｎ）★Ｓ、　（０）　（ｎ）ｃ　’　（ｎ）　 ＝ｃ　′（ｎ−１）★ｅｘｐ　（ｈ　＊ｄｉｆｆ−ｂｉｔｓ（ｎ−１））ここで 、ｎはフレームインデックスであり、ｄｉｆｆｊｉｔｓ（ｎ−１）はフレーム（ ｎ−１）で使用されるビット数よりも少ない利用可能なビット数であり、ｈは定 数である。

好ましい実施において、ｄｉｆｊｂｉｔｓプロセスはローパスフィルタ操作が行 われる。

５つの定数、ａ、ｂ、ｃ、ｄおよびｈ、が実験により決定されねばならない。式 の２つが一つに組合せることができ、ベキ指数の数を減する。

５ｃ（０）　（ｎ）”　ｃ　′（ｎ−１）★５ｑｒｔ　（エネルギ（ｎ））★ｅ ｘｐ　（ａ★ｂｉｔｓ★★３÷ ｂ　＊ｂｉｔｓ（ｎ）★★２＋ｃ　＊ｂｉｔｓ［ｎ）＋ｄ＋ｈ　＊ｄｉｆｊｂｉ ｔｓ（ｎ−１）） 要約すると、本発明の好ましい実施例によれば、頂部水準で、装置はスカラー量 子化を使用する。次の水準で、Ｙ成分のために３２Ｘ３０＊準を、クロミナンス 成分について１５Ｘ１６水準を、歪曲補間誤差は選択的に頂部水準からの補間出 力画像へ付加され、それゆ＾、この水準では、曖昧化情報が伝送される。ところ で、本発明の好ましい実施例では、画像情報、すなわち出力画像誤差、の何らの 符号化も図示の実施例で遂行されない、予測画像磁芯はこの水準からの出力であ る。３つの底部水準において、その全てが同等に取り扱われ、適応性曖昧化動作 が予測画像発生時に使用される、予測誤差は格子閾値量子化を使用して符号化さ れる。これは第６図に模式的に図示されている。

図示の実施例で、たとえば、シーンの変化などのある状況が、最低位水準の次で さえ符号化することができないときに、生じ得る。この場合において、符号化は 次の上の水準（輝度について６０Ｘ６４そしてクロミナンスについて３０Ｘ３２ ）で停止する。もしこの水準での符号化が、フレーム当りの所望されるビット数 よりも多いビットを発生すれば、符号化は依然として遂行されそしてフレームレ ートは、発生される多数のビットにより一次的に緩慢となる。２つの底部水準の ために、予測が通常通り発生されそして曖昧化情報が伝送されるが、格子閾値量 子化は遂行されない。

第３図を参照すると、受信機では、送信されそして符号化されるデータは復号化 されそして新規なフレームが発生した。詳述すると、解像度ピラミッドを表わす データがピラミッドの頂部から底部へと水準ごとに再構成回路７６により復号化 される。頂部水準では、量子化差分画像は復号化され、（Ｗ減回路を含む選択性 加算器１００において）その水準で歪曲画像に足し合わされる。それにより、頂 部水準で出力画像は再構成される。低位水準は順次、最初、再構成回路７６から のライン８４で得られる伝送曖昧化情報を使用して予測を形成し、順次差分画像 を復号化しそしてそれを選択的に予測画像へ足し合わせてその水準について新規 な再構成画像を形成することにより（加算器１００により）再構成される。プロ セスは、底部水準に到達しそして底部水１１！亘像がディスプレイフレームバッ ファ９８へ転送されるまで継続する複数のプロセス、すなわち、損失性圧縮器４ ６からの運動変換係数、曖昧化情報および画像情報の復号化、で使用される算術 復号器はこの分野でよく知られているところに従って動作する。非ゼロ場所が、 符号器がいずれの状態であったかに依存して種々の確率を使用することにより符 号化されたので、算術復号器は、復号化が進行するに応じて、配置地図（ｍａｐ ）におけるそれぞれの位置ごとに状態を再発生する。符号化データとの組み合わ せにおいて、状態は、順次、それぞれの地図の場所ごとにゼロが使用されるか否 かを決定する。ひとたび、非ゼロ値の場所を指示する地図が復号化されれば、８ ビツト値が復号化されモして１だけ増分されそして地図の適当な位置に配置され る。

解像度ピラミッドの発生およびその復号化をより詳細に検証すると、プロセスは 損失性圧縮器４６で使用される方法の逆転の後に続く。こうして、受信機復号化 プロセスは送信機の復号化プロセスの後に続くので、頂部水準での予測は歪曲頂 部水準画像から発生される。量子化装置のインデックスは算術復号器の使用によ り復号化されそして量子化差分画像は量子化インデックスから再構成されそして 順次予測画像へ足し合わされ、（加算器５２２ａおよび送信機のライン５２２の 出力に対応する）頂部水準出力画像を与える。低位水準では、予測は、次の高位 水準からの補間出力画像へ歪曲補間誤差へ選択的に足し合わせることにより形成 される（送信機の加算器５３０に対応する）。その出力画像、次の出力水準での 歪曲画像が補間され、現行水準での画像を与える。曖昧化情報は、算術復号器の 使用により復号化され、順次、曖昧化コードがそれについてゼロであるところの 補間高位水準出力の各８Ｘ８ブロツクにおいて、現行水準の歪曲画像と補間高位 水準歪曲画像間の差が足し合わされる（送信機の加算器５３８に対応する）。

本発明の好ましい実施例によれば、低位水準では、格子閾値量子化情報は復号化 される。非ゼロ型マツプビットを有するそれぞれの４×４ブロツクが２つの４× ２格子格子化ベクトル内の殻の数を最初決定することにより復号化される０重心 は順次、殻Ｏにな（そして減衰値によりスケール化されるそれぞれの格子につい て見出される。出力画像は、この再構成差分を予測に足し合わせることにより、 その後形成される。（これは送信機の加算器５４０の動作に対応する）、最後の 再構成画毫における底部水準からの出力画像は順次量終出力画偉としてデイスプ レイフレームバッファに転送される。

図示の損失性圧縮器４６はハードウェアにおいて、ソフトウェアにおいて、また はそれらの組合せで実施できる。

開示の階層的エントロピ符号化格子閾値量子化符号化方法および装置は、運動補 償が行われない画像の配列の伝送との関係で有利に使用することもできる。この 場合、たとλば、第２図のライン５１の推定受信機画像はライン６４のフレーム バッファ４４のフレーム出力として指定される。なお、ライン２２の入力画像お よびライン５１の推定受信機画像は損失性圧縮器４６により個別に縮減される必 要はなく、第７図に図示するように、差分回路７２０への入力とすることができ 、受信機での誤差信号を表わすその出力は、順次、上述の本発明による縮減化お よび階層的格子閾値量子化符号化動作のため損失性圧縮器への入力とすることが できる。受信機では、運動補償器９９およびその関連の回路は、もし運動保証が 使用されなければ、同様に除去されよう。同様に、再構成回路７６が送信機の動 作に応じて修正され、第７図の回路が使用されるときライン８４の誤差画像表示 を再構成する。これらの変更は当業者であれば自明であろう。

エントロピ符号化格子閾値量子化は、均等ベクトル量子化を有する多次元データ ベクトルの他の配列の符号化においても使用できる。詳述すると、上述の簡単化 はかかるデータで採用でき、ベクトルデータについて確率密度関数を考慮するよ う修正されるであろう。

本発明の好ましい所定の実施例における追加、削除１、置換およびその他の修正 は当業者であれば自明であろう。そしてこれらは以下の請求の範囲に記載の本発 明の技術思想内に包摂されるべきものである。

ＦＩＧ、７ 要　約　書 画像フレームの配列を送信機（８）から受信機（２１）へ伝送するために、画像 伝送系、詳述すると、運動補償画像伝送系で、フレーム間誤差データを符号化す る装置および方法が階１的エントロピ符号化格子閾値量子化（４６）を使用し、 送信される画像のデータ圧縮を高める。本方法および装置は、フレーム間予測画 像データおよび符号化されない現行画像データ（５０４）を縮減（５０２）Ｌ、 階層的エントロピ符号化格子閾値量子化符号化（５０６）を結果的に生ずるピラ ミッドデータ構造体へ適用する。損失性符号化がレベルバイレベルベースで適用 され、予測画像データおよび非符号化原画像との間の画像差を表わす符号化デー タを発生する。本方法および装置は、運動補償と一緒にまたは一緒でなくとも、 画像フレーム（または音声などの他のパターンデータ）の配列伝送系に適用でき る。

国際調査報告

Claims (58)

【特許請求の範囲】
1. １．画像フレームの配列を伝送するために、画像伝送系でフレーム間誤差データ を符号化する方法において、現行画像フレームのためにフレーム間予測画像デー タを縮減し、複数の縮減水準を有する予測ピラミッドデータ構造体を発生する段 階と、 符号化されない現行画像フレームを表示する非符号化現行画像データを縮減し、 前記複数の縮減水準を有する現行画像ピラミッドデータ構造体を発生する段階と 、階層的エントロピ符号化格子閾値量子化符号化を、選択されるレベルをベース に前記予測ピラミッドデータ構造体および現行画像ピラミッドデータ構造体に適 用し、予測画像データと非符号化現行画像データとの間の差分を表示する符号化 データを発生する段階とを具備するフレーム間誤差データ符号化方法。
2. ２．画像フレームの配列を伝送するために、画像伝送系でフレーム間誤差データ を符号化する方法において、現行画像フレームのためにフレーム間予測画像デー タを縮減し、複数の縮減水準を有する予測ピラミッドデータ構造体を発生する段 階と、 符号化されない現行画像フレームを表示する非符号化現行画像データを縮減し、 前記複数の縮減水準を有する現行画像ピラミッドデータ構造体を発生する段階と 、階層的格子閾値量子化符号化を、選択されるレベルをベースに前記予測ピラミ ッドデータ構造体および現行画像ピラミッドデータ構造体に適用し、予測画像デ ータと非符号化現在画像データとの間の差分を表示する符号化データを発生する 段階とを具備するフレーム間誤差データ符号化方法。
3. ３．前記適用段階は、 前記階層的符号化をブロックをペースにして前記データ構造体に適用する段階と 、 予測画像データがピラミッド構造体の水準で前記現行画像のブロック部分を適宜 に表示し損なうとき、差分表示のブロックを曖昧化する段階を具備する請求の範 囲第１項記載のフレーム間誤差データ符号化方法。
4. ４．前記適用段階は、 算術符号化を使用し、部分的に前記符号化表示を発生する段階を具備する請求の 範囲第１項記載のフレーム間誤差データ符号化方法。
5. ５． 前記符号化を、ブロックをベースにしてある水準の前記データ構造体に適用する 段階と、 画像フレームの前記配列のフレームからフレームヘとブロック場所境界を移動し 、符号化効率を改善する段階とを具備した請求の範囲第１項記載のフレーム間誤 差データ符号化方法。
6. ６．Ｅ−８格子を前記格子閾値量子化のために適用する段階を具備した請求の範 囲第１項記載のフレーム間誤差データ符号化方法。
7. ７．前記適用段階は、 頂部水準で予測画像データ構造体を現行画像データ構造体から差し引き、頂部水 準出力画像を発生する段階と、低位水準での予測画像データと次の高位水準での 補間予測画像データとの間の差分を取ることにより、低位水準に歪曲補間誤差デ ータ構造体を形成する段階と、前記次高位水準の補間出力画像と低位水準での歪 曲補間誤差データ構造体とを組み合わせることにより、それぞれの低位水準に予 測画像を形成する段階とを具備する請求の範囲第１項記載のフレーム間誤差デー タ符号化方法。
8. ８．前記予測形成段階は、次高位水準からの出力画像を補間し、前記補間出力画 像を発生する段階を具備する請求の範囲第７項記載のフレーム間誤差データ符号 化方法。
9. ９．前記格子量子化および符号化を、ピラミッドデータ構造体の底部の複数水準 で予測画像誤差にのみ適用する段階と、 次最高位水準で曖昧化情報のみ伝送する段階と、処理の頂部水準でスカラー量子 化データのみ伝送する段階とを具備する請求の範囲第７項記載のフレーム間誤差 データ符号化方法。
10. １０．画像フレームの配列を伝送するために、画像伝送系でフレーム間誤差デー タを符号化する装置において、現行画像フレームのためにフレーム間予測画像デ ータを縮減し、複数の縮減水準を有する予測ピラミッドデータ構造体を発生する 手段と、 符号化されない現行画像フレームを表示する非符号化現行画像データを縮減し、 前記複数の縮減水準を有する現行画像ピラミッドデータ構造体を発生する手段と 、階層的エントロピ符号化格子閾値量子化符号化を、選択されるレベルをベース に前記予測ピラミッドデータ構造体および現行画像ピラミッドデータ構造体に適 用し、予測画像データと非符号化現行画像データとの間の差分を表示する符号化 データを発生する手段とを具備するフレーム間誤差データ符号化装置。
11. １１．前記適用手段は、 前記階層的符号化をブロックをベースにして前記データ構造体に適用する手段と 、 予測画像データがピラミッド構造体の水準で前記現行画像のブロック部分を適宜 に表示し損なうとき、差分表示のブロックを曖昧化する手段を具備する請求の範 囲第１０項記載のフレーム間誤差データ符号化装置。
12. １２．前記適用手段は、 部分的に前記符号化表示を発生する算術符号化手段をを具備する請求の範囲第１ ０項記載のフレーム間誤差データ符号化装置。
13. １３． 前記符号化を、ブロックをベースにしてある水準の前記データ構造体に適用する 手段と、 画像フレームの前記配列のフレームからフレームヘとブロック場所境界を移動し 、符号化効率を改善する手段とを具備した請求の範囲第１０項記載のフレーム間 誤差データ符号化装置。
14. １４．前記閾値量子化符号化のためにＥ−８格子を使用する手段を具備した請求 の範囲第１０項記載のフレーム間誤差データ符号化装置。
15. １５．前記適用手段は、 頂部水準で予測画像データ構造体を現行画像データ構造体から差し引き、頂部水 準出力画像を発生する手段と、低位水準での予測画像データと次の高位水準での 補間予測画像データとの間の差分を取ることにより、低位水準に歪曲補間誤差デ ータ構造体を形成する手段と、前記次高位水準の補間出力画像と低位水準での歪 曲補間誤差データ構造体とを組み合わせることにより、それぞれの低位水準に予 測画像を形成する手段とを具備する請求の範囲第１０項記載のフレーム間誤差デ ータ符号化装置。
16. １６．画像フレームの配列を伝送するために、運動補償画像伝送系でフレーム間 誤差データを符号化する方法において、 現行画像フレームのためにフレーム間予測画像データを縮減し、複数の縮減水準 を有する予測ピラミッドデータ構造体を発生する段階と、 符号化されない現行画像フレームを表示する非符号化現行画像データを縮減し、 前記複数の縮減水準を有する現行画像ピラミッドデータ構造体を発生する段階と 、階層的エントロピ符号化格子閾値量子化符号化を、選択されるレベルをベース に前記予測ピラミッドデータ構造体および現行画像ピラミッドデータ構造体に適 用し、予測画像データと非符号化現行画像データとの間の差分を表示する符号化 データを発生する段階とを具備するフレーム間誤差データ符号化方法。
17. １７．前記適用段階は、 前記階層的符号化をブロックをベースにして前記データ構造体に適用する段階と 、 予測画像データがピラミッド構造体の水準で前記現行画像のブロック部分を適宜 に表示し損なうとき、差分表示のブロックを曖昧化する段階を具備する請求の範 囲第１６項記載のフレーム間誤差データ符号化方法。
18. １８．前記適用段階は、 算術符号化を使用し、部分的に前記符号化表示を発生する段階を具備する請求の 範囲第１６項記載のフレーム間誤差データ符号化方法。
19. １９． 前記符号化を、ブロックをベースにしてある水準の前記データ構造体に適用する 段階と、 画像フレームの前記配列のフレームからフレームヘとブロック場所境界を移動し 、符号化効率を改善する段階とを具備した請求の範囲第１６項記載のフレーム間 誤差データ符号化方法。
20. ２０．前記適用段階は、 頂部水準で予測画像データ構造体を現行画像データ構造体から差し引き、頂部水 準出力画像を発生する段階と、低位水準での予測画像データと次の高位水準での 補間予測画像データとの間の差分を取ることにより、低位水準に歪曲補間誤差デ ータ構造体を形成する段階と、前記次高位水準の補間出力画像と低位水準での歪 曲補間誤差データ構造体とを組み合わせることにより、それぞれの低位水準に予 測画像を形成する段階とを具備する請求の範囲第１６項記載のフレーム間誤差デ ータ符号化方法。
21. ２１．前記予測形成段階は、次高位水準からの出力画像を補間し、前記補間出力 画像を発生する段階を具備する請求の範囲第２０項記載のフレーム間誤差データ 符号化方法。
22. ２２．前記エントロピ符号化格子閾値量子化および符号化を、ピラミッドデータ 構造体の底部の複数水準での予測画像誤差にのみ適用する段階と、 次最高位水準で曖昧化情報のみ伝送する段階と、処理の頂部水準でスカラー量子 化データのみ伝送する段階とを具備する請求の範囲第２０項記載のフレーム間誤 差データ符号化方法。
23. ２３．画像フレームの配列を伝送するために、運動補償画像伝送系でフレーム間 誤差データを符号化する装置において、 現行画像フレームのためにフレーム間予測画像データを縮減し、複数の縮減水準 を有する予測ピラミッドデータ構造体を発生する手段と、 符号化されない現行画像フレームを表示する非符号化現行画像データを縮減し、 前記複数の縮減水準を有する現行画像ピラミッドデータ構造体を発生する手段と 、階層的エントロピ符号化格子閾値量子化符号化を、選択されるレベルをベース に前記予測ピラミッドデータ構造体および現行画像ピラミッドデータ構造体に適 用し、予測画像データと符号化現行画像データとの間の差分を表示する符号化デ ータを発生する手段とを具備するフレーム間誤差データ符号化装置。
24. ２４．前記適用手段は、 前記階層的符号化をブロックをベースにして前記データ構造体に適用する手段と 、 予測画像データがピラミッド構造体の水準で前記現行画像のブロック部分を適宜 に表示し損なうとき、差分表示のブロックを曖昧化する手段を具備する請求の範 囲第２３項記載のフレーム間誤差データ符号化装置。
25. ２５．前記適用手段は、 部分的に前記符号化表示を発生する算術符号化手段をを具備する請求の範囲第２ ３項記載のフレーム間誤差データ符号化装置。
26. ２６． 前記符号化を、ブロックをベースにしてある水準の前記データ構造体に適用する 手段と、 画像フレームの前記配列のフレームからフレームヘとブロック場所境界を移動し 、符号化効率を改善する手段とを具備した請求の範囲第２３項記載のフレーム間 誤差データ符号化装置。
27. ２７．前記適用手段は、 頂部水準で予測画像データ構造体を現行画像データ構造体から差し引き、頂部水 準出力画像を発生する手段と、低位水準での予測画像データと次の高位水準での 補間予測画像データとの間の差分を取ることにより、低位水準に歪曲補間誤差デ ータ構造体を形成する手段と、前記次高位水準の補間出力画像と低位水準での歪 曲補間誤差データ構造体とを組み合わせることにより、それぞれの低位水準に予 測画像を形成する手段とを具備する請求の範囲第２３項記載のフレーム間誤差デ ータ符号化装置。
28. ２８．画像フレームの配列を伝送するために、画像伝送系でフレーム間誤差デー タを符号化するための方法において、 現行画像フレームのための予測画像データと符号化されない現行画像フレームを 表示する非符号化現行画像データとの間の差分をピクセルをベースにして表示す る差分画像を形成する段階と、 前記差分画像を縮減し、複数の縮減水準を有する差分画像ピラミッドデータ構造 体を発生する段階と、階層的エントロピ符号化格子閾値量子化符号化を、選択さ れるレベルをベースに前記差分画像ピラミッドデータ構造体へ適用し、予測画像 データと非符号化現行画像データとの間の差分を表わす符号化データを発生する 段階とを具備するフレーム間誤差データ符号化方法。
29. ２９．フレーム間運動補償を使用し前記予測画像データを形成する段階を具備す る請求の範囲第２８項記載のフレーム間誤差データ符号化方法。
30. ３０．前記適用段階は、 前記階層的符号化をブロックをベースにして前記データ構造体に適用する段階と 、 予測画像データがピラミッド構造体の水準で前記現行画像のブロック部分を適宜 に表示し損なうとき、予測画像表示のブロックを曖昧化する段階を具備する請求 の範囲第２８項記載のフレーム間誤差データ符号化方法。
31. ３１．前記適用段階は、 算術符号化を使用し、部分的に前記符号化表示を発生する段階を具備する請求の 範囲第２８項記載のフレーム間誤差データ符号化方法。
32. ３２． 前記符号化を、ブロックをベースにしてある水準の前記データ構造体に適用する 段階と、 画像フレームの前記配列のフレームからフレームヘとブロック場所境界を移動し 、符号化効率を改善する段階とを具備した請求の範囲第２８項記載のフレーム間 誤差データ符号化方法。
33. ３３．前記適用段階は、 低位水準での差分画像データと次高位水準での補間再構成差分画像データとの間 の差分を取ることにより、低位水準に補間誤差データ構造体を形成する段階を具 備する請求の範囲第２８項記載のフレーム間誤差データ符号化方法。
34. ３４．画像フレームの配列を伝送するために、画像伝送系でフレーム間誤差デー タを符号化するための方法において、 現行画像フレームのための予測画像データと符号化されない現行画像フレームを 表示する非符号化現行画像データとの間の差分をピクセルをベースにして表示す る差分画像を形成する段階と、 前記差分画像を縮減し、複数の縮減水準を有する差分画像ピラミッドデータ構造 体を発生する段階と、階層的格子閾値量子化符号化を、選択されるレベルをベー スに前記差分画像ピラミッドデータ構造体へ適用し予測画像データと非符号化現 行画像データとの間の差分を表わす符号化データを発生する段階とを具備するフ レーム間誤差データ符号化方法。
35. ３５．画像フレームの配列を伝送するために、画像伝送系でフレーム間誤差デー タを符号化するための装置において、 現行画像フレームのための予測画像データと符号化されない現行画像フレームを 表示する非符号化現行画像データとの間の差分をピクセルをベースにして表示す る差分画像を形成する手段と、 前記差分画像を縮減し、複数の縮減水準を有する差分画像ピラミッドデータ構造 体を発生する手段と、階層的エントロピ符号化格子閾値量子化符号化を、選択さ れるレベルをベースに前記差分画像ピラミッドデータ構造体へ適用し、予測画像 データと符号化現行画像データとの間の差分を表わす符号化データを発生する手 段とを具備するフレーム間誤差データ符号化装置。
36. ３６．フレーム間運動補償を使用し前記予測画像データを形成する手段を具備す る請求の範囲第３５項記載のフレーム間誤差データ符号化装置。
37. ３７．前記適用手段は、 前記階層的符号化をブロックをベースにして前記データ構造体に適用する手段と 、 予測画像データがピラミッド構造体の水準で前記現行画像のブロック部分を適宜 に表示し損なうとき、予測画像表示のブロックを曖昧化する手段を具備する請求 の範囲第３５項記載のフレーム間誤差データ符号化装置。
38. ３８．前記適用手段は、 部分的に前記符号化表示を発生する算術符号化手段を具備する請求の範囲第３５ 項記載のフレーム間誤差データ符号化装置。
39. ３９． 前記符号化を、ブロックをベースにしてある水準の前記データ構造体に適用する 手段と、 画像フレームの前記配列のフレームからフレームヘとブロック場所境界を移動し 、符号化効率を改善する手段とを具備した請求の範囲第３５項記載のフレーム間 誤差データ符号化装置。
40. ４０．前記適用手段は、 低位水準での差分画像データと次高位水準での補間再構成差分画像データとの間 の差分を取ることにより、低位水準に補間誤差データ構造体を形成する手段を具 備する請求の範囲第３５項記載のフレーム間誤差データ符号化装置。
41. ４１．画像フレームの配列を伝送するために、画像伝送系でフレーム間誤差デー タを符号化するための装置において、 現行画像フレームのための予測画像データと符号化されない現行画像フレームを 表示する非符号化現行画像データとの間の差分をピクセルをベースにして表示す る差分画像を形成する手段と、 前記差分画像を縮減し、複数の縮減水準を有する差分画像ピラミッドデータ構造 体を発生する手段と、階層的格子閾値量子化符号化を、選択されるレベルをベー スに前記差分画像ピラミッドデータ構造体へ適用し予測画像データと符号化現行 画像データとの間の差分を表わす符号化データを発生する手段とを具備するフレ ーム間誤差データ符号化装置。
42. ４２．画像フレームの配列を伝送するために、画像伝送系でフレーム間画像デー タを符号化する方法において、エントロピ符号化格子閾値量子化符号化を、ブロ ックをベースにして前記画像データに適用する段階と、画像フレームの前記配列 のフレームからフレームヘとブロック場所境界を移動し、符号化効率を改善する 段階とを具備したフレーム間画像データ符号化方法。
43. ４３．前記移動段階は、 画像面を画定するそれぞれの複数の軸線方向の前記ブロック境界複数画素を移動 する段階を具備した請求の範囲第４２項記載のフレーム間画像データ符号化方法 。
44. ４４．画像フレームの配列を伝送するために、画像伝送系でフレーム間画像デー タを符号化する装置において、エントロピ符号化格子閾値量子化符号化を、ブロ ックをベースにして前記画像データに適用する手段と、画像フレームの前記配列 のフレームからフレームヘとブロック場所境界を移動し、符号化効率を改善する 手段とを具備したフレーム間画像データ符号化装置。
45. ４５．前記移動手段は、 画像面を画定するそれぞれの複数の軸線方向の前記ブロック境界を複数の画素と 交換する手段を具備した請求の範囲第４４項記載のフレーム間画像データ符号化 装置。
46. ４６．画像フレームの配列を伝送するために、画像伝送系でフレーム間誤差を符 号化する装置において、現行画像フレームのためにフレーム間予測画像データを 縮減し、複数の縮減水準を有する予測ピラミッドデータ構造体を発生する手段と 、 符号化されない現行画像フレームを表示する非符号化現行画像データを縮減し、 前記複数の縮減水準を有する現行画像ピラミッドデータ構造体を発生する手段と 、階層的格子閾値量子化符号化を、選択されるレベルをベースに前記予測ピラミ ッドデータ構造体および現行画像ピラミッドデータ構造体に適用し、予測画像デ ータと非符号化現行画像データとの間の差分を表示する符号化データを発生する 手段とを具備するフレーム間誤差符号化装置。
47. ４７．多次元データベクトルの配列を符号化する方法において、 格子閾値量子化符号化を多次元データベクトルの前記配列へ適用し、前記データ ベクトルに最も近い格子点の配列を発生する段階と、 最近接格子点の前記配列を表わすデータを識別する格子点をエントロピ符号化す る段階と、 前記エントロピ符号化データを通信チャンネルに供給する段階とを具備する多次 元データベクトル配列符号化方法。
48. ４８．前記適用段階は各データベクトルごとに、前記閾値量子化符号化のために Ｅ−８格子を使用する段階と、 ベクトル座標について丸め誤差の絶対値をすべての前記次元にわたり足し合わせ る段階と、 ベクトルについて候補の格子点の和の奇偶性を決定する段階と、 データベクトルへ最も近い格子点を決定する段階とを具備する請求の範囲第４７ 項記載の多次元データベクトル配列符号化方法。
49. ４９．選択される殻の範囲内で各格子点の同一性を割り出す段階と、 前記通信チャンネルにわたる伝送のため前記インデックスをエントロピ符号化す る段階とを具備する請求の範囲第４７項記載の多次元データベクトル配列符号化 方法。
50. ５０．前記割出し段階は、 格子点を組合せて４×４ブロックを形成する段階と、両方の格子点が格子の殻０ にあるかどうかを識別する段階と、 殻０にないすべての点について殻数を符号化する段階と、 格子インデックス識別子の対称性を使用し殻０内にない各格子点のインデックス を識別する段階とを具備する請求の範囲第４９項記載の多次元データベクトル配 列符号化方法。
51. ５１．前記インデックス識別段階は、 格子点のクループについて、親の重心インデックスを識別する段階と、 空間対称性を使用し、親の重心インデックスの変化を識別する段階とを具備する 請求の範囲第５０項記載の多次元データベクトル配列符号化方法。
52. ５２．殻３またはそれ以上の高位水準殻にある点について格子点座標をはっきり と伝送する段階を具備する請求の範囲第５１項記載の多次元データベクトル配列 符号化方法。
53. ５３．多次元データベクトルの配列を符号化する装置において、 格子閾値量子化符号化を多次元データベクトルの前記配列へ適用し、前記データ ベクトルに最も近い格子点の配列を発生する手段と、 最近接格子点の前記配列を表わすデータを識別する格子点をエントロピ符号化す る手段と、 前記エントロピ符号化データを通信チャンネルに供給する手段とを具備する多次 元データベクトル配列符号化装置。
54. ５４．前記適用手段は各データベクトルごとに、前記閾値量子化符号化のために Ｅ−８格子を使用する手段と、 ベクトル座標について丸め誤差の絶対値をすべての次元にわたり足し合わせる手 段と、 ベクトルについて候補の格子点の和の奇偶性を決定する段階と、 データベクトルへ最も近い格子点を決定する手段とを具備する請求の範囲第５３ 項記載の多次元データベクトル配列符号化装置。
55. ５５．選択される殻の範囲内で各格子点の同一性を割り出す手段と、 前記通信チャンネルにわたる伝送のため前記インデックスをエントロピ符号化す る手段とを具備する請求の範囲第５３項記載の多次元データベクトル配列符号化 装置。
56. ５６．前記割出し手段は、 格子点を組合せて４×４ブロックを形成する手段と、両方の格子点が格子の殻０ にあるかとうかを識別する手段と、 殻０にないすべての点について殻数を符号化する手段と、 格子インデックス識別子の対称性を使用し殻０内にない各格子点のインデックス を識別する手段とを具備する請求の範囲第５５項記載の多次元データベクトル配 列符号化装置。
57. ５７．前記インデックス識別手段は、 格子点のクループについて、親の重心インデックスを識別する手段と、 空間対称性を使用し、親の重心インデックスの変化を識別する手段とを具備する 請求の範囲第５６項記載の多次元データベクトル配列符号化装置。
58. ５８．殻３またはそれ以上の高位水準殻にある点について格子点座標を明示的に 伝送する手段を具備する請求の範囲第５７項記載の多次元データベクトル配列符 号化装置。