JPH0998434A - 画像符号化装置および画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】多階層に解像度や画質を可変可能なスケーラブ
ル符号化に於てドリフトによる画質劣化や符号化効率低
下の無い動画像符号化・復号化装置を得る。 【解決手段】Ｎ×Ｎ個（Ｎ：自然数）の変換係数毎に変
換係数領域での動き補償予測を用いた動き補償予測＋変
換符号化装置において、局部復号された変換係数を低域
からｎ×ｎ個（ｎ＝１〜Ｎ）選択することによりＮ階層
の変換係数ピラミッドを作成する手段220 と、Ｎ階層の
変換係数ピラミッドを各階層毎に逆変換を施すことによ
り、Ｎ階層の再生画像ピラミッドを作成する手段212
と、Ｎ階層の再生画像ピラミッドを各階層毎に蓄積する
手段213 と、上記蓄積手段に蓄積されている画像を参照
して、各階層毎に動き補償予測信号を作成する手段214
と、上記動き補償予測信号を各階層毎に変換係数に変換
する手段215 と、上記変換係数を統合することにより動
き補償予測値を作成する手段230 を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号を高能率
に符号化し伝送・蓄積に供すると共に、また復号するた
めの画像符号化装置および復号化装置にかかわり、特
に、スケーラビリティ機能を有する画像符号化装置およ
び復号化装置に関する。

【０００２】

【従来の技術】画像信号は膨大な情報量を持つため、伝
送や蓄積に供する場合には圧縮符号化するのが一般的で
ある。画像信号を高能率に符号化するには、フレーム単
位の画像を、所要画素数単位でブロック分けし、その各
ブロック毎に直交変換して画像の持つ空間周波数を各周
波数成分に分離し、変換係数として取得してこれを符号
化する。

【０００３】ところで、画像符号化の機能として、ビッ
トストリームを部分的に復号することで、画質（ＳＮ
Ｒ； Signal to Noise Ratio）、空間解像度、時間解像
度を段階的に可変とすることを可能にするスケーラビリ
ティの機能が要求されている。

【０００４】図７は、Ｎ段階に空間解像度を可変にし、
Ｍ段階に画質を可変にするようにしたスケーラビリティ
機能を有するビットストリームのイメージである。図７
における斜線部で示されたビットストリームをデコード
することで、空間解像度がｎ（＝１〜Ｎ）、画質がｍ
（＝１〜Ｍ）の再生画像が得られる。

【０００５】ＩＳＯ／ＩＥＣにおいて標準化されたメデ
ィア統合系動画像符号化標準であるＭＰＥＧ２のビデオ
パート（ＩＳ１３８１８‐２）にも、スケーラビリティ
の機能が取り入れられている。

【０００６】このスケーラビリティは、図１５、図１６
に示されるような階層的な符号化法により実現される。
図１５は、ＳＮＲスケーラビリティの、また、図１６
は、空間スケーラビリティの、エンコーダの例とそのデ
コーダの構成をそれぞれ示したものである。

【０００７】図１５、図１６において、Ｄは遅延手段で
あって、ベースレイヤからの予測値が得られるまでの遅
延を与えるためのものであり、ＤＣＴは離散コサイン変
換（直交変換）を行う手段、Ｑは量子化を行う量子化
器、ＩＱは逆量子化を行う逆量子化器、ＩＤＣＴは逆Ｄ
ＣＴを行う手段、ＦＭはフレームメモリ、ＭＣは動き補
償予測を行う手段、ＶＬＣは可変長符号化を行う手段、
ＶＬＤは可変長復号化を行う手段、ＤＳはダウンサンプ
リングする手段、ＵＳはアップサンプリングを行う手
段、ｗは重み付けパラメータ（０，０．５，１）をそれ
ぞれ示している。

【０００８】図１５の（ａ）は符号化のためのエンコー
ダを、そして、（ｂ）はデコーダの構成例を示してい
る。エンコーダにおいては、画質の低いレイヤであるベ
ースレイヤと、画質の高いレイヤであるエンハンスレー
ヤに別れている。

【０００９】そして、ベースレイヤではＭＰＥＧ１ある
いはＭＰＥＧ２で符号化され、エンハンスレーヤでは、
ベースレイヤで符号化されたデータを再現し、元のデ−
タからこの再現されたものを引き、その結果得られる誤
差分だけをベースレイヤの量子化ステップ・サイズより
も小さな量子化ステップ・サイズで量子化して符号化す
る。すなわち、より細かく量子化して符号化する。そし
て、ベースレイヤ情報にエンハンスレーヤの情報を加え
ることで、精細さを向上させることができ、高画質の画
像の伝送・蓄積が可能になる。

【００１０】このように画像をベースレイヤとエンハン
スレーヤに分け、ベースレイヤで符号化されたデータを
再現し、元のデ−タからこの再現されたものを引き、そ
の結果得られる誤差分だけをベースレイヤの量子化ステ
ップ・サイズよりも小さな量子化ステップ・サイズで量
子化して符号化することで、高精細な画像の符号化／復
号化できるようにする技術をＳＮＲスケーラビリティと
いう。

【００１１】図１５の（ａ）のエンコーダでは、入力画
像をベースレイヤとエンハンスレーヤにそれぞれ入力
し、ベースレイヤではこれを前フレームの画像から得た
動き補償予測値との誤差分を得る処理をした後に直交変
換し（ＤＣＴ）、その変換係数を量子化して可変長復号
化し、ベースレイヤ出力とする。また、量子化出力は、
逆量子化した後、逆ＤＣＴし、これに前フレームの動き
補償予測値を加えてフレーム画像を得、このフレーム画
像から動き補償予測を行い、前フレームの動き補償予測
値とする。

【００１２】一方、エンハンスレーヤでは入力画像を、
ベースレイヤからの予測値が得られるまでの遅延を与え
たのちに、前フレームの画像から得たエンハンスレイヤ
での動き補償予測値との誤差分を得る処理をし、その後
に直交変換し（ＤＣＴ）、その変換係数にベースレイヤ
の逆量子化出力分の補正を加えてからこれを量子化して
可変長復号化し、エンハンスレイヤ出力とする。また、
量子化出力は、逆量子化した後、ベースレイヤにて得た
前フレームの動き補償予測値を加えて逆ＤＣＴし、これ
にエンハンスレイヤで得た前フレームの動き補償予測値
を加えてフレーム画像を得、このフレーム画像から動き
補償予測を行い、エンハンスレイヤでの前フレームの動
き補償予測値とする。

【００１３】これにより、ＳＮＲスケーラビリティを使
用した動画像の符号化を行うことができる。

【００１４】図１５のＳＮＲスケーラビリティは、図１
５では２階層で表現しているが、更に階層数を増やすこ
とで、様々なＳＮＲの再生画像が得られる。

【００１５】図１５の（ｂ）に示すデコーダでは、それ
ぞれ別個に与えられるエンハンスレイヤとベースレイヤ
の可変長復号化データを、それぞれ別個に可変長復号化
し、逆量子化してから両者を加え、これを逆ＤＣＴした
後、前フレームの動き補償予測値を加えて画像信号を復
元すると共に、復元した画像信号から得た１フレーム前
の画像から動き補償予測を行い、前フレームの動き補償
予測値とする。

【００１６】以上が、ＳＮＲスケーラビリティを採用し
た符号化と復号化の例である。

【００１７】一方、空間スケーラビリティは、空間解像
度からみたものであり、空間解像度の低いベースレイヤ
と空間解像度の高いエンハンスレイヤに分けて符号化す
る。ベースレイヤは通常のＭＰＥＧ２の符号化方法を使
用して符号化し、エンハンスレイヤではベースレイヤの
画像をアップサンプリング（低解像度画像の画素間に平
均値等の画素を付加し、高解像度画像を作成すること）
してエンハンスレイヤと同じサイズの画像を作成し、エ
ンハンスレイヤの画像からの動き補償予測と、このアッ
プサンプリングされた画像からの動き補償予測とから適
応的に予測をすることで、効率の良い符号化をすること
ができるようにするものであり、エンコーダの構成例は
図１６の（ａ）の如きであり、デコーダの構成例は図１
６の（ｂ）の如きで実現できるものである。

【００１８】図１６の空間スケーラビリティは、例え
ば、ＭＰＥＧ２のビットストリームの一部を取り出すと
ＭＰＥＧ１でデコードすることができるという後方互換
性を実現するために存在しており、様々な解像度の画像
を再生することができるようにする機能ではない（参考
文献：“特集 ＭＰＥＧ”テレビ誌、Ｖｏｌ．４９，Ｎ
ｏ．４，ｐｐ．４５８−４６３，１９９３）。

【００１９】すなわち、ＭＰＥＧ２における動画像の符
号化技術においては、高画質の画像の高能率符号化と高
画質再生を目指しており、符号化した画像に忠実な画像
が再現できるようにしている。

【００２０】しかしながら、マルチメディアの普及に伴
い、再生側のシステムでは、高能率符号化された高画質
画像のデータをフルデコードすることができる再生装置
の要求の他、携帯用のシステムなどのように、画質はと
もかくとして画面が再生できれば良いような用途や、シ
ステム価格を抑制するために、簡易型とするシステムの
要求などがある。

【００２１】このような要求に応えるためには、例え
ば、画像を８×８画素のマトリックスにブロック分け
し、各ブロック単位でＤＣＴを行った場合に、８×８の
変換係数が得られるわけであるから、本来ならば第１低
周波項から第８低周波項までの分を復号化しなければな
らないところを、第１低周波項から第４低周波項までの
分を復号化したり、第１低周波項から第６低周波項まで
の分を復号化したりといった具合に、再生は８×８では
なく、４×４とか、６×６の情報で復元するといったよ
うに簡素化することで対応できることになる。

【００２２】しかし、本来、８×８であるものを４×４
とか、６×６の情報で復元すると、動き補償予測値都の
ミスマッチが生じ、誤差が累積するため、画像が著しく
劣化する。このような符号化側と復号化側とのミスマッ
チを如何に克服するかが大きな課題となる。

【００２３】なお、標準化はされてはいないが、符号化
側と復号化側との空間解像度の違いに対処すべく、空間
解像度を変換する方法として直交変換（例えばＤＣＴ
（離散コサイン変換））係数の一部を、元の次数よりも
小さな次数で逆変換することにより、空間解像度を可変
にする方法もある。

【００２４】しかし、解像度変換された画像で動き補償
予測を行う際に、動き補償予測に起因したドリフトと呼
ばれる画質劣化が再生画像に発生してしまう（参考文
献：岩橋他、“スケーラブル・デコーダにおけるドリフ
ト低減のための動き補償”、信学技報ＩＥ９４−９７，
１９９４）。

【００２５】従って、符号化側と復号化側とのミスマッ
チ克服のための技術としては問題がある。

【００２６】また、動画像の符号化技術として、Ｊ．
Ｙ．Ａ．Ｗａｎｇ ｅｔ．ａｌ．“Ａｐｐｌｙｉｎｇ
Ｍｉｄ−ｌｅｖｅｌ Ｖｉｓｉｏｎ Ｔｅｃｈｎｉｑｕ
ｅｓｆｏｒ Ｖｉｄｅｏ Ｄａｔａ Ｃｏｍｐｒｅｓｓ
ｉｏｎ ａｎｄ Ｍａｎｉｐｕｌａｔｉｏｎ”，Ｍ．
Ｉ．Ｔ．ＭｅｄｉａＬａｂ．Ｔｅｃｈ．ＲｅｐｏｒｔＮ
ｏ．２６３，Ｆｅｂ．１９９４、において、ミッドレベ
ル符号化と呼ばれる範疇に属する画像符号化法が提案さ
れている。

【００２７】この方式では、図１７の（ａ）のような画
像があったとして、これを図１７の（ｂ），（ｃ）のよ
うに、背景と被写体（以降、これをオブジェクトと呼
ぶ）を分けて符号化している。

【００２８】そして、この方式では、背景（図１７の
（ｃ））やオブジェクト（図１７の（ｂ））を別々に符
号化するために、オブジェクトの形状や画面内の位置を
表すための情報であるアルファマップ信号（図１７の
（ｄ）における白画素がオブジェクトの画素を示す）が
必要となる。

【００２９】なお、背景のアルファマップ信号（図１７
の（ｅ））は、オブジェクトのアルファマップ信号から
一意に求められる。

【００３０】このような符号化法では、任意形状の画像
を符号化する必要があり、また、解像度の異なる画像を
再生するためには解像度変換が可能でなければならな
い。

【００３１】任意形状画像の符号化法および解像度変換
法の技術としては、本件発明者らが特願平７‐９７０７
３号にて既に提案した任意形状画像信号の直交変換法な
る手法がある。この技術は、背景と被写体とを含む画像
に対して、例えば、符号化装置においてオブジェクト
（被写体；（コンテント））の位置および形状を表すマ
ップ信号に従って、画像信号のうち、オブジェクトの内
部に位置するブロック（内部ブロック）は全画素の信
号、オブジェクトの境界部を含むブロック（エッジブロ
ック）はオブジェクトの内部に含まれる画素の信号のみ
を、それぞれ２次元直交変換して変換係数を符号化する
と共に、マップ信号を符号化し、復号化装置においては
復号し解像度変換したマップ信号に基づいて、復号した
直交変換係数から所望解像度の画像を再生するために必
要な直交変換係数を選択し、内部ブロックは全ての係数
を、そして、エッジブロックはオブジェクトの内部に含
まれる係数のみを、それぞれ２次元逆直交変換して、解
像度変換された再生画像信号を得るというものであり、
これにより、任意形状のオブジェクトを含むエッジブロ
ックについて解像度変換を行うことができるようにした
ものである。

【００３２】図１８は、当該任意形状画像信号の直交変
換法の一例であり、任意形状画像を正方ブロックで等分
割した際に、形状の境界部を含むエッジブロックに対す
る変換と、解像度変換の様子を図示したものである。

【００３３】図１８は形状の境界部を含むエッジブロッ
クに対する変換の手順を説明する図である。図１８に示
すように、[i] 入力されたエッジブロック信号の中で、
[ii]まず、斜線で示されるコンテントの内部に含まれる
画素を左端に寄せ集める。

【００３４】[iii] 次に斜線に示される画素を水平方向
に１次元ＤＣＴする。[iv]次に、網線で示される変換係
数を上端に寄せ集める。[v] 最後に、網線で示される変
換係数を垂直方向に１次元ＤＣＴする。

【００３５】このような手順を踏むことにより、任意形
状の２次元変換係数（[v] における黒塗りの部分）が得
られる。

【００３６】図１９は解像度変換手順である。図１９で
は、[i] 元のアルファマップ信号を、[ii]水平・垂直共
に５／８に解像度が変換されたアルファマップ信号に
し、[iii] これを図１８（ａ）の変換手順と同様に、水
平方向に並べ換えた後、[iv]垂直方向に並べ換えること
で、水平・垂直共に５／８の解像度の再生画像を得るの
に必要な変換係数の位置を求める。[v] 次に、この位置
情報を用いて必要な帯域の係数を選択する（黒塗りの部
分）。ここで選択された変換係数を、解像度変換された
アルファマップ信号にしたがって、図１８（ａ）の変換
手段と逆の仮定を施すことで、解像度変換された画像を
得る。

【００３７】

【発明が解決しようとする課題】動画像の符号化／復号
化を行う場合、利用形態によっては符号化側での解像度
より低い解像度で復号化したいという要求がある。しか
し、符号化側での解像度と、復号化側での解像度が異な
ると、ミスマッチによる再生画像の劣化があり、これを
抑制できるようにすると共に、符号化側では効率の良い
符号化を可能にする技術の開発が必要である。

【００３８】また、背景とオブジェクトを分離して符号
化する符号化技術があるが、このような符号化技術にお
いても、解像度と画質を可変とすることが可能なスケー
ラブル符号化が必要となる。

【００３９】しかし、これらの要求に応えることのでき
る技術はまだない。

【００４０】そこで、この発明の目的とするところは、
第１には、符号化側での解像度と、復号化側での解像度
が異なる場合においても、ミスマッチが生じることがな
く、良質の画像を符号化／復号化できると共に、符号化
効率を保つことができるようにした画像符号化／復号化
装置を提供することにある。

【００４１】また、この発明の第２の目的とするところ
は、背景とオブジェクトを分離して符号化する符号化技
術において、ミスマッチが生じることがなく、解像度と
画質を可変とすることができるようにした画像符号化／
復号化装置を提供することにある。

【００４２】

【課題を解決するための手段】本発明は、前記第１の目
的を達成するため、第１には、Ｎ×Ｎ個（Ｎ：自然数）
の変換係数毎に変換係数領域での動き補償予測が用いら
れる動き補償予測＋変換符号化装置において、局部復号
された変換係数を低域からｎ×ｎ個（ｎ＝１〜Ｎ）選択
することにより、Ｎ階層の変換係数ピラミッドを作成す
る手段と、Ｎ階層の変換係数ピラミッドを各階層毎に逆
変換を施すことにより、Ｎ階層の再生画像ピラミッドを
作成する手段と、Ｎ階層の再生画像ピラミッドを各階層
毎に蓄積する手段と、前記蓄積手段に蓄積されている画
像を参照して、各階層毎に動き補償予測信号を作成する
手段と、前記動き補償予測信号を各階層毎に変換係数に
変換する手段と、前記変換係数を統合することにより動
き補償予測値を作成する手段を有する動画像符号化装置
を提供する。

【００４３】また、本発明は、前記第１の目的を達成す
るため、第２には、前記第１の構成の符号化装置におい
て符号化された符号化ビットストリームの中から、第ｎ
階層（ｎ＝１〜Ｎ）までの符号を取り出す手段と、復号
されたｎ×ｎ個の変換係数から、ｎ階層の変換係数ピラ
ミッドを作成する手段と、ｎ階層の変換係数ピラミッド
を各階層毎に逆変換を施すことにより、ｎ階層の再生画
像ピラミッドを作成する手段と、ｎ階層の再生画像ピラ
ミッドを各階層毎に蓄積する手段と、前記蓄積手段に蓄
積されている画像を参照して、各階層毎に動き補償予測
信号を作成する手段と、前記動き補償予測信号を各階層
毎に変換係数に変換する手段と、前記変換係数を統合す
ることにより動き補償予測値を作成する手段を有し、第
ｎ階層の再生画像を再生することを特徴とする動画像復
号化装置を提供する。

【００４４】また、本発明は、前記第１の目的を達成す
るため、第３には、前記第１の構成の符号化装置を用い
た、Ｍ階層（Ｍ：自然数）のＳＮＲスケーラビリティを
実現する符号化装置であって、第ｍ階層（ｍ＝２〜Ｎ）
の予測誤差信号と、第ｍ−１階層の予測誤差信号の局部
再生値との差分信号を求める手段と、第ｍ階層におい
て、前記差分信号を第ｍ−１階層の量子化ステップサイ
ズよりも小さいステップサイズで量子化する手段と、逆
量子化された前記差分信号と、第ｍ−１階層の予測誤差
信号の局部再生値を加算することで、第ｍ階層の予測誤
差信号の局部再生値を求めることを特徴とする動画像符
号化装置を提供する。

【００４５】また、本発明は、前記第１の目的を達成す
るため、第４には、前記第３の構成の符号化装置で符号
化された符号化ビットストリームの中から、第ｍ階層
（ｍ＝１〜Ｍ）までの符号を取り出す手段と、第ｍ階層
までの各階層の符号を復号する手段と、前記手段により
復号された量子化値を各階層において逆量子化する手段
と、第ｍ階層までの逆量子化値を加算する手段を、第２
の構成に付加した動画像復号化装置を提供する。

【００４６】また、本発明は、前記第２の目的を達成す
るため、第５には、Ｎ×Ｎ個の変換係数毎に変換係数領
域での動き補償予測が用いられる動き補償予測＋変換符
号化装置において、入力画像の背景とオブジェクトを識
別するアルファマップ信号があって、アルファマップを
符号化する手段と、アルファマップにしたがって任意形
状画像を変換係数に変換する手段と、アルファマップに
したがって前記変換係数を逆変換することにより、任意
形状画像を再生する手段を有することを特徴とした画像
符号化装置を提供する。

【００４７】また、本発明は、前記第２の目的を達成す
るため、第６には、前記第５の構成の動画像符号化装置
において、アルファマップ信号を解像度変換してＮ階層
のアルファマップ信号ピラミッドを作成する手段と、各
階層毎に、アルファマップ信号にしたがって局部復号さ
れた変換係数を低域からｎ階層分（ｎ＝１〜Ｎ）選択す
ることにより、Ｎ階層の変換係数ピラミッドを作成する
手段と、Ｎ階層の変換係数ピラミッドを各階層毎にアル
ファマップ信号にしたがって逆変換を施すことにより、
Ｎ階層の再生画像ピラミッドを作成する手段と、Ｎ階層
の再生画像ピラミッドを各階層毎に蓄積する手段と、前
記蓄積手段に蓄積されている画像を参照して、各階層毎
にアルファマップ信号にしたがって動き補償予測信号を
作成する手段と、前記動き補償予測信号を各階層毎にア
ルファマップ信号にしたがって変換係数に変換する手段
と、アルファマップ信号ピラミッドにしたがって前記変
換係数を統合することにより、動き補償予測値を作成す
る手段を有する動画像符号化装置を提供する。

【００４８】また、本発明は、前記第２の目的を達成す
るため、第７には、前記第５の構成の符号化装置で符号
化された符号化ビットストリームを復号化する動画像復
号化装置であって、アルファマップを復号化する手段
と、アルファマップにしたがって任意形状画像を変換係
数に変換する手段と、アルファマップにしたがって前記
変換係数を逆変換することにより、任意形状画像を再生
する手段を有することを特徴とした画像復号化装置を提
供する。

【００４９】また、本発明は、前記第２の目的を達成す
るため、第８には、前記第６の構成の符号化装置におい
て符号化された符号化ビットストリームの中から、第ｎ
階層（ｎ＝１〜Ｎ）までの符号を取り出す手段と、アル
ファマップ信号を復号する手段と、復号されたアルファ
マップ信号を解像度変換してＮ階層のアルファマップ信
号ピラミッドを作成する手段と、復号された変換係数か
ら、アルファマップ信号ピラミッドにしたがってｎ階層
の変換係数ピラミッドを作成する手段と、ｎ階層の変換
係数ピラミッドを各階層毎にアルファマップ信号にした
がって逆変換を施すことにより、ｎ階層の再生画像ピラ
ミッドを作成する手段と、ｎ階層の再生画像ピラミッド
を各階層毎に蓄積する手段と、前記蓄積手段に蓄積され
ている画像を参照して、各階層毎にアルファマップ信号
にしたがって動き補償予測信号を作成する手段と、前記
動き補償予測信号を各階層毎にアルファマップ信号にし
たがって変換係数に変換する手段と、アルファマップ信
号ピラミッドにしたがって前記変換係数を統合すること
により動き補償予測値を作成する手段を有し、第ｎ階層
の再生画像を再生することを特徴とする動画像復号化装
置を提供する。

【００５０】また、本発明は、前記第２の目的を達成す
るため、第９には、前記第５の構成の符号化装置を用い
た、Ｍ階層（Ｍ：自然数）のＳＮＲスケーラビリティを
実現する符号化装置であって、第ｍ階層（ｍ＝２〜Ｎ）
の予測誤差信号と、第ｍ−１階層の予測誤差信号の局部
再生値との差分信号を求める手段と、第ｍ階層におい
て、前記差分信号を第ｍ−１階層の量子化ステップサイ
ズよりも小さいステップサイズで量子化する手段と、逆
量子化された前記差分信号と、第ｍ−１階層の予測誤差
信号の局部再生値を加算することで、第ｍ階層の予測誤
差信号の局部再生値を求めることを特徴とする動画像符
号化装置を提供する。

【００５１】また、本発明は、前記第２の目的を達成す
るため、第１０には、前記第９の構成の符号化装置で符
号化された符号化ビットストリームの中から、第ｍ階層
（ｍ＝１〜Ｍ）までの符号を取り出す手段と、第ｍ階層
までの各階層の符号を復号する手段と、前記手段により
復号された量子化値を各階層において逆量子化する手段
と、第ｍ階層までの逆量子化値を加算する手段を、前記
第７の構成に付加した構成の動画像復号化装置を提供す
る。

【００５２】また、本発明は、前記第２の目的を達成す
るため、第１１には、前記第６の構成の符号化装置を用
いた、Ｍ階層（Ｍ：自然数）のＳＮＲスケーラビリティ
を実現する符号化装置であって、第ｍ階層（ｍ＝２〜
Ｎ）の予測誤差信号と、第ｍ−１階層の予測誤差信号の
局部再生値との差分信号を求める手段と、第ｍ階層にお
いて、前記差分信号を第ｍ−１階層の量子化ステップサ
イズよりも小さいステップサイズで量子化する手段と、
逆量子化された前記差分信号と、第ｍ−１階層の予測誤
差信号の局部再生値を加算することで、第ｍ階層の予測
誤差信号の局部再生値を求めることを特徴とする動画像
符号化装置を提供する。

【００５３】また、本発明は、前記第２の目的を達成す
るため、第１２には、前記第１１の構成の符号化装置で
符号化された符号化ビットストリームの中から、第ｍ階
層（ｍ＝１〜Ｍ）までの符号を取り出す手段と、第ｍ階
層までの各階層の符号を復号する手段と、前記手段によ
り復号された量子化値を各階層において逆量子化する手
段と、第ｍ階層までの逆量子化値を加算する手段とを第
８の構成に付加したことを特徴とする動画像復号化装置
を提供する。

【００５４】また、本発明は、前記第１の目的を達成す
るため、第１３には、Ｎ×Ｎ個の変換係数毎に変換係数
領域での動き補償予測が用いられる動き補償予測＋変換
符号化装置において、Ｍ階層のＳＮＲスケーラビリティ
を実現する符号化装置であって、第ｍ階層（ｍ＝２〜
Ｍ）の動き補償予測値と第ｍ−１階層の局部再生値とを
変換係数毎に切り換えることで、第ｍ階層の予測値を求
める手段と、第ｍ−１階層における、予測誤差信号の量
子化値の絶対値がしきい値以下となる変換係数は第ｍ階
層の動き補償予測値を、しきい値以上となる変換係数は
第ｍ−１階層の局部再生値を出力するセレクタを有する
ことを特徴とする動画像符号化装置を提供する。

【００５５】また、本発明は、前記第１の目的を達成す
るため、第１４には、前記第１３の構成の符号化装置で
符号化された符号化ビットストリームから、第ｍ階層
（ｍ＝２〜Ｍ）までの符号を取り出す手段と、第ｍ階層
までの各階層の符号を復号する手段と、前記手段により
復号された予測誤差信号の量子化値を各階層において逆
量子化する手段と、第ｍ階層の動き補償予測値と第ｍ−
１階層の再生値とを変換係数毎に切り換えることで、第
ｍ階層の予測値を求める手段と、第ｍ−１階層におけ
る、予測誤差信号の量子化値の絶対値がしきい値以下と
なる変換係数は第ｍ階層の動き補償予測値を、しきい値
以上となる変換係数は第ｍ−１階層の再生値を出力する
セレクタを有することを特徴とする動画像復号化装置を
提供する。

【００５６】このような構成の本発明によれば、Ｎ×Ｎ
個の変換係数毎に変換係数の領域で、動き補償を行う際
に、動き補償予測値をＮ階層の解像度毎に求めることで
ドリフトによる画質劣化を伴わずに、解像度の異なる再
生画像を得ることができる。

【００５７】更に、本発明では、前記符号化装置とＳＮ
Ｒスケーラビリティを組み合わせることにより解像度と
画質を多階層に分割したスケーラブル符号化が実現され
る。

【００５８】また、本発明では前記符号化装置におい
て、アルファマップ信号にしたがって、任意形状直交変
換を施すことにより、任意形状画像の解像度と画質を可
変とした再生画像が得られる。

【００５９】

【発明の実施の形態】以下、図面を参照して本発明の具
体例を説明する。本発明は、図１の画像伝送システムに
おける送受信装置（図１のＡ、Ｂ）内の、画像符号化・
復号化装置に関するものである。

【００６０】（第１の具体例）図２、図３および図４を
用いて、本発明の第１の具体例を説明する。第１の具体
例は、エンコード側とデコード側との解像度の違いによ
るミスマッチ防止をはかり、どのような解像度でもエン
コーダと同じ予測値が得られるようにして、ドリフトの
ない品位の高い画像を復元できるようにするシステムを
説明する。

【００６１】《第１の具体例の符号化装置》図２（ａ）
は本発明を適用した画像符号化／復号化装置のエンコー
ド側のブロック図、図２（ｂ）は、この図２（ａ）の構
成において用いる局部復号化回路の具体的構成例を示す
ブロック図である。

【００６２】はじめに、画像符号化装置から説明する。
図２（ａ）は、本発明が適用される、直交変換係数領域
での動き補償予測を用いた動き補償予測＋直交変換符号
化装置（変換後差分構成）のブロック図である。

【００６３】図２（ａ）において、１００は直交変換回
路、１１０は差分回路、１２０は量子化回路、１３０は
可変長符号化回路、１４０は逆量子化回路、２００は局
部復号回路である。

【００６４】これらのうち、直交変換回路１００は、画
像信号を直交変換処理するものであり、線１０を介して
供給される画像信号をＮ×Ｎ画素毎にブロック分けし、
このブロック単位で例えば、ＤＣＴ（離散コサイン変
換）により直交変換して、Ｎ×Ｎ個の変換係数を得るも
のである。

【００６５】また、差分回路１１０は、直交変換回路１
００より供給される直交変換係数と、局部復号回路２０
０より線２０を介して供給されるＮ×Ｎ個の変換係数の
予測値との予測誤差を計算するものである。量子化回路
１２０は、この差分回路１１０の求めた予測誤差を量子
化するものであり、可変長符号化回路１３０はこの量子
化回路１２０にて量子化された予測誤差信号を可変長符
号化するものであり、予測誤差信号の量子化値を可変長
符号化して、符号化した画像信号として線３０を介して
出力するものである。

【００６６】逆量子化回路１４０は、量子化回路１２０
からの量子化された予測誤差信号を受けてこれを逆量子
化して予測誤差信号の再生値を得る回路であり、当該予
測誤差信号の再生値を線４０を介して局部復号回路２０
０に供給する構成としてある。

【００６７】局部復号回路２００は、逆量子化回路１４
０から得た予測誤差信号の再生値と前の画像から得た動
き補償予測値とを加算して変換係数の再生値を得、これ
を逆変換して局部復号信号を得ると共に、この得た局部
復号画像信号から動き補償予測値を生成し、この動き補
償予測値をＮ×Ｎ画素毎に直交変換して、Ｎ×Ｎ個の変
換係数の予測値を得るものである。

【００６８】局部復号回路２００は、加算回路２０１、
逆直交変換回路２０２、フレームメモリ２０３、動き補
償予測回路２０４、直交変換回路２０５から構成されて
いる。そして、局部復号回路２００においては、逆量子
化回路１４０から得られた予測誤差信号の再生値と線２
０を介して供給される予測値とを加算回路２０１にて加
算することにより変換係数の再生値を得、逆直交変換回
路２０２はこの加算回路２０１にて得た変換係数を逆変
換してＮ×Ｎ画素毎の局部復号信号を得、フレームメモ
リ２０３は、この逆直交変換回路２０２より供給される
Ｎ×Ｎ画素毎の局部復号信号を蓄積することにより局部
復号画像を保持するものである。また、動き補償予測回
路２０４は、このフレームメモリ２０３に保持されてい
る局部復号画像の画像信号を用いて動き補償予測値を生
成するものであり、直交変換回路２０５は、この動き補
償予測回路２０４の生成した動き補償予測値をＮ×Ｎ画
素毎に直交変換し、変換係数を線２０を介して出力する
構成である。

【００６９】このような構成の画像符号化装置におい
て、線１０を介して画像信号を供給すると、この画像信
号は直交変換回路１００により線Ｎ×Ｎ画素毎に直交変
換される。これによりＮ×Ｎ個の変換係数が得られる。
この得られた変換係数は差分回路１１０に入力される。

【００７０】差分回路１１０では、直交変換回路１００
より供給される直交変換係数と、局部復号回路２００よ
り線２０を介して供給されるＮ×Ｎ個の変換係数の予測
値との予測誤差が計算される。そして、その計算結果は
量子化回路１２０に供給される。量子化回路１２０はこ
の予測誤差値を量子化する。量子化回路１２０にて量子
化された予測誤差信号は、可変長符号化回路１３０と逆
量子化回路１４０に供給される。

【００７１】可変長符号化回路１３０では予測誤差信号
の量子化値が可変長符号化され、線３０を介して出力さ
れる。逆量子化回路１４０では、予測誤差信号を逆量子
化して予測誤差信号の再生値を得た後、線４０を介して
局部復号回路２００に供給する。

【００７２】局部復号回路２００では、線４０を介して
供給される予測誤差信号の再生値と線２０を介して供給
される予測値とを加算回路２０１にて加算することによ
り変換係数の再生値を得た後、逆直交変換回路２０２に
供給する。逆直交変換回路２０２では加算回路２０１よ
り供給された変換係数を逆変換して局部復号信号を出力
する。

【００７３】フレームメモリ２０３では、逆直交変換回
路２０２より供給されるＮ×Ｎ画素毎の局部復号信号を
蓄積して局部復号画像を得る。動き補償予測回路２０４
では、フレームメモリ２０３に蓄積されている局部復号
画像信号を用いて動き補償予測値を生成し、直交変換回
路２０５に供給する。直交変換回路２０５では、動き補
償予測値をＮ×Ｎ画素毎に直交変換し、変換係数を線２
０を介して出力する。

【００７４】このようにして、画像信号を圧縮符号化す
る場合に、直交変換したのち、局部復号回路２００によ
り局部復号画像信号を用いて動き補償予測値を生成し、
これと画像信号を直交変換して得た変換係数との差分を
得て、予測誤差を得、この予測誤差を量子化した後、可
変長符号化するようにした。

【００７５】つぎに、局部復号回路２００の具体例を図
２（ｂ）に示す。

【００７６】図２（ｂ）において、２１１は加算回路、
２２０は係数選択回路、２１２は逆直交変換回路、２１
３はフレームメモリ、２１４は動き補償予測回路、２１
５は直交変換回路、２３０は係数統合回路である。

【００７７】逆直交変換回路２１２、フレームメモリ２
１３、動き補償予測回路２１４、直交変換回路２１５各
々は、変換係数がＮ×Ｎの構成であるとすれば、変換係
数が“１×１”〜“Ｎ×Ｎ”の構成のものをそれぞれ取
得できるようにするために、“１×１”用、“２×２”
用、〜“Ｎ−１×Ｎ−１”用、“Ｎ×Ｎ”用のそれぞれ
独立した系統を用意してあり、合計Ｎ系統分の構成とし
てある。

【００７８】図２（ｂ）の局部復号回路２００におい
て、加算回路２１１は、線４０を介して供給される予測
誤差信号の再生値と線２０を介して供給される予測値
（動き補償予測値）とを加算することにより動き補償済
み変換係数の再生値（図３の（Ａ））を得る回路であ
り、係数選択回路２２０は、この動き補償済み変換係数
の再生値である図３（Ａ）のＮ×Ｎの変換係数の中か
ら、低域のｎ×ｎ（ｎ＝１〜Ｎ）の変換係数を選択し、
図３（Ｂ）に示す“１×１”〜“Ｎ×Ｎ”のＮ階層のピ
ラミッドを構成し、各々の階層の変換係数を、対応の階
層の逆直交変換回路２１２に供給する機能を有するもの
である。

【００７９】つまり、図３（Ａ）のＮ×Ｎの変換係数の
中から、Ｎ×Ｎの変換係数組、Ｎ−１×Ｎ−１の変換係
数組、Ｎ−２×Ｎ−２の変換係数組、〜２×２の変換係
数組、１×１の変換係数組、の計Ｎ種の変換係数の組を
得、Ｎ系統分ある逆直交変換回路２１２のうち、それぞ
れの階層別の該当の系統の逆直交変換回路に入力する
（なお、変換係数の組はＮ種より少なくとも良い。例え
ば、“Ｎ×Ｎ”，“３Ｎ／４×３Ｎ／４”，“Ｎ／２×
Ｎ／２”，“Ｎ／４×Ｎ／４”，“１×１”の計５種の
変換係数の組とするといった具合である）。

【００８０】これは、図３（Ａ）のＮ×Ｎの変換係数の
中から、単純に該当の係数部分を抽出することで足り
る。例えば、１×１の変換係数組は、１×１用の系統の
逆直交変換回路２１２（ＩＯＴ₁ ）に与えられ、２×２
の変換係数組は、２×２用の系統の逆直交変換回路２１
２（ＩＯＴ₂ ）に与えられ、Ｎ−１×Ｎ−１の変換係数
組は、Ｎ−１×Ｎ−１用の系統の逆直交変換回路２１２
（ＩＯＴ_N-1 ）に与えられ、Ｎ×Ｎの変換係数組は、Ｎ
×Ｎ用の系統の逆直交変換回路２１２（ＩＯＴ_N）に与
えられるといった具合である。

【００８１】各系統別の逆直交変換回路２１２では、各
階層別に係数選択回路２２０より自己に供給された変換
係数を逆変換して局部復号信号を得るものであり、各系
統別の局部復号信号を示すと図３の（Ｃ）如きである。
１乃至Ｎ系統、それぞれで得た局部復号信号は、これら
を合わせて局部復号信号ピラミッドと呼ぶことにする。
この局部復号信号ピラミッド（図３の（Ｃ））は、直交
変換を用いて構成されたガウシアンピラミッドに相当す
る（ガウシアンピラミッドに関する参考文献：Ｐ．Ｊ．
Ｂｕｒｔ ｅｔ．ａｌ“Ｔｈｅ Ｌａｐｌａｃｉａｎ
Ｐｙｒａｍｉｄａｓ ａ Ｃｏｍｐａｃｔ Ｉｍａｇｅ
Ｃｏｄｅ”，ＩＥＥＥ Ｔｒａｎｓ． ＣＯＭ Ｖｏ
ｌ．３１，Ｎｏ．４，ｐｐ．５３２−５４０，Ａｐｒｉ
ｌ １９８３）。

【００８２】１乃至Ｎ系統の各系統別フレームメモリ２
１３は、逆直交変換回路２１２より供給される該当の系
統の局部復号信号を蓄積して自系統の局部復号画像を得
るものであり、１乃至Ｎ系統の各フレームメモリ２１３
において蓄積して得られた各階層毎の局部復号画像を、
合わせて局部復号画像ピラミッドと呼ぶことにする。

【００８３】これにより、１×１の変換係数組は、１×
１用の系統のフレームメモリ２１３（ＦＭ₁ ）に蓄積さ
れて直流成分のみの局部復号信号（第１低周波項の局部
復号信号）が得られ、２×２の変換係数組は、２×２用
のフレームメモリ２１３（ＦＭ₂ ）に蓄積されて直流成
分と交流成分のうちの最も低い周波数成分からなる局部
復号信号（第１および第２低周波項からなる局部復号信
号）が得られ、Ｎ×Ｎの変換係数組は、Ｎ×Ｎ用のフレ
ームメモリ２１３（ＦＭ_N ）に蓄積されて直流成分とＮ
−１次分までの交流成分からなる局部復号信号（第１低
周波項乃至第Ｎ低周波項からなる局部復号信号）が得ら
れる。

【００８４】動き補償予測回路２１４は、フレームメモ
リ２１３に蓄積されている局部復号画像信号を用いて各
階層毎に動き補償予測値を生成するものであって、１乃
至Ｎ系統の各系統別動き補償予測回路２１４は、それぞ
れ自系統のフレームメモリ２１３に蓄積されている局部
復号画像信号を用いて自系統対応の階層の動き補償予測
値を生成する構成となっている。

【００８５】直交変換回路２１５は、動き補償予測値を
各階層毎に直交変換し、図３の（Ｄ）における網掛け部
の変換係数を係数統合回路２３０に供給するものであ
る。すなわち、１乃至Ｎ系統の各系統別直交変換回路２
１５は、各系統別動き補償予測回路２１４のうちのそれ
ぞれ対応する系統の生成する動き補償予測値を受けて直
交変換するものであり、例えば、第１系統の直交変換回
路２１５（ＯＴ₁ ）であれば、直流成分の周波数帯（第
１低周波項）の動き補償予測値を、第２系統の直交変換
回路２１５（ＯＴ₂ ）であれば、直流成分の次の周波数
帯（第２低周波項）の動き補償予測値を、第３系統の直
交変換回路２１５（ＯＴ₃ ）であれば、直流成分の次々
周波数帯（第３低周波項）の動き補償予測値を、第Ｎ系
統の直交変換回路２１５（ＯＴ_N ）であれば、最上位項
の周波数帯（第Ｎ周波項）の動き補償予測値を、出力す
るものである。

【００８６】係数統合回路２３０は、各直交変換回路２
１５から出力された各階層の動き補償予測値の直交変換
による変換係数を受けて、帯域毎に統合したＮ×Ｎ個の
変換係数予測値（図３の（Ｅ））を線２０を介して出力
するものである。

【００８７】このような構成の局部復号回路２００の作
用は、つぎの通りである。線４０を介して供給される予
測誤差信号の再生値と線２０を介して供給される予測値
（動き補償予測値）とを加算回路２１１にて加算するこ
とにより、動き補償済み変換係数の再生値（図３の
（Ａ））を得る。この動き補償済み変換係数の再生値は
係数選択回路２２０に供給され、係数選択回路２２０で
は、図３（Ａ）のＮ×Ｎの変換係数の中から、低域のｎ
×ｎ（ｎ＝１〜Ｎ）の変換係数を選択し、図３（Ｂ）に
示す“１×１”〜“Ｎ×Ｎ”のＮ階層のピラミッドを構
成し、各々の階層の変換係数を逆直交変換回路２１２に
供給する。

【００８８】つまり、図３（Ａ）のＮ×Ｎの変換係数の
中から、Ｎ×Ｎの変換係数組、Ｎ−１×Ｎ−１の変換係
数組、Ｎ−２×Ｎ−２の変換係数組、〜２×２の変換係
数組、１×１の変換係数組、の計Ｎ種の変換係数の組を
得る。これは図３（Ａ）のＮ×Ｎの変換係数の中から、
単純に該当の係数部分を抽出することで足りる。

【００８９】逆直交変換回路２１２では、各階層毎に係
数選択回路２２０より供給された変換係数を逆変換して
局部復号信号ピラミッド（図３の（Ｃ））を出力する。

【００９０】この局部復号信号ピラミッド（図３の
（Ｃ））は、直交変換を用いて構成されたガウシアンピ
ラミッドに相当する。

【００９１】フレームメモリ２１３では、逆直交変換回
路２１２より供給される局部復号信号ピラミッドを各階
層毎に蓄積して局部復号画像ピラミッドを得る。

【００９２】動き補償予測回路２１４では、フレームメ
モリ２１３に蓄積されている局部復号画像信号を用いて
各階層毎に動き補償予測値を生成し、直交変換回路２１
５に供給する。直交変換回路２１５では、動き補償予測
値を各階層毎に直交変換し、図３の（Ｄ）における斜線
部の変換係数を係数統合回路２３０に供給する。

【００９３】係数統合回路２３０では、各階層の変換係
数を帯域毎に統合したＮ×Ｎ個の変換係数予測値を線２
０を介して出力する。なお、動き補償に用いる動きベク
トルは、各階層毎に求めても良いし、第Ｎ階層で求めて
きた動きベクトルをｎ／Ｎに縮小して、第ｎ階層に用い
てもドリフトは生じない。また、図２（ｂ）中での点Ａ
〜Ｅは、各々図３の（Ａ）〜（Ｅ）に対応する。

【００９４】このようにして、画像信号を圧縮符号化す
る場合に、直交変換した後、局部復号回路２００により
局部復号画像信号を用いて動き補償予測値を生成し、こ
れと画像信号を直交変換して得た変換係数との差分を得
て、予測誤差を得、この予測誤差を量子化した後、可変
長符号化するようにした。特に、局部復号画像信号は、
画像信号をＮ×Ｎ画素でブロック分けして直交変換し、
圧縮符号化する場合に、１×１，２×２，３×３，〜Ｎ
×Ｎの変換係数からなる各階層毎に、それぞれ変換係数
を逆変換して局部復号信号ピラミッドを得、これを各階
層別にフレームメモリに蓄積して各階層別局部復号画像
を得、これより各階層別にその階層での最大の周波項の
成分についての動き補償予測値を求め、これをそれぞれ
直交変換して統合することにより、Ｎ×Ｎの変換係数構
成の階層における動き補償予測値を求めるようにした。
そのため、各階層別に動き補償予測値とｎ×ｎ対応階層
に対応する逆直交変換出力が、ミスマッチを伴うことな
く再生可能になる（但し、ｎ＝１〜Ｎの自然数）。

【００９５】《第１の具体例の復号化装置》図４は、図
２の符号化装置は符号化されたビットストリームを復号
化して再生画像を得る復号化装置のブロック図である。

【００９６】図４（ａ）において、１５０は可変長復号
化回路、１６０は逆量子化回路、３００は復号回路であ
る。復号回路３００は、加算回路３０１、逆直交変換回
路３０２、フレームメモリ３０３、動き補償予測回路３
０４、直交変換回路３０５から構成される。

【００９７】可変長復号化回路１５０は、符号化ビット
ストリームを予測誤差信号に復号するものであり、逆量
子化回路１６０は、この復号された予測誤差信号を逆量
子化して予測誤差信号の再生値を得るものであり、復号
回路３００は、この予測誤差信号の再生値と前のフレー
ムから得られる予測誤差の予測値とを加算することによ
り変換係数の再生値を得た後、これを直交変換の逆変換
をして得た信号を復号信号として出力するものである。

【００９８】具体的には、この復号回路３００は、逆量
子化回路１６０から与えられる予測誤差信号の再生値と
直交変換回路３０５より供給される予測値とを加算回路
３０１にて加算することにより変換係数の再生値を得た
後、この変換係数再生値を逆直交変換回路３０２におい
て逆変換して得た信号を復号信号として出力すると共
に、この復号信号をフレームメモリ３０３に蓄積し、フ
レームメモリ３０３ではＮ×Ｎ画素毎の復号信号を蓄積
することにより復号画像を得、さらに動き補償予測回路
３０４において、フレームメモリ３０３に蓄積されてい
る復号画像信号を用いて動き補償予測値を生成し、これ
を直交変換回路３０５にて、Ｎ×Ｎ画素毎に直交変換
し、得られた変換係数を加算回路３０１に供給する。

【００９９】このような構成において、その作用を説明
する。図２の符号化装置にて符号化されたビットストリ
ームが、線５０を介して可変長復号化回路１５０に供給
されると、この符号化ビットストリームはこの可変長復
号化回路１５０で、予測誤差信号に復号された後、逆量
子化回路１６０に供給される。逆量子化回路１６０で
は、予測誤差信号を逆量子化して予測誤差信号の再生値
を得た後、線６０を介して復号回路３００に供給する。
復号回路３００では、線６０を介して供給される予測誤
差信号の再生値と直交変換回路３０５より供給される予
測値とを加算回路３０１にて加算することにより変換係
数の再生値を得た後、逆直交変換回路３０２に供給す
る。

【０１００】逆直交変換回路３０２では加算回路３０１
より供給された変換係数を逆変換して復号信号を線７０
を介して出力する。フレームメモリ３０３では、逆直交
変換回路３０２より供給されるＮ×Ｎ画素毎の復号信号
を蓄積して復号画像を得る。動き補償予測回路３０４で
は、フレームメモリ３０３に蓄積されている復号画像信
号を用いて動き補償予測値を生成し、直交変換回路３０
５に供給する。直交変換回路３０５では、動き補償予測
値をＮ×Ｎ画素毎に直交変換し、変換係数を加算回路３
０１に供給する。

【０１０１】《第１の具体例における復号回路３００の
構成例》図４（ｂ）は、本発明の具体例である局部復号
回路２００に対応する復号回路３００の具体例である。
本具体例では、Ｎ階層に階層化されたデータのうち、低
域からｎ階層分のデータを復号して、水平・垂直共にｎ
／Ｎの解像度の再生画像を得る場合について述べる。

【０１０２】図４（ｂ）に示すように、復号回路３００
は、加算回路３１１、係数選択回路３２０、逆直交変換
回路３１２、フレームメモリ３１３、動き補償予測回路
３１４、直交変換回路３１５、係数統合回路３３０より
構成される。

【０１０３】この例では、逆直交変換回路３１２、フレ
ームメモリ３１３、動き補償予測回路３１４、直交変換
回路３１５各々は、Ｎ階層に階層化されたデータのう
ち、低域からｎ階層分のデータを復号して、水平・垂直
共にｎ／Ｎの解像度の再生画像を得るようにする場合
に、変換係数が“１×１”〜“ｎ×ｎ”（但し、ｎ＝１
〜Ｎ）の構成のものをそれぞれ取得できるようにするた
めに、“１×１”用、“２×２”用、〜“ｎ−１×ｎ−
１”用、“ｎ×ｎ”用のそれぞれ独立した系統を用意し
てあり、合計ｎ系統分の構成としてある。

【０１０４】加算回路３１１は、逆量子化回路１６０か
ら与えられる予測誤差信号の再生値と、係数統合回路３
３０より供給される予測値とを加算することにより、変
換係数の再生値を得るものであり、係数選択回路３２０
は、加算回路３１１により得られる変換係数の再生値を
ｎ階層のピラミッドに編成し、各階層別に分配するもの
であって、本具体例では第１階層からｎ階層までを使用
して画像復号することを目指すので、“１×１”〜“ｎ
×ｎ”の各階層分を分離分配する構成である。

【０１０５】逆直交変換回路３１２は、変換係数を逆直
交変換するものであり、各階層別に設けられていて、係
数選択回路３２０により各階層分に分離分配されたもの
のうち、対応する階層のものを逆直交変換して復号する
構成としてある。

【０１０６】すなわち、係数選択回路３２０により“１
×１”〜“ｎ×ｎ”の各階層のものが分配されるが、
“１×１”の階層のものは、１×１用の系統の逆直交変
換回路３１２（ＩＯＴ₁ ）に与えられ、“２×２”の階
層のものは、２×２用の系統の逆直交変換回路３１２
（ＩＯＴ₂ ）に与えられ、“ｎ−１×ｎ−１”の階層の
ものは、ｎ−１×ｎ−１用の系統の逆直交変換回路３１
２（ＩＯＴ_N-1 ）に与えられ、“ｎ×ｎ”の階層のもの
は、ｎ×ｎ用の系統の逆直交変換回路３１２（ＩＯ
Ｔ_N ）に与えられるといった具合である。

【０１０７】ｎ系統分ある逆直交変換回路３１２では、
各階層毎に係数選択回路３２０より供給された変換係数
を逆変換して復号信号ピラミッドをフレームメモリ３１
３に供給するが、ｎ×ｎ用の系統の逆直交変換回路３１
２（ＩＯＴ_N ）の逆変換出力である復号信号は線７０を
介して最終的な画像信号出力とする。

【０１０８】ｎ系統分あるフレームメモリ３１３は、対
応する系統の逆直交変換回路３１２より供給される復号
信号を各階層毎に蓄積して復号画像ピラミッドを得る。

【０１０９】すなわち、“１×１”の階層の復号信号
は、１×１用の系統のフレームメモリ３１３（ＦＭ₁ ）
に蓄積されて直流成分のみによる画像の復号信号（第１
低周波項からなる復号信号）が得られ、“２×２”の階
層の復号信号は、２×２用のフレームメモリ３１３（Ｆ
Ｍ₂ ）に蓄積されて直流成分と交流成分のうちの最も低
い周波数成分からなる画像の復号信号（第１および第２
低周波項からなる復号信号）が得られ、“ｎ×ｎ”の階
層の復号信号は、ｎ×ｎ用の系統のフレームメモリ３１
３（ＦＭ_N ）に蓄積されて直流成分から交流成分のうち
のｎ−１次分までの成分からなる復号信号（第１低周波
項乃至第ｎ低周波項からなる復号信号）が得られる。

【０１１０】動き補償予測回路３１４は、フレームメモ
リ３１３に蓄積されている復号画像信号を用いて各階層
毎に動き補償予測値を生成するものであって、１乃至ｎ
系統の各系統別動き補償予測回路３１４は、それぞれ自
系統のフレームメモリ３１３に蓄積されている復号画像
信号を用いて自系統対応の階層の動き補償予測値を生成
する構成となっている。

【０１１１】直交変換回路３１５は、動き補償予測値を
各階層毎に直交変換し、図３の（Ｄ）における網掛け表
示部の領域の変換係数を係数統合回路３３０に供給する
ものである。すなわち、１乃至ｎ系統の各系統別直交変
換回路３１５は、各系統別動き補償予測回路３１４のう
ちのそれぞれ対応する系統の生成する動き補償予測値を
受けて直交変換するものであり、例えば、第１系統の直
交変換回路３１５（ＯＴ₁ ）であれば、直流成分の周波
数帯（第１低周波項）の動き補償予測値を、第２系統の
直交変換回路３１５（ＯＴ₂ ）であれば、直流成分の次
の周波数帯（第２低周波項）の動き補償予測値を、第３
系統の直交変換回路３１５（ＯＴ₃ ）であれば、直流成
分の次々周波数帯（第３低周波項）の動き補償予測値
を、第ｎ系統の直交変換回路３１５（ＯＴ_N ）であれ
ば、ｎ位項の周波数帯（第ｎ低周波項）の動き補償予測
値を、出力するものである。

【０１１２】係数統合回路３３０は、各階層の変換係数
を帯域毎に統合したｎ×ｎ個の変換係数予測値を加算回
路３１１に供給するものである。

【０１１３】このような構成において、加算回路３１１
では、線６０を介して供給される予測誤差信号の再生値
と、係数統合回路３３０より供給される予測値とを加算
することにより、変換係数の再生値を得た後、係数選択
回路３２０に供給する。係数選択回路３２０では、“１
×１”〜“ｎ×ｎ”のｎ階層のピラミッドを構成し、各
々の階層の変換係数を階層別に設けた逆直交変換回路３
１２のうちの対応するものに供給する。

【０１１４】逆直交変換回路３１２では、各階層毎に係
数選択回路３２０より供給された変換係数を逆変換して
復号信号ピラミッドを各階層別に対応するフレームメモ
リ３１３に供給すると共に、第ｎ階層の復号信号を線７
０を介して復元された画像信号として出力する。

【０１１５】各階層別のフレームメモリ３１３では、そ
れぞれ自系統の対応する階層の逆直交変換回路３１２よ
り供給される復号信号を蓄積することにより、階層別の
復号画像を得て、復号画像ピラミッドを得る。

【０１１６】各階層別の動き補償予測回路３１４では、
自系統の対応するフレームメモリ３１３に蓄積されてい
る復号画像信号を用いてそれぞれ動き補償予測値を生成
し、各階層別の動き補償予測値を得る。そして、これを
各階層別の直交変換回路３１５のうちの、対応する階層
の直交変換回路に供給する。各階層別の直交変換回路３
１５では、対応する階層の動き補償予測値を受けてこれ
を直交変換することにより、図３の（Ｄ）における網掛
け表示部の領域の変換係数を得てこれを係数統合回路３
３０に供給する。

【０１１７】係数統合回路３３０では、各階層別の変換
係数を帯域毎に統合したｎ×ｎ個の変換係数予測値を得
て、これを加算回路３１１に供給する。また、図４
（ｂ）中での点Ａ〜Ｅは、図２（ｂ）と同様に、各々図
３の（Ａ）〜（Ｅ）に対応する。なお、線７０を介して
復号回路３００より出力される画像は第ｎ階層の再生画
像のみでも良い。

【０１１８】このようにして、画像信号をＮ×Ｎ画素で
ブロック分けして直交変換し、圧縮符号化した信号のビ
ットストリームを、Ｎ×Ｎより小さいｎ×ｎで復号化す
る場合に、ビットストリームから得た予測誤差信号の再
生値を１×１〜ｎ×ｎの変換係数構成の階層に対応する
形態となるように分配し、それぞれ逆直交変換してこれ
らのうちのｎ×ｎ対応階層に対応する逆直交変換出力を
復号信号として用い、画像再生に使用するようにした。

【０１１９】また、各階層対応の変換係数について、そ
れぞれ逆直交変換して得た出力を蓄積して各階層対応の
フレーム画像を得、これを各階層別にそれぞれ動き補償
予測値を生成し、各階層別の動き補償予測値を得、これ
を各階層別に直交変換して各階層別にその階層での最大
周波項の成分についての動き補償予測値を求め、これを
それぞれ統合することにより、ｎ×ｎの変換係数構成の
階層における動き補償予測値を求めるようにした。そし
て、予測誤差信号の再生値に対して、この動き補償予測
値分を補償するようにした。

【０１２０】そのため、各階層別にその階層での最大周
波項の成分についての動き補償がなされることと、予測
誤差信号の再生値（動き補償済み）をｎ×ｎの変換係数
構成の階層に対応する変換係数についてのみ、逆直交変
換してその出力を画像再生に使用することで、符号化側
と復号化側での解像度の違いによるミスマッチが全くな
くなる。すなわち、符号化側と復号化側での使用する直
交変換低周波項の次数の違いによる画質劣化を防止でき
る。

【０１２１】これは符号化側では、画像信号を圧縮符号
化する場合に、直交変換したのち、局部復号回路２００
により局部復号画像信号を用いて動き補償予測値を生成
し、これと画像信号を直交変換して得た変換係数との差
分を得て、予測誤差を得、この予測誤差を量子化した
後、可変長符号化するようにした。特に、局部復号画像
信号は、画像信号をＮ×Ｎ画素でブロック分けして直交
変換し、圧縮符号化する場合に、１×１，２×２，３×
３，〜Ｎ×Ｎの変換係数からなる各階層毎に、それぞれ
変換係数を逆変換して局部復号信号ピラミッドを得、こ
れを各階層別にフレームメモリに蓄積して各階層別局部
復号画像を得、これより各階層別にその階層での最大周
波項の成分についての動き補償予測値を求め、これをそ
れぞれ直交変換して統合することにより、Ｎ×Ｎの変換
係数構成の階層における動き補償予測値を求めるように
して、各階層別に動き補償予測値とｎ×ｎ対応階層に対
応する逆直交変換出力をミスマッチを伴うことなく再生
可能にしたことによる（但し、ｎ＝１〜Ｎの自然数）。

【０１２２】（第２の具体例）図５および図６を用い
て、本発明の第２の具体例の説明をする。第２の具体例
はＳＮＲスケーラビリティに関するものであり、量子化
ステップを初めに粗く、段々細かくすることにより画質
を向上させるようにするものである。

【０１２３】図５は、本発明が適用される直交変換係数
領域での動き補償予測を用いた動き補償予測＋直交変換
符号化装置（変換後差分構成）であり、図６はこの符号
化装置で得たビットストリームからＳＮＲスケーラビリ
ティを実現する復号化装置のブロック図である。

【０１２４】図５は、Ｍ階層に分けて量子化を行う符号
化装置の例を示しており、図５において、１００は直交
変換回路、１２１，１２２，１２３は量子化回路、１３
１〜１３３は可変長符号化回路、４２０，４２１は加算
回路、２００ａ，２００ｂ，〜２００Ｍは局部復号回
路、４００，４０１は遅延回路、１１１，１１２，１１
３，４１０，４１１は差分回路、１３２，１４１，１４
２，１４３は逆量子化回路である。

【０１２５】局部復号回路２００ａを持つ第１階層Ｌ１
の構成要素は、ベースレイヤの符号化信号を得るための
ものであり、局部復号回路２００ｂを持つ第２階層Ｌ２
の構成要素は、エンハンスレイヤの符号化信号を得るた
めのものであり、局部復号回路２００Ｍを持つ第Ｍ階層
ＬＭの構成要素は、エンハンスレイヤの符号化信号を得
るためのものである。

【０１２６】図５の如き構成の符号化装置において、画
像信号はまずはじめに直交変換回路１００において直交
変換するが、その符号化対象の画像信号は、線１０を介
して供給される。この供給される画像信号は直交変換回
路１００においてＮ×Ｎ画素毎に直交変換され、Ｎ×Ｎ
個の変換係数が得られる。この直交変換係数は各階層Ｌ
１〜ＬＭに与えられる。

【０１２７】第１階層Ｌ１においては、直交変換回路１
００からの直交変換係数は、差分回路１１１に入力され
る。そして、この差分回路１１１では、直交変換回路１
００より供給される直交変換係数と、局部復号回路２０
０ａより線２１を介して供給されるＮ×Ｎ個の変換係数
の予測値との予測誤差が計算され、量子化回路１２１に
供給される。量子化回路１２１にて量子化された予測誤
差信号は、可変長符号化回路１３１と逆量子化回路１４
１に供給される。

【０１２８】可変長符号化回路１３１では予測誤差信号
の量子化値が可変長符号化され、線３１を介して出力さ
れる。逆量子化回路１４１では、予測誤差信号を逆量子
化して予測誤差信号の再生値を得た後、線４１を介して
局部復号回路２００ａと第２階層Ｌ２に供給する。

【０１２９】第２階層Ｌ２において、遅延回路４００で
は、線４１を介して第１階層Ｌ１における該ブロックの
予測誤差信号の再生値が得られるまで、直交変換回路１
００より供給された直交変換係数が差分回路１１２に供
給されるタイミングを遅延させる。

【０１３０】差分回路１１２では、遅延回路４００より
供給される直交変換係数と、局部復号回路２００ｂより
線２２を介して供給される変換係数の予測値との予測誤
差が計算され、差分回路４１０に供給される。差分回路
４１０では、差分回路１１２より供給される第２階層Ｌ
２での予測誤差と、線４１を介して供給される第１階層
Ｌ１での予測誤差の再生値との差分が計算され、量子化
回路１２２に供給され、ここで当該差分は量子化され
る。

【０１３１】量子化回路１２２にて量子化された予測誤
差信号の差分は、可変長符号化回路１３２と逆量子化回
路１４２に供給される。可変長符号化回路１３２では予
測誤差信号の差分の量子化値が可変長符号化され、線３
２を介して出力される。

【０１３２】逆量子化回路１４２では、予測誤差信号の
差分を逆量子化して予測誤差信号の差分の再生値を得た
後、加算回路４２０において線４１を介して供給される
第１階層Ｌ１の予測誤差信号の再生値を加算して、第２
階層Ｌ２の予測誤差信号の再生値を得た後、線４２を介
して局部復号回路２００ｂに供給する。

【０１３３】第Ｍ階層ＬＭにおいては、遅延回路４０１
では、線４３を介して第Ｍ−１階層ＬM-1 における該ブ
ロックの予測誤差信号の再生値が得られるまで、直交変
換回路１００より供給された直交変換係数が差分回路１
１３に供給されるタイミングを遅延させる。そして、差
分回路１１３では、遅延回路４０１より供給される直交
変換係数と、局部復号回路２００Ｍより線２３を介して
供給される変換係数の予測値との予測誤差が計算され、
差分回路４１１に供給される。

【０１３４】差分回路４１１では、差分回路１１３より
供給される第Ｍ階層での予測誤差と、線４３を介して供
給される第Ｍ−１階層ＬM-1 での予測誤差の再生値との
差分が計算され、量子化回路１２３に供給されてここで
量子化される。そして、この量子化回路１２３にて量子
化された予測誤差信号の差分は、可変長符号化回路１３
３と逆量子化回路１４３に供給される。

【０１３５】可変長符号化回路１３３では予測誤差信号
の差分の量子化値が可変長符号化され、線３３を介して
出力される。逆量子化回路１４３では、予測誤差信号の
差分を逆量子化して予測誤差信号の差分の再生値を得た
後、これに加算回路４２１において線４３を介して供給
される第Ｍ−１階層ＬM-1 の予測誤差信号の再生値を加
算することで、第Ｍ階層ＬＭの予測誤差信号の再生値を
得、これを線４４を介して局部復号回路２００Ｍに供給
する。

【０１３６】ここで、第ｍ（ｍ＝１〜Ｍ）階層Ｌｍにお
ける量子化ステップサイズは、第ｍ−１階層Ｌm-1 より
も小さくする。つまり、前段階層のものよりも量子化ス
テップサイズを小さくする。しかし、動き補償に用いる
動きベクトルは各階層とも同じものを用いた方が良い。
なお、可変長符号化回路１３１，１３２，１３３で用い
られる可変長符号は、各々同じものでも良いし、各々別
のものでも良い。

【０１３７】このようにして、第２階層以上では自己よ
り１段、下位までの各階層の局部復号信号を直交変換回
路１００から得られる変換係数から差し引くことで、自
己の階層対応の次数の変換係数のうちの最高次の、すな
わち、各階層別にその階層での最高次領域の周波項成分
についての予測誤差信号値を求め、これを量子化して可
変長符号化して出力することで、Ｍ階層に分けられてそ
れぞれ階層別にその階層での最大の周波項の成分につい
ての予測誤差信号値を符号化したビットストリームを得
る。

【０１３８】これら各階層別のビットストリームは、伝
送等に供する場合、例えば、多重化して出力するように
する。そして、復号化側では、これを分離化して各階層
別のビットストリームに戻して使用する。

【０１３９】図６は、図５の符号化装置でＭ階層に分け
られて符号化されたビットストリームの中から、第ｍ階
層までのビットストリームを復号化して再生画像を得る
復号化装置のブロック図である。

【０１４０】図６において、１５１，１５２，１５３は
可変長復号化回路であり、１６１，１６２，１６３は逆
量子化回路であり、４３０，４３１は加算回路であり、
３００はである。

【０１４１】可変長復号化回路１５１と逆量子化回路１
６１で第１階層Ｌ１のビットストリームを復号化し、可
変長復号化回路１５２、逆量子化回路１６２で第２階層
Ｌ２のビットストリームを復号化し、 可変長復号化回
路１５３、逆量子化回路１６３で第ｎ階層Ｌｎのビット
ストリームを復号化する。

【０１４２】このような構成において、符号化装置で符
号化された各階層対応の符号化ビットストリームは、線
５１，５２，５３を介して対応する階層用の可変長復号
化回路１５１，１５２，１５３に供給される。そして、
各々供給された対応階層の符号化ビットストリームは、
これら可変長復号化回路１５１，１５２，１５３にてそ
れぞれ予測誤差信号あるいは予測誤差信号の差分に復号
された後、対応する階層の逆量子化回路１６１，１６
２，１６３に供給される。

【０１４３】逆量子化回路１６２，１６３では、予測誤
差信号の差分を逆量子化して予測誤差信号の差分の再生
値を得る。そして、加算回路４３０において、第ｍ階層
から第２階層までの予測誤差の差分の再生値を加算し
て、加算回路４３１に供給する。また、逆量子化回路１
６１では、第１階層の予測誤差信号を逆量子化して予測
誤差信号の再生値を得た後、加算回路４３１に供給す
る。そして、この加算回路４３１で加算回路４３０が求
めた第ｍ階層から第２階層までの予測誤差の差分の再生
値の加算値と加算されて、ｍ階層分の合計の予測誤差信
号の再生値が求められ、これは線６０を介して復号回路
３００に供給される。

【０１４４】ここで、局部復号回路２００ａ，２００
ｂ，〜２００M-1 および復号回路３００に本発明の第１
の具体例を適用したとすると、画質がＭ階層に、そし
て、解像度がＮ階層に分割されたビットストリームが構
成され、その一部をデコードすることで所望の画質ｍと
解像度ｎの再生画像が得られるようになる（図７参
照）。

【０１４５】（第３の具体例）図８、図９および図１０
を用いて、本発明の第３の具体例の説明をする。第３の
具体例は、画像中から注目像の部分の像だけを所望の解
像度で符号化することができるようにした技術であっ
て、本具体例では、前記第１の具体例をアルファマップ
信号で示された任意形状の画像に適用するものである。

【０１４６】図８（ａ）は任意形状の画像を符号化する
符号化装置の構成例であり、図において、１８０はアル
ファマップ符号化回路、１８１は多重化回路、１０５は
直交変換回路、１１５は差分回路、１２５は量子化回
路、１３５は可変長復号化回路、１４５は逆量子化回
路、５００は局部復号化回路、５０１は加算回路、５０
２は逆直交変換回路、５０３はフレームメモリ、５０４
は動き補償予測回路、５０５は直交変換回路である。

【０１４７】この具体例では、画像信号の他に、この画
像信号の画像に対応するアルファマップ情報（画像の位
置を示す情報で例えば、画像を二値化したもの）をも作
成して本システムに入力されるものとする。

【０１４８】アルファマップ符号化回路１８０は、前記
画像のアルファマップ情報を入力として受け、これを符
号化して線８２に出力するものであり、また、符号化し
たアルファマップ信号を復号する機能を有していてこれ
によって復号したアルファマップ信号の局部復号信号を
線８１を介して出力する機能を有する。

【０１４９】直交変換回路１０５は前記画像信号と、線
８１を介して供給されるアルファマップ信号の局部復号
信号が入力され、アルファマップ信号の局部復号信号を
参照して画像の抽出すべき部分の画像信号について直交
変換して出力するものである。

【０１５０】アルファマップは画像の注目部分を示す二
値デ−タであり、これを参照することで、画像のどの部
分が注目部分であるかがわかる仕組みである。

【０１５１】局部復号回路５００は、直交変換回路１０
５で直交変換され、動き補償予測値分を差し引いた差分
である予測誤差値の信号（予測誤差信号）を、予測値分
補償した画像から、アルファマップの局部復号信号に基
づいて動き補償予測値を求めて直交変換し、予測値とし
て出力するものである。

【０１５２】多重化回路１８１はアルファマップ符号化
回路１８０から出力される前記画像のアルファマップ情
報の符号化信号と、可変長復号化回路１３５の出力する
画像誤差信号の符号化信号を多重化して出力するもので
ある。

【０１５３】このような構成おいて、アルファマップ符
号化回路１８０では、入力されるアルファマップの情報
を符号化する。そして、符号化されたアルファマップ信
号を線８２を介して出力し、また、この符号化されたア
ルファマップ信号を復号化してこれをアルファマップ信
号の局部復号信号として線８１を介し、局部復号回路５
００と直交変換回路１０５に出力する。

【０１５４】一方、直交変換回路１０５においては、線
１０を介して画像信号が入力されるが、この画像信号
を、線８１を介して供給されるアルファマップの局部復
号信号に基づいて直交変換する。そして、この直交変換
されて得られた係数は、差分回路１１５に与えられる。

【０１５５】差分回路１１５では、直交変換回路１０５
より供給される直交変換係数と、局部復号回路５００よ
り線２５を介して供給される変換係数の予測値との予測
誤差が計算され、量子化回路１２５に供給されて、ここ
で量子化される。

【０１５６】そして、この量子化回路１２５にて量子化
された予測誤差信号は、可変長符号化回路１３５と逆量
子化回路１４５に供給される。可変長復号化回路１３５
では予測誤差信号の量子化値を可変長符号化する。そし
て、この可変長符号化した信号は線３５へと出力するこ
とになる。

【０１５７】一方、逆量子化回路１４５では、予測誤差
信号を逆量子化して予測誤差信号の再生値を得た後、線
４５を介して局部復号回路５００に供給する。

【０１５８】局部復号回路５００では、線４５を介して
供給される予測誤差信号の再生値と線２５を介して供給
される予測値とを加算回路５０１にて加算することによ
り、変換係数の再生値を得た後、逆直交変換回路５０２
に供給する。

【０１５９】逆直交変換回路５０２では、線８１を介し
て供給されるアルファマップの局部復号信号に基づいて
加算回路５０１より供給された変換係数を逆変換し、局
部復号信号を出力してフレームメモリ５０３に与える。

【０１６０】そして、フレームメモリ５０３では、この
逆直交変換回路５０２より供給される局部復号画像を蓄
積する。動き補償予測回路５０４では、フレームメモリ
５０３に蓄積されている局部復号画像信号を用い、これ
より、線８１を介して供給されるアルファマップの局部
復号信号に基づいて注目画像部分についてのみの動き補
償予測値を生成し、直交変換回路５０５に供給する。直
交変換回路５０５では、線８１を介して供給されるアル
ファマップの局部復号信号に基づいて動き補償予測値を
直交変換し、変換係数を線２５を介して出力する。

【０１６１】なお、直交変換回路１０５，５０５、およ
び逆直交変換回路５０２には、例えば、特願平７‐９７
０７３号に開示した技術である任意形状画像信号の直交
変換法を適用すると良い。

【０１６２】符号化されたアルファマップ信号は線８２
を介して、符号化された変換係数は線３５を介して、各
々多重化回路１８１に供給されて多重化された後、線８
５を介してビットストリームとして出力される。

【０１６３】このようにして、注目画像部分を抽出して
可変長符号化したものと、注目画像部分を示す符号化さ
れたアルファマップ信号とを多重化して、ビットストリ
ーム化する。

【０１６４】図８（ｂ）は、注目画像の動き補償予測値
を、目的とする解像度で精度良く得ることができるよう
にする局部復号回路５００の具体例である。ここでは、
階層別にそれぞれ誤差信号を得て最後に統合することで
精度の良い予測値を得るようにしたものであり、５１１
は加算回路、５１２は逆直交変換回路、５１３はフレー
ムメモリ、５１４は動き補償予測回路、５１５は直交変
換回路、５２０は係数選択回路、５３０は係数統合回
路、５４０は解像度変換回路である。

【０１６５】逆直交変換回路５１２、フレームメモリ５
１３、動き補償予測回路５１４各々は、変換係数がＮ×
Ｎの構成であるとすれば、変換係数が“１×１”〜“Ｎ
×Ｎ”の構成のものをそれぞれ取得できるようにするた
めに、“１×１”用、“２×２”用、〜“Ｎ−１×Ｎ−
１”用、“Ｎ×Ｎ”用のそれぞれ独立した系統を用意し
てあり、合計Ｎ系統分（Ｎ階層分）の構成としてある。

【０１６６】解像度変換回路５４０は線８１を介して与
えられるアルファマップの局部復号信号を水平・垂直共
にｎ／Ｎ倍（ｎ＝１〜Ｎ）に解像度変換してＮ階層ピラ
ミッドの信号として線８３に出力するものである。

【０１６７】加算回路５１１は線４５を介して供給され
る予測誤差信号の再生値と線２５を介して供給される予
測値とを加算する回路であり、この加算により変換係数
の再生値を得るものである。

【０１６８】係数選択回路５２０は、加算回路５１１か
らの変換係数の再生値を受け、線８３を介して供給され
るＮ階層のアルファマップ信号ピラミッドにしたがっ
て、変換係数を選択して第１〜第Ｎ階層各々の相当する
変換係数を得ることにより、Ｎ階層ピラミッドを得るも
のである。

【０１６９】逆直交変換回路５１２は、この各々の階層
の変換係数のうち、対応の階層の変換係数を逆直交変換
して出力するものであって、各階層別の逆直交変換回路
５１２では、各階層毎に線８３を介して供給されるアル
ファマップ信号ピラミッドにしたがって、係数選択回路
５２０より供給された変換係数を逆変換して局部復号信
号を得ることにより、局部復号信号ピラミッドを得る。

【０１７０】各々の階層のフレームメモリ５１３は、対
応する階層の逆直交変換回路５１２より供給される局部
復号信号を蓄積して局部復号画像を得るものである。各
々の階層の動き補償予測回路５１４は、対応する階層の
フレームメモリ５１３に蓄積されている局部復号画像信
号を用い、各階層毎に線８３を介して供給されるアルフ
ァマップ信号ピラミッドにしたがって、その階層におけ
る動き補償予測値を生成して対応する階層の直交変換回
路５１５に供給するものである。

【０１７１】また、各々の階層の直交変換回路５１５
は、対応する階層の動き補償予測値を、各階層毎に線８
３を介して供給されるアルファマップ信号にしたがっ
て、直交変換するものであり、この直交変換した変換係
数のうち、その階層における最大周波項での変換係数を
係数統合回路５３０に供給するものである。

【０１７２】係数統合回路５３０は、各階層の直交変換
回路５１５から出力された変換係数を統合して線２５に
出力するものである。

【０１７３】すなわち、第１乃至第Ｎ階層の各階層別直
交変換回路５１５は、各階層別動き補償予測回路５１４
のうちのそれぞれ対応する階層の生成する動き補償予測
値を受けて直交変換するものであり、例えば、第１階層
用の系統の直交変換回路５１５（ＯＴ₁ ）であれば、直
流成分の周波数帯（第１低周波項）の動き補償予測値
を、第２階層用の系統の直交変換回路５１５（ＯＴ₂ ）
であれば、直流成分の次の周波数帯（第２低周波項）の
動き補償予測値を、第３階層用の系統の直交変換回路５
１５（ＯＴ₃ ）であれば、直流成分の次々周波数帯（第
３低周波項）の動き補償予測値を、第Ｎ階層用の系統の
直交変換回路５１５（ＯＴ_N ）であれば、最上位項の周
波数帯（第Ｎ周波項）の動き補償予測値を、出力するも
のである。

【０１７４】そして、係数統合回路５３０は、各直交変
換回路５１５から出力された各階層の動き補償予測値の
直交変換による変換係数を受けて、帯域毎に統合したＮ
×Ｎ個の変換係数予測値を線２５を介して出力するもの
である。

【０１７５】このような構成において、アルファマップ
符号化回路１８０より線８１を介して解像度変換回路５
４０に供給されたアルファマップの局部復号信号は、こ
の解像度変換回路５４０において解像度変換され、水平
・垂直共にｎ／Ｎ倍（ｎ＝１〜Ｎ）に解像度変換されて
第１階層から第Ｎ階層までの各階層相当の変換係数を得
ることにより、変換係数についてのＮ階層のピラミッド
が作成される。

【０１７６】この解像度変換されたＮ階層のピラミッド
は、それぞれ階層対応の動き補償予測回路５１４（ＭＣ
₁ 〜ＭＣ_N ）に線８３を介して出力される。また、線８
３を介して出力されるＮ階層のピラミッドは、係数選択
回路５２０，逆直交変換回路５１２，直交変換回路５１
５，係数統合回路５３０にも入力される。

【０１７７】一方、逆量子化回路１４５で逆量子化され
た出力（予測誤差信号の再生値）は、係数統合回路５３
０から出力される変換係数予測値（各階層の変換係数を
帯域毎に統合した変換係数予測値）と加算回路５１１に
て加算されることにより、変換係数の再生値が得られ
る。そして、このようにして得た変換係数の再生値は、
係数選択回路５２０に供給される。

【０１７８】係数選択回路５２０では、線８３を介して
供給されるＮ階層のアルファマップ信号ピラミッドにし
たがって、変換係数を選択してＮ階層のピラミッドを構
成し、各々の階層の変換係数を各階層対応の逆直交変換
回路５１２に供給する。各階層の逆直交変換回路５１２
では、各階層毎に線８３を介して供給されるアルファマ
ップ信号ピラミッドにしたがって、係数選択回路５２０
より供給された変換係数を逆変換して局部復号信号を得
ることにより、局部復号信号ピラミッドを得る。

【０１７９】この局部復号信号はそれぞれ対応の階層の
フレームメモリ５１３に与えられ、これらフレームメモ
リ５１３では、対応する階層の逆直交変換回路５１２よ
り供給される局部復号信号を蓄積して局部復号画像を得
る。これにより、局部復号信号ピラミッドを各階層毎に
蓄積して局部復号画像ピラミッドを得ることができる。

【０１８０】局部復号画像ピラミッドは動き補償予測回
路５１４に与えられる。各階層別の動き補償予測回路５
１４では、対応する階層のフレームメモリ５１３に蓄積
されている局部復号画像信号を用い、各階層毎に線８３
を介して供給されるアルファマップ信号ピラミッドにし
たがって、動き補償予測値を生成して対応する階層の直
交変換回路５１５に供給する。

【０１８１】各階層の直交変換回路５１５では、入力さ
れる動き補償予測値をアルファマップ信号にしたがって
直交変換することにより、各階層別の変換係数を得る。
すなわち、直交変換回路５１５では各階層毎に線８３を
介して供給されるアルファマップ信号ピラミッドにした
がって直交変換し、この変換により各階層で得たそれぞ
れの最高次数の周波数項における変換係数を係数統合回
路５３０に供給する。係数統合回路５３０では、これら
各階層の変換係数を帯域毎に統合した変換係数予測値を
線２５を介して出力する。

【０１８２】なお、直交変換回路５１５、逆直交変換回
路５１２、および係数選択回路５２０には、特願平７‐
９７０７３号に開示した技術である解像度変換が可能な
任意形状画像信号の直交変換法を適用すると良い。

【０１８３】係数統合回路５３０から出力されたこれら
各階層の変換係数を、帯域毎に統合した変換係数予測値
は局部復号回路５００の出力として線２５を介して図８
（ａ）の差分回路１１５に与えることにより、当該差分
回路１１５では、直交変換回路１０５より供給される直
交変換係数と、局部復号回路５００より線２５を介して
供給される変換係数の予測値との予測誤差が計算され、
量子化回路１２５に供給されて、ここで量子化される。

【０１８４】そして、この量子化回路１２５にて量子化
された予測誤差信号は、可変長符号化回路１３５と逆量
子化回路１４５に供給され、可変長復号化回路１３５で
は予測誤差信号の量子化値が可変長符号化され、線３５
を介して出力される。

【０１８５】一方、逆量子化回路１４５では、予測誤差
信号を逆量子化して予測誤差信号の再生値を得た後、線
４５を介して局部復号回路５００に供給することにな
り、これを元に局部復号回路５００において、動き補償
予測を行って変換係数予測値を求め、差分回路１１５に
返されることになる。

【０１８６】このようにして、画像の注目画像部分を抽
出して注目画像部分についてのみの動き補償予測値に対
する前フレーム画面の当該注目画像部分の動き補償予測
値との誤差分を得、これを可変長符号化したものと、注
目画像部分を示す符号化されたアルファマップ信号とを
多重化して、ビットストリーム化して出力する。

【０１８７】このビットストリーム化したものを再生す
るには、次のようにする。

【０１８８】図９は、図８の符号化装置で符号化された
ビットストリームを復号化して再生画像を得る、復号化
装置のブロック図である。

【０１８９】図９（ａ）において、１９０は分離化回
路、１９１はアルファマップ復号化回路、１５５は可変
長復号化回路、１６５は逆量子化回路、６００は復号回
路である。これらのうち、分離化回路１９０はアルファ
マップに関する符号と、変換係数に関する符号に分離す
るものであり、アルファマップ復号化回路１９１はこの
分離されたアルファマップ信号を再生し、線９２を介し
て復号回路６００に供給するものである。

【０１９０】可変長復号化回路１５５は、分離化回路１
９０にて分離して供給された予測誤差信号に関する符号
の符号化ビットストリームを、予測誤差信号に復号する
ものであり、逆量子化回路１６５はこの復号された予測
誤差信号を逆量子化して予測誤差信号の再生値を得るも
のであり、復号回路６００はこの予測誤差信号の再生値
とアルファマップの復号信号に基づいて、再生値を求め
て出力するものである。

【０１９１】復号回路６００は、加算回路６０１、逆直
交変換回路６０２（ＩＯＴ_N ）、フレームメモリ６０３
（ＦＭ_N ）、動き補償予測回路６０４（ＭＣ_N ）、直交
変換回路６０５（ＯＴ_N ）とより構成される。

【０１９２】加算回路６０１は線６５を介して与えられ
る信号と直交変換回路６０５（ＯＴ_N ）の出力を加算す
る回路であり、逆直交変換回路６０２（ＩＯＴ_N ）は、
この加算回路６０１出力を、アルファマップ復号化回路
１９１からのアルファマップにしたがって逆直交変換し
て再生信号を得、これを線７５に出力するものである。

【０１９３】また、フレームメモリ６０３（ＦＭ_N ）
は、逆直交変換回路６０２（ＩＯＴ_N）からの信号を蓄
積してフレーム画像を得るものであり、動き補償予測回
路６０４（ＭＣ_N ）は、このフレーム画像から動き補償
予測を行うものであり、直交変換回路６０５（ＯＴ_N ）
はこの動き補償予測されて得られた値をアルファマップ
信号にしたがって直交変換して変換係数を得、加算回路
６０１に与えるものである。

【０１９４】このような構成において、図８の多重化回
路１８１からの出力である多重化された符号化ビットス
トリームは、線９０を介して分離化回路１９０に供給さ
れる。

【０１９５】すると分離化回路１９０においてはこの符
号化ビットストリームを、アルファマップに関する符号
と、変換係数に関する符号に分離する。そして、アルフ
ァマップに関する符号は、線９１を介してアルファマッ
プ復号化回路１９１に供給され、また、予測誤差信号に
関する符号については線５５を介して可変長復号化回路
１５５に供給される。

【０１９６】アルファマップ復号化回路１９１では、ア
ルファマップに関する符号からアルファマップ信号を再
生し、線９２を介して復号回路６００に供給する。

【０１９７】一方、線５５を介して可変長復号化回路１
５５に供給された符号化ビットストリームは、ここで予
測誤差信号に復号されたのち、逆量子化回路１６５に供
給される。逆量子化回路１６５では、予測誤差信号を逆
量子化して予測誤差信号の再生値を得た後、線６５を介
して復号回路６００に供給する。そして、復号回路６０
０では、線９２を介して供給されるアルファマップの復
号信号に基づいて、再生値を求めて線７５を介して出力
する。

【０１９８】復号回路６００の具体例を図９（ｂ）に示
す。図において、６４０は解像度変換回路、６１０は係
数選択回路、６１１は加算回路、６１２は逆直交変換回
路、６１３はフレームメモリ、５１４は動き補償予測回
路、６１５は直交変換回路、６３０は係数統合回路であ
る。

【０１９９】これらのうち、逆直交変換回路６１２、フ
レームメモリ６１３、動き補償予測回路５１４、直交変
換回路６１５各々は、変換係数が符号化装置側での変換
係数がＮ×Ｎの構成であり、復号化はこのうちの所望構
成“ｎ×ｎ”（ｎ＝１〜Ｎ；Ｎは自然数）を復元すると
して、この場合、変換係数が“１×１”〜“ｎ×ｎ”の
構成のものをそれぞれ取得できるようにするために、
“１×１”用、“２×２”用、〜“ｎ×ｎ”用のそれぞ
れ独立した系統を用意してあり、合計Ｎ系統分（Ｎ階層
分）の構成としてある。

【０２００】解像度変換回路６４０は線９２を介して与
えられるアルファマップの局部復号信号を水平・垂直共
にｎ／Ｎ倍（ｎ＝１〜Ｎ）に解像度変換してｎ階層ピラ
ミッドの信号として逆直交変換回路６１２，直交変換回
路６１５に出力するものである。逆直交変換回路６１
２，直交変換回路６１５は各階層対応に設けられてお
り、従って、解像度変換された信号はその信号の対応す
る階層対応のものに入力される構成である。

【０２０１】加算回路６１１は線６５を介して与えられ
る信号と係数統合回路６３０の出力を加算する回路であ
り、係数選択回路６１０はこの加算回路６１１からの変
換係数の再生値を受け、解像度変換回路６４０より供給
されるＮ階層のアルファマップ信号ピラミッドにしたが
って、変換係数を選択して第１〜第Ｎ階層各々の相当す
る変換係数を得ることにより、Ｎ階層ピラミッドを得る
ものである。

【０２０２】また、階層毎の逆直交変換回路６１２は係
数選択回路６１０より与えられる第１〜第Ｎ階層各々の
相当する変換係数のうち、対応する階層のものを受けて
それぞれ変換係数を逆変換し、復元して再生信号を得る
ものであり、本システムではこのうち、目的の解像度に
対応する階層の出力を最終的な再生信号として用いる構
成である。

【０２０３】各階層のフレームメモリ６１３は、各階層
毎の逆直交変換回路６１２のうち、自己対応の階層の逆
直交変換回路の出力を得てこれを蓄積し、その階層対応
の解像度のフレーム画像を得るものであり、動き補償予
測回路５１４は各階層毎のフレームメモリ６１３のう
ち、自己対応の階層用のフレームメモリからの画像を得
てこれよりその階層における画像の動き補償予測値を得
るものであり、直交変換回路６１５は各階層別に設けら
れており、それぞれ対応の階層の動き補償予測値を直交
変換すると共に、この直交変換した変換係数のうち、そ
の階層における最大周波項での変換係数を出力するもの
である。

【０２０４】係数統合回路６３０は、各階層の直交変換
回路６１５から出力された変換係数を統合して加算回路
６１１に出力するものである。

【０２０５】すなわち、第１乃至第Ｎ階層用の各階層別
直交変換回路６１５は、各階層別動き補償予測回路６１
４のうちのそれぞれ対応する階層の生成する動き補償予
測値を受けて直交変換し、その階層での最大周波項の変
換係数を出力するものであり、例えば、第１階層用の系
統の直交変換回路５１５（ＯＴ₁ ）であれば、直流成分
の周波数帯（第１低周波項）の動き補償予測値を、第２
階層用の系統の直交変換回路５１５（ＯＴ₂ ）であれ
ば、直流成分の次の周波数帯（第２低周波項）の動き補
償予測値を、第３階層用の系統の直交変換回路５１５
（ＯＴ₃ ）であれば、直流成分の次々周波数帯（第３低
周波項）の動き補償予測値を、第Ｎ階層用の系統の直交
変換回路５１５（ＯＴ_N ）であれば、最上位項の周波数
帯（第Ｎ周波項）の動き補償予測値を出力する。

【０２０６】そして、係数統合回路６３０は、各直交変
換回路５１５から出力された各階層の動き補償予測値の
直交変換による変換係数を受けて、帯域毎に統合したｎ
×ｎ個の変換係数予測値を加算回路６１１に与えるもの
である。

【０２０７】このような構成において、解像度変換回路
６４０は線９２を介して与えられるアルファマップの局
部復号信号を水平・垂直共にｎ／Ｎ倍に解像度変換して
ｎ階層ピラミッドの信号として逆直交変換回路６１２，
直交変換回路６１５に出力する。逆直交変換回路６１
２，直交変換回路６１５は各階層対応に設けられてお
り、従って、解像度変換された信号はその信号の対応す
る階層対応のものに入力される。

【０２０８】一方、加算回路６１１には線６５を介して
逆量子化回路１６５から与えられる信号と係数統合回路
６３０の出力が与えられ、加算回路６１１は両者を加算
して変換係数の再生値を得てこれを係数選択回路６１０
に与える。係数選択回路６１０はこの加算回路６１１か
らの変換係数の再生値を受け、解像度変換回路６４０よ
り供給されるＮ階層のアルファマップ信号ピラミッドに
したがって、変換係数を選択して第１〜第Ｎ階層各々の
相当する変換係数を得ることにより、Ｎ階層ピラミッド
を得る。このＮ階層ピラミッドは、階層毎の逆直交変換
回路６１２のうちの対応する階層のものに入力される。

【０２０９】すなわち、階層毎の逆直交変換回路６１２
では係数選択回路６１０より与えられる第１〜第Ｎ階層
各々の相当する変換係数のうち、対応する階層のものを
受けることになり、それぞれ受けた変換係数を逆変換
し、再生信号を得る。そして、本システムではこのう
ち、目的の解像度に対応する階層の出力を最終的な再生
信号として用いる。

【０２１０】階層毎の逆直交変換回路６１２の出力は、
また、各階層別に設けられたフレームメモリ６１３のう
ちの対応する階層のものに入力される。これにより各階
層別のフレームメモリ６１３は、それぞれ各階層毎の逆
直交変換回路６１２のうち、自己対応の階層の逆直交変
換回路の出力を得てこれを蓄積し、その階層対応の解像
度のフレーム画像を得る。

【０２１１】各階層別の動き補償予測回路５１４は各階
層毎のフレームメモリ６１３のうち、自己対応の階層用
のフレームメモリからの画像を得てこれよりその階層に
おける画像の動き補償予測値を得る。そして、これを各
階層別に設けられた直交変換回路６１５の対応する階層
のものに入力する。各階層別の直交変換回路６１５で
は、それぞれ対応の階層の動き補償予測値を直交変換す
ると共に、この直交変換した変換係数のうち、その階層
における最大周波項での変換係数を係数統合回路６３０
に出力する。

【０２１２】そして、係数統合回路６３０は、各階層の
直交変換回路６１５から出力された変換係数を統合して
加算回路６１１に出力する。

【０２１３】このように、図９（ｂ）の構成に関して
は、図８（ｂ）と同様のプロセスで、Ｎ階層ピラミッド
のうちの第ｎ階層までの再生画像を求める。そして、所
望とする再生画像の解像度が第ｎ階層対応のものであれ
ば、各階層毎の逆直交変換回路６１２の出力のうち、第
ｎ階層用の出力を再生信号として用いる。

【０２１４】なお、解像度変換回路５４０，解像度変換
回路６４０における縮小・拡大変換に利用できる技術と
しては、例えば、“尾上編：画像処理ハンドブック、
ｐ．６３０，昭晃堂”に記載されている“２値画像の解
像度変換法”を用いれば良い。

【０２１５】以上第３の具体例においては、画像中から
注目像の部分の像だけを所望の解像度で符号化すること
ができると共に、再生側ではこれと同等もしくはそれ以
下の解像度での画像を得ることができるようになる。

【０２１６】（第４の具体例）次に、図１０を用いて本
発明の第４の具体例を説明する。第４の具体例は図５で
説明した第２の具体例の技術において、任意形状の画像
を符号化することができるようにする技術である。

【０２１７】図１０は、第４の具体例が適用されるＳＮ
Ｒスケーラビリティ実現のための符号化回路部の構成を
示すブロック図である。図において、１０５は直交変換
回路、１８０はアルファマップ符号化回路、１８１は多
重化回路、１２６，１２７，１２８は量子化回路、１３
６，１３７，１３８は可変長符号化回路、５００ａ，５
００ｂ，〜５００Ｍは局部復号回路、４０５〜４０８は
遅延回路、１１６，１１７，１１８，４１５，４１６は
差分回路、１４６，１４７，１４８は逆量子化回路、４
２５，４２６は加算回路である。

【０２１８】アルファマップ符号化回路１８０は、前記
画像のアルファマップ情報を入力として受け、これを符
号化して線８２に出力するものであり、また、符号化し
たアルファマップ信号を復号する機能を有していてこれ
によって復号したアルファマップ信号の局部復号信号を
線８１を介して出力する機能を有する。

【０２１９】また、局部復号回路５００ａを持つ第１階
層Ｌ１の構成要素は、ベースレイヤの符号化信号を得る
ためのものであり、局部復号回路５００ｂを持つ第２階
層Ｌ２の構成要素は、エンハンスレイヤの符号化信号を
得るためのものであり、局部復号回路５００Ｍを持つ第
Ｍ階層ＬＭの構成要素は、エンハンスレイヤの符号化信
号を得るためのものである。

【０２２０】図１０の直交変換回路１０５には、線１０
を介して画像信号が供給され、また、線８１を介してア
ルファマップの局部復号信号が供給される。そして、直
交変換回路１０５は、画像信号をアルファマップの局部
復号信号に基づいて直交変換する。

【０２２１】図１０のアルファマップ符号化回路１８０
には、線８０を介してアルファマップ符号が入力され、
一方、直交変換回路１０５には、線１０を介して画像信
号が供給される。そして、アルファマップ符号化回路１
８０はこれを符号化して多重化回路１８１に出力すると
共に、符号化したアルファマップを復号化し、線８１を
介して直交変換回路１０５に与える。

【０２２２】多重化回路１８１では、アルファマップ符
号化回路１８０からのアルファマップ符号化出力と、可
変長符号化回路１３６からの出力を多重化して出力す
る。

【０２２３】直交変換回路１０５では、線１０を介して
供給された画像信号を、線８１を介してアルファマップ
の局部復号信号に基づいて直交変換し、この直交変換し
たことにより得られた直交変換係数を、第１階層Ｌ１の
差分回路１１６と第２階層Ｌ２の遅延回路４０５，４０
６と 〜第Ｍ階層ＬＭの遅延回路４０７，４０８とに
与える。

【０２２４】そして、第１階層Ｌ１における差分回路１
１６では、直交変換回路１０５より供給される直交変換
係数と、局部復号回路５００ａより線２６を介して供給
される変換係数の予測値との予測誤差が計算され、量子
化回路１２６に供給される。そして、この量子化回路１
２６にて量子化される。量子化された予測誤差信号は、
可変長符号化回路１３６と逆量子化回路１４６に供給さ
れる。可変長符号化回路１３６では予測誤差信号の量子
化値が可変長符号化され、線３６を介して出力される。

【０２２５】また、逆量子化回路１４６では、予測誤差
信号を逆量子化して予測誤差信号の再生値を得た後、線
４６を介して局部復号回路５００と第２階層Ｌ２に供給
する。そして、第２階層においては、まず遅延回路４０
６にて、線４６を介して第１階層Ｌ１における該ブロッ
クの予測誤差信号の再生値が得られるまで、直交変換回
路１０５より供給された直交変換係数が差分回路１１７
に供給されるタイミングを遅延させる。

【０２２６】また、遅延回路４０５では、遅延回路４０
６と同様に線８１を介して供給されるアルファマップ信
号を遅延させた後、線８６を介して第２階層Ｌ２の局部
復号回路５００に供給する。

【０２２７】差分回路１１７では、遅延回路４０６より
供給される直交変換係数と、局部復号回路５００ｂより
線２７を介して供給される変換係数の予測値との予測誤
差が計算され、差分回路４１５に供給される。そして、
差分回路４１５では、差分回路１１７より供給される第
２階層Ｌ２での予測誤差と、線４６を介して供給される
第１階層Ｌ１での予測誤差の再生値との差分が計算さ
れ、量子化回路１２７に供給される。そして、量子化回
路１２７ではこれを量子化する。

【０２２８】量子化回路１２７にて量子化された予測誤
差信号の差分は、可変長符号化回路１３７と逆量子化回
路１４７に供給される。

【０２２９】可変長符号化回路１３７では予測誤差信号
の差分の量子化値が可変長符号化され、線３７を介して
第２階層Ｌ２の可変長符号化信号として出力されること
になる。

【０２３０】また、予測誤差信号の差分の量子化出力を
受けた逆量子化回路１４７では、これを逆量子化し、予
測誤差信号の差分の再生値に戻した後、加算回路４２５
において線４６を介して供給される第１階層Ｌ１の予測
誤差信号の再生値を加算することにより、第２階層の予
測誤差信号の再生値を得る。そして、この第２階層の予
測誤差信号の再生値を、線４７を介して局部復号回路５
００ｂに供給する。

【０２３１】また、第Ｍ階層ＬＭにおいては、直交変換
回路１０５の出力は、まず遅延回路４０８において所定
の時間、遅延される。すなわち、ここでの遅延量は、線
４８を介して第Ｍ−１階層ＬM-1 における該ブロックの
予測誤差信号の再生値が得られるまでに相当する遅延時
間であり、直交変換回路１０５より供給された直交変換
係数が差分回路１１８に供給されるまでのタイミング分
が遅延される。

【０２３２】また、遅延回路４０７では、遅延回路４０
８と同様に線８１を介して供給されるアルファマップ信
号を遅延させた後、線８７を介して第Ｍ階層ＬＭの局部
復号回路５００Ｍに供給される。

【０２３３】差分回路１１８では、遅延回路４０８より
供給される直交変換係数と、局部復号回路５００Ｍより
線２８を介して供給される変換係数の予測値との予測誤
差が計算され、差分回路４１６に供給される。そして、
差分回路４１６では、差分回路１１８より供給される第
Ｍ階層ＬＭでの予測誤差と、線４８を介して供給される
第Ｍ−１階層ＬM-1 での予測誤差の再生値との差分が計
算され、量子化回路１２８に供給されて、ここで量子化
される。

【０２３４】量子化回路１２８にて量子化された予測誤
差信号の差分は、可変長符号化回路１３８と逆量子化回
路１４８に供給される。可変長符号化回路１３８では予
測誤差信号の差分の量子化値が可変長符号化され、第Ｍ
階層ＬＭでの可変長符号化信号として線３８を介して出
力されることになる。

【０２３５】また、一方、逆量子化回路１４８では、予
測誤差信号の差分を逆量子化して予測誤差信号の差分の
再生値を得た後、加算回路４２６において線４８を介し
て供給される第Ｍ−１階層の予測誤差信号の再生値を加
算して、第Ｍ階層ＬＭの予測誤差信号の再生値を得た
後、線４９を介して局部復号回路５００Ｍに供給する。

【０２３６】このようにして第２の具体例の技術におい
て、任意形状の画像を符号化することができるようにな
る。

【０２３７】つぎに、復号化装置を説明する。

【０２３８】図１１は第４の具体例において符号化され
た信号を復号化する装置の構成図である。図において、
１９０は分離化回路、１９１はアルファマップ復号化回
路、１５６，１５７，１５８は可変長復号化回路、１６
６，１６７，１６８は逆量子化回路、４３５，４３６は
加算回路、６００は復号回路である。

【０２３９】分離化回路１９０は多重化回路１８１で多
重化された第１階層の符号化信号とアルファマップの符
号化信号との多重化信号を分離化して、第１階層の符号
化信号とアルファマップの符号化信号に戻すものであ
り、アルファマップ復号化回路１９１は分離化回路１９
０で分離されたアルファマップの符号化信号を復号して
元のアルファマップを得るものであり、可変長復号化回
路１５６は分離化回路１９０で分離された第１階層の符
号化信号を復号化するものであり、逆量子化回路１６６
はこの復号化された信号を逆量子化して元の誤差値に戻
すものであり、可変長復号化回路１５７は、復号化装置
側の第２階層Ｌ２の可変長符号化回路１３７で符号化さ
れたものを復号化するものであり、逆量子化回路１６７
はこれを逆量子化して第２階層Ｌ２用の元の誤差値に戻
すものであり、可変長復号化回路１５８は、復号化装置
側の第ｍ階層Ｌｍの可変長符号化回路１３８で符号化さ
れたものを復号化するものであり、逆量子化回路１６８
はこれを逆量子化して第ｍ階層Ｌｍ用の元の誤差値に戻
すものである。

【０２４０】また、加算回路４３５は第３階層Ｌ３用の
元の誤差値と第２階層Ｌ２用の元の誤差値とを加算する
ものであり、加算回路４３６は加算回路４３５の出力と
第１階層Ｌ１用の元の誤差値とを加算するものである。

【０２４１】復号回路６００は加算回路４３６の出力と
アルファマップ復号化回路１９１の出力であるアルファ
マップとから、注目画像部分の再生信号を復号化して出
力するものである。

【０２４２】図１１において、線９０を介して分離化回
路１９０に供給された第１階層Ｌ１の符号化ビットスト
リームは、アルファマップに関する符号と、変換係数に
関する符号に分離され、各々線９１と線５６を介して出
力される。線５６，５７，５８を介して可変長復号化回
路１５６，１５７，１５８に各々供給された符号化ビッ
トストリームは、予測誤差信号あるいは予測誤差信号の
差分に復号されたのち逆量子化回路１６６，１６７，１
６８に各々供給される。

【０２４３】逆量子化回路１６７，１６８では、予測誤
差信号の差分を逆量子化して予測誤差信号の差分の再生
値を得る。そして、加算回路４３５において、第ｍ階層
Ｌｍから第２階層Ｌ２までの予測誤差の差分の再生値を
加算して、加算回路４３６に供給する。第１階層Ｌ１用
の逆量子化回路１６６では、第１階層Ｌ１の予測誤差信
号を逆量子化して予測誤差信号の再生値を得た後、加算
回路４３６に供給して、ここで第ｍ階層Ｌｍから第２階
層Ｌ２までの分の予測誤差信号の再生値を加算する。加
算回路４３６で求められた第ｍ階層Ｌｍから第１階層Ｌ
１までの分の予測誤差信号の再生値の合計値は線６５を
介して復号回路６００に供給される。

【０２４４】そして、復号回路６００はこれらの再生値
の合計値とアルファマップとを元に、注目画像部分の画
像の再生信号を得る。

【０２４５】このようにして、任意形状の画像を符号化
すると共に、これを復号化することができるようにな
る。

【０２４６】（第５の具体例）図１２、図１３および図
１４を用いて、本発明の第５の具体例の説明をする。第
５の具体例は第ｍ階層の符号化効率を向上させる技術で
ある。

【０２４７】本具体例は、前記第２の具体例および第４
の具体例において、第ｍ階層での予測信号を、第ｍ−１
階層の復号信号と第ｍ階層の動き補償予測信号とを適用
的に切り換えることにより求めることで、第ｍ階層の符
号化効率を向上させるものである。

【０２４８】以下では、ベースレイヤとエンハンスレイ
ヤの２階層にした場合の、本具体例を第２の具体例に適
用した例を示す。第４の具体例に付いても同様に適用す
ることができる。

【０２４９】《第５の具体例における符号化装置の構成
例》図１２は、本発明の符号化装置のブロック図であ
る。この符号化装置は直交変換回路１００、局部復号回
路２００および７００、遅延回路４０９、差分回路１１
０および１１９、量子化回路１２０および１２９、可変
長符号化回路１３０および１３９、逆量子化回路１４０
および１４９とから構成される。

【０２５０】局部復号回路７００は、加算回路７０１と
逆直交変換回路（ＩＯＴ_N ）、フレームメモリ７０３
（ＦＭ_N ）、動き補償予測回路７０４（ＭＣ_N ）、直交
変換回路７０５（ＯＴ_N ）、セレクタ７０６とより構成
される。

【０２５１】直交変換回路１００において、線１０を介
して供給される画像信号は、Ｎ×Ｎ画素毎に直交変換さ
れ、Ｎ×Ｎ個の変換係数が得られる。ベースレイヤは第
１、第３の具体例と同一の構成であり、局部復号信号２
００における加算回路２０１の出力信号である該ブロッ
クの変換係数の再生信号と、量子化回路１２０の出力で
ある該ブロックの変換係数の動き補償予測誤差信号の量
子化値が、各々線ＢDと線ＰQ を介してエンハンスレイ
ヤに供給される。

【０２５２】エンハンスレイヤにおいては、当該レイヤ
における遅延回路４０９において、線ＢD を介して該ブ
ロックの再生信号が得られるまでの時間分、直交変換回
路１００より供給された直交変換係数が差分回路１１９
に供給されるタイミングを遅延させる。

【０２５３】差分回路１１９では、直交変換回路１００
より供給される直交変換係数と、局部復号回路７００よ
り線２９を介して供給されるＮ×Ｎ個の変換係数の予測
値との予測誤差が計算され、量子化回路１２９に供給さ
れる。量子化回路１２９にて量子化された予測誤差信号
は、可変長符号化回路１３９と逆量子化回路１４９に供
給される。

【０２５４】可変長符号化回路１３９では予測誤差信号
の量子化値が可変長符号化され、線３９を介して出力さ
れる。逆量子化回路１４９では、予測誤差信号を逆量子
化することにより得た予測誤差信号の再生値を、局部復
号回路７００に供給する。

【０２５５】局部復号回路７００では、逆量子化回路１
４９より供給される予測誤差信号の再生値と線２９を介
して供給される予測値とを加算回路７０１にて加算する
ことにより、変換係数の再生値を得、これを逆直交変換
回路７０２に供給する。

【０２５６】逆直交変換回路７０２では加算回路７０１
より供給された変換係数を逆変換して局部復号信号を出
力する。そして、フレームメモリ７０３では、逆直交変
換回路７０２より供給されるＮ×Ｎ画素毎の局部復号信
号を蓄積して局部復号画像を得る。動き補償予測回路７
０４では、フレームメモリ７０３に蓄積されている局部
復号画像信号を用いて動き補償予測値を生成し、直交変
換回路７０５に供給する。

【０２５７】直交変換回路７０５では、動き補償予測値
をＮ×Ｎ画素毎に直交変換し、変換係数を線ＥMCを介し
てセレクタ７０６に出力する。セレクタ７０６では、線
ＢDと線ＥMCを介して供給された変換係数を、線ＰQ を
介して供給されるベースレイヤでの動き補償予測誤差信
号の変換係数の量子化値にしたがって、適応的に切り換
える。

【０２５８】図１３は、セレクタ７０６に適用している
文献（Ｔ．Ｋ．Ｔａｎ ｅｔ．ａｌ．“Ａ Ｆｒｅｑｕ
ｅｎｃｙ Ｓｃａｌａｂｌｅ Ｃｏｄｉｎｇ Ｓｃｈｅ
ｍｅＥｍｐｌｏｙｉｎｇ Ｐｙｒａｍｉｄ ａｎｄ Ｓ
ｕｂｂａｎｄ Ｔｅｃｈｎｉｑｕｅｓ”，ＩＥＥＥ Ｔ
ｒａｎｓ．ＣＡＳ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏ
ｌｏｇｙ，Ｖｏｌ．４，Ｎｏ．２，Ａｐｒ．１９９４）
に記載されている切り換え手段の例である。

【０２５９】図１３において、ＰQ は量子化回路１２０
の出力、ＢD は局部復号回路２００における加算回路２
０１の出力、ＥMCは局部復号回路７００における直交変
換回路７０５の出力であり、量子化回路１２０の出力Ｐ
Q である量子化値の中で、“０”で無い係数（白丸で囲
んだもの）は動き補償予測が当たらなかった係数であ
る。ここで、動き補償予測回路７０４においてベースレ
イヤと同じ動きベクトルを用いて動き補償予測を行って
いるため、エンハンスレイヤにおいても同じ係数の動き
補償予測は当たらない。

【０２６０】一方、エンハンスレイヤを符号化する前に
ベースレイヤの符号化を終了させておけば、ベースレイ
ヤの再生信号を用いることができる。従って、図１３に
おける出力ＰQ の量子化値の中で、この白丸で囲んであ
る係数は、ベースレイヤの再生信号をセレクタ７０６に
おいて選択して線２９を介して出力するようにする。な
お、出力ＰQ を用いてセレクタ７０６を係数毎に切り換
える点は前記文献と同じである。しかし、本具体例では
ベースレイヤの再生を予測値に用いている点が異なる。

【０２６１】《第５の具体例における復号化装置の構成
例》図１４は、図１２の符号化装置で２階層に分けられ
て符号化されたビットストリームを復号化して再生画像
を得るための復号化装置のブロック図である。この復号
化装置は、可変長復号回路１５０および１５９、逆量子
化回路１６０および１６９、復号回路３００および８０
０とより構成される。

【０２６２】エンハンスレイヤの復号回路８００は、加
算回路８０１、逆直交変換回路８０２、フレームメモリ
８０３、動き補償予測回路８０４、直交変換回路８０
５、フセレクタ８０６とより構成される。

【０２６３】図１４において、ベースレイヤは第１、第
３の具体例と同一の構成であり、加算回路３０１の出力
信号である該ブロックの変換係数の再生信号ＢD と、可
変長復号回路１５０の出力である該ブロックの変換係数
の動き補償予測誤差信号の量子化値ＰQ が、エンハンス
レイヤのセレクタ８０６に供給される。

【０２６４】エンハンスレイヤにおいては、線５９を介
して可変長復号化回路１５９に供給された符号化ビット
ストリームは、予測誤差信号に復号された後、逆量子化
回路１６９に供給される。逆量子化回路１６９では、予
測誤差信号を逆量子化して予測誤差信号の再生値を得た
後、線６９を介して復号回路８００に供給する。

【０２６５】復号回路８００では、線６９を介して供給
される予測誤差信号の再生値とセレクタ８０６より供給
される予測値とを加算回路８０１にて加算することによ
り変換係数の再生値を得た後、逆直交変換回路８０２に
供給する。そして、逆直交変換回路８０２では加算回路
８０１より供給された変換係数を逆変換して復号信号を
線７９を介して出力する。

【０２６６】フレームメモリ８０３では、逆直交変換回
路８０２より供給されるＮ×Ｎ画素毎の復号信号を蓄積
して復号画像を得る。動き補償予測回路８０４では、フ
レームメモリ８０３に蓄積されている復号画像信号を用
いて動き補償予測値を生成し、直交変換回路８０５に供
給する。

【０２６７】直交変換回路８０５では、動は補償予測値
をＮ×Ｎ画素毎に直交変換し、変換係数を線ＥMCを介し
て出力する。セレクタ８０６では、再生信号ＢD と直交
変換回路８０５の出力である変換係数ＥMCを、ベースレ
イヤでの動き補償予測誤差信号の変換係数の量子化値Ｐ
Q （可変長復号回路１５０の出力）にしたがって、適応
的に切り換える。ここで、セレクタ８０６はセレクタ７
０６と同じ動作をする。

【０２６８】以上、本具体例は、前記第２の具体例およ
び第４の具体例において、第ｍ階層での予測信号を、第
ｍ−１階層の復号信号と第ｍ階層の動き補償予測信号と
を適用的に切り換えることにより求めるようにしたもの
であり、これにより、第ｍ階層の符号化効率を向上させ
ることができるようになる。

【０２６９】上記の具体例では、変換基底がブロック間
でオーバラップしていない例を示した。

【０２７０】一方、“文献：如澤他、動き補償フィルタ
バンク構造を用いた画像符号化、ＰＣＳＪ９２，８−
５，１９９２”では、基底がオーバラップしている場合
でも変換後差分構成を取ることで符号化効率の低下の少
ない動き補償フィルタバンク構造を用いた符号化法を提
案している。本発明のように直交変換係数領域での予測
符号化装置（変換後差分構成）には、上記文献の考え方
が適用できるので、動き補償フィルタバンク構造を、第
１〜第５の具体例に適用しても良い。

【０２７１】以上種々の例を説明したが、本発明は、多
階層に解像度や画質を可変にすることが可能なスケーラ
ブル符号化法において、ドリフトによる画質劣化や、大
幅な符号化効率低下の無い動画像符号化・復号化装置を
提供することを目的としたものであり、Ｎ×Ｎ個（Ｎ：
自然数）の変換係数毎に変換係数領域での動き補償予測
を用いた動き補償予測＋変換符号化において、局部復号
された変換係数を低域からｎ×ｎ個（ｎ＝１〜Ｎ）選択
することにより、Ｎ階層の変換係数ピラミッドを作成
し、このＮ階層の変換係数ピラミッドを各階層毎に逆変
換を施すことにより、Ｎ階層の再生画像ピラミッドを作
成し、このＮ階層の再生画像ピラミッドを各階層別に蓄
積してそれぞれフレーム画像を得、この各フレーム画像
を参照して、各階層毎に動き補償予測信号を作成し、こ
の動き補償予測信号を各階層毎にそれぞれ変換係数に変
換し、それぞれの階層での最高次の変換係数を抽出して
これを統合することにより、動き補償予測値を作成する
ようにした。そして、これを符号化するようにした。

【０２７２】また、復号化は復号化して得た変換係数の
うち、必要な解像度対応の階層における最高次の変換係
数を含むそれ以下の低次の変換係数を抽出してこれを逆
変換することにより必要な解像度対応の階層における動
き補償予測値を得て再生信号とするようにした。

【０２７３】従って、符号化側での分解能より低い任意
の分解能で復号化する場合においても、ミスマッチが生
じることがなく、多階層に解像度や画質を可変にするこ
とが可能なスケーラブル符号化法において、ドリフトに
よる画質劣化や、大幅な符号化効率低下の無い動画像符
号化・復号化装置が得られることになる。

【０２７４】

【発明の効果】以上、本発明によれば、ドリフトの影響
や、大幅や符号化効率の低下無しに、任意形状画像の解
像度と画質を多段階に可変可能なスケーラブル符号化が
実現される。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明に
よる画像符号化装置および画像復号化装置が適用される
画像伝送システムの一例を示す図。

【図２】本発明を説明するための図であって、本発明の
第１の具体例における符号化装置の構成例を示すブロッ
ク図。

【図３】本発明を説明するための図であって、本発明の
第１の具体例における局部復号回路を説明するための
図。

【図４】本発明を説明するための図であって、本発明の
第１の具体例における復号化装置の構成例を示すブロッ
ク図。

【図５】本発明を説明するための図であって、本発明の
第２の具体例の構成例を示すブロック図。

【図６】図５の符号化装置でＭ階層に分けられて符号化
されたビットストリームの中から、第ｍ階層までのビッ
トストリームを復号化して再生画像を得る復号化装置の
ブロック図。

【図７】スケーラビリティを説明する図。

【図８】本発明を説明するための図であって、本発明の
第３の具体例における符号化装置の構成例を示すブロッ
ク図。

【図９】本発明を説明するための図であって、本発明の
第３の具体例における復号化装置の構成例を示すブロッ
ク図。

【図１０】本発明を説明するための図であって、本発明
の第４の具体例における符号化回路部の構成を示すブロ
ック図。

【図１１】本発明を説明するための図であって、本発明
の第４の具体例における復号化回路部の構成例を示すブ
ロック図。

【図１２】本発明を説明するための図であって、本発明
の第５の具体例における符号化装置の構成例を示すブロ
ック図。

【図１３】本発明を説明するための図であって、本発明
の第５の具体例における予測値切り換え法を説明する
図。

【図１４】本発明を説明するための図であって、本発明
の第５の具体例における復号化装置の構成例を示すブロ
ック図。

【図１５】従来技術を説明するための図であって、ＭＰ
ＥＧ２のＳＮＲスケーラビリティのブロック図。

【図１６】従来技術を説明するための図であって、ＭＰ
ＥＧ２の空間スケーラビリティのブロック図。

【図１７】アルファマップを説明する図。

【図１８】先行技術である任意形状画像の直交変換を説
明する図。

【図１９】先行技術である任意形状画像の解像度変換を
説明する図。

【符号の説明】

１００，１０５，２０５，３０５，５０５，６０５，７
０５，８０５…直交変換回路 １１０〜１１３，１１５〜１１９，４１０，４１１，４
１５，４１６…差分回路 １２０〜１２３，１２５〜１２９…量子化回路 １３０〜１３３，１３５〜１３９…可変長符号化回路 １４０〜１４９，１６０〜１６９…逆量子化回路 １５０〜１５３，１５５〜１５９…可変長復号化回路 １８０…アルファマップ符号化回路 １８１…多重化回路 １９０…分離化回路 １９１…アルファマップ復号化回路 ２００，２００ａ〜２００Ｍ，５００，５００ａ〜５０
０Ｍ，７００…局部復号回路 ３００，６００，８００…復号回路 ２０１，２１１，３０１，３１１，４２０，４２１，４
２５，４２６，４３０，４３１，４３５，４３６，５０
１，５１１，６０１，６１１，７０１，８０１…加算回
路 ２０２，３０２，５０２，６０２，７０２，８０２…逆
直交変換回路 ２０３，３０３，５０３，６０３，７０３，８０３…フ
レームメモリ ２０４，３０４，５０４，６０４，７０４，８０４…動
き補償予測回路 ２１２，３１２，５１２，６１２…逆直交変換回路ピラ
ミッド ２１３，３１３，５１３，６１３…フレームメモリピラ
ミッド ２１４，３１４，５１４，６１４…動き補償予測回路ピ
ラミッド ２１５，３１５，５１５，６１５…直交変換回路ピラミ
ッド ２２０，３２０，５２０，６２０…係数選択回路 ２３０，３３０，５３０，６３０…係数統合回路 ４００，４０１，４０５，４０６，４０７，４０８…遅
延回路。

Claims (14)

【特許請求の範囲】
1. 【請求項１】 直交変換によるＮ×Ｎ個（Ｎ：自然数）
   の変換係数毎に変換係数領域での動き補償予測値を用
   い、画像信号を直交変換によるＮ×Ｎ個の変換係数に変
   換してこれに前記動き補償予測値分の補正を加えた予測
   誤差信号を得、これを符号化してビットストリームを得
   る動画像の符号化装置において、 局部復号された変換係数を低域からｎ×ｎ個（ｎ＝１〜
   Ｎ）選択することにより、第１階層から第Ｎ階層までの
   Ｎ階層のうち、少なくとも２つの変換係数ピラミッドを
   作成する手段と、 前記Ｎ階層の変換係数ピラミッドを各階層毎に逆変換を
   施すことにより、Ｎ階層の再生画像ピラミッドを作成す
   る手段と、 Ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段
   と、 前記蓄積手段に蓄積されている各階層毎の画像を参照し
   て、各階層毎に動き補償予測信号を作成する手段と、 前記動き補償予測信号を各階層毎に変換係数に変換する
   と共に、各階層毎にその階層での最高次領域の変換係数
   をそれぞれ得る手段と、 前記各階層での最高次領域の変換係数を統合することに
   より前記動き補償予測値を得る手段と、を有することを
   特徴とする画像符号化装置。
2. 【請求項２】 請求項１記載の符号化装置により得られ
   た符号化ビットストリームを復号する復号化装置におい
   て、 前記符号化ビットストリームを復号して変換係数に再生
   する手段と、 この再生した変換係数に動き補償予測値分の補正を施し
   た変換係数を得る手段と、 この動き補償予測値分の補正を施した変換係数から、第
   １乃至第ｎ階層（ｎ＝１〜Ｎ）までの各階層対応の符号
   を階層別に取り出して、ｎ階層の変換係数ピラミッドを
   作成する手段と、 ｎ階層の変換係数ピラミッドを各階層毎に逆変換を施す
   ことにより、ｎ階層の再生画像ピラミッドを作成すると
   共に、第ｎ階層の再生画像の情報を目的の再生画像とす
   る手段と、 ｎ階層の再生画像ピラミッドを各階層毎に蓄積する手段
   と、 前記蓄積手段に蓄積されている画像を参照して、各階層
   毎に動き補償予測信号を作成する手段と、 前記動き補償予測信号を各階層毎に変換係数に変換する
   と共に、各階層毎にその階層での最高次領域の変換係数
   をそれぞれ得る手段と、 前記それぞれ得た最高次領域の変換係数を統合すること
   により前記動き補償予測値を得る手段とを有し、第ｎ階
   層の再生画像を再生することを特徴とする画像復号化装
   置。
3. 【請求項３】 請求項１記載の符号化装置を用いた、Ｍ
   階層（Ｍ：自然数）のＳＮＲスケーラビリティを実現す
   る符号化装置であって、 第ｍ階層（ｍ＝２〜Ｎ）の予測誤差信号と、第ｍ−１階
   層の予測誤差信号の局部再生値との差分信号を求める手
   段と、 この差分信号を符号化して第ｍ階層の符号化ビットスト
   リームを得る符号化手段と、 第ｍ階層において、前記差分信号を第ｍ−１階層の量子
   化ステップサイズより小さいステップサイズで量子化す
   る手段と、 前記差分信号と、第ｍ−１階層の予測誤差信号の局部再
   生値を加算することで、第ｍ階層の予測誤差信号の局部
   再生値を求める加算手段と、 この局部再生値を蓄積して画像を得、これより第ｍ階層
   の動き補償値を求めて前記第ｍ階層用の予測誤差信号を
   得る局部復号手段とを備えることを特徴とする動画像符
   号化装置。
4. 【請求項４】 請求項３記載の符号化装置により符号化
   された符号化ビットストリームを復号する復号化装置に
   おいて、 前記符号化ビットストリームのうち、第１乃至第ｍ階層
   （ｍ＝１〜Ｍ）までの符号を用い、これらを復号して第
   ｍ階層までの各階層別の量子化値を得る復号手段と、 この復号手段により復号された各階層別の量子化値をそ
   れぞれ逆量子化する逆量子化手段と、 この逆量子化手段による第ｍ階層までの逆量子化値を加
   算して出力する手段と、 この加算出力を復号して画像再生に供する復号手段とを
   備えることを特徴とする動画像復号化装置。
5. 【請求項５】 直交変換によるＮ×Ｎ個の変換係数毎に
   変換係数領域での動き補償予測値を用い、画像信号を直
   交変換によるＮ×Ｎ個の変換係数に変換してこれに前記
   動き補償予測値分の補正を加えた予測誤差信号を得、こ
   れを符号化してビットストリームを得る動画像符号化を
   用いる装置において、 入力画像の背景とオブジェクトを識別するアルファマッ
   プ信号を受けてこれを符号化する手段と、 前記入力画像のうち、前記アルファマップにしたがった
   対応領域の画像について直交変換することにより、任意
   形状画像を変換係数に変換して出力する手段と、 前記アルファマップにしたがって前記変換係数を逆変換
   することにより、任意形状画像を再生する手段を有する
   ことを特徴とした動画像符号化復号化装置。
6. 【請求項６】 請求項５記載の装置において、 入力されたアルファマップ信号を解像度変換してＮ階層
   のアルファマップ信号ピラミッドを作成する手段と、 各階層毎に、アルファマップ信号にしたがって局部復号
   された変換係数を低域からｎ階層分（ｎ＝１〜Ｎ）選択
   することにより、Ｎ階層の変換係数ピラミッドを作成す
   る手段と、 このＮ階層の変換係数ピラミッドを各階層毎にアルファ
   マップ信号にしたがって逆変換を施すことにより、Ｎ階
   層の再生画像ピラミッドを作成する手段と、 前記Ｎ階層の再生画像ピラミッドを各階層毎に蓄積する
   手段と、 前記蓄積手段に蓄積されている画像を参照し、各階層毎
   にアルファマップ信号にしたがって動き補償予測信号を
   作成する手段と、 前記動き補償予測信号を各階層毎にアルファマップ信号
   にしたがって変換係数に変換する手段と、 アルファマップ信号ピラミッドにしたがって前記変換係
   数を統合することにより動き補償予測値を作成する手段
   を有する動画像符号化装置。
7. 【請求項７】 直交変換によるＮ×Ｎ個の変換係数毎に
   変換係数領域での動き補償予測値を用い、画像信号を直
   交変換によるＮ×Ｎ個の変換係数に変換してこれに前記
   動き補償予測値分の補正を加えた予測誤差信号を得、こ
   れを符号化してビットストリームを得る動画像符号化を
   用いる装置であって、入力画像の背景とオブジェクトを
   識別するアルファマップ信号を受けてこれを符号化し、 また、前記入力画像のうち、前記アルファマップにした
   がった対応領域の画像について直交変換することによ
   り、任意形状画像を変換係数に変換すると共に、この変
   換係数と前記アルファマップとを符号化してビットスト
   リームとして出力するようにした符号化手段により符号
   化されたビットストリームを復号するための復号装置と
   して、 ビットストリームからアルファマップを復号化する手段
   と、 ビットストリームから変換係数を復号化する手段と、 前記アルファマップにしたがって任意形状画像を変換係
   数に変換する手段と、 前記アルファマップにしたがって前記変換係数を逆変換
   することにより、任意形状画像を再生する手段を有する
   ことを特徴とした画像復号化装置。
8. 【請求項８】 請求項６記載の符号化装置において符号
   化された符号化ビットストリームを復号化する画像復号
   化装置であって、 前記符号化ビットストリームから、第ｎ階層（ｎ＝１〜
   Ｎ）までの符号を取り出す手段と、 前記符号化ビットストリームからアルファマップ信号を
   復号する手段と、 復号されたアルファマップ信号を解像度変換してＮ階層
   のアルファマップ信号ピラミッドを作成する手段と、 復号された変換係数から、アルファマップ信号ピラミッ
   ドにしたがってｎ階層の変換係数ピラミッドを作成する
   手段と、 前記ｎ階層の変換係数ピラミッドを各階層毎にアルファ
   マップ信号にしたがって逆変換を施すことにより、ｎ階
   層の再生画像ピラミッドを作成する手段と、 前記ｎ階層の再生画像ピラミッドを各階層毎に蓄積する
   手段と、 前記蓄積手段に蓄積されている画像を参照し、各階層毎
   にアルファマップ信号にしたがって動き補償予測信号を
   作成する手段と、 前記動き補償予測信号を各階層毎にアルファマップ信号
   にしたがって変換係数に変換する手段と、 前記アルファマップ信号ピラミッドにしたがって前記変
   換係数を統合することにより動き補償予測値を作成する
   手段とを有し、第ｎ階層の再生画像を再生することを特
   徴とする動画像復号化装置。
9. 【請求項９】 請求項５記載の符号化装置を用いた、Ｍ
   階層（Ｍ：自然数）のＳＮＲスケーラビリティを実現す
   る符号化装置であって、 第ｍ階層（ｍ＝２〜Ｎ）の予測誤差信号と、第ｍ−１階
   層の予測誤差信号の局部再生値との差分信号を求める手
   段と、 第ｍ階層において、前記差分信号を第ｍ−１階層の量子
   化ステップサイズよりも小さいステップサイズで量子化
   する手段と、 逆量子化された前記差分信号と、第ｍ−１階層の予測誤
   差信号の局部再生値を加算することで、第ｍ階層の予測
   誤差信号の局部再生値を求めることを特徴とする動画像
   符号化装置。
10. 【請求項１０】 請求項９記載の符号化装置により符号
    化された符号化ビットストリームを復号する復号化装置
    において、 前記符号化ビットストリームから、第ｍ階層（ｍ＝１〜
    Ｍ）までの符号を取り出す手段と、 この取出した第ｍ階層までの各階層の符号を復号する復
    号手段と、 前記復号手段により復号された量子化値を各階層におい
    て逆量子化する手段と、 第ｍ階層までの逆量子化値を加算する手段とを有する請
    求項７の動画像復号化装置。
11. 【請求項１１】 請求項６記載の符号化装置を用いたＭ
    階層（Ｍ：自然数）のＳＮＲスケーラビリティを実現す
    る符号化装置であって、 第ｍ階層（ｍ＝２〜Ｎ）の予測誤差信号と、第ｍ−１階
    層の予測誤差信号の局部再生値との差分信号を求める手
    段と、 第ｍ階層において、前記差分信号を第ｍ−１階層の量子
    化ステップサイズよりも小さいステップサイズで量子化
    する手段と、 逆量子化された前記差分信号と、第ｍ−１階層の予測誤
    差信号の局部再生値を加算することで、第ｍ階層の予測
    誤差信号の局部再生値を求めることを特徴とする動画像
    符号化装置。
12. 【請求項１２】 請求項１１記載の符号化装置により符
    号化された符号化ビットストリームを復号する復号化装
    置において、 前記符号化ビットストリームからアルファマップ信号を
    復号する手段と、 復号されたアルファマップ信号を解像度変換してＮ階層
    のアルファマップ信号ピラミッドを作成する手段と、 復号された変換係数から、アルファマップ信号ピラミッ
    ドにしたがってｎ階層の変換係数ピラミッドを作成する
    手段と、 前記符号化ビットストリームから第ｍ階層（ｍ＝１〜
    Ｍ）までの符号を取り出す手段と、 この取出した第ｍ階層までの各階層の符号をアルファマ
    ップ信号ピラミッドのうちの対応する階層のアルファマ
    ップ信号にしたがって復号する復号手段と、 前記復号手段により復号された量子化値を各階層におい
    て逆量子化する逆量子化手段と、 この逆量子化手段により逆量子化された第ｍ階層までの
    逆量子化値を加算する手段と、 この加算出力を復号することにより第ｍ階層の再生画像
    を再生する復号手段とを有する動画像復号化装置。
13. 【請求項１３】 直交変換によるＮ×Ｎ個の変換係数毎
    に変換係数領域での動き補償予測を用い、画像信号を直
    交変換によるＮ×Ｎ個の変換係数に変換してこれに前記
    動き補償予測値分の補正を加えた予測誤差信号を得、こ
    れを符号化してビットストリームを得る動画像の符号化
    装置において、 Ｍ階層のＳＮＲスケーラビリティを実現する符号化装置
    であって、 第ｍ階層（ｍ＝２〜Ｍ）の動き補償予測値と第ｍ−１階
    層の局部再生値とを変換係数毎に切り換えることで、第
    ｍ階層の予測値を求める手段と、 第ｍ−１階層における、予測誤差信号の量子化値の絶対
    値がしきい値以下となる変換係数は第ｍ階層の動き補償
    予測値を、しきい値以上となる変換係数は第ｍ−１階層
    の局部再生値を出力するセレクタを有することを特徴と
    する動画像符号化装置。
14. 【請求項１４】 請求項１３記載の符号化装置により符
    号化された符号化ビットストリームを復号する復号化装
    置において、 前記符号化ビットストリームから、第ｍ階層（ｍ＝２〜
    Ｍ）までの符号を取り出す手段と、 この取出された第ｍ階層までの各階層の符号を復号する
    復号手段と、 前記復号手段により復号された予測誤差信号の量子化値
    を各階層において逆量子化する手段と、 第ｍ階層の動き補償予測値と第ｍ−１階層の再生値とを
    変換係数毎に切り換えることで、第ｍ階層の予測値を求
    める手段と、 第ｍ−１階層における予測誤差信号の量子化値の絶対値
    がしきい値以下となる変換係数は第ｍ階層の動き補償予
    測値を、しきい値以上となる変換係数は第ｍ−１階層の
    再生値を出力するセレクタを有することを特徴とする動
    画像復号化装置。