JPH09182085A - 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像伝送方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ブロック境界上に現れるエッジ状の劣化が復
号化画像に与える影響を抑えることができる画像符号化
装置、画像復号装置、画像符号化方法、画像復号方法、
画像伝送方法及び記録媒体を提供する。 【解決手段】 入力された画像信号に対して、動きベク
トル検出器１１で動きベクトルを検出すると共にウエー
ブレット変換器３でウエーブレット係数を生成し、検出
した動きベクトルと既に復元されている復元画像から動
き補償器１２で予測ウエーブレット係数を生成して、ウ
エーブレット係数と予測ウエーブレット係数との差分を
減算器４により算出して量子化器５で量子化する。ま
た、量子化されたウエーブレット係数の差分を逆量子化
器１３で逆量子化して加算器１４で予測ウエーブレット
係数に加算することによってウエーブレット係数を復元
し、逆ウエーブレット変換器１５で逆ウエーブレット変
換を施して、画像を復元する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置、
画像復号装置、画像符号化方法、画像復号方法、画像伝
送方法及び記録媒体に関し、例えば、動画像の圧縮を目
的とした、画像信号を符号化する符号化装置及び符号化
方法、その符号化された画像データが記録されているビ
デオテープ、ビデオディスク及び半導体メモリなどの記
録媒体、その記録媒体に記録されている符号化された画
像信号を復号する復号装置及び復号方法、その符号化、
復号化装置を備えるＡＶ機器、テレビ放送やテレビ会議
システムなどの通信機器における伝送方式、その通信機
器のための画像信号を符号化、復号する装置及び方法に
関する。

【０００２】

【従来の技術】デジタル信号の圧縮を目的とした符号化
／復号方法の１つとして、サブバンド符号化がある。こ
のサブバンド符号化は、例えばウェーブレット変換を行
うためのフィルタ（以下、ウェーブレット変換フィルタ
という。）によって、デジタル信号の帯域分割を行い、
ディジタル信号の圧縮を行うものである。すなわち、サ
ブバンド符号化は、入力された信号に対して、異なる通
過帯域を有する複数のフィルタでフィルタリング処理を
施した後、各周波数帯域に応じた間隔でダウンサンプリ
ングを施し、各フィルタの出力信号のエネルギーの偏り
を利用して圧縮を行うものである。

【０００３】サブバンドフィルタ、及びウエーブレット
フィルタによる帯域分割による信号処理に関しては、例
えば文献『ウエーブレット変換とサブバンド符号化』マ
ーチン・ヴェターリ著、電子情報通信学会誌、Vol.74 N
o.12 pp1275-1278 1991 年12月に説明されている。

【０００４】サブバンド符号化及びウェーブレット変換
を用いた帯域分割による信号処理に関しては、例えば文
献『ウェーブレット変換とサブバンド符号化』マーチン
・ヴエターリ著、電子情報通信学会誌、Vo1.74 No.12
pp1275-1278 １９９１年１２月に説明されている。

【０００５】図２８を用いて、動き補償及びＤＣＴを用
いた画像符号化装置及び画像復号化装置の従来例を説明
する。図２８の（Ａ）は画像符号化装置１００の構成を
示しており、図２８の（Ｂ）は画像復号装置２００の構
成を示している。

【０００６】画像符号化装置１００において、入力画像
が入力端子１０１を介してフレームメモリ１０２２に供
給される。動きベクトル検出器１１１は、フレームメモ
リ１０２に保存された入力画像から、動きベクトルｖを
検出する。動きベクトルの検出法としては、通常、１６
画素×１６画素のブロック単位でのブロックマッチング
が行われる。また、より高い精度を実現するために、半
画素単位のマッチングが行われる。さらに、ブロックマ
ッチングの代わりに、既に知られている他の動きベクト
ル検出法を用いられることもある。

【０００７】動き補償器１１２は、図示せぬフレームメ
モリを備え、現在、符号化すべき画像の各位置の画素値
を、既に、符号化及び復号化が終了し、このフレームメ
モリに保存されている画像から予測する。時刻ｔに入力
された画像上の位置（ｉ，ｊ）における画素値Ｉ［ｉ，
ｊ，ｔ］の予測値Ｉ’［ｉ，ｊ，ｔ］は、この位置に対
応する動きベクトルｖ＝（ｖｘ（Ｉ，ｊ，ｔ），ｖｙ
（ｉ，ｊ，ｔ））を用いて、次の式（１）のように決定
される。

【０００８】

【数１】

【０００９】ここで、Ｔは、現在予測を行っている画像
Ｉが入力された時刻と、フレームメモリ上にある画像が
入力された時刻の差であり、（１）式の右辺のＩ
［ｉ’，ｊ’，ｔ−Ｔ］，Ｉ［ｉ’＋１，ｊ’，ｔ−
Ｔ］，Ｉ［ｉ’，ｊ’＋１，ｔ−Ｔ］，Ｉ［ｉ’＋１，
ｊ’＋１，ｔ−Ｔ］は、図示せぬフレームメモリ上の画
素値を表す。また、ｉｎｔ（ｘ）は、ｘを越えない最大
の整数値を表している。

【００１０】また、フレームメモリ１０２は、入力画像
を減算器１０３に供給する。減算器１０３は、現在符号
化すべき画素の値と動き補償器１１２によって算出され
た予測値との差分を計算する。

【００１１】減算器９０からの差分値は、ＤＣＴ（Ｄｉ
ｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）器
１０４に供給される。ＤＣＴ器１０４は、差分値で構成
された８画素×８画素のブロックに対して２次元ＤＣＴ
を施す。

【００１２】ＤＣＴ器１０４からのＤＣＴ係数ｃは、量
子化器１０５に供給される。量子化器１０５は、ＤＣＴ
器１０４によって得られたＤＣＴ係数ｃに対して、適当
なステップサイズＱを用いて次の式（２）のような量子
化処理を行う。

【００１３】

【数２】

【００１４】量子化の施されたＤＣＴ係数は、可変長符
号化器１０６及び逆量子化器１１３に供給される。逆量
子化器１１３では、量子化器１０５で用いられたのと同
じステップサイズにより、次の式（３）のような逆量子
化処理が行われる。

【００１５】

【数３】

【００１６】逆量子化の施されたデータは、ＩＤＣＴ器
１１４によって逆ＤＣＴが行われ、画素値の差分値が復
元される。この差分値は、加算器１１５によって動き補
償器１１２から出力される予測値と加算されて画素値の
データとなり、動き補償器１１２に送られて図示せぬフ
レームメモリに保存される。

【００１７】可変長符号化器１０６では、量子化器１０
５によって得られた量子化されたＤＣＴ係数及び動きベ
クトル検出器１１１によって得られた動きベクトルｖに
対して可変長符号化を施し、ビットストリームを出力す
る。

【００１８】一方、画像復号装置２００では、はじめ
に、入力端子２０１を介して供給されたビットストリー
ムに対して逆可変長符号化器２０２によって画像符号化
装置１００における可変長符号化器１０６の逆処理が施
され、ビットストリームから、量子化の施されたＤＣＴ
係数及び動きベクトルｖを復元する。得られたＤＣＴ係
数は逆量子化器２０３に供給され、動きベクトルｖは動
き補償器２０６に供給される。

【００１９】逆量子化器２０３及びＩＤＣＴ器２０４
は、画像符号化装置１００のものと同じものであり、そ
れぞれにおいて、（３）式の逆量子化処理及びＩＤＣＴ
を施して、画素値の差分値を復元する。この差分値は、
加算器２０５によって、動き補償器２０６によって既に
生成されている予測値と加算されて画素値のデータとな
り、画像符号化装置１００への入力画像に対応する画像
が再構成される。復号化された画像の各画素値は、予測
画像を生成するために、動き補償器２０６に備えられた
図示せぬフレームメモリに保存される。

【００２０】動き補償器２０６は、画像符号化装置１０
０のものと同じものであり、逆可変長符号化器２０２に
よって得られた動きベクトルｖ及び既にこの動き補償器
２０６が備える図示せぬフレームメモリに保存されてい
る画像を用いて、現在復号化すべき画像の各画素値の予
測を行う。

【００２１】なお、上述した説明は、例えばＭＰＥＧ
１，２などのＰピクチャやＢピクチャなどの、いわゆる
インターフレームに対して行われる動作である。したが
って、イントラフレームに対しては、減算器１０３で差
分演算が行われず、フレームメモリからの画素データが
そのままＤＣＴ器１０４に直接供給され、以後の処理が
実行される。

【００２２】さらに、ＭＰＥＧ１などの従来の符号化方
式でのビットストリームの伝送方法について簡単に説明
する。ＭＰＥＧ１において、シンクコードがある最小単
位のヘッダは、スライスヘッダである。したがって、エ
ラーなどが発生しデータの一部が復号不可能になった場
合、次のスライスヘッダから復号することになる。

【００２３】

【発明が解決しようとする課題】上述した従来の方法の
ように、ブロック単位での動き検出、動き補償を用いた
符号化では、動きの不連続な領域に存在する隣接ブロッ
クにおいて、予測誤差の性質に違いが生じ、ブロック境
界に沿ってエッジ状の劣化が生じるといった問題があっ
た。従来の方法では、画像上において動き補償を行って
いるため、このようなブロック境界の劣化がそのまま、
復号化された画像上に現れ、画質低下の原因となってい
た。

【００２４】また、上述した従来のビットストリームの
伝送方法の場合、データの一部にエラーが発生すると、
スライス単位ですべてのデータが失われることになる。
つまり、復号画像上で、復号不能なスライスの部分のデ
ータが全て失われるため、致命的な劣化が生じる。

【００２５】そこで、本発明は以上の点を考慮してなさ
れたもので、本発明の目的は、ブロック境界上に現れる
エッジ状の劣化が緩和され、復号化画像に与える影響を
抑えることができる画像符号化装置、画像復号装置、画
像符号化方法、画像復号方法、画像伝送方法及び符号化
された画像データが記録されている記録媒体を提供する
ことにある。

【００２６】また、本発明の他の目的は、あるバンドの
データが失われた場合においても復号画像上で致命的な
劣化を避けることができる画像伝送方法を提供すること
にある。

【００２７】

【課題を解決するための手段】本発明は、サブバンドフ
ィルタを用いた画像信号の画像符号化装置において、入
力された画像信号から動きベクトルを検出する動きベク
トル検出手段と、入力された画像に対して、サブバンド
変換による周波数帯域分割処理を施し、サブバンド係数
を生成するサブバンド変換手段と、上記サブバンド係数
の差分を符号化し、符号化信号を生成する符号化手段
と、上記符号化信号を復号し、復号されたサブバンド係
数の差分を生成する復号手段と、上記動きベクトルと、
既に復元されている復元画像から上記サブバンド係数を
予測するための予測サブバンド係数を生成する動き補償
手段と、上記復号されたサブバンド係数の差分に上記予
測サブバンド係数を加算し、復元されたサブバンド係数
を生成する加算手段と、上記復元されたサブバンド係数
に対して逆サブバンド変換を施し、画像を復元する逆サ
ブバンド変換手段と、上記サブバンド係数と上記予測サ
ブバンド係数との差分を算出する係数差分算出手段とを
有することを特徴とする。

【００２８】本発明に係る画像符号化装置では、上記サ
ブバンド変換手段により例えばウェーブレット係数を生
成する。

【００２９】また、本発明に係る画像符号化装置では、
上記動き補償手段において、例えば、復元された画像に
対して予測すべきウエーブレット係数が属する周波数帯
域に対応するように、フィルタリング処理を行い、その
出力から予測値を求める。

【００３０】本発明は、サブバンドフィルタを用いた画
像信号の画像復号装置において、動きベクトル及び符号
化されたサブバンド係数の差分値を少なくとも含む画像
信号を受信する受信手段と、上記動きベクトルと上記符
号化されたサブバンド係数の差分値を分離する分離手段
と、上記符号化されたサブバンド係数の差分値を復号
し、復号されたサブバンド係数の差分値を生成する復号
手段と、上記動きベクトルと復元された画像からサブバ
ンド係数を予測するための予測サブバンド係数を生成す
る動き補償手段と、上記復号されたサブバンド係数の差
分値と上記動き補償手段によって得られた予測ウエーブ
レット係数とを加算する係数加算手段と、上記係数加算
手段からのサブバンド係数に対して逆サブバンド変換を
施し、画像を復元する逆サブバンド変換手段とを有する
ことを特徴とする。

【００３１】本発明に係る画像復号装置では、上記サブ
バンド係数として例えばウェーブレット係数を用いる。

【００３２】また、本発明に係る画像復号装置では、上
記動き補償手段において、例えば、復元された画像に対
して予測すべきサブバンド係数が属する周波数帯域に対
応するように、フィルタリング処理を行い、その出力か
ら予測値を求める。

【００３３】本発明は、サブバンドフィルタを用いた画
像信号の画像符号化方法において、入力された画像信号
から動きベクトルを検出するステップと、入力された画
像に対して、サブバンド変換による周波数帯域分割処理
を施し、サブバンド係数を生成するステップと、上記サ
ブバンド係数の差分を符号化し、符号化信号を生成する
ステップと、上記符号化信号を復号し、復号されたサブ
バンド係数の差分を生成するステップと、上記動きベク
トルと既に復元されている復元画像から上記サブバンド
係数を予測するための予測サブバンド係数を生成するス
テップと、上記復号されたサブバンド係数の差分に上記
予測サブバンド係数を加算し、復元されたサブバンド係
数を生成するステップと、上記復元されたサブバンド係
数に対して逆サブバンド変換を施し、画像を復元するス
テップと、上記サブバンド係数と上記予測サブバンド係
数との差分を算出するステップとを有することを特徴と
する。

【００３４】本発明に係る画像符号化方法では、上記サ
ブバンド係数として例えばウェーブレット係数を用い
る。

【００３５】また、本発明に係る画像符号化方法では、
上記予測サブバンド係数を生成するステップにおいて、
例えば、復元された画像に対して予測すべきサブバンド
係数が属する周波数帯域に対応するように、フィルタリ
ング処理を行い、その出力から予測値を求める。

【００３６】本発明は、サブバンドフィルタを用いた画
像信号の画像復号方法において、動きベクトル及び符号
化されたサブバンド係数の差分値を少なくとも含む画像
信号を受信するステップと、上記動きベクトルと上記符
号化されたサブバンド係数の差分値を分離するステップ
と、上記符号化されたサブバンド係数の差分値を復号
し、復号されたサブバンド係数の差分値を生成するステ
ップと、上記動きベクトルと復元された画像からサブバ
ンド係数を予測するための予測サブバンド係数を生成す
るステップと、上記復号されたサブバンド係数の差分値
と上記生成された予測サブバンド係数とを加算するステ
ップと、上記加算されたサブバンド係数に対して逆サブ
バンド変換を施し、画像を復元するステップとからなる
ことを特徴とする。

【００３７】本発明に係る画像復号方法では、上記サブ
バンド係数として例えばウェーブレット係数を用いる。

【００３８】本発明に係る画像復号方法では、上記予測
サブバンド係数を生成するステップにおいて、例えば、
復元された画像に対して予測すべきサブバンド係数が属
する周波数帯域に対応するようにフィルタリング処理を
行い、その出力から予測値を求める。

【００３９】本発明は、サブバンドフィルタを用いた画
像信号の画像伝送方法において、入力された画像信号か
ら動きベクトルを検出し、入力された画像に対してサブ
バンド変換による周波数帯域分割処理を施してサブバン
ド係数を生成し、上記サブバンド係数の差分を符号化し
て符号化信号を生成し、上記符号化信号を復号して復号
されたサブバンド係数の差分を生成し、上記動きベクト
ルと既に復元されている復元画像から上記サブバンド係
数を予測するための予測サブバンド係数を生成し、上記
復号されたサブバンド係数の差分に上記予測サブバンド
係数を加算して復元されたサブバンド係数を生成し、上
記復元されたサブバンド係数に対して逆サブバンド変換
を施して画像を復元し、上記サブバンド係数と上記予測
サブバンド係数との差分を算出し、上記動きベクトルと
上記差分サブバンド係数からなるビットストリームを伝
送するようにしたことを特徴とする。

【００４０】本発明に係る画像伝送方法において、上記
ビットストリームは、例えば、ヘッダを有しており、上
記ヘッダは、サブバンド係数の各バンド毎に付加されて
いる。

【００４１】本発明は、復号装置により復号可能な記録
信号が記録された記録媒体において、上記記録信号は、
入力された画像信号から検出された動きベクトルと、入
力された画像に対してサブバンド変換による周波数帯域
分割処理を施すことにより得られたサブバンド係数と、
予測サブバンド係数との差分サブバンド係数とを含んで
おり、上記予測サブバンド係数は、上記動きベクトルと
既に復元されている復元画像から生成され、上記復元画
像は、上記サブバンド係数の差分を符号化することによ
り得られた符号化信号を符号化信号を復号することによ
り、その復号されたサブバンド係数の差分を生成し、上
記復号されたサブバンド係数の差分に上記予測サブバン
ド係数を加算することにより得られた復元されたサブバ
ンド係数に対して逆サブバンド変換を施すことにより復
元されるようになされていることを特徴とする。

【００４２】

【発明の実施の形態】以下、発明の実施の形態につい
て、図面を参照して詳細に説明する。

【００４３】図１の（Ａ）及び（Ｂ）は、本発明の第１
の実施形態であるウェーブレット変換を用いた画像符号
化装置及び画像復号装置の構成を示している。ただし、
画像Ｉ上の各画素値をＩ［ｉ，ｊ］で表し、これらが図
２に示す順序で走査されて入力されてくるものとする。
ここで、ｉは画像上での水平方向の座標を、ｊが垂直方
向の座標を表す。

【００４４】画像符号化装置１０において、入力画像
は、入力端子１を介してフレームメモリ２に供給され
る。フレームメモリ２に供給された入力画像は、ウエー
ブレット変換器３に供給される。ウエーブレット変換器
３は、入力された画像に対して周波数帯域の分割処理を
施す。これは、従来の画像符号化装置におけるＤＣＴ器
に相当するものである。ただし、従来の画像符号化装置
では、画像上で動き補償を行うために、ＤＣＴ器は減算
器の後ろに存在していたが、本発明ではウエーブレット
変換後のウエーブレット係数に対して動き補償を行うた
め、ウエーブレット変換器３は減算器４の前に設置され
ている。また、ウェーブレット変換器３は、１画面の画
像を単位として、ウェーブレット変換を実行する。

【００４５】すなわち、この画像符号化装置１０では、
入力画像がフレームメモリ２に供給され、このフレーム
メモリ２に保存された入力画像から動きベクトル検出器
１１により動きベクトルｖを検出する。動きベクトルの
検出法としては、通常、１６画素×１６画素のブロック
単位でのブロックマッチングが行われる。また、より高
い精度を実現するために、半画素単位のマッチングが行
われる。さらに、ブロックマッチングの代わりに、既に
知られている他の動きベクトル検出法を用いてもよい。

【００４６】また、この画像符号化装置１０において、
入力画像は、フレームメモリ２を介してウエーブレット
変換器３に供給される。そして、ウェーブレット変換器
３は、入力画像に対してウェーブレット変換を実行する
ことにより得られるウエーブレット係数を減算器４に供
給する。減算器４は、ウエーブレット変換器３からのウ
エーブレット係数から後述する動き補償器１２からの予
測ウェーブレット係数を減算し、差分ウエーブレット係
数を出力する。

【００４７】減算器４からの差分ウエーブレット係数
は、量子化器５に供給される。量子化器５は、減算器４
からの差分ウエーブレット係数に対して、適当なステッ
プサイズＱを用いて、例えば、上述したような（２）式
のような量子化処理を行う。

【００４８】量子化器５により量子化処理の施された差
分ウエーブレット係数は、可変長符号化器６及び逆量子
化器１３に供給される。逆量子化器１３では、量子化器
５で用いられたのと同じステップサイズにより、例え
ば、上述したような（３）式のような逆量子化処理が行
われる。

【００４９】逆量子化器１３により逆量子化処理の施さ
れたデータすなわち差分ウエーブレット係数は、加算器
１４に供給され、この加算器１４に供給される後述する
動き補償器１２からの予測ウェーブレット係数と加算さ
れる。そして、この加算値が、逆ウェーブレット変換器
１５に送られる。

【００５０】また、逆ウエーブレット変換器１５は、従
来の画像符号化装置におけるＩＤＣＴ器に対応するもの
であるが、上記と同じ理由により、加算器１４の後ろに
設置されている。逆ウエーブレット変換が施された復元
画像は、動き補償器１２に供給され、動き補償器１２が
備える図示せぬフレームメモリに保存される。

【００５１】動き補償器１２は、動きベクトル検出器１
１から送られてくる動きベクトルｖと、図示せぬフレー
ムメモリに既に保存されている復元画像から、現在、符
号化すべきウエーブレット係数の予測を行う。動き補償
器１２によって予測されたウエーブレット係数は、予測
ウェーブレット係数として減算器４に送られ、現在符号
化すべきウエーブレット係数との差分が計算される。ま
た、予測されたウエーブレット係数は、加算器１４に送
られて、逆量子化された差分ウエーブレット係数に加算
され、ウエーブレット係数が復元される。

【００５２】可変長符号化器６は、量子化器５によって
得られた量子化された差分ウエーブレット係数及び動き
ベクトル検出器１１によって得られた動きベクトルｖに
対して可変長符号化を施し、可変長符号化信号をヘッダ
付加器７に出力する。ヘッダ付加器７は、供給された可
変長符号化信号に後述する各ヘッダを付加して、ビット
ストリームとして出力する。このビットストームは、図
示せぬ記録装置に供給され、ビデオディスク（例えば、
光、磁気若しくは光磁気ディスク）、ビデオテープ又は
半導体メモリなどの記録媒体１８に記録される。又は、
このビットストームは、図示せぬ伝送装置に供給され、
伝送路１９を介して伝送される。

【００５３】また、画像復号装置２０では、まず、ビデ
オディスク（例えば、光、磁気若しくは光磁気ディス
ク）、ビデオテープ又は半導体メモリなどの記録媒体１
８から図示せぬ再生装置によって再生されたビットスト
リームが入力端子２１に供給される。若しくは、伝送路
１９を介して伝送されたビットストリームが図示せぬ受
信装置によって受信され、その受信されたビットストリ
ームが入力端子２１に供給される。そして、この入力端
子２１に供給されたビットストリームが、逆可変長符号
化器２２に供給される。逆可変長符号化器２２は、画像
符号化装置１０で付加されたヘッダを分離すると共に、
画像符号化装置１０における可変長符号化器６の逆処理
を施し、ビットストリームから、量子化された差分ウェ
ーブレット係数及び動きベクトルｖを復元する。逆可変
長符号化器２２により得られた差分ウェーブレット係数
は、逆量子化器２３を介して加算器２４に供給され、ま
た、動きベクトルｖは、動き補償器１２に供給される。

【００５４】逆量子化器２３及び加算器２４は、画像符
号化装置１０における逆量子化器１３及び加算器１４と
同じ機能を有するものであり、逆可変長符号化器２２に
より得られた差分ウェーブレット係数に、上述した
（３）式の逆量子化処理を逆量子化器２３により施し、
加算器９１において後述する動き補償器２６からの予測
ウェーブレット係数を加算することにより、ウェーブレ
ット係数を復元する。

【００５５】そして、このようにして復元されたウェー
ブレット係数が、逆ウェーブレット変換器２５に供給さ
れる。逆ウェーブレット変換器２５は、画像符号化装置
１０のものと同じ機能を有するもので、上記画像符号化
装置１０への入力画像に対応する画像を復元して出力す
る。さらに、その復元された画像の各画素値は、予測画
像を生成するために、動き補償器２６に備えられた図示
せぬフレームメモリに保存される。

【００５６】動き補償器２６は、画像符号化装置１０の
ものと同じ機能を有するものであり、逆可変長符号化器
２２によって得られた動きベクトルｖ及びこの動き補償
器１２が備える図示せぬフレームメモリに既に保存され
ている画像を用いて、後述する予測値の算出方法によ
り、予測ウェーブレット係数を生成し、加算器２４に供
給する。そして、加算器２４は、差分ウェーブレット係
数と予測ウェーブレット係数とを加算する。

【００５７】図３に、ウエーブレット変換器３の構成を
示す。このウエーブレット変換器３は、７つのバンドに
帯域分割する２段の帯域分割処理を示している。はじめ
に、入力された画像データＩ［ｉ，ｊ］は、画像上にお
ける水平方向に対する周波数帯域分割処理を施すため
に、解析用水平ローパスフィルタ３０Ａ，３０Ｂに供給
される。これらの解析用フィルタとしては、例えば、下
記の表１に示すような係数を持つ線形フィルタを用いる
ことができる。

【００５８】

【表１】

【００５９】なお、ウエーブレット分割／合成で用いる
解析用フィルタ、及び合成用フィルタは、次の式（４）
及び式（５）の関係が完全に又は近似的に満足されるよ
うに構成されている。

【００６０】

【数４】

【００６１】

【数５】

【００６２】Ｈ₀（ｚ）、Ｈ₁（ｚ）、Ｆ₀（ｚ）及びＦ₁
（ｚ）は、それぞれ解析用ローパスフィルタ、解析用ハ
イパスフィルタ、合成用ローパスフィルタ及び合成用ハ
イパスフィルタの伝達関数であり、Ｌは任意の整数であ
る。この拘束条件によって合成された信号が、帯域分割
前の入力信号と完全にあるいは近似的に一致することが
保証される。表１に示したフィルタに対応する合成用の
フィルタの係数として、下記の表２に示されるフィルタ
係数が用いられる。

【００６３】

【表２】

【００６４】解析用水平ローパスフィルタ３０Ａより得
られた水平低周波数帯域信号Ｌ［ｉ，ｊ］及び解析用水
平ハイパスフィルタ３０Ｂにより得られた水平高周波数
帯域信号Ｈ［ｉ，ｊ］は、それぞれ対応する水平サブサ
ンプリング器３１Ａ，３１Ｂに供給され、水平サブサン
プリング器３１Ａ，３１Ｂによって次の式（６）のよう
な１サンプル毎の間引き処理が施される。

【００６５】

【数６】

【００６６】水平サブサンプリング器３１Ａ，３１Ｂに
より間引き処理が施された水平低周波数帯域信号Ｌ
［ｉ’，ｊ］及び水平高周波数帯域信号Ｈ［ｉ’，ｊ］
は供給されるメモリ３２Ａ，３２Ｂは、解析用垂直ロー
パスフィルタ３３Ａ，３３Ｃ及び解析用垂直ハイパスフ
ィルタ３４Ｂ，３４Ｄにおいて必要となるデータを確保
するための複数のラインメモリからなる記憶装置であ
り、垂直方向のフィルタリング処理に用いられるフィル
タのタップの数だけのラインメモリを備えている。例え
ば、表１に示すフィルタを用いる場合、タップ数の多い
ローパスフィルタに合わせて９本のラインメモリが設置
される。

【００６７】解析用垂直ローパスフィルタ３３Ａ，３３
Ｃ及び解析用垂直ハイパスフィルタ３４Ｂ，３４Ｄで
は、垂直方向への周波数帯域分割を行うために、メモリ
３２Ａ，３２Ｂに保存されたデータに対して、画像上に
おける垂直方向へのローパスフィルタリング処理及びハ
イパスフィルタリング処理が行われる。ここで用いるフ
ィルタは、上記水平方向へのフィルタリング処理で用い
たのと同じものを用いることもできる。

【００６８】水平低周波数帯域信号Ｌ［ｉ’，ｊ］に対
する解析用垂直ローパスフィルタ３３Ａの出力信号ＬＬ
［ｉ’，ｊ］及び解析用垂直ハイパスフィルタ３３Ｂの
出力信号ＬＨ［ｉ’，ｊ］、水平高周波数帯域信号Ｈ
［ｉ’，ｊ］に対する解析用垂直ローパスフィルタ３３
Ｃの出力信号ＨＬ［ｉ’，ｊ］及び解析用垂直ハイパス
フィルタ３３Ｄの出力信号ＨＨ［ｉ’，ｊ］は、それぞ
れ対応する垂直サブサンプル器３４Ａ，３４Ｂ，３４
Ｃ，３４Ｄに供給され、画像上における垂直方向のサブ
サンプリング処理すなわち１ライン毎の間引き処理が、
次の式（７）のように行われる。

【００６９】

【数７】

【００７０】垂直サブサンプリング処理の施された各周
波数帯域信号ＬＨ［ｉ’，ｊ’］，ＨＬ［ｉ’，
ｊ’］，ＨＨ［ｉ’，ｊ’］は、そのままウエーブレッ
ト変換器３から出力される。一方、水平方向、垂直方向
ともにローパスフィルタリング処理の施されたＬＬ
［ｉ’，ｊ’］は、２段目の解析用水平ローパスフィル
タ３５Ａ及び解析用水平ハイパスフィルタ３５Ｂへの入
力信号とされ、水平サブサンプリング器３６Ａ，３６
Ｂ、メモリ３７Ａ，３７Ｂ、解析用垂直ローパスフィル
タ３８Ａ，３８Ｃ、解析用垂直ハイパスフィルタ３８
Ｂ，３８Ｄ及び垂直サブサンプル器３９Ａ，３９Ｂ，３
４９，３９Ｄにより、上記１段目の帯域分割処理と全く
同じ処理が施されて、さらに、帯域分割のなされた信号
ＬＬＬＬ［ｉ”，ｊ”］，ＬＨＬＬ［ｉ”，ｊ”］，Ｈ
ＬＬＬ［ｉ”，ｊ”］，ＨＨＬＬ［ｉ”，ｊ”］が生成
される。

【００７１】ウエーブレット変換器３からの出力信号Ｌ
ＬＬＬ［ｉ”，ｊ”］，ＬＨＬＬ［ｉ”，ｊ”］，ＨＬ
ＬＬ［ｉ”，ｊ”］，ＨＨＬＬ［ｉ”，ｊ”］，ＬＨ
［ｉ’，ｊ’］，ＨＬ［ｉ’，ｊ’］，ＨＨ［ｉ’，
ｊ’］が、各周波数帯域に対応するウエーブレット係数
となる。

【００７２】また、図示しないが、３段目以降の帯域分
割処理は、出力信号ＬＬＬＬに対して２段目の帯域分割
処理と同一の処理が実行されることになる。

【００７３】図４に、逆ウエーブレット変換器１５の構
成を示す。ここでは、図３に示したウエーブレット変換
器３によって得られた各周波数帯域信号、すなわち、ウ
エーブレット係数ＬＬＬＬ［ｉ”，ｊ”］，ＬＨＬＬ
［ｉ”，ｊ”］，ＨＬＬＬ［ｉ”，ｊ”］，ＨＨＬＬ
［ｉ”，ｊ”］，ＬＨ［ｉ’，ｊ’］，ＨＬ［ｉ’，
ｊ’］及びＨＨ［ｉ’，ｊ’］が順次合成され、画像の
復元が行われる。

【００７４】はじめに、８つの各周波数帯域信号が受信
され、入力された周波数帯域信号の中で、２段階の帯域
分割処理が施されているウエーブレット係数ＬＬＬＬ
［ｉ”，ｊ”］，ＬＨＬＬ［ｉ”，ｊ”］，ＨＬＬＬ
［ｉ”，ｊ”］，ＨＨＬＬ［ｉ”，ｊ”］の合成が行わ
れる。これらの信号は、はじめに、それぞれ複数のライ
ンメモリからなるメモリ４０Ａ，４０Ｂ，４０Ｃ，４０
Ｄに保存され、後に続く合成用垂直ローパスフィルタ４
２Ａ，４２Ｃ及び合成用垂直ハイパスフィルタ４２Ｂ，
４２Ｄで必要とされるライン数のデータが確保される。
なお、ここで、必要なライン数は、垂直フィルタのタッ
プ数が奇数の場合には、（タップ数＋１）／２本、タッ
プ数が偶数の場合には、タップ数／２本となる。例え
ば、ローパスフィルタとして表２に示すものを用いる場
合、２本のラインメモリが合成用垂直ローパスフィルタ
４２Ａ，４２Ｃの前に設置される。ここで、メモリ４０
Ａ，４０Ｂ，４０Ｃ，４０Ｄにおいて必要となるライン
メモリの数が画像符号化装置１０側と異なるのは、後述
するように、合成用垂直ローパスフィルタ４２Ａ，４２
Ｃ及び合成用垂直ハイパスフィルタ４２Ｂ，４２Ｄによ
る補間処理の前に垂直方向のアップサンプリング処理が
なされるためである。

【００７５】すなわち、メモリ４０Ａ，４０Ｂ，４０
Ｃ，４０Ｄから読み出された信号ＬＬＬＬ［ｉ”，
ｊ”］，ＬＨＬＬ［ｉ”，ｊ”］，ＨＬＬＬ［ｉ”，
ｊ”］，ＨＨＬＬ［ｉ”，ｊ”］が、それぞれ垂直アッ
プサンプリング器４１Ａ，４１Ｂ，４１Ｃ，４１Ｄに供
給される。垂直アップサンプリング器４１Ａ，４１Ｂ，
４１Ｃ，４１Ｄでは、次の式（８）に示すように、入力
される各ライン間にすべてがゼロである１ライン分のデ
ータを挿入する処理が行われる。

【００７６】

【数８】

【００７７】垂直アップサンプリング器４１Ａ，４１
Ｂ，４１Ｃ，４１Ｄにより垂直アップサンプリング処理
の施された各周波数帯域信号は、それぞれ、合成用垂直
ローパスフィルタ４２Ａ，４２Ｃ及び合成用垂直ハイパ
スフィルタ４２Ｂ，４２Ｄによって垂直方向の補間処理
が行われ、対応する加算器４３Ａ，４３Ｂに送られる。
ここで、前述したように、これらの合成フィルタは、対
応する解析フィルタと（４）式及び（５）式の関係を満
たす必要があり、解析フィルタとして表１に示すものを
用いた場合には、表２に示すフィルタを合成フィルタと
して用いることになる。

【００７８】合成用垂直ローパスフィルタ４２Ａ，４２
Ｃ及び合成用垂直ハイパスフィルタ４２Ｂ，４２Ｄによ
り補間処理の施された周波数帯域信号ＬＬＬＬ［ｉ”，
ｊ’］，ＬＨＬＬ［ｉ”，ｊ’］，ＨＬＬＬ［ｉ”，
ｊ’］，ＨＨＬＬ［ｉ”，ｊ’］は、それぞれ加算器４
３Ａ，４３Ｂによって加算された後、水平アップサンプ
リング器４３Ａ，４３Ｂに供給され、次の式（９）のよ
うな水平方向のアップサンプリング処理が施される。

【００７９】

【数９】

【００８０】そして、合成用水平ローパスフィルタ４５
Ａ及び合成用水平ハイパスフィルタ４５Ｂは、水平アッ
プサンプリング処理の施された各信号に対して水平方向
のフィルタリング処理を施し、補間処理を行う。加算器
４６は、補間処理の施された２つの信号ＬＬＬ［ｉ’，
ｊ’］，ＨＬＬ［ｉ’，ｊ’］を加算することによっ
て、低周波数帯域信号ＬＬ［ｉ’，ｊ’］を復元する。
そして、この加算貴４６により復元された低周波数帯域
信号ＬＬ［ｉ’，ｊ’］がメモリ４７Ａに記憶される。

【００８１】次に、この復元されたＬＬ［ｉ，’ｊ’］
と、入力された周波数帯域信号ＬＨ［ｉ’，ｊ’］，Ｈ
Ｌ［ｉ’，ｊ’］，ＨＨ［ｉ’，ｊ’］が、それぞれ対
応するメモリ４７Ａ，４７Ｂ，４７Ｃ，４７Ｄから読み
出され、これらの読み出された信号に対して上記のよう
な帯域合成処理と同じ処理が施されて、画像信号Ｉ
［ｉ，ｊ］が復元される。

【００８２】すなわち、メモリ４７Ａ，４７Ｂ，４７
Ｃ，４７Ｄから読み出された信号ＬＬ［ｉ’，ｊ’］，
ＬＨ［ｉ’，ｊ’］，ＨＬ［ｉ’，ｊ’］，ＨＨ
［ｉ’，ｊ’］は、それぞれ垂直アップサンプリング器
４８Ａ，４８Ｂ，４８Ｃ，４８Ｄにより垂直アップサン
プリング処理が施され、さらに、合成用垂直ローパスフ
ィルタ４９Ａ，４９Ｃ及び合成用垂直ハイパスフィルタ
４９Ｂ，４９Ｄによって垂直方向の補間処理が施され
る。合成用垂直ローパスフィルタ４９Ａ，４９Ｃ及び合
成用垂直ハイパスフィルタ４９Ｂ，４９Ｄにより補間処
理の施された周波数帯域信号ＬＬ［ｉ’，ｊ］，ＬＨ
［ｉ’，ｊ］，ＨＬ［ｉ’，ｊ］，ＨＨ［ｉ’，ｊ］
は、それぞれ加算器５０Ａ，５０Ｂによって加算された
後、水平アップサンプリング器５１Ａ，５１Ｂに供給さ
れ、水平方向のアップサンプリング処理が施される。

【００８３】そして、合成用水平ローパスフィルタ５２
Ａ及び合成用水平ハイパスフィルタ５２Ｂは、水平アッ
プサンプリング処理の施された各信号に対して水平方向
のフィルタリング処理を施し、補間処理を行う。加算器
５３は、補間処理の施された２つの信号Ｌ［ｉ，ｊ］，
Ｈ［ｉ，ｊ］を加算することによって、画像信号Ｉ
［ｉ，ｊ］を復元する。

【００８４】また、図示しないが、画像信号が１０バン
ドの帯域に分割されているときには、入力信号ＬＬＬＬ
を形成するために、同様の合成処理が行われる。

【００８５】図５に、動き補償器１２，２６における予
測値（予測ウェーブレット係数）の算出方法を示す。
Ｉ’は、逆ウエーブレット変換器１５，２５によって既
に復元され、動き補償器１２，２６の図示せぬフレーム
メモリに保存されている画像であり、Ｗ［ｐ，ｑ］を予
測すべきウエーブレット係数とする。いま、このウエー
ブレット係数が、Ｎ段目の帯域分割において得られたも
のであるとすると、この係数が得られるまでには水平方
向、及び垂直方向に対してそれぞれにＮ回のサブサンプ
リング処理が施されていることになる。このことは、こ
のＷ［ｐ，ｑ］がもとの画像上では、次式のような位置
（ｋ，ｌ）＝（ｐ×２Ｎ，ｑ×２Ｎ）に対応するもので
あることを示しており、したがって、その予測値（予測
ウェーブレット係数）は、従来例における（１）式が示
すように、図示せぬフレームメモリ上の画像Ｉ’におけ
る、４つの位置（ｋ’，ｌ’），（ｋ’＋１，ｌ’），
（ｋ’，ｌ’＋１），（ｋ’＋１，ｌ’＋１）から計算
できることになる。ここで、ｋ’，ｌ’は、動きベクト
ル検出器１１によって得られた、位置（ｋ，ｌ）に対応
する動きベクトルｖ＝（ｖｘ（ｋ，ｌ），ｖｙ（ｋ，
ｌ））によって次の式（１０），（１１）のように表さ
れる整数の座標値である。

【００８６】

【数１０】

【００８７】

【数１１】

【００８８】ここで、（１）式と同様に、Ｔは、現在予
測を行っているウエーブレット係数に対応する画像が入
力された時刻と、フレームメモリ上にある画像Ｉ’が入
力された時刻の差であり、ｉｎｔ（ｘ）はｘを越えない
最大の整数値を表している。ただし、フレームメモリ上
のデータは画像Ｉ’の画素値であり、ウエーブレット係
数Ｗ［ｐ， ｑ］の予測を行うためには、上記４つの位
置における画素値Ｉ’［ｋ’，ｌ’］，Ｉ’［ｋ’＋
１，ｌ］，Ｉ’［ｋ’，ｌ’＋１］，Ｉ’［ｋ’＋１，
ｌ’＋１］をＷ［ｐ，ｑ］が属する周波数帯域のウエー
ブレット係数に変換する必要がある。以下に、画像Ｉ’
上の任意の位置における画素値を、所望の周波数帯域の
ウエーブレット係数に変換する方法を、図３に示したウ
エーブレット変換器１４において、２段目の分割で得ら
れるウエーブレット係数ＬＨＬＬ［ｉ”，ｊ”］の予測
を例に説明する。

【００８９】図３からもわかるように、ウエーブレット
係数ＬＨＬＬ［ｉ”，ｊ”］は、入力された画像信号に
対して、２回の水平ローパスフィルタと１回の垂直ロー
パスフィルタ、１回の垂直ハイパスフィルタを施すこと
によって算出されている。ただし、１段目では、入力画
像に対してフィルタリング処理が行われるのに対して、
２段目のフィルタリング処理は、水平方向、垂直方向と
もに１回のサブサンプリング処理が施された後に行われ
る。したがって、２段目のフィルタリング処理は、サブ
サンプリングがなされる前の画像に対して、もとのフィ
ルタ係数に（９）式のようなアップサンプリング処理を
行ったフィルタを施すことと等価になる。例えば、解析
フィルタとして表１に示すものを用いた場合、２段目で
のフィルタリング処理は、入力画像に対して、下記の表
３に示すフィルタを施すことに相当する。より一般的に
は、Ｍ 段目の分割で行われるフィルタリング処理は、
入力画像に対してもとのフィルタに（Ｍ−１）回のアッ
プサンプリング処理を行ったフィルタを施すことと等価
になる。

【００９０】

【表３】

【００９１】したがって、図示せぬフレームメモリに保
存された画像Ｉ’上の画素値をＬＨＬＬ［ｉ”，ｊ”］
の属する周波数帯域のウエーブレット係数に変換するた
めには、水平方向には、もとの解析用ローパスフィルタ
フィルタと、それをアップサンプリングしたローパスフ
ィルタを、垂直方向には、解析用ローパスフィルタと、
解析用ハイパスフィルタをアップサンプリングしたハイ
パスフィルタを施せばよい。

【００９２】ところで、次の式（１２）に示すように、
連続する２つのフィルタリング処理は、フィルタどうし
の畳込みによって得られる新たな１つのフィルタによっ
て実現できる。ここで、ｆ，ｇは任意の線形フィルタで
あり、＊はフィルタリング処理すなわち畳み込み演算を
表す。

【００９３】

【数１２】

【００９４】したがって、あらかじめ、ウエーブレット
分割に用いた解析用フィルタに対するアップサンプリン
グ処理や、それによって得られたフィルタどうしの畳み
込み演算を行い、各周波数帯域に対応する水平方向のフ
ィルタ、及び垂直方向のフィルタを生成しておくことが
できる。このように生成されたフィルタ（以後、結合解
析フィルタと呼ぶ）を用いることにより、画像Ｉ’上の
任意の位置におけるウエーブレット係数Ｗ’（ｋ’，
ｌ’）は、図６に示すような処理によって算出すること
ができる。

【００９５】すなわち、現在の注目位置（ｋ’，ｌ’）
及びその上下数ライン上で同じ水平座標ｋ’を持つ位置
において出力が得られるように、水平方向の結合解析フ
ィルタを置き、各ラインにおいて、フィルタ係数と対応
する画素値との内積演算を行い、フィルタの出力値を求
める。このとき、用いるラインの数は、垂直方向の結合
解析フィルタのタップ数と等しくなるようにし、また、
その垂直方向のフィルタをこれらのラインに対して施し
たときに、垂直座標ｌ’において出力値が得られるよう
に選ぶ。複数ラインに対する水平方向の演算後、得られ
た垂直方向のデータ列と垂直方向の結合解析フィルタの
係数の内積演算を行うことにより、位置（ｋ’，ｌ’）
におけるウエーブレット係数Ｗ’（ｋ’，ｌ’）が得ら
れることになる。同様にして、図５に示す４つの位置に
おけるウエーブレット係数Ｗ’（ｋ’，ｌ’），Ｗ’
（ｋ’＋１，ｌ’），Ｗ’（ｋ’，ｌ’＋１），Ｗ’
（ｋ’＋１，ｌ’＋１）を求め、次の式（１３）に代入
することによって、現在予測すべき係数Ｗ（ｐ，ｑ）の
予測値Ｗ”（ｐ，ｑ）が得られる。

【００９６】

【数１３】

【００９７】次に、上述したようなこの動き補償器１２
の動作について、フローチャートを用いて説明する。図
７は、動き補償器１２における予測値の求めるための動
作のフローチャートを示している。

【００９８】まず、ステップＳ１において、予測すべき
ウェーブレット係数Ｗ［ｐ，ｑ］が対応するもとの画像
上での位置（ｋ，ｌ）が、式（ｋ，ｌ）＝（ｐ×２Ｎ，
ｑ×２Ｎ）に基づいて求められる。

【００９９】次に、ステップＳ２に進み、動きベクトル
検出器１１からの動きベクトルｖ＝（ｖｘ（ｋ，ｌ），
ｖｙ（ｋ，ｌ））を用いて、もとの画像上に画像Ｉにお
ける４つの位置（ｋ，ｌ）、（ｋ＋１，ｌ），（ｋ，ｌ
＋１），（ｋ＋１，ｌ＋１）に対応する動き補償器１２
の図示せぬフレームメモリ上に記憶されている画像Ｉ’
における４つの位置（ｋ’，ｌ’），（ｋ’＋１，
ｌ’），（ｋ’，ｌ’＋１），（ｋ’＋１，ｌ’＋１）
が、順に、上述の式（１０），（１１）によって計算さ
れる。

【０１００】ステップＳ３では、動き補償器１２の図示
せぬフレームメモリ上に記憶されている画像Ｉ’におけ
る４つの位置のすべてが計算されたかどうかが判定さ
れ、もし、４つの位置のすべてが計算されていない場合
は、ステップＳ２に戻り、計算を続ける。また、もし４
つの位置のすべての計算が終了した場合には、ステップ
Ｓ４に進む。

【０１０１】ステップＳ４において、ステップＳ２で計
算された４つの位置（ｋ’，ｌ’），（ｋ’＋１，
ｌ’），（ｋ’，ｌ’＋１），（ｋ’＋１，ｌ’＋１）
における画素値Ｉ’［ｋ’，ｌ’］，Ｉ’［ｋ’＋１，
ｌ］，Ｉ’［ｋ’，ｌ’＋１］，Ｉ’［ｋ’＋１，ｌ’
＋１］及びこれらが対応するウエーブレット係数を算出
するために必要な近傍画素値がフレームメモリから読み
出され、予測すべきウェーブレット係数Ｗ［ｐ， ｑ］
が属する周波数帯域に対応する結合解析フィルタ係数を
用いて、予測すべきウェーブレット係数Ｗ［ｐ， ｑ］
が属する周波数帯域のウェーブレット係数Ｗ’（ｋ’，
ｌ’），Ｗ’（ｋ’＋１，ｌ’），Ｗ’（ｋ’，ｌ’＋
１），Ｗ’（ｋ’＋１，ｌ’＋１）に順に変換される。

【０１０２】ステップＳ５では、４つのウェーブレット
係数Ｗ’（ｋ’，ｌ’），Ｗ’（ｋ’＋１，ｌ’），
Ｗ’（ｋ’，ｌ’＋１），Ｗ’（ｋ’＋１，ｌ’＋１）
のすべてが計算されたかどうかが判定され、４つの画素
値のすべてが計算されていない場合は、ステップＳ４に
戻り、計算を続ける。また、もし４つのウェーブレット
係数のすべての計算が終了した場合には、ステップＳ６
に進む。

【０１０３】ステップＳ６において、ステップＳ４で計
算された４つのウェーブレット係数Ｗ’（ｋ’，
ｌ’），Ｗ’（ｋ’＋１，ｌ’）， Ｗ’（ｋ’，ｌ’
＋１），Ｗ’（ｋ’＋１，ｌ’＋１）を用いて、式（１
３）によって、予測すべきウェーブレット係数Ｗ（ｐ，
ｑ）の予測値Ｗ”（ｐ，ｑ）が計算される。このような
処理が、予測すべきウェーブレット係数Ｗ（ｐ，ｑ）毎
に実行される。

【０１０４】次に、本発明の画像符号化装置１０より出
力されるビットストリームのフォーマットについて、図
８乃至図１３を参照して説明する。図８乃至図１３は、
ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＩＳ
１３８１８−２ で用いられている書式で、本実施形
態のビットストリームのフォーマットを示したものであ
る。太字で示されている部分が実際に伝送されるフラグ
である。本発明における符号化画像信号は、シーケン
ス、ＧＯＰ（グループ・オブ・ピクチャ）、ピクチャ、
マクロブロック及びブロックの各層からなる階層構造を
有する。シーケンス層は、一連の同じ属性を有する画面
グループからなる。ＧＯＰ層は、ランダム・アクセスの
単位となる画面グループの最小単位となる。ピクチャ層
は、共通な属性を有する１枚の画面からなる。マクロブ
ロック層は、同一位置に存在する各周波数帯域の係数の
集まり（画素ブロックからなる。ブロック層は、変換係
数、つまり、この場合、ウェーブレット係数そのものか
らなる。各層については、後述する。

【０１０５】図１４は、ウェーブレット変換により１０
バンドに分割帯域に分割した場合のバンドを示してい
る。また、図１５は、ビットストリームの構成ためのヘ
ッダ付加器７の構成を示している。シーケンスヘッダ回
路６１においてビットストリームの先頭にシーケンスヘ
ッダが付加（伝送）される。これによりデコーダが初期
化される。その後、ＧＯＰヘッダ回路６２においてＧＯ
Ｐヘッダが付加（伝送）される。さらに、その後、ピク
チャヘッダ回路６３においてピクチャヘッダが、また、
マクロブロックヘッダ回路６４においてマクロブロック
ヘッダが付加（伝送）される。その後、そのマクロブロ
ックにおけるウェーブレット係数がビットストリームと
して伝送される。さらに、同一のピクチャに存在するマ
クロブロックの伝送が終了した後、次のピクチャの処理
に移り、同一の動作が繰り返される。また、同一のＧＯ
Ｐに存在するピクチャの処理が終了した後、次のＧＯＰ
に移り、同一の動作が実行される。

【０１０６】ここで、マクロブロックについて説明す
る。マクロブロックは、各周波数帯域の同一位置に存在
する係数から構成される。すなわち、図１４に示される
ように、例えば、ＬＬＬＬＬＬバンド、ＬＬＬＬＨＬバ
ンド、ＬＬＬＬＨＨバンド及びＬＬＬＬＬＨバンドの同
一位置に存在するそれぞれ１つのウェーブレット係数、
その上記４つの周波数帯域の係数の存在する位置に対応
する、ＬＬＨＬバンド、ＬＬＨＨバンド及びＬＬＬＨバ
ンドの同一位置に存在するそれぞれ４つのウェーブレッ
ト係数、その上記７つの周波数帯域の係数の存在する位
置に対応する、ＨＬバンド、ＨＨバンド、ＬＨバンドの
同一位置に存在するそれぞれ１６つのウェーブレット係
数を有する、合計６４個のウェーブレット係数から構成
される。つまり、これらの係数は、周波数帯域は異なる
が、もとの画像上における同一の位置に存在する画像か
ら得られたものである。各ヘッダのフォーマットについ
て、以下に説明する。

【０１０７】図８は、シーケンスヘッダのフォーマット
を示している。ｓｅｑｕｅｎｃｅ＿ｓｔａｒｔ＿ｃｏｄ
ｅは、３２ビットのコードでシーケンスヘッダの開始を
示している。このｓｅｑｕｅｎｃｅ＿ｓｔａｒｔ＿ｃｏ
ｄｅの他、各種スタートコードは、固有のビット列であ
り、このビットストリームの他の部分で発生することは
ないコードである。したがって、何らかの原因でビット
ストリームの一部が失われるなど、画像が復号できなく
なった場合、このスタートコードを見い出すことによ
り、再び復号することが可能となる。ｈｏｒｉｚｏｎｔ
ａｌ＿ｓｉｚｅ＿ｖａｌｕｅは、画像の横の画素数を１
２ビットで示しており、ｖｅｒｔｉｃａｌ＿ｓｉｚｅ＿
ｖａｌｕｅは、画像の縦の画素数を１２ビットで示して
いる。ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉ
ｏｎは、画像のアスペクト比を４ビットで示しており、
ｆｒａｍｅ＿ｒａｔｅ＿ｃｏｄｅは、画像の表示周期を
４ビットで示している。ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ
は、毎秒のビット数を１８ビットで示しており、ｍａｒ
ｋｅｒ＿ｂｉｔは、“１”という１ビットの値であり、
ｖｂｖ＿ｂｕｆｆｅｒ＿ｓｉｚｅ＿ｖａｌｕｅは、符
号発生量制御用仮想バッファの大きさを決めるパラメー
タを１０ビットで示している。

【０１０８】また、このシーケンスヘッダの中の ｗａ
ｖｅｌｅｔ＿ｌａｙｅｒ＿ｎｕｍｂｅｒは、逆ウエーブ
レット変換回路１５が幾つのレイヤ（４バンド合成帯域
合成フィルタバンクの数）で構成されているかを示す４
ビットのフラグである。また、ｗａｖｅｌｅｔ＿ｃｏｅ
ｆｆｉｃｉｅｎｔｓ（）は、逆ウエーブレット変換回路
の各レイヤのフィルタで用いられるフィルタ係数を定義
している。ここで、逆ウエーブレット変換の各フィルタ
係数を伝送するには２通りの方法がある。

【０１０９】図１３の（Ａ）は、フィルタ係数に対応す
るフラグを伝送する場合のフォーマットを示している。
つまり、各レイヤの各フィルタで持ちいるフィルタ係数
が、あらかじめ何組か定められており、そのどれを用い
るかを示すフラグを伝送する。ハイパスフィルタ及びロ
ーパスフィルタの組合せは、どちらか一方を決めること
により、決定される。このため、各レイヤに１つこのイ
ンデクスを伝送すれば十分である。図１３の（Ａ）で
は、このインデクス ｗａｖｅｌｅｔ＿ｃｏｅｆｆ＿ｉ
ｎｄｅｘは、８ビットのフラグであり、２５６通りのフ
ィルタ係数の組合せを指定することが可能である。本実
施形態では８ビットであるが、任意のビット数で良い。

【０１１０】また、もう一つの逆ウエーブレット変換係
数の伝送フォーマットを図１３の（Ｂ）に示す。これ
は、各レイヤで持ちいるフィルタ係数を直接伝送する方
法である。この場合、ローパスフィルタ及びハイパスフ
ィルタのタップ数とそのタップ数に応じたフィルタ係数
が伝送される。つまり、ローパスフィルタのタップ数
は、ｌｏｗｐａｓｓ＿ｔａｐ＿ｎｕｍｂｅｒによって８
ビットのフラグで示され、そのタップ数に応じたフィル
タ係数が、ｗａｖｅｌｅｔ＿ｃｏｅｆｆ［］で伝送され
る。また、ハイパスフィルタのタップ数は、ｈｉｇｈｐ
ａｓｓ＿ｔａｐ＿ｎｕｍｂｅｒによって８ビットのフラ
グで示され、そのタップ数に応じたフィルタ係数が、ｗ
ａｖｅｌｅｔ＿ｃｏｅｆｆ［］で伝送される。

【０１１１】また、シーケンスヘッダ内のｌｏａｄ＿ｉ
ｎｔｒａ＿ｗｅｉｇｈｔｉｎｇ＿ｍａｔｒｉｘおよびｌ
ｏａｄ＿ｎｏｎ＿ｉｎｔｒａ＿ｗｅｉｇｈｔｉｎｇ＿ｍ
ａｔｒｉｘは、イントラマクロブロック及びそれ以外の
マクロブロックで用いる重み係数をダウンロードするか
どうかを示すフラグである。ダウンロードする場合、そ
れぞれのフラグのあとに重み係数が続くことになる。こ
れは、８ビット×（ｗａｖｅｌｅｔ＿ｌａｙｅｒ＿ｎｕ
ｍｂｅｒ×３＋１）のデータサイズになる。（バンドの
数は ｗａｖｅｌｅｔ＿ｌａｙｅｒ＿ｎｕｍｂｅｒで決
定され、それは、ｗａｖｅｌｅｔ＿ｌａｙｅｒ＿ｎｕｍ
ｂｅｒ×３＋１となる。）イントラマクロブロックとそ
れ以外のマクロブロックでは用いる重み係数が異なる。

【０１１２】次に、ＧＯＰヘッダが付加（伝送）され
る。これは、ＧＯＰの先頭を示すヘッダで、主にランダ
ムアクセスのために用いられる。図９は、ＧＯＰヘッダ
を示している。ＧＯＰヘッダは、ｇｒｏｕｐ＿ｓｔａｒ
ｔ＿ｃｏｄｅは、ＧＯＰの開始を示すコードであり、３
２ビットで表現されている。ｔｉｍｅ＿ｃｏｄｅは、シ
ーケンスの先頭からの時間を２５ビットのフラグで示し
ている。ｃｌｏｓｅｄ＿ｇｏｐは、１ビットのフラグで
あり、ＧＯＰ内の画像が他のＧＯＰからの独立再生可能
なことを示している。ｂｒｏｋｅｎ＿ｌｉｎｋは、先行
するＧＯｐデータが編集のためには使用不可であること
を示している。１ビットの ＧＯＰヘッダの次には、各
ピクチャのデータの始まりを示すピクチャヘッダが付加
（伝送）される。

【０１１３】図１０は、ピクチャヘッダのフォーマット
を示している。ｎｕｍｂｅｒ＿ｏｆ＿ｍａｃｒｏｂｌｏ
ｃｋは、そのフレームに存在するマクロブロックの数を
示す１６ビットのフラグである。他のフラグとして、ｐ
ｉｃｔｕｒｅ＿ｓｔａｒｔ＿ｃｏｄｅは、ピクチャの開
始を示す３２ビットのフラグであり、ｔｅｍｐｏｒａｌ
＿ｒｅｆｅｒｅｎｃｅは、ピクチャの一貫Ｎｏ．であ
り、１０ビットのフラグである。ｐｉｃｔｕｒｅ＿ｃｏ
ｄｉｎｇ＿ｔｙｐｅは、ピクチャタイプを示す３ビット
のフラグであり、ｖｂｖ＿ｄｅｌａｙは、ランダム・ア
クセス時のバッファの初期状態を示す１６ビットのフラ
グである。また、ｆｕｌｌ＿ｐｅｌ＿ｆｏｒｗａｒｄ＿
ｖｅｃｔｏｒは、動きベクトルの精度が整数か半画素単
位かを示す１ビットのフラグであり、ｆｏｒｗａｒｄ＿
ｆ＿ｃｏｄｅは、順方向動きベクトルの記述の範囲を示
している。ｆｕｌｌ＿ｐｅｌ＿ｂａｃｋｗａｒｄ＿ｖｅ
ｃｔｏｒは、動きベクトルの精度が整数か半画素単位か
を示す１ビットのフラグであり、ｂａｃｋｗａｒｄ＿ｆ
＿ｃｏｄｅは、順方向動きベクトルの記述の範囲を示し
ている。

【０１１４】さらに、図１２の（Ａ）及び（Ｂ）は、動
きベクトルヘッダのフォーマットを示している。ｍｏｔ
ｉｏｎ＿ｖｅｃｔｏｒｓ（ｓ）は、サブルーチンｍｏｔ
ｉｏｎ＿ｖｅｃｔｏｒ（ｓ）を有しており、ｍｏｔｉｏ
ｎ＿ｈｏｒｉｚｏｎｔａｌ＿ｃｏｄｅは、マクロブロッ
クの動きベクトルの水平成分と前の動きベクトルとの差
分を可変長符号化したものを示したものであり、１から
１１ビットのいずれかのフラグである。ｍｏｔｉｏｎ＿
ｈｏｒｉｚｏｎｔａｌ＿ｒは、ｍｏｔｉｏｎ＿ｈｏｒｉ
ｚｏｎｔａｌ＿ｃｏｄｅと一緒に使用されるフラグであ
り、１から８ビットにいずれかで示される。ｄｍｖ＿ｈ
ｏｒｉｚｏｎｔａｌは、デュアル・プライム予測の場合
の水平差分ベクトルを表す可変長符号化であり、１若し
くは２ビットのいずれかのフラグである。ｍｏｔｉｏｎ
＿ｖｅｒｔｉｃａｌ＿ｃｏｄｅは、マクロブロックの動
きベクトルの垂直成分と前の動きベクトルとの差分を可
変長符号化したものを示したものであり、１から１１ビ
ットのいずれかのフラグである。ｍｏｔｉｏｎ＿ｖｅｒ
ｔｉｃａｌ＿ｒは、ｍｏｔｉｏｎ＿ｖｅｒｔｉｃａｌ＿
ｃｏｄｅと一緒に使用されるフラグであり、１から８ビ
ットにいずれかで示される。ｄｍｖ＿ｖｅｒｔｉｃａｌ
は、デュアル・プライム予測の場合の水平差分ベクトル
を表す可変長符号化であり、１若しくは２ビットのいず
れかのフラグである。

【０１１５】次に、ピクチャデータの第１の伝送方法に
ついて説明する。動き補償や量子化がマクロブロック単
位で行われる場合を考える。第１の伝送方法では、ピク
チャ中の各動きベクトルや量子化スケール及びウエーブ
レット係数をまとめて１つの単位として伝送する。つま
り、図１５に示されるように、この場合、ピクチャヘッ
ダの後にマクロブロックヘッダがマクロブロックヘッダ
回路６４により付加（伝送）され、その後、そのマクロ
ブロックに対応するウエーブレット係数がウエーブレッ
ト係数回路６５により伝送される。ピクチャ中の全ての
マクロブロックについて同様に伝送した後、次のピクチ
ャヘッダ又はＧＯＰヘッダが伝送される。図１１は、こ
の場合のマクロブロックヘッダを示している。詳細に
は、ｍａｃｒｏｂｌｏｃｋ＿ｅｓｃａｐｅは、１１ビッ
トで表されるエスケープ・コードを示しており、ｍａｃ
ｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔ
は、その前にスキップするマクロブロックの数＋１を表
す可変長符号化コード、すなわち、画像の右端からマク
ロブロックの数＋１を表すフラグであり、このフラグ
は、１から１１ビットのいずれかのフラグである。ｍａ
ｃｒｏｂｌｏｃｋ＿ｔｙｐｅは、マクロブロックの符号
化モードを表す可変長符号化コードを示しており、１か
ら９ビットのいずれかのフラグである。ｍａｃｒｏｂｌ
ｏｃｋ＿ｓｉｚｅは、マクロブロックのサイズを示す２
ビットのフラグである。ｑｕａｎｔｉｚｅｒ＿ｓｃａｌ
ｅ＿ｃｏｄｅは、量子化ステップ値を示す５ビットのフ
ラグである。ｍｃ＿ｃｏｄｅは、動きベクトルの予測方
向を示す１ビットのフラグである。ｉｎｔｒａ＿ｄｃ＿
ｓｉｚｅ＿ｌｕｍｉｎａｎｃｅは、イントラブロックの
ＬＬＬＬＬＬバンドの輝度信号のサイズを示しており、
２から９ビットのフラグであり、ｉｎｔｒａ＿ｄｃ＿ｄ
ｉｆｆｅｒｅｎｔｉａｌは、その値を示す１から１１ビ
ットのフラグである。ｉｎｔｒａ＿ｄｃ＿ｓｉｚｅ＿ｃ
ｈｒｏｍｉｎａｎｃｅはイントラブロックのＬＬＬＬＬ
Ｌバンドの色差信号のサイズを示しており、２から９ビ
ットのフラグであり、ｉｎｔｒａ＿ｄｃ＿ｄｉｆｆｅｒ
ｅｎｔｉａｌはその値を示す１から１１ビットのフラグ
である。

【０１１６】次に、ピクチャデータの第２の伝送方法に
ついて説明する。第２の伝送方法は、第１の伝送方法の
変形である。ウエーブレット係数は、各バンド単位で伝
送される。この場合のビットストリームの構成ためのヘ
ッダ付加器７の構成は、図１６に示されている。まず、
最初に最低周波成分が伝送される。図１４の場合、ＬＬ
ＬＬＬＬが伝送される。この場合、ピクチャヘッダ回路
６３によりピクチャヘッダが伝送された後、バンドヘッ
ダ回路６６において、ビットストリームの一部としてバ
ンドヘッダが付加（伝送）される。このバンドヘッダ
は、図１４のどのバンドのデータが始まるかを示すヘッ
ダであり、シンクコードが付加されている。このバンド
ヘッダの後にマクロブロックヘッダがマクロブロックヘ
ッダ回路６４により伝送され、さらに、ＬＬＬＬＬＬバ
ンドの対応する係数がウエーブレット係数回路６５から
伝送される。その後、次に伝送されるバンドヘッダが伝
送され、同一の動作が繰り返される。すべてのバンドが
処理された後、次のピクチャ若しくはＧＯＰヘッダの伝
送処理に移る。

【０１１７】図１７は、伝送されるバンドの順を示して
いる。次のバンドではバンドヘッダが伝送された後、Ｌ
ＬＬＬＬＬと同様の順番でウエーブレット係数が伝送さ
れる。このときマクロブロックヘッダは伝送されない。
つまり、上述したように、マクロブロックは、各バンド
のウェーブレット係数から構成されているため、ＬＬＬ
ＬＬＬのバンドの係数を伝送するときに、マクロブロッ
クヘッダを既に付加（伝送）しているためである。全て
のバンドについて同様に伝送された後、次のピクチャヘ
ッダ又はＧＯＰヘッダが伝送される。このバンドヘッダ
のフォーマットは、図１８に示されており、また、この
場合のマクロブロックヘッダのヘッダは、図１９に示さ
れている。図１８に示されるように、ｂａｎｄ＿ｓｔａ
ｒｔ＿ｃｏｄｅ及びｂａｎｄ＿ｉｄのフラグを有する。
ｂａｎｄ＿ｓｔａｒｔ＿ｃｏｄｅは、バンドの開始を示
す３２ビットのフラグであり、ｂａｎｄ＿ｉｄは、その
バンドを示す６ビットのフラグである。

【０１１８】次に、ピクチャデータの第３の伝送方法に
ついて説明する。第３の伝送方法は、第１の伝送方法の
変形である。ウエーブレット係数は、図２０に示すよう
なツリー状に構成することができる。つまり、ＬＬＬＬ
ＨＬバンド、ＬＬＨＬバンド及びＨＬバンドを１つのツ
リー（ツリー１）として構成し、ＬＬＬＬＨＨバンド、
ＬＬＨＨバンド及びＨＨバンドを１つのツリー（ツリー
２）として構成し、さらに、ＬＬＬＬＬＨバンド、ＬＬ
ＬＨバンド及びＬＨバンドを１つのツリー（ツリー３）
として構成する。第３の伝送方法は、このツリー単位で
データを伝送する。この場合のビットストリームを形成
するためのヘッダ付加器７構成は、図２１に示される。
まず、最初に、ツリー０（ＬＬＬＬＬＬバンド）が伝送
される。つまり、ピクチャヘッダ回路６３によりピクチ
ャヘッダが伝送された後、ツリーヘッダ回路６７により
ツリーヘッダが伝送される。このツリーヘッダは、どの
ツリーのデータが始まるかを示すヘッダであり、シンク
コードが付加されている。このツリーヘッダの後に、マ
クロブロックヘッダがマクロブロックヘッダ回路６４に
より伝送され、さらに、ツリー０の対応するウェーブレ
ット係数がウェーブレット係数回路７５により伝送され
る。

【０１１９】伝送されるツリーの順は、図２０のツリー
０、ツリー１、ツリー２、ツリー３の順である。次のツ
リーではツリーヘッダが伝送された後、ツリー０と同様
の順番でウエーブレット係数が伝送される。このとき、
第２の伝送方法と同様に、マクロブロックヘッダは伝送
されない。つまり、上述したように、マクロブロック
は、各バンドのウェーブレット係数から構成されている
ため、ＬＬＬＬＬＬのバンドの係数を伝送するときに、
マクロブロックヘッダを既に付加（伝送）しているため
である。全てのツリーについて同様に伝送された後、次
のピクチャヘッダ又はＧＯＰヘッダが伝送される。図２
２及び下記の表４は、ツリーヘッダを示している。つま
り、ｔｒｅｅ＿ｓｔａｒｔ＿ｃｏｄｅは、ツリーの開始
を示す３２ビットのフラグであり、ｔｒｅｅ＿ｉｄは、
そのツリーを示す２ビットのフラグである。

【０１２０】

【表４】

【０１２１】上記第２及び第３の伝送方法においては、
あるバンド単位及びツリー単位でシンクコード、すなわ
ち、バンドヘッダ及びツリーヘッダが付加されている。
したがって、あるバンドやツリーがエラーなどにより、
復号不能になっても、別のバンドのデータ若しくは別の
ツリーが復号でき致命的な画質の劣化を避けることが可
能である。したがって、第２及び第３の伝送方法は、エ
ラーに強い伝送方法である。上記伝送方法は、ウエーブ
レット変換を用いた符号化方式に適用可能である。

【０１２２】次に、本発明による第２の実施形態の構成
について説明する。第２の実施形態の構成は、図１に示
した第１の実施形態のものと同じであるが、用いる動き
補償器の構成が異なる。図２３に第２の実施形態におけ
る動き補償器の構成を示す。

【０１２３】フレームメモリ７１は、第１の実施形態に
おける図示せぬフレームメモリに対応するものであり、
逆ウエーブレット変換によって復元された画像Ｉ’を保
存する。結合解析フィルタ７２Ａ〜７２Ｇは、各周波数
帯域に対応した結合解析フィルタであり、フレームメモ
リ７１上にある復元画像Ｉ’全体に対して、第１の実施
形態で述べた各周波数帯域に対応する水平、及び垂直方
向の結合解析フィルタ処理を施し、得られたウエーブレ
ット係数をフレームメモリ群７３の中の、対応するフレ
ームメモリに保存する。

【０１２４】予測値算出器７４は、すべての周波数帯域
に対応するウエーブレット係数がフレームメモリ群７３
に準備された後、現在符号化すべき画像に対するすべて
のウエーブレット係数の予測を開始する。この予測処理
は、フレームメモリ群７３の中で、予測すべき係数Ｗ
（ｐ，ｑ）が属する周波数帯域に対応するフレームメモ
リ上のデータを参照し、（１３）式に代入することで実
現できる。この予測値算出器３６の動作について、フロ
ーチャートを用いて説明する。

【０１２５】図２４は、予測値算出器７４の動作を説明
するためのフローチャートである。まず、ステップＳ１
１において、フレームメモリ７１に記憶された画像Ｉ’
に対して、すべての周波数帯域に対応するウエーブレッ
ト係数がフレームメモリ群７３に準備されたどうかを判
定する。もし、すべての周波数帯域に対応するウエーブ
レット係数がフレームメモリ群７３に準備されていない
場合は、準備されるまで待機する。もし、すべての周波
数帯域に対応するウエーブレット係数がフレームメモリ
群７３に準備されたと判定された場合は、ステップＳ１
２に進む。ステップＳ１２において、予測すべきウェー
ブレット係数Ｗ［ｐ，ｑ］が対応するもとの画像上での
位置（ｋ，ｌ）が、式（ｋ，ｌ）＝（ｐ×２Ｎ，ｑ×２
Ｎ）に基づいて求められる。

【０１２６】次に、ステップＳ１３に進み、動きベクト
ル検出器１１からの動きベクトルｖ＝（ｖｘ（ｋ，
ｌ），ｖｙ（ｋ，ｌ））を用いて、もとの画像上に画像
Ｉにおける４つの位置（ｋ，ｌ）、（ｋ＋１，ｌ），
（ｋ，ｌ＋１），（ｋ＋１，ｌ＋１）に対応する動き補
償器１２の図示せぬフレームメモリ上に記憶されている
画像Ｉ’における４つの位置（ｋ’，ｌ’），（ｋ’＋
１，ｌ’），（ｋ’，ｌ’＋１），（ｋ’＋１，ｌ’＋
１）が、順に、上述の式（１０），（１１）によって計
算される。

【０１２７】ステップＳ１４では、動き補償器１２の図
示せぬフレームメモリ上に記憶されている画像Ｉ’にお
ける４つの位置のすべてが計算されたかどうかが判定さ
れ、もし、４つの位置のすべてが計算されていない場合
は、ステップＳ１３に戻り、計算を続ける。また、もし
４つの位置のすべての計算が終了した場合には、ステッ
プＳ１５に進む。ステップＳ１５では、予測すべきウエ
ーブレット係数Ｗ（ｐ，ｑ）が属する周波数帯域に対応
するフレームメモリ上のデータを参照し、ステップＳ１
３において計算された４つの位置に対応するウェーブレ
ット係数を読み出す。そして、ステップＳ１６におい
て、その読み出された４つの値をその（１３）式に代入
することにより、予測すべきウェーブレット係数Ｗ
（ｐ，ｑ）の予測値Ｗ”（ｐ，ｑ）が計算される。

【０１２８】したがって、本発明における第２の実施形
態では、ウエーブレット分割によって得られる周波数帯
域の数だけのフレームメモリを必要とするが、復元画像
をウエーブレット係数に変換する処理を１度に行うた
め、第１の実施形態のようなフィルタリング演算の重複
が生じない。

【０１２９】次に、本発明による第３の実施形態の構成
について説明する。図２５に、本発明における第３の実
施形態の構成を示す。第３の実施形態の構成は、図１に
示した第１の実施形態とほぼ同じであるが、画像符号化
装置１０側のウエーブレット変換器３の後ろ、及び逆ウ
エーブレット変換器１５の前にそれぞれ第２のフレーム
メモリ８、第３のフレームメモリ１６を備えている。第
２のフレームメモリ８は、ウエーブレット変換の施され
たウエーブレット係数を１画像分保存し、分割された各
周波数帯域ごとに順次出力する。また、第３のフレーム
メモリ１６は、各周波数帯域毎に順次供給された逆量子
化されたウエーブレット係数を１画面分保存し、各係数
を第２のフレームメモリ８への入力と同じ順序になるよ
うに並べ変えて出力する。これに対応して、画像復号装
置２０側でも、逆ウエーブレット変換器２２５の前にフ
レームメモリ２８が設置されている。

【０１３０】また、動き補償器１７，２９では、各周波
数帯域ごとに予測処理を行う。図２６に、第３の実施形
態の動き補償器１７，２９の構成を示す。

【０１３１】フレームメモリ８１は、第１の実施形態に
おける図示せぬフレームメモリに対応するものであり、
逆ウエーブレット変換によって復元された画像Ｉ’を保
存する。また、結合解析フィルタ８２は、予測値算出器
８４より送られてくるコントロール信号ｃｎｔｒｌに応
じた結合解析フィルタ係数を用いて、フレームメモリ８
１上の画像Ｉ’全体にフィルタリング処理を施し、得ら
れたウエーブレット係数をフレームメモリ８３に保存す
る。予測値算出器８４では、各周波数帯域ごとに予測処
理を行うが、各周波数帯域の予測処理を始める前に、結
合解析フィルタ８２にｃｎｔｒｌ信号を送り、これから
予測処理を行う周波数帯域を知らせ、それに対応する結
合解析フィルタ係数を用いたフィルタリング処理を行わ
せる。フレームメモリ８３に所望の周波数帯域のウエー
ブレット係数が１画像分準備された時点で、予測処理を
開始する。この予測値算出器８４の動作について、フロ
ーチャートを用いて説明する。

【０１３２】図２７は、予測値算出器８４の動作を説明
するためのフローチャートである。まず、ステップＳ２
１において、予測すべきウエーブレット係数Ｗ（ｐ，
ｑ）が属する周波数帯域に対応するコントロール信号ｃ
ｎｔｒｌを結合解析フィルタ８２に供給する。これによ
り、結合解析フィルタ８２は、コントロール信号に対応
する結合解析フィルタ係数を用いたフィルタリング処理
をフレームメモリ８１から供給される画像Ｉ’に対して
実行する。次に、ステップＳ２２に進み、結合解析フィ
ルタ８２によって処理されたウエーブレット係数がフレ
ームメモリ８３に準備されたどうかを判定する。もし、
要求した周波数帯域に対応するウエーブレット係数がフ
レームメモリ８３に準備されていない場合は、準備され
るまで待機する。もし、要求した周波数帯域に対応する
ウエーブレット係数がフレームメモリ８３に準備された
と判定された場合は、ステップＳ２３に進む。

【０１３３】ステップＳ２３では、予測すべきウェーブ
レット係数Ｗ［ｐ，ｑ］が対応するもとの画像上での位
置（ｋ，ｌ）が、式（ｋ，ｌ）＝（ｐ×２Ｎ，ｑ×２
Ｎ）に基づいて求められる。次に、ステップＳ２４に進
み、動きベクトル検出器１１からの動きベクトルｖ＝
（ｖｘ（ｋ，ｌ），ｖｙ（ｋ，ｌ））を用いて、もとの
画像上に画像Ｉにおける４つの位置（ｋ，ｌ）、（ｋ＋
１，ｌ），（ｋ，ｌ＋１），（ｋ＋１，ｌ＋１）に対応
する動き補償器１２の図示せぬフレームメモリ上に記憶
されている画像Ｉ’における４つの位置（ｋ’，
ｌ’），（ｋ’＋１，ｌ’），（ｋ’，ｌ’＋１），
（ｋ’＋１，ｌ’＋１）が、順に、上述の式（１０），
（１１）によって計算される。

【０１３４】ステップＳ２５では、動き補償器１２の図
示せぬフレームメモリ上に記憶されている画像Ｉ’にお
ける４つの位置のすべてが計算されたかどうかが判定さ
れ、もし、４つの位置のすべてが計算されていない場合
は、ステップＳ２４に戻り、計算を続ける。また、もし
４つの位置のすべての計算が終了した場合には、ステッ
プＳ２５に進む。

【０１３５】ステップＳ２６では、フレームメモリ４５
上のデータを参照し、ステップＳ２３において計算され
た４つの位置に対応するウェーブレット係数を読み出
す。そして、ステップＳ２７において、その読み出され
た４つの値をその（１３）式に代入することにより、予
測すべきウェーブレット係数Ｗ（ｐ，ｑ）の予測値Ｗ”
（ｐ，ｑ）が計算される。

【０１３６】したがって、本発明における第３の実施形
態では、ウエーブレット係数の並べ換えを行うフレーム
メモリ８１，８３が必要となるが、第１の実施形態のよ
うなフィルタリング演算の重複は生じない。また、動き
補償器におけるウエーブレット係数を保存するためのフ
レームメモリは１画像分でよい。

【０１３７】なお、上述の実施形態では、ウエーブレッ
ト変換において、１段目で得られたＬＬの信号のみに対
して、さらにもう１段の分割を行っているが、対応する
分割／合成において、（４）式，（５）式を満たすフィ
ルタ対を用いる限り、分割／合成を施す帯域、分割の回
数は任意であり、どのような仕方に対しても本発明は適
用され得る。

【０１３８】また、上記実施形態では、１段目と２段目
の分割／合成において同じフィルタ対を用いているが、
各段において異なるフィルタ対を用いることもできる。
さらに、水平方向と垂直方向の分割を異なるフィルタ対
で行うことも可能である。

【０１３９】また、本発明は、動き補償に関するもので
あり、動きを検出する方式は、どのようなものも用いる
ことができる。

【０１４０】また、従来の動き補償方式において、現在
予測すべき画像に対して、過去、及び未来の画像を用い
て、前方予測、及び後方予測を行うものがあるが、本発
明においても同様に、両方向の予測を行うようにするこ
とができる。

【０１４１】また、上記実施形態では、ウエーブレット
フィルタを用いた構成になっているが、サブバンドフィ
ルタを用いても全く同様な処理を行うことができる。

【０１４２】さらに、本実施形態において、本発明をブ
ロック図によって説明したが、本発明はこれに限らず、
本発明をソフトウェアとして表現し、ＣＰＵなどによっ
て処理するようにしてもよい。

【０１４３】

【発明の効果】以上説明したように、本発明によれば、
ブロック境界上に現れるエッジ状の劣化が、ウエーブレ
ット逆変換、又はサブバンド逆変換によって緩和され、
復号化画像に与える影響を抑えることができる画像符号
化装置、画像復号装置、画像符号化方法、画像復号方
法、画像伝送方法及び符号化された画像データが記録さ
れている記録媒体を提供すること画できる。

【０１４４】また、本発明によれば、サブバンド（ウエ
ーブレット）の各バンドにシンクコードを付加すること
により、あるバンドのデータが失われた場合においても
復号画像上で致命的な劣化を避けることができる。

【０１４５】なお、本発明の主旨を逸脱しない範囲にお
いて、さまざまな変形や応用例が考えうる。したがっ
て、本発明の要旨は、実施形態に限定されるものではな
い。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の画像符号化装置及び
画像復号装置の構成を示すブロック図である。

【図２】画像の走査方向の説明に供する略線図である。

【図３】ウエーブレット変換器の構成を示すブロック図
である。

【図４】逆ウエーブレット変換器の構成を示すブロック
図である。

【図５】動き補償器における予測値算出の方法の説明に
供する略線図である。

【図６】予測値算出のための内積演算の方法の説明に供
する略線図である。

【図７】第１の実施形態における画像符号化装置の動き
補償器の動作を示すフローチャートである。

【図８】ビットストリームのシーケンスヘッダのフォー
マットを示す図である。

【図９】ビットストリームのＧＯＰヘッダのフォーマッ
トを示す図である。

【図１０】ビットストリームのピクチャヘッダのフォー
マットを示す図である。

【図１１】ビットストリームのマクロブロックヘッダの
フォーマットを示す図である。

【図１２】ビットストリームの動きベクトルヘッダのフ
ォーマットを示す図である。

【図１３】逆ウェーブレット変換の各係数を示す図であ
る。

【図１４】ウェーブレット変換による１０バンドに帯域
分割されたバンドを示す略線図である。

【図１５】本発明の第１の伝送方法によるビットストリ
ームを構成するヘッダ付加器の構成を示すブロック図で
ある。

【図１６】本発明の第２の伝送方法によるビットストリ
ームを構成するヘッダ付加器の構成を示すブロック図で
ある。

【図１７】伝送されるバンドの順を示す略線図である。

【図１８】本発明の第２の伝送方法によるバンドヘッダ
のフォーマットを示す図である。

【図１９】本発明の第２の伝送方法によるマクロヘッダ
のフォーマットを示す図である。

【図２０】ツリー状に構成されたウェーブレット係数を
示す略線図である。

【図２１】本発明の第３の伝送方法によるビットストリ
ームを構成するヘッダ付加器の構成を示すブロック図で
ある。

【図２２】本発明の第３の伝送方法によるツリーヘッダ
のフォーマットを示す図である。

【図２３】本発明の第２の実施形態による動き補償器の
構成を示すブロック図である。

【図２４】第２の実施形態における画像符号化装置の動
き補償器の動作を示すフローチャートである。

【図２５】本発明の第３の実施形態の画像符号化装置及
び画像復号装置の構成を示すブロック図である。

【図２６】本発明の第３の実施形態による動き補償器の
構成を示すブロック図である。

【図２７】第３の実施形態における画像符号化装置の動
き補償器の動作を示すフローチャートである。

【図２８】従来の画像符号化装置及び画像復号装置の構
成を示すブロック図である。

【符号の説明】

２，８，１６ フレームメモリ、３ ウエーブレット変
換器、４ 減算器、５量子化器、６ 可変長符号化器、
７ ヘッダ付加器、１０ 画像符号化装置、１１ 動き
ベクトル検出器、１２，１７ 動き補償器、１３ 逆量
子化器、１４加算器、１５ 逆ウエーブレット変換器、
２０ 画像復号装置、２２ 可変長符号化器、２３ 逆
量子化器、２４ 加算器、２５ 逆ウエーブレット変換
器、２６，２９ 動き補償器、２８ フレームメモリ

Claims (15)

【特許請求の範囲】
1. 【請求項１】 サブバンドフィルタを用いた画像信号の
   画像符号化装置において、 入力された画像信号から動きベクトルを検出する動きベ
   クトル検出手段と、 入力された画像に対してサブバンド変換による周波数帯
   域分割処理を施し、サブバンド係数を生成するサブバン
   ド変換手段と、 上記サブバンド係数の差分を符号化し、符号化信号を生
   成する符号化手段と、 上記符号化信号を復号し、復号されたサブバンド係数の
   差分を生成する復号手段と、 上記動きベクトルと既に復元されている復元画像から上
   記サブバンド係数を予測するための予測サブバンド係数
   を生成する動き補償手段と、 上記復号されたサブバンド係数の差分に上記予測サブバ
   ンド係数を加算し、復元されたサブバンド係数を生成す
   る加算手段と、上記復元されたサブバンド係数に対して
   逆サブバンド変換を施し、画像を復元する逆サブバンド
   変換手段と、 上記サブバンド係数と上記予測サブバンド係数との差分
   を算出する係数差分算出手段とを有することを特徴とす
   る画像符号化装置。
2. 【請求項２】 上記サブバンド変換手段は、ウェーブレ
   ット係数を生成することを特徴とする請求項１記載の画
   像符号化装置。
3. 【請求項３】 上記動き補償手段は、復元された画像に
   対して、予測すべきウエーブレット係数が属する周波数
   帯域に対応するようにフィルタリング処理を行い、その
   出力から予測値を求めるようになされていることを特徴
   とする請求項１記載の画像符号化装置。
4. 【請求項４】 サブバンドフィルタを用いた画像信号の
   画像復号装置において、 動きベクトル及び符号化されたサブバンド係数の差分値
   を少なくとも含む画像信号を受信する受信手段と、 上記動きベクトルと上記符号化されたサブバンド係数の
   差分値を分離する分離手段と、 上記符号化されたサブバンド係数の差分値を復号し、復
   号されたサブバンド係数の差分値を生成する復号手段
   と、 上記動きベクトルと復元された画像からサブバンド係数
   を予測するための予測サブバンド係数を生成する動き補
   償手段と、 上記復号されたサブバンド係数の差分値と上記動き補償
   手段によって得られた予測ウエーブレット係数とを加算
   する係数加算手段と、 上記係数加算手段からのサブバンド係数に対して逆サブ
   バンド変換を施し、画像を復元する逆サブバンド変換手
   段とを有することを特徴とする画像復号装置。
5. 【請求項５】 上記サブバンド係数は、ウェーブレット
   係数であることを特徴とする請求項４記載の画像復号装
   置。
6. 【請求項６】 上記動き補償手段は、復元された画像に
   対して予測すべきサブバンド係数が属する周波数帯域に
   対応するようにフィルタリング処理を行い、その出力か
   ら予測値を求めるようになされていることを特徴とする
   請求項４記載の画像復号装置。
7. 【請求項７】 サブバンドフィルタを用いた画像信号の
   画像符号化方法において、 入力された画像信号から動きベクトルを検出するステッ
   プと、 入力された画像に対してサブバンド変換による周波数帯
   域分割処理を施し、サブバンド係数を生成するステップ
   と、 上記サブバンド係数の差分を符号化し、符号化信号を生
   成するステップと、 上記符号化信号を復号し、復号されたサブバンド係数の
   差分を生成するステップと、 上記動きベクトルと既に復元されている復元画像から上
   記サブバンド係数を予測するための予測サブバンド係数
   を生成するステップと、 上記復号されたサブバンド係数の差分に上記予測サブバ
   ンド係数を加算し、復元されたサブバンド係数を生成す
   るステップと、 上記復元されたサブバンド係数に対して逆サブバンド変
   換を施し、画像を復元するステップと、 上記サブバンド係数と上記予測サブバンド係数との差分
   を算出するステップとを有することを特徴とする画像符
   号化方法。
8. 【請求項８】 上記サブバンド係数は、ウェーブレット
   係数であることを特徴とする請求項７記載の画像符号化
   方法。
9. 【請求項９】 上記予測サブバンド係数を生成するステ
   ップは、復元された画像に対して、予測すべきサブバン
   ド係数が属する周波数帯域に対応するようにフィルタリ
   ング処理を行い、その出力から予測値を求めるようにな
   されていることを特徴とする請求項７記載の画像符号化
   方法。
10. 【請求項１０】 サブバンドフィルタを用いた画像信号
    の画像復号方法において、 動きベクトル及び符号化されたサブバンド係数の差分値
    を少なくとも含む画像信号を受信するステップと、 上記動きベクトルと上記符号化されたサブバンド係数の
    差分値を分離するステップと、 上記符号化されたサブバンド係数の差分値を復号し、復
    号されたサブバンド係数の差分値を生成するステップ
    と、 上記動きベクトルと復元された画像からサブバンド係数
    を予測するための予測サブバンド係数を生成するステッ
    プと、 上記復号されたサブバンド係数の差分値と上記生成され
    た予測サブバンド係数とを加算するステップと、 上記加算されたサブバンド係数に対して逆サブバンド変
    換を施し、画像を復元するステップとからなることを特
    徴とする画像復号方法。
11. 【請求項１１】 上記サブバンド係数は、ウェーブレッ
    ト係数であることを特徴とする請求項１０記載の画像復
    号方法。
12. 【請求項１２】 上記予測サブバンド係数を生成するス
    テップは、復元された画像に対して、予測すべきサブバ
    ンド係数が属する周波数帯域に対応するようにフィルタ
    リング処理を行い、その出力から予測値を求めるように
    なされていることを特徴とする請求項１０記載の画像復
    号方法。
13. 【請求項１３】 サブバンドフィルタを用いた画像信号
    の画像伝送方法において、 入力された画像信号から動きベクトルを検出し、 入力された画像に対してサブバンド変換による周波数帯
    域分割処理を施してサブバンド係数を生成し、 上記サブバンド係数の差分を符号化して符号化信号を生
    成し、 上記符号化信号を復号して復号されたサブバンド係数の
    差分を生成し、 上記動きベクトルと既に復元されている復元画像から上
    記サブバンド係数を予測するための予測サブバンド係数
    を生成し、 上記復号されたサブバンド係数の差分に上記予測サブバ
    ンド係数を加算して復元されたサブバンド係数を生成
    し、 上記復元されたサブバンド係数に対して逆サブバンド変
    換を施して画像を復元し、 上記サブバンド係数と上記予測サブバンド係数との差分
    を算出し、 上記動きベクトルと上記差分サブバンド係数からなるビ
    ットストリームを伝送するようにしたことを特徴とする
    画像伝送方法。
14. 【請求項１４】 上記ビットストリームは、ヘッダを有
    しており、 上記ヘッダは、サブバンド係数の各バンド毎に付加され
    ていることを特徴とする請求項１３記載の画像伝送方
    法。
15. 【請求項１５】 復号装置により復号可能な記録信号が
    記録された記録媒体において、 上記記録信号は、入力された画像信号から検出された動
    きベクトルと、入力された画像に対してサブバンド変換
    による周波数帯域分割処理を施すことにより得られたサ
    ブバンド係数と、予測サブバンド係数との差分サブバン
    ド係数とを含んでおり、 上記予測サブバンド係数は、上記動きベクトルと既に復
    元されている復元画像から生成され、 上記復元画像は、上記サブバンド係数の差分を符号化す
    ることにより得られた符号化信号を符号化信号を復号す
    ることにより、その復号されたサブバンド係数の差分を
    生成し、上記復号されたサブバンド係数の差分に上記予
    測サブバンド係数を加算することにより得られた復元さ
    れたサブバンド係数に対して逆サブバンド変換を施すこ
    とにより復元されるようになされていることを特徴とす
    る記録媒体。