JP4356032B2 - 情報処理装置および方法 - Google Patents

Description

本発明は、情報処理装置および方法に関し、特に、復号処理およびウェーブレット逆変換処理による遅延時間をより低減させることができるようにした情報処理装置および方法に関する。

従来の代表的な画像圧縮方式として、ISO（International Standards Organization）によって標準化されたJPEG(Joint Photographic Experts Group)やJPEG２０００がある。これは離散コサイン変換(Discrete Cosine Transform ; DCT)を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像および復号画像を供することが知られている。

近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCT変換で問題になる高圧縮でのブロック歪みが無いことから、DCTに代わる新たな技術として有力視されている。

２００１年１月に国際標準化が完了したJPEG２０００は、このウェーブレット変換に高能率な符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、JPEGに比べて符号化効率の大きな改善を実現している。

ウェーブレット変換処理（例えば特許文献１参照）は基本的に画像データを入力して、水平方向のフィルタリングと垂直方向のフィルタリングを行いながら、低域成分を階層的に分割する手段を用いる。

このウェーブレット変換処理により画像データが変換された係数データ（周波数成分）を、元の画像データに変換するウェーブレット逆変換処理は、最上位の分割レベルから最下位の分割レベルまで高域成分と低域成分を合成フィルタ処理しながら、最終的に画像を復元する処理を行う。

このようなウェーブレット変換・ウェーブレット逆変換を利用した符号化システムは、例えばTV会議システムやビデオゲームシステム等のように、画像データの伝送を行うシステムに利用されることが多い。つまり、送信側において、画像データがウェーブレット変換され、得られた係数データが符号化されて符号化データとして受信側に伝送される。受信側においては、取得した符号化データが復号されて、得られた係数データがウェーブレット逆変換されて元の画像データが復元される。このような処理の流れが一般的である。

特開平１０−２８３３４２号公報

しかしながら、上述したような、例えばTV会議システムやビデオゲームシステム等のような画像伝送システムにおいては、画像データの伝送を低遅延で行うことが望ましい場合が多い。

従って、受信側において行われる復号処理およびウェーブレット逆変換処理による遅延時間のさらなる低減も求められる。

本発明は、このような従来の実情に鑑みて提案されたものであり、復号処理およびウェーブレット逆変換処理の遅延時間をより低減させることができるようにするものである。

本発明の一側面は、符号化データを復号する復号手段と、分析フィルタ処理により階層的に複数の周波数帯域に分割された画像データの、互いに同じ階層の周波数帯域を合成する合成手段と、前記画像データが前記分析フィルタ処理されて得られた周波数成分であって、前記画像データの処理対象の２ラインを生成するために必要な、前記合成手段による合成が行われていない周波数成分のうち最も上位の階層の周波数成分を特定する特定処理を実行する周波数成分特定手段と、前記特定処理により特定された前記周波数成分に対応する符号化データを復号させ、前記周波数成分を得る復号処理を実行させる復号制御手段と、前記復号処理により得られた前記周波数成分を合成する合成フィルタ処理を実行させる合成フィルタ処理制御手段と、前記処理対象の２ラインが得られるまで前記特定処理、前記復号処理、および前記合成フィルタ処理を繰り返し実行させる第１の繰り返し制御手段とを備える情報処理装置である。

前記合成フィルタ処理の実行後、不要な周波数成分を削除する削除手段をさらに備えることができる。

前記画像データの復元されていないラインのうち、最も上に位置する２ラインを処理対象として特定するライン特定手段と、前記ライン特定手段により特定された前記処理対象の２ラインについて、前記第１の繰り返し制御手段の制御により、前記特定処理、前記復号処理、および前記合成フィルタ処理が繰り返し行われ、前記処理対象の２ラインが得られると、前記画像データの画像の全ラインが得られるまで新たな前記処理対象の２ラインを特定させる第２の繰り返し制御手段とをさらに備えることができる。

前記合成手段は、前記周波数帯域の合成をリフティング演算によって行うことができる。

前記合成手段は、垂直方向および水平方向に前記周波数帯域の合成を行うことができる。

本発明の一側面はまた、情報処理装置の情報処理方法であって、画像データが分析フィルタ処理により階層的に複数の周波数帯域に分割されて得られた周波数成分であって、前記画像データの処理対象の２ラインを生成するために必要な、互いに同じ階層の周波数帯域の合成が行われていない周波数成分のうち最も上位の階層の周波数成分を特定する特定処理を実行し、前記特定処理により特定された前記周波数成分に対応する符号化データを復号して前記周波数成分を生成する復号処理を実行し、前記復号処理により得られた前記周波数成分を合成する合成フィルタ処理を実行し、前記処理対象の２ラインが得られるまで前記特定処理、前記復号処理、および前記合成フィルタ処理を繰り返すステップを含む情報処理方法である。

本発明の一側面においては、画像データが分析フィルタ処理により階層的に複数の周波数帯域に分割されて得られた周波数成分であって、画像データの処理対象の２ラインを生成するために必要な、互いに同じ階層の周波数帯域の合成が行われていない周波数成分のうち最も上位の階層の周波数成分を特定する特定処理が実行され、特定処理により特定された周波数成分に対応する符号化データが復号されて周波数成分を生成する復号処理が実行され、復号処理により得られた周波数成分を合成する合成フィルタ処理が実行され、処理対象の２ラインが得られるまで特定処理、復号処理、および合成フィルタ処理が繰り返される。

本発明によれば、復号処理およびウェーブレット逆変換処理を行うことができる。特に、復号処理およびウェーブレット逆変換処理の遅延時間をより低減させることができる。

以下、本発明の実施の形態について説明する。まず、符号化側の構成および動作について説明する。

図１は、ソフトウェアプログラムにより構成され、画像データを符号化するソフトウェアエンコーダが有する機能を模式的に示した機能ブロック図である。図１に示される符号化部１０は、ソフトウェアエンコーダであり、プログラムがCPU（Central Processing Unit）により実行されることにより、ウェーブレット変換部１１、途中計算用バッファ部１２、係数並び替え用バッファ部１３、係数並び替え部１４、およびエントロピ符号化部１５の機能を有する。

符号化部１０に入力された画像データは、ウェーブレット変換部１１を介して途中計算用バッファ部１２に一時的に溜め込まれる。ウェーブレット変換部１１は、途中計算用バッファ部１２に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部１１は、途中計算用バッファ部１２から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部１２に格納する。ウェーブレット変換部１１は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部１１は、途中計算用バッファ部１２に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部１２に格納される。

ウェーブレット変換部１１は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部１２から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部１３に書き込む。

係数並び替え部１４は、係数並び替え用バッファ部１３に書き込まれた係数データを所定の順序で読み出し、エントロピ符号化部１５に供給する。エントロピ符号化部１５は、供給された係数データを、所定の方法で量子化し、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部１５は、生成した符号化データを符号化部１０の外部に出力する。

次に、図１のウェーブレット変換部１１で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図２に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。

分析フィルタには、画像データに対して画面水平方向に分析フィルタ処理を行う水平分析フィルタと、画面垂直方向に分析フィルタ処理を行う垂直分析フィルタとがあり、各方向に対して１回ずつ分析フィルタ処理が行われることにより、画像データは４つの帯域（サブバンド）に分割される。ウェーブレット変換部１１は、分析フィルタ処理結果の、水平方向および垂直方向のいずれにおいても空間周波数の低い帯域に対して、上述した水平方向および垂直方向の分析フィルタ処理が再帰的に繰り返す（つまり階層的に繰り返す）。

図２は、分析フィルタ処理が４回繰り返された場合の例を概略的に示す図である。図２の例では、水平方向および垂直方向の分析フィルタ処理が再帰的に４回繰り替えされることにより、１ピクチャの画像データの周波数成分が、１３個の階層的なサブバンドに分割されている。このときの各サブバンドのデータ、つまり、ベースバンドの画像データの各周波数成分を係数データと称する。

図２において、実線の四角および点線の角丸四角のそれぞれは、分析フィルタ処理により生成されるサブバンドを示しており、各サブバンドに表記される数字は、そのサブバンドの階層のレベルを示す。つまり、ベースバンドの画像データに対して何回分析フィルタ処理することにより得られるサブバンドであるかを示している。また、各サブバンドに表記される「Ｌ」および「Ｈ」は、それぞれ低域成分および高域成分を表しており、左側が水平方向の分析フィルタ処理結果、右側が垂直方向の分析フィルタ処理結果を示している。

図２の例では、ベースバンドの画像データに対して１回目の分析フィルタ処理が行われて、分割レベル１の４つのサブバンド（１ＬＬ、１ＬＨ、１ＨＬ、および１ＨＨ）が生成され、そのサブバンドのうち、水平方向および垂直方向の両方に対して低域成分であるサブバンド「１ＬＬ」に対して２回目の分析フィルタ処理が行われ、分割レベル２の４つのサブバンド（２ＬＬ、２ＬＨ、２ＨＬ、および２ＨＨ）が生成され、その水平方向および垂直方向の両方に対して低域成分であるサブバンド「２ＬＬ」に対して３回目の分析フィルタ処理が行われ、分割レベル３の４つのサブバンド（３ＬＬ、３ＬＨ、３ＨＬ、および３ＨＨ）が生成され、その水平方向および垂直方向の両方に対して低域成分であるサブバンド「３ＬＬ」に対して、４回目の分析フィルタ処理が行われ、分割レベル４の４つのサブバンド（４ＬＬ、４ＬＨ、４ＨＬ、および４ＨＨ）が生成されている。

このように、低域成分に対して繰り返し変換および分割を行うのは、図３に示されるように、より上位（低域成分）のサブバンドほど、画像のエネルギが低域成分に集中しているためである。このように分析フィルタ処理を再帰的に処理を行い、階層的なサブバンドを生成し、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、エントロピ符号化を行う際に効率的な圧縮符号化を可能とする。

なお、以下において、分析フィルタ処理により生成される４つのサブバンドのうち、再度分析フィルタ処理が行われる、水平方向および垂直方向の両方に対して低域成分であるサブバンド「ＬＬ」を低域サブバンドと称し、それ以上分析フィルタ処理が行われないその他のサブバンド「ＬＨ」、「ＨＬ」、および「ＨＨ」を高域サブバンドと称する。

このようなウェーブレット変換処理をピクチャ全体に対してまとめて行う方法もあるが、１ピクチャの画像データを数ライン毎に分割し、それぞれについてウェーブレット変換処理を互いに独立して行う方法もある。前者の場合よりも後者の場合の方が、１回のウェーブレット変換処理で処理される画像データのデータ量が少ないので、ウェーブレット変換処理の処理結果の出力開始タイミングをより早くすることができる。つまり、ウェーブレット変換処理による遅延時間を短縮することができる。

なお、この場合のウェーブレット変換処理の処理単位となるライン数は、ウェーブレット変換処理の、予め定められた分割レベルにおいて、最上位レベルのサブバンドの係数データ１ラインを得るために必要なライン数に基づく。

分析フィルタ処理により、データは４分割されるので、図３に示されるようにライン数は半減する。つまり、図３の例のように、分割レベル３のウェーブレット変換処理の場合、最上位レベルのサブバンド（３ＬＬ、３ＬＨ、３ＨＬ、および３ＨＨ）の係数データを１ライン得るためには、８ラインのベースバンドの画像データが必要になる。従ってこの場合、ウェーブレット変換処理は、ベースバンドの画像データ８ライン以上を処理単位としてウェーブレット変換処理が行われる。図２の例のように分割レベルが４である場合、ベースバンドの画像データは、１６ライン必要になる。

このように、最上位レベルの低域サブバンド「ＬＬ」の係数データを１ライン生成するために必要なベースバンドの画素データの集合をプレシンクト（Precinct）（またはラインブロック）と称する。なお、プレシンクトは、この最上位レベルの低域サブバンド「ＬＬ」の係数データを１ライン生成するために必要なベースバンドの画素データの集合と実質的に同一な、１プレシンクト分の画素データをウェーブレット変換して得られる、全サブバンドの係数データの集合のことを示す場合もある。

例えば、図４に示されるように、ベースバンドの画像データ１６ラインを１プレシンクトとすると分割レベル４のウェーブレット変換処理により、分割レベル１の係数データが８ライン、分割レベル２の係数データが４ライン、分割レベル３の係数データが２ライン、および分割レベル４の係数データが１ライン生成される。

ウェーブレット逆変換処理は、このようなウェーブレット変換処理に対応する逆変換処理であり、ウェーブレット変換処理により生成された係数データを、元のベースバンドの画像データに変換する処理である。従って、ウェーブレット変換部１１が上述したようにプレシンクト単位でウェーブレット変換処理を行う場合、このウェーブレット変換部１１に対応するウェーブレット逆変換処理においてもそのプレシンクト単位で逆変換処理が行われる。

つまり、例えば、図４に示されるように、分割レベル４のウェーブレット変換処理によりベースバンドの画像データ１６ラインが変換されて得られた係数データは、分割レベル４のウェーブレット逆変換処理により、元のベースバンドの画像データ１６ラインに変換される。

なお、１プレシンクトのライン数はピクチャ内において、各プレシンクトで互いに同一でなくてもよい。

例えば、図５は、分割レベル２のウェーブレット変換処理およびウェーブレット逆変換処理の様子を模式的に示す図である。図５Ａは、ウェーブレット変換処理を行う前の、１ピクチャ分のベースバンドの画像データを示しており、図５Ｂは、そのベースバンドの画像データを分割レベル２でウェーブレット変換して得られる係数データの構成例を示しており、図５Ｃは、その係数データを分割レベル３でウェーブレット逆変換して復元されるベースバンドの画像データを示している。

図５Ａに示されるように、ピクチャの一番上のプレシンクト（Ｉｎ−１）のみ７ラインとなり、２番目（Ｉｎ−２）以降のプレシンクトは４ラインとなる。これは後述するようにウェーブレット変換処理における分析フィルタ処理の演算方法によるものであり、最初に処理が行われるピクチャの一番上のプレシンクトのみ最上位レベルの係数データ１ラインを生成するために必要なベースバンドの画像データのライン数が多くなる。

この図５ＡのプレシンクトＩｎ−１（７ライン）をウェーブレット変換すると、図５Ｂに示されるように、分割レベル１の４つのサブバンド（ＬＬ、ＨＬ、ＬＨ、およびＨＨ）の係数データがそれぞれ３ラインずつ生成される（ＷＴ−１）。この低域サブバンドＬＬについてさらにウェーブレット変換すると、分割レベル２の４つのサブバンド（ＬＬＬ、ＬＨＬ、ＬＬＨ、およびＬＨＨ）の係数データがそれぞれ１ラインずつ生成される（ＷＴ−１）。

これに対して、図５Ａのピクチャの上から２番目のプレシンクトＩｎ−２（４ライン）をウェーブレット変換すると、図５Ｂに示されるように、分割レベル１の４つのサブバンド（ＬＬ、ＨＬ、ＬＨ、およびＨＨ）の係数データがそれぞれ２ラインずつ生成される（ＷＴ−２）。この低域サブバンドＬＬについてさらにウェーブレット変換すると、分割レベル２の４つのサブバンド（ＬＬＬ、ＬＨＬ、ＬＬＨ、およびＬＨＨ）の係数データがそれぞれ１ラインずつ生成される（ＷＴ−２）。図５Ａのピクチャの上から３番目以降のプレシンクトも同様である。

また、図５Ｂに示される、係数データよりなる、ピクチャの一番上のプレシンクト（ＷＴ−１）をウェーブレット逆変換すると、図５Ｃに示されるように、ベースバンドの画像データ１ライン（ＯＵＴ−１）が生成される。これに対して、ピクチャの上から２番目のプレシンクト（ＷＴ−２）をウェーブレット逆変換すると、ベースバンドの画像データ４ライン（ＯＵＴ−２）が生成される。ピクチャの上から３番目以降のプレシンクトも同様である。ただし、ピクチャの一番下のプレシンクトの場合、ベースバンドの画像データが８ライン生成される。これは後述するようにウェーブレット逆変換における合成フィルタ処理の演算方法によるものである。

このように、ピクチャの一番上のプレシンクトや一番下のプレシンクトにおいては、演算方法によってはライン数が異なる場合がある。

ウェーブレット変換部１１は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。

このウェーブレット変換の具体的な例として、５×３フィルタを用いた方法について説明する。この５×３フィルタを用いた方法は、JPEG２０００規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。

５×３フィルタのインパルス応答（Ｚ変換表現）は、下記の式（１）および式（２）に示す様に、低域フィルタＨ₀（ｚ）と、高域フィルタＨ₁（ｚ）とから構成される。Ｈ₀（ｚ）は５タップで、Ｈ₁（ｚ）は3タップであることがわかる。

Ｈ₀（ｚ）＝（−１＋２ｚ^-1＋６ｚ^-2＋２ｚ^-3−ｚ^-4）／８ ・・・（１）
Ｈ₁（ｚ）＝（−１＋２ｚ^-1−ｚ^-2）／２ ・・・（２）

これら式（１）および式（２）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。

図６は、５×３フィルタのリフティングを用いた例を示したものである。以下、このフィルタリング方法について説明する。

図６において、最上段部、中段部および最下段部は、それぞれ入力画像の画素列、高域成分出力および低域成分出力を示す。最上段は、入力画像の画素列に限らず、先のフィルタ処理で得られた係数でもよい。ここでは、最上段部が入力画像で画素列であるものとし、四角印（■）が偶数番目（最初を０番目とする）の画素またはライン、丸印（●）が奇数番目の画素またはラインとする。

先ず第１段階として、次式（３）により入力画素列から高域成分の係数ｄ_i ¹を生成する。

ｄ_i ¹＝ｄ_i ⁰−１／２（ｓ_i ⁰＋ｓ_i+1 ⁰） ・・・（３）

次に第2段階として、この生成された高域成分の係数と、入力画像の奇数番目の画素とを用いて、次式（４）により低域成分の係数ｓ_i ¹を生成する。

ｓ_i ¹＝ｓ_i ⁰＋１／４（ｄ_i-1 ¹＋ｄ_i ¹） ・・・（４）

分析フィルタ側では、このようにして、フィルタリング処理により入力画像の画素データを低域成分と高域成分とに分解する。

次に、このようなウェーブレット変換により生成された係数を復元するウェーブレット逆変換を行う合成フィルタ側の処理について、図７を参照して概略的に説明する。この図７は、上述の図６と対応し、５×３フィルタを用い、リフティング技術を適用した例を示す。図７において、最上段部は、ウェーブレット変換により生成された入力係数を示し、丸印（●）が高域成分の係数、四角印（■）が低域成分の係数をそれぞれ示す。

先ず第１段階として、次式（５）に従い、入力された低域成分および高域成分の係数から、偶数番目（最初を０番目とする）の係数ｓ_i ⁰が生成される。

ｓ_i ⁰＝ｓ_i ¹−１／４（ｄ_i-1 ¹＋ｄ_i ¹） ・・・（５）

次に第２段階として、次式（６）に従い、上述の第１段階で生成された偶数番目の係数ｓ_i ⁰と、入力された高域成分の係数ｄ_i ¹から、奇数番目の係数ｄ_i ⁰が生成される。

ｄ_i ⁰＝ｄ_i ¹＋１／２（ｓ_i ⁰＋ｓ_i+1 ⁰） ・・・（６）

合成フィルタ側では、このようにして、フィルタリング処理により低域成分および高域成分の係数を合成し、ウェーブレット逆変換を行う。

図８は、５×３フィルタのリフティングによるフィルタリングを分解レベル２まで実行したときの分析フィルタ処理および合成フィルタ処理の様子の例を示す模式図である。図８の左側は分析フィルタ処理におけるリフティング演算の様子の例を示しており、図８の右側は合成フィルタ処理におけるリフティング演算の様子の例を示している。

図８において、左上右下の斜め線模様で示される丸と四角は、それぞれ、ベースバンドの画像データの、ライン番号が奇数のライン（奇数ライン）の周波数成分、ライン番号が偶数のライン（偶数ライン）の周波数成分を示している。なお、ライン番号は、画像の一番上のラインを「０」とし、上から順にインクリメントされる。

また図８において、左下右上の斜め線模様で示される丸と四角は、それぞれ、分析フィルタ処理または合成フィルタ処理のリフティング演算の途中の計算に利用される途中計算用の奇数番目の係数と偶数番目の係数を示している。さらに、図８において黒丸（●）と黒四角（■）は、それぞれ、分析フィルタ処理のリフティング演算結果として得られる高域成分と低域成分（周波数成分）を示している。つまり、図８の左側において、点線の角丸四角は、途中計算用バッファ部１２を示しており、実線の角丸四角は、係数並び替え用バッファ部１３を示している。

図８の左から１列目乃至３列目は、分割レベル１の分析フィルタ処理のリフティング演算の様子を示しており、４列目乃至６列目は、分割レベル２の分析フィルタ処理のリフティング演算の様子を示しており、７列目乃至９列目は、分割レベル２の合成フィルタ処理のリフティング演算の様子を示しており、１０列目乃至１２列目は、分割レベル１の合成フィルタ処理のリフティング演算の様子を示している。

なお、図８では、説明の簡略化のため、水平方向の分析フィルタ処理および合成フィルタ処理については省略している。

図８においては、各係数をプレシンクト毎に曲線で区切って示している。つまり、１番目のプレシンクト（１回目）においては、画像データ７ラインが分析フィルタ処理され、５ライン分の周波数成分（分割レベル１の高域成分３ライン、分割レベル２の高域成分１ライン、および分割レベル２の低域成分１ライン）が生成される。そして、合成フィルタ処理においては、そのうち、３ライン分の周波数成分（分割レベル２の高域成分１ライン、分割レベル２の低域成分１ライン、および分割レベル１の高域成分１ライン）が使用され、画像データ１ラインが生成される。

なお、分割レベル１の高域成分の残りの２ラインは、次のプレシンクトに対する合成フィルタ処理において利用される。

２番目のプレシンクト（２回目）においては、画像データ４ラインが分析フィルタ処理され、４ライン分の周波数成分（分割レベル１の高域成分２ライン、分割レベル２の高域成分１ライン、および分割レベル１の低域成分１ライン）が生成される。そして、合成フィルタ処理においては、そのうち、２ライン分の周波数成分（分割レベル２の高域成分１ライン、および分割レベル１の低域成分１ライン）と、１番目のプレシンクトの分割レベル１の高域成分２ラインが使用され、画像データ４ラインが生成される。

３番目以降のプレシンクトについては、２番目のプレシンクトと同様である。なお、最後のプレシンクトにおいては合成フィルタ処理により画像データが８ライン生成される。

以上のように、図８においては、左から右に進むことにより、分析フィルタ処理および合成フィルタ処理が図５Ａ乃至図５Ｃに示される例のように進められることが示されている。

なお、図８の左側において黒丸や黒四角に付した番号は、分析フィルタ処理結果である周波数成分の生成順を示している。また、図８の右側において黒丸や黒四角に付した番号は、それらの周波数成分が合成フィルタ処理において処理される順序を示している。なお、括弧（）付きの数字は、その周波数成分の分析フィルタ処理における生成順を示している。つまり、図８の右側で示される括弧（）付きの数字は、図８の左側で示される数字に対応する。

この番号から分かるように、合成フィルタ処理において処理される周波数成分の順序は、分析フィルタ処理における周波数成分の生成順と異なる。より具体的に説明すると、２番目のプレシンクトに対する分析フィルタ処理においては、周波数成分は６→７→８→９の順で生成されるが、合成フィルタ処理においては、９→８→２→３の順で周波数成分が使用される。つまり、分析フィルタ処理は、高域から低域に向かう順に周波数成分を生成するが、合成フィルタ処理は、低域から広域に向かう順に周波数成分を合成する。従って、合成フィルタ処理を行う前に、分析フィルタ処理により生成された周波数成分の順序を並び替える必要がある。

図１の係数並び替え部１４は、係数並び替え用バッファ部に蓄積された係数データを所定の順で読み出すことにより、この並び替えを行う。

図９は５×３フィルタを用いて分割レベル３の分析フィルタ処理を行う場合の処理の様子を示す図である。基本的な動作は、図８の分割レベル２の分析フィルタ処理の場合と同じであるが、図９の場合、ウェーブレット変換により分割レベル２の低域サブバンドの周波数成分１ラインを得るために必要なライン数は、最初のプレシンクトでは１５ラインであり、２つ目以降のプレシンクトでは８ラインになる。また合成側の出力は、最初のプレシンクトが１ライン、以降が８ラインとなる。

図９の場合も図８の場合と同様に、分析フィルタ処理の後に、周波数成分の並び替えを行う必要がある。図９の２番目のプレシンクトについて説明すると、分析フィルタ処理により、２、３、５、６、７、１０、１９、および２０番目に生成された周波数成分は、合成フィルタ処理では、２０→１９→７→２→３→１０→５→６の順に処理される。

図１の符号化部１０に対応する復号部の構成例については後述するが、このような符号化部や復号部をハードウェアにより実現する方法もあるが、ソフトウェアプログラムにより実現する方法もある。

ソフトウェアプログラムにより符号化部や復号部を実現する場合、そのソフトウェアプログラムは、コンピュータシステムにおいて実行される。

図１０は、一般的なコンピュータの部分的な構成例を示すブロック図である。図１０に示されるコンピュータ１００は、演算処理や制御処理を行うCPU１１１、CPU１１１からのメインメモリ１１３へのアクセスを制御するメモリコントローラ１１２、およびCPU１１１において使用されるデータやプログラム、または、CPU１１１において行われた演算の結果等、各種のデータやプログラムを記憶するメインメモリ１１３を有する。

CPU１１１は、拡張インタフェース（拡張I/F）１２１、フェッチ１２２、デコード１２３、実行１２４、書き戻し１２５、およびレジスタ１４１等の処理部の他に、最も頻繁に使用されるデータが保持される内蔵メモリであるＬ１キャッシュ（１次キャッシュ）１３１およびＬ２キャッシュ（２次キャッシュ）１３２を有する。

Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２は、CPU１１１の内蔵メモリであり、外部メモリであるメインメモリ１１３と比べて、動作周波数が高く、また、共有バスを解さずにアクセス可能であるので、高速なデータ入出力が可能である。ただし、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２の単位容量当たりの製造コストは、メインメモリ１１３と比べて高い。また、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２の容量の増大は、CPU１１１の回路規模の増大、すなわちコンピュータ１００の製造コストや消費電力の増大に繋がる恐れがある。従って、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２の記憶容量は、メインメモリ１１３と比べて小容量である。

換言すれば、メインメモリ１１３は、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２と比べて、データの入出力が低速であるものの、記憶容量が大きく、製造コストや消費電力が少ない。

後述する復号部や符号化部１０を実現するソフトウェアプログラムは、メインメモリ１１３に格納されており、ここからメモリコントローラ１１２を経由して、CPU１１１の内部の拡張I/F１２１に入力される。そして、ソフトウェアプログラムは、その拡張I/F１２１を経由して、フェッチ１２２に供給される（入手される）。フェッチ１２２に入手されたソフトウェアプログラムは、デコード１２３において復号され、CPU１１１が実行可能な形式に変換される。

また、プログラムの実行に必要なデータは、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に記憶されていて、プログラムを実行する際にレジスタ１４１を介して所定のアドレスののデータが読み出される（Read）。実行１２４は、そのデータを用いてプログラムの実行を行う。

実行結果は、書き戻し１２５により、直ちに拡張I/F１２１を経由してＬ１キャッシュ１３１またはＬ２キャッシュ１３２に書き戻される（Write）。このような実行１２４によるプログラムの実行が、例えば、エントロピ復号処理や合成フィルタ処理を実行することになる。

更に、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２内に記憶されたデータが、初期状態では符号データで、エントロピ復号処理やウェーブレット逆変換処理の過程でＬ１キャッシュ１３１またはＬ２キャッシュ１３２に書き戻されるデータが、係数データまたは最終レベルでのベースバンド画像データである。

以上の様に、実際のデータの読み出しや書き込み（Read/Write）はCPU１１１内部の、高速メモリであるＬ１キャッシュ１３１およびＬ２キャッシュ１３２を用いて行われるので、高速に復号処理やウェーブレット逆変換処理を実行することが出来る。

ただし、上述したように、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２の容量は小容量であるので、エントロピ復号処理やウェーブレット逆変換処理の過程で書き戻されるデータ量が多すぎると、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２では容量が不足する恐れがある。その場合、メインメモリ１１３へのデータの退避やＬ１キャッシュ１３１およびＬ２キャッシュ１３２において発生するミスヒット等により、遅延時間が増大する恐れがある。

このようなウェーブレット変換・ウェーブレット逆変換を利用する例えばTV会議システムやビデオゲームシステム等のような画像伝送システムにおいては、画像データの伝送を低遅延で行うことが望ましい場合が多い。

従って、より低遅延で復号処理やウェーブレット逆変換処理を実行させるためには、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２が保持するデータ量をより低減させることが求められる。

また、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２の利用だけでなく、復号処理とウェーブレット逆変換処理自身の効率化も求められる。

以下に、そのような復号処理とウェーブレット逆変換処理とを実現する方法について説明する。

図１１は、本発明を適用したソフトウェアプログラムにより構成され、画像データが符号化された符号化データを復号するソフトウェアデコーダが有する機能を模式的に示した機能ブロック図である。なお以下においては、ソフトウェアプログラムが、図１０に示される一般的なコンピュータ１００において実行される場合について説明する。

図１１に示される復号部２００は、ソフトウェアデコーダであり、プログラムがCPU１１１により実行されることにより、制御部２１１、符号化データ入力部２２１、エントロピ復号部２２２、途中計算用バッファ部２２３、ウェーブレット逆変換部２２４、および画像データ出力部２２５の機能を有する。

制御部２１１は、後述するように、符号化データ入力部２２１乃至画像データ出力部２２５の各部の動作を制御する。符号化データ入力部２２１は、例えば符号化部１０等の、復号部２００の外部より供給される符号化データの取得に関する処理を行う。エントロピ復号部２２２は、符号化データ入力部２２１を介して供給された符号化データに対してエントロピ復号を行い、係数データを復元する。途中計算用バッファ部２２３は、エントロピ復号部２２２において符号化データが復号されて得られた係数データをＬ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させたり、ウェーブレット逆変換部２２４の要求に応じてＬ１キャッシュ１３１またはＬ２キャッシュ１３２に保持している係数データを読み出してウェーブレット逆変換部２２４に供給したり、ウェーブレット逆変換部２２４による合成フィルタ処理により得られた途中計算用の係数データをＬ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させたりする。

ウェーブレット逆変換部２２４は、途中計算用バッファ部２２３より必要な係数データを取得してその係数データに対してウェーブレット逆変換処理（合成フィルタ処理）を行う。ウェーブレット逆変換部２２４は、再帰的に合成フィルタ処理を繰り返し、ベースバンドの画像データを生成する。画像データ出力部２２５は、ウェーブレット逆変換部２２４において得られたベースバンドの画像データを復号部２００の外部に出力する。

次に、この復号部２００の制御部２１１により実行されるエントロピ復号処理とウェーブレット逆変換処理の制御処理の流れの例について、図１２のフローチャートを参照して説明する。この制御処理はピクチャ単位で実行される。

制御処理が開始されると、制御部２１１は、ステップＳ１０１において、未処理のラインのうち、最も上に位置するベースバンドの画像データ２ラインを特定し、処理対象とする。ステップＳ１０２において、制御部２１１は、処理対象の画像データを生成するために必要な係数のうち、最も上位の分割レベルの係数を特定する。

ステップＳ１０３において、制御部２１１は、途中計算用バッファ部２２３を制御し、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に、ステップＳ１０２において特定した係数が保持されているか否かを判定し、保持されていないと判定した場合、処理をステップＳ１０４に進める。制御部２１１は、ステップＳ１０４において、ステップＳ１０２において特定した係数に対応する符号化データを特定し、ステップＳ１０５において、符号化データ入力部２２１を制御し、その符号化データを１ライン取得させ、ステップＳ１０６において、エントロピ復号部２２２を制御して、取得させた符号化データに対してエントロピ復号処理を実行させ、ステップＳ１０７において、途中計算用バッファ部２２３を制御し、エントロピ復号処理により得られた係数をＬ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させる。ステップＳ１０７の処理が終了すると、制御部２１１は、処理をステップＳ１０３に戻す。

ステップＳ１０３において、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に、ステップＳ１０２において特定した係数が保持されていると判定した場合、制御部２１１は、処理をステップＳ１０８に進める。

制御部２１１は、ステップＳ１０８において、途中計算用バッファ部２２３を制御し、ウェーブレット逆変換部２２４に、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に保持されている、ステップＳ１０２において特定した係数を取得させ、ステップＳ１０９において、ウェーブレット逆変換部２２４を制御し、１つ下位の分割レベルの係数を２ライン生成する合成フィルタ処理、すなわち、リフティング演算１回分を実行させる。

ステップＳ１０２において特定した係数に対する合成フィルタ処理が終了すると、制御部２１１は、ステップＳ１１０において、途中計算用バッファ部２２３を制御し、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に保持されている係数のうち、今後の合成フィルタ処理に使用されない不要な係数を削除させる。

制御部２１１は、ステップＳ１１１において、ステップＳ１０９の処理により得られた合成フィルタ処理結果の係数が最下位レベルの係数、すなわち、ベースバンドの画像データであるか否かを判定する。得られた合成フィルタ処理結果がベースバンドの画像データではないと判定した場合、制御部２１１は、処理をステップＳ１０２に戻し、それ以降の処理を繰り返す。つまり、ベースバンドの画像データに達するまで、ステップＳ１０２乃至ステップＳ１１１の処理が繰り返し実行され、合成フィルタ処理のリフティング演算が再帰的に繰り返し実行される。

そして、ステップＳ１１１において、得られた合成フィルタ処理結果がベースバンドの画像データであると判定した場合、制御部２１１は、処理をステップＳ１１２に進める。ステップＳ１１２において、制御部２１１は、画像データ出力部２２５を制御し、合成フィルタ処理により得られた画像データ２ラインを出力させる。

ステップＳ１１３において、制御部２１１は、ピクチャ内の全ラインの画像データを出力したか否かを判定し、全ライン出力していないと判定した場合、処理をステップＳ１０１に戻し、それ以降の処理を繰り返す。つまり、制御部２１１は、ステップＳ１０１の処理について説明したように、ベースバンドの画像データをピクチャの上から順に２ラインずつ出力するように、エントロピ復号処理およびウェーブレット逆変換処理を実行させる。

そして、ステップＳ１１３において全ライン出力したと判定した場合、制御部２１１は、制御処理を終了する。

このような制御処理により合成フィルタ処理は、図１３に示されるような手順で行われる。図１３は、分割レベル３の合成フィルタ処理の流れを示す模式図であり、基本的に図８や図９と同様である。点線３０１および点線３０２は、係数データが属するプレシンクトの境界を示している。また、黒丸や黒四角に付した番号はエントロピ復号部２２２による復号順（つまり、符号化部１０からの供給順）を示している。

上述した制御処理により、合成フィルタ処理の各リフティング演算は、図１３において太線実線で囲まれる領域毎に行われる。つまり、点線３０１と点線３０２との間に示される第２プレシンクトについて具体的に説明すると、最初に領域３１１内のリフティング演算が行われ、次に、領域３１２内のリフティング演算が行われ、次に、領域３１３内のリフティング演算が行われ、最後に領域３１４内のリフティング演算が行われる。各領域内においては、上位の分割レベルから下位の分割レベルに向かう順序で各リフティング演算が行われる。

より具体的に説明すると、ウェーブレット逆変換部２２４は、最初に、領域３１１について、５番目と６番目に復号された係数と、２番目に復号された係数（第１プレシンクトの処理において既に復号済みの係数）を用いて、分割レベル３のリフティング演算（１回目のリフティング演算）を行う。次に、ウェーブレット逆変換部２２４は、７番目に復号された係数と、１回目のリフティング演算結果と、３番目に復号された係数（第１プレシンクトの処理において既に復号済みの係数）を用いて、分割レベル２のリフティング演算（２回目のリフティング演算）を行う。次に、ウェーブレット逆変換部２２４は、８番目に復号された係数と、２回目のリフティング演算結果と、４番目に復号された係数（第１プレシンクトの処理において既に復号済みの係数）を用いて、分割レベル１のリフティング演算（３回目のリフティング演算）を行う。これにより、ライン番号０および１のベースバンドの画像データ２ラインが得られる。

以上の処理により領域３１１内のリフティング演算が全て終了したので、ウェーブレット逆変換部２２４は、次に領域３１２内のリフティング演算を行う。

ウェーブレット逆変換部２２４は、領域３１２について、最初に、８番目と９番目に復号された係数と、２回目のリフティング演算結果とを用いて、分割レベル１のリフティング演算（４回目のリフティング演算）を行う。これにより、ライン番号２および３のベースバンドの画像データ２ラインが得られる。

以上の処理により領域３１２内のリフティング演算が全て終了したので、ウェーブレット逆変換部２２４は、次に領域３１３内のリフティング演算を行う。

ウェーブレット逆変換部２２４は、領域３１３について、最初に、７番目と１０番目に復号された係数と、１回目のリフティング演算結果とを用いて、分割レベル２のリフティング演算（５回目のリフティング演算）を行う。次に、ウェーブレット逆変換部２２４は、９番目と１１番目に復号された係数と、５回目のリフティング演算結果とを用いて、分割レベル１のリフティング演算（６回目のリフティング演算）を行う。これにより、ライン番号４および５のベースバンドの画像データ２ラインが得られる。

以上の処理により領域３１３内のリフティング演算が全て終了したので、ウェーブレット逆変換部２２４は、次に領域３１４内のリフティング演算を行う。

ウェーブレット逆変換部２２４は、領域３１４について、最初に、１１番目と１２番目に復号された係数と、５回目のリフティング演算結果とを用いて、分割レベル１のリフティング演算（７回目のリフティング演算）を行う。これにより、ライン番号６および７のベースバンドの画像データ２ラインが得られる。

このようにベースバンドの画像データを２ラインずつ生成して出力するようにリフティング演算を進めることにより、ウェーブレット逆変換部２２４は、ベースバンドの画像データをより早く生成して出力することができる。

例えば、プレシンクト内においてリフティング演算を、分割レベル毎に上位から下位に向かう順序で行うようにする場合、プレシンクト内の全てのリフティング演算が終了するまで、ベースバンドの画像データを出力することができない。

これに対して、制御部２１１が上述したように制御を行うことにより、ウェーブレット逆変換部２２４は、３回目のリフティング演算において、ライン番号０と１のベースバンドの画像データを出力することができる。つまり、復号部２００は、最初にベースバンドの画像データが出力されるタイミングをより早くすることができる。すなわち、復号部２００は、ウェーブレット逆変換処理による遅延時間を低減させることができる。

図１４は、以上のような制御による、第２プレシンクトについてのエントロピ復号処理とウェーブレット逆変換処理の流れを模式的に示す図である。

図１４に示されるように、最初に、エントロピ復号部２２２が、５番目に復号される係数データと６番目に復号される係数データを復号し（VLD５およびVLD６）、ウェーブレット逆変換部２２４が、１回目のリフティング演算（IDWT（Lev３））を行う。次に、エントロピ復号部２２２が、７番目に復号される係数データを復号し（VLD７）、ウェーブレット逆変換部２２４が、２回目のリフティング演算（IDWT（Lev２））を行う。次に、エントロピ復号部２２２が、８番目に復号される係数データを復号し（VLD８）、ウェーブレット逆変換部２２４が、３回目のリフティング演算（IDWT（Lev１））を行う。

この時点でウェーブレット逆変換部２２４は、ライン番号０と１のベースバンドの画像データを出力することができる。つまり、復号部２００は、プレシンクト内の全ての符号化データを復号してからウェーブレット変換処理を実行する場合よりも、最初にベースバンドの画像データが出力されるタイミングをより早くすることができる。すなわち、復号部２００は、ウェーブレット逆変換処理による遅延時間を低減させることができる。

次に、エントロピ復号部２２２が、９番目に復号される係数データを復号し（VLD９）、ウェーブレット逆変換部２２４が、４回目のリフティング演算（IDWT（Lev１））を行う。次に、エントロピ復号部２２２が、１０番目に復号される係数データを復号し（VLD１０）、ウェーブレット逆変換部２２４が、５回目のリフティング演算（IDWT（Lev２））を行う。次に、エントロピ復号部２２２が、１１番目に復号される係数データを復号し（VLD１１）、ウェーブレット逆変換部２２４が、６回目のリフティング演算（IDWT（Lev１））を行う。次に、エントロピ復号部２２２が、１２番目に復号される係数データを復号し（VLD１２）、ウェーブレット逆変換部２２４が、７回目のリフティング演算（IDWT（Lev１））を行う。

これらのリフティング演算が行われる度に、制御部２１１は、途中計算用バッファ部２２３を制御し、この後のリフティング演算処理に不要な係数をＬ１キャッシュ１３１およびＬ２キャッシュ１３２より削除（廃棄）する。これにより、復号部２００は、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２に保持されるデータのデータ量を低減させることができる。

なお、ここで削除（廃棄）とは、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２に保持されているデータを実際に消去してもよいし、上書き許可を付与するだけでもよいし、また、別途管理するようにすることであってもよい。例えば、６番目に復号される係数データは、１回目のリフティング演算の後、第２プレシンクトについてのリフティング演算には不要であるが、その次のプレシンクト（第３プレシンクト）についてのリフティング演算では使用される。このような場合、途中計算用バッファ部２２３は、その６番目に復号される係数データを、他の係数データと異なる領域または方法で管理することにより、第２プレシンクトの処理に対する管理から外す（削除する）ようにしてもよい。

以上のような制御処理により行われる各部のデータの流れについて図１５のフローチャートを参照して説明する。

最初に、ステップＳ２５１において、画像データ出力部２２５は、ウェーブレット逆変換部２２４に対して、制御部２１１により特定された、外部に出力する画像データを要求する。ウェーブレット逆変換部２２４は、ステップＳ２４１においてその要求を取得すると、ステップＳ２４２において、エントロピ復号部２２２に対して、制御部２１１により特定された、その画像データに対応するウェーブレット係数データを要求する。

エントロピ復号部２２２は、ステップＳ２１１においてその要求を取得すると、ステップＳ２１２において、符号化データ入力部２２１に対して符号化データを要求する。符号化データ入力部２２１は、ステップＳ２０１においてその要求を取得すると、要求された符号化データを外部より取得し、ステップＳ２０２において、取得した符号化データをエントロピ復号部２２２に供給する。エントロピ復号部２２２は、ステップＳ２１３において、その符号化データを取得すると、復号処理を行い、ステップＳ２１４において、得られた係数データを途中計算用バッファ部２２３に供給する。途中計算用バッファ部２２３は、ステップＳ２３１において、エントロピ復号部２２２より係数データを取得すると、その係数データをＬ１キャッシュ１３１およびＬ２キャッシュ１３２に保持させる。

ウェーブレット逆変換部２２４は、ステップＳ２４３において、途中計算用バッファ部２２３と係数データの授受を行いながらウェーブレット逆変換処理を行う。これに対応して、途中計算用バッファ部２２３は、ステップＳ２３２において、ウェーブレット逆変換部２２４と係数データの授受を行う。

そして、途中計算用バッファ部２２３に保持されている係数を全て処理すると、ウェーブレット逆変換部２２４は、ステップＳ２４４において、再び、エントロピ復号部２２２に対してウェーブレット係数を要求する。エントロピ復号部２２２は、ステップＳ２１５においてその要求を取得すると、ステップＳ２１６において、符号化データ入力部２２１に対して符号化データを要求する。符号化データ入力部２２１は、ステップＳ２０３においてその要求を取得する。

以上のような処理を繰り返すことにより、ベースバンドの画像データが生成されると、ウェーブレット逆変換部２２４は、ステップＳ２４５において画像データを画像データ出力部２２５に供給する。画像データ出力部２２５は、ステップＳ２５２においてその画像データを取得する。

以上のように、制御部２１１の制御により、各種データが処理部と処理部の間で授受される。

なお、以上においては、ベースバンドの画像データを２ラインずつ生成して出力するように説明したが、ベースバンドの画像データを、図１６に示されるように、例えばビデオ信号の水平同期タイミングに同期させて１ラインずつ出力させるようにしてもよい。

この場合、図１６に示されるようにベースバンドの画像データ（ベースバンド画像データ−１およびベースバンド画像データ−２）は、水平同期タイミング（H-Sync）毎に１ラインずつ出力される。ただし、図１６に示されるように、このベースバンドの画像データは２ラインずつ生成される（ベースバンド画像データ−１およびベースバンド画像データ−２）。つまり、生成された２ラインのうち、一方の１ラインが（Ａ）のように、生成されたときの水平同期タイミングにおいて直接出力され、他方の１ラインは、（Ｂ）のように一時的に保持され、次の水平同期タイミングにおいて、（Ｃ）のように読み出されて出力される。

従って、図１６に示されるように、エントロピ復号処理（VLD）やウェーブレット逆変換処理（IDWT）を水平同期タイミング間に行う必要がある。ウェーブレット逆変換部２２４（復号部２００）は、上述したような順序で合成フィルタ処理を進めることにより、ベースバンドの画像データの生成間隔をより短くすることができるので、図１６のようなタイミングでのリアルタイム（即時的な）な復号処理を容易に実現することができる。

つまり、この場合、ウェーブレット逆変換部２２４は、例えばバッファリング無しに出力画像データをモニタに表示させることができるように、入力された係数データをリアルタイムにウェーブレット逆変換することができる。なお、ここでリアルタイムとは、例えばテレビジョン信号等の水平同期タイミングに合わせてベースバンドの画像データを１ラインずつ出力させることができることを示しており、ウェーブレット変換処理による遅延時間がゼロであることを示すものではない。

次に、図１７のフローチャートを参照して、上述した制御処理の他の流れの例を説明する。なおこの場合も、制御処理はピクチャ毎に実行される。この場合、ウェーブレット逆変換処理を行う前に、プレシンクト内の全ての符号化データに対してエントロピ復号処理が行われる。

従って制御部２１１は、制御処理が開始されると、図１２のステップＳ１０５乃至ステップＳ１０７の場合と同様に、ステップＳ３０１において、符号化データ入力部２２１を制御し、その符号化データを１ライン取得させ、ステップＳ３０２において、エントロピ復号部２２２を制御して、取得させた符号化データに対してエントロピ復号処理を実行させ、ステップＳ３０３において、途中計算用バッファ部２２３を制御し、エントロピ復号処理により得られた係数をＬ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させる。ステップＳ３０４において、制御部２１１は、プレシンクト内の全ての符号化データを復号したか否かを判定し、復号していない符号化データが存在すると判定した場合、処理をステップＳ３０１に戻し、それ以降の処理を繰り返す。つまり、制御部２１１は、ステップＳ３０１乃至ステップＳ３０４の処理を繰り返すことにより、プレシンクト内の全ての符号化データを復号させる。

ステップＳ３０４において、全ての符号化データを復号したと判定された場合、処理はステップＳ３０５に進む。

制御部２１１は、図１２のステップＳ１０１およびステップＳ１０２の場合と同様に、ステップＳ３０５において、未処理のラインのうち、最も上に位置するベースバンドの画像データ２ラインを特定し、処理対象とし、ステップＳ３０６において、処理対象の画像データを生成するために必要な係数のうち、最も上位の分割レベルの係数を特定する。

制御部２１１は、図１２のステップＳ１０９乃至ステップＳ１１１の場合と同様に、ステップＳ３０７において、ウェーブレット逆変換部２２４を制御し、１つ下位の分割レベルの係数を２ライン生成する合成フィルタ処理、すなわち、リフティング演算１回分を実行させ、ステップＳ３０８において、途中計算用バッファ部２２３を制御し、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に保持されている係数のうち、今後の合成フィルタ処理に使用されない不要な係数を削除させ、ステップＳ３０９において、ステップＳ３０７の処理により得られた合成フィルタ処理結果の係数が最下位レベルの係数、すなわち、ベースバンドの画像データであるか否かを判定する。得られた合成フィルタ処理結果がベースバンドの画像データではないと判定した場合、制御部２１１は、処理をステップＳ３０５に戻し、それ以降の処理を繰り返す。つまり、ベースバンドの画像データに達するまで、ステップＳ３０５乃至ステップＳ３０９の処理が繰り返し実行され、合成フィルタ処理のリフティング演算が再帰的に繰り返し実行される。

そして、ステップＳ３０９において、得られた合成フィルタ処理結果がベースバンドの画像データであると判定した場合、制御部２１１は、処理をステップＳ３１０に進める。制御部２１１は、図１２のステップＳ１１２およびステップＳ１１３の場合と同様に、ステップＳ３１０において、画像データ出力部２２５を制御し、合成フィルタ処理により得られた画像データ２ラインを出力させ、ステップＳ３１１において、ピクチャ内の全ラインの画像データを出力したか否かを判定し、全ライン出力していないと判定した場合、処理をステップＳ３０５に戻し、それ以降の処理を繰り返す。つまり、制御部２１１は、ベースバンドの画像データをピクチャの上から順に２ラインずつ出力するように、ウェーブレット逆変換処理を実行させる。

そして、ステップＳ３１１において全ライン出力したと判定した場合、制御部２１１は、制御処理を終了する。

このような制御処理により合成フィルタ処理は図１８に示されるような手順で行われるが、この場合の合成フィルタ処理は、図１３を参照して説明した例と基本的に同様の手順で行われる。ただし、図１９に示されるように、プレシンクト内の全ての符号化データの復号処理（VLD５乃至VLD１２）が、合成フィルタ処理（IDWT）の前に行われるので、制御部２１１は、ライン番号０と１のベースバンドの画像データを生成させる前に、そのライン番号０と１のベースバンドの画像データの生成に不要な、９番目乃至１２番目に復号されて得られる係数データを、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させることになる。

このように、図１２乃至図１４を参照して説明した場合と比較して、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させるデータのデータ量が増大してしまう。換言すれば、図１２乃至図１４を参照して説明した場合の制御方法の方が、図１７乃至図１９を参照して説明した場合よりもＬ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させるデータのデータ量を低減させることができる。

また、上述したように、合成フィルタ処理のリフティング演算を行う前に、プレシンクト内の全ての符号化データを復号させるので、図１９に示されるように、最初にベースバンドの画像データが出力されるタイミングが、図１２乃至図１４を参照して説明した場合よりも遅くなってしまう。換言すれば、復号部２００は、図１２乃至図１４を参照して説明した場合の制御方法の方が、図１７乃至図１９を参照して説明した場合よりも、より早いタイミングで最初のベースバンドの画像データを出力させることができる。すなわち、復号部２００は、図１２乃至図１４を参照して説明した場合の制御方法の方が、図１７乃至図１９を参照して説明した場合よりも、ウェーブレット逆変換処理による遅延時間を低減させることができる。

ただし、この場合も、図１２乃至図１４を参照して説明した場合と同様に、ベースバンドの画像データを２ラインずつ生成して出力するようにリフティング演算を進めるので、ウェーブレット逆変換部２２４は、プレシンクト内においてリフティング演算を、分割レベル毎に上位から下位に向かう順序で行うようにする場合よりも、ベースバンドの画像データをより早く生成して出力することができる。

また、図１２乃至図１４を参照して説明した場合と同様に、制御部２１１は、リフティング演算が行われる度に、途中計算用バッファ部２２３を制御し、この後のリフティング演算処理に不要な係数をＬ１キャッシュ１３１およびＬ２キャッシュ１３２より削除（廃棄）する。これにより、復号部２００は、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２に保持されるデータのデータ量を低減させることができる。

なお、付言するに、この場合の制御部２１１による制御処理は、図１９に示されるように、図１４を参照して説明した場合よりも、処理の切り替えが少なく容易である。

次に、図２０のフローチャートを参照して、上述した制御処理の、さらに他の流れの例を説明する。なおこの場合も、制御処理はピクチャ毎に実行される。

この場合、ウェーブレット逆変換処理を行う前に、プレシンクト内の全ての符号化データに対してエントロピ復号処理が行われ、さらに、プレシンクト内においてリフティング演算を、分割レベル毎に上位から下位に向かう順序で行う。

従って制御部２１１は、制御処理が開始されると、図１７のステップＳ３０１乃至ステップＳ３０３の場合と同様に、ステップＳ４０１において、符号化データ入力部２２１を制御し、その符号化データを１ライン取得させ、ステップＳ４０２において、エントロピ復号部２２２を制御して、取得させた符号化データに対してエントロピ復号処理を実行させ、ステップＳ４０３において、途中計算用バッファ部２２３を制御し、エントロピ復号処理により得られた係数をＬ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させる。ステップＳ４０４において、制御部２１１は、プレシンクト内の全ての符号化データを復号したか否かを判定し、復号していない符号化データが存在すると判定した場合、処理をステップＳ４０１に戻し、それ以降の処理を繰り返す。つまり、制御部２１１は、ステップＳ４０１乃至ステップＳ４０４の処理を繰り返すことにより、プレシンクト内の全ての符号化データを復号させる。

ステップＳ４０４において、全ての符号化データを復号したと判定された場合、処理はステップＳ４０５に進む。

制御部２１１は、ステップＳ４０５において、合成フィルタ処理の処理対象レベルを最上位レベルに設定し、ステップＳ４０６において、ウェーブレット逆変換部２２４を制御して、下位レベルの係数を２ライン生成する合成フィルタ処理、すなわち、リフティング演算１回分を実行させる。

ステップＳ４０７において、制御部２１１は、レベル内の全係数を処理したか否かを判定し、処理対象レベル内に未処理の係数が存在すると判定した場合、処理をステップＳ４０６に戻し、それ以降の処理を繰り返す。ステップＳ４０７において、レベル内の全係数を処理したと判定した場合、処理をステップＳ４０８に進める。ステップＳ４０８において、制御部２１１は、途中計算用バッファ部２２３を制御し、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に保持されている係数のうち、今後の合成フィルタ処理に使用されない不要な係数を削除させる。

ステップＳ４０９において、制御部２１１は、ステップＳ４０６の処理により得られた合成フィルタ処理結果の係数が最下位レベルの係数、すなわち、ベースバンドの画像データであるか否かを判定する。得られた合成フィルタ処理結果がベースバンドの画像データではないと判定した場合、制御部２１１は、処理をステップＳ４１０に進め、処理対象レベルを１つ下位の分割レベルに設定し、処理をステップＳ４０６に戻し、それ以降の処理を繰り返す。つまり、全ての分割レベルを処理するまで、ステップＳ４０６乃至ステップＳ４１０の処理が繰り返し実行され、合成フィルタ処理のリフティング演算が再帰的に繰り返し実行される。

そして、ステップＳ４０９において、得られた合成フィルタ処理結果がベースバンドの画像データであると判定した場合、制御部２１１は、処理をステップＳ４１１に進め、全ラインの画像データを出力させる。ステップＳ４１１の処理が終了すると、制御処理は終了される。

このような制御処理により合成フィルタ処理は図２１に示されるような手順で行われるが、この場合の合成フィルタ処理は、上述した場合と異なり、プレシンクト全体を１つの領域４１１として捉え、分割レベル毎にリフト演算が行われる。従って、復号部２００は、図２２に示されるように、エントロピ復号処理およびウェーブレット変換処理が全て終了するまで、ベースバンドの画像データを出力することができない。従って、上述した場合に比べて、最初に出力されるベースバンドの画像データの出力タイミングが遅くなってしまう。また、上述した場合と比較して、Ｌ１キャッシュ１３１またはＬ２キャッシュ１３２に保持させるデータのデータ量が増大してしまう。

しかしながら、この場合も、上述した場合と同様に、制御部２１１は、リフティング演算が行われる度に、途中計算用バッファ部２２３を制御し、この後のリフティング演算処理に不要な係数をＬ１キャッシュ１３１およびＬ２キャッシュ１３２より削除（廃棄）する。これにより、復号部２００は、Ｌ１キャッシュ１３１およびＬ２キャッシュ１３２に保持されるデータのデータ量を低減させることができる。

なお、付言するに、この場合の制御部２１１による制御処理は、図２２に示されるように、図１４や図１９を参照して上述した場合よりも、処理の切り替えが少なく容易である。

以上のように、本発明を適用した復号部２００は、エントロピ復号処理を各符号化データに対する処理毎に制御し、また、ウェーブレット逆変換処理をリフティング演算処理毎に制御し、それらを適切にスケジューリングすることにより、復号処理およびウェーブレット逆変換処理による遅延時間をより低減させることができる。また、復号部２００は、このようなスケジューリングを行ったり、不要な係数を適宜削除したりすることにより、復号処理およびウェーブレット逆変換処理の過程において保持するデータのデータ量も低減させることができ、それにより、高速にデータの読み出しや書き込みが可能なＬ１キャッシュ１３１およびＬ２キャッシュ１３２にそれらのデータを保持させることが出来る。これによっても、復号部２００は、復号処理およびウェーブレット逆変換処理による遅延時間をより低減させることができる。

以上においては、エントロピ復号処理を各符号化データに対する処理毎に制御し、また、ウェーブレット逆変換処理をリフティング演算処理毎に制御するように説明したが、復号処理およびウェーブレット逆変換処理のそれぞれを複数の工程に分割する処理単位であれば、どの様な処理単位であってもよい。例えば、エントロピ復号処理を符号化データ毎の処理よりさらに細かい処理単位で制御するようにし、より細かな制御を可能とするようにしてもよいし、複数の符号化データに対する処理を処理単位とし、制御処理をより簡易化するようにしてもよい。同様に、ウェーブレット逆変換処理をリフティング演算処理よりさらに細かい処理単位で制御するようにし、より細かな制御を可能とするようにしてもよいし、複数のリフティング演算処理を処理単位とし、制御処理をより簡易化するようにしてもよい。

また、以上においては５×３フィルタのリフティングについて説明したが、フィルタ処理に使用されるフィルタはどの様なフィルタを用いてもよく、例えば、９×７フィルタを用いるようにしてもよい。

さらに、エントロピ復号処理とウェーブレット逆変換処理を互いに異なる処理部において実行するようにしてもよい。

上述した一連の処理は、ソフトウエアにより実行させることもできるが、ハードウェアにより実行させることもできる。上述したソフトウェアプログラムは、実行可能な装置であればどのような装置において実行させるようにしてもよく、例えば、図２３に示されるようなパーソナルコンピュータにおいて実行させるようにしてもよい。

図２３において、パーソナルコンピュータ５００のCPU５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）、LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、例えばインターネットに代表されるネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。

以上説明した本発明は、複数の端末間で画像を圧縮して伝送、受信して伸長して画像を出力するシステム、特に低遅延で実現する必要性が高いプロダクツ・アプリケーションに好適である。具体的には、放送局で多用するデジタルトライアックスシステム、ライブ映像配信システム、TV会議システム、監視カメラ・レコーダシステム、医用遠隔医療診断、生徒と教師間のインタラクティブ通信、ビデオゲーム等に応用が可能である。また、画像データが圧縮符号化された符号化データが記録された記録媒体よりその符号化データを読み出して復号し画像データを再生する装置（記録再生装置も含む）やシステム等にも適用可能である。

符号化部の構成例を示す図である。 ウェーブレット変換について概略的に説明するための略線図である。 ウェーブレット変換について概略的に説明するための略線図である。 ウェーブレット変換について概略的に説明するための略線図である。 ウェーブレット変換について概略的に説明するための略線図である。 ５×３分析フィルタのリフティング構成の例を説明する図である。 ５×３合成フィルタのリフティング構成の例を説明する図である。 分析フィルタ処理および合成フィルタ処理の流れの例を説明する図である。 分析フィルタ処理および合成フィルタ処理の流れの例を説明する図である。 一般的なコンピュータの部分的な構成例を示す図である。 本発明を適用した復号部の一実施形態に係る構成例を示す図である。 制御処理の流れの例を説明するフローチャートである。 合成フィルタ処理の流れの例を説明する模式図である。 エントロピ復号処理およびウェーブレット逆変換処理の流れの例を説明する模式図である。 データの授受の様子の例を説明するフローチャートである。 処理実行タイミングの例を説明する模式図である。 制御処理の流れの、他の例を説明するフローチャートである。 合成フィルタ処理の流れの、他の例を説明する模式図である。 エントロピ復号処理およびウェーブレット逆変換処理の流れの、他の例を説明する模式図である。 制御処理の流れの、さらに他の例を説明するフローチャートである。 合成フィルタ処理の流れの、さらに他の例を説明する模式図である。 エントロピ復号処理およびウェーブレット逆変換処理の流れの、さらに他の例を説明する模式図である。 本発明を適用したパーソナルコンピュータの構成例を示す図である。

符号の説明

１００ コンピュータ， １１１ CPU， １１３ メインメモリ， １３１ Ｌ１キャッシュ， １３２ Ｌ２キャッシュ， ２００ 復号部， ２１１ 制御部， ２２１ 符号化データ入力部， ２２２ エントロピ復号部， ２２３ 途中計算用バッファ部， ２２４ ウェーブレット逆変換部， ２２５ 画像データ出力部

Claims (6)

1. 符号化データを復号する復号手段と、
   分析フィルタ処理により階層的に複数の周波数帯域に分割された画像データの、互いに同じ階層の周波数帯域を合成する合成手段と、
   前記画像データが前記分析フィルタ処理されて得られた周波数成分であって、前記画像データの処理対象の２ラインを生成するために必要な、前記合成手段による合成が行われていない周波数成分のうち最も上位の階層の周波数成分を特定する特定処理を実行する周波数成分特定手段と、
   前記特定処理により特定された前記周波数成分に対応する符号化データを復号させ、前記周波数成分を得る復号処理を実行させる復号制御手段と、
   前記復号処理により得られた前記周波数成分を合成する合成フィルタ処理を実行させる合成フィルタ処理制御手段と、
   前記処理対象の２ラインが得られるまで前記特定処理、前記復号処理、および前記合成フィルタ処理を繰り返し実行させる第１の繰り返し制御手段と
   を備える情報処理装置。
2. 前記合成フィルタ処理の実行後、不要な周波数成分を削除する削除手段をさらに備える
   請求項１に記載の情報処理装置。
3. 前記画像データの復元されていないラインのうち、最も上に位置する２ラインを処理対象として特定するライン特定手段と、
   前記ライン特定手段により特定された前記処理対象の２ラインについて、前記第１の繰り返し制御手段の制御により、前記特定処理、前記復号処理、および前記合成フィルタ処理が繰り返し行われ、前記処理対象の２ラインが得られると、前記画像データの画像の全ラインが得られるまで新たな前記処理対象の２ラインを特定させる第２の繰り返し制御手段と
   をさらに備える請求項１に記載の情報処理装置。
4. 前記合成手段は、前記周波数帯域の合成をリフティング演算によって行う
   請求項１に記載の情報処理装置。
5. 前記合成手段は、垂直方向および水平方向に前記周波数帯域の合成を行う
   請求項１に記載の情報処理装置。
6. 情報処理装置の情報処理方法であって、
   画像データが分析フィルタ処理により階層的に複数の周波数帯域に分割されて得られた周波数成分であって、前記画像データの処理対象の２ラインを生成するために必要な、互いに同じ階層の周波数帯域の合成が行われていない周波数成分のうち最も上位の階層の周波数成分を特定する特定処理を実行し、
   前記特定処理により特定された前記周波数成分に対応する符号化データを復号して前記周波数成分を生成する復号処理を実行し、
   前記復号処理により得られた前記周波数成分を合成する合成フィルタ処理を実行し、
   前記処理対象の２ラインが得られるまで前記特定処理、前記復号処理、および前記合成フィルタ処理を繰り返す
   ステップを含む情報処理方法。

Images