JP5263621B2 - 画像処理装置および方法 - Google Patents

Description

本発明は、画像処理装置および方法に関し、特に、画像の符号化や復号の単位時間当たりの処理能力を向上させることができるようにした画像処理装置および方法に関する。

従来の代表的な画像圧縮方式として、ISO（International Standards Organization）によって標準化されたJPEG（Joint Photographic Experts Group）やJPEG2000がある。

近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCT（Discrete Cosine Transform）変換で問題になる高圧縮でのブロック歪みが無いことから、DCTに代わる新たな技術として有力視されている。

2001年１月に国際標準化が完了したJPEG2000は、このウェーブレット変換に高能率なエントロピー符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、JPEGに比べて符号化効率の大きな改善を実現している。

このJPEG2000はデジタルシネマ規格（DCI（Digital Cinema Initiative）規格）用の標準コーデックとしても選定されており、映画の様な動画像用の圧縮にも使われ始めている。また各メーカからJPEG2000を監視カメラや放送局用の取材カメラ、セキュリティ・レコーダなどに応用した製品も出始めている。

しかしながら、JPEG2000は基本的にピクチャ単位の符号化・復号を行うため、リアルタイム送受信に使うために低遅延を実現しようとした場合、エンコード（符号化）で最低１ピクチャ分、デコード（復号）でも最低１ピクチャ分の遅延が生じる。

これはJPEG2000のみならず、AVC（Advanced Video Coding）イントラ、JPEG等どのコーデックについても同様である。但し、最近になって、画面を幾つかの矩形スライスまたはタイルに分けて、それらを独立にエンコード・デコードを行うことで遅延時間を短縮する手段が提案されている（例えば、特許文献１参照）。

特開２００７−３１１９２４号公報

しかしながら、近年においては、取り扱う画像の解像度、フレームレート、および階調等の値がさらに大きくなり、画像データのデータ量が増大している。

このような画像をより低遅延で（略リアルタイムに）符号化し復号するために、結果として、スループット（単位時間当たりの処理能力）の更なる向上が求められている。そのスループットの更なる向上のために、画像の符号化、符号化データの伝送、および符号化データの復号等、各処理の更なる効率化が求められる。

本発明は、このような状況に鑑みて提案されたものであり、画像の符号化や復号の単位時間当たりの処理能力を向上させることを目的とする。

本発明の一側面は、階層的に分析フィルタ処理を行い、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックを、周波数帯域毎に分解された係数データに変換する分析フィルタ手段と、前記分析フィルタ手段により生成された前記係数データを符号化する符号化手段と、前記符号化手段により前記係数データが符号化されて得られる符号化データの並びを、前記分析フィルタ手段による前記分析フィルタ処理の出力順から、合成フィルタ処理される順とは異なる所定の順であり、伝送路の不安定さに対する耐性を向上させる伝送順に並び替える符号化データ並び替え手段とを備える画像処理装置である。

前記符号化データ並び替え手段は、各分割レベルの前記符号化データを、前記伝送順として、低域成分から高域成分に向かう順に並び替えることができる。

前記分析フィルタ手段により生成された前記係数データの並びを、前記分析フィルタ手段による前記分析フィルタ処理の出力順から、前記合成フィルタ処理される順および前記伝送順と異なる所定の順であり、前記符号化データのレート制御を容易にする符号化順に並び替える係数データ並び替え手段と、
前記係数データ並び替え手段により並び替えられた前記係数データを量子化する量子化手段と、
前記符号化手段による符号化結果に基づいて、前記量子化手段による量子化の量子化ステップサイズを制御することにより前記符号化データのレートを制御するレート制御手段と
をさらに備え、
前記符号化手段は、前記量子化手段により量子化された前記係数データを符号化することができる。

前記係数データ並び替え手段は、各分割レベルの前記係数データを、前記伝送順として、高域成分から低域成分に向かう順に並び替えることができる。

前記分析フィルタ手段は、前記分析フィルタ処理を、リフティング演算を用いて行うことができる。

前記分析フィルタ手段は、初期状態のラインブロックに対しては、必要な画素の対称拡張を行ってから前記リフティング演算を行い、定常状態のラインブロックに対しては、前回の前記リフティング演算結果を利用して、前記リフティング演算を行うことができる。

前記分析フィルタ手段は、前記係数データに対して、水平方向に前記リフティング演算を行ってから、垂直方向に前記リフティング演算を行うことができる。

本発明の一側面は、また、画像処理装置の分析フィルタ手段が、階層的に分析フィルタ処理を行い、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックを、周波数帯域毎に分解された係数データに変換し、前記画像処理装置の符号化手段が、前記分析フィルタ処理により生成された前記係数データを符号化し、前記画像処理装置の符号化データ並び替え手段が、前記係数データが符号化されて得られる符号化データの並びを、前記分析フィルタ処理の出力順から、合成フィルタ処理される順とは異なる所定の順であり、伝送路の不安定さに対する耐性を向上させる伝送順に並び替える画像処理方法である。

本発明の他の側面は、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データを、復号する復号手段と、前記復号手段により復号されて得られた前記係数データの並びを、前記復号手段により復号された順から、合成フィルタ処理される順に並び替える係数データ並び替え手段と、階層的に前記合成フィルタ処理を行い、前記係数データ並び替え手段により並び替えられた各サブバンドの前記係数データを前記画像データに変換する合成フィルタ手段とを備える画像処理装置である。

前記合成フィルタ手段は、実行可能な中で、より下位の階層のサブバンドの係数データに対する前記合成フィルタ処理を優先的に実行することができる。

前記符号化データを解読する解読手段と、前記解読手段による解読結果に基づいて、前記符号化データを、各階層の前記係数データの１ライン分に対応する符号化データ毎に分割し、抽出する抽出手段とをさらに備え、前記復号手段は、前記抽出手段により抽出された前記符号化データを復号することができる。

前記係数データ並び替え手段は、前記解読手段による解読結果に基づいて、前記係数データの並び順を判別し、判別された並び順を、合成フィルタ処理される順に替えることができる。

前記合成フィルタ手段は、前記合成フィルタ処理を、リフティング演算を用いて行うことができる。

前記合成フィルタ手段は、初期状態のラインブロックに対しては、必要な係数データの対称拡張を行ってから前記リフティング演算を行い、定常状態のラインブロックに対しては、前回の前記リフティング演算結果を利用して、前記リフティング演算を行うことができる。

前記合成フィルタ手段は、前記係数データに対して、水平方向に前記リフティング演算を行ってから、垂直方向に前記リフティング演算を行うことができる。

本発明の他の側面は、また、画像処理装置の復号手段は、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データを、復号し、前記画像処理装置の係数データ並び替え手段は、復号されて得られた前記係数データの並びを、その復号された順から、合成フィルタ処理される順に並び替え、前記画像処理装置の合成フィルタ手段は、階層的に前記合成フィルタ処理を行い、並び替えられた各サブバンドの前記係数データを前記画像データに変換する画像処理方法である。

本発明の一側面においては、階層的に分析フィルタ処理が行われ、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックが、周波数帯域毎に分解された係数データに変換され、分析フィルタ処理により生成された係数データが符号化され、係数データが符号化されて得られる符号化データの並びが、分析フィルタ処理の出力順から、合成フィルタ処理される順とは異なる所定の順であり、伝送路の不安定さに対する耐性を向上させる伝送順に並び替えられる。

本発明の他の側面においては、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データが、復号され、その復号されて得られた係数データの並びが、その復号された順から、合成フィルタ処理される順に並び替えられ、階層的に合成フィルタ処理が行われ、並び替えられた各サブバンドの係数データが画像データに変換される。

本発明によれば、画像を符号化または復号することができる。特に、画像を符号化し、復号する処理の単位時間当たりの処理能力をより向上させることができる。

本発明を適用した画像符号化装置の主な構成例を示すブロック図である。 サブバンドおよびラインブロックを説明する図である。 ５×３フィルタの例を示す図である。 リフティング演算例を説明する図である。 分析フィルタリングの処理の様子を説明する図である。 分析フィルタリングの処理の様子を説明する図である。 分析フィルタリングの処理の様子を説明する図である。 分析フィルタリングの処理の様子を説明する図である。 係数データの出力順の例を説明する図である。 係数データの出力順を説明する図である。 符号化前の係数データの並び替えを説明する図である。 ヘッダ情報の付加の例を説明する図である。 符号化後の符号化データの並び替えを説明する図である。 符号化処理の流れの例を説明するフローチャートである。 マーカの付加の例を説明する図である。 本発明を適用した画像復号装置の主な構成例を示すブロック図である。 復号後の係数データの並び替えを説明する図である。 リフティング演算例を説明する図である。 合成フィルタリングの処理の様子を説明する図である。 係数データの処理順の例を説明する図である。 ラインブロックの変換処理の様子の例を説明する図である。 復号処理の流れの例を説明するフローチャートである。 本発明を適用した画像伝送システムの主な構成例を示すブロック図である。 本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（伝送システム）
４．第４の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［デバイスの構成］
図１は、本発明を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。

図１において、画像符号化装置１００は、画像データを符号化する装置である。画像符号化装置１００は、画像ライン入力部１０１、ラインバッファ部１０２、ウェーブレット変換部１０３、係数ライン並び替え部１０４、量子化部１０５、エントロピ符号化部１０６、付加部１０７、符号ライン並び替え部１０８を有する。画像符号化装置１００は、さらにレート制御部１０９を有する。

画像ライン入力部１０１は、入力される画像データ（矢印Ｄ１０）を、ライン毎にラインバッファ部１０２に供給し（矢印Ｄ１１）、ラインバッファ部１０２に蓄積させる。ラインバッファ部１０２は、画像ライン入力部１０１から供給される画像データや、ウェーブレット変換部１０３から供給される係数データを保持し、所定のタイミングにおいてその画像データや係数データをウェーブレット変換部１０３に供給する（矢印Ｄ１２）。

ウェーブレット変換部１０３は、ラインバッファ部１０２から供給される画像データや係数データに対してウェーブレット変換を行い、次の階層の低域成分と高域成分の係数データを生成する。ウェーブレット変換の詳細については後述する。

ウェーブレット変換部１０３は、生成した係数データの、垂直方向および水平方向に低域な成分をラインバッファ部１０２に供給して保持させ（矢印Ｄ１３）、その他の成分を係数ライン並び替え部１０４に供給する（矢印Ｄ１４）。なお、ウェーブレット変換部１０３は、生成した係数データが最上位層である場合、垂直方向および水平方向に低域な成分も係数ライン並び替え部１０４に供給する。

係数ライン並び替え部１０４には、ウェーブレット変換部１０３から係数データ（係数ライン）が供給される（矢印Ｄ１４）。係数ライン並び替え部１０４は、その係数データ（係数ライン）の順序を、ウェーブレット逆変換処理の順序とも、伝送時の順序とも異なる所定の順序である符号化処理用の順序に並び替える。

図１に示されるように、係数ライン並び替え部１０４は、係数ライン並び替えバッファ１１１および係数ライン読み出し部１１２を有する。係数ライン並び替えバッファ１１１は、ウェーブレット変換部１０３から供給される係数ラインを保持する。係数ライン読み出し部１１２は、係数ライン並び替えバッファ１１１に保持された係数ラインを、符号化処理用の順序で読み出す（矢印Ｄ１５）ことにより、並び替えを行う。この並び替えの詳細については後述する。

係数ライン並び替え部１０４（係数ライン読み出し部１１２）は、順序を並び替えた係数データを量子化部１０５に供給する（矢印Ｄ１６）。

量子化部１０５は、係数ライン並び替え部１０４から供給された係数データに対して、量子化を行う。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手段、つまり、以下の式（１）に示されるような、係数データＷを量子化ステップサイズＱで除算する手法を用いれば良い。

量子化係数＝Ｗ／Ｑ ・・・（１）

なお、この量子化ステップサイズＱは、レート制御部１０９により指定される。量子化部１０５は、量子化された係数データをエントロピ符号化部１０６に供給する（矢印Ｄ１７）。

エントロピ符号化部１０６は、量子化部１０５から供給される係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部１０６は、１係数ラインを符号化すると、その１係数ラインから生成された符号化データである１符号ラインを付加部１０７に供給する（矢印Ｄ１８）。エントロピ符号化部１０６は、さらに、その１符号ラインの符号量を付加部１０７に供給する（点線矢印Ｄ２４）。

付加部１０７は、エントロピ符号化部１０６から供給された１符号ラインに対して、同じくエントロピ符号化部１０６から供給されたその１符号ラインの符号量を、ヘッダ情報として付加する。ヘッダ情報の付加の詳細については後述する。ヘッダ情報を付加すると、付加部１０７は、その符号化データ（符号ライン）を符号ライン並び替え部１０８に供給する（矢印Ｄ１９）。

符号ライン並び替え部１０８は、その符号ラインの順序を、ウェーブレット逆変換処理の順序とは異なる所定の順序である伝送用の順序に並び替える。

図１に示されるように、符号ライン並び替え部１０８は、符号ライン並び替えバッファ１２１および符号ライン読み出し部１２２を有する。符号ライン並び替えバッファ１２１は、付加部１０７から供給される符号ライン（ヘッダ情報を含む）を保持する。符号ライン読み出し部１２２は、符号ライン並び替えバッファ１２１に保持される符号ラインを、伝送用の順序で読み出す（矢印Ｄ２０）ことにより、並び替えを行う。この並び替えの詳細については後述する。

符号ライン並び替え部１０８（符号ライン読み出し部１２２）は、順序を並び替えた符号化データを画像符号化装置１００の外部に出力する（矢印Ｄ２１）。画像符号化装置１００の外部に出力された符号化データは、例えばネットワーク等を介して、後述する画像復号装置に供給される。

この符号化データは、符号ライン並び替え部１０８により、伝送に適した順に並び替えられている。これにより、例えば、伝送可能レートの不安定さに対する耐性を向上させることができる。

なお、エントロピ符号化部１０６は、各符号ラインの符号量を、レート制御部１０９にも供給する（点線矢印Ｄ２２）。

レート制御部１０９は、エントロピ符号化部１０６から供給される符号ライン毎の符号量に基づいて、画像の符号化難易度を推定し、その符号化難易度に応じて量子化部１０５により用いられる量子化ステップサイズＱを指定する（点線矢印Ｄ２３）。つまり、レート制御部１０９は、量子化ステップサイズＱを指定することにより、符号化データのレート制御を行う。

係数ラインは、係数ライン並び替え部１０４により、レート制御部１０９が符号化難易度をより早期に推定することができるような順序に並び替えられる。つまり、係数ラインは、その画像の特徴を多く含むものほど先にエントロピ符号化部１０６によって符号化されるような順に並び替えられる。

このようにすることにより、画像の特徴をより強く反映する符号量がより先にレート制御部１０９に供給されることになるので、レート制御部１０９は、より早期に、量子化ステップサイズＱを、画像の符号化難易度に応じた値にする（より早期に適切なレート制御を行う）ことができる。

［サブバンドの説明］
次に、ウェーブレット変換について説明する。ウェーブレット変換は、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）とに分割する分析フィルタリングを、再帰的に繰り返すことにより、画像データを、階層的に構成される周波数成分毎の係数データに変換する処理である。なお、以下において、分割レベルは、高域成分の階層ほど下位とし、低域成分の階層ほど上位とする。

１つの階層（分割レベル）において、分析フィルタリングは、水平方向と垂直方向の両方について行われる。最初に水平方向の分析フィルタリングが行われ、次に垂直方向の分析フィルタリングが行われる。したがって、１つの階層の係数データ（画像データ）は、１階層分の分析フィルタリングにより４つのサブバンド（ＬＬ、ＬＨ、ＨＬ、およびＨＨ）に分割される。そして、次の階層の分析フィルタリングは、生成された４つのサブバンドのうち、水平方向および垂直方向の両方について低域な成分（ＬＬ）に対して行われる。

このように分析フィルタリングを再帰的に繰り返すことにより、空間周波数の低い帯域の係数データをより小さな領域に追い込むことができる。したがって、このようにウェーブレット変換された係数データを符号化するようにすることにより、効率的な符号化が可能となる。

図２は、分析フィルタリングを４回繰り返して生成される係数データの構成について説明する図である。

ベースバンドの画像データに対して分割レベル１の分析フィルタリングが行われると、画像データは、分割レベル１の４つのサブバンド（１ＬＬ、１ＬＨ、１ＨＬ、および１ＨＨ）に変換される。この分割レベル１の、水平方向および垂直方向の両方に対して低域成分のサブバンド１ＬＬに対して、分割レベル２の分析フィルタリングが行われ、分割レベル２の４つのサブバンド（２ＬＬ、２ＬＨ、２ＨＬ、および２ＨＨ）に変換される。この分割レベル２の、水平方向および垂直方向の両方に対して低域成分のサブバンド２ＬＬに対して、分割レベル３の分析フィルタリングが行われ、分割レベル３の４つのサブバンド（３ＬＬ、３ＬＨ、３ＨＬ、および３ＨＨ）に変換される。この分割レベル３の、水平方向および垂直方向の両方に対して低域成分のサブバンド３ＬＬに対して、分割レベル４の分析フィルタリングが行われ、分割レベル４の４つのサブバンド（４ＬＬ、４ＬＨ、４ＨＬ、および４ＨＨ）に変換される。

図２は、このようにして、１３個のサブバンドに分割された係数データの構成を示している。

以上のような分析フィルタリングにより、処理対象となる２ラインの画像データまたは係数データから、１階層上の４つのサブバンドの係数データが１ラインずつ生成される。したがって、図２の斜線部分で示されるように、分割レベル４のサブバンドの係数データが１ラインずつ生成されるのに、サブバンド３ＬＬは２ライン必要であり、サブバンド２ＬＬは４ライン必要であり、サブバンド１ＬＬは８ライン必要である。つまり、１６ラインの画像データが必要になる。

このような最低域成分のサブバンドの１ライン分の係数データを生成するために必要なライン数の画像データをラインブロック（またはプレシンクト）と称する。また、ラインブロックは、その１ラインブロックの画像データをウェーブレット変換して得られる各サブバンドの係数データの集合のことも示す。

例えば、図２の例の場合、図示せぬ１６ラインの画像データが１ラインブロックとなる。また、ラインブロックは、その１６ラインの画像データから生成される、分割レベル１の各サブバンドの８ラインの係数データ、分割レベル２の各サブバンドの４ラインの係数データ、分割レベル３の各サブバンドの２ラインの係数データ、および分割レベル４の各サブバンドの１ラインの係数データのことを示す場合もある。

ウェーブレット変換部１０３は、ウェーブレット変換をこのようなラインブロック毎に行うとも言える。

ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、各分割レベル内、または各サブバンド内において形成される１行のことを示す。

この１ライン分の係数データ（画像データ）を係数ラインとも称する。より詳細に区別して説明する必要がある場合、適宜表現を変える。例えば、あるサブバンドのある１ラインを「あるサブバンドの係数ライン」と称し、１つ下位の階層の同じ２係数ラインから生成された、ある階層（分割レベル）の全サブバンド（ＬＨ，ＨＬ、およびＨＨ（最上位層の場合ＬＬも含む））の１ラインを「ある分割レベル（または階層）の係数ライン」と称する。

図２の例の場合、「分割レベル４（最上位層）の係数ライン」は、サブバンド４ＬＬ，４ＬＨ，４ＨＬ、および４ＨＨの、互いに対応する（１つ下位の分割レベルの同じ係数ラインから生成された）ある１ラインを示す。また、「分割レベル３の係数ライン」は、サブバンド３ＬＨ，３ＨＬ、および３ＨＨの、互いに対応するある１ラインを示す。さらに、「サブバンド２ＨＨの係数ライン」は、サブバンド２ＨＨのある１ラインを示す。

なお、１係数ライン（１ライン分の係数データ）が符号化された１ライン分の符号化データを符号ラインとも称する。

図２においては、分割レベル４のウェーブレット変換について説明した。以下においても、基本的に、ウェーブレット変換は分割レベル４まで行われるものとして説明するが、実際には、ウェーブレット変換の階層数（分割レベル）は任意である。

［リフティング演算］
ウェーブレット変換部１０３は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。

このウェーブレット変換の具体的な例として、５×３フィルタを用いる方法について説明する。この５×３フィルタを用いる方法は、従来技術で既に説明したJPEG（Joint Photographic Experts Group）2000規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。

５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（２）および式（３）に示すように、低域フィルタＨ ₀ （ｚ）と、高域フィルタＨ₁（ｚ）とから構成される。式（２）および式（３）から、低域フィルタＨ₀（ｚ）は、５タップで、高域フィルタＨ₁（ｚ）は、３タップであることが分かる。

Ｈ₀（ｚ）＝（−１＋２ｚ^-1＋６ｚ^-2＋２ｚ^-3−ｚ^-4）/８ ・・・（２）
Ｈ₁（ｚ）＝（−１＋２ｚ^-1−ｚ^-2）/２ ・・・（３）

これら式（２）および式（３）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。

図３は、５×３フィルタをリフティング表現した図である。図中、最上部の一列が入力信号列である。データ処理は画面上から下方向に流れ、以下の式（４）および式（５）により、高域成分の係数（高域係数）と、低域成分の係数（低域係数）とが出力される。

ｄ_i ¹＝ｄ_i ⁰−１／２（ｓ_i ⁰＋ｓ_i+1 ⁰） ・・・（４）
ｓ_i ¹＝ｓ_i ⁰＋１／４（ｄ_i-1 ¹＋ｄ_i ¹） ・・・（５）

図４は、５x３分析フィルタを用いて、縦方向のラインに対してフィルタリングを行った場合の図である。横方向は、演算過程とそれによって生成される低域・高域係数を図示したものである。図３の場合と照らし合わせて見れば水平が垂直に変わっただけであり、演算の方法は全く同様であることがわかる。

画像の上端においては、矢印１５１に示されるように、Line-１から最上位ラインが点線の様に対称拡張され、１ラインが補填される。枠１５２で示されるように、これとLine-0、Line-１の合計３ラインを用いてリフティング演算が行われ、Step-1の演算で係数ａが生成される。これは高域係数（Ｈ０）である。

Line-1,Line-2,Line-3が入力されると、この３ラインを用いて次の高域係数ａが算出される。これは高域係数（Ｈ１）である。そして、上記の１番目の高域係数ａ（Ｈ０）と２番目高域係数ａ（Ｈ１）、及びLine-1の係数の合計３つの係数を用いて、式２に従い計算すると係数ｂが生成される。これは低域係数（Ｌ１）である。つまり、枠１５３で示されるように、Line-1,Line-2,Line-3の３ラインと、高域係数（Ｈ０）とを用いて、低域係数（Ｌ１）および高域係数（Ｈ１）が生成される。

その後、２ラインが入力される毎に、上記のリフティング演算が後続のラインに対しても同様に繰り返され、低域係数と高域係数とが出力される。そして、枠１５４に示されるように、低域係数（Ｌ（Ｎ−１））および高域係数（Ｈ（Ｎ−１））が生成されると、高域係数（Ｈ（Ｎ−１））が矢印１５５のように対称拡張され、枠１５６のように演算が行われ、低域成分（Ｌ（Ｎ））が生成される。

以上のリフティング演算は、各階層について再帰的に行われる。

また図４は垂直方向のラインに対してフィルタリングを行った例であるが、水平方向のフィルタリングの場合でも全く同様に考えることができることは自明である。

［分析フィルタリングの手順］
以上のような分析フィルタリングは、図５乃至図８のように進められる。

すなわち、図５の左に示されるようにベースバンドの画像データが３ライン入力されると、図４を参照して説明したようにリフティング演算が行われ、図５の右に示されるように、分割レベル１の各サブバンド（１ＬＬ，１ＬＨ，１ＨＬ，１ＨＨ）が１ラインずつ生成される。

その後、ベースバンドの画像データが２ライン入力される毎に、同様のリフティング演算が行われるので、図６の左に示されるように、ベースバンドの画像データ７ラインから、図６の右に示されるように、分割レベル１の各サブバンドの係数ラインが３ラインずつ生成される。

図７の左（図６の右）に示されるように、１ＬＬの係数ラインが３ライン生成されると、図４を参照して説明したようにリフティング演算が行われ、図７の右に示されるように、分割レベル２の各サブバンド（２ＬＬ，２ＬＨ，２ＨＬ，２ＨＨ）が１ラインずつ生成される。分割レベル１においてもベースバンドのときと同様に、その後は１ＬＬの係数ラインが２ラインずつ生成される毎にリフティング演算が行われ、分割レベル２の各サブバンドの係数ラインが１ラインずつ生成される。

したがって、図８の左に示されるように、ベースバンドの画像データが１１ラインから、図８の右に示されるように、分割レベル２の各サブバンドの係数ラインが２ラインと、分割レベル１の１ＬＨ，１ＨＬ、および１ＨＨの各サブバンドの係数ラインが５ラインずつ生成される。

つまり、その時点で実行可能な、もっとも上位の階層のリフティング演算が実行される。換言すれば、より上位の階層のリフティング演算が優先的に実行される。また、分析フィルタリングは、画像上端の初期状態においては、３ラインの画像データ若しくは係数データが入力として必要である。ただし、それ以外の部分の定常状態においては、２ラインの画像データ若しくは係数データが入力される毎に分析フィルタリングが行われる。

以上のような手順でリフティング演算は進行される。

［ウェーブレット変換部１０３の出力］
次に、以上のような手順で分析フィルタリングを行うウェーブレット変換部１０３から出力されるデータについて説明する。図９は、初期状態において、ウェーブレット変換部１０３から出力されるデータを時系列順に示す図である。図９においては、ウェーブレット変換部１０３から出力されるデータが、図中、上から下に向かう方向に時系列順に並べられている。

ウェーブレット変換部１０３が上述したような手順で分析フィルタリングを行うので、初期状態において、分割レベル１（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の上から１番目の係数ライン（ライン１）が、ウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン１は、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン２（上から２番目の係数ライン）およびライン３（上から３番目の係数ライン）が、生成され次第、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン２とライン３は、ラインバッファ部１０２に供給され保持される。

上述したように、ウェーブレット変換部１０３は、ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが３ライン（２回目以降は２ライン）保持されると、それらに対して分割レベル１の分析フィルタリングを行う。

したがって、分割レベル１のライン３が出力された後、分割レベル２（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）のライン１がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン１は、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン４（上から４番目の係数ライン）およびライン５（上から５番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン４とライン５は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されたので、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン２がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン２は、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン６（上から６番目の係数ライン）およびライン７（上から７番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン６とライン７は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されたので、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン３がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン３は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが３ライン（２回目以降は２ライン）保持されたので、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３（サブバンド３ＨＨ，３ＨＬ、および３ＬＨ）のライン１がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのライン１は、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン８（上から８番目の係数ライン）およびライン９（上から９番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン８とライン９は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン４がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン４は、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン１０（上から１０番目の係数ライン）およびライン１１（上から１１番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン１０とライン１１は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン５がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン５は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のライン２がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのライン２は、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン１２（上から１２番目の係数ライン）およびライン１３（上から１３番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン１２とライン１３は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン６がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン６は、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン１４（上から１４番目の係数ライン）およびライン１５（上から１５番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン１４とライン１５は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン７がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン７は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のライン３がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのライン３は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド３ＬＬの係数ラインが３ライン（２回目以降は２ライン）保持されると、それらに対して分割レベル３の分析フィルタリングが行われ、分割レベル４（４ＨＨ，４ＨＬ，４ＬＨ、および４ＨＨ）のライン１がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。

以上が、初期状態においてウェーブレット変換部１０３から出力される１ラインブロック分の係数ライン群である。初期状態が終了すると、２ラインずつ処理される定常状態に移行する。

図１０は、定常状態において、ウェーブレット変換部１０３から出力されるデータを時系列順に示す図である。図１０においては、図９と同様に、ウェーブレット変換部１０３から出力されるデータが、図中、上から下に向かう方向に時系列順に並べられている。

ウェーブレット変換部１０３が上述したような手順で分析フィルタリングを行うので、定常状態のあるタイミングにおいて、分割レベル１のラインＬ（上からＬ番目の係数ライン）およびライン（Ｌ＋１）（上から（Ｌ＋１）番目の係数ライン）が、生成され次第、順次、ウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのラインＬおよびライン（Ｌ＋１）は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のラインＭ（上からＭ番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのラインＭは、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン（Ｌ＋２）（上から（Ｌ＋２）番目の係数ライン）およびライン（Ｌ＋３）（上から（Ｌ＋３）番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン（Ｌ＋２）とライン（Ｌ＋３）は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン（Ｍ＋１）（上から（Ｍ＋１）番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン（Ｍ＋１）は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のラインＮ（上からＮ番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのラインＮは、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン（Ｌ＋４）（上から（Ｌ＋４）番目の係数ライン）およびライン（Ｌ＋５）（上から（Ｌ＋５）番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン（Ｌ＋４）とライン（Ｌ＋５）は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン（Ｍ＋２）（上から（Ｍ＋２）番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン（Ｍ＋２）は、ラインバッファ部１０２に供給され保持される。

続いて、分割レベル１のライン（Ｌ＋６）（上から（Ｌ＋６）番目の係数ライン）およびライン（Ｌ＋７）（上から（Ｌ＋７）番目の係数ライン）が、この順に生成され、順次、係数ライン並び替え部１０４に供給される。サブバンド１ＬＬのライン（Ｌ＋６）とライン（Ｌ＋７）は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド１ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン（Ｍ＋３）（上から（Ｍ＋３）番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド２ＬＬのライン（Ｍ＋３）は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド２ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のライン（Ｎ＋１）（上から（Ｎ＋１）番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。また、サブバンド３ＬＬのライン（Ｎ＋１）は、ラインバッファ部１０２に供給され保持される。

ラインバッファ部１０２にサブバンド３ＬＬの係数ラインが２ライン保持されると、それらに対して分割レベル３の分析フィルタリングが行われ、分割レベル４のラインＰ（上からＰ番目の係数ライン）がウェーブレット変換部１０３から出力され、係数ライン並び替え部１０４に供給される。

以上のような定常状態において、一番下のラインまで処理される。

なお、ウェーブレット変換部１０３の各係数ラインの処理順、すなわち、ウェーブレット変換部１０３からの各係数ラインの出力順は、任意であり、上述した以外の順序であってもよい。ただし、上述したような手順で分析フィルタリングを行うことにより、ウェーブレット変換部１０３は、効率よく各係数ラインを生成することができ、低遅延に変換処理を行うことができる。

［係数ライン並び替え］
図９および図１０を参照して説明したような順でウェーブレット変換部１０３から出力された各分割レベルの係数ラインは、係数ライン並び替え部１０４の係数ライン並び替えバッファ１１１に保持される。係数ラインが１ラインブロック分蓄積されると、係数ライン読み出し部１１２は、各係数ラインを、ウェーブレット逆変換処理の順序とも、伝送時の順序とも異なる所定の順序である符号化処理用の順序で読み出すことにより、係数ラインの並び替えを行う。

ウェーブレット変換処理の順序や伝送時の順序については後述するが、符号化処理用の順序とは、レート制御部１０９が符号化難易度をより早期に推定することができるような順序のことである。換言するに、係数ライン読み出し部１１２は、画像の特徴をより多く含む係数ラインほど優先的に読み出す。

一般的に画像信号は、より低域な成分ほど、エネルギーが集中しており、逆に高域成分には人間の視覚特性的に検知しにくいエッジやノイズ成分が反映される。つまり高域成分には係数が元々少ないので、その高域成分の係数がより先に符号化されるようにすることによって、その画像の符号化難易度がより早く判明するようにすることができる。

したがって、係数ライン読み出し部１１２は、例えば、係数ラインを、図１１に示されるように高域成分から低域成分に向かう順に読み出す。

図１１において、各係数ラインは、その処理順に並べられている。図中上から下に向かう向きに時系列が示されている。つまり、図１１に示される各係数ラインは、図中上から順に処理される。

つまり、図１１の左側に示されるような順序（ウェーブレット変換出力順）でウェーブレット変換部１０３から出力された各係数ラインは、係数ライン並び替え部１０４により、図１１の右側に示されるような高域成分から低域成分に向かう順（符号化順）に並び替えられる。

より具体的には、係数ライン読み出し部１１２は、分割レベル１の各係数ラインを読み出し、分割レベル２の各係数ラインを読み出し、分割レベル３の各係数ラインを読み出し、最後に分割レベル４の係数ラインを読み出し、読み出した各係数ラインを、その読み出し順に量子化部１０５に供給する。

量子化部１０５は、各係数ラインを、供給された順に処理し、エントロピ符号化部１０６に供給するので、エントロピ符号化部１０６も、この図１１の左に示される順に、各係数ラインを処理することになる。つまり、係数ライン読み出し部１１２が読み出した順序が、符号化順となる。

レート制御部１０９は、係数値が小さければ量子化ステップサイズを小さくするように設定して符号量発生を促進し、係数値が大きければステップサイズを大きくするように設定して符号量の発生を抑制するなどの制御を行う。このような制御を高域成分の符号量に基づいて行うほうが、レート制御部１０９は、画像の符号化難易度をより正確に推定することができる。

つまり、このように並び替えを行うことにより、画像の符号化難易度をより早期に把握することができるので、レート制御部１０９は、より早期に量子化ステップ数を適切な値に設定することができる。すなわち、レート制御が容易になる。

画像符号化装置１００の場合、低遅延に画像を符号化しなければならず、レート制御部１０９は、非常に限られた情報（係数ライン毎の符号量）に基づいて、エントロピ符号化処理と並行して、非常に限られた時間でレート制御を行わなければならない。

仮に、このレート制御を適切に行うことができない場合、不要な画質の劣化を招く恐れがあり、画像符号化装置１００が現実的な装置として成立しない恐れがある。したがって、限られた情報に基づいて短時間で適切なレート制御を行うことは大変重要な意味を持つ。そして、画像符号化装置１００のスループットが向上するほど、このレート制御の難易度は高くなる。

上述したように係数ライン並び替え部１０４が係数ラインの並び替えを行うことにより、より早期に量子化ステップ数を適切な値に設定することができ、レート制御が容易になるので、レート制御部１０９は、スループットの更なる向上に対応することができるようになる。すなわち、画像符号化装置１００は、画像の符号化のスループットをさらに向上させることができる。

なお、係数ライン並び替え部１０４により並び替えられた係数ラインの符号化順は、上述した以外の順であってももちろんよい。ただし、上述した理由から、一般的には、高域成分から低域成分に向かう順を符号化順とするのが望ましい。

また、この係数ラインの並び替えは、エントロピ符号化の前に行われればよく、量子化処理の後に行うようにしてもよい。つまり、係数ライン並び替え部１０４は、量子化部１０５とエントロピ符号化部１０６との間に設けるようにしてもよい。この場合、ウェーブレット変換部１０３から出力される係数ラインは、量子化部１０５において量子化された後、係数ライン並び替えバッファ１１１に供給され、保持される。

［符号量の付加］
上述したように、付加部１０７は、各符号ラインに対して、その符号ラインの符号量を、ヘッダ情報として付加する。図１２にその様子の例を示す。

図１２の例において、付加部１０７は、各分割レベルの符号ライン（符号語）に対して、その符号量をヘッダ情報（Code_info）として付加している。例えば、分割レベル１の符号ライン（ラインＬ）の符号量が１００バイトの場合、その符号ライン（ラインＬ）の例えば先頭に、「１００バイト」を示す情報が、ヘッダ情報（Code_info（Ｌ））として付加される。

上述したように、画像符号化装置１００の各部は、係数データを係数ライン毎に取り扱う。すなわち、各部は、係数ラインの境界を把握することができる。しかしながら、画像符号化装置１００により生成された符号化データを復号する画像復号装置には、各符号ラインが連続して供給されるので、その符号ラインの境界を把握することができない。

そこで、付加部１０７が各符号ラインの符号量を符号化データに付加することにより、画像復号装置は、その符号量に基づいて、符号化データ（ストリーム）を符号ライン毎に分割し、処理することができるようになる。

［符号ラインの並び替え］
図１１を参照して説明したような順で符号化された（付加部１０７から出力された）各分割レベルの符号ラインは、符号ライン並び替え部１０８の符号ライン並び替えバッファ１２１に保持される。符号ラインが１ラインブロック分蓄積されると、符号ライン読み出し部１２２は、各符号ラインを、符号化処理用の順序から、ウェーブレット逆変換処理の順序とは異なる所定の順序である伝送用の順序で読み出すことにより、符号ラインの並び替えを行う。

ウェーブレット逆変換処理の順序については後述するが、伝送用の順序とは、符号化データ（コードストリーム）の伝送に適した順であり、例えば、伝送可能レートの不安定さに対する耐性を向上させることができるような順である。

符号化データを画像符号化装置１００から画像復号装置まで伝送する経路は、様々なものが考えられるが、例えば、インターネットや無線通信等のような、伝送可能レートが不安定で、データロスや伝送エラー等の不具合の発生頻度が高い伝送路を介して符号化データを伝送する場合、実用的なシステムを構築するためには、そのような不具合に対する対処も考慮する必要がある。

したがって、符号ライン読み出し部１２２は、例えば、符号ラインを、図１３に示されるように低域成分から高域成分に向かう順に読み出す。

図１３において、各符号ラインは、その処理順に並べられている。図中上から下に向かう向きに時系列が示されている。つまり、図１３に示される各符号ラインは、図中上から順に処理される。

つまり、図１３の左側に示されるような高域成分から低域成分に向かう順（符号化順）で付加部１０７から出力された各符号ラインは、符号ライン並び替え部１０８により、図１３の右側に示されるような低域成分から高域成分に向かう順（伝送順）に並び替えられる。

より具体的には、符号ライン読み出し部１２２は、分割レベル４の符号ラインを読み出し、分割レベル３の各符号ラインを読み出し、分割レベル２の各符号ラインを読み出し、最後に分割レベル１の各符号ラインを読み出し、読み出した各符号ラインを、その読み出し順に画像符号化装置１００の外部に出力する。つまり、各符号ラインは、この伝送順（低域成分から高域成分に向かう順）に伝送される。

上述したように、より低域な成分ほど、画像のエネルギーが集中している。すなわち、より低域成分の符号ラインほど、画質に大きな影響を持つ。つまり、この画質に重要な低域成分の符号ラインほど、重要であるので、時間的に先に伝送するようにする。

仮に、符号ラインの伝送時にデータロスが発生すると、そのロスしたデータの再送処理が行われる。画像を符号化して伝送し、その伝送された符号化データを復号する処理をより低遅延に（略リアルタイムに）行う場合、その再送処理に許される時間は、有限であり、非常に短い。より低遅延に処理しなければならない場合ほど、その時間は短くなる。

したがって、このような場合、少しでも再送処理に許される時間を長くすることにより、再送処理が成功する可能性を向上させることができ、大変大きな意味を持つ。

仮に、各符号ラインを並び替えず、符号化順のまま、すなわち、高域成分から低域成分に向かう順に伝送させるようにすると、低域成分の符号ラインの再送処理に許される時間は非常に短いものとなり、再送処理の成功率が低減するので、結果として復号画像の画質が低減する恐れが大きくなる。特に、不安定なネットワークを伝送路とする場合、このようなエラーのある程度の発生は、前提となるので、その分、復号画像の画質が劣化してしまうと言える。

また、例えば、無線伝送路等において、伝送可能レートが急激に低下し、画像符号化装置１００のビットレートがそれに追従できなかった場合、送信時の符号ラインのバッファ量が増大し、オーバフローが発生したり、遅延時間が増大したりする恐れがあるが、後から送信する高域成分の符号ラインを切り捨て、送信しないようにして送信レートを低下させることができる。つまり、符号ラインの送信を途中で打ち切り、次のラインブロックの送信に移ることができる。

このような制御により、バッファのオーバフローを回避することができるだけでなく、低遅延な伝送を維持することができる。このとき、高域成分の伝送を先に行っていると、低域成分の符号ラインを切り捨てなければならず、復号画像の画質が大きく劣化してしまう恐れがある。上述したように低域成分を先に送信することにより、高域成分の符号ラインの切り捨てで対応することができるので、このような送信レートの制御を行っても、復号画像の画質に与える影響をより低減させることができる。

なお、スループットがより向上するほど、以上のような伝送時の不具合の発生の可能性は高くなる。

以上のように、符号ライン並び替え部１０８が、符号ラインの順序を、伝送用の順序（例えば低域成分から高域成分に向かう順）に並び替えることにより、画像符号化装置１００は、伝送路の不安定さに対する耐性を強くすることができる。この耐性が弱く、伝送時にエラー等によって復号画像の画質が大きく劣化してしまうと、現実的なシステムであるとは言えない。

つまり、伝送路の不安定さに対する耐性を強くすることにより、画像符号化装置１００は、スループットの更なる向上に対応することができるようになる。すなわち、画像符号化装置１００は、画像の符号化のスループットをさらに向上させることができる。

例えば、伝送時において不具合が発生しないことが保証される状況であれば、符号ライン並び替え部１０８は、低遅延化のために、符号ラインを、ウェーブレット逆変換処理される順に並び替える方が望ましい。

また、例えば、レート制御の応答性が十分であれば（十分に適切なレート制御を行うことができるのであれば）、係数ライン並び替え部１０４は、係数ラインを、伝送順、若しくは、ウェーブレット逆変換処理順に並び替える方が望ましい。

しかしながら、以上のように、例えば、単純に動作クロック速度を上げる等して、符号化や復号のスループットを向上させようとしても、レート制御の応答性や伝送路の不安定さに対する耐性が十分でないと、現実的な処理を行うことができない場合がある。

画像符号化装置１００は、上述したように係数ラインや符号ラインの並び替えを適宜行うことにより、スループットの向上を現実的に実現させることができる。

［処理の流れ］
以上のような画像符号化装置１００の各部により実行される符号化処理の流れの例を、図１４のフローチャートを参照して説明する。なお、この符号化処理は、入力画像のピクチャ毎に実行される。

符号化処理が開始されると、ステップＳ１０１において、画像ライン入力部１０１が、ライン毎に入力される画像データを受け付けながら（ラインバッファ部１０２に保持させながら）、ウェーブレット変換部１０３が、ラインバッファ部１０２に保持されている係数ラインを用いて、ウェーブレット変換を１ラインブロック分行う。

ステップＳ１０２において、ウェーブレット変換部１０３は、１ラインブロック分の処理を行ったか否かを判定する。１ラインブロック分の処理を行っていないと判定された場合、ステップＳ１０１に戻り、ウェーブレット変換処理を継続する。

１ラインブロック分ウェーブレット変換処理を行ったと判定された場合、ステップＳ１０３に進む。

ステップＳ１０３において、係数ライン並び替え部１０４は、ウェーブレット変換された係数データを、符号化処理順に並び替える。ステップＳ１０４において、量子化部１０５は、その係数データを、レート制御部１０９に指定される量子化ステップサイズで量子化する。

ステップＳ１０５において、エントロピ符号化部１０６は、係数データをエントロピ符号化する。ステップＳ１０６において、付加部１０７は、各符号ラインにその符号量をヘッダ情報として付加する。ステップＳ１０７において、符号ライン並び替え部１０８は、符号化データ（符号ライン）を伝送順に並び替える。ステップＳ１０８において、符号ライン並び替え部１０８は、伝送順に並び替えた符号化データを出力する。

ステップＳ１０９において、レート制御部１０９は、エントロピ符号化部１０６におけるエントロピ符号化の情報に基づいて、レート制御を行う。

ステップＳ１１０において、ウェーブレット変換部１０３は、処理対象ピクチャの最終ラインブロック（例えば最下段のラインブロック）まで処理したか否かを判定する。処理していないと判定された場合、ステップＳ１０１に戻り、次のラインブロックに対して、それ以降の処理が繰り返される。また、ステップＳ１１０において、最終ラインブロックまで、処理が終了したと判定された場合、その処理対象ピクチャに対する符号化処理が終了される。

以上のように、符号化処理を実行することにより、画像符号化装置１００は、画像の符号化のスループットを向上させることができる。

［符号ライン区切りのその他の例］
なお、図１２においては、画像復号装置がコードストリームにおいて各分割レベルの符号ラインの区切りを識別することができるように、各分割レベルの符号ラインにその符号量を含むヘッダ情報を付加するように説明した。しかしながら、この区切りを示す方法としては、これ以外にも、例えば、図１５に示されるように専用のマーカを付加するようにしてもよい。画像復号装置は、このマーカを検出することにより、各分割レベルの符号ラインの境界を特定することができる。ただし、この場合、画像復号装置は、このマーカに基づいて、各分割レベルの符号ラインを区別することはできるが、その符号ラインの符号量を判別することはできない。つまり、マーカからすぐに各分割レベルの符号ラインの並び順を特定することはできない。したがって、画像復号装置は、何らかの別の手段により、その並び順を把握する必要がある。

＜２．第２の実施の形態＞
［デバイスの構成］
次に、第１の実施の形態において説明した画像符号化装置１００に対応する画像復号装置について説明する。図１６は、本発明を適用した画像処理装置としての画像復号装置の一実施の形態の構成例を示すブロック図である。

画像復号装置２００は、画像符号化装置１００より出力される符号化データを復号し、復号画像を生成する。

画像復号装置２００は、符号語解読部２０１、ライン抽出部２０２、エントロピ復号部２０３、逆量子化部２０４、係数ライン並び替え部２０５、ウェーブレット逆変換部２０６、およびバッファ部２０７を有する。

符号語解読部２０１は、入力された符号化データ（符号語）（矢印Ｄ５１）を解読して、データや符号化処理に関する関連情報を抽出する。この関連情報にどのような情報が含まれていてもよいが、例えば、画像の解像度（水平・垂直サイズ）、量子化ステップサイズ、ウェーブレット変換の分解数、および係数ライン（符号ライン）の並び順に関する情報等が含まれる。

係数ライン（符号ライン）の並び順に関する情報としては、各分割レベルの符号ラインの並び順を示す情報、若しくは、その並び順を求めるのに必要な情報であればどのようなものであってもよい。例えば、図１２に示されるような、各分割レベルの符号ラインの符号量を含むヘッダ情報や、図１５に示されるようなマーカの検出結果等であってもよい。

符号語解読部２０１は、入力された符号化データ（コードストリーム）をライン抽出部２０２に供給する（矢印Ｄ５２）。また、符号語解読部２０１は、コードストリームにおいて各分割レベルの符号ラインを区別するために必要な情報をライン抽出部２０２に供給する（点線矢印Ｄ６１）。例えば、符号語解読部２０１は、各分割レベルの符号ラインの符号量や、マーカの検出結果等をライン抽出部２０２に供給する。

また、符号語解読部２０１は、量子化ステップサイズを示す情報を逆量子化部２０４に供給する（点線矢印Ｄ６２）。

さらに、符号語解読部２０１は、各分割レベルの係数ラインの並び替えに必要な情報を係数ライン読み出し部２１２に供給する（点線矢印Ｄ６３）。係数ライン読み出し部２１２は、並び替え後の並び順となる、ウェーブレット逆変換部２０６によるウェーブレット逆変換処理順を予め把握している。係数ライン読み出し部２１２は、係数ライン並び替えのために、並び替え前の並び順となる、伝送時の符号ラインの並び順を把握する必要がある。そこで、符号語解読部２０１は、伝送時の符号ラインの並び順を示す情報、若しくは、その並び順を求めるのに必要な情報を係数ライン読み出し部２１２に提供する。

例えば、符号語解読部２０１は、符号語を解読することにより、伝送時の符号ラインの並び順を特定し、その並び順を示す情報を係数ライン読み出し部２１２に提供するようにしてもよい。また、例えば、符号語解読部２０１は、コードストリームより抽出した、各分割レベルの符号ラインの符号量を示す情報を、係数ライン読み出し部２１２に順次提供するようにしてもよい。この場合、係数ライン読み出し部２１２は、符号語解読部２０１より供給される符号量の順に基づいて、係数ラインの並び順を把握する。

なお、係数ライン並び替えバッファ２１１には、各分割レベルの係数ラインが区別可能な状態で記憶される。そこで係数ライン読み出し部２１２は、その係数ライン並び替えバッファ２１１に保持されている各分割レベルの係数ラインのデータ量を求め、そのデータ量の並び順から係数ラインの並び順を把握するようにしてもよい。この場合、符号語解読部２０１からの情報提供は省略することができる。

符号語解読部２０１は、さらに、例えば画像の解像度やウェーブレット変換の分解数等の、ウェーブレット逆変換処理に必要な情報をウェーブレット逆変換部２０６に供給する（点線矢印Ｄ６４）。

ライン抽出部２０２は、符号語解読部２０１から供給される各分割レベルの符号ラインを区別するために必要な情報に基づいて、符号語解読部２０１から供給されるコードストリームから各分割レベルの符号ラインを抽出する。つまり、ライン抽出部２０２は、符号化データ（コードストリーム）を分割レベルの符号ライン毎に分割する。ライン抽出部２０２は、抽出した、各分割レベルの符号ラインをエントロピ復号部２０３に供給する（矢印Ｄ５３）。

エントロピ復号部２０３は、各分割レベルの符号ラインを、エントロピ符号化部１０６（図１）のエントロピ符号化に対応する方法で、エントロピ復号し、係数データ（量子化係数）を生成する。つまり、エントロピ復号部２０３は、ライン抽出部２０２により分けられた各分割レベルの符号ラインを、供給される順に復号し、分割レベルの係数ラインに変換する。エントロピ復号部２０３は、その分割レベルの係数ライン（量子化係数）を逆量子化部２０４に供給する（矢印Ｄ５４）。

逆量子化部２０４は、エントロピ復号部２０３から供給される、各分割レベルの係数ライン（量子化係数）を、符号語解読部２０１から供給される情報に基づいて決定される量子化ステップサイズにより逆量子化する。逆量子化部２０４は、逆量子化した各分割レベルの係数ライン（ウェーブレット変換係数）を係数ライン並び替え部２０５に供給する（矢印Ｄ５５）。

係数ライン並び替え部２０５は、その係数データ（係数ライン）の順序（伝送時の順序）を、ウェーブレット逆変換処理の順序に並び替える。

図１６に示されるように、係数ライン並び替え部２０５は、係数ライン並び替えバッファ２１１および係数ライン読み出し部２１２を有する。係数ライン並び替えバッファ２１１は、逆量子化部２０４から供給される各分割レベルの係数ラインを保持する。係数ライン読み出し部２１２は、係数ライン並び替えバッファ２１１に保持された各分割レベルの係数ラインを、ウェーブレット逆変換処理用の順序で読み出す（矢印Ｄ５６）ことにより、並び替えを行う。この並び替えの詳細については後述する。

係数ライン並び替え部２０５（係数ライン読み出し部２１２）は、順序を並び替えた係数データをウェーブレット逆変換部２０６に供給する（矢印Ｄ５７）。

ウェーブレット逆変換部２０６は、符号語解読部２０１から供給される情報に基づいて、ウェーブレット変換部１０３（図１）において行われたウェーブレット変換の逆処理を行い、復号画像を生成する。ウェーブレット逆変換の詳細については後述する。

ウェーブレット逆変換部２０６は、係数データの低域成分と高域成分を合成する合成フィルタリングを繰り返すことにより、ウェーブレット逆変換を行う。このとき、ウェーブレット逆変換部２０６は、合成フィルタリングを行って生成された１つ下位の階層の係数データを、バッファ部２０７に供給して保持させ（矢印Ｄ５８）、次の合成フィルタリングに利用する。つまり、ウェーブレット逆変換部２０６は、係数ライン読み出し部２１２から供給される係数データ（矢印Ｄ５７）の他に、必要に応じて、バッファ部２０７から読みだされた係数データ（矢印Ｄ５９）も用いて合成フィルタリングを行う。

以上のように合成フィルタリングを繰り返し行い、復号画像を復元すると、ウェーブレット逆変換部２０６は、その画像データを画像復号装置２００の外部に出力する（矢印Ｄ６０）。

［係数ライン並び替え］
図１３を参照して上述したように、各分割レベルの符号ラインは、所定の伝送順（例えば、低域成分から高域成分に向かう順）で伝送される。

係数ライン並び替え部２０５は、各分割レベルの係数ラインを、この伝送順から、ウェーブレット逆変換処理の順に並び替える。各分割レベルの係数ラインは、係数ライン並び替え部２０５の係数ライン並び替えバッファ２１１に保持される。係数ラインが１ラインブロック分蓄積されると、係数ライン読み出し部２１２は、各係数ラインを、ウェーブレット変換処理の順序で読み出すことにより、係数ラインの並び替えを行う。

詳細については後述するが、１回の合成フィルタリングにより、ある階層の各サブバンドの係数ラインから１つ下位の階層の、水平方向および垂直方向に低域なサブバンドの係数ラインが２ライン生成される。

ウェーブレット逆変換処理においては、このような合成フィルタリングが所定の順序で繰り返される。その順序は任意であるが、より低遅延に行うためには、実行可能な中で、より下位の階層に対する合成フィルタリングが優先的に実行されるようにするのが望ましい。

そこで、係数ライン並び替え部２０５は、各分割レベルの係数ラインを、ウェーブレット逆変換部２０６がそのような順序でウェーブレット逆変換処理を不要な待機時間等を必要とせずに行うことができるような所定の順序に並び替える。

例えば、図１７にその並び替えの例を示す。図１７において、各係数ラインは、その処理順に並べられている。図中上から下に向かう向きに時系列が示されている。つまり、図１７に示される各係数ラインは、図中上から順に処理される。

図１７の左側に示されるような順序（伝送順）で逆量子化部２０４から出力された各分割レベルの係数ラインは、係数ライン並び替え部２０５により、図１７の右側に示されるような順（ウェーブレット逆変換順）に並び替えられる。

つまり、係数ライン並び替えバッファ２１１には、各分割レベルの係数ラインが、図１７の左側に示されるような順序で記憶される。これに対して、係数ライン読み出し部２１２は、係数ライン並び替えバッファ２１１から、各分割レベルの係数ラインを、図１７の右側に示されるような順序で読み出す。

より具体的には、係数ライン読み出し部２１２は、分割レベル４のラインＰの係数ラインを読み出し、分割レベル３のラインＮの係数ラインを読み出し、分割レベル２のラインＭの係数ラインを読み出し、分割レベル１のラインＬの係数ラインを読み出し、分割レベル１のライン（Ｌ＋１）の係数ラインを読み出す。

次に、係数ライン読み出し部２１２は、分割レベル２のライン（Ｍ＋１）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋２）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋３）の係数ラインを読み出す。

次に、係数ライン読み出し部２１２は、分割レベル３のライン（Ｎ＋１）の係数ラインを読み出し、分割レベル２のライン（Ｍ＋２）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋４）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋５）の係数ラインを読み出す。

次に、係数ライン読み出し部２１２は、分割レベル２のライン（Ｍ＋３）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋６）の係数ラインを読み出し、分割レベル１のライン（Ｌ＋７）の係数ラインを読み出す。

ウェーブレット逆変換部２０６は、このような順で供給される各係数ラインを、供給された順に用いて合成フィルタリングする。

このように、係数ライン並び替え部２０５が、ウェーブレット逆変換処理順とは異なる伝送順で供給される各分割レベルの係数ラインを、ラインブロック毎に、ウェーブレット逆変換処理順に並び替えることにより、ウェーブレット逆変換処理における係数データの管理が容易になり、ウェーブレット逆変換部２０６は、ウェーブレット逆変換処理をより低遅延に行うことができる。

つまり、上述したようにウェーブレット変換処理の順序とは異なる伝送順で各分割レベルの符号ラインを伝送した場合であっても、画像復号装置２００は、より低遅延に符号化データを復号することができる。すなわち、画像復号装置２００は、符号化データの復号のスループットを向上させることができる。

なお、図１７においては定常状態における１ラインブロックの並び替えを示している。図９と図１０に示される初期状態と定常状態の並び順の違いを参考にすることにより、図１７の例に対応する初期状態の並び替え方法については、図１７の例を基に容易に特定することができるので、その説明は省略する。

［リフティング演算］
ウェーブレット逆変換部２０６は、ウェーブレット変換部１０３によるウェーブレット変換処理に対応する方法でウェーブレット逆変換を行う。例えば、上述したように、ウェーブレット変換部１０３が５×３フィルタを用いて分析フィルタリングを行った場合、ウェーブレット逆変換部２０６も、５×３フィルタを用いて合成フィルタリングを行う。

合成フィルタリングの場合も、逆処理になるだけで、基本的に分析フィルタリングの場合と同様に処理が行われる。つまり、合成フィルタリングの場合も、図３に示されるような、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。

図１８は、５×３合成フィルタを用いて、縦方向のラインに対してフィルタリングを行った場合の図である。横方向は、演算過程とそれによって生成される下位の係数を図示したものである。分析フィルタリングの場合と同様に、水平方向の処理も垂直方向の処理と同様に行われる。

画像の上端においては、枠２５１に示されるように、高域係数（Ｈ０）、低域係数（Ｌ１）、および高域係数（Ｈ１）が入力された時点で、リフティング演算が行われる。このとき、矢印２５２に示されるように、係数ａが対称拡張される。このようにして、１つ下位の階層のLine-0とLine-1が生成される。

次に、２係数ライン（低域成分Ｌ２と高域成分Ｈ２）が入力されると、枠２５３に示されるように、１つ下位の階層のLine-2とLine-3が生成される。

その後、２係数ラインが入力される毎に、枠２５４に示されるように、上記のリフティング演算が後続のラインに対しても同様に繰り返され、下位の係数ラインが２ライン出力される。そして、枠２５５に示されるように、入力された低域係数（Ｌ（Ｎ））および高域係数（Ｈ（Ｎ））に対してLine-2(N)-2とLine-2(N)-1が生成されると、高域係数（Ｈ（Ｎ））が矢印２５６のように対称拡張され、枠２５７のように演算が行われ、Line-2(N+1)-2とLine-2(N+1)-1が生成される。

［ラインブロック単位の合成フィルタリング］
以上の合成フィルタリング（リフティング）は、各階層について再帰的に行われる。したがって、階層が１つ下位になる毎にライン数は２倍になる。

例えば、図１９に示されるように、分割レベル２の係数ラインがＮ／４であるとする。この分割レベル２のサブバンド２ＬＬ，２ＬＨ，２ＨＬ、および２ＨＨに対して合成フィルタリングを行うと、分割レベル１のサブバンド１ＬＬがＮ／２ライン生成される。

［係数ラインの処理順］
以上のようなウェーブレット逆変換部２０６による合成フィルタリングの処理手順の例について、より具体的に説明する。

図２０は、定常状態において、ウェーブレット逆変換部２０６により処理されるデータを時系列順に示す図である。図２０においては、ウェーブレット逆変換部２０６により処理されるデータが、図中、上から下に向かう方向に時系列順に並べられている。

定常状態の１ラインブロックをウェーブレット変換する際、ウェーブレット逆変換部２０６は、最初に、分割レベル４の各サブバンド（サブバンド４ＨＨ，４ＨＬ，４ＬＨ、および４ＬＬ）の１係数ライン（ラインＰ）を、合成フィルタリングし、分割レベル３のサブバンド３ＬＬを２係数ライン（ラインＮおよびライン（Ｎ＋１））を生成する。このうちライン（Ｎ＋１）の係数ラインは、バッファ部２０７に供給され、保持される。

次に、ウェーブレット逆変換部２０６は、分割レベル３のサブバンド３ＬＬ（ラインＮ）と他の各サブバンド（サブバンド３ＨＨ，３ＨＬ、および３ＬＨ）の１係数ライン（ラインＮ）を合成フィルタリングし、分割レベル２のサブバンド２ＬＬを２係数ライン（ラインＭおよびライン（Ｍ＋１））を生成する。このうちライン（Ｍ＋１）の係数ラインは、バッファ部２０７に供給され、保持される。

次に、ウェーブレット逆変換部２０６は、分割レベル２のサブバンド２ＬＬ（ラインＭ）と他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ラインＭ）を合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ラインＬおよびライン（Ｌ＋１））を生成する。このうちライン（Ｌ＋１）の係数ラインは、バッファ部２０７に供給され、保持される。

次に、ウェーブレット逆変換部２０６は、分割レベル１のサブバンド１ＬＬ（ラインＬ）と他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ラインＬ）を合成フィルタリングし、ベースバンドの画像データを２ライン（ラインＫおよびライン（Ｋ＋１））を生成する。この２ラインは、画像復号装置２００の外部に出力される。

次に、ウェーブレット逆変換部２０６は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋１））をバッファ部２０７から読み出し、他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋１））と合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋２）およびライン（Ｋ＋３））を生成する。この２ラインは、画像復号装置２００の外部に出力される。

次に、ウェーブレット逆変換部２０６は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋１））をバッファ部２０７から読み出し、他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋１））と合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋２）およびライン（Ｌ＋３））を生成する。このうちライン（Ｌ＋３）の係数ラインは、バッファ部２０７に供給され、保持される。

次に、ウェーブレット逆変換部２０６は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋２））と他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋２））を合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋４）およびライン（Ｋ＋５））を生成する。この２ラインは、画像復号装置２００の外部に出力される。

次に、ウェーブレット逆変換部２０６は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋３））をバッファ部２０７から読み出し、他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋３））と合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋６）およびライン（Ｋ＋７））を生成する。この２ラインは、画像復号装置２００の外部に出力される。

次に、ウェーブレット逆変換部２０６は、分割レベル３のサブバンド３ＬＬ（ライン（Ｎ＋１））をバッファ部２０７から読み出し、他の各サブバンド（サブバンド３ＨＨ，３ＨＬ、および３ＬＨ）の１係数ライン（ライン（Ｎ＋１））と合成フィルタリングし、分割レベル２のサブバンド２ＬＬを２係数ライン（ライン（Ｍ＋２）およびライン（Ｍ＋３））を生成する。このうちライン（Ｍ＋３）の係数ラインは、バッファ部２０７に供給され、保持される。

次に、ウェーブレット逆変換部２０６は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋２））と他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋２））を合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋４）およびライン（Ｌ＋５））を生成する。このうちライン（Ｌ＋５）の係数ラインは、バッファ部２０７に供給され、保持される。

次に、ウェーブレット逆変換部２０６は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋４））と他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋４））を合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋８）およびライン（Ｋ＋９））を生成する。この２ラインは、画像復号装置２００の外部に出力される。

次に、ウェーブレット逆変換部２０６は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋５））をバッファ部２０７から読み出し、他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋５））と合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋１０）およびライン（Ｋ＋１１））を生成する。この２ラインは、画像復号装置２００の外部に出力される。

次に、ウェーブレット逆変換部２０６は、分割レベル２のサブバンド２ＬＬ（ライン（Ｍ＋３））をバッファ部２０７から読み出し、他の各サブバンド（サブバンド２ＨＨ，２ＨＬ、および２ＬＨ）の１係数ライン（ライン（Ｍ＋３））と合成フィルタリングし、分割レベル１のサブバンド１ＬＬを２係数ライン（ライン（Ｌ＋６）およびライン（Ｌ＋７））を生成する。このうちライン（Ｌ＋７）の係数ラインは、バッファ部２０７に供給され、保持される。

次に、ウェーブレット逆変換部２０６は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋６））と他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋６））を合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋１２）およびライン（Ｋ＋１３））を生成する。この２ラインは、画像復号装置２００の外部に出力される。

次に、ウェーブレット逆変換部２０６は、分割レベル１のサブバンド１ＬＬ（ライン（Ｌ＋７））をバッファ部２０７から読み出し、他の各サブバンド（サブバンド１ＨＨ，１ＨＬ、および１ＬＨ）の１係数ライン（ライン（Ｌ＋７））と合成フィルタリングし、ベースバンドの画像データを２ライン（ライン（Ｋ＋１４）およびライン（Ｋ＋１５））を生成する。この２ラインは、画像復号装置２００の外部に出力される。

ウェーブレット逆変換部２０６は、以上のような手順で合成フィルタリングを行い、１ラインブロック分の係数ラインをウェーブレット逆変換し、ベースバンドの画像データを１６ライン生成する。

したがって、係数ライン並び替え部２０５は、このようなウェーブレット逆変換処理の順序に合わせて、図１７に示されるような並び替えを行う。これにより、各係数ラインが、繰り返される合成フィルタリングに必要な順に、ウェーブレット逆変換部２０６に供給されるので、ウェーブレット逆変換部２０６は、不要な待機時間などを必要とせずに、低遅延にウェーブレット逆変換処理を行うことができる。

なお、初期状態と定常状態の係数ラインの並びの違いは、図９および図１０に示されるとおりである。したがって、初期状態のラインブロックの場合の、ウェーブレット逆変換処理の手順は、図２０の例に、図９および図１０に示される違いを反映させることにより容易に求めることができるので、その説明は省略する。

もちろん、係数ライン並び替え部２０５による係数ラインの並び替え後の順序も、同様に、図１３の例に、図９および図１０に示される違いを反映させることにより容易に求めることができる。

［ラインブロックの変換］
以上のようにして、画像符号化装置１００および画像復号装置２００により画像データ（および符号化データ）は、ラインブロック単位でウェーブレット変換・ウェーブレット逆変換処理（符号化・復号処理）される。

したがって、例えば、図２１Ａに示されるように、ベースバンドの画像データ１６ラインからなる１ラインブロックは、画像符号化装置１００によりウェーブレット変換され、図２１Ｂに示されるように、８ラインの分割レベル１の係数ライン、４ラインの分割レベル２の係数ライン、２ラインの分割レベル３の係数ライン、および１ラインの分割レベル４の係数ラインに変換される。

また、その各係数ラインは、画像復号装置２００によりウェーブレット逆変換され、図２１Ｃに示されるように、ベースバンドの画像データ（復号画像）１６ラインに変換される。

［処理の流れ］
以上のような画像復号装置２００の各部により実行される復号処理の流れの例を、図２２のフローチャートを参照して説明する。なお、この復号処理は、１ピクチャ分の画像に対応する符号化データ毎に実行される。

復号処理が開始されると、ステップＳ２０１において、符号語解読部２０１は、１ラインブロック分の符号化データの入力を受け付ける。ステップＳ２０２において、符号語解読部２０１は、入力された符号化データの符号語を解読し、関連情報を抽出する。符号語解読部２０１は、抽出した関連情報に基づいて、必要な情報を各処理部に提供する。

ステップＳ２０３において、ライン抽出部２０２は、符号語解読部２０１から提供される情報（例えば符号量）に基づいて処理対象ラインを抽出する。

ステップＳ２０４において、エントロピ復号部２０３は、ライン抽出部２０２より供給される処理対象ラインをエントロピ復号する。ステップＳ２０５において、逆量子化部２０４は、処理対象ラインを逆量子化する。ステップＳ２０６において、係数ライン並び替えバッファ２１１は、処理対象ラインを保持する。

ステップＳ２０７において、ライン抽出部２０２は、１ラインブロック分処理したか否かを判定する。未処理の係数ラインが存在すると判定された場合、ステップＳ２０３に戻り、それ以降の処理が繰り返される。また、ステップＳ２０７において、１ラインブロック分処理したと判定された場合、ステップＳ２０８に進む。

ステップＳ２０８において、係数ライン読み出し部２１２は、係数データを係数ライン並び替えバッファ２１１から読み出すことにより、係数データをウェーブレット逆変換順に並び替える。ステップＳ２０９において、ウェーブレット逆変換部２０６は、係数データをウェーブレット逆変換する。

ステップＳ２１０において、ウェーブレット逆変換部２０６は、１ラインブロック分処理したか否かを判定する。未処理の係数ラインが存在すると判定された場合、ステップＳ２０９に戻り、それ以降の処理が繰り返される。また、ステップＳ２１０において、１ラインブロック分処理されたと判定された場合、ステップＳ２１１に進む。

ステップＳ２１１において、符号語解読部２０１は、処理対象ピクチャの最終ラインブロック（例えば最下段のラインブロック）まで処理したか否かを判定する。処理していないと判定された場合、ステップＳ２０１に戻り、次のラインブロックに対して、それ以降の処理が繰り返される。また、ステップＳ２１１において、最終ラインブロックまで、処理が終了したと判定された場合、その処理対象ピクチャに対する復号処理が終了される。

以上のように、復号処理を実行することにより、画像復号装置２００は、符号化データの復号のスループットを向上させることができる。

なお、以上においては、係数ライン並び替え部２０５が、伝送順に並べられた係数ラインをウェーブレット逆変換順に並び替えるように説明したが、この伝送順は、符号化データ伝送時の順序という意味である。例えば、画像符号化装置１００が符号ラインを符号化順のまま伝送する場合、係数ライン並び替え部２０５は、その符号化順に並べられた係数ラインをウェーブレット逆変換順に並び替える。また、例えば、画像符号化装置１００が符号ラインをウェーブレット変換順のまま伝送する場合、係数ライン並び替え部２０５は、そのウェーブレット変換順の係数ラインをウェーブレット逆変換順に並び替える。さらに、例えば、画像符号化装置１００が符号ラインをウェーブレット逆変換順に並び替えて伝送する場合、係数ライン並び替え部２０５は、そのウェーブレット逆変換順のまま係数ラインを出力する。

係数ライン並び替え部２０５は、符号語解読部２０１から供給される情報に基づいて、このような入力される係数ラインの並び順を判別することができるので、容易にその並び順に応じた並び替えを行うことができる。つまり、入力される係数ラインの並び順がどのような順序であっても、係数ライン並び替え部２０５は、符号語解読部２０１から供給される情報に基づいて、容易に、ウェーブレット逆変換順に並び替えることができる。

＜３．第３の実施の形態＞
［システムの構成］
第１の実施の形態で説明した画像符号化装置１００および第２の実施の形態で説明した画像復号装置２００の適用例について説明する。図２３は、入力画像を符号化して伝送し、その符号化データを伝送先で復号し、得られた復号画像を出力する画像伝送システムの構成例を示す図である。

画像伝送システム３００は、画像をより低遅延に伝送するシステムである。画像伝送システム３００は、ネットワーク３０２を介して接続される送信装置３０１および受信装置３０３を有する。

送信装置３０１は、入力画像を、ネットワーク３０２を介して受信装置３０３に送信する装置である。送信装置３０１は、効率よく画像を伝送するために、画像データを符号化し、その符号化データを受信装置３０３に送信する。

送信装置３０１は、符号化部３１１、パケタイズ処理部３１２、および送信部３１３を有する。

符号化部３１１は、入力画像を符号化し、符号化データを出力する。符号化部３１１には、第１の実施の形態において説明した画像符号化装置１００が適用される。つまり、符号化部３１１は、画像符号化装置１００と同様の構成を有し、同様の処理を行う。

パケタイズ処理部３１２は、符号化部３１１から出力される符号化データ（コードストリーム）をパケット化する。送信部３１３は、パケタイズ処理部３１２により生成されたパケットを、ネットワーク３０２を介して受信部３２１に送信する。

ネットワーク３０２は、例えばインターネットや無線LANのように、通信可能帯域が一定でなく、パケットロスや送受信エラーが発生する可能性のある不安定な伝送路である。ネットワーク３０２は、全体として不安定な特性を有する伝送路であれば、その構成は任意である。

受信装置３０３は、ネットワーク３０２を介して送信装置３０１から供給されるパケットを受信し、そのパケットに含まれる符号化データを復号し、復号画像を生成し、出力する装置である。

受信装置３０３は、受信部３２１、デパケタイズ処理部３２２、および復号部３２３を有する。

受信部３２１は、送信装置３０１の送信部３１３に対応する処理を行い、送信部３１３からネットワークを介して供給されるパケットを受信する処理を行う。

デパケタイズ処理部３２２は、受信部３２１において受信されたパケットをデパケタイズし、符号化データを抽出する。

復号部３２３は、デパケタイズ処理部３２２により抽出された符号化データを復号し、復号画像を出力する。復号部３２３には、第２の実施の形態において説明した画像復号装置２００が適用される。つまり、復号部３２３は、画像復号装置２００と同様の構成を有し、同様の処理を行う。

このように、符号化部３１１として画像符号化装置１００を適用することにより、送信装置３０１は、レート制御が容易になり、伝送路の不安定さに対する耐性を向上させることができる。また、復号部３２３として画像復号装置２００を適用することにより、受信装置３０３は、ウェーブレット逆変換時のデータ管理を容易にすることができ、送信装置３０１が、レート制御を容易にしたり、伝送路の不安定さに対する耐性を向上させたりするような制御を行った場合でも、低遅延に復号を行うことができる。

例えば、送信部３１３と受信部３２１との間の通信においてパケットロス等が発生した場合、受信部３２１は、送信部３１３に対してロスしたパケットの再送要求を行う。符号化部３１１は、上述したように、各分割レベルの符号ラインを低域から高域に向かう順に出力する。このようにすることにより、送信部３１３は、画質に大きな影響を与える低域成分程、先に送信することになる。つまり、エラーが発生し、受信部３２１再送要求を行う場合、画質に大きな影響を与える低域成分程、その再送処理のための時間を長く確保することができる。

また、ネットワーク３０２の帯域が急激に低下した場合、送信部３１３は、パケットの送信を途中で中断して省略することにより、その急激なレート変化に対応することができる。このとき、画質に大きな影響を与える低域成分が先に送信されるようにすることにより、このような送信制御が画質に与える影響をできるだけ小さくすることができる。

つまり、画像伝送システム３００は、画像データ伝送処理全体のスループットを向上させることができる。

＜４．第４の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２４に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２４において、パーソナルコンピュータ４００のCPU４０１は、ROM（Read Only Memory）４０２に記憶されているプログラム、または記憶部４１３からRAM（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。

入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００ 画像符号化装置， １０１ 画像ライン入力部， １０２ ラインバッファ部， １０３ ウェーブレット変換部， １０４ 係数ライン並び替え部， １０５ 量子化部， １０６ エントロピ符号化部， １０７ 付加部， １０８ 符号ライン並び替え部， １０９ レート制御部， １１１ 係数ライン並び替えバッファ， １１２ 係数ライン読み出し部， １２１ 符号ライン並び替えバッファ， １２２ 符号ライン読み出し部， ２００ 画像復号装置， ２０１ 符号語解読部， ２０２ ライン抽出部， ２０３ エントロピ復号部， ２０４ 逆量子化部， ２０５ 係数ライン並び替え部， ２０６ ウェーブレット逆変換部， ２０７ バッファ部， ２１１ 係数ライン並び替えバッファ， ２１２ 係数ライン読み出し部

Claims (16)

1. 階層的に分析フィルタ処理を行い、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックを、周波数帯域毎に分解された係数データに変換する分析フィルタ手段と、
   前記分析フィルタ手段により生成された前記係数データを符号化する符号化手段と、
   前記符号化手段により前記係数データが符号化されて得られる符号化データの並びを、前記分析フィルタ手段による前記分析フィルタ処理の出力順から、合成フィルタ処理される順とは異なる所定の順であり、伝送路の不安定さに対する耐性を向上させる伝送順に並び替える符号化データ並び替え手段と
   を備える画像処理装置。
2. 前記符号化データ並び替え手段は、各分割レベルの前記符号化データを、前記伝送順として、低域成分から高域成分に向かう順に並び替える
   請求項１に記載の画像処理装置。
3. 前記分析フィルタ手段により生成された前記係数データの並びを、前記分析フィルタ手段による前記分析フィルタ処理の出力順から、前記合成フィルタ処理される順および前記伝送順と異なる所定の順であり、前記符号化データのレート制御を容易にする符号化順に並び替える係数データ並び替え手段と、
   前記係数データ並び替え手段により並び替えられた前記係数データを量子化する量子化手段と、
   前記符号化手段による符号化結果に基づいて、前記量子化手段による量子化の量子化ステップサイズを制御することにより前記符号化データのレートを制御するレート制御手段と
   をさらに備え、
   前記符号化手段は、前記量子化手段により量子化された前記係数データを符号化する
   請求項１に記載の画像処理装置。
4. 前記係数データ並び替え手段は、各分割レベルの前記係数データを、前記伝送順として、高域成分から低域成分に向かう順に並び替える
   請求項３に記載の画像処理装置。
5. 前記分析フィルタ手段は、前記分析フィルタ処理を、リフティング演算を用いて行う
   請求項１に記載の画像処理装置。
6. 前記分析フィルタ手段は、初期状態のラインブロックに対しては、必要な画素の対称拡張を行ってから前記リフティング演算を行い、定常状態のラインブロックに対しては、前回の前記リフティング演算結果を利用して、前記リフティング演算を行う
   請求項５に記載の画像処理装置。
7. 前記分析フィルタ手段は、前記係数データに対して、水平方向に前記リフティング演算を行ってから、垂直方向に前記リフティング演算を行う
   請求項５に記載の画像処理装置。
8. 画像処理装置の分析フィルタ手段が、階層的に分析フィルタ処理を行い、少なくとも最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロックを、周波数帯域毎に分解された係数データに変換し、
   前記画像処理装置の符号化手段が、前記分析フィルタ処理により生成された前記係数データを符号化し、
   前記画像処理装置の符号化データ並び替え手段が、前記係数データが符号化されて得られる符号化データの並びを、前記分析フィルタ処理の出力順から、合成フィルタ処理される順とは異なる所定の順であり、伝送路の不安定さに対する耐性を向上させる伝送順に並び替える
   画像処理方法。
9. 階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データを、復号する復号手段と、
   前記復号手段により復号されて得られた前記係数データの並びを、前記復号手段により復号された順から、合成フィルタ処理される順に並び替える係数データ並び替え手段と、
   階層的に前記合成フィルタ処理を行い、前記係数データ並び替え手段により並び替えられた各サブバンドの前記係数データを前記画像データに変換する合成フィルタ手段と
   を備える画像処理装置。
10. 前記合成フィルタ手段は、実行可能な中で、より下位の階層のサブバンドの係数データに対する前記合成フィルタ処理を優先的に実行する
    請求項９に記載の画像処理装置。
11. 前記符号化データを解読する解読手段と、
    前記解読手段による解読結果に基づいて、前記符号化データを、各階層の前記係数データの１ライン分に対応する符号化データ毎に分割し、抽出する抽出手段と
    をさらに備え、
    前記復号手段は、前記抽出手段により抽出された前記符号化データを復号する
    請求項９に記載の画像処理装置。
12. 前記係数データ並び替え手段は、前記解読手段による解読結果に基づいて、前記係数データの並び順を判別し、判別された並び順を、合成フィルタ処理される順に替える
    請求項１１に記載の画像処理装置。
13. 前記合成フィルタ手段は、前記合成フィルタ処理を、リフティング演算を用いて行う
    請求項９に記載の画像処理装置。
14. 前記合成フィルタ手段は、初期状態のラインブロックに対しては、必要な係数データの対称拡張を行ってから前記リフティング演算を行い、定常状態のラインブロックに対しては、前回の前記リフティング演算結果を利用して、前記リフティング演算を行う
    請求項１３に記載の画像処理装置。
15. 前記合成フィルタ手段は、前記係数データに対して、水平方向に前記リフティング演算を行ってから、垂直方向に前記リフティング演算を行う
    請求項１３に記載の画像処理装置。
16. 画像処理装置の復号手段は、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群からなるラインブロックが符号化されて生成された符号化データを、復号し、
    前記画像処理装置の係数データ並び替え手段は、復号されて得られた前記係数データの並びを、その復号された順から、合成フィルタ処理される順に並び替え、
    前記画像処理装置の合成フィルタ手段は、階層的に前記合成フィルタ処理を行い、並び替えられた各サブバンドの前記係数データを前記画像データに変換する
    画像処理方法。

Images