JP4678814B2 - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置 Download PDFInfo
- Publication number
- JP4678814B2 JP4678814B2 JP2001267906A JP2001267906A JP4678814B2 JP 4678814 B2 JP4678814 B2 JP 4678814B2 JP 2001267906 A JP2001267906 A JP 2001267906A JP 2001267906 A JP2001267906 A JP 2001267906A JP 4678814 B2 JP4678814 B2 JP 4678814B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- encoded data
- code block
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、基本画像の画像データの所定領域を変更した画像データを符号化する画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、パソコンやモバイル端末の普及により、インターネットを介したデジタルデータの通信（データ通信）が幅広く行われるようになった。このデータ通信において流通するデジタルデータの代表的なものに静止画像データがある。このような静止画像データは、そのデータ量が大きいため、通常、送信や記憶に際しては、前もって符号化され静止画像データのデータ量を小さく抑えることが行われる。このような静止画像データの符号化方法として、例えばＩＳＯ／ｉＥＣ１０９１８−１|ｉＴＵ−Ｔ Ｔ．８１に記載されるＪＰＥＧ符号化方式がある。このＪＰＥＧ符号化方式では、離散コサイン変換により画像データの系列が変換される。
【０００３】
現在、画像データの系列を変換する方式として離散ウェーブレット変換が注目されている。これは離散ウェーブレット変換により生成された画像符号化データの復号画像と、離散ウェーブレット変換により生成された画像符号化データの復号画像とでは、前者の方がノイズが少なく出る傾向にあること等、多くの利点があるためである。
【０００４】
また、離散ウェーブレット変換により画像を符号化することにより、復号が進むにつれて復号画像の精細さ及び解像度が向上するような、復号画像の段階的な表示（プログレッシブ表示）を行うことが可能になる。このようなプログレッシブ表示により、静止画像を受信して閲覧する閲覧者は、画像の受信もしくは復号の早期段階で、画像の大まかな情報を知ることができる。
【０００５】
このような、プログレッシブ表示が可能な離散ウェーブレット変換により符号化された画像データの応用はいろいろ考えられる。その中の一つに、通信回線の容量や受信側のデータ表示デバイスの解像度に合わせた、企業から顧客への情報配信がある。この情報配信において、企業は多くの顧客へ、顧客毎に変更されるべき一部の領域（変更領域）を持つ情報を送る場合がある（図２（Ａ）〜（Ｃ））。
【０００６】
【発明が解決しようとする課題】
従来、このような情報配信において、配信される情報が離散ウェーブレット変換されて符号化された画像データである場合、画像データの全てを再度符号化することが普通だった。しかし、このような画像データは、基本となる画像が共通しており、それに対して各顧客ごとに変更画像データが付加される構成であるため、その変更された画像全体を再度符号化して送信するのは効率の良いものではなかった。
【０００７】
本発明は上記従来例に鑑みてなされたもので、基本画像のある領域が変更されたような画像データを符号化するに際して、より効率の良い画像の符号化を行うことができる画像処理方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
基本画像を変更した派生画像を符号化する画像処理装置であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換手段と、前記第１変換手段により得られた前記変換係数のそれぞれを量子化する第１量子化手段と、前記第１量子化手段により量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割手段と、前記第１コードブロック分割手段により分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化手段と、前記第１エントロピー符号化手段により符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成手段と、前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出手段と、前記算出手段により算出された前記画素を複数の周波数帯域の係数に変換する第２変換手段と、前記第２変換手段により得られた各周波数帯域の係数を量子化する第２量子化手段と、前記第２量子化手段により量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割手段と、前記第２コードブロック分割手段により分割されたコードブロックをエントロピー符号化する第２エントロピー符号化手段と、前記第２エントロピー符号化手段により符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成手段と、前記コードブロック符号化データ生成手段により生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成手段において生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成手段とを有することを特徴とする。
【００１０】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
基本画像を変更した派生画像を符号化する画像処理方法であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換工程と、前記第１変換工程で得られた前記変換係数のそれぞれを量子化する第１量子化工程と、前記第１量子化工程で量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割工程と、前記第１コードブロック分割工程で分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化工程と、前記第１エントロピー符号化工程で符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成工程と、前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出工程と、前記算出工程により算出された前記画素を複数の周波数帯域の係数に変換する第２変換工程と、前記第２変換工程で得られた各周波数帯域の係数を量子化する第２量子化工程と、前記第２量子化工程で量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割工程と、前記第２コードブロック分割工程で分割されたコードブロックをエントロピー符号化する第２エントロピー符号化工程と、前記第２エントロピー符号化工程で符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成工程と、前記コードブロック符号化データ生成工程で生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成工程で生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成工程とを有することを特徴とする。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１３】
本実施の形態における画像処理装置には、例えば図１に示されているように、基本となる画像（基本画像１０００）の画像データが入力される。そして図２（Ａ）〜（Ｃ）に示されるように、図１に示す基本画像１０００にの所定の領域にそれぞれ異なる差異データ２００〜２０２が付加され、複数の派生画像１００１〜１００３が生成される。これら複数の派生画像１００１〜１００３のそれぞれが符号化対象の画像である。尚、このような差異データが付加された領域を変更領域と呼ぶことにする。
【００１４】
これら複数の派生画像１００１〜１００３を符号化する本実施の形態に係る画像処理装置では、図３に示すように、基本画像１０００を４つの矩形の領域（タイル）３０〜３３に分割する。こうして得られた各タイルは、各派生画像に共通な共通タイル３０〜３２と、図２（Ａ）〜（Ｃ）に示す例で差異データ２００〜２０２が付加される変更領域を含む変更タイル３３とに分別される。そして、共通タイル３０〜３２は一度だけ符号化される。また変更タイル３３は、その変更タイル３３に付加される派生画像データの数だけ符号化が繰り返される。なお本実施の形態では、派生画像データがＭ種類（図２（Ａ）〜（Ｃ）の例ではＭ＝３）存在するものとする。尚、図３の例では、変更タイルは２×２個のタイルの右下のタイル３３としているが、この変更タイルの位置はこれに限定されるものではない。
【００１５】
以下にその方法の詳細を述べる。
【００１６】
本実施の形態における静止画像中の符号化対象となる画像データは８ビットのモノクロ画像データとする。しかしながら例えば、各画素４ビット、１０ビット、１２ビットといったように、８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を、それぞれ８ビットで表現するカラーの多値画像データである場合にも適用することが可能である。また、画像データが画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロ画像データとすればよい。
【００１７】
図４は、本実施の形態に係る画像処理装置に基本画像データが入力され、符号化されてＭ種類の派生画像の符号化データが出力されるまでの処理を示すフローチャートである。
【００１８】
まずステップＳ１で、変数ｉを「１」に初期化し、基本画像１０００の画像データ（基本画像データ）を入力する。次にステップＳ２に進み、基本画像データを複数のタイルに分割し、これら複数のタイルのそれぞれを共通タイル（変更されないタイル）と変更タイル（付加データが付与されるタイル）とに分類する。ステップＳ３では、それぞれ共通タイルか変更タイルかに応じて、それぞれに対応した処理に振り分ける。共通タイルの場合にはステップＳ４に進み、その共通タイルの画像データ（共通タイルデータ）を符号化し、符号化共通タイルデータとして第１バッファ１０４（図５）に記憶する。また変更タイルの画像データ（変更タイルデータ）の場合にはステップＳ６に進み、その変更タイルデータを第２バッファ１０５（図５）へ、そのまま出力する。尚、この状態では、変更タイルデータは基本画像を分割したタイルデータであり、図２（Ａ）〜（Ｃ）における２００〜２０２で示されるような差異データは含まれていない。
【００１９】
こうして共通タイルデータの符号化データと、変更タイルデータの記憶処理が終了するとステップＳ７に進み、第ｉ番目の派生画像において付与される差異データ（図２（Ａ）の例では２００に相当）を取得する。この差異データは、前もってメモリなどに記憶されていても、或いは適宜発生されてもよい。次にステップＳ８に進み、変更タイルデータを第２バッファ１０５から付加済み変更タイルデータ生成部１０６（図５）に複写する。次にステップＳ９に進み、第ｉ番目の差異データを変更タイルデータに付加して、第ｉ番目の付加済み変更タイルデータを生成する。これは付加済み変更タイルデータ生成部１０６により実行される。次にステップＳ１０に進み、第ｉ番目の付加済み変更タイルデータを符号化する。そしてステップＳ１１に進み、この符号化された第ｉ番目の付加済み変更タイルデータと、ステップＳ５で第１バッファに格納された符号化された共通タイルデータとを組み合わせて第ｉ番目の派生画像符号化データを生成して出力する。次にステップＳ１２に進み、変数ｉとＭの値とを比較して、Ｍ種類の派生画像符号化データの生成処理が終了したかを調べ、終了していない時は変数ｉを＋１してステップＳ７に戻り前述の処理を実行する。そしてＭ種類の派生画像符号化データの生成処理が全て終了すると、この処理を終了する。
【００２０】
以下に、本発明における画像処理装置の処理の詳細な説明を記述する。
【００２１】
図５は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００２２】
図において、１０１は基本画像データ入力部で、基本画像データを入力する。１０２はタイル分割部で、その入力した基本画像データを複数のタイルに分割する。１０３はタイル分類部で、各タイルを共通タイルと変更タイルに分類する。１０４は第１バッファで、共通タイルデータ及びその共通タイルデータを符号化した符号化データを記憶する。１０５は第２バッファで、変更タイルデータを記憶する。１０６は付加済み変更タイルデータ生成部で、差異データ生成部で生成された差異データを変更タイルデータに付加した変更タイルデータを生成する。差異データ生成部１０７は、例えば図２（Ａ）〜（Ｃ）に示すような差異データ２００〜２０２を生成する。１０８はタイルデータ符号化部で、共通タイルデータ及び差異データを付加した変更タイルデータを入力して符号化する。１０９は第ｉ番目の派生画像データ符号化部で、タイルデータ符号化部１０８で符号化された変更タイルデータの符号化データと、第１バッファ１０４に記憶されている基本画像データの符号化データとを合成して派生画像データの符号化データを生成する。１１０は第ｉ派生画像符号化画像データ出力部で、第ｉ派生画像データ符号化部１０９で符号化された第ｉ番目の派生画像符号化画像データを出力する。
【００２３】
まず、Ｍ種類の差異データの中で、ｉ＝１番目の差異データを用いて、ｉ＝１番目の派生画像データを生成して符号化する場合で説明する。その次に１＜ｉ≦Ｍ番目の派生画像データの符号化について説明する。尚、ｉ＝１の場合とそれ以外の場合との差異は、１＜ｉ≦Ｍの場合には、共通タイルの画像が符号化されて記憶されているので、共通タイルの画像データの符号化処理が不要になるという点にある。
【００２４】
［ｉ＝１の場合］
基本画像データ入力部１０１に入力された基本画像データは、タイル分割部１０２において、図３を参照して前述したように、４つのタイルに分割される。こうして生成された４つのタイルのそれぞれは、タイル分類部１０３で共通タイルと変更タイルとに分類される。次に、これら分類されたタイルのうち、共通タイルデータは第１バッファ１０４に格納され、変更タイルデータは第２バッファ１０５に格納される。そして第１バッファ１０４に格納された共通タイルデータはタイルデータ符号化部１０８により符号化され、符号化された共通タイルデータとなり、再び第１バッファ１０４に戻されて記憶される。尚、このタイルデータ符号化部１０８における処理については後述する。
【００２５】
また第２バッファ１０５に格納された変更タイルデータは、付加済み変更タイルデータ生成部１０６に複写され、差異データ生成部１０７によって生成された第１差異データが、この変更タイルデータに付加されて、第１付加済み変更タイルデータが生成される。この第１付加済み変更タイルデータは、タイルデータ符号化部１０８で符号化されて符号化第１付加済み変更タイルデータとなり、第ｉ派生画像符号化データ生成部１０９に出力される。第ｉ派生画像符号化データ生成部１０９は、符号化第１付加済み変更タイルデータと、第１バッファ１０４に格納されている共通タイルデータの符号化画像データとを合成し、更にヘッダを生成する。その上で図６に示すように、ヘッダ６００、共通タイルデータの符号化データ６０１と、符号化した第１付加済み変更タイルデータ６０２とから第１派生画像の符号化データ６０３を生成する。尚、このヘッダ６００には、基本画像データ入力部１０１に入力された基本画像のサイズ、基本画像が２値画像であるか多値画像であるかを示すタイプなどの情報、並びに送信する画像符号化・伝送装置を示す文字列、送信日時、等が書き込まれる。
【００２６】
このようにして作成された第１派生画像の符号化データは、第ｉ派生画像符号化データ出力部１１０から外部へ出力される。
【００２７】
次に、タイルデータ符号化部１０８に関して説明する。
【００２８】
図７は、本実施の形態１に係るタイルデータ符号化部１０８の構成を示すブロック図である。
【００２９】
図において、２０１はタイルデータ入力部で、共通タイルデータ或いは第１付加済み変更タイルデータを入力する。２０２は離散ウェーブレット変換部で、タイルデータ入力部２０１から入力したタイルデータに対して離散ウェーブレット変換を施す。２０３はバッファで、離散ウェーブレット変換部２０２で離散ウェーブレット変換した変換係数を記憶する。２０４は係数量子化部で、これら変換係数を入力して量子化する。２０５はエントロピー符号化部で、係数量子化部２０４で量子化された係数値をエントロピー符号化する。２０６はタイル符号化データ出力部である。
【００３０】
タイルデータ入力部２０１には、共通タイルデータもしくは第１付加済みタイルデータが入力される。これらのタイルデータは離散ウェーブレット変換部２０２に供給され、離散ウェーブレット変換部２０２は、入力されたタイルデータに離散ウェーブレット変換を施し、生成される離散ウェーブレット変換係数を複数の周波数帯域（サブバンド）に分解する。本実施の形態においては、画像データ列ｘ（ｎ）に対する離散ウェーブレット変換は下式に基づいて行われる。
【００３１】
d(n)＝x(2n＋１)-floor{(x(2n)＋x(2n＋2))/2}
r(n)＝x(2n)＋floor{(d(n-１)＋d(n＋１)＋2)/4}
ここで、ｒ（ｎ）、ｄ（ｎ）は変換係数であり、ｒ（ｎ）は低周波サブバンド、ｄ（ｎ）は高周波サブバンドである。また、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図８（Ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同様に４つのサブバンドに分け（図８（Ｂ））、その中のＬＬサブバンドを更に４サブバンドに分け（図８（Ｃ））、合計１０個のサブバンドを作る。これら１０個のサブバンドそれぞれを図８（Ｃ）に示す様に、ＨＨ１，ＨＬ１，…，ＨＨ３と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。尚、ＬＬサブバンドはレベル０のサブバンドとする。また、レベルｎまでのサブバンドを復号することで得られる復号データをレベルｎの復号データと呼ぶ。そしてレベルｎの復号データから得られる復号画像をレベルｎの復号画像と呼ぶ。ここで復号画像は、レベルが高い程、解像度も高いものとする。
【００３２】
尚、本実施の形態における復号装置に送信される画像符号化データは、上述のような１０個のサブバンドを持つものとする。
【００３３】
これら全てのサブバンドを復号することで得られる復号データを完全復号データと呼ぶ。また、この完全復号データを画像表示デバイスに表示させることで得られる復号画像を完全復号画像と呼ぶ。本実施の形態ではレベル３の復号画像が完全復号画像である。
【００３４】
１０個のサブバンドは、一旦バッファ２０３に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまりレベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部２０４に出力される。係数量子化部２０４は、バッファ２０３から供給される各サブバンドのウェーブレット変換係数を、周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部２０５へ出力する。ここで、係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとするとき、量子化後の係数値Ｑ（Ｘ）は次式によって求めるものとする。
【００３５】
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝
但し、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。
【００３６】
図９は、本実施の形態における各周波数成分と量子化ステップとの対応例を説明する図である。図に示すように、低周波サブバンド（ＬＬ等）よりも高周波サブバンド（ＨＬ１、ＬＨ１、ＨＨ１等）の方に、大きい量子化ステップを与えている。
【００３７】
エントロピー符号化部２０５では、入力された係数量子化値を算術符号化によりエントロピー符号化してエントロピー符号化値を生成する。そのエントロピー符号化値は、タイル符号化データ出力部２０６に出力される。タイル符号化データ出力部２０６では、図１０に示されているように、入力されたエントロピー符号化値をサブバンド単位で並べ、その先頭にタイルヘッダを付加して、タイル符号化データを生成する。
【００３８】
図１１は、３つの共通タイル符号化データの配列を説明する図である。
【００３９】
こうしてタイル符号化データ出力部２０６から、符号化共通タイルデータは第１バッファ１０４へ送られて保存される。また、符号化第１付加済みタイルデータの場合には、第ｉ派生画像データ符号化部１０９に出力される。
【００４０】
［１＜ｉ≦Ｍの場合］
１＜ｉ≦Ｍの場合における派生画像データの符号化においては、既に共通タイルデータの符号化処理が終了して第１バッファ１０４に記憶されている。また付加済み変更タイルデータ生成部１０６により変更タイルデータに第ｉ差異データが付加されて第ｉ付加済みタイルデータが生成され、その第ｉ付加済みタイルデータをタイルデータ符号化部１０８により符号化する。そして第ｉ派生画像符号化データ生成部１０９は、第１バッファ１０４に格納されている符号化済みの共通タイルデータと、タイルデータ符号化部１０８からの符号化第１付加済みタイルデータとを入力して第ｉ派生画像符号化データを生成して、第ｉ派生画像符号化データ出力部１１０から外部へ出力する。
【００４１】
以上説明したように本実施の形態１における画像処理装置によれば、基本画像データを複数のタイルに分割し、得られたタイルを共通タイルと変更タイルとに分別しそれぞれ独立に符号化する。その際、共通タイルデータについては一度だけ符号化を行い、変更タイルデータについては、そのタイルデータに付加される画像データの種類に応じた回数だけ符号化を行う。こうすることにより、変更タイルデータを含む派生画像データの全データを符号化することなく効率的な符号化を達成できる。
【００４２】
［実施の形態２］
前述の実施の形態１では、基本画像データを複数タイルに分割し、得られたタイルを共通タイルと変更タイルとに分別し、共通タイルデータを一度だけ符号化し、変更タイルデータについては派生画像の種類だけ符号化を行った。
【００４３】
これに対し本実施の形態２においては、基本画像を複数のタイルに分割しないで符号化を行う。但し、この実施の形態２では、図１２に示されるように、符号化の過程で、画像データを離散ウェーブレット変換することで得られる各サブバンドをコードブロックに分割した後、エントロピー符号化している。更に、差異データを基本画像においてどこに付加するかが決定された後、各派生画像の変更領域に関わるコードブロック（変更コードブロック）を生成する画素（変更コードブロック生成画素）を算出し、その変更コードブロックの生成画素を符号化する。こうして生成された変更コードブロックの符号化データと、そのコードブロックと空間的に対応するコードブロック（対応コードブロック）の符号化データである対応コードブロックの符号化データとを入れ替える。これにより、複数の派生画像が生成される。
【００４４】
以下に、本実施の形態２に係る画像処理装置における動作について詳しく説明する。
【００４５】
図１３は、本実施の形態２に係る画像処理装置の構成を示すブロック図である。
【００４６】
同図において、１８０１は派生画像データ符号化部、１８０２は外部出力部、１８０３は制御部である。ここでは、複数の派生画像は、派生画像データ符号化部１８０１で符号化された後、外部出力部１８０２に一時保存されて外部に出力される。制御部１８０３は、外部出力部１８０２に蓄積されている派生画像符号化データの外部への出力を制御する。
【００４７】
図１４は、本実施の形態２に係る画像処理装置における派生画像データ符号化部１８０１の構成を示すブロック図である。
【００４８】
図において、１７０１は基本画像入力部、１７０２はバッファ、１７０３は基本画像データ符号化部、１７０４はバッファ、１７０５は差異データ位置決定部、１７０６は変更コードブロック生成画素算出部、１７０７は第ｉ差異データ生成部、１７０８は第ｉ変更コードブロック生成画素符号化部、１７０９はコードブロック置換部、１７１０は第ｉ派生画像符号化データ出力部、１７１１は差異データ消去部である。
【００４９】
図１５は、本実施の形態２に係る画像処理装置における処理を示すフローチャートである。
【００５０】
図において、まずステップＳ２１で、基本画像入力部１７０１により基本画像データを入力する。この時、変数ｉを「１」に初期化する。ステップＳ２２では、この入力された基本画像データをバッファ１７０２に送って一時保存する。次にステップＳ２３に進み、このバッファ１７０２に保存された基本画像データを基本画像データ符号化部１７０３に供給する。これによりステップＳ２４で、基本画像データ符号化部１７０３により基本画像データを符号化して基本画像符号化データを生成する。次にステップＳ２５に進み、この基本画像符号化データをバッファ１７０４に出力して一時保存する。
【００５１】
次にステップＳ２６に進み、第ｉ差異データ生成部１７０７により第ｉ番目の差異データ（第ｉ差異データ）を生成し、その領域情報を差異データ位置決定部１７０５に送る。これにより差異データ位置決定部１７０５は、図２に示されているように、その領域情報から、基本画像データにおける差異データの位置を決定する。こうして決定された位置情報は、変更コードブロック生成画素算出部１７０６に送られ、図２２に示されるように、変更コードブロック（差異データが含まれるコードブロック）が算出される（ステップＳ２７）。この変更コードブロック生成画素の算出方法は詳しく後述する。
【００５２】
次にステップＳ２８に進み、ステップＳ２７の算出結果に基づいて、変更コードブロックの生成画素であると決定された基本画像データの画素がバッファ１７０２から読み出され、更に第ｉ番目の差異データが第ｉ差異データ生成部１７０７から第ｉ変更コードブロック生成画素符号化部１７０８に出力される。次にステップＳ２９に進み、この第ｉ変更コードブロック生成画素符号化部１７０８は、変更コードブロックの生成画素を符号化して第ｉ変更コードブロックの符号化データを生成する。その後ステップＳ３０に進み、第ｉ変更コードブロックの符号化データと、基本画像符号化データにおける、その第ｉ番目に対応するコードブロックの符号化データとを置換して、第ｉ番目の派生画像の符号化データを生成し、第ｉ派生画像符号化データ出力部１７１０に入力する。これにより第ｉ派生画像符号化データ出力部１７１０を介して、第ｉ番目の派生画像の符号化データが外部出力部１８０２（図１３）に出力される。更にステップＳ３１に進み、差異データ消去部１７１１により、第ｉ差異データ生成部１７０７に存在する第ｉ差異データを消去する。そしてステップＳ３２に進み、変数ｉと、差異データの種類数を示す値Ｍとを比較して、Ｍ種類の差異データの処理が終了したかを調べ、終了していなければ変数ｉを＋１してステップＳ２６に戻り、第ｉ差異データに対する前述の処理を繰り返す。こうして、Ｍ種類の差異データの処理が終了すると、この処理を終了する。
【００５３】
図１６は、本実施の形態２に係る基本画像データ符号化部１７０３の構成を示すブロック図である。
【００５４】
図において、１３０１は基本画像データ入力部、２０２は離散ウェーブレット変換部、２０３はバッファ、２０４は係数量子化部、１３０５はコードブロック分割部、１３０６はエントロピー符号化部、１３０７は基本画像符号化データ出力部である。尚、図１６において、前述の実施の形態１に係る図７と共通する部分は同じ記号で示し、それらの説明を省略する。
【００５５】
また図２３は、本実施の形態２に係る第ｉ変更コードブロック生成画素符号化部１７０８の構成を示すブロック図で、ここでも前述の実施の形態１に係る図７と共通する部分は同じ記号で示し、それらの説明を省略する。
【００５６】
図２３において、１９０１は第ｉ変更コードブロック生成画素入力部、１３０５はコードブロック分割部、１３０６はエントロピー符号化部、１９０２は第ｉ変更コードブロック符号化データ出力部である。
【００５７】
以下、図１４に示す基本画像データ符号化部１７０３（図１６），変更コードブロック生成画素算出部１７０６、第ｉ変更コードブロック生成画素符号化部１７０８（図２３）、コードブロック置換部１７０９、第ｉ派生画像符号化データ出力部１７１０の処理について説明する。
【００５８】
［基本画像データ符号化部１７０３］
図１６において、基本画像データは基本画像データ入力部１３０１から入力され、離散ウェーブレット変換部２０２、バッファ２０３、係数量子化部２０４で順に処理される。離散ウェーブレット変換部２０２、バッファ２０３、係数量子化部２０４における処理は、前述の実施の形態１における処理と同様であるので、それらの処理部の説明は割愛する。
【００５９】
係数量子化部２０４で量子化された各係数値は、各サブバンドの形式でコードブロック分割部１３０５に入力され、図１２に示すように、矩形のコードブロックに分割される。このコードブロックの大きさとして、２ｎ×２ｍ（但し、ｎ，ｍは正の定数で、図１２ではｎ＝ｍ＝４）等が考えられる。
【００６０】
こうして生成されたコードブロックは、エントロピー符号化部１３０６に入力されてエントロピー符号化される。そして、このエントロピー符号化により得られた符号化値は、基本画像符号化データ出力部１３０７からバッファ１７０４（図１４）へ出力されて一時保存される。
【００６１】
［変更コードブロック生成画素算出部１７０６］
この変更コードブロック生成画素算出部１７０における処理を、図１７乃至図２２を参照して説明する。尚、ここでは１次元の画素データ列を用いることにより説明を簡易化する。
【００６２】
図１７は、派生画像を離散ウェーブレット変換して低周波成分Ｌ２を生成し、更にこの低周波成分Ｌ２の低周波成分Ｌ１を生成する様子を示している。ここで図１８に示されているように、黒く塗られた画素が変更領域である場合、この変更領域から生成される各サブバンドの係数は、図１９の１９００〜１９０４で示す係数である。これから更に図２０に示すようにコードブロック分割がなされる。その結果である変更コードブロックは、図２１に示されている通りである。そこから、図２２に示されているように、画素１９００〜１９０４が変更コードブロック生成画素として決定される。
【００６３】
［第ｉ変更コードブロック生成画素符号化部１７０８］
第ｉ変更コードブロック生成画素符号化部１７０８における処理は、図２３において、第ｉ変更コードブロック生成画素入力部１９０１に第ｉ変更コードブロック生成画素が入力される点、更に、第ｉ変更コードブロックの符号化データ出力部１９０２から第ｉ変更コードブロックの符号化データが出力される点で、前述の基本画像データ符号化部１７０３（図１６）の処理と異なる。しかし、その他の処理に関しては、前述の基本画像データ符号化部１７０３（図１６）の場合と同様である。
【００６４】
［コードブロック置換部１７０９］
コードブロック置換部１７０９は、コードブロック置換部１７０９内に存在する作業用バッファに、バッファ１７０４に蓄積されている基本画像の符号化データを複写する。更に、この基本画像の符号化データにおける対応コードブロックの符号化データを、第ｉ変更コードブロック生成画素符号化部１７０８から入力された第ｉ変更コードブロックの符号化データにより置換する。更に、コードブロックの単位にエントロピー符号化されたサブバンドを図２４のように並べて準第ｉ派生画像符号化データを生成し、第ｉ派生画像符号化データ出力部１７１０に出力する。
【００６５】
［第ｉ派生画像符号化データ出力部１７１０］
第ｉ派生画像符号化データ出力部１７１０は、図２５に示されているように、入力された準第ｉ派生画像符号化データの先頭にヘッダ付加し、第ｉ派生画像符号化データを生成する。なお、このヘッダには、基本画像入力部１７０１に入力された画像のサイズ、画像が２値画像であるか多値画像であるかを示すタイプなどの情報、並びに送信する画像処理装置を示す文字列、送信日時等が書き込まれる。このように生成された第ｉ派生画像符号化データは、外部出力部１８０２（図１３）へ出力される。
【００６６】
以上説明したように本実施の形態２に係る画像処理装置によれば、離散ウェーブレット変換された画像データのサブバンドをコードブロックに分割する。その後、各派生画像の変更コードブロック符号化する。こうすることで効率の良い派生画像データの符号化を行える。
【００６７】
［実施の形態３］
前述の実施の形態２における符号化方法は、効率の良い派生画像データの生成を可能とするだけでなく、コードブロック単位の処理による、エントロピー符号化部１３０６における省メモリ化を達成している。しかし符号化全体における省メモリ化は達成されていない。
【００６８】
これに対し本実施の形態３では、符号化全体の省メモリ化を図りつつ、効率良く派生画像データを生成する方法について説明する。
【００６９】
図２６は、本実施の形態３に係る画像処理装置の構成を示すブロック図である。これは第２実施の形態の画像処理装置における派生画像データ符号化部１８０１（図１３）を派生画像データ符号化部２２０１に置換したものである。
【００７０】
図２７は、本実施の形態３に係る派生画像データ符号化部２２０１の構成を示すブロック図である。これは実施の形態２に係る派生画像データ符号化部１８０１における基本画像データ符号化部１７０３（図１４）を基本画像データ符号化部２３０１に置換したものである。
【００７１】
図２８は、本実施の形態３に係る基本画像データ符号化部２３０１のブロック図を示したものである。これは基本画像データ入力部１３０１と離散ウェーブレット変換部１３０２の間に、タイル分割部１５０１を挿入し、更に図１６の基本画像符号化データ出力部１３０７を基本画像符号化データ出力部１５０２に置換したものである。
【００７２】
基本画像データ符号化部２３０１（図２７）における基本画像データ入力部１３０１に基本画像データが入力されると、基本画像データは、タイル分割部１５０１で図２９のようにタイル（タイル０〜３）に分割される。そして各タイルは独立に、前述の実施の形態２のように符号化される。
【００７３】
なお、基本画像符号化データ出力部１５０２は、図３０に示されているように、符号化された各タイルデータを並べることで基本画像符号化データを生成し、その基本画像符号化データをバッファ１７０４へ出力する。尚、この基本画像符号化データがバッファ１７０４に出力された後の処理は、前述の実施の形態２と同様であるので、該当する処理の説明は割愛する。
【００７４】
以上説明したように本実施の形態３に係る画像処理装置によれば、画像データを複数のタイルに分割し、各タイルを前述の実施の形態２における符号化方法と同様にして符号化する。こうすることにより、符号化全体の省メモリ化を図りつつ、効率良く派生画像データを生成することができる。
【００７５】
尚、上述した各実施の形態では、画像データを離散ウェーブレット変換により直交変換しているが本発明はこれに限定されるものでなく、例えば、画像データを解像度に応じて階層化して符号化する方式も本発明の範疇に含まれる。
【００７６】
なお本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７７】
また本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７８】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【００７９】
以上説明したように本実施の形態によれば、１つの画像に、効率よく様々な変更処理を加え、符号化することが可能である。
【００８０】
【発明の効果】
以上説明したように本発明によれば、基本画像のある領域が変更されたような画像データを符号化するに際して、より効率の良い画像の符号化を行うことができるという効果がある。
【図面の簡単な説明】
【図１】本実施の形態に係る基本画像の一例を示す図である。
【図２】本実施の形態に係る派生画像の例を示す図である。
【図３】本実施の形態に係る基本画像のタイル分割例を示す図である。
【図４】本発明の実施の形態１に係る画像処理装置における複数種の派生画像の符号化データを生成する処理を示すフローチャートである。
【図５】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図６】１番目の派生画像の符号化データを説明する図である。
【図７】本実施の形態１に係るタイルデータ符号化部１０８の構成を示すブロック図である。
【図８】離散ウェーブレット変換による変換結果を説明する図である。
【図９】本実施の形態における変換係数の周波数成分と量子化ステップとの関係を説明する図である。
【図１０】本実施の形態におけるタイル符号化データを説明する図である。
【図１１】共通タイルデータを符号化した符号化データで構成される準画像符号化データを説明する図である。
【図１２】本発明の実施の形態２に係るコードブロックの分割例を説明する図である。
【図１３】実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１４】実施の形態２に係る画像処理装置における派生画像データ符号化部１８０１の構成を示すブロック図である。
【図１５】実施の形態２に係る画像処理装置における派生画像の符号化データを生成する処理を示すフローチャートである。派生画像の説明図
【図１６】実施の形態２に係る基本画像データ符号化部１７０３の構成を示すブロック図である。
【図１７】、
【図１８】、
【図１９】、
【図２０】、
【図２１】、
【図２２】実施の形態２に係る変更コードブロック生成画素を説明する図である。
【図２３】実施の形態２に係る第ｉ変更コードブロック生成画素符号化部１７０８の構成を示すブロック図である。
【図２４】実施の形態２に係る準第ｉ派生画像符号化データを説明する図である。
【図２５】実施の形態２に係る第ｉ派生画像符号化データを説明する図である。
【図２６】本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図２７】実施の形態３に係る派生画像データ符号化部２２０１の構成を示すブロック図である。
【図２８】実施の形態３に係る基本画像データ符号化部２３０１のブロック図を示した図である。
【図２９】実施の形態３に係る基本画像の分割例を示した図である。
【図３０】実施の形態３に係る基本画像符号化データを説明する図である。
【発明の属する技術分野】
本発明は、基本画像の画像データの所定領域を変更した画像データを符号化する画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、パソコンやモバイル端末の普及により、インターネットを介したデジタルデータの通信（データ通信）が幅広く行われるようになった。このデータ通信において流通するデジタルデータの代表的なものに静止画像データがある。このような静止画像データは、そのデータ量が大きいため、通常、送信や記憶に際しては、前もって符号化され静止画像データのデータ量を小さく抑えることが行われる。このような静止画像データの符号化方法として、例えばＩＳＯ／ｉＥＣ１０９１８−１|ｉＴＵ−Ｔ Ｔ．８１に記載されるＪＰＥＧ符号化方式がある。このＪＰＥＧ符号化方式では、離散コサイン変換により画像データの系列が変換される。
【０００３】
現在、画像データの系列を変換する方式として離散ウェーブレット変換が注目されている。これは離散ウェーブレット変換により生成された画像符号化データの復号画像と、離散ウェーブレット変換により生成された画像符号化データの復号画像とでは、前者の方がノイズが少なく出る傾向にあること等、多くの利点があるためである。
【０００４】
また、離散ウェーブレット変換により画像を符号化することにより、復号が進むにつれて復号画像の精細さ及び解像度が向上するような、復号画像の段階的な表示（プログレッシブ表示）を行うことが可能になる。このようなプログレッシブ表示により、静止画像を受信して閲覧する閲覧者は、画像の受信もしくは復号の早期段階で、画像の大まかな情報を知ることができる。
【０００５】
このような、プログレッシブ表示が可能な離散ウェーブレット変換により符号化された画像データの応用はいろいろ考えられる。その中の一つに、通信回線の容量や受信側のデータ表示デバイスの解像度に合わせた、企業から顧客への情報配信がある。この情報配信において、企業は多くの顧客へ、顧客毎に変更されるべき一部の領域（変更領域）を持つ情報を送る場合がある（図２（Ａ）〜（Ｃ））。
【０００６】
【発明が解決しようとする課題】
従来、このような情報配信において、配信される情報が離散ウェーブレット変換されて符号化された画像データである場合、画像データの全てを再度符号化することが普通だった。しかし、このような画像データは、基本となる画像が共通しており、それに対して各顧客ごとに変更画像データが付加される構成であるため、その変更された画像全体を再度符号化して送信するのは効率の良いものではなかった。
【０００７】
本発明は上記従来例に鑑みてなされたもので、基本画像のある領域が変更されたような画像データを符号化するに際して、より効率の良い画像の符号化を行うことができる画像処理方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
基本画像を変更した派生画像を符号化する画像処理装置であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換手段と、前記第１変換手段により得られた前記変換係数のそれぞれを量子化する第１量子化手段と、前記第１量子化手段により量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割手段と、前記第１コードブロック分割手段により分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化手段と、前記第１エントロピー符号化手段により符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成手段と、前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出手段と、前記算出手段により算出された前記画素を複数の周波数帯域の係数に変換する第２変換手段と、前記第２変換手段により得られた各周波数帯域の係数を量子化する第２量子化手段と、前記第２量子化手段により量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割手段と、前記第２コードブロック分割手段により分割されたコードブロックをエントロピー符号化する第２エントロピー符号化手段と、前記第２エントロピー符号化手段により符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成手段と、前記コードブロック符号化データ生成手段により生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成手段において生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成手段とを有することを特徴とする。
【００１０】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
基本画像を変更した派生画像を符号化する画像処理方法であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換工程と、前記第１変換工程で得られた前記変換係数のそれぞれを量子化する第１量子化工程と、前記第１量子化工程で量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割工程と、前記第１コードブロック分割工程で分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化工程と、前記第１エントロピー符号化工程で符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成工程と、前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出工程と、前記算出工程により算出された前記画素を複数の周波数帯域の係数に変換する第２変換工程と、前記第２変換工程で得られた各周波数帯域の係数を量子化する第２量子化工程と、前記第２量子化工程で量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割工程と、前記第２コードブロック分割工程で分割されたコードブロックをエントロピー符号化する第２エントロピー符号化工程と、前記第２エントロピー符号化工程で符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成工程と、前記コードブロック符号化データ生成工程で生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成工程で生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成工程とを有することを特徴とする。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１３】
本実施の形態における画像処理装置には、例えば図１に示されているように、基本となる画像（基本画像１０００）の画像データが入力される。そして図２（Ａ）〜（Ｃ）に示されるように、図１に示す基本画像１０００にの所定の領域にそれぞれ異なる差異データ２００〜２０２が付加され、複数の派生画像１００１〜１００３が生成される。これら複数の派生画像１００１〜１００３のそれぞれが符号化対象の画像である。尚、このような差異データが付加された領域を変更領域と呼ぶことにする。
【００１４】
これら複数の派生画像１００１〜１００３を符号化する本実施の形態に係る画像処理装置では、図３に示すように、基本画像１０００を４つの矩形の領域（タイル）３０〜３３に分割する。こうして得られた各タイルは、各派生画像に共通な共通タイル３０〜３２と、図２（Ａ）〜（Ｃ）に示す例で差異データ２００〜２０２が付加される変更領域を含む変更タイル３３とに分別される。そして、共通タイル３０〜３２は一度だけ符号化される。また変更タイル３３は、その変更タイル３３に付加される派生画像データの数だけ符号化が繰り返される。なお本実施の形態では、派生画像データがＭ種類（図２（Ａ）〜（Ｃ）の例ではＭ＝３）存在するものとする。尚、図３の例では、変更タイルは２×２個のタイルの右下のタイル３３としているが、この変更タイルの位置はこれに限定されるものではない。
【００１５】
以下にその方法の詳細を述べる。
【００１６】
本実施の形態における静止画像中の符号化対象となる画像データは８ビットのモノクロ画像データとする。しかしながら例えば、各画素４ビット、１０ビット、１２ビットといったように、８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を、それぞれ８ビットで表現するカラーの多値画像データである場合にも適用することが可能である。また、画像データが画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロ画像データとすればよい。
【００１７】
図４は、本実施の形態に係る画像処理装置に基本画像データが入力され、符号化されてＭ種類の派生画像の符号化データが出力されるまでの処理を示すフローチャートである。
【００１８】
まずステップＳ１で、変数ｉを「１」に初期化し、基本画像１０００の画像データ（基本画像データ）を入力する。次にステップＳ２に進み、基本画像データを複数のタイルに分割し、これら複数のタイルのそれぞれを共通タイル（変更されないタイル）と変更タイル（付加データが付与されるタイル）とに分類する。ステップＳ３では、それぞれ共通タイルか変更タイルかに応じて、それぞれに対応した処理に振り分ける。共通タイルの場合にはステップＳ４に進み、その共通タイルの画像データ（共通タイルデータ）を符号化し、符号化共通タイルデータとして第１バッファ１０４（図５）に記憶する。また変更タイルの画像データ（変更タイルデータ）の場合にはステップＳ６に進み、その変更タイルデータを第２バッファ１０５（図５）へ、そのまま出力する。尚、この状態では、変更タイルデータは基本画像を分割したタイルデータであり、図２（Ａ）〜（Ｃ）における２００〜２０２で示されるような差異データは含まれていない。
【００１９】
こうして共通タイルデータの符号化データと、変更タイルデータの記憶処理が終了するとステップＳ７に進み、第ｉ番目の派生画像において付与される差異データ（図２（Ａ）の例では２００に相当）を取得する。この差異データは、前もってメモリなどに記憶されていても、或いは適宜発生されてもよい。次にステップＳ８に進み、変更タイルデータを第２バッファ１０５から付加済み変更タイルデータ生成部１０６（図５）に複写する。次にステップＳ９に進み、第ｉ番目の差異データを変更タイルデータに付加して、第ｉ番目の付加済み変更タイルデータを生成する。これは付加済み変更タイルデータ生成部１０６により実行される。次にステップＳ１０に進み、第ｉ番目の付加済み変更タイルデータを符号化する。そしてステップＳ１１に進み、この符号化された第ｉ番目の付加済み変更タイルデータと、ステップＳ５で第１バッファに格納された符号化された共通タイルデータとを組み合わせて第ｉ番目の派生画像符号化データを生成して出力する。次にステップＳ１２に進み、変数ｉとＭの値とを比較して、Ｍ種類の派生画像符号化データの生成処理が終了したかを調べ、終了していない時は変数ｉを＋１してステップＳ７に戻り前述の処理を実行する。そしてＭ種類の派生画像符号化データの生成処理が全て終了すると、この処理を終了する。
【００２０】
以下に、本発明における画像処理装置の処理の詳細な説明を記述する。
【００２１】
図５は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００２２】
図において、１０１は基本画像データ入力部で、基本画像データを入力する。１０２はタイル分割部で、その入力した基本画像データを複数のタイルに分割する。１０３はタイル分類部で、各タイルを共通タイルと変更タイルに分類する。１０４は第１バッファで、共通タイルデータ及びその共通タイルデータを符号化した符号化データを記憶する。１０５は第２バッファで、変更タイルデータを記憶する。１０６は付加済み変更タイルデータ生成部で、差異データ生成部で生成された差異データを変更タイルデータに付加した変更タイルデータを生成する。差異データ生成部１０７は、例えば図２（Ａ）〜（Ｃ）に示すような差異データ２００〜２０２を生成する。１０８はタイルデータ符号化部で、共通タイルデータ及び差異データを付加した変更タイルデータを入力して符号化する。１０９は第ｉ番目の派生画像データ符号化部で、タイルデータ符号化部１０８で符号化された変更タイルデータの符号化データと、第１バッファ１０４に記憶されている基本画像データの符号化データとを合成して派生画像データの符号化データを生成する。１１０は第ｉ派生画像符号化画像データ出力部で、第ｉ派生画像データ符号化部１０９で符号化された第ｉ番目の派生画像符号化画像データを出力する。
【００２３】
まず、Ｍ種類の差異データの中で、ｉ＝１番目の差異データを用いて、ｉ＝１番目の派生画像データを生成して符号化する場合で説明する。その次に１＜ｉ≦Ｍ番目の派生画像データの符号化について説明する。尚、ｉ＝１の場合とそれ以外の場合との差異は、１＜ｉ≦Ｍの場合には、共通タイルの画像が符号化されて記憶されているので、共通タイルの画像データの符号化処理が不要になるという点にある。
【００２４】
［ｉ＝１の場合］
基本画像データ入力部１０１に入力された基本画像データは、タイル分割部１０２において、図３を参照して前述したように、４つのタイルに分割される。こうして生成された４つのタイルのそれぞれは、タイル分類部１０３で共通タイルと変更タイルとに分類される。次に、これら分類されたタイルのうち、共通タイルデータは第１バッファ１０４に格納され、変更タイルデータは第２バッファ１０５に格納される。そして第１バッファ１０４に格納された共通タイルデータはタイルデータ符号化部１０８により符号化され、符号化された共通タイルデータとなり、再び第１バッファ１０４に戻されて記憶される。尚、このタイルデータ符号化部１０８における処理については後述する。
【００２５】
また第２バッファ１０５に格納された変更タイルデータは、付加済み変更タイルデータ生成部１０６に複写され、差異データ生成部１０７によって生成された第１差異データが、この変更タイルデータに付加されて、第１付加済み変更タイルデータが生成される。この第１付加済み変更タイルデータは、タイルデータ符号化部１０８で符号化されて符号化第１付加済み変更タイルデータとなり、第ｉ派生画像符号化データ生成部１０９に出力される。第ｉ派生画像符号化データ生成部１０９は、符号化第１付加済み変更タイルデータと、第１バッファ１０４に格納されている共通タイルデータの符号化画像データとを合成し、更にヘッダを生成する。その上で図６に示すように、ヘッダ６００、共通タイルデータの符号化データ６０１と、符号化した第１付加済み変更タイルデータ６０２とから第１派生画像の符号化データ６０３を生成する。尚、このヘッダ６００には、基本画像データ入力部１０１に入力された基本画像のサイズ、基本画像が２値画像であるか多値画像であるかを示すタイプなどの情報、並びに送信する画像符号化・伝送装置を示す文字列、送信日時、等が書き込まれる。
【００２６】
このようにして作成された第１派生画像の符号化データは、第ｉ派生画像符号化データ出力部１１０から外部へ出力される。
【００２７】
次に、タイルデータ符号化部１０８に関して説明する。
【００２８】
図７は、本実施の形態１に係るタイルデータ符号化部１０８の構成を示すブロック図である。
【００２９】
図において、２０１はタイルデータ入力部で、共通タイルデータ或いは第１付加済み変更タイルデータを入力する。２０２は離散ウェーブレット変換部で、タイルデータ入力部２０１から入力したタイルデータに対して離散ウェーブレット変換を施す。２０３はバッファで、離散ウェーブレット変換部２０２で離散ウェーブレット変換した変換係数を記憶する。２０４は係数量子化部で、これら変換係数を入力して量子化する。２０５はエントロピー符号化部で、係数量子化部２０４で量子化された係数値をエントロピー符号化する。２０６はタイル符号化データ出力部である。
【００３０】
タイルデータ入力部２０１には、共通タイルデータもしくは第１付加済みタイルデータが入力される。これらのタイルデータは離散ウェーブレット変換部２０２に供給され、離散ウェーブレット変換部２０２は、入力されたタイルデータに離散ウェーブレット変換を施し、生成される離散ウェーブレット変換係数を複数の周波数帯域（サブバンド）に分解する。本実施の形態においては、画像データ列ｘ（ｎ）に対する離散ウェーブレット変換は下式に基づいて行われる。
【００３１】
d(n)＝x(2n＋１)-floor{(x(2n)＋x(2n＋2))/2}
r(n)＝x(2n)＋floor{(d(n-１)＋d(n＋１)＋2)/4}
ここで、ｒ（ｎ）、ｄ（ｎ）は変換係数であり、ｒ（ｎ）は低周波サブバンド、ｄ（ｎ）は高周波サブバンドである。また、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図８（Ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同様に４つのサブバンドに分け（図８（Ｂ））、その中のＬＬサブバンドを更に４サブバンドに分け（図８（Ｃ））、合計１０個のサブバンドを作る。これら１０個のサブバンドそれぞれを図８（Ｃ）に示す様に、ＨＨ１，ＨＬ１，…，ＨＨ３と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。尚、ＬＬサブバンドはレベル０のサブバンドとする。また、レベルｎまでのサブバンドを復号することで得られる復号データをレベルｎの復号データと呼ぶ。そしてレベルｎの復号データから得られる復号画像をレベルｎの復号画像と呼ぶ。ここで復号画像は、レベルが高い程、解像度も高いものとする。
【００３２】
尚、本実施の形態における復号装置に送信される画像符号化データは、上述のような１０個のサブバンドを持つものとする。
【００３３】
これら全てのサブバンドを復号することで得られる復号データを完全復号データと呼ぶ。また、この完全復号データを画像表示デバイスに表示させることで得られる復号画像を完全復号画像と呼ぶ。本実施の形態ではレベル３の復号画像が完全復号画像である。
【００３４】
１０個のサブバンドは、一旦バッファ２０３に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまりレベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部２０４に出力される。係数量子化部２０４は、バッファ２０３から供給される各サブバンドのウェーブレット変換係数を、周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部２０５へ出力する。ここで、係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとするとき、量子化後の係数値Ｑ（Ｘ）は次式によって求めるものとする。
【００３５】
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝
但し、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。
【００３６】
図９は、本実施の形態における各周波数成分と量子化ステップとの対応例を説明する図である。図に示すように、低周波サブバンド（ＬＬ等）よりも高周波サブバンド（ＨＬ１、ＬＨ１、ＨＨ１等）の方に、大きい量子化ステップを与えている。
【００３７】
エントロピー符号化部２０５では、入力された係数量子化値を算術符号化によりエントロピー符号化してエントロピー符号化値を生成する。そのエントロピー符号化値は、タイル符号化データ出力部２０６に出力される。タイル符号化データ出力部２０６では、図１０に示されているように、入力されたエントロピー符号化値をサブバンド単位で並べ、その先頭にタイルヘッダを付加して、タイル符号化データを生成する。
【００３８】
図１１は、３つの共通タイル符号化データの配列を説明する図である。
【００３９】
こうしてタイル符号化データ出力部２０６から、符号化共通タイルデータは第１バッファ１０４へ送られて保存される。また、符号化第１付加済みタイルデータの場合には、第ｉ派生画像データ符号化部１０９に出力される。
【００４０】
［１＜ｉ≦Ｍの場合］
１＜ｉ≦Ｍの場合における派生画像データの符号化においては、既に共通タイルデータの符号化処理が終了して第１バッファ１０４に記憶されている。また付加済み変更タイルデータ生成部１０６により変更タイルデータに第ｉ差異データが付加されて第ｉ付加済みタイルデータが生成され、その第ｉ付加済みタイルデータをタイルデータ符号化部１０８により符号化する。そして第ｉ派生画像符号化データ生成部１０９は、第１バッファ１０４に格納されている符号化済みの共通タイルデータと、タイルデータ符号化部１０８からの符号化第１付加済みタイルデータとを入力して第ｉ派生画像符号化データを生成して、第ｉ派生画像符号化データ出力部１１０から外部へ出力する。
【００４１】
以上説明したように本実施の形態１における画像処理装置によれば、基本画像データを複数のタイルに分割し、得られたタイルを共通タイルと変更タイルとに分別しそれぞれ独立に符号化する。その際、共通タイルデータについては一度だけ符号化を行い、変更タイルデータについては、そのタイルデータに付加される画像データの種類に応じた回数だけ符号化を行う。こうすることにより、変更タイルデータを含む派生画像データの全データを符号化することなく効率的な符号化を達成できる。
【００４２】
［実施の形態２］
前述の実施の形態１では、基本画像データを複数タイルに分割し、得られたタイルを共通タイルと変更タイルとに分別し、共通タイルデータを一度だけ符号化し、変更タイルデータについては派生画像の種類だけ符号化を行った。
【００４３】
これに対し本実施の形態２においては、基本画像を複数のタイルに分割しないで符号化を行う。但し、この実施の形態２では、図１２に示されるように、符号化の過程で、画像データを離散ウェーブレット変換することで得られる各サブバンドをコードブロックに分割した後、エントロピー符号化している。更に、差異データを基本画像においてどこに付加するかが決定された後、各派生画像の変更領域に関わるコードブロック（変更コードブロック）を生成する画素（変更コードブロック生成画素）を算出し、その変更コードブロックの生成画素を符号化する。こうして生成された変更コードブロックの符号化データと、そのコードブロックと空間的に対応するコードブロック（対応コードブロック）の符号化データである対応コードブロックの符号化データとを入れ替える。これにより、複数の派生画像が生成される。
【００４４】
以下に、本実施の形態２に係る画像処理装置における動作について詳しく説明する。
【００４５】
図１３は、本実施の形態２に係る画像処理装置の構成を示すブロック図である。
【００４６】
同図において、１８０１は派生画像データ符号化部、１８０２は外部出力部、１８０３は制御部である。ここでは、複数の派生画像は、派生画像データ符号化部１８０１で符号化された後、外部出力部１８０２に一時保存されて外部に出力される。制御部１８０３は、外部出力部１８０２に蓄積されている派生画像符号化データの外部への出力を制御する。
【００４７】
図１４は、本実施の形態２に係る画像処理装置における派生画像データ符号化部１８０１の構成を示すブロック図である。
【００４８】
図において、１７０１は基本画像入力部、１７０２はバッファ、１７０３は基本画像データ符号化部、１７０４はバッファ、１７０５は差異データ位置決定部、１７０６は変更コードブロック生成画素算出部、１７０７は第ｉ差異データ生成部、１７０８は第ｉ変更コードブロック生成画素符号化部、１７０９はコードブロック置換部、１７１０は第ｉ派生画像符号化データ出力部、１７１１は差異データ消去部である。
【００４９】
図１５は、本実施の形態２に係る画像処理装置における処理を示すフローチャートである。
【００５０】
図において、まずステップＳ２１で、基本画像入力部１７０１により基本画像データを入力する。この時、変数ｉを「１」に初期化する。ステップＳ２２では、この入力された基本画像データをバッファ１７０２に送って一時保存する。次にステップＳ２３に進み、このバッファ１７０２に保存された基本画像データを基本画像データ符号化部１７０３に供給する。これによりステップＳ２４で、基本画像データ符号化部１７０３により基本画像データを符号化して基本画像符号化データを生成する。次にステップＳ２５に進み、この基本画像符号化データをバッファ１７０４に出力して一時保存する。
【００５１】
次にステップＳ２６に進み、第ｉ差異データ生成部１７０７により第ｉ番目の差異データ（第ｉ差異データ）を生成し、その領域情報を差異データ位置決定部１７０５に送る。これにより差異データ位置決定部１７０５は、図２に示されているように、その領域情報から、基本画像データにおける差異データの位置を決定する。こうして決定された位置情報は、変更コードブロック生成画素算出部１７０６に送られ、図２２に示されるように、変更コードブロック（差異データが含まれるコードブロック）が算出される（ステップＳ２７）。この変更コードブロック生成画素の算出方法は詳しく後述する。
【００５２】
次にステップＳ２８に進み、ステップＳ２７の算出結果に基づいて、変更コードブロックの生成画素であると決定された基本画像データの画素がバッファ１７０２から読み出され、更に第ｉ番目の差異データが第ｉ差異データ生成部１７０７から第ｉ変更コードブロック生成画素符号化部１７０８に出力される。次にステップＳ２９に進み、この第ｉ変更コードブロック生成画素符号化部１７０８は、変更コードブロックの生成画素を符号化して第ｉ変更コードブロックの符号化データを生成する。その後ステップＳ３０に進み、第ｉ変更コードブロックの符号化データと、基本画像符号化データにおける、その第ｉ番目に対応するコードブロックの符号化データとを置換して、第ｉ番目の派生画像の符号化データを生成し、第ｉ派生画像符号化データ出力部１７１０に入力する。これにより第ｉ派生画像符号化データ出力部１７１０を介して、第ｉ番目の派生画像の符号化データが外部出力部１８０２（図１３）に出力される。更にステップＳ３１に進み、差異データ消去部１７１１により、第ｉ差異データ生成部１７０７に存在する第ｉ差異データを消去する。そしてステップＳ３２に進み、変数ｉと、差異データの種類数を示す値Ｍとを比較して、Ｍ種類の差異データの処理が終了したかを調べ、終了していなければ変数ｉを＋１してステップＳ２６に戻り、第ｉ差異データに対する前述の処理を繰り返す。こうして、Ｍ種類の差異データの処理が終了すると、この処理を終了する。
【００５３】
図１６は、本実施の形態２に係る基本画像データ符号化部１７０３の構成を示すブロック図である。
【００５４】
図において、１３０１は基本画像データ入力部、２０２は離散ウェーブレット変換部、２０３はバッファ、２０４は係数量子化部、１３０５はコードブロック分割部、１３０６はエントロピー符号化部、１３０７は基本画像符号化データ出力部である。尚、図１６において、前述の実施の形態１に係る図７と共通する部分は同じ記号で示し、それらの説明を省略する。
【００５５】
また図２３は、本実施の形態２に係る第ｉ変更コードブロック生成画素符号化部１７０８の構成を示すブロック図で、ここでも前述の実施の形態１に係る図７と共通する部分は同じ記号で示し、それらの説明を省略する。
【００５６】
図２３において、１９０１は第ｉ変更コードブロック生成画素入力部、１３０５はコードブロック分割部、１３０６はエントロピー符号化部、１９０２は第ｉ変更コードブロック符号化データ出力部である。
【００５７】
以下、図１４に示す基本画像データ符号化部１７０３（図１６），変更コードブロック生成画素算出部１７０６、第ｉ変更コードブロック生成画素符号化部１７０８（図２３）、コードブロック置換部１７０９、第ｉ派生画像符号化データ出力部１７１０の処理について説明する。
【００５８】
［基本画像データ符号化部１７０３］
図１６において、基本画像データは基本画像データ入力部１３０１から入力され、離散ウェーブレット変換部２０２、バッファ２０３、係数量子化部２０４で順に処理される。離散ウェーブレット変換部２０２、バッファ２０３、係数量子化部２０４における処理は、前述の実施の形態１における処理と同様であるので、それらの処理部の説明は割愛する。
【００５９】
係数量子化部２０４で量子化された各係数値は、各サブバンドの形式でコードブロック分割部１３０５に入力され、図１２に示すように、矩形のコードブロックに分割される。このコードブロックの大きさとして、２ｎ×２ｍ（但し、ｎ，ｍは正の定数で、図１２ではｎ＝ｍ＝４）等が考えられる。
【００６０】
こうして生成されたコードブロックは、エントロピー符号化部１３０６に入力されてエントロピー符号化される。そして、このエントロピー符号化により得られた符号化値は、基本画像符号化データ出力部１３０７からバッファ１７０４（図１４）へ出力されて一時保存される。
【００６１】
［変更コードブロック生成画素算出部１７０６］
この変更コードブロック生成画素算出部１７０における処理を、図１７乃至図２２を参照して説明する。尚、ここでは１次元の画素データ列を用いることにより説明を簡易化する。
【００６２】
図１７は、派生画像を離散ウェーブレット変換して低周波成分Ｌ２を生成し、更にこの低周波成分Ｌ２の低周波成分Ｌ１を生成する様子を示している。ここで図１８に示されているように、黒く塗られた画素が変更領域である場合、この変更領域から生成される各サブバンドの係数は、図１９の１９００〜１９０４で示す係数である。これから更に図２０に示すようにコードブロック分割がなされる。その結果である変更コードブロックは、図２１に示されている通りである。そこから、図２２に示されているように、画素１９００〜１９０４が変更コードブロック生成画素として決定される。
【００６３】
［第ｉ変更コードブロック生成画素符号化部１７０８］
第ｉ変更コードブロック生成画素符号化部１７０８における処理は、図２３において、第ｉ変更コードブロック生成画素入力部１９０１に第ｉ変更コードブロック生成画素が入力される点、更に、第ｉ変更コードブロックの符号化データ出力部１９０２から第ｉ変更コードブロックの符号化データが出力される点で、前述の基本画像データ符号化部１７０３（図１６）の処理と異なる。しかし、その他の処理に関しては、前述の基本画像データ符号化部１７０３（図１６）の場合と同様である。
【００６４】
［コードブロック置換部１７０９］
コードブロック置換部１７０９は、コードブロック置換部１７０９内に存在する作業用バッファに、バッファ１７０４に蓄積されている基本画像の符号化データを複写する。更に、この基本画像の符号化データにおける対応コードブロックの符号化データを、第ｉ変更コードブロック生成画素符号化部１７０８から入力された第ｉ変更コードブロックの符号化データにより置換する。更に、コードブロックの単位にエントロピー符号化されたサブバンドを図２４のように並べて準第ｉ派生画像符号化データを生成し、第ｉ派生画像符号化データ出力部１７１０に出力する。
【００６５】
［第ｉ派生画像符号化データ出力部１７１０］
第ｉ派生画像符号化データ出力部１７１０は、図２５に示されているように、入力された準第ｉ派生画像符号化データの先頭にヘッダ付加し、第ｉ派生画像符号化データを生成する。なお、このヘッダには、基本画像入力部１７０１に入力された画像のサイズ、画像が２値画像であるか多値画像であるかを示すタイプなどの情報、並びに送信する画像処理装置を示す文字列、送信日時等が書き込まれる。このように生成された第ｉ派生画像符号化データは、外部出力部１８０２（図１３）へ出力される。
【００６６】
以上説明したように本実施の形態２に係る画像処理装置によれば、離散ウェーブレット変換された画像データのサブバンドをコードブロックに分割する。その後、各派生画像の変更コードブロック符号化する。こうすることで効率の良い派生画像データの符号化を行える。
【００６７】
［実施の形態３］
前述の実施の形態２における符号化方法は、効率の良い派生画像データの生成を可能とするだけでなく、コードブロック単位の処理による、エントロピー符号化部１３０６における省メモリ化を達成している。しかし符号化全体における省メモリ化は達成されていない。
【００６８】
これに対し本実施の形態３では、符号化全体の省メモリ化を図りつつ、効率良く派生画像データを生成する方法について説明する。
【００６９】
図２６は、本実施の形態３に係る画像処理装置の構成を示すブロック図である。これは第２実施の形態の画像処理装置における派生画像データ符号化部１８０１（図１３）を派生画像データ符号化部２２０１に置換したものである。
【００７０】
図２７は、本実施の形態３に係る派生画像データ符号化部２２０１の構成を示すブロック図である。これは実施の形態２に係る派生画像データ符号化部１８０１における基本画像データ符号化部１７０３（図１４）を基本画像データ符号化部２３０１に置換したものである。
【００７１】
図２８は、本実施の形態３に係る基本画像データ符号化部２３０１のブロック図を示したものである。これは基本画像データ入力部１３０１と離散ウェーブレット変換部１３０２の間に、タイル分割部１５０１を挿入し、更に図１６の基本画像符号化データ出力部１３０７を基本画像符号化データ出力部１５０２に置換したものである。
【００７２】
基本画像データ符号化部２３０１（図２７）における基本画像データ入力部１３０１に基本画像データが入力されると、基本画像データは、タイル分割部１５０１で図２９のようにタイル（タイル０〜３）に分割される。そして各タイルは独立に、前述の実施の形態２のように符号化される。
【００７３】
なお、基本画像符号化データ出力部１５０２は、図３０に示されているように、符号化された各タイルデータを並べることで基本画像符号化データを生成し、その基本画像符号化データをバッファ１７０４へ出力する。尚、この基本画像符号化データがバッファ１７０４に出力された後の処理は、前述の実施の形態２と同様であるので、該当する処理の説明は割愛する。
【００７４】
以上説明したように本実施の形態３に係る画像処理装置によれば、画像データを複数のタイルに分割し、各タイルを前述の実施の形態２における符号化方法と同様にして符号化する。こうすることにより、符号化全体の省メモリ化を図りつつ、効率良く派生画像データを生成することができる。
【００７５】
尚、上述した各実施の形態では、画像データを離散ウェーブレット変換により直交変換しているが本発明はこれに限定されるものでなく、例えば、画像データを解像度に応じて階層化して符号化する方式も本発明の範疇に含まれる。
【００７６】
なお本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７７】
また本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７８】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【００７９】
以上説明したように本実施の形態によれば、１つの画像に、効率よく様々な変更処理を加え、符号化することが可能である。
【００８０】
【発明の効果】
以上説明したように本発明によれば、基本画像のある領域が変更されたような画像データを符号化するに際して、より効率の良い画像の符号化を行うことができるという効果がある。
【図面の簡単な説明】
【図１】本実施の形態に係る基本画像の一例を示す図である。
【図２】本実施の形態に係る派生画像の例を示す図である。
【図３】本実施の形態に係る基本画像のタイル分割例を示す図である。
【図４】本発明の実施の形態１に係る画像処理装置における複数種の派生画像の符号化データを生成する処理を示すフローチャートである。
【図５】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図６】１番目の派生画像の符号化データを説明する図である。
【図７】本実施の形態１に係るタイルデータ符号化部１０８の構成を示すブロック図である。
【図８】離散ウェーブレット変換による変換結果を説明する図である。
【図９】本実施の形態における変換係数の周波数成分と量子化ステップとの関係を説明する図である。
【図１０】本実施の形態におけるタイル符号化データを説明する図である。
【図１１】共通タイルデータを符号化した符号化データで構成される準画像符号化データを説明する図である。
【図１２】本発明の実施の形態２に係るコードブロックの分割例を説明する図である。
【図１３】実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１４】実施の形態２に係る画像処理装置における派生画像データ符号化部１８０１の構成を示すブロック図である。
【図１５】実施の形態２に係る画像処理装置における派生画像の符号化データを生成する処理を示すフローチャートである。派生画像の説明図
【図１６】実施の形態２に係る基本画像データ符号化部１７０３の構成を示すブロック図である。
【図１７】、
【図１８】、
【図１９】、
【図２０】、
【図２１】、
【図２２】実施の形態２に係る変更コードブロック生成画素を説明する図である。
【図２３】実施の形態２に係る第ｉ変更コードブロック生成画素符号化部１７０８の構成を示すブロック図である。
【図２４】実施の形態２に係る準第ｉ派生画像符号化データを説明する図である。
【図２５】実施の形態２に係る第ｉ派生画像符号化データを説明する図である。
【図２６】本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図２７】実施の形態３に係る派生画像データ符号化部２２０１の構成を示すブロック図である。
【図２８】実施の形態３に係る基本画像データ符号化部２３０１のブロック図を示した図である。
【図２９】実施の形態３に係る基本画像の分割例を示した図である。
【図３０】実施の形態３に係る基本画像符号化データを説明する図である。
Claims (10)
- 基本画像を変更した派生画像を符号化する画像処理装置であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換手段と、
前記第１変換手段により得られた前記変換係数のそれぞれを量子化する第１量子化手段と、
前記第１量子化手段により量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割手段と、
前記第１コードブロック分割手段により分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化手段と、
前記第１エントロピー符号化手段により符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成手段と、
前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出手段と、
前記算出手段により算出された前記画素を複数の周波数帯域の係数に変換する第２変換手段と、
前記第２変換手段により得られた各周波数帯域の係数を量子化する第２量子化手段と、
前記第２量子化手段により量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割手段と、
前記第２コードブロック分割手段により分割されたコードブロックをエントロピー符号化する第２エントロピー符号化手段と、
前記第２エントロピー符号化手段により符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成手段と、
前記コードブロック符号化データ生成手段により生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成手段において生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成手段と、
を有することを特徴とする画像処理装置。 - 前記第１及び２変換手段は離散ウェーブレット変換により変換することを特徴とする請求項１に記載の画像処理装置。
- 前記第１及び２変換手段は、低周波帯域を再帰的に分割することを特徴とする請求項２に記載の画像処理装置。
- 前記基本画像の画像データを複数のタイルに分割する分割手段を更に有し、
前記第１変換手段は、前記分割手段により分割された各タイルの画像データを変換することを特徴とする請求項１に記載の画像処理装置。 - 基本画像を変更した派生画像を符号化する画像処理方法であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換工程と、
前記第１変換工程で得られた前記変換係数のそれぞれを量子化する第１量子化工程と、
前記第１量子化工程で量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割工程と、
前記第１コードブロック分割工程で分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化工程と、
前記第１エントロピー符号化工程で符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成工程と、
前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出工程と、
前記算出工程により算出された前記画素を複数の周波数帯域の係数に変換する第２変換工程と、
前記第２変換工程で得られた各周波数帯域の係数を量子化する第２量子化工程と、
前記第２量子化工程で量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割工程と、
前記第２コードブロック分割工程で分割されたコードブロックをエントロピー符号化する第２エントロピー符号化工程と、
前記第２エントロピー符号化工程で符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成工程と、
前記コードブロック符号化データ生成工程で生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成工程で生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成工程と、
を有することを特徴とする画像処理方法。 - 前記第１及び２変換工程では離散ウェーブレット変換により前記変換係数を求めることを特徴とする請求項５に記載の画像処理方法。
- 前記第１及び２変換工程では、低周波帯域を再帰的に分割することを特徴とする請求項６に記載の画像処理方法。
- 前記基本画像の画像データを複数のタイルに分割する分割工程を更に有し、前記第１変換工程では、前記分割工程で分割された各タイルの画像データを変換することを特徴とする請求項５に記載の画像処理方法。
- 請求項５乃至８のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶したことを特徴とする、コンピュータにより読み取り可能な記憶媒体。
- 請求項５乃至８のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001267906A JP4678814B2 (ja) | 2001-09-04 | 2001-09-04 | 画像処理方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001267906A JP4678814B2 (ja) | 2001-09-04 | 2001-09-04 | 画像処理方法及び装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003078767A JP2003078767A (ja) | 2003-03-14 |
| JP2003078767A5 JP2003078767A5 (ja) | 2008-10-16 |
| JP4678814B2 true JP4678814B2 (ja) | 2011-04-27 |
Family
ID=19093971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001267906A Expired - Fee Related JP4678814B2 (ja) | 2001-09-04 | 2001-09-04 | 画像処理方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4678814B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005123856A (ja) | 2003-10-16 | 2005-05-12 | Ricoh Co Ltd | 画像処理システム、画像処理方法、プログラム及び情報記録媒体 |
| JP4817821B2 (ja) * | 2005-12-01 | 2011-11-16 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| CA2785186C (en) * | 2009-12-25 | 2013-08-06 | Rakuten, Inc. | Image generation device, image generation method, image generation program and recording medium |
| US9256921B2 (en) | 2009-12-25 | 2016-02-09 | Rakuten, Inc. | Image generation device, image generation method, image generation program, and recording medium |
| KR101605364B1 (ko) | 2014-05-30 | 2016-03-23 | 주식회사 오라시스템 | 경관조명장치 및 그 영상출력방법 |
| JP2024058838A (ja) * | 2022-10-17 | 2024-04-30 | 日本電信電話株式会社 | 映像送信システム及び映像送信方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3647899B2 (ja) * | 1994-07-13 | 2005-05-18 | 株式会社日立国際電気 | 画像伝送方法 |
| JP2000032458A (ja) * | 1998-07-07 | 2000-01-28 | Ricoh Co Ltd | 画像圧縮法 |
| JP2000270192A (ja) * | 1999-03-12 | 2000-09-29 | Fuji Xerox Co Ltd | 画像処理装置および方法 |
-
2001
- 2001-09-04 JP JP2001267906A patent/JP4678814B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003078767A (ja) | 2003-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4480119B2 (ja) | 画像処理装置及び画像処理方法 | |
| US7016545B1 (en) | Reversible embedded wavelet system implementation | |
| US6847735B2 (en) | Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium | |
| JP4545980B2 (ja) | 符号化装置及び符号化方法並びに記憶媒体 | |
| US20080063070A1 (en) | Encoder rate control | |
| JP4208378B2 (ja) | 画像処理装置及び方法及び記録媒体 | |
| JP2002176553A (ja) | 画像処理装置、及びその方法、並びにプログラム、記憶媒体 | |
| JP2001231042A (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
| JP2007267384A (ja) | 圧縮装置及び圧縮方法 | |
| JPH11266161A (ja) | データ圧縮方法及びデータ圧縮装置 | |
| US7450773B2 (en) | Image processing apparatus and image processing method, image processing system, image processing program and storage medium | |
| US20080089413A1 (en) | Moving Image Encoding Apparatus And Moving Image Encoding Method | |
| JP4678814B2 (ja) | 画像処理方法及び装置 | |
| JP2006014086A (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP4054430B2 (ja) | 画像処理装置及び方法及び記憶媒体 | |
| JP2001258033A (ja) | 画像データの符号化装置及び方法、記憶媒体 | |
| JP2006086579A (ja) | 画像処理装置、プログラム、及び記憶媒体 | |
| JP2001218208A (ja) | 画像復号装置及びその方法 | |
| JP2003204439A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP3990949B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2001045482A (ja) | 画像処理装置及び方法 | |
| JP4090352B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、プログラム及び記憶媒体 | |
| JP5078199B2 (ja) | 画像符号化装置及びその方法並びにプログラムコード、記憶媒体 | |
| JP4194311B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
| JP2001251623A (ja) | 画像処理装置、表示装置、システム、それらの制御方法及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080829 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080829 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110128 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110131 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140210 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |