JP4841504B2 - 画像符号化装置および方法 - Google Patents

Description

この発明は、画像符号化装置、画像復号装置、画像表示装置および画像表示方法に関する。

ＩＳＯ／ＩＴＵ−Ｔにおいて、静止画像の圧縮符号化の標準技術であるＪＰＥＧ（Joint Photographic Expert Group）の後継として、離散ウェーブレット変換（ＤＷＴ）を用いたＪＰＥＧ２０００の標準化が行われている。ＪＰＥＧ２０００では、低ビットレート符号化からロスレス圧縮まで広範囲の画質を高性能で符号化することができ、画質を徐々に高めるスケーラビリティ機能も実現が容易である。また、ＪＰＥＧ２０００には、従来のＪＰＥＧ標準にはなかった多様な機能が用意されている。

ＪＰＥＧ２０００の機能の一つとして、画像の注目領域（Region of Interest;ＲＯＩ）を他の領域よりも優先して符号化し、伝送するＲＯＩ符号化が規格化されている。ＲＯＩ符号化により、符号化レートに上限がある場合に、注目領域の再生画質を優先的に高品質にすることができる他、符号化ストリームを順に復号する際に、注目領域を早期に高品質で再生することができるようになる。

ＲＯＩ符号化として、画像の注目領域に対応するウェーブレット変換係数（以下、ＲＯＩ変換係数という）のビットプレーンを非注目領域に対応するウェーブレット変換係数（以下、非ＲＯＩ変換係数という）のビットプレーンの最大ビット数だけスケールアップするマックスシフト法があり、この手法によれば、ＲＯＩ変換係数の全ビットプレーンがどの非ＲＯＩ変換係数のビットプレーンよりも先に符号化される。また、ＲＯＩ変換係数のビットプレーンを所定のビット数だけスケールアップすることにより、ＲＯＩ変換係数の一部の上位ビットを非ＲＯＩ変換係数よりも優先的に符号化する方法も知られている。特許文献１には、これらのＲＯＩ符号化手法の改良技術が提案されている。

図１は、従来の画像符号化装置１００の構成図である。この画像符号化装置１００はマックスシフト法によりＲＯＩ符号化を行う。ウェーブレット変換部１０は、入力された原画像をウェーブレット変換し、ウェーブレット変換係数を出力する。量子化部１２は、原画像のウェーブレット変換係数を量子化する。図２（ａ）は、量子化後のウェーブレット変換係数５０を示し、最上位ビット（Most Significant Bit；ＭＳＢ）から最下位ビット（Least Significant Bit；ＬＳＢ）まで５ビットの各ビットプレーンを含む。

ＲＯＩ選択部１８は、原画像上の注目領域を選択し、ＲＯＩマスク生成部２０は、選択された注目領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。ＲＯＩ変換係数は、図２（ａ）のウェーブレット変換係数５０において斜線で示されている。

ＲＯＩスケールアップ部２２は、ＲＯＩマスクを参照して、量子化されたＲＯＩ変換係数をＳビットだけスケールアップする。すなわち、ＲＯＩ変換係数の値をＳビットだけ左シフトする。ここで、スケールアップ量Ｓは、非注目領域に対応するウェーブレット変換係数すなわち非ＲＯＩ変換係数の量子化値の最大値のビット数よりも大きい自然数である。図２（ｂ）は、ＲＯＩ変換係数が５ビットだけスケールアップされた状態のウェーブレット変換係数５２を示す。スケールアップ後のウェーブレット変換係数５２において、スケールアップにより新たに生じた桁には零値が充当される。

エントロピー符号化部１４は、図２（ｃ）の矢印に示すように、スケールアップされたウェーブレット変換係数５２の量子化値を上位ビットブレーンから順にスキャンしながらエントロピー符号化する。符号化データ生成部１６は、エントロピー符号化されたデータを、量子化幅等の符号化パラメータ、注目領域の位置を示すＲＯＩ位置情報、およびスケールアップ量とともにストリーム化して、符号化画像として出力する。

図３は、従来の画像復号装置１１０の構成図である。この画像復号装置１１０は、マックスシフト法によりＲＯＩ符号化された画像の復号を行う。符号化データ抽出部３０は、入力された符号化画像から符号化データ、各種符号化パラメータ、ＲＯＩ位置情報、およびスケールアップ量を抽出する。エントロピー復号部３２は、符号化データをビットプレーン毎に復号し、得られたウェーブレット変換係数の量子化値をメモリに格納する。図４（ａ）は、エントロピー復号後のウェーブレット変換係数５４を示す。図２（ａ）〜（ｃ）の例に対応して、スケールアップ量Ｓは５ビットであり、エントロピー復号後のウェーブレット変換係数５４は、全体で１０ビットプレーンを含む。

ＲＯＩマスク生成部３８は、ＲＯＩ位置情報をもとに、ＲＯＩ変換係数を特定するマスクを生成する。ＲＯＩスケールダウン部４０は、ＲＯＩマスクを参照して、量子化されたウェーブレット変換係数の内、ＲＯＩ変換係数をＳビットだけスケールダウンする。図４（ｂ）は、ＲＯＩ変換係数が５ビットだけスケールダウンされた状態のウェーブレット変換係数５６を示す。スケールダウンにより残された非ＲＯＩ変換係数の上位５ビットは破棄され、全体で５ビットプレーンの量子化されたウェーブレット変換係数５６が得られる。

逆量子化部３４は、スケールダウンされたＲＯＩ変換係数を含むウェーブレット変換係数の量子化値を逆量子化し、ウェーブレット逆変換部３６は、逆量子化されたウェーブレット変換係数に対してウェーブレット逆変換を行い、得られた復号画像を出力する。
特開２００１−４５４８４号公報

上記の従来のＲＯＩ符号化では、複数の注目領域がある場合に、それらの注目領域間で画質の差を設けることができないという問題がある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、画質の異なる複数の領域を含む画像を符号化、復号、および表示することのできる画像符号化技術、画像復号技術、および画像表示技術を提供することにある。

本発明のある態様は画像符号化方法に関する。この方法は、動画像上に定義された注目領域を特定するための情報を、前記動画像の符号化データを含む符号化ストリーム内に明示的に記述する。
本発明の別の態様も画像符号化方法に関する。この方法は、画像上に定義された複数の注目領域を特定するための情報を、前記画像の符号化データを含む符号化ストリーム内に明示的に記述する。
本発明のある態様は画像符号化装置に関する。この装置は、動画像上に注目領域を選択する選択部と、前記動画像を符号化する符号化部と、符号化した動画像と前記注目領域を特定するための情報とを含む符号化ストリームを生成する生成部とを備える。
本発明の別の態様も画像符号化装置に関する。この装置は、画像上に複数の注目領域を選択する選択部と、前記画像を符号化する符号化部と、符号化した画像と前記複数の注目領域を特定するための情報とを含む符号化ストリームを生成する生成部とを備える。

本発明のある態様は画像表示装置に関する。この装置は、画面に対して設定された複数の領域毎に画質の異なる動画像を前記画面に表示させる表示部を含む。
前記画面に対して注目領域と非注目領域の少なくとも一方を指定する指定部をさらに含み、前記注目領域と前記非注目領域の少なくとも一方の指定により、前記画面に対して前記複数の領域が設定されてもよい。たとえば、画面に対して注目領域が一つ指定されることにより、画面に対して注目領域とそれ以外の領域の２つの領域が設定される。また、画面に対して非注目領域が一つ指定されることにより、画面に対して非注目領域とそれ以外の領域の２つの領域が設定される。注目領域または非注目領域は、複数指定されてもよく、さらに、注目領域と非注目領域が組み合わされて設定されることで、注目領域、非注目領域、それ以外の領域といった複数の領域が設定されてもよい。

注目領域および非注目領域は、一方の領域を注目と定めると、他方の領域が非注目になるといった相対的な関係にあり、一例として、優先度に相対的な違いのある領域、特に画質に対する要求のレベルに相対的な違いのある領域であってもよい。注目領域は、他の領域に比べて優先度が高い、特に画質の要求が高い領域であり、非注目領域は、他の領域に比べて優先度が低い、特に画質の要求が低い領域であってもよい。

ここで、「画面に表示させる表示部」とは、ディスプレイなどの画面と、画面に供給する画像信号の出力制御を行う表示制御部を共に含む形態の他、ディスプレイ機器に接続されるインタフェースをもち、ディスプレイ機器を含まない表示制御部のみの形態も含む趣旨であり、これらのいずれの形態も技術的範囲に含まれる。

本発明の別の態様も画像表示装置に関する。この装置は、画質の異なる複数の領域をもち、それらの領域に重なりのある動画像を画面に表示させる表示部を含む。

本発明のさらに別の態様も画像表示装置に関する。この装置は、視認性を保ちつつ画質を異ならせた複数の領域をもつ動画像を画面に表示させる表示部を含む。ここで、「視認性を保ちつつ画質を異ならせる」とは、対象物の画像として認識できる範囲で画質を調整することであり、対象物を把握できる範囲で低画質にしたり、あるいは、逆に注目している領域を他の領域よりも高画質にすることを含む。
上記のいずれかの画像表示装置において、前記複数の領域の位置情報を受け取り、その位置情報を参照して符号化画像を復号し、前記複数の領域毎に画質の異なる復号画像を生成する復号ブロックをさらに含んでもよい。前記表示部は、前記復号ブロックにより生成された前記復号画像を前記画面に表示させてもよい。
上記のいずれかの画像表示装置において、前記複数の領域の位置情報を受け取り、その位置情報を参照して原画像を符号化し、前記複数の領域毎に画質の異なる符号化画像を生成する符号化ブロックをさらに含んでもよい。前記表示部は、前記符号化画像をもとにして復号された画像を前記画面に表示させてもよい。

本発明のさらに別の態様も画像表示装置に関する。この装置は、動画像が表示される画面に対して注目領域と非注目領域の少なくとも一方を選択する選択部と、前記注目領域と前記非注目領域の少なくとも一方の選択によって前記画面に対して設定された複数の領域毎に画質の異なる前記動画像を前記画面に表示させる表示部とを含む。この構成によれば、複数の領域の画質を意図的に変えて表示させることができる。

ここで、複数の領域は、利用者が画面に対して領域を指定することにより選択されてもよい。また、複数の領域は、特定の対象物が存在する領域が何らかの方法で抽出されることにより選択されてもよい。たとえば、画像認識手法により、文字が写っている領域、人物が写っている領域、およびその他の領域が複数の領域として抽出されてもよい。また、画面の中心部とその周辺、外周部などの特定箇所があらかじめ設定されており、その設定された箇所が複数の領域として選択されてもよい。

前記選択部は、前記領域毎に優先度を設定し、前記表示部は、前記複数の領域を優先度に応じた画質で表示してもよい。前記複数の領域間に重複がある場合、重複する部分においては、優先度の高い方にもとづいて画質が定められてもよい。優先度は利用者が画面に対して領域を指定する際に指定してもよい。また、画面の中心部の優先度を高くしたり、文字が写っている領域の優先度を高くするなど、あらかじめ優先度が決められていてもよい。

本発明のさらに別の態様も画像表示装置に関する。この装置は、動画像が表示される画面に対して注目領域を選択する選択部と、前記注目領域が選択されていない状態では、画面全体を所定の画質で表示し、前記注目領域が選択された状態では、その注目領域の画質を他の領域の画質よりも高くして表示させる表示部とを含む。この構成によれば、動画像の通常再生時には、たとえば低画質で簡易再生を行い、注目領域が選択された場合に、その注目領域の画質を高くして再生することができる。

前記表示部は、前記注目領域が複数選択された場合に、前記注目領域毎に画質を異ならせて表示してもよい。前記選択部は時間変化のあった領域を前記注目領域として選択してもよい。表示部は、時間変化のあった領域が複数ある場合、時間変化の程度に応じて画質を異ならせてもよい。

本発明のさらに別の態様は画像表示方法に関する。この方法は、画面に対して設定された複数の領域毎に画質を異ならせて動画像を前記画面に表示する。この動画像は、記憶装置から読み出されてもよく、ネットワークを介して入力されてもよい。

本発明のさらに別の態様は画像符号化装置に関する。この装置は、画像を空間周波数領域に変換して変換係数を生成する変換部と、前記複数の領域の各々に対応する前記変換係数のビット列を各領域の優先度に応じたビット数だけスケールアップするスケールアップ部と、前記スケールアップ部によるスケールアップ後、前記画像全体の前記変換係数を上位ビットから順に圧縮符号化する符号化部とを含む。前記画像上の複数の領域の各々に対応する前記変換係数を特定するためのマスクを生成するマスク生成部をさらに含んでもよい。

本発明のさらに別の態様も画像符号化装置に関する。この装置は、画像をウェーブレット変換してウェーブレット変換係数を生成する変換部と、前記複数の領域の各々に対応する前記ウェーブレット変換係数のビット列を各領域の優先度に応じたビット数だけスケールアップするスケールアップ部と、前記スケールアップ部によるスケールアップ後、前記画像全体の前記ウェーブレット変換係数を上位ビットプレーンから順に圧縮符号化する符号化部とを含む。前記画像上の複数の領域の各々に対応する前記ウェーブレット変換係数を特定するためのマスクを生成するマスク生成部をさらに含んでもよい。

本発明のさらに別の態様は画像符号化方法に関する。この方法は、画像のウェーブレット変換係数において前記画像上の複数の領域に対応する前記ウェーブレット変換係数を特定し、特定された前記複数の領域に対応する前記ウェーブレット変換係数のビット列を各領域の優先度に応じたビット数だけスケールアップした上で、前記画像全体の前記ウェーブレット変換係数のビット列をまとめて上位ビットプレーンから順に圧縮符号化する。

本発明のさらに別の態様も画像符号化装置に関する。この装置は、画像上に優先度の異なる複数の領域を選択する領域選択部と、前記複数の領域の各々の優先度に応じて前記画像を圧縮符号化し、画質の異なる複数の領域を含む符号化画像を生成する符号化部とを含む。画像を空間周波数領域に変換して変換係数を生成する変換部と、前記領域選択部により選択された前記複数の領域に対応する前記変換係数を特定するためのマスクを生成するマスク生成部とをさらに含み、前記符号化部は、前記マスクを参照して、前記複数の領域が設けられた前記画像を圧縮符号化してもよい。

本発明のさらに別の態様は画像復号装置に関する。この装置は、画像上に優先度の異なる複数の領域を選択する領域選択部と、前記複数の領域の各々の優先度に応じて前記圧縮符号化された画像を逆変換し、画質の異なる複数の領域を含む画像を復元する逆変換部とを含む。圧縮符号化された画像を復号して空間周波数領域における変換係数を取得する復号部と、前記領域選択部により選択された前記複数の領域に対応する前記変換係数を特定するためのマスクを生成するマスク生成部とをさらに含み、前記逆変換部は、前記マスクを参照して、前記複数の領域が設けられた前記圧縮符号化された画像を逆変換してもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画面に対して設定された領域の画質を異ならせて画像を表示することができる。

実施の形態１
図５は、実施の形態１に係る画像符号化装置２００の構成図である。画像符号化装置２００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

画像符号化装置２００は、入力された原画像を一例としてＪＰＥＧ２０００方式により圧縮符号化する。画像符号化装置２００に入力される原画像は、動画像のフレームであってもよい。画像符号化装置２００は、動画像の各フレームをＪＰＥＧ２０００方式で連続的に符号化して、動画像の符号化ストリームを生成することができる。

ウェーブレット変換部１０は、入力された原画像をサブバンド分割して、各サブバンド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生成する。

ウェーブレット変換部１０は、原画像のｘ、ｙそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、４つの周波数サブバンドへ分割してウェーブレット変換する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。

ウェーブレット変換部１０は、こうして得られたサブバンドのうち、ＬＬサブバンドに対して再度フィルタリング処理を行って、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割してウェーブレット変換する。ウェーブレット変換部１０は、このフィルタリングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのウェーブレット変換係数を出力する。量子化部１２は、ウェーブレット変換部１０から出力されたウェーブレット変換係数を所定の量子化幅で量子化する。

ＲＯＩ選択部１８は、原画像上の注目領域を選択し、注目領域の位置を示すＲＯＩ位置情報をＲＯＩマスク生成部２０に与える。ＲＯＩ位置情報は、注目領域が矩形で選択される場合は、矩形領域の左上隅の画素の座標値と矩形領域の縦横の画素数で与えられる。

注目領域は、ユーザが原画像上の特定の領域を指定することによって選択されてもよく、原画像の中心領域などあらかじめ定まった領域が選択されてもよい。また、人物や文字が写っている領域などの重要領域が注目領域として自動的に抽出されてもよい。画像符号化装置２００に動画像のフレームが連続入力される場合、画像フレーム上の特定の領域の動きを追跡することによって注目領域が自動的に選択されてもよい。

ＲＯＩマスク生成部２０は、ＲＯＩ位置情報をもとに、注目領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。

図６（ａ）〜（ｃ）は、ＲＯＩマスク生成部２０により生成されるＲＯＩマスクを説明する図である。図６（ａ）のように、ＲＯＩ選択部１８により原画像８０上に注目領域９０が選択されたとする。ＲＯＩマスク生成部２０は、原画像８０上に選択された注目領域９０を復元するために必要なウェーブレット変換係数を各サブバンドにおいて特定する。

図６（ｂ）は、原画像８０を１回だけウェーブレット変換することにより得られる第１階層の変換画像８２を示す。第１階層の変換画像８２は、第１レベルの４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１から構成される。ＲＯＩマスク生成部２０は、原画像８０の注目領域９０を復元するために必要な第１階層の変換画像８２上のウェーブレット変換係数、すなわちＲＯＩ変換係数９１〜９４を第１レベルの各サブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１において特定する。

図６（ｃ）は、図６（ｂ）の変換画像８２の最低周波数成分のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる第２階層の変換画像８４を示す。第２階層の変換画像８４は、同図のように、第１レベルの３つのサブバンドＨＬ１、ＬＨ１、ＨＨ１の他、第２レベルの４つのサブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２を含む。ＲＯＩマスク生成部２０は、第１階層の変換画像８２のサブバンドＬＬ１におけるＲＯＩ変換係数９１を復元するために必要な第２階層の変換画像８４上のウェーブレット変換係数、すなわちＲＯＩ変換係数９５〜９８を第２レベルの各サブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２において特定する。

同様にして、ウェーブレット変換の回数だけ注目領域９０に対応するＲＯＩ変換係数を各階層において再帰的に特定していくことにより、最終階層の変換画像において、注目領域９０を復元するために必要なＲＯＩ変換係数をすべて特定することができる。ＲＯＩマスク生成部２０は、この最終的に特定されたＲＯＩ変換係数の位置を最終階層の変換画像上で特定するためのＲＯＩマスクを生成する。たとえば、ウェーブレット変換を２回だけ行う場合には、図６（ｃ）において斜線で示した７個のＲＯＩ変換係数９２〜９８の位置を特定することのできるＲＯＩマスクが生成される。

図５の下位ビット零置換部２４は、非注目領域に対する注目領域の相対的な優先度に応じて、非注目領域に対応する前記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整するものであり、ＲＯＩマスク生成部２０により生成されたＲＯＩマスクを参照して、ＲＯＩマスクによってマスクされない非ＲＯＩ変換係数のビット列において最下位ビットから数えてＳビットだけを零に置換する。ここで、零置換ビット数Ｓは非注目領域に対する注目領域の相対的な優先度合いに相当し、非注目領域における量子化値の最大ビット数を上限とする任意の自然数である。この零置換ビット数Ｓを変化させることにより、注目領域に対する非注目領域の再生画質の劣化度合いを連続的に調整することができる。

図７（ａ）〜（ｃ）は、下位ビット零置換部２４により原画像のウェーブレット変換係数６０の下位ビットが零置換される様子を説明する図である。図７（ａ）は、量子化部１２による量子化後のウェーブレット変換係数６０を示し、５ビットプレーンを含み、ＲＯＩ変換係数は斜線で示されている。

図７（ｂ）に示すように、下位ビット零置換部２４は、ＲＯＩマスクによりマスクされていない非ＲＯＩ変換係数のＬＳＢ側のＳビットを零に置換する。この例では、Ｓ＝２であり、符号６４で示すように、非ＲＯＩ変換係数のＬＳＢ側の２ビットが零に置換されたウェーブレット変換係数６２が得られる。

図５のエントロピー符号化部１４は、図７（ｃ）の矢印に示すように、ＲＯＩ変換係数と零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数６２を上位ビットプレーンから順にスキャンしながらエントロピー符号化する。

図８（ａ）〜（ｃ）は、原画像上に注目領域が存在しない場合にウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。図８（ａ）は、原画像に注目領域が設定されないことから非ＲＯＩ変換係数のみからなる５ビットプレーンのウェーブレット変換係数７０を示す。下位ビット零置換部２４は、零置換ビット数Ｓが２の場合、図８（ｂ）に示すように、５ビットプレーンの内、ＬＳＢ側の下位２ビットプレーンを零に置換したウェーブレット変換係数７２を生成する。

エントロピー符号化部１４は、図８（ｃ）に示すように、零置換後のウェーブレット変換係数７２の上位３ビットプレーンを上から順にエントロピー符号化する。この場合、零置換された下位の２ビットプレーンは符号化しない。なお、下位２ビットプレーンを零置換する代わりに、単に下位２ビットプレーンを破棄してもよい。

符号化データ生成部１６は、エントロピー符号化されたデータを量子化幅等の符号化パラメータとともにストリーム化して、符号化画像として出力する。

一般に、記憶容量や伝送レートの制限などにより最終的な符号化画像のデータサイズに上限が設定されている場合、エントロピー符号化部１４は、量子化されたウェーブレット変換係数を上位ビットプレーンから順に符号化する際、データサイズの上限を守るべく途中のビットプレーンで符号化を打ち切ることがある。あるいは、符号化データ生成部１６が、上位ビットプレーンから順にストリーム化された符号化データを出力する際、伝送レートの制限を守るべく途中のビットプレーンでストリーム出力を打ち切ることがある。

このように符号化画像のデータサイズに制約がある場合でも、本実施の形態では、下位のビットプレーンにおいては、非注目領域に対応するウェーブレット変換係数は零置換されており、注目領域に対応するウェーブレット変換係数だけが有意な情報として符号化の対象とされているため、下位のビットプレーンの圧縮効率は高く、最下位ビットプレーンまで符号化してもデータサイズが大きく増えることがない。

図９は、実施の形態１に係る画像復号装置２１０の構成図である。実施の形態１に係る画像符号化装置２００によりＲＯＩが優先的に符号化された画像は、ＲＯＩ変換係数のスケールアップは行っていない通常の符号化画像であるため、画像復号装置２１０は単に符号化画像を通常のＪＰＥＧ２０００の復号方式により復号することができる。

符号化データ抽出部３０は、入力された符号化画像から符号化データを抽出する。一例として、図７（ｃ）に示した、５ビットプレーンを上から順に符号化したデータが取得される。ここで、符号化データ抽出部３０は特に注目領域の位置を与えるＲＯＩ位置情報を抽出する必要がないことに留意する。エントロピー復号部３２は、符号化データをビットプレーン毎に復号する。図７（ｃ）の例では、５ビットプレーンが復号され、量子化データがメモリに格納される。

逆量子化部３４は、復号された量子化データを逆量子化し、ウェーブレット逆変換部３６は、逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出力する。

以上説明したように、本実施の形態の画像符号化装置２００は、非ＲＯＩ変換係数を零置換することにより、ＲＯＩ変換係数の優先度を相対的に高めて、注目領域を優先的に符号化する。ＲＯＩ変換係数のスケールアップ処理をしないため、効率的に符号化の演算を行うことができる。また、符号化すべきビットプレーン数は増えないため、記憶領域を余分に設ける必要がなく、ハードウエアコストを削減することができる。

また、復号時のスケールダウン処理が不要であるため、符号化データにＲＯＩ位置情報とスケールアップ量を符号化データに付加する必要がない。さらに、本実施の形態の画像符号化装置２００によりＲＯＩ符号化された画像は、通常の符号化画像とフォーマット上は区別がないため、通常の符号化画像の復号処理と全く同一の処理で復号することができ、復号処理の互換性を保つことができる。

実施の形態２
図１０は、実施の形態２に係る画像復号装置２２０の構成図である。本実施の形態では、画像復号装置２２０に入力される符号化画像は、ＲＯＩ符号化がなされていない通常の符号化画像である。本実施の形態の画像復号装置２２０は、復号の際に注目領域を指定し、注目領域を優先的に復号する。

画像復号装置２２０に入力される符号化画像は、動画像の符号化フレームであってもよい。符号化ストリームとして入力される動画像の各符号化フレームを連続的に復号することにより動画を再生することができる。

符号化データ抽出部３０は、入力された符号化画像から符号化データを抽出し、エントロピー復号部３２は、符号化データをビットプレーン毎に復号し、復号の結果得られる量子化されたウェーブレット変換係数をメモリに格納する。

ＲＯＩ選択部１８は、画像上の注目領域を選択し、注目領域の位置を示すＲＯＩ位置情報をＲＯＩマスク生成部２０に与える。注目領域は、画像の中心領域など画像の位置を指定することにより選択されてもよく、人物や文字が写っている領域などの重要領域を自動的に抽出もしくは利用者が指定することにより選択されてもよい。画像復号装置２２０に動画像の符号化フレームが連続入力される場合は、画像復号装置２２０から出力される復号後の画像フレームにおいて注目領域を指定もしくは抽出し、指定もしくは抽出された注目領域を次の符号化フレームの注目領域として選択してもよい。

ＲＯＩマスク生成部２０は、ＲＯＩ位置情報をもとに、注目領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。下位ビット零置換部２４は、非注目領域に対する注目領域の相対的な優先度に応じて、非注目領域に対応する前記ウェーブレット変換係数のビット列において零値に置換する下位ビット数を調整するものであり、ＲＯＩマスクを参照して、エントロピー復号部３２により復号されたウェーブレット変換係数の内、非ＲＯＩ変換係数のＬＳＢ側から所定ビット数分を零に置換する処理を行う。

図１１（ａ）〜（ｃ）は、下位ビット零置換部２４により符号化画像の復号後のウェーブレット変換係数の下位ビットが零置換される様子を示す。図１１（ａ）は、エントロピー復号された画像のウェーブレット変換係数７４であり、５ビットプレーンを含む。図１１（ｂ）において、ＲＯＩ選択部１８により指定された注目領域に対応するＲＯＩ変換係数を斜線で示す。下位ビット零置換部２４は、図１１（ｃ）のように、非ＲＯＩ変換係数の下位２ビットを零に置換したウェーブレット変換係数７６を生成する。

逆量子化部３４は、ＲＯＩ変換係数と下位ビットが零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数を逆量子化し、ウェーブレット逆変換部３６は逆量子化されたウェーブレット変換係数を逆変換し、得られた復号画像を出力する。

なお、ＲＯＩ選択部１８は注目領域を選択する代わりに、非注目領域を選択してもよい。たとえば、人物の顔や車のナンバープレートなどの個人情報が写っている領域にぼかしを入れたい場合はその領域を非注目領域として選択する。この場合、ＲＯＩマスク生成部２０は、非ＲＯＩ変換係数を特定するマスクを反転させて、ＲＯＩ変換係数を特定するマスクを生成することができる。あるいは、ＲＯＩマスク生成部２０は、非ＲＯＩ変換係数を特定するマスクを下位ビット零置換部２４に与えてもよい。

画像復号装置２２０に動画像の符号化フレームが連続的に入力される場合、画像復号装置２２０に次のような動作をさせることもできる。画像復号装置２２０は、通常時は処理負荷を減らすために、ウェーブレット変換係数の下位のビットプレーンを適宜破棄して再生する簡易再生を行う。これにより、画像復号装置２２０の処理性能に制約がある場合でも、下位ビットプレーンを破棄しているため、たとえば３０フレーム／秒で簡易再生が可能である。

簡易再生中に、画像上の注目領域が選択された場合、画像復号装置２２０は、下位ビット零置換部２４により非注目領域の下位ビットが零置換された状態のウェーブレット変換係数に対して、最下位のビットプレーンまで復号して画像を再生する。このとき、処理負荷が高くなるため、１５フレーム／秒などにコマ落ちさせた状態か、スロー再生の状態になることもあるが、注目領域を高画質で再生することができる。

このようにして、注目領域が選択されたときは、非注目領域は簡易再生と同程度の品質のまま、注目領域だけをより高い品質で再生することができる。監視映像のように、平常時には高い品質を求めず、異常時にのみ注目箇所を高い品質で再生したい場合に有用である。また、モバイル端末で動画像を再生する場合には、電池寿命の観点から、節電モードでは動画を低品質で再生し、必要に応じて注目領域だけを高画質で再生するといった使い方もできる。

本実施の形態の画像復号装置２２０によれば、ＲＯＩ符号化されていない通常の符号化画像に対して、非注目領域に対応するウェーブレット変換係数の下位ビットを零置換することにより、相対的に注目領域の画質を非注目領域よりも高くして復号することができる。画像全体を高品質で再生するには演算量が多くなるが、本実施の形態では注目領域だけを優先的に復号するため、演算量の増加を抑えることができる。

実施の形態３
図１２は、実施の形態３に係る画像符号化装置２００の構成図である。実施の形態１の画像符号化装置２００では、注目領域が一つだけ選択されたが、本実施の形態の画像符号化装置２００は、画像上に優先度の異なる複数の領域を選択し、各領域の優先度に応じて画像を圧縮符号化し、画質の異なる複数の領域を含む符号化画像を生成する。実施の形態１と同じ構成については同符号を付し、実施の形態１とは異なる構成と動作を説明する。

ＲＯＩ選択部１８は、原画像上の複数の注目領域を選択し、各注目領域の位置を示すＲＯＩ位置情報をＲＯＩマスク生成部２０に与える。複数の注目領域には重なりがあってもよく、注目領域の内部に非注目領域が含まれてもよい。ＲＯＩマスク生成部２０は、ＲＯＩ位置情報をもとに、各注目領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。

ＲＯＩマスク生成部２０は、ＲＯＩ選択部１８により選択された複数の注目領域の各々について実施の形態１で述べたＲＯＩ変換係数を特定する処理を行い、各注目領域に対してＲＯＩマスクを生成する。

ＲＯＩ優先度設定部１９は、複数の注目領域間で優先度を設定する。たとえば、複数の注目領域として、画像の中心部および中心部の周辺が選択され、それ以外の外周部が非注目領域とされた場合、画像の中心部は、高画質で再生されるように優先度を高く設定し、中心部の周辺は、標準画質で再生されるように優先度を低く設定する。別の例として、複数の注目領域として、文字が写っている領域と人物の顔が写っている領域が選択された場合、文字の領域は最高画質となるように優先度を最も高く設定し、顔の領域は高画質になるように優先度をその次に設定し、それ以外の領域は標準画質となるように非注目領域とする。プライバシーを保護する目的で、人物の顔が写っている領域が低画質となるように、低い優先度を設定したり、非注目領域に設定してもよい。

図１３は、原画像８０に複数の注目領域が設けられた場合の優先度の設定例を説明する図である。同図のように、原画像８０に２つの注目領域８１、８３が設定された場合、ＲＯＩ優先度設定部１９は、たとえば、第１の注目領域８１（以下、ＲＯＩ１とする）、第２の注目領域８３（以下、ＲＯＩ２とする）、それ以外の非注目領域（以下、非ＲＯＩと呼ぶ）の順に優先度が低くなるように優先順位を設定する。

ＲＯＩ優先度設定部１９は、設定された優先度に基づいて、非注目領域に対応するウェーブレット変換係数すなわち非ＲＯＩ変換係数のビット列において零置換する下位ビット数Ｓ０と、複数の注目領域の各々に対応するウェーブレット変換係数すなわちＲＯＩ変換係数のビット列において零置換する下位ビット数Ｓｉ（ｉ＝１，・・・，Ｎ；Ｎは注目領域の数）を決める。

図１３の例では、ＲＯＩ優先度設定部１９は、たとえば原画像のウェーブレット変換係数が７ビットプレーンからなるとき、第１優先の注目領域ＲＯＩ１については零置換ビット数Ｓ１を０に、第２優先の注目領域ＲＯＩ２については零置換ビット数Ｓ２を２に、非注目領域については零置換ビット数Ｓ０を４に設定する。すなわち、優先度が低いほど、零置換ビット数を大きくとる。

図１２の下位ビット零置換部２４は、ＲＯＩマスク生成部２０により生成された各注目領域に対するＲＯＩマスクを参照して、ＲＯＩマスクによってマスクされない非ＲＯＩ変換係数のビット列において最下位ビットから数えてＳ０ビットだけを零に置換するとともに、ＲＯＩマスクによってマスクされたＲＯＩ変換係数のビット列においても最下位ビットから数えてＳｉビットだけを零に置換する。

ここで、非ＲＯＩ変換係数における零置換ビット数Ｓ０、ＲＯＩ変換係数における零置換ビット数Ｓｉは、それぞれＲＯＩ優先度設定部１９により非注目領域および複数の注目領域間の相対的な優先度合いに基づいて決定されたものであり、ウェーブレット変換係数のビットプレーン数を上限とする任意の自然数であり、Ｓ０＞Ｓｉを満たす。ＲＯＩ優先度設定部１９は、この零置換ビット数Ｓ０、Ｓｉを変化させることにより、注目領域に対する非注目領域の再生画質の劣化度合い、および複数の注目領域間の再生画質の優劣を連続的に調整することができる。複数の注目領域は、対象物が視認できる程度の画質を保ちつつ再生される。

図１４（ａ）〜（ｃ）は、下位ビット零置換部２４により原画像のウェーブレット変換係数６０の下位ビットが零置換される様子を説明する図である。図１４（ａ）は、量子化部１２による量子化後のウェーブレット変換係数６０を示し、７ビットプレーンを含み、ＲＯＩ変換係数は斜線で示されている。この図は、図１３の２つの注目領域ＲＯＩ１、ＲＯＩ２を含む原画像８０の例において、Ｐ１−Ｐ２の線上の画素に対応するウェーブレット変換係数のビット列を図示したものである。

図１４（ｂ）に示すように、下位ビット零置換部２４は、ＲＯＩマスクによりマスクされていない非ＲＯＩ変換係数のＬＳＢ側のＳ０ビットを零に置換する。この例では、Ｓ０＝４であり、符号６４で示すように、非ＲＯＩ変換係数のＬＳＢ側の４ビットが零に置換されている。さらに、下位ビット零置換部２４は、ＲＯＩマスクによりマスクされたＲＯＩ変換係数のＬＳＢ側のＳｉビットを零に置換する。この例では、２つの注目領域ＲＯＩ１、ＲＯＩ２が設定されており、それぞれの零置換ビット数Ｓ１、Ｓ２は、Ｓ１＝０、Ｓ２＝２であり、符号６６で示すように、ＲＯＩ２に対応するＲＯＩ変換係数のＬＳＢ側の２ビットが零に置換されている。このようにして、下位ビット零置換部２４によって零置換されたウェーブレット変換係数６２が得られる。

図１２のエントロピー符号化部１４は、図１４（ｃ）の矢印に示すように、ＲＯＩ変換係数と零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数６２を上位ビットプレーンから順にスキャンしながらエントロピー符号化する。

なお、原画像上に注目領域が存在しない場合において、ウェーブレット変換係数の下位ビットを全体的に零置換し符号化する処理は、実施の形態１と同じである。

符号化データ生成部１６は、エントロピー符号化されたデータを量子化幅等の符号化パラメータとともにストリーム化して、符号化画像として出力する。この符号化画像は、再生時の画質の異なる複数の領域を含むものであり、出力部を通して記憶装置やネットワークなどに供給され、復号手段を含む画像表示装置により復号されて画面上で再生される。

実施の形態１で説明したように、記憶容量や伝送レートの制限などにより最終的な符号化画像のデータサイズに上限が設定されている場合、エントロピー符号化部１４が、上位ビットプレーンから順に符号化する際、途中のビットプレーンで符号化を打ち切ったり、符号化データ生成部１６が、上位ビットプレーンから順にストリーム化された符号化データを出力する際、途中のビットプレーンでストリーム出力を打ち切ることがある。

このように符号化画像のデータサイズに制約がある場合でも、本実施の形態では、下位のビットプレーンにおいては、非注目領域および優先度の低い注目領域に対応するウェーブレット変換係数は零置換されており、優先度の高い注目領域に対応するウェーブレット変換係数だけが有意な情報として符号化の対象とされているため、下位のビットプレーンの圧縮効率は高く、最下位ビットプレーンまで符号化してもデータサイズが大きく増えることがない。

図１５は、原画像８０上に設けられた複数の注目領域に重複がある場合の優先度の設定例を説明する図である。同図のように、原画像８０に２つの注目領域８１、８３が設定された場合、図１３の例と同様に、ＲＯＩ優先度設定部１９は、第１の注目領域８１（ＲＯＩ１）の零置換ビット数Ｓ１、第２の注目領域８３（ＲＯＩ２）の零置換ビット数Ｓ２、それ以外の非注目領域（非ＲＯＩ）の零置換ビット数Ｓ０を設定する。

下位ビット零置換部２４は、非ＲＯＩ変換係数においてＬＳＢ側からＳ０ビットを零に置換するとともに、２つの注目領域ＲＯＩ１、ＲＯＩ２に対応するそれぞれのＲＯＩ変換係数においてＬＳＢ側からＳｉビットを零に置換するが、２つの注目領域ＲＯＩ１、ＲＯＩ２の重複する領域については、優先度の高い方の注目領域の零置換ビット数Ｓｉを優先適用する。

図１６は、原画像８０上に設けられた複数の注目領域に重なりがあり、注目領域内に非注目領域が含まれる場合の優先度の設定例を説明する図である。同図のように、原画像８０に第１の注目領域８１（ＲＯＩ１）、第２の注目領域８３（ＲＯＩ２）、第３の注目領域８５（ＲＯＩ３）が設定され、この順に優先度が下がるとする。ＲＯＩ１はＲＯＩ２内にあり、ＲＯＩ２はＲＯＩ３内にあるという入れ子構造になっており、ＲＯＩ３の一部には非注目領域（非ＲＯＩ）が含まれている。またＲＯＩ３の外部も非ＲＯＩである。

この場合、下位ビット零置換部２４は、図１５の場合と同様に、重複する領域については、優先度の高い方の零置換ビット数を適用するため、ＲＯＩ１については、ＲＯＩ１の零置換ビット数Ｓ１ビットを優先適用し、ＲＯＩ２（ただしＲＯＩ１を除く）については、ＲＯＩ２の零置換ビット数Ｓ２を優先適用し、ＲＯＩ３（ただしＲＯＩ２を除く）については、ＲＯＩ３の零置換ビット数Ｓ３を優先適用する。ただし、ＲＯＩ３の内部の非ＲＯＩについては、非ＲＯＩの零置換ビット数Ｓ０を例外的に適用する。これは、注目領域内に非注目領域が設定される場合、非注目領域に個人情報が含まれるなどの理由で、注目領域内であってもその領域だけをぼかしたいといった目的があるためである。

図１７（ａ）、（ｂ）は、図１６の例において、下位ビット零置換部２４により原画像のウェーブレット変換係数６０の下位ビットが零置換される様子を説明する図である。図１７（ａ）は、量子化部１２による量子化後のウェーブレット変換係数６０を示し、７ビットプレーンを含み、ＲＯＩ変換係数は斜線で示されている。この図は、図１６の３つの注目領域ＲＯＩ１〜３を含む原画像８０の例において、Ｐ１−Ｐ２の線上の画素に対応するウェーブレット変換係数のビット列を図示したものである。

図１７（ｂ）は、下位ビット零置換部２４によって零置換されたウェーブレット変換係数６２である。ＲＯＩ３の外部と内部にある非ＲＯＩに対応する非ＲＯＩ変換係数のＬＳＢ側のＳ０ビットが零に置換される。この例では、Ｓ０＝６である。さらに、ＲＯＩ１〜３に対応するＲＯＩ変換係数のＬＳＢ側のＳｉビットが零に置換される。この例では、Ｓ１＝０、Ｓ２＝２、Ｓ３＝４である。

復号時は、実施の形態１の画像復号装置２１０と同じ構成の画像復号装置が、本実施の形態の画像符号化装置２００により符号化された画像を通常のＪＰＥＧ２０００の復号方式にしたがって復号する。復号された画像は、画質の異なる複数の領域を含むものであり、出力部を通して画像表示装置などに供給され、画面上で再生される。

以上説明したように、本実施の形態の画像符号化装置２００は、非ＲＯＩ変換係数を零置換するとともに、複数の注目領域に対応するＲＯＩ変換係数も優先度に応じたビット数だけ零置換することにより、複数の注目領域に優先度をもたせて符号化する。また、複数の注目領域間で優先度の違いを設けて符号化するため、複数の注目領域間で再生画質の差をもたせることができる。

実施の形態４
図１８は、実施の形態４に係る画像復号装置２２０の構成図である。本実施の形態では、画像復号装置２２０に入力される符号化画像は、ＲＯＩ符号化がなされていない通常の符号化画像である。実施の形態２の画像復号装置２２０では、復号の際に注目領域が一つだけ指定されたが、本実施の形態の画像復号装置２２０は、復号の際に複数の注目領域を指定し、複数の注目領域を優先度に応じて復号する。実施の形態２と同じ構成については同符号を付し、実施の形態２とは異なる構成と動作を説明する。

ＲＯＩ選択部１８は、画像上の複数の注目領域を選択し、各注目領域の位置を示すＲＯＩ位置情報をＲＯＩマスク生成部２０に与える。

画像復号装置２２０に動画像の符号化フレームが連続入力される場合は、画像復号装置２２０から出力される復号後の画像フレームにおいて注目領域を指定もしくは抽出し、指定もしくは抽出された注目領域を次の符号化フレームの注目領域として選択してもよい。その場合、時間とともに変化のあった複数の領域を変化の程度に応じて選択してもよい。たとえば、最も変化の大きい領域、次に変化の大きい領域、それ以外の領域をそれぞれ、第１優先の注目領域、第２優先の注目領域、非注目領域として選択する。

ＲＯＩマスク生成部２０は、ＲＯＩ位置情報をもとに、各注目領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。ＲＯＩ優先度設定部１９は、各注目領域の優先度を設定し、その優先度に基づいて非注目領域の零置換ビット数Ｓ０と各注目領域の零置換ビット数Ｓｉを決定する。下位ビット零置換部２４は、ＲＯＩマスクを参照して、エントロピー復号部３２により復号されたウェーブレット変換係数の内、非ＲＯＩ変換係数のＬＳＢ側からＳ０ビット分を零に置換するとともに、ＲＯＩ変換係数のＬＳＢ側からＳｉビット分を零に置換する処理を行う。

図１９（ａ）〜（ｃ）は、下位ビット零置換部２４により符号化画像の復号後のウェーブレット変換係数の下位ビットが零置換される様子を示す。図１９（ａ）は、エントロピー符号化された画像のウェーブレット変換係数７４であり、７ビットプレーンを含む。図１９（ｂ）において、ＲＯＩ選択部１８により指定された複数の注目領域に対応するＲＯＩ変換係数を斜線で示す。この例では、２つの注目領域ＲＯＩ１、ＲＯＩ２が設けられており、ＲＯＩ１の方が優先度が高いとする。図１９（ｃ）は、下位ビット零置換部２４による零置換後のウェーブレット変換係数７６である。この例では、非ＲＯＩ変換係数の下位４ビットが零に置換され、ＲＯＩ１のＲＯＩ変換係数はそのままにして、ＲＯＩ２のＲＯＩ変換係数の下位２ビットが零に置換されている。

簡易再生中に、画像上の複数の注目領域が選択された場合、画像復号装置２２０は、下位ビット零置換部２４により非注目領域の下位ビットと複数の注目領域の少なくとも１つの下位ビットが零置換された状態のウェーブレット変換係数に対して、最下位のビットプレーンまで復号して画像を再生する。このとき、処理負荷が高くなるため、１５フレーム／秒などにコマ落ちさせた状態か、スロー再生の状態になることもあるが、複数の注目領域を優先度に応じて高画質で再生することができる。

このようにして、複数の注目領域が選択されたときは、非注目領域は簡易再生と同程度の品質のまま、複数の注目領域を優先度に応じた高い品質で再生することができる。

本実施の形態の画像復号装置２２０によれば、ＲＯＩ符号化されていない通常の符号化画像に対して、非注目領域に対応するウェーブレット変換係数の下位ビットを零置換するとともに、複数の注目領域に対応するウェーブレット変換係数の下位ビットを優先度に応じて零置換することにより、複数の注目領域の画質を優先度に応じて非注目領域よりも相対的に高くして復号することができる。画像全体を高品質で再生するには演算量が多くなるが、本実施の形態では複数の注目領域を優先度に応じて復号するため、演算量の増加を抑えることができる。

実施の形態５
図２０は、実施の形態５に係る画像符号化装置３００の構成図である。本実施の形態では、複数の注目領域に対応するＲＯＩ変換係数を優先度に応じてスケールアップする。実施の形態３とは異なる構成と動作について説明する。

ＲＯＩ優先度設定部１９は、ＲＯＩ選択部１８により選択された複数の注目領域の優先度を設定し、その優先度に基づいて複数の注目領域の各々に対応するＲＯＩ変換係数のスケールアップ量Ｓｉを決定する。優先度が高い注目領域ほど、ＲＯＩ変換係数のスケールアップ量Ｓｉが大きくなるように設定される。

ＲＯＩスケールアップ部２２は、ＲＯＩ優先度設定部１９により決定されたスケールアップ量Ｓｉにもとづいて各注目領域に対応するＲＯＩ変換係数をスケールアップする。

図２１（ａ）、（ｂ）は、ＲＯＩスケールアップ部２２により原画像のウェーブレット変換係数３２０がスケールアップされる様子を説明する図である。図２１（ａ）は、量子化部１２による量子化後のウェーブレット変換係数３２０を示し、７ビットプレーンを含み、ＲＯＩ変換係数は斜線で示されている。この例では、３つの注目領域ＲＯＩ１、ＲＯＩ２、ＲＯＩ３が設けられており、この順に優先度が低くなるとする。ＲＯＩ優先度設定部１９は、この優先度に基づき、ＲＯＩ１、ＲＯＩ２、ＲＯＩ３のスケールアップ量Ｓ１、Ｓ２、Ｓ３をそれぞれＳ１＝７、Ｓ２＝５、Ｓ３＝３と決定する。

図２１（ｂ）は、ＲＯＩスケールアップ部２２によってスケールアップされたウェーブレット変換係数３２２を示す。ＲＯＩスケールアップ部２２は、ＲＯＩ１のＲＯＩ変換係数を７ビットだけスケールアップし、ＲＯＩ２のＲＯＩ変換係数を５ビットだけスケールアップし、ＲＯＩ３のＲＯＩ変換係数を３ビットだけスケールアップする。スケールアップ後のウェーブレット変換係数３２２において、スケールアップにより新たに生じた桁には零値が充当される。これにより、全体として１４ビットプレーンのウェーブレット変換係数３２２が得られる。

図２２は、実施の形態５に係る画像復号装置３１０の構成図である。本実施の形態の画像復号装置３１０は、画像符号化装置３００によりＲＯＩ符号化された画像の復号を行う。

符号化データ抽出部３０は、入力された符号化画像から符号化データ、各種符号化パラメータ、ＲＯＩ位置情報、およびスケールアップ量を抽出する。エントロピー復号部３２は、符号化データをビットプレーン毎に復号し、得られたウェーブレット変換係数の量子化値をメモリに格納する。

図２３（ａ）は、エントロピー復号後のウェーブレット変換係数３２４を示す。図２１（ｂ）の例に対応して、エントロピー復号後のウェーブレット変換係数３２４は、全体で１４ビットプレーンを含む。ＲＯＩスケールダウン部４０は、各注目領域のＲＯＩマスクを参照し、符号化データ抽出部３０により抽出された各注目領域のスケールアップ量Ｓｉに基づいて、各注目領域のＲＯＩ変換係数をＳｉビットだけスケールダウンする。この例では、注目領域ＲＯＩ１、ＲＯＩ２、ＲＯＩ３のスケールアップ量はそれぞれＳ１＝７、Ｓ２＝５、Ｓ３＝３であり、図２３（ｂ）のように、ＲＯＩ１、ＲＯＩ２、ＲＯＩ３のＲＯＩ変換係数がそれぞれ７ビット、５ビット、３ビットだけスケールダウンされ、スケールダウンにより残された桁は破棄され、全体で７ビットプレーンの量子化されたウェーブレット変換係数３２６が得られる。

実施の形態６
図２４は、実施の形態６に係る画像表示装置４００の構成図である。画像表示装置４００は、ディスプレイなどに動画を表示するものであり、一例として、ＤＶＤ（digital video disk）プレイヤー、テレビジョン受信機、監視カメラなどの表示制御部である。

符号化ブロック４２０は、入力された原画像を符号化し、符号化された画像を記憶部４４０に格納する。符号化ブロック４２０に入力される原画像は、動画フレームであり、動画フレームが連続的に符号化され、記憶部４４０に格納される。

符号化ブロック４２０は、実施の形態１、３、５のいずれかの画像符号化装置２００の構成をもち、領域選択部４５０から画面上に設定された注目領域の情報を受け取り、注目領域の優先度に応じて原画像を圧縮符号化し、注目領域の画質が異なる符号化画像を生成する。

復号ブロック４３０は、記憶部４４０から符号化画像を記憶部４４０から読み出し、復号して表示部４１０に与える。記憶部４４０から読み出される符号化画像は、動画の符号化フレームであり、符号化フレームが連続的に復号され、表示部４１０に与えられる。なお、復号ブロック４３０は、無線または有線のネットワークの通信インタフェースを経由して符号化画像を取得してもよく、放送電波を受信する受信ブロックを経由して符号化画像を取得してもよい。

復号ブロック４３０は、実施の形態１から５のいずれかの画像復号装置２２０の構成をもち、記憶部４４０に格納された符号化画像を復号する。ここで、符号化の段階で既に注目領域が選択され、注目領域の画質が調整されている場合は、そのまま復号されるが、符号化の段階では注目領域が選択されていない場合は、復号ブロック４３０は、領域選択部４５０から画面上に設定された注目領域の情報を受け取り、注目領域を優先的に復号し、注目領域の画質が異なる復号画像を生成する。

表示部４１０は、復号ブロック４３０から復号画像を受け取り、ディスプレイに出力する。ディスプレイの画面には、復号ブロック４３０により復号された画像フレームが連続的に表示され、動画が再生される。

領域選択部４５０は、ディスプレイの画面において注目領域を選択する。注目領域は利用者が自由に指定してもよく、画面の中央や上部などにあらかじめ設定されていてもよい。領域選択部４５０には、利用者が画面において注目領域を指定するための指定手段が設けられてもよい。たとえば、マウスなどのポインティングデバイスを用いて領域を指定したり、タッチパネルなどの接触方式のディスプレイデバイスを用いて領域を指定する。領域選択部４５０は、利用者から注目領域の指定情報を受け取るか、または、表示部４１０からあらかじめ設定された注目領域の指定情報を受け取り、その注目領域の位置情報を符号化ブロック４２０、復号ブロック４３０に与える。

領域選択部４５０から符号化ブロック４２０、復号ブロック４３０に供給される注目領域の位置情報は、それぞれのブロックのＲＯＩ選択部１８に与えられ、以降、それぞれのブロックにおいて注目領域が優先的に符号化もしくは復号される。なお、領域選択部４５０によって注目領域の代わりに、非注目領域が選択されてもよく、その場合は、符号化ブロック４２０および復号ブロック４３０において、非注目領域以外の領域が注目領域として優先的に符号化もしくは復号される。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。

上記の実施の形態では、非ＲＯＩ変換係数の下位ビットを零置換するだけで、ＲＯＩ変換係数のスケールアップは全く行わなかったが、ＲＯＩ変換係数のスケールアップと非ＲＯＩ変換係数の下位ビットの零置換を組み合わせて実施してもよい。

いずれの実施の形態でも画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、他の空間周波数変換を用いてもよい。たとえば、ＪＰＥＧ標準で用いられる離散コサイン変換の場合でも、同様の方法で非注目領域の変換係数の下位ビットを零置換することで、非注目領域の画質を犠牲にして画像全体の圧縮効率を高め、同時に注目領域の画質を相対的に高めることができる。

上記の実施の形態の画像符号化装置および画像復号装置を監視カメラの信号処理部に組み込むことにより、監視すべき注目領域を優先的に符号化したり、復号することができる。監視カメラで撮影され、符号化された画像データはネットワーク経由で送信されてもよく、その場合、ネットワークに接続した画像復号装置が、ネットワークから受信した符号化画像データを復号して再生する。

上記の説明では、画像を非注目領域と複数の注目領域に分けたが、注目領域、非注目領域といった区別をせずに、画像を優先度に応じた複数の領域に分けてもよい。上記の実施の形態では、非注目領域と複数の注目領域に優先順位をつけているため、実質的には、非注目領域と注目領域とは優先度の違いがあるにすぎないと捉えることもでき、非注目領域と注目領域の区別をなくして、優先度別に領域を分けた場合でも、同様の処理が可能である。

従来の画像符号化装置の構成図である。 原画像のウェーブレット変換係数がスケールアップされる様子を説明する図である。 従来の画像復号装置の構成図である。 符号化画像の復号後のウェーブレット変換係数がスケールダウンされる様子を説明する図である。 実施の形態１に係る画像符号化装置の構成図である。 原画像の注目領域に対応するウェーブレット変換係数を特定するためのマスクを説明する図である。 原画像のウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。 原画像上に注目領域が存在しない場合にウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。 実施の形態１に係る画像復号装置の構成図である。 実施の形態２に係る画像復号装置の構成図である。 符号化画像の復号後のウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。 実施の形態３に係る画像符号化装置の構成図である。 原画像に複数の注目領域が設けられた場合の優先度の設定例を説明する図である。 原画像のウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。 原画像上に設けられた複数の注目領域に重複がある場合の優先度の設定例を説明する図である。 原画像上に設けられた複数の注目領域に重なりがあり、注目領域内に非注目領域が含まれる場合の優先度の設定例を説明する図である。 図１６の例において、原画像のウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。 実施の形態４に係る画像復号装置の構成図である。 符号化画像の復号後のウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。 実施の形態５に係る画像符号化装置の構成図である。 原画像のウェーブレット変換係数がスケールアップされる様子を説明する図である。 実施の形態５に係る画像復号装置の構成図である。 符号化画像の復号後のウェーブレット変換係数がスケールダウンされる様子を説明する図である。 実施の形態６に係る画像表示装置の構成図である。

符号の説明

１０ ウェーブレット変換部、 １２ 量子化部、 １４ エントロピー符号化部、 １６ 符号化データ生成部、 １８ ＲＯＩ選択部、 １９ ＲＯＩ優先度設定部 、 ２０ ＲＯＩマスク生成部、 ２２ ＲＯＩスケールアップ部、 ２４ 下位ビット零置換部、 ３０ 符号化データ抽出部、 ３２ エントロピー復号部、 ３４ 逆量子化部、 ３６ ウェーブレット逆変換部、 ３８ ＲＯＩマスク生成部、 ４０ ＲＯＩスケールダウン部、 ２００、３００ 画像符号化装置、 ２１０、２２０、３１０ 画像復号装置。

Claims (13)

1. 動画像上に定義された注目領域を特定するための情報を、前記動画像の符号化データを含む符号化ストリーム内に明示的に記述し、非注目領域に対応する変換係数の下位ビットを零置換して符号化し、前記動画像上に複数の注目領域が定義された場合、前記注目領域を特定するための情報には、その注目領域の優先度が含まれ、各注目領域に対応する変換係数の下位ビットを当該注目領域の優先度に応じたビット数だけ零置換して符号化することを特徴とする画像符号化方法。
2. 前記動画像上に定義された注目領域の画質を他の領域とは異ならせて符号化することを特徴とする請求項１に記載の画像符号化方法。
3. 前記複数の注目領域の画質を優先度に応じて異ならせて符号化することを特徴とする請求項２に記載の画像符号化方法。
4. 画像上に定義された複数の注目領域を特定するための情報を、前記画像の符号化データを含む符号化ストリーム内に明示的に記述し、非注目領域に対応する変換係数の下位ビットを零置換して符号化し、前記画像上に複数の注目領域が定義された場合、前記注目領域を特定するための情報には、その注目領域の優先度が含まれ、各注目領域に対応する変換係数の下位ビットを当該注目領域の優先度に応じたビット数だけ零置換して符号化することを特徴とする画像符号化方法。
5. 前記複数の注目領域の画質を異ならせて符号化することを特徴とする請求項４に記載の画像符号化方法。
6. 前記複数の注目領域の画質を優先度に応じて異ならせて符号化することを特徴とする請求項５に記載の画像符号化方法。
7. 動画像上に注目領域を選択する選択部と、
   前記動画像を符号化する際、非注目領域に対応する変換係数の下位ビットを零置換して符号化し、前記動画像上に複数の注目領域が定義された場合、各注目領域に対応する変換係数の下位ビットを当該注目領域の優先度に応じたビット数だけ零置換して符号化する符号化部と、
   符号化した動画像と前記注目領域を特定するための情報とを含む符号化ストリームを生成する生成部と、
   を備え、
   前記注目領域を特定するための情報には、その注目領域の優先度が含まれることを特徴とする画像符号化装置。
8. 前記符号化部は、前記動画像上で選択された注目領域の画質を他の領域とは異ならせて符号化することを特徴とする請求項７に記載の画像符号化装置。
9. 前記符号化部は、前記複数の注目領域の画質を優先度に応じて異ならせて符号化することを特徴とする請求項８に記載の画像符号化装置。
10. 画像上に複数の注目領域を選択する選択部と、
    前記画像を符号化する際、非注目領域に対応する変換係数の下位ビットを零置換して符号化し、前記画像上に複数の注目領域が定義された場合、各注目領域に対応する変換係数の下位ビットを当該注目領域の優先度に応じたビット数だけ零置換して符号化する符号化部と、
    符号化した画像と前記複数の注目領域を特定するための情報とを含む符号化ストリームを生成する生成部と、
    を備え、
    前記注目領域を特定するための情報には、その注目領域の優先度が含まれることを特徴とする画像符号化装置。
11. 前記生成部は、各注目領域の優先度も含めて符号化ストリームを生成することを特徴とする請求項１０に記載の画像符号化装置。
12. 前記符号化部は、前記複数の注目領域の画質を異ならせて符号化することを特徴とする請求項１０に記載の画像符号化装置。
13. 前記符号化部は、前記複数の注目領域の画質を優先度に応じて異ならせて符号化することを特徴とする請求項１２に記載の画像符号化装置。

Images