JPH10503359A - 画像データ圧縮ノイズの低減のための方法および装置 - Google Patents

Abstract

(57)【要約】 画像符号化モジュール（35）および画像復号化モジュール（37）は、オリジナル画像ソース（31）の変換符号化をおこなう方法を提供する。ここで、この方法は、ブロッキングアーティファクトを抑圧または排除するように作用する。符号化されたデータ（59）は、画像符号化モジュール（35）によって送信され、受信されたデータ（83）に変換された後、量子化誤差項（79）を利用するフィルタリング演算（95）によって修正されたデータ（85）に変換される。量子化誤差項（79）は、画像符号化モジュール（35）において発生された量子化誤差データから導き出されるか、または、別の画像復号化モジュール（101）におけるルックアップテーブル（109）として供給されうる。修正されたデータ（85）は、ディジタル画像（41）に再構成されるノイズの低減された画像データ（89）に変換される。

Description

【発明の詳細な説明】 画像データ圧縮ノイズの低減のための方法および装置 発明の分野 本発明は、画像処理に関しており、より詳細には、変換画像符号化処理におい て量子化によりもたらされた誤差から生じる画像データ圧縮ノイズに起因するブ ロッキングアーティファクトの影響を緩和する方法および装置に関している。 発明の背景 変換画像符号化の画像処理プロシージャは、写真画像の電子的変換や、プリン ティング操作におけるグラフィックス情報の再生や、電子的通信システムによる ディジタル画像データの送信などを含むさまざまな応用分野で用いられている。 このような応用分野では、一連の電気画像信号として与えられたオリジナルソー ス画像に対して符号化がおこなわれる。ここで、それぞれの信号は、オリジナル ソース画像の１エレメントすなわち画素の特性に対応している。電気画像信号は 、ソース画像の画素を表現する数値の２次元のセットに変換される。使用される それぞれの色帯域に対して、別々の数値セットが供給される。例えば、「yuv」 構成においては、３つのセットが供給され、ｕ−セットおよびｖ−セットは、こ の技術分野ではよく知られているように、さらなる処理がおこなわれる以前にダ ウンサンプリングされる。 これらの数値は、通常、画像データ項の２次元のＨ×Ｖアレイに構成される。 よって、画像データアレイにおけるそれぞれの項は、オリジナルソース画像にお ける特定の画素に対応しており、その画素の特徴・特性を定量的に記述している 。標準的な表示フォーマットにおいて、ディジタルソース画像は、例えば、複数 の数値から構成される640本のカラムおよび480本のロウからなる画像データアレ イを含んでいる。変換画像符号化は、Ｈ×Ｖの処理された数値の新しいセットを 発生する。これらの数値は、通常、再構成された画像データ項と呼ばれており、 ディジタルソース画像から計算によって導き出されたものである。処理された数 値は、新しい一連の電気信号に変換され、これらの電気信号から、処理されたデ ィジタル画像が発生されうる。 変換画像符号化プロシージャは、画像データ項を周波数係数項へと変換し、そ れによってそれ以降の処理・計算を簡略化することを目的として、例えば離散コ サイン変換（ＤＣＴ）のような直交変換を利用する。コサイン変換画像符号化は 、例えば、ディジタルソース画像項が２次元順方向離散コサイン変換（ＦＤＣＴ ）にかけられ、その結果が量子化テーブルからの項によって除算された後、例え ばハフマン符号化のような処理によってエントロピー符号化される、画像処理プ ロシージャである。符号化されたデータは、次に、格納または送信されるが、オ リジナル画像データ項が用いられていた場合よりも、通常、効率ははるかに高く なる。符号化されたデータは、その後、復号化され、量子化項によって乗算され た後に、逆コサイン変換（ＩＤＣＴ）を適用することによって再構成された画像 データ項へと変換される。その後、処理されたディジタル画像が、再構成された 画像データ項から得られる。 変換画像符号化処理に適用される直交変換は、通常、ＦＤＣＴおよびＩＤＣＴ である。これらの変換は、ジョイントフォトグラフィックエキスパートグループ （ＪＰＥＧ）によって確立された産業上の規格に従って適用される。ＪＰＥＧに 関してＩＳＯが起草した国際規格第10918-1号は、参考テキスト「ＪＰＥＧ静止 画像データ圧縮規格」の付録ＡにＷilliam Ｂ.ＰennebakerおよびＪoan Ｌ.Ｍit chellによって記載されている。ＪＰＥＧ規格によれば、ディジタル化されたソ ース画像は、通常は８×８の行列としてフォーマットされた一連の画像データ行 列として与えられ、また、一連の周波数係数行列を生成するためにＦＤＣＴが適 用される。 ２次元ＦＤＣＴによる画像データ行列の周波数係数行列への変換は、以下の行 列簡略表記（shorthand matrix notation）で表現されうる。 ここで、Ｓ（v，μ）は周波数係数行列における項であり、ｓ（j，i）は画像デ ータ行列における項であり、Ｃは離散コサイン変換基底行列であり、Ｃ^TはＣの 転 置である。８×８の画像データ行列に適用される２次元ＦＤＣＴは、以下の方程 式によって表される。 ここで、ｋ＝０の時はＣ_k＝１／√２であり、ｋ＞０の時はＣ_k＝１である。周波 数係数項は、典型的には量子化項によって除算され、結果として得られる商は、 送信または格納される前に丸められる。計算された時の商と、丸められた時の商 と間の差が、丸め演算によってもたらされた計算上の誤差の源である。この結果 、中間レベルから高レベルの間でブロッキングアーティファクトを生成する画像 データ圧縮ノイズが生じる。 再構成された画像データ項は、２次元ＩＤＣＴ演算によって得られる。この演 算は、以下の行列簡略表記で表現されうる。 ここで、ｒ（j，i）は再構成された画像データ項であり、Ｒ（v，μ）は逆量子 化された周波数係数項である。８×８の周波数係数行列に適用される、対応する ２次元ＩＤＣＴは、以下の方程式によって表される。 関連する技術分野では、ブロッキングアーティファクトの問題に対処するため のさまざまな方法が記載されてきている。Ｈ.Ｍalvarに付与された米国特許第4, 754,492号は、ディジタル化されたサンプル値からなる少なくとも２つの隣接す るブロックを含むｎ次元のディジタル化された信号を処理する方法および装置を 開示している。この引例により教示されている装置は、従来のＤＣＴ／ＩＤＣＴ 基底関数に類似する基底関数を用いるコンポジット空間演算子を含んでいるが、 入力信号における隣接するブロックへとわずかに拡張することを特徴としている 。 Ｄowningらに付与された米国特許第5,220,616号は、画像が、対応する画像ア レイを後に変換される複数のブロックへと分割することによって圧縮される、画 像をディジタル的に処理する方法を開示している。境界の不連続性は、１次元演 算子行列を用いて境界における画像データエレメントをシーケンシャルにスキャ ニングすることによって平滑化される。 Ｙamaokaに付与された米国特許第5,357,584号は、所定の圧縮係数を評価し、 かつオリジナル画像データのブロックを処理された画像データと比較することに よって最適の圧縮係数を供給する評価回路を含む、画像圧縮・伸長装置を開示し ている。この引例の評価回路は、それぞれの画像データブロックにおいてこの比 較を画素毎におこなうことによって、ブロックノイズデータを供給する手段を含 んでいる。 Ｙuanに付与された米国特許第5,367,385号には、画素修正がローパスフィルタ リングによりおこなわれることによって、再構成された画素ブロックの境界近傍 にある選択された「ローカル」画素と、ブロック境界に近いが、隣接ブロックに ある「外側の」画素との間の差を低減する、ブロック符号化された画像データを 処理するための方法および装置が開示されている。 ブロッキングアーティファクト測定器が符号化器ユニット内に含まれている、 ブロッキングアーティファクトを除去するための方法および装置が、Jeongに付 与された米国特許第5,384,849号に開示されている。このブロッキングアーティ ファクト測定器は、遅延されたオリジナルフレームデータを受け取り、オリジナ ルフレームデータと受け取られ復元されたフレームデータとの間の差に対応する フレームデータ誤差を発生する。 従来の技術には、受信された周波数成分を修正することによって、ブロッキン グアーティファクトの低減または排除が実現される変換画像符号化処理は開示さ れていないと考えられる。したがって、本発明の目的は、受信された周波数係数 をフィルタリングし、量子化誤差の影響を補償することによって、ブロッキング アーティファクトを低減する方法を用いる画像符号化をおこなう装置を提供する ことにある。 また、本発明の別の目的は、受信されたＪＰＥＧに準じた画像データファイル におけるブロッキングアーティファクトを低減するのに用いられうる方法および 装置を提供することにある。 発明の要旨 本発明は、ブロッキングアーティファクトが抑圧または排除される方法によっ て、変換符号化をおこなうための画像符号化／復号化装置である。変換画像符号 化がおこなわれた後、符号化されたデータは送信され、受信された画像データ項 に変換される。その後、これらの画像データ項は、周波数係数にオーバーラップ 変換され、量子化誤差行列を利用するフィルタリング演算によって修正される。 量子化誤差行列は、符号化ユニットにおいて発生された量子化誤差データから導 き出されるか、または、復号化ユニットにおけるルックアップテーブルとして供 給されうる。修正された周波数係数はノイズの低減された画像データ項へと変換 され、ディジタル画像に再構成される。 図面の簡単な説明 本発明に特有であると考えられる新規な特徴は、本願明細書に詳細に述べられ ている。本発明を動作させる構成および方法、ならびにその他の目的および効果 は、以下に述べる実施形態例の説明を、添付の図面を併せて参照しながら読めば 最もよく理解することができるであろう。図面において、 図１は、変換画像符号化および復号化によって画像データの圧縮をおこなうた めに用いられる従来の画像処理システムの模式図であり、 図２は、本発明による画像符号化および復号化モジュールを含む装置によって 、オリジナルソース画像が、再構成されノイズの低減された画像に変換される処 理を図示する機能ブロック図であり、 図３は、図２の画像符号化モジュールによっておこなわれる演算ステップを図 示するブロック図であり、 図４は、図２の画像復号化モジュールによっておこなわれる演算ステップを図 示するブロック図であり、 図５は、図４の画像復号化モジュールの別の実施形態である。 発明の詳細な説明 図１は、変換画像符号化および復号化によって画像データの圧縮をおこなうた めに用いられる従来の画像処理システムを図示する図である。オリジナルソース 画像は、例えば光学スキャナ11またはビデオカメラ13のような画像ディジタイザ によって、画像データ項を含むディジタルソース画像に変換される。これらの画 像データ項は、画像データディスク15あるいは同様の記憶媒体によって格納され るか、または、変換画像符号化ユニット21に直接送られて、圧縮された画像デー タへと変換される。この圧縮された画像データから、変換画像符号化ユニット21 は、次に、例えばモニタ23あるいはプリンティングデバイス25のような画像出力 ユニットへと送られるディジタル画像を再構成する。また、圧縮された画像デー タは、ユニット21内に格納されるか、圧縮されたデータのディスク27にアーカイ ブ化されるか、または、画像の再構成のために遠隔画像処理システムへと送信さ れてもよい。 本発明によれば、図２に示されている画像符号化モジュール35および画像復号 化モジュール37は、それぞれ、従来の変換画像符号化ユニットの画像データ圧縮 機能および画像データ復号化機能をおこなう。画像ディジタイザ10は、オリジナ ルソース画像31を１セット以上の色帯域データへと変換する。これらのデータは それぞれ、ディジタルソース画像33として別々に識別される。ディジタルソース 画像33は、画像データ項から構成される２次元のＨ×Ｖセットとして画像符号化 モジュール35に与えられる。画像符号化モジュール35は、ディジタルソース画像 33を圧縮された画像データに変換する。圧縮された画像データは、電子ネットワ ークあるいはその他の通信システムでありうる送信媒体19を介して画像復号化モ ジュール37へと送信される。圧縮された画像データは、画像復号化モジュール37 によって受信される。画像復号化モジュール37は、圧縮された画像データをノイ ズの低減されたディジタル画像39へと変換する。画像出力ユニット20は、ノイズ の低減されたディジタル画像39を、再構成されノイズの低減された画像41に変換 する。ある応用例では、画像符号化モジュール35によって生成された圧縮された 画像データは、画像復号化モジュール37上へと送られる以前に、例えば磁気ディ スクのような暫定記憶媒体29中に格納、 すなわちアーカイブ化されてもよい。画像符号化モジュール 画像符号化モジュール35によっておこなわれる処理動作は、図３を参照すれば 最もよく説明されうる。ディジタルソース画像33は、s₀(z,y)で表されるＨ×Ｖ の画像データ項のセットをもつ。画像データ項のこのセットは、この技術分野に おいてよく知られているようにＮ×Ｎの画像データ行列51の２次元アレイに分割 される。それぞれの画像データ行列51は、s(j,i)で表されるＮ²項をもっており 、ここで０≦i,j≦Ｎ−１である。２次元画像データ行列アレイの第ｐ列および 第ｑ行に位置する画像データ行列を含む画像データ項は、式 から決定でき、ここで０≦i＋Ｎp≦Ｈ−１および０≦j＋Ｎq≦Ｖ−１である。 それぞれの画像データ行列51は、直交変換により演算61において順方向直交変 換方程式、 によって周波数係数項Ｓ_q,p(ν,μ)をもつＮ×Ｎの周波数係数行列53に変換され る。ここで０≦μ,ν≦Ｎ−１であり、Ｃは順方向変換基底行列である。 周波数係数行列53中の周波数係数項Ｓ(ν,μ)は、対応するスケーリングされ た量子化項Ｑ(ν,μ)によって演算62においてそれぞれ分割される。ただしスケ ーリングされた量子化項は、ここでκで表されるスケーリングファクタ71と併せ て用いられるＮ×Ｎの量子化テーブル73から得られる。画像符号化モジュール35 によっておこなわれる画像データ圧縮の程度は、スケーリングファクタ71の値に 比例する。スケーリングファクタ71の値は、フィルタパラメータα_kおよびβ_kの ための数値を決定するためにも用いられ、これらのパラメータはフィルタパラメ ータセット75中のルックアップテーブルから得られる。例えば好ま しい実施形態においては表Ｉは、画像データ帯域y,uおよびｖのためのフィルタ パラメータα_kおよびβ_kを特定し、このときκの値は既知または決定されている 。フィルタパラメータセット75は、以下に詳述されるように量子化雑音の減衰に おいて用いるための画像復号化モジュール37に転送される。 演算62の実行は、Ｎ×Ｎの商係数行列55の２次元行列アレイをつくり、ここで 行列アレイの第ｐ列および第ｑ行の商係数行列は、式 によって与えられる商の項Ｑu_q.p(ν,μ)をもつ。 商の項Ｑu_q,p(ν,μ)は、演算63においてより正確ではない値に丸められて、 表現 によって与えられる項Ｑc_q.p(ν,μ)をもつ量子化された商の項をもつ量子化係 数行列57を得る。 Ｎ×Ｎの差分係数行列77は、演算65において導き出される。差分係数行列77は 、方程式 にしたがって、量子化された係数行列57中のそれぞれの量子化された商の項Ｑc_{q ,p} (ν,μ)を商係数行列55中の対応する商の項Ｑu_q,p(ν,μ)から引くことによっ て得られる差分項Ｄc_q,p(ν,μ)を含む。行列アレイ中のそれぞれの周波数係数 行列53についてひとつずつ、差分係数行列77のシリーズが導き出される。方程式 にしたがって導き出された項Ｅ₀(ν,μ)をもつＮ×Ｎの量子化誤差行列79をつく るために、差分係数行列77は、演算66において和がとられ、平均され、対応する 量子化項で乗算される。ここでＭは、和がとられた差分係数行列77の総数である 。また量子化誤差行列79は、方程式 にしたがって２乗平均平方根誤差項として導き出される項Ｅ₁(ν,μ)をもつ。 それぞれの量子化された係数行列57は、伝送路符号化されたデータセット59を 得るために、演算64でハフマン符号化を伴うジグザグシーケンス化のような処理 によって伝送路符号化される。伝送路符号化されたデータセット59は、それから 伝送媒体19を介して画像復号化モジュール37に伝送される。量子化誤差行列79、 フィルタパラメータセット75および量子化テーブル73は、同様に画像復号化モジ ュール37に伝送媒体19を介して伝送される。画像復号化モジュール 画像復号化モジュール37によっておこなわれる画像処理演算は、図４を参照し て最もよく説明されうる。伝送路符号化されたデータセット59は、Ｓr_q,p(ν,μ )によって表される受信された量子化された変換係数のセットに復号化される。 それぞれの受信された係数Ｓr_q,p(ν,μ)は、マスク乗算された変換係数Ｒ_q,p( ν,μ)を得るために、方程式 にしたがって演算91において量子化テーブル73からの対応するスケーリングされ た量子化項によってマスク乗算される。演算91の実行は、マスク乗算された変換 係数Ｒ_q,p(ν,μ)をもつＮ×Ｎの受信された係数行列81のシリーズを生成し、こ こでそれぞれの変換係数Ｒ_q,p(ν,μ)は、画像符号化モジュール35で既に処理さ れた量子化された商の項Ｑc_q,p(ν,μ)に対応する。 演算92において、変換係数Ｒ_q,p(ν,μ)を、r_q,p(j,i)で表される受信された 画像データ項に変換するために、式 にしたがった逆直交変換が用いられる。それぞれの受信された画像データ項r_q,p (j,i)は、Ｈ×Ｖのディジタルソース画像33からの画像データ項s₀(z,y)に対応す る。したがって受信された画像データ項r_q,p(j,i)は、s_R(z,y)で表される項をも つＨ×Ｖの受信された画像データセット83にフォーマットされうる。このフォー マッティングは、方程式 にしたがって成り立ち、ここで０≦i＋Ｎp≦Ｈ−１および０≦j＋Ｎq≦Ｖ−１で ある。 従来の画像復号化システムにおいては、破線で表されるように従来の演算93に おいて受信された画像データセット83が次に再構築される。これは、普通から高 い画像圧縮比において、しばしばブロッキングアーティファクトを呈する受信さ れたディジタル画像43である。ブロッキングアーティファクトは、画像符号化モ ジュール35における演算63において商の項の量子化によって導入され る誤差から生じる。量子化雑音のこの問題を解決するために採用されたあるプロ シージャは、商の項に施される量子化が減少して、ブロッキングアーティファク トが減少するようにスケーリングファクタ71を低減することである。しかしこの アプローチは好ましくない。なぜならより小さい画像データ圧縮の程度になって しまい、圧縮されたデータを処理するのに必要な、計算のためのリソースおよび 伝送時間がそれに応じて増すからである。 本発明は、それ以前の量子化演算によって導入された誤差を補償する補正プロ セスによってブロッキングアーティファクトの発生を抑圧または阻止する。開示 された方法によれば、受信された画像データセット83をもつ項s_R(z,y)は、ディ ジタル画像が再構築される前にフィルタリングプロセスによって修正される。こ のフィルタリングは、以下の演算シーケンスによって達成される。すなわち、i) 演算94において、受信された画像データセット83の項s_R(z,y)を周波数領域にオ ーバラップ変換して、Ｎ×Ｎの修正された周波数係数行列85の２次元アレイを生 成する。ii)演算95において、フィルタリングされた係数行列87のシリーズをつ くるために修正された周波数係数行列85をフィルタリングする。iii)演算96にお いて、フィルタリングされた画像データ行列88をつくるためにフィルタリングさ れた係数行列87を空間領域に逆変換する。iv)演算98において、２次元Ｈ×Ｖの 雑音が低減された画像データセット89を生成するために、フィルタリングされた 画像データ行列88から選択された低減された雑音の項を抽出する。v)演算99にお いて、低減された雑音の画像データセット89から低減された雑音のディジタル画 像39を形成する。 演算94における受信された画像データセット83のオーバラップ変換とは、「オ ーバラップ」プロセスによって順方向直交変換を、画像データセット83から得ら れたＮ×Ｎ行列のアレイに適用するプロセスをいう。これらのオーバラップされ た画像データ行列をもつ画像データ項は、受信された画像データ行列セット83か ら式 にしたがって得られる。ここで１≦ω≦Ｎ−１、０≦j＋ωｓ≦Ｖ、および０≦i ＋ωｒ≦Ｈである。オーバラップされた画像データ行列アレイの第ｒ列および第 ｓ行におけるオーバラップされた画像データ行列をもつ画像データ項は、v_s,r(j ,i)によって表される。オーバラッププロシージャにおいて用いられるオーバラ ップの量は、整数定数ωの値によって決定され、このωは、画像復号化モジュー ル37によって与えられるオーバラップパラメータ84である。好ましい実施形態に おいて、ωはＮ/２に設定される。オーバラッピングプロセスを適用すれば、画 像データ項のうちのある行および列が、オーバラップされた画像データ行列の対 応するペアに共通であるような行列アレイができることがわかるだろう。例えば 、０≦i,j≦ω−１について である。互いにオーバラップする画像データ行列にフィルタリング演算を適用す ることによって、行列から行列への非連続性が避けられ、ブロッキング効果の発 生か抑圧されるか、または阻止される。 オーバラップされた画像データ行列は、順方向直交変換によって、行列方程式 によって与えられる修正された周波数係数項Ｓv_s,r(ν,μ)をもつＮ×Ｎの修正 された係数行列85に変換される。演算95において、式 にしたがって得られるフィルタリングされた周波数係数項Ｓf_s.r(ν,μ)をもつ 、Ｎ×Ｎのフィルタリングされた係数行列87を得るために、フィルタパラメータ セット75および量子化誤差行列79を利用するフィルタリング計算は、修正された 係数行列に施される。αおよびβの数値は、フィルタパラメータセット75か ら得られ、上記で定義されるＥ₀(ν,μ)やＥ₁(ν,μ)のようなＥ_x(ν,μ)は、量 子化誤差行列79である。 演算96において、フィルタリングされた係数行列87は、行列方程式 にしたがって逆直交変換を適用することによって、rf_s,r(j,i)で表されるフィル タリングされた画像データ項をもつフィルタリングされた画像データ行列88に変 換される。演算94においておこなわれるオーバラッピングプロシージャのために 、それぞれのフィルタリングされた画像データ行列88は、雑音低減されたディジ タル画像39を得るのに必要なよりも多くの画像データ項を含む。したがって、そ れぞれのフィルタリングされた画像データ行列のＮ'×Ｎ'のコアサブ行列rk(m,n )内にだけ存在する画像データ項が抽出され、演算98において２次元Ｈ×Ｖの雑 音低減された画像データセット89を生成するために結合される。ここで０≦m,n ≦Ｎ'−１、Ｎ'=Ｎ−ω、およびωはオーバラップパラメータ84である。 それぞれのコアサブ行列rk_s,r(m,n)は、対応するフィルタリングされた画像デ ータ行列rf_s,r(j,i)の行０〜（ω/２−１）および行（Ｎ−ω/２）〜（Ｎ−１） の画像データ項と、列０〜（ω/２−１）および行（Ｎ−ω/２）〜（Ｎ−１）の フィルタリングされた画像データ項とを消去することによって得られる。対応す るフィルタリングされた画像データ行列rf_s,r(j,i)におけるコアサブ行列項rk_{s, r} (n,m)とフィルタリングされた画像データ項との関係は、 について、表現 によって与えられる。 雑音が低減された画像データセット89は、コア行列項を結合して式 にしたがった２次元Ｈ×Ｖアレイにすることによって生成される。ここで０≦ｍ ＋rＮ'≦Ｈ−１および０≦ｎ＋sＮ'≦Ｖ−１である。演算99において、雑音が低 減されたディジタル画像39を生成するために、受信された画像データセット83に 対応する雑音が低減された画像データセット89が再構築される。従来、得られた 受信されたディジタル画像43と比較すると、量子化に起因するブロッキングアー ティファクトの効果は、フィルタリング演算95の結果、雑音が低減されたディジ タル画像39中において低減されるか、または阻止される。画像復号化モジュール−別の実施形態 ＪＰＥＧに準拠するデータを出力するように構成されたモジュールのように、 伝送路符号化されたデータセット103が従来の画像符号化モジュールによって与 えられる画像処理への応用については、復号化は、図５に示される別の画像復号 化モジュール101によって達成される。典型的には、従来の画像符号化モジュー ルは、伝送媒体19を介して量子化テーブル105は与えるが、量子化誤差行列やフ ィルタパラメータは与えない。したがって画像復号化モジュール101は、演算95 において量子化誤差テーブル109を量子化誤差行列として利用する。演算95にお いて用いられるフィルタリングパラメータは、表IIのような復号化パラメータテ ーブルによってフィルタパラメータセット75'からα_kおよびβ_kの数値を得るこ とによって与えられる。 伝送路符号化されたデータセット103は、好ましい実施形態について上述した ように演算92および94によって、修正された係数行列85のシリーズに変換される 。演算121において、κ'で表される推定されたスケーリングファクタ107は、量 子化テーブル105のＤＣスケーリングされた量子化項（すなわち第１行、第１列 におけるスケーリングされた量子化項Ｑ(0,0)）として得られる。スケーリング ファクタ107は、表IIにしたがってα_kおよびβ_kの数値をつくるためにフィルタ パラメータセット75'に与えられる。 スケーリングファクタ107は、またＮ×Ｎの雑音マスク項のテーブルをもつ推 定された量子化誤差行列Ｅ_ε(ν,μ)が選択される量子化誤差テーブル109に与え られる。量子化誤差行列Ｅ_ε(ν,μ)に含まれる雑音マスク項は、経験的データ および推定法によって導き出され、画像処理のオペレータによって典型的に考慮 されるさまざまな要因が考えに入れられる。量子化誤差テーブルIII〜Vは、８× ８の周波数係数行列に用いられる、そのようにして経験的に導出された雑音マス クの例である。 推定された量子化誤差行列Ｅ_ε(ν,μ)およびフィルタパラメータセット75'か らα_kおよびβ_kのために得られた数値は、フィルタリングされた係数行列87をつ くるために、演算95において修正された係数行列85に施されたフィルタリング演 算に適用される。前記好ましい実施形態におけるのと同様に、雑音が低減された ディジタル画像39は、演算96、98および99の実行によって得られる。 本発明は、現在、従来の画像処理装置において利用可能ないかなる方法よりも 効率の高い方法で、ブロッキングアーティファクトをもたらすことなく、中間レ ベルの画像データ圧縮を実現する装置を提供可能なように適合されるという効果 を有する。以上に本発明の好ましい実施形態を説明したか、本発明を超えること なく、以上の開示に対してさまざまな変更および改変を施すことができることは 、当業者には自明であろう。また、添付の請求の範囲における表現も、本発明の 真の着想および範囲が包含している限りにおいて、そのような変更および改変を 含んでいるように意図されているものである。

Claims (1)

1. 【特許請求の範囲】 １．２次元画像信号のディジタル画像への変換画像符号化および圧縮において もたらされる量子化に起因するブロッキングアーティファクトの影響を緩和する 方法において、圧縮の程度がスケーリングファクタκおよび量子化テーブルによ って決定され、該画像信号が一連の電気信号として与えられ、該電気信号のそれ ぞれが、２次元画像の１エレメント（ここで、該画像エレメントは、２次元のＨ ×Ｖアレイとして構成されている）の特性に対応している、方法であって、 該一連の電気信号を１セットの数値へと変換するステップであって、該数値が それぞれ、対応する画像エレメントの特徴・特性を定量的に記述しており、該数 値がさらにｓ₀（z，y）(ここで０≦y≦Ｈ−１であり、かつ０≦z≦Ｖ−１である )によって表される、ステップと、 該１セットの数値を、インデックス「p」および「q」によって識別される複数 のＮ×Ｎの画像データ行列へとフォーマットするステップであって、該画像デー タ行列がそれぞれ、ｓ_q,p（j，i）によって表される画像データ項を含んでおり 、該画像データ項がそれぞれ、以下の関係 （ここで、０≦i，j≦Ｎ−１）に従って決定される該数値の１つから構成される 、ステップと、 該画像データ行列のそれぞれを、Ｓ_q,p（v，μ）によって表される周波数係数 項を含むＮ×Ｎの周波数係数行列に変換するステップであって、以下の式 に従って、直交変換基底行列Ｃによって実現される、該画像データ行列のそれぞ れを変換するステップと、 該周波数係数項Ｓ_q,p（v，μ）のそれぞれを、Ｑ（v，μ）によって表される ス ケーリングされた量子化項（該スケーリングされた量子化項は、該量子化テーブ ルから得られ、該スケーリングファクタによって修正される）によって除算する ことによって、以下の式 に基づいて導き出されるＱu_q,p（v，μ）によって表される商の項を含む複数の Ｎ×Ｎの商係数行列を発生するステップと、 該商項のそれぞれをより不正確な値に丸めることによって、以下の式 に基づくＱc_q,p（v，μ）によって表される量子化された商の項を含む量子化さ れた係数行列を発生するステップと、 該量子化された係数項Ｑc_q,p（v，μ）のそれぞれを、対応する該商項Ｑu_q,p （v，μ）から減算することによって、以下の式 に基づいて導き出される差分項Ｄc_q,p（v，μ）を含む、複数のＮ×Ｎの差分係 数行列を形成するステップと、 平均誤差項を加算することによって、項Ｅ₀（v，μ）を含む量子化誤差行列を 導き出すステップであって、該誤差項が該差分係数行列の関数を含んでいる、ス テップと、 αおよびβによって表される、１セットのフィルタパラメータを選択するステ ップと、 該量子化された係数項のそれぞれに、対応する量子化項を乗算することによっ て、以下の式 に基づいて導き出されるＲ_q,p（v，μ）によって表される項を含む、複数のＮ× Ｎのマスク乗算された変換係数行列を発生するステップと、 該マスク乗算された変換係数行列に逆直交変換を適用することによって、以下 の逆変換方程式 に基づくｒ_q,p（j，i）によって表される、複数のＮ×Ｎの受信された画像デー タ行列を発生するステップと、 該受信された画像データ行列を、以下の方程式 （ここで、０≦i＋Ｎp≦Ｈ−１であり、かつ０≦j＋Ｎp≦Ｖ−１である）に基づ き、ｓ_R（z，y）によって表される項を含む、Ｈ×Ｖの受信された画像データセ ットへとフォーマットするステップと、 該受信された画像データセットを、以下の方程式 に基づくｖ_s,r（j，i）によって表される項を含む、複数のＮ×Ｎのオーバーラ ップされた画像データ行列に形成するステップと、 該オーバーラップされた画像データ行列を、以下の方程式 に基づくＳv_s,r（v，μ）によって表される項を含む、修正された係数行列へと 変換するステップと、 該量子化誤差行列と該フィルタパラメータとによって、該修正された係数行列 をフィルタリングされた係数行列へと変換するステップであって、該修正された 係数行列が、Ｓf_s,r（v，μ）によって表される項を含んでおり、以下の方程式 、 に基づいておこなわれる、該修正された係数行列を変換するステップと、 該フィルタリングされた係数行列を、以下の変換方程式 に基づいてフィルタリングされた画像データ行列に変換するステップと、 該フィルタリングされた画像データ行列を一連のフィルタリングされた電気信 号に変換することによって、該フィルタリングされた電気信号が、フィルタリン グされた画像エレメントの２次元のＨ×Ｖアレイに構成されうるようにするステ ップであって、該フィルタリングされた電気信号のそれぞれが、該フィルタリン グされた画像エレメントの１つの特性に対応している、ステップと、 を含む方法。 ２．前記量子化誤差行列Ｅ₀（v，μ）が、以下の関係 に基づいて決定される、請求項１に記載の方法。 ３．前記量子化誤差行列Ｅ₀（v，μ）が、以下の関係 に基づいて決定される、請求項１に記載の方法。 ４．前記直交変換基底行列Ｃが離散コサイン変換基底行列を含んでいる、請求 項１に記載の方法。 ５．前記フィルタリングされた画像データ行列を変換する前記ステップが、該 フィルタリングされた画像データ行列のそれぞれからコアサブ行列を抽出するス テップと、複数の該コアサブ行列を組み合わせることによって、フィルタリング された画像エレメントの前記２次元のＨ×Ｖアレイを形成するステップと、を含 んでいる、請求項１に記載の方法。 ６．コアサブ行列を抽出する前記ステップが、前記フィルタリングされた画像 データ行列の行０から行（ω／２−１）までと、行（Ｎ−ω／２）から行（Ｎ− １）までとにおける画像データ項を削除することと、該フィルタリングされた画 像データ行列の列０から列（ω／２−１）までと、列（Ｎ−ω／２）から列（Ｎ −１）までとにおけるフィルタリングされた画像データ項を削除することと、を 含んでいる、請求項５に記載の方法。 ７．ωがＮ／２に設定される、請求項１に記載の方法。 ８．Ｎが８に等しい、請求項１に記載の方法。 ９．２次元画像信号のディジタル画像への変換画像符号化および圧縮において もたらされる量子化に起因するブロッキングアーティファクトの影響を緩和する 方法において、圧縮の程度がスケーリングファクタκおよび量子化テーブルによ って決定され、該画像信号が一連の電気信号として与えられ、該電気信号のそれ ぞれが、２次元画像の１エレメント（ここで、該画像エレメントは、２次元のＨ ×Ｖアレイとして構成されている）の特性に対応している、方法であって、 画像エレメントの該２次元のＨ×Ｖアレイを変換画像符号化することによって 、直交変換基底行列により符号化された画像データセットを形成するステップで あって、量子化演算を含んでいる、変換画像符号化ステップと、 該直交変換基底行列により、該符号化された画像データセットを復号化するこ とによって、復号化された画像データセットを形成するステップと、 該直交変換基底行列により、該復号化された画像データセットを複数の周波数 係数項へと変換するステップと、 フィルタリング計算により、該複数の周波数係数項をフィルタリングするステ ップであって、該フィルタリング計算が、該周波数係数項に係数フィルタリング 項を乗算することによって、複数のフィルタリングされた周波数係数項を形成す るステップを含んでいる、ステップと、 該フィルタリングされた周波数係数を、ノイズの低減されたディジタル画像に 変換するステップと、 を含む方法。 10．前記復号化された画像データセットを変換する前記ステップが、該復号化 された画像データセットを、オーバーラップされた画像データ行列のアレイに形 成するステップと、前記直交変換基底行列により、オーバーラップされた画像デ ータ行列の該アレイを周波数係数行列のアレイへと変換するステップであって、 該周波数係数行列が前記周波数係数項を含んでいる、ステップと、を含んでいる 、請求項９に記載の方法。 11．前記係数フィルタリング項を導き出すステップをさらに含んでいる、請求 項９に記載の方法。 12．前記係数フィルタリング項を導き出す前記ステップが、少なくとも１つの フィルタパラメータを導き出すステップを含んでいる、請求項11に記載の方法。 13．前記フィルタパラメータが前記スケーリングファクタκの関数である、請 求項12に記載の方法。 14．前記係数フィルタリング項を導き出す前記ステップが、量子化誤差行列を 導き出すステップを含んでいる、請求項11に記載の方法。 15．前記直交変換基底行列が、離散コサイン変換基底行列を含んでいる、請求 項９に記載の方法。 16．前記フィルタリングされた周波数係数を変換する前記ステップが、該フィ ルタリングされた周波数係数を、前記直交変換基底行列によりフィルタリングさ れた画像データ項に変換するステップと、該フィルタリングされた画像データ行 列を一連のフィルタリングされた電気信号に変換することによって、該フィルタ リングされた電気信号が、フィルタリングされた画像エレメントの２次元のＨ× Ｖアレイに構成されうるようにし、それによって前記ノイズの低減されたディジ タル画像を形成するステップであって、該フィルタリングされた電気信号のそれ ぞれが、該フィルタリングされた画像エレメントの１つの特性に対応している、 ステップと、を含んでいる、請求項９に記載の方法。 17．前記フィルタリングされた画像データ項を変換する前記ステップが、該フ ィルタリングされた画像データ項の部分を抽出するステップと、該部分を組み合 わせることによって、前記ノイズの低減されたディジタル画像が形成されるもと となる２次元のＨ×Ｖのノイズ低減された画像データセットを形成するステップ と、を含んでいる、請求項16に記載の方法。 18．量子化に起因するブロッキングアーティファクトの影響が緩和されるよう に２次元の復号化された画像信号をフィルタリングする方法において、変換画像 符号化と、データ圧縮と、量子化とが先行画像信号に対しておこなわれた結果と して、該ブロッキングアーティファクトが該復号化された画像信号に発生し、 該先行画像信号が、一連の電気信号として与えられており、該電気信号のそれぞ れが、該先行画像の１エレメントの特性に対応しており、該圧縮演算が、スケー リングファクタκと、量子化テーブルから導き出された量子化項とを利用してお り、かつ、該復号化された画像信号が、ｓ_R（z，y）によって表される画像デー タ項の２次元のＨ×Ｖセットとして構成されている、方法であって、 ωによって表されるオーバーラップパラメータを定義するステップと、 該復号化された画像信号セットを、以下の関係 に基づくｖ_s,r（j，i）で表される項を含む、複数のＮ×Ｎのオーバーラップさ れた画像データ行列に形成するステップと、 該オーバーラップされた画像データ行列を、以下の行列方程式 に基づいて、直交変換基底行列Ｃにより、Ｓv_s,r（v，μ）で表される項を含む 、修正された係数行列へと変換するステップと、 該スケーリングファクタκを推定するステップと、 該スケーリングファクタの関数としてフィルタパラメータを決定するステップ であって、該フィルタパラメータがα(κ)とβ(κ)とによって表される、ステッ プと、 Ｅ₀によって表される量子化誤差行列を選択するステップと、 該修正された係数行列を、該量子化誤差行列と該フィルタパラメータとにより 、フィルタリングされた係数行列へと変換するステップであって、該修正された 係数行列が、Ｓf_s,r（v，μ）で表される項を含んでおり、以下の方程式 に基づいておこなわれる、該修正された係数行列を変換するステップと、 該フィルタリングされた係数行列を、以下の行列方程式 に基づくrf_s,r（j，i）で表されるフィルタリングされた画像データ行列へと変 換するステップと、 該フィルタリングされた画像データ行列を一連のフィルタリングされた電気信 号に変換することによって、該フィルタリングされた電気信号が、フィルタリン グされた画像エレメントの２次元のＨ×Ｖアレイに構成されうるようにし、それ によってノイズの低減されたディジタル画像を形成するステップであって、該フ ィルタリングされた電気信号のそれぞれが、該フィルタリングされた画像エレメ ントの１つの特性に対応している、ステップと、 を含む方法。 19．前記直交変換基底行列Ｃが離散コサイン変換基底行列を含んでいる、請求 項18に記載の方法。 20．前記フィルタリングされた画像データ行列を変換する前記ステップが、該 フィルタリングされた画像データ行列のそれぞれからコアサブ行列を抽出するス テップと、複数の該コアサブ行列を組み合わせることによって、前記ノイズの低 減されたディジタル画像が形成されるもととなる２次元のＨ×Ｖのノイズの低減 された画像データセットを形成するステップと、を含んでいる、請求項18に記載 の方法。 21．コアサブ行列を抽出する前記ステップが、前記フィルタリングされた画像 データ行列の行０から行（ω／２−１）までと、行（Ｎ−ω／２）から行（Ｎ− １）までとにおける画像データ項を削除することと、該フィルタリングされた画 像データ行列の列０から列（ω／２−１）までと、列（Ｎ−ω／２）から列（Ｎ −１）までとにおけるフィルタリングされた画像データ項を削除することと、を 含んでいる、請求項20に記載の方法。 22．ωがＮ／２に設定される、請求項18に記載の方法。 23．スケーリングファクタκを推定する前記ステップが、κを、前記量子化テ ーブルのＤＣスケーリングされた量子化項に等しく設定するステップを含んでい る、請求項18に記載の方法。 24．フィルタパラメータを決定する前記ステップが、該フィルタパラメータの 少なくとも１つを数値テーブルから得るステップを含んでいる、請求項18に記載 の方法。 25．κ≦８であり、かつα（κ）＝β（κ）＝０である、請求項18に記載の方 法。 26．8＜κ≦24であり、かつα(κ)、β（κ）≧１である、請求項18に記載の 方法。 27．24＜κ≦32であり、かつα(κ)、β（κ）≧２である、請求項18に記載の 方法。 28．κ＞32であり、かつα(κ)、β(κ)≧３である、請求項18に記載の方法。 29．量子化誤差行列を選択する前記ステップが、少なくとも１つの量子化誤差 項を数値テーブルから得るステップを含んでいる、請求項18に記載の方法。 30．量子化に起因するブロッキングアーティファクトの影響が緩和されるよう に２次元の復号化された画像信号をフィルタリングする方法において、変換画像 符号化と、データ圧縮と、量子化とが先行画像信号に対しておこなわれた結果と して、該ブロッキングアーティファクトが該復号化された画像信号に発生し、該 先行画像信号が、一連の電気信号として与えられており、該電気信号のそれぞれ が、該先行画像の１エレメントの特性に対応しており、該圧縮演算が、スケーリ ングファクタと、量子化テーブルから得られた量子化項とを利用しており、かつ 、該復号化された画像信号が、ｓ_R（z，y）によって表される画像データ項の２ 次元のＨ×Ｖセットとして構成されている、方法であって、 直交変換基底行列により、該画像データ項のセットを複数の周波数係数項へと 変換するステップと、 フィルタリング計算により、該複数の周波数係数項をフィルタリングするステ ップであって、該フィルタリング計算が、該周波数係数項に係数フィルタリング 項を乗算することによって、複数のフィルタリングされた周波数係数項を形成す るステップを含んでいる、ステップと、 該フィルタリングされた周波数係数を、ノイズの低減されたディジタル画像に 変換するステップと、 を含む方法。 31．前記画像データ項のセットを変換する前記ステップが、該画像データ項を 、オーバーラップされた画像データ行列のアレイに形成するステップと、該オー バーラップされた画像データ行列のアレイを、前記直交変換基底行列により、周 波数係数項を含む係数行列のアレイに変換するステップと、を含んでいる、請求 項30に記載の方法。 32．前記係数フィルタリング項を導き出すステップをさらに含んでいる、請求 項30に記載の方法。 33．前記係数フィルタリング項を導き出す前記ステップが、少なくとも１つ のフィルタパラメータを導き出すステップを含んでいる、請求項32に記載の方法 。 34．前記フィルタパラメータが前記スケーリングファクタの関数である、請求 項33に記載の方法。 35．前記係数フィルタリング項を導き出す前記ステップが、量子化誤差行列を 導き出すステップを含んでいる、請求項32に記載の方法。 36．前記フィルタリングされた周波数係数を変換する前記ステップが、該フィ ルタリングされた周波数係数を、前記直交変換基底行列によりフィルタリングさ れた画像データ項に変換するステップと、該フィルタリングされた画像データ行 列を一連のフィルタリングされた電気信号に変換することによって、該フィルタ リングされた電気信号が、フィルタリングされた画像エレメントの２次元のＨ× Ｖアレイに構成されうるようにし、それによって前記ノイズの低減されたディジ タル画像を形成するステップであって、該フィルタリングされた電気信号のそれ ぞれが、該フィルタリングされた画像エレメントの１つの特性に対応している、 ステップと、を含んでいる、請求項30に記載の方法。 37．２次元画像信号のディジタル画像への変換画像符号化および圧縮において もたらされる量子化に起因するブロッキングアーティファクトの影響を緩和する 画像処理装置において、圧縮の程度がスケーリングファクタおよび量子化テーブ ルによって決定され、該画像信号が一連の電気信号として与えられ、該電気信号 のそれぞれが、２次元画像の１エレメント（ここで、該画像エレメントは、２次 元のＨ×Ｖアレイとして構成されている）の特性に対応している、装置であって 、 直交変換基底行列を、画像エレメントの該２次元のＨ×Ｖアレイに適用するこ とによって、量子化された項を含む符号化された画像データセットを形成する手 段と、 該直交変換基底行列を、該符号化された画像データセットに適用することによ って、復号化された画像データセットを形成する手段と、 該復号化された画像データセットを複数の周波数係数項へと変換画像符号化す る手段と、 該周波数係数項が係数フィルタリング項によって乗算されることによって、複 数のフィルタリングされた周波数係数項を形成するように、該周波数係数項に対 して動作するフィルタリング手段と、 該フィルタリングされた周波数係数を、ノイズの低減されたディジタル画像に 変換する手段と、 を備えている画像処理装置。 38．前記復号化された画像データセットを変換画像符号化する前記手段が、該 復号化された画像データセットを、オーバーラップされた画像データ行列のアレ イに形成する手段と、オーバーラップされた画像データ行列の該アレイを、前記 周波数係数項を含む周波数係数行列のアレイへと変換画像符号化する手段と、 を含んでいる、請求項37に記載の画像処理装置。 39．前記係数フィルタリング項を導き出す手段をさらに含んでいる、請求項37 に記載の画像処理装置。 40．前記係数フィルタリング項を導き出す前記手段が、量子化誤差行列を供給 する手段を備えている、請求項39に記載の画像処理装置。 41．量子化誤差行列を供給する前記手段が、数値テーブルを備えている、請求 項40に記載の画像処理装置。 42．前記直交変換基底行列が、離散コサイン変換基底行列を含んでいる、請求 項37に記載の画像処理装置。 43．前記フィルタリングされた周波数係数を変換する前記手段が、該フィルタ リングされた周波数係数を、フィルタリングされた画像データ項に変換画像符号 化する手段と、該フィルタリングされた画像データ項を一連のフィルタリングさ れた電気信号に変換することによって、該フィルタリングされた電気信号が、フ ィルタリングされた画像エレメントの２次元のＨ×Ｖアレイに構成されうるよう にし、それによって前記ノイズの低減されたディジタル画像を形成する手段であ って、該フィルタリングされた電気信号のそれぞれが、該フィルタリングされた 画像エレメントの１つの特性に対応している、手段と、を含んでいる、請求項37 に記載の画像処理装置。 44．前記フィルタリングされた画像データ項を変換する前記手段が、該フィル タリングされた画像データ項の部分を抽出する手段と、該部分を組み合わせるこ とによって、前記ノイズの低減されたディジタル画像が形成されるもととなる２ 次元のＨ×Ｖのノイズ低減された画像データセットを形成する手段と、を含んで いる、請求項43に記載の画像処理装置。 45．量子化に起因するブロッキングアーティファクトの影響が緩和されるよう に２次元の復号化された画像信号をフィルタリングする画像処理装置において、 変換画像符号化と、データ圧縮と、量子化とが先行画像信号に対しておこなわれ た結果として、該ブロッキングアーティファクトが該復号化された画像信号に発 生し、該先行画像信号が、一連の電気信号として与えられており、該電気信号の それぞれが、該先行画像の１エレメントの特性に対応しており、該圧縮演算が、 スケーリングファクタと、量子化テーブルから得られた量子化項とを利用してお り、かつ、該復号化された画像信号が、ｓ_R（z，y）によって表される画像デー タ項の２次元のＨ×Ｖセットとして構成されている、装置であって、 直交変換基底行列により、該画像データ項のセットを複数の周波数係数項へと 変換画像符号化する手段と、 該周波数係数項が係数フィルタリング項によって乗算されることによって、複 数のフィルタリングされた周波数係数項を形成するように、該周波数係数項に対 して動作するフィルタリング手段と、 該フィルタリングされた周波数係数を、ノイズの低減されたディジタル画像に 変換する手段と、 を備えている画像処理装置。 46．前記画像データ項のセットを変換画像符号化する前記手段が、該画像デー タ項を、オーバーラップされた画像データ行列のアレイに形成する手段と、オー バーラップされた画像データ行列の該アレイを、前記周波数係数項を含む周波数 係数行列のアレイへと変換画像符号化する手段と、を含んでいる、請求項45に記 載の画像処理装置。 47．前記係数フィルタリング項を導き出す手段をさらに含んでいる、請求項45 に記載の画像処理装置。 48．前記係数フィルタリング項を導き出す前記手段が、量子化誤差行列を供給 する手段を備えている、請求項47に記載の画像処理装置。 49．量子化誤差行列を供給する前記手段が、数値テーブルを備えている、請求 項48に記載の画像処理装置。 50．前記フィルタリングされた周波数係数を変換する前記手段が、該フィルタ リングされた周波数係数を、フィルタリングされた画像データ項に変換画像符号 化する手段と、該フィルタリングされた画像データ項を一連のフィルタリングさ れた電気信号に変換することによって、該フィルタリングされた電気信号が、フ ィルタリングされた画像エレメントの２次元のＨ×Ｖアレイに構成されうるよう にし、それによって前記ノイズの低減されたディジタル画像を形成する手段であ って、該フィルタリングされた電気信号のそれぞれが、該フィルタリングされた 画像エレメントの１つの特性に対応している、手段と、を含んでいる、請求項45 に記載の画像処理装置。 51．前記フィルタリングされた画像データ項を変換する前記手段が、該フィル タリングされた画像データ項の部分を抽出する手段と、該部分を組み合わせるこ とによって、前記ノイズの低減されたディジタル画像が形成されるもととなる２ 次元のＨ×Ｖのノイズ低減された画像データセットを形成する手段と、を含んで いる、請求項50に記載の画像処理装置。