JP2000299860A - 画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 不必要又は有害なモスキートノイズ除去処理
を抑制することにより、復号画像の画質を向上させる。 【解決手段】 符号化対象たる画像を複数のブロックに
分割するとともに、各ブロックに対してＤＣＴ変換及び
量子化を施すことにより生成される符号化データを復号
する。この際、ノイズ予測判断部２０では、ＤＣＴ変換
により得られる各ブロックのＤＣＴ係数に基づき、各ブ
ロックにモスキートノイズが発生するか否かを予測す
る。また、ノイズ判定部２２では、逆ブロック化部１８
からの出力画像を構成する画素に与えられた画素値に基
づき、各画素がモスキートノイズであるか否かを判断す
る。そして、ノイズ除去部２４ａでは、モスキートノイ
ズが発生すると予測されるブロックについて、そこにモ
スキートノイズである画素が含まれていると判断されれ
ば、その画素についてモスキートノイズ除去処理を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像復号化装置に関
し、モスキートノイズに起因する画像劣化を防止するた
めの技術に関する。

【０００２】

【従来の技術】Ｈ．２６３やＭＰＥＧ−２に代表される
動画像圧縮伸張方式では、原画像データを直行変換の一
種である離散コサイン変換（ Discrete Cosine Transfo
rm ：ＤＣＴ）により変換し、空間周波数の低い画像成
分（低周波成分）にデータを集中させた後、データ圧縮
を行う。ＤＣＴを画像へ用いる場合、８画素×８画素を
１ブロックとして２次元ＤＣＴを用い、変換画像（ＤＣ
Ｔ係数により表される）を量子化し、さらに可変長符号
化する。

【０００３】図２は、かかる動画像圧縮伸張方式を採用
する画像符号化装置の構成を示しており、図３は、同方
式を採用する画像復号化装置の構成を示している。図２
に示すように、この画像符号化装置１００は、ブロック
化部１０８と、ＤＣＴ変換部１０６と、量子化部１０４
と、可変長符号化部１０２と、を含んで構成されてい
る。ブロック化部１０８は入力画像を８画素×８画素の
ブロックに分割する。また、ＤＣＴ変換部１０６は各ブ
ロックにＤＣＴ変換を施し、ＤＣＴ係数を出力する。Ｄ
ＣＴ係数は、図４に示すような順序で水平空間周波数成
分及び垂直空間周波数の両成分につき低いものから高い
ものに向けてジグザグにスキャンされ、一次元に整列さ
れる。その後、量子化部１０４ではＤＣＴ係数全体を所
定量子化ステップで除算して剰余を丸め、それらを小さ
な値で再表現する。この際、高周波成分は０で埋められ
ることが多くなるため、最後の０でない係数の後に終了
符号であるＥＯＢ（ End of Block ）を付加することに
より、圧縮率を向上させる。また、可変長符号化部１０
２では量子化されたＤＣＴ係数を可変長符号化して符号
化データを生成し、それを出力する。

【０００４】一方、図３に示すように、画像復号化装置
１１０は、可変長復号化部１２と、逆量子化部１４と、
逆ＤＣＴ変換部１６と、逆ブロック化部１８と、を含ん
で構成されている。可変長復号化部１２には画像符号化
装置１００から出力された符号化データが入力され、そ
れを可変長復号化し、量子化されたＤＣＴ係数を出力す
る。逆量子化部１４では可変長復号化部１２からの出力
に所定量子化ステップを乗算してＤＣＴ係数を得る。こ
の際、画像符号化装置１００の量子化部１０４では所定
量子化ステップでＤＣＴ係数全体を除算するときに剰余
を丸めてしまっているため、逆量子化部１４で量子化ス
テップを乗算しても元のＤＣＴ係数は復元されず、近似
値に留まる。すなわち、画像符号化装置１００での画像
圧縮は非可逆符号化となる。逆ＤＣＴ変換部１６では復
元されたＤＣＴ係数を用いてブロック毎の逆ＤＣＴ変換
が行われ、逆ブロック化部１８では、逆ＤＣＴ変換部１
６で得られるブロック単位の画像を合成して復号画像を
生成し、それを外部に出力する。

【０００５】

【発明が解決しようとする課題】しかしながら、かかる
方式では、原画像にエッジなどの急激に輝度が変化する
領域があって高周波成分を含む場合であっても、量子化
部１０４での量子化ステップが粗ければ、該量子化部１
０４から出力される量子化済みのＤＣＴ係数において
は、高周波成分に対応するものが０になってしまう。こ
のため、このような高周波成分を多く含む原画像を上記
方式により符号化すると、復号画像において高周波成分
が不足することになり、波状の符号化雑音として現れて
しまう。これは、復号画像中を蚊が飛んでいるように見
えるため、モスキートノイズと呼ばれている。

【０００６】この点、従来技術では、例えばある注目画
素の画素値と周囲の画素の画素値との差を平均すること
によって注目画素に関する平均画素値変化量を算出し、
その平均画素値変化量と、当該注目画素が含まれるブロ
ックにおける最大画素値変化量（当該ブロックにおける
最も大きな画素値と最も小さな画素値との差）と、の比
率が所定閾値よりも大きければ、当該注目画素をモスキ
ートノイズと判断する。そして、その場合には当該注目
画素に対してメジアンフィルタ等による画素値の平均化
等によりモスキートノイズ除去処理を施す。

【０００７】図５は、この従来技術に係る画像復号化装
置の構成を示す図である。同図に示す画像復号化装置１
１２は、図３に示す画像復号化装置１１０の最終処理段
である逆ブロック化部１８に、ノイズ判定部２２とノイ
ズ除去部２４とをこの順でさらに付加した構成を有す
る。かかる画像復号化装置１１２において、ノイズ判定
部２２では例えば上記方法等、画素値を参考にモスキー
トノイズの有無を調べ、モスキートノイズがあれば後段
のノイズ除去部２４がそれを除去する。こうすれば、ノ
イズ除去部２４から出力される復号画像においては、モ
スキートノイズが目立たないようになる。

【０００８】ところが、モスキートノイズが発生してい
るか否かを判断する際の上記所定閾値を緩くして出来る
だけモスキートノイズが除去されるようにすると、誤っ
てモスキートノイズではない通常の画素についてもモス
キートノイズ除去処理が施されてしまう場合も生じる。

【０００９】ここで、かかる不具合を図６〜８により説
明する。図６は逆ブロック化部１８の出力画像の一例で
ある中間復号画像１１４を示している。同図において、
中央の木の絵柄の周囲に表されている点線はモスキート
ノイズである。すなわち、上記動画像圧縮伸張方式では
ＤＣＴ変換及び量子化により原画像から高周波成分がカ
ットされるため、同図の木の絵柄の周縁など原画像にお
いて色調が急激に変化する部分が中間復号画像１１４に
おいて良好に復元されず、その部分にモスキートノイズ
が現れてしまう。同図に示す中間復号画像１１４のうち
ブロック１１６を拡大した画像を図７に示す。また、ブ
ロック１１８を拡大した画像を図８に示す。図７及び図
８は、いずれも８×８画素を含む、１ブロック分の画像
を示している。

【００１０】図７に示されるブロック１１６は、中間復
号画像１１４のうち木の葉の部分と背景である青空との
境界に位置するものであり、上部の濃い色の画素は木の
葉を表している。また、その下の淡い色の画素は背景で
ある青空を表している。そして、青空である淡い色の画
素の中には周囲と比して若干色の濃い画素（８画素）が
含まれている。この青空を表す画素に囲まれた周囲に比
して若干色の濃い画素がモスキートノイズである。同図
に表される画像のうち画素１２２が最大の画素値を有
し、画素１２４が最小の画素値を有する。いま画素１２
０を注目画素とすると、ノイズ判定部２２では画素１２
２の画素値から画素１２４の画素値を減算し、その値を
当該ブロック１１６の最大画素値変化量として一時記憶
する。そして、注目画素である画素１２０の画素値と、
その周囲の８画素の画素値と、の差を算出し、それら８
つの差の平均値を求める。そして、ノイズ判定部２２で
は、この平均値を画素１２０についての平均画素値変化
量として一時記憶する。さらにノイズ判定部２２では、
（平均画素値変化量）／（最大画素値変化量）を算出
し、その値が予め設定した閾値よりも大きいか否かを判
断する。そして、大きければ当該画素１２０をモスキー
トノイズであると判断する。以上の処理はブロック１１
６を構成する全ての画素を注目画素として繰り返し行わ
れる。判断結果はノイズ除去部２４に送出され、そこで
平均化等のモスキートノイズ除去処理が施される。

【００１１】一方、図８に示されるブロック１１８は、
中間復号画像１１４のうち木の葉の内部を表しており、
空間相関の高い画像である。同図に示すブロック１１８
においては画素１２８が最小画素値を有し、画素１２６
が最大画素値を有する。ノイズ判定部２２では、図７の
ブロック１１６と同様に画素１２６の画素値から画素１
２８の画素値を減算し、その値を当該ブロック１１８の
最大画素値変化量として一時記憶する。また、ここでの
注目画素である画素１３０の画素値と、その周囲の８画
素の画素値と、の差を算出し、それら８つの差の平均値
を画素１３０についての平均画素値変化量として一時記
憶する。これら最大画素値変化量と平均画素値変化量と
に基づいて、ノイズ判定部２２では画素１３０がモスキ
ートノイズであるか否かを判断する。この場合、ブロッ
ク１１８はなだらかに画素値が変化する画像であってモ
スキートノイズを含まないにも拘わらず、上記閾値の設
定によっては画素１３０等がモスキートノイズであると
判断される場合がある。この場合、例えば画素１３０の
ような本当はモスキートノイズでない画素に対しても、
周囲の画素との平均化等のモスキートノイズ処理が施さ
れてしまい、復号画像がぼけてしまうという不具合があ
る。

【００１２】もちろん、注目画素がモスキートノイズで
あるか否かを判断する際の判断基準たる上記閾値を厳し
く（大きな値に）設定し、誤判が生じないようにするこ
ともできる。しかしながら、そうすると今度は図７に示
すような本当にモスキートノイズが発生している場合に
も、それが正しく除去されない場合も出てくる。

【００１３】本発明は上記課題に鑑みてなされたもので
あって、その目的は、ブロック毎にモスキートノイズが
発生するか否かを周波数領域で予測しておき、モスキー
トノイズが発生すると予測されるブロック以外には、モ
スキートノイズ除去処理を抑制することにより、復号画
像の画質を向上させることができる画像復号化装置を提
供することにある。

【００１４】

【課題を解決するための手段】上記課題を解決するため
に、本発明に係る画像復号化装置は、符号化対象たる画
像を複数のブロックに分割するとともに、各ブロックに
対して直交変換を含む非可逆符号化処理を施すことによ
り生成される符号化データを復号し、復号画像を生成す
る画像復号化装置であって、前記直交変換により得られ
る各ブロックの空間周波数成分情報に基づき、該ブロッ
クにモスキートノイズが発生するか否かを予測する予測
手段と、復号画像を構成する画素に与えられた画素値に
基づき、各画素がモスキートノイズであるか否かを判断
する判断手段と、前記予測手段によりモスキートノイズ
が発生すると予測されるブロックについて、該ブロック
を構成する画素にモスキートノイズが含まれていると前
記判断手段により判断されれば、該モスキートノイズを
除去するモスキートノイズ除去手段と、を含むことを特
徴とする。

【００１５】また、本発明の一態様では、前記予測手段
は、空間周波数成分情報に基づき、あるブロックの画像
に含まれる高周波成分が所定基準よりも多いと判断され
る場合に、該ブロックにモスキートノイズが発生すると
予測することを特徴とする。

【００１６】本発明によれば、符号化対象たる画像は複
数ブロックに分割され、それらブロック毎に直行変換を
含む非可逆符号化処理が施される。こうして生成される
符号化データを復号する際、前記予測手段により、例え
ば逆量子化を済ませたＤＣＴ係数や量子化されたままの
ＤＣＴ係数などの各ブロックの空間周波数成分情報に基
づき、そのブロックにモスキートノイズが発生するか否
かを予測する。例えば、あるブロックの画像が所定基準
よりも高周波成分を多く含む場合、そのブロックを復号
するとモスキートノイズが発生すると予測する。

【００１７】さらに本発明では、前記判断手段により、
復号画像を構成する画素に与えられた画素値に基づき、
各画素がモスキートノイズであるか否かを判断する。そ
して、モスキートノイズが発生することが予測されるブ
ロックにつき、そこに画素値に基づいてモスキートノイ
ズであると判断される画素があれば、そのモスキートノ
イズを除去する処理を行う。モスキートノイズの除去処
理や画素値に基づくモスキートノイズの判断処理は公知
技術を用いることができる。

【００１８】このように、各ブロックについて空間周波
数情報に基づいて各ブロックのモスキートノイズが発生
するか否かを予測し、発生すると予測されるブロックに
ついては、画素値に基づくモスキートノイズの有無の判
断に従ってモスキートノイズを除去すれば、誤ってモス
キートノイズではない通常の画素に対してモスキートノ
イズ除去処理が施されるという不具合が、発生しにくい
ようにできる。その結果、復号画像の画質を向上させる
ことができる。

【００１９】

【発明の実施の形態】以下、本発明の好適な実施の形態
について図面に基づき詳細に説明する。

【００２０】図１は、本発明の実施の形態に係る画像復
号化装置の構成を示す図である。同図に示す画像復号化
装置１０は、可変長復号化部１２と、逆量子化部１４
と、逆ＤＣＴ変換部１６と、逆ブロック化部１８と、ノ
イズ予測判断部２０と、ノイズ判定部２２と、ノイズ除
去部２４ａと、を含んで構成されている。このうち、可
変長復号化部１２と、逆量子化部１４と、逆ＤＣＴ変換
部１６と、逆ブロック化部１８と、ノイズ判定部２２
は、従来技術に係る画像復号化装置１１０又は１１２と
同様であるので、ここでは同一符号を付して説明を省略
する。本画像復号化装置１０の特徴的構成は、ノイズ予
測判断部２０と、ノイズ除去部２４ａである。

【００２１】ノイズ予測判断部２０は、逆量子化部１４
の出力である各ブロック毎のＤＣＴ係数及びＥＯＢ（本
明細書では両者をまとめて「空間周波数成分情報」とい
う。）に基づき、ブロックノイズ除去の必要があるか否
かを判断する。具体的には、ノイズ予測判断部２０で
は、ブロック毎にＥＯＢまでのＤＣＴ係数の個数を数
え、それが所定個数未満であれば、そのブロックの画像
信号は低周波成分を主に含むものであって、モスキート
ノイズが発生しないと予測する。一方、ブロック毎のＥ
ＯＢまでのＤＣＴ係数の個数が所定個数以上であれば、
そのブロックの画像信号には高周波成分を含むため、そ
のブロックにモスキートノイズが発生すると予測する。

【００２２】ノイズ除去部２４ａには、ノイズ判定部２
２から各画素がモスキートノイズであるか否かを表す情
報が入力されており、さらにノイズ予測判断部２０から
モスキートノイズが発生すると予測されているブロック
であるか否かを表す情報が入力されている。ノイズ除去
部２４ａでは、これらの情報に基づき、モスキートノイ
ズが発生すると予測されるブロックに対し、そのブロッ
クを構成する画素がモスキートノイズであると判断され
ていれば、該画素（必要に応じて関連する周囲の画素に
ついても）に対してモスキートノイズ除去処理を行う。
このモスキートノイズ除去処理は平均化等の公知技術を
用いて行うことができる。

【００２３】本画像復号化装置１０によれば、例えば図
７に示されるような高周波成分を含むブロック１１６に
ついては、ノイズ予測判断部２０にてモスキートノイズ
が発生すると予測する。そして、ノイズ判定部２２での
判断結果に応じて、そのブロック１１６を構成する各画
素に対し、必要に応じてモスキートノイズ除去処理を施
している。一方、例えば図８に示されるような比較的平
坦な画像を表し高周波成分を含まないブロック１１８に
ついては、ノイズ予測判断部２０にてモスキートノイズ
が発生しないと予測する。そして、そのブロック１１８
に対しては、ノイズ判定部２２での判断結果がどうであ
れ、モスキートノイズ除去処理を施さない。こうして、
空間周波数情報に基づきモスキートノイズが発生すると
予測されるブロックに対してのみ、モスキートノイズ除
去処理が行われるようにすることで、誤ってモスキート
ノイズではない通常の画素に対してモスキートノイズ除
去処理が施されてしまうという不具合を避けることがで
きる。この結果、復号画像の画質を向上させることがで
きる。

【００２４】なお、以上説明した画像復号化装置１０は
種々の変形実施が可能である。たとえば、上記説明で
は、ノイズ予測判断部２０にて各ブロックのＥＯＢまで
のＤＣＴ係数の個数が所定個数以上であるか未満である
かによりブロックノイズ除去の要否を判断したが、ＤＣ
Ｔ係数の重心が所定閾値以上であるか未満であるか等、
ＤＣＴ係数の分布を表す各種情報によりブロックノイズ
除去の要否を判断することができる。

【図面の簡単な説明】

【図１】 本発明の実施の形態に係る画像復号化装置の
構成を示す図である。

【図２】 従来技術に係る画像符号化装置の構成を示す
図である。

【図３】 従来技術に係る画像復号化装置の構成を示す
図である。

【図４】 ＤＣＴ係数の整列順を示す図である。

【図５】 従来技術に係る他の画像復号化装置の構成を
示す図である。

【図６】 中間復号画像の一例を示す図である。

【図７】 中間復号画像の空間相関の低い画像部分を拡
大して示す図である。

【図８】 中間復号画像の空間相関の高い画像部分を拡
大して示す図である。

【符号の説明】

１０ 画像復号化装置、１２ 可変長復号化部、１４
逆量子化部、１６ 逆ＤＣＴ変換部、１８ 逆ブロック
化部、２０ ノイズ予測判断部、２２ ノイズ判定部、
２４ａ ノイズ除去部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 符号化対象たる画像を複数のブロックに
   分割するとともに、各ブロックに対して直交変換を含む
   非可逆符号化処理を施すことにより生成される符号化デ
   ータを復号し、復号画像を生成する画像復号化装置であ
   って、 前記直交変換により得られる各ブロックの空間周波数成
   分情報に基づき、該ブロックにモスキートノイズが発生
   するか否かを予測する予測手段と、 復号画像を構成する画素に与えられた画素値に基づき、
   各画素がモスキートノイズであるか否かを判断する判断
   手段と、 前記予測手段によりモスキートノイズが発生すると予測
   されるブロックについて、該ブロックを構成する画素に
   モスキートノイズが含まれていると前記判断手段により
   判断されれば、該モスキートノイズを除去するモスキー
   トノイズ除去手段と、 を含むことを特徴とする画像復号化装置。
2. 【請求項２】 請求項１に記載の画像復号化装置におい
   て、 前記予測手段は、空間周波数成分情報に基づき、あるブ
   ロックの画像に含まれる高周波成分が所定基準よりも多
   いと判断される場合に、該ブロックにモスキートノイズ
   が発生すると予測することを特徴とする画像復号化装
   置。