JPH03155280A - 折り返し歪みによる画質劣化改善方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 画像符号化システムにおける画質改善方式に関し、 折り返し歪みの改善を受信側の処理のみで行うことがで
き、かつ送信側と受信側の符号化／復号化のアルゴリズ
ムの統一性を必要としないブロック歪み改善方式を提供
することを目的とし、送信側において画像情報に対して
一定のブロックごとに２次元の離散コサイン変換（ＤＣ
Ｔ）を行って得られたＤＣＴ変換係数系列を符号化して
伝送し、受信側において、これを復号化して得られたＯ
ＣＴ変換係数に対して離散コサイン逆変換を行って画像
情報を復元するＤＣＴ−変換符号化システムの受信側に
おいて、受信したブロックごとに得られるＤＣＴ変換係
数からブロックごとの折り返し歪み発生を予測して予測
結果の出力を発生する折り返し歪み発生予測部と、該予
測結果の出力発生時該ブロックについて折り返し歪みを
改善する画像処理を行う画像処理部とを°備えたことに
よって構成する。

〔産業上の利用分野〕

本発明は画像符号化システムにおける画質改善方式に係
り、特に２次元の離散コサイン変換（ＤＣＴ）を用いた
画像符号化システムにおいて、折り返し歪みに基づく受
信画質劣化を改善するための方式に関するものである。

２次元のＯＣＴを用いた変換符号化システムでは、送信
側において、原画像を一定の大きさのブロックに分割し
、このブロックごとに２次元のＤＣＴを行って得られた
変換係数を符号化することによって、情報量の大幅な圧
縮を実現する。受信側では、符号化された変換係数を復
号化し、復号結果についてＯＣＴ逆変換を行うことによ
って、元の画像を復元する。

この場合、一般にＯＣＴ演算においては、ＤＣＴ順変換
を行って得られた変換係数から逆変換を行って元の情報
を完全に復元するためには、無限項数までの変換係数が
必要である。

しかしながら、無限項数の係数を扱うことば実用上不可
能であり、通常はブロックを構成する画素数に等しい有
限個の係数までを表現する近似式に基づいて処理が行わ
れる。例えば８×８画素を１ブロツクとする場合には、
第６４項の係数までが用いられる。

このため、特にブロック内の画素の信号レベルの分散が
大きいブロック、すなわち高周波成分が多いブロックで
は、ＤＣＴ順変換の結果得られる変換係数について、順
変換と同じ精度の逆変換を行っても、元の情報を完全に
復元することはできず、元の情報には存在しないパター
ンの情報が発生することがある。このような原因に基づ
く画像の歪みは、折り返し歪みと呼ばれる。

折り返し歪みがあると、元の情報には全く存在しないパ
ターンの情報が出現するため、受信画像の印象や品質を
著しく劣化させることになる。

従って、高品質、高能率の実用的な符号化システムを構
成するためには、有限項のＤＣＴ演算によっても折り返
し歪みが発生しないようにするか、または折り返し歪み
が発生しても、そのために生じる画質の劣化を視覚的に
目立たない（見えにくい）ようにする画質劣化改善方式
が要望される。

〔従来の技術〕

第６図（ａ）、　（ｂ）はＤＣＴ変換符号化システムの
基本構成を示したものであって、階層化符号化の処理を
行うものを例示し、（ａ）は送信（符号化）側を示し、
ら）は受信（復号化）側を示している。

第６図（ａ）において、輝度信号Ｙ１色差信号Ｕ。

■からなる画像情報は、フレームメモリ１１において１
画面分蓄積されたのち、低域通過フィルタ（ＬＰＦ）１
２およびサブサンプリング部１３からなる前処理部にお
いて、例えば８×８画素からなるブロックごとに前処理
を行われる。すなわちフレームメモリ１１の画像情報は
、ＬＰＦ１２において帯域制限されたのち、サブサンプ
リング部１３において垂直（Ｖ）方向と水平（ｆ（）方
向にそれぞれ２：ｌにサンプリングされて、情報量を圧
縮される。この画像情報は再びＬＰＦ１２に入力されて
帯域制限されたのち、サブサンプリング部１３において
Ｖ方向とＨ方向にそれぞれ２：１にサンプリングされて
、情報量を圧縮される。このような処理を繰り返すこと
によって、例えば１／１６に情報量を圧縮されたのち、
減算器１４において予測画面との間でブロックごとに減
算を行われて、差分画像の情報を発生する。

差分画像の情報は、２次元離散コサイン変換（２Ｄ−Ｄ
ＣＴ）部１５において８×８画素のブロックごとに２次
元の離散コサイン変換を行われて、時間領域の信号から
周波数領域の信号に変換され、差分画像の情報を表す変
換係数の系列を発生する。

可変長エントロピー符号化部１６は、この変換係数系列
の情報に対して、最も短くなるような符号語。

を割り当てる符号化を行って、可変長符号からなる符号
化信号を発生する。この符号化信号は、上述のように１
／１６に情報量を圧縮された差分画像の情報である。

一方、２次元離散コサイン逆変ｍ（２Ｄ−ＩＤＣＴ）部
１７は、２Ｄ−ＤＣＴ部１５の変換係数系列の情報に対
して２次元の離散コサイン逆変換を行うことによって、
差分画像を復元する。加算器１８はこの差分画像の情報
と予測画面の情報とを１ブロツクごとに加算して、復元
画像の情報を発生する。線形補間部１９は、復元画像の
情報に対して線形補間を行って、情報量がＶ方向および
Ｈ方向にそれぞれ２倍の画像情報を発生する。フレーム
メモリ２０は、線形補間部１９の画像情報を１画面分蓄
積することによって、情報量が１／４に圧縮された予測
画面の情報を発生する。

次に前処理部において、１／４に情報量を圧縮された画
像情報について再び前回と同様の処理を行うことによっ
て、１／４に情報量を圧縮された差分画像の情報に対す
る符号化信号を発生するとともに、これから復元した復
元画像の情報に対して線形補間を行って、原画像と同一
の情報量を有する予測画面の情報を発生する。

さらに前処理部において、情報量を圧縮されない画像情
報について再び同様の処理を行うことによって、原画像
についての差分画像の情報に対する符号化信号を発生す
る。

第６図（ｂ）において、可変長符号復号化部２１は、送
信側から送られた可変長符号を復号化して、変換係数の
系列を再生する。２Ｄ−ＩＤＣ７部２２はこの変換係数
系列の情報に対して２次元の離散コサイン逆変換を行う
ことによって、差分画像を復元する。加算器２３はこの
差分画像の情報と予測画面の情報とを１ブロツクごとに
加算して、復元画像の情報を発生し、フレームメモリ２
４はこの画像情報を１画面分蓄積することによって、も
との画像を復元する。プログラマブル線形補間部２５は
、復元画像の情報に対して圧縮比率に応じて変化する割
合で線形補間を行って、画像出力信号を発生する。

一方、線形補間部２６はフレームメモリ２４における復
元画像に対して線形補間を行って、情報量がＶ方向およ
びＨ方向にそれぞれ２倍の画像情報を発生する。この画
像情報は前述の予測画面の情報として用いられる。

第７図は、ＤＣＴ変換符号化システムの基本動作の流れ
を説明する図である。

■　原画像を一定の大きさのブロック（サブピクチャー
）に分割する。

■　次にブロックごとに２次元離散コサイン変換の処理
を行う、２次元離散コサイン変換は次式％式％ によって示されるものであり、ここで、Ｘ　（ｉ、　ｊ
）は原画像ブロック、Ａは定数、Ｙ　（ｉ、　Ｊｌ　　
は変換係数配列である。

■　このようにして得られたブロックごとの変換係数に
よって、画像情報の再構成を行う。

■　次に伝送の対象とする変換係数の選択を行う。

これは、しきい値処理、変換係数のサブサンプリング等
によって行われる。

■　次に視覚特性を考慮した変換係数の量子化を行う。

■　このようにして量子化された変換係数への符号語の
割り当てを行う。

このように階層化して符号化を行った場合、情報量を圧
縮した最初の符号化信号は、情報量が少ないので画面の
精細度は低いが、符号化の処理時間が短いので、画面切
り替え時、速やかに１画面の情報を送ることができる。

この画像は符号化を繰り返すごとに情報量が増加するの
で、次第に精細度が高くなり、最後には原画面の情報が
送られるようになる。

従ってこのような階層化符号化方式によれば、静止画像
を間欠的に切り替えて伝送する場合に、画面切り替え時
、最初の画像伝送に時間がかかるため、画面に空白を生
じることを防止できる。

このように画像情報をブロックごとに符号化して送信し
、受信側において復号化して元の画像を復元する際に、
ＤＣＴ順変換および逆変換に用いられる変換係数が有限
項数であるため、再生された情報は完全には復元されず
、折り返し歪みが発生して画質が劣化することがある。

このような折り返し歪みによる画質劣化の改善手法とし
て、従来、以下のような各種の方法が考えられている。

■　ブロックを構成する画素の信号レベルの分散が十分
小さくなる（高周波成分が小さくなる）ようにするため
に、１ブロツクの大きさを十分小さくする。

■　折り返し歪みが発生しないレベルの項数までの変換
係数を、有効係数として取り扱う。

■　変換係数の演算精度を非常に高くすることによって
、変換係数の近似式を用いたことによる影響を少なくす
る。

〔発明が解決しようとする課題〕

前項に示されたような従来の折り返し歪みの改善手法は
、それぞれ以下に示すような問題点を有している。

（１）前項の■に示された１ブロツクの大きさを小さく
する方法では、画像を構成するブロック数を多くするこ
とになるため、処理に必要な時間が増大する。また１回
のＤＣＴ演算で表現できる画像のエリアが小さ（なるた
め、符号化による情報量の圧縮効率が低下する。

（２）前項の■に示された変換係数を多数項まで有効係
数として扱う方法では、演算が煩雑になるとともに、発
生する符号の情報量の増大をひき起こすことになる。

（３）　　前項の■に示された変換係数の演算精度を上
げる方法では、ＤＣＴ演算が煩雑になるとともに、非常
に高い精度の変換係数を取り扱うために、ハードウェア
規模の増大を招くことになる。

（４）前項の■〜■のいずれの手法においても、対策を
行うためには、送信側と受信側の双方がおなし劣化改善
手法を前提とした同じ思想に基づいた符号化システムが
構成されている必要があるため、符号化システムの汎用
性が損なわれることになる。

本発明はこのような従来技術の課題を解決しようとする
ものであって、折り返し歪みの改善を受信側の処理のみ
で行うことができ、かつ送信側と受信側の符号化／復号
化のアルゴリズムの統一性を必要としない、折り返し歪
みによる画質劣化改善方式を提供することを目的として
いる。

すなわち本発明は、次のようにして従来技術の課題を解
決しようとするものである。

■　ブロックの大きさ、およびＤＣＴ変漠の精度を実用
的なレベルに設定して、符号化システムを構成しても（
すなわち折り返し歪みの発生をある程度許容しても）、
それに伴って発生する折り返し歪みを、受信側において
画像処理的な手法を導入することによって、視覚的に見
えに＜クシてしまう。

■　受信側だけの処理によって歪み改善の対策を行うこ
とができるようにすることによって、送信側（符号化側
）の処理および符号化データ構成に自由度を残し、汎用
的な符号化システムの構成を可能にする。

〔課題を解決するための手段〕

本発明は第１図にその原理的構成を示すように、送信側
ｌにおいて、画像情報に対して一定のブロックごとに２
次元の離散コサイン変換（以下ＤＣＴと略す）を行って
得られたＤＣＴ変換係数系列を符号化して伝送し、受信
側２において、これを復号化して得られたＤＣＴ変換係
数に対して離散コサイン逆変換を行って画像情報を復元
するＤＣＴ変換符号化システムの受信側２において、折
り返し歪み発生予測部３と、画像処理部４とを備えるこ
とによって、受信側の処理だけで適応的な折り返し歪み
による画質劣化の改善を行うようにしたものである。

ここで折り返し歪み発生予測部３は、受信したブロック
ごとに得られるＤＣＴ変換係数からブロックごとの折り
返し歪み発生を予測して予測結果の出力を発生するもの
であり、画像処理部４はこの予測結果の出力が発生した
とき、そのブロックについて折り返し歪みを改善する画
像処理を行うものである。

〔作用〕

ＤＣＴ変換符号化システムの送信側において、画像情報
に対して一定ブロックごとに画像情報と予測画像との差
分をとる。そしてこの差分に対して２次元の離散コサイ
ン変換（ＤＣＴ）を行って得られたＤＣＴ変換係数系列
を符号化して受信側に伝送する。受信側においては、こ
れを復号化して得られたブロックごとのＤＣＴ変換係数
に対して離散コサイン逆変換を行って差分画像を再生し
、これを累加してもとの画像情報を復元する。

本発明においては、受信側において、伝送されたブロッ
クごとのＤＣＴ変換係数からそのブロックにおいて折り
返し歪みを発生するか否かの予測を行う。この予測は例
えばそのブロックにおける、ＤＣＴ変換係数におけるＡ
Ｃ成分についての検定によって行うことができる。

そして折り返し歪み発生が予測されたとき、その部分に
ついて折り返し歪みを改善する画像処理を行う。この場
合の画像処理は、例えば「エツジを保ったノイズ除去」
の手法を適用することによって行うことができる。

このように、受信側において折り返し歪み発生箇所を推
定し、その部分に対して画像処理を行って折り返し歪み
による画質劣化の改善を行うようにしたので、受信側の
処理だけで、折り返し歪みによる画質劣化の改善処理が
可能となる。

〔実施例〕

第２図（ａ）、Φ）は本発明の基本的構成を示し、第６
図（ａ）、　（ｂ）の場合と同様に階層化符号化の処理
を行うものを例示し、（ａ）は送信（符号化）側を示し
、（ｂ）は受信（復号化）側を示しており、第６図（ａ
）。

（ハ）におけると同じものを同じ番号で示し、２７はＡ
ＣＣ成分子種検定部２８は予測結果記憶部、２９は画像
処理部である。

本発明においては、折り返し歪み除去の処理は受信（復
号化）側のみにおいて行われるものであり、従って第２
図（ａ）に示す送信（符号化）側の構成は第６図（ａ）
に示された従来の場合と全く同様である。

第２図ら）に示す受信側において、可変長符号復号化部
２１における可変長符号の復号化による変換係数系列の
再生、２Ｄ−ＩＤＣ７部２２における変換係数系列の情
報に対する２次元の離散コサイン逆変換による差分画像
の復元、加算器２３における差分画像の情報と予測画面
の情報との加算による復元画像の情報の発生、フレーム
メモリ２４における復元画像情報の１画面分の蓄積によ
るもとの画像の復元、プログラマブル線形補間部２５に
おける復元画像の情報に対する圧縮比率に応じて変化す
る割合の線形補間による画像出力信号の発生、線形補間
部２６におけるフレームメモリ２４の復元画像に対する
線形補間による予測画面の情報の発生は、第６図（ハ）
の場合と同様に行われる。

ＡＣ成分子測検定部２７は、受信画像における対象ブロ
ックのＤＣＴ変換係数のうちのＡＣ成分係数の大きさに
ついて検定を行うことによって、折り返し歪みの発生箇
所の予測を行う。予測の結果は、折り返し歪みの発生の
可能性を１ビツトの情報で表現した信号として出力され
る。

予測結果記憶部２８は、１画面のブロック数分のフレー
ムメモリを構成し、ＡＣ成分子測検定部２７における折
り返し歪み発生箇所の予測結果を示す１ビツトの情報を
、各ブロックの位置に対応して記憶する。

画像処理部２９は、予測結果記憶部２８に記憶されてい
るブロックごとの予測結果を参照しながら、折り返し歪
の発生が予想される部分に対して、折り返し歪み除去の
ための処理を行い、最終的に表示される画像情報を作成
する。

第３図は本発明の一実施例を示したものであって、受信
（復号化）側のみを示しており、第２図Φ）におけると
同じものを同じ番号で示し、３０は表示用メモリである
。またＡＣ成分子測検定部２７において、３１は２Ｄ−
ＤＣＴ部、３２はＡＣ成分記憶メモリ、３３はＡＣ成分
エネルギー算出部、３４は折り返し歪み予測部である。

第３図の実施例において、表示用メモリ３０は、プログ
ラマブル線形補間部２５からの線形補間した画像出力信
号を１画面分記憶する。表示用メモリ３０に記憶された
１画面分の画像信号は、図示されないデイスプレィ等に
おいて表示のために用いられる。またＡＣ成分子測検定
部２７は、受信された変換係数におけるＡＣ成分係数に
ついて、対象ブロックの全ＡＣ成分のエネルギーを算出
する。

ＡＣ成分子測検定部２７において、２Ｄ−ＤＣＴ部３１
は、フレームメモリ２４に蓄積されている１百面分の復
元画像に対して、ブロックごとに２次元の離散コサイン
変換を行って、周波数領域の信号からなる、差分画像の
情報を表す変換係数系列を発生する。ＡＣ成分記憶メモ
リ３２は、２Ｄ−ＤＣＴ部３１からの１ブロック分の周
波数領域の出力信最中のＡＣ成分のみを記憶する。ＡＣ
成分エネルギー算出部３３は、２Ｄ−ＤＣＴ部３１にお
ける変換終了時、ＡＣ成分記憶メモリ３２の情報を用い
て、１ブロック分のＡＣ成分のエネルギーの合計を算出
する。折り返し歪み予測部３４は、ＡＣ成分エネルギー
算出部３３で算出されたＡＣ成分のエネルギーの合計が
、所定値を超えたとき、高次の変換係数まで大きな値を
もつブロックとして認識し、折り返し歪みを発生する可
能性のある箇所として判定する１ビツトの情報をブロッ
クごとに発生する。

予測結果記憶部２日は、ＡＣ成分子測検定部２７におい
て得られたブロック単位の領域分割情報を、ブロック位
置に対応して記憶する。

画像処理部２９は、予測結果記憶部２８に記憶されてい
る領域分割の情報を基に、ブロック単位で部分的な画像
処理を行う。この際、折り返し歪みの発生が予想されな
かった部分に対しては、何らの処理も行わないことによ
って、画質劣化改善の処理に伴う、折り返し歪みに無関
係な部分に対する無意味な画像処理による画質の低下を
防止する。

折り返し歪みの発生が予測される部分に対しては、例え
ばもとの情報の構造を保ったまま部分的なノイズを除去
する画像処理の手法として知られている、「エツジを保
ったノイズ除去」の手法を適用することによって、折り
返し歪みによって周囲の画像の性質と大きく異なるパタ
ーンが発生した画素の信号レベルを、周囲の画素との関
連性によって補正することができる。

第４図は、ＤＣＴ変換係数のＡＣ成分係数に関する検定
の一例を示したものである。

受信画像における対象ブロックは、ＭＸＮ画素（第４図
ではＭ＝Ｎ−４）からなる１ブロック分の画像情報から
なっている。これに対して２次元の離散コサイン変換（
２Ｄ−ＤＣＴ）を行って、ＤＣ成分およびＡＣ成分から
なる変換係数を発生する。このうちＡＣ成分係数エネル
ギーを算出する。ＡＣ成分の総エネルギーＥは、次式に
よって算出される。

二こで、ｙ目は変換係数の値（信号レベル）、ｙ、。は
ＤＣ係数の値（信号レベル）、Ｍ、Ｎはブロックの大き
さである。

次にＥ＞Ｔ）Ｉであるか否かによって、折り返し歪みの
発生予測を行う、ここでＥはＡＣ成分の総エネルギー、
ＴＨは予め規定された折り返し歪みの発生予測係数であ
って、総エネルギー３１Ｅについて規定されるものであ
る。

判定結果Ｅ＞ＴＨであったときは、予測結果として“１
″を予測結果記憶部２８に記入する。またそうでないと
きは、予測結果として“０′を予測結果記憶部２８に記
入する。

このような処理を各ブロックについて順次行い、全ブロ
ックについて行われたとき、処理を終了する。

第５図（ａ）、　（ｂ）は、エツジを保ったノイズ除去
９手法（エツジを保存したスムージング）を説明するも
のである。

いま対象画素をＸ、Ｙとしたとき、その周辺の２５画素
を参照し、第５図（ａ）に示すような、５角形または６
角形の対象画素を含む８種類のマスクと、第５図（ｂ）
に示すような、対象画素の周囲の３×３画素のマスクと
の合計９種類のマスクのうち、最も分散が少ないマスク
の平均値を対象画素の値とすることによって、エツジを
保存したままノイズを除去することができる。

この方式は、簡単な、ぼけたエツジの先鋭化の手法とし
ても使用することができるものである。

〔発明の効果〕

以上説明したように本発明によれば、２次元ＤＣＴ変換
符号化方式において、受信側において折り返し歪み発生
箇所を予測してその部分に対して画像処理を行って折り
返し歪みの改善を行うようにしたので、受信側の処理だ
けで、発生パターンが予測できない自然画像のような多
様な情報に対しても、画像の部分的な性質に対応した、
折り返し歪みによる画質劣化の改善処理を実現すること
ができる。

本発明によれば、２次元ＤＣＴ変換符号化システムにお
いて、ブロックの大きさ、変換係数の表現精度等の基本
的要素が規定されていれば、十分な効果を期待できるの
で、簡単な処理で高品質。

高能率な符号化システムを実現できるようになる。

【図面の簡単な説明】

第１図は本発明の原理的構成を示す図、第２図（ａ）、
Φ）は本発明の基本的構成を示す図、第３図は本発明の
一実施例を示す図、第４図はＤＣＴ変換係数のＡＣ成分
係数に関する検定の一例を示す図、第５図（ａ）、　（
ｂ）は、エツジを保ったノイズ除去の手法を説明する図
、第６図（ａ）、　（ｂ）はＤＣＴ変換符号化システム
の基本構成を示す図、第７図はＤＣＴ変換符号化システ
ムの基本動作の流れを説明する図である。 １．２はＤＣＴ変換符号化システムを示し、ｌは送信部
、２は受信部、３は折り返し歪み発生予測部、４は画像
処理部である。

Claims (1)

1. 【特許請求の範囲】 　送信側（１）において画像情報に対して一定のブロッ
   クごとに２次元の離散コサイン変換（以下ＤＣＴと略す
   ）を行って得られたＤＣＴ変換係数系列を符号化して伝
   送し、受信側（２）において、これを復号化して得られ
   たＤＣＴ変換係数に対して離散コサイン逆変換を行って
   画像情報を復元するＤＣＴ変換符号化システムの受信側
   （２）において、 受信したブロックごとに得られるＤＣＴ変換係数からブ
   ロックごとの折り返し歪み発生を予測して予測結果の出
   力を発生する折り返し歪み発生予測部（３）と、 該予測結果の出力発生時該ブロックについて折り返し歪
   みを改善する画像処理を行う画像処理部（４）とを備え
   たことを特徴とする折り返し歪みによる画質劣化改善方
   式。