JPH03167962A - ブロック歪み改善方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 画像符号化システムにおける画質改善方式に関し、 ブロック歪み改善に伴う画質劣化が最小限であるととも
にブロック歪みの改善のための処理を受信側の処理のみ
で行うことができ、かつ送信側と受信側の符号化／復号
化のアルゴリズムの統一性を必要としないブロック歪み
改善方式を提供することを目的とし、 送信側において画像情報に対して一定のブロックごとに
２次元の離散コサイン変換（ＤＣＴ）を行って得られた
ＤＣＴ変換係数系列を符号化して伝送し、受信側におい
てこれを復号化して得られたＤＣＴ変換係数に対して離
散コサイン逆変換を行って画像情報を復元するＤＣＴ変
換符号化システムの受信側において、受信したブロック
ごとのＤＣＴ変換係数においてブロック歪み発生を推定
して推定結果の出力を発生するブロック歪み発生推定部
と、該推定結果の出力発生時該ブロックについてブロッ
ク歪みを改善する画像処理を行う画像処理部とを備えた
ことによって構或する。

〔産業上の利用分野〕

本発明は画像符号化システムにおける画質改善方式に係
り、特に２次元の離散コサイン変換（ＤＣＴ）を用いた
画像符号化システムにおいてブロック歪みを改善するた
めの、ブロック歪み改善方式に関するものである。

２次元のＤＣＴを用いた変換符号化システムでは、送信
側において、原画像を分割した一定の大きさの２次元ブ
ロックを一つの単位として、ブロックごとに情報量圧縮
の処理を行う。受信側では、このブロックをつなぎ合わ
せて画像を再生する．そのため、ブロック内の性質が異
なるブロックが隣接して存在した場合には、受信画像に
おいて、ブロックとブロックのつなぎ目が目立つ場合が
ある。これをブロック歪みというが、この歪みがあると
、伝送された画像の品質が視覚的に大きく劣化する。

そこでこのようなブロック歪みを見えなく（見えに＜＜
）することが可能なブロック歪み改善方式が要望される
。

〔従来の技術〕

第６図（ａ）．（ロ）はＤＣＴ変換符号化システムの基
本構或を示したものであって、階層化符号化の処理を行
うものを例示し、（ａ）は送信（符号化）側を示し、（
ロ）は受信（復号化）側を示している。

第６図（ａ）において、輝度信号Ｙ，色差信号Ｕ，■か
らなる画像情報は、フレームメモリｌ１において１画面
分蓄積されたのち、低域通過フィルタ（ＬＰＦ）１２お
よびサブサンプリング部１３からなる前処理部において
、例えば８×８画素からなるブロックごとに前処理を行
われる。すなわちフレームメモリｌ１の画像情報は、Ｌ
ＰＦ１２において帯域制限されたのち、サブサンプリン
グ部ｌ３において垂直（Ｖ）方向と水平（Ｈ）方向にそ
れぞれ２：１にサンプリングされて、情報量を圧縮され
る．この画像情報は再びＬＰＦ１２に入力されて帯域制
限されたのち、サブサンプリング部１３においてＶ方向
とＨ方向にそれぞれ２：１にサンプリングされて、情報
量を圧縮される。このような処理を繰り返すことによっ
て、例えば１／１６に情報量を圧縮されたのち、減算器
ｌ４において予測画面との間でブロックごとに減算を行
われて、差分画像の情報を発生する。

差分画像の情報は、２次元離散コサイン変換（２Ｄ−Ｄ
ＣＴ）部１５において８×８画素のブロックごとに２次
元の離散コサイン変換を行われて、時間領域の信号から
周波数領域の信号に変換され、差分画像の情報を表す変
換係数の系列を発生する．可変長エントロピー符号化部
１６は、この変換係数系列の情報に対して、最も短くな
るような符号語を割り当てる符号化を行って、可変長符
号からなる符号化信号を発生する。この符号化信号は、
上述のように１／１６に情報量を圧縮された差分画像の
情報である。

一方、２次元離散コサイン逆変換（２Ｄ−ＩＤＣＴ）部
ｌ７は、２Ｄ−ＤＣＴ部１５の変換係数系列の情報に対
して２次元の離散コサイン逆変換を行うことによって、
差分画像を復元する。加算器１８はこの差分画像の情報
と予測画面の情報とを１ブロックごとに加算して、復元
画像の情報を発生する．線形補間部１９は、復元画像の
情報に対して線形補間を行って、情報量がＶ方向および
Ｈ方向にそれぞれ２倍の画像情報を発生する。フレーム
メモリ２０は、線形補間部ｌ９の画像情報を１画面分蓄
積することによって、情報量が１／４に圧縮された予測
画面の情報を発生する。

次に前処理部において、ｌ／４に情報量を圧縮された画
像情報について再び前回と同様の処理を行うことによっ
て、１／４に情報量を圧縮された差分画像の情報に対す
る符号化信号を発生するとともに、これから復元した復
元画像の情報に対して線形補間を行って、原画像と同一
の情報量を有する予測画面の情報を発生する。

さらに前処理部において、情報量を圧縮されない画像情
報について再び同様の処理を行うことによって、原画像
についての差分画像の情報に対する符号化信号を発生す
る。

第６図（ｂ）において、可変長符号復号化部２ｌは、送
信側から送られた可変長符号を復号化して、変換係数の
系列を再生する。２Ｄ−ＩＤＣＴ部２２はこの変換係数
系列の情報に対して２次元の離散コサイン逆変換を行う
ことによって、差分画像を復元する。加算器２３はこの
差分画像の情報と予測画面の情報とを１ブロックごとに
加算して、復元画像の情報を発生し、フレームメモリ２
４はこの画像情報を１画面分蓄積することによって、も
との画像を復元する。プログラマブル線形補間部２５は
、復元画像の情報に対して圧縮比率に応じて変化する割
合で線形補間を行って、画像出力信号を発生する。

一方、線形補間部２６はフレームメモリ２４における復
元画像に対して線形補間を行って、情報量がＶ方向およ
びＨ方向にそれぞれ２倍の画像情報を発生する。この画
像情報は前述の予測画面の情報として用いられる。

第７図は、ＤＣＴ変換符号化システムの基本動作の流れ
を説明する図である。

■　原画像を一定の大きさのブロック（サブピク？ャー
）に分割する。

■　次にブロックごとに２次元離散コサイン変換の処理
を行う。２次元離散コサイン変換は次式Ｙ　（ｆ＋　ｊ
）　　＝　Ａ　Ｘ　Ｘ　（＋・ｊ＋によって示されるも
のであり、ここで、Ｘ〈■，、）は原画像ブロック、Ａ
は定数、Ｙ（ｉ，＝＋　は変換係数配列である。

■　このようにして得られたブロックごとの変換係数に
よって、画像情報の再構戒を行う。

■　次に伝送の対象とする変換係数の選択を行う。

これは、しきい値処理，変換係数のサブサンプリング等
によって行われる。

■　次に視覚特性を考慮した変換係数の量子化を行う。

■　このようにして量子化された変換係数への符号語の
割り当てを行う。

このように階層化して符号化を行った場合、情報量を圧
縮した最初の符号化信号は、情報量が少ないので画面の
精細度は低いが、符号化の処理時間が短いので、画面切
り替え時、速やかに１画面分の情報を送ることができる
。この画像は符号化を繰り返すごとに情報量が増加する
ので、次第に精細度が高くなり、最後には原画面の情報
が送られるようになる。

従ってこのような階層化符号化方式によれば、静止画像
を間欠的に切り替えて伝送する場合に、画面切り替え時
、最初の画像伝送に時間がかかるため、画面に空白を生
じることを防止できる。

このように画像情報をブロックごとに符号化して送信し
、受信側において復号化してもとの画像を再生する場合
に、ブロンク内の性質が異なるブロックが隣接して存在
した場合には、受信画像において、フ゛ロックとフ゛ロ
ックのつなき゛目が目立つブロック歪みが発生する。

従来のＤＣＴ変換符号化システムにおいては、このよう
なブロック歪みの改善手法として次のようなものが行わ
れている。

■　ブロック間を滑らかにつなぎ合わせるため、受信側
で各ブロックをつなぎ合わせて受信画像を再生したのち
、全画面に均一に低域フィルタをかける。

■　現画像の情報を完全に把握することができる送信側
において、ブロック歪みの有無，補正（改善）のための
付加情報を作或して、画像情報とともに伝送する。受信
側においては、この情報に基づいて画像情報の補正を行
う。

〔発明が解決しようとする課題〕

従来のＤＣＴ変換符号化システムにおけるブロック歪み
改善方式は、次のような問題点を有している。

（１）前項の■に示された改善方式は、受信側のみの処
理であるため、原画像の情報を完全に把握することがで
きない。従って、画像全体に均一な低域フィルタ処理を
行うようにするが、これによってブロック歪みが視覚的
に見えない部分や、ブロック歪みには関係のない部分ま
で処理を行われる結果、逆に画質の劣化を招く場合があ
る。

（２）前項の■に示された改善方式は、付加情報の追加
に伴って、伝送すべき情報量が増大する。また付加情報
の算出に必要な処理が送信側の処理に加わるため、送信
側処理の負荷および処理時間の増大が見込まれる。さら
に送信側と受信側の符号化／復号化のアルゴリズムが完
全に統一されていなければならないため、符号化システ
ムの汎用性が損なわれる。

本発明はこのような従来技術の課題を解決しようとする
ものであって、ブロック歪み改善に伴う画質の劣化が最
小限であるとともに、ブロック歪みの改善を受信側の処
理のみで行うことができ、かつ送信側と受信側の符号化
／復号化のアルゴリズムの統一性を必要としないブロッ
ク歪み改善方式を提供することを目的としている。

〔課題を解決するための手段〕

本発明は第１図にその原理的構或を示すように、送信側
１において画像情報に対して一定のブロックごとに２次
元の離散コサイン変換（ＤＣＴ）を行って得られたＤＣ
Ｔ変換係数系列を符号化して伝送し、受信側２において
これを復号化して得られたＤＣＴ変換係数に対して離散
コサイン逆変換を行って画像情報を復元するＤＣＴ変換
符号化システムの受信側２において、ブロック歪み発生
推定部３と、画像処理部４とを備えることによって、受
信側の処理だけで適応的なブロック歪み改善を行うよう
にしたものである。

ここでブロック歪み発生推定部３は、受信したブロック
ごとのＤＣＴ変換係数においてブロック歪み発生を推定
して推定結果の出力を発生するものであり、画像処理部
４は、この推定結果の出力が発生したときそのブロック
についてブロック歪みを改善する画像処理を行うもので
ある。

〔作用〕

ＤＣＴ変換符号化システムの送信側において、画像情報
に対して一定ブロックごとに画像情報と予測画像との差
分をとる。そしてこの差分に対して２次元の離散コサイ
ン変換（ＤＣＴ）を行って得られたＤＣＴ変換係数系列
を符号化して受信側に伝送する．受信側においては、こ
れを復号化して得られたブロックごとのＤＣＴ変換係数
に対して離散コサイン逆変換を行って差分画像を再生し
、これを累加してもとの画像情報を復元する。

本発明においては、受信側において、伝送されたブロッ
クごとのＤＣＴ変換係数からそのブロックにおいてブロ
ック歪みを発生するか否かの推定を行う。この推定は例
えば隣接ブロックとの間で、ＤＣＴ変換係数における直
流或分に一定値以上の差があるか否かによって行うこと
ができる。

そしてブロック歪み発生が推定されたとき、そのブロッ
クについてブロック歪みを改善する画像処理を行う。こ
の場合の画像処理は、例えば低域通過フィルタをかけて
高域或分を除去することによって行うことができる。

このように、受信側においてブロック歪み発生箇所を推
定し、その部分に対して画像処理を行ってプロ・冫ク歪
みの改善を行うようにしたので、受信側の処理だけによ
るブロック歪み改善処理が可能となる。

〔実施例〕

第２図（ａ）．（ロ）は本発明の基本的構威を示し、第
６図（ａ），（ロ）の場合と同様に階層化符号化の処理
を行うものを例示し、（ａ）は送信（符号化）側を示し
、（ロ）は受信（復号化）側を示しており、第６図（ａ
）．（ｂ）におけると同じものを同し番号で示し、２７
は直流（ＤＣ）＊分比較検定部、２８は比較検定結果記
憶部、２９は画像処理部である。

本発明においては、ブロック歪み除去の処理は受信（復
号化）側のみにおいて行われるものであり、従って第２
図（ａ）に示す送信（符号化）側１の構成は第６図（ａ
）に示された従来の場合と全く同様である。

第２図（ｂ）に示す受信側において、可変長符号復号化
部２１における可変長符号の復号化による変換係数系列
の再生，２Ｄ−ＩＤＣＴ部２２における変換係数系列の
情報に対する２次元の離散コサイン逆変換による差分画
像の復元，加算器２３における差分画像の情報と予測画
面の情報との加算による復元画像の情報の発生，フレー
ムメモリ２４における復元画像情報の１画面分の蓄積に
よるもとの画像の復元，プログラマブル線形補間部２５
における復元画像の情報に対するアッシュク比率に応じ
て変化する割合の線形補間による画像出力信号の発生，
線形補間部２６におけるフレームメモリ２４の復元画像
に対する線形補間による予測画面の情報の発生は、第６
図（ｂ）の場合と同様に行われる。

ＤＣ戒分比較検定部２７は、対象ブロックのＤＣ成分係
数の大きさと、対象ブロックに隣接するブロソクのＤＣ
或分係数の大きさとを比較してその差を算出し、差の大
きさが一定値以上である部分をブロック歪みの発生箇所
として推定する。

比較検定結果記憶部２８は、ＤＣ或分比較検定部２７に
おけるブロック歪み発生箇所の推定結果の情報を１ブロ
ック当り１ビットの情報として記憶する。

画像処理部２９は、比較検定結果記憶部２８に記憶され
ているブロックごとの推定情報を参照しながら、ブロッ
クごとに例えば低域通過フィルタの処理を行う。この際
における低域通過フィルタの処理は、比較検定処理の結
果、ブロック歪みの発生が推定された部分についてのみ
行われる。すなわちブロック歪みの発生が予想される部
分のみに低域通過フィルタをかけることによって、ブロ
ック間を滑らかにつなぐ処理を行う。比較検定処理の結
果、ブロック歪みの発生が推定されなかった部分につい
ては、何らの処理も行わない。

第３図は本発明の一実施例を示したものであって、受信
（復号化）側のみを示しており、第２図（ｂ）における
と同じものを同じ番号で示し、３０は表示用メモリであ
る。またＤＣ或分比較検定部２７において、３１は２Ｄ
−ＤＣＴ部、３２は直流（ＤＣ）或分記憶メモリ、３３
はＤＣ威分比較検定部である。

第３図の実施例において、表示用メモリ３０は、プログ
ラマブル線形補間部２５からの線形補間した画像出力信
号を１画面分記憶する。表示用メモリ３０に記憶された
１画面分の画像信号は、図示されないディスプレイ等に
おいて表示のために用いられる。

またＤＣ或分比較検定部２７において、２　Ｄ−ＤＣＴ
部３１は、フレームメモリ２４に蓄積されている１画面
分の復元画像に対して、２次元の離散コサイン変換を行
って、周波数領域の信号からなる、差分画像の情報を表
す変換係数系列を発生する。

ＤＣ或分記憶メモリ３２は、２Ｄ−ＤＣＴ部３１の周波
数領域の出力信号中の直流（ＤＣ）戒分のみをブロック
ごとに記憶する。

ＤＣ或分比較検定部３３は、２Ｄ−ＤＣＴ部３１からの
ＤＣ或分出力と、ＤＣ戒分記憶メモリ３２に記憶されて
いる隣接ブロックのＤＣ或分出力とを比較することによ
って、ブロック歪みが視覚的に見えやすい部分を検定し
、ブロック歪みの発生箇所を推定する出力信号を発生す
る。

比較検定結果記憶部２８は、ＤＣ戒分比較検定部３３に
おける検定結果を、■ブロック当り１ビットの情報とし
て記憶する。画像処理部２９は、比較検定結果記憶部２
８の記憶結果の情報に基づいて、表示用メモリ３０に記
憶された１画面分の画像信号に対して、前述のように例
えば低域通過フィルタ等のブロック歪み改善の処理を行
う。ブロック歪みの発生を推定されなかった部分につい
ては、何らの処理も行わない。

第４図（ａ），〜）は、ブロック歪みが視覚的に見えや
すい部分の判断を例示したものであって、（ａ）は判定
対象ブロックとこれに対する比較対象ブロノクとを示し
、（ｂ）は判定の流れをフローチャートによって示した
ものである。

ブロック歪みが視覚的に見えやすい場所としては、隣接
する２つのブロックの内部の信号レベル変化の傾向に差
があり、平均の信号レベルに差がある部分が予想される
。そこでブロック内部における画像情報の性質の判断の
対象となる判定対象ブロックＡのＤＣ係数の値と、その
ブロソクと線分で接する上下左右の各ブロックＢ，Ｃ，
Ｄ，ＥのＤＣ係数の値との差ｂ，ｃ，ｄ，ｅを調べて、
その値が所定値ＴＨを超えているブロックが一つでもあ
ったときは、判定対象ブロックＡは、ブロソク歪み改善
の処理を行うべき対象ブロックと判断する。

第５図（ａ），　（ｂ），　（Ｃ）は画像処理部の動作
の概要を示したものであって、ブロックごとのＤＣ成分
の変化と、画像処理によるブロック間の接続の改善を２
次元的にモデル化して示したものである。

いま、第５図において（ａ）に示すように、隣接す？ブ
ロンク間のＤＣ成分レヘルの差が２単位以上ある場合に
ＤＣｒｆｊ．分比較検定結果を１とし、それ以下の場合
は０とするものとする。

画像処理部においては、ＤＣ戒分比較検定結果が１の場
合に、（ｂ）にそのマトリクスを例示されるようなフィ
ルタによって低域通過フィルタの処理を行う。図におい
て斜線を施して示した画素は、対象画素であり、このフ
ィルタは８×８画素からなるブロック内の各画素に対し
て適用される。ただし画像の周辺２画素のエリアは、エ
ッジ処理としてフィルタのパターンを変えるものとする
。

なお第５図中）に示すフィルタＦは、対象画素Ｘ．，１
，に対してフィルタ出力）’（ｉ＋ｊ）を発生するもの
であって、次式によって定義されるものである。

Ｖｔｉ■＞＝Ｆ／６４ Ｆ　””　（Ｘ　（ｉ−Ｌｊ−２１　　＋　Ｘ　（ｉ−
Ｌｊ−Ｈ　　＋　Ｘ　（ｉ−Ｌｊｈｚ＋　＋　Ｘ　（ｉ
ａＬ　ｊ”！ｌ　　）　Ｘ　１＋（　Ｘ　（ｉ−Ｌ＋　
ｊ−２１　　＋Ｘ　（ｉ・Ｉ＋　ｊ−２）　　＋　’Ｘ
　（ｉ−２，ｊ−ｌ）＋　　Ｘ　　（ｉ＋Ｌｊ−１１　
　　＋　　Ｘ　　（ｉ＊Ｉ＋ｊ−２）　　　＋　　Ｘ　
　＜＝？，ｊ４■）　＋　Ｘ　（ｉ−１＋　ｊ−Ｚ）　
　”　Ｘ　（ｉや２＋ｊ”ｌ＋　　）×２ ＋（　Ｘ　（ｉ＋　ｊ−！）　　＋Ｘ（ｉ’−１，ｊ−
１１　　＋Ｘ　（ｉ．１ｊ１）　＋　Ｘ　（ｉ−Ｌ　ｊ
）　＋　Ｘ　Ｌｉ◆２＋　ｊｌ　＋Ｘ　（ｉ−１，ｊ・
Ｉ）＋Ｘ（、・１・ｊ◆１）　　＋　Ｘ　（ｉ・ｊ−ｚ
＋　　）　　Ｘ　３＋（Ｘ　（ｉ＋ｊ−１）　　＋　Ｘ
　（ｉ−１＋ｊｌ　　＋　Ｘ　（ｉｌ＋ｊ）　＋Ｘ　（
ｉ・１＋Ｈ　　＋　Ｘ　（ｉ＋　ｊｌ　　）　　Ｘ　４
第５図において（Ｃ）は、低域通過フィルタの処理を行
った結果を示し、（１）において２単位以上の差があっ
た部分は高城を遮断されて滑らかに隣接ブロックと接続
されているが、差がそれ以下であった部分では画像情報
には何らの処理も行われないことが示されている。

〔発明の効果〕

以上説明したように本発明によれば、２次元ＤＣＴ変換
符号化方式において、受信側においてブロック歪み発生
箇所を推定してその部分に対して画像処理を行ってブロ
ック歪みの改善を行うようにしたので、受信側の処理だ
けによるブロック歪み改善処理において、ブロック歪み
改善処理に伴う画質の劣化を最小限に抑えた適応的な処
理を実現することができる。本発明では、送信側におけ
る処理負担の増大がないとともに、送信側と受信側の符
号化／復号化のアルゴリズムの統一性を必用としない。

本発明方式によった場合、２次元ＤＣＴ変換符号化方式
において、ブロックの大きさ，変換係数の表現精度等が
明確に規定されていれば、十分な画質改善効果が期待で
き、簡単な処理で、高品質，高適応性の符号化システム
の実現に寄与することが可能になる。

【図面の簡単な説明】

第１図は本発明の原理的構或を示す図、第２図（ａ），
　（ｂ）は本発明の基本的構或を示す図、第３図は本発
明の一実施例を示す図、第４図（ａ），（ロ）は、ブロ
ック歪みが視覚的に見えやすい部分の判断を例示する図
、第５図（ａ）．　（ｂ），　（Ｃ）は画像処理部の動
作の概要を示す図、第６図（ａ）．　（ｂ）はＤＣＴ変
換符号化システムの基本構或を示す図、第７図は、ＤＣ
Ｔ変換符号化システムの基本動作の流れを説明する図で
ある。 １．　　２はＤＣＴ変換符号化システムであって、■は
送信側．２は受信側、３はブロック歪み発生推定部、４
は画像処理部である。

Claims (1)

1. 【特許請求の範囲】 送信側（１）において画像情報に対して一定のブロック
   ごとに２次元の離散コサイン変換（以下ＤＣＴと略す）
   を行って得られたＤＣＴ変換係数系列を符号化して伝送
   し、受信側（２）においてこれを復号化して得られたＤ
   ＣＴ変換係数に対して離散コサイン逆変換を行って画像
   情報を復元するＤＣＴ変換符号化システムの受信側（２
   ）において、 受信したブロックごとのＤＣＴ変換係数においてブロッ
   ク歪み発生を推定して推定結果の出力を発生するブロッ
   ク歪み発生推定部（３）と、該推定結果の出力発生時該
   ブロックについてブロック歪みを改善する画像処理を行
   う画像処理部（４）とを備えたことを特徴とするブロッ
   ク歪み改善方式。