JPH01311782A

JPH01311782A - 変換符号化方式

Info

Publication number: JPH01311782A
Application number: JP63141766A
Authority: JP
Inventors: Kuronku Maikeru; マイケル．クロンク
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1988-06-10
Filing date: 1988-06-10
Publication date: 1989-12-15

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的］本発明は、静止画、動画、音声等の各種の情報を変換符
号化して伝送する変換符号化方式に関わり、特にブロッ
ク歪みの除去手段を備えた変換符号化方式に関する。

（従来の技術）近年、ＴＶ会議システムやＴＶ電話システムの開発に伴
って、通信システムや各種情報処理システムにおいて、
大量の音声、画像等の情報を取扱う必要性が増大してい
る。このため°、膨大な情報量を有する音声、画像等の
データの冗長性を排除して効率の良いデータ伝送を可能
にするデータ圧縮技術が開発されている。その一つとし
て変換符号化方式が知られている。この変換符号化方式
は、伝送ずベデータを複数のブロックに分割し、各ブロ
ックに対し例えば離散的コサイン変換等の所定の変換を
施すとともに、その変換結果を量子化して伝送するもの
である。この方式によれば、パワーの小さな高次の基底
関数に対応した変換係数は伝送しない、或は量子化ピン
ト数を少なくすることにより効果的なデータ圧縮を行な
うことができる。

変換符号化方式においては、高次の変換係数を切捨てて
もブロック内における劣化は少ないが、ブロック間の境
界における劣化は無視できない。

これは、「ブロック歪み」と呼ばれるもので、−般に同
し電力を持つランダムな雑音に比べ１０倍以上目立つ雑
音であると言われている。変換符号化方式では、変換係
数を切捨てれば切捨てるほど高能率（高圧縮率）の符号
化が可能であるが、これに伴ってブロック歪みはより顕
著に現われるという問題がある。

従来、このようなブロック歪みを除去する方式として、
例えば特開昭６２−１９６９０号に示すものが知られて
いる。この方式は、第１１図に示すように、ブロック境
界における途切れた信号を滑らかに連続させるようにし
たものである。即ち、各ブロック間の境界では、第１１
図に示すように、ブロックの周辺における点、例えばａ
　ｏ　、　　ａ　ｔ　。

ａ２を用い、ブロック境界を超えた隣りのブロックの最
端点、例えばｂ　　を外挿予測し、その子測値Ｃと実際
の点ｂ　　との差によりａ。。

Ｎ−Ｉ　　　　　　　　　　　　　Ｎ−１ａ　ｔ　、　
　ａ　　の各点がｂ　　と滑らかにつながるよ２　　　
　　　　　　　Ｎ−１うにａ　Ｏ、ａ　ｒ　、　　ａ　２を次式で変換する。

ａ’−−ａ　　　＋ｃ　　　（ｂ　　　　−ｂ　　　　
）／２０　　　　０　　　　０　　　　　Ｎ−Ｌ　　　
　　Ｎ−１ａ’　　−ａ　　　＋ｃ　　　（ｂ　　　　
−ｂ　　　　）／２１　　　　　　Ｌ　　　　　　Ｉ　
　　　　　Ｎ−Ｉ　　　　　　Ｎ−１ａ’　　−ａ　　
　＋ｃ　　　（ｂ　　　　−Ｂ　　　）／２２　　　　
　２　　　　　２　　　　　　Ｎ−Ｉ　　　　　　Ｎ−
１なお、ここでＣ＋　　Ｃｔ　、　　Ｃ２は係数であり
、ＩＣ口　−≧１．ｃｌ　ｌ≧ＩＣ，，１の関係が成立
つ。また、これと同様にｂＮ−３’ｂＮ−２’　　ｂＮ
−１を用いてａｌを予７１！ＩＩ　Ｌ、その予１則値５
　とａ　との差により、ｂ　　　、ｂｌ　　　１　　　
　　　　　　　Ｎ−３Ｎ−２’ｂ　　を変化させる。

以上の方式を用いることにより、ブロック歪みをある程
度軽減することは可能である。しかじながら、通常、ブ
ロック歪みは情報全体に一様に現われるものではなく、
ところによっては大きく現われ、ところによってはさほ
ど目立たないこともある。これに対し上記のような一律
の処理を施すと、場所によっては再現すべきエツジがぼ
けて却って情報が劣化したり、またブロック歪みの程度
が大きいために完全にブロック歪みが除去しきれないと
いったばらつきを生じ、情報劣化を効果的に除去するこ
とができないという問題があった。

（発明が解決しようとする課題）このように、従来のブロック歪み除去手段を備えた変換
符号化方式においては、ブロック歪みに対して一律の処
理を施していたため、情報を却って劣化させたり、ブロ
ック歪みを完全に除去しきれないという問題があった。

本発明は、上記問題点を解決し、ブロック歪みに応じて
適応的に歪み除去の処理を行なうことが可能な変換符号
化方式を提供することを目的とする。

［発明の構成］（課題を解決するだめの手段）本発明は、伝送すべき情報を複数のブロックに分割し、
各ブロックに対し所定の変換を施すとともに、その変換
結果を量子化して送信し、送信された前記量子化結果を
逆量子化し、この逆量子化結果に対し前記変換に対応し
た逆変換を施すとともに、この逆変換手段の逆変換結果
を合成して前記伝送すべき情報を再生し、更に前記逆変
換結果に対しブロック歪み除去のための処理を施す歪み
除去手段を備えた変換符号化方式において、歪み除去手
段が、離散的な変換結果の評価値に基づいて歪み除去の
ための処理の程度を適応的に変えるものであることを特
徴としている。

離散的変換結果の評価値としては、例えば逆変換結果の
ブロック間の対称性、或は変換結果である変換係数の変
換面におけるパターン等を用いることができる。

また、歪み除去の程度を変えるには、例えば処理すべき
範囲を変えれば良い。

（作用）本発明によれば、ブロックの変換結果の評価値からブロ
ック歪みの発生の程度を予想し、それに応じて、例えば
処理の有無や、処理の範囲等処理の程度を適応的に変化
させるようにしているので、ブロック歪みの少ないとこ
ろではエツジなどの高域成分を忠実に再現でき、ブロッ
ク歪みの大きいところではこれを完全に除去し得る程度
の歪み除去を行なうことができる。従って、本発明によ
れば、情報の劣化を防止して再現性に優れた変換符号化
方式を提１」（できる。

（実施例）以下、図面に基づいて本発明の実施例について説明する
。

第１図は本発明の一実施例に係る変換符号化方式を適用
した画像伝送システムの構成を示す図である。

送信部１１は、入力される画像信号をブロックに分割す
るブロック分割器２１と、このブロック分割器２１で分
割された各ブロックに対し離散的・コサイン変換（以下
、ｌ’−Ｄ　ＣＴＪと呼ぶ）を施すＤＣＴ回路２２と、
このＤＣＴ回路２２で得られた変換係数のうち、どの変
換係数を送るべきかを判定する判定器２３と、送るべき
変換係数を量子化する量子化器２４と、この量子化器２
４の量子化結果と判定器２３の判定結果とを多重化して
画像伝送信号として出力する多重化器２５とにより構成
されている。

受信部１３は、伝送路１２を介して伝送された画像伝送
信号から前述した量子化信号と判定結果とを分割する分
割器２６と、上記量子化信号を゛逆量子化する逆量子化
器２７と、この逆量子化器２７の出力を逆コサイン変換
（以下、［１ＤｃＴＪと呼ぶ）するＩＤＣＴ回路２８と
、このＩＤＣＴ回路２８の出力と前述した判定結果とに
基づいてＩ　ＤＣＴ出力からブロック歪み除去のための
処理を施す歪み除去器２９と、この歪み除去器２つで除
去されたブロックを合成して伝送された画像を再生する
ブロック合成器３０とにより構成されている。

次に上記のように構成された本システムの作用について
説明する。

まず、本システムにおける歪み除去の基本的概念につい
て説明する。なお、ここでは簡単のため、−次元変換を
考えるが、ｎ次元変換についても同様の考え方が適用出
来ることはいうまでもない。いま、長さＮ点の数列をＸ
　［ｎ］　とすると、Ｘ　［ｎ］の離散コサイン変換（
ＤＣＴ）は次式で示すことが出来る。

ここで、である。ここで述べたいことは、ＤＣＴの変換面で行わ
れた処理がどのように空間面に現われるかということで
あるが、その変換面と空間面との関係が簡単でないため
、直接その関係を表すことは難しい。しかし、離散フー
リエ変換（Ｄ　Ｆ　Ｔ）理論によれば、変換面処理がど
のような空間面処理に相当するかが分るので、ここでは
ＤＣＴと離散フーリエ変換（Ｄ　Ｆ　Ｔ）との関係を示
すことによって、ＤＣＴでの変換面と空間面との関係を
説明する。

まず、第２図（ａ）に示すような長さＮの数列Ｘ　［ｎ
］を、第２図（ｂ）に示すように折返し、長さ２Ｎ点の
数列Ｘ　［ｎ］とすると、Ｘ　［ｎ］のＤＣＴとＸ　［
ｎ］の２Ｎ点のＤＦＴとの関係は、次式で示すことがで
きる。

但し、である。この関係とＤＦＴの変換面での乗算が空間面で
の円状畳込み（Ｃｉｒｃｕｌａｒ　Ｃｏｎｖｏｌｕｔｉ
ｏｎ）演算にト目当することを利用することにより、入
力信号の形と変換面で行われた処理を知っていれば、ど
こで、又どの程度にブロック歪みが生じるかを解くこと
ができる。

この理論に基づけば、ブロック歪みはブロックの周辺で
最も強く、又伝送する際には高域変換係数を切り捨てれ
ば捨てる程、歪みが生じる可能性は高まる。但し、処理
するブロックは、隣接するブロックと対称的であれば、
どの程度係数を切り捨てても、処理するブロックにブロ
ック歪みは生じない。

さて、第１図のシステムにおいて、ブロック分割器２１
にてブロック分割され、ＤＣＴにてＤＣＴ処理されたブ
ロックは、判定器２３において適宜高次の変換係数を切
り捨てられる。このとき、どの程度の次数まで切捨てら
れたかがブロック歪みの発生の程度に影響してくるので
、それを示す係数判定情報は多重化器２５で画像信号に
多重化され伝送される。判定器２３で切り捨てられなか
った変換係数は、量子化器２４で量子化され、多重化器
２５で係数判定情報と多重化されて画像伝送信号として
伝送される。

受信側では、まず分割器２６にて変換係数と係数判定情
報とが分離される。変換係数は逆量子化器２７において
逆量子化されたのち、Ｉ　ＤＣＴ回路２８にて逆コサイ
ン変換される。その信号は再生信号として歪み除去器２
９に与えられる。この歪み除去器２９には分割器２６で
分離された係数判定情報も与えられている。

第３図に歪み除去器２つの詳細を示す。まず、係数判定
情報は、ＲＯＭ３１に与えられる。

ＲＯＭ３１は、第４図に示すように、伝送された変換係
数の変換面におけるパターンによってブロックの空間面
における処理すべき範囲を指定する。

送られる係数が多い場合には空間面における処理範囲は
挟まり、逆に送られる係数が少ない場合には、処理範囲
は広がる。このＲＯＭ３１の出力は処理範囲判断器３２
に与えられる。

一方、再生信号はメモリ３３に一旦格納される。

対称性検出器３４は、メモリ３３から処理するブロック
の再生信号とその周辺の画像の再生信号とを読出してブ
ロックの対称性についての評価を行なう。即ち、いま、
二次元ブロックの境界が第５図に示すように、横の境界
Ｙｌ　、　Ｙ２　、縦の境界Ｔｌ、Ｔ２、隅の境界Ｓｌ
、Ｓ２．Ｓ３．Ｓ４の計８つの領域で構成されるとする
と、第６図の隣接ブロックＡ、Ｂ、Ｃ，Ｄの各領域の非
対称度は、次式によって求めることができる。なお、こ
こで、ｋＴ、　ｋＹは計算領域を指定する変数、ＷＴ［
ｍ、ｎｌ、Ｗ　［ｍ、ｎｌ、Ｗｓ［ｍ、ｎｌは重み係数
、Ｃ１，０２は正規化するための係数である。

■　横の境界の場合ｔＳＹ［ｎｌｋＹ −Σ　ｗＴ　［ＩＩｌ、ｎｌ　（ＩＡ　　（Ｍ−１−ｎ
＋、ｎ）−Ｂ　　（ｍ、ｎ）ｌ）■　縦の境界の場合ｔＳＴ［ＩＩｌ］ｋＴ −ΣｗＴ［ｍ、ｎｌ　（ＩＡ　（ｍ、Ｎ−１−ｎ）−Ｃ
（ｍ、ｎ）ｌ）ｎ＝０ ■　隅の境界の場合（ＩＡ　（Ｍ−１−ｍ、Ｎ−１−ｎ）−Ｄ　（ｍ、ｎ）
ｌ）以上の演算は、対称的な位置にある画素の差分を取
りその絶対値を累積するという操作を示すものである。

よって、信号が隣接ブロック間の境界で全く対称であれ
ばＴＳの値はＯとなり、そうでない場合は非零となる。

第７図は、この対称性検出器３４の具体的構成例を示す
図である。メモリ３３から読み出された対称位置の画素
は、減算器４１及び絶対値回路４２によってその差分が
とられ、加算器４３にて累積加算されたのち、比較器４
４にて所定のしきい値と比較される。ここでは、第７図
に示すように、各ブロック境界領域の非対称度ＴＳと４
つのしきい値Ｔ１〜Ｔ４とを比較し、その比較結果から
、例えば第９図に示すように、処理の範囲を５段階に変
更するようにしている。

処理範囲判断器３２では、ＲＯＭ３１から読み出された
パターンを対称検出器３４の出力に基づいて変更する。

例えば、第８図の例では、左上と左下の隅の非対称度Ｔ
Ｓｓ１とＴＳｓ４がどちらもＴ４より大きいので、その
２つの領域でＲＯＭ３１から読み出されたパターンをそ
のまま残すようにする。

これに対し、左境界の非対称度はしきい値Ｔ２とＴＳの
間の値であるので、その部分の処理範囲の幅を半分に減
らすようにしている。このように、１つのブロックの処
理範囲を決定するには、変換係数の配置によって予測さ
れたパターンはＲＯＭ３１から読み出され、８つの境界
領域の対称性によりその処理範囲が変更される。

最後に可変内挿器３５は、処理範囲判断器３２から出力
される処理範囲に含まれる点について線形内挿処理を行
ない、ブロック歪みを除去する。

これにより、ブロック歪みが適応的に除去された１■■
生画像の各ブロックは、ブロック合成器３０によって合
成されて画像が再生される。

以上のように、本システムによれば、伝送されたＤＣＴ
変換係数のパターンに応じて処理すべき範囲を決定する
とともに、隣接画素ブロックとの対称性に基づいて上記
処理すべき範囲を適応的に変更するようにしている。こ
のため、ブロック歪みがより多く現われる範囲について
は広い範囲にわたってブロック歪み除去のための処理が
行われ、ブロック歪みの現われない範囲については処理
を行なわないというように、ブロック歪みの程度に応じ
た適応的な処理を行なうことができる。

第１０図は本発明を動画の伝送システムに適用した実施
例を示す図である。送信部５１に入力される画像信号（
原フレーム）は、ブロック分割器６１でブロック毎に分
割され、演算回路６２に入力される。この演算回路６２
において、上記各ブロックはブロック毎に、フレームメ
モリ７３からの過去のフレームと比較され、フレーム間
差分の大きいブロックは、有意ブロックとして出力され
る。この有意ブロックは、減算器６５及び動き検出器６
３に入力される。動き検出器６３においては、有意ブロ
ックのベクトルのみが検出される。

検出されたベクトルは、一方が多重化器６９に他方が可
変遅延器に各々入力される。可変遅延器６４においては
、動き検出器６３で検出された動きベクトルをもとに、
この動きベクトルで指定されるブロックが、フレームメ
モリ７３から抽出され、そのブロックが減算器６５及び
加算器７２に各々入力される。

減算器６５では、ＩＩＪ変遅延器６４で求められたブロ
ックと、演算回路６２からの現在のブロックとの差分が
取られ、その差分がＤＣＴ回路６６において変換される
。次にこの変換された信号の評価により、判定器６７に
おいて動き補償後の有意ブロックが判定され、更に各判
定されたブロックの内、どの係数を送るべきかが判定さ
れ、この判定器６７で判定された有意ブロックのみが量
子化器６８で量子化される。そして、この量子化された
予測誤差信号とともに、上記した演算回路６２からの有
意ブロック情報、判定器６７からの判定情報及び動き検
出器６３からの動きベクトル情報が多重化器６９で多重
化され、伝送路５２を介して受信部５３へ伝送される。

又、同時に量子化器６８からの予ＡＰＩ誤差信号が逆量
子化器７０で逆量子化され、Ｉ　ＤＣＴ回路７１におい
て逆変換される。この逆変換された信号が前記と同様の
歪み除去器７４に人力され、ブロック歪みを除去された
後、可変遅延器６４からの信号と加算器７２において加
算され現在のプロツクが再生され、フレームメモリ７３
に格納される。これにより、受信側と同じ再生画像をフ
レームメモリ７３に格納できる。

受信部５３では、分割器８１において、予測誤差信号、
判定情報、有意ブロック情報及び動きベクトル情報が分
割される。予測誤差信号は、逆量子化器８２にて逆量子
化され、ＩＤＣＴ回路８３にて逆変換され、歪み除去器
８７に与えられる。

この歪み除去器８７は、送信部５１の歪み除去器７４と
同様のもので、ＩＤＣＴ回路８３の出力からブロック歪
みを除去する。一方、可変遅延器８４は、有意ブロック
情報と動きベクトルとにより指定されるブロックをフレ
ームメモリ８５から抽出する。可変遅延器８４で抽出さ
れたプロ・ツクと、歪み除去器８７の出力とが加算器８
６にて加算され、フレームメモリ８５に格納される。

この実施例においても、歪み除去器７４．８７の処理の
範囲をブロックの係数判定情報や対称性に基づいて変化
させることにより、ブロック歪みの状況に応じた適応的
な処理を行なうことができる。

なお、本発明は以上の実施例に限定されるものではない
。

即ち、上記実施例では、変換結果の評価値として、変換
係数の判定情報とブロック間の対称性の双方を用いたが
、いずれか一方を評価値として用いるようにしても本発
明の効果を得ることは可能である。また、上記実施例で
は、処理の程度として処理範囲を変えるようにしたが、
例えばローパスフィルタを用いた歪み除去処理の場合に
は、ローパスフィルタの係数を評価値に基づいて適応的
に変えるようにしても良い。また、変換結果の評ｆ＋ｌ
Ｉｉ値に応じて処理を行なうか行なわないかを決定する
ようにしても良い。更には、評価値が高い場合、つまり
ブロック歪みが少ないと考えられる部分については高域
強調処理を行なうようにしても良い。

また、上記実施例では、特に離散的コサイン変換（Ｄ　
ＣＴ）を例示したが、他の離散的変換においてもその変
換のＤＦＴとの関係を示すことにより、同様にその変換
でのブロック歪みの空間的配置を解くことができるので
、本発明の適用的処理はＤＣＴのみに関する技術ではな
く、ＤＦＴ、離散サイン変換等、他の変換を用いる符号
化にも適用できる。

また、歪み除去の方法としては、上述した線形内挿処理
の他、多項関数内挿、スプライン（Ｓｐｌｉｎｅ）内挿
、低域通過フィルタなど種々の方式を採用できる。

［発明の効果］以上述べたように、本発明によれば、ブロックの変換結
果の評価値に応じて処理の程度を適応的に変化させるよ
うにしているので、ブロック歪みの少ないところでは高
域成分を忠実に再現でき、ブロック歪みの大きいところ
ではこれをほぼ完全に除去し得る程度の歪み除去を行な
うことができる。従って、本発明によれば、情報の劣化
を防止して再現性に優れた変換符号化方式を提供できる
。

【図面の簡単な説明】

第１図は本発明の一実施例に係る静止画（象伝送システ
ムのブロック図、第２図は画像信号の例を示す図、第３
図は同システムにおける歪み除去器の詳細ブロック図、
第４図は同歪み除去器におけるＲＯＭの内容を示す図、
第５図及び第６図は同歪み除去器における対称性検出器
の動作を説明するための図、第７図は同対称性検出器の
詳細ブロック図、第８図及び第９図は同歪み除去器にお
ける処理範囲判断器の動作を説明するための図、第１０
図は本発明の他の実施例に係る動画伝送システムのブロ
ック図、第１１図は従来のブロック歪み除去方式を説明
するための図である。１１．５１・・・送信部、１２．．５２・・・伝送路、
１３．５３・・・受信部、２１．６１・・・ブロック分
割器、２２．６６・・・ＤＣＴ回路、２３．６７・・・
判定器、２４．６８・・・量子化器、２５．６９・・・
多重化器、２６．’８’ｌ・・・分割器、２７，７０．
８２・・・逆量子化器、２ｇ、７１．８３・・・Ｉ　Ｄ
ＣＴ回路、２９．７４．８７・・・歪み除去器、３０・
・・ブロック合成器、６２・・・演算回路、６３・・・
動き検出器、６４．８４・・・可変遅延器、６５・・・
減算器、７２．８６・加算器、７３．８５・・・フレー
ムメモリ。出願人代理人　弁理士　鈴江武彦庇役＠　　　　　　空聞面Ｍ　４　図

Claims

【特許請求の範囲】

（１）伝送すべき情報を複数のブロックに分割するブロ
ック分割手段と、このブロック分割手段で分割された各
ブロックに対し所定の変換を施す変換手段と、この変換
手段の変換結果を量子化する量子化手段と、この量子化
手段の量子化結果を送信する送信手段と、この送信手段
によって送信された前記量子化結果を逆量子化する逆量
子化手段と、この逆量子化手段の逆量子化結果に対し前
記変換に対応した逆変換を施す逆変換手段と、この逆変
換手段の逆変換結果を合成して前記伝送すべき情報を再
生するブロック合成手段と、前記逆変換結果に対しブロ
ック歪み除去のための処理を施す歪み除去手段とを具備
した変換符号化方式において、前記歪み除去手段は、前記変換手段の変換結果の評価値
に基づいて前記歪み除去のための処理の程度を変えるも
のであることを特徴とする変換符号化方式。
（２）前記歪み除去手段は、前記逆変換結果のブロック
間の対称性に基づいて歪み除去のための処理の程度を変
えるものである請求項１記載の変換符号化方式。
（３）前記歪み除去手段は、前記変換手段の変換結果で
ある変換係数の変換面におけるパターンに基づいて歪み
除去のための処理の程度を変えるものである請求項１記
載の変換符号化方式。
（４）前記歪み除去手段は、処理すべき範囲を変えるこ
とで処理すべき程度を変えることを特徴とする請求項１
乃至３記載の変換符号化方式。