JPH0472982A - 画像信号の復号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、画像信号の伝送時間を短縮するあるいは蓄積
記憶容量を削減するための符号化が施された信号から画
像信号を再生する画像信号復号化方式に関する。

〔従来の技術〕

多値画像（例えば１画素８ｂｉｔ、　２５６レベル）に
対するデータ圧縮方式には、情報保存型の符号化と情報
非保存型の符号化がある。情報保存型の符号化とは、符
号化の過程に量子化を含まないものを指し、符号化・復
号化の処理によって原画像と全く同一の画像を再生する
ことが可能であるが、高い圧縮率は得られない。一方、
情報非保存型の符号化とは、符号化の過程でなんらかの
量子化処理を含むものを指し、符号化・復号化の処理に
よって再生画像は量子化雑音を含み画品質の劣化を伴う
が、高い圧縮率が得られる。

情報非保存型の符号化の場合には、一般に量子化歪（Ｓ
／Ｎ比）とデータ圧縮率（情報Ｎ）との関係で評価され
るが、良好なＳ／Ｎ比対情報量の関係を実現する方式と
して、直交変換後の変換係数を量子化して可変長符号化
する方式が知られている。

この方式においては、画像をまず複数の画素からなる正
方形のブロックに分割し、このブロックを単位として符
号化を行う。これらの符号化においては、まずブロック
内画像の直流成分（ブロック内画素の平均値）を分離し
、直流成分を分離した残りの交流成分（ブロック内画素
の値と平均値との差分）と直流成分とを別々に符号化す
る場合が多い。

〔発明が解決しようとする課題〕

このように直交変換後の変換係数を量子化して可変長符
号化する方式において、ブロック内の画素の値の変化が
微小な場合に、交流成分がＯとして符号化される。そし
て、再生画像においてそのブロック内の画素の値は、す
べて直流成分の値で復号化されることになる。このよう
に、再生画像においてブロック内の画素の値がすべて同
一で画素の値の変化が平坦な場合に、視覚的に大きな障
害となるブロック歪が発生する場合がある。

すなわち、画素の値の変化が微小な領域においては、符
号化において各ブロックの交流成分がＯとなり、それぞ
れの直流成分のみが変化する。このような場合には、ブ
ロック内の画素の値の変化は平坦となり、ブロックの境
界のみで画素の値が変化するように復号されることにな
る。これによって、ブロックの境界が非常に不自然に強
調されてしまい、視覚的に大きな障害となるブロック歪
が発生してしまう。

このような問題点を解決する方法として、符号化時に直
流成分を分離する際に、まず直流成分から補間画像を生
成し、この補間画像と入力画像との差分を交流成分とし
て用いる方式がある。二の方式の詳細は参考文献１：「
平均値分離形ブロック符号化方式の符号化効率改善」、
加藤洋−著、電子情報通信学会創立７０周年記念総合全
国大会文誌、１１５８．　ｐ、５−５４．昭和６２年や
、参考文献２：「低ビツトレートにおける静止画符号化
の画質改善方法の検討」、根本啓次、大町隆夫著、画像
符号化シンポジウム、第３回シンポジウム資料、２１２
２頁、昭和６３年９月に詳細に記載されている。

符号化時にこのような処理を行うことにより先に述べた
ような視覚的な障害は回避できるが、これらはあくまで
も符号化時の処理が必要となるので、−旦通常の方法で
符号化されてしまった画像については対処できない。

本発明の目的は、受信側での直流成分の処理により、通
常の方法で符号化した画像について、微小な変化をしで
いる領域にブロック歪を発生すること無く画像を復号化
することのできる、画像信号の復号化方式を提供するこ
とにある。

〔課題を解決するための手段〕

第１の発明は、複数の画素からなるブロック単位に画像
信号を分割し、変換係数のうちの１つが前記ブロックの
平均値となる直交変換を前記画像信号の前記ブロック単
位に施して複数の変換係数を求め、前記変換係数を符号
化することにより生成された符号を復号して画像信号を
再生する画像信号の復号化方式であって、 前記符号を入力して複数の復号変換係数を生成し、 前記の複数の復号変換係数を用いて前記ブロック毎に補
間処理を施すか否かの判定を行い、前記補間処理を施さ
ないブロックは前記の複数の復号変換係数を逆直交変換
して前記ブロックの復号画像を生成し、 前記補間処理を施すブロックは復号された前記平均値と
周囲のブロックの復号された前記平均値とを用いて補間
処理を施して前記ブロックの復号画像を生成することを
特徴とする。

第２の発明は、複数の画素からなるブロック単位に画像
信号を分割し、変換係数のうちの１つが前記ブロックの
平均値となる直交変換を前記画像信号の前記ブロック単
位に施して複数の変換係数を求め、前記変換係数を符ぢ
化することにより生成された符号を復号して画像信号を
再生する画像信号の復号化方式であって、 前記符号を入力して複数の復号変換係数を生成し、 前記の複数の復号変換係数を用いて前記ブロック毎に補
間処理を施すか否かの判定を行い、前記補間処理を施さ
ないブロックは前記の複数の復号変換係数を逆直交変換
して前記ブロックの復号画像を生成し、 前記補間処理を施すブロックは復号された前記平均値と
周囲のブロックの復号された前記平均値とを用いて前記
ブロックの複数の変換係数を推定し、 推定された複数の変換係数を逆直交変換して前記ブロッ
クの復号画像を生成することを特徴とする。

第３の発明は、複数の画素からなるブロック単位に画像
信号を分割し、変換係数のうちの１つが前記ブロックの
平均値となる直交変換を前記画像信号の前記ブロック単
位に施して複数の変換係数を求め、前記変換係数を符号
化することにより生成された符号を復号して画像信号を
再生する画像信号の復号化方式であって、 前記符号を入力して複数の復号変換係数を生成し、 前記の複数の復号変換係数を用いて前記ブロック毎に補
間処理を施すか否かの判定を行い、前記補間処理を施さ
ないブロックは前記の複数の復号変換係数を逆直交変換
して前記ブロックの復号画像を生成し、 前記補間処理を施すブロックは復号された前記平均値と
周囲のブロックの復号された前記平均値とを用いて前記
ブロックの複数の変換係数を推定し、 推定された複数の変換係数にあらかじめ定められた値に
よるリミッタ処理を施してから逆直交変換して前記ブロ
ックの復号画像を生成することを特徴とする特 〔作用〕 まず本発明と対向される画像信号の符号化方式すなわち
送信側について説明する。

送信側では、まず複数の画素からなるブロック単位で画
像信号を読み出す。このブロックとしては、ｎＸｎ画素
からなる正方形のブロックを用いる場合が多い。

次に、このブロック単位に画像信号の直交変換を施して
、複数の変換係数を求める。ただし、この直交変換とし
ては変換係数のうちの１つが直流成分、すなわち画像信
号のブロックの平均値となる直交変換を用いる。このよ
うな直交変換としては、２次元の離散コサイン変換やア
ダマール変換などがある。もしｎＸｎ画素からなる正方
形のブロックを用いた場合、この複数の変換係数も１ブ
ロック当りｎＸｎ個となる。

これらのｎＸｎ個の変換係数を符号化して、符号を生成
する。この符号化の際に、量子化処理を行って符号量を
減少させることもできる。

そして、本発明すなわち受信側では、この符号を入力し
て（ｎＸｎ）個の復号変換係数を生成する。この復号変
換係数の内の１つが直流成分、すなわちブロックの平均
値の復号された値としての復号平均値であり、残りの（
ｎＸｎ−１）個が交流成分となる。

もし符号化の際に量子化処理を行った場合には、これら
の復号変換係数は量子化誤差を含んでおり、送信側の変
換係数と完全に一致するとは限らないが、量子化誤差が
小さければほぼ同一の値となる。

この復号変換係数を用いて、補間処理を施すか否かの判
定処理を行う。例えば、ブロック内の（ｎＸｎ）個の復
号変換係数の内の（ｎＸｎ−１）個の交流成分がすべて
０の場合には、このブロック内の画素の値はすべて同一
の値となり、画素の変化が平坦なブロックとして復号さ
れる。この場合に、視覚的に障害となるブロック歪が発
生するので、このブロックには補間処理を施すと判定す
る。

そして、それ以外のブロックには補間処理を施さないこ
ととする。このようなブロックの場合は、ブロック内の
（ｎＸｎ）個の復号変換係数を逆直交変換して、このブ
ロックの復号画像を生成する。

また、補間処理を施すブロックについては、このブロッ
クの復号変換係数の内の復号平均値と、周囲のブロック
の復号平均値とを用いて補間処理を施して、復号画像を
生成する。この補間処理の方法については、前記参考文
献１と参考文献２に詳しく記載されている。

この補間処理を施す代わりに、ブロックの復号平均値と
周囲のブロックの復号平均値とを用いて、このブロック
の（ｎＸｎ）個の変換係数を推定してもよい。すなわち
、先に述べた補間処理で生成するような復号画像が生成
できるように、復号平均値から変換係数を推定する。そ
して、この変換係数を逆変換して、復号画像を生成する
。この推定方法は、前記参考文献２に詳しく記載されて
いる。

このように変換係数を推定する場合には、補間処理によ
る復号画像の生成処理が不要となる。その代わりに、変
換係数の推定処理が必要となる。

どちらの方法を用いても同様の復号画像を得ることがで
きる。

ところで、送信側の符号化処理や量子化処理によって、
画像信号の微小な変化を示す微小な変換係数は０として
符号化され、受信側の復号変換係数の値は０となる。受
信側の推定処理は、このようにＯとなってしまった復号
変換係数の元の値を推定していることに対応している。

ここで、０として符号化される微小な変換係数の値の範
囲は、送信側の処理の内容により固定である。逆に言え
ば、ある範囲を越えた値の変換係数は０として符号化さ
れないので、復号変換係数もＯとならないはずである。

従って、もし受信側での推定処理で求められた変換係数
の値がこの範囲を越えている場合には、明らかに誤った
推定を行っていることになる。このため、この推定した
変換係数を用いて復号画像を生成すると、かえって元の
画像信号と異なる復号画像を生成してしまう可能性があ
る。

そこで、推定した変換係数にリミッタ処理を施して、こ
の範囲を越えている場合には範囲内の値に制限する。こ
の処理により、誤った復号画像を生成するのを防ぐこと
ができる。

このように、複数の復号変換係数を用いて各ブロックに
補間処理を施すか否かを判定して補間処理を行うことに
より、画素の値の変化が微小なブロックを変化が無い平
坦なブロックとして復号してしまうことを防ぐことがで
き、視覚的に大きな障害となるブロック歪を防止できる
。

なお、これらの処理は受信側での復号化処理のみで実現
できるので、送信側の符号化処理は直交変換および量子
化と可変長符号化という通常の符号化処理で良い。

〔実施例〕

以下、図面により本発明の一実施例を説明する。

第１図は、対向させる画像信号の符号化方式を実施する
符号化装置と第１の発明の復号化方式を実施する復号化
装置とを接続させた一例を示すブロック図である。なお
、以下の説明では直交変換とし′て２次元の離散コサイ
ン変換（ＤＣＴ変換）を用いているが、変換係数のうち
の１つが直流成分となる直交変換であれば、任意の直交
変換を用いることができる。

第１図に示すように、ブロック読み出し手段１はＤＣＴ
変換を行うブロック単位に画像信号１００を読み出す。

例えば、１画素当たり８ｂｉｔの画像信号１００を、縦
８画素、横８画素の計６４画素を１ブロツクとして読み
出す。

次に、ＤＣＴ変換手段２は、読み出された１ブロツク分
の画像信号１０１の２次元離散コサイン変換を行い、ブ
ロックの平均値としての直流成分を含む（８Ｘ８）個の
変換係数１０２を計算する。

こうして計算された変換係数１０２を符号化手段３で符
号化して、符号１０３を出力する。この符号化の際には
、可変長符号化など任意の符号化方法を採ることができ
る。また、量子化処理を行って符号量を減少させること
もできる。以上が第１の発明と対向される送信側の説明
である。

そして受信側の復号化手段４は、符号１０３を入力して
復号平均値としての直流成分を含む（８×８）個の復号
変換係数１０４を生成する。もし符号化の際に量子化処
理を行った場合には、これらの復号変換係数１０４は量
子化誤差を含んでおり、送信側の変換係数１０２と完全
に一致するとは限らないが、量子化誤差が小さければほ
ぼ同一の値となる。

次に、判定手段５は復号変換係数１０４からそのブロッ
クに補間処理を施すか否かの判定処理を行う。例えば、
ブロック内の復号平均値としての直流成分を除＜　（８
Ｘ８−１）個の交流成分に対応する復号変換係数１０４
がすべてＯの場合に、このブロックに補間処理を施すと
判定し、判定結果１０５を出力する。このように交流成
分に対応する復号変換係数１０４がすべて０の場合には
、画素の値の変化が平坦なブロックとして復号され、視
覚的に大きな障害となるブロック歪の原因となる。そこ
で、このブロックには補間処理を施すと判定する。

そして、それ以外のブロックには補間処理を施さないと
判定し、判定結果１０５を出力する。補間処理を施さな
いブロックについては、判定結果１０５を受けた逆ＤＣ
Ｔ変換手段６が、（８Ｘ８）個の復号変換係数１０４を
逆ＤＣＴ変換して、復号画像１０６を生成する。

また、補間処理を施すブロックについては、判定結果１
０５を受けた補間手段７が、そのブロックの復号平均値
と周囲のブロックの復号平均値とを用いて補間処理を施
して、復号画像１０７を生成する。

第２図は補間処理方法を示す説明図である。なお、以下
の説明では補間方法として線形補間を用いているが、２
次曲面による補間方法や自由曲面による補間方法を用い
ることも可能である。

第２図に示すように、補間処理においては各ブロックの
中心において生成される画像の値が復号平均値に等しく
なるものとする。そして、補間処理により各画素の値を
生成する場合には、その画素の周囲の４つの復号平均値
を用いて線形補間により画素の値を生成する。例えば、
第２図に示す中央のブロックの６４画素のうち左上の１
６画素の値は、代表値Ａ、Ｂ、Ｃ，Ｄを線形に補間して
生成１　只 する。同様に、右上、右下、左下の１６画素の値は、そ
れぞれ代表値Ａ、Ｄ、Ｅ、Ｆ、代表値Ａ、Ｆ。

Ｇ、Ｈ１代表値Ａ、Ｈ，Ｉ、Ｂを用いて生成する。

以上のように生成された復号画像１０６と復号画像１０
７を受けて、ブロック書き込み手段８は復号画像信号１
０８をブロック単位に出力する。

第３図は、対向させる画像信号の符号化方式を実施する
符号化装置と第２の発明の復号化方式を実施する復号化
装置とを接続させた一例を示すブロック図である。第１
図と同一の構成要素には同一の参照番号を付して示しで
ある。

第３図に示すように、補間処理を施すブロックについて
は、判定結果１０５を受けた推定手段９が、そのブロッ
クの復号平均値と周囲のブロックの復号平均値とを用い
て、変換係数を推定して推定変換係数１０９を出力する
。

この推定においては、推定変換係数１０９を逆ＤＣＴ変
換して生成される画像が第１の発明における補間処理に
より生成される画像と同様の画像となるように推定を行
う。なお、この方法の詳細は前記参考文献２に詳しく記
載されている。

そして逆ＤＣＴ変換手段６は、推定変換係数１０９が出
力された場合には、この推定変換係数１０９を逆ＤＣＴ
変換し、それ以外の場合には復号変換係数１０４を逆Ｄ
ＣＴ変換して、復号画像１０６を生成する。

以上のように推定処理を行うことにより、補間処理を行
わずに同様の効果を得ることができる。

第４図は、対向させる画像信号の符号化方式を実施する
符号化装置と第３の発明の復号化方式を実施する復号化
装置とを接続させた一例を示すブロック図である。第３
図と同一の構成要素には同一の参照番号を付して示しで
ある。

第４図に示すように、リミッタ手段１０は推定された推
定変換係数１０９にリミッタ処理を施して変換係数１１
０を出力する。

第５図は、リミッタ処理方法を示す説明画である。第５
図に示すように、送信側の変換係数１０２は符号化手段
３の符号化処理における丸め処理や量子化処理により、
変換係数１０２と必ずしも一致するとは限らない復号変
換係数１０４として復号される。特に、第５図に示す範
囲Ｑ内の変換係数１０２は、復号変換係数１０４の値と
しては０となる。

ここで、判定手段５により補間処理を施すと判定された
ブロックにおいては、交流成分に対応する復号変換係数
１０４はすべてＯとなっている。従って、これに対応す
る送信側の変換係数１０２は、第５図に示す範囲Ｑ内の
値のはずである。従って、もし推定手段９で推定された
推定変換係数１０９が、この範Ｔｌ５Ｑ外の値であった
場合には、元の変換係数１０２とは異なる値であること
が明らかであり、誤った推定を行っていることとなる。

こような推定変換係数１０９をそのまま逆ＤＣＴ変換し
て復号画像１０６を求めると、元の画像信号１００とは
異なる画像を復号画像１０６として生成してしまう可能
性がある。

そこで、推定変換係数１０９がこの範囲Ｑ外の値であっ
た場合に、リミッタ手段１０はリミッタ処理を施して、
その推定変換係数１０９の値を範囲Ｑ内の値に制限し、
変換係数１１０として出力する。また、もし推定変換係
数１０９がこの範囲Ｑ内であった場合には、リミッタ手
段１０はその推定変換係数１０９をそのまま変換係数１
１０として出力する。

このように、複数の復号変換係数１０４を用いて各ブロ
ック毎に補間処理を施すか否かを判定して補間処理を行
うことにより、画素の値の変化が微小なブロックを変化
の無い平坦なブロックとして復号してしまうことを防ぐ
ことができ、視覚的に大きな障害となるブロック歪を防
止できる。

また、これらの処理は受信側での復号化処理のみで実現
でき、送信側の符号化処理は直交変換。

量子化および可変長符号化処理という通常の符号化処理
で良く、何ら特殊な処理を必要としない。

なお、以上の説明においてはブロックサイズを８×８と
して説明したが、別のサイズや形状を用いても差し支え
ない。

また、以上の説明においては画像信号として特に規定は
していないが、多値の白黒画像、ＲＧＢの各カラー成分
画像、Ｙ・　（Ｒ−Ｙ）　・　（Ｂ−Ｙ）等の輝度・色
差信号は、すべてこの画像信号の中に含まれる。同様に
、テレビジョン信号等の動画像におけるフレーム間差分
信号においても適用でき、十分な効果を得ることができ
る。このフレーム間差分信号については、参考文献３：
［テレビジョン　バンドウィドス　コンプレッション　
トランスミッション　バイ　モーション　コンペンセイ
ティド　インターフレーム　コーディング（Ｔｅｌｅｖ
ｉｓｉｏｎ　Ｂａｎｄｗｉｄｔｈ　Ｃｏｍｐｒｅｓｓｉ
ｏｎ　Ｔｒａｎｓｍｉｓｓｉｏｎｂｙ　Ｍｏｔｉｏｎ−
ｃｏｍｐｅｎｓａｔｅｄ　Ｉｎｔｅｒｆｒａｍｅ　Ｃｏ
ｄｉｎｇ）Ｊアイ・イー・イー・イー　コミュニケーシ
ョン　マガジン（ＴＥＥＥ　Ｃｏｍｍｕｎｉｃａｔｉｏ
ｎ　Ｍａｇａｚｉｎｅ）誌、１９８２年１１月号、　２
４−３０頁に詳細に述べられている。

〔発明の効果〕

以上述べたように本発明の画像信号の復号化方式を用い
ることにより、復号画像に発生するブロック歪を大幅に
低減でき、必要な処理量も少なくできる。

【図面の簡単な説明】

第１図は対向させる画像信号の符号化方式を実施する符
号化装置と第１の発明の復号化方式を実施する復号化装
置とを接続させた一例を示すブロック図、 第２図は補間処理方法を示す説明図、 第３図は対向させる画像信号の符号化方式を実施する符
号化装置と第２の発明の復号化方式を実施する復号化装
置とを接続させた一例を示すブロック図、 第４図は対向させる画像信号の符号化方式を実施する符
号化装置と第３の発明の復号化方式を実施する復号化装
置とを接続させた一例を示すブロック図、 第５図はリミッタ処理方法を示す説明図である。 １・・・・・ブロック読み出し手段 ２・・・・・ＤＣＴ変換手段 ３・・・・・符号化手段 ４・・・・・復号化手段 ５・・・・・判定手段 ６・・・・・逆ＤＣＴ変換手段 ７・・・・・補間手段 ８・・・・・ブロック書き込み手段 ９・・・・・推定手段 １０・・・・・リミッタ手段

Claims (3)

【特許請求の範囲】
1. （１）複数の画素からなるブロック単位に画像信号を分
   割し、変換係数のうちの１つが前記ブロックの平均値と
   なる直交変換を前記画像信号の前記ブロック単位に施し
   て複数の変換係数を求め、前記変換係数を符号化するこ
   とにより生成された符号を復号して画像信号を再生する
   画像信号の復号化方式であって、 前記符号を入力して複数の復号変換係数を生成し、 前記の複数の復号変換係数を用いて前記ブロック毎に補
   間処理を施すか否かの判定を行い、前記補間処理を施さ
   ないブロックは前記の複数の復号変換係数を逆直交変換
   して前記ブロックの復号画像を生成し、 前記補間処理を施すブロックは復号された前記平均値と
   周囲のブロックの復号された前記平均値とを用いて補間
   処理を施して前記ブロックの復号画像を生成する画像信
   号の復号化方式。
2. （２）複数の画素からなるブロック単位に画像信号を分
   割し、変換係数のうちの１つが前記ブロックの平均値と
   なる直交変換を前記画像信号の前記ブロック単位に施し
   て複数の変換係数を求め、前記変換係数を符号化するこ
   とにより生成された符号を復号して画像信号を再生する
   画像信号の復号化方式であって、 前記符号を入力して複数の復号変換係数を生成し、 前記の複数の復号変換係数を用いて前記ブロック毎に補
   間処理を施すか否かの判定を行い、前記補間処理を施さ
   ないブロックは前記の複数の復号変換係数を逆直交変換
   して前記ブロックの復号画像を生成し、 前記補間処理を施すブロックは復号された前記平均値と
   周囲のブロックの復号された前記平均値とを用いて前記
   ブロックの複数の変換係数を推定し、 推定された複数の変換係数を逆直交変換して前記ブロッ
   クの復号画像を生成する画像信号の復号化方式。
3. （３）複数の画素からなるブロック単位に画像信号を分
   割し、変換係数のうちの１つが前記ブロックの平均値と
   なる直交変換を前記画像信号の前記ブロック単位に施し
   て複数の変換係数を求め、前記変換係数を符号化するこ
   とにより生成された符号を復号して画像信号を再生する
   画像信号の復号化方式であって、 前記符号を入力して複数の復号変換係数を生成し、 前記の複数の復号変換係数を用いて前記ブロック毎に補
   間処理を施すか否かの判定を行い、前記補間処理を施さ
   ないブロックは前記の複数の復号変換係数を逆直交変換
   して前記ブロックの復号画像を生成し、 前記補間処理を施すブロックは復号された前記平均値と
   周囲のブロックの復号された前記平均値とを用いて前記
   ブロックの複数の変換係数を推定し、 推定された複数の変換係数にあらかじめ定められた値に
   よるリミッタ処理を施してから逆直交変換して前記ブロ
   ックの復号画像を生成する画像信号の復号化方式。