JPH03124182A - セル廃棄補償画像復号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　　要〕 複数の画素をブロックとして入力画像データを符号化し
、セル単位で伝送する画像データ伝送システムにおいて
、セル廃棄が起こった場合のセル廃棄補償画像復号化方
式に関し、 セル廃棄のあったブロックの前のフレーム内の該当する
ブロック内のデータの交流成分を０にクリアしてそのデ
ータを出力することにより、セル廃棄の前の模様を消す
ことを目的とし、複数の画素をブロックとして入力画像
データを直交変換し、該直交変換係数領域の係数を符号
化してセル単位で伝送し、受信側に受信データを逆直交
変換して画像データを出力する逆直交変換部を有する画
像データ伝送システムにおいて、該画像データ伝送シス
テムの受信側に、セル廃棄の有無を検出し、廃棄のあっ
た時には該廃棄セルに対応するブロックを含むフレーム
より時間的に１枚前のフレーム内で該ブロックに対応す
るブロックの係数領域の復号化後のデータを、交流成分
を表す全ての係数を０クリアして逆直交変換部）に出力
し、セル廃棄のない時には復号化後の入力をそのまま逆
直交変換部に出力する廃棄補償手段を有するように構成
する。

〔産業上の利用分野〕 本発明は画像データの伝送方式に係り、さらに詳しくは
複数の画素をブロックとして入力画像データを符号化し
、セル単位で伝送する画像データ伝送システムにおいて
、セル廃棄が起こった場合のセル廃棄補償画像復号化方
式に関する。

〔従来の技術〕

最近画像機器のディジタル化、画像ディジタル信号の伝
送方式などが、テレビ電話など多くの応用分野で広く開
発、研究されている。一般に画像データはその情報量が
非常に多い。例えば現在のテレビをそのままディジタル
化すると１００Ｍｂ／Ｓの伝送容量が必要であり、画像
データは音声の１５００倍の情報量を持っている。テレ
ビでは１秒間に画面が３０回切替わり、１／３０秒でフ
レームが切換えられる。１枚のフレームに対応する１画
面上に画素は一般的に２次元的に配置されており、１画
素のレベルを例えば８ビツトで表すとしても、１フレー
ムに対する画像データは非常にその情報量が多くなる。

しかしながらテレビで１７３０秒でフレームが切換えら
れる場合にも、各フレームの絵の内容はあまり大きく変
化しないことが多い。すなわち画像は空や背景などのよ
うに全体的に止まっている部分が多く、フレーム毎に変
化する部分が少ない。

そこで画像データを圧縮して符号化する１つの方式とし
てフレーム間符号化方式がある。

フレーム間符号化方式では時間的に連続する２つのフレ
ームの間で例えば対応する画素毎に、レベルデータの差
がとられ、その差が例えばハフマン符号化されて伝送路
上に送出される。大部分の画素に対するレベルが変化し
ないとすると、それらの画素に対する差は０となり、そ
の差は１ビツトで表すことができる。レベル差の大きい
画素に対する符号は８ビツト以上必要となるが、これら
の差分だけを符号化することにより、結果として伝送す
べき情報量が大きく圧縮されることになる。

これに対して１フレーム内のデータをそのまま符号化す
る方式はフレーム内符号化方式と呼ばれる。

フレーム間符号化、フレーム内符号化のいずれを用いる
としても、画像信号のディジタル表現には標本化および
量子化の２つの操作が基本的に必要になる。画像の標本
化には２つの方法があり、その第１は画像をフレーム内
の画素に対応する離散的な点記列に対するレベル値で表
すことである。

第２の方法はフレーム面に対応するＸＹ平面で定義され
たレベル値関数（画像関数）を正規直交展開し、その展
開係数を標本値とすることである。

第１０図は第２の方式である正規直交変換を用いた画像
伝送システムの全体ブロック図である。

第１０図において入力画像は１でブロック化され、２で
直交変換された後、３で量子化され、４で例えばハフマ
ン符号化されて送り側から伝送路５に送り出される。そ
して受信側では伝送路５からの信号を６で復号化し、７
で逆直交変換し、８で逆ブロック化して画像データとし
て出力する。ここで１のブロック化は２次元のＫＸＫ個
（１画面分）の画素のデータを−まとめにして直交変換
するのでなく、４×４〜１６Ｘ１６個程度の画素を１ブ
ロックとしてブロック単位に変換係数を求めることによ
り、変換時間を短縮するために行われる。

２の直交変換の種類としては、例えばアダマール変換、
コサイン変換、カルーネン・レーベ変換などがあるが、
近年ではコサイン変換の離散表現であり、後述するディ
スクリートコサイン変換（ＤＣＴ）がよく用いられてい
る。

第１０図で用いられている直交変換符号化方式では画面
内の小領域の相関が着目され、小領域の画素を数値列と
して直交変換が行われる。その結果得られる変換係数は
周波数成分に相当し、低周波゛から高周波までの各成分
を表している。画像信号では一般に低周波成分が電力的
に太き（高周波成分は電力的に小さいため、低周波成分
には多くのビット数、高周波成分には少ないビット数を
割当てる量子化を行うことにより、伝送すべき情報量が
削減される。

第１１図は４×４個の画素によって構成される１ブロツ
ク内の画像データに直交変換を施した後の変換係数領域
を示す図である。この変換係数領域において、一般に最
も左上のＭ域９は信号の直流成分を表し、またその他の
領域の係数は全て交流成分を表している。交流成分はそ
れぞれ低周波から高周波までの各周波数に対応し、右下
方向にいくほどその周波数は高くなる。

〔発明が解決しようとする課題〕

以上のように複数の画素をブロックとしてブロック単位
で符号化を行い画像データを伝送する場合には、その符
号化方式がフレーム内かフレーム間か、また直交変換係
数領域か画素領域かにかかわらず、画像データは伝送路
上で、例えばセルと呼ばれる宛先などを示すヘッダが付
加された数バイトの固定長パケットによって伝送される
。

このようにヘッダが付加されたセルがネットワーク内で
伝送される時、ヘッダエラーやセルが増加してネットワ
ークの処理能力を越えるような場合にはセルの廃棄が起
こり、受信部において画像が劣化するという問題点があ
った。？！ｉ数の画素を１つのブロックとして符号化す
るブロック符号化方式において、従来はセル廃棄がある
と廃棄されたブロックの画像データとして現在のフレー
ムより１枚前のフレーム内の該当するブロックのデータ
がそのまま用いられていたために、セル廃棄の前のフレ
ームの輪郭等がそのまま残ってしまうという問題点があ
った。

例えば、前のフレーム内の対応するブロックにおける複
数画素のうちの半分が黒、半分が白でブロック内の模様
が形成されていたとし、次のフレーム内の複数画素の全
てが白に変わる場合を考えると、セル廃棄が起こった場
合には前のフレームのブロックのデータがそのまま用い
られるためにセル廃棄の前の模様がそのまま残ってしま
うことになる。

本発明は、セル廃棄のあったブロックの前のフレーム内
の該当するブロック内のデータの交流成分を０にクリア
してそのデータを出力することにより、セル廃棄の前の
模様を消すことを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。同図は複数の
画素をブロックとして、入力画像データを符号化してセ
ル単位で伝送する画像データ伝送システムにおける受信
側の構成を示すブロック図である。第１図Ｃａ＞は入力
画像データを直交変換し、直交変換係数領域の係数を符
号化して伝送する場合に対応する第１の発明の原理ブロ
ック図である。同図において、受信側には伝送路１４か
ら受信される信号を復号化する復号化部１５、および直
交変換された係数領域の係数データを画素領域のデータ
に逆変換する逆直交変換部１１がある。

復号化部１５内の廃棄補償手段１２は、例えば復号器に
よって復号され、送信側における量子化器によって量子
化された信号から元の形式の信号に戻された受信画像デ
ータを用いて、例えば伝送路中におけるセル廃棄の有無
を検出し、セル廃棄があった時にはその廃棄セルに対応
するブロックを含むフレームの前のフレーム内でそのブ
ロックに対応するブロックの係数領域のデータを、交流
成分を表す全ての係数を０クリアして、すなわち直流成
分の係数をそのままに、他の係数を全てＯとして逆直交
変換部１１に出力する。

第１図（ｂ）は第２の発明、すなわち画素領域における
符号化を用いた場合のセル廃棄補償画像復号化方式の原
理ブロック図である。同図において、伝送路１４から受
信されたデータは復号化部１５を経由して画像データと
して出力される。復号化部１５内の廃棄補償手段１３は
、第１の発明におけると同様に例えば伝送路１４から入
力し、復号化され、送信側での量子化前の形式に戻され
たデータを用いてセル廃棄の有無を検出し、セル廃棄が
あった時にはそのセルに対応するブロック単位むフレー
ムより前のフレーム内でそのブロックに対応するブロッ
クを構成する全ての画素に対するデータの平均値を求め
、そのブロックを構成する全ての画素に対するデータを
その平均値で置き換えて画像データとして出力し、セル
廃棄がない時には量子化以前の形式に戻された入力デー
タをそのまま画像データとして出力する。

〔作　　　　用〕

本発明においては、複数の画素をブロックとしてブロッ
ク単位で符号化された画像データが、例えばセルの形式
で伝送される画像データ伝送システムにおけるセル廃棄
時の受信側における補償が行われる。第１図（ａ）の第
１の発明においては、直交変換係数領域における補償を
対象とし、セル廃棄によりそのデータが全く受信できな
いブロックに対しては、その前のフレーム内の該当する
ブロックにおける直流成分、すなわち係数領域の最も左
上の係数のみがそのままで、交流成分、すなわち他の全
ての係数がＯとされて、これらの係数が廃棄されたブロ
ックのデータとして逆直交変換部１１に出力される。

また第１図（ｂ）の第２の発明においては、画素領域に
おける補償が対象となる。セル廃棄によりその内容が全
く不明となったブロックの前のフレーム内の該当するブ
ロック内の全ての画素のデータが平均され、その平均値
が廃棄されたブロックの全ての画素のデータとして用い
られ、それが画像データとして出力される。すなわち画
素領域における出力データはそのブロックについては全
て一定となる。

以上のように本発明によれば、セル廃棄によってそのデ
ータが全く不明となったブロックに対しては、そのブロ
ックを含むフレームの前のフレーム内で対応するブロッ
クにおける直流成分、すなわち平均値のみがそのブロッ
クを構成する全ての画素に対して出力されることになり
、そのブロック内は模様がなく、−様な色で表示画面上
に表示されることになる。

〔実　　施　　例〕

第２図は係数Ｎ城における本発明の実施例Φ概念を示し
ている。同図（ａ）は、伝送路からの入力データが受信
側では１６で復号化され、１７で逆直交変換されて画像
データとして出力されることを示している。同図（ｂ）
はセルの廃棄がなか場合、すなわち通常の復号化処理後
の係数領域の例を示しており、ここでは簡単のために２
×２の係数領域が示されている。ここで最も左上の係数
が直流分を、他の全ての係数は交流分を表す。同図（ｃ
）はセル廃棄が起こった時の復号化処理後の係数領域を
示し、本発明においては１枚前のフレーム内の対応する
ブロックの直流分（ｄｃ’で示す）のみがそのままとさ
れ、全ての交流分はＯにクリアされる。

第３図は画素領域における本発明の実施例の概念を説明
するものである。同図（ａ）は、伝送路からの受信部へ
の入力データが１８で復号化され画像データとして出力
されることを示している。

同図（ｂ）はセル廃棄が起こらなかった場合の通常の復
号化処理後の画素領域を示し、各画素に対するデータ、
例えば濃度データなどがそのまま出力されている。同図
（ｃ）はセル廃棄が起こった場合の復号化処理後の画素
領域を示し、１つ前のフレーム内の該当するブロックの
画素領域のデータ（ダッシュで示す）を平均した値がブ
ロック内の全ての画素のデータとして出力されることを
示している。

第４図は係数領域における画像データ伝送システムの実
施例の全体構成ブロック図である。同図において、送信
側は入力画像データを直交変換の一種であるディスクリ
ートコサイン変換（ＤＣＴ）するＤＣＴ部２０ＳＤＣＴ
部２０の出力■Ｓとフレームメモリ２１に格納されてい
る１つ前のフレーム内の対応するブロックデータ■Ｓと
の差をとる減算器２２、減算器２２の出力■Ｓを量子化
する量子化器２３、量子化器２３の出力を再び量子化前
の形式■Ｓに戻す逆量子化器２４、逆量子化器２４の出
力■Ｓとフレームメモリ２１の出力である前のフレーム
内のブロックデータ■Ｓとを加算する加算器２５、加算
器２５の出力■Ｓにリーク係数αをかけフレームメモリ
２１に出力するリーク係数乗算器２６から成る。

また受信側は、伝送路を経由して入力される、信号■Ｓ
が量子化された入力データを再び元の形式■Ｒに戻す逆
量子化器２７、その出力■Ｒとフレームメモリ２８に格
納されている前のフレーム内のブロックデータ■Ｒとの
和をとる加算器２９、第１図の廃棄補償手段１２に相当
する廃棄補償部（Ａ）３０、廃棄補償部（Ａ）３０の出
力■Ｒに対して逆デイスクリートコサイン変換を施し画
素領域の画像データを出力する逆ＤＣＴ部３１、および
廃棄補償部（Ａ）３０の出力■Ｒにリーク係数αをかけ
てフレームメモリ２８に出力するリーク係数乗算器３２
から成る。

ここでディスクリートコサイン変換（ＤＣＴ）はコサイ
ン関数から作られた変換行列を用いるものであり、演算
に乗算器が必要で高速演算に難点があったが、高速の信
号処理プロセッサの開発に伴い、静止画伝送やテレビ会
議信号などの準動画伝送に盛んに使われるようになって
いる。

第４図はフレーム間符号化方式を用いた本発明の実施例
であり、例えば送信側では現在送信すべきフレーム内の
ブロックデータ■Ｓと前に送信されたフレーム内のブロ
ックデータ■Ｓとの差、すなわちフレーム間差分が■Ｓ
とされ、それが量子化されて例えばハフマン符号化され
、伝送路上に出力される。受信側では伝送路から差分■
Ｒを受けとり、前のフレーム内のブロックデータ■Ｒと
の和をとることによって現在のフレーム内のブロックデ
ータ■Ｒを得ることになる。そして送信側では差分■Ｓ
と前のフレーム内のブロックデータ■Ｓとの和が加算器
２５によってとられ、リーク係数αが乗じられた後に、
フレームメモリ２１に次のフレームに対するフレーム間
差分を求めるために格納される。受信部においても、同
様に現在のブロックデータ■Ｒにリーク係数αが乗じら
れた後、フレームメモリ２８に格納される。

リーク係数αは例えばセル廃棄が起こってもその影響を
短時間のうちに減衰させるためのものである。例えば受
信側において差分Ｄ１が入力し、フレームメモリ２８に
格納されているその前のフレームのブロックデータＦＭ
、との和がとられ、その和（ＤＢ　　＋ＦＭａ　）に対
してリーク係数αが乗じられ、次式で表される現在のフ
レームに対するブロックデータがフレームメモリ２８の
内容ＦＭ１になったものとする。

ＦＭＩ　＝　（ＤＩ　＋ＦＭ＋　）α ＝Ｄ、α十ＦＭＯα 続いて次のフレーム間のブロックデータである差分Ｄ２
が伝送路から入力されるとフレームメモリ２８の内容は
次式となる。

Ｆ　Ｍｚ　＝　（Ｄｚ　＋　Ｆ　Ｍｌ　）α＝　０２　
ｔｘ　＋　ｌ）、α”＋ＦＭ６α２さらに次のフレーム
間のブロックデータＤ３が入力されるとフレームメモリ
２８の内容は次式で与えられる。

ＦＭ２　＝　（Ｄｓ　＋Ｆ’Ｍｚ　）　　α＝Ｄ２　ａ
＋Ｄｚ　α”　　＋１）、ａ”＋ＦＭＯα３ このように例えばセル廃棄が起こった場合の予測誤差Ｄ
＋の画像全体への影響は、ｎフレームの入力後にはα７
に減衰する。そこでαを１より小さくとることにより、
短時間のうちにその影響をほぼ０にすることができる。

第５図は第４図の画像データ伝送システムにおける係数
領域の係数データの実施例である。同図において（ａ）
は送信側における係数データを示し、現在のフレーム内
のブロックデータ■Ｓから前のフレーム内のブロックデ
ータ■Ｓを引いたものがフレーム間信号として符号化さ
れるブロックデータ■Ｓを示している。同図（ｂ）は受
信側におけるフレーム廃棄が起こった場合のブロックデ
ータを示し、受信データ■Ｒは全く不明である。

この場合には廃棄補償部（Ａ）３０によって前のフレー
ム内のブロックデータ■Ｒの係数のうちの直流成分のみ
が残され、他の係数、すなわち全ての交流成分は０とさ
れて、現フレームに対するブロックデータ■Ｒとして逆
ＤＣＴ部３１に出力される。同図（Ｃ）は本発明を用い
ない場合の従来の受信側の処理を示し、前のフレーム内
のブロックデータ■Ｒがそのまま現在のフレーム内ブロ
ックデータ■Ｒとして逆ＤＣＴ部３１に出力される。

第６図は画素領域における画像データ伝送システムの実
施例の全体構成ブロック図である。同図を係数領域にお
ける第４図と比較すると、直交変換としてディスクリー
トコサイン変換を行うＤＣＴ部２０と、逆直交変換を行
う逆ＤＣＴ部３１とがない以外は全く第４図における構
成と同じである。その・作用も画素データそのもの、例
えば画素濃度データを直交変換することなく画素領域で
そのまま符号化する以外には、第４図におけると全く同
様である。

第７図は第６図の画素領域における画像データ伝送シス
テム内のブロックデータの実施例である。

同図の意味は各データが画素領域における各画素のデー
タそのものである点を除いては第５図におけると全く同
様である。同図（ａ）は送信側のデータであり、同図（
ｂ）は本発明の処理を示し、セル廃棄が起こって現フレ
ーム内のブロックデータ■Ｒが不明である時に、前のフ
レーム内のブロックデータ■Ｒ内の全ての画素に対する
データの平均値がとられ、その平均値が現フレームのブ
ロックデータ■Ｒの全ての画素に対するデータとされる
。これに対して従来の処理を示す同図（Ｃ）では、前の
フレーム内のブロックデータ■Ｒがそのまま現フレーム
内のブロックデータ■Ｒとして用いられている。例えば
データ０が黒を、データ２５５が白を表すものとすると
、本発明においては半分ば黒、半分が白という模様の代
わりに、それらを平均したデータ１２７に対する色、例
えば灰色が廃棄されたブロックに対して出力されること
になる。

第８図は第４図における受信側の廃棄補償部（Ａ）３０
の処理の実施例を示すフローチャートである。同図で処
理がスタートすると、まずステップ３４でセル廃棄が起
こったか否かが判定され、セル廃棄が起こった場合には
ステップ３５で前のフレーム内の対応するブロックの係
数領域内の交流係数が全てＯクリアされて処理を終わり
、またステップ３４でセル廃棄がない場合には加算器２
９の出力としての現フレーム内のブロックデータ■Ｒを
そのまま出力するために処理を終了する。

第９図は第６図における廃棄補償部（Ｂ）３３の処理実
施例のフローチャートである。同図において処理がスタ
ートすると、まずステップ３６でセル廃棄が起こったか
否かが判定される。セル廃棄が起こった場合にはステッ
プ３７で前のフレームの対応するブロックの画素領域の
データから直流成分が分離１．すなわちブロック内の全
画素に対するデータの平均値がとられ、ステップ３８で
交流成分が０クリア、すなわち各画素のデータとして平
均値が割当てられて処理が終了する。ステップ３６でセ
ル廃棄がないと判定された場合には、加算器２９からの
入力に対して何ら処理を施すことなく、入力データをそ
のまま出力する。

なお、以上においては画素数が２×２の領域を例にとり
、また符号化方式としてフレーム間符号化をとって実施
例を説明したが、ブロックの画素数が２×２に限定され
ないことは当然であり、また符号化の方式もフレーム間
符号化に限らずフレーム内符号化であってもよいことは
当然である。

〔発明の効果〕

以上詳細に説明したように、本発明によればセル廃棄が
起こっても前のフレーム内のブロックの模様がそのまま
残されることなく−様な色で表現されるため、セル廃棄
の画質への影響を低減することができる。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、 第２図は係数領域における本発明の実施例の概念を示す
図、 第３図は画素領域における本発明の実施例の概念を示す
図、 第４図は係数領域における画像データ伝送システムの実
施例の全体構成を示すブロック図、第５図は第４図の画
像データ伝送システムにおけるブロックデータの実施例
を示す図、第６図は画素領域における画像データ伝送シ
ステムの実施例の全体構成を示すブロック図、第７図は
第６図の画像データの伝送システムにおけるブロックデ
ータの実施例を示す図、第８図は廃棄補償部（Ａ）の処
理実施例のフローチャート、 第９図は廃棄補償部（Ｂ）の処理実施例のフローチャー
ト、 第１０図は正規直交変換を用いる画像データ伝送システ
ムの全体構成を示すブロック図、第１１図は画像データ
の直交変換後の変換係数領域を示す図である。 ２０・・・ディスクリートコサイン変換（ＤＣＴ）部、 ２１．２８・・・フレームメモリ、 ２２・・・減算器、 ２５．２９・・・加算器、 ２６．３２・・・リーク係数（α）乗算器、３０・・・
廃棄補償部（Ａ）、 ３１・・・逆デイスクリートコサイン変換（ＤＣＴ）部
、 ３３・・・廃棄補償部（Ｂ）。

Claims (1)

1. 【特許請求の範囲】 １）複数の画素をブロックとして入力画像データを直交
   変換し、該直交変換係数領域の係数を符号化してセル単
   位で伝送し、受信側に受信データを逆直交変換して画像
   データを出力する逆直交変換部（１１）を有する画像デ
   ータ伝送システムにおいて、 該画像データ伝送システムの受信側に、セル廃棄の有無
   を検出し、廃棄のあった時には該廃棄セルに対応するブ
   ロックを含むフレームより時間的に１枚前のフレーム内
   で該ブロックに対応するブロックの係数領域の復号化後
   のデータを、交流成分を表す全ての係数を０クリアして
   逆直交変換部（１１）に出力し、セル廃棄のない時には
   復号化後の入力をそのまま逆直交変換部（１１）に出力
   する廃棄補償手段（１２）を有することを特徴とするセ
   ル廃棄補償画像復号化方式。 ２）複数の画素をブロックとして画素領域で入力画像デ
   ータを符号化し、セル単位で伝送する画像データ伝送シ
   ステムにおいて、 該画像データ伝送システムの受信側にセル廃棄の有無を
   検出し、廃棄のあった時には該廃棄セルに対応するブロ
   ックを含むフレームより時間的に１枚前のフレーム内で
   、該ブロックに対応するブロックを構成する全ての画素
   に対する復号化後のデータの平均値を求め該ブロックを
   構成する全ての画素に対するデータを該平均値で置換え
   て出力し、セル廃棄のない時には復号化後の入力をその
   まま出力する廃棄補償手段（１３）を有することを特徴
   とするセル廃棄補償画像復号化方式。