JPH0832046B2

JPH0832046B2 - 可変レート画像階層符号化方法

Info

Publication number: JPH0832046B2
Application number: JP25139188A
Authority: JP
Inventors: 林　　泰仁; 克利真鍋; 文郎岸野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1988-10-05
Filing date: 1988-10-05
Publication date: 1996-03-27
Anticipated expiration: 2011-03-27
Also published as: JPH0298292A

Description

【発明の詳細な説明】「産業上の利用分野」この発明は、高速パケット網を利用する可変レート画
像符号化方式において、網輻輳によりパケットが廃棄さ
れても、画質の劣化を少なくする階層符号化方法に関す
るものである。

「従来の技術」第４図は、高速パケット網等の伝送速度を可変にでき
る通信網を対象とする可変レート画像符号化方式の送信
側を示す図であって、入力された動画像信号は、減算器
101でフレームメモリ102に蓄えられた前フレームの信号
から減算され、これらの差分信号のみが符号化部103で
直交変換符号化、ベクトル量子化等の符号化方式により
冗長度が抑圧される。符号化部103で符号化された情報
は、復号化部104で復号化され、加算器105でフレームメ
モリ102から読み出した前フレームの信号と加算し、こ
の信号をフレームメモリ102に書き込む。このようにし
て、フレームメモリ102は最新の情報に更新される。符
号化部103で符号化された情報は、パケット送出部106へ
も送出され、数ブロック単位で、高速パケット網に適し
たフォーマットに変換され、送出される。

この場合、高速パケット網が理想的に情報発生量の多
少に拘わらず、短時間の遅延で符号化情報を伝達できれ
ば、画像品質は一定となる。しかし、網輻輳によるパケ
ット廃棄が発生すると、隣接するフレーム間の差信号を
符号化しているため、廃棄以後の画像は正確には再生さ
れない。これを避けるため、廃棄されたパケットを再送
することが考えられるが、遅延時間が大きくなり、実時
間性に欠け、また網輻輳が更に大きくなるという欠点が
あった。

この欠点を解決するために、画像フレーム内でブロッ
ク化を行い、そのブロック内で画品質に対する影響が大
きい部分（以下MSP:Most Significant Parts）と影響が
小さい部分（以下LSP:Least Significant Parts）とに
階層化し、数ブロック分のMSPおよびLSPを集め、MSPの
みからなるパケット、LSPのみからなるパケットを構成
し、伝送時には、MSPからなるパケットには廃棄不可識
別子を、LSPからなるパケットには廃棄可識別子を付加
し、網輻輳時には、廃棄可識別子の付加されたLSPから
なるパケットから廃棄する可変レート画像符号化方式
（特願昭63-165215）が提案されている。この方式を説
明する、直交変換階層符号化例では、MSPとLSPの階層化
にあたって、直交変換係数をジグザグにスキャンし、符
号化情報量を求め、一律に予め設定された値（例えば、
ブロック当りの総符号量の75％）までの係数はMSPに、
それ以外の係数はLSPに割り当てるが、動きの激しいブ
ロックのLSPを含むパケットが網輻輳により廃棄された
場合には、復号化の際、MSP分の符号量では劣化の無い
画像を復元できない事態が生じることがある一方で、動
きの小さなブロックのMSPには過多の符号量を割り当て
られるため、かなりの冗長性を持つ場合があるという問
題点がある。

この発明の目的は、動画像信号を高速パケット網で伝
達する場合に問題となる網輻輳によるパケット廃棄が画
質に及ぼす影響を抑える可変レート画像階層符号化方法
を提供することにある。

「課題を解決するための手段」この発明は、隣接フレーム間の差信号を直交変換符号
化した情報を、再生画質に与える影響が大きいもの（MS
P）と、影響が小さいもの（LSP）とに階層化し、伝送時
に、数ブロック分のMSPおよびLSPを集め、MSPのみから
なるパケット、LSPのみからなるパケットを構成し、MSP
からなるパケットには網輻輳時でも廃棄してはいけない
ことを示す廃棄不可識別子を付加し、LSPからなるパケ
ットには網輻輳時には廃棄してもよいことを示す廃棄可
識別子を付加し、網輻輳時は、廃棄可識別子の付加され
たLSPからなるパケットのみを廃棄する直交変換階層符
号化伝送において、階層化にあたり、直交変換ブロック
ごとにブロック内電力を測定し、そのブロック内電力を
予め定められたブロック内電力しきい値と比較し、しき
い値以上のブロック内電力を持つブロックでは、MSPに
割り当てる符号量のブロック内総符号量に対する比を大
きくし、しきい値未満のブロック内電力を持つブロック
では、MSPに割り当てる符号量のブロック内総符号量に
対する比を小さくする適応的な直交変換階層符号化を主
な特徴とする技術であって、MSPに割り当てるブロック
内符号量比率を一律に定めていたために、網輻輳による
LSPからなるパケットの廃棄時に、ブロック内電力の大
きいブロックの伝送符号量が不足する、あるいはブロッ
ク内電力の小さいブロックの伝送符号量が過多になる可
能性が大きい従来の直交変換階層符号化方法とは大きく
異なる。

「実施例」第１図（ａ），（ｂ）は、それぞれ、この発明を適用
する直交変換階層符号化伝送方法の送信部、受信部のブ
ロック図であって、減算器201、フレームメモリ202、直
交変換符号器203、階層化部204、直交変換復号器205、
加算器206、パケット送出部207、パケット受信部208、
直交変換復号器209,210、フレームメモリ211、加算器21
2,213とよりなる。

入力された画像信号は、減算器201においてフレーム
メモリ202に蓄えられた前フレームの信号から減算さ
れ、差分信号が直交変換符号器203へ送出される。直交
変換符号器203で符号化された画像信号は、階層化部204
において、画質に対する影響が大きい部分（MSP）と画
質に対する影響が小さな部分（LSP）とに階層化され、M
SPのみが直交変換復号器205に送出され、直交変換復号
器205において復号化された画像信号とフレームメモリ2
02の出力とが加算器206において加算され、その信号は
最新の情報としてフレームメモリ202に蓄えられる。一
方、階層化部204において階層化されたMSP,LSPは、パケ
ット送出部207に送出され、パケット送出部207におい
て、MSPからなるパケットには廃棄不可識別子を、LSPか
らなるパケットには廃棄可識別子を付加して、高速パケ
ット網へ送出される。

受信側では、高速パケット網より受信したパケットを
パケット受信部208において、MSP,LSPの識別を行い、MS
P,LSPをそれぞれ直交変換復号器209,210に送出する。直
交変換復号器209により復号化された信号は、フレーム
メモリ211に蓄えられた信号と加算器212において加算さ
れ、その信号を最新の情報としてフレームメモリ211に
蓄積する。一方、前記信号は加算器213に送出され、直
交変換復号器210において廃棄されずに到達したLSPが復
号化された信号と加算され、動画像信号が復元される。

以下、この発明について、階層化のためのブロック内
電力しきい値を２つとした場合を例に、第２図，第３図
により詳細に説明する。

第３図（ａ）は、直交変換符号化後の１ブロックの符
号化係数の走査法を表したものであり、図中、１ブロッ
クを８×８画素としているが、この発明は、16×16画素
等他のブロック分割方式にも適応可能である。第１図中
の階層化部204において、MSPとLSPに階層化するに際し
て、８×８の直交変換係数を左上方部からMSPに割り当
てると良いことが知られており、この実施例では、第３
図（ａ）の矢印で示す順に走査する例を示すが、左上方
部から走査を行うこと以外、必ずしも第３図（ａ）の順
によらない。

第２図は、第１図中の階層化部204を詳細に示したブ
ロック図であり、ブロック内電力しきい値入力装置40
1、MSP符号量割合入力装置402、ブロック内電力測定回
路403、ブロック内総符号量測定回路404、階層化回路40
5とよりなる。伝送に先立って、ブロック内電力しきい
値入力装置401、MSP符号量割合入力装置402により、階
層化のためのブロック内電力しきい値pth1、pth2および
MSP符号量割合n1（％）、n2（％）、n3（％）を入力、
設定する。

階層化にあたり、まず、ブロック内電力測定装置40
3、ブロック内総符号量測定回路404により各ブロックの
ブロック内電力ｐおよびブロック内総符号量ｃを計算す
る。次に、ブロック内電力ｐと予め設けられた２つのブ
ロック内電力しきい値pth1およびpth2（pth1＜pth2）と
比較し、ブロック内電力ｐの値が（ｐ≦pth1）の場合
は、ブロック内総符号量ｃのn1％がMPSのブロック内符
号量となるようにMSPに割り当てる直交変換係数の数を
決定し、残りの係数をLSPに割り当てる。（第３図
（ｂ））。

以下同様に、ブロック内電力ｐが（pth1＜ｐ≦pth
2）、（pth2＜ｐ）の場合には、それぞれ、第３図
（ｃ），（ｂ）に示すとおり、ブロック内総符号量ｃの
n2％,n3％がMSPのブロック内符号量となるようにMSPに
割り当てる直交変換係数の数を決定し、残りの係数をLS
Pに割り当てる。（ただし、n1＜n2＜n3）また、例えば、予めブロック内電力ｐの分布を測定
し、しきい値pth1、pth2を、（ｐ≦pth1）となる確率と
（pth2＜ｐ）となる確率がおよそ等しくなるように決定
し、n1、n2、n3を n2＝（n1＋n3）/2 のように定めると、MSPの伝送符号量は、MSPの符号量を
一律にn2％で伝送した場合の伝送符号量におよそ等しく
なるが、LSPの廃棄が生じた場合の画質については、MSP
の符号量を一律にn2％で伝送した場合に比べ、ブロック
内電力ｐの大きいブロックの画質が改善される分だけ向
上する。（ブロック内電力ｐが小さいブロックについて
は冗長性がなくなるだけで、画質の劣化は無い。）この実施例においては、ブロック内電力しきい値の値
を２つとしたが、しきい値を１つとした階層化法、しき
い値を３つ以上設ける階層化法についても同様の技術に
より実現できることは明らかである。

「発明の効果」以上説明したように、直交変換された動画像信号を階
層化する際に、ブロック内電力にしきい値を設け、ブロ
ック内電力ｐをブロック内電力しきい値と比較して、
（MSPに割り当てるブロック内符号量／ブロック内総符
号量）を適応的に変えることにより、LSPパケットが廃
棄された場合に、ブロック内電力の大きいブロックにお
いては、伝送符号量を増加させ、画質の向上が図れる一
方、ブロック内電力の小さいブロックにおいては、冗長
性をなくすことができるため、ブロック内電力しきい値
およびブロック内符号量比率を適当な値に定めることに
より、従来のMSPに割り当てるブロック内符号量の割合
を一律にした場合に比較して、同程度の符号量で、画質
の改善が図れるという利点がある。

【図面の簡単な説明】

第１図は、この発明による直交変換階層符号化方法の実
施例を示すブロック図、第２図は第１図中の階層化部20
4の具体例を示すブロック図、第３図はこの発明を説明
する一ブロック中の直交変換係数の階層化法を示した
図、第４図は従来の可変レート符号化方式を示すブロッ
ク図である。 301:ブロック内総符号量のn1％を含む直交変換係数領域 302:ブロック内総符号量のn2％を含む直交変換係数領域 303:ブロック内総符号量のn3％を含む直交変換係数領域

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭63−73786（ＪＰ，Ａ) ＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳＯＮＣＯＭＭＵＮＩＣＡＴＩＯＮＳＣＯＭ25〔11〕Ｐ．1285−1292

Claims

【特許請求の範囲】

【請求項１】動画像信号のフレーム間差分信号を直交変
換し、ブロック単位に符号化し、その符号化情報をそれ
が再生画質に及ぼす影響の大きいものと小さいものに階
層化し、その各階層化されたものごとに、数ブロック分
を一つのパケットにまとめ、再生画質に対する影響の大
きいもののみからなるパケットには網輻輳時でも廃棄し
てはいけないことを示す識別子を、再生画質に対する影
響の小さいもののみからなるパケットには網輻輳時には
廃棄してもよいことを示す識別子を付加し、パケット多
重して伝送する可変レート画像階層符号化方法におい
て、再生画質に及ぼす影響の大きいものと小さいものに階層
化するにあたり、直交変換を施したブロック内の電力に
予めしきい値を設定し、ブロックごとにブロック内電力
を測定し、そのブロック内電力としきい値との大小関係
により、ブロック内電力の大きいブロックでは、再生画
質に及ぼす影響の大きいものに割り当てる符号量のブロ
ック内総符号量に対する比を大きくし、ブロック内電力
の小さいブロックでは、再生画質に及ぼす影響の大きい
ものに割り当てる符号量のブロック内総符号量に対する
比を小さくする階層化を特徴とする可変レート画像階層
符号化方法。