JPH05336505A

JPH05336505A - 画像の階層符号化方式

Info

Publication number: JPH05336505A
Application number: JP14131992A
Authority: JP
Inventors: Taizo Kinoshita; 泰三木下; Koichi Shibata; 巧一柴田; Fumio Noda; 文雄野田; Yoshinori Miyamoto; 宜則宮本
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-06-02
Filing date: 1992-06-02
Publication date: 1993-12-17

Abstract

(57)【要約】【構成】画像信号を、フレーム或いはフィールド内で直
交変換符号化２し、量子化を行う符号化装置において、
量子化の直前或いは直後に変換係数の階層化４を行い、
階層化された基本階層のデータのみで局部復号５した場
合の画質劣化が、予め設定された閾値以下となるような
階層化次数決定７を行う階層符号化装置。【効果】フレーム間符号化を用いた場合のように、階層
化による符号化情報量の増大、符号化効率の劣化を抑圧
することができ、また拡張階層データが全て廃棄され、
基本階層のデータのみが伝送された場合でも一定以上の
画質が確保できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像を伝送できるデ
ィジタル網で、伝送品質の異なる複数の伝送路を端末が
認識して使い分けることのできる画像端末、例えば、広
帯域ＩＳＤＮのＡＴＭパケット網用の画像端末のディジ
タル動画像符号化方式に関する。

【０００２】

【従来の技術】ディジタル動画像を、とくに高能率符号
化した画像データを画像復号情報として重要な部分と比
較的重要でない部分に分割、或いは階層化して符号化，
伝送しようという動きは近年、特に広帯域ＩＳＤＮのＡ
ＴＭ網伝送を目的として研究が始められている。例え
ば、本発明にもっとも近い公知例は、電子通信学会画像
工学研究会（ＩＥ９０−３８）のパケットビデオ符号化
における係数分離アルゴリズムによる符号化効率の改善
（ＮＴＴ・ＨＩ研究所）があげられる。

【０００３】上記従来技術は、図１に示すようにテレビ
電話やテレビ会議用の既勧告画像符号化方式である動き
補償予測＋ＤＣＴ符号化方式（Ｈ．２６１）をベースと
して、ＤＣＴ変換後の周波数成分に対応する変換係数を
分離階層化して伝送する方式について述べたものであ
る。この場合には、文献に記されているように、ＤＣＴ
係数を低周波成分と高周波成分に２階層化するもので、
画像にとって重要な低周波成分のみをフレーム間予測符
号化の参照データとして利用する。従って、階層化次数
の決定は、予測する次のフレーム内ブロックの情報量が
最小となるように行われる。つまり、フレーム間予測に
使用されるデータ量が完全でない分符号化効率が低下す
るので、この符号化効率が最小限にくいとめられ、発生
情報量が最小となるように階層化が行われることにな
る。即ち、この公知例では、階層化によって画質劣化を
保護するのではなく、階層化による符号化効率の劣化を
最小限にくいとめるような階層次数決定法がとられてい
ることが問題である。

【０００４】

【発明が解決しようとする課題】本発明では、上述した
従来例で問題となっていた階層化次数決定法を改善し、
階層化の方法も拡張する。即ち、階層化伝送によって、
伝送路でいかなるデータ欠落がおこっても、重要データ
が保護され一定以上の画質が保たれるような階層化法を
提供することが課題となる。又、階層化の方法も単なる
直交変換係数の低周波成分と高周波成分に二つに階層化
するのではなくて、三つ以上の階層や変換係数の分離の
仕方にも拡張性を持たせることが課題となる。

【０００５】

【課題を解決するための手段】上記課題を解決するた
め、本発明ではまず第１に、フィールド（フレーム）内
の直交変換を前提とした変換係数の階層化を考えると共
に、階層数も現在CCITTの標準化委員会で検討中である
ため、２階層に限定せずに３階層以上も考慮した複数階
層とした。第２に階層化方法として、低周波成分から順
番に、例えば、ジグザグスキャンして、基本階層と拡張
階層を生成するだけでなく、変換ブロック内係数の複数
代表値を基本階層として、又係数絶対値と代表値との誤
差を拡張階層として生成する場合を提案する。第３に階
層化決定方法として、従来のようにフレーム間符号化に
基本階層のみを使用するため、符号化効率が最大となる
ような次数を選択するのではなく、画質が予め決められ
た閾値の範囲内で最良となるように決定する。

【０００６】

【作用】図２に本発明による階層符号化の概念図を示
す。先ずフレーム間符号化ではなく、フィールド内或い
はフレーム内符号化を前提とする。フレーム間符号化を
使用する場合は、画像情報として重要な基本階層をフレ
ーム間符号化に使用しないことを前提とする。次に送信
側で階層化次数をブロック毎に適応的に決定し、複数の
階層を生成する。この階層は基本層と一つ以上の拡張階
層から構成されており、これらは伝送品質の異なる別々
の伝送路で伝送される。階層化は基本的には直交変換符
号化の直後で行われるが、量子化は階層化の直前でも直
後でも良い。量子化の直前に階層化を行う場合は、変換
係数そのものが階層化対象となる。量子化の直後に行う
場合は変換係数の量子化データが階層化対象となる。局
部復号によって階層化次数を決定する場合は量子化後の
データを使用して所望の画質を得るための次数を決定す
る方がより正確であるといえるが、逆に量子化直前の場
合には階層化結果を基に、基本階層と拡張階層で異なっ
た量子化を行えるという利点がある。

【０００７】

【実施例】本発明による階層化法の一実施例を図３に示
す。ここでは階層化の方法について例を示す。図中、正
方形は直交変換係数の垂直・水平分布を示すもので、こ
の場合には８画素×８画素の、例えば、離散コサイン変
換のような直交変換を例にとっている。従って左上に行
くほど低周波成分を、右下に行くほど高周波成分を示し
ている。例えば、四つの階層化を行う場合には、例え
ば、図に示すように低周波／中周波／高周波の変換係数
に分離して先ず各階層帯の代表係数値或いは平均値３係
数を基本階層とする。次に低周波成分の係数代表値と係
数絶対値の誤差１５係数を第１拡張階層、中周波成分の
代表係数値と係数絶対値との誤差３４係数を第２拡張階
層、高周波成分の代表係数値と係数絶対値との誤差１５
係数を第３拡張階層として、計四つの階層化を行うもの
である。もちろん階層数は係数代表値と係数絶対値だけ
であれば２階層となるし、それ以外の複数階層でも係数
の分離数のみで自由に設定できることはもちろんであ
る。また各階層の分離位置は後述するようにブロック毎
に適応的に決定すればよい。例えば、低周波成分に偏っ
た係数分布をもっているブロックは低周波成分の係数を
より少なくして、低周波成分を細かく分離することもで
きる。

【０００８】本発明による階層化法の別の一実施例を図
４に示す。ここでは例えば低周波成分１５係数の絶対値
ａ_ijと残り高周波成分４９係数の代表値（平均値）ｂを
基本階層とし、又この４９係数の絶対値ｂ_ijと代表値ｂ
との誤差を拡張階層として伝送するものである。もし三
つの階層に分離する場合は、低周波成分の絶対値と、中
周波成分の代表値ｂと高周波成分の代表値ｃを基本階層
として、残りの成分の内、中周波成分の係数絶対値ｂ_ij
と代表値ｂとの誤差を第１拡張階層に、高周波成分の係
数絶対値ｃ_ijと代表値ｃとの誤差を第２階層にすればよ
い。

【０００９】本発明による階層次数決定法の一実施例を
図５に示す。階層化は基本的に送信側で行う。本発明で
は基本階層のみをフレーム間符号化の参照データとして
使うということはしないで、伝送上のみで階層化して送
るので、画質が予め決められた閾値以上となるように階
層次数を決定すればよい。

【００１０】例えば、図２（ａ）の場合には、階層化を
一旦試行してみて、もし伝送路上で基本階層のみがデー
タ欠落なしに伝送でき、拡張階層全てのデータが欠落，
廃棄、或いはエラーを起こしたと想定する。従って基本
階層のみのデータが受信側に到着したとすると、全ての
データが到着した場合に比べてどの位画質が劣化するか
を階層次数の決定判断基準とすれば良いことになる。図
に示したように、送信側に局部復号器５を設けて基本・
拡張階層全てのデータを用いて復号した場合のブロック
内復号データと拡張階層データが廃棄され基本階層のみ
を使用し、拡張階層データを零として復号した場合のブ
ロック内復号データの差の２乗和積算値を求める。この
エラーが画質劣化に相当するので、得られた２乗和積算
値を比較器６で予め設定された閾値と比較し、閾値以下
となる最小の係数次数までを基本階層とするものであ
る。即ち、基本階層とする次数が多ければ多いほど２乗
和積算値は小さく画質劣化は少ないので、次数を少なく
していって閾値を越えないぎりぎりの次数を階層化の境
界次数とすれば良いことになる。

【００１１】もちろん図２（ｂ）のように量子化後に階
層化を行う場合も、量子化後の変換係数データの内、上
述と同様に基本階層のみで局部復号した場合と、基本・
拡張階層全てのデータを使用して局部復号した場合の誤
差の２乗和積算値を判定基準とすれば良い。

【００１２】本発明による階層化次数決定法の別の一実
施例を図６に示す。図５において、直交変換後で量子化
直前に階層化を行う場合には、基本階層と拡張階層全て
のデータを用いて局部復号すると、即ち、直交変換前の
入力画像データを得ることになる。これは直交変換が計
算誤差を除いて基本的に線形変換ならば当然のことであ
る。従って、図５の内差演算が不要となり、拡張階層の
みの局部復号演算のみでよいことになる。閾値は、上述
と同一の値でよい。

【００１３】本発明による階層化次数決定法の別の一実
施例を図７に示す。図５，図６に示すように、階層化次
数の決定は、一旦、次数設定を試行してみて、誤差の閾
値比較を行い、再び別の次数を設定してみてまた誤差の
閾値比較を行うという、繰り返し演算となる。この繰り
返しは最大ブロック内係数の数だけ行われることにな
り、非常に複雑で無駄な演算となる可能性がある。また
繰り返し演算による絶対遅延も問題である。

【００１４】このような問題を解決するため、図７
（ａ）は一度に同時に階層化次数の数候補について局部
復号演算を行い、一回でどの次数が最適かを決定するも
のである。

【００１５】例えば、図７（ｂ）では四つの階層化次数
を候補として、低周波成分から次数の少ない順にａ，
ｂ，ｃ，ｄの四つの係数パターンについて局部復号す
る。この場合には階層化法によって異なるが２階層或い
は３階層を前提としている。この方法だと階層化次数が
予め決められているので、繰り返し演算するフィードバ
ックが不必要となるだけでなく、８×８ブロックの場合
には６４回局部復号を試行する必要があったのに対し、
４回ですむので演算量も少なくてすむ。もちろん画質の
最低限を維持するという意味ではブロック毎にやや異な
るし、伝送コストも最小ぎりぎりの値ではないが、規定
以下の画質になることはない。図７では、図６に示した
量子化前の階層化の場合について示したが、もちろんこ
れは量子化後に階層化を行う図５の方法をとっても良い
ことは明かである。また図３，図４のように、複数階層
を設定する場合も同様に、予めいくつかの階層化法を候
補として設定しておけばよい。

【００１６】

【発明の効果】本発明によれば、従来例に示すような、
直交変換符号化後に変換係数の復号に必要な例えば低周
波成分のみを基本階層として伝送品質の良い伝送路で送
ることにより、受信画像の画質劣化を抑圧できる画像の
階層符号化において、いくつかの改善効果が期待でき
る。

【００１７】第１に、従来フレーム間符号化では基本階
層のみをフレーム間符号化の参照データとして利用して
いたので、参照データの不完全な分符号化効率が低下し
ていた。文献では階層化しない場合い比べて約１.４倍
もの符号化情報量を必要としていた。これに対し、本発
明は基本的にフレーム内符号化を前提としており、階層
化結果がどこにもフィードバックされないので、符号量
が階層化によって増えることはない。

【００１８】第２に、従来例では階層化は画像にとって
重要な低周波成分と高周波成分の２階層のみであった
が、本発明では３以上の複数階層化をも考慮している。
従って、例えば、広帯域ＩＳＤＮ等のＡＴＭ（非同期転
送モード）網を対象伝送路と考えた場合には階層伝送路
の種類だけ利用できることになる。また階層化法も、低
周波成分の絶対値だけでなく、変換係数成分の代表値
（平均値）を導入し、絶対値と代表値の組み合わせで自
由に基本階層と拡張階層が構成できるようにしている。
これにより、もし拡張階層の伝送品質が極めて悪い場合
でも、変換係数の高周波成分が全く復号できずに解像度
の無い画質とならないで、有る程度の高周波成分も復号
でき、高周波成分を有効に復号できるため、同じ次数分
の基本階層でも、伝送状態によっては、受信側でより高
画質が得られる可能性が高い。

【００１９】第３に本発明ではフレーム間符号化を伴わ
ないため、階層化は従来のように量子化の直後だけでな
く、直前でもかまわない。直前の場合には逆量子化が不
必要となるだけでなく、変換係数をそのまま復号するこ
とは、変換符号化への入力信号を再生することになるの
で、局部復号化が省け、図６の簡易型の階層次数決定法
がそのまま適応できることになる。

【００２０】第４に、従来の階層化次数決定法では、フ
レーム間符号化に用いる係数とフレーム内符号化に用い
る係数の割合によって符号化発生情報量が異なるため、
この符号化効率が最大となる次数を階層化次数として決
定していた。従って、画質という観点からすると、ブロ
ック毎に常に最良の画質が得られるという保証はなかっ
た。これに対し、本発明による階層化次数決定法では、
図５，図６，図７に示したように、拡張階層係数が全て
廃棄され、基本基本階層のみが伝送された場合にも最低
限の画質が確保できる。

【図面の簡単な説明】

【図１】従来の階層符号化方式のブロック図。

【図２】階層符号化のブロック図。

【図３】変換係数ブロックの階層化の第一の説明図。

【図４】変換係数ブロックの階層化の第二の説明図。

【図５】階層化次数決定法の第一のブロック図。

【図６】階層化次数決定法第二のブロック図。

【図７】階層化次数決定法第三のブロック図。

【符号の説明】

１…フレーム間予測符号化、２…変換符号化、３…量子
化、４…階層化、５…局部復号化、６…誤差の２乗和積
算計算及び閾値比較、７…階層化次数決定。

───────────────────────────────────────────────────── フロントページの続き (72)発明者宮本宜則東京都国分寺市東恋ケ窪１丁目280番地株式会社日立製作所中央研究所内

Claims

【特許請求の範囲】

【請求項１】画像信号をフィールド内でブロック単位に
直交変換して高能率符号化する装置において、送信側で
変換符号化係数をブロック毎に適応的に複数層に階層化
して伝送することを特徴とする画像の階層符号化方式。
【請求項２】請求項１において、ブロック内変換係数の
複数個の係数絶対値、或いは、絶対値を含む複数個の係
数代表値を基本階層で、又それ以外の係数絶対値と、絶
対値と代表値との誤差を拡張階層として、これをブロッ
ク単位に適応的に決定しながら伝送する画像の階層符号
化方式。
【請求項３】請求項１において、第ｎ次係数までと、第
ｎ＋１次以上の係数の代表値を基本階層で、又第ｎ＋１
次以上の係数の代表値との差分を拡張階層として、次数
ｎをブロック単位に適応的に決定しながら伝送する画像
の階層符号化方式。
【請求項４】請求項１，２または３において、適応的階
層化を直交変換後の量子化の直前、或いは量子化の直後
で行う画像の階層符号化方式。
【請求項５】請求項１，２，３または４において、基本
階層のみを受信して復号した場合と、基本階層及び拡張
階層全てを受信して復号した場合のＳ／Ｎ比、即復号化
誤差値を判定基準として階層化を行う画像の階層符号化
方式。
【請求項６】請求項１，２，３，４または５において、
基本階層と拡張階層、及び拡張階層のみを使用して、送
信側で局部復号することにより階層化判定を行う画像の
階層化符号化方式。