JPH0799810B2 - 符号化出力データ量制御方式及びその復号装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） ディジタル信号の処理を行なう記録、伝送、表示装置に
おいて、信号をより少ない符号量で効率的に符号化する
効能率符号化方式に係り、出力されるデータ量を均一に
するための符号化出力データ量制御方式に関する。

（従来の技術） 予測符号化における予測残差や交換符号化における直交
変換係数は、発生する信号のレベル分布にかなり偏りが
ある。

そこで、信号レベルの発生頻度に合わせて異なった長さ
の符号を割り当てると、データ量の平均値は固定長の符
号に対して短くできる。

可変長の符号はハフマン符号などによって決められ、デ
ータの発生頻度に偏りがあるほど全体のデータ量は下げ
られる。

この様に可変長符号を用いると、再生信号の品質を同等
に保ちながら、固定長符号よりも平均のデータ量を少な
くすることができる。

しかし、発生するデータ量が一定でなくなるので、実際
の装置では発生するデータ量を制御して均一になるよう
にする必要がある。

最も一般的なデータ量の制御として、データ出力バッフ
ァによるフィードバック制御がある。

符号化のデータ量が増加し、バッファに貯められている
データ量が多くなってきたら、量子化のステップを粗く
してデータ量が少なくなるようにする。

この様な制御方式はテレビ会議等のシステムで使われて
いる。

一方、記録媒体への符号化の適用を考えた場合、ただ単
純に記録再生を行なうだけでなく特殊再生等の機能が望
まれる。

又、符号化された画像データの編集では、画像データを
入れ換えるために、データ長が１フレーム程度の単位で
固定である必要がある。

この様な場合に前記フィードバック制御では、データ量
の平均値は一定に保たれるものの、データ量を希望する
単位で確実に一定値以内に納めることはできない。

そこで、データ量が一定値以内になるようにしたデータ
量の制御方式として、本願と同一出願人同一発明者によ
る先願、特願平１−14273号「符号化出力データ量の制
御方式」がある。

この方式は可変長符号化を用いながら、フィードフォワ
ードとフィードバックの両方の制御を行なうことで、符
号化効率の低下や画質劣化なく、データ量を確実に一定
値以内に納めようとするものである。

（発明が解決しようとする課題） 従来のフィードバック制御では、可変長符号化によって
高い符号化効率が得られるが、データ量をフレーム単位
などで確実に一定値以内に納めることができず、蓄積系
メディアに適用し難いという不具合があった。

一方、先願の特願平１−14273号「符号化出力データ量
の制御方式」は、正規化を行なう高能率符号化に対して
制御を行なうもので、ブロック当りのデータ量を正規化
係数で予測し、復号側では伝送されてくる正規化係数を
用いて符号化側と同様な処理により量子化を制御するの
で、正規化処理が行なわれていることが前提となり、正
規化を行なわない符号化の場合には適用できず、汎用性
が無いという不具合があった。

本発明は、以上の点に着目してなされたものであり、フ
ィードフォワードとフィードバックの両方によりデータ
量を制御し、フィードバック制御がどの様におこなわれ
たかの制御情報は、直交変換係数の可変長符号化と同様
な手法で符号化し、復号側に伝送するので、データ量を
フレーム単位などで確実に一定値以内に納めることがで
きて蓄積メディアに適用できると共に、特殊な正規化処
理等も必要なく汎用性のある符号化出力データ量制御方
式及びその復号装置を提供することを目的とするもので
ある。

（課題を解決するための手段） 本発明は、上記課題を解決するために、 （１）予め定められた一定区間毎の符号化出力データ量
が一定値以内になるようにデータ量を制御して高能率符
号化を行なわせるようにした符号化出力データ量制御方
式において、前記一定区間より細かな区間を単位にして
データ量を予測し、前記一定区間での予測データ量の合
計が一定になるような予測データ量と、仮量子化ステッ
プの値を設定するフィードフォワード制御手段と、前記
予測データ量と実際に符号化された実際データ量の差を
蓄積し、この累積データ量で、実際データ量が予測デー
タ量より多い場合には最終的な量子化ステップが粗くな
るように、実際データが予測データ量より少ない場合に
は最終的な量子化ステップが細かくなるように前記仮量
子化ステップの値を補正するフィードバック制御手段
と、前記フィードフォワード及びフィードバック制御手
段で制御された量子化ステップについての制御情報を符
号化し、復号側に伝送する制御情報符号化手段より構成
されることを特徴とする符号化出力データ量制御方式を
提供し、 （２）請求の範囲（１）の符号化出力データ量制御方式
を用いて符号化，伝送された制御情報を復号する制御情
報復号手段と、前記復号された制御情報によって制御さ
れて、符号化データの復号動作をする符号化データ復号
手段より構成されることを特徴とする符号化出力データ
量制御方式の復号装置を提供するものである。

（作用） 前記課題を解決するために、フィードフォワードとフィ
ードバックの両方によりデータ量を制御し、フィードバ
ックによる制御情報を可変長符号化し復号側へ伝送す
る。

データ量の制御は、まずブロック毎のアクティビティで
データ量の予測値を求め、フィードフォワード制御によ
り仮量子化ステップを設定する。ここで、アクティビテ
ィは直交変換係数の交流成分の二乗平均値などを用い
る。

実際の可変長符号化で生じるデータ量の予測値との差
は、ブロック単位のフィードバック制御で量子化ステッ
プをシフトすることより誤差累積が大きくならないよう
にする。

フィードバック制御がどの様に行われたかの制御情報
は、直交交換係数の可変長符号化と同様な手法で符号化
し、復号側に伝送される。

まず、フィードフォワード制御により、データ量は目的
とするデータ量とおおよそ同じとなる。さらに、そのデ
ータ量の誤差は、ブロック単位でのフィードバック処理
により数ブロック分程度に抑えられる。データ量の変動
幅は目的データ量に対する損失となるが、それが極めて
少ないことになる。

フィードバック制御はデータ量の予測誤差に対して行な
われるので、ブロック単位の制御でも画質が大きく変動
することはない。

フィードバック制御の情報を符号化して伝送するので、
その分データ量が増加するが、符号化本来のデータ量と
比較するとわずかである。

その結果、可変長符号化を行いながらデータ量は希望す
る単位で固定化される。

（実施例） 第１図は本発明の符号化出力データ量制御方式の符号化
装置の実施例を示すブロック図である。

画像入力信号は、画像入力端子１より入力され、高能率
符号化処理部２へ供給され、高能率符号化処理されて、
符号化データ出力端子３より画像出力信号が取り出され
る。

高能率符号化処理部２は、さらに直交変換器４、係数メ
モリ５、量子化器６、可変長符号器７、可変長バッファ
８により構成されている。

この高能率符号化処理部２は、係数メモリ５が追加され
ている以外は、国際電信電話諮問委員会CCITT、SG15で
標準化されたテレビ会議用の方式（ｐ×64kbpsコーデッ
ク）などのフレーム内処理部と同一である。

これは先願の特願平１−14273号の処理部が、係数の正
規化が必須になっているのに対し、それが必要ない点で
一般的で、汎用性があると言える。

以下、高能率符号化処理部２の動作を説明する。

画像入力信号は、画像入力端子１より入力され、直交変
換器４へ供給され、まず８×８画素などのブロック毎に
係数に変換される。

直交変換手法としては、周知の如く離散コサイン変換
（DCT）等が使われ、変換係数の１個はDC係数（平均）
で、他の全ての変換係数はAC係数（交流）である。

前記直交変換器４の出力信号である各係数は、係数メモ
リ５へ供給されている。

係数メモリ５は、後述のフィードフォワード制御により
遅延を補償するためのものであり、データ量を一定にし
たい区間（ここでは例えば、１フレームとする）のメモ
リである。

係数の数は変換前の画素数と等しいので、係数メモリ５
はフレームメモリに似ているが、変換後の値の精度が交
換前より高く要求され、例えば８×8DCTなら係数あたり
12ビット程度が必要になる。

係数メモリ５の出力信号である変換成分は、量子化器６
へ供給され、後述する量子化ステップSqの間隔で均等量
子化される。

量子化器６の出力信号は、可変長符号器７へ供給され
る。

ここでAC成分は大半が０近辺に集中しているので、予め
設定されたハフマン符号などに変換される。このハフマ
ン符号は、通常０の語長が最も短く、レベルの絶対値が
大きくなるに従って語長が長くなる。

さらに、０については各係数毎に符号化するのではな
く、０がいくつ続いたかを符号化する。

このようにして得られた出力データはその量がブロック
毎に異なっている。

可変長符号器７の出力信号は、可変長バッファ８へ供給
される。

可変長バッファ８はFIFO（First In First Out）型のメ
モリで、入力速度は可変長符号器７から出力されるデー
タの量に合わせて変わるが、いったん格納され、一定の
データレートに変換されて、符号化データ出力端子３を
介して高能率符号化された画像符号化データが取り出さ
れる。

次に本発明の特徴部分であるデータ量の制御系のうち、
まずフィードフォワード制御部９について説明する。

フィードフォワード制御部９は、さらにアクティビティ
検出器10、アクティビティメモリ11、量子化ステップ仮
設定器12により構成されている。

フィードフォワード制御部９は直交変換係数のアクティ
ビティ（活性度）に基ずいて、フレーム毎に決められた
仮量子化ステップPSqを出力するものであり、以下その
動作を説明する。

まず、前記直交変換器４の出力信号である各係数は、ア
クティビティ検出器10へ供給される。

アクティビティ検出器10は、変換係数からアクティビテ
ィ（活性度）をブロック毎に求めている。このブロック
は直交変換のブロックと同じである必要は必じしもな
く、直交変換のブロックをいくつかまとめてもよい。

ここで、このブロックを大きくすると、後述するフィー
ドバック制御情報のデータ量は少なくなるが、データ量
の変動も多くなり、その分が損失となるので両者のバラ
ンスが取れる程度の大きさが望ましい。

アクティビティは可変長符号化のデータ量の予測に使わ
れるので、それと相関が高い程良く、AC係数の二乗平均
値などによって与えられる。この値は復号と直接関係し
ないので、後にさらに良いアクティビティ検出方法が開
発されたら、それに代えても互換性の問題は生じない。

求められたアクティビティは、アクティビティメモリ11
及び、量子化ステップ仮設定器12へ供給される。

アクティビティメモリ11は、フィードフォワード制御の
遅延補償ために１フレーム分遅延させる動作をし、アク
ティビティはブロック毎なので係数メモリ５等と比較し
て小容量で済む。

量子化ステップ仮設定器12は、１フレームのデータ量が
一定になるような仮量子化ステップPSqを求める動作を
している。

第２図は第１図における量子化ステップ仮設定器の構成
例を示すブロック図であり、特に並列処理の場合の構成
例を示している。

第２図において、データ量予測器、フレーム累積器、比
較器は各量子化ステップ値毎に複数個設けられている
が、データ量予測器が各量子化ステップ毎に異なるだけ
で他は同一処理である。

量子化ステップは予め値を10％程度ずつ変えてｎ種類
（例えば、ｎは20程度）設定される。

前記アクティビティ検出器10より、各量子化ステップで
量子化した場合のアクティビティ入力がアクティビティ
入力端子15を介して各データ量予測器16,17,18等へ供給
され、各入力アクティビティに対する予測データ量PDb
1,PDb2,…PDbnを出力する。

この予測値は予め統計的に求められた平均値で、量子化
ステップが細かくなると、予測データ量も増える。値は
テーブルROMに書き込まれており、アクティビティが入
力されれば直ちに予測データ量が出力される。

この様にしてブロック単位で得られた予測データ量PDb
1,PDb2,…PDbnは、フレーム累積器19,20,21で１フレー
ム分累積され、各量子化ステップでの１フレーム分の予
測データ量D1,D2,Dnが求められる。

D1,D2,…Dnは、各量子化ステップ毎にフレームが終了し
た時点で、データ量の比較器22,23,24で目的とするデー
タ量と比較され、目的より少ないか多いかが判断され
る。

その結果は、適切値判定器25に入力され、目的データ量
より少ない中で最も量子化ステップが細かいものを判定
し、その量子化ステップを仮量子化ステップPSqとし
て、出力端子26を介して出力している。

適切値判定器25の入力はそれぞれ１ビットの情報なの
で、回路は簡単なロジックで構成できる。

次に、第１図におけるフィードバック制御系28の動作に
ついて説明する。

アクティビティメモリ11にフィードフォワード制御の間
遅延させられたアクティビティと、量子化ステップ仮設
定器12から出力される仮量子化ステップPSqより、デー
タ量予測器29で各ブロックの予測データ量PDbを得る。

データ量予測器29は第２図に示す量子化ステップ仮設定
器の内部にあるデータ量予測器16,17,18と同様である
が、ROMの内容はデータ量予測器16,17,18の全てと同じ
だけがひとつにまとめられている。

予測データ量PDbは減算器30によって、前記可変長符号
器７から与えられる実際のデータ量Dbから減算され、デ
ータ量累積器31に導かれる。

データ量累積器31では各ブロック毎に、（Db−PDb）を
それまでの累積値Ｋと加算し、新たな累積値Ｋを保持す
る。累積値Ｋは１フレーム毎にリセットされる。

データ量累積器31から出力される累積値Ｋは、量子化ス
テップシフタ32へ供給され、量子化ステップシフト量DS
qに変換させられる。

第３図は量子化ステップシフト特性を示す図である。横
軸はデータ量誤差の累積値Ｋであり、縦軸は量子化ステ
ップシフト量DSqである。

第３図において、累積値Ｋの最大値をKmax、最小値を−
Kmaxとしているが、このKmaxが最終的にフィードバック
制御に対して持たなければいけないゆとりとなる。

第３図の特性はフィードバック制御でＫがこの値を越え
ないように、端に近づくほどシフト量DSqが大きくなっ
ている。

シフト量DSqと仮設定されている仮量子化ステップPSqを
加算器33で加算することにより、最終的な量子化ステッ
プSqが得られる。

予測データ量PDbは統計的な平均値が与えられているの
で、一般的な画像では予測データ量PDbの積分値と、実
際のデータ量Dbの積分値は同等になり、Ｋは０に近いも
のとなる。

しかし、実際のデータ量Dbが偏って発生した場合には、
Ｋが正または負の値を持ち、量子化ステップSqが仮量子
化ステップPSqに対してシフトする。

この様に、本発明におけるフィードバック制御はデータ
量の予測誤差に対して行なわれ、ブロック単位で細かく
制御される。

ここで制御が正しく行なわれれば、１フレーム終了時点
での１フレームのデータ量誤差はKmax以内に納まり、フ
ィードフォワード系で設定される仮量子化ステップPSq
での予測データ量は目的データ量に対し、Kmaxのゆとり
を持てばよい。

Kmaxを10ブロック分のデータ量とした場合、その量は例
えば１フレームの画素数が720×480、ブロックサイズが
８×８なら全体の1/540程度であり、符号化効率の低下
はほとんど無視できる。

一方、この様な制御回路は比較的複雑であるが、アクテ
ィビティ検出器10以外の処理は、ブロック毎なので本来
の信号の1/64程度の処理素度でよく、汎用DSP（ディジ
タル・シグナル・プロセッサ）による処理も可能であ
る。

次に、制御情報符号化手段について説明する。

復合側に伝送する必要のある制御情報は、フィードバッ
ク制御の結果にあたる量子化ステップのシフト量であ
る。量子化ステップは10％程度毎に設定されているの
で、量子化ステップシフト量DSqの変化はブロック毎に
は起こらず、数ブロックに１度と考えられる。

従って、変化がない部分ばランレングス符号化すること
で、大幅にデータ量を減らせる。

第４図は量子化ステップシフト量の変化例を示す図であ
る。横軸は変化の間隔（即ち、時間の単位）であり、縦
軸は量子化ステップシフト量DSqである。

例えば第４図に示したような制御が行なわれたとする
と、伝送する必要のある情報は変化の間隔と、変化の程
度である。

なお１度に越こる変化はほとんど±１ステップである。
（第４図では、１ステップを２％としているので、±２
％変化している。） 例えば、第４図において、｛６、＋２｝は、変化の間隔
が６で、変化の程度が＋２％であることを表している。

従って、変化間隔をランレングスとして、変化の程度と
共にハフマン符号などで符号化する。この手法は直交変
換の符号化と似ている。処理は可変長符号器34で行なわ
れ、符号化した制御情報は制御データ出力端子35を介し
て出力され、復号側（復号装置）へ伝送される。

ブロックサイズを８×８画素とし、量子化ステップの変
化が平均10ブロックに１回とすると、１回の変化のデー
タが６ビット程度になり、データ量は１画素当り0.01ビ
ット程度である。

変換符号化など通常のデータ量は１画素当り１〜２ビッ
トなので、この制御情報のデータ量は十分小さいといえ
る。

なお、フィードフォワード処理の結果である仮量子化ス
テップPSqの情報も送る必要があるが、PSqの種類は20程
度であり、フレーム当り数ビットなので無視できるデー
タ量である。

第５図は本発明の符号化出力データ量制御方式の復号装
置の実施例を示すブロック図である。

第５図において、符号化装置より伝送される符号化デー
タの復号手段の基本動作は、一般的なものである。

まず、符号化データ入力端子37より入力された画素信号
（符号化データ入力信号）は、ブロック毎にデータ量が
異なるので、可変長バッファ38に入りブロック毎に取り
出される。

次に、そのデータは可変長復号器39で、可変長が固定長
に変換され、係数毎のデータになる。

各係数データは量子化再生器40で各量子化の代表値に置
き換えられ、逆直交変換器41へ供給される。

逆直交変換器41では、第１図における直交変換器４の逆
の処理が行われ、再生画像が得られる。

得られた再生画像は、再生画像出力端子42を介して出力
される。

次に、本発明の特徴である制御情報復合手段について説
明する。

本発明では、ブロック毎の量子化制御情報が伝送される
ので、それにより量子化再生処理（逆量子化）が制御さ
れる点に特徴がある。

制御データ入力端子43より入力された制御情報（制御デ
ータ）は可変長復号器44により復号され、各ブロック毎
の量子化ステップシフト量DSqが得られる。

DSqは、予めフレームの最初に伝送されている仮量子化
ステップPSqと、加算器45で加算され、実際の量子化ス
テップSqとなる。

量子化ステップSpは、前記量子化再生器40へ供給され、
それにより量子化再生の動作を制御して、再生値が得ら
れる。

この様な動作により、ブロック毎に量子化を制御しても
正しい再生値が得られる。

又、本手法では量子化ステップの制御情報が伝送される
ので、制御情報復号手段は必要になるが、先願の様に復
号系（復号装置）でフィードバック制御部を持つ必要は
ない。

以上説明した如く、本発明では、フィードフォワードと
フィードバックの両方でデータ量を制御し、制御情報を
可変長符号化して伝送することにより、可変長符号化を
用いる一般的な高能率符号化において、画質劣化や符号
化効率の低下なく、目的とする区間で極めて高い精度で
データ量を一定にできる。

フィードフォワード制御でおおまかな制御がなされるの
で、ブロック単位のフィードバック制御によって画質が
大きく変動することもなく、データ出力の可変長バッフ
ァの容量も少なくてよい。

データ量の予測方法はブロックのアクティビティにより
行なえるので、より正確なフィードフォワード制御が可
能になる。後でアクティビティの計算方法を変更しても
互換性の問題が生じることもない。

主な処理はブロック単位で行なわれるので、処理速度は
かなり遅くてよく、汎用DSPなどでも実現可能である。

この様な特性から、可変長符号化を用いた効率の高い符
号化処理が、特殊再生やデータのフレーム単位での入れ
替えが必要となる蓄積系メディアにも適用可能になる。

（発明の効果） 本発明の符号化出力データ量制御方式及びその復号装置
は、フィードフォワードとフィードバックの両方により
データ量を制御し、フィードバック制御がどの様におこ
なわれたかの制御情報は、直交変換係数の可変長符号化
と同様な手法で符号化し、復号側に伝送するので、デー
タ量をフレーム単位などで確実に一定値以内に納めるこ
とができて、蓄積メディアに適用できると共に、特殊な
正規化処理等も必要なく汎用性がある等、実用上極めて
優れた効果がある。

【図面の簡単な説明】

第１図は本発明の符号化出力データ量制御方式の符号化
装置の実施例を示すブロック図、第２図は第１図におけ
る量子化ステップ仮設定器の構成例を示すブロック図、
第３図は量子化ステップシフト特性を示す図、第４図は
量子化ステップシフト量の変化例を示す図、第５図は本
発明の符号化出力データ量制御方式の復号装置の実施例
を示すブロック図である。 １……画素入力端子、２……高能率符号化処理部、３…
…符号化データ出力端子、４……直交変換器、５……係
数メモリ、６……量子化器、7,34……可変長符号器、8,
38……可変長バッファ、９……フィードフォワード制御
部、10……アクティビティ検出器、11……アクティビテ
ィメモリ、21……量子化ステップ仮設定器、15……アク
ティビティ入力端子、16,17,18,29……データ量予測
器、19,20,21……フレーム累積器、22,23,24……比較
器、25……適切値判定器、26……出力端子、28……フィ
ードバック制御部、30……減算器、31……データ量累積
器、32……量子化ステップシフタ、33……加算器、35,4
5……制御データ出力端子、37……符号化データ入力端
子、39,44……可変長復号器、40……量子化再生器、41
……逆直交変換器、42……再生画像出力端子、43……制
御データ入力端子、D1〜Dn……１フレーム分の予測デー
タ長、Db……実際のデータ量、DSq……量子化ステップ
シフト量、Ｋ……累積値、Kmax……累積値Ｋの最大値、
PDb,PDb1〜PDbn……予測データ量、PSq……仮量子化ス
テップ。

Claims (2)

【特許請求の範囲】
1. 【請求項１】予め定められた一定区間毎の符号化出力デ
   ータ量が一定値以内になるようにデータ量を制御して高
   能率符号化を行なわせるようにした符号化出力データ量
   制御方式において、 前記一定区間より細かな区間を単位にしてデータ量を予
   測し、前記一定区間での予測データ量の合計が一定にな
   るような予測データ量と、仮量子化ステップの値を設定
   するフィードフォワード制御手段と、 前記予測データ量と実際に符号化された実際データ量の
   差を累積し、この累積データ量で、実際データ量が予測
   データ量より多い場合には最終的な量子化ステップが粗
   くなるように、実際データ量が予測データ量より少ない
   場合には最終的な量子化ステップが細かくなるように前
   記仮量子化ステップの値を補正するフィードバック制御
   手段と、 前記フィードフォワード及びフィードバック制御手段で
   制御された量子化ステップについての制御情報を符号化
   し、復号側に伝送する制御情報符号化手段より構成され
   ることを特徴とする符号化出力データ量制御方式。
2. 【請求項２】請求の範囲（１）の符号化出力データ量制
   御方式を用いて符号化，伝送された制御情報を復号する
   制御情報復号手段と、 前記復号された制御情報によって制御されて、符号化デ
   ータの復号動作をする符号化データ復号手段より構成さ
   れることを特徴とする符号化出力データ量制御方式の復
   号装置。