JPH06165153A - 多重符号化装置及び復号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 画質劣化が少なく、複数の画像を多重符号化
する装置を提供する。 【構成】 発生符号化量が可変である、複数の符号化手
段（ＤＣＴ２・量子化器３・可変長符号化器４と、ＤＣ
Ｔ７・量子化器８・可変長符号化器９）と、符号化され
たデータを多重化する多重化器１０と、多重化されたデ
ータを蓄積出力するデータバッファ１１と、バッファの
充足度により（量子化ステップとして）符号化手段の発
生符号化量を制御する量子化制御器５とから構成して、
複数の符号化手段を同一の量子化ステップで制御する。
符号化の難易度に応じて画像間にまたがって適切なデー
タ量の配分が行われる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル信号の処理
を行なう記録，伝送，表示装置において、信号をより少
ない符号量で効率的に符号化し、復号化する高能率符号
化復号化に係り、特に複数の画像信号を多重する多重符
号化装置及び復号化装置に関する。

【０００２】

【従来の技術】＜多重化＞高能率符号化を用いると従来
の画像１チャンネルの伝送路で、複数の画像を伝送でき
る場合がある。例えば、ＦＭ変調されたＮＴＳＣ信号の
伝送路は２７ＭＨｚの帯域幅を持ち、ディジタル信号な
ら３０Ｍｂｐｓ程度のデータを送ることができる。ＮＴ
ＳＣ信号を動き補償フレーム間予測などで符号化すると
１０Ｍｂｐｓ程度で十分な画質が得られるので、３０Ｍ
ｂｐｓの伝送路なら３種類の画像を伝送することができ
る。

【０００３】＜符号化装置＞従来例の多重符号化装置の
構成を図５に示す。符号化部はふたつの画像に対応して
２系統あり、画像ａ入力１と画像ｂ入力６には異なった
画像信号が入力される。画像ａ入力１に与えられた画像
ａの信号は、ＤＣＴ２で離散コサイン変換（ＤＣＴ）が
行われ、量子化器３に導かれる。量子化器３では、デー
タバッファ５１から与えられる量子化情報のステップ幅
で量子化が行われる。量子化された信号は可変長符号化
器４で圧縮されたデータとなり、データバッファ５１に
与えられる。このデータは可変長符号化されているため
発生量が常に変動しているが、データバッファ５１で変
動が吸収され、一定のレートになって多重化器４５に与
えられる。

【０００４】データバッファ５１の容量には限度がある
ので、それを越えないようにするために発生するデータ
量を制御する必要がある。そこでデータバッファ５１で
のデータの溜まり具合（充足度）により量子化器３の量
子化ステップ幅を変える。データの発生量が多くバッフ
ァにデータが溜ってきた場合、ステップ幅を粗くして発
生するデータ量を抑える。逆にデータが少ない場合に
は、ステップ幅を細かくして発生するデータ量を増や
す。データバッファ５１から発生する量子化の情報は、
多重化器４５にも与えられ復号化装置に伝送される。

【０００５】一方、画像ｂ入力６に与えられた画像ｂの
信号は、画像ａの信号と同様にＤＣＴ７、量子化器８、
可変長符号化器９で圧縮されたデータとなり、データバ
ッファ５２で一定のレートにされ、多重化器４５に与え
られる。画像ａと同様にデータバッファ５２の充足度に
よって量子化器８が制御される。量子化の情報は画像ａ
のものと異なるので、別に多重化器４５にも与えられ復
号化装置に伝送される。 多重化器４５では画像ａのデ
ータと画像ｂのデータ、さらにそれぞれの量子化情報が
ひとつのデータ列にまとめられ、データ出力１２より復
号化装置に向けて出力される。多重化器４５では数ｋｂ
ｉｔなどの固定の単位で画像ａのデータと画像ｂのデー
タが切り替えられる。

【０００６】＜復号化装置＞従来例の復号化装置の構成
を図６に示す。符号化装置と同様に復号部は２系統あ
る。データ入力２４より入力された多重データは、多重
分離器２６で画像ａのデータ、画像ｂのデータおよびそ
れぞれの量子化情報に分離される。画像ａのデータはデ
ータバッファ６１で、可変長復号器２０の処理に合わせ
たタイミングにされて出力される。可変長復号器２０で
は可変長符号が固定長符号に戻され、逆量子化器２１で
符号が量子化代表値に変換される。量子化代表値は逆Ｄ
ＣＴ２２でＤＣＴの逆変換が行われて再生画像信号にな
り、画像ａ出力２３から出力される。同様に画像ｂのデ
ータはデータバッファ６２、可変長復号器２７、逆量子
化器２８、逆ＤＣＴ２９で再生画像信号になり、画像ｂ
出力３０から出力される。その際、逆量子化器２１には
図５の量子化器３と同じ量子化情報が、逆量子化器２８
には図５の量子化器８と同じ量子化情報が与えられる。

【０００７】

【発明が解決しようとする課題】従来の多重符号化装置
は、それぞれの画像に対して独立にデータレートが一定
となるように制御していたので、一方の画像ではデータ
量が十分で不必要に量子化が細かくなっていても、他方
の画像でデータ量が不足して量子化が粗くなり、画質が
劣化する場合が生じ不合理であった。例えば、画像ａが
平坦な画像で画像ｂが複雑な画像の場合では、複雑さに
対処するため画像ｂの量子化が粗くなり画質が劣化し、
また、画像ａが動きのない画像で画像ｂが動きの激しい
画像の場合では、激しい動き（変化）に対処するため画
像ｂの量子化が粗くなり画質が劣化する。

【０００８】本発明は以上の点に着目してなされたもの
で、多重化後にデータバッファを持ち、複数の符号化系
をそのデータバッファの充足度で制御することで、複数
の画像にまたがって合理的なデータ量配分をすることが
できる多重符号化装置及び復号化装置を提供することを
目的とするものである。

【０００９】

【課題を解決するための手段】以上の目的を達成するた
めに、例えば、図１に示すように、複数の画像を多重符
号化する装置であって、発生符号化量が可変で、前記各
画像に応じた複数の符号化手段（ＤＣＴ２・量子化器３
・可変長符号化器４と、ＤＣＴ７・量子化器８・可変長
符号化器９）と、前記複数の符号化手段で符号化された
データを多重化する手段（多重化器１０）と、前記多重
化されたデータを蓄積して出力するバッファ手段（デー
タバッファ１１）と、前記バッファ手段の充足度により
（量子化情報として）前記符号化手段の発生符号化量を
制御する手段（量子化制御器５）とからなる多重符号化
装置を提供するものである。

【００１０】さらに、例えば、図２に示すように、複数
の画像が多重化されたデータの復号化装置であって、入
力された多重化データを蓄積して復号処理に応じて出力
するバッファ手段（データバッファ２５）と、前記バッ
ファ手段からの多重化データを各画像に対するデータに
分離する手段（多重分離器２６）と、前記各画像に対す
る複数の復号化手段（可変長復号器２０・逆量子化器２
１・逆ＤＣＴ２２と、可変長復号器２７・逆量子化器２
８・逆ＤＣＴ２９）とからなる多重復号化装置を提供す
るものである。

【００１１】また、図３に示すように、複数の画像を多
重符号化する装置であって、発生符号化量が可変で、前
記各画像に応じた複数の符号化手段（フレーム内符号化
器４２，４４）と、前記複数の符号化手段で符号化され
たデータを多重化する手段（多重化器４５）と、前記多
重化されたデータを蓄積して出力するバッファ手段（デ
ータバッファ１１）と、前記画像の変化の程度をブロッ
ク毎に検出する手段（アクティビティ検出器３４，３
９）と、前記バッファ手段の充足度と前記画像の変化の
程度とにより、（量子化情報として）前記符号化手段の
発生符号化量を制御する手段（量子化制御器３５，４
０）とからなる多重符号化装置を提供するものである。

【００１２】

【作用】本発明は、多重化後にデータバッファを持ち、
複数の符号化系の発生符号化量をデータバッファの充足
度で制御することで、量子化値は基本的にどの画像でも
同じとなるので、従来不必要に細かな量子化となる画像
ではデータ量が少なくなり、従来粗い量子化で画質が劣
化してしまう画像ではデータ量が多くなる。このように
符号化の難易度に応じて適切なデータ量配分が行われ、
画質が改善される。 複数の画像を符号化することで符
号化の難易度が平均化され、量子化値の変動が少なくな
るので、画質の変動が少なくなる。また、アクティビテ
ィを併用して制御することで、視覚特性を無視したデー
タ量の偏りがなく、主観画質が改善される。

【００１３】

【実施例】＜第１の実施例（符号化装置）＞図１は本発
明の多重符号化装置の第１の実施例を示すブロック図で
ある。図５の従来例と同一部分には同一符号を付して示
す。図５の符号化装置とは、データバッファがひとつに
なり、多重化器の後にある点が異なる。

【００１４】画像ａ入力１に与えられた画像ａの信号
は、ＤＣＴ２で離散コサイン変換（ＤＣＴ）が行われ、
量子化器３に導かれる。量子化器３では、量子化制御器
５から与えられる量子化情報のステップ幅で量子化が行
われる。量子化された信号は可変長符号化器４で圧縮さ
れたデータとなり、多重化器１０に与えられる。画像ｂ
入力６に与えられる画像ｂの信号も、画像ａの信号と同
様にＤＣＴ７、量子化器８、可変長符号化器９で圧縮さ
れたデータとなり、多重化器１０に与えられる。

【００１５】多重化器１０では画像ａのデータと画像ｂ
のデータ、さらに量子化制御器５から出力される量子化
情報が多重化され、ひとつの圧縮データ列にまとめられ
る。この様子を図７に示す。例えば、画像ａのデータ
（１，３，５…）と画像ｂのデータ（２，４，６…）と
が交互に多重化され、圧縮データ列（１，２，３，４
…）にまとめられる。ここで画像データはレートが固定
化されていないので、多重化されたデータは画像ａのも
のと画像ｂのものとの割合が常に変動している。多重化
されたデータはデータバッファ１１に与えられ、そこで
変動が吸収されて、一定のレートになってデータ出力１
２より復号化装置に向けて出力される。一方、データバ
ッファ１１の充足度の情報が量子化制御器５に与えら
れ、量子化制御器５で決められた量子化情報が量子化器
３、８に与えられる。量子化情報は従来では量子化器３
と８で異なっていたが、本実施例では同一となる。すな
わち、従来ではデータ量が同一となるように制御してい
たのに対して、本実施例では量子化ステップ（幅）が同
一となるように制御している。

【００１６】つまり、量子化制御はデータの発生量が多
くバッファにデータが溜ってきた場合には、ステップ幅
を粗く（大きく）して発生するデータ量を抑え、逆にデ
ータが少ない場合にはステップ幅を細かく（小さく）し
て発生するデータ量を増やす。例えば、量子化ステップ
幅を図８の様な特性としておく。このように、量子化器
３と８で量子化ステップ幅を同一としているので、画像
ａと画像ｂの画質は同等となり、符号化が難しく多くの
符号量を必要とする画像にはより多くのデータが配分さ
れ、少なくても良い画像では少なくなる。例えば、画像
ａが平坦な画像で画像ｂが複雑な画像の場合などでは、
結果として、平坦な画像ａの量子化が従来よりも粗くな
りデータの配分量が減少し、反面、複雑な画像ｂへのデ
ータの配分量が増加して従来ほど量子化が粗くならな
い。

【００１７】このように、多重化後にデータバッファを
持ち、複数の符号化系のデータ発生量をデータバッファ
の充足度で共通に制御することで、符号化の難易度に応
じて画像間で適切なデータ量配分が行われ、画質劣化が
少なくなる。さらに、適切なデータ量配分がなされるの
で、量子化値の変動が少なくなり、制御による画質の変
動も少なくなる。

【００１８】なお、本実施例では符号化部を２系統とし
たが、３系統、４系統とさらに多くしても良いことは当
然で、その場合発生符号量のバラツキがより少なくなる
ので、量子化はより安定になる。

【００１９】また、本実施例では、符号化系のデータ発
生量を、量子化ステップ幅を可変して制御したが、画像
信号用のプリフィルタを画像入力部に設けて、このプリ
フィルタの特性を可変してデータ発生量を制御するよう
にしても良い。さらに、データバッファ１１はメモリな
どにより実体的に構成する場合に限られず、仮想バッフ
ァのようなものでも良い。

【００２０】＜第１の実施例（復号化装置）＞図１に対
応する復号装置（実施例）の構成を図２に示す。図６の
従来例と同一部分には同一符号を付して示す。図６の復
号化装置とは、データバッファがひとつになり、多重化
分離器の前にある点が異なる。データ入力２４より入力
された多重データは、データバッファ２５で後の復号処
理に合わせたタイミングで出力され、多重分離器２６に
与えられる。多重分離器２６で多重データは画像ａのデ
ータ、画像ｂのデータおよび量子化情報に分離される。

【００２１】画像ａのデータは可変長復号器２０で可変
長符号が固定長符号に戻され、逆量子化器２１で符号が
量子化代表値に変換され、量子化代表値は逆ＤＣＴ２２
で離散コサインの逆変換が行われて再生画像信号にな
り、画像ａ出力２３から出力される。同様に画像ｂのデ
ータは可変長復号器２７、逆量子化器２８、逆ＤＣＴ２
９で再生画像信号になり、画像ｂ出力３０から出力され
る。その際、逆量子化器２１、２８には、図１の量子化
器３、８と同じ量子化情報が与えられる。

【００２２】＜第２の実施例（符号化装置）＞図３は本
発明の符号化装置の第２の実施例を示すブロック図であ
る。第１の実施例との相違は、まず動画像に対してフレ
ーム間予測を行っている点である。さらに、量子化制御
がバッファ充足度のみで制御されるのでなく、原画像の
アクティビティによっても行われる。つまり、画質を一
定化するために、単に量子化を同じにするのではなく、
主観画質が同じになるように構成している。

【００２３】画像ａ入力１より入力された画像ａの信号
は、予測減算器４１でフレーム間予測器３１から来る予
測信号が減算され、予測残差信号としてフレーム内符号
化器４２に与えられる。フレーム内符号化器４２の構成
は、図１のＤＣＴ２、量子化器３、可変長符号化器４と
同様で、予測残差信号は圧縮されたデータとなり、多重
化器４５とフレーム内復号化器３３に与えられる。フレ
ーム内復号化器３３の構成は、図２の可変長復号器２
０、逆量子化器２１、逆ＤＣＴ２２と同様で、デ−タは
再生予測残差信号となり、加算器３２に与えられる。加
算器３２ではフレーム間予測器３１から与えられるフレ
ーム間予測信号が加算され、できた再生画像信号をフレ
ーム間予測器３１に与える。フレーム間予測器３１は再
生画像信号を１フレーム遅延させ動き補償を行い、フレ
ーム間予測信号を作り予測減算器４１と加算器３２に供
給する。

【００２４】画像ｂ入力６より入力された画像ｂの信号
は予測減算器４３、フレーム内符号化器４４、フレーム
内復号化器３８、加算器３７、フレーム間予測器３６で
画像ａと同様にフレーム間予測符号化され、圧縮された
データとなり、多重化器４５に与えられる。

【００２５】一方、アクティビティ検出器３４では、画
像ａの信号のブロック毎の変化の程度（アクティビテ
ィ）を求め、量子化制御器３５に与える。またアクティ
ビティ検出器３９では画像ｂの信号のアクティビティを
求め、量子化制御器４０に与える。量子化制御器３５、
４０にはデータバッファ１１から充足度の情報も与えら
れている。量子化制御器３５では、バッファ充足度とア
クティビティより量子化情報を設定し、フレーム内符号
化器４２とフレーム内復号化器３３に与える。同様に量
子化制御器４０も量子化情報を設定し、フレーム内符号
化器４４とフレーム内復号化器３８に与える。ここで、
バッファ充足度はふたつの制御器に対して共通だが、ア
クティビティは別々である。

【００２６】量子化はアクティビティが大きな場合に粗
く、アクティビティが小さな場合に細かくなるようにす
る。これはアクティビティが大きなブロックは変化が大
きく誤差が目立ち難く、アクティビティが小さなブロッ
クは僅かな誤差でも目立つためである。具体的にはバッ
ファ充足度で設定される量子化ステップ値に、アクティ
ビティによって設定される乗数１／２〜２をブロック毎
に乗じる。平均的なアクティビティで１倍となるように
すれば、量子化ステップの平均値は変わらずに済む。こ
こで、アクティビティ値としてはブロック内の画素値の
分散などを使うが、ＤＣＴなどではエッジ部分のブロッ
クで量子化誤差が目立ちやすいので、エッジ検出をして
そこではアクティブビティが大きくならないようにして
も良い。

【００２７】以上のように構成し、バッファ充足度に応
じて量子化制御することにより、実施例１と同様に、画
質が改善される。例えば、画像ａが動きのない画像で画
像ｂが動きの激しい画像の場合では、結果として、動き
のない画像ａの量子化が従来よりも粗くなりデータの配
分量が減少し、反面、激しい動き（変化）に対処するた
め画像ｂへのデータの配分量が増加して従来ほど量子化
が粗くならない。特に、フレーム（画像）間予測符号化
に際しては、一方の画像でシーンチェンジなどで急に多
くの符号量が必要になっても、他方の画像（用のデー
タ）でそれを吸収できるので画像が破綻を起こす可能性
が低くなる。

【００２８】さらに、量子化制御に際してアクティビテ
ィを併用しているので、視覚特性に基づく主観画質が改
善される。すなわち、バッファ充足度だけで量子化制御
すると、視覚特性を考慮することなく客観画質を改善し
ようと変化の大きな画像にデータ量が偏り過ぎるが、ア
クティビティを併用することで、視覚特性を無視したデ
ータ量の偏りがなく、主観画質が改善される。

【００２９】＜第２の実施例（復号化装置）＞図３に対
応する第２の復号装置（実施例）の構成を図４に示す。
図２の第１の実施例との相違点は、動画像に対してフレ
ーム間予測を行っており、量子化情報は画像ａ用と画像
ｂ用で別々にある。

【００３０】データ入力２４より入力された多重データ
は、データバッファ２５で後の復号処理に合わせたタイ
ミングで出力され、多重分離器２６に与えられる。多重
分離器２６では画像ａのデータ、画像ｂのデータおよび
それぞれの量子化情報に分離される。画像ａのデータは
フレーム内復号器３３、加算器３２、フレーム間予測器
３１で、図３の局部復号部と同様に復号され再生画像信
号になり、画像ａ出力２３から出力される。同様に画像
ｂのデータはフレーム内復号器３８、加算器３７、フレ
ーム間予測器３６で復号され再生画像信号になり、画像
ｂ出力３０から出力される。量子化の情報はフレーム内
復号器３３と３８とで別々に図３の符号化装置と同じ値
が与えられる。

【００３１】

【発明の効果】本発明の多重符号化装置（及び復号化装
置）は、多重化後にデータバッファを持ち、複数の符号
化系をそのデータバッファの充足度（とブロックアクテ
ィビティ）で制御することで、符号化の難易度に応じて
画像間で適切なデータ量配分が行われるので、画質劣化
が少なくなる。また、量子化値の変動が少なくなるの
で、制御による画質の変動も少なくなる。特に、フレー
ム（画像）間予測符号化においては、一方の画像でシー
ンチェンジなどで急に多くの符号量が必要になっても、
他方の画像（用のデータ）でそれを吸収できるので画像
が破綻を起こす可能性が低くなる。また、アクティビテ
ィを併用して制御することで、視覚特性を無視したデー
タ量の偏りがなく、主観画質が改善される。以上説明の
如く、本発明の多重符号化装置及び復号化装置は、実用
上極めて優れた効果を有するものである。

【図面の簡単な説明】

【図１】本発明の多重符号化装置の第１の実施例を示す
ブロック図である。

【図２】本発明の多重復号化装置の第１の実施例を示す
ブロック図である。

【図３】本発明の多重符号化装置の第２の実施例を示す
ブロック図である。

【図４】本発明の多重復号化装置の第２の実施例を示す
ブロック図である。

【図５】多重符号化装置の従来例を示すブロック図であ
る。

【図６】多重復号化装置の従来例を示すブロック図であ
る。

【図７】実施例のデータ構成を示す図である。

【図８】量子化制御の様子を示す図である。

【符号の説明】

１…画像ａ入力、２，７…ＤＣＴ、３，８…量子化器、
４，９…可変長符号化器、５，３５，４０…量子化制御
器、６…画像ｂ入力、１０，４５…多重化器、１１，２
５，５１，５２，６１，６２…データバッファ、１２…
データ出力、２０，２７…可変長復号器、２１，２８…
逆量子化器、２２，２９…逆ＤＣＴ、２３…画像ａ出
力、２４…データ入力、２６…多重分離器、３０…画像
ｂ出力、３１，３６…フレーム間予測器、３２，３７…
加算器、３３，３８…フレーム内復号化器、３４，３９
…アクティビティ検出器、４１，４３…予測減算器、４
２，４４…フレーム内符号化器。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 立 東京都渋谷区神南二丁目２番１号 日本放 送協会 放送センター内

Claims (3)

【特許請求の範囲】
1. 【請求項１】複数の画像を多重符号化する装置であっ
   て、 発生符号化量が可変で、前記各画像に応じた複数の符号
   化手段と、 前記複数の符号化手段で符号化されたデータを多重化す
   る手段と、 前記多重化されたデータを蓄積して出力するバッファ手
   段と、 前記バッファ手段の充足度により前記符号化手段の発生
   符号化量を制御する手段とからなることを特徴とする多
   重符号化装置。
2. 【請求項２】複数の画像が多重化されたデータの復号化
   装置であって、 入力された多重化データを蓄積して復号処理に応じて出
   力するバッファ手段と、 前記バッファ手段からの多重
   化データを各画像に対するデータに分離する手段と、 前記各画像に対する複数の復号化手段とからなることを
   特徴とする多重復号化装置。
3. 【請求項３】複数の画像を多重符号化する装置であっ
   て、 発生符号化量が可変で、前記各画像に応じた複数の符号
   化手段と、 前記複数の符号化手段で符号化されたデータを多重化す
   る手段と、 前記多重化されたデータを蓄積して出力するバッファ手
   段と、 前記画像の変化の程度をブロック毎に検出する手段と、 前記バッファ手段の充足度と前記画像の変化の程度とに
   より、前記符号化手段の発生符号化量を制御する手段と
   からなることを特徴とする多重符号化装置。