JPH10108171A - 画像符号化多重化装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数プログラムの画像データを符号化・多重
化して固定の伝送レートで出力する場合に、どのプログ
ラムの符号化画像データもその復号画像の画質劣化を少
なくできるようにする。 【解決手段】 複数種類の画像符号化回路１０，１２，
１４の符号化レートをそれぞれ制御する画像符号化制御
回路２０を設け、複数種類の画像データを符号化して多
重化する処理を行う際に、例えば小さい量子化スケール
が割り当てられている画像符号化回路については符号化
レートを低くし、大きい量子化スケールが割り当てられ
ている画像符号化回路については符号化レートを高くす
るように制御することにより、各々の画像データの符号
化レートを適当に制御して発生情報量を調整し、各符号
化画像データの画質劣化が少なくなるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化多重化
装置に関し、特に、複数プログラムの画像データを符号
化し、それらを多重化する画像符号化多重化装置に関す
る。

【０００２】

【従来の技術】画像データを圧縮するための画像符号化
方式として、通信・放送・蓄積メディア・コンピュータ
等の分野で共通的に用いることのできる汎用符号化方式
として注目を集めているＭＰＥＧ（Moving Picture Ima
ge Coding Experts Group ）方式がある。ＭＰＥＧは、
動き補償フレーム間符号化とＤＣＴ（Discrete CosineT
ransform ）とを組み合わせたハイブリッド符号化方式
である。

【０００３】図１０は、上記ＭＰＥＧ符号化方式を説明
するためのブロック図である。図１０において、１０は
画像符号化回路、３０はシステム多重化回路、５０は各
種メディア、６０はシステム多重分離回路、７０は画像
復号化回路である。

【０００４】画像符号化回路１０では、入力されたデジ
タル画像データに対して、動き補償（ＭＣ）予測と離散
コサイン変換（ＤＣＴ）とを用いてデータ量を削減する
符号化処理を行い、その処理結果をシステム多重化回路
３０へ供給する。システム多重化回路３０では、不図示
の音声符号化回路で符号化された音声符号化データとそ
の他のデータと上記画像符号化回路１０で符号化された
画像符号化データとを多重する。そして、その多重デー
タに同期情報・多重化情報等を付加し、各種メディア５
０（通信網、放送網、蓄積メディア、コンピュータ等）
に供給する。

【０００５】一方、上記各種メディア５０からシステム
多重分離回路６０に入力されたデータは、このシステム
多重分離回路６０で画像、音声やその他のデータに分離
される。そして、分離された各種データのうち、画像符
号化データは画像復号化回路７０に入力され、この画像
復号化回路７０で画像符号化回路１０と逆の処理により
復号化が行われ、画像復号化データが出力される。

【０００６】次に、上述した画像符号化回路１０を更に
詳しく説明する。図１１は、上記画像符号化回路１０の
従来例を示すブロック図である。図１１において、１０
４はスイッチ、１０６は予測誤差算出回路、１０８はＤ
ＣＴ回路、１１０は量子化回路、１１２は逆量子化回
路、１１４はＩＤＣＴ（逆ＤＣＴ）回路、１１６は加算
器、１１８はフレームメモリ、１２０はＭＣ（動き補
償）回路、１２２はＭＥ（動き検出）回路、１２４はＶ
ＬＣ（可変長符号化）回路、１２６は送信バッファ、１
２８はレートコントロール回路、１３０は予測判定回
路、１３２はスイッチである。

【０００７】以下に、上記のように構成した画像符号化
回路１０の動作を説明する。なお、ここでは画像符号化
回路１０へ入力される画像データは、１６×１６画素の
ブロック単位で入力されるものとする。この入力画像デ
ータは、スイッチ１０４の端子ａと予測誤差算出回路１
０６の一方の入力端とＭＥ回路１２２の一方の入力端と
に入力される。

【０００８】予測誤差算出回路１０６のもう一方の入力
端には、ＭＣ回路１２０の出力である画像符号化回路１
０への入力画像データの予測信号が入力されており、こ
こで上記入力画像データとの差分が計算される。予測誤
差算出回路１０６の差分出力は、スイッチ１０４の端子
ｂに入力される。そして、予測判定回路１３０の出力に
よってスイッチ１０４が制御されることにより、スイッ
チ１０４から入力画像データか差分データ（予測誤差デ
ータ）かの何れかが出力され、ＤＣＴ回路１０８へと入
力される。

【０００９】上述の予測判定回路１３０では、入力画像
データと予測誤差算出回路１０６からの予測誤差データ
とを比較する。例えば、レベル変動のエネルギー成分の
大小による比較を行い、その比較結果に応じて制御信号
を出力し、スイッチ１０４とスイッチ１３２とを制御す
る。

【００１０】ＤＣＴ回路１０８は、画像を例えば８×８
画素のブロックに分割し、ＤＣＴ（離散コサイン変換）
を行うことにより画像データを周波数係数データＦ[v]
[u]に変換し、それを量子化回路１１０に供給する。な
お、この例でｖ，ｕは共に０〜７の値である。

【００１１】量子化回路１１０は、上記周波数係数デー
タＦ[v][u]を用いて、例えば次の（１）式に示す量子化
を行い、量子化係数データＱＦ[v][u]を出力する。 ＱＦ[v][u]＝１６×Ｆ[v][u]／（Ｗ[w][v][u] ×量子化スケール） （１） Ｗ[w][v][u] ：量子化マトリックステーブル 量子化スケール：量子化を行うためのスケール値 この量子化回路１１０から出力された量子化係数データ
ＱＦ[v][u]は、逆量子化回路１１２とＶＬＣ（可変長符
号化）回路１２４とに入力される。

【００１２】逆量子化回路１１２では、量子化回路１１
０と逆の特性で逆量子化が行われ、その演算結果が復号
係数データとしてＩＤＣＴ（逆ＤＣＴ）回路１１４へと
入力される。ＩＤＣＴ回路１１４では逆ＤＣＴ処理が行
われ、その演算結果が加算器１１６の一方の入力端へ入
力される。加算器１１６のもう一方の入力端には、スイ
ッチ１３２からの出力が入力されており、上記逆ＤＣＴ
されたデータとの加算が行われる。これにより、加算器
１１６からは復号画像データが出力され、それがフレー
ムメモリ１１８へ入力される。

【００１３】上記スイッチ１３２の端子ａには“０”が
入力され、端子ｂにはＭＣ回路１２０の出力である入力
画像データの予測信号が入力されている。このスイッチ
１３２は、スイッチ１０４と連動して、予測判定回路１
３０より出力される制御信号によって制御される。

【００１４】上記フレームメモリ１１８は、加算器１１
６により得られる復号画像データを格納し、それをＭＣ
回路１２０とＭＥ回路１２２とに供給する。ＭＥ回路１
２２では、フレームメモリ１１８からの復号画像データ
と画像符号化回路１０への入力画像データとを用いて、
例えば差分の総和を使って動き検出を行い、差分の総和
が小さい動きベクトルをＭＣ回路１２０に出力する。Ｍ
Ｃ回路１２０では、このＭＥ回路１２２より供給された
動きベクトルを用いて動き補償を行い、入力画像データ
の予測信号を計算して予測誤差算出回路１０６とスイッ
チ１３２の端子ｂとに供給する。

【００１５】ＶＬＣ回路１２４では、ハフマン符号化方
式を用いてデータ量の削減を行い、その処理結果を送信
バッファ１２６へ供給する。送信バッファ１２６は、所
定の符号化ビットレートでデータを読み出し、それを図
１０のシステム多重化回路３０へ供給する。また、この
送信バッファ１２６は、バッファの充足度を表す情報を
レートコントロール回路１２８へ供給する。

【００１６】レートコントロール回路１２８は、送信バ
ッファ１２６の充足度に応じて、量子化回路１１０を制
御する量子化スケールを適宜更新し、更新した量子化ス
ケールを量子化回路１１０に供給する。すなわち、送信
バッファ１２６の充足度が小さい場合は、データ発生量
を増やすため、量子化回路１１０の量子化ステップが小
さくなるように量子化スケールを小さい値にする。一
方、送信バッファ１２６の充足度が大きい場合は、デー
タ発生量を減少させるために、量子化回路１１０の量子
化ステップが大きくなるように量子化スケールを大きい
値にする。

【００１７】

【発明が解決しようとする課題】しかしながら、このよ
うな画像符号化方式では、レートコントロール回路１２
８の制御によって発生情報量が一定になるようにしてい
るので、複雑な画像でも簡単な画像でも発生情報量がほ
ぼ同じになり、画像データの内容により画質が変化する
ことがあった。

【００１８】そのため、複数プログラムの画像データを
符号化し、これら複数の画像符号化データを１本のスト
リームに多重して固定の伝送レートで出力する場合に、
複数プログラムの画像データの中のあるプログラムの画
像データの内容によっては、他のプログラムの復号画像
はほとんど画質が劣化しないが、上記あるプログラムの
復号画像は画質が大きく劣化してしまうという問題があ
った。

【００１９】また、複数プログラムの画像データを符号
化し、新たなプログラムを追加して符号化多重化する場
合に、もとのプログラムの復号画像の画質が大きく劣化
してしまうことがあるという問題もあった。

【００２０】本発明は上記問題点を解決するために成さ
れたものであり、複数プログラムの画像データを符号化
・多重化して固定の伝送レートで出力する場合に、どの
プログラムの符号化画像データもその復号画像の画質劣
化を少なくできるようにすることを目的とする。また、
複数プログラムの画像データに新たなプログラムの画像
データを追加して符号化・多重化する場合に、元のプロ
グラムの符号化画像データの復号画像に大きな画質劣化
が生じないようにすることも目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像符号化多重化装置は、複数プログラム
の画像データを符号化する複数の画像符号化手段と、上
記複数の画像符号化手段の符号化レートをそれぞれ制御
する画像符号化制御手段と、上記複数の画像符号化手段
からの出力を多重化する多重化手段とを備える。

【００２２】本発明の他の特徴とするところは、上記画
像符号化制御手段は、上記複数の画像符号化手段の量子
化情報を用いて上記符号化レートを制御することを特徴
とする。

【００２３】本発明のその他の特徴とするところは、上
記画像符号化制御手段は、上記複数の画像符号化手段よ
り出力される量子化情報を蓄える量子化情報記憶手段
と、上記複数の画像符号化手段より出力される符号化レ
ート情報を蓄える符号化レート記憶手段と、上記量子化
情報記憶手段の出力と上記符号化レート記憶手段の出力
とに基づいて、上記複数の画像符号化手段の符号化レー
トをそれぞれ制御するレート制御手段とで構成されるこ
とを特徴とする。

【００２４】本発明のその他の特徴とするところは、上
記複数の画像符号化手段および上記多重化手段は、ＭＰ
ＥＧ方式による符号化データを生成することを特徴とす
る。

【００２５】本発明のその他の特徴とするところは、上
記複数の画像符号化手段および上記多重化手段は、ＭＰ
ＥＧ方式による符号化データを生成し、上記画像符号化
制御手段は、上記複数の画像符号化手段の量子化スケー
ルを用いて上記符号化レートを制御することを特徴とす
る。

【００２６】本発明のその他の特徴とするところは、上
記画像符号化制御手段は、上記複数の画像符号化手段の
うち、最小量子化スケールが割り当てられている画像符
号化手段の符号化レートを低くするとともに、最大量子
化スケールが割り当てられている画像符号化手段の符号
化レートを高くするように制御することを特徴とする。

【００２７】本発明のその他の特徴とするところは、上
記画像符号化制御手段は、上記複数の画像符号化手段の
総符号化レートを一定に保ちながら各画像符号化手段の
符号化レートの制御を行うことを特徴とする。

【００２８】本発明のその他の特徴とするところは、上
記画像符号化制御手段は、上記複数の画像符号化手段の
うち小さい量子化スケールが割り当てられている画像符
号化手段の符号化レートを、新たに追加される画像符号
化手段の符号化レートの分だけ低くするように制御する
ことを特徴とする。

【００２９】本発明は上記技術手段より成るので、複数
種類の画像データを符号化して多重化する際に、各々の
画像データの符号化レートが適当に制御され、各符号化
画像データについて復号画像の画質劣化が少なくなるよ
うに発生情報量が調整されるようになる。

【００３０】例えば、複数の画像符号化データを多重化
して固定レートで出力する場合に、割り当てられている
量子化スケールが小さく画質劣化がほどんどないような
画像データについては符号化レートを低くし、割り当て
られている量子化スケールが大きく画質劣化が発生しや
すい画像データについては符号化レートを高くするよう
に制御される。

【００３１】また、新たな画像符号化手段を追加した場
合には、既存の画像符号化手段に割り当てられている量
子化スケールが小さく画質劣化がほどんどないような画
像データについての符号化レートを、上記追加された画
像符号化手段の符号化レートの分だけ低くするように制
御される。

【００３２】

【発明の実施の形態】以下、図面を用いて本発明の実施
形態について説明する。図１は本発明に係る画像符号化
多重化装置の第１の実施形態を示すブロック図である。
なお、本実施形態は、ＭＰＥＧ２のビデオ符号化・シス
テム多重化に本発明を適用したものである。

【００３３】図１において、１０，１２，１４は画像符
号化回路、２０は画像符号化制御回路、３０，３２，３
４はシステム多重化回路、４０はプログラム多重化回路
である。画像符号化回路１０では、入力されたデジタル
画像データに対して、動き補償（ＭＣ）予測と離散コサ
イン変換（ＤＣＴ）とを用いてデータ量を削減する符号
化処理を行い、その処理結果をシステム多重化回路３０
へ供給する。

【００３４】システム多重化回路３０では、不図示の音
声符号化回路で符号化された音声符号化データとその他
のデータと上記画像符号化回路１０で符号化された画像
符号化データとを多重する。そして、その多重データに
同期情報・多重化情報等を付加し、１つのストリームデ
ータとしてプログラム多重化回路４０へ供給する。他の
画像符号化回路１２，１４とシステム多重化回路３２，
３４とにおいても上述した画像符号化回路１０とシステ
ム多重化回路３０と同様に動作する。

【００３５】また、画像符号化制御回路２０では、画像
符号化回路１０，１２，１４のそれぞれより得られる量
子化情報とビットレート情報とをもとに、それぞれの画
像符号化回路１０，１２，１４で符号化された画像デー
タの復号画像について画質劣化が少なくなるように、画
像符号化回路１０，１２，１４の符号化ビットレートを
それぞれ制御する。

【００３６】プログラム多重化回路４０では、各システ
ム多重化回路３０，３２，３４から入力される３つのス
トリームデータを多重し、それに各プログラム情報等を
付加して１つのストリームデータに多重化する。この多
重化のストリームとしては、ＭＰＥＧ２ではトランスポ
ートストリームがある。そして、このプログラム多重化
回路４０で多重化されたストリームデータは伝送路へ出
力される。

【００３７】次に、図１に示した画像符号化回路１０を
更に詳しく説明する。図２は、上記画像符号化回路１０
の一構成例を示すブロック図である。なお、この図２に
示す画像符号化回路１０の構成において、図１１に示し
た従来例と同一の部分については、同一の番号を付して
重複する説明を省略する。

【００３８】図２において、レートコントロール回路１
２９は、送信バッファ１２６の充足度に応じて、量子化
回路１１０を制御する量子化スケールを適宜更新し、更
新した量子化スケールを量子化回路１１０に供給する。
すなわち、送信バッファ１２６の充足度が小さい場合
は、データ発生量を増やすため、量子化回路１１０の量
子化ステップが小さくなるように量子化スケールを小さ
い値にする。一方、送信バッファ１２６の充足度が大き
い場合は、データ発生量を減少させるために、量子化回
路１１０の量子化ステップが大きくなるように量子化ス
ケールを大きい値にする。以上の動作は図１１の場合と
同じである。

【００３９】さらに本実施形態においてレートコントロ
ール回路１２９は、上記量子化スケールの１フレーム分
の平均値を算出し、それを図１の量子化情報ｓ１１とし
て、ビットレート信号ｓ１２と共に画像符号化制御回路
２０へ供給する。また、画像符号化制御回路２０からビ
ットレート制御情報ｓ１３を受け取り、そのビットレー
ト制御情報ｓ１３に基づいて量子化回路１１０を制御す
る。

【００４０】なお、図１に示した他の画像符号化回路１
２，１４もこの画像符号化回路１０と同様の構成を有
し、同様の動作をする。

【００４１】次に、上記画像符号化制御回路２０を詳細
に説明する。図３は、上記画像符号化制御回路２０の一
構成例を示すブロック図である。図３において、２２は
量子化スケールメモリ、２４はビットレートメモリ、２
６はビットレートコントローラである。

【００４２】以下に、このように構成した画像符号化制
御回路２０の動作を説明する。まず、図１の画像符号化
回路１０，１２，１４から量子化スケールメモリ２２に
量子化情報ｓ１１，ｓ２１，ｓ３１がフレーム単位で入
力される。上述のように、量子化情報とは、ＭＰＥＧで
の量子化ステップを決める量子化スケールのことであ
り、ここで入力されるのは１フレームの平均値である。

【００４３】量子化スケールメモリ２２は、ピクチャー
のかたまりである１シーケンス分の量子化情報を蓄え、
各画像符号化回路１０，１２，１４の１シーケンス当た
りの量子化スケールの平均値を算出する。

【００４４】また、ビットレートメモリ２４には、図１
の画像符号化回路１０，１２，１４から現シーケンスの
ビットレート情報ｓ１２，ｓ２２，ｓ３２が入力され、
それらが蓄えられる。

【００４５】ビットレートコントローラ２６は、上記量
子化スケールメモリ２２から各画像符号化回路１０，１
２，１４の１シーケンス当たりの平均量子化スケールを
読み出し、その読み出した情報に基づいて、ビットレー
トメモリ２４に蓄えられた各画像符号化回路１０，１
２，１４のビットレートのコントロールを行う。ここ
で、このビットレートコントローラ２６によって行われ
るビットレートコントロール動作を、図４のフローチャ
ートを用いて説明する。

【００４６】まずステップＳ１でビットレートコントロ
ーラ２６は、量子化スケールメモリ２２から読み出した
各画像符号化回路１０，１２，１４の１シーケンス当た
りの平均量子化スケールの中から最大値（Ｍａｘ）と最
小値（Ｍｉｎ）とを選択し、それらの差分を求める。

【００４７】そして、その求めた差分値が所定の値Ｍｔ
ｈ以上であれば、ステップＳ２に進む。一方、求めた差
分値が所定値Ｍｔｈよりも小さければ、ビットレートコ
ントローラ２６の処理は終了する。ここでＭｔｈは、画
像符号化制御回路２０でビットレートの変更を行うか否
かを表すＱスケール（量子化スケール）の最大値と最小
値との差のしきい値である。

【００４８】ステップＳ２では、量子化スケールメモリ
２２に蓄えられている１シーケンス当たりの各平均量子
化スケールを、量子化スケールの大きさに応じて複数に
分けられたグループ中の該当するグループにそれぞれ分
類する。ステップＳ３では、上記複数のグループの中か
ら、上記ステップＳ１で選択した平均量子化スケールの
最大値Ｍａｘと最小値Ｍｉｎの属するグループを各々選
択する。

【００４９】ステップＳ４では、上記ステップＳ３で選
択されたグループ、すなわち、上記平均量子化スケール
の最大値Ｍａｘと最小値Ｍｉｎの属するグループに分類
された平均量子化スケールの総数を各々求める。ステッ
プＳ５では、上記ステップＳ４で求めた各々の総数に応
じて、ビットレートの増減分が“０”になるように、量
子化スケールの最大値Ｍａｘのグループ内と最小値Ｍｉ
ｎのグループ内とでビットレートの変更割り当てを行
う。

【００５０】次に、上記ステップＳ１〜Ｓ５の処理の具
体例を、図５を用いて説明する。具体例の１つ目では、
図５（１）のように、画像符号化回路１０，１２，１４
において画像データがそれぞれビットレート２Ｍｂｐ
ｓ，４Ｍｂｐｓ，６Ｍｂｐｓで符号化されているものと
する。また、各画像符号化回路１０，１２，１４の１シ
ーケンス当たりの平均量子化スケールがそれぞれ２８，
５０，２２であったとする。また、ステップＳ１での比
較に用いるしきい値はＭｔｈ＝２０とする。さらに、ス
テップＳ２でのグループ分けは、図６に従って行うもの
とする。

【００５１】まずステップＳ１において、５０（平均量
子化スケールの最大値Ｍａｘ）−２２（平均量子化スケ
ールの最小値Ｍｉｎ）≧２０（しきい値Ｍｔｈ）が成り
立つので、ステップＳ２に進む。ステップＳ２では、図
６のグループ分けの図を用いると、各画像符号化回路１
０，１２，１４の１シーケンス当たりの平均量子化スケ
ール値２８，５０，２２は、それぞれグループ３、グル
ープ５、グループ２に分類される。

【００５２】ステップＳ３では、グループ５（最大値Ｍ
ａｘの属するグループ）とグループ２（最小値Ｍｉｎの
属するグループ）とが選択される。ステップＳ４では、
このようにして選択された最大値Ｍａｘの属するグルー
プ５と最小値Ｍｉｎの属するグループ２とには、他の平
均量子化スケールが分類されていないので（最大値・最
小値以外の平均量子化スケールの値は２８であり、これ
は他のグループ３に分類されている）、グループ２およ
びグループ５に分類された平均量子化スケールの総数は
各々１つと求められる。

【００５３】ステップＳ５では、上記ステップＳ４の結
果に応じて、例えば、画像符号化回路１２のビットレー
トを０．１Ｍｂｐｓ増加させて４．１Ｍｂｐｓにすると
ともに、画像符号化回路１４のビットレートを０．１Ｍ
ｂｐｓ減少させて５．９Ｍｂｐｓにする。なお、仮に、
画像符号化回路１０の平均量子化スケールもグループ２
に分類されていたら、画像符号化回路１２のビットレー
トを０．２Ｍｂｐｓ増加させるとともに、画像符号化回
路１０，１４のビットレートを０．１Ｍｂｐｓずつ減少
させる。

【００５４】具体例の２つ目は、各画像符号化回路１
０，１２，１４のビットレートおよび平均量子化スケー
ルが図５（２）に示すような状態で、しきい値Ｍｔｈと
グループの分け方とが上述した１つ目の具体例と同じで
あるとする。この場合には、４０（平均量子化スケール
の最大値Ｍａｘ）−３１（平均量子化スケールの最大値
Ｍｉｎ）＜２０（しきい値Ｍｔｈ）となり、ステップＳ
１の条件式が不成立であるので、ここで処理を終了し、
ビットレートの変更は行わない。

【００５５】図３に示したように、ビットレートコント
ローラ２６は、図４の動作を終了すると、画像符号化回
路１０，１２，１４に次のシーケンスのビットレート情
報ｓ１３，ｓ２３，ｓ３３を供給する。

【００５６】画像符号化回路１０，１２，１４は、上記
ビットレートコントローラ２６から供給されるビットレ
ート情報ｓ１３，ｓ２３，ｓ３３に基づいて次のシーケ
ンスで符号化ビットレートを変更し、画像符号化を行
う。ＭＰＥＧでは、ビットレートの変更は同一のシーケ
ンスでは行うことができない。そのため、本実施形態で
もビットレートの変更は、シーケンス終了処理を行い、
次に新しいシーケンス処理を開始してから行う。以上の
動作をシーケンス毎に繰り返して行う。

【００５７】ところで、画像符号化回路１０，１２，１
４への入力画像データとしては、例えばＴＶ会議などで
は、画像ソースとしてある時間同じような画像が続くこ
とが多い。このため、量子化スケールが大きくなるよう
なソースでは大きな画質劣化が発生しやすくなる。しか
し、本実施形態では、２つ以上のプログラムの画像デー
タを多重化して伝送する場合に、量子化スケールが小さ
く画質劣化のほとんどないソースの符号化ビットレート
を下げて、画質劣化の発生しやすいソースにその分のビ
ットレート（すなわち発生情報量）を割り振るようにし
ているので、画質劣化を少なくすることができる。

【００５８】なお、以上の実施形態では、画像符号化回
路が３個の例で説明したが、２個以上であれば同様に本
発明を適用することができる。また、以上の実施形態で
は、ＭＰＥＧを例にして説明したが、符号化ビットレー
トを可変にでき、量子化のステップを８×８画素ブロッ
クや１６×１６画素ブロック、フレーム、フィールド、
フレーム（フィールド）を集めたシーケンス単位で変え
ることができる他の画像符号化方式にも適用することが
できる。

【００５９】また、図３のビットレートコントローラ２
６では、ビットレートの変更処理を行うか否かのしきい
値Ｍｔｈを２０としたが、これ以外の数値でもかまわな
い。さらに、平均量子化スケール値のグループ分けを図
６のように行ったが、これ以外のグループの分け方をし
ても良い。また、ビットレートの変更を０．１Ｍｂｐｓ
ずつ増減させることによって行ったが、これ以外でもか
まわない。また、図４のフローチャートは一例であり、
量子化情報（量子化スケール）を用いて同じような制御
を行うものであれば、この変形でもかまわない。

【００６０】次に、本発明の画像符号化多重化装置の第
２の実施形態を説明する。図７は、第２の実施形態によ
る画像符号化多重化装置の構成例を示すブロック図であ
る。この第２の実施形態は、上述した第１の実施形態に
対して新たなストリームデータを追加させるために、画
像符号化回路１６およびシステム多重化回路３６を追加
したものである。

【００６１】すなわち、図７は、まず第１の実施形態で
述べたように画像符号化回路１０，１２，１４とシステ
ム多重化回路３０，３２，３４とで符号化・多重化動作
を行っていたところに、画像符号化回路１６とシステム
多重化回路３６とが新たに追加されるところを示したも
のである。このように新たな追加があっても、プログラ
ム多重化回路４０の出力レートは変わらないものとす
る。

【００６２】図７において、画像符号化回路１６は、第
１の実施形態で述べた画像符号化回路１０，１２，１４
と同様の構成を有し、同様の動作をする。また、システ
ム多重化回路３６も第１の実施形態で述べたシステム多
重化回路３０，３２，３４と同様のものである。

【００６３】なお、画像符号化回路１６およびシステム
多重化回路３６が追加される前の各画像符号化回路１
０，１２，１４のビットレートおよび量子化情報（１シ
ーケンス当たりの平均量子化スケール）は、図８のよう
に２Ｍｂｐｓ，４Ｍｂｐｓ，６Ｍｂｐｓとなっているも
のとし、新たに追加する画像符号化回路１６の符号化ビ
ットレートは１Ｍｂｐｓに割り当てるように設定されて
いるものとする。

【００６４】以下に、本実施形態における画像符号化制
御回路２０の動作を説明する。画像符号化制御回路２０
の構成は図３と同様であり、量子化スケールメモリ２
２、ビットレートメモリ２４の動作は第１の実施形態と
同様である。これに対してビットレートコントローラ２
６は、一例として図９のフローチャートに示す動作を行
う。

【００６５】図９において、まずステップＳ２１で、既
存の画像符号化回路１０，１２，１４の１シーケンス当
たりの平均量子化スケールの中から最小値Ｍｉｎを選択
する。次のステップＳ２２では、上記ステップＳ２１で
選択した平均量子化スケールの最小値Ｍｉｎ（または後
述のステップＳ２５で選択した小さい量子化スケール）
に対応する画像符号化回路のビットレートに対し、新た
に追加される画像符号化回路１６のビットレート（また
はその不足分）の比を求める。そして、この求めた値が
所定値Ｎ以下であればステップＳ２６に進み、所定値Ｎ
より大きければステップＳ２３に進む。

【００６６】ここで、Ｎは各画像符号化回路のビットレ
ートの可変範囲内にする係数であり、追加される前の各
画像符号化回路１０，１２，１４の総和のビットレート
＊Ｎを追加分のビットレート以内になるように、Ｎと追
加ビットレートを設定する。

【００６７】ステップＳ２３では、上記ステップ２１で
選択した平均量子化スケールの最小値Ｍｉｎ（またはス
テップＳ２５で選択した小さい量子化スケール）のビッ
トレートに上述の係数Ｎを乗じる。ステップＳ２４で
は、追加分（不足分）のビットレートから上記ステップ
Ｓ２３で求めたビットレート分を減算し、これを新たに
追加分（不足分）のビットレートとする。

【００６８】ステップＳ２５では、先に求めた平均量子
化スケールの最小値Ｍｉｎ（または小さい量子化スケー
ル）の次に小さい量子化スケールを選択する。そして、
ステップＳ２２に戻ってステップＳ２２〜Ｓ２５のルー
プ処理を繰り返す。ステップＳ２２では、一番最初はス
テップＳ２１で選択された最小値Ｍｉｎを使用するが、
２回目以降のループではステップＳ２５で選択された値
を使用する。

【００６９】一方、ステップＳ２６では、ステップＳ２
３，Ｓ２４，Ｓ２５の処理が行われた場合には、ステッ
プＳ２３で該当した画像符号化回路のビットレートから
Ｂ＊Ｎを減じた値へビットレートを変更し、さらにステ
ップＳ２６に流れてきた時のステップＳ２２に該当した
画像符号化回路のビットレートからステップＳ２２の分
子である“追加（不足）ビットレート”を減じた値へビ
ットレートを変更するのと、追加の画像符号化回路のビ
ットレートを変更する。

【００７０】以上の図９に示した各ステップの処理を図
８の場合に適用してみる。ここで、Ｎの値は例えば０．
３３とする。この場合、平均量子化スケールの最小値Ｍ
ｉｎは画像符号化回路１４のものであり、この画像符号
化回路１４の符号化ビットレートは、図９の処理によっ
て図８のように６Ｍｂｐｓから５Ｍｂｐｓへと変更され
る。そして、この変更後のビットレートに従って画像符
号化多重化を行う。

【００７１】このように、第２の実施形態では、１シー
ケンス当たりの平均量子化スケールが小さく画質劣化の
ほとんどない画像プログラムから符号化ビットレート
（発生情報量）を削減して、その削減した分を新たな画
像プログラムに割り当てるようにしているので、新たな
ストリームを追加する場合でも、追加する前の画像プロ
グラムの画質劣化を低減することができる。

【００７２】なお、図７の実施形態では、新たに追加す
る画像符号化回路が１個、追加前の画像符号化回路が３
個の例で説明したが、複数の画像符号化回路に新たに追
加するのであれば、これ以外の数でも構わない。また、
追加する画像符号化回路も、１個以上であれば同様に適
応することができる。また、図９のフローチャートは一
例であり、量子化情報（量子化スケール）を用いて同じ
ような制御を行うものであれば、この変形でもかまわな
い。

【００７３】また、図９中の係数Ｎの値は０．３３で説
明したが、これ以外の数値でもかまわない。また、適応
できる画像符号化方式については第１の実施形態と同様
である。さらに、この第２の実施形態では、多重化する
プログラムが増える例で説明したが、符号化プログラム
数は一定で、伝送路上での輻輳などに応じて伝送レート
を下げる場合でも有効である。

【００７４】

【発明の効果】以上説明したように、本発明によれば、
複数種類の画像データを符号化し、それらを多重化する
画像符号化多重化装置において、上記複数種類の画像デ
ータの符号化レートをそれぞれ制御する画像符号化制御
手段を設けたので、複数種類の画像データを符号化する
際に、各々の画像データの符号化レートを適当に制御し
て各画像データの画質劣化が少なくなるようにすること
ができる。

【００７５】これにより、例えば、複数プログラムで画
像符号化を行い、それらの画像符号化データを１つのス
トリームに多重化して固定レートで伝送する場合に、画
質劣化の少ないようなプログラムによる画像符号化デー
タの発生情報量を一部減らし、その減らした分を画質劣
化の大きいプログラムによる画像符号化データに割り当
てるようにすることができ、画質劣化の大きいようなプ
ログラムでの画質劣化を少なくすることができる。よっ
て、どのプログラムの符号化画像データでも良好な復号
画像を得ることができる。

【００７６】また、複数プログラムで画像符号化を行
い、それらの画像符号化データを１つのストリームに多
重化して伝送している状態で、追加プログラムによる画
像符号化データを新たに多重化したり、伝送レートを下
げたりした場合に、画質劣化の少ないようなプログラム
による画像符号化データの発生情報量を一部減らすこと
により、追加プログラムへの情報量割り当てを行ったり
伝送レートを下げたりしても、元のプログラムでの画質
劣化を低減することができる。

【図面の簡単な説明】

【図１】本発明の画像符号化多重化装置の第１の実施形
態を示すブロック図である。

【図２】図１の画像符号化回路の構成例を示すブロック
図である。

【図３】図１の画像符号化制御回路の構成例を示すブロ
ック図である。

【図４】図３のビットレートコントローラによる第１の
実施形態の動作を説明するためのフローチャートであ
る。

【図５】図４のフローチャートを説明するための図であ
る。

【図６】図４のフローチャートを説明するための図であ
る。

【図７】本発明の画像符号化多重化装置の第２の実施形
態を示すブロック図である。

【図８】図７の画像符号化多重化装置の動作を説明する
ための図である。

【図９】図３のビットレートコントローラによる第２の
実施形態の動作を説明するためのフローチャートであ
る。

【図１０】画像符号化多重化装置の従来例を示すブロッ
ク図である。

【図１１】図１０の画像符号化回路の従来例を示すブロ
ック図である。

【符号の説明】

１０，１２，１４，１６ 画像符号化回路 ２０ 画像符号化制御回路 ２２ 量子化スケールメモリ ２４ ビットレートメモリ ２６ ビットレートコントローラ ３０，３２，３４，３６ システム多重化回路 ４０ プログラム多重化回路 １２９ レートコントロール回路

Claims (8)

【特許請求の範囲】
1. 【請求項１】 複数プログラムの画像データを符号化す
   る複数の画像符号化手段と、 上記複数の画像符号化手段の符号化レートをそれぞれ制
   御する画像符号化制御手段と、 上記複数の画像符号化手段からの出力を多重化する多重
   化手段とを備えたことを特徴とする画像符号化多重化装
   置。
2. 【請求項２】 上記画像符号化制御手段は、上記複数の
   画像符号化手段の量子化情報を用いて上記符号化レート
   を制御することを特徴とする請求項１に記載の画像符号
   化多重化装置。
3. 【請求項３】 上記画像符号化制御手段は、上記複数の
   画像符号化手段より出力される量子化情報を蓄える量子
   化情報記憶手段と、 上記複数の画像符号化手段より出力される符号化レート
   情報を蓄える符号化レート記憶手段と、 上記量子化情報記憶手段の出力と上記符号化レート記憶
   手段の出力とに基づいて、上記複数の画像符号化手段の
   符号化レートをそれぞれ制御するレート制御手段とで構
   成されることを特徴とする請求項１に記載の画像符号化
   多重化装置。
4. 【請求項４】 上記複数の画像符号化手段および上記多
   重化手段は、ＭＰＥＧ方式による符号化データを生成す
   ることを特徴とする請求項１〜３の何れか１項に記載の
   画像符号化多重化装置。
5. 【請求項５】 上記複数の画像符号化手段および上記多
   重化手段は、ＭＰＥＧ方式による符号化データを生成
   し、 上記画像符号化制御手段は、上記複数の画像符号化手段
   の量子化スケールを用いて上記符号化レートを制御する
   ことを特徴とする請求項１〜３の何れか１項に記載の画
   像符号化多重化装置。
6. 【請求項６】 上記画像符号化制御手段は、上記複数の
   画像符号化手段のうち、最小量子化スケールが割り当て
   られている画像符号化手段の符号化レートを低くすると
   ともに、最大量子化スケールが割り当てられている画像
   符号化手段の符号化レートを高くするように制御するこ
   とを特徴とする請求項５に記載の画像符号化多重化装
   置。
7. 【請求項７】 上記画像符号化制御手段は、上記複数の
   画像符号化手段の総符号化レートを一定に保ちながら各
   画像符号化手段の符号化レートの制御を行うことを特徴
   とする請求項６に記載の画像符号化多重化装置。
8. 【請求項８】 上記画像符号化制御手段は、上記複数の
   画像符号化手段のうち小さい量子化スケールが割り当て
   られている画像符号化手段の符号化レートを、新たに追
   加される画像符号化手段の符号化レートの分だけ低くす
   るように制御することを特徴とする請求項５に記載の画
   像符号化多重化装置。