JPH11262008A - 符号化装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 MPEGにより符号化処理した画像データを多重
化して伝送する場合に、最低ビットレートを低く設定し
ても、遅延時間を短く維持できるようにする。 【解決手段】 VBVバッファの容量をvbv_size(0)とする
とき、このVBVバッファにより最大の遅延時間τ_maxが与
えられるときのビットレートをbit_rate(0)とする。設
定されるビットレートbit_rateが基準のビットレートbi
t_rate(0)より小さいとき、VBVバッファの使用可能範囲
をvbv_size(2)＝bit_rate／bit_rate(0)として設定す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化装置及び方
法に関し、例えばMPEG（Moving Picture ExpertsGrou
p）の手法により符号化処理した画像データを多重化し
て伝送する場合において、最低ビットレートを低く設定
しても、VBV（Video Buffering Verifier）バッファに
おける遅延時間を短く維持することができるようにし、
もって、放送など、リアルタイムでの処理を可能にする
符号化装置及び方法に関する。

【０００２】

【従来の技術】衛星放送に代表されるディジタル放送に
おいては、例えばMPEG（Moving Picture Experts Grou
p）の手法によりデータ圧縮された複数のプログラム
が、統計多重の手法により、その伝送レートが動的に変
化されて多重化される。これにより、限られた伝送レー
トを有効に利用して、全体として高画質のプログラムが
伝送できる。

【０００３】すなわち、図１に示すように、固定レート
により例えば３つのプログラムを多重化する場合、各プ
ログラムは、事前に設定された一定のレートにより伝送
される。ここで各プログラムに割り当てられる伝送レー
トは、各プログラムにおいて、伝送レートを低減した際
に、最も画質劣化が知覚され易い箇所でも、所定の画質
が維持されるように割り当てられる。従って、この固定
レートによる多重化においては、画質劣化が知覚困難な
部分に、必要以上のレートが割り当てられることにな
る。

【０００４】これに対して、図２に示すように、統計多
重の手法により、例えば４つのプログラムを多重化する
場合、複数のプログラムの、画質劣化が知覚され易い箇
所は同時に発生し難いことを利用して、各プログラムの
伝送レートが動的に変化される。これにより、画質の劣
化が知覚困難な部分に必要以上にレートを割り当てる必
要がなくなり、その分のレートを、他のプログラムに振
り分けることにより、全体として、画質を劣化させるこ
となく、伝送効率を向上させることができる。

【０００５】ところでこのように統計多重によりビット
レートを変更して種々のプログラムを伝送する場合、デ
コーダ（画像復号装置）側で連続する映像を途切れるこ
となく（以下シームレースと称する）デコードできるよ
うにするために、エンコーダ（画像符号化装置）側で、
ビットレートを制御する必要がある。すなわち画像復号
装置側の、伝送されてきたデータを一時的に保持する所
謂VBV（Video Buffering Verifier）バッファ（仮想的
なバッファ）が、オーバーフローしたり、アンダーフロ
ーしないように、ビットレートを制御する必要がある。

【０００６】特に、放送または通信などのアプリケーシ
ョンにおいては、DVD（Digital Versatile Disk）のよ
うな蓄積メディアの場合と違って、ビットストリームの
読み出しを、デコーダ側では制御できないので、画像符
号化装置側において、VBVのバッファのデータ量を制御
する必要がある。

【０００７】例えば、図３に示すような、画像符号化装
置８１より出力されるビットストリームを、出力バッフ
ァ８２を介して伝送路へ伝送し、入力バッファ８３を介
して画像復号装置８４によりデコードするデジタル放送
システムにおいて、シームレスなビットレートの変更を
可能にするには、画像符号化装置８１がエンコードした
データを出力バッファ８２に書き込んだ後、画像復号装
置８４が対応するデータを入力バッファ８３から読み出
すまでの遅延時間τが、ビットレートに拘らず、常に一
定になるようにすればよい。このように、ビットレート
を制御すれば、VBVバッファとしての入力バッファ８３
には、常に一定のトランスポートストリームデータが保
持される。従って、入力バッファ８３がオーバーフロー
したり、アンダーフローすることを防止することがで
き、シームレースにビットレートを制御することができ
る。

【０００８】VBVバッファによる遅延時間は、トランス
ポートストリームのビットレートが最低のビットレート
min_bit_rate のときに最も大きくなり、その値は、vbv
_size(0)／min_bit_rate となる。なお、ここでvbv_siz
e(0)は、VBVバッファの容量である。従って、図３の遅
延時間τのうちの最小の遅延時間τ_minは、このVBVバッ
ファの遅延時間vbv_size(0)／min_bit_rate に、固定値
である回線遅延時間ｔd を加えた、次式により表され
る。

【０００９】τ_min＝vbv_size(0)／min_bit_rate＋ｔｄ

【００１０】トランスポートストリームのビットレート
bit_rateが最低ビットレートmin_bit_rate よりも大き
い場合、遅延時間τは、遅延時間τ_minより小さくなる
が、このとき、FIFO（First In First Out）などを使っ
てデータを遅延させることにより、遅延時間τを、遅延
時間τ_minと一致させる（すなわち、遅延時間τを一定
にする）ことができる。

【００１１】上記式から明らかなように、この遅延時間
τ_minは、最低ビットレートmin_bit_rate が小さくなる
ほど大きくなる。例えば、MPEG-2のMP@ML（この場合、V
BVバッファの容量は、約１．８〔Ｍｂｉｔ〕となる）に
おいて、上記式の第１項のVBVバッファの遅延時間（vbv
_size(0)／min_bit_rate）は、最低ビットレートmin_bi
t_rateを３．０〔Ｍｂｐｓ〕に設定すると、０．６〔ｓ
ｅｃ〕（＝１．８〔Ｍｂｉｔ〕／３．０〔Ｍｂｉｔ／ｓ
ｅｃ〕）になり、最低ビットレートmin_bit_rateを０．
５〔Ｍｂｐｓ〕とすると、３．６〔ｓｅｃ〕（＝１．８
〔Ｍｂｉｔ〕／０．５〔Ｍｂｉｔ／ｓｅｃ〕）となる。

【００１２】このようにして得られるVBVバッファの遅
延時間vbv_size(0)／min_bit_rateに、回線（伝送路）
による遅延時間ｔd 、エンコードとデコード自体にかか
る遅延時間を加算し、映像信号が画像符号化装置に入力
されてから、画像復号装置から復号されて出力されるま
での全体の遅延時間を具体的に計算すると、４秒乃至５
秒になる。

【００１３】このような大きな遅延時間は、例えば放送
された内容をモニタにより確認しながら受け答えするよ
うな生放送等においては、違和感が生じ、大きな障害と
なることから、この種の遅延時間τは、できるだけ短い
ことが望まれる。

【００１４】

【発明が解決しようとする課題】この遅延時間τを短く
する方法として、最低ビットレートmin_bit_rate の値
を大きな値に設定し、この最低ビットレートmin_bit_ra
te 以上の伝送速度によりトランスポートストリームを
伝送する方法が考えられる。しかしながら、このように
すると、トランスポートストリームの伝送速度を速くし
なければならず、実質的に、ビットレートを動的に変化
させることができる範囲が狭くなり、全体として画質を
向上させる統計多重の利点を充分に生かし切れなくな
る。

【００１５】本発明はこのような状況に鑑みてなされた
もので、最低ビットレートを低く設定しても遅延時間を
短く維持することができ、もって、統計多重の利点を生
かして、全体として画質を向上させることができるよう
にするものである。

【００１６】

【課題を解決するための手段】請求項１に記載の符号化
装置は、指定ビットレートに基いて、各ピクチャに対し
て割り当てられる目標ビット量をそれぞれ演算する制御
手段と、制御手段によって制御された目標ビット量に基
いて、符号化対象ピクチャを符号化する符号化手段と、
符号化手段から出力されるビットストリームのビット量
を検証するための仮想バッファ手段とを備え、制御手段
は、符号化対象ピクチャを符号化する場合に、指定ビッ
トレートが第１のビットレートから第２のビットレート
に変更されたときには、第２のビットレートに応じて仮
想バッファの使用可能範囲を規定すると共に、符号化手
段から出力されるビットストリームのデータ占有量が使
用可能範囲内になるように、符号化手段に供給される目
標ビット量を制御することを特徴とする。

【００１７】請求項１５に記載の符号化装置は、指定ビ
ットレートに基いて、各ピクチャに対して割り当てられ
る目標ビット量をそれぞれ演算する制御手段と、制御手
段によって制御された目標ビット量に基いて、符号化対
象ピクチャを符号化する符号化手段と、符号化手段から
出力されるビットストリームのビット量を検証するため
の仮想バッファ手段とを備え、制御手段は、仮想バッフ
ァの遅延量が予め設定された規定遅延時間以上にならな
いように、該規定遅延時間と指定ビットレートに応じて
仮想バッファの使用可能範囲を規定すると共に、符号化
手段から出力されるビットストリームのデータ占有量が
使用可能範囲内になるように、符号化手段を制御するこ
とを特徴とする。

【００１８】請求項１６に記載の符号化装置は、指定ビ
ットレートに基いて、各ピクチャに対して割り当てられ
る目標ビット量をそれぞれ演算する制御手段と、制御手
段によって制御された目標ビット量に基いて、符号化対
象ピクチャを符号化する符号化手段と、符号化手段から
出力されるビットストリームのビット量を検証するため
の仮想バッファ手段とを備え、制御手段は、指定ビット
レートが、仮想バッファのサイズと予め設定された規定
遅延時間によって定義される規定ビットレート以下に変
更された場合には、変更された指定ビットレートに応じ
て仮想バッファの使用可能範囲を規定すると共に、符号
化手段から出力されるビットストリームのデータ占有量
が使用可能範囲内に制限されるように、符号化手段を制
御することを特徴とする。

【００１９】請求項１７に記載の符号化方法は、指定ビ
ットレートに基いて、各ピクチャに対して割り当てられ
る目標ビット量をそれぞれ演算する制御工程と、制御工
程によって制御された目標ビット量に基いて、符号化対
象ピクチャを符号化する符号化工程と、符号化工程から
出力されるビットストリームのビット量を検証するため
の仮想バッファ工程とを備え、制御工程において、符号
化対象ピクチャを符号化する場合に指定ビットレートが
第１のビットレートから第２のビットレートに変更され
たときには、第２のビットレートに応じて仮想バッファ
の使用可能範囲を規定すると共に、符号化工程から出力
されるビットストリームのデータ占有量が使用可能範囲
内になるように、符号化工程に供給される目標ビット量
を制御することを特徴とする。

【００２０】請求項１８に記載の符号化方法は、指定ビ
ットレートに基いて、各ピクチャに対して割り当てられ
る目標ビット量をそれぞれ演算する制御工程と、制御工
程によって制御された目標ビット量に基いて、符号化対
象ピクチャを符号化する符号化工程と、符号化工程から
出力されるビットストリームのビット量を検証するため
の仮想バッファ工程とを備え、制御工程において、仮想
バッファの遅延量が予め設定された規定遅延時間以上に
ならないように、該規定遅延時間と指定ビットレートに
応じて仮想バッファの使用可能範囲を規定すると共に、
符号化工程から出力されるビットストリームのデータ占
有量が使用可能範囲内になるように、符号化工程を制御
することを特徴とする。

【００２１】請求項１９に記載の符号化方法は、指定ビ
ットレートに基いて、各ピクチャに対して割り当てられ
る目標ビット量をそれぞれ演算する制御工程と、制御工
程によって制御された目標ビット量に基いて、符号化対
象ピクチャを符号化する符号化工程と、符号化工程から
出力されるビットストリームのビット量を検証するため
の仮想バッファ工程とを備え、制御工程において、指定
ビットレートが、仮想バッファのサイズと予め設定され
た規定遅延時間によって定義される規定ビットレート以
下に変更された場合には、変更された指定ビットレート
に応じて仮想バッファの使用可能範囲を規定すると共
に、符号化工程から出力されるビットストリームのデー
タ占有量が使用可能範囲内に制限されるように、符号化
工程を制御することを特徴とする。

【００２２】請求項１に記載の符号化装置においては、
符号化対象ピクチャを符号化する場合、指定ビットレー
トが第１のビットレートから第２のビットレートに変更
されたとき、第２のビットレートに応じて仮想バッファ
の使用可能範囲が規定され、ビットストリームのデータ
占有量が使用可能範囲内になるように、目標ビット量が
制御される。

【００２３】請求項１５に記載の符号化装置において
は、仮想バッファの遅延量が予め設定された規定遅延時
間以上にならないように、規定遅延時間と指定ビットレ
ートに応じて仮想バッファの使用可能範囲が規定される
と共に、ビットストリームのデータ占有量が使用可能範
囲内になるように、符号化手段が制御される。

【００２４】請求項１６に記載の符号化装置において
は、指定ビットレートが、仮想バッファのサイズと予め
設定された規定遅延時間によって定義される規定ビット
レート以下に変更された場合、変更された指定ビットレ
ートに応じて仮想バッファの使用可能範囲が規定される
と共に、ビットストリームのデータ占有量が使用可能範
囲内に制限されるように、符号化手段が制御される。

【００２５】請求項１７に記載の符号化方法において
は、指定ビットレートが第１のビットレートから第２の
ビットレートに変更された場合、第２のビットレートに
応じて仮想バッファの使用可能範囲が規定されると共
に、ビットストリームのデータ占有量が使用可能範囲内
になるように、目標ビット量が制御される。

【００２６】請求項１８に記載の符号化方法において
は、仮想バッファの遅延量が予め設定された規定遅延時
間以上にならないように、規定遅延時間と指定ビットレ
ートに応じて仮想バッファの使用可能範囲が規定される
と共に、ビットストリームのデータ占有量が使用可能範
囲内になるように、符号化工程が制御される。

【００２７】請求項１９に記載の符号化方法において
は、指定ビットレートが、仮想バッファのサイズと予め
設定された規定遅延時間によって定義される規定ビット
レート以下に変更された場合、変更された指定ビットレ
ートに応じて仮想バッファの使用可能範囲が規定される
と共に、ビットストリームのデータ占有量が使用可能範
囲内に制限されるように、符号化工程が制御される。

【００２８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図４は、本発明を適
用した画像多重化システム１の構成例を表す。画像多重
化システム１は、それぞれ、本発明における番組データ
としてのプログラムＰ_i（ｉ＝１，２，・・・，ｎ）を
入力し、圧縮符号化する複数の画像符号化装置２−ｉ
と、各画像符号化装置２−ｉに対してフィードバック型
のビットレート制御を行うコントローラ３と、各画像符
号化装置２−ｉよりそれぞれ出力される圧縮符号化デー
タｓｔ_iを多重化して、伝送路に対して画像データＳ_mを
出力する多重化装置４とを備えている。画像符号化装置
２−ｉは、プログラムＰ_iの複雑さ（グローバルコンプ
レクシティ）Ｃ_iを求め、コントローラ３に出力してい
る。コントローラ３は、各画像符号化装置２−ｉからの
グローバルコンプレクシティＣ_iに基づいて、統計多重
により、各画像符号化装置２−ｉのビットレートbit_ra
te#iを決定し、各画像符号化装置２−ｉに出力してい
る。

【００２９】画像多重化システム１は、伝送システムと
して用いられる場合には、多重化装置４より出力される
画像データＳ_mを、伝送用データとして伝送路に対して
出力する。また、画像多重化システム１は、放送システ
ムとして用いられる場合には、多重化装置４より出力さ
れる画像データＳ_mを、放送用データとして、放送用の
伝送路を介して受信装置側に送信する。

【００３０】図５は、図４における画像符号化装置２−
１（図示は省略するが、画像符号化装置２−２乃至２−
ｎも同様に構成される）の詳細な構成を示すブロック図
である。この図に示したように、画像符号化装置２−１
は、プログラムＰ₁を入力し、符号化する順番に従って
ピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順
番を並べ替える画像並べ替え回路１１と、この画像並べ
替え回路１１の出力データを入力し、フレーム構造かフ
ィールド構造かを判別し、判別結果に応じた走査変換を
行うとともに、１６×１６画素のマクロブロック化を行
う走査変換マクロブロック化回路１２を備える。動き検
出回路２１は、走査変換マクロブロック化回路１２の出
力データに基づいて、圧縮符号化の対象となるピクチャ
において注目マクロブロックを探すとともに、参照され
るピクチャにおいて、注目マクロブロックとの間の画素
値の差分の絶対値和あるいは自乗和が最小となるマクロ
ブロック（予測マクロブロック）を探して、それらか
ら、動きベクトルＭＶを検出して動き補償回路２２に送
る。

【００３１】減算回路１３は、走査変換マクロブロック
化回路１２の出力から、動き補償回路２２が動き検出回
路２１からの動きベクトルＭＶに基づいて生成した予測
画像データ（予測マクロブロック）を減算し、DCT（Dis
crete Cosine Transform）回路１４に出力する。DCT回
路１４は、入力されたデータをDCT変換し、量子化回路
１５に出力する。量子化回路１５は、DCT回路１４より
入力されたデータを、レートコントローラ２３の量子化
スケールコード決定回路３３が出力する量子化スケール
コードＱ₁に基づいて量子化し、可変長符号化回路１６
と、逆量子化回路１８に出力している。

【００３２】可変長符号化回路１６は、量子化回路１５
より入力されたデータを可変長符号化し、バッファメモ
リ１７を介して多重化装置４に出力する。バッファメモ
リ１７の使用可能な容量は、コントローラ２４により制
御される。

【００３３】逆量子化回路１８は、量子化回路１５より
供給されたデータを逆量子化し、逆DCT回路１９に出力
する。逆DCT回路１９は、逆量子化回路１８より供給さ
れたデータを逆DCT変換し、加算回路２０に出力してい
る。加算回路２０は、動き補償回路２２より出力された
予測画像データと、逆DCT回路１９より出力されたデー
タとを加算し、加算して得られたもとの画像データ（局
部的に復号された画像データ）を動き補償回路２２に出
力し、内蔵するフレームメモリに記憶させる。

【００３４】レートコントローラ２３は、図４のコント
ローラ３からの信号bit_rate#1と、バッファメモリ１７
からの発生符号量Ｓ₁に基づいて量子化スケールコード
Ｑ₁を生成し、量子化回路１５に出力している。このた
め、レートコントローラ２３の複雑さ計算回路３１は、
次式に従ってグローバルコンプレクシティ（global com
lpexity）Ｃ₁（次式では、Ｘｉ，Ｘｐ，Ｘｂとして表さ
れている）を算出する。このグローバルコンプレクシテ
ィＣ₁は、画像の絵柄の複雑さを示すデータであり、次
式に示すように、圧縮映像データの発生符号量（データ
量）Ｓ₁（バッファメモリ１７より供給される）と、量
子化スケールコードＱ₁（量子化スケールコード決定回
路３３より供給される）とを乗算して得られる値であ
る。 Ｘｉ＝Ｓｉ×Ｑｉ ・・・（１） Ｘｐ＝Ｓｐ×Ｑｐ ・・・（２） Ｘｂ＝Ｓｂ×Ｑｂ ・・・（３）

【００３５】なお、上記式において、Ｘｉ，Ｘｐ，Ｘｂ
は、それぞれ、Ｉピクチャ、Ｐピクチャ、またはＢピク
チャのグローバルコンプレクシティＣ₁を表し、Ｓｉ，
Ｓｐ，Ｓｂは、それぞれＩピクチャ、Ｐピクチャ、また
はＢピクチャを可変長符号化回路１６で符号化した際の
発生符号量Ｓ₁を表し、Ｑｉ，Ｑｐ，Ｑｂは、それぞれ
Ｉピクチャ、Ｐピクチャ、またはＢピクチャを生成する
際の量子化スケールコードＱ₁を表す。

【００３６】このグローバルコンプレクシティＣ₁は、
図１７と図１８を参照して後述するフィードフォワード
型のビットレート制御システムにおいて用いられる符号
化難易度Ｄ₁とは必ずしも一致しないが、量子化スケー
ルコードＱ₁が極端に大きかったり小さかったりしない
限り、符号化難易度Ｄ₁とほぼ一致する。

【００３７】複雑さ計算回路３１は、以上のようにし
て、式（１）乃至式（３）に基づいて演算により求めた
コンプレクシティＣ₁（Ｘｉ，Ｘｐ，Ｘｂ）を、図４の
コントローラ３に出力し、また、発生符号量Ｓ₁（Ｓ
ｉ，Ｓｐ，Ｓｂ）とともに、目標ビット量設定回路３２
に出力する。目標ビット量設定回路３２は、コントロー
ラ３より供給される信号bit_rate#1、複雑さ計算回路３
１より供給されるコンプレクシティＣ₁（Ｘｉ，Ｘｐ，
Ｘｂ）、並びに発生符号量Ｓ₁（Ｓｉ，Ｓｐ，Ｓｂ）に
基づいて、目標ビット量Ｔ₁を設定し、設定した目標ビ
ット量Ｔ₁を量子化スケールコード決定回路３３に出力
する。量子化スケールコード決定回路３３は、入力され
た目標ビット量Ｔ₁に対応して量子化スケールコードＱ₁
を決定し、量子化回路１５と複雑さ計算回路３１に出力
している。

【００３８】次に、図４に示した画像多重化システム１
の動作について説明する。この画像多重化システム１で
は、各プログラムＰ_iは、それぞれ、各画像符号化装置
２−ｉによって符号化される。画像符号化装置２−ｉ
は、プログラムＰ_iについて、既に符号化した画像の複
雑さを表すグローバルコンプレクシティＣ_iを演算し、
コントローラ３に出力する。コントローラ３は、統計多
重の手法を用いて、入力された各グローバルコンプレク
シティＣ_iに基づいて、各プログラムＰ_iに対する単位時
間当たりの目標発生符号量である目標符号レートとして
の目標ビットレートbit_rate#iを決定し、各画像符号化
装置２−ｉに対して出力する。画像符号化装置２−ｉ
は、入力された目標ビットレートbit_rate#iに基づい
て、プログラムＰ_iを圧縮符号化し、圧縮符号化データ
ｓｔ_iを多重化装置４に出力する。多重化装置４は、入
力された各圧縮符号化データｓｔ_iを多重化して、出力
用の画像データＳ_mを生成し、伝送路に対して出力す
る。

【００３９】次に、図５に示した画像符号化装置２−１
の基本的な動作について説明する。まず、プログラムＰ
₁は、画像符号化装置２−１の画像並べ替え回路１１に
よって、符号化する順番に従ってピクチャ（Ｉピクチ
ャ，Ｐピクチャ，Ｂピクチャ）の順番が並べ替えられ
る。次に、走査変換マクロブロック化回路１２は、その
ピクチャがフレーム構造かフィールド構造かを判別し、
判別結果に応じた走査変換およびマクロブロック化を行
う。走査変換マクロブロック化回路１２の出力データ
は、動き検出回路２１と減算回路１３に送られる。

【００４０】入力されたピクチャがＩピクチャの場合に
は、減算回路１３において予測画像データとの差分をと
ることなく、走査変換マクロブロック化回路１２の出力
データがそのままDCT回路１４に入力され、DCT係数に変
換される。DCT係数は、量子化スケールコード決定回路
３３で決定された量子化スケールコードＱ₁に基づいて
量子化回路１５によって量子化された後、可変長符号化
回路１６によって可変長符号化される。可変長符号化回
路１６の出力データは、バッファメモリ１７によって一
旦保持された後、ビットストリームからなる圧縮符号化
データｓｔ₁として、多重化装置４に出力される。

【００４１】また、逆量子化回路１８は量子化回路１５
の出力データを逆量子化する。逆DCT回路１９は逆量子
化回路１８の出力データに対して逆DCTを行い、加算回
路２０を介して動き補償回路２２に入力して保持させ
る。

【００４２】入力されたピクチャがＰピクチャの場合に
は、動き補償回路２２によって、保持している過去のＩ
ピクチャまたはＰピクチャに対応する画像データと、動
き検出回路２１からの動きベクトルＭＶとに基づいて予
測画像データが生成され、予測画像データが減算回路１
３と加算回路２０に出力される。減算回路１３は、走査
変換マクロブロック化回路１２の出力データと動き補償
回路２２からの予測画像データとの差分を演算する。こ
の差分データは、DCT回路１４によってDCT係数に変換さ
れ、量子化回路１５によって量子化される。可変長符号
化回路１６は、量子化回路１５の出力データを可変長符
号化し、バッファメモリ１７を介して、圧縮符号化デー
タＳｔ₁として、多重化装置４に出力する。

【００４３】また、逆量子化回路１８は、量子化回路１
５の出力データを逆量子化する。逆DCT回路１９は、逆
量子化回路１８の出力データに対して逆DCTを行う。加
算回路２０は、逆DCT回路１９の出力データと、動き補
償回路２２が出力する予測画像データとを加算し、動き
補償回路２２に入力して保持させる。

【００４４】入力されたピクチャがＢピクチャの場合に
は、動き補償回路２２によって、保持されている過去お
よび未来のＩピクチャまたはＰピクチャに対応する２つ
の画像データと、動き検出回路２１からの２つの動きベ
クトルＭＶとに基づいて、予測画像データが生成され、
減算回路１３と加算回路２０に出力される。減算回路１
３は、走査変換マクロブロック化回路１２の出力データ
と動き補償回路２２からの予測画像データとの差分を演
算する。この差分データは、DCT回路１４によってDCT係
数に変換され、量子化回路１５によって量子化される。
可変長符号化回路１６は、量子化回路１５の出力データ
を可変長符号化し、バッファメモリ１７を介して圧縮符
号化データｓｔ₁として、多重化装置４に出力する。な
お、Ｂピクチャは動き補償回路２２に保持されない。

【００４５】次に、図６と図７のフローチャートを参照
して、レートコントローラ２３とコントローラ２４によ
るレートコントロールの動作について説明する。なお、
以下の説明においては、各プログラムＰ_iに対応する発
生符号量Ｓ_i、グローバルコンプレクシティＣ_i、目標ビ
ット量Ｔ_i、量子化スケールコードＱｉ、圧縮符号化デ
ータｓｔ_i、ビットレートbit_rate#iなどの添字ｉは、
記号が複雑になるので、それらを個々に区別する必要が
ある場合を除き、基本的に省略する。

【００４６】ステップＳ１において、レートコントロー
ラ２３の目標ビット量設定回路３２は、次の式（４）乃
至式（６）に基づいて、GOP（通常、１GOPは１５フレー
ムのピクチャで構成される）のピクチャ（ｊ）に対する
目標符号量Ｔｉ（ｊ），Ｔｐ（ｊ），Ｔｂ（ｊ）をそれ
ぞれ演算する。

【００４７】

【数１】

【００４８】上記式において、Ｒ（ｊ）は、GOP内のま
だ符号化していない（これから符号化する）ピクチャの
符号量（ビット量）を表し、Ｎｐ，Ｎｂは、GOP内でま
だ符号化されていないＰピクチャまたはＢピクチャの枚
数を表し、Ｘｉ，Ｘｐ，Ｘｂは、それぞれＩピクチャ、
Ｐピクチャ、またはＢピクチャのグローバルコンプレク
シティＣを表している。ＫｐとＫｂは、Ｉピクチャの量
子化スケールコードを基準としたＰピクチャとＢピクチ
ャの量子化スケールコードの比率を表し、次式で示す値
とされる。＄ Ｋｐ＝１．０ ・・・（７） Ｋｂ＝１．４ ・・・（８）

【００４９】すなわち、Ｐピクチャの量子化スケールコ
ードは、Ｉピクチャの量子化スケールコードの１倍とさ
れるが、Ｂピクチャの量子化スケールコードは、Ｉピク
チャとＰピクチャの量子化スケールコードの常に１．４
倍とされる。これにより、Ｂピクチャが、Ｉピクチャま
たはＰピクチャに比較して、多少粗めに符号化されるの
で、Ｂピクチャで節約できる符号量をＩピクチャとＰピ
クチャの符号量に加えることができ、ＩピクチャとＰピ
クチャのＳ／Ｎが改善されるとともに、それを参照する
ＢピクチャのＳ／Ｎも改善されることとなり、総合的に
Ｓ／Ｎが改善される。

【００５０】なお、コンプレクシティＸｉ，Ｘｐ，Ｘｂ
の初期値は、目標レートであるbit_rate（ｊ）（ビット
／秒）に基づいて次式で示す値に設定される。

【００５１】 Ｘｉ＝１６０×bit_rate（ｊ）／１１５ ・・・（９） Ｘｐ＝６０×bit_rate（ｊ）／１１５ ・・・（１０） Ｘｂ＝４２×bit_rate（ｊ）／１１５ ・・・（１１）

【００５２】bit_rate（ｊ）は、コントローラ３よりピ
クチャ（ｊ）に対して指定されるビットレートを表す。
pic_rateは、ピクチャレートを表し、例えば、NTSC方式
の場合、３０（フレーム／秒）となる。さらに、max{A,
B}は、ＡとＢのうち、大きい方を選択する関数を意味す
る。

【００５３】Ｒ（ｊ），Ｎｐ，Ｎｂ，Ｋｐ，Ｋｂ，pic_
rateの各値は、それぞれ各画像符号化装置２−ｉ毎に設
けられているコントローラ２４（図５）から供給される
値である。Ｘｉ，Ｘｐ，Ｘｂは、上述したように、複雑
さ計算回路３１が式（１）乃至式（３）に従って演算し
た値である。

【００５４】式（４）乃至（６）では、未符号化ピクチ
ャ全体の発生する推定符号量が割当対象ピクチャの何枚
分の符号量に相当するかが求められる。

【００５５】例えば、式（４）の第１引数の分母の第２
項のＮｐＸｐ／ＸｉＫｐは、GOP内のＮｐ枚の未符号化
Ｐピクチャが、Ｉピクチャ何枚分の符号量に相当するか
を表し、第３項のＮｂＸｂ／ＸｉＫｂは、GOP内のＮｂ
枚の未符号化Ｂピクチャが、Ｉピクチャ何枚分の符号量
に相当するかを表している。第１項の１は、GOP内のＩ
ピクチャの数を表している（１GOP内のＩピクチャの数
は、常に１とされている）ので、結局、式（４）の第１
引数は、GOP内の残りの（Ｎ−ｊ＋１）枚のピクチャ
が、全てＩピクチャであると仮定した場合における１ピ
クチャ当たりの符号量を表している。

【００５６】同様に、式（５）の第１引数の分母の第２
項のＮｂＫｐＸｂ／ＫｂＸｐは、GOP内のＮｂ枚の未符
号化Ｂピクチャが、Ｐピクチャ何枚分の符号量に相当す
るかを表している。従って、式（５）の第１の引数は、
GOP内の残りの（Ｎ−ｊ＋１）枚のピクチャが、全てＰ
ピクチャであると仮定した場合における１ピクチャ当た
りの符号量を表している。

【００５７】さらに、式（６）の第１引数の分母の第２
項のＮｐＫｂＸｐ／ＫｐＸｂは、GOP内のＮｐ枚の未符
号化Ｐピクチャが、Ｂピクチャ何枚分の符号量に相当す
るかを表しており、第１の引数は、GOP内の残りの（Ｎ
−ｊ＋１）枚のピクチャが、全てＢピクチャであると仮
定した場合における１ピクチャ当たりの符号量を表して
いる。

【００５８】基本的には、式（４）乃至式（６）の第１
引数の値に、Ｉピクチャ、Ｐピクチャ、またはＢピクチ
ャの目標符号量Ｔ_i（ｊ），Ｔ_p（ｊ），Ｔ_b（ｊ）（以
下、Ｉピクチャ、Ｐピクチャ、またはＢピクチャの区別
をする必要がないときは、単に、Ｔ（ｊ）とも記述す
る）が決定されるが、演算により求めたその値があまり
にも小さい場合には、画像復号装置のVBVバッファがオ
ーバーフローする恐れがあるので、式（４）乃至式
（６）の第２引数に規定される値bit_rate（ｊ）／（８
×pic_rate）が、目標符号量Ｔ（ｊ）として選択され
る。

【００５９】ピクチャ（ｊ）がエンコードされる直前の
VBVバッファの占有量をＢ^*（ｊ）とすると、このピクチ
ャ（ｊ）に対し、目標符号量Ｔ（ｊ）と同じ値だけのビ
ット量が、実際に符号化により発生したとすると、次の
ピクチャ（ｊ＋１）のエンコード直前のVBVバッファの
占有量Ｂ^*（ｊ＋１）は、次の式で表される。ステップ
Ｓ２において、コントローラ２４は、次式に従って、こ
の占有量Ｂ^*（ｊ＋１）を演算する。

【００６０】 Ｂ^*（ｊ＋１）＝Ｂ^*（ｊ）−Ｔ（ｊ）＋（ｔ_j+1−ｔ_j）×bit_rate（ｊ＋１） ・・・（１２）

【００６１】また、ステップＳ２において、コントロー
ラ２４は、次式からVBVバッファの使用範囲を決定す
る。

【００６２】 vbv_size（ｊ＋１）＝min｛τ_max×bit_rate（ｊ＋１），vbv_size（０）｝ ・・・（１３）

【００６３】なお、vbv_size（０）は、VBVバッファの
遅延時間が最高の値τ_maxとなる場合のビットレートの
値を表しており、min｛Ａ，Ｂ｝は、ＡとＢのうち、小
さい方を選択する関数を表す。

【００６４】すなわち、この例では、VBVバッファの遅
延時間の最高値が予め規定され、VBVバッファの遅延時
間が、予め規定したこの最高値を上回るようなビットレ
ートが使用される場合には、コントローラ２４がVBVバ
ッファ（図５のバッファメモリ１７に対応する）の使用
範囲を狭めて（VBVバッファの容量を等価的に小さくし
て）、その遅延時間が、最高値に等しくなるように制御
する。最高値τ_maxは、次式で表される。

【００６５】 τ_max＝vbv_size（０）／bit_rate（０） ・・・（１４）

【００６６】ここで、vbv_size（０）は、VBVバッファ
の容量を表し、bit_rate（０）は、VBVバッファの遅延
時間が最高値τ_maxとなる場合におけるビットレートを
表す。

【００６７】次に、ステップＳ３において、コントロー
ラ２４は、ステップＳ２で演算したVBVバッファの占有
量Ｂ^*（ｊ＋１）と、vbv_size（ｊ＋１）の大きさを比
較し、Ｂ^*（ｊ＋１）が、vbv_size（ｊ＋１）と等しい
か、それより大きい場合（VBVバッファの容量vbv_size
（ｊ＋１）をそのまま使用したのでは、VBVバッファの
遅延時間が値τ_maxを越えてしまい、目標符号量Ｔ
（ｊ）を補正する必要がある場合）には、ステップＳ４
に進み、ステップＳ１で計算した目標符号量Ｔ（ｊ）
を、次式に従って、Ｂ^*（ｊ＋１）とvbv_size（ｊ＋
１）の差の分だけ補正する。

【００６８】 Ｔ（ｊ）＝Ｔ（ｊ）＋Ｂ^*（ｊ＋１）−vbv_size（ｊ＋１） ・・・（１ ５）

【００６９】ステップＳ３において、Ｂ^*（ｊ＋１）
が、vbv_size（ｊ＋１）より小さいと判定された場合に
は、VBVバッファが使用できない範囲に入ることがない
ので、ステップＳ４の処理はスキップされる。

【００７０】次に、ステップＳ５において、ピクチャ
（ｊ）が、ステップＳ１で計算されたか、またはステッ
プＳ４で補正された目標符号量Ｔ_i（ｊ），Ｔ_p（ｊ），
Ｔ_b（ｊ）に基づいてエンコード（符号化処理）され
る。すなわち、量子化スケールコード決定回路３３は、
目標ビット量設定回路３２が設定した目標符号量Ｔ
₁（Ｔ_i（ｊ），Ｔ_p（ｊ）またはＴ_b（ｊ））に対応する
量子化スケールコードＱ₁を決定し、量子化回路１５
が、この量子化スケールコードＱ₁に対応してピクチャ
（ｊ）を量子化する。この場合の処理は、上述した通り
であるので、ここでは、その説明を省略する。

【００７１】以上までは、ピクチャ（ｊ）の処理である
が、ステップＳ６からは、ピクチャ（ｊ＋１）の処理が
行われる。次にステップＳ６において、コントローラ２
４は、次式に従って、ピクチャ（ｊ）を符号化する前の
未符号化ピクチャの符号量Ｒ（ｊ）から、ピクチャ
（ｊ）を符号化して発生した符号量Ｓ（ｊ）を減算し
て、次のピクチャ（ｊ＋１）を符号化する場合における
符号量Ｒ（ｊ＋１）を求める。

【００７２】 Ｒ（ｊ＋１）＝Ｒ（ｊ）−Ｓ（ｊ） ・・・（１６）

【００７３】さらにステップＳ７において、コントロー
ラ２４は、ステップＳ６で更新された符号量Ｒ（ｊ＋
１）を、次式に従って、さらにVBVバッファ使用範囲の
変化量｛vbv_size（ｊ）−vbv_size（ｊ＋１）｝で補正
する。

【００７４】 Ｒ（ｊ＋１）＝Ｒ（ｊ＋１）＋｛vbv_size（ｊ）−vbv_size（ｊ＋１）｝ ・・・（１７）

【００７５】以上のステップＳ７までの処理の意味を、
図８乃至図１３を参照して、さらに説明する。コントロ
ーラ２４は、コントローラ３より指定されるビットレー
トbit_rate（ｊ）（この文字ｊは、図４のbit_rate#iに
おける文字ｉ（プログラムＰ_iに対応する）を表すもの
ではなく、ピクチャの順番を表す。両者をまとめて記述
すれば、bit_rate#i(j)となる）が、VBVバッファの遅延
時間が最高値τ_maxとなる場合のビットレートbit_rate
（０）（以下、閾値とも称する）に等しい場合、VBVバ
ッファ（バッファメモリ１７）を、図８に示すように制
御する。同図に示すように、VBVバッファの容量は、ビ
ットレートbit_rate（０）で順次増加し、遅延時間τ
_maxだけ経過した時点で、VBVバッファの容量は、vbv_si
ze（０）となる。以下、VBVバッファに記憶された画像
データは、適宜読み出され、復号されるたびに減少され
る。また、新たな画像データが書き込まれると、そのデ
ータ量は増加する。以上のような動作が、順次繰り返さ
れる。

【００７６】一方、コントローラ３より指定されたビッ
トレートbit_rate（１）が、閾値bit_rate（０）より大
きい場合、コントローラ２４は、ステップＳ５のエンコ
ード処理時において、バッファメモリ１７を制御し、時
間τ₁だけ、画像データの出力を遅延させる。この遅延
時間τ₁は、次式により演算される。

【００７７】 τ₁＝τ_max−τ₂＝τ_max−vbv_size（０）／bit_rate（１） ・・・（１８）

【００７８】VBVバッファには、この遅延時間τ₁の後、
ビットレートbit_rate（１）でデータが書き込まれ、書
き込み開始後、時間τ₂が経過した時点において、VBVバ
ッファの容量は、vbv_size（１）＝vbv_size（０）とな
る。図９を図８と比較して明らかなように、VBVバッフ
ァの最大の遅延時間τ_maxは、両者とも同一となってい
る。

【００７９】一方、コントローラ３より指定されたビッ
トレートbit_rate（２）が、閾値bit_rate（０）より小
さいとき、コントローラ２４は、バッファメモリ１７を
制御し、その容量を（使用可能な範囲を）vbv_size
（２）以下に設定（制限）する。この演算は、図６のス
テップＳ２で行われる。すなわち、VBVバッファの容量v
bv_size（０）のうち、vbv_size（２）を越える範囲
は、この例の場合使用されない。その結果、VBVバッフ
ァの容量vbv_sizeは、遅延時間τ_maxが経過した時点に
おいて、vbv_size（２）（＝τ_max×bit_rate（２））
となる。従って、この場合においても、VBVバッファの
遅延時間は、τ_maxとされる。すなわち、図８乃至図１
０のいずれの場合においても、VBVバッファの遅延時間
は、τ_maxとして一定とされる。

【００８０】これにより、ビットレートのシームレスな
変更が広範囲にわたって可能となり、デジタル放送の生
放送に適用可能となる。

【００８１】図１０において、遅延時間τ₃（＝vbv_siz
e（０）／bit_rate（２））の時間だけVBVバッファにデ
ータが書き込まれると、その容量は、vbv_size（０）と
なるが、この例では、容量vbv_size（２）以下の範囲だ
けが使用可能とされるので、実際には、その容量がvbv_
size（０）に達することはない。

【００８２】図１１は、ビットレートが、bit_rate
（１）からbit_rate（２）に途中で変更された場合のVB
Vバッファの変化の様子を表している。時刻ｔ₁までの時
間において、ビットレートの値は、閾値bit_rate（０）
より大きい値bit_rate（１）とされている。従って、こ
の場合のVBVバッファの変化の様子は、図９に示した場
合と同様となる。これに対して、時刻ｔ₁において、ビ
ットレートが閾値bit_rate（０）より小さいビットレー
トbit_rate（２）に変更されると、VBVバッファの容量
は、vbv_size（２）（＝τ_max×bit_rate（２））に制
限される。

【００８３】ＴＭ５のような固定レート、かつ固定のVB
Vバッファの容量を前提としたレート制御方式を使用し
た場合、VBVバッファの使用範囲を計算しただけでは、
図１２に示したような問題が生じる。

【００８４】すなわち、ビットレートが閾値bit_rate
（０）より大きい値bit_rate（１）から小さい値bit_ra
te（２）に変更された場合（ただし、簡単のためビット
レートレートの変更はGOPの先頭で行われたものとす
る）、制限されたVBVバッファの範囲内でデータの容量
が推移するには、VBVバッファのデータ推移の軌跡は、
図１２において実線で示すように変化する必要がある。
しかしながら、ＴＭ５において、目標符号量は、VBVバ
ッファの最大値に近い領域を推移するように決定される
ので、使用範囲を制限しただけでは、VBVバッファは、
図１２において点線で示すように、使用することができ
ない範囲を推移してしまうことになる。

【００８５】そこで、例えば、VBVバッファが狭くなっ
たとき、最初のＩピクチャの発生ビット量だけ、スタッ
フィングにより増加するようにすることも考えられる。
しかしながら、そのようにすると、最初のＩピクチャの
発生ビット量が大きくなるので、ＴＭ５のGOPの残りの
ビット量Ｒ（ｊ）が、式（１６）（Ｒ（ｊ＋１）＝Ｒ
（ｊ）−Ｓ（ｊ））に従って更新されると、Ｒ（ｊ＋
１）が非常に小さい値となってしまい、GOPの残りのピ
クチャに割り当てるビット量が少なくなって、結局VBV
バッファの軌跡は、図１２の上の方の使用できない範囲
に戻ろうとしてしまう。

【００８６】そこで、ステップＳ３において、上記した
式（１２）により計算したバッファ占有量Ｂ^*（ｊ＋
１）と、式（１３）で求めたVBVバッファの容量vbv_siz
e（２）の大きさを比較し、Ｂ^*（ｊ＋１）が、vbv_size
（２）より大きい場合には、式（１５）に示すように、
その差分（Ｂ^*（ｊ＋１）−vbv_size（２））だけ、ス
テップＳ１で演算した目標符号量Ｔ（ｊ）がステップＳ
４で補正される。その結果、図１３に示すように、補正
後の目標符号量Ｔ（ｊ）は、VBVバッファの容量vbv_siz
e（２）より、差分（Ｂ^*（ｊ＋１）−vbv_size（２））
だけ小さい値となり、VBVバッファの使用不可の領域が
使用されてしまうようなことが防止される。

【００８７】以上のようにして、VBVバッファの使用可
能範囲を制限するための処理が行われた後、図６に続く
図７のフローチャートのステップＳ８以降の処理が行わ
れる。ここでは、GOPの途中でビットレートが変更され
た場合の処理が行われる。

【００８８】目標ビット量設定回路３２は、ステップＳ
８でピクチャ（ｊ＋１）はGOPの先頭のピクチャである
か否かを判定する。ピクチャ（ｊ＋１）がGOPの先頭の
ピクチャでない場合には、ステップＳ９に進み、目標ビ
ット量設定回路３２は、そのGOP内において、ビットレ
ートの変更が、コントローラ３より指令されているか否
かを判定する。ビットレートの変更が指令されていない
場合には、ステップＳ１０に進み、目標ビット量設定回
路３２は、処理対象がシーケンスエンドに達したか否か
を判定し、達していない場合には、ステップＳ１に戻
り、それ以降の処理が繰り返し実行される。処理対象が
シーケンスエンドに達したと判定された場合、処理は終
了される。

【００８９】ステップＳ９において、ビットレートの変
更が指令されたと判定された場合、目標ビット量設定回
路３２は、ステップＳ１２に進み、次式に従って、ステ
ップＳ７で補正した符号量Ｒ（ｊ＋１）を、GOPの残り
のピクチャの枚数（Ｎ−ｊ）にピクチャ当たりのビット
量の差分（bit_rate（ｊ＋１）−bit_rate（ｊ））／pi
c_rateを乗算した値で補正する。

【００９０】 Ｒ（ｊ＋１）＝｛bit_rate（ｊ＋１）−bit_rate（ｊ）｝ ×（Ｎ−ｊ）／pic_rate＋Ｒ（ｊ＋１） ・・・（１９）

【００９１】すなわち、GOPの途中でビットレートが変
更されない場合、符号量Ｒは、図１４に示すように、エ
ンコードが進むに従って、初期値Ｒ₁から漸次小さい値
に変化する。なお、図１４において、実線は、各ピクチ
ャが等しい符号量でエンコードされるものと仮定した場
合のものであり、実際には、ＩピクチャやＰピクチャの
発生ビット量が、Ｂピクチャよりも多くなるので、符号
量Ｒは点線で示したように変化する。

【００９２】これに対して、GOPのピクチャ（ｊ）をエ
ンコードした後、次のピクチャ（ｊ＋１）からビットレ
ートを変更することが要求された場合、符号量Ｒ（ｊ＋
１）がステップＳ１２で式（１９）で示すように補正さ
れる。すなわち、符号量Ｒが、ビットレートbit_rate
（１）の割合で、初期値Ｒ₁から、漸次減少するように
制御されていたものが、ピクチャ（ｊ＋１）のタイミン
グにおいて、符号量が補正後の値Ｒ（ｊ＋１）に変更さ
れる。この補正後の値Ｒ（ｊ＋１）は、初めから、初期
値をＲ₂としてビットレートbit_rate（２）でエンコー
ドしていたと仮定した場合のピクチャ（ｊ＋１）の符号
量Ｒ（ｊ＋１）に等しい。これにより、GOPの途中にお
けるビットレートの変更が可能となる。

【００９３】次に、ステップＳ１３に進み、目標ビット
量設定回路３２は、ステップＳ１２で補正した符号量Ｒ
（ｊ＋１）が、予め設定してある所定の最小値Ｒ_minよ
り小さいか否かを判定する。符号量Ｒ（ｊ＋１）が、最
小値Ｒ_minと等しいか、それより大きい場合には、ステ
ップＳ１４において、変数ｅに０が設定される。これに
対して、符号量Ｒ（ｊ＋１）が、最小値Ｒ_minより小さ
い場合には、ステップＳ１５において、変数ｅに符号量
Ｒ（ｊ＋１）と最小値Ｒ_minとの差（Ｒ（ｊ＋１）−Ｒ
_min）が設定される。この変数ｅは、ステップＳ１１で
使用されるものである。この変数ｅの機能については後
述する。

【００９４】ステップＳ１４または、ステップＳ１５の
処理の後、ステップＳ１０に進み、それ以降の処理が繰
り返し実行される。

【００９５】一方、ステップＳ８において、ピクチャ
（ｊ＋１）が、GOPの先頭のピクチャであると判定され
た場合には、ステップＳ１１に進み、目標ビット量設定
回路３２は、次式に従って、符号量Ｒ（ｊ＋１）を補正
する。

【００９６】 Ｒ（１）＝bit_rate（ｊ＋１）×Ｎ／pic_rate＋Ｒ（ｊ＋１）＋ｅ ・・・（２０）

【００９７】その後、ステップＳ１０に戻り、それ以降
の処理が繰り返し実行される。

【００９８】ここで、変数ｅの機能について説明する。
ステップＳ１２で、式（１９）により補正された符号量
Ｒ（ｊ＋１）が、予め設定されている所定の最小値Ｒ
_minより小さくなった場合、これを放置して、次のGOPの
ビットレートを制御すると、VBVバッファがオーバーフ
ローしてしまう恐れがある。

【００９９】そこで、GOPの途中でビットレートの変更
が指令され、GOPの最後のピクチャ（Ｎ枚目のピクチ
ャ）をエンコードした時点において、Ｒ（ｊ＋１）が、
最小値Ｒ_minより小さい場合には、図１６に示すよう
に、その差分ｅだけ、次のGOPの符号量Ｒの初期値Ｒ₂を
小さくさせ、値（Ｒ₂−ｅ）を初期値として、そのGOPの
符号量を設定させる。これにより、VBVバッファのオー
バーフローが防止される。

【０１００】以上においては、各画像符号化装置２−ｉ
において、実際に符号化されたデータのグローバルコン
プレクシティＣ_iをコントローラ３にフィードバックす
ることにより、プログラムＰ_iを統計多重するようにし
たが、フィードフォワード型の制御によりビットレート
を制御することもできる。図１７は、この場合の構成例
を表している。図１７に示した画像多重化システム１の
構成は、基本的に図４に示した画像多重化システム１と
同様であるが、各画像符号化装置２−ｉから、コントロ
ーラ３に出力されるのが、グローバルコンプレクシティ
Ｃ_iではなく、符号化難易度Ｄ_iとされている。その他の
構成は、図４における場合と同様である。

【０１０１】図１８は、図１７の画像符号化装置２−１
（図示は省略するが、画像符号化装置２−２乃至２−ｎ
も、画像符号化装置２−１と同様に構成されている）の
構成例を表している。その基本的な構成は、図５に示し
た場合と同様であるが、図１８の構成例においては、走
査変換マクロブロック化回路１２と減算回路１３の間
に、イントラＡＣ演算回路４１とFIFO（First In First
Out）４２が設けられている。また、レートコントロー
ラ２３には、ＭＥ残差計算回路５１と符号化難易度計算
回路５２が付加されている。

【０１０２】イントラＡＣ演算回路４１は、走査変換マ
クロブロック化回路１２の出力を入力し、Ｉピクチャに
おけるイントラＡＣを算出し、符号化難易度計算回路５
２に出力している。イントラＡＣ演算回路４１はまた、
走査変換マクロブロック化回路１２より供給された画像
データをFIFO４２に出力する。FIFO４２は、入力された
画像データを、少なくとも、目標ビット量設定回路３２
が、目標ビット量を設定するのに必要な時間に対応する
時間だけ、入力された画像データを遅延して演算回路１
３に出力する。

【０１０３】ＭＥ残差計算回路５１は、動き検出回路２
１が出力するＭＥ残差データに基づいて、ＭＥ残差を計
算し、符号化難易度計算回路５２に出力している。な
お、ここでＭＥ残差とは、動き予測誤差の絶対値または
２乗値を、ピクチャ全体について加算したものであり、
ＭＥ残差データは、ＭＥ残差を求めるためのデータであ
る。

【０１０４】符号化難易度計算回路５２は、ＭＥ残差計
算回路５１により算出されたＭＥ残差と、イントラＡＣ
演算回路４１により演算されたイントラＡＣに基づい
て、ピクチャの符号化の難易度を表す符号化難易度Ｄ₁
を算出し、コントローラ３に送出するとともに、目標ビ
ット量設定回路３２に出力する。なお、この構成例にお
いては、符号化難易度計算回路５２により演算された符
号化難易度Ｄ₁がコントローラ３に伝送されているた
め、複雑さ計算回路３１が演算により求めたグローバル
コンプレクシティＣ₁は、コントローラ３に供給されな
い。

【０１０５】図１８の画像符号化装置２−１のその他の
構成は、図５における場合と同様である。

【０１０６】次に、図１８の画像符号化装置２−１の、
主に、図５における場合と異なる構成の動作について説
明する。イントラＡＣ演算回路４１は、走査変換マクロ
ブロック化回路１２の出力する画像データから、イント
ラＡＣを演算する。イントラＡＣとは、Ｉピクチャにお
いて、８×８画素のDCTブロック内の各画素の画素値
と、DCTブロック内の画素値の平均値との差分の絶対値
の総和を意味し、次式で表される。

【０１０７】 Intra_AC＝Σ｜ｆ_curr（ｘ，ｙ）−（Σｆ_curr）／Ｎ｜・・・（２１）

【０１０８】なお、この式において、Intra_ACは、イン
トラＡＣを表し、ｆ_curr（ｘ，ｙ）は、DCTブロック内
の各画素の画素値を表し、Σｆ_currは、DCTブロック内
の画素値の総和を表し、ＮはDCTブロック内の画素数を
表している。また、Σは、マクロブロック内の各画素に
ついての総和を表している。

【０１０９】動き検出回路２１は、動きベクトルを求め
る際に、その値が、最小となったマクロブロック間にお
ける画素値の差分の絶対値和（あるいは自乗和でもよ
い）をＭＥ残差データとして、ＭＥ残差計算回路５１に
出力する。ＭＥ残差計算回路５１は、動き検出回路２１
からのＭＥ残差データをピクチャ全体について加算し、
ＭＥ残差を計算する。すなわち、ＭＥ残差計算回路５１
で次式が演算される。

【０１１０】 ＭＥ＿reside＝Σ｜ｆ_j（ｘ，ｙ）−ｆ_j-1（ｘ，ｙ）｜ ・・・（２２）

【０１１１】上式において、ＭＥ＿resideはＭＥ残差を
表し、ｆ_j（ｘ，ｙ），ｆ_j-1（ｘ，ｙ）は、各マクロブ
ロックの画素値を表す。Σは、マクロブロック内の各画
素についての総和を表している。

【０１１２】符号化難易度計算回路５２は、イントラＡ
Ｃ演算回路４１より供給されたイントラＡＣと、ＭＥ残
差計算回路５１より供給されたＭＥ残差に基づいて、符
号化難易度を計算する。符号化難易度とは、ピクチャの
符号化の難易度を表すものであって、符号化したときに
同じ画質を保つために必要なデータ量の比率と言い換え
ることができる。イントラＡＣは、絵柄の複雑さを表
し、ＭＥ残差は、映像の動きの早さ、および絵柄の複雑
さを表し、それらは符号化の難易度と強い相関を有する
ので、これらを変数とする、例えば１次関数により、符
号化難易度Ｄ₁が、符号化難易度計算回路５２で演算さ
れる。

【０１１３】このようにして、先読みした統計量（イン
トラＡＣ）に基づいて、精度の高い符号化難易度が演算
される。コントローラ３は、この符号化難易度Ｄ_iに基
づいて、目標ビットレートbit_rate#iを決定し、各画像
符号化装置２−ｉに出力する。

【０１１４】次に、図１８の目標ビット量設定回路３２
とコントローラ２４の動作について、図１９と図２０の
フローチャートを参照して説明する。ステップＳ３１乃
至ステップＳ３７の処理は、基本的に、図６に示したス
テップＳ１乃至ステップＳ７の処理と同様の処理であ
る。ただし、ステップＳ３１においては、上述した式
（１）乃至式（３）に代えて、次の式に従って、ピクチ
ャ（ｊ）の目標符号量Ｔ（ｊ）が演算される。なお、式
（２３）においては、ピクチャタイプに対応する添え字
ｉ，ｐ，ｂは省略されている。

【０１１５】

【数２】

【０１１６】ここで、Ｔ（ｊ）は、ピクチャ（ｊ）の目
標符号量を表し、Ｒ’（ｊ）は、処理対象ピクチャから
後の先読みするＬ枚（いまの場合、簡単のため、先読み
枚数Ｌは１GOPの枚数Ｎと等しいものとする）のピクチ
ャのビット量を表し、Ｄ_jは、ピクチャ（ｊ）の符号化
難易度を表している。すなわち、上記式により、ピクチ
ャ（ｊ）の目標符号量Ｔ（ｊ）が、Ｌ枚分のビット量
Ｒ’（ｊ）を、そのピクチャの符号化難易度Ｄ_jと、Ｌ
枚の先読みしたピクチャの符号化難易度Ｄ_jの和の比で
重み付けして求められる。

【０１１７】次のステップＳ３２乃至ステップＳ３５の
処理は、図６のステップＳ２乃至ステップＳ５の処理と
同様の処理であり、ここでは、その説明は省略する。ス
テップＳ３６では、式（１６）に代えて、次の式（２
４）に基づいて、符号量Ｒ’（ｊ＋１）が更新される。

【０１１８】 Ｒ’（ｊ＋１）＝Ｒ’（ｊ）−Ｓ（ｊ）＋Ｆ（ｊ＋Ｌ） ・・・（２４）

【０１１９】なお、Ｒ’（ｊ）の初期値は、Ｌ枚分のピ
クチャの符号量に対応して次式で表される。

【０１２０】 Ｒ’（１）＝bit_rate（１）×Ｌ／pic_rate ・・・（２５）

【０１２１】上記式（２４）において、Ｆ（ｊ＋Ｌ）
は、ピクチャ（ｊ＋Ｌ）のピクチャタイプに応じたビッ
ト量であり、例えば、次式により規定される。なお、式
（２４）においては、式（２６）乃至式（２８）におけ
るピクチャタイプに対応する添え字ｉ，ｐ，ｂは省略さ
れている。

【０１２２】

【数３】

【０１２３】上記式において、Ｇは、GOPの残りの符号
量に対応し、図４と図５に示したフィードバック型のレ
ートコントロールシステムにおける符号量Ｒに対応す
る。この符号量Ｇも、ステップＳ３６において、次式に
従って更新される。

【０１２４】 Ｇ（ｊ＋Ｌ＋１）＝Ｇ（ｊ＋Ｌ）−Ｆ（ｊ＋Ｌ） ・・・（２９）

【０１２５】なお、式（２９）におけるＦ（ｊ）は、上
記式（２６）乃至（２８）のうち、対応するピクチャタ
イプの式により表されるものである。

【０１２６】符号量Ｒ’は、これから符号化されるＬ枚
のピクチャの符号量を表すから、基本的には、図２１に
実線で示すように、エンコードの進行状況に拘らず、常
に一定の値となる。実際には、各ピクチャタイプ毎に符
号量が変化するので、図２１において破線で示すよう
に、実線で示す値の近傍で変化する。

【０１２７】これに対して、符号量Ｇは、１GOPの符号
量であるから、図２２に示すように、フィードバック型
のレートコントロールにおける符号量Ｒと同様に、エン
コードの進行にともなって、漸次小さい値に変化する。

【０１２８】次に、ステップＳ３７で、図６のステップ
Ｓ７における式（１７）に代えて、式（３０）に従っ
て、符号量Ｒ’（ｊ＋１）の更新処理が行われる。

【０１２９】 Ｒ’（ｊ＋１）＝Ｒ’（ｊ＋１）＋｛vbv_size（ｊ）−vbv_size（ｊ＋１）｝ ・・・（３０）

【０１３０】以上のステップＳ３１乃至ステップＳ３７
の処理は、フィードバック型レートコントロールの例に
おいて説明した場合のように、VBVバッファの使用する
範囲を制限するために行われる処理である。

【０１３１】次に、ステップＳ３８に進み、目標ビット
量設定回路３２は、ピクチャ（ｊ＋１）が、GOPの先頭
のピクチャであるか否かを判定する。ピクチャ（ｊ＋
１）がGOPの先頭のピクチャでない場合には、ステップ
Ｓ３９に進み、GOPの途中においてビットレートの変更
が指令されているか否かが判定される。ビットレートの
変更が指令されていない場合には、ステップＳ４０に進
み、エンコード処理がシーケンスエンドに達しているか
否かが判定され、まだ達していない場合には、ステップ
Ｓ３１に戻り、それ以降の処理が繰り返し実行される。
ステップＳ４０において、処理がシーケンスエンドまで
達していると判定された場合、処理は終了される。

【０１３２】ステップＳ３９において、GOPの途中にお
いてビットレートが変更されていると判定された場合、
ステップＳ４１に進み、目標ビット量設定回路３２は、
次式に従って、符号量Ｒ’（ｊ＋１）と符号量Ｇ（ｊ＋
１）を更新する。

【０１３３】 Ｒ’（ｊ＋１）＝｛bit_rate（ｊ＋１）−bit_rate（ｊ）｝ ×Ｌ／pic_rate＋Ｒ’（ｊ＋１） ・・・（３１） Ｇ（ｊ＋１）＝｛bit_rate（ｊ＋１）−bit_rate（ｊ）｝ ×（Ｎ−ｊ）／pic_rate＋Ｇ（ｊ＋１） ・・・（３２）

【０１３４】このように、ビットレートが、GOPの途中
で変更された場合には、符号量Ｒ’は、図２３に示すよ
うに、所定の値Ｒ₁から所定の値Ｒ₂に変化する。

【０１３５】一方、符号量Ｇは、図２４に示すように、
初期値Ｒ₁から、ビットレートbit_rate（１）でエンコ
ードが行われてきたときの値Ｇ（ｊ＋１）から、最初か
ら初期値Ｒ₂でエンコードを行ってきた場合における値
Ｇ（ｊ＋１）に変更される。このことは、図１５を参照
して説明した符号量Ｒにおける場合と同様である。

【０１３６】次に、ステップＳ４２に進み、目標ビット
量設定回路３２は、符号量Ｇ（ｊ＋１）が、最小値Ｇ
_minより小さいか否かを判定し、符号量Ｇが、最小値Ｇ
_minと等しいか、それより大きい場合には、ステップＳ
４３において、変数ｅに０を設定する。

【０１３７】符号量Ｇ（ｊ＋１）が、最小値Ｇ_minより
小さい場合には、ステップＳ４４において、変数ｅに、
両者の差（Ｇ（ｊ＋１）−Ｇ_min）が設定される。この
処理は、図７におけるステップＳ１３乃至ステップＳ１
５の処理と同様の処理である。この変数ｅは、後述する
ステップＳ４６、またはステップＳ４７の処理において
用いられる。

【０１３８】ステップＳ３８において、ピクチャ（ｊ＋
１）が、GOPの先頭のピクチャであると判定された場
合、ステップＳ４５に進み、目標ビット量設定回路３２
は、ビットレートの変更が指令されているか否かを判定
する。ここで、ビットレートの変更の有無の判定が行わ
れ、図７のステップＳ８において、ピクチャ（ｊ＋１）
がGOPの先頭のピクチャであると判定された場合に、ビ
ットレートの変更処理が行われないのは、図７の処理の
場合には、ピクチャ（ｊ＋１）がGOPの先頭のピクチャ
であっても、そうでなくても、ステップＳ１１で同一の
式（２０）が用いられるので、ビットレートの変更判断
が不要であるのに対して、図２０のフローチャートの処
理においては、ピクチャ（ｊ＋１）がGOPの先頭のピク
チャである場合においても、ビットレートの変更の有無
により処理が異なるので、ステップＳ４５の判定処理が
挿入されている。

【０１３９】すなわち、ステップＳ４５において、ビッ
トレートの変更が指令されていないと判定された場合に
は、ステップＳ４６において、目標ビット量設定回路３
２は、次式に従って、符号量Ｇを更新する。

【０１４０】 Ｇ（１）＝bit_rate（ｊ＋１）×Ｎ／pic_rate＋Ｇ（ｊ＋１）＋ｅ ・・・（３３）

【０１４１】一方、ステップＳ４５において、ビットレ
ートの変更が指令されていると判定された場合には、ス
テップＳ４７に進み、目標ビット量設定回路３２は、次
式に従って、符号量Ｒ’（１）と符号量Ｇ（１）を更新
する。

【０１４２】 Ｒ’（１）＝｛bit_rate（１）−bit_rate（ｊ）｝ ×Ｌ／pic_rate＋Ｒ’（Ｊ＋１） ・・・（３４） Ｇ（１）＝bit_rate（１）×Ｎ／pic_rate＋Ｇ（ｊ＋１）＋ｅ ・・・（３５）

【０１４３】ステップＳ４６の処理とステップＳ４７の
処理を比較して明らかなように、ステップＳ４７の処理
は、ステップＳ４６の処理に較べて、符号量Ｒ’（１）
の更新処理が、符号量Ｇ（１）の処理に加えて付加され
ている。

【０１４４】変数ｅの機能は、図１６を参照して説明し
た場合と同様であり、図２５に示すように、符号量Ｇの
変化にともなってGOPの最後のピクチャの符号化が行わ
れた直後において、ｅの値が０でない場合には、次のGO
Pの符号化時の符号量Ｇの初期値Ｒ₂の値が、ｅの分だけ
小さい値に調整される。

【０１４５】ステップＳ４３，Ｓ４４，Ｓ４６，Ｓ４７
の処理の後、ステップＳ４０に進み、それ以降の処理が
繰り返し実行される。

【０１４６】以上のフィードバック型、およびフィード
フォワード型のビットレートコントロールの実施の形態
のいずれにおいても、VBVバッファの使用範囲を制限す
るようにしたが、画質を考慮したとき、若干の問題が生
じる場合がある。すなわち、図２６に示すように、最初
のGOPにおいて、３Mbpsのビットレートが設定され、次
のGOPにおいて、１．５Mbpsのビットレートが設定さ
れ、さらに、その次のGOPにおいて、再び３Mbpsのビッ
トレートが設定されたとする。このとき、VBVバッファ
の容量を１．８Mbitとし、閾値bit_rate（０）を３．０
Mbpsとすると、遅延時間τ_max＝１．８／３．０＝０．
６（秒）となる。

【０１４７】このとき、各GOPにおけるＴＭ５の符号量
Ｒの初期値は、bit_rate×Ｎ／pic_rateの式から次のよ
うに求められる。なお、GOPの枚数Ｎを１５とし、pic_r
ate＝３０とする。

【０１４８】すなわち、最初のGOPにおいては、初期値
Ｒは、１．５（＝３．０×１５／３０）Mbitsとなる。
次のGOPにおいては、初期値は、０．７５（＝１．５×
１５／３０）となるが、その値が、図６のステップＳ７
の式（１７）に基づいて、VBVバッファの容量の差分（v
bv_size（１）−vbv_size（２））で補正される変更前
（前のGOP）のVBVバッファ容量vbv_size（１）は、１．
８（＝τ_max×bit_rate（１）＝０．６×３．０）とさ
れているのに対して、第２番目のGOPにおけるVBVバッフ
ァの容量vbv_size（２）は、０．９（＝τ_max×bit_rat
e（２）＝０．６×１，５）となるので、その差分は
０．９（＝１．８−０．９）となり、結局、初期値Ｒ
は、１．６５（＝０．７５＋（１．８−０．９））Mbit
sとなる。

【０１４９】一方、第３番目のGOPにおいては、初期値
は１．５（＝３．０×１５／３０）となるが、VBVバッ
ファの変更前の容量vbv_size（２）は、０．９であるの
に対して、このGOPにおける容量vbv_size（３）は１．
８となる。従って、初期値Ｒは、０．６（＝１．５＋
（０．９−１．８））Mbitsとなる。

【０１５０】２番目のGOPにおいては、本来エンコード
しやすい絵柄であるので、ビットレートを１．５Mbpsと
小さい値に設定したにも拘らず、符号量Ｒの初期値は
１．６５と大きな値に設定されてしまう。これに対し
て、第３番目のGOPにおいては、エンコードが難しい絵
柄であるから、ビットレートを３．０Mbpsと大きくした
にも拘らず、符号量Ｒの初期値は０．６Mbpsと小さい値
に設定されてしまう。すなわち、２番目のGOPの符号量
の初期値Ｒが大きくなり、最後のGOPの符号量Ｒの初期
値が非常に小さくなるという逆転現象が生じている。

【０１５１】これは、図２７に示すように、ビットレー
トbit_rateの値が、閾値bit_rate（０）より小さくなっ
たとき、急激にVBVバッファの容量vbv_sizeの使用範囲
を制限するようにしたことに起因する。なお、図２７に
おいて、横軸は、ビットレートbit_rateを表し、縦軸
は、VBVバッファの容量vbv_sizeを表している。そし
て、図２７において、影を付して示した範囲は、VBVバ
ッファの使用が制限されている範囲を表している。

【０１５２】そこで、図２８に示すように、閾値bit_ra
te（０）より大きい閾値bit_rate（０_U）を設定し、さ
らに閾値bit_rate（０）より小さい閾値bit_rate
（０_L）を設定し、ビットレートbit_rateの値が、閾値b
it_rate（０_U）より小さくなったとき、VBVバッファの
使用範囲をビットレートが閾値bit_rate（０_L）になる
まで、徐々に制限し、ビットレートが閾値bit_rate（０
_L）より小さくなった場合には、図２７に示した場合と
同様に、さらに急激にVBVバッファの使用範囲を制限す
るようにすることができる。この場合、図６のステップ
Ｓ２の式（１３）におけるVBVバッファの使用範囲を規
定する右辺の第１引数を、ビットレートがbit_rate（０
_L）以下のとき、τ_max×bit_rate（ｊ＋１）とするが、
ビットレートがbit_rate（０_L）乃至bit_rate（０_U）の
間の値であるとき、次式に変更するようにすればよい。

【０１５３】 ｛（vbv_size（０）−vbv_size（０_L））×bit_rate ＋vbv_size（０_L）×bit_rate（０_U）−vbv_size（０）×vbv_size（０_L） ｝ ／｛bit_rate（０_U）−bit_rate（０_L）｝ ・・・（３６）

【０１５４】なお、vbv_size（０_L）は、次式で表され
る。

【０１５５】 vbv_size（０_L）＝vbv_size（０）×bit_rate（０_L）／bit_rate（０） ・・・（３７）

【０１５６】なお、フィードフォワード型のビットレー
トコントロールにおいても、図１９のステップＳ３２に
おける演算において、同様にVBVバッファの容量が演算
される。

【０１５７】図１８のイントラＡＣ演算回路４１におい
て、イントラＡＣを演算するようにしたが、イントラＡ
Ｃに代えて、フラットネスを演算するようにしてもよ
い。フラットネスとは、画像の空間的な平坦さを表すデ
ータである。この場合、８×８画素のDCTブロックが２
画素×２画素の小ブロックに分割される。そして、各小
ブロック内における対角線上に位置する画素データ（画
素値）の差分が算出され、その差分の絶対値のうち小さ
い方が選択される。選択された差分値が、さらに所定の
閾値と比較され、差分値が閾値より小さい小ブロックの
総数が、フラットネスとしてピクチャ毎に求められる。

【０１５８】なお、フラットネスの値は、画像の図柄が
空間的に複雑であるほど小さくなり、平坦であれば大き
くなる。このフラットネスは、符号化難易度Ｄ_jと、強
い負の相関関係を有する。従って、圧縮符号化前にＩピ
クチャとなるピクチャの符号化難易度Ｄ_jをフラットネ
スから求め、このフラットネスからＩピクチャに対する
目標符号量Ｔ（ｊ）を求めることができる。

【０１５９】以上のように、固定ビットレートに用いる
レートコントロール方法を用いながら、GOPの途中でビ
ットレートが変更できるようにしたので、絵柄の符号が
難易度の変化に速やかに対応して、ビットレートを変更
することができる。その結果、各プログラムのGOPの位
相が同期していないような場合においても、伝送容量を
無駄なく有効に使用することができ、全体として画質の
向上を図ることができる。

【０１６０】また、固定ビットレートエンコードで使用
されるレートコントロール方法を使用することにより、
VBVバッファ（またはデコーダのバッファ）のアンダー
フローまたはオーバーフローをおこさないようなレート
コントロールが統計多重の場合にまで拡張することがで
きる。

【０１６１】本発明は、必ずしも統計多重に限らず、例
えば、ハードディスクのような記録メディアに蓄積保存
するためにデータをエンコードするような場合、固定レ
ート符号化のレートコントロール方法を用いながら、シ
ームレスにビットレートを変更するのに適用することが
でき、絵柄に応じてビットレートを変更し、結果的に所
定の画質を実現する蓄積メディアの容量を節約すること
が可能となる。

【０１６２】上述の実施の形態においては、ＴＭ５のア
ルゴリズムによりGOPを単位にして目標符号量を計算す
る場合について述べたが、本発明はこれに限らず、符号
化処理するピクチャから所定数のピクチャを単位にして
目標伝送レートによる符号量を計算して目標符号量を算
出する場合等においても、広く適用することができる。

【０１６３】また上述の実施の形態においては、残り符
号量Ｒを補正することにより、ピクチャ単位でビットレ
ートを変更する場合について述べたが、本発明はこれに
限らず、GOP単位でビットレートを変更する場合等にも
広く適用することができる。

【０１６４】さらに上述の実施の形態においては、MPEG
により各プログラムを符号化処理して伝送する場合につ
いて述べたが、本発明はこれに限らず、種々の符号化方
式により種々のプログラムを符号化処理して伝送する場
合に広く適用することができる。

【０１６５】なお、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものとす
る。

【０１６６】また、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【０１６７】

【発明の効果】以上の如く、本発明の第１の発明によれ
ば、指定ビットレートが第１のビットレートから第２の
ビットレートに変更されたとき、第２のビットレートに
応じて仮想バッファの使用可能範囲を規定すると共に、
ビットストリームのデータ占有量が使用可能範囲内にな
るように、目標ビット量を制御するようにした。

【０１６８】本発明の第２の発明によれば、バッファの
遅延量が予め設定された規定遅延時間以上にならないよ
うに、規定遅延時間と指定ビットレートに応じて仮想バ
ッファの使用可能範囲を規定すると共に、ビットストリ
ームのデータ占有量が使用可能範囲内になるように、符
号化手段を制御するようにした。

【０１６９】本発明の第３の発明によれば、指定ビット
レートが、仮想バッファのサイズと予め設定された規定
遅延時間によって定義される規定ビットレート以下に変
更された場合、変更された指定ビットレートに応じて仮
想バッファの使用可能範囲を規定すると共に、ビットス
トリームのデータ占有量が使用可能範囲内に制限される
ように、符号化手段を制御するようにした。

【０１７０】本発明の第４の発明によれば、指定ビット
レートが第１のビットレートから第２のビットレートに
変更されたとき、第２のビットレートに応じて仮想バッ
ファの使用可能範囲を規定すると共に、ビットストリー
ムのデータ占有量が使用可能範囲内になるように、目標
ビット量を制御するようにした。

【０１７１】本発明の第５の発明によれば、仮想バッフ
ァの遅延量が予め設定された規定遅延時間以上にならな
いように、規定遅延時間と指定ビットレートに応じて仮
想バッファの使用可能範囲を規定すると共に、ビットス
トリームのデータ占有量が使用可能範囲内になるよう
に、符号化工程を制御するようにした。

【０１７２】本発明の第６の発明によれば、指定ビット
レートが、仮想バッファのサイズと予め設定された規定
遅延時間によって定義される規定ビットレート以下に変
更された場合、変更された指定ビットレートに応じて仮
想バッファの使用可能範囲を規定すると共に、ビットス
トリームのデータ占有量が使用可能範囲内に制限される
ように、符号化工程を制御するようにした。

【０１７３】従って、いずれの場合においても、符号化
装置と復号装置の間の遅延量を増加させることなく、ビ
ットレートのシームレスな変更が広範囲にわたって可能
となり、生放送などのようなリアルタイム性が要求され
るような場合においても適用が可能となる。

【図面の簡単な説明】

【図１】固定レートによる多重化を説明する図である。

【図２】統計多重による多重化を説明する図である。

【図３】従来のデジタル放送システムの構成例を示すブ
ロック図である。

【図４】本発明を適用した画像多重化システムの構成例
を示すブロック図である。

【図５】図４の画像符号化装置２−１の構成例を示すブ
ロック図である。

【図６】図５の画像符号化装置２−１の動作を説明する
フローチャートである。

【図７】図５の画像符号化装置２−１の動作を説明する
フローチャートである。

【図８】VBVバッファの容量の変化を説明する図であ
る。

【図９】VBVバッファの容量の変化を説明する図であ
る。

【図１０】VBVバッファの容量の変化を説明する図であ
る。

【図１１】VBVバッファの容量の変化を説明する図であ
る。

【図１２】VBVバッファの容量の変化を説明する図であ
る。

【図１３】VBVバッファの容量の変化を説明する図であ
る。

【図１４】符号量Ｒの変化を説明する図である。

【図１５】GOPの途中でビットレートを変更した場合の
符号量Ｒの変化を説明する図である。

【図１６】図７のステップＳ１１の値ｅの機能を説明す
る図である。

【図１７】本発明を適用した画像多重化システムの他の
構成例を示すブロック図である。

【図１８】図１７の画像符号化装置２−１の構成例を示
すブロック図である。

【図１９】図１８の画像符号化装置２−１の動作を説明
するフローチャートである。

【図２０】図１８の画像符号化装置２−１の動作を説明
するフローチャートである。

【図２１】符号量Ｒ’の変化を説明する図である。

【図２２】符号量Ｇの変化を説明する図である。

【図２３】GOPの途中においてビットレートを変更した
場合における符号量Ｒ’の変化を説明する図である。

【図２４】GOPの途中においてビットレートを変更した
場合における符号量Ｇの変化を説明する図である。

【図２５】図２０のステップＳ４６，Ｓ４７における値
ｅの機能を説明する図である。

【図２６】符号量Ｒの逆転現象を説明する図である。

【図２７】符号量Ｒの逆転現象の原因を説明する図であ
る。

【図２８】符号量Ｒの逆転現象を抑制する原理を説明す
る図である。

【符号の説明】

１ 画像多重化システム， ２−１乃至２−ｎ 画像符
号化装置， ３ コントローラ， ４ 多重化装置，
１１ 画像並べ変え回路， １２ 走査変換マクロブロ
ック化回路， １３ 減算回路， １４ DCT回路，
１５ 量子化回路， １６ 可変長符号化回路， １７
バッファメモリ， １８ 逆量子化回路， １９ 逆
DCT回路， ２０ 加算回路， ２１ 動き検出回路，
２２動き補償回路， ２３ レートコントローラ，
２４ コントローラ， ３１複雑差計算回路， ３２
目標ビット量設定回路， ３３ 量子化スケールコード
決定回路

Claims (19)

【特許請求の範囲】
1. 【請求項１】 指定ビットレートに基いてビデオデータ
   を符号化する符号化装置において、 上記指定ビットレートに基いて、各ピクチャに対して割
   り当てられる目標ビット量をそれぞれ演算する制御手段
   と、 上記制御手段によって制御された目標ビット量に基い
   て、上記符号化対象ピクチャを符号化する符号化手段
   と、 上記符号化手段から出力されるビットストリームのビッ
   ト量を検証するための仮想バッファ手段とを備え、 上記制御手段は、 符号化対象ピクチャを符号化する場合に、上記指定ビッ
   トレートが第１のビットレートから第２のビットレート
   に変更されたときには、上記第２のビットレートに応じ
   て上記仮想バッファの使用可能範囲を規定すると共に、 上記符号化手段から出力されるビットストリームのデー
   タ占有量が上記使用可能範囲内になるように、上記符号
   化手段に供給される上記目標ビット量を制御することを
   特徴とする符号化装置。
2. 【請求項２】 上記制御手段は、 上記符号化対象ピクチャを上記目標ビット量に基いて符
   号化した場合の上記仮想バッファのデータ占有量が、上
   記仮想バファの使用可能範囲内にあるか否かを検証し、
   その検証結果に応じて上記符号化対象ピクチャの前のピ
   クチャに割り当てられる目標ビット量を補正することを
   特徴とする請求項１記載の符号化装置。
3. 【請求項３】 上記制御手段は、 上記符号化対象ピクチャを上記目標ビット量に基いて符
   号化した場合の上記仮想バッファのデータ占有量が、上
   記仮想バファの使用可能範囲の上限を越えている場合に
   は、上記符号化対象ピクチャの前のピクチャに割り当て
   られる目標ビット量を、上記目標ビット量を上記仮想バ
   ファの使用可能範囲の上限を越えている分だけ増やすこ
   とを特徴とする請求項１記載の符号化装置。
4. 【請求項４】 上記符号化対象ピクチャに割り当てられ
   る目標ビット量は、 上記符号化対象ピクチャを含んだＧＯＰにおいてまだ符
   号化されていない未符号化ピクチャに対して割り当てら
   れるビット量を、上記符号化対象ピクチャのピクチャタ
   イプに応じて配分することによって求められることを特
   徴とする請求項２記載の符号化装置。
5. 【請求項５】 上記制御手段は、 上記第１のビットレートにおける１ピクチャあたりのビ
   ット量と上記第２のビットレートにおける１ピクチャあ
   たりのビット量との差分に、上記未符号化ピクチャの枚
   数を乗算した値で上記未符号化ピクチャのビット量を補
   正し、 この補正された未符号化ビクチャのビット量に基いて上
   記符号化対象ピクチャの目標ビット量を演算することを
   特徴とする請求項４記載の符号化装置。
6. 【請求項６】 上記制御手段は、 上記符号化対象ピクチャの直前のピクチャまでを上記第
   １のビットレートで符号化し、上記符号化対象ピクチャ
   から第２のビットレートで符号化する場合において、上
   記符号化対象ピクチャ以降の未符号化ピクチャのビット
   量を、上記直前のピクチャ以降の未符号化ピクチャに割
   り当てられるビット量から上記直前のピクチャの符号化
   処理による発生ビット量を減算することによって求める
   ことを特徴とする請求項５記載の符号化装置。
7. 【請求項７】 上記第１のビットレートに対応した上記
   仮想バッファの使用可能範囲を示す第１の仮想バッファ
   サイズは、上記仮想バファの遅延量が予め設定された遅
   延時間以上にならないように、上記第１のビットレート
   と上記設定遅延時間とに基いて演算され、 上記第２のビットレートに対応した上記仮想バッファの
   使用可能範囲を示す第２の仮想バッファサイズは、上記
   仮想バファの遅延量が予め設定された遅延時間以上にな
   らないように、上記第２のビットレートと上記設定遅延
   時間とに基いて演算され、 上記制御手段は、 上記第１の仮想バッファサイスと上記第２の仮想バッフ
   ァサイズの差分によって、上記符号化対象ピクチャ以降
   の未符号化ピクチャのビット量を補正することを特徴と
   する請求項６記載の符号化装置。
8. 【請求項８】 上記ＧＯＰにおいてｊ＋１番目のピクチ
   ャである符号化対象ピクチャ(j+1)を符号化する場合
   に、上記対象ＧＯＰにおいて符号化対象ピクチャ(j+1)
   を含む未符号化ピクチャに対して割り当てられるビット
   量Ｒ(j+1)は、下式 Ｒ(j+1)＝ Ｒ(j)− Ｓ(j) によって計算され、 上記符号化対象ピクチャ(j+1)に対して割り当てられる
   目標ビット量は、上記未符号化ピクチャに対して割り当
   てられるビット量Ｒ(j+1)に基いて演算されることを特
   徴とする請求項４記載の符号化装置。
9. 【請求項９】 上記符号化対象ピクチャ(j+1)が上記対
   象ＧＯＰの途中のピクチャであって、 上記符号化対象ピクチャの前のピクチャ(j)までを上記
   第１のビットレートで符号化し、上記符号化対象ピクチ
   ャ(j+1)から第２のビットレートで符号化する場合にお
   いて、 上記制御手段は、 上記第１のビットレートに対応した上記仮想バッファの
   使用可能範囲を示す第１の仮想バッファサイズを、上記
   仮想バファの遅延量が予め設定された遅延時間以上にな
   らないように、上記第１のビットレートと上記設定遅延
   時間とに基いて演算し、 上記第２のビットレートに対応した上記仮想バッファの
   使用可能範囲を示す第２の仮想バッファサイズを、上記
   仮想バファの遅延量が予め設定された遅延時間以上にな
   らないように、上記第２のビットレートと上記設定遅延
   時間とに基いて演算することを特徴とする請求項８記載
   の符号化装置。
10. 【請求項１０】 上記制御手段は、 上記未符号化ピクチャに対して割り当てられるビット量
    Ｒ(j+1)は、 右辺のＲ(j+1) は、請求項９において補正された未符号
    化ピクチャに対して割り当てられるビット量を示し、 vbv_size(j) は、第１のビットレートに対応した第１の
    仮想バッファサイズを示し、 vbv_size(j+1) は、第２のビットレートに対応した第２
    の仮想バッファサイズを示しているとき、 下式 Ｒ(j+1) ＝ Ｒ(j+1) ＋（ vbv_size(j) − vbv_size(j+
    1) ） に基いて補正されることを特徴とする請求項９記載の符
    号化装置。
11. 【請求項１１】 上記符号化対象ピクチャ(j+1)を含む
    ＧＯＰにおける上記ピクチャ(j+1)以降の未符号化ピク
    チャのビット量Ｒ(j+1)を、 bit_rate(j)は、第１のビットレートを示し、 bit_rate(j+1)は、第２のビットレートを示し、 Ｎは、ＧＯＰに含まれるピクチャの枚数を示し、 picture_rateは、フレームレートを示し、 Ｒ(j+1)は、請求項１０において補正された未符号化ピ
    クチャに対して割り当てられるビット量を示していると
    き、 下式 Ｒ(j+1)＝（ bit_rate(j+1) - bit_rate(j) ）× （Ｎ
    −ｊ）／picture_rate ＋ Ｒ(j+1) によって補正することを特徴とする請求項１０記載の符
    号化装置。
12. 【請求項１２】 上記ピクチャ(j)に対して割り当てら
    れる目標ビット量Ｔ(j)は、 Ｔi(j) は、上記ピクチャ(j)がＩピクチャの場合の目標
    ビット量を示し、 Ｔp(j) は、上記ピクチャ(j)がＰピクチャの場合の目標
    ビット量を示し、 Ｔb(j) は、上記ピクチャ(j)がＢピクチャの場合の目標
    ビット量を示し、 Ｒ(j)は、上記符号化対象ピクチャ(j)を含むＧＯＰにお
    けるピクチャ(j)以降の未符号化ピクチャに割り当てら
    れるビット量を示し、 Ｘiは、Ｉピクチャの画面の複雑さを表わすグローバル
    コンプレクシティを示し、 Ｘpは、Ｐピクチャの画面の複雑さを表わすグローバル
    コンプレクシティを示し、 Ｘbは、Ｂピクチャの画面の複雑さを表わすグローバル
    コンプレクシティを示し、 Ｎpは、上記符号化対象ピクチャ(j)を含むＧＯＰにおい
    てまだ符号化されていないＰピクチャの枚数を示し、 Ｎbは、上記符号化対象ピクチャ(j)を含むＧＯＰにおい
    てまだ符号化されていないＰピクチャの枚数を示し、 Ｋpは、Ｉピクチャの量子化スケールコードを基準とし
    たＰピクチャの量子化スケールコードの比率を示し、 Ｋｂは、Ｉピクチャの量子化スケールコードを基準とし
    たＢピクチャの量子化スケールコードの比率を示してい
    るとき、 下式 Ｔi(j)＝max （ Ｒ(j)／（１＋ ＮpＸp／ＸiＫp＋ＮbＸ
    b／ＸiＫb） ，bit_rate／8×picture_rate） Ｔp(j)＝max （ Ｒ(j)／（ Ｎp＋ＮbＫpＸb／ＫbＸp）
    ，bit_rate／8×picture_rate） Ｔb(j)＝max （ Ｒ(j)／（ Ｎb＋ＮpＫbＸp／ＫpＸb）
    ，bit_rate／8×picture_rate） によって計算されることを特徴とする請求項１１記載の
    符号化装置。
13. 【請求項１３】 上記制御手段は、 上記指定ビットレートを上記第１のビットレートから上
    記第２のビットレートに変更したときに、上記ピクチャ
    (j+1)を符号化した後の上記仮想バッファのデータ占有
    量Ｂ*(j+1)が、上記第２の仮想バッファサイズ範囲内で
    あるかを検証するために、上記ピクチャ(j+1)を符号化
    した後の上記仮想バッファのデータ占有量Ｂ*(j+1)を、 Ｂ*(j)は、上記ピクチャ(j)を符号化した後の上記仮想
    バッファのデータ占有量を示し、Ｔ(j)は、上記ピクチ
    ャ(j)に対して割り当てられる目標ビット量を示し、 ｔ(j)は、上記ピクチャ(j)をデコードする時間を示し、 ｔ(j+1)は、上記ピクチャ(j+1)をデコードする時間を示
    し、 bit_rate(j+1)は、上記第２のビットレートを示してい
    るとき、 下式 Ｂ*(j+1) ＝ Ｂ*(j) − Ｔ(j) ＋（ｔ(j+1)−ｔ(j）)
    × bit_rate(j+1) に基づいて演算することを特徴とする請求項１２記載の
    符号化装置。
14. 【請求項１４】 上記制御手段は、 上記指定ビットレートを上記第１のビットレートから上
    記第２のビットレートに変更したときに、上記ピクチャ
    (j+1)を符号化した後の上記仮想バッファのデータ占有
    量が、上記第２の仮想バッファサイズよりも大きい場合
    には、上記ピクチャ(j)に対して割り当てられる目標ビ
    ット量Ｔ(j)を、 右辺のＴ(j) は、請求項１２において計算されたピクチ
    ャ(j)に対して割り当てられる目標ビット量を示し、 Ｂ*(j+1)は、上記ピクチャ(j+1)を符号化した後の上記
    仮想バッファのデータ占有量を示し、 vbv_size(j+1) は、上記第２のビットレートに対応した
    第２の仮想バッファサイズを示しているとき、 下式 Ｔ(j) ＝ Ｔ(j) ＋ （ Ｂ*(j+1) − vbv_size(j+1) ） に基いて補正することを特徴とする請求項１３記載の符
    号化装置。
15. 【請求項１５】 指定ビットレートに基いてビデオデー
    タを符号化する符号化装置において、 上記指定ビットレートに基いて、各ピクチャに対して割
    り当てられる目標ビット量をそれぞれ演算する制御手段
    と、 上記制御手段によって制御された目標ビット量に基い
    て、上記符号化対象ピクチャを符号化する符号化手段
    と、 上記符号化手段から出力されるビットストリームのビッ
    ト量を検証するための仮想バッファ手段とを備え、 上記制御手段は、 上記仮想バッファの遅延量が予め設定された規定遅延時
    間以上にならないように、該規定遅延時間と上記指定ビ
    ットレートに応じて上記仮想バッファの使用可能範囲を
    規定すると共に、上記符号化手段から出力されるビット
    ストリームのデータ占有量が上記使用可能範囲内になる
    ように、上記符号化手段を制御することを特徴とする符
    号化装置。
16. 【請求項１６】 指定ビットレートに基いてビデオデー
    タを符号化する符号化装置において、 上記指定ビットレートに基いて、各ピクチャに対して割
    り当てられる目標ビット量をそれぞれ演算する制御手段
    と、 上記制御手段によって制御された目標ビット量に基い
    て、上記符号化対象ピクチャを符号化する符号化手段
    と、 上記符号化手段から出力されるビットストリームのビッ
    ト量を検証するための仮想バッファ手段とを備え、 上記制御手段は、 上記指定ビットレートが、上記仮想バッファのサイズと
    予め設定された規定遅延時間によって定義される規定ビ
    ットレート以下に変更された場合には、 上記変更された指定ビットレートに応じて上記仮想バッ
    ファの使用可能範囲を規定すると共に、上記符号化手段
    から出力されるビットストリームのデータ占有量が上記
    使用可能範囲内に制限されるように、上記符号化手段を
    制御することを特徴とする符号化装置。
17. 【請求項１７】 指定ビットレートに基いてビデオデー
    タを符号化する符号化方法において、 上記指定ビットレートに基いて、各ピクチャに対して割
    り当てられる目標ビット量をそれぞれ演算する制御工程
    と、 上記制御工程によって制御された目標ビット量に基い
    て、上記符号化対象ピクチャを符号化する符号化工程
    と、 上記符号化工程から出力されるビットストリームのビッ
    ト量を検証するための仮想バッファ工程とを備え、 上記制御工程において、 符号化対象ピクチャを符号化する場合に上記指定ビット
    レートが第１のビットレートから第２のビットレートに
    変更されたときには、上記第２のビットレートに応じて
    上記仮想バッファの使用可能範囲を規定すると共に、 上記符号化工程から出力されるビットストリームのデー
    タ占有量が上記使用可能範囲内になるように、上記符号
    化工程に供給される上記目標ビット量を制御することを
    特徴とする符号化方法。
18. 【請求項１８】 指定ビットレートに基いてビデオデー
    タを符号化する符号化方法において、 上記指定ビットレートに基いて、各ピクチャに対して割
    り当てられる目標ビット量をそれぞれ演算する制御工程
    と、 上記制御工程によって制御された目標ビット量に基い
    て、上記符号化対象ピクチャを符号化する符号化工程
    と、 上記符号化工程から出力されるビットストリームのビッ
    ト量を検証するための仮想バッファ工程とを備え、 上記制御工程において、 上記仮想バッファの遅延量が予め設定された規定遅延時
    間以上にならないように、該規定遅延時間と上記指定ビ
    ットレートに応じて上記仮想バッファの使用可能範囲を
    規定すると共に、上記符号化工程から出力されるビット
    ストリームのデータ占有量が上記使用可能範囲内になる
    ように、上記符号化工程を制御することを特徴とする符
    号化方法。
19. 【請求項１９】 指定ビットレートに基いてビデオデー
    タを符号化する符号化方法において、 上記指定ビットレートに基いて、各ピクチャに対して割
    り当てられる目標ビット量をそれぞれ演算する制御工程
    と、 上記制御工程によって制御された目標ビット量に基い
    て、上記符号化対象ピクチャを符号化する符号化工程
    と、 上記符号化工程から出力されるビットストリームのビッ
    ト量を検証するための仮想バッファ工程とを備え、 上記制御工程において、 上記指定ビットレートが、上記仮想バッファのサイズと
    予め設定された規定遅延時間によって定義される規定ビ
    ットレート以下に変更された場合には、 上記変更された指定ビットレートに応じて上記仮想バッ
    ファの使用可能範囲を規定すると共に、上記符号化工程
    から出力されるビットストリームのデータ占有量が上記
    使用可能範囲内に制限されるように、上記符号化工程を
    制御することを特徴とする符号化方法。