JPH11243539A

JPH11243539A - 符号化装置および符号化方法

Info

Publication number: JPH11243539A
Application number: JP34819998A
Authority: JP
Inventors: Kanji Mihara; 寛司三原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-12-08
Filing date: 1998-12-08
Publication date: 1999-09-07
Anticipated expiration: 2018-12-08
Also published as: JP4035747B2

Abstract

(57)【要約】【課題】画像データを統計多重する場合におけるGOP
の位相があっていないときの伝送効率の低下を抑制す
る。【解決手段】Ｎ枚のピクチャからなる１GOP分の画像
データが、ビットレートbit_rate(1)で符号化される。
このとき、符号量Ｒは、初期値Ｒ₁からビットレートbit
_rate(1)に従って、順次低下する。GOPの途中でビット
レートがbit_rate(2)に変更されたとき、GOPの残りのピ
クチャに対して割り当てるビット量Ｒを、ピクチャ当た
りのビット量の差分（bit_rate(1)−bit_rate(2)）／pi
c_rateに、残りの枚数を乗算した値を加算した値に変更
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化装置および
符号化方法に関し、特に、GOPの途中でビットレートを
変更できるようにし、もって、伝送路の容量を有効に利
用することができるようにした、符号化装置および符号
化方法に関する。

【０００２】

【従来の技術】最近、画像データ等をデジタルデータと
して送受信するデジタル放送が注目されている。デジタ
ル放送の利点は、アナログ放送に比べて、同じ伝送路に
おいてより多くの番組データ（以下、プログラムとい
う）を伝送することが可能であるということである。こ
れは画像データを圧縮して伝送できるということによる
ところが大きい。画像データの圧縮の方法としては、例
えばＭＰＥＧ（Moving Picture Experts Group）規格で
採用されている双方向予測符号化方式が用いられること
が多い。この双方向予測符号化方式では、フレーム内符
号化、フレーム間順方向予測符号化および双方向予測符
号化の３つのタイプの符号化が行われ、各符号化タイプ
による画像は、それぞれＩピクチャ（intra coded pict
ure）、Ｐピクチャ（predictive coded picture）また
はＢピクチャ（bidirectionally predictive coded pic
ture）と呼ばれる。

【０００３】デジタル放送における画像の圧縮符号化で
は、圧縮符号化後のデータ量（ビット量）を、伝送路の
伝送容量以下に抑えつつ、画質を高品質に保つ必要があ
る。

【０００４】所定の伝送容量の伝送路に対して、より多
くの複数のプログラムを伝送する方法として、「統計多
重」という手法がある。統計多重は、各プログラムの伝
送レートを動的に変化させることにより、より多くのプ
ログラムを伝送する手法である。この統計多重では、例
えば、伝送レートを減らしても画質の劣化が目立たない
プログラムについては伝送レートを減らすことにより、
より多くのプログラムの伝送を可能にする。

【０００５】ここで、図１および図２を参照して、統計
多重について更に説明する。図１は、従来の固定レート
により多重化した場合の各プログラムに対する割当符号
レートの一例を表したものであり、縦軸が各プログラム
に対する割当符号レートを表し、横軸が時刻を表してい
る。図１に示したように、例えば天気予報、ニュースお
よびドラマといった多重化される各プログラムの割当符
号レートは、初期値として割り当てられた符号レートの
まま一定であり、時間の経過によって変動していない。
各プログラムに対して初期値として割り当てられる符号
レートは、各プログラムの画質の劣化が最も目立つ部分
（時刻）における画質の劣化が許容範囲に収まるように
割り当てられている。従って、画質の劣化が目立つ部分
以外の部分には、必要以上の符号レートが割り当てられ
ていることになる。

【０００６】図２は、統計多重の手法を用いて、各プロ
グラムに対する割当符号レートを動的に変化させて多重
化した場合の各プログラムに対する割当符号レートの一
例を表したものであり、縦軸が各プログラムに対する割
当符号レートを表し、横軸が時刻を表している。統計多
重は、各プログラムの画質の劣化が目立つ部分（時刻）
が同一時間帯に重なることが稀であることを利用したも
のである。すなわち、あるプログラムでは画質劣化が目
立つ部分であるとき、他のプログラムは符号レートを落
としても画質劣化が目立たない場合が多いので、他のプ
ログラムの符号レートを落として、画質劣化が目立つプ
ログラムに対して符号レートを多く割り当てることがで
きる。図２に示した例では、時刻ｔ₁において、ドラマ
（１）の画像は画質劣化が目立つ部分であるが、ニュー
スおよびドラマ（２）の画像は画質劣化が目立たない部
分であるので、ニュースおよびドラマ（２）の画像の符
号レートが落とされ、ドラマ（１）の画像に対してその
分だけ符号レートが多く割り当てられている。このよう
にして、統計多重を用いることにより、通常よりも多く
のプログラムを伝送することができる。

【０００７】

【発明が解決しようとする課題】しかし、ここでGOP（G
roup of Picture）の位相の問題がある。通常、エンコ
ーダは、TM５（Test Model Editing Committe:"Test Mo
del5";ISO/IEC JTC/SC292/WG11/NO400(Apr.1993)）に代
表されるように、画像を、GOP単位でレートコントロー
ルしてエンコードする。すなわち、ビットレートは、GO
Pの途中では変更されない。その結果、各プログラムのG
OPの位相があっている場合はよい（一般的には、このよ
うな場合はほとんどない）が、GOPの位相にずれがある
場合（一般的にはこの場合がほとんどである）、GOPの
先頭でしかプログラムのビットレートが変更されないの
で、一度に全てのプログラムのビットレートを変更する
ことができず、図３に示すように、デッドスペース（い
ずれのプログラムにもビットレートが割り当てられてい
ない部分）が生じて、伝送容量を全て有効に使用するこ
とができないという課題があった。

【０００８】そこで、GOP単位でレートコントロールを
せず、フレーム単位で個々に目標符号量を決めてエンコ
ードする手法も考えられる。しかしながら、デジタル放
送の場合、受信機（デコーダ）のVBV（Video Buffering
Verifier）バッファをオーバーフローまたはアンダー
フローさせないように発生符号量を厳しく制御する必要
があるが、このように、フレーム単位で目標符号量を決
定するようにすると、VBVバッファがオーバーフローま
たはアンダーフローしないように制御することが困難に
なる。

【０００９】本発明はこのような状況に鑑みてなされた
もので、GOPの途中でもビットレートを変更できるよう
にし、もって、伝送路の容量を有効に利用することがで
きるようにすることを目的とする。

【００１０】

【課題を解決するための手段】請求項１に記載の符号化
装置は、指定ビットレートに基づいて、GOPに含まれる
各ピクチャに対して割り当てられる目標ビット量をそれ
ぞれ演算する制御手段と、制御手段によって制御された
目標ビット量に基づいて、符号化対象ピクチャを符号化
する符号化手段とを備え、制御手段は、符号化手段によ
って符号化対象ピクチャの符号化処理を行う場合、指定
ビットレートが第１のビットレートから第２のビットレ
ートに変更されたとき、第１のビットレートと第２のビ
ットレートとの差分に基づいて符号化対象ピクチャに割
り当てられる目標ビット量を補正することを特徴とす
る。

【００１１】この符号化装置においては、符号化手段に
よって符号化対象ピクチャの符号化処理を行う場合、指
定ビットレートが第１のビットレートから第２のビット
レートに変更されたとき、制御手段は、第１のビットレ
ートと第２のビットレートとの差分に基づいて符号化対
象ピクチャに割り当てられる目標ビット量を補正する。

【００１２】請求項２７に記載の符号化装置は、GOP内
における未符号化ピクチャに対して割り当てられるビッ
ト量と指定ビットレートとに基づいて、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算する制
御手段と、制御手段によって演算された目標ビット量に
従って、符号化対象ピクチャを符号化する符号化手段を
備え、制御手段は、指定ビットレートがGOPの途中にお
いて第１のビットレートから第２のビットレートに変更
された場合には、符号化手段に与えられる目標ビットレ
ートを、第１のビットレートに対応する目標ビット量か
ら、第２のビットレートに対応する目標ビット量に補正
することを特徴とする。

【００１３】この符号化装置においては、指定ビットレ
ートがGOPの途中において第１のビットレートから第２
のビットレートに変更された場合、制御手段は、符号化
手段に与えられる目標ビットレートを、第１のビットレ
ートに対応する目標ビット量から、第２のビットレート
に対応する目標ビット量に補正する。

【００１４】請求項２８に記載の符号化装置は、GOP内
における未符号化ピクチャに対して割り当てられるビッ
ト量から、符号化対象ピクチャに対して割り当てられる
目標ビット量を演算する制御手段と、制御手段によって
演算された目標ビット量に従って、符号化対象ピクチャ
を符号化する符号化手段を備え、演算手段は、GOPの途
中において指定ビットレートが第１のビットレートから
第２のビットレートに変更された場合には、未符号化ピ
クチャのビット量の変化軌跡が、GOPの先頭ピクチャか
ら第２のビットレートで各ピクチャを符号化していた時
の軌跡になるように、未符号化ピクチャのビット量を補
正し、補正された未符号化ピクチャのビット量に基づい
て、符号化対象ピクチャに対して割り当てられる目標ビ
ット量を演算することを特徴とする。

【００１５】この符号化装置においては、GOPの途中に
おいて指定ビットレートが第１のビットレートから第２
のビットレートに変更された場合、未符号化ピクチャの
ビット量の変化軌跡が、GOPの先頭ピクチャから第２の
ビットレートで各ピクチャを符号化していた時の軌跡に
なるように、未符号化ピクチャのビット量が補正され、
補正された未符号化ピクチャのビット量に基づいて、符
号化対象ピクチャに対して割り当てられる目標ビット量
が演算される。

【００１６】請求項２９に記載の符号化装置は、GOP内
における未符号化ピクチャに対して割り当てられるビッ
ト量から、符号化対象ピクチャに対して割り当てられる
目標ビット量を演算する制御手段と、制御手段によって
演算された目標ビット量に従って、符号化対象ピクチャ
を符号化する符号化手段を備え、演算手段は、GOPの途
中において指定ビットレートが第１のビットレートから
第２のビットレートに変更された場合には、未符号化ピ
クチャのビット量を、第１のビットレートに基づく未符
号化ピクチャのビット量から第２のビットレートに基づ
く未符号化ピクチャのビット量に補正し、補正された未
符号化ピクチャのビット量に基づいて、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算するこ
とを特徴とする。

【００１７】この符号化装置においては、GOPの途中に
おいて指定ビットレートが第１のビットレートから第２
のビットレートに変更された場合、未符号化ピクチャの
ビット量が、第１のビットレートに基づく未符号化ピク
チャのビット量から第２のビットレートに基づく未符号
化ピクチャのビット量に補正され、補正された未符号化
ピクチャのビット量に基づいて、符号化対象ピクチャに
対して割り当てられる目標ビット量が演算される。

【００１８】請求項３０に記載の符号化装置は、符号化
対象ピクチャから所定枚数先のピクチャまでの未符号化
ピクチャに対して割り当てられる予想ビット量を演算
し、その予想ビット量を符号化対象ピクチャの符号化難
易度に基づいて配分することによって、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算する制
御手段と、制御手段によって演算された目標ビット量に
従って、符号化対象ピクチャを符号化する符号化手段を
備え、制御手段は、指定ビットレートがGOPの途中にお
いて第１のビットレートから第２のビットレートに変更
された場合には、符号化手段に与えられる目標ビットレ
ートを、第１のビットレートに対応する目標ビット量か
ら、第２のビットレートに対応する目標ビット量に補正
することを特徴とする。

【００１９】この符号化装置においては、指定ビットレ
ートがGOPの途中において第１のビットレートから第２
のビットレートに変更された場合、目標ビットレート
が、第１のビットレートに対応する目標ビット量から、
第２のビットレートに対応する目標ビット量に補正され
る。

【００２０】請求項３１に記載の符号化装置は、符号化
対象ピクチャから所定枚数先のピクチャまでの未符号化
ピクチャに対して割り当てられる予想ビット量を演算
し、その予想ビット量を符号化対象ピクチャの符号化難
易度に基づいて配分することによって、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算する制
御手段と、制御手段によって演算された目標ビット量に
従って、符号化対象ピクチャを符号化する符号化手段を
備え、演算手段は、GOPの途中において指定ビットレー
トが第１のビットレートから第２のビットレートに変更
された場合には、未符号化ピクチャに割り当てられる予
想ビット量の変化軌跡が、第２のビットレートで各ピク
チャを符号化していた時の軌跡になるように、未符号化
ピクチャに対して割り当てられる予想ビット量を補正
し、補正されたビット量に基づいて、符号化対象ピクチ
ャに対して割り当てられる目標ビット量を演算すること
を特徴とする。

【００２１】この符号化装置においては、GOPの途中に
おいて指定ビットレートが第１のビットレートから第２
のビットレートに変更された場合、未符号化ピクチャに
割り当てられる予想ビット量の変化軌跡が、第２のビッ
トレートで各ピクチャを符号化していた時の軌跡になる
ように、未符号化ピクチャに対して割り当てられる予想
ビット量が補正され、補正されたビット量に基づいて、
符号化対象ピクチャに対して割り当てられる目標ビット
量が演算される。

【００２２】請求項３２に記載の符号化装置は、符号化
対象ピクチャから所定枚数先のピクチャまでの未符号化
ピクチャに対して割り当てられる予想ビット量を演算
し、その予想ビット量を符号化対象ピクチャの符号化難
易度に基づいて配分することによって、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算する制
御手段と、制御手段によって演算された目標ビット量に
従って、符号化対象ピクチャを符号化する符号化手段を
備え、演算手段は、GOPの途中において指定ビットレー
トが第１のビットレートから第２のビットレートに変更
された場合には、未符号化ピクチャに対して割り当てら
れるビット量を、第１のビットレートに基づく未符号化
ピクチャのビット量から第２のビットレートに基づく未
符号化ピクチャのビット量に補正し、補正された未符号
化ピクチャのビット量に基づいて、符号化対象ピクチャ
に対して割り当てられる目標ビット量を演算することを
特徴とする。

【００２３】この符号化装置においては、GOPの途中に
おいて指定ビットレートが第１のビットレートが第２の
ビットレートに変更された場合、未符号化ピクチャに対
して割り当てられるビット量が、第１のビットレートに
基づく未符号化ピクチャのビット量から第２のビットレ
ートに基づく未符号化ピクチャのビット量に補正され、
補正された未符号化ピクチャのビット量に基づいて、符
号化対象ピクチャに対して割り当てられる目標ビット量
が演算される。

【００２４】請求項３３に記載の符号化方法は、指定ビ
ットレートに基づいて、GOPに含まれる各ピクチャに対
して割り当てられる目標ビット量をそれぞれ演算する制
御工程と、制御工程によって制御された目標ビット量に
基づいて、符号化対象ピクチャを符号化する符号化工程
とを備え、制御工程において、符号化工程によって符号
化対象ピクチャの符号化処理を行う場合に、指定ビット
レートが第１のビットレートから第２のビットレートに
変更されたとき、第１のビットレートと第２のビットレ
ートとの差分に基づいて符号化対象ピクチャに割り当て
られる目標ビット量を補正することを特徴とする。

【００２５】この符号化方法においては、符号化工程に
よって符号化対象ピクチャの符号化処理を行うとき、指
定ビットレートが第１のビットレートから第２のビット
レートに変更された場合に、第１のビットレートと第２
のビットレートとの差分に基づいて符号化対象ピクチャ
に割り当てられる目標ビット量が補正される。

【００２６】請求項３４に記載の符号化方法は、GOP内
における未符号化ピクチャに対して割り当てられるビッ
ト量と指定ビットレートとに基づいて、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算する制
御工程と、制御工程によって演算された目標ビット量に
従って、符号化対象ピクチャを符号化する符号化工程を
備え、制御工程において、指定ビットレートがGOPの途
中において第１のビットレートから第２のビットレート
に変更された場合には、符号化工程に与えられる目標ビ
ットレートを、第１のビットレートに対応する目標ビッ
ト量から、第２のビットレートに対応する目標ビット量
に補正することを特徴とする。

【００２７】この符号化方法においては、指定ビットレ
ートがGOPの途中において第１のビットレートから第２
のビットレートに変更された場合、目標ビットレートが
第１のビットレートに対応する目標ビット量から第２の
ビットレートに対応する目標ビット量に補正される。

【００２８】請求項３５に記載の符号化方法は、GOP内
における未符号化ピクチャに対して割り当てられるビッ
ト量から、符号化対象ピクチャに対して割り当てられる
目標ビット量を演算する制御工程と、制御工程によって
演算された目標ビット量に従って、符号化対象ピクチャ
を符号化する符号化工程を備え、演算工程において、GO
Pの途中において指定ビットレートが第１のビットレー
トから第２のビットレートに変更された場合には、未符
号化ピクチャのビット量の変化軌跡が、GOPの先頭ピク
チャから第２のビットレートで各ピクチャを符号化して
いた時の軌跡になるように、未符号化ピクチャのビット
量を補正し、補正された未符号化ピクチャのビット量に
基づいて、符号化対象ピクチャに対して割り当てられる
目標ビット量を演算することを特徴とする。

【００２９】この符号化方法においては、GOPの途中に
おいて指定ビットレートが第１のビットレートから第２
のビットレートに変更された場合、未符号化ピクチャの
ビット量の変化軌跡が、GOPの先頭ピクチャから第２の
ビットレートで各ピクチャを符号化していた時の軌跡に
なるように、未符号化ピクチャのビット量が補正され、
補正された未符号化ピクチャのビット量に基づいて、符
号化対象ピクチャに対して割り当てられる目標ビット量
が演算される。

【００３０】請求項３６に記載の符号化方法は、GOP内
における未符号化ピクチャに対して割り当てられるビッ
ト量から、符号化対象ピクチャに対して割り当てられる
目標ビット量を演算する制御工程と、制御工程によって
演算された目標ビット量に従って、符号化対象ピクチャ
を符号化する符号化工程を備え、演算工程において、GO
Pの途中において指定ビットレートが第１のビットレー
トから第２のビットレートに変更された場合には、未符
号化ピクチャのビット量を、第１のビットレートに基づ
く未符号化ピクチャのビット量から第２のビットレート
に基づく未符号化ピクチャのビット量に補正し、補正さ
れた未符号化ピクチャのビット量に基づいて、符号化対
象ピクチャに対して割り当てられる目標ビット量を演算
することを特徴とする。

【００３１】この符号化方法においては、GOPの途中に
おいて指定ビットレートが第１のビットレートから第２
のビットレートに変更された場合、未符号化ピクチャの
ビット量が、第１のビットレートに基づく未符号化ピク
チャのビット量から第２のビットレートに基づく未符号
化ピクチャのビット量に補正され、補正された未符号化
ピクチャのビット量に基づいて、符号化対象ピクチャに
対して割り当てられる目標ビット量が演算される。

【００３２】請求項３７に記載の符号化方法は、符号化
対象ピクチャから所定枚数先のピクチャまでの未符号化
ピクチャに対して割り当てられる予想ビット量を演算
し、その予想ビット量を符号化対象ピクチャの符号化難
易度に基づいて配分することによって、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算する制
御工程と、制御工程によって演算された目標ビット量に
従って、符号化対象ピクチャを符号化する符号化工程を
備え、制御工程において、指定ビットレートがGOPの途
中において第１のビットレートから第２のビットレート
に変更された場合には、符号化工程に与えられる目標ビ
ットレートを、第１のビットレートに対応する目標ビッ
ト量から、第２のビットレートに対応する目標ビット量
に補正することを特徴とする。

【００３３】この符号化方法においては、指定ビットレ
ートがGOPの途中において第１のビットレートから第２
のビットレートに変更された場合、目標ビットレート
が、第１のビットレートに対応する目標ビット量から、
第２のビットレートに対応する目標ビット量に補正され
る。

【００３４】請求項３８に記載の符号化方法は、符号化
対象ピクチャから所定枚数先のピクチャまでの未符号化
ピクチャに対して割り当てられる予想ビット量を演算
し、その予想ビット量を符号化対象ピクチャの符号化難
易度に基づいて配分することによって、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算する制
御工程と、制御工程によって演算された目標ビット量に
従って、符号化対象ピクチャを符号化する符号化工程を
備え、制御工程において、GOPの途中において指定ビッ
トレートが第１のビットレートから第２のビットレート
に変更された場合には、未符号化ピクチャに割り当てら
れる予想ビット量の変化軌跡が、第２のビットレートで
各ピクチャを符号化していた時の軌跡になるように、未
符号化ピクチャに対して割り当てられる予想ビット量を
補正し、補正されたビット量に基づいて、符号化対象ピ
クチャに対して割り当てられる目標ビット量を演算する
ことを特徴とする。

【００３５】この符号化方法においては、GOPの途中に
おいて指定ビットレートが第１のビットレートから第２
のビットレートに変更された場合、未符号化ピクチャに
割り当てられる予想ビット量の変化軌跡が、第２のビッ
トレートで各ピクチャを符号化していた時の軌跡になる
ように、未符号化ピクチャに対して割り当てられる予想
ビット量が補正され、補正されたビット量に基づいて、
符号化対象ピクチャに対して割り当てられる目標ビット
量が演算される。

【００３６】請求項３９に記載の符号化方法は、符号化
対象ピクチャから所定枚数先のピクチャまでの未符号化
ピクチャに対して割り当てられる予想ビット量を演算
し、その予想ビット量を符号化対象ピクチャの符号化難
易度に基づいて配分することによって、符号化対象ピク
チャに対して割り当てられる目標ビット量を演算する制
御工程と、制御工程によって演算された目標ビット量に
従って、符号化対象ピクチャを符号化する符号化工程を
備え、制御工程において、GOPの途中において指定ビッ
トレートが第１のビットレートから第２のビットレート
に変更された場合には、未符号化ピクチャに対して割り
当てられるビット量を、第１のビットレートに基づく未
符号化ピクチャのビット量から第２のビットレートに基
づく未符号化ピクチャのビット量に補正し、補正された
未符号化ピクチャのビット量に基づいて、符号化対象ピ
クチャに対して割り当てられる目標ビット量を演算する
ことを特徴とする。

【００３７】この符号化方法においては、GOPの途中に
おいて指定ビットレートが第１のビットレートから第２
のビットレートに変更された場合、未符号化ピクチャに
対して割り当てられるビット量が、第１のビットレート
に基づく未符号化ピクチャのビット量から第２のビット
レートに基づく未符号化ピクチャのビット量に補正さ
れ、補正された未符号化ピクチャのビット量に基づい
て、符号化対象ピクチャに対して割り当てられる目標ビ
ット量が演算される。

【００３８】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図４は、本発明を適
用した画像多重化システム１の構成例を表す。画像多重
化システム１は、それぞれ、本発明における番組データ
としてのプログラムＰ_i（ｉ＝１，２，・・・，ｎ）を
入力し、圧縮符号化する複数の画像符号化装置２−ｉ
と、各画像符号化装置２−ｉに対してフィードバック型
のビットレート制御を行うコントローラ３と、各画像符
号化装置２−ｉよりそれぞれ出力される圧縮符号化デー
タｓｔ_iを多重化して、伝送路に対して画像データＳ_mを
出力する多重化装置４とを備えている。画像符号化装置
２−ｉは、プログラムＰ_iの複雑さ（グローバルコンプ
レクシティ）Ｃ_iを求め、コントローラ３に出力してい
る。コントローラ３は、各画像符号化装置２−ｉからの
グローバルコンプレクシティＣ_iに基づいて、統計多重
により、各画像符号化装置２−ｉのビットレートbit_ra
te#iを決定し、各画像符号化装置２−ｉに出力してい
る。

【００３９】画像多重化システム１は、伝送システムと
して用いられる場合には、多重化装置４より出力される
画像データＳ_mを、伝送用データとして伝送路に対して
出力する。また、画像多重化システム１は、放送システ
ムとして用いられる場合には、多重化装置４より出力さ
れる画像データＳ_mを、放送用データとして、放送用の
伝送路を介して受信装置側に送信する。

【００４０】図５は、図４における画像符号化装置２−
１（図示は省略するが、画像符号化装置２−２乃至２−
ｎも同様に構成される）の詳細な構成を示すブロック図
である。この図に示したように、画像符号化装置２−１
は、プログラムＰ₁を入力し、符号化する順番に従って
ピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順
番を並べ替える画像並べ替え回路１１と、この画像並べ
替え回路１１の出力データを入力し、フレーム構造かフ
ィールド構造かを判別し、判別結果に応じた走査変換を
行うとともに、１６×１６画素のマクロブロック化を行
う走査変換マクロブロック化回路１２を備える。動き検
出回路２１は、走査変換マクロブロック化回路１２の出
力データに基づいて、圧縮符号化の対象となるピクチャ
において注目マクロブロックを探すとともに、参照され
るピクチャにおいて、注目マクロブロックとの間の画素
値の差分の絶対値和あるいは自乗和が最小となるマクロ
ブロック（予測マクロブロック）を探して、それらか
ら、動きベクトルＭＶを検出して動き補償回路２２に送
る。

【００４１】減算回路１３は、走査変換マクロブロック
化回路１２の出力から、動き補償回路２２が動き検出回
路２１からの動きベクトルＭＶに基づいて生成した予測
画像データ（予測マクロブロック）を減算し、DCT（Dis
crete Cosine Transform）回路１４に出力する。DCT回
路１４は、入力されたデータをDCT変換し、量子化回路
１５に出力する。量子化回路１５は、DCT回路１４より
入力されたデータを、レートコントローラ２３の量子化
スケールコード決定回路３３が出力する量子化スケール
コードＱ₁に基づいて量子化し、可変長符号化回路１６
と、逆量子化回路１８に出力している。

【００４２】可変長符号化回路１６は、量子化回路１５
より入力されたデータを可変長符号化し、バッファメモ
リ１７を介して多重化装置４に出力する。バッファメモ
リ１７の使用可能な容量は、コントローラ２４により制
御される。

【００４３】逆量子化回路１８は、量子化回路１５より
供給されたデータを逆量子化し、逆DCT回路１９に出力
する。逆DCT回路１９は、逆量子化回路１８より供給さ
れたデータを逆DCT変換し、加算回路２０に出力してい
る。加算回路２０は、動き補償回路２２より出力された
予測画像データと、逆DCT回路１９より出力されたデー
タとを加算し、加算して得られたもとの画像データ（局
部的に復号された画像データ）を動き補償回路２２に出
力し、内蔵するフレームメモリに記憶させる。

【００４４】レートコントローラ２３は、図４のコント
ローラ３からの信号bit_rate#1と、バッファメモリ１７
からの発生符号量Ｓ₁に基づいて量子化スケールコード
Ｑ₁を生成し、量子化回路１５に出力している。このた
め、レートコントローラ２３の複雑さ計算回路３１は、
次式に従ってグローバルコンプレクシティ（global com
lpexity）Ｃ₁（次式では、Ｘｉ，Ｘｐ，Ｘｂとして表さ
れている）を算出する。このグローバルコンプレクシテ
ィＣ₁は、画像の絵柄の複雑さを示すデータであり、次
式に示すように、圧縮映像データの発生符号量（データ
量）Ｓ₁（バッファメモリ１７より供給される）と、量
子化スケールコードＱ₁（量子化スケールコード決定回
路３３より供給される）とを乗算して得られる値であ
る。Ｘｉ＝Ｓｉ×Ｑｉ・・・（１）Ｘｐ＝Ｓｐ×Ｑｐ・・・（２）Ｘｂ＝Ｓｂ×Ｑｂ・・・（３）

【００４５】なお、上記式において、Ｘｉ，Ｘｐ，Ｘｂ
は、それぞれ、Ｉピクチャ、Ｐピクチャ、またはＢピク
チャのグローバルコンプレクシティＣ₁を表し、Ｓｉ，
Ｓｐ，Ｓｂは、それぞれＩピクチャ、Ｐピクチャ、また
はＢピクチャを可変長符号化回路１６で符号化した際の
発生符号量Ｓ₁を表し、Ｑｉ，Ｑｐ，Ｑｂは、それぞれ
Ｉピクチャ、Ｐピクチャ、またはＢピクチャを生成する
際の量子化スケールコードＱ₁を表す。

【００４６】このグローバルコンプレクシティＣ₁は、
図１７と図１８を参照して後述するフィードフォワード
型のビットレート制御システムにおいて用いられる符号
化難易度Ｄ₁とは必ずしも一致しないが、量子化スケー
ルコードＱ₁が極端に大きかったり小さかったりしない
限り、符号化難易度Ｄ₁とほぼ一致する。

【００４７】複雑さ計算回路３１は、以上のようにし
て、式（１）乃至式（３）に基づいて演算により求めた
コンプレクシティＣ₁（Ｘｉ，Ｘｐ，Ｘｂ）を、図４の
コントローラ３に出力し、また、発生符号量Ｓ₁（Ｓ
ｉ，Ｓｐ，Ｓｂ）とともに、目標ビット量設定回路３２
に出力する。目標ビット量設定回路３２は、コントロー
ラ３より供給される信号bit_rate#1、複雑さ計算回路３
１より供給されるコンプレクシティＣ₁（Ｘｉ，Ｘｐ，
Ｘｂ）、並びに発生符号量Ｓ₁（Ｓｉ，Ｓｐ，Ｓｂ）に
基づいて、目標ビット量Ｔ₁を設定し、設定した目標ビ
ット量Ｔ₁を量子化スケールコード決定回路３３に出力
する。量子化スケールコード決定回路３３は、入力され
た目標ビット量Ｔ₁に対応して量子化スケールコードＱ₁
を決定し、量子化回路１５と複雑さ計算回路３１に出力
している。

【００４８】次に、図４に示した画像多重化システム１
の動作について説明する。この画像多重化システム１で
は、各プログラムＰ_iは、それぞれ、各画像符号化装置
２−ｉによって符号化される。画像符号化装置２−ｉ
は、プログラムＰ_iについて、既に符号化した画像の複
雑さを表すグローバルコンプレクシティＣ_iを演算し、
コントローラ３に出力する。コントローラ３は、統計多
重の手法を用いて、入力された各グローバルコンプレク
シティＣ_iに基づいて、各プログラムＰ_iに対する単位時
間当たりの目標発生符号量である目標符号レートとして
の目標ビットレートbit_rate#iを決定し、各画像符号化
装置２−ｉに対して出力する。画像符号化装置２−ｉ
は、入力された目標ビットレートbit_rate#iに基づい
て、プログラムＰ_iを圧縮符号化し、圧縮符号化データ
ｓｔ_iを多重化装置４に出力する。多重化装置４は、入
力された各圧縮符号化データｓｔ_iを多重化して、出力
用の画像データＳ_mを生成し、伝送路に対して出力す
る。

【００４９】次に、図５に示した画像符号化装置２−１
の基本的な動作について説明する。まず、プログラムＰ
₁は、画像符号化装置２−１の画像並べ替え回路１１に
よって、符号化する順番に従ってピクチャ（Ｉピクチ
ャ，Ｐピクチャ，Ｂピクチャ）の順番が並べ替えられ
る。次に、走査変換マクロブロック化回路１２は、その
ピクチャがフレーム構造かフィールド構造かを判別し、
判別結果に応じた走査変換およびマクロブロック化を行
う。走査変換マクロブロック化回路１２の出力データ
は、動き検出回路２１と減算回路１３に送られる。

【００５０】入力されたピクチャがＩピクチャの場合に
は、減算回路１３において予測画像データとの差分をと
ることなく、走査変換マクロブロック化回路１２の出力
データがそのままDCT回路１４に入力され、DCT係数に変
換される。DCT係数は、量子化スケールコード決定回路
３３で決定された量子化スケールコードＱ₁に基づいて
量子化回路１５によって量子化された後、可変長符号化
回路１６によって可変長符号化される。可変長符号化回
路１６の出力データは、バッファメモリ１７によって一
旦保持された後、ビットストリームからなる圧縮符号化
データｓｔ₁として、多重化装置４に出力される。

【００５１】また、逆量子化回路１８は量子化回路１５
の出力データを逆量子化する。逆DCT回路１９は逆量子
化回路１８の出力データに対して逆DCTを行い、加算回
路２０を介して動き補償回路２２に入力して保持させ
る。

【００５２】入力されたピクチャがＰピクチャの場合に
は、動き補償回路２２によって、保持している過去のＩ
ピクチャまたはＰピクチャに対応する画像データと、動
き検出回路２１からの動きベクトルＭＶとに基づいて予
測画像データが生成され、予測画像データが減算回路１
３と加算回路２０に出力される。減算回路１３は、走査
変換マクロブロック化回路１２の出力データと動き補償
回路２２からの予測画像データとの差分を演算する。こ
の差分データは、DCT回路１４によってDCT係数に変換さ
れ、量子化回路１５によって量子化される。可変長符号
化回路１６は、量子化回路１５の出力データを可変長符
号化し、バッファメモリ１７を介して、圧縮符号化デー
タＳｔ₁として、多重化装置４に出力する。

【００５３】また、逆量子化回路１８は、量子化回路１
５の出力データを逆量子化する。逆DCT回路１９は、逆
量子化回路１８の出力データに対して逆DCTを行う。加
算回路２０は、逆DCT回路１９の出力データと、動き補
償回路２２が出力する予測画像データとを加算し、動き
補償回路２２に入力して保持させる。

【００５４】入力されたピクチャがＢピクチャの場合に
は、動き補償回路２２によって、保持されている過去お
よび未来のＩピクチャまたはＰピクチャに対応する２つ
の画像データと、動き検出回路２１からの２つの動きベ
クトルＭＶとに基づいて、予測画像データが生成され、
減算回路１３と加算回路２０に出力される。減算回路１
３は、走査変換マクロブロック化回路１２の出力データ
と動き補償回路２２からの予測画像データとの差分を演
算する。この差分データは、DCT回路１４によってDCT係
数に変換され、量子化回路１５によって量子化される。
可変長符号化回路１６は、量子化回路１５の出力データ
を可変長符号化し、バッファメモリ１７を介して圧縮符
号化データｓｔ₁として、多重化装置４に出力する。な
お、Ｂピクチャは動き補償回路２２に保持されない。

【００５５】次に、図６と図７のフローチャートを参照
して、レートコントローラ２３とコントローラ２４によ
るレートコントロールの動作について説明する。なお、
以下の説明においては、各プログラムＰ_iに対応する発
生符号量Ｓ_i、グローバルコンプレクシティＣ_i、目標ビ
ット量Ｔ_i、量子化スケールコードＱｉ、圧縮符号化デ
ータｓｔ_i、ビットレートbit_rate#iなどの添字ｉは、
記号が複雑になるので、それらを個々に区別する必要が
ある場合を除き、基本的に省略する。

【００５６】ステップＳ１において、レートコントロー
ラ２３の目標ビット量設定回路３２は、次の式（４）乃
至式（６）に基づいて、GOP（通常、１GOPは１５フレー
ムのピクチャで構成される）のピクチャ（ｊ）に対する
目標符号量Ｔｉ（ｊ），Ｔｐ（ｊ），Ｔｂ（ｊ）をそれ
ぞれ演算する。

【００５７】

【数１】

【００５８】上記式において、Ｒ（ｊ）は、GOP内のま
だ符号化していない（これから符号化する）ピクチャの
符号量（ビット量）を表し、Ｎｐ，Ｎｂは、GOP内でま
だ符号化されていないＰピクチャまたはＢピクチャの枚
数を表し、Ｘｉ，Ｘｐ，Ｘｂは、それぞれＩピクチャ、
Ｐピクチャ、またはＢピクチャのグローバルコンプレク
シティＣを表している。ＫｐとＫｂは、Ｉピクチャの量
子化スケールコードを基準としたＰピクチャとＢピクチ
ャの量子化スケールコードの比率を表し、次式で示す値
とされる。＄Ｋｐ＝１．０・・・（７）Ｋｂ＝１．４・・・（８）

【００５９】すなわち、Ｐピクチャの量子化スケールコ
ードは、Ｉピクチャの量子化スケールコードの１倍とさ
れるが、Ｂピクチャの量子化スケールコードは、Ｉピク
チャとＰピクチャの量子化スケールコードの常に１．４
倍とされる。これにより、Ｂピクチャが、Ｉピクチャま
たはＰピクチャに比較して、多少粗めに符号化されるの
で、Ｂピクチャで節約できる符号量をＩピクチャとＰピ
クチャの符号量に加えることができ、ＩピクチャとＰピ
クチャのＳ／Ｎが改善されるとともに、それを参照する
ＢピクチャのＳ／Ｎも改善されることとなり、総合的に
Ｓ／Ｎが改善される。

【００６０】なお、コンプレクシティＸｉ，Ｘｐ，Ｘｂ
の初期値は、目標レートであるbit_rate（ｊ）（ビット
／秒）に基づいて次式で示す値に設定される。

【００６１】Ｘｉ＝１６０×bit_rate（ｊ）／１１５・・・（９）Ｘｐ＝６０×bit_rate（ｊ）／１１５・・・（１０）Ｘｂ＝４２×bit_rate（ｊ）／１１５・・・（１１）

【００６２】bit_rate（ｊ）は、コントローラ３よりピ
クチャ（ｊ）に対して指定されるビットレートを表す。
pic_rateは、ピクチャレートを表し、例えば、NTSC方式
の場合、３０（フレーム／秒）となる。さらに、max{A,
B}は、ＡとＢのうち、大きい方を選択する関数を意味す
る。

【００６３】Ｒ（ｊ），Ｎｐ，Ｎｂ，Ｋｐ，Ｋｂ，pic_
rateの各値は、それぞれ各画像符号化装置２−ｉ毎に設
けられているコントローラ２４（図５）から供給される
値である。Ｘｉ，Ｘｐ，Ｘｂは、上述したように、複雑
さ計算回路３１が式（１）乃至式（３）に従って演算し
た値である。

【００６４】式（４）乃至（６）では、未符号化ピクチ
ャ全体の発生する推定符号量が割当対象ピクチャの何枚
分の符号量に相当するかが求められる。

【００６５】例えば、式（４）の第１引数の分母の第２
項のＮｐＸｐ／ＸｉＫｐは、GOP内のＮｐ枚の未符号化
Ｐピクチャが、Ｉピクチャ何枚分の符号量に相当するか
を表し、第３項のＮｂＸｂ／ＸｉＫｂは、GOP内のＮｂ
枚の未符号化Ｂピクチャが、Ｉピクチャ何枚分の符号量
に相当するかを表している。第１項の１は、GOP内のＩ
ピクチャの数を表している（１GOP内のＩピクチャの数
は、常に１とされている）ので、結局、式（４）の第１
引数は、GOP内の残りの（Ｎ−ｊ＋１）枚のピクチャ
が、全てＩピクチャであると仮定した場合における１ピ
クチャ当たりの符号量を表している。

【００６６】同様に、式（５）の第１引数の分母の第２
項のＮｂＫｐＸｂ／ＫｂＸｐは、GOP内のＮｂ枚の未符
号化Ｂピクチャが、Ｐピクチャ何枚分の符号量に相当す
るかを表している。従って、式（５）の第１の引数は、
GOP内の残りの（Ｎ−ｊ＋１）枚のピクチャが、全てＰ
ピクチャであると仮定した場合における１ピクチャ当た
りの符号量を表している。

【００６７】さらに、式（６）の第１引数の分母の第２
項のＮｐＫｂＸｐ／ＫｐＸｂは、GOP内のＮｐ枚の未符
号化Ｐピクチャが、Ｂピクチャ何枚分の符号量に相当す
るかを表しており、第１の引数は、GOP内の残りの（Ｎ
−ｊ＋１）枚のピクチャが、全てＢピクチャであると仮
定した場合における１ピクチャ当たりの符号量を表して
いる。

【００６８】基本的には、式（４）乃至式（６）の第１
引数の値に、Ｉピクチャ、Ｐピクチャ、またはＢピクチ
ャの目標符号量Ｔ_i（ｊ），Ｔ_p（ｊ），Ｔ_b（ｊ）（以
下、Ｉピクチャ、Ｐピクチャ、またはＢピクチャの区別
をする必要がないときは、単に、Ｔ（ｊ）とも記述す
る）が決定されるが、演算により求めたその値があまり
にも小さい場合には、画像復号装置のVBVバッファがオ
ーバーフローする恐れがあるので、式（４）乃至式
（６）の第２引数に規定される値bit_rate（ｊ）／（８
×pic_rate）が、目標符号量Ｔ（ｊ）として選択され
る。

【００６９】ピクチャ（ｊ）がエンコードされる直前の
VBVバッファの占有量をＢ^*（ｊ）とすると、このピクチ
ャ（ｊ）に対し、目標符号量Ｔ（ｊ）と同じ値だけのビ
ット量が、実際に符号化により発生したとすると、次の
ピクチャ（ｊ＋１）のエンコード直前のVBVバッファの
占有量Ｂ^*（ｊ＋１）は、次の式で表される。ステップ
Ｓ２において、コントローラ２４は、次式に従って、こ
の占有量Ｂ^*（ｊ＋１）を演算する。

【００７０】Ｂ^*（ｊ＋１）＝Ｂ^*（ｊ）−Ｔ（ｊ）＋（ｔ_j+1−ｔ_j）×bit_rate（ｊ＋１）・・・（１２）

【００７１】また、ステップＳ２において、コントロー
ラ２４は、次式からVBVバッファの使用範囲を決定す
る。

【００７２】 vbv_size（ｊ＋１）＝min｛τ_max×bit_rate（ｊ＋１），vbv_size（０）｝・・・（１３）

【００７３】なお、vbv_size（０）は、VBVバッファの
遅延時間が最高の値τ_maxとなる場合のビットレートの
値を表しており、min｛Ａ，Ｂ｝は、ＡとＢのうち、小
さい方を選択する関数を表す。

【００７４】すなわち、この例では、VBVバッファの遅
延時間の最高値が予め規定され、VBVバッファの遅延時
間が、予め規定したこの最高値を上回るようなビットレ
ートが使用される場合には、コントローラ２４がVBVバ
ッファ（図５のバッファメモリ１７に対応する）の使用
範囲を狭めて（VBVバッファの容量を等価的に小さくし
て）、その遅延時間が、最高値に等しくなるように制御
する。最高値τ_maxは、次式で表される。

【００７５】 τ_max＝vbv_size（０）／bit_rate（０）・・・（１４）

【００７６】ここで、vbv_size（０）は、VBVバッファ
の容量を表し、bit_rate（０）は、VBVバッファの遅延
時間が最高値τ_maxとなる場合におけるビットレートを
表す。

【００７７】次に、ステップＳ３において、コントロー
ラ２４は、ステップＳ２で演算したVBVバッファの占有
量Ｂ^*（ｊ＋１）と、vbv_size（ｊ＋１）の大きさを比
較し、Ｂ^*（ｊ＋１）が、vbv_size（ｊ＋１）と等しい
か、それより大きい場合（VBVバッファの容量vbv_size
（ｊ＋１）をそのまま使用したのでは、VBVバッファの
遅延時間が値τ_maxを越えてしまい、目標符号量Ｔ
（ｊ）を補正する必要がある場合）には、ステップＳ４
に進み、ステップＳ１で計算した目標符号量Ｔ（ｊ）
を、次式に従って、Ｂ^*（ｊ＋１）とvbv_size（ｊ＋
１）の差の分だけ補正する。

【００７８】Ｔ（ｊ）＝Ｔ（ｊ）＋Ｂ^*（ｊ＋１）−vbv_size（ｊ＋１）・・・（１５）

【００７９】ステップＳ３において、Ｂ^*（ｊ＋１）
が、vbv_size（ｊ＋１）より小さいと判定された場合に
は、VBVバッファが使用できない範囲に入ることがない
ので、ステップＳ４の処理はスキップされる。

【００８０】次に、ステップＳ５において、ピクチャ
（ｊ）が、ステップＳ１で計算されたか、またはステッ
プＳ４で補正された目標符号量Ｔ_i（ｊ），Ｔ_p（ｊ），
Ｔ_b（ｊ）に基づいてエンコード（符号化処理）され
る。すなわち、量子化スケールコード決定回路３３は、
目標ビット量設定回路３２が設定した目標符号量Ｔ
₁（Ｔ_i（ｊ），Ｔ_p（ｊ）またはＴ_b（ｊ））に対応する
量子化スケールコードＱ₁を決定し、量子化回路１５
が、この量子化スケールコードＱ₁に対応してピクチャ
（ｊ）を量子化する。この場合の処理は、上述した通り
であるので、ここでは、その説明を省略する。

【００８１】以上までは、ピクチャ（ｊ）の処理である
が、ステップＳ６からは、ピクチャ（ｊ＋１）の処理が
行われる。次にステップＳ６において、コントローラ２
４は、次式に従って、ピクチャ（ｊ）を符号化する前の
未符号化ピクチャの符号量Ｒ（ｊ）から、ピクチャ
（ｊ）を符号化して発生した符号量Ｓ（ｊ）を減算し
て、次のピクチャ（ｊ＋１）を符号化する場合における
符号量Ｒ（ｊ＋１）を求める。

【００８２】Ｒ（ｊ＋１）＝Ｒ（ｊ）−Ｓ（ｊ）・・・（１６）

【００８３】さらにステップＳ７において、コントロー
ラ２４は、ステップＳ６で更新された符号量Ｒ（ｊ＋
１）を、次式に従って、さらにVBVバッファ使用範囲の
変化量｛vbv_size（ｊ）−vbv_size（ｊ＋１）｝で補正
する。

【００８４】Ｒ（ｊ＋１）＝Ｒ（ｊ＋１）＋｛vbv_size（ｊ）−vbv_size（ｊ＋１）｝・・・（１７）

【００８５】以上のステップＳ７までの処理の意味を、
図８乃至図１３を参照して、さらに説明する。コントロ
ーラ２４は、コントローラ３より指定されるビットレー
トbit_rate（ｊ）（この文字ｊは、図４のbit_rate#iに
おける文字ｉ（プログラムＰ_iに対応する）を表すもの
ではなく、ピクチャの順番を表す。両者をまとめて記述
すれば、bit_rate#i(j)となる）が、VBVバッファの遅延
時間が最高値τ_maxとなる場合のビットレートbit_rate
（０）（以下、閾値とも称する）に等しい場合、VBVバ
ッファ（バッファメモリ１７）を、図８に示すように制
御する。同図に示すように、VBVバッファの容量は、ビ
ットレートbit_rate（０）で順次増加し、遅延時間τ
_maxだけ経過した時点で、VBVバッファの容量は、vbv_si
ze（０）となる。以下、VBVバッファに記憶された画像
データは、適宜読み出され、復号されるたびに減少され
る。また、新たな画像データが書き込まれると、そのデ
ータ量は増加する。以上のような動作が、順次繰り返さ
れる。

【００８６】一方、コントローラ３より指定されたビッ
トレートbit_rate（１）が、閾値bit_rate（０）より大
きい場合、コントローラ２４は、ステップＳ５のエンコ
ード処理時において、バッファメモリ１７を制御し、時
間τ₁だけ、画像データの出力を遅延させる。この遅延
時間τ₁は、次式により演算される。

【００８７】 τ₁＝τ_max−τ₂＝τ_max−vbv_size（０）／bit_rate（１）・・・（１８）

【００８８】VBVバッファには、この遅延時間τ₁の後、
ビットレートbit_rate（１）でデータが書き込まれ、書
き込み開始後、時間τ₂が経過した時点において、VBVバ
ッファの容量は、vbv_size（１）＝vbv_size（０）とな
る。図９を図８と比較して明らかなように、VBVバッフ
ァの最大の遅延時間τ_maxは、両者とも同一となってい
る。

【００８９】一方、コントローラ３より指定されたビッ
トレートbit_rate（２）が、閾値bit_rate（０）より小
さいとき、コントローラ２４は、バッファメモリ１７を
制御し、その容量を（使用可能な範囲を）vbv_size
（２）以下に設定（制限）する。この演算は、図６のス
テップＳ２で行われる。すなわち、VBVバッファの容量v
bv_size（０）のうち、vbv_size（２）を越える範囲
は、この例の場合使用されない。その結果、VBVバッフ
ァの容量vbv_sizeは、遅延時間τ_maxが経過した時点に
おいて、vbv_size（２）（＝τ_max×bit_rate（２））
となる。従って、この場合においても、VBVバッファの
遅延時間は、τ_maxとされる。すなわち、図８乃至図１
０のいずれの場合においても、VBVバッファの遅延時間
は、τ_maxとして一定とされる。

【００９０】これにより、ビットレートのシームレスな
変更が広範囲にわたって可能となり、デジタル放送の生
放送に適用可能となる。

【００９１】図１０において、遅延時間τ₃（＝vbv_siz
e（０）／bit_rate（２））の時間だけVBVバッファにデ
ータが書き込まれると、その容量は、vbv_size（０）と
なるが、この例では、容量vbv_size（２）以下の範囲だ
けが使用可能とされるので、実際には、その容量がvbv_
size（０）に達することはない。

【００９２】図１１は、ビットレートが、bit_rate
（１）からbit_rate（２）に途中で変更された場合のVB
Vバッファの変化の様子を表している。時刻ｔ₁までの時
間において、ビットレートの値は、閾値bit_rate（０）
より大きい値bit_rate（１）とされている。従って、こ
の場合のVBVバッファの変化の様子は、図９に示した場
合と同様となる。これに対して、時刻ｔ₁において、ビ
ットレートが閾値bit_rate（０）より小さいビットレー
トbit_rate（２）に変更されると、VBVバッファの容量
は、vbv_size（２）（＝τ_max×bit_rate（２））に制
限される。

【００９３】ＴＭ５のような固定レート、かつ固定のVB
Vバッファの容量を前提としたレート制御方式を使用し
た場合、VBVバッファの使用範囲を計算しただけでは、
図１２に示したような問題が生じる。

【００９４】すなわち、ビットレートが閾値bit_rate
（０）より大きい値bit_rate（１）から小さい値bit_ra
te（２）に変更された場合（ただし、簡単のためビット
レートレートの変更はGOPの先頭で行われたものとす
る）、制限されたVBVバッファの範囲内でデータの容量
が推移するには、VBVバッファのデータ推移の軌跡は、
図１２において実線で示すように変化する必要がある。
しかしながら、ＴＭ５において、目標符号量は、VBVバ
ッファの最大値に近い領域を推移するように決定される
ので、使用範囲を制限しただけでは、VBVバッファは、
図１２において点線で示すように、使用することができ
ない範囲を推移してしまうことになる。

【００９５】そこで、例えば、VBVバッファが狭くなっ
たとき、最初のＩピクチャの発生ビット量だけ、スタッ
フィングにより増加するようにすることも考えられる。
しかしながら、そのようにすると、最初のＩピクチャの
発生ビット量が大きくなるので、ＴＭ５のGOPの残りの
ビット量Ｒ（ｊ）が、式（１６）（Ｒ（ｊ＋１）＝Ｒ
（ｊ）−Ｓ（ｊ））に従って更新されると、Ｒ（ｊ＋
１）が非常に小さい値となってしまい、GOPの残りのピ
クチャに割り当てるビット量が少なくなって、結局VBV
バッファの軌跡は、図１２の上の方の使用できない範囲
に戻ろうとしてしまう。

【００９６】そこで、ステップＳ３において、上記した
式（１２）により計算したバッファ占有量Ｂ^*（ｊ＋
１）と、式（１３）で求めたVBVバッファの容量vbv_siz
e（２）の大きさを比較し、Ｂ^*（ｊ＋１）が、vbv_size
（２）より大きい場合には、式（１５）に示すように、
その差分（Ｂ^*（ｊ＋１）−vbv_size（２））だけ、ス
テップＳ１で演算した目標符号量Ｔ（ｊ）がステップＳ
４で補正される。その結果、図１３に示すように、補正
後の目標符号量Ｔ（ｊ）は、VBVバッファの容量vbv_siz
e（２）より、差分（Ｂ^*（ｊ＋１）−vbv_size（２））
だけ小さい値となり、VBVバッファの使用不可の領域が
使用されてしまうようなことが防止される。

【００９７】以上のようにして、VBVバッファの使用可
能範囲を制限するための処理が行われた後、図６に続く
図７のフローチャートのステップＳ８以降の処理が行わ
れる。ここでは、GOPの途中でビットレートが変更され
た場合の処理が行われる。

【００９８】目標ビット量設定回路３２は、ステップＳ
８でピクチャ（ｊ＋１）はGOPの先頭のピクチャである
か否かを判定する。ピクチャ（ｊ＋１）がGOPの先頭の
ピクチャでない場合には、ステップＳ９に進み、目標ビ
ット量設定回路３２は、そのGOP内において、ビットレ
ートの変更が、コントローラ３より指令されているか否
かを判定する。ビットレートの変更が指令されていない
場合には、ステップＳ１０に進み、目標ビット量設定回
路３２は、処理対象がシーケンスエンドに達したか否か
を判定し、達していない場合には、ステップＳ１に戻
り、それ以降の処理が繰り返し実行される。処理対象が
シーケンスエンドに達したと判定された場合、処理は終
了される。

【００９９】ステップＳ９において、ビットレートの変
更が指令されたと判定された場合、目標ビット量設定回
路３２は、ステップＳ１２に進み、次式に従って、ステ
ップＳ７で補正した符号量Ｒ（ｊ＋１）を、GOPの残り
のピクチャの枚数（Ｎ−ｊ）にピクチャ当たりのビット
量の差分（bit_rate（ｊ＋１）−bit_rate（ｊ））／pi
c_rateを乗算した値で補正する。

【０１００】Ｒ（ｊ＋１）＝｛bit_rate（ｊ＋１）−bit_rate（ｊ）｝ ×（Ｎ−ｊ）／pic_rate＋Ｒ（ｊ＋１）・・・（１９）

【０１０１】すなわち、GOPの途中でビットレートが変
更されない場合、符号量Ｒは、図１４に示すように、エ
ンコードが進むに従って、初期値Ｒ₁から漸次小さい値
に変化する。なお、図１４において、実線は、各ピクチ
ャが等しい符号量でエンコードされるものと仮定した場
合のものであり、実際には、ＩピクチャやＰピクチャの
発生ビット量が、Ｂピクチャよりも多くなるので、符号
量Ｒは点線で示したように変化する。

【０１０２】これに対して、GOPのピクチャ（ｊ）をエ
ンコードした後、次のピクチャ（ｊ＋１）からビットレ
ートを変更することが要求された場合、符号量Ｒ（ｊ＋
１）がステップＳ１２で式（１９）で示すように補正さ
れる。すなわち、符号量Ｒが、ビットレートbit_rate
（１）の割合で、初期値Ｒ₁から、漸次減少するように
制御されていたものが、ピクチャ（ｊ＋１）のタイミン
グにおいて、符号量が補正後の値Ｒ（ｊ＋１）に変更さ
れる。この補正後の値Ｒ（ｊ＋１）は、初めから、初期
値をＲ₂としてビットレートbit_rate（２）でエンコー
ドしていたと仮定した場合のピクチャ（ｊ＋１）の符号
量Ｒ（ｊ＋１）に等しい。これにより、GOPの途中にお
けるビットレートの変更が可能となる。

【０１０３】次に、ステップＳ１３に進み、目標ビット
量設定回路３２は、ステップＳ１２で補正した符号量Ｒ
（ｊ＋１）が、予め設定してある所定の最小値Ｒ_minよ
り小さいか否かを判定する。符号量Ｒ（ｊ＋１）が、最
小値Ｒ_minと等しいか、それより大きい場合には、ステ
ップＳ１４において、変数ｅに０が設定される。これに
対して、符号量Ｒ（ｊ＋１）が、最小値Ｒ_minより小さ
い場合には、ステップＳ１５において、変数ｅに符号量
Ｒ（ｊ＋１）と最小値Ｒ_minとの差（Ｒ（ｊ＋１）−Ｒ
_min）が設定される。この変数ｅは、ステップＳ１１で
使用されるものである。この変数ｅの機能については後
述する。

【０１０４】ステップＳ１４または、ステップＳ１５の
処理の後、ステップＳ１０に進み、それ以降の処理が繰
り返し実行される。

【０１０５】一方、ステップＳ８において、ピクチャ
（ｊ＋１）が、GOPの先頭のピクチャであると判定され
た場合には、ステップＳ１１に進み、目標ビット量設定
回路３２は、次式に従って、符号量Ｒ（ｊ＋１）を補正
する。

【０１０６】Ｒ（１）＝bit_rate（ｊ＋１）×Ｎ／pic_rate＋Ｒ（ｊ＋１）＋ｅ・・・（２０）

【０１０７】その後、ステップＳ１０に戻り、それ以降
の処理が繰り返し実行される。

【０１０８】ここで、変数ｅの機能について説明する。
ステップＳ１２で、式（１９）により補正された符号量
Ｒ（ｊ＋１）が、予め設定されている所定の最小値Ｒ
_minより小さくなった場合、これを放置して、次のGOPの
ビットレートを制御すると、VBVバッファがオーバーフ
ローしてしまう恐れがある。

【０１０９】そこで、GOPの途中でビットレートの変更
が指令され、GOPの最後のピクチャ（Ｎ枚目のピクチ
ャ）をエンコードした時点において、Ｒ（ｊ＋１）が、
最小値Ｒ_minより小さい場合には、図１６に示すよう
に、その差分ｅだけ、次のGOPの符号量Ｒの初期値Ｒ₂を
小さくさせ、値（Ｒ₂−ｅ）を初期値として、そのGOPの
符号量を設定させる。これにより、VBVバッファのオー
バーフローが防止される。

【０１１０】以上においては、各画像符号化装置２−ｉ
において、実際に符号化されたデータのグローバルコン
プレクシティＣ_iをコントローラ３にフィードバックす
ることにより、プログラムＰ_iを統計多重するようにし
たが、フィードフォワード型の制御によりビットレート
を制御することもできる。図１７は、この場合の構成例
を表している。図１７に示した画像多重化システム１の
構成は、基本的に図４に示した画像多重化システム１と
同様であるが、各画像符号化装置２−ｉから、コントロ
ーラ３に出力されるのが、グローバルコンプレクシティ
Ｃ_iではなく、符号化難易度Ｄ_iとされている。その他の
構成は、図４における場合と同様である。

【０１１１】図１８は、図１７の画像符号化装置２−１
（図示は省略するが、画像符号化装置２−２乃至２−ｎ
も、画像符号化装置２−１と同様に構成されている）の
構成例を表している。その基本的な構成は、図５に示し
た場合と同様であるが、図１８の構成例においては、走
査変換マクロブロック化回路１２と減算回路１３の間
に、イントラＡＣ演算回路４１とFIFO（First In First
Out）４２が設けられている。また、レートコントロー
ラ２３には、ＭＥ残差計算回路５１と符号化難易度計算
回路５２が付加されている。

【０１１２】イントラＡＣ演算回路４１は、走査変換マ
クロブロック化回路１２の出力を入力し、Ｉピクチャに
おけるイントラＡＣを算出し、符号化難易度計算回路５
２に出力している。イントラＡＣ演算回路４１はまた、
走査変換マクロブロック化回路１２より供給された画像
データをFIFO４２に出力する。FIFO４２は、入力された
画像データを、少なくとも、目標ビット量設定回路３２
が、目標ビット量を設定するのに必要な時間に対応する
時間だけ、入力された画像データを遅延して演算回路１
３に出力する。

【０１１３】ＭＥ残差計算回路５１は、動き検出回路２
１が出力するＭＥ残差データに基づいて、ＭＥ残差を計
算し、符号化難易度計算回路５２に出力している。な
お、ここでＭＥ残差とは、動き予測誤差の絶対値または
２乗値を、ピクチャ全体について加算したものであり、
ＭＥ残差データは、ＭＥ残差を求めるためのデータであ
る。

【０１１４】符号化難易度計算回路５２は、ＭＥ残差計
算回路５１により算出されたＭＥ残差と、イントラＡＣ
演算回路４１により演算されたイントラＡＣに基づい
て、ピクチャの符号化の難易度を表す符号化難易度Ｄ₁
を算出し、コントローラ３に送出するとともに、目標ビ
ット量設定回路３２に出力する。なお、この構成例にお
いては、符号化難易度計算回路５２により演算された符
号化難易度Ｄ₁がコントローラ３に伝送されているた
め、複雑さ計算回路３１が演算により求めたグローバル
コンプレクシティＣ₁は、コントローラ３に供給されな
い。

【０１１５】図１８の画像符号化装置２−１のその他の
構成は、図５における場合と同様である。

【０１１６】次に、図１８の画像符号化装置２−１の、
主に、図５における場合と異なる構成の動作について説
明する。イントラＡＣ演算回路４１は、走査変換マクロ
ブロック化回路１２の出力する画像データから、イント
ラＡＣを演算する。イントラＡＣとは、Ｉピクチャにお
いて、８×８画素のDCTブロック内の各画素の画素値
と、DCTブロック内の画素値の平均値との差分の絶対値
の総和を意味し、次式で表される。

【０１１７】 Intra_AC＝Σ｜ｆ_curr（ｘ，ｙ）−（Σｆ_curr）／Ｎ｜・・・（２１）

【０１１８】なお、この式において、Intra_ACは、イン
トラＡＣを表し、ｆ_curr（ｘ，ｙ）は、DCTブロック内
の各画素の画素値を表し、Σｆ_currは、DCTブロック内
の画素値の総和を表し、ＮはDCTブロック内の画素数を
表している。また、Σは、マクロブロック内の各画素に
ついての総和を表している。

【０１１９】動き検出回路２１は、動きベクトルを求め
る際に、その値が、最小となったマクロブロック間にお
ける画素値の差分の絶対値和（あるいは自乗和でもよ
い）をＭＥ残差データとして、ＭＥ残差計算回路５１に
出力する。ＭＥ残差計算回路５１は、動き検出回路２１
からのＭＥ残差データをピクチャ全体について加算し、
ＭＥ残差を計算する。すなわち、ＭＥ残差計算回路５１
で次式が演算される。

【０１２０】ＭＥ＿reside＝Σ｜ｆ_j（ｘ，ｙ）−ｆ_j-1（ｘ，ｙ）｜・・・（２２）

【０１２１】上式において、ＭＥ＿resideはＭＥ残差を
表し、ｆ_j（ｘ，ｙ），ｆ_j-1（ｘ，ｙ）は、各マクロブ
ロックの画素値を表す。Σは、マクロブロック内の各画
素についての総和を表している。

【０１２２】符号化難易度計算回路５２は、イントラＡ
Ｃ演算回路４１より供給されたイントラＡＣと、ＭＥ残
差計算回路５１より供給されたＭＥ残差に基づいて、符
号化難易度を計算する。符号化難易度とは、ピクチャの
符号化の難易度を表すものであって、符号化したときに
同じ画質を保つために必要なデータ量の比率と言い換え
ることができる。イントラＡＣは、絵柄の複雑さを表
し、ＭＥ残差は、映像の動きの早さ、および絵柄の複雑
さを表し、それらは符号化の難易度と強い相関を有する
ので、これらを変数とする、例えば１次関数により、符
号化難易度Ｄ₁が、符号化難易度計算回路５２で演算さ
れる。

【０１２３】このようにして、先読みした統計量（イン
トラＡＣ）に基づいて、精度の高い符号化難易度が演算
される。コントローラ３は、この符号化難易度Ｄ_iに基
づいて、目標ビットレートbit_rate#iを決定し、各画像
符号化装置２−ｉに出力する。

【０１２４】次に、図１８の目標ビット量設定回路３２
とコントローラ２４の動作について、図１９と図２０の
フローチャートを参照して説明する。ステップＳ３１乃
至ステップＳ３７の処理は、基本的に、図６に示したス
テップＳ１乃至ステップＳ７の処理と同様の処理であ
る。ただし、ステップＳ３１においては、上述した式
（１）乃至式（３）に代えて、次の式に従って、ピクチ
ャ（ｊ）の目標符号量Ｔ（ｊ）が演算される。なお、式
（２３）においては、ピクチャタイプに対応する添え字
ｉ，ｐ，ｂは省略されている。

【０１２５】

【数２】

【０１２６】ここで、Ｔ（ｊ）は、ピクチャ（ｊ）の目
標符号量を表し、Ｒ’（ｊ）は、処理対象ピクチャから
後の先読みするＬ枚（いまの場合、簡単のため、先読み
枚数Ｌは１GOPの枚数Ｎと等しいものとする）のピクチ
ャのビット量を表し、Ｄ_jは、ピクチャ（ｊ）の符号化
難易度を表している。すなわち、上記式により、ピクチ
ャ（ｊ）の目標符号量Ｔ（ｊ）が、Ｌ枚分のビット量
Ｒ’（ｊ）を、そのピクチャの符号化難易度Ｄ_jと、Ｌ
枚の先読みしたピクチャの符号化難易度Ｄ_jの和の比で
重み付けして求められる。

【０１２７】次のステップＳ３２乃至ステップＳ３５の
処理は、図６のステップＳ２乃至ステップＳ５の処理と
同様の処理であり、ここでは、その説明は省略する。ス
テップＳ３６では、式（１６）に代えて、次の式（２
４）に基づいて、符号量Ｒ’（ｊ＋１）が更新される。

【０１２８】Ｒ’（ｊ＋１）＝Ｒ’（ｊ）−Ｓ（ｊ）＋Ｆ（ｊ＋Ｌ）・・・（２４）

【０１２９】なお、Ｒ’（ｊ）の初期値は、Ｌ枚分のピ
クチャの符号量に対応して次式で表される。

【０１３０】Ｒ’（１）＝bit_rate（１）×Ｌ／pic_rate ・・・（２５）

【０１３１】上記式（２４）において、Ｆ（ｊ＋Ｌ）
は、ピクチャ（ｊ＋Ｌ）のピクチャタイプに応じたビッ
ト量であり、例えば、次式により規定される。なお、式
（２４）においては、式（２６）乃至式（２８）におけ
るピクチャタイプに対応する添え字ｉ，ｐ，ｂは省略さ
れている。

【０１３２】

【数３】

【０１３３】上記式において、Ｇは、GOPの残りの符号
量に対応し、図４と図５に示したフィードバック型のレ
ートコントロールシステムにおける符号量Ｒに対応す
る。この符号量Ｇも、ステップＳ３６において、次式に
従って更新される。

【０１３４】Ｇ（ｊ＋Ｌ＋１）＝Ｇ（ｊ＋Ｌ）−Ｆ（ｊ＋Ｌ）・・・（２９）

【０１３５】なお、式（２９）におけるＦ（ｊ）は、上
記式（２６）乃至（２８）のうち、対応するピクチャタ
イプの式により表されるものである。

【０１３６】符号量Ｒ’は、これから符号化されるＬ枚
のピクチャの符号量を表すから、基本的には、図２１に
実線で示すように、エンコードの進行状況に拘らず、常
に一定の値となる。実際には、各ピクチャタイプ毎に符
号量が変化するので、図２１において破線で示すよう
に、実線で示す値の近傍で変化する。

【０１３７】これに対して、符号量Ｇは、１GOPの符号
量であるから、図２２に示すように、フィードバック型
のレートコントロールにおける符号量Ｒと同様に、エン
コードの進行にともなって、漸次小さい値に変化する。

【０１３８】次に、ステップＳ３７で、図６のステップ
Ｓ７における式（１７）に代えて、式（３０）に従っ
て、符号量Ｒ’（ｊ＋１）の更新処理が行われる。

【０１３９】Ｒ’（ｊ＋１）＝Ｒ’（ｊ＋１）＋｛vbv_size（ｊ）−vbv_size（ｊ＋１）｝・・・（３０）

【０１４０】以上のステップＳ３１乃至ステップＳ３７
の処理は、フィードバック型レートコントロールの例に
おいて説明した場合のように、VBVバッファの使用する
範囲を制限するために行われる処理である。

【０１４１】次に、ステップＳ３８に進み、目標ビット
量設定回路３２は、ピクチャ（ｊ＋１）が、GOPの先頭
のピクチャであるか否かを判定する。ピクチャ（ｊ＋
１）がGOPの先頭のピクチャでない場合には、ステップ
Ｓ３９に進み、GOPの途中においてビットレートの変更
が指令されているか否かが判定される。ビットレートの
変更が指令されていない場合には、ステップＳ４０に進
み、エンコード処理がシーケンスエンドに達しているか
否かが判定され、まだ達していない場合には、ステップ
Ｓ３１に戻り、それ以降の処理が繰り返し実行される。
ステップＳ４０において、処理がシーケンスエンドまで
達していると判定された場合、処理は終了される。

【０１４２】ステップＳ３９において、GOPの途中にお
いてビットレートが変更されていると判定された場合、
ステップＳ４１に進み、目標ビット量設定回路３２は、
次式に従って、符号量Ｒ’（ｊ＋１）と符号量Ｇ（ｊ＋
１）を更新する。

【０１４３】Ｒ’（ｊ＋１）＝｛bit_rate（ｊ＋１）−bit_rate（ｊ）｝ ×Ｌ／pic_rate＋Ｒ’（ｊ＋１）・・・（３１）Ｇ（ｊ＋１）＝｛bit_rate（ｊ＋１）−bit_rate（ｊ）｝ ×（Ｎ−ｊ）／pic_rate＋Ｇ（ｊ＋１）・・・（３２）

【０１４４】このように、ビットレートが、GOPの途中
で変更された場合には、符号量Ｒ’は、図２３に示すよ
うに、所定の値Ｒ₁から所定の値Ｒ₂に変化する。

【０１４５】一方、符号量Ｇは、図２４に示すように、
初期値Ｒ₁から、ビットレートbit_rate（１）でエンコ
ードが行われてきたときの値Ｇ（ｊ＋１）から、最初か
ら初期値Ｒ₂でエンコードを行ってきた場合における値
Ｇ（ｊ＋１）に変更される。このことは、図１５を参照
して説明した符号量Ｒにおける場合と同様である。

【０１４６】次に、ステップＳ４２に進み、目標ビット
量設定回路３２は、符号量Ｇ（ｊ＋１）が、最小値Ｇ
_minより小さいか否かを判定し、符号量Ｇが、最小値Ｇ
_minと等しいか、それより大きい場合には、ステップＳ
４３において、変数ｅに０を設定する。

【０１４７】符号量Ｇ（ｊ＋１）が、最小値Ｇ_minより
小さい場合には、ステップＳ４４において、変数ｅに、
両者の差（Ｇ（ｊ＋１）−Ｇ_min）が設定される。この
処理は、図７におけるステップＳ１３乃至ステップＳ１
５の処理と同様の処理である。この変数ｅは、後述する
ステップＳ４６、またはステップＳ４７の処理において
用いられる。

【０１４８】ステップＳ３８において、ピクチャ（ｊ＋
１）が、GOPの先頭のピクチャであると判定された場
合、ステップＳ４５に進み、目標ビット量設定回路３２
は、ビットレートの変更が指令されているか否かを判定
する。ここで、ビットレートの変更の有無の判定が行わ
れ、図７のステップＳ８において、ピクチャ（ｊ＋１）
がGOPの先頭のピクチャであると判定された場合に、ビ
ットレートの変更処理が行われないのは、図７の処理の
場合には、ピクチャ（ｊ＋１）がGOPの先頭のピクチャ
であっても、そうでなくても、ステップＳ１１で同一の
式（２０）が用いられるので、ビットレートの変更判断
が不要であるのに対して、図２０のフローチャートの処
理においては、ピクチャ（ｊ＋１）がGOPの先頭のピク
チャである場合においても、ビットレートの変更の有無
により処理が異なるので、ステップＳ４５の判定処理が
挿入されている。

【０１４９】すなわち、ステップＳ４５において、ビッ
トレートの変更が指令されていないと判定された場合に
は、ステップＳ４６において、目標ビット量設定回路３
２は、次式に従って、符号量Ｇを更新する。

【０１５０】Ｇ（１）＝bit_rate（ｊ＋１）×Ｎ／pic_rate＋Ｇ（ｊ＋１）＋ｅ・・・（３３）

【０１５１】一方、ステップＳ４５において、ビットレ
ートの変更が指令されていると判定された場合には、ス
テップＳ４７に進み、目標ビット量設定回路３２は、次
式に従って、符号量Ｒ’（１）と符号量Ｇ（１）を更新
する。

【０１５２】Ｒ’（１）＝｛bit_rate（１）−bit_rate（ｊ）｝ ×Ｌ／pic_rate＋Ｒ’（Ｊ＋１）・・・（３４）Ｇ（１）＝bit_rate（１）×Ｎ／pic_rate＋Ｇ（ｊ＋１）＋ｅ・・・（３５）

【０１５３】ステップＳ４６の処理とステップＳ４７の
処理を比較して明らかなように、ステップＳ４７の処理
は、ステップＳ４６の処理に較べて、符号量Ｒ’（１）
の更新処理が、符号量Ｇ（１）の処理に加えて付加され
ている。

【０１５４】変数ｅの機能は、図１６を参照して説明し
た場合と同様であり、図２５に示すように、符号量Ｇの
変化にともなってGOPの最後のピクチャの符号化が行わ
れた直後において、ｅの値が０でない場合には、次のGO
Pの符号化時の符号量Ｇの初期値Ｒ₂の値が、ｅの分だけ
小さい値に調整される。

【０１５５】ステップＳ４３，Ｓ４４，Ｓ４６，Ｓ４７
の処理の後、ステップＳ４０に進み、それ以降の処理が
繰り返し実行される。

【０１５６】以上のフィードバック型、およびフィード
フォワード型のビットレートコントロールの実施の形態
のいずれにおいても、VBVバッファの使用範囲を制限す
るようにしたが、画質を考慮したとき、若干の問題が生
じる場合がある。すなわち、図２６に示すように、最初
のGOPにおいて、３Mbpsのビットレートが設定され、次
のGOPにおいて、１．５Mbpsのビットレートが設定さ
れ、さらに、その次のGOPにおいて、再び３Mbpsのビッ
トレートが設定されたとする。このとき、VBVバッファ
の容量を１．８Mbitとし、閾値bit_rate（０）を３．０
Mbpsとすると、遅延時間τ_max＝１．８／３．０＝０．
６（秒）となる。

【０１５７】このとき、各GOPにおけるＴＭ５の符号量
Ｒの初期値は、bit_rate×Ｎ／pic_rateの式から次のよ
うに求められる。なお、GOPの枚数Ｎを１５とし、pic_r
ate＝３０とする。

【０１５８】すなわち、最初のGOPにおいては、初期値
Ｒは、１．５（＝３．０×１５／３０）Mbitsとなる。
次のGOPにおいては、初期値は、０．７５（＝１．５×
１５／３０）となるが、その値が、図６のステップＳ７
の式（１７）に基づいて、VBVバッファの容量の差分（v
bv_size（１）−vbv_size（２））で補正される変更前
（前のGOP）のVBVバッファ容量vbv_size（１）は、１．
８（＝τ_max×bit_rate（１）＝０．６×３．０）とさ
れているのに対して、第２番目のGOPにおけるVBVバッフ
ァの容量vbv_size（２）は、０．９（＝τ_max×bit_rat
e（２）＝０．６×１，５）となるので、その差分は
０．９（＝１．８−０．９）となり、結局、初期値Ｒ
は、１．６５（＝０．７５＋（１．８−０．９））Mbit
sとなる。

【０１５９】一方、第３番目のGOPにおいては、初期値
は１．５（＝３．０×１５／３０）となるが、VBVバッ
ファの変更前の容量vbv_size（２）は、０．９であるの
に対して、このGOPにおける容量vbv_size（３）は１．
８となる。従って、初期値Ｒは、０．６（＝１．５＋
（０．９−１．８））Mbitsとなる。

【０１６０】２番目のGOPにおいては、本来エンコード
しやすい絵柄であるので、ビットレートを１．５Mbpsと
小さい値に設定したにも拘らず、符号量Ｒの初期値は
１．６５と大きな値に設定されてしまう。これに対し
て、第３番目のGOPにおいては、エンコードが難しい絵
柄であるから、ビットレートを３．０Mbpsと大きくした
にも拘らず、符号量Ｒの初期値は０．６Mbpsと小さい値
に設定されてしまう。すなわち、２番目のGOPの符号量
の初期値Ｒが大きくなり、最後のGOPの符号量Ｒの初期
値が非常に小さくなるという逆転現象が生じている。

【０１６１】これは、図２７に示すように、ビットレー
トbit_rateの値が、閾値bit_rate（０）より小さくなっ
たとき、急激にVBVバッファの容量vbv_sizeの使用範囲
を制限するようにしたことに起因する。なお、図２７に
おいて、横軸は、ビットレートbit_rateを表し、縦軸
は、VBVバッファの容量vbv_sizeを表している。そし
て、図２７において、影を付して示した範囲は、VBVバ
ッファの使用が制限されている範囲を表している。

【０１６２】そこで、図２８に示すように、閾値bit_ra
te（０）より大きい閾値bit_rate（０_U）を設定し、さ
らに閾値bit_rate（０）より小さい閾値bit_rate
（０_L）を設定し、ビットレートbit_rateの値が、閾値b
it_rate（０_U）より小さくなったとき、VBVバッファの
使用範囲をビットレートが閾値bit_rate（０_L）になる
まで、徐々に制限し、ビットレートが閾値bit_rate（０
_L）より小さくなった場合には、図２７に示した場合と
同様に、さらに急激にVBVバッファの使用範囲を制限す
るようにすることができる。この場合、図６のステップ
Ｓ２の式（１３）におけるVBVバッファの使用範囲を規
定する右辺の第１引数を、ビットレートがbit_rate（０
_L）以下のとき、τ_max×bit_rate（ｊ＋１）とするが、
ビットレートがbit_rate（０_L）乃至bit_rate（０_U）の
間の値であるとき、次式に変更するようにすればよい。

【０１６３】｛（vbv_size（０）−vbv_size（０_L））×bit_rate ＋vbv_size（０_L）×bit_rate（０_U）−vbv_size（０）×vbv_size（０_L）｝／｛bit_rate（０_U）−bit_rate（０_L）｝・・・（３６）

【０１６４】なお、vbv_size（０_L）は、次式で表され
る。

【０１６５】 vbv_size（０_L）＝vbv_size（０）×bit_rate（０_L）／bit_rate（０）・・・（３７）

【０１６６】なお、フィードフォワード型のビットレー
トコントロールにおいても、図１９のステップＳ３２に
おける演算において、同様にVBVバッファの容量が演算
される。

【０１６７】図１８のイントラＡＣ演算回路４１におい
て、イントラＡＣを演算するようにしたが、イントラＡ
Ｃに代えて、フラットネスを演算するようにしてもよ
い。フラットネスとは、画像の空間的な平坦さを表すデ
ータである。この場合、８×８画素のDCTブロックが２
画素×２画素の小ブロックに分割される。そして、各小
ブロック内における対角線上に位置する画素データ（画
素値）の差分が算出され、その差分の絶対値のうち小さ
い方が選択される。選択された差分値が、さらに所定の
閾値と比較され、差分値が閾値より小さい小ブロックの
総数が、フラットネスとしてピクチャ毎に求められる。

【０１６８】なお、フラットネスの値は、画像の図柄が
空間的に複雑であるほど小さくなり、平坦であれば大き
くなる。このフラットネスは、符号化難易度Ｄ_jと、強
い負の相関関係を有する。従って、圧縮符号化前にＩピ
クチャとなるピクチャの符号化難易度Ｄ_jをフラットネ
スから求め、このフラットネスからＩピクチャに対する
目標符号量Ｔ（ｊ）を求めることができる。

【０１６９】以上のように、固定ビットレートに用いる
レートコントロール方法を用いながら、GOPの途中でビ
ットレートが変更できるようにしたので、絵柄の符号が
難易度の変化に速やかに対応して、ビットレートを変更
することができる。その結果、各プログラムのGOPの位
相が同期していないような場合においても、伝送容量を
無駄なく有効に使用することができ、全体として画質の
向上を図ることができる。

【０１７０】また、固定ビットレートエンコードで使用
されるレートコントロール方法を使用することにより、
VBVバッファ（またはデコーダのバッファ）のアンダー
フローまたはオーバーフローをおこさないようなレート
コントロールが統計多重の場合にまで拡張することがで
きる。

【０１７１】本発明は、必ずしも統計多重に限らず、例
えば、ハードディスクのような記録メディアに蓄積保存
するためにデータをエンコードするような場合、固定レ
ート符号化のレートコントロール方法を用いながら、シ
ームレスにビットレートを変更するのに適用することが
でき、絵柄に応じてビットレートを変更し、結果的に所
定の画質を実現する蓄積メディアの容量を節約すること
が可能となる。

【０１７２】上述の実施の形態においては、ＴＭ５のア
ルゴリズムによりGOPを単位にして目標符号量を計算す
る場合について述べたが、本発明はこれに限らず、符号
化処理するピクチャから所定数のピクチャを単位にして
目標伝送レートによる符号量を計算して目標符号量を算
出する場合等においても、広く適用することができる。

【０１７３】また上述の実施の形態においては、残り符
号量Ｒを補正することにより、ピクチャ単位でビットレ
ートを変更する場合について述べたが、本発明はこれに
限らず、GOP単位でビットレートを変更する場合等にも
広く適用することができる。

【０１７４】さらに上述の実施の形態においては、MPEG
により各プログラムを符号化処理して伝送する場合につ
いて述べたが、本発明はこれに限らず、種々の符号化方
式により種々のプログラムを符号化処理して伝送する場
合に広く適用することができる。

【０１７５】なお、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものとす
る。

【０１７６】また、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【０１７７】

【発明の効果】以上の如く、本発明の第１の発明によれ
ば、ビットレートが第１のビットレートから第２のビッ
トレートに変更されたとき、第１のビットレートと第２
のビットレートとの差分に基づい、符号化対象ピクチャ
に割り当てられる目標ビット量を補正するようにした。

【０１７８】本発明の第２の発明によれば、GOPの途中
において第１のビットレートから第２のビットレートに
変更された場合、目標ビットレートを第１のビットレー
トに対応する目標ビット量から第２のビットレートに対
応する目標ビット量に補正するようにした。

【０１７９】本発明の第３の発明によれば、GOPの途中
において、指定ビットレートが第１のビットレートから
第２のビットレートに変更された場合、未符号化ピクチ
ャのビット量の変化軌跡が、GOPの先頭ピクチャから第
２のビットレートで各ピクチャを符号化していたときの
軌跡になるように未符号化ピクチャのビット量を補正
し、補正された未符号化ピクチャのビット量に基づいて
符号化対象ピクチャに対して割り当てられる目標ビット
量を演算するようにした。

【０１８０】本発明の第４の発明によれば、GOPの途中
において指定ビットレートが第１のビットレートが第２
のビットレートに変更された場合、未符号化ピクチャの
ビット量を第１のビットレートに基づく未符号化ピクチ
ャのビット量から第２のビットレートに基づく未符号化
ピクチャのビット量に補正し、補正された未符号化ピク
チャのビット量に基づいて、符号化対象ピクチャに対し
て割り当てられる目標ビット量を演算するようにした。

【０１８１】本発明の第５の発明によれば、指定ビット
レートがGOPの途中において第１のビットレートから第
２のビットレートに変更された場合、目標ビットレート
を第１のビットレートに対応する目標ビット量から第２
のビットレートに対応する目標ビット量に補正するよう
にした。

【０１８２】本発明の第６の発明によれば、GOPの途中
において指定ビットレートが第１のビットレートから第
２のビットレートに変更された場合、未符号化ピクチャ
に割り当てられる予想ビット量の変化軌跡が、第２のビ
ットレートで各ピクチャを符号化していったときの軌跡
になるように、未符号化ピクチャに対して割り当てられ
る予想ビット量を補正し、補正されたビット量に基づい
て、符号化対象ピクチャに対して割り当てられる目標ビ
ット量を演算するようにした。

【０１８３】本発明の第７の発明によれば、GOPの途中
において指定ビットレートの第１のビットレートから第
２のビットレートに変更された場合、未符号化ピクチャ
に対して割り当てられるビット量を第１のビットレート
に基づく未符号化ピクチャのビット量から第２のビット
レートに基づく未符号化ピクチャのビット量に補正し、
補正された未符号化ピクチャのビット量に基づいて符号
化対象ピクチャに対して割り当てられる目標ビット量を
演算するようにした。

【０１８４】本発明の第８の発明によれば、指定ビット
レートの第１のビットレートから第２のビットレートに
変更された場合、第１のビットレートと第２のビットレ
ートとの差分に基づいて、符号化対象ピクチャに割り当
てられる目標ビット量を補正するようにした。

【０１８５】本発明の第９の発明によれば、指定ビット
レートがGOPの途中において第１のビットレートから第
２のビットレートに変更された場合、目標ビットレート
を第１のビットレートに対応する目標ビット量から第２
のビットレートに対応する目標ビット量に補正するよう
にした。

【０１８６】本発明の第１０の発明によれば、GOPの途
中において、指定ビットレートが第１のビットレートか
ら第２のビットレートに変更された場合、未符号化ピク
チャのビット量の変化軌跡がGOPの先頭ピクチャから第
２のビットレートで各ピクチャを符号化していたときの
軌跡になるように未符号化ピクチャのビット量を補正
し、補正された未符号化ピクチャのビット量に基づいて
符号化対象ピクチャに対して割り当てられる目標ビット
量を演算するようにした。

【０１８７】本発明の第１１の発明によれば、GOPの途
中において指定ビットレートの第１のビットレートが第
２のビットレートに変更された場合、未符号化ピクチャ
のビット量は、第１のビットレートに基づく未符号化ピ
クチャのビット量から、第２のビットレートに基づく未
符号化ピクチャのビット量に補正し、補正された未符号
化ピクチャのビット量に基づいて符号化対象ピクチャに
対して割り当てられる目標ビット量を演算するようにし
た。

【０１８８】本発明の第１２の発明によれば、指定ビッ
トレートがGOPの途中において第１のビットレートから
第２のビットレートに変更された場合、目標ビットレー
トを第１のビットレートに対応する目標ビット量から第
２のビットレートに対応する目標ビット量に補正するよ
うにした。

【０１８９】本発明の第１３の発明によれば、GOPの途
中において指定ビットレートが第１のビットレートから
第２のビットレートに変更された場合、未符号化ピクチ
ャに割り当てられる予想ビット量の変化軌跡が、第２の
ビットレートで各ピクチャを符号化していた時の軌跡に
なるように、未符号化ピクチャに対して割り当てられる
予想ビット量を補正し、補正されたビット量に基づい
て、符号化対象ピクチャに対して割り当てられる目標ビ
ット量を演算するようにした。

【０１９０】本発明の第１４の発明によれば、GOPの途
中において指定ビットレートが第１のビットレートから
第２のビットレートに変更された場合、未符号化ピクチ
ャに対して割り当てられるビット量を、第１のビットレ
ートに基づく未符号化ピクチャのビット量から第２のビ
ットレートに基づく未符号化ピクチャのビット量に補正
し、補正された未符号化ピクチャのビット量に基づい
て、符号化対象ピクチャに対して割り当てられる目標ビ
ット量を演算するようにした。

【０１９１】従って、いずれの場合にも、画像データの
統計多重時に、GOPの位相に不一致があったとしても、
伝送効率の低下を抑制することができる。

【図面の簡単な説明】

【図１】固定レートによる多重化を説明する図である。

【図２】統計多重による多重化を説明する図である。

【図３】統計多重におけるGOPの位相があっていない場
合における符号割当レートの変化を説明する図である。

【図４】本発明を適用した画像多重化システムの構成例
を示すブロック図である。

【図５】図４の画像符号化装置２−１の構成例を示すブ
ロック図である。

【図６】図５の画像符号化装置２−１の動作を説明する
フローチャートである。

【図７】図５の画像符号化装置２−１の動作を説明する
フローチャートである。

【図８】VBVバッファの容量の変化を説明する図であ
る。

【図９】VBVバッファの容量の変化を説明する図であ
る。

【図１０】VBVバッファの容量の変化を説明する図であ
る。

【図１１】VBVバッファの容量の変化を説明する図であ
る。

【図１２】VBVバッファの容量の変化を説明する図であ
る。

【図１３】VBVバッファの容量の変化を説明する図であ
る。

【図１４】符号量Ｒの変化を説明する図である。

【図１５】GOPの途中でビットレートを変更した場合の
符号量Ｒの変化を説明する図である。

【図１６】図７のステップＳ１１の値ｅの機能を説明す
る図である。

【図１７】本発明を適用した画像多重化システムの他の
構成例を示すブロック図である。

【図１８】図１７の画像符号化装置２−１の構成例を示
すブロック図である。

【図１９】図１８の画像符号化装置２−１の動作を説明
するフローチャートである。

【図２０】図１８の画像符号化装置２−１の動作を説明
するフローチャートである。

【図２１】符号量Ｒ’の変化を説明する図である。

【図２２】符号量Ｇの変化を説明する図である。

【図２３】GOPの途中においてビットレートを変更した
場合における符号量Ｒ’の変化を説明する図である。

【図２４】GOPの途中においてビットレートを変更した
場合における符号量Ｇの変化を説明する図である。

【図２５】図２０のステップＳ４６，Ｓ４７における値
ｅの機能を説明する図である。

【図２６】符号量Ｒの逆転現象を説明する図である。

【図２７】符号量Ｒの逆転現象の原因を説明する図であ
る。

【図２８】符号量Ｒの逆転現象を抑制する原理を説明す
る図である。

【符号の説明】

１画像多重化システム，２−１乃至２−ｎ画像符
号化装置，３コントローラ，４多重化装置，
１１画像並べ変え回路，１２走査変換マクロブロ
ック化回路，１３減算回路，１４ DCT回路，
１５量子化回路，１６可変長符号化回路，１７
バッファメモリ，１８逆量子化回路，１９逆
DCT回路，２０加算回路，２１動き検出回路，
２２動き補償回路，２３レートコントローラ，
２４コントローラ，３１複雑差計算回路，３２
目標ビット量設定回路，３３量子化スケールコード
決定回路

Claims

【特許請求の範囲】

【請求項１】指定ビットレートに基づいてビデオデー
タを符号化する符号化装置において、上記指定ビットレートに基づいて、GOPに含まれる各ピ
クチャに対して割り当てられる目標ビット量をそれぞれ
演算する制御手段と、上記制御手段によって制御された目標ビット量に基づい
て、上記符号化対象ピクチャを符号化する符号化手段と
を備え、上記制御手段は、上記符号化手段によって上記符号化対象ピクチャの符号
化処理を行う場合、上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更されたとき、上
記第１のビットレートと上記第２のビットレートとの差
分に基づいて上記符号化対象ピクチャに割り当てられる
上記目標ビット量を補正することを特徴とする符号化装
置。
【請求項２】上記制御手段は、上記符号化対象ピクチャに対して割り当てられる上記目
標ビット量を、上記対象GOPにおいてまだ符号化されて
いない未符号化ピクチャに対して割り当てられるビット
量を上記符号化対象ピクチャのピクチャタイプに応じて
配分することによって求めることを特徴とする請求項１
に記載の符号化装置。
【請求項３】上記制御手段は、上記第１のビットレートと上記第２のビットレートとの
差分に応じて上記未符号化ピクチャのビット量を補正
し、この補正された未符号化ピクチャのビット量に基づ
いて上記符号化対象ピクチャの目標ビット量を演算する
ことを特徴とする請求項２に記載の符号化装置。
【請求項４】上記制御手段は、上記第１のビットレートにおける１ピクチャあたりのビ
ット量と上記第２のビットレートにおける１ピクチャあ
たりのビット量との差分に、未符号化ピクチャの枚数を
乗算した値で上記未符号化ピクチャのビット量を補正
し、この補正された未符号化ビクチャのビット量に基づいて
上記符号化対象ピクチャの目標ビット量を演算すること
を特徴とする請求項２に記載の符号化装置。
【請求項５】上記符号化対象ピクチャの目標ビット量
を演算するアルゴリズムは、上記符号化手段による各ピクチャ毎の符号化処理の結果
発生した発生ビット量に基づいて、画面の複雑さを示す
グロバールコンプレクシティを演算し、このグローバル
コンプレクシティと上記未符号化ピクチャのビット量と
に基づいて上記符号化対象ピクチャの目標ビット量を演
算するフィードバック型の演算アルゴリズムであること
を特徴とする請求項４に記載の符号化装置。
【請求項６】上記制御手段は、上記符号化対象ピクチャの直前のピクチャまでを上記第
１のビットレートで符号化し、上記符号化対象ピクチャ
から第２のビットレートで符号化する場合において、上
記符号化対象ピクチャ以降の未符号化ピクチャのビット
量を、上記直前のピクチャ以降の未符号化ピクチャに割
り当てられるビット量から上記直前のピクチャの符号化
処理による発生ビット量を減算することによって求める
ことを特徴とする請求項４に記載の符号化装置。
【請求項７】上記制御手段は、上記符号化対象ピクチャの直前のピクチャまでを上記第
１のビットレートで符号化し、上記符号化対象ピクチャ
から第２のビットレートで符号化した後、上記対象GOP
の次のGOPの先頭ピクチャを符号化する場合には、上記次のGOPの未符号化ピクチャに対して割り当てられ
るビット量を、上記対象GOPの符号化処理の結果生成さ
れた補正値で補正することを特徴とする請求項６に記載
の符号化装置。
【請求項８】上記GOPにおいてｊ＋１番目のピクチャ
である符号化対象ピクチャ(j+1)を符号化する場合に、
上記対象GOPにおいて符号化対象ピクチャ(j+1)を含む未
符号化ピクチャに対して割り当てられるビット量Ｒ(j+
1)は、下式によって計算され、Ｒ(j+1)＝Ｒ(j)−Ｓ(j) 上記符号化対象ピクチャ(j+1)に対して割り当てられる
目標ビット量は、上記未符号化ピクチャに対して割り当
てられるビット量Ｒ(j+1)に基づいて演算されることを
特徴とする請求項１に記載の符号化装置。
【請求項９】上記符号化対象ピクチャ(j+1)が、上記G
OPの最初のピクチャである場合には、上記符号化対象ピ
クチャ(j+1)を含むGOPにおける上記符号化対象ピクチャ
(j+1)以降の未符号化ピクチャのビット量Ｒ(j+1)は、 bit_rate(j+1)は、上記ピクチャ(j+1)を含む対象GOPに
対して指定されたビットレートを示し、Ｎは、GOPに含まれるピクチャの枚数を示し、 pic_rateは、フレームレートを示し、Ｒ(j+1)は、上記符号化対象ピクチャ(j+1)の前のピクチ
ャ(j)を含むGOPにおける上記ピクチャ(j)以降の未符号
化ピクチャのビット量Ｒ(j)から、上記ピクチャ(j)の符
号化処理によって発生したビット量を減算した値を示
し、ｅは、上記符号化対象ピクチャ(j+1)を含むGOPの次のGO
Pに対して供給される補正ビット量を示しているとき、下式、Ｒ(j+1)＝bit_rate(j+1)×Ｎ/pic_rate＋Ｒ(j+1)＋ｅによって計算されることを特徴とする請求項８に記載の
符号化装置。
【請求項１０】上記符号化対象ピクチャ(j+1)が上記
対象GOPの途中のピクチャであって、上記符号化対象ピクチャの前のピクチャ(j)までを上記
第１のビットレートで符号化し、上記符号化対象ピクチ
ャ(j+1)から第２のビットレートで符号化する場合にお
いて、上記符号化対象ピクチャ(j+1)を含むGOPにおける
上記ピクチャ(j+1)以降の未符号化ピクチャのビット量
を、 bit_rate(j)は、第１のビットレートを示し、 bit_rate(j+1)は、第２のビットレートを示し、Ｎは、GOPに含まれるピクチャの枚数を示し、 pic_rateは、フレームレートを示し、Ｒ(j+1)は、上記符号化対象ピクチャ(j+1)の前のピクチ
ャ(j)を含むGOPにおける上記ピクチャ(j)以降の未符号
化ピクチャのビット量Ｒ(j)から、上記ピクチャ(j)の符
号化処理によって発生したビット量を減算した値を示し
ているとき、下式、Ｒ(j+1)＝（bit_rate(j+1)-bit_rate(j)）×（Ｎ−ｊ）
／pic_rate＋Ｒ(j+1) によって計算することを特徴とする請求項８に記載の符
号化装置。
【請求項１１】上記符号化対象ピクチャ(j+1)に対し
て割り当てられる目標ビット量Ｔ(j+1)は、Ｔi(j+1)は、上記符号化対象ピクチャ(j+1)がＩピクチ
ャの場合の目標ビット量を示し、Ｔp(j+1)は、上記符号化対象ピクチャ(j+1)がＰピクチ
ャの場合の目標ビット量を示し、Ｔb(j+1)は、上記符号化対象ピクチャ(j+1)がＢピクチ
ャの場合の目標ビット量を示し、Ｒ(j+1)は、上記符号化対象ピクチャ(j+1)を含むGOPに
おけるピクチャ(j+1)以降の未符号化ピクチャに割り当
てられるビット量を示し、Ｘiは、Ｉピクチャの画面の複雑さを表わすグローバル
コンプレクシティを示し、Ｘpは、Ｐピクチャの画面の複雑さを表わすグローバル
コンプレクシティを示し、Ｘbは、Ｂピクチャの画面の複雑さを表わすグローバル
コンプレクシティを示し、Ｎpは、上記符号化対象ピクチャ(j+1)を含むGOPにおい
てまだ符号化されていないＰピクチャの枚数を示し、Ｎbは、上記符号化対象ピクチャ(j+1)を含むGOPにおい
てまだ符号化されていないＰピクチャの枚数を示し、Ｋpは、Ｉピクチャの量子化スケールコードを基準とし
たＰピクチャの量子化スケールコードの比率を示し、Ｋｂは、Ｉピクチャの量子化スケールコードを基準とし
たＢピクチャの量子化スケールコードの比率を示してい
るとき、下式、Ｔi(j+1)＝max（Ｒ(j+1)／（１＋ＮpＸp／ＸiＫp＋Ｎb
Ｘb／ＸiＫb），bit_rate／8×pic_rate）Ｔp(j+1)＝max（Ｒ(j+1)／｛Ｎp＋ＮbＫpＸb／ＫbＸ
p｝，bit_rate／8×pic_rate）Ｔb(j+1)＝max（Ｒ(j+1)／｛Ｎb＋ＮpＫbＸp／ＫpＸ
b｝，bit_rate／8×pic_rate）によって計算されることを特徴とする請求項１０に記載
の符号化装置。
【請求項１２】上記制御手段は、上記符号化対象ピクチャの直前のピクチャまでを上記第
１のビットレートで符号化し、上記符号化対象ピクチャ
から第２のビットレートで符号化する場合において、上記符号化対象ピクチャ以降の所定枚数の未符号化ピク
チャに割り当てられるビット量を演算すると共に、上記
所定枚数の未符号化ピクチャの符号化難易度を示すディ
フィカルティをそれぞれ検出し、上記符号化対象ピクチャに対して割り当てられる上記目
標ビット量を、上記所定枚数の未符号化ピクチャのビッ
ト量を上記符号化対象ピクチャのディフィカルティに基
づいて配分することによって求めることを特徴とする請
求項１に記載の符号化装置。
【請求項１３】上記制御手段は、上記第１のビットレートと上記第２のビットレートとの
差分に応じて上記所定枚数の未符号化ピクチャのビット
量を補正し、この補正された所定枚数の未符号化ピクチ
ャのビット量に基づいて上記符号化対象ピクチャの目標
ビット量を演算することを特徴とする請求項１２に記載
の符号化装置。
【請求項１４】上記制御手段は、上記第１のビットレートにおける１ピクチャあたりのビ
ット量と上記第２のビットレートにおける１ピクチャあ
たりのビット量との差分に、上記未符号化ピクチャの所
定枚数を乗算した値で上記所定枚数の未符号化ピクチャ
のビット量を補正し、この補正された所定枚数の未符号化ピクチャのビット量
に基づいて上記符号化対象ピクチャの目標ビット量を演
算することを特徴とする請求項１２に記載の符号化装
置。
【請求項１５】上記制御手段は、各ピクチャの符号化する毎に、上記符号化対象ピクチャ
の直前のピクチャの符号化処理の結果発生したビット量
と、上記符号化対象ピクチャの所定枚数先のピクチャの
予想発生ビット量とに基づいて、上記符号化対象ピクチ
ャから所定枚数先のピクチャまでの未符号化ピクチャに
割り当てられるビット量を求めることを特徴とする請求
項１３に記載の符号化装置。
【請求項１６】上記符号化対象ピクチャから所定枚数
先のピクチャの予想発生ビット量は、上記所定枚数先のピクチャを含んだGOPにおいて、上記
所定枚数先のピクチャ以降の未符号化ピクチャに対して
割り当てられるビット量を、上記所定枚数先のピクチャ
のピクチャタイプに応じて配分することによって求めら
れることを特徴とする請求項１５に記載の符号化装置。
【請求項１７】上記所定枚数先のピクチャ以降の未符
号化ピクチャに対して割り当てられるビット量は、上記第１のビットレートにおける１ピクチャあたりのビ
ット量と上記第２のビットレートにおける１ピクチャあ
たりのビット量との差分に、上記所定枚数先のピクチャ
を含んだGOPにおける上記所定枚数先のピクチャ以降の
未符号化ピクチャの枚数を乗算した値で補正されること
を特徴とする請求項１６に記載の符号化装置。
【請求項１８】上記符号化対象ピクチャの直前のピク
チャまでを上記第１のビットレートで符号化し、上記符
号化対象ピクチャから第２のビットレートで符号化した
後に、次のGOPの先頭ピクチャを符号化する場合には、上記制御手段は、上記次のGOPの未符号化ピクチャに対して割り当てられ
るビット量を、上記符号化対象ピクチャを含んでいたGO
Pの符号化処理の結果生成された補正値で補正すること
を特徴とする請求項１７に記載の符号化装置。
【請求項１９】上記補正値は、上記符号化対象ピクチャを含んでいたGOPの最後のピク
チャに割り当てられた目標符号量から、上記最後のピク
チャの実際の符号化処理による発生ビット量を減算した
値を使用することによって得られることを特徴とする請
求項１８に記載の符号化装置。
【請求項２０】上記制御手段における、上記符号化対
象ピクチャの目標ビット量を演算するアルゴリズムは、上記符号化対象ピクチャの符号化処理前に、上記符号化対象ピクチャを含む所定枚数の未符号化ピク
チャの符号化難易度を示すディフィカルティをそれぞれ
検出し、上記所定枚数の未符号化ピクチャのディフィカ
ルティと、上記符号化対象ピクチャのディフィカルティ
とに基づいて、上記符号化対象ピクチャの目標ビット量
を演算するフィードフォアード型のアルゴリズムである
ことを特徴とする特徴とする請求項１２に記載の符号化
装置。
【請求項２１】上記GOPにおいてj+1番目のピクチャで
ある符号化対象ピクチャ(j+1)を符号化する場合に、上
記符号化対象ピクチャ(j+1)からピクチャ(j+L)までのＬ
枚の未符号化ピクチャに対して割り当てられるビット量
Ｒ'(j+1)は、Ｒ'(j)は、ピクチャ(j)からピクチャ(j-1+L)までのＬ枚
の未符号化ピクチャに対して割り当てられるビット量を
示し、Ｓ(j)は、ピクチャ(j)の符号化処理の結果発生したビッ
ト量を示し、Ｆ(j+L)は、ピクチャ(j+L)の予想発生ビット量を示して
いるとき、下式、Ｒ'(j+1)＝Ｒ'(j)−Ｓ(j)＋Ｆ(j+L) によって計算されることを特徴とする請求項１に記載の
符号化装置。
【請求項２２】上記ピクチャ(j+L)の予想発生ビット
量Ｆ(j+L)は、Ｆi(j+L)は、上記ピクチャ(j+L)がＩピクチャの場合の
目標ビット量を示し、Ｆp(j+L)は、上記ピクチャ(j+L)がＰピクチャの場合の
目標ビット量を示し、Ｆb(j+L)は、上記ピクチャ(j+L)がＢピクチャの場合の
目標ビット量を示し、Ｇ(j+L)は、上記ピクチャ(j+L)が含まれるGOPにおいて
上記ピクチャ(j+L)以降の未符号化ピクチャに割り当て
られるビット量を示し、Ｘiは、Ｉピクチャの画面の複雑さを表わすグローバル
コンプレクシティを示し、Ｘpは、Ｐピクチャの画面の複雑さを表わすグローバル
コンプレクシティを示し、Ｘbは、Ｂピクチャの画面の複雑さを表わすグローバル
コンプレクシティを示し、Ｎpは、上記ピクチャ(j+L)が含まれるGOPにおいてまだ
符号化されていないＰピクチャの枚数を示し、Ｎbは、上記ピクチャ(j+L)が含まれるGOPにおいてまだ
符号化されていないＰピクチャの枚数を示し、Ｋpは、Ｉピクチャの量子化スケールコードを基準とし
たＰピクチャの量子化スケールコードの比率を示し、Ｋbは、Ｉピクチャの量子化スケールコードを基準とし
たＢピクチャの量子化スケールコードの比率を示してい
るとき、下式、Ｆi(j+L)＝max（Ｇ(j+L)／（１＋ＮpＸp／ＸiＫp＋Ｎb
Ｘb／ＸiＫb），bit_rate／8×pic_rate）Ｆp(j+L)＝max（Ｇ(j+L)／（Ｎp＋ＮbＫpＸb／ＫbＸ
p），bit_rate／8×pic_rate）Ｆb(j+L)＝max（Ｇ(j+L)／（Ｎb＋ＮpＫbＸp／ＫpＸ
b），bit_rate／8×pic_rate）によって演算されることを特徴とする請求項２１に記載
の符号化装置。
【請求項２３】上記ピクチャ(j+L)が含まれるGOPにお
いて上記ピクチャ(j+L)以降の未符号化ピクチャに割り
当てられるビット量Ｇ(j+L)は、Ｇ(j+L-1)は、上記ピクチャ(j+L)が含まれるGOPにおい
てピクチャ(j+L-1)以降の未符号化ピクチャに割り当て
られるビット量を示し、Ｆ(j+L-1)は、上記ピクチャ(j+L-1)の予想発生ビット量
を示しているとき、下式、Ｇ(j+L)＝Ｇ(j+L-1)−Ｆ(j+L-1) によって求められることを特徴とする請求項２２に記載
の符号化装置。
【請求項２４】上記符号化対象ピクチャ(j+1)が、GOP
の最初のピクチャであって、上記符号化対象ピクチャ(j
+1)をGOPよりも過去のGOPにおいて、上記指定ビットレ
ートが上記第１のビットレートから上記第２のビットレ
ートに変更されていた場合には、上記符号化対象ピクチャ(j+1)以降のＬ枚の未符号化ピ
クチャのビット量Ｒ'(j+1)、および上記符号化対象ピク
チャ(j+1)が含まれるGOPにおける上記符号化対象ピクチ
ャ(j+1)以降のＬ枚の未符号化ピクチャのビット量Ｇ(j+
1)は、 bit_rate(1)は、上記第１のビットレートを示し、 bit_rate(2)は、上記第２のビットレートを示し、Ｎは、GOPに含まれるピクチャの枚数を示し、 pic_rateは、フレームレートを示し、Ｇ(j+1)は、上記ピクチャ(j)を含むGOPの最後のピクチ
ャの符号化処理の結果、残ったビット量を示し、ｅは、上記ピクチャ(j+1)を含むGOPの次のGOPに対して
供給される補正ビット量を示しているとき、下式、Ｒ'(j+1)＝（bit_rate(2)−bit_rate(1)×Ｌ/pic_rate
＋Ｒ'(j+1) Ｇ(j+1)＝bit_rate(2)×Ｎ/pic_rate＋Ｇ(j+1)＋ｅによって求められることを特徴とする請求項２３に記載
の符号化装置。
【請求項２５】上記符号化対象ピクチャ(j+1)がGOPの
途中のピクチャであって、ピクチャ(j)までを上記第１
のビットレートで符号化し、ピクチャ(j+1)から上記第
２のビットレートで符号化する場合は、上記符号化対象ピクチャ(j+1)以降のＬ枚の未符号化ピ
クチャのビット量Ｒ'(j+1)、および上記符号化対象ピク
チャ(j+1)が含まれるGOPにおける上記符号化対象ピクチ
ャ(j+1)以降のＬ枚の未符号化ピクチャのビット量Ｇ(j+
1)は、 bit_rate(j)は、ピクチャ(j)を含むGOPに対して指定さ
れた上記第１のビットレートを示し、 bit_rate(j+1)は、ピクチャ(j+1)を含むGOPに対して指
定された上記第２のビットレートを示し、Ｎは、GOPに含まれるピクチャの枚数を示し、 pic_rateは、フレームレートを示し、Ｇ(j+1)は、上記ピクチャ(j)を含むGOPの最後のピクチ
ャの符号化処理の結果、残ったビット量を示し、ｅは、上記ピクチャ(j+1)を含むGOPの次のGOPに対して
供給される補正ビット量を示しているとき、下式、Ｒ'(j+1)＝（bit_rate(j+1)−bit_rate(j)）×Ｌ/pic_r
ate＋Ｒ'(j+1) Ｇ(j+1)＝（bit_rate(j+1)−bit_rate(j)）×Ｎ/pic_ra
te＋Ｇ(j+1)＋ｅによって求められることを特徴とする請求項２３に記載
の符号化装置。
【請求項２６】上記符号化対象ピクチャ(j+1)に対し
て割り当てられる目標ビット量Ｔ(j+1)は、Ｄ(j+1)は、上記符号化対象ピクチャ(j+1)のディフィカ
ルティを示し、 ΣＤ(k)は、ピクチャピクチャ(j+1)からピクチャ(j+1+
L)までのそれぞれのディフィカルティを加算した値を示
すとき、下式、Ｔ(j+1)＝max（Ｒ'(j+1)×Ｄ(j+1)／ΣＤ(k)，bit_rate
(j+1)/(８×pic_rate) によって計算されることを特徴とする請求項２５に記載
の符号化装置。
【請求項２７】指定ビットレートに基づいてビデオデ
ータを符号化する符号化装置において、 GOP内における未符号化ピクチャに対して割り当てられ
るビット量と上記指定ビットレートとに基づいて、符号
化対象ピクチャに対して割り当てられる目標ビット量を
演算する制御手段と、上記制御手段によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化手段を
備え、上記制御手段は、上記指定ビットレートがGOPの途中において第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記符号化手段に与えられる目標ビットレートを、
上記第１のビットレートに対応する上記目標ビット量か
ら、上記第２のビットレートに対応する上記目標ビット
量に補正することを特徴とする符号化装置。
【請求項２８】指定ビットレートに基づいてビデオデ
ータを符号化する符号化装置において、 GOP内における未符号化ピクチャに対して割り当てられ
るビット量から、符号化対象ピクチャに対して割り当て
られる目標ビット量を演算する制御手段と、上記制御手段によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化手段を
備え、上記演算手段は、 GOPの途中において上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記未符号化ピクチャのビット量の変化軌跡が、GO
Pの先頭ピクチャから第２のビットレートで各ピクチャ
を符号化していた時の軌跡になるように、上記未符号化
ピクチャのビット量を補正し、上記補正された未符号化
ピクチャのビット量に基づいて、上記符号化対象ピクチ
ャに対して割り当てられる目標ビット量を演算すること
を特徴とする符号化装置。
【請求項２９】指定ビットレートに基づいてビデオデ
ータを符号化する符号化装置において、 GOP内における未符号化ピクチャに対して割り当てられ
るビット量から、符号化対象ピクチャに対して割り当て
られる目標ビット量を演算する制御手段と、上記制御手段によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化手段を
備え、上記演算手段は、 GOPの途中において上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記未符号化ピクチャのビット量を、上記第１のビ
ットレートに基づく未符号化ピクチャのビット量から上
記第２のビットレートに基づく未符号化ピクチャのビッ
ト量に補正し、上記補正された未符号化ピクチャのビッ
ト量に基づいて、上記符号化対象ピクチャに対して割り
当てられる目標ビット量を演算することを特徴とする符
号化装置。
【請求項３０】指定ビットレートに基づいてビデオデ
ータを符号化する符号化装置において、符号化対象ピクチャから所定枚数先のピクチャまでの未
符号化ピクチャに対して割り当てられる予想ビット量を
演算し、その予想ビット量を上記符号化対象ピクチャの
符号化難易度に基づいて配分することによって、符号化
対象ピクチャに対して割り当てられる目標ビット量を演
算する制御手段と、上記制御手段によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化手段を
備え、上記制御手段は、上記指定ビットレートがGOPの途中において第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記符号化手段に与えられる目標ビットレートを、
上記第１のビットレートに対応する上記目標ビット量か
ら、上記第２のビットレートに対応する上記目標ビット
量に補正することを特徴とする符号化装置。
【請求項３１】指定ビットレートに基づいてビデオデ
ータを符号化する符号化装置において、符号化対象ピクチャから所定枚数先のピクチャまでの未
符号化ピクチャに対して割り当てられる予想ビット量を
演算し、その予想ビット量を上記符号化対象ピクチャの
符号化難易度に基づいて配分することによって、符号化
対象ピクチャに対して割り当てられる目標ビット量を演
算する制御手段と、上記制御手段によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化手段を
備え、上記演算手段は、 GOPの途中において上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記未符号化ピクチャに割り当てられる予想ビット
量の変化軌跡が、上記第２のビットレートで各ピクチャ
を符号化していた時の軌跡になるように、上記未符号化
ピクチャに対して割り当てられる予想ビット量を補正
し、上記補正されたビット量に基づいて、上記符号化対
象ピクチャに対して割り当てられる目標ビット量を演算
することを特徴とする符号化装置。
【請求項３２】指定ビットレートに基づいてビデオデ
ータを符号化する符号化装置において、符号化対象ピクチャから所定枚数先のピクチャまでの未
符号化ピクチャに対して割り当てられる予想ビット量を
演算し、その予想ビット量を上記符号化対象ピクチャの
符号化難易度に基づいて配分することによって、符号化
対象ピクチャに対して割り当てられる目標ビット量を演
算する制御手段と、上記制御手段によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化手段を
備え、上記演算手段は、 GOPの途中において上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記未符号化ピクチャに対して割り当てられるビッ
ト量を、上記第１のビットレートに基づく未符号化ピク
チャのビット量から上記第２のビットレートに基づく未
符号化ピクチャのビット量に補正し、上記補正された未
符号化ピクチャのビット量に基づいて、上記符号化対象
ピクチャに対して割り当てられる目標ビット量を演算す
ることを特徴とする符号化装置。
【請求項３３】指定ビットレートに基づいてビデオデ
ータを符号化する符号化方法において、上記指定ビットレートに基づいて、GOPに含まれる各ピ
クチャに対して割り当てられる目標ビット量をそれぞれ
演算する制御工程と、上記制御工程によって制御された目標ビット量に基づい
て、上記符号化対象ピクチャを符号化する符号化工程と
を備え、上記制御工程において、上記符号化工程によって上記符号化対象ピクチャの符号
化処理を行う場合に、上記指定ビットレートが第１のビ
ットレートから第２のビットレートに変更されたとき、
上記第１のビットレートと上記第２のビットレートとの
差分に基づいて上記符号化対象ピクチャに割り当てられ
る上記目標ビット量を補正することを特徴とする符号化
方法。
【請求項３４】指定ビットレートに基づいてビデオデ
ータを符号化する符号化方法において、 GOP内における未符号化ピクチャに対して割り当てられ
るビット量と上記指定ビットレートとに基づいて、符号
化対象ピクチャに対して割り当てられる目標ビット量を
演算する制御工程と、上記制御工程によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化工程を
備え、上記制御工程において、上記指定ビットレートがGOPの途中において第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記符号化工程に与えられる目標ビットレートを、
上記第１のビットレートに対応する上記目標ビット量か
ら、上記第２のビットレートに対応する上記目標ビット
量に補正することを特徴とする符号化方法。
【請求項３５】指定ビットレートに基づいてビデオデ
ータを符号化する符号化方法において、 GOP内における未符号化ピクチャに対して割り当てられ
るビット量から、符号化対象ピクチャに対して割り当て
られる目標ビット量を演算する制御工程と、上記制御工程によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化工程を
備え、上記演算工程において、 GOPの途中において上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記未符号化ピクチャのビット量の変化軌跡が、GO
Pの先頭ピクチャから第２のビットレートで各ピクチャ
を符号化していた時の軌跡になるように、上記未符号化
ピクチャのビット量を補正し、上記補正された未符号化
ピクチャのビット量に基づいて、上記符号化対象ピクチ
ャに対して割り当てられる目標ビット量を演算すること
を特徴とする符号化方法。
【請求項３６】指定ビットレートに基づいてビデオデ
ータを符号化する符号化方法において、 GOP内における未符号化ピクチャに対して割り当てられ
るビット量から、符号化対象ピクチャに対して割り当て
られる目標ビット量を演算する制御工程と、上記制御工程によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化工程を
備え、上記演算工程において、 GOPの途中において上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記未符号化ピクチャのビット量を、上記第１のビ
ットレートに基づく未符号化ピクチャのビット量から上
記第２のビットレートに基づく未符号化ピクチャのビッ
ト量に補正し、上記補正された未符号化ピクチャのビッ
ト量に基づいて、上記符号化対象ピクチャに対して割り
当てられる目標ビット量を演算することを特徴とする符
号化方法。
【請求項３７】指定ビットレートに基づいてビデオデ
ータを符号化する符号化方法において、符号化対象ピクチャから所定枚数先のピクチャまでの未
符号化ピクチャに対して割り当てられる予想ビット量を
演算し、その予想ビット量を上記符号化対象ピクチャの
符号化難易度に基づいて配分することによって、符号化
対象ピクチャに対して割り当てられる目標ビット量を演
算する制御工程と、上記制御工程によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化工程を
備え、上記制御工程において、上記指定ビットレートがGOPの途中において第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記符号化工程に与えられる目標ビットレートを、
上記第１のビットレートに対応する上記目標ビット量か
ら、上記第２のビットレートに対応する上記目標ビット
量に補正することを特徴とする符号化方法。
【請求項３８】指定ビットレートに基づいてビデオデ
ータを符号化する符号化方法において、符号化対象ピクチャから所定枚数先のピクチャまでの未
符号化ピクチャに対して割り当てられる予想ビット量を
演算し、その予想ビット量を上記符号化対象ピクチャの
符号化難易度に基づいて配分することによって、符号化
対象ピクチャに対して割り当てられる目標ビット量を演
算する制御工程と、上記制御工程によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化工程を
備え、上記制御工程において、 GOPの途中において上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記未符号化ピクチャに割り当てられる予想ビット
量の変化軌跡が、上記第２のビットレートで各ピクチャ
を符号化していた時の軌跡になるように、上記未符号化
ピクチャに対して割り当てられる予想ビット量を補正
し、上記補正されたビット量に基づいて、上記符号化対
象ピクチャに対して割り当てられる目標ビット量を演算
することを特徴とする符号化方法。
【請求項３９】指定ビットレートに基づいてビデオデ
ータを符号化する符号化方法において、符号化対象ピクチャから所定枚数先のピクチャまでの未
符号化ピクチャに対して割り当てられる予想ビット量を
演算し、その予想ビット量を上記符号化対象ピクチャの
符号化難易度に基づいて配分することによって、符号化
対象ピクチャに対して割り当てられる目標ビット量を演
算する制御工程と、上記制御工程によって演算された目標ビット量に従っ
て、上記符号化対象ピクチャを符号化する符号化工程を
備え、上記制御工程において、 GOPの途中において上記指定ビットレートが第１のビッ
トレートから第２のビットレートに変更された場合に
は、上記未符号化ピクチャに対して割り当てられるビッ
ト量を、上記第１のビットレートに基づく未符号化ピク
チャのビット量から上記第２のビットレートに基づく未
符号化ピクチャのビット量に補正し、上記補正された未
符号化ピクチャのビット量に基づいて、上記符号化対象
ピクチャに対して割り当てられる目標ビット量を演算す
ることを特徴とする符号化方法。