JPH09214962A - バッファ空／充填ルックアヘッド・ビット・アロケータを有する動画ビデオ圧縮システム - Google Patents

Abstract

(57)【要約】 【課題】 ビット割当て制約を満足しながら、一貫して
復号情報における良品質性（例えばピクチャにおけるビ
ジュアル画質）を維持することを可能にする、ピクチャ
などのデジタル情報の単位を符号化するシステム及び技
法を提供する。 【解決手段】 一定及び可変ビット・レートの両方の動
作におけるビット割当て制約に従い、ビットをピクチャ
に割当てるシステム及び方法を提供する。各ピクチャの
符号化の複雑性が、その空間的及び時間的特性にもとづ
きモデル化される。モデル化にもとづき、多数のビット
が予め各ピクチャに割当てられる。各ピクチャが次に、
割当てられたビットに従い圧縮される。達成されたビッ
ト・レートと所望のビット・レートとの差、及び計算資
源の使用可能性にもとづき、符号化を改善するための第
２のパスまたは複数のパスが実行されうる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデータ圧縮の分野に
関して、特に、デジタル動画ビデオ信号を圧縮するシス
テム及び方法に関する。

【０００２】

【従来の技術】デジタル伝送ネットワーク、デジタル記
憶媒体、超大規模集積装置及びビデオ及び音声信号のデ
ジタル処理の技術的発展は、デジタル・ビデオの伝送及
び記憶を多くのアプリケーションにおいて経済的なもの
にしつつある。デジタル・ビデオ信号の記憶及び伝送
は、多くのアプリケーションの中枢を成し、ビデオ信号
の非圧縮表現は通常、大きな記憶容量を要求するので、
デジタル・ビデオ圧縮技術の使用は、この発展しつつあ
る分野において重要である。

【０００３】デジタル・ビデオ信号の圧縮のための幾つ
かの規格が、過去１０年の間に登場し、最近でも開発さ
れている。これらの規格は、様々なアプリケーションに
おける圧縮デジタル・ビデオの伝送及び記憶のためのア
ルゴリズムに適合する。こうしたアプリケーションに
は、ビデオ電話やテレビ電話会議、同軸ネットワーク、
光ファイバ・ネットワーク、地上放送または直接衛星放
送による高画質デジタル・テレビ伝送、及びＣＤ−ＲＯ
Ｍ、デジタル・テープ、デジタル・ビデオ・ディスク、
或いはディスク・ドライブ上に記憶される対話式マルチ
メディア製品などが含まれる。

【０００４】幾つかの圧縮規格は、圧縮技術の共通の核
にもとづくアルゴリズムに関連付けられ、こうしたアル
ゴリズムには、例えばＣＣＩＴＴ（国際電信電話諮問委
員会）勧告Ｈ．１２０、ＣＣＩＴＴ勧告Ｈ．２６１、及
びＩＳＯ／ＩＥＣ ＭＰＥＧ−１及びＭＰＥＧ−２規格
などが含まれる。ＭＰＥＧアルゴリズムは、ＩＳＯ（国
際標準化機構）及びＩＥＣ（国際電気標準会議）の合同
技術委員会の一部である動画専門家グループ（ＭＰＥ
Ｇ）により開発された。ＭＰＥＧ委員会は、ビデオ及び
関連音声信号の多重化圧縮表現の標準規格を開発してき
た。標準規格は圧縮ビット・ストリーム及び復号方法を
指定するが、符号器において使用されるアルゴリズムの
新規性及び多様性のために、かなりな自由度を残してい
る。

【０００５】ＭＰＥＧ−１規格は、進行ビデオを圧縮す
るために開発された。進行ビデオ・シーケンスでは、各
フレームが個別の時点において眺められる場面を表現す
る。それに対してインタレース式ビデオでは、画面上の
１つ置きのラインに相当するフィールドが周期的に捕獲
される。インタレース式ビデオでは、画面上の上フィー
ルドと下フィールドとが交互にリフレッシュされる。所
与の時点において、２つのフィールド（フレーム）から
のデータが眺められる。

【０００６】ＭＰＥＧ−２規格は、インタレース式ビデ
オ、進行ビデオ、または両者の混合のいずれかを圧縮す
るために使用されうる。すなわち、符号器が各フレーム
が進行式かインタレース式かを指定する。

【０００７】ＭＰＥＧ規格は各ピクチャの圧縮表現にお
いて、ビット数が可変なビット・ストリームを指定す
る。この変化は、符号化される場面の時空的複雑性の時
間に伴う固有の変化の他に、異なるタイプのピクチャ処
理による。このことは、ビット・レートの変動を均等化
するためにバッファの使用につながる。例えば、一定ビ
ット・レートの記憶媒体または伝送チャネルにおいて、
バッファリングは、圧縮ピクチャのビット・レートが、
バッファのサイズに依存する限界内で変化することを許
容しながら、一定ビット・レートで記憶装置または伝送
チャネルに出力する。

【０００８】バッファリングの重要性を鑑み、ＭＰＥＧ
規格は、図１に示される仮想バッファ検証器（ＶＢＶ）
と呼ばれる仮想的復号器を定義する。これは符号化ビッ
ト・ストリームが復号器バッファ・サイズ及び入力ビッ
ト・レートの指定制限により、復号可能か否かを検証す
る。ＶＢＶは、一定ビット・レート（ＣＢＲ）と可変ビ
ット・レート（ＶＢＲ）の２つの動作モードを有する。
これら２つの動作モードについては後述する。

【０００９】一定ビット・レート動作では、復号器バッ
ファ１０１が、記憶または伝送媒体からの圧縮データ１
００により、一定ビット・レートで充填される。バッフ
ァ・サイズ及びビット・レートの両方は、圧縮ビット・
ストリーム内で伝送されるパラメータである。ビット・
ストリーム内の情報から導出される初期遅延の後、仮想
復号器１０３は即時、バッファから第１のピクチャに関
連付けられる全てのデータを除去する。その後、シーケ
ンスのピクチャ・レートに等しい時間間隔において、復
号器はバッファ内の最早ピクチャに関連付けられる全て
のデータを除去する。

【００１０】可変ビット・レート動作はバッファが満杯
になるまで、圧縮ビット・ストリームが指定最大ビット
・レートでバッファに入力する以外は、前記の一定ビッ
ト・レート動作と類似であり、満杯になった時点では、
バッファが少なくとも部分的に空になるまで、ビットは
入力されない。これはバッファに入力するビット・レー
トを事実上可変に変換する。

【００１１】ビット・ストリームがＭＰＥＧレート制御
要求を満足するためには、各ピクチャに対応する全ての
データが、復号器により必要とされるその瞬間に、バッ
ファ内で使用可能であることが必要がある。この要求
は、各ピクチャ内で許容されるビット数の上限
（Ｕ_VBV）及び下限（Ｌ_VBV）に変換される。所与のピク
チャにおける上限及び下限は、そのピクチャに先行する
全てのピクチャ内で使用されるビット数に依存する。Ｖ
ＢＶ要求を満たすビット・ストリームの生成は、符号器
の機能に相当する。実際の復号器が必ず上述のように構
成または動作することは、期待できない。仮想復号器及
びその関連バッファは、単に圧縮ピクチャのサイズの計
算可能な限界を定める手段である。

【００１２】レート制御機構は、Gonzales及びViscito
による米国特許出願第５２３１４８４号で見い出され、
そこではＭＰＥＧに対応して使用されうるレート制御機
構が述べられる。このタイプの機構のブロック図が図２
に示される。この機構では、入力ビデオ信号Ｆ_k２００
が複雑性予測器２０１及びピクチャ・コーダ２０５に送
信される。複雑性予測器は、複雑性予測Ｃ_k（信号２０
２）をピクチャ・ビット・アロケータ２０３に送信す
る。ピクチャ・ビット・アロケータは、量子化スケール
Ｑ_k（信号２０４）をピクチャ・コーダ２０５に送信す
る。量子化スケールは、符号器から圧縮ビデオ信号を受
信している仮想復号器バッファの瞬時バッファ満杯度、
及び以前に符号化されたピクチャの複雑性に依存して設
定される。ピクチャ・コーダは量子化スケールを用いて
Ｆ_kを符号化し、出力ビット・ストリームＣＤ_k（信号２
０６）を生成する。

【００１３】

【発明が解決しようとする課題】以上の状況を鑑み、本
発明の目的は、ビット割当て制約を満足しながら、一貫
して復号情報における良品質性（例えばピクチャにおけ
るビジュアル画質）を維持することを可能にする、ピク
チャなどのデジタル情報の単位を符号化するシステム及
び技法を提供することである。

【００１４】

【課題を解決するための手段】本発明の１態様によれ
ば、デジタル情報の単位（符号化単位）が、各符号化単
位の符号化歪を割当てられる多数のビットにもとづきモ
デル化することにより、符号化される。ビットが次に一
連の規則に従い、次のように各符号化単位に割当てられ
る。すなわち、モデル復号器バッファからの以前の符号
化単位の除去後に、復号器バッファの満杯度が第１の数
よりも小さい場合にのみ、１番目を除く各符号化単位の
符号化歪が、以前の符号化単位の符号化歪よりも小さく
なる。また、復号器バッファからの以前の符号化単位の
除去後に、モデル復号器バッファの満杯度が第２の数よ
りも大きい場合にのみ、１番目を除く各符号化単位の符
号化歪が以前の符号化単位の符号化歪よりも大きくな
る。そして、符号化単位が前記割当てにもとづき符号化
される。

【００１５】様々な実施例において、一定及び可変ビッ
ト・レートの両方の動作におけるＶＢＶ制約に従い、ビ
ットをピクチャに割当てる方法が提供される。各ピクチ
ャの符号化の複雑性がその空間的及び時間的特性にもと
づきモデル化される。モデル化にもとづき、多数のビッ
トが予め各ピクチャに割当てられる。各ピクチャが次
に、割当てられたビットに従い圧縮される。達成された
ビット・レートと所望のビット・レートとの差、及び計
算資源の使用可能性にもとづき、符号化を改良するため
の第２のパスまたは複数のパスが実行されうる。

【００１６】

【発明の実施の形態】

Ａ．ＭＰＥＧ−２環境 本発明はＭＰＥＧ−２符号器に関連して適用されうるの
で、本発明の理解を容易にするために、ＭＰＥＧ−２ビ
デオ圧縮規格のいくつかの関連する事項について確認す
ることにする。しかしながら、本発明が、ＭＰＥＧ−２
規格のいくつかの特長を共有する他のビデオ符号化アル
ゴリズムにも適用可能である点に注意されたい。

【００１７】まず最初に、テキスト・ページ、イメー
ジ、音声セグメント、またはビデオ・シーケンスなどの
任意のデータ・オブジェクトの圧縮が、以下に示す一連
のステップとして見なされうることが理解されよう。そ
れらは、１）そのオブジェクトをトークンの集合へ分解
するステップ、２）これらのトークンを特定の意味で最
小長を有するバイナリ・ストリングにより表現するステ
ップ、及び、３）ストリングを明確に定義された順序で
連結するステップである。ステップ２及びステップ３は
無損失（lossless）、すなわち、元のデータが逆処理に
おいて忠実に復元可能である。ステップ２はエントロピ
符号化として知られる。

【００１８】ステップ１は無損失または有損失のいずれ
であってもよいが、ほとんどのビデオ圧縮アルゴリズム
は、厳しいビット・レート要求のために有損失である。
好適な有損失圧縮アルゴリズムは冗長で無意味な情報を
排除し、可視的に重要でなく、観察者が非常に敏感に感
じるシーケンス面を注意深く表さないと思われる比較的
大きな誤差を許容する。ステップ１に対応してＭＰＥＧ
−２規格で採用される技術は、予測／補間動き補正混成
ＤＴＣ／ＤＰＣＭ符号化として述べられる。ステップ２
では、可変長符号化としても知られるハフマン符号化が
使用される。前述のようにＭＰＥＧ−２規格は、実際に
復号器及び圧縮ビット・ストリーム構文の仕様に当たる
が、ＭＰＥＧ−２仕様の以下の記述は、説明を簡略化す
る都合上、主に符号器の側から見て述べられる。

【００１９】ＭＰＥＧビデオ規格は、伝送のためのビデ
オの符号化表現を指定する。当該規格は、インタレース
式または非インタレース式要素ビデオに対して作用する
ように設計される。各ピクチャは３つの要素、すなわち
輝度（Ｙ）、赤色差（Ｃ_R）、及び青色差（Ｃ_B）を有す
る。４：２：０データでは、Ｃ_R及びＣ_Bの各要素は水平
方向及び垂直方向に、Ｙ要素が有するサンプルの数の半
分のサンプルを有する。４：２：２データではＣ_R及び
Ｃ_Bの各要素は、水平方向にはＹ要素が有するサンプル
の数の半分のサンプルを有するが、垂直方向には同一の
数のサンプルを有する。４：４：４データでは、Ｃ_R及
びＣ_Bの各要素は、水平方向及び垂直方向の両方におい
て、Ｙ要素が有するサンプルの数と同一のサンプルを有
する。

【００２０】ＭＰＥＧデータ・ストリームは、ビデオ・
ストリームと音声ストリームとを含み、これらはシステ
ム情報及びおそらく他のビット・ストリームとも一緒に
システム・データ・ストリームにパックされる。システ
ム・データ・ストリームはレイヤ化されるものと見なさ
れうる。ＭＰＥＧデータ・ストリームのビデオ・データ
内では、圧縮データが更にレイヤ化される。レイヤの構
成に関する説明が、本発明の理解を支援することであろ
う。

【００２１】レイヤは、圧縮ビット・ストリームの構成
の他に、圧縮機構の動作にも関連する。最上位のレイヤ
はビデオ・シーケンス・レイヤであり、シーケンス全体
の制御情報及びパラメータを含む。第２のレイヤでは、
シーケンスが連続ピクチャのセットに細分化され、各セ
ットはピクチャ・グループ（ＧＯＰ：Group of Picture
s）として知られる。このレイヤが図３に一般的に示さ
れる。復号は本質的に先行ＧＯＰとは独立に、任意のＧ
ＯＰの始まりで開始しうる。ＧＯＰ内に含まれうるピク
チャの数には制限はなく、全てのＧＯＰ内に等しい数の
ピクチャが含まれる必要もない。

【００２２】第３のレイヤまたは"ピクチャ"・レイヤ
は、単一のピクチャである。このレイヤが、図４に一般
に示される。各ピクチャの輝度要素は、１６×１６の領
域に細分化される。色差要素は適切なサイズのブロック
に細分化され、１６×１６の輝度領域と一緒に空間的に
配置される。４：４：４ビデオでは、色差要素は１６×
１６であり、４：２：２ビデオでは、色差要素は８×１
６であり、４：２：０ビデオでは、色差要素は８×８で
ある。まとめて、これらの一緒に配置される輝度領域及
び色差領域は、"マクロブロック"（ＭＢ）として知られ
る第５のレイヤを形成する。ピクチャ内のマクロブロッ
クは、ラスタ走査順に連続的に番号付けされる。

【００２３】ピクチャ・レイヤとＭＢレイヤ間には、第
４のレイヤまたは"スライス"・レイヤが存在する。各ス
ライスは、幾つかの連続ＭＢを含む。スライスはピクチ
ャ内またはピクチャ間でサイズ的に一様である必要はな
い。

【００２４】最後に、図５に示されるように、各ＭＢは
４つの８×８輝度ブロック、及び８つ、４つまたは２つ
のクロミナンス・ブロック（４：４：４、４：２：２及
び４：２：０ビデオにそれぞれ対応）を含む。各ピクチ
ャのピクチャ要素または画素内の輝度要素の幅をＣとし
て表し、高さをＲとして表すと（Ｃは列、Ｒは行を表
す）、ピクチャはＣ／１６ＭＢの幅、Ｒ／１６ＭＢの高
さを有する。

【００２５】シーケンス、ＧＯＰ、ピクチャ及びスライ
ス・レイヤは全て、それらに関連付けられるヘッダを有
する。ヘッダはバイト位置合わせされる"開始コード"で
開始し、対応するレイヤ内に含まれるデータに関連する
情報を含む。

【００２６】ピクチャはフィールド構造またはフレーム
構造による。フレーム構造式ピクチャは、フレーム全体
すなわち２つのフィールドを復元するための情報を含
む。フィールド構造式ピクチャは１つのフィールドを復
元するための情報を含む。（ピクチャ要素または画素内
の）各輝度フレームの幅をＣとして表し、高さをＲとし
て表すと（Ｃは列、Ｒは行を表す）、フレーム構造式ピ
クチャはＣ×Ｒ画素の情報を含み、フィールド構造式ピ
クチャはＣ×Ｒ／２画素の情報を含む。

【００２７】フィールド構造式ピクチャ内のマクロブロ
ックは、単一フィールドからの１６×１６画素セグメン
トを含む。フレーム構造式ピクチャ内のマクロブロック
は、両方のフィールドが構成するフレームからの１６×
１６画素セグメントを含む。

【００２８】ＭＰＥＧ−２シーケンス内の各フレーム
は、２つの符号化フィールド・ピクチャまたは１つの符
号化フレーム・ピクチャを含まねばならない。例えば２
つのフレームを１つのフィールド構造式ピクチャと、続
く１つのフレーム構造式ピクチャ、更にそれに続く１つ
のフィールド構造式ピクチャとして符号化することは、
違法である。正当な組み合わせは、２つのフレーム構造
式ピクチャ、４つのフィールド構造式ピクチャ、２つの
フィールド構造式ピクチャとそれに続く１つのフレーム
構造式ピクチャ、或いは１つのフレーム構造式ピクチャ
とそれに続く２つのフィールド構造式ピクチャである。
従って、ＭＰＥＧ−２構文にはフレーム・ヘッダは存在
しないが、概念的には、ＭＰＥＧ−２において、フレー
ム・レイヤを提唱することは可能である。

【００２９】ＧＯＰ内には、３つの"タイプ"のピクチャ
が出現しうる。ＧＯＰ内の３つのタイプのピクチャの例
が図６に示される。ピクチャ・タイプ間の差別的な特長
は、使用される圧縮方法である。第１のタイプは、モー
ド内（Intramode）ピクチャまたはＩ−ピクチャであ
り、他のピクチャと独立に圧縮される。Ｉ−ピクチャ間
の距離には固定の上限は存在しないが、これらはシーケ
ンスを通じて頻発的に散在され、ランダム・アクセス及
び他の特殊な動作モードを容易にすることが期待され
る。予測的に動き補正されるピクチャ（Ｐ−ピクチャ）
は、そのピクチャ内の圧縮データと、以前に表示された
Ｉ−ピクチャまたはＰ−ピクチャから最も最近復元され
た２つのフィールドとから復元される。双方向に動き補
正されるピクチャ（Ｂ−ピクチャ）は、そのピクチャ内
の圧縮データと、以前に表示されたＩ−ピクチャまたは
Ｐ−ピクチャから復元される２つのフィールドと、将来
表示されるＩ−ピクチャまたはＰ−ピクチャから復元さ
れる２つのフィールドとから復元される。復元されるＩ
−ピクチャまたはＰ−ピクチャは、他のピクチャを復元
するために使用されうるので、これらはアンカ（ancho
r）・ピクチャと呼ばれる。この仕様の目的ために、ア
ンカ・ピクチャは、次のアンカ・ピクチャがＩ−ピクチ
ャの場合、終端（terminal）ピクチャと呼ばれる。

【００３０】１つの非常に有用なイメージ圧縮技法は、
変換符号化（transform coding）である。ＭＰＥＧ及び
いくつかの他の圧縮規格では、離散余弦変換（ＤＣＴ）
が選択される。Ｉ−ピクチャの圧縮は、１）画素ブロッ
クのＤＣＴを実行するステップ、２）ＤＣＴ係数を量子
化するステップ、及び、３）結果をハフマン符号化する
ステップにより達成される。ＭＰＥＧでは、ＤＣＴ演算
により８×８画素のブロックを、８×８の変換係数セッ
トに変換する。ＤＣＴ変換自身は無損失の演算であり、
計算装置及びそれにより実行されるアルゴリズムの精度
内で転置されうる。

【００３１】第２のステップはＤＣＴ係数の量子化であ
り、ＭＰＥＧ規格における損失の主要要因である。ＤＣ
Ｔ係数の２次元配列の要素をＣ_mnにより表すと（ここで
ｍ及びｎは０乃至７の範囲を取りうる）、切捨てまたは
丸め訂正を除き、量子化は各ＤＣＴ係数Ｃ_mnをＷ_mn×Ｑ
_Pにより除算することにより達成される。ここでＷ_mnは
重み係数であり、Ｑ_Pはマクロブロック量子化器（quant
iser）である。ここでＱ_Pは各ＤＣＴ係数に適用される
点に注意されたい。重み係数Ｗ_mnは、視覚的に重要でな
い係数に対する粗い量子化の適用を可能にする。

【００３２】これらの重みの幾つかのセットが存在しう
る。例えば、Ｉ−ピクチャに対して１つの重み係数が存
在し、Ｐ−ピクチャ及びＢ−ピクチャに対して、別の重
み係数が存在しうる。特注の重みがビデオ・シーケンス
・レイヤ内で伝送されるか、デフォルト指定の値が使用
されうる。マクロブロック量子化器パラメータは、ＭＰ
ＥＧ−２において、品質とビット・レートとをトレード
・オフする主要手段である。ここでＱ_Pがピクチャ内の
ＭＢ間で変化しうる点が重要である。この特長は、適応
量子化（ＡＱ）として知られ、各ピクチャの異なる領域
が異なるステップ・サイズにより量子化されることを可
能にし、各ピクチャに渡り、及びピクチャ間で、ビジュ
アル品質を均一化（及び最適化）するために使用されう
る。通常、例えばＭＰＥＧテスト・モデルにおいては、
マクロブロック量子化器は、マクロブロック・マスキン
グ係数とピクチャ名目量子化器との積として計算され
る。

【００３３】量子化に続き、各ＭＢに対するＤＣＴ係数
情報が構成され、ハフマン符号のセットを用いて符号化
される。このステップの詳細は、本発明を理解する上で
重要ではなく、一般的に理解されているので、ここでは
説明を省略する。

【００３４】ほとんどのビデオ・シーケンスは、連続ピ
クチャ間の高度な相関を示す。ピクチャを符号化する以
前に、この冗長性を除去する有用な方法は動き補正であ
る。ＭＰＥＧ−２は動き補正のための幾つかのツール
（後述）を提供する。

【００３５】動き補正の全ての方法は、以下の内容を共
通に有する。各マクロブロックに対して、１つ以上の動
きベクトルがビット・ストリームに符号化される。これ
らの動きベクトルは、復号器がマクロブロックを復元す
ることを可能にし、これは予測マクロブロックと呼ばれ
る。符号器は、符号化されるマクロブロックから予測マ
クロブロックを減算し、差マクロブロックを形成する。
符号器は、本質的に内部マクロブロックを圧縮するため
に使用されるツールと類似のツールを用いて、差マクロ
ブロックを圧縮する。

【００３６】ピクチャのタイプは、使用されうる動き補
正の方法を決定する。符号器は、ピクチャ内の各マクロ
ブロックに対してこれらの方法の中から選択する。動き
補正の方法は、使用されるマクロブロック・モード及び
動き補正モードにより記述される。内部（Ｉ）モード、
前方（Ｆ）モード、後方（Ｂ）モード、及び補間前方−
後方（ＦＢ）モードの４つのマクロブロック・モードが
存在する。Ｉモードでは、動き補正は使用されない。他
のマクロブロック・モードでは、１６×１６（Ｓ）また
は１６×８（Ｅ）動き補正モードが使用されうる。Ｆマ
クロブロック・モードでは、デュアル・プライム（Ｄ）
動き補正モードも使用されうる。

【００３７】ＭＰＥＧ規格は、一定ビット・レート及び
可変ビット・レートの両方の伝送及び記憶媒体と共に使
用されうる。各ピクチャ内のビット数は、符号化される
場面の時空的複雑性の時間に伴う固有の変化の他に異な
るタイプのピクチャ処理により、可変である。ＭＰＥＧ
規格は、仮想バッファ検証器（ＶＢＶ）の形態によるバ
ッファ・ベースのレート制御方法を用いて、許容される
ビット・レートの変化に対する重要な限界を定める。図
１に示されるように、ＶＢＶは仮想復号器１０３を伴う
復号器バッファ１０１として考案され、その唯一の機能
は、各ピクチャを符号化するために使用されるビット数
の限界を定めることであり、それにより、全体ビット・
レートが目標の割当てに等しくなり、目標からの短期的
な偏差が制限される。ＶＢＶは一定ビット・レート・モ
ードまたは可変ビット・レート・モードのいずれかで動
作しうる。

【００３８】一定ビット・レート・モードでは、バッフ
ァが記憶または伝送媒体からのビット・ストリーム内の
圧縮データにより、一定ビット・レートで充填される。
バッファ・サイズ及びビット・レートの両者は、圧縮ビ
ット・ストリーム内で伝送されるパラメータである。初
期遅延（同様にビット・ストリーム内の情報から導出さ
れる）の後、仮想復号器が即時、バッファから、第１の
ピクチャに関連付けられる全てのデータを取り除く。そ
の後、シーケンスのピクチャ・レートに等しい時間間隔
で、符号器がバッファ内の最早ピクチャに関連付けられ
る全てのデータを取り除く。

【００３９】ＶＢＶの動作が、図７の例により示され
る。この図は、時間と復号器バッファの満杯度との関係
を示す。バッファは初期遅延後の時刻Ｔ₀において、初
期バッファ満杯度Ｂ_iで開始する。傾斜線の断片は、圧
縮データが一定ビット・レートでバッファに入力するこ
とを示す。垂直線の断片は、バッファ内の最早ピクチャ
に関連付けられるデータがバッファから即時除去される
ことを示す。この例では、ピクチャは一定時間間隔Ｔで
除去されるように示される。一般に、ピクチャ表示間
隔、すなわち連続ピクチャの除去の間の時間間隔は可変
である。

【００４０】ビット・ストリームがＭＰＥＧレート制御
要求を満たすためには、各ピクチャに対する全てのデー
タが、それが復号器により必要とされる瞬間にバッファ
内で使用可能であり、復号器バッファが過剰に充填され
ないことが必要がある。これらの要求は、各ピクチャ内
で許容されるビット数に対する上限及び下限に変換され
る。所与のピクチャの上限及び下限は、それに先行する
全てのピクチャ内で使用されるビット数に依存する。例
えば、第２のピクチャは、Ｕ₂よりも多くのビットを含
まないかもしれない。なぜなら、Ｕ₂は第２のピクチャ
が除去されるときに、バッファ内で使用可能なビット数
であるからである。同時に第２のピクチャは、Ｌ₂より
も少ないビットも含まないかもしれない。なぜなら、Ｌ
₂よりも少ないビットを除去すると、バッファが入来ビ
ットによりオーバフローするからである。符号器の機能
は、ＶＢＶにより誤差無く復号しうるビット・ストリー
ムを生成することである。

【００４１】一定ビット・レート動作では、バッファか
ら現ピクチャを除去する直前のバッファの満杯度が、以
前のピクチャ除去直前のバッファ満杯度から、以前のピ
クチャ内のビット数を差し引き、現ピクチャ除去と以前
のピクチャ除去との間の時間量にビット・レートを掛け
た積を加えたものに等しい。すなわち、 現ピクチャ除去直前のバッファ満杯度＝最後のピクチャ
除去直前の満杯度−最後のピクチャ内のビット数＋現ピ
クチャと最後のピクチャ間の時間×ビット・レート

【００４２】ピクチャ内のビット数の上限は、バッファ
からそのピクチャを除去する直前のバッファの満杯度に
等しい。下限は０ビットか、またはバッファ・サイズか
ら、そのピクチャをバッファから除去する直前のバッフ
ァ満杯度を差し引き、次のピクチャが除去される以前に
バッファに入力するビット数を加えたものの、いずれか
大きい方である。所与のピクチャを除去する以前のバッ
ファ満杯度は、初期バッファ満杯度と、全ての先行ピク
チャ内のビット数とに依存し、前記の規則を用いて計算
されうる。

【００４３】可変ビット・レート動作では、バッファが
満杯になるまで、圧縮ビット・ストリームが指定最大ビ
ット・レートでバッファに入力する以外は、上述と類似
であり、満杯の時点では、もはやビットは入力されな
い。このことはバッファに入力する事実上可変なビット
・レートを、最大指定レートまで変換する。可変ビット
・レート動作の下でのバッファ満杯度のプロット例が図
８に示される。バッファは、バッファ満杯度が定義上、
バッファ・サイズＢ_maxを越えることができない以外は
一定ビット・レートの場合と同様に動作する。このこと
は、各ピクチャに対して生成されるビット数に上限を定
めるが下限は定めない。

【００４４】可変ビット・レート動作では、バッファか
ら現ピクチャを除去する直前のバッファ満杯度がバッフ
ァのサイズ、または以前のピクチャを除去する直前のバ
ッファ満杯度から、以前のピクチャ内のビット数を差し
引き、現ピクチャ除去と以前のピクチャ除去との間の時
間量に最大ビット・レートを掛けた積を加えたものの、
いずれか小さい方に等しい。すなわち、現ピクチャ除去
直前のバッファ満杯度＝（バッファ・サイズ）、または
（最後のピクチャ除去直前の満杯度−最後のピクチャ内
のビット数＋現ピクチャと最後のピクチャ間の時間×ビ
ット・レート）の、いずれか小さい方

【００４５】ピクチャ内のビット数の上限は、この場合
にも、バッファからそのピクチャを除去する直前のバッ
ファの満杯度に等しい。上述のように、下限は存在しな
い。所与のピクチャを除去する以前のバッファ満杯度
は、この場合も、初期バッファ満杯度と、全ての先行ピ
クチャ内のビット数とに依存し、前記の規則を用いて計
算されうる。

【００４６】Ｂ．符号器の好適な実施例 本発明の実施例によれば、レート制御はバッファの現状
態だけでなく、多数のピクチャが符号化された後の、バ
ッファの予測される将来状態にもとづく。現バッファ状
態及び予測バッファ状態は、従来の方法と異なる方法に
より、レート制御のために使用される。この実施例で
は、各ピクチャが"符号化単位"と見なされる。バッファ
が指定の上限及び下限に達すると予測されるときのみ、
量子化スケールＱ_Pが変更されるように、ビットがピク
チャのシーケンスに割当てられる。特にＱ_Pは、復号器
バッファが所与のしきい値を越えて充填されると予測さ
れるときのみ増加され、また復号器バッファが所与のし
きい値を越えて空になると予測されるときのみ減少され
る。

【００４７】図９は、本発明の実施例のコンポーネント
及びそれらの相互接続を示す。ピクチャ・コーダ９０８
は、図２のピクチャ・コーダ２０５などの従来のタイプ
である。入力ビデオ信号９００（Ｆ_k）は、複雑性予測
器９０１（ＣＥ）及びピクチャ・コーダ９０８（ＰＣ）
に入力される。ここでｋは時間指標である。ＣＥは入力
ビデオ・シーケンス９００を処理し、各ピクチャの符号
化複雑性をモデル化するために有用なパラメータＰ
_k（信号９０２）を予測する。ＣＥの実施例については
後述する。パラメータ９０２はビット生成モデラ９０３
（ＢＰＭ）に送信され、後者は、導入される符号化歪に
もとづきピクチャを符号化するためのビット数のモデル
を構成する。ＢＰＭはモデルＭ_k（信号９０４）を生成
し、これはバッファ空／充填ピクチャ・ビット・アロケ
ータ９０５（ＰＢＡ）に送信される。ＰＢＡはビデオ・
シーケンス内の各ピクチャに割当てるビット数を決定す
る。ＰＢＡの動作については後述する。好適な実施例で
は、ビット割当ては量子化スケールＱ_k（信号９０７）
の形式でＰＣに送信される。ＰＢＡにより供給されるＱ
_kを用いて、ＰＣはｋ番目のピクチャを符号化し、圧縮
データＣＤ_k（信号９０９）を生成する。ＰＣは符号化
統計を形成し、これが信号９０６（Ｇ_k）を通じて、Ｐ
ＢＡ及びＣＥに知らされる。

【００４８】図９のコンポーネントの各々は、ハードウ
ェアにより、または汎用コンピュータのメモリ内で実体
化されるソフトウェアとして実現されうる。好適には、
ピクチャ・コーダ及び複雑性予測器は、関連するマイク
ロコード制御を有するハードウェア・コンポーネントま
たは回路ボードとして実現され、ビット生成モデラ及び
バッファ空／充填ピクチャ・ビット・アロケータは、プ
ログラム・コードにより実現される。

【００４９】複雑性予測器９０１の１実施例が図１０に
示される。入力ピクチャ１０００（Ｆ_k）（信号２０
０、信号９００、信号１５００と同一）は、ピクチャ・
タイプ分類器１００１により、ピクチャ・タイプに分類
され、分類が信号１００２（ＣＫ_k）を通じて知らされ
る。動き補正が動き補正ユニット１００３により実行さ
れ、動き補正差Δｍｃ（信号１００４）が生成される。
ピクチャ分類及び動き補正のための技術は既知であり、
ここでは説明を省略する。信号１００２及び信号１００
４は、誤差加算器及び前オーバヘッド・カウンタ１００
５に入力され、後者はこれらを用いてビット生成モデル
へのパラメータＰ_k（信号１００７）のセットを計算す
る。この実施例では、Ｐ_kは複雑性測度Ｃ_k及びオーバヘ
ッドＯＨ_kを含む。誤差加算器及び前オーバヘッド・カ
ウンタ１００５は、ピクチャｋの複雑性Ｃ_kを、Δｍｃ
の全ての要素の絶対値の合計として計算する。誤差加算
器及び前オーバヘッド・カウンタ１００５はまた、ピク
チャｋのオーバヘッド予測ＯＨ_kを同一タイプの以前の
ピクチャ内で使用されるビット数から、同一タイプの以
前のピクチャ内で量子化係数を表すために使用されるビ
ット数を差し引いて計算する。

【００５０】ＯＨ_kの計算方法をより理解するために、
次の例について考えてみよう。ピクチャ１乃至７は既に
符号化されており、ピクチャ６はＰ−ピクチャであり、
ピクチャ７はＢ−ピクチャであり、ピクチャ８はＰ−ピ
クチャである。ピクチャ６は１０００００ビットを使用
しており、その内の９００００ビットは量子化係数とし
て使用されている。従って、ピクチャ８の予測オーバヘ
ッドは、ＯＨ₈＝１００００である。

【００５１】複雑性予測器９０１の別の実施例が、図１
５に示される。入力ピクチャ１５００が再度ピクチャ・
タイプ分類器１５０１（ユニット１００１と同一）によ
り、ピクチャ・タイプに分類され、分類が信号１５０２
（ＣＬ_k）（信号１００２と同一）を通じて通知され
る。分析符号器１５０３（ＡＥ）は各ピクチャを圧縮す
る。圧縮を実行する１方法は、従来の符号化方法（例え
ばGonzales及びViscitoのアルゴリズム）を使用するこ
とである。第２の方法は、全てのマクロブロックに対し
て量子化スケールとして固定値を使用することである。
第３の方法は、本特許のテーマである符号器（例えば図
１０の複雑性予測器にもとづく符号器）を使用すること
である。いずれの場合にも、ピクチャｋに対するオーバ
ヘッド予測は、そのピクチャに対してＡＥ内で使用され
るビット数から、量子化ＤＣＴ係数を符号化するために
使用されるビット数を減算して設定される。ピクチャｋ
に対する複雑性はＡＥによりピクチャｋ内で使用される
平均量子化スケールと、ＡＥによりピクチャｋ内の量子
化係数を表すために使用されるビット数との積に設定さ
れる。

【００５２】ビット生成モデラ９０３（ＢＰＭ）は、ビ
デオ・コーダにより生成されるビット数を圧縮により導
入される符号化歪に関連付ける。１実施例では、量子化
スケールの固定値がピクチャｋ内で使用され、その値Ｑ
_kが符号化歪測度である。ビット生成モデルの例が図１
８に示される。図１８では、ピクチャ１乃至３に対する
モデルが描かれており、所与のレベルの符号化歪を獲得
するために必要とされるビット数が示される。ここで各
ピクチャに対してより低レベルの歪を獲得するために
は、一般により多くのビットが必要とされる点に注意さ
れたい。この例では、所与のレベルの符号化歪において
ピクチャ３が最多のビットを要求し、続いてピクチャ
１、ピクチャ２の順である。従って、ピクチャ３が最
も"複雑"であり、ピクチャ２が最も複雑性が低いと言え
る。

【００５３】多くの他のビット生成モデラも使用可能で
あり、これらは他の歪方法を使用しうる。例えば適応量
子化が、Gonzales及びViscitoによる前記参照特許で述
べられている。適応量子化を使用することにより、ピク
チャの品質を設定することができる。これは基本量子化
レベルを設定し、次にマクロブロックの空間的特性にも
とづき量子化スケールを生成するように、基本量子化レ
ベルを変更することにより達成される。またビット生成
モデラは異なるピクチャ・タイプ内の異なる量子化レベ
ルを等価に定義できる。（例えば、Ｉ−ピクチャ内の量
子化レベルが、Ｂ−フレーム内の量子化レベルの２倍に
等しい品質レベルと見なされうる。）

【００５４】複雑性予測器の任意の前記実施例におい
て、ビット生成モデラ９０３は次のように動作する。量
子化スケールＱ_kを有するピクチャｋに対して必要とさ
れるビット数が、ピクチャｋのオーバヘッド予測と、ピ
クチャｋの複雑性をピクチャｋの量子化スケールで割っ
た商との合計としてモデル化される。すなわち、 Ｂ_k（Ｑ_k）＝Ｃ_k／Ｑ_k＋ＯＨ_k であり、ここで、Ｂ_k（Ｑ_k）は、量子化スケールＱ_kが
使用されるときに、ピクチャｋの圧縮表現に必要とされ
る予測ビット数である。

【００５５】符号器の１実施例では、シーケンスが何度
も圧縮され、最初のパスを除く各圧縮パスにおいて、以
前のパスが分析符号器１５０３として使用される。

【００５６】バッファ空／充填ピクチャ・ビット・アロ
ケータ９０５が、図１１に詳細に示される。ビット生成
モデラ９０３により生成されるモデルＭ_k（信号１１０
０で示され、信号９０４と同一）が、ルックアヘッド・
バッファ制約ビット・アロケータ１１０４（ＬＡＢＣＢ
Ａ）により、ビデオ・シーケンス内のピクチャに対する
ビット割当てを構成するために使用される。ビット割当
ては信号１１０９を通じて量子化スケールＱ_kとして出
力される。ＬＡＢＣＢＡは、一定ビット・レート・モー
ドで動作するとき、図１２に示されるフローチャートを
実行し、可変ビット・レート・モードで動作するとき、
図１４のフローチャートを実行する。ＬＡＢＣＢＡの動
作については、以降で詳述される。ＬＡＢＣＢＡは仮想
バッファ検証器１１０８を用いて、バッファ制約に従う
ことをチェックする。好適な実施例では、仮想バッファ
検証器１１０８は、ＭＰＥＧ ＶＢＶアルゴリズムに対
応する。もちろん、符号器が別の符号化環境において使
用される場合には、それに適したバッファ制約が仮想バ
ッファ検証器１１０８内で使用されるべきである。

【００５７】一定ビット・レート動作では、ＬＡＢＣＢ
Ａが次の特性を有するビット割当てを決定する。

【００５８】１．ピクチャｋ−１の除去後にバッファが
空の場合のみ、ピクチャｋが符号化されるときの符号化
歪が、符号化順に以前のピクチャｋ−１の符号化歪から
減少される。

【００５９】２．ピクチャｋの除去以前にバッファが満
杯の場合のみ、ピクチャｋが符号化されるときの符号化
歪が、符号化順に以前のピクチャｋ−１の符号化歪から
増加される。

【００６０】前記特性を有するビット割当ての例が、図
１６にバッファ満杯度及び対応する歪のプロットにより
示される。この例では、条件１がピクチャ１０及び１２
に当てはまり、条件２がピクチャ４、６、１６及び１８
に当てはまる。

【００６１】可変ビット・レート動作では、ＬＡＢＣＢ
Ａが次の特性を有するビット割当てを決定する。

【００６２】３．ピクチャｋ−１の除去後にバッファが
空であるか、或いは条件３が当てはまる場合のみ、ピク
チャｋが符号化されるときの符号化歪が、符号化順に以
前のピクチャｋ−１の符号化歪から減少される。

【００６３】４．ピクチャｋの除去以前にバッファが満
杯の場合のみ、ピクチャｋが符号化されるときの符号化
歪が、符号化順に、以前のピクチャｋ−１の符号化歪か
ら増加される。

【００６４】５．ピクチャｋがバッファから除去された
後に、バッファがピクチャｋの表示時間間隔の間にピー
ク・ビット・レートで伝送されるビット数よりも少ない
入来ビットにより満杯になる場合、ピクチャｋが符号化
されるときの符号化歪は、任意の他のピクチャの符号化
歪よりも大きくない。

【００６５】前記特性（３、４、５）を有するビット割
当ての例が、図１７にバッファ満杯度及び対応する歪の
プロットにより示される。この例では、条件３がピクチ
ャ３及び１４に当てはまり、条件４がピクチャ１１に当
てはまり、条件５がピクチャ７、８及び１７に当てはま
る。

【００６６】好適な実施例では、符号化歪は使用される
量子化スケールＱ_kに関連して評価される。すなわち、
より高いＱ_kはより大きな歪を意味する。復号バッファ
満杯度が下限しきい値、例えばバッファ・サイズの５％
以下の場合、バッファは空と見なされる。同様に、復号
バッファ満杯度が上限しきい値、例えばバッファ・サイ
ズの９５％以上の場合、バッファは満杯と見なされる。

【００６７】一定ビット・レート・モードの条件１は、
直前に符号化されたピクチャの平均符号化複雑性より
も、グループとして低い符号化複雑性を有するピクチャ
のサブシーケンスを復号するとき、最大の復号バッファ
空間を将来の入来ビットの蓄積のために使用可能にし、
バッファの充填を延期することを保証する。条件２は、
直前に符号化されたピクチャの平均符号化複雑性より
も、グループとして高い符号化複雑性を有するピクチャ
のサブシーケンスを復号するために、最大のバッファ空
間が使用可能にされたこと、従ってバッファが空になる
のが延期されたことを保証する。

【００６８】例えば、次の符号化過程について考えてみ
よう。入力ビデオ・シーケンスがｎ個のピクチャを含
み、これらが１から番号付けされる。ピクチャ１がバッ
ファから除去される以前の復号器バッファの初期満杯度
はＢ_iである。復号バッファのサイズはＢ_maxである。ピ
クチャｎが除去された後の最終バッファ満杯度はＢ_fで
ある。一定ビット・レート・モードでは、ビデオ・シー
ケンスの符号化に割当てられるビットの総数は、シーケ
ンスの長さ、ビット・レート、及びバッファの初期及び
最終状態により決定される。

【００６９】一定ビット・レート・モードにおけるＬＡ
ＢＣＢＡの動作について、図１２を参照しながら述べる
ことにする。ＬＡＢＣＢＡは好適には、プログラム・コ
ードとして実現される。

【００７０】ステップ１２０１乃至１２０６により形成
されるループは、ピクチャ１で始まり、次第に長くなる
ピクチャ・シーケンスの割当てを計算する。用語"部分
割当て"は、ピクチャのサブシーケンスに対するビット
割当てを意味するために使用される。特にバッファから
ピクチャｋを除去した後に、バッファが空になるように
ピクチャ１乃至ｋ（１≦ｋ＜ｎ）に対する割当てを見い
出す。更に、バッファからピクチャｋ＋１を除去した後
にバッファが満杯になるように、割当てを見い出す（バ
ッファをｋ＋１個のピクチャにより充填する割当てに対
して十分なビットが使用可能な場合）。これらの全ての
割当ては、上述の一定ビット・レート割当てにおける両
方の条件を満足する。

【００７１】ステップ１２０１で、ピクチャ・カウンタ
ｋが１にセットされる。この時点で、復号器バッファの
満杯度はＢ_iである。ステップ１２０２は、ピクチャｋ
＋１が除去される以前にバッファが満杯であるように、
任意の正の数のビットをピクチャ１乃至ｋに割当てるこ
とが可能か否かをテストする。応答が肯定の場合、次に
ステップ１２０３が実行され、それ以外ではステップ１
２０４が実行される。

【００７２】ステップ１２０３では、以前に計算された
部分割当てから構成され、ピクチャｋ＋１が除去される
以前にバッファを満杯にする正当な割当て（ＶＢＶバッ
ファ制約に違反しない）を見い出すための探索が実行さ
れる。この探索を実行するためのプロシジャが、後述の
図１３のフローチャートに示される。このステップで計
算される部分割当ては、メモリ内すなわちTop[k]に記憶
される。ステップ１２０３の実行の後、ステップ１２０
４が実行される。

【００７３】ステップ１２０４では、以前に計算された
部分割当てから構成され、ピクチャｋが除去された後に
バッファを空にする正当な割当て（ＶＢＶバッファ制約
に違反しない）を見い出すための探索が実行される。こ
のステップで計算される部分割当ては、メモリ内すなわ
ちBot[k]に記憶される。ステップ１２０３の実行の後、
ステップ１２０４が実行される。この探索を実行するた
めのプロシジャが後述の図１３のフローチャートに示さ
れる。

【００７４】ステップ１２０４の実行後、ステップ１２
０５でカウンタｋが１増分される。カウンタｋが次にス
テップ１２０６でｎと比較される。ｋがｎに等しくない
場合、次にステップ１２０２が繰り返される。ｋがｎに
等しい場合には、次にステップ１２０７が実行される。

【００７５】ステップ１２０７では、以前に計算された
部分割当てから構成され、ピクチャｎが除去された後に
バッファをバッファ満杯度Ｂ_fにする正当な割当て（Ｖ
ＢＶバッファ制約に違反しない）を見い出すための探索
が実行される。このステップで計算される割当ては、Ｌ
ＡＢＣＢＡにより出力されるビット割当てである。この
探索を実行するためのプロシジャが、後述の図１３のフ
ローチャートに示される。

【００７６】ステップ１２０３、１２０４及び１２０７
は全て、特定の開始及び終了バッファ満杯度を有し、前
記の２つの条件を満足する部分割当てを計算する。更に
各場合において、特定のピクチャ、すなわち以前のピク
チャにおいてバッファ満杯または空で終了する割当てが
既に知れているピクチャで終了する割当てを見い出さね
ばならない。次に探索プロシジャについて、図１３を参
照しながら述べることにする。

【００７７】探索プロシジャは入力として、４つのパラ
メータk_i、k_f、Ｂ_ii及びＢ_ffを取る。探索プロシジャ
は、ピクチャk_i乃至k_fに対してビット割当てを計算
し、それはピクチャk_iが除去される以前にバッファ満
杯度Ｂ_iiで開始し、ピクチャk_fが除去された後は、バ
ッファ満杯Ｂ_ffで終了する。正当な割当てが存在する場
合、ピクチャk_i乃至k_f−１の間で、バッファを充填及
び空にする割当てが既に知れている。（これらは配列To
p[]及びBot[]に記憶される。）

【００７８】ステップ１３０１は、初期バッファ満杯度
がＢ_iiの場合に、ピクチャk_fが除去された後の最終バ
ッファ満杯度がＢ_ffに等しくなるように、Ｂ_tをピクチ
ャk_i乃至k_fに割当てられるビットの総数に等しくセッ
トする。ステップ１３０２は、量子化スケールＱの値を
計算する。この値はピクチャk_i乃至k_fを符号化するた
めに使用されるとき、ビット生成モデラ９０３により出
力されるビット生成モデルに従い、数量Ｂ_tのビットに
なる。ここで固定値Ｑにより意味される割当て（以下、
一定値Ｑ割当て）は正当でないかもしれず、バッファの
アンダフローまたはオーバフローを生じうる点に注意さ
れたい。上述のビット生成モデルを有する好適な実施例
では、Ｑに対する一定値がピクチャk_i乃至k_fの複雑性
Ｃ_kの総和を目標ビット数Ｂ_tとピクチャk_i乃至k_fのオ
ーバヘッドＯＨ_kの総和との差により除算して計算され
うる。

【００７９】ステップ１３０３は、仮想バッファ検証器
に従い、一定値Ｑ割当てが有効か否かをテストする。一
定値Ｑ割当てが有効な場合、これが結果として記憶さ
れ、探索は終了する。一定値Ｑ割当てが有効でない場合
には、次にステップ１３０５が実行される。ステップ１
３０５では、カウンタｊがk_fに等しくセットされる。

【００８０】ステップ１３０６は、ピクチャｊ−１が除
去された後にバッファが空の場合、最終バッファ満杯度
がＢ_fとなるように、Ｂ_tをピクチャｊ乃至k_fに割当て
られるビットの総数に等しくセットする。ステップ１３
０７は、量子化スケールＱの値を計算し、これはピクチ
ャｊ乃至k_fを符号化するために使用されるとき、ビッ
ト生成モデラ９０３により出力されるビット生成モデル
に従い、数量Ｂ_tのビットを生成する。（再度この割当
ては正当でないかもしれない。）ステップ１３０８は、
可変最終値Ｑをピクチャｊ−１の除去後にバッファを空
にする、以前に計算された部分割当てにおいて使用され
たＱの最終値、すなわち、Bot[j-1]に記憶される部分割
当てにおけるＱの最終値に等しくセットする。

【００８１】ステップ１３０９では、ピクチャｊ−１の
除去後にバッファ満杯度が初期に空の場合、仮想バッフ
ァ検証器に従い、ステップ１３０７で計算された一定値
Ｑを用いるピクチャｊ乃至k_fへの割当てが有効か否
か、並びに、Ｑが最終値Ｑよりも小さいか否かをテスト
する。両方の条件が真であれば、次にステップ１３１０
で、Bot[j-1]に記憶される部分割当てをステップ１３０
７で計算された一定値Ｑ割当てに連結することにより、
割当てが構成される。このようにして構成された割当て
は結果として記憶され、探索が終了する。（ここで最終
割当てにおいて、一定ビット・レート割当てにおける条
件１及び条件２は、ピクチャk_i乃至ｊ−１に対して
は、割当てBot[]に対して条件が真であったために、ま
たピクチャｊ＋１乃至k_fに対しては、これらが全て同
一のＱを使用するために、更にピクチャｊに対しては、
このピクチャがピクチャｊ−１よりも小さなＱを有する
が、ピクチャｊ−１が除去された後にバッファが空であ
るために、それぞれ真である。従って、最終割当て条件
１及び条件２が全てのピクチャに対して満足される。）
いずれかの条件が満たされない場合には、ステップ１３
１１が実行される。

【００８２】ステップ１３１１は、ピクチャｊ−１が除
去される以前にバッファが満杯の場合に最終バッファ満
杯度がＢ_fとなるように、Ｂ_tをピクチャｊ乃至k_fに割
当てられるビットの総数に等しくセットする。ステップ
１３１２は量子化スケールＱの値を計算し、これはピク
チャｊ乃至k_fを符号化するために使用されるとき、ビ
ット生成モデラ９０３により出力されるビット生成モデ
ルに従い、数Ｂ_tのビットを生成する。ステップ１３１
３は、可変の最終のＱをピクチャｊが除去される以前に
バッファが満杯となる以前に計算された部分割当てにお
いて使用されたＱの最終値、すなわち、Top[j-1]に記憶
される部分割当てにおけるＱの最終値に等しくセットす
る。

【００８３】ステップ１３１４は、ピクチャｊ−１の除
去以前にバッファ満杯度が初期に満杯であれば、仮想バ
ッファ検証器に従い、ステップ１３１２で計算された一
定値Ｑを用いるピクチャｊ乃至k_fへの割当てが有効か
否か、並びにＱが最終値Ｑよりも大きいか否かをテスト
する。両方の条件が真であれば、次にステップ１３１５
で、Top[j-1]に記憶される部分割当てを、ステップ１３
１２で計算された一定値Ｑ割当てに連結することにより
割当てが構成される。このようにして構成された割当て
は結果として記憶され、探索が終了する。（ステップ１
３１０で構成された割当て同様、ステップ１３１５で構
成される割当ても、一定ビットレート割当てにおいて、
条件１及び２を満足する。）いずれかの条件が満たされ
ない場合には、ステップ１３１６が実行される。

【００８４】ステップ１３１６では、カウンタｊが１減
分され、制御フローはステップ１３１７に移行する。ス
テップ１３１７では、カウンタｊがk_iと比較される。
ｊがk_iよりも大きい場合、次にステップ１３０６が実
行され、それ以外では、探索は終了する。

【００８５】小さな例を挙げて、上述の方法のウォーク
スルーを提供する。この例では、ビデオ・シーケンスは
５つのピクチャを含む。ピクチャは複雑性予測器９０１
により処理され、図２１の表に示されるモデル・パラメ
ータが生成され、ルックアヘッド・メモリ１１０１に記
憶される。数値は、１０進小数点以下２桁に丸められ
る。

【００８６】仮想バッファ検証器１１０８は、次のパラ
メータ値により動作する。ＶＢＶバッファのサイズＢ
_maxは４０００００ビットである。第１のピクチャを除
去する以前の初期バッファ満杯度Ｂ_iは、２５００００
ビットである。ピクチャ表示時間間隔につき、バッファ
に入力するビット数Ｂ_aは、２０００００である。目標
ビット数Ｂ_tgtは、１００００００である。Ｂ_i、Ｂ_a及
びＢ_tgtが提供されると、最後のピクチャが除去された
後の最終バッファ満杯度Ｂ_fは、５００００ビットであ
る。この例では、バッファはその満杯度がＢ_maxのと
き、満杯と見なされ、満杯度が０のとき、空と見なされ
る。

【００８７】ステップ１２０１で、ピクチャ・カウンタ
ｋが１にセットされる。この時点では、復号器バッファ
満杯度はＢ_iすなわち２５００００である。ステップ１
２０２では、ピクチャ２が除去される以前にバッファが
満杯となるように、任意の正の数のビットをピクチャ１
に割当てることが可能か否かをテストする。２００００
０ビットが１ピクチャ表示時間間隔内に入力し、バッフ
ァ満杯度が現在２５００００であるので、このテストは
合格し、ステップ１２０３が実行される。ステップ１２
０３では、ピクチャ１に対する割当てのための探索が実
行され、その結果、ピクチャ２が除去される以前にバッ
ファが満杯となる。割当てにおいては１つのピクチャし
か存在しないのでこの探索は僅かである。従って、図１
３のフローチャートにより実行されるステップの詳細に
ついては、より例証的な場合について後述する。しかし
ながら、探索プロシジャは、k_i＝１、k_f＝１、Ｂ_ii＝
２５００００、及びＢ_ff＝２０００００を伴い呼び出さ
れる点に注意されたい。探索の結果、Ｑ＝１３６によ
り、ピクチャ１に５００００ビットが割当てられ、この
割当てがTop[1]に記憶される。

【００８８】ステップ１２０４では、ピクチャ１が除去
された後に、バッファが空となる正当な割当てを見い出
すための探索が実行される。図１３の探索プロシジャ
は、パラメータk_i＝１、k_f＝１、Ｂ_ii＝２５０００
０、及びＢ_ff＝０を伴い呼び出される。その結果、Ｑ＝
８により、ピクチャ１に２５００００ビットが割当てら
れ、この割当てがBot[1]に記憶される。

【００８９】ステップ１２０５の後、カウンタｋは値２
を有する。ｋは５に等しくないので、ステップ１２０２
が次に実行される。ピクチャ１及び２が表示される時間
間隔内に、ピクチャ３の除去以前にバッファを充填する
のに十分なビットがバッファに入力しているので、次に
ステップ１２０３が実行される。

【００９０】図１３の探索プロシジャが、パラメータk_
i＝１、k_f＝２、Ｂ_ii＝２５００００、及びＢ_ff＝２０
００００を伴い呼び出される。ステップ１３０１で、Ｂ
_tが２５００００に計算される。ステップ１３０２で、
Ｑが１３．４７に計算される。このＱ値を用いるピクチ
ャ１乃至２に対するビット割当ては、バッファをオーバ
フローまたはアンダフローさせることはない。従って、
ステップ１３０４が実行され、一定値Ｑ割当てがピクチ
ャ１乃至２に対し返却される。この割当ては、Top[2]に
記憶される。

【００９１】ステップ１２０４では、図１３の探索プロ
シジャが、パラメータk_i＝１、k_f＝２、Ｂ_ii＝２５０
０００、及びＢ_ff＝０を伴い呼び出される。ステップ１
３０１で、Ｂ_tが４５００００に計算される。ステップ
１３０２で、Ｑが６．６９に計算される。このＱ値を用
いるピクチャ１乃至２に対するビット割当ては、バッフ
ァをアンダフローさせる。従って、ステップ１３０５が
実行され、カウンタｊは値２を提供される。ステップ１
３０６で、Ｂ_tが２０００００に計算される。ステップ
１３０７で、Ｑが５．１９に計算される。ステップ１３
０８で、最後値ＱがBot[1]に記憶される割当てにおいて
使用された最後値Ｑ、すなわち８にセットされる。ステ
ップ１３０５で計算されたＱを用いる、ピクチャ２に対
する割当ては有効であり、且つＱ＜最後値Ｑである。従
って、ステップ１３１０が実行され、Bot[1]をピクチャ
２に対して丁度計算された一定値Ｑ割当てに連結するこ
とにより構成される割当てがピクチャ１乃至２に対し返
却される。この割当ては、Bot[2]に記憶される。

【００９２】ステップ１２０２乃至１２０６を含むルー
プは、ステップ１２０６でｋが５に等しくなるまで実行
される。計算される部分割当てが図２２の表に示され、
対応する量子化スケールが図２３に示される。

【００９３】ステップ１２０７では、図１３の探索プロ
シジャがパラメータk_i＝１、k_f＝５、Ｂ_ii＝２５００
００、及びＢ_ff＝５００００を伴い呼び出される。ステ
ップ１３０１で、Ｂ_tが１００００００に計算される。
ステップ１３０２で、Ｑが６．８４に計算される。この
Ｑ値を用いるピクチャ１乃至５に対するビット割当ては
バッファをアンダフローさせる。従って、ステップ１３
０５が実行され、カウンタｊは値５を提供される。ステ
ップ１３０６で、Ｂ_tが１５００００に計算される。ス
テップ１３０７でＱが２１に計算される。ステップ１３
０８で、最後のＱがBot[4]に記憶される割当てにおいて
使用された最後値Ｑ、すなわち３．１２にセットされ
る。ステップ１３０５で計算されたＱを用いる、ピクチ
ャ５に対する割当ては有効であるが、Ｑが最後値Ｑより
も小さくない。従って、ステップ１３１１が実行され、
Ｂ_tが３５００００に計算される。ステップ１３１２
で、Ｑが７に計算される。ステップ１３１３では、最後
値Ｑが、Top[4]に記憶される割当てにおいて使用された
最後値Ｑ、すなわち６にセットされる。ステップ１３１
３で計算されたＱを用いるピクチャ５に対する割当ては
有効であり、且つＱ＞最後値Ｑである。従って、ステッ
プ１３１５が実行され、Top[4]をピクチャ５に対して丁
度計算された一定値Ｑ割当てに連結することにより構成
される割当てが、ピクチャ１乃至２に対して返却され
る。この割当て（最も近い整数に丸められる）が、ＬＡ
ＢＣＢＡにより返却され、図２４に対応する量子化スケ
ールと共に示される。この割当てにおける時間に対する
バッファ満杯度の進化の様子が、図１９に示される。

【００９４】可変ビット・レート・モードにおける条件
３は、直前に符号化されたピクチャの平均符号化複雑性
よりも、グループとして低い符号化複雑性を有するピク
チャのサブシーケンスを復号するとき、将来の入来ビッ
トを蓄積するために、最大の復号器バッファ空間を使用
可能にし、バッファの充填を延期することを保証する。
条件４は、直前に符号化されたピクチャの平均符号化複
雑性よりも、グループとして高い符号化複雑性を有する
ピクチャのサブシーケンスを復号するために、最大のバ
ッファ空間が使用可能にされたこと、従ってバッファが
空になるのが延期されたことを保証する。ピクチャがバ
ッファから除去され、次のピクチャが除去される以前に
バッファが充填する場合、そのピクチャは、次のピクチ
ャの除去以前にバッファ満杯度を変更することなしに、
より多くのビットを使用したことになる（余りに多くの
ビットがピクチャに追加されない限り、余分なビットが
追加されようとなかろうと、バッファ満杯度はＢ_maxで
ある）。従って、ある意味でビットはアンダフローを生
じることなく、こうしたピクチャに"追加"されうる（但
しもちろん、使用されるビットの総数は増加する）。こ
のことは特定の意味で、ビットが品質を均一化するため
にシーケンス内の任意の位置から、こうしたピクチャに
転送されうることを意味する。こうしたピクチャは任意
の他のピクチャよりも大きな歪を有さないことが望まれ
る。条件５は、このことが当てはまるように保証する。

【００９５】可変ビット・レート・モードにおけるＬＡ
ＢＣＢＡの動作について、図１４を参照しながら述べる
ことにする。ＬＡＢＣＢＡは、好適にはプログラム・コ
ードとして実現される。

【００９６】可変ビット・レート・モードでは、ＬＡＢ
ＣＢＡは概念的にピクチャを２つのタイプ、すなわち"
容易（easy）"及び"困難（hard）"に分類する。容易ピ
クチャは、最高の品質レベルにおいて、すなわち最低の
量子化スケールにより符号化されるピクチャである。困
難なピクチャは、最低の品質レベルにおいて、すなわち
最高の量子化スケールにより符号化されるピクチャであ
る。

【００９７】符号化される第１のピクチャは、FIRSTに
より表され、符号化される最後のピクチャはLASTにより
表される。ピクチャFIRST乃至LASTに割当てられるビッ
トの総数は、総括してＢ_tgtとして表される。初期バッ
ファ満杯度は、Ｂ_initとして表される。Ｂ_maxはバッフ
ァが満杯と見なされるビット数を表す。

【００９８】ステップ１４０１で、全てのピクチャが容
易とマークされ、変数Ｂ_easyがＢ_{tg t}に等しくセットさ
れる。ステップ１４０２で、last_overがFIRST−１に、
Ｂ_fがＢ_initに、及びｉがFIRSTにセットされる。変数Ｂ
_fはある時点のバッファ満杯度を表す。

【００９９】ステップ１４０３で、全ての容易ピクチャ
に対してＢ_easyビット総数を使用する一定値Ｑ割当てが
計算される。

【０１００】ステップ１４０４で、ピクチャｉが容易か
否かがテストされる。ピクチャｉが容易でない場合、ス
テップ１４０５でＢ_fが空にセットされ、実行はステッ
プ１４１５に移行する。ピクチャｉが容易の場合、ステ
ップ１４０６が実行される。ステップ１４０６では、Ｂ
_fがピクチャｉに以前に割当てられたビット数だけ減分
される。次にステップ１４０７で、ピクチャｉが除去さ
れる以前のバッファ満杯度Ｂ_fを仮定するとき、ピクチ
ャｉの除去後にピクチャｉに対する割当てがバッファの
アンダフローを生じるか否かが判断される。バッファの
アンダフローが生じる場合、ステップ１４０８で、last
_over＋１とｉとの間のピクチャが困難とマークされ、
ピクチャlast_over＋１が除去される以前にバッファが
満杯の場合、ピクチャｉの除去後に空バッファになるた
めに必要なビットの総数が、それらのピクチャに割当て
られる。一定ビット・レート動作モードを想定すると変
数Ｂ_fが空にセットされ、実行はステップ１４１０に移
行する。バッファがアンダフローしない場合には、ステ
ップ１４１０が実行され、ピクチャ１が除去された後
に、バッファに入力するビット数だけＢ_fが増分され
る。

【０１０１】ステップ１４１１では、ビットが制限無し
にピーク・ビット・レートでバッファに入力する場合、
Ｂ_fがＢ_maxと比較され、バッファがこの時点でオーバフ
ローしたか否かが確認される。オーバフローの場合、Ｂ
_fがＢ_maxにセットされ、last_overがｉにセットされ、
実行はステップ１４１５に移行する。オーバフローでな
い場合には、ステップ１４１３で、ピクチャｉ＋１が困
難か否か、及びＢ_fがＢ_maxより小さいか否かをテストす
る。両方の条件が真であれば、ステップ１４１４が実行
され、それ以外ではステップ１４１５が実行される。ス
テップ１４１４では、last_over＋１とｉとの間のピク
チャが困難としてマークされ、ピクチャlast_over＋１
が除去される以前にバッファが満杯の場合、ピクチャｉ
＋１が除去される以前に満杯バッファに成るために必要
なビット総数がそれらのピクチャに割当てらる。一定ビ
ット・レート動作モードが想定され、変数Ｂ_fが空にセ
ットされる。Ｂ_fがＢ_maxよりも大きい場合には、Ｂ_fが
Ｂ_maxにセットされ、実行はステップ１４１５に移行す
る。

【０１０２】ステップ１４１５では、カウンタｉが１増
分される。ステップ１４１６では、ｉがLASTと比較され
る。ｉがLASTよりも大きくない場合、実行はステップ１
４０４に移行する。それ以外では、ステップ１４１７が
実行される。ステップ１４１７では、目標ビット数Ｂ
_tgtと容易及び困難ピクチャに割当てられるビット数の
総和との差が計算され、変数extra_bitsに記憶される。
ステップ１４１８では、extra_bitsが０と比較される。
extra_bitsが０に等しくない場合、Ｂ_easyがextra_bits
と容易ピクチャに割当てられるビット数との和にセット
され、実行はステップ１４０２に移行する。それ以外で
は、ステップ１４２０が実行される。

【０１０３】ステップ１４０２では、上述の方法によ
り、連続困難ピクチャの各最大セグメントが、一定ビッ
ト・レート・モードに従い割当てを与えられ、バッファ
は初期に満杯となり、末期には空となる。この時点にお
ける結果的なビット割当ては、ＬＡＢＣＢＡから出力さ
れる。

【０１０４】上述の可変ビット・レート・ビット割当て
方法のウォークスルーを、小さな例を挙げて提供する。
この例では、ビデオ・シーケンスが５つのピクチャを含
む。ピクチャは複雑性予測器９０１により処理されて、
図２１の表に示されるモデル・パラメータが生成され、
ルックアヘッド・メモリ１１０１に記憶される。特に注
釈されない限り、数値は１０進小数点以下２桁に丸めら
れる。

【０１０５】仮想バッファ検証器は、次のパラメータ値
に関連して動作する。ＶＢＶバッファのサイズＢ_maxは
４０００００ビットである。第１のピクチャを除去する
以前の初期バッファ満杯度Ｂ_iは、２５００００ビット
である。１ピクチャ表示時間間隔内にバッファに入力し
うるビットの最大数Ｂ_aは、２０００００である。目標
ビット数は９５００００である。この例では、バッファ
はその満杯度がＢ_maxのとき、満杯と見なされ、満杯度
が０のとき、空と見なされる。

【０１０６】図１４のフローチャートは、FIRST＝１、L
AST＝５、及び他のパラメータが前記のように定義され
る場合について参照される。

【０１０７】ステップ１４０１で、全てのピクチャが容
易とマークされ、Ｂ_easyが９５００００にセットされ
る。ステップ１４０２では、last_overが０にセットさ
れ、Ｂ_fが２５００００にセットされ、ｉが１にセット
される。ステップ１４０３で、ピクチャ１乃至５に対し
て９５００００ビットの総割当てを提供する一定値Ｑ割
当てが計算される。この割当ては一定値Ｑ＝７．２６を
使用し、ピクチャ１乃至５にそれぞれ２７１６１０ビッ
ト、１４７２０３ビット、８４３６５ビット、１０７６
２７ビット、及び３３９１９５ビットを割当てる。ピク
チャ１は現在容易であるので、ステップ１４０４のテス
トはステップ１４０６に分岐し、そこでＢ_fがピクチャ
１に対する現割当てに当たる２７１６１０減分され、Ｂ
_f＝−２１６１０となる。この値は負であるので、ピク
チャ１に対する割当てはアンダフローを生じる。従っ
て、ステップ１４０７がステップ１４０８に分岐し、そ
こでピクチャ１が困難とマークされ、２５００００ビッ
トがそれに割当てられる。（値２５００００は、バッフ
ァをアンダフローさせることなく、ピクチャ１に割当て
られうる最大ビット数である。複数のピクチャがこのス
テップで困難とマークされる場合、ピクチャｉが除去さ
れるときに、バッファをアンダフローさせることなく、
これらのピクチャに割当てられうる最大ビット総数が、
ある様式で、例えば均等にこれらの同一のピクチャに配
分される。）ステップ１４０９では、Ｂ_fが０、すなわ
ちこの例では空に相当する値にセットされ、ステップ１
４１０に移行する。ステップ１４１０では、Ｂ_fが２０
００００ビット、すなわち１ピクチャ表示時間間隔内に
バッファに入力しうる最大ビット数だけ、増分される。
Ｂ_fはこの時Ｂ_maxより小さいので、ステップ１４１１の
テストはステップ１４１３に分岐する。ピクチャ２は容
易なので、ステップ１４１５が実行される。

【０１０８】ステップ１４０４からステップ１４１６ま
でのループは、ステップ１４１６でｉが６に等しくなる
まで実行される。この時点まで、他のピクチャは困難と
マークされない。従って、この時点では、６７８３９０
ビットが容易ピクチャに割当てられており、２５０００
０ビットが困難ピクチャに割当てられている。ステップ
１４１７では、extra_bitsが２１６１０に計算される。
この値は０よりも大きいので、ステップ１４１８のテス
トの結果、ステップ１４１９に分岐し、ここでＢ_easyが
７０００００ビットにセットされる。処理はステップ１
４０２に移行する。ステップ１４０３で一定値Ｑ＝７を
用いて、容易ピクチャすなわちピクチャ２乃至５にビッ
トが割当てられる。ステップ１４０４乃至１４１６を含
むループは、追加のピクチャを困難とマークすることな
く実行される。ステップ１４１７に達すると、extra_bi
tsに値０が割当てられ、ステップ１４１８の後にステッ
プ１４２０が実行される。ステップ１４２０では、連続
困難ピクチャの最大サブシーケンスに対して前述の一定
ビット・レート・ビット割当てプロシジャが各サブシー
ケンスの直前及び直後のバッファ状態により定義される
開始及び終了バッファ満杯度と共に呼び出される。この
例では、一定ビット・レート・プロシジャが開始バッフ
ァ満杯度＝２５００００ビット、及び終了バッファ満杯
度＝０ビットと共にピクチャ１に対して呼び出される。
従って、この時点では、２５００００ビットがピクチャ
１に割当てられる。結果の割当て（最も近い整数に丸め
られる）及び対応する量子化が図２５に示される。この
割当てにおける時間に対するバッファ満杯度の進化の様
子が図２０に示される。ＬＡＢＣＢＡからビット割当て
が与えられると、ピクチャ・コーダ９０８がそれに従
い、ビデオ・シーケンスを符号化する。

【０１０９】図９の符号器は、図２６に示す符号化／復
号システム内で使用されうる。符号化ビット・ストリー
ムＣＤ_kは、伝送媒体を通じて直接ピクチャ復号器２６
０１に送信されるか、或いは、最初に記憶装置２６０２
に記憶される。記憶装置は例えばハード（磁気）・ドラ
イブまたはコンパクト・ディスクである。伝送媒体は、
例えば同軸ケーブルまたは衛星伝送リンクである。圧縮
ビット・ストリームが最初に記憶装置に送信される場
合、これは次にピクチャ復号器２６０１に伝送される。
ピクチャ復号器は、ビット・ストリームＣＤ_kを復号
し、信号２６０３で示されるビデオ・データを生成す
る。ビデオ・データは次に表示装置２６０４上に表示さ
れる。

【０１１０】本発明はＭＰＥＧ符号化に関連して述べら
れてきたが、他のビデオ符号化技術または非ビデオ・デ
ータに対しても使用されうる。実際、任意のデジタル情
報が符号化単位にセグメント化され、（固定または可変
レート符号化に対応して、）ビットが符号化単位に割当
てられる。符号化単位がこの時、割当てにもとづき符号
化されうる。ビット割当てに関連して上述した技術は、
データがビデオか否かに関わりなく作用する。例えば、
デジタル化音声が１ミリ秒のフレームにセグメント化さ
れ（これらの音声フレームは、ビデオ・ピクチャと同じ
役割を演じる）、ビットが各１ミリ秒の音声（符号化単
位）に対して割当てられうる。

【０１１１】まとめとして、本発明の構成に関して以下
の事項を開示する。

【０１１２】（１）順序付けされた符号化単位を符号化
する方法であって、各前記符号化単位の符号化歪を、割
当てられる複数のビットにもとづきモデル化するステッ
プと、一連の規則に従い、各前記符号化単位に複数のビ
ットを割当てるステップであって、モデル復号器バッフ
ァからの以前の前記符号化単位の除去後に、前記復号器
バッファの満杯度が第１の数よりも小さい場合にのみ、
１番目を除く各前記符号化単位の符号化歪が、前記以前
の符号化単位の符号化歪よりも小さくなるようにし、前
記復号器バッファからの前記以前の符号化単位の除去後
に、前記復号器バッファの満杯度が第２の数よりも大き
い場合にのみ、１番目を除く各前記符号化単位の符号化
歪が、前記以前の符号化単位の符号化歪よりも大きくな
るようにする、前記割当てステップと、前記符号化単位
の少なくとも１つを前記割当てにもとづき符号化するス
テップと、を含む、方法。 （２）前記データがビデオ・データである、前記（１）
記載の方法。 （３）前記符号化単位がピクチャである、前記（２）記
載の方法。 （４）前記モデル化が、ビデオ・シーケンスを符号化す
るステップと、前記符号化にもとづき、前記シーケンス
の部分部分の符号化歪を割当てられる複数のビットにも
とづきモデル化するステップと、を含む、前記（２）記
載の方法。 （５）前記モデル化が、ビデオ・シーケンスに対して動
き補正を実行するステップと、前記動き補正にもとづき
前記シーケンスの部分部分の符号化歪を割当てられる複
数のビットにもとづきモデル化するステップと、を含
む、前記（２）記載の方法。 （６）前記歪が量子化レベルである、前記（２）記載の
方法。 （７）順序付けされた符号化単位を符号化する方法であ
って、前記符号化単位のセット内の各前記符号化単位の
符号化歪を割当てられる複数のビットにもとづきモデル
化するステップと、一連の規則に従い、前記符号化単位
のサブセットの間で、第１の数のビットを割当てるステ
ップであって、モデル復号器バッファからの前記サブセ
ット内の以前の前記符号化単位の除去後に、前記復号器
バッファの満杯度が第１のしきい値よりも小さい場合に
のみ、前記サブセット内の１番目を除く各前記符号化単
位の符号化歪が、前記サブセット内の前記以前の符号化
単位の符号化歪よりも小さくなるようにし、前記復号器
バッファからの前記サブセット内の前記以前の符号化単
位の除去後に、前記復号器バッファの満杯度が第２のし
きい値よりも大きい場合にのみ、前記サブセット内の１
番目を除く各前記符号化単位の符号化歪が、前記サブセ
ット内の前記以前の符号化単位の符号化歪よりも大きく
なるようにする、前記割当てステップと、前記第１の数
のビットの割当てに応答して、一連の規則に従い、全て
の前記符号化単位の間で第２の数のビットを割当てるス
テップであって、前記復号器バッファからの以前の前記
符号化単位の除去後に、前記復号器バッファの満杯度が
第３のしきい値よりも小さい場合にのみ、１番目を除く
各前記符号化単位の符号化歪が、前記以前の符号化単位
の符号化歪よりも小さくなるようにし、前記復号器バッ
ファからの前記以前の符号化単位の除去後に、前記復号
器バッファの満杯度が第４のしきい値よりも大きい場合
にのみ、１番目を除く各前記符号化単位の符号化歪が、
前記以前の符号化単位の符号化歪よりも大きくなるよう
にする、前記割当てステップと、前記符号化単位の少な
くとも１つを前記割当てにもとづき符号化するステップ
と、を含む、方法。 （８）前記データがビデオ・データである、前記（７）
記載の方法。 （９）前記符号化単位がピクチャである、前記（８）記
載の方法。 （１０）情報を符号化する装置であって、符号化歪と符
号化される各符号化単位のビット使用の関係をモデル化
するビット生成モデラと、前記ビット生成モデラから出
力を受信するように接続され、一連の規則に従い、各前
記符号化単位にビットを割当てるアロケータであって、
モデル復号器バッファからの以前の前記符号化単位の除
去後に、前記復号器バッファの満杯度が第１の数よりも
小さい場合にのみ、１番目を除く各前記符号化単位の符
号化歪が、前記以前の符号化単位の符号化歪よりも小さ
くなるようにし、前記復号器バッファからの前記以前の
符号化単位の除去後に、前記復号器バッファの満杯度が
第２の数よりも大きい場合にのみ、１番目を除く各前記
符号化単位の符号化歪が、前記以前の符号化単位の符号
化歪よりも大きくなるようにする、前記アロケータと、
前記ビット・アロケータから出力を受信するように接続
される符号器と、を含む、装置。 （１１）順序付けられた符号化単位を可変ビット・レー
トで符号化する方法であって、各前記符号化単位の符号
化歪を、割当てられる複数のビットにもとづきモデル化
するステップと、一連の規則に従い、各前記符号化単位
に複数のビットを割当てるステップであって、モデル復
号器バッファからの以前の前記符号化単位の除去後に、
前記復号器バッファの満杯度が第１の数よりも小さい場
合にのみ、１番目を除く各前記符号化単位の符号化歪
が、前記以前の符号化単位の符号化歪よりも小さくなる
ようにし、前記復号器バッファからの前記以前の符号化
単位の除去後に、前記復号器バッファの満杯度が第２の
数よりも大きい場合にのみ、１番目を除く各前記符号化
単位の符号化歪が、前記以前の符号化単位の符号化歪よ
りも大きくなるようにし、前記復号器バッファからの次
の前記符号化単位の除去以前に、前記復号器バッファ満
杯度が第３の数よりも大きい場合、最後を除く各前記符
号化単位の符号化歪が、任意の他の前記符号化単位の符
号化歪よりも小さくならないようにする、前記割当てス
テップと、前記符号化単位の少なくとも１つを前記割当
てにもとづき符号化するステップと、を含む、方法。 （１２）前記データがビデオ・データである、前記（１
１）記載の方法。 （１３）前記符号化単位がピクチャである、前記（１
２）記載の方法。 （１４）前記モデル化が、ビデオ・シーケンスを符号化
するステップと、前記符号化にもとづき、前記シーケン
スの部分部分の符号化歪を、割当てられる複数のビット
にもとづきモデル化するステップと、を含む、前記（１
２）記載の方法。 （１５）前記モデル化が、ビデオ・シーケンスに対して
動き補正を実行するステップと、前記動き補正にもとづ
き、前記シーケンスの部分部分の符号化歪を割当てられ
る複数のビットにもとづきモデル化するステップと、を
含む、前記（１２）記載の方法。 （１６）前記歪が量子化レベルである、前記（１２）記
載の方法。 （１７）順序付けられた符号化単位を可変ビット・レー
トで符号化する方法であって、セット内の各前記符号化
単位の符号化歪を、割当てられる複数のビットにもとづ
きモデル化するステップと、前記符号化単位を第１の符
号化単位セットにセグメント化するステップであって、
前記第１のセット内の各前記符号化単位が、任意の他の
前記符号化単位の符号化歪よりも大きくない符号化歪を
有し、第２のセットが他の全ての符号化単位を含むよう
にする、前記セグメント化ステップと、一連の規則に従
い、前記第２のセット内の各前記符号化単位に複数のビ
ットを割当てるステップであって、モデル復号器バッフ
ァからの前記第２のセット内の別の前記符号化単位の除
去後に、前記復号器バッファの満杯度が第１の数よりも
小さい場合にのみ、前記第２のセット内の前記別の符号
化単位に続く前記第２のセット内の各前記符号化単位の
符号化歪が、前記別の符号化単位の符号化歪よりも小さ
くなるようにし、前記復号器バッファからの前記第２の
セット内の前記別の符号化単位の除去後に、前記復号器
バッファの満杯度が第２の数よりも大きい場合にのみ、
前記第２のセット内の前記別の符号化単位に続く前記第
２のセット内の各前記符号化単位の符号化歪が、前記別
の符号化単位の符号化歪よりも大きくなるようにする、
前記割当てステップと、前記第２の符号化単位セットに
対し使用されないビットを、前記第１の符号化単位セッ
トの間で割当てるステップと、前記符号化単位の少なく
とも１つを前記割当てにもとづき符号化するステップ
と、を含む、方法。 （１８）前記データがビデオ・データである、前記（１
７）記載の方法。 （１９）前記符号化単位がピクチャである、前記（１
８）記載の方法。 （２０）情報を可変ビット・レートで符号化する装置で
あって、符号化歪と符号化される各符号化単位のビット
使用の関係をモデル化するビット生成モデラと、前記ビ
ット生成モデラから出力を受信するように接続され、一
連の規則に従い、各前記符号化単位にビットを割当てる
アロケータであって、モデル復号器バッファからの以前
の前記符号化単位の除去後に、前記復号器バッファの満
杯度が第１の数よりも小さい場合にのみ、１番目を除く
各前記符号化単位の符号化歪が、前記以前の符号化単位
の符号化歪よりも小さくなるようにし、前記復号器バッ
ファからの前記以前の符号化単位の除去後に、前記復号
器バッファの満杯度が第２の数よりも大きい場合にの
み、１番目を除く各前記符号化単位の符号化歪が、前記
以前の符号化単位の符号化歪よりも大きくなるように
し、前記復号器バッファからの次の前記符号化単位の除
去以前に、前記復号器バッファ満杯度が第３の数よりも
大きい場合、最後を除く各前記符号化単位の符号化歪
が、任意の他の前記符号化単位の符号化歪よりも小さく
ならないようにする、前記アロケータと、前記ビット・
アロケータから出力を受信するように接続される符号器
と、を含む、装置。

【図面の簡単な説明】

【図１】仮想バッファ検証器のブロック図である。

【図２】従来のビデオ圧縮システムの概略を示す図であ
る。

【図３】ＭＰＥＧデータ・ストリームのビデオ圧縮レイ
ヤ内の圧縮データのピクチャ・グループ（ＧＯＰ）・レ
イヤの一般的セットを示す図である。

【図４】ＭＰＥＧデータ・ストリームのビデオ圧縮レイ
ヤ内の圧縮データのＭＢレイヤ内における、ピクチャの
一般的なマクロブロック（ＭＢ）細分化を示す図であ
る。

【図５】マクロブロックのブロック細分化を示す図であ
る。

【図６】ピクチャの典型的グループ内のピクチャのタイ
プを示す図である。

【図７】一定ビット・レート動作モードでの、仮想復号
器バッファの時間に対する進化の一般的プロットを示す
図である。

【図８】可変ビット・レート動作モードでの、仮想復号
器バッファの時間に対する進化の一般的プロットを示す
図である。

【図９】本発明の実施例によるビデオ圧縮システムの概
略を示す図である。

【図１０】図９の複雑性予測器の実施例のブロック図で
ある。

【図１１】図９のバッファ空／ピクチャ・ビット充填ア
ロケータの詳細ブロック図である。

【図１２】一定ビット・レート・モードでの、図１１の
ルックアヘッド・バッファ制約ビット・アロケータの動
作を示すフローチャートである（これらのフローチャー
トは、可変ビット・レート・モードでのルックアヘッド
・バッファ制約ビット・アロケータの動作の一部として
も使用される）。

【図１３】一定ビット・レート・モードでの、図１１の
ルックアヘッド・バッファ制約ビット・アロケータの動
作のフローチャートを示す図である（これらのフローチ
ャートは、可変ビット・レート・モードでのルックアヘ
ッド・バッファ制約ビット・アロケータの動作の一部と
しても使用される）。

【図１４】可変ビット・レート・モードでの、図１１の
ルックアヘッド・バッファ制約ビット・アロケータの動
作を示すフローチャートである。

【図１５】図９の複雑性予測器の第２の実施例のブロッ
ク図である。

【図１６】一定ビット・レート・モードで動作する本発
明の好適な実施例において達成される、復号器バッファ
の状態と符号化歪との関係の例を示す図である。

【図１７】可変ビット・レート・モードで動作する本発
明の好適な実施例において達成される、復号器バッファ
の状態と符号化歪との関係の例を示す図である。

【図１８】本発明の実施例において、図９のビット生成
モデラによりモデル化される３つの一般的ピクチャにお
ける、符号化歪と符号化ビットとの関係を示す図であ
る。

【図１９】一定ビット・レート・モードでの一般的符号
化において、図１１のルックアヘッド・バッファ制約ビ
ット・アロケータにより予測される、復号器バッファ満
杯度の進化を示す図である。

【図２０】可変ビット・レート・モードでの一般的符号
化において、図１１のルックアヘッド・バッファ制約ビ
ット・アロケータにより予測される、復号器バッファ満
杯度の進化を示す図である。

【図２１】テキストにおける割当て問題例において使用
されるモデル・パラメータの一覧を示す図である。

【図２２】一定ビット・レート・ビット割当て問題例に
おいて計算される、部分的ビット割当ての一覧を示す図
である。

【図２３】図２２の部分的ビット割当てに対応する量子
化スケールの一覧を示す図である。

【図２４】一定ビット・レート割当て問題例における、
結果のビット割当てを示す図である。

【図２５】可変ビット・レート割当て問題例における、
結果のビット割当てを示す図である。

【図２６】より広い意味でのビデオ伝送／記憶システム
における、図９のビデオ圧縮システムを示す図である。

【符号の説明】

Ｆ_k 入力ビデオ信号 Ｃ_k 複雑性予測信号 Ｑ_k 量子化スケール ＣＤ_k 圧縮データ Ｐ_k パラメータ Ｍ_k ビット数モデル Ｇ_k 符号化統計 ＣＬ_k 分類信号 Δｍｃ 動き補正差 １００ 圧縮データ １０１ 復号器バッファ １０３ 仮想復号器 ２００ 入力信号Ｆ_k ２０１ 複雑性予測 ２０２ 複雑性予測Ｃ_k ２０３ ピクチャ・ビット・アロケータ ０２４ 量子化スケールＱ_k ２０５ ピクチャ・コーダ ２０６ 出力ビット・ストリームＣＤ_k ９０８ ピクチャ・コーダ（ＰＣ） ９００ 入力ビデオ信号（Ｆ_k） ９０１ 複雑性予測器（ＣＥ） ９０２ パラメータＰ_k ９０３ ビット生成モデラ（ＢＰＭ） ９０４ モデルＭ_k ９０５ バッファ空／充填ピクチャ・ビット・アロケー
タ（ＰＢＡ） ９０６ 信号（Ｇ_k） ９０７ 量子化スケールＱ_k ９０９ 圧縮データＣＤ_k １０００ 入力ピクチャ（Ｆ_k） １００１ ピクチャ・タイプ分類器 １００２ 信号（ＣＫ_k） １００３ 動き補正ユニット １００４ 動き補正差Δｍｃ １００５ 前オーバヘッド・カウンタ １００７ パラメータＰ_k １１００ モデルＭ_k １１０４ ルックアヘッド・バッファ制約ビット・アロ
ケータ（ＬＡＢＣＢＡ） １１０８ 仮想バッファ検証器 １５００ 入力ピクチャ １５０１ ピクチャ・タイプ分類器 １５０２ 信号（ＣＬ_k） １５０３ 分析符号器（ＡＥ） ２６０１ ピクチャ復号器 ２６０２ 記憶装置 ２６０３ 信号 ２６０４ 表示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 エリオット・ニール・リンザー アメリカ合衆国10463、ニューヨーク州ブ ロンクス、アパートメント ２ビィ、ヘン リー・ハドソン・パークウェイ 3530

Claims (20)

【特許請求の範囲】
1. 【請求項１】順序付けされた符号化単位を符号化する方
   法であって、 各前記符号化単位の符号化歪を、割当てられる複数のビ
   ットにもとづきモデル化するステップと、 一連の規則に従い、各前記符号化単位に複数のビットを
   割当てるステップであって、モデル復号器バッファから
   の以前の前記符号化単位の除去後に、前記復号器バッフ
   ァの満杯度が第１の数よりも小さい場合にのみ、１番目
   を除く各前記符号化単位の符号化歪が、前記以前の符号
   化単位の符号化歪よりも小さくなるようにし、前記復号
   器バッファからの前記以前の符号化単位の除去後に、前
   記復号器バッファの満杯度が第２の数よりも大きい場合
   にのみ、１番目を除く各前記符号化単位の符号化歪が、
   前記以前の符号化単位の符号化歪よりも大きくなるよう
   にする、前記割当てステップと、 前記符号化単位の少なくとも１つを前記割当てにもとづ
   き符号化するステップと、 を含む、方法。
2. 【請求項２】前記データがビデオ・データである、請求
   項１記載の方法。
3. 【請求項３】前記符号化単位がピクチャである、請求項
   ２記載の方法。
4. 【請求項４】前記モデル化が、 ビデオ・シーケンスを符号化するステップと、 前記符号化にもとづき、前記シーケンスの部分部分の符
   号化歪を割当てられる複数のビットにもとづきモデル化
   するステップと、 を含む、請求項２記載の方法。
5. 【請求項５】前記モデル化が、 ビデオ・シーケンスに対して動き補正を実行するステッ
   プと、 前記動き補正にもとづき前記シーケンスの部分部分の符
   号化歪を割当てられる複数のビットにもとづきモデル化
   するステップと、 を含む、請求項２記載の方法。
6. 【請求項６】前記歪が量子化レベルである、請求項２記
   載の方法。
7. 【請求項７】順序付けされた符号化単位を符号化する方
   法であって、 前記符号化単位のセット内の各前記符号化単位の符号化
   歪を割当てられる複数のビットにもとづきモデル化する
   ステップと、 一連の規則に従い、前記符号化単位のサブセットの間
   で、第１の数のビットを割当てるステップであって、モ
   デル復号器バッファからの前記サブセット内の以前の前
   記符号化単位の除去後に、前記復号器バッファの満杯度
   が第１のしきい値よりも小さい場合にのみ、前記サブセ
   ット内の１番目を除く各前記符号化単位の符号化歪が、
   前記サブセット内の前記以前の符号化単位の符号化歪よ
   りも小さくなるようにし、前記復号器バッファからの前
   記サブセット内の前記以前の符号化単位の除去後に、前
   記復号器バッファの満杯度が第２のしきい値よりも大き
   い場合にのみ、前記サブセット内の１番目を除く各前記
   符号化単位の符号化歪が、前記サブセット内の前記以前
   の符号化単位の符号化歪よりも大きくなるようにする、
   前記割当てステップと、 前記第１の数のビットの割当てに応答して、一連の規則
   に従い、全ての前記符号化単位の間で第２の数のビット
   を割当てるステップであって、前記復号器バッファから
   の以前の前記符号化単位の除去後に、前記復号器バッフ
   ァの満杯度が第３のしきい値よりも小さい場合にのみ、
   １番目を除く各前記符号化単位の符号化歪が、前記以前
   の符号化単位の符号化歪よりも小さくなるようにし、前
   記復号器バッファからの前記以前の符号化単位の除去後
   に、前記復号器バッファの満杯度が第４のしきい値より
   も大きい場合にのみ、１番目を除く各前記符号化単位の
   符号化歪が、前記以前の符号化単位の符号化歪よりも大
   きくなるようにする、前記割当てステップと、 前記符号化単位の少なくとも１つを前記割当てにもとづ
   き符号化するステップと、 を含む、方法。
8. 【請求項８】前記データがビデオ・データである、請求
   項７記載の方法。
9. 【請求項９】前記符号化単位がピクチャである、請求項
   ８記載の方法。
10. 【請求項１０】情報を符号化する装置であって、 符号化歪と符号化される各符号化単位のビット使用の関
    係をモデル化するビット生成モデラと、 前記ビット生成モデラから出力を受信するように接続さ
    れ、一連の規則に従い、各前記符号化単位にビットを割
    当てるアロケータであって、モデル復号器バッファから
    の以前の前記符号化単位の除去後に、前記復号器バッフ
    ァの満杯度が第１の数よりも小さい場合にのみ、１番目
    を除く各前記符号化単位の符号化歪が、前記以前の符号
    化単位の符号化歪よりも小さくなるようにし、前記復号
    器バッファからの前記以前の符号化単位の除去後に、前
    記復号器バッファの満杯度が第２の数よりも大きい場合
    にのみ、１番目を除く各前記符号化単位の符号化歪が、
    前記以前の符号化単位の符号化歪よりも大きくなるよう
    にする、前記アロケータと、 前記ビット・アロケータから出力を受信するように接続
    される符号器と、 を含む、装置。
11. 【請求項１１】順序付けられた符号化単位を可変ビット
    ・レートで符号化する方法であって、 各前記符号化単位の符号化歪を、割当てられる複数のビ
    ットにもとづきモデル化するステップと、 一連の規則に従い、各前記符号化単位に複数のビットを
    割当てるステップであって、モデル復号器バッファから
    の以前の前記符号化単位の除去後に、前記復号器バッフ
    ァの満杯度が第１の数よりも小さい場合にのみ、１番目
    を除く各前記符号化単位の符号化歪が、前記以前の符号
    化単位の符号化歪よりも小さくなるようにし、前記復号
    器バッファからの前記以前の符号化単位の除去後に、前
    記復号器バッファの満杯度が第２の数よりも大きい場合
    にのみ、１番目を除く各前記符号化単位の符号化歪が、
    前記以前の符号化単位の符号化歪よりも大きくなるよう
    にし、前記復号器バッファからの次の前記符号化単位の
    除去以前に、前記復号器バッファ満杯度が第３の数より
    も大きい場合、最後を除く各前記符号化単位の符号化歪
    が、任意の他の前記符号化単位の符号化歪よりも小さく
    ならないようにする、前記割当てステップと、 前記符号化単位の少なくとも１つを前記割当てにもとづ
    き符号化するステップと、 を含む、方法。
12. 【請求項１２】前記データがビデオ・データである、請
    求項１１記載の方法。
13. 【請求項１３】前記符号化単位がピクチャである、請求
    項１２記載の方法。
14. 【請求項１４】前記モデル化が、ビデオ・シーケンスを
    符号化するステップと、 前記符号化にもとづき、前記シーケンスの部分部分の符
    号化歪を、割当てられる複数のビットにもとづきモデル
    化するステップと、 を含む、請求項１２記載の方法。
15. 【請求項１５】前記モデル化が、 ビデオ・シーケンスに対して動き補正を実行するステッ
    プと、 前記動き補正にもとづき、前記シーケンスの部分部分の
    符号化歪を割当てられる複数のビットにもとづきモデル
    化するステップと、 を含む、請求項１２記載の方法。
16. 【請求項１６】前記歪が量子化レベルである、請求項１
    ２記載の方法。
17. 【請求項１７】順序付けられた符号化単位を可変ビット
    ・レートで符号化する方法であって、 セット内の各前記符号化単位の符号化歪を、割当てられ
    る複数のビットにもとづきモデル化するステップと、 前記符号化単位を第１の符号化単位セットにセグメント
    化するステップであって、前記第１のセット内の各前記
    符号化単位が、任意の他の前記符号化単位の符号化歪よ
    りも大きくない符号化歪を有し、第２のセットが他の全
    ての符号化単位を含むようにする、前記セグメント化ス
    テップと、 一連の規則に従い、前記第２のセット内の各前記符号化
    単位に複数のビットを割当てるステップであって、モデ
    ル復号器バッファからの前記第２のセット内の別の前記
    符号化単位の除去後に、前記復号器バッファの満杯度が
    第１の数よりも小さい場合にのみ、前記第２のセット内
    の前記別の符号化単位に続く前記第２のセット内の各前
    記符号化単位の符号化歪が、前記別の符号化単位の符号
    化歪よりも小さくなるようにし、前記復号器バッファか
    らの前記第２のセット内の前記別の符号化単位の除去後
    に、前記復号器バッファの満杯度が第２の数よりも大き
    い場合にのみ、前記第２のセット内の前記別の符号化単
    位に続く前記第２のセット内の各前記符号化単位の符号
    化歪が、前記別の符号化単位の符号化歪よりも大きくな
    るようにする、前記割当てステップと、 前記第２の符号化単位セットに対し使用されないビット
    を、前記第１の符号化単位セットの間で割当てるステッ
    プと、 前記符号化単位の少なくとも１つを前記割当てにもとづ
    き符号化するステップと、 を含む、方法。
18. 【請求項１８】前記データがビデオ・データである、請
    求項１７記載の方法。
19. 【請求項１９】前記符号化単位がピクチャである、請求
    項１８記載の方法。
20. 【請求項２０】情報を可変ビット・レートで符号化する
    装置であって、 符号化歪と符号化される各符号化単位のビット使用の関
    係をモデル化するビット生成モデラと、 前記ビット生成モデラから出力を受信するように接続さ
    れ、一連の規則に従い、各前記符号化単位にビットを割
    当てるアロケータであって、モデル復号器バッファから
    の以前の前記符号化単位の除去後に、前記復号器バッフ
    ァの満杯度が第１の数よりも小さい場合にのみ、１番目
    を除く各前記符号化単位の符号化歪が、前記以前の符号
    化単位の符号化歪よりも小さくなるようにし、前記復号
    器バッファからの前記以前の符号化単位の除去後に、前
    記復号器バッファの満杯度が第２の数よりも大きい場合
    にのみ、１番目を除く各前記符号化単位の符号化歪が、
    前記以前の符号化単位の符号化歪よりも大きくなるよう
    にし、前記復号器バッファからの次の前記符号化単位の
    除去以前に、前記復号器バッファ満杯度が第３の数より
    も大きい場合、最後を除く各前記符号化単位の符号化歪
    が、任意の他の前記符号化単位の符号化歪よりも小さく
    ならないようにする、前記アロケータと、 前記ビット・アロケータから出力を受信するように接続
    される符号器と、 を含む、装置。