JPH10234037A

JPH10234037A - 画像符号化装置および画像符号化方法、画像伝送装置および画像伝送方法、並びに記録媒体

Info

Publication number: JPH10234037A
Application number: JP3590097A
Authority: JP
Inventors: Kanji Mihara; 寛司三原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-02-20
Filing date: 1997-02-20
Publication date: 1998-09-02
Anticipated expiration: 2017-02-20
Also published as: JP4619463B2

Abstract

(57)【要約】【課題】復号画像の画質の劣化を防止するとともに、
ＶＢＶバッファのアンダーフローを確実に防止すること
ができるようにする。【解決手段】量子化回路１５では、量子化インデック
ス決定回路２５から供給される量子化インデックスに対
応する量子化ステップで、ＤＣＴ回路１４が出力するＤ
ＣＴ係数が量子化される。量子化インデックス決定回路
２５では、バッファ１７のデータ蓄積量としての発生符
号量に対応する第１の変数と、アクティビティ検出回路
２４が出力するマクロブロックのアクティビティに対応
する第２の変数とに基づいて、量子化インデックスが決
定されるようになされている。この場合において、量子
化インデックス決定回路２５は、１フレームの符号化中
に、第１の変数を固定または可変とする固定モードまた
は可変モードを適応的に設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像伝送装置および画像伝送方
法、並びに記録媒体に関し、特に、復号画像の画質の劣
化を防止することができるようにする画像符号化装置お
よび画像符号化方法、画像伝送装置および画像伝送方
法、並びに記録媒体に関する。

【０００２】

【従来の技術】例えば、ＭＰＥＧ（Moving Picture Exp
erts Group）方式などに準拠して画像の圧縮、符号化を
行う場合において、良好な画質の復号画像を得ることが
できるようにするためのアルゴリズムの１つとして、Ｔ
Ｍ５（Test Model 5(Test Model Editing Commitee: "T
est Model 5", ISO/IEC JTC/SC29/WG11/N0400(Apr.199
3))）が知られている。ＴＭ５は、３つのステップから
構成され、各ステップでは、次のような処理が行われ
る。

【０００３】［ステップ１］前回エンコードした同一の
ピクチャタイプのフレームのコンプレクシティ（Comple
xity）に基づいて、今回エンコードするフレームの目標
符号量を設定する。［ステップ２］各ピクチャタイプ別の目標符号量と発生
符号量との差分を管理するための仮想バッファのデータ
蓄積量をフィードバックし、そのデータ蓄積量に基づい
て、実際の発生符号量が、ステップ１で設定された目標
符号量に一致（ほぼ一致）するように、次にエンコード
するマクロブロックについて、仮の量子化インデックス
を設定する。［ステップ３］視覚特性、即ち、復号画像の画質が良好
になるように、エンコード対象のマクロブロックの複雑
さに基づいて、量子化インデックスを最終的に決定す
る。

【０００４】従って、ＴＭ５では、画像の複雑さに対応
して変化する変数Ｐとして、例えば、画像のアクティビ
ティに対応するものを、発生符号量を目標符号量に一致
させるための変数Ｑとして、例えば、仮想バッファのデ
ータ蓄積量から決定された仮の量子化ステップに対応す
るものを、それぞれ用いることとすると、マクロブロッ
クを量子化するための最終的な量子化インデックスＭＱ
ＵＡＮＴは、例えば、次式にしたがって決定される。

【０００５】ＭＱＵＡＮＴ＝ｆ（Ｐ，Ｑ）なお、ｆ（Ｐ，Ｑ）は、引数ＰおよびＱに対応する値
を、所定の範囲内の値に正規化したものを出力する関数
である。

【０００６】

【発明が解決しようとする課題】上述したように、ＴＭ
５では、量子化インデックスプが、画像の複雑さに対応
する変数Ｐと、発生符号量を目標符号量に一致させるた
めの変数Ｑとから決定され、その量子化インデックスに
対応する量子化ステップで量子化が行われる。

【０００７】このため、ある１フレームの画像を構成す
るマクロブロックの複雑さが同一であっても、発生符号
量が目標符号量と一致しなくなった場合に、量子化ステ
ップが変化することがあり、復号画像の画質が劣化する
課題があった。

【０００８】即ち、１フレームを構成するマクロブロッ
クの複雑さが同一である場合には、それらのマクロブロ
ックは、すべて同一の量子化ステップで量子化するのが
望ましく、この場合に、マクロブロックが、周囲と異な
る量子化ステップで量子化されると、復号画像におい
て、量子化ステップを変えて量子化したマクロブロック
の部分が目立つようになる。

【０００９】そして、このような、いわばブロック状の
ノイズは、特に、量子化ステップが小さい値の範囲を変
化するときに顕著に現れる。即ち、量子化ステップが比
較的大きな値である７や８の範囲を変化する場合、その
変化の割合は１／７や１／８程度であるが、量子化ステ
ップが小さな値である３や４の範囲を変化する場合、そ
の変化の割合は１／３や１／４のように大きくなる。従
って、複雑さが同じようなマクロブロックの量子化に用
いる量子化ステップが小さい範囲を変化すると、大きい
量子化ステップで量子化された方のマクロブロックと、
小さい量子化ステップで量子化された方のマクロブロッ
クとの画質の差が顕著に現れることになる。

【００１０】また、画像をＭＰＥＧ符号化などする際に
は、高次のＤＣＴ係数は重要でないとの観点から、ＤＣ
Ｔ係数に対して、その量子化の際に、量子化マトリクス
による重み付け（傾斜付け）がなされる。即ち、高次の
ＤＣＴ係数は、量子化マトリクスにより、低次のものよ
りも大きな量子化値で量子化される。従って、量子化ス
テップが、小さい値ではなく、比較的大きな値の範囲を
変化する場合であっても、低次のＤＣＴ係数よりも大き
な量子化値で量子化される高次のＤＣＴ係数について
は、量子化ステップの１段階の変化が、量子化に使われ
る量子化値に大きな影響を与え、画質が劣化することが
あった。

【００１１】そこで、量子化ステップを固定にして、画
像を符号化（エンコード）する方法があるが、これで
は、複雑な画像が連続した場合に、発生符号量が極端に
増大し、ＶＢＶ（Video Buffering Verifier）バッファ
がアンダーフローすることになる。

【００１２】本発明は、このような状況に鑑みてなされ
たものであり、ＶＢＶバッファにより課せられる条件を
満たしながら、復号画像の画質が劣化しないように、画
像の符号化を行うことができるようにするものである。

【００１３】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、直交変換係数を所定の量子化ステップで量
子化する量子化手段が、画像を符号化した符号化データ
の発生符号量を所定の目標符号量に一致させるための第
１の変数と、画像の複雑さに対応する第２の変数とに基
づいて、量子化ステップを設定する場合において、１画
面の画像の符号化中に、第１の変数を固定または可変と
する固定モードまたは可変モードを、適応的に設定する
設定手段を備えることを特徴とする。

【００１４】請求項１０に記載の画像符号化方法は、直
交変換係数を、所定の量子化ステップで量子化する際
に、その量子化ステップを、画像を符号化した符号化デ
ータの発生符号量を所定の目標符号量に一致させるため
の第１の変数と、画像の複雑さに対応する第２の変数と
に基づいて設定する場合において、１画面の画像の符号
化中に、第１の変数を固定または可変とする固定モード
または可変モードを、適応的に設定することを特徴とす
る。

【００１５】請求項１１に記載の画像伝送装置は、符号
化データが、直交変換係数を、所定の量子化ステップで
量子化する際に、その量子化ステップを、画像を符号化
した符号化データの発生符号量を所定の目標符号量に一
致させるための第１の変数と、画像の複雑さに対応する
第２の変数とに基づいて設定する場合において、１画面
の画像の符号化中に、第１の変数を固定または可変とす
る固定モードまたは可変モードを、適応的に設定するこ
とにより得られたものであることを特徴とする。

【００１６】請求項１２に記載の画像伝送方法は、符号
化データが、直交変換係数を、所定の量子化ステップで
量子化する際に、その量子化ステップを、画像を符号化
した符号化データの発生符号量を所定の目標符号量に一
致させるための第１の変数と、画像の複雑さに対応する
第２の変数とに基づいて設定する場合において、１画面
の画像の符号化中に、第１の変数を固定または可変とす
る固定モードまたは可変モードを、適応的に設定するこ
とにより得られたものであることを特徴とする。

【００１７】請求項１３に記載の記録媒体は、符号化デ
ータが、直交変換係数を、所定の量子化ステップで量子
化する際に、その量子化ステップを、画像を符号化した
符号化データの発生符号量を所定の目標符号量に一致さ
せるための第１の変数と、画像の複雑さに対応する第２
の変数とに基づいて設定する場合において、１画面の画
像の符号化中に、第１の変数を固定または可変とする固
定モードまたは可変モードを、適応的に設定することに
より得られたものであることを特徴とする。

【００１８】請求項１に記載の画像符号化装置において
は、直交変換係数を所定の量子化ステップで量子化する
量子化手段が、画像を符号化した符号化データの発生符
号量を所定の目標符号量に一致させるための第１の変数
と、画像の複雑さに対応する第２の変数とに基づいて、
量子化ステップを設定する場合において、設定手段が、
１画面の画像の符号化中に、第１の変数を固定または可
変とする固定モードまたは可変モードを、適応的に設定
するようになされている。

【００１９】請求項１０に記載の画像符号化方法におい
ては、直交変換係数を、所定の量子化ステップで量子化
する際に、その量子化ステップを、画像を符号化した符
号化データの発生符号量を所定の目標符号量に一致させ
るための第１の変数と、画像の複雑さに対応する第２の
変数とに基づいて設定する場合において、１画面の画像
の符号化中に、第１の変数を固定または可変とする固定
モードまたは可変モードを、適応的に設定するようにな
されている。

【００２０】請求項１１に記載の画像伝送装置および請
求項１２に記載の画像伝送方法においては、符号化デー
タが、直交変換係数を、所定の量子化ステップで量子化
する際に、その量子化ステップを、画像を符号化した符
号化データの発生符号量を所定の目標符号量に一致させ
るための第１の変数と、画像の複雑さに対応する第２の
変数とに基づいて設定する場合において、１画面の画像
の符号化中に、第１の変数を固定または可変とする固定
モードまたは可変モードを、適応的に設定することによ
り得られたものとなっている。

【００２１】請求項１３に記載の記録媒体には、直交変
換係数を、所定の量子化ステップで量子化する際に、そ
の量子化ステップを、画像を符号化した符号化データの
発生符号量を所定の目標符号量に一致させるための第１
の変数と、画像の複雑さに対応する第２の変数とに基づ
いて設定する場合において、１画面の画像の符号化中
に、第１の変数を固定または可変とする固定モードまた
は可変モードを、適応的に設定することにより得られた
符号化データが記録されている。

【００２２】

【発明の実施の形態】図１は、本発明の画像符号化装置
の一実施の形態の構成を示している。

【００２３】この画像符号化装置は、いわゆる２パスエ
ンコーディングによって、画像をＭＰＥＧ方式などによ
り可変レートで符号化するようになっており、例えば、
ＤＶＤ（Digigal Versatile Disc）や、ビデオＣＤ（Co
mpact Disc）などのオーサリングシステムその他に適用
することができるようになっている。

【００２４】符号化すべき画像データは、エンコーダ１
に入力されるようになされおり、エンコーダ１は、画像
データを、少なくともＤＣＴ係数などの直交変換係数に
直交変換し、その直交変換係数を量子化することにより
符号化するようになされている。

【００２５】即ち、１パス目では、エンコーダ１は、画
像データを、固定の量子化ステップで量子化することに
より符号化し、その結果得られる符号化データの発生符
号量（あるいは、発生符号量に対応する情報としての、
例えば、画像データの符号化難易度（difficulty）な
ど）を、外部コンピュータ２に出力する。外部コンピュ
ータ２は、エンコーダ１からの発生符号量に基づいて、
例えば、１ＧＯＰ（Group Of Picture）や１画面（１フ
レームまたは１フィールド）ごとの目標符号量を設定す
る。

【００２６】そして、２パス目では、外部コンピュータ
２は、設定した目標符号量を、エンコーダ１に供給し、
エンコーダ１は、この目標符号量に、発生符号量が一致
するように量子化ステップを設定しながら、画像データ
の符号化を行う。なお、量子化ステップは、目標符号量
の他、過去の発生符号量や、ＶＢＶバッファにおけるデ
ータの蓄積量、画像の複雑さなどにも基づいて設定され
る。

【００２７】２パス目の符号化によって得られた符号化
データは、例えば、光ディスクや、光磁気ディスク、磁
気テープその他でなる記録媒体３に記録され、あるい
は、例えば、地上波、衛星回線、ＣＡＴＶ網、インター
ネットその他でなる伝送路４を介して伝送される。

【００２８】次に、図２は、図１のエンコーダ１の構成
例を示している。

【００２９】図２では、エンコーダ１において、画像が
ＭＰＥＧ符号化されるようになされている。

【００３０】即ち、符号化すべき画像データは、画像並
び替え回路１１に供給される。画像並び替え回路１１
は、入力された画像データのフレーム（またはフィール
ド）の並びを、必要に応じて替えて、走査変換／マクロ
ブロック化回路１２に出力する。即ち、各フレームの画
像データは、Ｉピクチャ、Ｐピクチャ、またはＢピクチ
ャのうちのいずれかとして処理されるが、例えば、Ｂピ
クチャの処理に、それより時間的に後のＩピクチャやＰ
ピクチャが必要な場合があり、このようなＩピクチャや
Ｐピクチャは、Ｂピクチャより先に処理する必要があ
る。そこで、画像並び替え回路１１では、時間的に後の
フレームを先に処理することができるように、フレーム
の並びを替えるようになされている。

【００３１】なお、シーケンシャルに入力される各フレ
ームの画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャ
として処理するかは、予め定められている。

【００３２】画像並び替え回路１１において並び替えら
れた画像データは、走査変換／マクロブロック化回路１
２に出力され、そこでは、画像データの走査変換および
マクロブロック化が行われ、その結果得られるマクロブ
ロックが、演算器１３、動き検出回路２３、およびアク
ティビティ検出回路２４に出力される。

【００３３】動きベクトル検出回路２３は、走査変換／
マクロブロック化回路１２から供給されるマクロブロッ
クの動きベクトルを検出する。

【００３４】即ち、動きベクトル検出回路２３は、予め
定められた所定の参照フレームを参照し、その参照フレ
ームと、走査変換／マクロブロック化回路１２からのマ
クロブロックとをパターンマッチング（ブロックマッチ
ング）することにより、そのマクロブロックの動きベク
トルを検出する。

【００３５】ここで、ＭＰＥＧにおいては、画像の予測
モードには、イントラ符号化（フレーム内符号化）、前
方予測符号化、後方予測符号化、両方向予測符号化（前
方、後方、および両方向の３つの予測符号化は、イント
ラ符号化に対して、インター符号化と呼ばれる）の４種
類があり、Ｉピクチャはイントラ符号化され、Ｐピクチ
ャはイントラ符号化または前方予測符号化され、Ｂピク
チャはイントラ符号化、前方予測符号化、後方予測符号
化、または両方向予測符号化される。

【００３６】即ち、動きベクトル検出回路２３は、Ｉピ
クチャについては、予測モードとしてイントラ符号化モ
ードを設定する。この場合、動きベクトル検出回路２３
では、動きベクトルの検出は行われない。

【００３７】また、動きベクトル検出回路２３は、Ｐピ
クチャについては、前方予測を行い、その動きベクトル
を検出する。さらに、動きベクトル検出回路２３は、前
方予測を行うことにより生じる予測誤差と、符号化対象
のマクロブロック（Ｐピクチャのマクロブロック）の、
例えば分散とを比較し、マクロブロックの分散の方が予
測誤差より小さい場合、予測モードとしてイントラ符号
化モードを設定する。また、動きベクトル検出回路２３
は、前方予測を行うことにより生じる予測誤差の方が小
さければ、予測モードとして前方予測符号化モードを設
定し、検出した動きベクトルを、動き補償回路２２に出
力する。

【００３８】さらに、動きベクトル検出回路２３は、Ｂ
ピクチャについては、前方予測、後方予測、および両方
向予測を行い、それぞれの動きベクトルを検出する。そ
して、動きベクトル検出回路２３は、前方予測、後方予
測、および両方向予測についての予測誤差の中の最小の
もの（以下、適宜、最小予測誤差という）を検出し、そ
の最小予測誤差と、符号化対象のマクロブロック（Ｂピ
クチャのマクロブロック）の、例えば分散とを比較す
る。その比較の結果、マクロブロックの分散の方が最小
予測誤差より小さい場合、動きベクトル検出回路２３
は、予測モードとしてイントラ符号化モードを設定す
る。また、動きベクトル検出回路２３は、最小予測誤差
の方が小さければ、予測モードとして、その最小予測誤
差が得られた予測モードを設定し、対応する動きベクト
ルを、動き補償回路２２に出力する。

【００３９】動き補償回路２２は、動きベクトルを受信
すると、その動きベクトルにしたがって、フレームメモ
リ２１に記憶されている、符号化され、既に局所復号化
された画像データを読み出し、これを、予測画像とし
て、演算器１３および２０に供給する。

【００４０】演算器１３は、走査変換／マクロブロック
化回路１２からのマクロブロックと、動き補償回路２２
からの予測画像との差分を演算する。この差分値は、Ｄ
ＣＴ回路１４（直交変換手段）に供給される。

【００４１】なお、動きベクトル検出回路２３におい
て、予測モードとしてイントラ符号化モードが設定され
た場合、動き補償回路２２は、予測画像を出力しない。
この場合、演算器１３（演算器２０も同様）は、特に処
理を行わず、走査変換／マクロブロック化回路１２から
のマクロブロックを、そのままＤＣＴ回路１４に出力す
る。

【００４２】ＤＣＴ回路１４では、演算器１３の出力に
対して、ＤＣＴ処理が施され、その結果得られるＤＣＴ
係数が、量子化回路１５（量子化手段）に供給される。
量子化回路１５では、量子化インデックス決定回路２５
（設定手段）からの量子化インデックスに対応する量子
化ステップ（量子化スケール）が設定され、その量子化
ステップに量子化マトリクスの係数をかけたものなど
で、ＤＣＴ回路１４からのＤＣＴ係数が量子化される。
この量子化されたＤＣＴ係数（以下、適宜、量子化値と
いう）は、ＶＬＣ器１６に供給される。

【００４３】ＶＬＣ器１６では、量子化回路１５より供
給される量子化値が、例えばハフマン符号などの可変長
符号に変換され、バッファ１７に出力される。バッファ
１７は、ＶＬＣ器１６からのデータを一時蓄積し、その
データ量を平滑化して出力する。なお、バッファ１７に
おけるデータ蓄積量は、発生符号量として、外部コンピ
ュータ２（図１）と量子化インデックス決定回路２５に
供給されるようになされている。

【００４４】一方、量子化回路１５が出力する量子化値
は、ＶＬＣ器１６だけでなく、逆量子化回路１８にも供
給されるようになされている。逆量子化回路１８では、
量子化回路１５からの量子化値が、量子化回路１５で用
いられた量子化ステップにしたがって逆量子化され、こ
れによりＤＣＴ係数に変換される。このＤＣＴ係数は、
逆ＤＣＴ回路１９に供給される。逆ＤＣＴ回路１９で
は、ＤＣＴ係数が逆ＤＣＴ処理され、演算器２０に供給
される。

【００４５】演算器２０には、逆ＤＣＴ回路１９の出力
の他、上述したように、動き補償回路２２から、演算器
１３に供給されている予測画像と同一のデータが供給さ
れており、演算器２０は、逆ＤＣＴ回路１９からの信号
（予測残差）と、動き補償回路２２からの予測画像とを
加算することで、元の画像を、局所復号する（但し、予
測モードがイントラ符号化である場合には、逆ＤＣＴ回
路１９の出力は、演算器２０をスルーして、フレームメ
モリ２１に供給される）。なお、この復号画像は、受信
側において得られる復号画像と同一のものである。

【００４６】演算器２０において得られた復号画像（局
所復号画像）は、フレームメモリ２１に供給されて記憶
され、その後、インター符号化（前方予測符号化、後方
予測符号化、または両方向予測符号化）される画像に対
する参照画像（参照フレーム）として用いられる。

【００４７】一方、アクティビティ検出回路２４では、
マクロブロックの複雑さを表す指標として、例えば、そ
のアクティビティ（activity）が検出され、量子化イン
デックス決定回路２５に供給される。量子化インデック
ス決定回路２５には、外部コンピュータ２から目標符号
量が、バッファ１７から発生符号量が、アクティビティ
検出回路２４からアクティビティが、それぞれ供給され
るようになされている。そして、量子化インデックス決
定回路２５は、これらの目標符号量、発生符号量、およ
びアクティビティに基づいて、量子化インデックスを決
定し、量子化回路１５に供給する。量子化インデックス
は、量子化ステップと１対１に対応するもので、量子化
回路１５では、上述したように、量子化インデックス決
定回路２５からの量子化インデックスに対応する量子化
ステップで、量子化が行われる。

【００４８】なお、量子化インデックス決定回路２５
は、１パス目は、固定の量子化インデックスを出力する
ようになされており、これにより、量子化回路１５で
は、固定の量子化ステップで量子化が行われる。そし
て、２パス目において、量子化インデックス決定回路２
５は、バッファ１７からの発生符号量、アクティビティ
検出回路２４からのアクティビティ、さらには、外部コ
ンピュータ２からの目標符号量に基づいて、適応的に量
子化インデックスを設定し、これにより、量子化回路１
５では、そのように適応的に設定された量子化インデッ
クスに対応する量子化ステップで量子化が行われる。

【００４９】次に、２パス目において行われる、量子化
インデックス決定回路２５における量子化インデックス
の設定処理および量子化回路１５における量子化処理に
ついて、図３および図４のフローチャートを参照して説
明する。

【００５０】量子化インデックス決定回路２５では、ま
ず最初に、ステップＳ１において、量子化インデックス
（仮の量子化インデックスＱ＿ｉｎｄｅｘ）の初期値が
設定される。即ち、ステップＳ１では、Ｉピクチャ、Ｐ
ピクチャ、Ｂピクチャの量子化インデックスＱ_I，Ｑ_P，
Ｑ_Bの初期値として、例えば、９，９，１１などがそれ
ぞれ設定される。さらに、ステップＳ１では、目標符号
量と発生符号量との間の誤差の累積値を保持しておくた
めの変数Ｓｕｍ＿Ｅと、符号化した画像のフレーム数を
カウントするための変数ｊとが、例えば０に初期化され
る。

【００５１】そして、外部コンピュータ２から、第ｊフ
レームをエンコードするときの目標符号量Ｔ_jが供給さ
れると、量子化インデックス決定回路２５では、ステッ
プＳ２において、その目標符号量Ｔ_jが受信され、ステ
ップＳ３に進み、いま符号化対象となっているフレーム
のピクチャタイプが判定される。ステップＳ３におい
て、符号化対象のフレームのピクチャタイプが、Ｉピク
チャ、Ｐピクチャ、またはＢピクチャであると判定され
た場合、それぞれステップＳ４，Ｓ５、またはＳ６に進
み、第ｊフレームの画像の発生符号量を目標符号量Ｔ_j
に一致させるための第１の変数（量子化インデックス）
としてのＱ＿ｉｎｄｅｘに、Ｑ_I，Ｑ_P、またはＱ_Bが設
定され、ステップＳ７に進む。

【００５２】ステップＳ７では、マクロブロックを量子
化する量子化インデックスＭＱＵＡＮＴが決定される。
即ち、量子化インデックス決定回路２５は、発生符号量
を目標符号量Ｔ_jに一致させるための第１の変数Ｑ＿ｉ
ｎｄｅｘと、符号化対象のマクロブロックの複雑さに対
応する第２の変数としての、アクティビティ検出回路２
４からのアクティビティＡＣＴに基づいて、符号化対象
のマクロブロックの量子化インデックスＭＱＵＡＮＴを
設定し、量子化回路１５に出力する。量子化回路１５で
は、量子化インデックス決定回路２５からの量子化イン
デックスＭＱＵＡＮＴに対応する値が、符号化対象のマ
クロブロックを量子化するのに用いる量子化ステップと
して設定される。

【００５３】量子化ステップが設定されると、ステップ
Ｓ７からＳ８に進み、量子化回路１５において、その量
子化ステップで、符号化対象のマクロブロックが量子化
され、ステップＳ９に進む。ステップＳ９では、１フレ
ーム、即ち、第ｊフレームを構成するマクロブロックす
べての量子化が終了したかどうかが判定され、終了して
いないと判定された場合、ステップＳ７に戻り、以下、
同様の処理が繰り返される。

【００５４】即ち、マクロブロックごとの量子化インデ
ックスＭＱＵＡＮＴは、Ｑ＿ｉｎｄｅｘとマクロブロッ
クのアクティビティＡＣＴとによって決定されるが、Ｑ
＿ｉｎｄｅｘは、１フレームを構成するマクロブロック
については同一の値が用いられる。このように、Ｑ＿ｉ
ｎｄｅｘは、１フレームの符号化中は固定値とされるた
め、１フレームの符号化に用いられるマクロブロックご
との量子化インデックスＭＱＵＡＮＴは、符号化対象の
マクロブロックのアクティビティＡＣＴによってのみ変
化する。つまり、ここでは、マクロブロックごとの量子
化インデックスＭＱＵＡＮＴは、１フレームの符号化中
においては、例えば、ＴＭ５のステップ３における場合
のように、画像の複雑さに対応して変化するが、例え
ば、ＴＭ５のステップ２における場合のように、レート
コントロール（発生符号量を目標符号量に一致させる制
御）のためには変化しない。

【００５５】従って、ある１フレームの画像を構成する
マクロブロックの複雑さが、例えば、同一である場合に
は、マクロブロックごとの量子化インデックスＭＱＵＡ
ＮＴ、即ち、量子化ステップは変化せず、復号画像の画
質の劣化を防止することができる。

【００５６】ここで、量子化ステップは、レートコント
ロールのためには変化しないが、マクロブロックの複雑
さによっては変化する。従って、本発明においても、従
来における場合と同様に、マクロブロックが、周囲と異
なる量子化ステップで量子化される場合があるが、この
場合の量子化ステップの変化は、マクロブロックの複雑
さに対応するものであるから、その変化は、復号画像の
画質を劣化させるものではなく、むしろ視覚特性を向上
させるものとなる。

【００５７】即ち、従来においては、マクロブロックの
複雑さが同一であっても、レートコントロールのために
量子化ステップが変化し、そのような複雑さが同一の、
隣接するマクロブロックどうしが、異なる量子化ステッ
プで量子化されることに起因してブロック状のノイズが
顕著になるような、復号画像の画質の劣化が生じること
があった。これに対して、本発明においては、１フレー
ム内においては、レートコントロールのためには量子化
ステップは変化しないから、複雑さが同一のマクロブロ
ックが、異なる量子化ステップで量子化されることがな
くなり、その結果、復号画像の画質が劣化することを防
止することができる。

【００５８】そして、量子化ステップは、レートコント
ロールのためには変化しないが、マクロブロックの複雑
さに対応しては変化するから、複雑な画像が連続して
も、発生符号量が極端に増大して、ＶＢＶバッファがア
ンダーフローするようなことを、基本的には防止するこ
とが可能となる。

【００５９】一方、ステップＳ９において、１フレー
ム、即ち、第ｊフレームを構成するマクロブロックすべ
ての量子化が終了したと判定された場合、図４のステッ
プＳ１０に進み、量子化インデックス決定回路２５にお
いて、第ｊフレームを構成するマクロブロックを量子化
するのに用いたマクロブロックごとの量子化インデック
スＭＱＵＡＮＴの平均値（以下、適宜、平均量子化イン
デックスという）ｍｅａｎ＿Ｑが算出される。さらに、
量子化インデックス決定回路２５は、ステップＳ１０に
おいて、平均量子化インデックスｍｅａｎ＿Ｑを、第ｊ
フレームの平均量子化インデックスを保持するための変
数ｍｅａｎ＿Ｑ_jにセットし、ステップＳ１１に進む。

【００６０】ステップＳ１１では、第ｊフレームについ
て、目標符号量Ｔ_jと発生符号量Ｓ_jとの間の誤差Ｅ_jが
求められ、さらに、その累積値（以下、適宜、累積誤差
という）Ｓｕｍ＿Ｅが求められる。即ち、ステップＳ１
１では、量子化インデックス決定回路２５において、Ｔ
_j−Ｓ_jが演算され、これが、誤差Ｅ_jとされる。さら
に、ステップＳ１１では、量子化インデックス決定回路
２５において、誤差Ｅ_jが、累積誤差Ｓｕｍ＿Ｅに加算
され、その加算結果が、新たに累積誤差Ｓｕｍ＿Ｅとさ
れる。

【００６１】そして、ステップＳ１２に進み、量子化イ
ンデックス決定回路２５において、誤差Ｅ_jが正である
かどうかが判定される。ステップＳ１２において、誤差
Ｅ_jが正であると判定された場合、即ち、第ｊフレーム
の発生符号量Ｓ_jが、目標符号量Ｔ_jより少ない場合、ス
テップＳ１３に進み、量子化インデックス決定回路２５
において、累積誤差Ｓｕｍ＿Ｅが、所定の許容最小値Ｍ
ｉｎ＿Ｓｕｍ＿Ｅより大きいかどうかが判定される。

【００６２】ここで、許容最小値Ｍｉｎ＿Ｓｕｍ＿Ｅ
は、いままでの発生符号量の総和が、目標符号量の総和
を大きく上回ることを防止するためのもので、例えば、
０または負の値があらかじめ設定されている。

【００６３】ステップＳ１３において、累積誤差Ｓｕｍ
＿Ｅが、許容最小値Ｍｉｎ＿Ｓｕｍ＿Ｅより大きいと判
定された場合、即ち、第ｊフレームの発生符号量Ｓ
_jが、その目標符号量Ｔ_jより少なく、かつ、いままでの
発生符号量の累積値の、目標符号量の累積値に対する誤
差が所定の許容範囲内にあり、従って、量子化ステップ
を小さくして、発生符号量を増加させる必要がある場
合、ステップＳ１４乃至Ｓ１７において、どの程度、量
子化ステップ（Ｑ＿ｉｎｄｅｘ）を小さくするかが決定
される。

【００６４】即ち、量子化インデックス決定回路２５で
は、ステップＳ１４において、Ｑ＿ｉｎｄｅｘを、１段
階下げて、第ｊ＋１フレームを量子化したときの発生符
号量の予測値Ｓ’_jが、例えば次式にしたがって算出さ
れる。

【００６５】Ｓ’_j＝（Ｓ_j×ｍｅａｎ＿Ｑ_j）／（ｍｅ
ａｎ＿Ｑ−１）

【００６６】なお、ここでは、第ｊフレームおよび第ｊ
＋１フレームについての、いわゆるグローバルコンプレ
ックシティ（global complexity）（１フレームの平均
量子化インデックスと発生符号量とを乗算したもの）が
一定であるとして、発生符号量の予測値Ｓ’_jを求めて
いる。

【００６７】そして、量子化インデックス決定回路２５
では、ステップＳ１５において、発生符号量の予測値
Ｓ’_jが、目標符号量Ｔ_jより多いかどうかが判定され
る。ステップＳ１５において、発生符号量の予測値Ｓ’
_jが、目標符号量Ｔ_jより多くないと判定された場合、即
ち、第ｊフレームの量子化に用いたＱ＿ｉｎｄｅｘを１
段階下げて、第ｊ＋１フレームを量子化しても、その発
生符号量が、目標符号量より小さくなると予測される場
合、ステップＳ１６に進み、ｍｅａｎ＿Ｑが１だけデク
リメントされ、ステップＳ１４に戻る。そして、ステッ
プＳ１５において、発生符号量の予測値Ｓ’_jが、目標
符号量Ｔ_jより多いと判定されるまで、即ち、量子化ス
テップをｍｅａｎ＿Ｑ−１として、第ｊ＋１フレームを
量子化したときの発生符号量が、目標符号量より小さく
ならないと予測されるまで、ｍｅａｎ＿Ｑは、ステップ
Ｓ１６でデクリメントされ続けていく。

【００６８】その後、ステップＳ１５において、発生符
号量の予測値Ｓ’_jが、目標符号量Ｔ_jより多いと判定さ
れると、ステップＳ１７に進み、第ｊ＋１フレームの量
子化に用いるべき量子化ステップｍｅａｎ＿Ｑと、第ｊ
フレームの量子化に用いた量子化ステップｍｅａｎ＿Ｑ
_jとの差分ｄｅｌｔａＱが求められる。

【００６９】ここで、後述するステップＳ２３乃至２５
では、Ｑ＿ｉｎｄｅｘにセットされるＱ_I，Ｑ_P、または
Ｑ_Bが、このｄｅｌｔａＱだけ変更されるが、Ｑ_I，
Ｑ_P、またはＱ_Bが、第ｊフレームと第ｊ＋１フレームと
の間で急激に変化すると、それらの間で、画質が急激に
変化し、ユーザに違和感を与えることがある。

【００７０】そこで、ステップＳ１７では、そのような
ことを防止するために、ｄｅｌｔａＱの最大値が制限さ
れるようになされている。即ち、ステップＳ１７では、
例えば、次式にしたがって、ｄｅｌｔａＱが求められ
る。

【００７１】deltaQ=min{max_delta,mean_Q-mean_Q_j} なお、ｍｉｎ｛｝は、括弧｛｝内の最小値を表す。ま
た、ｍａｘ＿ｄｅｌｔａは、ｄｅｌｔａＱの上限で、例
えば、２や３などが設定される。

【００７２】また、ステップＳ１３において、累積誤差
Ｓｕｍ＿Ｅが、許容最小値Ｍｉｎ＿Ｓｕｍ＿Ｅより大き
くないと判定された場合、即ち、第ｊフレームの発生符
号量Ｓ_jは、その目標符号量Ｔ_jより少なかったが、発生
符号量の累積値が、目標符号量の累積値を越えており、
従って、発生符号量を増加させるべきではない場合、ス
テップＳ１４乃至Ｓ１６をスキップして、ステップＳ１
７に進み、上述したように、ｄｅｌｔａＱが求められ
る。即ち、この場合、ｍｅａｎ＿Ｑ−ｍｅａｎ＿Ｑ_j＝
０が、ｄｅｌｔａＱとされる。

【００７３】一方、ステップＳ１２において、誤差Ｅ_j
が正でないと判定された場合、即ち、第ｊフレームの発
生符号量Ｓ_jが、目標符号量Ｔ_j以上の場合、ステップＳ
１８に進み、量子化インデックス決定回路２５におい
て、累積誤差Ｓｕｍ＿Ｅが、所定の許容最大値Ｍａｘ＿
Ｓｕｍ＿Ｅより小さいかどうかが判定される。

【００７４】ここで、許容最大値Ｍａｘ＿Ｓｕｍ＿Ｅ
は、いままでの発生符号量の総和が、目標符号量の総和
を大きく下回ることを防止するためのもので、例えば、
正の値があらかじめ設定されている。

【００７５】ステップＳ１８において、累積誤差Ｓｕｍ
＿Ｅが、許容最大値Ｍａｘ＿Ｓｕｍ＿Ｅより小さいと判
定された場合、即ち、第ｊフレームの発生符号量Ｓ
_jが、その目標符号量Ｔ_j以上で、かつ、いままでの発生
符号量の累積値も、目標符号量の累積値以上であり、従
って、量子化ステップを大きくして、発生符号量を減少
させる必要がある場合、ステップＳ１９乃至Ｓ２１、お
よびＳ１７において、どの程度、量子化ステップ（Ｑ＿
ｉｎｄｅｘ）を大きくするかが決定される。

【００７６】即ち、量子化インデックス決定回路２５で
は、ステップＳ１９において、Ｑ＿ｉｎｄｅｘを、１段
階上げて、第ｊ＋１フレームを量子化したときの発生符
号量の予測値Ｓ’_jが、例えば次式にしたがって算出さ
れる。

【００７７】Ｓ’_j＝（Ｓ_j×ｍｅａｎ＿Ｑ_j）／（ｍｅ
ａｎ＿Ｑ＋１）

【００７８】なお、ここでも、第ｊフレームおよび第ｊ
＋１フレームについてのグローバルコンプレックシティ
が一定であるとして、発生符号量の予測値Ｓ’_jを求め
ている。

【００７９】そして、量子化インデックス決定回路２５
では、ステップＳ２０において、発生符号量の予測値
Ｓ’_jが、目標符号量Ｔ_jより少ないかどうかが判定され
る。ステップＳ２０において、発生符号量の予測値Ｓ’
_jが、目標符号量Ｔ_jより少なくないと判定された場合、
即ち、第ｊフレームの量子化に用いたＱ＿ｉｎｄｅｘを
１段階上げて、第ｊ＋１フレームを量子化しても、その
発生符号量が、目標符号量より大きくなると予測される
場合、ステップＳ２１に進み、ｍｅａｎ＿Ｑが１だけイ
ンクリメントされ、ステップＳ１９に戻る。そして、ス
テップＳ２０において、発生符号量の予測値Ｓ’_jが、
目標符号量Ｔ_jより少ないと判定されるまで、即ち、量
子化ステップをｍｅａｎ＿Ｑ＋１として、第ｊ＋１フレ
ームを量子化したときの発生符号量が、目標符号量より
大きくならないと予測されるまで、ｍｅａｎ＿Ｑは、ス
テップＳ２１でインクリメントされ続けていく。

【００８０】その後、ステップＳ２１において、発生符
号量の予測値Ｓ’_jが、目標符号量Ｔ_jより少ないと判定
されると、ステップＳ１７に進み、上述したようにし
て、ｄｅｌｔａＱが求められ、ステップＳ２２に進む。

【００８１】ステップＳ２２では、図３のステップＳ３
における場合と同様に、第ｊ＋１フレームのピクチャタ
イプが判定される。ステップＳ２２において、第ｊ＋１
フレームのピクチャタイプが、Ｉピクチャ、Ｐピクチ
ャ、またはＢピクチャであると判定された場合、それぞ
れステップＳ２３，Ｓ２４、またはＳ２５に進み、
Ｑ_I，Ｑ_P、またはＱ_Bに、ｄｅｌｔａＱが加算され、そ
の加算値が、新たにＱ_I，Ｑ_P、またはＱ_Bとされて、ス
テップＳ２６に進む。

【００８２】ステップＳ２６では、画像データの終了を
表すターミネートコード（terminate code）が受信され
たかどうかが判定され、受信されていないと判定された
場合、即ち、まだ符号がすべき画像データがある場合、
ステップＳ２７に進み、ｊが１だけインクリメントさ
れ、図３のステップＳ２に戻る。また、ステップＳ２６
において、ターミネートコードが受信されたと判定され
た場合、処理を終了する。

【００８３】なお、ｍｅａｎ＿Ｑのデクリメントまたは
インクリメントが、ステップＳ１５またはＳ２０それぞ
れにおける判定処理によって制限されることで、基本的
には、ＶＢＶバッファにより課せられる条件が満たされ
る（ＶＢＶバッファのアンダーフローが防止される）。

【００８４】次に、図５は、本発明の画像符号化装置の
他の実施の形態の構成を示している。

【００８５】図１の実施の形態においては、２パスエン
コーディングが行われるようになされていたか、図５の
実施の形態では、いわゆるフィードバック型のレートコ
ントロールにより、いわば１パスで画像の符号化が行わ
れるようになされている。

【００８６】即ち、図６は、図５のエンコーダ３１の構
成例を示している。なお、図中、図２における場合と対
応する部分については、同一の符号を付してある。即
ち、エンコーダ３１は、コンプレックシティ算出回路４
１および目標符号量算出回路４２が新たに設けられてい
る他は、基本的に、図２のエンコーダ１と同様に構成さ
れている。

【００８７】エンコーダ３１では、例えば、前述したＴ
Ｍ５のステップ１によって目標符号量が設定されること
を除けば、図２のエンコーダ１の２パス目と同様の処理
が行われることにより、画像が符号化される。即ち、コ
ンプレックシティ算出回路４１では、バッファ１７のデ
ータ蓄積量、つまり、発生符号量と、量子化インデック
ス決定回路２５が出力する量子化インデックスとから、
Ｉピクチャ、Ｐピクチャ、Ｂピクチャそれぞれについて
のコンプレックシティ（complexity）が算出され、目標
符号量算出回路４２に供給される。目標符号量算出回路
４２は、コンプレックシティ算出回路４１からのコンプ
レックシティに基づいて、次に符号化するフレームの目
標符号量を設定し、量子化インデックス決定回路２５に
出力する。量子化インデックス決定回路２５では、目標
符号量算出回路４２からの目標符号量に基づき、図３お
よび図４で説明したようにして、マクロブロックごとの
量子化インデックスが設定され、量子化回路１５に供給
される。

【００８８】以上のように、画像を符号化した符号化デ
ータの発生符号量を所定の目標符号量に一致させるため
の第１の変数としてのＱ＿ｉｎｄｅｘと、画像の複雑さ
に対応する第２の変数としてのアクティビティＡＣＴと
に基づいて、マクロブロックの量子化インデックスＭＱ
ＵＡＮＴ（量子化ステップ）を設定する場合において、
Ｑ＿ｉｎｄｅｘを、１フレームの画像の符号化中は固定
値とするようにしたので、レートコントロールのために
量子化ステップが変化することに起因する復号画像の画
質の劣化を防止することができる。

【００８９】さらに、目標符号量に対する発生符号量の
誤差、さらには、その累積値に対応して、次のフレーム
の量子化ステップの設定に用いるＱ＿ｉｎｄｅｘを決め
るようにしたので、画像全体に対する発生符号量を、ほ
ぼ、所望の目標符号量とすることが可能となる。

【００９０】なお、以上のように、１フレームの画像の
符号化中にＱ＿ｉｎｄｅｘを固定とする場合、１フレー
ムの発生符号量は、目標符号量と一致しないことが多く
なることが予想される。しかしながら、例えば、２パス
エンコードを行う場合においては、最終的に、全体の発
生符号量が、その目標符号量に一致すれば充分であり、
従って、ＶＢＶバッファにより課せられる条件を満たし
ていれば、１フレームの画像の符号化中にＱ＿ｉｎｄｅ
ｘを変更して、１フレームの発生符号量を、その目標符
号量と一致させる必要性は少ない。即ち、ＶＢＶバッフ
ァにより課せられる条件を満たしていれば、１フレーム
の画像の符号化中にＱ＿ｉｎｄｅｘを固定としても問題
はない。

【００９１】ところで、１フレームの符号化中において
Ｑ＿ｉｎｄｅｘを固定とすると、上述したように、１フ
レームの発生符号量は、一般に、その目標符号量とは一
致しないので、目標符号量は、例えば、発生符号量が目
標符号量をある程度上回っても（例えば、発生符号量が
目標符号量を２０％程度上回っても）、ＶＢＶバッファ
がアンダーフローしない程度のマージンをみて決定する
のが望ましい。

【００９２】しかしながら、そのようにしても、１フレ
ームの画像の符号化中にＱ＿ｉｎｄｅｘを固定とする場
合には（以下、適宜、このように１フレームの画像の符
号化中にＱ＿ｉｎｄｅｘを固定とするモードを、フレー
ム内固定Ｑモードという）、その１フレームについての
目標符号量に対する発生符号量の誤差が所定の範囲内に
確実に収まるという保証はない。

【００９３】即ち、フレーム内固定Ｑモードにおいて
は、例えば、目標符号量を、上述のように所定のマージ
ンをみて決定したり、また、ｍｅａｎ＿Ｑのデクリメン
トまたはインクリメントを、図４のステップＳ１５また
はＳ２０それぞれにおける判定処理によって制限するこ
とによって、基本的には、ＶＢＶバッファのアンダーフ
ローを防止することができるが、確実に防止することが
できるという保証はない（ＶＢＶバッファがアンダーフ
ローする確率は低いが、その確率が０というわけではな
い）。

【００９４】そこで、ＶＢＶバッファがアンダーフロー
する確率をより０に近づけるために、フレーム内固定Ｑ
モードを用いる場合においては、目標符号量に、より大
きなマージンをみて、発生符号量が予想を大きく上回っ
たとしても、ＶＢＶバッファがアンダーフローすること
を防止する方法がある。

【００９５】しかしながら、目標符号量に、より大きな
マージンをみて、不必要に少ない目標符号量を設定した
場合には、量子化ステップも不必要に大きくなり、復号
画像の画質が劣化する。一方、マージンを小さくみて、
目標符号量を充分に少なく設定しなかった場合には、Ｖ
ＢＶバッファがアンダーフローすることになる。従っ
て、目標符号量にマージンを見るだけでは、復号画像の
高画質化（画質の劣化の防止）を図り、かつＶＢＶバッ
ファのアンダーフローを確実に防ぐのは困難である。

【００９６】そこで、復号画像の画質を向上させるとと
もに、ＶＢＶバッファがアンダーフローする確率をより
０に近づけるために、図１のエンコーダ１（図６のエン
コーダ３１についても同様）には、その動作モードを、
１フレームの画像の符号化中にＱ＿ｉｎｄｅｘを固定と
するフレーム内固定Ｑモードと、従来と同様に１フレー
ムの画像の符号化中にＱ＿ｉｎｄｅｘを可変とするモー
ド（以下、適宜、フレーム内レートコントロールモード
という）とを適応的に設定させて量子化を行わせる（以
下、適宜、このように量子化の際の動作モードを適応的
に切り換える方法を、適応切り換え法という）。

【００９７】即ち、目標符号量に対する発生符号量の誤
差が大きくなっても、ＶＢＶバッファがアンダーフロー
する確率が限りなく０に近い場合においては、フレーム
内固定Ｑモードを設定し、目標符号量に対する発生符号
量の誤差が大きくなると、ＶＢＶバッファがアンダーフ
ローする確率が高くなる場合（目標符号量と発生符号量
とがほぼ一致していないと、ＶＢＶバッファがアンダー
フローする場合）においては、フレーム内レートコント
ロールモードを設定するようにする。

【００９８】ここでは、例えば、次のような３通りの場
合に、フレーム内レートコントロールモードを設定し、
それ以外の場合に、フレーム内固定Ｑモードを設定する
こととする。

【００９９】即ち、第１に、Ｑ＿ｉｎｄｅｘが極端に小
さい場合、第２に、フレーム単位についての発生符号量
が、目標符号量を所定の割合だけ上回った場合、および
第３に、例えば、ＧＯＰの期間などの所定の期間におけ
る目標符号量の総和から求められる、その所定の期間に
おけるビットレートが、可変レート符号化に規定されて
いる最高レートなどの所定の閾値を所定の割合だけ上回
った場合に、フレーム内レートコントロールモードを設
定し、それ以外の場合は、フレーム内固定Ｑモードを設
定する。

【０１００】ここで、以上のような場合に、フレーム内
レートコントロールモードを設定するのは、次のような
理由による。

【０１０１】即ち、例えば、いま符号しようとしている
画像が、平坦で、かつ動きのほとんどない静止画のよう
なものである場合において、Ｑ＿ｉｎｄｅｘが、１や２
などの極端に小さな値に設定されたときには、その後
に、複雑な画像が入力されると、１や２などの極端に小
さな値のＱ＿ｉｎｄｅｘに基づいて量子化が行われる。
この場合、発生符号量が極端に増加し、複雑な画像を数
フレーム（１フレームや２フレームなど）符号化しただ
けで、ＶＢＶバッファがアンダーフローするおそれがあ
るため、フレーム内レートコントロールモードを設定す
ることにより、画像が平坦なものから複雑なものとなっ
た場合でも、発生符号量が極端に増加しないようにす
る。

【０１０２】また、図７に細い実線で示すように、発生
符号量が目標符号量に一致していれば、ＶＢＶバッファ
がアンダーフローしないが、同図に太い実線で示すよう
に、あるフレームで、発生符号量が目標符号量を所定の
割合以上上回ると、ＶＢＶバッファがアンダーフローす
る場合がある。なお、図７における太い実線は、左から
４番目のＰピクチャのフレームにおいて、発生符号量が
目標符号量を５０％上回ることにより、ＶＢＶバッファ
がアンダーフローした様子を示している。

【０１０３】そこで、発生符号量が目標符号量を所定の
割合以上上回ったと仮定した場合に、ＶＢＶバッファが
アンダーフローするときには、フレーム内レートコント
ロールモードを設定することにより、発生符号量を目標
符号量にほぼ一致させるようにする。

【０１０４】なお、発生符号量が目標符号量をどの程度
の割合以上上回ったと仮定するかは、即ち、ＶＢＶバッ
ファからのデータの読み出しが、目標符号量にどの程度
のマージンを加えた符号量だけあったと仮定するかは、
例えば、Ｑ＿ｉｎｄｅｘなどに基づいて決めるのが望ま
しい。これは、上述したように、Ｑ＿ｉｎｄｅｘが小さ
い場合には、発生符号量が極端に増加することがあるた
めであり、従って、Ｑ＿ｉｎｄｅｘが小さいほど、マー
ジンは大きくとるのが望ましい（例えば、Ｑ＿ｉｎｄｅ
ｘが小さい場合または大きい場合には、目標符号量の１
００％または５０％程度のマージンをそれぞれとるよう
にする）。

【０１０５】次に、例えば、２パスエンコーディングな
どのような可変レートでの符号化を行う場合には、符号
化データのビットレートはダイナミックに変動する。そ
して、例えば、ＭＰＥＧ２などでは、可変レートでの符
号化の際に、システムがとり得るビットレートの最高値
が規定されている必要があり、ＶＢＶバッファのデータ
蓄積量も、この最高のビットレートに基づいて計算され
るようになされている。

【０１０６】即ち、ＶＢＶバッファへのデータの蓄積
は、例えば、最高のビットレートで行われるとして、そ
のデータ蓄積量が計算される。従って、符号化データの
ビットレートが、最高のビットレートと比較して充分低
い場合、ＶＢＶバッファへの符号化データの供給量が、
そこからの読み出し量に対して充分多いから、ＶＢＶバ
ッファのデータ蓄積量は、その記憶容量に近い値を推移
するので、ＶＢＶバッファの記憶容量にほぼ等しいよう
な符号化データが突然生じるような特異な場合を除い
て、ＶＢＶバッファがアンダーフローすることはない。
一方、符号化データのビットレートが、最高のビットレ
ートに等しいか、それに近い場合、ＶＢＶバッファへの
符号化データの供給量が、そこからの読み出し量と等し
いか、幾分多い程度であるから、例えば、発生符号量が
目標符号量を幾分か上回るフレームが連続したりする
と、目標符号量に対する発生符号量の誤差が累積し、Ｖ
ＢＶバッファのデータ蓄積量が減少していく結果、ＶＢ
Ｖバッファがアンダーフローする危険性が高くなる。

【０１０７】そこで、例えば、ＧＯＰの期間における目
標符号量の総和から、そのＧＯＰにおけるビットレート
（平均のビットレートなど）を求め、図８に示すよう
に、そのビットレートが、最高のビットレートを所定の
割合（図８においては７５％にしてある）以上上回った
場合に、フレーム内レートコントロールモードを設定し
て、発生符号量を目標符号量にほぼ一致させるようにす
る。

【０１０８】なお、フレーム内レートコントロールモー
ドのみのよる場合には、前述したような復号画像の画質
の劣化が生じるが、フレーム内固定Ｑモードとフレーム
内レートコントロールモードとを、上述のように適応的
に切り換える適応切り換え法による場合には、フレーム
内固定Ｑモードのみによる場合とほぼ同様の画質の復号
画像を得ることができる。これは、次のような理由によ
る。

【０１０９】即ち、適応切り換え法による場合におい
て、フレーム内レートコントロールモードは、上述の第
１乃至第３の場合に設定されるが、この３つの場合は、
大きくは、Ｑ＿ｉｎｄｅｘが極端に小さい場合と、発生
符号量が極端に多い場合とに分けることができる。そし
て、Ｑ＿ｉｎｄｅｘが極端に小さい場合というのは、基
本的に、平坦な画像（簡単な画像）の符号化が行われる
場合であり、平坦な画像に関しては、その復号画像の画
質について、元々大きな問題は生じない。また、発生符
号量が極端に多い場合というのは、基本的に、複雑な画
像の符号化が行われる場合であり、複雑な画像に関して
は、Ｑ＿ｉｎｄｅｘが１フレームの符号化中に変化して
も、隣接するマクロブロックにおけるＱ＿ｉｎｄｅｘの
違いは、その復号画像の画質にはほとんど影響しない。
従って、適応切り換え法によれば、フレーム内固定Ｑモ
ードのみを用いる場合とほぼ同様の画質の復号画像を得
ることができる。

【０１１０】また、適応切り換え法では、ＶＢＶバッフ
ァのアンダーフローをより確実に防止するために、フレ
ーム内レートコントロールモードが設定されるが、ＶＢ
Ｖバッファのオーバーフローは特に考慮する必要はな
い。これは、ＶＢＶバッファがオーバーフローしそうな
ときは、ＶＢＶバッファへのデータの供給、即ち、記録
媒体３からの符号化データの読み出しや、伝送路４を介
しての符号化データの送信を一時停止すれば済むからで
ある。

【０１１１】次に、以上のような適応切り換え法により
量子化を行う場合の、図２の量子化回路１５および量子
化インデックス決定回路２５の処理について、図９乃至
図１１のフローチャートを参照して説明する。

【０１１２】この場合、量子化インデックス決定回路２
５では、図９のステップＳ３１乃至Ｓ３６において、図
３のステップＳ１乃至Ｓ６における場合とそれぞれ同様
の処理が行われる。

【０１１３】そして、ステップＳ３４の処理後は、即
ち、符号化対象のフレームのピクチャタイプがＩピクチ
ャであり、Ｑ＿ｉｎｄｅｘにＱ_Iが設定された場合に
は、ステップＳ３７に進み、量子化インデックス決定回
路２５は、外部コンピュータ２からＧＯＰ＿ｒａｔｅを
受信し、ステップＳ３８に進む。

【０１１４】即ち、例えば、いま、ＧＯＰに１フレーム
だけＩピクチャが含まれているとすると（通常は、その
ようになっている）、そのＩピクチャは、ＧＯＰを構成
するフレームの中で最初に符号化される。適応切り換え
法による場合、外部コンピュータ２は、ＧＯＰの符号化
が開始されるタイミングで、そのＧＯＰを構成するフレ
ームそれぞれの目標符号量の総和を求め、さらに、その
総和から、そのＧＯＰ全体にわたっての平均的なビット
レートＧＯＰ＿ｒａｔｅを算出し、量子化インデックス
決定回路２５に供給するようになされており、ステップ
Ｓ３７では、このようにして外部コンピュータ２から供
給されるＧＯＰの平均的なビットレートＧＯＰ＿ｒａｔ
ｅが受信され、ステップＳ３８に進む。

【０１１５】また、ステップＳ３５およびＳ３６の処理
後も、ステップＳ３８に進み、外部コンピュータ２から
受信した最新のＧＯＰ＿ｒａｔｅが、エンコーダ１のビ
ットレートとして規定されている最高値（以下、適宜、
最高レートという）ＭＡＸの、例えば７５％などより高
いかどうかが、量子化インデックス決定回路２５によっ
て判定される。ステップＳ３８において、ＧＯＰ＿ｒａ
ｔｅが０．７５ＭＡＸより大きいと判定された場合、即
ち、上述の第３の場合に該当する場合、ステップＳ４７
に進み、量子化インデックス決定回路２５は、フレーム
内レートコントロールモードを設定し、そのモードに対
応する量子化処理を行う。そして、その処理の終了後
は、ステップＳ４８に進む。

【０１１６】ここで、本実施の形態では、符号化データ
のビットレートを、ＧＯＰ単位で計算するようにしてい
るため、そのビットレートＧＯＰ＿ｒａｔｅが０．７５
ＭＡＸより高い場合には、そのＧＯＰを構成するすべて
のフレームについて、フレーム内レートコントロールモ
ードが設定される。従って、例えば、符号化データのビ
ットレートを、フレーム単位で計算し、即ち、ビットレ
ートのフレーム単位の平均値を計算し、その平均値がど
の程度かを判定するようにすれば、ＧＯＰを構成するあ
るフレームについて、フレーム内レートコントロールモ
ードが設定されても、他のフレームについては、フレー
ム内固定Ｑモードが設定され得るようにすることができ
る。

【０１１７】一方、ステップＳ３８において、ＧＯＰ＿
ｒａｔｅが０．７５ＭＡＸより大きくないと判定された
場合、ステップＳ３９に進み、Ｑ＿ｉｎｄｅｘが、例え
ば４などの極端に小さな値より小さいかどうかが、量子
化インデックス決定回路２５によって判定される。ステ
ップＳ３９において、Ｑ＿ｉｎｄｅｘが４より小さいと
判定された場合、即ち、Ｑ＿ｉｎｄｅｘが１乃至３のう
ちのいずれかであり、上述の第１の場合に該当する場
合、ステップＳ４７に進み、フレーム内レートコントロ
ールモードが設定される。また、ステップＳ３９におい
て、Ｑ＿ｉｎｄｅｘが４より小さくないと判定された場
合、以下の処理において、Ｑ＿ｉｎｄｅｘの値が判定さ
れ、その判定結果に基づいて、ＶＢＶバッファからのデ
ータの読み出し量として仮定する符号量としての、目標
符号量とマージンとの加算値の、そのマージンが決定さ
れる。

【０１１８】即ち、ステップＳ３９において、Ｑ＿ｉｎ
ｄｅｘが４より小さくないと判定された場合、ステップ
Ｓ４０に進み、Ｑ＿ｉｎｄｅｘが比較的小さな値として
の、例えば７より小さいかどうかが判定される。ステッ
プＳ４０において、Ｑ＿ｉｎｄｅｘが７より小さいと判
定された場合、即ち、Ｑ＿ｉｎｄｅｘが、比較的小さ
い、４乃至６のうちのいずれかの値である場合、ステッ
プＳ４１に進み、マージンＭａｒｇｉｎとして、比較的
大きな値としての、例えば２Ｔ_j（目標符号量の２００
％）が設定され、ステップＳ４５に進む。また、ステッ
プＳ４０において、Ｑ＿ｉｎｄｅｘが７より小さくない
と判定された場合、ステップＳ４２に進み、Ｑ＿ｉｎｄ
ｅｘが中程度の値としての、例えば２６より小さいかど
うかが判定される。

【０１１９】ステップＳ４２において、Ｑ＿ｉｎｄｅｘ
が２６より小さいと判定された場合、即ち、Ｑ＿ｉｎｄ
ｅｘが、中程度の値としての７乃至２５のうちのいずれ
かの値である場合、ステップＳ４３に進み、マージンＭ
ａｒｇｉｎとして、中程度の値としての、例えばＴ
_j（目標符号量の１００％）が設定され、ステップＳ４
５に進む。また、ステップＳ４２において、Ｑ＿ｉｎｄ
ｅｘが２６より小さくないと判定された場合、即ち、Ｑ
＿ｉｎｄｅｘが２６以上の大きな値である場合、ステッ
プＳ４４に進み、マージンＭａｒｇｉｎとして、小さな
値としての、例えば０．５Ｔ_j（目標符号量の５０％）
が設定され、ステップＳ４５に進む。

【０１２０】ここで、ＭＰＥＧでは、Ｑ＿ｉｎｄｅｘと
してとり得る値が１乃至３１に規定されており、従っ
て、Ｑ＿ｉｎｄｅｘが２６以上の大きな値である場合と
いうのは、Ｑ＿ｉｎｄｅｘが、２６乃至３１のうちのい
ずれかであることを意味する。

【０１２１】ステップＳ４５では、符号化対象となって
いる第ｊフレームの発生符号量Ｓ_jが、その目標符号量
Ｔ_jにマージンＭａｒｇｉｎを加算した符号量Ｔ_j＋Ｍａ
ｒｇｉｎであったと仮定した場合に、ＶＢＶバッファが
アンダーフローするかどうかが判定される。ステップＳ
４５において、発生符号量Ｓ_jが、符号量Ｔ_j＋Ｍａｒｇ
ｉｎであったと仮定した際に、ＶＢＶバッファがアンダ
ーフローすると判定された場合、即ち、式（ＶＢＶバッ
ファのデータ蓄積量）−（符号量Ｔ_j＋Ｍａｒｇｉｎ）
＜０が成立する場合、ステップＳ４７に進み、フレーム
内レートコントロールモードが設定される。

【０１２２】一方、ステップＳ４５において、発生符号
量Ｓ_jが、符号量Ｔ_j＋Ｍａｒｇｉｎであったと仮定して
も、ＶＢＶバッファがアンダーフローしないと判定され
た場合、即ち、上述の第１乃至第３のいずれの場合にも
該当しない場合、ステップＳ４６に進み、量子化インデ
ックス決定回路２５は、フレーム内固定Ｑモードを設定
し、そのモードに対応する量子化処理を行う。そして、
その処理の終了後は、ステップＳ４８に進み、図４のス
テップＳ２６における場合と同様に、ターミネートコー
ドが受信されたかどうかが判定され、受信されていない
と判定された場合、ステップＳ４９に進み、ｊが１だけ
インクリメントされ、ステップＳ３２に戻る。また、ス
テップＳ４８において、ターミネートコードが受信され
たと判定された場合、処理を終了する。

【０１２３】次に、図１０のフローチャートは、図９の
ステップＳ４６におけるフレーム内固定Ｑモードの処理
の詳細を示している。

【０１２４】この場合、ステップＳ５１乃至Ｓ６９にお
いて、図３のステップＳ７乃至Ｓ９、図４のステップＳ
１０乃至Ｓ２５における場合とそれぞれ同様の処理が行
われる。

【０１２５】そして、ステップＳ６７乃至Ｓ６９におい
て、図４のステップＳ２３乃至Ｓ２５における場合とそ
れぞれ同様に、新たなＱ_I，Ｑ_P、またはＱ_Bが設定され
た後は、ステップＳ７０乃至Ｓ７２にそれぞれ進み、Ｉ
ピクチャ、Ｐピクチャ、またはＢピクチャを量子化する
のに設定した動作モードを記憶するための変数ｐｒｅｖ
＿Ｉ＿ｍｏｄｅ，ｐｒｅｖ＿Ｐ＿ｍｏｄｅ、またはｐｒ
ｅｖ＿Ｂ＿ｍｏｄｅに、フレーム内固定Ｑモードを表す
ＦＩＸＱがセットされ、リターンする。

【０１２６】次に、図１１のフローチャートは、図９の
ステップＳ４７におけるフレーム内レートコントロール
モードの処理の詳細を示している。

【０１２７】フレーム内レートコントロールモードで
は、例えば、ＴＭ５と同様に、１フレームの符号化中に
Ｑ＿ｉｎｄｅｘを可変にして量子化ステップが設定され
て量子化が行われる。

【０１２８】即ち、まず最初に、ステップＳ８１におい
て、符号化対象のフレームのピクチャタイプが、量子化
インデックス決定回路２５によって判定される。ステッ
プＳ８１において、ピクチャタイプが、Ｉピクチャ、Ｐ
ピクチャ、またはＢピクチャであると判定された場合、
それぞれステップＳ８２，Ｓ８３、またはＳ８４に進
み、前回のＩピクチャ、Ｐピクチャ、またはＢピクチャ
の量子化の際に設定された動作モードが判定される。

【０１２９】即ち、ステップＳ８２乃至Ｓ８４それぞれ
では、ｐｒｅｖ＿Ｉ＿ｍｏｄｅ，ｐｒｅｖ＿Ｐ＿ｍｏｄ
ｅ、またはｐｒｅｖ＿Ｂ＿ｍｏｄｅに、ＦＩＸＱがセッ
トされているかどうかが判定される。ステップＳ８２乃
至Ｓ８４それぞれにおいて、ｐｒｅｖ＿Ｉ＿ｍｏｄｅ，
ｐｒｅｖ＿Ｐ＿ｍｏｄｅ、またはｐｒｅｖ＿Ｂ＿ｍｏｄ
ｅに、ＦＩＸＱがセットされていると判定された場合、
即ち、前回のＩピクチャ、Ｐピクチャ、またはＢピクチ
ャがフレーム内固定Ｑモードで量子化されている場合、
ステップＳ８５乃至Ｓ８７にそれぞれ進み、Ｉピクチ
ャ、Ｐピクチャ、またはＢピクチャについてのＴＭ５の
ステップ２で用いられる仮想バッファｄ_I，ｄ_P、または
ｄ_Bが初期化される。

【０１３０】ここで、仮想バッファｄ_I，ｄ_P，ｄ_Bの初
期化は、例えば、次式にしたがって行われる。

【０１３１】ｄ_I＝Ｑ_I×ｒ／３１，ｄ_P＝Ｑ_P×ｒ／３
１，ｄ_B＝Ｑ_B×ｒ／３１但し、上式における分母の３１は、Ｑ＿ｉｎｄｅｘの最
大値である。また、ｒは、２×Ｂｉｔ＿ｒａｔｅ／Ｐｉ
ｃｔｕｒｅ＿ｒａｔｅで表され、Ｂｉｔ＿ｒａｔｅまた
はＰｉｃｔｕｒｅ＿ｒａｔｅは、それぞれビットレート
またはピクチャレートを表す。

【０１３２】ステップＳ８５乃至Ｓ８７それぞれにおい
て、Ｉピクチャ、Ｐピクチャ、またはＢピクチャについ
ての仮想バッファｄ_I，ｄ_P、またはｄ_Bの初期化が行わ
れた後は、いずれもステップＳ８８に進む。

【０１３３】また、ステップＳ８２乃至Ｓ８４それぞれ
において、ｐｒｅｖ＿Ｉ＿ｍｏｄｅ，ｐｒｅｖ＿Ｐ＿ｍ
ｏｄｅ、またはｐｒｅｖ＿Ｂ＿ｍｏｄｅに、ＦＩＸＱが
セットされていないと判定された場合、それぞれステッ
プＳ８５乃至Ｓ８７をスキップして、いずれもステップ
Ｓ８８に進み、マクロブロックを量子化する量子化ステ
ップＭＱＵＡＮＴが決定される。即ち、量子化インデッ
クス決定回路２５は、発生符号量を目標符号量Ｔ_jに一
致させるための第１の変数Ｑ＿ｉｎｄｅｘと、符号化対
象のマクロブロックの複雑さに対応する第２の変数とし
ての、アクティビティ検出回路２４からのアクティビテ
ィＡＣＴに基づいて、符号化対象のマクロブロックの量
子化インデックスＭＱＵＡＮＴを設定し、量子化回路１
５に出力する。量子化回路１５では、量子化インデック
ス決定回路２５からの量子化インデックスＭＱＵＡＮＴ
に対応する値が、符号化対象のマクロブロックを量子化
するのに用いる量子化ステップとして設定される。

【０１３４】量子化ステップが設定されると、ステップ
Ｓ８８からＳ８９に進み、量子化回路１５において、そ
の量子化ステップで、符号化対象のマクロブロックが量
子化され、ステップＳ９０に進む。ステップＳ９０で
は、１フレーム、即ち、第ｊフレームを構成するマクロ
ブロックすべての量子化が終了したかどうかが判定さ
れ、終了していないと判定された場合、ステップＳ９１
に進み、第ｊフレームを構成するマクロブロックのうち
の、既に量子化の終了しているマクロブロックまでの目
標符号量と発生符号量との差に対応して、仮想バッファ
ｄ_I，ｄ_P、またはｄ_Bのデータ蓄積量が更新され、ステ
ップＳ８８に戻り、以下、まだ量子化の行われていない
マクロブロックを対象に、同様の処理が繰り返される。

【０１３５】即ち、フレーム内レートコントロールモー
ドでは、仮想バッファｄ_I，ｄ_P、またはｄ_Bのデータ蓄
積量に基づいて、発生符号量Ｓ_jが目標符号量Ｔ_jと一致
するようにＱ＿ｉｎｄｅｘが適宜変更され（ＴＭ５のス
テップ２に相当）、そのように適宜変更されるＱ＿ｉｎ
ｄｅｘと、符号化対象のマクロブロックの複雑さに対応
して変化するアクティビティＡＣＴとから、最終的なマ
クロブロックごとの量子化インデックスＭＱＵＡＮＴが
決定される（ＴＭ５のステップ３に相当）。従って、こ
こでは、マクロブロックごとの量子化インデックスＭＱ
ＵＡＮＴ、即ち、量子化ステップは、画像の複雑さに対
応しても変化するし、レートコントロールのためにも変
化するので、発生符号量Ｓ_jが目標符号量Ｔ_jと一致する
ようになり、ＶＢＶバッファのアンダーフローを確実に
防止することができる。

【０１３６】一方、ステップＳ９０において、第ｊフレ
ームを構成するマクロブロックすべての量子化が終了し
たと判定された場合、ステップＳ９２に進み、第ｊフレ
ームを構成するマクロブロックのうち、最後のマクロブ
ロックを量子化するのに用いたＱ＿ｉｎｄｅｘが、それ
を保持するための変数ｌａｓｔ＿Ｑ_jにセットされる。

【０１３７】なお、ｌａｓｔ＿Ｑ_jには、Ｑ＿ｉｎｄｅ
ｘそのものではなく、そのＱ＿ｉｎｄｅｘとアクティビ
ティＡＣＴとから求められた量子化インデックスをセッ
トすることも可能である。但し、ｌａｓｔ＿Ｑ_jは、後
述するステップＳ９５乃至９７それぞれにおいて、
Ｑ_I，Ｑ_P、またはＱ_Bにセットされ、次に符号化を行う
フレームの最初のマクロブロックを量子化するときのＱ
＿ｉｎｄｅｘとして用いられるため、Ｑ＿ｉｎｄｅｘそ
のものをセットするのが好ましい。

【０１３８】また、ここでは、ｌａｓｔ＿Ｑ_jに、最後
のマクロブロックについてのＱ＿ｉｎｄｅｘをセットす
るようにしたが、その他、例えば、１フレームのマクロ
ブロックすべてについてのＱ＿ｉｎｄｅｘの平均値など
をセットするようにしても良い。

【０１３９】ステップＳ９２の処理後は、ステップＳ９
３に進み、図４のステップＳ１１における場合と同様
に、Ｅ_jおよびＳｕｍ＿Ｅが求められ、ステップＳ９３
に進む。ステップＳ９３では、次のフレーム、即ち、第
ｊ＋１フレームのピクチャタイプが判定される。ステッ
プＳ９３において、第ｊ＋１フレームのピクチャタイプ
が、Ｉピクチャ、Ｐピクチャ、またはＢピクチャである
と判定された場合、それぞれステップＳ９５，Ｓ９６、
またはＳ９７に進み、Ｑ_I，Ｑ_P、またはＱ_Bに、ステッ
プＳ９２で得られたｌａｓｔ＿Ｑ_jがセットされ、ステ
ップＳ９８，Ｓ９９、またはＳ１００にそれぞれ進む。

【０１４０】ステップＳ９８乃至Ｓ１００それぞれで
は、第ｊフレームの画像であるＩピクチャ、Ｐピクチ
ャ、またはＢピクチャを量子化するのに設定した動作モ
ードを記憶するための変数ｐｒｅｖ＿Ｉ＿ｍｏｄｅ，ｐ
ｒｅｖ＿Ｐ＿ｍｏｄｅ、またはｐｒｅｖ＿Ｂ＿ｍｏｄｅ
に、フレーム内レートコントロールモードを表すＲＣが
セットされ、リターンする。

【０１４１】以上のように、フレーム内固定Ｑモードと
フレーム内レートコントロールモードとを適応的に設定
するようにしたので、復号画像の画質の向上を図るとと
もに、ＶＢＶバッファのアンダーフローをより確実に防
止することが可能となる。

【０１４２】なお、以上の適応切り換え法による量子化
は、図５に示したフィードバック型のレートコントロー
ルにより１パスで画像の符号化を行う装置にも適用する
ことができる。

【０１４３】以上、本発明を、可変レートで符号化を行
う画像符号化装置に適用した場合について説明したが、
本発明は、固定レートで符号化を行う場合にも適用可能
である。

【０１４４】なお、本発明は、上述したように、２パス
エンコーディングを行う場合、および１回で符号化を行
う場合のいずれの場合にも適用可能であるが、２パスエ
ンコーディングに適用する場合が、特に、その効果が大
きい。

【０１４５】さらに、図１の実施の形態では、外部コン
ピュータ２からエンコーダ１に目標符号量を送信し、エ
ンコーダ１において量子化インデックスを決定するよう
にしたが、量子化インデックスは、外部コンピュータ２
において決定し、エンコーダ１に送信するようにするこ
とも可能である。

【０１４６】また、本実施の形態では、Ｉピクチャ、Ｐ
ピクチャ、ＢピクチャについてのＱ_I，Ｑ_P，Ｑ_Bをそれ
ぞれ独立に決定するようにしたが、Ｉピクチャ、Ｐピク
チャについてのＱ_I，Ｑ_Pは共通（同一の値）にすること
ができる。即ち、Ｑ_IとＱ_Pは、同一の値とした方が、画
質が良くなることが知られている。また、Ｉピクチャ
は、通常、１ＧＯＰに１つしかなく、従って、Ｑ_Iの決
定（更新後）後、そのＱ_Iは、次のＧＯＰのＩピクチャ
まで用いられない。さらに、Ｑ_IとＱ_Pとを同一の値にす
れば、ＩピクチャとＰピクチャそれぞれについて場合分
けをして、Ｑ_I，Ｑ_Pを更新する必要がなくなり、処理の
高速化を図ることが可能となる。以上の理由から、Ｑ_I
とＱ_Pは、同一の値とするのが望ましい。

【０１４７】さらに、本実施の形態においては、量子化
回路１５において、ＤＣＴ回路１４が出力するＤＣＴ係
数を量子化するようにしたが、本発明は、ＤＣＴ係数以
外の直交変換係数を量子化する場合にも適用可能であ
る。

【０１４８】

【発明の効果】請求項１に記載の画像符号化装置および
請求項１０に記載の画像符号化方法によれば、量子化ス
テップが、画像を符号化した符号化データの発生符号量
を所定の目標符号量に一致させるための第１の変数と、
画像の複雑さに対応する第２の変数とに基づいて設定さ
れるようになされており、１画面の画像の符号化中に、
第１の変数を固定または可変とする固定モードまたは可
変モードが、適応的に設定される。従って、復号画像の
画質を向上させるとともに、発生符号量を目標符号量に
一致させることが可能となる。

【０１４９】請求項１１に記載の画像伝送装置および請
求項１２に記載の画像伝送方法によれば、符号化データ
が、直交変換係数を、所定の量子化ステップで量子化す
る際に、その量子化ステップを、画像を符号化した符号
化データの発生符号量を所定の目標符号量に一致させる
ための第１の変数と、画像の複雑さに対応する第２の変
数とに基づいて設定する場合において、１画面の画像の
符号化中に、第１の変数を固定または可変とする固定モ
ードまたは可変モードを、適応的に設定することにより
得られたものとなっている。従って、符号化データか
ら、画質の良好な復号画像を得ることが可能となる。

【０１５０】請求項１３に記載の記録媒体には、直交変
換係数を、所定の量子化ステップで量子化する際に、そ
の量子化ステップを、画像を符号化した符号化データの
発生符号量を所定の目標符号量に一致させるための第１
の変数と、画像の複雑さに対応する第２の変数とに基づ
いて設定する場合において、１画面の画像の符号化中
に、第１の変数を固定または可変とする固定モードまた
は可変モードを、適応的に設定することにより得られた
符号化データが記録されている。従って、符号化データ
から、画質の良好な復号画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明の画像符号化装置の一実施の形態の構成
例を示すブロック図である。

【図２】図１のエンコーダ１の構成例を示すブロック図
である。

【図３】図２の量子化回路１５および量子化インデック
ス決定回路２５の処理を説明するためのフローチャート
である。

【図４】図３のフローチャートに続くフローチャートで
ある。

【図５】本発明の画像符号化装置の他の実施の形態の構
成例を示すブロック図である。

【図６】図５のエンコーダ３１の構成例を示すブロック
図である。

【図７】発生符号量が目標符号量を所定の割合以上上回
った場合に、ＶＢＶバッファがアンダーフローすること
を説明するための図である。

【図８】１ＧＯＰのビットレートの平均値の時間変化を
示す図である。

【図９】適応切り換え法による量子化を行う場合の量子
化回路１５および量子化インデックス決定回路２５の処
理を説明するためのフローチャートである。

【図１０】図９のステップＳ４６におけるフレーム内固
定Ｑモードの処理の詳細を説明するためのフローチャー
トである。

【図１１】図９のステップＳ４７におけるフレーム内レ
ートコントロールモードの処理の詳細を説明するための
フローチャートである。

【符号の説明】

１エンコーダ，２外部コンピュータ，３記録
媒体，４伝送路，１１画像並び替え回路，１２
走査変換／マクロブロック化回路，１３演算器，
１４ＤＣＴ回路（直交変換手段），１５量子化回
路（量子化手段），１６ＶＬＣ回路，１７バッ
ファ，１８逆量子化回路，１９逆ＤＣＴ回路，
２０演算器，２１フレームメモリ，２２動
き補償回路，２３動き検出回路，２４アクティ
ビティ検出回路，２５量子化インデックス決定回路
（設定手段），３１エンコーダ，４１コンプレ
ックシティ算出回路，４２目標符号量算出回路

Claims

【特許請求の範囲】

【請求項１】画像を符号化する画像符号化装置であっ
て、前記画像を直交変換し、直交変換係数を出力する直交変
換手段と、前記直交変換係数を所定の量子化ステップで量子化する
量子化手段とを備え、前記量子化手段が、前記画像を符号化した符号化データ
の発生符号量を所定の目標符号量に一致させるための第
１の変数と、前記画像の複雑さに対応する第２の変数と
に基づいて、前記量子化ステップを設定する場合におい
て、１画面の前記画像の符号化中に、前記第１の変数を固定
または可変とする固定モードまたは可変モードを、適応
的に設定する設定手段をさらに備えることを特徴とする
画像符号化装置。
【請求項２】前記画像がＭＰＥＧ（Moving Picture E
xperts Group）符号化される場合において、前記設定手段は、ＶＢＶ（Video Buffering Verifier）
バッファのデータ蓄積量に基づいて、前記固定モードま
たは可変モードのうちのいずれかを設定することを特徴
とする請求項１に記載の画像符号化装置。
【請求項３】前記設定手段は、前記目標符号量に所定
のマージンを加えた符号量が前記ＶＢＶバッファから読
み出されると仮定した場合に、前記ＶＢＶバッファがア
ンダーフローするとき、前記可変モードを設定すること
を特徴とする請求項１に記載の画像符号化装置。
【請求項４】前記設定手段は、前記マージンを、前記
第１の変数に基づいて設定することを特徴とする請求項
３に記載の画像符号化装置。
【請求項５】前記設定手段は、前記目標符号量に基づ
いて、前記固定モードまたは可変モードのうちのいずれ
かを設定することを特徴とする請求項１に記載の画像符
号化装置。
【請求項６】前記設定手段は、所定の期間における前
記目標符号量の総和から、その所定の期間におけるビッ
トレートを求め、そのビットレートが所定の閾値以上の
場合、または所定の閾値以上でない場合、前記可変モー
ドまたは固定モードをそれぞれ設定することを特徴とす
る請求項５に記載の画像符号化装置。
【請求項７】前記設定手段は、前記第１の変数に基づ
いて、前記固定モードまたは可変モードのうちのいずれ
かを設定することを特徴とする請求項１に記載の画像符
号化装置。
【請求項８】前記画像がＭＰＥＧ（Moving Picture E
xperts Group）符号化される場合において、前記設定手段は、前回符号化した画面について、前記固
定モードまたは可変モードのうちのいずれを設定したか
に基づいて、今回の画面を符号化する際に、Ｉピクチ
ャ、Ｐピクチャ、またはＢピクチャそれぞれについての
目標符号量と発生符号量との差分を管理するための仮想
バッファを初期化することを特徴とする請求項１に記載
の画像符号化装置。
【請求項９】前記直交変換係数を固定の量子化ステッ
プで量子化して得られる前記符号化データの発生符号量
に基づいて、前記目標符号量を設定し、その後、前記符号化データの発生符号量が前記目標符号
量に一致するように、前記画像を符号化することを特徴
とする請求項１に記載の画像符号化装置。
【請求項１０】画像を符号化する画像符号化方法であ
って、前記画像を直交変換し、その結果得られる直交変換係数
を、所定の量子化ステップで量子化する際に、その量子
化ステップを、前記画像を符号化した符号化データの発
生符号量を所定の目標符号量に一致させるための第１の
変数と、前記画像の複雑さに対応する第２の変数とに基
づいて設定する場合において、１画面の前記画像の符号化中に、前記第１の変数を固定
または可変とする固定モードまたは可変モードを、適応
的に設定することを特徴とする画像符号化方法。
【請求項１１】画像を符号化して得られる符号化デー
タを伝送する画像伝送装置であって、前記符号化データは、前記画像を直交変換し、その結果得られる直交変換係数
を、所定の量子化ステップで量子化する際に、その量子
化ステップを、前記画像を符号化した符号化データの発
生符号量を所定の目標符号量に一致させるための第１の
変数と、前記画像の複雑さに対応する第２の変数とに基
づいて設定する場合において、１画面の前記画像の符号化中に、前記第１の変数を固定
または可変とする固定モードまたは可変モードを、適応
的に設定することにより得られたものであることを特徴
とする画像伝送装置。
【請求項１２】画像を符号化して得られる符号化デー
タを伝送する画像伝送方法であって、前記符号化データは、前記画像を直交変換し、その結果得られる直交変換係数
を、所定の量子化ステップで量子化する際に、その量子
化ステップを、前記画像を符号化した符号化データの発
生符号量を所定の目標符号量に一致させるための第１の
変数と、前記画像の複雑さに対応する第２の変数とに基
づいて設定する場合において、１画面の前記画像の符号化中に、前記第１の変数を固定
または可変とする固定モードまたは可変モードを、適応
的に設定することにより得られたものであることを特徴
とする画像伝送方法。
【請求項１３】画像を符号化して得られる符号化デー
タが記録されている記録媒体であって、前記符号化データは、前記画像を直交変換し、その結果得られる直交変換係数
を、所定の量子化ステップで量子化する際に、その量子
化ステップを、前記画像を符号化した符号化データの発
生符号量を所定の目標符号量に一致させるための第１の
変数と、前記画像の複雑さに対応する第２の変数とに基
づいて設定する場合において、１画面の前記画像の符号化中に、前記第１の変数を固定
または可変とする固定モードまたは可変モードを、適応
的に設定することにより得られたものであることを特徴
とする記録媒体。