JPH11355772A - 映像信号符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 より簡易な回路構成のもとで、符号量の配分
を的確に実時間処理し得る映像信号符号化装置の提供。 【解決手段】 本提案は映像信号符号化装置に関する。
この符号化装置では、ピクチャ単位の量子化スケールの
平均を一定にして符号化することを基本とし、転送レー
トを最高転送レートで規定しその規定に対して量子化ス
ケールを制御して符号化を行う画質優先の可変転送レー
ト符号化モードと、転送レートを平均転送レートで規定
し符号化を行う固定転送レート符号化モードを、符号化
前あるいは途中で外部から切替え可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号符号化装
置に関し、特に光ディスクや磁気テープ等の記録媒体に
対して、映像信号を実時間記録するのに好適な映像信号
符号化装置に関するものである。

【０００２】

【従来の技術】従来、ビデオカメラ等に用いられる記録
媒体の容量管理は所定のテープ速度や回転速度で決定さ
れる転送レートを一定として換算された総記録時間に基
づいて管理されている。これに高能率符号化を適用する
場合、転送レートを一定とした固定転送レート方式が一
般的である。

【０００３】図８は一例としてＭＰＥＧ符号化方式を用
いた従来の固定転送符号化装置の構成図である。なお、
ＭＰＥＧ符号化方式については、ＩＳＯ−ＩＥＣ１１７
２−２，ＩＴＵ−ＴＨ．２６２／ＩＳＯ−ＩＥＣ１３８
１８−２に詳細な説明がなされているので、ここではそ
の概略について説明する。

【０００４】入力された映像信号は第１のフレームメモ
リ２に入力され記憶される。フレームメモリ２には複数
フレームの画像信号が記憶される。フレームメモリ２に
記憶された画像信号は、輝度信号が１６×１６画素、色
信号（Ｃｂ／Ｃｒ）はそれぞれ１６×８画素単位のブロ
ックで処理され、色信号に関しては縦方向にサブサンプ
リングし、それぞれ８×８画素のブロックとして処理さ
れる。このようにブロック化された画像信号はアクティ
ビティ検出回路４でフレームメモリ２から読み出され各
マクロブロックごとにアクティビティを検出し出力す
る。同様にブロック化された画像信号が動き検出回路６
でフレームメモリ２から読み出された画像信号から、フ
レーム間（フィールド間）の動きベクトルを検出し出力
する。動き補償回路８は、この動きベクトルと第２のフ
レームメモリ１０から読み出された過去のフレーム（フ
ィールド）のローカルデコードされた再生画像を入力と
し、両者を比較して動き補償演算が行われ、動き補償画
像信号および動きベクトル、予測モードを表す信号が出
力される。減算回路１２は内部フレームメモリすなわち
第１のフレームメモリ２から読み出された画像信号と動
き補償回路８から出力された動き補償映像信号を入力と
し、前者から後者を減算し差分画像信号を出力する。Ｄ
ＣＴ回路１４は減算回路１２からの差分画像信号を入力
とし、ＤＣＴ（離散コサイン変換）を行い、ＤＣＴ係数
を出力する。量子化回路１６はＤＣＴ回路１４からのＤ
ＣＴ係数と量子化制御回路１８からの量子化スケール信
号を入力とし、量子化処理を行い量子化信号を出力す
る。可変長符号化回路２０は量子化回路１６からの量子
化信号および動き補償回路８からの動きベクトルおよび
予測モードとを入力とし、これらを可変長符号化し映像
符号化信号を出力する。また、量子化制御回路１８から
出力されるｄｖｄ＿ｄｅｌａｙ信号は可変長符号化回路
２０でピクチャヘッダに書き込まれる。送信バッファ２
２では可変長符号化回路２０からの映像符号化信号を記
録し、ピクチャ単位の発生符号量を映像符号化信号（ビ
ットストリーム）として出力し量子化制御回路１８に与
える。量子化制御回路１８は、送信バッファ２２からの
ピクチャ単位の発生符号量とアクティビティ検出回路４
からのピクチャ単位のマクロブロック・アクティビティ
とを入力とし、量子化スケール信号を出力して量子化回
路１６に与える。また、ＩピクチャおよびＰピクチャ
は、後で動き補償予測の参照信号として用いる再生画像
に必要とするため、逆量子化回路２４および逆ＤＣＴ回
路２６を通してローカルデコードを行い、その出力信号
が第２のフレームメモリ１０に入力される。ここで、逆
量子化回路２４は量子化回路１６からの量子化信号を入
力とし、逆量子化を行いＤＣＴ係数を出力する。逆ＤＣ
Ｔ回路２６は、その出力ＤＣＴ係数を入力とし、逆ＤＣ
Ｔを行い再生画像を出力する。第２のフレームメモリ１
０は、その再生画像を記憶する。

【０００５】ＭＰＥＧは可変長符号化を行っているた
め、出力されるビットストリームの単位時間あたりの発
生符号量すなわち符号量発生レートは可変となる。ＭＰ
ＥＧではこれを固定の転送レート（コンスタント・ビッ
ト・レート＝ＣＢＲ）で符号化することを想定し、この
ストリームに対し、何らかの拘束条件を規定するため
に、ＶＢＶ（ビデオ・バッファ・ベリファイヤ）が考案
された。ＶＢＶは、符号化回路の出力端に接続される仮
想復号回路モデルであり、このモデルに含まれる受信バ
ッファ（ＶＢＶバッファ）の占有量に対する拘束条件に
よって、ビットストリームに対する制限を規定するもの
である。このモデルでは符号化回路とＶＢＶは完全に同
期して動作し、各画像（ピクチャ）の復号化は瞬時にし
て行われ、ＶＢＶバッファからは同様に瞬時にして抜き
取られるように規定されている。符号化ではこのバッフ
ァからピクチャデータを瞬時に抜き取る直前に、アンダ
ーフローやオーバーフローをしないように制御する。実
際のＶＢＶバッファ制御はＭＰＥＧのシーケンスヘッダ
に含まれるパラメータおよびビットレートをピークレー
トＲｍａｘとし、ＣＢＲの時はピクチャヘッダに含まれ
るパラメータｖｂｖ＿ｄｅｌａｙとで制御される。ｖｂ
ｖ＿ｄｅｌａｙは各ピクチャのピクチャ・スタート・コ
ード（ＰＳＣ）がＶＢＶバッファに入力されてから復号
されるまでの時間を示すものである。

【０００６】この場合、ＶＢＶに対するデータの入力レ
ートは、ピクチャデータ単位で可変レートとなり、ｎ番
めのピクチャデータがＶＢＶに入力されるレートＲ
（ｎ）（ビット／秒）は、 Ｒ（ｎ）＝ｄ*ｎ／（τ（ｎ）−τ（ｎ＋１）＋ｔ（ｎ
＋１）−ｔ（ｎ）） ここで、 ｄ*ｎ：ｎ番めのピクチャに対するＰＳＣの直後から
（ｎ＋１）番めのピクチャに対するＰＳＣまでの符号
量、 τ（ｎ）：ｎ番めのピクチャに対して設定されたｖｂｖ
＿ｄｅｌａｙの値、 τ（ｎ＋１）：ｎ＋１番めのピクチャに対して設定され
たｖｂｖ＿ｄｅｌａｙの値、 ｔ（ｎ）：ｎ番めのピクチャに対するデータがＶＢＶバ
ッファから抜き取られる時刻、 ｔ（ｎ＋１）：ｎ＋１番めのピクチャに対するデータが
ＶＢＶバッファから抜き取られる時刻である。

【０００７】ＣＢＲでは、レートＲ（ｎ）はｎの値いか
んによらず一定に制御される。図９にＣＢＲの時のＶＢ
Ｖバッファ占有量の時間的推移を示す。初期状態におい
て占有量は零であり、最初のＰＳＣの入力時点からｖｂ
ｖ＿ｄｅｌａｙの時間後に復号を開始する。引き続き定
められた復号時間間隔で各ピクチャの復号とＶＢＶバッ
ファの検証を継続する。これらについての詳細はＩＳＯ
−ＩＥＣ１１７２−２、ＩＴＵ−ＴＨ．２６２／ＩＳＯ
−ＩＥＣ１３８１８−２に記述されている。

【０００８】発生符号量と量子化スケールの間にはほぼ
反比例の関係があり、発生符号量を増加させるには量子
化スケールを小さくし、逆に発生符号量を減少させるに
は量子化スケールを大きくすればよい。この原理を用い
て、例えばＶＢＶバッファの占有量をもとに、量子化ス
ケールを制御する方法が考えられる。しかし、量子化ス
ケールを大きくすれば画質は劣化する。しかもＰピクチ
ャはひとつ前のＩピクチャもしくはＰピクチャから、Ｂ
ピクチャは時間的に両側のＩピクチャとＰピクチャから
予測されている関係上、Ｉピクチャが劣化すると、それ
に連動して他のピクチャも劣化する。したがって、Ｉピ
クチャの画質は最も重要なもので符号も十分に配分しな
ければならない。一般にＩ：Ｐ：Ｂの符号量割当ては
６：３：２程度を基本とし、動きの少ないシーンになる
と８：２：１などになり、動きが大きくなると４：４：
３などにもなる。これらのピクチャに対する符号量配分
を考慮しながら全体のレート制御を実現する方式例を次
に示す。これはＭＰＥＧ２の標準化でテストモデルとし
て使用されていたアルゴリズムである。

【０００９】（ａ）ステップ１ ステップ１ではＧＯＰ（グループオブピクチャ）の各ピ
クチャに対する割当て符号量Ｔｉ，Ｔｐ，Ｔｂを、ＧＯ
Ｐ内でまだ符号化していないピクチャに対してある重み
をつけて配分する。ここで、グローバル・コンプレキシ
ティ・メジャー（以下、ＧＣＭという）と呼ばれる値Ｘ
を設定し、Ｉ，Ｐ，Ｂ各ピクチャごとのＸ値Ｘｉ，Ｘ
ｐ，Ｘｂを、 Ｘｉ＝Ｓｉ×Ｑｉ， Ｘｐ＝Ｓｐ×Ｑｐ， Ｘｂ＝Ｓｂ
×Ｑｂ と定義する。ここで、Ｓｉ，Ｓｐ，Ｓｂはひとつ前の同
ピクチャタイプの符号化結果として得られた発生符号量
であり、Ｑｉ，Ｑｐ，Ｑｂは各ピクチャごとの平均量ス
ケールである。理想的な画質を達成する量子化スケール
はＩピクチャを基準とした場合のＰピクチャとの比率Ｋ
ｐは、Ｋｐ＝１．０、Ｂピクチャとの比率Ｋｂは、Ｋｂ
＝１．４と仮定する。なお、次式では、ビットレートを
ＢＲ、ピクチャレートをＰＲと表す。

【００１０】Ｔｉ＝ＭＡＸ｛Ｒ／（１＋（ＮｐＸｐ／Ｘ
ｉＫｐ）＋ＮｂＸｂ／ＸｉＫｂ）），ＢＲ／（８*Ｐ
Ｒ）｝ Ｔｐ＝ＭＡＸ｛Ｒ／（Ｎｐ＋（ＮｂＫｐＸｂ／ＫｂＸ
ｐ）），ＢＲ／（８*ＰＲ）｝ Ｔｂ＝ＭＡＸ｛Ｒ／（Ｎｂ＋（ＮｐＫｂＸｐ／ＫｂＸ
ｂ））、ＢＲ／（８*ＰＲ）｝ ここで、Ｎｐ，Ｎｂは１ＧＯＰ内のＰピクチャおよびＢ
ピクチャの未符号化ピクチャ枚数である。

【００１１】ＧＯＰ内で符号化が進むごとに、Ｒは次の
ように更新される。

【００１２】 Ｒ＝Ｒ−Ｓｉ ， Ｒ＝Ｒ−Ｓｐ ， Ｒ＝Ｒ−Ｓｂ （ｂ）ステップ２ ステップ２ではステップ１で割当てられた各ピクチャの
符号量（Ｔｉ，Ｔｐ，Ｔｂ）と実際の発生符号量を一致
させるため、マクロブロック（ＭＢ）ごとに発生符号量
を加算しつつ、目標符号量から途中での予測目標符号量
との差を次式に従って量子化スケールにＭＢ単位でフィ
ードバックする。

【００１３】 ｄji＝ｄ0i＋Ｂj-1−（Ｔｉ(j-1)／ＭＢcnt） ｄjp＝ｄ0p＋Ｂj-1−（Ｔｐ(j-1)／ＭＢcnt） ｄjb＝ｄ0b＋Ｂj-1−（Ｔｂ(j-1)／ＭＢcnt） ここで、ｄ0i，ｄ0p，ｄ0bは各ピクチャの仮想バッファ
の初期占有量、Ｂj-1 は各ピクチャの先頭から j-1 番
目のＭＢまでの発生符号量、ＭＢcnt は１ピクチャ内の
ＭＢ数である。

【００１４】Ｑｊ＝ｄｊ×３１／ｒ ｒ＝２×ＢＲ／ＰＲ Ｑｊは量子化スケールで、ｒはフィードバックの応答速
度を決定するパラメータである。

【００１５】（ｃ）ステップ３ ステップ３ではステップ２で求められた量子化スケール
Ｑｊをピクチャ内の各ＭＢごとのアクティビティによっ
て制御する。そこでｊ番目のＭＢのアクティビティＡｊ
は、予測誤差ではなく原画の輝度信号画素値を用い、フ
レームＤＣＴ符号化モードの４個のブロックとフィール
ドＤＣＴ符号化モードの４個のブロックそれぞれの画素
値から次式で求められる。

【００１６】Ａｊ＝１＋ＭＩＮ（Var_sblk） （ただ
し、sblk＝１．８） Var_sblk＝（１／６４）Σ（Ｐｋ−Ｐmean）２ （ただ
し、ｋ＝１〜６４とする） Ｐmean＝（１／６４）ΣＰｋ （ただし、ｋ＝１〜６
４とする） ここで、Ｐｋは原画の輝度信号ブロック内画素値であ
る。さらに、その値が０．５〜２の範囲をとる正規化ア
クテイビティＮactjは次式で求められる。

【００１７】Ｎactj＝（２×Ａｊ＋Avg-act）／（Ａｊ
＋２×Avg-act） ここでAvg-actは直前に符号化したピクチャでのアクテ
ィビティＡｊの平均値である。量子化スケールＭqntjは
ステップ２で得られた量子化スケールＱｊを基に次式で
求められる。

【００１８】Ｍqntj＝Ｑｊ×Ｎactj 以上に示したテストモデルだけではＶＢＶに対する拘束
条件を満足する保証が無いため、前述したようにＶＢＶ
バッファの占有量を考慮した量子化制御を行う訳であ
る。

【００１９】図１０は量子化制御回路１８の内部構成を
示すブロック図であり、符号量制御回路１８０、仮想
（ＶＢＶ）バッファ制御回路１８２、および量子化スケ
ール設定回路１８４からなっている。符号量制御回路１
８０は送信バッファ２２から出力されるピクチャ単位の
発生符号量とＶＢＶバッファ制御回路１８２からのＶＢ
Ｖバッファ占有量とを入力とし、予め定められた固定の
転送レートからピクチャ単位の割当て符号量を算出し、
出力する。ＶＢＶバッファ制御回路１８２は送信バッフ
ァ２２からのピクチャ単位の発生符号量を入力とし、予
め定められた固定の転送レートからＶＢＶの制御シミュ
レートを行い、符号量制御回路１８０に対しＶＢＶバッ
ファ占有量を出力すると共に、可変長符号化回路２０に
対しｖｂｖ＿ｄｅｌａｙの信号を出力する。量子化スケ
ール設定回路１８４は、アクティビティ検出回路４によ
って検出されたピクチャ内の各マクロブロックのアクテ
ィビティと、符号量制御回路１８０からのピクチャ単位
の割当て符号量とを入力とし、各マクロブロックごとの
量子化スケールを算出し、それを量子化回路１６に対し
出力する。

【００２０】

【発明が解決しようとする課題】以上の固定転送レート
（ＣＢＲ）の符号化方式では、出力される映像符号化信
号（ビットストリーム）の転送レートを一定に保つよう
に発生符号量を量子化スケールで制御するため、例え
ば、複雑な映像信号を符号化する場合は、量子化スケー
ルを大きくするため画質が劣化し、また単純な映像信号
を符号化する場合は量子化スケールを小さくするため画
質は向上するが、この制御で必要発生符号量が得られな
い場合はスタッフィングビットの補充を必要とし、符号
化効率が減少する。また、全体を通し複雑な映像信号と
単純な映像信号の画質に格差が生じ、均等な画質を確保
することが困難である。ここで、この問題を解決するた
めの方法として、映像信号の難易度に応じて符号化レー
トを変動させる可変転送レート符号化方式が各種提案さ
れた。

【００２１】特開平６−１４１２９８号公報に開示され
ている方式は、予め記録媒体に記録されている映像信号
について一次処理として仮符号化を行って映像信号の難
易度に応じた割当て符号量を算出し、その算出結果を用
いて改めて二次符号化の処理を行う、いわゆる２パス符
号化方式である。この方式は、予め記録媒体に記録され
ている映像信号についての仮符号化においては有効であ
るが、ビデオカメラ等のように実時間性が要求される符
号化には不向きである。

【００２２】そして、仮符号化と二次符号化の２回処理
を行うために時間がかかるので、その時間短縮が望まれ
ていた。

【００２３】また、実時間性のある１パスの可変転送レ
ートの符号化方式が特開平９−２３４２３号公報におい
て提案されている。この方式は、所定時間ごとの入力画
像の難易度を求め、これにより割当て符号量を決定し対
象記録媒体の容量等に応じた一定時間の符号化を行うも
のである。そして、この入力画像の難易度と割当て符号
量の関係は、一般の入力信号により予め統計処理等で標
準化されたものを用いる。しかし、ビデオカメラ等のよ
うに入力映像の難易度が予測不可能な状態において、入
力映像に対する的確な符号量配分は困難である。例え
ば、一定時間の終盤において難易度が高い映像が連続し
て入力された場合、この映像の符号化に関しては、固定
転送レート符号化よりも画質が劣化してしまう虞があ
る。この方式で符号量配分の的確性を向上させようとす
ると、回路規模や遅延時間の増大等を招く。

【００２４】本発明は上記問題点を考慮してなされたも
のであって、より簡易な回路構成のもとで、符号量の配
分を的確に実時間処理し得る映像信号符号化装置を提供
することを目的とする。

【００２５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に係る発明の映像信号符号化装置は、転送
レートを一定に保ちながら映像信号の符号化を行う固定
転送レート符号化手段と、転送レートをその都度の最大
転送レートに設定して映像信号の符号化を行う可変転送
レート符号化手段と、固定転送レート符号化手段から可
変転送レート符号化手段へ、またはその逆に切替える転
送レート切替手段とを備えたことを特徴とするものであ
る。この発明によれば、例えば記録媒体の一定時間での
使用には固定転送レートを用い、画質優先時では可変転
送符号化手段を用いることにより、難易度の予測困難な
入力映像に対しても、入力映像の難易度に応じ、安定し
た画質を得ることができ、この各符号化手段を符号化前
または途中で切替えることにより、使用用途に応じた符
号化が可能となり、各符号化手段で出力されるビットス
トリームを連続した同一ストリームで扱えることによ
り、各符号化手段の切替え時に途切れることのないスト
リームを生成することが可能である。

【００２６】請求項２に係る発明は、請求項１に記載の
映像信号符号化装置において、転送レート切替手段が符
号化前または符号化途中で切替え動作することを特徴と
するものである。

【００２７】請求項３に係る発明は、請求項１または２
に記載の映像信号符号化装置において、転送レート切替
手段を符号化途中で切替えて符号化転送レートの切替を
行ったときに出力される各映像符号化信号を連続した同
一ビットストリームとし、このビットストリームの画質
が、符号化の切替時に急変しないようにするバッファ手
段をさらに備えたことを特徴とするものである。

【００２８】請求項４に係る発明は、請求項１ないし３
のいずれかに記載の映像信号符号化装置において、可変
転送レート符号化手段は、外部から量子化スケールを符
号化前および符号化途中で設定する手段を備えているこ
とを特徴とするものである。

【００２９】請求項５に係る発明は、請求項１ないし４
のいずれかに記載の映像信号符号化装置において、固定
転送レート符号化手段は、外部からの転送レート切替信
号に応答して平均転送レートを符号化前または符号化途
中で設定する手段を備えていることを特徴とするもので
ある。

【００３０】請求項６に係る発明は、請求項１ないし５
のいずれかに記載の映像信号符号化装置において、符号
化された映像信号を記録する記録媒体の残り容量を、記
録媒体の使用可能な全容量と符号化発生総符号量とから
算出し、固定転送レート符号化手段における単位時間転
送レートにより時間換算する手段を備えていることを特
徴とするものである。この発明によれば、可変転送レー
ト符号化手段における基準量子化スケールおよび固定転
送レートにおける平均転送レートをそれぞれ符号化前ま
たは途中で設定することにより、画質レベルおよび記録
媒体の記録時間を自由に変更することができ、記録媒体
の残り容量を固定転送レート手段における平均転送レー
トで時間換算できることにより、各符号化手段におい
て、記録媒体の残り容量の時間的管理が常に可能とな
る。

【００３１】

【発明の実施の形態】図１は一例としてＭＰＥＧ２符号
化方式を用いた本発明の映像信号符号化装置の回路構成
を示すものである。なお、ＭＰＥＧ２そのものについて
は、ＩＴＵ−ＴＨ．２６２／ＩＳＯ−ＩＥＣ１３８１８
−２に詳細な説明がなされているので、ここでは概略の
み説明する。

【００３２】図１の符号化装置は、図８の符号化装置を
基本としてそれに修正された量子化回路２８および可変
長符号化回路３０を備えると共に、新たに残り容量演算
回路３２を付加したものに相当する。他の同一符号で表
された装置部分は図８の符号化装置のものと同一もしく
は類似である。量子化制御回路２８は、送信バッファ２
２からのピクチャ単位発生符号量、アクティビティ検出
回路４からのピクチャ単位のマクロブロック・アクティ
ビティ、所定の平均転送レート、ＶＢＲ／ＣＢＲ切替信
号、および量子化スケール切替信号を入力とし、所定の
演算を実行して量子化回路１６に対し量子化スケールを
出力する。可変長符号化回路３０は、量子化回路１６か
らの量子化信号、および動き補償回路８からの動きベク
トル／予測モードを入力すると共に、固定値のｄｖｄ＿
ｄｅｌａｙ（0xffff）を入力してこれをピクチャヘッダ
に書込む。残り容量演算回路３２は、上述の平均転送レ
ートおよび送信バッファ２２からの発生符号量に基づい
て記録媒体の残り容量時間を計算し出力する。

【００３３】ＭＰＥＧ２では、ＶＢＶの規定を固定転送
レート（ＣＢＲ）データだけではなく、可変転送レート
（ＶＢＲ）データに対しても規定を設け、様々な応用に
対応するため２種の方法で規定できるようにしている。
この規定の区別はｖｂｖ＿ｄｅｌａｙの値によってなさ
れており、従来技術の項に記したｄｖｄ＿ｄｅｌａｙが
全て最大値（0xffff）でない場合と、各ピクチャのｖｂ
ｖ＿ｄｅｌａｙが最大値0xffffの場合である。ｖｂｖ＿
ｄｅｌａｙが0xffffの場合、ＶＢＶに対するデータの入
力レートは、ＶＢＶバッファの占有量で決定され、ＶＢ
Ｖバッファに空きがあるときはピークレートＲｍａｘ、
空きの無い場合には零となる。図２にこの場合のＶＢＶ
バッファ占有量の時間的推移の一例を示す。初期状態に
おいてＶＢＶバッファ占有量は零であり、バッファに空
きが無くなった時点で復号を開始する。引き続き、定め
られた復号時間間隔で各ピクチャの復号とＶＢＶバッフ
ァの検証を継続する。これらについての詳細はＩＴＵ−
ＴＨ．２６２／ＩＳＯ−ＩＥＣ１３８１８−２に記述さ
れている。

【００３４】図３は本発明の量子化制御回路２８の内部
構成を示すものであり、符号量制御回路２８０、仮想
（ＶＢＶ）バッファ制御回路２８２、量子化スケール設
定回路２８４、およびレート設定回路２８６からなって
いる。レート設定回路２８６は外部から入力される平均
転送レートとＶＢＲ／ＣＢＲ切替信号を入力としてそれ
ぞれ各符号化に対応したレート設定信号を出力する。Ｖ
ＢＶバッファ制御回路２８２は送信バッファ２２からの
ピクチャ単位の発生符号量を入力とし、予め定められた
固定の転送レートからＶＢＶの制御シミュレートを行
い、符号量制御回路２８０に対しＶＢＶバッファ占有量
信号を出力する。量子化スケール設定回路２８４は、ア
クティビティ検出回路４によって検出されたピクチャ内
の各マクロブロックのアクティビティ、符号量制御回路
２８０からのピクチャ単位の割当て符号量、外部からの
ＶＢＲ／ＣＢＲ切替信号、および画像レベルに応じて基
準量子化スケールで表現される量子化スケール切替信号
を入力とし、各マクロブロックごとの量子化スケールを
算出し、それを量子化回路１６に対し出力すると共に、
符号量制御回路２８０に送出し、さらに過去の所定期間
の量子化スケール平均値を算出更新し、それを符号量制
御回路２８０に送出する。符号量制御回路２８０は、外
部からのＶＢＲ／ＣＢＲ切替信号と量子化スケール切替
信号、送信バッファ２２から与えられるピクチャ単位の
発生符号量、ＶＢＶバッファ制御回路２８２からのＶＢ
Ｖバッファ占有量、および量子化スケール設定回路２８
４から与えられる過去の量子化スケール平均値を入力と
し、ＶＢＲモード時はＶＢＶバッファ占有量からＶＢＶ
がアンダーフローを起こさないように、予め規定された
最大転送レートで符号量制御を行い、ＣＢＲモード時
は、平均転送レートで符号量制御を行い、割当て符号量
を算出し、それを量子化設定回路２８４に対し出力す
る。また、符号量制御回路２８０は過去の所定期間の発
生符号量とその平均値を保持し、更新する。

【００３５】ここで、量子化制御回路２８におけるＣＢ
ＲモードおよびＶＢＲモードのそれぞれについてさらに
詳細に説明する。まずＶＢＶバッファ制御回路２８２
は、ＣＢＲ，ＶＢＲのどちらのモードでもピクチャヘッ
ダに書かれるｖｂｖ＿ｄｅｌａｙの値を全て最大値0xff
ffとし、シーケンスヘッダに書かれるピークレートＲｍ
ａｘは、予め規定された最高転送レートとする。これに
より、ＣＢＲモードおよびＶＢＲモードで出力される映
像符号化信号はシンタックスでは同一となり、ＶＢＶ制
御シミュレートもこのパラメータを基に行う。レート設
定では、符号量制御回路２８で制御するレートを出力す
るが、外部から入力されるＣＢＲ／ＶＢＲ切替信号によ
り、ＣＢＲモード時は外部から入力された平均転送レー
トを出力し、ＶＢＲモード時は予め規定された最高転送
レートを出力する。符号量制御回路２８はまた、入力さ
れるピクチャ単位の発生符号量を複数ピクチャ記録でき
るバッファを保有し、このバッファは新しいピクチャ単
位の発生符号量が入力される度に記録更新される。ＣＢ
Ｒモード時には、例えば所定ピクチャ数の発生符号量に
ついて、外部から入力される平均転送レートで所定時間
間隔でピクチャタイプごとに監視し、同時にＶＢＶバッ
ファ占有量からＶＢＶがオーバーフローやアンダーフロ
ーを起こさないように演算制御する。この符号化制御の
例は従来技術の項に記載したテストモデル等が考えられ
る。これにより、各ピクチャごとの割当て符号量を算出
し出力する。

【００３６】量子化スケール設定２８４は、入力される
このピクチャごとの割当て符号量とマクロブロックごと
のアクティビティを基に量子化スケールをフィードバッ
ク制御によって求め、各マクロブロックごとの量子化ス
ケール信号を求め量子化回路１６へ出力する。この例と
しては、前述したテストモデル等が考えられる。ＶＢＲ
モード時、符号量制御回路２８０は、所定ピクチャ数の
発生符号量について、予め規定された最高転送レートで
所定時間間隔で監視し、ＶＢＶバッファ占有量からＶＢ
Ｖがアンダーフローを起こさないようにＶＢＶを制御す
る。この制御では、例えば難易度の高い複雑な映像が連
続入力された時、ＶＢＶ制御を急激に行うと、ＶＢＶバ
ッファ容量の変化が図４に示すように複雑になり、複雑
な映像の後半に十分な符号量を割当てることができなく
なる。特に予測符号化の参照画像となるＩピクチャおよ
びＰピクチャに十分な符号量が割当てられないと、大き
な画質の劣化を招く。そこで、ＶＢＶバッファのアンダ
ーフローポイントに図５に示すようなオフセット値Ｂos
を設定し、ＶＢＶバッファ容量がこのオフセット値Ｂos
に達した時、所定ピクチャ数に割当て符号量をピクチャ
タイプにより平均化するように制御する。符号化制御回
路２８０は、このような制御を行い、割当て符号量を算
出し出力する。この割当て符号量の算出方法としては、
例えば前述したテストモデルの手法等が考えられる。量
子化スケール設定回路２８４は、通常は外部から入力さ
れる一定の量子化スケールの量子化スケール切替信号と
マクロブロックごとのアクティビティにより各マクロブ
ロックごとの量子化スケールを算出する。この算出方法
としては、例えば前記のテストモデルのステップ３の方
法などが考えられる。

【００３７】最高転送レートなどに対する制御を必要と
する場合には、入力される符号量制御から出力される割
当て符号量とマクロブロックごとのアクティビティか
ら、各マクロブロックごとの量子化スケールを算出す
る。実際にはこの量子化スケールは、外部からの固定の
量子化スケールから算出されたマクロブロックごとの量
子化スケールに比べ、発生符号量を抑制するために高い
値になるように制御される。この量子化設定で通常の外
部からの量子化スケール切替信号による固定量子化スケ
ール制御と割当て符号量による制御の切替は、例えば、
符号量制御回路２８０から出力される割当て符号量を、
通常は固定値、例えばゼロ（０）とし、割当て符号量の
制御を必要とする時、その値を出力する方法などが考え
られる。また符号量制御回路２８０および量子化スケー
ル設定回路２８４のＣＢＲ／ＶＢＲの切替は外部から入
力されるＶＢＲ／ＣＢＲ切替信号により行われる。この
切替を符号化途中で瞬時に行うと、切替時に画質が急激
に変化し、画質の連続性が損なわれる虞がある。特に難
易度の高い映像が入力されている時に切替えが行われる
と、画質の変化が大きくなる。例えば図６は、ほぼ同一
難易度の入力映像符号化における、ＶＢＲ／ＣＢＲ間の
モード切替を瞬時に行った時の発生符号量（発生レー
ト）Ｓの変化の一例を示したものである。図６に示すよ
うに、ＶＢＲ／ＣＢＲのモード切替により発生符号量Ｓ
は最高転送符号量Ｓmax 近辺と平均転送符号量Ｓavとの
間で急激に変化し、その結果、画質も急激に変化する。

【００３８】このことを考慮し、図３の符号量制御回路
２８０では、ＣＢＲ／ＶＢＲ切替信号が入力されてか
ら、所定時間内の発生符号量Ｓを図７に示すように制御
するための割当て符号量をピクチャタイプ別に算出し出
力する。この算出方式は例えば、切替える直前の発生符
号量を保持すると共に、目標割当て符号量として切替え
た直後の割当て符号量を算出する。ここで目標割当て符
号量は、ＣＢＲモードに切替わる時は平均転送レートか
ら算出し、ＶＢＲモードに切替わる時は、切替直前まで
の所定期間内の発生符号量の平均値と量子化設定回路２
８４から出力される切替直前までの所定期間の量子化ス
ケール平均値と外部からの量子化スケール切替信号とに
よって発生符号量予測を行い、これを目標割当て符号量
とする。そして、最終的な割当て符号量を前記した直前
の割当て符号量から発生所定時間で目標割当て符号量と
なるように例えば次式に従って制御する。

【００３９】Ｂｎ＝Ｘ＋（ＴＢ−Ｘ）×ｎ／Ｎ Ｂｎ：ｎ番めのピクチャの割当て符号量 Ｘ：切替直前の発生符号量 ｎ：ピクチャ数（１〜Ｎ） Ｎ：所定時間（ピクチャ数） ＴＢ：目標割当て符号量 この制御は、ピクチャタイプ、ＶＢＶバッファ占有量を
考慮して行う。各符号化手段の切替時の制御モードは、
ＣＢＲモードからＶＢＲモードに切替える時は直ちに切
替を行い、ＶＢＲモードからＣＢＲモードに切替える時
は上記所定時間に達した時点以降からＣＢＲモードに切
替える。量子化スケール設定回路２８４は、この割当て
符号量とマクロブロックごとのアクティビティからマク
ロブロックごとの量子化スケールを算出し出力する。

【００４０】次に図１の残り容量演算回路３２は、記録
媒体の映像符号化信号に割当てられた記憶容量である記
録媒体使用可能容量と発生符号量と、外部から設定され
る平均転送レートを入力として、残り容量時間を演算し
出力する。ここでは、送信バッファ２２からのピクチャ
単位で送られてくる発生符号量を累積し、発生総符号量
を求め、使用可能容量とＣＢＲモードで用いる平均転送
レートとから残り容量を次式のように時間換算して所定
の周期で残り容量時間信号として出力する。

【００４１】残り容量（秒）＝（使用可能容量（ビッ
ト）−発生総符号量（ビット））／平均転送レート（ビ
ット／秒） この信号は、ＣＢＲモード時およびＶＢＲモード時のど
ちらでも出力されるもので、ＣＢＲモード時は残り記録
時間に対してほぼ実時間で変化し、ＶＢＲモード時に
は、難易度の低い単純な映像信号が入力された時は実時
間よりも遅く変化し、難易度の高い複雑な映像信号が入
力された時は実時間よりも速く変化する。これにより、
ユーザーは記録媒体の時間に換算した残り容量を定量的
に管理することが可能となり、例えば、ＶＢＲモードを
使用している時の残り容量時間はＣＢＲモードに途中切
替を行った時は、ほぼ実時間として確保できるもので、
残り容量の管理が容易になる。

【００４２】

【発明の効果】本発明の映像信号符号化装置によれば、
時間管理を優先させた固定転送レート符号化手段と、画
質レベルを優先させた可変転送レート符号化手段とを、
複雑な回路構成を必要とせずに切替え可能に構成するこ
とができ、可変転送レート符号化手段では、基本的に量
子化スケールを固定とし、最高転送レートの規定に対し
て量子化スケールを制御することにより、全般にわたり
安定した画質を得ることができる。そして、両符号化手
段を符号化前または途中で切替えることにより、時間管
理優先または画質レベル優先の使用用途に応じた対応が
可能となり、各符号化手段を符号化途中で切替えた時に
出力されるビットストリームを同一ビットストリームと
することにより、途切れの無い連続した再生が可能とな
り、この切替時に急激な発生符号量の変化を抑制するこ
とにより、切替時の画質の急激な変化を抑制することが
でき、使用用途に応じた記録媒体の有効利用が可能とな
り、記録媒体の残り容量を時間換算することにより、残
り容量の管理を容易にすることができる。

【図面の簡単な説明】

【図１】本発明に係る映像信号符号化装置の一実施の形
態を示すブロック図。

【図２】ＶＢＲモード時のＶＢＶバッファ占有量の時間
的推移を示す線図。

【図３】図１の映像信号符号化装置における量子化制御
回路の詳細構成を示すブロック図。

【図４】オフセット処理を行わない時のＶＢＶバッファ
占有量の時間的推移を示す線図。

【図５】オフセット処理を行った時のＶＢＶバッファ占
有量の時間的推移を示す線図。

【図６】ＣＢＲ／ＶＢＲ信号切替時の発生符号量すなわ
ち発生レートの変化の例を示す線図。

【図７】ＣＢＲ／ＶＢＲ信号切替時に所定の処理を行っ
た時の発生符号量すなわち発生レートの変化の例を示す
線図。

【図８】従来の映像信号符号化装置のブロック図。

【図９】図８の装置におけるＶＢＶバッファ占有量の時
間的推移を示す線図。

【図１０】図８の映像信号符号化装置量における量子化
制御回路の詳細構成を示すブロック図。

【符号の説明】

２ フレームメモリ ４ アクティビティ検出回路 ６ 動き検出回路 ８ 動き補償回路 １０ フレームメモリ １２ 減算回路 １４ ＤＣＴ回路 １６ 量子化回路 ２２ 送信バッファ ２４ 逆量子化回路 ２６ 逆ＤＣＴ回路 ２８ 量子化制御回路 ２８０ 符号量制御回路 ２８２ 仮想バッファ制御回路 ２８４ 量子化スケール設定回路 ２８６ レート設定回路 ３０ 可変長符号化回路 ３２ 残り容量演算回路

Claims (6)

【特許請求の範囲】
1. 【請求項１】転送レートを一定に保ちながら映像信号の
   符号化を行う固定転送レート符号化手段と、転送レート
   をその都度の最大転送レートに設定して映像信号の符号
   化を行う可変転送レート符号化手段と、固定転送レート
   符号化手段から可変転送レート符号化手段へ、またはそ
   の逆に切替える転送レート切替手段とを備えたことを特
   徴とする映像信号符号化装置。
2. 【請求項２】請求項１に記載の映像信号符号化装置にお
   いて、転送レート切替手段が符号化前または符号化途中
   で切替え動作することを特徴とする映像信号符号化装
   置。
3. 【請求項３】請求項１または２に記載の映像信号符号化
   装置において、転送レート切替手段を符号化途中で切替
   えて符号化転送レートの切替を行ったときに出力される
   各映像符号化信号を連続した同一ビットストリームと
   し、このビットストリームの画質が、符号化の切替時に
   急変しないようにするバッファ手段をさらに備えたこと
   を特徴とする映像信号符号化装置。
4. 【請求項４】請求項１ないし３のいずれかに記載の映像
   信号符号化装置において、可変転送レート符号化手段
   は、外部から量子化スケールを符号化前および符号化途
   中で設定する手段を備えていることを特徴とする映像信
   号符号化装置。
5. 【請求項５】請求項１ないし４のいずれかに記載の映像
   信号符号化装置において、固定転送レート符号化手段
   は、外部からの転送レート切替信号に応答して平均転送
   レートを符号化前または符号化途中で設定する手段を備
   えていることを特徴とする映像信号符号化装置。
6. 【請求項６】請求項１ないし５のいずれかに記載の映像
   信号符号化装置において、符号化された映像信号を記録
   する記録媒体の残り容量を、記録媒体の使用可能な全容
   量と符号化発生総符号量とから算出し、固定転送レート
   符号化手段における単位時間転送レートにより時間換算
   する手段を備えていることを特徴とする映像信号符号化
   装置。