JPH11234677A - 可変転送レート符号化方法および装置、記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 例えば放送や通信などによってリアルタイム
で送信されてくる動画像信号に対しても可変転送レート
での符号化を行うことを可能にする。 【解決手段】 例えばＭＰＥＧ符号化等の手法を用いて
入力画像信号を固定転送レートで符号化する。この固定
転送レートで符号化された固定転送レート符号化データ
を記憶回路２２に記録する。また、この記憶回路２２に
記録された固定転送レート符号化データの符号化情報を
観測して記憶回路２２に記録、あるいは、ＶＬＣ器５か
らの固定転送レート符号化データの符号化情報を観測し
て記憶回路２２に記録する。ＡＣ符号削除器２８では、
その符号化情報と、ＣＰＵ２５にて設定される目標とす
る平均可変転送レートもしくは目標符号量もしくは削減
したい周波数に関する情報をもとに、固定転送レート符
号化データの交流成分に対応する符号を削除する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号（ビデ
オ信号）を符号化するビデオ信号符号化方法及びそれに
対応するビデオ信号符号化装置、特に直交変換と量子化
を使用した符号化を行うビデオ信号符号化方法および装
置に適用可能なものであって、特に固定転送レート符号
化データを可変レート符号化データへ変換することを特
徴とする可変転送レート符号化方法および装置、並びに
その可変転送レート符号化データを記録してなる記録媒
体に関する。

【０００２】

【従来の技術】従来の可変転送レート符号化技術の一例
として特開平７−２８４０９７号公報に記載の技術によ
ると、ビデオ信号を第１のパスと第２のパスに分けてそ
れぞれ符号化し、第１のパスでは第２のパスの符号化に
必要な情報を生成して出力するようにしている。なお、
このときの符号化方式にはいわゆるＭＰＥＧなどの方式
が使われる。

【０００３】ＭＰＥＧについては、ＩＳＯ−ＩＥＣ１１
１７２−２、ＩＴＵ−Ｔ Ｈ．２６２／ＩＳＯ−ＩＥＣ
１３８１８−２に詳細な説明がなされているので、ここ
では概略のみ説明する。

【０００４】ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ
ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会
合同技術委員会１／専門部会２，現在のＳＣ２９）に設
立された動画像符号化標準を検討する組織の名称（Movi
ng Pictures Expert Group）の略称である。ＭＰＥＧ１
（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メ
ディアを対象とした標準で、静止画符号化を目的とした
ＪＰＥＧ（Joint Photographic Coding Experts Grou
p）と、ＩＳＤＮ（integrated services digitalnetwor
k：統合サービスディジタル通信網）のテレビ会議やテ
レビ電話の低転送レート用の動画像圧縮を目的とした
Ｈ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ
ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積
メディア用に新しい技術を導入したものである。これら
は１９９３年８月、ＩＳＯ／ＩＥＣ１１１７２として成
立している。

【０００５】ＭＰＥＧ１は、幾つかの技術を組み合わせ
て作成されている。

【０００６】入力画像信号からは、動き補償器で復号化
した画像信号と当該入力画像信号との差分を取ることで
時間冗長部分が削減される。

【０００７】予測の方法は、基本的なモードとして、過
去の画像からの予測を行うモードと、未来の画像からの
予測を行うモードと、過去と未来の両方の画像からの予
測を行うモードとの３モードが存在する。またこれらの
モードは、１６画素×１６画素のマクロブロック（Ｍ
Ｂ：Macroblock）毎に切り替えて使用できる。予測方法
は、入力画像に与えられたピクチャタイプ（Picture＿T
ype）によって決定される。過去の画像から予測を行っ
て符号化するモードと予測をしないでそのマクロブロッ
クを独立に符号化するモードとの２つのモードが存在す
るのが、片方向ピクチャ間予測符号化画像（Ｐピクチ
ャ：P-picture）である。また、未来の画像からの予測
を行うモードと、過去の画像からの予測を行うモード
と、過去と未来の両方の画像からの予測を行うモード
と、予測をしないで独立に符号化するモードの４つのモ
ードが存在するのが、双方向ピクチャ間予測符号化画像
（Ｂピクチャ：B-Picture）である。そして、全てのマ
クロブロックを独立に符号化するのが、ピクチャ内独立
符号化画像（Ｉピクチャ：I-picture）である。なお、
ピクチャ内独立符号化画像はイントラピクチャと呼ば
れ、このため、片方向ピクチャ間予測符号化画像と双方
向ピクチャ間予測符号化画像は非イントラピクチャとい
うことができる。

【０００８】動き補償では、動き領域をマクロブロック
毎にパターンマッチングを行ってハーフペル精度で動き
ペクトルを検出し、その検出した動きベクトルの動き分
だけシフトしてから予測する。動きペクトルは、水平方
向と垂直方向の動きベクトルが存在し、何処からの予測
かを示すＭＣ（Motion Compensation）モードとともに
マクロブロックの付加情報として伝送される。

【０００９】図１２には、ＭＰＥＧ１が適用されるビデ
オ信号符号化装置の基本的な構成を示している。

【００１０】この図１２において、入力端子１０１には
入力画像信号が供給され、この入力画像信号は演算器１
０２と後述する動き補償予測器１１１に送られる。

【００１１】演算器１０２では、動き補償予測器１１１
にて復号化した画像信号と入力画像信号との差分が求め
られ、その差分画像信号がＤＣＴ器１０３に送られる。

【００１２】ＤＣＴ器１０３では、供給された差分画像
信号を直交変換する。ここでＤＣＴ（Discrete Cosine
Transform）とは、余弦関数を積分核とした積分変換を
有限空間への離散変換とする直交変換である。ＭＰＥＧ
ではマクロブロックを４分割した８×８のＤＣＴブロッ
クに対して、２次元ＤＣＴを行う。なお、一般に、ビデ
オ信号は低域成分が多く、高域成分が少ないため、ＤＣ
Ｔを行うと係数が低域に集中する。

【００１３】ＤＣＴ器１０３でのＤＣＴによって得られ
たデータ（ＤＣＴ係数）は、量子化器１０４で量子化が
行われる。この量子化器１０４における量子化では、量
子化マトリックスという８×８の２次元周波数を視覚特
性で重み付けした値と、その全体をスカラー倍する量子
化スケールという値で乗算した値とを量子化値として、
ＤＣＴ係数をその量子化値で除算する。

【００１４】なお、当該ビデオ信号符号化装置にて符号
化された後の符号化データを、後に図示しないビデオ信
号復号装置（デコーダ）で復号して逆量子化するとき
は、そのビデオ信号符号化装置にて使用した量子化値で
乗算を行うことにより、元のＤＣＴ係数に近似している
値を得ることができる。

【００１５】量子化器１０４にて量子化されたデータ
は、ＶＬＣ器１０５で可変長符号化される。このＶＬＣ
器１０５では、量子化された値のうち、直流（ＤＣ）成
分に対しては、予測符号化のひとつであるＤＰＣＭ（di
fferencial pulse code modulation）を使用して符号化
する。また、交流（ＡＣ）成分に対しては、低域から高
域に向けていわゆるジグザグスキャン（zigzag scan）
を行い、ゼロのラン長および有効係数値を１つの事象と
し、出現確率の高いものから符号長の短い符号を割り当
てていく、いわゆるハフマン符号化を行う。

【００１６】ＶＬＣ器１０５にて可変長符号化されたデ
ータは、一時、バッファメモリ１０６に蓄えられた後、
このバッファメモリ１０６から所定の転送レートで読み
出され、符号化データ（符号化ビットストリーム）とし
て出力端子１０７から出力される。

【００１７】また、その出力される符号化データにおけ
るマクロブロック毎の発生符号量は、後述するバッファ
管理器１１２を介して符号量制御器１１３に送信され
る。この符号量制御器１１３は、マクロブロック毎の発
生符号量と目標符号量との差分を求め、当該差分に応じ
た符号量制御信号を生成して量子化器１０４にフィード
バックすることにより、発生符号量制御を行う。当該符
号量制御のために量子化器１０４にフィードバックされ
る符号量制御信号は、量子化器１０４における量子化ス
ケールを制御するための信号である。具体的な符号量制
御の方法については後述の通りである。

【００１８】一方、量子化された画像データは、逆量子
化器１０８に送られ、ここで逆量子化される。

【００１９】さらに、この逆量子化により得られたＤＣ
Ｔ係数データは、逆ＤＣＴ器１０９に送られて逆ＤＣＴ
された後、演算器１１２にて動き補償予測器１１１から
の予測差分画像が加算されて画像信号が復元される。

【００２０】この復元された画像信号は、一時、画像メ
モリ１１０に蓄えられた後、動き補償予測器１１１に送
られる。画像メモリ１１０から動き補償予測器１１１に
送られた画像信号は、演算器１０２にて差分画像を計算
するためのリファレンスの復号化画像を生成するために
使用される。

【００２１】また、出力端子１０７から出力される符号
化データである符号化ビットストリームは、ビデオ信号
の場合、１ピクチャ毎に可変長の符号量をもっている。
これは、ＭＰＥＧがＤＣＴ、量子化、ハフマン符号化と
いう情報変換を用いている理由と同時に、画質向上のた
めにピクチャごとに配分する符号量を適応的に変更して
いるあるためである。すなわち、ＭＰＥＧでは、動き補
償予測を行っているので、あるときは入力画像信号その
ままを符号化し、あるときは予測画像と入力画像信号と
の差分である差分画像信号を符号化するなど、符号化画
像自体のエントロピィが大きく変化するためである。こ
の場合、多くはその画像エントロピィ比率に配分しつ
つ、バッファメモリの容量制限を守りながら、符号量制
御がなされる。

【００２２】したがってバッファ管理器１１２は、符号
化により発生した符号量と、使用可能な符号化レートと
の関係を監視し、バッファメモリ１０６において所定の
バッファ容量内に収まるように目標符号量を設定する。

【００２３】この目標符号量に対する実際の発生符号量
の差に対応する情報は可変長符号化器１０５にフィード
バックされ、符号量制御器１１３に入る。符号量制御器
１１３では、量子化器１０６にセットする量子化スケー
ルの値を大きくして発生符号量を抑えたり、逆に量子化
スケールの値を小さくして発生符号量を小さくしたりす
るための符号量制御信号を生成する。

【００２４】上述のように、可変長データを固定の転送
レートのデータ（固定転送レート符号化データ）として
転送する場合、そのデータの受信側となるビデオ信号復
号装置側の最大バッファ量が、その送信側のビデオ信号
符号化装置における発生符号量の上限値となる。すなわ
ち、一定速度で符号化データが入力されて、所定の値だ
け蓄積されたところから、所定の時刻（テレビジョン標
準放送方式の一つであるＮＴＳＣ方式のビデオ信号なら
１／２９．９７ｓｅｃ単位）で復号化を一瞬で行う仮想
的な復号器のモデルを使用し、そのモデルの仮想バッフ
ァメモリ（いわゆるＶＢＶバッファ）にオーバーフロー
もアンダーフローも発生しないように、符号化装置側で
符号化することがＭＰＥＧで規定されている。この規定
を守っていればＶＢＶバッファ内でのレートは局部的に
変化しているものの、観測時間を長く取れば固定の転送
レートとなり、ＭＰＥＧではこのことを固定レートであ
ると定義している。

【００２５】ここで、上述したように定義された固定転
送レートの場合において、符号化装置側で発生符号量が
少ないときには、復号装置側ではバッファ占有量が上限
値に張り付いた状態になる。この場合、例えば無効ビッ
トを追加してバッファ（ＶＢＶバッファ）がオーバーフ
ローしないように、符号化装置側において符号量を増や
さなければならない。

【００２６】一方、可変転送レートの場合には、この固
定転送レートの定義を拡張して、バッファ占有率が上限
値になったときに、復号装置における読み出しを中止す
ることにより、原理的にオーバーフローが起きないよう
に定義されている。したがって、可変転送レートの場合
において、仮に非常に発生符号量が少なくても、復号装
置の読み出しが中止されるので、固定転送レートの時の
ように無効ビットを入れる必要はない。このため、可変
転送レートの場合にはアンダーフローだけが発生しない
ように符号化する。

【００２７】このような技術を背景にし、従来の可変転
送レート符号化においてビデオ信号を第１のパスと第２
のパスに分けて符号化し、第１のパスでは第２のパスの
符号化に必要な情報を出力するような技術の説明を行
う。

【００２８】図１３には、従来例の第１のパスの符号化
を行うための構成を示す。なお、この図１３において、
図１２に示した基本構成の各構成要素と同様に動作する
部分にはそれぞれ同じ指示符号を付加してそれらの説明
は省略する。

【００２９】この図１３に示す第１のパスの構成では、
入力端子１０１にビデオ信号が再生入力される。その
際、符号化情報には、全ビデオシーケンスに対して短区
間ごとに発生する発生符号量情報などが付加される。

【００３０】この発生符号量は、ＶＬＣ器１０５でのＶ
ＬＣ後に、符号量カウンタ１２１にて計算され、記憶回
路１２２に送られて記憶される。

【００３１】記憶回路１２２は、例えばハードディスク
や光ディスクなど、高速のストレージメディアなど何で
もよい。

【００３２】なお、当該第１のパスは、正確な圧縮が行
われたか否かをモニタする程度に用いられるので、この
図１３には図示しているが、バッファメモリ１０６とそ
の後の符号化データの出力は、符号量をカウントできれ
ば必ずしも必要ない。

【００３３】ところで、ＭＰＥＧに代表されるような符
号化方式では、可変長符号化を行っているので量子化幅
を固定にして第１のパスの符号化を行うと、符号化画像
の複雑さや、動き補償の差分（残差成分）量に応じて発
生符号量が多くなる。

【００３４】したがって、この性質を利用して、発生符
号量の配分を行うようにすれば、画質をほぼ均一にする
ことが可能となる。なお、後述する第２のパスの符号化
では、その符号量配分比率を保つと同時に、発生符号量
を全体の目標符号量に制御しなければならない。

【００３５】発生符号量は、第１のパスの符号化で発生
した短区間単位で検出し、その情報を記憶回路１２２に
記憶する。短区間の例としては、ピクチャ内独立符号化
ごとに区切ることができ、約１５ピクチャ程度の１ＧＯ
Ｐ（グループオブピクチャ）が考えられる。この場合、
各ＧＯＰ単位にどの位の発生符号量であったかが記憶回
路１２２に記憶される。

【００３６】第１のパスの符号化では、一般的に量子化
幅を小さめで且つ固定にして、第２パスで出力される最
終的な符号量より多くの符号量を発生させるのが普通で
ある。このように、第１のパスの符号化において量子化
幅を小さくするのは、画像の高周波成分まで細かく情報
を分解し、その画像の特性を検出する必要があるからで
ある。

【００３７】ここで、第１のパスにおいてｉ番目の短区
間内に発生した符号量をＰＳ１Ｂ（ｉ）とする。この各
短区間内で発生した符号量ＰＳ１Ｂ（ｉ）の比率を、第
２のパスでもほぼ同じなるようにし、最終目標総符号量
を第２のパスにおける各短区間内の目標符号量とする。

【００３８】例えば、短区間を１ＧＯＰとすると、以下
の様な方法で画質をある程度保ちながら符号を制御する
ことができる。

【００３９】次に、図１４には、従来例の第２のパスの
符号化を行うための構成を示す。なお、この図１４にお
いて、図１２に示した基本構成の各構成要素と同様に動
作する部分にはそれぞれ同じ指示符号を付加してそれら
の説明は省略する。

【００４０】この図１４に示す第２のパスの構成におい
て、発生符号量を増加させるには、量子化スケールを小
さくし、一方、発生符号量を減少させるには量子化スケ
ールを大きくする。

【００４１】この原理を用いて、例えばバッファメモリ
１０６の占有率をもとに、量子化幅を制御する方法が考
えられる。ここで注意すべき点は、片方向ピクチャ間予
測符号化される画像（Ｐピクチャ）は一つ前のピクチ内
独立符号化画像（Ｉピクチャ）もしくはＰピクチャから
予測され、また、双方向ピクチャ間予測符号化画像（Ｂ
ピクチャ）は、時間的に両側のＩピクチャやＰピクチャ
から予測されている関係上、例えばＩピクチャが劣化す
ると、連動して他のピクチャも劣化する。

【００４２】以下の方式例では、これらのピクチャに対
する符号量配分を考慮しながら全体の符号量制御を実現
している。

【００４３】先ず、目標符号量決定回路１２４では、記
憶回路１２２からの第１のパスで得られた発生符号量Ｐ
Ｓ１Ｂ（ｉ）を使用して、以下の式のように各ＧＯＰの
目標符号量ＰＳ２Ｂ（ｉ）を求める。 ＰＳ２Ｂ（ｉ）＝最終目標総符号量×ＰＳ１Ｂ（ｉ）／
ΣＰＳ１Ｂ（ｉ）

【００４４】ここで、一つのＧＯＰに与える目標符号量
ＰＳ２Ｂ（ｉ）をＲとすると、具体的な符号量制御は、
以下の第１、第２のステップのようなアルゴリズムによ
り、符号量制御器１１３が行う。

【００４５】（Ａ）第１のステップ 第１のステップでは、以下の式のように、ＧＯＰの各ピ
クチャに対する割り当て符号量を、ＧＯＰ内で未だ符号
化していないピクチャに対してある重みを付けて配分す
る。 Ｘｉ＝Ｓｉ×Ｑｉ Ｘｐ＝Ｓｐ×Ｑｐ Ｘｂ＝Ｓｂ×Ｑｂ

【００４６】ここで、Ｘはグローバルコンプレクシティ
メジャー（global complexity measure）と呼ばれ、一
つ前の同ピクチャタイプの符号化結果の発生符号量Ｓと
平均量子化スケールＱとの積で定義するものであり、ｉ
はＩピクチャを、ｐはＰピクチャを、ｂはＢピクチャを
表している。また、理想的な画質を達成する量子化スケ
ールは、Ｉピクチャを基準とした場合のＰピクチャとの
比率がＫｐ＝１．０で、同じくＩピクチャを基準とした
場合のＢピクチャとの比率がＫｂ＝１．４であると仮定
する。

【００４７】このとき、当該第１のステップで割り当て
られる各ピクチャの符号量Ｔｉ，Ｔｐ，Ｔｂは、以下の
各式にて求められる。 Ti=MAX{R/(1+(NpXp/XiKp)+NbXb/XiKb)),br/(8*pr)} Tp=MAX{R/(Np+(NpKpXb/KbXp)),br/(8*pr)} Tb=MAX{R/(Nb+(NpKbXp/KbXp)),br/(8*pr)}

【００４８】なお、各式において、ＴｉはＩピクチャの
符号量を表し、ＴｐはＰピクチャの符号量を、ＴｂはＢ
ピクチャの符号量を、ＭＡＸは最大を、ＲはそのＧＯＰ
に与えられた初期値の符号量を、ＮｐはＧＯＰ内のＰピ
クチャの未符号化ピクチャ枚数、ＮｂはＧＯＰ内のＢピ
クチャの未符号化ピクチャ枚数、ｐｒはピクチャレー
ト、ｂｒはビットレートを表している。

【００４９】ここで、初期値の符号量Ｒは、ＧＯＰ内で
符号化が進むごとに次のように更新する。 Ｒ＝Ｒ−Ｓｉ，ｐ，ｂ

【００５０】（Ｂ）第２のステップ 第２のステップでは第１のステップで割り当てられた各
ピクチャの符号量（Ｔｉ，Ｔｐ，Ｔｂ）と実際の発生符
号量を一致させるため、以下の各式に示すように、マク
ロブロック毎に発生符号量を加算しつつ、目標符号量か
ら途中での予測目標符号量との差を、量子化スケールに
マクロブロック単位でフィードバックする。 dji = dOi+Bj-1−(Ti(j-1) MB＿cnt) djp = dOp+Bj-1−(Tp(j-1) MB＿cnt) djb = dOp+Bj-1−(Tb(j-1) MB＿cnt)

【００５１】なお、各式中において、ｄＯｉはＩピクチ
ャにおける仮想バッファ（ＶＢＶバッファ）の初期占有
量を、ｄＯｐはＰピクチャにおける仮想バッファ（ＶＢ
Ｖバッファ）の初期占有量を、ｄＯｂはＢピクチャにお
ける仮想バッファ（ＶＢＶバッファ）の初期占有量を、
ｊは符号量カウンタ１２１にてカウントされた各ピクチ
ャの先頭から何番目かを示す番号を、Ｂｊは符号量カウ
ンタ１２１でカウントされた各ピクチャの先頭からｊ番
目のマクロブロックまでの発生符号量を、ＭＢ＿ｃｎｔ
は１ピクチャ内のマクロブロック数を、ｄｊｉはＩピク
チャにおけるフィードバック量を、ｄｊｐはＰピクチャ
におけるフィードバック量を、ｄｊｂはＢピクチャにお
けるフィードバック量を示している。

【００５２】さらに、平均量子化スケールＱは、以下の
式にて求められる。 Ｑ＝ｄｊ×３１／ｒ Ｒ = 2×ｂｒ／ｐｒ

【００５３】なお、式中のＱは量子化スケールを、ｒは
フィードバックの応答速度を決定するパラメータであ
る。

【００５４】従来の構成では、上述のような各演算を行
うことにより符号量制御を行うことが可能となる。

【００５５】なお、ＭＰＥＧについては、ＩＳＯ−ＩＥ
Ｃ１１１７２−２、ＩＴＵ−Ｔ Ｈ．２６２／ＩＳＯ−
ＩＥＣ１３８１８−２に詳細な説明がなされているた
め、ここではこれ以上の説明は省略する。

【００５６】

【発明が解決しようとする課題】このように、従来の構
成では可変転送レート符号化を実現するために、上述し
たような２回のパスの符号化を通さなければならない。

【００５７】すなわち、図１３，図１４に示したよう
に、ビデオ信号符号化装置に対して、符号化する動画像
信号を２度入力させなければならなかった。このため、
例えば放送や通信などによってリアルタイムで送信され
てくる動画像信号などのように、１度しか送信されてこ
ない画像信号に関しては、可変転送レート符号化を行う
ことができなかった。

【００５８】本発明は、上述の課題に鑑みてなされたも
のであり、例えば放送や通信などによってリアルタイム
で送信されてくる動画像信号に対しても可変転送レート
での符号化を行うことが可能な可変転送レート符号化方
法および装置、記録媒体の提供を目的とする。

【００５９】

【課題を解決するための手段】本発明に係る可変転送レ
ート符号化方法は、上述の課題を解決するために、複数
のピクチャからなるビデオ信号を直交変換と量子化を使
用して符号化し、可変転送レートにて出力する可変転送
レート符号化方法であって、所定のレートでビデオ信号
を固定転送レートに符号化し、固定転送レートで符号化
された固定転送レート符号化データを記録し、記録され
た固定転送レート符号化データの符号化情報を観測し、
符号化情報と目標とする平均可変転送レートもしくは目
標符号量もしくは削減したい周波数に関する情報をもと
に、固定転送レート符号化データの交流成分に対応する
符号を削除することにより、固定転送レート符号化デー
タを可変転送レート符号化データへ変換するようにして
いる。

【００６０】また、本発明に係る可変転送レート符号化
方法は、上述の課題を解決するために、複数のピクチャ
からなるビデオ信号を直交変換と量子化を使用して符号
化し、可変転送レートにて出力する可変転送レート符号
化方法であって、所定のレートでビデオ信号を固定転送
レートに符号化し、固定転送レートで符号化された固定
転送レート符号化データの符号化情報を観測し、固定転
送レートで符号化された固定転送レート符号化データと
符号化情報を記録し、観測されて記録された符号化情報
と目標とする平均可変転送レートもしくは目標符号量も
しくは削減したい周波数に関する情報をもとに、固定転
送レート符号化データの交流成分に対応する符号を削除
することにより、固定転送レート符号化データを可変転
送レート符号化データへ変換するようにしている。

【００６１】ここで、本発明に係る可変転送レート符号
化方法において、固定転送レート符号化データの交流成
分に対応する符号を削除する場合に、双方向ピクチャ間
予測符号化されたピクチャにおいて実行するようにして
いる。

【００６２】また、本発明に係る可変転送レート符号化
方法において、固定転送レートの符号化では、ピクチャ
内独立符号化されたピクチャと双方向ピクチャ間予測符
号化されたピクチャで符号化するようにしている。

【００６３】同じく本発明に係る可変転送レート符号化
方法において、固定転送レート符号化データの符号化情
報を観測する場合には、少なくともピクチャごとの発生
符号量と平均量子化幅を観測するようにしている。

【００６４】次に、本発明に係る可変転送レート符号化
装置は、上述の課題を解決するために、複数のピクチャ
からなるビデオ信号を直交変換と量子化を使用して符号
化し、可変転送レートにて出力する可変転送レート符号
化装置であって、所定のレートでビデオ信号を固定転送
レートに符号化する固定転送レート符号化手段と、固定
転送レートで符号化された固定転送レート符号化データ
を記録する記録手段と、記録された固定転送レート符号
化データの符号化情報を観測する符号化情報観測手段
と、符号化情報と目標とする平均可変転送レートもしく
は目標符号量もしくは削減したい周波数に関する情報を
もとに、固定転送レート符号化データの交流成分に対応
する符号を削除する交流成分符号削除手段とを有するよ
うになされている。

【００６５】また、本発明に係る可変転送レート符号化
装置は、上述の課題を解決するために、複数のピクチャ
からなるビデオ信号を直交変換と量子化を使用して符号
化し、可変転送レートにて出力する可変転送レート符号
化装置であって、所定のレートでビデオ信号を固定転送
レートに符号化する固定転送レート符号化手段と、固定
転送レートで符号化された固定転送レート符号化データ
の符号化情報を観測する符号化情報観測手段と、固定転
送レート符号化データ及び符号化情報を記録する記録手
段と、観測されて記録手段に記録された符号化情報と目
標とする平均可変転送レートもしくは目標符号量もしく
は削減したい周波数に関する情報をもとに、固定転送レ
ート符号化データの交流成分に対応する符号を削除する
交流成分符号削除手段とを有するようになされている。

【００６６】ここで、本発明に係る可変転送レート符号
化装置において、固定転送レート符号化データの交流成
分に対応する符号を削除する場合に、双方向ピクチャ間
予測符号化されたピクチャにおいて実行するようにして
いる。

【００６７】また、本発明に係る可変転送レート符号化
装置において、固定転送レートの符号化では、ピクチャ
内独立符号化されたピクチャと双方向ピクチャ間予測符
号化されたピクチャで符号化するようにしている。

【００６８】同じく本発明に係る可変転送レート符号化
装置において、固定転送レート符号化データの符号化情
報を観測する場合には、少なくともピクチャごとの発生
符号量と平均量子化幅を観測するようにしている。

【００６９】上述のように構成された本発明に係る可変
転送レート符号化方法および装置によれば、従来の可変
転送レート符号化装置のように、２回のパスを通す必要
がなくなる。すなわち、符号化する動画像信号は１度し
か入力しなくても可変転送レート符号化を行うことか可
能となる。このため、放送や通信等からリアルタイムで
送信されてくる動画像など１度しか送信されない画像に
関しても可変転送レート符号化を行うことが可能にな
る。

【００７０】次に、本発明に係る記録媒体は、複数のピ
クチャからなるビデオ信号を直交変換と量子化を使用し
た符号化により生成された可変転送レート符号化データ
を記録してなる記録媒体であって、所定のレートでビデ
オ信号を固定転送レートに符号化し、固定転送レートで
符号化された固定転送レート符号化データを一時保存
し、一時保存された固定転送レート符号化データの符号
化情報を観測し、符号化情報と目標とする平均可変転送
レートもしくは目標符号量もしくは削減したい周波数に
関する情報をもとに、固定転送レート符号化データの交
流成分に対応する符号を削除することにより、固定転送
レート符号化データを可変転送レート符号化データへ変
換して生成された可変転送レート符号化データを記録し
てなるものである。

【００７１】また、本発明に係る記録媒体は、所定のレ
ートでビデオ信号を固定転送レートに符号化し、固定転
送レートで符号化された固定転送レート符号化データの
符号化情報を観測し、固定転送レートで符号化された固
定転送レート符号化データと前記符号化情報を一時保存
し、観測されて一時保存された符号化情報と目標とする
平均可変転送レートもしくは目標符号量もしくは削減し
たい周波数に関する情報をもとに、固定転送レート符号
化データの交流成分に対応する符号を削除することによ
り、固定転送レート符号化データを可変転送レート符号
化データへ変換して生成された可変転送レート符号化デ
ータを記録してなるものである。

【００７２】ここで、本発明に係る記録媒体において、
ビデオ信号の符号化には、片方向ピクチャ間予測符号化
と双方向ピクチャ間予測符号化とピクチャ内独立符号化
とがあり、固定転送レート符号化データの交流成分に対
応する符号を削除する際には、当該符号の削除を、双方
向ピクチャ間予測符号化されたピクチャにおいて実行し
てなる。

【００７３】また、本発明に係る記録媒体において、ビ
デオ信号の符号化には、片方向ピクチャ間予測符号化と
双方向ピクチャ間予測符号化とピクチャ内独立符号化と
があり、固定転送レートで符号化する際には、前記ピク
チャ内独立符号化されたピクチャと双方向ピクチャ間予
測符号化されたピクチャで符号化してなる。

【００７４】さらに、本発明に係る記録媒体において、
固定転送レート符号化データの符号化情報を観測する際
には、少なくともピクチャごとの発生符号量と平均量子
化幅を観測してなる。

【００７５】

【発明の実施の形態】以下、本発明に係る可変転送レー
ト符号化方法および装置、記録媒体の好ましい実施の形
態について図面を参照しながら詳細に説明する。

【００７６】図１には、本発明に係る可変転送レート符
号化方法及び装置が適用される一実施の形態としてのビ
デオ信号符号化装置の全体構成を示す。なお、本実施の
形態では、動画像信号の符号化手法として例えばＭＰＥ
Ｇ１符号化を用いた例を挙げて説明する。

【００７７】この図１において、本実施の形態のビデオ
信号符号化装置の入力端子１に入力される入力画像信号
は、輝度信号と色差信号で構成されたビデオ信号であ
り、ディジタル化された後にピクチャタイプにあわせて
画像の並べ替えが行われているものである。当該入力画
像信号が固定転送レート符号化データとして記憶回路２
２に記録され、さらにこの記憶回路２２に記録された固
定転送レート符号化データを可変転送レート符号化デー
タに変換するまでの概略構成例を、この図１を用いて説
明する。

【００７８】入力端子１に供給された入力画像信号は、
演算器２と動き補償予測器１１に送られる。

【００７９】動き補償予測器１１では、入力画像信号を
その符号化順に動き補償予測し、演算器２では、入力画
像信号と動き補償予測器１１からの予測画像との差分が
計算される。

【００８０】当該演算器２での演算により得られた差分
画像データは、ＤＣＴ器３においてＤＣＴが行われる。

【００８１】このＤＣＴ器３からのＤＣＴ係数は、量子
化器４で量子化される。その量子化データは、動き補償
予測器１１からの動きベクトルや符号化モードと共にＶ
ＬＣ器５に送られ、当該ＶＬＣ器５で可変長符号化（Ｖ
ＬＣ）される。

【００８２】このＶＬＣ器５での可変長符号化によって
得られた符号化データは、後述するＡＣ符号削除器２８
を通った後、バッファメモリ６に一時蓄積され、その後
に読み出されて、ＭＰＥＧのビデオストリームとして出
力端子７から外部に出力される。この出力端子７から出
力されたＭＰＥＧのビデオストリームは、図示しない本
発明の記録媒体に記録されることになる。

【００８３】また、レート制御器２３は、バッファメモ
リ６の充足度を監視しており、基本的には、バッファメ
モリ６の充足度が多くなると量子化を粗く、少なくなる
と量子化を細かくするような符号化制御信号を、量子化
器４にフィードバックする。すなわち、当該量子化器４
にフィードバックされる符号化制御信号は、量子化幅を
制御するための制御信号である。

【００８４】ここで、本実施の形態においても、前述し
たように、入力画像信号はＭＰＥＧで定義される固定転
送レートで符号化される。この固定転送レート符号化レ
ートは、記録メディアの容量と、記録する入力画像信号
の再生時間に依存するものであるが、その条件内で当該
レートは極力高いほうが望ましい。すなわち画質がよい
ほうが望ましい。なぜならば、当該固定転送レート符号
化データのレートが後述する可変転送レート符号化デー
タ変換において符号化される条件の最大転送レートに等
しくなるからである。

【００８５】このため、本実施の形態では、バッファメ
モリ６から出力される固定転送レート符号化データを、
記憶回路２２に記録するようにしている。なお、本実施
の形態にて用いる記憶回路２２は、記録再生可能なハー
ドディスクや光ディスク、高速のストレージメディアな
ど何でもよい。

【００８６】一方、Ｉピクチャ、Ｐピクチャは、後に動
き補償予測の参照画像として用いる必要があるため、量
子化器４から出力される当該ＩピクチャやＰピクチャの
量子化データは、逆量子化器８以降にも送られる。

【００８７】すなわち、この逆量子化器８での逆量子化
により得られたＤＣＴ係数データは、逆ＤＣＴ器９に送
られて逆ＤＣＴされた後、演算器１２にて動き補償予測
器１１からの予測差分画像が加算されて画像信号が復元
される。

【００８８】この復元された画像信号は、一時、画像メ
モリ１０に蓄えられる。当該復元されて画像メモリ１０
に蓄えられた画像信号は、後のビデオ信号復号装置にお
いて再生されるものと同じ画像信号である。

【００８９】当該画像メモリ１０に蓄えられた画像信号
は、動き補償予測器１１に送られ、次の動き補償予測の
参照画像となされる。つまり、画像メモリ１０から動き
補償予測器１１に送られた画像信号は、演算器２にて差
分画像を計算するためのリファレンスの復号化画像を生
成するために使用される。

【００９０】次に、本実施の形態のビデオ信号符号化装
置では、記憶回路２２に記録された固定転送レート符号
化データを、符号化情報観測器２４に送る。この符号化
情報観測器２４では、固定転送レート符号化データから
各ピクチャの発生符号量や量子化幅を観測し、その発生
符号量や量子化幅を再び記憶回路２２に送って記録させ
る。

【００９１】ここで、ＭＰＥＧ符号化による圧縮データ
は、ピクチャの先頭に４バイトのピクチャスタートコー
ドをつけるように決められている。このピクチャスター
トコードは、「０×０００００１００」といった他のデ
ータと区別できるようバイトアラインされたユニークコ
ードなので、符号化情報観測器２４では、先ずこのピク
チャスタートコードを検出し、次に当該ピクチャスター
トコードが検出されるまでの間の符号量をカウントする
ことにより、そのピクチャの発生符号量を計算するよう
にしている。

【００９２】また、発生符号量は、符号化レートにも依
存するが、１５Ｍｂｐｓ相当で、最大１．７５Ｍビット
程度であり、さらに精度も１０００ビット程度あれば良
い。したがって、記憶回路２２には、１１〜１２ビット
／ピクチャ程度の情報でバイトアラインを考えて、２バ
イト程度の情報を符号化されたピクチャ順番に記録する
ようにしている。

【００９３】さらに、量子化幅情報としては、マクロブ
ロックという１６画素×１６画素のブロック毎に決めら
れる量子化幅の和、もしくは平均値を求めるのが理想的
であるが、いわゆるＮＴＳＣ放送方式の７２０×４８０
画素のピクチャの場合には１３５０個のマクロブロック
の平均をとらなければならない。

【００９４】この場合、ＭＰＥＧレイヤのうち、本来な
らばマクロブロック層という比較的深い部分まで圧縮デ
ータをＶＬＤ（可変調復号化）しなければならないが、
高速化のために、マクロブロック１列分のスライス層の
先頭にあるスライス量子化幅を量子化幅情報として用い
ることも可能である。

【００９５】このスライス量子化幅は、ＮＴＳＣ放送方
式の７２０×４８０画素のピクチャの場合には３０個
（４８０／１６）存在していて、ピクチャスタートコー
ドと同様にユニークコードであるスライススタートコー
ド「０×０００００１０１〜０×０００００１１Ｅ」の
間で検出することが可能である。なお、スライス量子化
幅はそのスライススタートコードの直後の５ビットにて
示されている。

【００９６】符号化情報観測器２４では、上述した発生
符号量や量子化幅の値を３０個観測して、それらの和も
しくは平均をとるようにしている。なお、量子化幅は、
マクロブロック層でもスライス層でも１〜３１の５ビッ
トで示されるので、当該量子化幅情報は２バイトあれば
表現できる値である。このため、記憶回路２２において
は、当該量子化幅情報を発生符号量情報の後に付加して
記録するようにしている。

【００９７】図１の構成では、符号化した後の固定転送
レート符号化データから発生符号量や量子化幅情報を観
測する例を挙げたが、ＶＬＣ器５での符号化と同時に、
発生符号量や量子化幅情報を観測するようにしてもよ
い。

【００９８】当該ＶＬＣ器５での符号化と同時に発生符
号量や量子化幅情報を符号化情報観測器２４にて観測す
る場合の構成を、図２に示す。なお、この図２におい
て、図１に示した構成の各構成要素と同様に動作する部
分にはそれぞれ同じ指示符号を付加してそれらの説明は
省略する。

【００９９】この図２に示す構成の符号化情報観測器２
４では、例えば、ＶＬＣ器５で可変長符号化を行ってい
るときの符号化データを用いて、例えばピクチャスター
トコード間の符号をカウントすることにより、符号化時
のマクロブロック毎の量子化幅の和もしくは平均値を観
測するようにしている。当該符号化情報観測器２４にて
観測された発生符号量や量子化幅情報は、記憶回路２２
に記録される。もちろん、符号化情報観測器２４では、
前述したように、ピクチャスタートコード間で量子化幅
を求める代わりに、スライススタートコード間でスライ
ス量子化幅を求めることも可能である。

【０１００】上述した図１及び図２の構成においては、
記憶回路２２に記録された発生符号量情報と量子化幅情
報、固定転送レート符号化データ等を用いて、後述する
ように、当該固定転送レート符号化データを可変転送レ
ート符号化データに変換するようにしている。

【０１０１】すなわち、図１及び図２の構成の符号量制
御回路３０は、記憶回路２２に記録された発生符号量情
報と量子化幅情報、固定転送レート符号化データ、及
び、後述する目標とする平均可変転送レートもしくは目
標符号量もしくは削減したい周波数に関する情報をもと
に、当該固定転送レート符号化データを可変転送レート
符号化データに変換するための符号量制御信号を生成
し、この符号量制御信号をＡＣ符号削除器２８に送るよ
うにしている。

【０１０２】ＡＣ符号削除器２８では、符号量制御回路
３０からの符号量制御信号に基づいて、ＶＬＣ符号器５
からの符号化データの交流成分（ＡＣ成分）に対応する
符号を削除することにより、固定転送レート符号化デー
タを可変転送レート符号化データへ変換する。

【０１０３】図３には、記憶回路２２に記録された発生
符号量情報と量子化幅情報、固定転送レート符号化デー
タ等を用いて、当該記憶回路２２から読み出された固定
転送レート符号化データを可変転送レート符号化データ
に変換するための構成、すなわち、図１及び図２の符号
量制御回路３０及びＡＣ符号削除器２８の、より具体的
な構成を示している。なお、この図３には、説明の都合
上、符号量制御回路３０及びＡＣ符号削除器２８だけで
なく、記憶回路２２やＶＬＣ回路５、バッファメモリ
６、出力端子７等も同時に示している。

【０１０４】この図３において、記憶回路２２に記録さ
れた発生符号量情報および量子化幅情報は、当該記憶回
路２２から読み出されて、符号量制御回路３０の目標符
号量決定回路２６に入力される。また、当該記憶回路２
２に記録されていた固定転送レート符号化データは、Ｖ
ＬＤ器５に送られる。

【０１０５】記録回路２２からの発生符号量情報および
量子化幅情報が供給された、目標符号量決定回路２６に
はまた、例えばＣＰＵ（中央処理ユニット）２５から、
可変転送レート符号化データの目標符号量が設定され
る。なお、このＣＰＵ２５は、本実施の形態では符号量
制御回路３０の外部に設けるようにしているが、内部に
設けることも可能である。当該ＣＰＵ２５にて設定され
る目標符号量は、これから可変転送レート符号化データ
に変換しようとする固定転送レート符号化データの再生
時間がわかれば、平均可変転送レートを入力するのと等
価となる。

【０１０６】ここで、この目標符号量決定回路２６にお
ける符号化量決定のアルゴリズム例を以下に説明する。

【０１０７】例えば、前述したように符号化情報観測器
２４が観測したピクチャ毎の発生符号量をＢＩＴ(i)、
そのときのピクチャ全体の平均量子化幅をＱ（ｉ）、固
定転送レート符号化データを可変転送レート符号化デー
タに変換した後の全体の目標符号量をＴＢとする。な
お、（ｉ）はピクチャの番号を示す。これらを用いて、
可変化転送レート符号化データの各ピクチャに与える全
体の目標符号量ＴＧ（ｉ）は、以下の式により求めるこ
とができる。 ＥＮ（ｉ）＝ＢＩＴ（ｉ）^0.8×Ｑ(i) ＴＧ（ｉ）＝ＴＢ×ＥＮ（ｉ）／ΣＥＮ（ｉ）

【０１０８】この式により求めた、可変化転送レート符
号化データの各ピクチャに与える全体の目標符号量（ピ
クチャ目標符号量情報）ＴＧ（ｉ）は、削除符号量制御
回路２７に送られる。なお、式中のＥＮは、その観測し
たピクチャ複雑さや、動き補償時の誤差量にほぼ比例し
ており、符号化の難しさを表すものである。このＥＮの
値が高いときには符号を与え、小さいときには符号を削
除することで、画質を一定にした符号量割り付けが可能
となる。すなわち、可変転送レート符号化データの各ピ
クチャに与える全体の目標符号量ＴＧは、この比率で、
当該可変転送レート符号化データに変換した後の全体の
目標符号量ＴＢを分配していることに他ならない。

【０１０９】削除符号量制御回路２７では、目標符号量
決定回路２６にて上述のようにして求めたピクチャ目標
符号量ＴＧ（ｉ）と、符号量カウンタ２１がバッファメ
モリ６からの符号化データをカウントして生成したピク
チャ符号量情報との差から、符号をどのくらいに削除す
るかの割合を計算し、その結果を削除割当情報としてＡ
Ｃ符号削除器２８に送信する。

【０１１０】一方、記憶回路２２から読み出されてＶＬ
Ｄ器５に送られた固定転送レート符号化データは、当該
ＶＬＤ器５にて可変長復号化される。

【０１１１】すなわち、各ピクチャのマクロブロックの
ＡＣ符号コードは、図４〜図７の各表に示したＭＰＥＧ
で規定されたハフマン符号で符号化されているため、当
該ＶＬＤ器５ではその可変長符号化に対応する可変長復
号を行う。なお、図４にはＤＣＴ係数とコンビネーショ
ンコードとの対応表を、図５にはゼロラン長のコード表
を、図６にはＤＣＴ係数とレベルコードとの対応表を、
図７にはＶＬＣコードと１例のゼロラン長との対応表を
示すが、これら図４〜図７の表についてはＩＳＯ／ＩＥ
Ｃ １１１７２−２に規定されているものであるため、
ここではその説明は省略する。

【０１１２】ここで、マクロブロックの中には輝度信号
４つ、色差信号２つの計６つ分の８×８画素のブロック
が存在する。このブロックそれぞれにＡＣ符号（ＤＣＴ
係数）が存在する。図８には、当該８×８画素のブロッ
クの一例を示し、図中のＤＣが直流成分を、それ以外の
数字はＡＣ符号を表しているこの図８に示した８×８画
素のブロック内のハフマン符号事象は、図９に示すよう
に、当該ブロック内のＤＣＴ係数をジグザグにならべた
時に、０以外の有効係数（ＤＣＴ係数）が検出されるま
での、０の個数（０ランレングス）とそれら有効係数と
の組み合わせの事象によって表現されている。

【０１１３】すなわち、これらを展開したとすると、図
１０に示すイントラ（Ｉピクチャ）の場合、図１１に示
す非イントラ（Ｐ，Ｂピクチャ）の場合では、図中左上
に来るＤＣ符号コードの存在、非存在の違いがあるが、
いずれにしてもこれら図１０及び図１１に示すイントラ
及び非イントラにおけるマクロブロックの１６画素×１
６画素の領域に展開されることになる。

【０１１４】ＶＬＤ器５では、このようなＤＣＴ係数の
ＡＣ符号の「０ランレングスと有効係数」事象とその符
号長を検出して、図９に示したようなＤＣＴ係数のＡＣ
符号が送られてくる順番、すなわち、低域のＤＣＴ係数
から順にジグザグスキャンして並べたときの、それらの
符号長の累積符号量と、当該ジグザグスキャンした場合
の各ＤＣＴ係数の位置を示すアドレスとを計算して、そ
れらの情報をＶＬＤ情報として、符号化データと共にＡ
Ｃ符号削除器２８に送信する。

【０１１５】当該ＡＣ符号削除器２８では、ＶＬＤ器５
から送られてきた符号化データ及びＶＬＤ情報と、削除
他符号量制御回路２７から送られてきた削除割合情報と
をもとにして、ＤＣＴ係数のＡＣ符号を削減する。

【０１１６】なお、ＶＬＤ情報は、ＤＣＴ係数のＡＣ符
号とその符号長を含んでいる。したがって、ＡＣ符号削
除器２８では、図９に示すように、ＡＣ符号をジグザグ
スキャンにより低域側から並べたときの、その符号長の
目累積符号量のトータル符号量に、（１−削除割合）の
値を乗じた値までを有効として、それ以降のＡＣ符号を
削除する。

【０１１７】また、ＡＣ符号削除器２８では、当該削除
後のＡＣ符号についてはいわゆるＥＯＢ（END OF BLOC
K）コードを付加して送信する。この操作によって、各
ブロックのＡＣ符号が削除割合分だけ削除される。

【０１１８】このようにして全部のブロックを処理した
後の符号化データは、１ピクチャ分だけバッファメモリ
６に蓄積され、さらにピクチャ全体の符号が符号量カウ
ンタ２１にて計算され、その結果が削除符号量制御回路
２７に送られる。

【０１１９】なお、符号量カウンタ２１にてカウントし
た符号量の値が、目標符号量に対して大きい場合には、
もう一度、その削除されたピクチャ符号化データがＶＬ
Ｄ器５に送られて上述同様の処理が繰り返される。

【０１２０】一方で、符号量カウンタ２１にてカウント
した符号量の値が、最終的に目標符号量に達したなら
ば、バッファメモリ６に蓄積されたデータが可変転送レ
ート符号化データとして出力端子７から出力される。

【０１２１】また、ＡＣ符号削除器２８は、ＡＣ符号以
外の部分はなにも操作せず、バッファメモリ６に送信す
る。

【０１２２】さらに、各ピクチャの符号化データは目標
符号量に達するまで、上述したように繰り返し処理さ
れ、最終的に目標符号量に達したときに、先に出力した
符号化データに繋げて出力される。したがって、出力端
子７からの出力符号化データは、ピクチャ単位で出力さ
れることになる。

【０１２３】本発明の可変転送レート符号化方法及び装
置が適用される本実施の形態のビデオ信号符号化装置に
よれば、上述のような処理によって目標の符号量まで符
号を削減することが可能である。

【０１２４】また、本発明実施の形態の記録媒体によれ
ば、本実施の形態のビデオ信号符号化装置によって上述
したようにして生成された可変転送レート符号化データ
を記録してなることで、記録媒体の容量は有効に活用さ
れることになり、その可変転送レート符号化データを後
に復号した場合にも良好な復号データが得られることに
なる。

【０１２５】なお。ＤＣＴ係数のＡＣ符号の削減の方法
としては、上述したような目標符号量に基づく削減方法
だけでなく、ある特定の周波数以降に対応するＡＣ符号
を削減するといった方法も考えられる。この場合、図３
のＣＰＵ２５からは、前述した平均転送レートもしくは
目標符号量の情報の代わりに、ブロックのアドレスを指
定する。

【０１２６】すなわち、この場合は、図９に示したＤＣ
Ｔ係数のＡＣ符号の低域側からジグザグスキャン順に並
べたときのアドレスを監視して、所定のアドレス数より
後のＡＣ符号を削減すれば良い。これにより、最終的に
出力される可変転送レート符号化データの総符号量は制
御できないものの、特定の画質（すなわち帯域）を持っ
た可変転送レート符号化データへ、固定転送レート符号
化データを変換することが可能となる。

【０１２７】また、この特定の周波数以降に対応するＡ
Ｃ符号を削減する処理を行うと、ＭＰＥＧのＰピクチャ
では、固定転送レート符号化を行った時点よりも、画質
が劣化していることになる。したがって、その劣化した
画像からまたその次の片方向ピクチャ間予測を循環して
行うようにすると、誤差が蓄積して劣化が目立つように
なる虞がある。このような場合には、ＤＣＴ係数のＡＣ
符号を削除するピクチャは、ＩピクチャかＢピクチャに
限定することも効果的である。これによって、巡回によ
る誤差が蓄積することを防ぐことが可能となる。

【０１２８】さらに、この場合は、固定転送レート符号
化を行う時点から、ＩピクチャかＢピクチャだけで符号
化することも有効である。

【０１２９】本発明は、上述した実施の形態に限定され
ることはなく、本発明に係る技術的思想を逸脱しない範
囲であれば、設計等に応じて種々の変更が可能であるこ
とは勿論であり、符号化の手法も前述したＭＰＥＧ１に
限らない。

【０１３０】

【発明の効果】請求項１及び請求項６に記載の本発明に
係る可変転送レート符号化方法及び装置においては、所
定のレートでビデオ信号を固定転送レートに符号化し、
固定転送レートで符号化された固定転送レート符号化デ
ータを記録し、記録された固定転送レート符号化データ
の符号化情報を観測し、符号化情報と目標とする平均可
変転送レートもしくは目標符号量もしくは削減したい周
波数に関する情報をもとに、固定転送レート符号化デー
タの交流成分に対応する符号を削除することにより、固
定転送レート符号化データを可変転送レート符号化デー
タへ変換するようにしているため、符号化する動画像信
号は１度しか入力しなくても可変転送レート符号化を行
うことが可能となり、したがって、放送や通信などから
リアムタイムで送信されてくる動画像など１度しか送信
されない画像に関しても可変転送レート符号化を行うこ
とが可能になる。

【０１３１】請求項２及び請求項７に記載の本発明に係
る可変転送レート符号化方法及び装置においては、所定
のレートでビデオ信号を固定転送レートに符号化し、固
定転送レートで符号化された固定転送レート符号化デー
タの符号化情報を観測し、固定転送レートで符号化され
た固定転送レート符号化データと符号化情報を記録し、
観測されて記録された符号化情報と目標とする平均可変
転送レートもしくは目標符号量もしくは削減したい周波
数に関する情報をもとに、固定転送レート符号化データ
の交流成分に対応する符号を削除することにより、固定
転送レート符号化データを可変転送レート符号化データ
へ変換するようにしているため、符号化する動画像信号
は１度しか入力しなくても可変転送レート符号化を行う
ことが可能となり、したがって、放送や通信などからリ
アムタイムで送信されてくる動画像など１度しか送信さ
れない画像に関しても可変転送レート符号化を行うこと
が可能になる。

【０１３２】請求項３及び請求項８に記載の本発明に係
る可変転送レート符号化方法及び装置においては、固定
転送レート符号化データの交流成分に対応する符号を削
除する場合に、双方向ピクチャ間予測符号化されたピク
チャにおいて実行するようにしているため、符号を削除
する場合に、巡回による誤差の蓄積を防止しながら、可
変転送レート符号化を行うことが可能となる。

【０１３３】請求項４及び請求項９に記載の本発明に係
る可変転送レート符号化方法及び装置においては、固定
転送レートの符号化では、ピクチャ内独立符号化された
ピクチャと双方向ピクチャ間予測符号化されたピクチャ
で符号化するようにしているため、符号を削除する場合
に、巡回による誤差の蓄積を防止しながら、可変転送レ
ート符号化を行うことが可能となる。

【０１３４】請求項５及び請求項１０に記載の本発明に
係る可変転送レート符号化方法及び装置においては、固
定転送レート符号化データの符号化情報を観測する場合
に、少なくともピクチャごとの発生符号量と平均量子化
幅を観測するようにしており、これらは例えばピクチャ
スタートコード間の符号量をカウントするだけで容易に
観測することができる。

【０１３５】上述のように、本発明に係る可変転送レー
ト符号化方法および装置によれば、従来の可変転送レー
ト符号化装置のように２回のパスを通す必要がなくな
る。すなわち、符号化する動画像信号は１度しか入力し
なくても可変転送レート符号化を行うことが可能とな
る。したがって、放送や通信などからリアムタイムで送
信されてくる動画像など１度しか送信されない画像に関
しても可変転送レート符号化を行うことが可能になる。
また、符号を削除する場合、巡回による誤差の蓄積防止
しながら、可変転送レート符号化を行うことが可能とな
る。

【０１３６】請求項１１に記載の本発明に係る記録媒体
においては、複数のピクチャからなるビデオ信号を直交
変換と量子化を使用した符号化により生成された可変転
送レート符号化データを記録してなる記録媒体であっ
て、所定のレートでビデオ信号を固定転送レートに符号
化し、固定転送レートで符号化された固定転送レート符
号化データを一時保存し、一時保存された固定転送レー
ト符号化データの符号化情報を観測し、符号化情報と目
標とする平均可変転送レートもしくは目標符号量もしく
は削減したい周波数に関する情報をもとに、固定転送レ
ート符号化データの交流成分に対応する符号を削除する
ことにより、固定転送レート符号化データを可変転送レ
ート符号化データへ変換して生成された可変転送レート
符号化データを記録してなるものであり、したがって、
その記録媒体の容量は有効に活用されており、その可変
転送レート符号化データを後に復号した場合にも良好な
復号データが得られることになる。

【０１３７】請求項１２に記載の本発明に係る記録媒体
は、所定のレートでビデオ信号を固定転送レートに符号
化し、固定転送レートで符号化された固定転送レート符
号化データの符号化情報を観測し、固定転送レートで符
号化された固定転送レート符号化データと前記符号化情
報を一時保存し、観測されて一時保存された符号化情報
と目標とする平均可変転送レートもしくは目標符号量も
しくは削減したい周波数に関する情報をもとに、固定転
送レート符号化データの交流成分に対応する符号を削除
することにより、固定転送レート符号化データを可変転
送レート符号化データへ変換して生成された可変転送レ
ート符号化データを記録してなるものであり、したがっ
て、その記録媒体の容量は有効に活用されており、その
可変転送レート符号化データを後に復号した場合にも良
好な復号データが得られることになる。

【０１３８】請求項１３に記載の本発明に係る記録媒体
において、ビデオ信号の符号化には、片方向ピクチャ間
予測符号化と双方向ピクチャ間予測符号化とピクチャ内
独立符号化とがあり、固定転送レート符号化データの交
流成分に対応する符号を削除する際には、当該符号の削
除を、双方向ピクチャ間予測符号化されたピクチャにお
いて実行してなるため、その可変転送レート符号化デー
タを後に復号した場合に、巡回による誤差の蓄積のない
良好な復号データが得られることになる。

【０１３９】請求項１４に記載の本発明に係る記録媒体
において、ビデオ信号の符号化には、片方向ピクチャ間
予測符号化と双方向ピクチャ間予測符号化とピクチャ内
独立符号化とがあり、固定転送レートで符号化する際に
は、前記ピクチャ内独立符号化されたピクチャと双方向
ピクチャ間予測符号化されたピクチャで符号化してなる
ため、その可変転送レート符号化データを後に復号した
場合に、巡回による誤差の蓄積のない良好な復号データ
が得られることになる。

【０１４０】請求項１５に記載の本発明に係る記録媒体
において、固定転送レート符号化データの符号化情報を
観測する際には、少なくともピクチャごとの発生符号量
と平均量子化幅を観測してなるため、これらは例えばピ
クチャスタートコード間の符号量をカウントするだけで
容易に観測されたものとなる。

【図面の簡単な説明】

【図１】本発明の可変転送レート符号化方法および装置
が適用される実施の形態のビデオ信号符号化装置におい
て、固定転送レート符号化データを符号化情報観測器で
観測して可変転送レート符号化データに変換する場合の
概略構成を示すブロック図である。

【図２】本実施の形態のビデオ信号符号化装置におい
て、符号化しながら発生符号化量や量子化幅情報を符号
化情報観測器で観測して固定転送レート符号化データを
可変長符号化データに変換する場合の概略構成例を示す
ブロック図である。

【図３】本実施の形態のビデオ信号符号化装置におい
て、記憶回路に記録された発生符号量情報と量子化幅情
報、固定転送レート符号化データを用いて、固定転送レ
ート符号化データを可変転送レート符号化データに変換
する具体的構成例を示すブロック図である。

【図４】ＤＣＴ係数とコンビネーションコードとの対応
表を示す図である。

【図５】ゼロラン長のコード表を示す図である。

【図６】ＤＣＴ係数とレベルコードとの対応表を示す図
である。

【図７】ＶＬＣコードと１例のゼロラン長との対応表を
示す図である。

【図８】ＤＣＴされたマクロブロックとＤＣＴ係数の一
例を示す図である。

【図９】マクロブロックのＤＣＴ係数をジグザグスキャ
ンした順にならべた時に、０以外の有効係数が検出され
るまでの、０の個数（０ランレングス）とそれら有効係
数との組み合わせの事象を表現する図である。

【図１０】イントラマクロブロックの場合におけるジグ
ザグスキャンの様子を示す図である。

【図１１】非イントラマクロブロックの場合におけるジ
グザグスキャンの様子を示す図である。

【図１２】従来例のビデオ信号符号化装置の基本構成を
示すブロック図である。

【図１３】従来例のビデオ信号符号化装置において第１
のパスの符号化を行う場合の構成を示すブロック図であ
る。

【図１４】従来例のビデオ信号符号化装置において第２
のパスの符号化を行う場合の構成を示すブロック図であ
る。

【符号の説明】

１…入力端子、２…演算器、３…ＤＣＴ器、４…量子化
器、５…ＶＬＣ器、６…バッファメモリ、７…出力端
子、８…逆量子化器、９…逆ＤＣＴ器、１０…画像メモ
リ、１１…動き補償予測器、１２…演算器、２１…符号
量カウンタ、２２…記憶回路、２３…レート制御器、２
４…符号化情報観測器、２５…ＣＰＵ、２６…目標符号
量決定回路、２７…削除符号量制御器、２８…ＡＣ符号
削除器

Claims (15)

【特許請求の範囲】
1. 【請求項１】 複数のピクチャからなるビデオ信号を直
   交変換と量子化を使用して符号化し、可変転送レートに
   て出力する可変転送レート符号化方法であって、 所定のレートでビデオ信号を固定転送レートに符号化す
   るステップと、 前記固定転送レートで符号化された固定転送レート符号
   化データを記録するステップと、 前記記録された固定転送レート符号化データの符号化情
   報を観測するステップと、 前記符号化情報と目標とする平均可変転送レートもしく
   は目標符号量もしくは削減したい周波数に関する情報を
   もとに、前記固定転送レート符号化データの交流成分に
   対応する符号を削除することにより、前記固定転送レー
   ト符号化データを可変転送レート符号化データへ変換す
   るステップと、を有することを特徴とする可変転送レー
   ト符号化方法。
2. 【請求項２】 複数のピクチャからなるビデオ信号を直
   交変換と量子化を使用して符号化し、可変転送レートに
   て出力する可変転送レート符号化方法であって、 所定のレートでビデオ信号を固定転送レートに符号化す
   るステップと、 前記固定転送レートで符号化された固定転送レート符号
   化データの符号化情報を観測するステップと、 前記固定転送レートで符号化された固定転送レート符号
   化データと前記符号化情報を記録するステップと、 前記観測されて記録された符号化情報と目標とする平均
   可変転送レートもしくは目標符号量もしくは削減したい
   周波数に関する情報をもとに、前記固定転送レート符号
   化データの交流成分に対応する符号を削除することによ
   り、前記固定転送レート符号化データを可変転送レート
   符号化データへ変換するステップと、を有することを特
   徴とする可変転送レート符号化方法。
3. 【請求項３】 前記ビデオ信号の符号化には、片方向ピ
   クチャ間予測符号化と双方向ピクチャ間予測符号化とピ
   クチャ内独立符号化とがあり、 前記固定転送レート符号化データの交流成分に対応する
   符号を削除するステップでは、当該符号の削除を、双方
   向ピクチャ間予測符号化されたピクチャにおいて実行す
   ることを特徴とする請求項１または請求項２記載の可変
   転送レート符号化方法。
4. 【請求項４】 前記ビデオ信号の符号化には、片方向ピ
   クチャ間予測符号化と双方向ピクチャ間予測符号化とピ
   クチャ内独立符号化とがあり、 前記固定転送レートで符号化するステップでは、前記ピ
   クチャ内独立符号化されたピクチャと双方向ピクチャ間
   予測符号化されたピクチャで符号化することを特徴とす
   る請求項１または請求項２記載の可変転送レート符号化
   方法。
5. 【請求項５】 固定転送レート符号化データの符号化情
   報を観測するステップでは、少なくともピクチャごとの
   発生符号量と平均量子化幅を観測することを特徴とする
   請求項１乃至請求項４のうち、いずれか１項記載の可変
   転送レート符号化方法。
6. 【請求項６】 複数のピクチャからなるビデオ信号を直
   交変換と量子化を使用して符号化し、可変転送レートに
   て出力する可変転送レート符号化装置であって、 所定のレートでビデオ信号を固定転送レートに符号化す
   る固定転送レート符号化手段と、 前記固定転送レートで符号化された固定転送レート符号
   化データを記録する記録手段と、 前記記録された固定転送レート符号化データの符号化情
   報を観測する符号化情報観測手段と、 前記符号化情報と目標とする平均可変転送レートもしく
   は目標符号量もしくは削減したい周波数に関する情報を
   もとに、前記固定転送レート符号化データの交流成分に
   対応する符号を削除する交流成分符号削除手段と、を有
   することを特徴とする可変転送レート符号化装置。
7. 【請求項７】 複数のピクチャからなるビデオ信号を直
   交変換と量子化を使用して符号化し、可変転送レートに
   て出力する可変転送レート符号化装置であって、 所定のレートでビデオ信号を固定転送レートに符号化す
   る固定転送レート符号化手段と、 前記固定転送レートで符号化された固定転送レート符号
   化データの符号化情報を観測する符号化情報観測手段
   と、 前記固定転送レート符号化データ及び符号化情報を記録
   する記録手段と、 前記観測されて記録手段に記録された符号化情報と目標
   とする平均可変転送レートもしくは目標符号量もしくは
   削減したい周波数に関する情報をもとに、前記固定転送
   レート符号化データの交流成分に対応する符号を削除す
   る交流成分符号削除手段と、を有することを特徴とする
   可変転送レート符号化装置。
8. 【請求項８】 前記ビデオ信号の符号化には、片方向ピ
   クチャ間予測符号化と双方向ピクチャ間予測符号化とピ
   クチャ内独立符号化とがあり、 前記固定転送レート符号化データの交流成分に対応する
   符号を削除する交流成分符号削除手段では、当該符号の
   削除を、前記双方向ピクチャ間予測符号化されたピクチ
   ャにおいて実行することを特徴とする請求項６または請
   求項７記載の可変転送レート符号化装置。
9. 【請求項９】 前記ビデオ信号の符号化には、片方向ピ
   クチャ間予測符号化と双方向ピクチャ間予測符号化とピ
   クチャ内独立符号化とがあり、 前記固定転送レート符号化手段では、前記ピクチャ内独
   立符号化されたピクチャと双方向ピクチャ間予測符号化
   されたピクチャで符号化することを特徴とする請求項６
   または請求項７記載の可変転送レート符号化装置。
10. 【請求項１０】 前記符号化情報観測手段では、少なく
    ともピクチャごとの発生符号量と平均量子化幅を観測す
    ることを特徴とする請求項６乃至請求項９のうち、いず
    れか１項記載の可変転送レート符号化装置。
11. 【請求項１１】 複数のピクチャからなるビデオ信号を
    直交変換と量子化を使用した符号化により生成された可
    変転送レート符号化データを記録してなる記録媒体であ
    って、 所定のレートでビデオ信号を固定転送レートに符号化
    し、前記固定転送レートで符号化された固定転送レート
    符号化データを一時保存し、前記一時保存された固定転
    送レート符号化データの符号化情報を観測し、前記符号
    化情報と目標とする平均可変転送レートもしくは目標符
    号量もしくは削減したい周波数に関する情報をもとに、
    前記固定転送レート符号化データの交流成分に対応する
    符号を削除することにより、前記固定転送レート符号化
    データを可変転送レート符号化データへ変換して生成さ
    れた可変転送レート符号化データを記録してなることを
    特徴とする記録媒体。
12. 【請求項１２】 複数のピクチャからなるビデオ信号を
    直交変換と量子化を使用した符号化により生成された可
    変転送レート符号化データを記録してなる記録媒体であ
    って、 所定のレートでビデオ信号を固定転送レートに符号化
    し、前記固定転送レートで符号化された固定転送レート
    符号化データの符号化情報を観測し、前記固定転送レー
    トで符号化された固定転送レート符号化データと前記符
    号化情報を一時保存し、前記観測されて一時保存された
    符号化情報と目標とする平均可変転送レートもしくは目
    標符号量もしくは削減したい周波数に関する情報をもと
    に、前記固定転送レート符号化データの交流成分に対応
    する符号を削除することにより、前記固定転送レート符
    号化データを可変転送レート符号化データへ変換して生
    成された可変転送レート符号化データを記録してなるこ
    とを特徴とする記録媒体。
13. 【請求項１３】 前記ビデオ信号の符号化には、片方向
    ピクチャ間予測符号化と双方向ピクチャ間予測符号化と
    ピクチャ内独立符号化とがあり、 前記固定転送レート符号化データの交流成分に対応する
    符号を削除する際には、当該符号の削除を、双方向ピク
    チャ間予測符号化されたピクチャにおいて実行してなる
    ことを特徴とする請求項１１または請求項１２記載の記
    録媒体。
14. 【請求項１４】 前記ビデオ信号の符号化には、片方向
    ピクチャ間予測符号化と双方向ピクチャ間予測符号化と
    ピクチャ内独立符号化とがあり、 前記固定転送レートで符号化する際には、前記ピクチャ
    内独立符号化されたピクチャと双方向ピクチャ間予測符
    号化されたピクチャで符号化してなることを特徴とする
    請求項１１または請求項１２記載の記録媒体。
15. 【請求項１５】 固定転送レート符号化データの符号化
    情報を観測する際には、少なくともピクチャごとの発生
    符号量と平均量子化幅を観測してなることを特徴とする
    請求項１１乃至請求項１４のうち、いずれか１項記載の
    記録媒体。