JPH11234676A - 可変転送レート符号化方法および装置、記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 例えば放送や通信などによってリアルタイム
で送信されてくる動画像信号に対しても可変転送レート
での符号化を行うことを可能にするとともに、編集も容
易にする。 【解決手段】 例えばＭＰＥＧ符号化等の手法を用いて
入力画像信号を固定転送レートで符号化し、その固定転
送レート符号化データを記憶回路２２に記録する。ま
た、この記憶回路２２に記録された固定転送レート符号
化データの符号化情報を観測して記憶回路２２に記録、
あるいは、ＶＬＣ器５からの固定転送レート符号化デー
タの符号化情報を観測して記憶回路２２に記録する。復
号器４０ではこの固定転送レート符号化データを復号
し、可変転送レート符号化器５０では、符号化情報と目
標とする平均可変転送レートもしくは目標符号量に関す
る情報をもとに、その復号画像データを可変転送レート
符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号（ビデ
オ信号）を符号化するビデオ信号符号化方法及びそれに
対応するビデオ信号符号化装置、特に直交変換と量子化
を使用した符号化を行うビデオ信号符号化方法および装
置に適用可能なものであって、特に固定転送レート符号
化データを一時記録した後に可変レート符号化データへ
変換することを特徴とする可変転送レート符号化方法お
よび装置、並びにその可変転送レート符号化データを記
録してなる記録媒体に関する。

【０００２】

【従来の技術】従来の可変転送レート符号化技術の一例
として特開平７−２８４０９７号公報に記載の技術によ
ると、ビデオ信号を第１のパスと第２のパスに分けてそ
れぞれ符号化し、第１のパスでは第２のパスの符号化に
必要な情報を生成して出力するようにしている。なお、
このときの符号化方式にはいわゆるＭＰＥＧなどの方式
が使われる。

【０００３】ＭＰＥＧについては、ＩＳＯ−ＩＥＣ１１
１７２−２、ＩＴＵ−Ｔ Ｈ．２６２／ＩＳＯ−ＩＥＣ
１３８１８−２に詳細な説明がなされているので、ここ
では概略のみ説明する。

【０００４】ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ
ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会
合同技術委員会１／専門部会２，現在のＳＣ２９）に設
立された動画像符号化標準を検討する組織の名称（Movi
ng Pictures Expert Group）の略称である。ＭＰＥＧ１
（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メ
ディアを対象とした標準で、静止画符号化を目的とした
ＪＰＥＧ（Joint Photographic Coding Experts Grou
p）と、ＩＳＤＮ（integrated services digitalnetwor
k：統合サービスディジタル通信網）のテレビ会議やテ
レビ電話の低転送レート用の動画像圧縮を目的とした
Ｈ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ
ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積
メディア用に新しい技術を導入したものである。これら
は１９９３年８月、ＩＳＯ／ＩＥＣ１１１７２として成
立している。

【０００５】ＭＰＥＧ１は、幾つかの技術を組み合わせ
て作成されている。

【０００６】入力画像信号からは、動き補償器で復号化
した画像信号と当該入力画像信号との差分を取ることで
時間冗長部分が削減される。

【０００７】予測の方法は、基本的なモードとして、過
去の画像からの予測を行うモードと、未来の画像からの
予測を行うモードと、過去と未来の両方の画像からの予
測を行うモードとの３モードが存在する。またこれらの
モードは、１６画素×１６画素のマクロブロック（Ｍ
Ｂ：Macroblock）毎に切り替えて使用できる。予測方法
は、入力画像に与えられたピクチャタイプ（Picture＿T
ype）によって決定される。過去の画像から予測を行っ
て符号化するモードと予測をしないでそのマクロブロッ
クを独立に符号化するモードとの２つのモードが存在す
るのが、片方向ピクチャ間予測符号化画像（Ｐピクチ
ャ：P-picture）である。また、未来の画像からの予測
を行うモードと、過去の画像からの予測を行うモード
と、過去と未来の両方の画像からの予測を行うモード
と、予測をしないで独立に符号化するモードの４つのモ
ードが存在するのが、双方向ピクチャ間予測符号化画像
（Ｂピクチャ：B-Picture）である。そして、全てのマ
クロブロックを独立に符号化するのが、ピクチャ内独立
符号化画像（Ｉピクチャ：I-picture）である。なお、
ピクチャ内独立符号化画像はイントラピクチャと呼ば
れ、このため、片方向ピクチャ間予測符号化画像と双方
向ピクチャ間予測符号化画像は非イントラピクチャとい
うことができる。

【０００８】動き補償では、動き領域をマクロブロック
毎にパターンマッチングを行ってハーフペル精度で動き
ペクトルを検出し、その検出した動きベクトルの動き分
だけシフトしてから予測する。動きペクトルは、水平方
向と垂直方向の動きベクトルが存在し、何処からの予測
かを示すＭＣ（Motion Compensation）モードとともに
マクロブロックの付加情報として伝送される。

【０００９】図８には、ＭＰＥＧ１が適用されるビデオ
信号符号化装置の基本的な構成を示している。

【００１０】この図８において、入力端子１０１には入
力画像信号が供給され、この入力画像信号は演算器１０
２と後述する動き補償予測器１１１に送られる。

【００１１】演算器１０２では、動き補償予測器１１１
にて復号化した画像信号と入力画像信号との差分が求め
られ、その差分画像信号がＤＣＴ器１０３に送られる。

【００１２】ＤＣＴ器１０３では、供給された差分画像
信号を直交変換する。ここでＤＣＴ（Discrete Cosine
Transform）とは、余弦関数を積分核とした積分変換を
有限空間への離散変換とする直交変換である。ＭＰＥＧ
ではマクロブロックを４分割した８×８のＤＣＴブロッ
クに対して、２次元ＤＣＴを行う。なお、一般に、ビデ
オ信号は低域成分が多く、高域成分が少ないため、ＤＣ
Ｔを行うと係数が低域に集中する。

【００１３】ＤＣＴ器１０３でのＤＣＴによって得られ
たデータ（ＤＣＴ係数）は、量子化器１０４で量子化が
行われる。この量子化器１０４における量子化では、量
子化マトリックスという８×８の２次元周波数を視覚特
性で重み付けした値と、その全体をスカラー倍する量子
化スケールという値で乗算した値とを量子化値として、
ＤＣＴ係数をその量子化値で除算する。

【００１４】なお、当該ビデオ信号符号化装置にて符号
化された後の符号化データを、後に図示しないビデオ信
号復号装置（デコーダ）で復号して逆量子化するとき
は、そのビデオ信号符号化装置にて使用した量子化値で
乗算を行うことにより、元のＤＣＴ係数に近似している
値を得ることができる。

【００１５】量子化器１０４にて量子化されたデータ
は、ＶＬＣ器１０５で可変長符号化される。このＶＬＣ
器１０５では、量子化された値のうち、直流（ＤＣ）成
分に対しては、予測符号化のひとつであるＤＰＣＭ（di
fferencial pulse code modulation）を使用して符号化
する。また、交流（ＡＣ）成分に対しては、低域から高
域に向けていわゆるジグザグスキャン（zigzag scan）
を行い、ゼロのラン長および有効係数値を１つの事象と
し、出現確率の高いものから符号長の短い符号を割り当
てていく、いわゆるハフマン符号化を行う。

【００１６】ＶＬＣ器１０５にて可変長符号化されたデ
ータは、一時、バッファメモリ１０６に蓄えられた後、
このバッファメモリ１０６から所定の転送レートで読み
出され、符号化データ（符号化ビットストリーム）とし
て出力端子１０７から出力される。

【００１７】また、その出力される符号化データにおけ
るマクロブロック毎の発生符号量は、後述するバッファ
管理器１１２を介して符号量制御器１１３に送信され
る。この符号量制御器１１３は、マクロブロック毎の発
生符号量と目標符号量との差分を求め、当該差分に応じ
た符号量制御信号を生成して量子化器１０４にフィード
バックすることにより、発生符号量制御を行う。当該符
号量制御のために量子化器１０４にフィードバックされ
る符号量制御信号は、量子化器１０４における量子化ス
ケールを制御するための信号である。具体的な符号量制
御の方法については後述の通りである。

【００１８】一方、量子化された画像データは、逆量子
化器１０８に送られ、ここで逆量子化される。

【００１９】さらに、この逆量子化により得られたＤＣ
Ｔ係数データは、逆ＤＣＴ器１０９に送られて逆ＤＣＴ
された後、演算器１１２にて動き補償予測器１１１から
の予測差分画像が加算されて画像信号が復元される。

【００２０】この復元された画像信号は、一時、画像メ
モリ１１０に蓄えられた後、動き補償予測器１１１に送
られる。画像メモリ１１０から動き補償予測器１１１に
送られた画像信号は、演算器１０２にて差分画像を計算
するためのリファレンスの復号化画像を生成するために
使用される。

【００２１】また、出力端子１０７から出力される符号
化データである符号化ビットストリームは、ビデオ信号
の場合、１ピクチャ毎に可変長の符号量をもっている。
これは、ＭＰＥＧがＤＣＴ、量子化、ハフマン符号化と
いう情報変換を用いている理由と同時に、画質向上のた
めにピクチャごとに配分する符号量を適応的に変更して
いるあるためである。すなわち、ＭＰＥＧでは、動き補
償予測を行っているので、あるときは入力画像信号その
ままを符号化し、あるときは予測画像と入力画像信号と
の差分である差分画像信号を符号化するなど、符号化画
像自体のエントロピィが大きく変化するためである。こ
の場合、多くはその画像エントロピィ比率に配分しつ
つ、バッファメモリの容量制限を守りながら、符号量制
御がなされる。

【００２２】したがってバッファ管理器１１２は、符号
化により発生した符号量と、使用可能な符号化レートと
の関係を監視し、バッファメモリ１０６において所定の
バッファ容量内に収まるように目標符号量を設定する。

【００２３】この目標符号量に対する実際の発生符号量
の差に対応する情報は可変長符号化器１０５にフィード
バックされ、符号量制御器１１３に入る。符号量制御器
１１３では、量子化器１０６にセットする量子化スケー
ルの値を大きくして発生符号量を抑えたり、逆に量子化
スケールの値を小さくして発生符号量を小さくしたりす
るための符号量制御信号を生成する。

【００２４】上述のように、可変長データを固定の転送
レートのデータ（固定転送レート符号化データ）として
転送する場合、そのデータの受信側となるビデオ信号復
号装置側の最大バッファ量が、その送信側のビデオ信号
符号化装置における発生符号量の上限値となる。すなわ
ち、一定速度で符号化データが入力されて、所定の値だ
け蓄積されたところから、所定の時刻（テレビジョン標
準放送方式の一つであるＮＴＳＣ方式のビデオ信号なら
１／２９．９７ｓｅｃ単位）で復号化を一瞬で行う仮想
的な復号器のモデルを使用し、そのモデルの仮想バッフ
ァメモリ（いわゆるＶＢＶバッファ）にオーバーフロー
もアンダーフローも発生しないように、符号化装置側で
符号化することがＭＰＥＧで規定されている。この規定
を守っていればＶＢＶバッファ内でのレートは局部的に
変化しているものの、観測時間を長く取れば固定の転送
レートとなり、ＭＰＥＧではこのことを固定レートであ
ると定義している。

【００２５】ここで、上述したように定義された固定転
送レートの場合において、符号化装置側で発生符号量が
少ないときには、復号装置側ではバッファ占有量が上限
値に張り付いた状態になる。この場合、例えば無効ビッ
トを追加してバッファ（ＶＢＶバッファ）がオーバーフ
ローしないように、符号化装置側において符号量を増や
さなければならない。

【００２６】一方、可変転送レートの場合には、この固
定転送レートの定義を拡張して、バッファ占有率が上限
値になったときに、復号装置における読み出しを中止す
ることにより、原理的にオーバーフローが起きないよう
に定義されている。したがって、可変転送レートの場合
において、仮に非常に発生符号量が少なくても、復号装
置の読み出しが中止されるので、固定転送レートの時の
ように無効ビットを入れる必要はない。このため、可変
転送レートの場合にはアンダーフローだけが発生しない
ように符号化する。

【００２７】このような技術を背景にし、従来の可変転
送レート符号化においてビデオ信号を第１のパスと第２
のパスに分けて符号化し、第１のパスでは第２のパスの
符号化に必要な情報を出力するような技術の説明を行
う。

【００２８】図９には、従来例の第１のパスの符号化を
行うための構成を示す。なお、この図９において、図８
に示した基本構成の各構成要素と同様に動作する部分に
はそれぞれ同じ指示符号を付加してそれらの説明は省略
する。

【００２９】この図９に示す第１のパスの構成では、入
力端子１０１にビデオ信号が再生入力される。その際、
符号化情報には、全ビデオシーケンスに対して短区間ご
とに発生する発生符号量情報などが付加される。

【００３０】この発生符号量は、ＶＬＣ器１０５でのＶ
ＬＣ後に、符号量カウンタ１２１にて計算され、記憶回
路１２２に送られて記憶される。

【００３１】記憶回路１２２は、例えばハードディスク
や光ディスクなど、高速のストレージメディアなど何で
もよい。

【００３２】なお、当該第１のパスは、正確な圧縮が行
われたか否かをモニタする程度に用いられるので、この
図９には図示しているが、バッファメモリ１０６とその
後の符号化データの出力は、符号量をカウントできれば
必ずしも必要ない。

【００３３】ところで、ＭＰＥＧに代表されるような符
号化方式では、可変長符号化を行っているので量子化幅
を固定にして第１のパスの符号化を行うと、符号化画像
の複雑さや、動き補償の差分（残差成分）量に応じて発
生符号量が多くなる。

【００３４】したがって、この性質を利用して、発生符
号量の配分を行うようにすれば、画質をほぼ均一にする
ことが可能となる。なお、後述する第２のパスの符号化
では、その符号量配分比率を保つと同時に、発生符号量
を全体の目標符号量に制御しなければならない。

【００３５】発生符号量は、第１のパスの符号化で発生
した短区間単位で検出し、その情報を記憶回路１２２に
記憶する。短区間の例としては、ピクチャ内独立符号化
ごとに区切ることができ、約１５ピクチャ程度の１ＧＯ
Ｐ（グループオブピクチャ）が考えられる。この場合、
各ＧＯＰ単位にどの位の発生符号量であったかが記憶回
路１２２に記憶される。

【００３６】第１のパスの符号化では、一般的に量子化
幅を小さめで且つ固定にして、第２パスで出力される最
終的な符号量より多くの符号量を発生させるのが普通で
ある。このように、第１のパスの符号化において量子化
幅を小さくするのは、画像の高周波成分まで細かく情報
を分解し、その画像の特性を検出する必要があるからで
ある。

【００３７】ここで、第１のパスにおいてｉ番目の短区
間内に発生した符号量をＰＳ１Ｂ（ｉ）とする。この各
短区間内で発生した符号量ＰＳ１Ｂ（ｉ）の比率を、第
２のパスでもほぼ同じなるようにし、最終目標総符号量
を第２のパスにおける各短区間内の目標符号量とする。

【００３８】例えば、短区間を１ＧＯＰとすると、以下
の様な方法で画質をある程度保ちながら符号を制御する
ことができる。

【００３９】次に、図１０には、従来例の第２のパスの
符号化を行うための構成を示す。なお、この図１０にお
いて、図８に示した基本構成の各構成要素と同様に動作
する部分にはそれぞれ同じ指示符号を付加してそれらの
説明は省略する。

【００４０】この図１０に示す第２のパスの構成におい
て、発生符号量を増加させるには、量子化スケールを小
さくし、一方、発生符号量を減少させるには量子化スケ
ールを大きくする。

【００４１】この原理を用いて、例えばバッファメモリ
１０６の占有率をもとに、量子化幅を制御する方法が考
えられる。ここで注意すべき点は、片方向ピクチャ間予
測符号化される画像（Ｐピクチャ）は一つ前のピクチ内
独立符号化画像（Ｉピクチャ）もしくはＰピクチャから
予測され、また、双方向ピクチャ間予測符号化画像（Ｂ
ピクチャ）は、時間的に両側のＩピクチャやＰピクチャ
から予測されている関係上、例えばＩピクチャが劣化す
ると、連動して他のピクチャも劣化する。

【００４２】以下の方式例では、これらのピクチャに対
する符号量配分を考慮しながら全体の符号量制御を実現
している。

【００４３】先ず、目標符号量決定回路１２４では、記
憶回路１２２からの第１のパスで得られた発生符号量Ｐ
Ｓ１Ｂ（ｉ）を使用して、以下の式のように各ＧＯＰの
目標符号量ＰＳ２Ｂ（ｉ）を求める。 ＰＳ２Ｂ（ｉ）＝最終目標総符号量×ＰＳ１Ｂ（ｉ）／
ΣＰＳ１Ｂ（ｉ）

【００４４】ここで、一つのＧＯＰに与える目標符号量
ＰＳ２Ｂ（ｉ）をＲとすると、具体的な符号量制御は、
以下の第１、第２のステップのようなアルゴリズムによ
り、符号量制御器１１３が行う。

【００４５】（Ａ）第１のステップ 第１のステップでは、以下の式のように、ＧＯＰの各ピ
クチャに対する割り当て符号量を、ＧＯＰ内で未だ符号
化していないピクチャに対してある重みを付けて配分す
る。 Ｘｉ＝Ｓｉ×Ｑｉ Ｘｐ＝Ｓｐ×Ｑｐ Ｘｂ＝Ｓｂ×Ｑｂ

【００４６】ここで、Ｘはグローバルコンプレクシティ
メジャー（global complexity measure）と呼ばれ、一
つ前の同ピクチャタイプの符号化結果の発生符号量Ｓと
平均量子化スケールＱとの積で定義するものであり、ｉ
はＩピクチャを、ｐはＰピクチャを、ｂはＢピクチャを
表している。また、理想的な画質を達成する量子化スケ
ールは、Ｉピクチャを基準とした場合のＰピクチャとの
比率がＫｐ＝１．０で、同じくＩピクチャを基準とした
場合のＢピクチャとの比率がＫｂ＝１．４であると仮定
する。

【００４７】このとき、当該第１のステップで割り当て
られる各ピクチャの符号量Ｔｉ，Ｔｐ，Ｔｂは、以下の
各式にて求められる。 Ti=MAX{R/(1+(NpXp/XiKp)+NbXb/XiKb)),br/(8*pr)} Tp=MAX{R/(Np+(NpKpXb/KbXp)),br/(8*pr)} Tb=MAX{R/(Nb+(NpKbXp/KbXp)),br/(8*pr)}

【００４８】なお、各式において、ＴｉはＩピクチャの
符号量を表し、ＴｐはＰピクチャの符号量を、ＴｂはＢ
ピクチャの符号量を、ＭＡＸは最大を、ＲはそのＧＯＰ
に与えられた初期値の符号量を、ＮｐはＧＯＰ内のＰピ
クチャの未符号化ピクチャ枚数、ＮｂはＧＯＰ内のＢピ
クチャの未符号化ピクチャ枚数、ｐｒはピクチャレー
ト、ｂｒはビットレートを表している。

【００４９】ここで、初期値の符号量Ｒは、ＧＯＰ内で
符号化が進むごとに次のように更新する。 Ｒ＝Ｒ−Ｓｉ，ｐ，ｂ

【００５０】（Ｂ）第２のステップ 第２のステップでは第１のステップで割り当てられた各
ピクチャの符号量（Ｔｉ，Ｔｐ，Ｔｂ）と実際の発生符
号量を一致させるため、以下の各式に示すように、マク
ロブロック毎に発生符号量を加算しつつ、目標符号量か
ら途中での予測目標符号量との差を、量子化スケールに
マクロブロック単位でフィードバックする。 dji = dOi+Bj-1−(Ti(j-1) MB＿cnt) djp = dOp+Bj-1−(Tp(j-1) MB＿cnt) djb = dOp+Bj-1−(Tb(j-1) MB＿cnt)

【００５１】なお、各式中において、ｄＯｉはＩピクチ
ャにおける仮想バッファ（ＶＢＶバッファ）の初期占有
量を、ｄＯｐはＰピクチャにおける仮想バッファ（ＶＢ
Ｖバッファ）の初期占有量を、ｄＯｂはＢピクチャにお
ける仮想バッファ（ＶＢＶバッファ）の初期占有量を、
ｊは符号量カウンタ１２１にてカウントされた各ピクチ
ャの先頭から何番目かを示す番号を、Ｂｊは符号量カウ
ンタ１２１でカウントされた各ピクチャの先頭からｊ番
目のマクロブロックまでの発生符号量を、ＭＢ＿ｃｎｔ
は１ピクチャ内のマクロブロック数を、ｄｊｉはＩピク
チャにおけるフィードバック量を、ｄｊｐはＰピクチャ
におけるフィードバック量を、ｄｊｂはＢピクチャにお
けるフィードバック量を示している。

【００５２】さらに、平均量子化スケールＱは、以下の
式にて求められる。 Ｑ＝ｄｊ×３１／ｒ Ｒ＝ 2×ｂｒ／ｐｒ なお、式中のＱは量子化スケールを、ｒはフィードバッ
クの応答速度を決定するパラメータである。

【００５３】従来の構成では、上述のような各演算を行
うことにより符号量制御を行うことが可能となる。

【００５４】なお、ＭＰＥＧについては、ＩＳＯ−ＩＥ
Ｃ１１１７２−２、ＩＴＵ−Ｔ Ｈ．２６２／ＩＳＯ−
ＩＥＣ１３８１８−２に詳細な説明がなされているた
め、ここではこれ以上の説明は省略する。

【００５５】

【発明が解決しようとする課題】このように、従来の構
成では可変転送レート符号化を実現するために、上述し
たような２回のパスの符号化を通さなければならない。

【００５６】すなわち、図９，図１０に示したように、
ビデオ信号符号化装置に対して、符号化する動画像信号
を２度入力させなければならなかった。このため、例え
ば放送や通信などによってリアルタイムで送信されてく
る動画像信号などのように、１度しか送信されてこない
画像信号に関しては、可変転送レート符号化を行うこと
ができなかった。

【００５７】また、例えば符号化されたデータの編集を
するような場合には、再度符号化し直さなければならな
かったり、符号化データをＭＰＥＧに準拠させるため
に、実際に編集を行いたい部分の他に数フレームを部分
的に修正しなければならなくなったりするなど、非常に
手間を要する問題があった。

【００５８】本発明は、上述の課題に鑑みてなされたも
のであり、例えば放送や通信などによってリアルタイム
で送信されてくる動画像信号に対しても可変転送レート
での符号化を行うことが可能であるとともに、編集も容
易な、可変転送レート符号化方法および装置と、記録媒
体の提供を目的とする。

【００５９】

【課題を解決するための手段】本発明に係る可変転送レ
ート符号化方法は、上述の課題を解決するために、ビデ
オ信号を直交変換と量子化を使用して符号化して、可変
転送レートにて出力する可変転送レート符号化方法であ
って、所定のレートでビデオ信号を固定転送レートに符
号化し、固定転送レートで符号化された固定転送レート
符号化データを記録し、記録された固定転送レート符号
化データの符号化情報を観測し、記録された固定転送レ
ート符号化データを復号し、符号化情報と目標とする平
均可変転送レートもしくは目標符号量に関する情報をも
とに、固定転送レート符号化データを復号したデータを
可変転送レート符号化するようにしている。

【００６０】また、本発明に係る可変転送レート符号化
方法は、上述の課題を解決するために、所定のレートで
ビデオ信号を固定転送レートに符号化し、固定転送レー
トで符号化された固定転送レート符号化データの符号化
情報を観測し、固定転送レートで符号化された固定転送
レート符号化データと符号化情報を記録し、記録された
固定転送レート符号化データを復号し、観測されて記録
された符号化情報と目標とする平均可変転送レートもし
くは目標符号量に関する情報をもとに、固定転送レート
符号化データを復号したデータを可変転送レート符号化
するようにしている。

【００６１】ここで、本発明に係る可変転送レート符号
化方法においては、固定転送レート符号化データを復号
したデータを可変転送レート符号化する際に、少なくと
も動き補償に関するパラメータは、固定転送レート符号
化データに記述された動き補償に関するパラメータを使
用するようにしている。

【００６２】また、本発明に係る可変転送レート符号化
方法においては、編集情報を入力可能とし、固定転送レ
ート符号化データを復号する際にはその編集情報に基づ
く必要な区間のみのデータを復号し、固定転送レート符
号化データを復号したデータを可変転送レート符号化す
る際にはその編集情報に基づく必要な区間のみの符号化
情報を使用して、必要な区間のみ復号されたデータを可
変転送レート符号化するようにしている。

【００６３】次に、本発明に係る可変転送レート符号化
装置は、上述の課題を解決するために、ビデオ信号を直
交変換と量子化を使用して符号化して、可変転送レート
にて出力する可変転送レート符号化装置であって、所定
のレートでビデオ信号を固定転送レートに符号化する固
定転送レート符号化手段と、その固定転送レート符号化
データを記録する記録手段と、その記録された固定転送
レート符号化データの符号化情報を観測する符号化情報
観測手段と、記録された固定転送レート符号化データを
復号する復号手段と、符号化情報と目標とする平均可変
転送レートもしくは目標符号量に関する情報をもとに、
固定転送レート符号化データを復号したデータを可変転
送レート符号化する可変転送レート符号化手段と、を有
する。

【００６４】また、本発明に係る可変転送レート符号化
装置は、上述の課題を解決するために、所定のレートで
ビデオ信号を固定転送レートに符号化する固定転送レー
ト符号化手段と、その固定転送レート符号化データの符
号化情報を観測する符号化情報観測手段と、固定転送レ
ート符号化データと符号化情報を記録する記録手段と、
記録された固定転送レート符号化データを復号する復号
手段と、観測されて記録された符号化情報と目標とする
平均可変転送レートもしくは目標符号量に関する情報を
もとに、固定転送レート符号化データを復号したデータ
を可変転送レート符号化する可変転送レート符号化手段
と、を有する。

【００６５】ここで、本発明に係る可変転送レート符号
化装置において、固定転送レート符号化手段は少なくと
も動き補償に関するパラメータを出力する符号化情報出
力器を備え、また可変転送レート符号化手段は符号化情
報出力器からの少なくとも動き補償に関するパラメータ
を入力する符号化情報入力手段を備え、固定転送レート
符号化データを復号したデータを可変転送レート符号化
手段にて符号化する際に、少なくとも動き補償に関する
パラメータは、固定転送レート符号化データに記述され
た動き補償に関するパラメータを使用するようにしてい
る。

【００６６】また、本発明に係る可変転送レート符号化
装置においては、編集情報を入力する編集情報入力手段
と、編集情報に基づいて前記符号化情報観測手段を制御
する観測制御手段と、編集情報に基づいて前記復号手段
を制御する復号化制御手段とを設け、符号化情報観測手
段では、観測制御手段の制御により、編集情報に基づく
必要な区間のみの符号化情報を観測し、復号手段では、
復号化制御手段の制御により、編集情報に基づく必要な
区間のみの固定転送レート符号化データを復号し、可変
転送レート符号化手段では、編集情報に基づく必要な区
間のみの符号化情報を使用して、必要な区間のみ復号さ
れたデータを可変転送レート符号化するようにしてい
る。

【００６７】上述のように構成された本発明に係る可変
転送レート符号化方法および装置によれば、従来の可変
転送レート符号化装置のように、同じ画像を２回のパス
に入力必要がなくなる。すなわち、符号化する動画像信
号として、放送や通信などからリアルタイムで送信され
てくる動画像信号など１度しか送信されない画像に関し
ても、高レートで固定転送レート符号化を行って、その
データを書き込み可能なディスクやテープメディアなど
に一時的に記録し、しかる後にそのデータを用いて、高
画質な可変転送レート符号化を行い、最終的に必要な可
変転送レート符号化データを生成することが可能とな
る。

【００６８】また、本発明に係る可変転送レート符号化
方法および装置によれば、一時的に記録した固定転送レ
ート符号化データの動き補償に関するパラメータを使用
して、可変転送レート符号化を行うので、例えば動きベ
クトルを求める際に、符号化劣化ノイズに乱されること
がなくなる。さらに、一時的に記録した固定転送レート
符号化データのうち、例えば編集でカットしたい部分な
どの編集情報を用いて、可変転送レート符号化を行うこ
とで、編集情報を反映した可変転送レート符号化を行う
ことができる。

【００６９】次に、本発明に係る記録媒体は、ビデオ信
号を直交変換と量子化を使用した符号化により生成され
た可変転送レート符号化データを記録してなる記録媒体
であって、所定のレートでビデオ信号を固定転送レート
に符号化し、固定転送レートで符号化された固定転送レ
ート符号化データを一時保存し、一時保存された固定転
送レート符号化データの符号化情報を観測し、一時保存
された固定転送レート符号化データを復号し、符号化情
報と目標とする平均可変転送レートもしくは目標符号量
に関する情報をもとに、固定転送レート符号化データを
復号したデータを可変転送レート符号化して生成された
可変転送レート符号化データを記録してなるものであ
る。

【００７０】また、本発明に係る記録媒体は、所定のレ
ートでビデオ信号を固定転送レートに符号化し、固定転
送レートで符号化された固定転送レート符号化データの
符号化情報を観測し、固定転送レートで符号化された固
定転送レート符号化データと符号化情報を一時保存し、
一時保存された固定転送レート符号化データを復号し、
観測されて記録された符号化情報と目標とする平均可変
転送レートもしくは目標符号量に関する情報をもとに、
固定転送レート符号化データを復号したデータを可変転
送レート符号化して生成された可変転送レート符号化デ
ータを記録してなるものである。

【００７１】ここで、本発明に係る記録媒体において
は、固定転送レート符号化データに記述された動き補償
に関するパラメータを、可変転送レート符号化データに
記述される動き補償に関するパラメータとして少なくと
も記録してなる。

【００７２】また、本発明に係る記録媒体においては、
固定転送レート符号化データを編集情報に基づいて必要
な区間のみ復号したデータを、編集情報に基づく必要な
区間のみの符号化情報を使用して可変転送レート符号化
して生成された可変転送レート符号化データを記録して
なる。

【００７３】

【発明の実施の形態】以下、本発明に係る可変転送レー
ト符号化方法および装置、記録媒体の好ましい実施の形
態について図面を参照しながら詳細に説明する。

【００７４】図１には、本発明に係る可変転送レート符
号化方法及び装置が適用される一実施の形態としてのビ
デオ信号符号化装置の基本構成を示す。なお、本実施の
形態では、動画像信号の符号化手法として例えばＭＰＥ
Ｇ１符号化を用いた例を挙げて説明する。

【００７５】この図１において、本実施の形態のビデオ
信号符号化装置の入力端子１に入力される入力画像信号
は、輝度信号と色差信号で構成されたビデオ信号であ
り、ディジタル化された後にピクチャタイプにあわせて
画像の並べ替えが行われているものである。当該入力画
像信号が固定転送レート符号化データとして記憶回路２
２に記録され、さらにこの記憶回路２２に記録された固
定転送レート符号化データを可変転送レート符号化デー
タに変換するまでの概略構成例を、この図１を用いて説
明する。

【００７６】入力端子１に供給された入力画像信号は、
演算器２と動き補償予測器１１に送られる。

【００７７】動き補償予測器１１では、入力画像信号を
その符号化順に動き補償予測し、演算器２では、入力画
像信号と動き補償予測器１１からの予測画像との差分が
計算される。

【００７８】当該演算器２での演算により得られた差分
画像データは、ＤＣＴ器３においてＤＣＴが行われる。

【００７９】このＤＣＴ器３からのＤＣＴ係数は、量子
化器４で量子化される。その量子化データは、動き補償
予測器１１からの動きベクトルや符号化モードと共にＶ
ＬＣ器５に送られ、当該ＶＬＣ器５で可変長符号化（Ｖ
ＬＣ）される。

【００８０】このＶＬＣ器５での可変長符号化によって
得られた符号化データは、バッファメモリ６に一時蓄積
され、その後、ＭＰＥＧのビデオストリームとして当該
バッファメモリ６から出力される。

【００８１】また、レート制御器２３は、バッファメモ
リ６の充足度を監視しており、基本的には、バッファメ
モリ６の充足度が多くなると量子化を粗く、少なくなる
と量子化を細かくするような符号化制御信号を、量子化
器４にフィードバックする。すなわち、当該量子化器４
にフィードバックされる符号化制御信号は、量子化幅を
制御するための制御信号である。

【００８２】ここで、本実施の形態においても、前述し
たように、入力画像信号はＭＰＥＧで定義される固定転
送レートで符号化される。この固定転送レート符号化レ
ートは、記録メディアの容量と、記録する入力画像信号
の再生時間に依存するものであるが、その条件内で当該
レートは極力高いほうが望ましい。すなわち画質がよい
ほうが望ましい。なぜならば、当該固定転送レート符号
化データのレートが後述する可変転送レート符号化デー
タ変換において符号化される条件の最大転送レートに等
しくなるからである。

【００８３】このため、本実施の形態では、バッファメ
モリ６から出力される固定転送レート符号化データを、
記憶回路２２に記録するようにしている。なお、本実施
の形態にて用いる記憶回路２２は、記録再生可能なハー
ドディスクや光ディスク、高速のストレージメディアな
ど何でもよい。

【００８４】一方、Ｉピクチャ、Ｐピクチャは、後に動
き補償予測の参照画像として用いる必要があるため、量
子化器４から出力される当該ＩピクチャやＰピクチャの
量子化データは、逆量子化器８以降にも送られる。

【００８５】すなわち、この逆量子化器８での逆量子化
により得られたＤＣＴ係数データは、逆ＤＣＴ器９に送
られて逆ＤＣＴされた後、演算器１２にて動き補償予測
器１１からの予測差分画像が加算されて画像信号が復元
される。

【００８６】この復元された画像信号は、一時、画像メ
モリ１０に蓄えられる。当該復元されて画像メモリ１０
に蓄えられた画像信号は、後のビデオ信号復号装置にお
いて再生されるものと同じ画像信号である。

【００８７】当該画像メモリ１０に蓄えられた画像信号
は、動き補償予測器１１に送られ、次の動き補償予測の
参照画像となされる。つまり、画像メモリ１０から動き
補償予測器１１に送られた画像信号は、演算器２にて差
分画像を計算するためのリファレンスの復号化画像を生
成するために使用される。

【００８８】次に、本実施の形態のビデオ信号符号化装
置では、記憶回路２２に記録された固定転送レート符号
化データを、符号化情報観測器２４に送る。この符号化
情報観測器２４では、固定転送レート符号化データから
各ピクチャの発生符号量や量子化幅を観測し、その発生
符号量や量子化幅を再び記憶回路２２に送って記録させ
る。当該記憶回路２２に記録される具体的な符号化情報
としては、図２に示すようなフォーマットのピクチャ情
報を挙げることができる。このピクチャ情報の部分がピ
クチャの枚数分だけ、符号化の順番で記憶回路２２に記
録される。

【００８９】ここで、ＭＰＥＧ符号化による圧縮データ
は、ピクチャの先頭に４バイトのピクチャスタートコー
ドをつけるように決められている。このピクチャスター
トコードは、「０×０００００１００」といった他のデ
ータと区別できるようバイトアラインされたユニークコ
ードなので、符号化情報観測器２４では、先ずこのピク
チャスタートコードを検出し、次に当該ピクチャスター
トコードが検出されるまでの間の符号量をカウントする
ことにより、そのピクチャの発生符号量を計算するよう
にしている。

【００９０】また、発生符号量は、符号化レートにも依
存するが、１５Ｍｂｐｓ相当で、最大１．７５Ｍビット
程度であり、さらに精度も１０００ビット程度あれば良
い。したがって、記憶回路２２には、１１〜１２ビット
／ピクチャ程度の情報でバイトアラインを考えて、２バ
イト程度の情報を符号化されたピクチャ順番に記録する
ようにしている。

【００９１】さらに、量子化幅情報としては、マクロブ
ロックという１６画素×１６画素のブロック毎に決めら
れる量子化幅の和、もしくは平均値を求めるのが理想的
であるが、いわゆるＮＴＳＣ放送方式の７２０×４８０
画素のピクチャの場合には１３５０個のマクロブロック
の平均をとらなければならない。この場合、ＭＰＥＧレ
イヤのうち、本来ならばマクロブロック層という比較的
深い部分まで圧縮データをＶＬＤ（可変調復号化）しな
ければならないが、高速化のために、マクロブロック１
列分のスライス層の先頭にあるスライス量子化幅を量子
化幅情報として用いることも可能である。このスライス
量子化幅は、ＮＴＳＣ放送方式の７２０×４８０画素の
ピクチャの場合には３０個（４８０／１６）存在してい
て、ピクチャスタートコードと同様にユニークコードで
あるスライススタートコード「０×０００００１０１〜
０×０００００１１Ｅ」の間で検出することが可能であ
る。なお、スライス量子化幅はそのスライススタートコ
ードの直後の５ビットにて示されている。

【００９２】符号化情報観測器２４では、上述した発生
符号量や量子化幅の値を３０個観測して、それらの和も
しくは平均をとるようにしている。なお、量子化幅は、
マクロブロック層でもスライス層でも１〜３１の５ビッ
トで示されるので、当該量子化幅情報は２バイトあれば
表現できる値である。このため、記憶回路２２において
は、当該量子化幅情報を発生符号量情報の後に付加して
記録するようにしている。

【００９３】図１の構成では、符号化した後の固定転送
レート符号化データから発生符号量や量子化幅情報を観
測する例を挙げたが、ＶＬＣ器５での符号化と同時に、
発生符号量や量子化幅情報を観測するようにしてもよ
い。

【００９４】当該ＶＬＣ器５での符号化と同時に発生符
号量や量子化幅情報を符号化情報観測器２４にて観測す
る場合の基本構成を、図３に示す。なお、この図３にお
いて、図１に示した構成の各構成要素と同様に動作する
部分にはそれぞれ同じ指示符号を付加してそれらの説明
は省略する。

【００９５】この図３に示す構成の符号化情報観測器２
４では、例えば、ＶＬＣ器５で可変長符号化を行ってい
るときの符号化データを用いて、例えばピクチャスター
トコード間の符号をカウントすることにより、符号化時
のマクロブロック毎の量子化幅の和もしくは平均値を観
測するようにしている。もちろん、符号化情報観測器２
４では、ピクチャスタートコード間で量子化幅を求める
代わりに、前述したように、スライススタートコード間
でスライス量子化幅を求めることも可能である。当該符
号化情報観測器２４にて観測された発生符号量や量子化
幅情報は、記憶回路２２に記録される。

【００９６】上述した図１及び図３の構成においては、
記憶回路２２に記録された発生符号量情報と量子化幅情
報、固定転送レート符号化データ等を用いて、後述する
ように、当該固定転送レート符号化データを可変転送レ
ート符号化データに変換するようにしている。

【００９７】すなわち、図１及び図３の基本構成には、
上述した構成に加えて、記憶回路２２に記録された固定
転送レート符号化データを固定転送レート復号画像デー
タに変換する復号器４０と、同じく記憶回路２２に記録
された発生符号量情報と量子化幅情報、及び、後述する
目標とする平均可変転送レートもしくは目標符号量に関
する情報に基づいて、その固定転送レート復号画像デー
タを可変転送レート符号化データに変換して出力端子７
から出力するための可変転送レート符号化器５０とを備
えている。この出力端子７から出力された可変転送レー
ト符号化データは、図示しない本発明の記録媒体に記録
されることになる。

【００９８】図４には、記憶回路２２に記録された発生
符号量情報と量子化幅情報、固定転送レート符号化デー
タ等を用いて、当該固定転送レート符号化データを可変
転送レート符号化データに変換するための第１の具体例
の構成、すなわち、図１及び図３の復号器４０と可変転
送レート符号化器５０、及びその周辺回路（図１，図３
では図示を省略）の、より具体的な構成を示す。なお、
この図４には、説明の都合上、記憶回路２２も同時に示
している。

【００９９】この図４において、記憶回路２２から読み
出された固定転送レート符号化データは、復号器４０に
て復号され、固定転送レート復号画像データとして可変
転送レート符号化器５０に送られる。

【０１００】この可変転送レート符号化器５０に供給さ
れた固定転送レート復号画像データは、演算器５２と動
き補償予測器６１に送られる。

【０１０１】動き補償予測器６１では、固定転送レート
復号画像データを符号化順に動き補償予測し、演算器５
２では、固定転送レート復号画像データと動き補償予測
器６１からの予測画像との差分が計算される。

【０１０２】当該演算器５２での演算により得られた差
分画像データは、ＤＣＴ器５３においてＤＣＴが行われ
る。

【０１０３】このＤＣＴ器５３からのＤＣＴ係数は、量
子化器５４で量子化される。その量子化データは、動き
補償予測器６１からの動きベクトルや符号化モードと共
にＶＬＣ器５５に送られ、当該ＶＬＣ器５５で可変長符
号化（ＶＬＣ）される。

【０１０４】このＶＬＣ器５５での可変長符号化によっ
て得られた符号化データは、バッファメモリ５６に一時
蓄積され、その後、可変転送レート符号化データとして
出力端子５７から出力され、図１または図３の出力端子
７に送られる。この出力された可変転送レート符号化デ
ータは図示しない記録媒体に記録されることになる。

【０１０５】一方、Ｉピクチャ、Ｐピクチャは、後に動
き補償予測の参照画像として用いる必要があるため、量
子化器５４から出力される当該ＩピクチャやＰピクチャ
の量子化データは、逆量子化器５８以降にも送られる。

【０１０６】すなわち、この逆量子化器５８での逆量子
化により得られたＩピクチャやＰピクチャのＤＣＴ係数
データは、逆ＤＣＴ器５９に送られて逆ＤＣＴされた
後、演算器６２にて動き補償予測器６１からの予測差分
画像が加算されて画像信号が復元される。

【０１０７】この復元された画像信号は、一時、画像メ
モリ６０に蓄えられる。当該復元されて画像メモリ６０
に蓄えられた画像信号は、後のビデオ信号復号装置にお
いて再生されるものと同じ画像信号である。

【０１０８】当該画像メモリ６０に蓄えられた画像信号
は、動き補償予測器６１に送られ、次の動き補償予測の
参照画像となされる。つまり、画像メモリ６０から動き
補償予測器６１に送られた画像信号は、演算器５２にて
差分画像を計算するためのリファレンスの復号化画像を
生成するために使用される。

【０１０９】また、符号量カウンタ６２は、ＶＬＣ器５
５でのＶＬＣ後に、発生符号量を計算し、この発生符号
量を示すピクチャ符号量情報を符号量制御回路６３に供
給する。

【０１１０】符号量制御回路６３では、当該符号量カウ
ンタ６２からのピクチャ符号量情報と後述するピクチャ
目標符号量情報とに基づいて、量子化器５４における量
子化ステップを制御する。

【０１１１】一方、記憶回路２２から読み出された発生
符号量情報および量子化幅情報等を含む符号化情報は、
図１及び図３では図示を省略した目標符号量決定回路２
６に入力される。

【０１１２】また、当該目標符号量決定回路２６には、
例えばＣＰＵ（中央処理ユニット）２５から、可変転送
レート符号化データの目標符号量が設定される。なお、
ＣＰＵ２５は、外部に設けられるものであるが、内部に
設けることも可能である。ＣＰＵ２５にて設定される目
標符号量は、これから可変転送レート符号化データに変
換しようとする固定転送レート符号化データの再生時間
がわかれば、平均可変転送レートを入力するのと等価と
なる。

【０１１３】ここで、この目標符号量決定回路２６にお
ける符号化量決定のアルゴリズム例を以下に説明する。

【０１１４】例えば、前述したように符号化情報観測器
２４が観測したピクチャ毎の発生符号量をＢＩＴ(i)、
そのときのピクチャ全体の平均量子化幅をＱ（ｉ）、固
定転送レート符号化データを可変転送レート符号化デー
タに変換した後の全体の目標符号量をＴＢとする。な
お、（ｉ）はピクチャの番号を示す。これらを用いて、
可変化転送レート符号化データの各ピクチャに与える全
体の目標符号量ＴＧ（ｉ）は、以下の式により求めるこ
とができる。 ＥＮ（ｉ）＝ＢＩＴ（ｉ）^0.8×Ｑ(i) ＴＧ（ｉ）＝ＴＢ×ＥＮ（ｉ）／ΣＥＮ（ｉ）

【０１１５】この式により求めた、可変化転送レート符
号化データの各ピクチャに与える全体の目標符号量（ピ
クチャ目標符号量情報）ＴＧ（ｉ）は、可変転送レート
符号化器５０の符号量制御回路６３に送られる。なお、
式中のＥＮは、その観測したピクチャ複雑さや、動き補
償時の誤差量にほぼ比例しており、符号化の難しさを表
すものである。このＥＮの値が高いときには符号量を増
やし、小さいときには符号量を減らすことで、画質を一
定にした符号量割り当てが可能となる。可変転送レート
符号化データの各ピクチャに与える全体の目標符号量Ｔ
Ｇは、この比率で、当該可変転送レート符号化データに
変換した後の全体の目標符号量ＴＢを分配していること
に他ならない。また、前述した従来例と同様に、発生符
号量比率に単純に分配するようにしてもよく、ピクチャ
内の符号量制御は前述した第２のステップ以降の方法で
実現することが可能である。

【０１１６】符号量制御回路２７では、上述のようにし
て求めたピクチャ目標符号量ＴＧ（ｉ）と、符号量カウ
ンタ６２でカウントされたピクチャ符号量情報とに基づ
いて、量子化器５４における量子化スケールを制御する
ことで、符号量の制御を行う。

【０１１７】本実施の形態のビデオ信号符号化装置によ
れば、上述のような処理によって固定転送レート符号化
データを可変転送レート符号化データに変換することを
可能にしている。

【０１１８】また、図１及び図３の構成においては、図
４の構成に代えて、図５に示すような構成により、固定
転送レート符号化データを可変転送レート符号化データ
に変換することも可能である。

【０１１９】すなわち 図５には、記憶回路２２に記録
された発生符号量情報と量子化幅情報、固定転送レート
符号化データ等を用いて、当該固定転送レート符号化デ
ータを可変転送レート符号化データに変換するための第
２の具体例の構成を示している。なお、この図５におい
て、図４に示した各構成要素と同様に動作する部分には
それぞれ同じ指示符号を付加してそれらの説明は省略す
る。

【０１２０】この図５の構成では、図１の例のように記
憶回路２２に記録された固定転送レート符号化データに
基づいて符号化情報観測器２４で各ピクチャの発生符号
量や量子化幅を観測する構成、もしくは、図３の例のよ
うに符号化しながら発生符号量や量子化幅情報を符号化
情報観測器２４で観測する構成における固定転送レート
符号化にて使用し、その固定転送レート符号化データに
記述されたマクロブロック毎の動き補償に関するパラメ
ータを、記憶回路２２に記録しておくようにしており、
可変転送レート符号化器５０にて固定転送レート復号画
像データを可変転送レート符号化するときに、当該記憶
回路２２に記録された動き補償に関するパラメータを使
用するようにしている。

【０１２１】この図５の構成と図４の構成との違いは、
記憶回路２２から読み出された動き補償に関するパラメ
ータが、動き補償関連情報として可変転送レート符号化
器５０の符号化情報入力器６４に入力され、当該可変転
送レート符号化器５０の動き補償予測器６１ではこの動
き補償関係情報を用いて動き補償予測を行うようにして
いることである。

【０１２２】ここで、記憶回路２２に記録される動き補
償に関するパラメータとしては、具体的にはマクロブロ
ック毎の動きベクトルと動き補償のタイプ等を挙げるこ
とができる。すなわち、この図５に示す構成例の記憶回
路２２に記憶される具体的な符号化情報としては、前述
の図２に示したようなフォーマットのピクチャ情報に加
えて、図６に示すようなマクロブロック情報の部分がマ
クロブロックの個数分だけ、ピクチャの左上から右下方
向へのラスタ順番に記録される。

【０１２３】こうすることで、記憶回路２２に記録され
ている固定転送レート符号化データが例えばある程度の
符号化劣化を伴っているような場合であっても、その固
定転送レート符号化データを復号器４０にて復号した復
号画像を用いて動き補償予測器６１が動きベクトルを求
める際に、符号化劣化ノイズに乱されることがなくな
る。また、動きベクトルを求める処理量も削減できる。
これ以外にも、例えばいわゆるＭＰＥＧ２に拡張する場
合に、フレームとフィールドで適応的に切り換える類の
情報を記録することは、十分効果的である。

【０１２４】さらに、図１及び図３の構成においては、
図４や図５の構成に代えて、図７に示すような構成によ
り、固定転送レート符号化データを可変転送レート符号
化データに変換することも可能である。

【０１２５】すなわち 図７には、記憶回路２２に記録
された発生符号量情報と量子化幅情報、固定転送レート
符号化データ等を用いて、当該固定転送レート符号化デ
ータを可変転送レート符号化データに変換するための第
３の具体例の構成を示している。なお、この図７におい
て、図４や図５に示した各構成要素と同様に動作する部
分にはそれぞれ同じ指示符号を付加してそれらの説明は
省略する。

【０１２６】すなわち、この図７の構成では、図１や図
３の固定転送レート符号化により得られた固定転送レー
ト符号化データに対して、例えば編集処理を施すような
場合に、可変転送レート符号化器５０における可変転送
レート符号化の際に、その編集処理に使用した編集情報
に従った符号化を行うようにする。なお、具体的な編集
情報としては、例えば編集を有効にしたい画像の時間情
報を示す、時間：分：秒：フレームからなるフォーマッ
トの情報を挙げることができる。

【０１２７】より具体的に説明すると、この図７では、
編集開始点と編集終了点を組み合わせて生成される編集
情報が編集情報入力器４１から入力され、その編集情報
が復号制御器４２に送られる。

【０１２８】当該復号制御器４２は、その編集情報に記
述されている、編集を有効にしたい画像の時間部分だけ
を復号再生するように、復号器４０を制御する。したが
って、このときの復号器４０では、記憶回路２２から供
給される固定転送レート符号化データのうち、編集情報
にて記述されている編集を有効にしたい画像の時間部分
だけを復号再生することになる。

【０１２９】また、この図７の構成の場合、編集情報入
力器４１からの編集情報は、観測制御器４３にも入力さ
れる。この観測制御器４３は、編集を有効にしたい画像
の時間部分だけの、各ピクチャの発生符号量や量子化幅
を観測するように、符号化情報観測器２４を制御する。
このため、このときの記憶回路２２には、編集を有効に
したい画像の時間部分だけの、各ピクチャの発生符号量
情報や量子化幅情報が符号化情報として記録されること
になる。

【０１３０】さらに、この図７の構成の場合の目標符号
量決定回路２６では、記憶回路２２に記憶された、編集
を有効にしたい画像の時間部分だけの各ピクチャの発生
符号量情報や量子化幅情報からなる符号化情報と、ＣＰ
Ｕ２５からの目標符号量もしくは平均可変転送レートと
に基づいて、編集を有効にしたい画像の時間部分だけの
ピクチャ目標符号量が計算されることになる。

【０１３１】このようなことから、可変転送レート符号
化器５０では、編集を有効にしたい画像の時間部分だけ
の可変転送レート符号化が可能となる。

【０１３２】なお、このような編集処理において、例え
ば編集点がＰピクチャの画像部分になった場合、その画
像はＩピクチャとして符号化する必要がある。また、編
集点がＢピクチャの画像部分になった場合は、その前後
の動き補償関係の情報が無効となる必要がある。したが
って、このような場合には、関連するピクチャをＩピク
チャとして符号化するなどの処理が必要である。

【０１３３】本発明の可変転送レート符号化方法及び装
置が適用される本実施の形態のビデオ信号符号化装置に
よれば、上述のような構成を用いることによって固定転
送レート符号化データを可変転送レート符号化データに
変換することを可能にしている。

【０１３４】また、本発明実施の形態の記録媒体によれ
ば、本実施の形態のビデオ信号符号化装置によって上述
したようにして生成された可変転送レート符号化データ
を記録してなることで、記録媒体の容量は有効に活用さ
れることになり、その可変転送レート符号化データを後
に復号した場合にも良好な復号データが得られることに
なる。

【０１３５】本発明は、上述した実施の形態に限定され
ることはなく、本発明に係る技術的思想を逸脱しない範
囲であれば、設計等に応じて種々の変更が可能であるこ
とは勿論であり、符号化の手法も前述したＭＰＥＧ１に
限らない。

【０１３６】

【発明の効果】請求項１及び請求項５に記載の本発明に
係る可変転送レート符号化方法および装置においては、
ビデオ信号を直交変換と量子化を使用して符号化して可
変転送レートにて出力する際に、所定のレートでビデオ
信号を固定転送レートに符号化し、その固定転送レート
符号化データを記録し、記録された固定転送レート符号
化データの符号化情報を観測し、記録された固定転送レ
ート符号化データを復号し、符号化情報と目標とする平
均可変転送レートもしくは目標符号量に関する情報をも
とに、固定転送レート符号化データを復号したデータを
可変転送レート符号化するようにしているので、従来技
術のように、同じ画像信号を２回のパスに入力必要がな
くなり、したがって、例えば放送や通信などによってリ
アルタイムで送信されてくる動画像信号に対しても可変
転送レートでの符号化を行うことが可能である。

【０１３７】請求項２及び請求項６に記載の本発明に係
る可変転送レート符号化方法および装置においては、所
定のレートでビデオ信号を固定転送レートに符号化し、
その固定転送レート符号化データの符号化情報を観測
し、それら固定転送レート符号化データと符号化情報を
記録し、その記録された固定転送レート符号化データを
復号し、観測されて記録された符号化情報と目標とする
平均可変転送レートもしくは目標符号量に関する情報を
もとに、固定転送レート符号化データを復号したデータ
を可変転送レート符号化するようにしているので、従来
技術のように、同じ画像信号を２回のパスに入力必要が
なくなり、したがって、例えば放送や通信などによって
リアルタイムで送信されてくる動画像信号に対しても可
変転送レートでの符号化を行うことが可能である。

【０１３８】請求項３及び請求項７に記載の本発明に係
る可変転送レート符号化方法および装置においては、固
定転送レート符号化データを復号したデータを可変転送
レート符号化する際に、少なくとも動き補償に関するパ
ラメータは、固定転送レート符号化データに記述された
動き補償に関するパラメータを使用するようにしている
ので、例えば動きベクトルを求める際に、符号化劣化ノ
イズに乱されることがなくなる。

【０１３９】請求項４及び請求項８に記載の本発明に係
る可変転送レート符号化方法および装置においては、固
定転送レート符号化データを復号する際にはその編集情
報に基づく必要な区間のみのデータを復号し、固定転送
レート符号化データを復号したデータを可変転送レート
符号化する際にはその編集情報に基づく必要な区間のみ
の符号化情報を使用して、必要な区間のみ復号されたデ
ータを可変転送レート符号化するようにしているので、
編集情報を反映した可変転送レート符号化を行うことが
できる。

【０１４０】上述したように、本発明に係る可変転送レ
ート符号化方法および装置によれば、従来の可変転送レ
ート符号化装置のように、同じ画像を２回符号化装置に
入力する必要がなくなる。すなわち、符号化する動画像
信号として、放送や通信などからリアルタイムで送信さ
れてくる動画像信号など１度しか送信されない画像信号
に関しても、高レートで固定転送レート符号化を行って
そのデータを、書き込み可能なディスクやテープメディ
アなどに一時的に記録し、しかる後にそのデータを用い
て、高画質な可変転送レート符号化を行い、最終的に必
要な可変転送レート符号化データを生成して例えば記録
することが可能となる。また、一時的に記録した固定転
送レート符号化データの動き補償に関するパラメータを
使用して、可変転送レート符号化を行うので、動きベク
トルを求める際に、符号化劣化ノイズに乱されることが
なくなる。さらに、一時的に記録した固定転送レート符
号化データのうち、編集でカットしたい部分などの編集
情報を用いて、可変転送レート符号化を行うことで、編
集情報を反映した可変転送レート符号化を行うことがで
きる。

【０１４１】請求項９に記載の本発明に係る記録媒体
は、所定のレートでビデオ信号を固定転送レートに符号
化し、固定転送レートで符号化された固定転送レート符
号化データを一時保存し、記録された固定転送レート符
号化データの符号化情報を観測し、一時保存された固定
転送レート符号化データを復号し、符号化情報と目標と
する平均可変転送レートもしくは目標符号量に関する情
報をもとに、固定転送レート符号化データを復号したデ
ータを可変転送レート符号化して生成された可変転送レ
ート符号化データを記録してなるものであり、したがっ
て、記録媒体の容量は有効に活用されており、その可変
転送レート符号化データを後に復号した場合にも良好な
復号データが得られることになる。

【０１４２】請求項１０に記載の本発明に係る記録媒体
は、所定のレートでビデオ信号を固定転送レートに符号
化し、固定転送レートで符号化された固定転送レート符
号化データの符号化情報を観測し、固定転送レートで符
号化された固定転送レート符号化データと符号化情報を
一時保存し、一時保存された固定転送レート符号化デー
タを復号し、観測されて一時保存された符号化情報と目
標とする平均可変転送レートもしくは目標符号量に関す
る情報をもとに、固定転送レート符号化データを復号し
たデータを可変転送レート符号化して生成された可変転
送レート符号化データを記録してなるものであり、した
がって、記録媒体の容量は有効に活用されており、その
可変転送レート符号化データを後に復号した場合にも良
好な復号データが得られることになる。

【０１４３】請求項１１に記載の本発明に係る記録媒体
においては、固定転送レート符号化データに記述された
動き補償に関するパラメータを、可変転送レート符号化
データに記述される動き補償に関するパラメータとして
少なくとも記録してなるので、その動き補償に関するパ
ラメータを使用して可変転送レート符号化データを後に
復号した場合には、符号化ノイズの少ない良好な復号デ
ータが得られることになる。

【０１４４】請求項１２に記載の本発明に係る記録媒体
においては、固定転送レート符号化データを編集情報に
基づいて必要な区間のみ復号したデータを、編集情報に
基づく必要な区間のみの符号化情報を使用して可変転送
レート符号化して生成された可変転送レート符号化デー
タを記録してなるので、編集情報を反映した良好な編集
後の可変転送レート符号化データが得られ、その可変転
送レート符号化データを後に復号した場合にも良好な復
号データが得られることになる。

【図面の簡単な説明】

【図１】本発明の可変転送レート符号化方法および装置
が適用される実施の形態のビデオ信号符号化装置におい
て、固定転送レート符号化データを符号化情報観測器で
観測して可変転送レート符号化データに変換する場合の
概略構成を示すブロック図である。

【図２】本実施の形態のビデオ信号符号化装置の記憶回
路に記録される符号化情報（ピクチャ情報）のフォーマ
ットを示す図である。

【図３】本実施の形態のビデオ信号符号化装置におい
て、符号化しながら発生符号化量や量子化幅情報を符号
化情報観測器で観測して固定転送レート符号化データを
可変長符号化データに変換する場合の概略構成例を示す
ブロック図である。

【図４】本実施の形態のビデオ信号符号化装置におい
て、記憶回路に記録された発生符号量情報と量子化幅情
報、固定転送レート符号化データ等を用いて、当該固定
転送レート符号化データを可変転送レート符号化データ
に変換するための第１の具体例の構成を示すブロック図
である。

【図５】本実施の形態のビデオ信号符号化装置におい
て、記憶回路に記録された発生符号量情報と量子化幅情
報、固定転送レート符号化データ等を用いて、当該固定
転送レート符号化データを可変転送レート符号化データ
に変換するための第２の具体例の構成を示すブロック図
である。

【図６】本実施の形態のビデオ信号符号化装置の記憶回
路に記録される符号化情報（マクロブロック情報）のフ
ォーマットを示す図である。

【図７】本実施の形態のビデオ信号符号化装置におい
て、記憶回路に記録された発生符号量情報と量子化幅情
報、固定転送レート符号化データ等を用いて、当該固定
転送レート符号化データを可変転送レート符号化データ
に変換するための第３の具体例の構成を示すブロック図
である。

【図８】従来例のビデオ信号符号化装置の基本構成を示
すブロック図である。

【図９】従来例のビデオ信号符号化装置において第１の
パスの符号化を行う場合の構成を示すブロック図であ
る。

【図１０】従来例のビデオ信号符号化装置において第２
のパスの符号化を行う場合の構成を示すブロック図であ
る。

【符号の説明】

１…入力端子、２，５２…演算器、３，５３…ＤＣＴ
器、４，５４…量子化器、５，５５…ＶＬＣ器、６，５
６…バッファメモリ、７，５７…出力端子、８，５８…
逆量子化器、９，５９…逆ＤＣＴ器、１０，６０…画像
メモリ、１１，６１…動き補償予測器、１２，６２…演
算器、６２…符号量カウンタ、 ６３…符号量制御回
路、２２…記憶回路、２４…符号化情報観測器、２５…
ＣＰＵ、２６…目標符号量決定回路、４０…復号器、４
１…編集情報入力器、４２…復号化制御器、４３…観測
制御器、５０…可変転送レート符号化器

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ビデオ信号を直交変換と量子化を使用し
   て符号化して、可変転送レートにて出力する可変転送レ
   ート符号化方法であって、 所定のレートでビデオ信号を固定転送レートに符号化す
   るステップと、 前記固定転送レートで符号化された固定転送レート符号
   化データを記録するステップと、 前記記録された固定転送レート符号化データの符号化情
   報を観測するステップと、 前記記録された固定転送レート符号化データを復号する
   ステップと、 前記符号化情報と目標とする平均可変転送レートもしく
   は目標符号量に関する情報をもとに、前記固定転送レー
   ト符号化データを復号したデータを可変転送レート符号
   化するステップと、を有することを特徴とする可変転送
   レート符号化方法。
2. 【請求項２】 ビデオ信号を直交変換と量子化を使用し
   て符号化し、可変転送レートにて出力する可変転送レー
   ト符号化方法であって、 所定のレートでビデオ信号を固定転送レートに符号化す
   るステップと、 前記固定転送レートで符号化された固定転送レート符号
   化データの符号化情報を観測するステップと、 前記固定転送レートで符号化された固定転送レート符号
   化データと前記符号化情報を記録するステップと、 前記記録された固定転送レート符号化データを復号する
   ステップと、 前記観測されて記録された符号化情報と目標とする平均
   可変転送レートもしくは目標符号量に関する情報をもと
   に、前記固定転送レート符号化データを復号したデータ
   を可変転送レート符号化するステップと、を有すること
   を特徴とする可変転送レート符号化方法。
3. 【請求項３】 前記固定転送レート符号化データを復号
   したデータを可変転送レート符号化する際に、少なくと
   も動き補償に関するパラメータは、固定転送レート符号
   化データに記述された動き補償に関するパラメータを使
   用することを特徴とする請求項１または請求項２記載の
   可変転送レート符号化方法。
4. 【請求項４】 編集情報を入力するステップを設け、 前記固定転送レート符号化データを復号するステップで
   は、編集情報に基づく必要な区間のみのデータを復号
   し、 前記固定転送レート符号化データを復号したデータを可
   変転送レート符号化するステップでは、編集情報に基づ
   く必要な区間のみの符号化情報を使用して、前記必要な
   区間のみ復号されたデータを可変転送レート符号化する
   ことを特徴とする請求項１乃至請求項３のうち、いずれ
   か１項記載の可変転送レート符号化方法。
5. 【請求項５】 ビデオ信号を直交変換と量子化を使用し
   て符号化して、可変転送レートにて出力する可変転送レ
   ート符号化装置であって、 所定のレートでビデオ信号を固定転送レートに符号化す
   る固定転送レート符号化手段と、 前記固定転送レートで符号化された固定転送レート符号
   化データを記録する記録手段と、 前記記録された固定転送レート符号化データの符号化情
   報を観測する符号化情報観測手段と、 前記記録された固定転送レート符号化データを復号する
   復号手段と、 前記符号化情報と目標とする平均可変転送レートもしく
   は目標符号量に関する情報をもとに、前記固定転送レー
   ト符号化データを復号したデータを可変転送レート符号
   化する可変転送レート符号化手段と、を有することを特
   徴とする可変転送レート符号化装置。
6. 【請求項６】 ビデオ信号を直交変換と量子化を使用し
   て符号化し、可変転送レートにて出力する可変転送レー
   ト符号化装置であって、 所定のレートでビデオ信号を固定転送レートに符号化す
   る固定転送レート符号化手段と、 前記固定転送レートで符号化された固定転送レート符号
   化データの符号化情報を観測する符号化情報観測手段
   と、 前記固定転送レートで符号化された固定転送レート符号
   化データと前記符号化情報を記録する記録手段と、 前記記録された固定転送レート符号化データを復号する
   復号手段と、 前記観測されて記録された符号化情報と目標とする平均
   可変転送レートもしくは目標符号量に関する情報をもと
   に、前記固定転送レート符号化データを復号したデータ
   を可変転送レート符号化する可変転送レート符号化手段
   と、を有することを特徴とする可変転送レート符号化装
   置。
7. 【請求項７】 前記固定転送レート符号化手段は、少な
   くとも動き補償に関するパラメータを出力する符号化情
   報出力器を備え、 前記可変転送レート符号化手段は、前記符号化情報出力
   器からの少なくとも動き補償に関するパラメータを入力
   する符号化情報入力手段を備え、 前記固定転送レート符号化データを復号したデータを可
   変転送レート符号化手段にて符号化する際に、少なくと
   も動き補償に関するパラメータは、前記固定転送レート
   符号化データに記述された動き補償に関するパラメータ
   を使用することを特徴とする請求項５または請求項６記
   載の可変転送レート符号化装置。
8. 【請求項８】 編集情報を入力する編集情報入力手段
   と、 前記編集情報に基づいて前記符号化情報観測手段を制御
   する観測制御手段と、 前記編集情報に基づいて前記復号手段を制御する復号化
   制御手段とを設け、 前記符号化情報観測手段では、前記観測制御手段の制御
   により、前記編集情報に基づく必要な区間のみの符号化
   情報を観測し、 前記復号手段では、前記復号化制御手段の制御により、
   前記編集情報に基づく必要な区間のみの固定転送レート
   符号化データを復号し、 前記可変転送レート符号化手段では、前記編集情報に基
   づく必要な区間のみの符号化情報を使用して、前記必要
   な区間のみ復号されたデータを可変転送レート符号化す
   ることを特徴とする請求項５乃至請求項７のうち、いず
   れか１項記載の可変転送レート符号化装置。
9. 【請求項９】 ビデオ信号を直交変換と量子化を使用し
   た符号化により生成された可変転送レート符号化データ
   を記録してなる記録媒体であって、 所定のレートでビデオ信号を固定転送レートに符号化
   し、前記固定転送レートで符号化された固定転送レート
   符号化データを一時保存し、前記一時保存された固定転
   送レート符号化データの符号化情報を観測し、前記一時
   保存された固定転送レート符号化データを復号し、前記
   符号化情報と目標とする平均可変転送レートもしくは目
   標符号量に関する情報をもとに、前記固定転送レート符
   号化データを復号したデータを可変転送レート符号化し
   て生成された可変転送レート符号化データを記録してな
   ることを特徴とする記録媒体。
10. 【請求項１０】 ビデオ信号を直交変換と量子化を使用
    した符号化により生成された可変転送レート符号化デー
    タを記録してなる記録媒体であって、 所定のレートでビデオ信号を固定転送レートに符号化
    し、前記固定転送レートで符号化された固定転送レート
    符号化データの符号化情報を観測し、前記固定転送レー
    トで符号化された固定転送レート符号化データと前記符
    号化情報を一時保存し、前記一時保存された固定転送レ
    ート符号化データを復号し、前記観測されて記録された
    符号化情報と目標とする平均可変転送レートもしくは目
    標符号量に関する情報をもとに、前記固定転送レート符
    号化データを復号したデータを可変転送レート符号化し
    て生成された可変転送レート符号化データを記録してな
    ることを特徴とする記録媒体。
11. 【請求項１１】 前記固定転送レート符号化データに記
    述された動き補償に関するパラメータを、前記可変転送
    レート符号化データに記述される動き補償に関するパラ
    メータとして少なくとも記録してなることを特徴とする
    請求項９または請求項１０記載の記録媒体。
12. 【請求項１２】 前記固定転送レート符号化データを編
    集情報に基づいて必要な区間のみ復号したデータを、前
    記編集情報に基づく必要な区間のみの符号化情報を使用
    して前記可変転送レート符号化して生成された前記可変
    転送レート符号化データを記録してなることを特徴とす
    る請求項９乃至請求項１１のうち、いずれか１項記載の
    記録媒体。