JPH11313331A - 画像信号処理システム、デコ―ダ、画像信号処理方法及び復号方法 - Google Patents

Abstract

(57)【要約】 【課題】 圧縮符号化を使用する再エンコードにおい
て、画質劣化を十分に抑制する。 【解決手段】 ＭＰＥＧデコーダ１０は、符号化された
画像信号としてのビットストリームを供給され、これを
復号して復号画像信号を生成して多重化器１１に供給す
るとともに、復号の際に（したがって最初の符号化の際
に）使用した、符号化ビット量、平均量子化スケールを
含む符号化パラメータを、多重化器１１及び端子１６ａ
に供給する。多重化器１１は、これらを復号画像信号に
重畳する。多重化器１１の出力は記録／再生系を介して
分離器１３に供給され、符号化パラメータが分離されて
端子１６ｂに供給される。一方、画像信号は分離器１３
からＭＰＥＧエンコーダ１４に供給される。スイッチ１
５が端子１６ｂ側に倒されることにより、最初の符号化
の際に使用した符号化パラメータの下で再エンコードを
行うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、特に高画質を要
求される用途に好適な、画像信号処理システム、デコー
ダ、画像信号処理方法及び復号方法に関する。

【０００２】

【従来の技術】ＭＰＥＧ方式でエンコードされた画像信
号に対する編集処理においては、一旦エンコードされた
画像信号を復号し、復号した画像について再エンコード
を行う際に、通常のビデオ信号についてエンコードを行
う場合に比べて大きな画質劣化が生じる場合がある。こ
のような画質劣化の原因として、再エンコードの前後
で、すなわち最初にＭＰＥＧ方式でエンコードしたとき
と再エンコードを行うときとで、ピクチャタイプ、動き
ベクトル等の各種符号化パラメータが不一致となること
がある。

【０００３】このような符号化パラメータの不一致の
内、ピクチャタイプが不一致である場合について図９を
参照して説明する。図９Ａにｎ＝１５の場合のＧＯＰ
（GroupOf Pictures)１つ分の入力復号画像、すなわち
再エンコードすべき復号画像についてピクチャタイプの
一例を示す。図９Ｂに示すようにピクチャタイプの位相
ロックを行う場合には、再エンコードの際の参照画像と
して、図９Ａに示した入力復号画像中において（すなわ
ち最初にエンコードした際に）Ｉピクチャであったもの
がそのまま用いられる。

【０００４】これに対して、図９Ｃに示すように位相ロ
ックを行わない場合には、例えば３個目のピクチャのよ
うに、画質劣化の度合いが大きいＢピクチャが再エンコ
ードの際の参照画像として用いられることになる。この
結果として、再エンコードの精度が低下し、大きな画質
劣化が生じることになる。

【０００５】また、他の符号化パラメータ、例えば動き
ベクトルについて、再エンコードの前後で一致させず
に、再エンコード時に再計算を行って算出する値を使用
する場合にも、予測精度が低くなり、再エンコードの精
度が低下する。

【０００６】一方、ピクチャタイプ、動きベクトルを含
む全ての符号化パラメータを再エンコードの前後で一致
させれば、再エンコードによる画質劣化はほとんど生じ
ない。ただし、符号化パラメータの数を増加させるに従
って取り扱う情報量が増大するので、全ての符号化パラ
メータを再エンコードの前後で一致させるような処理は
現実的でない。一般的には、ピクチャタイプ又は動きベ
クトルを再エンコードの前後で一致させれば、画質劣化
を相当量低減できることが可能であることが知られてい
る。

【０００７】

【発明が解決しようとする課題】しかしながら、高画質
が要求される場合には、ピクチャタイプ及び動きベクト
ルを再エンコードの前後で一致させようにしても、画質
劣化の抑制が十分でない。

【０００８】また、動きベクトルはマクロブロック単位
での動き情報を表現するものであり、その情報量は比較
的大きい。このため、再エンコード時の処理効率を向上
させるという観点から、動きベクトルを再エンコードを
行うエンコーダに供給することにより、再エンコードの
前後で動きベクトルを一致させる構成を採用できない場
合にも画質劣化の抑制に有効な、動きベクトルよりも情
報量が小さい符号化パラメータが必要とされる。

【０００９】したがって、この発明の目的は、画質劣化
を十分に抑制することが可能で、伝送すべき情報量が小
さくて済む、画像信号処理システム、デコーダ、画像信
号処理方法及び復号方法を提供することにある。

【００１０】

【課題を解決するための手段】本発明に係る画像信号処
理システムは、入力された符号化画像信号の符号化パラ
メータの代表値として、符号化ビット量及び／又は平均
量子化スケールを生成し、上記入力された符号化画像信
号を復号して復号画像信号を生成し、生成した上記復号
画像信号とともに上記符号化パラメータを出力するデコ
ーダと、上記符号化パラメータを使用して、上記復号画
像信号に対する画像符号化を行うエンコーダとを有する
ことを特徴とする。

【００１１】また、本発明に係る画像信号処理システム
は、入力された符号化画像信号を復号して復号画像信号
を生成し、生成した上記復号画像信号を伝送するための
信号フォ−マット中の無効期間に対応する信号部分に、
上記入力された符号化画像信号の符号化パラメータを重
畳して、上記復号画像信号とともに上記符号化パラメー
タを出力するデコーダと、上記符号化パラメータを使用
して、上記復号画像信号に対する画像符号化を行うエン
コーダを有することを特徴とする。

【００１２】本発明に係るデコーダは、入力された符号
化画像信号の符号化パラメータの代表値として、符号化
ビット量及び／又は平均量子化スケールを生成する符号
化パラメータ生成手段と、上記入力された符号化画像信
号を復号化して復号画像信号を生成する復号手段とを備
え、上記符号化パラメータ生成手段により生成した上記
符号化パラメータを上記復号手段により生成した上記復
号画像信号とともに出力することを特徴とする。

【００１３】また、本発明に係るデコーダは、入力され
た符号化画像信号を復号して復号画像信号を生成する復
号手段と、上記復号手段により生成した上記復号画像信
号を伝送するための信号フォーマット中の無効期間に対
応する信号部分に、上記入力された符号化画像信号の符
号化パラメータを重畳して、上記復号画像信号とともに
上記符号化パラメータを出力する出力手段とを有するこ
とを特徴とする。

【００１４】本発明に係る画像信号処理方法は、入力さ
れた符号化画像信号の符号化パラメータの代表値とし
て、符号化ビット量及び／又は平均量子化スケールを生
成し、上記入力された符号化画像信号を復号して復号画
像信号を生成し、生成した上記復号画像信号とともに上
記符号化パラメータを出力し、上記符号化パラメータを
使用して、上記復号画像信号に対する画像符号化を行う
ことを特徴とする。

【００１５】また、本発明に係る画像信号処理方法は、
入力された符号化画像信号を復号して復号画像信号を生
成し、生成した上記復号画像信号を伝送するための信号
フォーマット中の無効期間に対応する信号部分に、上記
入力された符号化画像信号の符号化パラメータを重畳し
て、上記復号画像信号とともに上記符号化パラメータを
出力し、上記符号化パラメータを使用して、上記復号画
像信号に対する画像符号化を行うことを特徴とする。

【００１６】本発明に係る復号方法は、入力された符号
化画像信号の符号化パラメータの代表値として、符号化
ビット量及び／又は平均量子化スケールを生成し、上記
入力された符号化画像信号を復号化して復号画像信号を
生成し、上記符号化パラメータを上記復号画像信号とと
もに出力することを特徴とする。

【００１７】また、本発明に係る復号方法は、入力され
た符号化画像信号を復号して復号画像信号を生成し、生
成した上記復号画像信号を伝送するための信号フォーマ
ット中の無効期間に対応する信号部分に、上記入力され
た符号化画像信号の符号化パラメータを重畳して、上記
復号画像信号とともに上記符号化パラメータを出力する
ことを特徴とする。

【００１８】このような発明によれば、再エンコードを
行うエンコーダに、最初の画像符号化の際に使用した符
号化パラメータが供給される。このため、最初の画像間
圧縮符号化の際に使用したパラメータと同一の符号化パ
ラメータを使用して、再エンコードを行うことができ
る。

【００１９】特に、符号化パラメータとして、最初のエ
ンコード時の符号化ビット量や平均量子化スケール等を
再エンコードを行うエンコーダに供給することにより、
再エンコードの前後で符号化ビット量を一致させる制御
を行うことが可能となる。

【００２０】

【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照しながら詳細に説明する。

【００２１】まず、この発明における基本的な考え方に
ついてまず説明する。

【００２２】各種符号化パラメータの画質劣化に与える
影響について実験等を含む検討を行った結果、再エンコ
ードの前後における符号化ビット量の違いが画質劣化の
要因の一つであることがわかった。再エンコードの前後
で符号化ビット量が違ってしまう原因は、最初のエンコ
ード時のレートコントロールと、再エンコード時のレー
トコントロールとが異なることにある。

【００２３】例えば、フィードフォワード型のレートコ
ントロールでは、画像の符号化難易度に応じてレートコ
ントロールを行う。この場合、一旦ＭＰＥＧ方式でエン
コードしたものをデコードした画像においては、最初の
エンコード時にＢピクチャであった画像の情報量がＩピ
クチャやＰピクチャであったものに比べて少なくなって
いるので、Ｂピクチャの符号化難易度（後述するよう
に、圧縮の容易さを示すパラメータ）が低いと判断して
しまう。このため、再エンコードの前後でピクチャタイ
プを一致させて再エンコードする際に、Ｂピクチャのビ
ット量を下げるような制御を行う結果として画質劣化が
生じる。

【００２４】したがって、後述するようにして再エンコ
ードの前後で符号化ビット量が一致するように制御する
ことにより、画質劣化を抑制できる。また、さらに検討
を進めた結果、再エンコードの前後で符号化ビット量を
一致させることは、ピクチャタイプを一致させ、動きベ
クトルを一致させない場合においても有効であることが
わかった。

【００２５】再エンコードの前後で符号化ビット量を一
致させるためには、符号化ビット量自体を再エンコード
を行うエンコーダに供給する方法と、量子化スケールを
かかるエンコーダに供給する方法とがある。勿論、これ
らを両方ともかかるエンコーダに供給するようにしても
良い。量子化スケール自体は情報量が比較的大きいた
め、この発明においては、処理の効率及び簡便さを配慮
して、量子化スケールに代えて平均量子化スケールを使
用することとした。

【００２６】上述の説明に沿って、再エンコード時の画
質劣化抑制のために使用し得る符号化パラメータの組合
せを整理すると以下のようになる。なお、これらの符号
化パラメータは、ピクチャ又はスライス単位を単位とす
るエンコード／デコードにおいて使用されるものであ
る。

【００２７】ピクチャタイプ、動きベクトル、符号化
ビット量、平均量子化スケール ピクチャタイプ、動きベクトル、符号化ビット量 ピクチャタイプ、動きベクトル、平均量子化スケール ピクチャタイプ、符号化ビット量、平均量子化スケー
ル ピクチャタイプ、符号化ビット量 ピクチャタイプ、平均量子化スケール ここで、符号化ビット量は、ピクチャ又はスライス単位
での符号かビット量の総和である。この値はバイト数で
表される値でよい。また、例えば、１２８byte（１kbi
t）を単位として丸めた値でもよい。

【００２８】また、平均量子化スケールは、ピクチャ又
はスライス単位での有意なＤＣＴ係数を持つＭＢ（マク
ロブロック）の平均値ＭＢ（マクロブロック）の量子化
スケールの平均値である。ＤＣＴ係数を持つＭＢとは、
ＭＰＥＧで定義されるSkipped MB及びnot coded MBを除
いたＭＢである。

【００２９】なお、符号化画像信号が、すべてＩピクチ
ャの場合、動きベクトルは存在せず、またピクチャタイ
プをエンコーダに入力する必要はない。

【００３０】図１を参照して、上述の組合せの内の例え
ばを実現するこの発明の一実施形態について説明す
る。ＭＰＥＧデコーダ１０は、ＭＰＥＧ方式で符号化さ
れた画像信号としてのビットストリームを供給される。
そして、このビットストリームに、再エンコードに先立
つ復号処理を施し、復号画像信号を生成して多重化器１
１に供給する。また、ＭＰＥＧデコーダ１０は、復号の
際に（したがって上述のビットストリームを生成する最
初の符号化の際に）使用したピクチャタイプ、動きベク
トル、ピクチャの符号化ビット量、及び平均量子化スケ
ールを、多重化器１１及び端子１６ａに供給する。

【００３１】多重化器１１は、これらの符号化パラメー
タを復号画像信号に重畳する。具体的には、所定の伝送
用信号フォーマット、例えば５２５ライン／６０フィー
ルドシステムによって規定される復号画像信号のヘッダ
情報、ブランキング等の復号画像信号の空き領域にこれ
らの符号化パラメータを埋め込むようにすることができ
る。ブランキングに埋め込む場合には、例えばＶＢ−Ｉ
Ｄフォーマットにおけるユーザ定義領域が使用できる。

【００３２】多重化器１１の出力が磁気テープ等の記録
媒体１２を含む記録／再生系に供給され、記録媒体１２
に記録される。再生側では、記録媒体１２から再生され
た信号が分離器１３に供給される。分離器１３は、供給
される信号に埋め込まれていた符号化パラメータを分離
して端子１６ｂに供給するとともに、画像信号をＭＰＥ
Ｇエンコーダ１４に供給する。そして、スイッチ１５が
端子１６ｂ側に倒されることによって分離器１３からの
符号化パラメータが再エンコードを行うＭＰＥＧエンコ
ーダ１４に供給される。これにより、復号の際に（した
がって上述のビットストリームを生成する最初の符号化
の際に）使用された符号化パラメータを使用して、再エ
ンコードを行うことが可能となる。

【００３３】一方、図１の構成によれば、復号の際に
（したがって上述のビットストリームを生成する最初の
符号化の際に）使用した符号化パラメータを直接ＭＰＥ
Ｇエンコーダ１４に供給し、かかる符号化パラメータを
使用して再エンコードを行うことも可能である。この場
合には、スイッチ１５を端子１６ａ側に倒すように制御
すれば良い。また、図１においては、各符号化パラメー
タはＭＰＥＧデコーダ１０から出力するようになされて
いるが、ビットストリームから各符号化パラメータを取
り出し、取り出した各符号化パラメータを出力する構成
を、ＭＰＥＧデコーダ２０とは別個に設けても良い。

【００３４】次に、図２を参照して、上述のの組合せ
を実現するこの発明の他の実施形態について説明する。
ＭＰＥＧ方式で符号化された画像信号としてのビットス
トリームがＭＰＥＧデコーダ２０、動きベクトル及びピ
クチャタイプ取り出し回路２２及び符号化ビット量カウ
ンタ２３に供給される。ＭＰＥＧデコーダ２０は、供給
されるビットストリームを復号して復号画像信号を生成
する。そして、この復号画像信号をＭＰＥＧエンコーダ
２１に供給する。

【００３５】また、動きベクトル及びピクチャタイプ取
り出し回路２２は、ビットストリームから動きベクトル
及びピクチャタイプを取り出して、取り出した動きベク
トル及びピクチャタイプをＭＰＥＧエンコーダ２１に供
給する。同様に、符号化ビット量カウンタ２３は、ビッ
トストリームから符号化ビット量を計算して、計算した
符号化ビット量をＭＰＥＧエンコーダ２１に供給する。
ＭＰＥＧエンコーダ２１は、このようにして供給される
動きベクトル、ピクチャタイプ及び符号化ビット量を使
用して、ＭＰＥＧデコーダ２０から供給される復号画像
信号を再エンコードする。

【００３６】次に、図３を参照して、上述のの組合せ
を実現するこの発明のさらに他の実施形態について説明
する。ＭＰＥＧ方式で符号化された画像信号としてのビ
ットストリームがＭＰＥＧデコーダ３０、平均量子化ス
ケール取り出し回路３２、動きベクトル及びピクチャタ
イプ取り出し回路３３及び符号化ビット量カウンタ３４
に供給される。ＭＰＥＧデコーダ３０は、供給されるビ
ットストリームを復号して復号画像信号を生成する。そ
して、この復号画像信号をＭＰＥＧエンコーダ３１に供
給する。

【００３７】また、平均量子化スケール取り出し回路３
２は、ビットストリームから量子化スケールを取り出し
て、ピクチャ単位での平均量子化スケールを計算して、
その値をＭＰＥＧエンコーダ３１に供給する。一方、動
きベクトル及びピクチャタイプ取り出し回路３３は、ビ
ットストリームから動きベクトル及びピクチャタイプを
取り出して、取り出した動きベクトル及びピクチャタイ
プをＭＰＥＧエンコーダ３１に供給する。

【００３８】同様に、符号化ビット量カウンタ３４は、
ビットストリームから符号化ビット量を計算してＭＰＥ
Ｇエンコーダ３１に供給する。ＭＰＥＧエンコーダ３１
は、このようにして供給される平均量子化スケール、動
きベクトル、ピクチャタイプ及び符号化ビット量を使用
して、ＭＰＥＧデコーダ３０から供給される復号画像信
号を再エンコードする。

【００３９】図２及び図３においては、ビットストリー
ムから各符号化パラメータを取り出す回路を、ＭＰＥＧ
デコーダ２０とは別個のものとしている。これに対し、
各符号化パラメータはビットストリームに対する復号処
理においても得られるので、ＭＰＥＧデコーダ２０から
各符号化パラメータを出力するように構成しても良い。
また、何れかの符号化パラメータのビット量が伝送を行
う上で負担となる場合には、符号化ビット量、平均量子
化スケール等の符号化パラメータを、画質化が問題とな
らない程度に量子化して伝送するようにしても良い。こ
れにより、伝送される符号化パラメータの総情報量を削
減することができる。

【００４０】また、上述したこの発明の一実施形態等
は、上述した組合せの内の又はを実現するものであ
るが、ＭＰＥＧデコーダ１０が上述した〜の組合せ
に対応する符号化パラメータを出力するようにし、ＭＰ
ＥＧエンコーダ１４がこれらの符号化パラメータを使用
してエンコードを行うように構成すれば、〜の組合
せを実現することが可能である。特に、〜の組合せ
を実現する構成においては、動きベクトルの伝送が不要
となるので、伝送される符号化パラメータの総情報量を
削減することができる。

【００４１】上述したこの発明の一実施形態等における
再エンコードの手順について、図４のフローチャートを
参照して説明する。ここではの符号化パラメータの組
合せを前提として説明するが、他の組合せを用いる場合
も取り扱われる符号化パラメータの種類が変わるだけで
あり、略同様の手順による再エンコードを行うことが可
能である。

【００４２】ステップＳ１では、ビットストリームから
符号化ビット量を計算する。ステップＳ２では、ビット
ストリームから動きベクトル及びピクチャタイプを符号
化ビット量を抽出する。そして、ステップＳ３では、割
当てビット量を符号化ビット量として設定し、また、抽
出した動きベクトル、ピクチャタイプを使用してエンコ
ードを行う。さらに、ステップＳ４では、全てのフレー
ムに対してステップＳ３によるエンコードが終了したか
否かを判定する。ステップＳ４において全てのフレーム
に対してエンコードが終了したと判定した場合には再エ
ンコードを終了する。一方、ステップＳ４において全て
のフレームに対してはエンコードが終了していないと判
定した場合には、ステップＳ１に移行して残りのフレー
ムに対する処理を行う。

【００４３】さらに、再エンコードを行うエンコーダに
供給される符号化パラメータを使用して行われるフィー
ドフォワードレートコントロールの手順について、図５
のフローチャートを参照して説明する。ここではの符
号化パラメータの組合せを前提として説明するが、他の
組合せを用いる場合も取り扱われる符号化パラメータの
種類が変わるだけで、略同様の手順による再エンコード
を行うことが可能である。

【００４４】エンコード処理開始後、まず、ステップＳ
１０１ではピクチャの順番を表す変数ｐｉｃｔ＿ｉを１
とする。これにより、最初のピクチャに対する処理を開
始する。ステップＳ１０２では、ｐｉｃｔ＿ｉ番目のピ
クチャに対する割当てビット量を元々の符号化ビット量
にセットする。次に、ステップＳ１０３では、ピクチャ
内のマクロブロックの順番を表す変数ｍｂ＿ｉを１とし
て、最初のマクロブロックに対する処理を開始する。次
に、ステップＳ１０４では、学習符号化パラメータの初
期値を平均量子化スケールから以下の式（１）に従って
計算する。学習符号化パラメータは、量子化スケールの
計算（ステップＳ１０６）において使用される。

【００４５】

【数１】

【００４６】ここで、ＫＱ〔１〕が学習符号化パラメー
タの初期値であり、ＭＱＴが平均量子化スケールであ
る。また、ＸＡ，ＫＲはそれぞれ、以下の式（２）、
（４）に従って計算される。

【００４７】

【数２】

【００４８】ここで、ｔａｒｇｅｔ＿ｂｉｔは、ピクチ
ャ当たりの割当てビット量であり、ステップＳ１０２に
おいて元々の符号化ビット量にセットされたものであ
る。また、ｍｂ＿ｉ番目のピクチャに対する符号化難易
度ｘ＿ｍｂ〔ｍｂ＿ｉ〕は、以下の式（３）に従って計
算される。

【００４９】

【数３】

【００５０】ここで、ｆｂｉｔ［ｍｂ＿ｉ］は、ＭＢを
ある固定の量子化スケールで符号化した時の発生ビット
量の予測値である。ｆｂｉｔ［ｍｂ＿ｉ］の計算は、Ｉ
ピクチャについては画像の平均値分離残差に基づいて行
い、また、Ｐ，Ｂピクチャについては、画像間の予測残
差に基づいて行う。また、ｗｅｉｇｈｔ＿ｍｂ［ｍｂ＿
ｉ］は、画像劣化の目立ちやすさを示すパラメータであ
り、例えば画像の平坦度、明るさ、赤色度等から決定さ
れる。また、ＮＭＢは、フレーム内のマクロブロックの
総数である。

【００５１】

【数４】

【００５２】ここで、ｆｒａｍｅ＿ｒａｔｅは、１秒当
たりのフレーム数である。

【００５３】さらに、ステップＳ１０５では、ｍｂ＿ｉ
番目のマクロブロックに対する割当てビット量を以下の
式（５）に従って計算する。

【００５４】

【数５】

【００５５】ここで、ｔａｒｇｅｔ＿ｂｉｔ＿ｍｂ［ｍ
ｂ＿ｉ］がｍｂ＿ｉ番目の割当てビット量である。ま
た、符号化難易度 ｘ＿ｍｂ［ｍｂ＿ｉ］は、上述の式
（３）に従って計算される。

【００５６】次に、ステップＳ１０６では、ｍｂ＿ｉ番
目のマクロブロックに対する量子化スケールを以下の式
（６）に従って計算する。

【００５７】

【数６】

【００５８】ここで、ｍＱ［ｍｂ＿ｉ］がｍｂ＿ｉ番目
のマクロブロックに対する量子化スケールであり、ま
た、ＫＲ，ＸＡ，ｗｅｉｇｈｔ＿ｍｂ［ｍｂ＿ｉ］は上
述したものである。また、ｍｂ＿ｉ番目の学習符号化パ
ラメータＫＱ〔ｍｂ＿ｉ〕は、上述したステップＳ１０
４によって初期設定され、その後、処理の進行に沿っ
て、後述するステップＳ１０８によって更新される。

【００５９】ステップＳ１０７では、ｍｂ＿ｉ番目のマ
クロブロックの量子化及びエンコードを行う。そして、
ステップＳ１０８に移行し、学習符号化パラメータを以
下の式（７）に従って更新する。

【００６０】

【数７】

【００６１】ここで、ｆｒａｍｅ＿ｂｉｔ＿ｇｅｎｅｒ
ａｔｅｄ［ｍｂ＿ｉ］は、現在のピクチャのｍｂ＿ｉ番
目のマクロブロックまでの総符号化ビット量であり、ｓ
ｕｍ＿ｔａｒｇｅｔ＿ｂｉｔ＿ｍｂ［ｍｂ＿ｉ］は、ｍ
ｂ＿ｉ番目のマクロブロックまでの総割当てビット量で
ある。

【００６２】次に、ステップＳ１０９では、ｍｂ＿ｉに
１を加算することにより、マクロブロックの番号を更新
する。そして、ステップＳ１１０においては、ｍｂ＿ｉ
が１ピクチャ当たりのマクロブロックの総数ＮＭＢより
大きいか否かを判定する。ｍｂ＿ｉがＮＭＢより大きい
と判定した場合には、そのピクチャに対する処理が終了
したと判断し、ステップＳ１１１に移行する。一方、ｍ
ｂ＿ｉがＮＭＢ以下であると判定した場合には、ステッ
プＳ１０５に移行して、後続の（すなわちｍｂ＿ｉが１
増加した）マクロブロックに対する処理を開始する。

【００６３】ステップＳ１１１においては、上述したピ
クチャの番号を示すｐｉｃｔ＿ｉに１を加算する。さら
にステップＳ１１２に移行して、ｐｉｃｔ＿ｉを処理の
単位とするピクチャ数、例えば１ＧＯＰ当たりのピクチ
ャの総数ＮＰＩＣＴより大きいか否かを判定する。ステ
ップＳ１０２においてｐｉｃｔ＿ｉがＮＰＩＣＴ以下で
あると判定した場合には、ステップＳ１０２に移行して
後続の（すなわちｐｉｃｔ＿ｉが１増加した）ピクチャ
に対する処理を開始する。一方、ステップＳ１１２にお
いてｐｉｃｔ＿ｉがＮＰＩＣＴより大きいと判定した場
合には、そのＧＯＰ等の処理単位に対する処理が終了し
たと判断して、エンコードを終了する。

【００６４】以上のようなレートコントロールの手順に
おいて、ｍｂ＿ｉ番目のマクロブロックに対する処理の
精度に関係するｍｂ＿ｉ番目の量子化スケールは、ステ
ップＳ１０６において計算される。そして、この計算の
ために、学習符号化パラメータの値が使用される（式
（６）参照）。この学習符号化パラメータは、ステップ
Ｓ１０８において更新される（式（７）参照）が、初期
値は、ステップＳ１０４において、平均量子化スケール
から計算される（式（１）参照）。

【００６５】この際に使用される平均量子化スケールの
値は、上述したような構成によって伝送される、最初の
エンコードの際に使用された値である。このような処理
により、最初のエンコードの際に使用された平均量子化
スケールの値に基づいて適切なレートコントロールが行
われ、その結果として、再エンコードの前後で符号化ビ
ット量を一致させる制御が可能である。

【００６６】なお、上述の説明では、再エンコードの前
後でピクチャの符号化ビット量を一致させる場合を説明
したが、次に、再エンコードをして符号化ビット量を変
更する場合のレートコントロール方法を説明する。処理
の流れは、図５のフローチャートと同じであり、ステッ
プＳ１０２とステップＳ１０４での処理の細かい内容が
異なる。

【００６７】すなわち、例えば、元々の符号化ビットス
トリームのビットレートをＲ１とし、それを再エンコー
ドして作る符号化ビットストリームのビットレートをＲ
２とするとき、図５のフローチャートのステップＳ１０
２でのピクチャの割当てビット量の設定は、次の式
（８）に基づいて行われる。

【００６８】

【数８】

【００６９】ここで、ｐｉｃｔｕｒｅ＿ｂｉｔ＿ｓｉｚ
ｅは、元々の符号化ピットストリームのピクチャの符号
化ビット量であり、 ｔａｒｇｅｔ＿ｂｉｔは、再エン
コードするピクチャの割当てビット量である。

【００７０】また、図５のフローチャートのステップＳ
１０４での学習符号化パラメータの初期値を次のように
設定する。これは、上述の式（１）のＫＱ〔１〕の計算
を置き換えるものである。

【００７１】

【数９】

【００７２】ここでＭＱＴは、元々の符号化ピットスト
リームの平均量子化スケールである。その他の変数は先
に説明した変数と同じで意味である。

【００７３】なお、ＭＰＥＧの場合では、ピクチャタイ
プと同様に、マクロブロックタイプが３種類ある。すな
わち、フレーム内符号化(Intra) マクロブロックと、過
去から未来を予測する前方向(Forward)フレーム間予測
マクロブロックと、未来から過去を予測する後方向(Bac
kward) フレーム間予測マクロブロックと、前後両方向
から予測する内挿的(Interpolative) マクロブロックと
がある。

【００７４】Ｉピクチャ内の全てのマクロブロックは、
フレーム内符号化マクロブロックである。また、Ｐピク
チャ内には、フレーム内符号化マクロブロックと前方向
フレーム間予測マクロブロックとが含まれる。Ｂピクチ
ャ内には、上述した４種類の全てのタイプのマクロブロ
ックが含まれる。

【００７５】この発明は、より具体的には、入力される
アナログ映像信号をディジタル映像信号に変換し圧縮し
てから、又は直接入力されるディジタル映像信号を圧縮
してから記録媒体である光ディスクに記録するととも
に、この光ディスクに記録された圧縮ディジタル映像信
号を伸長して再生する映像信号記録再生装置に対して適
用することができる。

【００７６】まず、記録処理系の構成と動作について説
明する。図６において、入力端子６１にはディジタル映
像信号が直接供給され、また、入力端子６２にはアナロ
グ映像信号が供給される。アナログ映像信号は、撮像信
号、アンテナで受信した放送映像信号等である。アナロ
グ映像信号は、Ａ／Ｄ変換部６３によりディジタル映像
信号へ変換される。入力端子６１からのディジタル映像
信号及びＡ／Ｄ変換部６３からのディジタル映像信号が
映像信号制御部６４を介してＭＰＥＧエンコーダ６５に
供給される。

【００７７】映像信号制御部６４では、ユーザーの設定
に従って記録制御信号入力部７４を介して得た情報に基
づいたシステムコントローラ７５の制御に応じて、Ａ／
Ｄ変換部６３からのディジタル映像入力、入力端子６１
から入力されるディジタル映像入力のいずれ一つを選択
してＭＰＥＧエンコーダ６５に供給する。ＭＰＥＧエン
コーダ６５は、映像信号制御部６４からの映像信号に対
してＭＰＥＧによる圧縮符号化を施す。

【００７８】ＭＰＥＧエンコーダ６５で圧縮されたディ
ジタル映像信号は、バスを介して、システムコントロー
ラ７５によって制御されるメモリ制御部６７によりアド
レスが指定され、統合バッファメモリ６６の記録系用バ
ッファメモリ部６６ａに格納される。

【００７９】記録系用バッファメモリ部６６ａに格納さ
れたディジタル映像信号は、バス、データ処理部６８及
び記録再生切替えスイッチ６９を介して光ディスクドラ
イブに供給される。データ処理部６８は、記録信号処理
部６８ａと再生信号処理部６８ｂからなる。記録信号処
理部６８ａは、エラー訂正符号化、ディジタル変調等の
処理を行い、再生信号処理部６８ｂは、エラー訂正、デ
ィジタル変調の復調等の処理を行う。光ディスクドライ
ブは、光ディスク７１に記録用のレーザ光を照射して信
号を記録するとともに、再生用のレーザ光を照射して信
号を再生するための光ヘッド７０と、光ディスク７１を
回転駆動するスピンドルモータ７２とを備えている。光
ヘッド７０とスピンドルモータ７２は、ディスク／ヘッ
ド制御部７３により制御される。光ヘッド７０によっ
て、記録信号処理部６８ａの出力信号が光ディスク７１
に記録される。光ディスク７１は、書換え可能なもの
で、ＭＯ（光磁気）ディスク、相変化型ディスク等を使
用できる。

【００８０】システムコントローラ７５は、光ディスク
ドライブの制御をディスク／ヘッド制御部７３を介して
行うとともに、光ディスクドライブの状態も管理してお
り、その情報をメモリ制御部６７に伝え、統合バッファ
メモリ６６からのデータの供給の制御を行う。

【００８１】次に、再生処理系について説明する。再生
処理系は、バスを介して統合バッファメモリ６６の再生
系用バッファメモリ部６６ｂから供給される再生信号を
復号するＭＰＥＧデコーダ７７と、ＭＰＥＧデコーダ７
７からの復号映像信号を切り換える映像信号制御部６４
と、映像信号制御部６４で切り換えられた映像信号をア
ナログ映像信号に変換するＤ／Ａ変換部７９とを備えて
いる。

【００８２】再生モード時、光ディスクドライブは、デ
ィスク／ヘッド制御部７３によりサーボ、ヘッド移動等
が制御され、再生信号をデータ処理部６８の再生信号処
理部６８ｂ、バスを介して再生系用バッファメモリ部６
６ｂに出力する。再生系用バッファメモリ部６６ｂは、
再生信号の書き込みと読み出しのバランスを取りなが
ら、再生映像信号をＭＰＥＧデコーダ７７に供給する。
ＭＰＥＧデコーダ７７は、再生信号に対してＭＰＥＧ復
号処理を施し、復号映像信号を映像信号制御部６４に供
給する。

【００８３】映像信号制御部６４は、ユーザの設定に従
って再生制御信号入力部７６を介して得た情報に基づい
たシステムコントローラ７５により制御され、ＭＰＥＧ
デコーダ７７からの復号映像信号に対して切り換え処理
を施し、復号映像信号をＤ／Ａ変換部７９又は出力端子
７８に出力する。Ｄ／Ａ変換部７９は、映像信号制御部
６４で切り換え制御されたディジタル映像信号をアナロ
グ映像信号に変換し、アナログ映像信号を出力端子７８
に出力する。

【００８４】映像信号制御部６４は、切り換えスイッチ
ＳＷ１と切り換えスイッチＳＷ２とからなる。切り換え
スイッチＳＷ１は、入力端子６１からのディジタル映像
信号入力が供給される入力端子ａと、Ａ／Ｄ変換部６３
からのディジタル映像信号が供給される入力端子ｂと、
ＭＰＥＧデコーダ７７からの復号映像信号が供給される
入力端子ｃと、ＭＰＥＧエンコーダ６５に映像信号を入
力する出力端子ｄとを備えている。また、切り換えスイ
ッチＳＷ２は、入力端子６１からのディジタル映像信号
が供給される入力端子ｅと、ＭＰＥＧデコーダ７７から
の復号映像信号が供給される入力端子ｆと、出力端子７
８及びＤ／Ａ変換部７９に映像信号を出力する出力端子
ｇとを備えている。

【００８５】この映像信号制御部６４におけるスイッチ
ＳＷ１及びスイッチＳＷ２の切り換えは、システムコン
トローラ７５により制御される。具体的には、システム
コントローラ７５に記録制御信号入力部７４を介して供
給されたユーザからの指令が、入力端子６１からの外部
ディジタル映像信号指定するものであれば、スイッチＳ
Ｗ１の入力端子ａが出力端子ｄに接続される。また、入
力端子６２からの映像信号を指定するものであれば、入
力端子ｂが出力端子ｄに接続される。

【００８６】さらに、何れかの映像入力と光ディスクド
ライブで再生した映像データとを繋ぎ編集して再度光デ
ィスク７１に記録するという指令であれば、システムコ
ントローラ７５が出力端子ｄを入力端子ｃに接続するタ
イミングを制御する。すなわち、ＭＰＥＧデコーダ７７
からの復号出力を直接ＭＰＥＧエンコーダ６５に供給
し、再符号化する。

【００８７】なお、この映像信号記録再生装置は、記録
系用と再生系用の記憶領域の割当てを可変する統合バッ
ファメモリ６６と、記録モード又は再生モードに応じて
統合バッファメモリ６６の記憶領域割当て処理かシステ
ムコントローラ７５により制御される。すなわち、記録
系用バッファメモリ部６６ａと再生系用バッファメモリ
部６６ｂは、メモリ制御部６７を介したシステムコント
ローラ７５の制御により、そのエリアを可変とする。例
えば、記録時には、記録系用バッファメモリ部６６ａ
は、統合バッファメモリ６６の全てを占める。また、再
生時には、再生系用バッファメモリ部６６ｂが全てを占
める。また、同時記録再生時には、半分ずつメモリ容量
を確保するようにしてもよい。

【００８８】また、この発明による再エンコードを編集
点付近のみにおいて適用し、それ以外の部分では、ビッ
トストリームを切り替えるような編集処理を行っても良
い。

【００８９】次に、従来の再エンコードを比較対象とし
て、この発明による再エンコードの効果について説明す
る。比較は、国際無線通信諮問委員会（ＣＣＩＲ）の基
準において画質劣化の程度を調べるための標準的な５つ
のシーケンス（bus，bicycle，mobil&calender，flower
garden及びcheerleader）について再エンコードを行っ
た時のＳＮＲ（Signal Nioze Rate)を用いて行う。１画
素当たり８ビットの画像信号について、ＳＮＲは以下の
式（１０）に従って算出される。

【００９０】

【数１０】

【００９１】ここで、ｐｉｘｅｌ＿ｎｕｍは１ピクチャ
当たりの画素数である。また、ＭｅａｎＥｒｒｏｒは１
画素当たりの平均的な誤り数であり、以下の式（１１）
に従って計算される。

【００９２】

【数１１】

【００９３】ここで、ＳｕｍＥｒｒｏｒは全画素につい
ての誤り総数であり、以下の式（１２）に従って計算さ
れる。

【００９４】

【数１２】

【００９５】ここで、Ｏｒｇ_i はオリジナル画像のｉ番
目の画素値である。また、Ｃｕｒ_iは符号化画像のｉ番
目の画素値である。

【００９６】図７に、ピクチャタイプ及び動きベクトル
を再エンコード時と最初のエンコード時とで一致させて
なる従来の再エンコードと、ピクチャタイプ及び動きベ
クトルに加えて符号化ビット量をも再エンコード時と最
初のエンコード時とで一致させてなるこの発明による再
エンコードとについて、ＳＮＲの比較の一例を示した。
５個のシーケンスの何れについても、この発明による再
エンコードを行った場合のＳＮＲの方が高い値を示して
おり、この発明が画質劣化の抑制に有効であることがわ
かる。

【００９７】また、図８に、ピクチャタイプのみを再エ
ンコード時と最初のエンコード時とで一致させてなる従
来の再エンコードと、ピクチャタイプに加えて符号化ビ
ット量をも再エンコード時と最初のエンコード時とで一
致させてなるこの発明による再エンコードについて、Ｓ
ＮＲの比較の一例を示した。図８においても、５個のシ
ーケンスの何れについてもこの発明による再エンコード
を行った場合のＳＮＲの方が高い値を示しており、この
発明が画質劣化の抑制に有効であることがわかる。

【００９８】

【発明の効果】上述したように、この発明では、再エン
コード時に、入力された符号化画像信号の符号化パラメ
ータの代表値として、符号化ビット量及び／又は平均量
子化スケールを生成し、上記入力された符号化画像信号
を復号して復号画像信号を生成し、生成した上記復号画
像信号とともに上記符号化パラメータを出力し、上記符
号化パラメータを使用して、上記復号画像信号に対する
画像符号化を行うので、再エンコード時に使用する符号
化ビット量、平均量子化スケール等の符号化パラメータ
を、最初のエンコード時に用いたものと一致させること
ができる。それにより、再エンコード時と最初のエンコ
ード時について符号化ビット量を一致させることができ
る。

【００９９】一般には、エンコードにおけるレートコン
トロールは画像の符号化難易度に応じて異なったものと
なり、その結果として符号化ビット量が変動する。そし
て、このような符号化ビット量の変動が再エンコードに
おける画質劣化を生じさせる。したがって、再エンコー
ド時と最初のエンコード時の符号化ビット量を一致させ
る上述の処理によって、画質劣化を抑制することができ
る。

【０１００】また、このようにして符号化ビット量を一
致させることは、ピクチャタイプを一致させ、動きベク
トルを一致させない場合においても画質劣化の抑制に有
効である。かかる点を考慮して、要求される画質によっ
ては、再エンコードの前後で動きベクトルを一致させる
ための動きベクトルの伝送を行わないようにしても良
い。このような場合、符号化パラメータを伝送するため
の総ビット量を削減することができ、伝送に係る構成を
簡略化及び低コスト化することができるので、装置全体
についての回路構成の簡略化及び低コスト化に寄与する
ことができる。

【図面の簡単な説明】

【図１】この発明の一実施形態について説明するための
ブロック図である。

【図２】この発明の他の実施形態について説明するため
のブロック図である。

【図３】この発明のさらに他の実施形態について説明す
るためのブロック図である。

【図４】この発明による再エンコードの手順について説
明するためのフローチャートである。

【図５】この発明による再エンコードにおけるレートコ
ントロールの手順について説明するためのフローチャー
トである。

【図６】この発明を適用することができる画像信号処理
システムについて説明するためのブロック図である。

【図７】この発明の効果の一例について説明するための
略線図である。

【図８】この発明の効果の他の一例について説明するた
めの略線図である。

【図９】再エンコードの前後でピクチャタイプが一致し
ない場合の問題点について説明するための略線図であ
る。

【符号の説明】

１，１１ 多重化器、１３ 分離器、１４，２１，３１
ＭＰＥＧエンコーダ、２３、３４ 符号化ビット量カ
ウンタ、３２ 平均量子化スケール取り出し回路

Claims (24)

【特許請求の範囲】
1. 【請求項１】 入力された符号化画像信号の符号化パラ
   メータの代表値として、符号化ビット量及び／又は平均
   量子化スケールを生成し、上記入力された符号化画像信
   号を復号して復号画像信号を生成し、生成した上記復号
   画像信号とともに上記符号化パラメータを出力するデコ
   ーダと、 上記符号化パラメータを使用して、上記復号画像信号に
   対する画像符号化を行うエンコーダとを有することを特
   徴とする画像信号処理システム。
2. 【請求項２】 上記デコーダは、上記符号化パラメータ
   として、符号化ビット量及び／又は平均量子化スケール
   に加えて、ピクチャタイプ及び／又は動きベクトルを上
   記復号画像信号とともに出力することを特徴とする請求
   項１記載の画像信号処理システム。
3. 【請求項３】 上記デコーダは、ピクチャを単位とし
   て、画像符号化を行う際に使用される符号化パラメータ
   を上記復号画像信号とともに出力することを特徴とする
   請求項１記載の画像信号処理システム。
4. 【請求項４】 上記デコーダは、スライスを単位とし
   て、画像符号化を行う際に使用される符号化パラメータ
   を上記復号画像信号とともに出力することを特徴とする
   請求項１記載の画像信号処理システム。
5. 【請求項５】 上記エンコーダは、入力された符号化ビ
   ット量及び／又は平均量子化スケールに基づいてレート
   コントロールを行うことを特徴とする請求項１記載の画
   像信号処理システム。
6. 【請求項６】 入力された符号化画像信号を復号して復
   号画像信号を生成し、生成した上記復号画像信号を伝送
   するための信号フォ−マット中の無効期間に対応する信
   号部分に、上記入力された符号化画像信号の符号化パラ
   メータを重畳して、上記復号画像信号とともに上記符号
   化パラメータを出力するデコーダと、 上記符号化パラメータを使用して、上記復号画像信号に
   対する画像符号化を行うエンコーダを有することを特徴
   とする画像信号処理システム。
7. 【請求項７】 上記デコーダは、入力された符号化画像
   信号の符号化パラメータの代表値として、符号化ビット
   量及び／又は平均量子化スケールを生成し、生成した符
   号化パラメータを上記復号画像信号とともに出力するこ
   とを特徴とする請求項６記載の画像信号処理システム。
8. 【請求項８】 上記デコーダは、上記符号化パラメータ
   として、符号化ビット量及び／又は平均量子化スケール
   に加えて、ピクチャタイプ及び／又は動きベクトルを上
   記復号画像信号とともに出力することを特徴とする請求
   項７記載の画像信号処理システム。
9. 【請求項９】 上記デコーダは、ピクチャを単位とし
   て、画像符号化を行う際に使用される符号化パラメータ
   を上記復号画像信号とともに出力することを特徴とする
   請求項７記載の画像信号処理システム。
10. 【請求項１０】 上記デコーダは、スライスを単位とし
    て、画像符号化を行う際に使用される符号化パラメータ
    を上記復号画像信号とともに出力することを特徴とする
    請求項７記載の画像信号処理システム。
11. 【請求項１１】 上記エンコーダは、入力された符号化
    ビット量及び／又は平均量子化スケールに基づいてレー
    トコントロールを行うことを特徴とする請求項７記載の
    画像信号処理システム。
12. 【請求項１２】 入力された符号化画像信号の符号化パ
    ラメータの代表値として、符号化ビット量及び／又は平
    均量子化スケールを生成する符号化パラメータ生成手段
    と、 上記入力された符号化画像信号を復号化して復号画像信
    号を生成する復号手段とを備え、 上記符号化パラメータ生成手段により生成した上記符号
    化パラメータを上記復号手段により生成した上記復号画
    像信号とともに出力することを特徴とするデコーダ。
13. 【請求項１３】 上記符号化パラメータ生成手段は、上
    記符号化パラメータの代表値として、符号化ビット量及
    び／又は平均量子化スケールに加えて、ピクチャタイプ
    及び／又は動きベクトルを生成することを特徴とする請
    求項１２記載のデコーダ。
14. 【請求項１４】 上記符号化パラメータ生成手段により
    生成される符号化パラメータは、ピクチャを単位とし
    て、画像符号化を行う際に使用されるものであることを
    特徴とする請求項１２記載のデコーダ。
15. 【請求項１５】 上記符号化パラメータ生成手段により
    生成される符号化パラメータは、スライスを単位とし
    て、画像符号化を行う際に使用されるものであることを
    特徴とする請求項１２記載のデコーダ。
16. 【請求項１６】 入力された符号化画像信号を復号して
    復号画像信号を生成する復号手段と、 上記復号手段により生成した上記復号画像信号を伝送す
    るための信号フォーマット中の無効期間に対応する信号
    部分に、上記入力された符号化画像信号の符号化パラメ
    ータを重畳して、上記復号画像信号とともに上記符号化
    パラメータを出力する出力手段とを有することを特徴と
    するデコーダ。
17. 【請求項１７】 入力された符号化画像信号の符号化パ
    ラメータの代表値として、符号化ビット量及び／又は平
    均量子化スケールを生成する符号化パラメータ生成手段
    を備え、 上記出力手段は、上記符号化パラメータ生成手段により
    生成した符号化パラメータを上記復号画像信号とともに
    出力することを特徴とする請求項１６記載のデコーダ。
18. 【請求項１８】 上記符号化パラメータ生成手段は、上
    記符号化パラメータとして、符号化ビット量及び／又は
    平均量子化スケールに加えて、ピクチャタイプ及び／又
    は動きベクトルを生成することを特徴とする請求項１７
    記載のデコーダ。
19. 【請求項１９】 上記符号化パラメータ生成手段により
    生成される上記符号化パラメータは、ピクチャを単位と
    して、画像符号化を行う際に使用される符号化パラメー
    タであることを特徴とする請求項１７記載のデコーダ。
20. 【請求項２０】 上記符号化パラメータ生成手段により
    生成される上記符号化パラメータは、スライスを単位と
    して、画像符号化を行う際に使用される符号化パラメー
    タであることを特徴とする請求項１７記載のデコーダ。
21. 【請求項２１】 入力された符号化画像信号の符号化パ
    ラメータの代表値として、符号化ビット量及び／又は平
    均量子化スケールを生成し、 上記入力された符号化画像信号を復号して復号画像信号
    を生成し、 生成した上記復号画像信号とともに上記符号化パラメー
    タを出力し、 上記符号化パラメータを使用して、上記復号画像信号に
    対する画像符号化を行うことを特徴とする画像信号処理
    方法。
22. 【請求項２２】 入力された符号化画像信号を復号して
    復号画像信号を生成し、 生成した上記復号画像信号を伝送するための信号フォー
    マット中の無効期間に対応する信号部分に、上記入力さ
    れた符号化画像信号の符号化パラメータを重畳して、上
    記復号画像信号とともに上記符号化パラメータを出力
    し、 上記符号化パラメータを使用して、上記復号画像信号に
    対する画像符号化を行うことを特徴とする画像信号処理
    方法。
23. 【請求項２３】 入力された符号化画像信号の符号化パ
    ラメータの代表値として、符号化ビット量及び／又は平
    均量子化スケールを生成し、 上記入力された符号化画像信号を復号化して復号画像信
    号を生成し、 上記符号化パラメータを上記復号画像信号とともに出力
    することを特徴とする復号方法。
24. 【請求項２４】 入力された符号化画像信号を復号して
    復号画像信号を生成し、 生成した上記復号画像信号を伝送するための信号フォー
    マット中の無効期間に対応する信号部分に、上記入力さ
    れた符号化画像信号の符号化パラメータを重畳して、上
    記復号画像信号とともに上記符号化パラメータを出力す
    ることを特徴とする復号方法。