JPH11136673A - 圧縮符号化方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像の有する情報量に応じたデ−タ量を画像
に割り当てることにより、特に情報量を多く含む画像の
画質改善を可能とした符号化方法を提供する。 【解決手段】 映像信号の解析をおこなう第一の符号化
と実際の符号化をおこなう第二の符号化の間にて、目標
圧縮符号化条件の変更を行い、変更後の目標圧縮符号化
条件に従って第二の符号化を行うことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像信号の高能率
符号化方法に関するもので、特に光ディスク等の蓄積形
メディアに適した符号化方法に関するものである。

【０００２】

【従来の技術】一般に、画像データをそのまま蓄積する
と、膨大な量のメモリが必要となる。従って、画像を効
率的に圧縮してメディアに蓄積する技術が極めて重要な
技術となる。

【０００３】一方、光ディスクは、ＣＤ、ＬＤに見られ
るように、通常、一定レ−トの画像デ−タが再生され
る。しかし、画像は一般に、情報量を多く含むシーン
と、情報量を多く含まないシーンがある。この画像の性
質を効果的に利用した符号化方法として、可変レート符
号化方式が提案されている（特開平７−２８４０９７
号）。

【０００４】まず最初に、ＭＰＥＧで一般に使用される
画像符号化回路について、図９を用いて説明する。図９
の符号化回路２は、動き補償ＤＣＴ方式を用いてデータ
を圧縮する。動き補償ＤＣＴ方式とは、入力画像データ
の内、周期的に選択された１フレームをそのフレーム内
のデータのみを用いて圧縮し、残りのフレームに関して
は、前のフレームとの差分を圧縮して伝送する方式の一
つである。フレーム内圧縮及びフレーム間圧縮には、典
型的には、直交基底変換の１種である離散コサイン変換
が使用される。また、フレーム間の差分を計算する際
に、前フレームとの間で画像の動きベクトルを検出し、
動きを合わせてから差分を取ることにより圧縮率を大幅
に向上させている。

【０００５】以下、図９の符号化回路２の動作をさらに
説明する。図９において実線はデータの流れを表し、破
線は制御の流れを表す。

【０００６】入力端子３０から画像データが入力され
る。減算器１０は、前フレームとの差分を計算するのに
使われる。符号化制御回路２２は、処理されるべきピク
チャのタイプに応じて、リフレッシュスイッチ２３及び
２４のオンオフを制御する。すなわち、符号化制御回路
２２は、処理されるべきピクチャがＩピクチャ（イント
ラピクチャ）である場合には、リフレッシュスイッチ２
３及び２４をオフにする（フレーム内圧縮）。その結
果、減算器１０は動作しない。

【０００７】入力された画像データは、離散コサイン変
換回路（ＤＣＴ）１１により離散コサイン変換される。
離散コサイン変換は、通常、２次元で行われる。８ｘ８
のブロックごとに離散コサイン変換を行うとすると、そ
の変換の結果として８ｘ８の係数が得られる。ＤＣＴが
施されたデータは、本来、連続量であるが、ディジタル
回路を用いて演算している為に、６４個の各係数は、所
定のビット幅のディジタル値として得られる。このデー
タは、次に、量子化回路１２により、各周波数成分毎に
最適なビット配分がなされる。通常、低域成分は、画像
を構成する重要成分であるのでビット配分を多くし、高
域成分は、画像を構成するのにさほど重要では無いため
に、ビット配分を少なくする。可変長符号化回路（ＶＬ
Ｃ）１３は、量子化回路１２の出力に対し可変長符号化
を行う。可変長符号化とは、統計的に出現確率がより高
いデータにより短い符号長を割り当てる手法で、この手
法により、データの持つ統計的な冗長成分が除去され
る。この手法においては、ハフマン符号がよく用いられ
る。

【０００８】量子化回路１２の出力は、逆量子化回路１
５により量子化が元に戻される。逆量子化回路１５は、
量子化時とは逆に、各周波数成分の振幅をもとの振幅に
戻す。逆量子化により元の振幅に戻された各係数は、逆
ＤＣＴ回路１６により元の画像データに復元される。復
元された画像データがフレーム内画像データの場合に
は、加算器１７は動作しない。その後、復元された画像
データは、フレームメモリ１８により所定の数のフレー
ム分だけ遅延される。遅延された画像データは、動きベ
クトル検出回路２０に入力される。動きベクトル検出回
路２０は、入力画像データからの動き量を計算する。動
き補償回路１９は、その動き量に応じて、画像データの
位置を移動させる。このようにして、動き補償された画
像データは、減算器１０により次の画像データとの差分
を計算するのに使われる。

【０００９】Ｉピクチャに続く何フレームかの画像デー
タは、前フレームの画像データとの差分を圧縮するため
に使用される。符号化制御回路２２は、処理されるべき
ピクチャがＰピクチャ又はＢピクチャである場合には、
リフレッシュスイッチ２３及び２４をオンにする（フレ
ーム間圧縮）。リフレッシュスイッチ２３は、フレーム
間の差分を計算する時にオンとなり、減算器１０を動作
させるのに使われる。リフレッシュスイッチ２４は、リ
フレッシュスイッチ２３と同一の周期でオン、オフを繰
り返している。オンの時は、加算器１７を動作させ、フ
レーム間差分データと前フレームデータを加算し、フレ
ームを復元するのに使われる。可変長符号化回路１３
は、フレーム間圧縮データに対しても可変長符号化を行
う。

【００１０】ここで、Ｉピクチャ−から次のＩピクチャ
−までを、１ＧＯＰ（グループオブピクチャ−）と呼
び、通常１５フレーム（約０．５秒）前後の映像信号に
より構成される。

【００１１】可変長符号化回路（ＶＬＣ）１３の出力は
バッファ回路１４を介して出力端子３１に出力される。
量子化幅決定回路２１はバッファ回路１４の状態をみ
て、量子化回路１２に量子化幅を指定するものである。
つまり、バッファ回路１４からは、所定の一定レートで
出力されているとした場合、バッファ回路１４内に残っ
ているデータが少ない時、よりデータを発生させる必要
があるため、量子化幅Ｑをそれまでよりやや小さくし発
生ビット数を増やすように制御する。逆にバッファ回路
１４内に残っているデータが多すぎる時、データを発生
させにくくする必要があるため、量子化幅Ｑをそれまで
よりやや大きくし、発生ビット数を減らすように制御す
るものである。

【００１２】つまり、バッファ残量より、次の区間に発
生させる目標とする目標データ量を算出し、その目標デ
ータ量より量子化幅を算出することになる。目標データ
量が多ければ、量子化幅Ｑは小さくする必要があり、逆
に目標データ量が小さければ、量子化幅Ｑは大きくする
必要がある。言わば反比例の関係にある。

【００１３】この量子化幅決定回路２１に、映像信号の
各区間の目標データ量をあらかじめ求めておき、符号化
と同時に短区間ごとに強制的に次々と目標データ量を変
更していくことにより、可変レート制御が実現される。

【００１４】図１０にて、従来一般に行われている２パ
ス方式の可変レート制御を説明する。１パス目、所定の
映像信号、例えば２時間の映像信号を端子１から入力
し、符号化回路２にて第１の符号化を行う。符号化回路
２は、図９と同様のものであるが、バッファ回路１４か
ら量子化回路１２へのフィードバックループは省かれ
る。つまり、発生データ量の大小に関わらず、量子化幅
決定回路で決定される量子化幅Ｑ１は一定値の固定で行
われる。ただし、ピクチャ−ごとに独立に設定されてい
てもよい。

【００１５】その結果発生したデータ量Ｄ１を、短区間
ごと、例えば２ＧＯＰ単位ごとに記憶回路３にて記憶す
る。そのときの発生データ量Ｄ１と、目標データ量Ｄ２
の例として、簡単なモデルを図１１（Ａ）、（Ｂ）に示
す。

【００１６】横軸に時間（ＧＯＰ）、縦軸に発生データ
量を示したもので、区間Ａは標準な画像、区間Ｂは動き
の少ない符号化に簡単な画像、区間Ｃは動きの多い符号
化に難しい画像を示している。それぞれ全時間の１／３
づつの時間であったとすると、それぞれの区間で発生し
た発生データ量Ｄ１の総和の比は、Ａ：Ｂ：Ｃ＝２：
１：３となる。ここで、縦軸の数値そのものは量子化幅
Ｑ１に依存するが、本発明では、縦軸の数値そのものよ
りも、各区間の相対的な比率がより重要となる。

【００１７】光ディスクの総容量ＤＡＬＬを、３ギガバ
イトとした場合、区間Ａへの割り当て量は、３ギガ／６
×２＝１ギガと計算される。同様に、区間Ｂは０．５ギ
ガ、区間Ｃは１．５ギガと計算される。

【００１８】一般に、１パス目で発生した短区間の発生
データ量をＤ１、データ量Ｄ１の総和をΣＤ１、目標デ
ータ量をＤ２、総容量をＤＡＬＬ、とした場合、各短区
間の目標データ量Ｄ２は、 Ｄ２＝Ｄ１×ＤＡＬＬ／ΣＤ１ で求められる。

【００１９】このようにして、例えば２時間の映像信号
を、２ＧＯＰ（１秒）ごとの短区間で分割し、それぞれ
の目標データ量Ｄ２が、前記記憶回路３にて記憶した発
生データ量Ｄ１と略比例し、かつ、それぞれの目標デー
タ量Ｄ２の総和が、光ディスクの総容量ＤＡＬＬとなる
ように割り当てることは、計算により容易に可能であ
る。

【００２０】図１０での目標データ量決定回路４は、符
号発生量記憶回路３の情報をもとに、このように目標デ
ータ量を求めるものである。目標データ量決定回路４に
て決定された前記短区間ごとの目標データ量は、目標デ
ータ量記憶回路５に貯えられる。

【００２１】次に２パス目、先ほどと同じ映像信号を図
１０端子１から入力し符号化を行う。この時、図１０
で、目標データ量記憶回路５は、符号化回路２ａへ、逐
次、予め計算された目標データ量を送る。符号化回路２
ａは、図９とほぼ同様であるが、量子化幅決定回路２１
が目標データ量記憶回路５からの指令を受けることがで
きる構成になっていることが大きく異なる。

【００２２】このような構成により、第一の符号化によ
り検出された各短区間ごとの符号化の難易に応じて、各
々の区間に符号量が割り当てられ、蓄積メディアにとっ
て好適な圧縮符号化が行われることになる。

【００２３】

【発明が解決しようとする課題】上記した従来技術は、
可変レート制御により光ディスクなどの蓄積メディアに
効率的に動画像データを記録できる優れた方式である
が、第一の符号化により得られた入力映像に関する情報
や第一の符号化の結果から自動計算された目標圧縮符号
化条件のみでは、人間の視覚特性を考慮した上での最適
な符号化を行うことは難しい。また、最低限２回の符号
化を行う必要があるため、符号化自体に時間とコストが
かかるという問題がある。さらには、符号化後に部分的
に入力映像信号にドロップアウトによるエラーなどの不
具合が発見された場合にも、符号化を行った映像信号全
体の再符号化が必要になり、はなはだ効率が悪い。

【００２４】

【課題を解決するための手段】本発明では、第一の符号
化と第二の符号化の間に、第一の符号化の結果から求め
た目標圧縮符号化条件を編集・加工する工程を設けるこ
とにより、人間の視覚特性、心理特性を考慮した符号化
が可能となる。また、第一の符号化自体にも１パスでの
可変レート制御を行い、第一の符号化によって生成され
る符号化ストリーム及び目標圧縮符号化条件データを複
数のファイルに分割して保存することで、部分的な目標
圧縮符号化条件の編集・加工が行われた際にも、影響す
る部分のみ第二の符号化を行うことが可能となり、符号
化全体の効率が大幅に向上する。

【００２５】さらに、複数のファイルに別れた符号化ス
トリームを連続再生する手段と、再生経路を指定する手
段を設けることにより、前後のシーンを含めた画質の確
認や、異なる圧縮符号化条件下での符号化による画質比
較が容易になる。

【００２６】

【発明の実施の形態】

（実施の形態１）図１に本発明の実施の形態の圧縮符号
化装置の例のブロック図を示す。図１０に比較して、目
標データ量記憶回路５に記憶されている各短区間の目標
データ量を、編集加工する目標データ量編集回路６が付
加されている点が異なる。目標データ量編集回路には、
操作者からの入力手段７から、たとえば、目標データ量
を変更する区間の指定と、変更量を指定することができ
る。目標データ量編集回路は、その指定に応じて、目標
データ量記憶回路５に記憶されている指定区間の目標デ
ータ量を、指定の変更量分修正する。

【００２７】これにより、操作者は自動的な割り当てで
は十分な画質が得られなかった区間に関し、目標データ
量を修正することが可能になり、人間の視覚特性にとっ
て最適な符号化を行うことが可能になる。

【００２８】ここでは、第一の符号化によって得られる
符号化による情報として、符号発生量を用いる例を説明
したが、第一の符号化によって得られる情報はこれにと
どまらず、シーンチェンジ点、フレーム間差分、平均輝
度、平均色差、量子化幅、動きベクトル、動きベクトル
検出時の誤差、など、映像信号自身、及び符号化におい
て得られた情報すべてを利用することが可能であること
は言うまでもない。

【００２９】また、この例では、目標データ量に対する
編集・加工を説明したが、第一の符号化によって決定さ
れる符号化条件は、目標データ量のみに限られるもので
はなく、符号化を制御する条件であればいかなるものに
対しても適用可能である。また、従来の技術では符号化
条件を記憶する単位区間として２ＧＯＰとする例をあげ
たが、さらに大きな単位とすることも、さらに小さな単
位とすることも可能であり、フレーム、フィールド、あ
るいはフレーム内のスライス、マクロブロックを単位と
することもできる。

【００３０】さらに、このような構成の圧縮符号化装置
では、第二の符号化における符号化回路２ａを、符号化
条件の編集・加工による結果の画質確認手段として使用
することができる。すなわち、入力手段７から符号化回
路２ａに対して、編集を行った区間、あるいは、これを
含む区間を指定し、この区間のみ部分的に符号化を行
い、画質が十分であるかどうかを確認することが可能で
ある。

【００３１】なお、上記の例では第一の符号化における
符号化回路２と第二の符号化における符号化回路２ａと
を別々の符号化回路として説明を行ったが、単一の符号
化回路を動作モードを切り替えて複数回使用すること
で、同様の効果が得られることは説明するまでもない。

【００３２】（実施の形態２）図２に本発明の第二の実
施の形態の圧縮符号化装置の例のブロック図を示す。第
一の符号化における符号化回路２において、可変長符号
化回路１３の出力である符号化ストリームは、第一の符
号化の結果として符号化回路より出力されハードディス
ク装置などに記録されるとともに、発生符号量測定回路
２５に入力する。発生符号量測定装置では、過去の所定
期間における、所定の平均ビットレートと実際の符号化
の結果のビットレートの誤差を測定し、その所定の平均
レートからの誤差を量子化幅決定回路２１に出力する。
量子化幅決定回路２１では、この平均レートからの誤差
と、所定の最大レート、最低レートから、誤差が減少す
るように量子化幅を決定する。

【００３３】たとえば、複雑な映像が連続し、実際の符
号化の結果発生した符号化ビットレートが大きくなっ
て、誤差が正の方向に大きくなった場合には、量子化幅
を大きくして、それ以上誤差が拡大するのを防ぐ。逆に
簡単な映像が連続して実際の符号化ビットレートが小さ
くなり、誤差が負の方向に大きくなった場合には、量子
化幅を小さくして符号化ビットレートが大きくなるよう
制御を行う。この際、同時に、所定の最大レート、最小
レートの一方あるいは両方を満足するようにデコーダの
仮想バッファの振る舞いを考慮して量子化幅が決定され
る。

【００３４】過去の所定期間をある程度長く設定すれ
ば、局所的には量子化幅はほぼ一定と見なせ、画像の複
雑さに応じてビットレートが可変することになると同時
に、十分な時間長さでみると、所定の平均レートが満足
できる。

【００３５】このようにして第一の符号化により可変レ
ート制御の符号化ストリームが生成されるため、第一の
符号化にて画質に満足が行かない場合に、第二の符号化
を画質に問題のある部分のみおこなって新たに符号化ス
トリームを生成し直し、その他の部分については、第一
の符号化において生成した符号化ストリームをそのまま
使用することができ、トータルとして圧縮符号化に要す
る時間を大幅に節約することができる。

【００３６】可変レート制御自身に関しては、いくつか
の方法があるが、本発明での可変レート制御の制御方法
としては、どのようなものを使用しても構わない。

【００３７】（実施の形態３）図３に本発明の第三の実
施の形態の圧縮符号化装置の例のブロック図を示す。第
一の符号化において、映像信号１が符号化回路２で符号
化されるとともに、音声信号５０が音声符号化回路５２
で符号化され、音声符号化ストリーム５１として出力さ
れる。符号化制御回路５３は、音声符号化回路５２と映
像のための符号化回路２を同時にスタート・ストップさ
せる。

【００３８】第二の符号化では、符号化が部分的にしか
行われない可能性があり、このようの場合には、音声の
符号化を同時に行うことはできず、まったくの別工程と
して音声の符号化を行う必要が生じ、大幅な工数の増大
を招くが、本発明に示すように第一の符号化と同時に音
声符号化を行えば、このような事態を防ぐことができ
る。

【００３９】（実施の形態４）図４、図５にもとづき本
発明の第四の実施の形態を説明する。図５に示すよう
に、映像入力信号が複数の長さの異なる符号化単位Ａ、
Ｂ、Ｃに別れている場合を考える。これは、たとえば、
映像信号素材が３本のＶＴＲテープに別れており、連続
して符号化ができない場合に相当する。図５のグラフは
符号化単位Ａ、Ｂ，Ｃ各々のＧＯＰごとの符号化難易度
を示している。この符号化難易度のグラフ下側の斜線部
の面積は、各々の符号化単位全体での符号化難易度を示
していることになる。

【００４０】図４の符号発生量記憶回路３では、各符号
化単位の第一の符号化における量子化幅一定での符号化
によるＧＯＰごとの発生符号量が記憶され、全体符号発
生量記憶回路６０では、符号化単位全体での符号発生量
の積算値が、各符号化単位Ａ、Ｂ、Ｃに対して計算、記
憶される。これにより、符号化単位ごとの符号化難易度
に応じ、かつ、符号化単位Ａ、Ｂ、Ｃをあわせた全体で
の平均ビットレートが所定の値となるように、各符号化
単位毎の目標データ量が全体目標データ量決定回路６１
により割り当てられる。

【００４１】さらに、目標データ量決定回路４は、全体
目標データ量決定回路６１により割り当てられた符号化
単位ごとの目標データ量を、ＧＯＰ単位の難易度に応じ
て、ＧＯＰ単位ごとの目標データ量を割り当てる。

【００４２】これにより、符号化単位の符号化難易度に
応じた目標データ量が各符号化単位に割り当てられ、さ
らにそれが、ＧＯＰ単位の符号化難易度に応じてＧＯＰ
ごとの目標データ量として各ＧＯＰに割り当てられるこ
とになる。

【００４３】これは、映像信号素材のテープが別れてい
たり、あるいは、同一テープの連続しない複数個所を符
号化する場合に、複数区間をあわせて最適な可変レート
制御を実現することになる。特に、ＶＴＲ制御手段を持
ち、同一テープ上で連続しない複数個所を符号化する場
合や、自動テープ交換機能を持ち、複数テープに別れた
映像信号素材を符号化する場合には、各々の符号化単位
毎に第一の符号化を行い、その後、第一の割り当てによ
って各符号化単位毎に目標データ量を割り当て、さらに
第二の割り当てにより符号化単位内の所定区間毎に目標
データ量を割り当て、その後に各符号化単位毎に第二の
符号化を行う、という方法により、全体を連続して符号
化した場合と同程度の工数で、かつ、全体を連続して符
号化した場合と同程度の精度で、可変レート符号化が実
現できる。

【００４４】以上の例では、第一の符号化を量子化幅一
定とし、その時の符号発生量がすなわち所定区間毎の符
号化難易度を示す、としたが、もちろん、第一の符号化
を可変レート符号化として、所定区間毎の平均量子化幅
とその時の符号発生量の積で符号化難易度を表現するな
ど、それ以外の符号化難易度の指標を用いても問題無
い。また、第二の割り当てにおける所定区間は、ＧＯＰ
以外の単位を用いても本発明の有効性には何ら影響を与
えない。

【００４５】（実施の形態５）図６に本発明の第五の実
施の形態の圧縮符号化装置の例のブロック図を示す。分
割点入力手段７１からは、あらかじめ入力映像信号１の
特定点、例えば映画を構成する各チャプターの開始点の
タイムコードが入力される。

【００４６】分割点決定回路７２では、入力映像信号１
からタイムコード情報を抽出し、分割点入力手段７１か
ら指定された特定点のタイムコードと一致するかどうか
を検査する。分割点決定回路７２はまた、直前の分割点
から現在の映像信号タイムコードまでの経過時間を測定
し、所定の最小値以上、所定の最大値以下であることを
検査する。また、分割点決定回路７２は、入力映像信号
のシーンが変化する点を、例えば、フレーム間の差分
や、動きベクトルの誤差値の変動から検出する。

【００４７】これらの情報から、分割点決定回路７２
は、例えば、前回の分割点からの経過時間が所定の最小
値以上となった以降に、分割点入力手段７１からの指定
された特定点、もしくは、シーンチェンジを検出した点
で、これを分割点と判断する。指定された特定点あるい
はシーンチェンジが発生せず、前回の分割点からの経過
時間が所定の最大値を超えた場合には、所定の最大値を
超えた時点を分割点とする。

【００４８】上記の分割点決定方法は、あくまでも一例
を示したものであり、分割点の決定方法は、あらかじめ
指定された特定点のみであってもいいし、シーンチェン
ジ点のみであっても、あるいは、所定の周期毎であって
も構わない。

【００４９】符号化回路２は分割点決定回路７２から分
割点検出信号をうけとり、分割点に相当する映像信号フ
レームの直前のフレームでそれまでのＧＯＰを終了し、
分割点に相当するフレームから新たなＧＯＰを開始する
ように符号化を行う。この時、新たに開始するＧＯＰは
直前のＧＯＰの画像信号を参照せずに符号化を行うクロ
ーズドＧＯＰとする。

【００５０】符号化データ書込み回路７３は、符号化回
路２によって生成された符号化ストリームをハードディ
スク装置７４に書込むが、分割点決定回路７２からの分
割点検出信号により、各分割された符号化ストリームを
別々のファイルとしてハードディスク装置７４に書込
む。

【００５１】また、目標データ量記憶回路は、各分割さ
れた符号化ストリームに相当する目標データ量を、別々
のファイルとしてハードディスク装置７４に書込む。こ
れは、符号化と同時でもよいし、符号化が終了した後に
一括して行ってもよい。また、目標データ量のみでな
く、符号化によって得られたビット発生量などの情報
や、符号化に伴う入力映像信号の解析によって得られた
情報などもあわせて、各分割された符号化ストリーム毎
に別ファイルとして保存してもよい。

【００５２】このようにして生成された、各分割ストリ
ームは、画質確認の結果がＯＫであれば、そのまま、最
終的な符号化結果として使用される。画質確認で部分的
にＮＧであれば、その部分のみ目標データ量や符号化条
件を変更して第二の符号化により再符号化を行い、第一
の符号化にて生成した該当部分の分割ストリームを第二
の符号化で再符号化した符号化ストリームで置き換え
て、最終ストリームとして使用される。

【００５３】このような、部分的なストリームの置き換
えの必要な場合でも、各符号化ストリームは独立ファイ
ルとして保存されており、また、各々の符号化ストリー
ムはお互い他を参照せずに復号可能であり、分割符号化
ストリームの内の一部を入れ替えることは非常に容易で
ある。

【００５４】また、部分的に画質に問題があると判断さ
れ、第二の符号化で複数の符号化条件で符号化を行って
結果を比較して最終的な符号化ストリームを決定する場
合にも、第二の符号化を、元々の所定の映像信号の最初
から最後までを対象に行って全体符号化ストリームを複
数個記録しておく必要はなく、問題がある部分を含む分
割符号化ストリームに相当する部分のみ、第二の符号化
にて符号化条件を変えて複数準備し、それを前後の、再
符号化を行っていない分割符号化ストリームと連続再生
して画質比較を行うのみですむ。

【００５５】もちろん、分割点に指定されたフレーム
は、元々シーンチェンジやそれに準ずるフレームであ
り、直前のフレームとのフレーム間の相関関係が低い。
従って、これをクローズドＧＯＰとして符号化しても、
符号化効率の悪化はわずかであり、分割を行ったことに
よるデメリットはない。

【００５６】（実施の形態６）図７に本発明の第六の実
施の形態の復号装置の例のブロック図を示す。ハードデ
ィスク装置７４には、図８に示す構造の分割符号化スト
リームが記録されているとする。Ｔ０からＴ５が全体の
符号化期間であり、これがＴ１，Ｔ２，Ｔ３，Ｔ４の分
割点によりＡ，Ｂ，Ｃ，Ｄ，Ｅの五個の分割符号化単位
に分割されている。このうち、区間Ｂには、異なる符号
化条件のもとで符号化された２つの分割ストリームｖｓ
ｂ０，ｖｓｂ１が存在し、区間Ｄには同様に４つの分割
ストリームｖｓｄ０、ｖｓｄ１、ｖｓｄ２、ｖｓｄ３が
存在する。

【００５７】操作者は区間Ｂと区間Ｄにおいてどのスト
リームを選択復号するかを入力手段８０をとおして指定
する。区間Ｂにおいてｖｓｂ０、区間Ｄにおいてｖｓｄ
３が選択されたとすると、復号順指定回路８１は復号回
路８２に対して、ｖｓａ０、ｖｓｂ０、ｖｓｃ０、ｖｓ
ｄ３、ｖｓｅ０の順に再生するよう指示を行う。復号回
路８２はハードディスク装置７４からこれらの分割スト
リームファイルを順に読み出し、復号処理を行い、復号
後の映像信号を表示装置８３に出力する。

【００５８】このような構成により、操作者は、ｖｓｂ
０、ｖｓｂ１を入れ替えて区間Ｂの、またｖｓｄ０〜３
を入れ替えて区間Ｄの画質比較を行うことが容易であ
り、複数符号化条件下での最適な符号化ストリームを容
易に選択することができる。

【００５９】さらに、復号順指定回路８１、復号回路８
２、及び、表示装置８３の組を複数個もち、入力手段８
０から異なる再生経路を各々の組に指定し、複数の復号
回路同士の復号を同期回路８４で同期させることによ
り、異なる符号化条件のものとでの符号化画質をさらに
容易に比較することができる。

【００６０】復号は専用のハードウェアからなる復号回
路で行っても、あるいは、ＣＰＵ上で動作するソフトウ
ェアで行ってもよいが、ソフトウェアで行う場合には、
必ずしも複数の復号回路は必要でなく、複数の符号化ス
トリームを１フレームずつ順に符号化することで、同様
の効果が得られる。

【００６１】

【発明の効果】上記のように、本発明では、第一の符号
化と第二の符号化の間に、第一の符号化の結果から求め
た目標圧縮符号化条件を編集・加工する工程を設けるこ
とにより、人間の視覚特性、心理特性を考慮した符号化
が可能となる。また、第一の符号化自体にも１パスでの
可変レート制御を行い、第一の符号化によって生成され
る符号化ストリーム及び目標圧縮符号化条件データを複
数のファイルに分割して保存することで、部分的な目標
圧縮符号化条件の編集・加工が行われた際にも、影響す
る部分のみ第二の符号化を行うことが可能となり、符号
化全体の効率が大幅に向上する。

【００６２】さらに、複数のファイルに別れた符号化ス
トリームを連続再生する手段と、再生経路を指定する手
段を設けることにより、前後のシーンを含めた画質の確
認や、異なる圧縮符号化条件下での符号化による画質比
較が容易になる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の圧縮符号化装置のブロ
ック図

【図２】本発明の実施の形態２の圧縮符号化装置のブロ
ック図

【図３】本発明の実施の形態３の圧縮符号化装置のブロ
ック図

【図４】本発明の実施の形態４の圧縮符号化装置のブロ
ック図

【図５】本発明の実施の形態４の説明図

【図６】本発明の実施の形態５の圧縮符号化装置のブロ
ック図

【図７】本発明の実施の形態６の圧縮符号化装置のブロ
ック図

【図８】本発明の実施の形態６の説明図

【図９】一般的な画像の符号化回路のブロック図

【図１０】従来技術例の圧縮符号化装置のブロック図

【図１１】発生データ量と目標データ量の関係を示す図

【符号の説明】

１ 入力映像信号 ２ 符号化回路 ２ａ 符号化回路 ３ 符号発生量記憶回路 ４ 目標データ量決定回路 ５ 目標データ量記憶回路 ６ 目標データ量編集回路 ７ 入力手段 ９ 符号化ストリーム ９ａ 符号化ストリーム １１ ＤＣＴ回路 １２ 量子化回路 １３ 可変長符号化回路 １４ バッファ １５ 逆量子化回路 １６ 逆ＤＣＴ回路 １７ 加算器 １８ フレームメモリ １９ 動き補償回路 ２０ 動きベクトル検出回路 ２１ 符号化幅決定回路 ２２ 符号化制御回路 ２３ スイッチ ２４ スイッチ ２５ 発生符号量測定回路 ３０ 入力映像信号 ３１ 出力符号化ストリーム ５０ 入力音声信号 ５１ 出力音声符号化ストリーム ５２ 音声符号化回路 ５３ 符号化制御回路 ６０ 全体符号発生量記憶回路 ６１ 全体目標データ量決定回路 ７１ 分割点入力手段 ７２ 分割点決定回路 ７３ 符号化データ書込み回路 ７４ ハードディスク装置 ８０ 入力手段 ８１ 復号順指定回路 ８１ａ 復号順指定回路 ８２ 復号回路 ８２ａ 復号回路 ８３ 表示回路 ８３ａ 表示回路 ８４ 同期回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山根 靖彦 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 柏木 吉一郎 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 長谷部 巧 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 川崎 弘二郎 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (24)

【特許請求の範囲】
1. 【請求項１】 映像信号を２回圧縮符号化する圧縮符号
   化方法であって、 映像信号の解析あるいは映像信号の符号化の結果得られ
   る情報から、所定の符号化単位ごとの目標圧縮符号化条
   件を算出し、前記目標圧縮符号化条件に従って符号化を
   行い、圧縮符号化ストリームを生成する圧縮符号化方法
   において、 前記目標圧縮符号化条件の変更を行い、変更後の目標圧
   縮符号化条件に従って符号化を行うことを特徴とする、
   圧縮符号化方法。
2. 【請求項２】 映像信号を２回圧縮符号化する圧縮符号
   化方法であって、 １回目の符号化において、映像信号の解析あるいは映像
   信号の符号化の結果得られる情報から、所定の符号化単
   位ごとの目標圧縮符号化条件を算出し、２回目の符号化
   においては、前記目標圧縮符号化条件に従って符号化を
   行い、圧縮符号化ストリームを生成する圧縮符号化方法
   において、 前記１回目の符号化において、可変レート制御による符
   号化を行うことを特徴とする、圧縮符号化方法。
3. 【請求項３】 映像音声信号を２回圧縮符号化する圧縮
   符号化方法であって、 １回目の映像符号化において、映像信号の解析あるいは
   映像信号の符号化の結果得られる情報から、所定の符号
   化単位ごとの目標圧縮符号化条件を算出し、２回目の映
   像符号化においては、前記目標圧縮符号化条件に従って
   符号化を行い、圧縮符号化ストリームを生成する圧縮符
   号化方法において、 前記１回目の映像符号化において、同時に音声信号の圧
   縮符号化を行うことを特徴とする、圧縮符号化方法。
4. 【請求項４】 所定数の映像信号を２回圧縮符号化する
   圧縮符号化方法であって、 各々の映像信号に対しては、１回目の符号化において、
   映像信号の解析あるいは映像信号の符号化の結果得られ
   る情報から、所定の符号化単位ごとの目標圧縮符号化条
   件を算出し、２回目の符号化においては、前記目標圧縮
   符号化条件に従って符号化を行い、圧縮符号化ストリー
   ムを生成する圧縮符号化方法において、 前記所定数の映像信号各々に対して、前記１回目の符号
   化を順次行い、該１回目の符号化における映像信号の解
   析あるいは映像信号の符号化の結果得られる情報から、
   各々の映像信号の全体に関わる第一の目標圧縮符号化条
   件を算出し、該第一の目標圧縮符号化条件に基づき、各
   々の映像信号内の所定の符号化単位ごとの第二の目標圧
   縮符号化条件を算出し、前記２回目の符号化において、
   該第二の目標圧縮符号化条件に従って符号化を行い、圧
   縮符号化ストリームを生成することを特徴とする、圧縮
   符号化方法。
5. 【請求項５】 映像信号を２回圧縮符号化する圧縮符号
   化方法であって、 １回目の符号化において、映像信号の解析あるいは映像
   信号の符号化の結果得られる情報から、所定の符号化単
   位ごとの目標圧縮符号化条件を算出し、２回目の符号化
   においては、前記目標圧縮符号化条件に従って符号化を
   行い、圧縮符号化ストリームを生成する圧縮符号化方法
   において、 前記１回目の符号化において生成する符号化ストリーム
   を、複数のファイルに分割して記録することを特徴とす
   る、圧縮符号化方法。
6. 【請求項６】 映像信号を２回圧縮符号化する圧縮符号
   化方法であって、 １回目の符号化において、映像信号の解析あるいは映像
   信号の符号化の結果得られる情報から、所定の符号化単
   位ごとの目標圧縮符号化条件を算出し、２回目の符号化
   においては、前記目標圧縮符号化条件に従って符号化を
   行い、圧縮符号化ストリームを生成する圧縮符号化方法
   において、 前記１回目の符号化後に生成される目標圧縮符号化条件
   を、複数のファイルに分割して記録することを特徴とす
   る、圧縮符号化方法。
7. 【請求項７】 前記複数のファイルへの分割に際し、各
   々の符号化ストリームは独立して復号可能となるよう
   に、互いに他の符号化ストリームに含まれる画像を参照
   画像とすることなく符号化することを特徴とする、請求
   項５または６記載の圧縮符号化方法。
8. 【請求項８】 前記複数のファイルへの分割に際し、分
   割点を映像信号のシーン切り替わり点とすることを特徴
   とする、請求項５または６記載の圧縮符号化方法。
9. 【請求項９】 前記複数のファイルへの分割に際し、分
   割点を、あらかじめ指定された映像信号の特定点とする
   ことを特徴とする、請求項５または６記載の圧縮符号化
   方法。
10. 【請求項１０】 前記複数のファイルへの分割に際し、
    分割点の決定において、直前の分割点からの経過時間に
    よる制限を設けることを特徴とする、請求項５または６
    記載の圧縮符号化方法。
11. 【請求項１１】 映像信号を２回圧縮符号化する圧縮符
    号化方法であって、 １回目の符号化において、映像信号の解析あるいは映像
    信号の符号化の結果得られる情報から、所定の符号化単
    位ごとの目標圧縮符号化条件を算出し、２回目の符号化
    においては、前記目標圧縮符号化条件に従って符号化を
    行い、圧縮符号化ストリームを生成する、圧縮符号化方
    法において、 前記２回目の符号化を前記所定時間のうちの一部分に対
    して行い、前記１回目の符号化において生成した第一の
    符号化ストリームの、２回目の符号化を行わなかった部
    分の符号化ストリームと、前記２回目の部分的な符号化
    により生成された第二の符号化ストリームとをあわせ
    て、最終的な符号化ストリームとすることを特徴とす
    る、圧縮符号化方法。
12. 【請求項１２】 映像信号を２回圧縮符号化する圧縮符
    号化装置であって、 映像信号の解析あるいは映像信号の符号化の結果得られ
    る情報から、所定の符号化単位ごとの目標圧縮符号化条
    件を算出し、前記目標圧縮符号化条件に従って符号化を
    行い、圧縮符号化ストリームを生成する圧縮符号化装置
    において、 前記目標圧縮符号化条件を変更する手段を有し、変更後
    の目標圧縮符号化条件に従って符号化を行うことを特徴
    とする、圧縮符号化装置。
13. 【請求項１３】 映像信号を２回圧縮符号化する圧縮符
    号化装置であって、 １回目の符号化において、映像信号の解析あるいは映像
    信号の符号化の結果得られる情報から、所定の符号化単
    位ごとの目標圧縮符号化条件を算出し、２回目の符号化
    においては、前記目標圧縮符号化条件に従って符号化を
    行い、圧縮符号化ストリームを生成する圧縮符号化装置
    において、 前記１回目の符号化において可変レート制御にて符号化
    を行う制御手段を有することを特徴とする、圧縮符号化
    装置。
14. 【請求項１４】 映像音声信号を２回圧縮符号化する圧
    縮符号化装置であって、 １回目の映像符号化において、映像信号の解析あるいは
    映像信号の符号化の結果得られる情報から、所定の符号
    化単位ごとの目標圧縮符号化条件を算出し、２回目の映
    像符号化においては、前記目標圧縮符号化条件に従って
    符号化を行い、圧縮符号化ストリームを生成する、圧縮
    符号化装置において、 音声の符号化を行う手段と、映像及び音声の符号化を同
    時に開始・終了する符号化制御手段とを有し、前記１回
    目の映像符号化において、同時に音声信号の圧縮符号化
    を行うことを特徴とする、圧縮符号化装置。
15. 【請求項１５】 所定数の映像信号を２回圧縮符号化す
    る圧縮符号化装置であって、 各々の映像信号に対しては、１回目の符号化において、
    映像信号の解析あるいは映像信号の符号化の結果得られ
    る情報から、所定の符号化単位ごとの目標圧縮符号化条
    件を算出し、２回目の符号化においては、前記目標圧縮
    符号化条件に従って符号化を行い、圧縮符号化ストリー
    ムを生成する圧縮符号化装置において、 前記所定数の映像信号各々に対して行われる前記１回目
    の符号化における映像信号の解析あるいは映像信号の符
    号化の結果得られる情報から各々の映像信号の全体に関
    わる第一の目標圧縮符号化条件を算出する手段と、該第
    一の目標圧縮符号化条件に基づき、各々の映像信号内の
    所定の符号化単位ごとの第二の目標圧縮符号化条件を算
    出する手段とを有し、前記２回目の符号化において、該
    第二の目標圧縮符号化条件に従って符号化を行い、圧縮
    符号化ストリームを生成することを特徴とする、圧縮符
    号化装置。
16. 【請求項１６】 映像信号を２回圧縮符号化する圧縮符
    号化装置であって、 １回目の符号化において、映像信号の解析あるいは映像
    信号の符号化の結果得られる情報から、所定の符号化単
    位ごとの目標圧縮符号化条件を算出し、２回目の符号化
    においては、前記目標圧縮符号化条件に従って符号化を
    行い、圧縮符号化ストリームを生成する圧縮符号化装置
    において、 前記１回目の符号化において生成された符号化ストリー
    ムを複数のファイルに分割して記録する手段を有するこ
    とを特徴とする、圧縮符号化装置。
17. 【請求項１７】 映像信号を２回圧縮符号化する圧縮符
    号化装置であって、 １回目の符号化において、映像信号の解析あるいは映像
    信号の符号化の結果得られる情報から、所定の符号化単
    位ごとの目標圧縮符号化条件を算出し、２回目の符号化
    においては、前記目標圧縮符号化条件に従って符号化を
    行い、圧縮符号化ストリームを生成する圧縮符号化装置
    において、 前記１回目の符号化後に生成される目標圧縮符号化条件
    を、複数のファイルに分割して記録する手段を有するこ
    とを特徴とする、圧縮符号化装置。
18. 【請求項１８】 前記複数のファイルへの分割に際し、
    各々の符号化ストリームは独立して復号可能となるよう
    に、互いに他の符号化ストリームに含まれる画像を参照
    画像とすることなく符号化することを特徴とする、請求
    項１６または１７記載の圧縮符号化装置。
19. 【請求項１９】 映像信号のシーン切り替わり点を検出
    する手段をさらに有し、 前記複数のファイルへの分割に際し、分割点を映像信号
    のシーン切り替わり点とすることを特徴とする、請求項
    １６または１７記載の圧縮符号化装置。
20. 【請求項２０】 あらかじめ指定された映像信号の特定
    点を検出する手段をさらに有し、 前記複数のファイルへの分割に際し、分割点を、あらか
    じめ指定された映像信号の特定点とすることを特徴とす
    る、請求項１６または１７記載の圧縮符号化装置。
21. 【請求項２１】 前記ファイルへの分割点からの経過時
    間を測定する手段をさらに有し、 前記複数のファイルへの分割に際し、分割点の決定にお
    いて、前記経過時間による制限を設けることを特徴とす
    る、請求項１６または１７記載の圧縮符号化装置。
22. 【請求項２２】 映像信号を２回圧縮符号化する圧縮符
    号化装置であって、 １回目の符号化において、映像信号の解析あるいは映像
    信号の符号化の結果得られる情報から、所定の符号化単
    位ごとの目標圧縮符号化条件を算出する手段と、２回目
    の符号化においては、前記目標圧縮符号化条件に従って
    符号化を行い、圧縮符号化ストリームを生成する手段と
    を有する圧縮符号化装置において、 前記２回目の符号化を前記所定時間のうちの一部分に対
    して行い、前記１回目の符号化において生成した第一の
    符号化ストリームの、２回目の符号化を行わなかった部
    分の符号化ストリームと、前記２回目の部分的な符号化
    により生成された第二の符号化ストリームとをあわせ
    て、最終的な符号化ストリームとすることを特徴とす
    る、圧縮符号化装置。
23. 【請求項２３】 部分的に異なる符号化条件で符号化さ
    れた複数のファイルからなる符号化ストリームを連続再
    生する手段をさらに有することを特徴とする、請求項１
    ６または１７記載の圧縮符号化装置。
24. 【請求項２４】 同時に２つ以上の、部分的に異なる符
    号化条件で符号化された複数のファイルからなる符号化
    ストリームを、同時に連続再生する手段をさらに有する
    ことを特徴とする、請求項１６または１７記載の圧縮符
    号化装置。