JPH11205803A

JPH11205803A - 符号化装置及び符号化方法

Info

Publication number: JPH11205803A
Application number: JP741398A
Authority: JP
Inventors: Goro Kato; 吾郎加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-01-19
Filing date: 1998-01-19
Publication date: 1999-07-30

Abstract

(57)【要約】【課題】本発明は、ローデイレイモードにおいても復号
器側において高画質な画像を再生できるような符号化デ
ータを生成するようにする。【解決手段】本発明は、フレーム画像における画像デー
タ部分及び差分データ部分における実際の発生符号量を
算出し、次のフレーム画像におけるそれぞれの目標発生
符号量を算出し、目標発生符号量と実際の発生符号量と
の比率に基づいて次のフレーム画像における画像データ
部分及び差分データ部分に対する最適な量子化ステツプ
サイズを個別に求め、当該それぞれの最適な量子化ステ
ツプサイズに基づいて画像データ部分及び差分データ部
分を量子化するようにする。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。

【０００２】発明の属する技術分野従来の技術（図８〜図１１）発明が解決しようとする課題課題を解決するための手段発明の実施の形態（１）全体構成（図１及び図２）（２）ビデオエンコーダの構成（図３〜図５）（３）動作及び効果（４）他の実施の形態（図６及び図７）発明の効果

【０００３】

【発明の属する技術分野】本発明は、符号化装置及び符
号化方法に関し、例えば映像データをＭＰＥＧ(Moving
Picture Experts Group)方式によつて圧縮符号化する符
号化装置及び符号化方法に適用して好適なものである。

【０００４】

【従来の技術】近年、映像及び音声の情報量を減らす方
法として、種々の圧縮符号化方法が提案されており、そ
の代表的なものにＭＰＥＧ２(Moving Picture Experts
GroupPhase 2)と呼ばれる方式がある。

【０００５】このＭＰＥＧ２方式によつて映像データを
圧縮符号化する場合、図８に示すように送信側のエンコ
ーダ１は、ナンバ０〜１１の各フレーム画像をフレーム
内符号化画像（以下、これをＩピクチヤと呼ぶ）、フレ
ーム間順方向予測符号化画像（以下、これをＰピクチヤ
と呼ぶ）、双方向予測符号化画像（以下、これをＢピク
チヤと呼ぶ）の３つの画像タイプのうちのどの画像タイ
プとして処理するかを指定した後、当該フレーム画像の
画像タイプ（Ｉピクチヤ、Ｐピクチヤ及びＢピクチヤ）
に応じてフレーム画像を符号化する順番に並び替え（以
下、これをリオーダリングと呼ぶ）、その順番で各フレ
ーム画像に対して符号化処理を施して伝送する。

【０００６】受信側のデコーダ２は、エンコーダ１によ
つて符号化されたフレーム画像を復号した後、再度リオ
ーダリングして元の順番に戻して再生画像を表示するよ
うになされている。この場合エンコーダ１においては、
リオーダリングした後に符号化処理を施していることに
より、ナンバ０のフレーム画像を符号化処理するまでの
間にナンバ２のフレーム画像が符号化処理されていなけ
ればならず、その分だけ遅延（以下、これをリオーダリ
ングデイレイと呼ぶ）が生じる。

【０００７】またデコーダ２においても、復号した後に
リオーダリングしていることにより、ナンバ０のフレー
ム画像を復号して表示するまでの間にナンバ２のフレー
ム画像が復号されていなければならず、その分だけリオ
ーダリングデイレイが生じてしまう。このように、エン
コーダ１及びデコーダ２においては双方でリオーダリン
グを行つているために、画像データを符号化してから再
生画像を表示するまでの間に３フレーム分のリオーダリ
ングデイレイが生じてしまう。

【０００８】またこのＭＰＥＧ２方式によつて圧縮符号
化された符号化データを伝送する場合、送信側の圧縮符
号化装置から伝送された符号化データは受信側のビデオ
ＳＴＤ(System Target Decoder) バツフア（いわゆるＶ
ＢＶ(Video Buffer Verifier) バツフア）にピクチヤご
とに格納されていく。

【０００９】すなわち図９に示すように、ＶＢＶバツフ
アはバツフアサイズ（容量）が決まつており、符号化デ
ータがピクチヤごとに順次格納される。この場合、Ｉピ
クチヤ、Ｐピクチヤ、Ｂピクチヤの各符号化データは、
一定の伝送レートによつてＶＢＶバツフアにそれぞれ格
納された時点（１フレーム周期）のデコードタイミング
でデコーダに引き抜かれる。ここでＩピクチヤは、符号
化データのデータ量が多いのでＶＢＶバツフアに格納さ
れるまでに多くの時間を要し、ＢピクチヤはＩピクチヤ
に比べれば符号化データのデータ量は少ないので短時間
でＶＢＶバツフアに格納される。

【００１０】このとき送信側の圧縮符号化装置は、デコ
ーダ側のＶＢＶバツフアに符号化データを格納したとき
及び引き抜かれたときにオーバーフロ及びアンダフロー
が生じないようにするため、ＶＢＶバツフアのバツフア
占有率に基づいて発生する符号化データの発生符号量を
制御（レートコントロール）する必要がある。この場
合、画面の更新に必要なＩピクチヤは発生符号量が多い
ことにより（図９）、画像データの伝送時間を多く必要
とすることになり、この時間が遅延となつてしまう。

【００１１】このような伝送時間に起因する遅延やリオ
ーダリングデイレイが発生すると、テレビ電話やテレビ
会議等のリアルタイム性を要求される実時間伝送を行う
場合、送信側から送られてきた符号化データを受信側で
受信して再生画像を表示するまでに時間差が生じてしま
う不都合が生じていた。このような遅延を少なくするた
めに、ＭＰＥＧ２方式では遅延時間を150[ms] 以下に短
縮するローデイレイコーデイング（LOW DELAY CODING）
と呼ばれる手法が規格によつて用意されている。

【００１２】このローデイレイコーデイングにおいて
は、リオーダリングデイレイの原因となるＢピクチヤ及
び発生符号量の多いＩピクチヤを使用せずにＰピクチヤ
のみを使用し、当該Ｐピクチヤを数スライスからなるイ
ントラスライスと残り全てのスライスからなるインター
スライスに区切つてリオーダリングなしに符号化するよ
うになされている。

【００１３】ここでイントラスライスは、当該スライス
部分の画像データがフレーム内符号化される画像部分で
あり、インタースライスは、当該スライス部分の画像デ
ータと前のフレーム画像における同じ領域の参照画像デ
ータとの差分データが符号化される画像部分である。

【００１４】例えば図１０に示すように、ローデイレイ
コーデイングではナンバ０〜１１の各フレーム画像を全
てＰピクチヤとし、横４５マクロブロツク、縦３０マク
ロブロの画枠サイズの中でナンバ０のフレーム画像の上
段から縦２マクロブロツク及び横４５マクロブロツク分
の領域をイントラスライスＩ０、他を全てインタースラ
イスＰ０として設定する。

【００１５】次のナンバ１のフレーム画像は、ナンバ０
のフレーム画像のイントラスライスＩ０の下方向に続く
位置に同じ面積の領域でイントラスライスＩ１が設定さ
れ、他は全てインタースライスＰ１となる。以下、同様
にイントラスライスとインタースライスが各フレーム画
像ごとに設定され、最後のナンバ１１のフレーム画像に
ついてもイントラスライスＩ１１とインタースライスＰ
１１が設定される。

【００１６】そしてローデイレイコーデイングにおいて
は、各フレーム画像のイントラスライスＩ１〜Ｉ１１に
関してはそのまま伝送データとして符号化し、他のイン
タースライスＰ１〜Ｐ１１に関しては前のフレーム画像
の同じ領域の参照画像との差分データに基づいて符号化
し、これをナンバ０のフレーム画像からナンバ１１のフ
レーム画像について繰り返し符号化処理することにより
１枚のＰピクチヤにおける画面全体の画像データが符号
化される。

【００１７】この場合、各フレーム画像におけるイント
ラスライスＩ１〜Ｉ１１の画像データサイズは全て均一
であり、当然インタースライスの画像データサイズも均
一であることにより、各フレーム画像ごとの発生符号量
はほぼ一定の固定レートになる。

【００１８】これにより、図１１に示すように各フレー
ム画像（Ｐピクチヤ）は全て同じ発生符号量の符号化デ
ータとなり、ＶＢＶバツフアに格納されるとき及び引き
抜かれるときの符号化データの推移は全て同じようにな
る。この結果、送信側の圧縮符号化装置は、デコーダ側
のＶＢＶバツフアをアンダフロー及びオーバーフローを
生じさせることなく符号化データの発生符号量を容易に
制御することにより、発生符号量の多いＩピクチヤで生
じるような遅延及びリオーダリングデイレイを解消する
ことができ、かくしてデコーダにより再生画像を遅延な
く表示することができる。

【００１９】

【発明が解決しようとする課題】ところで、かかる構成
の圧縮符号化装置においては、イントラスライスＩ１〜
Ｉ１１に関してはそのまま伝送データとして符号化し、
他のインタースライスＰ１〜Ｐ１１に関しては前のフレ
ーム画像における同じ領域の参照画像との差分データに
基づいて符号化するため、イントラスライスＩ１〜Ｉ１
１の画像データ部分を圧縮符号化したときの実際の発生
符号量は多く、インタースライスＰ１〜Ｐ１１の画像デ
ータ部分を圧縮符号化したときの実際の発生符号量は少
なくなる。

【００２０】ところが、ピクチヤ全体としての発生符号
量は規定されているが、イントラスライスＩ１〜Ｉ１１
及びインタースライスＰ１〜Ｐ１１毎に割り当てる発生
符号量は規定されていない。すなわち、イントラスライ
スＩ１〜Ｉ１１のように符号化したときの発生符号量が
多くなる画像部分に対しても、またインタースライスＰ
１〜Ｐ１１のように符号化したときの発生符号量が余り
多くならない画像データ部分に対しても、均等に発生符
号量が割り当てられている。

【００２１】従つてデータ量の多いイントラスライスＩ
１〜Ｉ１１に対して割り当てられる発生符号量が少な
く、データ量のすくないインタースライスＰ１〜Ｐ１１
に対して割り当てられる発生符号量が多くなることがあ
り、このような場合にピクチヤ全体としての画像に歪み
が生じてしまうという問題があつた。

【００２２】本発明は以上の点を考慮してなされたもの
で、ローデイレイモードにおいても復号器側において高
画質な画像を再生できるような符号化データを生成し得
る符号化装置及び符号化方法を提案しようとするもので
ある。

【００２３】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、所定領域からなる画像データ部分
と、残りの領域の画像データと対応する参照フレームの
同一領域における画像データとの差分からなる差分デー
タ部分とに振り分けられたフレーム画像を量子化して符
号化する場合、フレーム画像の画像データ部分における
実際の発生符号量及び差分データ部分における実際の発
生符号量を算出し、画像データ部分及び差分データ部分
におけるそれぞれの実際の発生符号量に基づいて、次の
フレーム画像における画像データ部分及び差分データ部
分の目標発生符号量をそれぞれ算出し、画像データ部分
の目標発生符号量に対する実際の発生符号量の比率及び
差分データ部分の目標発生符号量に対する実際の発生符
号量の比率に基づいて、次のフレーム画像の画像データ
部分を画像データ部分の目標発生符号量と同じ符号量に
符号化する量子化ステツプサイズ及び上記次のフレーム
画像の差分データ部分を上記差分データ部分の目標発生
符号量と同じ符号量に符号化する量子化ステツプサイズ
をそれぞれ個別に算出し、画像データ部分及び差分デー
タ部分をそれぞれの量子化ステツプサイズに基づいて量
子化して符号化データを生成することにより、画像デー
タ部分及び差分データ部分の目標発生符号量になるよう
に次のフレーム画像における画像データ部分及び差分デ
ータ部分を量子化して符号化データを生成することがで
きる。

【００２４】所定領域からなる画像データ部分と、残り
の領域の画像データと対応する参照フレームの同一領域
における画像データとの差分からなる差分データ部分と
に振り分けられたフレーム画像を量子化して符号化する
場合、次に符号化するフレーム画像の絵柄と１つ前のフ
レーム画像の絵柄とが変化したことを判定し、、次に符
号化するフレーム画像の絵柄が１つ前のフレーム画像の
絵柄に対して変化した場合、復号器に設けられたバツフ
アに格納及び出力される符号化データの推移を想定する
仮想バツフアの初期バツフア容量を初期化し、当該初期
バツフア容量に基づいて次に符号化するフレーム画像に
おける画像データ部分及び差分データ部分に対する量子
化ステツプサイズをそれぞれ個別に算出し、画像データ
部分及び差分データ部分をそれぞれの量子化ステツプサ
イズに基づいて量子化して符号化データを生成すること
により、次に符号化するフレーム画像の絵柄がシーンチ
エンジによつて変化した場合に、１つ前のフレーム画像
に基づいて算出した量子化ステツプサイズに基づいて次
に符号化するフレーム画像を量子化するのではなく、次
に符号化するフレーム画像における画像データ部分及び
差分データ部分に対して最適な発生符号量の符号化デー
タを生成することができる。

【００２５】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【００２６】（１）全体構成図１に示すように、データ送信装置２は、ビデオエンコ
ーダ２０、オーデイオエンコーダ２４、サブタイトルエ
ンコーダ２８、多重化系１２及び制御系４２から構成さ
れる。

【００２７】多重化系１２は、入力用のＦＩＦＯメモリ
３２Ａ、３２Ｂ、３２Ｃ、第１のスイツチ回路３４、第
２のスイツチ回路３６、出力用のＦＩＦＯメモリ３８及
びＳＣＳＩ(Small Computer System Interface) インタ
ーフエース回路４０から構成されている。

【００２８】制御系４２は、データサイズ計数用インタ
ーフエース回路（データサイズＩＦ）３０Ａ、３０Ｂ、
３０Ｃ、ＲＡＭ４３０、イーサネツトインターフエース
回路(Ether-net Interface : ENIF 回路) ４２０、シリ
アルインターフエース回路(Serial Interface : SIF 回
路) ４２２、ＣＰＵ４２４、処理用ＲＡＭ４２６及び制
御データ用ＲＡＭ４２８がＣＰＵバスを介して相互に接
続された構成を有する。

【００２９】ＣＰＵ４２４は、ビデオエンコーダ２０に
対して目標発生符号量を設定し、実際に生成したビデオ
符号化データの発生符号量に基づいて、圧縮符号化後の
発生符号量が設定された目標発生符号量と等しくなるよ
うに制御する。ＣＰＵ４２４の目標発生符号量の設定及
びビデオエンコーダ２０に対する制御により、データ送
信装置２の各構成部分は、外部機器から入力される画像
データをＭＰＥＧ２方式により圧縮符号化し、目標発生
符号量とほぼ等しい発生符号量の符号化データを生成
し、データ送信装置２のデータサイズＩＦ３０Ａ及びＦ
ＩＦＯメモリ３２Ａに送出する。

【００３０】オーデイオエンコーダ２４は、外部機器か
ら入力された音声データをＭＰＥＧ２方式により圧縮符
号化してオーデイオ符号化データを生成し、データ送信
装置２のデータサイズＩＦ３０Ｂ及びＦＩＦＯメモリ３
２Ｂに送出する。

【００３１】サブタイトルエンコーダ２８は、サブタイ
トルデータを生成する外部機器から入力されるサブタイ
トルデータを、線形量子化処理及び固定長符号化処理に
よりエンコードし、サブタイトル符号化データとしてデ
ータ送信装置２のデータサイズＩＦ３０Ｃ及びＦＩＦＯ
メモリ３２Ｃに送出する。

【００３２】ここで多重化系１２において、ＦＩＦＯメ
モリ３２Ａ、３２Ｂ、３２Ｃは、ビデオエンコーダ２
０、オーデイオエンコーダ２４及びサブタイトルエンコ
ーダ２８から入力されるビデオ符号化データ、オーデイ
オ符号化データ及びサブタイトル符号化データをバツフ
アリングし、スイツチ回路３４の入力端子ａ、ｂ、ｃに
送出する。

【００３３】スイツチ回路３４は、制御信号を介して多
重化系１２の制御に従つて入力端子ａ、ｂ、ｃ、ｄのい
ずれかを選択し、これらの入力端子それぞれに入力され
る符号化データ（エレメンタリストリーム）のいずれか
を選択して多重化し、スイツチ回路３６の入力端子ｂに
送出する。なおスイツチ回路３４は、入力端子いずれに
も入力される符号化データがない場合、あるいはスタツ
フイング処理を行う場合等は、入力端子ａ、ｂ、ｃ、ｄ
のいずれも選択せず、所定のブランクデータ（連続した
理論値１又は０）を出力する。

【００３４】スイツチ回路３６は、制御信号を介した多
重化系１２の制御に従つて、入力端子ａ、ｂのいずれか
を選択し、入力端子ｂにスイツチ回路３４から入力され
る符号化データのいずれか、又は入力端子ａに処理用Ｒ
ＡＭ４２６から入力されるプライベートデータストリー
ム（ヘツダデータ）を選択して多重化し、ＦＩＦＯメモ
リ３８及びＳＣＳＩＩＦ回路４０に送出する。

【００３５】ＦＩＦＯメモリ３８は、スイツチ回路３６
が多重化したデータストリームをバツフアリングし、ト
ランスポートストリームとして所定の通信回線を介して
後述するデータ受信装置６０に送出する。

【００３６】ＳＣＳＩＩＦ回路４０は、スイツチ回路３
６が多重化したデータストリームをハードデイスク装置
（ＨＤＤ）又は光磁気デイスク装置（ＭＯＤ）の記録装
置等（図示せず）に出力して記録させる。

【００３７】制御系４２において、データサイズＩＦ３
０Ａ、３０Ｂ、３０Ｃはそれぞれ、ビデオエンコーダ２
０、オーデイオエンコーダ２４及びサブタイトルエンコ
ーダ２８から入力されるビデオ符号化データ、オーデイ
オ符号化データ及びサブタイトル符号化データのフレー
ムごとのデータサイズを計数し、ＣＰＵバスを介してＣ
ＰＵ４２４に送出する。

【００３８】なおデータサイズの計数は、データサイズ
ＩＦ３０Ａ、３０Ｂ、３０Ｃに内蔵されたカウンタによ
り行われる。

【００３９】ＥＮＩＦ回路４２０は、イーサネツト等の
ＬＡＮ（図示せず）を介して入力されてくるプライベー
トデータを受け取り、ＣＰＵバスを介してＣＰＵ４２４
に対して送出する。ＳＩＦ回路４２２は、例えばコンピ
ユータから入力されるシリアル形式のプライベートデー
タを受け取り、ＣＰＵ４２４に対して送出する。

【００４０】ＣＰＵ４２４は、例えばマイクロプロセツ
サ及びプログラム格納用のＲＯＭ及びこれらの周辺回路
から構成され、データサイズＩＦ３０Ａ、３０Ｂ、３０
Ｃ、ＥＮＩＦ回路４２０及びＳＩＦ回路４２２から入力
されるデータサイズを処理用ＲＡＭ４２６に記憶し、Ｆ
ＩＦＯメモリ３２Ａ、３２Ｂ、３２Ｃ等の残り記憶容量
（バツフア残量）、処理用ＲＡＭ４２６に記憶したデー
タサイズ及びビデオエンコーダ２０から供給される画像
フレーム信号に基づいて、符号化データの多重化の順
番、多重化のタイミング調整及びスケジユーリング等の
多重化方法の計画を行い、計画した多重化方法に従つて
スイツチ回路３４、３６の多重化動作をＣＰＵバスを介
して制御する。この実施の形態の場合、ＣＰＵ４２４は
ビデオエンコーダ２０から供給される画像フレーム信号
に基づき、各ビデオフレームごとに多重化計画を算出す
るようになされている。

【００４１】また制御データ用ＲＡＭ４２８は、ＣＰＵ
４２４の処理に関わる制御用のデータを記憶しており、
ＣＰＵ４２４は制御データ用ＲＡＭ４２８に格納された
制御データを用いたスケジユーリングに従つて、ヘツダ
データを処理用ＲＡＭ４２６上に作成し、スイツチ回路
３６の入力端子ａに対して送出する。

【００４２】またヘツダデータの一部は、ＥＮＩＦ回路
４２０又はＳＩＦ回路４２２を介して入力され、制御デ
ータ用ＲＡＭ４２８に記憶されたプライベートデータに
基づいて作成される場合もある。

【００４３】ここで、データ送信装置２では、ＰＣＲ(P
rogram Clock Reference :プログラム時刻基準参照値）
情報を含むアダプテーシヨンフイールド及びＰＥＳ(Pac
ketized Elementary Stream)ヘツダの内容をＣＰＵ４２
４で演算処理し、それらの値を処理用ＲＡＭ４２６に格
納する。因みにアダプテーシヨンフイールドとは、個別
ストリームに関する付加情報やスタツフイングバイト
（無効データバイト）等の動的な状態変化の情報を割り
当てることができるフイールドである。

【００４４】このように処理用ＲＡＭ４２６に格納され
た情報は、スイツチ回路３６において、スイツチ回路３
４を介して所定のタイミングで入力される各符号化デー
タに介挿され、これによりＰＥＳパケツト化及びそれら
を所定長ごとに区切つて多重化したＴＳ(Transport Str
eam)パケツト化が行われる。

【００４５】これに対して、図２はＦＩＦＯメモリ３８
（図１）から出力されたトランスポートストリームを受
信するデータ受信装置６０の構成を示し、分離部５５の
パケツト分離回路５３は、送られてきたトランスポート
ストリームを受信し、当該トランスポートストリームか
らトランスポートパケツトヘツダを分離し、さらにスタ
ツフイングバイト等を除去してＰＥＳパケツトを再生す
る。

【００４６】続いて分離部５５のパケツト分離回路５３
は、再生したＰＥＳパケツトからＰＥＳパケツトヘツダ
を除去して、スイツチ回路５４の入力端子に出力する。
またパケツト分離回路５３は、スイツチ回路５４の入力
端子及び出力端子間の接続を制御するようになされてい
る。

【００４７】スイツチ回路５４は、パケツト分離回路５
３の制御に従つて、出力端子ａからビデオＳＴＤバツフ
ア５８に対して圧縮されたビデオ符号化データを出力
し、出力端子ｂからオーデイオＳＴＤバツフア５９に対
して圧縮されたオーデイオ符号化データを出力して、ビ
デオ符号化データとオーデイオ符号化データとを分離す
る。

【００４８】ビデオＳＴＤバツフア５８は、スイツチ回
路５４から入力されたビデオ符号化データをバツフアリ
ングして所定のタイミングで１フレーム分のビデオ符号
化データをビデオデコーダ６１に供給する。ビデオデコ
ーダ６１は、ビデオエンコーダ２０において行われたＭ
ＰＥＧ２方式により伸長復号し、復号結果をモニタ（図
示せず）に表示する。なお、ビデオＳＴＤバツフア５８
は、データ送信装置のビデオエンコーダ２０により供給
される符号化データの蓄積状態の推移が当該ビデオエン
コーダ２０によつて監視されており、オーバーフロー及
びアンダーフローしないように制御されている。

【００４９】オーデイオＳＴＤバツフア５９は、スイツ
チ回路５４から入力されたオーデイオ符号化データをバ
ツフアリングし、所定のタイミングで１フレーム分のオ
ーデイオ符号化データをオーデイオデコーダ６２に供給
する。オーデイオデコーダ６２は、オーデイオエンコー
ダ２４において行われたＭＰＥＧ２方式により伸長復号
し、復号結果の音声をスピーカ（図示せず）を介して出
力する。

【００５０】（２）ビデオエンコーダの構成ここでビデオエンコーダ２０は、フイードバツク型のデ
ータ符号化装置であり、全てＰピクチヤを用いたローデ
イレイコーデイング方式によつて符号化するようになさ
れている。図３に示すようにビデオエンコーダ２０は、
外部から供給される画像データＤ１Ａを前処理部１１Ａ
に入力する。前処理部１１Ａは、順次入力される画像デ
ータＤ１Ａの各フレーム画像（この場合全てＰピクチ
ヤ）を１６画素×１６ラインの輝度信号及び当該輝度信
号に対応する色差信号によつて構成されるマクロブロツ
クに分割し、これをマクロブロツクデータＤ２Ａとして
演算回路１２Ａ及び動きベクトル検出部２３Ａに供給す
る。

【００５１】この場合、前処理部１１Ａはナンバ０（図
１０）のフレーム画像におけるイントラスライスＩ１及
びインタースライスＰ１の全てについてマクロブロツク
に分割し、これをナンバ１１のフレーム画像まで繰り返
し行う。

【００５２】動きベクトル検出部２３Ａは、マクロブロ
ツクデータＤ２Ａの各マクロブロツクの動きベクトル
を、当該マクロブロツクデータＤ２Ａ及びフレームメモ
リ２１Ａに記憶されている参照画像データＤ１４Ａを基
に算出し、動きベクトルデータ１８Ａとして動き補償部
２２Ａに送出する。

【００５３】演算回路１２Ａは、前処理部１１Ａから供
給されたマクロブロツクデータＤ２Ａについて、当該マ
クロブロツクデータＤ２Ａの各マクロブロツクの画像タ
イプ（イントラスライスＩ１〜Ｉ１１に対してはイント
ラモード又はインタースライスＰ１〜Ｐ１１に対しては
順方向予測モード）に基づくイントラモードあるいは順
方向予測モードの動き補償を行う。

【００５４】ここでイントラモードとは、符号化対象と
なるフレーム画像をそのまま伝送データとする方法であ
り、順方向予測モードとは、符号化対象となるフレーム
画像と過去参照画像との予測残差を伝送データとする方
法である。因みに、この場合のビデオエンコーダ２０に
おいては、Ｐピクチヤのみを使用してイントラスライス
Ｉ１〜Ｉ１１とインタースライスＰ１〜Ｐ１１に分けて
符号化するようになされているため、イントラモードと
順方向予測モードによる動き補償のみを行う。

【００５５】まず、マクロブロツクデータＤ２Ａがイン
トラスライスＩ１〜Ｉ１１のうちの１つであつた場合に
ついて説明する。この場合、マクロブロツクデータＤ２
Ａはイントラモードで処理される。すなわち、演算回路
１２ＡはマクロブロツクデータＤ２Ａのマクロブロツク
を、そのまま演算データＤ３ＡとしてＤＣＴ（Discrete
Cosine Transform 、離散コサイン変換）部１３Ａに送
出する。ＤＣＴ部１３Ａは演算データＤ３Ａに対しＤＣ
Ｔ変換処理を行うことによりＤＣＴ係数化し、これをＤ
ＣＴ係数データＤ４Ａとして量子化部１４Ａに送出す
る。

【００５６】量子化部１４Ａは、発生符号量制御部８０
Ａから供給される量子化インデツクスデータＱ(j+1) に
基づいてＤＣＴ係数データＤ４Ａに対する量子化処理を
行い、量子化ＤＣＴ係数データＤ５ＡとしてＶＬＣ部１
５Ａ及び逆量子化部１８Ａに送出する。ここで量子化部
１４Ａは、発生符号量制御部８０Ａから供給される量子
化インデツクスデータＱ(j+1) に応じて、量子化処理に
おける量子化ステツプサイズを調整することにより、発
生する符号量を制御するようになされている。

【００５７】逆量子化部１８Ａに送出された量子化ＤＣ
Ｔ係数データＤ５Ａは、量子化部１４Ａと同じ量子化ス
テツプサイズによる逆量子化処理を受け、ＤＣＴ係数デ
ータＤ１１Ａとして逆ＤＣＴ部１９Ａに送出される。そ
してＤＣＴ係数データＤ１１Ａは、逆ＤＣＴ部１９Ａに
おいて逆ＤＣＴ処理を受け、演算データＤ１２Ａとして
演算回路２０Ａに送出され、参照画像データＤ１３Ａと
してフレームメモリ２１Ａに記憶される。

【００５８】次に、マクロブロツクデータＤ２Ａがイン
タースライスＰ１〜Ｐ１１のうちの１つであつた場合に
ついて説明する。この場合、演算回路１２Ａはマクロブ
ロツクデータＤ２Ａについて、順方向予測モードによる
動き補償処理を行う。

【００５９】演算回路１２ＡはマクロブロツクデータＤ
２Ａについて、動き補償部２２Ａより供給される順方向
予測画像データＤ１７Ａを用いて減算処理する。順方向
予測画像データＤ１７Ａは、フレームメモリ２１Ａに記
憶されている参照画像データＤ１３Ａを、動きベクトル
データＤ１８Ａに応じて動き補償することにより算出さ
れる。

【００６０】すなわち動き補償部２２Ａは、順方向予測
モードにおいてフレームメモリ２１Ａの読み出しアドレ
スを動きベクトルデータＤ１８Ａに応じてずらして参照
画像データＤ１３Ａを読み出し、これを順方向予測画像
データＤ１７Ａとして演算回路１２Ａ及び演算回路２０
Ａに供給する。演算回路１２Ａはマクロブロツクデータ
Ｄ２Ａから順方向予測画像データＤ１７Ａを減算して予
測残差としての差分データを得、これを演算データＤ３
ＡとしてＤＣＴ部１３Ａに送出する。

【００６１】また、演算回路２０Ａには動き補償部２２
Ａより順方向予測画像データＤ１７Ａが供給されてお
り、演算回路２０Ａは演算データＤ１２Ａに当該順方向
予測画像データＤ１７Ａを加算することにより参照画像
データＤ１３Ａを局部再生し、フレームメモリ２１Ａに
記憶する。

【００６２】かくして、ビデオエンコーダ２０に入力さ
れた画像データＤ１Ａは、動き補償予測処理、ＤＣＴ処
理及び量子化処理を受け、量子化ＤＣＴ係数データＤ５
ＡとしてＶＬＣ部１５Ａに供給される。ＶＬＣ部１５Ａ
は、量子化ＤＣＴ係数データＤ５Ａに対し、所定の変換
テーブルに基づく可変長符号化処理を行い、その結果得
られる可変長符号化データＤ６Ａをバツフア部１４１Ａ
に送出すると共に、マクロブロツクごとの符号化発生ビ
ツト数を表す発生符号量データＢ(j) を、量子化制御部
８０の発生符号量制御部８０Ａ及びＧＣ(Global Comple
xity) 算出部８１Ａにそれぞれ送出する。

【００６３】ＧＣ算出部８１Ａは、発生符号量データＢ
(j) を各マクロブロツクごとに順次蓄積し、１ピクチヤ
分の発生符号量データＢ(j) が全て蓄積された時点で全
マクロブロツク分の発生符号量データＢ(j) を累積加算
することにより、１ピクチヤ分の発生符号量を算出す
る。

【００６４】そしてＧＣ算出部８１Ａは、次式

【００６５】

【数１】

【００６６】を用いて、１ピクチヤのうちのイントラス
ライス部分の発生符号量と当該イントラスライス部分に
おける量子化ステツプサイズの平均値との積を算出する
ことにより、イントラスライス部分の画像の難しさ（以
下、これを単にＧＣと呼ぶ）を表すＧＣデータＸ_iを求
め、これを目標符号量算出部８２Ａに供給する。

【００６７】これと同時にＧＣ算出部８１Ａは、次式

【００６８】

【数２】

【００６９】を用いて、１ピクチヤのうちのインタース
ライス部分の発生符号量と当該インタースライス部分に
おける量子化ステツプサイズの平均値との積を算出する
ことにより、インタースライス部分におけるＧＣデータ
Ｘ_pを求め、これを目標符号量算出部８２Ａに供給す
る。

【００７０】目標符号量算出部８２Ａは、ＧＣ算出部８
１Ａから供給されるＧＣデータＸ_iを基に次式

【００７１】

【数３】

【００７２】を用いて、次のピクチヤにおけるイントラ
スライス部分の目標発生符号量データＴ_piを算出すると
共に、ＧＣ算出部８１Ａから供給されるＧＣデータＸ_p
を基に次式

【００７３】

【数４】

【００７４】を用いて、次のピクチヤにおけるインター
スライス部分の目標発生符号量データＴ_ppを算出し、当
該算出した目標発生符号量データＴ_pi及びＴ_ppを発生符
号量制御部８０Ａにそれぞれ送出する。

【００７５】因みに発生符号量制御部８０Ａは、バツフ
ア部１４１Ａに格納される可変長符号化データＤ６Ａの
蓄積状態を常時監視しており、当該蓄積状態を表す占有
量情報を基に量子化ステツプサイズを決定するようにな
されている。

【００７６】また発生符号量制御部８０Ａは、イントラ
スライス部分の目標発生符号量データＴ_piよりも実際に
発生したマクロブロツクの発生符号量データＢ(j) が多
い場合には、発生符号量を減らすために量子化ステツプ
サイズを大きくし、また目標発生符号量データＴ_piより
も実際の発生符号量データＢ(j) が少ない場合には、発
生符号量を増やすために量子化ステツプサイズを小さく
するようになされている。

【００７７】さらに発生符号量制御部８０Ａは、インタ
ースライス部分の場合も同様に目標発生符号量データＴ
_ppよりも実際に発生したマクロブロツクの発生符号量デ
ータＢ(j) が多い場合には、発生符号量を減らすために
量子化ステツプサイズを大きくし、また目標発生符号量
データＴ_ppよりも実際の発生符号量データＢ(j) が少な
い場合には、発生符号量を増やすために量子化ステツプ
サイズを小さくするようになされている。

【００７８】すなわち発生符号量制御部８０Ａは、デコ
ーダ側に設けられたＶＢＶバツフア５８（図２）に格納
された可変長符号化データＤ６Ａの蓄積状態の推移を想
定することにより、図４に示すように j番目のマクロブ
ロツクにおける仮想バツフアのバツフア占有量ｄ(j) を
次式

【００７９】

【数５】

【００８０】によつて表し、また j＋１番目のマクロブ
ロツクにおける仮想バツフアのバツフア占有量ｄ(j+1)
を次式

【００８１】

【数６】

【００８２】によつて表し、（５）式から（６）式を減
算することにより、 j＋１番目のマクロブロツクにおけ
る仮想バツフアのバツフア占有量ｄ(j+1) を次式

【００８３】

【数７】

【００８４】として変形することができる。

【００８５】続いて発生符号量制御部８０Ａは、ピクチ
ヤ内のマクロブロツクがイントラスライス部分とインタ
ースライス部分とに分かれているため、図５に示すよう
にイントラスライス部分のマクロブロツクとインタース
ライス部分の各マクロブロツクに割り当てる目標発生符
号量Ｔ_pi及びＴ_ppをそれぞれ個別に設定する。この場
合、グラフではマクロブロツクのカウント数が０〜ｓ及
びｔ〜end の間にあるときに次式

【００８６】

【数８】

【００８７】に目標発生符号量Ｔ_ppを代入することによ
り、インタースライス部分におけるバツフア占有量ｄ(j
+1) が得られ、マクロブロツクのカウント数がｓ〜ｔの
間にあるときに次式

【００８８】

【数９】

【００８９】に目標発生符号量Ｔ_piを代入することによ
り、イントラスライス部分におけるバツフア占有量ｄ(j
+1) が得られる。

【００９０】従つて発生符号量制御部８０Ａは、イント
ラスライス部分及びインタースライス部分におけるバツ
フア占有量ｄ(j+1) を次式

【００９１】

【数１０】

【００９２】に代入することにより、マクロブロツク(j
+1) の量子化インデツクスデータＱ(j+1) を算出し、こ
れを量子化部１４Ａに供給する。

【００９３】量子化部１４Ａは、量子化インデツクスデ
ータＱ(j+1) に基づいて次のマクロブロツクにおけるイ
ントラスライスまたはインタースライスに応じた量子化
ステツプサイズを決定し、当該量子化ステツプサイズに
よつてＤＣＴ係数データＤ４Ａを量子化する。

【００９４】これにより量子化部１４Ａは、１つ前のピ
クチヤのイントラスライス部分及びインタースライス部
分における実際の発生符号量データＢ(j) に基づいて算
出した次のピクチヤのイントラスライス部分及びインタ
ースライス部分における目標発生符号量Ｔ_pp及びＴ_piに
とつて最適な量子化ステツプサイズによつてＤＣＴ係数
データＤ４Ａを量子化することができる。

【００９５】かくして量子化部１４Ａでは、バツフア部
１４１Ａのデータ占有量に応じて、当該バツフア部１４
１Ａがオーバーフロー又はアンダーフローしないように
量子化し得ると共に、デコーダ側のＶＢＶバツフア５８
（図２）がオーバーフロー又はアンダーフローしないよ
うに量子化した量子化ＤＣＴ係数データＤ５Ａを生成す
ることができる。

【００９６】バツフア部１４１Ａは、ＶＬＣ部１５Ａか
ら供給されるマクロブロツクごとの可変長符号化データ
Ｄ６Ａを格納して蓄積し、１ピクチヤ分の可変長符号化
データＤ６Ａが格納されるとピクチヤ単位の固定長符号
化データＤ７Ａとして出力するようになされている。こ
こで、バツフア部１４１Ａから出力される固定長符号化
データＤ７Ａの発生符号量は、全てＰピクチヤを符号化
したデータであるためフレーム画像（ピクチヤ）ごとに
ほぼ同一である。

【００９７】（３）動作及び効果以上の構成において、フイードバツク型のビデオエンコ
ーダ２０はＶＬＣ部１５Ａから各マクロブロツクごとの
実際の発生符号量データＢ(j) が量子化制御部８０のＧ
Ｃ算出部８１Ａに入力されると、当該ＧＣ算出部８１Ａ
によつてイントラスライス部分とインタースライス部分
とに振り分けられたＰピクチヤの実際の発生符号量を算
出する。

【００９８】そしてＧＣ算出部８１Ａは、イントラスラ
イス部分の画像の難しさを表すＧＣデータＸ_iを求める
と共に、インタースライス部分の画像の難しさを表すＧ
ＣデータＸ_pを求め、これらのＧＣデータＸ_i及びＸ_p
を目標符号量算出部８２Ａに供給する。

【００９９】目標符号量算出部８２Ａは、１つ前のピク
チヤにおけるイントラスライス部分の画像の難しさを表
すＧＣデータＸ_i及びインタースライス部分の画像の難
しさを表すＧＣデータＸ_pを基に、次に符号化するＰピ
クチヤのイントラスライス部分及びインタースライス部
分に対して画像劣化のない符号化を実行するのに最適な
目標発生符号量データＴ_pi及びＴ_ppを算出し、これを発
生符号量制御部８０Ａに供給する。

【０１００】発生符号量制御部８０Ａは、目標発生符号
量データＴ_pi及びＴ_ppよりもＶＬＣ部１５Ａから送られ
てくる各マクロブロツクごとの実際の発生符号量データ
Ｂ(j) の符号量が多い場合には、目標発生符号量データ
Ｔ_pi及びＴ_ppに近づけるように量子化ステツプサイズを
大きくし、また各マクロブロツクごとの実際の発生符号
量データＢ(j) の符号量が少ない合には、目標発生符号
量データＴ_pi及びＴ_ppに近づけるように量子化ステツプ
サイズを小さくした量子化インデツクスデータＱ(j+1)
を量子化部１４Ａに送出する。

【０１０１】量子化部１４Ａは、量子化インデツクスデ
ータＱ(j+1) に基づいて、イントラスライス部分のＤＣ
Ｔ係数データＤ４Ａや、インタースライス部分のＤＣＴ
係数データＤ４Ａにそれぞれ応じた最適な量子化ステツ
プサイズによつて量子化することにより、Ｐピクチヤの
中のイントラスライス部分やインタースライス部分ごと
に最適な発生符号量で符号化することができる。

【０１０２】これによりバツフア部１４１Ａを介して出
力される固定長符号化データＤ７Ａは、その中のイント
ラスライス部分及びインタースライス部分ごとに最適な
発生符号量で符号化された符号化データとなつており、
かくしてデコーダ側では固定長符号化データＤ７Ａを復
号した場合に画質劣化の抑えられた高画質な画像を表示
することができる。

【０１０３】以上の構成によれば、フイードバツク型の
ビデオエンコーダ２０はローデイレイエンコーデイング
方式において、Ｐピクチヤのうちのイントラスライス部
分及びインタースライス部分にそれぞれ最適な発生符号
量でそれぞれの画像データを符号化するようにしたこと
により、デコーダ側では高画質の画像を再生することが
できる。

【０１０４】（４）他の実施の形態なお上述の実施の形態においては、符号化装置としてフ
イードバツク型のビデオエンコーダ２０（図３）を用い
るようにした場合について述べたが、本発明はこれに限
らず、ビデオエンコーダ２０に対応するものとして図６
に示すようなフイードフオワード型のビデオエンコーダ
１０を用いるようにしても良い。

【０１０５】この場合、図３との対応部分に同一符号を
付して示す図６において、フイードフオワード型のビデ
オエンコーダ１０は、量子化制御部８０（図３）に代え
て量子化制御部１００を設けると共に、動きベクトル検
出部２３Ａによつて算出されたＭＥ(Motion Estimate)
残差情報ＭＥ１を当該量子化制御部１００に入力するよ
うになされている。

【０１０６】このフイードフオワード型のビデオエンコ
ーダ１０は、通常フイードバツク型のビデオエンコーダ
２０と同様にフイードバツク型の量子化制御を行つてい
るが、１つ前のピクチヤの絵柄と次に符号化処理するピ
クチヤの絵柄が大きく変化する（いわゆるシーンチエン
ジ）場合には、次のピクチヤのマクロブロツクデータＤ
２Ａを基に、動きベクトル検出部２３ＡによつてＭＥ残
差情報ＭＥ１を算出する。

【０１０７】ここでＭＥ残差情報ＭＥ１とは、ピクチヤ
単位で算出されるものであり、１つ前のピクチヤと次の
ピクチヤにおける輝度の差分値の合計値である。従つて
ＭＥ残差情報ＭＥ１が大きな値を示すときには、１つ前
のピクチヤと次のピクチヤの絵柄が大きく異なつている
ことを表している。すなわち絵柄が異なつているという
ことは、１つ前のピクチヤの画像データＤ１Ａを用いて
算出した目標発生符号量データＴ_pi及びＴ_ppを基に生成
した量子化インデツクスデータＱ(j+1) によつて、量子
化部１４Ａの量子化ステツプサイズを決定することは適
切ではない。

【０１０８】このため、ビデオエンコーダ１０は、通常
のフイードバツク型の量子化制御を行いながら、次に符
号化処理するピクチヤの絵柄が大きく変化する場合に
は、フイードバツク型の量子化制御を止め、動きベクト
ル検出部２３Ａから供給されるＭＥ残差情報ＭＥ１に基
づいて仮想バツフアの初期バツフア容量ｄ(0) を初期化
し、新たな初期バツフア容量ｄ(0) を基にイントラスラ
イス及びインタースライスごとに量子化インデツクスデ
ータＱ(j+1) を新たに算出するようになされている。

【０１０９】すなわちビデオエンコーダ１０では、発生
符号量制御部１００Ａにおいて動きベクトル検出部２３
Ａから供給されるＭＥ残差情報ＭＥ１から当該発生符号
量制御部１００Ａが元々持つているＭＥ残差情報の平均
値avg を減算し、その減算結果が所定の閾値Ｄを越えて
いた場合に、これから符号化するフレーム画像がシーン
チエンジのあつた新たな絵柄のフレーム画像であると認
識する。

【０１１０】このとき次式

【０１１１】

【数１１】

【０１１２】によつて表されるピクチヤ単位の画像の難
しさ（ＧＣ）を表すＸは、ＭＥ残差情報ＭＥ１と正比例
関係にあり、このときピクチヤ単位の画像の難しさＸと
ＭＥ残差情報ＭＥ１とを、次式

【０１１３】

【数１２】

【０１１４】のように等しい関係においた場合に、ピク
チヤ全体の量子化インデツクスデータＱは次式

【０１１５】

【数１３】

【０１１６】で表され、このときの仮想バツフアの初期
バツフア容量ｄ(0) は、次式

【０１１７】

【数１４】

【０１１８】によつて算出される。発生符号量制御部１
００Ａは（14）式によつて算出された初期バツフア容量
ｄ(0) を再度（13）式に代入することにより、ピクチヤ
全体の量子化インデツクスデータＱを求めるようになさ
れている。

【０１１９】この後、発生符号量制御部１００ＡはＭＥ
残差情報ＭＥ１に基づいて１つ前のピクチヤと次のピク
チヤとの間にシーンチエンジがあつたか否かを判定する
ときに用いる平均値 avgを新たに変更するために、次式

【０１２０】

【数１５】

【０１２１】によつて新たな平均値 avgを再計算し直し
て更新する。

【０１２２】さらに、発生符号量制御部１００Ａは新た
に算出した初期バツフア容量ｄ(0)を用いて、デコーダ
側に設けられたＶＢＶバツフア５８に格納された可変長
符号化データＤ６Ａの推移を想定することにより、j 番
目のマクロブロツクにおける仮想バツフアのバツフア占
有量ｄ(j) を次式

【０１２３】

【数１６】

【０１２４】によつて表し、またj+1 番目のマクロブロ
ツクにおける仮想バツフアのバツフア占有量ｄ(j+1) を
次式

【０１２５】

【数１７】

【０１２６】によつて表し、（16）式から（17）式を減
算することにより、j+1 番目のマクロブロツクにおける
仮想バツフアのバツフア占有量ｄ(j+1) を次式

【０１２７】

【数１８】

【０１２８】として変形することができる。

【０１２９】続いて発生符号量制御部１００Ａは、ピク
チヤ内のマクロブロツクがイントラスライス部分とイン
タースライス部分とに分かれているため、イントラスラ
イス部分のマクロブロツクとインタースライス部分のマ
クロブロツクに割り当てる目標発生符号量Ｔ_PI及びＴ_PP
をそれぞれ個別に設定する。この場合にもグラフ（図
５）に示したようにマクロブロツクのカウント数が０〜
ｓ及びｔ〜ｅｎｄの間にあるときに次式

【０１３０】

【数１９】

【０１３１】で表されるバツフア占有量ｄ(j+1) が得ら
れ、マクロブロツクのカウント数がｓ〜ｔの間にあると
きに次式

【０１３２】

【数２０】

【０１３３】で表されるバツフア占有量ｄ(j+1) が得ら
れる。

【０１３４】従つて発生符号量制御部１００Ａは、マク
ロブロツクごとに算出したバツフア占有量ｄ(j+1) を次
式

【０１３５】

【数２１】

【０１３６】に代入することによりイントラスライス部
分におけるマクロブロツク(j+1) の量子化インデツクス
値Ｑ(j+1) を算出し、またインタースライス部分におけ
るマクロブロツク(j+1) の量子化インデツクス値Ｑ(j+
1) を算出してこれを量子化部１４Ａにそれぞれ供給す
る。

【０１３７】量子化部１４Ａは、量子化インデツクス値
Ｑ(j+1) に基づいて次のマクロブロツクにおけるイント
ラスライスまたはインタースライスに応じた量子化ステ
ツプサイズを決定し、当該量子化ステツプサイズによつ
てＤＣＴ係数データＤ４Ａを量子化する。

【０１３８】このように量子化制御部１００Ａは、これ
から符号化するピクチヤが１つ前のピクチヤと絵柄が大
きく異なる場合、これから符号化するピクチヤから得ら
れるＭＥ残差情報ＭＥ１に基づいて仮想バツフアの初期
バツフア容量ｄ(0) を新たに算出し、当該算出し直した
初期バツフア容量ｄ(0) を基にイントラスライス及びイ
ンタースライスごとに応じた最適な量子化インデツクス
データＱ(j+1) をそれぞれ決定することにより、量子化
部１４Ａにおいて１つ前の絵柄の異なるピクチヤを基に
量子化ステツプサイズを決定するのではなく、これから
符号化するピクチヤの絵柄に合つた最適な量子化ステツ
プサイズを決定し得るようになされている。

【０１３９】次に発生符号量制御部１００Ａが、ＭＥ残
差情報ＭＥ１に基づいて仮想バツフアの初期バツフア容
量ｄ(0) を新たに算出し直し、ＭＥ残差情報ＭＥ１の平
均値avg を新たに更新するまでの仮想バツフア更新処理
手順を図７のフローチヤートを用いて説明する。

【０１４０】すなわち発生符号量制御部１００Ａは、Ｒ
Ｔ１の開始ステツプから入つてステツプＳＰ１に移る。
ステツプＳＰ１において発生符号量制御部１００Ａは、
動きベクトル検出部２３Ａから供給されるＭＥ残差情報
ＭＥ１を受け取つてステツプＳＰ２に移る。

【０１４１】ステツプＳＰ２において発生符号量制御部
１００Ａは、供給されたＭＥ残差情報ＭＥ１からＭＥ残
差情報の平均値avg を減算し、当該減算値が所定の閾値
Ｄよりも大きいか否かを判定する。

【０１４２】ここで否定結果が得られると、このことは
減算値が所定の閾値Ｄよりも小さく、現在のピクチヤに
おける絵柄と１つ前のピクチヤにおける絵柄との差があ
まり無い、すなわちシーンチエンジがなかつたことを表
しており、このとき発生符号量制御部１００Ａはステツ
プＳＰ４に移る。

【０１４３】これに対してステツプＳＰ２において肯定
結果が得られると、このことは減算値が所定の閾値Ｄよ
りも大きい、すなわちシーンチエンジがあつたことを表
しており、このとき発生符号量制御部１００Ａはステツ
プＳＰ３に移る。

【０１４４】ステツプＳＰ３において発生符号量制御部
１００Ａは、（11）式、（12）式、（13）式及び（14）
式に基づいて仮想バツフアの初期バツフア容量ｄ(0) を
算出して仮想バツフアを更新し、ステツプＳＰ４に移
る。

【０１４５】ステツプＳＰ４において発生符号量制御部
１００Ａは、次に供給されるピクチヤに備えてＭＥ残差
情報の平均値avg を（15）式を基に計算して更新し、再
度ステツプＳＰ１に戻つて次のＭＥ残差情報ＭＥ１に備
えて上述の処理を繰り返す。

【０１４６】かくしてビデオエンコーダ１０は、通常の
フイードバツク型の量子化制御を行つてイントラスライ
ス及びインタースライスごとに最適な量子化ステツプサ
イズを決定して量子化制御を行つているが、次のピクチ
ヤが１つ前のピクチヤと絵柄の大きく異なるシーンチエ
ンジが起きた場合には、１つ前のピクチヤを基に算出し
た量子化インデツクスデータＱ(j+1) を用いるのではな
く、これから符号化しようとするピクチヤのＭＥ残差情
報ＭＥ１に基づいて仮想バツフアの初期バツフア容量ｄ
(0) を更新して新たに量子化インデツクスデータＱ(j+
1) を算出し直すことにより、シーンチエンジが起きた
場合でもイントラスライス及びインタースライスごとに
最適な量子化ステツプサイズを決定して量子化制御を行
うことができる。

【０１４７】また上述の実施の形態においては、ローデ
イレイコーデイングとしてナンバ０〜１１の各フレーム
画像を全てＰピクチヤとし、横４５マクロブロツク、縦
３０マクロブロツクの画枠サイズの中でフレーム画像の
上段から縦２マクロブロツク及び横４５マクロブロツク
分の領域を１つのイントラスライス部分、他を全てイン
タースライス部分として設定するようにした場合につい
て述べたが、本発明はこれに限らず、イントラスライス
部分を縦１マクロブロツク及び横４５マクロブロツク分
の領域等のように、他の種々の大きさの領域で形成する
ようにしても良い。

【０１４８】さらに上述の実施の形態においては、本発
明をＭＰＥＧ方式によつて圧縮符号化する符号化装置と
してのビデオエンコーダ２０及び１０に適用するように
した場合について述べたが、本発明はこれに限らず、他
の種々の画像圧縮方式による符号化装置に本発明を適用
するようにしても良い。

【０１４９】

【発明の効果】上述のように本発明によれば、次のフレ
ーム画像における画像データ部分及び差分データ部分に
それぞれ応じた目標発生符号量となるように算出した量
子化ステツプサイズに基づいて、画像データ部分及び差
分データ部分をそれぞれ量子化して符号化データを生成
することにより、復号器において高画質な再生画像を出
力することができる。

【０１５０】また本発明によれば、次に符号化するフレ
ーム画像の絵柄がシーンチエンジによつて大きく変化し
た場合に、１つ前のフレーム画像に基づいて算出した量
子化ステツプサイズに基づいて次に符号化するフレーム
画像を量子化するのではなく、次に符号化するフレーム
画像における画像データ部分及び差分データ部分に対し
て最適な発生符号量の符号化データを生成することによ
り、復号器側において高画質な再生画像を出力すること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態におけるデータ送信装置
の構成を示すブロツク図である。

【図２】データ受信装置の構成を示すブロツク図であ
る。

【図３】ビデオエンコーダの構成を示すブロツク図であ
る。

【図４】仮想バツフアのバツフア占有量を示すグラフで
ある。

【図５】イントラスライス及びインタースライスごとの
仮想バツフアのバツフア占有量を示すグラフである。

【図６】他の実施の形態におけるビデオエンコーダの構
成を示すブロツク図である。

【図７】他の実施の形態におけるビデオエンコーダの仮
想バツフア更新処理手順を示すフローチヤートである。

【図８】従来の典型的なＭＰＥＧ方式によるリオーダリ
ングデイレイを示す略線図である。

【図９】ＶＢＶバツフア内の符号化データの推移を示す
略線図である。

【図１０】ローデイレイモードにおけるデイレイを示す
略線図である。

【図１１】全てＰピクチヤとしたときのＶＢＶバツフア
内の符号化データの推移を示す略線図である。

【符号の説明】

１４Ａ……量子化部、１５Ａ……ＶＬＣ部、１０、２０
……ビデオエンコーダ、８０、１００……量子化制御
部、８０Ａ、１００Ａ……発生符号量制御部、８１Ａ…
…ＧＣ算出部、８２Ａ……目標符号量算出部。

Claims

【特許請求の範囲】

【請求項１】所定領域からなる画像データ部分と、残り
の領域の画像データと対応する参照フレームの同一領域
における画像データとの差分からなる差分データ部分と
に振り分けられたフレーム画像を量子化して符号化する
符号化装置において、上記フレーム画像の上記画像データ部分における実際の
発生符号量及び上記差分データ部分における実際の発生
符号量を算出する発生符号量算出手段と、上記画像データ部分及び上記差分データ部分におけるそ
れぞれの上記実際の発生符号量に基づいて、次のフレー
ム画像における上記画像データ部分及び上記差分データ
部分の目標発生符号量をそれぞれ算出する目標符号量算
出手段と、上記画像データ部分の目標発生符号量に対する実際の発
生符号量の比率及び上記差分データ部分の目標発生符号
量に対する実際の発生符号量の比率に基づいて、次のフ
レーム画像の画像データ部分を上記画像データ部分の目
標発生符号量と同じ符号量に符号化する量子化ステツプ
サイズ及び上記次のフレーム画像の差分データ部分を上
記差分データ部分の目標発生符号量と同じ符号量に符号
化する量子化ステツプサイズをそれぞれ個別に算出する
量子化値算出手段と、上記画像データ部分及び上記差分データ部分を上記それ
ぞれの量子化ステツプサイズに基づいて量子化すること
により符号化データを生成する量子化手段とを具えるこ
とを特徴とする符号化装置。
【請求項２】上記フレーム画像は、全てフレーム間順方
向予測符号化画像であり、上記画像データ部分がイント
ラスライスでなると共に、上記差分データ部分がインタ
ースライスでなることを特徴とする請求項１に記載の符
号化装置。
【請求項３】上記量子化値算出手段は、上記符号化デー
タを復号する復号手段に設けられたバツフアに格納され
る上記符号化データの蓄積状態の推移を想定しながら上
記バツフアを破綻させないように上記量子化ステツプサ
イズを決定することを特徴とする請求項１に記載の符号
化装置。
【請求項４】所定領域からなる画像データ部分と、残り
の領域の画像データと対応する参照フレームの同一領域
における画像データとの差分からなる差分データ部分と
に振り分けられたフレーム画像を量子化して符号化する
符号化方法において、上記フレーム画像の上記画像データ部分における実際の
発生符号量及び上記差分データ部分における実際の発生
符号量を算出し、上記画像データ部分及び上記差分データ部分におけるそ
れぞれの上記実際の発生符号量に基づいて、次のフレー
ム画像における上記画像データ部分及び上記差分データ
部分の目標発生符号量をそれぞれ算出し、上記画像データ部分の目標発生符号量に対する実際の発
生符号量の比率及び上記差分データ部分の目標発生符号
量に対する実際の発生符号量の比率に基づいて、次のフ
レーム画像の画像データ部分を上記画像データ部分の目
標発生符号量と同じ符号量に符号化する量子化ステツプ
サイズ及び上記次のフレーム画像の差分データ部分を上
記差分データ部分の目標発生符号量と同じ符号量に符号
化する量子化ステツプサイズをそれぞれ個別に算出し、上記画像データ部分及び上記差分データ部分を上記それ
ぞれの量子化ステツプサイズに基づいて量子化すること
により符号化データを生成することを特徴とする符号化
方法。
【請求項５】上記フレーム画像は、全てフレーム間順方
向予測符号化画像であり、上記画像データ部分がイント
ラスライスでなると共に、上記差分データ部分がインタ
ースライスでなることを特徴とする請求項４に記載の符
号化方法。
【請求項６】所定領域からなる画像データ部分と、残り
の領域の画像データと対応する参照フレームの同一領域
における画像データとの差分からなる差分データ部分と
に振り分けられたフレーム画像を量子化して符号化する
符号化装置において、次に符号化するフレーム画像の絵柄と１つ前のフレーム
画像の絵柄とが変化したことを判定する画像判定手段
と、上記次に符号化するフレーム画像の絵柄が上記１つ前の
フレーム画像の絵柄に対して変化した場合、復号器に設
けられたバツフアに格納及び出力される符号化データの
推移を想定する仮想バツフアの初期バツフア容量を初期
化し、当該初期バツフア容量に基づいて上記次に符号化
するフレーム画像における上記画像データ部分及び上記
差分データ部分に対する量子化ステツプサイズをそれぞ
れ個別に算出する量子化値算出手段と、上記画像データ部分及び上記差分データ部分をそれぞれ
の上記量子化ステツプサイズに基づいて量子化すること
により符号化データを生成する量子化手段とを具えるこ
とを特徴とする符号化装置。
【請求項７】上記フレーム画像は、全てフレーム間順方
向予測符号化画像であり、上記画像データ部分がイント
ラスライスでなると共に、上記差分データ部分がインタ
ースライスでなることを特徴とする請求項６に記載の符
号化装置。
【請求項８】上記量子化値算出手段は、上記復号器に設
けられたバツフアに格納される上記符号化データの蓄積
状態の推移を想定しながら上記バツフアを破綻させない
ように上記量子化ステツプサイズを決定することを特徴
とする請求項６に記載の符号化装置。
【請求項９】所定領域からなる画像データ部分と、残り
の領域の画像データと対応する参照フレームの同一領域
における画像データとの差分からなる差分データ部分と
に振り分けられたフレーム画像を量子化して符号化する
符号化装置において、次に符号化するフレーム画像の絵柄と１つ前のフレーム
画像の絵柄とが変化したことを判定し、上記次に符号化するフレーム画像の絵柄が上記１つ前の
フレーム画像の絵柄に対して変化した場合、復号器に設
けられたバツフアに格納及び出力される符号化データの
推移を想定する仮想バツフアの初期バツフア容量を初期
化し、当該初期バツフア容量に基づいて上記次に符号化
するフレーム画像における上記画像データ部分及び上記
差分データ部分に対する量子化ステツプサイズをそれぞ
れ個別に算出し、上記画像データ部分及び上記差分データ部分をそれぞれ
の上記量子化ステツプサイズに基づいて量子化すること
により符号化データを生成することを特徴とする符号化
方法。
【請求項１０】上記フレーム画像は、全てフレーム間順
方向予測符号化画像であり、上記画像データ部分がイン
トラスライスでなると共に、上記差分データ部分がイン
タースライスでなることを特徴とする請求項９に記載の
符号化方法。