JPH114445A - 画像符号化装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 ＶＢＶバッファを破綻させずに複数の映像素
材を切り替え可能となるように、画像データを符号化す
る。 【解決手段】 画像符号化装置１０による１パス目の符
号化の後、ホストコンピュータ１は、ＶＢＶバッファを
シミュレートしながら、複数の映像素材の切り替えによ
ってＶＢＶバッファが破綻しないように、各ピクチャ毎
の目標符号量を決定して、その目標符号量に従って、画
像符号化装置１０に２パス目の符号化を行わせる。画像
符号化装置１０は、ホストコンピュータ１より与えられ
た目標符号量に対して発生符号量が下回るように目標符
号量を修正し、修正後の目標符号量に従って、符号化処
理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データを符号
化する画像符号化装置および方法に関する。

【０００２】

【従来の技術】近年、大容量のディジタルデータを記録
可能な光ディスクであるＤＶＤ（ディジタル・バーサタ
イル・ディスクまたはディジタル・ビデオ・ディスク）
が実用化されている。ＤＶＤのうち、ビデオデータ等を
記録するＤＶＤビデオでは、ＭＰＥＧ（Moving Picture
Experts Group）２規格で圧縮された画像データを記録
するようになっている。

【０００３】ＭＰＥＧ２規格では、符号化方式として双
方向予測符号化方式が採用されている。この双方向予測
符号化方式では、フレーム内符号化、フレーム間順方向
予測符号化および双方向予測符号化の３つのタイプの符
号化が行われ、各符号化タイプによる画像は、それぞれ
Ｉピクチャ（intra coded picture ）、Ｐピクチャ（pr
edictive coded picture）およびＢピクチャ（bidirect
ionally predictive coded picture）と呼ばれる。ま
た、Ｉ，Ｐ，Ｂの各ピクチャを適切に組わあせて、ラン
ダムアクセスの単位となるＧＯＰ（Group of Picture）
が構成される。

【０００４】ＭＰＥＧ規格のようにピクチャ毎にビット
発生量が異なる符号化方法では、得られるビットストリ
ームを適切に伝送、復号して画像を得るためには、画像
復号化装置における入力バッファ内のデータ占有量を、
画像符号化装置側で把握していなければならない。そこ
で、ＭＰＥＧ規格では、画像復号化装置における入力バ
ッファに対応する仮想的なバッファであるＶＢＶ（Ｖｉ
ｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッ
ファを想定し、画像符号化装置側では、ＶＢＶバッファ
を破綻、つまりアンダフローやオーバフローさせないよ
うに、ストリームを生成しなければならないようになっ
ている。以上のことは、圧縮符号化された放送素材を伝
送するＤＶＢ（ディジタル・ビデオ・ブロードキャス
ト）システムにおいても同様である。

【０００５】

【発明が解決しようとする課題】ところで、ＤＶＤで
は、シームレス（継ぎ目なし）に、異なる撮影方向から
の複数の画像のいずれかを選択的に再生可能とするマル
チアングル機能が用意されている。また、ＤＶＢシステ
ムにおいては、本編の放送素材中に、コマーシャル映像
（以下、ＣＭと記す。）を挿入して、伝送する場合があ
る。このようなマルチアングル機能やＣＭ挿入を実現す
るには、複数の映像素材に対応する複数のストリームを
切り替える必要がある。ところが、この場合、複数のス
トリームの各々はＶＢＶバッファを破綻させずに符号化
されていたとしても、ストリームの接続の仕方によって
は、ＶＢＶバッファを破綻させる場合があるという問題
点があった。

【０００６】上記問題点について、図７を参照して詳し
く説明する。図７（ａ）は、ある映像素材に対応するス
トリームＡのＶＢＶバッファのデータ占有量（以下、Ｖ
ＢＶバッファ占有量と言う。）の変化の一例を表したも
のであり、図７（ｂ）は、他の映像素材に対応するスト
リームＢのＶＢＶバッファ占有量の変化の一例を表した
ものである。このようなストリームＡとストリームＢ
を、接続点（以下、スプライス点と言う。）ＳＰにおい
て接続した場合には、接続後に、図７（ｃ）に示したよ
うにＶＢＶバッファがアンダフローしたり、逆にオーバ
フローしたりする場合がある。

【０００７】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、復号化装置側の入力バッファに対応
する仮想的バッファを破綻させずに複数の映像素材を切
り替え可能となるように、画像データを符号化すること
ができるようにした画像符号化装置および方法を提供す
ることにある。

【０００８】

【課題を解決するための手段】請求項１記載の画像符号
化装置は、目標符号量に応じて条件を変えて、入力画像
データを符号化する符号化手段と、画像符号化装置によ
って符号化された画像データを復号化する画像復号化装
置側の入力バッファに対応する仮想的バッファに関し
て、他の映像素材との切り替え点以後については、切り
替え点における仮想的バッファのデータ占有量を一定値
とし、切り替え点に達する際には、映像素材の切り替え
によって仮想的バッファが破綻しないように、切り替え
点における仮想的バッファのデータ占有量が一定値に対
して所定の関係を有する値となるように目標符号量が与
えられ、切り替え点に達する際に、切り替え点における
仮想的バッファのデータ占有量が一定値に対して所定の
関係を有する値となるように、符号化手段による発生符
号量に応じて、与えられた目標符号量を修正して、修正
後の目標符号量に従って、符号化手段を制御する符号化
制御手段とを備えたものである。

【０００９】請求項６記載の画像符号化方法は、符号化
された画像データを復号化する画像復号化装置側の入力
バッファに対応する仮想的バッファに関して、他の映像
素材との切り替え点以後については、切り替え点におけ
る仮想的バッファのデータ占有量を一定値とし、切り替
え点に達する際には、映像素材の切り替えによって仮想
的バッファが破綻しないように、切り替え点における仮
想的バッファのデータ占有量が一定値に対して所定の関
係を有する値となるように目標符号量が与えられ、切り
替え点に達する際に、切り替え点における仮想的バッフ
ァのデータ占有量が一定値に対して所定の関係を有する
値となるように、発生符号量に応じて、与えられた目標
符号量を修正する目標符号量修正手順と、この目標符号
量修正手順による修正後の目標符号量に応じて条件を変
えて、入力画像データを符号化する符号化手順とを含む
ものである。

【００１０】請求項１記載の画像符号化装置では、符号
化制御手段に対して、他の映像素材との切り替え点以後
については、切り替え点における仮想的バッファのデー
タ占有量を一定値とし、切り替え点に達する際には、切
り替え点における仮想的バッファのデータ占有量が一定
値に対して所定の関係を有する値となるように目標符号
量が与えられ、この符号化制御手段によって、切り替え
点に達する際に、切り替え点における仮想的バッファの
データ占有量が一定値に対して所定の関係を有する値と
なるように、符号化手段による発生符号量に応じて、与
えられた目標符号量が修正され、修正後の目標符号量に
従って符号化手段が制御され、符号化手段によって、修
正後の目標符号量に応じて条件を変えて、入力画像デー
タが符号化される。

【００１１】請求項６記載の画像符号化方法では、目標
符号量修正手順によって、他の映像素材との切り替え点
以後については、切り替え点における仮想的バッファの
データ占有量を一定値とし、切り替え点に達する際に
は、切り替え点における仮想的バッファのデータ占有量
が一定値に対して所定の関係を有する値となるように目
標符号量が与えられ、切り替え点に達する際に、切り替
え点における仮想的バッファのデータ占有量が一定値に
対して所定の関係を有する値となるように、発生符号量
に応じて、与えられた目標符号量が修正され、符号化手
順によって、修正後の目標符号量に応じて条件を変え
て、入力画像データが符号化される。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。図１は、本発明の一
実施の形態に係る画像符号化装置の概略の構成を示すブ
ロック図である。

【００１３】本実施の形態に係る画像符号化装置１０
は、入力画像データＳ₁ を入力し、圧縮符号化のための
前処理等を行うエンコーダ制御部１１と、このエンコー
ダ制御部１１の出力データを入力し、ピクチャ毎にピク
チャタイプに応じた符号化方法によって圧縮符号化し
て、圧縮画像データＳ₂ を出力する符号化手段としての
エンコーダ１３と、エンコーダ制御部１１の出力データ
に基づいて動きベクトルを検出し、エンコーダ１３に送
る動き検出回路１４と、エンコーダ制御部１１から出力
されるイントラＡＣデータＳ₃ と動き検出回路１４から
出力されるＭＥ残差データＳ₄ とエンコーダ１３から出
力される発生ビット量データＳ₅ とを入力し、エンコー
ダ１３を制御する符号化制御手段としての符号化制御部
１５とを備えている。画像符号化装置１０には、ホスト
コンピュータ１が接続されるようになっている。

【００１４】なお、イントラＡＣとは、Ｉピクチャにお
いて、８×８画素のＤＣＴ（離散コサイン変換）ブロッ
ク内の各画素の画素値とＤＣＴブロック内の画素値の平
均値との差分の絶対値の総和として定義され、絵柄の複
雑さを表すものと言える。イントラＡＣデータＳ₃ は、
このイントラＡＣを表すデータである。また、ＭＥ残差
とは、簡単に言うと、動き予測誤差をピクチャ全体につ
いて絶対値和あるいは自乗和したものであり、ＭＥ残差
データＳ₄ は、ＭＥ残差を求めるためのデータであり、
後で詳しく説明する。

【００１５】符号化制御部１５は、互いにバス１９を介
して接続されたＣＰＵ（中央処理装置）１６，ＲＯＭ
（リード・オンリ・メモリ）１７およびＲＡＭ（ランダ
ム・アクセス・メモリ）１８を有するコンピュータによ
って構成され、ＣＰＵ１６が、ＲＡＭ１８をワーキング
エリアとして、ＲＯＭ１７に格納された画像符号化制御
用プログラムを実行することによって、後述する符号化
制御部１５における各機能を実現するようになってい
る。ＲＯＭ１７は、ＩＣ（集積回路）でもよいし、ＩＣ
カードでもよいし、ハードディスク，フロッピィディス
ク等の磁気ディスクを記録媒体とする記憶装置でもよい
し、ＣＤ（コンパクトディスク）−ＲＯＭ等の光ディス
クを記録媒体とする記憶装置でもよいし、その他の種類
の記録媒体を用いる記憶装置でもよい。

【００１６】ホストコンピュータ１は、符号化制御部１
５のＣＰＵ１６より発生ビット量データＳ₅ と符号化難
易度データＳ₆ とを受け、ＣＰＵ１６に対して目標符号
量データＳ₇ を送るようになっている。

【００１７】図２は、図１に示した画像符号化装置１０
の詳細な構成を示すブロック図である。この図に示した
ように、エンコーダ制御部１１は、入力画像データＳ₁
を入力し、符号化する順番に従ってピクチャ（Ｉピクチ
ャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像
並べ替え回路２１と、この画像並べ替え回路２１の出力
データを入力し、フレーム構造かフィールド構造かを判
別し、判別結果に応じた走査変換および１６×１６画素
のマクロブロック化を行う走査変換・マクロブロック化
回路２２と、この走査変換・マクロブロック化回路２２
の出力データを入力し、ＩピクチャにおけるイントラＡ
Ｃを算出し、イントラＡＣデータＳ₃ を符号化制御部１
５に送ると共に、走査変換・マクロブロック化回路２２
の出力データをエンコーダ１３および動き検出回路１４
に送るイントラＡＣ演算回路２３とを備えている。

【００１８】エンコーダ１３は、エンコーダ制御部１１
の出力データと予測画像データとの差分をとる減算回路
３１と、この減算回路３１の出力データに対して、ＤＣ
Ｔブロック単位でＤＣＴを行い、ＤＣＴ係数を出力する
ＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを
量子化する量子化回路３３と、この量子化回路３３の出
力データを可変長符号化する可変長符号化回路３４と、
この可変長符号化回路３４の出力データを一旦保持し、
ビットストリームからなる圧縮画像データＳ₂として出
力するバッファメモリ３５と、量子化回路３３の出力デ
ータを逆量子化する逆量子化回路３６と、この逆量子化
回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ
回路３７と、この逆ＤＣＴ回路３７の出力データと予測
画像データとを加算して出力する加算回路３８と、この
加算回路３８の出力データを保持し、動き検出回路１４
から送られる動きベクトルに応じて動き補償を行って予
測画像データを減算回路３１および加算回路３８に出力
する動き補償回路３９とを備えている。バッファメモリ
３５は、可変長符号化回路３４より発生されるビット量
を表す発生ビット量データＳ₅ を符号化制御部１５に送
るようになっている。

【００１９】動き検出回路１４は、エンコーダ制御部１
１の出力データに基づいて、圧縮符号化の対象となるピ
クチャの注目マクロブロックと、参照されるピクチャに
おいて注目マクロブロックとの間の画素値の差分の絶対
値和あるいは自乗和が最小となるマクロブロックを探し
て、動きベクトルを検出して動き補償回路３９に送るよ
うになっている。また、動き検出回路１４は、動きベク
トルを求める際に、最小となったマクロブロック間にお
ける画素値の差分の絶対値和あるいは自乗和を、ＭＥ残
差データＳ₄ として符号化制御部１５に送るようになっ
ている。

【００２０】符号化制御部１５は、動き検出回路１４か
らのＭＥ残差データＳ₄ をピクチャ全体について足し合
わせた値であるＭＥ残差を算出するＭＥ残差計算部４１
と、このＭＥ残差計算部４１によって算出されたＭＥ残
差とイントラＡＣ演算回路２３からのイントラＡＣデー
タＳ₃ とに基づいて、ピクチャの符号化の難易度を表す
符号化難易度を算出し、符号化難易度データＳ₆ をホス
トコンピュータ１に送る符号化難易度計算部４２と、バ
ッファメモリ３５からの発生ビット量データＳ₅ に基づ
いて、ホストコンピュータ１からの目標符号量データＳ
₇ によって与えられる目標符号量を修正する目標符号量
修正部４４と、エンコーダ１３における発生符号量が目
標符号量修正部４４によって修正された後の目標符号量
となるように量子化回路３３における量子化特性値に対
応する量子化インデックスを決定し、量子化回路３３に
送る量子化インデックス決定部４５とを備えている。

【００２１】ここで、符号化難易度について説明する。
符号化難易度は、ピクチャの符号化の難易度を表すもの
であるが、これは、同じ画質を保つために必要なデータ
量の比率と言い換えることができる。符号化難易度を数
値化する方法は種々考えられるが、本実施の形態では、
ＩピクチャについてはイントラＡＣを用いて符号化難易
度を求め、ＰピクチャおよびＢピクチャについてはＭＥ
残差を用いて符号化難易度を求めることとしている。前
述のように、イントラＡＣは絵柄の複雑さを表し、ＭＥ
残差は映像の動きの速さおよび絵柄の複雑さを表し、こ
れらは符号化の難易度と強い相関があることから、イン
トラＡＣやＭＥ残差を変数とする一次関数等により、イ
ントラＡＣやＭＥ残差から符号化難易度を算出すること
が可能である。

【００２２】次に、本実施の形態に係る画像符号化装置
の動作について説明する。なお、以下の説明は、本実施
の形態に係る画像符号化方法の説明を兼ねている。

【００２３】始めに、画像符号化装置１０の基本的な動
作について説明する。入力画像信号Ｓ₁ は、まず、エン
コーダ制御部１１の画像並べ替え回路２１に入力され
る。画像並べ替え回路２１は、符号化する順番に従って
ピクチャの順番を並べ替える。画像並べ替え回路２１の
出力画像データは、走査変換・マクロブロック化回路２
２に入力される。走査変換・マクロブロック化回路２２
は、フレーム構造かフィールド構造かを判別し、判別結
果に応じた走査変換およびマクロブロック化を行う。走
査変換・マクロブロック化回路２２の出力データは、イ
ントラＡＣ演算回路２３に入力される。イントラＡＣ演
算回路２３は、Ｉピクチャの場合には、イントラＡＣを
算出してイントラＡＣデータＳ₃ を符号化制御部１５に
送る。また、走査変換・マクロブロック化回路２２の出
力データは、イントラＡＣ演算回路２３を経て、エンコ
ーダ１３および動き検出回路１４に送られる。

【００２４】Ｉピクチャの場合には、エンコーダ１３で
は、減算回路３１において予測画像データとの差分をと
ることなく、エンコーダ制御部１１の出力データをその
ままＤＣＴ回路３２に入力してＤＣＴを行い、量子化回
路３３によってＤＣＴ係数を量子化し、可変長符号化回
路３４によって量子化回路３３の出力データを可変長符
号化し、バッファメモリ３５によって可変長符号化回路
３４の出力データを一旦保持し、圧縮画像データＳ₂ と
して出力する。また、逆量子化回路３６によって量子化
回路３３の出力データを逆量子化し、逆ＤＣＴ回路３７
によって逆量子化回路３６の出力データに対して逆ＤＣ
Ｔを行い、逆ＤＣＴ回路３７の出力画像データを加算回
路３８を介して動き補償回路３９に入力して保持させ
る。

【００２５】Ｐピクチャの場合には、エンコーダ１３で
は、動き補償回路３９によって、保持している過去のＩ
ピクチャまたはＰピクチャに対応する画像データと動き
検出回路１４からの動きベクトルとに基づいて予測画像
データを生成し、予測画像データを減算回路３１および
加算回路３８に出力する。また、減算回路３１によっ
て、エンコーダ制御部１１の出力データと動き補償回路
３９からの予測画像データとの差分をとり、ＤＣＴ回路
３２によってＤＣＴを行い、量子化回路３３によってＤ
ＣＴ係数を量子化し、可変長符号化回路３４によって量
子化回路３３の出力データを可変長符号化し、バッファ
メモリ３５によって可変長符号化回路３４の出力データ
を一旦保持し圧縮画像データＳ₂ として出力する。ま
た、逆量子化回路３６によって量子化回路３３の出力デ
ータを逆量子化し、逆ＤＣＴ回路３７によって逆量子化
回路３６の出力データに対して逆ＤＣＴを行い、加算回
路３８によって逆ＤＣＴ回路３７の出力データと予測画
像データとを加算し、動き補償回路３９に入力して保持
させる。

【００２６】Ｂピクチャの場合には、エンコーダ１３で
は、動き補償回路３９によって、保持している過去およ
び未来のＩピクチャまたはＰピクチャに対応する２つの
画像データと動き検出回路１４からの２つの動きベクト
ルとに基づいて予測画像データを生成し、予測画像デー
タを減算回路３１および加算回路３８に出力する。ま
た、減算回路３１によって、エンコーダ制御部１１の出
力データと動き補償回路３９からの予測画像データとの
差分をとり、ＤＣＴ回路３２によってＤＣＴを行い、量
子化回路３３によってＤＣＴ係数を量子化し、可変長符
号化回路３４によって量子化回路３３の出力データを可
変長符号化し、バッファメモリ３５によって可変長符号
化回路３４の出力データを一旦保持し圧縮画像データＳ
₂ として出力する。なお、Ｂピクチャは動き補償回路３
９に保持させない。

【００２７】なお、バッファメモリ３５は、可変長符号
化回路３４より発生されるビット量を表す発生ビット量
データＳ₅ を符号化制御部１５に送る。

【００２８】符号化制御部１５は、発生ビット量データ
Ｓ₅ をホストコンピュータ１に送ると共に、後述する１
パス目の符号化においては、符号化難易度計算部４２に
よって符号化難易度を算出し、この符号化難易度を表す
符号化難易度データＳ₆ をホストコンピュータ１に送
る。また、符号化制御部１５は、後述する２パス目の符
号化においては、目標符号量修正部４４によって、ホス
トコンピュータ１より目標符号量データＳ₇ として与え
られる目標符号量を修正し、量子化インデックス決定部
４５によって、エンコーダ１３における発生符号量が目
標符号量修正部４４によって修正された後の目標符号量
となるように量子化回路３３における量子化特性値に対
応する量子化インデックスを決定し、量子化回路３３に
送る。

【００２９】本実施の形態に係る画像符号化装置１０
は、固定レート方式の符号化と可変レート方式の符号化
の双方に適用可能である。ＤＶＤのような蓄積メディア
に記録するデータの符号化では、可変レート方式を採用
する。固定レート方式の符号化では、ＶＢＶバッファを
破綻、つまりアンダフローやオーバフローさせないよう
に符号化を行う。これに対し、可変レート方式の符号化
では、ＶＢＶバッファへのデータ送信を最大レートで行
い、ＶＢＶバッファが満たされている場合は送信を停止
することができる。図３は、可変レート方式の符号化に
おけるＶＢＶバッファ占有量の変化の一例を示したもの
である。この図に示したように、可変レート方式の符号
化の場合、ＶＢＶバッファが満たされている場合は送信
を停止することができるので、固定レート方式の場合と
異なり、符号５１で示したようなオーバフローは発生し
ない。しかし、発生符号量が目標符号量以上となってし
まった場合には、固定レート方式の場合と同様に、ＶＢ
Ｖバッファのアンダフローは発生する。

【００３０】本実施の形態では、ＤＶＤにおけるマルチ
アングル機能やＤＶＢにおけるＣＭ挿入を実現するため
に、画像符号化装置１０を用いて、他の映像素材と切り
替え可能な映像素材に対応する画像データを符号化す
る。ＤＶＤにおけるマルチアングル機能では、複数のス
トリームの切り替えは、アングルポイントと呼ばれる部
分で行われる。このアングルポイントは、例えばＧＯＰ
の先頭である。このアングルポイントで、ストリームを
切り替えるときには、ＶＢＶバッファを破綻させないよ
うにしなければならない。ＤＶＢにおけるＣＭ挿入の場
合も同様に、複数のストリームの切り替えるときには、
ＶＢＶバッファを破綻させないようにしなければならな
い。

【００３１】ここで、図７を参照して、ストリームの切
り替え時にＶＢＶバッファを破綻させない条件について
説明する。ここで、図７（ａ），（ｂ）に示したよう
に、ストリームＡ，Ｂをあるスプライスポイント（本発
明における切り替え点に対応する。）ＳＰで切り替える
ものとし、スプライスポイントＳＰにおける各ストリー
ムＡ，ＢのＶＢＶバッファ占有量をそれぞれ、ＶＢＶ
_OCA ，ＶＢＶ_OCB とする。また、ＶＢＶ_OCB から、次の
スプライスポイントＳＰまでにストリームＢが利用する
ＶＢＶバッファの深さをＤ_B とする。このとき、次の式
（１）を満たしている場合には、いかなる場合でも、Ｖ
ＢＶバッファを破綻させずにストリームの切り替えが可
能となる。

【００３２】ＶＢＶ_OCA ＝ＶＢＶ_OCB …（１）

【００３３】また、可変レート方式の符号化の場合に
は、オーバフローの心配がないので、次の式（２）を満
たすことで、ＶＢＶバッファを破綻させずにストリーム
の切り替えが可能となる。

【００３４】ＶＢＶ_OCA ≧Ｄ_B …（２）

【００３５】なお、実際には、ストリームＢが利用する
ＶＢＶバッファの深さは、実際に符号化してみなければ
分からないので、Ｄ_B の値は、ストリームＢが利用可能
なＶＢＶバッファの深さとする。また、簡易的には、Ｄ
_B ≒ＶＢＶ_OCB として、式（２）の代わりに、以下の式
（２´）を用いてもよい。

【００３６】ＶＢＶ_OCA ≧ＶＢＶ_OCB …（２´）

【００３７】次に、いわゆる２パスエンコード方式によ
る符号化を行って、ＤＶＤのマルチアングル機能を実現
する場合を例にとって、本実施の形態に係る画像符号化
装置１０の動作について具体的に説明する。なお、２パ
スエンコード方式とは、画像符号化装置１０において、
量子化スケールを一定にして、１回目（１パス目）の符
号化を行って、ホストコンピュータ１によって、ピクチ
ャの符号化の難易度を表す符号化難易度（Difficulty）
等の情報を収集し、その情報を基に、ピクチャ毎に目標
符号量を決定して、その目標符号量に従って２回目（２
パス目）の符号化を行う方式である。この場合、本実施
の形態では、ホストコンピュータ１は、ＶＢＶバッファ
をシミュレートしながら、式（１）または式（２）を満
たすように、ピクチャ毎の目標符号量を計算する。ＤＶ
Ｄの場合には、可変レート方式の符号化を行うので、式
（２）を満たせばよい。

【００３８】ホストコンピュータ１は、どのスプライス
ポイントＳＰでも、式（２）を満たすようにするため
に、図４にＶＢＶバッファ占有量の変化の一例を挙げた
ように、まず、スプライスポイントＳＰ以後について
は、スプライスポイントＳＰにおけるＶＢＶバッファ占
有量を一定値Ｖ_C として、以後の目標符号量を計算す
る。また、ホストコンピュータ１は、スプライスポイン
トＳＰに達する際には、スプライスポイントＳＰにおけ
るＶＢＶバッファ占有量が一定値Ｖ_C に対して所定の関
係（式（２）を満たす場合には、ＶＢＶバッファ占有量
が一定値Ｖ_C を越えるような関係）を有する値となるよ
うに、目標符号量を計算する。なお、一定値Ｖ_C は、例
えばＶＢＶバッファの全容量の２／３にする等、適宜に
設定可能である。

【００３９】ここで、図５を参照して、本実施の形態に
おける２パスエンコード方式の符号化処理について説明
する。この処理では、まず、ホストコンピュータ１に対
して符号化の条件を入力、設定する初期化を行い（ステ
ップＳ１０１）、次に、画像符号化装置１０において、
量子化スケールを一定にして１パス目の符号化を行っ
て、符号化難易度を測定する。符号化難易度は、図２に
おける符号化難易度計算部４２によって求められ、符号
化難易度データＳ₆ として、ホストコンピュータ１に与
えられる。次に、ホストコンピュータ１は、ピクチャタ
イプの割り当てを行い（ステップＳ１０３）、更に、各
ピクチャに対するビットの配分（目標符号量の算出）を
行う（ステップＳ１０４）。次に、ホストコンピュータ
１は、目標符号量データＳ₇ によってピクチャ毎の目標
符号量を画像符号化装置１０に与え、画像符号化装置１
０によって、２パス目の符号化を行い（ステップＳ１０
５）、得られた圧縮画像データをモニタ装置によって表
示してプレビューを行って（ステップＳ１０６）、画質
のチェックを行い（ステップＳ１０７）、画質が良けれ
ば（ＯＫ）、オーサリングに必要なデータをまとめる等
の後処理を行って（ステップＳ１１０）、画像符号化作
業を終了する。画質のチェックにおいて、画質が良くな
ければ（ＮＧ）、部分的にエンコードの条件を変更する
ことによって部分的に画質を変更するカスタマイズを行
い（ステップＳ１０８）、更に、これに応じて各ピクチ
ャに対するビットの再配分を行って（ステップＳ１０
９）、ステップＳ１０５に戻って、再度２パス目の符号
化を行う。

【００４０】ここで、ホストコンピュータ１におけるビ
ットの配分（目標符号量の算出）の処理の一例について
説明する。この処理では、符号化難易度に応じて符号化
処理の目標符号量を設定するが、始めに、事前に設定さ
れた重み付けテーブルに従って、連続して符号化処理可
能な画像データのブロック（以下、エンコードユニット
と言う。）毎に、符号化難易度に対して重み付けを行う
ことが可能である。ホストコンピュータ１は、シームレ
スなマルチアングル機能を実現するエンコードユニット
の対応するＧＯＰ間で、符号化難易度の最大値を順次検
出して配列することにより、シームレスなマルチアング
ル機能を実現するエンコードユニットに対して共通の符
号化難易度を設定する。これにより、結果的に対応する
エンコードユニット間でデータ量が等しくなる。

【００４１】次に、ホストコンピュータ１は、各ＧＯＰ
単位の符号化難易度に応じて、実際に割り当て可能な符
号量を、各ＧＯＰに配分し、更に、各ＧＯＰにおいて、
各ピクチャの符号化難易度に応じて目標符号量を各ピク
チャに配分する。このようにして、シームレスなマルチ
アングル機能においては、共通化された符号化難易度に
よって、対応するＧＯＰに同一の目標符号量が割り当て
られた後、各ＧＯＰを構成する各ピクチャの符号化難易
度に応じて、この同一の目標符号量が順次各ピクチャに
配分される。

【００４２】次に、ホストコンピュータ１は、ＶＢＶバ
ッファをシミュレートしながら、ＶＢＶバッファがアン
ダフローしないようにピクチャ毎の目標符号量を補正す
る。更に、ホストコンピュータ１は、例えばＧＯＰ単位
で、式（２）を満たすように、ピクチャ毎の目標符号量
を補正する。

【００４３】２パス目の符号化時において、画像符号化
装置１０では、上述のようにしてホストコンピュータ１
によって決定され、与えられるピクチャ毎の目標符号量
に従って、符号化処理を行う。しかし、実際の発生符号
量は、目標符号量に対して誤差を持ってしまうため、ホ
ストコンピュータ１のシミュレート通りのＶＢＶバッフ
ァ占有量の軌跡を再現することはない。ここで、常に、
目標符号量よりも発生符号量が小さい場合には、式
（２）を満たすことになるため、問題はないが、逆に、
目標符号量よりも発生符号量が大きい場合には、ＶＢＶ
バッファのアンダフローの原因となり得る。そこで、本
実施の形態では、画像符号化装置１０は、式（２）を満
たすように、図６の流れ図に示した動作を行う。

【００４４】この動作では、まず、符号化制御部１５
が、以下の式（３）で定義される総誤差の初期値を０と
し、次のスプライスポイントまでのピクチャ数を設定す
る（ステップＳ２０１）。

【００４５】 総誤差＝総目標符号量−総発生符号量 …（３）

【００４６】次に、符号化制御部１５の目標符号量修正
部４４が、ホストコンピュータ１より目標符号量を取得
する（ステップＳ２０２）。次に、目標符号量修正部４
４は、総誤差が０以上か否かを判断する（ステップＳ２
０３）。総誤差が０以上であれば（Ｙ）、ステップＳ２
０５へ進む。総誤差が０以上でなければ（Ｎ）、目標符
号量修正部４４が、以下の式（４）に従って、目標符号
量を修正して（ステップＳ２０４）、ステップＳ２０５
へ進む。

【００４７】 修正後の目標符号量＝修正前の目標符号量−｜総誤差｜／残りのピクチャ数 …（４）

【００４８】つまり、与えられた目標符号量に対する発
生符号量の超過分を、残りのピクチャに分け、各ピクチ
ャに分けられた超過分を各ピクチャに与えられた目標符
号量より減算して、修正後の目標符号量を算出する。

【００４９】次に、ステップＳ２０５では、修正後の目
標符号量を、目標符号量修正部４４より量子化インデッ
クス決定部４５に与え、量子化インデックス決定部４５
によって、エンコーダ１３における発生符号量が目標符
号量修正部４４によって修正された後の目標符号量とな
るように量子化回路３３における量子化特性値に対応す
る量子化インデックスを決定し、量子化回路３３に送っ
て、１ピクチャの符号化を行う。

【００５０】次に、目標符号量修正部４４が、発生符号
量を取得し（ステップＳ２０６）、総誤差を計算し（ス
テップＳ２０７）、残りのピクチャ数を１減らす（ステ
ップＳ２０８）。次に、符号化制御部１５は、残りのピ
クチャ数が０より大きいか否かを判断し（ステップＳ２
０９）、大きい場合（Ｙ）にはステップＳ２０２に戻
り、大きくない場合（Ｎ）には符号化処理を終了する。

【００５１】以上のような図６に示した処理により、総
目標符号量に対して総発生符号量が下回るように目標符
号量が修正され、結果的に、総目標符号量に対して総発
生符号量が下回って、スプライスポイントにおいて式
（２）を満たすか、あるいは、総目標符号量に対する総
発生符号量の超過分を許容誤差範囲内に収めることが可
能となる。

【００５２】なお、隣接するスプライスポイント間に複
数のＧＯＰがある場合には、図６に示した動作は、スプ
ライスポイントの直前のＧＯＰについてのみ行うように
してもよい。

【００５３】以上説明したように、本実施の形態では、
どのスプライスポイントＳＰでも、式（２）を満たすよ
うにするために、まず、ホストコンピュータ１によっ
て、スプライスポイントＳＰ以後については、スプライ
スポイントＳＰにおけるＶＢＶバッファ占有量を一定値
Ｖ_C として、以後の目標符号量を計算し、スプライスポ
イントＳＰに達する際には、スプライスポイントＳＰに
おけるＶＢＶバッファ占有量が一定値Ｖ_C に対して所定
の関係（ＶＢＶバッファ占有量が一定値Ｖ_C を越えるよ
うな関係）を有する値となるように、目標符号量を計算
し、画像符号化装置１０の符号化制御部１５に与える。
本実施の形態では、更に、実際の発生符号量は目標符号
量に対して誤差を持ってしまうことを考慮して、画像符
号化装置１０の符号化制御部１５では、スプライスポイ
ントＳＰにおけるＶＢＶバッファ占有量が一定値Ｖ_C に
対して所定の関係（ＶＢＶバッファ占有量が一定値Ｖ_C
を越えるような関係）を有する値となるように、発生符
号量に応じて、与えられた目標符号量を修正して、修正
後の目標符号量に従って、符号化を行わせる。このよう
にして、本実施の形態によれば、例えばＤＶＤにおいて
可変レート方式の符号化によってマルチアングル機能を
実現する場合のように複数の映像素材を切り替え可能と
する場合に、ＶＢＶバッファを破綻させずに複数の映像
素材を切り替え可能となるように、画像データを符号化
することができ、画質の劣化を最小限に抑えて再生でき
るストリームを生成することができる。

【００５４】また、本実施の形態によれば、与えられた
目標符号量に対する発生符号量の超過分を、少なくとも
スプライスポイントに達する前の所定数のピクチャに分
け、各ピクチャに分けられた超過分を各ピクチャに与え
られた目標符号量より減算して、修正後の目標符号量を
算出するようにしたので、特定のピクチャの画質の劣化
を防止することができる。

【００５５】なお、本発明は、上記実施の形態に限定さ
れず、例えば以下で説明するような種々の変更が可能で
ある。

【００５６】まず、図６のステップＳ２０４における目
標符号量の修正では、与えられた目標符号量に対する発
生符号量の超過分を、残りの全てのピクチャに均等に分
けるようにしていた。しかし、ＭＰＥＧ規格のような予
測符号化を行う場合には、全体的に画質を保全するため
には予測される側のピクチャ（ＩピクチャやＰピクチ
ャ）に対して多めの符号量を割り当てることが有効であ
る。そこで、各ピクチャに超過分を分ける割合をピクチ
ャタイプに応じて変えて、予測される側のピクチャに対
して多めの符号量を割り当てるようにしてもよい。ここ
で、各ピクチャに超過分を分ける割合をピクチャタイプ
に応じて変える方法の一例を挙げる。この方法では、Ｉ
ピクチャについては超過分の減算を行わない。また、Ｐ
ピクチャとＢピクチャに対しては、超過分を分ける割合
に対応する係数Ｃ_P ，Ｃ_B を設定する。そして、図６の
ステップＳ２０４では、Ｐピクチャについては、以下の
式（５）に従って、修正後の目標符号量を算出する。

【００５７】修正後の目標符号量＝修正前の目標符号量
−Ｃ_P ・｜総誤差｜／残りのピクチャ数 …（５）

【００５８】同様に、図６のステップＳ２０４では、Ｂ
ピクチャについては、以下の式（６）に従って、修正後
の目標符号量を算出する。

【００５９】修正後の目標符号量＝修正前の目標符号量
−Ｃ_B ・｜総誤差｜／残りのピクチャ数 …（６）

【００６０】そして、Ｃ_P ＝１．０、Ｃ_B ＝１．４のよ
うに、Ｃ_B をＣ_P よりも大きくすれば、予測される側の
ピクチャであるＰピクチャでは、Ｂピクチャに比べて、
修正前の目標符号量より減算される符号量が減り、よっ
て、割り当てられる符号量が多めに保たれ、全体的に画
質の劣化を防止することができる。

【００６１】なお、各ピクチャに超過分を分ける割合を
ピクチャタイプに応じて変えて修正後の目標符号量を算
出する方法は、式（５），（６）に限らず、種々変更可
能である。

【００６２】また、演算の際に桁落ち等で考慮して、１
ピクチャ当たりで差し引く超過分を繰り上げることによ
って、修正後の目標符号量を控え目にし、総発生符号量
が総目標符号量を越えないようにするのが好ましい。

【００６３】また、本実施の形態は、固定レート方式の
符号化の場合にも適用可能である。固定レート方式の符
号化の場合には、ＶＢＶバッファのオーバフローも起こ
してはならないので、スプライスポイントでは、式
（１）を満たさなければならない。この場合、ホストコ
ンピュータ１は、式（１）を満たすように目標符号量を
決定して、画像符号化装置１０の符号化制御部１５に与
える。符号化制御部１５では、可変レート方式の場合と
同様の処理を行って、目標符号量に対して発生符号量が
下回るように目標符号量を修正し、且つ与えられた目標
符号量に対する発生符号量の不足分を補うためのダミー
データ“０”を生成し、ビットストリームに埋め込むス
タッフィングを行うことで、式（１）を満たすことが可
能となる。これにより、固定レート方式の符号化を行う
場合にも、例えばＤＶＢにおけるＣＭ挿入の場合のよう
に、ＶＢＶバッファを破綻させずに複数の映像素材をシ
ームレスに切り替え可能となるように画像データを符号
化することができ、画質の劣化を最小限に抑えて再生で
きるストリームを生成することができる。

【００６４】

【発明の効果】以上説明したように、請求項１ないし５
のいずれかに記載の画像符号化装置または請求項６ない
し１０のいずれかに記載の画像符号化方法によれば、他
の映像素材との切り替え点以後については、切り替え点
における仮想的バッファのデータ占有量を一定値とし、
切り替え点に達する際には、映像素材の切り替えによっ
て仮想的バッファが破綻しないように、切り替え点にお
ける仮想的バッファのデータ占有量が一定値に対して所
定の関係を有する値となるように目標符号量が与えら
れ、切り替え点に達する際に、切り替え点における仮想
的バッファのデータ占有量が一定値に対して所定の関係
を有する値となるように、発生符号量に応じて、与えら
れた目標符号量を修正し、修正後の目標符号量に応じて
条件を変えて、入力画像データを符号化するようにした
ので、復号化装置側の入力バッファに対応する仮想的バ
ッファを破綻させずに複数の映像素材を切り替え可能と
なるように、画像データを符号化することができるとい
う効果を奏する。

【００６５】また、請求項２または３記載の画像符号化
装置あるいは請求項７または８記載の画像符号化方法に
よれば、与えられた目標符号量に対する発生符号量の超
過分を、少なくとも切り替え点に達する前の所定数のピ
クチャに分け、各ピクチャに分けられた超過分を各ピク
チャに与えられた目標符号量より減算して、修正後の目
標符号量を算出するようにしたので、更に、特定のピク
チャの画質の劣化を防止することができるという効果を
奏する。

【００６６】また、請求項３記載の画像符号化装置また
は請求項８記載の画像符号化方法によれば、各ピクチャ
に超過分を分ける割合をピクチャタイプに応じて変える
ようにしたので、更に、全体的な画質の劣化を防止する
ことが可能となるという効果を奏する。

【００６７】また、請求項４または５記載の画像符号化
装置あるいは請求項９または１０記載の画像符号化方法
によれば、与えられた目標符号量に対して発生符号量が
下回るように、与えられた目標符号量を修正するように
したので、更に、より確実に仮想的バッファの破綻を防
止することができるという効果を奏する。

【００６８】また、請求項５記載の画像符号化装置また
は請求項１０記載の画像符号化方法によれば、与えられ
た目標符号量に対する発生符号量の不足分を補うための
ダミーデータを生成するようにしたので、更に、固定レ
ート方式の符号化を行う場合にも、仮想的バッファを破
綻させずに複数の映像素材をシームレスに切り替え可能
となるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像符号化装置の
概略の構成を示すブロック図である。

【図２】図１における画像符号化装置の詳細な構成を示
すブロック図である。

【図３】可変レート方式の符号化におけるＶＢＶバッフ
ァ占有量の変化の一例を示す説明図である。

【図４】本発明の一実施の形態におけるＶＢＶバッファ
占有量の変化の一例を示す説明図である。

【図５】本発明の一実施の形態における２パスエンコー
ド方式の符号化処理を示す流れ図である。

【図６】本発明の一実施の形態における画像符号化装置
の動作を示す流れ図である。

【図７】ストリームの接続によってＶＢＶバッファが破
綻する場合について説明するための説明図である。

【符号の説明】

１…ホストコンピュータ、１０…画像符号化装置、１１
…エンコーダ制御部、１３…エンコーダ、１４…動き検
出回路、１５…符号化制御部、１６…ＣＰＵ、４４…目
標符号量修正部、４５…量子化インデックス決定部。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 他の映像素材と切り替え可能な映像素材
   に対応する画像データを符号化する画像符号化装置であ
   って、 目標符号量に応じて条件を変えて、入力画像データを符
   号化する符号化手段と、 画像符号化装置によって符号化された画像データを復号
   化する画像復号化装置側の入力バッファに対応する仮想
   的バッファに関して、他の映像素材との切り替え点以後
   については、切り替え点における仮想的バッファのデー
   タ占有量を一定値とし、切り替え点に達する際には、映
   像素材の切り替えによって仮想的バッファが破綻しない
   ように、切り替え点における仮想的バッファのデータ占
   有量が前記一定値に対して所定の関係を有する値となる
   ように目標符号量が与えられ、切り替え点に達する際
   に、切り替え点における仮想的バッファのデータ占有量
   が前記一定値に対して所定の関係を有する値となるよう
   に、前記符号化手段による発生符号量に応じて、与えら
   れた目標符号量を修正して、修正後の目標符号量に従っ
   て、前記符号化手段を制御する符号化制御手段とを備え
   たことを特徴とする画像符号化装置。
2. 【請求項２】 前記符号化手段は、入力画像データをピ
   クチャ毎にピクチャタイプに応じた符号化方法によって
   符号化し、 前記符号化制御手段は、与えられた目標符号量に対する
   発生符号量の超過分を、少なくとも切り替え点に達する
   前の所定数のピクチャに分け、各ピクチャに分けられた
   超過分を各ピクチャに与えられた目標符号量より減算し
   て、修正後の目標符号量を算出することを特徴とする請
   求項１記載の画像符号化装置。
3. 【請求項３】 前記符号化制御手段は、各ピクチャに超
   過分を分ける割合を、ピクチャタイプに応じて変えるこ
   とを特徴とする請求項２記載の画像符号化装置。
4. 【請求項４】 前記符号化制御手段は、与えられた目標
   符号量に対して発生符号量が下回るように、与えられた
   目標符号量を修正することを特徴とする請求項１記載の
   画像符号化装置。
5. 【請求項５】 前記符号化制御手段は、与えられた目標
   符号量に対する発生符号量の不足分を補うためのダミー
   データを生成することを特徴とする請求項４記載の画像
   符号化装置。
6. 【請求項６】 他の映像素材と切り替え可能な映像素材
   に対応する画像データを符号化する画像符号化方法であ
   って、 符号化された画像データを復号化する画像復号化装置側
   の入力バッファに対応する仮想的バッファに関して、他
   の映像素材との切り替え点以後については、切り替え点
   における仮想的バッファのデータ占有量を一定値とし、
   切り替え点に達する際には、映像素材の切り替えによっ
   て仮想的バッファが破綻しないように、切り替え点にお
   ける仮想的バッファのデータ占有量が前記一定値に対し
   て所定の関係を有する値となるように目標符号量が与え
   られ、切り替え点に達する際に、切り替え点における仮
   想的バッファのデータ占有量が前記一定値に対して所定
   の関係を有する値となるように、発生符号量に応じて、
   与えられた目標符号量を修正する目標符号量修正手順
   と、 この目標符号量修正手順による修正後の目標符号量に応
   じて条件を変えて、入力画像データを符号化する符号化
   手順とを含むことを特徴とする画像符号化方法。
7. 【請求項７】 前記符号化手順は、入力画像データをピ
   クチャ毎にピクチャタイプに応じた符号化方法によって
   符号化し、 前記目標符号量修正手順は、与えられた目標符号量に対
   する発生符号量の超過分を、少なくとも切り替え点に達
   する前の所定数のピクチャに分け、各ピクチャに分けら
   れた超過分を各ピクチャに与えられた目標符号量より減
   算して、修正後の目標符号量を算出することを特徴とす
   る請求項６記載の画像符号化方法。
8. 【請求項８】 前記目標符号量修正手順は、各ピクチャ
   に超過分を分ける割合を、ピクチャタイプに応じて変え
   ることを特徴とする請求項７記載の画像符号化方法。
9. 【請求項９】 前記目標符号量修正手順は、与えられた
   目標符号量に対して発生符号量が下回るように、与えら
   れた目標符号量を修正することを特徴とする請求項６記
   載の画像符号化方法。
10. 【請求項１０】 与えられた目標符号量に対する発生符
    号量の不足分を補うためのダミーデータを生成する手順
    を含むことを特徴とする請求項９記載の画像符号化方
    法。