JP2003018590A

JP2003018590A - 動画符号化方法及び動画符号化装置

Info

Publication number: JP2003018590A
Application number: JP2001200165A
Authority: JP
Inventors: Shunichi Ishiwatari; 俊一石渡
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-06-29
Filing date: 2001-06-29
Publication date: 2003-01-17

Abstract

(57)【要約】【課題】ハードウェアの増加を最小限に抑えつつ、画
質の向上を図ることが可能な動画符号化方法及び動画符
号化装置を提供すること。【解決手段】まず、差分計算器１３により、画像全体
の分散を、画素値の差の絶対値を用いた近似式により求
める（ステップＳ１０）。次に制御回路１７が、ステッ
プＳ１０で使用した前記近似式により求められた分散、
ビットレート、及び量子化定数の関係を示す量子化テー
ブルを用いて、目標ビットレートと前記ステップにより
求めた画像全体の分散とに対応する量子化定数を求める
と共に、ステップＳ１０で使用した近似式により生ずる
誤差を補正する（ステップＳ２０）。次に、量子化器１
５が、ステップＳ２０で求めた量子化定数に基づいてマ
クロブロック毎に量子化を行い、符号化画像を得る（ス
テップＳ３０）ことを特徴としている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画符号化方法
及び動画符号化装置に関するもので、特に動画像を高能
率符号化する際におけるレート制御に関するものであ
る。

【０００２】

【従来の技術】動画の高能率符号化の国際標準には、Ｍ
ＰＥＧ（Moving Picture coding Experts Group）１、
ＭＰＥＧ２、ＭＰＥＧ４といった方式がある。これらの
方式に基づく動画の符号化処理においては、画質とビッ
トレート（単位時間あたりの発生符号量）との間にトレ
ードオフの関係がある。従って、この関係を考慮しつ
つ、動画の圧縮率を制御する技術（レート制御）が重要
である。

【０００３】従来、ＭＰＥＧ２におけるレート制御は、
ＴＭ−５（Test Model-5）と呼ばれる方式に基づいて行
われるのが一般的である。このＴＭ−５について簡単に
説明する。動画の符号化は、（１）画像のＤＣＴ（Disc
rete Cosine Transformation）変換、（２）ＤＣＴ変換
により得られたＤＣＴ係数の量子化定数Ｑによる量子
化、といった流れでおおまかには行われる。ＴＭ−５
は、上記（２）の処理における量子化定数Ｑの値の制御
を、原則としてバーチャルバッファフルネスのみに基づ
いて行うものである。このバーチャルバッファフルネス
による量子化定数Ｑの制御について説明する。まず、上
記（２）の処理で符号化された画像データをバーチャル
バッファに蓄積する。そして、バーチャルバッファ内の
画像データの蓄積量が大きい場合には量子化定数Ｑを大
きく設定してビットレートを低下させる。逆に蓄積量が
小さい場合には量子化定数Ｑを小さく設定してビットレ
ートを上昇させる。バーチャルバッファの容量は一定で
あるから、バーチャルバッファ内に蓄積される画像枚数
を予め決めておけば、決められた画像枚数毎にビットレ
ートはほぼ等しくなる。従って、ＴＭ−５は、レート制
御を比較的簡易に行うことが出来るという利点を有して
いる。

【０００４】

【発明が解決しようとする課題】上記のように、従来の
動画符号化方法及び動画符号化装置であると、バーチャ
ルバッファフルネスのみによって量子化定数Ｑの制御を
行うことで、レート制御を比較的簡易に行うことが出来
る。しかしその反面、量子化定数Ｑの制御については、
バーチャルバッファの蓄積量しか見ておらず、各画像内
の画質を全く考慮していない。従って、画像内における
絵柄の平坦さ、複雑さの偏りに依存して、ＳＮＲ（Sign
al to Noise Ratio）の偏りが生じるという問題があっ
た。

【０００５】この発明は、上記事情に鑑みてなされたも
ので、その目的は、ハードウェアの増加を最小限に抑え
つつ、画質の向上を図ることが可能な動画符号化方法及
び動画符号化装置を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、この発明に係る動画符号化方法は、画像全体の分散
を、画素値の差の絶対値を用いた近似式により求めるス
テップと、前記画像全体の分散を求めるステップで使用
した前記近似式により求められた分散、ビットレート、
及び量子化定数に応じて、前記ステップにより求めた前
記画像全体の分散と、目標ビットレートとに対応する量
子化定数を求めると共に、前記ステップで使用した近似
式により生ずる誤差を補正するステップと、前記量子化
定数に基づいて、前記画像を構成する複数の画素群毎に
順次量子化を行い、符号化画像を得るステップとを具備
することを特徴としている。

【０００７】また、この発明に係る動画符号化装置は、
入力された画像全体の分散を算出する差分計算器と、前
記入力画像の輪郭を、該入力画像を構成する複数の画素
群毎に検出する輪郭検出器と、前記画像を量子化するた
めに用いる量子化定数を、前記画像全体の分散に基づい
て求める制御回路と、前記制御回路で求めた量子化定数
を用いて前記差分計算器で算出された前記分散を前記画
素群毎に除算することによって、前記画像を量子化して
符号化画像を得る量子化器と、を具備し、前記制御回路
は、前記輪郭検出器によって検出された、輪郭部分を含
む前記画素群の分散を、前記差分計算器で求めた値より
も大きくなるよう再設定し、且つ前記輪郭部分を含む前
記画素群の前記量子化定数を、前記輪郭部分を含まない
画素群の量子化定数よりも小さくなるよう再設定するこ
とにより、輪郭部分を含む画素群に与える符号量を、輪
郭を含まない画素群に比べて相対的に多くすることを特
徴としている。

【０００８】上記のような動画符号化方法及び動画符号
化装置であると、画像の分散算出を、通常は画素値の差
の２乗和を使用するところ、各画素差の絶対値を用いた
近似式により求めている。更に、ＤＣＴ変換処理を省略
している。従って、動画符号化装置の行う処理量を削減
できる。また、量子化定数を求める際には、上記近似計
算による分散の値に応じたビットレートと量子化定数と
の関係を使用することにより、当該画像の分散を求める
際に使用した近似計算の補正を自動的に行うことが出来
る。また、これらの計算は従前の動画符号化装置をその
まま流用して行うことが出来るため、特にハードウェア
の追加、改良が必要ではなく、容易に実施できる。

【０００９】また、画像全体の分散を算出し、この分散
を基準にして量子化定数を求めている。すなわち、各画
素群は画像全体を考慮した量子化定数によって量子化さ
れることになる。換言すれば、後に量子化される画素群
の情報を加味して当該画素群の量子化が行われる。従っ
て、画像内の絵柄の平坦さ、複雑さの偏りに依存して生
ずるＳＮＲの偏りを緩和し、画像内における画質を向上
できる。

【００１０】また、輪郭検出器によって画素群毎に輪郭
部分を含むか否かを検出している。そして輪郭部分を含
む画素群の分散の値を、実際に求めた値よりも大きめに
設定すると共に、輪郭部分を含む画素群に適用する量子
化定数を、輪郭部分を含まない画素群に適用する量子化
定数よりも小さい値に再設定している。これにより、輪
郭を含む画素群の符号量を、含まない画素群に比して相
対的に多くしている。従って、目標ビットレートを維持
しつつ、輪郭部分の画質を向上させることが出来、輪郭
に対する感度が高いという人間の視覚特性に対応でき
る。

【００１１】以上によってハードウェアの増加を最小限
に抑えつつ、画質の向上を図ることが出来る動画符号化
方法及び動画符号化装置を提供出来る。

【００１２】

【発明の実施の形態】以下、この発明の実施形態を図面
を参照して説明する。この説明に際し、全図にわたり、
共通する部分には共通する参照符号を付す。

【００１３】この発明の第１の実施形態に係る動画符号
化方法及び動画符号化装置について、図１を用いて説明
する。図１は本実施形態に係る動画符号化装置の構成を
示すブロック図である。

【００１４】図示するように動画符号化装置１０は、動
き検出（ＭＥ：Motion Estimation）を行うモジュール
（Ａ）と、それ以外の符号化処理を行うモジュール
（Ｂ）とに大別できる。モジュール（Ａ）は、入力画像
用メモリ１１、参照画像用メモリ１２、差分計算器１３
及び制御回路１４を備えており、モジュール（Ｂ）は、
量子化器１５、バーチャルバッファ１６及び制御回路１
７を備えている。

【００１５】入力画像用メモリ１１は、制御回路１４の
命令に従って、入力画像を格納する。この入力画像につ
いて図２を用いて説明する。動画を構成する個々の時間
における１枚の画像はフレームと呼ばれている。図２は
１フレームの構成を示す図である。図示するように、複
数の画素により構成されるフレームは、１６画素×１６
画素＝２５６画素の集合からなるマクロブロック（画素
群）に分割されている。またマクロブロックは８画素×
８画素＝６４画素の集合から成るサブブロックに更に分
割されている。画像符号化処理は、このように規定され
たマクロブロック毎、またはサブブロック毎に行われ
る。

【００１６】参照画像用メモリ１２は、制御回路１４の
命令に従って、入力画像用メモリ１１に格納された画像
（参照画像）を格納する。

【００１７】差分計算器１３は、与えられた２つの画像
に含まれる画素が有する画素値の差の絶対値和を計算す
るように構成されている。そして、制御回路１４の命令
に従って広範囲の動き検出ＭＥを行、また画像の分散を
算出する。すなわち、入力画像のマクロブロックと参照
画像のマクロブロックとの画素値の差分から、動きベク
トルＭＶ（Motion Vector）を求める。分散の算出方法
については後述する。

【００１８】量子化器１５は、差分計算器１３で算出さ
れた分散を、制御回路１７により与えられる量子化定数
Ｑに基づいて量子化して、符号化画像を生成する。

【００１９】バーチャルバッファ１６は、量子化器１５
で生成された符号化画像を一定量、蓄積して送出する。

【００２０】制御回路１７は、量子化定数Ｑを決定し量
子化器１５に供給する。この量子化定数Ｑは、差分計算
器１３で得られた分散を基に決定する。また制御回路１
７は、モジュール（Ａ）で行われる広範囲のＭＥ以外の
画像符号化に必要な全ての処理を行う。例えば、半画素
単位で行われる狭範囲のＭＥ、符号化タイプの決定、マ
クロブロックアクティビティの計算、ＤＣＴ、レート制
御及び可変長符号化等である。なお、量子化定数Ｑの決
定はレート制御に関わる処理であり、制御回路１７は少
なくともこの処理が可能であればよい。

【００２１】次に、上記動画符号化装置による動画符号
化方法について図３を用いて説明する。図３は動画符号
化方法の処理の概要を示すフローチャートである。

【００２２】まず、画像が入力されると、モジュール
（Ａ）にて動き検出ＭＥを行う。この際、符号化タイプ
がフレーム内符号化のときは当該入力画像のみから得ら
れる分散（以下「符号化画像の分散」と呼ぶ：第１分
散）を計算し、フレーム間符号化の際は、動き検出ＭＥ
の結果として得られる動き補償付きフレーム間差分画像
の分散（以下「差分画像の分散」と呼ぶ：第２分散）も
併せて計算する（ステップＳ１０）。次に、動き検出Ｍ
Ｅの結果得られた動きベクトルＭＶ及び分散をモジュー
ル（Ｂ）に渡す。そして、モジュール（Ｂ）において、
制御回路１７が、画像全体（１フレーム）を量子化する
ための量子化定数Ｑを決定（ステップＳ２０）する。そ
して量子化器１５がこの量子化定数Ｑに基づいて量子化
を行う（ステップＳ３０）。量子化は、ステップＳ１０
で求めた分散を量子化定数Ｑで除算することにより行わ
れる。また、同時にその他必要な処理をモジュール
（Ｂ）で行う。なお、両モジュールは、処理効率の向上
のためパイプライン動作させる。更に、モジュール
（Ｂ）で画像符号化処理を開始する前に、当該画像の広
範囲の動き検出ＭＥと分散の計算が完了している必要が
ある。

【００２３】次に、上記画像符号化方法における分散算
出方法について詳細に説明する。

【００２４】画像符号化にあたって、フレーム内符号化
とフレーム間差分符号化とのいずれかの符号化タイプを
選択する。フレーム内符号化であると、当該フレーム内
の情報のみによって符号化画像が生成される。フレーム
間差分符号化であれば、過去または／及び未来からの双
方向予測を利用して符号化画像が生成される。

【００２５】まず、当該フレーム内の情報のみによっ
て、符号化画像の分散を算出する（ステップＳ１１）。
この符号化画像の分散算出ステップ（ステップＳ１１）
について図４（ａ）のフローチャートを用いて説明す
る。

【００２６】初めに、当該フレーム内に含まれる１６画
素×１６画素で構成される各マクロブロック（図２参
照）内の画素値の平均値を算出する（ステップＳ１１−
１）。次に、画素値の平均値と、当該マクロブロックに
含まれる各々の画素の画素値との差の絶対値を算出する
（ステップＳ１１−２）。次に、各マクロブロックにつ
いてステップＳ１１−２で算出した差の絶対値の和を算
出する（ステップＳ１１−３）。次に、全マクロブロッ
クについてステップＳ１１−３で算出した絶対値の和を
加算する（ステップＳ１１−４）。このようにしてステ
ップＳ１１−４で得られた値が符号化画像の分散２１と
なる。

【００２７】なお、画像の分散の算出は本来、マクロブ
ロック内の画素値の平均値と、各画素との差の２乗を計
算し、その結果を全画素について加算することで行われ
る。しかし本実施形態では従来のハードウェアを流用す
るために、差の２乗和の代わりに差の絶対値和で近似す
る。また、差の絶対値和計算用の演算器である差分計算
器１３を流用するために、参照画像用メモリ１２に
“０”を書いておく。この参照画像用メモリ１２内の
“０”データと、入力画像用メモリ１１内の当該フレー
ムとの間で差の絶対値和を計算することで、従来のハー
ドウェアを流用して、画素値の平均値を求めることが出
来る。

【００２８】なお、画素は輝度信号Ｙ、色差信号Ｃｂ、
Ｃｒとによって、その明るさと色とが表現される。色差
信号Ｃｂとは、青色信号Ｂから輝度信号Ｙを差し引いた
（Ｂ−Ｙ）ものであり、色差信号Ｃｒは、赤色信号Ｒか
ら輝度信号Ｙを差し引いた（Ｒ−Ｙ）ものである。上記
画素値を用いた分散算出にあたっては、色差信号Ｃｂ、
Ｃｒは無視し、輝度信号Ｙにのみ着目して行えば十分で
ある。なぜなら、輝度信号の方が色差信号よりも圧倒的
に情報量が多く、且つ人間は色に対して輝度ほど敏感で
はないという視覚特性を有しているからである。

【００２９】次に、フレーム間差分符号化を選択した場
合には（ステップＳ１２）、引き続き動き補償付きの差
分画像の分散を算出する（ステップＳ１３）。差分符号
化では、入力画像と過去の画像または／及び未来の画像
（以下参照画像と呼ぶ）との差分を取る。この処理では
従来の動画符号化装置を流用するために、次に示す近似
を行う。すなわち、（１）１６画素×１６画素のマクロ
ブロックを例えば８画素×８画素に削減してなるサブサ
ンプル画像を使用する。（２）参照画像として、符号化
画像の復号化画像は使用せず、実際に入力される過去、
または未来の画像を使用する。これにより復号化処理を
省略出来る。更に、この参照画像も８画素×８画素に画
素数を削減した画像とする。（３）通常ＭＰＥＧでは動
きベクトルを半画素単位で表現するが、この半画素内挿
を反映しない。（４）符号化タイプとしてフレーム間差
分符号化を選択した場合であっても、最終的な画像タイ
プは、必ずしもフレーム間差分符号化によるわけではな
い。（５）差分計算にあたって、各画素差の２乗の和の
代わりに絶対値の和を使用する、の５点である。

【００３０】具体的な処理については図４（ｂ）のフロ
ーチャートを用いて説明する。フレーム間差分画像の分
散を求める際にも、従来の画像符号化装置を流用するた
めに、動き検出ＭＥの結果を使用する。

【００３１】まず、当該フレーム内に含まれる１６画素
×１６画素で構成される各マクロブロック内の画素数を
８画素×８画素に削減し（ステップＳ１３−１）、これ
をサブサンプル画像とする。次にこのサブサンプル画像
２２と参照画像２３との差を計算し、その絶対値を算出
する（ステップＳ１３−２）。この参照画像２３は、前
述の通り当該フレームより前の時間（過去）、または後
の時間（未来）におけるフレームであり、マクロブロッ
クは８画素×８画素で構成されている。また前述のよう
に、参照画像２３は実際に画像符号化装置１０に入力さ
れた画像であって、符号化画像を復号化することで得た
画像ではない。次に、ステップＳ１３−２で求めた絶対
値を各マクロブロック内で加算し、それを全マクロブロ
ックについて加算する（ステップＳ１３−３）。このよ
うにしてステップＳ１３−３で得られた値が差分画像の
分散２４となる。

【００３２】なお、本処理においてはサブサンプル画像
２２と参照画像２３とを、フレーム内の同一位置だけで
なく水平及び垂直に例えば±１５画素範囲内でずらして
差分を計算する。そして、最も差分が小さくなる位置に
より、動きベクトルＭＶを求める。

【００３３】そして、差分画像の分散を算出した後、図
３に示すように、差分画像の分散２４と符号化画像の分
散２１を比較する（ステップＳ１４）する。そして、フ
レーム間差分符号化とフレーム内符号化のどちらが最適
かを予測し、フレーム間差分符号化が最適であれば（ス
テップＳ１５）、差分画像の分散を選択し（ステップＳ
１６）、フレーム内符号化が最適であれば（ステップＳ
１５）、符号化画像の分散を選択する（ステップＳ１
７）。具体的には、符号化画像の分散の値と差分画像の
分散の値とを比較し、分散の値の小さい方を選択する。
なぜなら、分散と符号量との間には比例関係があり、分
散の値の小さい方の画像を選択する方が、画像の高圧縮
の観点で好ましいからである。

【００３４】上記のように、フレーム内符号化を行う際
は、符号化画像の分散２１が、当該フレームの分散２５
となる。他方でフレーム間差分符号化を行う際は、符号
化画像の分散２１または差分画像の分散２４が、当該フ
レームの分散２５となる。

【００３５】以上の処理によって、動き検出ＭＥと同時
に求めた画像の分散は、モジュール（Ｂ）に動きベクト
ルＭＶと共に送られ、モジュール（Ｂ）において、実質
的な符号化処理が行われる。まず、ステップＳ１０で求
めた分散２５に基づいて、制御回路１７が量子化定数Ｑ
を算出する（ステップＳ２０）。この量子化定数Ｑ決定
ステップについて、図５のフローチャートを用いて説明
する。

【００３６】まず、量子化テーブル２６を参照する。量
子化テーブル２６は、予め調べておいたビットレートＲ
と基準量子化定数Ｑrefとの関係を示すものである。こ
の関係の一例を図６に示す。図６は基準量子化定数Ｑre
fに対するビットレートをプロットしたグラフである
（ビットレート−Ｑref曲線）。このビットレート−Ｑr
ef曲線は、例えば、Ｒ＝α＋（β／Ｑref^γ）の式で表すことが出来る。なおα、β、γは実数の定数
とする（この場合、ビットレートを１マクロブロック当
たりのビット数とすることで、α、β、γを定数と仮定
している）。これを前提として、分散の値と画像タイプ
（Ｉピクチャ／Ｐピクチャ／Ｂピクチャ、プログレッシ
ブ／インターレース等）をインデックスとし、α、β、
γの値を記録した表が量子化テーブルである。量子化テ
ーブルの一例を図７に示す。

【００３７】ここで、ＭＰＥＧにおける画像タイプにつ
いて簡単に説明する。画像タイプはまず、Ｉ（Intra）
ピクチャ、Ｐ（Predictive）ピクチャ、Ｂ（Bidirectio
nallypredictive）ピクチャに分けられる。Ｉピクチャ
は、フレーム間の差分を用いずに、そのフレームの情報
のみによって符号化された画面であり、Ｉピクチャに含
まれる全てのマクロブロックはフレーム内符号化されて
いる（このマクロブロックをイントラフレーム（Intra
flame）と呼ぶ）。Ｐピクチャは、Ｉピクチャ、または
過去のＰピクチャからの予測を行うことによって生成さ
れる画面である。一般的にＰピクチャ内のマクロブロッ
クはイントラフレームと、順方向フレーム間差分符号化
されているもの（このマクロブロックをインターフレー
ム（Inter flame）と呼ぶ）との両方を含んでいる。Ｂ
ピクチャは、過去及び未来からの双方向予測によって得
られる画面である。Ｂピクチャ内には、イントラフレー
ム、インターフレームの他に、未来から予測する逆方向
フレーム間差分符号化及び前後両方の予測による内挿的
フレーム間差分符号化されたマクロブロックが含まれ
る。なお、上記「順方向フレーム間」、「逆方向フレー
ム間」とは、各々「過去と現在」、「未来と現在」の画
像の差分を用いるという意味である。

【００３８】また、プログレッシブ（progressive）方
式は、走査方式の１つであり、１つのフレームを順次走
査していく方式で、ノンインターレースとも呼ばれるも
のである。インターレース（interlace）方式も、別の
走査方式の１つであり、異なる時間にサンプリングされ
た２つの画像（フィールド）で１つのフレームを構成す
る方式である。

【００３９】上記のような量子化テーブル２６を参照
し、ステップＳ１０で求めた分散２５の値が登録されて
いた場合（ステップＳ２２）には、その分散２５の値に
対応する値（α、γ、β）を用いてビットレート−Ｑre
f曲線を作成する（ステップＳ２３）。登録されていな
い場合（ステップＳ２２）には、量子化テーブル２６に
登録されている、当該分散２５の値に最も近い分散に対
応する各値を元に、α、β、γの値を内挿、外挿する。
例えば、画像タイプがＩピクチャ（インターレース）で
分散が１３００であったとする。図７の量子化テーブル
に登録されている分散は１４００、１２００であるか
ら、この量子化テーブルはそのままでは使用できない。
そこで、分散値１３００に近い分散値１４００、１２０
０の２つの値から、分散値１３００におけるα、β、γ
の値を予測する。すると、分散値１４００、１２００の
αはいずれも“１”であるから、分散値１３００のαも
“１”が妥当である。また、β、γについては、分散値
１４００、１２００の値の中間値を取れば良い。する
と、分散値１３００のα、β、γは、それぞれ１、１６
４、０．６５程度が妥当であることが分かる。このよう
にしてα、β、γを見積もった上でビットレート−Ｑre
f曲線を作成する（ステップＳ２４）。なお、ビットレ
ート−Ｑref曲線は上式に限定されるものではない。ま
た、量子化テーブル２６に登録される分散の値は、前述
のステップＳ１０で説明した近似計算により得られるも
のとする。これにより、分散算出における近似の補正を
自動的に行うことが出来る。

【００４０】次に量子化定数Ｑを求める。この処理で
は、まず得られたビットレート−Ｑref曲線と、当該フ
レームの分散及びフレームに割り当てる目標ビットレー
トとから基準量子化定数Ｑrefを求める（ステップＳ２
５）。この値は、整数に丸めた値ではなく、実数のまま
とする。

【００４１】本実施形態では基本的に、ステップＳ２５
で求めた基準量子化定数Ｑrefを、当該フレームの全マ
クロブロックに対して使用する。但し、この基準量子化
定数Ｑrefは、量子化テーブル２６に収められた、比較
的数の少ない有限集合の中からしか選択できず、またそ
れは必ずしも理想の値ではない。従って、全マクロブロ
ックを基準量子化定数Ｑrefによって量子化すると、バ
ーチャルバッファにおけるオーバーフローとアンダーフ
ローの発生する可能性が従来のＴＭ−５方式と比較して
高くなる。これを避けるために、バーチャルバッファ１
６のデータ蓄積量２８を制御回路１７にフィードバック
させる。そして、バーチャルバッファフルネスにより基
準量子化定数Ｑrefを変動させる。すなわち、発生符号
量と目標符号量との差を監視し、その差が大きい場合に
は基準量子化定数Ｑrefを最適な値に再設定する。但
し、この変動処理は、ＴＭ−５のように常に行う必要は
なく、オーバーフローやアンダーフローを防止できる程
度の頻度で行えば十分である。また、バーチャルバッフ
ァ１６から出ていく目標ビットレートは一定とはせず、
当該画像の先頭から直前のマクロブロックまでの目標符
号量は、先頭から直前のマクロブロックまでの分散の和
に比例した値とする。

【００４２】次に適応量子化を行うことにより、基準量
子化定数Ｑrefを変動させて量子化定数Ｑを求める（ス
テップＳ２６）。画像符号化に使用する量子化定数Ｑと
ＳＮＲとの間には強い相関関係がある。従って、可能な
限り同一の量子化定数を各マクロブロックに適用するの
が理論上は望ましい。しかし、人間の視覚感度は絵柄の
平坦さ、複雑さにより変化する。例えば、絵柄が平坦な
部分では視覚感度が高く、逆に複雑な部分では視覚感度
が低いという特性がある。そこで、実際にはこれらの点
を考慮して、量子化定数Ｑを決定する方がより好まし
い。ＴＭ−５ではこの視覚感度を考慮して、視覚感度を
反映するマクロブロックアクティビティという値を計算
し、この値に基づいて、画像全体に適用すべき基準量子
化定数Ｑrefを変動させて、実際の量子化処理で用いる
量子化定数Ｑを求める適応量子化と呼ぶ処理を行ってい
る。具体的には、絵柄が平坦なところでは基準量子化定
数Ｑrefを小さくし、逆に絵柄が複雑なところでは基準
量子化定数Ｑrefを大きくして、実際の量子化に用いる
量子化定数Ｑを決定する。なお、基準量子化定数Ｑref
を求める処理は、適応量子化とは独立しているため、両
者を組み合わせることは容易である。

【００４３】そして、量子化器１５は上記のような処理
に従って求めた量子化定数Ｑによって、当該フレームの
分散２５を除算して、量子化画像を得る（ステップＳ３
０）。

【００４４】なお、制御回路１７は、上記処理によって
当該フレームの符号化が終了した後。必要に応じて量子
化テーブル２６を更新する。前述のように、分散の値に
対するビットレート−Ｑref曲線の関係は、理論的に一
意に決まるものではなく、経験に基づいて作成したもの
である。従って、その関係は実際には画像毎に異なる。
そこで、画像を符号化した後、この関係のずれの大きい
ことが判明した場合には、符号化結果に基づいて補正を
行い、量子化テーブル２６を更新する。但し、シーン切
り替えがあった場合には、シーン切り替え直後の画像は
符号化するまで分からないので、符号化開始時にこの表
をデフォルト値に戻す。なお、シーン切り替えの有無
は、動きベクトルＭＶを求める際に判断できる。動きベ
クトルＭＶを求める際には、フレーム間の差分を計算す
る（動き補償）が、この時の分散が大きければ、画像に
大幅な変化があったことを意味するから、シーン切り替
えがあったと判断できる。

【００４５】上記のような動画符号化方法によれば、フ
レーム内符号化及びフレーム間差分符号化もいずれの符
号化タイプであっても、フレームの分散算出において、
各画素差の２乗和の代わりに絶対値の和を使用してお
り、且つＤＣＴ変換処理を省略している。従って、
（１）広範囲のＭＥを行うモジュール（Ａ）における処
理量を削減できる。また、量子化定数Ｑを求める際に
は、上記近似計算による分散値に応じたビットレート−
Ｑref曲線を使用することにより、当該フレームの分散
を求める際に使用した近似計算の補正を自動的に行うこ
とが出来る。また、これらの計算は従前の動画符号化装
置をそのまま流用して行うことが出来るため、特にハー
ドウェアの追加、改良が必要ではなく、本実施形態の実
現は容易である。

【００４６】また、フレーム全体の分散を算出し、この
分散を基準にして量子化定数Ｑを求めている。すなわ
ち、各マクロブロックはフレーム全体の画像を考慮した
量子化定数Ｑによって量子化されることになる。換言す
れば、後に量子化されるマクロブロックの情報を加味し
て当該マクロブロックの量子化が行われる。また、量子
化の際の目標ビットレートを、当該フレーム内の先頭マ
クロブロックから、当該マクロブロックの直前のマクロ
ブロックまでの分散の和に比例するように設定してい
る。従って、（２）画像内の絵柄の平坦さ、複雑さの偏
りに依存してＳＮＲの偏りが生じるという問題点を緩和
し、画像内における画質を向上できる。

【００４７】更に、フレームの符号化が終了した後に、
場合によっては量子化テーブルを更新する。また、シー
ン切り替えがあった場合等には、量子化テーブルをデフ
ォルトに戻す処理を行っている。すなわち、フレームの
符号化が進む毎に、量子化テーブルを最適値に再設定し
ている。そのため、（３）画像毎のＳＮＲの偏りを緩和
し、動画像の画質を向上できる。

【００４８】更に、適応量子化においては、マクロブロ
ックアクティビティを計算して、この値を量子化定数Ｑ
に反映させている。すなわち、絵柄が平坦な部分では量
子化定数Ｑを小さくして圧縮率を下げることで高いＳＮ
Ｒを維持し、逆に絵柄が複雑なところでは量子化定数Ｑ
を大きくして圧縮率を上げることでＳＮＲを犠牲にして
発生符号量を抑制している。従って、（４）人間の視覚
特性に基づいた最適な量子化を行うことが出来る。

【００４９】更に、基準量子化定数Ｑrefにはバーチャ
ルバッファフルネスによるフィードバック制御が行われ
ている。そのため、（５）バッファのオーバーフロー、
アンダーフローの発生を抑制できる。

【００５０】次にこの発明の第２の実施形態に係る動画
符号化方法及び動画符号化装置について説明する。図８
は本実施形態に係る動画符号化装置のブロック図であ
る。

【００５１】図示するように本実施形態に係る動画符号
化装置１０は、第１の実施形態で説明した構成に輪郭検
出器１８を付加したものである。輪郭検出器１８は入力
画像用メモリ１１から送られたフレーム内の輪郭を抽出
し、その情報を制御回路１７に送出する。そして制御回
路１７は、この輪郭情報も加味して量子化定数Ｑを決定
する。なお、この輪郭検出は動き検出ＭＥ時に行うが、
輪郭検出は簡単な加減算と絶対値計算で行われるので、
動き検出に比べて演算量が大幅に少ない。そこで、本実
施形態では輪郭検出器１８を、動き検出ＭＥを行うモジ
ュール（Ａ）に組み込んでいる。輪郭検出器１８は、当
該フレームにおける輪郭検出をマクロブロック毎に行
い、その結果を輪郭情報としてモジュール（Ｂ）内の制
御回路１７へ送る。

【００５２】次に、本実施形態に係る動画符号化方法に
ついて図９を用いて説明する。図９は量子化定数の算出
方法を示すフローチャートである。

【００５３】まず、第１の実施形態で説明した方法によ
り、当該フレームの分散２５を求める（ステップＳ１
０）。また、同時にマクロブロック毎の輪郭検出を行う
（ステップＳ４０）。そして、ステップＳ４０で得られ
た輪郭情報３２を基に、輪郭を含むか否かを判定する。
輪郭を含む場合（ステップＳ４１）には、ステップＳ１
０で求めた分散の値を実際よりも大きな値に変更する
（ステップＳ４２）。その後の処理は、ステップＳ４２
で変更された値を当該フレームの分散として用いる。次
に、輪郭を含む場合にはステップＳ４２で変更された分
散を、輪郭を含まない場合には、ステップＳ１０で求め
た分散を用いて量子化定数Ｑを算出する（ステップＳ４
３）。本ステップは、第１の実施形態で説明したステッ
プＳ２０の処理と基本的には同様である。但し、マクロ
ブロックが輪郭を含む場合には、含まない場合よりも量
子化定数Ｑの値を小さめに設定する。それによって、輪
郭を含まない場合に比べて割り当て符号量を多くする。
その後は第１の実施形態と同様に、求めた量子化定数Ｑ
に基づいて量子化を行い（ステップＳ２０）、符号化画
像を得る。

【００５４】上記実施形態によれば、輪郭を含むマクロ
ブロックの分散の値を、実際に算出した値よりも大きく
なるよう設定している。更に、輪郭を含むマクロブロッ
クに適用する量子化定数を、含まないマクロブロックに
比して小さくなるように設定している。すなわち、輪郭
を含むマクロブロックの符号量を、含まないマクロブロ
ックに比して相対的に多くしている。従って、目標ビッ
トレートを維持しつつ、輪郭部分の画質を向上させるこ
とが出来、輪郭に対する感度が高いという人間の視覚特
性に対応できる。

【００５５】上記説明したように、この発明の第１、第
２の実施形態に係る動画符号化方法によれば、ハードウ
ェアの増加を最小限に抑えつつ、画質の向上を図ること
が可能な動画符号化方法を提供することが出来る。

【００５６】また、上記第１、第２の実施形態におい
て、フレーム間差分符号化の場合の画像の分散の算出方
法を、符号化画像の分散、差分画像の分散の順で説明し
たが、勿論逆であっても構わない。また、上記実施形態
ではＭＰＥＧ２を例に挙げて説明したが、本発明はＭＰ
ＥＧ１やＭＰＥＧ４についても適用可能なのは言うまで
もない。

【００５７】なお、本願発明は上記実施形態に限定され
るものではなく、実施段階ではその要旨を逸脱しない範
囲で種々に変形することが可能である。更に、上記実施
形態には種々の段階の発明が含まれており、開示される
複数の構成要件における適宜な組み合わせにより種々の
発明が抽出されうる。例えば、実施形態に示される全構
成要件からいくつかの構成要件が削除されても、発明が
解決しようとする課題の欄で述べた課題が解決でき、発
明の効果の欄で述べられている効果が得られる場合に
は、この構成要件が削除された構成が発明として抽出さ
れうる。

【００５８】

【発明の効果】以上説明したように、この発明によれ
ば、ハードウェアの増加を最小限に抑えつつ、画質の向
上を図ることが可能な動画符号化方法及び動画符号化装
置を提供できる。

【図面の簡単な説明】

【図１】この発明の第１の実施形態に係る動画符号化装
置のブロック図。

【図２】フレームの構造を示すモデル図。

【図３】この発明の第１の実施形態に係る動画符号化方
法の詳細を示すフローチャート。

【図４】この発明の第１の実施形態に係る動画符号化方
法における、分散算出方法のフローチャートであり、
（ａ）はフレーム内符号化、（ｂ）フレーム間差分符号
化の場合の分散算出方法。

【図５】この発明の第１の実施形態に係る動画符号化方
法における、量子化定数決定方法のフローチャート。

【図６】ビットレートと量子化定数との間の関係を示す
グラフ。

【図７】この発明の第１の実施形態に係る動画符号化方
法において使用する量子化テーブルの一例を示す図。

【図８】この発明の第２の実施形態に係る動画符号化装
置のブロック図。

【図９】この発明の第２の実施形態に係る動画符号化方
法における、量子化定数決定方法のフローチャート。

【符号の説明】

１０…動画符号化装置１１…入力画像用メモリ１２…参照画像用メモリ１３…差分計算器１４…制御回路１５…量子化器１６…バーチャルバッファ１７…制御回路１８…輪郭検出器２０…入力画像２１…符号化画像の分散２２…サブサンプル画像２３…参照画像２４…差分画像の分散２５…分散２６…量子化テーブル２７…基準量子化定数２８…バーチャルバッファ内の蓄積量２９…量子化定数３０…マクロブロックアクティビティ３１…符号化画像３２…輪郭情報

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 KK01 KK06 LB05 MA00 MA04 MA05 MA23 ME01 NN01 NN15 NN28 PP05 PP06 PP07 PP16 TA45 TB07 TC02 TC06 TC12 TC38 TD03 TD04 TD08 UA02

Claims

【特許請求の範囲】

【請求項１】画像全体の分散を、画素値の差の絶対値
を用いた近似式により求めるステップと、前記画像全体の分散を求めるステップで使用した前記近
似式により求められた分散、ビットレート、及び量子化
定数に応じて、前記ステップにより求めた前記画像全体
の分散と、目標ビットレートとに対応する量子化定数を
求めると共に、前記ステップで使用した近似式により生
ずる誤差を補正するステップと、前記量子化定数に基づいて、前記画像を構成する複数の
画素群毎に順次量子化を行い、符号化画像を得るステッ
プとを具備することを特徴とする画像符号化方法。
【請求項２】前記画像全体の分散を算出するステップ
は、前記画像を構成する複数の前記画素群の平均画素値
を求めるステップと、前記画素群の平均画素値と、該画素群に含まれる前記画
素が有する各々の画素値との差の絶対値の和を、前記画
素群毎に求めるステップと、前記画像を構成する全ての前記画素群について求めた前
記差の絶対値の和を加算して、第１分散を求めるステッ
プとを備えることを特徴とする請求項１記載の動画符号
化方法。
【請求項３】前記画像全体の分散を算出するステップ
は、前記画像を構成する複数の前記画素群に含まれる画
素数を削減してサブサンプル画像を得るステップと、前記サブサンプル画像と、該サブサンプル画像より前ま
たは後の時刻における画像を構成する複数の画素群に含
まれる画素数を削減して得られる参照画像との間で、各
々に含まれる画素の画素値の差分を求めるステップと、全ての前記画素についての前記差分の絶対値を加算し
て、第２分散を得るステップと、前記第１、第２分散を比較して値の小さいいずれか一方
を選択することにより、当該画像の分散を得るステップ
とを備えることを特徴とする請求項２記載の動画符号化
方法。
【請求項４】前記画像全体の分散を算出するステップ
は、前記画像を構成する複数の画素群の各々が、前記画
像の輪郭部分を含むか否かを検出するステップと、前記輪郭部分を含む前記画素群についての分散の値を、
前記近似式で求めた値よりも大きい値に再設定するステ
ップとを更に備え、前記符号化画像を得るステップは、前記輪郭部分を含ま
ない前記画素群よりも小さい値に再設定した前記量子化
定数によって、前記輪郭部分を含む前記画素群の量子化
を行うことを特徴とする請求項１記載の動画符号化方
法。
【請求項５】前記量子化定数を決定するステップは、
予め記録された、複数の分散についてのビットレートと
量子化定数との関係を参照するステップと、前記画像全体の分散を求めるステップで得られた分散の
値が前記ビットレートと量子化定数との関係に登録され
ている場合、該分散の値に対応するビットレートと量子
化定数との関係を読み出し、読み出した該関係におけ
る、目標とするビットレートと該分散の値とにより量子
化定数を求めるステップと、前記画像全体の分散を求めるステップで得られた分散の
値が前記ビットレートと量子化定数との関係に登録され
ていない場合、該分散の値に近い登録された分散値を基
に、ビットレートと量子化定数との関係を算出し、算出
した該関係における、目標とするビットレートと前記分
散を求めるステップで得られた分散の値とにより量子化
定数を求めるステップとを備えることを特徴とする請求
項１記載の動画符号化方法。
【請求項６】前記量子化定数を決定するステップは、
前記目標とするビットレートと前記分散の値との関係か
ら量子化定数を求めるステップの後、前記符号化画像を
一定量まで蓄積するバッファ内の蓄積量をチェックし、
該バッファ内の蓄積量に応じて前記量子化定数を再設定
するステップを更に備えることを特徴とする請求項５記
載の動画符号化方法。
【請求項７】前記量子化定数を決定するステップは、
前記目標とするビットレートと前記分散の値との関係か
ら量子化定数を求めるステップの後、前記画素群毎につ
いて画像と視覚感度との関係を算出し、各々の画素群に
適用する前記量子化定数を前記視覚感度に応じて再設定
する適応量子化ステップを更に備えることを特徴とする
請求項６記載の動画符号化方法。
【請求項８】前記量子化を行い、符号化画像を得るス
テップの後、予め記録された、複数の分散についてのビ
ットレートと量子化定数との関係を、前記符号化画像に
基づいて補正するステップを更に備えることを特徴とす
る請求項５記載の動画符号化方法。
【請求項９】入力された画像全体の分散を算出する差
分計算器と、前記入力画像の輪郭を、該入力画像を構成する複数の画
素群毎に検出する輪郭検出器と、前記画像を量子化するために用いる量子化定数を、前記
画像全体の分散に基づいて求める制御回路と、前記制御回路で求めた量子化定数を用いて前記差分計算
器で算出された前記分散を前記画素群毎に除算すること
によって、前記画像を量子化して符号化画像を得る量子
化器と、を具備し、前記制御回路は、前記輪郭検出器によって検出された、輪郭部分を含む前
記画素群の分散を、前記差分計算器で求めた値よりも大
きくなるよう再設定し、且つ前記輪郭部分を含む前記画
素群の前記量子化定数を、前記輪郭部分を含まない画素
群の量子化定数よりも小さくなるよう再設定することに
より、輪郭部分を含む画素群に与える符号量を、輪郭を
含まない画素群に比べて相対的に多くすることを特徴と
する動画符号化装置。