JP2004015340A

JP2004015340A - 動画像符号化のための量子化制御方式

Info

Publication number: JP2004015340A
Application number: JP2002164776A
Authority: JP
Inventors: Koichi Takagi; 高木　幸一; Hitoshi Naito; 内藤　整; Masahiro Wada; 和田　正裕; Shuichi Matsumoto; 松本　修一; Koichi Ishihara; 石原　剛一
Original assignee: KDDI R&D Laboratories Inc
Current assignee: KDDI Research Inc
Priority date: 2002-06-05
Filing date: 2002-06-05
Publication date: 2004-01-15
Anticipated expiration: 2022-06-05
Also published as: JP4033292B2

Abstract

【課題】動画像に対する人間の視覚特性を高精度に表す視覚優先度に基づいてビット配分を最適にし、制限されたビット数で画像全体の主観画質を向上させることができる動画像符号化のための量子化制御方式を提供すること。
【解決手段】ピクチャ単位に、各マクロブロックを構成するブロックごとの輝度分散値を決定し（Ｓ１）、輝度分散値に基づいて各マクロブロックのテクスチャ属性パラメータを算出する（Ｓ２）。ＭＢグループの境界に位置するマクロブロックのテクスチャ属性パラメータについては修正する（Ｓ３、Ｓ４、Ｓ５）。これらテクスチャ属性パラメータｔ（ｋ）を用いてマクロブロックごとの視覚優先度パラメータｗ（ｋ）算出し（Ｓ６）、量子化パラメータＱ（ｋ）を算出する（Ｓ７）。
【選択図】　　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化のための量子化制御方式に関し、特に、ビットレートが制限された映像配信サービスなどにおいても画像全体の主観画質を向上させることができる動画像符号化のための量子化制御方式に関するものである。
【０００２】
【従来の技術】
動画像符号化の国際標準であるＭＰＥＧ−２の符号化検証モデルＴｅｓｔＭｏｄｅｌ５［１］においては、図６にその概念を示すよう、マクロブロックごとの発生ビット数を入力し、目標符号化ビット数を出力する仮想バッファを導入し、発生ビット数の目標符号化ビット数に対する過不足をこの仮想バッファに蓄積し、量子化制御にフィードバックする。
【０００３】
ここではマクロブロック（１６×１６画素）ごとの重み係数、すなわち視覚感度ｗ（ｋ）を下記（１）式により算出し、量子化パラメータを、視覚感度ｗ（ｋ）と仮想バッファの占有量ｄとを用いて下記（２）式により算出する。なお、ピクチャの目標ビット数をＴ、ピクチャ内マクロブロック数をＭＢｃｎｔとすると、目標符号化ビット数は、Ｔ／ＭＢｃｎｔで表される。

量子化パラメータ＝占有量ｄ×視覚感度ｗ（ｋ）　　　　　　　・・・（２）
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来技術においては、（１）式から明らかなように、基本的に視覚感度をマクロブロックの輝度分散のみに基づいて決定しており、マクロブロックごとの重み付けが動画像に対する人間の視覚感度に対応した最適なものには必ずしもなっていないという問題がある。
【０００５】
また、マクロブロックを構成する８×８画素のブロックの輝度分散のうちの最も小さい輝度分散ａｃｋ（ｋ）を用いてマクロブロックの視覚感度ｗ（ｋ）を算出しているため、精細領域中に平坦ブロックが単独で存在する場合に、算出した視覚感度は、平坦ブロックを含むマクロブロックとそれを含まないマクロブロックとで大きく異なり、性質がほぼ等しいと考えられる精細領域どうしの視覚感度が大きく変動するという問題がある。
【０００６】
また、これにより算出した量子化パラメータを用いて量子化制御を行うと、単独で存在する平坦ブロックを含むマクロブロックは、ノイズがあまり目立たないにもかかわらず量子化が精細に行われ、それに対して多くのビット数が配分されるため、最適なビット配分がなされているとは言えない。
【０００７】
本発明の目的は、動画像に対する人間の視覚特性を高精度に表す視覚優先度に基づいてビット配分を最適にすることができ、その結果、制限されたビット数で画像全体の主観画質を向上させることができる動画像符号化のための量子化制御方式を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、入力されるピクチャ単位に、各マクロブロックを構成するブロックごとの輝度分散値を決定する輝度分散値決定手段と、前記輝度分散値に基づいて各マクロブロックごとのテクスチャ属性パラメータを算出するテクスチャ属性パラメータ算出手段と、前記テクスチャ属性パラメータに基づいて各マクロブロックごとの視覚優先度パラメータを算出する視覚優先度パラメータ算出手段と、前記視覚優先度パラメータに基づいて量子化パラメータを算出する量子化パラメータ算出手段とを備えた点に第１のの特徴がある。
【０００９】
また、本発明は、前記テクスチャ属性パラメータ算出手段が、マクロブロックを構成するブロックごとの輝度分散値の内の最低値以外の輝度分散値、あるいはマクロブロックを構成するブロックごとの輝度分散値の平均値を用いて当該マクロブロックのテクスチャ属性パラメータを算出する点に第２の特徴がある。
【００１０】
また、本発明は、前記最低値以外の輝度分散値が、２番目に小さい輝度分散値である点に第３の特徴がある。
【００１１】
また、本発明は、前記テクスチャ属性パラメータ算出手段が、ピクチャ内オブジェクトの境界に位置するマクロブロックのテクスチャ属性パラメータについては隣接マクロブロックのテクスチャ属性パラメータおよびオブジェクトごとの注視度により修正する点に第４の特徴がある。
【００１２】
さらに、本発明は、前記オブジェクトごとの注視度が、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合い、該オブジェクトがピクチャ内で目立つ度合いの少なくとも一つの指標を用いて定義されたものである点に第５の特徴がある。
【００１３】
第１の特徴によれば、マクロブロックごとのテクスチャパラメータに基づいて視覚優先度パラメータを算出しているため、マクロブロックの輝度分散のみに基づいて視覚感度を算出するものに較べて人間の視覚特性により適合した量子化を行うことができ、画像全体の主観画質を向上させることができる。
【００１４】
また、第２および第３の特徴によれば、精細なマクロブロック中に平坦なブロックが単独に存在する場合でも不必要にビットが消費されることがなくなり、ビット配分を最適化できる。
【００１５】
さらに、第４及び第５の特徴によれば、色の変化の大きい部分やエッジ部を人間の視覚特性に対応して鮮明にすることができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る量子化制御方式が適用される動画像符号化装置の一例のブロック構成図である。同図において、減算器１１は、入力画像ａから動き補償予測部１２で得られた予測画像を減算し、予測誤差信号を生成する。この予測誤差信号は、ＤＣＴ（直交変換）部１３において、例えば８×８画素のブロック単位でＤＣＴ係数に変換される。
【００１７】
量子化部１４は、量子化制御部１５からの量子化パラメータに従ってＤＣＴ係数を量子化する。量子化制御部１５は、前処理部１６から入力されるオブジェクトごとへのクラスタリング結果およびオブジェクトごとの注視度、当該ピクチャ（画面）について設定された目標誤差電力に基づいて量子化パラメータを算出する。量子化部１４の出力は、可変長符号化（ＶＬＣ）部１５で可変長符号化された後、動きベクトル情報と共に多重化されてバッファに一時的に蓄えられる。
【００１８】
また、量子化部１４からの出力は、逆量子化部１８で逆量子化され、逆ＤＣＴ部１９で予測誤差信号に再生され、加算器２０で動き補償予測部１２からの予測画像と加算される。この加算により得れらた復号画像は、フレームメモリ２１に蓄積される。
【００１９】
動き検出部２２は、順次入力される入力画像ａにもとづいて画像の動きを検出し、動きベクトル情報を出力する。この画像の動きは、例えば１６×１６画素のマクロブロックを単位として検出される。動き補償予測部１２は、フレームメモリ２１に蓄積された復号画像と動き検出部２２からの動きベクトル情報とにより予測画像を生成し、減算器１１と加算器２０に出力する。なお、切換スイッチ部２３は、動画像シーケンスの最初やシーン・チェンジなどでフレーム間予測を行わないように切り変えるものである。このときにはフレーム内予測を行うのが普通である。
【００２０】
図２は、本発明に係る量子化制御方式の一実施形態の処理フローを示し、図１の量子化制御部１５での処理である。この量子化制御方式は、入力画像、ピクチャ内オブジェクトを構成するマクロブロックグループ（以下、ＭＢグループと記し、これをｊで識別する。）へのクラスタリング結果およびＭＢグループごとの注視度ｖ（ｊ）、ピクチャについて設定された目標量子化誤差電力Ｄを入力とし、マクロブロック（これをｋで識別する。）ごとの量子化パラメータＱ（ｋ）を算出する。量子化パラメータＱ（ｋ）は、マクロブロックレイヤでのビット配分を決定するために量子化部１４（図１）に与えられる。
【００２１】
まず、ピクチャ内のオブジェクトに対応して、マクロブロックをＭＢグループへグループ化（クラスタリング）する処理、ＭＢグループごとの注視度ｖ（ｊ）を取得する処理について説明する。この処理は、前処理部１６（図１）で行われる。
【００２２】
マクロブロックのＭＢグループへのグループ化は、ピクチャレイヤでマクロブロックをその属性に基づいてグループ化することにより行われる。このグループ化は、ピクチャ内オブジェクトを抽出することと言える。このグループ化のための基準とする属性（分類基準値）は、マクロブロックごとの輝度成分、色差成分、動き量のうちの少なくとも一つ指標を用いて定義することができる。この処理により、例えば人物、車両、背景、あるいはそれらが画像特徴にしたがってさらに区分された部分ごとにマクロブロックをグループ化できる。
【００２３】
図３は、動き量と２つの色差成分Ｐｂ、Ｐｒ（０〜２５５レベル）とからなる３次元座標を分類基準値とする例を示し、ピクチャ内の各マクロブロックについて動き量および色差成分Ｐｂ、Ｐｒを求めてこの３次元座標上にプロットし、３次元座標位置の近いマクロブロックを同一グループとしてグループ化する。例えば、動き量を２段階に分け、色差成分Ｐｂ、Ｐｒをそれぞれ５段階に分ければ、マクロブロックを最大５０種類の属性のものにグループ化することができる。
【００２４】
なお、色差成分Ｐｂ、Ｐｒは、マクロブロックにおける各色差成分の平均値とすればよく、マクロブロックの動き量は、まず、再生順における直前のフレームを参照してマクロブロックの動きベクトルＶｆ（ｋ）を求め、次に、この動きベクトルＶｆ（ｋ）に対してパンやズームなどのカメラ操作に起因する成分を除くグローバル動き補正を行ってオブジェクトに特化した動きのみを示す補正ベクトルＶｇ（ｋ）を求め、その絶対値｜Ｖｇ（ｋ）｜を動き量とすることにより求めることができる。
【００２５】
注視度ｖ（ｊ）は、ピクチャ内の各部分について人間が注視する度合いを表すものであり、一般にピクチャ内のオブジェクトごとに異なっていると考えられる。したがって、前記のようにして得られたＭＢグループについて適当な指標を用いて数値化することによりオブジェクトごとの注視度ｖ（ｊ）を得ることができる。
【００２６】
人間の動視力特性は、その部分のピクチャ内での動きや周囲との差異などに関係するため、注視度ｖ（ｊ）を得るに際しての指標を、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）、オブジェクト内でマクロブロックごとに動きが散乱している度合Ｒ（ｊ）、オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）のうちの少なくとも一つとすることができる。
【００２７】
前記３つの指標Ｌ（ｊ）、Ｒ（ｊ）、Ｋ（ｊ）を用いて注視度ｖ（ｊ）を算出する場合には、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）を、グローバル補正前の動き量Ｖｆ（ｋ）の絶対値｜Ｖｆ（ｋ）｜のＭＢグループ内平均を求めることにより算出する。
【００２８】
また、オブジェクト内でマクロブロックごとに動きが散乱している度合Ｒ（ｊ）を、同一ＭＢグループ内の全マクロブロックについて、同一ＭＢブロックに含まれる隣接マクロブロック（これをｋ′で識別する。）に対するＶｇ（ｋ）の散乱度Ｒ（ｊ，ｋ）を下記（３）式に従い算出した上で、ＭＢグループ内平均を求めることにより算出する。

ここで、Ｖｇｘ、Ｖｇｙは、Ｖｇのそれぞれｘ軸方向成分、ｙ軸方向成分を表す。
【００２９】
また、当該オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）を、当該オブジェクトの希少性Ｋａ（ｊ）と異質性Ｋｂ（ｊ）とから算出する。希少性Ｋａ（ｊ）は、ＭＢグループ内の平均動き量、平均色差成分によりオブジェクトをマクロブロックの分類基準値に基づいて、例えば５０種類に分類し、それら分類されたもののピクチャ内での発生頻度を表すヒストグラムを求め、発生頻度が小さいものほど値が大きくなるようにされたものとして定義される。
【００３０】
また、異質性Ｋｂ（ｊ）は、異なるＭＢグループと隣接するポイント（これをｐで識別する。）において、ＭＢグループ間での分類基準値の差Ｋｂ（ｊ，ｐ）を求め、この差Ｋｂ（ｊ，ｐ）のＭＢグループ内平均を求めることにより算出できる。
【００３１】
オブジェクトがピクチャ内で目立つ度合いＫ（ｊ）は、前記のようにして算出した希少性Ｋａ（ｊ）と異質性Ｋｂ（ｊ）とから下記（４）、（５）式により算出できる。ただし、関数Ｓは、引数とする関数の出力を平滑化するために導入するシグモイド関数である。
Ｓ（Ｋａ（ｊ））×Ｓ（Ｋｂ（ｊ））＞１の場合
Ｋ（ｊ）＝Ｓ（Ｋａ（ｊ））×Ｓ（Ｋｂ（ｊ））・・・（４）
それ以外の場合　　　Ｋ（ｊ）＝１　　　　　　　　　　　　　　・・・（５）
【００３２】
各オブジェクトについての注視度Ｖ（ｊ）は、前記のようにして算出した３つの指標Ｌ（ｊ）、Ｒ（ｊ）、Ｋ（ｊ）を用いて下記（６）式により算出できる。
Ｖ（ｊ）＝Ｓ（Ｋ（ｊ））／（Ｓ（Ｌ（ｊ））×Ｓ（Ｒ（ｊ）））・・・（６）
【００３３】
これにより算出した注視度Ｖ（ｊ）は、動きが小さく、動きの散乱が小さく、ピクチャ内で目立っているオブジェクトに対して大きな値となり、人間の動視力特性および注視特性に合ったものとなる。
【００３４】
次に、量子化制御について図２のフローに従って順に説明する。まず、マクロブロックを構成する、例えば８×８画素のブロック（これをｌで識別する。）の輝度分散値ｃｌｖ（ｌ）を決定する（Ｓ１）。この輝度分散値ｃｌｖ（ｌ）としては、当該ブロック及びその上下左右に隣接する４ブロックの計５ブロックの輝度分散値をそれぞれ算出し、それらにランクオーダフィルタ（ｒａｎｋ　ｏｒｄｅｒ　ｆｉｌｔｅｒ）を適用し、最低値以外の輝度分散値、例えば２番目に小さな値を抽出したものを補正された輝度分散値として適用する。なお、各ブロックについての補正された輝度分散値として最小値を抽出すると、単独の孤立した平坦ブロックの輝度分散値が適用されてしまうため、前記のように最低値以外の輝度分散値、例えば２番目に小さな値を適用することが好ましい。
【００３５】
次に、ブロックごとの輝度分散値ｃｌｖ（ｌ）に基づいてマクロブロックのテクスチャ属性パラメータｔ（ｋ）を算出する（Ｓ２）。テクスチャ属性パラメータｔ（ｋ）は、ＭＢグループあるいはマクロブロックに属するブロックの輝度分散値ｃｌｖ（ｌ）の平均値あるいは最小値Ａ（ｋ）を求め、これをシグモイド関数Ｓに適用することにより下記（７）式で求めることができる。
ｔ（ｋ）＝Ｓ（Ａ（ｋ））　　　　　　　　　　　　　　　　　　・・・（７）
【００３６】
なお、飛び越し走査により動画像が再生されるものである場合には、図４に示すように、フレームにおけるブロックの輝度分散ａ_ｘ，ｙ以外に、当該フレームを構成する第１フィールドおよび第２フィールドのブロックにおける輝度分散ｂ_ｘ，ｙにフィルタを適用してそれぞれ、例えば２番目に小さな値ａ′_０，０、・・・を抽出し、それらを含めた輝度分散の内の最小値あるいは平均値を当該マクロブロックの補正輝度分散値Ａ（ｋ）とすることが好ましい。
【００３７】
ここで、ＭＢグループどうしの境界に位置するマクロブロックでは、隣接するＭＢグループの属性が混在している可能性が高い。さらに、そのようなマクロブロックは、人間は色の変化が大きい部分あるいはエッジ部を注視する傾向がある、という部分に該当する可能性が高い。そのため、このような領域では、視覚優先度を高くすることにより主観画質の向上が期待できる。そこで、先に前処理部で得られた、ピクチャ内のオブジェクトを構成するマクロブロックグループへのクラスタリング結果を用いてマクロブロックがＭＢグループの境界に位置するか否かを調べ（Ｓ３）、境界に位置するマクロブロックＢＭＢに対しては、図５に示すように、次の操作を施す。
【００３８】
まず、ＢＭＢおよびその上下左右に隣接する４つのマクロブロックのオブジェクト注視度ｖ（ｊ_０）の最大値をｖ_ｍａｘ、ＢＭＢおよびその上下左右に隣接する４つのマクロブロックのテクスチャ属性パラメータｔ（ｋ）の最小値をｔ_ｍｉｎとしたとき（Ｓ４）、これら最大値ｖ_ｍａｘおよび最小値ｔ_ｍｉｎを用いてＢＭＢのテクスチャ属性ｔ（ｋ）を下記（８）式により修正する（Ｓ５）。
ｔ（ｋ）＝（ｖ（ｊ_０）／ｖ_ｍａｘ）×ｔ_ｍｉｎ・・・（８）
【００３９】
次に、視覚優先度パラメータｗ（ｋ）を、前記（６）、（７）あるいは（８）式で求めたＶ（ｊ）およびｔ（ｋ）を用いて下記（９）式によりを算出する（Ｓ６）。
ｗ（ｋ）＝ｔ（ｋ）／Ｖ（ｊ）　　　　　　　　　　　　　　　　・・・（９）
この視覚優先度パラメータｗ（ｋ）は、マクロブロックごとの量子化パラメータＱ（ｋ）を算出（Ｓ７）するために使用される。
【００４０】
量子化パラメータＱ（ｋ）は、ピクチャ単位で設定された当該ピクチャの目標量子化誤差電力Ｄに近づけるべく、当該ピクチャに対する平均量子化パラメータＱ_ＡＶＥ（ｉ）を設定した後、下記（１０）式により求めることができる。
Ｑ（ｋ）＝ｗ（ｋ）／Ｑ_ＡＶＥ（ｉ）　　　　　　　　　　　　　　・・・（１０）
【００４１】
なお、ピクチャレイヤでの目標量子化誤差電力Ｄの設定については、本出願人による既出願（特願２００１−３７０５２１号）の明細書中に記載しているので、詳細な説明は省略するが、その概略は、ピクチャごとの割り当てビット数とＤＣＴ計数の分散の関数であるレート−歪みの関係式からピクチャごとの量子化誤差電力を算出し、算出された量子化誤差電力に基づいて目標量子化誤差電力を設定するというものである。
【００４２】
以上のようにして算出した量子化パラメータＱ（ｋ）を用いて量子化を行い、ビット配分を行うことにより、視覚優先度パラメータｗ（ｋ）の変動が平均量子化パラメータＱ_ＡＶＥ（ｉ）の設定により吸収されるため、視覚優先度パラメータｗ（ｋ）を正規化する必要がない。
【００４３】
以上、本発明の実施形態について説明したが、本発明は、種々に変更および修正が可能である。例えば、オブジェクトの抽出、すなわちマクロブロックのグループ化に際し、分類基準により分類されたＭＢグループの面積が小さい場合、上下左右方向で隣接する、分類基準値の近い隣接ＭＢグループを、ＭＢグループの面積が予め決められた面積を上回るまで統合して最終的なＭＢグループとすることができ、これによれば算出される視覚優先度を劣化させることなく処理を軽減することができる。
【００４４】
また、オブジェクトに含まれるマクロブロックの動き量の平均Ｌ（ｊ）を算出するに際し、他のものから極端に異なっている動き量を算出から除外するようにすることにより、ノイズなどの影響をなくすことができる。
【００４５】
【発明の効果】
以上に詳細に説明したように、本発明によれば、符号化に先立ってピクチャ内のオブジェクトおよびマクロブロックの構成を高精度に解析することができ、符号化部にてピクチャ内の局所的なビット配分を最適化できる。これにより視覚的に目立たない領域での劣化はあるものの、視覚的に目立つ領域での符号化性能の向上が顕著であるため、画像全体の主観画質を向上することができる。
【００４６】
動画像符号化を用いた映像伝送サービスにおいては、殆ど量子化が行われているため、本発明は、映像伝送サービスに広く適用可能である。
【図面の簡単な説明】
【図１】本発明に係る前処理部と動画像符号化部を備えた動画像符号化装置の一例のブロック構成図である。
【図２】図１の前処理部における処理の一実施形態のフロー図である。
【図３】オブジェクト抽出のための分類基準の説明図である。
【図４】テクスチャ属性パラメータの決定の原理説明図である。
【図５】境界に位置するマクロブロックに対する操作の説明図である。
【図６】ＭＰＥＧ−２の符号化検証モデルＴｅｓｔ　Ｍｏｄｅｌ５［１］の概念図である。
【符号の説明】
１１・・・減算器、１２・・・動き補償予測部、１３・・・ＤＣＴ部、１４・・・量子化部、１５・・・量子化制御部、１６・・・前処理部、１７・・・ＶＬＣ、１８・・・逆量子化部、１９・・・逆ＤＣＴ部、２０・・・加算器、２１・・・フレームメモリ、２２・・・動き検出部、２３・・・切換スイッチ部

Claims

動画像符号化のための量子化制御方式において、
入力されるピクチャ単位に、各マクロブロックを構成するブロックごとの輝度分散値を決定する輝度分散値決定手段と、
前記輝度分散値に基づいて各マクロブロックごとのテクスチャ属性パラメータを算出するテクスチャ属性パラメータ算出手段と、
前記テクスチャ属性パラメータに基づいて各マクロブロックごとの視覚優先度パラメータを算出する視覚優先度パラメータ算出手段と、
前記視覚優先度パラメータに基づいて量子化パラメータを算出する量子化パラメータ算出手段とを備えたことを特徴とする動画像符号化のための量子化制御方式。
前記テクスチャ属性パラメータ算出手段は、マクロブロックを構成するブロックごとの輝度分散値の内の最低値以外の輝度分散値、あるいはマクロブロックを構成するブロックごとの輝度分散値の平均値を用いて当該マクロブロックのテクスチャ属性パラメータを算出することを特徴とする請求項１に記載の動画像符号化のための量子化制御方式。
前記最低値以外の輝度分散値は、２番目に小さい輝度分散値であることを特徴とする請求項２に記載の動画像符号化のための量子化制御方式。
前記テクスチャ属性パラメータ算出手段は、ピクチャ内オブジェクトの境界に位置するマクロブロックのテクスチャ属性パラメータについては隣接マクロブロックのテクスチャ属性パラメータおよびオブジェクトごとの注視度により修正することを特徴とする請求項１ないし３のいずれかに記載の動画像符号化のための量子化制御方式。
前記オブジェクトごとの注視度は、該オブジェクトに含まれるマクロブロックの動き量の平均、マクロブロックごとに動きが散乱している度合い、該オブジェクトがピクチャ内で目立つ度合いの少なくとも一つの指標を用いて定義されたものであることを特徴とする請求項４に記載の動画像符号化のための量子化制御方式。