JPH0937242A

JPH0937242A - 可変ビットレート画像信号符号化装置

Info

Publication number: JPH0937242A
Application number: JP7185665A
Authority: JP
Inventors: Atsushi Shimizu; 淳清水; Yoshiyuki Yashima; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1995-07-21
Filing date: 1995-07-21
Publication date: 1997-02-07

Abstract

(57)【要約】【課題】復号画像の画質を一定にすることができる可
変ビットレート画像信号復号化装置を提供する。【解決手段】特徴量算出１２２にてＫ種類の特徴量を
算出し、フレーム単位統計量算出部１２３にて各特徴量
の計測フレームでの統計量１２４を算出する。算出され
たフレームの各特徴量の統計量１２４を基に、フレーム
群統計算出部１２５にて、入力されたフレーム群におけ
る各特徴量の統計量１２６を算出する。画質劣化推定部
１２７にて、符号化対象フレームの各特徴量の統計量１
２４とフレーム群内での各特徴量の統計量の平均値１２
６から、符号化対象フレームの画質劣化の程度１２８を
推定する。画質劣化の程度１２８、フレーム群最大発生
情報量１１５およびフレーム群平均発生情報量１１６、
最大レート１７及び平均レート１１８から、量子化ステ
ップ算出部１１２にて、量子化ステップ１１９を算出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、発生情報量計測部
と符号化部からなり、発生情報量計測部で入力されたデ
ィジタル画像信号を小ブロックに分割し、一定の量子化
ステップで符号化し、発生情報量を計測し、その測定結
果から符号化部で量子化ステップを算出して符号化を行
う可変ビットレート画像信号符号化装置に関する。

【０００２】

【従来の技術】可変ビットレート符号化制御は、固定ビ
ットレートに比べ発生情報量に関する制限が弱く、柔軟
なビット割当が可能であるので、種々の性質を持った画
像信号に対してほぼ同じ画質での符号化が可能となる。
可変ビットレート符号化制御は、一定時間Ｔ_a 内の発生
情報量である平均レートと、Ｔ_a に比べ短い時間Ｔ_m 内
の発生情報量である最大レートなどをパラメータとして
制御を行う。可変ビットレート符号化制御では、上記の
制御パラメータを用いて情報割当を最適化するため、こ
れから符号化するフレームの解析をあらかじめ行って発
生情報量を計測し、その測定結果から量子化ステップを
決定した後符号化を行う２パス符号化制御がある。

【０００３】図７は、従来の２パス符号化制御方法の例
を説明するためのものである。本例では、画像符号化方
式として離散コサイン変換を使用した場合を想定する。
あらかじめ計測を行う複数のフレームをフレーム群と呼
び、フレーム群内のフレーム数をＦとする。また、制御
パラメータは、フレーム単位での発生情報量の上限を示
す最大レートＢ_max 及びフレーム群の全発生情報量のフ
レーム当たりの平均の上限を平均レートＢ_ave とする。

【０００４】まず、発生情報量計測部にて、入力端子１
０１から入力された画像信号の発生情報量が計測され
る。発生情報量計測部に入力された画像信号は、小ブロ
ック分割部１０２にてＮ×Ｎの小ブロックに分割され
る。分割された小ブロックの画像信号に対し、離散コサ
イン変換部１０３Ｂで離散コサイン変換が行われる。さ
らに、あらかじめ設定された量子化ステップＱ_p （１０
５）を使って、離散コサイン変換係数は量子化部１０４
で量子化され、可変長符号化部１０６で可変長符号化さ
れ、発生情報量計算部１０７にて、フレーム単位の発生
情報量１１３を計測する。発生情報量統計量算出部１１
４にて計測されたフレーム単位の発生情報量１１３よ
り、フレーム群最大発生情報量Ｇ_max （１１５）とフレ
ーム群平均発生情報量Ｇ_ave （１１６）を算出する。ま
た、発生情報量計測部に入力されたフレーム群は、フレ
ーム群内の全フレームの発生情報量の計測終了までフレ
ームメモリ１０８に蓄えられる。

【０００５】次に、発生情報量計測終了後、フレームメ
モリ１０８に蓄えられている画像信号は符号化部にて符
号化される。ここで、符号化対象画像のフレーム群にお
けるフレーム番号をｉ（ｉ＝１，２，・・・，Ｆ）とす
る。符号化部に入力された画像信号は、小ブロック分割
部１０９にてＮ×Ｎの小ブロックに分割され、分割され
た小ブロックの画像信号に対し、離散コサイン変換部１
１０Ｂで離散コサイン変換が行われる。一方、発生情報
量計測部にて計測されたフレーム群最大発生情報量Ｇ
_max （１１５）およびフレーム群平均発生情報量Ｇ_ave
（１１６）と制御パラメータとして与えられている最大
レートＢ_max （１１７）および平均レートＢ_ave （１１
８）から、量子化ステップ算出部１１２にて、基準とな
る量子化ステップＱ_i （１１９）を算出する。算出方法
としては、以下の通りとし、量子化ステップＱと発生情
報量ＧにはＧ＝ａ／Ｑの関係があると仮定する。ここで、ａは定数である。

【０００６】平均レートＢ_ave （１１８）について、フ
レーム群平均発生情報量Ｇ_ave （１１６）と計測に用い
た量子化ステップＱ_p （１０５）から符号化時の平均発
生情報量がＢ_ave （１１５）を越えない量子化ステップ
Ｑ_i （１１９）を算出する。Ｑ_i ＝Ｑ_p・Ｇ_avev／Ｂ_ave ただし、算出された量子化ステップＱ_i （１１９）にて
量子化した際、最大レートＢ_max （１１５）を越えるフ
レームに対しては、発生情報量がＧ_max を越えない量子
化ステップＱ_i （１１９）を新たに設定する。

【０００７】Ｑ_i ＝Ｑ_p・Ｇ_max ／Ｂ_max 離散コサイン変換係数は、求められた量子化ステップＱ
_i （１１９）により、量子化部１１１で量子化され、可
変長符号化部１２０で可変長符号化される。

【０００８】このような方法によれば、量子化ステップ
をほぼ均一にすることができ、結果として、復号画像間
の画質差が小さくなる。

【０００９】

【発明が解決しようとする課題】従来の方法では、復号
画像の画質を一定にするために、量子化ステップを一定
にしているが、実際の復号画像の画質は、必ずしも一定
にならない。これは人間の視覚特性によるもので、画像
信号の性質によって、画質は異なって見える。

【００１０】例えば、図６のように、輝度信号の変化の
少ないフレームと多いフレームでは、同じ量子化ステッ
プであっても、その画質劣化の程度は異なって見える。
これは、マスキング効果として知られている。

【００１１】従来の方法は、画質劣化を一定にするため
に量子化ステップを一定にするように制御を行っている
ため、性質の異なる画像信号がある場合、同じ量子化ス
テップで量子化された画像であっても、見た目の画質は
異なる場合がある。このことは、画質を一定に保つよう
に、ビット割当が行われていないことを示している。つ
まり、あるフレームに対して余分に情報を割当、別のフ
レームに対して少なく割当てていることになる。

【００１２】このように、従来方法では、視覚特性に関
係なく量子化ステップを一定にすることにより、画質を
一定に保とうとするため、適切なビット割当が行われな
いという問題があった。

【００１３】本発明の目的は、復号画像の画質を一定に
することができる可変ビットレート画像信号符号化装置
を提供することにある。

【００１４】

【課題を解決するための手段】本発明の可変ビットレー
ト画像信号符号化装置は、入力された各フレームの画像
信号を分割した小ブロック毎に１種類または複数種類の
特徴量を算出する特徴量算出手段と、ある符号化単位に
前記特徴量の統計量を算出する第１の統計算出手段と、
複数フレームにわたる各特徴量の統計量を算出する第２
の統計量算出手段と、前記特徴量の符号化単位の統計量
と複数フレームにわたる各特徴量の統計量から符号化対
象フレームの画質の劣化の程度を推定する画質劣化推定
手段と、前記発生情報量と前記画質の劣化の程度から符
号化単位の量子化ステップを算出し、設定する量子化ス
テップ算出手段を有する。

【００１５】前記量子化ステップ算出手段は、前記画質
の劣化の程度（Ｄ_i）と、前記発生情報量であるフレー
ム群最大発生情報量（Ｇ_max ）およびフレーム群平均発
生情報量（Ｇ_ave）と、制御パラメータであるフレーム
単位での発生情報量の上限である最大レート（Ｂ_max）
およびフレーム群の全発生情報量のフレーム当たりの平
均の上限である平均レート（Ｂ_ave）と、発生情報量の
計測に用いた量子化ステップ（Ｑ_p）から、符号化時の
平均発生情報量が平均レート（Ｂ_ave）を越えない量子
化ステップＱ_i ’＝Ｑ_p・Ｇ_ave ／Ｂ_aveを定め、次に
量子化ステップＱ_i＝Ｑ_i ’・Ｄ_i を決定し、決定され
た量子化ステップにて量子化した際、最大レートＢ_max
を越えるフレームに対しては、発生情報量が最大レート
Ｂ_max を越えない量子化ステップＱ_i ＝Ｑ_p・Ｇ_max ／
Ｂ_maxを新たに設定する。

【００１６】前記特徴量がフレーム内輝度信号分散と動
きベクトルの大きさである。

【００１７】前記画質劣化推定手段は、符号化対象フレ
ームの両特徴量の平均値とフレーム群の両特徴量の平均
値から、符号化対象フレームの画質の劣化の程度を推定
する。

【００１８】前記量子化ステップ算出手段は、前記発生
情報量であるフレーム群最大発生情報量（Ｇ_max ）およ
びフレーム群平均発生情報量（Ｇ_ave ）と、制御パラメ
ータであるフレーム単位での発生情報量の上限である最
大レート（Ｂ_max ）およびフレーム群の全発生情報量の
フレーム当たりの平均の上限である平均レート（Ｂ
_av _e ）と、発生情報量の計測時に用いた量子化ステップ
（Ｑ_p ）から、符号化時の平均発生情報量が平均レート
（Ｂ_ave ）を越えない平均量子化ステップＱ_all ＝Ｑ_p
・Ｇ_ave ／Ｂ_aveを定め、算出された平均量子化ステッ
プＱ_ave にて量子化した際、最大レートＢ_max を越える
フレームに対しては、発生情報量がＢ_max を越えない平
均量子化ステップＱ_ave ＝Ｇ_p ・Ｇ_max ／Ｂ_maxを新た
に設定する平均量子化ステップ算出手段を有し、前記画
質の劣化の程度Ｄと前記平均量子化ステップＱ_all か
ら、符号化対象小ブロックの量子化ステップＱ＝Ｑ_all
・Ｄを求める。

【００１９】前記画質劣化推定手段は符号対象小ブロッ
クの特徴量と、該特徴量のフレーム群内の全小ブロック
の平均値から、符号化対象小ブロックの画質の劣化の程
度を推定する。

【００２０】

【発明の実施の形態】本発明の画像信号符号化装置は発
生情報量計測部と符号化部とからなる。発生情報計測部
では、入力された各フレームの画像信号をあらかじめ定
められた量子化ステップＱ_Pにて量子化した際の発生情
報量を調べ、かつ、視覚特性を反映させた量子化制御を
定められた符号化単位で行うため、小ブロック毎の１ま
たは複数の特徴量から符号化単位での特徴量と、フレー
ム群内の特徴量の統計量を算出する。符号化部では、符
号化対象である符号化単位の特徴量とフレーム群内の特
徴量の統計量から、符号化対象フレームの画像の劣化の
程度を推定し、この画像劣化の程度と発生情報量と制御
パラメータから符号化対象である符号化単位の量子化ス
テップを設定し、符号化を行う。

【００２１】このような方法によれば、視覚特性に合わ
せて量子化ステップを設定することができ、結果とし
て、復号画像間の画質差が小さくなる。

【００２２】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２３】図１は本発明の第１の実施例の画像信号符
号化装置の構成図である。

【００２４】計測を行うフレーム群内のフレームの数を
Ｆ、利用する特徴量の数をＫとする。また、制御パラメ
ータとしては、フレーム単位での発生情報量の上限を最
大レートＢ_max 、フレーム群の全発生情報量のフレーム
当たりの平均の上限を平均レートＢ_ave とする。

【００２５】まず、発生情報計測部にて、入力単位１０
１から入力された画像信号の発生情報量が計測される。
発生情報量計測部に入力された画像信号は、小ブロック
分割部１０２にてＮ×Ｎの小ブロックに分割される。分
割された小ブロックの画像信号に対し、直交変換部１０
３Ａで直交変換が行われる。さらに、あらかじめ設定さ
れた量子化ステップＱ_p （１０５）を使って、直交変換
係数は量子化部１０４で量子化され、可変長符号化部１
０６で可変長符号化され、発生情報量計算部１０７にて
発生情報量を計測する。一方、特徴量算出部１２２（特
徴量算出手段）にてＫ種類の特徴量を算出し、フレーム
単位統計量算出部１２３（第１の統計量算出手段）にて
各特徴量の計測フレームでの統計量ｆｓ_i,k （１２４）
を算出する。ここで、ｉはフレーム群内のフレーム番号
（ｉ＝１，２，・・・，Ｆ）、ｋは特徴量番号（ｋ＝
１，２，・・・，Ｋ）を表す。フレーム単位統計量算出
部１２３にて算出されたフレームの各特徴量の統計量ｆ
ｓ_i,k （１２４）を基に、フレーム群統計量算出部１２
５Ａ（第２の統計量算出手段）にて、入力されたフレー
ム群における各特徴量の統計量ｆｃｓ_k （１２６）を算
出する。また、発生情報量計測部に入力されたフレーム
群は、フレーム群内の全フレームの発生情報量の計測終
了までフレームメモリ１０８に蓄えられる。

【００２６】次に、発生情報量計測終了後、フレームメ
モリ１０８に蓄えられている画像信号は、符号化部にて
符号化される。符号化部に入力された画像信号は、小ブ
ロック分割部１０９にてＮ×Ｎの小ブロックに分割さ
れ、分割された小ブロックの画像信号に対し、直交変換
部１１０Ａで直交変換が行われる。一方、画質劣化推定
部１２７（画質劣化推定手段）にて、符号化対象フレー
ムの各特徴量の統計量ｆｓ_i,k （１２４）とフレーム群
内での各特特徴量の統計量の平均値ｆｃｓ_k（１２６）
から、符号化対象フレームの画質劣化の程度Ｄ_i （１２
８Ａ）を推定する。Ｄ_i は画質劣化が目立ちやすい部分
は１より小さくなり、画質劣化が目立ちにくい部分では
１より大きくなるように設定される。

【００２７】

【数１】次に、符号化対象フレームの画質劣化の程度Ｄ_i （１２
８Ａ）、発生情報量計測部にて計測されたフレーム群最
大発生情報量Ｇ_max （１１５）およびフレーム群平均発
生情報量Ｇ_ave （１１６）、制御パラメータとして与え
られている最大レートＢ_max （１１７）および平均レー
トＢ_ave （１１８）から、量子化ステップ算出部１１２
（量子化ステップ算出手段）にて、量子化ステップＱ_i
（１１９）を算出する。算出方法としては、以下の通り
とする。

【００２８】平均レートＢ_ave （１１８）について、フ
レーム群平均発生情報量Ｇ_ave （１１６）と計測に用い
た量子化ステップＱ_p から、符号化時の平均発生情報量
がＢ _ave （１１８）を越えない量子化ステップＱ_i ’を
定める。

【００２９】Ｑ_i ’＝Ｑ_p ・Ｇ_ave ／Ｂ_ave そして、符号化対象フレームの画質劣化の程度Ｄ_i （１
２８Ａ）から、量子化ステップＱ_i （１１９）を以下の
ように決定する。

【００３０】Ｑ_i ＝Ｑ_i ’・Ｄ_i 画質劣化の程度Ｄ_i （１２８Ａ）は、画質劣化が目立つ
部分は１より小さい値となるので、より細かく量子化さ
れることになり、画質劣化が目立たない部分は１より大
きい値となるので、より粗く量子化されることになる。

【００３１】ただし、算出された量子化ステップＱ_i
（１１９）にて量子化した際、最大レートＢ_max （１１
７）を越えるフレームに対しては、発生情報量が最大レ
ートＢ _max （１１７）を越えない量子化ステップＱ_i
（１１９）を新たに設定する。

【００３２】Ｑ_i ＝Ｇ_p ・Ｇ_max/Ｂ_max 直交変換係数は、求められた量子化ステップＱ_i （１１
９）により、量子化部１１１で量子化され、可変長符号
化部１２０で可変長符号化される。

【００３３】この方法によれば、視覚特性に合わせて量
子化ステップを設定することができ、結果として、復号
画像間の画質差が小さくなる。

【００３４】図２は本発明の第２の実施例の画像信号符
号化装置の構成図である。図１中と同符号は同じ構成要
素を示す。

【００３５】本実施例では、２種類の特徴量（フレーム
内輝度信号分散、動きベクトルの大きさ）を用いる。ま
た、フレーム単位およびフレーム群の統計量として平均
値を用いる。画像符号化方式としてはコサイン変換を使
用した場合を想定する。計測を行うフレーム群内のフレ
ーム数を１５とする。また、制御パラメータとしては、
フレーム単位での発生情報量の上限を最大レートＢ
_max 、フレーム群の全発生情報量のフレーム当たりの平
均の上限を平均レートＢ_ave とする。

【００３６】以下、第１の実施例と異なる分のみを説明
する。

【００３７】小ブロック分割部１０２にて分割された小
ブロックの画像信号に対し、離散コサイン変換部１０３
Ｂで離散コサイン変換が行われる。

【００３８】一方、輝度分散算出部１２９Ａと動き量算
出部１３０Ａ（特徴量算出手段）にて、それぞれ小ブロ
ック毎の輝度値の分散と動きベクトルの大きさが算出さ
れる。小ブロックの輝度値の分散ｖａｒは次式より求め
る。

【００３９】

【数２】動き量ｍｖは、フレームメモリ１０８内の直前のフレー
ムとの比較により算出し、次式より算出する。

【００４０】

【数３】算出された小ブロックの輝度値の分散と動きベクトルの
大きさは、フレーム単位平均値算出部１３１（第１の統
計量算出手段）にて、両特徴量の計測フレームでの輝度
値分散の平均値ｖａｒ＿ａｖｅ_i （１３２）と動き量平
均値ｍｖ＿ａｖｅ_i （１３３）を算出する。ここで、ｉ
は、フレーム群内のフレーム番号（ｉ＝１，２，・・・
・，１５）を表す。フレーム単位平均値算出部１３１に
て算出された輝度値分散と動き量の平均値ｖａｒ＿ａｖ
ｅ_i （１３２）よびｍｖ＿ａｖｅ _i （１３３）を基に、
フレーム群平均値算出部１３４Ａ（第２の統計量算出手
段）にて、入力されたフレーム群における両特徴量の平
均値

【００４１】

【外１】を算出する。

【００４２】また、発生情報量計測部に入力されたフレ
ーム群は、計測対象である１５枚のフレームの発生情報
量の計測終了までフレームメモリ１０８に蓄えられる。

【００４３】次に、発生情報計測終了後、符号化部にて
符号化される。符号化部に入力された画像信号は、小ブ
ロック分割部１０９にて分割された小ブロックの画像信
号に対し、離散コサイン変換部１１０Ｂで離散コサイン
変換が行われる。一方、画質劣化推定部１２７Ｂ（画質
劣化推定手段）にて、符号化対象フレームの両特徴量の
平均値ｖａｒ＿ａｖｅ_i （１３２）およびｍｖ＿ａｖｅ
_i （１３３）と、フレーム群の両特徴量の平均値

【００４４】

【外２】から、符号化対象フレームの画質劣化の程度Ｄ_i （１２
８Ｂ）を推定する。輝度値分散に対しては、分散が高い
部分ほど画質劣化が目立ちにくく、動き量に対しては、
動き量の大きい部分ほど画質劣化目立ちにくい。よっ
て、次式より、画質劣化の程度Ｄ_i （１２８Ｂ）を算出
する。

【００４５】

【数４】画質劣化の程度Ｄ_i （１２８Ｂ）は、平均的な部分では
１となるが、画質劣化が最も目立ちやすい部分は１／４
となり、画質劣化が最も目立ちにくい部分では４とな
る。次に、符号化対象フレームの画質劣化の程度Ｄ_i
（１２８Ｂ）、発生情報量計測部にて計測されたフレー
ム群最大発生情報量Ｇ_max （１１５）およびフレーム群
平均発生情報量Ｇ_ave （１１６）、制御パラメータとし
て与えられている最大レートＢ_max （１１７）および平
均レートＢ_ave （１１８）から、基準量子化ステップ算
出部１１２Ｂ（量子化ステップ算出手段）にて、基準と
なる量子化ステップＱ_i （１１９）を第１の実施例と同
じ算出方法で算出する。

【００４６】以上述べた第２の実施例では、特徴量数を
２とし、特徴量を輝度分散、動きベクトルの大きさとし
たが、特徴量および特徴量の種類は、これにとらわれる
ものではない。さらに、フレーム単位およびフレーム群
での統計量を平均値としたが、分散などの他の統計量で
も差し支えない。さらに、画質劣化の程度を算出する方
法、量子化制御パラメータの算出法についても任意に定
めることができる。また、フレーム間符号化方式でも、
本実施例と同様に使用可能である。

【００４７】図３は本発明の第３の実施例の画像信号符
号化装置の構成図である。図１、図２中と同符号は同じ
構成要素を示す。

【００４８】計測を行うフレーム群内のフレームの数を
Ｆ、１フレーム当たりの小ブロックの数をＢ、利用する
特徴量の数をＫとする。図４に、フレーム群と小ブロッ
クの関係を示す。また、制御パラメータとしては、フレ
ーム単位での発生情報量の上限を最大レートＢ_max 、フ
レーム群の全発生情報量のフレーム単位の平均の上限を
平均レートＢ_ave とする。

【００４９】以下、第１、第２の実施例と異なる部分の
みを説明する。

【００５０】特徴量算出部１３７（特徴量算出手段）に
て小ブロック毎にＫ種類の特徴量ｆｓ_j,k （１３８）を
算出する。ｊは小ブロック番号（ｊ＝１，２，・・・
・，Ｍ・Ｆ）、ｋは特徴量番号（ｋ＝１，２，・・・，
Ｋ）を表す。特徴量算出部１３７にて算出されたフレー
ムの各特徴量ｆｓ_j,k （１３８）を基に、フレーム群統
計量算出部１２５Ｂ（第２の統計量算出手段）にて、入
力されたフレーム群における各特徴量の統計量ｆｃｓ_k
（１２６）を算出する。

【００５１】平均量子化ステップ算出部１４１（量子化
ステップ算出手段）にて、発生情報量計測部にて計測さ
れたフレーム群最大発生情報量Ｇ_max （１１５）および
フレーム群平均発生情報量Ｇ_ave （１１６）、制御パラ
メータとして与えられている最大レートＢ_max （１１
７）および平均レートＢ_ave （１１８）からフレーム群
全体を量子化する量子化ステップである平均量子化ステ
ップＱ_all （１４２）を算出する。算出方法としては、
以下の通りとする。

【００５２】平均レートＢ_ave （１１８）について、フ
レーム群平均発生情報量Ｇ_ave （１１６）と計測に用い
た量子化ステップＱ_p から、符号化時の平均発生情報量
がＢ _ave （１１５）を越えない平均量子化ステップＱ
_all （１４２）を定める。

【００５３】Ｑ_all ＝Ｑ_p ・Ｇ_ave ／Ｂ_ave ただし、算出された平均量子化ステップＱ_all （１４
２）にて量子化した際、最大レートＢ_max （１１７）を
越えるフレームに対しては、発生情報量がＢ_max（１１
７）を越えない平均量子化ステップＱ_all （１１９）を
新たに設定する。Ｑ_all ＝Ｑ_p ・Ｇ_max ／Ｂ_max 一方、特徴量算出部１３９（第１の統計量算出手段）に
て、符号化対象小ブロックのＫ種類の特徴量ｆｓ_k （１
４０）を算出する。画質劣化推定部１２８（画質劣化推
定手段）にて、符号化対象小ブロックの各特徴量ｆｓ_k
（１４０）とフレーム群内での各特徴量の統計量ｆｃｓ
_k （１２６）から、符号化対象小ブロックの画質劣化の
程度Ｄ（１２８ｃ）を推定する。画質劣化の程度Ｄは、
画質劣化が目立ちやすい部分は１より小さくなり、画質
劣化が目立ちにくい部分では１より大きくなるように設
定される。

【００５４】

【数５】量子化ステップ算出部１１２Ｃ（量子化ステップ算出手
段）にて、符号化対象ブロックの画質劣化の程度Ｄ（１
２８Ｃ）と平均量子化ステップＱ_all （１４２）から、
符号化対象小ブロックの量子化ステップＱ（１１９）を
以下のように決定する。

【００５５】Ｑ＝Ｑ_all ・Ｄ画質劣化の程度Ｄ（１２８Ｃ）は、画質劣化が目立つ部
分は１より小さい値となるので、より細かく量子化され
ることになり、画質劣化のが目立たない部分は１より大
きい値となるので、より粗く量子化されることになる。

【００５６】このような方法によれば、視覚特性に合わ
せて量子化ステップを設定することができ、結果として
復号画像間の画質差が小さくなる。

【００５７】図５は本発明の第４の実施例の画像信号符
号化装置の構成図である。

【００５８】本実施例では、２種類の特徴量（フレーム
内輝度信号分散、動きベクトルの大きさ）を用いる。フ
レーム単位およびフレーム群の統計量として、平均値を
用いる。画像符号化方式としてはコサイン変換を使用し
た場合を想定する。計測を行うフレームの数をＦ、フレ
ーム内の小ブロックの数をＢとする。また、制御パラメ
ータとしては、フレーム単位での発生情報量の上限を最
大レートＢ_max 、フレーム群の全発生情報量のフレーム
単位の平均の上限を平均レートＢ_ave とする。以下、第
３の実施例と異なる部分のみ説明する。

【００５９】輝度分散算出部１２９Ａと動き量算出部１
３０Ａ（特徴量算出手段）にて、それぞれ小ブロック毎
の輝度値の分散ｖａｒ_j （１４４Ａ）と動き量ｍｖ_j
（１４３Ａ）が算出される。ｊは小ブロック番号（ｊ＝
１，２，・・・，Ｍ・Ｆ）である。小ブロックの輝度値
の分散ｖａｒ_j （１４４Ａ）は次式より求める。

【００６０】

【数６】動き量ｍｖ_j （１４３Ａ）は、フレームメモリ１０８内
の直前のフレームとの比較により小ブロックの動きベク
トル

【００６１】

【外３】を検出し、次式より算出する。

【００６２】

【数７】小ブロック毎に算出された輝度値の分散ｖａｒ_j （１４
４Ａ）と動き量ｍｖ_j（１４３Ａ）を基に、フレーム群
平均値算出部１３４Ｂ（第２の統計量算出手段）にて、
入力されたフレーム群における全小ブロックの両特徴量
の平均値

【００６３】

【外４】を次式により算出する。

【００６４】

【数８】符号化部に入力された画像信号は、フレームメモリ１０
８Ａに蓄えられるとともに小ブロック分割部１０９にて
Ｎ×Ｎの小ブロックに分割され、分割された小ブロック
の画像信号に対し、離散コサイン変換部１１０Ｂで離散
コサイン変換が行われる。一方、輝度分散算出部１２９
Ｂと動き量算出部１３０Ｂ（第１の統計量算出手段）に
て、それぞれ符号化対象ブロックの輝度値の分散ｖａｒ
（１４４Ｂ）と動き量ｍｖ（１４３Ｂ）が算出される。
続いて、画質劣化推定部１２７Ｄ（画像劣化推定手段）
にて、符号化対象小ブロックの両特徴量ｖａｒ（１４４
Ｂ）およびｍｖ（１４３Ｂ）と、両特徴量のフレーム群
内の全小ブロックの平均値

【００６５】

【外５】から、符号化対象小ブロックの画質劣化の程度Ｄ（１２
８Ｄ）を推定する。輝度値分散に対しては、分数が高い
部分ほど画質劣化が目立ちにくく、動き量に対しては、
動き量の大きい部分ほど画質劣化目立ちにくい。よっ
て、次式により、画質劣化の程度Ｄ（１２８Ｄ）を算出
する。

【００６６】

【数９】画質劣化の程度Ｄ（１２８Ｄ）は、平均的な部分では１
となるが、画質劣化が最も目立ちやすい部分は１／４と
なり、画質劣化が最も目立ちにくい部分では４となる。
次に、発生情報計測部にて計測されたフレーム群最大発
生情報量Ｇ_max（１１５）およびフレーム群平均発生情
報量Ｇ_ave （１１６）、制御パラメータとして与えられ
ている最大レートＢ_max （１１７）および平均レートＢ
_ave （１１８）から、平均量子化ステップ算出部１４１
（量子化ステップ算出手段）にて、フレーム群全体を量
子化する量子化ステップである平均量子化ステップＱ
_all （１１９）を第３の実施例と同じ算出方法にて算出
する。

【００６７】そして、量子化ステップ算出部１１２Ｃ
（量子化ステップ算出手段）にて、符号化対象小ブロッ
クの画質劣化の程度Ｄ（１２８Ｄ）と平均量子化ステッ
プＱ_al _l（１４２）から、符号化対象小ブロックの量子
化ステップＱ（１１９）を第３の実施例と同じように決
定する。

【００６８】このような方法により、フレーム群という
時空間画像の中での小ブロックの画質劣化の度合を推定
でき、その画質劣化の度合を基に量子化ステップを決定
することができる。

【００６９】以上述べた第４の実施例では、特徴量数を
２とし、特徴量を輝度分散、動きベクトルの大きさとし
たが、特徴量数および特徴量の種類は、これにとらわれ
るものではない。さらに、フレーム群での統計量を平均
値としたが、分散などの他の統計量でも差し支えない。
さらに、画質劣化の程度を算出する方法、量子化制御パ
ラメータの算出法についても任意に定めることができ
る。また、フレーム間符号化方式など他の符号化方式で
も、本実施例と同様に使用可能である。

【００７０】

【発明の効果】以上説明したように、本発明は、画像信
号の特徴から、時空間画像内の小ブロックの符号化によ
る画質の劣化を推定し、小ブロック毎に量子化ステップ
を設定することにより、劣化の目立ちやすい領域では、
細かい量子化を行うことで劣化を目立たなくすることが
でき、劣化の目立たない領域では粗い量子化を行うこと
で情報量を削減できる。結果として、画像信号符号化の
際、適切な情報量の割り当てを行う手段として有効であ
り、視覚的な劣化が低減できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の可変ビットレートの画
像信号符号化装置の構成図である。

【図２】本発明の第２の実施例の可変ビットレートの画
像信号符号化装置の構成図である。

【図３】本発明の第３の実施例の可変ビットレートの画
像信号符号化装置の構成図である。

【図４】フレーム群と小ブロックの関係を示す図であ
る。

【図５】本発明の第４の実施例の可変ビットレートの画
像信号符号化装置の構成図である。

【図６】輝度変化の異なる画像の例を示す図である。

【図７】可変ビットレート画像信号符号化装置の従来例
の構成図である。

【符号の説明】

１０１入力端子１０２小ブロック分割部１０３Ａ，１１０Ａ直交変換部１０３Ｂ，１１０Ｂ離散コサイン変換部１０４量子化部１０５量子化ステップ１０６可変長符号化部１０７発生情報量計算部１０８，１０８Ａフレームメモリ１０９小ブロック分割部１１１量子化部１１２Ａ，１１２Ｂ，１１２Ｃ，１１２Ｄ量子化ス
テップ算出部１１３フレーム単位の発生情報量１１４発生情報量統計量算出部１１５フレーム群最大発生情報量１１６フレーム群平均発生情報量１１７最大レート１１８平均レート１１９量子化ステップ１２０可変長符号化部１２１出力端子１２２各特徴量算出部１２３フレーム単位統計量算出部１２４各特徴量のフレーム単位統計量１２５Ａ，１２５Ｂフレーム群統計量算出部１２６各特徴量のフレーム群統計量１２７Ａ，１２７Ｂ，１２７Ｃ，１２７Ｄ画質劣化
推定部１２８Ａ，１２８Ｂ，１２８Ｃ，１２８Ｄ画質劣化
の程度１２９Ａ，１２９Ｂ輝度分散算出部１３０Ａ，１３０Ｂ動き量算出部１３１フレーム単位平均値算出部１３２輝度分散のフレーム単位平均値１３３動き量のフレーム単位平均値１３４Ａ，１３４Ｂフレーム群平均値算出部１３５Ａ，１３５Ｂ輝度分散のフレーム群平均値１３６Ａ，１３６Ｂ動き量のフレーム群平均値１４１平均量子化ステップ算出部１４２平均量子化ステップ１４３Ａ，１４３Ｂ動き量１４４Ａ，１４４Ｂ輝度値の分散

Claims

【特許請求の範囲】

【請求項１】入力された各フレームのディジタル画像
信号を小ブロックに分割し、一定の量子化ステップで符
号化し、発生情報量を測定し、その測定結果から量子化
ステップを算出して前記ディジタル画像信号を符号化す
る可変ビットレート画像信号符号化装置において、入力された各フレームの画像信号を分割した小ブロック
毎に１種類または複数種類の特徴量を算出する特徴量算
出手段と、ある符号化単位に前記特徴量の統計量を算出
する第１の統計量算出手段と、複数フレームにわたる各
特徴量の統計量を算出する第２の統計量算出手段と、前
記特徴量の符号化単位の統計量と複数フレームにわたる
各特徴量の統計量から符号化対象フレームの画質の劣化
の程度を推定する画質劣化推定手段と、前記発生情報量
と前記画質の劣化の程度から符号化単位の量子化ステッ
プを算出し、設定する量子化ステップ算出手段を有する
ことを特徴とする可変ビットレート画像信号符号化装
置。
【請求項２】前記量子化ステップ算出手段は、前記画
質の劣化の程度（Ｄ _i）と、前記発生情報量であるフレ
ーム群最大発生情報量（Ｇ_max）およびフレーム群平均
発生情報量（Ｇ_ave）と、制御パラメータであるフレー
ム単位での発生情報量の上限である最大レート
（Ｂ_max）およびフレーム群の全発生情報量のフレーム
当たりの平均の上限である平均レート（Ｂ_ave）と、前
記発生情報量の計測に用いた量子化ステップ（Ｑ_p）か
ら、符号化時の平均発生情報量が前記平均レート（Ｂ
_ave）を越えない量子化ステップＱ_i ’＝Ｑ_p・Ｇ_ave／
Ｂ_aveを定め、次に量子化ステップＱ＝Ｑ_i ’・Ｄ_i を
決定し、決定された量子化ステップにて量子化した際、
前記最大レートＢ_max を越えるフレームに対しては、発
生情報量が前記最大レートＢ_maxを越えない量子化ステ
ップＱ_i＝Ｑ_p・Ｇ_max／Ｂ_maxを新たに設定する、請求項
１記載の符号化装置。
【請求項３】前記特徴量がフレーム内輝度信号分散と
動きベクトルの大きさである請求項１または２記載の符
号化装置。
【請求項４】前記画質劣化推定手段は、符号化対象フ
レームの両特徴量の平均値とフレーム群の両特徴量の平
均値から、符号化対象フレームの画質の劣化の程度を推
定する、請求項３記載の符号化装置。
【請求項５】前記量子化ステップ算出手段は、前記発
生情報量であるフレーム群最大発生情報量（Ｇ_max）お
よびフレーム群平均発生情報量（Ｇ_ave）と、制御パラ
メータであるフレーム単位での発生情報量の上限である
最大レート（Ｂ_max ）およびフレーム群の全発生情報量
のフレーム当たりの平均の上限である平均レート（Ｂ
_ave ）と、発生情報量の計測時に用いた量子化ステップ
（Ｑ_p）から、符号化時の平均発生情報量が前記平均レ
ート（Ｂ_ave）を越えない平均量子化ステップＱ_all ＝
Ｑ_p ・Ｇ_ave ／Ｂ_aveを定め、算出された平均量子化ス
テップ（Ｑ_all）にて量子化した際、最大レートＢ_max
を越えるフレームに対しては、発生情報量がＢ_max を越
えない平均量子化ステップＱ_all ＝Ｇ_p ・Ｇ_max ／Ｂ
_maxを新たに設定する平均量子化ステップ算出手段を有
し、前記画質の劣化の程度Ｄと前記平均量子化ステップ
Ｑ_all から、符号化対象小ブロックの量子化ステップＱ
＝Ｑ_all ・Ｄを求める請求項１、３、４のいずれか１項
記載の符号化装置。
【請求項６】前記画質劣化推定手段は符号対象小ブロ
ックの特徴量と、該特徴量のフレーム群内の全小ブロッ
クの平均値から、符号化対象小ブロックの画質の劣化の
程度を推定する、請求項５記載の符号化装置。