JPH0970038A - 画像データ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 画質向上の要因となる要素にデータ量を多く
配分し、同一圧縮データ容量に対して従来に比べて視覚
的画質の向上が図れるようにする。 【解決手段】 ウェーブレット変換処理部12にて、画像
データに対してウェーブレット変換を施し、複数の周波
数帯域ごとの画像データを得る。次いで前画像データを
複数画素から構成されるブロックに分割し、動き補償処
理部18にて現画像データとの差分が最小となるベクトル
を抽出し、動き量算出部19にてベクトルのスカラ量の総
和で画面の動き量を算出し、圧縮画像データ制御部20に
て、この動き量と圧縮データ量に応じて前記ウェーブレ
ット変換後の周波数帯域の符号化を制御し、画面の解像
度と秒間コマ数の重み付けを画面ごと、または画面内の
ブロックごとに制御する。この結果、動きの激しい画面
またはブロックに対しては圧縮データ量を抑え、秒間コ
マ数を増やすとともに、静止画面またはブロックに対し
ては解像度を向上させるように、圧縮データ量を増や
し、画質の向上を図る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データの圧縮処理
装置に適用される圧縮処理データ量制御方法に係り、詳
細にはウェーブレット変換を用いて視覚上の画質向上が
得られるようにした画像データ処理方法に関するもので
ある。

【０００２】

【従来の技術】テレビ信号等の中間調画像を持つ画像信
号は膨大な情報量を有しているので、その伝送には広帯
域の伝送路が必要である。そこで、従来より、このよう
な画像信号は冗長性が大きいことに着目し、この冗長性
を抑圧することによって画像データを圧縮する試みが種
々なされている。また、このような画像データの圧縮方
法として、動画像データを帯域圧縮技術を用いて符号化
および復号化するＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／
ＷＧ１１にて議論されて標準化されたＭＰＥＧ(Moving
Picture Coding Experts Group)方式があり、またカラ
ー静止画像圧縮方式として、ＪＰＥＧ(Joint Photograp
hic Expert Group)方式が知られている。また、ＩＴＵ
−Ｔ勧告のテレビ電話，テレビ会議関連のＨ.261方式が
通信分野として規格化されている。

【０００３】これらの方式では、画面内の相関を利用
し、画面内を複数画素から構成されるブロックに分割
し、このブロック内データを直交変換方式の１つである
離散コサイン変換を行い、量子化，ハフマン符号化を行
う処理を施し、画像データの削減を実現する画面内符号
化と、画面間の差分データを算出し、この差分データを
一画面分集めて、画面内符号化と同様に離散コサイン変
換，量子化，ハフマン符号化を行うフレーム間圧縮処理
を組み合わせて高圧縮率を達成している。

【０００４】以下、図面を参照しながらＨ.261方式を例
にして、符号化について説明する。

【０００５】図６はＨ.261方式の符号化回路の構成を示
すブロック図である。まず、符号化においては、画面情
報を複数画素ごとのブロックに分割するブロック分割部
１，このブロック化されたデータを離散コサイン変換を
行うＤＣＴ処理部２，ＤＣＴ係数を係数位置ごとにステ
ップサイズで量子化する量子化処理部３，この量子化さ
れたデータをエントロピー符号化し、可変長データに変
換するハフマン符号化部４によってフレーム内処理が行
われ、前記量子化処理部３で出力されたデータを逆量子
化処理部５で逆量子化してＤＣＴ係数を復元し、逆ＤＣ
Ｔ処理部６で画像データを復元し、この復元画像データ
とフレームメモリ７の前段の現画像データとを動き補償
処理部８に入力し、複数画素からなるブロックにして復
元画像データと現画像データとの各画素レベルの差分値
が最小となる縦横のベクトルデータを抽出するととも
に、最小差分値データを１画面分集めてセレクタ９を経
由して画面内符号化と同様に、離散コサイン変換，量子
化，ハフマン符号化を行って、画像データの圧縮を行う
方式である。この際、Ｎ−ＩＳＤＮ回線での低ビット伝
送路においては、画面間の動きの激しい画像に対して、
その差分データが増大し、それに伴って圧縮後のデータ
量が増えるので、データ量の削減作用のため秒間コマ数
を削減し、全体的なデータ量の抑制を行っていた。

【０００６】

【発明が解決しようとする課題】ところで、人間の視覚
特性として動きの激しい画像においては、解像度の劣化
が気にならず、動きの追従性(秒間コマ数)に重きが置か
れるが、反対に、静止している画像に対しては、解像度
に対して劣化が目につく特性を持っている。したがって
前記Ｈ．261方式に基づくデータ量制御法においては、
動きが激しい画面に対してデータ量の増大に伴い、動き
の追従性を低下させて全体のデータ量の増加を抑えた制
御法を用いているため、視覚特性に反した画質劣化要因
を有していた。

【０００７】本発明は、前記事情に鑑み、視覚特性に合
わせて静止画面と動きのある画面に対して視覚特性を考
慮しつつウェーブレット変換の特徴である多段階解像度
分割方式を適用して解像度と秒間コマ数を制御すること
により、動きの追従性と静止部分の高解像度化を達成す
る画像データ処理方法を提供することを目的とするもの
である。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、本発明による画像データ処理方法は、現画像データ
と前画像データの差分を符号化する画像データ圧縮方法
において、前記差分画像データにウェーブレット変換を
施すことにより、前記差分画像データを複数の周波数帯
域ごとの差分画像データに分解するとともに、前画像デ
ータを複数画素からなるブロックに分割し、それぞれと
現画像データとの差分が最小となるベクトルを検知した
後、このスカラ量の１画面分の総和を算出し、動き量の
増減を判断する。この動き量を基に、前記ウェーブレッ
ト変換による複数の周波数帯域の結果を、前記動き量に
応じて、動きが激しいと判断された画像に対しては低周
波数帯域部分の係数データしか送らず、以後、動き量に
合わせて伝送する周波数帯域を制御することにより、伝
送線路の伝送データ量の制限に追従させ、秒間コマ数と
解像度を制御して前記画像データを符号化するものであ
る。

【０００９】さらに、本発明による画像データ処理方法
は、前記ブロックの差分ベクトルのスカラ量に合わせ
て、ブロックごとの解像度を制御する符号化方式であ
り、１画面内のブロック単位での動き量に応じて、ブロ
ック単位ごとの動き量による解像度の制御を行うもので
ある。

【００１０】

【作用】画面データをウェーブレット変換することによ
り得られた複数の周波数帯域ごとの画像データにおい
て、低周波数帯域の画像データは高周波数帯域の画像デ
ータを縮小したようなデータとなっているため、この複
数の周波数帯域を多重化することにより画像の解像度を
徐々に向上させていく多段階解像度多重化方法が得られ
る。つまり、ウェーブレット変換で得られたデータは、
データ量に応じて解像度を向上させることが可能であ
る。本発明はこの点に着目してなされたものである。

【００１１】すなわち、本発明による画像データ圧縮処
理方法は、現画面と前画面の動き量に応じて、前記ウェ
ーブレット変換の特徴である解像度の多重化段階を制御
することで、動きの激しい画面に対しては解像度を落し
て１画面の符号化データ量を抑え、秒間コマ数の増加に
データ量を割り当てる。また、動きの少ない画面に対し
ては、解像度を向上させ１画面の符号化データ量を増加
させ、秒間コマ数を低下させることにより、通信線路の
限られた伝送容量に対して、一定時間内のデータ量を人
間の視覚特性に合わせて、配分したものである。

【００１２】また、第２の手法として、画面内の複数画
素から構成されるブロックにつき、前記１画面制御と同
様に、画面内の各ブロックに対して、動き量に応じて、
解像度の制御を行うことにより、データ量の有効配分を
可能にした。このことにより、同一符号化データ量に対
して、人間の視覚特性を考慮した冗長成分の削減を図
り、有効なデータ配分が可能となり、低ビット伝送速度
での画質向上に効果的に機能する。

【００１３】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。

【００１４】図１は本発明の一実施例を適用した画像圧
縮装置の構成を示すブロック図であり、動画像データの
圧縮処理過程において、入力された画像データはフレー
ムメモリ11に入力される。フレーム内処理においては、
セレクタ21からフレームメモリ11の出力データが選択さ
れ、ウェーブレット変換処理部12へ入力される。ここ
で、ウェーブレット変換処理について説明する。図２は
ウェーブレット変換の演算処理を示したブロック図であ
り、入力画像データは水平方向のローパスフィルタ(Ｌ
ＰＦ)とハイパスフィルタ(ＨＰＦ)に入力され、帯域を
２分割後、２分の１サブサンプラＳによりデータ量を各
々２分の１に間引く(Ｔ１部分)。次に、この演算結果を
垂直方向のローパスフィルタ(ＬＰＦ)とハイパスフィル
タ(ＨＰＦ)に入力し、各々前記処理と同様に２分の１サ
ブサンプラＳによりデータ量を２分の１に間引く(Ｔ２
部分)。この出力されたデータに対して前記水平および
垂直にローパスフィルタ(ＬＰＦ)を施した成分に対して
は、前記処理を繰り返すことにより、結果的に生成され
た係数成分は水平および垂直方向の周波数分割を低周波
数領域に沿って２分の１にデータ量を低減させた係数デ
ータが蓄積されていくことになる(Ｔ３部分)。

【００１５】図３はウェーブレット変換係数信号を複数
周波数帯域ごとに表す説明図である。なお、図３におい
ては便宜上３回目のウェーブレット変換を行った状態ま
で表すものとする。このように、ウェーブレット変換さ
れた係数データは、水平，垂直方向に分配され、階層化
構造を形成する。伸張処理では、図中Ｗ３の４つの領域
の画像からＷ１の画像へと復号化することにより、低周
波数成分に高周波数成分を重畳し、段階的解像度の向上
を実現できる変換方式を提供する。

【００１６】前記特徴を持つウェーブレット変換処理部
12で変換された各周波数階層ごとの係数に対して量子化
ステップサイズで定めた量子化テーブルを用いて、係数
位置ごとに異なるステップサイズで線形量子化する量子
化処理部13と、量子化処理部13で処理されたデータを発
生確率の高い情報に少ない情報を、また発生確率の低い
情報に多くの情報を割り当て、全体的に情報の削減を図
る可変長符号化部14と、通信伝送路にデータを送り込む
ためのパケット構造に圧縮データを加工するパケット処
理部15から構成されたフレーム内画像処理部で圧縮処理
が行われる。

【００１７】また、フレーム間符号化処理については、
量子化処理部13で量子化されたデータを逆量子化処理部
16でウェーブレット係数データに復号化し、逆ウェーブ
レット変換処理部17で画像データに復元し、この復元さ
れた前画像データとフレームメモリ11に入力される現画
像データとを、動き補償処理部18に入力して動き成分の
抽出を行う。

【００１８】具体的には、前記前画像データを複数画素
から構成されるブロックに分割し、ブロックごとに前記
現画面データとの差分データが最小となる水平方向およ
び垂直方向のベクトルデータを抽出し、この各ブロック
ごとの前記ベクトルデータをパケット処理部15に送ると
ともに、差分データを１画面分集めてセレクタ21で前記
差分データを選択し、ウェーブレット変換処理部12へ送
り、前記フレーム内処理部と同様の符号化処理を行う。

【００１９】ここで、通信線路の伝送線路に伝送できる
データ量には制限があるため、一定時間内のデータ量を
制御しなければならない。そこで、本実施例において
は、前記動き補償処理部18で抽出された動きベクトルか
ら動き量算出部19において、各ブロックのベクトルデー
タのスカラ量を１画面分の総和を演算することにより、
現画面の動きの度合いを判定し、この結果を圧縮画像デ
ータ制御部20に出力する。

【００２０】前記圧縮画像データ制御部20では、動き量
算出部19と可変長符号化部14から出力されるデータ量を
算出し、ウェーブレット変換処理部12に対して、動きの
激しい画面に対しては、その差分データを符号化して生
成される周波数分割帯域のうち、低周波数成分のみを量
子化処理部13に送るようにして、１画面圧縮データの容
量を抑え、一定時間内の画面数を多く符号化するように
制御するとともに、動きの少ない画面に対しては、前記
ウェーブレット変換処理部12で生成される周波数分割帯
域のうち、高周波数成分の係数データまで出力し、１画
面圧縮データの容量を多く確保するとともに、一定時間
内の画面数を削減する制御を施すデータ制御を行うもの
である。

【００２１】次に図４のフローチャートを用いて本実施
例における画像圧縮処理のフレーム間差分データ量制御
方法について説明する。

【００２２】まず、ステップ(１−１)において前画面の
ブロックの差分が最小となる現画面の位置を検索し、そ
の水平方向および垂直方向のベクトル情報を導き出す。
ステップ(１−２)として前記ベクトル情報からスカラ情
報を算出し、このデータの１画面分の総和をとって画面
の動き量として扱う。ステップ(１−３)では一定時間内
の圧縮データ量の算出と動き量とからウェーブレット変
換出力周波数成分を割り出し、ステップ(１−４)として
ステップ(１−３)から割り出された制御信号を基に量子
化処理部13に出力する周波数成分の段数(周波数帯域)を
制御して送り、画面内圧縮符号化情報量と一定時間内の
画面符号化数を全体的に制御することにより、許容範囲
内のデータ量が常に得られるデータ量制御を行う。

【００２３】前記処理方法は画面全体のデータ制御法に
着目したものであるが、この方法に付随して、画面内の
データ制御方法を図５のフローチャートを用いて説明す
る。

【００２４】前記動き補償処理部18で得られたブロック
ごとのベクトル情報を用いて、ステップ(２−１)では前
記ベクトル情報のスカラ量を算出し、このデータ量から
各ブロックごとの動き量を判断する。ステップ(２−２)
では、動き量に応じてウェーブレット変換の伝送周波数
の段階(周波数帯域)を決定し、ステップ(２−３)で前記
周波数の段階で決定された上位の周波数部分の同一画面
位置の係数をゼロに置き換える。この結果、画面内の動
きの激しい部分については低周波数成分しか係数データ
を持たず、圧縮符号化データが削減されることになる。

【００２５】しかし、人間の視覚特性上、動きの激しい
部分に対して解像度の劣化は画像品質の劣化に影響を及
ぼさないため、削減された情報量を動きの少ない部分に
反映する方が、視覚的画像品質の向上に寄与する。した
がって、前記画面内情報量制御方法を用いることで視覚
特性に則し、限られたデータ量の有効分配が行える。

【００２６】前記圧縮画像データの符号量制御は、ウェ
ーブレット変換で生成される周波数分割係数の制御と、
一定時間内の符号化画面数の制御を行うことでデータ量
をコントロールしたものであるが、前記方法に対して、
動き量に応じた符号化情報量の制御として、量子化ステ
ップの各係数ごとのステップ値の選択をつけ加えること
で、急激な解像度の変化や、急激な画面数の変化を抑え
ることが可能となり、視覚的な追従速度を保ったデータ
制御が行える。

【００２７】

【発明の効果】本発明の画像データ処理方法によれば、
ウェーブレット変換の持つ多段階解像度多重化方式を用
いて、人間の視覚特性上において重要な部分にデータ量
を多く配分することができるものであり、動きのスムー
ズさと静止部分の高解像度化が同時に達成できるため、
限られたデータ伝送能力のシステムに対して、視覚上の
画質向上の面で著しい利点をもたらす。

【図面の簡単な説明】

【図１】本発明の画像データ処理方法の一実施例を適用
した画像圧縮装置の構成を示すブロック図である。

【図２】ウェーブレット変換の説明図である。

【図３】ウェーブレット変換係数信号の説明図である。

【図４】本発明の一実施例における画像圧縮のフローチ
ャートである。

【図５】本発明の一実施例における画面内のデータ制御
のフローチャートである。

【図６】従来のＨ．261方式の符号化装置の構成をを示
すブロック図である。

【符号の説明】

11…フレームメモリ、 12…ウェーブレット変換処理
部、 13…量子化処理部、14…可変長符号化部、 15…
パケット処理部、 16…逆量子化処理部、 17…逆ウェ
ーブレット変換処理部、 18…動き補償処理部、 19…
動き量算出部、20…圧縮画像データ制御部、 21…セレ
クタ。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画面間の相関を利用した動画像信号の符
   号化による画像圧縮処理として、画像データを複数の周
   波数帯域ごとの画像データに分解するウェーブレット変
   換を用いる画像データ処理方法において、一定時間にお
   ける画像データ量の配分を前記ウェーブレット変換に基
   づく段階的解像度多重化処理にて制御することによっ
   て、解像度と秒間コマ数とを制御し、静止した画像に対
   しては秒間コマ数を減少して解像度を高くし、動きの激
   しい画像に対しては解像度を低下させて秒間コマ数を増
   加するように画像データの処理を行うことを特徴とする
   画像データ処理方法。
2. 【請求項２】 画面内符号化処理においては、 ウェーブレット変換処理部によって、１画面の画像デー
   タを蓄えるフレームメモリから出力される入力信号をロ
   ーパスフィルタとハイパスフィルタによって２分の１に
   帯域を分割し、分割されたデータを２分の１に間引いて
   データ量を削減していく処理を数回行うことにより、１
   画面の画像を多段階に周波数分割を行い、 量子化処理
   部によって、前記ウェーブレット変換処理後に出力され
   る係数データを各周波数分割データごとに量子化ステッ
   プサイズで定めた線形量子化を行い、 可変長符号化部によって、前記量子化処理されたデータ
   を発生確率の高い情報に少ない情報を割り当て、かつ発
   生確率の低い情報に多くの情報を割り当て、全体的に情
   報量の削減を図り、 パケット処理部によって、前記可変長符号化部から出力
   された圧縮画像データを、付加情報等を挿入し、パケッ
   ト化して通信線路上に伝送し、 また画面間符号化処理においては、 逆量子化処理部によって、前記量子化処理部から出力さ
   れたデータをウェーブレット変換の係数データに変換
   し、 ウェーブレット逆変換処理部によって、前記係数データ
   を画像データに復元し、 動き補償処理部によって、前
   記復元画像データを複数画素からなるブロックに分割
   し、ブロックごとに現画像データにおけるブロック内の
   構成画素の差分が最小となる縦方向および横方向の距離
   のデータであるブロック差分ベクトルを抽出し、 前記パケット処理部に前記距離データを入力すると共
   に、前記ブロック差分データを集めて、セレクタを経由
   して前記画面内符号化処理と同様の処理を施して前方画
   面間予測符号化を行い、 動き量算出部によって、前記動き補償処理部から出力さ
   れたブロック差分ベクトルデータを１画面分集めてスカ
   ラ量の総和を演算し、この演算結果に基づいて画面の動
   き量データを算出し、 圧縮画像データ制御部によって、前記動き量データを用
   いて一定時間内に一定データ量が抽出できるように、秒
   間コマ数と解像度の制御パラメータを前記ウェーブレッ
   ト変換処理部に出力して画像データの圧縮を行うことを
   特徴とする請求項１記載の画像データ処理方法。
3. 【請求項３】 前記動き量算出部にて算出された各ブロ
   ックごとのスカラ量データを用いて、画面内のブロック
   に対して解像度制御処理を行うに際して、画面内におけ
   る動きの激しいブロック部分に対しては、高周波数帯域
   部分の前記ウェーブレット変換データをゼロ値に変換し
   てデータ量の削減を行うと共に、静止ブロック部分は高
   周波数帯域成分まで係数データを前記量子化処理部にそ
   のまま出力し、１画面内のブロック単位ごとに動き量に
   応じて前記ウェーブレット変換後の周波数帯域データの
   符号化処理を制御することを特徴とする請求項２記載の
   画像データ処理方法。
4. 【請求項４】 前記圧縮画像データ制御部において、画
   面の動きに対する秒間コマ数と解像度の制御を量子化処
   理部にも反映させ、急激な画面動き量の変化に対して
   も、徐々に秒間コマ数と解像度が変化するように制御し
   て、再生画像の見かけ上の画質を向上させるようにする
   ことを特徴とする請求項２記載の画像データ処理方法。