JPH0472960A - 画像符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） この発明は画像符号化方式に関し、特に適応直交変換お
よび可変長符号化を行なう場合の符号化技術の改良に関
する。

（従来の技術） 一般に、画像を圧縮符号化して伝送する方式において、
入力信号をいくつかの小単位（ブロックという）に分け
た後直交変換を行ない、その変換係数を符号化する方式
を直交変換符号化という。

特に直交変換が入力ソースに適応したものであるときＫ
Ｌ変換（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅｔｒａｎｓｆｏ
ｒｍ）と呼ばれる。ＫＬ変換の原理を以下に説明する。

ある入力ブロックのソースから生成される自己相関行列
をＲＸＸと書くとき、これは対称行列であるから、次の
ように正規直交行列と対角行列で表すことができる。

ここにＴはＲＸＸの固有値に対応する固有ベクトルから
成る正規直交行列であり、ｅ□、・・・ｅ８はＲＸＸの
固有値であってその平均は入力ブロックソースの分散値
に等しい。　ここでｅ１≧ｅ２≧・・・≧ｅ５とする（
Ｓはブロックの要素数とする）。Ｔをこの入力ソースに
対応するＫＬ変換と定義する。

ＫＬ変換は原理的に最も効率よい変換方式とされている
が入力ソース毎に求めることは演算景が膨大であり実用
」二難しいため、予め複数個の変換を用意し入力ブロッ
クに応じてこれを切り替える、という方法が一般的であ
る。これは適応ＫＬ変換と呼ばれている。第７図にその
適応ＫＬ変換の例を示す。これはピクチャーコーティン
グシンポジウムジャパン８８（ＰＣ８Ｊ８８．主催；電
子情報通信学会画像工学研究専門委員会、共催；画像電
子学会・テレビジョン学会・画像通信システム研究会、
１９８８年９月３０日〜１０月２日開催）「適応ＫＬ変
換適応符号化方式Ｊ　（７−１１）に記載されているの
で、入力画像はブロック分割回路７４において水平８垂
直８の２次元ブロックに分割され７５において各変換Ｔ
１．・・・、Ｔにを用いて量子化・可変長符号化を行っ
た場合の符号量をそれぞれ計算し、その符号量が最小と
なる変換のインデックスｉを選ぶ。

このインデックスｉに従い７６よりＫＬ変換Ｔ工を呼び
出し、直交変換回路７７においてＴｉを用いて直交変換
を行なう。変換されたブロックは全て同一手法で量子化
（７８）　Ｌ、ハフマン符号化（７９）を行ない伝送す
る。

このように入カブロック個々に対する最適な変換を選ぶ
手法には、上記のような符号量を最小とするものの他に
、ブロックの自己相関行列と変換のもとになった自己相
関行列とのユークリッド距離を最小とするもの（例えば
特願昭６３−２２３０１５号公報）や、復号時の量子化
誤差を最小とするもの（例えは特願昭６３−２２３０１
５号公報）等がある。

しかしながら、これらの手法では、符号化時の重要な要
件である符号量と量子化誤差の両方を考慮できないため
に、両者のいずれかに対して最適でないＫＬ変換を選択
してしまいその結果として復号画像の品質劣化をまねく
という問題点があった。

（発明が解決しようとする課題） このように、可変長符号化を用いる適応ＫＬ変換符号化
方式において従来は、符号量と画質の両方を考慮した選
択方法でなかったために、最適でない変換を選択する可
能性がありその結果として符号量の増長又は復号画像の
劣化をまねくという問題点があった。

本発明は前記問題点を改良すべくなされたもので、入力
ブロックそれぞれについて符号量と量子化誤差の両方を
調べ、ある重みで両者に対する性能を比較し、同じ位の
符号量ならば量子化誤差の少い変換を、また量子化誤差
に差がなければ符号量の少い変換を選択できるようにす
ることにより、符号量と画質の両面について最適化をは
かる符号化方式である。

〔発明の構成〕

（課題を解決するための手段） 本発明は、符号化時においてブロック毎に適用する直交
変換に用いる複数の直交行列式を選択する際、各直交行
列式を用いた場合の該ブロックの画質を決定する量子化
誤差及びその変換を用いて符号化した場合の該ブロック
の符号量を調べる回路を付加している。これによって直
交行列式を用いた場合の符号量に対する効果と画質に対
する効果を調べ、両者を総合的に評価し直交行列式を選
択する。

（作用） 本発明に係る画像符号化方式では、まず画面を例えば８
　Ｘ　８　、１６Ｘ１６等のブロックに分割し、次に各
ブロックを予め用意された直交行列式のそれぞれを用い
て変換する。変換したブロックを量子化し、変換のそれ
ぞれについて量子化誤差を計算する。また量子化したブ
ロックを符号化し、符号量を計算する。量子化誤差と符
号量をある重みで足し合わせ、この値の最も少い変換を
選び、これで符号化したブロックを伝送する。また変換
の番号（インデクス）も別途符号化し伝送する。

このように符号量と量子化誤差の両面から判断し直交行
列式を選択することによって、従来の選択方法による符
号化方式よりも画質・符号量が総合的に良好な再生画像
を得ることができる。

（実施例） 以下、図面を参照して本発明の詳細な説明する。

第１図は本発明の符号化方式が適用された第１の実施例
を示すブロック図である。

変換行列Ｔｋｋ＝□ｌ−１に、符号化テーブル、インチ
フス用符号化テーブルは予め作成し変換行列メモリ１０
６．符号化テーブルメモリ１０８．符号化テーブルメモ
リ１１１に備えておく。　ここでＫは変換の数で、例え
ばＫ　＝　２５６とする。第２図は変換行列。

符号化テーブル、インデクス用符号化テーブルの一作成
法の概略を示すフローチャートである。または既存の変
換又はテーブルを用いてもよい。なおインデクス用符号
化テーブルは、入力画像の各変換使用頻度より作成する
ことも可能である。この場合は作成したテーブルを受信
側へ伝送する。

符号化手順を以下に説明する。入力画像はブロック分割
回路１０１においてＮＸＮの矩形に分割される。Ｎは例
えば８とする。次に変換行列メモリ１０６より変換行列
Ｔ１を呼び出し、直交変換回路１０２において、該ブロ
ックを直交変換し、量子化回路１０３において量子化を
行なう。量子化は、例えばステップサイズ１６の線型量
子化とする。量子化された変換係数は符号化回路１０４
において符号化テーブル１０８を用いて符号化するとと
もに、逆量子化回路１０７において逆量子化し、誤差計
算回路１０９において量子化誤差を計算する。量子化誤
差と符号量は評価値計算回路１１０に送られ、ここで次
式を用いた値Ｒ１が計算される。

ここでλは重み係数である。例えばλ＝０．７とする。

ここで量子化誤差≠を羊柑哄書キは一例であって、再生
時の画質を評価できる尺度であれば何でもよい。例えば
視覚特性を考慮して計算した誤差等でもよい。″符号量
”も、伝送時の効率を示すものであれば、例えばエント
ロピー等でも構わない。

符号化されたブロックはメモリ１０５に、変換のインデ
クス１はインデクスメモリ１１２に貯える。さらに変換
行列メモリ１０６よりＴ２を呼び出して同様な処理を行
ない、Ｒ２を計算する。　Ｒ□≦Ｒ２ならば次なる変換
Ｔ３に移り、Ｒ１）Ｒ２ならばメモリ１０５とインデク
スメモリ１１２に貯えられた符号とインデクスをＴ２に
よるものに書き換え、Ｒ１の値をＲ２の値に換え、次な
る変換Ｔ３に移る。以下これを繰り返し、Ｔにまで行な
った後、メモリ１０５に貯えられた符号を伝送し、また
インデクスメモリ１１２に貯えられたインデクスを符号
化テーブル１１１を用いて符号化、伝送し、次ブロック
の処理に移る。あるいはインデクス用符号化テーブルを
入力画像に合わせて設計する場合は、インデクスの符号
化伝送は入力画像を符号化し終った後になる。

復号化手順を以下に説明する。受信した符号は、復号化
回路１１４において符号化テーブル１１８を用いて復号
化される。符号化テーブル１１８は符号化テーブル１０
８と同一である。さらに逆量子化回路１１５において逆
量子化し、逆変換回路１１６において、別途受信したイ
ンデクスの符号■を符号化テーブル１１９を用いて復号
化回路１２１において復号化した値ｉを用いて変換行列
メモリ１２０より変換Ｔ１を呼び出して逆変換を行ない
、　ブロック合成回路１１７において画像に復元し出力
する。ここに符号化テーブル１１９は符号化テーブル１
１１と同一である。変換行列メモリ１２０は変換行列メ
モリ１０６と同一である。

なおＫＬ変換作成の理論、ハフマン符号作成の理論につ
いては、例えば「画像のディジタル信号処理」吹抜敬彦
著９日刊工業新聞社刊に記載されているように周知であ
る。

量子器のステップサイズは、入力画像の性質を調べ、情
報量の多少により変えることもできる。

この場合はステップサイズを受信側へ付加情報として伝
送する必要がある。量子化器は線型量子化でなくてもよ
く、また全ての変換係数について同じステップサイズを
用いる必要もなく、例えば低域の係数のステップサイズ
は１６よりも小さく、高域は１６よりも大きく設定する
こともできる。

第３図は本発明の符号化方式が適用された第２の実施例
を示すブロック図である。

第３図において３０１〜３２１は第１図の１０１〜１２
１と同じ機能である。量子化器Ｑｉ（ｊ＝１．・・・、
Ｌ）は複数、例えば４個設定し量子化器メモリ３２２に
予め備えておく。

符号化手順を以下に説明する。入力画像はブロック分割
回路３０１　においてＮＸＮの矩形に分割される。Ｎは
例えば８とする。次に量子化器選択回路３２３において
、ブロックの情報量の多少を表す量、例えばブロック内
分散値が計算され、この値によって該ブロックを量子化
する量子化器が選ばれる。例えば量子化器Ｑ□、・・・
ｌ　Ｑ　４として、量子化ステップサイズ８　、１６．
３２．６４の線型量子化器を備えている場合、該ブロッ
クの分散値がＯ〜１０００ならばＱ、、１．００１〜２
０００ならばＱ２．２００１〜３０００ならばＱ３．３
００１以上ならばＱ４を選ぶ。選ばれた量子化器のイン
デクスＪは、２　ｂｉｔで伝送する。さらにインデクス
に従い量子化器メモリ３２２より量子化器を呼び出し、
これを量子化器３０３における量子化の際使用する。量
子化器を選択した後、変換行列メモリ３０６より変換を
順次呼び出し、最適な変換を選び符号化伝送する。この
手順は第１の実施例と同じであるので説明を省略する。

復号化の手順を以下に説明する。量子化器メモリ３２４
は３２２と同一である。受信した量子化器インデクスの
値Ｊは量子化器メモリ３２４へ送られ、量子化器Ｑ、ｙ
を呼び出し、ＱＪを逆量子化回路３１５における逆量子
化の際使用する。その他の復号化手順については第１の
実施例と同じであるので説明を省略する。

このように量子化器選択回路を加えることにより、ブロ
ックの情報量に応じた量子化を行なうことが可能である
。

なお、量子化器は変換係数すべてに対し同一のステップ
サイズである必要はなく、低域の係数には小さいステッ
プサイズ、高域には大きいステップサイズというように
変化させてもよい。また非線型量子化器を用いることも
可能である。

第４図は本発明の符号化方式が適用された第３の実施例
を示すブロック図である。

第４図において４０１〜４２１は第１図の１０１〜１２
１と同じ機能である。量子化器Ｑｊ　ｊｅ□＋−＋Ｌは
例えば３個（Ｌ＝３）設定し量子化器メモリ４２２に予
め備えておく。

符号化手順を以下に説明する。入力画像はブロック分割
回路４０１においてＮＸＮの矩形に分割されるＮは例え
ば８とする。次に第１の実施例と同様に、変換行列メモ
リ４０６より変換を順次呼び出し、直交変換回路４０２
において直交変換を行なう。

ここで、現変換Ｔ工のインデクスｉを量子化器選択回路
４２３へ送る。ここにはまた、前ブロックの量子化され
た係数が記憶されており、現変換のインデクスと前ブロ
ックの係数をもとに、該ブロックの現変換での量子化器
が選択される。例えば、量子化器Ｑ、、Ｑ２．Ｑ３とし
て量子化ステップサイＸ８．１６．３２の線型量子化器
を備えている場合、■現変換のインデクスが１の場合Ｑ
１ ■現変換のインデクスが１でなく、前ブロックの非ゼロ
係数が２個以下の場合Ｑ２ ■現変換のインデクスが１でなく、前ブロックの非ゼロ
係数が３個以上の場合Ｑ３ のように量子化器を選ぶ。選ばれた量子化器は量子化器
メモリ４２２より呼び出され量子化器４６３における量
子化の際使用される。その他の符号化手順は第１の実施
例と同じであるので説明を省略する。

復号化手順を以下に説明する。量子化器選択回路４２５
は４２３と同一であって、前ブロックの量子化された係
数値を記憶している。これに復号化された変換のインデ
クスを加え、符号化時と同様に量子化器を選択する。量
子化器メモリ４２４は４２２と同一であって、選択され
た量子化器はここから呼び出され逆量子化回路４１５に
おける逆量子化の際使用される。その他の復号化手順は
第１の実施例と同じであるので説明を省略する。

このように量子化器を選択することにより、使用する変
換に応じであるいは前符号化結果を参考にして、量子化
を変えることができる。量子化器選択の際必要な情報は
、現変換のインデクスのみでもよいし、前ブロックに限
らず過去のブロックの符号化結果を使用してもよい。こ
れらの情報を使用することにより、付加情報を増やすこ
となく量子化手法を変えることができる。

第５図は本発明の符号化方式が適用された第４の実施例
を示すブロック図である。

第５図において５０１〜５２１は第１図の１０１〜１２
１と同じ機能である。量子化器Ｑ　Ｊ＋　ｊ　＝□１−
ＩＬは例えば３個（Ｌ＝３）設定し量子化器メモリ５２
２に予め備えておく。

符号化手順を以下に説明する。入力画像は第１の実施例
と同様にブロック分割され、変換行列メモリ５０６より
変換を順次呼び出し直交変換を行なう。ここで、現変換
Ｔ工のインデクスｉを量子化器選択回路５２３へ送る。

５２３にはまた、前ブロック即ち、既に符号化された左
隣りや直上のブロックにおいて選択された変換のインデ
クスが記憶されており、現変換のインデクスと前ブロッ
クのインデクスをもとに、該ブロックの現変換での量子
化器が選択される。例えば、量子化器Ｑ１．Ｑ２．Ｑ３
として量子化ステップサイズ８　、１６．３２の線型量
子化器を備えている場合、 ■現変換のインデクスが１の場合Ｑ１ ■現変換のインデクスが１でなく、前ブロックのインデ
クスのいずれかが１の場合Ｑ２■現変換のインデクスが
１でなく、前ブロックのインデクスのいずれも１でない
場合Ｑ３のように量子化器を選ぶ。その他の符号化手順
は第３の実施例と同じであるので説明を省略する。

復号化手順を以下に説明する。量子化器選択回路５２５
は５２３と同一であって、前ブロックの変換インデクス
を記憶している。これに復号化された該ブロックのイン
デクスを加え、符号化時と同様に量子化器を選択する。

その他の復号化手順は第３の実施例と同じである。

第６図は本発明の符号化方式が適用された第５の実施例
を示すブロック図である。

変換行列Ｔ　ｋ　ｋ＝１＋−＋に、符号化テーブル、イ
ンデクス符号化テーブルは予め作成し変換行列メモリ６
１０　、符号化テーブルメモリ６０４．符号化テーブル
メモリ６１５に備えておく。ここでＫは変換の数で例え
ばに＝２５６とする。変換行列、符号化テーブル、イン
デクス用符号化テーブルは第１の実施例と同様に準備で
きる。

符号化手順を以下に説明する。入力画像はブロック分割
回路６０１においてＮＸＮの矩形に分割される。Ｎ＝８
とする。ブロックは順次フレームメモリ６０５に貯えら
れるとともに、情報量計算回路６０２において、該ブロ
ックのもつ情報量を表す量、例えばブロック内分散値が
計算される。このようにして全てのブロックについて情
報量が計算された後、各ブロックに対する予定ビット配
分量が決定される。これは例えば、ブロックの総数をＭ
。

情報量をσＪ　ｋ＝１＋−＋＋４＋予定総符号量をＸ、
予定ビット配分量をＸＪＪ＝□ｒ−＋　Ｍとするとき、
のように定める。ここにＸ’／Ｍ　は予め配分しておく
量で、どのブロックにも必ず必要な（１，１）成分のた
めの符号やＥ　ＯＢ　（ｅｎｄ　ｏｆ　ｂｌｏｃｋ）符
号のために一定量を与える。　Ｘ’／Ｍは例えば、１０
ｂｉｔとする。

このように定められた各ブロックの予定ビット配分量は
、ピッ１ル配分量メモリ６０３に貯えられる。

予定ビット配分が定まった後、フレームメモリブロック
を順次呼び出し、変換行列メモリ６１０よりまず変換Ｔ
１を呼び出し、直交変換回路６０６において直交変換を
行なう。次に量子化回路６０７において量子化を行なう
。量子化器は例えば、量子化ステップサイズ１６の線型
量子化とする。なおこの量子化器は、第２乃至４の実施
例のようにして複数の中から切り替えることも可能であ
る。量子化された変換係数は、符号化回路６０８におい
て符号化デープル６０４を参照し、符号化される。この
とき該ブロックの符号量が、ビット配分量メモリ６０３
より呼び出された該ブロックの予定ビット配分量に前記
符号化時の余剰ビット量を足したものを超える場合には
、量子化された変換係数は有意係数削減回路６１１へ送
られ、ここで有意係数即ち非ゼロの係数が１個、ゼロに
変えられる。非ゼロ係数は例えば最も高周波の非ゼロ係
数、又は最も絶対値の小さい非ゼロ係数を選べばよい。

このように有意係数を削減した後、再び符号化回路６０
８において符号化し符号量が予定ビット配分量に前記符
号化時の余剰ビット量を足した量以下となるまで削減を
繰り返す。符号量が予定ビット配分量以下となった場合
には、逆量子化回路６１２において変換係数の逆量子化
を行ない、誤差計算回路６１４において該ブロックの量
子化誤差を計算する。

量子化誤差は評価値計算回路６１３に送られ、符号量と
ともに（１）式を用いてＲ１がＲ１算される。

なお符号量と予定ビット配分量に前符号化時の余剰ビッ
ト量を足した量との差は、余剰ビット量として符号化回
路６０８内に保存される。

符号化されたブロックはメモリ６０９に、変換のインデ
クス１はインデクスメモリ６１６に貯える。

次に変換行列メモリ６１０よりＴ２を呼び出して同様な
処理を行ない、Ｒ２を得る。以下の処理は第１の実施例
と同じであるので説明を省略する。

復号化手順は第１の実施例と同じであるので説明を省略
する。

このように予め各ブロックに割りあてるビット配分量を
定めることにより、予定総符号量を超えることのない固
定レート符号化ができる。

なお以上の実施例において、変換係数の符号化回路は変
換のインデクスに依存しない形で書かれているが、これ
を変換のインデクスに応じ切り替えることもできる。ま
た変換のインデクス以外の情報により切り替えることも
可能である。この場合は符号化方法の付加情報が必要で
ある。

〔発明の効果〕

以上説明してきたように、この発明による画像符号化方
式であれば、符号量と画質とを総合的に判断し最適な変
換を選ぶことができるので、従来の可変長符号を用いる
適応ＫＬ変換符号化方式よりも符号量を削減できまた高
画質の再生画像を得ることができる。

化方式に係る第１．２，３，４．５の実施例を示すブロ
ック図、第２図は第１の実施例における変換行列、符号
化テーブル、インデクス用符号化テーブルを作成する例
を示したフローチャート、第７図は従来の画像符号化方
式を説明するためのブロック図である。

代理人　弁理士　則　近　憲　佑

Claims (1)

【特許請求の範囲】
1. （１）画像をブロックに分割して直交変換を行なった後
   可変符号化する画像符号化方式において、前記直交変換
   に用いる直交行列式を予め複数用意し、各直交行列式を
   用いて直行変換及び符号化を行なう際の符号量と画質を
   調べる手段を有し、この手段による符号量及び画質にも
   とづいて前記直行行列式を選択することを特徴とする画
   像符号化方式。