JPH08149477A

JPH08149477A - 画像符号化装置および画像復号化装置

Info

Publication number: JPH08149477A
Application number: JP28798594A
Authority: JP
Inventors: Masahiro Fujita; 雅博藤田; Saguankotsutochiyakoon Somusatsuku; ソムサツク・サグアンコツトチヤコーン
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-22
Filing date: 1994-11-22
Publication date: 1996-06-07
Anticipated expiration: 2021-01-18
Also published as: JP3735876B2

Abstract

(57)【要約】【目的】多重解像度における画像の輝度信号の符号化処
理に際して効率の高い画像符号化装置を実現する。【構成】異なる解像度スケールを持つ複数のフィルタで
分析された情報を受けて線情報 CLY(k;s0)、輝度信号Am
Y(x,y,s0) を得る伸長部301,302 と、線情報 LY(k;s0)
内の連結した点の座標系列(x,y) からx 方向とy 方向の
接線方向を独立に求め、輝度信号 AmY(k;s0)とを用いて
信号 W1YP(x,y;s0),W2YP(x,y;s0)を求める信号成分算出
部303 と、信号 W1YP(x,y;s0),W2YP(x,y;s0)からW1Y'
(x,y;s0)，W2Y'(x,y;s0)を得て出力する補間部304,305
と、W1Y'(x,y;s0),W2Y'(x,y;s0) を用いて解像度スケー
ルs1の分析結果W1Y"(x,y;s1),W2Y"(x,y;s1) を求める予
測フィルタ306,307 と、分析値W1Y(x,y;s1) 、W2Y(x,y;
s1) 、W1Y"(x,y;s1),W2Y"(x,y;s1) を用いて補正係数Cp
(x,y;s01) を求める補正係数演算部310 とを設ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば複数の解像度
（多重解像度）における画像の輝度信号の特徴抽出処
理、符号化処理および復号化処理を行う画像信号処理装
置に関する。

【０００２】

【従来の技術】一般に、多重解像度における画像圧縮に
おいて画像の輝度信号を扱う場合、全スケールの異なる
解像度スケールを持つ複数のフィルタにより出力された
信号の特徴点の位置およびその位置における分析値を用
いて、符号化および復号化を行う。一方、本願出願人
は、特願平５−２４５３８７号の出願明細書（以下、文
献１という）において、異なる解像度スケールを持つ複
数のフィルタで画像を分析合成する符号化処理において
は、個々の解像度スケールのフィルタの分析値の相関が
大きいことを見出した。そこで、各解像度スケールの相
関を積極的に利用して、画像圧縮を効率的に行うため
に、異なる解像度スケールを持つ複数のフィルタのうち
の一つの特徴点の位置を用いて、他のスケールの特徴点
の位置の予測を行う装置を提案した。符号化装置では、
全スケールの異なる解像度スケールの特徴点の位置にお
ける分析値および上述した複数のフィルタのうちの一つ
の特徴点の位置を用いて符号化する。復号化装置ではこ
の逆操作を行う。

【０００３】

【発明が解決しようとする課題】しかし、特徴点の位置
だけの予測は、画像データの圧縮があまり効率的に行え
ず、さらに、予測誤差により、視覚的に画像の輝度信号
の劣化が生じる。その結果として、従来の異なる解像度
スケールを持つ複数のフィルタで画像を分析合成する符
号化処理においては、依然として改良すべき点が存在す
る。また、このようにして符号化した信号を復号する場
合も、改良すべき点がある。

【０００４】本発明は、かかる事情に鑑みてなされたも
のであり、その目的は、画像データの符号化の精度を向
上させることができる画像符号化装置を提供することに
ある。また、本発明の他の目的は、画像データの復号化
の精度を向上させることができる画像復号化装置を提供
することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像符号化装置は、入力画像の輝度信号
を、複数の解像度スケールを用いて分析し、解像度スケ
ールの分析結果だけを用いて特徴点を求め、その特徴点
の位置情報、振幅情報および他のスケールの分析結果を
用いて、補正を行うための補正係数を求める手段を有す
る。また本発明の画像復号化装置は、解像度スケールの
フィルタの特徴点およびその位置における分析値から他
の解像度スケールのフィルタの特徴点の位置およびその
位置における分析値を同時に予測する手段と、その予測
された特徴点の位置およびその位置における分析値の補
正を行う手段とを有する。

【０００６】

【作用】本発明の画像符号化装置においては、入力され
た画像の輝度信号を、異なる解像度スケールを持つ複数
のフィルタで分析し、異なる解像度スケールを持つ複数
のフィルタのうち１つのスケールの分析値について特徴
点を検出し、特徴点の位置、その位置における分析値お
よび他の解像度スケールの分析値を用いて予測された他
の解像度スケールの分析値の補正を行うための補正係数
を計算する。そして、１つのフィルタの特徴点の位置、
１つのフィルタの特徴点の位置における分析値および補
正係数を符号化する。その結果、画像信号を効率よく符
号化できる。好適には、入力輝度信号の低周波成分を検
出し、検出された低周波成分を入力された画像の輝度信
号から減じた低周波成分除去輝度信号について上記分析
を行う。

【０００７】また、本発明の画像復号化装置において
は、符号化された入力画像の輝度信号を用いて、複数の
フィルタのうちの１つの解像度スケールのフィルタの分
析値の特徴点およびその位置における分析値も求め、凸
射影法でもとの輝度信号に対応する２次元信号を復元す
る。この２次元信号を用いて、他の解像度スケールの特
徴点の位置およびその位置における分析値を同時に予測
し、送られてきた補正係数で特徴点の位置における分析
値の補正を行う。補正を行なった後の各解像度スケール
の情報に基づいて、再合成フィルタにより、画像の輝度
信号を復元する。その結果、効率的に画像信号を復号で
きる。好適には、この画像復号化装置は、上記画像符号
化装置と協働する。

【０００８】

【実施例】本発明の多重解像度を用いた画像信号分析合
成装置としての画像符号化装置および画像復号化装置の
実施例を図面を参照して述べる。図１は本発明の多重解
像度を用いた画像信号分析合成装置、換言すれば、画像
符号化装置の全体構成図である。この符号化装置は、本
実施例においては、輝度信号Ｙを入力して、多重解像度
を用いた画像信号分析処理をする。さらに、復号化する
のに他の必要な解像度スケールの情報を予測するための
補正係数を求め、これらのデータを変調データCData と
して記録媒体、伝送媒体などに送出する。なお、好適に
は、図７を参照して後述するように、この画像符号化装
置と協働する画像復号化装置が設けられて、画像処理系
を構成する。

【０００９】図１に示した符号化装置は、符号化部１０
１、局所復号化部１０２および圧縮変調部１０３を有
し、これらが、図示の如く接続されて構成されている。
この符号化装置（多重解像度を用いた画像信号分析合成
装置）への入力信号は画像の輝度信号Ｙである。輝度信
号Ｙを２次元の座標位置(x,y) に対する輝度レベルを与
える関数として、輝度信号Ｙ(x,y) と表す。

【００１０】以下、図１に示した符号化装置の各部分の
詳細について述べる。図２は、図１に示した符号化装置
の符号化部１０１の回路構成図である。図２に示すよう
に、符号化部１０１は、第１の輝度信号分析部２０１、
第２の輝度信号分析部２０２、第３の輝度信号分析部２
０３、低周波成分検出部２０４、線情報圧縮部２０５、
圧縮処理部２０６、および低周波成分圧縮部２０７を有
し、これらが、図示のごとく接続されて構成されてい
る。

【００１１】先ず、輝度信号Ｙ(x,y) は、図１の符号部
１０１に印加される。つまり、図２の低周波成分検出部
２０４に印加される。低周波成分検出部２０４は、入力
された輝度信号Ｙ(x,y) の低周波成分を検出して、低周
波輝度信号ＹL(x,y)を低周波成分圧縮部２０７に印加す
る。元の入力輝度信号Ｙ(x,y) から、低周波成分検出部
２０４で検出した低周波輝度信号ＹL(x,y)を引いた輝度
信号を、低周波成分除去輝度信号Ｙ0(x,y)と表す。この
輝度信号Ｙ0(x,y)については、式７を用いて後述する。
低周波成分圧縮部２０７は、印加された低周波輝度信号
ＹL(x,y)について間引きなどを行い、さらにＤＣＴ(Dis
crete Cosine Transformation:離散コサイン変換) やウ
ェーブレット変換などの変換符号化処理を行って、低周
波輝度信号ＹL(x,y)を圧縮した低周波成分圧縮信号CLOW
を生成し、この低周波成分圧縮信号CLOWを変調部１０３
に印加する。

【００１２】低周波成分検出部２０４からの低周波成分
除去輝度信号Ｙ0(x,y)が、第１の輝度信号分析部２０
１、第２の輝度信号分析部２０２、第３の輝度信号分析
部２０３に印加される。第１の輝度信号分析部２０１
は、輝度信号Ｙ0(x,y)を第１の解像度スケールs0を持つ
フィルタで分析し、分析結果から特徴点を検出してその
位置を連結して線情報LY(k;s0)とする。記号k は線情報
につけた番号を示す。また、第１の輝度信号分析部２０
１は、その線情報LY(k;s0)が与える位置における第１分
析結果としての振幅情報A1Y(x,y;s0) およびA2Y(x,y; s
0)を算出する。ここで、簡単のため、振幅情報A1Y(x,y;
s0) およびA2Y(x,y;s0) をAmY(k;s0) と呼ぶ。線情報LY
(k;s0)が、線情報圧縮部２０５に印加され、振幅情報Am
Y(k;s0) が圧縮処理部２０６に印加される。

【００１３】次に、第２の輝度信号分析部２０２は、輝
度信号Ｙ0(x,y)を第２の解像度スケールs1を持つフィル
タで分析を行う。分析結果はW1Y(x,y;s1) およびW2Y(x,
y; s1)とする。簡単のため、分析結果W1Y(x,y;s1) およ
びW2Y(x,y; s1)をAmY(k;s1)と呼ぶ。同様に、第３の輝
度信号分析部２０３は、輝度信号Ｙ0(x,y)を第３の解像
度スケールs2を持つフィルタで分析し、分析結果はW1Y
(x,y;s2) およびW2Y(x,y;s2)とする。簡単のため、分析
結果W1Y(x,y;s2) およびW2Y(x,y;s2) をAmY(k;s2) と呼
ぶ。

【００１４】線情報圧縮部２０５は、線情報LY(k;s0)
を、たとえば、チェイン符号化、ハフマン符号化、ラン
レングス符号化などの符号化方式で圧縮した圧縮線情報
CLY(k;s0) を生成し、この圧縮線情報CLY(k;s0) を変調
部１０３に出力すると同時に、局所復号化部１０２にも
出力する。圧縮処理部２０６は、振幅情報AmY(k;s0) を
予測符号化、ＤＰＣＭなどを用いて圧縮した振幅圧縮信
号CAmY(k; s0) として変調部１０３および局所復号化部
１０２に出力する。第２の輝度信号分析部２０２と第３
の輝度信号分析部２０３の分析結果AmY(k;s1) およびAm
Y(k; s2)は局所復号化部１０２だけに出力する。

【００１５】図３は、図１に示した符号化装置の局所復
号化部１０２の回路構成図である。図３に示すように、
局所復号化部１０２は、線情報伸長部３０１、分析結果
伸長部３０２、信号成分算出部３０３、第１の補間部３
０４、第２の補間部３０５、解像度スケールs0の情報
（特徴点の位置および特徴点の位置における分析値）か
ら解像度スケールs1の情報を予測するための第１の予測
フィルタ３０６、第２の予測フィルタ３０７、解像度ス
ケールs0の情報から解像度スケールs2の情報を予測する
ための第３の予測フィルタ３０８、第４の予測フィルタ
３０９、第１の補正係数演算部３１０、および、第２の
補正係数演算部３１１を有し、これらが、図示のごとく
接続されて構成されている。

【００１６】局所復号化部１０２の働きに関する詳細は
後述する。ここでは概念的な部分だけを紹介する。局所
復号化部１０２の線情報伸長部３０１は、図２の線情報
圧縮部２０５から出力されたCLY(k;s0) を用いて線情報
LY(k;s0) を求める。分析結果伸長部３０２は、図２の
圧縮処理部２０６から出力された振幅情報 CAmY(k;s0)
を用いて輝度信号 AmY(x,y; s0) を求める。次に、信号
成分算出部３０３は、線情報 LY(k;s0) 内の連結した点
の座標系列(x,y) からx 方向とy 方向の接線方向を独立
に求め、輝度信号 AmY(k;s0)とを用いて、信号 W1YP(x,
y;s0) および W2YP(x,y;s0)を求める。信号 W1YP(x,y;s
0),W2YP(x,y;s0)は特徴点のみで値を持ち、その他の場
所では０である信号であるので、第１の補間部３０４お
よび第２の補間部３０５において凸射影法を用いて分結
結果W1Y'(x,y;s0)およびW2Y'(x,y;s0)を出力する。

【００１７】このとき、分析結果W1Y'(x,y;s0)およびW2
Y'(x,y;s0)を用いて、第１の予測フィルタ３０６および
第２の予測フィルタ３０７において解像度スケールs1の
分析結果W1Y"(x,y;s1)およびW2Y"(x,y;s1)を求め、第１
の補正係数演算部３１０に出力する。同時に図２の第２
の輝度信号分析部２０２から出力された分析結果 W1Y
(x,y;s1)および W2Y(x,y;s1)も第１の補正係数演算部３
１０に印加する。第１の補正係数演算部３１０におい
て、分析値W1Y(x,y;s1) 、W2Y(x,y;s1) 、W1Y"(x,y;s1)
およびW2Y"(x,y;s1)を用いて第１の補正係数Cp(x,y;s0
1) を求める。同様に、第２の補正係数Cp(x,y;s02) も
求めることができる。

【００１８】線情報圧縮部２０５から出力された圧縮線
情報CLY(k; s0)、圧縮処理部２０６から出力された振幅
圧縮信号CAmY(k;s0)、低周波成分圧縮部２０７から出力
された低周波成分圧縮信号CLOW、および、局所復号化部
１０２の第１および第２の補正係数演算部３１０，３１
１から出力された第１の補正係数Cp(x,y; s01), 第２の
補正係数Cp(x,y;s02) を入力して、これらの信号に、誤
り訂正符号などを付加し、必要に応じて適切な変調をか
けて、変調データ CDataとして、図５に示した信号復号
化装置、あるいは、記録媒体あるいは伝送媒体に出力す
る。

【００１９】次に、図２に示した各部の輝度信号分析部
の詳細について述べる。図４は、第１の輝度信号分析部
２０１、第２の輝度信号分析部２０２、第３の輝度信号
分析部２０３の回路構成図である。まず、線情報および
第１の輝度信号分析部（第１の輝度信号分析部）２０１
について述べる。第１の輝度信号分析部２０１は、第１
の分析フィルタ４０１、第２の分析フィルタ４０２、ス
レッショルド演算部４０３、第１の特徴点検出部４０
４、第２の特徴点検出部４０５、第１の線情報連結部４
０６、第２の線情報連結部４０７、第１の線情報選択部
４０８、および、第２の線情報選択部４０９を有する。
第１の分析フィルタ４０１および第２の分析フィルタ４
０２はそれぞれ、輝度信号Ｙ0(x,y)に対する第１の解像
度スケールs0のフィルタである。この例では、第１の分
析フィルタ４０１および第２の分析フィルタ４０２はそ
れぞれ、スムーシング関数の１次微分型の分析フィルタ
を用いる。ただし、第１の分析フィルタ４０１のインパ
ルス応答を下記式で表すW1(x,y;s0)とし、第２の分析フ
ィルタ４０２のインパルス応答を下記式で表すW2(x,y;s
0)とする。

【００２０】

【数１】

【００２１】

【数２】

【００２２】ここで、関数θ1(x,y;s0) およびθ2(x,y;
s0) は適切なスムーシング関数を示しており、この例で
はＢスプライン（B-spline）関数を用いる。第１のイン
パルス応答W1(x,y;s0)および第２のインパルス応答W2
(x,y;s0)は周波数領域では次のように表すことができ
る。

【００２３】

【数３】

【００２４】

【数４】

【００２５】インパルス応答を式１および式２で与えら
れるフィルタは低周波成分が含まれていないので、予め
ローパスフィルタで輝度信号Ｙの低周波成分だけを別系
統で圧縮する必要がある。本実施例において、低周波成
分検出部２０４においてそれを行う。低周波成分検出部
２０４におけるフィルタのインパルス応答 W0(x,y)は周
波数領域で下記式で定義される。

【００２６】

【数５】

【００２７】記号Ｓは大きなスケールとする。低周波成
分検出部２０４は、輝度信号Ｙ(x,y) にこのインパルス
応答W0(x,y)を畳み込み、その出力を低周波輝度信号ＹL
(x,y)として出力し、元の入力輝度信号Ｙ(x,y) から低
周波輝度信号ＹL(x,y)を引いた低周波成分除去輝度信号
Ｙ0(x,y)を出力する。この低周波成分除去輝度信号Ｙ0
(x,y)が、第１の分析フィルタ４０１および第２の分析
フィルタ４０２に入力される。

【００２８】

【数６】

【００２９】

【数７】

【００３０】記号**は座標位置(x,y) に関する２次元の
畳み込み積分あるいは離散信号の畳み込み累積加算を示
す。低周波成分除去輝度信号Ｙ0(x,y)は、インパルス応
答が式１および式２で与えられる第１の分析フィルタ４
０１および第２の分析フィルタ４０２でそれぞれフィル
タリングされて、下記式で表されるフィルタリング処理
結果W1Y(x,y;s0),W2Y(x,y;s0) となる。

【００３１】

【数８】

【００３２】

【数９】

【００３３】これらフィルタリング処理結果W1Y(x,y;s
0) およびW2Y(x,y;s0) は、スレッショルド演算部４０
３において、適当な振幅のスレッショルドで、下記式で
定義される輝度信号A1Y(x,y;s0) とA2Y(x,y;s0) とな
る。

【００３４】

【数１０】

【００３５】

【数１１】

【００３６】スレッショルド演算部４０３で算出された
輝度信号 A1Y(x,y;s0)とA2Y(x,y;s0)は、特徴点検出部
４０４、４０５にそれぞれ入力され、そこで特徴点が検
出される。この実施例では特徴点は、極大値を与える点
として定義される。輝度信号A1Y(x,y;s0) およびA2Y(x,
y;s0) の極大値を与える点を求める方法はいくつか考え
られるが、この例では簡単に輝度信号A1Y(x,y;s0) をx
方向に差分をとり、その符号がプラスからマイナスに変
わった点を極大値を与える点とする。また、輝度信号A2
Y(x,y;s0) のy 方向にも同じ処理を行い、これも極大値
を与える点とする。このようにして、第１および第２の
特徴点検出部４０４、４０５で求められた特徴点の位置
を、下記式で表されるP1Y(x,y;s0) およびP2Y(x,y;s0)
で表す。

【００３７】

【数１２】

【００３８】

【数１３】

【００３９】この特徴点の位置P1Y(x,y;s0) とP2Y(x,y;
s0) は、第１の線情報連結部４０６、および第２の線情
報連結部４０７において連結され線情報L1Y(k;s0) およ
びL2Y(k;s0) となる。また、該線情報L1Y(k;s0) および
L2Y(k;s0) は、第１および第２の線情報選択部４０８、
４０９において、重要な線情報が選択され、線情報LY
(k；s0) として出力される。

【００４０】図５は第１の線情報連結部４０６および第
２の線情報連結部４０７において線情報L1Y(k;s0) およ
びL2Y(k;s0) を生成する動作を示すフローチャートであ
る。以下、図５に示したフローチャートの流れに沿っ
て、第１の線情報連結部４０６の処理を述べる。但し、
第２の線情報連結部４０７も同じ動作であるので、ここ
では省略する。

【００４１】最初に、特徴点の位置P1Y(x,y;s0) の左上
位置(x,y)=(0,0) から右へ特徴点の位置P1Y(x,y;s0)=1
となる点を探し、その点が端点かどうかをチェックす
る。端点は、図６に示したように、特徴点の位置P1Y(x
0,y0;s0)=1 のような位置(x0,y0) を中心にその近傍に
８つの画素を考え、そのうち１つ以下の近傍にしか特徴
点の位置P(x,y;s0)=１の点がない場合で定義する。な
お、画面の端においては外側を特徴点の位置P(x,y;s0)=
0 として判断する。

【００４２】この座標(x,y) を line[k][l].x とline
[k][l].yという記憶領域に記憶する。この端点(x,y) に
おける特徴点の位置PY(x,y;s0)を０にセットすること
で、その後のサーチにおいて連結候補から外す。ここ
で、k は線の番号に相当する数であり、l は連結してい
った点に順番に１、２、３、・・とつけられた自然数で
ある。なお、後述するようにline[k][0].xにはk 番目の
線として連結した点の数が記憶される。端点を見つけた
後、同じく８近傍(x',y') を考え最初に見つかった特徴
点の位置P(x',y';s0)=1 の点を連結する。このとき連結
した点において特徴点の位置PY(x',y';s0)=0とすること
により、その後のサーチにおいて連結候補から外す。ま
た、l=l+1 としてline[k][l].x =x',line[k][l].y=y'と
して、この特徴点をk 番目の線情報のl 番目の点として
登録する。以下、このことを８近傍に特徴点がなくなる
まで続ける。最後に、連結した点の数をline[k][0].xに
記憶する。また、このスケールにおいて線の数が何本あ
ったかをline[0][0].xに記憶する。

【００４３】このline[k][l].x,line[k][l].y を line[0][0].x, （線の数=K(s)) line[1][0].x （１番目の線を構成する点の数） line[1][1].x,line[1][1].y （一番目の線の一番目の点の(x,y) 座標） line[1][2].x,line[1][2].y （一番目の線の二番目の点の(x,y) 座標）・ line[2][0].x （２番目の線を構成するための点の数） line[2][1].x,line[2][1].y （二番目の線の一番目の点の(x,y) 座標）・のように出力しこの系列を線情報L1Y(k;s0) とする。

【００４４】以上、第１の輝度信号分析部２０１の解像
度スケールs0を持ったフィルタの輝度信号分析部につい
て述べたが、第２の輝度信号分析部２０２の解像度スケ
ールs1を持ったフィルタの輝度信号分析部も第１の輝度
信号分析部２０１とほとんど同じである。つまり、第２
の輝度信号分析部２０２は、第１の輝度信号分析部２０
１における第１の分析フィルタ４０１および第１の分析
フィルタ４０２に対応する第２のフィルタバンク４１１
および第２のフィルタバンク４１２を有する。第２の輝
度信号分析部２０２が第１の輝度信号分析部２０１と異
なる点は、第２の輝度信号分析部２０２には、第１の輝
度信号分析部２０１における第１のフィルタバンク４０
１および第２のフィルタバンク４０２に対応する第１の
フィルタバンク４１１および第２のフィルタバンク４１
２しかないことである。

【００４５】以下、第２の輝度信号分析部２０２の詳細
を述べる。第１のフィルタバンク４１１、第２のフィル
タバンク４１２はそれぞれ、インパルス応答、フィルタ
リング処理結果がそれぞれ下記式で表される解像度スケ
ールs1を持つフィルタバンクである。

【００４６】

【数１４】

【００４７】

【数１５】

【００４８】

【数１６】

【００４９】

【数１７】

【００５０】解像度スケールs2を持ったフィルタの第３
の輝度信号分析部２０３は、上述した第２の輝度信号分
析部２０２と同じ構成をしており、第２の輝度信号分析
部２０２と同様の処理を行う。つまり、第３の輝度信号
分析部２０３は、第２の輝度信号分析部２０２の第１の
フィルタバンク４１１および第２のフィルタバンク４１
２と対応する第１のフィルタバンク４２１および第２の
フィルタバンク４２２を有する。第１のフィルタバンク
４２１および第２のフィルタバンク４２２のインパルス
応答、フィルタリング処理結果は下記式で定義される。

【００５１】

【数１８】

【００５２】

【数１９】

【００５３】

【数２０】

【００５４】

【数２１】

【００５５】線情報圧縮部２０５において線情報LY(k;s
0)を適当な方法で圧縮する。この例では、チェイン符号
化を用いて一点あたり３ビットの情報にする。その手続
きは以下のとおりである。まず、line[k][l].x,line[k]
[l].y は始点情報としてそのまま情報を持つ。たとえば
256x256 の画像を想定した場合、それぞれ８ビット必要
である。始点以外の位置は８近傍のうちどの方向に連結
したかを指定すればよいので３ビット必要である。した
がって、CLY(k;s)は次のようなデータ列となる。（１）はじめに、スケールs0における線の本数K(s0) を
送り、（２）次に、線の長さ、始点の座標(x,y) 、と送
り、（３）以下、３ビットずつ８近傍のうちの一つを指
定する。これが線情報圧縮部２０５の出力CLY(k;s0) と
して出力される。

【００５６】一方、圧縮処理部２０６において、特徴点
における分析情報の圧縮が行なわれる。ここでは、予測
符号化の一つとしてＤＰＣＭを用いるものとする。すな
わち、各線において前の特徴点における分析値との差を
とってその差を適当に量子化する。ここで、簡単のた
め、解像度スケールs1の振幅情報W1Y(x,y;s1) および W
2Y(x,y;s1)を振幅情報AmY(k;s1) といい、解像度スケー
ルs2の振幅情報W1Y(x,y;s2) およびW2Y(x,y;s2) を振幅
情報AmY(k;s2) という。ＤＰＣＭ処理された振幅情報Am
Y(k;s0) を振幅圧縮信号CAmY(k;s0)とする。低周波成分
輝度信号YL(x,y) は、低周波成分圧縮部２０７において
圧縮される。この輝度信号YL(x,y) はいわゆるローパス
フィルタの出力であるので、間引いてサンプリングを落
すことができる。この実施例では、式５で定義されるロ
ーパスフィルタの特性を考えて、もとのサンプル列の2
s サンプルごとのデータがあれば十分と考えられる。し
たがって、(i, j)を画面の座標を表すパラメータとし
て、下記式に表すように間引いた画像データYL'(i,j),U
L'(i,j),VL'(i,j)を考える。

【００５７】

【数２２】

【００５８】ここで、i,j は i・(2^S) <X,j・(2^S) <Y
となるi,j=0,1,2,,,, である。この画像データYL'(i,
j),UL'(i,j),VL' (i,j) をＤＣＴなど通常の２次元の圧
縮技術を用いて低周波成分圧縮信号CLOWにして低周波成
分圧縮部２０７から出力する。変調部１０３は、これら
の入力されたデータ列に適当な誤り訂正符号を付加して
変調データCData として出力する。

【００５９】次に、上述した変調データCData を復号す
る復号化装置について述べる。図７は復号化装置の全体
構成図であり、図８はその一部の詳細構成図である。こ
の復号化装置は、波形復元処理部５０１、二次元信号復
元処理部５０２、線情報伸長部５０３、分析結果伸長部
５０４、低周波成分伸長部５０５、および圧縮変調信号
受信部５０６を有している。信号の中身は伝送、記録媒
体での誤り、量子化の影響を考えなければ、また、二次
元信号復元処理部５０２での逆変換や予測での誤差を考
えなければ符号化装置と全く同じになる。

【００６０】通信媒体を介して送られてきた変調データ
CData に対応する情報CData2は、圧縮変調信号受信部５
０６において、変調部１０３でかけられた変調、誤り符
号などの処理を行い、信号CLY2(k;s0),CAmY2(k;s0)、お
よび、第１の補正係数Cp2(k;s01)、第２の補正係数Cp2
(k;s02)が得られる。これらの信号は、図１における圧
縮線情報CLY(k;s0) 、振幅圧縮信号CAmY(k;s0)、第１の
補正係数 Cp(x,y;s01)、第２の補正係数Cp(x,y;s02) に
対応する。低周波成分伸長部５０５においては低周波成
分圧縮部２０７で行なわれた２次元信号の圧縮の逆変換
を行う。また、低周波成分伸長部５０５は、低周波成分
圧縮部２０７で行われた間引きの逆である補間を行う。
たとえば、次式で定義される作用は間引きの逆に相当す
る。

【００６１】

【数２３】

【００６２】

【数２４】

【００６３】ただし、x=0,...,X-1,y=0,...,Y-1 であ
り、[x/(2 ^S)]は、x/(2^S) で小数点部を切捨てた整数
である。また、L0(x,y) は適切なローパスフィルタのイ
ンパルス応答である。これが低周波成分伸長部５０５の
出力として、波形復元処理部５０１に送られる。線情報
伸長部５０３では圧縮された線情報CLY2(k;s) の入力と
して図１の線情報LY(k;s) に相当する特徴点の線情報LY
2(k;s)を求める。これは線情報圧縮部２０５の逆変換に
相当する。すなわち、線情報圧縮部２０５においては始
点の座標と図６で示される８近傍のうちの一つを指定す
る３ビットの情報系列にされていたので、始点の座標
(x,y) を読んだ後３ビットずつを用いて、図６で示され
た方向に座標を進めて線情報を座標系列LY2(k;s)として
復元する。

【００６４】分析結果伸長部５０４では、信号符号化装
置における圧縮処理部２０６の逆変換を行う。すなわ
ち、ＤＰＣＭの逆変換である。これは、一つ前の系列の
値に累積加算していくことで実現される。得られた系列
を、振幅情報AmY2(k;s) として二次元信号復元処理部５
０２へ送る。二次元信号復元処理部５０２は、特徴点の
位置に関する情報LY2(k;s)とその位置における振幅情報
AmY2( k;s)を用いて凸射影法を用いてもとの輝度信号に
対応する２次元信号Y2(x,y) を復元する。二次元信号復
元処理部５０２の内部に関してさらに詳細な説明を図８
を参照して行う。波形復元処理部５０１は、各スケール
からの復元値と低周波の値をもとに、もとの波形Y(x,y)
の復元値Y'(x,y) を出力する。

【００６５】図８は二次元信号復元処理部５０２の内部
のブロック図である。二次元信号復元処理部５０２は、
信号成分算出部６０１、第１の補間部６０２、第２の補
間部６０３、解像度スケールs1の第１の予測フィルタ６
０４、第２の予測フィルタ６０５、解像度スケールs2の
第３の予測フィルタ６０６、第４の予測フィルタ６０
７、解像度スケールs1の補正部６０８、解像度スケール
s2の補正部６０９、解像度スケールs0の第１の逆フィル
タバンク６１０、第２の逆フィルタバンク６１１、解像
度スケールs1の第３の逆フィルタバンク６１２、第４の
逆フィルタバンク６１３、解像度スケールs2の第５の逆
フィルタバンク６１４、および、第６の逆フィルタバン
ク６１５を有する。解像度スケールs1とs2に対しては同
じ処理を施すので、解像度スケールs0とs1を代表させ
て、説明を行う。

【００６６】信号成分算出部６０１において振幅情報Am
Y2(k;s0)は特徴点の位置に関する情報である線情報LY2
(k;s0)で指定される座標に対応する振幅情報AmY2(k;s0)
をおき、２次元情報AY2P(x,y;s0)に変換される。２次元
情報AY2P(x,y;s0)は、線情報LY2(k ;s0)が指定した座標
においてのみ値を持ち、それ以外では０の２次元情報で
ある。信号成分算出部６０１は、線情報LY2(k;s0) 内の
連結した点の座標系列(x,y)からx 方向とy 方向の接線
方向を独立に求めてから決定する。前述の輝度信号AmY2
(k;s0)とを用いて、信号W1YP(x,y;s0)およびW2YP(x,y;s
0)を求める。信号W1YP(x,y;s0),W2YP(x,y;s0) は特徴点
のみで値を持ち、その他の場所では０である信号である
ので、第１の補間部６０２および第２の補間部６０３に
おいて補間がかけられる。ここで述べている信号成分算
出部６０１および第１の補間部６０２、第２の補間部６
０３はそれぞれ前述した図３に示した信号成分算出部３
０３および第１の補間部３０４、第２の補間部３０５と
同じものである。補間の方法は種々考えられるが、ここ
では振動が少ないという条件から導かれた関数による補
間をかける。

【００６７】はじめに、信号W1YP(x,y;s0)はx 方向への
偏微分の極大点が極小点だったので、y を固定して、x
方向に補間をかける。いま、x ＿i,x ＿(i+1) がx 方向
にスキャンして求められた連続する特徴点とする。その
間を

【００６８】

【数２５】

【００６９】

【数２６】

【００７０】で定義される補間も同様にして行う。y 方
向の補間も同様にして行う。その補間関数をe2(y) とす
る。これらを解像度スケールs0の第１の逆フィルタバン
ク６１０および第２の逆フィルタバンク６１１へ印加す
る。第１の逆フィルタバンク６１０および第２の逆フィ
ルタバンク６１１は、式１および式２で与えられるフィ
ルタバンクの逆フィルタである。第１の逆フィルタバン
ク６１０および第２の逆フィルタバンク６１１の出力を
逆インパルス応答 IW1(x,y;s0),IW2(x,y;s0)とし、位置
（x,y ）に関する２次元のフーリエ変換結果をFIW1( ω
x,ωy;s0) およびFIW2( ωx,ωy;s0) とすると、逆フィ
ルタはフーリエ空間で次のように与えられる。

【００７１】

【数２７】

【００７２】

【数２８】

【００７３】このようにして定義されたフィルタを通っ
てYY1(x,y;s0),YY2(x,y;s0) を出力する。

【００７４】

【数２９】

【００７５】

【数３０】

【００７６】次に、解像度スケールs0の第１の補間部６
０２、および、第２の補間部６０３の出力W1Y'(x,y;s0)
およびW2Y'(x,y;s0)を解像度スケールs1の第１の予測フ
ィルタ６０４および第２の予測フィルタ６０５に印加す
る。第１の予測フィルタ６０４および第２の予測フィル
タ６０５の周波数領域でのインパルズ応答をPW1(ωx,ω
y;s01),PW2( ωx,ωy;s01)とすると、次のように与えら
れる。

【００７７】

【数３１】

【００７８】

【数３２】

【００７９】第１の予測フィルタ６０４および第２の予
測フィルタ６０５の出力をそれぞれW1Y"(x,y; s1),W2Y"
(x,y;s1)とし、これらを解像度スケールs1の補正部６０
８に印加する。第１の予測フィルタ６０４および第２の
予測フィルタ６０５はそれぞれ前述した図３に示した第
１の予測フィルタ３０６および第２の予測フィルタ３０
７と同じものである。

【００８０】解像度スケールs1の補正部６０８では、先
ず、予測された信号W1Y"(x,y;s1)およびW2Y"(x,y;s1)の
特徴点を求める。次に、特徴点において、予測された信
号W1Y"(x,y;s1)およびW2Y"(x,y;s1)との２乗和をとら
れ、さらに、その平方根をとられて、最大値を求める。
つまり、最大値をMp"(x,y; s1)とすると、次のように表
すことができる。

【００８１】

【数３３】

【００８２】但し、ここで、MAX[ ]は[ ] の最大値を表
す意味をする。また、同様に、図２の第２の輝度信号分
析部２０２の分析結果W1Y(x,y;s1) およびW2Y(x,y; s1)
の２乗和をとり、その平方根を取って、最大値を求め
る。すなわち、この場合の最大値をMp(x,y;s1)とする
と、次のように表すことができる。

【００８３】

【数３４】

【００８４】そして、両方の最大値の比率（補正係数）
を計算する。たとえば、上述した場合の補正係数はCp
(x,y;s01) とすると、次のようになる。

【００８５】

【数３５】

【００８６】このとき、特徴点の位置における予測され
た信号W1Y"(x,y;s1)およびW2Y"(x,y;s1)に補正係数Cp
(x,y; s01)で補正を行う。補正後の出力はW1Y'(x,y;s1)
およびW2Y'(x,y,s1)として、次のように表すことができ
る。

【００８７】

【数３６】

【００８８】

【数３７】

【００８９】これらを解像度スケールs1の第３の逆フィ
ルタバンク６１２および第４の逆フィルタバンク６１３
へ印加する。第３の逆フィルタバンク６１２および第４
の逆フィルタバンク６１３は、式１および式２で与えら
れるフィルタバンクの解像度スケールs1の逆フィルタで
ある。第３の逆フィルタバンク６１２および第４の逆フ
ィルタバンク６１３の出力を逆インパルス応答IW1(x,y;
s1),IW2(x,y;s1) とし、位置（x,y ）に関する２次元の
フーリエ変換結果をFIW1( ωx,ωy;s1),FIW2( ωx,ωy;
s1) とすると、逆フィルタはフーリエ空間で次のように
与えられる。

【００９０】

【数３８】

【００９１】

【数３９】

【００９２】このようにして定義されたフィルタを通っ
てYY1(x,y;s1),YY2(x,y;s1) を出力する。

【００９３】

【数４０】

【００９４】

【数４１】

【００９５】解像度スケールs2の予測および補正も解像
度スケールs1の予測および補正と同様に行うので、ここ
では省略する。最後に、すべての解像度スケールに関し
て足し合わされ、Y2(x,y) が得られる。

【００９６】

【数４２】

【００９７】以上で予測および補正を含む復号化が完成
したことになる。最後に求められたY2(x,y) に低周波成
分YL2(x,y)を加えて、最終的な輝度信号Y'(x,y) を得
る。

【００９８】本発明の上記実施例の変形態様を述べる。
入力がカラー画像の場合でも、異なる解像度スケールを
持つフィルタの分析値間の相関が大きいので、この方法
が適用できる。たとえば、YUV 信号を扱う場合でも、Y,
U,V を独立に処理し個々の成分に対してスケール間の相
関を利用できる。さらに、Y,U,V 信号間の相関を利用す
れば、さらなる圧縮が期待できる。カラー画像信号とし
てR,G,B を使用した場合も同様である。

【００９９】また、本発明においては、第１の分析フィ
ルタ２０１および第２の分析フィルタ２０２の分析フィ
ルタとしてスムージング関数としての３次のＢスプライ
ン以外の方法も適用できる。たとえば、本発明において
は、ガウス関数の一回微分などを用いることもできる。
また、上記実施例では、補正係数を求める時や補正を行
うときなどは、特徴点における分析値しか使わないが、
本発明においては、補正係数を求めるときや補正を行う
ときなどは画像のピクセル全体における分析値を用いて
もよい。

【０１００】

【発明の効果】本発明によれば、一つの解像度スケール
による特徴点の位置およびその位置における分析値から
他のスケールの特徴点の位置およびその位置における分
析値を同時に予測することにより、画像情報を効率的
に、一層少なく符号化、復号化できる。

【図面の簡単な説明】

【図１】図１は本発明の多重解像度を用いた画像信号分
析合成装置（画像符号化装置）の全体構成図である。

【図２】図２は、図１に示した符号化部１０１の回路構
成図である。

【図３】図３は、図１に示した局所復号化部１０２の回
路構成図である。

【図４】図４は、図２に示した第１の輝度信号分析部２
０１、第２の輝度信号分析部２０２および第３の輝度信
号分析部２０３の詳細な構成を示す図である。

【図５】図５は、図４に示した線情報連結部４０６の処
理を示すフローチャートである。

【図６】図６は、図４に示した線情報連結部４０６の動
作を説明するためのグラフである。

【図７】図７は復号化装置の全体構成図である。

【図８】図８は、図７に示した復号化装置の二次元信号
復元処理部５０２の構成図である。

【符号の説明】

１０１・・符号化部１０２・・局所復号化部１０３・・圧縮変調部２０１〜２０３・・輝度信号分析部２０４・・低周波数成分検出部２０５・・線情報圧縮部２０６・・圧縮処理部２０７・・低周波数成分圧縮部３０１・・線情報伸長部３０２・・分析結果伸長部３０３・・信号成分算出部３０４、３０５・・補間部３０６〜３０９・・予測フィルタ３１０、３１１・・補正係数演算部４０１、４０２・・分析フィルタ４０３・・スレッショルド演算部４０４、４０５・・特徴点検出部４０６、４０７・・線情報連結部４０８、４０９・・線情報選択部４１１〜４２２・・フィルタバンク５０１・・波形復元処理部５０２・・二次元信号復元処理部５０３・・線情報伸長部５０４・・分析結果伸長部５０５・・低周波成分伸長部５０６・・圧縮変調信号受信部６０１・・信号成分算出部６０２、６０３・・補間部６０４〜６０７・・予測フィルタ６０８、６０９・・補正部６１０〜６１５・・逆フィルタバンク

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０３Ｍ 7/30 Ｚ 9382−5ＫＨ０４Ｎ 1/41 ＢＧ０６Ｆ 15/68 ４００Ａ

Claims

【特許請求の範囲】

【請求項１】入力された画像信号を、それぞれ異なる
解像度スケールを持つ複数のフィルタで分析する手段
と、前記異なる解像度スケールを持つ複数のフィルタで分析
する手段のうちの１つの解像度スケールの分析値につい
て特徴点を検出する手段と、前記１つのフィルタから得られる特徴点および分析値か
ら他の解像度スケールの信号を予測する手段と、前記複数のフィルタで得られたそれぞれ異なる解像度ス
ケールの信号と、前記予測されたそれぞれ異なる解像度
スケールの信号とを比較して前記予測された信号を補正
する値を求める手段と、前記１つのフィルタから得られる特徴点および分析値を
符号化する手段と、前記補正する値を符号化する手段とを有する画像符号化
装置。
【請求項２】前記入力画像信号の低周波成分を検出す
る手段と、検出された低周波成分信号を符号化する手段とを有する
請求項１記載の画像符号化装置。
【請求項３】前記分析する手段は、前記低周波成分を
検出する手段において検出された低周波成分を前記入力
された画像の輝度信号から減じた低周波成分除去輝度信
号について分析を行う請求項２記載の画像符号化装置。
【請求項４】前記異なる解像度スケールに基づいて分
析された信号を圧縮する手段を有し、前記符号化手段は圧縮された信号について符号化する請
求項３記載の画像符号化装置。
【請求項５】前記フィルタで分析される画像信号は輝
度信号であり、前記フィルタの特徴点の位置における分析値は画像信号
の振幅情報である請求項１〜４いずれか記載の画像符号
化装置。
【請求項６】前記フィルタで分析する手段は、それぞ
れ異なるインパルス応答を持ち、前記画像の輝度信号を
分析する２つの並列に設けられた分析フィルタと、前記２つの分析フィルタ手段の分析結果から所定のしき
い値に基づいて２つの輝度信号を得る手段と、前記２つの輝度信号を得る手段で得られた輝度信号の特
徴点をそれぞれ検出する２つの並列に設けられた特徴点
検出手段と、前記２つの特徴点検出部で検出された特徴点をそれぞれ
線情報に連結する２つの並列に設けられた線情報連結手
段と、前記線情報連結手段で連結された線情報から所望の線情
報を選択する線情報選択手段とを有する請求項５記載の
画像符号化装置。
【請求項７】前記解像度スケールの特徴点検出手段
は、前記振幅情報および前記線情報から２次元情報に変
換する手段と、前記変換された２次元情報を補間する手段とを有する請
求項６記載の画像符号化装置。
【請求項８】前記補間する手段は、凸射影法を用いて
補間情報を前記信号を予測する手段に出力する請求項７
記載の画像符号化装置。
【請求項９】符号化された入力画像の輝度信号を用い
て、複数のフィルタのうちの１つの解像度スケールのフ
ィルタの分析値の特徴点およびその位置における分析値
を求める手段と、元の輝度信号に対応する２次元信号を復元する手段と、この２次元信号を用いて、他の解像度スケールの特徴点
の位置およびその位置における分析値を同時に予測する
手段と、送られてきた補正係数で特徴点の位置における分析値の
補正を行う手段と、補正を行った後の各解像度スケールの情報に基づいて、
再合成フィルタにより画像の輝度信号を復元する手段と
を有する画像復号化装置。
【請求項１０】前記２次元信号を復元する手段は、凸
射影法により元の輝度信号に対応する２次元信号を復元
する請求項９記載の画像復号化装置。