JPH10243406A

JPH10243406A - 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体

Info

Publication number: JPH10243406A
Application number: JP36016597A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Kenji Takahashi; 健治高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-12-26
Filing date: 1997-12-26
Publication date: 1998-09-11
Anticipated expiration: 2017-12-26
Also published as: JP3844031B2

Abstract

(57)【要約】【課題】より画質の向上した復号画像を得ることがで
きるようにする。【解決手段】予測タップ生成回路３２では、間引き回
路３１でＨＤ画像を間引くことにより得られるＳＤ画像
を構成する画素のうちの１つを注目画素として、その注
目画素に対して、複数パターンの予測タップが形成さ
れ、クラス分類適応処理回路３３では、予測タップと、
所定の予測係数との線形結合により、ＨＤ画像の予測値
を求める適応処理が行われる。そして、予測誤差算出回
路３４では、複数パターンの予測タップそれぞれから得
られる予測値の、ＨＤ画像に対する予測誤差が算出さ
れ、タップパターンコード付加回路３６では、複数パタ
ーンの予測タップのうち、最小の予測誤差が得られるも
のに対応するパターンコードが、注目画素の画素値に付
加される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像復号装置および画像復号方
法、並びに記録媒体に関する。特に、原画像とほぼ同一
の復号画像が得られるように、画像を間引いて圧縮符号
化する画像符号化装置および画像符号化方法、画像復号
装置および画像復号方法、並びに記録媒体に関する。

【０００２】

【従来の技術】例えば、標準解像度または低解像度の画
像（以下、適宜、ＳＤ画像という）を、高解像度の画像
（以下、適宜、ＨＤ画像という）に変換したり、また、
画像を拡大したりする場合においては、いわゆる補間フ
ィルタなどによって、不足している画素の画素値の補間
（補償）が行われるようになされている。

【０００３】しかしながら、補間フィルタによって画素
の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画
像の成分（高周波成分）を復元することはできないた
め、高解像度の画像を得ることは困難であった。

【０００４】そこで、本件出願人は、ＳＤ画像を、そこ
に含まれていない高周波成分をも含むＨＤ画像に変換す
る画像変換装置（画像変換回路）を先に提案している。

【０００５】この画像変換装置においては、ＳＤ画像
と、所定の予測係数との線形結合により、ＨＤ画像の画
素の予測値を求める適応処理を行うことで、ＳＤ画像に
は含まれていない高周波成分が復元されるようになされ
ている。

【０００６】即ち、例えば、いま、ＨＤ画像を構成する
画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測
値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する
画素）の画素値（以下、適宜、学習データという）
ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・
の線形結合により規定される線形１次結合モデルにより
求めることを考える。この場合、予測値Ｅ［ｙ］は、次
式で表すことができる。

【０００７】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【０００８】そこで、一般化するために、予測係数ｗの
集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、お
よび予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】で定義すると、次のような観測方程式が成立する。

【０００９】ＸＷ＝Ｙ’・・・（２）

【００１０】そして、この観測方程式に最小自乗法を適
用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、教師データとなるＨＤ画
素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素
の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でな
る行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【００１１】ＸＷ＝Ｙ＋Ｅ・・・（３）

【００１２】この場合、ＨＤ画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

【数３】を最小にすることで求めることができる。

【００１３】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【００１４】

【数４】・・・（４）

【００１５】そこで、まず、式（３）を、予測係数ｗ_i
で微分することにより、次式が成立する。

【００１６】

【数５】・・・（５）

【００１７】式（４）および（５）より、式（６）が得
られる。

【００１８】

【数６】・・・（６）

【００１９】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。

【００２０】

【数７】・・・（７）

【００２１】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗにかかる係数で構成される
行列が正則である必要がある）、最適な予測係数ｗを求
めることができる。なお、式（７）を解くにあたって
は、例えば、掃き出し法（Gauss-Jordanの消去法）など
を適用することが可能である。

【００２２】以上のようにして、最適な予測係数ｗのセ
ットを求め、さらに、その予測係数ｗのセットを用い、
式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ
［ｙ］を求めるのが適応処理である（但し、あらかじめ
予測係数ｗのセットを求めておき、その予測係数ｗのセ
ットから、予測値を求めるのも、適応処理に含まれるも
のとする）。

【００２３】なお、適応処理は、ＳＤ画像には含まれて
いない、ＨＤ画像に含まれる成分が再現される点で、補
間処理とは異なる。即ち、適応処理では、式（１）だけ
を見る限りは、いわゆる補間フィルタを用いての補間処
理と同一であるが、その補間フィルタのタップ係数に相
当する予測係数ｗが、教師データｙを用いて、いわば学
習により求められるため、ＨＤ画像に含まれる成分を再
現することができる。即ち、容易に、高解像度の画像を
得ることができる。このことから、適応処理は、いわば
画像の創造作用がある処理ということができる。

【００２４】図２５は、画像の特徴（クラス）に基づい
て以上のような適応処理により、ＳＤ画像をＨＤ画像に
変換する画像変換装置の構成例を示している。

【００２５】ＳＤ画像は、クラス分類回路１０１および
遅延回路１０２に供給されるようになされており、クラ
ス分類回路１０１では、ＳＤ画像を構成するＳＤ画素が
順次、注目画素とされ、その注目画素が、所定のクラス
にクラス分類される。

【００２６】即ち、クラス分類回路１０１は、まず最初
に、注目画素の周辺にあるＳＤ画素を幾つか集めてブロ
ックを構成し（以下、適宜、処理ブロックという）、そ
の処理ブロックを構成する、例えばすべてのＳＤ画素の
画素値のパターンにあらかじめ割り当てられた値を、注
目画素のクラスとして、係数ＲＯＭ１０４のアドレス端
子（ＡＤ）に供給する。

【００２７】具体的には、クラス分類回路１０１は、例
えば、図２６に点線の四角形で囲んで示すように、注目
画素を中心とする５×５のＳＤ画素（同図において○印
で示す）でなる処理ブロックを、ＳＤ画像から抽出し、
これらの２５のＳＤ画素の画素値のパターンに対応する
値を、注目画素のクラスとして出力する。

【００２８】ここで、各ＳＤ画素の画素値を表すのに、
例えば、８ビットなどの多くのビット数が割り当てられ
ている場合、２５のＳＤ画素の画素値のパターン数は、
（２⁸）²⁵通りという莫大な数となり、その後の処理の
迅速化が困難となる。

【００２９】そこで、クラス分類を行う前の前処理とし
て、処理ブロックには、それを構成するＳＤ画素のビッ
ト数を低減するための処理である、例えばＡＤＲＣ（Ad
aptiv Dynamic Range Coding）処理などが施される。

【００３０】即ち、ＡＤＲＣ処理では、まず、処理ブロ
ックを構成する２５のＳＤ画素から、その画素値の最大
のもの（以下、適宜、最大画素という）と最小のもの
（以下、適宜、最小画素という）とが検出される。そし
て、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮ
との差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤ
Ｒを処理ブロックの局所的なダイナミックレンジとす
る。このダイナミックレンジＤＲに基づいて、処理ブロ
ックを構成する各画素値が、元の割当ビット数より少な
いＫビットに再量子化される。つまり、処理ブロックを
構成する各画素値から最小画素の画素値ＭＩＮが減算さ
れ、各減算値が、ＤＲ／２^Kで除算される。

【００３１】その結果、処理ブロックを構成する各画素
値はＫビットで表現されるようになる。従って、例えば
Ｋ＝１とした場合、２５のＳＤ画素の画素値のパターン
数は、（２¹）²⁵通りになり、ＡＤＲＣ処理を行わない
場合に比較して、パターン数を非常に少ないものとする
ことができる。なお、画素値を、このようにＫビットに
するＡＤＲＣ処理を、以下、適宜、ＫビットＡＤＲＣ処
理という。

【００３２】係数ＲＯＭ１０４は、あらかじめ学習が行
われることにより求められた予測係数のセットを、クラ
スごとに記憶しており、クラス分類回路１０１からクラ
スが供給されると、そのクラスに対応するアドレスに記
憶されている予測係数のセットを読み出し、予測演算回
路１０５に供給する。

【００３３】一方、遅延回路１０２では、予測演算回路
１０５に対して、係数ＲＯＭ１０４から予測係数のセッ
トが供給されるタイミングと、後述する予測タップ生成
回路１０３から予測タップが供給されるタイミングとを
一致させるために必要な時間だけ、ＳＤ画像が遅延さ
れ、予測タップ生成回路１０３に供給される。

【００３４】予測タップ生成回路１０３では、そこに供
給されるＳＤ画像から、予測演算回路１０５において所
定のＨＤ画素の予測値を求めるのに用いるＳＤ画素が抽
出され、これが予測タップとして、予測演算回路１０５
に供給される。即ち、予測タップ生成回路１０３では、
ＳＤ画像から、例えば、クラス分類回路１０１で抽出さ
れたとの同一の処理ブロックが抽出され、その処理ブロ
ックを構成するＳＤ画素が、予測タップとして、予測演
算回路１０５に供給される。

【００３５】予測演算回路１０５では、係数ＲＯＭ１０
４からの予測係数ｗ，ｗ₂，・・・と、予測タップ生成
回路１０３からの予測タップｘ₁，ｘ₂，・・・とを用い
て、式（１）に示した演算、即ち、適応処理が行われる
ことにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、
これが、ＨＤ画素の画素値として出力される。

【００３６】即ち、ここでは、例えば、図２６において
実線の四角形で囲む、注目画素を中心とする３×３のＨ
Ｄ画素（同図において・点で示す）の予測値が、１つの
予測タップから求められるようになされており、この場
合、予測演算回路１０５では、この９個のＨＤ画素につ
いて、式（１）の演算が行われる。従って、係数ＲＯＭ
１０４では、１のクラスに対応するアドレスに、９セッ
トの予測係数のセットが記憶されている。

【００３７】以下同様の処理が、その他のＳＤ画素を注
目画素として行われ、これにより、ＳＤ画像がＨＤ画像
に変換される。

【００３８】次に、図２７は、図２５の係数ＲＯＭ１０
４に記憶させるクラス毎の予測係数のセットを算出する
学習処理を行う学習装置の構成例を示している。

【００３９】学習における教師データｙとなるべきＨＤ
画像が、間引き回路１１１および遅延回路１１４に供給
されるようになされており、間引き回路１１１では、Ｈ
Ｄ画像が、例えば、その画素数が間引かれることにより
少なくされ、これによりＳＤ画像とされる。このＳＤ画
像は、クラス分類回路１１２および予測タップ生成回路
１１３に供給される。

【００４０】クラス分類回路１１２または予測タップ生
成回路１１３では、図２５のクラス分類回路１０１また
は予測タップ生成回路１０３における場合と同様の処理
が行われ、これにより注目画素のクラスまたは予測タッ
プがそれぞれ出力される。クラス分類回路１１２が出力
するクラスは、予測タップメモリ１１５および教師デー
タメモリ１１６のアドレス端子（ＡＤ）に供給され、予
測タップ生成回路１１３が出力する予測タップは、予測
タップメモリ１１５に供給される。

【００４１】予測タップメモリ１１５では、クラス分類
回路１１２から供給されるクラスに対応するアドレス
に、予測タップ生成回路１１３から供給される予測タッ
プが記憶される。

【００４２】一方、遅延回路１１４では、注目画素に対
応するクラスが、クラス分類回路１１２から教師データ
メモリ１１６に供給される時間だけ、ＨＤ画像が遅延さ
れ、そのうちの、予測タップに対して図２６に示した位
置関係にあるＨＤ画素の画素値だけが、教師データとし
て、教師データメモリ１１６に供給される。

【００４３】そして、教師データメモリ１１６では、ク
ラス分類回路１１２から供給されるクラスに対応するア
ドレスに、遅延回路１１４から供給される教師データが
記憶される。

【００４４】以下同様の処理が、あらかじめ学習用に用
意されたすべてのＨＤ画像から得られるＳＤ画像を構成
するすべてのＳＤ画素が注目画素とされるまで繰り返さ
れる。

【００４５】以上のようにして、予測タップメモリ１１
５または教師データメモリ１１６の同一のアドレスに
は、図２６において○印で示したＳＤ画素または図２６
において・印で示したＨＤ画素とそれぞれ同一の位置関
係にあるＳＤ画素またはＨＤ画素が、学習データｘまた
は教師データｙとして記憶される。

【００４６】なお、予測タップメモリ１１５と教師デー
タメモリ１１６においては、同一アドレスに複数の情報
を記憶することができるようになされており、これによ
り、同一アドレスには、同一のクラスに分類される複数
の学習データｘと教師データｙを記憶することができる
ようになされている。

【００４７】その後、演算回路１１７は、予測タップメ
モリ１１５または教師データメモリ１１６から、同一ア
ドレスに記憶されている学習データとしての予測タップ
または教師データとしてのＨＤ画素の画素値を読み出
し、それらを用いて、最小自乗法によって、予測値と教
師データとの間の誤差を最小にする予測係数のセットを
算出する。即ち、演算回路１１７では、クラス毎に、式
（７）に示した正規方程式がたてられ、これを解くこと
によりクラス毎の予測係数のセットが求められる。

【００４８】以上のようにして、演算回路１１７で求め
られたクラス毎の予測係数のセットが、図２５の係数Ｒ
ＯＭ１０４における、そのクラスに対応するアドレスに
記憶されている。

【００４９】なお、以上のような学習処理において、予
測係数のセットを求めるのに必要な数の正規方程式が得
られないクラスが生じる場合があるが、そのようなクラ
スについては、例えば、クラスを無視して正規方程式を
たてて解くことにより得られる予測係数のセットなど
が、いわばデフォルトの予測係数のセットとして用いら
れる。

【００５０】ところで、図２５の画像変換装置によれ
ば、ＨＤ画像の画素数を間引くなどして少なくすること
により得られるＳＤ画像から、上述したように、そこに
含まれていない高周波成分をも含むＨＤ画像を得ること
ができるが、元のＨＤ画像に近づけるのには限界があ
る。その理由として、ＨＤ画像の画素数を間引いただけ
のＳＤ画像の画素（ＳＤ画素）の画素値が、元のＨＤ画
像を復元するのに、最適ではないことが考えられる。

【００５１】そこで、本件出願人は、元のＨＤ画像によ
り近い画質の復号画像を得ることができるようにするた
め、適応処理を利用した画像の圧縮（符号化）について
先に提案している（例えば、特願平８−２０６５５２号
など）。

【００５２】即ち、図２８は、適応処理によって、元の
ＨＤ画像により近い復号画像を得ることができるよう
に、そのＨＤ画像を、最適なＳＤ画像に圧縮（符号化）
する画像符号化装置の構成例を示している。

【００５３】符号化対象のＨＤ画像は、間引き部１２１
および誤差算出部４３に供給される。

【００５４】間引き部１２１では、ＨＤ画像が、例え
ば、単純に間引かれることによりＳＤ画像とされ、補正
部４１に供給される。補正部４１は、間引き部１２１か
らＳＤ画像を受信すると、最初は、そのＳＤ画像を、そ
のままローカルデコード部１２２に出力する。ローカル
デコード部１２２は、例えば、図２５に示した画像変換
装置と同様に構成され、補正部４１からのＳＤ画像を用
いて、上述したような適応処理を行うことにより、ＨＤ
画素の予測値を算出し、誤差算出部４３に出力する。誤
差算出部４３は、ローカルデコード部１２２からのＨＤ
画素の予測値の、元のＨＤ画素に対する予測誤差（誤差
情報）を算出し、制御部４４に出力する。制御部４４
は、誤差算出部４３からの予測誤差に対応して、補正部
４１を制御する。

【００５５】即ち、これにより、補正部４１は、間引き
部１２１からのＳＤ画像の画素値を、制御部４４からの
制御に従って補正し、ローカルデコード部１２２に出力
する。ローカルデコード部１２２では、補正部４１から
供給される補正後のＳＤ画像を用いて、再び、ＨＤ画像
の予測値が求められる。

【００５６】以下、例えば、誤差算出部４３が出力する
予測誤差が、所定値以下となるまで、同様の処理が繰り
返される。

【００５７】そして、誤差算出部４３が出力する予測誤
差が、所定値以下となると、制御部４４は、補正部４１
を制御し、これにより、予測誤差が所定値以下となった
ときの、補正後のＳＤ画像を、ＨＤ画像の最適な符号化
結果として出力させる。

【００５８】従って、この補正後のＳＤ画像によれば、
それに適応処理を施すことにより、予測誤差が所定値以
下のＨＤ画像を得ることができる。

【００５９】ここで、以上のようにして、図２８の画像
符号化装置から出力されるＳＤ画像は、元のＨＤ画像に
より近い復号画像を得るのに最適なものということがで
きるから、この画像符号化装置の補正部４１、ローカル
デコード部１２２、誤差算出部４３、および制御部４４
で構成される系が行う処理は、最適化処理ということが
できる。

【００６０】

【発明が解決しようとする課題】ところで、適応処理
は、いわば、ＨＤ画素の周辺のＳＤ画素で予測タップを
構成し、その予測タップを用いて、ＨＤ画素の予測値を
求めるものであるが、予測タップとして用いられるＳＤ
画素は、画像とは無関係に選択されるようになされてい
た。

【００６１】即ち、図２５の画像変換装置の予測タップ
生成回路１０３や、この画像変換装置と同様に構成され
る図２８のローカルデコード部１２２では、常に、一定
パターンの予測タップが生成（形成）されるようになさ
れていた。

【００６２】しかしながら、画像は、局所的に特性が異
なる場合が多く、従って、特性が異なれば、それに対応
した予測タップを用いて適応処理をした方が、元のＨＤ
画像の画質により近い復号画像を得ることができると考
えられる。

【００６３】本発明は、このような状況に鑑みてなされ
たものであり、より画質の向上した復号画像を得ること
ができるようにするものである。

【００６４】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、圧縮画像信号を構成する画素のうちの１つ
を注目画素として、その注目画素の近傍の画素を用い
て、複数パターンの予測タップを形成する第１の形成手
段と、複数パターンの予測タップそれぞれと、所定の予
測係数とから、原画像信号を予測し、複数パターンの予
測タップそれぞれに対する予測値を出力する第１の予測
手段と、複数パターンの予測タップそれぞれに対する予
測値の、原画像信号に対する予測誤差を算出する第１の
算出手段と、複数パターンの予測タップのうち、最小の
予測誤差が得られる予測タップに対応するパターンコー
ドを、注目画素の画素値に付加する付加手段とを備える
ことを特徴とする。

【００６５】請求項１３に記載の画像符号化方法は、圧
縮画像信号を構成する画素のうちの１つを注目画素とし
て、その注目画素の近傍の画素を用いて、複数パターン
の予測タップを形成する第１の形成ステップと、複数パ
ターンの予測タップそれぞれと、所定の予測係数とか
ら、原画像信号を予測し、複数パターンの予測タップそ
れぞれに対する予測値を出力する第１の予測ステップ
と、複数パターンの予測タップそれぞれに対する予測値
の、原画像信号に対する予測誤差を算出する第１の算出
ステップと、複数パターンの予測タップのうち、最小の
予測誤差が得られる予測タップに対応するパターンコー
ドを、注目画素の画素値に付加する付加ステップとを備
えることを特徴とする。

【００６６】請求項２５に記載の画像復号装置は、符号
化データに含まれる圧縮画像信号を構成する画素のうち
の１つを注目画素として、その注目画素の画素値に付加
されているパターンコードに対応するパターンの予測タ
ップを、注目画素の近傍の画素を用いて形成する形成手
段と、形成手段により形成された予測タップと、予測係
数とから、原画像信号を予測し、その予測値を求める予
測手段とを備えることを特徴とする。

【００６７】請求項３２に記載の画像復号方法は、符号
化データに含まれる圧縮画像信号を構成する画素のうち
の１つを注目画素として、その注目画素の画素値に付加
されているパターンコードに対応するパターンの予測タ
ップを、注目画素の近傍の画素を用いて形成する形成ス
テップと、形成ステップにより形成された予測タップ
と、予測係数とから、原画像信号を予測し、その予測値
を求める予測ステップとを備えることを特徴とする。

【００６８】請求項３９に記載の記録媒体は、符号化デ
ータが、圧縮画像信号を構成する画素のうちの１つを注
目画素として、その注目画素の近傍の画素を用いて、複
数パターンの予測タップを形成し、複数パターンの予測
タップそれぞれと、所定の予測係数とから、原画像信号
を予測し、複数パターンの予測タップそれぞれに対する
予測値を出力し、複数パターンの予測タップそれぞれに
対する予測値の、原画像信号に対する予測誤差を算出
し、複数パターンの予測タップのうち、最小の予測誤差
が得られる予測タップに対応するパターンコードを、注
目画素の画素値に付加することにより得られたものであ
ることを特徴とする。

【００６９】請求項１に記載の画像符号化装置において
は、第１の形成手段は、圧縮画像信号を構成する画素の
うちの１つを注目画素として、その注目画素の近傍の画
素を用いて、複数パターンの予測タップを形成し、第１
の予測手段は、複数パターンの予測タップそれぞれと、
所定の予測係数とから、原画像信号を予測し、複数パタ
ーンの予測タップそれぞれに対する予測値を出力するよ
うになされている。第１の算出手段は、複数パターンの
予測タップそれぞれに対する予測値の、原画像信号に対
する予測誤差を算出し、付加手段は、複数パターンの予
測タップのうち、最小の予測誤差が得られる予測タップ
に対応するパターンコードを、注目画素の画素値に付加
するようになされている。

【００７０】請求項１３に記載の画像符号化方法におい
ては、圧縮画像信号を構成する画素のうちの１つを注目
画素として、その注目画素の近傍の画素を用いて、複数
パターンの予測タップを形成し、複数パターンの予測タ
ップそれぞれと、所定の予測係数とから、原画像信号を
予測し、複数パターンの予測タップそれぞれに対する予
測値を出力し、複数パターンの予測タップそれぞれに対
する予測値の、原画像信号に対する予測誤差を算出し、
複数パターンの予測タップのうち、最小の予測誤差が得
られる予測タップに対応するパターンコードを、注目画
素の画素値に付加するようになされている。

【００７１】請求項２５に記載の画像復号装置において
は、形成手段は、符号化データに含まれる圧縮画像信号
を構成する画素のうちの１つを注目画素として、その注
目画素の画素値に付加されているパターンコードに対応
するパターンの予測タップを、注目画素の近傍の画素を
用いて形成し、予測手段は、形成手段により形成された
予測タップと、予測係数とから、原画像信号を予測し、
その予測値を求めるようになされている。

【００７２】請求項３２に記載の画像復号方法において
は、符号化データに含まれる圧縮画像信号を構成する画
素のうちの１つを注目画素として、その注目画素の画素
値に付加されているパターンコードに対応するパターン
の予測タップを、注目画素の近傍の画素を用いて形成
し、その予測タップと、予測係数とから、原画像信号を
予測し、その予測値を求めるようになされている。

【００７３】請求項３９に記載の記録媒体には、圧縮画
像信号を構成する画素のうちの１つを注目画素として、
その注目画素の近傍の画素を用いて、複数パターンの予
測タップを形成し、複数パターンの予測タップそれぞれ
と、所定の予測係数とから、原画像信号を予測し、複数
パターンの予測タップそれぞれに対する予測値を出力
し、複数パターンの予測タップそれぞれに対する予測値
の、原画像信号に対する予測誤差を算出し、複数パター
ンの予測タップのうち、最小の予測誤差が得られる予測
タップに対応するパターンコードを、注目画素の画素値
に付加することにより得られた符号化データが記録され
ている。

【００７４】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００７５】即ち、請求項１に記載の画像符号化装置
は、画像信号を符号化する画像符号化装置であって、原
画像信号の画素数より少ない画素数の圧縮画像信号を発
生する圧縮手段（例えば、図５に示す間引き回路３１な
ど）と、圧縮画像信号を構成する画素のうちの１つを注
目画素として、その注目画素の近傍の画素を用いて、複
数パターンの予測タップを形成する第１の形成手段（例
えば、図５に示す予測タップ生成回路３２や、図２２に
示す予測タップ生成回路６１など）と、複数パターンの
予測タップそれぞれと、所定の予測係数とから、原画像
信号を予測し、複数パターンの予測タップそれぞれに対
する予測値を出力する第１の予測手段（例えば、図５に
示すクラス分類適応処理回路３３や、図２２に示すクラ
ス分類適応処理回路６２など）と、複数パターンの予測
タップそれぞれに対する予測値の、原画像信号に対する
予測誤差を算出する第１の算出手段（例えば、図５に示
す予測誤差算出回路３４や、図２２に示す予測誤差算出
回路６３など）と、複数パターンの予測タップのうち、
最小の予測誤差が得られる予測タップに対応するパター
ンコードを、注目画素の画素値に付加する付加手段（例
えば、図５に示すタップパターンコード付加回路３６
や、図２２に示すタップパターンコード変更回路６４な
ど）とを備えることを特徴とする。

【００７６】請求項３に記載の画像符号化装置は、第１
の予測手段が、原画像信号および圧縮画像信号に基づい
て演算を行うことにより、予測係数を求める演算手段
（例えば、図１１に示す演算回路８７など）を有するこ
とを特徴とする。

【００７７】請求項４に記載の画像符号化装置は、第１
の予測手段が、注目画素を、所定のクラスに分類するク
ラス分類手段（例えば、図１１に示すクラス分類回路８
２など）をさらに有し、注目画素のクラスに対応する予
測係数と、予測タップとから、予測値を求め、演算手段
が、原画像信号および圧縮画像信号に基づいて、予測係
数を、クラスごとに求めることを特徴とする。

【００７８】請求項７に記載の画像符号化装置は、圧縮
画像信号を、最適な圧縮画像信号に変換する最適化手段
（例えば、図３に示す最適化部２３など）をさらに備え
ることを特徴とする。

【００７９】請求項８に記載の画像符号化装置は、最適
化手段が、注目画素の画素値に付加されたパターンコー
ドに対応するパターンの予測タップを形成する第２の形
成手段（例えば、図１６に示す予測タップ生成回路４２
Ａなど）と、第２の形成手段により形成された予測タッ
プと、予測係数とから、原画像信号を予測し、その予測
値を出力する第２の予測手段（例えば、図１６に示すク
ラス分類適応処理回路４２Ｂなど）と、第２の予測手段
により求められた予測値の、原画像信号に対する予測誤
差を算出する第２の算出手段（例えば、図１６に示す誤
差算出回路４３など）と、第２の算出手段により算出さ
れた予測誤差に対応して、注目画素の画素値を補正する
補正手段（例えば、図１６に示す補正部４１など）とを
有することを特徴とする。

【００８０】請求項１０に記載の画像符号化装置は、最
適化処理を行うごとに得られる圧縮画像信号と、原画像
信号とに基づいて、第２の予測手段により求められる予
測値の、原画像信号に対する予測誤差を小さくするよう
に、予測係数を修正する修正手段（例えば、図３に示す
適応処理部２４など）をさらに備え、第１および第２の
予測手段が、修正手段により修正され予測係数を用い
て、予測値を求めることを特徴とする。

【００８１】請求項１１に記載の画像符号化装置は、最
適化手段が出力する圧縮画像信号と、修正手段が出力す
る予測係数とを出力する出力手段（例えば、図３に示す
多重化部２７など）をさらに備えることを特徴とする。

【００８２】請求項１２に記載の画像符号化装置は、パ
ターンコードが付加された圧縮画像信号と、予測係数と
を出力する出力手段（例えば、図３に示す多重化部２７
など）をさらに備えることを特徴とする。

【００８３】請求項２５に記載の画像復号装置は、原画
像信号の画素数より少ない画素数の圧縮画像信号を発生
し、圧縮画像信号を構成する画素のうちの１つを注目画
素として、その注目画素の近傍の画素を用いて、複数パ
ターンの予測タップを形成し、複数パターンの予測タッ
プそれぞれと、所定の予測係数とから、原画像信号を予
測し、複数パターンの予測タップそれぞれに対する予測
値を出力し、複数パターンの予測タップそれぞれに対す
る予測値の、原画像信号に対する予測誤差を算出し、複
数パターンの予測タップのうち、最小の予測誤差が得ら
れる予測タップに対応するパターンコードを、注目画素
の画素値に付加することにより得られる圧縮画像信号を
含む符号化データを復号する画像復号装置であって、符
号化データに含まれる圧縮画像信号を構成する画素のう
ちの１つを注目画素として、その注目画素の画素値に付
加されているパターンコードに対応するパターンの予測
タップを、注目画素の近傍の画素を用いて形成する形成
手段（例えば、図２４に示す予測タップ生成回路７３な
ど）と、形成手段により形成された予測タップと、予測
係数とから、原画像信号を予測し、その予測値を求める
予測手段（例えば、図２４に示すクラス分類適応処理回
路７４など）とを備えることを特徴とする。

【００８４】請求項２８に記載の画像復号装置は、予測
手段が、注目画素を、所定のクラスに分類するクラス分
類手段（例えば、図１７に示すクラス分類回路９１な
ど）を有し、注目画素のクラスに対応する予測係数と、
予測タップとから、予測値を求め、予測係数が、原画像
信号および圧縮画像信号に基づいて、クラスごとに求め
られたものであることを特徴とする。

【００８５】請求項３１に記載の画像復号装置は、符号
化データが、予測係数も含んでおり、符号化データか
ら、圧縮画像信号と予測係数とを分離する分離手段（例
えば、図２４に示す分離部７２など）をさらに備えるこ
とを特徴とする。

【００８６】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００８７】図１は、本発明を適用した画像処理装置の
一実施の形態の構成を示している。送信装置１には、デ
ィジタル化されたＨＤ画像の画像データが供給されるよ
うになされている。送信装置１は、入力された画像デー
タを間引くこと（その画素数を少なくすること）により
圧縮、符号化し、その結果得られるＳＤ画像の画像デー
タを、ＨＤ画像の符号化データとして、例えば、光ディ
スクや、光磁気ディスク、磁気テープその他でなる記録
媒体２に記録し、または、例えば、地上波や、衛星回
線、電話回線、ＣＡＴＶ網、その他の伝送路３を介して
伝送する。

【００８８】受信装置４では、記録媒体２に記録された
符号化データが再生され、または、伝送路３を介して伝
送されてくる符号化データが受信され、その符号化デー
タを伸張、復号し、その結果得られるＨＤ画像の復号画
像を、図示せぬディスプレイに供給して表示させる。

【００８９】なお、以上のような画像処理装置は、例え
ば、光ディスク装置や、光磁気ディスク装置、磁気テー
プ装置その他の、画像の記録／再生を行う装置や、ある
いはまた、例えば、テレビ電話装置や、テレビジョン放
送システム、ＣＡＴＶシステムその他の、画像の伝送を
行う装置などに適用される。また、後述するように、送
信装置１が出力する符号化データのデータ量が少ないた
め、図１の画像処理装置は、伝送レートの低い、例え
ば、携帯電話機その他の、移動に便利な携帯端末などに
も適用可能である。

【００９０】図２は、送信装置１の構成例を示してい
る。

【００９１】Ｉ／Ｆ（InterFace）１１は、外部から供
給されるＨＤ画像の画像データの受信処理と、送信機／
記録装置１６に対しての、符号化データの送信処理を行
うようになされている。ＲＯＭ（Read Only Memory）１
２は、ＩＰＬ（Initial Program Loading）用のプログ
ラムその他を記憶している。ＲＡＭ（Random Access Me
mory）１３は、外部記憶装置１５に記録されているシス
テムプログラム（ＯＳ（Operating System））やアプリ
ケーションプログラムを記憶したり、また、ＣＰＵ（Ce
ntral Processing Unit）１４の動作上必要なデータを
記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１
２に記憶されているＩＰＬプログラムにしたがい、外部
記憶装置１５からシステムプログラムおよびアプリケー
ションプログラムを、ＲＡＭ１３に展開し、そのシステ
ムプログラムの制御の下、アプリケーションプログラム
を実行することで、Ｉ／Ｆ１１から供給される画像デー
タについての、後述するような符号化処理を行うように
なされている。外部記憶装置１５は、例えば、磁気ディ
スク装置などでなり、上述したように、ＣＰＵ１４が実
行するシステムプログラムやアプリケーションプログラ
ムを記憶している他、ＣＰＵ１４の動作上必要なデータ
も記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１
から供給される符号化データを、記録媒体２に記録し、
または伝送路３を介して伝送するようになされている。

【００９２】なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１
３，ＣＰＵ１４、および外部記憶装置１５は、相互にバ
スを介して接続されている。また、図２において、送信
装置１はＣＰＵを用いた構成であるが、ハードロジック
で構成することも可能である。

【００９３】以上のように構成される送信装置１におい
ては、Ｉ／Ｆ１１にＨＤ画像の画像データが供給される
と、その画像データは、ＣＰＵ１４に供給される。ＣＰ
Ｕ１４は、画像データを符号化し、その結果得られる符
号化データとしてのＳＤ画像を、Ｉ／Ｆ１１に供給す
る。Ｉ／Ｆ１１は、符号化データを受信すると、それ
を、送信機／記録装置１６に供給する。送信機／記録装
置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒
体２に記録され、または伝送路３を介して伝送される。

【００９４】図３は、図２の送信装置１の、送信機／記
録装置１６を除く部分の機能的なブロック図である。

【００９５】符号化すべき画像データとしてのＨＤ画像
は、前処理部２１、最適化部２３、適応処理部２４、お
よび予測タップパターン判定部２６に供給されるように
なされている。

【００９６】前処理部２１は、そこに供給されるＨＤ画
像に対して、後述するような前処理を、例えば、１フレ
ーム（または１フィールド）単位で施し、その結果得ら
れるＳＤ画像または複数パターンの予測タップのそれぞ
れについてのクラス毎の予測係数ｗのセットを、スイッ
チ２２または２５の端子ａにそれぞれ供給するようにな
されている。スイッチ２２の端子ａまたはｂには、前処
理部２１または予測タップパターン判定部２６が出力す
るＳＤ画像が、それぞれ供給されるようになされてい
る。スイッチ２２は、前処理部２１において、あるＨＤ
画像に前処理が施され、これによりＳＤ画像が出力され
るときだけ、端子ａを選択し、それ以外のときは、端子
ｂを選択し、前処理部２１または予測タップパターン判
定部２６が出力するＳＤ画像を、最適化部２３に供給す
るようになされている。

【００９７】最適化部２３は、スイッチ２２から供給さ
れるＳＤ画像に対して、前述の図２８で説明した最適化
処理を施し、その結果得られる最適ＳＤ画像を、適応処
理部２５、予測タップパターン判定部２６、および多重
化化部２７に供給するようになされている。適応処理部
２４は、最適化部２３からの最適ＳＤ画像と、元のＨＤ
画像とを用いて適応処理を行うことによって、最適ＳＤ
画像の画素値との線形結合により求められるＨＤ画像の
予測値の予測誤差を小さくするクラス毎の予測係数ｗの
セットを複数パターンの予測タップ毎に算出し、スイッ
チ２５の端子ｂに出力するようになされている。

【００９８】スイッチ２５は、前処理部２１において、
あるＨＤ画像に前処理が施され、これにより複数パター
ンの予測タップのそれぞれについてのクラス毎の予測係
数ｗのセットが出力されるときだけ、端子ａを選択し、
それ以外のときは、端子ｂを選択し、前処理部２１また
は適応処理部２４が出力する複数パターンの予測タップ
のそれぞれについてのクラス毎の予測係数ｗのセット
を、最適化部２３、予測タップパターン判定部２６、お
よび多重化部２７に供給するようになされている。

【００９９】予測タップパターン判定部２６は、最適化
部２３から供給される最適ＳＤ画像から、複数パターン
の予測タップを形成し、その複数パターンの予測タップ
それぞれを用いて適応処理を行うことで、複数のＨＤ画
像の予測値を求めるようになされている。さらに、予測
タップパターン判定部２６は、複数パターンの予測タッ
プのうち、複数のＨＤ画像の予測値の予測誤差を最小に
するものを判定し、その判定結果に対応して、最適化部
２３からの最適ＳＤ画像の画素値に、後述するパターン
コードを付加して、スイッチ２２の端子ｂに供給するよ
うになされている。

【０１００】多重化部２７は、所定の場合に、最適化部
２３から供給される最適ＳＤ画像と、スイッチ２５を介
して供給される複数パターンの予測タップのそれぞれに
ついてのクラス毎の予測係数ｗのセットとを多重化し、
その多重化結果を、符号化データとして、送信機／記録
装置１６（図２）に出力するようになされている。

【０１０１】次に、図４のフローチャートを参照して、
その動作について説明する。

【０１０２】符号化すべきＨＤ画像が、前処理部２１、
最適化部２３、適応処理部２４、および予測タップパタ
ーン判定部２６に供給されると、前処理部２１では、ス
テップＳ１において、ＨＤ画像に前処理が施される。

【０１０３】即ち、前処理部２１は、ＨＤ画像の画素数
を少なくして圧縮することによりＳＤ画像を構成し、そ
のＳＤ画像を構成するＳＤ画素それぞれを順次注目画素
として、各注目画素に対して、複数パターンの予測タッ
プを形成する。さらに、前処理部２１は、その複数パタ
ーンの予測タップそれぞれについて、式（７）に示した
正規方程式をたてて解くことにより、クラス毎の予測係
数ｗのセットを求める。そして、前処理部２１は、複数
パターンの予測タップと、それぞれについて求めたクラ
ス毎の予測係数ｗのセットの所定のクラスの予測係数の
セットとを用いて、式（１）に示した線形１次式を計算
することにより、複数パターンの予測タップそれぞれか
ら得られる複数のＨＤ画像の予測値を求める。さらに、
前処理部２１は、複数パターンの予測タップのうち、複
数のＨＤ画像の予測値の予測誤差を最も小さくするもの
を検出し、その予測タップのパターンにあらかじめ対応
付けられている、例えば、２ビットのコードであるタッ
プパターンコードを、注目画素となっているＳＤ画素に
付加して出力する。

【０１０４】以上のようにして、タップパターンコード
が付加されたＳＤ画像は、スイッチ２２の端子ａに、ま
た、正規方程式を解くことにより得られた複数パターン
の予測タップのそれぞれについてのクラス毎の予測係数
ｗのセットは、スイッチ２５の端子ａに、それぞれ出力
される。

【０１０５】スイッチ２２および２５は、上述したよう
に、前処理部２１からＳＤ画像および複数パターンの予
測タップのそれぞれについてのクラス毎の予測係数ｗの
セットが出力されるタイミングでは、いずれも端子ａを
選択しており、従って、前処理部２１が出力するＳＤ画
像は、スイッチ２２を介して、最適化部２３に供給さ
れ、また、前処理部２１が出力する複数パターンの予測
タップのそれぞれについてのクラス毎の予測係数ｗのセ
ットは、スイッチ２５を介して、最適化部２３および予
測タップパターン判定部２６に出力される。

【０１０６】最適化部２３は、ＳＤ画像および複数パタ
ーンの予測タップのそれぞれについてのクラス毎の予測
係数ｗのセットを受信すると、ステップＳ２において、
それらを用いて最適化処理を行う。即ち、最適化部２３
は、ＳＤ画像および複数パターンの予測タップのそれぞ
れについてのクラス毎の予測係数ｗのセットを用いて適
応処理を行い、その結果得られるＨＤ画像の予測値の予
測誤差が小さくなるように、ＳＤ画像の画素値を補正す
る。そして、その結果得られる最適ＳＤ画像を、適応処
理部２４および予測タップパターン判定部２６に供給す
る。

【０１０７】適応処理部２４は、最適化部２３から最適
ＳＤ画像を受信すると、ステップＳ３において、適応処
理を行うことにより、最適ＳＤ画像を用いて得られるＨ
Ｄ画像の予測値の予測誤差を小さくする複数パターンの
予測タップのそれぞれについてのクラス毎の予測係数ｗ
のセットを算出する。即ち、適応処理部２４は、最適Ｓ
Ｄ画像を構成するＳＤ画素それぞれを順次注目画素とし
て、各注目画素に対して予測タップを形成する。なお、
このとき、予測タップは、注目画素に付加されているタ
ップパターンコードに対応するパターンのものが形成さ
れる。そして、適応処理部２４は、複数パターンの予測
タップ毎に、予測タップから正規方程式をたて、それを
解くことにより、複数パターンの予測タップのそれぞれ
についてのクラス毎の予測係数ｗのセットを求める。こ
の複数パターンの予測タップのそれぞれについてのクラ
ス毎の予測係数ｗのセットは、スイッチ２５の端子ｂに
供給される。

【０１０８】以上の処理後、ステップＳ４に進み、スイ
ッチ２２および２５が、いずれも、端子ａからｂに切り
換えられ、これにより、適応処理部２４において求めら
れた複数パターンの予測タップのそれぞれについてのク
ラス毎の予測係数ｗのセットが、スイッチ２５を介し
て、最適化部２３および予測タップパターン判定部２６
に供給されるようになる。

【０１０９】そして、予測タップパターン判定部２６
は、最適化部２３から最適ＳＤ画像を受信し、さらに、
適応処理部２４から複数パターンの予測タップのそれぞ
れについてのクラス毎の予測係数ｗのセットを受信する
と、ステップＳ５において、その最適ＳＤ画像を構成す
る各ＳＤ画素を注目画素として形成される予測タップの
最適なパターンが決定される。

【０１１０】即ち、予測タップパターン判定部２６は、
最適ＳＤ画像を構成するＳＤ画素それぞれを順次注目画
素として、各注目画素に対して、複数パターンの予測タ
ップを形成する。さらに、予測タップパターン判定部２
６は、その複数パターンの予測タップそれぞれについ
て、適応処理部２４からのその予測タップに対応するク
ラス毎の予測係数ｗのセットのうち、所定のクラスの予
測係数のセットを用いて、式（１）に示した線形１次式
を計算することにより、複数パターンの予測タップそれ
ぞれから得られる複数のＨＤ画像の予測値を求める。そ
して、予測タップパターン判定部２６は、複数パターン
の予測タップそれぞれを用いて得られる複数のＨＤ画像
の予測値の予測誤差のうちの最も小さいものに対応する
パターンの予測タップを検出し、その予測タップに対応
するタップパターンコードに、注目画素となっているＳ
Ｄ画素に既に付加されているタップパターンコードを変
更する。即ち、いまの場合、ＳＤ画素には、既にタップ
パターンコードが付加されているので、それに代えて、
予測誤差を最も小さくする予測タップのタップパターン
コードが付加される。

【０１１１】以上のようにして、タップパターンコード
が変更されたＳＤ画像は、スイッチ２２の端子ｂに出力
される。

【０１１２】スイッチ２２は、ステップＳ４で切り換え
られ、端子ｂを選択しているので、予測タップパターン
判定部２６が出力するＳＤ画像は、スイッチ２２を介し
て、最適化部２３に供給される。最適化部２３では、ス
テップＳ６において、ステップＳ２における場合と同様
に、最適化処理が行われ、これにより、最適ＳＤ画像が
出力される。なお、この場合、最適化部２３では、ステ
ップＳ２で説明したように適応処理が行われるが、この
適応処理は、スイッチ２５を介して、適応処理部２４か
ら供給される複数パターンの予測タップのそれぞれにつ
いてのクラス毎の予測係数ｗのセットを用いて行われ
る。

【０１１３】最適化部２３から出力される最適ＳＤ画像
は、適応処理部２４および予測タップパターン判定部２
６に供給され、適応処理部２４では、ステップＳ７にお
いて、ステップＳ３における場合と同様に、最適化部２
３が出力する最適ＳＤ画像を用いて適応処理が行われる
ことにより、複数パターンの予測タップのそれぞれにつ
いてのクラス毎の予測係数ｗのセットが求められ、スイ
ッチ２５を介して、最適化部２３および予測タップパタ
ーン判定部２６に出力される。

【０１１４】その後、ステップＳ８に進み、ステップＳ
５乃至Ｓ８の処理を所定の規定回数だけ行ったかどうか
が判定される。ステップＳ８において、ステップＳ５乃
至Ｓ８の処理を、所定の規定回数だけ、まだ行っていな
いと判定された場合、ステップＳ５に戻り、上述の処理
を繰り返す。また、ステップＳ８において、ステップＳ
５乃至Ｓ８の処理を、所定の規定回数だけ行ったと判定
された場合、ステップＳ９に進み、多重化部２７は、前
回のステップＳ６の処理において、最適化部２３が出力
した最適ＳＤ画像と、そのとき用いられた複数パターン
の予測タップのそれぞれについてのクラス毎の予測係数
ｗのセットとを多重化し、符号化データとして出力し
て、処理を終了する。

【０１１５】以上の処理が、例えば、１フレーム単位な
どで繰り返される。

【０１１６】なお、上述の場合、ステップＳ８におい
て、ステップＳ５乃至Ｓ８の処理を所定の規定回数だけ
行ったかどうかを判定するようにしたが、その他、ステ
ップＳ８では、例えば、その時点で最適化部２３から出
力された最適ＳＤ画像を用いて適応処理を行うことによ
り得られるＨＤ画像の予測値の予測誤差の、１フレーム
分の絶対値和などが、所定の閾値以下であるかどうかを
判定し、閾値以下である場合には、ステップＳ９に進
み、閾値以下でない場合には、ステップＳ５に戻るよう
にすることも可能である。即ち、ステップＳ５乃至Ｓ８
の処理は、最適ＳＤ画像を用いて適応処理を行うことに
より得られるＨＤ画像の予測値の予測誤差の、１フレー
ム分の絶対値和が、所定の閾値以下となるまで繰り返す
ようにすることが可能である。

【０１１７】次に、図５は、図３の前処理部２１の構成
例を示している。

【０１１８】符号化すべきＨＤ画像は、間引き回路３
１、クラス分類適応処理回路３３、および予測誤差算出
回路３４に供給されるようになされている。

【０１１９】間引き回路３１は、ＨＤ画像の画素数を、
例えば、間引くことにより少なくし、ＳＤ画像を構成し
て、予測タップ生成回路３２およびタップパターンコー
ド付加回路３６に供給するようになされている。即ち、
間引き回路３１は、例えば、ＨＤ画像を、横×縦が３×
３画素の９画素でなる正方形状のブロックに分割し、各
ブロックの９画素の平均値を、その中心の画素の画素値
として、ＳＤ画像を構成するようになされている。これ
により、間引き回路３１では、例えば、図６に・印で示
すＨＤ画素からなるＨＤ画像から、同図に○印で示すＳ
Ｄ画素からなるＳＤ画像が構成される。

【０１２０】なお、間引き回路３１には、その他、例え
ば、上述のブロックの中心の画素だけを抽出させて、Ｓ
Ｄ画像を構成させるようにすることなども可能である。

【０１２１】予測タップ生成回路３２は、間引き回路３
１からのＳＤ画像を構成する各ＳＤ画素（図６におい
て、○印で示した部分）を、順次注目画素として、各注
目画素について、複数パターンの予測タップを構成する
ようになされている。即ち、本実施の形態では、例え
ば、図７乃至図１０にそれぞれ示すように、注目画素を
中心とする３×３画素、５×３画素、３×５画素、また
は７×５画素の４パターンの予測タップが形成されるよ
うになされている。これらの４パターンの予測タップ
は、クラス分類適応処理回路３３に供給されるようにな
されている。

【０１２２】クラス分類適応処理回路３３は、予測タッ
プ生成回路３２から供給される４パターンの予測タップ
それぞれについて、クラス分類を行い、さらに、各クラ
スについて、ＨＤ画像を用いて式（７）に示した正規方
程式をたてて解くことにより、４パターンの予測タップ
のそれぞれについてのクラス毎の予測係数ｗのセットを
求めるようになされている。また、クラス分類適応処理
回路３３は、求めた４パターンの予測タップのそれぞれ
についてのクラス毎の予測係数ｗのセットのうち、所定
のクラスの予測係数ｗのそれぞれと、４パターンの予測
タップそれぞれとから、式（１）に示した線形１次式を
演算することにより、４パターンの予測タップそれぞれ
から得られる複数のＨＤ画像の予測値を求め、予測誤差
算出回路３４に出力するようにもなされている。

【０１２３】なお、クラス分類適応処理回路３３におい
て、４パターンの予測タップそれぞれについて求められ
たクラス毎の予測係数ｗのセットは、メモリ３５に供給
されるようになされている。

【０１２４】また、本実施の形態では、クラス分類適応
処理回路３３において、４パターンの予測タップのそれ
ぞれについて、正規方程式は、予測タップのパターンと
は無関係に、例えば、図６に点線で囲んで示すように、
注目画素となっているＳＤ画素を中心とする３×３のＨ
Ｄ画素の予測値を求めるようにたてられるようになされ
ている。従って、クラス分類適応処理回路３３では、３
×３のＨＤ画素の予測値を生成するための４パターンの
予測タップのそれぞれについてのクラス毎の予測係数の
セットが求められる。このクラス分類適応処理回路３３
の詳細な構成については後述する。

【０１２５】予測誤差算出回路３４は、各注目画素につ
いて、４パターンの予測タップそれぞれから得られたＨ
Ｄ画像の予測値の、元のＨＤ画像の画素値に対する予測
誤差を求めるようになされている。つまり、４パターン
の予測タップのそれぞれについて、例えば、ＨＤ画素の
９画素の予測値と元のＨＤ画像の９画素の画素値との差
分の自乗和が演算される。そして、予測誤差算出回路３
４は、４パターンの予測タップのうち、予測誤差（差分
の自乗和）が最も小さいものを検出する。さらに、予測
誤差算出回路３４は、予測誤差が最も小さい予測タップ
のパターンに対応する２ビットのタップパターンコード
を、メモリ３５およびタップパターンコード付加回路３
６に出力するようになされている。

【０１２６】メモリ３５は、クラス分類適応処理回路３
３から供給される、４パターンの予測タップそれぞれに
ついて求められたクラス毎の予測係数ｗのセットを一時
記憶するようになされている。そして、メモリ３５は、
例えば、１フレーム（または１フィールド）のＨＤ画像
の処理が終了する（つまり、すべてのＳＤ画素にタップ
パターンコードが付加される）と、４パターンの予測タ
ップのそれぞれについて求められたクラス毎の予測係数
ｗのセットを読み出し、スイッチ２５の端子ａに出力す
るようになされている。

【０１２７】タップパターンコード付加回路３６は、そ
こに供給されるＳＤ画像に対して、予測誤差算出回路３
４から供給されるタップパターンコードを付加するよう
になされている。即ち、タップパターンコード付加回路
３６は、注目画素となっているＳＤ画素の画素値（例え
ば、８ビットなどで構成される）のＬＳＢ（Least Sign
ificant Bit）側の２ビットを削除し、そこに、２ビッ
トのタップパターンコードを配置するようになされてい
る。タップパターンコード付加回路３６においてタップ
パターンコードの付加されたＳＤ画像は、スイッチ２２
の端子ａに出力されるようになされている。

【０１２８】ここで、クラス分類適応処理回路３３の構
成について説明する。クラス分類適応処理回路３３は、
４パターンの予測タップのそれぞれに対して処理を施
す、クラス分類適応処理回路（予測係数、予測値算出）
を有している。すなわち、クラス分類適応処理回路３３
は、４パターンの予測タップそれぞれのための独立した
４つのクラス分類適応処理回路（予測係数、予測値算
出）を有している。図１１及び図１２は、そのうちの１
つのクラス分類適応処理回路（予測係数、予測値算出）
を示している。なお、４つのクラス分類適応処理回路
（予測係数、予測値算出）は、異なる４つの予測タップ
が供給される他は、同様の構成であるので、１つのクラ
ス分類適応処理回路（予測係数、予測値算出）を説明し
て、その他は省略する。

【０１２９】図１１及び図１２に示されるクラス分類適
応処理回路（予測係数、予測値算出）は、クラス分類回
路８２、遅延回路８４、予測タップメモリ８５、教師デ
ータメモリ８６、演算回路８７及び遅延回路８８（図１
１）、並びにクラス分類回路９１、係数ＲＡＭ９４及び
予測演算回路９５（図１２）から構成されている。

【０１３０】図１１に示されるクラス分類適応処理回路
（予測係数、予測値算出）の一部を構成する、遅延回路
８８を除く、クラス分類回路８２、遅延回路８４、予測
タップメモリ８５、教師データメモリ８６、または演算
回路８７は、図２７に示される学習装置のクラス分類回
路１１２、遅延回路１１４、予測タップメモリ１１５、
教師データメモリ１１６、または演算回路１１７と、そ
れぞれ同様に構成されている。ただし、予測タップが予
測タップ生成回路３２から供給されるため、図２７に示
される予測タップ生成回路１１３の代わりに遅延回路８
８が設けられており、予測タップ生成回路３２からの予
測タップは遅延回路８８に供給されるようになされてい
る。そして、遅延回路８８では、遅延回路８４と同様
に、注目画素に対するクラスが、クラス分類回路８２か
ら予測タップメモリ８５に供給される時間だけ、予測タ
ップが遅延され、予測タップメモリ８５に供給されて記
憶されるようになされている。

【０１３１】また、図１２に示されるクラス分類適応処
理回路（予測係数、予測値算出）の他の一部を構成す
る、係数ＲＡＭ９４を除くクラス分類回路９１または予
測演算回路９５は、図２５に示されるクラス分類回路１
０１または予測演算回路１０５と、それぞれ同様に構成
されている。係数ＲＡＭ９４は、図１１の演算回路８７
が出力するクラス毎の予測係数のセットを記憶するよう
になされている。

【０１３２】以上のように構成されるクラス分類適応処
理回路（予測係数、予測値算出）では、１フレームのＨ
Ｄ画素に対するデータが、図２７における場合と、ほぼ
同様にして、予測タップメモリ８５及び教師データメモ
リ８６に記憶され、クラス毎の予測係数のセットが生成
される。この生成されたクラス毎の予測係数のセット
が、図１２の係数ＲＡＭ９４に供給されて記憶されると
ともに、図５の前処理部２１のメモリ３５に供給されて
記憶される。なお、上述したように、４パターンの予測
タップのそれぞれについてのクラス毎の予測係数のセッ
トが独立の回路で生成されるため、４パターンの予測タ
ップのそれぞれについてのクラス毎の予測係数のセット
が図１２の係数ＲＡＭ９４に供給されて記憶されるとと
もに、図５の前処理部２１のメモリ３５に供給されて記
憶される。

【０１３３】図１２に示されるクラス分類適応処理回路
（予測係数、予測値算出）の一部を構成するクラス分類
回路９１、係数ＲＡＭ９４及び予測演算回路９５では、
係数ＲＡＭ９４にクラス毎の予測係数のセットが記憶さ
れると、図２５の画像変換装置のクラス分類回路１０
１、係数ＲＡＭ１０４、または予測演算回路１０５と、
それぞれ同一の処理が行われ、これによりＨＤ画像の予
測値が求められる。即ち、４パターンの予測タップのそ
れぞれについてのクラス毎の予測係数のセットが図１２
の係数ＲＡＭ９４に記憶されると、クラス分類回路９１
において、クラス分類が行われ、クラス情報が係数ＲＡ
Ｍ９４に供給される。係数ＲＡＭ９４は、供給されたク
ラス情報に対応する予測係数のセットを出力して、予測
演算回路９５に供給する。予測演算回路９５は、供給さ
れた予測タップと予測係数のセットとから式（１）に示
した線形一次式を演算することにより、複数のＨＤ画像
の予測値を求める。

【０１３４】なお、クラス分類回路８２とクラス分類回
路９１は、同一の構成であるため、いずれか一方を設け
るだけでもよい。

【０１３５】次に、図１３のフローチャートを参照し
て、前処理部２１の処理について説明する。

【０１３６】前処理部２１に、符号化すべきＨＤ画像が
入力されると、そのＨＤ画像は、間引き回路３１、クラ
ス分類適応処理回路３３、および予測誤差算出回路３４
に供給される。間引き回路３１は、ＨＤ画像を受信する
と、ステップＳ１１において、その画素数を間引き、Ｓ
Ｄ画像を構成する。

【０１３７】即ち、ステップＳ１１では、図１４のフロ
ーチャートに示すように、まず最初に、ステップＳ２１
において、ＨＤ画像が、例えば、３×３画素のＨＤ画像
のブロックに分割され、ステップＳ２２に進む。

【０１３８】なお、本実施の形態において、ＨＤ画像
は、例えば、輝度信号Ｙと、色差信号Ｕ，Ｖとから構成
され、ステップＳ２１では、輝度信号のブロックと色差
信号のブロックとが構成されるようになされている。

【０１３９】ステップＳ２２では、いずれかのブロック
が注目ブロックとされ、その注目ブロックを構成する３
×３のＨＤ画素の画素値の平均値が計算される。さら
に、ステップＳ２２では、その平均値が、注目ブロック
の中心の画素（ＳＤ画素）の画素値とされ、ステップＳ
２３に進む。

【０１４０】ステップＳ２３では、注目ブロックが輝度
信号のブロックであるかどうかが判定される。ステップ
Ｓ２３において、注目ブロックが輝度信号のブロックで
あると判定された場合、ステップＳ２４に進み、ＳＤ画
素としての注目ブロックの中心の画素の画素値（ここで
は、輝度信号）のＬＳＢ側の２ビットが、タップパター
ンコードを付加するために、例えば０にクリアされ、ス
テップＳ２５に進む。また、ステップＳ２３において、
注目ブロックが輝度信号のブロックでないと判定された
場合、即ち、注目ブロックが色差信号のブロックである
場合、ステップＳ２４をスキップして、ステップＳ２５
に進む。

【０１４１】ここで、本実施の形態では、輝度信号につ
いてのみ、複数パターンの予測タップが用意されてお
り、色差信号については、固定パターンの予測タップが
用いられるようになされている。従って、タップパター
ンコードが付加されるのは、輝度信号についてのみで、
色差信号については、タップパターンコードは付加され
ないため、そのＬＳＢ側の２ビットをクリアすることは
行われないようになされている。

【０１４２】ステップＳ２５では、ステップＳ２１で構
成されたブロックすべてを、注目ブロックとして処理し
たかどうかが判定され、まだ、すべてのブロックを、注
目ブロックとして処理していないと判定された場合、ス
テップＳ２２に戻り、まだ注目ブロックとしていないブ
ロックを、新たに注目ブロックとして、同様の処理を繰
り返す。また、ステップＳ２５において、すべてのブロ
ックを、注目ブロックとして処理したと判定された場
合、即ち、ＳＤ画像が構成された場合、リターンする。

【０１４３】図１３に戻り、ステップＳ１１において、
以上のようにして構成されたＳＤ画像は、間引き回路３
１から予測タップ生成回路３２およびタップパターンコ
ード付加回路３６に供給される。予測タップ生成回路３
２は、間引き回路３１からＳＤ画像を受信すると、ステ
ップＳ１２において、それを構成するＳＤ画素を、順次
注目画素として、各注目画素について、図７乃至図１０
に示した４パターンの予測タップを形成（生成）し、ク
ラス分類適応処理回路３３に供給する。

【０１４４】なお、上述したように、４パターンの予測
タップが形成されるのは輝度信号についてのみで、色差
信号については、例えば、図１０に示したような、７×
５画素の予測タップだけが、常時形成される。

【０１４５】クラス分類適応処理回路３３は、ステップ
Ｓ１３において、まず、予測タップ生成回路３２から供
給される４パターンの予測タップ（輝度信号の場合）そ
れぞれについて、図１１および図１２に示したように構
成される、それぞれのクラス分類適応処理回路（予測係
数、予測値算出）でクラス分類を行う。

【０１４６】ここで、本実施の形態では、クラス分類回
路８２および９１（図１１および図１２）において、４
パターンの予測タップそれぞれについて、例えば、次の
ようなクラス分類用のタップ（以下、適宜、クラスタッ
プという）が構成され、クラス分類が行われるようにな
されている。

【０１４７】即ち、輝度信号については、４パターンの
予測タップのいずれに関しても、例えば、図１５（Ａ）
に点線で囲んで示すように、注目画素を中心とする、ひ
し形状の範囲の５のＳＤ画素によって、クラスタップが
構成される。そして、この５画素の画素値のうちの最大
値と最小値との差をダイナミックレンジＤＲとし、この
ダイナミックレンジＤＲを用いて、クラスタップのうち
の、縦に並ぶ３画素（図１５（Ａ）において実線で囲む
３画素）が１ビットＡＤＲＣ処理される。そして、その
３画素の画素値のパターンに、予測タップに対応するタ
ップコードを付加したものが、注目画素のクラスとされ
る。従って、この場合、クラスタップのうちの、縦に並
ぶ３画素を１ビットＡＤＲＣ処理して得られる画素値の
パターンは３ビットで表現され、また、タップコードは
２ビットであるから、輝度信号は、３２（＝２⁵）クラ
スのうちのいずれかにクラス分類される。

【０１４８】一方、色差信号については、例えば、図１
５（Ｂ）に点線で囲んで示すように、注目画素を中心と
する、正方形状の範囲の９のＳＤ画素によって、クラス
タップが構成される。そして、この９画素の画素値のう
ちの最大値と最小値との差をダイナミックレンジＤＲと
し、このダイナミックレンジＤＲを用いて、クラスタッ
プのうちの、注目画素を中心とするひし形状の範囲の５
のＳＤ画素（図１５（Ｂ）において実線で囲む５画素）
が１ビットＡＤＲＣ処理される。そして、その５画素の
画素値のパターンが、注目画素のクラスとされる。従っ
て、この場合、クラスタップのうちの、注目画素を中心
とする５画素を１ビットＡＤＲＣ処理して得られる画素
値のパターンは５ビットで表現されるから、色差信号
も、輝度信号と同様に、３２（＝２⁵）クラスのうちの
いずれかにクラス分類される。

【０１４９】クラス分類適応処理回路３３では、以上の
ようにして、注目画素のクラスが決定されていき、これ
により、予測タップメモリ８５または教師データメモリ
８６（図１１）の各アドレスに、対応するクラスの予測
タップまたはＨＤ画素（教師データ）が記憶される。そ
して、演算回路８７（図１１）において、４パターンの
予測タップのそれぞれについて、各クラスごとに、予測
タップメモリ８５または教師データメモリ８６にそれぞ
れ記憶された予測タップまたはＨＤ画像（教師データ）
を用いて、式（７）の正規方程式がたてられ、それを解
くことにより、４パターンの予測タップのそれぞれにつ
いてのクラス毎の予測係数ｗのセットが求められる。４
パターンの予測タップそれぞれを用いて得られた、４パ
ターンの予測タップのそれぞれについての各クラス毎の
予測係数ｗのセットは、いずれもメモリ３５および係数
ＲＡＭ９４に供給されて記憶される。

【０１５０】その後、クラス分類適応処理回路３３は、
ステップＳ１４において、４パターンの予測タップを用
いて得られた４パターンの予測タップのそれぞれについ
てのクラス毎の予測係数ｗのセットそれぞれと、４パタ
ーンの予測タップそれぞれとから、式（１）に示した線
形１次式を演算することにより、４パターンの予測タッ
プそれぞれから得られるＨＤ画像の予測値を求め、予測
誤差算出回路３４に出力する。

【０１５１】即ち、ステップＳ１４では、間引き回路３
１が出力するＳＤ画像を構成するＳＤ画素のうちの１つ
を注目画素として、予測タップ生成回路３２で生成され
た予測タップについて、クラス分類回路９１（図１２）
が出力するクラスに対応するアドレスに記憶された予測
係数ｗのセットが、係数ＲＡＭ９４（図１２）から読み
出される。そして、予測演算回路９５（図１２）におい
て、係数ＲＡＭ９４からの予測係数ｗのセットと、注目
画素についての予測タップとを用いて、式（１）の線形
１次式が演算されることにより、図６で説明した注目画
素の周辺にある９個のＨＤ画素の予測値が求められ、予
測誤差算出回路３４に供給される。

【０１５２】なお、クラス分類適応処理回路３３におい
ては、予測値が、４つの予測タップそれぞれについて求
められる。

【０１５３】予測誤差算出回路３４は、ステップＳ１５
において、クラス分類適応処理回路３３から供給され
る、４パターンの予測タップそれぞれについてのＨＤ画
像の予測値の、元のＨＤ画像の画素値に対する予測誤差
を求める。つまり、例えば、４パターンの予測タップの
それぞれについて、ＨＤ画素の９画素の予測値と元のＨ
Ｄ画素の画素値との差分の自乗和を、予測誤差として求
める。そして、ステップＳ１６に進み、注目画素につい
て、予測誤差が最小の予測タップを検出する。さらに、
予測誤差算出回路３４は、その予測タップに対応する２
ビットのタップパターンコードを、タップパターンコー
ド付加回路３６に出力する。

【０１５４】タップパターンコード付加回路３６では、
ステップＳ１７において、間引き回路３１からのＳＤ画
像を構成するＳＤ画素のうちの注目画素の画素値（但
し、本実施の形態では、輝度信号についてだけ）のＬＳ
Ｂ側の２ビットが、タップパターンコードとされて（注
目画素の画素値のＬＳＢ側の２ビットに代えて、２ビッ
トのタップパターンコードが付加されて）出力される。

【０１５５】その後、ステップＳ１８に進み、すべての
ＳＤ画素にタップパターンコードが付加されたかどうか
が判定され、まだ、すべてのＳＤ画素にタップパターン
コードが付加されていないと判定された場合、ステップ
Ｓ１４に戻り、タップパターンコードが付加されていな
いＳＤ画素のうちのいずれかを、新たに注目画素とし
て、ステップＳ１４乃至Ｓ１８の処理を繰り返す。一
方、ステップＳ１８において、すべてのＳＤ画素にタッ
プパターンコードが付加されたと判定された場合、メモ
リ３５は、ステップＳ１９において、４パターンの予測
タップのそれぞれについてのクラス毎の予測係数ｗのセ
ットを出力して、処理を終了する。

【０１５６】前処理部２１では、以上のようにして、間
引き回路３１が出力するＳＤ画像を構成するＳＤ画素
（ここでは、上述したように、３×３のＨＤ画素の平均
値を画素値として有する画素）それぞれについて、予測
誤差が最小となる予測タップのタップパターンコード
が、いわば仮に付加される。

【０１５７】次に、図１６は、図３の最適化部２３の構
成例を示している。なお、図中、図２８の画像符号化装
置における場合と基本的に同様に構成される部分につい
ては、同一の符号を付してある。即ち、最適化部２３
は、間引き回路１２１がなく、ローカルデコード部１２
２に代えてローカルデコード部４２が設けられている他
は、図２８の画像符号化装置と基本的に同様に構成され
ている。

【０１５８】ローカルデコード部４２は、予測タップ生
成回路４２Ａおよびクラス分類適応処理回路４２Ｂから
構成され、そこには、補正部４１からＳＤ画像が供給さ
れるようになされている。予測タップ生成回路４２Ａ
は、補正部４１から供給されるＳＤ画像のＳＤ画素のＬ
ＳＢ側に配置されているタップパターンコードに対応し
て予測タップを形成（生成）し、クラス分類適応処理回
路４２Ｂに供給するようになされている。クラス分類適
応処理回路４２Ｂには、予測タップの他、クラス分類用
のＳＤ画素、４パターンの予測タップのそれぞれについ
てのクラス毎の予測係数ｗのセットが供給されるように
なされている。クラス分類適応処理回路４２Ｂは、予測
タップを構成する注目画素を、図１５で説明したように
して、クラス分類用のＳＤ画素を用いてクラス分類し、
そのクラスに対応した予測係数ｗのセットと、予測タッ
プとから、式（１）に示した線形１次式を演算すること
により、図６に点線で囲んで示した、注目画素となって
いるＳＤ画素を中心とする３×３のＨＤ画素の画素値の
予測値を求めるようになされている。この予測値は、誤
差算出部４３に供給されるようになされている。

【０１５９】ここで、図１７は、図１６のクラス分類適
応処理回路４２Ｂの構成例を示している。なお、図中、
図１２における場合と対応する部分については、同一の
符号を付してある。即ち、クラス分類適応処理回路４２
Ｂは、図１２に示したクラス分類適応処理回路３３を構
成する１つのクラス分類適応処理回路（予測係数、予測
値算出）の一部と同一に構成されており、その説明は省
略する。

【０１６０】次に、図１８のフローチャートを参照し
て、その動作について説明する。

【０１６１】最適化部２３は、ＳＤ画像を受信すると、
そのＳＤ画像を構成するＳＤ画素のうちの１つを注目画
素とし、ステップＳ３１において、注目画素の画素値を
補正する補正量を表す変数△を、例えば０に初期化す
る。また、ステップＳ３１では、補正量を変化させる変
化量（以下、適宜、オフセット量という）を表す変数Ｓ
に、初期値としての、例えば４または１がセットされ
る。

【０１６２】即ち、輝度信号については、上述したよう
に、そのＬＳＢ側の２ビットがタップパターンコードで
あり、画素値を構成するものではないため、オフセット
量Ｓには、４（＝２²）がセットされる。また、色差信
号については、そのようなことはなく、すべてのビット
が画素値を構成するため、オフセット量Ｓには、１（＝
２⁰）がセットされる。

【０１６３】さらに、ステップＳ３１では、注目画素の
補正の回数をカウントする変数ｉに、初期値としての−
１がセットされ、ステップＳ３２に進む。ステップＳ３
２では、回数ｉが１だけインクリメントされ、ステップ
Ｓ３３に進み、注目画素の画素値を補正量△だけ補正し
た補正値を用いて適応処理を行った場合に、その補正に
より影響を受けるＨＤ画素の予測値の予測誤差Ｅが算出
される。

【０１６４】即ち、この場合、補正部４１は、注目画素
の画素値に、例えば、補正量△を加算し、その加算値
を、注目画素の画素値として、ローカルデコード部４２
に出力する。ここで、注目画素について、最初にステッ
プＳ３３の処理が施される場合、即ち、回数ｉ＝０の場
合、補正量△は、ステップＳ３１でセットされた初期値
である０のままであるから、補正部４１からは、注目画
素の画素値がそのまま出力される。

【０１６５】ローカルデコード部４２では、予測タップ
生成回路４２Ａにおいて、注目画素の画素値のＬＳＢ側
の２ビットに配置されているタップパターンコードに対
応して、予測タップが形成され、クラス分類適応処理回
路４２Ｂに出力される。クラス分類適応処理回路４２Ｂ
では、まず、注目画素が、図５のクラス分類適応処理回
路３３における場合と同様にクラス分類される。さら
に、クラス分類適応処理回路４２Ｂでは、そのクラスに
対応する予測係数と、予測タップ生成回路４２Ａからの
予測タップとから、式（１）に示した線形１次式を演算
することにより、ＨＤ画素の画素値の予測値が求められ
る。

【０１６６】即ち、クラス分類適応処理回路４２Ｂで
は、クラス分類回路９１（図１７）において、予測タッ
プ生成回路４２Ａからの予測タップを構成するＳＤ画素
から、図１５で説明したようなクラスタップが構成さ
れ、クラス分類が行われる。このクラス分類回路９１に
おけるクラス分類の結果得られるクラスは、係数ＲＡＭ
９４（図１７）に供給される。

【０１６７】係数ＲＡＭ９４（図１７）は、スイッチ２
５を介して供給される４パターンの予測タップそれぞれ
についてのクラス毎の予測係数のセットを記憶してお
り、クラス分類回路９１からのクラスに対応する予測係
数のセットであって、注目画素に付加されているタップ
パターンコードに対応する予測タップについての予測係
数のセットを読み出す。この予測係数のセットは、予測
演算回路９５（図１７）に供給される。

【０１６８】予測演算回路９５では、係数ＲＡＭ９４か
らの予測係数のセットと、予測タップ生成回路４２Ａか
ら供給される予測タップとを用いて、式（１）の線形１
次式が演算されることにより、ＨＤ画素の予測値が求め
られる。

【０１６９】また、クラス分類適応処理回路４２Ｂで
は、注目画素の画素値を補正量△だけ補正した場合に、
その補正により影響を受けるＨＤ画素についても、同様
にして、予測値が求められる。

【０１７０】即ち、例えば、いま、図１９に示すよう
に、ＳＤ画素Ａを注目画素として補正したとする。本実
施の形態では、予測タップの範囲が最も広いのは、図１
０に示したように、７×５のＳＤ画素で予測タップが構
成される場合で、このように、７×５のＳＤ画素で予測
タップが構成される場合に、その予測タップにＳＤ画素
Ａが含まれるケースであって、ＳＤ画素Ａから最も離れ
たＳＤ画素が注目画素とされるのは、ＳＤ画素Ｂ，Ｃ，
Ｄ，Ｅが注目画素とされ、７×５画素の予測タップが構
成されるケースである。そして、ＳＤ画素Ｂ，Ｃ，Ｄ，
Ｅが注目画素とされ、７×５画素の予測タップが構成さ
れた場合、本実施の形態では、同図に実線で囲んで示す
範囲ｂ，ｃ，ｄ，ｅの中の３×３のＨＤ画素の予測値が
それぞれ求められる。従って、ＳＤ画素Ａを注目画素と
して、その画素値を補正した場合に、その補正により影
響を受けるのは、最悪のケースで、範囲ｂ，ｃ，ｄ，ｅ
を含む最小の長方形である、図１９において点線で示す
範囲内の２１×１５のＨＤ画素の予測値ということにな
る。

【０１７１】従って、本実施の形態では、クラス分類適
応処理回路４２Ｂにおいて、このような２１×１５のＨ
Ｄ画素の予測値が求められる。

【０１７２】クラス分類適応処理回路４２Ｂで求められ
たＨＤ画素の予測値は、誤差算出部４３に供給される。
誤差算出部４３では、クラス分類適応処理回路４２Ｂか
らのＨＤ画素の予測値から、対応するＨＤ画素の真の画
素値が減算され、その減算値である予測誤差の、例えば
自乗和が求められる。そして、この自乗和が、誤差情報
Ｅとして、制御部４４に供給される。

【０１７３】制御部４４は、誤差算出部４３から誤差情
報を受信すると、ステップＳ３４において、回数ｉが０
であるかどうかを判定する。ステップＳ３４において、
回数ｉが０であると判定された場合、即ち、制御部４４
が受信した誤差情報Ｅが、注目画素の補正を行わずに得
られたものである場合、ステップＳ３５に進み、注目画
素の補正を行わずに得られた誤差情報（未補正時の誤差
情報）を記憶する変数Ｅ₀に、誤差情報Ｅがセットさ
れ、また、前回得られた誤差情報を記憶する変数Ｅ’に
も、誤差情報Ｅがセットされる。さらに、ステップＳ３
５では、補正量△が、オフセット量Ｓだけインクリメン
トされ、制御部４４は、それにより得られた補正量△だ
け、注目画素の画素値を補正するように、補正部４１を
制御する。その後は、ステップＳ３２に戻り、以下、同
様の処理を繰り返す。

【０１７４】この場合、ステップＳ３２において、回数
ｉは１だけインクリメントされて１となるから、ステッ
プＳ３４では、回数ｉが０でないと判定され、ステップ
Ｓ３６に進む。ステップＳ３６では、回数ｉが１である
かどうかが判定される。この場合、回数ｉは１となって
いるから、ステップＳ３６では、回数ｉは１であると判
定され、ステップＳ３７に進み、前回の誤差情報Ｅ’
が、今回の誤差情報Ｅ以上であるかどうかが判定され
る。ステップＳ３７において、前回の誤差情報Ｅ’が、
今回の誤差情報Ｅ以上でないと判定された場合、即ち、
補正量△だけ注目画素の画素値を補正することにより、
今回の誤差情報Ｅの方が、前回の誤差情報Ｅ’（ここで
は、補正をしてない場合の誤差情報）より増加した場
合、ステップＳ３８に進み、制御部４４は、オフセット
量Ｓに、−１を乗算したものを、新たなオフセット量Ｓ
とし、さらに、補正量△をオフセット量Ｓの２倍だけイ
ンクリメントし、ステップＳ３２に戻る。

【０１７５】即ち、注目画素の画素値を、補正量△（こ
の場合、△＝Ｓ）だけ補正することにより、補正しなか
ったときよりも誤差が増加した場合には、オフセット量
Ｓの符号が反転される（本実施の形態では、ステップＳ
３１において正の値がオフセット量Ｓにセットされてい
るので、ステップＳ３８では、オフセット量Ｓの符号
は、正から負にされる）。さらに、前回はＳであった補
正量△が、−Ｓにされる。

【０１７６】また、ステップＳ３７において、前回の誤
差情報Ｅ’が、今回の誤差情報Ｅ以上であると判定され
た場合、即ち、補正量△だけ注目画素の画素値を補正す
ることにより、今回の誤差情報Ｅが、前回の誤差情報
Ｅ’より減少した場合（または前回の誤差情報Ｅ’と同
じである場合）、ステップＳ３９に進み、制御部４４
は、補正量△をオフセット量Ｓだけインクリメントする
とともに、前回の誤差情報Ｅ’に、今回の誤差情報Ｅを
セットすることにより更新して、ステップＳ３２に戻
る。

【０１７７】この場合、ステップＳ３２において、回数
ｉは、さらに１だけインクリメントされて２となるか
ら、ステップＳ３４またはＳ３６では、回数ｉが０また
は１でないとそれぞれ判定され、その結果、ステップＳ
３６からＳ４０に進む。ステップＳ４０では、回数ｉが
２であるかどうかが判定される。いま、回数ｉは２とな
っているから、ステップＳ４０では、回数ｉは２である
と判定され、ステップＳ４１に進み、未補正時の誤差情
報Ｅ₀が今回の誤差情報Ｅ以下であり、かつオフセット
量Ｓが負であるかどうかが判定される。

【０１７８】ステップＳ４０において、未補正時の誤差
情報Ｅ₀が今回の誤差情報Ｅ以下であり、かつオフセッ
ト量Ｓが負であると判定された場合、即ち、注目画素を
＋Ｓだけ補正しても、また、−Ｓだけ補正しても、補正
しないときより誤差が増加する場合、ステップＳ４２に
進み、補正量△が０とされ、ステップＳ４７に進む。

【０１７９】また、ステップＳ４０において、未補正時
の誤差情報Ｅ₀が今回の誤差情報Ｅ以下でないか、また
はオフセット量Ｓが負でないと判定された場合、ステッ
プＳ４４に進み、前回の誤差情報Ｅ’が、今回の誤差情
報Ｅ以上であるかどうかが判定される。ステップＳ４４
において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以
上であると判定された場合、即ち、補正量△だけ注目画
素の画素値を補正することにより、今回の誤差情報Ｅ
が、前回の誤差情報Ｅ’より減少した場合、ステップＳ
４５に進み、制御部４４は、補正量△をオフセット量Ｓ
だけインクリメントするとともに、前回の誤差情報Ｅ’
に、今回の誤差情報Ｅをセットすることにより更新し
て、ステップＳ３２に戻る。

【０１８０】この場合、ステップＳ３２において、回数
ｉは、さらに１だけインクリメントされて３となるか
ら、以下では、ステップＳ３４，Ｓ３６、またはＳ４０
では、回数ｉが０，１、または２でないとそれぞれ判定
され、その結果、ステップＳ４０からＳ４４に進む。従
って、ステップＳ４４において、前回の誤差情報Ｅ’
が、今回の誤差情報Ｅ以上でないと判定されるまで、ス
テップＳ３２乃至Ｓ３４、Ｓ３６，Ｓ４０，Ｓ４４，Ｓ
４５のループ処理が繰り返される。

【０１８１】そして、ステップＳ４４において、前回の
誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定さ
れた場合、即ち、補正量△だけ注目画素の画素値を補正
することにより、今回の誤差情報Ｅの方が、前回の誤差
情報Ｅ’より増加した場合、ステップＳ４６に進み、制
御部４４は、補正量△をオフセット量Ｓだけデクリメッ
トし、ステップＳ４７に進む。即ち、この場合、補正量
△は、誤差が増加する前の値とされる。

【０１８２】ステップＳ４７では、制御部４４は、補正
部４１を制御することにより、ステップＳ４２またはＳ
４６で得られた補正量△だけ注目画素の画素値を補正さ
せ、これにより、注目画素の画素値は、適応処理により
予測値を得るのに、予測誤差が最小となるような最適な
ものに補正される。

【０１８３】そして、ステップＳ４８に進み、すべての
ＳＤ画素を注目画素として処理を行ったかどうかが判定
される。ステップＳ４８において、すべてのＳＤ画素を
注目画素として、まだ処理を行っていないと判定された
場合、ステップＳ３１に戻り、まだ、注目画素とされて
いないＳＤ画素を新たな注目画素として、同様の処理を
繰り返す。また、ステップＳ４８において、すべてのＳ
Ｄ画素を注目画素として処理を行ったと判定された場
合、処理を終了する。

【０１８４】以上のようにして、ＳＤ画像の画素値は、
ＨＤ画像の予測値を求めるのに、最適なものに最適化さ
れる。

【０１８５】次に、図２０は、図３の適応処理部２４の
構成例を示している。

【０１８６】予測タップ生成回路５１には、最適化部２
３からの最適ＳＤ画像が供給されるようになされてお
り、そこでは、図１６の予測タップ生成回路４２Ａにお
ける場合と同様に、その画素値のＬＳＢ側の２ビットに
配置されているタップパターンコードが検出され、その
タップパターンコードにしたがって、予測タップが構成
され、クラス分類適応処理回路５２に供給されるように
なされている。

【０１８７】クラス分類適応処理回路５２には、予測タ
ップの他、クラス分類に使用される最適ＳＤ画像及び元
のＨＤ画像も供給されるようになされており、そこで
は、予測タップを構成する注目画素のクラス分類が、例
えば、図１５で説明した場合と同様にして行われ、さら
に、その結果得られる各クラスについて、予測タップと
ＨＤ画像を用いて式（７）に示した正規方程式がたてら
れるようになされている。そして、クラス分類適応処理
回路５２は、そのクラスごとの正規方程式を解くことに
より新たな４パターンの予測タップのそれぞれについて
の予測係数ｗのセットを求めて出力するようになされて
いる。

【０１８８】次に、その動作について、図２１のフロー
チャートを参照して説明する。予測タップ生成回路５１
は、最適ＳＤ画像を受信すると、ステップＳ５１におい
て、その最適ＳＤ画素を構成する各ＳＤ画素に付加され
ているタップパターンコードを検出（抽出）し、ステッ
プＳ５２に進み、その抽出したタップパターンコードに
基づいて、予測タップを形成する。そして、予測タップ
生成回路５１は、形成した予測タップを、クラス分類適
応処理回路５２に出力する。クラス分類適応処理回路５
２は、ステップＳ５３において、予測タップを構成する
注目画素のクラス分類を行い、その結果得られる各クラ
スについて、予測タップとＨＤ画像を用いて正規方程式
をたてて解くことにより予測係数ｗを求めて出力し、処
理を終了する。

【０１８９】これにより、適応処理部２４では、最適Ｓ
Ｄ画像から、元のＨＤ画像を得るのに、予測誤差を最も
小さくする４パターンの予測タップのそれぞれについて
のクラス毎の予測係数ｗのセットが求められる。この４
パターンの予測タップのそれぞれについてのクラス毎の
予測係数ｗのセットは、上述したように、最適化部２３
と予測タップパターン判定部２６に供給され、適応処理
（式（１）に示す線形１次式の計算）に用いられる。

【０１９０】なお、図２０の実施の形態では、予測タッ
プ生成回路５１において、画素値のＬＳＢ側の２ビット
に配置されているタップパターンコードを検出し、その
タップパターンコードに従って予測タップを構成するよ
うにしたが、予測タップ生成回路５１は、図５の前処理
部２１の予測タップ生成回路３２と同様に構成すること
も可能である。つまり、予測タップ生成回路５１には、
４パターンの予測タップすべてを構成させ、クラス分類
適応処理回路５２に供給させることができる。この場
合、クラス分類適応処理回路５２は、４パターンの予測
タップのそれぞれに対応する４つの予測係数を算出する
ためのクラス分類適応処理回路（輝度信号用）で構成す
ることができ、このクラス分類適応処理回路のそれぞれ
は、図１１で示される、クラス分類適応処理回路（予測
係数、予測値算出）を構成する一部と同様に構成するこ
とができる。

【０１９１】そして、その場合、各クラス分類適応処理
回路には、ＨＤ画像を構成する各ＨＤ画素に対して対応
する各パターンの予測タップが供給され、その予測タッ
プを構成する最適ＳＤ画素を用いてクラスタップが形成
されて、それぞれクラス分類が行われる。さらに、各ク
ラス分類適応処理回路において、１フレームのＨＤ画素
と、そのＨＤ画素に対する予測タップとが、それぞれ教
師データメモリ８６と予測タップメモリ８５とにクラス
毎に記憶される。その後、各クラス分類適応処理回路の
それぞれにおいて、図２７の学習装置における場合と同
様にして、４パターンの予測タップについての新たなク
ラス毎の予測係数のセットが生成される。

【０１９２】次に、図２２は、図３の予測タップパター
ン判定部２６の構成例を示している。

【０１９３】予測タップパターン判定部２６は、同図に
示すように、予測タップ生成回路６１、クラス分類適応
処理回路６２、予測誤差算出回路６３、およびタップパ
ターンコード変更回路６４から構成されており、これら
の予測タップ生成回路６１、クラス分類適応処理回路６
２、予測誤差算出回路６３、またはタップパターンコー
ド変更回路６４は、図５における前処理部２１の予測タ
ップ生成回路３２、クラス分類適応処理回路３３、予測
誤差算出回路３４、またはタップパターンコード付加回
路３６と基本的に同様に構成されている。

【０１９４】次に、図２３のフローチャートを参照し
て、その動作について説明する。

【０１９５】予測タップパターン判定部２６には、最適
ＳＤ画像、４パターンの予測タップのそれぞれについて
のクラス毎の予測係数のセット、ＨＤ画像が供給される
ようになされており、最適ＳＤ画像は、予測タップ生成
回路６１とタップパターンコード変更回路６４に供給さ
れ、また、４パターンの予測タップのそれぞれについて
のクラス毎の予測係数のセットまたはＨＤ画像は、クラ
ス分類適応処理回路６２または予測誤差算出回路６３に
それぞれ供給されるようになされている。

【０１９６】予測タップ生成回路６１は、最適ＳＤ画像
を受信すると、ステップＳ６１において、図５の予測タ
ップ生成回路３２と同様に、そのうちの１つを注目画素
とし、その注目画素について、図７乃至図１０に示した
４パターンの予測タップを形成する。そして、この４パ
ターンの予測タップは、クラス分類適応処理回路６２に
出力される。

【０１９７】クラス分類適応処理回路６２は、注目画素
を対象に形成された４パターンの予測タップを受信する
と、ステップＳ６２において、その４パターンの予測タ
ップそれぞれと、対応するクラス毎の予測係数ｗのセッ
トそれぞれとを用いて、式（１）で表される線形１次式
を計算し、これにより、４パターンの予測タップそれぞ
れから得られるＨＤ画像の９画素の予測値を求め、予測
誤差算出回路６３に出力される。

【０１９８】予測誤差算出回路６３では、ステップＳ６
３またはＳ６４において、図５の予測誤差算出回路３４
が行う図１３のステップＳ１５またはＳ１６における場
合とそれぞれ同様の処理が行われ、これにより、４パタ
ーンの予測タップのうち、予測誤差を最小にするものの
タップパターンコードが、タップパターンコード変更回
路６４に出力される。

【０１９９】タップパターンコード変更回路６４では、
ステップＳ６５において、注目画素（最適ＳＤ画像のＳ
Ｄ画素）のＬＳＢ側の２ビットに付加されているタップ
パターンコードが、予測誤差算出回路６３から供給され
るタップパターンコードに変更され、ステップＳ６６に
進む。

【０２００】ステップＳ６６では、すべてのＳＤ画素を
注目画素として処理が行われたかどうかが判定され、ま
だ、すべてのＳＤ画素を注目画素としていないと判定さ
れた場合、ステップＳ６１に戻り、また注目画素とされ
ていないＳＤ画素を新たに注目画素として、同様の処理
を繰り返す。一方、ステップＳ６６において、すべての
ＳＤ画素を注目画素として処理を行ったと判定された場
合、処理を終了する。

【０２０１】予測タップパターン判定部２６では、以上
のように、適応処理部２４で得られた４パターンの予測
タップのそれぞれについての予測係数ｗのセットを用い
て、タップパターンコードが、より予測誤差が小さくな
る予測タップに対応するものに変更される。

【０２０２】次に、図２４は、図１の受信装置４の構成
例を示している。

【０２０３】受信機／再生装置７１においては、記録媒
体２に記録された符号化データが再生され、または伝送
路３を介して伝送されてくる符号化データが受信され、
分離部７２に供給される。分離部７２では、符号化デー
タが、ＳＤ画像の画像データと４パターンの予測タップ
のそれぞれについてのクラス毎の予測係数ｗのセットに
分離され、ＳＤ画像の画像データは、予測タップ生成回
路７３に供給され、４パターンの予測タップのそれぞれ
についてのクラス毎の予測係数ｗのセットは、クラス分
類適応処理回路７４に供給される。

【０２０４】予測タップ生成回路７３またはクラス分類
適応処理回路７４は、図１６に示した最適化部２３のロ
ーカルデコード部４２を構成する予測タップ生成回路４
２Ａまたはクラス分類適応処理回路４２Ｂ（図１７）と
それぞれ同様に構成されている。従って、ローカルデコ
ード部４２における場合と同様にして、ＨＤ画像の予測
値が求められ、これが復号画像として出力される。この
復号画像は、上述したように、元の画像とほぼ同一の画
像となる。

【０２０５】なお、受信側においては、図２４に示すよ
うな受信装置４でなくても、間引きされた画像を単純な
補間により復号する装置により、予測係数を用いずに、
通常の補間を行うことで復号画像を得ることができる。
但し、この場合に得られる復号画像は、画質（解像度）
の劣化したものとなる。

【０２０６】以上のように、ＨＤ画像を圧縮することに
より得られるＳＤ画像を構成する画素のうちの１つを注
目画素として、その注目画素に対して、複数パターンの
予測タップを形成し、予測タップと予測係数との線形結
合により、ＨＤ画像の予測値を求める適応処理を行い、
複数パターンの予測タップそれぞれから得られる予測値
の予測誤差を算出し、複数パターンの予測タップのう
ち、最小の予測誤差が得られるものに対応するタップパ
ターンコードを、注目画素の画素値に付加するようにし
たので、画像の局所的な特性に対応した予測タップを用
いて適応処理が行われ、その結果、より画質の良い復号
画像を得ることが可能となる。

【０２０７】また、２ビットのタップパターンコード
を、画素値のＬＳＢ側の２ビットに代えて配置するよう
にしたので、データ量の増加を防止することが可能とな
る。なお、タップパターンコードは、画素値のＬＳＢ側
に配置されるので、それほど大きな画質の劣化はない。

【０２０８】さらに、最適化部２３において、誤差を最
小にする予測タップを用いて適応処理を行うことによ
り、ＳＤ画像を最適化するようにしたので、元のＨＤ画
像をほぼ同一の復号画像を得ることが可能となる。

【０２０９】また、適応処理部２４において、最適ＳＤ
画像を用いて適応処理を行い、複数パターンの予測タッ
プのそれぞれについてのクラス毎の予測係数のセット
を、いわば、より適切なものに更新（修正）し、予測タ
ップパターン判定部２６において、その更新された複数
パターンの予測タップのそれぞれについてのクラス毎の
予測係数のセットを用いて、予測タップを決め直すよう
にしたので、さらに画質の向上した復号画像を得ること
が可能となる。

【０２１０】以上、本発明を、ＨＤ画像を符号化／復号
する画像処理装置に適用した場合について説明したが、
本発明は、その他、ＳＤ画像などの標準解像度の画像そ
の他を符号化／復号する場合にも適用可能である。即
ち、例えば、ＮＴＳＣ方式などの標準方式のテレビジョ
ン信号を符号化／復号する場合にも適用可能である。但
し、本発明は、データ量の多い、いわゆるハイビジョン
方式のテレビジョン信号などを符号化／復号する場合
に、特に有効である。また、本発明は、いわゆる階層符
号化を行う場合などにも適用可能である。

【０２１１】なお、本実施の形態では、輝度信号につい
てのみ、複数パターンの予測タップを用意し、色差信号
については、５×７画素の予測タップだけを用いるよう
にしたが、色差信号も、輝度信号と同様に処理すること
が可能である。

【０２１２】また、本実施の形態においては、タップパ
ターンコードを２ビットとするようにしたが、タップパ
ターンコードは２ビットに限定されるものではない。但
し、より少ないビット数であることが望ましい。

【０２１３】さらに、本実施の形態では、画素値のＬＳ
Ｂ側の２ビットに代えて、タップパターンコードを配置
するようにしたが、タップパターンコードは、画素値と
は別に記録または伝送することも可能である。

【０２１４】また、本実施の形態では、前処理部２１で
前処理し、最適化部２３で最適化した最適ＳＤ画像を用
いて、予測係数を更新し、その予測係数を用いて、再
度、タップパターンコードを決め直すようにしたが、前
処理部２１で前処理し、最適化部２３で最適化した最適
ＳＤ画像を、そのまま符号化データとすることも可能で
ある。この場合、復号画像の画質（Ｓ／Ｎ）は、タップ
パターンコードを決め直す場合に比較して、多少劣化す
るが、処理の高速化を図ることが可能となる。

【０２１５】さらに、本実施の形態では、３×３，５×
３，３×５，７×５画素の４パターンの予測タップを用
いるようにしたが、これ以外の、例えば、１×５や５×
１画素などの予測タップを用いるようにすることも可能
である。また、予測タップのパターンも４種類に限定さ
れるものではない。

【０２１６】さらに、本実施の形態では特に言及しなか
ったが、画素値に、タップパターンコードを付加した後
は、そのタップパターンコードが付加されたＬＳＢ側の
２ビットを所定値にしたものを画素値として処理しても
良いし、また、タップパターンコードも含めて画素値と
し、処理を行うようにしても良い。なお、本件発明者が
行った実験によれば、タップパターンコードも含めて画
素値とした場合、そのタップパターンコードの部分を所
定値としての０とした場合に比較して、Ｓ／Ｎは多少劣
化するが、階調が多少向上するという結果が得られてい
る。

【０２１７】また、図１８においては、注目画素の画素
値を、オフセット量Ｓとしての４または１ずつ補正する
ことにより、予測誤差Ｅが最初に極小となる補正量△を
検出するようにしたが、その他、例えば、注目画素の画
素値がとり得る値すべてについて予測誤差Ｅを求め、そ
の最小値を検出し、その場合の補正量△によって、注目
画素の画素値を補正するようにすることも可能である。
この場合、処理に時間を要することとなるが、よりＳ／
Ｎの高い復号画像を得ることが可能となる。

【０２１８】さらに、このように注目画素の画素値がと
り得る値すべてについて予測誤差Ｅを求める場合には、
注目画素の画素値の初期値は、どのような値（但し、注
目画素の画素値がとり得る範囲内の値）であっても良
い。即ち、この場合、初期値がどのような値であって
も、予測誤差Ｅを最小にする補正値△を求めることがで
きる。

【０２１９】なお、本発明の主旨を逸脱しない範囲にお
いて、さまざまな変形や応用例が考えうる。従って、本
発明の要旨は、上述の実施の形態に限定されるものでは
ない。

【０２２０】

【発明の効果】本発明の画像符号化装置および画像符号
化方法によれば、圧縮画像信号を構成する画素のうちの
１つを注目画素として、その注目画素の近傍の画素を用
いて、複数パターンの予測タップが形成され、複数パタ
ーンの予測タップそれぞれと、所定の予測係数とから、
原画像信号が予測され、複数パターンの予測タップそれ
ぞれに対する予測値が出力される。そして、複数パター
ンの予測タップそれぞれに対する予測値の、原画像信号
に対する予測誤差が算出され、複数パターンの予測タッ
プのうち、最小の予測誤差が得られる予測タップに対応
するパターンコードが、注目画素の画素値に付加され
る。従って、そのパターンコードにしたがって予測タッ
プを形成して復号を行うことで、より画質の向上した復
号画像を得ることが可能となる。

【０２２１】本発明の画像復号装置およびの画像復号方
法によれば、符号化データに含まれる圧縮画像信号を構
成する画素のうちの１つを注目画素として、その注目画
素の画素値に付加されているパターンコードに対応する
パターンの予測タップが、注目画素の近傍の画素を用い
て形成され、その予測タップと、予測係数とから、原画
像信号が予測され、その予測値が求められる。従って、
より原画像信号に近い予測値を得ることが可能となる。

【０２２２】請求項３９に記載の記録媒体には、圧縮画
像信号を構成する画素のうちの１つを注目画素として、
その注目画素の近傍の画素を用いて、複数パターンの予
測タップを形成し、複数パターンの予測タップそれぞれ
と、所定の予測係数とから、原画像信号を予測し、複数
パターンの予測タップそれぞれに対する予測値を出力
し、複数パターンの予測タップそれぞれに対する予測値
の、原画像信号に対する予測誤差を算出し、複数パター
ンの予測タップのうち、最小の予測誤差が得られる予測
タップに対応するパターンコードを、注目画素の画素値
に付加することにより得られた符号化データが記録され
ている。従って、そのパターンコードにしたがって予測
タップを形成して復号を行うことで、より画質の向上し
た復号画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の一実施の形態
の構成を示すブロック図である。

【図２】図１の送信装置１の構成例を示すブロック図で
ある。

【図３】図２の送信装置１の機能的構成例を示すブロッ
ク図である。

【図４】図３の送信装置１の動作を説明するためのフロ
ーチャートである。

【図５】図３の前処理部２１の構成例を示すブロック図
である。

【図６】図５の間引き回路３１の処理を説明するための
図である。

【図７】予測タップの構成例を示す図である。

【図８】予測タップの構成例を示す図である。

【図９】予測タップの構成例を示す図である。

【図１０】予測タップの構成例を示す図である。

【図１１】図５のクラス分類適応処理回路３３を構成す
るクラス分類適応処理回路（予測係数、予測値算出）の
一部の構成例を示すブロック図である。

【図１２】図５のクラス分類適応処理回路３３を構成す
るクラス分類適応処理回路（予測係数、予測値算出）の
他の一部の構成例を示すブロック図である。

【図１３】図５の前処理部２１の処理を説明するための
フローチャートである。

【図１４】図１３のステップＳ１１の処理のより詳細を
説明するためのフローチャートである。

【図１５】クラス分類を行うためのクラスタップの構成
例を示す図である。

【図１６】図３の最適化部２３の構成例を示すブロック
図である。

【図１７】図１６のクラス分類適応処理回路４２Ｂ及び
図２４のクラス分類適応処理回路７４の構成例を示すブ
ロック図である。

【図１８】図１６の最適化部２３の処理を説明するため
のフローチャートである。

【図１９】図１８のステップＳ３３の処理を説明するた
めの図である。

【図２０】図３の適応処理部２４の構成例を示すブロッ
ク図である。

【図２１】図２０の適応処理部２４の処理を説明するた
めのフローチャートである。

【図２２】図３の予測タップパターン判定部２６の構成
例を示すブロック図である。

【図２３】図２２の予測タップパターン判定部２６の処
理を説明するためのフローチャートである。

【図２４】図１の受信装置４の構成例を示すブロック図
である。

【図２５】本件出願人が先に提案した画像変換装置の構
成例を示すブロック図である。

【図２６】図２５のクラス分類回路１０１の処理を説明
するための図である。

【図２７】本件出願人が先に提案した学習装置の構成例
を示すブロック図である。

【図２８】本件出願人が先に提案した画像符号化装置の
構成例を示すブロック図である。

【符号の説明】

１送信装置，２記録媒体，３伝送路，４
受信装置，１１Ｉ／Ｆ，１２ＲＯＭ，１３
ＲＡＭ，１４ＣＰＵ，１５外部記憶装置，１
６送信機／記録装置，２１前処理部，２２ス
イッチ，２３最適化部，２４適応処理部，２５
スイッチ，２６予測タップパターン判定部，３
１間引き回路，３２予測タップ生成回路，３３
クラス分類適応処理回路，３４予測誤差算出回
路，３５メモリ，３６タップパターンコード付
加回路，４１補正部，４２ローカルデコード
部，４２Ａ予測タップ生成回路，４２Ｂクラス分
類適応処理回路，４３誤差算出部，４４制御部，
５１予測タップ生成回路，５２クラス分類適応
処理回路，６１予測タップ生成回路，６２クラ
ス分類適応処理回路，６３予測誤差算出回路，６
４タップパターンコード変更回路，７１受信機／
再生装置，７２分離部，７３予測タップ生成回
路，７４クラス分類適応処理回路，８２クラス分
類回路，８４遅延回路，８５予測タップメモ
リ，８６教師データメモリ，８７演算回路，
８８遅延回路，９１クラス分類回路，９４係数
ＲＡＭ，９５予測演算回路

Claims

【特許請求の範囲】

【請求項１】画像信号を符号化する画像符号化装置で
あって、原画像信号の画素数より少ない画素数の圧縮画像信号を
発生する圧縮手段と、前記圧縮画像信号を構成する画素のうちの１つを注目画
素として、その注目画素の近傍の画素を用いて、複数パ
ターンの予測タップを形成する第１の形成手段と、前記複数パターンの予測タップそれぞれと、所定の予測
係数とから、前記原画像信号を予測し、前記複数パター
ンの予測タップそれぞれに対する予測値を出力する第１
の予測手段と、前記複数パターンの予測タップそれぞれに対する前記予
測値の、前記原画像信号に対する予測誤差を算出する第
１の算出手段と、前記複数パターンの予測タップのうち、最小の前記予測
誤差が得られる予測タップに対応するパターンコード
を、前記注目画素の画素値に付加する付加手段とを備え
ることを特徴とする画像符号化装置。
【請求項２】前記付加手段は、前記注目画素の画素値
のＬＳＢ（Least Significant Bit）側のＮビットに代
えて、前記パターンコードを配置することを特徴とする
請求項１に記載の画像符号化装置。
【請求項３】前記第１の予測手段は、前記原画像信号
および圧縮画像信号に基づいて演算を行うことにより、
前記予測係数を求める演算手段を有することを特徴とす
る請求項１に記載の画像符号化装置。
【請求項４】前記第１の予測手段は、前記注目画素を、所定のクラスに分類するクラス分類手
段をさらに有し、前記注目画素のクラスに対応する予測係数と、前記予測
タップとから、前記予測値を求め、前記演算手段は、前記原画像信号および圧縮画像信号に
基づいて、前記予測係数を、前記クラスごとに求めるこ
とを特徴とする請求項３に記載の画像符号化装置。
【請求項５】前記演算手段は、前記複数パターンの予
測タップそれぞれについて、前記予測係数を求めること
を特徴とする請求項３に記載の画像符号化装置。
【請求項６】前記演算手段は、前記複数パターンの予
測タップそれぞれについて、前記予測係数を、前記クラ
スごとに求め、前記第１の予測手段は、前記複数パターンの予測タップ
それぞれと、前記注目画素のクラスに対応する予測係数
とから、前記複数パターンの予測タップそれぞれに対す
る予測値を求めることを特徴とする請求項４に記載の画
像符号化装置。
【請求項７】前記圧縮画像信号を、最適な圧縮画像信
号に変換する最適化手段をさらに備えることを特徴とす
る請求項１乃至６のうちのいずれかに記載の画像符号化
装置。
【請求項８】前記最適化手段は、前記注目画素の画素値に付加された前記パターンコード
に対応するパターンの予測タップを形成する第２の形成
手段と、前記第２の形成手段により形成された前記予測タップ
と、前記予測係数とから、前記原画像信号を予測し、そ
の予測値を出力する第２の予測手段と、前記第２の予測手段により求められた前記予測値の、前
記原画像信号に対する予測誤差を算出する第２の算出手
段と、前記第２の算出手段により算出された前記予測誤差に対
応して、前記注目画素の画素値を補正する補正手段とを
有することを特徴とする請求項７に記載の画像符号化装
置。
【請求項９】前記最適化手段は、前記第２の形成手段において、前記注目画素の画素値に
付加された前記パターンコードに対応するパターンの予
測タップを形成し、前記第２の予測手段において、前記第２の形成手段によ
り形成された前記予測タップと、前記予測係数とから、
前記予測値を求め、前記第２の算出手段において、前記第２の予測手段によ
り求められた前記予測値の、前記原画像信号に対する予
測誤差を算出し、前記補正手段において、前記第２の算出手段により算出
された前記予測誤差に対応して、前記注目画素の画素値
を補正する最適化処理を、前記圧縮画像信号が、最適な
圧縮画像信号となるまで繰り返すことを特徴とする請求
項８に記載の画像符号化装置。
【請求項１０】前記最適化処理を行うごとに得られる
圧縮画像信号と、前記原画像信号とに基づいて、前記第
２の予測手段により求められる前記予測値の、前記原画
像信号に対する予測誤差を小さくするように、前記予測
係数を修正する修正手段をさらに備え、前記第１および第２の予測手段は、前記修正手段により
修正され予測係数を用いて、前記予測値を求めることを
特徴とする請求項９に記載の画像符号化装置。
【請求項１１】前記最適化手段が出力する圧縮画像信
号と、前記修正手段が出力する予測係数とを出力する出
力手段をさらに備えることを特徴とする請求項１０に記
載の画像符号化装置。
【請求項１２】前記パターンコードが付加された圧縮
画像信号と、前記予測係数とを出力する出力手段をさら
に備えることを特徴とする請求項１乃至６のうちのいず
れかに記載の画像符号化装置。
【請求項１３】画像信号を符号化する画像符号化方法
であって、原画像信号の画素数より少ない画素数の圧縮画像信号を
発生する圧縮ステップと、前記圧縮画像信号を構成する画素のうちの１つを注目画
素として、その注目画素の近傍の画素を用いて、複数パ
ターンの予測タップを形成する第１の形成ステップと、前記複数パターンの予測タップそれぞれと、所定の予測
係数とから、前記原画像信号を予測し、前記複数パター
ンの予測タップそれぞれに対する予測値を出力する第１
の予測ステップと、前記複数パターンの予測タップそれぞれに対する前記予
測値の、前記原画像信号に対する予測誤差を算出する第
１の算出ステップと、前記複数パターンの予測タップのうち、最小の前記予測
誤差が得られる予測タップに対応するパターンコード
を、前記注目画素の画素値に付加する付加ステップとを
備えることを特徴とする画像符号化方法。
【請求項１４】前記付加ステップにおいて、前記注目
画素の画素値のＬＳＢ（Least Significant Bit）側の
Ｎビットに代えて、前記パターンコードを配置すること
を特徴とする請求項１３に記載の画像符号化方法。
【請求項１５】前記第１の予測ステップは、前記原画
像信号および圧縮画像信号に基づいて演算を行うことに
より、前記予測係数を求める演算ステップを有すること
を特徴とする請求項１３に記載の画像符号化方法。
【請求項１６】前記第１の予測ステップは、前記注目画素を、所定のクラスに分類するクラス分類ス
テップをさらに有し、前記注目画素のクラスに対応する予測係数と、前記予測
タップとから、前記予測値を求め、前記演算ステップにおいて、前記原画像信号および圧縮
画像信号に基づいて、前記予測係数を、前記クラスごと
に求めることを特徴とする請求項１５に記載の画像符号
化方法。
【請求項１７】前記演算ステップにおいて、前記複数
パターンの予測タップそれぞれについて、前記予測係数
を求めることを特徴とする請求項１５に記載の画像符号
化方法。
【請求項１８】前記演算ステップにおいて、前記複数
パターンの予測タップそれぞれについて、前記予測係数
を、前記クラスごとに求め、前記第１の予測ステップにおいて、前記複数パターンの
予測タップそれぞれと、前記注目画素のクラスに対応す
る予測係数とから、前記複数パターンの予測タップそれ
ぞれに対する予測値を求めることを特徴とする請求項１
６に記載の画像符号化方法。
【請求項１９】前記圧縮画像信号を、最適な圧縮画像
信号に変換する最適化ステップをさらに備えることを特
徴とする請求項１３乃至１８のうちのいずれかに記載の
画像符号化方法。
【請求項２０】前記最適化ステップは、前記注目画素
の画素値に付加された前記パターンコードに対応するパ
ターンの予測タップを形成する第２の形成ステップと、前記第２の形成ステップにより形成された前記予測タッ
プと、前記予測係数とから、前記原画像信号を予測し、
その予測値を出力する第２の予測ステップと、前記第２の予測ステップにより求められた前記予測値
の、前記原画像信号に対する予測誤差を算出する第２の
算出ステップと、前記第２の算出ステップにより算出された前記予測誤差
に対応して、前記注目画素の画素値を補正する補正ステ
ップとを有することを特徴とする請求項１９に記載の画
像符号化方法。
【請求項２１】前記最適化ステップでは、前記第２の形成ステップにおいて、前記注目画素の画素
値に付加された前記パターンコードに対応するパターン
の予測タップを形成し、前記第２の予測ステップにおいて、前記第２の形成ステ
ップにより形成された前記予測タップと、前記予測係数
とから、前記予測値を求め、前記第２の算出ステップにおいて、前記第２の予測ステ
ップにより求められた前記予測値の、前記原画像信号に
対する予測誤差を算出し、前記補正ステップにおいて、前記第２の算出ステップに
より算出された前記予測誤差に対応して、前記注目画素
の画素値を補正する最適化処理を、前記圧縮画像信号
が、最適な圧縮画像信号となるまで繰り返すことを特徴
とする請求項２０に記載の画像符号化方法。
【請求項２２】前記最適化処理を行うごとに得られる
圧縮画像信号と、前記原画像信号とに基づいて、前記第
２の予測ステップにより求められる前記予測値の、前記
原画像信号に対する予測誤差を小さくするように、前記
予測係数を修正する修正ステップをさらに備え、前記第１および第２の予測ステップにおいて、前記修正
ステップにより修正され予測係数を用いて、前記予測値
を求めることを特徴とする請求項２１に記載の画像符号
化方法。
【請求項２３】前記最適化ステップにおいて得られる
圧縮画像信号と、前記修正ステップにおいて得られる予
測係数とを出力する出力ステップをさらに備えることを
特徴とする請求項２２に記載の画像符号化方法。
【請求項２４】前記パターンコードが付加された圧縮
画像信号と、前記予測係数とを出力する出力ステップを
さらに備えることを特徴とする請求項１３乃至１８のう
ちのいずれかに記載の画像符号化方法。
【請求項２５】原画像信号の画素数より少ない画素数
の圧縮画像信号を発生し、前記圧縮画像信号を構成する画素のうちの１つを注目画
素として、その注目画素の近傍の画素を用いて、複数パ
ターンの予測タップを形成し、前記複数パターンの予測タップそれぞれと、所定の予測
係数とから、前記原画像信号を予測し、前記複数パター
ンの予測タップそれぞれに対する予測値を出力し、前記複数パターンの予測タップそれぞれに対する前記予
測値の、前記原画像信号に対する予測誤差を算出し、前記複数パターンの予測タップのうち、最小の前記予測
誤差が得られる予測タップに対応するパターンコード
を、前記注目画素の画素値に付加することにより得られ
る前記圧縮画像信号を含む符号化データを復号する画像
復号装置であって、前記符号化データに含まれる前記圧縮画像信号を構成す
る画素のうちの１つを注目画素として、その注目画素の
画素値に付加されている前記パターンコードに対応する
パターンの前記予測タップを、前記注目画素の近傍の画
素を用いて形成する形成手段と、前記形成手段により形成された前記予測タップと、前記
予測係数とから、前記原画像信号を予測し、その予測値
を求める予測手段とを備えることを特徴とする画像復号
装置。
【請求項２６】前記符号化データに含まれる前記圧縮
画像信号を構成する画素の画素値のＬＳＢ（Least Sign
ificant Bit）側のＮビットに代えて、前記パターンコ
ードが配置されていることを特徴とする請求項２５に記
載の画像復号装置。
【請求項２７】前記予測係数は、前記原画像信号およ
び圧縮画像信号に基づいて求められたものであることを
特徴とする請求項２５に記載の画像復号装置。
【請求項２８】前記予測手段は、前記注目画素を、所定のクラスに分類するクラス分類手
段を有し、前記注目画素のクラスに対応する予測係数と、前記予測
タップとから、前記予測値を求め、前記予測係数は、前記原画像信号および圧縮画像信号に
基づいて、前記クラスごとに求められたものであること
を特徴とする請求項２７に記載の画像復号装置。
【請求項２９】前記予測係数は、前記複数パターンの
予測タップそれぞれについて求められたものであること
を特徴とする請求項２７に記載の画像復号装置。
【請求項３０】前記予測係数は、前記複数パターンの
予測タップそれぞれについて、前記クラスごとに求めら
れたものであり、前記予測手段は、前記注目画素の画素値に付加されてい
る前記パターンコードに対応するパターンの前記予測タ
ップと、その予測タップについての予測係数のうちの前
記注目画素のクラスに対応する予測係数とから、前記予
測値を求めることを特徴とする請求項２８に記載の画像
復号装置。
【請求項３１】前記符号化データは、前記予測係数も
含んでおり、前記符号化データから、前記圧縮画像信号と予測係数と
を分離する分離手段をさらに備えることを特徴とする請
求項２５乃至３０のうちのいずれかに記載の画像復号装
置。
【請求項３２】原画像信号の画素数より少ない画素数
の圧縮画像信号を発生し、前記圧縮画像信号を構成する画素のうちの１つを注目画
素として、その注目画素の近傍の画素を用いて、複数パ
ターンの予測タップを形成し、前記複数パターンの予測タップそれぞれと、所定の予測
係数とから、前記原画像信号を予測し、前記複数パター
ンの予測タップそれぞれに対する予測値を出力し、前記複数パターンの予測タップそれぞれに対する前記予
測値の、前記原画像信号に対する予測誤差を算出し、前記複数パターンの予測タップのうち、最小の前記予測
誤差が得られる予測タップに対応するパターンコード
を、前記注目画素の画素値に付加することにより得られ
る前記圧縮画像信号を含む符号化データを復号する画像
復号方法であって、前記符号化データに含まれる前記圧縮画像信号を構成す
る画素のうちの１つを注目画素として、その注目画素の
画素値に付加されている前記パターンコードに対応する
パターンの前記予測タップを、前記注目画素の近傍の画
素を用いて形成する形成ステップと、前記形成ステップにより形成された前記予測タップと、
前記予測係数とから、前記原画像信号を予測し、その予
測値を求める予測ステップとを備えることを特徴とする
画像復号方法。
【請求項３３】前記符号化データに含まれる前記圧縮
画像信号を構成する画素の画素値のＬＳＢ（Least Sign
ificant Bit）側のＮビットに代えて、前記パターンコ
ードが配置されていることを特徴とする請求項３２に記
載の画像復号方法。
【請求項３４】前記予測係数は、前記原画像信号およ
び圧縮画像信号に基づいて求められたものであることを
特徴とする請求項３２に記載の画像復号方法。
【請求項３５】前記予測ステップは、前記注目画素を、所定のクラスに分類するクラス分類ス
テップを有し、前記注目画素のクラスに対応する予測係数と、前記予測
タップとから、前記予測値を求め、前記予測係数は、前記原画像信号および圧縮画像信号に
基づいて、前記クラスごとに求められたものであること
を特徴とする請求項３４に記載の画像復号方法。
【請求項３６】前記予測係数は、前記複数パターンの
予測タップそれぞれについて求められたものであること
を特徴とする請求項３４に記載の画像復号方法。
【請求項３７】前記予測係数は、前記複数パターンの
予測タップそれぞれについて、前記クラスごとに求めら
れたものであり、前記予測ステップは、前記注目画素の画素値に付加され
ている前記パターンコードに対応するパターンの前記予
測タップと、その予測タップについての予測係数のうち
の前記注目画素のクラスに対応する予測係数とから、前
記予測値を求めることを特徴とする請求項３５に記載の
画像復号方法。
【請求項３８】前記符号化データは、前記予測係数も
含んでおり、前記符号化データから、前記圧縮画像信号と予測係数と
を分離する分離ステップをさらに備えることを特徴とす
る請求項３２乃至３７のうちのいずれかに記載の画像復
号方法。
【請求項３９】画像を符号化した符号化データが記録
されている記録媒体であって、前記符号化データは、原画像信号の画素数より少ない画素数の圧縮画像信号を
発生し、前記圧縮画像信号を構成する画素のうちの１つを注目画
素として、その注目画素の近傍の画素を用いて、複数パ
ターンの予測タップを形成し、前記複数パターンの予測タップそれぞれと、所定の予測
係数とから、前記原画像信号を予測し、前記複数パター
ンの予測タップそれぞれに対する予測値を出力し、前記複数パターンの予測タップそれぞれに対する前記予
測値の、前記原画像信号に対する予測誤差を算出し、前記複数パターンの予測タップのうち、最小の前記予測
誤差が得られる予測タップに対応するパターンコード
を、前記注目画素の画素値に付加することにより得られ
たものであることを特徴とする記録媒体。
【請求項４０】前記予測係数も記録されていることを
特徴とする請求項３９に記載の記録媒体。