JPH1084549A - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体 - Google Patents

画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体

Info

Publication number
JPH1084549A
JPH1084549A JP20852597A JP20852597A JPH1084549A JP H1084549 A JPH1084549 A JP H1084549A JP 20852597 A JP20852597 A JP 20852597A JP 20852597 A JP20852597 A JP 20852597A JP H1084549 A JPH1084549 A JP H1084549A
Authority
JP
Japan
Prior art keywords
image
prediction
data
correction data
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP20852597A
Other languages
English (en)
Other versions
JP3952326B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US08/893,216 external-priority patent/US6381369B1/en
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP20852597A priority Critical patent/JP3952326B2/ja
Publication of JPH1084549A publication Critical patent/JPH1084549A/ja
Application granted granted Critical
Publication of JP3952326B2 publication Critical patent/JP3952326B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 少ないデータ処理量で、元の画像とほぼ同一
の復号画像を効率的に得ることができるようにする。 【解決手段】 間引き回路30において、原画像の9画
素から1画素を抽出することにより得られる圧縮データ
のレベルを、レベル制限回路31により、MSBからの
2ビットを抽出することで制限する。ローカルデコード
部では、その補正データに基づいて、原画像が予測さ
れ、その予測値が出力される。そして、誤差算出部にお
いて、原画像に対する、予測値の予測誤差が算出され
る。この予測誤差が小さくなるように、補正回路32
で、圧縮データを補正する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像復号化装置および画像復号化
方法、伝送方法、並びに記録媒体に関し、特に、少ない
データ処理で、効率的に、より高画質の予測画像を得る
ことができるようにした画像符号化装置および画像符号
化方法、画像復号化装置および画像復号化方法、伝送方
法、並びに記録媒体に関する。
【0002】
【従来の技術】従来より、画像の圧縮方法については、
種々の方法が提案されているが、そのうちの1つに、画
像を、その画素を間引くことにより圧縮する方法があ
る。
【0003】
【発明が解決しようとする課題】しかしながら、単に画
像を間引いて圧縮した画素データを、そのまま符号化す
るようにすると、データ処理量が膨大となり、効率的
に、高画質の予測画像(復号画像)を得ることができな
い課題があった。
【0004】本発明は、このような状況に鑑みてなされ
たものであり、少ないデータ量で、効率的に、より高画
質の予測画像を得ることができるようにするものであ
る。
【0005】
【課題を解決するための手段】請求項1に記載の画像符
号化装置は、原画像を圧縮することにより得られる圧縮
データのレベルを制限する制限手段と、レベルの制限さ
れた圧縮データを補正し、補正データを出力する補正手
段と、補正データに基づいて、原画像を予測し、その予
測値を出力する予測手段と、原画像に対する、予測値の
予測誤差を算出する算出手段と、予測誤差に基づいて、
補正手段が出力する補正データの適正さを判定する判定
手段と、判定手段による判定結果に対応して、補正デー
タを、原画像の符号化結果として出力する出力手段とを
備えることを特徴とする。
【0006】請求項11に記載の画像符号化方法は、原
画像を圧縮することにより得られる圧縮データのレベル
を制限し、レベルの制限された圧縮データを補正して、
補正データを出力し、補正データに基づいて、原画像を
予測して、その予測値を出力し、原画像に対する、予測
値の予測誤差を算出し、予測誤差に基づいて、補正デー
タの適正さを判定することを、補正データが適正になる
まで繰り返し、適正になった補正データを、原画像の符
号化結果として出力することを特徴とする。
【0007】請求項12に記載の画像復号化装置は、符
号化データが、原画像を圧縮することにより得られる圧
縮データのレベルを制限し、レベルの制限された圧縮デ
ータを補正して、補正データを出力し、補正データに基
づいて、原画像を予測して、その予測値を出力し、原画
像に対する、予測値の予測誤差を算出し、予測誤差に基
づいて、補正データの適正さを判定することを、補正デ
ータが適正になるまで繰り返すことにより得られた、適
正になった補正データを含むことを特徴とする。
【0008】請求項18に記載の画像復号化方法は、符
号化データが、原画像を圧縮することにより得られる圧
縮データのレベルを制限し、レベルの制限された圧縮デ
ータを補正して、補正データを出力し、補正データに基
づいて、原画像を予測して、その予測値を出力し、原画
像に対する、予測値の予測誤差を算出し、予測誤差に基
づいて、補正データの適正さを判定することを、補正デ
ータが適正になるまで繰り返すことにより得られた、適
正になった補正データを含むことを特徴とする。
【0009】請求項19に記載の伝送方法は、符号化デ
ータが、原画像を圧縮することにより得られる圧縮デー
タのレベルを制限し、レベルの制限された圧縮データを
補正して、補正データを出力し、補正データに基づい
て、原画像を予測して、その予測値を出力し、原画像に
対する、予測値の予測誤差を算出し、予測誤差に基づい
て、補正データの適正さを判定することを、補正データ
が適正になるまで繰り返すことにより得られた、適正に
なった補正データを含むことを特徴とする。
【0010】請求項20に記載の記録媒体は、符号化デ
ータが、原画像を、その画素数を少なくすることにより
圧縮し、原画像を圧縮することにより得られる圧縮デー
タのレベルを制限し、レベルの制限された圧縮データを
補正して、補正データを出力し、補正データに基づい
て、原画像を予測して、その予測値を出力し、原画像に
対する、予測値の予測誤差を算出し、予測誤差に基づい
て、補正データの適正さを判定することを、補正データ
が適正になるまで繰り返すことにより得られた、適正に
なった補正データを含むことを特徴とする。
【0011】請求項21に記載の画像符号化装置は、画
像を構成する画素を、その性質に応じて所定のクラスに
分類する分類手段と、クラスごとに、所定のマッピング
係数を記憶しているマッピング係数記憶手段と、画像の
中の、注目している注目画素と、その注目画素のクラス
に対応するマッピング係数とを用いて所定の演算を行う
ことにより、その注目画素を補正した補正データを算出
する演算手段と、補正データのレベルを制限して、画像
を符号化した符号化データとする制限手段とを備えるこ
とを特徴とする。
【0012】請求項29に記載の画像符号化方法は、画
像を構成する画素を、その性質に応じて所定のクラスに
分類し、クラスごとに、所定のマッピング係数を記憶し
ているマッピング係数記憶手段から、画像の中の、注目
している注目画素のクラスに対応するマッピング係数を
読み出し、そのマッピング係数と、注目画素とを用いて
所定の演算を行うことにより、その注目画素を補正した
補正データを算出し、補正データのレベルを制限して、
画像を符号化した符号化データとすることを特徴とす
る。
【0013】請求項30に記載の画像復号化装置は、符
号化データが、画像を構成する画素を、その性質に応じ
て第1のクラスのうちのいずれかに分類し、第1のクラ
スごとに、所定のマッピング係数を記憶しているマッピ
ング係数記憶手段から、画像の中の、注目している注目
画素の第1のクラスに対応するマッピング係数を読み出
し、そのマッピング係数と、注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、補正データのレベルを制限することによ
り得られたものであることを特徴とする。
【0014】請求項37に記載の画像復号化方法は、符
号化データが、画像を構成する画素を、その性質に応じ
て所定のクラスのうちのいずれかに分類し、クラスごと
に、所定のマッピング係数を記憶しているマッピング係
数記憶手段から、画像の中の、注目している注目画素の
クラスに対応するマッピング係数を読み出し、そのマッ
ピング係数と、注目画素とを用いて所定の演算を行うこ
とにより、その注目画素を補正した補正データを算出
し、補正データのレベルを制限することにより得られた
ものであることを特徴とする。
【0015】請求項38に記載の伝送方法は、符号化デ
ータが、画像を構成する画素を、その性質に応じて所定
のクラスに分類し、クラスごとに、所定のマッピング係
数を記憶しているマッピング係数記憶手段から、画像の
中の、注目している注目画素のクラスに対応するマッピ
ング係数を読み出し、そのマッピング係数と、注目画素
とを用いて所定の演算を行うことにより、その注目画素
を補正した補正データを算出し、補正データのレベルを
制限することにより得られたものであることを特徴とす
る。
【0016】請求項39に記載の記録媒体は、符号化デ
ータが、画像を構成する画素を、その性質に応じて所定
のクラスに分類し、クラスごとに、所定のマッピング係
数を記憶しているマッピング係数記憶手段から、画像の
中の、注目している注目画素のクラスに対応するマッピ
ング係数を読み出し、そのマッピング係数と、注目画素
とを用いて所定の演算を行うことにより、その注目画素
を補正した補正データを算出し、補正データのレベルを
制限することにより得られたものであることを特徴とす
る。
【0017】請求項1に記載の画像符号化装置において
は、制限手段は、原画像を圧縮することにより得られる
圧縮データのレベルを制限し、補正手段は、レベルの制
限された圧縮データを補正し、補正データを出力するよ
うになされている。予測手段は、補正データに基づい
て、原画像を予測して、その予測値を出力し、算出手段
は、原画像に対する、予測値の予測誤差を算出するよう
になされている。判定手段は、予測誤差に基づいて、補
正手段が出力する補正データの適正さを判定し、出力手
段は、判定手段による判定結果に対応して、補正データ
を、原画像の符号化結果として出力するようになされて
いる。
【0018】請求項11に記載の画像符号化方法におい
ては、原画像を圧縮することにより得られる圧縮データ
のレベルを制限し、レベルの制限された圧縮データを補
正して、補正データを出力し、補正データに基づいて、
原画像を予測して、その予測値を出力し、原画像に対す
る、予測値の予測誤差を算出し、予測誤差に基づいて、
補正データの適正さを判定することを、補正データが適
正になるまで繰り返し、適正になった補正データを、原
画像の符号化結果として出力するようになされている。
【0019】請求項12に記載の画像復号化装置および
請求項18に記載の画像復号化方法、請求項19に記載
の伝送方法、並びに請求項20に記載の記録媒体におい
ては、符号化データが、原画像を、その画素数を少なく
することにより圧縮し、原画像を圧縮することにより得
られる圧縮データのレベルを制限し、レベルの制限され
た圧縮データを補正して、補正データを出力し、補正デ
ータに基づいて、原画像を予測して、その予測値を出力
し、原画像に対する、予測値の予測誤差を算出し、予測
誤差に基づいて、補正データの適正さを判定すること
を、補正データが適正になるまで繰り返すことにより得
られた、適正になった補正データを含んでいる。
【0020】請求項21に記載の画像符号化装置におい
ては、分類手段は、画像を構成する画素を、その性質に
応じて所定のクラスに分類し、マッピング係数記憶手段
は、クラスごとに、所定のマッピング係数を記憶してい
る。演算手段は、画像の中の、注目している注目画素
と、その注目画素のクラスに対応するマッピング係数と
を用いて所定の演算を行うことにより、その注目画素を
補正した補正データを算出し、制限手段は、補正データ
のレベルを制限して、画像を符号化した符号化データと
するようになされている。
【0021】請求項29に記載の画像符号化方法におい
ては、画像を構成する画素を、その性質に応じて所定の
クラスに分類し、クラスごとに、所定のマッピング係数
を記憶しているマッピング係数記憶手段から、画像の中
の、注目している注目画素のクラスに対応するマッピン
グ係数を読み出し、そのマッピング係数と、注目画素と
を用いて所定の演算を行うことにより、その注目画素を
補正した補正データを算出し、補正データのレベルを制
限して、画像を符号化した符号化データとするようにな
されている。
【0022】請求項30に記載の画像復号化装置および
請求項37に記載の画像復号化方法、請求項38に記載
の伝送方法、並びに請求項39に記載の記録媒体におい
ては、符号化データが、画像を構成する画素を、その性
質に応じて所定のクラスに分類し、クラスごとに、所定
のマッピング係数を記憶しているマッピング係数記憶手
段から、画像の中の、注目している注目画素のクラスに
対応するマッピング係数を読み出し、そのマッピング係
数と、注目画素とを用いて所定の演算を行うことによ
り、その注目画素を補正した補正データを算出し、補正
データのレベルを制限することにより得られたものとな
っている。
【0023】
【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態(但
し、一例)を付加して、本発明の特徴を記述すると、次
のようになる。
【0024】即ち、請求項1に記載の画像符号化装置
は、画像を符号化する画像符号化装置であって、原画像
を、その画素数を少なくすることにより圧縮する圧縮手
段(例えば、図3に示す圧縮部21など)と、原画像を
圧縮することにより得られる圧縮データのレベルを制限
する制限手段(例えば、図3に示す圧縮部21など)
と、レベルの制限された圧縮データを補正し、補正デー
タを出力する補正手段(例えば、図3に示す圧縮部21
など)と、補正データに基づいて、原画像を予測し、そ
の予測値を出力する予測手段(例えば、図3に示すロー
カルデコード部22など)と、原画像に対する、予測値
の予測誤差を算出する算出手段(例えば、図3に示す誤
差算出部23など)と、予測誤差に基づいて、補正手段
が出力する補正データの適正さを判定する判定手段(例
えば、図3に示す判定部24など)と、判定手段による
判定結果に対応して、補正データを、原画像の符号化結
果として出力する出力手段(例えば、図3に示す判定部
24など)とを備えることを特徴とする。
【0025】請求項2に記載の画像符号化装置は、予測
手段が、補正データを、その性質に応じて所定のクラス
に分類する分類手段(例えば、図8に示すクラス分類回
路45など)と、クラスに対応して、予測値を求める予
測値演算手段(例えば、図8に示す適応処理回路46な
ど)とを有することを特徴とする。
【0026】請求項3に記載の画像符号化装置は、予測
手段が、補正データとの線形結合により予測値を算出す
るための予測係数を求める予測係数演算手段(例えば、
図8に示す適応処理回路46など)と、予測係数および
補正データから、予測値を求める予測値演算手段(例え
ば、図8に示す適応処理回路46など)とを有すること
を特徴とする。
【0027】請求項4に記載の画像符号化装置は、予測
手段が、補正データを、その性質に応じて所定のクラス
に分類する分類手段(例えば、図8に示すクラス分類回
路45など)と、補正データとの線形結合により予測値
を算出するための予測係数を、クラスごとに求める予測
係数演算手段(例えば、図8に示す適応処理回路46な
ど)と、補正データのクラスについて得られた予測係数
と、その補正データとから、予測値を求める予測値演算
手段(例えば、図8に示す適応処理回路46など)とを
有することを特徴とする。
【0028】請求項6に記載の画像符号化装置は、予測
手段が、補正データとの線形結合により予測値を算出す
るための予測係数を、所定のクラスごとに記憶している
記憶手段(例えば、図17に示す予測係数ROM81な
ど)と、補正データを、その性質に応じて所定のクラス
のうちのいずれかに分類する分類手段(例えば、図17
に示すクラス分類回路45など)と、補正データのクラ
スについての予測係数と、その補正データとから、予測
値を求める予測値演算手段(例えば、図17に示す予測
回路82など)とを有することを特徴とする。
【0029】請求項9に記載の画像符号化装置は、補正
手段が、圧縮データを補正するための補正値を記憶して
いる記憶手段(例えば、図5に示す補正値ROM33な
ど)を有し、その補正値を用いて、圧縮データを補正す
ることを特徴とする。
【0030】請求項12に記載の画像復号化装置は、画
像を符号化した符号化データを復号化する画像復号化装
置であって、符号化データを受信する受信手段(例え
ば、図15に示す受信機/再生装置71など)と、符号
化データを復号化する復号化手段(例えば、図15に示
すクラス分類用ブロック化回路73、クラス分類回路7
5、予測回路76、および予測値計算用ブロック化回路
77など)とを備え、符号化データが、原画像を、その
画素数を少なくすることにより圧縮し、原画像を圧縮す
ることにより得られる圧縮データのレベルを制限し、レ
ベルの制限された圧縮データを補正して、補正データを
出力し、補正データに基づいて、原画像を予測して、そ
の予測値を出力し、原画像に対する、予測値の予測誤差
を算出し、予測誤差に基づいて、補正データの適正さを
判定することを、補正データが適正になるまで繰り返す
ことにより得られた、適正になった補正データを含むこ
とを特徴とする。
【0031】請求項13に記載の画像復号化装置は、復
号化手段が、補正データを、その性質に応じて所定のク
ラスに分類する分類手段(例えば、図15に示すクラス
分類回路75など)と、クラスに対応して、予測値を求
める予測値演算手段(例えば、図15に示す予測回路7
6など)とを有することを特徴とする。
【0032】請求項14に記載の画像復号化装置は、符
号化データが、補正データとの線形結合により予測値を
算出するための予測係数も含んでおり、復号化手段が、
予測係数および補正データから、予測値を求める予測値
演算手段(例えば、図15に示す予測回路76など)を
有することを特徴とする。
【0033】請求項15に記載の画像復号化装置は、符
号化データが、補正データとの線形結合により予測値を
算出するための、所定のクラスごとの予測係数も含んで
おり、復号化手段が、補正データを、その性質に応じて
所定のクラスに分類する分類手段(例えば、図15に示
すクラス分類回路75など)と、補正データのクラスに
ついての予測係数と、その補正データとから、予測値を
求める予測値演算手段(例えば、図15に示す予測回路
76など)とを有することを特徴とする。
【0034】請求項16に記載の画像復号化装置は、復
号化手段が、補正データとの線形結合により予測値を算
出するための予測係数を、所定のクラスごとに記憶して
いる記憶手段(例えば、図26に示す予測係数ROM7
8など)と、補正データを、その性質に応じて所定のク
ラスのいずれかに分類する分類手段(例えば、図26に
示すクラス分類回路75など)と、補正データのクラス
についての予測係数を記憶手段から読み出し、その予測
係数と補正データとから、予測値を求める予測値演算手
段(例えば、図26に示す予測回路76など)とを有す
ることを特徴とする。
【0035】請求項21に記載の画像符号化装置は、画
像を符号化する画像符号化装置であって、画像を構成す
る画素を、その性質に応じて所定のクラスに分類する分
類手段(例えば、図27に示すクラス分類回路113な
ど)と、クラスごとに、所定のマッピング係数を記憶し
ているマッピング係数記憶手段(例えば、図27に示す
マッピング係数メモリ114など)と、画像の中の、注
目している注目画素と、その注目画素のクラスに対応す
るマッピング係数とを用いて所定の演算を行うことによ
り、その注目画素を補正した補正データを算出する演算
手段(例えば、図27に示す演算回路116など)と、
補正データのレベルを制限して、画像を符号化した符号
化データとする制限手段(例えば、図27に示すレベル
制限回路117など)とを備えることを特徴とする。
【0036】請求項29に記載の画像符号化方法は、画
像を符号化する画像符号化方法であって、画像を構成す
る画素を、その性質に応じて所定のクラスに分類し、ク
ラスごとに、所定のマッピング係数を記憶しているマッ
ピング係数記憶手段(例えば、図27に示すマッピング
係数メモリ114など)から、画像の中の、注目してい
る注目画素のクラスに対応するマッピング係数を読み出
し、そのマッピング係数と、注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、補正データのレベルを制限して、画像を
符号化した符号化データとすることを特徴とする。
【0037】請求項30に記載の画像復号化装置は、画
像を符号化した符号化データを復号化する画像復号化装
置であって、符号化データを受信する受信手段(例え
ば、図37に示す受信機/再生装置191など)と、符
号化データを復号化する復号化手段(例えば、図37に
示すデコード部192など)とを備え、符号化データ
が、画像を構成する画素を、その性質に応じて第1のク
ラスのうちのいずれかに分類し、第1のクラスごとに、
所定のマッピング係数を記憶しているマッピング係数記
憶手段(例えば、図27に示すマッピング係数メモリ1
14など)から、画像の中の、注目している注目画素の
第1のクラスに対応するマッピング係数を読み出し、そ
のマッピング係数と、注目画素とを用いて所定の演算を
行うことにより、その注目画素を補正した補正データを
算出し、補正データのレベルを制限することにより得ら
れたものであることを特徴とする。
【0038】請求項32に記載の画像復号化装置は、復
号化手段が、符号化データとの線形結合により予測値を
算出するための予測係数を、第2のクラスごとに記憶し
ている予測係数記憶手段(例えば、図37に示す予測係
数ROM197など)と、符号化データを、その性質に
応じて第2のクラスのうちのいずれかに分類する分類手
段(例えば、図37に示すクラス分類回路196など)
と、符号化データの第2のクラスについての予測係数
を、予測係数記憶手段から読み出し、その予測係数と符
号化データとから、予測値を求める予測値演算手段(例
えば、図37に示す予測回路198など)とを有するこ
とを特徴とする。
【0039】請求項37に記載の画像復号化方法は、画
像を符号化した符号化データを復号化する画像復号化方
法であって、符号化データが、画像を構成する画素を、
その性質に応じて所定のクラスのうちのいずれかに分類
し、クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段(例えば、図27に示すマッ
ピング係数メモリ114など)から、画像の中の、注目
している注目画素のクラスに対応するマッピング係数を
読み出し、そのマッピング係数と、注目画素とを用いて
所定の演算を行うことにより、その注目画素を補正した
補正データを算出し、補正データのレベルを制限するこ
とにより得られたものであることを特徴とする。
【0040】請求項38に記載の伝送方法は、画像を符
号化した符号化データを伝送する伝送方法であって、符
号化データが、画像を構成する画素を、その性質に応じ
て所定のクラスのうちのいずれかに分類し、クラスごと
に、所定のマッピング係数を記憶しているマッピング係
数記憶手段(例えば、図27に示すマッピング係数メモ
リ114など)から、画像の中の、注目している注目画
素のクラスに対応するマッピング係数を読み出し、その
マッピング係数と、注目画素とを用いて所定の演算を行
うことにより、その注目画素を補正した補正データを算
出し、補正データのレベルを制限することにより得られ
たものであることを特徴とする。
【0041】請求項39に記載の記録媒体は、画像を符
号化した符号化データが記録されている記録媒体であっ
て、符号化データが、画像を構成する画素を、その性質
に応じて所定のクラスのうちのいずれかに分類し、クラ
スごとに、所定のマッピング係数を記憶しているマッピ
ング係数記憶手段(例えば、図27に示すマッピング係
数メモリ114など)から、画像の中の、注目している
注目画素のクラスに対応するマッピング係数を読み出
し、そのマッピング係数と、注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、補正データのレベルを制限することによ
り得られたものであることを特徴とする。
【0042】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。
【0043】図1は、本発明を適用した画像処理装置の
一実施の形態の構成を示している。送信装置1には、デ
ィジタル化された画像データが供給されるようになされ
ている。送信装置1は、入力された画像データを間引く
こと(その画素数を少なくすること)により圧縮、符号
化し、その結果得られる符号化データを、例えば、光デ
ィスク、光磁気ディスク、磁気テープ、相変化ディスク
その他でなる記録媒体2に記録し、または、例えば、地
上波、衛星回線、電話回線、CATV網、インターネッ
トその他の伝送路3を介して伝送する。
【0044】受信装置4では、記録媒体2に記録された
符号化データが再生され、または、伝送路3を介して伝
送されてくる符号化データが受信され、その符号化デー
タが伸張、復号化される。そして、その結果得られる復
号画像は、図示せぬディスプレイに供給されて表示され
る。
【0045】なお、以上のような画像処理装置は、例え
ば、光ディスク装置、光磁気ディスク装置、磁気テープ
装置その他の、画像の記録/再生を行う装置、あるいは
また、例えば、テレビ電話装置、テレビジョン放送シス
テム、CATVシステムその他の、画像の伝送を行う装
置などに適用される。また、後述するように、送信装置
1が出力する符号化データのデータ量が少ないため、図
1の画像処理装置は、伝送レートの低い、例えば、携帯
電話機その他の、移動に便利な携帯端末などにも適用可
能である。
【0046】図2は、送信装置1の構成例を示してい
る。
【0047】I/F(InterFace)11は、外部から供
給される画像データの受信処理と、送信機/記録装置1
6に対しての、符号化データの送信処理を行うようにな
されている。ROM(Read Only Memory)12は、IP
L(Initial Program Loading)用のプログラムその他
を記憶している。RAM(Random Access Memory)13
は、外部記憶装置15に記録されているシステムプログ
ラム(OS(Operating System))やアプリケーション
プログラムを記憶したり、また、CPU(Central Proc
essing Unit)14の動作上必要なデータを記憶するよ
うになされている。CPU14は、ROM12に記憶さ
れているIPLプログラムにしたがい、外部記憶装置1
5からシステムプログラムおよびアプリケーションプロ
グラムを、RAM13に展開し、そのシステムプログラ
ムの制御の下、アプリケーションプログラムを実行する
ことで、I/F11から供給される画像データについて
の、後述するような符号化処理を行うようになされてい
る。外部記憶装置15は、例えば、磁気ディスク装置な
どでなり、上述したように、CPU14が実行するシス
テムプログラムやアプリケーションプログラムを記憶し
ている他、CPU14の動作上必要なデータも記憶して
いる。送信機/記録装置16は、I/F11から供給さ
れる符号化データを、記録媒体2に記録し、または伝送
路3を介して伝送するようになされている。
【0048】なお、I/F11,ROM12,RAM1
3,CPU14、および外部記憶装置15は、相互にバ
スを介して接続されている。
【0049】以上のように構成される送信装置1におい
ては、I/F11に画像データが供給されると、その画
像データは、CPU14に供給される。CPU14は、
画像データを符号化し、その結果得られる符号化データ
を、I/F11に供給する。I/F11は、符号化デー
タを受信すると、それを、送信機/記録装置16に供給
する。送信機/記録装置16では、I/F11からの符
号化データが、記録媒体2に記録され、または伝送路3
を介して伝送される。
【0050】図3は、図2の送信装置1の、送信機/記
録装置16を除く部分の機能的なブロック図である。
【0051】符号化すべき画像データは、圧縮部21、
ローカルデコード部22、および誤差算出部23に供給
されるようになされている。圧縮部21は、画像データ
を、その画素を、単純に間引くことにより圧縮するとと
もに、抽出された画素データのレベルを制限し、さら
に、その結果得られる圧縮データ(間引きとレベル制限
が行われた後の画像データ)を、判定部24からの制御
にしたがって補正するようになされている。圧縮部21
における補正の結果得られる補正データは、ローカルデ
コード部22および判定部24に供給されるようになさ
れている。
【0052】ローカルデコード部22は、圧縮部21か
らの補正データに基づいて、元の画像を予測し、その予
測値を、誤差算出部23に供給するようになされてい
る。なお、ローカルデコード部22は、後述するよう
に、補正データとの線形結合により、予測値を算出する
ための予測係数を求める処理を行い、その予測係数に基
づいて、予測値を求める適応処理を行うようになされて
おり、上述したように、予測値を、誤差算出部23に供
給する他、そのとき求めた予測係数を、判定部24に供
給するようにもなされている。
【0053】誤差算出部23は、そこに入力される、元
の画像データ(原画像)に対する、ローカルデコード部
22からの予測値の予測誤差を算出するようになされて
いる。この予測誤差は、誤差情報として、判定部24に
供給されるようになされている。
【0054】判定部24は、誤差算出部23からの誤差
情報に基づいて、圧縮部21が出力した補正データを、
元の画像の符号化結果とすることの適正さを判定するよ
うになされている。そして、判定部24は、圧縮部21
が出力した補正データを、元の画像の符号化結果とする
ことが適正でないと判定した場合には、圧縮部21を制
御し、さらに、圧縮データを補正させ、その結果得られ
る新たな補正データを出力させるようになされている。
また、判定部24は、圧縮部21が出力した補正データ
を、元の画像の符号化結果とすることが適正であると判
定した場合には、圧縮部21から供給された補正データ
を、最適な圧縮データ(以下、適宜、最適圧縮データと
いう)として多重化部25に供給するとともに、ローカ
ルデコード部22から供給された予測係数を多重化部2
5に供給するようになされている。
【0055】多重化部25は、判定部24からの最適圧
縮データ(補正データ)と、予測係数とを多重化し、そ
の多重化結果を、符号化データとして、送信機/記録装
置16(図2)に供給するようになされている。
【0056】次に、図4のフローチャートを参照して、
その動作について説明する。圧縮部21に対して、画像
データが供給されると、圧縮部21は、ステップS1に
おいて、その画像データを間引く(複数の画素から少な
い数の画素を抽出する)ことにより圧縮する。また、抽
出された画素データのレベルを、ステップS2におい
て、MSB側の2ビットを抽出することで制限する。そ
して、この画素データを、最初は、補正を行わずに、ロ
ーカルデコード部22および判定部24に出力する。ロ
ーカルデコード部22では、ステップS3において、圧
縮部21からの補正データ(最初は、上述したように、
画像データを、単純に間引き、かつ、レベル制限した圧
縮データそのもの)がローカルデコードされる。
【0057】即ち、ステップS3では、圧縮部21から
の補正データとの線形結合により、元の画像の予測値を
算出するための予測係数を求める処理が行われ、その予
測係数に基づいて、予測値を求める適応処理が行われ
る。ローカルデコード部22において求められた予測値
は誤差算出部23に、また、予測係数は判定部24に供
給される。
【0058】ここで、ローカルデコード部22が出力す
る予測値で構成される画像は、受信装置4(図1)側に
おいて得られる復号画像と同一のものである。
【0059】誤差算出部23は、ローカルデコード部2
2から、元の画像の予測値を受信すると、ステップS4
において、元の画像データに対する、ローカルデコード
部22からの予測値の予測誤差を算出し、誤差情報とし
て、判定部24に供給する。判定部24は、誤差算出部
23から誤差情報を受信すると、ステップS5におい
て、その誤差情報に基づいて、圧縮部21が出力した補
正データを、元の画像の符号化結果とすることの適正さ
を判定する。
【0060】即ち、ステップS5においては、誤差情報
が所定の閾値ε以下であるかどうかが判定される。ステ
ップS5において、誤差情報が所定の閾値ε以下でない
と判定された場合、圧縮部21が出力した補正データ
を、元の画像の符号化データとするのは適正でないと認
識され、ステップS6に進み、判定部24は、圧縮部2
1を制御し、これにより、圧縮データを補正させる。圧
縮部21は、判定部24の制御にしたがって、補正量
(後述する補正値△)を変えて、圧縮データを補正し、
その結果得られる補正データを、ローカルデコード部2
2および判定部24に出力する。そして、ステップS3
に戻り、以下、同様の処理が繰り返される。
【0061】一方、ステップS5において、誤差情報が
所定の閾値ε以下であると判定された場合、圧縮部21
が出力した補正データを、元の画像の符号化結果とする
のは適正であると認識され、判定部24は、所定の閾値
ε以下の誤差情報が得られたときの補正データを、最適
圧縮データとして、予測係数とともに、多重化部25に
出力する。多重化部25では、ステップS7において、
判定部24からの最適圧縮データと予測係数とが多重化
され、その結果得られる符号化データが出力されて、処
理を終了する。
【0062】以上のように、誤差情報が所定の閾値ε以
下となったときにおける、圧縮データを補正した補正デ
ータを、元の画像の符号化結果とするようにしたので、
受信装置4側においては、その補正データに基づいて、
元の画像(原画像)とほぼ同一の画像を得ることが可能
となる。
【0063】次に、図5は、図3の圧縮部21の構成例
を示している。
【0064】符号化すべき画像データは、間引き回路3
0に入力されるようになされており、間引き回路30
は、入力された画像データを1/Nに間引くようになさ
れている。従って、間引き回路30からは、画像データ
を、1/Nに圧縮した圧縮データが出力されるようにな
されている。この圧縮データは、レベル制限回路31に
入力され、例えば8ビットで表される各画素データのM
SB側の2ビットだけを抽出することで、そのレベルが
制限された後、補正回路32に供給されるようになされ
ている。
【0065】補正回路32は、判定部24(図3)から
の制御信号にしたがって、補正値ROM33にアドレス
を与え、これにより、補正値△を読み出すようになされ
ている。そして、補正回路32は、レベル制限回路31
からの圧縮データに対して、補正値ROM33からの補
正値△を、例えば加算することで、補正データを生成
し、ローカルデコード部22および判定部24に供給す
るようになされている。補正値ROM33は、レベル制
限回路31が出力する圧縮データを補正するための、各
種の補正値△の組合せ(例えば、1フレーム分の圧縮デ
ータを補正するための補正値の組合せなど)を記憶して
おり、補正回路32から供給されるアドレスに対応する
補正値△の組合せを読み出して、補正回路32に供給す
るようになされている。
【0066】次に、図6を参照して、図5の圧縮部21
の処理について説明する。
【0067】例えば、1フレーム分などの画像データ
が、間引き回路30に供給されると、間引き回路30
は、ステップS11において、その画像データを1/N
に間引き、その結果得られる圧縮データを、レベル制限
回路31に出力する。
【0068】ここで、間引き回路30は、図7に示すよ
うに、画像データを、例えば、1/9に間引くようにな
されている。即ち、間引き回路30は、3×3(横×
縦)の9画素を1単位とし、各単位の中心の画素(同図
において、●印で示す部分)についての画素値のみを抽
出し、他の部分(同図において、○印で示す部分)を削
除する。なお、間引き回路30は、以上のような処理
を、例えば、1フレーム(フィールド)単位で行うよう
になされている。従って、間引き回路30からレベル制
限回路31に対しては、1フレームの画像データが1/
9に間引きされた圧縮データとして供給される。但し、
間引き回路30における間引き処理は、その他、1フレ
ームの画像を幾つかのブロックに分割し、そのブロック
単位で行うようにすることも可能である。
【0069】レベル制限回路31は、間引き回路30か
ら、1/9に間引かれた画素データの供給を受けると、
8ビットで表されている画素データのMSB側から2ビ
ットを抽出することでレベルを制限する。すなわち、こ
れにより、各画素データは2ビットで表されることにな
り、その後の処理が簡単となる。
【0070】補正回路32は、レベル制限回路31から
圧縮データを受信すると、ステップS13において、判
定部24(図3)から制御信号を受信したかどうかを判
定する。ステップS13において、制御信号を受信して
いないと判定された場合、ステップS16に進み、補正
回路32は、レベル制限回路31からの圧縮データを、
そのまま補正データとして、ローカルデコード部22お
よび判定部24に出力し、ステップS13に戻る。
【0071】即ち、判定部24は、上述したように、誤
差情報に基づいて、圧縮部21(補正回路32)を制御
するようになされており、レベル制限回路31から圧縮
データが出力された直後は、まだ、誤差情報が得られな
いため(誤差情報が、誤差算出部23から出力されない
ため)、判定部24からは制御信号は出力されない。こ
のため、レベル制限回路31から圧縮データが出力され
た直後は、補正回路32は、その圧縮データを補正せず
(0を加算する補正をして)、そのまま補正データとし
て、ローカルデコード部22および判定部24に出力す
る。
【0072】一方、ステップS13において、判定部2
4からの制御信号を受信したと判定された場合、ステッ
プS14において、補正回路32は、その制御信号にし
たがったアドレスを、補正値ROM33に出力する。こ
れにより、ステップS14では、補正値ROM33か
ら、そのアドレスに記憶されている、1フレーム分の圧
縮データを補正するための補正値△の組合せ(集合)が
読み出され、補正回路32に供給される。補正回路32
は、補正値ROM33から補正値△の組合せを受信する
と、ステップS15において、1フレームの圧縮データ
それぞれに、対応する補正値△を加算し、これにより、
圧縮データを補正した補正データを算出する。その後
は、ステップS16に進み、補正データが、補正回路3
2からローカルデコード部22および判定部24に出力
され、ステップS13に戻る。
【0073】以上のようにして、圧縮部21は、判定部
24の制御にしたがって、圧縮データを、種々の値に補
正した補正データを出力することを繰り返す。
【0074】なお、判定部24は、1フレームの画像に
ついての符号化を終了すると、その旨を表す制御信号
を、圧縮部21に供給するようになされており、圧縮部
21では、ステップS13において、そのような制御信
号を受信したかどうかも判定されるようになされてい
る。ステップS13において、1フレームの画像につい
ての符号化が終了した旨の制御信号を受信したと判定さ
れた場合、次のフレームの画像が供給されるのを待っ
て、ステップS11に戻り、ステップS11からの処理
が繰り返される。
【0075】また、上述の場合においては、間引き回路
30に、3×3画素の中心の画素についての画素データ
(画素値)のみを抽出させることにより、圧縮データを
生成させるようにしたが、その他、例えば、3×3画素
の平均値を算出し、その平均値を、3×3画素の中心の
画素の画素値として、圧縮データを生成させるようにす
ることなども可能である。
【0076】次に、図8は、図3のローカルデコード部
22の構成例を示している。
【0077】圧縮部21からの補正データは、クラス分
類用ブロック化回路41および予測値計算用ブロック化
回路42に供給されるようになされている。クラス分類
用ブロック化回路41は、補正データを、その性質に応
じて所定のクラスに分類するための単位である、注目さ
れる補正データ(画素)(注目補正データ)を中心とし
たクラス分類用ブロックにブロック化するようになされ
ている。
【0078】即ち、いま、図7において、上からi番目
で、左からj番目の補正データ(圧縮データ)(または
画素)(図中、●印で示す部分)をXijと表すとする
と、クラス分類用ブロック化回路41は、注目画素(注
目補正データ)Xijの上、左、右、下に隣接する4つの
画素X(i-1)j,Xi(j-1),Xi(j+1),X(i-1)jに、自身
を含め、合計5画素で構成されるクラス分類用ブロック
を構成するようになされている。このクラス分類用ブロ
ックは、クラス分類適応処理回路43に供給されるよう
になされている。
【0079】なお、この場合、クラス分類用ブロック
は、十文字形に配列されている画素でなるブロックで構
成されることとなるが、クラス分類用ブロックの形状
は、十文字形である必要はなく、その他、例えば、長方
形、正方形、その他の任意な形とすることが可能であ
る。また、クラス分類用ブロックを構成する画素数も、
5画素に限定されるものではない。
【0080】予測値計算用ブロック化回路42は、補正
データを、元の画像の予測値を計算するための単位であ
る、注目補正データを中心とした予測値計算用ブロック
にブロック化するようになされている。即ち、いま、図
7において、補正データXij(図中、●印で示す部分)
を中心とする、元の画像(原画像)における3×3の9
画素の画素値を、その最も左から右方向、かつ上から下
方向に、Yij(1),Yij(2),Yij(3),Y
ij(4),Yij(5),Yij(6),Yij(7),Yij
(8),Yij(9)と表すとすると、画素Yij(1)乃
至Yij(9)の予測値の計算のために、予測値計算用ブ
ロック化回路42は、例えば、画素Xijを中心とする5
×5の25画素X(i-2)(j-2),X(i-2)(j-1)
(i-2)j,X(i-2)(j+ 1),X(i-2)(j+2)
(i-1)(j-2),X(i-1)(j-1),X(i-1)j
(i-1)(j+1),X(i-1)(j+2),Xi(j-2),Xi(j-1),X
ij,Xi(j+1),Xi(j+2),X(i+1)(j-2)
(i+1)(j-1),X(i+1)j,X(i+1)(j+1)
(i+1)(j+2),X(i+2)(j-2),X(i+2 )(j-1)
(i+2)j,X(i+2)(j+1),X(i+2)(j+2)で構成される正
方形状の予測値計算用ブロックを構成するようになされ
ている。
【0081】具体的には、例えば、図7において四角形
で囲む、元の画像における画素Y33(1)乃至Y
33(9)の予測値の計算のためには、画素X11,X12
13,X14,X15,X21,X22,X23,X24,X25,X
31,X32,X33,X34,X35,X41,X42,X43
44,X45,X51,X52,X53,X54,X55により、予
測値計算用ブロックが構成される。
【0082】予測値計算用ブロック化回路42において
得られた予測値計算用ブロックは、クラス分類適応処理
回路43に供給されるようになされている。
【0083】なお、予測値計算用ブロックについても、
クラス分類用ブロックにおける場合と同様に、その画素
数および形状は、上述したものに限定されるものではな
い。但し、予測値計算用ブロックを構成する画素数は、
クラス分類用ブロックを構成する画素数よりも多くする
のが望ましい。
【0084】また、上述のようなブロック化を行う場合
において(ブロック化以外の処理についても同様)、画
像の画枠付近では、対応する画素が存在しないことがあ
るが、この場合には、例えば、画枠を構成する画素と同
一の画素が、その外側に存在するものとして処理を行
う。
【0085】クラス分類適応処理43は、クラス分類回
路45および適応処理46で構成され、クラス分類適応
処理を行うようになされている。
【0086】クラス分類適応処理とは、入力信号を、そ
の特徴に基づいて幾つかのクラスに分類し、各クラスの
入力信号に、そのクラスに適切な適応処理を施すもの
で、大きく、クラス分類処理と適応処理とに分かれてい
る。
【0087】ここで、クラス分類処理および適応処理に
ついて簡単に説明する。
【0088】まず、クラス分類処理について説明する。
【0089】いま、例えば、図9(A)に示すように、
ある注目画素と、それに隣接する3つの画素により、2
×2画素でなるブロック(クラス分類用ブロック)を構
成し、また、各画素は、1ビットで表現される(0また
は1のうちのいずれかのレベルをとる)ものとする。こ
の場合、2×2の4画素のブロックは、各画素のレベル
分布により、図9(B)に示すように、16(=
(214)パターンに分類することができる。このよう
なパターン分けが、クラス分類処理であり、クラス分類
回路45において行われる。
【0090】なお、クラス分類処理は、画像(ブロック
内の画像)のアクティビティ(画像の複雑さ)(変化の
激しさ)などをも考慮して行うようにすることが可能で
ある。
【0091】ここで、通常、元の画素には、例えば8ビ
ット程度が割り当てられる。また、本実施の形態におい
ては、上述したように、クラス分類用ブロックは、5画
素で構成される。従って、このようなクラス分類用ブロ
ックを元の(8ビットの)画素で構成し、クラス分類処
理を行ったのでは、(285という膨大な数のクラスに
分類されることになる。
【0092】一方、本実施の形態では、上述したよう
に、レベル制限回路31において、画素のビット数を小
さくしており(8ビットから2ビットにしており)、こ
れにより、クラス数を削減する(1024(=
(225)にする)ことができる。
【0093】次に、適応処理について説明する。
【0094】例えば、いま、元の画像の画素値yの予測
値E[y]を、その周辺の幾つかの画素の画素値(以
下、適宜、学習データという)x1,x2,・・・と、所
定の予測係数w1,w2,・・・の線形結合により規定さ
れる線形1次結合モデルにより求めることを考える。こ
の場合、予測値E[y]は、次式で表すことができる。
【0095】 E[y]=w11+w22+・・・+w2525+w0 ・・・(1) 但し、w0は、本来8ビットのデータxiを、その下位6
ビットを削除して、2ビットのデータに変換したので、
E[y]を8ビットで表現するために加算される、その
下位6ビットに対応する、いわばオフセットの項(オフ
セット係数)である。なお、オフセット係数w0は、予
測係数w1,w2,・・・と同様に、予測値を求めるため
の係数であるから、以下、適宜、予測係数に含めて扱う
こととする。但し、ここでは、説明を簡単にするため
に、オフセット係数w0を無視して、適応処理を説明す
る。
【0096】いま、予測係数wの集合でなる行列W、学
習データの集合でなる行列X、および予測値E[y]の
集合でなる行列Y’を、
【数1】 で定義すると、次のような観測方程式が成立する。
【0097】 XW=Y’ ・・・(2)
【0098】そして、この観測方程式に最小自乗法を適
用して、元の画像の画素値yに近い予測値E[y]を求
めることを考える。この場合、元の画像の画素値(以
下、適宜、教師データという)yの集合でなる行列Y、
および元の画像の画素値yに対する予測値E[y]の残
差eの集合でなる行列Eを、
【数2】 で定義すると、式(2)から、次のような残差方程式が
成立する。
【0099】 XW=Y+E ・・・(3)
【0100】この場合、元の画像の画素値yに近い予測
値E[y]を求めるための予測係数wiは、自乗誤差
【数3】 を最小にすることで求めることができる。
【0101】従って、上述の自乗誤差を予測係数wi
微分したものが0になる場合、即ち、次式を満たす予測
係数wiが、元の画像の画素値yに近い予測値E[y]
を求めるため最適値ということになる。
【0102】
【数4】 ・・・(4)
【0103】そこで、まず、式(3)を、予測係数wi
で微分することにより、次式が成立する。
【0104】
【数5】 ・・・(5)
【0105】式(4)および(5)より、式(6)が得
られる。
【0106】
【数6】 ・・・(6)
【0107】さらに、式(3)の残差方程式における学
習データx、予測係数w、教師データy、および残差e
の関係を考慮すると、式(6)から、次のような正規方
程式を得ることができる。
【0108】
【数7】 ・・・(7)
【0109】式(7)の正規方程式は、求めるべき予測
係数wの数と同じ数だけたてることができ、従って、式
(7)を解くことで、最適な予測係数wを求めることが
できる。式(7)を解くにあたっては、例えば、掃き出
し法(Gauss-Jordanの消去法)などを適用することが可
能である。
【0110】なお、以上の説明したことを、オフセット
係数w0を含めた形に拡張することで、予測係数ととも
に、最適なオフセット係数w0も、あわせて求めること
ができる。
【0111】以上のようにして、クラスごとに、最適な
予測係数wを求め、さらに、その予測係数wを用い、式
(1)により、元の画像の画素値yに近い予測値E
[y]を求めるのが適応処理であり、この適応処理が、
適応処理回路46において行われるようになされてい
る。
【0112】なお、適応処理は、間引かれた画像には含
まれていない、元の画像に含まれる成分が再現される点
で、補間処理とは異なる。即ち、適応処理では、式
(1)だけを見る限りは、いわゆる補間フィルタを用い
ての補間処理と同様であるが、その補間フィルタのタッ
プ係数に相当する予測係数wが、教師データyを用いて
の、いわば学習により求められるため、元の画像に含ま
れる成分を再現することができる。このことから、適応
処理は、いわば画像の創造作用がある処理ということが
できる。
【0113】次に、図10のフローチャートを参照し
て、図8のローカルデコード部22の処理について説明
する。
【0114】ローカルデコード部22においては、まず
最初に、ステップS21において、圧縮部21からの補
正データがブロック化される。即ち、クラス分類用ブロ
ック化回路41において、補正データが、注目補正デー
タを中心とした5画素で構成されるクラス分類用ブロッ
クにブロック化され(図7)、クラス分類適応処理回路
43に供給されるとともに、予測値計算用ブロック化回
路42において、補正データが、注目補正データを中心
とした5×5画素で構成される予測値計算用ブロックに
ブロック化され、クラス分類適応処理回路43に供給さ
れる。
【0115】クラス分類適応処理回路43には、上述し
たように、クラス分類用ブロックおよび予測値計算用ブ
ロックの他、元の画像データが供給されるようになされ
ており、クラス分類用ブロックはクラス分類回路45
に、予測値計算用ブロックおよび元の画像データは適応
処理回路46に供給されるようになされている。
【0116】クラス分類回路45は、ステップS22に
おいて、クラス分類用ブロックに対して、クラス分類処
理を施す。即ち、クラス分類用ブロックを構成する各画
素のレベル分布の状態を検出し、そのクラス分類用ブロ
ックが属するクラス(そのクラス分類用ブロックを構成
する注目補正データのクラス)を判定する。このクラス
の判定結果は、クラス情報として、適応処理回路46に
供給される。
【0117】なお、本実施の形態においては、2ビット
で表される5画素で構成されるクラス分類用ブロックに
対して、クラス分類処理が施されるので、各クラス分類
用ブロックは、1024(=(225)のクラスのうち
のいずれかに分類されることになる。
【0118】そして、ステップS23に進み、適応処理
回路46において、クラス分類回路45からのクラス情
報に基づいて、各クラスごとに適応処理が施され、これ
により、クラスごとの予測係数および1フレーム分の元
の画像データの予測値が算出される。
【0119】即ち、本実施の形態においては、例えば、
クラスごとの26×9の予測係数が、1フレームごと
に、原画像と補正データから算出される。そして、ある
1つの補正データに注目した場合に、その注目補正デー
タに対応する原画像の画素と、その画素の周りに隣接す
る8個の原画像の画素の、合計9個の画素についての予
測値が、注目補正データを中心とする5×5の25画素
でなる予測値計算用ブロックと、そのクラス情報に対応
する26×9個の予測係数とを用いて、式(1)の線形
一次式が計算されることにより算出される。
【0120】具体的には、例えば、いま、図7に示した
補正データX33を中心とする5個の補正データX23,X
32,X33,X34,X43でなるクラス分類用ブロック(補
正データX33を注目補正データとするクラス分類用ブロ
ック)についてのクラス情報Cが、クラス分類回路45
から出力され、また、そのクラス分類用ブロックに対応
する予測値計算用ブロックとして、補正データX33を中
心とする5×5画素の補正データX11,X12,X13,X
14,X15,X21,X22,X23,X24,X25,X31
32,X33,X34,X35,X41,X42,X43,X44,X
45,X51,X52,X53,X54,X55でなる予測値計算用
ブロック(補正データX33を注目補正データとする予測
値計算用ブロック)が、予測値計算用ブロック化回路4
2から出力されたものとすると、まず、その予測値計算
用ブロックを構成する補正データを、学習データとする
とともに、元の画像における、補正データX33を中心と
する3×3画素(図7において四角形で囲んである部
分)の画素値Y33(1)乃至Y33(9)を、教師データ
として、式(7)に対応する正規方程式がたてられる。
【0121】さらに、所定期間としての、例えば、1フ
レームの中で、同一のクラス情報Cにクラス分類される
他の予測値計算用ブロックについても同様にして、正規
方程式がたてられ、画素値Y33(k)(ここでは、k=
1,2,・・・,9)の予測値E[Y33(k)]を求め
るための予測係数w1(k)乃至w25(k)(本実施の
形態では、1つの予測値を求めるのに学習データが25
個用いられており、さらに、1個のオフセット係数が必
要とされるので、それに対応して、予測係数wは26個
必要となる)を算出することができるだけの数の正規方
程式が得られると(従って、そのような数の正規方程式
が得られるまでは、ステップS23では、正規方程式を
たてる処理までが行われる)、その正規方程式を解くこ
とで、クラス情報Cについて、画素値Y33(k)の予測
値E[Y33(k)]を求めるのに最適な26の予測係数
(オフセット係数を含む)w0(k)乃至w25(k)が
算出される(25個の補正データを用いて、9個の予測
値を求めるため、1クラスについての予測係数の数は、
25×9個に、9個の予測値に対応するだけのオフセッ
ト係数の数である9個を合わせた26×9個となる)。
【0122】この処理は、各クラスごとに行われ、各ク
ラスごとに26×9個の予測係数が算出される。そし
て、クラス情報Cに対応する26×9個の予測係数と、
予測値計算用ブロックとを用い、式(1)に対応する次
式にしたがって、予測値E[Y33(k)]が求められ
る。
【0123】 E[Y33(k)]=w1(k)X11+w2(k)X12+w3(k)X13 +w4(k)X14+w5(k)X15+w6(k)X21 +w7(k)X22+w8(k)X23+w9(k)X24 +w10(k)X25+w11(k)X31 +w12(k)X32+w13(k)X33 +w14(k)X34+w15(k)X35 +w16(k)X41+w17(k)X42 +w18(k)X43+w19(k)X44 +w20(k)X45+w21(k)X51 +w22(k)X52+w23(k)X53 +w24(k)X54+w25(k)X55 +w0(k) ・・・(8)
【0124】ステップS23では、以上のようにして、
26×9の予測係数が、クラスごとに求められ、そのク
ラスごとの予測係数を用いて、注目補正データを中心と
する3×3の原画像の画素の予測値が求められる。
【0125】その後、ステップS24に進み、クラスご
との26×9の予測係数は判定部24に供給され、3×
3画素単位で求められる1フレーム分の予測値は誤差算
出部23に供給される。そして、ステップS21に戻
り、以下同様の処理が、例えば、上述したように1フレ
ーム単位で繰り返される。
【0126】次に、図11は、図3の誤差算出部23の
構成例を示している。
【0127】ブロック化回路51には、元の画像データ
が供給されるようになされており、そこでは、ブロック
化回路51は、その画像データを、ローカルデコード部
22から出力される予測値に対応する9個単位でブロッ
ク化し、その結果得られる3×3画素のブロック(例え
ば、図7に四角形で囲んで示すような3×3画素のブロ
ック)を、自乗誤差算出回路52に出力するようになさ
れている。自乗誤差算出部52には、上述したように、
ブロック化回路51からブロックが供給される他、ロー
カルデコード部22から予測値が、9個単位(3×3画
素のブロック単位)で供給されるようになされており、
自乗誤差算出回路52は、原画像に対する、予測値の予
測誤差としての自乗誤差を算出し、積算部55に供給す
るようになされている。
【0128】即ち、自乗誤差算出回路は52は、演算器
53および54で構成されている。演算器53は、ブロ
ック化回路51からのブロック化された画像データそれ
ぞれから、対応する予測値を減算し、その減算値を、演
算器54に供給するようになされている。演算器54
は、演算器53の出力(元の画像データと予測値との差
分)を自乗し、積算部55に供給するようになされてい
る。
【0129】積算部55は、自乗誤差算出回路52から
自乗誤差を受信すると、メモリ56の記憶値を読み出
し、その記憶値と自乗誤差とを加算して、再び、メモリ
56に供給して記憶させることを繰り返すことで、自乗
誤差の積算値(誤差分散)を求めるようになされてい
る。さらに、積算部55は、所定量(例えば、1フレー
ム分など)についての自乗誤差の積算が終了すると、そ
の積算値を、メモリ56から読み出し、誤差情報とし
て、判定部24に供給するようになされている。メモリ
56は、1フレームについての処理が終了するごとに、
その記憶値をクリアしながら、積算部55の出力値を記
憶するようになされている。
【0130】次に、その動作について、図12のフロー
チャートを参照して説明する。誤差算出部23では、ま
ず最初に、ステップS31において、メモリ56の記憶
値が、例えば0にクリアされ、ステップS32に進み、
ブロック化回路51において、画像データが、上述した
ようにブロック化され、その結果得られるブロックが、
自乗誤差算出回路52に供給される。自乗誤差算出回路
52では、ステップS33において、ブロック化回路5
1から供給されるブロックを構成する、元の画像の画像
データと、ローカルデコード部22から供給される予測
値との自乗誤差が算出される。
【0131】即ち、ステップS33では、演算器53に
おいて、ブロック化回路51より供給されたブロック化
された画像データそれぞれから、対応する予測値が減算
され、演算器54に供給される。さらに、ステップS3
3では、演算器54において、演算器53の出力が自乗
され、積算部55に供給される。
【0132】積算部55は、自乗誤差算出回路52から
自乗誤差を受信すると、ステップS34において、メモ
リ56の記憶値を読み出し、その記憶値と自乗誤差とを
加算することで、自乗誤差の積算値を求める。積算部5
5において算出された自乗誤差の積算値は、メモリ56
に供給され、前回の記憶値に上書きされることで記憶さ
れる。
【0133】そして、積算部55では、ステップS35
において、所定量としての、例えば、1フレーム分につ
いての自乗誤差の積算が終了したかどうかが判定され
る。ステップS35において、1フレーム分についての
自乗誤差の積算が終了していないと判定された場合、ス
テップS32に戻り、再び、ステップS32からの処理
を繰り返す。また、ステップS35において、1フレー
ム分についての自乗誤差の積算が終了したと判定された
場合、ステップS36に進み、積算部55は、メモリ5
6に記憶された1フレーム分についての自乗誤差の積算
値を読み出し、誤差情報として、判定部24に出力す
る。そして、ステップS31に戻り、次のフレームにつ
いて、再び、ステップS31からの処理を繰り返す。
【0134】従って、誤差算出部23では、元の画像デ
ータをYij(k)とするとともに、その予測値をE[Y
ij(k)]とするとき、次式にしたがった演算が行われ
ることで、誤差情報Qが算出される。
【0135】 Q=Σ(Yij(k)−E[Yij(k)])2 但し、Σは、1フレーム分についてのサメーションを意
味する。
【0136】次に、図13は、図3の判定部24の構成
例を示している。
【0137】予測係数メモリ61は、ローカルデコード
部22から供給される予測係数を記憶するようになされ
ている。補正データメモリ62は、圧縮部21から供給
される補正データを記憶するようになされている。
【0138】なお、補正データメモリ62は、圧縮部2
1において、圧縮データが新たに補正され、これによ
り、新たな補正データが供給された場合には、既に記憶
している補正データ(前回の補正データ)に代えて、新
たな補正データを記憶するようになされている。また、
このように補正データが、新たなものに更新されるタイ
ミングで、ローカルデコード部22からは、その新たな
補正データに対応する、新たなクラスごとの予測係数の
セットが出力されるが、予測係数メモリ61において
も、このように新たなクラスごとの予測係数が供給され
た場合には、既に記憶しているクラスごとの予測係数
(前回のクラスごとの予測係数)に代えて、その新たな
クラスごとの予測係数を記憶するようになされている。
【0139】誤差情報メモリ63は、誤差算出部23か
ら供給される誤差情報を記憶するようになされている。
なお、誤差情報メモリ63は、誤差算出部23から、今
回供給された誤差情報の他に、前回供給された誤差情報
も記憶するようになされている(新たな誤差情報が供給
されても、さらに新たな誤差情報が供給されるまでは、
既に記憶している誤差情報を保持するようになされてい
る)。なお、誤差情報メモリ63は、新たなフレームに
ついての処理が開始されるごとにクリアされるようにな
されている。
【0140】比較回路64は、誤差情報メモリ63に記
憶された今回の誤差情報と、所定の閾値εとを比較し、
さらに、必要に応じて、今回の誤差情報と前回の誤差情
報との比較も行うようになされている。比較回路64に
おける比較結果は、制御回路65に供給されるようにな
されている。
【0141】制御回路65は、比較回路64における比
較結果に基づいて、補正データメモリ62に記憶された
補正データを、元の画像の符号化結果とすることの適正
(最適)さを判定し、最適でないと認識(判定)した場
合には、新たな補正データの出力を要求する制御信号
を、圧縮部21(補正回路32)(図5)に供給するよ
うになされている。また、制御回路65は、補正データ
メモリ62に記憶された補正データを、元の画像の符号
化結果とすることが最適であると認識した場合には、予
測係数メモリ61に記憶されているクラスごとの予測係
数を読み出し、多重化部25に出力するとともに、補正
データメモリ62に記憶されている補正データを読み出
し、最適圧縮データとして、やはり多重化部25に供給
するようになされている。さらに、この場合、制御回路
65は、1フレームの画像についての符号化を終了した
旨を表す制御信号を、圧縮部21に出力し、これによ
り、上述したように、圧縮部21に、次のフレームにつ
いての処理を開始させるようになされている。
【0142】次に、図14を参照して、判定部24の動
作について説明する。判定部24では、まず最初に、ス
テップS41において、誤差算出部23から誤差情報を
受信したかどうかが、比較回路64によって判定され、
誤差情報を受信していないと判定された場合、ステップ
S41に戻る。また、ステップS41において、誤差情
報を受信したと判定された場合、即ち、誤差情報メモリ
63に誤差情報が記憶された場合、ステップS42に進
み、比較回路64において、誤差情報メモリ63に、い
ま記憶された誤差情報(今回の誤差情報)と、所定の閾
値εとが比較され、いずれが大きいかが判定される。
【0143】ステップS42において、今回の誤差情報
が、所定の閾値ε以上であると判定された場合、比較回
路64において、誤差情報メモリ63に記憶されている
前回の誤差情報が読み出される。そして、比較回路64
は、ステップS43において、前回の誤差情報と、今回
の誤差情報とを比較し、いずれが大きいかを判定する。
【0144】ここで、1フレームについての処理が開始
され、最初に誤差情報が供給されたときには、誤差情報
メモリ63には、前回の誤差情報は記憶されていないの
で、この場合には、判定部24においては、ステップS
43以降の処理は行われず、制御回路65において、所
定の初期アドレス(補正値ROM33(図5)におい
て、補正値の初期値が記憶されているアドレス)を出力
するように、補正回路32(図5)を制御する制御信号
が出力されるようになされている。
【0145】ステップS43において、今回の誤差情報
が、前回の誤差情報以下であると判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が減少
した場合、ステップS44に進み、制御回路65は、補
正値△を、前回と同様に変化させるように指示する制御
信号を、補正回路32に出力し、ステップS41に戻
る。また、ステップS43において、今回の誤差情報
が、前回の誤差情報より大きいと判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が増加
した場合、ステップS45に進み、制御回路65は、補
正値△を、前回と逆に変化させるように指示する制御信
号を、補正回路32に出力し、ステップS41に戻る。
【0146】なお、減少し続けていた誤差情報が、ある
タイミングで上昇するようになったときは、制御回路6
5は、補正値△を、いままでの場合の、例えば1/2の
大きさで、前回と逆に変化させるように指示する制御信
号を出力するようになされている。
【0147】そして、ステップS41乃至S45の処理
を繰り返すことにより、誤差情報が減少し、これによ
り、ステップS42において、今回の誤差情報が、所定
の閾値εより小さいと判定された場合、ステップS46
に進み、制御回路65は、予測係数メモリ61に記憶さ
れているクラスごとの予測係数を読み出すとともに、補
正データメモリ62に記憶されている1フレーム分の補
正データを最適圧縮データとして読み出し、多重化部2
5に供給して、処理を終了する。
【0148】その後は、次のフレームについての誤差情
報が供給されるのを待って、再び、図14に示すフロー
チャートにしたがった処理を繰り返す。
【0149】なお、補正回路32には、圧縮データの補
正は、1フレームすべての圧縮データについて行わせる
ようにすることもできるし、その一部の圧縮データにつ
いてだけ行わせるようにすることもできる。一部の圧縮
データについてだけ補正を行う場合においては、制御回
路65に、例えば、誤差情報に対する影響の強い画素を
検出させ、そのような画素についての圧縮データだけを
補正するようにすることができる。誤差情報に対する影
響の強い画素は、例えば、次のようにして検出すること
ができる。即ち、まず最初に、間引き後に残った画素の
レベル制御した圧縮データをそのまま用いて処理を行う
ことにより、その誤差情報を得る。そして、その圧縮デ
ータを、1つずつ、同一の補正値△だけ補正するような
処理を行わせる制御信号を、制御回路65から補正回路
32に出力し、その結果得られる誤差情報を、圧縮デー
タをそのまま用いた場合に得られた誤差情報と比較し、
その差が、所定値以上となる画素を、誤差情報に対する
影響の強い画素として検出すれば良い。
【0150】以上のように、誤差情報を所定の閾値εよ
り小さくする(以下にする)まで、圧縮データの補正が
繰り返され、誤差情報が所定の閾値εより小さくなった
ときにおける補正データが、画像の符号化結果として出
力されるので、受信装置4(図1)においては、間引き
後の画像を構成する画素の画素値を、元の画像を復元す
るのに最も適当な値にした補正データから、原画像と同
一(ほぼ同一)の復号画像(高画質の復号画像)を得る
ことが可能となる。
【0151】また、画像は、間引き処理により圧縮され
る他、レベル制限処理およびクラス分類適応処理などに
よっても圧縮されるため、非常に高圧縮率の符号化デー
タを得ることができる。なお、送信装置1における、以
上のような符号化処理は、間引きによる圧縮処理と、ク
ラス分類適応処理とを、いわば有機的に統合して用いる
ことにより、高能率圧縮を実現するものであり、このこ
とから統合符号化処理ということができる。
【0152】次に、図15は、図1の受信装置4の構成
例を示している。
【0153】受信機/再生装置71においては、記録媒
体2に記録された符号化データが再生され、または伝送
路3を介して伝送されてくる符号化データが受信され、
分離部72に供給される。分離部72では、符号化デー
タから、1フレーム分の補正データとクラスごとの予測
係数が順次分離され、1フレーム分の補正データは、ク
ラス分類用ブロック化回路73および予測値計算用ブロ
ック化回路77に供給され、クラスごとの予測係数は、
予測回路76に供給されて、その内蔵するメモリ76A
に記憶される。
【0154】クラス分類用ブロック化回路73、クラス
分類回路75、または予測値計算用ブロック化回路77
は、図8におけるクラス分類用ブロック化回路41、ク
ラス分類回路45、または予測値計算用ブロック化回路
42それぞれと同様に構成されており、従って、これら
のブロックにおいては、図8における場合と同様の処理
が行われ、これにより、予測値計算用ブロック化回路7
7からは予測値計算用ブロックが出力され、また、クラ
ス分類回路75からはクラス情報が出力される。これら
の予測値計算用ブロックおよびクラス情報は、予測回路
76に供給される。
【0155】予測回路76では、クラス情報に対応した
予測係数が、その内蔵するメモリ76Aに記憶されたク
ラスごとの予測係数の中から読み出され、その予測係数
と、予測値計算用ブロック化回路77から供給される予
測値計算用ブロックを構成する補正データとを用い、式
(1)にしたがって予測値が算出され、そのような予測
値で構成される1フレームの画像が、復号画像として出
力される。この復号画像は、上述したように、元の画像
とほぼ同一の画像となる。
【0156】なお、受信側においては、図15に示すよ
うな受信装置4でなくても、間引きされた画像を単純な
補間により復号する装置により、予測係数を用いずに、
通常の補間を行うことで復号画像を得ることができる。
但し、この場合に得られる復号画像は、画質(解像度)
の劣化したものとなる。
【0157】ところで、上述の場合おいては、図3のロ
ーカルデコード部22において予測係数を求め、これを
用いて、予測値を算出するようにしたが、予測値は、予
測係数を求めずに(あらかじめ学習により求めておいた
予測係数を用いて)算出するようにすることが可能であ
る。
【0158】即ち、図16は、図2の送信装置1の第2
の機能的構成例を示している。なお、図中、図3におけ
る場合と対応する部分については、同一の符号を付して
ある。即ち、この送信装置1は、ローカルデコード部2
2に代えて、ローカルデコード部1022が設けられて
いる他は、図3における場合と同様に構成されている。
【0159】但し、図3においては、ローカルデコード
部22に原画像データが供給されるようになされていた
が、図16においては、ローカルデコード部1022に
は、原画像データが供給されないようになっている。
【0160】図17は、図16のローカルデコード部1
022の構成例を示している。なお、図中、図8におけ
る場合と対応する部分については、同一の符号を付して
ある。即ち、ローカルデコード部1022は、適応処理
回路46に代えて、予測係数ROM81および予測回路
82が設けられている他は、図8におけるローカルデコ
ード部22と同様に構成されている。
【0161】予測係数ROM81は、あらかじめ学習
(後述する)を行うことにより求められたクラスごとの
26×9の予測係数を記憶しており、クラス分類回路4
5が出力するクラス情報を受信し、そのクラス情報に対
応するアドレスに記憶されている予測係数を読み出し
て、予測回路82に供給する。
【0162】予測回路82では、予測値計算用ブロック
化回路42からの5×5画素の予測値計算用ブロック
と、予測係数ROM81からの26×9の予測係数とを
用いて、式(1)(具体的には、例えば、式(8))に
示した線形1次式が計算され、これにより、元の画像の
3×3画素の予測値が算出される。
【0163】従って、図17のクラス分類適応処理回路
43によれば、元の画像(原画像)を用いずに、その予
測値が算出される。このため、上述したように、ローカ
ルデコード部1022には、原画像が供給されないよう
になっている(供給する必要がないため、供給しないよ
うになっている)。
【0164】次に、図18のフローチャートを参照し
て、図17のローカルデコード部1022の処理につい
てさらに説明する。
【0165】ローカルデコード部1022においては、
まず最初に、ステップS1021,S1022におい
て、図10のステップS21,S22における場合とそ
れぞれ同様の処理が行われ、これにより、クラス分類回
路45からは、クラス情報が出力される。このクラス情
報は、予測係数ROM81に供給される。また、予測値
計算用ブロック化回路42からは、予測値計算用ブロッ
クが出力され、予測回路82に供給される。
【0166】予測係数ROM81は、クラス情報を受信
すると、ステップS1023において、そのクラス情報
に対応する26×9の予測係数を、記憶しているクラス
ごとの予測係数の中から読み出し、予測回路82に供給
する。
【0167】予測回路82には、予測係数ROM81か
ら26×9の予測係数が供給される他、上述したよう
に、予測値計算用ブロック化回路42から5×5画素の
予測値計算用ブロックも供給される。そして、予測回路
82では、ステップS1024において、予測係数RO
M81からの26×9の予測係数と、予測値計算用ブロ
ック化回路42からの5×5画素の予測値計算用ブロッ
クとを用いて適応処理が行われることにより、即ち、具
体的には、式(1)(または式(8))にしたがった演
算が行われることにより、注目補正データ(ここでは、
予測値計算用ブロックの中心にある画素)を中心とする
3×3の原画像の画素の予測値が求められる。
【0168】その後、例えば、1フレーム分の予測値が
求められると、ステップS1025に進み、予測係数R
OM81に記憶されたクラスごとの26×9の予測係数
が読み出され、判定部24に供給されるとともに、ステ
ップS1024で求められた予測値が誤差算出部23に
供給される。そして、ステップS1021に戻り、以下
同様の処理が、例えば、1フレーム単位で繰り返され
る。
【0169】なお、この実施の形態では、クラスごとの
予測係数は、予測係数ROM81に記憶されたものが使
用され、従って、その値は変化しないから、ステップS
1025において、クラスごとの予測係数を、判定部2
4に一度供給した後は、基本的に、再度供給する必要は
ない。
【0170】また、送信装置1が、図16に示したよう
に構成される場合においても、受信装置4は、図15に
示したように構成することで、原画像とほぼ同一の復号
画像を得ることができる。
【0171】次に、図19は、図17の予測係数ROM
81に記憶されている予測係数を得るための学習を行う
画像処理装置の構成例を示している。
【0172】学習用ブロック化回路91および教師用ブ
ロック化回路92には、あらゆる画像に適用可能な予測
係数を得るための(従って、間引き処理される前の)学
習用の画像データ(学習用画像)が供給されるようにな
されている。
【0173】学習用ブロック化回路91は、入力される
画像データから、注目画素を中心とする、例えば、図7
に●印で示した位置関係の25画素(5×5画素)を抽
出し(この場合における注目画素は、X33)、この25
画素で構成されるブロックを、学習用ブロックとして、
レベル制限回路93に供給する。レベル制限回路93
は、入力された画素データのレベルを制限し、クラス分
類回路94と学習用データメモリ96に出力する。
【0174】また、教師用ブロック化回路92では、入
力される画像データから、注目画素を中心とする、例え
ば、3×3の9画素で構成されるブロックが生成され、
この9画素で構成されるブロックが、教師用ブロックと
して、教師データメモリ98に供給される。
【0175】なお、学習用ブロック化回路91におい
て、例えば、図7に●印で示した位置関係の25画素で
構成される学習用ブロックが生成されるとき、教師用ブ
ロック化回路92では、同図に四角形で囲んで示す3×
3画素の教師用ブロックが生成されるようになされてい
る。
【0176】クラス分類回路94では、学習用ブロック
を構成する25画素から、その中心の9画素(3×3画
素)が抽出され、この9画素でなるブロックに対して、
クラス分類を施される。そして、それにより得られるク
ラス情報が、スイッチ95の端子aを介して、学習デー
タメモリ96および教師データメモリ98に供給され
る。
【0177】学習データメモリ96または教師データメ
モリ98では、そこに供給されるクラス情報に対応する
アドレス(AD)に、レベル制限回路93からの学習用
ブロックまたは教師用ブロック化回路92からの教師用
ブロックが、それぞれ記憶される。
【0178】従って、学習データメモリ96において、
例えば、図7に●印で示した5×5画素でなるブロック
が学習用ブロックとして、あるアドレスに記憶されたと
すると、教師データメモリ98においては、そのアドレ
スと同一のアドレスに、同図において、四角形で囲んで
示す3×3画素のブロックが、教師用ブロックとして記
憶される。
【0179】以下、同様の処理が、あらかじめ用意され
たすべての学習用の画像について繰り返され、これによ
り、学習用ブロックと、図17のローカルデコード部1
022において、その学習用ブロックを構成する25画
素と同一の位置関係を有する25の補正データで構成さ
れる予測値計算用ブロックを用いて予測値が求められる
9画素で構成される教師用ブロックとが、学習用データ
メモリ96と、教師用データメモリ98とにおいて、同
一のアドレスに記憶される。
【0180】なお、学習用データメモリ96と教師用デ
ータメモリ98においては、同一アドレスに複数の情報
を記憶することができるようになされており、これによ
り、同一アドレスには、複数の学習用ブロックと教師用
ブロックを記憶することができるようになされている。
【0181】学習用画像すべてについての学習用ブロッ
クと教師用ブロックとが、学習データメモリ96と教師
データメモリ98に記憶されると、端子aを選択してい
たスイッチ95が、端子bに切り替わり、これにより、
カウンタ97の出力が、アドレスとして、学習データメ
モリ96および教師データメモリ98に供給される。カ
ウンタ97は、所定のクロックをカウントし、そのカウ
ント値を出力しており、学習データメモリ96または教
師データメモリ98では、そのカウント値に対応するア
ドレスに記憶された学習用ブロックまたは教師用ブロッ
クが読み出され、演算回路99に供給される。
【0182】従って、演算回路99には、カウンタ97
のカウント値に対応するクラスの学習用ブロックのセッ
トと、教師用ブロックのセットとが供給される。
【0183】演算回路99は、あるクラスについての学
習用ブロックのセットと、教師用ブロックのセットとを
受信すると、それらを用いて、例えば、最小自乗法によ
り、誤差を最小とする予測係数を算出する。
【0184】即ち、例えば、いま、学習用ブロックを構
成する画素の画素値を、x1,x2,x3,・・・とし、
求めるべき予測係数をw0,w1,w2,w3,・・・とす
るとき、これらの線形1次結合により、教師用ブロック
を構成する、ある画素の画素値yを求めるには、予測係
数w0,w1,w2,w3,・・・は、式(1)に対応する
次式を満たす必要がある。
【0185】 y=w11+w22+w33+・・・+w0
【0186】そこで、演算回路99では、同一クラスの
学習用ブロックと、対応する教師用ブロックとから、真
値yに対する、予測値w11+w22+w33+・・・
+w0の自乗誤差を最小とする予測係数w1,w2,w3
・・・,w0が、上述した式(7)に対応する正規方程
式をたてて解くことにより求められる。
【0187】演算回路99において求められた、クラス
ごとの予測係数は、メモリ100に供給される。メモリ
100には、演算回路99からの予測係数の他、カウン
タ97からカウント値が供給されており、これにより、
メモリ100においては、演算回路99からの予測係数
が、カウンタ97からのカウント値に対応するアドレス
に記憶される。
【0188】以上のようにして、メモリ100には、各
クラスに対応するアドレスに、そのクラスのブロックの
画素を予測するのに最適な予測係数が記憶される。
【0189】図17の予測係数ROM81には、以上の
ようにしてメモリ100に記憶された予測係数が記憶さ
れている。
【0190】次に、図20は、図2の送信装置1の第3
の機能的構成例を示している。なお、図中、図3におけ
る場合と対応する部分については、同一の符号を付して
ある。即ち、この送信装置1は、ローカルデコード部2
2または判定部24に代えて、ローカルデコード部20
22または判定部2024がそれぞれ設けられていると
ともに、多重化部25が設けられていない他は、図3に
おける場合と同様に構成されている。
【0191】但し、この場合も、図16における場合と
同様に、ローカルデコード部2022には、原画像デー
タが供給されないようになっている。さらに、図20の
実施の形態では、ローカルデコード部2022は、予測
係数を判定部2024に出力しないようになっている。
【0192】次に、図21のフローチャートを参照し
て、その動作について説明する。
【0193】圧縮部21に対して、画像データが供給さ
れると、圧縮部21は、ステップS1001において、
その画像データを間引くことにより圧縮し、さらに、ス
テップS1002において、そのレベルを制限し、最初
は、補正を行わずに、ローカルデコード部2022およ
び判定部2024に出力する。ローカルデコード部20
22では、ステップS1003において、圧縮部21か
らの補正データ(最初は、上述したように、画像データ
を、単純に間引いた圧縮データのレベルを制限しただけ
のもの)がローカルデコードされる。
【0194】即ち、ステップS1003では、圧縮部2
1からの補正データが、例えば、図17に示したローカ
ルデコード部1022における場合と同様にして、ロー
カルデコードされ、これにより、原画像の予測値が算出
される。この予測値は、誤差算出部23に供給される。
【0195】誤差算出部23では、ステップS1004
において、図4のステップS4における場合と同様にし
て、予測誤差が算出され、誤差情報として、判定部20
24に供給される。判定部2024は、誤差算出部23
から誤差情報を受信すると、ステップS1005におい
て、図4のステップS4における場合と同様に、誤差算
出部23からの誤差情報が所定の閾値ε以下であるかど
うかを判定する。ステップS1005において、誤差情
報が所定の閾値ε以下でないと判定された場合、ステッ
プS1006に進み、判定部2024は、圧縮部21を
制御し、これにより、圧縮データのレベルを制限したも
のを補正させる。そして、圧縮部21において、圧縮デ
ータが補正され、新たな補正データが出力されるのを待
って、ステップS1003に戻る。
【0196】一方、ステップS1005において、誤差
情報が所定の閾値ε以下であると判定された場合、判定
部2024は、ステップS1007に進み、所定の閾値
ε以下の誤差情報が得られたときの補正データを、最適
圧縮データとして、送信機/記録装置16(図2)に出
力し、処理を終了する。
【0197】従って、ここでは、クラスごとの予測係数
は出力されない。
【0198】次に、図22は、図20のローカルデコー
ド部2022の構成例を示している。なお、図中、図1
7における場合と対応する部分については、同一の符号
を付してある。即ち、ローカルデコード部2022は、
基本的に図17におけるローカルデコード部1022と
同様に構成されている。
【0199】但し、図17においては、予測係数ROM
81がそこに記憶されているクラスごとの予測係数を、
判定部24に供給するようになっていたが、図22で
は、予測係数ROM81は、クラスごとの予測係数を、
判定部24に供給しないようになっている。
【0200】次に、図23のフローチャートを参照し
て、その動作について説明する。
【0201】ローカルデコード部2022では、ステッ
プS2021乃至S2024において、図18のステッ
プS1021乃至1024における場合とそれぞれ同様
の処理が行われる。そして、ステップS2025におい
て、ステップS2024で求められた予測値のみが、誤
差算出部23に供給され(予測係数は、判定部2024
に供給されない)、ステップS2021に戻り、以下、
同様の処理が、例えば、1フレーム単位で繰り返され
る。
【0202】次に、図24は、図20の判定部2024
の構成例を示している。なお、図中、図13における場
合と対応する部分については、同一の符号を付してあ
る。即ち、上述したように、ローカルデコード部202
2からは予測係数が供給されないため、判定部2024
には、その予測係数を記憶するための予測係数メモリ6
1が設けられておらず、そのことを除けば、基本的に、
図13の判定部24と同様に構成されている。
【0203】次に、図25のフローチャートを参照し
て、その動作について説明する。
【0204】判定部2024では、ステップS2041
乃至2045において、図14のステップS41乃至S
45における場合とそれぞれ同様の処理が行われ、これ
により、誤差情報が減少するように、圧縮部21が制御
される。
【0205】そして、ステップS2041乃至S204
5の処理を繰り返すことにより、誤差情報が減少し、こ
れにより、ステップS2042において、今回の誤差情
報が、所定の閾値εより小さいと判定された場合、ステ
ップS2046に進み、制御回路65は、補正データメ
モリ62に記憶されている1フレームの補正データを、
最適圧縮データとして読み出し、送信機/記録装置16
に供給して、処理を終了する。
【0206】その後は、次のフレームについての誤差情
報が供給されるのを待って、再び、同様の処理を繰り返
す。
【0207】次に、図26は、送信装置1が図20に示
したように構成される場合の受信装置4の構成例を示し
ている。なお、図中、図15における場合と対応する部
分については、同一の符号を付してある。即ち、図26
の受信装置4は、クラス分類回路75と予測回路76と
の間に予測係数ROM78が新たに設けられている他
は、図15における場合と基本的に同様に構成されてい
る。
【0208】送信装置1が図20に示したように構成さ
れる場合、上述したことから、受信機/再生装置71が
出力する符号化データには、クラスごとの予測係数は含
まれておらず、このため、分離部72では、符号化デー
タから、補正データ(最適圧縮データ)だけが抽出さ
れ、クラス分類用ブロック化回路73および予測値計算
用ブロック化回路77に供給される。
【0209】クラス分類用ブロック化回路73、クラス
分類回路75、または予測値計算用ブロック化回路77
では、図8におけるクラス分類用ブロック化回路41、
クラス分類回路45、または予測値計算用ブロック化回
路42それぞれと同様の処理が行われ、これにより、予
測値計算用ブロック化回路77からは5×5画素の予測
値計算用ブロックが出力され、また、クラス分類回路7
5からはクラス情報が出力される。予測値計算用ブロッ
クは予測回路76に供給され、クラス情報は予測係数R
OM78に供給される。
【0210】予測係数ROM78には、図22の予測係
数ROM81に記憶されているクラスごとの予測係数と
同一のものが記憶されており、クラス分類回路75から
クラス情報が供給されると、そのクラス情報に対応した
26×9の予測係数が読み出され、予測回路76に供給
される。
【0211】予測回路76は、予測係数ROM78から
の26×9の予測係数と、予測値計算用ブロック化回路
77から供給される5×5画素の予測値計算用ブロック
を構成する補正データとを用い、式(1)にしたがっ
て、原画像の3×3画素の予測値を算出し、そのような
予測値で構成される1フレームの画像を、復号画像とし
て出力する。
【0212】送信装置1が図20に示したように構成さ
れるとともに、受信装置4が図26に示したように構成
される場合、クラスごとの26×9の予測係数を送受信
せずに済むので、その分だけ、伝送容量または記録容量
を低減することができる。
【0213】なお、予測係数ROM78や81には、ク
ラスごとの予測係数を記憶させるのではなく、教師用ブ
ロックを構成する画素値の平均値などを、クラスごとに
記憶させるようにすることが可能である。この場合、ク
ラス情報が与えられると、そのクラスに対応する画素値
が出力されることになり、図17や図22のローカルデ
コード部1022や2022において、予測値計算用ブ
ロック化回路42および予測回路82を設けずに済むよ
うになる。また、図26の受信装置4においても同様
に、予測値計算用ブロック化回路77および予測回路7
6を設けずに済むようになる。
【0214】なお、上述の場合には、誤差情報が、所定
の閾値ε以下になるまで、圧縮データの補正を繰り返し
行うようにしたが、圧縮データの補正の回数には、上限
を設けるようにすることも可能である。即ち、例えば、
リアルタイムで画像の伝送を行う場合などにおいては、
1フレームについての処理が、所定の期間内に終了する
ことが必要であるが、誤差情報は、そのような所定の期
間内に収束するとは限らない。そこで、補正の回数に上
限を設けることにより、所定の期間内に、誤差情報が閾
値ε以下に収束しないときは、そのフレームについての
処理を終了し(そのときにおける補正データを、符号化
結果とし)、次のフレームについての処理を開始するよ
うにすることが可能である。
【0215】また、上述の場合には、圧縮部21におい
て、画像を、単純に間引き、即ち、3×3画素のブロッ
クにおける中心画素を抽出し、これを圧縮データとする
ようにしたが、圧縮部21には、その他、例えば、ブロ
ックを構成する9画素の平均値などを求めさせ、その平
均値を、ブロックにおける中心画素の画素値とすること
により、その画素数を少なくし(間引き)、これを圧縮
データとするようにすることも可能である。
【0216】次に、図27は、図2の送信装置1の第4
の機能的構成例を示している。
【0217】ブロック化回路111には、符号化すべき
画像データが入力されるようになされており、ブロック
化回路111は、画像データを、その性質に応じて所定
のクラスに分類するための単位である、注目画素を中心
としたクラス分類用ブロックにブロック化し、ADRC
(Adaptive Dynamic Range Coding)処理回路112お
よび遅延回路115に供給するようになされている。
【0218】ADRC処理回路112は、ブロック化回
路111からのブロック(クラス分類用ブロック)に対
してADRC処理を施し、その結果得られるADRCコ
ードで構成されるブロックを、クラス分類回路113に
供給するようになされている。
【0219】ここで、ADRC処理よれば、クラス分類
用ブロックを構成する画素のビット数が低減されるよう
になされている。
【0220】即ち、例えば、いま、説明を簡単にするた
め、図28(A)に示すように、直線上に並んだ4画素
で構成されるブロックを考えると、ADRC処理におい
ては、その画素値の最大値MAXと最小値MINが検出
される。そして、DR=MAX−MINを、ブロックの
局所的なダイナミックレンジとし、このダイナミックレ
ンジDRに基づいて、ブロックを構成する画素の画素値
がKビットに再量子化される。
【0221】即ち、ブロック内の各画素値から、最小値
MINを減算し、その減算値をDR/2Kで除算する。
そして、その結果得られる除算値に対応するコード(A
DRCコード)に変換される。具体的には、例えば、K
=2とした場合、図28(B)に示すように、除算値
が、ダイナミックレンジDRを4(=22)等分して得
られるいずれの範囲に属するかが判定され、除算値が、
最も下のレベルの範囲、下から2番目のレベルの範囲、
下から3番目のレベルの範囲、または最も上のレベルの
範囲に属する場合には、それぞれ、例えば、00B,0
1B,10B、または11Bなどの2ビットにコード化
される(Bは2進数であることを表す)。そして、復号
側においては、ADRCコード00B,01B,10
B、または11Bは、ダイナミックレンジDRを4等分
して得られる最も下のレベルの範囲の中心値L00、下か
ら2番目のレベルの範囲の中心値L01、下から3番目の
レベルの範囲の中心値L10、または最も上のレベルの範
囲の中心値L11にそれぞれ変換され、その値に、最小値
MINが加算されることで復号が行われる。
【0222】ここで、このようなADRC処理はノンエ
ッジマッチングと呼ばれる。
【0223】なお、ADRC処理については、本件出願
人が先に出願した、例えば、特開平3−53778号公
報などに、その詳細が開示されている。
【0224】以上のようなADRC処理によれば、ブロ
ックを構成する画素に割り当てられているビット数より
少ないビット数で再量子化を行うことにより、そのビッ
ト数を低減することができる。
【0225】図27に戻り、クラス分類回路113は、
ADRC処理回路112からのブロックを、その性質に
応じて所定のクラスに分類するクラス分類処理を行い、
そのブロックがいずれのクラスに属するかを、クラス情
報として、マッピング係数メモリ114に供給するよう
になされている。
【0226】ここで、符号化すべき画像データに、例え
ば8ビットが割り当てられている場合において、クラス
分類用ブロックが、例えば、注目画素を中心とした3×
3の9画素で構成されるときに、そのようなクラス分類
用ブロックを対象にクラス分類処理を行ったのでは、
(289という膨大な数のクラスに分類されることにな
る。
【0227】そこで、上述したように、ADRC処理回
路112において、クラス分類用ブロックに対して、A
DRC処理が施されるようになされており、これによ
り、クラス分類用ブロックを構成する画素のビット数を
低減し、さらに、クラス数も削減するようになされてい
る。即ち、ADRC処理回路112において、例えば1
ビットのADRC処理が行われるとした場合には、クラ
ス数は、(289から(219、即ち、512に低減さ
れる。
【0228】なお、本実施の形態では、クラス分類回路
113において、ADRC処理回路112から出力され
るADRCコードに基づいて、クラス分類処理が行われ
るが、クラス分類処理は、その他、例えば、DPCM
(予測符号化)や、BTC(Block Truncation Codin
g)、VQ(ベクトル量子化)、DCT(離散コサイン
変換)、アダマール変換などを施したデータを対象に行
うようにすることも可能である。
【0229】再び、図27に戻り、マッピング係数メモ
リ114は、後述するような学習(マッピング係数学
習)により得られるクラスごとのマッピング係数を記憶
しており、クラス分類回路113から供給されるクラス
情報に対応するマッピング係数を読み出し、演算回路1
16に供給するようになされている。
【0230】遅延回路115は、ブロック化回路111
から供給されるブロックを、そのブロックのクラス情報
に対応するマッピング係数が、マッピング係数メモリ1
14から読み出されるまで遅延し、演算回路116に供
給するようになされている。
【0231】演算回路116は、遅延回路115から供
給されるブロックを構成する画素の画素値と、マッピン
グ係数メモリ114から供給される、そのブロックのク
ラスに対応するマッピング係数とを用いて所定の演算を
行うことにより、画像を、その画素数を間引いて(少な
くして)符号化した符号化データを算出するようになさ
れている。即ち、演算回路116は、ブロック化回路1
11が出力するブロックを構成する各画素の画素値をy
1,y2,・・・とするとともに、マッピング係数メモリ
114が出力する、そのブロックのクラスに対応するマ
ッピング係数をk1,k2,・・・とするとき、それらを
引数とする所定の関数値f(y1,y2,・・・,k1
2,・・・)を演算し、その関数値f(y1,y2,・
・・,k1,k2,・・・)を、ブロック化回路111が
出力するブロック(クラス分類用ブロック)を構成する
画素のうちの、例えば中心の画素の画素値として出力す
るようになされている。
【0232】従って、ブロック化回路111が出力する
クラス分類用ブロックを構成する画素数をN画素とする
と、演算回路116は、画像データを1/Nに間引き、
これを、符号化データとして出力するようになされてい
る。
【0233】なお、演算回路116が出力する符号化デ
ータは、N画素で構成されるブロックの中心の1個の画
素を選択して出力するような、いわば単純な間引き処理
により得られるものではなく、上述したように、そのブ
ロックを構成するN画素により規定される関数値f(y
1,y2,・・・,k1,k2,・・・)であるが、この関
数値f(y1,y2,・・・,k1,k2,・・・)は、見
方を変えれば、単純な間引き処理により得られる、ブロ
ックの中心の画素の画素値を、その周辺の画素値に基づ
いて補正したものと考えることができる。そこで、マッ
ピング係数と、ブロックを構成する画素との演算の結果
得られるデータである符号化データを、以下、適宜、補
正データともいう。
【0234】また、演算回路116における演算処理
は、ブロック化回路111が出力するクラス分類用ブロ
ックを構成する各画素の画素値を、関数値f(y1
2,・・・,k1,k2,・・・)にマッピング(写
像)する処理とも考えることができる。そこで、そのよ
うな処理に用いられる係数k1,k2,・・・をマッピン
グ係数と呼んでいる。
【0235】送信機/記録装置118は、演算回路11
6から符号化データとして供給される補正データを、記
録媒体2に記録し、または伝送路3を介して伝送するよ
うになされている。
【0236】次に、図29のフローチャートを参照し
て、その動作について説明する。
【0237】ブロック化回路111には、例えば、1フ
レーム(フィールド)単位で画像データが供給されるよ
うになされており、ブロック化回路111では、ステッ
プS61において、1フレームの画像が、クラス分類用
ブロックにブロック化される。即ち、ブロック化回路1
11は、例えば、図7に四角形で囲んで示すように、画
像データを、注目画素を中心とした3×3(横×縦)の
9画素でなるクラス分類用ブロックに分割し、ADRC
処理回路112および遅延回路115に、順次供給す
る。
【0238】なお、この場合、クラス分類用ブロック
は、3×3画素でなる正方形状のブロックで構成される
こととなるが、クラス分類用ブロックの形状は、正方形
である必要はなく、その他、例えば、長方形や、十文字
形、その他の任意な形とすることが可能である。また、
クラス分類用ブロックを構成する画素数も、3×3の9
画素に限定されるものではない。さらに、クラス分類用
ブロックは、隣接する画素どうしで構成するのではな
く、離れた画素どうしで構成するようにすることも可能
である。但し、その形状および画素数は、後述する学習
(マッピング係数学習)時における場合のものと一致し
ている必要がある。
【0239】ADRC処理回路112は、ブロック化回
路111からクラス分類用ブロックを受信すると、ステ
ップS62において、そのブロックに対して、例えば、
1ビットのADRC処理を施し、これにより、1ビット
で表現される画素で構成されるブロックとする。ADR
C処理の施されたクラス分類用ブロックは、クラス分類
回路113に供給される。
【0240】クラス分類回路113では、ステップS6
3において、ADRC処理回路112からのクラス分類
用ブロックがクラス分類され、その結果得られるクラス
情報が、マッピング係数メモリ114に、アドレスとし
て供給される。これにより、マッピング係数メモリ11
4からは、クラス分類回路113より供給されたクラス
情報に対応するマッピング係数が読み出され、演算回路
116に供給される。
【0241】一方、遅延回路115では、ブロック化回
路111からのクラス分類用ブロックが遅延され、その
ブロックのクラス情報に対応するマッピング係数が、マ
ッピング係数メモリ114から読み出されるのを待っ
て、演算回路116に供給される。演算回路116で
は、ステップS64において、遅延回路115からのク
ラス分類用ブロックを構成する各画素の画素値と、マッ
ピング係数メモリ114からのマッピング係数を用い
て、上述した関数値f(・)(この関数fのかっこ内の
・は、画素値y1,y2,・・・と、マッピング係数
1,k2,・・・の集合を表すものとする)が演算され
ることにより、クラス分類用ブロックを構成する中心の
画素(中心画素)の画素値を補正した補正データが算出
される。この補正データは、画像を符号化した符号化デ
ータとして、レベル制限回路117に供給される。
【0242】レベル制限回路117では、ステップS6
5において、符号化データから、例えば、そのMSB側
の2ビットが抽出され、送信機/記録装置118に供給
される。即ち、符号化データが、例えば8ビットで構成
される場合には、その下位6ビットが削除され、上位2
ビットだけが、送信機/記録装置16に供給される。送
信機/記録装置118では、ステップS66において、
レベル制限回路117からの符号化データが、記録媒体
2に記録され、または伝送路3を介して伝送される。
【0243】そして、ステップS67に進み、1フレー
ム分の画像データについての処理が終了したかどうかが
判定される。ステップS67において、1フレーム分の
画像データについての処理が、まだ終了していないと判
定された場合、ステップS62に戻り、次のクラス分類
用ブロックを対象に、ステップS62以下の処理が繰り
返される。また、ステップS67において、1フレーム
分の画像データについての処理が終了したと判定された
場合、ステップS61に戻り、次のフレームを対象に、
ステップS61以下の処理が繰り返される。
【0244】次に、図30は、図27のマッピング係数
メモリ114に記憶されているマッピング係数を算出す
るための学習(マッピング係数学習)処理を行う画像処
理装置の構成例を示している。
【0245】メモリ121には、学習に適したディジタ
ル画像データ(以下、適宜、学習用画像という)が1フ
レーム以上記憶されている。ブロック化回路122は、
メモリ121に記憶されている画像データを読み出し、
図27のブロック化回路111から出力されるクラス分
類用ブロックと同一のブロックを構成して、ADRC処
理回路123および演算回路125に供給するようにな
されている。
【0246】ADRC処理回路123またはクラス分類
回路124は、図27のADRC処理回路112または
クラス分類回路113における場合とそれぞれ同様の処
理を行うようになされている。従って、クラス分類回路
124からは、ブロック化回路122が出力するブロッ
クのクラス情報が出力されるようになされている。そし
て、このクラス情報は、マッピング係数メモリ131
に、アドレスとして供給されるようになされている。
【0247】演算回路125は、ブロック化回路122
から供給されるブロックを構成する画素と、マッピング
係数メモリ131から供給されるマッピング係数とを用
いて、図27の演算回路116における場合と同一の演
算を行い、その結果得られる補正データ(関数値f
(・))を、レベル制限回路126に供給するようにな
されている。レベル制限回路126は画素データのレベ
ルを制限した後、ローカルデコード部127に出力して
いる。
【0248】ローカルデコード部127は、レベル制限
回路126から供給される補正データに基づいて、元の
学習用画像の予測値(ブロック化回路122が出力する
ブロックを構成する画素の画素値の予測値)を予測し
(算出し)、誤差算出部128に供給するようになされ
ている。誤差算出部128は、ローカルデコード部12
7から供給される予測値に対応する学習用画像の画素値
(真値)をメモリ121から読み出し、その学習用画像
の画素値に対する、予測値の予測誤差を算出(検出)
し、その予測誤差を、誤差情報として、判定部129に
供給するようになされている。
【0249】判定部129は、誤差算出部128からの
誤差情報と、所定の閾値ε1とを比較し、その比較結果
に対応して、マッピング係数設定回路130を制御する
ようになされている。マッピング係数設定回路130
は、判定部129の制御にしたがって、クラス分類回路
124におけるクラス分類の結果得られるクラス数と同
一の数のマッピング係数のセットを設定(変更)し、マ
ッピング係数メモリ131に供給するようになされてい
る。
【0250】マッピング係数メモリ131は、マッピン
グ係数設定回路130から供給されるマッピング係数を
一時記憶するようになされている。なお、マッピング係
数メモリ131は、クラス分類回路124においてクラ
ス分類されるクラスの数だけのマッピング係数(マッピ
ング係数のセット)を記憶することのできる記憶領域を
有しており、各記憶領域においては、マッピング係数設
定回路130から、新たなマッピング係数が供給される
と、既に記憶しているマッピング係数に代えて、その新
たなマッピング係数が記憶されるようになされている。
【0251】また、マッピング係数メモリ131は、ク
ラス分類回路124から供給されるクラス情報に対応す
るアドレスに記憶されたマッピング係数を読み出し、演
算回路126に供給するようにもなされている。
【0252】次に、図31のフローチャートを参照し
て、その動作について説明する。
【0253】まず最初に、マッピング係数設定回路13
0は、ステップS71において、マッピング係数の初期
値のセットを、クラス分類回路124においてクラス分
類されるクラスの数だけ設定し、マッピング係数メモリ
131に供給する。マッピング係数メモリ131では、
マッピング係数設定回路130からのマッピング係数
(初期値)が、対応するクラスのアドレスに記憶され
る。
【0254】そして、ブロック化回路122は、ステッ
プS72において、メモリ121に記憶されている学習
用画像すべてを、図27のブロック化回路111におけ
る場合と同様に、注目画素を中心とした3×3画素のブ
ロックにブロック化する。さらに、ブロック化回路12
2は、そのブロックを、メモリ121から読み出し、A
DRC処理回路123および演算回路125に順次供給
する。
【0255】ADRC処理回路123では、ステップS
73において、ブロック化回路122からのブロックに
対して、図27のADRC処理回路112における場合
と同様に、1ビットのADRC処理が施され、クラス分
類回路124に供給される。
【0256】クラス分類回路124では、ステップS7
4において、ADRC処理回路123から供給されたブ
ロックのクラスが決定され、そのクラス情報が、アドレ
スとして、マッピング係数メモリ131に供給される。
これにより、ステップS75において、マッピング係数
メモリ131の、クラス分類回路124より供給される
クラス情報に対応するアドレスから、マッピング係数が
読み出され、演算回路125に供給される。
【0257】演算回路125は、ブロック化回路122
からブロックを受信するとともに、マッピング係数メモ
リ131から、そのブロックのクラスに対応するマッピ
ング係数を受信すると、ステップS76において、その
マッピング係数と、ブロック化回路122から供給され
るブロックを構成する画素の画素値とを用いて、上述の
関数値f(・)を演算する。この演算結果は、ブロック
化回路122から出力されるブロックの中心画素の画素
値を補正した補正データとして、レベル制限回路126
に供給される。この補正ビットが、例えば8ビットで構
成されているとすると、ステップS77において、その
8ビットの補正データから、その上位2ビットが、レベ
ル制限回路126で選択され、これにより、ビット数が
2ビットに制限された画素データが、ローカルデコード
部127に供給される。
【0258】即ち、例えば、上述の図7において、四角
形で囲んで示すような3×3画素のブロックが、ブロッ
ク化回路122から出力されたものとすると、演算回路
125では、同図において●印で示す画素の画素値を補
正した補正データが求められ、レベル制限回路126で
レベル制限された後、ローカルデコード部127に出力
される。
【0259】従って、演算回路126では、学習用画像
を構成する画素が、1/9に間引かれ、ローカルデコー
ド部127に供給される。
【0260】図31に戻り、次にステップS78に進
み、メモリ121に記憶されたすべての学習用画像につ
いての補正データが求められたかどうかが判定される。
ステップS78において、すべての学習用画像について
の補正データが、まだ求められていないと判定された場
合、ステップS73に戻り、すべての学習用画像につい
ての補正データが求められるまで、ステップS73乃至
S78の処理を繰り返す。
【0261】また、ステップS78において、すべての
学習用画像についての補正データが求められたと判定さ
れた場合、即ち、メモリ121に記憶されたすべての学
習用画像を、1/9に間引いた間引き画像が得られた場
合(但し、この間引き画像は、学習用画像を、単純に1
/9に間引いたものではなく、マッピング係数との演算
により画素値が求められたものである)、ステップS7
9に進み、ローカルデコード部127において、その間
引き画像がローカルデコードされることにより、元の学
習用画像の予測値が算出される。この予測値は、誤差算
出部128に供給される。
【0262】ここで、このローカルデコード部127に
おいて得られる予測値で構成される画像(但し、後述す
るように、誤差算出部128から出力される誤差情報が
閾値ε1より小さくなったときにおけるもの)は、受信
装置4(図1)側において得られる復号画像と同一のも
のである。
【0263】誤差算出部128では、ステップS80に
おいて、メモリ121から学習用画像が読み出され、そ
の学習用画像に対する、ローカルデコード部127から
供給される予測値の予測誤差が算出される。即ち、学習
用画像の画素値をYijと表すとともに、ローカルデコー
ド部127から出力される、その予測値をE[Yij]と
表すとき、誤差算出部128では、次式で示される誤差
分散(誤差の自乗和)Qが算出され、これが、誤差情報
として、判定部129に供給される。
【0264】Q=Σ(Yij−E[Yij])2 但し、上式において、Σは、学習用画像の画素すべてに
ついてのサメーションを表す。
【0265】判定部129は、誤差算出部128から誤
差情報を受信すると、その誤差情報と所定の閾値ε1と
を比較し、ステップS81において、その大小関係を判
定する。ステップS81において、誤差情報が閾値ε1
以上であると判定された場合、即ち、ローカルデコード
部127において得られる予測値で構成される画像が、
元の学習用画像と同一であるとは認められない場合、判
定部129は、マッピング係数設定回路130に制御信
号を出力する。マッピング係数設定回路130は、ステ
ップS82において、判定部129からの制御信号にし
たがい、マッピング係数を変更し、その変更後のマッピ
ング係数を、マッピング係数メモリ131に新たに記憶
させる。
【0266】そして、ステップS73に戻り、マッピン
グ係数メモリ131に記憶された、変更後のマッピング
係数を用いて、再び、ステップS73以下の処理が繰り
返される。
【0267】ここで、マッピング係数設定回路130に
おける、マッピング係数の変更は、ランダムに行っても
良いし、また、今回の誤差情報が、前回の誤差情報より
小さくなった場合には、前回と同様の傾向で変化させ、
今回の誤差情報が、前回の誤差情報より大きくなった場
合には、前回と逆の傾向で変化させるようにすることも
できる。
【0268】さらに、マッピング係数の変更は、すべて
のクラスについて行うようにすることもできるし、その
一部のクラスについてだけ行うようにすることもでき
る。一部のクラスについてのマッピング係数だけの変更
を行う場合においては、例えば、誤差情報に対する影響
の強いクラスを検出させ、そのようなクラスについての
マッピング係数だけを変更するようにすることができ
る。誤差情報に対する影響の強いクラスは、例えば、次
のようにして検出することができる。即ち、まず最初
に、マッピング係数の初期値を用いて処理を行うことに
より、その誤差情報を得る。そして、マッピング係数
を、1クラスごとに同一の量だけ変化させ、その結果得
られる誤差情報を、初期値を用いた場合に得られた誤差
情報と比較し、その差が、所定値以上となるクラスを、
誤差情報に対する影響の強いクラスとして検出すれば良
い。
【0269】また、マッピング係数が、上述したk1,
k2,・・・のように複数で1セットとされている場合
には、その中の誤差情報に対する影響の強いものだけを
変更させるようにすることもできる。
【0270】さらに、上述の場合においては、マッピン
グ係数を、クラスごとに設定するようにしたが、マッピ
ング係数は、その他、例えば、ブロックごとに独立して
設定したり、また、近接するブロック単位などで設定し
たりするようにすることが可能である。
【0271】但し、マッピング係数を、例えば、ブロッ
クごとに独立して設定するようにした場合などにおいて
は、ある1つのクラスに対して、複数セットのマッピン
グ係数が得られることがある(この逆に、マッピング係
数が、1セットも得られないクラスが生じることもあ
る)。マッピング係数は、最終的には、クラスごとに決
める必要があるため、上述のように、あるクラスに対し
て、複数セットのマッピング係数が得られた場合には、
複数セットのマッピング係数に対して、例えば、マージ
や選択などの何らかの処理を施すことで、1セットのマ
ッピング係数を決める必要がある。
【0272】一方、ステップS81において、誤差情報
が閾値ε1より小さいと判定された場合、即ち、ローカ
ルデコード部127において得られる予測値で構成され
る画像が、元の学習用画像と同一であると認められる場
合、処理を終了する。
【0273】この時点で、マッピング係数メモリ131
に記憶されている、クラスごとのマッピング係数が、も
との画像と同一と認められる復号画像(予測値)を復元
することができる補正データを得るために最適なものと
して、図27のマッピング係数メモリ114にセットさ
れている。
【0274】従って、このようなマッピング係数を用い
て補正データを生成することで、受信装置4(図1)側
においては、元の画像とほぼ同一の画像を得ることが可
能となる。
【0275】ここで、図30の実施の形態においては、
上述したように、ブロック化回路122において、画像
が3×3の9画素にブロック化され、また、ADRC処
理回路123において、1ビットのADRC処理が行わ
れるので、クラス分類回路124によるクラス分類によ
り得られるクラス数は512(=(219)であり、従
って、512セットのマッピング係数が得られる。
【0276】なお、図30において、ADRC処理回路
123を介してクラス分類回路124に供給するブロッ
クと、演算回路125に供給するブロックとは、同一で
ある必要は必ずしもない。このことは、図27におい
て、クラス分類回路113に供給するブロックと、演算
回路116に供給するブロックとについても同様であ
る。但し、クラス分類回路113および124に供給す
るブロックは同一である必要があり、また、演算回路1
16および125に供給するブロックも同一である必要
がある。
【0277】次に、図32は、図30のローカルデコー
ド部127の構成例を示している。
【0278】レベル制限回路126からの補正データ
は、クラス分類用ブロック化回路141および予測値計
算用ブロック化回路142に供給されるようになされて
いる。クラス分類用ブロック化回路141は、補正デー
タを、その性質に応じて所定のクラスに分類するための
単位である、注目補正データを中心としたクラス分類用
ブロックにブロック化するようになされている。
【0279】即ち、上述したように、図7において、上
からi番目で、左からj番目の補正データ(圧縮デー
タ)(または画素)(図中、●印で示す部分)をXij
表すとすると、クラス分類用ブロック化回路141は、
注目画素(注目補正データ)Xijの上、左、右、下に隣
接する4つの画素X(i-1)j,Xi(j-1),Xi(j+1),X(i
-1)jに、自身を含め、合計5画素で構成されるクラス分
類用ブロックを生成するようになされている。このクラ
ス分類用ブロックは、クラス分類回路144に供給され
るようになされている。
【0280】なお、図32のクラス分類用ブロック化回
路141において得られるクラス分類用ブロックは、予
測値を求めるブロックのクラスを決定するために構成さ
れるものであり、この点で、補正データを算出するブロ
ックのクラスを決定するために、図27のブロック化回
路111で生成されるものとは異なる。
【0281】予測値計算用ブロック化回路142は、補
正データを、元の画像(ここでは、学習用画像)の予測
値を計算するための単位である、注目補正データを中心
とした予測値計算用ブロックにブロック化するようにな
されている。即ち、本実施の形態においては、例えば、
補正データXijを中心とする、元の画像(原画像)にお
ける3×3の9画素の画素値Yij(1),Yij(2),
ij(3),Yij(4),Yij(5),Yij(6),Y
ij(7),Yij(8),Yij(9)の予測値が、画素X
ijを中心とする5×5の25画素X(i-2)(j-2),X
(i-2)(j-1),X(i-2 )j,X(i-2)(j+1),X(i-2)(j+2)
(i-1)(j-2),X(i-1)(j-1),X(i-1)j
(i-1 )(j+1),X(i-1)(j+2),Xi(j-2),Xi(j-1),X
ij,Xi(j+1),Xi(j+2),X(i +1)(j-2)
(i+1)(j-1),X(i+1)j,X(i+1)(j+1)
(i+1)(j+2),X(i+2 )(j- 2),X(i+2)(j-1)
(i+2)j,X(i+2)(j+1),X(i+2)(j+2)から求められる
ようになされており、予測値計算用ブロック化回路14
2は、このような25画素で構成される正方形状の予測
値計算用ブロックを生成するようになされている。
【0282】具体的には、例えば、図7において四角形
で囲む、元の画像における画素Y33(1)乃至Y
33(9)の予測値の計算のためには、25個の画素(補
正データ)X11,X12,X13,X14,X15,X21
22,X23,X24,X25,X31,X32,X33,X34,X
35,X41,X42,X43,X44,X45,X51,X52
53,X54,X55により、予測値計算用ブロックが構成
される。
【0283】予測値計算用ブロック化回路142におい
て得られた予測値計算用ブロックは、予測回路146に
供給されるようになされている。
【0284】なお、予測値計算用ブロックについても、
クラス分類用ブロックにおける場合と同様に、その画素
数および形状は、上述したものに限定されるものではな
い。但し、ローカルデコード部127において、予測値
計算用ブロックを構成する画素数は、クラス分類用ブロ
ックを構成する画素数よりも多くするのが望ましい。
【0285】クラス分類回路144は、クラス分類用ブ
ロック化回路141からのブロックをクラス分類し、そ
の分類結果としてのクラス情報を、予測係数ROM14
5に供給するようになされている。予測係数ROM14
5は、クラスごとの予測係数を記憶しており、クラス分
類回路144からクラス情報を受信すると、そのクラス
情報に対応するアドレスに記憶されている予測係数を読
み出し、予測回路146に供給するようになされてい
る。なお、予測係数ROM145に記憶されている予測
係数は、図19で説明した予測係数学習により得られた
ものである。
【0286】予測回路146は、予測値計算用ブロック
化回路142からの予測値計算用ブロックと、予測係数
ROM145からの予測係数とを用いて、元の画像(学
習用画像)の予測値を算出(予測)するようになされて
いる。
【0287】次に、図33のフローチャートを参照し
て、その動作について説明する。
【0288】ローカルデコード部127においては、ま
ず最初に、ステップS91において、レベル制限回路1
26からの補正データが順次受信されてブロック化され
る。即ち、クラス分類用ブロック化回路141におい
て、補正データが、注目補正データを中心とする5画素
のクラス分類用ブロックにブロック化され、クラス分類
回路144に供給されるとともに、予測値計算用ブロッ
ク化回路142において、補正データが、注目補正デー
タを中心とする5×5画素の予測値計算用ブロックにブ
ロック化され、予測回路146に供給される。
【0289】なお、クラス分類用ブロック化回路141
と予測値計算用ブロック化回路142では、対応するク
ラス分類用ブロックと予測値計算用ブロックが生成され
る。即ち、クラス分類用ブロック化回路141におい
て、例えば図7の補正データX33を中心とする5画素の
クラス分類用ブロックが生成されるとき、予測値計算用
ブロックにおいては、同じく補正データX33を中心とす
る5×5画素の予測値計算用ブロックが生成される。
【0290】クラス分類回路144は、ステップS92
において、クラス分類用ブロックに対して、クラス分類
処理を施す。即ち、クラス分類用ブロックを構成する補
正データのレベル分布の状態を検出し、そのクラス分類
用ブロックが属するクラス(そのクラス分類用ブロック
を構成する注目補正データのクラス)を判定する。この
クラスの判定結果は、クラス情報として、予測係数RO
M145に供給される。
【0291】なお、ここでも、1画素が2ビットで表さ
れる5画素で構成されるクラス分類用ブロックに対し
て、クラス分類処理が施されるので、各クラス分類用ブ
ロックは、512(=(225)のクラスのうちのいず
れかに分類されることになる。
【0292】そして、ステップS93に進み、予測係数
ROM145の、クラス分類回路144からのクラス情
報に対応するアドレスから予測係数が読み出され、ステ
ップS94において、予測回路146は、その予測係数
と、予測値計算用ブロック化回路142からの予測値計
算用ブロックを構成する25の画素値とを用い、例え
ば、式(1)に対応する次のような線形1次式にしたが
って、元の画像の画素値yの予測値E[y]を算出す
る。
【0293】 E[y]=w11+w22+・・・+w2525+w0 但し、w1,w2,・・・,w0は予測係数を表し、x1
2,・・・は予測値計算用ブロックを構成する画素の
画素値(補正データ)を表す。また、w0は、本来8ビ
ットのデータxiを、2ビットのデータに変換したの
で、E[y]を8ビットで表現するために加算されるオ
フセット係数であるが、上述したように、補正データと
乗算される係数w1,w2,・・・と同様に、予測係数と
して扱う。
【0294】ここで、図32の実施の形態においては、
上述したように、予測値計算用ブロックを構成する25
画素から、9画素の予測値が算出されるようになされて
いる。
【0295】即ち、例えば、いま、図7に示した補正デ
ータX33を中心とする3×3の補正データX22乃至
24,X32乃至X34,X42乃至X44でなるクラス分類用
ブロックについてのクラス情報Cが、クラス分類回路1
44から出力され、また、予測値計算用ブロックとし
て、補正データX33を中心とする5×5画素の補正デー
タX11乃至X15,X21乃至X25,X31乃至,X35,X41
乃至X45,X51乃至X55でなる予測値計算用ブロック
が、予測値計算用ブロック化回路142から出力された
ものとする。
【0296】さらに、予測係数ROM145には、クラ
ス情報Cに対応するアドレスに、予測係数のセットとし
て、w0(k)乃至w25(k)が記憶されているものと
する。
【0297】この場合、補正データX33を中心とする、
元の画像における3×3画素(図7において四角形で囲
んである部分)の画素値Y33(1)乃至Y33(9)の予
測値E[Y33(1)]乃至E[Y33(9)]が、次式に
したがって算出される。
【0298】E[Y33(k)]=w1(k)X11+w
2(k)X12+w3(k)X13+w4(k)X14+w
5(k)X15+w6(k)X21+w7(k)X22+w
8(k)X23+w9(k)X24+w10(k)X25+w
11(k)X31+w12(k)X32+w13(k)X33+w14
(k)X34+w15(k)X35+w16(k)X41+w
17(k)X42+w18(k)X43+w19(k)X44+w20
(k)X45+w21(k)X51+w22(k)X52+w
23(k)X53+w24(k)X54+w25(k)X55+w0
(k)
【0299】ステップS94において、以上のようにし
て9個単位で予測値が求められていき、これにより、1
フレーム分の予測値が求められると、その予測値は、ス
テップS95において、誤差算出部128に供給され
る。そして、ステップS91に戻り、以下、ステップS
91乃至S95の処理が繰り返される。
【0300】なお、図32の予測係数ROM145に記
憶されている予測係数を得るための学習(予測係数学
習)を行う画像処理装置は、上述したように、図19に
示した場合と同様の構成となる。そこでその説明は省略
する。
【0301】次に、図34は、図27のマッピング係数
メモリ114に記憶されているマッピング係数を算出す
るための学習(マッピング係数学習)処理を行う画像処
理装置の他の構成例を示している。
【0302】なお、図30の画像処理装置によれば、関
数fが、例えば、線形1次式で表される場合の他、非線
形な式や、2次以上の式で表される場合も、最適な予測
係数を求めることができるが、図34の画像処理装置で
は、関数fが、線形1次式で表される場合にのみ、最適
な予測係数を求めることができるようになされている。
【0303】即ち、図34の画像処理装置は、図27に
おいて、ブロック化回路111が出力する3×3画素の
ブロックを構成する各画素の画素値をy1,y2,・・
・,y9とするとともに、マッピング係数メモリ114
が出力するマッピング係数をk1,k2,・・・,k9
する場合において、演算回路116が、次式にしたがっ
て関数値f(y1,y2,・・・,k1,k2,・・・)を
演算して補正データを求めるようになされているときに
用いることができる。
【0304】 f(・)=k11+k22+・・・+k99
【0305】最適補正データ算出部160には、学習に
適した学習用画像が、例えば、1フレーム単位などで供
給されるようになされている。なお、学習用画像を構成
する画素には、例えば8ビットが割り当てられている。
最適補正データ算出部160は、圧縮部170、レベル
制御部171、補正部172、ローカルデコード部17
3、誤差算出部174、および判定部175で構成さ
れ、そこに入力される学習用画像から、その画素数を少
なくして圧縮した画像であって、元の画像を予測するの
に最適な画像を構成する画素値(以下、適宜、最適補正
データという)を算出し、ラッチ回路176に供給する
ようになされている。
【0306】即ち、最適補正データ算出部160に供給
された学習用画像は、圧縮部170および誤差算出部1
74に供給されるようになされている。圧縮部170
は、図27の演算回路116が画素を間引く割合と同一
の割合で、学習用画像を単純に間引き、即ち、本実施の
形態においては、学習用画像を1/9に単純に間引き
(3×3の9画素を1ブロックとするとき、そのブロッ
クの中心の画素だけを抽出し)、これにより学習用画像
を圧縮してレベル制限部171に供給するようになされ
ている。レベル制限部171は、図27のレベル制限回
路117と同様に、8ビットの画素データのレベルを制
限した後、補正部172に出力するようになされてい
る。
【0307】補正部172は、レベル制限部171から
供給される、単純な間引きが行われて空間方向の圧縮が
された8ビットの圧縮データから、その上位2ビットが
選択されることにより、2ビットにレベルが制限された
データ(以下、適宜、単に、圧縮データという)を、判
定部175からの制御にしたがって補正するようになさ
れている。補正部172における補正の結果得られるデ
ータ(このデータも、図27の演算回路116の出力と
同様に、3×3画素のブロックの中心画素の画素値を補
正したものであるので、以下、適宜、補正データとい
う)は、ローカルデコード部173に供給するようにな
されている。
【0308】ローカルデコード部173は、図30のロ
ーカルデコード部127における場合と同様にして、補
正部172からの補正データに基づいて、元の画像(学
習用画像)を予測し、その予測値を、誤差算出部174
に供給するようになされている。
【0309】誤差算出部174は、図30の誤差算出部
128における場合と同様にして、そこに入力される、
元の画像データに対する、ローカルデコード部173か
らの予測値の予測誤差を算出するようになされている。
この予測誤差は、誤差情報として、判定部175に供給
されるようになされている。
【0310】判定部175は、図30の判定部129に
おける場合と同様にして、誤差算出部174からの誤差
情報に基づいて、補正部172が出力した補正データ
を、元の画像の圧縮結果とすることの適正さを判定する
ようになされている。そして、判定部175は、補正部
172が出力した補正データを、元の画像の圧縮結果と
することが適正でないと判定した場合には、補正部17
2を制御し、さらに、圧縮データを補正させ、その結果
得られる新たな補正データを出力させるようになされて
いる。また、判定部175は、補正部172が出力した
補正データを、元の画像の圧縮結果とすることが適正で
あると判定した場合には、補正部172から供給された
補正データを、最適補正データとして、ラッチ回路17
6に供給するようになされている。
【0311】ラッチ回路176は、メモリ176Aを内
蔵しており、そのメモリ176Aに、補正部172から
供給される最適補正データを記憶させるようになされて
いる。さらに、ラッチ回路176は、メモリ176Aに
記憶された最適補正データのうち、ブロック化回路17
7のメモリ177Aから読み出されるブロックの中心画
素に対応するものを読み出し、メモリ180に供給する
ようになされている。なお、ラッチ回路176は、メモ
リ176Aに、1フレーム分の補正データが記憶される
と、その旨を示す制御信号を、ブロック化回路177に
出力するようになされている。
【0312】ブロック化回路177には、最適補正デー
タ算出部160と同様に、学習用画像が1フレーム単位
で供給されるようになされている。ブロック化回路17
7は、メモリ177Aを内蔵しており、そのメモリ17
7Aに、そこに供給される学習用画像を記憶させるよう
になされている。また、ブロック化回路177は、ラッ
チ回路176から制御信号を受信すると、メモリ177
Aに記憶された学習用画像を、図27のブロック化回路
111における場合と同様に、3×3画素で構成される
ブロックに分割し、そのブロックを順次読み出して、A
DRC処理回路178およびメモリ180に供給するよ
うになされている。
【0313】なお、ブロック化回路177は、その内蔵
するメモリ177Aからブロックを読み出すときに、そ
のブロックの位置を示す制御信号を、ラッチ回路176
に供給するようになされている。ラッチ回路176で
は、この制御信号に基づいて、メモリ177Aから読み
出される3×3画素のブロックが認識され、上述したよ
うに、そのブロックの中心画素に対応する最適補正デー
タが、メモリ176Aから読み出されるようになされて
いる。即ち、これにより、メモリ180に対しては、あ
る3×3画素のブロックと、そのブロックに対応する最
適補正データとが同時に供給されるようになされてい
る。
【0314】ADRC処理回路178またはクラス分類
回路179は、図27のADRC処理回路112または
クラス分類回路113とそれぞれ同様に構成されてい
る。そして、クラス分類回路179が出力する、ブロッ
ク化回路177からのブロックについてのクラス情報
は、メモリ180に対して、アドレスとして供給される
ようになされている。
【0315】メモリ180は、クラス分類回路179か
ら供給されるクラス情報に対応するアドレスに、ラッチ
回路176から供給される最適補正データと、ブロック
化回路177から供給されるブロックとを対応付けて記
憶するようになされている。なお、メモリ180は、1
つのアドレスに複数の情報を記憶することができるよう
になされており、これにより、あるクラス情報に対応す
る最適補正データおよびブロックを、複数セット記憶す
ることができるようになされている。
【0316】演算回路181は、メモリ180に記憶さ
れた、学習用画像の3×3のブロックを構成する9画素
1,y2,・・・,y9と、そのブロックに対応付けら
れている最適補正データy’とを読み出し、これらに最
小自乗法を適用することで、クラスごとに、マッピング
係数k1乃至k9を求め、メモリ182に供給するように
なされている。メモリ182は、演算回路181から供
給されるクラスごとのマッピング係数k1乃至k9を、そ
のクラスに対応したアドレスに記憶するようになされて
いる。
【0317】次に、図35のフローチャートを参照し
て、その動作について説明する。
【0318】学習用画像が入力されると、その学習用画
像は、ブロック化回路177のメモリ177Aに記憶さ
れるとともに、最適補正データ算出部160に供給され
る。最適補正データ算出部160は、学習用画像を受信
すると、ステップS101において、その学習用画像に
ついての最適補正データを算出する。
【0319】このステップS101の処理は、図4のフ
ローチャートの処理と同様である。すなわち、ステップ
S101では、図36のフローチャートに示すように、
まず、圧縮部170が、ステップS111において、学
習用画像を、1/9に間引くことにより圧縮データを生
成する。このデータは、ステップS112において、レ
ベル制限部171で制限された後、補正部172を介し
て、最初は、補正が行われずに、ローカルデコード部1
73に出力される。ローカルデコード部173では、ス
テップS113において、補正部172からの補正デー
タ(最初は、上述したように、画像データを、単純に間
引き、レベル制限した圧縮データそのもの)に基づい
て、元の画像の予測値が算出される(ローカルデコード
が行われる)。この予測値は、誤差算出部174に供給
される。
【0320】誤差算出部174は、ローカルデコード部
173から、元の画像の予測値を受信すると、ステップ
S114において、元の画像データに対する、ローカル
デコード部173からの予測値の予測誤差を算出し、誤
差情報として、判定部175に供給する。判定部175
は、誤差算出部174から誤差情報を受信すると、ステ
ップS115において、その誤差情報に基づいて、補正
部172が出力した補正データを、元の画像の圧縮結果
とすることの適正さを判定する。
【0321】即ち、ステップS115においては、誤差
情報が所定の閾値ε以下であるかどうかが判定される。
ステップS115において、誤差情報が所定の閾値ε以
下でないと判定された場合、補正部172が出力した補
正データを、元の画像の圧縮結果とするのは適正でない
と認識され、ステップS116に進み、判定部175
は、補正部172を制御し、これにより、レベル制限部
171から出力された圧縮データを補正させる。補正部
172は、判定部175の制御にしたがって、補正量
(補正値△)を変えて、圧縮データを補正し、その結果
得られる補正データを、ローカルデコード部173に出
力する。そして、ステップS113に戻り、以下、同様
の処理が繰り返される。
【0322】なお、圧縮データの補正は、例えば、上述
の図14における場合と同様にして行うことが可能であ
る。
【0323】一方、ステップS115において、誤差情
報が所定の閾値ε以下であると判定された場合、補正部
172が出力した補正データを、元の画像の圧縮結果と
するのは適正であると認識され、判定部175は、所定
の閾値ε以下の誤差情報が得られたときの補正データ
を、最適補正データとして、補正部172からラッチ回
路176に出力させ、その内蔵するメモリ176Aに記
憶させて、リターンする。
【0324】以上のようにして、誤差情報が所定の閾値
ε以下となったときにおける、圧縮データを補正した補
正データが、最適補正データとして、メモリ176Aに
記憶される。なお、この最適補正データは、誤差情報を
所定の閾値ε以下とするものであるから、これを用い
て、予測値を算出することにより、元の画像(原画像)
とほぼ同一の画像を得ることができる。
【0325】図35に戻り、ラッチ回路176は、その
メモリ176Aに、1フレーム分の最適補正データを記
憶すると、制御信号を、ブロック化回路177に出力す
る。ブロック化回路177は、ラッチ回路176から制
御信号を受信すると、ステップS102において、メモ
リ177Aに記憶された学習用画像を、3×3画素で構
成されるブロックに分割する。そして、ブロック化回路
177は、メモリ177Aに記憶された学習用画像のブ
ロックを読み出して、ADRC処理回路178およびメ
モリ180に供給する。
【0326】また、同時に、ブロック化回路177は、
メモリ177Aからブロックを読み出すときに、そのブ
ロックの位置を示す制御信号を、ラッチ回路176に供
給し、ラッチ回路176は、その制御信号に対応して、
メモリ177Aから読み出された3×3画素のブロック
を認識し、そのブロックの中心画素に対応する最適補正
データを読み出して、メモリ180に供給する。
【0327】そして、ステップS103に進み、ADR
C処理回路178において、ブロック化回路177から
のブロックがADRC処理され、さらに、クラス分類回
路179において、そのブロックがクラス分類される。
このクラス分類結果は、アドレスとして、メモリ180
に供給される。
【0328】メモリ180では、ステップS104にお
いて、クラス分類回路179から供給されるクラス情報
に対応するアドレスに、ラッチ回路176から供給され
る最適補正データと、ブロック化回路177から供給さ
れるブロック(学習データ)とが対応付けられて記憶さ
れる。
【0329】そして、ステップS105に進み、メモリ
180に、1フレーム分のブロックおよび最適補正デー
タが記憶されたかどうかが判定される。ステップS10
5において、メモリ180に、1フレーム分のブロック
および最適補正データが、まだ記憶されていないと判定
された場合、ブロック化回路177から次のブロックが
読み出されるとともに、ラッチ回路176からそのブロ
ックに対応する最適補正データが読み出され、ステップ
S103に戻り、以下、ステップS103以降の処理を
繰り返す。
【0330】また、ステップS105において、メモリ
180に、1フレーム分のブロックおよび最適補正デー
タが記憶されたと判定された場合、ステップS106に
進み、学習用画像すべてについて処理が終了したかどう
かが判定される。ステップS106において、学習用画
像すべてについての処理が、まだ終了していないと判定
された場合、ステップS101に戻り、次の学習用画像
について、ステップS101からの処理が繰り返され
る。
【0331】一方、ステップS106において、学習用
画像すべてについての処理が終了したと判定された場
合、ステップS107に進み、演算回路181は、メモ
リ180に記憶された最適補正データとブロックとを、
クラスごとに読み出し、これらにより、式(7)に示し
たような正規方程式をたてる。さらに、演算回路181
は、ステップS108において、その正規方程式を解く
ことで、誤差を最小にする、クラスごとのマッピング係
数を算出する。このマッピング係数は、ステップS10
9において、メモリ182に供給されて記憶され、処理
を終了する。
【0332】関数fが、線形1次式で表される場合にお
いては、以上のようにしてメモリ182に記憶されたマ
ッピング係数を、図27のマッピング係数メモリ114
に記憶させ、これを用いて画像の符号化を行うことがで
きる。
【0333】なお、クラスによっては、マッピング係数
を求めることができるだけの数の正規方程式が得られな
い場合がある。このような場合は、図27の演算回路1
16において、ブロック化回路111から出力される3
×3画素のブロックを構成する9画素の、例えば平均値
などが出力されるようなマッピング係数、即ち、k1
至k9=1/9などが、デフォルトの値として設定され
る。
【0334】次に、図37は、図27の送信装置1に対
応する受信装置4の構成例を示している。
【0335】受信機/再生装置191においては、記録
媒体2に記録された符号化データが再生され、または伝
送路3を介して伝送されてくる符号化データが受信さ
れ、デコード部192に供給される。
【0336】デコード部192は、図32に示したロー
カルデコード部127におけるクラス分類用ブロック化
回路141乃至予測回路146にそれぞれ対応するクラ
ス分類用ブロック化回路193乃至予測回路198で構
成されており、従って、デコード部192では、図32
のローカルデコード部127における場合と同様にし
て、補正データから予測値が求められ、この予測値で構
成される画像が復号画像として出力される。
【0337】即ち、受信機/再生装置191から出力さ
れる符号化データとしての補正データは、クラス分類用
ブロック化回路193または予測値計算用ブロック化回
路194に順次供給され、図32のクラス分類用ブロッ
ク化回路141または予測値計算用ブロック化回路14
2における場合と同様にして、クラス分類用ブロックま
たは予測値計算用ブロックに、それぞれブロック化され
る。そして、クラス分類用ブロックはクラス分類回路1
96に、予測値計算用ブロックは予測回路198に、そ
れぞれ供給される。
【0338】クラス分類回路196は、クラス分類用ブ
ロック化回路193からのクラス分類用ブロックに対し
て、クラス分類処理を施し、クラス情報を、予測係数R
OM197に出力する。
【0339】予測係数ROM197は、図32の予測係
数ROM145と同様に、例えば、図19の画像処理装
置において求められた、クラスごとの予測係数を記憶し
ており、クラス分類回路196からクラス情報を受信す
ると、そのクラス情報に対応する予測係数を読み出し、
予測回路198に供給する。予測回路198では、予測
係数ROM197からの予測係数と、予測値計算用ブロ
ック化回路194からの予測値計算用ブロックを構成す
る補正データとを用い、式(1)に対応する線形1次式
にしたがって、元の画像の予測値が算出され、これによ
り、元の画像が復号される。
【0340】補正データは、上述したように、誤差情報
を所定の閾値以下とするものであり、従って、受信装置
4においては、元の画像とほぼ同一の復号画像を得るこ
とができる。
【0341】なお、マッピング係数を用いる場合におい
ても、受信側においては、図37に示すような受信装置
4ではなく、間引きされた画像を補間により復号する装
置により、通常の補間を行うことで復号画像を得ること
ができる。但し、この場合に得られる復号画像は、画質
(解像度)の劣化したものとなる。
【0342】以上、本発明を適用した画像処理装置につ
いて説明したが、このような画像処理装置は、例えば、
NTSC方式などの標準方式のテレビジョン信号を符号
化する場合の他、データ量の多い、いわゆるハイビジョ
ン方式のテレビジョン信号などを符号化する場合に、特
に有効である。
【0343】なお、本実施の形態においては、1フレー
ムの画像を対象にブロック化を行うようにしたが、ブロ
ックは、その他、例えば、時系列に連続する複数フレー
ムにおける、同一位置の画素を集めて構成するようにす
ることも可能である。
【0344】また、本実施の形態においては、誤差情報
として、誤差の自乗和を用いるようにしたが、誤差情報
としては、その他、例えば、誤差の絶対値和や、その3
乗以上したものの和などを用いるようにすることが可能
である。いずれを誤差情報として用いるかは、例えば、
その収束性などに基づいて決定するようにすることが可
能である。
【0345】さらに、例えば、図10の実施の形態など
では、1フレーム単位で、正規方程式をたてて、クラス
ごとの予測係数を求めるようにしたが、予測係数の算出
処理は、その他、例えば、1フィールド単位や複数フレ
ーム単位で正規方程式をたてて行うようにすることも可
能である。他の処理についても同様である。
【0346】また、本発明は、ハードウェアによって
も、あるいは、上述した処理を行うためのアプリケーシ
ョンプログラムが記録されたハードディスク等の記録媒
体から、そのアプリケーションプログラムを読み出し
て、コンピュータに実行させることによっても、実現可
能である。
【0347】さらに、本実施の形態では、画素値のレベ
ルを、その上位2ビットに制限するようにしたが、画素
値のレベルは、その他、例えば、上位3ビット以上など
に制限することも可能である。
【0348】
【発明の効果】請求項1に記載の画像符号化装置および
請求項11に記載の画像符号化方法によれば、原画像を
圧縮することにより得られる圧縮データのレベルが制限
され、そのレベルの制限された圧縮データが補正され
て、補正データが出力される。さらに、その補正データ
に基づいて、原画像が予測されて、その予測値が出力さ
れ、原画像に対する、予測値の予測誤差が算出される。
そして、その予測誤差に基づいて、補正データの適正さ
が判定され、その判定結果に基づいて、適正になった補
正データが、原画像の符号化結果として出力される。従
って、少ないデータ量で、効率的に高画質の画像を予測
することが可能となる。
【0349】請求項12に記載の画像復号化装置および
請求項18に記載の画像復号化方法、請求項19に記載
の伝送方法、並びに請求項20に記載の記録媒体によれ
ば、符号化データが、原画像を、その画素数を少なくす
ることにより圧縮し、原画像を圧縮することにより得ら
れる圧縮データのレベルを制限し、レベルの制限された
圧縮データを補正して、補正データを出力し、補正デー
タに基づいて、原画像を予測して、その予測値を出力
し、原画像に対する、予測値の予測誤差を算出し、予測
誤差に基づいて、補正データの適正さを判定すること
を、補正データが適正になるまで繰り返すことにより得
られた、適正になった補正データを含んでいる。従っ
て、符号化データのデータ量は少ないものであるが、そ
のような少ないデータ量の符号化データから、高画質の
復号画像を得ることが可能となる。
【0350】請求項21に記載の画像符号化装置および
請求項29に記載の画像符号化方法によれば、画像を構
成する画素が、その性質に応じて所定のクラスに分類さ
れ、クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段から、画像の中の、注目して
いる注目画素のクラスに対応するマッピング係数が読み
出される。そして、そのマッピング係数と、注目画素と
を用いて所定の演算を行うことにより、その注目画素を
補正した補正データが算出され、その補正データのレベ
ルを制限することにより、画像を符号化した符号化デー
タが生成される。従って、少ないデータ量で、効率的に
高画質の画像を予測することが可能となる。
【0351】請求項30に記載の画像復号化装置および
請求項37に記載の画像復号化方法、請求項38に記載
の伝送方法、並びに請求項39に記載の記録媒体によれ
ば、符号化データが、画像を構成する画素を、その性質
に応じて所定のクラスに分類し、クラスごとに、所定の
マッピング係数を記憶しているマッピング係数記憶手段
から、画像の中の、注目している注目画素のクラスに対
応するマッピング係数を読み出し、そのマッピング係数
と、注目画素とを用いて所定の演算を行うことにより、
その注目画素を補正した補正データを算出し、補正デー
タのレベルを制限することにより得られたものとなって
いる。従って、符号化データのデータ量は少ないもので
あるが、そのような少ないデータ量の符号化データか
ら、高画質の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明を適用した画像処理装置の一実施の形態
の構成を示すブロック図である。
【図2】図1の送信装置1の構成例を示すブロック図で
ある。
【図3】図2の送信装置1の第1の機能的構成例を示す
ブロック図である。
【図4】図3の送信装置1の動作を説明するためのフロ
ーチャートである。
【図5】図3の圧縮部21の構成例を示すブロック図で
ある。
【図6】図5の圧縮部21の動作を説明するためのフロ
ーチャートである。
【図7】図5の間引き回路30の処理を説明するための
図である。
【図8】図3のローカルデコード部22の構成例を示す
ブロック図である。
【図9】クラス分類処理を説明するための図である。
【図10】図8のローカルデコード部22の動作を説明
するためのフローチャートである。
【図11】図3の誤差算出部23の構成例を示すブロッ
ク図である。
【図12】図11の誤差算出部23の動作を説明するた
めのフローチャートである。
【図13】図3の判定部24の構成例を示すブロック図
である。
【図14】図13の判定部24の動作を説明するための
フローチャートである。
【図15】図1の受信装置4の第1の構成例を示すブロ
ック図である。
【図16】図2の送信装置1の第2の機能的構成例を示
すブロック図である。
【図17】図16のローカルデコード部1022の構成
例を示すブロック図である。
【図18】図17のローカルデコード部1022の動作
を説明するためのフローチャートである。
【図19】図17の予測係数ROM81に記憶されてい
る予測係数を算出する画像処理装置の一実施の形態の構
成を示すブロック図である。
【図20】図2の送信装置1の第3の機能的構成例を示
すブロック図である。
【図21】図20の送信装置1の動作を説明するための
フローチャートである。
【図22】図20のローカルデコード部2022の構成
例を示すブロック図である。
【図23】図22のローカルデコード部2022の動作
を説明するためのフローチャートである。
【図24】図20の判定部2024の構成例を示すブロ
ック図である。
【図25】図24の判定部2024の動作を説明するた
めのフローチャートである。
【図26】図1の受信装置4の第2の構成例を示すブロ
ック図である。
【図27】図2の送信装置1の第4の機能的構成例を示
すブロック図である。
【図28】ADRC処理を説明するための図である。
【図29】図27の送信装置1の動作を説明するための
フローチャートである。
【図30】マッピング係数を得るための学習を行う画像
処理装置の第1実施の形態の構成を示すブロック図であ
る。
【図31】図30の画像処理装置の動作を説明するため
のフローチャートである。
【図32】図30のローカルデコード部127の構成例
を示すブロック図である。
【図33】図32のローカルデコード部127の処理を
説明するためのフローチャートである。
【図34】マッピング係数を得るための学習を行う画像
処理装置の第2実施の形態の構成を示すブロック図であ
る。
【図35】図34の画像処理装置の動作を説明するため
のフローチャートである。
【図36】図35におけるステップS101の処理のよ
り詳細を説明するためのフローチャートである。
【図37】図1の受信装置4の第3の構成例を示すブロ
ック図である。
【符号の説明】
1 送信装置, 2 記録媒体, 3 伝送路, 4
受信装置, 11 I/F, 12 ROM, 13
RAM, 14 CPU, 15 外部記憶装置, 1
6 送信機/記録装置, 21 圧縮部, 22 ロー
カルデコード部, 23 誤差算出部, 24 判定
部, 25 多重化部, 30 間引き回路, 31
レベル制限回路, 32 補正回路, 33 補正値R
OM, 41 クラス分類用ブロック化回路, 42
予測値計算用ブロック化回路, 43 クラス分類適応
処理回路, 45 クラス分類回路, 46 適応処理
回路, 51 ブロック化回路, 52 自乗誤差算出
回路, 53,54 演算器, 55 積算部, 56
メモリ, 61 予測係数メモリ, 62 補正デー
タメモリ, 63 誤差情報メモリ, 64 比較回
路, 65 制御回路,71 受信機/再生装置, 7
2 分離部, 73 クラス分類用ブロック化回路,
75 クラス分類回路, 76 予測回路, 76A
メモリ, 77予測値計算用ブロック化回路, 78,
81 予測係数ROM, 82 予測回路, 91 学
習用ブロック化回路, 92 教師用ブロック化回路,
94クラス分類回路, 95 スイッチ, 96 学
習データメモリ, 97 カウンタ, 98 教師デー
タメモリ, 99 演算回路, 100 メモリ,11
1 ブロック化回路, 112 ADRC処理回路,
113 クラス分類回路, 114 マッピング係数メ
モリ, 115 遅延回路, 116 演算回路, 1
17 レベル制限回路, 118 送信機/記録装置,
121 メモリ, 122 ブロック化回路, 12
3 ADRC処理回路, 124 クラス分類回路,
125 演算回路, 126 レベル制限回路, 12
7 ローカルデコード部, 128 誤差算出部, 1
29 判定部, 130 マッピング係数設定回路,
131 マッピング係数メモリ, 141 クラス分類
用ブロック化回路, 142 予測値計算用ブロック化
回路, 144 クラス分類回路, 145 予測係数
ROM, 146 予測回路, 160 最適補正デー
タ算出部, 170 圧縮部, 171 レベル制限
部, 172 補正部, 173 ローカルデコード
部, 174 誤差算出部, 175 判定部, 17
6 ラッチ回路, 176A メモリ, 177 ブロ
ック化回路,177A メモリ, 178 ADRC処
理回路, 179 クラス分類回路,180 メモリ,
181 演算回路, 182 メモリ, 191 受
信機/再生装置, 192 デコード部, 193 ク
ラス分類用ブロック化回路,194 予測値計算用ブロ
ック化回路, 196 クラス分類回路, 197予測
係数ROM, 198 予測回路, 1022,202
2 ローカルデコード部, 2024 判定部

Claims (39)

    【特許請求の範囲】
  1. 【請求項1】 画像を符号化する画像符号化装置であっ
    て、 原画像を、その画素数を少なくすることにより圧縮する
    圧縮手段と、 前記原画像を圧縮することにより得られる圧縮データの
    レベルを制限する制限手段と、 レベルの制限された前記圧縮データを補正し、補正デー
    タを出力する補正手段と、 前記補正データに基づいて、前記原画像を予測し、その
    予測値を出力する予測手段と、 前記原画像に対する、前記予測値の予測誤差を算出する
    算出手段と、 前記予測誤差に基づいて、前記補正手段が出力する前記
    補正データの適正さを判定する判定手段と、 前記判定手段による判定結果に対応して、前記補正デー
    タを、前記原画像の符号化結果として出力する出力手段
    とを備えることを特徴とする画像符号化装置。
  2. 【請求項2】 前記予測手段は、 前記補正データを、その性質に応じて所定のクラスに分
    類する分類手段と、 前記クラスに対応して、前記予測値を求める予測値演算
    手段とを有することを特徴とする請求項1に記載の画像
    符号化装置。
  3. 【請求項3】 前記予測手段は、 前記補正データとの線形結合により前記予測値を算出す
    るための予測係数を求める予測係数演算手段と、 前記予測係数および補正データから、前記予測値を求め
    る予測値演算手段とを有することを特徴とする請求項1
    に記載の画像符号化装置。
  4. 【請求項4】 前記予測手段は、 前記補正データを、その性質に応じて所定のクラスに分
    類する分類手段と、 前記補正データとの線形結合により前記予測値を算出す
    るための予測係数を、前記クラスごとに求める予測係数
    演算手段と、 前記補正データの前記クラスについて得られた前記予測
    係数と、その補正データとから、前記予測値を求める予
    測値演算手段とを有することを特徴とする請求項1に記
    載の画像符号化装置。
  5. 【請求項5】 前記出力手段は、前記補正データととも
    に、前記クラスごとの前記予測係数も出力することを特
    徴とする請求項4に記載の画像符号化装置。
  6. 【請求項6】 前記予測手段は、 前記補正データとの線形結合により前記予測値を算出す
    るための予測係数を、所定のクラスごとに記憶している
    記憶手段と、 前記補正データを、その性質に応じて前記所定のクラス
    のうちのいずれかに分類する分類手段と、 前記補正データの前記クラスについての前記予測係数
    と、その補正データとから、前記予測値を求める予測値
    演算手段とを有することを特徴とする請求項1に記載の
    画像符号化装置。
  7. 【請求項7】 前記記憶手段に記憶されている前記クラ
    スごとの予測係数は、学習用の画像データを用いて学習
    を行うことにより生成されたものであることを特徴とす
    る請求項6に記載の画像符号化装置。
  8. 【請求項8】 前記出力手段は、前記補正データととも
    に、前記クラスごとの前記予測係数も出力することを特
    徴とする請求項7に記載の画像符号化装置。
  9. 【請求項9】 前記補正手段は、 前記圧縮データを補正するための補正値を記憶している
    記憶手段を有し、 その補正値を用いて、前記圧縮データを補正することを
    特徴とする請求項1に記載の画像符号化装置。
  10. 【請求項10】 前記判定手段は、前記予測誤差が所定
    値以下であるかどうかによって、前記補正データの適正
    さを判定し、 前記出力手段は、前記予測誤差が所定値以下になったと
    きにおける前記補正データを出力することを特徴とする
    請求項1に記載の画像符号化装置。
  11. 【請求項11】 画像を符号化する画像符号化方法であ
    って、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
    レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
    ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
    の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
    定することを、前記補正データが適正になるまで繰り返
    し、 適正になった前記補正データを、前記原画像の符号化結
    果として出力することを特徴とする画像符号化方法。
  12. 【請求項12】 画像を符号化した符号化データを復号
    化する画像復号化装置であって、 前記符号化データを受信する受信手段と、 前記符号化データを復号化する復号化手段とを備え、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
    レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
    ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
    の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
    定することを、前記補正データが適正になるまで繰り返
    すことにより得られた、適正になった前記補正データを
    含むことを特徴とする画像復号化装置。
  13. 【請求項13】 前記復号化手段は、 前記補正データを、その性質に応じて所定のクラスに分
    類する分類手段と、 前記クラスに対応して、前記予測値を求める予測値演算
    手段とを有することを特徴とする請求項12に記載の画
    像復号化装置。
  14. 【請求項14】 前記符号化データは、前記補正データ
    との線形結合により前記予測値を算出するための予測係
    数も含んでおり、 前記復号化手段は、前記予測係数および補正データか
    ら、前記予測値を求める予測値演算手段を有することを
    特徴とする請求項12に記載の画像復号化装置。
  15. 【請求項15】 前記符号化データは、前記補正データ
    との線形結合により前記予測値を算出するための、所定
    のクラスごとの予測係数も含んでおり、 前記復号化手段は、 前記補正データを、その性質に応じて所定のクラスに分
    類する分類手段と、 前記補正データの前記クラスについての前記予測係数
    と、その補正データとから、前記予測値を求める予測値
    演算手段とを有することを特徴とする請求項12に記載
    の画像復号化装置。
  16. 【請求項16】 前記復号化手段は、 前記補正データとの線形結合により前記予測値を算出す
    るための予測係数を、所定のクラスごとに記憶している
    記憶手段と、 前記補正データを、その性質に応じて前記所定のクラス
    のいずれかに分類する分類手段と、 前記補正データの前記クラスについての前記予測係数を
    前記記憶手段から読み出し、その予測係数と前記補正デ
    ータとから、前記予測値を求める予測値演算手段とを有
    することを特徴とする請求項12に記載の画像復号化装
    置。
  17. 【請求項17】 前記記憶手段に記憶されている前記ク
    ラスごとの予測係数は、学習用の画像データを用いて学
    習を行うことにより生成されたものであることを特徴と
    する請求項16に記載の画像復号化装置。
  18. 【請求項18】 画像を符号化した符号化データを復号
    化する画像復号化方法であって、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
    レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
    ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
    の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
    定することを、前記補正データが適正になるまで繰り返
    すことにより得られた、適正になった前記補正データを
    含むことを特徴とする画像復号化方法。
  19. 【請求項19】 画像を符号化した符号化データを伝送
    する伝送方法であって、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
    レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
    ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
    の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
    定することを、前記補正データが適正になるまで繰り返
    すことにより得られた、適正になった前記補正データを
    含むことを特徴とする伝送方法。
  20. 【請求項20】 画像を符号化した符号化データが記録
    されている記録媒体であって、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
    レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
    ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
    の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
    定することを、前記補正データが適正になるまで繰り返
    すことにより得られた、適正になった前記補正データを
    含むことを特徴とする記録媒体。
  21. 【請求項21】 画像を符号化する画像符号化装置であ
    って、 前記画像を構成する画素を、その性質に応じて所定のク
    ラスに分類する分類手段と、 前記クラスごとに、所定のマッピング係数を記憶してい
    るマッピング係数記憶手段と、 前記画像の中の、注目している注目画素と、その注目画
    素のクラスに対応する前記マッピング係数とを用いて所
    定の演算を行うことにより、その注目画素を補正した補
    正データを算出する演算手段と、 前記補正データのレベルを制限して、前記画像を符号化
    した符号化データとする制限手段とを備えることを特徴
    とする画像符号化装置。
  22. 【請求項22】 前記演算手段は、前記所定の演算を行
    うことにより、前記画像の画素数を少なくすることを特
    徴とする請求項21に記載の画像符号化装置。
  23. 【請求項23】 前記演算手段は、前記注目画素を含む
    複数の画素と、その注目画素のクラスに対応する前記マ
    ッピング係数とを用いて前記所定の演算を行うことを特
    徴とする請求項22に記載の画像符号化装置。
  24. 【請求項24】 前記マッピング係数は、学習用の画像
    データを用いて学習を行うことにより生成されたもので
    あることを特徴とする請求項22に記載の画像符号化装
    置。
  25. 【請求項25】 前記マッピング係数は、前記符号化デ
    ータから元の画像を予測した予測結果の、その元の画像
    に対する予測誤差が最小になるように学習を行うことに
    より得られたものであることを特徴とする請求項22に
    記載の画像符号化装置。
  26. 【請求項26】 前記マッピング係数は、前記符号化デ
    ータから元の画像を予測した予測結果の、その元の画像
    に対する予測誤差が所定値以下になるように学習を行う
    ことにより得られたものであることを特徴とする請求項
    22に記載の画像符号化装置。
  27. 【請求項27】 前記マッピング係数は、 学習用の画像を構成する画素を、その性質に応じて前記
    クラスのうちのいずれかに分類し、 前記学習用の画像の中の、注目している注目学習画素
    と、その注目学習画素のクラスに対応する所定の係数と
    を用いて前記所定の演算を行うことにより、その注目学
    習画素を補正した学習用補正データを算出し、 前記学習用補正データのレベルを制限した学習用制限デ
    ータを求め、 その学習用制限データに基づいて、前記学習用の画像の
    予測値を予測し、 前記学習用の画像に対する、前記学習用の画像の予測値
    の予測誤差を算出し、 その予測誤差に基づいて、前記所定の係数を変更するこ
    とを、前記所定の係数が最適な値になるまで繰り返すこ
    とにより得られた、その最適な値の前記所定の係数であ
    ることを特徴とする請求項22に記載の画像符号化装
    置。
  28. 【請求項28】 前記マッピング係数は、 学習用の画像を、その画素数を少なくすることにより圧
    縮し、 前記学習用の画像を圧縮することにより得られる学習用
    圧縮データのレベルを制限し、 レベルの制限された前記学習用圧縮データを補正して、
    学習用補正データを出力し、 前記学習用補正データに基づいて、前記学習用の画像を
    予測して、その予測値を出力し、 前記学習用の画像に対する、前記学習用の画像の予測値
    の予測誤差を算出し、 その予測誤差に基づいて、前記学習用補正データの適正
    さを判定することを、前記学習用補正データが適正にな
    るまで繰り返すことにより得られた、その適正になった
    前記学習用補正データと、前記学習用の画像とを用いて
    求められたものであることを特徴とする請求項22に記
    載の画像符号化装置。
  29. 【請求項29】 画像を符号化する画像符号化方法であ
    って、 前記画像を構成する画素を、その性質に応じて所定のク
    ラスに分類し、 前記クラスごとに、所定のマッピング係数を記憶してい
    るマッピング係数記憶手段から、前記画像の中の、注目
    している注目画素のクラスに対応する前記マッピング係
    数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
    演算を行うことにより、その注目画素を補正した補正デ
    ータを算出し、 前記補正データのレベルを制限して、前記画像を符号化
    した符号化データとすることを特徴とする画像符号化方
    法。
  30. 【請求項30】 画像を符号化した符号化データを復号
    化する画像復号化装置であって、 前記符号化データを受信する受信手段と、 前記符号化データを復号化する復号化手段とを備え、 前記符号化データは、 前記画像を構成する画素を、その性質に応じて第1のク
    ラスのうちのいずれかに分類し、 前記第1のクラスごとに、所定のマッピング係数を記憶
    しているマッピング係数記憶手段から、前記画像の中
    の、注目している注目画素の第1のクラスに対応する前
    記マッピング係数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
    演算を行うことにより、その注目画素を補正した補正デ
    ータを算出し、 前記補正データのレベルを制限することにより得られた
    ものであることを特徴とする画像復号化装置。
  31. 【請求項31】 前記符号化データは、前記画像の画素
    数を少なくしたものであることを特徴とする請求項30
    に記載の画像復号化装置。
  32. 【請求項32】 前記復号化手段は、 前記符号化データとの線形結合により前記予測値を算出
    するための予測係数を、第2のクラスごとに記憶してい
    る予測係数記憶手段と、 前記符号化データを、その性質に応じて前記第2のクラ
    スのうちのいずれかに分類する分類手段と、 前記符号化データの前記第2のクラスについての前記予
    測係数を、前記予測係数記憶手段から読み出し、その予
    測係数と前記符号化データとから、前記予測値を求める
    予測値演算手段とを有することを特徴とする請求項31
    に記載の画像復号化装置。
  33. 【請求項33】 前記予測係数は、学習用の画像データ
    を用いて学習を行うことにより生成されたものであるこ
    とを特徴とする請求項32に記載の画像復号化装置。
  34. 【請求項34】 前記マッピング係数は、学習用の画像
    データを用いて学習を行うことにより生成されたもので
    あることを特徴とする請求項31に記載の画像復号化装
    置。
  35. 【請求項35】 前記マッピング係数は、前記符号化デ
    ータから元の画像を予測した予測結果の、その元の画像
    に対する予測誤差が最小になるように学習を行うことに
    より得られたものであることを特徴とする請求項31に
    記載の画像復号化装置。
  36. 【請求項36】 前記マッピング係数は、前記符号化デ
    ータから元の画像を予測した予測結果の、その元の画像
    に対する予測誤差が所定値以下になるように学習を行う
    ことにより得られたものであることを特徴とする請求項
    31に記載の画像復号化装置。
  37. 【請求項37】 画像を符号化した符号化データを復号
    化する画像復号化方法であって、 前記符号化データは、 前記画像を構成する画素を、その性質に応じて所定のク
    ラスのうちのいずれかに分類し、 前記クラスごとに、所定のマッピング係数を記憶してい
    るマッピング係数記憶手段から、前記画像の中の、注目
    している注目画素のクラスに対応する前記マッピング係
    数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
    演算を行うことにより、その注目画素を補正した補正デ
    ータを算出し、 前記補正データのレベルを制限することにより得られた
    ものであることを特徴とする画像復号化方法。
  38. 【請求項38】 画像を符号化した符号化データを伝送
    する伝送方法であって、 前記符号化データは、 前記画像を構成する画素を、その性質に応じて所定のク
    ラスに分類し、 前記クラスごとに、所定のマッピング係数を記憶してい
    るマッピング係数記憶手段から、前記画像の中の、注目
    している注目画素のクラスに対応する前記マッピング係
    数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
    演算を行うことにより、その注目画素を補正した補正デ
    ータを算出し、 前記補正データのレベルを制限することにより得られた
    ものであることを特徴とする伝送方法。
  39. 【請求項39】 画像を符号化した符号化データが記録
    されている記録媒体であって、 前記符号化データは、 前記画像を構成する画素を、その性質に応じて所定のク
    ラスに分類し、 前記クラスごとに、所定のマッピング係数を記憶してい
    るマッピング係数記憶手段から、前記画像の中の、注目
    している注目画素のクラスに対応する前記マッピング係
    数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
    演算を行うことにより、その注目画素を補正した補正デ
    ータを算出し、 前記補正データのレベルを制限することにより得られた
    ものであることを特徴とする記録媒体。
JP20852597A 1996-07-17 1997-07-17 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 Expired - Fee Related JP3952326B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20852597A JP3952326B2 (ja) 1996-07-17 1997-07-17 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP20655496 1996-07-17
JP8-206554 1996-07-17
US08/893,216 US6381369B1 (en) 1996-07-17 1997-07-15 Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
JP20852597A JP3952326B2 (ja) 1996-07-17 1997-07-17 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005308103A Division JP4534951B2 (ja) 1996-07-17 2005-10-24 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JPH1084549A true JPH1084549A (ja) 1998-03-31
JP3952326B2 JP3952326B2 (ja) 2007-08-01

Family

ID=27328650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20852597A Expired - Fee Related JP3952326B2 (ja) 1996-07-17 1997-07-17 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP3952326B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017511045A (ja) * 2014-02-26 2017-04-13 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮のための輝度ベースの符号化ツール

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017511045A (ja) * 2014-02-26 2017-04-13 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮のための輝度ベースの符号化ツール
US11032553B2 (en) 2014-02-26 2021-06-08 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression
US11729400B2 (en) 2014-02-26 2023-08-15 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression

Also Published As

Publication number Publication date
JP3952326B2 (ja) 2007-08-01

Similar Documents

Publication Publication Date Title
JP3912627B2 (ja) 画像符号化装置および画像符号化方法、並びに伝送方法
JPH1032837A (ja) 画像処理装置および方法、並びに画像符号化装置および方法
KR100731708B1 (ko) 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체
US6381369B1 (en) Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
JP3915855B2 (ja) 画像符号化装置および画像符号化方法、並びに学習装置および学習方法
EP0820198B1 (en) Apparatus and method for image coding and decoding
JP3747970B2 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
JP3912558B2 (ja) 画像符号化装置および画像符号化方法、並びに記録媒体
JP4534951B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JP3912628B2 (ja) 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体
JPH1084549A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体
JP3844031B2 (ja) 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
JP3912629B2 (ja) 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体
JP4582416B2 (ja) 画像符号化装置および画像符号化方法
JPH08307835A (ja) クラス分類適応処理装置および方法
JP4496494B2 (ja) 画像符号化装置および画像符号化方法
JP4016249B2 (ja) 画像符号化装置および符号化方法、画像復号装置および復号方法、記録媒体、プログラム、並びに、画像処理システム
JP4518727B2 (ja) 画像符号化装置および方法、記録媒体、並びにプログラム
KR100567710B1 (ko) 화상코딩장치,화상코딩방법,화상디코딩방법,화상디코딩장치,화상데이타전송방법및기록매체
JP4487900B2 (ja) 画像処理システム
EP1298934A1 (en) Apparatus and method for image coding and decoding
JP2001077700A (ja) 画像圧縮装置及び画像伸張装置
KR100598754B1 (ko) 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체
JP2001339724A (ja) 画像符号化装置および方法、並びに記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees