JPH1084549A - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体 - Google Patents
画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体Info
- Publication number
- JPH1084549A JPH1084549A JP20852597A JP20852597A JPH1084549A JP H1084549 A JPH1084549 A JP H1084549A JP 20852597 A JP20852597 A JP 20852597A JP 20852597 A JP20852597 A JP 20852597A JP H1084549 A JPH1084549 A JP H1084549A
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- data
- correction data
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
の復号画像を効率的に得ることができるようにする。 【解決手段】 間引き回路30において、原画像の9画
素から1画素を抽出することにより得られる圧縮データ
のレベルを、レベル制限回路31により、MSBからの
2ビットを抽出することで制限する。ローカルデコード
部では、その補正データに基づいて、原画像が予測さ
れ、その予測値が出力される。そして、誤差算出部にお
いて、原画像に対する、予測値の予測誤差が算出され
る。この予測誤差が小さくなるように、補正回路32
で、圧縮データを補正する。
Description
よび画像符号化方法、画像復号化装置および画像復号化
方法、伝送方法、並びに記録媒体に関し、特に、少ない
データ処理で、効率的に、より高画質の予測画像を得る
ことができるようにした画像符号化装置および画像符号
化方法、画像復号化装置および画像復号化方法、伝送方
法、並びに記録媒体に関する。
種々の方法が提案されているが、そのうちの1つに、画
像を、その画素を間引くことにより圧縮する方法があ
る。
像を間引いて圧縮した画素データを、そのまま符号化す
るようにすると、データ処理量が膨大となり、効率的
に、高画質の予測画像(復号画像)を得ることができな
い課題があった。
たものであり、少ないデータ量で、効率的に、より高画
質の予測画像を得ることができるようにするものであ
る。
号化装置は、原画像を圧縮することにより得られる圧縮
データのレベルを制限する制限手段と、レベルの制限さ
れた圧縮データを補正し、補正データを出力する補正手
段と、補正データに基づいて、原画像を予測し、その予
測値を出力する予測手段と、原画像に対する、予測値の
予測誤差を算出する算出手段と、予測誤差に基づいて、
補正手段が出力する補正データの適正さを判定する判定
手段と、判定手段による判定結果に対応して、補正デー
タを、原画像の符号化結果として出力する出力手段とを
備えることを特徴とする。
画像を圧縮することにより得られる圧縮データのレベル
を制限し、レベルの制限された圧縮データを補正して、
補正データを出力し、補正データに基づいて、原画像を
予測して、その予測値を出力し、原画像に対する、予測
値の予測誤差を算出し、予測誤差に基づいて、補正デー
タの適正さを判定することを、補正データが適正になる
まで繰り返し、適正になった補正データを、原画像の符
号化結果として出力することを特徴とする。
号化データが、原画像を圧縮することにより得られる圧
縮データのレベルを制限し、レベルの制限された圧縮デ
ータを補正して、補正データを出力し、補正データに基
づいて、原画像を予測して、その予測値を出力し、原画
像に対する、予測値の予測誤差を算出し、予測誤差に基
づいて、補正データの適正さを判定することを、補正デ
ータが適正になるまで繰り返すことにより得られた、適
正になった補正データを含むことを特徴とする。
号化データが、原画像を圧縮することにより得られる圧
縮データのレベルを制限し、レベルの制限された圧縮デ
ータを補正して、補正データを出力し、補正データに基
づいて、原画像を予測して、その予測値を出力し、原画
像に対する、予測値の予測誤差を算出し、予測誤差に基
づいて、補正データの適正さを判定することを、補正デ
ータが適正になるまで繰り返すことにより得られた、適
正になった補正データを含むことを特徴とする。
ータが、原画像を圧縮することにより得られる圧縮デー
タのレベルを制限し、レベルの制限された圧縮データを
補正して、補正データを出力し、補正データに基づい
て、原画像を予測して、その予測値を出力し、原画像に
対する、予測値の予測誤差を算出し、予測誤差に基づい
て、補正データの適正さを判定することを、補正データ
が適正になるまで繰り返すことにより得られた、適正に
なった補正データを含むことを特徴とする。
ータが、原画像を、その画素数を少なくすることにより
圧縮し、原画像を圧縮することにより得られる圧縮デー
タのレベルを制限し、レベルの制限された圧縮データを
補正して、補正データを出力し、補正データに基づい
て、原画像を予測して、その予測値を出力し、原画像に
対する、予測値の予測誤差を算出し、予測誤差に基づい
て、補正データの適正さを判定することを、補正データ
が適正になるまで繰り返すことにより得られた、適正に
なった補正データを含むことを特徴とする。
像を構成する画素を、その性質に応じて所定のクラスに
分類する分類手段と、クラスごとに、所定のマッピング
係数を記憶しているマッピング係数記憶手段と、画像の
中の、注目している注目画素と、その注目画素のクラス
に対応するマッピング係数とを用いて所定の演算を行う
ことにより、その注目画素を補正した補正データを算出
する演算手段と、補正データのレベルを制限して、画像
を符号化した符号化データとする制限手段とを備えるこ
とを特徴とする。
像を構成する画素を、その性質に応じて所定のクラスに
分類し、クラスごとに、所定のマッピング係数を記憶し
ているマッピング係数記憶手段から、画像の中の、注目
している注目画素のクラスに対応するマッピング係数を
読み出し、そのマッピング係数と、注目画素とを用いて
所定の演算を行うことにより、その注目画素を補正した
補正データを算出し、補正データのレベルを制限して、
画像を符号化した符号化データとすることを特徴とす
る。
号化データが、画像を構成する画素を、その性質に応じ
て第1のクラスのうちのいずれかに分類し、第1のクラ
スごとに、所定のマッピング係数を記憶しているマッピ
ング係数記憶手段から、画像の中の、注目している注目
画素の第1のクラスに対応するマッピング係数を読み出
し、そのマッピング係数と、注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、補正データのレベルを制限することによ
り得られたものであることを特徴とする。
号化データが、画像を構成する画素を、その性質に応じ
て所定のクラスのうちのいずれかに分類し、クラスごと
に、所定のマッピング係数を記憶しているマッピング係
数記憶手段から、画像の中の、注目している注目画素の
クラスに対応するマッピング係数を読み出し、そのマッ
ピング係数と、注目画素とを用いて所定の演算を行うこ
とにより、その注目画素を補正した補正データを算出
し、補正データのレベルを制限することにより得られた
ものであることを特徴とする。
ータが、画像を構成する画素を、その性質に応じて所定
のクラスに分類し、クラスごとに、所定のマッピング係
数を記憶しているマッピング係数記憶手段から、画像の
中の、注目している注目画素のクラスに対応するマッピ
ング係数を読み出し、そのマッピング係数と、注目画素
とを用いて所定の演算を行うことにより、その注目画素
を補正した補正データを算出し、補正データのレベルを
制限することにより得られたものであることを特徴とす
る。
ータが、画像を構成する画素を、その性質に応じて所定
のクラスに分類し、クラスごとに、所定のマッピング係
数を記憶しているマッピング係数記憶手段から、画像の
中の、注目している注目画素のクラスに対応するマッピ
ング係数を読み出し、そのマッピング係数と、注目画素
とを用いて所定の演算を行うことにより、その注目画素
を補正した補正データを算出し、補正データのレベルを
制限することにより得られたものであることを特徴とす
る。
は、制限手段は、原画像を圧縮することにより得られる
圧縮データのレベルを制限し、補正手段は、レベルの制
限された圧縮データを補正し、補正データを出力するよ
うになされている。予測手段は、補正データに基づい
て、原画像を予測して、その予測値を出力し、算出手段
は、原画像に対する、予測値の予測誤差を算出するよう
になされている。判定手段は、予測誤差に基づいて、補
正手段が出力する補正データの適正さを判定し、出力手
段は、判定手段による判定結果に対応して、補正データ
を、原画像の符号化結果として出力するようになされて
いる。
ては、原画像を圧縮することにより得られる圧縮データ
のレベルを制限し、レベルの制限された圧縮データを補
正して、補正データを出力し、補正データに基づいて、
原画像を予測して、その予測値を出力し、原画像に対す
る、予測値の予測誤差を算出し、予測誤差に基づいて、
補正データの適正さを判定することを、補正データが適
正になるまで繰り返し、適正になった補正データを、原
画像の符号化結果として出力するようになされている。
請求項18に記載の画像復号化方法、請求項19に記載
の伝送方法、並びに請求項20に記載の記録媒体におい
ては、符号化データが、原画像を、その画素数を少なく
することにより圧縮し、原画像を圧縮することにより得
られる圧縮データのレベルを制限し、レベルの制限され
た圧縮データを補正して、補正データを出力し、補正デ
ータに基づいて、原画像を予測して、その予測値を出力
し、原画像に対する、予測値の予測誤差を算出し、予測
誤差に基づいて、補正データの適正さを判定すること
を、補正データが適正になるまで繰り返すことにより得
られた、適正になった補正データを含んでいる。
ては、分類手段は、画像を構成する画素を、その性質に
応じて所定のクラスに分類し、マッピング係数記憶手段
は、クラスごとに、所定のマッピング係数を記憶してい
る。演算手段は、画像の中の、注目している注目画素
と、その注目画素のクラスに対応するマッピング係数と
を用いて所定の演算を行うことにより、その注目画素を
補正した補正データを算出し、制限手段は、補正データ
のレベルを制限して、画像を符号化した符号化データと
するようになされている。
ては、画像を構成する画素を、その性質に応じて所定の
クラスに分類し、クラスごとに、所定のマッピング係数
を記憶しているマッピング係数記憶手段から、画像の中
の、注目している注目画素のクラスに対応するマッピン
グ係数を読み出し、そのマッピング係数と、注目画素と
を用いて所定の演算を行うことにより、その注目画素を
補正した補正データを算出し、補正データのレベルを制
限して、画像を符号化した符号化データとするようにな
されている。
請求項37に記載の画像復号化方法、請求項38に記載
の伝送方法、並びに請求項39に記載の記録媒体におい
ては、符号化データが、画像を構成する画素を、その性
質に応じて所定のクラスに分類し、クラスごとに、所定
のマッピング係数を記憶しているマッピング係数記憶手
段から、画像の中の、注目している注目画素のクラスに
対応するマッピング係数を読み出し、そのマッピング係
数と、注目画素とを用いて所定の演算を行うことによ
り、その注目画素を補正した補正データを算出し、補正
データのレベルを制限することにより得られたものとな
っている。
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態(但
し、一例)を付加して、本発明の特徴を記述すると、次
のようになる。
は、画像を符号化する画像符号化装置であって、原画像
を、その画素数を少なくすることにより圧縮する圧縮手
段(例えば、図3に示す圧縮部21など)と、原画像を
圧縮することにより得られる圧縮データのレベルを制限
する制限手段(例えば、図3に示す圧縮部21など)
と、レベルの制限された圧縮データを補正し、補正デー
タを出力する補正手段(例えば、図3に示す圧縮部21
など)と、補正データに基づいて、原画像を予測し、そ
の予測値を出力する予測手段(例えば、図3に示すロー
カルデコード部22など)と、原画像に対する、予測値
の予測誤差を算出する算出手段(例えば、図3に示す誤
差算出部23など)と、予測誤差に基づいて、補正手段
が出力する補正データの適正さを判定する判定手段(例
えば、図3に示す判定部24など)と、判定手段による
判定結果に対応して、補正データを、原画像の符号化結
果として出力する出力手段(例えば、図3に示す判定部
24など)とを備えることを特徴とする。
手段が、補正データを、その性質に応じて所定のクラス
に分類する分類手段(例えば、図8に示すクラス分類回
路45など)と、クラスに対応して、予測値を求める予
測値演算手段(例えば、図8に示す適応処理回路46な
ど)とを有することを特徴とする。
手段が、補正データとの線形結合により予測値を算出す
るための予測係数を求める予測係数演算手段(例えば、
図8に示す適応処理回路46など)と、予測係数および
補正データから、予測値を求める予測値演算手段(例え
ば、図8に示す適応処理回路46など)とを有すること
を特徴とする。
手段が、補正データを、その性質に応じて所定のクラス
に分類する分類手段(例えば、図8に示すクラス分類回
路45など)と、補正データとの線形結合により予測値
を算出するための予測係数を、クラスごとに求める予測
係数演算手段(例えば、図8に示す適応処理回路46な
ど)と、補正データのクラスについて得られた予測係数
と、その補正データとから、予測値を求める予測値演算
手段(例えば、図8に示す適応処理回路46など)とを
有することを特徴とする。
手段が、補正データとの線形結合により予測値を算出す
るための予測係数を、所定のクラスごとに記憶している
記憶手段(例えば、図17に示す予測係数ROM81な
ど)と、補正データを、その性質に応じて所定のクラス
のうちのいずれかに分類する分類手段(例えば、図17
に示すクラス分類回路45など)と、補正データのクラ
スについての予測係数と、その補正データとから、予測
値を求める予測値演算手段(例えば、図17に示す予測
回路82など)とを有することを特徴とする。
手段が、圧縮データを補正するための補正値を記憶して
いる記憶手段(例えば、図5に示す補正値ROM33な
ど)を有し、その補正値を用いて、圧縮データを補正す
ることを特徴とする。
像を符号化した符号化データを復号化する画像復号化装
置であって、符号化データを受信する受信手段(例え
ば、図15に示す受信機/再生装置71など)と、符号
化データを復号化する復号化手段(例えば、図15に示
すクラス分類用ブロック化回路73、クラス分類回路7
5、予測回路76、および予測値計算用ブロック化回路
77など)とを備え、符号化データが、原画像を、その
画素数を少なくすることにより圧縮し、原画像を圧縮す
ることにより得られる圧縮データのレベルを制限し、レ
ベルの制限された圧縮データを補正して、補正データを
出力し、補正データに基づいて、原画像を予測して、そ
の予測値を出力し、原画像に対する、予測値の予測誤差
を算出し、予測誤差に基づいて、補正データの適正さを
判定することを、補正データが適正になるまで繰り返す
ことにより得られた、適正になった補正データを含むこ
とを特徴とする。
号化手段が、補正データを、その性質に応じて所定のク
ラスに分類する分類手段(例えば、図15に示すクラス
分類回路75など)と、クラスに対応して、予測値を求
める予測値演算手段(例えば、図15に示す予測回路7
6など)とを有することを特徴とする。
号化データが、補正データとの線形結合により予測値を
算出するための予測係数も含んでおり、復号化手段が、
予測係数および補正データから、予測値を求める予測値
演算手段(例えば、図15に示す予測回路76など)を
有することを特徴とする。
号化データが、補正データとの線形結合により予測値を
算出するための、所定のクラスごとの予測係数も含んで
おり、復号化手段が、補正データを、その性質に応じて
所定のクラスに分類する分類手段(例えば、図15に示
すクラス分類回路75など)と、補正データのクラスに
ついての予測係数と、その補正データとから、予測値を
求める予測値演算手段(例えば、図15に示す予測回路
76など)とを有することを特徴とする。
号化手段が、補正データとの線形結合により予測値を算
出するための予測係数を、所定のクラスごとに記憶して
いる記憶手段(例えば、図26に示す予測係数ROM7
8など)と、補正データを、その性質に応じて所定のク
ラスのいずれかに分類する分類手段(例えば、図26に
示すクラス分類回路75など)と、補正データのクラス
についての予測係数を記憶手段から読み出し、その予測
係数と補正データとから、予測値を求める予測値演算手
段(例えば、図26に示す予測回路76など)とを有す
ることを特徴とする。
像を符号化する画像符号化装置であって、画像を構成す
る画素を、その性質に応じて所定のクラスに分類する分
類手段(例えば、図27に示すクラス分類回路113な
ど)と、クラスごとに、所定のマッピング係数を記憶し
ているマッピング係数記憶手段(例えば、図27に示す
マッピング係数メモリ114など)と、画像の中の、注
目している注目画素と、その注目画素のクラスに対応す
るマッピング係数とを用いて所定の演算を行うことによ
り、その注目画素を補正した補正データを算出する演算
手段(例えば、図27に示す演算回路116など)と、
補正データのレベルを制限して、画像を符号化した符号
化データとする制限手段(例えば、図27に示すレベル
制限回路117など)とを備えることを特徴とする。
像を符号化する画像符号化方法であって、画像を構成す
る画素を、その性質に応じて所定のクラスに分類し、ク
ラスごとに、所定のマッピング係数を記憶しているマッ
ピング係数記憶手段(例えば、図27に示すマッピング
係数メモリ114など)から、画像の中の、注目してい
る注目画素のクラスに対応するマッピング係数を読み出
し、そのマッピング係数と、注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、補正データのレベルを制限して、画像を
符号化した符号化データとすることを特徴とする。
像を符号化した符号化データを復号化する画像復号化装
置であって、符号化データを受信する受信手段(例え
ば、図37に示す受信機/再生装置191など)と、符
号化データを復号化する復号化手段(例えば、図37に
示すデコード部192など)とを備え、符号化データ
が、画像を構成する画素を、その性質に応じて第1のク
ラスのうちのいずれかに分類し、第1のクラスごとに、
所定のマッピング係数を記憶しているマッピング係数記
憶手段(例えば、図27に示すマッピング係数メモリ1
14など)から、画像の中の、注目している注目画素の
第1のクラスに対応するマッピング係数を読み出し、そ
のマッピング係数と、注目画素とを用いて所定の演算を
行うことにより、その注目画素を補正した補正データを
算出し、補正データのレベルを制限することにより得ら
れたものであることを特徴とする。
号化手段が、符号化データとの線形結合により予測値を
算出するための予測係数を、第2のクラスごとに記憶し
ている予測係数記憶手段(例えば、図37に示す予測係
数ROM197など)と、符号化データを、その性質に
応じて第2のクラスのうちのいずれかに分類する分類手
段(例えば、図37に示すクラス分類回路196など)
と、符号化データの第2のクラスについての予測係数
を、予測係数記憶手段から読み出し、その予測係数と符
号化データとから、予測値を求める予測値演算手段(例
えば、図37に示す予測回路198など)とを有するこ
とを特徴とする。
像を符号化した符号化データを復号化する画像復号化方
法であって、符号化データが、画像を構成する画素を、
その性質に応じて所定のクラスのうちのいずれかに分類
し、クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段(例えば、図27に示すマッ
ピング係数メモリ114など)から、画像の中の、注目
している注目画素のクラスに対応するマッピング係数を
読み出し、そのマッピング係数と、注目画素とを用いて
所定の演算を行うことにより、その注目画素を補正した
補正データを算出し、補正データのレベルを制限するこ
とにより得られたものであることを特徴とする。
号化した符号化データを伝送する伝送方法であって、符
号化データが、画像を構成する画素を、その性質に応じ
て所定のクラスのうちのいずれかに分類し、クラスごと
に、所定のマッピング係数を記憶しているマッピング係
数記憶手段(例えば、図27に示すマッピング係数メモ
リ114など)から、画像の中の、注目している注目画
素のクラスに対応するマッピング係数を読み出し、その
マッピング係数と、注目画素とを用いて所定の演算を行
うことにより、その注目画素を補正した補正データを算
出し、補正データのレベルを制限することにより得られ
たものであることを特徴とする。
号化した符号化データが記録されている記録媒体であっ
て、符号化データが、画像を構成する画素を、その性質
に応じて所定のクラスのうちのいずれかに分類し、クラ
スごとに、所定のマッピング係数を記憶しているマッピ
ング係数記憶手段(例えば、図27に示すマッピング係
数メモリ114など)から、画像の中の、注目している
注目画素のクラスに対応するマッピング係数を読み出
し、そのマッピング係数と、注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、補正データのレベルを制限することによ
り得られたものであることを特徴とする。
ものに限定することを意味するものではない。
一実施の形態の構成を示している。送信装置1には、デ
ィジタル化された画像データが供給されるようになされ
ている。送信装置1は、入力された画像データを間引く
こと(その画素数を少なくすること)により圧縮、符号
化し、その結果得られる符号化データを、例えば、光デ
ィスク、光磁気ディスク、磁気テープ、相変化ディスク
その他でなる記録媒体2に記録し、または、例えば、地
上波、衛星回線、電話回線、CATV網、インターネッ
トその他の伝送路3を介して伝送する。
符号化データが再生され、または、伝送路3を介して伝
送されてくる符号化データが受信され、その符号化デー
タが伸張、復号化される。そして、その結果得られる復
号画像は、図示せぬディスプレイに供給されて表示され
る。
ば、光ディスク装置、光磁気ディスク装置、磁気テープ
装置その他の、画像の記録/再生を行う装置、あるいは
また、例えば、テレビ電話装置、テレビジョン放送シス
テム、CATVシステムその他の、画像の伝送を行う装
置などに適用される。また、後述するように、送信装置
1が出力する符号化データのデータ量が少ないため、図
1の画像処理装置は、伝送レートの低い、例えば、携帯
電話機その他の、移動に便利な携帯端末などにも適用可
能である。
る。
給される画像データの受信処理と、送信機/記録装置1
6に対しての、符号化データの送信処理を行うようにな
されている。ROM(Read Only Memory)12は、IP
L(Initial Program Loading)用のプログラムその他
を記憶している。RAM(Random Access Memory)13
は、外部記憶装置15に記録されているシステムプログ
ラム(OS(Operating System))やアプリケーション
プログラムを記憶したり、また、CPU(Central Proc
essing Unit)14の動作上必要なデータを記憶するよ
うになされている。CPU14は、ROM12に記憶さ
れているIPLプログラムにしたがい、外部記憶装置1
5からシステムプログラムおよびアプリケーションプロ
グラムを、RAM13に展開し、そのシステムプログラ
ムの制御の下、アプリケーションプログラムを実行する
ことで、I/F11から供給される画像データについて
の、後述するような符号化処理を行うようになされてい
る。外部記憶装置15は、例えば、磁気ディスク装置な
どでなり、上述したように、CPU14が実行するシス
テムプログラムやアプリケーションプログラムを記憶し
ている他、CPU14の動作上必要なデータも記憶して
いる。送信機/記録装置16は、I/F11から供給さ
れる符号化データを、記録媒体2に記録し、または伝送
路3を介して伝送するようになされている。
3,CPU14、および外部記憶装置15は、相互にバ
スを介して接続されている。
ては、I/F11に画像データが供給されると、その画
像データは、CPU14に供給される。CPU14は、
画像データを符号化し、その結果得られる符号化データ
を、I/F11に供給する。I/F11は、符号化デー
タを受信すると、それを、送信機/記録装置16に供給
する。送信機/記録装置16では、I/F11からの符
号化データが、記録媒体2に記録され、または伝送路3
を介して伝送される。
録装置16を除く部分の機能的なブロック図である。
ローカルデコード部22、および誤差算出部23に供給
されるようになされている。圧縮部21は、画像データ
を、その画素を、単純に間引くことにより圧縮するとと
もに、抽出された画素データのレベルを制限し、さら
に、その結果得られる圧縮データ(間引きとレベル制限
が行われた後の画像データ)を、判定部24からの制御
にしたがって補正するようになされている。圧縮部21
における補正の結果得られる補正データは、ローカルデ
コード部22および判定部24に供給されるようになさ
れている。
らの補正データに基づいて、元の画像を予測し、その予
測値を、誤差算出部23に供給するようになされてい
る。なお、ローカルデコード部22は、後述するよう
に、補正データとの線形結合により、予測値を算出する
ための予測係数を求める処理を行い、その予測係数に基
づいて、予測値を求める適応処理を行うようになされて
おり、上述したように、予測値を、誤差算出部23に供
給する他、そのとき求めた予測係数を、判定部24に供
給するようにもなされている。
の画像データ(原画像)に対する、ローカルデコード部
22からの予測値の予測誤差を算出するようになされて
いる。この予測誤差は、誤差情報として、判定部24に
供給されるようになされている。
情報に基づいて、圧縮部21が出力した補正データを、
元の画像の符号化結果とすることの適正さを判定するよ
うになされている。そして、判定部24は、圧縮部21
が出力した補正データを、元の画像の符号化結果とする
ことが適正でないと判定した場合には、圧縮部21を制
御し、さらに、圧縮データを補正させ、その結果得られ
る新たな補正データを出力させるようになされている。
また、判定部24は、圧縮部21が出力した補正データ
を、元の画像の符号化結果とすることが適正であると判
定した場合には、圧縮部21から供給された補正データ
を、最適な圧縮データ(以下、適宜、最適圧縮データと
いう)として多重化部25に供給するとともに、ローカ
ルデコード部22から供給された予測係数を多重化部2
5に供給するようになされている。
縮データ(補正データ)と、予測係数とを多重化し、そ
の多重化結果を、符号化データとして、送信機/記録装
置16(図2)に供給するようになされている。
その動作について説明する。圧縮部21に対して、画像
データが供給されると、圧縮部21は、ステップS1に
おいて、その画像データを間引く(複数の画素から少な
い数の画素を抽出する)ことにより圧縮する。また、抽
出された画素データのレベルを、ステップS2におい
て、MSB側の2ビットを抽出することで制限する。そ
して、この画素データを、最初は、補正を行わずに、ロ
ーカルデコード部22および判定部24に出力する。ロ
ーカルデコード部22では、ステップS3において、圧
縮部21からの補正データ(最初は、上述したように、
画像データを、単純に間引き、かつ、レベル制限した圧
縮データそのもの)がローカルデコードされる。
の補正データとの線形結合により、元の画像の予測値を
算出するための予測係数を求める処理が行われ、その予
測係数に基づいて、予測値を求める適応処理が行われ
る。ローカルデコード部22において求められた予測値
は誤差算出部23に、また、予測係数は判定部24に供
給される。
る予測値で構成される画像は、受信装置4(図1)側に
おいて得られる復号画像と同一のものである。
2から、元の画像の予測値を受信すると、ステップS4
において、元の画像データに対する、ローカルデコード
部22からの予測値の予測誤差を算出し、誤差情報とし
て、判定部24に供給する。判定部24は、誤差算出部
23から誤差情報を受信すると、ステップS5におい
て、その誤差情報に基づいて、圧縮部21が出力した補
正データを、元の画像の符号化結果とすることの適正さ
を判定する。
が所定の閾値ε以下であるかどうかが判定される。ステ
ップS5において、誤差情報が所定の閾値ε以下でない
と判定された場合、圧縮部21が出力した補正データ
を、元の画像の符号化データとするのは適正でないと認
識され、ステップS6に進み、判定部24は、圧縮部2
1を制御し、これにより、圧縮データを補正させる。圧
縮部21は、判定部24の制御にしたがって、補正量
(後述する補正値△)を変えて、圧縮データを補正し、
その結果得られる補正データを、ローカルデコード部2
2および判定部24に出力する。そして、ステップS3
に戻り、以下、同様の処理が繰り返される。
所定の閾値ε以下であると判定された場合、圧縮部21
が出力した補正データを、元の画像の符号化結果とする
のは適正であると認識され、判定部24は、所定の閾値
ε以下の誤差情報が得られたときの補正データを、最適
圧縮データとして、予測係数とともに、多重化部25に
出力する。多重化部25では、ステップS7において、
判定部24からの最適圧縮データと予測係数とが多重化
され、その結果得られる符号化データが出力されて、処
理を終了する。
下となったときにおける、圧縮データを補正した補正デ
ータを、元の画像の符号化結果とするようにしたので、
受信装置4側においては、その補正データに基づいて、
元の画像(原画像)とほぼ同一の画像を得ることが可能
となる。
を示している。
0に入力されるようになされており、間引き回路30
は、入力された画像データを1/Nに間引くようになさ
れている。従って、間引き回路30からは、画像データ
を、1/Nに圧縮した圧縮データが出力されるようにな
されている。この圧縮データは、レベル制限回路31に
入力され、例えば8ビットで表される各画素データのM
SB側の2ビットだけを抽出することで、そのレベルが
制限された後、補正回路32に供給されるようになされ
ている。
の制御信号にしたがって、補正値ROM33にアドレス
を与え、これにより、補正値△を読み出すようになされ
ている。そして、補正回路32は、レベル制限回路31
からの圧縮データに対して、補正値ROM33からの補
正値△を、例えば加算することで、補正データを生成
し、ローカルデコード部22および判定部24に供給す
るようになされている。補正値ROM33は、レベル制
限回路31が出力する圧縮データを補正するための、各
種の補正値△の組合せ(例えば、1フレーム分の圧縮デ
ータを補正するための補正値の組合せなど)を記憶して
おり、補正回路32から供給されるアドレスに対応する
補正値△の組合せを読み出して、補正回路32に供給す
るようになされている。
の処理について説明する。
が、間引き回路30に供給されると、間引き回路30
は、ステップS11において、その画像データを1/N
に間引き、その結果得られる圧縮データを、レベル制限
回路31に出力する。
うに、画像データを、例えば、1/9に間引くようにな
されている。即ち、間引き回路30は、3×3(横×
縦)の9画素を1単位とし、各単位の中心の画素(同図
において、●印で示す部分)についての画素値のみを抽
出し、他の部分(同図において、○印で示す部分)を削
除する。なお、間引き回路30は、以上のような処理
を、例えば、1フレーム(フィールド)単位で行うよう
になされている。従って、間引き回路30からレベル制
限回路31に対しては、1フレームの画像データが1/
9に間引きされた圧縮データとして供給される。但し、
間引き回路30における間引き処理は、その他、1フレ
ームの画像を幾つかのブロックに分割し、そのブロック
単位で行うようにすることも可能である。
ら、1/9に間引かれた画素データの供給を受けると、
8ビットで表されている画素データのMSB側から2ビ
ットを抽出することでレベルを制限する。すなわち、こ
れにより、各画素データは2ビットで表されることにな
り、その後の処理が簡単となる。
圧縮データを受信すると、ステップS13において、判
定部24(図3)から制御信号を受信したかどうかを判
定する。ステップS13において、制御信号を受信して
いないと判定された場合、ステップS16に進み、補正
回路32は、レベル制限回路31からの圧縮データを、
そのまま補正データとして、ローカルデコード部22お
よび判定部24に出力し、ステップS13に戻る。
差情報に基づいて、圧縮部21(補正回路32)を制御
するようになされており、レベル制限回路31から圧縮
データが出力された直後は、まだ、誤差情報が得られな
いため(誤差情報が、誤差算出部23から出力されない
ため)、判定部24からは制御信号は出力されない。こ
のため、レベル制限回路31から圧縮データが出力され
た直後は、補正回路32は、その圧縮データを補正せず
(0を加算する補正をして)、そのまま補正データとし
て、ローカルデコード部22および判定部24に出力す
る。
4からの制御信号を受信したと判定された場合、ステッ
プS14において、補正回路32は、その制御信号にし
たがったアドレスを、補正値ROM33に出力する。こ
れにより、ステップS14では、補正値ROM33か
ら、そのアドレスに記憶されている、1フレーム分の圧
縮データを補正するための補正値△の組合せ(集合)が
読み出され、補正回路32に供給される。補正回路32
は、補正値ROM33から補正値△の組合せを受信する
と、ステップS15において、1フレームの圧縮データ
それぞれに、対応する補正値△を加算し、これにより、
圧縮データを補正した補正データを算出する。その後
は、ステップS16に進み、補正データが、補正回路3
2からローカルデコード部22および判定部24に出力
され、ステップS13に戻る。
24の制御にしたがって、圧縮データを、種々の値に補
正した補正データを出力することを繰り返す。
ついての符号化を終了すると、その旨を表す制御信号
を、圧縮部21に供給するようになされており、圧縮部
21では、ステップS13において、そのような制御信
号を受信したかどうかも判定されるようになされてい
る。ステップS13において、1フレームの画像につい
ての符号化が終了した旨の制御信号を受信したと判定さ
れた場合、次のフレームの画像が供給されるのを待っ
て、ステップS11に戻り、ステップS11からの処理
が繰り返される。
30に、3×3画素の中心の画素についての画素データ
(画素値)のみを抽出させることにより、圧縮データを
生成させるようにしたが、その他、例えば、3×3画素
の平均値を算出し、その平均値を、3×3画素の中心の
画素の画素値として、圧縮データを生成させるようにす
ることなども可能である。
22の構成例を示している。
類用ブロック化回路41および予測値計算用ブロック化
回路42に供給されるようになされている。クラス分類
用ブロック化回路41は、補正データを、その性質に応
じて所定のクラスに分類するための単位である、注目さ
れる補正データ(画素)(注目補正データ)を中心とし
たクラス分類用ブロックにブロック化するようになされ
ている。
で、左からj番目の補正データ(圧縮データ)(または
画素)(図中、●印で示す部分)をXijと表すとする
と、クラス分類用ブロック化回路41は、注目画素(注
目補正データ)Xijの上、左、右、下に隣接する4つの
画素X(i-1)j,Xi(j-1),Xi(j+1),X(i-1)jに、自身
を含め、合計5画素で構成されるクラス分類用ブロック
を構成するようになされている。このクラス分類用ブロ
ックは、クラス分類適応処理回路43に供給されるよう
になされている。
は、十文字形に配列されている画素でなるブロックで構
成されることとなるが、クラス分類用ブロックの形状
は、十文字形である必要はなく、その他、例えば、長方
形、正方形、その他の任意な形とすることが可能であ
る。また、クラス分類用ブロックを構成する画素数も、
5画素に限定されるものではない。
データを、元の画像の予測値を計算するための単位であ
る、注目補正データを中心とした予測値計算用ブロック
にブロック化するようになされている。即ち、いま、図
7において、補正データXij(図中、●印で示す部分)
を中心とする、元の画像(原画像)における3×3の9
画素の画素値を、その最も左から右方向、かつ上から下
方向に、Yij(1),Yij(2),Yij(3),Y
ij(4),Yij(5),Yij(6),Yij(7),Yij
(8),Yij(9)と表すとすると、画素Yij(1)乃
至Yij(9)の予測値の計算のために、予測値計算用ブ
ロック化回路42は、例えば、画素Xijを中心とする5
×5の25画素X(i-2)(j-2),X(i-2)(j-1),
X(i-2)j,X(i-2)(j+ 1),X(i-2)(j+2),
X(i-1)(j-2),X(i-1)(j-1),X(i-1)j,
X(i-1)(j+1),X(i-1)(j+2),Xi(j-2),Xi(j-1),X
ij,Xi(j+1),Xi(j+2),X(i+1)(j-2),
X(i+1)(j-1),X(i+1)j,X(i+1)(j+1),
X(i+1)(j+2),X(i+2)(j-2),X(i+2 )(j-1),
X(i+2)j,X(i+2)(j+1),X(i+2)(j+2)で構成される正
方形状の予測値計算用ブロックを構成するようになされ
ている。
で囲む、元の画像における画素Y33(1)乃至Y
33(9)の予測値の計算のためには、画素X11,X12,
X13,X14,X15,X21,X22,X23,X24,X25,X
31,X32,X33,X34,X35,X41,X42,X43,
X44,X45,X51,X52,X53,X54,X55により、予
測値計算用ブロックが構成される。
得られた予測値計算用ブロックは、クラス分類適応処理
回路43に供給されるようになされている。
クラス分類用ブロックにおける場合と同様に、その画素
数および形状は、上述したものに限定されるものではな
い。但し、予測値計算用ブロックを構成する画素数は、
クラス分類用ブロックを構成する画素数よりも多くする
のが望ましい。
において(ブロック化以外の処理についても同様)、画
像の画枠付近では、対応する画素が存在しないことがあ
るが、この場合には、例えば、画枠を構成する画素と同
一の画素が、その外側に存在するものとして処理を行
う。
路45および適応処理46で構成され、クラス分類適応
処理を行うようになされている。
の特徴に基づいて幾つかのクラスに分類し、各クラスの
入力信号に、そのクラスに適切な適応処理を施すもの
で、大きく、クラス分類処理と適応処理とに分かれてい
る。
ついて簡単に説明する。
ある注目画素と、それに隣接する3つの画素により、2
×2画素でなるブロック(クラス分類用ブロック)を構
成し、また、各画素は、1ビットで表現される(0また
は1のうちのいずれかのレベルをとる)ものとする。こ
の場合、2×2の4画素のブロックは、各画素のレベル
分布により、図9(B)に示すように、16(=
(21)4)パターンに分類することができる。このよう
なパターン分けが、クラス分類処理であり、クラス分類
回路45において行われる。
内の画像)のアクティビティ(画像の複雑さ)(変化の
激しさ)などをも考慮して行うようにすることが可能で
ある。
ット程度が割り当てられる。また、本実施の形態におい
ては、上述したように、クラス分類用ブロックは、5画
素で構成される。従って、このようなクラス分類用ブロ
ックを元の(8ビットの)画素で構成し、クラス分類処
理を行ったのでは、(28)5という膨大な数のクラスに
分類されることになる。
に、レベル制限回路31において、画素のビット数を小
さくしており(8ビットから2ビットにしており)、こ
れにより、クラス数を削減する(1024(=
(22)5)にする)ことができる。
値E[y]を、その周辺の幾つかの画素の画素値(以
下、適宜、学習データという)x1,x2,・・・と、所
定の予測係数w1,w2,・・・の線形結合により規定さ
れる線形1次結合モデルにより求めることを考える。こ
の場合、予測値E[y]は、次式で表すことができる。
ビットを削除して、2ビットのデータに変換したので、
E[y]を8ビットで表現するために加算される、その
下位6ビットに対応する、いわばオフセットの項(オフ
セット係数)である。なお、オフセット係数w0は、予
測係数w1,w2,・・・と同様に、予測値を求めるため
の係数であるから、以下、適宜、予測係数に含めて扱う
こととする。但し、ここでは、説明を簡単にするため
に、オフセット係数w0を無視して、適応処理を説明す
る。
習データの集合でなる行列X、および予測値E[y]の
集合でなる行列Y’を、
用して、元の画像の画素値yに近い予測値E[y]を求
めることを考える。この場合、元の画像の画素値(以
下、適宜、教師データという)yの集合でなる行列Y、
および元の画像の画素値yに対する予測値E[y]の残
差eの集合でなる行列Eを、
成立する。
値E[y]を求めるための予測係数wiは、自乗誤差
微分したものが0になる場合、即ち、次式を満たす予測
係数wiが、元の画像の画素値yに近い予測値E[y]
を求めるため最適値ということになる。
で微分することにより、次式が成立する。
られる。
習データx、予測係数w、教師データy、および残差e
の関係を考慮すると、式(6)から、次のような正規方
程式を得ることができる。
係数wの数と同じ数だけたてることができ、従って、式
(7)を解くことで、最適な予測係数wを求めることが
できる。式(7)を解くにあたっては、例えば、掃き出
し法(Gauss-Jordanの消去法)などを適用することが可
能である。
係数w0を含めた形に拡張することで、予測係数ととも
に、最適なオフセット係数w0も、あわせて求めること
ができる。
予測係数wを求め、さらに、その予測係数wを用い、式
(1)により、元の画像の画素値yに近い予測値E
[y]を求めるのが適応処理であり、この適応処理が、
適応処理回路46において行われるようになされてい
る。
まれていない、元の画像に含まれる成分が再現される点
で、補間処理とは異なる。即ち、適応処理では、式
(1)だけを見る限りは、いわゆる補間フィルタを用い
ての補間処理と同様であるが、その補間フィルタのタッ
プ係数に相当する予測係数wが、教師データyを用いて
の、いわば学習により求められるため、元の画像に含ま
れる成分を再現することができる。このことから、適応
処理は、いわば画像の創造作用がある処理ということが
できる。
て、図8のローカルデコード部22の処理について説明
する。
最初に、ステップS21において、圧縮部21からの補
正データがブロック化される。即ち、クラス分類用ブロ
ック化回路41において、補正データが、注目補正デー
タを中心とした5画素で構成されるクラス分類用ブロッ
クにブロック化され(図7)、クラス分類適応処理回路
43に供給されるとともに、予測値計算用ブロック化回
路42において、補正データが、注目補正データを中心
とした5×5画素で構成される予測値計算用ブロックに
ブロック化され、クラス分類適応処理回路43に供給さ
れる。
たように、クラス分類用ブロックおよび予測値計算用ブ
ロックの他、元の画像データが供給されるようになされ
ており、クラス分類用ブロックはクラス分類回路45
に、予測値計算用ブロックおよび元の画像データは適応
処理回路46に供給されるようになされている。
おいて、クラス分類用ブロックに対して、クラス分類処
理を施す。即ち、クラス分類用ブロックを構成する各画
素のレベル分布の状態を検出し、そのクラス分類用ブロ
ックが属するクラス(そのクラス分類用ブロックを構成
する注目補正データのクラス)を判定する。このクラス
の判定結果は、クラス情報として、適応処理回路46に
供給される。
で表される5画素で構成されるクラス分類用ブロックに
対して、クラス分類処理が施されるので、各クラス分類
用ブロックは、1024(=(22)5)のクラスのうち
のいずれかに分類されることになる。
回路46において、クラス分類回路45からのクラス情
報に基づいて、各クラスごとに適応処理が施され、これ
により、クラスごとの予測係数および1フレーム分の元
の画像データの予測値が算出される。
クラスごとの26×9の予測係数が、1フレームごと
に、原画像と補正データから算出される。そして、ある
1つの補正データに注目した場合に、その注目補正デー
タに対応する原画像の画素と、その画素の周りに隣接す
る8個の原画像の画素の、合計9個の画素についての予
測値が、注目補正データを中心とする5×5の25画素
でなる予測値計算用ブロックと、そのクラス情報に対応
する26×9個の予測係数とを用いて、式(1)の線形
一次式が計算されることにより算出される。
補正データX33を中心とする5個の補正データX23,X
32,X33,X34,X43でなるクラス分類用ブロック(補
正データX33を注目補正データとするクラス分類用ブロ
ック)についてのクラス情報Cが、クラス分類回路45
から出力され、また、そのクラス分類用ブロックに対応
する予測値計算用ブロックとして、補正データX33を中
心とする5×5画素の補正データX11,X12,X13,X
14,X15,X21,X22,X23,X24,X25,X31,
X32,X33,X34,X35,X41,X42,X43,X44,X
45,X51,X52,X53,X54,X55でなる予測値計算用
ブロック(補正データX33を注目補正データとする予測
値計算用ブロック)が、予測値計算用ブロック化回路4
2から出力されたものとすると、まず、その予測値計算
用ブロックを構成する補正データを、学習データとする
とともに、元の画像における、補正データX33を中心と
する3×3画素(図7において四角形で囲んである部
分)の画素値Y33(1)乃至Y33(9)を、教師データ
として、式(7)に対応する正規方程式がたてられる。
レームの中で、同一のクラス情報Cにクラス分類される
他の予測値計算用ブロックについても同様にして、正規
方程式がたてられ、画素値Y33(k)(ここでは、k=
1,2,・・・,9)の予測値E[Y33(k)]を求め
るための予測係数w1(k)乃至w25(k)(本実施の
形態では、1つの予測値を求めるのに学習データが25
個用いられており、さらに、1個のオフセット係数が必
要とされるので、それに対応して、予測係数wは26個
必要となる)を算出することができるだけの数の正規方
程式が得られると(従って、そのような数の正規方程式
が得られるまでは、ステップS23では、正規方程式を
たてる処理までが行われる)、その正規方程式を解くこ
とで、クラス情報Cについて、画素値Y33(k)の予測
値E[Y33(k)]を求めるのに最適な26の予測係数
(オフセット係数を含む)w0(k)乃至w25(k)が
算出される(25個の補正データを用いて、9個の予測
値を求めるため、1クラスについての予測係数の数は、
25×9個に、9個の予測値に対応するだけのオフセッ
ト係数の数である9個を合わせた26×9個となる)。
ラスごとに26×9個の予測係数が算出される。そし
て、クラス情報Cに対応する26×9個の予測係数と、
予測値計算用ブロックとを用い、式(1)に対応する次
式にしたがって、予測値E[Y33(k)]が求められ
る。
26×9の予測係数が、クラスごとに求められ、そのク
ラスごとの予測係数を用いて、注目補正データを中心と
する3×3の原画像の画素の予測値が求められる。
との26×9の予測係数は判定部24に供給され、3×
3画素単位で求められる1フレーム分の予測値は誤差算
出部23に供給される。そして、ステップS21に戻
り、以下同様の処理が、例えば、上述したように1フレ
ーム単位で繰り返される。
構成例を示している。
が供給されるようになされており、そこでは、ブロック
化回路51は、その画像データを、ローカルデコード部
22から出力される予測値に対応する9個単位でブロッ
ク化し、その結果得られる3×3画素のブロック(例え
ば、図7に四角形で囲んで示すような3×3画素のブロ
ック)を、自乗誤差算出回路52に出力するようになさ
れている。自乗誤差算出部52には、上述したように、
ブロック化回路51からブロックが供給される他、ロー
カルデコード部22から予測値が、9個単位(3×3画
素のブロック単位)で供給されるようになされており、
自乗誤差算出回路52は、原画像に対する、予測値の予
測誤差としての自乗誤差を算出し、積算部55に供給す
るようになされている。
53および54で構成されている。演算器53は、ブロ
ック化回路51からのブロック化された画像データそれ
ぞれから、対応する予測値を減算し、その減算値を、演
算器54に供給するようになされている。演算器54
は、演算器53の出力(元の画像データと予測値との差
分)を自乗し、積算部55に供給するようになされてい
る。
自乗誤差を受信すると、メモリ56の記憶値を読み出
し、その記憶値と自乗誤差とを加算して、再び、メモリ
56に供給して記憶させることを繰り返すことで、自乗
誤差の積算値(誤差分散)を求めるようになされてい
る。さらに、積算部55は、所定量(例えば、1フレー
ム分など)についての自乗誤差の積算が終了すると、そ
の積算値を、メモリ56から読み出し、誤差情報とし
て、判定部24に供給するようになされている。メモリ
56は、1フレームについての処理が終了するごとに、
その記憶値をクリアしながら、積算部55の出力値を記
憶するようになされている。
チャートを参照して説明する。誤差算出部23では、ま
ず最初に、ステップS31において、メモリ56の記憶
値が、例えば0にクリアされ、ステップS32に進み、
ブロック化回路51において、画像データが、上述した
ようにブロック化され、その結果得られるブロックが、
自乗誤差算出回路52に供給される。自乗誤差算出回路
52では、ステップS33において、ブロック化回路5
1から供給されるブロックを構成する、元の画像の画像
データと、ローカルデコード部22から供給される予測
値との自乗誤差が算出される。
おいて、ブロック化回路51より供給されたブロック化
された画像データそれぞれから、対応する予測値が減算
され、演算器54に供給される。さらに、ステップS3
3では、演算器54において、演算器53の出力が自乗
され、積算部55に供給される。
自乗誤差を受信すると、ステップS34において、メモ
リ56の記憶値を読み出し、その記憶値と自乗誤差とを
加算することで、自乗誤差の積算値を求める。積算部5
5において算出された自乗誤差の積算値は、メモリ56
に供給され、前回の記憶値に上書きされることで記憶さ
れる。
において、所定量としての、例えば、1フレーム分につ
いての自乗誤差の積算が終了したかどうかが判定され
る。ステップS35において、1フレーム分についての
自乗誤差の積算が終了していないと判定された場合、ス
テップS32に戻り、再び、ステップS32からの処理
を繰り返す。また、ステップS35において、1フレー
ム分についての自乗誤差の積算が終了したと判定された
場合、ステップS36に進み、積算部55は、メモリ5
6に記憶された1フレーム分についての自乗誤差の積算
値を読み出し、誤差情報として、判定部24に出力す
る。そして、ステップS31に戻り、次のフレームにつ
いて、再び、ステップS31からの処理を繰り返す。
ータをYij(k)とするとともに、その予測値をE[Y
ij(k)]とするとき、次式にしたがった演算が行われ
ることで、誤差情報Qが算出される。
味する。
例を示している。
部22から供給される予測係数を記憶するようになされ
ている。補正データメモリ62は、圧縮部21から供給
される補正データを記憶するようになされている。
1において、圧縮データが新たに補正され、これによ
り、新たな補正データが供給された場合には、既に記憶
している補正データ(前回の補正データ)に代えて、新
たな補正データを記憶するようになされている。また、
このように補正データが、新たなものに更新されるタイ
ミングで、ローカルデコード部22からは、その新たな
補正データに対応する、新たなクラスごとの予測係数の
セットが出力されるが、予測係数メモリ61において
も、このように新たなクラスごとの予測係数が供給され
た場合には、既に記憶しているクラスごとの予測係数
(前回のクラスごとの予測係数)に代えて、その新たな
クラスごとの予測係数を記憶するようになされている。
ら供給される誤差情報を記憶するようになされている。
なお、誤差情報メモリ63は、誤差算出部23から、今
回供給された誤差情報の他に、前回供給された誤差情報
も記憶するようになされている(新たな誤差情報が供給
されても、さらに新たな誤差情報が供給されるまでは、
既に記憶している誤差情報を保持するようになされてい
る)。なお、誤差情報メモリ63は、新たなフレームに
ついての処理が開始されるごとにクリアされるようにな
されている。
憶された今回の誤差情報と、所定の閾値εとを比較し、
さらに、必要に応じて、今回の誤差情報と前回の誤差情
報との比較も行うようになされている。比較回路64に
おける比較結果は、制御回路65に供給されるようにな
されている。
較結果に基づいて、補正データメモリ62に記憶された
補正データを、元の画像の符号化結果とすることの適正
(最適)さを判定し、最適でないと認識(判定)した場
合には、新たな補正データの出力を要求する制御信号
を、圧縮部21(補正回路32)(図5)に供給するよ
うになされている。また、制御回路65は、補正データ
メモリ62に記憶された補正データを、元の画像の符号
化結果とすることが最適であると認識した場合には、予
測係数メモリ61に記憶されているクラスごとの予測係
数を読み出し、多重化部25に出力するとともに、補正
データメモリ62に記憶されている補正データを読み出
し、最適圧縮データとして、やはり多重化部25に供給
するようになされている。さらに、この場合、制御回路
65は、1フレームの画像についての符号化を終了した
旨を表す制御信号を、圧縮部21に出力し、これによ
り、上述したように、圧縮部21に、次のフレームにつ
いての処理を開始させるようになされている。
作について説明する。判定部24では、まず最初に、ス
テップS41において、誤差算出部23から誤差情報を
受信したかどうかが、比較回路64によって判定され、
誤差情報を受信していないと判定された場合、ステップ
S41に戻る。また、ステップS41において、誤差情
報を受信したと判定された場合、即ち、誤差情報メモリ
63に誤差情報が記憶された場合、ステップS42に進
み、比較回路64において、誤差情報メモリ63に、い
ま記憶された誤差情報(今回の誤差情報)と、所定の閾
値εとが比較され、いずれが大きいかが判定される。
が、所定の閾値ε以上であると判定された場合、比較回
路64において、誤差情報メモリ63に記憶されている
前回の誤差情報が読み出される。そして、比較回路64
は、ステップS43において、前回の誤差情報と、今回
の誤差情報とを比較し、いずれが大きいかを判定する。
され、最初に誤差情報が供給されたときには、誤差情報
メモリ63には、前回の誤差情報は記憶されていないの
で、この場合には、判定部24においては、ステップS
43以降の処理は行われず、制御回路65において、所
定の初期アドレス(補正値ROM33(図5)におい
て、補正値の初期値が記憶されているアドレス)を出力
するように、補正回路32(図5)を制御する制御信号
が出力されるようになされている。
が、前回の誤差情報以下であると判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が減少
した場合、ステップS44に進み、制御回路65は、補
正値△を、前回と同様に変化させるように指示する制御
信号を、補正回路32に出力し、ステップS41に戻
る。また、ステップS43において、今回の誤差情報
が、前回の誤差情報より大きいと判定された場合、即
ち、圧縮データの補正を行うことにより誤差情報が増加
した場合、ステップS45に進み、制御回路65は、補
正値△を、前回と逆に変化させるように指示する制御信
号を、補正回路32に出力し、ステップS41に戻る。
タイミングで上昇するようになったときは、制御回路6
5は、補正値△を、いままでの場合の、例えば1/2の
大きさで、前回と逆に変化させるように指示する制御信
号を出力するようになされている。
を繰り返すことにより、誤差情報が減少し、これによ
り、ステップS42において、今回の誤差情報が、所定
の閾値εより小さいと判定された場合、ステップS46
に進み、制御回路65は、予測係数メモリ61に記憶さ
れているクラスごとの予測係数を読み出すとともに、補
正データメモリ62に記憶されている1フレーム分の補
正データを最適圧縮データとして読み出し、多重化部2
5に供給して、処理を終了する。
報が供給されるのを待って、再び、図14に示すフロー
チャートにしたがった処理を繰り返す。
正は、1フレームすべての圧縮データについて行わせる
ようにすることもできるし、その一部の圧縮データにつ
いてだけ行わせるようにすることもできる。一部の圧縮
データについてだけ補正を行う場合においては、制御回
路65に、例えば、誤差情報に対する影響の強い画素を
検出させ、そのような画素についての圧縮データだけを
補正するようにすることができる。誤差情報に対する影
響の強い画素は、例えば、次のようにして検出すること
ができる。即ち、まず最初に、間引き後に残った画素の
レベル制御した圧縮データをそのまま用いて処理を行う
ことにより、その誤差情報を得る。そして、その圧縮デ
ータを、1つずつ、同一の補正値△だけ補正するような
処理を行わせる制御信号を、制御回路65から補正回路
32に出力し、その結果得られる誤差情報を、圧縮デー
タをそのまま用いた場合に得られた誤差情報と比較し、
その差が、所定値以上となる画素を、誤差情報に対する
影響の強い画素として検出すれば良い。
り小さくする(以下にする)まで、圧縮データの補正が
繰り返され、誤差情報が所定の閾値εより小さくなった
ときにおける補正データが、画像の符号化結果として出
力されるので、受信装置4(図1)においては、間引き
後の画像を構成する画素の画素値を、元の画像を復元す
るのに最も適当な値にした補正データから、原画像と同
一(ほぼ同一)の復号画像(高画質の復号画像)を得る
ことが可能となる。
る他、レベル制限処理およびクラス分類適応処理などに
よっても圧縮されるため、非常に高圧縮率の符号化デー
タを得ることができる。なお、送信装置1における、以
上のような符号化処理は、間引きによる圧縮処理と、ク
ラス分類適応処理とを、いわば有機的に統合して用いる
ことにより、高能率圧縮を実現するものであり、このこ
とから統合符号化処理ということができる。
例を示している。
体2に記録された符号化データが再生され、または伝送
路3を介して伝送されてくる符号化データが受信され、
分離部72に供給される。分離部72では、符号化デー
タから、1フレーム分の補正データとクラスごとの予測
係数が順次分離され、1フレーム分の補正データは、ク
ラス分類用ブロック化回路73および予測値計算用ブロ
ック化回路77に供給され、クラスごとの予測係数は、
予測回路76に供給されて、その内蔵するメモリ76A
に記憶される。
分類回路75、または予測値計算用ブロック化回路77
は、図8におけるクラス分類用ブロック化回路41、ク
ラス分類回路45、または予測値計算用ブロック化回路
42それぞれと同様に構成されており、従って、これら
のブロックにおいては、図8における場合と同様の処理
が行われ、これにより、予測値計算用ブロック化回路7
7からは予測値計算用ブロックが出力され、また、クラ
ス分類回路75からはクラス情報が出力される。これら
の予測値計算用ブロックおよびクラス情報は、予測回路
76に供給される。
予測係数が、その内蔵するメモリ76Aに記憶されたク
ラスごとの予測係数の中から読み出され、その予測係数
と、予測値計算用ブロック化回路77から供給される予
測値計算用ブロックを構成する補正データとを用い、式
(1)にしたがって予測値が算出され、そのような予測
値で構成される1フレームの画像が、復号画像として出
力される。この復号画像は、上述したように、元の画像
とほぼ同一の画像となる。
うな受信装置4でなくても、間引きされた画像を単純な
補間により復号する装置により、予測係数を用いずに、
通常の補間を行うことで復号画像を得ることができる。
但し、この場合に得られる復号画像は、画質(解像度)
の劣化したものとなる。
ーカルデコード部22において予測係数を求め、これを
用いて、予測値を算出するようにしたが、予測値は、予
測係数を求めずに(あらかじめ学習により求めておいた
予測係数を用いて)算出するようにすることが可能であ
る。
の機能的構成例を示している。なお、図中、図3におけ
る場合と対応する部分については、同一の符号を付して
ある。即ち、この送信装置1は、ローカルデコード部2
2に代えて、ローカルデコード部1022が設けられて
いる他は、図3における場合と同様に構成されている。
部22に原画像データが供給されるようになされていた
が、図16においては、ローカルデコード部1022に
は、原画像データが供給されないようになっている。
022の構成例を示している。なお、図中、図8におけ
る場合と対応する部分については、同一の符号を付して
ある。即ち、ローカルデコード部1022は、適応処理
回路46に代えて、予測係数ROM81および予測回路
82が設けられている他は、図8におけるローカルデコ
ード部22と同様に構成されている。
(後述する)を行うことにより求められたクラスごとの
26×9の予測係数を記憶しており、クラス分類回路4
5が出力するクラス情報を受信し、そのクラス情報に対
応するアドレスに記憶されている予測係数を読み出し
て、予測回路82に供給する。
化回路42からの5×5画素の予測値計算用ブロック
と、予測係数ROM81からの26×9の予測係数とを
用いて、式(1)(具体的には、例えば、式(8))に
示した線形1次式が計算され、これにより、元の画像の
3×3画素の予測値が算出される。
43によれば、元の画像(原画像)を用いずに、その予
測値が算出される。このため、上述したように、ローカ
ルデコード部1022には、原画像が供給されないよう
になっている(供給する必要がないため、供給しないよ
うになっている)。
て、図17のローカルデコード部1022の処理につい
てさらに説明する。
まず最初に、ステップS1021,S1022におい
て、図10のステップS21,S22における場合とそ
れぞれ同様の処理が行われ、これにより、クラス分類回
路45からは、クラス情報が出力される。このクラス情
報は、予測係数ROM81に供給される。また、予測値
計算用ブロック化回路42からは、予測値計算用ブロッ
クが出力され、予測回路82に供給される。
すると、ステップS1023において、そのクラス情報
に対応する26×9の予測係数を、記憶しているクラス
ごとの予測係数の中から読み出し、予測回路82に供給
する。
ら26×9の予測係数が供給される他、上述したよう
に、予測値計算用ブロック化回路42から5×5画素の
予測値計算用ブロックも供給される。そして、予測回路
82では、ステップS1024において、予測係数RO
M81からの26×9の予測係数と、予測値計算用ブロ
ック化回路42からの5×5画素の予測値計算用ブロッ
クとを用いて適応処理が行われることにより、即ち、具
体的には、式(1)(または式(8))にしたがった演
算が行われることにより、注目補正データ(ここでは、
予測値計算用ブロックの中心にある画素)を中心とする
3×3の原画像の画素の予測値が求められる。
求められると、ステップS1025に進み、予測係数R
OM81に記憶されたクラスごとの26×9の予測係数
が読み出され、判定部24に供給されるとともに、ステ
ップS1024で求められた予測値が誤差算出部23に
供給される。そして、ステップS1021に戻り、以下
同様の処理が、例えば、1フレーム単位で繰り返され
る。
予測係数は、予測係数ROM81に記憶されたものが使
用され、従って、その値は変化しないから、ステップS
1025において、クラスごとの予測係数を、判定部2
4に一度供給した後は、基本的に、再度供給する必要は
ない。
に構成される場合においても、受信装置4は、図15に
示したように構成することで、原画像とほぼ同一の復号
画像を得ることができる。
81に記憶されている予測係数を得るための学習を行う
画像処理装置の構成例を示している。
ロック化回路92には、あらゆる画像に適用可能な予測
係数を得るための(従って、間引き処理される前の)学
習用の画像データ(学習用画像)が供給されるようにな
されている。
画像データから、注目画素を中心とする、例えば、図7
に●印で示した位置関係の25画素(5×5画素)を抽
出し(この場合における注目画素は、X33)、この25
画素で構成されるブロックを、学習用ブロックとして、
レベル制限回路93に供給する。レベル制限回路93
は、入力された画素データのレベルを制限し、クラス分
類回路94と学習用データメモリ96に出力する。
力される画像データから、注目画素を中心とする、例え
ば、3×3の9画素で構成されるブロックが生成され、
この9画素で構成されるブロックが、教師用ブロックと
して、教師データメモリ98に供給される。
て、例えば、図7に●印で示した位置関係の25画素で
構成される学習用ブロックが生成されるとき、教師用ブ
ロック化回路92では、同図に四角形で囲んで示す3×
3画素の教師用ブロックが生成されるようになされてい
る。
を構成する25画素から、その中心の9画素(3×3画
素)が抽出され、この9画素でなるブロックに対して、
クラス分類を施される。そして、それにより得られるク
ラス情報が、スイッチ95の端子aを介して、学習デー
タメモリ96および教師データメモリ98に供給され
る。
モリ98では、そこに供給されるクラス情報に対応する
アドレス(AD)に、レベル制限回路93からの学習用
ブロックまたは教師用ブロック化回路92からの教師用
ブロックが、それぞれ記憶される。
例えば、図7に●印で示した5×5画素でなるブロック
が学習用ブロックとして、あるアドレスに記憶されたと
すると、教師データメモリ98においては、そのアドレ
スと同一のアドレスに、同図において、四角形で囲んで
示す3×3画素のブロックが、教師用ブロックとして記
憶される。
たすべての学習用の画像について繰り返され、これによ
り、学習用ブロックと、図17のローカルデコード部1
022において、その学習用ブロックを構成する25画
素と同一の位置関係を有する25の補正データで構成さ
れる予測値計算用ブロックを用いて予測値が求められる
9画素で構成される教師用ブロックとが、学習用データ
メモリ96と、教師用データメモリ98とにおいて、同
一のアドレスに記憶される。
ータメモリ98においては、同一アドレスに複数の情報
を記憶することができるようになされており、これによ
り、同一アドレスには、複数の学習用ブロックと教師用
ブロックを記憶することができるようになされている。
クと教師用ブロックとが、学習データメモリ96と教師
データメモリ98に記憶されると、端子aを選択してい
たスイッチ95が、端子bに切り替わり、これにより、
カウンタ97の出力が、アドレスとして、学習データメ
モリ96および教師データメモリ98に供給される。カ
ウンタ97は、所定のクロックをカウントし、そのカウ
ント値を出力しており、学習データメモリ96または教
師データメモリ98では、そのカウント値に対応するア
ドレスに記憶された学習用ブロックまたは教師用ブロッ
クが読み出され、演算回路99に供給される。
のカウント値に対応するクラスの学習用ブロックのセッ
トと、教師用ブロックのセットとが供給される。
習用ブロックのセットと、教師用ブロックのセットとを
受信すると、それらを用いて、例えば、最小自乗法によ
り、誤差を最小とする予測係数を算出する。
成する画素の画素値を、x1,x2,x3,・・・とし、
求めるべき予測係数をw0,w1,w2,w3,・・・とす
るとき、これらの線形1次結合により、教師用ブロック
を構成する、ある画素の画素値yを求めるには、予測係
数w0,w1,w2,w3,・・・は、式(1)に対応する
次式を満たす必要がある。
学習用ブロックと、対応する教師用ブロックとから、真
値yに対する、予測値w1x1+w2x2+w3x3+・・・
+w0の自乗誤差を最小とする予測係数w1,w2,w3,
・・・,w0が、上述した式(7)に対応する正規方程
式をたてて解くことにより求められる。
ごとの予測係数は、メモリ100に供給される。メモリ
100には、演算回路99からの予測係数の他、カウン
タ97からカウント値が供給されており、これにより、
メモリ100においては、演算回路99からの予測係数
が、カウンタ97からのカウント値に対応するアドレス
に記憶される。
クラスに対応するアドレスに、そのクラスのブロックの
画素を予測するのに最適な予測係数が記憶される。
ようにしてメモリ100に記憶された予測係数が記憶さ
れている。
の機能的構成例を示している。なお、図中、図3におけ
る場合と対応する部分については、同一の符号を付して
ある。即ち、この送信装置1は、ローカルデコード部2
2または判定部24に代えて、ローカルデコード部20
22または判定部2024がそれぞれ設けられていると
ともに、多重化部25が設けられていない他は、図3に
おける場合と同様に構成されている。
同様に、ローカルデコード部2022には、原画像デー
タが供給されないようになっている。さらに、図20の
実施の形態では、ローカルデコード部2022は、予測
係数を判定部2024に出力しないようになっている。
て、その動作について説明する。
れると、圧縮部21は、ステップS1001において、
その画像データを間引くことにより圧縮し、さらに、ス
テップS1002において、そのレベルを制限し、最初
は、補正を行わずに、ローカルデコード部2022およ
び判定部2024に出力する。ローカルデコード部20
22では、ステップS1003において、圧縮部21か
らの補正データ(最初は、上述したように、画像データ
を、単純に間引いた圧縮データのレベルを制限しただけ
のもの)がローカルデコードされる。
1からの補正データが、例えば、図17に示したローカ
ルデコード部1022における場合と同様にして、ロー
カルデコードされ、これにより、原画像の予測値が算出
される。この予測値は、誤差算出部23に供給される。
において、図4のステップS4における場合と同様にし
て、予測誤差が算出され、誤差情報として、判定部20
24に供給される。判定部2024は、誤差算出部23
から誤差情報を受信すると、ステップS1005におい
て、図4のステップS4における場合と同様に、誤差算
出部23からの誤差情報が所定の閾値ε以下であるかど
うかを判定する。ステップS1005において、誤差情
報が所定の閾値ε以下でないと判定された場合、ステッ
プS1006に進み、判定部2024は、圧縮部21を
制御し、これにより、圧縮データのレベルを制限したも
のを補正させる。そして、圧縮部21において、圧縮デ
ータが補正され、新たな補正データが出力されるのを待
って、ステップS1003に戻る。
情報が所定の閾値ε以下であると判定された場合、判定
部2024は、ステップS1007に進み、所定の閾値
ε以下の誤差情報が得られたときの補正データを、最適
圧縮データとして、送信機/記録装置16(図2)に出
力し、処理を終了する。
は出力されない。
ド部2022の構成例を示している。なお、図中、図1
7における場合と対応する部分については、同一の符号
を付してある。即ち、ローカルデコード部2022は、
基本的に図17におけるローカルデコード部1022と
同様に構成されている。
81がそこに記憶されているクラスごとの予測係数を、
判定部24に供給するようになっていたが、図22で
は、予測係数ROM81は、クラスごとの予測係数を、
判定部24に供給しないようになっている。
て、その動作について説明する。
プS2021乃至S2024において、図18のステッ
プS1021乃至1024における場合とそれぞれ同様
の処理が行われる。そして、ステップS2025におい
て、ステップS2024で求められた予測値のみが、誤
差算出部23に供給され(予測係数は、判定部2024
に供給されない)、ステップS2021に戻り、以下、
同様の処理が、例えば、1フレーム単位で繰り返され
る。
の構成例を示している。なお、図中、図13における場
合と対応する部分については、同一の符号を付してあ
る。即ち、上述したように、ローカルデコード部202
2からは予測係数が供給されないため、判定部2024
には、その予測係数を記憶するための予測係数メモリ6
1が設けられておらず、そのことを除けば、基本的に、
図13の判定部24と同様に構成されている。
て、その動作について説明する。
乃至2045において、図14のステップS41乃至S
45における場合とそれぞれ同様の処理が行われ、これ
により、誤差情報が減少するように、圧縮部21が制御
される。
5の処理を繰り返すことにより、誤差情報が減少し、こ
れにより、ステップS2042において、今回の誤差情
報が、所定の閾値εより小さいと判定された場合、ステ
ップS2046に進み、制御回路65は、補正データメ
モリ62に記憶されている1フレームの補正データを、
最適圧縮データとして読み出し、送信機/記録装置16
に供給して、処理を終了する。
報が供給されるのを待って、再び、同様の処理を繰り返
す。
したように構成される場合の受信装置4の構成例を示し
ている。なお、図中、図15における場合と対応する部
分については、同一の符号を付してある。即ち、図26
の受信装置4は、クラス分類回路75と予測回路76と
の間に予測係数ROM78が新たに設けられている他
は、図15における場合と基本的に同様に構成されてい
る。
れる場合、上述したことから、受信機/再生装置71が
出力する符号化データには、クラスごとの予測係数は含
まれておらず、このため、分離部72では、符号化デー
タから、補正データ(最適圧縮データ)だけが抽出さ
れ、クラス分類用ブロック化回路73および予測値計算
用ブロック化回路77に供給される。
分類回路75、または予測値計算用ブロック化回路77
では、図8におけるクラス分類用ブロック化回路41、
クラス分類回路45、または予測値計算用ブロック化回
路42それぞれと同様の処理が行われ、これにより、予
測値計算用ブロック化回路77からは5×5画素の予測
値計算用ブロックが出力され、また、クラス分類回路7
5からはクラス情報が出力される。予測値計算用ブロッ
クは予測回路76に供給され、クラス情報は予測係数R
OM78に供給される。
数ROM81に記憶されているクラスごとの予測係数と
同一のものが記憶されており、クラス分類回路75から
クラス情報が供給されると、そのクラス情報に対応した
26×9の予測係数が読み出され、予測回路76に供給
される。
の26×9の予測係数と、予測値計算用ブロック化回路
77から供給される5×5画素の予測値計算用ブロック
を構成する補正データとを用い、式(1)にしたがっ
て、原画像の3×3画素の予測値を算出し、そのような
予測値で構成される1フレームの画像を、復号画像とし
て出力する。
れるとともに、受信装置4が図26に示したように構成
される場合、クラスごとの26×9の予測係数を送受信
せずに済むので、その分だけ、伝送容量または記録容量
を低減することができる。
ラスごとの予測係数を記憶させるのではなく、教師用ブ
ロックを構成する画素値の平均値などを、クラスごとに
記憶させるようにすることが可能である。この場合、ク
ラス情報が与えられると、そのクラスに対応する画素値
が出力されることになり、図17や図22のローカルデ
コード部1022や2022において、予測値計算用ブ
ロック化回路42および予測回路82を設けずに済むよ
うになる。また、図26の受信装置4においても同様
に、予測値計算用ブロック化回路77および予測回路7
6を設けずに済むようになる。
の閾値ε以下になるまで、圧縮データの補正を繰り返し
行うようにしたが、圧縮データの補正の回数には、上限
を設けるようにすることも可能である。即ち、例えば、
リアルタイムで画像の伝送を行う場合などにおいては、
1フレームについての処理が、所定の期間内に終了する
ことが必要であるが、誤差情報は、そのような所定の期
間内に収束するとは限らない。そこで、補正の回数に上
限を設けることにより、所定の期間内に、誤差情報が閾
値ε以下に収束しないときは、そのフレームについての
処理を終了し(そのときにおける補正データを、符号化
結果とし)、次のフレームについての処理を開始するよ
うにすることが可能である。
て、画像を、単純に間引き、即ち、3×3画素のブロッ
クにおける中心画素を抽出し、これを圧縮データとする
ようにしたが、圧縮部21には、その他、例えば、ブロ
ックを構成する9画素の平均値などを求めさせ、その平
均値を、ブロックにおける中心画素の画素値とすること
により、その画素数を少なくし(間引き)、これを圧縮
データとするようにすることも可能である。
の機能的構成例を示している。
画像データが入力されるようになされており、ブロック
化回路111は、画像データを、その性質に応じて所定
のクラスに分類するための単位である、注目画素を中心
としたクラス分類用ブロックにブロック化し、ADRC
(Adaptive Dynamic Range Coding)処理回路112お
よび遅延回路115に供給するようになされている。
路111からのブロック(クラス分類用ブロック)に対
してADRC処理を施し、その結果得られるADRCコ
ードで構成されるブロックを、クラス分類回路113に
供給するようになされている。
用ブロックを構成する画素のビット数が低減されるよう
になされている。
め、図28(A)に示すように、直線上に並んだ4画素
で構成されるブロックを考えると、ADRC処理におい
ては、その画素値の最大値MAXと最小値MINが検出
される。そして、DR=MAX−MINを、ブロックの
局所的なダイナミックレンジとし、このダイナミックレ
ンジDRに基づいて、ブロックを構成する画素の画素値
がKビットに再量子化される。
MINを減算し、その減算値をDR/2Kで除算する。
そして、その結果得られる除算値に対応するコード(A
DRCコード)に変換される。具体的には、例えば、K
=2とした場合、図28(B)に示すように、除算値
が、ダイナミックレンジDRを4(=22)等分して得
られるいずれの範囲に属するかが判定され、除算値が、
最も下のレベルの範囲、下から2番目のレベルの範囲、
下から3番目のレベルの範囲、または最も上のレベルの
範囲に属する場合には、それぞれ、例えば、00B,0
1B,10B、または11Bなどの2ビットにコード化
される(Bは2進数であることを表す)。そして、復号
側においては、ADRCコード00B,01B,10
B、または11Bは、ダイナミックレンジDRを4等分
して得られる最も下のレベルの範囲の中心値L00、下か
ら2番目のレベルの範囲の中心値L01、下から3番目の
レベルの範囲の中心値L10、または最も上のレベルの範
囲の中心値L11にそれぞれ変換され、その値に、最小値
MINが加算されることで復号が行われる。
ッジマッチングと呼ばれる。
人が先に出願した、例えば、特開平3−53778号公
報などに、その詳細が開示されている。
ックを構成する画素に割り当てられているビット数より
少ないビット数で再量子化を行うことにより、そのビッ
ト数を低減することができる。
ADRC処理回路112からのブロックを、その性質に
応じて所定のクラスに分類するクラス分類処理を行い、
そのブロックがいずれのクラスに属するかを、クラス情
報として、マッピング係数メモリ114に供給するよう
になされている。
ば8ビットが割り当てられている場合において、クラス
分類用ブロックが、例えば、注目画素を中心とした3×
3の9画素で構成されるときに、そのようなクラス分類
用ブロックを対象にクラス分類処理を行ったのでは、
(28)9という膨大な数のクラスに分類されることにな
る。
路112において、クラス分類用ブロックに対して、A
DRC処理が施されるようになされており、これによ
り、クラス分類用ブロックを構成する画素のビット数を
低減し、さらに、クラス数も削減するようになされてい
る。即ち、ADRC処理回路112において、例えば1
ビットのADRC処理が行われるとした場合には、クラ
ス数は、(28)9から(21)9、即ち、512に低減さ
れる。
113において、ADRC処理回路112から出力され
るADRCコードに基づいて、クラス分類処理が行われ
るが、クラス分類処理は、その他、例えば、DPCM
(予測符号化)や、BTC(Block Truncation Codin
g)、VQ(ベクトル量子化)、DCT(離散コサイン
変換)、アダマール変換などを施したデータを対象に行
うようにすることも可能である。
リ114は、後述するような学習(マッピング係数学
習)により得られるクラスごとのマッピング係数を記憶
しており、クラス分類回路113から供給されるクラス
情報に対応するマッピング係数を読み出し、演算回路1
16に供給するようになされている。
から供給されるブロックを、そのブロックのクラス情報
に対応するマッピング係数が、マッピング係数メモリ1
14から読み出されるまで遅延し、演算回路116に供
給するようになされている。
給されるブロックを構成する画素の画素値と、マッピン
グ係数メモリ114から供給される、そのブロックのク
ラスに対応するマッピング係数とを用いて所定の演算を
行うことにより、画像を、その画素数を間引いて(少な
くして)符号化した符号化データを算出するようになさ
れている。即ち、演算回路116は、ブロック化回路1
11が出力するブロックを構成する各画素の画素値をy
1,y2,・・・とするとともに、マッピング係数メモリ
114が出力する、そのブロックのクラスに対応するマ
ッピング係数をk1,k2,・・・とするとき、それらを
引数とする所定の関数値f(y1,y2,・・・,k1,
k2,・・・)を演算し、その関数値f(y1,y2,・
・・,k1,k2,・・・)を、ブロック化回路111が
出力するブロック(クラス分類用ブロック)を構成する
画素のうちの、例えば中心の画素の画素値として出力す
るようになされている。
クラス分類用ブロックを構成する画素数をN画素とする
と、演算回路116は、画像データを1/Nに間引き、
これを、符号化データとして出力するようになされてい
る。
ータは、N画素で構成されるブロックの中心の1個の画
素を選択して出力するような、いわば単純な間引き処理
により得られるものではなく、上述したように、そのブ
ロックを構成するN画素により規定される関数値f(y
1,y2,・・・,k1,k2,・・・)であるが、この関
数値f(y1,y2,・・・,k1,k2,・・・)は、見
方を変えれば、単純な間引き処理により得られる、ブロ
ックの中心の画素の画素値を、その周辺の画素値に基づ
いて補正したものと考えることができる。そこで、マッ
ピング係数と、ブロックを構成する画素との演算の結果
得られるデータである符号化データを、以下、適宜、補
正データともいう。
は、ブロック化回路111が出力するクラス分類用ブロ
ックを構成する各画素の画素値を、関数値f(y1,
y2,・・・,k1,k2,・・・)にマッピング(写
像)する処理とも考えることができる。そこで、そのよ
うな処理に用いられる係数k1,k2,・・・をマッピン
グ係数と呼んでいる。
6から符号化データとして供給される補正データを、記
録媒体2に記録し、または伝送路3を介して伝送するよ
うになされている。
て、その動作について説明する。
レーム(フィールド)単位で画像データが供給されるよ
うになされており、ブロック化回路111では、ステッ
プS61において、1フレームの画像が、クラス分類用
ブロックにブロック化される。即ち、ブロック化回路1
11は、例えば、図7に四角形で囲んで示すように、画
像データを、注目画素を中心とした3×3(横×縦)の
9画素でなるクラス分類用ブロックに分割し、ADRC
処理回路112および遅延回路115に、順次供給す
る。
は、3×3画素でなる正方形状のブロックで構成される
こととなるが、クラス分類用ブロックの形状は、正方形
である必要はなく、その他、例えば、長方形や、十文字
形、その他の任意な形とすることが可能である。また、
クラス分類用ブロックを構成する画素数も、3×3の9
画素に限定されるものではない。さらに、クラス分類用
ブロックは、隣接する画素どうしで構成するのではな
く、離れた画素どうしで構成するようにすることも可能
である。但し、その形状および画素数は、後述する学習
(マッピング係数学習)時における場合のものと一致し
ている必要がある。
路111からクラス分類用ブロックを受信すると、ステ
ップS62において、そのブロックに対して、例えば、
1ビットのADRC処理を施し、これにより、1ビット
で表現される画素で構成されるブロックとする。ADR
C処理の施されたクラス分類用ブロックは、クラス分類
回路113に供給される。
3において、ADRC処理回路112からのクラス分類
用ブロックがクラス分類され、その結果得られるクラス
情報が、マッピング係数メモリ114に、アドレスとし
て供給される。これにより、マッピング係数メモリ11
4からは、クラス分類回路113より供給されたクラス
情報に対応するマッピング係数が読み出され、演算回路
116に供給される。
路111からのクラス分類用ブロックが遅延され、その
ブロックのクラス情報に対応するマッピング係数が、マ
ッピング係数メモリ114から読み出されるのを待っ
て、演算回路116に供給される。演算回路116で
は、ステップS64において、遅延回路115からのク
ラス分類用ブロックを構成する各画素の画素値と、マッ
ピング係数メモリ114からのマッピング係数を用い
て、上述した関数値f(・)(この関数fのかっこ内の
・は、画素値y1,y2,・・・と、マッピング係数
k1,k2,・・・の集合を表すものとする)が演算され
ることにより、クラス分類用ブロックを構成する中心の
画素(中心画素)の画素値を補正した補正データが算出
される。この補正データは、画像を符号化した符号化デ
ータとして、レベル制限回路117に供給される。
5において、符号化データから、例えば、そのMSB側
の2ビットが抽出され、送信機/記録装置118に供給
される。即ち、符号化データが、例えば8ビットで構成
される場合には、その下位6ビットが削除され、上位2
ビットだけが、送信機/記録装置16に供給される。送
信機/記録装置118では、ステップS66において、
レベル制限回路117からの符号化データが、記録媒体
2に記録され、または伝送路3を介して伝送される。
ム分の画像データについての処理が終了したかどうかが
判定される。ステップS67において、1フレーム分の
画像データについての処理が、まだ終了していないと判
定された場合、ステップS62に戻り、次のクラス分類
用ブロックを対象に、ステップS62以下の処理が繰り
返される。また、ステップS67において、1フレーム
分の画像データについての処理が終了したと判定された
場合、ステップS61に戻り、次のフレームを対象に、
ステップS61以下の処理が繰り返される。
メモリ114に記憶されているマッピング係数を算出す
るための学習(マッピング係数学習)処理を行う画像処
理装置の構成例を示している。
ル画像データ(以下、適宜、学習用画像という)が1フ
レーム以上記憶されている。ブロック化回路122は、
メモリ121に記憶されている画像データを読み出し、
図27のブロック化回路111から出力されるクラス分
類用ブロックと同一のブロックを構成して、ADRC処
理回路123および演算回路125に供給するようにな
されている。
回路124は、図27のADRC処理回路112または
クラス分類回路113における場合とそれぞれ同様の処
理を行うようになされている。従って、クラス分類回路
124からは、ブロック化回路122が出力するブロッ
クのクラス情報が出力されるようになされている。そし
て、このクラス情報は、マッピング係数メモリ131
に、アドレスとして供給されるようになされている。
から供給されるブロックを構成する画素と、マッピング
係数メモリ131から供給されるマッピング係数とを用
いて、図27の演算回路116における場合と同一の演
算を行い、その結果得られる補正データ(関数値f
(・))を、レベル制限回路126に供給するようにな
されている。レベル制限回路126は画素データのレベ
ルを制限した後、ローカルデコード部127に出力して
いる。
回路126から供給される補正データに基づいて、元の
学習用画像の予測値(ブロック化回路122が出力する
ブロックを構成する画素の画素値の予測値)を予測し
(算出し)、誤差算出部128に供給するようになされ
ている。誤差算出部128は、ローカルデコード部12
7から供給される予測値に対応する学習用画像の画素値
(真値)をメモリ121から読み出し、その学習用画像
の画素値に対する、予測値の予測誤差を算出(検出)
し、その予測誤差を、誤差情報として、判定部129に
供給するようになされている。
誤差情報と、所定の閾値ε1とを比較し、その比較結果
に対応して、マッピング係数設定回路130を制御する
ようになされている。マッピング係数設定回路130
は、判定部129の制御にしたがって、クラス分類回路
124におけるクラス分類の結果得られるクラス数と同
一の数のマッピング係数のセットを設定(変更)し、マ
ッピング係数メモリ131に供給するようになされてい
る。
グ係数設定回路130から供給されるマッピング係数を
一時記憶するようになされている。なお、マッピング係
数メモリ131は、クラス分類回路124においてクラ
ス分類されるクラスの数だけのマッピング係数(マッピ
ング係数のセット)を記憶することのできる記憶領域を
有しており、各記憶領域においては、マッピング係数設
定回路130から、新たなマッピング係数が供給される
と、既に記憶しているマッピング係数に代えて、その新
たなマッピング係数が記憶されるようになされている。
ラス分類回路124から供給されるクラス情報に対応す
るアドレスに記憶されたマッピング係数を読み出し、演
算回路126に供給するようにもなされている。
て、その動作について説明する。
0は、ステップS71において、マッピング係数の初期
値のセットを、クラス分類回路124においてクラス分
類されるクラスの数だけ設定し、マッピング係数メモリ
131に供給する。マッピング係数メモリ131では、
マッピング係数設定回路130からのマッピング係数
(初期値)が、対応するクラスのアドレスに記憶され
る。
プS72において、メモリ121に記憶されている学習
用画像すべてを、図27のブロック化回路111におけ
る場合と同様に、注目画素を中心とした3×3画素のブ
ロックにブロック化する。さらに、ブロック化回路12
2は、そのブロックを、メモリ121から読み出し、A
DRC処理回路123および演算回路125に順次供給
する。
73において、ブロック化回路122からのブロックに
対して、図27のADRC処理回路112における場合
と同様に、1ビットのADRC処理が施され、クラス分
類回路124に供給される。
4において、ADRC処理回路123から供給されたブ
ロックのクラスが決定され、そのクラス情報が、アドレ
スとして、マッピング係数メモリ131に供給される。
これにより、ステップS75において、マッピング係数
メモリ131の、クラス分類回路124より供給される
クラス情報に対応するアドレスから、マッピング係数が
読み出され、演算回路125に供給される。
からブロックを受信するとともに、マッピング係数メモ
リ131から、そのブロックのクラスに対応するマッピ
ング係数を受信すると、ステップS76において、その
マッピング係数と、ブロック化回路122から供給され
るブロックを構成する画素の画素値とを用いて、上述の
関数値f(・)を演算する。この演算結果は、ブロック
化回路122から出力されるブロックの中心画素の画素
値を補正した補正データとして、レベル制限回路126
に供給される。この補正ビットが、例えば8ビットで構
成されているとすると、ステップS77において、その
8ビットの補正データから、その上位2ビットが、レベ
ル制限回路126で選択され、これにより、ビット数が
2ビットに制限された画素データが、ローカルデコード
部127に供給される。
形で囲んで示すような3×3画素のブロックが、ブロッ
ク化回路122から出力されたものとすると、演算回路
125では、同図において●印で示す画素の画素値を補
正した補正データが求められ、レベル制限回路126で
レベル制限された後、ローカルデコード部127に出力
される。
を構成する画素が、1/9に間引かれ、ローカルデコー
ド部127に供給される。
み、メモリ121に記憶されたすべての学習用画像につ
いての補正データが求められたかどうかが判定される。
ステップS78において、すべての学習用画像について
の補正データが、まだ求められていないと判定された場
合、ステップS73に戻り、すべての学習用画像につい
ての補正データが求められるまで、ステップS73乃至
S78の処理を繰り返す。
学習用画像についての補正データが求められたと判定さ
れた場合、即ち、メモリ121に記憶されたすべての学
習用画像を、1/9に間引いた間引き画像が得られた場
合(但し、この間引き画像は、学習用画像を、単純に1
/9に間引いたものではなく、マッピング係数との演算
により画素値が求められたものである)、ステップS7
9に進み、ローカルデコード部127において、その間
引き画像がローカルデコードされることにより、元の学
習用画像の予測値が算出される。この予測値は、誤差算
出部128に供給される。
おいて得られる予測値で構成される画像(但し、後述す
るように、誤差算出部128から出力される誤差情報が
閾値ε1より小さくなったときにおけるもの)は、受信
装置4(図1)側において得られる復号画像と同一のも
のである。
おいて、メモリ121から学習用画像が読み出され、そ
の学習用画像に対する、ローカルデコード部127から
供給される予測値の予測誤差が算出される。即ち、学習
用画像の画素値をYijと表すとともに、ローカルデコー
ド部127から出力される、その予測値をE[Yij]と
表すとき、誤差算出部128では、次式で示される誤差
分散(誤差の自乗和)Qが算出され、これが、誤差情報
として、判定部129に供給される。
ついてのサメーションを表す。
差情報を受信すると、その誤差情報と所定の閾値ε1と
を比較し、ステップS81において、その大小関係を判
定する。ステップS81において、誤差情報が閾値ε1
以上であると判定された場合、即ち、ローカルデコード
部127において得られる予測値で構成される画像が、
元の学習用画像と同一であるとは認められない場合、判
定部129は、マッピング係数設定回路130に制御信
号を出力する。マッピング係数設定回路130は、ステ
ップS82において、判定部129からの制御信号にし
たがい、マッピング係数を変更し、その変更後のマッピ
ング係数を、マッピング係数メモリ131に新たに記憶
させる。
グ係数メモリ131に記憶された、変更後のマッピング
係数を用いて、再び、ステップS73以下の処理が繰り
返される。
おける、マッピング係数の変更は、ランダムに行っても
良いし、また、今回の誤差情報が、前回の誤差情報より
小さくなった場合には、前回と同様の傾向で変化させ、
今回の誤差情報が、前回の誤差情報より大きくなった場
合には、前回と逆の傾向で変化させるようにすることも
できる。
のクラスについて行うようにすることもできるし、その
一部のクラスについてだけ行うようにすることもでき
る。一部のクラスについてのマッピング係数だけの変更
を行う場合においては、例えば、誤差情報に対する影響
の強いクラスを検出させ、そのようなクラスについての
マッピング係数だけを変更するようにすることができ
る。誤差情報に対する影響の強いクラスは、例えば、次
のようにして検出することができる。即ち、まず最初
に、マッピング係数の初期値を用いて処理を行うことに
より、その誤差情報を得る。そして、マッピング係数
を、1クラスごとに同一の量だけ変化させ、その結果得
られる誤差情報を、初期値を用いた場合に得られた誤差
情報と比較し、その差が、所定値以上となるクラスを、
誤差情報に対する影響の強いクラスとして検出すれば良
い。
k2,・・・のように複数で1セットとされている場合
には、その中の誤差情報に対する影響の強いものだけを
変更させるようにすることもできる。
グ係数を、クラスごとに設定するようにしたが、マッピ
ング係数は、その他、例えば、ブロックごとに独立して
設定したり、また、近接するブロック単位などで設定し
たりするようにすることが可能である。
クごとに独立して設定するようにした場合などにおいて
は、ある1つのクラスに対して、複数セットのマッピン
グ係数が得られることがある(この逆に、マッピング係
数が、1セットも得られないクラスが生じることもあ
る)。マッピング係数は、最終的には、クラスごとに決
める必要があるため、上述のように、あるクラスに対し
て、複数セットのマッピング係数が得られた場合には、
複数セットのマッピング係数に対して、例えば、マージ
や選択などの何らかの処理を施すことで、1セットのマ
ッピング係数を決める必要がある。
が閾値ε1より小さいと判定された場合、即ち、ローカ
ルデコード部127において得られる予測値で構成され
る画像が、元の学習用画像と同一であると認められる場
合、処理を終了する。
に記憶されている、クラスごとのマッピング係数が、も
との画像と同一と認められる復号画像(予測値)を復元
することができる補正データを得るために最適なものと
して、図27のマッピング係数メモリ114にセットさ
れている。
て補正データを生成することで、受信装置4(図1)側
においては、元の画像とほぼ同一の画像を得ることが可
能となる。
上述したように、ブロック化回路122において、画像
が3×3の9画素にブロック化され、また、ADRC処
理回路123において、1ビットのADRC処理が行わ
れるので、クラス分類回路124によるクラス分類によ
り得られるクラス数は512(=(21)9)であり、従
って、512セットのマッピング係数が得られる。
123を介してクラス分類回路124に供給するブロッ
クと、演算回路125に供給するブロックとは、同一で
ある必要は必ずしもない。このことは、図27におい
て、クラス分類回路113に供給するブロックと、演算
回路116に供給するブロックとについても同様であ
る。但し、クラス分類回路113および124に供給す
るブロックは同一である必要があり、また、演算回路1
16および125に供給するブロックも同一である必要
がある。
ド部127の構成例を示している。
は、クラス分類用ブロック化回路141および予測値計
算用ブロック化回路142に供給されるようになされて
いる。クラス分類用ブロック化回路141は、補正デー
タを、その性質に応じて所定のクラスに分類するための
単位である、注目補正データを中心としたクラス分類用
ブロックにブロック化するようになされている。
からi番目で、左からj番目の補正データ(圧縮デー
タ)(または画素)(図中、●印で示す部分)をXijと
表すとすると、クラス分類用ブロック化回路141は、
注目画素(注目補正データ)Xijの上、左、右、下に隣
接する4つの画素X(i-1)j,Xi(j-1),Xi(j+1),X(i
-1)jに、自身を含め、合計5画素で構成されるクラス分
類用ブロックを生成するようになされている。このクラ
ス分類用ブロックは、クラス分類回路144に供給され
るようになされている。
路141において得られるクラス分類用ブロックは、予
測値を求めるブロックのクラスを決定するために構成さ
れるものであり、この点で、補正データを算出するブロ
ックのクラスを決定するために、図27のブロック化回
路111で生成されるものとは異なる。
正データを、元の画像(ここでは、学習用画像)の予測
値を計算するための単位である、注目補正データを中心
とした予測値計算用ブロックにブロック化するようにな
されている。即ち、本実施の形態においては、例えば、
補正データXijを中心とする、元の画像(原画像)にお
ける3×3の9画素の画素値Yij(1),Yij(2),
Yij(3),Yij(4),Yij(5),Yij(6),Y
ij(7),Yij(8),Yij(9)の予測値が、画素X
ijを中心とする5×5の25画素X(i-2)(j-2),X
(i-2)(j-1),X(i-2 )j,X(i-2)(j+1),X(i-2)(j+2),
X(i-1)(j-2),X(i-1)(j-1),X(i-1)j,
X(i-1 )(j+1),X(i-1)(j+2),Xi(j-2),Xi(j-1),X
ij,Xi(j+1),Xi(j+2),X(i +1)(j-2),
X(i+1)(j-1),X(i+1)j,X(i+1)(j+1),
X(i+1)(j+2),X(i+2 )(j- 2),X(i+2)(j-1),
X(i+2)j,X(i+2)(j+1),X(i+2)(j+2)から求められる
ようになされており、予測値計算用ブロック化回路14
2は、このような25画素で構成される正方形状の予測
値計算用ブロックを生成するようになされている。
で囲む、元の画像における画素Y33(1)乃至Y
33(9)の予測値の計算のためには、25個の画素(補
正データ)X11,X12,X13,X14,X15,X21,
X22,X23,X24,X25,X31,X32,X33,X34,X
35,X41,X42,X43,X44,X45,X51,X52,
X53,X54,X55により、予測値計算用ブロックが構成
される。
て得られた予測値計算用ブロックは、予測回路146に
供給されるようになされている。
クラス分類用ブロックにおける場合と同様に、その画素
数および形状は、上述したものに限定されるものではな
い。但し、ローカルデコード部127において、予測値
計算用ブロックを構成する画素数は、クラス分類用ブロ
ックを構成する画素数よりも多くするのが望ましい。
ロック化回路141からのブロックをクラス分類し、そ
の分類結果としてのクラス情報を、予測係数ROM14
5に供給するようになされている。予測係数ROM14
5は、クラスごとの予測係数を記憶しており、クラス分
類回路144からクラス情報を受信すると、そのクラス
情報に対応するアドレスに記憶されている予測係数を読
み出し、予測回路146に供給するようになされてい
る。なお、予測係数ROM145に記憶されている予測
係数は、図19で説明した予測係数学習により得られた
ものである。
化回路142からの予測値計算用ブロックと、予測係数
ROM145からの予測係数とを用いて、元の画像(学
習用画像)の予測値を算出(予測)するようになされて
いる。
て、その動作について説明する。
ず最初に、ステップS91において、レベル制限回路1
26からの補正データが順次受信されてブロック化され
る。即ち、クラス分類用ブロック化回路141におい
て、補正データが、注目補正データを中心とする5画素
のクラス分類用ブロックにブロック化され、クラス分類
回路144に供給されるとともに、予測値計算用ブロッ
ク化回路142において、補正データが、注目補正デー
タを中心とする5×5画素の予測値計算用ブロックにブ
ロック化され、予測回路146に供給される。
と予測値計算用ブロック化回路142では、対応するク
ラス分類用ブロックと予測値計算用ブロックが生成され
る。即ち、クラス分類用ブロック化回路141におい
て、例えば図7の補正データX33を中心とする5画素の
クラス分類用ブロックが生成されるとき、予測値計算用
ブロックにおいては、同じく補正データX33を中心とす
る5×5画素の予測値計算用ブロックが生成される。
において、クラス分類用ブロックに対して、クラス分類
処理を施す。即ち、クラス分類用ブロックを構成する補
正データのレベル分布の状態を検出し、そのクラス分類
用ブロックが属するクラス(そのクラス分類用ブロック
を構成する注目補正データのクラス)を判定する。この
クラスの判定結果は、クラス情報として、予測係数RO
M145に供給される。
れる5画素で構成されるクラス分類用ブロックに対し
て、クラス分類処理が施されるので、各クラス分類用ブ
ロックは、512(=(22)5)のクラスのうちのいず
れかに分類されることになる。
ROM145の、クラス分類回路144からのクラス情
報に対応するアドレスから予測係数が読み出され、ステ
ップS94において、予測回路146は、その予測係数
と、予測値計算用ブロック化回路142からの予測値計
算用ブロックを構成する25の画素値とを用い、例え
ば、式(1)に対応する次のような線形1次式にしたが
って、元の画像の画素値yの予測値E[y]を算出す
る。
x2,・・・は予測値計算用ブロックを構成する画素の
画素値(補正データ)を表す。また、w0は、本来8ビ
ットのデータxiを、2ビットのデータに変換したの
で、E[y]を8ビットで表現するために加算されるオ
フセット係数であるが、上述したように、補正データと
乗算される係数w1,w2,・・・と同様に、予測係数と
して扱う。
上述したように、予測値計算用ブロックを構成する25
画素から、9画素の予測値が算出されるようになされて
いる。
ータX33を中心とする3×3の補正データX22乃至
X24,X32乃至X34,X42乃至X44でなるクラス分類用
ブロックについてのクラス情報Cが、クラス分類回路1
44から出力され、また、予測値計算用ブロックとし
て、補正データX33を中心とする5×5画素の補正デー
タX11乃至X15,X21乃至X25,X31乃至,X35,X41
乃至X45,X51乃至X55でなる予測値計算用ブロック
が、予測値計算用ブロック化回路142から出力された
ものとする。
ス情報Cに対応するアドレスに、予測係数のセットとし
て、w0(k)乃至w25(k)が記憶されているものと
する。
元の画像における3×3画素(図7において四角形で囲
んである部分)の画素値Y33(1)乃至Y33(9)の予
測値E[Y33(1)]乃至E[Y33(9)]が、次式に
したがって算出される。
2(k)X12+w3(k)X13+w4(k)X14+w
5(k)X15+w6(k)X21+w7(k)X22+w
8(k)X23+w9(k)X24+w10(k)X25+w
11(k)X31+w12(k)X32+w13(k)X33+w14
(k)X34+w15(k)X35+w16(k)X41+w
17(k)X42+w18(k)X43+w19(k)X44+w20
(k)X45+w21(k)X51+w22(k)X52+w
23(k)X53+w24(k)X54+w25(k)X55+w0
(k)
て9個単位で予測値が求められていき、これにより、1
フレーム分の予測値が求められると、その予測値は、ス
テップS95において、誤差算出部128に供給され
る。そして、ステップS91に戻り、以下、ステップS
91乃至S95の処理が繰り返される。
憶されている予測係数を得るための学習(予測係数学
習)を行う画像処理装置は、上述したように、図19に
示した場合と同様の構成となる。そこでその説明は省略
する。
メモリ114に記憶されているマッピング係数を算出す
るための学習(マッピング係数学習)処理を行う画像処
理装置の他の構成例を示している。
数fが、例えば、線形1次式で表される場合の他、非線
形な式や、2次以上の式で表される場合も、最適な予測
係数を求めることができるが、図34の画像処理装置で
は、関数fが、線形1次式で表される場合にのみ、最適
な予測係数を求めることができるようになされている。
おいて、ブロック化回路111が出力する3×3画素の
ブロックを構成する各画素の画素値をy1,y2,・・
・,y9とするとともに、マッピング係数メモリ114
が出力するマッピング係数をk1,k2,・・・,k9と
する場合において、演算回路116が、次式にしたがっ
て関数値f(y1,y2,・・・,k1,k2,・・・)を
演算して補正データを求めるようになされているときに
用いることができる。
適した学習用画像が、例えば、1フレーム単位などで供
給されるようになされている。なお、学習用画像を構成
する画素には、例えば8ビットが割り当てられている。
最適補正データ算出部160は、圧縮部170、レベル
制御部171、補正部172、ローカルデコード部17
3、誤差算出部174、および判定部175で構成さ
れ、そこに入力される学習用画像から、その画素数を少
なくして圧縮した画像であって、元の画像を予測するの
に最適な画像を構成する画素値(以下、適宜、最適補正
データという)を算出し、ラッチ回路176に供給する
ようになされている。
された学習用画像は、圧縮部170および誤差算出部1
74に供給されるようになされている。圧縮部170
は、図27の演算回路116が画素を間引く割合と同一
の割合で、学習用画像を単純に間引き、即ち、本実施の
形態においては、学習用画像を1/9に単純に間引き
(3×3の9画素を1ブロックとするとき、そのブロッ
クの中心の画素だけを抽出し)、これにより学習用画像
を圧縮してレベル制限部171に供給するようになされ
ている。レベル制限部171は、図27のレベル制限回
路117と同様に、8ビットの画素データのレベルを制
限した後、補正部172に出力するようになされてい
る。
供給される、単純な間引きが行われて空間方向の圧縮が
された8ビットの圧縮データから、その上位2ビットが
選択されることにより、2ビットにレベルが制限された
データ(以下、適宜、単に、圧縮データという)を、判
定部175からの制御にしたがって補正するようになさ
れている。補正部172における補正の結果得られるデ
ータ(このデータも、図27の演算回路116の出力と
同様に、3×3画素のブロックの中心画素の画素値を補
正したものであるので、以下、適宜、補正データとい
う)は、ローカルデコード部173に供給するようにな
されている。
ーカルデコード部127における場合と同様にして、補
正部172からの補正データに基づいて、元の画像(学
習用画像)を予測し、その予測値を、誤差算出部174
に供給するようになされている。
128における場合と同様にして、そこに入力される、
元の画像データに対する、ローカルデコード部173か
らの予測値の予測誤差を算出するようになされている。
この予測誤差は、誤差情報として、判定部175に供給
されるようになされている。
おける場合と同様にして、誤差算出部174からの誤差
情報に基づいて、補正部172が出力した補正データ
を、元の画像の圧縮結果とすることの適正さを判定する
ようになされている。そして、判定部175は、補正部
172が出力した補正データを、元の画像の圧縮結果と
することが適正でないと判定した場合には、補正部17
2を制御し、さらに、圧縮データを補正させ、その結果
得られる新たな補正データを出力させるようになされて
いる。また、判定部175は、補正部172が出力した
補正データを、元の画像の圧縮結果とすることが適正で
あると判定した場合には、補正部172から供給された
補正データを、最適補正データとして、ラッチ回路17
6に供給するようになされている。
蔵しており、そのメモリ176Aに、補正部172から
供給される最適補正データを記憶させるようになされて
いる。さらに、ラッチ回路176は、メモリ176Aに
記憶された最適補正データのうち、ブロック化回路17
7のメモリ177Aから読み出されるブロックの中心画
素に対応するものを読み出し、メモリ180に供給する
ようになされている。なお、ラッチ回路176は、メモ
リ176Aに、1フレーム分の補正データが記憶される
と、その旨を示す制御信号を、ブロック化回路177に
出力するようになされている。
タ算出部160と同様に、学習用画像が1フレーム単位
で供給されるようになされている。ブロック化回路17
7は、メモリ177Aを内蔵しており、そのメモリ17
7Aに、そこに供給される学習用画像を記憶させるよう
になされている。また、ブロック化回路177は、ラッ
チ回路176から制御信号を受信すると、メモリ177
Aに記憶された学習用画像を、図27のブロック化回路
111における場合と同様に、3×3画素で構成される
ブロックに分割し、そのブロックを順次読み出して、A
DRC処理回路178およびメモリ180に供給するよ
うになされている。
するメモリ177Aからブロックを読み出すときに、そ
のブロックの位置を示す制御信号を、ラッチ回路176
に供給するようになされている。ラッチ回路176で
は、この制御信号に基づいて、メモリ177Aから読み
出される3×3画素のブロックが認識され、上述したよ
うに、そのブロックの中心画素に対応する最適補正デー
タが、メモリ176Aから読み出されるようになされて
いる。即ち、これにより、メモリ180に対しては、あ
る3×3画素のブロックと、そのブロックに対応する最
適補正データとが同時に供給されるようになされてい
る。
回路179は、図27のADRC処理回路112または
クラス分類回路113とそれぞれ同様に構成されてい
る。そして、クラス分類回路179が出力する、ブロッ
ク化回路177からのブロックについてのクラス情報
は、メモリ180に対して、アドレスとして供給される
ようになされている。
ら供給されるクラス情報に対応するアドレスに、ラッチ
回路176から供給される最適補正データと、ブロック
化回路177から供給されるブロックとを対応付けて記
憶するようになされている。なお、メモリ180は、1
つのアドレスに複数の情報を記憶することができるよう
になされており、これにより、あるクラス情報に対応す
る最適補正データおよびブロックを、複数セット記憶す
ることができるようになされている。
れた、学習用画像の3×3のブロックを構成する9画素
y1,y2,・・・,y9と、そのブロックに対応付けら
れている最適補正データy’とを読み出し、これらに最
小自乗法を適用することで、クラスごとに、マッピング
係数k1乃至k9を求め、メモリ182に供給するように
なされている。メモリ182は、演算回路181から供
給されるクラスごとのマッピング係数k1乃至k9を、そ
のクラスに対応したアドレスに記憶するようになされて
いる。
て、その動作について説明する。
像は、ブロック化回路177のメモリ177Aに記憶さ
れるとともに、最適補正データ算出部160に供給され
る。最適補正データ算出部160は、学習用画像を受信
すると、ステップS101において、その学習用画像に
ついての最適補正データを算出する。
ローチャートの処理と同様である。すなわち、ステップ
S101では、図36のフローチャートに示すように、
まず、圧縮部170が、ステップS111において、学
習用画像を、1/9に間引くことにより圧縮データを生
成する。このデータは、ステップS112において、レ
ベル制限部171で制限された後、補正部172を介し
て、最初は、補正が行われずに、ローカルデコード部1
73に出力される。ローカルデコード部173では、ス
テップS113において、補正部172からの補正デー
タ(最初は、上述したように、画像データを、単純に間
引き、レベル制限した圧縮データそのもの)に基づい
て、元の画像の予測値が算出される(ローカルデコード
が行われる)。この予測値は、誤差算出部174に供給
される。
173から、元の画像の予測値を受信すると、ステップ
S114において、元の画像データに対する、ローカル
デコード部173からの予測値の予測誤差を算出し、誤
差情報として、判定部175に供給する。判定部175
は、誤差算出部174から誤差情報を受信すると、ステ
ップS115において、その誤差情報に基づいて、補正
部172が出力した補正データを、元の画像の圧縮結果
とすることの適正さを判定する。
情報が所定の閾値ε以下であるかどうかが判定される。
ステップS115において、誤差情報が所定の閾値ε以
下でないと判定された場合、補正部172が出力した補
正データを、元の画像の圧縮結果とするのは適正でない
と認識され、ステップS116に進み、判定部175
は、補正部172を制御し、これにより、レベル制限部
171から出力された圧縮データを補正させる。補正部
172は、判定部175の制御にしたがって、補正量
(補正値△)を変えて、圧縮データを補正し、その結果
得られる補正データを、ローカルデコード部173に出
力する。そして、ステップS113に戻り、以下、同様
の処理が繰り返される。
の図14における場合と同様にして行うことが可能であ
る。
報が所定の閾値ε以下であると判定された場合、補正部
172が出力した補正データを、元の画像の圧縮結果と
するのは適正であると認識され、判定部175は、所定
の閾値ε以下の誤差情報が得られたときの補正データ
を、最適補正データとして、補正部172からラッチ回
路176に出力させ、その内蔵するメモリ176Aに記
憶させて、リターンする。
ε以下となったときにおける、圧縮データを補正した補
正データが、最適補正データとして、メモリ176Aに
記憶される。なお、この最適補正データは、誤差情報を
所定の閾値ε以下とするものであるから、これを用い
て、予測値を算出することにより、元の画像(原画像)
とほぼ同一の画像を得ることができる。
メモリ176Aに、1フレーム分の最適補正データを記
憶すると、制御信号を、ブロック化回路177に出力す
る。ブロック化回路177は、ラッチ回路176から制
御信号を受信すると、ステップS102において、メモ
リ177Aに記憶された学習用画像を、3×3画素で構
成されるブロックに分割する。そして、ブロック化回路
177は、メモリ177Aに記憶された学習用画像のブ
ロックを読み出して、ADRC処理回路178およびメ
モリ180に供給する。
メモリ177Aからブロックを読み出すときに、そのブ
ロックの位置を示す制御信号を、ラッチ回路176に供
給し、ラッチ回路176は、その制御信号に対応して、
メモリ177Aから読み出された3×3画素のブロック
を認識し、そのブロックの中心画素に対応する最適補正
データを読み出して、メモリ180に供給する。
C処理回路178において、ブロック化回路177から
のブロックがADRC処理され、さらに、クラス分類回
路179において、そのブロックがクラス分類される。
このクラス分類結果は、アドレスとして、メモリ180
に供給される。
いて、クラス分類回路179から供給されるクラス情報
に対応するアドレスに、ラッチ回路176から供給され
る最適補正データと、ブロック化回路177から供給さ
れるブロック(学習データ)とが対応付けられて記憶さ
れる。
180に、1フレーム分のブロックおよび最適補正デー
タが記憶されたかどうかが判定される。ステップS10
5において、メモリ180に、1フレーム分のブロック
および最適補正データが、まだ記憶されていないと判定
された場合、ブロック化回路177から次のブロックが
読み出されるとともに、ラッチ回路176からそのブロ
ックに対応する最適補正データが読み出され、ステップ
S103に戻り、以下、ステップS103以降の処理を
繰り返す。
180に、1フレーム分のブロックおよび最適補正デー
タが記憶されたと判定された場合、ステップS106に
進み、学習用画像すべてについて処理が終了したかどう
かが判定される。ステップS106において、学習用画
像すべてについての処理が、まだ終了していないと判定
された場合、ステップS101に戻り、次の学習用画像
について、ステップS101からの処理が繰り返され
る。
画像すべてについての処理が終了したと判定された場
合、ステップS107に進み、演算回路181は、メモ
リ180に記憶された最適補正データとブロックとを、
クラスごとに読み出し、これらにより、式(7)に示し
たような正規方程式をたてる。さらに、演算回路181
は、ステップS108において、その正規方程式を解く
ことで、誤差を最小にする、クラスごとのマッピング係
数を算出する。このマッピング係数は、ステップS10
9において、メモリ182に供給されて記憶され、処理
を終了する。
いては、以上のようにしてメモリ182に記憶されたマ
ッピング係数を、図27のマッピング係数メモリ114
に記憶させ、これを用いて画像の符号化を行うことがで
きる。
を求めることができるだけの数の正規方程式が得られな
い場合がある。このような場合は、図27の演算回路1
16において、ブロック化回路111から出力される3
×3画素のブロックを構成する9画素の、例えば平均値
などが出力されるようなマッピング係数、即ち、k1乃
至k9=1/9などが、デフォルトの値として設定され
る。
応する受信装置4の構成例を示している。
媒体2に記録された符号化データが再生され、または伝
送路3を介して伝送されてくる符号化データが受信さ
れ、デコード部192に供給される。
カルデコード部127におけるクラス分類用ブロック化
回路141乃至予測回路146にそれぞれ対応するクラ
ス分類用ブロック化回路193乃至予測回路198で構
成されており、従って、デコード部192では、図32
のローカルデコード部127における場合と同様にし
て、補正データから予測値が求められ、この予測値で構
成される画像が復号画像として出力される。
れる符号化データとしての補正データは、クラス分類用
ブロック化回路193または予測値計算用ブロック化回
路194に順次供給され、図32のクラス分類用ブロッ
ク化回路141または予測値計算用ブロック化回路14
2における場合と同様にして、クラス分類用ブロックま
たは予測値計算用ブロックに、それぞれブロック化され
る。そして、クラス分類用ブロックはクラス分類回路1
96に、予測値計算用ブロックは予測回路198に、そ
れぞれ供給される。
ロック化回路193からのクラス分類用ブロックに対し
て、クラス分類処理を施し、クラス情報を、予測係数R
OM197に出力する。
数ROM145と同様に、例えば、図19の画像処理装
置において求められた、クラスごとの予測係数を記憶し
ており、クラス分類回路196からクラス情報を受信す
ると、そのクラス情報に対応する予測係数を読み出し、
予測回路198に供給する。予測回路198では、予測
係数ROM197からの予測係数と、予測値計算用ブロ
ック化回路194からの予測値計算用ブロックを構成す
る補正データとを用い、式(1)に対応する線形1次式
にしたがって、元の画像の予測値が算出され、これによ
り、元の画像が復号される。
を所定の閾値以下とするものであり、従って、受信装置
4においては、元の画像とほぼ同一の復号画像を得るこ
とができる。
ても、受信側においては、図37に示すような受信装置
4ではなく、間引きされた画像を補間により復号する装
置により、通常の補間を行うことで復号画像を得ること
ができる。但し、この場合に得られる復号画像は、画質
(解像度)の劣化したものとなる。
いて説明したが、このような画像処理装置は、例えば、
NTSC方式などの標準方式のテレビジョン信号を符号
化する場合の他、データ量の多い、いわゆるハイビジョ
ン方式のテレビジョン信号などを符号化する場合に、特
に有効である。
ムの画像を対象にブロック化を行うようにしたが、ブロ
ックは、その他、例えば、時系列に連続する複数フレー
ムにおける、同一位置の画素を集めて構成するようにす
ることも可能である。
として、誤差の自乗和を用いるようにしたが、誤差情報
としては、その他、例えば、誤差の絶対値和や、その3
乗以上したものの和などを用いるようにすることが可能
である。いずれを誤差情報として用いるかは、例えば、
その収束性などに基づいて決定するようにすることが可
能である。
では、1フレーム単位で、正規方程式をたてて、クラス
ごとの予測係数を求めるようにしたが、予測係数の算出
処理は、その他、例えば、1フィールド単位や複数フレ
ーム単位で正規方程式をたてて行うようにすることも可
能である。他の処理についても同様である。
も、あるいは、上述した処理を行うためのアプリケーシ
ョンプログラムが記録されたハードディスク等の記録媒
体から、そのアプリケーションプログラムを読み出し
て、コンピュータに実行させることによっても、実現可
能である。
ルを、その上位2ビットに制限するようにしたが、画素
値のレベルは、その他、例えば、上位3ビット以上など
に制限することも可能である。
請求項11に記載の画像符号化方法によれば、原画像を
圧縮することにより得られる圧縮データのレベルが制限
され、そのレベルの制限された圧縮データが補正され
て、補正データが出力される。さらに、その補正データ
に基づいて、原画像が予測されて、その予測値が出力さ
れ、原画像に対する、予測値の予測誤差が算出される。
そして、その予測誤差に基づいて、補正データの適正さ
が判定され、その判定結果に基づいて、適正になった補
正データが、原画像の符号化結果として出力される。従
って、少ないデータ量で、効率的に高画質の画像を予測
することが可能となる。
請求項18に記載の画像復号化方法、請求項19に記載
の伝送方法、並びに請求項20に記載の記録媒体によれ
ば、符号化データが、原画像を、その画素数を少なくす
ることにより圧縮し、原画像を圧縮することにより得ら
れる圧縮データのレベルを制限し、レベルの制限された
圧縮データを補正して、補正データを出力し、補正デー
タに基づいて、原画像を予測して、その予測値を出力
し、原画像に対する、予測値の予測誤差を算出し、予測
誤差に基づいて、補正データの適正さを判定すること
を、補正データが適正になるまで繰り返すことにより得
られた、適正になった補正データを含んでいる。従っ
て、符号化データのデータ量は少ないものであるが、そ
のような少ないデータ量の符号化データから、高画質の
復号画像を得ることが可能となる。
請求項29に記載の画像符号化方法によれば、画像を構
成する画素が、その性質に応じて所定のクラスに分類さ
れ、クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段から、画像の中の、注目して
いる注目画素のクラスに対応するマッピング係数が読み
出される。そして、そのマッピング係数と、注目画素と
を用いて所定の演算を行うことにより、その注目画素を
補正した補正データが算出され、その補正データのレベ
ルを制限することにより、画像を符号化した符号化デー
タが生成される。従って、少ないデータ量で、効率的に
高画質の画像を予測することが可能となる。
請求項37に記載の画像復号化方法、請求項38に記載
の伝送方法、並びに請求項39に記載の記録媒体によれ
ば、符号化データが、画像を構成する画素を、その性質
に応じて所定のクラスに分類し、クラスごとに、所定の
マッピング係数を記憶しているマッピング係数記憶手段
から、画像の中の、注目している注目画素のクラスに対
応するマッピング係数を読み出し、そのマッピング係数
と、注目画素とを用いて所定の演算を行うことにより、
その注目画素を補正した補正データを算出し、補正デー
タのレベルを制限することにより得られたものとなって
いる。従って、符号化データのデータ量は少ないもので
あるが、そのような少ないデータ量の符号化データか
ら、高画質の復号画像を得ることが可能となる。
の構成を示すブロック図である。
ある。
ブロック図である。
ーチャートである。
ある。
ーチャートである。
図である。
ブロック図である。
するためのフローチャートである。
ク図である。
めのフローチャートである。
である。
フローチャートである。
ック図である。
すブロック図である。
例を示すブロック図である。
を説明するためのフローチャートである。
る予測係数を算出する画像処理装置の一実施の形態の構
成を示すブロック図である。
すブロック図である。
フローチャートである。
例を示すブロック図である。
を説明するためのフローチャートである。
ック図である。
めのフローチャートである。
ック図である。
すブロック図である。
フローチャートである。
処理装置の第1実施の形態の構成を示すブロック図であ
る。
のフローチャートである。
を示すブロック図である。
説明するためのフローチャートである。
処理装置の第2実施の形態の構成を示すブロック図であ
る。
のフローチャートである。
り詳細を説明するためのフローチャートである。
ック図である。
受信装置, 11 I/F, 12 ROM, 13
RAM, 14 CPU, 15 外部記憶装置, 1
6 送信機/記録装置, 21 圧縮部, 22 ロー
カルデコード部, 23 誤差算出部, 24 判定
部, 25 多重化部, 30 間引き回路, 31
レベル制限回路, 32 補正回路, 33 補正値R
OM, 41 クラス分類用ブロック化回路, 42
予測値計算用ブロック化回路, 43 クラス分類適応
処理回路, 45 クラス分類回路, 46 適応処理
回路, 51 ブロック化回路, 52 自乗誤差算出
回路, 53,54 演算器, 55 積算部, 56
メモリ, 61 予測係数メモリ, 62 補正デー
タメモリ, 63 誤差情報メモリ, 64 比較回
路, 65 制御回路,71 受信機/再生装置, 7
2 分離部, 73 クラス分類用ブロック化回路,
75 クラス分類回路, 76 予測回路, 76A
メモリ, 77予測値計算用ブロック化回路, 78,
81 予測係数ROM, 82 予測回路, 91 学
習用ブロック化回路, 92 教師用ブロック化回路,
94クラス分類回路, 95 スイッチ, 96 学
習データメモリ, 97 カウンタ, 98 教師デー
タメモリ, 99 演算回路, 100 メモリ,11
1 ブロック化回路, 112 ADRC処理回路,
113 クラス分類回路, 114 マッピング係数メ
モリ, 115 遅延回路, 116 演算回路, 1
17 レベル制限回路, 118 送信機/記録装置,
121 メモリ, 122 ブロック化回路, 12
3 ADRC処理回路, 124 クラス分類回路,
125 演算回路, 126 レベル制限回路, 12
7 ローカルデコード部, 128 誤差算出部, 1
29 判定部, 130 マッピング係数設定回路,
131 マッピング係数メモリ, 141 クラス分類
用ブロック化回路, 142 予測値計算用ブロック化
回路, 144 クラス分類回路, 145 予測係数
ROM, 146 予測回路, 160 最適補正デー
タ算出部, 170 圧縮部, 171 レベル制限
部, 172 補正部, 173 ローカルデコード
部, 174 誤差算出部, 175 判定部, 17
6 ラッチ回路, 176A メモリ, 177 ブロ
ック化回路,177A メモリ, 178 ADRC処
理回路, 179 クラス分類回路,180 メモリ,
181 演算回路, 182 メモリ, 191 受
信機/再生装置, 192 デコード部, 193 ク
ラス分類用ブロック化回路,194 予測値計算用ブロ
ック化回路, 196 クラス分類回路, 197予測
係数ROM, 198 予測回路, 1022,202
2 ローカルデコード部, 2024 判定部
Claims (39)
- 【請求項1】 画像を符号化する画像符号化装置であっ
て、 原画像を、その画素数を少なくすることにより圧縮する
圧縮手段と、 前記原画像を圧縮することにより得られる圧縮データの
レベルを制限する制限手段と、 レベルの制限された前記圧縮データを補正し、補正デー
タを出力する補正手段と、 前記補正データに基づいて、前記原画像を予測し、その
予測値を出力する予測手段と、 前記原画像に対する、前記予測値の予測誤差を算出する
算出手段と、 前記予測誤差に基づいて、前記補正手段が出力する前記
補正データの適正さを判定する判定手段と、 前記判定手段による判定結果に対応して、前記補正デー
タを、前記原画像の符号化結果として出力する出力手段
とを備えることを特徴とする画像符号化装置。 - 【請求項2】 前記予測手段は、 前記補正データを、その性質に応じて所定のクラスに分
類する分類手段と、 前記クラスに対応して、前記予測値を求める予測値演算
手段とを有することを特徴とする請求項1に記載の画像
符号化装置。 - 【請求項3】 前記予測手段は、 前記補正データとの線形結合により前記予測値を算出す
るための予測係数を求める予測係数演算手段と、 前記予測係数および補正データから、前記予測値を求め
る予測値演算手段とを有することを特徴とする請求項1
に記載の画像符号化装置。 - 【請求項4】 前記予測手段は、 前記補正データを、その性質に応じて所定のクラスに分
類する分類手段と、 前記補正データとの線形結合により前記予測値を算出す
るための予測係数を、前記クラスごとに求める予測係数
演算手段と、 前記補正データの前記クラスについて得られた前記予測
係数と、その補正データとから、前記予測値を求める予
測値演算手段とを有することを特徴とする請求項1に記
載の画像符号化装置。 - 【請求項5】 前記出力手段は、前記補正データととも
に、前記クラスごとの前記予測係数も出力することを特
徴とする請求項4に記載の画像符号化装置。 - 【請求項6】 前記予測手段は、 前記補正データとの線形結合により前記予測値を算出す
るための予測係数を、所定のクラスごとに記憶している
記憶手段と、 前記補正データを、その性質に応じて前記所定のクラス
のうちのいずれかに分類する分類手段と、 前記補正データの前記クラスについての前記予測係数
と、その補正データとから、前記予測値を求める予測値
演算手段とを有することを特徴とする請求項1に記載の
画像符号化装置。 - 【請求項7】 前記記憶手段に記憶されている前記クラ
スごとの予測係数は、学習用の画像データを用いて学習
を行うことにより生成されたものであることを特徴とす
る請求項6に記載の画像符号化装置。 - 【請求項8】 前記出力手段は、前記補正データととも
に、前記クラスごとの前記予測係数も出力することを特
徴とする請求項7に記載の画像符号化装置。 - 【請求項9】 前記補正手段は、 前記圧縮データを補正するための補正値を記憶している
記憶手段を有し、 その補正値を用いて、前記圧縮データを補正することを
特徴とする請求項1に記載の画像符号化装置。 - 【請求項10】 前記判定手段は、前記予測誤差が所定
値以下であるかどうかによって、前記補正データの適正
さを判定し、 前記出力手段は、前記予測誤差が所定値以下になったと
きにおける前記補正データを出力することを特徴とする
請求項1に記載の画像符号化装置。 - 【請求項11】 画像を符号化する画像符号化方法であ
って、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
定することを、前記補正データが適正になるまで繰り返
し、 適正になった前記補正データを、前記原画像の符号化結
果として出力することを特徴とする画像符号化方法。 - 【請求項12】 画像を符号化した符号化データを復号
化する画像復号化装置であって、 前記符号化データを受信する受信手段と、 前記符号化データを復号化する復号化手段とを備え、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
定することを、前記補正データが適正になるまで繰り返
すことにより得られた、適正になった前記補正データを
含むことを特徴とする画像復号化装置。 - 【請求項13】 前記復号化手段は、 前記補正データを、その性質に応じて所定のクラスに分
類する分類手段と、 前記クラスに対応して、前記予測値を求める予測値演算
手段とを有することを特徴とする請求項12に記載の画
像復号化装置。 - 【請求項14】 前記符号化データは、前記補正データ
との線形結合により前記予測値を算出するための予測係
数も含んでおり、 前記復号化手段は、前記予測係数および補正データか
ら、前記予測値を求める予測値演算手段を有することを
特徴とする請求項12に記載の画像復号化装置。 - 【請求項15】 前記符号化データは、前記補正データ
との線形結合により前記予測値を算出するための、所定
のクラスごとの予測係数も含んでおり、 前記復号化手段は、 前記補正データを、その性質に応じて所定のクラスに分
類する分類手段と、 前記補正データの前記クラスについての前記予測係数
と、その補正データとから、前記予測値を求める予測値
演算手段とを有することを特徴とする請求項12に記載
の画像復号化装置。 - 【請求項16】 前記復号化手段は、 前記補正データとの線形結合により前記予測値を算出す
るための予測係数を、所定のクラスごとに記憶している
記憶手段と、 前記補正データを、その性質に応じて前記所定のクラス
のいずれかに分類する分類手段と、 前記補正データの前記クラスについての前記予測係数を
前記記憶手段から読み出し、その予測係数と前記補正デ
ータとから、前記予測値を求める予測値演算手段とを有
することを特徴とする請求項12に記載の画像復号化装
置。 - 【請求項17】 前記記憶手段に記憶されている前記ク
ラスごとの予測係数は、学習用の画像データを用いて学
習を行うことにより生成されたものであることを特徴と
する請求項16に記載の画像復号化装置。 - 【請求項18】 画像を符号化した符号化データを復号
化する画像復号化方法であって、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
定することを、前記補正データが適正になるまで繰り返
すことにより得られた、適正になった前記補正データを
含むことを特徴とする画像復号化方法。 - 【請求項19】 画像を符号化した符号化データを伝送
する伝送方法であって、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
定することを、前記補正データが適正になるまで繰り返
すことにより得られた、適正になった前記補正データを
含むことを特徴とする伝送方法。 - 【請求項20】 画像を符号化した符号化データが記録
されている記録媒体であって、 前記符号化データは、 原画像を、その画素数を少なくすることにより圧縮し、 前記原画像を圧縮することにより得られる圧縮データの
レベルを制限し、 レベルの制限された前記圧縮データを補正して、補正デ
ータを出力し、 前記補正データに基づいて、前記原画像を予測して、そ
の予測値を出力し、 前記原画像に対する、前記予測値の予測誤差を算出し、 前記予測誤差に基づいて、前記補正データの適正さを判
定することを、前記補正データが適正になるまで繰り返
すことにより得られた、適正になった前記補正データを
含むことを特徴とする記録媒体。 - 【請求項21】 画像を符号化する画像符号化装置であ
って、 前記画像を構成する画素を、その性質に応じて所定のク
ラスに分類する分類手段と、 前記クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段と、 前記画像の中の、注目している注目画素と、その注目画
素のクラスに対応する前記マッピング係数とを用いて所
定の演算を行うことにより、その注目画素を補正した補
正データを算出する演算手段と、 前記補正データのレベルを制限して、前記画像を符号化
した符号化データとする制限手段とを備えることを特徴
とする画像符号化装置。 - 【請求項22】 前記演算手段は、前記所定の演算を行
うことにより、前記画像の画素数を少なくすることを特
徴とする請求項21に記載の画像符号化装置。 - 【請求項23】 前記演算手段は、前記注目画素を含む
複数の画素と、その注目画素のクラスに対応する前記マ
ッピング係数とを用いて前記所定の演算を行うことを特
徴とする請求項22に記載の画像符号化装置。 - 【請求項24】 前記マッピング係数は、学習用の画像
データを用いて学習を行うことにより生成されたもので
あることを特徴とする請求項22に記載の画像符号化装
置。 - 【請求項25】 前記マッピング係数は、前記符号化デ
ータから元の画像を予測した予測結果の、その元の画像
に対する予測誤差が最小になるように学習を行うことに
より得られたものであることを特徴とする請求項22に
記載の画像符号化装置。 - 【請求項26】 前記マッピング係数は、前記符号化デ
ータから元の画像を予測した予測結果の、その元の画像
に対する予測誤差が所定値以下になるように学習を行う
ことにより得られたものであることを特徴とする請求項
22に記載の画像符号化装置。 - 【請求項27】 前記マッピング係数は、 学習用の画像を構成する画素を、その性質に応じて前記
クラスのうちのいずれかに分類し、 前記学習用の画像の中の、注目している注目学習画素
と、その注目学習画素のクラスに対応する所定の係数と
を用いて前記所定の演算を行うことにより、その注目学
習画素を補正した学習用補正データを算出し、 前記学習用補正データのレベルを制限した学習用制限デ
ータを求め、 その学習用制限データに基づいて、前記学習用の画像の
予測値を予測し、 前記学習用の画像に対する、前記学習用の画像の予測値
の予測誤差を算出し、 その予測誤差に基づいて、前記所定の係数を変更するこ
とを、前記所定の係数が最適な値になるまで繰り返すこ
とにより得られた、その最適な値の前記所定の係数であ
ることを特徴とする請求項22に記載の画像符号化装
置。 - 【請求項28】 前記マッピング係数は、 学習用の画像を、その画素数を少なくすることにより圧
縮し、 前記学習用の画像を圧縮することにより得られる学習用
圧縮データのレベルを制限し、 レベルの制限された前記学習用圧縮データを補正して、
学習用補正データを出力し、 前記学習用補正データに基づいて、前記学習用の画像を
予測して、その予測値を出力し、 前記学習用の画像に対する、前記学習用の画像の予測値
の予測誤差を算出し、 その予測誤差に基づいて、前記学習用補正データの適正
さを判定することを、前記学習用補正データが適正にな
るまで繰り返すことにより得られた、その適正になった
前記学習用補正データと、前記学習用の画像とを用いて
求められたものであることを特徴とする請求項22に記
載の画像符号化装置。 - 【請求項29】 画像を符号化する画像符号化方法であ
って、 前記画像を構成する画素を、その性質に応じて所定のク
ラスに分類し、 前記クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段から、前記画像の中の、注目
している注目画素のクラスに対応する前記マッピング係
数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、 前記補正データのレベルを制限して、前記画像を符号化
した符号化データとすることを特徴とする画像符号化方
法。 - 【請求項30】 画像を符号化した符号化データを復号
化する画像復号化装置であって、 前記符号化データを受信する受信手段と、 前記符号化データを復号化する復号化手段とを備え、 前記符号化データは、 前記画像を構成する画素を、その性質に応じて第1のク
ラスのうちのいずれかに分類し、 前記第1のクラスごとに、所定のマッピング係数を記憶
しているマッピング係数記憶手段から、前記画像の中
の、注目している注目画素の第1のクラスに対応する前
記マッピング係数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、 前記補正データのレベルを制限することにより得られた
ものであることを特徴とする画像復号化装置。 - 【請求項31】 前記符号化データは、前記画像の画素
数を少なくしたものであることを特徴とする請求項30
に記載の画像復号化装置。 - 【請求項32】 前記復号化手段は、 前記符号化データとの線形結合により前記予測値を算出
するための予測係数を、第2のクラスごとに記憶してい
る予測係数記憶手段と、 前記符号化データを、その性質に応じて前記第2のクラ
スのうちのいずれかに分類する分類手段と、 前記符号化データの前記第2のクラスについての前記予
測係数を、前記予測係数記憶手段から読み出し、その予
測係数と前記符号化データとから、前記予測値を求める
予測値演算手段とを有することを特徴とする請求項31
に記載の画像復号化装置。 - 【請求項33】 前記予測係数は、学習用の画像データ
を用いて学習を行うことにより生成されたものであるこ
とを特徴とする請求項32に記載の画像復号化装置。 - 【請求項34】 前記マッピング係数は、学習用の画像
データを用いて学習を行うことにより生成されたもので
あることを特徴とする請求項31に記載の画像復号化装
置。 - 【請求項35】 前記マッピング係数は、前記符号化デ
ータから元の画像を予測した予測結果の、その元の画像
に対する予測誤差が最小になるように学習を行うことに
より得られたものであることを特徴とする請求項31に
記載の画像復号化装置。 - 【請求項36】 前記マッピング係数は、前記符号化デ
ータから元の画像を予測した予測結果の、その元の画像
に対する予測誤差が所定値以下になるように学習を行う
ことにより得られたものであることを特徴とする請求項
31に記載の画像復号化装置。 - 【請求項37】 画像を符号化した符号化データを復号
化する画像復号化方法であって、 前記符号化データは、 前記画像を構成する画素を、その性質に応じて所定のク
ラスのうちのいずれかに分類し、 前記クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段から、前記画像の中の、注目
している注目画素のクラスに対応する前記マッピング係
数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、 前記補正データのレベルを制限することにより得られた
ものであることを特徴とする画像復号化方法。 - 【請求項38】 画像を符号化した符号化データを伝送
する伝送方法であって、 前記符号化データは、 前記画像を構成する画素を、その性質に応じて所定のク
ラスに分類し、 前記クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段から、前記画像の中の、注目
している注目画素のクラスに対応する前記マッピング係
数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、 前記補正データのレベルを制限することにより得られた
ものであることを特徴とする伝送方法。 - 【請求項39】 画像を符号化した符号化データが記録
されている記録媒体であって、 前記符号化データは、 前記画像を構成する画素を、その性質に応じて所定のク
ラスに分類し、 前記クラスごとに、所定のマッピング係数を記憶してい
るマッピング係数記憶手段から、前記画像の中の、注目
している注目画素のクラスに対応する前記マッピング係
数を読み出し、 そのマッピング係数と、前記注目画素とを用いて所定の
演算を行うことにより、その注目画素を補正した補正デ
ータを算出し、 前記補正データのレベルを制限することにより得られた
ものであることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20852597A JP3952326B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20655496 | 1996-07-17 | ||
| JP8-206554 | 1996-07-17 | ||
| US08/893,216 US6381369B1 (en) | 1996-07-17 | 1997-07-15 | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
| JP20852597A JP3952326B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005308103A Division JP4534951B2 (ja) | 1996-07-17 | 2005-10-24 | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1084549A true JPH1084549A (ja) | 1998-03-31 |
| JP3952326B2 JP3952326B2 (ja) | 2007-08-01 |
Family
ID=27328650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20852597A Expired - Fee Related JP3952326B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3952326B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017511045A (ja) * | 2014-02-26 | 2017-04-13 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオ圧縮のための輝度ベースの符号化ツール |
-
1997
- 1997-07-17 JP JP20852597A patent/JP3952326B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017511045A (ja) * | 2014-02-26 | 2017-04-13 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオ圧縮のための輝度ベースの符号化ツール |
| US11032553B2 (en) | 2014-02-26 | 2021-06-08 | Dolby Laboratories Licensing Corporation | Luminance based coding tools for video compression |
| US11729400B2 (en) | 2014-02-26 | 2023-08-15 | Dolby Laboratories Licensing Corporation | Luminance based coding tools for video compression |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3952326B2 (ja) | 2007-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| JPH1032837A (ja) | 画像処理装置および方法、並びに画像符号化装置および方法 | |
| KR100731708B1 (ko) | 데이터 처리 장치와 데이터 처리 방법, 및 기록 매체 | |
| US6381369B1 (en) | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium | |
| JP3915855B2 (ja) | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 | |
| EP0820198B1 (en) | Apparatus and method for image coding and decoding | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP4534951B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP3912628B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 | |
| JPH1084549A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体 | |
| JP3844031B2 (ja) | 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法 | |
| JP3912629B2 (ja) | 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体 | |
| JP4582416B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JPH08307835A (ja) | クラス分類適応処理装置および方法 | |
| JP4496494B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP4016249B2 (ja) | 画像符号化装置および符号化方法、画像復号装置および復号方法、記録媒体、プログラム、並びに、画像処理システム | |
| JP4518727B2 (ja) | 画像符号化装置および方法、記録媒体、並びにプログラム | |
| KR100567710B1 (ko) | 화상코딩장치,화상코딩방법,화상디코딩방법,화상디코딩장치,화상데이타전송방법및기록매체 | |
| JP4487900B2 (ja) | 画像処理システム | |
| EP1298934A1 (en) | Apparatus and method for image coding and decoding | |
| JP2001077700A (ja) | 画像圧縮装置及び画像伸張装置 | |
| KR100598754B1 (ko) | 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체 | |
| JP2001339724A (ja) | 画像符号化装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |