JPH0785287A

JPH0785287A - 予測符号化装置およびその復号装置

Info

Publication number: JPH0785287A
Application number: JP18443493A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Hideo Nakaya; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-06-29
Filing date: 1993-06-29
Publication date: 1995-03-31
Anticipated expiration: 2019-07-14
Also published as: JP3543339B2

Abstract

(57)【要約】【目的】ディジタル画像信号の予測符号化において推
定値の精度を向上する。【構成】時系列変換回路１２により過去の複数の画素
データがまとめられ、過去の画素データが最小二乗法の
演算回路１３に供給され、また、その一部がクラス分類
回路１４に供給される。演算回路１３は、クラス分類回
路１４の出力で指示されるクラス毎に、過去の画素デー
タと係数の線形１次結合で未来の画素データを予測した
時に、誤差の二乗を最小とする係数を決定する。係数メ
モリ１５内の係数は、入力画像に応じて決定された係数
で更新される。推定値生成回路１６は、係数と過去の画
素データとにより推定値を生成する。この推定値と実際
の値との差分値が減算回路１８から発生し、この差分値
が圧縮符号化されて伝送される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ディジタル画像信号
の予測符号化装置およびその復号装置に関する。

【０００２】

【従来の技術】ディジタル画像信号の高能率符号化の一
つである予測符号化（ＤＰＣＭとも称される）が知られ
ている。従来の予測符号化では、水平方向および／また
は垂直方向の相関性に基づいた予測式によって推定値を
形成し、真値と推定値との差分値を量子化している。推
定値を得るための予測方法は、種々のものが知られてい
るが、予測式が固定であるのが普通であった。さらに、
推定値を形成する時に動き補償予測を行うものも知られ
ている。

【０００３】

【発明が解決しようとする課題】予測式が固定の場合で
は、画像の内容によっては、推定誤差が非常に大きくな
り、符号化効率の低下、符号化誤差の増大が生じた。ま
た、動き補償を行うためには、動きベクトルを検出する
必要があり、そのためのハードウエアの規模が大きくな
る問題があった。

【０００４】従って、この発明の目的は、推定精度を向
上させることができ、符号化効率および画質を改善でき
る予測符号化装置およびその復号装置を提供することに
ある。

【０００５】

【課題を解決するための手段】この発明は、ディジタル
画像信号の過去のデータから形成された予測値と真値と
の差分値を伝送する予測符号化装置において、予め用意
された複数の入力画像データ、または到来する入力画像
データを使用し、その中の過去のデータのパターンに応
じたクラスを形成し、クラス毎に最小二乗法により決定
された係数を出力するための回路と、過去のデータと係
数との線形１次結合によって未来のデータの推定値を発
生するための回路と、推定値とその真値との間の差分値
を形成するための回路と、差分値を伝送するための回路
とからなる予測符号化装置である。

【０００６】また、この発明は、上述の符号化装置の符
号化出力を受信し、復号する復号装置である。すなわ
ち、この発明の復号装置は、符号化装置におけるものと
同一の係数を出力するための係数発生回路と、順次復号
された過去の復号画像データのクラス分類を行ない、そ
のクラスの係数を係数発生回路から取り出し、係数と復
号画像データとから推定値を生成するための回路と、推
定値に対して受信差分値を加えることによって復号画像
を生成するための回路とからなる。

【０００７】

【作用】過去の時空間の画素データと係数の線形１次結
合によって未来の画素の推定値を形成する。この場合、
過去のデータをクラス分類し、クラス毎に最適な係数が
最小二乗法により予め学習により決定されるか、入力画
像データを常に学習しながら決定される。推定値と真値
との差分値が伝送される。復号側では、復号された過去
の画像データのクラス分類を行ない、クラスの係数と復
号画像データとから推定値を生成し、受信差分値と推定
値とを加算する事によって、復号画像が生成される。ク
ラス毎に係数が決められているので、推定値と実際の値
との差を小とできる。

【０００８】

【実施例】以下、この発明による予測符号化装置につい
て説明する。この発明の理解を容易とするために、ま
ず、時空間モデルで画像を記述することについて、図１
を参照して説明する。

【０００９】図１において、Ｔ１、Ｔ２は、時間的に連
続する２フレームを示し、Ｔ１が過去のフレーム、Ｔ２
が現在のフレームである。これらのフレーム中で、推定
値の生成およびクラス分類のために使用する画素が図に
示されている。×で示す現在フレーム内の未来の画素を
図１に示す画素の値ｘ_iと係数ｗ_i（ｉ＝１，２，・・
・，ｎ）のｎタップの線形１次結合モデルで表現する。
この係数が予測係数である。そして、以下により詳細に
説明するように、画素の値ｘ_iと係数ｗ_iの線形１次結
合で表現される未来の画素の推定値ｙの真値に対する誤
差の二乗が最小となるように、係数が最小二乗法で決定
される。１フレーム毎およびクラス毎に１組の係数が確
定される。

【００１０】図１に示す時空間モデルの例では、ｎ＝１
６である。現在フレームＴ２の未来の画素の予測値ｙ
は、１６タップの入力画素の線形１次結合ｗ₁ｘ₁＋ｗ
₂ｘ₂＋・・・＋ｗ₁₆ｘ₁₆によって表される。この線形
１次結合モデルにおける係数ｗ_iについては、実際の値
と線形１次結合で表される推定値との残差が最小になる
ものが求められる。

【００１１】この未定係数ｗ_iを決定するために、入力
画像を空間方向（水平方向および垂直方向）に１画素ず
つずらした時の図１に示す各画素の値ｘ_i（ｉ＝１，・
・・，ｎ）と予測対象画素の実際の値ｙ_j（ｊ＝１，・
・・，ｍ）をそれぞれ代入した線形１次結合の式を作成
する。例えば１フレームに対して１組の係数を求める時
には、入力画像を１画素ずつシフトすることによって、
非常に多くの式、すなわち、１フレームの画素数（＝
ｍ）の連立方程式（観測方程式と称する）が作成され
る。１６個の係数を決定するためには、最低で（ｍ＝１
６）の連立方程式が必要である。方程式の個数ｍは、精
度の問題と処理時間との兼ね合いで適宜選定できる。観
測方程式は、ＸＷ＝Ｙ（１）である。ここでＸ、Ｗ、Ｙは、それぞれ下記のような行
列である。

【００１２】

【数１】

【００１３】係数ｗとして、実際の値との誤差を最小に
するものを最小二乗法により求める。このために、観測
方程式の右辺に残差行列Ｅを加えた下記の残差方程式を
作成する。すなわち、最小二乗法において、残差方程式
における残差行列Ｅの要素の二乗、すなわち二乗誤差が
最小になる係数行列Ｗを求める。

【００１４】

【数２】

【００１５】次に、残差方程式（３）から係数行列Ｗの
各要素ｗ_iの最確値を見いだすための条件は、ブロック
内の画素に対応するｍ個の残差をそれぞれ二乗してその
総和を最小にする条件を満足させればよい。この条件
は、下記の式（４）により表される。

【００１６】

【数３】

【００１７】ｎ個の条件を入れてこれを満足する係数行
列Ｗの要素である未定係数ｗ₁，ｗ₂，・・・，ｗ_nを
見出せばよい。従って、残差方程式（３）より、

【００１８】

【数４】

【００１９】となる。式（４）の条件をｉ＝１，２，・
・・，ｎ）について立てれば、それぞれ

【００２０】

【数５】

【００２１】が得られる。式（３）と式（６）から、下
記の正規方程式が得られる。

【００２２】

【数６】

【００２３】正規方程式（７）は、丁度、未知数の数が
ｎ個だけある連立方程式である。これにより、最確値た
る各未定係数ｗ_iを求めることができる。正確には、式
（７）における、ｗ_iにかかるマトリクスが正則であれ
ば、解くことができる。実際には、Gauss-Jordanの消去
法（別名、掃き出し法）を用いて未定係数ｗ_iを求めて
いる。このようにして、未来の画素を表すための係数が
１フレームで１組確定する。多数フレームの入力画像を
使用して上述と同様の学習を行う時には、各フレームで
確定した係数の平均値、あるいは最大出現頻度の係数が
係数メモリ５に格納される。

【００２４】この実施例は、学習によって決定された係
数を予測係数として使用し、予測符号化を行う。この場
合、推定精度を向上するために、入力画像のクラス分類
（クラスタリング）を行う。図１において、○で示す画
素が線形１次結合モデルに使用したものを示し、◎が示
す画素がモデルおよびクラス分類に使用した画素を示
す。つまり、１６画素中の４画素がクラス分類にも使用
される。

【００２５】４画素のそれぞれが８ビットであると、４
画素の値の組合せが非常に多くなり、現実的なクラス分
類とは言えない。そこで、後述するように、この４画素
のそれぞれのビット数を符号化により圧縮している。よ
り具体的には、ＡＤＲＣ（ダイナミックレンジに適応し
た符号化）によって、各画素を１ビットのコードに圧縮
する。その結果、２⁴＝１６通りのクラスを取り扱えば
良い。クラスを指示するコードをインデックスと称す
る。ＡＤＲＣに限らず、ベクトル量子化によって、画素
のビット数を減少させることもできる。さらに、各画素
の最上位ビットを集めてインデックスとしても良い。こ
のように、予測画素の近傍の４画素をそれぞれ１ビット
に正規化した４ビットのコードによってクラス分類する
ことは、画像の時空間における変化の概略のパターン形
状に応じてクラス分類を行ったことを意味する。

【００２６】図２は、学習のための構成の一例を示す。
図２において、１で示す入力端子に入力画像データが供
給される。入力画像データとしては、異なる絵柄の多数
の静止画像データが好ましい。入力画像データが時系列
変換回路２および最小二乗法の演算回路３に供給され
る。時系列変換回路２は、ラスター走査の入力画像デー
タ中の線形１次結合モデルおよびクラス分類に使用され
る複数の画素データを同時化する。

【００２７】この時系列変換回路２の出力データが演算
回路３およびクラス分類回路４に供給される。クラス分
類回路４は、上述のように、画像の３次元の変化に対応
するインデックスを発生する。このインデックスが演算
回路３に供給される。演算回路３は、図１に示される時
空間モデルに関して、上述した最小二乗法のアルゴリズ
ムによって、インデックスで指示されるクラス毎に１組
の係数ｗ_iを決定する。この係数が係数メモリ５に格納
される。

【００２８】図３は、この発明による予測符号化のエン
コーダの一例の構成を示す。図３において、１５で示す
係数メモリには、上述の学習により獲得された係数がク
ラス毎に格納されている。入力端子１１からの入力画像
データが時系列変換回路１２に供給され、その出力デー
タがクラス分類回路１４および推定値生成回路１６に供
給される。時系列変換回路１２は、ラスター走査の順序
に従って入力された画素データを図１に示すように、過
去において順次伝送されてくる画素と未来に伝送されて
くる画素をひとまとめにして同時に出力する。クラス分
類回路１４には、クラス分類に使用する４画素のデータ
が供給される。クラス分類回路１４からのインデックス
が係数メモリ１５に供給され、クラスに対応する１組の
係数がメモリ１５から読出される。

【００２９】この読出し係数が推定値生成回路１６に供
給され、時系列変換回路１２からの画素データを使用し
て、推定値が生成される。この推定値が減算回路１８に
供給される。減算回路１８の他の入力として、遅延回路
１７を介された入力画像データが供給される。時系列変
換回路１２、クラス分類回路１４、係数メモリ１５、推
定値生成回路１６がローカルデコーダを構成する。減算
回路１８によって、真値（実データ）と推定値との差分
値が生成される。

【００３０】この差分値が圧縮符号化のためのエンコー
ダ１９により符号化され、符号化出力（コード）が出力
端子２０に取り出される。圧縮符号化としては、一例と
して、適応量子化によってビット数を削減した後、生起
確立に基づいて予め求められたハフマン符号によってエ
ントロピー符号化を行う。さらに、エンコーダ１９に対
してリフレッシュ用に画素値そのものが供給され、所定
の伝送データ毎に画素値が挿入される。圧縮符号化とし
ては、他のものを採用できる。例えば差分値をブロック
化した後、ＤＣＴ変換のような直交変換を行ない、そし
てエントロピー符号化を行っても良い。圧縮符号化出力
が伝送、あるいは記録される。

【００３１】図３の例では、前もってなされる学習によ
り獲得された汎用性のある係数を使用している。図４に
示すエンコーダは、係数を入力画像と関連して更新する
ことを可能とした構成である。すなわち、学習のための
ものと同様の最小二乗法の演算回路１３を設け、演算回
路１３からの係数で係数メモリ１５を更新することを可
能としている。より具体的には、クラス分類回路１４か
らのインデックスが演算回路１３および係数メモリ１５
に供給され、入力画像データが演算回路１３に供給さ
れ、演算回路１３からの確定係数が係数メモリ１５に対
して供給されている。入力画像の１フレーム毎に限ら
ず、かなり多くのフレームを学習した結果に基づいて係
数を更新する構成としても良い。また、図４の係数メモ
リに予め学習で決定された係数を格納し、これを入力画
像によって変更するようにしても良い。図４の例では、
係数メモリ１５の内容が変化するので、出力端子２１に
取り出された係数データをコードと共に伝送する必要が
ある。図４の構成において、最小二乗法の演算回路１３
を選択的に動作させるようにしても良い。

【００３２】次に、学習時およびエンコーダにおいて使
用される各回路のより詳細な構成について説明する。図
５は、クラス分類回路４、１４の一例である。入力画像
データ（４画素のデータ）が１ビットＡＤＲＣ回路２７
に順次供給される。ＡＤＲＣ回路２７では、４画素の値
の最大値および最小値が検出され、最大値と最小値の差
であるダイナミックレンジＤＲが検出される。このダイ
ナミックレンジＤＲによって各画素の値が割算される。
その商が０．５と比較され、商が０．５以上の時に`1'
、０．５より小の時に`0' のコードが形成される。

【００３３】ＡＤＲＣ回路２７によって、各画素の値が
１ビット（`0' または`1' ）に圧縮される。このＡＤＲ
Ｃ回路２７の出力がシフトレジスタ２８によって直列並
列変換される。シフトレジスタ２８からの各１ビットの
Ｌ１、Ｌ２、Ｌ３、Ｌ４がレジスタ２９に格納される。
この４ビット（Ｌ１，Ｌ２，Ｌ３，Ｌ４）がインデック
スである。

【００３４】図６は、最小二乗法の演算回路３、１３の
より詳細な構成を示す。入力ディジタル画像信号が供給
され、時空間モデルを構成するデータ、すなわち、対象
画素の実データｙと線形１次結合に使用するデータｘ_i
を同時化するための時系列変換回路３１が設けられてい
る。時系列変換回路３１からのデータが乗算器アレー３
２に供給される。乗算器アレー３２に対して加算メモリ
３３が接続される。インデックスがデコーダ３５に供給
され、デコーダ３５からのクラス情報が加算メモリ３３
に供給される。これらの乗算器アレー３２および加算メ
モリ３３は、正規方程式生成回路を構成する。

【００３５】乗算器アレー３２は、各画素同士の乗算を
行ない、加算メモリ３３は、乗算器アレー３２からの乗
算結果が供給される加算器アレーとメモリアレーとで構
成される。図７は、乗算器アレー３２の具体的構成であ
る。図７において、その一つを拡大して示すように、四
角のセルが乗算器を表す。乗算器アレー３２において各
画素同士の乗算が行われ、その結果が加算メモリ３３に
供給される。

【００３６】加算メモリ３３は、図８に示すように、加
算器アレー３３ａとメモリ（またはレジスタ、以下同
様）アレー３３ｂとからなる。クラスの個数と等しい個
数のメモリアレー３３ｂの並列回路が加算器アレー３３
ａに対して接続されている。インデックスデコーダ３５
からの出力（クラス）に応答して一つのメモリアレー３
３ｂが選択される。また、メモリアレー３３ｂの出力が
加算器アレー３３ａに帰還される。これらの乗算器アレ
ー３２、加算器アレー３３ａ、メモリアレー３３ｂによ
って積和演算がなされる。インデックスによって決定さ
れるクラス毎にメモリアレーが選択されて、積和演算の
結果によってメモリアレーの内容が更新される。

【００３７】なお、前述の正規方程式（７）のｗ_iにか
かる積和演算の項を見ると、右上の項を反転すると、左
下と同じものとなる。従って、（７）式を左上から右下
に向かう線によって斜めに分割し、上側の三角形部分に
含まれる項のみを演算すれば良い。この点から乗算器ア
レー３２、加算器アレー３３ａ、メモリアレー３３ｂ
は、図７および図８に示すように、上側の三角形部分に
含まれる項を演算するのに必要とされる、乗算セルある
いはメモリセルを備えている。

【００３８】以上のようにして、入力画像が到来するに
従って積和演算が行われ、正規方程式が生成される。ク
ラス毎の正規方程式の各項の結果は、クラスとそれぞれ
対応するメモリアレー３３ｂに記憶されており、次に図
６に示すように、この正規方程式の各項が掃き出し法の
ＣＰＵ演算回路３４に計算される。ＣＰＵを用いた演算
によって正規方程式（連立方程式）が解かれ、最確値で
ある係数が求まる。この係数が出力される。

【００３９】図９は、係数メモリ１５および推定値生成
回路１６の一例の構成である。係数メモリ１５は、各ク
ラスの係数組を記憶し、インデックスデコーダ３６から
のクラス識別信号により選択された係数組を出力する。
この係数組ｗ₁〜ｗ_nがレジスタをそれぞれ介して乗算
器３７₁〜３７_nにその一方の入力として供給される。
乗算器３７₁〜３７_nの他方の入力としては、時系列変
換回路３８によりまとめられた画素データｘ₁〜ｘ_nが
供給される。乗算器３７₁〜３７_nの出力が加算器３９
で加算される。加算器３９からは、推定値ｙ（＝ｘ₁ｗ
₁＋ｘ₂ｗ₂＋・・・・＋ｘ_nｗ_n）が得られる。

【００４０】上述のように符号化されたデータを受信あ
るいは再生し、受信データが図１０に示すデコーダに供
給される。４１で示す入力端子からの受信コードが圧縮
符号化のデコーダ４３に供給され、４２で示す入力端子
からの受信係数が係数メモリ４４に供給される。係数メ
モリ４４は、クラス分類回路４５からのインデックスに
応答してクラスと対応する係数を出力する。学習によっ
て得られた係数を変更しない時には、係数メモリ４４の
内容が変更されない。係数メモリ４４の内容は、送信側
のものと同一とされることが必要である。係数が推定値
生成回路４６に供給される。

【００４１】デコーダ４３からは、復号差分データが得
られ、これが加算器４７に供給される。また、リフレッ
シュ用に挿入されている画素値は、推定値生成回路４６
に供給され、推定値の生成に用いられる。加算器４７
は、復号差分値と推定値生成回路４６からの推定値とを
加算し、復号値を発生する。この復号値が時系列変換回
路４８および４９に供給される。時系列変換回路４８
は、推定に必要な複数の復号画素データをまとめる。時
系列変換回路４９は、復号データをテレビジョンのラス
ター走査の順序に復号データの順序を変換する。出力端
子５０に復号データが発生する。

【００４２】時系列変換回路４８からの復号画素データ
が推定値生成回路４６に供給され、また、クラス分類に
必要な復号画素データがクラス分類回路４５に供給され
る。クラス分類回路４５は、上述したように、１ビット
ＡＤＲＣ回路の構成であり、そこからのインデックスが
係数メモリ４４に供給される。かかる図１０に示すデコ
ーダ中の各回路の構成は、エンコーダについて説明した
ものと同様であり、その説明は、省略する。

【００４３】なお、この発明では、時空間モデルとして
は、図１に示すものに限られない。線形１次結合のタッ
プ数を増やすことで、空間的な広がりが増し、誤差を減
少できる。もっとも、タップ数の増大は、計算時間の増
加をもたらす問題がある。

【００４４】

【発明の効果】以上の説明からも明らかなように、この
発明においては、過去のデータのパターンに応じたクラ
スを形成し、このクラスに対応する係数を算出し、この
係数と過去のデータとの線形１次結合によって推定値を
作成する。従って、クラス毎に最適な推定値を形成でき
るので、推定精度が向上し、符号化効率ならびに画質を
向上することができる。

【図面の簡単な説明】

【図１】この発明の一実施例における時空間モデルを説
明するための略線図である。

【図２】この発明による予測符号化回路の係数を決定す
るためになされる学習のための構成の一例を示すブロッ
ク図である。

【図３】この発明による予測符号化回路の一例のブロッ
ク図である。

【図４】この発明による予測符号化回路の他の例のブロ
ック図である。

【図５】クラス分類回路の一例のブロック図である。

【図６】最小二乗法の演算回路の構成を示すブロック図
である。

【図７】最小二乗法の演算回路に含まれる乗算器アレー
を説明するための略線図である。

【図８】最小二乗法の演算回路に含まれる加算器アレー
およびメモリアレーを説明するための略線図である。

【図９】推定値生成回路の一例のブロック図である。

【図１０】この発明による復号装置の一例のブロック図
である。

【符号の説明】

３、１３最小二乗法の演算回路４、１４、４５クラス分類回路５、１５、４４係数メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/32 Ｈ０４Ｎ 7/137 Ｚ

Claims

【特許請求の範囲】

【請求項１】ディジタル画像信号の過去のデータから
形成された予測値と真値との差分値を伝送する予測符号
化装置において、予め用意された複数の入力画像データ、または到来する
入力画像データを使用し、その中の過去のデータのパタ
ーンに応じたクラスを形成し、上記クラス毎に最小二乗
法により決定された係数を出力するための手段と、上記過去のデータと係数との線形１次結合によって未来
のデータの推定値を発生するための手段と、上記推定値とその真値との間の差分値を形成するための
手段と、上記差分値を伝送するための手段とからなる予測符号化
装置。
【請求項２】請求項１に記載の予測符号化装置におい
て、係数を出力するための手段は、予め用意された複数の入
力画像を使用して学習を行ない、各クラスの係数を予め
算出し、算出係数が格納された記憶手段からなる予測符
号化装置。
【請求項３】予め用意された複数の入力画像データ、
または到来する入力画像データを使用し、その中の過去
のデータのパターンに応じたクラスを形成し、上記クラ
ス毎に最小二乗法により決定された係数を出力するため
の手段と、上記過去のデータと係数との線形１次結合に
よって未来のデータの推定値を発生するための手段と、
上記推定値とその真値との間の差分値を形成するための
手段と、上記差分値を伝送するための手段とからなる予
測符号化装置の復号装置において、符号化装置におけるものと同一の係数を出力するための
係数発生手段と、順次復号された過去の復号画像データのクラス分類を行
ない、そのクラスの係数を上記係数発生手段から取り出
し、上記係数と上記復号画像データとから推定値を生成
するための手段と、上記推定値に対して受信差分値を加えることによって復
号画像を生成するための手段とからなる復号装置。