JPH0373671A - 画像符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

本発明は、連続して入力される複数枚の画面よりなる原
画像を符号化する画像符号化方式に関するものである。

【従来の技術】

従来より、１枚の画面内での画素間の相関を利用して画
像データを圧縮する画像符号化方式として、２次元外挿
予測離散サイン変換符号化方式（以下、ＥＰ−ＤＳＴ方
式と略称する）が知られてり）る（特願昭６２−２４０
５５号等）。 この画像符号化方式では、第８図に示すように、入力さ
れた１枚の画面よりなる原画像を第１記憶手段２１によ
り記憶し、原画像を水平方向と垂直方向とにそれぞれ所
定数の画素を含む２次元ブロックに分割する。原画像よ
り得られた２次元プロ・ツクの画素信号列は、符号化後
すでに復元されてし）る２次元ブロックに基づいて予測
された予測信号列との差分が取られて予測誤差列が生成
され、２次元離散サイン変換手段２２によって、予測誤
差列に対して水平方向と垂直方向との２次元離散サイン
が施されて変換係数列が求められる。この変換係数列に
対して、量子化手段２３では、量子化インデックスを与
え、符号化手段２４では、量子化インデックスを符号化
し圧縮符号として出力するのである。一方、量子化イン
デックスは、逆量子化手段２５により逆量子化されて変
換係数列が復元され、さらに、変換係数列には、２次元
逆離散サイン変換手段２６により、２次元逆離散サイン
変換が施されて予測誤差列が復元される。予測誤差列は
、上述した予測信号列と加算されて２次元ブロック内の
画素信号列が復元され、以後の予測に備えて第２記憶手
段２７に記憶される。こうして第２記憶手段２７に記憶
された画素信号列に基づいて、予測手段２８では予測信
号列を生成するのである。 上述のようにして得られた圧縮符号から画像を再生する
には、第９図に示すように、復号化手段３１により量子
化インデックスを復元し、逆量子化手段３２により変換
係数列を復元した後、２次元逆１ｌｌｉ散サイン変換手
段３３により予測誤差列を復元する。予測誤差列はすで
に復元され第１記憶手段３４に記憶されている２次元ブ
ロックに基づいて予測手段３５で予測された予測信号列
と加算され、２次元ブロック内の画素信号列が復元され
るのである。復元された画素信号列は、以後の予測に備
えて第１記憶手段３４に記憶されるとともに、第２記憶
手段３６にも記憶され、第２記憶手段３６にＩＷ面内の
すべての２次元ブロックが格納されると、元の画面が復
元されるのである。 ところで、画像を符号化する際および画像を再生する際
にそれぞれ用いられる予測手段２８．３５では、符号化
後にすでに復元されている画像信号列に基づいて予測信
号列を得るのであって、１画素の予測値は、第１０図の
ように、隣接する画素のうちで上隣の画素および左隣の
画素に基づいて与えられる。すなわち、左隣の画素値が
ＰＩ、上隣の画素値がＰ２であるとして、予測係数をａ
ｔ。 ａ２とすれば、目的とする画素の予測値文は、文＝　ａ
　＋　Ｐ　＋　＋　ａ　２　Ｐ　２として与えられる。 ただし、符号化および復号化に際しては、画面の左から
右に向かって処理が施され、１行の処理が終了すると１
段下がった後、再び左から右に向かって処理が施される
ようになっている。したがって、第１０図に破線で囲ん
だブロックＢについて、上隣と左隣とのブロックはすで
に復元されているのであり、予測を行うブロックＢ内の
画素（○で表している）のうち境界部分に位置している
画素については、すでに復元されているブロック内の画
素〈口で表している）を用いて予測される。また、境界
部分以外の位置の画素については、ブロックＢ内の画素
に対して左から右に向かって予測値が順次与えられ、１
行の予測値が与えられると１段下がった後、再び左から
右に向かって予測値が順次与えられるから、演算済みの
予測値に基づいて他の予測値を演算することができる。 量子化手段２３では、変換係数列の各変換係数の振幅値
に対して、第１１図に示すような関係で量子化インデッ
クスを与えるようになっている。 ここに、Ｔは変換係数を基準化する際の倍率である。こ
のようにして量子化インデックスを与えると、変化係数
が同区Ｉｍ（−Ｔ、Ｔ）の範囲にあれば、量子化インデ
ックスがＯになる。符号化手段４では、このような変化
係数を無意係数とし、それ以外の有意係数と区別する。 有意係数の量子化インデックスに対しては第１の可変長
符号を割り当てる。また、有意係数を１、無意係数をＯ
とすれば。 第１２図に示すように、２次元ブロックＢ内での有意係
数と無意係数との配置パターンが得られるから、この配
置パターンに対して、それぞれ第２の可変長符号を割り
当てるのである。たとえば、第１２図（ａ）　〜（ｃｆ
）に対しては、それぞれ「Ｏ」、「１０」、ｒｌｌＯＪ
、ｒｌｌｌＪなどの可変長符号を与えるとよい０以上の
ようにして、第１の可変長符号と第２の可変長符号とに
よる圧縮符号が出力されるのである。

【発明が解決しようとする課題】

上記従来構成によれば、１枚の画面の中での画素間の相
関を外挿予測と離散サイン変換とにより除去することが
できるから、静止画像では効率よく画像を圧縮符号化す
ることができる。しかしながら、連続して入力される複
数枚の画面からなる動画像では、各画面間に相関を有し
ているから、１画面内で２次元の外挿予測と離散サイン
変換とを行っているだけでは、各画面間の相関を除去す
ることができず、冗長度が大きくなり高い圧縮効率が得
られないという問題があった。 本発明は上記問題点の解決を目的とするものであり、連
続して入力される複数枚の画面からなる動画像のような
Ｍ画像に対して高い圧縮効率が得られるようにした画像
符号化方式を提供しようとするものである。

【課題を解決するための手段】

本発明では、上記目的を遠戚するために、連続して入力
される複数枚の画面よりなる原画像を記憶し、原画像を
水平方向と垂直方向と時間方向とについてそれぞれ所定
数の画素を含んだ３次元ブロックに分割し、符号化後す
でに復元された３次元ブロックに基づいて得られた予測
信号列と原画像より得られた３次元ブロック内の各画素
信号列との差を求めて予測誤差列を生成した後、予測誤
差列に対して水平方向と垂直方向と時間方向との３次元
離散サイン変換を施して変換係数列を求め、変換係数列
を量子化して量子化インデックスを付与し、量子化イン
デックスを逆量子化して変換係数列を復元した後、復元
された変換係数列に対して水平方向と垂直方向と時間方
向との３次元逆離散サイン変換を施して３次元ブロック
内の予測誤差列を復元し、復元された予測誤差列と上記
予測信号列とに基づいて復元した画素信号列を以後の予
測に備えて記憶し、上記量子化インデックスを符号化し
て出力するようにしているのである。

【作用】

上記構成によれば、連続して入力される複数枚の画面か
らなる原画像を水平方向と垂直方向と時間方向とにそれ
ぞれ所定数の画素からなる３次元ブロックに分割し、３
次元ブロック内で水平方向と垂直方向とに加えて時間方
向についても、予測および離散サイン変換を施すように
しているから、画面内の相関だけでなく画面間の相関も
利用して冗長度を小さくすることができるのであり、従
来の２次元のＥＰ−ＤＳＴ方式に比較して、動画像のよ
うな原画像に対して高い圧縮効率が得られるのである。

【実施例１】 第１図に原画像を圧縮符号に変換する構成を示し、第２
図に圧縮符号から画像を再生する構成を示す、ここに、
従来構成との主な相違点は、従来構成では、水平方向と
垂直方向との２次元の要素を有する画素信号列に対する
処理であったのに対して、本発明では、時間方向にも拡
張して３次元の要素を有する画素信号列を処理するよう
にしている点にある。 したがって、第１記憶手段１は、連続して入力される複
数枚の画面よりなる原画像を記憶できるように構成され
、この原画像は、水平方向と垂直方向と時間方向とにつ
いてそれぞれ所定数の画素を有した３次元ブロックに分
割される。原画像より得られた３次元ブロックの画素信
号列は、符号化後すでに復元されている３次元ブロック
に基づいて予測された予測信号列との差分が取られて予
測誤差列が生成され、３次元離散サイン変換手段２によ
って、予測誤差列に対して水平方向と垂直方向と時間方
向との３次元離散サインが施されて変換係数列が求めら
れる。以後は、従来構成と同様に、変換係数列に対して
、量子化手段３で量子化インデックスが与えられ、符号
化手段４で量子化インデックスが符号化されて圧縮符号
として出力される。また、量子化インデックスは、逆量
子化手段５により逆量子化されて変換係数列が復元され
、さらに、復元された変換係数列が３次元逆離散サイン
変換手段６を通り、予測誤差列が復元される。復元され
た予測誤差列は、上述した予測信号列と加算されて符号
化中の３次元ブロック内の画素信号列が復元され、以後
の予測に備えて第２記憶手段７に記憶される。こうして
第２記憶手段７に記憶された画素信号列に基づいて、３
次元予測手段８で予測信号列を生成するのである。 一方、圧縮符号から画像を再生するには、第２図に示す
ように、復号化手段１１により量子化インデックスを復
元し、逆量子化手段１２により変換係数列を復元した後
、３次元逆離散サイン変換手段１３により予測誤差列を
復元する。予測誤差列はすでに復元され第１記憶手段１
４に記憶されている３次元ブロックに基づいて３次元予
測手段１５で予測された予測信号列と加算され、３次元
ブロック内の画素信号列が復元される。復元された画素
信号列は、以後の予測に備えて第１記憶手段１４に記憶
されるとともに、第２記憶手段１６にも記憶される。第
２記憶手段１６に所定数の３次元ブロックが格納される
と、元の画面を復元することができるのである。 ３次元予測手段８．１５では、第３図に示すようにして
、対象としている３次元ブロック内での各画素の予測値
を与える。ここに、第３図におけるｈ　、ｖ　、ｔはそ
れぞれ水平軸、垂直軸、時間軸を示し、斜線を施したＯ
は予測の対象となる画素、他の０は符号化後、すでに復
元されている画素を示している。また、各画素の予測は
、水平方向において左から右に向かって行われ、１行の
予測が終了すると垂直方向に１段下がり、次の行で左か
ら右に向かって予測が行われる。こうして１画面内の画
素の予測が終了すると、次は時間方向に１画面進んで次
画面が同様に処理さへるのである。 予測の対象となっている現画面を予測するには、現画面
と前画面との画素を用いる。前画面については、予測対
象の画素と同じ位置の画素Ｐ５、画素Ｐ３の左上隣の画
素Ｐ１画画素、の左隣の画素Ｐ２、画素Ｐ、の土間の画
素Ｐ、を用いる。また、現画面については、予測対象の
画素に対して、左上隣の画素Ｐ、、左隣の画素Ｐ６、土
間の画素Ｐ。 が用いられる。予測値文、は、各画素Ｐ１〜Ｐ、に対す
る予測係数をａ、〜ａｔとするときに、火、−ａ　ＩＰ
　＋　＋　ａ　ｘ　Ｐ　２　＋　ａ　３Ｐ　３　＋　ａ
　４　Ｐ　４　＋　ａ　ｓ　Ｐ　ｓ　＋　ａ　＠Ｐ　、
＋　ａ　、Ｐテとなる。この式において、Ｐ、〜Ｐ。 は同じ記号の画素の値を示している。こうして、特定の
画素に対して予測値文、が与えられると、第３図＜ｂ）
に示すように、この画素の右隣の予測値文、が演算され
る。予測値文、は、予測対象となる画素の近傍の画素Ｐ
　３．ｐ　４＋Ｐ　ｔ〜Ｐ＋ｏ、Ｘ＋の値を用いて予測
値×１と同様に演算される。３次元ブロック内の各画素
について予測値を演算しているときには、各画素につい
て符号化後に復元された値を用いると演算効率が落ちる
ので、実際には、すでに求めた予測値を各画素の復元さ
れた値に代えて用いる。また、３次元ブロックの境界部
分においてすでに復元されている３次元ブロックと隣接
している画素については、すでに復元されている３次元
ブロック内の画素も予測値を求める際に利用する１以上
のようにして、１画面の各画素の予測値を求めた後、次
画面以降について各画素の予測値を求めるのである。３
次元ブロックの水平方向と垂直方向と時間方向とにおけ
る各画素数をそれぞれに、Ｌ、Ｍとすると、３次元ブロ
ック内の全画素数に対応するＫＸＬＸＭ個の予測値が生
成されることになる。 次に、３次元離散サイン変換手段２の動作を説明する。 ここに、３次元ブロックのサイズをに＝Ｌ＝Ｍ＝４とし
て説明する。離散サイン変換は、次式の行列演算として
表される。 ［ＺＪ］＝［Ｓ、ＪコＸ　［Ｙ　ｔ］ ここに、［Ｙｌ］は入力ベクトル、［ｚ　Ｊ］は変換係
数ベクトル、［Ｓ　、］は離散サイン変換マトリクスで
ある。実際の演算にあたっては、まず、第４図（ａ）に
示すように、３次元ブロックＢ１の予測誤差列の水平方
向の各列（演算対象となっている列に斜線を施している
）をそれぞれ入力ベクトルとして、上記行列演算を各列
について行う、すなわち、合計１６回の演算が行われる
０次に、第４図（＆）の演算により得られた変換係数ベ
クトルの３次元ブロックＢ２に対して、第４図（ｂ）に
示すように、垂直方向の各列を入力ベクトルとして上記
行列演算を１６回行い、さらに、第４図（ｂ）の演算に
より得られた変換係数ベクトルの３次元ブロックＢ。 に対して、第４　図−（ｅ　）に示すように、時間方向
の各列を入力ベクトルとして上記行列演算を１６回行う
、ここにおいて、３次元離散逆サイン変換を施す場合に
は、行列演算において離散サイン変換マトリクス［ＳＩ
Ｊ］を転置行列に置き換えて、同様の行列演算を行えば
よい１以上のようにして、３次元離散サイン変換および
３次元離散逆サイン変換を行うことができるのである。 次に、量子化手段３および符号化手段４の動作を説明す
る。ここでも、Ｋ＝Ｌ＝Ｍ＝４として説明する。Ｊ量子
化手段３では、３次元離散サイン変換の結果として得ら
れた変換係数列の３次元ブロックＢ？を、第５図に示す
ように、まず４個の２次元ブロックＢｍｌ〜Ｂｍ４に分
割し、各２次元ブロックＢ□〜Ｂ１１４について、従来
例と同様にして量子化インデックスを割り当てる。また
、符号化手段４では、量子化インデックスと有意係数の
配置パターンとを可変長符号に変換して圧縮符号を得る
のである。

【実施例２】 動画像において、動きが少ない場合には、実施例１に示
した３次元予測による予測誤差が小さくなり、量子化の
際に無意係数が発生しやすくなる。 すなわち、第６図（ａ）に示すように、無意係数のみか
らなる配置パターン（以下、０パターンと呼称し、０パ
ターン以外の配置パターンを非Ｏパターンと呼称する〉
が連続して発生することになる。 ここに、第６図（ａ）中でＰ、は非０パターン、Ｐ２は
Ｏパターンを示す。 本実施例では、Ｏパターンが発生したときに、０パター
ンの連続する長さを計数してランレングス符号化を行う
ことにより、第６図（ｂ）に示すように、非０パターン
Ｐ、の間にランレングス符号Ｒを挟むようにしている。 したがって、Ｏパターンが連続して符号化されることが
なく、実施例１に比較して圧縮効率を一層高まるのであ
る。他の構成については実施例１と同様であるから説明
を省略する。

【実施例３】 本実施例では、非Ｏパターンが発生したときに、第７図
に示すように、画面上での非Ｏパターンの位置情報（た
とえば、座標など）Ｐ、を非０パターンＰ、の可変長符
号に付加している。これにより、Ｏパターンについては
符号化する必要がなくなるのである。すなわち、実施例
２と同様の効果が得られるのである。他の構成について
は、実施例１と同様であるから説明を省略する。

【発明の効果】

本発明は上述のように、連続して入力される複数枚の画
面よりなる原画像を記憶し、原画像を水平方向と垂直方
向と時間方向とについてそれぞれ所定数の画素を含んだ
３次元ブロックに分割し、符号化後すでに復元された３
次元ブロックに基づいて得られた予測信号列と原画像よ
り得られた３次元ブロック内の各画素信号列との差を求
めて予測誤差列を生成した後、予測誤差列に対して水平
方向と垂直方向と時間方向との３次元離散サイン変換を
施して変換係数列を求め、変換係数列を量子化して量子
化インデックスを付与し、量子化インデックスを逆量子
化して変換係数列を復元した後、復元された変換係数列
に対して水平方向と垂直方向と時間方向との３次元逆離
散サイン変換を施して３次元ブロック内の予測誤差列を
復元し、復元された予測誤差列と上記予測信号列とに基
づいて復元した画素信号列を以後の予測に備えて記憶し
、上記量子化インデックスを符号化して出力するように
しているのものであり、連続して入力される複数枚の画
面からなる原画像を水平方向と垂直方向と時間方向とに
それぞれ所定数の画素からなる３次元ブロックに分割し
、３次元ブロック内で水平方向と垂直方向とに加えて時
間方向についても、予測および離散サイン変換を施すよ
うにしているから、画面内の相関だけでなく画面間の相
関も利用して冗長度を小さくすることができるのであり
、従来の２次元のＥＰ−ＤＳＴ方式に比較して、動画像
のような原画像に対して高い圧縮効率が得られるという
利点を有するのである。

【図面の簡単な説明】

第１図は本発明の実施例１を示す符号化部分のブロック
図、第２図は同上の画像再生部分のブロック図、第３図
は同上における予測値の求め方を示す動作説明図、第４
図は同上における３次元離散サイン変換の演算順序を示
す動作説明図、第５図は同上における量子化手段につい
ての動作説明図、第６図は本発明の実施例２の原理説明
図、第７図は本発明の実施例３の原理説明図、第８図は
従来例における符号化部分のブロック図、第９図は同上
における画像再生部分のブロック図、第１０図は同上に
おける予測値の求め方を示す動作説明図、第１１図は同
上における量子化インデックスの与え方を示す動作説明
図、第１２図は同上における有意係数の配置パターンの
例を示す動作説明図である。 １・・・第１記憶手段、２・・・３次元離散サイン変換
手段、３・・・量子化手段、４・・・符号化手段、５・
・・逆量子化手段、６・・・３次元逆離散サイン変換手
段、７・・・第２記憶手段、８・・・３次元予測手段。

Claims (1)

【特許請求の範囲】
1. （１）連続して入力される複数枚の画面よりなる原画像
   を記憶し、原画像を水平方向と垂直方向と時間方向とに
   ついてそれぞれ所定数の画素を含んだ３次元ブロックに
   分割し、符号化後すでに復元された３次元ブロックに基
   づいて得られた予測信号列と原画像より得られた３次元
   ブロック内の各画素信号列との差を求めて予測誤差列を
   生成した後、予測誤差列に対して水平方向と垂直方向と
   時間方向との３次元離散サイン変換を施して変換係数列
   を求め、変換係数列を量子化して量子化インデックスを
   付与し、量子化インデックスを逆量子化して変換係数列
   を復元した後、復元された変換係数列に対して水平方向
   と垂直方向と時間方向との３次元逆離散サイン変換を施
   して３次元ブロック内の予測誤差列を復元し、復元され
   た予測誤差列と上記予測信号列とに基づいて復元した画
   素信号列を以後の予測に備えて記憶し、上記量子化イン
   デックスを符号化して出力することを特徴とする画像符
   号化方式。