JPH10511531A - 領域ベーステクスチュアコード化方法及びデコード方法、及び対応するシステム - Google Patents

Abstract

(57)【要約】 本発明は画像シーケンスのコード化方法に関し、この方法においては、画像が分割され、それらの輪郭及びテクスチュアに関してコード化される。テクスチュアコード化ステップは、任意の形状を有する領域の領域ベースコード化方法に適合する格子ベクトル量子化方法によって遂行される。これは、極めて低いビットレートでも良い画質を維持するために用いられる。

Description

【発明の詳細な説明】 領域ベーステクスチュアコード化方法及びデコード方法、 及び対応するシステム 本発明は、画像シーケンスの画像をコード化する方法であって、以下のステッ プ、即ち (A) 各現在画像を均一な領域に分割すること、 (B) 前記領域の輪郭をコード化すること、 (C) 前記領域のテクスチュアをコード化すること を含む方法に関する。 本発明は、更に、対応するデコード方法、及び、前記コード化方法及びデコー ド方法を実施するためのシステムに関する。 この発明は、極めて低いビットレートのビデオコード化の分野で用途を見出し ており、特に、ディジタルのオーディオ−ビジュアルデータの通信、アクセス及 び処理のための新しい方法をサポートするコード化標準ＭＰＥＧ４を実現するた めに魅力的である。 最近の画像コード化技術の中で、領域ベースの技術は極めて有望である。基本 的にそれらは３つのステップに基づく。第１は、隣接領域との境界を得るために 画像を（カラー及び／又はモーションに関して）均一な領域に分割することであ る。次に、領域の輪郭を送信することである。最後のステップにおいては、テク スチュアコード化と呼ばれるカラー情報を送信する。 領域ベーステクスチュアコード化手順の目的は、グレーレベル又は各領域の画 像境界の内側のカラー情報をコード化することである。図１に図式的に示される ように、一般的には、変換（図１においてはＴＲ）は、量子化及びコード化に更 に適している係数を得るために、オリジナル画像（ORIM）の領域のピクセルに対 して最初に実行される（例えば、テクスチュア情報を周波数空間で表されるよう にする離散コサイン変換、又は、空間／周波数平面における係数を得ることがで きる形状適合ウェーブレット変換）。次に、これらの係数が量子化され（Ｑ）、 最後にエントロピーコーダ（COD）によってビットストリームが発生され、送信 チャネル（TRCH）に送出される。デコーダ側においては、図１に示すように、逆 の操作（エントロピーデコードDEC、逆量子化Ｑ^-1、逆変換TR^-1）が実行され、 再生画像（RECIM）が得られる。 変換係数の量子化について記述された全ての技術の中で、格子ベクトル量子化 （LVQ）により、コード化コストと計算時間との間で良い釣り合いを得られるこ とが判っている。例えばT.C.ChenによるIEEE-Transactions on Communications 第38巻第５号、1990年５月、第704-714 頁の「A Lattice Vector Quantization Using a Geometric Decomposition」に記載されているこの技術は、しばしばウ ェーブレット係数を量子化するために用いられ、ブロックベース構造のフレーム ワーク中に確立されている。ベクトル量子化は、再生ベクトルの組からなるカタ ログ、言換えればコードブックに属する表現によるピクセル（以下では「ベクト ル」という）のブロックの近似に基づいている。送信及び／又は格納のために、 インデックスと呼ばれる二値コードワードがそれぞれの対象となっているデータ ベクトルに対応している。受信及びデコード側においては、従って、ベクトル量 子化器が送信されているか及び／又は格納されているインデックスにコードブッ クの再生ベクトルを対応させる。既知のLBG アルゴリズムはしばしばベクトル量 子化コードブックを設計するために用いられており、例えばY.Linde et al によ るIEEE-Transactions on Communications 第28巻第１号、1980年１月、第84-95 頁の「An Algorithm for Vetor Quantizer Design」に記載されているが、２つ の欠点を持つ。即ち、高ビットレートのためのコードブックの作成は複雑であっ て、且つ、距離に関して最良のマッチングを見出すために各ベクトルについて辞 書全体をブラウジングしなければならないので、大きいコードブック中の要素に よるベクトルの近似にかなりの処理時間が必要になる。 これらの欠点を除くため、しかしながら、カタログが格子の場合、良い効率を 有する準最適ベクトル量子化を用いることができる（この量子化は格子ベクトル 量子化、即ちLVQ と呼ぶこととする）。格子は、ｎ次元空間中で等しい距離に位 置する点のアレイである。即ち、格子は線形に独立なベクトルの組の全ての整数 の組合せからなる。例えば格子Ｄ(n)は、 で定義される。ここでａ₁,ａ₂,...,ａ_nはｍ次元の実ユークリッド空間における 前記ベクトルであり、ｘ₁,ｘ₂,...,ｘ_nはＺにおける前記ベクトルである。 何人かの著者が、格子Ｄ(n)に基づくLQV のための高速量子化アルゴリズムを 提案している。即ち、実座標におけるベクトルが２つの最近接整数ベクトルによ って近似され、コードブックにおける表示が偶数の合計を持つものである。コー ドブックにおける表示のサーチは従って大きいコードブックについても極めて簡 単である。有限のサイズのコードブックを扱うために、格子の先端を切り取る（ 実際には、以下及び図２で切取りエネルギーと称する所定のエネルギーより小さ いエネルギーのベクトルのみ保持される）ことがある。更に、最小歪みとビット レートとの間の矛盾を最適化するために格子をスケーリングする。ベクトルをコ ード化するため、スケールファクタγを用いてエネルギー一定の表面上又は表面 内にそれらを投影する。表面はラプラス分布のためのピラミッドと呼ばれ、 によって定義される。 次に、コード化側で以下の主ステップ、即ち →辞書サイズを決定するために格子の先端を切り取ること、 →コード化されるべきソースについて最大エネルギーを選択すること、 →最大エネルギー以下のエネルギーのソースベクトルを、γ＝最大エネルギー ／切取りエネルギーで除算することにより、切り取られた格子に投影すること、 →最大エネルギーより大きいエネルギーのソースベクトルを、それらを適当な 規格化パラメータαによってスケーリングすることにより、切り取られた格子の 表面に投影し、それをデコーダに送ること、 →高速量子化アルゴリズムを適用することによって決定された最近接格子ベク トルのインデックスを、デコーダに送ること を実行する。 図２は、Ｄ(2)格子に対するLVQ フェーズを図式化し、３つの入力ベクトルＸ １、Ｘ２、Ｘ３（小円で表示）及びそれらの入力ベクトルの量子化（量子化ベク トルΛＸが小正方形で表示されている）を示す図である。Ｘ１は最大エネルギー ＭＥ（点線で示されており、切り取られた部分は記号ＴＥで示されている）より 大きいエネルギーを持ち、Ｘ２は最大エネルギーに等しいエネルギーを持ち、Ｘ ３は最大エネルギーより小さいエネルギーを持つ。 逆量子化は量子化の逆の処理である。これは、(a)インデックスに対応する格 子ベクトルを見出すこと、及び(b)逆スケーリングファクタ１／γによって格子 ベクトルの再スケーリングを行うことの２つのステップに基づく。 ブロックベースの方法で取扱う場合は、変換された係数がブロックにグループ 化され、各ブロックが上記の処理によって量子化されるベクトルを形成する。例 えば、実験で度々用いられる格子Ｄ(4)の場合、LVQ によって量子化されるべき 入力ベクトルはサイズ２×２のブロックに分割される。これにより、変換された 係数の垂直及び水平相関による利点が得られる。しかしながら、領域ベースの方 法の場合は、領域が任意の形状を持つのでこの分割を実行することができない。 本発明の第１の目的は、格子ベクトル量子化（LVQ）を任意の形状を取扱う領 域ベースの方法に適合させることに基づく、新しい領域ベーステクスチュアコー ド化方法を提供することにある。 本発明はこのため、冒頭に述べたようなコード化方法において、前記テクスチ ュアコード化のステップが、各領域について実行される以下の５つの操作、即ち (a) 対象の領域を囲む最小の長方形を作成すること、 (b) その長方形をサイズが２×２のブロックに分割すること、 (c) サイズが１、２、３又は４のベクトルに変換された係数を記憶すること、 (d) ベクトルサイズに対応するコードブックを選択すること、 (e) 現在ベクトルの格子ベクトル量子化を行うこと を含み、前記係数を得るため、前もって変換された各ブロックについて操作(c) 及び(e)が遂行される方法に関する。 このような方法は、領域の効率的な分割を示し、相関関係を持つ変換された係 数のブロックを取扱いながら任意の形状に適合することができる。 本発明の他の目的は、この方法を実行ためのコード化システムを提供すること にある。 本発明はこのため、画像シーケンスの画像をコード化するシステムであって、 −各連続する現在画像の中で均一な領域を決定するための分割手段、 −前記画像の領域の輪郭及びテクスチュアをそれぞれコード化するための輪郭 及びテクスチュアコード化手段 を具えるシステムにおいて、 前記テクスチュアコード化手段が、各領域について、以下の操作、即ち (a) 対象の領域を囲む最小の長方形を作成し、前記長方形をサイズが２×２の ブロックに分離すること、 (b) サイズが１、２、３又は４のベクトルに変換された係数を記憶し、ベクト ルサイズに対応するコードブックを選択し、及び、各ベクトルの格子ベクトル量 子化を行うこと を繰り返して遂行するプロセッサを具えるシステムに関する。 本発明の他の目的は、前記コード化方法によってコード化された信号のデコー ドを行うために適した方法、及び、対応するデコードシステムを提供することに ある。 本発明はこのため、前述の方法によってコード化されたシーケンスの画像に対 応するコード化信号をデコードする方法において、 前記デコード方法が、各領域について実行される以下の５つのステップ、即ち (a) 関連する領域を囲む最小の長方形を作成すること、 (b) その長方形をサイズが２×２のブロックに分割すること、 (c) ベクトルサイズを決定すること (d) ベクトルサイズに対応するコードブックを選択すること、 (e) 格子ベクトル量子化を行うこと を含み、各ブロックについて操作(c)及び(e)を遂行する方法、及び対応するシス テムであって、 −領域の輪郭に対応するコード化信号をデコードするためのデコード手段、 −領域のテクスチュアに対応するコード化信号をデコードするためのデコード 手段、 −オリジナルの画像に対応する画像を回復するための再生手段 を具えるシステムにおいて、 前記再生手段が、前記回復のために各領域について以下の操作、即ち、 (a) 関連する領域を囲む最小の長方形を作成し、前記長方形をサイズが２×２ のブロックに分割すること、 (b) 各ブロックについて、ベクトルサイズを決定し、前記ベクトルサイズに対 応するコードブックを選択し、及び、各ベクトルについて格子ベクトル量子化を 行うこと を繰り返して遂行するプロセッサを具えるシステムに関する。 本発明のこれら及び他の観点は、以下に説明する実施例から明快になり且つ解 明されるであろう。 図面においては、 図１は、テクスチュアのコード化及びデコード構造を示す図、 図２は、Ｄ(2)格子についてLVQ コード化手順を説明する図、 図３及び４は、コード化側及びデコード側それぞれにおける形状適合格子ベク トル量子化を説明する図、 図５は、サイズ２×２のブロックへの領域分割を説明する図、 図６は、量子化されるべきベクトルの格納を説明する図である。 基本的に、提案され、詳細に説明される実行例はＤ(4)格子の使用に基づく。 しかし、これは容易に一般的な場合Ｄ(n)格子に拡張することができる。画像部 分の各領域（矢印Ａ）に対して同一の処理が実行され、図３及び４中に、それぞ れコード化側及びデコード側に対応して描かれている。 先ず、現在領域の周囲における偶数の水平及び垂直長さの最小正方形を決定す る（BSMR、最小正方形の作成）。次に、図５に現在領域CR及び前記最小正方形SM R を示すように、この正方形をサイズ２×２のブロックに分割する（正方形分割 RSPL）。各ブロックについて、変換された現在領域に属する係数を量子化される べきベクトルに格納する（係数格納CSTO）。そのサイズは係数の数に依存する（ コード化側及びデコード側で同一の走査が用いられる：左側から右側へ及び上か ら下へ、及び図６はこのステップを示す）。このように、サイズ１、２、３又は ４の量子化されるべきベクトル（ab,abc,abcd,...）が作成される。格子ベクト ル量子化に関しては、それは、量子化Ｄ(1)、Ｄ(2)、Ｄ(3)又はＤ(4)のために、 次に、現在のベクトルサイズに基づき、ベクトルサイズに対応する適当なコード ブックが選択される（コードブック選択）べきであることを意味する。最後に、 現在ベクトルの格子ベクトル量子化LVTQが遂行される。最後の３つの操作は各ブ ロック（矢印Ｂ）について実行される。 デコード処理はコード化処理に極めて類似している。領域を、それらの周囲の 最小正方形に含まれる２×２のブロックに分割（RSPL）する。次に、ベクトルサ イズを決定（DVTS）した後は、各ブロックに属するピクセルの数が、最終的な格 子ベクトル逆量子化（LVDQ）のためにどのコードブックを選択（CSEL）すべきか を示す。 本発明は、これらのコード化方法及びデコード方法に限定されるものではなく 、本発明の範囲を逸脱せずにこのコード化方法からの修正又は改善を導出するこ とができる。 同一の方法がｎ＞１としていずれかの格子Ｄ(n)と共に用いられるように、例 えば若干の変更を加えることができる。一般的な場合は、ｎ個のピクセルのブロ ックにおける現在領域の周囲の最小正方形の分割を考慮することができる。これ は、格子ベクトル量子化におけるｎ個のコードブックＤ(1),Ｄ(2),... Ｄ(n)の 使用を含む。 更に、本発明は、対応するコード化及びデコードシステムに関する。提案され たコード化方法は、例えば結線された電子モジュールにより、又は好ましくは、 コード化方法に関連して前述し且つそのような電子モジュール中で遂行されるよ うな操作に対応する一連の命令を確実に実行するプロセッサ又はマイクロプロセ ッサを含むコード化システムの形のような、種々の態様で実現できることは明ら かである。同様に、対応するデコード方法は、種々の態様、及び特に、上述の操 作に対応する命令を実行する処理手段を含むデコードシステムによって実現する ことができる。 更に、格子ベクトル量子化のためにＤ(n)型の格子が極めて頻繁に用いられる ということを指摘する必要がある。しかしながら、提案された方法は、この型の 格子に依存しない。上述の処理は、どのような格子が用いられる場合にも適用す ることができる。

Claims (1)

1. 【特許請求の範囲】 １．画像シーケンスの画像をコード化する方法であって、以下のステップ、即ち (A) 各現在画像を均一な領域に分割すること、 (B) 前記領域の輪郭をコード化すること、 (C) 前記領域のテクスチュアをコード化すること を含む方法において、 前記テクスチュアコード化のステップが、各領域について実行される以下の ５つの操作、即ち (a) 対象の領域を囲む最小の長方形を作成すること、 (b) その長方形をサイズが２×２のブロックに分割すること、 (c) サイズが１、２、３又は４のベクトルに変換された係数を記憶すること、 (d) ベクトルサイズに対応するコードブックを選択すること、 (e) 現在ベクトルの格子ベクトル量子化を行うこと を含み、前記係数を得るため、前もって変換された各ブロックについて操作(c )及び(e)が遂行される方法。 ２．画像シーケンスの画像をコード化するシステムであって、 −各連続する現在画像の中で均一な領域を決定するための分割手段、 −前記画像の領域の輪郭及びテクスチュアをそれぞれコード化するための輪郭 及びテクスチュアコード化手段 を具えるシステムにおいて、 前記テクスチュアコード化手段が、各領域について、以下の操作、即ち (a) 対象の領域を囲む最小の長方形を作成し、前記長方形をサイズが２×２の ブロックに分割すること、 (b) サイズが１、２、３又は４のベクトルに変換された係数を記憶し、ベクト ルサイズに対応するコードブックを選択し、及び、各ベクトルの格子ベクトル量 子化を行うこと を繰り返して遂行するプロセッサを具えるシステム。 ３．請求項１に記載の方法によってコード化されたシーケンスの画像に対応する コード化信号をデコードする方法において、 前記デコード方法が、各領域について実行される以下の５つのステップ、即 ち (a) 関連する領域を囲む最小の長方形を作成すること、 (b) その長方形をサイズが２×２のブロックに分割すること、 (c) ベクトルサイズを決定すること (d) ベクトルサイズに対応するコードブックを選択すること、 (e) 格子ベクトル量子化を行うこと を含み、各ブロックについて操作(c)及び(e)を遂行する方法。 ４．請求項２に記載のコード化システムによってコード化されたシーケンスの画 像に対応するコード化信号をデコードするためのシステムであって、 −領域の輪郭に対応するコード化信号をデコードするためのデコード手段、 −領域のテクスチュアに対応するコード化信号をデコードするためのデコード 手段、 −オリジナル画像に対応する画像を回復するための再生手段 を具えるシステムにおいて、 前記再生手段が、前記回復のために各領域について以下の操作、即ち、 (a) 関連する領域を囲む最小の長方形を作成し、前記長方形をサイズが２×２ のブロックに分割すること、 (b) 各ブロックについて、ベクトルサイズを決定し、前記ベクトルサイズに対 応するコードブックを選択し、及び、各ベクトルについて格子ベクトル量子化を 行うこと を繰り返して遂行するプロセッサを具えるシステム。