JP2004506355A - ウェーブレット分解に基づくビデオ符号化方法 - Google Patents

Abstract

本発明は、フレーム群に再分割されるビデオシーケンスを符号化する方法に関する。この方法は、三次元ウェーブレット分解が最適の重み付け定数を使用してリフティング方式で双直交フィルタバンクに関連して実施されるオンラインプロシージャを含む。これらの定数は、いかなる重み付け定数も用いずに同様の分解が実施される付加的なオフラインプロシージャにより決定される。

Description

【０００１】
【発明の属する技術分野】
本発明は、フレーム群（ＧＯＦ）に再分割されるビデオシーケンスに適用される符号化方法であって、
−符号化プロセスに関して入力パラメータを規定するための初期化ステップと、
−連続したフレームの対の間で動き推定及び補償を実施するための動き推定／補償ステップと、
−初期化ステップで規定された重み付け定数を使用していわゆるリフティング方式で双直交フィルタバンクを使用して３次元（３Ｄ）ウェーブレット分解を実行するための空間的時間的分解ステップと、
−こうして得られた変換係数を、３Ｄ分解に適応化された符号化方法によって符号化するための符号化ステップと、
を含むオンラインプロシージャに基づく符号化方法に関する。
【０００２】
【従来の技術】
ビデオ圧縮方式で、時間冗長性の低減は、主に２つのタイプの方法によって達成される。第１の方法であるいわゆる「ハイブリッド」又は予測的方法では、現在のフレームの予測は、以前に伝送されたフレームに基づいて計算され、予測誤差のみがイントラ符号化され、伝送される。第２の方法において、時間冗長性は、時間的変換である３Ｄ（又は２Ｄ＋ｔ）方法によって利用される。この方法は、冗長性を取り除くための空間的技法と同様である。この後者の方法によれば、フレームのシーケンスは、３Ｄボリュームとして処理される、こうして、画像符号化において多く使用される古典的なサブバンド分解は、分離可能な変換（例えばフィルタバンクにより実現されるウェーブレット又はウェーブレットパケット変換）を使用することにより３次元の空間的時間的データに拡張されることができる。３Ｄ構造には異方性があることは明らかであるが、これは、時間的及び空間的な方向において異なるフィルタバンクを使用することにより考慮することができる（通常、より長いフィルタを使用することの付加的な遅延は望ましくないので、ハール（Ｈａａｒ）フィルタが時間フィルタリングのために使用される。更にこれらは２タップフィルタであり、境界効果を示さない唯一の完全な再現直交フィルタである）。
【０００３】
この３Ｄ符号化方式の符号化効率は、時間分解のそれぞれのレベルで、低い時間的サブバンドで動き推定／補償を実施することにより改善されることができる。３Ｄサブバンド分解は、補償されたフレーム群に適用される（このフレーム群は、２の累乗のフレーム数を含まなければならず、通常は１６である）。最後の時間分解レベルでは、最も低い時間的サブバンド内に２つのフレームがある。時間的サブバンドのそれぞれのフレームでは、空間分解が実施される。
【０００４】
データの３次元構造をサブバンド符号化することは、空間的なサブバンド符号化技法の拡張として実現されることができる。画像圧縮のための最も効果的なウェーブレットに基づく方式の１つは、Ａ． Ｓａｉｄ及びＷ．Ａ． Ｐｅａｒｌｍａｎによる「Ａ ｎｅｗ， ｆａｓｔ， ａｎｄ ｅｆｆｉｃｉｅｎｔ ｉｍａｇｅ ｃｏｄｅｃ ｂａｓｅｄ ｏｎ ｓｅｔ ｐａｒｔｉｔｉｏｎｉｎｇ ｉｎ ｈｉｅｒａｒｃｈｉｃａｌ ｔｒｅｅｓ （＝ ＳＰＩＨＴ）」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ｖｏｌ．６， Ｊｕｎｅ １９９６， ｐｐ．２４３−２５０）に詳細に記載された２Ｄ ＳＰＩＨＴアルゴリズムに基づくものであり、最近では３Ｄ構造にまで拡張されている。３Ｄ符号化技法において使用される基礎的な概念は、以下の通りである。同じ位置に対応する空間的時間的ツリーが、ウェーブレットドメインにおいて形成され、これらのツリーにおけるウェーブレット変換係数は、それらの大きさのビットプレーン表現における最高位ビットのレベルにより規定される組に区分される。最終的に、最上位の残りのビットプレーンが符号化され、結果として得られたビットが伝送される。
【０００５】
元のＳＰＩＨＴアルゴリズムは、直交分解の仮説に基づくものであり、この仮説によれば、再現誤差は、サブバンド歪みの和として測定される量子化誤差に等しい（こういうわけで、各サブバンドのエネルギーに基づきビットバジェットを分散することが可能である）。更に、画像及びビデオ符号化における最善の結果は、直交フィルタを使用して達成されるのではなく、双直交フィルタを使用して達成されることが確認された（これは、双直交フィルタの対称性がペアレントと同じ空間位置にウェーブレット係数を生じさせるという事実による）。しかしながら、双直交フィルタは量子化誤差のＬ^２ノルムを保たないので、直交変換について導き出されるビット配分（ｒｅｐａｒｔｉｔｉｏｎ）は最小の再現誤差をもたらさない。
【０００６】
更に、双直交フィルタは乗算定数まで決定される。従って、完全な再現条件だけが課されるときには無限数のフィルタバンクが設計されうる。フィルタバンクのリフティングインプリメンテーションが使用される場合、ポリフェーズマトリクスＰ（ｚ）は常にファクタ（因数）に分解することが可能であることが知られている。
【数１】

ここで、ｔ_ｉ及びｓ_ｉは、Ｌａｕｒｅｎｔ多項式であり、Ｋは実定数である。この場合、合成部分に対応するデュアルポリフェーズマトリクスは次式により与えられる。
【数２】

下式により、すべてのＫについて完全な再現が保証される。
【数３】

【０００７】
【発明が解決しようとする課題】
この分解は、図１及び図２に示されるデュアル方式を通して実現される。従って、異なる因数分解及び定数Ｋの異なる価値に対応して無限数のインプリメンテーションが存在する。符号化の観点から、これらのフィルタバンクがすべて同等というわけではない。この乗算定数を選ぶための通常の基準は、１に等しいポリフェーズマトリクスの行列式を課すことであるが、この選択は、符号化性能にとって最善ではないことがある（こういうわけで、大部分の通常のアルゴリズムは概ね直交する双直交変換に基づく）。
【０００８】
従って本発明の目的は、３Ｄウェーブレット分解及び自動ビット割当て機構に基づいて、ビデオ符号化方式に関して高度な非直交ウェーブレット変換の適用可能性を改善するための技法を提案することである。
【０００９】
【課題を解決するための手段】
このために、本発明は、この説明の冒頭部分に述べたような符号化方法であって、この符号化方法が更に、
−重み付け定数を除いて、オフライン計算に関して同じタイプの入力パラメータを規定し、
−生成されるＧＯＦが元のシーケンスの表現に適応化される平均値及び標準偏差の白色ガウスノイズを含む、ランダム的なＧＯＦ生成サブステップを実行し、
−前記リフティング方式に基づき且ついかなる重み付け定数ももたない同じフィルタバンクを使用して、３Ｄウェーブレット分解を実現し、
−前記３Ｄ分解に起因する空間的時間的サブバンドの標準偏差を計算し、
−前記標準偏差をノイズの標準偏差で除算する、サブステップを含むオフライン計算からなるオフラインプロシージャを含み、最適の重み付け定数が、前記除算サブステップの出力において利用可能であり、空間的時間的サブバンドの出力を重み付けすることを可能にするために前記フィルタバンクに向けて送られることを特徴とする、符号化方法に関する。
【００１０】
こうして、サブバンドにおけるエネルギー配分に基づいて、３Ｄ分解における双直交フィルタに関する最適の重みが決定される。画像符号化のフレームワークにおいてこれらの定数を選ぶために、緩和アルゴリズムに基づくいくつかの複雑な方法が文献において既に使用されており、例としてＰ． Ｍｏｕｌｉｎによる「Ａ ｍｕｌｔｉｓｃａｌｅ ｒｅｌａｘａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ＳＮＲ ｍａｘｉｍｉｚａｔｉｏｎ ｉｎ ｎｏｎ−ｏｒｔｈｏｇｏｎａｌ ｓｕｂｂａｎｄ ｃｏｄｉｎｇ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ．４， ｎ゜９， Ｓｅｐｔｅｍｂｅｒ １９９５， ｐｐ．１２６９−１２８１）に記載されている方法がある。再現誤差を主観的により許容可能なものにするために人間の視覚システムを利用する技法が存在し、例えばＰ． Ｄｅｓａｒｔｅ他による「Ｓｉｇｎａｌ−ａｄａｐｔｅｄ ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ｔｒａｎｓｆｏｒｍ ｆｏｒ ｉｍａｇｅ ｃｏｄｉｎｇ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｈｅｏｒｙ， ｖｏｌ．３８， ｎ゜２， Ｍａｒｃｈ １９９２， ｐｐ．８９７−９０４）に記載されているような技法がある。しかし、すべてのこれらの既存のアルゴリズムは、画像符号化に関連している。ここで提案される方法、つまり以前の研究の３Ｄウェーブレット分解のケースへの拡張は、ビデオ符号化のためのものである。この方法は、いかなるタイプの線形フィルタに適用されてもよく、具体的には動き補償された時間フィルタリングのフレームワークにおいて適用されてもよい。
【００１１】
【発明の実施の形態】
以下、本発明について添付の図面を参照して例示により説明する。
【００１２】
図１には、ＳＰＩＨＴのような符号化アルゴリズムがあとに続く３Ｄウェーブレット分解に基づく従来のビデオ符号化方式が示されている。連続したフレームＦ（１）、Ｆ（２）、…、Ｆ（ｎ）、…を含む元のビデオシーケンスは、ガウスの白色ノイズ（通常の法則に従う独立同分布の確率変数）を含む、圧縮する際に使用されるものと同じサイズのフレーム群（ＧＯＦ、ｇｒｏｕｐ ｏｆ ｆｒａｍｅｓ）に再分割される。入力パラメータが、初期化ステップ１１（ＩＮＩＴ）で規定される（ＧＯＦフレームの数、ウェーブレットタイプ、サブ最適の重み）。符号化方式は更に、動き推定／補償ステップ１２（ＭＥＣＰ，ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ／ｃｏｍｐｅｎｓａｔｉｏｎ）と、サブ最適定数をもつフィルタバンクを使用する３Ｄ空間的時間的分解ステップ１３（ＳＴＤＥ，ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）と、ＳＰＩＨＴのような符号化ステップ１４（ＳＥＮＣ）と、を連続して含む。符号化ステップ１４の出力において、符号化されたビットストリーム（ＥＮＣＢ）が利用可能となる。
【００１３】
本発明による包括的なビデオ符号化方式が図２に示されている。このビデオ符号化方式は、上述したステップ１１乃至１４と同様のステップ２１、２２、２３、２４を含み、以下のやり方で変更されている。図１の連続したステップに従って実行されるオンライン計算ＯＮＬＣに関して、３Ｄ空間的時間的分解ステップで使用される重み付け係数の計算処理を最適化するために、オフライン計算が導入される。この分解ステップ２３は、最適の定数をもつ重み付けされたフィルタバンクを使用する。図２の左側部分のモジュール２３０に表されているこれらのオフライン計算ＯＦＬＣについてここで説明する。
【００１４】
まず、図１の方式に関して上述したように、入力パラメータが、規定サブステップ２３１（ＩＮＩＴ）の間に規定され（ＧＯＦフレーム数、ウェーブレットタイプ、…）、そののちランダムなＧＯＦ生成サブステップ２３２（ＧＯＦＧ）が続く。ガウスのホワイトノイズに関して、元の画像は、８ビットで（すなわち０から２５５までの範囲の値により）表現されるので、１２８に等しい平均値及び３２に等しい標準偏差をもつガウス分布が選択された。従って、それぞれのフレーム内の値は、以下の方程式を満たす。
Ｆ（ｍ， ｎ） ＝ （３２ ｘ Ｎ（ｍ， ｎ）） ＋ １２８
ここで、Ｎ（ｍ，ｎ）は、ゼロ平均値及び一標準偏差をもつガウスのホワイトノイズである。この条件は、ほぼすべての生成された値が係数の入力値が位置する間隔（０，２５５）の中にあることを確実にする（それにもかかわらず、係数のダイナミックレンジのほぼ全体を便利な信頼区間に含める条件が満たされるとすぐに、分布の平均値及び標準偏差の正確な値は重要でなくなることに注意されたい）。
【００１５】
そののちウェーブレット分解サブステップ２３３（ＷＡＶＤ）が与えられる。このステップは、例えばＩ． Ｄａｕｂｅｃｈｉｅｓ及びＷ． Ｓｗｅｌｄｅｎｓによる「Ｆａｃｔｏｒｉｎｇ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍｓ ｉｎｔｏ ｌｉｆｔｉｎｇ ｓｔｅｐｓ」（Ｂｅｌｌ Ｌａｂｏｒａｔｏｒｉｅｓ ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ， Ｌｕｃｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ， １９９６）に記載されているリフティング方式を使用する。ランダム的に生成されたＧＯＦは、いかなる重み付け定数ももたないフィルタ（Ｋ＝１）を使用して分解される。そののちサブステップ２３４（ＳＴＤＣ）は、結果として得られる空間的時間的サブバンドの標準偏差を計算することを可能にする。これらの標準偏差は、除算サブステップ２３５（ＤＩＶ）の出力において分解ステップ２３に送信されるべき最適の重み付けを得るために、３２（ノイズの標準偏差）で除算される（実際に、各サブバンドにおける係数を当該サブバンドに対応する標準偏差で除算することにより、それぞれのサブバンドの一標準偏差を与える。これは、正規直交分解の場合のように、各サブバンドにおけるエネルギーが１に等しいことを意味する）。
【００１６】
この最適のエネルギー配分は、最終的に、正規直交分解によって暗示されるものと同じ仮説の下で、符号化ステップ２４においてＳＰＩＨＴアルゴリズムを使用することを可能にする。係数は、ビットプレーン毎に送信され、再現誤差は、量子化誤差に等しい。これは、所与のフィルタバンクについて最大の符号化利得をもたらす。
【００１７】
上述したように、本技法は、重み付け係数を計算するために、動き推定及び補償をもたない元のランダム的ＧＯＦに適用された。これらの定数が一旦得られると、空間的時間的分解が動き補償されたＧＯＦに適用される。この技法は、時間分解が動きの方向において直交する必要があるという事実により正当化される。実際に、動き補償の後に時間フィルタリングを実施することにより、同じ軌跡に属するポイントのみが共にフィルタリングされる。
【図面の簡単な説明】
【図１】ＳＰＩＨＴのような符号化アルゴリズムがあとに続く３Ｄウェーブレット分解に基づく包括的なビデオ符号化方式を示す図。
【図２】本発明により、３Ｄ空間的時間的分解に関して最適の重み付け定数を計算するために実行される連続する演算に再分割されるフィルタバンク最適化ステップを含む包括的なビデオ符号化方式を示す図。

Claims (3)

1. フレーム群に再分割されるビデオシーケンスに適用されるとともに、
   符号化プロセスに関して入力パラメータを規定するための初期化ステップと、
   連続するフレームの対の間で動き推定及び補償を実施するための動き推定／補償ステップと、
   前記初期化ステップで規定される重み付け定数を使用していわゆるリフティング方式で双直交フィルタバンクを使用して三次元ウェーブレット分解を実行するための空間的時間的分解ステップと、
   このように得られた変換係数を符号化するための符号化ステップと、
   を含むオンラインプロシージャに基づく符号化方法であって、前記符号化方法が更に、
   前記重み付け定数を除き、オフラインプロシージャに関して同じタイプの入力パラメータを規定するサブステップと、
   生成されるフレーム群が、元のシーケンスの表現に適応化された平均値及び標準偏差の白色ガウスノイズを含む、ランダム的なフレーム群生成サブステップを実行するサブステップと、
   前記リフティング方式に基づき、いかなる重み付け定数ももたない同じフィルタバンクを使用して、三次元ウェーブレット分解を実現するサブステップと、
   前記三次元分解に起因する空間的時間的サブバンドの標準偏差を計算するサブステップと、
   前記標準偏差をノイズの標準偏差で除算するサブステップと、
   を含むオフライン計算からなるオフラインプロシージャを含み、最適な重み付け定数は、前記除算サブステップの出力で利用可能であり、前記空間的時間的サブバンドの出力を重み付けすることを可能にするために前記フィルタバンクに向けて送られることを特徴とする、符号化方法。
2. 前記符号化方法がいわゆるＳＰＩＨＴアルゴリズムである、請求項１に記載の符号化方法。
3. ０から２５５までの値をもつ８ビットで表現される元のビデオシーケンスに関して、輝度成分について１２８の平均値及び３２の標準偏差が使用され、クロミナンス成分について１２８の平均値及び２０の標準偏差が使用される、請求項１又は２に記載の符号化方法。