JP2007511119A - 正規直交空間−時間変換のリフティングベースの実現 - Google Patents

Abstract

ビデオフレームの符号化のための方法及び装置を開示する。一実施形態においては、符号化方法は、画素のセットを、正規直交変換を用いて、ハイパスデータに一括して変換するステップを有する。画素のセットは、少なくとも１つの参照画素及び複数の予測画素を含む。符号化方法は、更に、上記少なくとも１つの参照画素及びハイパスデータを用いてローパスデータを生成するステップを有する。

Description

関連出願

この出願は、２００３年１０月２４日に出願された米国特許仮出願番号６０／５１４，３４２、２００３年１０月２４日に出願された米国特許仮出願番号６０／５１４，３５１、２００３年１１月７日に出願された米国特許仮出願番号６０／５１８，１３５、２００３年１１月１８日に出願された米国特許仮出願番号６０／５２３，４１１に関連し、これらに対する優先権を主張する。これらの文献は、引用により本願に援用される。

発明は、包括的には、ビデオデータの圧縮に関する。詳しくは、発明は、ビデオ符号化における空間−時間的な変換に関する。

著作権表示／許諾
この明細書の開示内容の一部は、著作権保護の対象となるマテリアルを含む。著作権所有者は、この明細書が特許商標庁への特許出願であると認められるファックスコピーに対しては異議を唱えないが、この他のあらゆる全ての著作権を主張する。以下の表示は、後述するソフトウェア及びデータ、並びに添付の図面に適用される。：著作権（ｃ）２００４：全ての著作権はソニーエレクトロニクスインク社に帰属する（Copyright (c) 2004, Sony Electronics, Inc., All Rights Reserved）。

現在の多くのビデオ符号化アルゴリズムは、動き補償予測符号化スキームに基づいている。このようなスキームでは、時間的な冗長性は、動き補償を用いて削減され、空間的な冗長性は、動き補償の残差（residue）を変換符号化することにより削減される。動き補償予測符号化スキームの１つの要素として、時間的な冗長性を削減するために実行される動き補償時間フィルタリング（motion compensated temporal filtering：ＭＣＴＦ）がある。

ＭＣＴＦは、通常、フレームを動きの方向に時間的にフィルタリングする処理を含む。ＭＣＴＦは、空間的な変換（例えば、ウェーブレット変換又は離散コサイン変換（ＤＣＴ））及びエントロピー符号化と組み合わせてもよく、これにより符号化されたビットストリームが生成される。

時間フィルタリングの間、シーンの動きの性質及びオブジェクトの遮蔽／非遮蔽（covering/uncovering）のために、幾つかの画素は、参照されないこともあり、複数回参照されることもある。参照されない画素は、非連結画素（unconnected pixel）と呼ばれ、複数回参照される画素は、マルチ連結画素（multiply connected pixel）と呼ばれる。既知のＭＣＴＦアルゴリズムによる非連結画素の処理では、通常、空間的処理が必要であり、このために符号化効率が低下する。マルチ連結画素の場合、既知のＭＣＴＦアルゴリズムは、通常、局所的な時間的な変換に続いて、全体的な時間的な変換を行い、これにより、変換の正規直交性が失われ、デコーダにおいて、量子化雑音伝搬現象が生じる。

ビデオフレームを符号化するための方法及び装置を開示する。本発明の一実施形態である符号化方法は、画素のセットを、正規直交変換を用いて、ハイパスデータに一括して変換するステップを有する。画素のセットは、少なくとも１つの参照画素及び複数の予測画素を含む。更に、符号化方法は、少なくとも１つの参照画素及びハイパスデータを用いてローパスデータを生成するステップを有する。

以下、添付の図面を用いて、本発明の実施例を詳細に説明する。添付の図面においては、類似する要素には、類似する参照符号を付す。添付の図面は、本発明を実現する特定の実施例を例示的に示している。これらの実施例については、当業者が本発明を実施することができるよう、詳細に説明するが、この他の実施例も可能であり、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的及びこの他の変更を行うことができる。したがって、以下の詳細な説明は、限定的には解釈されず、本発明の範囲は、添付の請求の範囲によってのみ定義される。

本発明の動作の概観を説明するために、まず、図１に符号化装置１００の一実施形態を示す。符号化装置１００は、例えば、ジョイントビデオチーム（Joint Video Team：ＪＶＴ）規格、ムービングピクチャエキスパートグループ（Moving Picture Experts Group：ＭＰＥＧ）規格Ｈ−２６ｘ規格等のビデオ符号化規格に基づくビデオ符号化を実行する。符号化装置１００は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、又は、両方の組合せにより実現してもよい。符号化装置１００をソフトウェアで実現する場合、このソフトウェアは、様々な従来のコンピュータ読取可能な媒体に保存し、配布することができる。ハードウェアの場合、符号化装置１００のモジュールは、デジタル論理（例えば、集積回路の）により実現できる。幾つかの機能は、コンピュータ周辺機器内の特定用途のデジタル論理装置によって最適化でき、ホストコンピュータの処理負担を削減することができる。

符号化装置１００は、信号受信機１０２と、動き補償時間フィルタリング（ＭＣＴＦ）ユニット１０８と、空間変換ユニット１１０と、エントロピー符号化器１１２とを備える。信号受信機１０２は、複数のフレームを含むビデオ信号を受信し、個々のフレームをＭＣＴＦユニット１０８に供給する。一実施形態においては、信号受信機１０２は、入力ビデオを、符号化単位であるグループオブピクチャ（group of pictures：ＧＯＰ）に分割する。ＧＯＰは、所定数のフレームを含んでいてもよく、ＧＯＰのフレーム数は、動作の間に、例えば、帯域幅、符号化効率及びビデオコンテンツ等のパラメータに基づいて動的に決定してもよい。例えば、映像が急速なシーンの変化及び大きな動きを含む場合、より短いＧＯＰを用いる方が効率的であり、映像が殆ど静止したオブジェクトからなる場合、より長いＧＯＰを用いる方が効率的である。

ＭＣＴＦユニット１０８は、動き推定器１０４と時間フィルタリングユニット１０６とを含む。動き推定器１０４は、受信したフレームに対する動き推定を実行する。一実施形態においては、動き推定器１０４は、ＧＯＰのフレーム内の画素又は領域のグループを同じＧＯＰの他のフレーム内の類似する画素又は領域のグループと照合する。したがって、ＧＯＰ内の他のフレームは、処理されるフレームのそれぞれの参照フレームである。

一実施形態においては、動き推定器１０４は、後方予測を実行する。例えば、ＧＯＰの１以上のフレーム内の画素又は領域のグループを、同じＧＯＰの１つ以上の前フレーム内の類似する画素又は領域のグループに照合してもよい。この具体例では、ＧＯＰの前フレームは、処理されるフレームのそれぞれの参照フレームである。

他の実施形態においては、動き推定器１０４は、前方予測を実行する。例えば、ＧＯＰの１以上のフレーム内の画素又は領域のグループを、同じＧＯＰの１つ以上の次フレーム内の類似する画素又は領域のグループに照合してもよい。この具体例では、ＧＯＰの次フレームは、処理されるフレームのそれぞれの参照フレームである。

更に他の実施形態では、動き推定器１０４は、双方向予測を実行する。例えば、ＧＯＰの１以上のフレーム内の画素又は領域のグループを、同じＧＯＰの前フレーム及び次フレーム内の類似する画素又は領域のグループに照合してもよい。この具体例では、ＧＯＰの前フレーム及び次フレームは、処理されるフレームのそれぞれの参照フレームである。

動き推定器１０４は、上述した照合の結果として、時間フィルタリングユニット１０６に動きベクトルを供給し、類似する画素又はブロックのセットを特定する。類似する画素又はブロックのセットは、１つ以上の参照フレームからの１つ以上の参照画素又はブロック及び予測されるフレーム内の１つ以上の予測画素又はブロックを含む。

一具体例においては、動き推定器１０４が、予測されたフレーム内の幾つかのブロック又は画素について、参照フレーム内に適切なプレディクタ（predictor）を見出せないことがある。このような画素は、非連結画素と呼ばれる。連結画素、非連結画素及びマルチ連結画素の具体例を図２に示す。

図２に示すように、フレームＡは、参照フレームであり、フレームＢは、予測されるフレームである。画素２０１、２０２、２０３は、マルチ連結画素である。画素２０４、２０５、２０６は、非連結画素である。残りの画素は、連結画素である。

図１に示すように、一実施形態では、動き推定器１０４は、参照フレーム内の非連結画素を時間フィルタリングユニット１０６に指示し、時間フィルタリングユニット１０６は、非連結画素の空間的処理を実行する。これに代えて、動き推定器１０４は、非連結画素を空間変換ユニット１１０に指示し、空間変換ユニット１１０が後述するような処理を行ってもよい。

時間フィルタリングユニット１０６は、動き推定器１０４が供給した動きベクトル及び類似する画素又はブロックの識別子に基づいて、フレーム間の時間的な冗長性を削減する。一実施形態においては、時間フィルタリングユニット１０６は、類似する画素又はブロックのセットについて、ローパス係数及びハイパス係数を生成する。一実施形態においては、時間フィルタリングユニット１０６は、正規直交変換（例えば、正規直交変換行列）を用いて、マルチ連結画素又はブロックのセットを一括して変換することによって、マルチ連結画素又はブロックのローパス係数及びハイパス係数を生成する。他の実施形態においては、リフティングスキーム（lifting scheme）を用いて、マルチ連結画素の変換を、予測ステップと更新ステップの２つのステップとに分割する。例えば、予測ステップは、正規直交変換を用いて、マルチ連結画素又はブロックのセットを一括してハイパス係数に変換する処理を含んでいてもよく、更新ステップは、１つ以上の参照画素又はブロックから及び予測ステップで生成された対応するハイパス係数から１つ以上のローパス係数を生成する処理を含んでいてもよい。

なお、上述したフィルタリング法は、マルチ連結画素又はブロックに限定されず、双方向連結画素、マルチ連結画素及び一方向連結画素にも同様に適用される。

空間変換ユニット１１０は、例えば、ウェーブレット変換又は離散コサイン変換（ＤＣＴ）を用いて、ＭＣＴＦユニット１０８が提供するフレーム内の空間的な冗長性を削減する。例えば、空間変換ユニット１１０は、２Ｄウェーブレット変換に基づいて、ＭＣＴＦユニット１０８から受け取ったフレームを、ウェーブレット係数に変換してもよい。

一実施形態においては、空間変換ユニット１１０は、イントラ予測（すなわち、フレーム内の画素からの予測）を実行する。例えば、非連結画素又はブロック、フレーム内及びフレーム外の両方のプレディクタを有する画素又はブロック等についてイントラ予測を実行してもよい。非連結画素についてイントラ予測を実行する一実施形態においては、空間変換ユニット１１０は、予測されるフレーム内で非連結画素又はブロックのプレディクタを検出し、非連結画素又はブロック及び関連するプレディクタの一括変換を実行する。一実施形態においては、空間変換ユニット１１０は、正規直交変換（例えば、正規直交変換行列）を用いて非連結画素又はブロックの残差（residue）を生成する。

エントロピー符号化器１１２は、空間変換ユニット１１０から受け取った係数にエントロピー符号化法を適用することによって出力ビットストリームを生成する。また、エントロピー符号化法は、動き推定器１０４が提供する動きベクトル及び参照フレーム番号に適用してもよい。この情報は、復号を可能にするために、出力ビットストリームに含まれる。適切なエントロピー符号化法の具体例としては、可変長符号化及び算術符号化等が含まれる。

以下、図３を参照して、マルチ連結画素の時間フィルタリングについて更に詳細に説明する。

図３に示すように、参照フレームの画素Ａは、ｎ個の画素Ｂ１〜Ｂｎに連結されている。既存の時間フィルタリング法では、通常、まず、ハール変換を用いて、画素Ａ及び画素Ｂ１の対を変換し、ローパス係数Ｌ１及びハイパス係数Ｈ１を生成する。そして、画素Ａ及び画素Ｂ２〜Ｂｎの１つの対のそれぞれについて、このローカル変換を繰り返し、ローパス係数Ｌ２〜Ｌｎ及びハイパス係数Ｈ２〜Ｈｎを生成し、これらからローパス係数Ｌ２〜Ｌｎを削除する。この結果、画素Ａ、Ｂ１、Ｂ２・・・Ｂｎについて、ローパス係数Ｌ１及びハイパス係数のセットＨ１、Ｈ２・・・Ｈｎが生成される。なお、このローカル変換を順次実行することにより、変換の正規直交性が失われ、デコーダにおいて、量子化雑音伝搬現象が生じる。

本発明の一実施形態では、マルチ連結画素（例えば、画素Ａ、Ｂ１、Ｂ２・・・Ｂｎ）の一括変換を実行することによってＭＣＴＦにおける量子化雑音伝搬現象を抑制する。この一括変換は、例えば、グラム−シュミット正規直交化処理（Gram-Schmit orthonormalization process）、ＤＣＴ変換等の正規直交化処理の適用に基づいて生成された正規直交変換行列を用いて実行してもよい。この変換の正規直交性により、量子化雑音伝搬現象が抑制される。

一実施形態においては、正規直交変換行列は、オンラインで生成される。これに代えて、正規直交変換行列は、オフラインで生成し、ルックアップテーブルに保存してもよい。

一実施形態においては、正規直交変換は、予測されたフレーム内の予測画素の数をｎとして、サイズ（ｎ＋１）×（ｎ＋１）の変換行列である。正規直交変換への入力は、マルチ連結画素（例えば、Ａ、Ｂ１、Ｂ２・・・Ｂｎ）であり、出力は、ローパス係数Ｌ１及びハイパス係数Ｈ１、Ｈ２・・・Ｈｎである。図３に示すマルチ連結画素Ａ、Ｂ１、Ｂ２の３×３行列を用いた例示的なユニタリ変換（unitary transformation）は、以下ように表現することができる。

ここで、Ｌ_１ ^０は、ローパス係数であり、Ｈ_１ ^０及びＨ_２ ^０は、それぞれＢ１及びＢ２に対応するハイパス係数である。

幾つかの画素又はブロックは、イントラ予測を用いて予測できる。イントラ予測は、例えば、非連結画素又はブロック、フレーム内及びフレーム外の両方にプレディクタを有する画素又はブロック等に対して実行できる。例えば、ＭＣＴＦ（例えば、ＭＣＴＦユニット１０８による）の間、参照フレームから良いプレディクタが見つからないブロックは、イントラ予測を行ってもよい（すなわち、フレーム内の画素から予測を行ってもよい）。図４は、例えば、空間変換ユニット１１０によって実行できる画素のイントラ予測を示している。

図４に示すように、画素Ａは、画素Ｘ１、Ｘ２、Ｘ３、Ｘ４を予測するために使用される。この予測は、画素のセット（Ａ、Ｘｉ、Ｘ２、Ｘ３、Ｘ４）を残差（Ａ、Ｘ１−Ａ、Ｘ２−Ａ、Ｘ３−Ａ、Ｘ４−Ａ）に置換する処理を伴う。このような予測は、画素の正規直交変換に対応しておらず、したがって、デコーダにおいて、量子化雑音伝搬現象が生じる。

一実施形態においては、画素のセット（Ａ、Ｘ１、Ｘ２、Ｘ３、Ｘ４）を平均画素値及び４つの残差値を含む値のセットに一括変換する。この一括変換は、例えば、グラム−シュミット正規直交化処理（Gram-Schmit orthonormalization process）、ＤＣＴ変換等の正規直交化処理の適用に基づいて生成された正規直交変換行列を用いて実行してもよい。この変換の正規直交性により、量子化雑音伝搬現象が抑制される。

一実施形態においては、正規直交変換行列は、オンラインで生成される。これに代えて、正規直交変換行列は、オフラインで生成し、ルックアップテーブルに保存してもよい。

一実施形態においては、正規直交変換は、予測されたフレーム内の予測画素の数をｎとして、サイズ（ｎ＋１）×（ｎ＋１）の変換行列である。正規直交変換への入力は、プレディクタ及び予測画素のセットＸ１、Ｘ２・・・Ｘｎを含み、出力は、平均画素Ｌ及び残差のセットＲ１、Ｒ２・・・Ｒｎを含む。図４に示す予測画素Ｘ１〜Ｘ４の５×５行列を用いた例示的なユニタリ変換は、以下のように表現することができる。

ここで、Ｌは、平均画素値であり、Ｒ_１〜Ｒ_４は、それぞれ画素Ｘ_１〜Ｘ_４の残差である。

正規直交変換は、例えば、垂直予測、水平予測、対角左下予測、対角右下予測、垂直右予測、水平下予測、垂直左予測、水平上予測等を含む様々なイントラ予測ストラテジに用いることができる。図５は、正規直交変換を用いることができる例示的なイントラ予測ストラテジを示している。

式（１）又は式（２）で用いられる行列は、予測画素の数＋１をｎとして、サイズｎの汎用の正規直交変換行列として書き換えることができる。サイズｎの汎用の正規直交変換行列の整数バージョンは、以下のように表現できる。

対応する入出力関係は、以下のように表現できる。

ここで、Ｐは、プレディクタ（本明細書では参照画素とも呼ぶ。）であり、画素（Ｙ１、Ｙ２、Ｙ３）は、Ｐから、予測される画素であり、Ｌは、ローパスデータ（例えば、ローパス係数又は平均画素値）であり、値（Ｈ１、Ｈ２、Ｈ３・・・）は、予測画素に対応するハイパスデータ（例えば、ハイパス係数又は残差値）である。

一実施形態においては、現在のフレームの画素は、異なるフレームからのプレディクタ及び現在のフレームからのプレディクタの両方を用いて予測できる。この実施形態では、空間的及び時間的予測の組合せを用いて残差（ハイパス）値を生成し、デコーダは、予測のために用いられるモードを有している。このモードは、時間的予測、空間的予測、又は空間的及び時間的予測の組合せを指定できる。現在の画素Ｃ_０に関するハイパス残差Ｈ_０は、以下のように表現される。

ここで、Ｐ_０は、異なる（参照）フレームからのプレディクタであり、Ｐ_１は、同じフレームからのプレディクタであり、α＋β＝１であり、時間的予測の場合、α＝１であり、イントラ予測の場合のみ、β＝１である。

図６は、本発明の幾つかの実施形態に基づく正規直交変換を用いる符号化処理６００のフローチャートである。符号化処理６００は、ＭＣＴＦユニット１０８又は空間変換ユニット１１０により実行される。この符号化処理６００は、ハードウェア（例えば回路、専用ロジック等）、ソフトウェア（汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア）又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。

ソフトウェアによって実現できる処理については、これらのフローチャートを用いて本発明を説明することにより、当業者は、適切に構成されたコンピュータによってこの処理を実行するための命令を含むプログラムを開発することができる（コンピュータのプロセッサは、メモリを含むコンピュータにより読取可能な媒体から命令を読み出し、実行する）。コンピュータにより実行可能な命令は、コンピュータプログラミング言語として書いてもよく、ファームウェアロジックとして実現してもよい。一般的に認知されている規格に準拠するプログラミング言語で書いた場合、このような命令は、様々なオペレーティングシステムにインタフェースされ、様々な種類のハードウェアプラットホームで実行できる。更に、明細書では、如何なる特定のプログラミング言語にも基づくことなく、本発明を説明する。ここに開示する本発明の処理を実現するために、様々なプログラミング言語を用いることができることは明らかである。更に、当分野においては、動作を行い又は結果を生じるものとして、ソフトウェアを様々な呼び方で呼ぶことがある（例えば、プログラム、手続き、プロセス、アプリケーション、モジュール、ロジック等）。これらの表現は、コンピュータによるソフトウェアの実行によって、コンピュータのプロセッサが動作を実行し又は結果を生じるということを単に簡略的に表現しているに過ぎない。また、本発明の範囲から逸脱することなく、図４及び図５に示す処理ステップを省略してもよく、他のステップを追加してもよく、更に、ここで説明する処理ステップの実行順序を変更してもよい。

図６に示すように、処理ロジックは、まず、類似する画素のセットを特定する（処理ブロック６０２）。このセット内の画素は、参照画素及びこの参照画素から予測できる画素から構成されるので、類似している。一実施形態においては、類似する画素は、（例えば、動き推定器１０４による）動き推定の間に定義され、マルチ連結画素を含み、参照画素は、第１の（参照）フレームからの画素であり、予測画素は、第２の（予測）フレームからの画素である。この実施形態では、符号化処理６００は、時間的予測モードで実行される。

他の実施形態においては、類似する画素は、（例えば、空間変換ユニット１１０による）空間変換の間に定義され、（例えば、非連結画素の場合）同じフレームからの参照画素及び予測画素を含む。この他の実施形態では、符号化処理６００は、空間予測モードで実行される。

処理ブロック６０４において、処理ロジックは、正規直交変換を用いて、類似する画素のセットを一括して係数に変換する。一実施形態においては、正規直交変換は、予測されたフレーム内の予測画素の数をｎとして、サイズ（ｎ＋１）×（ｎ＋１）の変換行列である。一実施形態においては、この正規直交変換行列は、グラム−シュミット正規直交化処理を用いて生成される。

符号化処理６００が時間的予測モードで実行される一実施形態においては、処理ブロック６０４で生成される係数は、予測値に対応するローパス値及びハイパス値のグループを含む。

符号化処理６００が空間予測モードで実行される他の実施形態においては、処理ブロック６０４で生成される係数は、予測値に対応する平均画素値及び残差値のグループを含む。

なお、符号化処理６００は、画素の処理に制限されず、代わりに（例えば、ＪＶＴ等のブロックベースのコード体系において）フレーム領域を処理するために用いてもよい。

幾つかの実施形態では、正規直交変換は、リフティングスキームを用いて実行される。このようなリフティングベースの実現例は、予測ステップ及び更新ステップの２つのステップでローパスデータ及びハイパスデータを生成するタスクを実行する。予測ステップでは、参照画素からハイパスデータを生成する。更新ステップでは、参照画素及びハイパスデータを用いて、ローパスデータを生成する。このリフティングベースの実現例を時間的予測モードで用いると、エンコーダにおける入力から出力への変換、及びデコーダにおける出力から入力への復元がより容易になる。

幾つかの実施形態では、イントラ予測のために空間予測モードでリフティングベースの実現例を用いる。これにより、リフティングベースの実現例では、対応する複数の平均画素値及び残差値を生成することができるので、複数の画素をプレディクタとして用いることができる（例えば、画素のセットＹ_１・・・Ｙ_ｎのためにプレディクタＰ_１・・・Ｐ_ｍを用いることができる）。更に、リフティングベースの実現例では、プレディクタブロックを他のブロックのためのプレディクタとして再利用できるため、フレームに亘ってイントラ予測を用いることができる。続いて、デコーダにおいて、復号されたプレディクタから、対応する平均画素値を復元することができ、予測画素は、予測ステップにおける処理の逆の処理を用いて復元することができる。

図７は、本発明の幾つかの実施形態に基づくリフティングスキームを利用する符号化処理７００のフローチャートである。符号化処理７００は、ＭＣＴＦユニット１０８又は空間変換ユニット１１０により実行される。この符号化処理７００は、ハードウェア（例えば回路、専用ロジック等）、ソフトウェア（汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア）又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。

図７に示すように、処理ロジックは、まず、正規直交変換を用いて、画素のセットをハイパスデータに一括して変換する（処理ブロック７０２）。画素のセットは、１つ以上の参照画素及び参照画素から予測できる画素を含む。一実施形態においては、画素のセットは、（例えば、動き推定器１０４による）動き推定の間に定義され、マルチ連結画素を含み、参照画素は、参照フレームからの画素であり、予測画素は、予測されたフレームからの画素である。この実施形態では、符号化処理７００は、時間的予測モードで実行される。一実施形態においては、動き推定は、副次的画素補間処理（sub-pixel interpolation process）を用いる。

他の実施形態においては、画素のセットは、（例えば、空間変換ユニット１１０による）空間変換の間に定義され、（例えば、非連結画素の場合）同じフレームからの参照画素及び予測画素を含む。この他の実施形態では、符号化処理７００は、空間予測モードで実行される。

一実施形態においては、正規直交変換は、予測画素の数をＮとし、ｎ＝Ｎ＋１として、サイズｎ×ｎの変換行列である。例示的な正規直交変換は、第１の式なしで入出力行列式（４）として表現することができる。

符号化処理７００が時間的予測モードで実行される一実施形態においては、処理ブロック７０２で生成される係数は、予測値に対応するハイパス値のグループを含む。

符号化処理７００が空間予測モードで実行される他の実施形態においては、処理ブロック７０２で生成される係数は、予測値に対応する残差値のグループを含む。

処理ブロック７０４において、処理ロジックは、参照画素及びハイパスデータを用いてローパスデータを生成する。ローパスデータを生成するための例示的な式は以下の通りである。

ここで、Ｌは、ローパス係数又は平均画素値であり、Ｐは、対応するプレディクタであり、Ｈ_１は、第１の予測画素に対応するハイパス係数又は第１の予測画素に対応する残差値である。

一実施形態においては、時間フィルタリングのリフティングベースの実現例を複数の参照フレーム及び双方向フィルタリングのために使用する。例示的な双方向フィルタリングを図８に示す。

図８に示すように、画素Ｙ_ｂ１１〜Ｙ_ｂ１Ｎは、画素Ｘ_０１及びＸ_２１に双方向に連結されている（例えば、Ｘ_０１及びＸ_２１の重み付けられた組合せに最もよく一致する）。更に、画素Ｙ_ｕ１１〜Ｙ_ｕ１Ｍは、画素Ｘ_０１に一方向に連結されている。一実施形態においては、フレーム１内の画素の時間フィルタリングは、２つのステップで実行される。

図９は、本発明の幾つかの実施形態に基づく双方向フィルタリングにリフティングスキームを利用する符号化処理９００のフローチャートである。符号化処理９００は、図１のＭＣＴＦユニット１０８により実行できる。この符号化処理９００は、ハードウェア（例えば回路、専用ロジック等）、ソフトウェア（汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア）又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。

処理ブロック９０２において、処理ロジックは、上述した予測ステップと同様に、正規直交変換を用いて、双方向連結画素を一括変換し、ハイパスデータを生成する。例えば、双方向連結画素Ｙ_ｂ１１〜Ｙ_ｂ１Ｎを一括変換し、ハイパス係数Ｈ_ｂ１１〜Ｈ_ｂ１Ｎを生成してもよい。このようなフィルタリングに用いられる例示的な式を以下に示す。

ここで、α及びβは、画素Ｘ_０１及びＸ_２１の１次結合のために用いられる重みであり、Ｄ_Ｎ ^−１／２Ａ_Ｎは、正規直交変換行列（例えば、式（３）の行列Ｔ）を表し、Ｄは、（正規直交性のため）エントリが行列Ａ_Ｎの行のノルムを表す対角行列である。

一実施形態においては、これにより得られる値Ｌは、デコーダに送信されず、再構築された画素Ｘ_０１及びＸ_２１から復元される。

次に、処理ロジックは、ステップ９０４において、正規直交変換を用いて一方向連結画素を一括変換し、対応するローパスデータ及びハイパスデータを生成する。例えば、一方向連結画素Ｙ_ｕ１１〜Ｙ_ｕ１Ｍは、参照画素と共に一括してフィルタリングすることができ、これにより、対応するローパス値Ｌ_０１及びハイパス値Ｈ_ｕ１１〜Ｈ_ｕ１Ｍが生成される。このようなフィルタリングのために用いられる例示的な式を以下に示す。

一実施形態においては、デコーダは、逆の処理を用いる。まず、一方向連結画素に対応する値Ｈ_ｕ１１〜Ｈ_ｕ１Ｍ及びＬ_０１を逆フィルタリングし、Ｘ_０１及びＹ_ｕ１１〜Ｙ_ｕ１Ｍを復元し、次に、逆予測処理により、双方向連結画素Ｙ_ｂ１１〜Ｙ_ｂ１Ｎを復元できる。

当業者には明らかであるが、符号化処理９００は、双方向フィルタリングに限定されず、汎用性を失うことなく、複数の参照フレームについても適用することができる。

以下、図１０を用いて、上述した、本発明に基づく処理を実行するのに適当なコンピュータハードウェア及び他の処理コンポーネントに関する説明を行うが、これは、適用可能な環境を制限するものではない。図１０は、図１に示す符号化装置１００、若しくは、単にＭＣＴＦユニット１０８又は空間変換ユニット１１０として好適に用いられるコンピュータシステムの一実施形態を示している。

コンピュータシステム１０４０は、それぞれがシステムバス１０６５に接続されたプロセッサ１０５０と、メモリ１０５５と、入出力装置（input/output capability）１０６０とを備える。メモリ１０５５は、プロセッサ１０５０によって実行されることにより、ここに説明する処理を実現する命令を格納するよう構成されている。入出力装置１０６０は、プロセッサ１０５０によってアクセス可能なあらゆる種類のストレージ装置を含む、様々な種類の、コンピュータにより読取可能な媒体を含んでいる。なお、「コンピュータにより読取可能な媒体」という用語は、デジタル信号がエンコードされた搬送波をも含むことは、当業者にとって明らかである。コンピュータシステム１０４０は、メモリ１０５５において実行されるオペレーティングシステムソフトウェアによって制御される。入出力装置１０６０及びこれに関連する媒体は、このオペレーティングシステムソフトウェアと、本発明に基づく処理とに関する命令と、アクセスユニットとを格納している。図１に示すＭＣＴＦユニット１０８又は空間変換ユニット１１０は、プロセッサ１０５０に接続されたそれぞれ独立した要素であってもよく、プロセッサ１０５０によって実行される、コンピュータにより実行可能な命令として実現してもよい。一実施例においては、コンピュータシステム１０４０は、インターネットサービスプロバイダ（Internet Service Provider：以下、ＩＳＰという。）の一部であってもよく、或いは、入出力装置１０６０を介してＩＳＰに接続され、インターネットを介してアクセスユニットを送受信してもよい。なお、本発明は、インターネットアクセス及びインターネットウェブサイトに限定されるものではなく、直接接続されたコンピュータシステム及びプライベートネットワークに適用してもよいことは明らかである。

なお、コンピュータシステム１０４０は、異なるアーキテクチャを有する様々な可能なコンピュータシステムの一例に過ぎないことは明らかである。一般的なコンピュータシステムは、少なくともプロセッサと、メモリと、及びプロセッサとメモリを接続するバスとを備えている場合が多い。なお、本発明は、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ等を含む、他のコンピュータシステム構成によっても実現できることは当業者にとって明らかである。更に、本発明は、通信ネットワークを介してリンクされたリモートの処理装置によってタスクが実行される分散型コンピュータシステム環境によっても実現することができる。

最適な換算係数を選択する様々な側面について説明した。ここでは、特定の実施の形態を示したが、ここに示した特定の実施の形態に代えて、同じ目的を達成する如何なる構成を用いてもよいことは当業者にとって明らかである。したがって、本出願は、本発明のあらゆる適応例及び変形例を包含するものとする。

符号化装置の一実施形態のブロック図である。 例示的な連結画素、非連結画素及びマルチ連結画素を示す図である。 マルチ連結画素の例示的な時間フィルタリングを示す図である。 例示的なイントラ予測処理を示す図である。 正規直交変換を用いることができる例示的なイントラ予測ストラテジを示す図である。 本発明の幾つかの実施形態に基づく正規直交変換を用いる符号化処理のフローチャートである。 本発明の幾つかの実施形態に基づくリフティングスキームを用いる符号化処理のフローチャートである。 例示的な双方向フィルタリングを示す図である。 本発明の幾つかの実施形態に基づく、双方向フィルタリングにリフティングスキームを用いる符号化処理のフローチャートである。 本発明の実施形態を実施するのに適切なコンピュータ環境のブロック図である。

Claims (40)

1. 少なくとも１つの参照画素及び複数の予測画素を含む画素のセットを、正規直交変換を用いて、ハイパスデータに一括して変換するステップと、
   上記少なくとも１つの参照画素及びハイパスデータを用いてローパスデータを生成するステップとを有する符号化方法。
2. 上記画素のセットは、動き推定処理によって定義されることを特徴とする請求項１記載の符号化方法。
3. 上記ハイパスデータは、ハイパス係数のセットを含み、上記ローパスデータは、ローパス係数を含むことを特徴とする請求項２記載の符号化方法。
4. 上記正規直交変換は、変換行列であることを特徴とする請求項１記載の符号化方法。
5. 上記変換行列は、複数の予測画素の数をｎとして、（ｎ＋１）×（ｎ＋１）のサイズを有することを特徴とする請求項４記載の符号化方法。
6. 上記画素のセットは、マルチ連結画素を含むことを特徴とする請求項２記載の符号化方法。
7. 上記少なくとも１つの参照画素は、参照フレームに由来し、上記複数の予測画素は、予測されているフレームに由来することを特徴とする請求項２記載の符号化方法。
8. 画素のセットを定義するステップを更に有する請求項１記載の符号化方法。
9. 上記少なくとも１つの参照画素及び上記複数の予測画素は、予測されているフレームに由来することを特徴とする請求項８記載の符号化方法。
10. 上記複数の係数は、平均画素値と残差値のセットとを含むことを特徴とする請求項８記載の符号化方法。
11. 上記少なくとも１つの参照画素は、２つ以上の参照画素を含むことを特徴とする請求項９記載の符号化方法。
12. 上記動き推定処理は、副次的画素補間を利用することを特徴とする請求項２記載の符号化方法。
13. 正規直交変換を用いて、複数の双方向連結画素を一括して変換し、参照フレームからの参照画素と、予測されたフレームからの予測画素の第１のセットとを含む複数の双方向連結画素に対応するハイパスデータを生成するステップと、
    正規直交変換を用いて、複数の一方向連結画素を一括して変換し、参照画素の１つと、予測されたフレームから予測画素の第２のセットとを含む複数の一方向連結画素に対応するローパスデータ及びハイパスデータを生成するステップとを有する符号化方法。
14. 上記複数の双方向連結画素及び上記複数の一方向連結画素は、動き推定処理によって定義されることを特徴とする請求項１３記載の符号化方法。
15. 上記ハイパスデータは、ハイパス係数のセットを含み、上記ローパスデータは、ローパス係数を含むことを特徴とする請求項１３記載の符号化方法。
16. 上記正規直交変換は、変換行列であることを特徴とする請求項１３記載の符号化方法。
17. プロセッサにより実行されて、該プロセッサに符号化方法を実行させる命令を提供するコンピュータにより読取可能な媒体において、該符号化方法は、
    少なくとも１つの参照画素及び複数の予測画素を含む画素のセットを、正規直交変換を用いて、ハイパスデータに一括して変換するステップと、
    上記少なくとも１つの参照画素及びハイパスデータを用いてローパスデータを生成するステップとを有するコンピュータにより読取可能な媒体。
18. 上記ハイパスデータは、ハイパス係数のセットを含み、上記ローパスデータは、ローパス係数を含むことを特徴とする請求項１７記載のコンピュータにより読取可能な媒体。
19. 上記正規直交変換は、変換行列であることを特徴とする請求項１７記載のコンピュータにより読取可能な媒体。
20. 上記画素のセットは、マルチ連結画素を含むことを特徴とする請求項１７記載のコンピュータにより読取可能な媒体。
21. 上記少なくとも１つの参照画素は、参照フレームに由来し、上記複数の予測画素は、予測されているフレームに由来することを特徴とする請求項２０記載のコンピュータにより読取可能な媒体。
22. 上記少なくとも１つの参照画素及び上記複数の予測画素は、予測されているフレームに由来することを特徴とする請求項１７記載のコンピュータにより読取可能な媒体。
23. 上記複数の係数は、平均画素値と残差値のセットとを含むことを特徴とする請求項２２記載のコンピュータにより読取可能な媒体。
24. 上記少なくとも１つの参照画素は、２つ以上の参照画素を含むことを特徴とする請求項２２記載のコンピュータにより読取可能な媒体。
25. プロセッサにより実行されて、該プロセッサに符号化方法を実行させる命令を提供するコンピュータにより読取可能な媒体において、該符号化方法は、
    正規直交変換を用いて、複数の双方向連結画素を一括して変換し、参照フレームからの参照画素と、予測されたフレームからの予測画素の第１のセットとを含む複数の双方向連結画素に対応するハイパスデータを生成するステップと、
    正規直交変換を用いて、複数の一方向連結画素を一括して変換し、参照画素の１つと、予測されたフレームから予測画素の第２のセットとを含む複数の一方向連結画素に対応するローパスデータ及びハイパスデータを生成するステップとを有するコンピュータにより読取可能な媒体。
26. 上記複数の双方向連結画素及び複数の一方向連結画素は、動き推定処理によって定義されることを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
27. 上記ハイパスデータは、ハイパス係数のセットを含み、上記ローパスデータは、ローパス係数を含むことを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
28. 上記正規直交変換は、変換行列であることを特徴とする請求項２５記載のコンピュータにより読取可能な媒体。
29. メモリと、
    上記メモリに接続された少なくとも１つのプロセッサとを備え、
    上記少なくとも１つのプロセッサは、指示のセットを実行することにより、
    少なくとも１つの参照画素及び複数の予測画素を含む画素のセットを、正規直交変換を用いて、ハイパスデータに一括して変換し、
    上記少なくとも１つの参照画素及びハイパスデータを用いてローパスデータを生成するコンピュータシステム。
30. 上記ハイパスデータは、ハイパス係数のセットを含み、上記ローパスデータは、ローパス係数を含むことを特徴とする請求項２９記載のコンピュータシステム。
31. 上記正規直交変換は、変換行列であることを特徴とする請求項２９記載のコンピュータシステム。
32. 上記画素のセットは、マルチ連結画素を含むことを特徴とする請求項２９記載のコンピュータシステム。
33. 上記少なくとも１つの参照画素は、参照フレームに由来し、複数の予測画素は、予測されているフレームに由来することを特徴とする請求項２９記載のコンピュータシステム。
34. 上記複数の係数は、平均画素値と残差値のセットとを含むことを特徴とする請求項３３記載のコンピュータシステム。
35. メモリと、
    上記メモリに接続された少なくとも１つのプロセッサとを備え、
    上記少なくとも１つのプロセッサは、指示のセットを実行することにより、
    正規直交変換を用いて、複数の双方向連結画素を一括して変換し、参照フレームからの参照画素と、予測されたフレームからの予測画素の第１のセットとを含む複数の双方向連結画素に対応するハイパスデータを生成し、
    正規直交変換を用いて、複数の一方向連結画素を一括して変換し、参照画素の１つと、予測されたフレームから予測画素の第２のセットとを含む複数の一方向連結画素に対応するローパスデータ及びハイパスデータを生成するコンピュータシステム。
36. 上記複数の双方向連結画素及び複数の一方向連結画素は、動き推定処理によって定義されることを特徴とする請求項３５記載のコンピュータシステム。
37. 上記ハイパスデータは、ハイパス係数のセットを含み、上記ローパスデータは、ローパス係数を含むことを特徴とする請求項３５記載のコンピュータシステム。
38. 上記正規直交変換は、変換行列であることを特徴とする請求項３５記載のコンピュータシステム。
39. 少なくとも１つの参照画素及び複数の予測画素を含む画素のセットを、正規直交変換を用いて、ハイパスデータに一括して変換する変換手段と、
    上記少なくとも１つの参照画素及びハイパスデータを用いてローパスデータを生成する生成手段とを備える符号化装置。
40. 正規直交変換を用いて、複数の双方向連結画素を一括して変換し、参照フレームからの参照画素と、予測されたフレームからの予測画素の第１のセットとを含む複数の双方向連結画素に対応するハイパスデータを生成する生成手段と、
    正規直交変換を用いて、複数の一方向連結画素を一括して変換し、参照画素の１つと、予測されたフレームから予測画素の第２のセットとを含む複数の一方向連結画素に対応するローパスデータ及びハイパスデータを生成する生成手段とを備える符号化装置。

Images