JP5908848B2 - 変換選択を有するビデオ符号化および復号のための制約付きの変換を行う方法および装置 - Google Patents

Description

本出願は、２０１０年３月１０日付で出願された米国仮特許出願第６１／３１２，４６５号の利益を主張するものであり、その開示内容全体を本明細書に盛り込んだものとする。

本発明は、一般的には、ビデオの符号化および復号に関し、より具体的には、変換選択を有するビデオ符号化および復号のための制約付きの変換を行う方法および装置に関する。

ブロックベースの離散変換は、多くの画像および映像の圧縮規格の基本的なコンポーネントであり、広い用途で使用されている。その圧縮規格にはＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ） ＭＰＥＧ−１（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１）規格、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２規格、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４規格、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ）Ｈ．２６３勧告、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ １０ ＡＶＣ（Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／ＩＴＵ−Ｔ Ｈ．２６４勧告（以下、「ＭＰＥＧ−４ ＡＶＣ規格」と称する）などが含まれている。

離散コサイン変換（ＤＣＴ）は、最も広く使用されているブロック変換である。ＤＣＴスキームは、イメージ／フレームのローカル空間相関プロパティを活用する。ＤＣＴスキームは、イメージ／フレームを画素のブロック（通常は、４×４および８×８）に分割し、離散コサイン変換を使用して各ブロックを空間ドメインから周波数ドメインに変換し、ＤＣＴ係数を量子化することによる。イメージおよびビデオの圧縮規格の多くは、固定された二次元（２−Ｄ）の可分のＤＣＴブロック変換を使用する。幾つかのブロック・サイズ（通常、４×４〜１６×１６のブロック）を使用可能である場合は、ブロックに対応するサイズを有するＤＣＴを使用するが、各ブロック・サイズに想定される変換は１つしか存在しない。

しかしながら、イメージおよびビデオのコンテンツのデータは、統計値およびプロパティが変化する。従って、各ブロックに幾つかの変換が使用できるような場合には、潜在的な圧縮利得が存在し、各状況について、様々なオプションの中から最も好ましい変換を選択する。イメージおよびビデオの符号化規格、例えば、ＭＰＥＧ−４ ＡＶＣ規格においては、ブロックのサイズ毎に、使用するブロック変換の選択肢が１つしか存在しない。従って、変換に選択は存在しない。

従来、単一の符号化スキームにおいて複数の変換を使用するために幾つかの提案がなされている。カルーネン・レーベ（Ｋａｒｈｕｎｅｎ Ｌｏｅｖｅ（ＫＬＴ）変換は、第１の従来技術に開示される最適な線形変換である。ＫＬＴは、第１の従来技術のアプローチにおいて、ＭＰＥＧ−４ ＡＶＣ規格における９個のイントラ予測モードの各々について、最良の変換を導出するために用いられる。各モードの統計値が抽出され、対応するＫＬＴが導出される。各イントラ予測残差がＫＬＴを用いて符号化される。９個のイントラ・モードは、データ空間を効果的に分割する。これは、ＤＣＴがもはや最良の変換に近いものとはならないような方法で行い、独特な最良の変換を導出し、うまく適用できるように行われる。要するに、この第１の従来技術のアプローチは、幾つかの変換を使用するものであるが、各々は選択されたイントラ予測モードに固定されている。

第２の従来技術のアプローチは、幾つかの周波数にＤＣＴ変換を修正すること、即ち、様々なワープした周波数応答を得るために、複数の異なるオールパス・フィルタを用いて基底関数を変換することを提案している。結果として得られた変換は、ワープされたＤＣＴ（ｗａｒｐｅｄ ＤＣＴ（ＷＤＣＴ））と呼ばれる。各ブロックについて、徹底的なレート歪み（Ｒ‐Ｄ）サーチが実行され、選択された変換は、副情報を用いて示される。このアイディアは、画像圧縮に適用される。第３の従来技術のアプローチは、ＷＤＣＴを使用し、変換された係数自体の内に変換選択を埋め込むことを開示している。第３の従来技術のアプローチは、低ビットレートの画像圧縮では良好なパフォーマンスを示す。さらに、第３の従来技術のアプローチは、平均二乗誤差（ＭＳＥ）を最小化するポスト・フィルタリングを行うステップを追加するものである。フィルタは、符号化器側で決定され、ビッストリームに多重化される。

第４の従来技術のアプローチは、大規模なデータベースのための変換のセットの代数的な最適化を提案している。このセットは、データの特定のサブセットについて、各変換がスパース・オプティマル（ｓｐａｒｓｅ‐ｏｐｔｉｍａｌ）となる安定ポイントに達するまで、反復して分割される。符号化器は、各ブロックにおいてどの変換が使用されるかを、四分木を介して示す。従って、変換の選択は、各ブロックについて独立して行われるものではない。

第５の従来技術のアプローチは、インター・フレーム残差のための整数（ｉｎｔｅｇｅｒ）サイン変換（ＩＳＴ）を提案している。インター・フレーム残差は、低相関値を有し、ＤＣＴは、相関性の高いデータに対してのみ適している。従って、第５の従来技術のアプローチは、−０．５〜０．５の相関値を有するデータに対して効率的な、サイン変換を提案する。この範囲において、部分的に、ＫＬＴは、サイン変換と一致する。ＩＳＴは、ＭＰＥＧ−４ ＡＶＣ規格における整数コサイン変換と全く同様に、サイン変換から導出される。第５の従来技術のアプローチは、４×４および８×８のＩＳＴのバージョンを実施している。マクロブロックが４個のサブマクロブロックに分割されない場合には、同じ変換が、マクロブロック全体に適用され、フラグが送信される。この場合、各サブマクロブロックにおいて用いられる変換を特定する４個のフラグが送信される。

第６の従来技術のアプローチは、第５の従来技術のアプローチにおいて提案されているものと同様のスキームを提案している。第６の従来技術のアプローチは、空間および周波数ドメインにおいて適応型の予測エラー符号化を可能にする適応型予測エラー符号化（ＡＰＥＣ：ａｄａｐｔｉｖｅ ｐｒｅｄｉｃｔｉｏｎ ｅｒｒｏｒ ｃｏｄｉｎｇ）の符号化スキームを提案している。予測エラーの各ブロックについて、変換符号化または空間ドメイン符号化が適用される。より低いレート歪みコストを有するアルゴリズムが選択される。

これらの各アプローチは、最良な変換を選択する範囲が限られたものを提案しており、本概念が一般化されたものを十分に活用するものではない。

出願人は、以前、上述した従来技術において考慮されていない代替手段を含む、より一般的で広範なアプローチについて開示、説明している。これらの概念は、第７の従来技術および第８の従来技術のアプローチに関して開示される。第７の従来技術のアプローチおよび第８の従来技術のアプローチは、変換のセット（２つ以上の変換）の使用について記載しており、領域、スライス、ブロック、またはマクロブロック毎に、最良の変換のセットを選択してイメージまたはビデオを符号化する。変換のセットは、様々な統計値またはイメージ／ビデオ・パターンのために最適化または設計することができる。実際には、変換のうちの１つは、ＤＣＴである。そこで、ＤＣＴとともに良好に動作する変換のセットに、どの代替的な変換が含まれるべきかという点で、問題が発生する。第７の従来技術のアプローチおよび第８の従来技術のアプローチには、代替的な変換を取得するための異なる方法が概略説明されており、これらの方法は、例えば、スパース性に基づく方法によりセットをトレーニングし、対応するＫＬＴを取得することなどを含む。しかしながら、これらの方法は、ピーク信号対雑音比（ＰＳＮＲ）やＢＤレート（Ｂｊｏｎｔｅｇａａｒｄ ｂｉｔ ｒａｔｅ ｓａｖｉｎｇｓ）、または、離散サイン変換（ＤＳＴ）のような基本的な代替手段を使用しようとするものであるが、符号化されたシーケンスの主観品質を考慮するものではない。

変換選択方法を用いて符号化されたシーケンスは、（ＰＳＮＲを改良するものではあるが）「ウインドウ付きパターン（ｗｉｎｄｏｗｅｄ ｐａｔｔｅｒｎ）」と呼ぶ新しいアーティファクトの影響を受ける可能性があることが確認されている。このパターンは、主に、低ビットレートで存在し、悩ましいものとなることがある。

国際公開第２０１０／０８７８０８号 国際公開第２０１０／０８７８０９号

YE， Karczewicz， "Improved intra coding"， VCEG-AG11， Shenzen， Oct 2007 N. Cho and S. Mitra， "Warped Discrete Cosine Transform and Its Application in Image Compression"， IEEE TCSVT， vol. 10， num. 8， December 2000 O. Urhan and S. Erturk， "Parameter Embedding Mode and Optimal Post-Process Filtering for Improved WDCT Image Compression"， IEEE TCSVT， vol. 18， num. 4， December 2008 O. Sezer， O. Harmanci， O. Guleryuz， "Sparse Orthonormal Transforms for Image Compression"， Proceedings of Int. Conf. On Image Processing， 2008 S. Lim， H. Choi， S. Jeong， J. Choi， "Improved intra coding"， VCEG-AJ12， San Diego， October 2008 M. Narroschke and H. Musmann， "Adaptive prediction error coding in spatial and frequency domain with a fixed san in the spatial domain"， VCEG-AD07， Hangzhou， October 2006

従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、変換選択を有するビデオ符号化および復号のために制約付きの変換を行う方法および装置に関する本発明の原理によって対処される。

本発明の原理の態様によれば、装置が提供される。この装置は、ピクチャ内の少なくとも１つのブロックの符号化を、少なくとも第１の変換とこの第１の変換とは異なる第２の変換とから特定の変換を選択し、この特定の変換を上記ブロックの残差に適用することによって行うビデオ符号化器を含む。上記第２の変換のための変換係数は、上記ビデオ符号化器に存在するデブロッキング・フィルタに応答して選択される。

本発明の原理の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくともブロックの符号化を、少なくとも１つの第１の変換とこの第１の変換とは異なる第２の変換とから特定の変換を選択し、その特定の変換を上記ブロックの残差に適用することによって行うステップを含む。上記第２の変換のための変換係数は、上記ビデオ符号化器に存在するデブロッキング・フィルタに応答して選択される。

本発明の原理のさらに別の態様によれば、装置が提供される。この装置は、ピクチャ内の少なくとも一つのブロックの復号を、そのブロックのための変換係数および変換インジケータを受信し、その変換インジケータが少なくとも第１の変換およびこの第１の変換とは異なる第２の変換のうちのいずれがブロックの符号化に使用されたかを示し、その変換インジケータによって示される上記第１の変換および上記第２の変換のうちの一方を上記ブロックの残差に適用することによって行うビデオ復号器を含む。上記第２の変換のための変換係数は、上記ビデオ符号化器に存在するデブロッキング・フィルタに応答して決定される。

本発明のさらに別の態様によれば、ビデオ復号器における方法が提供される。この方法は、ピクチャ内の少なくとも一つのブロックの復号を、そのブロックのための変換係数および変換インジケータを受信することによって行うステップを含む。その変換インジケータは、少なくとも第１の変換およびこの第１の変換とは異なる第２の変換のうちのいずれがブロックの符号化に使用されたかを示す。この方法は、さらに、その変換インジケータによって示される上記第１の変換および上記第２の変換のうちの一方を上記ブロックの残差に適用するステップを含む。上記第２の変換のための変換係数は、上記ビデオ復号器に存在するデブロッキング・フィルタに応答して決定される。

本発明の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施形態の詳細な説明を参照することによって明らかになるであろう。

本発明の原理は、以下の例示的な図面に従ってより良好に理解されるであろう。

ＭＰＥＧ−４ ＡＶＣ規格に従ってビデオ符号化を実行することが可能なビデオ符号化器を示すブロック図である。 ＭＰＥＧ−４ ＡＶＣ規格に従ってビデオ復号を実行することが可能なビデオ復号器を示すブロック図である。 本発明の原理の実施形態に従った、変換選択を有する例示的なビデオ符号化器を示すブロック図である。 本発明の原理の実施形態に従った、例示的なビデオ復号器を示すブロック図である。 本発明の原理の実施形態に従った、変換選択を使用してピクチャのブロック残差データを符号化する例示的な方法を示すフロー図である。 本発明の原理の実施形態に従った、変換選択を使用してピクチャのブロック残差データを復号する例示的な方法を示すフロー図である。

本発明の原理は、変換選択を有するビデオ符号化および復号のために制約付きの変換を行う方法および装置に関する。

本説明は、本発明の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本発明の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。

本明細書に記載された全ての例および条件付の文言は、本発明の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。

また、本明細書における本発明の原理、態様、および、実施形態についての全ての記載、さらに、その特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。

従って、例えば当業者であれば、本明細書において示されたブロック図は、本発明の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表すことが理解できよう。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。

各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、および不揮発性の記憶装置を暗黙的に含むことがある。

また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。状況に応じてより具体的に理解できるように、実施者により、特定の技術を選択可能である。

請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えばａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本発明の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなされる。

明細書において、本発明の原理の「一実施形態」、「実施形態」、または、この類の表現が言及されている場合、これは、実施形態に関して記載される特定の特徴事項、構造、特性などが本発明の原理の少なくとも１つの実施形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施形態においては」、「実施形態においては」、または、この類の表現は、必ずしも、全てが同一の実施形態について言及するものではない。

「／（スラッシュ）」、「および／または」、さらに、「〜のうちの少なくとも一方（〜のうちの少なくとも１つ）」の使用は、例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」、「ＡおよびＢのうちの少なくとも一方」の場合、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を包含するものと意図されている。別の例として、「Ａ、Ｂ、および／またはＣ」、さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、２番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみ、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含するものと意図されている。列挙された数の項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。

例示的な説明の目的で、本明細書において、ＭＰＥＧ−４ ＡＶＣ規格に対する改良として、例を挙げて説明する。ここで、ＭＰＥＧ−４ ＡＶＣ規格を、このＭＰＥＧ−４ ＡＶＣ規格に対する改良及び拡張についての記載および説明の基礎として使用する。しかしながら、本発明の原理は、ＭＰＥＧ−４ ＡＶＣ規格および／またはその拡張版のみに限定されるものではないことが理解できよう。本明細書において与えられた本発明の原理の開示内容を考慮して、本技術分野および関連する技術分野の当業者であれば、本発明の原理は、他の規格の拡張版に適用される場合、または、まだ定まっていない規格に適用されたり、さらに／または、組み込まれたりする場合にも、同じように適用可能であり、少なくとも同様の利点を提供できることが容易に理解できよう。さらに、本発明の原理は、規格に準拠しておらず、むしろ、独自に規定されたものに準拠しているビデオ符号化器およびビデオ復号器にも適用可能であることが理解できよう。

また、本明細書において使用される単語「ピクチャ」および「イメージ」は、同じ意味で使用され、静止画像または、ビデオ・シーケンスからのピクチャを意味する。公知であるように、ピクチャは、フレームやフィールドであったりする。

図１を参照するに、ＭＰＥＧ−４ ＡＶＣ規格に従ってビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号１００によって示されている。ビデオ符号化器１００はフレーム順序付けバッファ１１０を含み、フレーム順序付けバッファ１１０は結合器１８５の非反転入力部と信号通信する出力部を有する。結合器１８５の出力部は、変換器／量子化器１２５の第１の入力部と信号通信するように結合されている。変換器／量子化器１２５の出力部は、エントロピー符号化器１４５の第１の入力部と、逆変換器／逆量子化器１５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器１４５の出力部は、結合器１９０の第１の非反転入力部と信号通信するように結合されている。結合器１９０の出力部は、出力バッファ１３５の第１の入力部と信号通信するように結合されている。

符号化器コントローラ１０５の第１の出力部は、フレーム順序付けバッファ１１０の第２の入力部と、逆変換器／逆量子化器１５０の第２の入力部と、ピクチャ・タイプ決定モジュール１１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール１２０の第１の入力部と、イントラ予測モジュール１６０の第２の入力部と、デブロッキング・フィルタ１６５の第２の入力部と、動き補償器１７０の第１の入力部と、動き推定器１７５の第１の入力部と、参照ピクチャ・バッファ１８０の第２の入力部と信号通信するように結合されている。

符号化器コントローラ１０５の第２の出力部は、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））挿入器１３０の第１の入力部と、変換器／量子化器１２５の第２の入力部と、エントロピー符号化器１４５の第２の入力部と、出力バッファ１３５の第２の入力部と、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＰＰＳ））挿入器１４０の入力部と信号通信するように結合されている。

ＳＥＩ挿入器１３０の出力部は、結合器１９０の第２の非反転入力部と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール１１５の第１の出力部は、フレーム順序付けバッファ１１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール１１５の第２の出力部は、マクロブロック・タイプ決定モジュール１２０の第２の入力部と信号通信するように結合されている。

シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器１４０の出力部は、結合器１９０の第３の非反転入力部と信号通信するように結合されている。

逆変換器／逆量子化器１５０の出力部は、結合器１１９の第１の非反転入力部と信号通信するように結合されている。結合器１１９の出力部は、イントラ予測モジュール１６０の第１の入力部と、デブロッキング・フィルタ１６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ１６５の出力部は、参照ピクチャ・バッファ１８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ１８０の出力部は、動き推定器１７５の第２の入力部および動き補償器１７０の第３の入力部と信号通信するように結合されている。動き推定器１７５の第１の出力部は、動き補償器１７０の第２の入力部と信号通信するように結合されている。動き推定器１７５の第２の出力部は、エントロピー符号化器１４５の第３の入力部と信号通信するように結合されている。

動き補償器１７０の出力部は、スイッチ１９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール１６０の出力部は、スイッチ１９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール１２０の出力部は、スイッチ１９７の第３の入力部と信号通信するように結合されている。スイッチ１９７の第３の入力部は、スイッチの（制御入力部、即ち、第３の入力部と比較される）「データ」入力が、動き補償器１７０またはイントラ予測モジュール１６０によって提供されるかどうかを判定する。スイッチ１９７の出力部は、結合器１１９の第２の非反転入力部および結合器１８５の反転入力部と信号通信するように結合されている。

フレーム順序付けバッファ１１０の第１の入力部および符号化器コントローラ１０５の入力部は、符号化器１００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器１３０の第２の入力部は、符号化器１００の入力部として、メタデータを受信するために利用可能である。出力バッファ１３５の出力部は、符号化器１００の出力部として、ビットストリームを出力するために利用可能である。

図２を参照するに、ＭＰＥＧ−４ ＡＶＣ規格に従ってビデオ復号を実行することが可能なビデオ復号器が概ね参照符号２００によって示されている。ビデオ復号器２００は、エントロピー復号器２４５の第１の入力部と信号通信するように結合された出力部を有する入力バッファ２１０を含む。エントロピー復号器２４５の第１の出力部は、逆変換器／逆量子化器２５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器２５０の出力部は、結合器２２５の第２の非反転入力部と信号通信するように結合されている。結合器２２５の出力部は、デブロッキング・フィルタ２６５の第２の入力部と、イントラ予測モジュール２６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ２６５の第２の出力部は、参照ピクチャ・バッファ２８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ２８０の出力部は、動き補償器２７０の第２の入力部と信号通信するように結合されている。

エントロピー復号器２４５の第２の出力部は、動き補償器２７０の第３の入力部と、デブロッキング・フィルタ２６５の第１の入力部と信号通信するように結合されている。エントロピー復号器２４５の第３の出力部は、復号器コントローラ２０５の入力部と信号通信するように結合されている。復号器コントローラ２０５の第１の出力部は、エントロピー復号器２４５の第２の入力部と信号通信するように結合されている。復号器コントローラ２０５の第２の出力部は、逆変換器／逆量子化器２５０の第２の入力部と信号通信するように結合されている。復号器コントローラ２０５の第３の出力部は、デブロッキング・フィルタ２６５の第３の入力部と信号通信するように結合されている。復号器コントローラ２０５の第４の出力部は、イントラ予測モジュール２６０の第２の入力部と、動き補償器２７０の第１の入力部と、参照ピクチャ・バッファ２８０の第２の入力部と信号通信するように結合されている。

動き補償器２７０の出力部は、スイッチ２９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール２６０の出力部は、スイッ２９７の第２の入力部と信号通信するように結合されている。スイッチ２９７の出力部は、結合器２２５の第１の非反転入力部と信号通信するように結合されている。

入力バッファ２１０の入力部は、復号器２００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ２６５の第１の出力部は、復号器２００の出力部として、出力ピクチャを出力するために利用可能である。

なお、図１の符号化器または図２の復号器で行われる変換選択は存在しない。

図３を参照するに、変換選択を有する例示的なビデオ符号化器が概ね参照符号３００によって示されている。ビデオ符号化器３００はフレーム順序付けバッファ３１０を含み、フレーム順序付けバッファ３１０は結合器３８５の非反転入力部と信号通信する出力部を有する。結合器３８５の出力部は、変換器／量子化器１ ３２５の入力部と、変換器／量子化器２ ３２６の入力部と、変換器／量子化器ｎ ３２７の入力部と信号通信するように結合されている。変換器／量子化器１ ３２５の出力部は、変換セレクタ３２９の第１の入力部と信号通信するように結合されている。変換器／量子化器２ ３２６の出力部は、変換セレクタ３２９の第２の入力部と信号通信するように結合されている。変換器／量子化器ｎ ３２７の出力部は、変換セレクタ３２９の第３の入力部と信号通信するように結合されている。変換セレクタ３２９の出力部は、エントロピー符号化器３４５の第１の入力部と、逆変換器／逆量子化器３５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器３４５の出力部は、結合器３９０の第１の非反転入力部と信号通信するように結合されている。結合器３９０の出力部は、出力バッファ３３５の第１の入力部と信号通信するように結合されている。

符号化器コントローラ３０５の第１の出力部は、フレーム順序付けバッファ３１０の第２の入力部と、逆変換器／逆量子化器３５０の第２の入力部と、ピクチャ・タイプ決定モジュール３１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール３２０の第１の入力部と、イントラ予測モジュール３６０の第２の入力部と、デブロッキング・フィルタ３６５の第２の入力部と、動き補償器３７０の第１の入力部と、動き推定器３７５の第１の入力部と、参照ピクチャ・バッファ３８０の第２の入力部と信号通信するように結合されている。

符号化器コントローラ３０５の第２の出力部は、補助拡張情報（ＳＥＩ）挿入器３３０の第１の入力部と、エントロピー符号化器３４５の第２の入力部と、出力バッファ３３５の第２の入力部と、シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の入力部と信号通信するように結合されている。

ＳＥＩ挿入器３３０の出力部は、結合器３９０の第２の非反転入力部と信号通信するように結合されている。

ピクチャ・タイプ決定モジュール３１５の第１の出力部は、フレーム順序付けバッファ３１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール３１５の第２の出力部は、マクロブロック・タイプ決定モジュール３２０の第２の入力部と信号通信するように結合されている。

シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の出力部は、結合器３９０の第３の非反転入力部と信号通信するように結合されている。

逆変換器／逆量子化器３５０の出力部は、結合器３１９の第１の非反転入力部と信号通信するように結合されている。結合器３１９の出力部は、イントラ予測モジュール３６０の第１の入力部と、デブロッキング・フィルタ３６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ３６５の出力部は、参照ピクチャ・バッファ３８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ３８０の出力部は、動き推定器３７５の第２の入力部と、動き補償器３７０の第３の入力部と信号通信するように結合されている。動き推定器３７５の第１の出力部は、動き補償器３７０の第２の入力部と信号通信するように結合されている。動き推定器３７５の第２の出力部は、エントロピー符号化器３４５の第３の入力部と信号通信するように結合されている。

動き補償器３７０の出力部は、スイッチ３９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール３６０の出力部は、スイッチ３９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール３２０の出力部は、スイッチ３９７の第３の入力部と信号通信するように結合されている。スイッチ３９７の第３の入力部は、スイッチの（制御入力部、即ち、第３の入力部と比較される）「データ」入力が、動き補償器３７０またはイントラ予測モジュール３６０によって提供されるかどうかを判定する。スイッチ３９７の出力部は、結合器３１９の第２の非反転入力部および結合器３８５の反転入力部と信号通信するように結合されている。

フレーム順序付けバッファ３１０の第１の入力部および符号化器コントローラ３０５の入力部は、符号化器３００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）挿入器３３０の第２の入力部は、符号化器３００の入力部として、メタデータを受信するために利用可能である。出力バッファ３３５の出力部は、符号化器３００の出力部として、ビットストリームを出力するために利用可能である。

図４を参照するに、変換選択を有する例示的なビデオ復号器が概ね参照符号４００によって示されている。ビデオ復号器４００は、エントロピー復号器４４５の第１の入力部と信号通信するように結合された出力部を有する入力バッファ４１０を含む。エントロピー復号器４４５の第１の出力部は、逆変換器／逆量子化器ｉ ４５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器ｉ ４５０の出力部は、結合器４２５の第２の非反転入力部と信号通信するように結合されている。結合器４２５の出力部は、デブロッキング・フィルタ４６５の第２の入力部と、イントラ予測モジュール４６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ４６５の第２の出力部は、参照ピクチャ・バッファ４８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ４８０の出力部は、動き補償器４７０の第２の入力部と信号通信するように結合されている。

エントロピー復号器４４５の第２の出力部は、動き補償器４７０の第３の入力部と、デブロッキング・フィルタ４６５の第１の入力部と信号通信するように結合されている。エントロピー復号器４４５の第３の出力部は、復号器コントローラ４０５の入力部と信号通信するように結合されている。復号器コントローラ４０５の第１の出力部は、エントロピー復号器４４５の第２の入力部と信号通信するように結合されている。復号器コントローラ４０５の第２の出力部は、逆変換器／逆量子化器ｉ ４５０の第２の入力部と信号通信するように結合されている。復号器コントローラ４０５の第３の出力部は、デブロッキング・フィルタ４６５の第３の入力部と信号通信するように結合されている。復号器コントローラ４０５の第４の出力部は、イントラ予測モジュール４６０の第２の入力部と、動き補償器４７０の第１の入力部と、参照ピクチャ・バッファ４８０の第２の入力部と信号通信するように結合されている。

動き補償器４７０の出力部は、スイッチ４９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール４６０の出力部は、スイッチ４９７の第２の入力部と信号通信するように結合されている。スイッチ４９７の出力部は、結合器４２５の第１の非反転入力部と信号通信するように結合されている。

入力バッファ４１０の入力部は、復号器４００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ４６５の第１の出力部は、復号器４００の出力部として、出力ピクチャを出力するために利用可能である。

上述したように、本発明の原理は、変換選択を有するビデオ符号化および復号のための制約付きの変換を行う方法および装置に関する。本発明の原理に従った方法および装置は、有益には、（ＰＳＮＲを改良するものではあるが、）変換選択方法を用いて符号化されるシーケンスにおいて観察される新たなアーティファクトである上述した「ウインドウ付きパターン」に関する。上述したように、このパターンは、主に、低ビットレートである場合に存在し、悩ましいものとなることがある。

本発明の原理は、「ウインドウ付きパターン」のアーティファクトが現れることを回避するために、変換選択方法における代替的な変換を設計または選択する方法および装置を提供するという利点がある。出願人の知る限りによれば、（切り替え可能な変換または代替的な変換としても知られる）変換選択方法の使用により生ずる「ウインドウ付のパターン」または関連するアーティファクトは、他の動作においては確認されていない。

第５の従来技術および他の従来技術のアプローチは、演算の単純な、または、最良の客観的な結果を得ることのできる代替的な変換を設計するものである。しかしながら、このような従来技術のアプローチは、方法の実施に伴って発生するパターンを特定していないし、主観品質評価を行なっていないし、結果として、本発明の原理に従って提案されるような、パターンに対処する変換を提案するものでもない。

本発明の原理に従って、変換選択方法は、ブロック毎に変換のセットから選択された１つの変換を使用する。通常、使用する変換は、セットにおける各変換のレート歪みパフォーマンスをチェックすることによって決定され、最良のパフォーマンスを与えるものが選択される。符号化器は、この選択を復号器に信号により伝達する。図３は、変換選択を有するビデオ符号化器３００の例を示し、図４は、図３のビデオ符号化器３００と共に使用するビデオ復号器４００の例を示している。ビデオ復号器４００は、ビデオ符号化器３００で選択された変換に対応する逆変換を使用する。

ＤＣＴが一般的に使用されていること、さらに、ＤＣＴがビデオ符号化において、極めて良好に機能することが広く示されていることを考慮して、出願人は、ＤＣＴをセットにおける変換の１つに含めることが合理的であることを認識した。次に、変換選択ツール内でＤＣＴと共に良好に動作する第２（または第３以降の）変換を取得する。

（ＤＣＴと共に動作する）想定されうる最良の第２の変換は、ＫＬＴおよびスパース性ベースのアルゴリズムを使用して決定することができる。ＫＬＴは、データが与えられていれば、最適なリニア変換である。従前の作業は、ＰＳＮＲパフォーマンスを最大限にしようとするものであった。しかしながら、主観品質評価を行うにあたり、これらの方法によって得られる、ＰＳＮＲを良好に改良させる変換に伴い、ここでも、低ビットレートで悩ましいアーティファクトが発生することに注目すべきである。このようなアーティファクトは、再構成されたビデオ上でウインドウ付きのパターンとして現れる。この問題をさらに検討すると、このようなアーティファクトは、２つの理由で現われることが分かる。

１．低ビットレートでは、１つの変換された係数のみが零（０）に量子化されないことが非常に多い。通常、この係数は、最低の周波数係数である。これが連続するブロックにおいて発生する場合には、最低の周波数係数のパターンが連続したブロックの全てにおいて現われ、ウインドウ付きのパターンが発生する。
２．ＤＣＴの場合には、最低の周波数係数は、直流（ＤＣ）成分、即ち、単にスクエア・パターンまたはブロック・パターンである。従って、低ビットレートでは、１つの零でない係数は、ブロック・アーティファクトの発生につながる。これらのアーティファクトは、大部分は、（例えば、図１のデブロッキング・フィルタ１６５などの）デブロッキング・フィルタによって、後になって取り除かれる。このようなフィルタは、本明細書において説明されるウインドウ付きのアーティファクトの除去のために存在するものではない。

本発明の原理は、後で再構築されるデータに適用されるデブロッキング・フィルタに適合するように第２の変換を修正することによって、上述した問題を解決することを提案する。

一実施形態においては、第２の変換の最低の周波数成分が極めて平滑になるようにすることにより、第２の変換により発生するウインドウ付きのアーティファクトがブロック・アーティファクトに十分に近接したものとなるようにする。この状況においては、デブロッキング・フィルタにより、各アーティファクトの除去を行うことができ、さらなるフィルタや追加の処理が必要とはならない。図３および図４は、それぞれ、本実施形態を例示する符号化器および復号器を示している。変換１をＤＣＴとして、残りの変換（変換２〜ｎ）をＫＬＴ（または何らかの他の変換）とし、強制的に平滑度制約条件をＫＬＴの第１の基底ベクトルに課する。

本発明の原理に従って、ブロック変換Ｔは、行列によって表すことができる。ブロック変換Ｔが一次元（１−Ｄ）入力データＸに適用されると、ブロック変換Ｔは、（変換係数の）出力ｙを生成する。この処理は、ｙ＝Ｔ^*Ｘと表すことができる。行列Ｔは、ｎ列からなり、各々の列は、ベクトル基底と呼ばれる。変換された係数ｙは、ベクトル基底の変換領域におけるデータｘを表したものである。ビデオ符号化において、通常、第１の基底ベクトル（Ｔにおける一番上のベクトル）は、最低の周波数成分を有するベクトルである。例えば、ＤＣＴの最低の周波数成分は、ＤＣ成分、即ち、定数である。次に、ビデオ符号化において、変換係数は、量子化され、走査され、エントロピー符号化される。明らかに、各ベクトル基底の順番は、変更される可能性があるという点において、厳格ではなく、これに伴いエントロピー符号化が変更される場合には、最終的な符号化されたビットストリームに影響が及ぼされるべきではない。しかしながら、従来、最低周波数のベクトル、変化が少なく定数に近いベクトルをブロック変換Ｔにおける第１のベクトルとしている。

一般的に、周波数成分は、フーリエ変換領域におけるベクトルの周波数分布であると理解される。平滑な信号（またはベクトル）のフーリエ変換は、低周波数でエネルギーの大部分を有する一方、変動性の大きい信号は、全ての周波数（または、より高周波数）でエネルギー分布を有する。

別の実施形態においては、ビデオ・データは、最適なＫＬＴを得るために使用される。
そこで、第１のベクトル基底の合計の変化が強制的に閾値未満にされる。合計の変化は、各係数から次の係数を減算した差の絶対値の和である。この後、強制的に変換を再び直交したものにするために、残りのベクトルが修正される。結果として得られた変換は、本変換選択方法において使用される。

別の実施形態においては、ＫＬＴの第１のベクトル基底は、特定の周波数未満のフーリエ変換のエネルギーに制約を課すことによって、強制的に、極めて平滑にされる。この制約は、エネルギーが閾値を超えていなければならないようにするものである。残りのベクトルは、変換が直交するように修正される。同様の実施形態においては、第１のベクトル基底は、強制的に、閾値未満の周波数を有する離散コサインにされる。

別の実施形態では、変換は第２の変換として選択されるが、ベクトル基底が一定である（即ち、フラットである）という制約が課される。

図５を参照するに、変換選択を使用してピクチャのブロック残差データを符号化する例示的な方法が概ね参照符号５００によって示されている。方法５００は、制御を機能ブロック５１０に受け渡す開始ブロック５０５を含む。機能ブロック５１０は、ブロック残差データを受信し、制御を機能ブロック５１５、機能ブロック５３５、機能ブロック５４５に受け渡す。機能ブロック５１５は、離散コサイン変換（ＤＣＴ）を使用してブロック残差データを変換、量子化し、制御を機能ブロック５２０に受け渡す。機能ブロック５３５は、平滑な第１の基底のＫＬＴ １を使用してブロック残差データを変換、量子化し、制御を機能ブロック５４０に受け渡す。機能ブロック５４５は、一定な第１の基底のＫＬＴ ２を使用してブロック残差データを変換、量子化し、制御を機能ブロック５５０に受け渡す。機能ブロック５２０は、機能ブロック５１５からの出力に基づいてレート歪み（ＲＤ）分析を実行し、制御を機能ブロック５２５に受け渡す。機能ブロック５４０は、機能ブロック５３５からの出力に基づいてレート歪み（ＲＤ）分析を実行し、制御を機能ブロック５２５に受け渡す。機能ブロック５５０は、機能ブロック５４５からの出力に基づいてレート歪み（ＲＤ）分析を実行し、制御を機能ブロック５２５に受け渡す。機能ブロック５２５は、機能ブロック５２０、５４０、および５５０によって実行されるレート歪み分析の結果を比較し、この結果に基づいて、機能ブロック５１５、５３５、および５４５に対応する変換のうちの特定の１つを選択し、制御を機能ブロック５３０に受け渡す。機能ブロック５３０は、変換選択および量子化された係数を出力し、制御を終了ブロック５９９に受け渡す。

図６を参照するに、変換選択を使用してピクチャのブロック残差データを復号する例示的な方法が概ね参照符号６００によって示されている。方法６００は、制御を機能ブロック６１０に受け渡す開始ブロック６０５を含む。機能ブロック６１０は、変換選択および量子化された係数を受信し、制御を機能ブロック６１５および機能ブロック６２０に受け渡す。機能ブロック６１５は、変換選択をパージング（従って、決定）し、制御を機能ブロック６２５、機能ブロック６３０、および機能ブロック６３５のうちの対応する１つに受け渡す。機能ブロック６２０は、量子化された係数をパージング（従って、決定）し、制御を機能ブロック６２５、機能ブロック６３０、および機能ブロック６３５のうちの対応する１つに受け渡す。機能ブロック６２５は、離散コサイン変換（ＤＣＴ）に基づいて、逆量子化および逆変換を実行し、制御を機能ブロック６４０に受け渡す。機能ブロック６３０は、平滑な第１の基底のＫＬＴ１に基づいて逆量子化および逆変換を実行し、制御を機能ブロック６４０に受け渡す。機能ブロック６３５は、一定な第１の基底のＫＬＴ ２に基づいて逆量子化および逆変換を実行し、制御を機能ブロック６４０に受け渡す。機能ブロック６４０は、逆変換係数（残差データ）を出力し、制御を終了ブロック６９９に受け渡す。

なお、図５および図６の実施形態は、変換選択方法における３つの変換を使用することが理解できよう。第１の変換は、ＤＣＴである。第２の変換は、強制的に第１の基底ベクトルが平滑になる１つのＫＬＴである。第３の変換は、強制的に第１の基底ベクトルが一定になる別のＫＬＴである。

本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、ビデオ符号化器を有する装置であって、そのビデオ符号化器は、ピクチャ内の少なくともブロックの符号化を、少なくとも１つの第１の変換とこの第１の変換とは異なる第２の変換とから特定の変換を選択し、その特定の変換を上記ブロックの残差に適用することによって行い、上記第２の変換のための変換係数が上記ビデオ符号化器に存在するデブロッキング・フィルタに応答して選択される、上記装置である。

さらに、別の利点／特徴は、上記符号化器を有する装置であって、変換係数が第２の変換の第１の基底ベクトルに対応する、上記装置である。

さらに、別の利点／特徴は、上記符号化器を有し、変換係数が第２の変換の第１の基底ベクトルに対応する装置であって、平滑度制約条件が第１の基底ベクトルに課される、上記装置である。

さらに、別の利点／特徴は、上記符号化器を有する装置であって、変換係数が第２の変換の第１の基底ベクトルに対応し、その第１の基底ベクトルに対応する変換係数の変化は特定の閾値未満に制約される、上記装置である。

さらに、別の利点／特徴は、上記符号化器を有する装置であって、変換係数が第２の変換の第１の基底ベクトルに対応し、所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、フーリエ変換が第２の変換に対応する、上記装置である。

さらに、別の利点／特徴は、上記符号化器を有する装置であって、変換係数が第２の変換の第１の基底ベクトルに対応し、第１のベクトル基底に対応する各変換係数が一定である、上記装置である。

さらに、別の利点／特徴は、上記符号化器を有する装置であって、第１の変換が離散コサイン変換である、上記装置である。

本発明の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本発明の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせた様々な形態で実施することができることが理解できよう。

最も好ましくは、本発明の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。

さらに、添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本発明の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本発明の原理の実施形態または構成、さらに、類似した実施形態または構成を企図できるであろう。

添付図面を参照して本明細書中で例示的な実施形態について説明したが、本発明はこれらの実施形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本発明の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に定義されたような本発明の原理の範囲に含まれるように意図されている。

本発明の好ましい実施形態を、以下に示す。
付記１．装置であって、
ピクチャ内の少なくとも１つのブロックの符号化を、少なくとも第１の変換と該第１の変換とは異なる第２の変換とから特定の変換を選択し、該特定の変換を該ブロックの残差に適用することによって行うビデオ符号化器（３００）を備え、
前記第２の変換のための変換係数は前記ビデオ符号化器に存在するデブロッキング・フィルタに応答して選択される、前記装置。
付記２．前記変換係数は前記第２の変換の第１の基底ベクトルに対応する、付記１に記載の装置。
付記３．平滑度制約条件が前記第１の基底ベクトルに課される、付記２に記載の装置。
付記４．前記第１の基底ベクトルに対応する前記変換係数の変化は、特定の閾値未満に制約される、付記２に記載の装置。
付記５．所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、前記フーリエ変換が前記第２の変換に対応する、付記２に記載の装置。
付記６．前記第１のベクトル基底に対応する変換係数が一定である、付記２に記載の装置。
付記７．前記第１の変換が離散コサイン変換である、付記１に記載の装置。
付記８．ビデオ符号化器における方法であって、
ピクチャ内の少なくとも１つのブロックの符号化を、少なくとも第１の変換と該第１の変換とは異なる第２の変換とから特定の変換を選択し（５２５）、前記特定の変換を前記ブロックの残差に適用する（５１５、５３５、５４５）ことによって行い、前記第２の変換のための変換係数は前記ビデオ符号化器に存在するデブロッキング・フィルタに応答して選択される、前記方法。
付記９．前記変換係数は、前記第２の変換の第１の基底ベクトルに対応する（５３５、５４５）、付記８に記載の方法。
付記１０．平滑度制約条件が前記第１の基底ベクトルに課される（５３５）、付記９に記載の方法。
付記１１．前記第１の基底ベクトルに対応する前記変換係数の変化は、特定の閾値未満に制約される、付記９に記載の方法。
付記１２．所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、前記フーリエ変換が前記第２の変換に対応する、付記９に記載の方法。
付記１３．前記第１のベクトル基底に対応する変換係数が一定である（５４５）、付記９に記載の方法。
付記１４．前記第１の変換が離散コサイン変換である、付記８に記載の方法。
付記１５．装置であって、
ピクチャ内の少なくとも１つのブロックを復号するビデオ復号器（４００）であって、前記ブロックのための変換係数と少なくとも第１の変換および当該第１の変換とは異なる第２の変換のうちのいずれが前記ブロックの符号化に使用されたかを示す変換インジケータとを受信することと、前記変換インジケータによって示される前記第１の変換および前記第２の変換のうちの一方を前記ブロックの残差に適用することとによって復号する、該ビデオ復号器を備え、
前記第２の変換のための変換係数は前記ビデオ復号器に存在するデブロッキング・フィルタに応答して決定される、前記装置。
付記１６．前記変換係数は、前記第２の変換の第１の基底ベクトルに対応する、付記１５に記載の装置。
付記１７．平滑度制約条件が前記第１の基底ベクトルに課される、付記１６に記載の装置。
付記１８．前記第１の基底ベクトルに対応する前記変換係数の変化は、特定の閾値未満に制約される、付記１６に記載の装置。
付記１９．所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、前記フーリエ変換が前記第２の変換に対応する、付記１６に記載の装置。
付記２０．前記第１のベクトル基底に対応する変換係数が一定である、付記１６に記載の装置。
付記２１．前記第１の変換が離散コサイン変換である、付記１５に記載の装置。
付記２２．ビデオ復号器における方法であって、
ピクチャ内の少なくとも１つのブロックを復号するステップであって、前記ブロックのための変換係数と少なくとも第１の変換および当該第１の変換とは異なる第２の変換のうちのいずれが前記ブロックの符号化に使用されたかを示す変換インジケータとを受信すること（６１０）と、前記変換インジケータによって示される前記第１の変換および前記第２の変換のうちの一方を前記ブロックの残差に適用する（６２５、６３０、６３５）こととによって復号する、該ステップを含み、
前記第２の変換のための変換係数は前記ビデオ復号器に存在するデブロッキング・フィルタに応答して決定される、前記方法。
付記２３．前記変換係数は、前記第２の変換の第１の基底ベクトルに対応する（６３０、６３５）、付記２２に記載の方法。
付記２４．平滑度制約条件が前記第１の基底ベクトルに課される（６３０）、付記２３に記載の方法。
付記２５．前記第１の基底ベクトルに対応する前記変換係数の変化は、特定の閾値未満に制約される、付記２３に記載の方法。
付記２６．所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、前記フーリエ変換が前記第２の変換に対応する、付記２３に記載の方法。
付記２７．前記第１のベクトル基底に対応する各変換係数が一定である（６３５）、付記２３に記載の方法。
付記２８．前記第１の変換が離散コサイン変換である、付記１５に記載の方法。
付記２９．符号化されたビデオ信号データを記憶するコンピュータによって読み取り可能なストレージ媒体であって、符号化されたピクチャ内の少なくとも１つのブロックを含み、前記ブロックの符号化が、少なくとも第１の変換および当該第１の変換とは異なる第２の変換から特定の変換を選択し、前記特定の変換を前記ブロックの残差に適用することによって行われ、前記第２の変換のための変換係数は、前記ブロックを符号化するために使用されるビデオ符号化器に存在するデブロッキング・フィルタに応答して選択される、前記ストレージ媒体。

Claims (10)

1. 装置であって、
   ピクチャ内の少なくとも１つのブロックを復号するビデオ復号器であって、前記ブロックの復号に使用される変換のための変換係数と、少なくとも第１の変換および当該第１の変換とは異なる第２の変換のうちのいずれが前記ブロックの符号化に使用されたかを示す前記ブロックのための変換インジケータとを受信することと、前記変換インジケータによって示される前記第１の変換および前記第２の変換のうちの一方を前記ブロックの残差に適用することとによって復号する、該ビデオ復号器を備え、
   前記第２の変換の変換係数は前記ビデオ復号器に存在するデブロッキング・フィルタに適合するように決定され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第２の変換の変換係数は前記第２の変換の第１の基底ベクトルに対応し、前記第１の基底ベクトルに対応する前記第２の変換の変換係数の変化は、特定の閾値未満に制約される、前記装置。
2. 装置であって、
   ピクチャ内の少なくとも１つのブロックを復号するビデオ復号器であって、前記ブロックの復号に使用される変換のための変換係数と、少なくとも第１の変換および当該第１の変換とは異なる第２の変換のうちのいずれが前記ブロックの符号化に使用されたかを示す前記ブロックのための変換インジケータとを受信することと、前記変換インジケータによって示される前記第１の変換および前記第２の変換のうちの一方を前記ブロックの残差に適用することとによって復号する、該ビデオ復号器を備え、
   前記第２の変換の変換係数は前記ビデオ復号器に存在するデブロッキング・フィルタに適合するように決定され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第２の変換の変換係数は前記第２の変換の第１の基底ベクトルに対応し、所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、該フーリエ変換が前記第２の変換に対応する、前記装置。
3. 装置であって、
   ピクチャ内の少なくとも１つのブロックを復号するビデオ復号器であって、前記ブロックの復号に使用される変換のための変換係数と、少なくとも第１の変換および当該第１の変換とは異なる第２の変換のうちのいずれが前記ブロックの符号化に使用されたかを示す前記ブロックのための変換インジケータとを受信することと、前記変換インジケータによって示される前記第１の変換および前記第２の変換のうちの一方を前記ブロックの残差に適用することとによって復号する、該ビデオ復号器を備え、
   前記第２の変換の変換係数は前記ビデオ復号器に存在するデブロッキング・フィルタに適合するように決定され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第１の変換が離散コサイン変換である、前記装置。
4. 装置であって、
   ピクチャ内の少なくとも１つのブロックの符号化を、少なくとも第１の変換と該第１の変換とは異なる第２の変換とから特定の変換を選択し、該特定の変換を該ブロックの残差に適用することによって行うビデオ符号化器を備え、
   前記第２の変換の変換係数は前記ビデオ符号化器に存在するデブロッキング・フィルタに適合するように選択され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第２の変換の変換係数は前記第２の変換の第１の基底ベクトルに対応し、前記第１の基底ベクトルに対応する前記第２の変換の変換係数の変化は、特定の閾値未満に制約される、前記装置。
5. 装置であって、
   ピクチャ内の少なくとも１つのブロックの符号化を、少なくとも第１の変換と該第１の変換とは異なる第２の変換とから特定の変換を選択し、該特定の変換を該ブロックの残差に適用することによって行うビデオ符号化器を備え、
   前記第２の変換の変換係数は前記ビデオ符号化器に存在するデブロッキング・フィルタに適合するように選択され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第２の変換の変換係数は前記第２の変換の第１の基底ベクトルに対応し、所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、該フーリエ変換が前記第２の変換に対応する、前記装置。
6. 装置であって、
   ピクチャ内の少なくとも１つのブロックの符号化を、少なくとも第１の変換と該第１の変換とは異なる第２の変換とから特定の変換を選択し、該特定の変換を該ブロックの残差に適用することによって行うビデオ符号化器を備え、
   前記第２の変換の変換係数は前記ビデオ符号化器に存在するデブロッキング・フィルタに適合するように選択され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第１の変換が離散コサイン変換である、前記装置。
7. ビデオ復号器における方法であって、
   ピクチャ内の少なくとも１つのブロックを復号するステップであって、前記ブロックの復号に使用される変換のための変換係数と、少なくとも第１の変換および当該第１の変換とは異なる第２の変換のうちのいずれが前記ブロックの符号化に使用されたかを示す前記ブロックのための変換インジケータとを受信することと、前記変換インジケータによって示される前記第１の変換および前記第２の変換のうちの一方を前記ブロックの残差に適用することとによって復号する、該ステップを含み、
   前記第２の変換の変換係数は前記ビデオ復号器に存在するデブロッキング・フィルタに適合するように決定され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第２の変換の変換係数は前記第２の変換の第１の基底ベクトルに対応し、前記第１の基底ベクトルに対応する前記第２の変換の変換係数の変化は、特定の閾値未満に制約される、前記方法。
8. ビデオ復号器における方法であって、
   ピクチャ内の少なくとも１つのブロックを復号するステップであって、前記ブロックの復号に使用される変換のための変換係数と、少なくとも第１の変換および当該第１の変換とは異なる第２の変換のうちのいずれが前記ブロックの符号化に使用されたかを示す前記ブロックのための変換インジケータとを受信することと、前記変換インジケータによって示される前記第１の変換および前記第２の変換のうちの一方を前記ブロックの残差に適用することとによって復号する、該ステップを含み、
   前記第２の変換の変換係数は前記ビデオ復号器に存在するデブロッキング・フィルタに適合するように決定され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第２の変換の変換係数は前記第２の変換の第１の基底ベクトルに対応し、所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、該フーリエ変換が前記第２の変換に対応する、前記方法。
9. ビデオ符号化器における方法であって、
   ピクチャ内の少なくとも１つのブロックを符号化するステップであって、少なくとも第１の変換と該第１の変換とは異なる第２の変換とから特定の変換を選択することと、該特定の変換を該ブロックの残差に適用することとによって符号化する、該ステップを含み、
   前記第２の変換の変換係数は前記ビデオ符号化器に存在するデブロッキング・フィルタに適合するように選択され、前記第２の変換の最低の周波数成分は平滑であり、
   前記第２の変換の変換係数は前記第２の変換の第１の基底ベクトルに対応し、前記第１の基底ベクトルに対応する前記第２の変換の変換係数の変化は、特定の閾値未満に制約される、前記方法。
10. ビデオ符号化器における方法であって、
    ピクチャ内の少なくとも１つのブロックを符号化するステップであって、少なくとも第１の変換と該第１の変換とは異なる第２の変換とから特定の変換を選択することと、該特定の変換を該ブロックの残差に適用することとによって符号化する、該ステップを含み、
    前記第２の変換の変換係数は前記ビデオ符号化器に存在するデブロッキング・フィルタに適合するように選択され、前記第２の変換の最低の周波数成分は平滑であり、
    前記第２の変換の変換係数は前記第２の変換の第１の基底ベクトルに対応し、所与の周波数未満のフーリエ変換のエネルギーが特定の閾値を超え、該フーリエ変換が前記第２の変換に対応する、前記方法。

Images