JP2013258771A - 予測データ精緻化を使用してビデオを符号化する方法及び装置 - Google Patents

Abstract

【課題】予測データ精緻化を使用してビデオを符号化する方法及び装置を提供する。
【解決手段】装置は、ピクチャの画像領域を符号化する符号化器（３００）を含む。符号化器（３００）は、画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化するための予測精緻化フィルタ（３３３）を有する。予測精緻化フィルタ（３３３）は、先行復号化データ及び先行符号化データの少なくとも一方を使用して画像領域のインター予測を精緻化し、先行復号化データ及び先行符号化データは、画像領域に対する近傍領域内の画素値に対応する。
【選択図】図３

Description

本出願は、その内容全部を本明細書及び特許請求の範囲に援用する、西暦２００６年１０月１８日付出願の米国特許仮出願第６０／８５２５２９号の利益を主張する。本出願は、その内容全部を本明細書及び特許請求の範囲に援用する、西暦２００７年４月１３日付出願の米国特許仮出願第６０／９１１５３６号の利益も主張する。

本出願の原理は、一般に、ビデオの符号化及び復号化に関し、特に、予測データ精緻化を使用してビデオを符号化する方法及び装置に関する。

ビデオ符号化手法は、効率的になるように予測ベースの符号化を使用することができる。特定のフレームにおけるデータがブロック単位で、既に復号化されたデータから予測される（他の参照フレームから（すなわち、「インター」予測）であってもよく、又は同じフレームで既に復号化されたデータから（すなわち、「イントラ」予測）であってもよい。予測が元のデータから減算された後に生成される残差誤差が、次いで、通常、変換、量子化及び符号化される。特定のフレームの特定の空間位置で使用される予測のタイプは、最後の符号化が、できる限り効率的であるように適合的に選択される。この選択は、レート歪み尺度の最適化に依存する。実際に、最低のビットレートの最低の歪みにつながる予測器は、考えられる予測モード全てのうちから選択される。

場合によっては、レート歪みの点で最良の予測器は、正しい予測データをもたらさず、その場合、符号化されなければならない高い量の残差誤差をもたらすことが有り得る。精度が低いことは、予測器の選択がビットレート・コストと歪みとの間の妥協につながるレート制約によるものであり得るか、又は単に、利用可能な予測モデルが適切でないからであり得る。国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）動画像専門家グループ−４（ＭＰＥＧ−４）パート１０ 高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合 電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以降、「ＭＰＥＧ−４ ＡＶＣ標準」）は、その復号化された近傍ブロックからの情報を使用して特定のブロック内のデータを予測する。しかし、前述の予測器は、高周波及びテクスチャ・データを扱うことができない。

一部の従来技術のビデオ符号化器／復号化器（例えば、ＭＰＥＧ−４ ＡＶＣ標準に準拠したものなど）では、いわゆる「デブロッキング・フィルタ」の使用による予測精緻化が符号化／復号化処理において利用される。残差誤差の変換ベースの符号化によってもたらされる符号化の低精度は、符号化ループにおける最後の工程として再構成フレームを処理するフィルタによって軽減することができる。他のループ内フィルタが、ＭＰＥＧ−４ ＡＶＣ標準デブロッキング・フィルタの制約に対応するために提案されている。通常、前述のフィルタは再構成ピクチャに対して施される。

再構成後のループ内フィルタリングは、誤差残差符号化における量子化工程中に失われた情報の一部の回復を可能にする。しかし、再構成画像に対して施されるような、現在のピクチャ内で符号化される対象の情報の量の削減に寄与することは期待されていない。符号化する対象の情報の量を削減するために、予測信号を改良することが可能である。従来、これは、一層高度な予測モードを含めることによって行われている。

欠けているデータの推定のためのアルゴリズム（このうちの一部は、「インペインティング」アルゴリズムとして表すことができる）は、例えば、拡散原理及び／若しくはテクスチャ成長、又は、非線形疎分解雑音除去に基づき得る。前述のアルゴリズムは、既知の近傍データに基づいて、欠けているデータの値を推定しようとし得る。実際に、ピクチャ内の欠けているブロックを有し、欠けているブロックを、特定の近傍ブロックにおいて利用可能なデータから、欠けているブロックを推定することにより、欠けているブロックを回復することを想定し得る。前述のアルゴリズムは一般に、欠けているデータについての知識が何もないものとする、すなわち、近傍の利用可能データに依拠して欠けているデータを推定するに過ぎない。

図１を参照すれば、ＭＰＥＧ−４ ＡＶＣ標準によってビデオ符号化を行うことができるビデオ符号化器は全体を参照符号１００で示す。

ビデオ符号化器１００は、合成器１８５の非反転入力と信号通信する出力を有するフレーム配列バッファ１１０を含む。合成器１８５の出力は、変換器及び量子化器１２５の第１の入力と信号通信で接続される。変換器及び量子化器１２５の出力は、エントロピ符号化器１４５の第１の入力及び逆変換器及び逆量子化器１５０の第１の入力と信号通信で接続される。エントロピ符号化器１４５の出力は、合成器１９０の第１の非反転入力と信号通信で接続される。合成器１９０の出力は、出力バッファ１３５の第１の入力と信号通信で接続される。

符号化器コントローラ１０５の第１の出力は、フレーム配列バッファ１１０の第２の入力、逆変換器及び逆量子化器１５０の第２の入力、ピクチャタイプ決定モジュール１１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール１２０の入力、イントラ予測モジュール１６０の第２の入力、デブロッキング・フィルタ１６５の第２の入力、動き補償器１７０の第１の入力、動き推定器１７５の第１の入力、及び参照ピクチャ・バッファ１８０の第２の入力と信号通信で接続される。

符号化器コントローラ１０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器１３０の第１の入力、変換器及び量子化器１２５の第２の入力、エントロピ符号化器１４５の第２の入力、出力バッファ１３５の第２の入力、並びに、系列パラメータ組（ＳＰＳ）及びピクチャ・パラメータ組（ＰＰＳ）挿入器１４０の入力と信号通信で接続される。

ピクチャタイプ決定モジュール１１５の第１の出力はフレーム配列バッファ１１０の第３の入力と信号通信で接続される。ピクチャタイプ決定モジュール１１５の第２の出力は、マクロブロックタイプ決定モジュール１２０の第２の入力と信号通信で接続される。

系列パラメータ組（ＳＰＳ）及びピクチャ・パラメータ組（ＰＰＳ）挿入器１４０の出力は、合成器１９０の第３の非反転入力と信号通信で接続される。

逆量子化器及び逆変換器１５０の出力は、合成器１１９の第１の非反転入力と信号通信で接続される。合成器１１９の出力は、イントラ予測モジュール１６０の第１の入力及びデブロッキング・フィルタ１６５の第１の入力と信号通信で接続される。デブロッキング・フィルタ１６５の出力は参照ピクチャ・バッファ１８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ１８０の出力は、動き推定器１７５の第２の入力と信号通信で接続される。動き推定器１７５の第１の出力は動き補償器１７０の第２の入力と信号通信で接続される。参照ピクチャ・バッファ１８０の出力は、動き補償器１７０の第３の入力と信号通信で接続される。動き推定器１７５の第２の出力は、エントロピ符号化器１４５の第３の入力と信号通信で接続される。

動き推定器１７０の出力はスイッチ１９７の第１の入力と信号通信で接続される。イントラ予測モジュール１６０の出力はスイッチ１９７の第２の入力と信号通信で接続される。マクロブロックタイプの決定モジュール１２０の出力はスイッチ１９７の第３の入力と信号通信で接続される。スイッチ１９７の第３の入力は、（制御入力、すなわち、第３の入力と比較して）スイッチの「データ」入力を動き補償器１７０又はイントラ予測モジュール１６０によって供給されるか否かを判定する。スイッチ１９７の出力は、合成器１１９の第２の非反転入力、及び合成器１８５の反転入力と信号通信で接続される。

フレーム配列バッファ１１０及び符号化器コントローラ１０５の入力は、入力ピクチャ１０１を受信するために、符号化器１００の入力として利用可能である。更に、付加拡張情報（ＳＥＩ）挿入器１３０の入力は、メタデータを受信するために、符号化器１００の入力として利用可能である。出力バッファ１３５の出力は、ビットストリームを出力するために、符号化器１００の出力として利用可能である。

図２に移れば、ＭＰＥＧ−４ ＡＶＣによってビデオ復号化を行うことができるビデオ復号化器は全体を参照符号２００で示す。

ビデオ復号化器２００は、エントロピ復号化器２４５の第１の入力と信号通信で接続された出力を有する入力バッファ２１０を含む。エントロピ復号化器２４５の第１の出力は、逆変換器及び逆量子化器２５０の第１の入力と信号通信で接続される。逆変換器及び逆量子化器２５０の出力は合成器２２５の第２の非反転入力と信号通信で接続される。合成器２２５の出力はデブロッキング・フィルタ２６５の第２の入力及びイントラ予測モジュール２６０の第１の入力と信号通信で接続される。デブロッキング・フィルタ２６５の第２の出力は、参照ピクチャ・バッファ２８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ２８０の出力は、動き補償器２７０の第２の入力と信号通信で接続される。

エントロピ復号化器２４５の第２の出力は、動き補償器２７０の第３の入力及びデブロッキング・フィルタ２６５の第１の入力と信号通信で接続される。エントロピ復号化器２４５の第３の出力は復号化器コントローラ２０５の入力と信号通信で接続される。復号化器コントローラ２０５の第１の出力はエントロピ復号化器２４５の第２の入力と信号通信で接続される。復号化器コントローラ２０５の第２の出力は、逆変換器及び逆量子化器２５０の第２の入力と信号通信で接続される。復号化器コントローラ２０５の第３の出力は、デブロッキング・フィルタ２６５の第３の入力と信号通信で接続される。復号化器コントローラ２０５の第４の出力は、イントラ予測モジュール２６０の第２の入力、動き補償器２７０の第１の入力、及び参照ピクチャ・バッファ２８０の第２の入力と信号通信で接続される。

動き補償器２７０の出力は、スイッチ２９７の第１の入力と信号通信で接続される。イントラ予測モジュール２６０の出力は、スイッチ２９７の第２の入力と信号通信で接続される。スイッチ２９７の出力は、合成器２２５の第１の非反転入力と信号通信で接続される。

入力バッファ２１０の入力は、入力ビットストリームを受信するために、復号化器２００の入力として利用可能である。デブロッキング・フィルタ２６５の第１の出力は、出力ピクチャを出力するために、復号化器２００の出力として利用可能である。

従来技術の前述並びに他の弊害及び欠点が、予測データ精緻化を使用してビデオを符号化する方法及び装置に関する本願の原理によって対処される。

本願の原理の局面によれば、装置が提供される。装置は、ピクチャの画像領域を符号化する符号化器を含む。符号化器は、画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化するための予測精緻化フィルタを有する。予測精緻化フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用して画像領域のインター予測を精緻化し、先行復号化データ及び先行符号化データは、画像領域に対する近傍領域内の画素値に対応する。

本願の原理の別の局面によれば、方法が提供される。方法は、予測精緻化フィルタを使用してピクチャの画像領域を符号化して、画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化する工程を含む。予測精緻化フィルタは、先行復号化データ及び先行符号化データの少なくとも１つを使用して画像領域のインター予測を精緻化し、先行復号化データ及び先行符号化データは、画像領域に対する近傍領域内の画素値に対応する。

本願の原理の更に別の局面によれば、装置が提供される。装置は、ピクチャの画像領域を復号化する復号化器を含む。復号化器は、画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化するための予測精緻化フィルタを有する。予測精緻化フィルタは、画像領域に対する近傍領域内の画素値に対応する先行復号化データを使用して画像領域のインター予測を精緻化する。

本願の原理の別の局面によれば、方法が提供される。方法は、予測精緻化フィルタを使用してピクチャの画像領域を復号化して、画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化する工程を含む。予測精緻化フィルタは、画像領域に対する近傍領域内の画素値に対応する先行復号化データを使用して画像領域のインター予測を精緻化する。

ＭＰＥＧ―４ ＡＶＣ標準によってビデオ符号化を行うことができるビデオ符号化器を示すブロック図である。 ＭＰＥＧ―４ ＡＶＣ標準によってビデオ復号化を行うことができるビデオ復号化器を示すブロック図である。 本願の原理の実施例による、本願の原理に使用されるために修正及び／又は拡張された、ＭＰＥＧ−４ＡＶＣ標準によるビデオ符号化を行うことができるビデオ符号化器を示すブロック図である。 本願の原理の実施例による、本願の原理に使用されるために修正及び／又は拡張された、ＭＰＥＧ−４ ＡＶＣ標準によるビデオ復号化を行うことができるビデオ復号化器を示すブロック図である。 本願の原理の実施例による、符号化されている現在の４×４イントラ・ブロック、及び予測精緻化の参照として使用される適切な因果的近傍を示す図である。 本願の原理の実施例による、符号化されている現在の４×４イントラ・ブロック、及び予測精緻化の参照として使用される適切な非因果的近傍を示す図である。 本願の原理の実施例による、予測精緻化を使用して画像データを符号化する方法を示すフロー図である。 本願の原理の実施例による、予測精緻化を使用して画像データを復号化する方法を示すフロー図である。 本願の原理の実施例による、精緻化を予測に設けるための例示的な装置を示すブロック図である。 本願の原理の実施例による、精緻化された予測を生成するための例示的な方法を示すフロー図である。 本願の原理の実施例による、精緻化されているマクロブロック内の同心画像層組を例示した図である。

本発明の前述及び他の局面、構成及び利点は、添付図面とともに読まれる例示的な実施例の以下の詳細な説明から明らかになるであろう。

本願の原理は、以下の例示的な図により、更に詳細に理解することができる。

本願の原理は、予測データ精緻化を使用してビデオを符号化する方法及び装置に関する。

本明細書及び特許請求の範囲は、本願の原理を示す。よって、本明細書及び特許請求の範囲に明示的に説明し、又は示している訳でないが、本願の原理を実施し、その趣旨及び範囲内に含まれる種々の配置を当業者が考え出すことができるであろう。

本明細書及び特許請求の範囲記載の例及び条件付文言は全て、本願の原理、及び当該技術分野を発展させるために本願の発明者が貢献する概念の、読者の理解を支援するための教示の目的を意図しており、前述の、特記した例及び条件への限定なしであると解釈するものとする。

更に、本願の原理、局面、及び実施例、並びにそれらの特定例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。

よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本願の原理を実施する例証的な回路の概念図を表すことは当業者によって認識されるであろう。同様に、フローチャート、フロー図、状態遷移図、擬似コード等は何れも、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサにより、前述のコンピュータ又はプロセッサが明記されているかにかかわらず、実行し得る種々の処理を表す。

図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって備えることができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、又は、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを専ら表すものと解するべきでなく、暗黙的には、無制限に、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。

他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念のみである。その機能は、プログラム・ロジックの動作により、専用ロジックにより、プログラム制御及び専用ロジックの相互作用により、又は手作業によって行うことができ、特定の手法は、コンテキストから更に具体的に分かるように実現者によって選択可能である。

本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本願の原理は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということに存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。

本願明細書における、本願の原理の「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ」への言及は、本願の実施例に関して説明した特定の構成、構造又は特性等が本願の原理の少なくとも一実施例に含まれていることを意味している。よって、本明細書全体の種々の箇所に記載された「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ」の句は、必ずしも、同じ実施例を全て表している訳でない。

本明細書及び特許請求の範囲では、「高位構文」は、階層的にマクロブロック層の上の、ビットストリーム内に存在している構文を表す。例えば、本明細書及び特許請求の範囲記載の高位構文は、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ組レベル、シーケンス・パラメータ組レベル、及びＮＡＬ装置ヘッダ・レベルを表し得るが、それらに限定されない。

「画像データ」という句は、静止画像及び動画像（すなわち、動きを含む画像の系列）の何れかに対応するデータを表すことを意図している。

「インペインティング」という語は、画像内で部分的又は完全に欠けているデータ及び／又はデータ成分を、近傍の利用可能データを使用して、推定し、補間し、かつ／又は予測する手法を表す。

「希薄性ベースのインペインティング」という句は、希薄性ベースの原理を使用して、画像内で部分的又は全体的に欠けているデータ及び／データ成分を推定、補間及び／又は予測する「インペインティング」手法の特定の実施例を表す。

「因果的デ―タ近傍」及び「非因果的データ近傍」の句はそれぞれ、通常の走査順序（例えば、ＭＰＥＧ−４ＡＶＣ標準におけるラスタ走査及び／又はジグザグ走査）によってピクチャ内の先行処理データを含むデータ近傍、及び、通常の走査順序（例えば、Ｈ．２６４／ＡＶＣにおけるジグザグ走査及び／又はラスタ走査）による現行データに対して後方位置に配置された領域から進む少なくとも特定のデータを含むデータ近傍を表す。因果的走査順序の例を図５Ａに関して示す。非因果的走査順序の例を図５Ｂに関して示す。

「及び／又は」の語を使用していること、例えば、「Ａ及び／又はＢ」の場合は、最初に挙げられた選択肢（Ａ）の選択、第２に挙げられた選択肢（Ｂ）の選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されている。更なる例として、「Ａ、Ｂ、及び／又はＣ」の場合、前述の句は、第１に挙げられた選択肢（Ａ）の選択、第２に挙げられた選択肢（Ｂ）の選択、第３に挙げられた選択肢（Ｃ）の選択、第１に挙げられた選択肢及び第２に挙げられた選択肢（Ａ及びＢ）の選択、第１に挙げられた選択肢及び第３に挙げられた選択肢（Ａ及びＣ）の選択、第２に挙げられた選択肢及び第３に挙げられた選択肢（Ｂ及びＣ）の選択、又は、３つの選択肢（Ａ、Ｂ及びＣ）全ての選択を包含することを意図している。当該技術分野及び関連技術分野において通常の知識を有する者が容易に分かるように、このことは、挙げられたいくつもの項目について拡張することができる。

更に、本願の原理の１つ又は複数の実施例は本明細書及び特許請求の範囲においてＭＰＥＧ−４ ＡＶＣ標準に関して説明しているが、本願の原理は単にこの標準に限定されず、よって、本願の原理の趣旨を維持しながら、他のビデオ符号化の標準、勧告、及びその拡張（ＭＰＥＧ−４ＡＶＣ標準のマルチビュー拡張（及び非マルチビュー拡張）などの拡張を含む）に関して利用することができる。

更に、本願の原理は、これらに限定されないが、予測ビデオ符号化、マルチビュー・ビデオ符号化、スケーラブル・ビデオ符号化等を含む予測を使用する何れかのビデオ符号化ストラテジに関して使用することができる。

図３を参照すれば、本願の原理に使用するために修正及び／又は拡張された、ＭＰＥＧ−４ ＡＶＣ標準によってビデオ符号化を行うことができるビデオ符号化器は全体を参照符号３００で示す。

ビデオ符号化器３００は、合成器３８５の非反転入力と信号通信する出力を有するフレーム配列バッファ３１０を含む。合成器３８５の出力は、変換器及び量子化器３２５の第１の入力と信号通信で接続される。変換器及び量子化器３２５の出力は、エントロピ符号化器３４５の第１の入力、並びに、逆変換器及び逆量子化器３５０の第１の入力と信号通信で接続される。エントロピ符号化器３４５の出力は、合成器３９０の第１の非反転入力と信号通信で接続される。合成器３９０の出力は、出力バッファ３３５の第１の入力と信号通信で接続される。

符号化器コントロ―ラ３０５の第１の出力は、フレーム配列バッファ３１０の第２の入力、逆変換器及び逆量子化器３５０の第２の入力、ピクチャタイプ決定モジュール３１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール３２０の入力、イントラ予測モジュール３６０の第２の入力、デブロッキング・フィルタ３６５の第２の入力、動き補償器３７０の第１の入力、動き推定器３７５の第１の入力、参照ピクチャ・バッファ３８０の第２の入力、及び予測精緻化フィルタ３３３の第１の入力と信号通信で接続される。

符号化器コントローラ３０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器３３０の第１の入力、変換器及び量子化器３２５の第２の入力、エントロピ符号化器３４５の第２の入力、出力バッファ３３５の第２の入力、並びに、系列パラメータ組（ＳＰＳ）及びピクチャ・パラメータ組（ＰＰＳ）挿入器３４０の入力と信号通信で接続される。

ピクチャタイプ決定モジュール３１５の第１の出力は、フレーム配列バッファ３１０の第３の入力と信号通信で接続される。ピクチャタイプ決定モジュール３１５の第２の出力は、マクロブロックタイプ決定モジュール３２０の第２の入力と信号通信で接続される。

系列パラメータ組（ＳＰＳ）及びピクチャ・パラメータ組（ＰＰＳ）挿入器３４０の出力は、合成器３９０の第３の非反転入力と信号通信で接続される。

逆量子化器及び逆変換器３５０の出力は、合成器３１９の第１の非反転入力と信号通信で接続される。合成器３１９の出力は、イントラ予測モジュール３６０、デブロッキング・フィルタ３６５の第１の入力、及び予測精緻化フィルタ３３３の第２の入力と信号通信で接続される。デブロッキング・フィルタ３６５の出力は参照ピクチャ・バッファ３８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ３８０の出力は、動き推定器３７５の第２の入力及び動き補償器３７０の第３の入力と信号通信で接続される。動き推定器３７５の第１の出力は、動き補償器３７０の第２の入力と信号通信で接続される。動き推定器３７５の第２の出力は、エントロピ符号化器３４５の第３の入力と信号通信で接続される。

動き補償器３７０の出力はスイッチ３９７の第１の入力と信号通信で接続される。イントラ予測モジュール３６０の出力はスイッチ３９７の第２の入力と信号通信で接続される。マクロブロックタイプ決定モジュール３２０の出力はスイッチ３９７の第３の入力と信号通信で接続される。スイッチ３９７の第３の入力は、（制御入力、すなわち、第３の入力と比較して）スイッチの「データ」入力を動き補償器３７０又はイントラ予測モジュール３６０によって供給されるか否かを判定する。スイッチ３９７の出力は、予測精緻化フィルタ３３３の第３の入力と信号通信で接続される。予測精緻化フィルタ３３３の第１の出力は、合成器３１９の第２の非反転入力と信号通信で接続される。予測精緻化フィルタ３３３の第２の出力は合成器３８５の反転入力と信号通信で接続される。

フレーム配列バッファ３１０及び符号化器コントローラ３０５の入力は、入力ピクチャ３０１を受信するために、符号化器３００の入力として利用可能である。更に、付加拡張情報（ＳＥＩ）挿入器３３０の入力は、メタデータを受信するために、符号化器３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するために、符号化器３００の出力として利用可能である。

図４に移れば、本願の原理に使用するために修正及び／拡張された、ＭＰＥＧ−４ＡＶＣ標準によるビデオ復号化を行うことができるビデオ復号化器は全体を参照符号４００で示す。

ビデオ復号化器４００は、エントロピ復号化器４４５の第１の入力と信号通信で接続された出力を有する入力バッファ４１０を含む。エントロピ復号化器４４５の第１の出力は、逆変換器及び逆量子化器４５０の第１の入力と信号通信で接続される。逆変換器及び逆量子化器４５０の出力は合成器４２５の第２の非反転入力と信号通信で接続される。合成器４２５の出力は、デブロッキング・フィルタ４６５の第２の入力、イントラ予測モジュール４６０の第１の入力、及び予測精緻化フィルタ４３３の第３の入力と信号通信で接続される。デブロッキング・フィルタ４６５の第２の出力は、参照ピクチャ・バッファ４８０の第１の入力と信号通信で接続される。参照ピクチャ・バッファ４８０の出力は、動き補償器４７０の第２の入力と信号通信で接続される。

エントロピ復号化器４４５の第２の出力は、動き補償器４７０の第３の入力、デブロッキング・フィルタ４６５の第１の入力、及び予測精緻化フィルタ４３３の第４の入力と信号通信で接続される。エントロピ復号化器４４５の第３の出力は復号化器コントローラ４０５の入力と信号通信で接続される。復号化器コントローラ４０５の第１の出力はエントロピ復号化器４４５の第２の入力と信号通信で接続される。復号化器コントローラ４０５の第２の出力は、逆変換器及び逆量子化器４５０の第２の入力と信号通信で接続される。復号化器コントローラ４０５の第３の出力はデブロッキング・フィルタ４６５の第３の入力と信号通信で接続される。復号化器コントローラ４０５の第４の出力は、イントラ予測モジュール４６０の第２の入力、動き補償器４７０の第１の入力、参照ピクチャ・バッファ４８０の第２の入力、並びに、予測精緻化フィルタ４３３の第１の入力と信号通信で接続される。

動き補償器４７０の出力は、スイッチ４９７の第１の入力と信号通信で接続される。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力と信号通信で接続される。スイッチ４９７の出力は、予測精緻化フィルタ４３３の第２の入力と信号通信で接続される。予測精緻化フィルタ４３３の出力は、合成器４２５の第１の非反転入力と信号通信で接続される。

入力バッファ４１０の入力は、入力ビットストリームを受信するために、復号化器４００の入力として利用可能である。デブロッキング・フィルタ４６５の第１の出力は、出力ピクチャを出力するために、復号化器４００の出力として利用可能である。

前述の通り、本願の原理は、予測データ精緻化を使用してビデオを符号化する方法及び装置に関する。

一実施例では、適合フィルタが、予測ビデオ符号化及び／又は復号化に使用される。適合フィルタは、予測データを拡充し、かつ／又は他のやり方で精緻化するために、符号化ループ及び／又は復号化ループにおいて実現することができる。一実施例では、予測段階後、かつ誤り残差の生成の前に適合フィルタを施す。

一実施例では、予測段階で生成されたデータをフィルタするために、希薄性ベースのインペインティング手法を使用することができる。考えられる予測モードのうちの何れかが、（例えば、所定の基準に対して）十分に正確な予測を生成した場合、本願の原理の実施例により、選択された予測に施され、既に復号化されたデータを使用したフィルタは、より小さな残差誤差がもたらされるように予測データを精緻化し、よって、場合によっては、残差符号化に必要な情報の量を削減し、かつ／又は、予測データの忠実度を増加させることが可能である。

従来技術のビデオ符号化では、ビデオ符号化器／復号化器のパラダイムのモード選択及び予測段階中に予測されたデータは、予測残差の生成において直接使用される。更に、欠けている画像領域の再生（例えば、インペインティング）における従来技術は、特定の雑音除去手法を前述の目的で使用することが可能である。その代わりに、本願の原理の実施例では、部分的に欠けているデータの再生のための雑音除去ベースの手法であり得る予測残差の生成に先行して、更に精緻化するために予測データに対してフィルタを使用することを提案する。一実施例では、提案された手法を使用して、予測モードから得られた予測を拡張／精緻化することが可能である。一実施例では、予測後（、及び残差誤差が生成される前）、精緻化フィルタの使用が、ビデオ符号化アルゴリズムに提案されている。

本願の原理は、（例えば、近傍のブロック、フレーム、及び／又はピクチャからの、）受信器において利用可能な復号化データを使用して、残差誤差がもたらされる前に予測データを精緻化することが可能である。

イントラ予測精緻化
イントラ予測に関する実施例（以降「イントラ予測の実施例」）を次いで説明する。イントラ予測の実施例を本明細書及び特許請求の範囲において例証の目的で記載するものとし、よって、本明細書及び特許請求の範囲記載の本願の原理の教示があれば、当該及び関連の技術分野において通常の知識を有する者は、本願の原理の趣旨を維持しながら、イントラ予測に対する本願の原理の種々の修正及び変形を考え出すであろう。

イントラ予測について提案された手法には、既存のイントラ符号化モードの予測精度を向上させるループ内イントラ符号化精緻化処理が関係する。通常、固有に低域通過処理である標準的なイントラ符号化手法は一般に、高周波コンテンツを効果的に予測することができない。一実施例では、周囲ブロック上のサンプルを考慮に入れて、標準的なイントラ予測を介して得られた既存の予測を精緻化する。例えばＭＰＥＧ−４ ＡＶＣ標準において使用されるような伝統的なイントラ予測では、近傍ブロックからの画素の第１層のみを使用して、現在のブロック内の画素予測値を計算する。これは、近傍ブロック内の信号の構造又はテクスチャについての情報が予測に何ら利用可能でないことを示唆している。よって、例えば、前述の近傍情報又は考えられる輝度勾配から現在のブロックの考えられるテクスチャを予測することは可能でない。一実施例では、ＭＰＥＧ−４ ＡＶＣ標準に対応する予測に係わる画素数よりも多い数の画素を、周囲（すなわち、近傍）ブロックから使用する。例えば、テクスチャに関する情報を考慮に入れることができるので、これにより、現在のブロックにおける予測に対する改良が可能になる。その結果、提案されたイントラ予測精緻化手順は、現在のブロックにおける高周波コンテンツ又は構造化コンテンツの予測を拡張することができる。

新たなイントラ予測精緻化手法には、予測モード選択処理と、残差誤差の計算との間の精緻化工程が挿入される。イントラ予測マクロブロックに対しては、本願の原理の実施例には以下の工程が関係し得る。

（１）利用可能なイントラ予測モード（例えば、４×４、８×８、１６×１６）全てを使用してイントラ予測を行い、最善のイントラ予測モードを（例えば、レート歪みの意味合いで）選択する。

（２）予測結果を使用して予測精緻化アルゴリズムを初期化する。

（３）予測精緻化アルゴリズムを施す。
（４）精緻化処理が現在のブロックの予測を（例えば、レート歪みの意味合いで）向上させたか否かを判定する。

（５）向上があった場合、精緻化アルゴリズムの出力において得られる予測が、そのモード及びブロックのＭＰＥＧ−４ ＡＶＣ標準からの「伝統的な」イントラ予測の代わりに使用される。

イントラ予測精緻化処理に関する必要情報は、例えば、サブマクロブロック、マクロブロック、又はより高い構文レベルにおいて埋め込むことが可能な構文を使用して復号化器に送信することが可能である。

上記方法に対する拡張として、近傍復号化データの利用可能性に対する精緻化を適合させる。例えば、ＭＥＰＧ−４ ＡＶＣ標準に関する実施例では、復号化された近傍の因果的特性を考慮に入れる。例えば、４×４予測モードの場合、現在のブロックの予測を精緻化するために使用される近傍は、現在のブロックを取り囲む因果的近傍である（図５Ｂ参照）。

図５Ｂに移れば、符号化されている現在の４×４イントラ・ブロック、及びインペインティングの適切な近傍の図は全体を参照符号５００で示す。特に、現在の４×４ブロックは参照符号５１０で示し、適切な近傍ブロックは参照符号５２０で示し、適切でない近傍ブロックは参照符号５３０で示す。

予測精緻化手法は、以下を含めるよう表すことができる。

予測精緻化手法には、開始閾値Ｔ_０を求め、かつ／又は導き出すことが関係する。これは、周囲の復号化データ及び／又は画素近傍の特定の統計に基づき、かつ／又は、符号化処理中に使用される符号化品質又は量子化ステップに基づいて暗黙的に導き出すことが可能である。更に、開始閾値は、構文レベルを使用して復号化器に明示的に送信することができる。実際に、マクロブロック・レベル又は高位構文を使用して前述の情報を配置することができる。

予測精緻化手法には、精緻化特性の最大化のために全ブロックに対して行う対象の反復の最大数及び／又は最終閾値Ｔ_ｆを求めることも関係する。反復の最大数及び／又は閾値は、周囲復号化近傍の特定の統計に基づいて、かつ／又は、符号化手順中に使用される量子化ステップ又は符号化品質に基づいて導き出すことができる。最終閾値は、例えば、高位構文を使用して復号化器に送信することができる。高位構文は例えば、マクロブロック、スライス、ピクチャ、及び／又は系列レベルにおいて配置することができる。

予測精緻化イネーブルされたビデオ符号化器及び／又は復号化器の一実施例では、雑音除去アルゴリズムを使用して予測精緻化を行うことが可能である。予測精緻化フィルタの特定の実施例には以下の工程が関係する。

１）Ｔ＝Ｔ_０
２）現在のブロックをＬ個の層に分解する。

３）層の画素を、現在のブロックのイントラ予測値で初期化する。

４）Ｔ＞Ｔ_ｆであり、かつ／又は、行われる反復の数 ＜ 最大値である間、
ａ）ｉ＝１，．．．，Ｌ（Ｌが最も内側の層である）で、
ｉ．０％でないが、５０％以下だけ、層１，．．．，Ｌと重なる離散コサイン変換（ＤＣＴ）ブロック全てを見つける。

ｉｉ．閾値Ｔを使用して係数をハード閾値化する
ｉｉｉ．層の適切な部分に重なる過剰完全逆変換を平均化することにより、層ｉ内の画素を逆変換し、更新する。

ｂ）Ｔ＝Ｔ-ΔＴ
この特定の実施例は、特性において反復的である。しかし、本願の原理の他の実施例は、単一の反復で実行するよう実現することができる。

よって、一実施例では、画像インペインティング手法が、ビデオ圧縮アプリケーションのループ内精緻化コンポーネントとしての使用に提案されている。一実施例では、予測後（及び、残差誤差の生成前）の精緻化工程が、拡張符号化特性について提案されている。一実施例では、雑音除去ベースのインペインティング手法の使用が、前述の予測精緻化に提案されている。

インター予測精緻化
本明細書及び特許請求の範囲記載の本願の原理の教示があれば、上記イントラ予測精緻化手法は、本願の原理の趣旨を維持しながら、当該及び関連の技術分野において通常の知識を有する者により、インター予測精緻化における使用に容易に拡張される。更に、動き補償モード及び／又は動き補償データ（動きベクトル、参照フレーム）、並びに近傍ブロックとのそれらの関係に応じて、動き補償予測モード及び／又は動き補償（ＭＣ）予測データに応じた精緻化処理の調節（例えば、閾値適合、及び／又は反復数の設定、及び／又は精緻化イネーブル）が関係し得る。

一実施例では、精緻化工程は、マクロブロック全てが第１の符号化処理に従った後に、選択されたブロック又はマクロブロックに対する第２のパスの精緻化工程としてのインター・データに施すことが可能である。これは、インター・フレームが符号化される場合に考慮に入れることが可能である。一実施例では、第２の符号化パス中に、選択されたブロック、マクロブロック及び／又は領域は、非因果的データ近傍を使用して予測精緻化の更なる工程を使用することが可能である（図５Ａ参照）。図５Ｂに移れば、符号化された現在の４×４イントラ・ブロック、及びインペインティングに適切な非因果的近傍は全体を参照符号５５０で示す。特に、現在の４×４ブロックは参照符号５６０で示し、適切な近傍ブロックは参照符号５７０で示す。

精緻化工程は、ピクチャの何れかの領域の形状若しくは寸法、例えば、サブブロック、マクロブロックに、又はサブブロック及び／若しくはマクロブロックの和集合を含む復号領域に施すことが可能である。次いで、予測についての更なる精緻化工程を考慮に入れ、符号化する対象の最終残差誤差が生成される。

本願の原理の実施例による例示的なマクロブロック・ヘッダを表１に示す。

図６を参照すれば、予測精緻化を使用して画像データを符号化する方法は全体を参照符号６００で示す。図６の特定例では、予測精緻化の使用の有無についてのマクロブロック単位の適合度のみが、話を単純にする目的で考慮に入れられる。

方法６００は、開始ブロック６０５を含む。開始ブロック６０５は、制御を機能ブロック６１０に渡す。機能ブロック６１０は、イントラ予測を行い、最善のイントラ予測モードを選択し、歪みの尺度をＤ＿ｉｎｔｒａとして記録し、制御を機能ブロック６１５に渡す。機能ブロック６１５は、イントラ予測データに対して予測精緻化を行い、歪みの尺度をＤ＿ｒｅｆｉｎｅｍｅｎｔとして記録し、制御を決定ブロック６２０に渡す。決定ブロック６２０は、Ｄ＿ｒｅｆｉｎｅｍｅｎｔ＋イントラ・モードの符号化コストの尺度（ｉｎｔｒａ＿ｃｏｓｔ）及び精緻化選択コスト（ｒｅｆｉｎｅｍｅｎｔ＿ｃｏｓｔ）の和が、Ｄ＿ｉｎｔｒａ＋イントラ・モードの符号化コストの尺度（ｉｎｔｒａ＿ｃｏｓｔ）よりも少ないか否かを判定する。肯定の場合、制御は機能ブロック６２５に渡される。さもなければ、制御は機能ブロック６３０に渡される。

機能ブロック６２５は、ｐｒｅｄｉｃｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｆｌａｇを１に等しくセットし、制御を機能ブロック６３５に渡す。

機能ブロック６３０は、ｐｒｅｄｉｃｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｆｌａｇを０に等しくセットし、制御を機能ブロック６３２に渡す。

機能ブロック６３２は、予測の得られた精緻化を廃棄し、機能ブロック６３５に制御を渡す。

機能ブロック６３５は、残差を計算し、現在のマクロブロックをエントロピ符号化し、終了ブロック６９９に制御を渡す。

図７に移れば、予測精緻化を使用して画像データを復号化する方法は全体を参照符号７００で示す。

方法７００は、開始ブロック７０５を含む。開始ブロック７０５は機能ブロック７１０に制御を渡す。機能ブロック７１０は、ビットストリームを解析し、イントラ予測モード及びｐｒｅｄｉｃｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｆｌａｇを取得し（求め）、機能ブロック７１５に制御を渡す。機能ブロック７１５は、イントラ予測を行い、制御を決定ブロック７２０に渡す。決定ブロック７２０は、ｐｒｅｄｉｃｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｆｌａｇが１に等しいか否かを決定する。肯定の場合、制御は機能ブロック７２５に渡される。さもなければ、制御は機能ブロック７３０に渡される。

機能ブロック７２５は、イントラ予測データに対して予測精緻化を行い、機能ブロック７３０に制御を渡す。

機能ブロック７３０は、残差を加え、現在のマクロブロックを再構成し、終了ブロック７９９に制御を渡す。

図８を参照すれば、精緻化を伴って予測を提供する例示的な装置は全体を参照符号８００で示す。装置８００は、図３及び図４それぞれの予測精緻化フィルタ３３３及び／又は予測精緻化フィルタ４３３を含めるよう実現することができる。

装置８００は、予測選択器及び／又は混合器８１５の第１の入力と信号通信で接続された出力を有するイントラ予測モジュール８０５を含む。予測選択器及び／又は混合器８１５の出力は、精緻化算出器８２０の第１の入力、予測選択器及び／又は混合器８２５の第１の入力、初期閾値推定器８３０の第１の入力、及び最終閾値推定器８３５の第１の入力と信号通信で接続される。精緻化算出器８２０の出力は、予測選択器及び／又は混合器８２５の第２の入力と信号通信で接続される。

インター予測モジュール８１０の出力は、予測選択器及び／又は混合器８１５の第２の入力と信号通信で接続される。

初期閾値推定器８３０の出力は、精緻化算出器８２０の第２の入力及び反復数算出器８４０の第１の入力と信号通信で接続される。

最終閾値推定器８３５の出力は、反復数算出器８４０の第２の入力及び精緻化算出器８２０の第３の入力と信号通信で接続される。

反復数算出器８４０の出力は、精緻化算出器８２０の第４の入力と信号通信で接続される。

イントラ予測モジュール８０５の入力、初期閾値推定器８３０の入力、及び最終閾値推定器８３５の入力は、現在のピクチャにおいて既に復号化されたデータを受信するための装置８００の入力として利用可能である。

イントラ予測モジュール８１０の入力、初期閾値推定器８３０の第２の入力、及び最終閾値推定器８３５の第２の入力は、既に復号化されたピクチャを受信するために、装置８００の入力として利用可能である。

初期閾値推定器８３０の第４の入力、最終閾値推定器８３５の第４の入力、及び反復数算出器８４０の第３の入力は、制御パラメータを受信するために、装置８００の入力として利用可能である。

予測選択器及び／又は混合器８２５の出力は、精緻化予測を出力するために、装置８００の出力として利用可能である。

精緻化算出器８２０、初期閾値推定器８３０、最終閾値推定器８３５、反復数算出器８４０、並びに予測選択器及び／又は混合器８２５は、精緻化モジュール８７７の一部である。精緻化モジュール８７７は同様に、装置８００の一部である。

図９に移れば、精緻化された予測を生成する例示的な方法は全体を参照符号９００で示す。方法９００は、機能ブロック９１０で表す予測部分及びブロック９１５乃至９７０で表す精緻化部分を含むものとみなし得る。精緻化部分は、参照符号９６６でも示す。

方法９００は開始ブロック９０５を含む。開始ブロック９０５は機能ブロック９１０に制御を渡す。機能ブロック９１０は、例えば、ＭＰＥＧ−４ ＡＶＣ標準に基づいて予測工程を行い、決定ブロック９１５に制御を渡す。決定ブロック９１５は、予測に精緻化を使用するか否かを判定する。肯定の場合、制御は機能ブロック９２０に渡される。さもなければ、制御は終了ブロック９９９に渡される。

機能ブロック９２０は、画素層上の現在の予測ブロックの分解を行い、制御をループ限度ブロック９２５に渡す。ループ限度ブロック９２５は、現在のブロックの各層Ｉにわたるループを行い、機能ブロック９３０に制御を渡す。機能ブロック９３０は、閾値ＴをＴ＿ｓｔａｒｔに等しくセットし、ループ限度ブロック９３５に制御を渡す。ループ限度ブロック９３５は、反復毎にループを行い、制御を機能ブロック９４０に渡す。機能ブロック９４０は、既に復号化された空間近傍との（本明細書及び特許請求の範囲に記載したような）好適な重なりを伴う変換の変換係数を生成し、制御を機能ブロック９４５に渡す。機能ブロック９４５は、係数に対して閾値化処理を行い（例えば、特定の閾値を上回る振幅を有する係数を維持し、前述の閾値を下回る係数を０にセットし）、制御を機能ブロック９５０に渡す。機能ブロック９５０は、既に復号化された空間近傍との好適な重なりを伴った変換の閾値化係数を逆変換し、制御を機能ブロック９５５に渡す。機能ブロック９５５は、閾値化処理が復号化画素に影響を及ぼさないように復号化画素を回復し、制御を機能ブロック９６０に渡す。機能ブロック９６０は閾値Ｔを低減させ、制御をループ限度ブロック９６５に渡す。ループ限度ブロック９６５は、反復毎にループを終え、ループ限度ブロック９７０に制御を渡す。ループ限度ブロック９７０は、現在の予測ブロックの各層ｉにわたるループを終え、制御を終了ブロック９９９に渡す。

図１０に移れば、精緻化されているマクロブロック内の同心画素層組の例示は全体を参照符号１０００で示す。マクロブロック１０１０は、マクロブロックの非因果的近傍１０２０を有する。

次いで、一部は上述した、本発明に伴う多くの利点／特徴の一部を説明する。例えば、一利点／特徴は、ピクチャの画像領域を符号化する符号化器を有する装置である。符号化器は、画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化するための予測精緻化フィルタを有する。予測精緻化フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用して画像領域のインター予測を精緻化し、先行復号化データ及び先行符号化データは、画像領域に対する近傍領域内の画素値に対応する。

別の利点／特徴は、上記予測精緻化フィルタを備えた符号化器を有する装置であって、画像領域は、ブロック、マクロブロック、ブロックの和集合、及びマクロブロックの和集合のうちの少なくとも１つである装置である。

更に別の利点／特徴は、上記予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタは、線形タイプ及び非線形タイプの何れか一方である装置である。

更に別の利点／特徴は、上記予測精緻化フィルタを備えた符号化器を有する装置であって、画像領域は、同一又は類似のシーンのマルチビュー・ビデオ・コンテンツ、単一ビュー・ビデオ・コンテンツ、及び、同一のシーンのスケーラブル層組からのスケーラブル層の何れかに対応する装置である。

更に、別の利点／特徴は、上記予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタが、反復雑音低減手法及び非反復雑音低減手法に対して施される装置である。

更に、別の利点／特徴は、上記予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタが、反復欠落データ推定手法及び非反復欠落データ推定手法に対して施される装置である。

更に、別の利点／特徴は、上記予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタは、画像領域及び近傍領域の少なくとも一方に対応するデータ特性及びデータ統計の少なくとも一方に応じて適応的にイネーブル又はディセーブルされる装置である。

更に、別の利点／特徴は、上記のように適合的にイネーブル又はディセーブルされた予測精緻化フィルタを備えた符号化器を有する装置であって、データ特性及びデータ統計の少なくとも一方は、符号化モード、動きデータ及び残差データのうちの少なくとも１つを含む装置である。

更に、別の利点／特徴は、上記のように適合的にイネーブル又はディセーブルされる予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタのイネーブル情報又はディセーブル情報は、歪みの尺度、及び符号化コストの尺度の少なくとも一方が最小にされるように求められる装置である。

更に、別の利点／特徴は、上記のように適合的にイネーブル又はディセーブルされる予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタのイネーブル情報又はディセーブル情報は、サブブロック・レベル構文要素、ブロック・レベル構文要素、マクロブロック・レベル構文要素、及び高位構文要素のうちの少なくとも１つを使用して通知される装置である。

更に、別の利点／特徴は、予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタのイネーブル情報又はディセーブル情報は、上記のようなサブブロック・レベル構文要素、ブロック・レベル構文要素、マクロブロック・レベル構文要素、及び高位構文要素のうちの少なくとも１つを使用して通知され、少なくとも１つの高位構文要素は、スライス・ヘッダ・レベル、付加拡張情報（ＳＥＩ）レベル、ピクチャ・パラメータ組レベル、系列パラメータ組レベル、及びネットワーク抽象化層ユニット・ヘッダ・レベルのうちの少なくとも１つにおいて配置される装置である。

更に、別の利点／特徴は、上記のような予測精緻化フィルタを備えた符号化器を有する装置であって、符号化器は、画像ブロックに対応する予測精緻化フィルタのパラメータを適合的に示すための補助情報を送信し、補助情報は、サブマクロブロック・レベル、マクロブロック・レベル、スライス・レベル、ピクチャ・レベル及び系列レベルのうちの少なくとも１つにおいて送信される装置である。

更に、別の利点／特徴は、予測精緻化フィルタを備えた符号化器を有する装置であって、符号化器は上記補助情報を送信し、予測精緻化フィルタのパラメータは、画像領域及び近傍領域の少なくとも一方に対応するデータ特性及びデータ統計の少なくとも一方に少なくとも部分的に基づいて適合的に示される装置である。

更に、別の利点／特徴は、予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタのパラメータは、上記のように適合的に示され、データ特性及びデータ統計の少なくとも一方は、符号化モード、動きデータ、再構成データ、及び残差データのうちの少なくとも１つを含む装置である。

更に、別の利点／特徴は、上記予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタは、ピクチャの第１パス符号化において施されることなく、ピクチャの第２パス符号化において選択的に施される装置である。

更に、別の利点／特徴は、上記のような予測精緻化フィルタを備えた符号化器を有する装置であって、予測精緻化フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用して画像領域のイントラ予測を精緻化し、先行復号化データ及び先行符号化データは、画像領域に対して近傍領域における画素値に対応する装置である。

本願の原理の前述並びに他の特徴及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて、当業者が容易に確かめることができる。本願の原理の教示は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊用途向プロセッサ、又はそれらの組み合わせで実現することができる。

最も好ましくは、本願の原理の教示は、ハードウェア及びソフトウェアの組合せとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを有するマシンにアップロードし、前述のマシンによって実行することができる。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や、入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができるアプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。更に、種々の他の周辺装置を、更なるデータ記憶装置や、印刷装置などのコンピュータ・プラットフォームに接続することができる。

添付図面に表す構成システム部分及び方法の一部は好ましくはソフトウェアで実現されるので、システム構成部分（又は処理機能ブロック）間の実際の接続は、本願の原理がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲記載の教示があれば、当業者は、本願の原理の前述及び同様な実現形態又は構成に想到することができるであろう。

例証的な実施例を添付図面を参照して本明細書及び特許請求の範囲において記載しているが、本願の原理は上述のまさにその実施例に限定されず、本願の原理の範囲又は趣旨から逸脱しない限り、種々の変更及び修正を当業者によって行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本願の原理の範囲内に含まれることが意図されている。

Claims (16)

1. 装置であって、
   ピクチャの画像領域を符号化する符号化器を備え、前記符号化器は、残差誤差が生成される前に、かつ、入力画像領域の予測を符号化ループにおいて処理するフィルタを有し、前記符号化器は、前記画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化し、
   前記フィルタは、前記画像領域の前記インター予測を精緻化し、前記フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用し、前記先行復号化データ及び前記先行符号化データは、前記画像領域に対する近傍領域における画素値に対応し、
   前記符号化器は、逆変換器及び逆量子化器装置、並びに合成器を更に備え、前記逆変換器及び逆量子化器装置は前記合成器の第１の入力に直結した出力を有し、前記合成器は前記フィルタの出力に直結した第２の入力を有し、
   前記符号化器はデブロッキング・フィルタを更に備え、前記合成器の出力は、前記フィルタの入力及び前記デブロッキング・フィルタの入力に直結する装置。
2. 請求項１記載の装置であって、前記画像領域は、同一又は類似のシーンのマルチビュー・ビデオ・コンテンツ、単一ビュー・ビデオ・コンテンツ、及び前記同一のシーンのスケーラブル層の組からのスケーラブル層の何れかに対応する装置。
3. 請求項１記載の装置であって、前記フィルタは、前記画像領域及び前記近傍領域の少なくとも一方に対応するデータ特性及びデータ統計の少なくとも一方に応じて適合的にイネーブル、又はディセーブルされ、
   前記フィルタは、前記ピクチャの第１パス符号化において施されることなく、前記ピクチャの第２パス符号化において選択的に施される装置。
4. 請求項３記載の装置であって、データ特性及びデータ統計の前記少なくとも一方は、符号化モード、動きデータ、及び残差データのうちの少なくとも１つを含む装置。
5. 方法であって、
   残差誤差が生成される前に、かつ、入力画像領域の予測を符号化ループにおいて処理するフィルタを使用してピクチャの画像領域を符号化する工程を含み、前記画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化し、
   前記フィルタが前記画像領域の前記インター予測を精緻化する場合、前記フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用し、前記先行復号化データ及び前記先行符号化データは、前記画像領域に対する近傍領域における画素値に対応し、
   前記符号化する工程は前記フィルタを備える符号化器において行われ、前記符号化器は更に、逆変換器及び逆量子化器装置、並びに合成器を更に備え、前記逆変換器及び逆量子化器装置は前記合成器の第１の入力に直結した出力を有し、前記合成器は前記フィルタの出力に直結した第２の入力を有し、
   前記符号化器はデブロッキング・フィルタを更に備え、前記合成器の出力は、前記フィルタの入力及び前記デブロッキング・フィルタの入力に直結する方法。
6. 請求項５記載の方法であって、画像ブロックは、同一又は類似のシーンのマルチビュー・ビデオ・コンテンツ、単一ビュー・ビデオ・コンテンツ、及び前記同一のシーンのスケーラブル層の組からのスケーラブル層の何れかに対応する方法。
7. 請求項５記載の方法であって、前記フィルタは、前記画像ブロックに対応するデータ特性及びデータ統計の少なくとも一方に応じて適合的にイネーブル又はディセーブルされ、
   前記フィルタは、前記ピクチャの第１パス符号化において施されることなく、前記ピクチャの第２パス符号化において選択的に施される方法。
8. 請求項７記載の方法であって、データ特性及びデータ統計の前記少なくとも一方は、符号化モード、動きデータ、及び残差データのうちの少なくとも１つを含む方法。
9. 装置であって、
   ピクチャの画像領域を復号化する復号化器であって、前記復号化器は、残差誤差が付加される前に、かつ、入力画像領域の予測を復号化ループにおいて処理するフィルタを有し、前記復号化器は、前記画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化し、
   前記フィルタが前記画像領域の前記インター予測を精緻化する場合、前記フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用し、
   前記先行復号化データ及び前記先行符号化データは、前記画像領域に対する近傍領域における画素値に対応し、
   前記復号化器は、逆変換器及び逆量子化器装置、並びに合成器を更に備え、
   前記逆変換器及び逆量子化器装置は前記合成器の第１の入力に直結した出力を有し、前記合成器は前記フィルタの出力に直結した第２の入力を有し、
   前記復号化器はデブロッキング・フィルタを更に備え、前記合成器の出力は、前記フィルタの入力及び前記デブロッキング・フィルタの入力に直結する装置。
10. 請求項９記載の装置であって、前記フィルタは、画像ブロックに対応するデータ特性及びデータ統計の少なくとも一方に応じて適合的にイネーブル又はディセーブルされる装置。
11. 請求項１０記載の装置であって、前記フィルタのイネーブル情報又はディセーブル情報は少なくとも１つの高位構文要素から復号化され、又は、
    前記フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用して前記画像領域の前記イントラ予測を精緻化し、前記先行復号化データ及び前記先行符号化データは、前記画像領域に対する近傍領域における画素値に対応する装置。
12. 請求項９記載の装置であって、前記少なくとも１つの高位構文要素は、スライス・ヘッダ・レベル、補助拡張情報（SEI）レベル、ピクチャ・パラメータ組レベル、系列パラメータ組レベル、及びネットワーク抽象化層ユニット・ヘッダ・レベルのうちの少なくとも１つにおいて配置される装置。
13. 方法であって、
    残差誤差が付加される前に、かつ、入力画像領域の予測を復号化ループにおいて処理するフィルタを使用してピクチャの画像領域を復号化する工程を含み、前記画像領域のイントラ予測及びインター予測の少なくとも一方を精緻化し、
    前記フィルタが前記画像領域の前記インター予測を精緻化する場合、前記フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用し、前記先行復号化データ及び前記先行符号化データは、前記画像領域に対する近傍領域における画素値に対応し、
    前記復号化する工程は前記フィルタを備える復号化器において行われ、前記復号化器は、逆変換器及び逆量子化器装置、並びに合成器を更に備え、前記逆変換器及び逆量子化器装置は前記合成器の第１の入力に直結した出力を有し、前記合成器は前記フィルタの出力に直結した第２の入力を有し、
    前記復号化器はデブロッキング・フィルタを更に備え、前記合成器の出力は、前記フィルタの入力及び前記デブロッキング・フィルタの入力に直結する方法。
14. 請求項１３記載の方法であって、前記フィルタが、反復欠落データ推定方法及び非反復欠落データ推定方法に関して施され、
    前記フィルタは、画像ブロックに対応するデータ特性及びデータ統計の少なくとも一方に応じて適合的にイネーブル又はディセーブルされ、
    データ特性及びデータ統計の前記少なくとも一方は、符号化モード、動きデータ、及び残差データのうちの少なくとも１つを含む方法。
15. 請求項１３記載の方法であって、前記復号化する工程は、前記画像ブロックに対応する前記フィルタのパラメータを適合的に判定するための補助情報を復号化する工程を更に含み、前記補助情報は、マクロブロック・レベル、スライス・レベル、ピクチャ・レベル及び系列レベルのうちの少なくとも１つから復号化される方法。
16. ビデオ信号データを符号化させた記憶媒体であって、
    残差誤差が生成される前に、かつ、入力画像領域の予測を符号化ループにおいて処理するフィルタを使用してピクチャの画像領域を符号化する工程を含み、前記画像領域のイントラ予測及びインター予測の少なくとも一方が精緻化され、
    前記フィルタが前記画像領域の前記インター予測を精緻化する場合、前記フィルタは、先行復号化データ及び先行符号化データの少なくとも一方を使用し、前記先行復号化データ及び前記先行符号化データは、前記画像領域に対する近傍領域における画素値に対応し、
    前記符号化する工程は前記フィルタを備える符号化器において行われ、前記符号化器は、逆変換器及び逆量子化器装置、並びに合成器を更に備え、前記逆変換器及び逆量子化器装置は前記合成器の第１の入力に直結した出力を有し、
    前記合成器は前記フィルタの出力に直結した第２の入力を有し、
    前記符号化器はデブロッキング・フィルタを更に備え、前記合成器の出力は、前記フィルタの入力及び前記デブロッキング・フィルタの入力に直結する記憶媒体。

Images