JP2009509407A - 動き補償のための自然形状領域 - Google Patents

Abstract

不規則動き補償の方法は、参照画像内の物体の輪郭を使用して参照画像を複数の不規則形状にタイル分割する段階、及び動きベクトルを各不規則形状に割り当てることによって各不規則形状をターゲット画像内の位置にマップする段階を含む。
【選択図】図２

Description

本発明は、ビデオ圧縮の分野に関する。

ビデオシーケンスに対する高圧縮利得は、画像間の時間的冗長性を除去することにより達成することができる。例えば、画像を符号化するために、符号化される画像の時間予測が、前に符号化された画像に基づいて生成される。時間予測は、予測誤差を求めるために実際の画像と比較され、予測誤差が符号化される。予測は、従来のブロックベースの動き推定及び補償方法により行うことができる。

動き補償及び推定方法は、１つ又はそれよりも多くの参照画像内の参照ブロックを見出すために使用され、動きベクトルとターゲットの予測残差とだけを符号化すればよいようにターゲット画像内の対応するターゲットブロックの位置を予測する。これらの方法は、ターゲット画像内の対応するターゲットブロックに最も類似している参照画像内の画素の参照ブロックを特定するためにブロックマッチングを実行する。参照ブロックと対応するターゲットブロックとの間の画素距離が、ターゲットブロックに対する動きベクトルである。

動き補償手順は、ターゲット画像及び参照画像を固定サイズブロックにタイル分割することにより開始される。図１は、参照画像及びターゲット画像に通常適用される２つの標準的形状定義を示す。第１の定義１１０では、重複のない１６×１６の画素ブロックを使用して画像をタイル分割する。第２の定義１２０では、４×４ブロックを使用する。ターゲット画像及び参照画像内の所定の領域に配置されるこれらの固定サイズブロックは、画像内の物体の形状及び位置に関連しない。

一般的に、ターゲット画像上の画素は、きっかり１つのブロックに割り当てられる。この１対１のマッピングは、タイリング(tiling)と呼ばれる。各ブロックには、参照画像上の対応する部分にそれをマップする動きベクトルが割り当てられる。次に、対応する参照ブロックを特定する動きベクトルによって定められるマッピングを使用し、次いで、参照ブロックからターゲットブロックによって定められた領域に画素値を複写することにより、ターゲット画像を近似する補償された画像が形成される。

所望のターゲット画像と補償画像の間の誤差が求められ、次に、この誤差に対する残差修正が符号化される。エンコーダ及びデコーダの両方が、同じ参照画像にアクセスすると仮定する。従って、動きベクトル及び残差修正のみが送信され、ビデオ符号化が達成される。

良好なビデオコーダは、多くの要素の均衡をとり、限られたコンピュータリソースを使用して高品質のターゲット画像を生成する。全てのこれらの要素の中でも、参照データの選択は、恐らくビデオ品質に対して最も重要であり、かつコンピュータリソースに関して最もコストがかかる。例えば、物体が、参照画像内のある位置からターゲット画像内の別な位置に移動する場合、動きベクトルは、物体を参照画像からターゲット画像にマップすることができるべきである。

しかしながら、従来の動き補償方法は、移動物体の境界にほとんど対応しない所定のブロックをマップする動きベクトルを使用する。所定のブロックの形状は、参照画像内の移動物体の実輪郭(natural contour)に関連していないために、動きベクトルは、移動物体に一部は関連し、一部は関連しない参照ブロックにマップする。これにより、補償画像の誤差の増加が引き起こされる。

従って、参照画像内の移動物体の実輪郭を識別して動き補償の品質を改善する方法が必要とされている。

不規則な動き補償の方法は、参照画像内の物体の輪郭を使用して参照画像を複数の不規則形状にタイル分割する段階、及び動きベクトルを各不規則形状に割り当てることによって各不規則形状をターゲット画像内の位置にマップする段階を含む。

本発明は、例示的に示されており、添付図面と共に以下の説明を参照することによってより良く理解することができるであろう。

以下の説明では、本明細書の一部を形成し、かつ本発明を実施することができる特定的な実施形態を例示的に示す添付図面を参照する。本発明の範囲を逸脱することなく他の実施形態を利用することができ、また構造的変更を行うことができることは理解されるものとする。例えば、当業者は、様々な実施形態を説明するために使用される用語であるフィールド、フレーム、画像、又は映像が、一般的にビデオデータに関連して使用される際に互換的であることを理解するであろう。

動き補償方法は、参照画像の内容から動的に求められる不規則形状を使用する。各不規則形状は、参照画像内の自然物体の一部に対応する画素群を識別する。従って、形状の境界は、物体と関連していない所定のブロックに対応するよりもむしろ、物体の少なくとも一部の境界に対応する。動き補償方法が、動きベクトルを不規則形状に割り当てる場合には、得られるマッピングは、自動的に不規則形状の境界をターゲット画像内の物体の境界に合わせて補償誤差を低減する。

ビデオコーダ内で不規則形状を利用して動き補償を使用する実施例を図２に示す。２１０において、エンコーダは、参照画像内の物体の実輪郭を検出し、実輪郭から不規則形状を生成して従来の動き補償の所定の固定サイズブロックを置換する。２２０において、動きベクトルは、各不規則形状に割り当てられ、この形状をターゲット画像上の位置にマップする。２３０において、固定サイズブロックが、ターゲット画像上に定められる。２４０において、動きベクトルが、各固定サイズブロックに割り当てられて、参照画像上の位置にマップされる。２５０において、不規則形状に対する動きベクトル及び固定サイズブロックに対する動きベクトルが組み合わせられる。２５５において、動きベクトル選択方法は、不規則形状及び固定サイズブロックに対する組み合わせられた動きベクトルからレート−歪基準を満足する動きベクトルのセットを選択する。いくつかの実施形態では、選択方法は、複数の形状にマップされるか、又はどの形状にもマップされない各ターゲット画素に対する補償値を求める。２６０において、動きベクトルのセット及び参照画像がデコーダに送信される。２７０において、不規則形状が、デコーダにおいて生成される。２８０において、補償画像が形成される。

２１０の詳細に関して、参照画像内の物体の実輪郭を検出する方法の実施例を図３に示す。３０５において、参照画像は、画像の特徴に関連しない初期画素群に分割される。３１０において、群統計値が、各初期画素群に対して計算される。群統計値の一例は、色変化：
色変化＝変化（Ｙ）＝２^*変化（Ｕ）＋２^*変化（Ｖ）
であり、ここで、変化（Ｙ）は、群内の画素の輝度成分に適用される統計的変化度であり、変化（Ｕ）及び変化（Ｖ）は、群内の画素の色差成分の変化である。

３１５において、停止基準に達した場合、方法は３２０で終了する。停止基準の例は、所定の反復数、変更数、全体均一度を含む。別の例は、時間制限である。方法が終了する場合、現在の群が、参照形状として使用されるために出力される。

そうでない場合、３２２において、画素が、群変更の候補として選択される。いくつかの実施形態では、画素は、無作為に（又は、準無作為に）選択され、所定の順序に従って選択され、又は選択規則を使用して選択される。３２５において、本方法は、画素が、他の群内の少なくとも１つの画素に隣接するか否かを判断する。隣接しない場合、本方法は、３２０に戻り、他の画素候補を選択する。

隣接する場合、３３０において、候補変更が、各隣接群に対して行われる。例えば、１つの群（群Ａ）内の画素候補は、３つの群（群Ｂ、Ｃ、及びＤ）に対して隣接することができる。候補変更が、群Ａに対する色変化の減少及び他の群に対する色変化の増加をもたらすか否かを判断するために、３３５において、候補均一性スコアが、各候補変更に対して計算される。例えば、３３０における候補変更により、画素候補がその現在の群（群Ａ）からその隣接群の１つ（群Ｂなど）に移動される。次に、３３５において候補均一性スコアが、この候補変更について、群Ａ及び群Ｂに対して計算される。候補変更は又、３３０において群Ｃ及び群Ｄに対しても行われ、候補均一性スコアも３３５においてこれらの候補変更に対して計算される。

一実施形態では、候補均一性スコアは、画素候補が除去された群及び画素候補が追加された群の最大色変化を記録する。均一性スコアが小さいほど、得られる群は、より均一とみなされる。例えば、群Ａに対する開始色変化が比較的高く、候補変更により減少し、かつ群Ｂに対する色変化が比較的小さく、候補変更により増加する場合、候補均一性スコアは比較的低い。

３４０において、最良の候補均一性スコアが求められる。いくつかの実施形態では、最良の均一性スコアは、最小最大基準からもたらされる。すなわち、最良スコアは、最小の最大色変化を生じるものである。３４２において、本方法は、最良の候補均一性スコアが、現在の均一性スコアよりも良いか否かを判断する。良い場合には、次に、画素は、３４５において別の群に移動され、３５０において、全ての群統計値がこの変更を反映するように更新される。そうでない場合、変更は行われず、方法は、３１５に戻る。

参照画像内の物体の実輪郭を検出する方法を実行した後、所定のブロックが、画像の特徴に関連しない画素から、画像の特徴に従う画素の不規則形状に変形される。得られる画素の不規則形状の各々は、必ずしも接続された集合ではない。図３の方法を使用して生成される不規則形状の実施例を図４に示す。参照画像４３０内の初期画素群４１０は、参照画像の特徴と相関する輪郭を有する不規則形状４２０を有する画素群に変形される。いくつかの実施形態では、初期群４１０は、ブロックのような所定の形状であり、又は前に符号化された画像のような別のソースから入力される。本方法は、この例では、接続されていない画素群４２０である不規則形状を出力する。必要であれば、この非接続性は、総反復回数を制限することにより、又は均一性スコアにおいて接続性を促進するようにすることにより制御することができる。

ターゲット画素が複数の形状にマップされる場合、ターゲット画素値は、複数の形状を使用して求められる。参照画像内の物体の実輪郭を見出す方法が、ターゲット画像の代わりに参照画像を分割するので、ターゲット画像内の領域は、単一の参照画像内の複数の形状にマップすることができる。逆に、不規則にタイル分割された参照画像上のいずれの画素にもマップしないターゲット画像内の画素が存在し得る。

いくつかの実施形態では、複数の参照形状にマップするターゲット画素に対する値は、ターゲット画素の補償値として複数の参照形状内の参照画素値の平均から求められる。例えば、Ｎ個の参照画素値の平均を計算するための漸化式は、参照形状の総数が予め分っていない場合に特に有用である。すなわち、ｘ₁、ｘ₂・・・ｘ_Nの画素値の平均である

が与えられた場合、漸化更新式：

を使用して

が計算される。更に、移動平均

及び参照形状の移動数Ｎを記憶する。

いくつかの実施形態では、どの参照画素にもマップされないターゲット画素は、所定の値、例えば１２８又は補間された値を使用して補償される。これに代えて、全ターゲット画像を含む固定サイズブロックが生成される。次に、固定サイズブロックに対する動きベクトルは、不規則形状に対する動きベクトルと組み合わせられる。例えば、図５に示すように、動きベクトル５１２は、参照画像５１５から不規則形状５１０をターゲット画像５３０内のマッチングした画素の形状５１７にマップする。動きベクトル５２２は、ターゲット画像５３０から所定の固定サイズブロック５２７を参照画像５２５内のマッチングした固定サイズブロック５２０にマップする。

動きベクトル５１２及び５２２の方向性は、初期形状タイリングが実行された場所を示す。所定の固定サイズブロック５２７の場合には、このタイリングは、ターゲット画像５３０上の所定の領域に対応する。従って、固定サイズブロック５２７に対する動きベクトル５２２を生成する場合、参照画像５２５内の探索領域５２９が、対応する固定サイズのターゲットブロック５２７からの参照ブロック５２０の変位を特定するために調べられる。不規則形状５１０の場合には、タイリングは、参照画像５１５上で実行されている。不規則形状５１０に対する動きベクトル５１２を生成する場合、ターゲット画像５３０内の探索領域５１９が、参照画像５１５内の対応する不規則形状５１０からのマッチングする形状５１７の変位を特定するために調べられる。

不規則形状及び固定サイズブロックに対する動きベクトルは、組み合わせられた場合に動きベクトル候補のセットを形成する。動きベクトル選択方法は、動きベクトルの候補セットからレート−歪の観点からほぼ最適である動きベクトルを選択する。選択された動きベクトルは、動きベクトルの不規則パターンを形成し、次に、デコーダに送られる。デコーダは、次に、参照画像と共に不規則形状に対する動きベクトル及び所定の固定サイズブロックに対する動きベクトルを使用して補償画像を形成する。

デコーダは、固定サイズブロックの形状を形状定義ライブラリから検索するか、又は固定サイズブロックの形状定義はデコーダに送信することができる。しかしながら、不規則形状の形状は、送信されるデータ量を削減するためにデコーダには送信されない。代わりに、各不規則形状の定義は、図３の方法を使用してデコーダで生成される。エンコーダ及びデコーダの両方は、同じ参照画像を有するので、これらは、同じ方法を参照画像に適用して不規則形状を生成することにより、付加的なビットを送信することなく同じ形状情報を推定することができる。従って、不規則形状の定義は、エンコーダからデコーダに送信される必要はない。いくつかの実施形態では、実行される反復回数のような停止基準を指定する僅かなビットがデコーダに送信されて、エンコーダとデコーダの間の同期を保証する。

一実施形態では、補償方法は、図６に示すように、ビデオデータの画像（又はフレーム又はフィールド）を符号化するためのビデオ符号化に使用される。６１０において、エンコーダは、入力ターゲット画像を受信する。（ターゲット画像に関連する復号された画像データを含む参照画像のセットは、符号化処理の間はエンコーダで利用可能であり、また復号処理の間はデコーダでも利用可能である）。６２０において、エンコーダは、図２及び３に示されている方法を使用して、不規則形状及びターゲット画像と関連する動きベクトルの不規則サンプリング若しくは割当て(distribution)を生成する。６３０において、サンプリングパターン情報（パターンを表すビットなど）がデコーダに送信される。

６４０において、時間予測フィルタリング処理が、不規則動きベクトルサンプリングパターンに適用されて、ターゲット画像の予測を生成する。６５０において、動きベクトル値が符号化され、デコーダに送信される。６６０において、ターゲット画像の実際のターゲットデータから適応フィルタリング処理による予測誤差を差し引いたものである残差が生成される。６７０において、残差が符号化され、６８０において、デコーダに送信される。

別な実施形態では、動きベクトルの不規則パターンと不規則補償方法とは、図７に示すように、ビデオデータの画像（又はフレーム、又は画像）の復号に使用される。７１０において、符号化された残差が受信される。７２０において、デコーダは、受信された符号化された残差を復号する。７３０において、デコーダは、サンプルパターン情報、参照画像、及び動きベクトル値を受信し、図３の方法を使用して不規則形状を生成する。次に、７４０において、デコーダは、適応時間予測手順を適用して時間予測を生成する。７５０において、復号されるターゲット画像が、時間予測に対する復号された残差を加算することによって生成される。

図８は、図２及び図３の方法を使用して不規則形状を生成かつ使用するシステムの実施例を示す。デジタルビデオカメラ８１０は、電子形式で画像を取り込むと共に、圧縮及び符号化処理中に動き圧縮方法を使用する圧縮デバイス８２０を使用して画像を処理する。符号化された画像は、電子伝送媒体を通じてデジタル再生デバイス８４０に送信される。画像は、復号処理中に図３の方法を使用する復号デバイス８５０によって復号される。カメラ８１０は、本発明の実施形態を含む様々な画像処理装置（他の画像取り込みデバイス、画像エディタ、画像プロセッサ、個人用及び商用コンピュータプラットフォームなど）の例示である。同様に、復号デバイス８５０は、画像データを復号する様々なデバイスの例示である。

本発明を特定のシステム環境における実施形態に関して説明したが、本発明は、添付の特許請求の範囲の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において修正を伴って実施することができることを当業者は認識するであろう。

ターゲット画像に通常適用される２つの標準的形状定義を示す図である。 不規則な形をした領域及び不規則に配置された動きベクトルを利用する動き補償方法を使用したビデオ符号化の例を示す図である。 参照画像内の物体の実輪郭を検出する方法の例を示す図である。 図３の方法を使用して生成される不規則形状の例を示す図である。 固定サイズブロックと組み合わせられた不規則形状の例を示す図である。 不規則動き補償方法を使用してビデオデータの画像を符号化するためのビデオ符号化を実行する例を示す図である。 不規則補償方法を使用して画像を復号する例を示す図である。 不規則補償方法を使用するシステムの例を示す図である。

Claims (15)

1. 電子データ処理装置によって実行される方法であって、
   参照画像内の物体の輪郭を使用して該参照画像を複数の不規則形状にタイル分割する段階と、
   動きベクトルを各不規則形状に割り当てることによって各不規則形状をターゲット画像内の位置にマップする段階と、
   を含むことを特徴とする方法。
2. 前記ターゲット画像を複数の固定サイズブロックにタイル分割する段階と、
   動きベクトルを各固定サイズブロックに割り当てることにより、前記固定サイズブロックを前記参照画像内の領域にマップする段階と、
   前記固定サイズブロックに対する前記動きベクトルと前記不規則形状に対する前記動きベクトルとを組み合わせ、動きベクトルの組合せセットとする段階と、
   を更に含むことを特徴とする請求項１に記載の方法。
3. 前記動きベクトルをデコーダに送信する段階と、
   前記送信された動きベクトルと前記参照画像とを使用して補償画像を形成する段階と、
   を更に含むことを特徴とする請求項１に記載の方法。
4. 前記送信された動きベクトルと前記参照画像とを使用して前記補償画像を形成する段階が、デコーダを使用して前記参照画像を前記複数の不規則形状にタイル分割する段階を含むことを特徴とする請求項３に記載の方法。
5. 第１の不規則形状の一部分及び第２の不規則形状の一部分が、前記補償画像内の重なり合った位置にマップされ、
   前記第１及び第２の不規則形状を使用して、前記重なり合った位置の各画素に対する値を求める段階、
   を更に含むことを特徴とする請求項４に記載の方法。
6. 参照画像内の物体の輪郭を使用して該参照画像を複数の不規則形状にタイル分割する不規則形状生成器と、
   動きベクトルを各不規則形状に割り当てることによって各不規則形状をターゲット画像内の位置にマップする動きベクトル割り当てデバイスと、
   を含むことを特徴とする装置。
7. 前記ターゲット画像を複数の固定サイズブロックにタイル分割する固定サイズタイル分割デバイスと、
   動きベクトルを各固定サイズブロックに割り当てることにより、前記固定サイズブロックを前記参照画像内の領域にマップする固定サイズブロック割り当てデバイスと、
   前記固定サイズブロックに対する前記動きベクトルと前記不規則形状に対する前記動きベクトルとを組み合わせ、動きベクトルの組合せセットとする組合せ器と、
   を更に含むことを特徴とする請求項６に記載の装置。
8. 前記動きベクトル及び前記参照画像を送信する送信器と、
   前記送信された動きベクトルを受信し、該送信された動きベクトル及び前記参照画像を使用して補償画像を形成するデコーダと、
   を更に含むことを特徴とする請求項６に記載の装置。
9. 前記デコーダは、前記参照画像を前記複数の不規則形状にタイル分割するように構成されていることを特徴とする請求項８に記載の装置。
10. 前記デコーダは、第１の不規則形状の一部分及び第２の不規則形状の一部分を前記補償画像内の重なり合う位置にマップするように構成され、更に、該第１及び第２の不規則形状を使用して該重なり合った位置の各画素に対する値を求めるように構成されていることを特徴とする請求項９に記載の装置。
11. 参照画像内の物体の輪郭を使用して該参照画像を複数の不規則形状にタイル分割する段階と、
    動きベクトルを各不規則形状に割り当てることによって各不規則形状をターゲット画像内の位置にマップする段階と、
    を含む方法を、処理システムによって実行される時に、該システムに実行させる命令のコンピュータプログラムを記憶するコンピュータ可読媒体。
12. 前記ターゲット画像を複数の固定サイズブロックにタイル分割する段階と、
    動きベクトルを各固定サイズブロックに割り当てることにより、前記固定サイズブロックを前記参照画像内の領域にマップする段階と、
    前記固定サイズブロックに対する前記動きベクトルと前記不規則形状に対する前記動きベクトルとを組み合わせ、動きベクトルの組合せセットとする段階と、
    を更に含むことを特徴とする請求項１１に記載のコンピュータ可読媒体。
13. 前記動きベクトル及び前記参照画像をデコーダに送信する段階と、
    前記送信された動きベクトル及び前記参照画像を使用して補償画像を形成する段階と、
    を更に含むことを特徴とする請求項１１に記載のコンピュータ可読媒体。
14. 前記送信された動きベクトル及び前記参照画像を使用して補償画像を形成する段階が、デコーダを使用して前記参照画像を前記複数の不規則形状にタイル分割する段階を含むことを特徴とする請求項１３に記載のコンピュータ可読媒体。
15. 第１の不規則形状の一部分及び第２の不規則形状の一部分が、前記補償画像内の重なり合った位置にマップされ、
    前記第１及び第２の不規則形状を使用して、前記重なり合った位置の各画素に対する値を求める段階、
    を更に含むことを特徴とする請求項１４に記載のコンピュータ可読媒体。

Images