JPH08505016A

JPH08505016A - 画像シーケンスの運動を階層的に予測する装置

Info

Publication number: JPH08505016A
Application number: JP6514859A
Authority: JP
Inventors: ブルドン，フランソワ; ギヨテル，フイリツプ; オビ，ジヤン−イブ
Original assignee: トムソン−セエスエフ
Priority date: 1992-12-24
Filing date: 1993-12-14
Publication date: 1996-05-28
Also published as: EP0676114B1; DE69321736D1; FR2700037A1; WO1994015436A1; DE69321736T2; EP0676114A1; FR2700037B1; US5737447A

Abstract

(57)【要約】装置は階層レベルにしたがって編成されている一連のマクロモジュール（１、２、３）を含んでいる。各マクロモジュールは現行画像を階層レベルに対応した所定サイズのマクロブロックに分割して、運動ベクトル・フィールドを後続のブロックに伝送するような構造とされており、かつビデオ画像のピクセルの輝度の値および現行画像に先行または後続する各画像の変位ベクトルに基づいて、変位した画像間差ＤＦＤｉおよび階調を計算する第１回路（５、６）と、変位した画像間差のブロックごとの合計を行う第２回路（５、６）と、画像の変位ベクトルの補正を行う第３回路とを備えている。用途。ディジタル画像伝送チェイン。

Description

【発明の詳細な説明】画像シーケンスの運動を階層的に予測する装置本発明は画像のシーケンスを階層的に予測する装置に関する。本発明は詳細には、伝送される情報のビット・レートを低減させる観点から画像伝送チェインを作成することに適用される。画像シーケンスの運動の予測および階層化コーディングを行う方法および装置は、THOMSON CONSUMER ELECTRONICSの名義で出願されたフランス国特許願第８９１１３２８号から周知である。この方法は数レベルの処理にしたがって実行される。この方法は第１レベルによれば、現行画像を２^P+1・２^P+1ピクセルのマクロブロックに分割することと、先行画像について予測した運動ベクトルによって初期化した反復再帰予測アルゴリズムを使用して、このマクロブロック分割に関連する第１運動ベクトル・フィールドを決定することとからなっている。第２レベルによれば、マクロブロックの各々をクアドラントに分割することと、これによってもたらされるブロックについて、同じ予測アルゴリズムであるが、先行レベルで予測された運動フィールドからのベクトルによって初期化されたアルゴリズムを使用して第２の運動ベクトル・フィールドを決定することとからなっている。ｉ番目のレベルにおいて、レベルｉ−１で検討したブロックの各々をクアドラントに分割することと、これによってもたらされるブロックについて、先行レベルで予測された運動フィールドからのベクトルによって初期化された同じ予測アルゴリズムを使用してｉ番目の運動フィールドを決定することとからなっている。最小サイズのブロックは２^l+1・２^l+1ピクセルのブロックである。最後に、対応するブロックに関連した運動ベクトルが、予測した変位ベクトルにより連続した画像で互いに対応しているブロックの間の輝度の相違を示す基準を最低限のものとする最低レベルの分割を選択することによって、得られる運動ベクトル・フィールドから最終運動ベクトル・フィールドを決定することからなっている。この方法は使用される再帰運動予測アルゴリズムの収束を向上させることができ、かつ得られる運動フィールドをコーディングするためにその後使用される「クアドツリー」タイプのコーディングに、運動予測アルゴリズムを好適に適用できるようにするものである。しかしながら、アルゴリズムの暫定ループを実行することによって、計算に長い時間がかかるようになり、しかも、ＨＤ．ＭＡＣコーダにこれを実施するのには、このタイプのコーダに簡単に統合し得ないような数の電子部品の数が必要となる。本発明の目的は、上述の欠点を軽減することである。このため、本発明の主題とするところは、画像のシーケンスの運動を階層的に予測するための装置において、カスケード接続され、階層レベルにしたがって編成されている一連のマクロモジュールを含んでおり、各マクロモジュールが現行画像を階層レベルに対応した所定サイズのマクロブロックに分割して、運動ベクトル・フィールドを後続のブロックに伝送するような構造とされており、かつビデオ画像のピクセルの輝度の値および現行画像に先行または後続する各画像の変位ベクトルに基づいて、変位した画像間差ＤＦＤｉおよび階調を計算する第１回路と、変位した画像間差のブロックごとの合計を行う第２回路と、画像の変位ベクトルの補正を行う第３回路とを備えていることを特徴とする装置である。本発明の主な利点は、従来技術の装置よりも製造が容易であるとともに、処理レベルの数が大幅に少なくなり、しかも計算時間がはるかに短いハードウェア・アーキテクチャのモデルを提供することである。本発明の他の特徴および利点は添付図面に即して行われる以下の説明から明らかとなろう。第１図は、本発明による運動の階層予測を行う装置の実施例の図である。第２図は、第１図に示した処理モジュールの実施例の図である。第１図に示したアーキテクチャはＨＤ．ＭＡＣコーダの階層再帰ブロックＨＲＢから周知である。これは画像のブロックの区画の大きさによって規定された４つの階層レベル（１２８、６４、３２および１６）と、レベルあたり４つの予測器を含んでいる。このアーキテクチャはモジュールであり、レベルの数を結果の精度とハードウェアの規模の間の所望の妥協に応じて多くすることも、少なくすることもできる。図示の装置はそれぞれ１ないし４で表される４つ１組の処理マクロモジュールを含んでいる。各マクロモジュールは階層レベルの処理を行う。これらの各々は３つのモジュール、すなわち２つの処理モジュール５、６と１つの判断モジュール７を含んでいる。遅延モジュール８、９、１０はそれぞれマクロモジュール２、３、４に接続されている。処理モジュールの各々は２つの予測器の補正を並列に行う。レベルあたりの予測器の数は、もっと多くのあるいはもっと少ない数のこれらのモジュールを使用することによって変更することができる。たとえば、４つの予測器を含んでいるＨＤ．ＭＡＣコーダの場合、必要な処理モジュールは２つだけである。各処理モジュールは、第２図に示すような態様で、３つ１組のメモリ・ブロック１１、１２、１３、変位された画像間差を計算するためのブロック１４、１５、ならびに予測器を補正するための計算ブロック１６を含んでいる。第２図に示すように、画像シーケンスは３つのメモリ１１、１２および１３に格納され、該メモリは、時間ｔ＋１で示される次画像、時間ｔで示される現行画像、および時間ｔ−１で示される先行画像をそれぞれ含んでおり、またメモリ１１の出力における次画像の変位したピクセルを包囲する４つのピクセルの輝度値ｌ₁（ｔ＋１）、ｌ₂（ｔ＋１）、ｌ₃（ｔ＋１）、ｌ₄（ｔ＋１）、メモリ１２の出力における現行点ｚの輝度値ｉ（ｔ）＝ｉ（ｚ，ｔ）、ならびに時間ｔ−１における先行画像の変位したピクセルを包囲する４つのピクセルの輝度値ｌ₁（ｔ−１）、ｌ₂（ｔ−１）、ｌ₃（ｔ−１）、ｌ₄（ｔ−１）を含んでいる。第１の点ごとの計算ステップはメモリからの輝度値および初期変位ベクトルに基づいて、時間ｔ−１における先行画像および時間ｔ＋１における次画像に関して、変位されたフレーム間差ＤＦＤ^i-1（ｔ＋１）および階調ＧＲＡＤ_x ^i-1、ＧＲＡＤ_y ^i-1（ｔ＋１）の値をもたらす。詳細にいえば、ブロック１４は下記の値を計算する。ブロック１５は下記の値を計算する。ただし、ＤＦＤ^i-1＝Ｉ（ｚ，ｔ）−Ｉ（ｚ−Ｄ^i-1，ｔ−１）である。変位ベクトルＤ^i-1は次の反復式にしたがってブロック１６で計算される。ただし、Ｄ’_xおよびＤ’_yならびにＤ_x ^i-1およびＤ_y ^j-1はそれぞれ、レベルｎの対応するブロックのセットに対して差Ｃ−ＡおよびＢ−Ｄの部分和を計算した後のそれぞれ反復ｉおよび先行反復ｉ−１におけるピクセルのブロックに対する運動ベクトルＤⁱおよびＤ^i-1の水平および垂直成分である。各現行ブロックに対するＮ個の初期値（Ｎはしたがって、一般に４に等しくなるように選ばれる）がこの現行ブロックに隣接しているが、異なるレベルにあるブロック、すなわち１つ大きいブロック、に対応しており、このブロックに対する４種類の運動予測値を初期化することができ、アルゴリズムの反復式が収束するときに、先行レベルのベクトルの値を補う更新された運動ベクトルの４つの独立した値を与えることができる場合、更新に使用される中間フレーム間差ＤＦＤの平方値が計算され、メモリに記憶され、ブロック全体に加えられて、４回の計算の完了時に各ブロックに対して、４つの更新された新しい変位ベクトルから「最良」の変位、すなわち、このブロックに関する平方フレーム間差の合計Ｓⁱが最小となる変位を選択する。この最良ベクトルは次いで、レベルｎで計算され、反復レベルに応じてＤＶ１２８またはＤＶ６４またはＤＶ３２またはＤＶ１６で表される運動フィールドのベクトルの１つを構成する。ブロック１６を演繹計算を行うように編成することもできる。この場合、ブロック１６はＤＦＤ計算を使用し、かつ最小のＤＦＤを与えるものをベクトルとして選択することによって、各現行ブロックに対して使用されるＮ個の初期値に判断基準を直接適用する。上記の反復値を有する変位ベクトルＤⁱ _xおよびＤⁱ _yの成分を得るような態様で、この選択したベクトルに補正を行う。合計の計算は現行ブロックの８×８のブロックに対して行われ、次いで、現行ブロックに対する合計が次の関係にしたがって行われる。（ＤＦＤ^i-1はＧｒａｄ^i-1に関してベクトルＤ^i-1で計算したＤＦＤである。）ブロック１６は次に、現行ブロックに対する合計の計算、ならびにＤⁱ _xおよびＤⁱ _yの計算、すなわち予測Ｄ^i-1の補正値の計算を行う。この運動予測フェーズが完了すると、各レベル、すなわち各ブロック・サイズに対応する別の運動ベクトル・フィールドが得られ、「クアドツリー」タイプのコーディング・ツリーなどのコーディング・ツリーの構成に適応される最終運動フィールドが決定される。４つの運動フィールドが決定されると、収束ステップは第１図の１７で示されているブロックで、運動の最終フィールドを決定することとなる。運動の最終フィールドの決定は、最小サイズの各ブロック、すなわち図示の実施例では１６× １６ピクセルのサイズの各ブロックに対して、分割の各レベルで確立された様々な運動ベクトルＤＶＩを吟味することによって行われる。したがって、最小サイズの各ブロックについて、手順を初期化したとき、すなわちレベル１で確立されたＤＦＤ１２８を与えるベクトルＤＶ１２８、レベル２で確立されたＤＦＤ６４を与えるベクトルＤＶ６４、レベル３で確立されたＤＦＤ３２を与えるＤＶ３２、およびレベル４で確立されたＤＦＤ１６を与えるＤＶ１６が得られる。したがって、これら４つのベクトルについて、ブロック１７はそのＤＦＤを比較し、もっとも小さいＤＦＤｉを与えるベクトルＤＶＩを、最終運動ベクトル・フィールドの最小サイズのこのブロックに割り当てられるベクトルとして選択する。同じ選択がマクロブロックの１６×１６のサイズのすべてのブロックに対して行われる。各種の処理モジュールを３種類のＡＳＩＣ、すなわちビデオ信号の相互変位差ＤＦＤおよび階調を計算するＡＳＩＣ、変位した画像間差の合計をブロックごとに行う第２のＡＳＩＣ、ならびに予測器の補正に不可欠な高精度の除算を行う第３のＡＳＩＣの助けを借りて作成することができる。この分割の利点はタイプ１および３のＡＳＩＣに必要なメモリがきわめてわずかであるが、タイプ２には大量のメモリが必要なことである。生産、設計、テストおよび電力消費の問題は、有利に分割されることになる。しかしながら、近い将来、これら３つのタイプが１つに組み合わされるということが考えられる。このきわめて反復性の高い部分の容積が減少することは、デバイス全体を小さくするのに些末なものではない。きわめて多くのメモリを必要とする操作であるＤＦＤおよび階調の計算に関する先行および後続画像のピクセルの値のランダム・アクセスを避けるために、第１の解決策はスポット周波数におけるグリッド・セルのピクセルの４つの値をもたらす４つの単純な回路を使用することからなる。これによって、予測器ごとにチャネルを１つだけ設けることが可能となり、各チャネルは並列に作動する。改善策も予測器がポイントするウィンドウの数個の点を、それ故、１回につき数個のグリッドをもたらす回路を使用することができる。１回にＮ個の点（Ｎ個のＤＦＤとＮ個の階調をもたらす）を処理することにより、Ｎ−１個の他の予測器に同じ回路を使用できるようになる。すなわち、メモリをあまり必要としないというこの改善によって、数個の予測器のランダム・アクセスを並列ではなく、直列に行うことができ、容積を大幅に減らすことができる。本アーキテクチャには、マクロブロックのサイズが１６×１６の各ブロックに対して計算された１２８、６４、３２、および１６というレベルｉに応じて、変位された画像間差の合計が計算されるという他の利点がある。事実、演繹計算の場合、合計Ｓ（ｉ−１）、すなわち予測器に対して計算されたＤＦＤｊの合計を比較することによって、判断が下され、収束の場合には、合計Ｓ（ｉ）、すなわち階層レベルを問わず、サイズが１６×１６のブロックについて合計したベクトルについて計算したＤＦＤｉの合計を比較することによって、判断が下される。ベクトルから合計Ｓ（ｉ）を再計算しないために、本装置ではレベルｉ−１のベクトルに基づいて、各レベルｉの予測器を定義することが可能となる。それ故、何らかのｉ、すなわち、予測器に対する変位された画像間差ＤＦＤｉのサイズが１６×１６のブロックに対して合計をとることによって、きわめてわずかなハードウェア・コストでレベルｉ−１の収束に対して利用される合計を直接計算することができる。ＨＤ．ＭＡＣに利用した場合、合計Ｓ（ｉ）１２８がレベル６４で計算され、合計Ｓ（ｉ）６４がレベル３２で計算され、合計Ｓ（ｉ）３２がレベル１６で計算され、合計Ｓ（ｉ− １）１６が第１図の参照符号１８で表される他の処理モジュールによって計算され、該モジュールの１つのチャネルだけが用いられる。処理モジュールから出る情報を受け取るのが判断モジュールであるとすると、後続レベルの予測を生成し、収束時に、ｉのベクトルと合計Ｓ（ｉ＝１）をもたらすことの両方に、これを使用するのが好ましい。遅延モジュール８、９および１０は本質的に、ビデオ信号を補償する遅延を発生して、これを位相を合わせて各種の階層レベルに渡すメモリからなっている。これらのモジュールをカスケード接続し、単一の階層レベルでの遅延補償を行うことができる。さらに、遅延モジュール１９は処理モジュール１の先頭に配置されて、システムの先頭で、ビデオ・ラインの期間を倍にし、それ故、ＨＤ．ＭＡＣにおけるように運動フィールドが１つおきの画像で計算されるだけの場合にフレームの期間を倍にすることからなる拡張を行う。この拡張は装置の他の部分全体の処理周波数を半分にすることができる。

【手続補正書】特許法第１８４条の８【提出日】１９９５年１月２０日【補正内容】請求の範囲１．画像のシーケンスの運動を階層的に予測するための装置において、カスケード接続され、階層レベルにしたがって編成されている一連のマクロモジュール（１、２、３）を含んでおり、各マクロモジュールが現行画像を階層レベルに対応した所定サイズのマクロブロックに分割して、運動ベクトル・フィールドを次の階層レベルのブロックにもたらすような構造とされており、かっビデオ画像のピクセルの輝度の値および現行画像に先行および後続する各画像の変位ベクトルに基づいて、変位した画像間差ＤＦＤｉおよび階調を計算する第１回路（５、６、１４、１５）と、変位した画像間差のブロックごとの合計を行う第２回路（５、６、１６）と、画像の変位ベクトルの補正を行う第３回路（１６）とを備えていることを特徴とする装置。２．各マクロモジュール（１、２、３）が判断モジュール（７）に結合された少なくとも１つの処理モジュール（５、６）を含んでいることを特徴とする、請求項１に記載の装置。３．各処理モジュール（５、６）が少なくとも２つの予測器の補正を行うことを特徴とする、請求項２に記載の装置。４．各マクロモジュールがある階層レベルの各種の変位された画像間差の合計を発生して、これらを下位の階層レベルのマクロモジュールへ伝送することを特徴とする、請求項１から３のいずれか一項に記載の装置。５．マクロモジュール（１、２、３、４）が先行画像および後続画像の各種の予測器のグリッド化されたブロックに対するランダム・アクセスを、グリッド・セルのみへのアクセスと並列に、あるいはより大きなウィンドウへのアクセスと直列に行うことを特徴とする、請求項１から４のいずれか一項に記載の装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ギヨテル，フイリツプフランス国、エフ―92402・クルブボワ・セデツクス、ブワツト・ポスタル・329、トムソン―セエスエフ・エス・セ・ペー・イー（番地なし) (72)発明者オビ，ジヤン−イブフランス国、エフ―92402・クルブボワ・セデツクス、ブワツト・ポスタル・329、トムソン―セエスエフ・エス・セ・ペー・イー（番地なし)

Claims

【特許請求の範囲】１．画像のシーケンスの運動を階層的に予測するための装置において、カスケード接続され、階層レベルにしたがって編成されている一連のマクロモジュール（１、２、３）を含んでおり、各マクロモジュールが現行画像を階層レベルに対応した所定サイズのマクロブロックに分割して、運動ベクトル・フィールドを後続のブロックに伝送するような構造とされており、かつビデオ画像のピクセルの輝度の値および現行画像に先行または後続する各画像の変位ベクトルに基づいて、変位した画像間差ＤＦＤｉおよび階調を計算する第１回路（５、６、１４、１５）と、変位した画像間差のブロックごとの合計を行う第２回路（５、６、１６）と、画像の変位ベクトルの補正を行う第３回路（１６）とを備えていることを特徴とする装置。２．各マクロモジュール（１、２、３）が判断モジュール（７）に結合された少なくとも１つの処理モジュール（５、６）を含んでいることを特徴とする、請求項１に記載の装置。３．各処理モジュール（５、６）が少なくとも２つの予測器の補正を行うことを特徴とする、請求項２に記載の装置。４．各マクロモジュールがある階層レベルの各種の変位された画像間差の合計を発生して、これらを下位の階層レベルのマクロモジュールへ伝送することを特徴とする、請求項１から３のいずれか一項に記載の装置。５．マクロモジュール（１、２、３、４）が先行画像および後続画像の各種の予測器のグリッド化されたブロックに対するランダム・アクセスを、グリッド・セルのみへのアクセスと並列に、あるいはより大きなウィンドウへのアクセスと直列に行うことを特徴とする、請求項１から４のいずれか一項に記載の装置。