JP2000512091A - 動作ベクトル処理 - Google Patents

Abstract

(57)【要約】 出力動作べクトル（ＭＶ’）を与える方法において、動作ベクトル（ＭＶ）がエンコードされた画像信号（ＭＰＥＧ）から取得され、取得された動作ベクトル（ＭＶ）が後処理され、出力動作ベクトル（ＭＶ’）が得られる。後処理は、候補動作ベクトルの発生（ＣＶＧ）、並びに、候補動作ベクトル及び取得された動作べクトル（ＭＶ）に基づく出力動作ベクトル（ＭＶ’）の選択（ＣＶＳ）を含む。

Description

【発明の詳細な説明】 動作ベクトル処理 本発明は、動作ベクトルを与えるための方法及びデバイスに関するものであり 、更に、そのような動作ベクトル処理デバイスを組込んだ画像信号処理装置及び 画像表示装置に関するものである。 DE-A-195.10.389は、コード化されたビデオ信号を受信するための方法及び回 路装置を開示している。この方法は、例えばＭＰＥＧ２標準に基づいてコード化 され、圧縮された冗長度を持つ一連の画像を含むビデオ信号に関する。動作のデ コードが最初に遂行される。次に、動作がデコードされたフィールドについて、 フリッカーを除去するための処理と共に、実質的に補間を含む後処理が遂行され る。動作デコードの際に取得された動作ベクトルが、更にフリッカー除去のため にも用いられるので好都合である。 動作評価は、時には複雑であるが通常は単純な規範関数を最適化又は最大化し て出力動作ベクトルを見出す、最適化問題と見做すことができる。単に予め定め られた範囲の全ての可能なベクトルを試み、確実にその規範関数の広範囲におけ る最適値を得るという力任せの方法がある。更に、最も確からしい動作ベクトル のみをテストする効率的な方法もある。この確からしさは、通常、空間的又は時 間的なアプローチによって決定され、従って効率的な動作評価アルゴリズムにお いては時間的及び空間的予測ベクトルが一般的になっている。用いられる動作評 価アルゴリズムに依って得られる動作ベクトルフィールドの性質が異なるので、 異なる動作評価アルゴリズムの応用範囲は異なっている。動作ベクトルは、動作 補償走査変換、動作補償雑音低減及び画像コード化のような、高品質ビデオ信号 処理に用いることができる。このような処理は、動作ベクトルの種々の品質の観 点において制限をもたらす。例えば、高品質動作補償走査変換は、ベクトルが連 続する画像の中で真の動作ベクトル（即ち、真の方向及び速度）を表す動作ベク トルフィールドを必要とする。単なる品質の規範は平均予測エラーが小さいので 、コード化の応用についてはこれは無関係である。 全てのサーチブロックをマッチングさせるような力任せの方法は、真の動作ベ クトルを与えない傾向にある。反面、全てのサーチブロックをマッチングさせる ことはブロック間のエラーを最小にするので、そのベクトルは二つのブロック間 で最小のエラーを持つ二つのブロックを結合する。これは、コード化の応用にお ける予測エラーを最小にするのに適している。これらの最小エラーはＭＰＥＧの ような圧縮アルゴリズムのために効率的に役立つ一方、得られるベクトルは、高 品質走査変換に用いるのには適さない。他方、３−Ｄ繰り返しブロックマッチン グのような更に効率的な動作評価は、高品質走査変換に用いることができるがし かし圧縮アルゴリズムに用いるには適さないような、真の動作ベクトルを与える 傾向にある。 ＭＰＥＧ及び他の型のビデオ圧縮の出現により、既に動作ベクトルを含むビデ オ素材が入力されている可能性がある。従って、第１の観点として、この型の素 材について受信機側での動作評価が不要になると考えられる。しかしながら、Ｍ ＰＥＧ動作ベクトルが真の動作か否かが未知なので、これらの動作ベクトルを例 えば走査速度変換のために直接用いることができるか否かは確かではない。デコ ーダ／受信機側では、エンコーダ／送信機側でどのような型の動作評価アルゴリ ズムが用いられたかは未知であり、従って、最悪の状態として、ＭＰＥＧ動作ベ クトルが効率的な圧縮のために最適化され、真の動作ベクトルを表していないと 仮定する必要がある。例えば、輝度の小さい変化が多様に起きた場合に、一様な バックグラウンドが奇妙で長い不一致のベクトルを生成することがあり得る。更 に特別な場合には、わずかな細部を含む映像領域における周期的な構造及びノイ ズがそのような不一致のベクトルの原因になり得る。ＭＰＥＧデータストリーム 中の動作ベクトルにおける他の問題は、全ての動作ベクトルがそのデータストリ ーム中で送信されたか否かが不確実であることである。このような理由により、 DE-A-195.10.389によって提案された技術は、高品質の後処理には適さないもの と考えられる。 同様の問題を解決するための試みの中で、ディジタルにエンコードされたテレ ビジョン信号と共に送信されたベクトルがフィールドレート増大変換操作のため に用いられる前に、これらのベクトルをスムージングすることが提案された。こ れについては、Delft University of TechnologyのL.J.SteenbeekによるM.S.E.E .卒業論文”Bewegings-gecompenseerde interpolatie van digitale televisieb eelden”（1986年12月）の第60〜68頁を参照されたい。 特に、本発明の目的は、高品質の後処理に適している動作ベクトルを与えるこ とである。このため、本発明の第１の観点は、請求項１によって規定される方法 を提供することである。本発明の第２の観点は、請求項４によって規定されるデ バイスを提供することである。本発明の第３の観点は、請求項５によって規定さ れる画像信号処理装置を提供することである。本発明の第４の観点は、請求項６ によって規定される画像表示装置を提供することである。好ましい実施例は従属 請求項に規定される。 本発明の第１の観点による出力動作ベクトルを与える方法においては、動作ベ クトルはエンコードされた画像信号から取得され、取得された動作ベクトルを後 処理することにより出力動作ベクトルが得られる。後処理は、候補動作ベクトル を発生するステップ、及び、候補動作ベクトル及び取得された動作ベクトルに基 づいて出力動作ベクトルを選択するステップを含む。 本発明のこれら及び他の観点は、以下に説明する実施例を参照することにより 明らかとなろう。 図面においては、 図１は、本発明により動作ベクトルを与えるデバイスを持つ画像表示装置の種 々の実施例の概略を示す図であり、 図２は、本発明による後処理を具えるＨ２１６／２６３デコーダを示す図であ る。 前述の背景の部分で説明した問題は、高品質走査変換における用途からＭＰＥ Ｇ動作ベクトルを完全に除外するものではない。適当な後処理を用いれば、ＭＰ ＥＧ動作ベクトルを有用にすることができる。更に特別には、受信機がＭＰＥＧ 動作ベクトルの品質を決定することが可能である場合、及び定められた処理のた めの一定の規範に合致するようにＭＰＥＧ動作ベクトルの品質を改善することが 可能である場合は、ＭＰＥＧ動作ベクトルを用いることができる。ＭＰＥＧ動作 ベクトルの適応性を広げるための幾つかの可能な後処理方法が、以下のように考 えられる。 １．ＭＰＥＧ動作ベクトルの適応性を増大させるためのベクトルの或る種のス ムージング操作のような操作により、ＭＰＥＧ動作ベクトルを処理する。 ２．ここに参考文献として添付されている1996年５月24日出願の未公開のＥＰ 特許出願第96201462.7号及び全てのこれに対応する特許出願（代理人整理番号PH N15,824）に開示された追加のパラメトリックベクトル候補の利用と同様に、例 えば３−Ｄ繰り返しブロックマッチングアルゴリズムにおける空間的及び／又は 時間的候補と共に、追加の候補としてＭＰＥＧ動作ベクトルを用いる。幾つかの 候補ベクトルに基づいて動作ベクトルを得る効率的な繰り返し動作ベクトル評価 アルゴリズムの説明のためには、未公開のＥＰ特許出願第96201462.7号の説明の 末尾に掲載されたDr.G.de Haanによる論文を引用する。 ３．未公開のＥＰ特許出願第96201462.7号で説明されているパラメトリックベ クトル候補を計算するために、ＭＰＥＧ動作ベクトルを用いることができる。 図１を参照して種々の実施例を説明する。 図１は、基本セクションＢ及び基本セクションＢを拡大して画像表示装置の四 つの別個の実施例Ｂ＋Ｅ1,Ｂ＋Ｅ2,Ｂ＋Ｅ3及びＢ＋Ｅ4を得るための四つの別個 の方法を示す四つのセクションＥ1...Ｅ4を示す。 基本セクションＢにおいては、ＭＰＥＧ入力信号から動作ベクトルＭＶに従っ てビデオ信号Ｖを取得するために、ビデオ信号Ｖ及び動作ベクトルＭＶを含むＭ ＰＥＧ信号がデコーダＤＥＣに供給される。２倍のフィールド周波数及び／又は ライン周波数又はビデオ信号Ｖに関して改善された動作画像を持つ出力ビデオ信 号ＯＶＳを得るため、ビデオ信号Ｖがビデオ後処理プロセッサＶＰＰに供給され る。これに代えて又はこれに加えて、ビデオ後処理プロセッサＶＰＰは、ノイズ を低減し及び／又はビデオ信号Ｖのライン当たりのピクセル数及び／又はフィー ルド当たりのラインの数を変える。プロセッサＶＰＰによって遂行されるビデオ 後処理は、改善された動作ベクトルＭＶ’に依存する。出力ビデオ信号ＯＶＳは 表示装置Ｄに表示される。 第１の実施例Ｂ＋E1によれば、改善された動作ベクトルＭＶ’は、後処理プロ セッサＰＰによって、ＭＰＥＧ信号中に含まれる動作ベクトルＭＶから得られ る。例えば、スムージング操作は、仮にＭＰＥＧ動作ベクトルＭＶをプロセッサ ＶＰＰによって遂行されるビデオ後処理のために直接用いるとした場合に起こり 得る人工物の大部分を消滅させる。スムージング操作は、動作ベクトルの水平及 び垂直成分に対する個別の低域通過フィルタ操作を含むことができる。これに代 えて、動作ベクトルの水平及び垂直成分を中間フィルタに供給し、過度の動作ベ クトル成分値を、画素の隣接するブロックの動作ベクトルの実際の動作ベクトル 成分値で置き換えることができる。 この特許出願の請求項によってカバーされている第２の実施例Ｂ＋Ｅ2によれ ば、ＭＰＥＧ動作ベクトルＭＶが、後処理プロセッサＰＰによって遂行される（ 例えばスムージング）後処理操作の後で、追加として、マルチプレクサＭＵＸに より、候補ベクトル発生装置ＣＶＧによって発生された候補ベクトルと多重化さ れる。多重化されたベクトルが候補ベクトル選択装置ＣＶＳに供給され、最小エ ラーを示すことが期待される改善された動作ベクトルＭＶ’が得られる。 共に出願中の特許出願によってカバーされている第３の実施例Ｂ＋Ｅ3によれ ば、パラメータ抽出装置ＰＥがＭＰＥＧ動作ベクトルＭＶから動作パラメータｐ 1...ｐnを抽出する。動作パラメータｐ1...ｐnは、ベクトルフィールド計算装置 ＶＦＣに供給され、改善された動作ベクトルＭＶ’が得られる。これ以上の詳細 については、再び、未公開のＥＰ特許出願第96201462.7号及びその対応出願を引 用する。 この特許出願の請求項によってカバーされている第４の実施例Ｂ＋Ｅ4によれ ば、セクションＥ3中のベクトルフィールド計算装置によって計算された動作ベ クトルが、候補ベクトル発生装置ＣＶＧからの候補動作ベクトルと多重化され、 候補ベクトル選択装置ＣＶＳに供給され、改善された動作ベクトルＭＶ’が得ら れる。この第４の実施例は第２及び第３の実施例の特徴を組合せている。 明らかに、本発明はＭＰＥＧ信号に限定されるものではない。同一の方法でＨ ２６１又はＨ２６３信号のような他の信号を取扱うことができる。図２は、本発 明による後処理を行うＨ２６１／Ｈ２６３デコーダを示している。Ｈ２６１又は Ｈ２６３入力信号がデマルチプレクサＤＥＭＵＸに供給され、ディジタルビデオ 信号ＤＶ及び動作ベクトルＭＶＥが得られる。動作ベクトルＭＶＥは可変長デコ ーダＶＬＣ^-1に供給され、デコードされた動作ベクトルＭＶが得られる。ディジ タルビデオ信号ＤＶは可変長デコーダＶＬＣ^-1、逆量子化装置Ｑ^-1、及び不連続 余弦変換（ＤＣＴ）デコーダＤＣＴ^-1のカスケード接続に供給され、ビデオ差信 号ＶＤＳが得られる。ビデオ差信号ＶＤＳ及び動作ベクトルＭＶが予測ブロック ＰＲに供給され、その出力がビデオ差信号ＶＤＳに供給され、デコードされたビ デオ信号Ｖが得られる。デコードされたビデオ信号Ｖ及び動作ベクトルＭＶが繰 り返し動作評価装置ＲＭＥに供給され、改善された動作ベクトルＭＶ’が得られ 、それに基づいてデコードされたビデオ信号Ｖが動作補償補間装置ＭＣＩによっ て処理され、出力ビデオ信号ＯＶＳが得られる。（孤立している）フレーム内コ ード化画像、（前のフレーム内デコード化画像又は前のデコード化予測コード化 画像及び動作ベクトルＭＶによってデコードすることができる）予測的コード化 画像、及び、フレーム内コード化画像と予測的コード化画像との間又は二つの予 測的コード化画像の間の双方向的コード化画像を含むシーケンスにおいては、双 方向的コード化画像をデコードする（即ち補間する）ために、改善された動作ベ クトルＭＶ’が用いられることが望ましい。 図２の実施例は、マルチメディアＰＣ中のＰＣアドオンカードで実現すること ができる。 本発明の第一義的な観点に基づく基本的な考察は、以下のように要約される。 種々の動作評価アルゴリズムが、それらによって得られるベクトルフィールドの 特性に従って種々の用途を有する。ＭＰＥＧビデオデータストリームは動作ベク トルを含み、これを高品質ビデオ処理に用いることができる。しかしながら、効 率的な圧縮を達成するためには、これらのＭＰＥＧ動作ベクトルが最適化される と考えられるので、これらのベクトルは真の動作を表すことは期待できない。こ れは、それらの品質及び高品質後処理のための利用可能性を改善するためには追 加の処理が必要であることを意味する。ＭＰＥＧ動作ベクトルを受信機側で処理 することが提案されている。例えば、それらを、効率的な動作評価装置で追加の 候補ベクトルとして用いることができる。この方法により、ＭＰＥＧ動作ベクト ルの応用可能性が広がる。 本発明の好ましい実施例は、以下のような顕著な特徴を示す。ビデオ信号と共 に受信される動作ベクトルに対する後処理により、この動作ベクトルの例えば空 間的及び／又は時間的な滑らかさのような品質が更に向上し、これを高品質ビデ オ信号処理のために用いることができるようになる。ビデオ信号と共に受信され る動作ベクトルに対する後処理の後、その動作ベクトルは、限定されたベクトル 候補の組を用いる効率的な動作評価装置の或る又は全てのブロックのために追加 の候補として用いられる。一つの操作においては、動作ベクトルが、ビデオシー ケンス中の広範な動作を記述するパラメトリックモデルのパラメータを発生する ために用いられる。一つの操作においては、これらの抽出されたパラメータが、 限定されたベクトル候補の組を用いる効率的な動作評価装置の或る又は全てのブ ロックのための追加の候補を発生するために用いられる。 上述の実施例は、本発明を限定するものではないこと、及び、当業者は添付の 請求の範囲から逸脱せずに多くの代替例を設計することができるであろうことに 注意すべきである。請求項において括弧中に記載された参照記号は、請求の範囲 を限定するものではない。本発明は、幾つかの個別のエレメントからなるハード ウェアにより、及び、適当にプログラムされたコンピュータにより、実現するこ とができる。この出願では請求されておらず、共に出願中の特許出願に開示され た特徴が引用されている。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＫＲ (72)発明者 シュッテン ロベルト イアン オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６

Claims (1)

1. 【特許請求の範囲】 １．出力動作ベクトル（ＭＶ’）を与える方法であって、 エンコードされた画像信号（ＭＰＥＧ；Ｈ２６１，Ｈ２６３）から動作ベク トル（ＭＶ）を取得するステップ（ＤＥＣ；ＤＥＭＵＸ，ＶＬＣ^-1）、及び 取得された動作ベクトル（ＭＶ）を後処理して出力動作ベクトル（ＭＶ’） を得るステップ（ＲＭＥ） を含み、 前記後処理ステップ（ＲＭＥ）が、 候補動作ベクトルを発生するステップ（ＣＶＧ）、及び 前記候補動作ベクトル及び前記取得された動作ベクトル（ＭＶ）に基づいて 前記出力動作ベクトル（ＭＶ’）を選択するステップ（ＣＶＳ） を含む方法。 ２．後処理ステップ（ＲＭＥ）が、前記取得された動作ベクトル（ＭＶ）に対し てスムージング操作（ＰＰ）を行い滑らかなベクトルを得るステップを含み、 前記選択するステップ（ＣＶＳ）では、前記出力動作ベクトル（ＭＶ’）が前 記候補動作ベクトル及び前記滑らかなベクトルから選択される請求項１に記載 の方法。 ３．後処理ステップ（ＲＭＥ）が、 前記取得された動作ベクトル（ＭＶ）から動作パラメータ（ｐｌ...ｐｎ） を抽出するステップ（ＰＥ）、 前記動作パラメータ（ｐｌ...ｐｎ）に基づいてパラメトリック動作ベクト ルを計算するステップ、及び 前記選択するステップ（ＣＶＳ）では、前記出力動作ベクトル（ＭＶ’）が 前記候補動作ベクトル及び前記パラメトリック動作ベクトルから選択される請 求項１に記載の方法。 ４．出力動作ベクトル（ＭＶ’）を与えるデバイスであって、 エンコードされた画像信号（ＭＰＥＧ；Ｈ２６１，Ｈ２６３）から動作ベク トル（ＭＶ）を取得する手段（ＤＥＣ；ＤＥＭＵＸ，ＶＬＣ^-1）、及び 取得された動作ベクトル（ＭＶ）を後処理して出力動作ベクトル（ＭＶ’） を得る手段（ＲＭＥ） を含み、 前記後処理手段（ＲＭＥ）が、 候補動作ベクトルを発生する手段（ＣＶＧ）、及び 前記候補動作ベクトル及び前記取得された動作ベクトル（ＭＶ）に基づいて 前記出力動作ベクトル（ＭＶ’）を選択する手段（ＣＶＳ） を含むデバイス。 ５．請求項４に記載の出力動作ベクトルを与えるデバイス（ＤＥＣ，ＰＰ；ＤＥ ＭＵＸ，ＶＬＣ^-1，ＲＭＥ）、 前記エンコードされた画像信号（ＭＰＥＧ；Ｈ２６１，Ｈ２６３）に応答し てデコードされた画像信号（Ｖ）を供給するための手段（ＤＥＣ；ＶＬＣ^-1， Ｑ^-1，ＤＣＴ^-1，ＰＲ）、及び 前記出力動作ベクトル（ＭＶ’）に基づいて前記デコードされた画像信号 （Ｖ）を後処理し、後処理された画像信号（ＯＶＳ）を得る手段（ＶＰＰ；Ｍ ＣＩ） を具える画像信号処理装置。 ６．請求項５に記載の画像信号処理装置、及び 前記後処理された画像信号（ＯＶＳ）を表示するための手段（Ｄ） を具える画像表示装置。