JPH09509799A - ビデオ・モーションの推定 - Google Patents

Abstract

(57)【要約】 ディジタル・ビデオ・イメージのシーケンスにおける基準イメージ（ＩＮ）とシーケンスにおける基準イメージ間にある中間イメージ（ＢＮ）との間のイメージ変位を与えるモーション・ベクトルを推定する方法が提供される。モーション・ベクトルは、シーケンスにおける１つの基準イメージ（ＩＮ）の予測（ＰＮ）を他の基準イメージから推定するために取得される。次に、モーション・ベクトルは、シーケンスにおける２つの基準イメージ（ＩＮ）間の各中間イメージ（ＢＮ）の予測を２つの基準イメージ（ＩＮ）の一方またはその予測（ＰＮ）から生成するために取得される。これらの推定されたベクトルから、更に別のベクトルは２つの基準イメージの他方またはそれらの間にあるその予測から各中間イメージ（ＢＮ）の予測を得るために取得される。

Description

【発明の詳細な説明】 ビデオ・モーションの推定 （技術分野） 本発明は、ディジタル記憶媒体における記憶のためまたは放送のために必要と されるようなディジタル・ビデオ信号のビット・レートを低減するためにビデオ ・コーダに使用できるタイプのビデオ・モーションの推定に関する。 モーション画像エキスパート・グループ（ＭＰＥＧ）からのＭＰＥＧ−１およ びＭＰＥＧ−２アルゴリズムのような、ディジタル・ビデオ信号のビット・レー トを低減するための種々の堤案がなされてきた。ＭＰＥＧ−１は、今日では国際 規格であり、ＩＳＯ／ＩＥＣ文書ＩＳ １１１７２の１部、２部および３部にお いて定義されている。ＭＰＥＧ−１ビデオ圧縮アルゴリズムの記述は、ＡＣＭの １９９１年４月交換書簡の第３４巻、第４部に見出すことができる。ＭＰＥＧ− ２はＭＰＥＧ−１の実質的な拡張であり、１９９５年に国際規格として公刊に供 されている。 両ＭＰＥＧアルゴリズムは、ビデオ・シーケンスを３つのタイプの１つとして 含む画像を定義する。それらは下記の通りである。即ち、 Ａ．イントラ画像（Ｉ）は、他の画像と関連せずにコード化される。これら画像 は、復号が開始可能なコード化されたビデオ・シーケンスに対するアクセス点と して働く。 Ｂ．予測画像（Ｐ）は、前のＩ画像またはＰ画像から得られるモーション補償予 測と関連してコード化される。Ｐ画像のコード化は、Ｉ画像に対するよりも更に 有効である。 Ｃ．２方向予測画像（Ｂ）は、前のＩ画像またはＰ画像からの順方向モーション 補償予測と、将来のＩ画像およびＰ画像からの逆方向モーション補償予測とに関 連してコード化され、最大の圧縮度を提供する。 １つのビデオ・シーケンス内の前記３つの画像タイプの順位は強制的なもので はなく、一般に用途の要件に依存することになる。 Ｉ画像、Ｐ画像およびＢ画像の典型的なシーケンスは、図１に示されている。 ここで、フレームＩ１はＩ画像であり、フレームＰ４およびＰ７はＰ画像であり 、フレームＢ２、Ｂ３、Ｂ５、Ｂ６、Ｂ８およびＢ９はＢ画像である。フレーム Ｐ４は、フレームＩ１から得られる順方向予測と関連してコード化される。フレ ームＰ７は、フレームＰ４から得られる順方向予測と関連してコード化される。 フレームＢ２およびＢ３は、フレームＩ１から得られる順方向予測と、フレーム Ｐ４から得られる逆方向予測とに関連してコード化される。フレームＢ５および Ｂ６は、フレームＰ４から得られる順方向予測と、フレームＰ７から得られる逆 方向予測とに関連してコード化される。フレームＢ８およびＢ９は、フレームＰ ７から得られる順方向予測と、フレーム１１０から得られる逆方向予測とに関連 してコード化される。 ビデオ・コーダがハードウエアで実現されるとき、その回路の大半は、要求さ れるモーション補償予測を生成するために、モーション・ベクトルの測定に専用 化される。Ｂ画像の場合は、順方向と逆方向の両予測を生成するために、２つの 同時のモーション測定が要求される。ＭＰＥＧ−２アルゴリズムの場合は、各モ ーション・ベクトルの「フレーム」と「フィールド」の両バージョンが必要とさ れるので、２回ものモーション測定が要求される 順方向モーション・ベクトルの幾つかの付加的な処理が行われるならば、モー ション測定回数、従って、モーション測定回路の量をかなり減らすことができる ことが認められた。このような処理は、ハードウエアまたはソフトウエアのいず れかにおいて実現される。 本発明は、次に参照される請求の範囲において定義される。 本発明の特定の実施例については、添付図面に関して例示として詳細に次に記 述する。 図１は、先に述べたＩフレーム、ＢフレームおよびＰフレームのシーケンスを 示し、 図２は、図１に示されたフレームのシーケンスを定義するベクトルを生じるた め要求される従来のモーション推定装置を示し、そして 図３は、本発明を実施するモーション推定装置を示す。 表示順序における図１に示されたタイプのＭＰＥＧ画像シーケンスであって、 Ｉ、ＰおよびＢがＭＰＥＧ画像タイプを指すＭＰＥＧ画像シーケンスは、下記の 通りである。 Ｂ６、Ｂ７、Ｐ８、Ｂ９、Ｂ１０、Ｐ１１、Ｂ１２、Ｂ１３、Ｐ１４、Ｂ１５ 、Ｂ１６、Ｉ１７、Ｂ１８、Ｂ１９、Ｐ２０、．．．等 このシーケンスは、（ＢＢＰ）、あるいは（更に少ない頻度であるが）（ＢＢ Ｉ）「トリプル」に分けられる。即ち、２つの内挿画像と１つの基準画像である 。 各（ＢＢＰ）トリプルに対して、コーダのモーション推定装置が５つのモーシ ョン・ベクトルを生成しなければならない。例えば、（Ｂ１２、Ｂ１３、Ｂ１４ ）のトリプルの場合は、５つの要求されるモーション・ベクトルは、 Ｐ１１からＰ１４ （Ｐ１１からＰ１４の順方向予測） Ｐ１１からＢ１２ （Ｐ１１からＢ１２の順方向予測） Ｐ１１からＢ１３ （Ｐ１１からＢ１３の順方向予測） Ｐ１４からＢ１２ （Ｐ１４からＢ１２の逆方向予測） Ｐ１４からＢ１３ （Ｐ１４からＢ１３の逆方向予測） （ＢＢＩ）トリプルごとに、コーダのモーション推定装置が４つのモーション ・ベクトルを生成しなければならない。例えば、（Ｂ１５、Ｂ１６、Ｉ１７）ト リプルの場合は、要求される４つのモーション・ベクトルは、 Ｐ１４からＢ１５ （Ｐ１４からＢ１５の順方向予測） Ｐ１４からＢ１６ （Ｐ１４からＢ１６の順方向予測） Ｉ１７からＢ１５ （Ｉ１７からＢ１５の逆方向予測） Ｉ１７からＢ１６ （Ｉ１７からＢ１６の逆方向予測） 今日では、これらのモーション・ベクトルを生成するため一般に堤案されるア ーキテクチャは、図２に示された如き略々２つのモーション推定装置に基くもの である。これは、前の基準画像とその時の画像とを受取り、順方向モーション・ ベクトルを生じる順方向モーション推定装置２と、将来の基準画像とその時の画 像とを受取り逆方向モーション・ベクトルを生じる逆方向モーション・ベクトル の推定装置４とを含む。これらは、先に述べたベクトルである。 以下に示される表１は、モーション推定装置を経由するシーケンスＢ１２、Ｂ １３、Ｐ１４、Ｂ１５、Ｂ１６、Ｉ１７の通過について示す。ＭＰＥＧアルゴリ ズムに従った推定装置への入力に先立ち、画像のシーケンスがＰ１４、Ｂ１２、 Ｂ１３、Ｉ１７、Ｂ１５、Ｂ１６に再び順序が付されることが判る。同表の各欄 は、時間的な瞬間を表わす。例えば、第１の列は、「Ｐ１４がその時の画像入力 にあるとき、Ｐ１１が前の基準画像入力へ与えられ、順方向モーション・ベクト ル出力がモーション・ベクトルＰ１１ないしＰ１４を生成する」。この表は、図 １の２つのモーション推定装置がともにどのように各（ＢＢＰ）トリプルに対し て要求される５つのモーション・ベクトルと、各（ＢＢＩ）トリプルに対して要 求される４つのモーション・ベクトルとを生成するかを示す。 図２のモーション推定装置の１つのみが用いられるならば、ビデオ・コーダに 対して要求されるハードウエアの量を減らすことができる。これは、それ以上の ベクトル処理を用いて付加的なモーション・ベクトルを生じるならば、実行可能 となる。１つのモーション・ベクトル推定装置に対する構成が図３に示される。 表２は、再順序付けされたシーケンスＰ１４、Ｂ１２、Ｂ１３、Ｉ１７、Ｂ１５ 、Ｂ１６の図３のモーション推定装置を介する通過を示す。 （ＢＢＰ）トリプルに対して要求されるモーション・ベクトルは、（Ｐ１１な いしＰ１４）、（Ｐ１１ないしＢ１２）、（Ｐ１１ないしＢ１３）、（Ｐ１４な いしＢ１２）、および（Ｐ１４ないしＢ１３）である。モーション推定装置がこ れらの最初の３つを生成した。逸失した２つのモーション・ベクトルは、下記の 如き別のベクトル処理を用いて計算することができる。即ち、 （Ｐ１４ないしＢ１２）＝（Ｐ１１ないしＢ１２）−（Ｐ１１ないしＰ１４） （Ｐ１４ないしＢ１３）＝（Ｐ１１ないしＢ１３）−（Ｐ１１ないしＰ１４） 同様に、（ＢＢＩ）トリプルに対して要求されるモーション・ベクトルは、（ Ｐ１４ないしＢ１５）、（Ｐ１４ないしＢ１６）、（Ｉ１７ないしＢ１５）、お よび（Ｉ１７ないしＢ１６）である。モーション推定装置は、これらの最初の２ つ、ならびにベクトル（Ｐ１７ないしＩ１７）を生成した。逸失した２つのモー ショ ン・ベクトルは、下記のように計算することができる。即ち、 （Ｉ１７ないしＢ１５）＝（Ｐ１４ないしＢ１５）−（Ｐ１４ないしＩ１７） （Ｉ１７ないしＢ１６）＝（Ｐ１４ないしＢ１６）−（Ｐ１４ないしＩ１７） 順方向モーション推定装置が適切な順方向モーション・ベクトルを生成する限 り、得られる逆方向モーション・ベクトルは正しい。このことは、画像材料の大 部分を表わす直線運動および非直線運動で運動する物体について妥当する。当該 方法は、画像が反復的パターン化（例えば、チェス盤）を含むならば、分解可能 である。このような場合、順方向モーション推定装置は、例え物体の実際の運動 を表わす必要がなくとも等しく良好な予測を生じることになる多数のモーション ・ベクトルを識別し得る。順方向モーション・ベクトルが不正ならば、得られる 逆方向モーション・ベクトルは劣質な予測を生じ得る。（逆方向モーション・ベ クトルから結果として生じる予測が劣質であるならば、コーダは単にその特定の マクロブロックに対してある他の予測モードを選択することになり、誤った逆方 向モーション・ベクトルは気づかれないことに注意すべきである。） １つのベクトル推定装置を用いて全ての順方向および逆方向のベクトルを生成 するのに必要な別のベクトル処理は、ベクトル加算器および（または）減算器、 およびある適当な記憶装置およびスイッチング装置を用いて正しい時点でベクト ルを加算器へ与えるようにハードウエアで実現することができる。あるいはまた 、この処理は、ソフトウエアで実施することも可能である。 現在のＭＰＥＧ−２テスト・モデルは、フィールドおよびフレームのモーショ ン・ベクトルを含む、更に改善されたビット・レート低減規格の詳細を尽くすも のである。この理念は、下記のとおりである。 ＭＰＥＧ−２は、１６ピクセル×１６フレーム・ラインの画像であって、８本 のラインが奇数番目のフィールドから生じ他の８本のラインが偶数番目のフィー ルドから生じる画像の面積をカバーするマクロブロックを規定する。コーダの予 測発生器段の仕事は、その時のフレームを含むマクロブロックの「予測」を生じ ることである。この画像が動きつつあるならば、これらの予測は一般に、モーシ ョ ン補償（即ち、基準フレームの各マクロブロックに１つ以上のモーション・ベク トルを割当てる）によって実現される。 現在では、（先に述べたタイプの）モーション推定装置は、その時のフレーム における各マクロブロックの２つの予測：１つはフィールドのモーション・ベク トルに基き、他方はフレームのモーション・ベクトルに基く予測、を得るために 「フィールド」と「フレーム」の両モーション・ベクトルを生じる。コーダは、 その時のフレームの実際のマクロブロックと最も合致する予測を選択する。 フレームのモーション・ベクトルの場合は、マクロブロックは１つのフレーム の１つの１６×１６ブロックとして取扱われる。１つの「フレーム」のモーショ ン・ベクトルは、基準フレームの１６×１６ピクセル領域を運動補償することに よりマクロブロックの予測がどのように生成されるかを記述するように割当てら れる。 フィールドのモーション・ベクトルの場合は、２つの「フィールド」のモーシ ョン・ベクトルを用いて、マクロブロックの奇数番目のフィールドおよび偶数番 目のフィールドの予測を独立的に生じる。即ち、１つのフィールドのモーション ・ベクトルを用いて、基準画像の奇数フィールドからマクロブロックの８つの奇 数番目のラインを予測し、他のフィールドのモーション・ベクトルを用いて、基 準画像の偶数フィールドから８つの偶数番目のフィールド・ラインを予測する。 今日では、フィールドおよびフレームのモーション・ベクトルをハードウエア で実現するための堤案は、一方がフレームのモーション・ベクトル生成を行い他 方がフィールドのモーション・ベクトル生成を行う、２つの独立的なモーション 推定ブロックを利用する。両方のモーション推定装置は、同量のハードウエアを 表わす。これは、フィールドのモーション・ベクトルの生成に関するモーション 推定装置が他のものの２倍ものモーション・ベクトルを生じるが、これは単にフ レームのモーション推定装置により処理される（１６×１６）ブロックとは対照 的にイメージ・データの（８×１６）ブロックを比較することを必要とするため である。 モーション・ベクトルは、その時の画像からのあるマクロブロックの２つの予 測、一方はフレームのモーション・ベクトルを用いて生成され他方は２つのフィ ールドのモーション・ベクトルを用いて生成される予測、を生成するために使用 される。従って、コーダの「判断モジュール」の仕事はどれがより優れた予測で あるかを判定することである。 奇数フィールドにおけるモーション推定装置から判断されるモーションが偶数 フィールドにおいて判断されるモーションと異なるならば、２つのフィールドの モーション・ベクトルは異なることになり、フィールドのモーション・ベクトル に基く予測はいずれも最良のものに近い。 モーション推定装置により判断されるモーションが両方のフィールドにおいて 同じであるならば、この２つのフィールドのモーション・ベクトルは同じもので あり、更に、これらはおそらくはフレームのモーション・ベクトルと一致するこ とになる。この場合、２つの予測の間に相違があるものとは思えない。 フレームのモーション推定装置を省くことができることを堤案する。フレーム のモーション・ベクトルは、２つのフィールドのモーション・ベクトルを平均化 することによって代わりに得ることができる。２つのフィールドのモーション・ ベクトルが一致するならば、フレームのモーション・ベクトルは同じ値を持つこ とになり、類似するフレームとフィールドとに基く予測を結果として得る。しか し、２つのフィールドのモーション・ベクトルが異なるならば、フレームのモー ション・ベクトルは正しくなく、フィールドに基く予測がおそらく最良のもので ある。ベクトルの生成については、以下において更に詳細に説明する。 前のフレームの奇数フィールドおよび偶数フィールドにおいて生じるモーショ ンは独立的に測定され、将来のフレームの奇数フィールドと偶数フィールドの予 測を生じるために用いられる、即ち、将来のフレームの奇数フィールドは前のフ レームの奇数フィールドから予測され、偶数フィールドについてもこれに対応す る。奇数フィールドと偶数フィールドとを含む１つの将来のフレームのこのよう な１つの予測が生成される。 次に、奇数フィールドにおいて測定されるベクトルは、偶数フィールドにおけ るベクトルと平均化されて、１組のフレームのモーション・ベクトルを得る。従 っ て、将来のフレームの更なる予測は、前のフレームをフレームのモーション・ベ クトルの組でモーション補償することによって生成される。 このように、１つの特定の将来のフレームについて２つの予測が存在する。一 方は、前のフレームの各フィールドにおいて生じるモーションを独立的に測定す ることにより、かつ各フィールドを然るべくモーション補償することによって得 られる。他方は、１組のフレームのモーション・ベクトルを生じるように前のフ レームの２つのフィールドからのモーション・ベクトルを平均化することにより 、かつこれらを用いて前のフレーム全体を補償することによって得られる。 フィールド・ベクトルのこのような組合わせは、モーション推定装置における 専用化されたハードウエアあるいはソフトウエアにおいて実現することができる 。

【手続補正書】特許法第１８４条の８ 【提出日】１９９６年１月２４日 【補正内容】 ３４条補正（請求の範囲の差し替え） 請求の範囲 １．ディジタル・ビデオ・イメージのシーケンスにおける基準イメージと該シー ケンスにおける基準イメージ間にある中間イメージとの間のイメージの変位を規 定するモーション・ベクトルを推定する方法であって、前記シーケンスにおける １つの基準イメージの予測を他の基準イメージから取得するために、第１のモー ション・ベクトルを推定するステップと、前記シーケンスにおける２つの基準イ メージ間の各中間イメージの予測を前記２つの基準イメージの一方またはその予 測から取得するために、第２のモーション・ベクトルを推定するステップと、前 記２つの基準イメージの他方、または前記第１および第２の推定されたベクトル の適切なものの間の差を取得することによりその間にあるその予測から各中間イ メージの予測を取得するために、前記第１および第２の推定されたベクトルから 第３のモーション・ベクトルを取得するステップと、 を含むモーション・ベクトルを推定する方法。 ２．前記の如く取得されたベクトルが予め定めたビット・レートを減じたビデオ 信号基準と一致する請求の範囲第１項記載の方法。 ３．各イメージが２つ以上のフィールドからなり、各フィールドに生じるモーシ ョンが、各フィールドに対する１組のフィールドのモーション・ベクトルを生成 するように独立的に測定され、その幾つかの組のフィールドのモーション・ベク トルが組合わされて、１組のフレームのモーション・ベクトルを生じ、それによ り、将来のイメージの２つの予測を行うことを可能にする請求の範囲第１項記載 の方法。 ４．シーケンスにおけるイメージ間のビデオ・モーション推定方法において、各 イメージが２つ以上のフィールドからなり、各フィールドに生じるモーションが 各フィールドに対する１組のフィールドのモーション・ベクトルを生じるように 独立的に測定され、その幾つかの組のフィールドのモーション・ベクトルが組合 わされて１組のフレームのモーション・ベクトルを生じ、それにより将来のイメ ージの２つの予測を行うことを可能にするビデオ・モーション推定方法。

Claims (1)

1. 【特許請求の範囲】 １．ディジタル・ビデオ・イメージのシーケンスにおける基準イメージと前記シ ーケンスにおける基準イメージ間にある中間イメージとの間のイメージの変位を 規定するモーション・ベクトルを推定する方法であって、前記シーケンスにおい て１つの基準イメージの予測を他の基準イメージから取得するためにモーション ・ベクトルを推定するステップと、前記シーケンスにおける２つの基準イメージ 間の各中間イメージの予測を前記２つの基準イメージの一方またはその予測から 得るためにモーション・ベクトルを推定するステップと、推定されたベクトルか ら前記２つの基準イメージの他方あるいはその間にあるその予測から各中間イメ ージの予測を得るために更なるベクトルを得るステップと、を含むモーション・ ベクトルを推定する方法。 ２．前記の如く得られたベクトルが、予め定めたビット・レートが減じたビデオ 信号基準と一致する請求の範囲第１項記載の方法。 ３．各イメージが２つ以上のフィールドからなり、各フィールドに生じるモーシ ョンが、各フィールドに対する１組のフィールドのモーション・ベクトルを生成 するように独立的に測定され、その幾つかの組のフィールドのモーション・ベク トルが組合わされて、１組のフレームのモーション・ベクトルを生じ、それによ り、将来のイメージの２つの予測を行うことを可能にする請求の範囲第１項記載 の方法。 ４．シーケンスにおけるイメージ間のビデオのモーション推定方法において、各 イメージが２つ以上のフィールドからなり、各フィールドに生じるモーションが 各フィールドに対する１組のフィールドのモーション・ベクトルを生じるように 独立的に測定され、その幾つかの組のフィールドのモーション・ベクトルが組合 わされて１組のフレームのモーション・ベクトルを生じ、それにより、将来のイ メージの２つの予測を行うことを可能にする方法。 ５．本文に実質的に記述される如きディジタル・ビデオ・イメージのシーケンス における基準フレームと、前記シーケンスにおけるフレーム間にある中間フレー ムとの間のイメージの変位を規定するモーション・ベクトルを推定する方法。 ６．本文に実質的に記述される如きビデオ・モーション推定のための方法。