JP2000506355A - 勾配に基づく動作推定 - Google Patents

Abstract

(57)【要約】 フィールドまたはフレームレート補間器を、特には標準変換において要求する応用のための動作ベクトルを生成する技術。画像は入力ビデオまたはフィルム信号と同じ標準で計算されてから、動作ベクトルを決定するのに先立って出力標準に変換するために、垂直または空間補間器が使用される。これによって動作ベクトルが、出力標準で容易に計算することが可能になる。

Description

【発明の詳細な説明】 勾配に基づく動作推定 本願は、ビデオまたはフィルムシーケンスの動作ベクトルを推定するための技 術に関するものであって、特に標準変換器と併せて使用される動作推定器に関す る。この技術は、フィールドまたはフレーム率の補間に要求されるいかなる装置 にも応用される。例えばスロー動作ディスプレイ装置やフィルムシーケンスのイ ンターレースビデオシーケンスへの変換などである。 勾配動作推定は、３〜４種の基礎的な動作推定技術のうちのひとつであり、文 献にも知られている（参考１〜１８）。正確には「制約式に基づく動作推定」と よばれており、動作に対する時空画像勾配に関する、偏微分方程式に基づいてい る。 勾配動作推定は、動作に対する画像勾配に関する制約式に基づいている。制約 式は、一画像の動作の直接の帰説である。オブジェクト（ｘ，ｙ）が速度（ｕ， ｖ）で移動する場合、その結果の動画像Ｉ（ｘ，ｙ，ｔ）は式１で表される。 I(x,y,t)=オブジェクト（y-ut，y-vt） これが直接、制約式２に至る。 動体が時間とともに変化しなければ（照射の変化や歪みによるものと思われる ）、∂オブジェクト／∂ｔ＝０である。この式は、一例をもってすれば、より理 解が容易である。例えば垂直動作がゼロ、水平勾配がピクセル毎にグレイレベル ２ポイントのアップ、そして時間勾配がフィールド毎にグレイレベル１０ポイン トのダウンするとする。すると、水平勾配と時間勾配との割合はフィールド毎５ ピクセルの動作を示すことが、制約式から判る。空間勾配と時間勾配との関係は 制約式に集約される。 動作推定に制約式を使用するために、画像勾配や、明度の時空勾配を推定する 必要がある。理論上は、これらは画像シーケンスに直送線形の水平、垂直、そし て時間のフィルターを適用することによって容易に計算できる。実際には、追加 的な処理なしで、水平勾配のみで行うことができる。垂直勾配のために は、明度勾配の計算は、通常テレビピクチャーに使用されるインターレースと混 同されてしまう。フィルムから発生する疑似インターレースされた信号はこの問 題の影響は受けない。インタレースされた信号は各フィールド上に変化ピクチャ ーラインを含むだけである。これは垂直の２段抽出として作用し、その結果、垂 直勾配推定と混同される垂直エリアシングが表れる。時間的には状況はさらに悪 く、もし連続フィールドにおいて１ピクセル以上移動したとすると、同じ空間位 置にあるピクセルは、総合的にみて関連性がないということも考えられる。こう なると、どのような勾配推定も無意味になってしまう。こういった理由から、勾 配推定は、フィールドピリオド毎に１ピクセル以上の速度を測定することが通常 は出来ないのである（参考８）。 プリフィルタリングが画像シーケンスに適用されることによって、画像勾配の 直接測定の問題点を回避することができる。もし空間ローパスフィルタリングが シーケンスに適用されると、ピクセルの有効なサイズは増加する。ある空間位置 における明度勾配はその時、より広い範囲の動作速度に関連している。従って、 空間ローパスフィルタリングによって高速度が測定でき、上限の測定速度は適用 したフィルタリングの程度によって決定される。垂直ローパスフィルタリングも 、インターレースによる垂直エイリアシングの問題を軽減することができる。画 像内の偽信号成分は高い周波数において、より発生しやすい。平均して、ローパ スフィルタリングは、正しい信号成分よりも偽信号を、不均一に取り除く。垂直 フィルタリングが多く採用される程、エイリアシングの影響は小さくなる。しか しながら、エイリアシングがゼロ周期近くまでダウンして存在する。フィルタリ ングでは、これらの信号から全てのエリアシングを取り除くことはできないので 、垂直勾配推定にエラーが発生することとなり、その結果、動作ベクトルの推定 が不正確になる。 画像シーケンスをプリフィルタリングするとブレが生じる。よって、画像内の 細かい描写は失われてしまう。この結果、第一に、画像内に細かい描写がないた めに速度推定の精度が下がり、第二にプリフィルターされた信号には小さいオブ ジェクトが見られなくなる。ベクトル精度を上げるため、階層的技術が時として 利用される。これには、まず十分プリフィルタリングして最初の低精度の動作ベ クトルを計算し、それからこの推定を精製して最小限のプリフィル タリングで高い精度を得る。この方法で確かにベクトル精度は向上するが、プリ フィルタリングによるその他の不利点は解消されない。つまり、小さいオブジェ クトはプリフィルターされた信号には見られないので、それらの速度は測定され ない。階層的技術を用いても、小さいオブジェクトはもし最初の段階で測定され ていなければ、後続するベクトルの改良をいかに行っても、その小さいオブジェ クトの動作を回復することはできない。プリフィルタリングは、大きなオブジェ クトの低精度動作ベクトルを提供することのみが目的であるような場合の、勾配 動作推定においてのみに、適用がふさわしい。 一旦画像勾配が推定されると、制約式が使用されて動作ベクトルが計算される 。画像内の各ピクセル毎に、動作ベクトルや勾配の水平および垂直の成分に関す る線形式ができる。単一のピクセルに対する画像勾配では、そのピクセルの動作 ベクトルを決定するのに十分な情報を提供しない。少なくとも二つのピクセルの 勾配が要求される。動作ベクトル推定のエラーを最小限に抑えるため、２つ以上 のピクセルを使って、複数ピクセルからのデータに適合したベクトルを見つける ことが好ましい。３つのピクセルから勾配を取る場合を考える。各ピクセルは動 作ベクトルを速度域内の一つの線に制限する。ピクセルが２つのとき、２つの線 の交差によって、単一の独自の動作ベクトルが決定される。３つのとき、線が３ つなので独自の結果は得られない。これは図１に示されている。ベクトルＥ₁〜 Ｅ₃は、最も適合したベクトルから各ピクセルに制約された線へ向けたエラーで ある。 近隣のピクセルの一グループに最も適合した動作ベクトルを計算する方法の一 つに、最小二乗法の利用がある。つまりエラーベクトルＥ₁〜Ｅ₃の長さを二乗し た数の計を最小限にするのである（図１）。近隣のピクセルの一グループの最小 二乗解は式３の解から得られる。 ここで、(Ｕ₀,Ｖ₀)は最も適合する動作ベクトルであり、その総和は、適した 領域を越えている。式３の（直接）解は式４で表される。 小さい領域は低精度の詳細なベクトルフィールドを生み、大きい領域はその反 対である。小さい領域内のピクセルは互いに独立していないので、プリフィルタ ーのサイズより小さい領域を選択することにはほとんど利点がない。 一般に、動作推定器は、入力画像シーケンスと同じ標準で、動作ベクトルを発 生する。動作補償標準変換器や、動作補償された時間補間を行う他のシステムに おいて、出力画像シーケンス標準で動作ベクトルを発生させることが好ましい。 例えば、ヨーロッパテレビ標準とアメリカテレビ標準との間で変換を行う場合、 入力画像シーケンスは６２５ライン５０ヘルツ（インターレースされている）で 、出力標準は５２５ライン６０ヘルツ（インターレースされている）である。ヨ ーロッパ入力に作用する動作補償標準変換器は、アメリカ出力テレビ標準の動作 ベクトルを発生させることが要求される。 本願の目的は、入力標準とは異なる出力標準で動作ベクトルを生成することの できる方法および装置を提供することである。これを達成するために、まず入力 標準で画像勾配を計算し、それからこれらの勾配を、残りの動作推定処理を実現 するに先立って、出力標準に変換する。 勾配動作推定の直接実現は、図２、３に基づいて説明されているが、結果とし てエラーを多数発生させる。そのような行為は全く好ましくないものである。画 像領域内に、精度の高い速度推定を行うのに十分な情報がない場合に、これらの 問題は起こる。これは通常、解析された領域がオブジェクトの詳細を全く含まな い、もしくはオブジェクトのエッジのみしか含まないといった場合に起こりうる 。そのような状況では、速度が測定できなかったり、エッジに対して垂直な速度 しか測定できない、ということになる。十分な情報が得られないときは、問題の 原因となる完全な動作ベクトルを推定することが試みられている。数字的に言え ば、この問題は、式４の分母にある２つの語によって引き起こされ、数字的に定 まらない式３の解と酷似の結果を生む。 この勾配動作推定の問題に対する解決策はマルチネス（参考１１、１２）によ って提案されている。式３の行列（以降Ｍと呼ぶ）は固有ベクトルおよび固有値 として解析されうる。固有ベクトルは２つあって、うち一つは解析領域の先行優 性エッジに平行に指し、他方はそのエッジに垂直に指す。各固有ベクト ルは、固有ベクトルの方向における画像のシャープ度を示す固有値と関連してい る。固有ベクトルとその値は式５で示される。 M.e_i=λ_ic_i i∈{1,2} 固有ベクトルｅ_iは、通常、１の長さを持つものと定義される。以下、この慣用 を採用する。 画像の平面領域において、固有ベクトルは本質的に方向が不規則（エッジが存 在しない）で両固有値とも非常に小さい（細部が存在しない）。この状況で、考 えうるベクトルはゼロである。エッジの要素を一つのみ含む画像の部分部分にお いて、固有ベクトルはエッジに対して垂直また平行に指す。垂直固有ベクトルに 相当する固有値は（比較的）大きく、他方の固有値は小さい。この場合、エッジ に対して垂直な動作ベクトルだけが測定される。他の状況で、もっと情報の多い 画像の細部においては、動作ベクトルは式４で計算されることもある。 マルチネスの案から考えると、動作ベクトルは式６を使用して見つけられるこ ともある。 ここで添字のｔは転置を表す。ここではｎ₁，ｎ₂はλ１，λ２の計算にそれぞれ 含まれる計算上の、もしくは信号のノイズである。実際上、ｎ₁＝ｎ₂の時、双方 がＭの係数によって決定される、あるいはそれと略同等の値である。λ１，λ２ ＜ｎの時、動作ベクトルはゼロである。これは画像の平面領域に適している。λ １＞ｎ、λ２＜ｎの時、動作ベクトルは先行優性エッジに対して垂直である。λ １，λ２＞ｎの時、式６は式４と同じになる。信号ノイズｎが減少すると、式６ によって、直観的に期待されうる非常に精度の高い動作ベクトルの推定が得られ る。 実際上、マルチネスの技術を使用して動作ベクトルを計算すると、図３の装置 を、もっと複雑な回路と入れ換えるということになる。式６の直接解は計算上お よびハード面での複雑さを増す恐れがある。しかし、それは、２つの入力 の計算済みの索引テーブルと、単純な演算を使用することによって実現できる。 マルチネス技術の能率化した実現を提供することも、本願の目的である。 本願はビデオ信号処理に使用される動作ベクトル推定装置を提供するものであ って、この装置は画像シーケンスの各入力サンプリングサイト毎に画像勾配を計 算する手段を含む。この画像勾配は入力信号と同じ標準で計算される。この装置 はまた、その画像勾配を最初の標準から次の標準へ、つまり出力標準へ変換する 手段と、その画像勾配から複数の動作ベクトルを生成する手段とを含む。この装 置は、動作ベクトルを計算するに先立って画像勾配を入力標準から出力標準へ変 換するように構成されており、これによって望ましい出力標準で動作ベクトルを 生成する。動作ベクトルは出力標準で計算されるので、動作ベクトルの計算の後 の出力標準への変換で起こりうる困難かつ不正確さを回避することができる。 この装置は、入力ビデオ信号をプレフィルタリングするための時間的および空 間的ローパスフィルターとを含んでいてもよい。プレフィルタリングによって測 定可能な最大動速度が大きくなり、垂直または時間のエリアシングの有害な影響 が少なくなる。 画像勾配を計算する手段は、時間的および空間的（水平および垂直の）微分器 を含んでいてもよい。 画像勾配を入力標準から出力標準へ変換する手段は、垂直または空間の補間器 を含んでいてもよい。例えば、双線形補間器などの線形（多相）補間器。 複数の出力サンプリングサイトに対応する画像勾配は動作ベクトルを計算する のに使用される。動作ベクトルは、近接する出力サンプリングサイトのグループ 毎に、最小二乗法を利用して計算してもよい。 実施例では、この装置は乗算器も含んでいる。この乗算器は、先に計算されて 出力標準に変換されていた画像勾配を入力とする。またこの装置は、画像勾配生 成の総和を出すための、対応ローパスフィルターも含む。動作ベクトルを計算す る手段は、近接する出力サンプリングサイトのグループに対応する画像勾配生成 の総和を利用して、そのサンプリングサイトのグループに最適な動作ベクトルを 生成する。別の近接するサンプリングサイトのグループを利用して各動作ベクト ルを計算してもよい。動作ベクトルを計算する手段によって、式 ４または式６で与えられる最適動作ベクトルが決定される。 別の実施例では、この装置は、出力標準に変換された空間の画像勾配を入力と する直交座標から極座標への変換手段を含み、動作ベクトルは、各サンプリング サイトの画像勾配の角度と大きさに基づいて出力サンプリングサイトのグループ 毎に決定される。動作ベクトルは式１１または１３に基づいて計算される。 本 願はまた、ビデオまたはフィルム信号処理における動作推定の方法を提供するも のであって、画像シーケンスの各入力サンプリングサイト毎に画像勾配を計算す る工程を含む。この画像勾配はまず入力標準で計算され、この画像勾配から複数 の動作ベクトルを生成する。動作ベクトルを生成するに先立って画像勾配が第２ の出力標準へ変換されるので、望ましい出力標準で動作ベクトルを生成する。 この方法は、プレフィルタリングの工程を含んでもよい。入力ビデオ信号は、 例えば時間的および空間的ローパスフィルターを使用してプレフィルタされても よい。 この複数の出力サンプリングサイトに対応する画像勾配は、動作ベクトルを計 算するのに使用される。動作ベクトルは、近接する出力サンプリングサイトのグ ループ毎に、最小二乗法を利用して計算してもよい。 動作ベクトルを生成する工程が、近接する出力サンプリングサイトのグループ に対応する画像勾配生成の総和を利用してその各サンプリングサイトのグループ に最適な動作ベクトルを生成する工程を含んでもよい。動作ベクトルは、式４ま たは式６を使用して計算してもよい。 一実施例において、動作ベクトルを生成する工程は、出力標準に変換された空 間画像勾配を使用して画像勾配生成の総和に基づいて固有解析を行う工程と、２ つの固有ベクトルと固有値を各出力サンプリングサイトに割り当てる工程と、を 含んでいてもよい。このサンプリングサイトの各グループの動作ベクトルは、固 有解析の結果に、式６を適用することによって計算される。 別の実施例では、動作ベクトルを生成する工程は、出力標準の空間画像勾配を 、直交座標から極座標への変換する工程を含み、動作ベクトルは、各サンプリン グサイトの画像勾配の角度と大きさに基づいて出力サンプリングサイトのグルー プ毎に決定される。動作ベクトルは式１１または１３に基づいて計算さ れる。 本願は以下に図面をもとに詳細する。 図１は、３つのピクセルに対する勾配制約線を図式化したもの、 図２、３は、本願実施例に基づく動作推定のブロック図、 図４は、図３の装置に入れ換えることのできる、動作ベクトル計算の装置のブ ロック図、 図５は、図４で要求される固有解析を実現する装置のブロック図、 図６、７は、本願にかかる勾配動作推定装置の別実施例、 図８は、最適動作ベクトルの場合のエラーを図式的に表したもの、 図９、１０は、動作推定システムで動作ベクトルのエラーを示す装置のブロッ ク図である。 勾配動作推定の直接実行のブロック図を図２、３に示す。 図２の略図に示す装置は、勾配生成物とその総和のフィルタリングや計算を行 う。図３の装置は、図２の装置で生成された勾配生成物の和から動作ベクトルを 発生させる。図２の、水平および垂直のローパスフィルター（１０，１２）は上 記されたような空間的なプリフィルタリングを行う。１／３２の水平帯域および １／１６の垂直帯域の遮断周波数によって、動作速度が（少なくとも）フィール ド毎３２ピクセルにまで上昇される。異なる速度範囲が要求される場合は、異な る遮断周波数が使用される。画像勾配は３つの異なる微分フィルター（１６，１ ７，１８）によって計算される。 垂直または時間補間フィルター(20)は入力標準で測定された画像勾配を、出力 標準に変換する。通常、垂直または時間補間フィルター(20)は、双線形補間器あ るいはその他の多相線形補間器である。このように、出力動作ベクトルもまた出 力標準である。補間フィルター(20)は、新規の要素であって、動作推定器を動作 補償時間補間器にインターフェースするのを容易にするものである。時間ローパ スフィルタリングは通常、（３つの）補間フィルターの一部として行われる。時 間フィルター(14)は、処理経路において再度位置づけされ、３つ全部ではなく１ つのフィルターだけが要求されるようになっている。乗算器にはいる前のフィル ターが、どの順でも実現されるのは、それらが線形フィルターだからである。式 ３で説明された、勾配生成物の総和は、乗算器（２２）に続くロー パスフィルター（２４）によって実現される。通常、これらフィルター（２４） は（空間的な）移動平均フィルターでありうる。それは各タップに対して、支持 領域と同等の重みを与えるものである。他のローパスフィルターも、より複雑な ハードウエアに使用されうる。これらフィルター（２４）のサイズによって、最 適な動作ベクトルを計算するのに使用される近隣のベクトルのサイズが決定され る。使用されうるフィルター係数の例は実施例に示した。 式６の実行を可能にする装置のブロック図で、図３と入れ代わるものを、図４ 、５に示す。 図４の、各「固有解析」ブロック（３０）は、２つの固有ベクトルの内の一つ を解析する。固有解析の出力は次の式に等しい（ｘとｙ要素を持つ）ベクトルで ある。 これらｓベクトルは、式６に従ってベクトル（σ_xt ²，σ_yt ²）（図４ではｃ） と融合されて、マルチネス技術に則って動作ベクトルを出す。 固有解析は、図５に示すが、慎重に構成されたもので、２つ以下の入力で索引 テーブルを使用して実現できるようになっている。３以上の入力で行う索引テー ブルは今日の技術では非実用的に巨大化してしまうので、上記が行われているの である。図５の実行はまず、その要素を全て（σ_xx ²+σ_yy ²）で割り算して行列 Ｍを正規化することに基づいて行われる。これによって新しい行列Ｎが、同じ固 有ベクトル（ｅ₁&ｅ₂）と異なる（しかし関連のある）固有値（Ｘ₁&Ｘ₂）を伴う ことができる。Ｍ，Ｎと固有ベクトル、固有値との関係は式７で表れる。 行列ＮはＭより単純である。それは独立した値を２つしか含まないからであり 、それはまた主対角線要素(Ｎ_1.1，Ｎ_2.2)が合同され、小行列式の対角線要素( Ｎ_1.2，Ｎ_2.1)が同一であるからである。主対角線要素は（σ_xx ²−σ_yy ²)/(σ_xx ² ＋σ_yy ²）のコードで表されてもよい。式８。 このように検索テーブル１、２は、標準技術を使用してＮの固有値と固有ベク トルを見つけるのに必要な情報を全てもっている。従ってこれら検索テーブルの 内容の先行計算に直送される。検索テーブル３では単純な平方根が実現される。 図５に見られる装置の重要な要素は、固有解析が２つの入力検索テーブル（１， ２）を使用して、正規化された行列Ｎ上で行われること、また固有値解析（テー ブル２から）がテーブル３の出力を使用して修正値に再度計測されること、であ る。 上記の勾配動作推定器は好ましくないことに複雑である。動作推定器は制限さ れた情報を含む画像には強いが、図４、５はかなり複雑である。多くの信号が、 機能的なブロック図を実現するのをさらに難しくするような、非常に広い範囲を 有している、という事実によって、その事態はさらに悪くなっている。 本願の目的は、機能を犠牲にすることなく、相当の単純化を図ることのできる 、技術を提供することである。これは、基礎の制約式（式２）を正規化して信号 のダイナミックレンジを制御することに基づいている。ダイナミックレンジを減 少させると同時に、また別の単純化も可能にする。 制約式を勾配ベクトルで割り算すると、正規化された制約式９ができる。 この正規化の意味は、式９を式１０のように書き直すとより明らかになる。 ここでθは空間的画像勾配ベクトル（▽Ｉ）と水平との角度であり、ｖｎは画像 勾配ベクトルの向きの動作速度であり、つまりそのポイントで画像の先行優性エ ッジに対して垂直である。これは、画像勾配に対する動作ベクトルと画像勾配の 向きの動作速度に関する、より直観的な式である。式１０の係数（cos（θ）、s in（θ））はレンジ範囲（０から１）を定めており、そのレンジはほぼ入力信号 （通常８ビット）と同じダイナミックレンジである。同様に、ｖｎは、好ましい 動作ベクトル測定レンジによって決定される上限（可感）値を持っている。上限 測定範囲より大きい値ｖｎは、ノイズもしくは入力画像シーケンスのカットから その結果が出るのであるが、上限可感動作速度に合理的にクリップすることが可 能である。 正規化された制約式１０は、正規化されていない制約式２と同じ方法で解され 、動作ベクトルが見つかる。正規化すると式３は式１１になる。 実際、行列（φ）は独立した要素は２つのみである。これはcos²(x)＋sin²(x) ＝１であるからである。cos²(x)、sin²(x)を1/2(1±cos(2x))に書き換えると式 １１は式１２になって、より分かりやすくなる。 Ｉは（2×2）単位行列で、Ｎは総和に含まれるピクセルの数である。ここでも 動作ベクトルは式１３を使用して見つけることができる。 ここでｅとλは、Ｍではなくφの固有ベクトルおよび固有値である。φは独立し た要素を２つ持っているだけなので、固有解析は、２入力のある索引テーブルを ３つだけ使用して行うことができる。さらにはφの要素のダイナミックレ ンジ（式１１）はＭの要素よりずっと少ないので、ハードウエアの複雑性を大い に単純化することができる。 マルチネスの技術を用い、正規化された制約式に基づく勾配動作推定器のブロ ック図を、図６、７に示す。 図６の装置は、各ピクセルまたはデータ値に対し正規化された制約式（式１０ ）の計算を行う。明らかに、もしプリフィルタリングが行われると、独立ピクセ ル値の数は少なくなり、有効なピクセルサイズは大きくなる。図６のフィルタリ ングは、図２と同じである。出力標準に変換された空間画像勾配は、直交座標か ら極座標への変換器（３２）への入力として使用される。この変換器は空間画像 ベクトルと角度θの絶対値を計算する。適切な変換器はレイテオン（座標変成器 ，モデルＴＭＣ２３３０）から得られる。索引テーブル（３４）は、入力画像の 領域に細部が無い場合、非常に小さい数字で割り算をすることを避けるために、 使用される。索引テーブルで使用される定数項ｎは｜▽Ｉ｜を推定するときの測 定ノイズであって、ノイズ比率に対する入力信号や、使用されたプリフィルタリ ングによって変化する。リミッター（３６）もまた、垂直速度ｖｎを期待される レンジ（空間プリフィルターによって決定）にまで限定するために導入されてい る。さもないと垂直速度は、制約式が例えば画像カットなどで破壊されたとき、 期待されたレンジを越えてしまうかもしれない。図６の重要な要素は、行われた 正規化によって、２つの、ｖｎとθの、出力が図２の３つの画像勾配よりずっと 狭いダイナミックレンジを有し、それによってハードウエアの複雑性を軽減しよ うとすることである。 図６の装置において、まず入力ビデオが、別々の、空間、垂直および水平のフ ィルター(10,12,14)を使用してフィルタリングされ、画像勾配が３つの微分フィ ルター(16,18)を使用して計算されて３つの垂直/時間補間器(20)を使って入力ラ チスから出力サンプリングラチスに変換される。それら補間器は通常双線形また は多相線形のフィルターである。例えば、625/50/2:1の入力では、画像勾配は62 5/50/2:1のラチス上で計算されることもある。正規化された制約式のパラメータ ー，vnおよびθは、このようにして計算される。 図７の装置は、入力画像の領域に応じて、その領域のピクセルの制約式から、 最適な動作ベクトルを計算する。式１２で出る総和は、極座標から直交座標 への変換器(40)と索引テーブル1,2に続いて、ローパスフィルター(38)によって 実現される。通常、これらのフィルターは（空間的に）、移動平均値フィルター で、これらは支持する領域内の各タップに均等の重みを付与する。他のローパス フィルターもまた、さらに複雑なハードウエアで利用することができる。これら フィルター(38)のサイズで、最適な動作ベクトルを計算するのに使用される近隣 のベクトルのサイズが決定される。索引テーブル1,2は、単純なコサイン・サイ ンのテーブルである。索引テーブル3,4,5は式14で定義される行列Zの、予め計算 された値を含んでいる。 ここでeとλはφの固有ベクトルと固有値である。なおZはφ^-1でもよい（ノイズ がない場合）が、これはマルチネスの技術には採用できず劣った結果が出てしま う。図７の主要機能は、行列Zの要素が2つの入力索引テーブルを使用して出され る、ということである。その入力は、ダイナミックレンジが小さいために小さい 索引テーブルの使用が可能な、2つのローパスフィルター(39)からの出力である 。 上記した勾配動作技術の実現は、入力画像の領域の最適動作ベクトルを見っけ ることを目的とする。しかしながら、もしかなり正確であるならば、動作補償処 理には、この動作ベクトルを使用することのみが相応しいものである。決定され た動作ベクトルが最適であったとしても、それが正確なベクトルであるとは言え ない。動作が補償された時間補間において、不正確な動作ベクトルを使用すれば 、補間された画像に好ましくない損害が表れる。この損害を避けるために、動作 ベクトルが正確に測定されない時には、動作が補償されていない補間アルゴリズ ムに変換することが好ましい。このためには、推定された動作ベクトルの正確度 を知る必要がある。ベクトル正確度の測定が可能であれば、補間方法はベクトル の正確度に応じて「完全動作補償」と「非動作補償」とを入れ換えるて行うこと ができる。これは「グレースフルフォールバック」として知られる技術として参 考4,16に記されている。 動作ベクトルの正確度を決定する技術は、制約式の使用に基づくもので、特に は上記したような勾配に基づく動作推定技術と併せて使用するのが相応しい 。しかしその方法はこれより一般的であって、他の方法で、測定された動作ベク トルの正確度を推定するのにも利用される。動作ベクトルの正確度の測定は新技 術である。動作推定にかかる文献のほとんどは、たいてい全体的に最適動作ベク トルを決定する方法に集中しており動作ベクトルの結果が実際に正確かどうかに ついての考慮はされていない。このことは、なぜ動作補償処理が、ある種の入力 画像については、たいてい信頼できないのか、ということの説明にもなる。 動作ベクトルが、ある画像のある領域について推定されると、その領域内で各 ピクセルのエラーが計算される。このエラーで、動作ベクトルがいかに正確に、 制約式あるいは正規化された制約式（式２、１０）の条件を満たしているかがわ かる。以下の文中では、正規化された制約式がより客観的であると思われるため それ使用するが、正規化されていない制約式も若干の変更を加えて使用する（正 規化されていない制約式を使用するとより多くの画像勾配を伴う特性がピクセル に付与される）。解析領域内のｉ番目のピクセルについては、エラーは式１５で 表される。 （ここでｉは1≦i≦Nであり、Nは解析領域内のピクセルの数である。） このエラーは、そのピクセルの制約線（図1）からの最適な動作ベクトル(u₀,v₀ ）の距離に対応している。式１１はこれらエラーの二乗和を最小にする動作ベ クトルを現す。各エラー値はそのピクセルの画像勾配の方向に関連している。エ ラーは、エラーベクトルE_iとして図1および式１６においてよりわかりやすく、 表されている。 添字のtは転置の操作を示す。 エラーベクトルの集合｛E_i｝は、以下図8に示すように、動作ベクトル空間に おける、エラーの2次元分布を形成する。この動作ベクトル測定エラーの分布は 、2次元ガウス（または正規の）分布であることが望ましい。観念的には、この 分布は、正しい動作ベクトルの回りの楕円形の領域を占めている。こ の楕円形は、ほとんどの動作ベクトルの推定か位置するエリアを定義している。 最適動作ベクトルはその楕円の中心をさす。図8は最適動作ベクトル(u₀,v₀)と、 ４つの代表的エラーベクトルE₁〜E₄を示す。動作ベクトル測定エラーの分布は、 楕円の主・副軸(σ1,σ2)の方向と長さに特徴がある。この分布の特徴を計算す るために、まず(N×2)行列を式１７のように形成しなければならない。 このエラー分布の軸の長さと方向はE^t.Eの固有解析によって付与される。固有 ベクトルは分布軸に沿ってあり、固有値 ^N _total. ^σl^2&N _total. ^σ2²（^Ntotalは エラー推定に使用された領域のピクセルの総数）は長さ（図8参照）を式１８の ように付与する。 行列E^t.E（ここではエラー行列であって、略して記号Qで表す）は展開して式１ ９となる。 ここでは、総和は画像領域を越えている。 動作ベクトルエラーが出るかどうかは、動作ベクトルがどの様に測定されるか による。動作ベクトルが、例えばブロックマッチングを使用して計算されると、 エラーはおよそ上記解析で決定されたようになる。しかし、本願のエラー推定技 術が、勾配（制約式）に基づく動作推定を使用して計算された動作ベクトルに適 用されることは、大いに起こりうる。後者の場合、その動作ベクトルはそれ自体 が、多数の測定（制約式使用毎に１測定）の平均値として有効である。こうして 、勾配に基づく動作ベクトルは、上記「エラー行列」から推定されたエラーより 少ない。これは、正確度を上げるために多数の測定の平均値を取ることによる旧 知の効果の一例である。勾配動作推定により大きな画像領域 を使用すると、より正確な動作ベクトルが得られる（小さいオブジェクトは解決 できないことはいうまでもない）。この違いによって、ブロックマッチング動作 推定においてより大きな領域を対象とすることが、必ずしも速度正確度を増すも のではないが、「誤った」ベクトルを測定する機会は減少される。 動作ベクトルのエラーの可能性は、エラーベクトルの分布のサイズより少ない かも知れない。この減少は、動作ベクトルがどのように測定されるかによって変 化するパラメーターN_effectiveによって説明できる。ブロックマッチングではN_{e ffective} は約1である。勾配動作推定ではN_effectiveは測定で使用されるピクセ ルの数と同じくらいの数でありうる。しかし、N_effectiveが、動作推定前のビデ オのプレフィルタリングの影響で、ピクセルの数より少なくなることは、より起 こりうることである。プレフィルタリングによって、ピクセルの効果的な数（N _effective ）を減少させるピクセル（各ピクセルは独立していない）が、効果的 に増大する。通例、動作ベクトルを計算しそのエラーを推定するのに使われる、 画像領域は、使用されたプリフィルターのサイズ（水平、垂直とも）の3倍であ ることもある。これによってN_effectiveの値が3²となりうる。任意数N_effective では、上記で計算されたエラー分布のサイズはN_effectiveの平方根を差し引かな ければならない。これはN_effectiveの測定を平均化することによるエラーを減少 させるために生じる、旧知の結果である。このように、N_effectiveが9の、勾配 に基づく通例の動作推定には、測定された動作ベクトルに起こりうるエラーは、 上記で計算されたベクトルエラーの分布より3倍少ない。 一実施例において、平均化したフィルターは95ピクセルが47フィールドライン 毎なので、合計ピクセル数（図10のN_total）は4465個になる。エラー推定で使用 される、効果的なピクセル数(N_effective)は、プリフィルタリングが行われる場 合は、ピクセル総数より少ない。この例の勾配動作推定パラメーターの詳細にお いて、空間プレフィルターは1/16帯域の垂直イントラフィールドであり1/32帯域 の水平である。エラー推定領域は、水平及び垂直の空間プレフィルターの有効サ イズの3倍であり、選択された9のエラー推定領域で使用される効果的なピクセル 数を付与する。 動作ベクトル測定エラーの分布を計算するために、まず式１９によってエラ ー行列の要素を計算し、次にその固有ベクトルと固有値を計算する必要がある。 エラー行列の要素は図9の装置で計算してもよい。他の実現も可能であるが、図9 が直送式で有効である。図9への入力、θおよびvnは、図6のように表れることも ある。図9への動作ベクトル入力、(u,v)は図7のように表れることもあるが、図3 や4またはブロックマッチング動作推定のようなものからでも、同じように得ら れる。検索テーブル(1,2)は、図2、7と同様単純なコサイン・サインのテーブル であり、要求される総和は、移動平均値フィルターのような空間ローパスフィル ター(42)を使用して出される。 エラー行列が計算されると（図9など）、入力が、例えばΣ(error².cos²(θ)) ，Σ(error².cos(θ).sin(θ))，Σ(error².sin²(θ))など各自Q₁₁.Q₁₂.Q₂₂で表 されるエラー行列の要素であるところの、図10の実現を使用することによって、 固有値や固有ベクトルが見つけられる。図5にみられるように、2つの固有値があ るので、図10の実現は両方の固有ベクトルを発生するために繰り返されなければ ならない。先に述べたように、図5のように、図10の実現は慎重に構成されてい るので、索引テーブルの入力は2つ以下でよい。図10において、索引テーブル１ の出力は固有ベクトルに対して直角の方向、つまり（2次元）エラー分布の主軸 のうちの一つの方向である。索引テーブル2の出力は、索引テーブル3の出力によ って再測定されると、対応する固有値に反比例する。動作ベクトルエラー情報の 適用の状況によっては、（逆数以外の）固有値の別の機能を使用してもよい。 図10の分散ベクトル(例:(sx_i.sy_i)i=1,2)は、2次元における各動作ベクトルの 動作ベクトル測定エラーを表している。ビデオ動作ベクトルは（2次元の）ベク トル量なので、測定エラーを表現するのに2つのベクトルが要求される。これを 実現するにあたり、分散ベクトルはベクトル測定エラーの分布の主軸に沿ってお り、その絶対値はそれら主軸に沿った測定エラーの標準偏差の逆数である。例え ば測定エラーが2次元の正規分布であると仮定すると、動作ベクトルの確率分布 ｖは式２０で表される。ここでv_mは測定された動作ベクトルであり、S₁,S₂は２つの分散ベクトルで ある。もちろん、動作ベクトル測定エラーが正規分布をもたずに分散ベクトルを 有していても、エラー分布の測定にはなお有用である。絶対値がエラー行列固有 値の異なる機能であるところの分散ベクトルを定義する方が、便利な場合もある 。 または、単純化された図10の出力は分散ベクトルではなくスカラでの信頼信号 である。この方が便利な場合もある。そのような信号は図10の索引テーブル3,4 の出力発生であるr_errorから引き出される場合もある。これは動作ベクトル測定 エラーのスカラ表示を提供する。 この信頼信号は、参考4に示されているような、動作が補償された画像補間に おけるグレースフルフォールバックを実現するのに使用されることがある。ｒ_{er ror} 信号は、動作ベクトルエラーの、スカラーであり、平均測定である。エラー 分布は等方性であるので、当てはまらない場合もあるかも知れないが、単純な信 頼測定を発生させることができる、と仮定できる。スカラベクトルエラー，ｒ_{er ror} は、ビデオ信号の客観的機能であり、引き出された信頼信号はその説明であ る。 信頼信号は、正しいと見なされる小さい範囲のベクトルがあると仮定する場合 に発生することもある。このように予め定義されている正しいベクトル範囲は、 それぞれの適用の仕方によって異なる。例えば、真の動作ベクトルの10%内の場 合であれば、動作ベクトルを正しいとみなすことがある。正しいベクトル範囲の 外側では、動作ベクトルにおける信頼が減少する。正しい動作ベクトル範囲は、 ｒ_confidentで説明される信頼領域であり、通例、式21で定義されている。 kは小さい少数(通例10%)、ｒ₀は小さい定数(通例フィールド毎1ピクセル),｜v｜ は測定された動作速度である。パラメータk,r₀は、最良の結果を得るための検算 途中において調整される。このように、信頼の領域は、小さい定数の時、低速で 入力された測定動作速度に比例している。その後、実際の速度が測定速度の信頼 半径ｒ_confident内であるという確率に基づき、信頼値が各出力動作ベクトル毎 に計算される。これは、正規の確率分布を仮定して決定される こともある。 下記はベクトル信頼度を表現するものである（式22）。 ベクトルエラーを推定する装置の実施例を、図6,9,10に示す。図9の装置は図 ６の装置からの出力を用いてエラー行列を計算する。それら動作ｖクトル推定に 前もって発生させられる。図内の、このエラー行列の入力E^t.EはQで表して単純 化した。図10の索引テーブル1,2の中身は次の式で定義される。 「角度(x,y)」関数は、x軸と、点(x,y)との間の角度を与え、正の表示が、固有 解析ユニットを意味し、負の表示がその他のユニットを意味する。 図10の索引テーブル3の入力(Q₁₁+Q₂₂)は次元のあるパラメータ(z)であって動 作ベクトルエラーの分布の基準を示す。索引テーブル3の中身は、√(z/N_total.N_effective )で定義される。索引テーブル3の出力は、上記定義された索引テーブ ル2の出力を基準化するのに使用できる計数率である。極座標から直交座標への 変換器への入力は、従って、エラー分布の各主軸長の逆数に関係している。異な る索引テーブルを使用すると、デカルト座標において直接分散ベクトルを計算す ることができると思われる。 図10に関連して説明されている装置は、分散ベクトルとスカラでの信頼信号と の両方を発生させることができる。本願は、そのような単独のパラメータ、つま り分散ベクトルかスカラでの信頼信号のいづれか、を発生させる方法と装置とを 達成している。図10の装置における固有解析は、エラー分布の各主軸に両方の分 散ベクトルを出すためには2回行わなければならない。ｒ_errorと、引き出した信 頼信号をを発生させるためには、図10の実現が一度だけ要求される。索引テーブ ル4への入力は索引テーブル1に対するものと同じ(x,y)であ る。索引テーブル4の中身は、⁴√(1/4(1-x²)-y²)で定義される。索引テーブル3 の出力で基準化された索引テーブル4の出力によって、ｒ_errorに、スカラ（等方 性）ベクトルエラーを付与する。このスカラ（等方性）ベクトルエラーは、そこ から信頼信号が索引テーブル5において発生させられるものであり、その中身は 例えば式２２で定義されている。ｒ_errorは、エラー分布の主副軸の長さの幾何 学的手段でありつまり、ｒ_error=√(σ₁．σ₂)である。 図7と9において、画像サイズ調整は、領域平均化フィルタ(38,39,42)に続いて （フィールド内）空間補間(44)を使用して行われる。画像サイズ調整は追加的な 行為であり、例えばオーバースキャンやアスペクト比変換に要求される。図６の 装置は、出力標準に対し出力を発生するが、これは画像サイズ調整がないものと 仮定している。入力から出力標準への変換は（双線形）垂直/空間補間器(20)を 使用して達成できる。表面上は、これら補間器(20)は、サイズ調整に要求される 画像伸縮も行えるように見える。しかし、これが行われると、図7と9の領域平均 化フィルター(38,42)は、サイズ調整因数を用いてサイズを変更しなければなら ないことになる。これはダイナミックレンジの領域平均化フィルター(38,42)を 必要とする、大きく画像を拡張するには非常に不便である。画像サイズ調整は、 従って、単純な空間（フィールド内）補間(44)、例えば双線形補間などを使用す る領域平均化フィルター(38,42)のあとに行われる。実際、図6における垂直/空 間フィルターの機能は、主として、出力フィールド率に補間することである。線 率も変えることの唯一の理由は、定数データ率を維持することである。 実験結果 実験は、基礎の動作推定アルゴリズムをシミュレートするために行われるのであ って(図2,3)、正規化された制約式(図6,7)と、正規化された制約式を伴うマルチ ネス技術と、ベクトル測定エラーの推定(図9,5)を利用して行われた。 シミュレーションは、合成パニングシーケンスを使用して行われた。これは利 便性のためと、正確に知られた動作を発生させることができるという理由から行 われた。16のフィールド長のインターレースされたシーケンンスが、異なる動作 速度のために画像から発生させられる。このシミュレーションから、基 礎の勾配動作推定アルゴリズムがフィールドあたり約±1/4のピクセルの（標準 派生）測定エラーを伴う正確な動作ベクトルを付与する。画像のエッジの測定速 度は通常ゼロに向かう傾向にある。これは使用したフィルターが完全に画像内に 納まっていないからである。時として、非現実的に高い速度が、画像のエッジで 発生することがある。正規化された制約式を使用すると、正規化されていない式 と同じ結果が生まれる。マルチネス技術を用いると、想定されるノイズのレベル によって様々な結果が生まれる。この技術によれば物が悪くなることはなく、測 定速度をゼロに偏らせることによって悪いケース（および平均値）を大いに減少 させることができる。動作ベクトルエラーの推定は真の（測定）エラーと一致す る。 例: この例によって、動作が補償された標準変換において使用される勾配動作推定器 を簡潔に説明することができる。この勾配動作推定器への入力は625/50/2:1また は525/60/2:1のフォーマットのインターレースビデオである。動作推定器は2つ の入力標準のいづれかに動作ベクトルを生成し、また出力動作ベクトルと同じ標 準でのベクトル精度の表示を行う。動作ベクトル範囲は、フィールドあたり最低 ±32ピクセルであるベクトル精度は分散ベクトルおよび信頼信号両方としての出 力される。 勾配動作推定器は、上記図6,7のブロック図式で示されている。分散ベクトル および信頼信号で表される測定エラーの決定は図9,10にみられる。これらブロッ ク図の機能ブロックの特徴は次の通りである: 入力ビデオ: 4:2:2ラスタスキャンされたインターレースビデオ 輝度要素のみ 活動フィールド 720×288または244フィールドラインであって、入力標準 によって異なる 輝度コーディング 10ビット，0から(2¹⁰−１)の範囲を示す、符号なしバイ ナリー 時間的ハーフバンドローパスフィルター(14): 機能:輝度に作用する時間的フィルター。入力がインターレースされている ために垂直/時間的フィルターとして実現される。計数は次の行列で定義される 。列はフィールドを表し、行は（フィールドでなく）ピクチャーラインを表す。 入力:10ビット符号なしバイナリー。0から1023（10進数）の範囲を表す。 出力:12ビット符号なしバイナリー。2分数ビットを伴う0から1023.75（10進 数）の範囲を表す。 垂直ローパスフィルター(12): 機能:垂直内フィールド,1/16帯域、ローパス、前置フィルターおよびアンチ エイリアスフィルター。カスケード接続された3つの垂直移動和フィルターが16, 12,5のフィールドラインの長さである。このラニング和のカスケードの出力は10 24で割り算して15/16の総合でのD.C.ゲインが付与される。フィルターの総合長 は31フィールドラインである。 入力:時間的ハーフバンドローパスフィルター出力として。 出力:時間的ハーフバンドローパスフィルター出力として。 水平ローパスフィルター(10): 機能:水平,1/32帯域、ローパス、前置フィルター。カスケード接続された3 つの水平移動和フィルターが32,21,12のピクセルの長さである。このカスケード の出力は8192で割り算して63/64の総合でのD.C.ゲインが付与される。 フィルターの総合長は63ピクセル。 入力:垂直ローパスフィルター出力として。 出力:垂直ローパスフィルター出力として。 時間的微分回路(16): 機能:前置フィルターした輝度信号の時間的微分。インターレース出力のた めの垂直/時間的フィルターとして実行される。 入力:水平ローパスフィルター出力として。 出力:12ビットの2の補数バイナリー。-2⁹から(+2⁹-2^-2)の範囲を表す。 水平微分回路(17): 機能:前置フィルターした輝度信号の水平微分。連続ピクセル上に係数1/2(1 ,0,-1)を伴う3タップ水平フィルター。 入力:水平ローパスフィルター出力として。 出力:8ビット2の補数バイナリー。-2⁴から(+2⁴−２^-3)の範囲を表す。 垂直微分回路(18): 機能:前置フィルターした輝度信号の垂直微分。連続フィールドライン上に 係数1/2(1,0,-1)を伴う3タップの、フィールド内垂直フィルター。 入力:水平ローパスフィルター出力として。 出力:8ビット2の補数バイナリー。-2⁴から(+2⁴-2^-3）の範囲を表す。 補償ディレイ(19): 機能:１入力フィールドのディレイ。 入力、出力:水平ローパスフィルター出力として。 垂直/時間的補間(20): 機能:入力スキャニング標準と出力スキャニング標準との間の変換。フィー ルド内のカスケード接続、それは、2フィールドライン線形補間および2フィール ド線形補間、例えば垂直/時間的双線形補間である。補間の精度は最も近い1/32 番目のフィールドラインと、最も近い1/16番目のフィールドピリオドまで。 入力:図6と上記説明として。 出力:入力の説明として。 θ:画像明度の空間勾配ベクトルの方向。12ビットの単極バイナリーで０から2π の範囲、例えば量子化ステップが2π/2¹²のスパニング。これは-πから+πの範 囲のスパニングの2補数バイナリーとして。 ｜▽Ｉ｜：画像明度の空間勾配ベクトルの絶対値。12ビットの単極バイナリーで 0から16（ピクセル毎のグレイレベル入力）の範囲の、8分数ビットをともなうス パニング。 n: ｜▽Ｉ｜のノイズレベルであって、ピクセル毎の1から16のグレイレベル入 力に調整可能。 vn:画像明度の方向のピクセルの動作ベクトル。12ビットで、2の補数バイナリー が、フィールドごと-2⁶から(+2⁶-2^-5）の範囲にクリップされている。 極座標から直角座標への変換器(40): 入力:上記vn および θと同じ。 出力:12ビットで、2の補数バィナリー。-2⁶から(+2⁶-2^-5）の範囲を表す。 索引テーブル1および2(図7,9): 機能:それぞれコサイン、サインの索引テーブル。 入力:上記θと同様。 出力:12ビットで、2の補数バイナリー。-1から(+1-2^-11）の範囲を表す。 領域平均化フィルター(38,39,42): 機能:画像領域全体の信号の平均化。47フィールドライン毎で95ピクセル、 フィールド内の移動平均値フィルター。 入力、出力:12ビットの、2の補数バイナリー。 空間的補間器(44): 機能:空間スキャニングを変換して画像矯正を可能にする。空間的、フィー ルド内双線形補間器。補間の精度は最も近い1/32番目のフィールドラインと、最 も近い1/16番目のフィールドピクセルまで。 入力:12ビットで、2の補数バイナリー。 出力:12ビットまたは8/9ビットで、2の補数バイナリー。 上方補間器は乗算器に12ビットを供給する。 下方補間器は索引テーブルに8/9ビットを供給する（実用的なサイズのテー ブルとするため）。 索引テーブル3から5(図7): 機能:上記式１４で定義されている行列Zを計算する。 パラメータn₁,n₂はテストで調整(約2-5)。 入力:8/9ビットで、2の補数バイナリー。-1から(約)+1の範囲を表す。 出力:12ビットで、2の補数バイナリー。16から(+16-2-5)の範囲を表す。 乗算器および累算器: 入力、出力:12ビットで、2の補数バイナリー。 動作ベクトル出力: 図７の出力。 動作ベクトルは入力フィールドピリオド毎に、入力ピクチャーライン（フィ ールドラインではない）または水平ピクセルにおいて測定される。 動作速度はフールド毎±48ピクセルを越えることは稀であるが余分なビット が上方空間に設けられる。 ラスタースキャンされたインターレースフィールド。 活動フィールドは出力標準による:720ピクセル×288または244のフィールド ライン。 12ビット信号、2の補数コーディング、8つの整数、4つの分数ビット。これ らは-128から(+128-2⁴)の範囲を表す。 分散ベクトルS₁，S₂(図10の出力): 分散ベクトルは、入力画像シーケンスのエッジに対して平行および垂直な出 力動作ベクトルの測定分散を表す。 分散ベクトルは、絶対値σ^-1であり（σは標準派生を表す）、測定エラーの 予期せぬ分布の主軸の方向を向いている。各分散ベクトルは、それぞれが、-1か ら（+1-2^-7）の範囲で表される補数分数バイナリーを使用してコード化さ れている、２つの要素を持っている。 信頼出力: 図10の出力。上記説明した信頼信号の分布。 信頼信号は、「出力動作ベクトル」の信頼性の表示である。信頼1は高い信 頼を表し、0は信頼が無いことを表す。 信頼信号は0から(1-2^-8）の範囲で表される8の分数ビットを伴う8ビット線 形コーディングを使用している。 参考 1. Aggarwal，J.K．&Nandhakumar，N．1988。画像シーケンスからの動作計算に ついての評論。Proc．IEEE，vol.76，pp.917-935，1988年8月。 2. Bierling，M.，Thoma，Ｒ．1986。階層制御変位推定器を使用した動作補償 フィールド補間。信号生成，volume 11，No．4,1986年12月，pp.387-404。 Elsevier Science publisherso 3. Borer，T.J.，1992。テレビ標準方式変換。ph.D．Thesis，シェリー大学電 子電気工学部、イギリスGU25XH，シェリー，ギルフォード。1992年10月。 4. Borer，T.J.，1995。動画像補間のための追加的動作経路。イギリス特許出 願No．9519311.6，21.09.95出願。 5. Cafforio，C.，Rocca，F．1983．画像動作推定の微分方法。画像シーケンス 処理および動シーン分析(ed.T.S．Huang)。Springer-Verlag，pp 103-124，1983 . 6. Cafforo，C.，Roca，F.，Tubaro，S.，1990.動作が補償された画像補間。 IEEE Trans．on Comm．Vol.38，No．2，2月1990，pp215-222． 7. Dubois，E.，Konrad，J.，1990。動作推定および動作補償のための技術の評 論。前進テレビシステムの第４回国際コロキウム，カナダオタワ,1990年6月。CB C Engineering企画，モントリオール，ケベック，カナダ。 8.Fennema，C.L.，Thompson，W.B.，1979．複数の動物体を含むシーンにおける 速度決定。ComputerVision，Graphics and Image Processing，Vol.9，p:301-31 5，1979. 9.Huange，T.S.，Tsai，R.Y.，1981。画像シーケンス分析:動作推定。画像シー ケンス分析，T.S．Huange(編集者)，ドイツ国ベルリン，スピンケフェルラーク ，1981，pp．1-18。 10．Konrad，J.，1990．ATVシステムの動作補償における精度および複雑性の発 行。‘Les Assises Des JeunesChercheurs’書き下ろし。CBCモントリオール， ケベック,6月1990． 11．Lim，J.S.，1990．2次元信号および画像処理。PrenticeHall 1990． ISBNO-13-934563-9，pp497-511. 12．Martinez，D.M．1987。モデルベース動作推定と動作ピクチャーの保持と補 間へのそれの適用。RLE技術レポートNo．530，1987年6月。Research Laboratory of Electronics，USA02139マサチューセッツ州ケンブリッジ，マサ チューセッツ技術協会。 13．Netravali，A.N.，Robbins，J.D．1979。動作補償テレビコーディング。パ ート1，Bell Syst.Tech.J.，vol．58，pp 631-670，1979年3月。 14．Paquin，R.，Dubois，E.，1983．時間変更型影像における移行ベクトルフィ ールドの補償のための時空勾配方法。ComputerVision，Graphics and Image Pro cessing，Vol.21，1983，pp205-221． 15．Robert，P.，Cafforio,C.，Rocca，F.，1975．微分動作補償のための時間/ 空間帰納。Apie Symp.，カンヌ，フランス,11月1985。 16．Thomson，R．1995。テレビの動作推定および動作測定における問題。テレビ における動作再生のI.E.E．コロキウム。I.E.E.ダイジェスト NO.1995/093,1995年5月3日。 17．Vega-riveros，J.F.，Jabbour，K．1986。動作分析技術の評論。Vol．136， PtI.，No．6，1989年12月。 18．Wu，S.F.，Kittler，J.，1990． 回転、基準化の変更、解釈の、同時推定 の方法。Image Communication，Vo．2，No.1，5月1990，pp69-80.

Claims (1)

1. 【特許請求の範囲】 １．ビデオ信号処理に使用される動作ベクトル推定装置であって、画像シーケン スの各入力サンプリングサイト毎に画像勾配を計算する手段で、この画像勾配が 入力信号と同じ標準で計算されるものと、その画像勾配を最初の標準から次の標 準へ、つまり出力標準へ変換する手段で、この画像勾配から複数の動作ベクトル を生成するものと、を含み、この装置は、動作ベクトルを計算するに先立って画 像勾配を入力標準から出力標準へ変換するように構成されており、これによって 望ましい出力標準で動作ベクトルを生成するもの。 ２．請求の範囲１で請求している動作ベクトル推定装置が、入力信号をプレフィ ルタリングするための時間的および空間的ローパスフィルターとを含むもの。 ３．請求の範囲１または２で請求している動作ベクトル推定装置において、画像 勾配を計算する手段は、時間的および空間的微分器を含むもの。 ４．請求の範囲１または２または３で請求している動作ベクトル推定装置におい て、画像勾配を入力標準から出力標準へ変換する手段は、垂直または空間の補間 器を含むもの。 ５．上記いづれかの請求の範囲で請求している動作ベクトル推定装置において、 複数の出力サンプリングサイトに対応する画像勾配が、動作ベクトルを計算する のに使用されるもの。 ６．上記いづれかの請求の範囲で請求している動作ベクトル推定装置において、 動作ベクトルは、近接する出力サンプリングサイトのグループ毎に、最小二乗法 を利用して計算されるもの。 ７．上記いづれかの請求の範囲で請求している動作ベクトル推定装置において、 この装置は、先に計算されて出力標準に変換されていた画像勾配を入力とする乗 算器と、画像勾配生成の総和を出すための、対応ローパスフィルターを含むもの 。 ８．請求の範囲７で請求している動作ベクトル推定装置において、動作ベクトル を計算する手段は、近接する出力サンプリングサイトのグループに対応する画像 勾配生成の総和を利用して、そのサンプリングサイトのグループに最適な動作ベ クトルを生成するもの。 ９．請求の範囲８で請求している動作ベクトル推定装置において、動作ベクトル を計算する手段が、次の式４または式６を適用することによって画像勾配生成の 総和から最適動作ベクトルを決定するもの： １０．請求の範囲８で請求している動作ベクトル推定装置において、この装置は 、出力標準に変換された空間の画像勾配を入力とする直交座標から極座標への変 換手段を含み、動作ベクトルは、各サンプリングサイトの画像勾配の角度と大き さに基づいて出力サンプリングサイトのグループ毎に決定されるもの。 １１．請求の範囲１０で請求している動作ベクトル推定装置において、動作ベク トルは次の式１１または１３に基づいて計算されるもの： １２．ビデオまたはフィルム信号処理における動作推定の方法であって、画像シ ーケンス内でピクチャーエリアまたはサンプリングサイトのそれぞれに画像勾配 を計算する工程においてこの画像勾配が第一の入力標準で計算する工程と、この 画像勾配から複数の動作ベクトルを生成する工程において動作ベクトルを生成す るに先立って画像勾配が第２の出力標準へ変換される工程と、それによって望ま しい出力標準で動作ベクトルを生成する工程と、を含むもの。 １３．請求の範囲１２で請求しているビデオまたはフィルム信号処理における動 作推定の方法において、入力信号がプレフィルターされるもの。 １４．請求の範囲１２または１３で請求しているビデオまたはフィルム信号処理 における動作推定の方法において、複数の出力サンプリングサイトに対応する画 像勾配は、動作ベクトルを計算するのに使用されるもの。 １５．請求の範囲１２または１３または１４で請求しているビデオまたはフィル ム信号処理における動作推定の方法において、動作ベクトルは、近接する出力サ ンプリングサイトのグループ毎に、最小二乗法を利用して計算されるもの。 １６．請求の範囲１２から１５の内のいづれかで請求しているビデオまたはフィ ルム信号処理における動作推定の方法において、動作ベクトルを生成する工程が 、近接する出力サンプリングサイトのグループに対応する画像勾配生成の総和を 利用してその各サンプリングサイトのグループに最適な動作ベクトルを生成する 工程を含むもの。 １７．請求の範囲１６で請求しているビデオまたはフィルム信号処理における動 作推定の方法において、動作ベクトルは、近接する出力サンプリングサイトのグ ループに対応する画像勾配生成の総和に対し、次の式４または式６を適用して計 算されるもの： １８．請求の範囲１２から１７の内のいづれかで請求しているビデオまたはフィ ルム信号処理における動作推定の方法において、動作ベクトルを生成する工程は 、出力標準に変換された空間画像勾配を使用して画像勾配生成の総和に基づいて 固有解析を行う工程と、２つの固有ベクトルと固有値を各出力サンプリングサイ トに割り当てる工程と、を含むもの。 １９．請求の範囲１８で請求しているビデオまたはフィルム信号処理における動 作推定の方法において、出力サンプリングサイトの各グループの動作ベクトルは 、固有解析の結果に、次の式６を適用することによって計算されるもの：２０．請求の範囲１２から１７の内のいづれかで請求しているビデオまたはフィ ルム信号処理における動作推定の方法において、動作ベクトルを生成する工程は 、出力標準の空間画像勾配を、直交座標から極座標への変換する工程を含み、動 作ベクトルは、各サンプリングサイトの画像勾配の角度と大きさに基づいて出力 サンプリングサイトのグループ毎に決定されるもの。 ２１．請求の範囲２０で請求しているビデオまたはフィルム信号処理における動 作推定の方法において、動作ベクトルは次の式１１または１３に基づいて計算さ れるもの：