JPH04500420A - 参照画像と現在画像との間の運動を推定するための反復法および、この方法を実施するための装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 参照画像と現在画像との間の運動を推定するための反復法および、この方法を実 施するための装置本発明は、運動を推定するための反復法および、この方法を実 施するための装置に関する。画像処理の分野では、運動を推定し、ある画像を別 の画像に対して調整するという問題が、差分解析、動体追跡など他の処理操作の 前提としても頻繁に生じる。適用業務によっては、作用される調整形式は多かれ 少なかれ複雑になる得る。その運動は、単純並進、並進と回転の組合せ、または 、並進、回転、拡大および視野効果の組合せが可能である。

調整の方法は、本質的に、別の画像に対する１画像の運動を推定し、調整される 画像を代表する数値および運動の推定にもとづいて、調整された画像を代表する 数値を計算することである。

単純並進の場合、空間領域または度数領域における相関関係の公知の方法によっ て推定できる。並進と回転の組合せの場合、公知の方法は、画像の輝度の数値の テーラ−級数分解にもとづくアフィン変換モデルを解くことである。並進、回転 、拡大および視野効果の組合せの場合、公知の方法は、輝度の偏導関数にもとづ くモデルを解くことである。

モデルの解法は、モデルを選択し、それを方程式の集合によって表し、これらの 方程式のパラメータの値を決定することである。こうした方法は、例えば、以下 の参考文献に述べられている。“ＥｓｔｉｍａｔｉｎｇＴｈｒｅｅ　Ｄｉｍｅｎ ｓｉｏｎａｌ　Ｍｏｔｉｏｎｏｆ　ａ　Ｒｉｇｉｄ　Ｐｌａｎａｒ　Ｐａｔｃｈ ”。

Ｒ，Ｙ、ＴＳＡＩ、Ｔ、Ｓ、ＨＵＡＮＧ　ＩＥＥＥＴｒａｎｓ、　ｏｎ　ＡＳＳ Ｐ、　ｖｏｌ、２９゜Ｎｏ、６．　Ｄｅｃ、１９８１゜ この公知の方法は、画像が低コントラストまたは低信号／雑音比を有している場 合や、大振幅運動の場合には、不十分な微分法である。

”Ｉｍａｇｅ　ＵｎｄｅｒｓｔａｎｄｉｎｇＷｏｒｋｓｈｏｐ、Ｗａｓｈｔｎｇ ｔｏｎ。

Ｊｕｎｅ　１９８３″″のＦｒａｎｃｋ　Ｇｌａｚｅｒによる“５ｃｅｎｅ　Ｍ ａｔｃｈｉｎｇ　ｂｙＨｉｅｒａｒｃｈｉｃａｌ　Ｃｏｒｒｅｌａｔｉｏｎ”と 題する論文では、以下の点からなる運動の推定方法を述べている。一連の反復に おいて分解能が増大しながら現在画像と参照画像をサンプリングし、その後、現 在画像の１標本を中心とする一つの窓と参照画像の試験される複数の窓との間の 局所相関関係を表す関数を計算することによって、参照画像および現在画像の標 本を相関づける。この相関づけは、局所変位ベクトルの計算を可能にする。これ らのベクトルは、その成分の値を倍ｊごすることによって、増大する分解能の順 に、分解能の１水準から次の水準へと伝達される。この伝達は、標本の相関づけ の初期化を可能にする。

Ｈｒ　ＩＪｅＪづ去月よ標本に等しい探索−にょゲ（尖行き（′しる。

この探索量が初期化誤差の補正を許さない場合、この相関づけは、不安定性およ び、運動の局所推定の発散につながる。誤った相関関係につながる標本を削除す るために、−１−紀の論文は、その相関づけに関してとりわけ興味深い、インタ レストオペレータと呼ばれる判定基準によって少数の標本を選択することを提案 しており、これは特に、角形状の等高線が通る標本を検出するためのアルゴリズ ムとすることができる。このインタレストオペレータは、分ｊｌ’ｔｊ能の各水 準または実際は最高水準の分解能たけに適用できる。

この公知の方法は、画像が低コントラストまたは低信号／雑音比を有している場 合にはイく十分である。

本発明の目的は、運動が並進、回転、拡大および視野効果から成る場合や、大振 幅を有している場合に、画像調整をｉｉｌ能するために、運動を推定するための 方法を提起するこ々であ−）て、その方法は、低フントラスト画像および低信号 ／雑音比を有する場合に公知の方法よりも優れている。

本発明の主題である方法は、本質的に、同一の現在画像および同一の参照画像に ついて、数回の反復を実行し、第１の反復における運動の見かけの大きさを低減 するために、実行された反復の順位につれて増大する分解能を伴うサンプリング を考慮し、さらに、先行する反復において実行された運動の推定によって６反復 を初期化することによって、運動のモデルを解法することである。分解能の１水 準で実行された運動の推定は、そのモデルによって、上位水準の分解能に伝達さ れる。画像の最後の反復において得られた運動の推定はまた、次の画像の運動の モデルの解法の第１の反復を初期化するためにこの推定を用いることにより、次 の画像に伝達することもできる。

本発明に従えば、参照画像と称する画像と、現在画像と称する画像との間の運動 を推定するための反復法は、固定数の反復を実行し、各反復が、以下の段階から 成る点を特徴とする。

−分解能が各反復で増大しながら、数値によって表現される各画像標本である、 ２の画像をサンプリングする。

−参照画像の特性標本を検出する。

−進行中の反復に先行する反復において実行された、入城運動の推定から推論さ れた運動のベクトルにより、その推定を初期化することによって参照画像の各特 性標本の局所運動のベクトルを推定する。

−考慮中の反復において推定される局所運動のベクトルから、モデルのパラメー タ値を計算することによって、現在画像の入城運動の推定を行う。

この方法は、低コントラストおよび低信号／雑音比を持つ画像にとって効率的で ある。その理由は、運動の推定が画像の特性標本に関してのみ実行されるからで あり、運動データが、現在画像の運動の入城推定によって、その現在画像の全標 本に有効なモデルにより大域化されるからであり、さらに、増大する分解能によ って運動のモデルを解法するための反復が入城運動データを低分解能から高分解 能へ伝えさせるからである。

この方法は、大振幅運動がある場合にも効率的である。

なぜなら、こうした運動は第１の反復において数値的に小さい振幅を有している からであり、そのことが単純で効率的な推定方法の使用を可能にするからである 。

好ましい実施例に従えば、運動の入城推定は、８パラメータの値によって定義さ れる運動のモデルを解法することにある。

本発明の主題はまた、この方法を実施するための装置にも関する。

本発明およびその他の特徴は、以下に述べる説明および添付図面によってさらに 十分に理解され、明白になろう。

第１図は運動の推定の各反復で増大する分解能による画像のサンプリングの説明 図、 第２図は本発明に従った方法の実施例の流れ図、第３図はこの実施例の第１の一 部の詳細流れ図、第４図および第５図はこの実施例の１段階の説明図、第６図は この実施例の別の段階の説明図、第７図は本発明に従った方法を実施するための 装置の実施例の全体図である。

第１図は、１から３までの番号を付けた３の増大する分解能の水準を有する画像 に関する、１から３までの番号を付けた３連続反復から成る実施例を示す。反復 番号３の場合、参照画像および現在画像はＫｘＬの標本数で標本化される。反復 番号２の場合、参照画像および現在画像はに／２ＸＬ／２の標本数で標本化され る。反復番号１の場合、参照画像および現在画像はに／２２　ｘＬ／２２の標本 数で標本化される。参照画像と現在画像との間の、標本の運動のベクトルの成分 の数値は、標本数が二次元のそれぞれで２で割られるので、分解能の各変化にお いて２で割られる。

反復数は、分解能の水準数に等しく、最低分解能を持つ標本化された画像におい て、運動のすべてのベクトルが標本の次元以下の振幅を持つように固定されてい る。

そして、低偏差を持つ局所変位を推定するだめの公知の方法を使用することがで きる。このことは、そうした方法が比較的信頼でき、単純に実施できるために有 利である。向上した分解能で実施された以降の反復は、先行する反復（すなわち 低分解能での）において得られた運動の入城推定にもとづいて初期化される。従 って、局所変位ベクトルの推定を精緻にするために反復のそれぞれについ−（、 解かでの敢人姐を取つｒこ場臼に高値を自゛する振幅をベクトルが持っていたと しても、低偏差により局所運動を推定するための同一の公知の方法を使用するこ とができる。

実際上、画像は、テレビカメラなどの画像収集装置によって分析され標本化され る。数水準の分解能を得るために、１実施例は、すでに画像収集装置によって標 本化された画像を、ｋ番目の反復について比２ＮＩ−ｋ（ｋは１からＮｌまで変 化し、Ｎｌは反復数である）でサブサンプリングする。比２での各サブサンプリ ングの前に、標本を代表する値は、スペクトルアリアジングという周知の現象を 避けるためにローパスフィルタによってろ波される。このろ波は、運動の推定へ の雑音の作用を低減するというｆり点がある。

本発明に従った方法の第２段階は、各分解能水準について参照画像の特性標本を 検出する。この動作は、参照画像のＮｌの水準について並行して実行できる。

第２図は、本発明に従った方法の実施例の流れ図である。この例において　Ｎ　 Ｉの異なる水準の分解能に従った現在画像および参照画像のサンプリングは、並 行して実行され、それは各分解能水準の特性標本の検出である。

この実施例は、次に、ゼロ運動を初期化とみなすことによって入城運動の推定の 第１の反復を実行する。次に、第１の反復において実行された入城運動の第１の 推定を初期化とみなすことによって大域連動の推定の第２の反復を実行する。そ の後、最後の反復、つまりＮＩ番目の反復が入城運動の（Ｎｌ−１）番目の推定 によって初期化されるまで、残りの反復を連続的に実行する。この最後の反復は 、例えば、参照画像に対する現在画像の調整のために使用できる推定を与える。

第３図は、ｎ番目（ｎは、１より大きく、Ｎｌ以下である）の反復において実行 される動作の流れ図である。

この反復は、初めに、（ｎ−１）番目の反復において決定された、入城運動の（ ｎ　−１）番目の推定にもとづき、先行画像の各特性標本について、初期化ベク トルＤｉと称するベクトルを計算する。次に、先行画像の各特性標本の局所変位 ベクトルを、この標本を現在画像の標本と相関づけることによって推定する。こ の相関づけについては後述する。その後、現在画像の入城運動の推定を構成する ８パラメータの値を得るために、入城運動のモデルを構成する方程式の系を解く 。この推定は、後に（ｎ＋１）番目の反復を初期化するために使用される。

画像における特性標本の検出は、詳しくいえば、１以上の等高線が通る標本をめ ることである。さらに、この画像を等面積を有する固定数（例えば９）の領域に 区分化し、各領域では唯一の固定数の特性点だけを維持する。従って、各画像に おける特性点の分布は比較的均一であり、運動の推定において支配的な重みを有 する特性点の高密度の領域を防ぐことができる。

特性とみなされる標本は、コントラストを示す標本および、別の画像の特性標本 と相関づけられることが可能な標本である。この後者の条件は、平坦な等高線が 通る標本によって必ずしも実現されるものではない。すなわち、運動は等高線の 方向で検出されることはできない。

言い換えれば、他の方向でこの標本の運動を検出することができる。従って、こ の方法は、１以上の等高線が通る標本を検出し、その後、角度のある等高線が通 る標本および、考慮中の標本の付近で平坦である等高線が通る標本を取り出す。

座標軸の一つに平行な平坦な等高線が通る特性標本は、モデルの解法に関して特 有の役割を果たす。この特有の役割については後述する。

標本が特性標本を成すために十分なコントラストを有しているかどうかを判定す るために、この方法は、４段階を含む。

各段階は、それぞれ４方向のコントラストを表す関数の値を計算することであり 、各関数は、５の標本に対応する長さを持ち、その中心が現在標本の中心に一致 する線分について計算される。座標（ｘ、ｙ）を持つ標本の輝度は、Ｉ　（ｘ、 ｙ）と表される。現在標本は座標（ｋ。

ｌ）を有する。４方向のコントラストは、それぞれ、以下の公式に従って計算さ れる。

特性標本を検出する方法は、次に、４方向のうち、コントラストが最低である方 向の検出を可能にする第１のインタレストオペレータの値ＶＩＩｉｎを決定する 。

第１のインタレストオペレータが高値を持っている場合、このことが４方向のそ れぞれでのハイコントラストを保証する。ハイコントラストにもかかわらず、標 本は、等高線が平坦であり、また、座標軸の一方に平行でなければ、運動の推定 に関して無関心であるかもしれない。

運動の推定に関して最も興味深い特性標本は、角の形状に近い角度のある形状を 有する等高線が通る標本である。

平坦な等高線が通る標本を検出するために、この方法は、（）しくＮ）で表され る第２のインタレストオペレータの値をＪ１算する。

第４図は、標本が方向Ｄ１およびＤ２でハイコントラストを示すが、平坦な無関 心な等高線が通る例を示す。

現在標本は図の中心にある。各標本は正方形で表現されている。この例では、第 １のインタレストオペレータの値は以下のようになる。

ｖ１１１ｎ″″ｖ１１″″Ｖｖ″″ＶＤ１″″ｖＤ２（６）値Ｖａｉｎは、黒で 表された標本と白で表された標本との間の輝度値の差が大きければ高い値となる かもしれない。しかし、この現在標本は、平坦な等高線の方向での変位の検出を ｉ＝Ｊ能にしないので、極めて興味深い特性標本というわけではない。

第２のインタレストオペレータの値は、以下の公式によって計算される。

ＧＣ（Ｎ）　−１（Ｎ）　ｌ　（Ｎ−１）　（７）値Ｎは、現在標本を中心とす る正方形の周囲に位置する標本の指定をｉｉＪ能にする数である。

第５図は、正方形が５Ｘ５の標本を含んでいるので、ＮがＯから１５まで変わる 実施例を示す。

この方法は、次に、この第２のインタレストオペレータで、それぞれ、最小値お よび最大値に対応するＮの値をめる。これらの値は、ＮｍおよびＮＭと表す。こ れらの値は、２の現在標本の中心を通り、２の等高線の分岐が位置する２方向を 定義する。等高線が興味深い形状をしている場合、すなわち角度のある形状の場 合、値Ｎ■およびＮＭは、この例では、絶対値で、６モジユロ１６未満の差を有 する。従って、現在標本は、この現在標本に対応する値ＮｓおよびＮＭが次の関 係を満たす場合、特性標本として採用される。

言い換えれば、この関係を満たさず、従って、標本が採用され得るには開き過ぎ ている角度を形成する２の分岐を有する等高線に対応する標本は、削除される。

垂直または水平である、すなわち座標軸の一方に対して平行である平坦な等高線 が通る標本は、運動の入城推定を可能にするモデルの解法に関して興味深い。こ れらの標本は、第１のインタレストオペレータによって拒絶される。これらは、 垂直等高線に関して固有な第３のインタレストオペレータおよび、水平等高線に 関して固有な第４のインタレストオペレータによって検出される。

これらのインタレストオペレータは、各現在標本につい０■および０）１は、そ れぞれ、特定の特性値を示す場合、それぞれ、垂直等高線および水平等高線が通 る局所最大値である。

各画像は、角度のある等高線が通過するＮｂｅｅの特性標本、垂直等高線が通過 するＮｂｅｃの特性標本およびホキ等高線が通過するＮｂｅｃの特性標本が選択 される等面積の９領域に分割される。従って、特性点は各画像において比較的均 一に分布する。各インタレストオペレータに対するＮ　ｂ’　ｅ　ｃの特性標本 の選択は、所与の領域の各インタレストオペレータのＮｂｅｃの最大値を考慮す ることによって実行される。特性標本を検出するこの方法は、各分解能水準につ いて同様に適用される。それは、入城運動の推定に寄与するために、異なる分解 能水準で生じるデータの包含関係を可能にする。Ｎｂｅｃは、分解能の水準に従 って変化する（実際は、分解能の水準に従って、Ｎｂｅｃ−２０，１２，８およ び４である）。

局所運動の推定は、標本のブロックを相関づけるという、公知の方法によって実 行される。それは、１１×１１の大きさの探索領域において、７×７の大きさの ブロックに関係する。第６図はこの局所運動の推定を例示するものである。現在 画像の所与の特性標本Ｍに関する局所運動の推定は、初めに、標本Ｍを中心とす る、現在画像の標本のブロックＢｅを定義する。このブロックは、７Ｘ７の標本 の大きさを持つ。次に、現在画像において、試験される変位と称する多数の変位 ベクトルＤｔによって、上記の特性標本にそれぞれ対応する、標本Ｑを中心とし 、７Ｘ７の標本の大きさを持つ多数のブロックＢｃを定義する。試験される各変 位は、進行中の反復に先行する反復（先行する反復があれば）において行われた 運動の入城推定にもとづき上記の特性標本について計算された初期変位と称する 変位Ｄｉのベクトル和および、多数の既定の付加変位から選択された付加変位り とから構成される。

推定はその後、試験される変位に対応するブロックのそれぞれについて、現在画 像の所与の標本を中心とするブロックの標本の輝度値と、付加変位りに対応する ブロックの標本の輝度値との間の対応を表す試験関数Ｆ　（Ｄ）の値を計算する 。開数Ｆ　（Ｄ）は以下の公式に従って計算される。

式中、Ｘは座標（ｘ、ｙ）を有する標本、Ｂｒは探索が実行される次元７×７を 有するブロック、Ｉ　ｒ　（Ｘ）は参照画像の点（ｘ、ｙ）にある標本の輝度、 Ｉｃ（Ｘ）は現在画像の点（ｘ、ｙ）にある標本の輝度である。

標本Ｑの試験関数Ｆ　（Ｄ）は、ベクトルＤｉの終点Ｐを中心とする次元１１× １１のブロックＢ“の内部で変位される次元７×７のブロックＢｃに関して計算 される。

付加変位りは、垂直方向および水平方向で±２に限定された振幅を有する。

区間（−２，２）　Ｘ　（−２，２）で試験されるすべての付加変位ベクトルＤ から、試験関数Ｆ　（Ｄ）を最小にする変位Ｄｍが採用される。初期変位Ｄｉお よびこの付加変位Ｄｍのベクトル和から成る全変位Ｄｔは、さらに、考慮中の特 性標本の局所運動の推定を構成し、順次、進行中の反復に関するモデルの解法に 使用される。

一定の特性点がこの局所変位の推定段階の後に削除される。これは、特性点を検 出するための各オペレータが、一方では現在画像において検討中の特性標本につ いて、他方では局所運動の推定により対応する標本のための参照画像において、 相似値を取らない場合である。インタレストオペレータのこれらの２の値は、現 在画像の場合Ｖｍｉｎｃ、参照画像の場合Ｖｍｉｎｐと表す。これらの２の値の 比較は、考慮中の２の標本の付近に同一の等高線構成があるかどうかの結論づけ を可能にする。この比較は例えば、以下が成り立つかを検証する。

この関係が満たされない場合、特性標本およびその局所運動Ｄｔの推定は、入域 運動を表すモデルのパラメータ値の決定に関しては包含されない。

特性点の局所運動を推定し、無効な標本を削除した後、この方法は、所与の分解 能の水準について、これらの局所運動のデータを画像全体に伝達する。画像の入 域運動は、その場面が平面対象にたとえられる場合、回転、拡大、視野効果と組 み合わされた並進の包含を可能にするモデルによってモデル化される。これは、 多くの場合、特に、例えば空機画像のように、場面に対して比較的大距離で画像 が撮影された場合である。使用されるモデルは以下の方程式で表現される。

式中、（Ｘ、　￥）は現在画像の標本の座標、（Ｘ’　、　Ｙ’）は参照画像の 対応する標本の座標、ａｌ、・・・、ａ８はその値が入域運動を定義する８パラ メータである。このモデル化は、場面を平面に見立て、三次元の運動に関する方 程式を記述し、それらを画像の平面に射影することから成る。関係式（１３）お よび（１４）は、現在画像の各特性標本および、参照画像の対応する標本につい て検証される。各画像で採用された特性標本の数が既定の数Ｎ′に限られる場合 、モデルのパラメータの決定は、以下の２Ｎ’方程式の系を解くことにある。

この式は次のように記述することもできる。

この時、各項は以下の通りである。

Ｎの方程式を持つこれらの２の系のそれぞれは、以下の式による最小自乗法によ って解法される。

［Ａ１］−（［Ｍ１］ｔ［Ｍ、］）’［Ｍ１］ｔ［Ｘ’］　（１９）［Ａ２］− （［Ｍ、］ｔ［Ｍ２］）−’［Ｍ２］’［Ｙ’］　（２０）式中、ｔは行列の移 項、−１は反転、または／＼ラウスホルダ法ようないずれかの他の方法による移 項または反転である。

垂直等高線が通る特定の特性標本は、公式（１９）に従って行列Ａ］を計算する ために、角度のある等高線が通る特性点に加えて使用される。平坦な水平等高線 が通る特性標本は、公式（２０）を適用して行列Ａ２を決定するために、角度の める等重連が辿る特性標本に加えて使用される。

最小自乗法による方程式の系の解法は、分解能の各水準に関する特性標本のすべ てにわたる運動の平滑化に作用する。各分解能水準でのこの運動データの大域化 は、局所運動を平均にし、それによって雑音の影響を低減する。

パラメータａｌ、・・・、ａ８の値が計算されると、これらのパラメータが決定 された分解能の水準で、現在画像の任意の標本の局所運動を決定することができ る。こうして決定された運動は、直接的に上位の分解能水準で局所運動を決定す るための十分な出発基盤となる。例えば、第１の反復において分解能水準Ｎｏ、 １についてパラメータの値が決定された場合、Ｎｏ、２の分解能水準で先行画像 の座標（Ｘ、　Ｙ）を持つ特性標本に対応する、Ｎｏ、２の分解能水準で現在画 像の標本の座標（Ｘ、　Ｙ）を計算することができる。このためには、公式（１ ３）および（１４）を適用すればよい。

このようにして計算された座標（Ｘ’　、　Ｙ’　）は、Ｎｏ、２の反復におけ る局所運動の推定に関して信頼できる初期値となり、これらの座標は初期変位ベ クトルＤｉの成分となる。これらの初期値は、Ｎｏ、１の反復において推定され た局所運動のすべてがモデルの使用によって平均化され、大域化されているので 、信頼でき、このどとが反復Ｎ０９１における、一定の特性点についての過誤の 可能性のある相関関係の作用を制限する。８パラメータの値が最大分解能水準に ついて決定されると、入城運動の推定は終了する。その推定は、例えば、参照画 像の背景に対する現在画像の背景の運動を補償するために使用することができる 。一般に非整数成分を持つ２の画像の間の変位は、補間法によって、変位した標 本の輝度値を計算することが必要である。従来の数種の補間法が利用できるが、 特に、立方補間法と呼ばれる方法が利用できる。

さらに、本発明に従った方法の変更例は、各画像を固定数の部分画像に分解し、 各部分画像をその他の部分画像とは独立して、詳しく言えば、各部分画像の局所 運動の推定を決定し、各部分画像について独立してパラメータ値の集合を計算す ることによって、処理する。

処理された画像は、一般に、一連のビデオ画像の画像であり、参照画像は一般に 現在画像の直前の画像である。

参照画像は、同様に、画像の連続の第１の画像とすることができる。

第７図は、本発明に従った方法を実施するための装置の実施例の全体図である。

この実施例は、処理された画像のＮｌの分解能水準にそれぞれ関連するＮ１回の 反復を実行するための、ＮＩのほとんど同一のモジュールを含む。図には、Ｎｏ 、ＮＩおよびＮ０２１のモジュールだけが例示されている。２の入力端子１およ び２は、それぞれ、参照画像の輝度値１ｐおよび現在画像の輝度値Ｉｃを受信す る。出力端子３は、先行画像に対する現在画像の入城運動の推定を表すモデルを 定義する８のパラメータａｌ、・・・、ａ８の値を供給する。入力端子１および ２は、それぞれ、分解能水準Ｎｏ、ＮＩを有する画像に関して反復Ｎｏ、ＮＩを 実行するモジュールＮｏ、ＮＩの第１の人力および第２の人力に接続されている 。出力端子３は、このモジュールＮｏ、ＮＩの第１の出力に接続されている。

この最後のモジュールＮｏ、ＮＩは、モジュールＮｏ。

（Ｎｌ−１）の第１の人力および第２の入力にそれぞれ接続された第２の出力お よび第３の出力を有している。

さらに、モジュールＮｏ、ＮＩは、モジュールＮｏ。

Ｎｌの第１の出力の対である、モジュールＮｏ、（Ｎｌ−１）の出力に接続され ている第３の入力も有している。

図示されていないが、モジュールＮｏ、２は、モジュールＮｏ、１の第１の入力 および第２の入力にそれぞれ接続された第２の出力および第３の出力を有してい る。

また、モジュールＮ００１の第１の出力に接続された第３の入力も有している。

モジュールＮｏ、１は、第１の出力および第２の出力を持っていない、または、 少なくとも他のいずれのモジュールとも接続されていない点で、前述のモジュー ルとはわずかに異なっている。さらに、モジュールＮＯ３１は、（時間初期化が 望まれない限り）いかなる第３の入力も持たない。

モジュールＮｏ、ＮＩは、分解能Ｎｏ、Ｎｌで標本化された先行画像を記憶する ための記憶装置１０と、特性標本を検出するための装置１１と、分解能Ｎｏ、Ｎ Ｉで標本化された現在画像を記憶するための記憶装置１２と、モデルのパラメー タを計算するための装置１３と、局所運動を推定するための装置１４とを含む。

モジュールＮｏ、ＮＩの第１の入力および第２の入力は、それぞれ、記憶装置１ ０および記憶装置１２のデータ人力に接続されている。モジュールＮｏ、ＮＩの 第２の出力および第３の出力は、それぞれ、記憶装置ｉｏおよび記憶装置１２の データ出力から成っている。これらのデータ出力はまた、それぞれ、装置１１の 入力および装置１４の入力にも接続されている。装置１４は、装置１１および装 置１２の出力にそれぞれ接続された第１の入力および第２の入力を有し、また、 モジュールＮｏ。

Ｎｌの第３の入力となる第３の入力を有している。装置１４の出力は計算装置１ ３の入力に接続されている。装！ｆ１３の出力はモジュールＮｏ、ＮＩの第１の 出力とな分解能Ｎｏ、Ｎｌは画像収集装置によって実行されたサンプリングの分 解能に一致し、従って、先行画像の標本の輝度値は記憶装置１０に直接記憶され 、現在画像の標本の＃度値は記憶装置１２に直接記憶される。特性標本を検出す るための装置１１は、現在画像の特性標本の座標を決定する。装置１４は、公式 （１１）を適用して各特性標本の局所運動を推定する。装置１３は、これらの局 所運動から、現在画像の入城運動を定義する８のパラメータ値を推定する。

モジュールＮｏ、（Ｎｉ−１）、−、ＮＯ−１は、モジュールＮｏ、Ｎｌの同一 参照番号を有する装置とその構造および機能の点で類似である、記憶装置１０’ 　と、検出装置〕１゛　と、記憶装置１２゛　と、計算装置１３′と、推定装置 １４′とを含む。他方、これらの各モジュールはさらに、ろ波およびサブサンプ リングのための２の装置８および９を含んでおり、装置８はモジュールの第１の 人力と記憶装置１０’　のデータ人力との間に、装置９はモジュールの第２の人 力と記憶装置１２′のデータ入力との間に挿入されている。装Ｗ８および９は、 それぞれが受信する輝度値をろ波した後、スペクトルアリアジング現象を生じ得 る高周波を削除するために、比２てサブサンプリングを行う。ろ波およびサブサ ンプリングのためのこれらの装置は、ともに、従来のディジタル装置である。

計算装置１３および］−３°は、それぞれ、最小自乗法と称する従来の算法に従 って方程式（１９）および（２０）の系を解法するためにプログラムされたマイ クロプロセッサによっ”Ｃ構成できる。局所運動を推定するための装置１４およ び１４′は、それぞれ、公式（］１）に従って関数Ｆ　（Ｄ）を計算し、この関 数を最小にする試験変位ベクトルを選択するようにプログラムされたマイクロプ ロセッサによって構成できる。モジュールＮｏ。

２からＮｏ、ＮＩまでの装置１４はまた、各特性標本について、初期変位を計算 するようにプログラムされてもいる。これらの装置は、その後、考慮中のモジュ ールの第３の入力に与えられたパラメータ値ａｔ、・・・、ａ８を用いて、公式 （コ３）および（１４）を適用する。特性標本を検出するための装置１１および １１′　は、それぞれ、公式（１）から（１０）に従ってインタレストオペレー タの値を計算し、それらのインタレストオペレータの値の関数として標本を選択 するようにプログラムされたマイクロプロセッサによって構成できる。これらの マイクロプロセッサのプログラミングは、当業の範囲にある。

本発明は、上述の実施例に限定されるものではなく、多数の変更例が当業の範囲 にある。特に、直列ではなく、並列に置かれた装置による画像のサブサンプリン グを実行することが可能である。第１の場合、装置８および９といつだろ波およ びサブサンプリングのための装置はすべて同一にすることができる。第２の場合 、これらの装置は、各分解能水準に適合された通過帯域を取得するために異なっ ている。ろ波およびザブサ〉ブリングのためのこれらの装置の構成は、両例の場 合とも当業の範囲である。

ＦＩＧ　２ ＦＩＧ、３ 国際調査報告

Claims (1)

1. 【特許請求の範囲】 １．参照画像と称する画像と、現在画像と称する画像との間の運動を推定するた めの反復法であって、各反復が、 各反復で分解能が増大しながら、各画像標本が数値によって表現されている、２ の画像をサンプリングすることと、 参照画像の特性標本を検出することと、進行中の反復に先行する反復において実 行された大域運動の推定から推論された運動のベクトルにより推定を初期化する ことによって参照画像の各特性標本についての局所連動のベクトルを推定するこ とと、考慮中の反復において推定される局所運動のベクトルから、モデルのパラ メータ値を計算することによって、大域運動の推定を参照画像とすることを含む 、固定数の反復を実行することを特徴とする方法。 ２．請求項１記載の方法であって、現在画像の大域運動の推定を行うために、第 １の座標軸および第２の座標軸それぞれに対して座標Ｘ，Ｙを有する標本が式（ １３）および式（１４）で表現される座標Ｘ′，Ｙ′（それぞれ、これらの標本 の各標本に関する推定された局所運動ベクトルの関数として、また、考慮中の標 本の座標Ｘ，Ｙの関数として決定される）に変位するような運動のモデルを定義 する８のパラメータａ１，…，ａ８の値（特性標本について記述された、それら の２の関係式から成る８の未知数を有する方程式の系を解法することによって計 算される）を計算することを特徴とする方法。 Ｘ′＝ａ１Ｘ＋ａ２Ｙ＋ａ３／ａ７Ｘ＋ａ８Ｙ＋１（１３）Ｙ′＝ａ４Ｘ＋ａ５ Ｙ＋ａ６／ａ７Ｘ＋ａ８Ｙ−１（１４）３．請求項１記載の方法であって、画像 の連続に適用される方法であり、さらに、現在画像の各特性標本の局所運動のベ クトルを推定するために、第１の反復において、この推定を、現在画像に先行す る画像に関する最後の反復において実行された大域運動の推定から推論された運 動のベクトルによって初期化することを特徴とする方法。 ４．請求項１記載の方法であって、特性標本を検出するために、特に、１以上の 等高線が通る（原文のまま）標本を求め、各画像を等面積を有する固定数の領域 に区分化し、各領域において、固定数の特性点だけを保持することを特徴とする 方法。 ５．請求項１記載の方法であって、現在画像の各特性標本に関する局所運動のベ クトルを推定するために、参照画像のブロックであり、考慮中の特性標本（Ｍ） を中心とする第１のブロック（Ｂｒ）を定義することと、考慮中の特性標本に対 応するそれぞれ標本（Ｑ）を中心とする現在画像の標本のブロックである多数の 第２のブロック（Ｂｃ）を、試験されるベクトル（Ｄｔ）（試験される各ベクト ルは、考慮中の特性標本（Ｍ）ついて、進行中の反復に先行する反復において行 われた運動の大域推定および、多数の既定の付加変位から得られた付加変位（Ｄ ）から計算された初期変位（Ｄｉ）のベクトル和によって構成される）と称する 多数のベクトルによって定義することと、 第１のブロック（Ｂｒ）の標本を表す値と第２のブロック（Ｂｃ）の標本を表す 値との間の一致を反映する試験関数の値を、第２のブロック（Ｂｃ）のそれぞれ について計算することと、 初期変位（Ｄｉ）および試験関数を最小にする付加変位の（Ｄｍ）のベクトル和 から局所運動の推定は構成され、いずれの付加変位が（Ｂｍ）が試験関数を最小 にするかを決定することを特徴とする方法。 ６．請求項１記載の方法であって、特性標本の検出が、詳しくは、角度のある等 高線が通る標本、第１の座標軸（ｏｘ）に平行な平坦な等高線が通る標本および 第２の座標軸（ｏｙ）に平行な平坦な等高線が通る標本を検出することである点 を特徴とする方法。 ７．請求項１記載の方法であって、さらに、各画像を固定数の部分画像に分解し 、各部分画像を他の部分画像とは独立して、詳しくは、各部分画像に関する大域 運動の推定を決定することによって処理することを特徴とする方法。 ８．請求項１記載の方法を実施するための運動の反復推定のための装置であって 、 参照画像と称する画像および現在画像と称する画像を固定数の水準の分解能によ ってサンプリングするための装置（８，９，１０，１２，１０′，１２′）と、 分解能の各水準で現在画像における特性標本を検出するための装置（１１，１１ ′）と、 分解能の各水準で、直下位の分解能水準に関して実行された大域運動の推定から 推定された変位ベクトルによってこの推定を初期化することによって、現在画像 の各特性標本に関する局所運動のベクトルを推定するための装置（１４，１４′ ）と、 最大分解能水準について最終的に推定される局所運動のベクトルから、モデルの パラメータ値を計算することによって、現在画像の大域運動を推定するための装 置（１３，１３′）とを含むことを特徴とする装置。