JPH09182086A - 像間動きの評価方法および評価装置並びに分割像符号化方式 - Google Patents

Abstract

(57)【要約】 【課題】 評価した動きの関数とした各領域のなるべく
連続的な併合により分割像を符号化する目的で、 【解決手段】 分割像、すなわち、Ｉ個の領域Ｒｉから
なる部分像相互間の動きを評価する方法および装置を実
施するには、予め選定した種々の動き仮説の一つの予
測、予測誤差の計算および最小予測誤差に対応する動き
仮説の選定によってそれぞれ選んだ各領域Ｒｉの動きを
表わすパラメータ群を初期化する過程（４１）を設け、
その過程（４１）には、濾波による中間処理過程（４
２）および領域Ｒｉに対応するＩ動き情報Ｍｉ（ｔ）が
最終的に得られるように所定の基準に達するまで動きパ
ラメータを精錬して反復処理するために過程（４２）の
入力端に戻す過程（４３）を後続させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、標識で固定したＩ
個の領域Ｒｉからなる分割像すなわち部分像の系列Ｓ
（ｔ−ｎ),Ｓ（ｔ−ｎ＋１),‥‥，Ｓ（ｔ−２),Ｓ（ｔ
−１),Ｓ（ｔ),‥‥に対応する系列Ｐ（ｔ−ｎ),Ｐ（ｔ
−ｎ＋１),‥‥, Ｐ（ｔ−２),Ｐ（ｔ−１),Ｐ（ｔ),‥
‥を形成する像間の動きを評価する方法および対応する
動き評価装置に関するものであり、かかる方法および装
置により分割像を符号化する方式に関するものでもあ
る。

【０００２】本発明は、極めて小さいビットレートの分
野および毎秒約１メガビットの小さいビットレートの分
野でビデオ信号を符号化するのに特に適しており、この
ビットレート範囲は、消費者用、特に、マルチメディア
用に著しく対応している。

【０００３】

【従来の技術】１０年乃至１５年来、静止画像やアニメ
画像の圧縮は、ディジタル・テレビジョン、データ蓄
積、テレモニタ、ビデオ電話システム等幾多の部門を累
進的に覆う産業技術上の主な特徴となっている。しかし
ながら、他の用途は、例えば、局地的データ回路網に基
づくマルチメディア用途、自動車への画像伝送、切換え
電話回線網用ビデオ電話方式など数多くの新たな試みを
なして目下浮上しつつある。同等の画質が維持されれ
ば、これらの用途は、通過帯域が狭いが故に比較的低コ
ストで用いられるメディアに基づいているので、Ｈ２６
１，ＪＰＥＧ，ＭＰＥＧ１，ＭＰＥＧ２など、主たる画
像符号化標準のフレームワーク内で用いられるより高い
圧縮率が要求される。さらに、かかるメディア用に提案
されるサービスは、一般使用者がビデオ画像の内容に作
用して、その内容を操るために種々の構成要素に直接ア
クセスし得るようにする。圧縮および相互作用のかかる
要求を満たす幾多の方法は、確かに、将来の標準ＭＰＥ
Ｇ４を１９９８年までに決着付けるために、ＩＳＯ（国
際標準化機構）のＭＰＥＧ委員会（動画像専門家群）が
現在行なっている画像符号化の標準化手続の枠内では否
定的である。

【０００４】かかる場合に用いられる方法が何であろう
と、アニメ画像圧縮の必要性は、かかる画像の動きの補
償およびその動きの予測の効率よい方法を必要とし、他
方画像内容に作用し得るようにする必要性は、かかる画
像それぞれのの種々の要素の動きの目的と呼ばれる表現
を必要とする。

【０００５】一連の画像群において、（先行画像および
後続画像と呼ばれる）２画像の間の動き評価の将来の方
法は、かかる画像を、それぞれ、同じ寸法の隣接した要
素ブロックの二次元回路網に副分解して、以後ＢＭＡ−
ブロック整合アルゴリズムと呼ぶブロック整合方法を適
用するのであるが、この方法は、例えば「消費者電子工
学学会会報」誌、４１巻、２号、１９９５年５月、２４
８−２５７頁の論文「体系的動き評価用ＶＬＳＩ技術」
に記載されている。この技術は、各ブロックが十分に小
さい（限定するものではない例として、例えば１６×１
６画素群からなる）ので、各画像の動きは、画像平面に
並行の簡単な移動と考えられ、各ブロックの全画素は同
じ動きをするものと想定する。したがって、後続画像の
各ブロックは、後続画像の基準ブロックに最もよく類似
した有限個数の先行ブロックから当該ブロックを選別す
るために、先行画像における同一位置、もしくは、探索
窓で囲まれた近傍位置を占めるブロック群と比較するこ
とができる。選別したブロックと基準ブロックとの相対
位置は、先行画像と後続画像との間におけるあるブロッ
クから他のブロックへの移動を示す動きベクトルを規定
する。

【０００６】かかる比較演算は、後続画像の全ブロック
群について繰返されるので、一連の動きベクトルをかか
るブロック群と組合わせることになる。あるブロックの
画素群に対応する情報が、引続いて符号化され、つい
で、送出され、蓄積されると、代わりに、対応する動き
ベクトルを符号化して送出し、蓄積するのに十分であ
り、先行画像中で選択したブロックに基づき、かかる動
きベクトルが、考察中の後続画像における移動後の当該
ブロックの新たな位置に関する情報を提供する。

【０００７】

【発明が解決しようとする課題】しかしながら、この技
術は、上述した用途には適切であるが、次のような欠点
をもっており、画像は、その効果的な内容を考慮に入れ
ることなく、二次元信号として知覚され、画素ブロック
の輪郭と光景中に現実に存在する対象物の輪郭とが一致
する理由は通常は存在しない。したがって、ブロック整
合法は、例えば、明確な態様でそれぞれ動いている画像
中の２対象物間の境界がブロックの中央に在る場合に
は、画像の劣化を来す。この場合、動き評価は最早信頼
できず、再生画像は貧弱な画質のものとなる。これとは
対蹠的に、領域が大面積を有し、均質な動きが同じ情報
をそれぞれ有する数多くのブロックを備えている場合に
も、結果の情報過多が符号化演算の効果に対して損傷と
なる。

【０００８】一つの画像と他の画像との間では、それぞ
れの動きが通常極めて異なっていることに留意すべきで
ある。多くの場合、一つの移動で同化し得る対象物の局
部的動きは、ズーム（像の平面に垂直もしくは並行の軸
に沿って焦点が固定もしくは変化する動き）やパン（像
の平面にほぼ平行な軸の周りに十分に小さい角度で回転
する動き）のような撮像カメラの動きに重なる場合が多
い。動きの局部的な解析が、一つの画像と他の画像との
ブロック間の移動を満足に書き表わす動きベクトルの場
合の決定に貢献している場合には、かかるズームやパン
などの全体的な動きは、ベクトルの場を分散させること
になる。したがって、動きの全体的な解析は同時的に行
なわなければならないが、かかる動きをすべて書き表わ
すパラメータの個数は、ますます重要になって来る。

【０００９】以上に考察した用途においては、ＢＭＡブ
ロック整合法のかかる制限が、画像の特殊な解析とその
構造のよりよい理解とに基づいた他の技術の展開に通じ
ている。この解析は、静止した対象物とアニメ化した対
象物とを備えた３次元の光景の投影として画像を考察す
ること、および、各画像毎の種々異なる対象物を同定し
て、（例えば、形状、色彩、構成、動き等に関係した代
表的なパラメータをより一般的な態様で評価し、所定の
基準に対し独特であるとともに均質な領域Ｒｉに画像を
分割するように規定しようとすることからなっている。

【００１０】Ｈ．サンソン著の文書「低ビットレート・
ビデオ符号化用の領域に基づく動きの解析」ＩＳＯ／Ｉ
ＥＣ−ＪＴＴＣ１／ＳＣ２９／ＷＧ１１／ＭＰＥＧ９４
基準のＩＳＯ１９９４年３月刊ＣＣＥＴＴ、１−８頁に
は、ビデオ系列の画像の動きについて均質の領域への分
割およびかかる領域における動きを書き表わすパラメー
タの満足な評価をともに行なう方法が記載されている。
しかしながら、この方法だけが、画像内容に関する情報
を利用し得ない状況では適切であるように見える。

【００１１】

【課題を解決するための手段】本発明の第１の目的は、
画像の分割に到った分析段階の期間中に得た、その画像
の内容についての以前の知識に基づいた動き評価方法を
提案することにある。

【００１２】この目的のために、本発明は、領域Ｒｉ毎
に、動きパラメータで規定した動きベクトルの形で、先
行画像Ｐ（ｔ−１）に対する現下の画像Ｐ（ｔ）の動き
を表わす情報Ｍｉ（ｔ）を供給するために、現下の画像
の各領域に対して行なわれるつぎの３演算 （１）分割Ｐ（ｔ−１）およびＰ（ｔ）以前の各画像、
分割画像Ｓ（ｔ−１）およびＳ（ｔ）並びに当該方法の
先行実施において先行画像Ｐ（ｔ−１）につき評価した
動き情報Ｍｉ（ｔ−１）の関数として現下の画像Ｐ
（ｔ）の各領域Ｒｉの動きパラメータを初期化する第１
過程 （２）動きおよびその動きのパラメータの評価を行なっ
た画像を中間処理する第２過程、並びに、当該領域Ｒｉ
におけるそれぞれの画像の全画素群に対するベクトル
（Ｄｘ，Ｄｙ）の形の最終決定に対し、当該領域の各座
標点につき、Ｌ（．）が輝度信号もしくは色度信号と輝
度信号との組合わせのようなもっと複雑なビデオ信号を
表わし、Ｄｘ，Ｄｙが当該領域の動きの型に関連した次
数の多項式であるとして、Ｌ（ｘ，ｙ，ｔ）＝Ｌ（ｘ−
Ｄ_x,ｙ−Ｄ_y,ｔ−１）となるように動きパラメータを精
錬する第３過程 （３）動き情報Ｍｉ（ｔ）を最終的に得るために、少な
くとも所定基準の関数として、反復処理の終端まで中間
処理および精錬を繰返し行なう前記第２および第３の過
程の反復を順次行なうことを特徴とする画像動きの評価
方法に関係している。

【００１３】したがって、本発明により提案する動き評
価方法は、幾多の点で有利であり、一方では、所定の評
価質を得るに要する実施時間は、平均して、評価の決定
的結果を構成するのにより近い値から評価の過程が出発
した場合より短い。そのうえ、その初期化は、この評価
方法が動きパラメータの小さい相対的変化しか呈さない
ように見えるので、提案した反復過程の収斂を促進す
る。

【００１４】本発明の有利な詳細構成によれば、動きパ
ラメータを初期化する前記第１過程が、つぎの副過程 （Ａ）考察中の各領域Ｒｉに対して動き仮説を規定する
第１副過程 （Ｂ）画像Ｐ（ｔ−１）に基づき、先行動き仮説を考慮
して、画像Ｐ（ｔ）における各領域Ｒｉに対応する領域
を予測するとともに、対応する予測誤差を計算する第２
副過程 （Ｃ）考察中の各領域Ｒｉについて計算した予測誤差を
相互比較するとともに、その領域の初期の動きとして、
最小予測誤差に対応する動き仮説を選定する第３副過程
を備えている。

【００１５】本発明評価方法の好適な実施例において
は、中間処理の前記第２過程が等方性ガウス・フィルタ
による濾波前処理演算を行なう一方では、考察中の各領
域Ｒｉに組合わせたベクトルＤｘ，Ｄｙの決定のため
に、前記第３の精錬過程が、当該領域Ｒｉの画像の画素
群もしくはその画素群の一部に対する予測誤差の自乗値
の Σ（ｘ，ｙ）（Ｌ（ｘ，ｙ，ｔ）−Ｌ（ｘ−Ｄ_x,ｙ−Ｄ
_y,ｔ−１) ）² と書かれる総和を最小化する演算を行なうとともに、
（Ｄｘ₀ ＋ｄｘ）および (Ｄｙ₀ ＋ｄｙ）をそれぞれＤ
ｘおよびＤｙに置換した後に前記総和の１次限定展開を
行ない、ｄｘおよびｄｙの各係数について当該限定展開
の導関数を零に等しくし、最小二次誤差に通ずる動きパ
ラメータの変化値として以上の演算に引続いて得られる
ｎ個の未知数を有するｎ個の等式の組の解を留保するこ
とによるガウス・ニュートン近似法によって前記最小化
を達成する。

【００１６】本発明の評価方法の変形例においては、初
期化、中間処理および精錬の前記３演算に、各領域Ｒｉ
毎につぎの副過程 （ａ）画像Ｐ（ｔ−１）に基づき、Ｐ（ｔ）における近
隣領域をそれぞれ予測し、前記最終決定から生ずる動き
パラメータに組合わされた領域に対応する近隣領域の動
き仮説を考慮し、対応する付加的予測誤差を計算する新
たな副過程 （ｂ）前記付加的予測誤差と考察中の近隣領域の初期の
動きとして留保した動き仮説に組合わされた予測誤差と
を比較し、前記近隣領域のそれぞれの動きとしてかかる
２とおりの予測誤差の最小のものが対応する領域を選定
する副過程が繰返される各領域Ｒｉに隣接する領域への
被制御伝搬の付加的演算が付随する。

【００１７】本発明の他の目的は、本発明による動き評
価の方法を遂行し得る装置を提供することにある。

【００１８】この目的のために、本発明は、標識で同定
したＩ個の領域Ｒｉからなる分割像すなわち部分像の系
列Ｓ（ｔ−ｎ),Ｓ（ｔ−ｎ＋１),‥‥，Ｓ（ｔ−２),Ｓ
（ｔ−１),Ｓ（ｔ),‥‥に対応する系列Ｐ（ｔ−ｎ),Ｐ
（ｔ−ｎ＋１),‥‥, Ｐ（ｔ−２),Ｐ（ｔ−１),Ｐ
（ｔ),‥‥を形成する像間の動きを評価する装置におい
て、領域Ｒｉ毎に、動きパラメータで規定した動きベク
トルの形で、先行画像Ｐ（ｔ−１）に対する現下の画像
Ｐ（ｔ）の動きを表わす情報Ｍｉ（ｔ）を供給するため
に、つぎの３段階、すなわち、動き仮説を選定するとと
もに、各領域毎に、その領域の画像の画素群における予
測誤差の自乗値の総和が最小となる動きを選択すること
によって現下の画像の各領域の動きパラメータを初期化
する第１段階、中間処理を行なう第２段階および各領域
に組合わされたベクトル（Ｄｘ，Ｄｙ）の近似決定によ
り動きパラメータを精錬する第３段階を順次に備え、第
２および第３の各段階は、所定基準の関数として反復処
理によりその終端までループをなして設けたことを特徴
とする評価装置にも関係している。

【００１９】本発明のさらに他の目的は、分割像を符号
化する方式において本発明による動き評価の方法乃至装
置を実施するのに適した符号化方式を提供することにあ
る。

【００２０】この目的のために、本発明は、組合わされ
た標識により同定された輪郭および領域によって部分像
が囲まれた初期像の系列に対応する分割像すなわち部分
像を符号化し、現下の部分像と呼ばれる順次の部分像毎
に、主要部分像と呼ばれる部分像から抽出して現下の部
分像に先行する部分像の動き評価および補償によって直
接に決定される領域、または、前記主要部分像の領域の
併合もしくは反対に再分割によって創造された付加的部
分像から抽出した領域から成り、最良部分像と呼ばれる
部分像に対応する符号化信号を発生させる手段を備えた
符号化方式において、可能な併合を期待して、少なくと
も領域群を併合する回路を備えるとともに、以上に規定
したような動き評価装置および当該領域群の併合を決定
する装置を備えたことを特徴とする部分像符号化方式に
も関係している。

【００２１】以下に図面を参照して詳細に説明する実施
例により、本発明の上述した面は一層明らかになろう。

【００２２】

【発明の実施の形態】本発明を詳細に説明する前に、そ
の説明を通して使用する種々の符号を以下に定義する。
考察中の画像は、Ｐ（ｔ−ｎ),Ｐ（ｔ−ｎ＋１),‥‥，
Ｐ（ｔ−２),Ｐ（ｔ−１),Ｐ（ｔ）等で表わす構成画像
の原系列の各部をなすものである。以下の説明におい
て、焦点は、主として現下の画像Ｐ（ｔ）上および先行
原画像（すなわち、動き評価後に行なわれた符号化過程
の特性に従った先行符号化画像）Ｐ（ｔ−１）上に在
る。実際の観点から、動き評価が時点ｔで行なわれるこ
れらの２構成画像は、この場合には輝度信号の画像とす
るが、色彩が多くの特殊な情報を含んでいる場合におけ
る輝度・色度両信号の組合わせ、乃至、信号の情報を復
活させた原画像の任意の変形にも対応させることができ
る。画像系列Ｐ（ｔ−２),Ｐ（ｔ−１),Ｐ（ｔ）等の各
個における任意の点（ｘ，ｙ）の輝度の値はＬ（ｘ，
ｙ，ｔ−２),Ｌ（ｘ，ｙ，ｔ−１),Ｌ（ｘ，ｙ，ｔ）等
で表わす。画像を分割する演算に関しては、（部分画と
も呼ばれる）標識の画像の系列が原画像の系列に対応
し、分割画像がＳ（ｔ−１),Ｓ（ｔ）で表わされて原構
成画像Ｐ（ｔ−１),Ｐ（ｔ）に対応し、最終的に、動き
評価方法を実行するのに必要とする予備解析から生ずる
ある種の画像の系列を形成する。図１はｉ＝０乃至６と
して、画像を７領域Ｒｉに分割する例を示したものであ
る。

【００２３】先行画像Ｐ（ｔ−１）に対する現下の画像
Ｐ（ｔ）の動きの情報は、画像Ｐ（ｔ）の領域Ｒｉに対
する基準Ｍｉ（ｔ）のもとに配列される。この基準Ｍｉ
（ｔ) は、留保した動きの型（すなわち、その動きを表
わす多項式の順位もしくは次数）によって設定したデー
タ、および、対応するパラメータの値（すなわち、多項
式の係数の値）を含んでいる。例えば、図２に示すよう
に、ＤｘおよびＤｙが、係数を動きパラメータとしたｘ
およびｙにおける多項式であるＰ（ｔ＋１）からＰ
（ｔ）への変位ベクトル（Ｄｘ，Ｄｙ）は、画像Ｐ
（ｔ）の領域Ｒｉの点（ｘ，ｙ）における画像Ｐ（ｔ−
１）とＰ（ｔ）との間で決まった動きの型に対応してお
り、Ｌ（ｘ，ｙ，ｔ）＝Ｌ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ−
１）と書き表わすことができる。これらの多項式の次数
（０，１もしくは２）およびかかる多項式を規定する係
数の個数（２個乃至１２個のパラメータ）は、考察中の
動きの型によって決まり： （ａ）像に平行な平面上で画像に平行な平坦面の変位の
動きを規定するには２個のパラメータで十分である： Ｄx ＝ａ₁ Ｄｙ＝ａ₂ （ｂ）ズーム型乃至パン型の動きについては、平坦面が
任意の方向を有し、もしくは、像の面に平行であればそ
の面の任意の変位の動きを有する場合には、像の面に平
行な平坦面の変位の動きを模するのに４個のパラメータ
が必要である： Ｄｘ＝ａ₁ ＋ａ₂ ｘ＋ａ₃ ｙ Ｄｙ＝ａ₄ ＋ａ₃ ｘ＋ａ₂ ｙ （ｃ）関係のある変形については、上述の(b) のもとで
示されたとおりの変位の動き、もしくは、像の面に垂直
の軸の周りにおける平坦面の回転の動きを模するのに６
個のパラメータが必要である： Ｄｘ＝ａ₁ ＋ａ₂ ｘ＋ａ₃ ｙ Ｄｙ＝ａ₄ ＋ａ₅ ｘ＋ａ₆ ｙ （ｄ) 二次の動きについては、湾曲面の任意の回転およ
び変位を模するのに１２個のパラメータが必要である： Ｄｘ＝ａ₁ ＋ａ₂ ｘ＋ａ₃ ｙ＋ａ₄ ｘ² ＋ａ₅ ｘｙ＋ａ
₆ ｙ² Ｄｙ＝ａ₇ ＋ａ₈ ｘ＋ａ₉ ｙ＋ａ₁₀ｘ² ＋ａ₁₁ｘｙ＋ａ
₁₂ｙ² これらの多項式モデルは、満足な態様で対象物の動きを
表わすのを示すことができるので、採用されたものであ
る。しかしながら、これらの多項式は、対象物の真の３
次元の動きの厳密な記述と解釈することができず、この
目的のためには、対象物が堅固であり、その形状も既知
である、という確実性が必要であるが、これは事実では
ない。したがって、問題のモデルは、単に、像平面内の
対象物の投影の変形の表現であるに過ぎない（例えば、
２個のパラメータの場合には、モデルは、当該対象物が
堅固であって、像平面に平行な平坦な表面を有している
ものとして、像平面内の変位を効果的に表現する）。か
かる動きのモデルの詳細な表現は、例えば、Ｊ．Ｌ．デ
ューグレイ、Ｈ．サンソン共著の論文「像系列における
２次元・３次元動きモデル同定用差動方法」信号処理・
像伝達誌、第７巻、第１号、１９９５年３月、１０５乃
至１２７頁に記載されている。

【００２４】画像内の点の座標は、説明全体を通し、画
像全体のみに関して表わすものか、画像の所定領域に関
して表わすものかに応じ、大文字（Ｘ，Ｙ）もしくは小
文字（ｘ，ｙ）で表わす。

【００２５】これらの信号を思い出したのであるから、
その場合に、動き評価の目標は、分割像に基づき、Ｐ
（ｔ−１）に対応する予め再生した像Ｒ（ｔ−１）の、
Ｐ（ｔ）の近似を構成する予測像Ｒ（ｔ）を引続き再生
する可能性、および、動き評価の期間中に得られた情報
Ｍｉ（ｔ）を提供することにあることを思い出すのも有
用である。予測像Ｒ（ｔ）のかかる決定は、就中、予測
誤差のみ、すなわち、現下の画像Ｐ（ｔ）と予測画像Ｒ
（ｔ）との差異を符号化する引続いた可能性を提供する
ことになる。

【００２６】

【実施例】さて、本発明による動き評価方法は、図３を
参照して詳細に説明することができ、動きパラメータを
初期化する第１段階（ＩＮＩＴ）１０、予備処理する第
２段階（ＰＰＲＯ）２０および動きパラメータを精練す
る第３段階（ＲＥＦＴ）３０を順次に備えており、各段
階は現下の画像の各領域について行なわれる。

【００２７】動きパラメータを初期化する第１段階１０
は、その目的として、考察中の画像Ｐ（ｔ）の各領域Ｒ
ｉに対する動きパラメータ値によって動き評価過程を開
始すべきであるが、そのパラメータ値は、考察中の処理
演算を通じ、動きパラメータの変化は小さい、と想定し
得るようにするために、かかるパラメータの実際の最終
値にできるだけ近いものとする。そのうえに、所定の評
価の質を得るのに要する実施時間は、平均して、探索し
た実際の値により近いパラメータ値によって評価過程を
開始した場合より短く、第１初期化段階の付加的実施時
間は、評価自体の実施時間に対して無視し得る程度とな
る。図から判るように、反復の態様で行なわれる処理演
算の過程において、初期値が探索した実際の値から離れ
過ぎておけば、形成される機会がそれだけ増えるような
収斂が局部的な最小値で形成され得るのは避けるべきで
ある。

【００２８】（Ａ),（Ｂ）および（Ｃ）と呼ばれ、画像
Ｐ（ｔ）の各領域Ｒｉについて行なわれる３副段階にお
いて、第１段階はつぎの３副段階からなっている。 （Ａ）入力端で最初に利用し得る情報を精々開拓すると
ともに、本当らしい動き仮説を引出すために新しい情報
をできるだけ集める。 （Ｂ）（以下に述べる）動き仮説のそれぞれにつき、画
像Ｐ（ｔ−１）に対する既知のデータに基づいて、画像
Ｐ（ｔ）内の当該領域を予測するとともに、対応する予
測誤差を計算する。 （Ｃ）最小予測誤差を発生させる（同時に動き仮説の一
つを有効にする）値を、動きパラメータの初期値として
選択する。

【００２９】初期化段階（ＩＮＩＴ）１０の第１副段階
（Ａ）は、初期データを開拓することからなり、その初
期データはつぎのとおりである。 （ａ）原画像Ｐ（ｔ−１）およびＰ（ｔ）； （ｂ）標識Ｓ（ｔ−１）およびＳ（ｔ）の画像； （ｃ）データＭｉ（ｔ−１）、すなわち、動きが零の場
合を含めて、先行周期の期間に（すなわち、画像Ｐ（ｔ
−２）に基づいて）、画像Ｐ（ｔ−１）に到る動きを知
ることを許す動き情報（動きの型および対応するパラメ
ータの値； （ｄ）画像Ｐ（ｔ−１）と画像Ｐ（ｔ）との間で（上述
した）ＢＭＡ技術を施すことから生ずるデータ、すなわ
ち、画像Ｐ（ｔ）の各画素について、一般に約１画素分
（あるいは、おそらく約半画素分）だけ規定する変位ベ
クトル。

【００３０】画像Ｐ（ｔ）の各領域Ｒｉ毎に、先行画像
に対する動きの４仮説をこの場合の考慮に順次に入れる
とともに、利用し得るつぎの情報を考慮して公式化の補
充性および単純性を勘定に入れる。 （１）領域Ｒｉの動きが零である； （２）考察中の標識ｉはすでに分割像Ｓ（ｔ−１）内に
存在しており、領域の動きは像平面に平行な変位のみで
ある。したがって、分割像Ｓ（ｔ−１）およびＳ（ｔ）
中の標識ｉの重心の座標とついでかかる座標間の差とを
計算すれば十分であり、これによって変位ベクトルが得
られる； （３）考察中の標識ｉは、分割像Ｓ（ｔ−１）中にすで
に存在している：分割像Ｓ（ｔ−１）中の標識ｉの近傍
の各標識を表わすｊ並びにデータＭｉ（ｔ−１）および
Ｍｊ（ｔ−１）は標識ｉに組合わされた局部基準中に表
わされ、分割像Ｓ（ｔ−１）中の標識ｉに隣接する全標
識ｊが探索され、ついで、対応するデータＭｊ（ｔ）
（動きの型および局部基準中で変換された対応するパラ
メータの値）が読み取られ、さらに、標識ｉとその近傍
標識との間の最良の動きが選択される； （４）得られる動きは、領域毎のＢＭＡ技術の適応から
生じた変位ベクトルの場の最良近似（考察中の領域ｉに
含まれる個数の半分より多いブロックを考慮して計算し
た変位のみ）に対応するものであり、その適応は、可変
の寸法を有するブロック群の変位動きの評価の系列とさ
らに複雑なモデルにより回帰技術の援助を受けて変位ベ
クトルの場の近似を引続いて決定するための緩和とから
なる（一組の値から多項式を適応させるこの方法は、例
えば構成画像の符号化のために、Ｍ．ギルゲ、Ｔ．エン
ゲルハルト、Ｒ．メーラン共著の論文「一般化した直交
変換に基づく任意形状分割画像の符号化」信号処理・画
像伝達誌、第１巻、第２号、１９８９年１０月、１５３
乃至１８０頁に、限定することなく記載された多項式近
似方法と同様のものである）。

【００３１】初期化段階（ＩＮＩＴ）１０の第２副段階
（Ｂ）は、先行画像Ｐ（ｔ−１）に基づき、現下の画像
Ｐ（ｔ）の対応する領域を予測し、副段階（Ａ）の期間
中に行われる各動き仮説を考慮し、さらに、毎度引続い
て領域に対する予測誤差を計算することからなり、つぎ
のような予測原理が用いられ：Ｐ（ｔ−１）、Ｓ（ｔ）
およびＭｉ（ｔ）が既知であれば、現下の画像Ｐ（ｔ）
における予測輝度値は、画素の位置Ｘ，Ｙで決まる。予
測の詳細説明は、動きパラメータの決定的評価につき、
精錬を取り扱う部分で以下に行なうこととする。

【００３２】最後に、初期化段階（ＩＮＩＴ）１０の第
３副段階は、領域内の計算した予測誤差を互いに比較し
て、最小の予測誤差が対応するものを、その領域の最初
の動きとして保存することからなる。各領域に対してか
かる処理を繰返し、現下の画像Ｐ（ｔ）の全領域につ
き、このようにして動きパラメータが調整されてしまっ
たときに、第１初期化段階１０は終了する。このように
して領域Ｒｉにつき決定した初期パラメータの組は、図
３に参照記号Ｍ₁₂ ⁱ （ｔ）によって示されている。

【００３３】第２の中間処理段階２０は、その目的のた
めに、第３の最終段階で得られる決定的動きパラメータ
の評価を容易にすべきである。これが可能性に過ぎない
のでなければ、この目標を得るための本質的処理演算
は、理論的理想（第１次関数）に近付けるために、すな
わち評価過程の収斂をうるために理論が必要とする数学
的仮説を立証するために、輝度信号を修正することであ
る。この処理演算は、例えば、平面の４方向で等方性ガ
ウス・フイルタを用いることによる（Ｓ（ｔ−１），Ｓ
（ｔ），Ｍｉ（ｔ）は変更されない）Ｐ（ｔ−１）およ
びＰ（ｔ）の濾波よりなる。フイルタのかかる選択は、
画像内の輝度信号を単純化し、局部的最小点をできるだ
け避けることにより収斂を容易にするのに有用な、輪郭
の円滑化と、画像内のかかる輪郭の十分な位置設定の維
持との極めて良好な妥協を確実にする（評価した動きの
精確さを十分にするために、画像の十分な詳細を保存す
るのが望ましい）。濾波した画像は図３に参照記号Ｐ′
（ｔ−１）およびＰ′（ｔ）で表わされ、中間処理段階
２０の期間に実現されるこの予備処理演算の後に利用し
得る動きパラメータの組は、図３に参照記号Ｍ
₂₃ ⁱ （ｔ）で表わされている。

【００３４】反復して動き評価を精錬する第３段階３０
は、その目的のために、該当領域について動きパラメー
タの決定的な評価を行なうべきである。この段階の期間
中に行なう繰返し過程は、例えば、予め決めた反復回数
に達したとき、などの所定の基準で（先行した動き評価
を許す動き補償の期間に十分な品質に達したときや、新
たな繰返しによる改善が無視されるようになったときに
反復を停止するなど、他の基準や幾つかの基準の組合わ
せも提案されている）、終了する。

【００３５】まず第一に、現下の画像Ｐ（ｔ）の各領域
について、ベクトル（Ｄｘ，Ｄｙ）が探索され、その結
果、その領域内の各点について、ＤｘおよびＤｙが当該
領域に対する動きの型に関係した次数の多項式であると
して、Ｌ（ｘ，ｙ，ｔ）＝Ｌ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ
−１）となることを想起すべきである。二つのＬ（・）
項の同等性は、動き評価の質の程度により近似性に多少
の差をもって実現し得るに過ぎないが、その近似性をな
るべく満足なものにするために、使用する基準を最小の
二次誤差を決めるためのものとし、当該領域の各画素に
おける予測誤差の自乗値の総和、すなわち、ｘおよびｙ
が当該領域Ｒｉ内の画素群の各座標に対応したすべての
値をとるものとした、つぎの表現 Σ（Ｌ（ｘ，ｙ，ｔ）−Ｌ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ−１））² （１） が最小となるようにする。この表現（１）は、つぎのよ
うな短縮形（ＤＦＤ＝変位枠差） Σｘ，ｙ（ＤＦＤ（ｘ，ｙ，Ｄｘ，Ｄｙ））² （２） で表わされる。（表現（２）による）かかる数学的最小
化演算は、ｄｘおよびｄｙが、それぞれ、Ｄｘ_o および
Ｄｙ_o に対して極めて小さいものとしてＤｘ＝（Ｄｘ_o
＋ｄｘ）およびＤｙ＝（Ｄｙ_o ＋ｄｙ）とするガウス−
ニュートン方法によって巧みに行われることが知られて
いる。第１次展開によると、つぎの（３）式が得られ
る。

【００３６】

【数１】 したがって、最小化すべき表現（１）は、つぎの表現
（４）となる。

【００３７】

【数２】 この表現（４）において、ｄｘおよびｄｙの各係数に対
する導関数は、動きパラメータに対するこの表現の最小
値を特徴づけるために消去して零に等しくし、ｎ個の未
知数を有するｎ個の式の組合わせとなる。

【００３８】この式の組合わせの解は、最小二次誤差と
なる動きパラメータの変形であり、この式を解くため
に、マトリックス形式で表わすと、つぎの（５）式とな
る。 〔Ａ〕，〔ｘ〕＝〔Ｂ〕 （５） ベクトルｘは探索するパラメータを表わし、マトリック
スの各項は、現下の画像の画素群の座標、（先行画像に
おける）画素群の先行位置に対して水平および垂直の勾
配および現下の画像および先行画像におけるこれらの画
素位置での輝度値によって決まる。分割像Ｓ（ｔ）の各
領域Ｒｉについて、反復の度毎に、マトリックスＡおよ
びＢを構成しなければならず；そのようにして得た反転
マトリックスにマトリックスＢを乗算してベクトル解ｘ
を得なければならず、（領域Ｒｉについての）動き情報
は、したがって、このベクトル解ｘの成分をその動き情
報の以前の表現に付加することによって更新することが
できる。

【００３９】マトリックスＡを構成するには、現下の画
像の各点の以前の位置に対応する先行画像の各点におけ
る輝度値を計算しなければならず、現下の画像の動きと
各点の位置とは以下に述べる予測演算により既知であ
り、同じ各点おける水平・垂直の勾配の値は計算しなけ
ればならず、かかる計算は、局部基準に表わした（すな
わち、領域に関係した）パラメータの値について行なわ
なければならない。各領域について、２組のパラメータ
が蓄積され、一方では、Ｍｉ^cv（ｔ）で表わす評価・収
斂中のパラメータ、他方では、Ｍｉ^f （ｔ）で表わす、
各領域に対して最良の結果を与えるパラメータが蓄積さ
れる。精錬段階３０の始端においては、かかる二つの動
きが処理済みパラメータの初期化から生じた初期の動き
（図３におけるＭ₁₂ ⁱ （ｔ））に等しい。したがって、
Ｍｉ^cv（ｔ）は、繰返して精錬されるとともに、検討中
の領域に対してつぎの動きのうち最良の結果を与える動
きに対応したＭｉ^cv（ｔ）に各反復の終端毎に取り換え
られる。なお、つぎの動きとは現下の領域について正し
く計算したパラメータＭｉ^cv（ｔ）と分割像Ｓ（ｔ）に
おける領域ｉに隣接した領域ｊのパラメータＭｊ
^cv（ｔ）とであり、これらの動きは領域ｉに対応する局
部基準で再変換される。最後に、この保留された動き
は、隣接領域に向かう伝搬を発生させ、かかる隣接領域
に対しては、この動きに基づいた最小予測誤差に対する
探索が取り戻され、より小さい予測誤差に効果的に到達
するように選択される。精錬段階の反復の度毎の出力端
には、分割像Ｓ（ｔ）の領域ｉ毎に決まる動き情報（図
３におけるＭ₃₂ ⁱ （ｔ）で表したパラメータ）が中間処
理段階２０の入力端に向かって送られる。

【００４０】つぎに、マトリックスＡの構成に必要な予
測演算について説明する。座標（Ｘ，Ｙ）の画素につい
ては、予測により、Ｓ（ｔ），Ｐ（ｔ−１）およびＭ
（ｔ）に基づき、Ｌ（Ｘ，Ｙ，ｔ）で表わした時点ｔに
おけるその位置での予測輝度値の決定が可能となる。画
像の各点で行なわれるこの演算は、つぎの２段階からな
っている： （ａ）時点（ｔ−１）におけるこの画素の非整数座標の
計算： −位置（Ｘ，Ｙ）における標識Ｓ（ｔ）の画像の読取り
による画素が属する領域の標識ｉの探索； −この画素に対し、この標識に対するＭｉ（ｔ）の読取
りによる動き情報（動きの型およびパラメータの値）の
選択； −動きの型および領域のパラメータの値に関する、座標
の関数としての画素の変位（Ｄｘ，Ｄｙ）の計算（例え
ば、６個のパラメータが在る、関係した動きの場合に
は、動きパラメータを全体的基準に関して表わしたとき
の（Ｄｘ，Ｄｙ）＝（ａ₁ ＋ａ₂ ・Ｘ＋ａ₃ ・Ｙ，ａ₄
＋ａ₅ ・Ｘ＋ａ₆ ・Ｙ）、もしくは、動きパラメータを
その領域における局部基準に関して表わしたときの（ｄ
ｘ，ｄｙ）＝（ａ₁ ＋ａ₂ ・Ｘ＋ａ₃ ・ｙ，ａ₄ ＋ａ₅
・ｘ＋ａ₆ ・ｙ）が得られる）。したがって、上述の変
位は、この画素について時点（ｔ−１）における座標
（Ｘ−Ｄｘ，Ｙ−Ｄｙ）を引出す可能性を提供する（か
かる座標が画像の外側に在る場合には、画像に組合わさ
れた最近の点の座標を採用するが、見出した座標は、パ
ラメータが存在しないので、必ずしも整数値とはなら
ず、したがって、その点の輝度を引き出すためには補間
を行わなければならない）： （ｂ）先行画像Ｐ（ｔ−１）の輝度および座標の計算：
輝度は、現在の場合、画素の１／１６の精度の長さ５を
有する二立方単一次元フイルタを用いて補間される（画
像のエッジの画素群の場合には、中央値を保存する２輝
度値を得るために、画像のエッジにおける反映と呼ばれ
る演算により、同一フイルタに対して水平および垂直に
補間が行なわれる）。

【００４１】勾配の計算については、輝度に対するのと
同様に、その値を補間する必要がある。この演算の予測
の際に用いた補間との合着を確実にするためには、使用
するフイルタは、輝度に対して用いた、画素の１／３２
の精度を有する長さ５のものから引き出す。水平・垂直
の濾波演算から生じた値を独立して用い、したがって、
平均はしない（輝度に対するのと同じ反映演算を行い得
る）ことを除き、補間は、水平および垂直の方向に同じ
フイルタを用いて行なわれる）。

【００４２】理論では、マトリックスＡは、領域の全部
の点における項の総和の助けによって構成しなければな
らない。ある点は、（小さい対象物や寄生運動などとの
連合、露出帯域等）誤差要因となり得る。かかる点を選
択することの簡単な制限は、実際に評価した動きがＳ
（ｘ，ｙ，ｔ）＝Ｓ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ−１）と
なるような点（ｘ，ｙ）のみを留保することである。こ
の制限は、分割が画像の内容とよく合着するほど有効に
なる。

【００４３】一旦、マトリックスＡが構成されると、そ
れが特異であるか否かが試される。特異でなければ、ハ
ウスホルダ方法と呼ばれる方法による転換が行なわれ、
特異であれば、動きは精錬されず、動きパラメータ（情
報Ｍｉ^cv）はその反復の始点で変化しないままとなり、
よりよい動きの選択に直接進むことになる。領域は、精
錬段階で供給された情報Ｍｉ^cv（ｔ）および分割像Ｓ
（ｔ）において領域ｉに隣接する領域ｊ毎に対応して、
領域ｊの局部基準で表現された情報Ｍｊ（ｔ）を用いて
予測される。その領域における予測誤差はその都度計算
される。すべての誤差が先行情報Ｍｊ^f （ｔ）に対応す
るものより高い場合には、このよりよい動きが変化しな
いままであり、然らざる場合には、最小予測誤差を発生
させた動きが決定的に保留され、対応する新たな情報は
Ｍｊ^f （ｔ）で表わされる。以上から分かるよう、保留
された動きの制御された伝搬が可能となり、Ｒｉに近接
した各領域Ｒｊについては、その領域の予測誤差がパラ
メータＭｊ^f （ｔ）に基づいて計算され、その誤差がＭ
ｉ^f （ｔ）から得た予測誤差より小さい場合には、Ｍｊ
^f （ｔ）はＭｉ^f （ｔ）により取って替えられる。

【００４４】以上に記載した方法は、図４に示す動き評
価装置４０で行なわれ、動き評価装置４０は、この場
合、現下の画像の各領域の動きパラメータを初期化する
ための第１過程４１を備え、動き仮説を選択し、各領域
について、その領域の画素群における予測誤差の自乗値
の総和が最小となる動きを選択することにより第１初期
化段階１０を実行するためには、第２段階２０を実行す
るための第２中間処理過程４２および各領域と組合わさ
れたベクトル（Ｄｘ，Ｄｙ）の近似決定により第３段階
３０を実行するために動きパラメータを精錬するための
第３過程４３が後続している。第２および第３の過程４
２および４３は、所定基準の関数としてのその処理過程
の終端までの反復処理過程に従い、ループをなして提供
されている（この場合、この反復処理の収斂の加速を意
図した等方性ガウス・フイルタ演算をこの中間処理演算
は備えている）。

【００４５】この動き評価装置の特に重要な用途は、１
９９５年１０月２５日出願の欧州特許出願第９５４０２
３８９．１号明細書に記載のように分割画像を符号化す
る方式中の地位である。この明細書に記載された方式の
全詳細を想起することなく、その本質的特徴を規定する
のは有用である。特に、各部分が輪郭で、したがって、
組合わせた標識で同定した領域で囲まれた初期像の系列
に対応する分割像すなわち仕切りの符号化を意図したこ
の方式は、符号化自体に先立ち、現下の部分と呼ばれる
順次の各部分について、最良の仕切りと呼ばれ、現下の
部分に基づく特殊な過程に従って規定される仕切りを発
生させる手段の組合わせを備えている。

【００４６】この最良の仕切りは、併置した領域群から
なるが、それらの領域の源は、始めからのものであり、
現下の部分像に先行する部分像の動き評価および補償に
よって決まる主要部分像もしくは投影部分像から直接に
抽出した領域、あるいは、主要部分像の領域の併合もし
くは反対に再分割によって作り出した付加的な部分像か
ら抽出した領域である。このようにして、種々のレベル
の領域からなる部分像の一種の樹が構成され、分割の過
程により、符号化すべき最良部分像を構成する領域の最
終組合わせが、現下の各部分像について選出される領域
の組合わせを提供することになる。

【００４７】この符号化方式において領域の可能な併合
を実現するには、図５に示すように、動き評価装置５１
および領域の併合を提案するための装置５２を備えて、
領域を併合するための回路５０を少なくとも備える。前
述した種類（装置４０）の動き評価装置５１は、一方で
は、それぞれ先行画像および現下の画像と呼ばれる二つ
のもとの構成画像Ｐ（ｔ−１）およびＰ（ｔ）、他方で
は、ＰＪ（ｔ）と表わされる投影部分像と同様にＰ（ｔ
−１）に対応し、時点（ｔ−１）と（ｔ）との間のＰＪ
（ｔ）の各領域の動きを表わす部分像ＰＪ（ｔ）の動き
パラメータを計算する分割像すなわち部分像Ｓ（ｔ−
１）を受入れる。

【００４８】ＰＪ（ｔ）の動きパラメータが既知の場合
には、近隣領域併合の経費結果の評価は、領域併合装置
５２で行われる。近隣領域の可能な各対については、併
合の結果が計算され、併合の最小結果を呈する領域の対
が選択される。例えば、第１の併合基準によれば、二つ
の領域が単一の領域と見做される状況（すなわち、二つ
の領域が動きパラメータの同じ組合わせにより動き補償
を施された場合）に対応した予測誤差の符号化の結果が
その二つの領域間の境界を構成する輪郭の符号化の結果
より小さい場合には、二つの近隣領域が（単一領域に）
再配置され、符号化方法が予め知られていない場合に用
いられる他の基準によれば、補償誤差が考慮に入れら
れ、考察中の結果は、当該２領域が個別に補償された場
合の平均二次（補償）誤差となる。その場合には、かか
る２領域を併合する提案が恐らくなされるので、新たな
分割像ＰＭｉ（ｔ−１）とＰＭｉ（ｔ）とを併合する場
合には、以後利用可能となる。

【００４９】かかる２部分像ＰＭｉ（ｔ−１）およびＰ
Ｍｉ（ｔ）は、もとの画像Ｐ（ｔ−１）およびＰ（ｔ）
とともに、動き評価の可能な繰返しおよび提案過程の併
合のために、（第２動き評価装置５１ｂおよび第２併合
提案装置５２ｂを備えた）領域を併合するためと他の可
能な併合レベルのためとの第２回路５０ｂに伝送される
信号を構成する。したがって、これらの併合レベルの集
合は、最良の仕切りを構成する領域群が選ばれた部分像
の樹を構成するための再分割によって得られた同様のレ
ベル群と組合わされる。

【００５０】本発明は、上述した実施例に限定されるも
のではなく、かかる実施例に基づいた幾多の変形が、本
発明の範囲を逸脱することなく考えられることに留意す
べきである。

【００５１】例えば、動きパラメータを初期化する第１
段階１０においては、考慮に入れたもの以外の動き仮説
を選び、もしくは、考察中の領域Ｒｉの初期の動きとし
て、最小予測誤差を発生させるものの選定を行なう前に
多数の動き仮説を選ぶことができる。

【００５２】中間処理の第２段階の過程においては、副
標本化演算によりパラメータを評価する過程を加速し、
もしくは、以前に提案した濾波演算によりこの過程の収
斂を容易にしてしまった後で、画像の組織的解析を行な
うことにより局部的最小値で終わることからその過程の
収斂を防ぐこともできる。評価の原理は同一のままであ
るが、（評価すべき動きにより近い、という事実により
簡単化されているにも拘わらず）実行の差異はつぎのと
おりである： −初期化；各領域については、仮説「零の動き」もしく
は仮説「ベクトルの場」ともに既述）が試みられ、引続
いて、考察中の領域の「親」領域および考察中の領域に
隣接した領域群の各親領域の動きが、Ｓ（ｔ）が新たな
分割から生じた場合に試みられ、あるいは、領域の併合
からＳ（ｔ）が生じた場合に、考察中の領域「子」領域
および考察中の領域に近接した領域群の各子領域全部の
動きが試みられる。 −予備処理：濾波演算なし； −精錬：無濾波画像群について行なわれる。

【００５３】動きパラメータを精錬する第３段階３０の
期間中、精錬計算は、領域に描く水平矩形の中心を中心
とし、画像のエッジにエッジが平行の考察中の領域にお
ける局部基準で行なわれ、一方、ｘおよびｙにおけるユ
ニットは、これらの方向における領域の最大寸法を標準
化係数で割ったものとなる。図６は、図示の形状の領域
について標準化係数が２に等しい場合における局部基準
のかかる一例を示す。関係した動きの水平成分に対する
基準を変更する例は、この場合、水平および垂直の最大
寸法ＬｘおよびＬｙを有する領域に対し、中心が画像に
関係した全体的基準に対して座標（Ｘｃ，Ｙｃ）を有
し、局部的に表わした水平の動き成分がＤｘ＝ａ＋ｂ・
ｘ＋ｃ・ｙとなる組合わされた局部的基準によって明ら
かにされる。Ｎを標準化の係数とすると、画像に関係し
た全体的基準に表わしたパラメータはＡ，ＢおよびＣと
なり、したがって、この領域Ｒ内のＸおよびＹには無関
係に、つぎのようになる。

【００５４】

【数３】

【００５５】その他の実施例、例えば、予測演算に用い
られ、固定のピッチを有するが、可変ピッチを有するこ
ともでき、あるいは、マトリックスＡが構成されている
場合には、ノイズもしくは閉塞現象に従う画素群を阻止
し、さらに、探索した動きによって輝度変化が導入され
る点により多くの重みを与えるために領域内の他の画素
群の貢献に重みづけをなし得る二立方フイルタなども可
能である。さらに留意すべきこととして、上述したとこ
ろは本発明の特殊な実施に対応するに過ぎず、例えば、
以上の説明における一部のもしくは全部の要素の機能に
対応する指示の系列を実行するためのマイクロプロセッ
サを特に含める実施例も可能であり、これらはすべて本
発明によるものである。

【図面の簡単な説明】

【図１】分割像、すなわち、原画像の予備解析から生じ
た分割の例を示す線図である（分割自体の原理は、如何
なる形態であれ、本発明の一部をなすものではない）。

【図２】順次の２画像Ｐ（ｔ−１）およびＰ（ｔ）間の
動きを模式的に示す線図である。

【図３】本発明による評価過程の反復性の各段階を示す
ブロック線図である。

【図４】本発明方法を実施するための動き評価装置の構
成例を示すブロック線図である。

【図５】図４に示したような動き評価装置をそれぞれ備
えた領域併合のための一連の回路（ここでは２回路）の
分割像符号化方式における構成例を示すブロック線図で
ある。

【図６】例えば２係数標準化による局部基準の例を一領
域について示す線図である。

Claims (11)

【特許請求の範囲】
1. 【請求項１】 標識で固定したＩ個の領域Ｒｉからなる
   分割像すなわち部分像の系列Ｓ（ｔ−ｎ),Ｓ（ｔ−ｎ＋
   １),‥‥，Ｓ（ｔ−２),Ｓ（ｔ−１),Ｓ（ｔ),‥‥に対
   応する系列Ｐ（ｔ−ｎ),Ｐ（ｔ−ｎ＋１),‥‥, Ｐ（ｔ
   −２),Ｐ（ｔ−１),Ｐ（ｔ),‥‥も形成する像間の動き
   を評価する方法において、領域Ｒｉ毎に、動きパラメー
   タで規定した動きベクトルの形で、先行画像Ｐ（ｔ−
   １）に対する現下の画像Ｐ（ｔ）の動きを表わす情報Ｍ
   ｉ（ｔ）を供給するために、現下の画像の各領域に対し
   て行なわれるつぎの３演算 （１）分割Ｐ（ｔ−１）およびＰ（ｔ）以前の各画像、
   分割Ｓ（ｔ−１）およびＳ（ｔ）並びに当該方法の先行
   実施において先行画像Ｐ（ｔ−１）につき評価した動き
   情報Ｍｉ（ｔ−１）の関数として現下の画像Ｐ（ｔ）の
   各領域Ｒｉの動きパラメータを初期化する第１過程 （２）動きおよびその動きのパラメータの評価を行なっ
   た画像を中間処理する第２過程、並びに、当該領域Ｒｉ
   におけるそれぞれの画像の全画素群に対するベクトル
   （Ｄｘ，Ｄｙ）の形の最終決定に対し、当該領域の各座
   標点につき、Ｌ（．）が輝度信号もしくは色度信号と輝
   度信号との組合せのようなもっと複雑なビデオ信号を表
   わし、Ｄｘ，Ｄｙが当該領域の動きの型に関連した次数
   の多項式であるとして、Ｌ（ｘ，ｙ，ｔ）＝Ｌ（ｘ−Ｄ
   _x,ｙ−Ｄ_y,ｔ−１）となるように動きパラメータを精錬
   する第３過程 （３）動き情報Ｍｉ（ｔ）を最終的に得るために、少な
   くとも所定基準の関数として、反復処理の終端まで中間
   処理および精錬を繰返し行なう前記第２および第３の過
   程の反復を順次行なうことを特徴とする画像動きの評価
   方法。
2. 【請求項２】 動きパラメータを初期化する前記第１過
   程が、つぎの副過程 （Ａ）考察中の各領域Ｒｉに対して動き仮説を規定する
   第１副過程 （Ｂ）画像Ｐ（ｔ−１）に基づき、先行動き仮説を考慮
   して、画像Ｐ（ｔ）における各領域Ｒｉに対する領域を
   予測するとともに、対応する予測誤差を計算する第２副
   過程 （Ｃ）考察中の各領域Ｒｉについて計算した予測誤差を
   相互比較するとともに、その領域の初期の動きとして、
   最小予測誤差に対応する動き仮説を選定する第３副過程
   を備えていることを特徴とする請求項１記載の評価方
   法。
3. 【請求項３】 中間処理の前記第２過程が等方性ガウス
   ・フィルタによる濾波前処理演算を行なうことを特徴と
   する請求項２記載の評価方法。
4. 【請求項４】 考察中の各領域Ｒｉに組合わせたベクト
   ルＤｘ，Ｄｙの決定のために、前記第３の精錬過程が、
   当該領域Ｒｉの画像の画素群もしくはその画素群の一部
   に対する予測誤差の自乗値の Σ（ｘ，ｙ)(Ｌ（ｘ，ｙ，ｔ）−Ｌ（ｘ−Ｄ_x,ｙ−Ｄ_y,
   ｔ−１)² と書かれる総和を最小化する演算を行なうことを特徴と
   する請求項２記載の評価方法。
5. 【請求項５】 (Ｄｘ₀ ＋ｄｘ）および（Ｄｙ₀ ＋ｄ
   ｙ）をそれぞれＤｘおよびＤｙに置換した後に前記総和
   の１次限定展開を行ない、ｄｘおよびｄｙの各係数につ
   いて当該限定展開の導関数を零に等しくし、最小二次誤
   差に通ずる動きパラメータの変化値として以上の演算に
   引続いて得られるｎ個の未知数を有するｎ個の等式の組
   の解を留保することによるガウス・ニュートン近似法に
   よって前記最小化を達成することを特徴とする請求項４
   記載の評価方法。
6. 【請求項６】 初期化、中間処理および精錬の前記３演
   算に、各領域Ｒｉ毎につぎの副過程 （ａ）画像Ｐ（ｔ−１）に基づき、Ｐ（ｔ）における近
   隣領域をそれぞれ予測し、前記最終決定から生ずる動き
   パラメータに組合わされた領域に対応する近隣領域の動
   き仮説を考慮し、対応する付加的予測誤差を計算する新
   たな副過程 （ｂ）前記付加的予測誤差と考察中の近隣領域の初期の
   動きとして留保した動き仮説に組合わされた予測誤差と
   を比較し、前記近隣領域のそれぞれの動きとしてかかる
   ２とおりの予測誤差の最小のものが対応する領域を選定
   する副過程が繰返される各領域Ｒｉに隣接する領域への
   被制御伝搬の付加的演算が付随することを特徴とする請
   求項２乃至５のいずれかに記載の評価方法。
7. 【請求項７】 標識で同定したＩ個の領域Ｒｉからなる
   分割像すなわち部分像の系列Ｓ（ｔ−ｎ),Ｓ（ｔ−ｎ＋
   １),‥‥，Ｓ（ｔ−２),Ｓ（ｔ−１),Ｓ（ｔ),‥‥に対
   応する系列Ｐ（ｔ−ｎ),Ｐ（ｔ−ｎ＋１),‥‥, Ｐ（ｔ
   −２),Ｐ（ｔ−１),Ｐ（ｔ),‥‥を形成する像間の動き
   を評価する装置において、領域Ｒｉ毎に、動きパラメー
   タで規定した動きベクトルの形で、先行画像Ｐ（ｔ−
   １）に対する現下の画像Ｐ（ｔ）の動きを表わす情報Ｍ
   ｉ（ｔ）を供給するために、つぎの３段階、すなわち、
   動き仮説を選定するとともに、各領域毎に、その領域の
   画像の画素群における予測誤差の自乗値の総和が最小と
   なる動きを選択することによって現下の画像の各領域の
   動きパラメータを初期化する第１段階、中間処理を行な
   う第２段階および各領域に組合わされたベクトル（Ｄ
   ｘ，Ｄｙ）の近似決定により動きパラメータを精錬する
   第３段階を順次に備え、第２および第３の各段階は、所
   定基準の関数として反復処理によりその終端までループ
   をなして設けたことを特徴とする評価装置。
8. 【請求項８】 前記中間処理演算が前記反復処理の収斂
   を促進することを意図した等方性ガウス濾波演算を備え
   ていることを特徴とする請求項７記載の評価装置。
9. 【請求項９】 前記動き仮説が４を数え、すなわち、動
   き零、領域の重心の動きと等価に変換した動き、先行部
   分画像におけるその標識と近隣との間で最善と評価され
   た動きおよびＢＭＡと呼ばれる区画整合方法を行なうこ
   とによって評価された動きとなることを特徴とする請求
   項７または８記載の評価装置。
10. 【請求項１０】 組合わされた標識により同定された輪
    郭および領域によって部分像が囲まれた初期像の系列に
    対応する分割像すなわち部分像を符号化し、現下の部分
    像と呼ばれる順次の部分像毎に、主要部分像と呼ばれる
    部分像から抽出して現下の部分像に先行する部分像の動
    き評価および補償によって直接に決定される領域、また
    は、前記主要部分像の領域の併合もしくは反対に再分割
    によって創造された付加的部分像から抽出した領域から
    成り、最良部分像と呼ばれる部分像に対応する符号化信
    号を発生させる手段を備えた符号化方式において、可能
    な併合を期待して、少なくとも領域群を併合する回路を
    備えるとともに、請求項７乃至９のいずれかに記載の動
    き評価装置および当該領域群の併合を決定する装置を備
    えたことを特徴とする部分像符号化方式。
11. 【請求項１１】 前記主要部分像と組合わせるととも
    に、符号化されるべき前記最良部分像を構成する領域の
    最終組を各現下の部分像毎に選択する領域の完全な集ま
    りを提供する部分像の樹を構成するために順次の再分割
    によって同様に決定した下側レベルと組合わせた上側レ
    ベルと呼ばれる明瞭な部分像レベルと同数のレベル群を
    構成するために複数の領域併合回路を直列に備えたこと
    を特徴とする請求項１０記載の部分像符号化方式。