JP2000511316A

JP2000511316A - 制御点の自動位置決めのための画像／制御点位置結合の基本成分解析

Info

Publication number: JP2000511316A
Application number: JP09542523A
Authority: JP
Inventors: コベル，ミシェル; ブレグラー，クリストフ
Original assignee: インターバルリサーチコーポレイション
Priority date: 1996-05-21
Filing date: 1997-05-21
Publication date: 2000-08-29
Also published as: CA2255957A1; AU2941197A; WO1997044757A2; US6628821B1; EP0901667A2; WO1997044757A3; AU734055B2; US6400828B2; US20010028731A1; US6188776B1

Abstract

(57)【要約】一組の測定可能データ、例えば画像、からの隠れデータ、例えばこの画像の中の制御点に基づく形態、の識別を２段階アプローチで達成する。第１段階は、学習プロセスを伴い、そこでは多数の組のサンプルデータを解析して、画像の目に見える面のような、測定可能データと、制御点のような、所望の隠れデータの間の対応を識別する。二つのモデルを作る。測定したデータの整列した形態例から形態外観だけのモデルを作る。更に、各ラベル付けしたデータの組を処理して、整列した測定データと関連する隠れデータの結合モデルを作る。画像処理の実施例で、これら二つのモデルは、物体外観の、およびその外観とその物体表面の一組の位置の結合の、アフイン多様体モデルでもよい。このプロセスの第２段階では、この形態外観だけのモデルを使って、モデルにした形態を印のない、未整列のデータの組に位置付ける。この位置を整列点として使い、次に、結合したモデルを整列したデータに適用して、そのデータの組に対する隠れデータ値の推定を得る。この画像処理の例では、物体の外観モデルを異なる画像位置と比較する。次に、これらの整合位置を整列点として使い、その整列した画像の外観から、および結合したモデルから、物体表面上の位置を推定する。

Description

【発明の詳細な説明】制御点の自動位置決めのための画像／制御点位置結合の基本成分解析発明の分野本発明は、オーディオ解析、画像解析およびビデオ解析のような、データ解析に関し、更に詳しくは、測定データからの隠れデータの推定に関する。画像解析に対して、この隠れデータ推定は、画像で物体上の対応する基準点を識別するために、印のない画像または画像系列上に制御点を配置することを伴う。発明の背景ある種のデータ解析およびデータ操作作業は、“隠れ”データを測定可能データから最初に誘導することを要する。例えば、音声解析の分野では、測定可能データの一つの形が音声サンプルのピッチ同期フレームである。音声信号に線形予測コーディング(coding)を行うために、このピッチ同期フレームにラベルを付けて声道位置を識別する。このピッチ同期データは、それがそのデータに内在的であり、既知の信号処理技術を使い、簡単に音声サンプルとフレーム・ウインドウの間の正しい整列によって、容易に誘導出来るという意味で測定可能である。それに反して、声道位置は、ある外在的仮定（例えば、均一な長さの部分を有し、その各部分の幅が一定な音波導波路）を使うか、データベースの例（例えば、ラベル付きデータのある線形多様体モデル）から誘導したパラメータ値に一般的モデリング枠組みを使って推定しなければならない。従って、声道位置は、“隠れ ”データとして知られている。画像処理の用途で、画像の測定可能データには、色または個々の画素のグレースケール値、レンジ・データ等がある。ある種の画像解析では、物体の形状または運動を識別するための基準となる特定の点を識別することが必要である。例えば、身振り認識では、各指の位置および運動を識別することが有用である。他の種類の画像処理用途は、画像操作に関連する。例えば、一つの画像をもう一つの画像に変換する、画像変形では、二つの画像の各々で対応点を識別することが必要である。例えば、顔の画像を別の顔の画像に変形すべきときは、二つの画像の各々で、鼻の輪郭および先端、目および瞳の輪郭、口の内および外の境界、上および下の歯の上端および下端、髪の生え際等を示す点を識別することが適当かもしれない。二つの画像で対応点を識別すると、それらは、一つの画像から他へ変換するときに、画素の操作を制御するための制約として役立つ。同様に、制御点は、画像の一部をビデオ・フレームに取り込む、ビデオ構成作業で有用である。やはり、二つの画像で対応点を指定し、取り込んだ画像がそれを取り込むビデオ・フレームの形態と適正に整列し、比例するようにしなければならない。これらの制御点は、画像の隠れデータの一つの形である。過去には、画像の制御点のような、隠れデータの識別を典型的には手作業ベースで行った。例えば、大抵の変形プロセスでは、ユーザが、最初の画像と最後の画像に、手作業で全ての対応する制御点を指定することが必要だった。もし、二つの画像しか関係なければ、この要求は、幾らか退屈だが、処理可能である。しかし、多数の画像を含むデータベースが関係する場合、各画像に制御点を手で指定する要求は、極めて厄介になる。１９９６年３月２５日提出の米国特許出願第０８／６２０，９４９号は、異なる口の位置の画像をデータベースから選択し、サウンドトラックに同期して、ビデオ・ストリームに取り込む、ビデオ操作システムを開示している。最高の結果を得るためには、人の口の画像上で種々の基準点を識別する制御点を、データベースに記憶する各口画像は勿論、ビデオの各フレームに対して指定する。これらの制御点は、口の画像をビデオ・フレームで人の顔の画像と整列するための基準として役立つ。そのような用途で、種々の画像全てに対して制御点を手によって指定することは、極めて厄介になることが分かる。画像の顕著な成分を自動的に認識するための大抵の従来の努力は、画像内の形態に集中している。例えば、“顔の認識のための観察に基づくモジュール固有空間”、ペントランド外、ＩＥＥＥＩＣＣＶＰＲ’９４議事録、１９９４、および “物体検出のための確率的視覚学習”、モガダン外、ＩＥＥＥＣＶＰＲ議事録、の二つの論文は、鼻、目、および口のような、顔の種々の形態を自動的に認識できる技術を開示している。一旦、これらの形態を識別すると、各形態に対して整列点を指定し、新しく整列した形態の、これらの形態の期待する外観からの偏差を顔の認識のために使うことが出来る。この技術は、顔の認識のような用途でデータ整列のために有用であるが、それだけでは、変形および画像構成のような、画像操作技術、または一般的身振りまたは表情認識のような、多数の特定点の位置付けに頼る、他の種類の画像処理に対して十分な数のデータ点を提供しない。画像からデータ点を決めるためのその他の従来技術は、能動的輪郭モデルまたは形状＋テクスチァ・モデルを使用する。“スネーク”(snakes)としても知られる、能動的輪郭モデルは、Ｍ．カス、Ａ．ウイットキン、Ｄ．テルゾポーラス、 “スネーク、能動的輪郭モデル”、ＩＥＥＥコンピュータビジョンについての国際会議、１９８７、およびＣ．ブレッグラおよびＳ．オモフンドロ、“表面学習および読唇術への応用”、神経情報処理システムズ、１９９４に記載されている。これらの参考文献に記載されているアプローチは、“エネルギー関数”の局所極小値を見付けるために緩和技術を使い、そのエネルギー関数は、画像のグレースケール値から決まる外部エネルギー項と、その形状のスネークまたは輪郭それ自体から決まる内部エネルギー項の和である。この外部エネルギー項は、典型的には、局部画像勾配またはある期待値からの局部画像差を計量する。内部エネルギー項は、典型的には、局部“形状”（例えば、曲率、長さ）を計量する。ブレッグラおよびオモフンドロの参考文献は、スネークの全体の形状と内部エネルギー項として追求している輪郭の期待する形状の間の距離の計量値を使用することを開示している。スネークは、制御点位置をもたらすと容易に見なすことが出来、ブレッグラ外の参考文献が教示する、スネークの延長は、例に基づく学習をこれらの制御点の推定位置を束縛するために例に基づく学習を利用できるようにする。しかし、画像の外観と形状束縛の間に直接の連携はない。これは、ユーザの経験におよび検討中の問題に対する彼の精通度に大いに依存する、“正しい”エネルギー関数の誤差の出やすいプロセスを発見することになる。この完全なエネルギー関数は、トレーニング・セットの例のデータ解析からは、容易且つ自動的には出てこない。形状＋テクスチァ・モデルは、Ａ．ラニティス、Ｃ．Ｊ．テイラー、Ｔ．Ｆ．クーテス、“顔画像をコーディングし、解釈するための統一アプローチ”、コンピュータビジョンについての国際会議、１９９５、およびＤ．ベイマー、“インタリービング形状およびテクスチァの計算による顔画像のベクトル化”、Ａ．Ｉ．メモ１５３７に記載されている。形状＋テクスチァ・モデルは、形状記述（例えば、輪郭位置またはマルチポイント位置）＋この形状記述に関連する特定のオフセットでの期待グレースケール値のようなテクスチァ記述を表示する。ベイマーの参考文献は、テクスチァ用のモデルが、例ベースで、形状トリ−画像のデータベースの基本成分解析から誘導したアフィン多様体モデル記述を使用することを開示している（即ち、画像は、それらの形状記述を整列するために、予めワープされている）。この形状モデルは、拘束されず（それを参考文献は“データ駆動”と称する）、ラベル付けの際、光学的な流れから誘導した画素レベルのマッピングを基に任意に変えられる。ラニティス外の参考文献では、形状モデルとテクスチァ・モデルの両方をアフィン多様体モデル記述を使ってデータベースの基本成分解析から誘導する。形状モデルに対しては、形状記述位置（制御点（ｘ，ｙ）位置）を直接（グレースケール画像データと独立に）解析して形状多様体を得る。テクスチァ・モデルに対しては、ベイマーの参考文献にあるように、グレースケール画像の例を予めワープして“形状の無いテクスチァ”を提供し、これらの形状の無いテクスチァを解析してテクスチァ多様体モデルを得る。他の参考文献では、反復技術を使って、新しい（未ラベル付けの）画像上の制御点位置を推定する。最初に、新しい画像に対する形状記述を推定し（例えば、ｘ、ｙ制御点位置を推定する）、この形状モデルと矛盾しない形状記述だけを許容する。ベイマーの参考文献では、これはどんな形状記述でもよい。次に、この推定した形状モデルに従って新しい画像データをワープすることによって、“形状の無いテクスチァ”画像を計算する。この形状の無いテクスチァ画像とテクスチァ・モデルの間の距離を使って、形状の新しい推定を決める。ベイマーの参考文献の場合、この新しく推定した形状は、形状の無い未ラベル付け画像とテクスチァ多様体の最近点の間の拘束されない光学的流れによって決まる。ラニティスの参考文献は、新しい形状モデルは、形状多様体上に無ければならないと言う制限を追加して、類似の更新機構を使う。ある不特定基準を満たすまで反復してから、最後の形状記述を使って入力画像上の制御点位置を記述することが出来る。形状＋テクスチァ法は、多くの制御点位置に対して推定する。それらは、明確な例に基づくトレーニング法およびその例に基づくトレーニングから誘導した誤差判定基準も提供する。しかし、これらのアプローチから引き出したモデルは、未知のパラメータの推定に頼り、それらのパラメータは、画像データを処理するために形状の推定を要する。それで、それらは、繰返し解法に頼ることを余儀なくされる。更に、形状モデルおよびテクスチァ・モデルは、形状と画像データの間の結合を明確には利用しない。許容形状のモデルを画像値にかまわずに誘導し、許容テクスチァのモデルは、この形状モデルを“正規化して”からしか誘導しない。未知のパラメータに対する推定が可能なモデルを誘導するとき、未知のパラメータおよび“正規化した”既知のパラメータの独立の記述ではなく、画像グレースケール値のような、測定可能パラメータ間の結合、およびこの記述の中の未知のパラメータを好ましくは捕らえるべきである。これは、“再構成的”モデル（データを最小の誤差で再構成できるようにするモデル）と“弁別的”（未知の分類のデータを最小の誤差で推定できるようにするモデル）モデルの間の差と同じである。発明の簡単な説明本発明によれば、測定したデータからの隠れデータの決定を２段階アプローチで達成する。第１段階は、学習プロセスを伴い、そこでは多数の組のサンプルデータ、例えば、画像を解析して、画像の目に見える面のような、測定可能データと、所望の隠れデータ、即ち、制御点との間の対応を識別する。画像解析の場合を参照して、多数の代表的画像が、関心のある形態に関係する制御点位置でラベル付けされる。外観だけの形態モデルが各形態の整列した画像から作られる。更に、各ラベル付けした画像を処理して、整列した形態外観とその形態の周りの制御点位置の結合モデルを作る。例えば、結合したアフイン多様体モデル(affine manifold model)に対し、ラベル付けした代表的画像のための全ての個々のベクトルから、可視画像データと制御点位置の両方のための期待（平均）ベクトルを誘導する。画像偏差と位置偏差を組合せた線形多様体モデルもこのデータから誘導する。この形態モデルは、画像の可視側面と制御点位置の分布、およびそれらの間の結合関係を表す。このプロセスの第２段階では、この形態外観だけの形態モデルを使って、印のない画像上に形態を位置付ける。次に、この画像の関連部分を解析して、この可視画像データのためのベクトルを決定する。このベクトルをこれらの代表的画像のための平均ベクトルと比較し、偏差を決定する。これらの値をこのデータモデル上に投影して、この印のない画像での制御点の位置を確認する。この発明を低解像度で実施する際は、可視画像データと制御点位置の間の対応に関してある仮定をする。これらの仮定を使って、レベル付けプロセスで制御点を位置付けるために必要な計算は勿論、トレーニングデータからモデルを誘導するために必要な計算の量を低減することが出来る。この低解像度アプローチは、低解像度ビデオ変形または構成システムのように、高度な精度が必要ないような用途では望ましいかもしれない。この発明の第２実施例では、トレーニング工程およびラベル付け工程の両方で追加の計算を実行して、制御点の位置に高度の精度を与える。この高解像度の実施は、高解像度ビデオ変形または構成のようなプロセスに対して高度の制御をもたらす。この発明の前記の特徴、並びに異なる条件でのこの発明の実施に貢献する、その更に特定的側面を、添付の図面に示す実施例を参照して以下に詳細に説明する。図面の簡単な説明図１ａは、人の唇が半分開いた位置にあり、歯が閉じた位置にある画像の図であり；図１ｂは、画像の顕著な部分の制御点を示す、図１ａの画像の図であり；図１ｃは、図１ｂに示す制御点だけの図であり；図２ａ〜図２ｃは、閉じた唇と閉じた歯の画像に対する、図１ａ〜図１ｃに対応する図であり；図３ａ〜図３ｃは、完全に開いた唇と半分開いた歯の画像に対する、図１ａ〜図１ｃに対応する図であり；図４は、図１ａの画像に対するデータベクトルの創成の図であり；図５は、平均値ベクトルを決める方法の図であり；図６は、偏差マトリックスの図であり；図７は、画像データベクトルに対して単位列・ノルム・マトリックスを計算する方法の図であり；図８は、制御点データ・ベクトルから、および画像データ・ベクトルの列ノルムから、再スケーリングした制御点多様体マトリックスを計算する方法の図であり；図９は、パーセプトロンへの層への入力の図であり；図１０ａ〜図１０ｂは、データの組のグローバル線形多様体へのマッピングの二つの例を示し；図１１は、形態抽出のための関心領域の漸次洗練を示し；および図１２ａ〜図１２ｂは、結合したモデルへの参照による画像の整合を示す。詳細な説明一般的に言って、本発明は、測定データから連続値隠れデータを決定することに関する。この発明の理解を容易にするために、以後、印のない２次元画像に制御点を付ける、特定の仕事を参照して説明する。制御点とは、物体の基準点に最もよく対応すると推定される、画像上の位置である。例えば、もし、関心の対象が顔であるとするなら、唇の外角を顔の一つの基準点として指定してもよい。制御点は、顔の画像に現れる唇の外角を最もよく推定する画像位置を示す。印のない画像に制御点を自動的に推定する能力は、画像処理に多くの異なる機会を与える。例えば、それを表情および身振り認識、画像変形、“身振り基づく ”ビデオ映像の操作、並びに画像分割および再合成のような用途に制御点を位置付けるために使うことが出来る。それは、各画像を別々に対象形態の外観の一つ又はそれ以上のモデルと比べることによって、別個であるが関連した物体の画像の基準点を合わせるための方法も提供する。その上、本発明の結果は、映像で捜し求める形態を定義し、整列するために使うことが出来る。もう一つの例として、画像のラベル付き制御点を、リアルタイム画像に現れる物体を掴む際にロボットアームを案内するような、物理的作業を制御するための根拠として使うことが出来る。この発明の例の以下の説明では、基準点のための基礎として顔の形態を参照する。顔の種々の点を参照することは、この発明の理解を容易にするための例示に過ぎず、この発明の唯一の実際的実現方式を表すものでないことは理解されよう。そうではなくて、この発明の原理は、一組のデータ、またはその部分集合内の測定データから、制御点のような、隠れデータを自動的に識別することが望ましい、如何なる場合にも適用可能である。実際に、本発明は、画像変形のような、隠れデータから必要な最終データ処理作業は勿論、以下に説明する仕事を行うように適当にプログラムされたコンピュータで実行する。最終データ処理ステップは勿論、このコンピュータそれ自体は、この発明の一部を構成せず、従って、ここには説明しない。一般的に言って、処理すべきデータは、コンピュータ内の適当なメモリ、例えば、ＲＡＭおよび／またはハードディスクのような不揮発性記憶媒体に記憶し、このコンピュータに関連する一つ以上のモニタに表示し、オーディオスピーカを介して再生し、または別に、データの特定の性質に適した知覚できる形で提示できる。図１ａは、モニタに表示でき、制御点を付けるべき、トレーニング画像のデータベースからの代表的画像の例を示す。この特殊な例で、画像は人の口で、歯を閉じてわずかに開いた唇を示す。この画像は，Ｎ_x×Ｎ_y画素から成り、人の顔の一部のような、遙かに大きい画像の一部でもよい。大きい画像内で、口の下位画像に関する画素は、顔の画像が人の頭の情景、傾き等でどこに現れるかに依って、種々の異なる位置を採ることが出来る。この状態で、口の下位画像に関する画素データは、整列されていないと考える。従って、制御点の位置決めの第１ステップは、口の下位画像を画素のＮ_x×Ｎ_yウインドウ内で整列することである。全体の画像からの、口のような、下位画像の抽出は、多くの異なるアプローチで実施できる。一つのアプローチでは、画像の中で関心のある形態を、例えば、先に引用したペントランド外およびモガダン外の論文に記載されている形態認識技術を使って、最初に識別する。一旦形態を識別すると、次にそれを画素のＮ_x ×Ｎ_yウインドウ内で整列する。次に、この下位画像にユーザがこの口領域にある制御点を付ける。もう一つのアプローチでは、全体の画像ですべての制御点を最初に識別する。次に、制御点のグループを使って関心のある形態を位置付けることが出来る。この発明の一実施例の直ぐ次の議論では、各下位画像が最初に識別されてＮ_x×Ｎ_yウインドウ内に整列された形態を含み、この形態が一つの下位画像から次の下位画像へ一貫して同じ位置に現れると仮定する。続いて、自動的に決定した制御点から形態を識別するための手順を説明する。ユーザが、例えば、マウスおよびカーソルまたはペンのようなコンピュータのポインティング・デバイスを使って、代表的画像に制御点を付ける。図１ａの画像に対する、ある例示的制御点を図１ｂに示す。これらの制御点は、口の角、上唇および下唇の両方の内縁および外縁、その中央にある。制御点は、中央の歯の１本左および１本右にある上歯および下歯の上縁および下縁にも付ける。上歯の上縁および下歯の下縁が図１ａでは見えず、従ってこれらの制御点の位置はユーザが推定したことに気付くべきである。図lｃは、これらの制御点だけを示す。画像内の各制御点の位置は、予め整列した下位画像のｘおよびｙ座標で指定することが出来る。図２ａ〜図２ｃおよび図３ａ〜図３ｃは、二つの他の代表的な、予め整列した下位画像を、識別したそれらの対応する制御点と共に示す。理解を容易にするために、図１、図２および図３の全ての例は、同じ縮尺である。これは、必要に応じて、画像を再サンプリングすることによって達成できる。図２ａの画像では、口と歯の両方が閉じ、それで上唇および下唇の各々の内縁が互いに一致し、全ての歯が隠れている。図３ａの代表的画像では、口が図１ａより広く開いて、歯を多く見せ、歯自体も部分的に開いている。人の口の他の、印のない画像に自動的に制御点を付けるために使うモデルを作るために、代表的な予め整列した下位画像およびそれらの制御点位置を解析してそれらの期待する値およびそれらの期待する結合偏差(coupled variations)の合同モデル(joint model)を作る。解析の第１ステップとして、各代表的な予め整列した下位画像に対して画像データベクトルを作る。図１ａ、図２ａおよび図３ａの例では、各下位画像が画素のＮ_x×Ｎ_y列である。図４を参照して、図１ａの画像に対する画像データベクトルｆ１をこの画像の全ての画素に対するデータ値の線形連結によって作り、それによって長さＮ_xＮ_yのベクトルを作る。各画像データベクトルについての任意の処理ステップには、ベクトルの振幅の正規化がある。このステップは、データベースの異なる画像間にかなりの明るさの偏差がある場合に必要なことがある。ベクトルｆ１を構成するデータ値は、画像のグレースケール、色、色相、彩度、またはその他の知覚できる属性を表すことが出来る。以下の議論では、グレースケール値を特別に参照するが、他の定量化可能な値またはベクトルも同様に使うことが出来ることが分かるだろう。本質的に、各画素値は、Ｎ_xＮ_y次元ベクトルの一つの次元を表す。指定した制御点に対して同様なベクトルｐ₁を作る。制御点の数をＬで示し、各制御点を二つの値、即ちそのｘおよびｙ座標で表せば、これらの制御点のベクトルは、長さ２Ｌを有する。図２ａおよび図３ａの代表的画像の各々に対して、同様なベクトルｆ₂、ｆ₃およびｐ₂、ｐ₃を計算する。個々の画像の各々に対してベクトルを決めてから、図５に示すように、平均ベクトルを計算する。図５の例では、代表的画像の合計数がＭである。この画像デな予め整列した下位画像の各々の中の対応する画素位置に対するグレースケール値の平均である。同様に、全ての代表的画像の２Ｌの制御点値に対して平均ベクを、個々の画像ベクトルからバイアスを除いて結果を組合せることによって、以下のように作ることが出来る：このマトリックスを図６に示す。同様に、制御点位置偏差のマトリックスを次のように作ることが出来る：応する測定した偏差、期待する制御点位置値は、同じ列の下部２Ｌ行に現れる。これらの測定し、結合した偏差から一般化するために使うモデルは、線形多様体モデルである。更に詳しくは、このモデルは、偏差それ自体で線形であり、元の平均バイアスデータでアフィンである。Ｋをこの線形多様体モデルの次元と定クトルによって与えられる。ＳＶＤの定義、およびその特性の幾らかの議論については、Ｇ．Ｈ．ゴルブ、Ｃ．Ｆ．ヴァンローンの“マトリックス計算”、第２版、ジョンホップキンスユニバーシティプレス、１９８９，ｐｐ．７０〜８５、４２７〜４３６および５７６〜５８１を参照する。これらの定義およびＳＶＤを計算するためのアルゴリズムを使って、リックス、Ｕ_Pは、（２Ｌ×Ｋ）のマトリックスおよびU_F ^HU_F＋U_P ^HU_P＝I.である。上付文字“Ｈ”は、先行するマトリックスまたはベクトルのハーメーショ形多様体に対してバイアスを与える。Σの対角要素は、これらのＫ方向の各々に沿った偏差の期待する強度を与える。測定し、結合した偏差とＫ次元多様体モデ素である。もし、Ｋ次元線形多様体モデルがグレースケール偏差と制御点位置の間の結合の最適表現であれば、この残留誤差は、この結合した偏差のノイズの尺度である。Ｕ_FおよびＵ_Pと共に、画像の測定可能次元、即ち、そのグレースケール値と隠れた次元、即ち、制御点の位置の間の結合を捕らえる形態モデルを構成するアフィン多様体を形成する。この結合した多様体モデルに加えて、予め整列した代表的下位画像は、この形態を全体として位置付けるためのラベル付け段階で使用する、形態外観のモデルを引き出すために使うことが出来る。この形態外観の一つの可能性あるモデルは、先に引用したペントランド外およびモガダン外の参考文献に記載されているような、アフィン多様体モデルである。この形態外観のもう一つの可能性あるモデルは、結合した多様体モデルの画像共に使うことである。この多様体モデルは、モガダン外の参考文献に開示されているように誘導したアフィン多様体モデルで達成できるより、トレーニングデータに低い検出および局在化性能を与える。しかし、ある環境では、この性能の低下が小さい。独立に引き出すモデルの代わりに、このモデルを使うことは、トレーニング段階およびラベル付け段階の両方で、必要な計算の量を減らす。これらの計算の節約は、先のモデルの計算の再利用からくる。この近似によって生ずる誤差が小さそうな場合は、組合せた（画像＋位置）マトリックスの画像部分の信号対ノイズが制御点位置部分のそれより遙かに大きく、組合せた（画像＋位置）マトリックスの画像部分の次元の数が制御点位置部分のそれより遙かに大きい場合である。形態外観モデルに対するその他の代替案には、Ｋ．Ｋ．スング、Ｔ．ポッジョの“観察をベースにした人の顔の検出についての例に基づく学習”、イメージ理解ワークショップ議事録、第II巻、ｐ．８４３〜８５０、１９９４のような、ラジアル・ベース機能モデル；Ｈ．ロウリ、Ｓ．バルージャ、Ｔ．カナデの“目視場面に於ける人の顔の検出”、ＣＭＵ−ＣＳ−９５−１５８、１９９５に報告されているような、ニュートラル・ネット・モデル；または全ての例をそのモデルとして単純に保持する、最近例への距離モデルがある。一つは形態外観用、他は外観と制御点位置の間の結合用のこれら二つのモデルは、印のない画像で制御点の位置を決めるために使うことが出来る。基本的に、このプロセスは、二つのステップで完成する。最初のステップは、画像内での全体の形態の位置付けである。第２ステップは、この形態の下位画像内の測定した偏差から制御点位置を推定することである。各ステップを次に説明する。この形態位置プロセスの詳細は、選択した方法に依る。先に述べた大抵の方法（最適部分空間法、ラジアル・ベース機能法、ニュートラル・ネット法）に対して、このモデルと同じ刊行物に記載された“位置決め”技術がある。従って、これらの方法をこれ以上ここには説明しない。最近例への距離に対する“位置決め”技術は、極めて直接的である。各潜在的位置（例えば、各画素位置）に対して、この距離を調べ、この距離がある閾値より小さい場所を潜在的形態位置として選択する。選択した位置の近隣の非最大抑制を使って一つの真位置の周りの選択した位置の“雲”を避けることが出来る。先に述べたもう一つの形態位置へのアプローチは、結合したモデル、つまり、である。上述の仮定の下、即ち、画像データの信号対ノイズ比が制御点位置データの信号対ノイズ比に比べて大きく、画像データ次元（Ｎ_xＮ_y）が制御点位置次元（２Ｌ）より遙かに多い場合は、多様体ベースのベクトルＵ_Fが互いにほぼ直交する。図７に示すように、列ベクトルの各々に単位ノルムを実施することが出来る。図７を参照し、元のベクトル長さ、Ｌ_Fを使って特異値も再基準化し、多様体軸の各々に沿って画像だけの偏差に期待する強度の推定を与える。これらの再正規化した多様体ベクトルおよび強度、Ｎ_Fおよび｛σ_Fi｝は、バイアス推定、Ｆと共に、最適多様体モデルの代わりに、ペントランドおよびモガダンの参考文献に記載されているように使うことが出来る。このモデル置換後の形態位置決め手順は同じである。使用する形態外観モデルが、ペントランド外の参考文献に開示されているような、または結合したモデルの画像部分から決めるような、線形多様体モデルであるとき、潜在的形態位置の領域の投影およびインタリーブ選択を使って形態位置決めに必要な計算を減少することが出来る。以下のステップは、関心のある形態の位置決めのための一つの手順を述べる：ステップ０：トレーニング段階中に（アフィン多様体モデルを計算したとき）、以下の量を計算し、記録する：Ｗ²（ｘ，ｙ）＝この形態に対する選択ウインドウの二乗値、クトルの間の相関、インドウの要素に関する積、Ｕ_i.w（ｘ，ｙ）＝ｗ（ｘ，ｙ）Ｕ_i（ｘ，ｙ）＝ｉ番目の多様体方向と形態選択ウインドウの要素に関する、ｉ＝１…ｋについての積。方向に沿った分散min(σ_i ²)以下であるべきである。閾値、Ｔ_maxを期待する形態外観とその形態の例と断言できる画像領域の間の最大マハラノビス距離について設定する。ステップ１：ｉ＝１に設定する。置）で定義する。但し、ｆは、各潜在的形態位置周りのウインドウ画素値に対応するＮ_xＮ_y×１ベクトルである。画像とＦ_W（ｘ，ｙ）の間で高速２次元繰り込みを使って潜在的形態位置で二乗振幅画像とＷ²（ｘ，ｙ）の間で高速２次元繰り込みを使って潜在的形態位置でｆ^Hｆを計算する。関心のある領域をである画像でこれらの点として選択する。このステップの結果は、最大期待偏差σ₁を使って、期待する形態外観と各潜在的画像領域の間の距離の下限を計算する。下限が閾値距離Ｔ_maxを超える、各潜在的画像領域は、それ以上検討せず、それによって以後の計算労力を削減する。ステップ２ないし（ｋ＋１）：増分はｉ現在の関心のある領域（ＲＯＩ）、つまり潜在的形態位置の現在の領域の各点これをこれらの画像点で最終投影多様体位置の（ｉ＋１）番目の座標として保存する。適宜、長方形化した閉鎖領域に直説法または迅速法を使って、現在のＲＯＩについてこの繰り込み値を得る。現在のＲＯＩの部分集合をである点の新しいＲＯＩとして選択する但し、１＝その画像位置でＥ₁ ²値を計算した最大増分である。最終ＲＯＩを検出した形態位置として使用する。確率モデルとして推定した距離にゼロ平均ガウに非最大抑制を使って検出した形態位置の数を削減する。この形態位置を見付けるための反復アプローチは、各潜在的形態位置と期待する形態外観の間の真のマハラノビス距離に相次いで厳しい下限を計算するように機能する。各ステップで下限を設けるので、その下限が最大許容距離以上の全ての領域を安全に無視することが出来る。各ステップで、各残りのＲＯＩに対する下限を逐次小さい除数（即ち、小さい値のσ_i）を使うことによって増す。与えられたステップで下限がＴ_max、より大きい各ＲＯＩに対しては、それを更なる検討から外す。それで、この反復アプローチによって、各形態に対する潜在的画像領域が、図１１に示すように、次第に小さくなり、その結果各反復での計算回数が減少する。従って、下位画像を抽出するための最終計算は、洗練した領域について行う。一旦、形態の全体の位置を推定すると、トレーニング下位画像に課したと同じ形態／下位画像整列を使って、その形態の下位画像を抽出する。次に、結合した多様体モデルを使って、（予め整列した）印のない下位画像で制御点の位置を決定する。先に議論したように、画像データから制御点位置を推定することは、整列し、測定したデータから隠れデータを推定するという、更に一般的問題の特定の例である。基本的に、このプロセスは、整列した測定可能なデータ次元を結合したモデル上に投影することによって隠れデータを抽出することを伴う。そうするために、新しい、印のないデータ源に対する整列したデータベクトルを決め（例えば、を計算する。次に、Ｕ_Fの左逆元を使って、この差ベクトルを結合した多様体上に投影する。次に、マトリックスＵ_Pを使って、結合した多様体を隠れ変数偏差部分空間（例えば、制御点偏差部分空間）に投影し戻すことによって、隠れデータ（例えば、新しい画像の制御点に対するｘおよびｙ位置）を得る。この結合したモデル成分を使うことは、結合した多様体の暗黙の形を再吟味するように選択したので、整列した測定可能データ（下位画像データ）と隠れデータ（制御点位置）の間の関係は、あるｋ次元ベクトルＸに対し、および結合したように出来る。このモデルを使って、制御点位置に対する最善の推定が、ｘを推定し、次のその推定を制御点空間に投影することによって得られる：コンピュータのノイズ問題のために、組合せた投影Ｕ_PＵ_F ^-1は、Ｕ_Pから独立したＵ_Fの単純な逆数を使って計算すべきでない。その代わりに、二つの代替アプローチが好ましい。一つの代替案は、Ｕ_PＵ_F ^-1の近似値内でＮ_Fを使う。の他の可能性あるアプローチを議論する。方法１もし、下位画像データの信号対ノイズ比が制御点位置の信号対ノイズ比に比べて大きく、画像次元の数（Ｎ_xＮ_y）が制御点次元数（２Ｌ）より遙かに大きいときは、多くの誤差を取り込むことなく、Ｕ_PＵ_F ^-Lの近似値内でＮ_Fを使うことが出来る。これらの制限は、制御点位置が単一画素の精度でしか必要なく、制御点位置偏差の予期される大きさが小さい（５画素以下）、低解像度画像で満足される傾向にある。この場合、Ｎ_Fは、ほぼ左ユニタリであり（即ち、びＮ_Pは、図８に示すように計算する。Ｎ_PＮ_F ^Hが意味する投影は、正規直交性（に近い）というコンピュータの利点を保持するために、２段階で計算すべきの新しいベクトルに予めＮ_Pを掛けるべきである。これは、バイアスＰによってオフセットされ、制御点位置の推定を得る。制御点推定のために必要な計算量を削減する利点を有する。この削減は、この場ある。方法２このＵ_PＵ_F ^-1への近似で得られるより高い精度が必要ならば、これらの投影を計算するためのよく調整されたアプローチが（Ｕ_F，Ｕ_P）の“Ｃ−Ｓ分解”と呼ばれるものから誘導できる。このＣ−Ｓ分解の構造上の定義は、付録Ａに示対する結合したＳＶＤは、次の通りであるこの分解を使って、Ｐに対する結合した投影推定を３ステップで計算する：この最初のステップは、下位次元空間への回転である（即ち、正規直交変換）。第２ステップは、単純な尺度変更である（即ち、対角マトリックスによる掛け算）。第３ステップは、高次元空間への回転（即ち、もう一つの正規直交変換）に続くオフセットである。これらの作業全てがよく調整されている。これらの三方法３もう一つの代替案は、印のない、測定したデータ（例えば、ラベル付けしている、印のない画像）にかなりの量のノイズがあるときに適する。この場合、上記のアプローチのどちらかを投影作業に単純に使用することは、そのノイズのためである。新しい、ラベルのない画像のノイズは、測定した偏差の推定を膨らませ、制御点推定が不正確な結果となる。多様体部分空間の真の偏差に対する最善の線形推定は、この多様体の信号対信号＋ノイズの比によって測定した偏差の推定を減らす：スｉｉｄノイズの偏差；Ｒ_FFは、この形態（画像だけ）の共分散マトリックスにがこの規則化機能に対して比較的感度が低いとすると、これを次のように近似する：ケンスを維持しながら、測定データの中のノイズの影響を低減する助けとなる。方法４第４代替モデルは、結合多様体モデルを純粋にＫ次元の部分空間に押し込むことを避ける。その代わりに、このモデルは、結合信号の強度が期待する結合ノイズに近づくと、次第に結合データを無視する。この結合モデルの次元の漸次ロールオフは、正確に逆の方法（モデル２）または規則化した逆の方法（モデル３）と組合せることが出来る。解析に於ける漸次ロールオフ（純粋なＫ成分の切り捨てでなく）は、モデルに人工の次元を課さないと言う利点がある。それは、その信号対（信号＋ノイズ）比によって測定したデータに重み付けもする。再び、結合トレーニングデータのＳＶＤを考察する但し、Ｋは、Ｕ_F、Ｕ_P、ΣおよびＶの列数である。しかし、Ｋに対して任意にハードなカットオフ点を選択する代わりに、結合データの中に誤差が全次元（画像＋制御点位置）に亘って均一に分布し、これらの次元に亘って独立であるとする。すると、Ｋに対して選択する最善値は、次のような整数であるこの場合、結合モデルの信号対（信号＋ノイズ）比の推定は、全ての｛σ_i｝に対して、および全ての｛σ_1i｝に対してゼロである。この信号対（信号＋ノイズ）比は、推定した結合次元の向きの信頼のよい尺度である。特に、この多様体に投影するためにＵ_FΣ_Tの規則化した左逆元を使い、制御点偏差空間に投影するために先の“正確に逆の”および“規則化した逆の”方法にこれを使って、これらの方法を次ぎにように変える（但し、Ｒ_ABはもう対角でない）ここでＶ_ABは、Ｕ_FおよびＵ_Pの共用右特異ベクトルである。先の“正確に逆の”方法（方法２）にこれを使って先の“規則化した逆の”方法（方法３）にこれを使ってステップ２は、もう対角マトリックスでないが、典型的にはこの多様体がまだこの問題で最小次元空間であり、それで使用する全、一般的マトリックス掛け算の大きさを小さくするので、まだ隠れパラメータ推定を計算するために好適な方法であることを注記する。結合モデル推定の先の全ての説明では、トレーニングデータで期待するノイズレベルが均一であることを明に暗に仮定した。典型的には、これは事実でない。明るい画像領域は、典型的には暗い領域よりノイズが多く；ある制御点は、他より正確に印を付けることが困難であり（例えば、角は、平坦な形状の中間点より印付けが容易である）；および、最も顕著には、画像データは、制御点位置デーのＳＶＤ解析の前に、期待するノイズを均一にするために、結合データマトリッ位置の各々のノイズの標準偏差を示す対角マトリックス、および T_D＝diag｛σ_D1・・・σ_DM｝は、一組のデータから他の組への、結合測定ノイズの期待する相対スケーリングを示す対角マトリックスである。結合した多様体モデル様に、どんなモデリング法を選択しても（例えば、ＰＣＡベースのモデル、ニュートラル・ネット・ベースのモデル、ＲＢＦベースのモデル）、形態位置決めモモデルを引き出すために使用する、このデータの予備スケーリングに合わせるために、形態位置決めの前および制御点推定の前に、印のない画像データに同じ予備スケーリングを使うべきである。例えば、ＰＣＡベースのモデルを使用するとすると、画像偏差をＴ_F ^-1によって再正規化すべきである。どんな形態位置決め法を使っても、新しいノイズ分散正規化した形態モデルで、入力データに同じ変更を施さねばならない。同様に、一旦形態を位置付け、予め整列した下位画像を抽出してしまうと、期使うようにする。最後に、推定した制御点偏差を再基準化しなければならない。もし、制御点偏差の未基準化推定がΔｐであれば、制御定位置の新しい再正規化した推定は、になることを意味する。但し、“Ｕ_PＵ_F ^-1”は、先に説明した四つの方法のどれかで決める。以下の説明では、物体の各形態および制御点の形態によるグループ分けが暗に定義されていた。形態の定義および制御点のグループ分けは、多数の異なる方法で実施できる。ペントランド外およびモガダン外の参考文献に記載されている一つのアプローチは、手動で定義した形態を使い、その延長として、手動で定義した形態および制御点のグループ分けを使う。もう一つの代替案は、形態を手動、半手動、または自動的の何れかで定義し、次に、形態に自動的に制御点を割り当てる。この場合、“形態位置”プラス“形態範囲”が形態を定義するために必要である。形態位置を各トレーニングの例で各形態に決めなければならない。この形態範囲は、“ウインドウイング機能”によってコンパクトなサポートで各形態に一度与えることが出来、即ち、このウインドウイング機能は、ある有限サイズの領域の外側ではゼロに等しい。形態定義を自動的に引き出す一つの方法は、例えば、Ｊ．シンおよびＣ．トマシの“追跡するのによい形態”、ＣＶＰＲ、１９９４に記載されているように、はっきり目に見える領域を見付けるためのアプローチに基づく。この文献に述べられている方法は、整列した画像全域で如何にはっきりした差異のある局部領域があるか、およびそれらが如何に安定しているかを決めるための計量法を提供する。トレーニングデータベースでは、このトレーニングデータベースに既に含まれている制御点を使うことによって整列を得ることが出来る。次に、これらの制御点の対応を、Ｔ．ビール、Ｓ．ニーリの“形態に基づく画像の変形”、ＳＩＧＧＲＡＰＨ１９９２に記載されているもののように、変形技術を使い内挿して高密度の対応領域を提供することが出来る。トマシの参考文献の方法は、特徴的と安定の両方の画像位置決めをもたらす。これは、区分した点の平均近接度とトレーニングデータベースの全域でのこれらの点の近接偏差の両方を含む距離計量と共に、“Ｋミーンズ・クラスタリング” によって形態に移すことが出来る。“Ｋミーンズ・クラスタリング”の説明については、デュダおよびハートのパターン認識および情景解析、ジョン・ウイリ＆ソンズ、１９７３、ｐｐ．２１１〜２５２参照。一旦、区分した点をクラスタにすると、形態位置は、これらのクラスタにした特徴的画像位置の関数として定義できる。平均位置、中央値位置（中央値ｘおよび中央値ｙ）または最頻位置（あるビン幅に対して、大抵の点が入る（ｘ，ｙ）ビン）の何れか一つを関数として使うことが出来る。形態の空間範囲も手動で、またはクラスタにした特徴的画像位置の関数として定義できる。一つの可能性は、ハルの境界に垂直なハミング状ドロップオフを伴う、クラスタにした位置の凹形ハルを使うことである。他の可能性には、ＲＢＦ状ウインドウがあり、それはウインドウの大きさが、各点で一つのハードな限界の最大値で、クラスタにした点の各々から切頭ガウス分布として切り落とす。半手動定義は、各トレーニング画像についての新しい情報ではなく、各形態に対して一つの基本的記述（ウインドウイング機能）しか必要ないので、これも合理的である。一旦形態を手動、半手動または自動で定義してしまうと、制御点が形態で自動的にグループ分けされる。このグループ分けにも同様に代替アプローチが可能である。好適アプローチは、以下のステップを使用する： − 殆ど常に一つの形態範囲内にあり（例えば、例の９０％以上）、滅多に他の形態範囲にない（例えば、例の５０％以下）制御点に対しては、この制御点を一つの形態に関連付け； − 複数の形態の範囲内に稀と考えられる以上に頻繁にある各制御点に対しては、制御点とそれが必要回数重なる形態の中心の間に同じ距離計量を使う。最小距離計量を示す形態をこの制御点に対して選び； − 殆ど常にどの形態範囲内にもない（例えば、時間の９０％以上）各制御点に対しては、制御点と全ての形態の中心の間で距離計量を行い、これは、平均近接度と近接偏差の両方を考慮に入れる。最小距離計量の形態をこの制御点に対して選ぶ。形態を定義し、制御点を形態でグループ分けするための、もう一つのアプローチは、最初に制御点をグループ分けし、次にそのグループに関連する形態を、半手動か自動で定義することである。これらの制御点は、制御点間の平均近接度と近接偏差の両方を測定する距離計量と共に、“Ｋミーンズ・クラスタリング”を使って最初にグループ分け出来る。一旦、制御点クラスタを定義すると、関連する形態位置が各クラス他の制御点位置の関数として自動的に定義される。再び、平均位置、中央値位置または最頻位置を使って形態位置関数を定義することが出来る。形態範囲は、手動または自動で定義できる。もし、自動的に定義するならば、それは、先に説明したように、クラスタにした制御点位置だけか、またはこれらの位置と区分した画像位置の両方から決めることが出来る。一つのアプローチは、ハルの境界に垂直なハミング状ドロップオフを伴う、クラスタにした位置の凹形ハルを使うことである。もう一つのアプローチは、このクラスタに、どのトレーニング画像ででも、クラスタにした制御点の凹形ハル内にある、区分した点の全てを含め、次にこの拡張した点の組の凹形ハルを使うことである。このアプローチでは、どの区分した画像位置もクラスタにした制御点と関連しなければ、平均距離で、最も近い、区分した画像位置を、凹形ハルを見付ける前に加える。形態およびそれらでグループ分けした制御点を定義するための、もう一つのアプローチは、制御点位置と区分した点位置の組合せに“Ｋミーンズ・クラスタリング”を使うことである。このクラスタリングのための距離計量は、再び平均近接度と近接偏差を使うが、各クラスタに少なくとも一つの制御点と少なくとも一つの区分した画像を含まねばならないと言う制限を含む。次に、形態の位置と範囲を、先に説明したのと同じ方法で、これらのクラスタから自動的に決定できる。制御点を位置決めするためと形態／制御点のグループ分けを定義するための、上記のアプローチは、ビデオ入力および時間に関する制御点位置にも拡張出来る。この場合、ラベル付けすべき一連のフレームの最初のものは、孤立した画像として扱い、先に説明した方法で制御点をラベル付けする。各次のフレームに対し、形態位置推定を、Ｍ．タークおよびＡ．ペントランド、“認識用固有顔”、認識神経科学雑誌、第３巻第１号、１９９1１、ｐｐ．７１〜８６、およびＪ．ウッドフィル、Ｒ．ザビー、“非剛性物体のリアルタイム追跡用アルゴリズム”、ＡＡＩ−９１、人工知能についての国民会議議事録、１９９１、ｐｐ．７１８〜７２３に記載されているような、形態追跡システムから導き出す。制御点位置を推定するために使用する画像データは、（Ｔ−１）先の画像フレームの各々からの画像データ、プラス現在の画像フレームからの画像データである。各組のデータでは、そのフレームの形態の推定位置に基づいて下位画像を抽出する。この結果は、測定したデータの（（Ｔ−１）（Ｎ_xＮ_y＋２Ｌ）＋Ｎ_xＮ_y）次元になる。このデータを（事によると規則化して）結合したモデル多様体上に、次に現在の制御点位置の空間に投影する。この結合したモデル多様体は、孤立した画像結合モデルと同じ一般的方法で画像系列から導き出す。上の説明では、各形態が別々に位置し、ラベル付けされている。多形態では、形態間の相互情報を使って形態の各々の検出および位置付けを改善することが出来る。例えば、左目が典型的には鼻の上且つ左に見られると言う事実を使って、この顔立ちの構成の観察を補強することが出来る。形態間の相互情報を利用できる一つのアプローチは、捜し求める形態の多くまたは全てを含む合成モデルを創成することである。このアプローチの例は、Ａ．ペントランド、Ｂ．モガダンおよびＴ．スタンナ、“顔の認識のための観察に基づくモジュール固有空間”、ＣＶＰＲ’９４、ｐｐ．８４〜９１に報告されている。多様体マッチによって与えられる情報を形態の期待する相対位置によって与えられる情報と結合するためのもう一つの方法は、それらを形態が与えられた位置にないと言う独立情報源として扱うことである。この仮定の下で、形態が特定の位置にない確率は、次の式によって与えられる：態ｉのマッチ尤度；およびは、形態ｊのマッチ尤度分布に基づく、形態ｉが位置Ｌ_iにある確率である。幾つかの代数的操作の後に、全確率の帰納的定義が次のように与えられる：相対位置情報から推定した、位置Ｌ_iでの形態ｉの尤度；およびＮは、関連形態の全数である。これらの帰納式は、マッチ尤度を修正するためにラベル付けする際に使用する。実験結果を基に、一つの形態がもう一つの形態の分布上に、二つの形態間の距離の関数として影響することを減らすことも有用である。例えば、顎の位置は、それが口の位置に影響するほど大きな影響を額にすべきでない。十分なトレーニングデータがあれば、この拡散効果を形態の期待する相対位置のモデルに取込み: 顎／口の依存性が顎／額の依存性より遙かに鋭く、高いピークを持つ。しかし、利用できるトレーニングデータが限られると、距離(|Ｄ|)の関数としてことが最善かもしれない。ることが出来る。これは、これらの確率がほぼ固定していることに注意することによって行う。重要なのは、形態の絶対位置ではなくて、二つの形態間のオフセで次によって推定できる：（ａ）形態ｊの位置が座標形の原点にあるようにトレーニング画像を整列する；（ｂ）形態ｉに対する（２次元）位置ヒストグラムを蓄積する；および（ｃ）トレーニング画像の全数によってこれらのヒストグラム値を正規化して、確率の推定分布を得る。トレーニング段階で使用するサンプル数の増加がラベル付け段階有の誤差の減少に繋がることがあることが分かるだろう。もし、利用できるトレーニングサンプル数が限られなら、トレーニングセットを膨らませて追加の、予め整列した形態画像を得ることが出来る。このため、ユーザが画像の“許容対合”の組を定義する。この組は、元のトレーニングセットがＭの孤立した画像である場合、全てのＭ（Ｍ−１）／２の組合せがデフォルトになり、トレーニングセットをビデオシーケンスから抽出した画像から取り出した場合、Ｍ-１の逐次隣接する対がデフォルトになる。許容組の各対に対し、印を付けた制御点位置を使って、画像を変形して、ユーザが定義した任意の数の中間画像および中間制御点位置を作る。これらの新しく作った画像を使って、形態位置のデータベース例の拡張と結合モデルを作るためのデータベースの拡張の両方を行うことが出来る。このアプローチの特別な利点は、新しく作った中間画像の各々に制御点が予めラベル付けされていてそれによってトレーニング段階で必要な労力を削減するという事実である。先の説明は、トレーニングデータベースの画像に対する形態、外観および制御点位置の構成全てに亘る結合データの偏差を捕らえるための線形多様体の能力に基づく。しかし、この仮定が間違いである場合があるかもしれない。それらの場合は、重要な偏差を捕らえられる、単一の線形多様体がないだろう。従来、この種の問題を解く試みは、区分的線形多様体を使うことに頼った。例えば、先に引用した、ペントランド外およびブレグラ外の参考文献参照。これらのアプローチの幾つかでは、測定したデータを区分的線形多様体の各々上に投影し、次にどのモデルが最もよく適合するかを評価する。他のアプローチでは、測定したデータを単一の局部的線形多様体上に投影し、次に測定したデータがその線形モデルに “属する”かどうかをチェックするために評価する。もし、そうでなければ、最良適合が見つかるまで、データをこのモデルの他の部分で再評価する。どの場合も、必要な投影数は、全体のモデルの線形部分の数と共に直線的に増える。Ｋ− Ｄトリー（例えば、クワッド・トリー）を使って線形増加を対数形に減らすことが出来るが、それにも拘わらず、必要な投影数はモデルの複雑さと共に増加する。本発明の情況では、区分的線形モデルを使うとき、必要な投影数をかなり減らすことが出来る。モデルの部分の全数に直線的に関係するのではなく、本発明の技術は、モデル全体の複雑さに関係なく、投影数を一定に保つ。更に詳しくは、データを線形多様体によって最初にモデル化する。この線形多様体内の座標をスカラー量子化器を使って、量子化する。量子化境界は、単純な閾値パーセプトロンのトレーニングによって選択できる。単純なパーセプトロンおよびそのトレーニングについては、Ｊ．ハーツ、Ａ．クロー、Ｒ．Ｇ．パルマー、神経計算理論入門、アディソン・ウエスリー出版、１９９１、ｐｐ．８９〜１０７参照。この場合、この多様体がＫ次元であれば、この手順は、ある任意の値Ｎ_Lに対するＫＮ_L閾値ユニットで始めることが出来る。各パーセプトロンへの入力は、単純にＫ多様体座標の一つである（図９参照）。これらの閾値は、データをクラスタに分けるために使用する、グリッドを確立する。次に、各クラスタを使って別の線形多様体モデルを作る。もし、制御点位置の誤差についてのトことによって、Ｎ_Lを増すことが出来、パーセプトロンを再トレーニングする。一旦、誤差が許容であれば、閾値ユニットをＫ次元全域で“不均一に”除去することが出来る。それをするための手順は次の通り：・Ｋ次元の各々に対し、選択した次元から一つのユニットを除き、パーセプトロンを維持する。最終誤差を測定する。・最小誤差でＫ代替案からネットワークを抽出する。・まだ誤差境界を満たす間にもうパーセプトロンを除去できなくなるまで繰り返す。この技術は、各次元で使用すべき不均一量子化を可能にする。グリッド線配置を決めるためのパーセプトロンの代替案には、規則的サンプリングまたは統計的サンプリングによるグローバル最適化法（例えば、生成アルゴリズムまたはシミュレーション・アニーリング・アルゴリズム）がある。この単純なアプローチは、データが“十分に線形”である限り、トレーニングデータを正当に分割することに成功するだろう。図１０ａおよび図１０ｂは、この概念を説明するための二組の例示的データを示す。これらの例で、測定したデータ次元（即ち、Ｎ_xＮ_y）は２で、グローバル多様体次元（即ち、Ｋ）は１で、隠れデータ次元（即ち、２Ｌ）は１である。測定したデータは、平面での位置である。隠れデータは、トレーニングデータ上に被せた点線の曲線に沿う距離である・図１０ａを参照して、データをグローバル線形多様体上の重ならない領域に分割し、結合データの線形多様体モデルを使って各データ部分をモデリングすることによって、この正弦波曲線をよく近似することが出来る。しかし、図１０ｂに示すように、楕円曲線波、同じ種類の分割ではよく表せない。これは、非隣接区分的線形パッチが、グローバル線形多様体上投影したとき、互いに重なるからである。この潜在的問題点を解決するための一つの方法は、量子化したグローバルモデルのある領域を複数の代替区分的線形モデルに“向ける”ことである。ラベル付け中、これらの複数モデルのグリッドセル内に入る測定から隠れデータを推定するために使うモデルは、外観だけの形態モデルと測定したデータの間の距離が最小のモデルである。トレーニングの際、もう一つの量子化レベルを導入するか、複数モデルのセルを導入するかを決定することは、異なる基準で行うことが出来る。試行できるアプローチには、代替案の確率的サンプリング（例えば、母集団ベースの調査またはシミュレーション・アニーリング・アルゴリズム）がある。その代わりに、セルの線形次元のどれかがある閾値以下になるなら、複数モデルのセルを使うことが出来る。これらの方法のどれが最善かは、トレーニングデータを採るデータの組のトポロジーに大きく依存する。グリッド線は、グローバル線形多様体上に領域を画定する。つまり、各領域のためのトレーニングデータを使って、グローバル線形多様体のその部分の新しい線形多様体モデルを作る。しかし、トレーニングデータの分布に依って、このトレ−ニングデータの完全に“グリッド線で画定する”区分は、ある領域にモデルを作るデータが殆どないか、全くない結果となる。更に、トレーニングデータが空間の疎のサンプリングであるので、完全にばらばらなモデルは、グローバル線形多様体の区域が局部（片側の）外挿によって非常に拙くモデル化される結果となるかもしれない。その代わりに、モデルを併合し、データの組を以下の方法で拡張する： − グリッドセル全域でのデータ内挿：変形した中間例を使う、先に説明したアプローチを使って、グリッド線境界上またはその近くに中間例を作ることが出来る。これらの例は、境界のどちらかの側のセルのデータの組に入れることが出来る。 − グリッドセル間のモデルの併合：隣接データセルが非常に似たデータを有する（即ち、併合したモデルを使う制御点位置の誤差があるユーザ定義の境界以下である）なら、これらのグリッドセルを“最高の１”次で併合すべきである。この結果、多数の併合セルができれば、ハッシュ関数を使ってグリッドセル数をモデル数に変えることが出来る（ハッシュ関数によるルックアップテーブル・エントリ数の減少）。このハッシュ関数は、衝突数を最小にするように選ぶべきである。ここで、衝突とは、二つ以上の異なるモデルに対応する、同じハッシュキーを使うことを期待する回数である。同じハッシュを有する、共用モデルの二つ以上のグリッドセルは、衝突と考えない。このアプローチでは、新しい画像にラベル付けするとき、各次元に対し、一つは線形モデル上に、一つは区分的線形モデルの適当なファセット上の、二つの投影しか必要ない。この量子化アプローチの延長が、選択したモデルパッチと測定したデータの間および隣接モデルパッチと測定したデータの間の距離の測定に基づく、モデルパッチ間の隠れデータ推定の線形内挿のようなアプローチを含むことが分かるだろう。これらの延長は、ここに説明するこの発明の範囲内にある。上記から、本発明が印のない画像上で制御点の位置を推定するための方法を提供することが分かる。一旦、制御点を位置付けてしまうと、別だが関連する物体の画像の基準点を、図１２ａに示すように、これらの画像をこの物体の形態のモデルに合わせることによって、相関させることが出来る。本発明のこの能力は、モデルベースの整合に関係するが、二つの異なる画像を合わせるためにこのモデルを媒介物として使う意味で異なる。この発明がもたらす結果は、各画像を別の形態モデルに合わせたとき、およびこれらの形態モデルの各々によって推定した制御点位置が他のモデルによって推定した制御点位置と既知のマッピングを有するとき、画像間の対応を自動的に決めるために使うこともできる。これは、単一または異なる顔の前から見た像と横から見た像を合わせるような、非常に異なる画像形成条件で見た関連物体を合わせることを可能にする。人の顔の正面図を自動車の正面図と合わせるような、または、図１２ｂに示すように、犬の身体の側面図をテーブルの側面図と合わせるような、ある予め定義した関係を使う、関係のない物体の整合も可能にする。この発明がもたらす結果は、多数の他の用途にも同様に使うことが出来る。例えば、制御点の自動位置付けは、画像の分割および再合成、並びに自動変形のような、遙かに効率的画像操作技術を提供するために使うことが出来る。この発明は、認識目的等のために、イメージで捜し求める形態の定義および整列も容易にする。例えば、物体のリアルタイム画像の制御点をこの物体をむことが仕事であるロボットアームを制御するために案内として使うことが出来る。他の用途には、顔認識、身振り認識、身体追跡、画像エンコーディング、例えば、圧縮、姿勢推定（ラニティス外、“顔画像をコーディングし、解釈するための統一アプローチ”、コンピュータビジョンについての国際会議、１９９５に記載されているような）、および足取り認識のような、周期的またはほぼ周期的運動の認識がある。本発明は、その精神および本質的特性から逸脱することなく、他の特定の形に具体化できることが当業者には分かるだろう。例えば、前記の議論は、特異値分解を使用することに向けられているが、方形化マトリックスの部分固有解析を使っても同等の成功をすることが分かるだろう。同様に、この発明の原理は、自然の画像に使うことに限定されず、漫画のように、同じ色の大面積がある画像を含む、グラフィック画像と組合せて使うこともできる。更に、この発明は、２次元画像に使うことに限定されない。線形予測コーディングを行うために、音声信号に声道位置を位置決めするような、１次元データ信号にも同等に適用できる。同様に、３次元データとして見られる、ビデオ信号は、追加の時間次元を含むので、それらにも適用できる。従って、現在開示した実施例は、全ての点で例示と考え、限定とは考えない。この発明の範囲は、前記の説明ではなく、添付の請求項によって示し、その均等物の意味および範囲に入る変更は、それに包含する意図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ【要約の続き】の整合位置を整列点として使い、その整列した画像の外観から、および結合したモデルから、物体表面上の位置を推定する。

Claims

【特許請求の範囲】１．測定可能データから連続値の隠れデータを決めるための方法であって：Ａ）以下の工程を含むトレーニング段階を実施する工程：即ち、測定したデータおよび各測定したデータの組に関連する連続値の隠れデータの正しい整列を識別するために未整列の測定したデータの複数の代表的組にラベル付けする工程；整列した測定データを代表する第１モデルを作るために、測定データを解析する工程；並びに整列した測定可能データと隠れデータの間の結合を明らかに表す第２モデルを作るために、整列し且つラベル付けしたデータの組を解析する工程；Ｂ）未ラベル付けデータの各組に対して、以下の工程を含むラベル付け段階を実施する工程：即ち、未整列測定データの未ラベル付けの組を、それに関連する測定可能データの整列を決めるために、この第１モデルによって解析する工程；この第２モデルを整列した測定データの上記未ラベル付けの組に適用する工程；および上記第２モデルの適用から、整列した測定データのこの未ラベル付けの組に対する隠れデータを決定する工程；を含む方法。２．請求項１の方法に於いて、未整列測定データの各組が画像を形成する方法。３．請求項２の方法に於いて、上記隠れデータが画像で物体上の基準点に関連する制御点を含む方法。４．請求項３の方法に於いて、上記制御点の少なくとも幾つかがこれらの画像で物体の曖昧部分上の基準点に関連する方法。５．請求項３の方法に於いて、制御点を少なくとも二つの新しい画像に対して決定し、且つ更に、これらの決定した制御点に従って上記新しい画像間の変形を行う工程を含む方法。６．請求項３の方法であって、更に、二つの画像の各々に対して決定した制御点によって、新しい画像をもう一つの画像の中に組み込むことによって複合画像を作る工程を含む方法。７．請求項３の方法に於いて、上記画像が顔を含み、且つ更に、画像中の既知の顔を認識するために制御点を解析する工程を含む方法。８．請求項３の方法に於いて、上記画像が漫画を含む方法。９．請求項３の方法に於いて、上記画像が顔を含み、且つ更に、画像中の顔の表情を認識するために制御点を解析する工程を含む方法。１0．請求項３の方法であって、更に、物体を掴むためのロボットを、この物体の画像でラベル付けされた基準点に従って、制御する工程を含む方法。１１．請求項１の方法に於いて、未整列測定データの上記組が一連のビデオ画像を含む方法。１２．請求項１１の方法であって、更に、これらの画像の中の物体の運動を認識するために、上記一連のビデオ画像で決定した制御点を解析する工程を含む方法。１３．請求項１２の方法に於いて、上記運動がほぼ周期的運動を含む方法。１４．請求項１の方法に於いて、未整列測定データの上記組がオーディオ信号を含む方法。１５．請求項１の方法に於いて、上記第１モデルを、この第２モデルを作るために使用する解析の結果から引き出し、二つのモデルを使う際に計算を共用するようにする方法。１６．請求項１の方法であって、更に、上記複数のデータの組に基づき且つ測定可能データおよび隠れデータの両方を含む、内挿したデータを自動的に作るために、上記複数のデータの組の隠れデータを使って、複数の上記代表的組のデータを選択する工程、並びに上記内挿したデータの組を、上記第２モデルを作るために解析した複数の代表的データの組に含める工程を含む方法。１７．請求項１６の方法に於いて、上記第２モデルがマルチファセット・モデルであり、上記内挿したデータの組が上記第２モデルのファセットの境界にある方法。１８．請求項１の方法であって、更に、上記複数のデータの組に基づき且つ測定可能データを含む、内挿したデータを自動的に作るために、上記複数のデータの組の隠れデータを使って、複数の上記代表的組のデータを選択する工程、および上記内挿したデータの組を、上記第１モデルを作るために解析した複数の代表的データの組に含める工程を含む方法。１９．請求項１８の方法に於いて、上記第１モデルがマルチファセット・モデルであり、上記内挿したデータの組が上記第１モデルのファセットの境界にある方法。２０．請求項１の方法に於いて、上記適用工程および決定工程を非対話型方法で実施する方法。２１．請求項１の方法に於いて、上記第２モデルが多様体モデルである方法。２２．請求項２１の方法に於いて、上記第２モデルがアフイン多様体モデルである方法。２３．請求項２２の方法に於いて、上記第２モデルを整列した測定データの上記未ラベル付けの組に適用する工程が上記整列した未ラベル付け測定データをこの第２モデルの第１空間上に正規直交投影する工程；上記第２モデルに従ってこの第１空間に投影した位置の座標をスケーリングする工程；および未ラベル付けのデータ組に対して隠れデータを決定するために、この第２モデルの第２空間に正規直交投影する工程；を含む方法。２４．請求項２３の方法に於いて、上記スケーリングが、上記第２モデルを適用する、未ラベル付けの整列した測定データの組の推定ノイズレベルによる上記位置の座標の修正を含む方法。２５．請求項１の方法に於いて、上記第１モデルが多様体モデルである方法。２６．請求項２５の方法に於いて、上記第１モデルがアフイン多様体モデルである方法。２７．請求項２５の方法に於いて、未ラベル付けデータの組の測定データを整列する工程が：ｉ）このデータの整列に対して可能な位置を選択する工程； ii）各可能な位置に対して、その位置で整列した未ラベル付けデータの組と整列したデータの期待する外観の間の距離に対して、第１モデルによって決まる平均外観に従って下限を決める工程； iii）その下限が閾値を超える可能な位置を除去する工程； iv）各可能な位置に対して、この第１モデルの次元に対する座標値を決める工程；ｖ）各可能な位置に対して、先に決めた座標値を、その位置で整列したデータの組と先に決めた座標値による上記整列の下でのデータの組の外観との間の距離と組合せることによって、新しい下限を決める工程；並びに vi）このモデルの全ての次元に対して工程iii）、iv）およびｖ）を繰り返す工程；を含む方法。２８．請求項２７の方法に於いて、上記下限を多様体モデルの次元の各々に沿う期待分散に従って決める方法。２９．請求項２８の方法に於いて、上記期待分散が上記工程の相次ぐ反復で次第に小さくなる方法。３０．請求項２６の方法に於いて、第２モデルを整列した測定データの未ラベル付けの組に適用する工程が正規直交変換を使って、整列した未ラベル付け測定データを上記第２モデルより次元が少ない第２モデルの部分空間に投影する工程；上記部分空間内で一般的マトリックス掛け算を実施する工程；および未ラベル付けのデータの組のための隠れデータを決めるために、正規直交変換を使って、このモデルの第２空間に投影する工程；を含む方法。３１. 請求項３０の方法に於いて、上記一般的マトリックス掛け算を、一部、隠れデータおよび上記第２モデルを作るために使う整列した測定データの相対的信号プラスノイズ強度に従って、多様体次元の漸次ロールオフに従って決める方法。３２．請求項２６の方法に於いて、第２モデルを整列した測定データの未ラベル付けの組に適用する工程が：整列した未ラベル付け測定データの第２モデルの部分空間上の投影を、第２モデルの測定データに対応する再正規化した基本ベクトルと整列した未ラベル付け測定データのドット積を取ることによって近似する工程；およびこれらの基本ベクトルの隠れ次元を同じスケーリングで使うことによって、このモデルの第２空間への投影を近似する工程；を含む方法。３３．請求項１の方法に於いて、上記代表的データの組を正規化して、整列したデータの隠れた次元および測定した次元の両方に亘る均一な期待するエネルギーを得、および上記第２モデルがこの正規化したデータの組に対する期待誤差を最小にする方法。３４．請求項３３の方法に於いて、上記第２モデルが隠れデータに関する期待誤差を最小にする方法。３５．請求項１の方法であって、更に、これらのデータの組をラベル付けする隠れデータの解析から代表的データの組の測定データの整列を定義する工程を含む方法。３６．請求項３５の方法に於いて、測定データの解析を上記整列工程にも使う方法。３７．請求項３５の方法に於いて、上記定義工程が隠れデータを別のグループに分ける工程、およびそれぞれのグループに各代表的データの組の整列した測定データの別の定義を割り当てる工程を含む方法。３８．請求項３７の方法に於いて、隠れデータのグループへの分割を隠れデータの解析に従って決める方法。３９．請求項３７の方法に於いて、整列した測定データの定義を隠れデータの解析に従って決める方法。４０．請求項３９の方法に於いて、整列した測定データの定義も測定データの解析に従って決める方法。４１．請求項３８の方法に於いて、隠れデータの上記グループに分割するためにも測定データを使う方法。４２．請求項３８の方法に於いて、隠れデータのグループへの分割を隠れデータのコヒーレンスの測定によって行う方法。４３．請求項１の方法に於いて、上記第１モデルが多様体である方法。４４．少なくとも二つの未ラベル付け画像の間の関係を確立するための方法であって：Ａ）以下の工程を含むトレーニング段階を実施する工程：即ち、各画像内の画素値に基づき一つ以上の物体上の特定の位置を識別する静的モデルを作るために、複数の代表的ラベル付き画像を解析する工程；Ｂ）比較すべき未ラベル付け画像の各組に対して、以下の工程を含むモデル適用段階を実施する工程：即ち、各未ラベル付け画像内の物体上の位置を識別するために、上記未ラベル付け画像の各々をこのモデルに合わせる工程；および識別した位置に基づき未ラベル付け画像間の対応を決定する工程；を含む方法。４５．少なくとも二つの未ラベル付け画像の間の関係を確立するための方法であって：Ａ）以下の工程を含むトレーニング段階を実施する工程：即ち、ラベル付き画像の第１組を解析し、上記第１組の各画像内の画素値に基づき一つ以上の物体上の特定の位置を識別する第１モデルを作る工程；ラベル付き画像の第２組を解析し、上記第２組の各画像内の画素値に基づき一つ以上の物体上の特定の位置を識別する第２モデルを作る工程；並びに上記第１モデルで識別した位置および上記第２モデルで識別した位置間のマッピングを確立する工程；Ｂ）比較すべき画像の各組に対して、以下の工程を含むモデル適用段階を実施する工程：即ち、第１未ラベル付け画像をこの第１モデルに合わせ、上記第１画像内の物体上の位置を識別する工程；第２未ラベル付け画像をこの第２モデルに合わせ、上記第２画像内の物体上の位置を識別する工程；および各画像および上記マッピングで識別した位置に基づき、この第１未ラベル付け画像と第２未ラベル付け画像間の対応を決定する工程；を含む方法。４６．データを、それらが関係する単一ファセット・グローバル多様体モデルを使って、マルチファセット・モデルにインデキシング(indexing)するための方法であって：Ａ）以下の工程を含むトレーニング段階を実施する工程：即ち、複数のデータ例から、これらのデータ例を全て包含する単一ファセット・グローバル多様体モデルを作る工程；およびこれらのデータ例の部分から、各ファセットがこれらのデータの局部的組を含むマルチファセット多様体モデルを作る工程；Ｂ）各新しい組のデータに対して、以下の工程を含むモデル・インデキシング段階を実施する工程：即ち、上記グローバル多様体モデルを新しい組のデータに適用する工程；上記組のデータへの上記グローバル多様体モデルの適用から座標ベクトルを導き出す工程；および上記座標ベクトルに従って、上記データを上記グローバル多様体モデルからの上記マルチファセット・モデルにインデキシングする工程；を含む方法。４７．請求項４６の方法に於いて、上記マルチファセット・モデルが区分的アフィン・モデル(piecewise affine model)である方法。４８．請求項４６の方法に於いて、上記グローバル多様体モデルがアフィン多様体モデルである方法。４９．請求項４６の方法に於いて、上記座標ベクトルがこのグローバル多様体モデルの座標の不均一量子化である方法。５０．請求項４９の方法であって、更に、適合度関数に従って、上記マルチファセット・モデルの隣接量子化部分にある類似のモデル・ファセットを併合する工程を含む方法。５１．請求項５０の方法に於いて、上記マルチファセット・モデルが測定可能データと隠れデータの間の結合を識別し、且つ上記適合度関数が発生した隠れデータ誤差に基づく方法。５２．請求項５０の方法であって、更に、量子化座標をテーブル・インデックスにマップするためにハッシュ関数を使う工程を含み、このテーブルのサイズが量子化セルの全数より小さい方法。５３．請求項４６の方法に於いて、上記マルチファセット・モデルも多様体モデルである方法。５４．請求項４６の方法に於いて、上記データが画像の中の測定可能データを含む方法。５５．請求項４６の方法に於いて、上記マルチファセット・モデルが測定可能データと隠れデータの間の結合を識別する方法。５６．請求項５５の方法に於いて、上記マルチファセット・モデルを、それぞれ上記ファセットに関連する空間に分割し、上記分割が上記単一ファセット・グローバル・モデルのための座標に基づく方法。５７．請求項５６の方法に於いて、上記分割をこの単一ファセット・グローバル・モデルの座標の不均一量子化によって定まる方法。５８．請求項５７の方法に於いて、上記量子化の境界がこのマルチファセット・モデル上の隠れデータの再構成での誤差に従って決まる方法。５９．測定データから連続値の隠れデータを決めるための方法であって：Ａ）以下の工程を含むトレーニング段階を実施する工程：即ち、測定したデータの各組に関連する連続値の隠れデータを識別するために整列した測定データの複数の代表的組にラベル付けする工程；および測定可能データとこれらの隠れデータの間の結合を明らかに表すモデルを作るために、ラベル付けした整列データを解析する工程；Ｂ）整列した測定データの各組に対して、以下の工程を含むラベル付け段階を実施する工程：即ち、上記モデルを整列した測定可能データの上記未ラベル付けの組に適用する工程；および上記モデルの適用から、整列したデータのこの未ラベル付けの組に対する隠れデータを決定する工程；を含む方法。６０．測定データを多様体モデルに整列するための方法であって：ｉ）データの未整列の組内のデータの整列に対して可能な位置を選択する工程； ii）各可能な位置に対して、その位置で整列した未整列データと整列したデータの期待する外観の間の距離に対して上記モデルによって決まる平均外観に従って下限を決める工程； iii）その下限が閾値を超える可能な位置を除去する工程； iv）各可能な位置に対して、このモデルの次元に対する座標値を決める工程；ｖ）各可能な位置に対して、先に決めた座標値を、その位置で整列したデータの組と先に決めた座標値による上記整列の下でのデータの組の外観との間の距離と組合せることによって、新しい下限を決める工程；並びに vi）このモデルの全ての次元に対して工程iii）、iv）およびｖ）を繰り返す工程；を含む方法。６１．請求項６０の方法に於いて、上記下限をこのモデルの次元の各々に沿う期待分散に従って決める方法。６２．請求項６１の方法に於いて、上記期待分散が上記工程の相次ぐ反復で次第に小さくなる方法。