CN1908963A - 检测和跟踪可变形对象的方法 - Google Patents

Abstract

一种用于检测和跟踪具有连续变化特性的可变形对象的方法包括：研究嵌入函数的振动特性的时间统计形状模型，该嵌入函数表示来自先验运动的对象；以及接着通过最大化概率来对于将来的、出现不期望的现象时的对象的连续运动应用该模型，该概率为所研究的统计形状模型匹配出现不期望的现象时的对象的连续运动的概率。

Description

检测和跟踪可变形对象的方法

技术领域

本发明通常涉及对象检测，并且更特别地涉及可变形对象的检测和跟踪。

背景技术

本申请要求于2005年8月3日提交的美国临时申请No.60/705,061的优先权，在此引入该申请作为参考。

如本领域所公知的那样，常常希望从其它对象的背景和/或从噪声的背景中检测和分割对象。例如，一种应用是在MRI中，其中希望对患者的解剖学特征(诸如患者的脊椎)进行分割。在其它情况下，可能希望对移动的、可变形的解剖学特征(诸如心脏)进行分割。

在1988年，Osher和Sethian在题为“Fronts propagation with curvaturedependent speed：Algorithms based on Hamilton-Jacobi formulations”(J.of Comp.Phys.，79：12-49，1988年)的论文中介绍了水平集(the level set)方法，需要注意的是，水平集方法的前身由Dervieux和Thomasset在题为“A finite elementmethod for the simulation of Raleigh-Taylor instability”(Springer Lect.Notes inMath.，771：145-158，1979年)的论文中被提出作为通过演变适当的嵌入函数φ:Ω×[0，T]→R来隐含地在域ΩRⁿ中传播(propagate)超曲面C(t)的方法，其中：

C(t)＝{x∈Ω|φ(x，t)＝0}。                                (1)

通常，嵌入函数是在图像平面的每个点x处所定义的实数值的高度函数\phi(x)，以至于等高线C与该平面中的所有点x相对应，其中\phi(x)＝0：

                   C＝{x|\phi(x)＝0}。

这也是隐含地表示等高线C的方式。除了对等高线C起作用(移动等高线等)以外，还对函数\phi起作用。移动\phi的值将隐含地移动“所嵌入的”等高线。这也是为何将\phi(x)称作“嵌入函数”的原因，该“嵌入函数”将该等高线嵌入为其零水平或者值为0的等值线来。

因此，通过对较高维数的嵌入函数的演变进行建模的部分微分方程来替代传播显式边界点的普通微分方程。这种方法的主要优点是众所周知的：首先，隐式边界表达并不取决于特定的参数化，在传播期间不需要介绍控制点重组机制(control point re-gridding mechanism)。其次，演变嵌入函数允许极好地对拓扑变化进行建模，这些拓扑变化诸如分离和合并所嵌入的边界。在形状建模和形状的统计学习的环境中，统计学习的属性允许构造在嵌入函数上所定义的形状不相似度量，这些嵌入函数可以处理变化拓扑的形状。第三，公式(1)的隐式表达通常概括为三维或者更多维的超曲面。为了强加等高线和其嵌入函数之间的唯一的对应关系，可以将φ约束为带符号的距离函数，也就是，|φ|＝1基本上是处处都成立的。

在90年代早期，Malladi等人在题为“A finite element method for thesimulation of Raleigh-Taylor instability”(Springer Lect.Notes in Math.，771：145-158，1979年)的论文、Caselles等人在题为“Geodesic active contour”(Proc.IEEE Intl.Conf.on Comp.Vis.，第694-699页，Boston，USA，1995年)的论文、Kichenassamy等人在题为“Gradient flows and geometric active contour models”(IEEE Intl.Conf.on Comp.Vis.，第810-815页，1995年)的论文、以及Paragios和Deriche在题为“Geodesic active regions and level set methods for supervised texturesegmentation”(Int.J.of Computer Vision，46(3)：223-247，2002年)的论文中最先提出水平集方法在图像分割中的首次应用。Mumford-Shah函数(参见题为“Optimal approximations by piecewise smooth functions and associated variationalproblems”(Comm.Pure Appl.Math.，42：577-685，1989[14])的论文)的水平集实现由Chan和Vese独立提出，参见题为“Active contours without edges”(IEEETrans.Image Processing，10(2)：266-277，2001年)的论文，以及Tsai等人在题为“Model-based curve evolution technique for image segmentation”(Comp.VisionPatt.Recog.，第463-468页，Kauai，Hawaii，2001年)的论文中提出。

近年来，为了处理不足的低水平信息，研究人员已经提出了把统计形状知识引入基于水平集的分割方法中。虽然这些先验已被表明强烈改进相似对象的分割，但是到目前为止，焦点已集中在恰好(in time)是静态的统计形状先验(也就是，什么是“先验”)上。然而，在跟踪可变形对象的环境中，明显的是，随着时间的过去，某些轮廓(诸如，MRI应用程序中的心脏跳动的人的那些轮廓，或者其它应用程序中的行走的人的轮廓)可能会变得或多或少有些相似。Leventon等人在题为“Geometry and prior-based segmentation”(T.Pajdla andV.Hlavac编辑的European Conf.On Computer Vision，volume 3024 of LNCS，第50-61页，Prague，2004年春天)的论文中提出了通过对训练形状集合进行主成分分析(PCA)来对嵌入函数进行建模，以及将适当的驱动项增加到水平集发展方程中，Tsai等人在题为“Curve evolution implementation of the Mumford-Shahfunctional for image segmentation，de-noising，interpolation，and magnification”(IEEETrans.on Image Processing，10(8)：1169-1186，2001年)的论文中建议直接在最初一些固有模式的子空间内执行优化。Rousson等人(参见“Shape priors for level setrepresentations”(A.Heyden等人编辑的Proc.of the Europ.Conf.on Comp.Vis.，volume 2351 of LNCS，第78-92页，Copenhagen，2002年5月春天，Berlin)以及“Implicit active shape models for 3d segmentation in MRI imaging”(MICCAI，第209-216页，2004年))建议在变化水平上引入形状信息，而Chen等人(参见“Using shape priors in geometric active contours in a variational framework”(Int.J.of Computer Vision，50(3)：315-328，2002年))通过给出嵌入函数的零水平来直接对等高线强加形状约束。最近，Riklin-Raviv等人(参见European Conf.OnComputer Vision，volume 3024 of LNCS，第50-61页，Prague，2004年春天)提出通过以各种角度切割带符号的距离函数来引入射影不变性。

在上述著作中，显示统计学习的形状信息，以处理由于噪声、混乱和阻塞而在输入图像中丢失的或者易误解的信息。研究形状先验来对给定图像中的相似形状的对象进行分割。然而，尽管可以将这些形状先验用于图像序列中的跟踪对象，参见[Cremers等人的“Nonlinear shape statistics in Mumford-Shah basedsegmentation”(A.Heyden等人编辑的Europ.Conf.On Comp.Vis.，volume 2351of LNCS，第93-108页，Copenhagen，2002年5月，春天)]、[Moelich and Chan的“Tracking objects with the Chan-Vese algorithm”(Technical Report 03-14，Computational Applied Mathematics，UCLA，Los Angeles，2003年)]和[Cremers等人的“Kernel density estimation and intrinsic alignment for knowledge-drivensegmentation：Teaching level sets to walk”(Pattern Recognition，volume 3175 ofLNCS，第36-44页，2004年春天)]，这些先验仍不太适合这项任务，因为这些先验忽略了轮廓的时间相干性，该时间相干性表征很多变形形状。

当随着时间的变化跟踪三维可变形对象时，在给定时刻，明显地不是所有的形状都完全相似。例如，行走的人的规则采样的图像展示连续轮廓的典型图案。类似地，以恒定速度旋转的刚性三维对象的投影通常不是来自统计形状分布的独立样本。替代地，可以期望最终的轮廓集合来包括强的时间相关。

发明内容

根据本发明，提供了一种方法，用于检测和跟踪具有连续变化特性的可变形对象，其中，该方法研究嵌入函数的连续变化特性的时间统计形状模型，该嵌入函数代表来自先验运动的对象；以及接着通过最大化概率，对于将来的、出现不期望的现象时的对象的连续运动应用模型，该概率为所研究的统计形状模型匹配出现不期望的现象时的对象的连续运动的概率。

根据本发明的其它特征，一种方法产生边界形状对象的先验观察的嵌入函数的时间演变(time evolution)的动态模型，这样的对象具有可观测的、连续变化的边界形状；以及随后将这样的模型用于以后关于这样形状的对象的概率推断。

该方法研究了隐式表达的对象形状的时间统计形状模型。特别地，依赖给定时间的形状概率是以前观察的对象的形状的函数。

在一个实施例中，将动态形状模型集成到贝叶斯(Bayesian)框架内的分割过程中，以进行基于水平集的图像序列分割。

在一个实施例中，通过针对水平集函数的部分微分方程来获得最优化。最优化包括界面的演变，该界面的演变由当前图像的强度信息以及先验动态形状来进行驱动，先验的动态形状依赖于在先帧上所获得的分割。

利用这样的方法，与现有的利用统计学形状先验进行的分割方法相比，最终的分割不仅仅类似于之前所学习的形状，而是这些分割也与从样本序列中所估计的时间相关相一致。由此得到的分割过程可以处理大量的噪声和堵塞，因为该分割过程利用了关于时间形状一致性的先验知识，并且因为该分割过程随着时间的变化聚集来自输入图像的信息(而不是独立地处理每个图像)。

研究针对隐式表达的形状的动态模型和基于贝叶斯框架将这些模型集成到图像序列分割中动用了各种领域中的很多先验工作。动态系统的理论和时间序列分析在所述文献中具有很长的传统(例如参见[A.Papoulis的“Probability，Random Variables，and Stochastic Processes”(McGraw-Hill，New York，1984年)])。其中，Blake、Isard及同事针对显式形状表达研究自回归模型[A.Blake and M.Isard的“Active Contours”(London，1998年春天)]。在这些著作中，基于从强度图像中所提取的边缘信息，通过粒子过滤获得成功的跟踪结果。然而，此处，本发明方法以三种方式不同于上述方法：

●此处，动态模型是针对隐式表达的形状。因此，动态形状模型可以自动地处理变化拓扑的形状。该模型一般扩展到较高维数(例如，三维形状)，因为该模型并不需要处理确定点对应的组合问题和与显式形状表达相关联的控制点重组的问题。

●由[Zhu，Yuille 1996，Chan，Vese 1999]启示地，根据本发明的方法将输入图像的强度信息集成在统计学公式中。这导致了基于区域的跟踪方案，而不是基于边缘的跟踪方案。统计学公式意味着，相对于假定的强度模型，该方法最优地利用输入信息。本方法并不依赖于启发式定义的图像边缘特征的预计算。然而，假定的概率强度模型是非常简单的(即高斯(Gaussian)分布)。可以应用对象和背景的强度、颜色或者纹理的更复杂的模型。

●通过梯度下降而不是通过随机采样技术来解决变量设置中的贝叶斯后验优化。虽然这将本发明所使用的算法限制到仅仅跟踪最相似的假设上(而不是多种假设)，但是本方法促进到较高维数形状表达的扩展，而不必急剧增加采样方法固有的计算复杂度。

最近，Goldenberg等人[Goldenberg、Kimmel、Rivlin、和Rudzsky的PatternRecognition，38：1033-1043，2005年7月]成功地将PCA应用到对准的形状序列，以对周期性的形状运动进行分类。尽管这项工作也集中在表征移动的隐式表达的形状上，但该工作与本发明的不同之处在于，这些形状不是由水平集嵌入函数表示的(而是通过二进制掩模来表示)，该工作并不利用自回归模型，并且该工作集中于预分割的形状序列的特性分类，而不是集中于利用动态形状先验来分割或者跟踪。

附图说明

在后面的附图和下面的说明中阐述了本发明的一个或者多个实施例的详细描述。可以很明显地从说明书和附图、以及从权利要求中得到本发明的其它特征、目的和优点。

图1示出训练轮廓集合的低维近似，顶部的轮廓是手动分割的，而底部轮廓是由其根据本发明的嵌入函数的PCA来近似的；

图2是自相关函数，该自相关函数被用来验证根据本发明的自回归模型，以最初四个形状模式来绘制相关联的剩余物的自相关函数；

图3是形状模式，初始形状序列(左)和根据本发明的由统计学习的二阶马尔可夫(Markov)链合成的序列(右)示出第一、第二和第六形状固有模式的时间演变；

图4是通过根据本发明的过程所产生的行走序列，在嵌入函数中由统计学习的二阶马尔可夫模型产生样本轮廓；

图5示出了具有增长噪声数量的来自图像序列的样本；

图6示出了使用25％噪声的静态形状先验的根据本发明的分割；

图7示出了使用50％噪声的动态形状先验的根据本发明的分割；

图8示出了使用50\％噪声的动态形状先验的根据本发明的分割；

图9示出了使用75％噪声的动态形状先验的根据本发明的分割；

图10示出了使用90％噪声的动态形状先验的根据本发明的分割；

图11示出了根据本发明对分割准确度进行定量评估；

图12示出了根据本发明在存在阻塞时的跟踪；

图13是根据本发明的过程的流程图；以及

图14是统计学地产生的嵌入表面以及由合成表面的零水平线给出的轮廓，该表面是从根据本发明的二阶自回归模型中采样获得的。隐式公式允许嵌入的轮廓改变拓扑结构(底部左边的图像)。

各个图中的相同的参考符号表示相同的元件。

具体实施方式

现在参考图13，示出用于检测和跟踪可变形对象的方法的流程图。此外，为了举例说明本方法的例子，对象为行走的人。然而，应当理解，该方法可用于其它的可变形对象，该可变形对象包括诸如跳动的人的心脏的解剖学对象。

在讨论图13中的步骤之前，将介绍基于水平集的图像序列分割的贝叶斯公式。首先，将讨论嵌入函数的空间中的常用公式，接着描述低维数子空间中的在计算上有效的公式。

                            2.1常用公式

下面，形状被定义为以某个转换组为模的封闭的二维轮廓集合，通过具有参数矢量θ的T_θ来表示该集合中的元素。取决于应用程序，这些转换组可以是刚体转换、相似或者仿射转换或者更大的转换组。根据方程(1)，由嵌入函数φ隐含地表达该形状。因此，将由φ(T_θx)给出感兴趣的对象，其中该转换T_θ作用于网格，这导致隐式表达的轮廓的相应转换。此处，由于可能想使用不同模型来表达和学习其相应的时间演变，所以故意地将形状φ与转换参数θ相分离。

假设从图像序列中给出连续的图像I_t：Ω→R，其中I_1:t表示不同时刻的图像集合{I₁，I₁，...，I_t}。使用贝叶斯公式(所有的表达式以I_1:t-1为条件)，通过相对于嵌入函数φ_t和转换参数θ_t来最大化条件概率

$P({\mathrm{\φ}}_t,{\mathrm{\θ}}_t|I_{1:t})=\frac{P\left(I_t\right|{\mathrm{\φ}}_t,{\mathrm{\θ}}_t,I_{1:t-1})P({\mathrm{\φ}}_t,{\mathrm{\θ}}_t|I_{1:t-1})}{P\left(I_t\right|I_{1:t-1})}---\left(2\right),$

可解决对当前帧I_t进行分割的问题。(在无穷维数空间上对概率分布进行建模通常是未解决的问题，该问题包括定义适当的度量和可积分性的问题。因此，函数φ可被认为是有限维数的近似，该近似通过采样规则网格上的嵌入函数来获得)。出于简洁的原因，将不讨论贝叶斯方法的诠释。在此处，足够有能力说，贝叶斯框架可被视为概率设置中的图像形成过程的逆过程。

公式(2)中的分母并不取决于所估计的数量，并且因此可以在最大化时将其忽略。此外，可以使用以下切普曼—科尔莫戈罗夫(Chapman-Kolmogorov)[A.Papoulis的Probability，Random Variables，and Stochastic Processes(McGraw-Hill，New York，1984年)]公式来改写分子中的第二项：

P(φ_t，θ_t|I_1:t-1)＝∫P(φ_t，θ_t|φ_1:t-1，θ_1:t-1)P(φ_1:t-1，θ_1:t-1|I_1:t-1)dφ_1:t-1dθ_1:t-1    (3)

下面，为了简化公式(2)中的表达式，进行若干假设，这导致计算上更可行的估计问题：

●假设图像I_1:t是相互独立的：

          P(I_t|φ_t，θ_t，I_1:t-1)＝P(I_t|φ_t，θ_t)                        (4)

●

●假设感兴趣的形状的强度和背景的强度是具有未知的均值μ₁、μ₂和方差σ₁、σ₂的两个高斯分布的独立样本。因此，上面的数据项可被写为：

$P\left(I_t\right|{\mathrm{\&phi;}}_t,{\mathrm{\&theta;}}_t)=\underset{\underset{{\mathrm{\&phi;}}_t\left(T_{{\mathrm{\&theta;}}_t}x\right)\&GreaterEqual;0}{x}}{\mathrm{\&Pi;}}\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_1}\exp (-\frac{{(I_t\left(x\right)-{\mathrm{\&mu;}}_1)}^2}{{2\mathrm{\&sigma;}}_1^2})\underset{\underset{{\mathrm{\&phi;}}_t\left(T_{{\mathrm{\&theta;}}_t}x\right)<0}{x}}{\mathrm{\&Pi;}}\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_2}\exp (-\frac{{(I_t\left(x\right)-{\mathrm{\&mu;}}_2)}^2}{{2\mathrm{\&sigma;}}_2^2})$

$\&Proportional;\exp (-\underset{\mathrm{\&Omega;}}{\&Integral;}(\frac{{(I_t-{\mathrm{\&mu;}}_1)}^2}{{2\mathrm{\&sigma;}}_1^2}+{\log \mathrm{\&sigma;}}_1){\mathrm{H\&phi;}}_t\left(T_{{\mathrm{\&theta;}}_t}x\right)+(\frac{{(I_t-{\mathrm{\&mu;}}_2)}^2}{{2\mathrm{\&sigma;}}_2^2}+{\log \mathrm{\&sigma;}}_2)(1-{\mathrm{H\&phi;}}_t\left(T_{{\mathrm{\&theta;}}_t}x\right))\mathrm{dx}),$

●其中介绍了海维赛德(Heaviside)阶梯函数Hφ≡H(φ)来表示区域，其中φ是正的(Hφ＝1)或者负的(Hφ＝0)。其中，也提出了相关的强度模型，参见D.Mumford和J.Shah的“Optimal approximations bypiecewise smooth functions and associated variational problems”(Comm.Pure Appl.Math.，42：577-685，1989年)、S.C.Zhu和A.Yuille的“Region competition：Unifying snakes，region growing”、和Bayes的“MDLfor multiband image segmentation”(IEEE PAMI，18(9)：884-900，1996年)以及T.F.Chan和L.A.Vese的“Active contours without edges”(IEEETrans.Image Processing，10(2)：266-277，2001年)。联合地利用形状φ_t和转换θ_t来估计模型参数μ_i和σ_i。通过当前形状内部和外部的强度I_t的均值和方差来给出其最优值：

${\mathrm{\&mu;}}_1=\frac{1}{a_1}\&Integral;I_t{\mathrm{H\&phi;}}_t\mathrm{dx},{\mathrm{\&sigma;}}_1^2=\frac{1}{a_1}\&Integral;I_t^2{\mathrm{H\&phi;}}_t\mathrm{dx}-{{\mathrm{\&mu;}}_1}^2,$ 其中a₁＝∫Hφ_tdx      (5)

●以及类似地对于μ₂和σ₂，利用(1-Hφ_t)替代Hφ_t。为了保持符号表示简单，这些参数没有被显示为动态变量的部分。

●为了避免考虑公式(3)中的所有可能的中间形状φ_1:t-1和转换θ_1:t-1的计算负担，假定以前状态的分布强烈地在相应分布的最大值附近取峰值：

$P({\mathrm{\&phi;}}_{1:t-1},{\mathrm{\&theta;}}_{1:t-1}|I_{1:t-1})\&ap;\mathrm{\&delta;}({\mathrm{\&phi;}}_{1:t-1}-{\widehat{\mathrm{\&phi;}}}_{1:t-1})\mathrm{\&delta;}({\mathrm{\&theta;}}_{1:t-1}-{\widehat{\mathrm{\&theta;}}}_{1:t-1}),---\left(6\right)$

●其中 $({\widehat{\mathrm{\&phi;}}}_i,{\widehat{\mathrm{\&theta;}}}_i)=\arg \max P({\mathrm{\&phi;}}_i,{\mathrm{\&theta;}}_i|I_{1:i-1})$ 是对针对过去的帧所获得的形状和转换的估计，以及δ(.)表示狄拉克(Dirac delta)函数。这个近似的可替换的调整如下：假设由于存储器的限制，跟踪系统不能存储所获得的图像，但是该系统仅仅存储形状和转换的过去的估计。接着，时刻t的推断问题缩小到相对于嵌入函数φ_t和转换参数θ_t最大化条件分布的问题

$P({\mathrm{\&phi;}}_t,{\mathrm{\&theta;}}_t|I_t,{\widehat{\mathrm{\&phi;}}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1})\&Proportional;P\left(I_t\right|{\mathrm{\&phi;}}_t,{\mathrm{\&theta;}}_t)P({\mathrm{\&phi;}}_t,{\mathrm{\&theta;}}_t|{\widehat{\mathrm{\&phi;}}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1}).---\left(7\right)$

●这等同于以参见公式(6)的近似为条件的参见公式(2)的原始推断问题。

●这篇论文的主要贡献是以在前的形状和转换为条件来对形状φ_t和转换θ_t上的联合先验进行建模。为此，考虑两个近似：

在第一步中：假设形状和转换是相互独立的，也就是，P(φ_t，θ_t|φ_1:t-1，θ_1:t-1)＝P(φ_t|φ_1:t-1)P(θ_t|θ_1:t-1)，以及假设转换参数上的均匀先验，也就是，P(θ_t|θ_1:t-1)＝常数。这是对Rathi等人的最近工作的互补，参见Y.Rathi、N.Vaswani、A.Tannenbaum和A.Yezzi的“Particle filtering forgeometric active contours and application to tracking deforming objects(IEEEInt.Conf.on Comp.Vision and Patt.Recognition，2005年)，他们提出了针对这些转换参数的时间模型，而在形状上没有强加任何特定的模型。

在第二步中，在考虑形状和转换之间的耦合的情况下考虑形状和转换参数的联合分布P(φ_t，θ_t|φ_1:t-1，θ_1:t-1)的更常用的情况。实验结果证实，在处理阻塞时，这导致更好的性能。

                2.2有限维数的公式

当从样本数据中估计(7)中的条件概率

时，需要还原嵌入函数的有限维数近似。众所周知，如果模型和数据的维数低，则可以更可靠地估计统计学模型。接着在子空间内以低维数公式重算贝叶斯推断，该子空间由样本形状集合的最主要的固有模式来生成(span)。接着以双重方式来利用训练序列：首先，该训练序列用来限定其中要执行估计的低维数子空间。接着，在这个子空间内，过程使用该训练序列来学习针对隐式形状的动态模型。

令{φ₁，...，φ_N}为训练形状的时间序列。假设所有训练形状φ_i是带符号的距离函数。然而，固有模式的任意线性组合通常不产生带符号的距离函数。虽然所提出的统计形状模型支持接近于训练形状(并且因此接近于带符号的距离函数的集合)的形状，并不是所考虑的子空间中取样的所有形状都与带符号的距离函数相对应。令φ₀表示平均形状以及ψ₁，...，ψ_n表示n个最大的固有模式，其中n＜＜N。该过程接着将每个训练形状近似为：

${\mathrm{\&phi;}}_i\left(x\right)={\mathrm{\&phi;}}_0\left(x\right)+\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_{\mathrm{ij}}{\mathrm{\&psi;}}_j\left(x\right),---\left(8\right)$

其中

    a_ij＝(φ_i-φ₀，ψ_j)≡∫(φ_i-φ₀)ψ_jdx。             (9)

已经成功地将这样的基于PCA的水平集函数的表达应用到统计形状先验的结构中，参见M.Leventon、W.Grimson、和O.Faugeras的“Statistical shapeinfluence in geodesic active contours”(CVPR，volume 1，第316-323页，Hilton HeadIsland，SC，2000年)，A.Tsai、A.Yezzi、W.Wells、C.Tempany、D.Tucker、A.Fan、E.Grimson和A.Willsky的“Model-based curve evolution technique for imagesegmentation”(Comp.Vision Patt.Recog.，第463-468页，kauai，Hawaii，2001年)，M.Rousson、N.Paragios和R.Deriche的“Implicit active shape models for 3dsegmentation in MRI imaging”(MICCAI，第209-216页，2004年)以及M.Rousson和D.Cremers(M.Rousson和D.Cremers，MICCAI，volume 1，第757-764页，2005年)，“Efficient kernel density estimation of shape and intensity priors for level setsegmentation”(MICCAI，2005年)。下面，将最初n个固有模式的矢量表示为ψ＝(ψ₁，...，ψ_n)。因此，通过n维形状矢量a_i＝(a_i1，...，a_in)将每个样本形状φ_i进行近似。类似地，通过以下形式的形状矢量对任意形状φ进行近似

           a_φ＝(φ-φ₀，ψ)。                  (10)

图1示出了来自行走的人的序列的轮廓集合以及他们对最初6个固有模式的近似。虽然这个近似肯定是缺少形状的一些详细信息的粗略近似，仍足以找到它们。更特别地，图1的上半部中的六个轮廓序列来自于根据图13的步骤100的手动跟踪，而图1的下半部中的六个轮廓是如图13的步骤102中那样的PCA近似。因此，图1示出了训练轮廓集合的低维近似。根据图13的步骤100进行手动分割的轮廓(图1的顶部)是底部轮廓，这些底部轮廓由其嵌入函数(图1的底部)的最初6个主成分(PCA)(参见公式(8))来近似。

类似于在前面部分中给出的推导，这个子空间内的图像序列分割的目标被阐述如下：从图像序列中给出连续的图像I_t：Ω→R，并且给出在以前的图像I_1:t-1上所获得的分割a_1:t-1和转换

该过程相对于形状参数a_t和转换参数θ_t最大化以下条件概率

$P({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t|I_t,{\mathrm{\&alpha;}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1})=\frac{P\left(I_t\right|{\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t)P({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t|{\mathrm{\&alpha;}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1})}{P(I_t{|\mathrm{\&alpha;}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1})}.---\left(11\right)$

该条件概率被建模为：

$P({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t|{\mathrm{\&alpha;}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1}),---\left(12\right)$

该条件概率以针对在以前图像上所获得的形状和转换的参数估计为条件构成了用于观察时刻t的特定形状a_t和特定转换θ_t的概率。

                  3.动态统计形状模型

已经研究出很多理论来对在时域上相关的时间序列数据进行建模。其中，在[A.Blake和M.Isard的Active Contours.London，1998年春天]中提出了对可变形状进行建模的动态系统的应用程序。此处，该过程学习隐式表达的形状的动态模型。为了简化所述讨论，首先集中在形状变形的动态模型上。换句话说，假设转换参数上的均匀分布和仅对条件分布P(α_t|α_1:t-1)进行建模。

                  3.1变形的动态模型

再次参考图13，在步骤100中，以任何传统的方式获得具有例如顺序地改变振动特性的可变形对象的手动分割的图像序列。更特别地，如在上面的部分2.2中所描述的那样，令{φ₁，...，φ_N}为训练形状的时间序列。针对图1中的行走的人的例子显示结果，在图1中示出白色背景上的黑色训练形状和每个形状的水平集函数。如在部分2.2中所描述的那样，令φ₀表示平均形状，以及ψ₁，...，ψ_n表示n个最大的固有模式，其中n＜＜N。

在步骤102，该过程使用水平集函数的PCA)表达来计算主成分，将其称为如在下面的公式(9)和(10)中那样的形状矢量。在图1的下面6个训练形状(此处为6个轮廓)中示出了轮廓序列的PCA表达。注意，因为PCA中的近似，最后一个可以观察，在上部的集合中的6个轮廓中的最后一个中的右脚比下部6个形状中的最后一个中的相应的最后一个轮廓具有更尖的脚趾。

因此，根据PCA，该过程接着近似如在上面的公式(8)和(9)中给出的每个训练形状。

在步骤104中，该过程估计针对形状矢量序列的动态(自回归)模型。这在下面的公式(13)中被示出。图3示出输入序列的形状矢量(左)和利用该模型所合成的序列的形状矢量(右)。更特别地，图3是模型比较；原始形状序列(顶部)和由统计学习的二阶马尔可夫链合成的序列(底部)展示相似的振动特性和振幅调制。这些曲线示出了第一、第二和第六形状固有模式的时间演变。

图5示出了来自具有增加的噪声的图像序列的样本。图5是来自具有增加的噪声量的序列的图像，此处为来自具有25％、50％和90％噪声的序列中的样本输入帧，其中90％的噪声意味着由从均匀分布中采样的随机强度替代所有像素的90％。

更特别地，该过程研究表示来自先验运动的对象(此处为行走的人)的嵌入函数的振动特性的时间统计形状模型。

仍然更特别地，该过程通过k阶马尔可夫链([Neumaier，Schneider 2001年])来近似水平集函数序列的形状矢量 $a_t\&equiv;a_{{\mathrm{\&phi;}}_t}$ 来学习可变形状的时间动态特性，也就是：

a_t＝μ+A₁a_t-1+A₂a_t-2+...+A_ka_t-k+η，                  (13)

其中，η是具有协方差∑的零均值高斯噪声。因此，通过相应的k阶自回归模型给出以在以前的时间步骤中所观察的形状为条件的形状概率：

$P\left({\mathrm{\&alpha;}}_t\right|{\mathrm{\&alpha;}}_{1:t-1})\&Proportional;\exp (-\frac{1}{2}{v}^T{\mathrm{\&Sigma;}}^{-1}v),---\left(14\right)$

其中

v≡α_t-μ-A₁α_t-1-A₂α_t-2...-A_kα_t-k           (15)

在所述文献中已经提出了各种各样的方法来估计模型参数，该模型参数由均值μ∈Rⁿ以及平移和噪声矩阵A₁，...，A_k，∑∈R^n×n给出。此处，该过程应用在[A.Neumaier and T.Schneider的“Estimation of parameters and eigenmodes ofmultivariate autoregressive models”(ACMT.Mathematical Software，27(1)：27-57，2001年]中提出的阶梯式最小平方算法。已经设计出不同的测试来量化模型配合的准确度。针对模型准确度的两个已建立的标准是Akaike的最终预测误差(参见H.Akaike的“Autoregressive model fitting for control”(Ann.Inst.Statist.Math.，23：163-180，1971年))和Schwarz的贝叶斯标准(参见G.Schwarz的“Estimating the dimension of a model”(Ann.Statist.，6：461-464，1978年)。使用高达8阶的动态模型，根据Schwarz的贝叶斯标准发现，可以由二阶自回归模型最好地近似使用该过程的训练序列。

从151个连续轮廓的训练序列中，估计二阶自回归模型的参数。通过绘制与每个所建模的固有模式相关联的剩余物的自相关函数(参见图2)，接着评估这个模型。这些曲线表明，这些剩余物实质上是不相关的。因此，利用图2中所示的自相关函数，通过绘制与最初四个形状模式相关联的剩余物的自相关函数，可以验证在图13的步骤104中所提供的自回归模型。显然地，这些剩余物在统计学上是相关的。

另外，根据公式(13)，所估计的模型参数允许该过程合成行走序列。为了移除对初始条件的依赖性，废弃了最初数百个样本。图3示出了输入序列(左边)和合成序列(右边)中的第一、第二和第六固有模式的时间演变。显然，二阶模型捕获振动特性中的一些关键元素。根据步骤104(图13)，左边的原始形状序列和右边的由统计学习的二阶马尔可夫链所合成的序列展示相似的振动特性和振幅调制。这些曲线表明第一、第二和第六形状固有模式的时间演变。原始形状序列(左边)和由统计学习的二阶马尔可夫链(右边)所合成的序列展示相似的振动特性和振幅调制。这些曲线表明第一、第二和第六形状固有模式的时间演变。

当所合成的序列捕获行走的人的特征运动时，图4表明，单独合成的轮廓在一切情况下并不是模仿的有效形状。认为，期望从强烈压缩所表示的输入序列的模型中得到这些限制：代替在256×256网格上所限定的151个形状，该模型仅仅保留平均形状φ₀、6个固有模式ψ和由6维均值和3个6×6矩阵给出的自回归模型参数。对应于压缩到原始大小的4.6％，总计458851个参数，而不是9895936个参数。虽然在[A.Blake and M.Isard的Active Contours，London，1998年春天]之前已经研究出使用自回归模型的动态形状模型的合成，仍应注意的是，形状的合成是基于隐式表达。更特别地，图4示出了由该过程所产生的合成生成的行走序列。通过在嵌入函数上的统计学习的二阶马尔可夫模型来产生样本轮廓，参见公式(13)。虽然马尔可夫模型捕获行走的人的多个典型振动特性，并不是所有所生成的样本与可允许的形状相对应，比较在底部右侧的最后两个轮廓。然而如在部分5中所描述的那样，该模型足够精确地来适当约束分割过程。图4示出了由过程合成产生的行走序列。嵌入函数上的统计学习的二阶马尔可夫模型产生样本轮廓，参见公式(13)。虽然马尔可夫模型捕获行走的人的多个典型振动特性，并不是所有所产生的样本与可允许的形状相对应，比较底部右侧的最后两个轮廓。然而，如将在部分5中所描述的那样，该模型可以足够准确地来适当约束分割过程。

参考图14，示出统计合成的嵌入函数的序列，并且也示出由相应表面的零水平线给出的所导致的轮廓。特别地，这个隐式表达允许合成变化拓扑的形状。例如，图14的左下部上的轮廓包括两个轮廓。通过从二阶自回归模型中采样获得的嵌入表面统计地产生序列，并且由合成表面的零水平线给出轮廓。隐式公式允许嵌入的轮廓改变拓扑(左下部的图像)。

             3.2变形和转换的联合动态特性

在前面的部分中，介绍了自回归模型来捕获隐式表达的形状的时间动态特性。为此，在执行动态模型的学习之前，去除与诸如平移和旋转的转换相对应的自由度。因此，学习仅仅并入变形模式，而忽略了关于姿势和位置的所有信息。例如，图4中的合成形状表明“在现场”行走的行走的人。

通常，期望将变形参数a_t和转换参数θ_t紧密地耦合起来。捕获形状和转换的联合动态特性的模型明显地比忽略转换的模型更强大。然而，该过程学习对于平移、旋转和其它转换来说是不变的动态形状模型。为此，可以利用这样的事实：转换形成了组，这意味着通过应用递增的转换 ${\mathrm{\&Delta;\&theta;}}_t=T_{{\mathrm{\&theta;}}_t}x=T_{{\mathrm{\&Delta;\&theta;}}_t}{T}_{{\mathrm{\&theta;}}_{t-1}}x,$ 可以从以前的转换θ_t-1中获得在时刻t的转换θ_t。取代学习绝对转换θ_t的模型，该过程简单地学习更新转换Δθ_t(例如，平移和旋转中的变化)的模型。通过构造，这种模型相对于所建模的形状的整体姿势或位置是不变的。

为了对转换和变形进行联合建模，对于学习序列中的每个训练形状，该过程简单地获得变形参数a_i和转换变化Δθ_i，以及将在公式(14)和(15)中给出的自回归模型配合到组合矢量

${\mathrm{\&alpha;}}_t=\left(\begin{array}{c}{\mathrm{\&alpha;}}_t\\ {\mathrm{\&Delta;\&theta;}}_t\end{array}\right).$

在行走的人的情况下，发现，如在静止的情况下那样，二阶自回归模型给出了最好的模型配合。根据这个模型的合成允许产生行走的人的轮廓，该轮廓类似于图4中所示的轮廓，但是该轮廓从任意的(用户专用的)起始位置开始，在空间前进。

                4.可变分割中的动态形状先验

从图像序列中给出图像I_t，以及给出具有形状参数a_1:t-1和转换参数θ_1:t-1的以前分割的形状的集合，跟踪的目的是相对于形状a_t和转换θ_t最大化条件概率方程(11)。这可以通过最小化其负对数来执行，该负对数(等于常数)通过以下形式的能量来给出：

E(α_t，θ_t)＝E_data(α_t，θ_t)+vE_shape(α_t，θ_t)。        (17)

介绍另外的权重v，以允许先验和数据项之间的相对加权。特别地，如果强度信息与假设不相一致(对象和背景的高斯强度分布)，优选的是较大的权重v。通过下式来给出数据项：

$E_{\mathrm{data}}({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t)=\underset{\mathrm{\&Omega;}}{\&Integral;}(\frac{{(I_t-{\mathrm{\&mu;}}_1)}^2}{{2\mathrm{\&sigma;}}_1^2}+{\log \mathrm{\&sigma;}}_1){\mathrm{H\&phi;}}_{{\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t}+(\frac{{(I_t-{\mathrm{\&mu;}}_2)}^2}{{2\mathrm{\&sigma;}}_2^2}+{\log \mathrm{\&sigma;}}_2)(1-{\mathrm{H\&phi;}}_{{\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t})\mathrm{dx}---\left(18\right)$

其中，为了符号表示简化，介绍下面的表达式

${\mathrm{\&phi;}}_{{\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t}\&equiv;{\mathrm{\&phi;}}_0\left(T_{{\mathrm{\&theta;}}_t}x\right)+{\mathrm{\&alpha;}}_t^T\mathrm{\&psi;}\left(T_{{\mathrm{\&theta;}}_t}x\right),---\left(19\right)$

以表示利用变形参数a_t所生成和利用参数θ_t所转换的形状的嵌入函数。

使用自回归模型方程(14)，通过下式给出形状能量：

$E_{\mathrm{shape}}({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t)=\frac{1}{2}{v}^T{\mathrm{\&Sigma;}}^{-1}v,---\left(20\right)$

在公式(15)中定义了v。为了引入在部分1中所介绍的变形和转换的联合模型，上面的v的表达式需要通过相对转换Δθ来增强：

$v\&equiv;\left(\begin{array}{c}{\mathrm{\&alpha;}}_t\\ {\mathrm{\&Delta;\&theta;}}_t\end{array}\right)-\mathrm{\&mu;}-A_1\left(\begin{array}{c}{\mathrm{\&alpha;}}_{t-1}\\ {\mathrm{\&Delta;}\widehat{\mathrm{\&theta;}}}_{t-1}\end{array}\right)-A_2\left(\begin{array}{c}{\mathrm{\&alpha;}}_{t-2}\\ {\mathrm{\&Delta;}\widehat{\mathrm{\&theta;}}}_{t-2}\end{array}\right)...-A_k\left(\begin{array}{c}{\mathrm{\&alpha;}}_{t-k}\\ {\mathrm{\&Delta;}\widehat{\mathrm{\&theta;}}}_{t-k}\end{array}\right),---\left(21\right)$

其中，μ和A_i表示统计学习的均值和针对变形和转换的联合空间的平移矩阵，而k是模型阶数。在实验中，选择模型阶数k＝2。

很容易表明，可以将二阶自回归模型解释为时间离散衰减的谐波振荡器的随机版本。因此，适合对实质上振动的形状变形进行建模。然而，发现，较高阶自回归模型提供质量上类似的结果。

计算测试序列的最佳分割，这与所学习的动态模型相一致。这可通过找到最大化方程(11)中的条件概率的形状矢量来完成。通过执行这个概率的负对数上的梯度下降来实现最大化。这在方程(22)中示出。直观地，这个过程使形状变形，以致该形状既与当前图像又与动态模型的预测最匹配。在图9、10、11和13中示出了每个测试图像的最佳形状。

通过最小化能量公式(17)来完成利用动态形状先验跟踪图像序列I_1:t上的感兴趣对象。使用梯度下降策略，这导致下面的微分公式，以估计形状矢量a_t：

$\frac{{\mathrm{da}}_t\left(\mathrm{\&tau;}\right)}{\mathrm{d\&tau;}}=-\frac{{\&PartialD;E}_{\mathrm{data}}(a_t,{\mathrm{\&theta;}}_t)}{{\&PartialD;a}_t}-v\frac{{\&PartialD;E}_{\mathrm{shape}}(a_t,{\mathrm{\&theta;}}_t)}{{\mathrm{\&theta;a}}_t}---\left(22\right)$

其中，相对于物理时刻t，τ表示人造(artificial)演变时刻。通过下式给出数据项：

$\frac{{\&PartialD;E}_{\mathrm{data}}}{{\&PartialD;a}_t}=\&lang;\mathrm{\&psi;},\mathrm{\&delta;}\left({\mathrm{\&phi;}}_{a_t}\right)(\frac{{(I_t-{\mathrm{\&mu;}}_1)}^2}{{2\mathrm{\&sigma;}}_1^2}-\frac{{(I_t-{\mathrm{\&mu;}}_2)}^2}{{2\mathrm{\&sigma;}}_2^2}+\log \frac{{\mathrm{\&sigma;}}_1}{{\mathrm{\&sigma;}}_2})\&rang;,$

以及通过下式给出形状项：

$\frac{{\&PartialD;E}_{\mathrm{shape}}}{{\&PartialD;a}_t}=\frac{\&PartialD;v}{{\&PartialD;a}_t}{\mathrm{\&Sigma;}}^{-1}v=\left(\begin{array}{cc}{1}_n& 0\\ 0& 0\end{array}\right){\mathrm{\&Sigma;}}^{-1}v,---\left(23\right)$

其中，v在公式(21)中给出，以及1_n为对形状成分v上的投影进行建模的n维单元矩阵，其中n是形状模式的数目。这两项以如下方式影响形状演变：第一项根据两个高斯强度模型来绘制形状以分离图像强度。由于形状矢量a_t中的变量通过固有模式ψ影响形状，所以数据项是这些固有模式上的投影。第二项引起形状矢量a_t朝最相似的形状的缓和，如由动态模型所预测的那样，该动态模型基于针对以前的时间帧所获得的形状矢量和转换参数。

类似地，通过演变由下式给出的相应的梯度下降方程来获得相对于转换参数θ_t的最小化：

$\frac{{\mathrm{d\&theta;}}_t\left(\mathrm{\&tau;}\right)}{\mathrm{d\&tau;}}=-\frac{{\&PartialD;E}_{\mathrm{data}}(a_t,{\mathrm{\&theta;}}_t)}{{\&PartialD;\mathrm{\&theta;}}_t}-v\frac{{\&PartialD;E}_{\mathrm{shape}}(a_t,{\mathrm{\&theta;}}_t)}{{\&PartialD;\mathrm{\&theta;}}_t}---\left(24\right)$

其中，通过下式给出数据项

$\frac{{\&PartialD;E}_{\mathrm{data}}(a_t,{\mathrm{\&theta;}}_t)}{{\&PartialD;\mathrm{\&theta;}}_t}=\&lang;\&dtri;\mathrm{\&psi;}\frac{d\left(T_{{\mathrm{\&theta;}}_t}x\right)}{{\mathrm{d\&theta;}}_t},\mathrm{\&delta;}\left({\mathrm{\&phi;}}_{a_t}\right)[\frac{{(I_t-{\mathrm{\&mu;}}_1)}^2}{{2\mathrm{\&sigma;}}_1^2}-\frac{{(I_t-{\mathrm{\&mu;}}_2)}^2}{{2\mathrm{\&sigma;}}_2^2}+\log \frac{{\mathrm{\&sigma;}}_1}{{\mathrm{\&sigma;}}_2}]\&rang;,---\left(25\right)$

以及通过下式给出来自先验的驱动项：

$\frac{{\&PartialD;E}_{\mathrm{shape}}}{{\&PartialD;\mathrm{\&theta;}}_t}=\frac{\&PartialD;v}{{\&PartialD;\mathrm{\&theta;}}_t}{\mathrm{\&Sigma;}}^{-1}v=\frac{d\left({\mathrm{\&Delta;\&theta;}}_t\right)}{{\mathrm{d\&theta;}}_t}\left[\begin{array}{cc}0& 0\\ 0& 1_s\end{array}\right]{\mathrm{\&Sigma;}}^{-1}v,---\left(26\right)$

其中，如上所述，形状先验贡献朝向由动态模型所预测的最相似转换的驱动力。方程(11)中的块对角矩阵简单地对在公式(21)中所定义的联合矢量v的s个转换成分上的投影进行建模。

                        5.实验结果

                5.1动态与静态统计形状先验

下面，将介绍在前面出于基于水平集的跟踪的目的而介绍的动态统计形状先验。

根据该过程，为了构建形状先验，并且如在图13的步骤100中所指出的那样，获得(这个例子中的)行走的人的序列的手动分割、将该序列居中并且对每个形状进行二进制化。接着，在图13中的步骤102中，该过程确定与每个形状和所计算的主要6个固有模式相关联的带符号的距离函数{φ_i}_i＝1..N的集合。将每个训练形状投影到这些固有模式上，在步骤104中，该过程获得形状矢量序列{a_i∈R⁶}_i＝1..N。该过程通过计算平均矢量μ、平移矩阵A₁，A₂∈R^6×6和方程(14)中示出的噪声协方差∑∈R^6×6而将二阶多元自回归模型配合到这个序列上。接着，该过程比较通过不利用动态统计形状先验和利用动态统计形状先验的6维子空间中的分割所获得的噪声序列的分割。

不利用动态先验进行的分割与利用最初一些固有模式的子空间中的静态均匀先验所获得的分割相一致，如在A.Tsai、A.Yezzi、W.Wells、C.Tempany、D.Tucker、A.Fan、E.Grimson和A.Willsky的“Model-based curve evolution techniquefor image segmentation”(Comp.Vision Patt.Recog.，第463-468页，Kauai，Hawaii，2001年)中所提出的那样。虽然对于静态形状先验存在可替换的模型(例如，M.Leventon、W.Grimson、和O.Faugeras的“Statistical shape influencein geodesic active contours”(CVPR，volume 1，第316-323页，Hilton HeadIsland，SC，2000年)中的高斯模型或者D.Cremers、S.J.Osher、和S.Soatto的“Kerneldensity estimation and intrinsic alignment for knowledge-drivensegmentation：Teaching level sets to walk”(Pattern Recognition，volume 3175 ofLNCS，第36-44页，2004年春天)以及M.Rousson和D.Cremers[MICCAI，volumel，第757-764页]中的非参数化静态模型)，在实验中仍发现，当所有这些模型用于图像序列分割(参见图7)时，所有这些模型展示质量上类似的限制，因为这些模型没有利用时间形状相关，所以这些模型趋于开始局部最小化。

在步骤108中，该过程接着通过最大化概率来对于将来的、出现不期望的现象时的对象的连续运动应用该模型，该概率为所研究的统计形状模型匹配出现不期望的现象时的对象的连续运动的概率。

因此，参考图5，示出了来自具有25％、50％、75％和90％噪声的序列的样本输入帧。(需要注意的是，噪声意味着，所有像素的25％由从均匀分布中所采样的随机强度所替代。需要引起注意的是，我们的算法很容易处理均匀噪声，尽管该噪声的概率公式是基于高斯噪声的假设的。)图6示出利用具有25％噪声的序列上的均匀静态形状先验所获得的分割集合。图6示出使用25％噪声的静态形状先验进行的分割。将水平集演变约束到低维子空间允许处理某一数量的噪声。虽然，在存在中等噪声时，不利用动态先验进行的分割是成功的，图7仍示出，当增加噪声水平时，不利用动态先验进行的分割可能崩溃。图7示出了使用50\％噪声的静态形状先验进行的分割。使用静态(均匀)形状先验，分割方案不能处理更大数量的噪声。在最初一些帧之后，该分割开始局部最小化。由于静态形状先验不能及时提供预测，所以这些先验具有开始在以前图像上所获得的形状估计的趋势。更特别地，图6示出了利用具有25％噪声的行走序列上的静态形状先验进行的分割。将水平集演化约束到低维子空间上允许处理某一数量的噪声，并且图7示出了利用具有50％噪声的行走序列上的静态形状先验进行的分割。仅仅使用静态形状先验，分割方案不能处理更大数量的噪声。

图8示出与图7中的序列相同的序列的分割，该分割利用从二阶自回归模型中导出的动态统计形状先验来获得。图8示出了使用50％噪声的动态形状先验进行的分割。与图7中所示的利用静态先验进行的分割相比，(使用二阶自回归模型的)动态先验强加关于形状演变的时间动态特征的统计学习的信息，以处理丢失的或者易误解的低水平信息。

图9和10示出统计形状先验提供了好的分割，平均具有90％的噪声。明显地，利用动态形状的时间统计结果允许使得分割过程对于丢失的和易误解的信息非常稳定。更特别地，图8示出使用基于二阶自回归模型的动态统计形状先验进行的分割。与图7中的分割相比，该先验强加关于形状演变的时间动态特征的统计学习的信息，以处理易误解的低水平信息，并且图9示出利用动态统计形状先验进行的跟踪，以处理更大数目的噪声。输入图像被90％的噪声破坏了。然而，统计学习的动态形状模型允许解释低水平信息。这些实验证实，跟踪方案确实可以与人类观察者的能力相竞争。图9示出利用75％噪声的动态形状先验进行的跟踪。统计学习的动态形状模型允许解释低水平信息。图10示出利用90\％噪声的动态形状先验的跟踪。在图11的左侧示出相对于地面实况的定量评估指出，我们的跟踪方案确实可以与人类观察者的能力相竞争，在人类观察者失败的地方提供了可靠的分割。由于利用动态形状先验进行的分割过程随着时间的变化累积图像信息(和存储器)，所以最初一些帧上的分割结果是不准确的。

                5.2噪声稳定性的定量评估

为了对分割的准确度进行量化，使用原始测试序列的手动分割。接着，定义下面的误差度量：

$\mathrm{\&epsiv;}=\frac{{\&Integral;(\mathrm{H\&phi;}\left(x\right)-H{\mathrm{\&phi;}}_0\left(x\right))}^2\mathrm{dx}}{\&Integral;\mathrm{H\&phi;}\left(x\right)\mathrm{dx}+\&Integral;H{\mathrm{\&phi;}}_0\left(x\right)\mathrm{dx}},---\left(27\right)$

其中，H也是海维赛德阶梯函数，φ₀是真正的分割，以及φ是所估计的分割。这个误差与由每个分割的区域进行划分的设置对称差值的相对区域(也就是，两个分割的并集减去其交集)相对应。虽然存在分割准确度的各种度量，针对这种度量决定分割准确度，因为该准确度呈现定义明确的范围0≤ε≤1内的值，其中ε＝0对应于完美的分割。

图11的左侧根据噪声水平示出了在测试序列上平均的分割误差。使用变形和转换的动态形状先验(部分3.3)，同时利用初始位置的估计初始化分割过程。该曲线表明几件事情：首先，针对低于60％的噪声水平，误差保持相当恒定。这是由于这样的事实：将先验的权重v设置成针对所有实验的固定值(理论上，对于较低的噪声，可以使用较小的权重)。因此，大约5％的剩余误差来自于所估计的动态模型和真正的序列之间的差异，累积由主成分近似和自回归模型的近似所引入的误差。其次，如所期望的那样，对于更大的噪声值，误差增加。(特别是90％噪声处的)单调性的偏差很可能影响统计学波动。与关于行走的平移成分的先验知识相结合的初始姿势估计导致了这样的事实：即使在100％噪声的情况下，该误差仍低于随机分割的误差。图11示出了分割准确度的量化评估。针对增长数目的噪声(左边)和变化的行走速度(右边)，绘制相对分割误差。即使对于100％噪声，分割误差仍很好地维持在1以下，因为该过程结合了初始位置的良好的估计和平移运动的模型。右边的曲线示出，对于低于所学习的速度v₀的行走速度v，(具有70％噪声的)分割误差保持低，而对于较快的行走序列，准确度慢慢降低。然而，即使对于为所学习的行走速度的5倍的序列，利用动态先验进行的分割在性能上优于利用静态先验进行的分割。

             5.3对于频率和帧频变化的稳走性

给定在最后一些帧上所获得的分割，动态形状先验介绍了关于某些轮廓如何类似的先验知识。假定，该过程已经从固定行走速度v₀的序列中学习了行走的人的动态模型。显然，所估计的模型将被调整到这个特定的行走速度。然而，当在实践中应用这样的模型时，不能保证，测试序列中的人将正好以相同的速度行走。同样地，不能确保(即使行走速度是相同的)照相机的帧频是相同的。为了在实践中更有用，所提出的先验对于行走频率和帧频中的变化必须稳定。

为了验证这个稳定性，或者通过丢弃某些帧(为了加速步法)或者通过复制帧(因而减慢步法)来合成不同行走速度的测试序列。图11的右侧示出在方程(27)中所定义的分割误差ε，该分割误差在具有70％噪声和以下速度的测试序列上平均，该速度可以从训练序列速度的1/5变化到原始速度的5倍。虽然减慢序列不影响准确度，但是一旦速度增加，准确度将逐渐降低。然而，分割过程对于速度中的这样的激烈变化是非常稳定的。这种稳定性的原因是双重的：首先，贝叶斯公式允许以这样一种方式组合模型预测和输入数据，该方式是分割过程恒定地适于即将进来的输入数据。其次，自回归模型仅仅依赖于最后的一些所估计的轮廓，以产生当前帧的形状概率。不能假设长的范围的时间一致性并且能因此处理具有变化的行走速度的序列。实验表明，即使对于为原始行走序列的5倍的序列，利用动态模型进行的分割优于利用静态模型进行的分割。这并不令人惊讶：与静态模型相比，动态模型提供时间形状演变的预测。即使这种预测对于完全不同的行走速度来说可能是次佳的，但仍允许增强分割过程。

               5.4变形和转换的联合动态特性

在部分3.2中，介绍动态模型来捕获变形和转换参数的联合演变。在迄今为止所示的任务上，发现纯的变形模型以及变形和转换的联合模型来提供类似的分割结果。虽然联合模型提供了关于转换参数的先验，这些参数在给定的时刻是非常类似的，纯的变形模型需要单独地从这些数据中估计这些参数。

作为最后的例子，产生分割任务，其中，由于明显的阻塞，转换参数不能可靠地从数据中被估计出来。测试序列表明一个人从右边走到左边，并且阻塞障碍物从左边移动到右边，通过80％的噪声进行破坏。图12的顶行示出利用动态形状先验所获得的分割捕获了变形和转换。即使行走的轮廓被完全阻塞，该模型仍能够产生行走到左边的轮廓，并且一旦图形再次出现时，模型与图像数据相适配。

在另一方面，图12的底行示出利用动态模型进行的相同帧的分割，该动态模型仅仅并入形状变形。由于没有假定关于平移的知识，分割过程需要完全依赖于图像信息，以便估计转换参数。因此，明显的阻塞误导了分割过程。当图形再次从障碍物之后出现的时候，该过程结合由行走到左边的人和由移动到右边的障碍物所提供的关于平移的矛盾的信息。一旦感兴趣的图形丢失了，先验仅仅产生“在现场”行走的人的轮廓的“幻觉”，参见右下部的最后一幅图像。尽管“失败”的实验，仍相信，这个结果最好地解释了，动态模型和图像信息如何被融合在图像序列分割的贝叶斯公式内。图12示出存在阻塞时的跟踪。输入序列表明，行走到左边的人被移动到右边的障碍物阻塞了。虽然利用动态先验产生了顶行，该动态先验结合了变形和转换，但底行使用仅仅捕获变形成分的动态先验。由于后者并不提供平移运动的预测，所以平移的估计纯粹基于图像数据。一旦人从障碍物后重新出现时，阻塞将其误导，并且不能恢复。

                        6.结论

利用上面所述的过程，动态统计形状模型被用于隐式表达的形状。与针对隐式形状的现有的形状模型相比，这些模型捕获表征变形形状特征的时间相关，该变形形状诸如行走的人的连续的轮廓。这种动态形状模型说明以下事实：在给定的时刻观察特定的形状的概率取决于在之前的时刻观察到的形状。

为了构造统计形状模型，该过程将马尔可夫链和自回归模型的概念扩展到隐式表达的形状的域中。因此，最终的动态形状模型允许处理变化拓扑的形状。此外，这些模型很容易地被扩展到更高维数的形状(也就是表面)。

所估计的动态模型允许合成任意长度的形状序列。对于行走的人的情况，验证了所估计的动态模型的准确度，将输入序列的动态形状演变与各种形状固有模式的合成序列的形状演变进行比较，并且证实剩余物在统计学上是不相关的。尽管在所有的情况下所合成的形状与有效的形状不对应，仍然可以使用动态模型来以支持相似形状演变的方式约束分割和跟踪过程。

为此，针对基于水平集的图像序列分割，已研究贝叶斯公式，这允许强统计学习的动态模型强加为分割过程的形状先验。和很多现有的跟踪方法相比，自回归模型作为统计先验被集成在变化的方法中，该方法可以通过局部梯度下降(而不是通过随机优化方法)来最小化。

实验结果证实，在存在大量噪声时，当跟踪行走的人时，动态形状先验在性能上优于静态形状先验。如所提供的那样，根据噪声定量评估分割准确度。此外，发现基于模型的分割过程对帧频和行走速度中的大(直至5倍的)变化是非常稳定的。进而，当跟踪行走的人通过明显的阻塞时，变形和转换的联合空间中的动态先验被表明在性能上由于纯基于变形的先验。

已经描述了本发明的多个实施例。然而，很容易理解，在不偏离本发明的精神和范围的情况下可以进行各种修改。因此，其它的实施例在下面的权利要求的范围内。

Claims (9)

1、一种用于检测和跟踪具有连续变化特性的可变形对象的方法，该方法包括：

研究嵌入函数的连续变化特性的时间统计形状模型，所述嵌入函数表示来自先验运动的对象；以及

接着通过最大化概率，对于将来的、出现不期望的现象时的对象的连续运动应用所述模型，所述概率为所研究的统计形状模型匹配出现不期望的现象时的对象的连续运动的概率。

2、一种方法，其包括：

产生边界形状对象的先验观察的嵌入函数的时间演变的动态模型，这样的对象具有可观察的、连续变化的边界形状；以及

随后将这样的模型用于以后关于这样的形状的对象的概率推断。

3、一种用于检测和跟踪具有连续变化特性的可变形对象的方法，该方法包括：

研究嵌入函数的连续变化特性的时间统计形状模型，所述嵌入函数表示来自先验运动的对象，这个过程包括：

研究手动分割的图形序列，该图形序列表明对象的训练形状和所述形状中的每一个形状的水平集函数；

计算形状矢量序列，该形状矢量序列包括水平集函数的主成分表达；

估计形状矢量序列的动态模型；以及

确定具有与匹配所述动态模型的最大概率的形状矢量序列之一。

4、如权利要求3所述的方法，其中，估计所述动态模型包括针对形状矢量序列使用自回归模型。

5、如权利要求3所述的方法，其中，所述最大概率确定包括最大化条件概率。

6、如权利要求3所述的方法，其中，所述最大概率确定包括在条件概率的负对数上执行梯度下降。

7、如权利要求3所述的方法，其中，估计所述动态模型包括根据α_t＝μ+A₁α_t-1+A₂α_t-2+…+A_kα_t-k+η通过k阶马尔可夫链来近似水平集函数序列的形状矢量 ${\mathrm{\&alpha;}}_t\&equiv;{\mathrm{\&alpha;}}_{{\mathrm{\&phi;}}_t},$ 其中，η是具有协方差∑的零均值高斯噪声。

8、如权利要求6所述的方法，其中，给定来自图像序列的连续图像I_t:Ω→R，并且给定在以前的图像I_1:t-1上所获得的分割α_1:t-1和转换

最大概率确定包括：

相对于形状矢量α_t和转换参数θ_t，最大化条件概率

$P({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t|I_t,{\mathrm{\&alpha;}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1})=\frac{P\left(I_t\right|{\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t)P({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t|{\mathrm{\&alpha;}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1})}{P\left(I_t\right|{\mathrm{\&alpha;}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1})},\left(11\right)$

其中，所述条件概率被建模为：

$P({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t|{\mathrm{\&alpha;}}_{1:t-1},{\widehat{\mathrm{\&theta;}}}_{1:t-1}),...\left(12\right)$

所述条件概率以在以前图像上所获得的形状和转换的参数估计为条件构成了用于观察时刻t的特定形状α_t和特定转换θ_t的概率。

9、如权利要求6所述的方法，其中，在条件概率的负对数上执行梯度下降包括使用梯度下降策略，这导致下面的微分方程，以估计形状矢量α_t：

$\frac{d{\mathrm{\&alpha;}}_t\left(\mathrm{\&tau;}\right)}{\mathrm{d\&tau;}}=-\frac{{\&PartialD;E}_{\mathrm{data}}({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t)}{\&PartialD;{\mathrm{\&alpha;}}_t}-v\frac{{\&PartialD;E}_{\mathrm{shape}}({\mathrm{\&alpha;}}_t,{\mathrm{\&theta;}}_t)}{\&PartialD;{\mathrm{\&alpha;}}_t}...\left(22\right)$

其中，相对于物理时刻t，τ表示人造演变时刻。

Images