WO2014032496A1

WO2014032496A1 - 一种人脸特征点定位方法、装置及存储介质

Info

Publication number: WO2014032496A1
Application number: PCT/CN2013/080526
Authority: WO
Inventors: 饶丰; 陈波; 肖斌; 刘海龙; 熊鹏飞
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2012-08-28
Filing date: 2013-07-31
Publication date: 2014-03-06
Anticipated expiration: 2015-02-28
Also published as: EP2863335A4; CN103632129A; JP2015522200A; US20150302240A1; EP2863335A1

Description

一种人脸特征点定位方法、装置及存储介质技术领域

本发明属于互联网技术领域，尤其涉及一种人脸特征点定位方法、装置及存储介质。

背景技术

人脸面部的关键特征点定位既是人脸识别研究中的一个关键问题，也是图形学和计算机视觉领域的一个级别问题。人脸特征点定位是采用数字图像处理和模式识别等技术对一段视频流进行人脸检测，并对人脸关键点进行精确定位并跟踪的技术，目的是通过定位的人脸关键特征点来确定和研究嘴巴等主要器官的形状信息。

现有技术方案通过人脸检测技术进行定位，但现有技术中依靠人脸检测结果所定位的人脸初始位置不够精确，导致对人脸关键点的定位不够精确，容易造成人脸关键点拟合失败。另外，现有技术在人脸特征点拟合算法上采用 ASM算法， ASM算法只考虑了形状信息，准确率不高。

发明内容

本发明提供了一种人脸特征点定位方法、装置及存储介质，旨在解决现有技术中由于人脸关键点的定位不够精确造成人脸关键点拟合失败且拟合准确率不高的问题。

本发明是这样实现的，一种人脸特征点定位方法，包括以下步骤：结合人脸检测和人眼匹配对人脸位置进行初步定位 ,并获取初步定位信息；

根据初步定位信息进行人脸特征点拟合；

根据拟合结果完成人脸特征点定位。本发明另一实施例的技术方案为：一种人脸特征点定位装置，包括人脸检测模块、特征点拟合模块及特征点定位模块，所述人脸检测模块用于通过人脸检测技术和人眼匹配技术对人脸位置进行初步定位；所述特征点拟合模块用于根据初步定位信息进行人脸特征点拟合，所述特征点定位模块根据拟合结果完成人脸特征点定位。

此外，本发明还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令用于执行一种人脸特征点定位方法，该人脸特征点定位方法包括以下步骤：

结合人脸检测和人眼匹配对人脸位置进行初步定位,并获取初步定位信息；

根据初步定位信息进行人脸特征点拟合；

根据拟合结果完成人脸特征点定位。

本发明的技术方案具有如下优点或有益效果：本发明实施例的人脸特征点定位方法、装置及存储介质结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位，比只使用人脸检测能更精确的定位人脸位置信息；根据初步定位信息结合灰度，梯度、边缘和角点特征的使用 Inverse Compositional算法进行人脸特征点拟合，完成人脸特征点的精确定位。在 AAM模型中，增加了 X , y轴方向的梯度值以及边缘角点特征等表观模型，使得人脸特征点的拟合更加精确，并有效的减少了原有的 AAM模型拟合过程中容易陷入局部最小化及抗干扰能力差的问题。

附图概述

附图 1是本发明第一实施例人脸特征点定位方法的流程图；

附图 2是本发明第二实施例人脸特征点定位方法的流程图；

附图 3是本发明实施例人脸特征点定位方法的人眼搜索 ROI 区域示意图；

附图 4是本发明实施例人脸特征点定位方法的人脸特征点的标注点示意图；

附图 5是本发明实施例人脸特征点定位方法的人脸特征点形状模型建模的流程图；

附图 6是本发明实施例的人脸特征点定位的装置的结构示意图。本发明的较佳实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图 1 , 是本发明第一实施例人脸特征点定位的方法的流程图。本发明第一实施例人脸特征点定位的方法包括以下步骤：

S 100：结合人脸检测和人眼匹配对人脸位置进行初步定位；

在 S100中，本发明实施例使用级联的 Harr特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息 s, 同时使用人眼匹配算法匹配双眼的位置信息，比只使用人脸检测方法定位更加精确。

S110: 根据初步定位信息及 AAM (主动表观模型）的至少一特征进行人脸特征点拟合；

在 S110中， AAM (主动表观模型）的特则包括灰度、梯度、边缘和角点等特征；本发明实施例通过 AAM算法结合灰度值、 X , y轴方向的梯度值、边缘和角点等多个特征做为 AAM模型的表观模型，使人脸特征点的拟合位置也更精确；在本发明实施例中，使用 Inverse Compositional (反向合成 )算法进行人脸特征点拟合。

S120: 根据拟合结果完成人脸特征点定位。在 S120 中，人脸特征点定位后，可以根据人脸特征点的位置得到双眼图像，在下一帧图像中，确定下一帧图像人眼搜索 ROI区域（ Region Of Interest 的缩写，图像处理中的术语"感兴趣区域"），并在 ROI区域内以上一帧图像中的人眼图像作为模板，使用图像匹配算法，得到当前帧中双眼的位置； ROI 区域的确定方法为， ROI区域中心和眼睛中心重合， eye_height, eye_width分别为眼睛的高度和宽度， roi_height, roi_width分别为眼睛搜索 ROI区域的高度和宽度，其中，

roi _ height - α · eye _ height;

roi _ width - β · eye _ width; a, P为 ROI区域大小控制系数，在本技术方案中取 ^{α = 3}， ^{= 2}。

本发明实施例的人脸特征点定位方法结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位，比只使用人脸检测能更精确的定位人脸位置信息。

请参阅图 2, 是本发明第二实施例人脸特征点定位的方法的流程图。本发明第二实施例人脸特征点定位的方法包括以下步骤：

S200: 输入视频，获取所述视频中对应的人脸图像信息；

S210: 判断上一帧图像是否检测出人眼，如果是，执行 S220; 如果否，执行 S240;

在 S210 中，本发明实施例在人脸检测的同时使用人眼匹配算法进行人目艮匹配，比只使用人脸检测方法定位更加精确。

S220: 在人眼 ROI ( Region Of Interest的缩写，图像处理中的术语 "感兴趣区域" ）区域内进行搜索，匹配人眼的初始位置信息；

在 S220 中， ROI 区域确定方法为， ROI 区域中心和眼睛中心重合， eye_height, eye_width分别为眼睛的高度和宽度， roi_height, roi_width分别为眼睛搜索 ROI区域的高度和宽度，具体请一并参阅图 3, 是本发明人眼搜索 ROI区域示意图。中间较小边框内为左眼图片，外部较大边框内为左眼搜索 ROI区域，其中，

roi _ height - α · eye _ height

roi width - β · eye width; α，为 ROI区域大小控制系数，在本发明实施例中取 ^{α = 3}，^ = ² ; 人眼匹配算法具体为： ^Γ ，为人眼图像，，为搜索 ROI区域， W ，) 为匹配结果图像，贝' J

其中，匹配结果图像 w ，y)在最大值时即为在 ROI区域 ^，和人眼图像 ^Γ 中最匹配的位置。

S230: 根据人眼的初始位置信息进行 ΑΑΜ人脸特征点拟合，并执行 S260;

S240: 进行人脸检测，并判断是否检测出人脸，如果是，执行 S250, 如果否，重新执行 S200;

在 S240中，本发明实施例使用级联的 Harr特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息。

S250: 获得人脸的初始位置信息（x,y )和初始人脸大小信息 s, 并根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置 x,y轴方向的梯度值、边缘和角点等特征进行 AAM人脸特征点拟合；

在 S250 中，在获得初始位置和大小信息后，结合灰度值、人脸的初始位置 x,y轴方向的梯度值、边缘和角点等特征作为 AAM的表观模型，对人脸特征点进行拟合，使人脸特征点的拟合位置也更精确。表观模型为一种参使用二范数最小化策略对未知目标进行匹配。其中，人脸特征点的 ASM(Active Shape Model,主动形状模型）可由矢量 ⁵ ^ … ^表示， ^ 为第个点的位置坐标，在本发明实施例中，采用了 82个人脸标注点，具体请参阅图 4, 是本发明人脸特征点的标注点示意图。在 ΑΑΜ模型训练过程中，采集一定量的人脸表情图片，按照图 4所示手动标注 82个人脸特征点的位置坐标，得到人脸特征点的坐标矢量 ^ ^ ， ^…^，^) , 对人脸特征点的坐标矢量进行 Procrustes算法进行几何对齐，然后对训练数据进行 PCA ( principle components analysis , 主成分分析 ) 学习, 得到,

S = S₀ +∑_PiS_i

i=l 其中，为平均形状，为形状的 PCA基， A为 PCA基的系数，在拟合过程中计算出不同的 A即可得到相应的 ASM形状模型的矢量具体请一并参阅图 5, 是本发明人脸特征点形状模型建模的方法的流程图。本发明人脸特征点形状模型建模的方法包括以下步骤：

S251: 对所有人脸特征点的坐标矢量去除均值，转移到质心坐标系下；

S252: 选择一个样本作为初始的平均形状，并校准尺寸使得 W ^{= 1};

S253: 将初始估计的平均形状记为并将此作为参考坐标系； S254: 将所有训练样本的特征点坐标矢量通过仿射变换校准到当前平均形状上；

S255: 对校准后的所有样本重新计算平均形状；

S256: 将当前的平均形状校准到上，并且使得 ^卜¹ ;

S257: 判断校准后的平均形状是否大于给定阈值，如果是，重新执行 S254; 如果否，执行 S258;

S258: 通过 PCA方法将对齐后的样本进行统计形状建模，得： s = s₀ + f_{j Pi}s_i

i=l

根据 ASM形状模型所包围区域内的点映射到平均形状，即得到 AAM表观模型 A, 其中，映射算法可采用分段仿射映射算法；同理，对 AAM表观模型可以进行 PCA学习，得到，

其中， A为平均表观， A为 AAM表观模型的 PCA基，为 PCA基的系数。

AAM表观模型的建模方法具体为：将每个训练样本映射到平均形状中，然后分别计算灰度值、 X轴 y轴的梯度值、边缘和角点特征值三类特征作为表观模型；其中，灰度值的计算方法为： ^，为每个样本映射到平均形状内的灰度图像，则灰度表观模型值为：

X轴 y轴梯度值的计算方法为：使用 sobel算子（ Sobel operator/索贝尔算子，是图像处理中的算子之一，主要用作边缘检测 )计算 X轴 y轴梯度值：

y轴梯度值的表观模型值及用以下公式获得

A_dx(x,y) = G_x(x,y)²;

A_dy(x,y) = G_y(x,y)²; 边缘角点特征 _α 的计算方法为：得到 X轴 y轴方向梯度值后 , 设：

Edge^ (x, y) = G_x (x, y) · G_x (x, y);

Edge_yy (x, y) = G_y (x, y) · G_y (x, y);

Edge (x,y) = G_x(x,y)-G (x,y); 然后采用 3x3的 Gaussian窗分别对 (υ)，^£ ，^^ 进行滤波，得：

1 2 1

Edge^ (x, y) 2 4 2 *Edge x,y)

1 2 1

Edge (x, y ) 2 4 2 *Edge (x,y)

1 2 1

Edge (x, y) 2 4 2 *Edge (x,y)

1 2 1 用以下公式计算得到边缘和角点特征:

A (γ _ν) ₌

(Edge^ (x, y ) + Edge (x, y )f - 2 · (Edge^ (x, y ) · Edge (x, y ) - Edge (x, y ) · Edge (x, y ) 由于灰度值、 x轴 y轴方向梯度值、边缘和角点等特征不在同一个尺度下，所以计算完后需要将三个特征值归一化到同一尺度下，在本发明实施方式中，选用 Sigmoidal方法进行特征值归一，具体为：

Kay ， ) = Kay K^A _gray ， + Kay ))；

= y) K _X + );

y) = y) /( ν、 y) + );

A. (x,y)

A (x,y)/(A

归一化后，三类特征都处于同一个尺度下，每一个训练样本对应三类特征及四个特征值；得到四个特征值的 AAM表观模型后，通过 PCA进行学习，得到：

Λ = Λ, +∑ Α·

i=l

在本发明实施方式中，使用 Inverse Compositional (反向合成算法，是本领域内一种常用算法）算法对人脸特征点进行拟合，具体包括：根据人脸检测或人眼匹配算法得到的初始的四个全局仿射变换参数，对输入图像 ^，进行变换，得 ¹ I I )）， w定义为从基本形状到当前形状 s的分段仿射映射， w 为 2 维相似变换，为相似变换参数，则

1 + a -b x t

N(x\q)= +

L b 1 + b丄^ 」，其中， q = ( ,b,t_x,t_y、，可以通过人眼匹配算法计算得到，对变换后的图像计算三类特征表观模型得 AWW^W^ )); 计算表观模型差值 A(/(Noy(jcip))i¾)-A) c) . 计算

(Vq p) = H-^SD^T.(A(I(N(W(x\p)) I ^))-^ W) . 其中， H为 Hessian矩阵（海赛矩阵，是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵）， ^为最速下降图，训练模型时预先计算好的，由以下公式计算得到：

H = ^SD' SD. 更新形状参数 (N oW)(x; q,p)^(N oW)(x; q, p) o(N oW)(x; Vq, Vp) ¹ , 直到 ||(V^Vp)||-

S260: 判断人脸特征点是否拟合成功，如果是，执行 S270, 如果否，重新执行 S200;

S270: 根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，以上一帧图像中的人眼图像作为模板在人眼 ROI区域内匹配下一帧图像中双眼的位置。

在 S270 中，可以根据人脸特征点的位置得到双眼图像，在下一帧图像中，确定下一帧图像人眼搜索 ROI区域，并在 ROI区域内以上一帧图像中的人眼图像作为模板，使用图像匹配算法，重新匹配当前帧中双眼的位置。

本发明实施例的人脸特征点定位的方法根据初步定位信息结合灰度，梯度、边缘和角点特征的使用 Inverse Compositional算法进行人脸特征点拟合，完成人脸特征点的精确定位。在 AAM模型中，增加了 X , y轴方向的梯度值以及边缘角点特征等表观模型，使得人脸特征点的拟合更加精确，并有效的减少了原有的 AAM模型拟合过程中容易陷入局部最小化及抗干扰能力差的问题。

请参阅图 6, 是本发明人脸特征点定位的装置的结构示意图。本发明人脸特征点定位的装置包括人脸检测模块、特征点拟合模块及特征点定位模块，人脸检测模块用于结合人脸检测和人眼匹配对人脸位置进行初步定位；其中，人脸检测模块使用级联的 Harr特征分类器对人脸进行检测，获得人脸的初始位置信息（x,y )和初始人脸大小信息 s, 同时使用人眼匹配算法匹配双眼的位置信息，比只使用人脸检测方法定位更加精确；特征点拟合模块用于根据初步定位信息结合 AAM表观模型进行人脸特征点拟合；其中， AAM 表观模型包括灰度、梯度、边缘和角点等特征；特征点定位模块根据拟合结果完成人脸特征点定位。

人脸检测模块包括人眼检测单元和人脸检测单元，其中，

人眼检测单元用于判断上一帧图像是否检测出人眼,如果是,在人眼 ROI

( Region Of Interest的缩写，图像处理中的术语"感兴趣区域）区域内进行搜索，匹配人眼的位置信息；如果否，则通过人脸检测单元进行人脸检测；其中，本发明实施例在人脸检测的同时使用人眼匹配算法进行人眼匹配，比只使用人脸检测方法定位更加精确； ROI区域确定方法为， ROI区域中心和眼睛中心重合， eye_height, eye_width 分别为眼睛的高度和宽度， roi_height, roi_width分别为眼睛搜索 ROI区域的高度和宽度，具体请一并参阅图 3, 是本发明人眼搜索 ROI区域示意图。中间较小边框内为左眼图片，外部较大边框内为左目艮搜索 ROI区域，其中，

roi _ height = α · eye _ height;

roi width = β · eye width; α, β为 ROI区域大小控制系数，在本发明实施例中取 ^{α = 3}，^ = ² ; 人眼匹配算法具体为： ^Γ ，为人眼图像，为搜索 ROI区域，为匹配结果图像，贝' J

其中，匹配结果图像在最大值时即为在 ROI区域和人眼图像

^Γ 中最匹配的位置。

人脸检测单元用于进行人脸检测，并判断是否检测出人脸，如果是，获得人脸的初始位置信息（x,y )和初始人脸大小信息 s; 如果否，则重新输入视频；其中，本发明实施例使用级联的 Harr特征分类器对人脸进行检测，获得人脸的初始位置和初始人脸大小信息。

特征点拟合模块包括人眼拟合单元、人脸拟合单元和拟合判断单元，其人眼拟合单元用于根据人眼的初始位置信息进行 AAM人脸特征点拟合，并通过拟合判断单元判断拟合是否成功；

人脸拟合单元用于根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置 x,y轴方向的梯度值、边缘和角点等特征进行 AAM人脸特征点拟合，并通过拟合判断单元判断拟合是否成功；其中，在获得初始位置和大小信息后，结合灰度值、人脸的初始位置 x,y轴方向的梯度值、边缘和角点等特征作为 AAM的表观模型，对人脸特征点进行拟合，使人脸特征点的拟合位置也更精确。其中，人脸特征点的 ASM(Active Shape Model, 主动形状模型)可由矢量 S ^^ ^^ ' y" }表示，为第个点的位置坐标，在本发明实施例中，采用了 82个人脸标注点，具体请参阅图 4, 是本发明人脸特征点的标注点示意图。在 AAM模型训练过程中，采集一定量的人脸表情图片，按照图 4所示手动标注 82个人脸特征点的位置坐标，得到人脸特征点的坐标矢量 S = (_Μι , χ₂ , y₂...x_i2 , y_i2) , 对人脸特征点的坐标矢量进行 p_r0Cmstes算法进行几何对齐，然后对训练数据进行 PCA ( principle components analysis, 主成分分析）学习，得到，

s = s₀ + f_{j Pi}s_i

i=l 其中，为平均形状，为形状的 PCA基， A为 PCA基的系数，在拟合过程中计算出不同的即可得到相应的形状模型的矢量本发明人脸特征点形状模型建模具体包括：对所有人脸特征点的坐标矢量去除均值，转移到质心坐标系下；选择一个样本作为初始的平均形状，并校准尺寸使得 1^1⁼¹；将初始估计的平均形状记为并将此作为参考坐标系；将所有训练样本的特征点坐标矢量通过仿射变换校准到当前平均形状上；对校准后的所有样本重新计算平均形状；将当前的平均形状校准到上，并且使得 ^{= 1} ; 判断校准后的平均形状是否大于给定阈值，如果是，重新变换校准所有训练样本的特征点坐标矢量；如果否，通过 PCA 方法将对齐后的样本进行统计形状建模，得:

S = S₀ +∑_PiS_i 根据形状模型所包围区域内的点映射到平均形状，即得到表观模型 A , 其中，映射算法可采用分段仿射映射算法；同理，对表观模型可以进行 PCA 学习，得到，

A = A₀ +∑A_iA_i

i=l 其中， A为平均表观， A为表观模型的 PCA基，为 PCA基的系数。表观模型的建模方法具体为：将每个训练样本映射到平均形状中，然后分别计算灰度值、 X轴 y轴的梯度值、边缘和角点特征值三类特征作为表观模型；其中，灰度值的计算方法为：为每个样本映射到平均形状内的灰度图像，则灰度表观模型值为：

X轴 y轴梯度值的计算方法为：使用 sobel算子（ Sobel operator/索贝算子，是图像处理中的算子之一，主要用作边缘检测 )计算 X轴 y轴梯度值:

-1 0 1

G x,y) ■2 0 2

-1 0 1

1 -2 -1

G_y(x,y) 0 0 0

1 2 1

则 x轴 y轴梯度值的表观模型值及用以下公式获得：

A_dy(x,y) = G_y(x,y)²; 边缘角点特征 4^ _{md corner}的计算方法为：得到 X轴 y轴方向梯度值后 ,

Edge^ (x,y) = G_x(x,y)-G_x(x,y);

Edge_yy (x, y) = G_y (x, y) · G_y (x, y);

Edge_xy(x,y) = G_x(x,y)-G_y(x,y); 然后采用 3x3的 Gaussian窗分别对^£ ，，^£ ，^£ ，进行

1 2 1

Edge^ (x, y ) 2 4 2

1 2 1

Edge (x, y ) 2 4 2 *ED，y);

1 2 1

Edge (x, y) 2 4 2 *Edge (x,y)

1 2 1 用以下公式计算得到边缘和角点特征:

A edge _ and _ corner

(Edge^ (x, y) + Edge_yy (x, y)) - 2 · (Edge^ (x, y) · Edge_yy (x, y) - Edge^ (x, y) · Edge^ (x, y)) 由于灰度值、 x轴 y轴方向梯度值、边缘和角点等特征不在同一个尺度下，所以计算完后需要将三个特征值归一化到同一尺度下，在本发明实施方式中选用 Sigmoidal 方法进行特征值归具体为

Kay ) = Kay ) 'i a ) + Kay ))；

y) = y) /( (x, y) + A_dx (x, y ));

y y) = y) /(A -d¾y y) + A ^ld¾y、 );

A ^le.dge _ and _ corner (x,y)

A edge _ and _ corner (x,y)/(A ^ledge _ and _ corner ⁱedge_and—cor er

归一化后，三类特征都处于同一个尺度下，每一个训练样本对应三类特征及四个特征值；得到四个特征值的表观模型后，通过 PCA进行学习，得到：

在本发明实施方式中，使用 Inverse Compositional (反向合成算法，是本领域内一种常用算法）算法对人脸特征点进行拟合，具体包括：根据人脸检测或人眼匹配算法得到的初始的四个全局仿射变换参数对输入图像 ^，进行变换，得 ^{1 (N(w(x 1} W , w定义为从基本形状 ^s。到当前形状 s的分段仿射映射， w 为 2 维相似变换，为相似变换参数，则

N(x\q)

, 其中， q = (fl,b,t_x,t_y、，可以通过人眼匹配算法计算得到，对变换后的图像计算三类特征表观模型得 AWWWWW)^)); 计算表观模型差值 A(/(Noy(jcip))i¾)-A)W . 计算 (V_q p) = H-^SD^T.(A(l(N(W(x\p))\_q))- x)). 其中， H为 Hessian矩阵（海赛矩阵，是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵），为最速下降图，训练模型时预先计算好的，由以下公式计算得到：

H = D' SD · 更新形状参数 ^{(N oW)}^ ^ p⁾ ^ ^{N oW}^ ^ p) °(^{N oW}">(^ ^p ¹ , 直到

|(νήτ,ν_Ρ)| 。拟合判断单元用于判断人脸特征点是否拟合成功，如果是，通过特征点定位模块定位人脸特征点，如果否，则重新输入视频；

特征点定位模块用于根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，通过人眼检测单元以上一帧图像中的人眼图像作为模板在人眼 ROI区域内匹配下一帧图像中双眼的位置；其中，可以根据人脸特征点的位置得到双眼图像，在下一帧图像中，确定下一帧图像人眼搜索 ROI 区域，并在 ROI区域内以上一帧图像中的人眼图像作为模板，使用图像匹配算法，得到当前帧中双眼的位置。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，并被至少一个处理器执行，以实现图 1、图 2和图 5所述的方法流程。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本发明实施例的人脸特征点定位方法、装置及存储介质结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位，比只使用人脸检测能更精确的定位人脸位置信息；根据初步定位信息结合灰度，梯度、边缘和角点特征的使用 Inverse Compositional算法进行人脸特征点拟合，完成人脸特征点的精确定位。在 AAM模型中，增加了 X , y轴方向的梯度值以及边缘角点特征等表观模型，使得人脸特征点的拟合更加精确，并有效的减少了原有的 AAM 模型拟合过程中容易陷入局部最小化及抗干扰能力差的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

1、一种人脸特征点定位方法，其特征在于，包括以下步骤：

根据初步定位信息进行人脸特征点拟合；

根据拟合结果完成人脸特征点定位。

2、根据权利要求 1所述的人脸特征点定位方法，其特征在于，结合人脸检测和人眼匹配对人脸位置进行初步定位，并获取初步定位信息的步骤具体为：通过级联的特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息。

3、根据权利要求 1或 2所述的人脸特征点定位方法，其特征在于，在所述结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位并获取初步定位信息的步骤前还包括：输入视频，获取所述视频中对应的人脸图像信息，其中，所述初步定位包括获取双眼初始位置、人脸初始位置及人脸初始大小。

4、根据权利要求 1所述的人脸特征点定位方法，其特征在于，所述结合人脸检测和人眼匹配对人脸位置进行初步定位包括：判断上一帧图像是否检测出人眼，如果是，通过人眼匹配技术进行初步定位；如果否，进行人脸检测定位。

5、根据权利要求 1或 4所述的人脸特征点定位方法，其特征在于，所述通过人眼匹配对人脸位置进行初步定位包括：在人眼感兴趣区域 ROI内进行搜索，匹配人眼的初始位置信息，并根据人眼的初始位置信息进行人脸特征点拟合。

6、根据权利要求 4所述的人脸特征点定位方法，其特征在于，所述进行人脸检测定位包括：进行人脸检测，并判断是否检测出人脸，如果是，获得人脸的初始位置信息和初始人脸大小信息，并根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置 x,y轴方向的梯度值、边缘和角点特征进行人脸特征点拟合；如果否，则重新输入视频。

7、根据权利要求 3所述的人脸特征点定位方法，其特征在于，所述进行人脸特征点拟合后还包括：判断人脸特征点是否拟合成功，如果是，根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，以上一帧图像中的人眼图像作为模板在人眼感兴趣区域内匹配下一帧图像中双眼的位置；如果否，重新输入视频。

8、一种人脸特征点定位装置，其特征在于，包括人脸检测模块、特征点拟合模块及特征点定位模块，所述人脸检测模块用于通过人脸检测技术和人眼匹配技术对人脸位置进行初步定位；所述特征点拟合模块用于根据初步定位信息进行人脸特征点拟合，所述特征点定位模块根据拟合结果完成人脸特征点定位。

9、根据权利要求 8所述的人脸特征点定位装置，其特征在于，所述人脸检测模块通过人脸检测技术对人脸位置进行初步定位为：通过级联的特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息。

10、根据权利要求 8或 9所述的人脸特征点定位装置，其特征在于，所述人脸检测模块包括人眼检测单元和人脸检测单元，

所述人眼检测单元用于判断上一帧图像是否检测出人眼，如果是，在人目艮感兴趣区域内进行搜索，匹配人眼的位置信息；如果否，则通过人脸检测单元进行人脸检测；

所述人脸检测单元用于进行人脸检测，并判断是否检测出人脸，如果是，获得人脸的初始位置信息和初始人脸大小信息；如果否，则重新输入视频。

11、根据权利要求 8或 9所述的人脸特征点定位装置，其特征在于，所述特征点拟合模块包括人眼拟合单元和人脸拟合单元，

所述人眼拟合单元用于根据人眼的初始位置信息进行人脸特征点拟合，并通过拟合判断单元判断拟合是否成功；

所述人脸拟合单元用于根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置 x,y轴方向的梯度值、边缘和角点特征进行人脸特征点拟合，并通过拟合判断单元判断拟合是否成功。

12、根据权利要求 11所述的人脸特征点定位装置，其特征在于，所述特征点拟合模块还包括拟合判断单元，

所述拟合判断单元用于判断人脸特征点是否拟合成功，如果是，通过特征点定位模块定位人脸特征点；如果否，则重新输入视频。

13、根据权利要求 11 所述的人脸特征点定位装置，其特征在于，所述特征点定位模块用于根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，通过人眼检测单元以上一帧图像中的人眼图像作为模板在人眼感兴趣区域内匹配下一帧图像中双眼的位置。

14、一个或多个包含计算机可执行指令的存储介质，所述计算机可执行指令用于执行一种人脸特征点定位方法，其特征在于，该人脸特征点定位方法包括以下步骤：

根据初步定位信息进行人脸特征点拟合；

根据拟合结果完成人脸特征点定位。