CN108564016A - 一种基于计算机视觉的au分类系统及方法 - Google Patents

Abstract

一种基于计算机视觉的AU分类系统及方法，包括：人脸关键点提取模块、电源模块、控制开关、USB接口、关键点特征提取模块、AU分类模块、反馈模块以及训练模块；该发明使用CLNF模型检测人脸关键点位置，采取Laplacian Eigenmaps降维策略对特征进行降维，以及减少关键点数量到合理的范围、使用更高效的Gabor特征的方法，使得方案的复杂度大大降低，计算量减少，无需人工参与，可自动化进行FACS编码，即AU分类，所应用的具体方法都是针对人脸图片的，相比其他系统，本系统的分类的效率和准确度都得到了很大的提高。

Description

一种基于计算机视觉的AU分类系统及方法

技术领域

本发明属于计算机方法控制技术领域，尤其是一种基于计算机视觉的AU分类系统及方法，提出了一种新的无需人工参与，自动化进行FACS编码(即AU分类)的系统，在该系统中，所应用的具体方法都是针对人脸图片的，相比其他系统，本系统的分类的效率和准确度都得到了很大的提高。

背景技术

抑郁症是全球一种常见病，估计共有3.5亿名患者，每年因抑郁症引致自杀死亡人数估计高达100万人，许多轻度的抑郁症患者还存在诸多放弃社会、悲观不自信以及相当多的躯体症状；一些研究表明，抑郁症病人的面部表情在情绪表达中起着重要的作用，如果很好的分析处理抑郁症患者的面部表情，就能够更有效的快速确诊该类疾病，并得到最佳的治疗效果；

目前的相关研究使用自动面部表情分析技术，来调查抑郁症的临床数据，收集抑郁症状的严重程度对面部表情的影响数据；面部动作编码系统(FACS)是目前面部表情注释的黄金标准；FACS将面部表情分解成称为动作单元(AU)的组成部分；动作单元是基于解剖学的面部动作，对应于特定面部肌肉的收缩；例如，AU 12编码颧大肌的收缩，AU 6编码眼轮匝肌的收缩；为了注释面部表情，AU单独发生或与其他AU组合发生，该研究技术实现12位的AU分类(即FACS编码)，是标注一张人脸表情图片是否包含AU 1-12中的一个或多个，如果不包含第几个AU，该位标注为-1，包含则标注为1；比如一张只包含AU1和AU3的图片被唯一标注为：1 -1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1；因为手动进行AU分类需要专业、准确的判断，所以会耗费临床医生的大量问诊时间；

现有技术也存在一项新的发明，专利号：CN201710709113.2，名称：AU特征识别方法、装置及存储介质，该发明提供一种AU特征识别方法、装置及计算机可读存储介质，所述方法包括：利用人脸识别算法对摄像头拍摄的实时提取人脸图像、利用面部平均模型识别t个面部特征点、根据t个面部特征点的位置提取局部特征、特征向量分别输入训练好的且与该特征区域匹配的AU分类器，根据预测结果中每个AU特征的概率是否大于预设阈值，判定AU分类结果；

虽然该专利也是采用自动进行AU分类的技术，但上述专利各个模块使用的具体方法对人脸AU分类的问题没有针对性，对关键点检测、特征提取等采用的都是通用的分类问题所用的方法，分类的效率不高，准确率也无法满足实际应用的需求，具体的讲：

1.该专利通过面部平均模型识别面部特征点，面部平均模型将所有特征点一起识别出来，没有关注特征点的局部特征，识别精度较低。而接下来我方的专利申请使用的是CLNF模型，在CLNF模型中，patch experts为眼睛、嘴唇、眉毛等各个人脸关键点训练单独的点分布集，然后各个模型检测到的关键点根据全脸关键点整体分布拟合到一起，准确度更高；

2.上述专利直接提取76个关键点的特征，点数较多且特征维数高、计算量大。本领域通常采用优化的60-70个人脸特征点，既能保证提取到足够的特征，又不至于计算量过大；并且本发明在提取特征之后，对特征进行Laplacian Eigenmaps降维，使得特征的维数由千数量级减少到十数量级。分类的效率得到有效提升；

3.上述专利提取的局部特征是sift特征，而本专利使用的是Gabor特征，与sift特征相比，Gabor特征对人脸对齐的误差具有更强的鲁棒性，而且Gabor变换简单原理简单、易于实现，提高了准确率而且减少了复杂度。

发明内容

为了解决上述技术问题，本发明提供一种基于计算机视觉的AU分类系统及方法，通过优化的结构与算法设计，提出了一种无需人工参与，自动化进行AU分类的系统；这个系统的输入是一张人脸图片，使用了基于计算机视觉中物体分类的方法来解决上述问题，改善了分类的准确率，该发明具有准确率高、无需人工参与即可编码大量数据集的优势，可以用于实际AU分类。

一种基于计算机视觉的AU分类系统及方法，其中：

一种基于计算机视觉的AU分类系统，包括：人脸关键点提取模块、电源模块、控制开关、USB接口、关键点特征提取模块、AU分类模块、反馈模块以及训练模块；

进一步的，所述人脸关键点提取模块的输入端用于接收AU待分类的人脸图片，输出端与所述关键点特征提取模块的输入端电信号连接，又一端与所述USB接口的一端电信号连接；

所述人脸关键点提取模块采用dlib人脸检测器提取结构，该结构采用c++的Dlib库中的人脸检测算法，Dlib库中的人脸检测算法使用的是hog特征和级联分类器，它是非常经典的人脸区域检测算法；

所述dlib人脸检测器用于在一张图片中，只检测出人脸区域的边界，而忽略其他区域；

作为一种应用举例说明，所述人脸关键点提取模块采用的数据集为ck+数据集；

作为一种举例说明，所述ck+数据集包含326张人脸图片，每张图片都由专业人员手动标注好了AU的分类结果，该发明使用这些数据来训练其系统；

进一步的，所述USB接口作为人脸关键点提取模块的输入数据流，人脸关键点提取模块用于提取图片关键点的坐标位置；

进一步的，所述电源模块用于所述人脸关键点提取模块、关键点特征提取模块以及AU分类模块的供电；所述电源模块的一端与所述USB接口的另一端电信号连接，所述电源模块的另一端与所述控制开关电连接；

进一步的，所述关键点特征提取模块输出端与所述AU分类模块的输入端电信号连接；关键点特征提取模块接收人脸关键点提取模块提取出的关键点的坐标信息，在关键点所在的坐标附近区域提取图像特征，作为后续图像分类的依据；

进一步的，提取特征之后，对特征采用Laplacian Eigenmaps降维方法，使得特征的维数由千数量级减少到十数量级，再将它们输入到AU分类模块中；如此一来，AU分类模块的计算量大大减少，分类的效率和效果同时得到了有效的提升；

作为一种举例说明，所述Laplacian Eigenmaps降维方法是从用图的角度去构建数据之间的关系，它要求相互之间有关系的点，在降维后的空间中尽可能的靠近；

进一步的，所述AU分类模块的输出端用于输出AU分类结果，其又一端与所述训练模块的输入端电信号连接，AU分类模块接收关键点特征提取模块提取出的人脸关键点附近区域的特征，在AU分类模块中，对图片的这些特征进行数学处理；将CLNF模型、提取Gabor特征、Laplacian Eigenmaps降维和SVM二分类结合，完成人脸图片的AU分类；

本系统将CLNF模型、提取Gabor特征、Laplacian Eigenmaps降维和SVM二分类结合，完成人脸图片的AU分类；

作为一种举例说明，所述CLNF模型为局部神经场模型，用于人脸关键点提取模块，CLNF包括两部分，PDM(点分布模型)和patch experts，PDM用于捕捉全脸关键点形状变化，patch experts用于捕捉每个关键点的局部外观变化；具体地说，patch experts为68个人脸关键点训练单独的点分布集，然后各个模型检测到的关键点根据PDM拟合到一起；

作为一种举例说明，所述SVM算法是一种二类分类模型，其求解目标在于确定一个分类的超平面，以最大化特征空间上的间隔。对于输入的低维线性不可分的特征，加入核技巧隐式映射到高维特征空间中，使之线性可分；

进一步的，所述训练模块的输出端与所述反馈模块的输入端电信号连接，训练模块采用机器学习算法来学习人脸AU的分类，并将训练的结果反馈给反馈模块，由反馈模块传递给AU分类模块，AU分类模块应用训练的反馈结果，根据AU待分类的人脸图片的特征，对图片进行AU分类，最终输出AU分类结果；

作为一种举例说明，所述AU分类结果即判定这张图片是否包含AU 1-12中的一个或多个的12位数字；

一种基于计算机视觉的AU分类方法，包括：

步骤一、数据集的建立：提取ck+数据集里326张人脸图片和每张图对应的已经手动分类完成的326个AU分类结果；

步骤二、特征点的选取：人脸关键点提取模块采用CLNF模型，从人脸图片中提取人脸的68个关键点的位置坐标；CLNF模型对各个人脸关键点训练单独的点分布集，再根据全脸整体分布拟合到一起，使得检测的准确率得到更大的提高；然后关键点特征提取模块利用关键点的位置坐标，提取关键点附近区域的图片的Gabor特征；

进一步的，所述Gabor特征是一种用来描述图像纹理信息的特征，对人脸对齐的误差具有很强的鲁棒性，因此提取图片的68个关键点附近区域的Gabor特征；Gabor特征主要依靠Gabor核在频率域上对信号进行加窗，从而能描述信号的局部频率信息；一个Gabor核能获取到图像某个频率邻域的响应情况，这个响应结果是图像的一个特征，用多个不同频率的Gabor核去获取图像在不同频率邻域的响应情况，就能形成图像在各个频率段的特征，这个特征用来描述图像的频率信息；在本发明中，我们在每个关键点附近，用5种尺寸、8个方向的40个Gabor核提取Gabor特征，因此每张图片提取到的特征维数是：5*8*68＝2720；

作为步骤二中的一种举例说明，所述人脸关键点提取模块的工作流程包括：

1.输入一张人脸图片，训练阶段输入ck+数据集中的图片，测试阶段输入AU待分类的人脸图片；

2.利用dlib的人脸检测器检测出人脸边界；

3.按照人脸边界裁剪图片；

4.对裁剪后的图片，用CLNF模型检测人脸关键点；

5.输出人脸关键点的位置坐标。

作为步骤二中的一种举例说明，所述关键点特征提取模块的工作流程包括：

1.从人脸关键点提取模块接收人脸关键点的坐标位置；

2.在人脸关键点附近区域提取Gabor特征；

3.将提取到的Gabor特征做归一化处理；

4.归一化后的Gabor特征写入到txt文件中；

5.输出存储Gabor特征的txt文件。

步骤三、参数训练：AU分类模块利用步骤二中的Gabor特征学习分类，通过训练模块里的算法学习，训练并优化整个系统的模型参数，并通过反馈模块反馈到AU分类模块中；

作为步骤三的一种举例说明，所述AU分类模块的训练、测试流程包括：

训练流程：

1.输入ck+数据集标注好的AU分类结果和txt文件里对应的Gabor特征；

2.选取第一个AU，初始化降维参数，对特征进行Laplacian Eigenmaps降维；

3.计算训练集和测试集正负样例的数量，根据标注区分正负样例，根据数量要求提取训练集和测试集正负样例对应的特征；

4.用SVM模型训练分类器，计算测试集的准确率；

5.在变化范围内更新降维参数，找出使得分类准确率最大的降维参数；

6.分别对其他11个AU重复上述过程。

测试流程：

1.输入AU待分类图片的Gabor特征；

2.根据训练流程得到的最大准确率对应的降维参数，对提取到的Gabor特征进行Laplacian Eigenmaps降维；

3.用SVM模型计算分类结果；

4.对全部12个AU进行分类；

5.输出AU分类结果，12个分类结果组成最终分类结果。

因为每张图片的维数较高(2720维)，所以使用降维方法将特征维数减小，方便计算。在sklearn库中，流型学习(manifold learning)下的SpectralEmbedding函数直接调用实现Laplacian Eigenmaps降维方法。由于该降维方法中涉及到两个参数n_components,n_neighbors，n_components用来指定投影子空间的维数，n_neighbors用来knn分类法种最近邻的数量(knn分类法即根据一个点的若干近邻点的分类结果决定该点分类结果)。这两个参数是不确定的，所以在流程中加入循环来找到最优的参数取值；

在本发明中，我们调用sklearn库中的svm函数，因为待分类的有12个AU,而SVM只能用于二分类；所以在本发明中，分别对这12个AU进行二分类，即对每一个AU进行单独的训练，以确定该图片是否含有这个AU，最后再将这12个分类结果组合起来；

在训练过程中，我们将样例分为训练集和测试集，训练集数量占75％，测试集数量占25％。为了确保分类效果，训练集所用的正负样例的个数相同。通过比较测试集测试的准确率结果，我们选取合适的降维参数。在测试过程中，我们使用最优的降维参数对特征降维，然后用训练好的SVM分类器对AU进行分类。

步骤四、测试计算：训练完毕后，将AU待分类的人脸图片文件输入到人脸关键点提取模块中，结果逐级的依次输入到关键点特征提取模块和AU分类模块中；

步骤五、反馈计算：在AU分类模块中，利用反馈模块传回的训练结果，对测试图片的结果进行AU分类，输出AU分类结果。

有益效果：

1.完全将AU分类的流程自动化，无需人工参与即可完成全部12个AU的分类；

2.通过使用Laplacian Eigenmaps降维策略对特征进行降维，以及减少关键点数量到合理的范围、使用更高效的Gabor特征的方法，使得方案的复杂度大大降低，计算量减少；

3.通过多种方法的创新和融合，AU分类的效率和效果同时得到了有效的提升；

4.应用CLNF模型检测人脸关键点的技术、应用提取关键点附近区域的Gabor特征的技术、应用Laplacian Eigenmaps降维方法、应用svm二分类技术，将CLNF模型、提取Gabor特征、Laplacian Eigenmaps降维和SVM二分类结合，完成人脸图片的AU分类。

附图说明

图1是本发明一种基于计算机视觉的AU分类系统的整体结构示意图

具体实施方式

下面，参考附图1所示，一种基于计算机视觉的AU分类系统及方法，其中：

一种基于计算机视觉的AU分类系统，包括：人脸关键点提取模块101、电源模块102、控制开关103、USB接口104、关键点特征提取模块105、AU分类模块106、反馈模块107以及训练模块108；

进一步的，所述人脸关键点提取模块101的输入端用于接收AU待分类的人脸图片，输出端与所述关键点特征提取模块105的输入端电信号连接，又一端与所述USB接口104的一端电信号连接；

所述人脸关键点提取模块101采用dlib人脸检测器提取结构，该结构采用c++的Dlib库中的人脸检测算法，Dlib库中的人脸检测算法使用的是hog特征和级联分类器，它是非常经典的人脸区域检测算法；

所述dlib人脸检测器用于在一张图片中，只检测出人脸区域的边界，而忽略其他区域；

作为一种应用举例说明，所述人脸关键点提取模块101采用的数据集为ck+数据集；

作为一种举例说明，所述ck+数据集包含326张人脸图片，每张图片都由专业人员手动标注好了AU的分类结果，该发明使用这些数据来训练其系统；

进一步的，所述USB接口104作为人脸关键点提取模块101的输入数据流，人脸关键点提取模块101用于提取图片关键点的坐标位置；

进一步的，所述电源模块102用于所述人脸关键点提取模块101、关键点特征提取模块105以及AU分类模块106的供电；所述电源模块102的一端与所述USB接口104的另一端电信号连接，所述电源模块102的另一端与所述控制开关103电连接；

进一步的，所述关键点特征提取模块105输出端与所述AU分类模块106的输入端电信号连接；关键点特征提取模块105接收人脸关键点提取模块101提取出的关键点的坐标信息，在关键点所在的坐标附近区域提取图像特征，作为后续图像分类的依据；

进一步的，提取特征之后，对特征采用Laplacian Eigenmaps降维方法，使得特征的维数由千数量级减少到十数量级，再将它们输入到AU分类模块106中；如此一来，AU分类模块106的计算量大大减少，分类的效率和效果同时得到了有效的提升；

作为一种举例说明，所述Laplacian Eigenmaps降维方法是从用图的角度去构建数据之间的关系，它要求相互之间有关系的点，在降维后的空间中尽可能的靠近；

进一步的，所述AU分类模块106的输出端用于输出AU分类结果，其又一端与所述训练模块108的输入端电信号连接，AU分类模块106接收关键点特征提取模块105提取出的人脸关键点附近区域的特征，在AU分类模块106中，对图片的这些特征进行数学处理；

本方法将CLNF模型、提取Gabor特征、Laplacian Eigenmaps降维和SVM二分类结合，完成人脸图片的AU分类；

作为一种举例说明，所述CLNF模型为局部神经场模型，用于人脸关键点提取模块，CLNF包括两部分，PDM(点分布模型)和patch experts，PDM用于捕捉全脸关键点形状变化，patch experts用于捕捉每个关键点的局部外观变化；具体地说，patch experts为68个人脸关键点训练单独的点分布集，然后各个模型检测到的关键点根据PDM拟合到一起；

作为一种举例说明，所述SVM算法是一种二类分类模型，其求解目标在于确定一个分类的超平面，以最大化特征空间上的间隔；对于输入的低维线性不可分的特征，加入核技巧隐式映射到高维特征空间中，使之线性可分；

进一步的，所述训练模块108的输出端与所述反馈模块107的输入端电信号连接，训练模块108采用机器学习算法来学习人脸AU的分类，并将训练的结果反馈给反馈模块，由反馈模块107传递给AU分类模块106，AU分类模块106应用训练的反馈结果，根据AU待分类的人脸图片的特征，对图片进行AU分类，最终输出AU分类结果；

作为一种举例说明，所述AU分类结果即判定这张图片是否包含AU 1-12中的一个或多个的12位数字；

一种基于计算机视觉的AU分类方法，包括：

步骤一、数据集的建立：提取ck+数据集里326张人脸图片和每张图对应的已经手动分类完成的326个AU分类结果；

步骤二、特征点的选取：人脸关键点提取模块101采用CLNF模型，从人脸图片中提取人脸的68个关键点的位置坐标；CLNF模型对各个人脸关键点训练单独的点分布集，再根据全脸整体分布拟合到一起，使得检测的准确率得到更大的提高；然后关键点特征提取模块105利用关键点的位置坐标，提取关键点附近区域的图片的Gabor特征；

进一步的，所述Gabor特征是一种用来描述图像纹理信息的特征，对人脸对齐的误差具有很强的鲁棒性，因此提取图片的68个关键点附近区域的Gabor特征；Gabor特征主要依靠Gabor核在频率域上对信号进行加窗，从而能描述信号的局部频率信息；一个Gabor核能获取到图像某个频率邻域的响应情况，这个响应结果是图像的一个特征，用多个不同频率的Gabor核去获取图像在不同频率邻域的响应情况，就能形成图像在各个频率段的特征，这个特征用来描述图像的频率信息；在本发明中，我们在每个关键点附近，用5种尺寸、8个方向的40个Gabor核提取Gabor特征，因此每张图片提取到的特征维数是：5*8*68＝2720；

作为步骤二中的一种举例说明，所述人脸关键点提取模块101的工作流程包括：

1.输入一张人脸图片，训练阶段输入ck+数据集中图片，测试阶段输入AU待分类的人脸图片；

2.利用dlib的人脸检测器检测出人脸边界；

3.按照人脸边界裁剪图片；

4.对裁剪后的图片，用CLNF模型检测人脸关键点；

5.输出人脸关键点的位置坐标。

作为步骤二中的一种举例说明，所述关键点特征提取模块105的工作流程包括：

1.从人脸关键点提取模块接收人脸关键点的坐标位置；

2.在人脸关键点附近区域提取Gabor特征；

3.将提取到的Gabor特征做归一化处理；

4.归一化后的Gabor特征写入到txt文件中；

5.输出存储Gabor特征的txt文件。

步骤三、参数训练：AU分类模块106利用步骤二中的Gabor特征学习分类，通过训练模块108里的算法学习，训练并优化整个系统的模型参数，并通过反馈模块107反馈到AU分类模块106中；

作为步骤三的一种举例说明，所述AU分类模块106的训练、测试流程包括：

训练流程：

1.输入ck+数据集标注好的AU分类结果和txt文件里对应的Gabor特征；

2.选取第一个AU，初始化降维参数，对特征进行Laplacian Eigenmaps降维；

3.计算训练集和测试集正负样例的数量，根据标注区分正负样例，根据数量要求提取训练集和测试集正负样例对应的特征；

4.用SVM模型训练分类器，计算测试集的准确率；

5.在变化范围内更新降维参数，找出使得分类准确率最大的降维参数；

6.分别对其他11个AU重复上述过程。

测试流程：

1.输入AU待分类图片的Gabor特征；

2.根据训练流程得到的最大准确率对应的降维参数，对提取到的Gabor特征进行Laplacian Eigenmaps降维；

3.用SVM模型计算分类结果；

4.对全部12个AU进行分类；

5.输出AU分类结果，12个分类结果组成最终分类结果。

因为每张图片的维数较高(2720维)，所以使用降维方法将特征维数减小，方便计算；在sklearn库中，流型学习(manifold learning)下的SpectralEmbedding函数直接调用实现Laplacian Eigenmaps降维方法。由于该降维方法中涉及到两个参数n_components,n_neighbors，n_components用来指定投影子空间的维数，n_neighbors用来knn分类法种最近邻的数量(knn分类法即根据一个点的若干近邻点的分类结果决定该点分类结果)。这两个参数是不确定的，所以在流程中加入循环来找到最优的参数取值；

在本发明中，我们调用sklearn库中的svm函数，因为待分类的有12个AU,而SVM只能用于二分类；所以在本发明中，分别对这12个AU进行二分类，即对每一个AU进行单独的训练，以确定该图片是否含有这个AU，最后再将这12个分类结果组合起来；

在训练过程中，我们将样例分为训练集和测试集，训练集数量占75％，测试集数量占25％。为了确保分类效果，训练集所用的正负样例的个数相同。通过比较测试集测试的准确率结果，我们选取合适的降维参数。在测试过程中，我们使用最优的降维参数对特征降维，然后用训练好的SVM分类器对AU进行分类。

步骤四、测试计算：训练完毕后，将AU待分类的人脸图片文件输入到人脸关键点提取模块101中，结果逐级的依次输入到关键点特征提取模块105和AU分类模块106中；

步骤五、反馈计算：在AU分类模块中，利用反馈模块107传回的训练结果，对测试图片的结果进行AU分类，输出AU分类结果。

本发明完全将AU分类的流程自动化，无需人工参与即可完成全部12个AU的分类，通过使用Laplacian Eigenmaps降维策略对特征进行降维，以及减少关键点数量到合理的范围、使用更高效的Gabor特征的方法，使得方案的复杂度大大降低，计算量减少；通过多种方法的创新和融合，AU分类的效率和效果同时得到了有效的提升；应用CLNF模型检测人脸关键点的技术、应用提取关键点附近区域的Gabor特征的技术、应用Laplacian Eigenmaps降维方法、应用svm二分类技术，将CLNF模型、提取Gabor特征、Laplacian Eigenmaps降维和SVM二分类结合，完成人脸图片的AU分类。

以上公开的仅为本申请的一个具体实施例，但本申请并非局限于此，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。

Claims (10)

1.一种基于计算机视觉的AU分类系统，其特征在于，包括：人脸关键点提取模块、电源模块、控制开关、USB接口、关键点特征提取模块、AU分类模块、反馈模块以及训练模块；

所述人脸关键点提取模块的输入端用于接收AU待分类的人脸图片，输出端与所述关键点特征提取模块的输入端电信号连接，又一端与所述USB接口的一端电信号连接；所述USB接口作为人脸关键点提取模块的输入数据流，人脸关键点提取模块用于提取图片关键点的坐标位置；所述电源模块用于所述人脸关键点提取模块、关键点特征提取模块以及AU分类模块的供电；所述电源模块的一端与所述USB接口的另一端电信号连接，所述电源模块的另一端与所述控制开关电连接；所述关键点特征提取模块输出端与所述AU分类模块的输入端电信号连接；关键点特征提取模块接收人脸关键点提取模块提取出的关键点的坐标信息，在关键点所在的坐标附近区域提取图像特征，并对特征采用Laplacian Eigenmaps降维方法，使得特征的维数减少到十数量级后输入到AU分类模块中，所述AU分类模块的输出端用于输出AU分类结果，其又一端与所述训练模块的输入端电信号连接，所述训练模块的输出端与所述反馈模块的输入端电信号连接。

2.根据权利要求1所述的一种基于计算机视觉的AU分类系统，其特征在于，所述Laplacian Eigenmaps降维方法是从用图的角度去构建数据之间的关系，它要求相互之间有关系的点，在降维后的空间中尽可能的靠近。

3.根据权利要求1所述的一种基于计算机视觉的AU分类系统，其特征在于，所述AU分类模块接收关键点特征提取模块提取出的人脸关键点附近区域的特征，在AU分类模块中，对图片的这些特征进行数学处理，将CLNF模型、提取Gabor特征、Laplacian Eigenmaps 降维与SVM二分类结合，完成人脸图片的AU分类。

4.根据权利要求3所述的一种基于计算机视觉的AU分类系统，其特征在于，所述CLNF模型为局部神经场模型，用于人脸关键点检测，CLNF包括两部分，PDM(点分布模型)和patchexperts，PDM用于捕捉全脸关键点形状变化，patch experts用于捕捉每个关键点的局部外观变化；具体地说，patch experts为68个人脸关键点训练单独的点分布集，然后各个模型检测到的关键点根据PDM拟合到一起。

5.根据权利要求1所述的一种基于计算机视觉的AU分类系统，其特征在于，所述训练模块采用机器学习算法来学习人脸AU的分类，并将训练的结果反馈给反馈模块，由反馈模块传递给AU分类模块，AU分类模块应用训练的反馈结果，根据AU待分类的人脸图片的特征，对图片进行AU分类。

6.根据权利要求5所述的一种基于计算机视觉的AU分类系统，其特征在于，所述AU分类结果即判定这张图片是否包含AU 1-12中的一个或多个的12位数字。

7.根据权利要求1或3所述的一种基于计算机视觉的AU分类系统，其特征在于，所述人脸关键点提取模块采用dlib人脸检测器提取结构，该结构采用c++的Dlib库中的人脸检测算法，Dlib库中的人脸检测算法使用的是hog特征和级联分类器，所述人脸关键点提取模块采用的数据集为ck+数据集；所述ck+数据集包含326张人脸图片，每张图片都由专业人员手动标注好了AU的分类结果。

8.一种基于计算机视觉的AU分类方法，其特征在于，包括如下处理步骤：

步骤一、数据集的建立：提取ck+数据集里326张人脸图片和每张图对应的已经手动分类完成的326个AU分类结果；

步骤二、特征点的选取：人脸关键点提取模块采用CLNF模型，从人脸图片中提取人脸的68个关键点的位置坐标；CLNF模型对各个人脸关键点训练单独的点分布集，再根据全脸整体分布拟合到一起，使得检测的准确率得到更大的提高；然后关键点特征提取模块利用关键点的位置坐标，提取关键点附近区域的图片的Gabor特征；

步骤三、参数训练：AU分类模块利用步骤二中的Gabor特征学习分类，通过训练模块里的算法学习，训练并优化整个系统的模型参数，并通过反馈模块反馈到AU分类模块中；

步骤四、测试计算：训练完毕后，将AU待分类的人脸图片文件输入到人脸关键点提取模块中，结果逐级的依次输入到关键点特征提取模块和AU分类模块中；

步骤五、反馈计算：在AU分类模块中，利用反馈模块传回的训练结果，对测试图片的结果进行AU分类，输出AU分类结果。

9.根据权利要求8所述的一种基于计算机视觉的AU分类方法，其特征在于，

所述人脸关键点提取模块的工作流程包括：输入一张人脸图片，训练阶段输入从ck+数据集中图片，测试阶段输入AU待分类的人脸图片；利用dlib的人脸检测器检测出人脸边界；按照人脸边界裁剪图片；对裁剪后的图片，用CLNF模型检测人脸关键点；输出人脸关键点的位置坐标；

所述关键点特征提取模块的工作流程包括：从人脸关键点提取模块接收人脸关键点的坐标位置；在人脸关键点附近区域提取Gabor特征；将提取到的Gabor特征做归一化处理；归一化后的Gabor特征写入到txt文件中；输出存储Gabor特征的txt文件；

所述AU分类模块的训练、测试流程包括：

训练流程：输入ck+数据集标注好的AU分类结果和txt文件里对应的Gabor特征；选取第一个AU，初始化降维参数，对特征进行Laplacian Eigenmaps降维；计算训练集和测试集正负样例的数量，根据标注区分正负样例，根据数量要求提取训练集和测试集正负样例对应的特征；用SVM模型训练分类器，计算测试集的准确率；在变化范围内更新降维参数，找出使得分类准确率最大的降维参数；分别对其他11个AU重复上述过程；

测试流程：输入AU待分类图片的Gabor特征；根据训练流程得到的最大准确率对应的降维参数，对提取到的Gabor特征进行Laplacian Eigenmaps降维；用SVM模型计算分类结果；对全部12个AU进行分类；输出AU分类结果，12个分类结果组成最终分类结果。

10.根据权利要求8所述的一种基于计算机视觉的AU分类方法，其特征在于，因为每张图片的维数较高，所以使用降维方法将特征维数减小，在sklearn库中，流型学习下的SpectralEmbedding函数直接调用实现Laplacian Eigenmaps降维方法；由于该降维方法中涉及到两个参数n_components,n_neighbors，n_components用来指定投影子空间的维数，n_neighbors用来knn分类法种最近邻的数量；这两个参数是不确定的，所以在流程中加入循环来找到最优的参数取值；

调用sklearn库中的svm函数，因为待分类的有12个AU,而SVM 只能用于二分类；所以在本发明中，分别对这12个AU进行二分类，即对每一个AU进行单独的训练，以确定该图片是否含有这个AU，最后再将这12个分类结果组合起来。