CN105160318B - 基于面部表情的测谎方法及系统 - Google Patents

Abstract

本发明提供一种基于面部表情的测谎方法和系统，所述方法包括：接收用户的脸部视频；检测所述脸部视频的至少一帧的人脸图像特征；基于所述人脸图像特征进行面部表情识别；以及基于所识别的面部表情利用训练好的人工神经网络计算所述用户说谎的概率。本发明提供的基于面部表情的测谎方法和系统不需要用户专门配合，可以在对话过程中自动进行分析。因此，本发明提供的基于面部表情的测谎方法和系统易于实现并且在使用上非常灵活和方便。

Description

基于面部表情的测谎方法及系统

技术领域

本发明涉及图像处理技术领域，具体而言涉及一种基于面部表情的测谎方法及系统。

背景技术

自古以来，在生产生活中，判断一个人说的话是否可信都是一个重要问题。例如警察机关审讯嫌疑人，银行审评贷款人，都需要判断一个人此时此刻诚实与否。正是由于这个问题如此重要，人们为此发明了很多方法。例如警察机关可以使用测谎仪，通过测量一个人血压，心跳的变化来判断他是否说谎，银行业通过查询一个人的征信记录来评测他的信用情况。

然而，这些方法都有各自的局限性。例如征信系统只能给出一个人的一般信用水平，而不能对某一特定场合的情况进行判断。而且，这一体系仅针对一个人的经济情况，无法应用到其他领域。何况建立征信系统工程浩大，而且信息的收集也很难全面。至于警用测谎仪，则面临更多问题。首先它需要特殊设备和专业人员来进行操作；而且，警用测谎仪的使用要求被测谎的人主动配合，在一般场景下必然引起对方的不适和反感。例如银行或其他金融机构不可能要求每一个来申请贷款的客户都测量心跳，血压。

因此，为解决上述技术问题，有必要提出一种新的测谎方法及其系统。

发明内容

针对现有技术的不足，本发明提出一种基于面部表情的测谎方法，所述方法包括：步骤S101：接收用户的脸部视频；步骤S102：检测所述脸部视频的至少一帧的人脸图像特征；步骤S103：基于所述人脸图像特征进行面部表情识别；以及步骤S104：基于所识别的面部表情利用训练好的人工神经网络计算所述用户说谎的概率。

示例性地，所述步骤S102包括：将所述脸部视频的至少一帧输入预设的线性模型以得到所人脸图像特征。

示例性地，所述线性模型通过如下方法得到：针对不同人的人脸图像人工标记脸部关键点；计算所述人脸图像的每个脸部关键点的位置与脸部关键点的平均位置的距离；在每个脸部关键点上提取尺度不变特征变换(SIFT)特征以得到特征向量；以及根据所述距离和所述特征向量，采用最小二乘法得到所述线性模型。根据本发明的实施例，所述人工神经网络的训练包括：采集不同人的脸部视频并标记出是否说谎；在所采集的脸部视频的至少一帧的脸部关键点上提取SIFT特征以得到特征向量；以及将所述特征向量合并成特征向量序列，以所标记的是否说谎为训练目标，利用所述特征向量序列对所述人工神经网络进行训练。

示例性地，所述步骤S104之后还包括步骤S105：根据所述概率给出所述用户是否说谎的结果，其中，当所述概率高于预定阈值，则判定所述用户说谎，否则判定所述用户未说谎。

另一方面，本发明还提供一种基于面部表情的测谎系统，所述系统包括：视频接收模块，用于接收用户的脸部视频；特征检测模块，用于检测所述脸部视频的至少一帧的人脸图像特征；表情识别模块，用于基于所述人脸图像特征进行面部表情识别；以及说谎判定模块，用于基于所识别的面部表情利用训练好的人工神经网络计算所述用户说谎的概率。

示例性地，所述特征检测模块包括预设的线性模型，其中所述人脸图像特征的检测包括：将所述脸部视频的至少一帧输入所述线性模型以得到所述人脸图像特征。

示例性地，所述线性模型通过如下方法得：针对不同人的人脸图像人工标记脸部关键点；计算所述人脸图像的每个脸部关键点的位置与脸部关键点的平均位置的距离；在每个脸部关键点上提取尺度不变特征变换特征以得到特征向量；以及根据所述距离和所述特征向量，采用最小二乘法得到所述线性模型

根据本发明的实施例，所述人工神经网络的训练包括：采集不同人的脸部视频并标记出是否说谎；在所采集的脸部视频的至少一帧的脸部关键点上提取SIFT特征以得到特征向量；将所述特征向量合并成特征向量序列，以所标记的是否说谎为训练目标，利用所述特征向量的序列对所述人工神经网络进行训练。

示例性地，所述说谎判定模块还用于根据所述概率给出所述用户是否说谎的结果，其中，当所述概率高于预定阈值，则判定所述用户说谎，否则判定所述用户未说谎。

本发明提供的基于面部表情的测谎方法和系统不需要用户专门配合，可以在对话过程中自动进行分析，甚至可以做到在不被察觉的境况下对用户进行测谎。因此，本发明提供的基于面部表情的测谎方法和系统易于实现并且在使用上非常灵活和方便。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。

附图中：

图1示出了根据本发明的实施例的一种基于面部表情的测谎方法100的流程图；

图2示出了根据本发明的实施例的一种人工神经网络的功能性示意图；以及

图3示出了根据本发明的实施例的一种基于面部表情的测谎系统200的结构框图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。

在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

本发明提出一种基于面部表情的测谎方法和系统，其通过捕捉说话人表情的细微变化来判断说话人是否在说谎。本发明提供的基于面部表情的测谎方法和系统仅需要普通的摄像装置加上软件系统即可实现。

图1示出了根据本发明实施例的一种基于面部表情的测谎方法100的流程图。下面参照图1来具体描述根据本发明实施例的一种基于面部表情的测谎方法100。

根据本发明的实施例的，基于面部表情的测谎方法100包括如下步骤：

步骤S101：接收用户(即被测试的人)的脸部视频。例如，用户通过摄像装置回答提问者的问题，这时摄像装置录制其脸部动作视频_。示例性地，本步骤中用户的脸部视频可以通过普通的基于可见光的彩色或灰度摄像装置进行采集，所述摄像装置例如普通摄像头、网络摄像头、手机的前置摄像头等。采集得到脸部视频图像序列由根据本发明实施例的基于面部表情的测谎系统逐帧进行接收，在本文稍后部分将结合图3对该系统进行详细说明。

步骤S102：检测脸部视频的每一帧的人脸图像特征。当然，本步骤也可以不检测脸部视频的每一帧的人脸图像特征，而是选择性地检测脸部视频的某一帧或某几帧，以减少运算量。也就是说，在本步骤中，检测所述脸部视频的至少一帧的人脸图像特征。

在本实施例中，步骤S102可以利用各种可行的模型(例如基于级联回归的方法得到的线性模型)来实现，也可以通过人工神经网络的方法来实现。在一个示例中，步骤S102通过预设的线性模型实现，其包括：将所述脸部视频的至少一帧输入预设的线性模型以得到所人脸图像特征。示例性地，该线性模型的训练方法可以包括步骤(a)-(d)：

(a)针对不同人的人脸图像人工标记脸部关键点。示例性地，可以从互联网上收集大量的人脸图片，人工标记出脸部关键点。脸部关键点可以包括例如眼角，嘴角，眼睛中心，鼻尖，眉毛等等用于判断用户面部表情的关键位置。

(b)计算该人脸图像的脸部关键点的位置与所检测到的脸部关键点的平均位置的距离。示例性地，该步骤可以包括，确定用户脸部视频的每帧中人脸的位置，其中可以利用人脸检测单元在用户脸部第一次出现时定位其脸部在图像中的位置；在随后的视频图像序列中实时跟踪用户脸部的最新位置；定位到脸部后，可以利用关键点定位单元提取脸部关键点并进行人脸校准。

(c)在脸部关键点上提取SIFT特征以得到特征向量。示例性地，以脸部关键点为中心取16×16的邻域作为采样窗口，将采样点与关键点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得128维的SIFT特征描述子。

(d)根据计算得到的距离和特征向量，采用最小二乘法得到线性模型。

其中，将所述脸部视频的至少一帧输入预设的线性模型以得到所人脸图像特征可以包括：针对所述脸部视频的至少一帧检测脸部关键点；计算所述脸部关键点的位置与脸部关键点的平均位置的距离；在脸部关键点上提取尺度不变特征变换特征以得到特征向量。

检测得到的人脸图像特征可以包括但不限于上述与脸部关键点相关联的SIFT特征，其可以包括任何表情识别所需的、表示各表情之间差异的信息。例如，反映人脸图像底层信息的外貌特征，其使用全部人脸图像像素并且反映如皮肤纹理的细微变化。人脸图像特征或关键点等信息用于判断面部肌肉变化，以此来分析面部表情。总的来说，步骤S102负责从用户脸部视频的图像序列输入中检测人脸图像特征用于后续的面部表情识别。

步骤S103：基于人脸图像特征进行面部表情识别。示例性地，该步骤可以包括分析用户的人脸图像特征之间的关系，并结合各帧的人脸图像特征对所输入的用户脸部视频的图像序列进行表情识别。示例性地，可以基于人工神经网络的方法进行表情识别。

根据本发明的实施例，基于人工神经网络的方法进行表情识别可以包括以下步骤：

---接收特征向量序列作为输入，其中特征向量序列由上述步骤S102中所得到的用户脸部视频的多个帧的特征向量组成；

---对特征向量进行平滑；

---基于之前和之后的特征向量对当前特征向量进行提取；示例性地，可以基于前一帧和后一帧的特征向量或基于前后多个帧的特征向量对当前输入特征向量进行提取。示例性地，该步骤可以但不限于通过长短期记忆(LSTM)来实现。

---对特征向量进行抽象；

---输出最终的判断结果，即用户的表情。

本领域的技术人员应当理解，在实践中可以使用人工神经网络来实现面部表情识别，但是根据期望和/或需要也可以采用其他的面部表情识别方法，例如基于专家规则的方法、贝里斯分类方法等等。

步骤S104：基于所识别的面部表情利用训练好的人工神经网络计算用户说谎的概率。示例性地，在该步骤中，可以基于对每一帧的人脸图像特征的表情识别来判断该表情与人们说谎时的表情的匹配程度，并实现最终的测谎判定。可以通过训练好的人工神经网络来判断所识别的表情与人们说谎时表情的匹配程度。

示例性地，所述人工神经网络配置为：

接收由脸部关键点的特征向量构成的特征向量序列；

对所述特征向量进行平滑；

基于之前和之后的特征向量对当前特征向量进行提取；

对所述特征向量进行抽象；以及

输出最终的判断结果。

示例性地，训练人工神经网络可以包括以下步骤：

---采集不同人的脸部视频并标记出是否说谎；示例性地，可以通过互联网收集大量人物说话的视频，人工标记出是否在说谎。

---在所采集的脸部视频的每一帧的脸部关键点上提取SIFT特征以得到特征向量，并且将多个帧的特征向量合并成特征向量序列；

---以所标记的是否说谎为训练目标，利用特征向量序列对所述人工神经网络进行训练。示例性地，可以基于特征向量序列对人工神经网络进行训练来得到说谎表情模型。

图2示出了根据本发明的实施例的人工神经网络的功能性示意图。本领域技术人员应该理解，如图2所示，上述表情识别和说谎判定可以在同一个人工神经网络中利用其不同的功能模块来实现。相应地，采用人工神经网络实施的基于面部表情的测谎方法至少可以包括表情识别和说谎判定两个阶段。表情识别阶段的任务是基于用户的人脸图像特征的特征向量序列来识别面部表情；说谎判定阶段的任务是将训练得到的说谎表情模型与所识别的用户面部表情进行对比，预测用户说谎的概率。例如，通过人工神经网络对用户的面部表情进行识别，并且对识别出来一系列面部表情，可以得到一个评分，例如在给定连续表情下用户说谎的概率。当所述评分高于预定阈值时，则判定用户在说谎；否则，通过测谎，即判定用户未说谎。例如，所述预定阈值可以设置为70％，当评分高于70％时判定用户在说谎。所述阈值可以根据实际需要进行设定，在此并不进行限定。

根据本发明的另一方面，还提供了一种基于面部表情的测谎系统。图3示出了根据本发明实施例的基于面部表情的测谎系统200的结构框图。

如图3所示，基于面部表情的测谎系统200包括：视频接收模块201、特征检测模块202、表情识别模块203和说谎判定模块204。其中，视频接收模块201用于接收用户的脸部视频；特征检测模块202用于检测脸部视频的至少一帧的人脸图像特征；表情识别模块203用于基于人脸图像特征进行面部表情识别；说谎判定模块204用于基于所识别的面部表情利用训练好的人工神经网络计算所述用户说谎的概率。

根据本发明一个实施例，特征检测模块202可以包括：关键点定位模块，用于针对不同人的人脸图像检测脸部关键点；比较模块，用于计算用户脸部视频的每一帧的脸部关键点的位置与所检测到的脸部关键点的平均位置的距离；特性提取模块，用于在每一帧的脸部关键点上提取SIFT特征以得到特征向量。

示例性地，所述特征检测模块包括预设的线性模型，其中所述人脸图像特征的检测包括：将所述脸部视频的至少一帧输入所述线性模型以得到所述人脸图像特征。

进一步地，所述线性模型通过如下方法得到：

针对不同人的人脸图像人工标记脸部关键点；

计算所述人脸图像的每个脸部关键点的位置与脸部关键点的平均位置的距离；

在每个脸部关键点上提取尺度不变特征变换特征以得到特征向量；以及

根据所述距离和所述特征向量，采用最小二乘法得到所述线性模型。

示例性地，训练人工神经网络可以包括以下步骤：采集不同人的脸部视频并标记出是否说谎；在所采集的脸部视频的至少一帧的脸部关键点上提取SIFT特征以得到特征向量，并且将多个帧的特征向量合并成特征向量序列；以所标记的是否说谎为训练目标，利用特征向量序列对所述人工神经网络进行训练。示例性地，可以基于特征向量序列对人工神经网络进行训练来得到说谎表情模型。

根据本发明的实施例，人工神经网络可以包括但不限于以下结构：输入层，用于接收特征向量的序列；卷积层，用于对向量进行平滑；反馈层，用于基于之前和之后的特征向量对当前特征向量进行提取；全连接层，用于对特征向量进行抽象；以及输出层，用于输出最终的判断结果。

本发明提供的基于面部表情的测谎系统，不需要用户专门配合，可以在对话过程中自动进行分析，甚至可以做到在不被察觉的境况下对用户进行测谎。因此，该系统易于实现并且在使用上非常灵活和方便。

进一步地，根据本发明实施例的上述基于面部表情的测谎系统所需要的外界输入仅有普通的视频图像序列，并且只需要在屏幕上与用户进行交互，其可以部署在普通个人计算机、智能手机、平板电脑等常见终端上运行，无需特殊硬件，因此对硬件要求较低。

本领域的技术人员可以理解，本发明实施例的基于面部表情的测谎系统200还可以包括上述各种类型的摄像装置，用于用户脸部视频的采集，在此并不进行限定。

本发明实施例的各个模块可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于面部表情的测谎系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在存储载体上提供，或者以任何其他形式提供。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (6)

1.一种基于面部表情的测谎方法，其特征在于，所述方法包括：

步骤S101：接收用户的脸部视频；

步骤S102：检测所述脸部视频的至少一帧的人脸图像特征；

步骤S103：基于所述人脸图像特征进行面部表情识别；以及

步骤S104：基于所识别的面部表情利用训练好的人工神经网络计算所述用户说谎的概率；

其中，所述步骤S102包括：将所述脸部视频的至少一帧输入预设的线性模型以得到所述人脸图像特征；

其中，所述线性模型通过如下方法得到：

针对不同人的人脸图像人工标记脸部关键点；

计算所述人脸图像的脸部关键点的位置与脸部关键点的平均位置的距离；

在脸部关键点上提取尺度不变特征变换特征以得到特征向量；以及

根据所述距离和所述特征向量，采用最小二乘法得到所述线性模型。

2.如权利要求1所述的基于面部表情的测谎方法，其特征在于，所述人工神经网络的训练包括：

采集不同人的脸部视频并标记出是否说谎；

在所采集的脸部视频的至少一帧的脸部关键点上提取尺度不变特征变换特征以得到特征向量；以及

将所述特征向量合并成特征向量序列，以所标记的是否说谎为训练目标，利用所述特征向量序列对所述人工神经网络进行训练。

3.如权利要求1或2所述的基于面部表情的测谎方法，其特征在于，所述步骤S104之后还包括步骤S105：根据所述概率给出所述用户是否说谎的结果，其中，当所述概率高于预定阈值，则判定所述用户说谎，否则判定所述用户未说谎。

4.一种基于面部表情的测谎系统，其特征在于，所述系统包括：

视频接收模块，用于接收用户的脸部视频；

特征检测模块，用于检测所述脸部视频的至少一帧的人脸图像特征；

表情识别模块，用于基于所述人脸图像特征进行面部表情识别；以及

说谎判定模块，用于基于所识别的面部表情利用训练好的人工神经网络计算所述用户说谎的概率；

其中，所述特征检测模块包括预设的线性模型，其中所述人脸图像特征的检测包括：将所述脸部视频的至少一帧输入所述线性模型以得到所述人脸图像特征；

其中，所述线性模型通过如下方法得到：

针对不同人的人脸图像人工标记脸部关键点；

计算所述人脸图像的每个脸部关键点的位置与脸部关键点的平均位置的距离；

在每个脸部关键点上提取尺度不变特征变换特征以得到特征向量；以及

根据所述距离和所述特征向量，采用最小二乘法得到所述线性模型。

5.如权利要求4所述基于面部表情的测谎系统，其特征在于，所述人工神经网络的训练包括：

采集不同人的脸部视频并标记出是否说谎；

在所采集的脸部视频的至少一帧的脸部关键点上提取尺度不变特征变换特征以得到特征向量；以及

将所述特征向量合并成特征向量序列，以所标记的是否说谎为训练目标，利用所述特征向量的序列对所述人工神经网络进行训练。

6.如权利要求4或5所述的基于面部表情的测谎系统，其特征在于，所述说谎判定模块还用于根据所述概率给出所述用户是否说谎的结果，其中，当所述概率高于预定阈值，则判定所述用户说谎，否则判定所述用户未说谎。