CN115153473A - 基于多变量奇异谱分析的非接触式心率检测方法 - Google Patents

基于多变量奇异谱分析的非接触式心率检测方法 Download PDF

Info

Publication number
CN115153473A
CN115153473A CN202210655752.6A CN202210655752A CN115153473A CN 115153473 A CN115153473 A CN 115153473A CN 202210655752 A CN202210655752 A CN 202210655752A CN 115153473 A CN115153473 A CN 115153473A
Authority
CN
China
Prior art keywords
heart rate
lth
signal
value
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210655752.6A
Other languages
English (en)
Other versions
CN115153473B (zh
Inventor
宋仁成
孙晓雪
成娟
李畅
刘羽
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210655752.6A priority Critical patent/CN115153473B/zh
Publication of CN115153473A publication Critical patent/CN115153473A/zh
Application granted granted Critical
Publication of CN115153473B publication Critical patent/CN115153473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024Measuring pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多变量奇异谱分析的非接触式心率检测方法,其步骤包括:1、首先获取视频图像并确定面部感兴趣区域;2、从感兴趣区域筛选四个最佳子区域,提取每个子区域的色度信号,将鼻尖部位的运动轨迹作为运动信号;3、自适应滤波去除色度信号中的运动伪影,作为输入信号;4、采用多变量奇异谱分析处理输入信号,并从中筛选出脉冲信号;5、采用频率谱分析的方法从脉冲信号中提取心率;6、最后根据心率连续性将异常的心率值找出并用正确的心率值替换。本发明能够同时去除光照变化的影响和头部运动的干扰,从而能提高非接触式视频心率检测的准确性。

Description

基于多变量奇异谱分析的非接触式心率检测方法
技术领域
本发明属于生物医学信号处理的技术领域,尤其涉及一种基于多变量奇异谱分析的非接触式心率检测方法。
背景技术
目前心率的测量方法主要分为接触式与非接触式两类。接触式检测方法通过传统的测量仪器如心电图机、脉搏血氧仪等监测血容量脉冲。但由于测量时需要直接接触到受试者的皮肤,一定程度上会限制人体活动,且长时间的测量可能会引起受试者的不适,也不适用于婴儿及烧伤患者等特殊人群。非接触式测量方法也称远程光电容积脉搏波描记法(remote photoplethysmography,rPPG),利用相机捕捉因血液流动而导致的皮肤颜色的变化,从而提取心率。能够克服传统接触式心率监测的缺点,具有无创、便携、易于实现等特点。
在rPPG技术中主要存在两大难题—光照变化和运动噪声。目前大多数研究场景都处于室内光源或自然光源条件下,光照变化比较小的情况下让受试者保持静止。RenchengSong等人采用集合经验模态分解对筛选的最佳感兴趣区域的绿色通道进行分解,然后提取共同信息的方法(EEMD-MCCA),该方法能够有效地减小环境光变化对视频心率提取的影响。但是EEMD-MCCA是两步法,EEMD的使用主要是构造MCCA的多通道输入集。但是在每个ROI中获得的IMF的数量是不同的,需要对IMF进行选择和填充,以保持每个集合的通道数量相同。IMF的选择过程是启发式的,可能会因为模态混合而失去有用的项。这将降低MCCA算法的效果。并且在实际场景中,受试者难免会有运动,因此如何在光照变化的情况下又能消除运动噪声的干扰,从而得到准确心率也成为一个挑战。
发明内容
本发明是为解决上述技术所存在的不足,提出了一种基于多变量奇异谱分析的非接触式心率检测方法,以期能去除环境光变化的影响和运动噪声的干扰,从而能提高非接触式视频心率检测的准确性。
本发明为解决技术问题采用如下技术方案如下:
本发明一种基于多元奇异谱分解的非接触式视频心率检测方法的特点是按照如下步骤进行:
步骤1:获取受试者的T帧视频数据并有重叠的划分为L份数据,且每份数据包含N帧视频图像;
步骤2:采用人脸检测及面部追踪法确定第l份N帧视频图像的面部感兴趣区域,将每帧视频图像中的面部感兴趣区域划分成Q块子区域,1≤l≤L;
步骤3:逐帧计算每块子区域在第l份N帧视频图像的像素均值,并根据每块子区域的像素均值,计算每块子区域的光照强度、光照变化和信噪比作为判断的质量指标,从而根据每块子区域的质量指标,从Q块子区域中选取P个最佳子区域,再从P个最佳子区域中提取RGB通道均值信号并转化为HSV信号,提取所述HSV信号中的色度信号,记为Hl={hl,1,hl,2,...,hl,p,...,hl,P},hl,p为第l份N帧视频图像的第p个最佳子区域的色度信号,1<p<P;
步骤4:采用OpenFace法逐帧检测第l份N帧视频图像的人脸特征点,并将第l份N帧视频图像的鼻尖位置特征点的运动轨迹信号记为Vl={vl,1,vl,2,...,vl,j,...,vl,N};其中,vl,j为第l份第j帧视频图像中鼻尖位置特征点的位置坐标;
步骤5:利用第l份运动轨迹信号Vl对第l份第p个最佳子区域的色度信号hl,p进行自适应滤波LMS处理,以去除第l份色度信号hl,p中的运动伪影,得到滤波后的第l份第p个色度信号
Figure BDA0003687537470000021
Figure BDA0003687537470000022
Figure BDA0003687537470000027
表示第l份第j帧视频图像中滤波后的第p个色度信号的像素值,从而得到第l份滤波后的P个色度信号
Figure BDA0003687537470000023
并作为第l个输入信号数据集;
步骤6:采用奇异谱分解方法将所述第l个输入信号数据集Xl分解成若干个分量:
步骤6.1:设置窗口的长度为M,且M<N/2,定义参数K=N-M+1,按照所述窗口的长度M和参数K从所述滤波后的第l份第p个色度信号
Figure BDA0003687537470000024
中生成维度为M×K的第l份第p个轨迹矩阵
Figure BDA0003687537470000025
然后将第l份P个轨迹矩阵拼接后构成维度为PM×K的汉克尔轨迹矩阵
Figure BDA0003687537470000026
步骤6.2:计算第l份轨迹矩阵YlYl T的特征值,记为λl,1,...,λl,i,...,λl,PM,其中,λl,i表示第l份轨迹矩阵YlYl T的第i个特征值;计算第l份轨迹矩阵YlYl T的特征值λl,1,...,λl,i,...,λl,PM的标准正交向量,记为Ul,1,...,Ul,i,...,Ul,PM,其中,Ul,i表示特征值λl,i对应的标准正交向量;计算R=rank(Yl),R表示矩阵Yl的秩,计算主成分
Figure BDA0003687537470000031
将第l份汉克尔轨迹矩阵Yl分解为Yl=Yl,1+...+Yl,i+...+Yl,R,其中,Yl,i表示第l份轨迹矩阵YlYl T第i个特征值λi对应的分解矩阵,且
Figure BDA0003687537470000032
步骤6.3:将第l份索引集{1,...,R}划分为R个不相交的子集Il,i={i},i=1,2,...,R,Il,i表示第l份第i个子集;根据所述子集,对所述汉克尔轨迹矩阵Yl进行分组,得到第l份R组矩阵{Yl,i|1≤i≤R},Yl,i由步骤6.2得到;
步骤6.4:对第l份R组矩阵Yl,i进行对角线求平均处理,得到第l份重构信号
Figure BDA0003687537470000033
其中,
Figure BDA0003687537470000034
表示第l份分组矩阵Yl,i对角线平均处理后的一维信号;
步骤7:将第l份重构信号
Figure BDA0003687537470000035
分组,每组包含四个信号,将第一组信号
Figure BDA0003687537470000036
作为候选脉冲集,计算第l份第一组第i个候选心率信号
Figure BDA0003687537470000037
的主频率以及二次谐波频率的能量之比,从而选择能量之比最大的候选心率信号作为脉冲信号,利用快速傅里叶变换将所述脉冲信号转换成频域形式,从而得到所述脉冲信号的主频率fmain,计算出第l份N帧视频图像的受试者平均心率值,从而得到第l个心率值HRl=fmain×60;
步骤8:对按照步骤2-步骤7的过程,得到L份N帧视频图像的L个心率值集合{HRl|l=1,2,…,L};
步骤9:计算第l份的N帧视频图像的心率值HRl分别与同一受试者在第k份的N帧视频图像的心率值HRk之间的绝对误差是否小于所设定的阈值Th1,若小于,则令计数值S+1;否则计数值S保持不变,其中,计数值S的初始值为0;
步骤10:判断计数值S是否大于所设置的阈值Th2,若大于,则将第l个心率值HRl视为有效值并计入心率候选集HR,否则,判断下一个心率值;从而得到最终的心率候选集HR,并计算其平均值作为参考值HRref
步骤11:根据参考值HRref与L个心率值集合{HRl}(l=1,2,...,L),计算第l个心率值HRl与参考HRref之间的绝对误差HRerror,l,如果绝对误差HRerror,l小于等于设定的阈值Th1,则第l个心率值HRl作为目标HRT,反之,则被作为异常值;
若第l个心率值HRl为异常值,则从剩余的分解信号
Figure BDA0003687537470000038
中计算最接近参考值HRref的心率值HRn,new作为目标HRT
与已有技术相比,本发明有益效果体现在:
1、本发明选用色度信号:大多数研究选取绿色通道信号,它的优势在于所包含的心率信号强度相比于红色和蓝色通道更大。但是在光线变化的情况下,绿色通道的颜色空间不仅取决于物体的颜色,还取决于来自表面的反射光的强度。相反,色度信号不依赖于亮度,这意味着色度信号相比于绿色信号更能抵抗环境光的变化,从而降低了环境光变化对提取心率的影响。
2、本发明采用自适应滤波的方法去除运动噪声:采用OpenFace方法逐帧检测人脸特征点,将鼻尖位置的运动轨迹作为运动信号,利用自适应滤波能够有效去除色度信号中由于头部运动造成的运动伪影,提升了心率测量的准确性。
3、本发明将面部感兴趣区域划分为多个子区域并进行最优筛选:不同的面部感兴趣区域所包含的心脏搏动的信息是相同的,相比于单个感兴趣区域提取心率信号源,该方法更强调多个感兴趣区域所包含的共同的信号源成分,对多个区域的联合分析能够更准确的提取心率。
4、本发明采用多元奇异谱分解的方法提取心率:多元奇异谱分解避免了传统的经验模态分解方法的模态混叠问题,可以直接分解多个信号,同时考虑它们之间的内在相关性,能够有效地减少心率信号失真率。
附图说明
图1为本发明方法的流程图;
图2a为本发明面部感兴趣区域示意图;
图2b为本发明筛选面部最佳感兴趣区域示意图;
图3a为本发明多元奇异谱分析经过筛选得到的候选心率信号1;
图3b为本发明多元奇异谱分析经过筛选得到的候选心率信号2;
图3c为本发明多元奇异谱分析经过筛选得到的候选心率信号3;
图3d为本发明多元奇异谱分析经过筛选得到的候选心率信号4;
图4a为本发明多元奇异谱分析经过筛选得到的候选心率信号1频谱图;
图4b为本发明多元奇异谱分析经过筛选得到的候选心率信号2频谱图;
图4c为本发明多元奇异谱分析经过筛选得到的候选心率信号3频谱图;
图4d为本发明多元奇异谱分析经过筛选得到的候选心率信号4频谱图;
图5a为本发明心率计算流程图;
图5b为本发明筛选异常值流程图。
具体实施方式
本实施例中,一种基于多元奇异谱分解的非接触式视频心率检测方法,如图1所示,首先获取人脸面部视频图像序列,并确定面部感兴趣区域;然后将面部感兴趣区域化分为若干子区域,根据光照强度、光照变化和信噪比筛选最优子区域,提取最优子区域的RGB信号转化为HSV信号,将鼻尖部位的运动轨迹作为运动信号;将色度信号与运动信号做自适应滤波,滤波后的色度信号作为每块子区域的输入信号;之后采用多元奇异谱分解处理所有子区域的输入信号并得到所有子区域分解信号数据集;筛选每个子区域第一个分解信号,记为候选心率信号,然后计算所有候选心率信号主频率及二次谐波频率能量占比,筛选能量占比最大的候选心率信号作为脉冲信号,并根据该信号主频值计算出心率值,然后根据心率连续性将异常值挑选出来并用正确的心率值替换。具体的说,是按照如下步骤进行:
步骤1:获取受试者的60s共T帧视频数据,分为L份,L=7,且每份数据包含N帧视频图像。
步骤2:对于第l份N帧视频图像,采用Viola-Jones面部检测器得到一个矩形边框,缩放到60%用以去除非皮肤区域,如背景和头发。然后将整个ROI区域划分Q=4×4块子区域,如图2a所示,利用Kanade-Lucas-Tomasi算法沿着视频帧跟踪每块子区域的四个顶点。
步骤3:逐帧计算每块子区域在第l份N帧视频图像的像素均值,并根据每块子区域的像素均值,计算每块子区域的光照强度、光照变化和信噪比作为判断的质量指标,从Q块子区域中选取P=4个最佳子区域,如图2b所示。再从P个最佳子区域中提取RGB通道均值信号并转化为HSV信号,相比于RGB图像域到HSV图像域的转换相比,信号之间的转换速度更快,可以实时应用。提取所述HSV信号中的色度信号,记为Hl={hl,1,hl,2,...,hl,p,...,hl,P},hl,p为第l份N帧视频图像的第p个最佳子区域的色度信号,1<p<P。选择色度信号代替绿色信号是因为色度信号更能抵抗光线的变化。在光线变化的情况下,绿色通道的颜色空间不仅取决于物体的颜色,还取决于来自表面的反射光的强度。相反,色度信号不依赖于亮度。这意味着色度信号更能容忍环境光的变化。
步骤4:采用OpenFace法逐帧检测第l份N帧视频图像的人脸特征点,并将第l份N帧视频图像的鼻尖位置特征点的运动轨迹信号记为Vl={vl,1,vl,2,...,vl,j,...,vl,N};其中,vl,j为第l份第j帧视频图像中鼻尖位置特征点的位置坐标;
步骤5:利用第l份运动轨迹信号Vl对第l份第p个最佳子区域的色度信号hl,p进行自适应滤波LMS处理,以去除第l份色度信号hl,p中由于头部运动带来的运动伪影。自适应滤波在没有关于待提取信息的先验统计知识的条件下,直接利用观测数据根据某种判据在观测过程中不断的递归更新处理参数,自动跟踪统计性质的变化,以逐步逼近某一最优处理结果。这样的处理方法更符合非平稳情况的需要,也被证明是一种有效的噪声消除方法。自适应滤波后得到第l份第p个色度信号
Figure BDA0003687537470000061
Figure BDA0003687537470000062
Figure BDA00036875374700000611
表示第l份第j帧视频图像中滤波后的第p个色度信号的像素值,从而得到第l份滤波后的P个色度信号
Figure BDA0003687537470000063
并作为第l个输入信号数据集;
步骤6:采用奇异谱分解方法将所述第l个输入信号数据集Xl分解成若干个分量:
步骤6.1:设置窗口的长度为M,且M<N/2,定义参数K=N-M+1,按照所述窗口的长度M和参数K从所述滤波后的第l份第p个色度信号
Figure BDA0003687537470000064
中生成维度为M×K的第l份第p个轨迹矩阵
Figure BDA0003687537470000065
然后将第l份P个轨迹矩阵拼接后构成维度为PM×K的汉克尔轨迹矩阵
Figure BDA0003687537470000066
步骤6.2:计算第l份轨迹矩阵YlYl T的特征值,记为λl,1,...,λl,i,...,λl,PM,其中,λl,i表示第l份轨迹矩阵YlYl T的第i个特征值;计算第l份轨迹矩阵YlYl T的特征值λl,1,...,λl,i,...,λl,PM的标准正交向量,记为Ul,1,...,Ul,i,...,Ul,PM,其中,Ul,i表示特征值λl,i对应的标准正交向量。计算R=rank(Yl),R表示矩阵Yl的秩,计算主成分
Figure BDA0003687537470000067
将第l份汉克尔轨迹矩阵Yl分解为Yl=Yl,1+...+Yl,i+...+Yl,R,其中,Yl,i表示第l份轨迹矩阵YlYl T第i个特征值λi对应的分解矩阵,且
Figure BDA0003687537470000068
步骤6.3:将第l份索引集{1,...,R}划分为R个不相交的子集Il,i={i},i=1,2,...,R,Il,i表示第l份第i个子集。根据所述子集,对所述汉克尔轨迹矩阵Yl进行分组,得到第l份R组矩阵{Yl,i|1≤i≤R},Yl,i由步骤6.2得到;
步骤6.4:为了将分组后的矩阵转换为时间序列,对第l份R组矩阵Yl,i进行对角线求平均处理,得到第l份重构信号
Figure BDA0003687537470000069
其中,
Figure BDA00036875374700000610
表示第l份分组矩阵Yl,i对角线平均处理后的一维信号;本实例中,采用上述的多元奇异谱分解方法将输入信号分解成若干分量。该方法能够充分利用不同区域输入信号的关联性并且克服了传统经验模态分解方法模式混叠的影响。
步骤7:将第l份重构信号
Figure BDA0003687537470000071
分组,每组包含四个信号,将第一组信号
Figure BDA0003687537470000072
作为候选脉冲集,如图3a、图3b、图3c、图3d所示,本实例中提取了四个分解信号构成了候选脉冲集。计算第l份第一组第i个候选心率信号
Figure BDA0003687537470000073
的主频率以及二次谐波频率的能量之比,,从而选择能量之比最大的候选心率信号作为脉冲信号。如图4a、图4b、图4c、图4d所示,每张图分别对应单个候选心率信号频率谱图,黑色圆圈对应峰值频率点也即主频率点。利用快速傅里叶变换将所述脉冲信号转换成频域形式,从而得到所述脉冲信号的主频率fmain,计算出第l份N帧视频图像的受试者平均心率值,从而得到第l个心率值HRl=fmain×60。选择第一组分解信号当作候选脉冲及是因为在前面的操作步骤中已经去除色度通道中的大部分噪声。因此,心跳信号是色度通道中最显著且相关的振荡信号。
步骤8:如图5a所示,按照步骤2-步骤7的过程,得到L份N帧视频图像的L个心率值集合{HRl|l=1,2,…,L};
步骤9:计算第l份的N帧视频图像的心率值HRl分别与同一受试者在第k份的N帧视频图像的心率值HRk之间的绝对误差,是否小于所设定的阈值Th1,若小于,则令计数值S+1;否则计数值S保持不变,其中,计数值S的初始值为0;
步骤10:判断数值S是否大于所设置的阈值Th2,若大于,则当前的HRl将被视为有效值并计入心率候选集HR,否则,当前的HRl不计入心率候选集HR,最后,确定参考值HRref为心率候选集HR的平均值;
步骤11:获取参考值HRref与L个心率值集合{HRl}(l=1,2,...,L),计算当前HRl与参考HRref之间的绝对误差HRerror,l,如果绝对误差HRerror,l小于等于设定的阈值Th1,则当前的HRl被视为目标HRT,反之则被视为异常值,若为异常值,从剩余的分解信号
Figure BDA0003687537470000074
计算最接近参考值HRref的心率值HRn,new作为目标HRT。如图5b所示,根据心率连续性得到去除异常值的目标HRT
为了验证本发明提出的视频心率算法的鲁棒性,本发明采用公开数据集COHFACE和自采数据集BSIPL进行算法验证。本实例通过比较两个数据集采集视频的真实心率与待测算法测量心率的误差来分析实验结果,并采用均方根误差(root mean square error,RMSE),平均绝对误差(mean absolute error,MAE),标准差(StandardDeviation,sd)和相关系数这四种评价指标来评估算法鲁棒性。将本发明提出的方法与EEMD-MCCA方法进行了对比,结果如表1和表2所示。
表1 COHFACE两种方法得到的心率检测结果分析
评价指标 EEMD-MCCA MSSA-H
均方根误差(bpm) 4.81 2.19
平均绝对误差(bpm) 2.08 1.25
标准差(bpm) 4.33 1.81
相关系数 0.91 0.98
表2 BSIPL两种方法得到的心率检测结果分析
评价指标 EEMD-MCCA MSSA-H
均方根误差(bpm) 6.14 4.00
平均绝对误差(bpm) 2.95 1.81
标准差(bpm) 5.39 3.56
相关系数 0.86 0.94
从表1可以看出,在均方根误差,平均绝对误差以及标准差这三项指标上,MSSA-H方法相比较于EEMD-MCCA有明显的改进,分别是2.62bpm,0.83bpm和2.52bpm,并且相关系数也由0.91提升到0.98,从表2结果可以所提出的MSSA-H四项指标均优于EEMD-MCCA。从得到的结果可以看出,本方法计算得到的心率值和心率真值更接近,相对于EEMD-MCCA有更好的鲁棒性。
综上所述,本发明中提出的基于多元奇异谱分析的非接触式心率检测方法能够较为准确的准确地从视频中提取出人体心率并获取视频心率检测结果,具有良好的鲁棒性。

Claims (1)

1.一种基于多元奇异谱分解的非接触式视频心率检测方法,其特征是按照如下步骤进行:
步骤1:获取受试者的T帧视频数据并有重叠的划分为L份数据,且每份数据包含N帧视频图像;
步骤2:采用人脸检测及面部追踪法确定第l份N帧视频图像的面部感兴趣区域,将每帧视频图像中的面部感兴趣区域划分成Q块子区域,1≤l≤L;
步骤3:逐帧计算每块子区域在第l份N帧视频图像的像素均值,并根据每块子区域的像素均值,计算每块子区域的光照强度、光照变化和信噪比作为判断的质量指标,从而根据每块子区域的质量指标,从Q块子区域中选取P个最佳子区域,再从P个最佳子区域中提取RGB通道均值信号并转化为HSV信号,提取所述HSV信号中的色度信号,记为Hl={hl,1,hl,2,...,hl,p,...,hl,P},hl,p为第l份N帧视频图像的第p个最佳子区域的色度信号,1<p<P;
步骤4:采用OpenFace法逐帧检测第l份N帧视频图像的人脸特征点,并将第l份N帧视频图像的鼻尖位置特征点的运动轨迹信号记为Vl={vl,1,vl,2,...,vl,j,...,vl,N};其中,vl,j为第l份第j帧视频图像中鼻尖位置特征点的位置坐标;
步骤5:利用第l份运动轨迹信号Vl对第l份第p个最佳子区域的色度信号hl,p进行自适应滤波LMS处理,以去除第l份色度信号hl,p中的运动伪影,得到滤波后的第l份第p个色度信号
Figure FDA0003687537460000011
Figure FDA0003687537460000012
Figure FDA0003687537460000013
表示第l份第j帧视频图像中滤波后的第p个色度信号的像素值,从而得到第l份滤波后的P个色度信号
Figure FDA0003687537460000014
并作为第l个输入信号数据集;
步骤6:采用奇异谱分解方法将所述第l个输入信号数据集Xl分解成若干个分量:
步骤6.1:设置窗口的长度为M,且M<N/2,定义参数K=N-M+1,按照所述窗口的长度M和参数K从所述滤波后的第l份第p个色度信号
Figure FDA0003687537460000015
中生成维度为M×K的第l份第p个轨迹矩阵
Figure FDA0003687537460000016
然后将第l份P个轨迹矩阵拼接后构成维度为PM×K的汉克尔轨迹矩阵
Figure FDA0003687537460000021
步骤6.2:计算第l份轨迹矩阵YlYl T的特征值,记为λl,1,...,λl,i,...,λl,PM,其中,λl,i表示第l份轨迹矩阵YlYl T的第i个特征值;计算第l份轨迹矩阵YlYl T的特征值λl,1,...,λl,i,...,λl,PM的标准正交向量,记为Ul,1,...,Ul,i,...,Ul,PM,其中,Ul,i表示特征值λl,i对应的标准正交向量;计算R=rank(Yl),R表示矩阵Yl的秩,计算主成分
Figure FDA0003687537460000022
将第l份汉克尔轨迹矩阵Yl分解为Yl=Yl,1+...+Yl,i+...+Yl,R,其中,Yl,i表示第l份轨迹矩阵YlYl T第i个特征值λi对应的分解矩阵,且
Figure FDA0003687537460000023
步骤6.3:将第l份索引集{1,...,R}划分为R个不相交的子集Il,i={i},i=1,2,...,R,Il,i表示第l份第i个子集;根据所述子集,对所述汉克尔轨迹矩阵Yl进行分组,得到第l份R组矩阵{Yl,i|1≤i≤R},Yl,i由步骤6.2得到;
步骤6.4:对第l份R组矩阵Yl,i进行对角线求平均处理,得到第l份重构信号
Figure FDA0003687537460000024
其中,
Figure FDA0003687537460000025
表示第l份分组矩阵Yl,i对角线平均处理后的一维信号;
步骤7:将第l份重构信号
Figure FDA0003687537460000026
分组,每组包含四个信号,将第一组信号
Figure FDA0003687537460000027
作为候选脉冲集,计算第l份第一组第i个候选心率信号
Figure FDA0003687537460000028
的主频率以及二次谐波频率的能量之比,从而选择能量之比最大的候选心率信号作为脉冲信号,利用快速傅里叶变换将所述脉冲信号转换成频域形式,从而得到所述脉冲信号的主频率fmain,计算出第l份N帧视频图像的受试者平均心率值,从而得到第l个心率值HRl=fmain×60;
步骤8:对按照步骤2-步骤7的过程,得到L份N帧视频图像的L个心率值集合{HRl|l=1,2,…,L};
步骤9:计算第l份的N帧视频图像的心率值HRl分别与同一受试者在第k份的N帧视频图像的心率值HRk之间的绝对误差是否小于所设定的阈值Th1,若小于,则令计数值S+1;否则计数值S保持不变,其中,计数值S的初始值为0;
步骤10:判断计数值S是否大于所设置的阈值Th2,若大于,则将第l个心率值HRl视为有效值并计入心率候选集HR,否则,判断下一个心率值;从而得到最终的心率候选集HR,并计算其平均值作为参考值HRref
步骤11:根据参考值HRref与L个心率值集合{HRl}(l=1,2,...,L),计算第l个心率值HRl与参考HRref之间的绝对误差HRerror,l,如果绝对误差HRerror,l小于等于设定的阈值Th1,则第l个心率值HRl作为目标HRT,反之,则被作为异常值;
若第l个心率值HRl为异常值,则从剩余的分解信号
Figure FDA0003687537460000031
中计算最接近参考值HRref的心率值HRn,new作为目标HRT
CN202210655752.6A 2022-06-10 2022-06-10 基于多变量奇异谱分析的非接触式心率检测方法 Active CN115153473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210655752.6A CN115153473B (zh) 2022-06-10 2022-06-10 基于多变量奇异谱分析的非接触式心率检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210655752.6A CN115153473B (zh) 2022-06-10 2022-06-10 基于多变量奇异谱分析的非接触式心率检测方法

Publications (2)

Publication Number Publication Date
CN115153473A true CN115153473A (zh) 2022-10-11
CN115153473B CN115153473B (zh) 2024-04-19

Family

ID=83485307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210655752.6A Active CN115153473B (zh) 2022-06-10 2022-06-10 基于多变量奇异谱分析的非接触式心率检测方法

Country Status (1)

Country Link
CN (1) CN115153473B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189264A (zh) * 2023-02-22 2023-05-30 中促(杭州)信息科技有限公司 基于脸部特征点识别和信号经验模态分解的心率识别方法
CN116433538A (zh) * 2023-06-15 2023-07-14 加之创(厦门)科技有限公司 一种用于视频图像健康监测的图像处理方法、介质及设备
CN116530967A (zh) * 2023-05-08 2023-08-04 合肥工业大学 基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170367590A1 (en) * 2016-06-24 2017-12-28 Universita' degli Studi di Trento (University of Trento) Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
KR20180055020A (ko) * 2016-11-15 2018-05-25 금오공과대학교 산학협력단 특이값 분해(svd) 기법을 이용한 비접촉 방식의 생체 신호 측정방법
CN110269600A (zh) * 2019-08-06 2019-09-24 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
WO2019202671A1 (en) * 2018-04-17 2019-10-24 Nec Corporation Pulse rate estimation apparatus, pulse rate estimation method, and computer-readable storage medium
CN112001862A (zh) * 2020-08-26 2020-11-27 合肥工业大学 消除视频心冲击信号运动噪声的非接触式视心率检测方法
CN112043257A (zh) * 2020-09-18 2020-12-08 合肥工业大学 一种运动鲁棒的非接触式视频心率检测方法
KR102215557B1 (ko) * 2019-12-18 2021-02-15 (주)감성과학연구센터 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템
CN113786191A (zh) * 2021-09-22 2021-12-14 吉林大学 一种基于多通道奇异谱分析的心冲击信号去噪方法
US20210386307A1 (en) * 2017-09-15 2021-12-16 University Of Maryland, College Park System and method for heart rate measurement using facial video

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170367590A1 (en) * 2016-06-24 2017-12-28 Universita' degli Studi di Trento (University of Trento) Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
KR20180055020A (ko) * 2016-11-15 2018-05-25 금오공과대학교 산학협력단 특이값 분해(svd) 기법을 이용한 비접촉 방식의 생체 신호 측정방법
US20210386307A1 (en) * 2017-09-15 2021-12-16 University Of Maryland, College Park System and method for heart rate measurement using facial video
WO2019202671A1 (en) * 2018-04-17 2019-10-24 Nec Corporation Pulse rate estimation apparatus, pulse rate estimation method, and computer-readable storage medium
CN110269600A (zh) * 2019-08-06 2019-09-24 合肥工业大学 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
KR102215557B1 (ko) * 2019-12-18 2021-02-15 (주)감성과학연구센터 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템
CN112001862A (zh) * 2020-08-26 2020-11-27 合肥工业大学 消除视频心冲击信号运动噪声的非接触式视心率检测方法
CN112043257A (zh) * 2020-09-18 2020-12-08 合肥工业大学 一种运动鲁棒的非接触式视频心率检测方法
CN113786191A (zh) * 2021-09-22 2021-12-14 吉林大学 一种基于多通道奇异谱分析的心冲击信号去噪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XUN CHEN等: "Video-Based Heart Rate Measurement: Recent Advances and Future Prospects", IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, 1 October 2019 (2019-10-01), pages 3600 - 3615, XP011745595, DOI: 10.1109/TIM.2018.2879706 *
张家成;邱天爽;马济通;: "基于改进色度模型的非接触式心率检测与估计", 中国生物医学工程学报, no. 06, 20 December 2017 (2017-12-20), pages 4 - 9 *
成娟 等: "基于多区域分析的非接触式热红外视频心率检测方法", 生物医学工程研究, 25 March 2021 (2021-03-25), pages 21 - 27 *
欧卫华;刘萍;周永辉;曹永锋;熊祥光;: "视频心率检测中兴趣区域选择研究", 贵州师范大学学报(自然科学版), no. 03, 12 May 2018 (2018-05-12), pages 82 - 87 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189264A (zh) * 2023-02-22 2023-05-30 中促(杭州)信息科技有限公司 基于脸部特征点识别和信号经验模态分解的心率识别方法
CN116189264B (zh) * 2023-02-22 2024-12-03 杭州微帮忙智慧科技有限公司 基于脸部特征点识别和信号经验模态分解的心率识别方法
CN116530967A (zh) * 2023-05-08 2023-08-04 合肥工业大学 基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法
CN116433538A (zh) * 2023-06-15 2023-07-14 加之创(厦门)科技有限公司 一种用于视频图像健康监测的图像处理方法、介质及设备

Also Published As

Publication number Publication date
CN115153473B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN110269600B (zh) 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法
CN114387479B (zh) 一种基于人脸视频的非接触式心率测量方法及系统
Song et al. Remote photoplethysmography with an EEMD-MCCA method robust against spatially uneven illuminations
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
CN105147274B (zh) 一种从可见光谱段人脸视频信号中提取心率的方法
CN115153473A (zh) 基于多变量奇异谱分析的非接触式心率检测方法
CN113591769B (zh) 基于光电容积脉搏描记法的非接触式心率检测方法
Feng et al. Motion artifacts suppression for remote imaging photoplethysmography
CN112233813A (zh) 一种基于ppg的非接触式无创心率呼吸测量方法及系统
CN105989357A (zh) 一种基于人脸视频处理的心率检测方法
CN112001862B (zh) 消除视频心冲击信号运动噪声的非接触式视心率检测方法
CN111281367A (zh) 一种基于人脸视频的抗干扰非接触式心率检测方法
CN114246570B (zh) 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法
Wedekind et al. Automated identification of cardiac signals after blind source separation for camera-based photoplethysmography
Gupta et al. Accurate heart-rate estimation from face videos using quality-based fusion
CN112043257B (zh) 一种运动鲁棒的非接触式视频心率检测方法
Gupta et al. A motion and illumination resistant non-contact method using undercomplete independent component analysis and Levenberg-Marquardt algorithm
Suriani et al. Non-contact facial based vital sign estimation using convolutional neural network approach
Hu et al. Illumination robust heart-rate extraction from single-wavelength infrared camera using spatial-channel expansion
CN115245318A (zh) 一种基于深度学习的有效ippg信号的自动识别方法
CN116502062B (zh) 非接触式脉搏波信号的自适应重构方法
CN115063848A (zh) 基于光电容积描记法的非接触式人脸心率检测方法、系统及介质
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis
CN104688199A (zh) 一种基于皮肤色素浓度差分的非接触式脉搏测量方法
Wang et al. KLT algorithm for non-contact heart rate detection based on image photoplethysmography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant