CN115153473A - 基于多变量奇异谱分析的非接触式心率检测方法 - Google Patents
基于多变量奇异谱分析的非接触式心率检测方法 Download PDFInfo
- Publication number
- CN115153473A CN115153473A CN202210655752.6A CN202210655752A CN115153473A CN 115153473 A CN115153473 A CN 115153473A CN 202210655752 A CN202210655752 A CN 202210655752A CN 115153473 A CN115153473 A CN 115153473A
- Authority
- CN
- China
- Prior art keywords
- heart rate
- lth
- signal
- value
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多变量奇异谱分析的非接触式心率检测方法,其步骤包括:1、首先获取视频图像并确定面部感兴趣区域;2、从感兴趣区域筛选四个最佳子区域,提取每个子区域的色度信号,将鼻尖部位的运动轨迹作为运动信号;3、自适应滤波去除色度信号中的运动伪影,作为输入信号;4、采用多变量奇异谱分析处理输入信号,并从中筛选出脉冲信号;5、采用频率谱分析的方法从脉冲信号中提取心率;6、最后根据心率连续性将异常的心率值找出并用正确的心率值替换。本发明能够同时去除光照变化的影响和头部运动的干扰,从而能提高非接触式视频心率检测的准确性。
Description
技术领域
本发明属于生物医学信号处理的技术领域,尤其涉及一种基于多变量奇异谱分析的非接触式心率检测方法。
背景技术
目前心率的测量方法主要分为接触式与非接触式两类。接触式检测方法通过传统的测量仪器如心电图机、脉搏血氧仪等监测血容量脉冲。但由于测量时需要直接接触到受试者的皮肤,一定程度上会限制人体活动,且长时间的测量可能会引起受试者的不适,也不适用于婴儿及烧伤患者等特殊人群。非接触式测量方法也称远程光电容积脉搏波描记法(remote photoplethysmography,rPPG),利用相机捕捉因血液流动而导致的皮肤颜色的变化,从而提取心率。能够克服传统接触式心率监测的缺点,具有无创、便携、易于实现等特点。
在rPPG技术中主要存在两大难题—光照变化和运动噪声。目前大多数研究场景都处于室内光源或自然光源条件下,光照变化比较小的情况下让受试者保持静止。RenchengSong等人采用集合经验模态分解对筛选的最佳感兴趣区域的绿色通道进行分解,然后提取共同信息的方法(EEMD-MCCA),该方法能够有效地减小环境光变化对视频心率提取的影响。但是EEMD-MCCA是两步法,EEMD的使用主要是构造MCCA的多通道输入集。但是在每个ROI中获得的IMF的数量是不同的,需要对IMF进行选择和填充,以保持每个集合的通道数量相同。IMF的选择过程是启发式的,可能会因为模态混合而失去有用的项。这将降低MCCA算法的效果。并且在实际场景中,受试者难免会有运动,因此如何在光照变化的情况下又能消除运动噪声的干扰,从而得到准确心率也成为一个挑战。
发明内容
本发明是为解决上述技术所存在的不足,提出了一种基于多变量奇异谱分析的非接触式心率检测方法,以期能去除环境光变化的影响和运动噪声的干扰,从而能提高非接触式视频心率检测的准确性。
本发明为解决技术问题采用如下技术方案如下:
本发明一种基于多元奇异谱分解的非接触式视频心率检测方法的特点是按照如下步骤进行:
步骤1:获取受试者的T帧视频数据并有重叠的划分为L份数据,且每份数据包含N帧视频图像;
步骤2:采用人脸检测及面部追踪法确定第l份N帧视频图像的面部感兴趣区域,将每帧视频图像中的面部感兴趣区域划分成Q块子区域,1≤l≤L;
步骤3:逐帧计算每块子区域在第l份N帧视频图像的像素均值,并根据每块子区域的像素均值,计算每块子区域的光照强度、光照变化和信噪比作为判断的质量指标,从而根据每块子区域的质量指标,从Q块子区域中选取P个最佳子区域,再从P个最佳子区域中提取RGB通道均值信号并转化为HSV信号,提取所述HSV信号中的色度信号,记为Hl={hl,1,hl,2,...,hl,p,...,hl,P},hl,p为第l份N帧视频图像的第p个最佳子区域的色度信号,1<p<P;
步骤4:采用OpenFace法逐帧检测第l份N帧视频图像的人脸特征点,并将第l份N帧视频图像的鼻尖位置特征点的运动轨迹信号记为Vl={vl,1,vl,2,...,vl,j,...,vl,N};其中,vl,j为第l份第j帧视频图像中鼻尖位置特征点的位置坐标;
步骤5:利用第l份运动轨迹信号Vl对第l份第p个最佳子区域的色度信号hl,p进行自适应滤波LMS处理,以去除第l份色度信号hl,p中的运动伪影,得到滤波后的第l份第p个色度信号且 表示第l份第j帧视频图像中滤波后的第p个色度信号的像素值,从而得到第l份滤波后的P个色度信号并作为第l个输入信号数据集;
步骤6:采用奇异谱分解方法将所述第l个输入信号数据集Xl分解成若干个分量:
步骤6.1:设置窗口的长度为M,且M<N/2,定义参数K=N-M+1,按照所述窗口的长度M和参数K从所述滤波后的第l份第p个色度信号中生成维度为M×K的第l份第p个轨迹矩阵然后将第l份P个轨迹矩阵拼接后构成维度为PM×K的汉克尔轨迹矩阵
步骤6.2:计算第l份轨迹矩阵YlYl T的特征值,记为λl,1,...,λl,i,...,λl,PM,其中,λl,i表示第l份轨迹矩阵YlYl T的第i个特征值;计算第l份轨迹矩阵YlYl T的特征值λl,1,...,λl,i,...,λl,PM的标准正交向量,记为Ul,1,...,Ul,i,...,Ul,PM,其中,Ul,i表示特征值λl,i对应的标准正交向量;计算R=rank(Yl),R表示矩阵Yl的秩,计算主成分
步骤6.3:将第l份索引集{1,...,R}划分为R个不相交的子集Il,i={i},i=1,2,...,R,Il,i表示第l份第i个子集;根据所述子集,对所述汉克尔轨迹矩阵Yl进行分组,得到第l份R组矩阵{Yl,i|1≤i≤R},Yl,i由步骤6.2得到;
步骤7:将第l份重构信号分组,每组包含四个信号,将第一组信号作为候选脉冲集,计算第l份第一组第i个候选心率信号的主频率以及二次谐波频率的能量之比,从而选择能量之比最大的候选心率信号作为脉冲信号,利用快速傅里叶变换将所述脉冲信号转换成频域形式,从而得到所述脉冲信号的主频率fmain,计算出第l份N帧视频图像的受试者平均心率值,从而得到第l个心率值HRl=fmain×60;
步骤8:对按照步骤2-步骤7的过程,得到L份N帧视频图像的L个心率值集合{HRl|l=1,2,…,L};
步骤9:计算第l份的N帧视频图像的心率值HRl分别与同一受试者在第k份的N帧视频图像的心率值HRk之间的绝对误差是否小于所设定的阈值Th1,若小于,则令计数值S+1;否则计数值S保持不变,其中,计数值S的初始值为0;
步骤10:判断计数值S是否大于所设置的阈值Th2,若大于,则将第l个心率值HRl视为有效值并计入心率候选集HR,否则,判断下一个心率值;从而得到最终的心率候选集HR,并计算其平均值作为参考值HRref;
步骤11:根据参考值HRref与L个心率值集合{HRl}(l=1,2,...,L),计算第l个心率值HRl与参考HRref之间的绝对误差HRerror,l,如果绝对误差HRerror,l小于等于设定的阈值Th1,则第l个心率值HRl作为目标HRT,反之,则被作为异常值;
与已有技术相比,本发明有益效果体现在:
1、本发明选用色度信号:大多数研究选取绿色通道信号,它的优势在于所包含的心率信号强度相比于红色和蓝色通道更大。但是在光线变化的情况下,绿色通道的颜色空间不仅取决于物体的颜色,还取决于来自表面的反射光的强度。相反,色度信号不依赖于亮度,这意味着色度信号相比于绿色信号更能抵抗环境光的变化,从而降低了环境光变化对提取心率的影响。
2、本发明采用自适应滤波的方法去除运动噪声:采用OpenFace方法逐帧检测人脸特征点,将鼻尖位置的运动轨迹作为运动信号,利用自适应滤波能够有效去除色度信号中由于头部运动造成的运动伪影,提升了心率测量的准确性。
3、本发明将面部感兴趣区域划分为多个子区域并进行最优筛选:不同的面部感兴趣区域所包含的心脏搏动的信息是相同的,相比于单个感兴趣区域提取心率信号源,该方法更强调多个感兴趣区域所包含的共同的信号源成分,对多个区域的联合分析能够更准确的提取心率。
4、本发明采用多元奇异谱分解的方法提取心率:多元奇异谱分解避免了传统的经验模态分解方法的模态混叠问题,可以直接分解多个信号,同时考虑它们之间的内在相关性,能够有效地减少心率信号失真率。
附图说明
图1为本发明方法的流程图;
图2a为本发明面部感兴趣区域示意图;
图2b为本发明筛选面部最佳感兴趣区域示意图;
图3a为本发明多元奇异谱分析经过筛选得到的候选心率信号1;
图3b为本发明多元奇异谱分析经过筛选得到的候选心率信号2;
图3c为本发明多元奇异谱分析经过筛选得到的候选心率信号3;
图3d为本发明多元奇异谱分析经过筛选得到的候选心率信号4;
图4a为本发明多元奇异谱分析经过筛选得到的候选心率信号1频谱图;
图4b为本发明多元奇异谱分析经过筛选得到的候选心率信号2频谱图;
图4c为本发明多元奇异谱分析经过筛选得到的候选心率信号3频谱图;
图4d为本发明多元奇异谱分析经过筛选得到的候选心率信号4频谱图;
图5a为本发明心率计算流程图;
图5b为本发明筛选异常值流程图。
具体实施方式
本实施例中,一种基于多元奇异谱分解的非接触式视频心率检测方法,如图1所示,首先获取人脸面部视频图像序列,并确定面部感兴趣区域;然后将面部感兴趣区域化分为若干子区域,根据光照强度、光照变化和信噪比筛选最优子区域,提取最优子区域的RGB信号转化为HSV信号,将鼻尖部位的运动轨迹作为运动信号;将色度信号与运动信号做自适应滤波,滤波后的色度信号作为每块子区域的输入信号;之后采用多元奇异谱分解处理所有子区域的输入信号并得到所有子区域分解信号数据集;筛选每个子区域第一个分解信号,记为候选心率信号,然后计算所有候选心率信号主频率及二次谐波频率能量占比,筛选能量占比最大的候选心率信号作为脉冲信号,并根据该信号主频值计算出心率值,然后根据心率连续性将异常值挑选出来并用正确的心率值替换。具体的说,是按照如下步骤进行:
步骤1:获取受试者的60s共T帧视频数据,分为L份,L=7,且每份数据包含N帧视频图像。
步骤2:对于第l份N帧视频图像,采用Viola-Jones面部检测器得到一个矩形边框,缩放到60%用以去除非皮肤区域,如背景和头发。然后将整个ROI区域划分Q=4×4块子区域,如图2a所示,利用Kanade-Lucas-Tomasi算法沿着视频帧跟踪每块子区域的四个顶点。
步骤3:逐帧计算每块子区域在第l份N帧视频图像的像素均值,并根据每块子区域的像素均值,计算每块子区域的光照强度、光照变化和信噪比作为判断的质量指标,从Q块子区域中选取P=4个最佳子区域,如图2b所示。再从P个最佳子区域中提取RGB通道均值信号并转化为HSV信号,相比于RGB图像域到HSV图像域的转换相比,信号之间的转换速度更快,可以实时应用。提取所述HSV信号中的色度信号,记为Hl={hl,1,hl,2,...,hl,p,...,hl,P},hl,p为第l份N帧视频图像的第p个最佳子区域的色度信号,1<p<P。选择色度信号代替绿色信号是因为色度信号更能抵抗光线的变化。在光线变化的情况下,绿色通道的颜色空间不仅取决于物体的颜色,还取决于来自表面的反射光的强度。相反,色度信号不依赖于亮度。这意味着色度信号更能容忍环境光的变化。
步骤4:采用OpenFace法逐帧检测第l份N帧视频图像的人脸特征点,并将第l份N帧视频图像的鼻尖位置特征点的运动轨迹信号记为Vl={vl,1,vl,2,...,vl,j,...,vl,N};其中,vl,j为第l份第j帧视频图像中鼻尖位置特征点的位置坐标;
步骤5:利用第l份运动轨迹信号Vl对第l份第p个最佳子区域的色度信号hl,p进行自适应滤波LMS处理,以去除第l份色度信号hl,p中由于头部运动带来的运动伪影。自适应滤波在没有关于待提取信息的先验统计知识的条件下,直接利用观测数据根据某种判据在观测过程中不断的递归更新处理参数,自动跟踪统计性质的变化,以逐步逼近某一最优处理结果。这样的处理方法更符合非平稳情况的需要,也被证明是一种有效的噪声消除方法。自适应滤波后得到第l份第p个色度信号且 表示第l份第j帧视频图像中滤波后的第p个色度信号的像素值,从而得到第l份滤波后的P个色度信号并作为第l个输入信号数据集;
步骤6:采用奇异谱分解方法将所述第l个输入信号数据集Xl分解成若干个分量:
步骤6.1:设置窗口的长度为M,且M<N/2,定义参数K=N-M+1,按照所述窗口的长度M和参数K从所述滤波后的第l份第p个色度信号中生成维度为M×K的第l份第p个轨迹矩阵然后将第l份P个轨迹矩阵拼接后构成维度为PM×K的汉克尔轨迹矩阵
步骤6.2:计算第l份轨迹矩阵YlYl T的特征值,记为λl,1,...,λl,i,...,λl,PM,其中,λl,i表示第l份轨迹矩阵YlYl T的第i个特征值;计算第l份轨迹矩阵YlYl T的特征值λl,1,...,λl,i,...,λl,PM的标准正交向量,记为Ul,1,...,Ul,i,...,Ul,PM,其中,Ul,i表示特征值λl,i对应的标准正交向量。计算R=rank(Yl),R表示矩阵Yl的秩,计算主成分
步骤6.3:将第l份索引集{1,...,R}划分为R个不相交的子集Il,i={i},i=1,2,...,R,Il,i表示第l份第i个子集。根据所述子集,对所述汉克尔轨迹矩阵Yl进行分组,得到第l份R组矩阵{Yl,i|1≤i≤R},Yl,i由步骤6.2得到;
步骤6.4:为了将分组后的矩阵转换为时间序列,对第l份R组矩阵Yl,i进行对角线求平均处理,得到第l份重构信号其中,表示第l份分组矩阵Yl,i对角线平均处理后的一维信号;本实例中,采用上述的多元奇异谱分解方法将输入信号分解成若干分量。该方法能够充分利用不同区域输入信号的关联性并且克服了传统经验模态分解方法模式混叠的影响。
步骤7:将第l份重构信号分组,每组包含四个信号,将第一组信号作为候选脉冲集,如图3a、图3b、图3c、图3d所示,本实例中提取了四个分解信号构成了候选脉冲集。计算第l份第一组第i个候选心率信号的主频率以及二次谐波频率的能量之比,,从而选择能量之比最大的候选心率信号作为脉冲信号。如图4a、图4b、图4c、图4d所示,每张图分别对应单个候选心率信号频率谱图,黑色圆圈对应峰值频率点也即主频率点。利用快速傅里叶变换将所述脉冲信号转换成频域形式,从而得到所述脉冲信号的主频率fmain,计算出第l份N帧视频图像的受试者平均心率值,从而得到第l个心率值HRl=fmain×60。选择第一组分解信号当作候选脉冲及是因为在前面的操作步骤中已经去除色度通道中的大部分噪声。因此,心跳信号是色度通道中最显著且相关的振荡信号。
步骤8:如图5a所示,按照步骤2-步骤7的过程,得到L份N帧视频图像的L个心率值集合{HRl|l=1,2,…,L};
步骤9:计算第l份的N帧视频图像的心率值HRl分别与同一受试者在第k份的N帧视频图像的心率值HRk之间的绝对误差,是否小于所设定的阈值Th1,若小于,则令计数值S+1;否则计数值S保持不变,其中,计数值S的初始值为0;
步骤10:判断数值S是否大于所设置的阈值Th2,若大于,则当前的HRl将被视为有效值并计入心率候选集HR,否则,当前的HRl不计入心率候选集HR,最后,确定参考值HRref为心率候选集HR的平均值;
步骤11:获取参考值HRref与L个心率值集合{HRl}(l=1,2,...,L),计算当前HRl与参考HRref之间的绝对误差HRerror,l,如果绝对误差HRerror,l小于等于设定的阈值Th1,则当前的HRl被视为目标HRT,反之则被视为异常值,若为异常值,从剩余的分解信号计算最接近参考值HRref的心率值HRn,new作为目标HRT。如图5b所示,根据心率连续性得到去除异常值的目标HRT。
为了验证本发明提出的视频心率算法的鲁棒性,本发明采用公开数据集COHFACE和自采数据集BSIPL进行算法验证。本实例通过比较两个数据集采集视频的真实心率与待测算法测量心率的误差来分析实验结果,并采用均方根误差(root mean square error,RMSE),平均绝对误差(mean absolute error,MAE),标准差(StandardDeviation,sd)和相关系数这四种评价指标来评估算法鲁棒性。将本发明提出的方法与EEMD-MCCA方法进行了对比,结果如表1和表2所示。
表1 COHFACE两种方法得到的心率检测结果分析
| 评价指标 | EEMD-MCCA | MSSA-H |
| 均方根误差(bpm) | 4.81 | 2.19 |
| 平均绝对误差(bpm) | 2.08 | 1.25 |
| 标准差(bpm) | 4.33 | 1.81 |
| 相关系数 | 0.91 | 0.98 |
表2 BSIPL两种方法得到的心率检测结果分析
| 评价指标 | EEMD-MCCA | MSSA-H |
| 均方根误差(bpm) | 6.14 | 4.00 |
| 平均绝对误差(bpm) | 2.95 | 1.81 |
| 标准差(bpm) | 5.39 | 3.56 |
| 相关系数 | 0.86 | 0.94 |
从表1可以看出,在均方根误差,平均绝对误差以及标准差这三项指标上,MSSA-H方法相比较于EEMD-MCCA有明显的改进,分别是2.62bpm,0.83bpm和2.52bpm,并且相关系数也由0.91提升到0.98,从表2结果可以所提出的MSSA-H四项指标均优于EEMD-MCCA。从得到的结果可以看出,本方法计算得到的心率值和心率真值更接近,相对于EEMD-MCCA有更好的鲁棒性。
综上所述,本发明中提出的基于多元奇异谱分析的非接触式心率检测方法能够较为准确的准确地从视频中提取出人体心率并获取视频心率检测结果,具有良好的鲁棒性。
Claims (1)
1.一种基于多元奇异谱分解的非接触式视频心率检测方法,其特征是按照如下步骤进行:
步骤1:获取受试者的T帧视频数据并有重叠的划分为L份数据,且每份数据包含N帧视频图像;
步骤2:采用人脸检测及面部追踪法确定第l份N帧视频图像的面部感兴趣区域,将每帧视频图像中的面部感兴趣区域划分成Q块子区域,1≤l≤L;
步骤3:逐帧计算每块子区域在第l份N帧视频图像的像素均值,并根据每块子区域的像素均值,计算每块子区域的光照强度、光照变化和信噪比作为判断的质量指标,从而根据每块子区域的质量指标,从Q块子区域中选取P个最佳子区域,再从P个最佳子区域中提取RGB通道均值信号并转化为HSV信号,提取所述HSV信号中的色度信号,记为Hl={hl,1,hl,2,...,hl,p,...,hl,P},hl,p为第l份N帧视频图像的第p个最佳子区域的色度信号,1<p<P;
步骤4:采用OpenFace法逐帧检测第l份N帧视频图像的人脸特征点,并将第l份N帧视频图像的鼻尖位置特征点的运动轨迹信号记为Vl={vl,1,vl,2,...,vl,j,...,vl,N};其中,vl,j为第l份第j帧视频图像中鼻尖位置特征点的位置坐标;
步骤5:利用第l份运动轨迹信号Vl对第l份第p个最佳子区域的色度信号hl,p进行自适应滤波LMS处理,以去除第l份色度信号hl,p中的运动伪影,得到滤波后的第l份第p个色度信号且 表示第l份第j帧视频图像中滤波后的第p个色度信号的像素值,从而得到第l份滤波后的P个色度信号并作为第l个输入信号数据集;
步骤6:采用奇异谱分解方法将所述第l个输入信号数据集Xl分解成若干个分量:
步骤6.1:设置窗口的长度为M,且M<N/2,定义参数K=N-M+1,按照所述窗口的长度M和参数K从所述滤波后的第l份第p个色度信号中生成维度为M×K的第l份第p个轨迹矩阵然后将第l份P个轨迹矩阵拼接后构成维度为PM×K的汉克尔轨迹矩阵
步骤6.2:计算第l份轨迹矩阵YlYl T的特征值,记为λl,1,...,λl,i,...,λl,PM,其中,λl,i表示第l份轨迹矩阵YlYl T的第i个特征值;计算第l份轨迹矩阵YlYl T的特征值λl,1,...,λl,i,...,λl,PM的标准正交向量,记为Ul,1,...,Ul,i,...,Ul,PM,其中,Ul,i表示特征值λl,i对应的标准正交向量;计算R=rank(Yl),R表示矩阵Yl的秩,计算主成分
步骤6.3:将第l份索引集{1,...,R}划分为R个不相交的子集Il,i={i},i=1,2,...,R,Il,i表示第l份第i个子集;根据所述子集,对所述汉克尔轨迹矩阵Yl进行分组,得到第l份R组矩阵{Yl,i|1≤i≤R},Yl,i由步骤6.2得到;
步骤7:将第l份重构信号分组,每组包含四个信号,将第一组信号作为候选脉冲集,计算第l份第一组第i个候选心率信号的主频率以及二次谐波频率的能量之比,从而选择能量之比最大的候选心率信号作为脉冲信号,利用快速傅里叶变换将所述脉冲信号转换成频域形式,从而得到所述脉冲信号的主频率fmain,计算出第l份N帧视频图像的受试者平均心率值,从而得到第l个心率值HRl=fmain×60;
步骤8:对按照步骤2-步骤7的过程,得到L份N帧视频图像的L个心率值集合{HRl|l=1,2,…,L};
步骤9:计算第l份的N帧视频图像的心率值HRl分别与同一受试者在第k份的N帧视频图像的心率值HRk之间的绝对误差是否小于所设定的阈值Th1,若小于,则令计数值S+1;否则计数值S保持不变,其中,计数值S的初始值为0;
步骤10:判断计数值S是否大于所设置的阈值Th2,若大于,则将第l个心率值HRl视为有效值并计入心率候选集HR,否则,判断下一个心率值;从而得到最终的心率候选集HR,并计算其平均值作为参考值HRref;
步骤11:根据参考值HRref与L个心率值集合{HRl}(l=1,2,...,L),计算第l个心率值HRl与参考HRref之间的绝对误差HRerror,l,如果绝对误差HRerror,l小于等于设定的阈值Th1,则第l个心率值HRl作为目标HRT,反之,则被作为异常值;
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210655752.6A CN115153473B (zh) | 2022-06-10 | 2022-06-10 | 基于多变量奇异谱分析的非接触式心率检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210655752.6A CN115153473B (zh) | 2022-06-10 | 2022-06-10 | 基于多变量奇异谱分析的非接触式心率检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115153473A true CN115153473A (zh) | 2022-10-11 |
| CN115153473B CN115153473B (zh) | 2024-04-19 |
Family
ID=83485307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210655752.6A Active CN115153473B (zh) | 2022-06-10 | 2022-06-10 | 基于多变量奇异谱分析的非接触式心率检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115153473B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189264A (zh) * | 2023-02-22 | 2023-05-30 | 中促(杭州)信息科技有限公司 | 基于脸部特征点识别和信号经验模态分解的心率识别方法 |
| CN116433538A (zh) * | 2023-06-15 | 2023-07-14 | 加之创(厦门)科技有限公司 | 一种用于视频图像健康监测的图像处理方法、介质及设备 |
| CN116530967A (zh) * | 2023-05-08 | 2023-08-04 | 合肥工业大学 | 基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170367590A1 (en) * | 2016-06-24 | 2017-12-28 | Universita' degli Studi di Trento (University of Trento) | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| KR20180055020A (ko) * | 2016-11-15 | 2018-05-25 | 금오공과대학교 산학협력단 | 특이값 분해(svd) 기법을 이용한 비접촉 방식의 생체 신호 측정방법 |
| CN110269600A (zh) * | 2019-08-06 | 2019-09-24 | 合肥工业大学 | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 |
| WO2019202671A1 (en) * | 2018-04-17 | 2019-10-24 | Nec Corporation | Pulse rate estimation apparatus, pulse rate estimation method, and computer-readable storage medium |
| CN112001862A (zh) * | 2020-08-26 | 2020-11-27 | 合肥工业大学 | 消除视频心冲击信号运动噪声的非接触式视心率检测方法 |
| CN112043257A (zh) * | 2020-09-18 | 2020-12-08 | 合肥工业大学 | 一种运动鲁棒的非接触式视频心率检测方法 |
| KR102215557B1 (ko) * | 2019-12-18 | 2021-02-15 | (주)감성과학연구센터 | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 |
| CN113786191A (zh) * | 2021-09-22 | 2021-12-14 | 吉林大学 | 一种基于多通道奇异谱分析的心冲击信号去噪方法 |
| US20210386307A1 (en) * | 2017-09-15 | 2021-12-16 | University Of Maryland, College Park | System and method for heart rate measurement using facial video |
-
2022
- 2022-06-10 CN CN202210655752.6A patent/CN115153473B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170367590A1 (en) * | 2016-06-24 | 2017-12-28 | Universita' degli Studi di Trento (University of Trento) | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| KR20180055020A (ko) * | 2016-11-15 | 2018-05-25 | 금오공과대학교 산학협력단 | 특이값 분해(svd) 기법을 이용한 비접촉 방식의 생체 신호 측정방법 |
| US20210386307A1 (en) * | 2017-09-15 | 2021-12-16 | University Of Maryland, College Park | System and method for heart rate measurement using facial video |
| WO2019202671A1 (en) * | 2018-04-17 | 2019-10-24 | Nec Corporation | Pulse rate estimation apparatus, pulse rate estimation method, and computer-readable storage medium |
| CN110269600A (zh) * | 2019-08-06 | 2019-09-24 | 合肥工业大学 | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 |
| KR102215557B1 (ko) * | 2019-12-18 | 2021-02-15 | (주)감성과학연구센터 | 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 |
| CN112001862A (zh) * | 2020-08-26 | 2020-11-27 | 合肥工业大学 | 消除视频心冲击信号运动噪声的非接触式视心率检测方法 |
| CN112043257A (zh) * | 2020-09-18 | 2020-12-08 | 合肥工业大学 | 一种运动鲁棒的非接触式视频心率检测方法 |
| CN113786191A (zh) * | 2021-09-22 | 2021-12-14 | 吉林大学 | 一种基于多通道奇异谱分析的心冲击信号去噪方法 |
Non-Patent Citations (4)
| Title |
|---|
| XUN CHEN等: "Video-Based Heart Rate Measurement: Recent Advances and Future Prospects", IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT, 1 October 2019 (2019-10-01), pages 3600 - 3615, XP011745595, DOI: 10.1109/TIM.2018.2879706 * |
| 张家成;邱天爽;马济通;: "基于改进色度模型的非接触式心率检测与估计", 中国生物医学工程学报, no. 06, 20 December 2017 (2017-12-20), pages 4 - 9 * |
| 成娟 等: "基于多区域分析的非接触式热红外视频心率检测方法", 生物医学工程研究, 25 March 2021 (2021-03-25), pages 21 - 27 * |
| 欧卫华;刘萍;周永辉;曹永锋;熊祥光;: "视频心率检测中兴趣区域选择研究", 贵州师范大学学报(自然科学版), no. 03, 12 May 2018 (2018-05-12), pages 82 - 87 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116189264A (zh) * | 2023-02-22 | 2023-05-30 | 中促(杭州)信息科技有限公司 | 基于脸部特征点识别和信号经验模态分解的心率识别方法 |
| CN116189264B (zh) * | 2023-02-22 | 2024-12-03 | 杭州微帮忙智慧科技有限公司 | 基于脸部特征点识别和信号经验模态分解的心率识别方法 |
| CN116530967A (zh) * | 2023-05-08 | 2023-08-04 | 合肥工业大学 | 基于视频和调频连续波雷达信息融合的非接触式人体呼吸率测量方法 |
| CN116433538A (zh) * | 2023-06-15 | 2023-07-14 | 加之创(厦门)科技有限公司 | 一种用于视频图像健康监测的图像处理方法、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115153473B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
| CN114387479B (zh) | 一种基于人脸视频的非接触式心率测量方法及系统 | |
| Song et al. | Remote photoplethysmography with an EEMD-MCCA method robust against spatially uneven illuminations | |
| CN111938622B (zh) | 心率检测方法、装置及系统、可读存储介质 | |
| CN105147274B (zh) | 一种从可见光谱段人脸视频信号中提取心率的方法 | |
| CN115153473A (zh) | 基于多变量奇异谱分析的非接触式心率检测方法 | |
| CN113591769B (zh) | 基于光电容积脉搏描记法的非接触式心率检测方法 | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| CN112233813A (zh) | 一种基于ppg的非接触式无创心率呼吸测量方法及系统 | |
| CN105989357A (zh) | 一种基于人脸视频处理的心率检测方法 | |
| CN112001862B (zh) | 消除视频心冲击信号运动噪声的非接触式视心率检测方法 | |
| CN111281367A (zh) | 一种基于人脸视频的抗干扰非接触式心率检测方法 | |
| CN114246570B (zh) | 峰值信噪比和皮尔森相关系数融合的近红外心率检测方法 | |
| Wedekind et al. | Automated identification of cardiac signals after blind source separation for camera-based photoplethysmography | |
| Gupta et al. | Accurate heart-rate estimation from face videos using quality-based fusion | |
| CN112043257B (zh) | 一种运动鲁棒的非接触式视频心率检测方法 | |
| Gupta et al. | A motion and illumination resistant non-contact method using undercomplete independent component analysis and Levenberg-Marquardt algorithm | |
| Suriani et al. | Non-contact facial based vital sign estimation using convolutional neural network approach | |
| Hu et al. | Illumination robust heart-rate extraction from single-wavelength infrared camera using spatial-channel expansion | |
| CN115245318A (zh) | 一种基于深度学习的有效ippg信号的自动识别方法 | |
| CN116502062B (zh) | 非接触式脉搏波信号的自适应重构方法 | |
| CN115063848A (zh) | 基于光电容积描记法的非接触式人脸心率检测方法、系统及介质 | |
| Ben Salah et al. | Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis | |
| CN104688199A (zh) | 一种基于皮肤色素浓度差分的非接触式脉搏测量方法 | |
| Wang et al. | KLT algorithm for non-contact heart rate detection based on image photoplethysmography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |












































