CN113160271A - 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 - Google Patents

一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 Download PDF

Info

Publication number
CN113160271A
CN113160271A CN202110276732.3A CN202110276732A CN113160271A CN 113160271 A CN113160271 A CN 113160271A CN 202110276732 A CN202110276732 A CN 202110276732A CN 113160271 A CN113160271 A CN 113160271A
Authority
CN
China
Prior art keywords
tracker
template
target
scale
lrst
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110276732.3A
Other languages
English (en)
Other versions
CN113160271B (zh
Inventor
吴娇绿
黄德天
杨梦维
王振严
朱显丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202110276732.3A priority Critical patent/CN113160271B/zh
Publication of CN113160271A publication Critical patent/CN113160271A/zh
Application granted granted Critical
Publication of CN113160271B publication Critical patent/CN113160271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法,将Lp范数引入LRST跟踪器,构建跟踪器最小化模型Lp‑LRST;利用DSST跟踪器估计出目标的位置和尺度,同时计算PSR值来衡量跟踪结果的可信度;若PSR大于或等于设定阈值,则根据DSST跟踪器当前帧确定的目标位置和尺度来执行Lp‑LRST跟踪器,否则由Lp‑LRST跟踪器根据上一帧的目标状态来重新确定目标位置;若PSR大于或等于设定阈值,则更新DSST跟踪器的模板,反之,停止更新;当粒子的模板相似度低于设定阈值时,更新Lp‑LRST跟踪器的模板,反之,停止更新;将获得的目标位置和尺度传递给下一帧的DSST跟踪器;重复直到跟踪结束。本发明提供的方法能够实现提升红外目标跟踪的准确性和鲁棒性。

Description

一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法
技术领域
本发明涉及计算机视觉领域,特别是指一种融合相关滤波和粒子滤波的高 精度红外目标跟踪方法。
背景技术
红外目标跟踪一直是计算机视觉领域的一个热门研究方向,其在红外目标 成像精确指导、红外告警、自动驾驶、人机交互、场景监控等领域都有重要应 用。类似于可见目标跟踪算法的原理,红外目标跟踪算法需要确定目标在后续 帧中的状态。目前,许多红外目标跟踪算法都源自于可见目标跟踪算法。然而, 与可见目标图像相比,红外目标图像具有分辨率低、SNR(Signal-to-Noe Ratio) 低、缺乏有效的颜色、形状与纹理信息等缺陷,这使得红外目标跟踪更具有挑 战性。对于红外目标,仅采用单一的跟踪器通常无法获得鲁棒的跟踪效果。
基于相关滤波器的跟踪算法通过计算滤波器的最大响应来确定目标的位置。 由于该算法引入了傅里叶变换,其运算复杂度低,因此大大提高了计算效率。 同时,该算法非常适合红外目标跟踪,因为该算法的跟踪性能不取决于目标的 纹理和边缘特征。近年来,基于相关滤波器的跟踪算法作为一种出色的判别算 法,在视觉跟踪领域取得了显著成果。
基于粒子滤波的跟踪算法具有结构并行,实用性强等优点,已引起越来越 多的关注。另一方面,稀疏表示对目标外观变化和遮挡具有较好的鲁棒性,已 经成功应用于目标跟踪领域,同样也可适用于本专利的红外目标跟踪算法中。
目前,基于粒子滤波和稀疏表示的跟踪算法的性能主要受粒子数量,仿射 变换参数,跟踪模型和模板更新机制的影响。具体细节如下:(1)对于粒子数量, 粒子数量越多,算法的跟踪结果越准确,但是算法花费的时间越多;(2)对于仿 射变换参数,它们与粒子的分布范围和跟踪框的状态有关,合适的仿射变换参 数可以提高跟踪精度;(3)对于跟踪模型,其关系着稀疏系数的计算精度,在一 定程度上决定了跟踪算法的准确性和鲁棒性;(4)对于模板更新机制,如何以及 何时更新模板对跟踪器都是非常关键的,它决定了跟踪结果的稳定性。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种本发明要解 决的技术问题,在于提供一种融合相关滤波和粒子滤波的高精度红外目标跟踪 方法,以实现提升红外目标跟踪的准确性和鲁棒性。
本发明是这样实现的:一种融合相关滤波和粒子滤波的高精度红外目标跟 踪方法,包括如下步骤:
步骤S10、将Lp范数引入LRST跟踪器,构建跟踪器最小化模型Lp-LRST;
步骤S20、利用DSST跟踪器估计出目标的位置和尺度,同时计算PSR值来 衡量跟踪结果的可信度;
步骤S30、若PSR大于或等于设定阈值,则根据DSST跟踪器当前帧确定的 目标位置和尺度来执行Lp-LRST跟踪器,否则由Lp-LRST跟踪器根据上一帧的 目标状态来重新确定目标位置;
步骤S40、若PSR大于或等于设定阈值,则更新DSST跟踪器的模板,反之, 停止更新;
步骤S50、当粒子的模板相似度低于设定阈值时,更新Lp-LRST跟踪器的模 板,反之,停止更新;
步骤S60、将获得的目标位置和尺度传递给下一帧的DSST跟踪器;
步骤S70、重复步骤S20到S60直到跟踪结束。
具体地:所述步骤S10具体包括:
将Lp范数引入LRST跟踪器中,构建跟踪器最小化模型Lp-LRST,具体为:
Figure BDA0002976945990000021
such that Y=AZ+E
其中,
Figure BDA0002976945990000031
Y表示粒子;A表示正模板;E是由于噪声和遮 挡引起的稀疏误差项;λ1,λ2,λ3是不同项之间的权重系数;[Z]ij表示Z的第i 行第j列;
引入两个等式约束和松弛变量:
Figure BDA0002976945990000032
Figure BDA0002976945990000033
引入增广拉格朗日乘子法将等式约束合并到目标函数中,得到无约束的拉 格朗日函数:
Figure BDA0002976945990000034
其中,tr(X)为矩阵X的迹,M1,M2,M3为拉格朗日乘子,μ1=μ2=μ3>0为惩罚参 数;对上式进行最小化得到:
Figure BDA0002976945990000035
采用非确定增广拉格朗日乘子法迭代求解,每次迭代更新一个变量而其他 变量保持固定不变,交替迭代求解各个变量,直到目标函数或者解Z满足收敛条 件时结束。
具体地:所述步骤S20具体为:
步骤S21、使用DSST跟踪器估计目标的位置和尺度,某一帧图像块z具有d 维特征,相关滤波器h通过最小化如下代价函数得到:
Figure BDA0002976945990000036
其中,圆形o表示圆形相关性;f表示从特征图z中提取的目标矩形区域;fl 表示为f的第l维特征,其中l∈{1,...,d};g是与训练示例f关联的期望相关输出; 参数λ≥0用于控制正则项的影响;上式可在频率域求解得到:
Figure BDA0002976945990000041
其中,Hl,G,F分别为hl,g,f的离散傅里叶变换,
Figure BDA0002976945990000042
分别表示为对 应的共轭复数;
Figure BDA0002976945990000043
代表分子
Figure BDA0002976945990000044
代表分母
Figure BDA0002976945990000045
下标t代表帧数;Hl的更 新分别对应:
Figure BDA0002976945990000046
Figure BDA0002976945990000047
其中η表示学习率;对于下一帧图像块z,目标的位置通过最大响应值确定, 对应的滤波器响应值R(x)为:
Figure BDA0002976945990000048
其中,f-1为离散傅里叶逆变换,B为
Figure BDA0002976945990000049
DSST跟踪器的尺度估计方法通过位置滤波器来获得最大响应的位置,再根 据前一帧的目标尺寸获取一系列的多尺度图像块
Figure BDA00029769459900000410
l*h表示前一帧目标的尺度, S表示尺度滤波器的大小,图像块
Figure BDA00029769459900000411
的大小为αjl×αjh,其中α=1.02为尺度因子,
Figure BDA00029769459900000412
S=33为尺度总级;
步骤S22、采用下式计算PSR的值:
Figure BDA00029769459900000413
其中,R(x)为得到的响应,max(R(x))得到最大的响应值,max(R(x))c×γ为峰值周围的c×γ区域,μφ(max(R(x))c×γ)和σφ(max(R(x))c×γ)分别是峰值周围c×γ区域内的均值和 标准差;PSR的值越大说明DSST的跟踪结果越可靠。
具体地:所述步骤S30具体为:
如果PSR的值大于设定阈值u,则将DSST估计的目标状态(尺度scaleDSST和位 置posDSST)传递给Lp-LRST跟踪器,Lp-LRST跟踪器根据仿射变化参数aff1来投放n1个粒子,同时求解得到更为精确的目标位置
Figure BDA0002976945990000051
和尺度
Figure BDA0002976945990000052
通过如下公 式得到最终的目标位置postarget和尺度scaletarget
Figure BDA0002976945990000053
Figure BDA0002976945990000054
如果可信度小于设定阈值,此时,Lp-LRST跟踪器根据上一帧的目标状态和 变化仿射参数aff2(aff2≥aff1)来投放n2(n2>n1)个粒子,同时求解得到更为精确的目 标位置
Figure BDA0002976945990000055
和尺度
Figure BDA0002976945990000056
通过如下公式获得最终的目标位置postarget和尺度 scaletarget
Figure BDA0002976945990000057
Figure BDA0002976945990000058
具体地:所述步骤S40具体为:
如果PSR小于设定阈值,不更新DSST跟踪器的模板。
如果PSR大于或等于设定阈值,则更新DSST跟踪器的模板,且更新过程由 如下两式来确定:
Figure BDA0002976945990000059
Figure BDA00029769459900000510
具体地:所述步骤S50具体为:
当粒子的模板相似度高于设定阈值时,停止更新Lp-LRST跟踪器的模板;
当粒子的模板相似度低于设定阈值时,更新Lp-LRST跟踪器的模板;
判断粒子的模板相似度低原因;
若是由于模板长期没有更新,则更新Lp-LRST跟踪器的模板并同时更新模 板的权重,用当前模板相似度最高的粒子替换权重最低的模板,并将新的模板 权重设置为一个新的常数
Figure BDA0002976945990000061
若是由于目标发生遮挡,则判断上一次的模板更新是否由于模板长期没有 更新而引起,若是,则用当前模板相似度最高的粒子替换权重最低的模板,同 时将新的模板的权重设置成
Figure BDA0002976945990000062
否则用当前模板相似度最高的粒子替换上次更 新的模板,同时将新的模板的权重设置成
Figure BDA0002976945990000063
进一步地,所述步骤S60具体为:
将在当前帧确定的最终目标位置和尺度大小传递给下一帧的DSST跟踪器。
进一步地,所述步骤S70具体为:
重复步骤S20到S60直到跟踪结束。
本发明的有益效果:
将Lp范数引入LRST模型中,提出了一种基于Lp范数的低秩稀疏跟踪器, 即Lp-LRST跟踪器;接着,通过基于相关滤波的跟踪器得到目标的粗略位置, 而精确的目标位置由基于粒子滤波的跟踪器确定;最后针对这两种跟踪器采用 了不同的模板更新策略,不仅获得了比主流红外目标跟踪器更优的准确性和鲁 棒性,而且有效地解决红外目标快速移动、部分遮挡、大小变化的问题。
附图说明
图1是本发明一种高精度的红外目标跟踪方法的流程图;
图2是本发明方法跟踪过程的示意图;
图3是本发明使用20个红外序列来比较不同跟踪器获得的精确度和成功率;
图4是本发明中每个跟踪器在不同挑战序列的单次评估精确度的AUC结果;
图5是本发明中每个跟踪器在不同挑战序列的单次评估成功率的AUC结果;
图6是在遮挡挑战下不同跟踪器对应的跟踪结果;
图7是在摄像机运动挑战下不同跟踪器对应的跟踪结果;
图8是在遇到尺度挑战下不同跟踪器对应的跟踪结果。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
本申请实施例中的技术方案,总体思路如下:
首先,为了进一步提升基于低秩的稀疏表示跟踪模型(LRST)的性能,引 入Lp范数,提出了一种新的跟踪器最小化模型(Lp-LRST);使用DSST跟踪器 来粗略估计目标的位置和尺度,并计算对应的PSR值,用以衡量DSST在当前帧 估计的跟踪结果的可信度;接着,判断PSR的值与设定阈值的大小关系,若PSR 大于或等于设定阈值,则根据DSST当前帧确定的目标位置和尺度来执行Lp-LRST 跟踪器,否则由Lp-LRST跟踪器根据上一帧的目标状态重新确定目标位置;接 着,对于DSST跟踪器,若PSR大于或等于设定阈值,则更新其模板,反之,停 止更新;接着,对于Lp-LRST,当粒子的模板相似度低于设定阈值时,更新其模 板,反之,停止更新;最后将在当前帧确定的最终目标位置和尺度传递给下一 帧的DSST跟踪器,并重复上述步骤直到跟踪结束。
请参照图1至图6所示,本发明一种融合相关滤波和粒子滤波的高精度红 外目标跟踪方法的较佳实施例,如图1,为本发明一种高精度的红外目标跟踪方 法的流程图,具体包括如下步骤:
步骤S10、将Lp范数引入LRST模型(基于低秩的稀疏表示跟踪器),构建 一种新的跟踪器最小化模型,即Lp-LRST(基于Lp范数的低秩稀疏跟踪器);
所述步骤S10具体包括:
将Lp范数引入LRST跟踪器中,提出了一种新的跟踪器最小化模型,即 Lp-LRST模型:
Figure BDA0002976945990000071
such that Y=AZ+E
其中,
Figure BDA0002976945990000072
Y表示粒子;A表示正模板;E是由于噪声和遮 挡引起的稀疏误差项;λ1,λ2,λ3是不同项之间的权重系数;[Z]ij表示Z的第i 行第j列。
为了解决这个复杂的目标函数,分别引入两个约束等式和松弛变量:
Figure BDA0002976945990000081
Figure BDA0002976945990000082
然后,引入增广拉格朗日乘子法将约束等式合并到目标函数中,得到无约 束的拉格朗日函数:
Figure BDA0002976945990000083
其中,tr(X)为矩阵X的迹,M1,M2,M3为拉格朗日乘子,μ1=μ2=μ3>0为惩罚参 数。对上式进行最小化得到:
Figure BDA0002976945990000084
上式可采用非确定增广拉格朗日乘子法迭代求解,每次迭代更新一个变量 而其他变量保持固定不变,然后交替迭代求解各个变量,直到目标函数或者解Z 满足收敛条件时结束。
步骤S20、利用DSST(Discriminative Scale Space Tracker)模型来粗 略估计目标的位置和尺度,同时计算PSR(The Peak-to-Sidelobe Ratio,峰值 旁瓣比)的值来衡量DSST在当前帧估计的跟踪结果的可信度;
所述步骤S20具体为:
步骤S21、使用DSST跟踪器来粗略估计目标的位置和尺度,首先假设某一 帧图像块z具有d维特征(HOG特征),相关滤波器h可以通过最小化如下代价 函数得到:
Figure BDA0002976945990000085
其中,圆形o表示圆形相关性;f表示从特征图z中提取的目标矩形区域。fl 表示为f的第l维特征,其中l∈{1,...,d}。g是与f关联的期望相关输出。参数λ≥0, 用于控制正则项的影响。上式可在频率域求解:
Figure BDA0002976945990000091
其中,Hl,G,F分别为hl,g,f的离散傅里叶变换,
Figure BDA0002976945990000092
分别表示为对 应的共轭复数。
Figure BDA0002976945990000093
代表分子
Figure BDA0002976945990000094
代表分母
Figure BDA0002976945990000095
下标t代表帧数。为了 提高计算效率,Hl的更新分别对应:
Figure BDA0002976945990000096
Figure BDA0002976945990000097
其中η表示学习率。对于下一帧图像块z,目标的位置通过最大响应值确定, 对应的滤波器响应值R(x)为:
Figure BDA0002976945990000098
其中,f-1为离散傅里叶逆变换,B为
Figure BDA0002976945990000099
以上为DSST跟踪器的位置估计方法。DSST跟踪器的尺度估计方法与其位置 估计方法类似,通过位置滤波器来获得最大响应的位置,再根据前一帧的目标 尺寸获取一系列的多尺度图像块
Figure BDA00029769459900000910
假设l*h表示前一帧目标的尺度,S表示尺度 滤波器的大小,则图像块
Figure BDA00029769459900000911
的大小为αjl×αjh,其中α=1.02为尺度因子,
Figure BDA00029769459900000912
S=33为尺度总级。
步骤S22、为了衡量DSST跟踪器跟踪结果的可信度,使用下式
Figure BDA00029769459900000913
来计算PSR的值,其中,R(x)为得到的响应,max(R(x))得到最大的响应值, max(R(x))c×γ为峰值周围的c×γ区域,从而避免背景区域对PSR的影响; μφ(max(R(x))c×γ)和σφ(max(R(x))c×γ)分别是峰值周围c×γ区域内的均值和标准差。PSR 值越大,说明DSST在当前帧的跟踪结果越可靠。
步骤S30、若PSR大于或等于设定阈值,则根据DSST在当前帧确定的目标 位置和尺度来执行Lp-LRST跟踪器,否则由Lp-LRST跟踪器根据上一帧的目标 状态来重新确定目标位置;
所述步骤S30具体为:
如果PSR值大于设定阈值u,说明DSST在当前帧得到的跟踪结果可靠性高, 则将DSST估计的目标状态(尺度scaleDSST和位置posDSST)传递给Lp-LRST跟踪器, Lp-LRST跟踪器根据仿射变化参数aff1来投放n1个粒子,同时求解得到更为精确的 目标位置
Figure BDA0002976945990000101
和尺度
Figure BDA0002976945990000102
然后,通过如下公式得到最终的目标位置和尺 度:
Figure BDA0002976945990000103
Figure BDA0002976945990000104
如果PSR值小于设定阈值,说明DSST在当前帧得到的跟踪结果可靠性低。 此时,Lp-LRST跟踪器根据上一帧的目标状态和变化仿射参数aff2(aff2≥aff1)来投 放n2(n2>n1)个粒子,同时求解得到更为精确的目标位置
Figure BDA0002976945990000105
和尺度
Figure BDA0002976945990000106
然后,通过如下公式获得最终的目标位置和尺度:
Figure BDA0002976945990000107
Figure BDA0002976945990000108
步骤S40、若PSR大于或等于设定阈值,则更新DSST跟踪器的模板,反之, 停止更新;
所述步骤S40具体为:
如果PSR小于设定阈值,说明DSST在当前帧估计的跟踪结果是不可靠的, 则不更新DSST跟踪器的模板。
如果PSR大于或等于设定阈值,说明DSST跟踪器在当前帧估计的跟踪结果 是可靠的,则更新DSST跟踪器的模板,且更新过程由如下两式确定:
Figure BDA0002976945990000109
Figure BDA0002976945990000111
步骤S50、当粒子的模板相似度低于设定阈值时,更新Lp-LRST跟踪器的模 板,反之,停止更新;
所述步骤S50具体为:
当粒子具有很高的模板相似度时,停止更新Lp-LRST跟踪器的模板。
当粒子的模板相似度较低时,需要更新Lp-LRST跟踪器的模板。此时,应 先判断粒子的模板相似度低是由于模板长期没有更新而引起,还是由于目标发 生遮挡而引起。若是由于模板长期没有更新而引起,则更新Lp-LRST跟踪器的 模板并同时更新模板的权重,使用当前模板相似度最高的粒子替换权重最低的 模板,并将新的模板权重设置为一个新的常数
Figure BDA0002976945990000112
若是由于目标发生遮挡而引 起,则判断上一次的模板更新是否由于模板长期没有更新而引起,若是,则使 用当前模板相似度最高的粒子替换权重最低的模板,同时将新的模板的权重设 置成
Figure BDA0002976945990000113
否则用当前模板相似度最高的粒子替换上次更新的模板,同时将新的 模板的权重设置成
Figure BDA0002976945990000114
由于未被遮挡的模板更加可靠,因此将未遮挡的模板权重
Figure BDA0002976945990000115
设为较大,而 将被遮挡的模板权重
Figure BDA0002976945990000116
Figure BDA0002976945990000117
设置较小。如此这样,当目标未被遮挡时,包含 遮挡信息的模板容易被替换。
步骤S60、将确定的最终目标位置和尺度传递给下一帧的DSST跟踪器;
所述步骤S60具体为:
将在当前帧确定的最终目标位置和尺度大小传递给下一帧的DSST跟踪器。
步骤S70、重复步骤S20到S60直到跟踪结束。
所述步骤S70具体为:
重复步骤S20到S60直到跟踪结束。
如图2为本发明方法跟踪过程的示意图。
仿真实验:
通过与9种主流跟踪器的比较来验证提出的跟踪器的有效性:SCM,L1-AGP, STC,MTT,CT,DFT,DSST,KCF,DCFNet作为比较,并选择了20种不同的具有 挑战性的基准红外视频序列进行测试。
实验中所涉及的参数设置如下,PSR的阈值u=1.72,步骤S30中位置权重 wpos=0.2,尺度权重wscale=0.2,Lp-LRST模板大小为12×15,仿射变换参数为 aff1={0.03,0.0005,0.0005,0.03,0.8,0.8},仿射变换参数aff2={0.05,0.001,0.001,0.05,3,3},粒子 数n1=250,n2=450。提出的跟踪器最小化模型中,p=0.5,λ1=5,λ2=0.1,λ3=0.5。在Lp-LRST模板更新的过程中,目标模板的数量T=10,模板权重
Figure BDA0002976945990000121
Figure BDA0002976945990000122
τ=40,binThres=0.03,thresholdArea=0.25×12×15。
为了衡量不同跟踪器的性能,采用精确度(Precision)和成功率(OverlapSuccess,OS)作为客观评价指标。DP定义为中心位置误差(CLE)在20像素阈值 内的帧的百分比。OS定义为边界框重叠超过阈值0.5的帧的百分比。CLE定义 为
Figure BDA0002976945990000123
其中(xp,yp)为跟踪器估计的中心位置,(xg,yg)为目标真 实的中心位置,CLE的值越小说明误差越小,对应跟踪器的性能越好。重叠率(SR, Success Rate),定义为
Figure BDA0002976945990000124
其中,Sgt、Str分别为标准目标框和跟踪 得到的目标框。除此之外,按照单次评估(One-Pass Evaluation,OPE)可以绘 制出精确度曲线(Precision plots ofOPE)和成功率曲线(Success plots of OPE),并将其曲线下面积(Area Under Curve,AUC)值展示在图中。
图3展示了20个红外视频序列对应的精确度图(Precision plots of OPE), 图(a)和成功率图(Success plots of OPE)图(b)。从图3中可以看出,Our 即本发明方法明显优于其他跟踪器。表1说明了提出的跟踪器在与其他跟踪器 对比中的表现出色。就DP和OS而言,提出的跟踪器分别比DSST(分别提高22.9%, 17.4%),KCF(分别提高27.6%,25.8%)和DCFNet(分别提高21.6%,16.2%) 更好。
表1.在20个红外视频序列上对10个跟踪器进行定量比较
Figure BDA0002976945990000125
Figure BDA0002976945990000131
注:红色和蓝色数值分别代表最优和次优的评价指标。
为了充分评价提出的跟踪器的有效性,我们在VOT-TIR2015视频数据集上 选择5个属性来进一步评价不同跟踪器的性能。图4和图5给出了每个跟踪器 的所有AUC结果。
图4示出了每个跟踪器在不同挑战序列的单次评估精确度的AUC结果,可 以看出,本发明算法在处理大部分挑战性因素方面表现良好,其中包括摄像机 运动(图a,精确度为88.1%)、运动变化(图c,精确度为76.5%)、部分遮 挡(图d,精确度为84.1%)、大小变化(图e,精确度为74.1%)。而对于动 态变化(图b,精确度为71.9%)的表现还不够理想。以上图的横坐标均表示定 位误差阈值,纵坐标均表示精确度。
图5示出了每个跟踪器在不同挑战序列的单次评估成功率的AUC结果,可 以看出,本发明算法在处理大部分挑战性因素方面表现良好,其中包括摄像机 运动(图a,成功率为66.3%)、运动变化(图c,成功率为59.8%)、部分遮 挡(图d,成功率为65.0%)、大小变化(图e,成功率为58.2%)。而对于动 态变化(图b,成功率为57.8%)的表现还不够理想。以上图的横坐标均表示重 叠阈值,纵坐标均表示成功率。
鉴于这些红外视频序列的不同特性,我们讨论了上述10个跟踪器对3个红 外视频序列进行的3组实验,跟踪结果如图6、图7、图8所示。
实验1:部分遮挡的鲁棒分析。
图6显示了在遮挡挑战下,不同跟踪器在Street视频序列下的跟踪结果。 在该序列中,可以看到有很多人走在街上,一个人被#10(图6(a))、#51(图 6(b))和#156(图6(c))周围的另一个人挡住,其中带有符号#的数字代表这些 视频的帧数。可以看出,Ours即本发明方法可以很好地跟踪目标。提出的模板 更新策略可以避免将背景信息更新到模板中,并且当发生部分遮挡时,可以继 续跟踪目标。
实验2:相机移动的鲁棒分析。
图7显示了在摄像机运动挑战下,不同跟踪器在Quadrocopter视频序列下 的跟踪结果。与前一帧的位置相比,相机的运动往往会导致目标移动更大。在 该序列中,目标在#89(图7(a))、#118(图7(b))和#162(图7(c))附近快速飞 行。除提出的跟踪器以外,大部分跟踪器由于快速运动,运动模糊和快速运动 而逐渐漂移。提出的跟踪器先通过DSST在大范围内搜索目标,再通过Lp-LRST 在较小的区域内进一步搜索目标,因此可以实现稳定的目标跟踪,从而提高了 整体的跟踪精度。
实验3:尺度变化的鲁棒分析。
图8显示了在遇到尺度变化挑战的情况下,不同跟踪器在Jacket视频序列 的跟踪结果。在该序列中,由于目标远离相机而变得越来越小,例如#124(图 8(a))、#278(图8(b))和#379(图8(c))。由于提出的跟踪器结合了DSST的尺 度滤波器和Lp-LRST的仿射参数,因此对尺度变化具有较高的鲁棒性。
综上所述,本发明的优点在于:
针对红外图像的特点,我们提出了一种高精度的基于相关滤波和粒子滤波 进行红外目标跟踪器。首先,将DSST跟踪器和Lp-LRST跟踪器结合起来,以获 得更准确的目标位置和尺度。其次,基于Lp范数的优势,提出了一种基于Lp 范数的跟踪器最小化模型。最后,提出的模板更新机制有效地解决了目标遮挡 问题,并减少了跟踪过程中的漂移问题。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡 利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行 为。

Claims (6)

1.一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法,其特征在于:包括如下步骤:
步骤S10、将Lp范数引入LRST跟踪器,构建跟踪器最小化模型Lp-LRST;
步骤S20、利用DSST跟踪器估计出目标的位置和尺度,同时计算PSR值来衡量跟踪结果的可信度;
步骤S30、若PSR大于或等于设定阈值,则根据DSST跟踪器当前帧确定的目标位置和尺度来执行Lp-LRST跟踪器,否则由Lp-LRST跟踪器根据上一帧的目标状态来重新确定目标位置;
步骤S40、若PSR大于或等于设定阈值,则更新DSST跟踪器的模板,反之,停止更新;
步骤S50、当粒子的模板相似度低于设定阈值时,更新Lp-LRST跟踪器的模板,反之,停止更新;
步骤S60、将获得的目标位置和尺度传递给下一帧的DSST跟踪器;
步骤S70、重复步骤S20到S60直到跟踪结束。
2.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法,其特征在于:所述步骤S10具体包括:
将Lp范数引入LRST跟踪器中,构建跟踪器最小化模型Lp-LRST,具体为:
Figure FDA0002976945980000011
such that Y=AZ+E
其中,
Figure FDA0002976945980000012
Y表示粒子;A表示正模板;E是由于噪声和遮挡引起的稀疏误差项;λ1,λ2,λ3是不同项之间的权重系数;[Z]ij表示Z的第i行第j列;
引入两个等式约束和松弛变量:
Figure FDA0002976945980000013
Figure FDA0002976945980000014
引入增广拉格朗日乘子法将等式约束合并到目标函数中,得到无约束的拉格朗日函数:
Figure FDA0002976945980000021
其中,tr(X)为矩阵X的迹,M1,M2,M3为拉格朗日乘子,μ1=μ2=μ3>0为惩罚参数;对上式进行最小化得到:
Figure FDA0002976945980000022
采用非确定增广拉格朗日乘子法迭代求解,每次迭代更新一个变量而其他变量保持固定不变,交替迭代求解各个变量,直到目标函数或者解Z满足收敛条件时结束。
3.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法,其特征在于:所述步骤S20具体为:
步骤S21、使用DSST跟踪器估计目标的位置和尺度,某一帧图像块z具有d维特征,相关滤波器h通过最小化如下代价函数得到:
Figure FDA0002976945980000023
其中,圆形
Figure FDA0002976945980000029
表示圆形相关性;f表示从特征图z中提取的目标矩形区域;fl表示为f的第l维特征,其中l∈{1,...,d};g是与训练示例f关联的期望相关输出;参数λ≥0用于控制正则项的影响;上式可在频率域求解得到:
Figure FDA0002976945980000024
其中,Hl,G,F分别为hl,g,f的离散傅里叶变换,
Figure FDA0002976945980000025
分别表示为对应的共轭复数;
Figure FDA0002976945980000026
代表分子
Figure FDA0002976945980000027
代表分母
Figure FDA0002976945980000028
下标t代表帧数;Hl的更新分别对应:
Figure FDA0002976945980000031
Figure FDA0002976945980000032
其中η表示学习率;对于下一帧图像块z,目标的位置通过最大响应值确定,对应的滤波器响应值R(x)为:
Figure FDA0002976945980000033
其中,f-1为离散傅里叶逆变换,B为
Figure FDA0002976945980000034
DSST跟踪器的尺度估计方法通过位置滤波器来获得最大响应的位置,再根据前一帧的目标尺寸获取一系列的多尺度图像块
Figure FDA0002976945980000035
l*h表示前一帧目标的尺度,S表示尺度滤波器的大小,图像块
Figure FDA0002976945980000036
的大小为αjl×αjh,其中α=1.02为尺度因子,
Figure FDA0002976945980000037
S=33为尺度总级;
步骤S22、采用下式计算PSR的值:
Figure FDA0002976945980000038
其中,R(x)为得到的响应,max(R(x))得到最大的响应值,max(R(x))c×γ为峰值周围的c×γ区域,μφ(max(R(x))c×γ)和σφ(max(R(x))c×γ)分别是峰值周围c×γ区域内的均值和标准差;PSR的值越大说明DSST的跟踪结果越可靠。
4.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法,其特征在于:所述步骤S30具体为:
如果PSR的值大于设定阈值u,则将DSST估计的目标状态(尺度scaleDSST和位置posDSST)传递给Lp-LRST跟踪器,Lp-LRST跟踪器根据仿射变化参数aff1来投放n1个粒子,同时求解得到更为精确的目标位置
Figure FDA0002976945980000039
和尺度
Figure FDA00029769459800000310
通过如下公式得到最终的目标位置postarget和尺度scaletarget
Figure FDA0002976945980000041
Figure FDA0002976945980000042
如果可信度小于设定阈值,此时,Lp-LRST跟踪器根据上一帧的目标状态和变化仿射参数aff2(aff2≥aff1)来投放n2(n2>n1)个粒子,同时求解得到更为精确的目标位置
Figure FDA0002976945980000043
和尺度
Figure FDA0002976945980000044
通过如下公式获得最终的目标位置postarget和尺度scaletarget
Figure FDA0002976945980000045
Figure FDA0002976945980000046
5.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法,其特征在于:所述步骤S40具体为:
如果PSR小于设定阈值,不更新DSST跟踪器的模板。
如果PSR大于或等于设定阈值,则更新DSST跟踪器的模板,且更新过程由如下两式来确定:
Figure FDA0002976945980000047
Figure FDA0002976945980000048
6.如权利要求1所述的一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法,其特征在于:所述步骤S50具体为:
当粒子的模板相似度高于设定阈值时,停止更新Lp-LRST跟踪器的模板;
当粒子的模板相似度低于设定阈值时,更新Lp-LRST跟踪器的模板;
判断粒子的模板相似度低原因;
若是由于模板长期没有更新,则更新Lp-LRST跟踪器的模板并同时更新模板的权重,用当前模板相似度最高的粒子替换权重最低的模板,并将新的模板权重设置为一个新的常数
Figure FDA0002976945980000049
若是由于目标发生遮挡,则判断上一次的模板更新是否由于模板长期没有更新而引起,若是,则用当前模板相似度最高的粒子替换权重最低的模板,同时将新的模板的权重设置成
Figure FDA0002976945980000051
否则用当前模板相似度最高的粒子替换上次更新的模板,同时将新的模板的权重设置成
Figure FDA0002976945980000052
CN202110276732.3A 2021-03-15 2021-03-15 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法 Active CN113160271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110276732.3A CN113160271B (zh) 2021-03-15 2021-03-15 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110276732.3A CN113160271B (zh) 2021-03-15 2021-03-15 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113160271A true CN113160271A (zh) 2021-07-23
CN113160271B CN113160271B (zh) 2023-10-31

Family

ID=76887496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110276732.3A Active CN113160271B (zh) 2021-03-15 2021-03-15 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113160271B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641353A (zh) * 2022-12-22 2023-01-24 四川轻化工大学 一种可见光与红外图像融合跟踪方法和装置、存储介质
CN116798183A (zh) * 2023-06-16 2023-09-22 安徽理工大学 一种基于多目标视觉跟踪的高危工位安全监测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN107610049A (zh) * 2017-08-21 2018-01-19 华侨大学 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法
CN107680120A (zh) * 2017-09-05 2018-02-09 南京理工大学 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法
CN111583294A (zh) * 2020-04-22 2020-08-25 西安工业大学 一种结合尺度自适应与模型更新的目标跟踪方法
CN112085765A (zh) * 2020-09-15 2020-12-15 浙江理工大学 结合粒子滤波及度量学习的视频目标跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN107610049A (zh) * 2017-08-21 2018-01-19 华侨大学 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法
CN107680120A (zh) * 2017-09-05 2018-02-09 南京理工大学 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法
CN111583294A (zh) * 2020-04-22 2020-08-25 西安工业大学 一种结合尺度自适应与模型更新的目标跟踪方法
CN112085765A (zh) * 2020-09-15 2020-12-15 浙江理工大学 结合粒子滤波及度量学习的视频目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张伟;温显斌;: "基于多特征和尺度估计的核相关滤波跟踪算法", 天津理工大学学报, no. 03 *
李俊宏 等: "红外弱小目标检测算法综述", 《中国图象图形学报》 *
顾培婷 等: "相关滤波目标跟踪算法研究", 《海峡科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641353A (zh) * 2022-12-22 2023-01-24 四川轻化工大学 一种可见光与红外图像融合跟踪方法和装置、存储介质
CN116798183A (zh) * 2023-06-16 2023-09-22 安徽理工大学 一种基于多目标视觉跟踪的高危工位安全监测方法及装置

Also Published As

Publication number Publication date
CN113160271B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN108734723B (zh) 一种基于自适应权重联合学习的相关滤波目标跟踪方法
CN103310453B (zh) 一种基于子图像角点特征的快速图像配准方法
CN103295242B (zh) 一种多特征联合稀疏表示的目标跟踪方法
CN101369346B (zh) 一种视频运动目标自适应窗口的跟踪方法
CN114503162B (zh) 具有不确定性的特征点位置估计的图像处理系统和方法
CN110176023B (zh) 一种基于金字塔结构的光流估计方法
CN108230367A (zh) 一种对灰度视频中既定目标的快速跟踪定位方法
WO2021093275A1 (zh) 一种人群计数系统中自适应计算高斯核大小的方法
CN106991388B (zh) 关键点定位方法
CN111080675A (zh) 一种基于时空约束相关滤波的目标跟踪方法
Fourie et al. Harmony filter: a robust visual tracking system using the improved harmony search algorithm
CN109410247A (zh) 一种多模板和自适应特征选择的视频跟踪算法
JP2010500677A (ja) 画像処理の方法
CN107424177A (zh) 基于连续相关滤波器的定位修正长程跟踪算法
CN109754424B (zh) 基于融合特征和自适应更新策略的相关滤波跟踪算法
CN105427308A (zh) 一种稀疏和稠密特征匹配结合的图像配准方法
CN103093480B (zh) 基于双重模型的粒子滤波视频图像跟踪方法
CN105631899A (zh) 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN103366375A (zh) 基于动态有向图的图像集配准方法
CN113160271A (zh) 一种融合相关滤波和粒子滤波的高精度红外目标跟踪方法
CN110555864B (zh) 基于pspce的自适应目标跟踪方法
CN109255783A (zh) 一种多人图像上的人体骨骼关键点的位置排布检测方法
CN120655691A (zh) 一种内窥镜单目图像深度估计方法和系统
CN113344941A (zh) 一种基于聚焦图像的深度估计方法及图像处理装置
CN112348847A (zh) 一种目标尺度自适应跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant