CN104123734A - 基于可见光和红外检测结果融合的运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于可见光和红外检测结果融合的运动目标检测方法，用于解决现有运动目标检测方法检测效果差的技术问题。技术方案是首先利用ViBe的背景提取方法提取可见光图像的前景图。得到前景图后，将其转换到LUV空间进行阴影判断；其次，通过显著性检测的方法提取红外图像的显著图；最后，融合两者的检测结果，提取最终的运动目标。本发明方法可以有效应对阴影及光照强度环境变化导致目标检测效果差的技术问题，达到全天候检测的效果。

Description

基于可见光和红外检测结果融合的运动目标检测方法

技术领域

本发明涉及一种运动目标检测方法，特别是涉及一种基于可见光和红外检测结果融合的运动目标检测方法。

背景技术

运动目标检测作为视频监控的基础工作，它的主要任务是从视频序列中将运动变化的区域从背景图像中分割提取出来，以备后续的目标跟踪、行为分析使用。目标检测方法能够有效克服光照变化，背景运动，相机抖动等多重影响，准确提取运动目标，具有重要的意义。现有方法多数在单源传感器成像上研究，主要检测方法有基于像素的检测方法和基于特征的检测方法。

文献“ViBe:a powerful random technique to estimate the background in videosequence.ICASSP,2009,4:945-948”公开了一种基于像素的目标检测方法，提取目标背景区域。该方法采用随机选择策略和像素空间一致性原则，进行前景检测。该方法首先用第一帧图像初始化样本容量为N的背景模型；然后计算当前像素点与样本点间距离满足阈值的次数来判断前景点；最后以随机策略更新背景样本点及样本点的领域。该方法具有内存容量小，速度快的特点，但是当光照强度较强，存在大量阴影时，检测效果会下降，而且当光照强度变化，比如阴雨、夜晚等弱光环境下，不能实时检测目标，实现全天候检测。

发明内容

为了克服现有运动目标检测方法检测效果差的不足，本发明提供一种基于可见光和红外检测结果融合的运动目标检测方法。该方法首先利用ViBe的背景提取方法提取可见光图像的前景图。得到前景图后，将其转换到LUV空间进行阴影判断；其次，通过显著性检测的方法提取红外图像的显著图；最后，融合两者的检测结果，提取最终的运动目标。本发明方法可以有效应对阴影及光照强度环境变化导致目标检测效果差的技术问题，达到全天候检测的效果。

本发明解决其技术问题所采用的技术方案是：一种基于可见光和红外检测结果融合的运动目标检测方法，其特点是包括以下步骤：

步骤一、对于可见光第一帧图像，从像素点(x,y)八领域中随机选取N个像素值，

初始化背景模型{Bⁿ,n＝12,...,N}对应位置点。

从第二帧图像开始进行像素点匹配。在时刻t，判断当前帧I^t在(x,y)处像素i(x,y)与背景样本Bⁿ的像素b(x,y)匹配状态：

其中，dis()表示当前像素与背景像素之间的欧式距离，D_d＝20表示距离阈值。

当满足距离阈值D_d的次数小于T_c时，T_c＝2，标记该像素点为前景；否则标记该像素点为背景。

其中，VF^t是一个二值图，表示前景像素时，值为255；表示背景像素时，值为0。

设定背景更新概率为φ，当像素i(x,y)被标记背景像素时，有1/φ的概率更新其背景模型。假设该像素的某个背景模型Bⁿ要更新，首先用i(x,y)更新背景模型Bⁿ对应位置像素b(x,y)；然后在样本Bⁿ对应位置的八领域内随机选取一个像素位置使用i(x,y)更新对应像素。

步骤二、通常在LUV空间阴影区域中像素的亮度L会低于背景区域的亮度L，阴影区域与背景区域的色度相似，但是差值的取值范围较大。像素i(x,y)被判断为阴影点时，要满足下述条件：

a.θ₁≦O^L≤θ₂,O^L＝i^L(x,y)/b^L(x,y)       (3)

$b.O^{\mathrm{UV}}\≤\mathrm{\β},O^{\mathrm{UV}}=\sqrt{{(i^U(x,y)-b^U(x,y))}^2+{(i^V(x,y)-b^V(x,y))}^2}---\left(4\right)$

这里，O^L为亮度变化，O^UV为色度变化，θ₁,θ₂,β是判定阈值。

当像素经阴影判定函数判断为阴影后，分别对该像素的O^L，O^UV分量进行混合高斯建模，进一步对阴影点进行验证，以降低阴影的错检率。

步骤三、使用一个组合的DoG滤波器计算图像的高频和低频信息，单个DoG滤波器表示如下：

$\begin{array}{c}\mathrm{DoG}(x,y)=\frac{1}{\mathrm{\π}}[\frac{1}{{\mathrm{\σ}}_1^2}\exp (-\frac{x^2+y^2}{{2\mathrm{\σ}}_1^2})-\frac{1}{{\mathrm{\σ}}_2^2}\exp (-\frac{x^2+y^2}{{2\mathrm{\σ}}_2^2})]\\ =G(x,y,{\mathrm{\σ}}_1)-G(x,y,{\mathrm{\σ}}_2)\end{array}---\left(5\right)$

DoG滤波器的带宽由ρ＝σ₁/σ₂决定，σ₁,σ₂表示高斯标准差(σ₁＞σ₂)。σ₁决定着低频信息的选取，σ₂决定着高频信息的选取。考虑M个DoG的组合滤波器：

$\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}(G(x,y,{\mathrm{\ρ}}^{m+1}{\mathrm{\σ}}_2)-G(x,y,{\mathrm{\ρ}}^m{\mathrm{\σ}}_2))\text{=G}(x,y,{\mathrm{\ρ}}^M{\mathrm{\σ}}_2)-G(x,y,{\mathrm{\σ}}_2)---\left(6\right)$

其中，M表示大于0的整数，式(6)被简化成两个高斯函数的差。组合滤波器的带宽由K＝ρ^M决定。

计算红外视频序列的显著性特征，令M＝∞，使得K值尽可能大，这时G(x,y,ρ^Mσ₂)就是对整个图像的平均。红外图像的显著性计算如下：

$\mathrm{Sal}(x,y)=\left|\right|H_u-H_{w_{\mathrm{hc}}}(x,y)\left|\right|---\left(7\right)$

计算显著性之前，将颜色空间转换到CIELAB空间。H_u为图像平均值，是像素在高斯平滑后的颜色特征，||·||为L2范式。

提取红外显著图之后，进行二值分割得到显著前景图SFt。

步骤四、融合红外和可见光检测结果。

记融合结果图为I_f,s，以可见光和红外两种检测结果标记像素点，

会产生三种可能的情况：

(a)可见光前景检测结果和红外前景检测结果都表明该像素为前景点。即

VF^t(x,y)＝255,SF^t(x,y)＝255，      (8)

此时标记I_f,s(x,y)＝255。

(b)可见光前景检测结果表明该像素为前景点，红外前景检测表明该像素不是前景点或可见光前景检测结果表明该像素不是前景点，红外前景检测表明该像素是前景点。这里采用对可见光图和红外显著图对应位置点加权平均的方式标记该像素值。此时融合像素点值标记为

$I_{f,s}(x,y)=\frac{(1+\mathrm{\λ}){\mathrm{VF}}^t(x,y)}{3}+\frac{(2-\mathrm{\λ}){\mathrm{Sal}}^t(x,y)}{3}---\left(9\right)$

当显著图像素点8领域的平均值大于原图均值的2倍时λ＝1，否则为0。

其中，mean()表示均值，Σneig₈()表示8领域的和。

(c)可见光前景检测结果和红外前景检测结果都表明该像素为非前景点。这里标记该像素点值为红外显著图对应位置点的三分之一。

$I_{f,s}(x,y)=\frac{{\mathrm{Sal}}^t(x,y)}{3}---\left(11\right)$

经过以上步骤得到融合结果图I_f,s后，进行二值分割，并作形态学处理，得到最终目标检测结果。

本发明的有益效果是：该方法首先利用ViBe的背景提取方法提取可见光图像的前景图。得到前景图后，将其转换到LUV空间进行阴影判断；其次，通过显著性检测的方法提取红外图像的显著图；最后，融合两者的检测结果，提取最终的运动目标。本发明方法可以有效应对阴影及光照强度环境变化导致目标检测效果差的技术问题，达到全天候检测的效果。

下面结合具体实施方式对本发明作详细说明。

具体实施方式

本发明基于可见光和红外检测结果融合的运动目标检测方法具体步骤如下：

一、可见光图像前景检测。

(a)模型初始化及像素分类。

对于可见光第一帧图像，从像素点(x,y)八领域中随机选取N个像素值，初始化背景模型{Bⁿ,n＝12,...,N}对应位置点。

从第二帧图像开始进行像素点匹配。在时刻t，判断当前帧I^t在(x,y)处像素i(x,y)与背景样本Bⁿ的像素b(x,y)匹配状态：

其中，dis()表示当前像素与背景像素之间的欧式距离，D_d＝20表示距离阈值。

当满足距离阈值D_d的次数小于T_c时(T_c＝2)，标记该像素点为前景；否则标记该像素点为背景。

VF^t是一个二值图，表示前景像素时，值为255；表示背景像素时，值为0。

(b)背景更新。

设定背景更新概率为φ，当像素i(x,y)被标记背景像素时，有1/φ的概率更新其背景模型。假设该像素的某个背景模型Bⁿ要更新，首先用i(x,y)更新背景模型Bⁿ对应位置像素b(x,y)；然后在样本Bⁿ对应位置的八领域内随机选取一个像素位置使用i(x,y)更新对应像素。

二、可见光图像阴影检测。

通常在LUV空间阴影区域中像素的亮度L会低于背景区域的亮度L，阴影区域与背景区域的色度相似，但是差值的取值范围较大。像素i(x,y)被判断为阴影点时，要满足下述条件：

a.θ₁≦O^L≤θ₂,O^L＝i^L(x,y)/b^L(x,y)     (3)

$b.O^{\mathrm{UV}}\≤\mathrm{\β},O^{\mathrm{UV}}=\sqrt{{(i^U(x,y)-b^U(x,y))}^2+{(i^V(x,y)-b^V(x,y))}^2}---\left(4\right)$

这里，O^L为亮度变化，O^UV为色度变化，θ₁,θ₂,β是判定阈值。

当像素经阴影判定函数判断为阴影后，分别对该像素的O^L，O^UV分量进行混合高斯建模，进一步对阴影点进行验证，以降低阴影的错检率。

三、红外图像显著性检测。

这里使用一个组合的DoG(高斯差分)滤波器来计算图像的高频和低频信息，单个DoG滤波器表示如下：

$\begin{array}{c}\mathrm{DoG}(x,y)=\frac{1}{\mathrm{\π}}[\frac{1}{{\mathrm{\σ}}_1^2}\exp (-\frac{x^2+y^2}{{2\mathrm{\σ}}_1^2})-\frac{1}{{\mathrm{\σ}}_2^2}\exp (-\frac{x^2+y^2}{{2\mathrm{\σ}}_2^2})]\\ =G(x,y,{\mathrm{\σ}}_1)-G(x,y,{\mathrm{\σ}}_2)\end{array}---\left(5\right)$

DoG滤波器的带宽由ρ＝σ₁/σ₂决定，σ₁,σ₂表示高斯标准差(σ₁＞σ₂)。σ₁决定着低频信息的选取，σ₂决定着高频信息的选取。考虑M个DoG的组合滤波器：

$\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}(G(x,y,{\mathrm{\ρ}}^{m+1}{\mathrm{\σ}}_2)-G(x,y,{\mathrm{\ρ}}^m{\mathrm{\σ}}_2))\text{=G}(x,y,{\mathrm{\ρ}}^M{\mathrm{\σ}}_2)-G(x,y,{\mathrm{\σ}}_2)---\left(6\right)$

其中，M表示大于0的整数，式(6)可简化成两个高斯函数的差。组合滤波器的带宽可以由K＝ρ^M决定。

实际计算红外视频序列的显著性特征，可以采用5×5的高斯平滑窗口来舍去最高频信息。令M＝∞，使得K值尽可能大，这时G(x,y,ρ^Mσ₂)就是对整个图像的平均。红外图像的显著性计算如下：

$\mathrm{Sal}(x,y)=\left|\right|H_u-H_{w_{\mathrm{hc}}}(x,y)\left|\right|---\left(7\right)$

计算显著性之前，将颜色空间转换到CIELAB空间。H_u为图像平均值，是像素在高斯平滑后的颜色特征，||·||为L2范式。

提取红外显著图之后，进行二值分割得到显著前景图SF^t。

四、融合红外和可见光检测结果。

记融合结果图为I_f,s，以可见光和红外两种检测结果标记像素点

会产生三种可能的情况：

(a)可见光前景检测结果和红外前景检测结果都表明该像素为前景点。即

VF^t(x,y)＝255,SF^t(x,y)＝255，        (8)

此时标记I_f,s(x,y)＝255。

(b)可见光前景检测结果表明该像素为前景点，红外前景检测表明该像素不是前景点或可见光前景检测结果表明该像素不是前景点，红外前景检测表明该像素是前景点。这里采用对可见光图和红外显著图对应位置点加权平均的方式标记该像素值。此时融合像素点值标记为

$I_{f,s}(x,y)=\frac{(1+\mathrm{\λ}){\mathrm{VF}}^t(x,y)}{3}+\frac{(2-\mathrm{\λ}){\mathrm{Sal}}^t(x,y)}{3}---\left(9\right)$

当显著图像素点8领域的平均值大于原图均值的2倍时λ＝1，否则为0。

其中，mean()表示均值，Σneig₈()表示8领域的和。

(c)可见光前景检测结果和红外前景检测结果都表明该像素为非前景点。这里标记该像素点值为红外显著图对应位置点的三分之一。

$I_{f,s}(x,y)=\frac{{\mathrm{Sal}}^t(x,y)}{3}---\left(11\right)$

经过以上步骤得到融合结果图I_f,s后，进行二值分割，并作形态学处理，得到最终目标检测结果。

Claims (1)

1.一种基于可见光和红外检测结果融合的运动目标检测方法，其特征在于包括以下步骤：

步骤一、对于可见光第一帧图像，从像素点(x,y)八领域中随机选取N个像素值，初始化背景模型{Bⁿ,n＝12,...,N}对应位置点；

从第二帧图像开始进行像素点匹配；在时刻t，判断当前帧I^t在(x,y)处像素i(x,y)与背景样本Bⁿ的像素b(x,y)匹配状态：

其中，dis()表示当前像素与背景像素之间的欧式距离，D_d＝20表示距离阈值；

当满足距离阈值D_d的次数小于T_c时，T_c＝2，标记该像素点为前景；否则标记该像素点为背景；

其中，VF^t是一个二值图，表示前景像素时，值为255；表示背景像素时，值为0；

设定背景更新概率为φ，当像素i(x,y)被标记背景像素时，有1/φ的概率更新其背景模型；假设该像素的某个背景模型Bⁿ要更新，首先用i(x,y)更新背景模型Bⁿ对应位置像素b(x,y)；然后在样本Bⁿ对应位置的八领域内随机选取一个像素位置使用i(x,y)更新对应像素；

步骤二、通常在LUV空间阴影区域中像素的亮度L会低于背景区域的亮度L，阴影区域与背景区域的色度相似，但是差值的取值范围较大；像素i(x,y)被判断为阴影点时，要满足下述条件：

a.θ₁≦O^L≤θ₂,O^L＝i^L(x,y)/b^L(x,y)       (3)

$b.O^{\mathrm{UV}}\≤\mathrm{\β},O^{\mathrm{UV}}=\sqrt{{(i^U(x,y)-b^U(x,y))}^2+{(i^V(x,y)-b^V(x,y))}^2}---\left(4\right)$

这里，O^L为亮度变化，O^UV为色度变化，θ₁,θ₂,β是判定阈值；

当像素经阴影判定函数判断为阴影后，分别对该像素的O^L，O^UV分量进行混合高斯建模，进一步对阴影点进行验证，以降低阴影的错检率；

步骤三、使用一个组合的DoG滤波器计算图像的高频和低频信息，单个DoG滤波器表示如下：

$\begin{array}{c}\mathrm{DoG}(x,y)=\frac{1}{\mathrm{\π}}[\frac{1}{{\mathrm{\σ}}_1^2}\exp (-\frac{x^2+y^2}{{2\mathrm{\σ}}_1^2})-\frac{1}{{\mathrm{\σ}}_2^2}\exp (-\frac{x^2+y^2}{{2\mathrm{\σ}}_2^2})]\\ =G(x,y,{\mathrm{\σ}}_1)-G(x,y,{\mathrm{\σ}}_2)\end{array}---\left(5\right)$

DoG滤波器的带宽由ρ＝σ₁/σ₂决定，σ₁,σ₂表示高斯标准差(σ₁＞σ₂)；σ₁决定着低频信息的选取，σ₂决定着高频信息的选取；考虑M个DoG的组合滤波器：

$\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}(G(x,y,{\mathrm{\ρ}}^{m+1}{\mathrm{\σ}}_2)-G(x,y,{\mathrm{\ρ}}^m{\mathrm{\σ}}_2))\text{=G}(x,y,{\mathrm{\ρ}}^M{\mathrm{\σ}}_2)-G(x,y,{\mathrm{\σ}}_2)---\left(6\right)$

其中，M表示大于0的整数，式(6)被简化成两个高斯函数的差；组合滤波器的带宽由K＝ρ^M决定；

计算红外视频序列的显著性特征，令M＝∞，使得K值尽可能大，这时G(x,y,ρ^Mσ₂)就是对整个图像的平均；红外图像的显著性计算如下：

$\mathrm{Sal}(x,y)=\left|\right|H_u-H_{w_{\mathrm{hc}}}(x,y)\left|\right|---\left(7\right)$

计算显著性之前，将颜色空间转换到CIELAB空间；H_u为图像平均值，是像素在高斯平滑后的颜色特征，||·||为L2范式；

提取红外显著图之后，进行二值分割得到显著前景图SF^t；

步骤四、融合红外和可见光检测结果；

记融合结果图为I_f,s，以可见光和红外两种检测结果标记像素点，

会产生三种可能的情况：

(a)可见光前景检测结果和红外前景检测结果都表明该像素为前景点；即

VF^t(x,y)＝255,SF^t(x,y)＝255，       (8)

此时标记I_f,s(x,y)＝255；

(b)可见光前景检测结果表明该像素为前景点，红外前景检测表明该像素不是前景点或可见光前景检测结果表明该像素不是前景点，红外前景检测表明该像素是前景点；这里采用对可见光图和红外显著图对应位置点加权平均的方式标记该像素值；此时融合像素点值标记为

$I_{f,s}(x,y)=\frac{(1+\mathrm{\λ}){\mathrm{VF}}^t(x,y)}{3}+\frac{(2-\mathrm{\λ}){\mathrm{Sal}}^t(x,y)}{3}---\left(9\right)$

当显著图像素点8领域的平均值大于原图均值的2倍时λ＝1，否则为0；

其中，mean()表示均值，Σneig₈()表示8领域的和；

(c)可见光前景检测结果和红外前景检测结果都表明该像素为非前景点；这里标记该像素点值为红外显著图对应位置点的三分之一；

$I_{f,s}(x,y)=\frac{{\mathrm{Sal}}^t(x,y)}{3}---\left(11\right)$

经过以上步骤得到融合结果图I_f,s后，进行二值分割，并作形态学处理，得到最终目标检测结果。