CN109102702A - 基于视频车辆检测和雷达信号融合的车辆测速方法 - Google Patents

Abstract

本发明公开一种基于视频车辆检测和雷达信号融合的车辆测速方法，利用摄像头采集车辆视频信息，进行车辆的识别和跟踪；利用雷达获取的回波信号，确定车辆的速度、距离和方位信息；根据雷达检测的车辆距离和方位信息，确定车辆质心坐标和行驶方向，将其与视频检测得到的车辆质心坐标和行驶方向进行匹配，在视频上显示车辆的速度信息。本发明能够对多个车道多辆汽车同时进行车速监控，测速精度高，加强了道路车辆行驶监控的可视化程度，生产成本低廉。

Description

基于视频车辆检测和雷达信号融合的车辆测速方法

技术领域

本发明涉及车辆测速技术，具体涉及一种基于视频车辆检测和雷达信号融合的车辆测速方法。

背景技术

随着国民经济的发展，我国的汽车保有量持续增长，导致路车矛盾愈发剧烈，仅通过增加交通工具和道路的方法已经无法实现路车协调运作的目标，为了优化道路使用率，提高交通管理能力，需要利用智能交通系统进行车辆测速。

当前车辆测速的方法主要有视频测速、地感线圈测速和雷达测速。视频测速是通过计算车辆行驶的像素坐标差比上帧数差，乘上一个固定比例得到车辆的速度，该测速方法简单，但是误差较大。地感线圈测速是将两个线圈间隔固定距离，当车辆驶入第一个线圈开始计时，车辆驶出第二个线圈计时结束，得到时间差，利用距离除上时间得到车辆的行驶速度，该测速方法测速准确度高，但是容易毁坏，维修费用高，只能进行单车辆的测速。雷达测速是利用多普勒效应，根据雷达的发射波频率与接收波频率的频差来完成对车辆的测速，该测速方法不受天气影响，精度高，被广泛应用于智能交通系统，但是单纯使用雷达测速并不能直观地看出道路上车辆行驶的情况。

发明内容

本发明的目的在于提供一种基于视频车辆检测和雷达信号融合的车辆测速方法，提高了车辆测速的精度和测速结果的可视性。

实现本发明目的的技术解决方案为：一种基于视频车辆检测和雷达信号融合的车辆测速方法，其特征在于，步骤如下：

步骤1、车辆识别跟踪：利用摄像头采集车辆视频信息，进行车辆的识别和跟踪；

步骤2、测速测量：利用雷达获取的回波信号，确定车辆的速度、距离和方位信息；

步骤3、结果融合：根据雷达检测的车辆距离和方位信息，确定车辆质心坐标和行驶方向，将其与视频检测得到的车辆质心坐标和行驶方向进行匹配，在视频上显示车辆的速度信息。

本发明与现有技术相比，其显著优点为：1)本发明采用多个车道一个雷达，精度较高，价格低廉；2)本发明将视频目标检测与雷达信号融合完成车辆的测速，能够直观清晰观察车辆行驶速度情况；3)本发明利用深度学习完成对车辆的检测，精确度更高，速度更快；4)本发明对车辆进行卡尔曼滤波跟踪时，将车辆位置的真实值作为车辆跟踪的初始值，可以使车辆跟踪更加准确。

附图说明

图1是本发明的雷达上扫频段波形图。

图2是本发明的雷达下扫频段波形图。

图3是本发明雷达的摆放位置。

图4是本发明目标检测的流程图。

图5是本发明雷达信号处理的流程图。

图6为本发明车辆测速的流程图。

具体实施方法

下面结合附图和具体实施例来进一步说明本发明方案。

本发明基于视频车辆检测和雷达信号融合的车辆测速方法，包括如下步骤：

步骤1、车辆识别跟踪：利用摄像头采集车辆视频信息，进行车辆的识别和跟踪。作为一种具体实施方式，利用YOLOv3算法进行车辆识别，利用卡尔曼滤波跟踪进行车辆跟踪。

利用YOLOv3算法进行车辆识别的流程如图4所示，具体方法如下：

对摄像头读取的一帧图片进行归一化处理，并划分成S×S网格，选择物体中心位置落在的网格负责物体的检测，由于每个边界框拥有5个参数，分别为目标的中心坐标(x₀，y₀)，宽w、高h和边界框置信度，将中心坐标(x₀，y₀)相对于所在的目标中心单元格归一化到0-1之间，w、h用图像自身的宽和高归一化到0和1之间；

根据归一化后的边界框参数确定边界框置信度其中Pr(object)表示边界框含有目标的可能性，当边界框内有目标时，Pr(object)＝1，当边界框内没有目标时，Pr(object)＝0，表示为边界框的准确度，计算公式为其中Box_truth代表真实的目标边界框，Box_pred代表预测的目标边界框，根据的阈值去除可能性比较低的窗口，使用非极大值抑制去除冗余窗口，输出最终的目标检测框。

卡尔曼滤波跟踪具体选取车辆的质心坐标为车辆的跟踪点，将跟踪分为初始化、预测、匹配和更正四个阶段，步骤如下：

将车辆出现在第一帧图像中的像素坐标作为卡尔曼滤波跟踪的初始值；

对当前所有的运动目标进行卡尔曼滤波预测，由于物体在短时间内的运动可以看作是匀速直线运动，所以定义其状态转移矩阵A为A＝[1,0,△t,0；0,1,0,△t；0,0,1,0；0,0,0,1]，其中△t表示视频读取一帧的时间，将状态矩阵和当前帧的预测结果代入状态转移方程，得到下一帧的状态预测值；

对多个跟踪目标进行匹配，由于视频处理一帧的时间短，所以车辆的行驶距离不会很远，设定一个阈值T，x_k+1,x_k分别是视频下一帧和当前帧车辆质心的横坐标，y_k+1,y_k分别是视频下一帧和当前帧车辆质心的纵坐标，匹配时利用车辆出现在视频前后帧中的像素坐标计算出欧氏距离当最小欧氏距离小于阈值T且对应的跟踪车辆和检测车辆的标识位都显示没有匹配成功时，将检测目标和跟踪目标进行匹配，否则，判定车辆匹配失败；

对卡尔曼滤波的估计值进行修正，将得到的车辆质心坐标的估计值和测量值利用卡尔曼系数即可计算当前车辆质心坐标的最优估计值。本发明采用卡尔曼滤波器可以实现对目标的实时估计，没有滞后效果。

步骤2、测速测量：利用雷达获取的回波信号，确定车辆的速度、距离和方位信息。雷达通过发射机和收发开关发射信号，遇到物体时接收机接收被反射回来的微弱信号。由于接收到的信号是高频信号，需要对其进行数据处理，雷达信号处理的流程图如图5所示。作为一种具体实施方式，测速测量的具体方法为：

将接收机收到的回波信号进行A/D和混频处理转换为差拍信号，并利用窗函数进行FFT变换，对得到的频谱图做非相干累积处理来抑制其他目标杂波的干扰；

进行有序统计恒虚警检测，将处理结果与门限值比较，如果大于门限，则判断目标存在，进行速度和距离的解耦合操作，由于差拍信号的频率是由速度和距离信息组成，根据频谱图的峰值谱线计算出相邻帧之间的相位差，利用不模糊距离和差拍信号频率求解出距离模糊得到目标的距离，代入式即可求解出车辆的径向速度，其中f是差拍信号的频率，μ是调频斜率，c是光速，R是目标的距离，V是目标的径向速度，f₀是雷达发射信号的频率；

雷达的方位角信息是基于雷达天线辐射电磁波时，天线波束轴与目标对准时回波信号最强，而天线波束轴与目标偏离时回波信号变弱的特点确定目标的方向。本发明根据波程差确定车辆的方位角计算公式为其中，λ是雷达的波长，ΔR是测量其波程差。

作为一种更具体实施方式，雷达的发射波形采用步进式多阶线性频率键控(MS-LFSK)波形，MS-LFSK波形设计的思路是将波形分为上扫频段和下扫频段两个部分，在如图1和2所示，每个频段分别产生多种不同频率的波形，以此来产生多种不模糊距离。上扫频段由M个线性频率键控信号组成，每个LFSK信号的频率键控时宽为T_step，扫频带宽为B，第k+1个信号和第k个信号有固定的频率差f_shfit ^k＝f_k+1-f_k，下扫频段雷同上扫频段。

步骤3、结果融合：根据雷达检测的车辆距离和方位信息，确定车辆质心坐标和行驶方向，将其与视频检测得到的车辆质心坐标和行驶方向进行匹配，在视频上显示车辆的速度信息。作为一种具体实施方式，结果融合的具体方法为：

初次匹配：将雷达检测的车辆行驶方向与视频跟踪的车辆行驶方向进行比对，若一致，则初次匹配成功，进入二次匹配，否则匹配失败；

二次匹配：将雷达检测的车辆三维空间坐标投影到图像坐标系，计算出车辆的质心坐标(u,v)，设雷达安装的高度是H，与水平面的夹角是θ，雷达测得车辆的距离是R，方位角是ψ，车辆在雷达坐标系下的X＝Rsinψ，Z＝Rcosψ，Y＝H-h₁，计算出来的Y即是缺少的Y轴信息，根据相机单目标定原理[u,v,1]＝K×[R×[X,Y,Z,1]+T]将车辆的三维空间坐标投影到图像坐标系中，计算得到车辆的质心坐标(u_cal，v_cal)，其中K是相机的内参，根据张正友棋盘标定法得到，R和T分别是雷达相对于摄像头摆放的旋转矩阵和平移矩阵；计算雷达检测的车辆质心坐标(u,v)与视频检测的车辆质心坐标(u’,v’)的欧式距离D；当欧式距离D小于阈值T时，则判断雷达检测的车辆与视频检测的车辆是同一辆车，并在视频中该辆车的上方显示出雷达所测车辆的速度；当欧式距离D大于阈值T时，则认为匹配失败。

实施例1

为了验证本发明方法的有效性，任选一处道路进行车辆测速，具体如下：

视频采集一帧图像，将图片归一化成416×416，然后划分成13×13个网格，如果车辆的中心位置落在该网格，则这个格子就负责检测这个车辆。

网格会产生3个边界框，每个边界框利用sigmoid函数对车辆的中心、目标在边界框内的概率和检测类别置信度进行预测。计算选择最大的边界框进行预测，最终输出目标的检测框。

将输出的检测框的中心作为卡尔曼滤波跟踪的初始值，对当前的车辆进行卡尔曼滤波跟踪。当同时跟踪2辆汽车时，计算车辆前后帧中像素坐标的欧氏距离，如果欧式距离的最小值小于阈值50，判定为前后帧跟踪的车辆是同一辆，并且寻找次小值继续进行跟踪匹配；如果大于阈值50，判定为车辆跟踪丢失，重新建立新的跟踪。

与此同时，雷达发射MS-LFSK信号，并对回波信号进行AD采样和数据重排，得到差拍信号。对每组LFSK差拍信号做FFT处理，得到频谱图W_k[N]，对其做周期图累积，得到幅频响应有序统计恒虚警检测大于门限并以峰值形式存在的检测单元。设其中一个检测单元为p，对于谱线所在的检测单元所对应的频率表达式为：计算频谱图中峰值谱线p的对应相位将相邻的相位作差得到根据不模糊距离相位差和差拍信号f_MS-LFSK计算对应的模糊距离 然后根据距离解模糊，距离速度解耦合求解出距离和速度。

车辆的方位角可由波程差确定，其中，λ是雷达的波长，测量其波程差ΔR，就可以确定目标方向

雷达检测到车辆的距离、速度和方位角信息通过上位机传输到视频处理端口。视频处理器记录开始时检测到的车辆的质心坐标，在车辆的跟踪过程中继续统计车辆的质心坐标，最后根据摄像头的摆放位置可以从视频中根据车辆的质心坐标差判断出车辆的行驶方向。然后雷达传过来的速度从正负之分也可以判断出车辆的行驶方向。如果视频检测的车辆行驶速度和雷达所传车辆速度的方向一致，则进入第二步匹配；否则认为匹配失败。

在第二步匹配中，设雷达安装的高度是H，与水平面的夹角是θ，安装如图3所示。雷达测得车辆的距离是R，方位角是ψ，车辆在雷达坐标系下的X＝Rsinψ，Z＝Rcosψ，Y＝H-h₁，计算出来的Y即是缺少的Y轴信息。根据相机单目标定原理[u,v,1]＝K×[R×[X,Y,Z,1]+T]可以将车辆的三维空间坐标投影到图像坐标系中，计算得到车辆的质心坐标(u_cal，v_cal)。其中K是相机的内参，可以根据张正友棋盘标定法得到，R和T分别是雷达相对于摄像头摆放的旋转矩阵和平移矩阵，可以根据2者的摆放位置确定，[u,v]是物体的三维空间坐标投影到图像坐标系中的像素坐标。在视频对车辆进行检测的过程中也可以得到一组车辆的质心坐标(u_real，v_real)。设阈值T为30，如果满足则判断视频检测的车辆与雷达所测的车辆是同一辆车，在视频中显示对应车辆的速度；如果则匹配失败。

从本实施例可以看出，本发明能够对多辆汽车同时进行测速，并且可以利用视频直观显示道路车辆的行驶情况。这样不仅具有较高的测速精度，而且可视性强，价格低廉。

Claims (7)

1.一种基于视频车辆检测和雷达信号融合的车辆测速方法，其特征在于，步骤如下：

步骤1、车辆识别跟踪：利用摄像头采集车辆视频信息，进行车辆的识别和跟踪；

步骤2、测速测量：利用雷达获取的回波信号，确定车辆的速度、距离和方位信息；

步骤3、结果融合：根据雷达检测的车辆距离和方位信息，确定车辆质心坐标和行驶方向，将其与视频检测得到的车辆质心坐标和行驶方向进行匹配，在视频上显示车辆的速度信息。

2.根据权利要求1所述的基于视频车辆检测和雷达信号融合的车辆测速方法，其特征在于，步骤1利用YOLOv3算法进行车辆识别，利用卡尔曼滤波跟踪进行车辆跟踪。

3.根据权利要求2所述的基于视频车辆检测和雷达信号融合的车辆测速方法，其特征在于，步骤1利用YOLOv3算法进行车辆识别的具体方法为：

对摄像头读取的一帧图片进行归一化处理，并划分成S×S网格，选择物体中心位置落在的网格负责物体的检测，由于每个边界框拥有5个参数，分别为目标的中心坐标(x₀，y₀)，宽w、高h和边界框置信度，将中心坐标(x₀，y₀)相对于所在的目标中心单元格归一化到0-1之间，w、h用图像自身的宽和高归一化到0和1之间；

根据归一化后的边界框参数确定边界框置信度其中Pr(object)表示边界框含有目标的可能性，当边界框内有目标时，Pr(object)＝1，当边界框内没有目标时，Pr(object)＝0，表示为边界框的准确度，计算公式为其中Box_truth代表真实的目标边界框，Box_pred代表预测的目标边界框，根据的阈值去除可能性比较低的窗口，使用非极大值抑制去除冗余窗口，输出最终的目标检测框。

4.根据权利要求2所述的基于视频车辆检测和雷达信号融合的车辆测速方法，其特征在于，步骤1的卡尔曼滤波跟踪选取车辆的质心坐标为车辆的跟踪点，将跟踪分为初始化、预测、匹配和更正四个阶段，具体方法为：

将车辆出现在第一帧图像中的像素坐标作为卡尔曼滤波跟踪的初始值；

对当前所有的运动目标进行卡尔曼滤波预测，由于物体在短时间内的运动可以看作是匀速直线运动，所以定义其状态转移矩阵A为A＝[1,0,△t,0；0,1,0,△t；0,0,1,0；0,0,0,1]，其中△t表示视频读取一帧的时间，将状态矩阵和当前帧的预测结果代入状态转移方程，得到下一帧的状态预测值；

对多个跟踪目标进行匹配，由于视频处理一帧的时间短，所以车辆的行驶距离不会很远，设定一个阈值T，x_k+1,x_k分别是视频下一帧和当前帧车辆质心的横坐标，y_k+1,y_k分别是视频下一帧和当前帧车辆质心的纵坐标，匹配时利用车辆出现在视频前后帧中的像素坐标计算出欧氏距离当最小欧氏距离小于阈值T且对应的跟踪车辆和检测车辆的标识位都显示没有匹配成功时，将检测目标和跟踪目标进行匹配，否则，判定车辆匹配失败；

对卡尔曼滤波的估计值进行修正，将得到的车辆质心坐标的估计值和测量值利用卡尔曼系数即可计算当前车辆质心坐标的最优估计值。

5.根据权利要求1所述的基于视频车辆检测和雷达信号融合的车辆测速方法，其特征在于，步骤2进行测速测量的具体方法为：

将接收机收到的回波信号进行A/D和混频处理转换为差拍信号，并利用窗函数进行FFT变换，对得到的频谱图做非相干累积处理来抑制其他目标杂波的干扰；

进行有序统计恒虚警检测，将处理结果与门限值比较，如果大于门限，则判断目标存在，进行速度和距离的解耦合操作，由于差拍信号的频率是由速度和距离信息组成，根据频谱图的峰值谱线计算出相邻帧之间的相位差，利用不模糊距离和差拍信号频率求解出距离模糊得到目标的距离，代入式即可求

解出车辆的径向速度，其中f是差拍信号的频率，μ是调频斜率，c是光速，R是目标的距离，V是目标的径向速度，f₀是雷达发射信号的频率；

根据波程差确定车辆的方位角计算公式为其中，λ是雷达的波长，ΔR是测量其波程差。

6.根据权利要求1所述的基于视频车辆检测和雷达信号融合的车辆测速方法，其特征在于，步骤2雷达使用多阶线性频率键控波形，分为上扫频段和下扫频段2个部分，在每个频段分别产生多种不同频率的波形，以此来产生多种不模糊距离。

7.根据权利要求1所述的基于视频车辆检测和雷达信号融合的车辆测速方法，其特征在于，步骤3进行视频检测与雷达探测目标匹配的具体方法为：

初次匹配：将雷达检测的车辆行驶方向与视频跟踪的车辆行驶方向进行比对，若一致，则初次匹配成功，进入二次匹配，否则匹配失败；

二次匹配：将雷达检测的车辆三维空间坐标投影到图像坐标系，计算出车辆的质心坐标(u,v)，设雷达安装的高度是H，与水平面的夹角是θ，雷达测得车辆的距离是R，方位角是ψ，车辆在雷达坐标系下的X＝Rsinψ，Z＝Rcosψ，Y＝H-h₁，计算出来的Y即是缺少的Y轴信息，根据相机单目标定原理[u,v,1]＝K×[R×[X,Y,Z,1]+T]将车辆的三维空间坐标投影到图像坐标系中，计算得到车辆的质心坐标(u_cal，v_cal)，其中K是相机的内参，根据张正友棋盘标定法得到，R和T分别是雷达相对于摄像头摆放的旋转矩阵和平移矩阵；计算雷达检测的车辆质心坐标(u,v)与视频检测的车辆质心坐标(u’,v’)的欧式距离D；当欧式距离D小于阈值T时，则判断雷达检测的车辆与视频检测的车辆是同一辆车，并在视频中该辆车的上方显示出雷达所测车辆的速度；当欧式距离D大于阈值T时，则认为匹配失败。