CN103473757A - 在视差图中的对象跟踪方法和系统 - Google Patents

Abstract

提供一种对象跟踪方法和系统，该方法包括：检测在第一视差图中的第一检测对象且获得第一检测对象的位置；将第一检测对象的位置转换为基于第一视差图中的第一预定参考点的坐标的第一检测相对位置；基于第一检测相对位置和第一检测对象的预定运动方向和预定运动速度，预估在第二视差图中对应于第一检测对象的第一预估对象的预估位置；检测在第二视差图中的第二检测对象且获得第二检测对象的位置；将第二检测对象的位置转换为基于第二视差图中的第二预定参考点的坐标的第二检测相对位置；基于第一预估对象的预估位置以及第二检测对象的第二检测相对位置，来确定第一检测对象与第二检测对象之间的跟踪匹配关系。

Description

在视差图中的对象跟踪方法和系统

技术领域

本发明涉及图像处理领域，且更具体地，涉及一种在视差图中的对象跟踪方法和系统。

背景技术

当今，立体图像技术是计算机视觉的一个重要分支，它可在多种条件下灵活地获得景物的立体视觉信息、尤其是双目视觉信息，相对单目图像而言有着不可比拟的优势，是图像处理和计算机视觉领域的前沿研究方向。具体地，通过立体信息、诸如视差图来进行对象（例如，道路上的车，人等）跟踪，也在交通监视、辅助驾驶，汽车检测和跟踪，驾驶警报系统、机器人视觉导航、工业产品检测、医疗诊断、虚拟现实等领域有着非常重要的实用价值和广阔的发展前景。

立体视觉的基本原理是从两个（或多个）视点观察同一景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素之间的位置偏差（视差（disparity））来获取景物的三维立体信息。这一过程与人类视觉的立体感知过程类似。通常，例如用左右两个摄像机来测量环境中任意一点或一个对象的三维立体信息，从而得到视差图。

视差图是以左右图像对（例如，左摄像机拍摄的图像和右摄像机拍摄的图像）的对应点的横坐标的差异形成的图像。当然，本领域中有许多其他方法来得到视差图，在此不赘述。由于视差图包含了场景的距离信息，因此基于视差图进行一系列应用、特别是进行对象跟踪，一直是双目视觉研究中最为活跃的领域。

现有技术中已经提出了利用视差图来跟踪对象的一些方法。

例如，在2011年9月22日公开的美国专利申请US 2011228100 A1（题为“Object Tracking Device and Method of Controlling Operation of the Same”）中公开了一种对象跟踪技术。其从例如车辆上安装的两个成像装置拍摄的三维对象图像中生成示出了该对象的每个像素的视差的视差图，确定检测范围，以便从生成的视差图中消除在深度方向上在跟踪对象、例如行人前面的其他对象，然后在确定的检测范围内检测跟踪对象、例如行人，这样，可以防止检测到位于跟踪对象、例如行人前面的骑自行车的人。但是，该技术只考虑了如何确定跟踪对象在深度方向上的检测范围（即对象与成像装置之间的距离的范围），但是该技术并不考虑拍摄视差图的车辆左右转弯或车辆上下颠簸时对跟踪对象的影响。

另外，在2011年7月5日公告的美国专利US7974442B2（题为“VehicularVision System”）中公开了一种用于识别和分类车辆附近的对象（目标）的车辆视觉系统。该系统包括产生用以生成车辆附近场景的深度图的图像的传感器阵列，处理该深度图且将其与车辆附近可能出现的目标对象的预先呈现的模板相比较，通过将预先呈现的模板与该深度图相匹配来产生目标列表，该系统处理该目标列表来产生目标大小和分类评估，然后，当该目标靠近该车辆移动时，跟踪该目标，且确定目标的位置、分类和速度。该专利仅使用预先呈现的模板来与深度图进行比较，也不考虑拍摄视差图的车辆左右转弯或车辆上下颠簸时对跟踪对象的影响。

然而，在拍摄视差图的车辆行驶过程中，总可能产生一些问题来影响视差图的拍摄和对象的跟踪。例如，在装载双目摄像机的车辆转弯或由于路面凹凸不平而产生颠簸时，即使该对象相对于该车辆的位置不变，所拍摄的视差图中所表现的对象的图像位置也可能发生很大变化。在这种情况下，现有技术中提出的技术则不能更准确地跟踪该对象。

因此，需要一种基于视差图来准确地跟踪对象的方法和系统。

发明内容

为了解决上述问题，根据本发明的一个方面，提供一种在视差图中的对象跟踪方法，包括以下步骤：第一检测步骤，检测在第一视差图中的一个或多个第一检测对象且获得各个第一检测对象的位置；第一转换步骤，将各个第一检测对象的位置转换为基于第一视差图中的第一预定参考点的坐标的各个第一检测相对位置；预估步骤，基于各个第一检测相对位置和各个第一检测对象的预定运动方向和预定运动速度，预估在第二视差图中对应于各个第一检测对象的各个第一预估对象的预估位置；第二检测步骤，检测在第二视差图中的一个或多个第二检测对象且获得各个第二检测对象的位置；第二转换步骤，将各个第二检测对象的位置转换为基于第二视差图中的第二预定参考点的坐标的各个第二检测相对位置；确定步骤，基于各个第一预估对象的预估位置以及所述各个第二检测对象的第二检测相对位置，来确定与各个第一预估对象对应的各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

优选地，所述第一预定参考点的坐标可以包括在第一视差图中的道路的消失点的横坐标和纵坐标中的至少一个，且所述第二预定参考点的坐标包括在第二视差图中的同一道路的消失点的横坐标和纵坐标中的至少一个。

优选地，所述第一检测步骤还可以获得各个第一检测对象的大小，其中，各个第一检测对象的大小用作各个第一预估对象的大小，且第二检测步骤还获得各个第二检测对象的大小。

优选地，所述确定步骤可以基于各个第一预估对象的预估位置和大小以及各个第二检测对象的第二检测相对位置和大小，来确定各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

优选地，所述确定步骤可以包括以下步骤：基于各个第一预估对象的预估位置和大小以及所述各个第二检测对象的第二检测相对位置和大小，针对每个第一预估对象，计算每个第一预估对象与各个第二检测对象在水平面上重叠的面积；如果一个第一预估对象与第二检测对象之一在所述水平面上重叠的面积最大，则确定与该第一预估对象对应的第一检测对象与所述第二检测对象之一是匹配的。

优选地，所述确定步骤还可以包括以下步骤：如果一个第一预估对象与两个以上第二检测对象在所述水平面上重叠的面积都最大，则计算该第一预估对象与两个以上第二检测对象在深度面上重叠的面积；如果该第一预估对象与所述两个以上第二检测对象之一在深度面上重叠的面积最大，则确定与该第一预估对象对应的第一检测对象与所述两个以上第二检测对象之一是匹配的。

优选地，所述确定步骤还可以包括以下步骤：计算未匹配的每个所述第一预估对象的预估位置与未匹配的各个第二检测对象的第二检测相对位置之间的最小距离；如果该计算的最小距离小于预定阈值，则确定与该第一预估对象对应的第一检测对象与具有最小距离的第二检测对象是匹配的。

优选地，所述预定阈值可以是基于与所述第一预估对象对应的第一检测对象的最大运动速度来确定的。

优选地，所述确定步骤还可以包括以下步骤：如果一个第一检测对象不与任何第二检测对象匹配，则确定该第一检测对象在第二视差图中消失，以及如果一个第二检测对象不与任何第一检测对象匹配，则确定该第二检测对象在第二视差图中是新对象。

优选地，在本方法中，在确定各个第一检测对象与各个第二检测对象之间的跟踪匹配关系之后，可以基于各个第一检测对象的第一相对检测位置和与其匹配的各个第二检测对象的第二相对检测位置，校正各个第一检测对象的预定运动方向和预定运动速度，作为与其匹配的各个第二检测对象的预定运动方向和预定运动速度。

根据本发明的另一方面，提供一种在视差图中的对象跟踪系统，包括：第一检测装置，检测在第一视差图中的一个或多个第一检测对象且获得各个第一检测对象的位置；第一转换装置，将各个第一检测对象的位置转换为基于第一视差图中的第一预定参考点的坐标的各个第一检测相对位置；预估装置，基于各个第一检测相对位置和各个第一检测对象的预定运动方向和预定运动速度，预估在第二视差图中对应于各个第一检测对象的各个第一预估对象的预估位置；第二检测装置，检测在第二视差图中的一个或多个第二检测对象且获得各个第二检测对象的位置；第二转换装置，将各个第二检测对象的位置转换为基于第二视差图中的第二预定参考点的坐标的各个第二检测相对位置；确定装置，基于各个第一预估对象的预估位置以及所述各个第二检测对象的第二检测相对位置，来确定与各个第一预估对象对应的各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

通过本公开的技术方案，可以基于视差图来更准确地跟踪对象。

附图说明

现在将参考附图仅通过例子描述本发明的优选实施例，本公开的上述以及其它目的、特征和优势将变得更加明显，在附图中：

图1是示例性地示出实践本发明的示例车辆系统的示意图；

图2是示例性地示出在车辆转弯或由于路面凹凸不平而产生颠簸时所拍摄得到的视差图中所表现的对象的图像位置的变化的示意图；

图3是示例性地示出根据本发明的一个实施例的在视差图中的对象跟踪方法的流程图；

图4是示例性地示出根据本发明的另一个实施例的在视差图中的对象跟踪系统的方框图；

图5(a)-5(c)分别示例性地示出了双目摄像机分别在第t-1帧、第t帧、第t+1帧拍摄得到的视差图和灰度图；

图6(a)-6(d)是示例性地示出了第t-1帧中将检测到的对象区域转换为基于道路消失点的对象区域的示意图；

图7示例性地示出根据第t-1帧中的基于道路消失点的对象区域而预估的第t帧中的基于道路消失点的对象区域；

图8(a)-(d)是示例性地示出了第t帧中将检测到的对象区域转换为基于道路消失点的对象区域的示意图；

图9(a)和(b)是示例性地示出在确定第t-1帧中检测的各个对象与第t帧中检测的各个对象之间的跟踪匹配关系时使用的两个方法的示意图；

图10(a)-(c)是示例性地示出在确定第t-1帧中检测的各个对象与第t帧中检测的各个对象之间的跟踪匹配关系时的另一方法的示意图；

图11(a)-(b)是示例性地示出在确定第t-1帧中检测的各个对象与第t帧中检测的各个对象之间的跟踪匹配关系之后得到的匹配的对象的区域的示意图；

图12示例性地示出校正第t-1帧中检测的各个对象的预定移动距离，作为与其匹配的第t帧中检测的各个对象的预定移动距离；以及

图13(a)-(e)是示例性地示出利用校正后的预定距离来对第t+1帧确定跟踪匹配关系的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且本领域的技术人员能够在阅读了本公开之后清楚本公开中未描述的其他实施方式也在本公开的范围之内。

图1是示例性地示出实践本发明的示例车辆系统的示意图。

在图1中，在例如车辆上安装双目摄像机，以便在车辆行驶过程中拍摄（例如图1中所示的）左图像和右图像。从所拍摄的左图像和右图像中生成视差图。在此，从所拍摄的左图像和右图像中生成视差图的方式是本领域技术人员公知的，因此不赘述。从而，间隔预定时间（例如在25帧/秒的情况下，间隔1/25秒）进行这种拍摄，使得将生成的两个或更多视差图输入处理器中，进行确定道路上的行人或车辆等对象在该预定时间（例如1/25秒）期间的跟踪匹配关系，即确定道路上的行人或车辆等对象在该预定时间（例如1/25秒）之后是否仍然能跟踪到。

当然，在车辆上应用本发明的对象跟踪方法和系统仅是示例的一个例子，基于实际需求、例如交通监视、机器人视觉导航、工业产品检测、医疗诊断、虚拟现实等等，还可以在其他物体上应用本发明的对象跟踪方法和系统以达到对象跟踪和定位的目的。

图2是示例性地示出在车辆转弯或由于路面凹凸不平而产生颠簸时所拍摄得到的视差图中所表现的对象的图像位置的变化的示意图。

正如在背景技术中阐述的，在现实中可能出现这样一种情况：在车辆转弯或由于路面凹凸不平而产生颠簸时所拍摄得到的视差图中所表现的对象的图像位置会发生巨大变化。如图2所示，图2的上部示出了当前帧的视差图，假设跟踪的对象是上部左侧的圆圈所圈住的部分。在车辆向右转弯时，见图2的下部，可以看到，跟踪的对象向左偏移了一定的距离。在这种情况下，现有技术中提出利用对象的深度的技术则不能准确地跟踪该对象。

而本公开的实施例则在上述情况下也能实现良好的对象跟踪效果。

图3是示例性地示出根据本发明的一个实施例的在视差图中的对象跟踪方法300的流程图。

该对象跟踪方法300包括：第一检测步骤（S301），检测在第一视差图中的一个或多个第一检测对象且获得各个第一检测对象的位置；第一转换步骤（S302），将各个第一检测对象的位置转换为基于第一视差图中的第一预定参考点的坐标的各个第一检测相对位置；预估步骤（S303），基于各个第一检测相对位置和各个第一检测对象的预定运动方向和预定运动速度，预估在第二视差图中对应于各个第一检测对象的各个第一预估对象的预估位置；第二检测步骤（S304），检测在第二视差图中的一个或多个第二检测对象且获得各个第二检测对象的位置；第二转换步骤（S305），将各个第二检测对象的位置转换为基于第二视差图中的第二预定参考点的坐标的各个第二检测相对位置；确定步骤（S306），基于各个第一预估对象的预估位置以及所述各个第二检测对象的第二检测相对位置，来确定与各个第一预估对象对应的各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

在一个实施例中，所述确定步骤还可以包括以下步骤：计算未匹配的每个所述第一预估对象的预估位置与未匹配的各个第二检测对象的第二检测相对位置之间的最小距离；如果该计算的最小距离小于预定阈值，则确定与该第一预估对象对应的第一检测对象与具有最小距离的第二检测对象是匹配的。

例如，通常假设例如跟踪对象与例如安装有双目摄像机的车辆的相对行驶速度最大为60km/h（例如，在标有60-120km/h的车道中），则在预定时间间隔（例如1/25秒）内，用最大速度乘以时间间隔，可以得到跟踪对象在此期间相对于车辆行进的最大距离约为6米。在该情况下，可以将上述预定阈值设置为6米。那么，如果预估对象与检测对象之间的距离大于6米，则预估对象与检测对象是匹配的跟踪对象的概率就极小，可以认为两者是不匹配的。而如果预估对象与检测对象之间的距离小于6米，则可以认为两者是匹配的。

当然，上述预定阈值不限于通过最大相对行驶速度来设置，其也可以是通过经验值来设置的，也可以是通过统计数据来设置的，等等，本公开不限于此。

上述第一视差图中的第一预定参考点和第二视差图中的第二预定参考点可以相互关联，且可以指示同一物理含义。例如，该第一预定参考点和第二预定参考点可以是、但不限于道路的消失点，其还可以是其他具有相同物理含义的点，例如太阳的点等。

在一个实施例中，所述第一预定参考点的坐标可以包括在第一视差图中的道路的消失点的横坐标和纵坐标中的至少一个，且所述第二预定参考点的坐标包括在第二视差图中的同一道路的消失点的横坐标和纵坐标中的至少一个。

也就是说，考虑该第一预定参考点或第二预定参考点时并不只是考虑它们的完整的精确位置。例如，在主要考虑例如车辆的左右转弯的情况下，这些预定参考点的位置的横坐标将更为重要，且可以只使用这些预定参考点的位置的横坐标，而同理，在主要考虑例如车辆的上下颠簸的情况下，这些预定参考点的位置的纵坐标将更为重要，且可以只使用这些预定参考点的位置的纵坐标，同理，在考虑例如车辆的左右转弯和上下颠簸等两者的情况下可以同时使用这些预定参考点的位置的横坐标和纵坐标。

在基于相隔一定时间间隔而两次拍摄视差图所处的情况下的两个预定参考点将两次拍摄的视差图分别转换为基于这两个预定参考点的视差图，使得在确定对象跟踪关系时，可以消除车辆的左右转弯和/或上下颠簸对拍摄的视差图造成的偏移影响。

在一个实施例中，所述第一检测步骤还可以获得各个第一检测对象的大小，其中，各个第一检测对象的大小用作各个第一预估对象的大小，且第二检测步骤还获得各个第二检测对象的大小。

例如，这样的大小可以包括对象的宽、高、深度，来指示立体大小。

在一个实施例中，所述确定步骤可以基于各个第一预估对象的预估位置和大小以及各个第二检测对象的第二检测相对位置和大小，来确定各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

如果将对象的大小也作为确定对象跟踪匹配关系的一个条件，可以更准确地确定对象是否匹配。

在一个实施例中，所述确定步骤可以包括以下步骤：基于各个第一预估对象的预估位置和大小以及所述各个第二检测对象的第二检测相对位置和大小，针对每个第一预估对象，计算每个第一预估对象与各个第二检测对象在水平面上重叠的面积；如果一个第一预估对象与第二检测对象之一在所述水平面上重叠的面积最大，则确定与该第一预估对象对应的第一检测对象与所述第二检测对象之一是匹配的。

计算每个第一预估对象与各个第二检测对象在水平面上重叠的面积可以意味着只考虑各个对象的宽度和深度，而不考虑对象的高度。

在一个实施例中，所述确定步骤还可以包括以下步骤：如果一个第一预估对象与两个以上第二检测对象在所述水平面上重叠的面积都最大，则计算该第一预估对象与两个以上第二检测对象在深度面上重叠的面积；如果该第一预估对象与所述两个以上第二检测对象之一在深度面上重叠的面积最大，则确定与该第一预估对象对应的第一检测对象与所述两个以上第二检测对象之一是匹配的。

计算每个第一预估对象与各个第二检测对象在深度面上重叠的面积可以意味着只考虑各个对象的宽度和高度，而不考虑对象的深度。

在一个实施例中，所述确定步骤还可以包括以下步骤：计算未匹配的每个所述第一预估对象的预估位置与未匹配的各个第二检测对象的第二检测相对位置之间的最小距离；如果该计算的最小距离小于预定阈值，则确定与该第一预估对象对应的第一检测对象与具有最小距离的第二检测对象是匹配的。

此时，可以在计算水平面和深度面的重叠面积来确定对象匹配的步骤之后仍然没有找到匹配对象的情况下，进行以下步骤。

例如，通常假设例如跟踪对象与例如安装有双目摄像机的车辆的相对行驶速度最大为60km/h（例如，在标有60-120km/h的车道中），则在预定时间间隔（例如1/25秒）内，用最大速度乘以时间间隔，可以得到跟踪对象在此期间相对于车辆行进的最大距离约为6米。在该情况下，可以将上述预定阈值设置为6米。那么，如果预估对象与检测对象之间的距离大于6米，则预估对象与检测对象是匹配的跟踪对象的概率就极小，可以认为两者是不匹配的。而如果预估对象与检测对象之间的距离小于6米，则可以认为两者是匹配的。

也就是说，在一个实施例中，所述预定阈值可以是基于与所述第一预估对象对应的第一检测对象的最大运动速度来确定的。

在此，需要指出的是，本文中提到的对象的运动速度、运动方向、移动距离等均是相对于用于拍摄视差图的物体（例如双目摄像机）的相对运动速度、运动方向、移动距离。

在一个实施例中，所述确定步骤还可以包括以下步骤：如果一个第一检测对象不与任何第二检测对象匹配，则确定该第一检测对象在第二视差图中消失，以及如果一个第二检测对象不与任何第一检测对象匹配，则确定该第二检测对象在第二视差图中是新对象。

这样，可以得出，在第二视差图中的哪些对象匹配在第一视差图中已有的对象，即在第二视差图中跟踪到了在第一视差图中已有的对象；在第二视差图中的哪些对象不匹配在第一视差图中已有的对象，即这些对象是在第二视差图中新出现的对象；第一视差图中已有的哪些对象在第二视差图中没有匹配，即这些对象在第二视差图中消失了。

在一个实施例中，在本方法中，在确定各个第一检测对象与各个第二检测对象之间的跟踪匹配关系之后，可以基于各个第一检测对象的第一相对检测位置和与其匹配的各个第二检测对象的第二相对检测位置，校正各个第一检测对象的预定运动方向和预定运动速度，作为与其匹配的各个第二检测对象的预定运动方向和预定运动速度。

这样，通过得知了第一视差图中的各个对象与第二视差图中的各个对象的匹配关系，则可以得知各个匹配的对象在该预定时间间隔期间相对于例如安装有双目摄像机的车辆而移动的距离，则可以校正各个匹配的对象的运动方向和运动速度，以便在下一预定时间间隔期间使用该校正的运动方向和运动速度来计算各个对象相对于该车辆的移动距离，以预估在下一预定时间间隔之后各个对象相对于车辆的位置。如此，可以循环往复地在下一预定时间间隔期间继续跟踪各个对象。

如此，根据本发明的实施例，可以准确地进行对象跟踪。

图4是示例性地示出根据本发明的另一个实施例的在视差图中的对象跟踪系统400的方框图。

该对象跟踪系统400包括：第一检测装置（401），检测在第一视差图中的一个或多个第一检测对象且获得各个第一检测对象的位置；第一转换装置（402），将各个第一检测对象的位置转换为基于第一视差图中的第一预定参考点的坐标的各个第一检测相对位置；预估装置（403），基于各个第一检测相对位置和各个第一检测对象的预定运动方向和预定运动速度，预估在第二视差图中对应于各个第一检测对象的各个第一预估对象的预估位置；第二检测装置（404），检测在第二视差图中的一个或多个第二检测对象且获得各个第二检测对象的位置；第二转换装置（405），将各个第二检测对象的位置转换为基于第二视差图中的第二预定参考点的坐标的各个第二检测相对位置；确定装置（406），基于各个第一预估对象的预估位置以及所述各个第二检测对象的第二检测相对位置，来确定与各个第一预估对象对应的各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

当然，该对象跟踪系统400还可以包括与上述对象跟踪方法300的各个其他步骤一一对应的装置，在此不赘述。

如此，根据本发明的实施例，可以准确地进行对象跟踪。

下面参考一个具体例子来更详细地说明本发明的对象跟踪方法的各个步骤。

图5(a)-5(c)分别示例性地示出了双目摄像机分别在第t-1帧、第t帧、第t+1帧拍摄得到的（图左侧的）视差图和（图右侧的）灰度图。

假设安装在车辆上的双目摄像机以预定时间间隔（例如1/25秒）连续拍摄了三帧，即第t-1帧、第t帧、第t+1帧。当然，也可以按不同的时间间隔进行拍摄，本发明不限制该预定时间间隔，该预定时间间隔也可以是变化的，但在本公开中为了简化描述，假设该预定时间间隔是固定的，因此利用对象的相对运动速度、方向可以计算出对象的相对移动距离，以用于在下一时间间隔中预估对象的位置，如稍后将详细描述的。

接下来将详细描述如何在第t-1帧、第t帧、第t+1帧之间匹配和跟踪对象。

图6(a)-6(d)是示例性地示出了第t-1帧中将检测到的对象区域转换为基于道路消失点的对象区域的示意图。

首先，图6(a)示例性地示出了第t-1帧中检测到的对象区域，见图6(a)中的方框标识。分别用标识1-10来标识这检测的11个对象。

此处，在视差图中检测对象区域的一种方法可以在相同申请人于2011年11月18日向中国专利局提交的申请号为201110369183.0的题为“道路对象检测方法和系统”的当前未公开专利申请中找到。在此，将该专利申请引用附于此。当然，本领域技术人员也可以使用其他或未来可能出现的检测对象的方法来在第t-1帧中检测对象。

图6(b)示例性地示出了第t-1帧中检测到的这11个对象的区域的具体位置和大小（x(pixel),y(pixel),z(mm),w(mm),h(mm),l(mm)），其中x、y代表该对象的左上角顶点在拍摄的图像中的横坐标和纵坐标，z代表该对象的深度，即该对象与拍摄所使用的例如双目摄像机之间的距离，而w代表该对象的宽度、h代表该对象的高度，l代表该对象本身的深度。如此，该x、y、z可以代表该对象的具体位置，而该w、h、l可以代表该对象的大小。

注意，在本发明中，可以仅使用对象的具体位置来进行跟踪，也可以使用具体位置和大小两者来进行跟踪（稍后将具体描述），而在图6(b)中仅是为了便于描述和理解，示出了这些对象的区域的具体位置和大小两者的例子，但本发明不限于此。

具体地，例如对象0的区域为（391,494,21455，495,721,609），也就意味着，该对象0的左上角顶点的位置为（x=391(pixel),y=494(pixel),z=21455(mm)），且该对象的大小为（w=495(mm),h=721(mm),l=609(mm)）。当然，本公开的附图中只给出了对象的左上角顶点的位置作为对象的位置，当然，本领域技术人员可以想到利用对象的中心点，右下角顶点等等其他点的位置作为对象的位置也是可能的。另外，对象1、对象2、对象3、对象4、对象5、对象6、对象7、对象8、对象9、对象10的各个具体位置和大小如图6(b)所示，在此不一一描述。

图6(c)示例性地示出了第t-1帧中的道路消失点。

正如先前所述的，应用于本发明的方法中的预定参考点不一定是道路消失点，而可以是具有其他物理含义的点，例如以太阳作为参考点等等。

在此，得到道路消失点的方法可以在相同申请人于2011年12月09日向中国专利局提交的申请号为201110409269.1的题为“基于视差信息的道路分割物检测方法”的当前未公开专利申请、以及在2005年6月8日发表的Zhencheng Hu、Francisco Lamosa、Keiichi Uchimura的题为“U-V-disparity:anefficient algorithm for stereovision based scene analysis”（ISBN:0-7695-2327-7）中找到，在此，将这些文献引用附于此。当然，本领域技术人员也可以使用其他或未来可能出现的得到道路消失点的方法来得到第t-1帧中的道路消失点的横坐标或纵坐标。

图6(d)示例性地示出了将第t-1帧中检测到的对象区域转换为基于该道路消失点的对象区域。

正如以上描述的，在主要考虑例如车辆的左右转弯的情况下，这些预定参考点的位置的横坐标将更为重要，且可以只使用这些预定参考点的位置的横坐标，而同理，在主要考虑例如车辆的上下颠簸的情况下，这些预定参考点的位置的纵坐标将更为重要，且可以只使用这些预定参考点的位置的纵坐标，同理，在考虑例如车辆的左右转弯和上下颠簸等两者的情况下可以同时使用这些预定参考点的位置的横坐标和纵坐标。

因此，示例地，在此，因为车辆的左右转弯现象较为常见、且导致的对象偏移距离较大，因此在本公开中示例性地仅考虑道路消失点的横坐标。在此，利用引用的申请号为201110409269.1的专利申请得到的道路消失点的横坐标为x_v=450(pixel)。（当然，也可以通过V-视差图（即沿图像坐标系中的V坐标方向得到表示道路消失点的y坐标，即V-视差图上道路线在视差值为0时的y的值，即为道路消失点的纵坐标。在此，本公开仅以得到道路消失点的横坐标作为例子来进行阐述，但本公开不限于此。）

从图6(d)中可以看出通过将图6(b)中得到的检测的每个对象区域的横坐标x都减去道路消失点的横坐标x_v=450(pixel)来获得基于该道路消失点的各个对象区域(x’,y,z,w，h,l)=(x-x_v,y,z,w，h,l)。具体地，例如对于对象0，将（391,494,21455，495,721,609）减去x_v=450(pixel)得到(-59,494,21455,495,721,609)。

当然，在另一实施例中，本发明不限于仅考虑道路消失点的横坐标来消除双目摄像机的左右偏移，也可以仅考虑道路消失点的纵坐标来消除双目摄像机的上下偏移、或者考虑道路消失点的横坐标和纵坐标两者来消除双目摄像机的左右偏移和上下偏移，本领域技术人员也很清楚在考虑道路消失点的纵坐标、或者考虑道路消失点的横坐标和纵坐标两者的情况下，如何得到基于该道路消失点的各个对象区域，在此不赘述。

通过转换为基于道路消失点的对象区域，可以消除安装有双目摄像机的车辆的左右转弯和/或上下颠簸等对所拍摄的图像中检测对象的位置的影响，从而能够有助于更准确地确定对象跟踪匹配关系。

图7示例性地示出根据第t-1帧中的基于道路消失点的对象区域而预估的第t帧中的基于道路消失点的对象区域。

如果预定了第t-1帧中的各个对象的运动方向和运动速度，则可以通过第t-1帧和第t帧之间相隔的时间间隔来推算出各个对象在x、y、z方向上的各自的移动距离（Δx,Δy,Δz）。其中，该Δx,Δy,Δz中的任一值、例如Δx取正值，对应于对象在x轴上的运动方向为x轴的正方向，而例如Δx取负值对应于对象在x轴上的运动方向为x轴的负方向。这些各个对象的运动方向和运动速度可以预先设定，也可以通过公知方式计算、预测等等，在此不赘述。另外，在此仅描述了通过预定的运动方向和运动速度来计算移动距离，但是也可以直接在实施例中预定移动距离。在本公开中，运动速度和运动方向可以与（取正值或负值的）移动距离可互换地使用。

而且，假设第t-1帧中的基于道路消失点的对象的大小与预估的第t帧中的基于道路消失点的对象的大小相同，即w_p=w，h_p=h，且l_p=l。

因此，根据第t-1帧中的基于道路消失点的对象区域而预估的第t帧中的基于道路消失点的对象区域为(x’_p,y_p,z_p,w_p,h_p,l_p)=（x’+Δx,y+Δy,z+Δz,w,h,l)。

在本公开中，为了简化计算和清楚地阐述本发明的原理，在第t-1帧中，将各个对象的预定运动方向和运动速度初始化为（0,0,0），即假设初始时各个对象是相对于双目摄像机静止的。

因此，根据第t-1帧中的基于道路消失点的对象区域而预估的第t帧中的基于道路消失点的对象区域为(x’_p,y_p,z_p,w_p,h_p,l_p)=（x’+0,y+0,z+0,w，h,l），从图7可以看出，预估的第t帧中的基于道路消失点的对象区域与图6(d)的对象区域相同。

图8(a)-(d)是示例性地示出了第t帧中将检测到的对象区域转换为基于道路消失点的对象区域的示意图。

图8(a)示例性地示出第t帧中检测到的对象区域，见图8(a)中的方框标识。分别用标识A、B、C、D、E来标识这检测的5个对象。

如前所述，此处，在视差图中检测对象区域的一种方法可以在相同申请人于2011年11月18日向中国专利局提交的申请号为201110369183.0的题为“道路对象检测方法和系统”的当前未公开专利申请中找到。在此，将该专利申请引用附于此。当然，本领域技术人员也可以使用其他或未来可能出现的检测对象的方法来在第t帧中检测对象。

图8(b)示例性地示出了第t帧中检测到的这5个对象的区域的具体位置和大小（x(pixel),y(pixel),z(mm),w(mm),h(mm),l(mm)），其中如前所述，x、y代表该对象的左上角顶点在拍摄的图像中的横坐标和纵坐标，z代表该对象的深度，即该对象与拍摄所使用的例如双目摄像机之间的距离，而w代表该对象的宽度、h代表该对象的高度，l代表该对象本身的深度。如此，该x、y、z可以代表该对象的具体位置，而该w、h、l可以代表该对象的大小。

注意，在本发明中，可以仅使用对象的具体位置来进行跟踪，也可以使用具体位置和大小两者来进行跟踪，而在图8(b)中仅是为了便于描述和理解，示出了这些对象的区域的具体位置和大小两者的例子，但本发明不限于此。

图8(c)示例性地示出了第t帧中的道路消失点。

正如先前所述的，应用于本发明的方法中的预定参考点不一定是道路消失点，而可以是具有其他物理含义的点，例如以太阳作为参考点等等。

如前所述，得到道路消失点的方法可以在相同申请人于2011年12月09日向中国专利局提交的申请号为201110409269.1的题为“基于视差信息的道路分割物检测方法”的当前未公开专利申请、以及在2005年6月8日发表的Zhencheng Hu、Francisco Lamosa、Keiichi Uchimura的题为“U-V-disparity:anefficient algorithm for stereovision based scene analysis”（ISBN:0-7695-2327-7）中找到，在此，将这些文献引用附于此。当然，本领域技术人员也可以使用其他或未来可能出现的得到道路消失点的方法来得到第t帧中的道路消失点的横坐标或纵坐标。

图8(d)示例性地示出了将第t帧中检测到的对象区域转换为基于该道路消失点的对象区域。

正如以上描述的，在主要考虑例如车辆的左右转弯的情况下，这些预定参考点的位置的横坐标将更为重要，且可以只使用这些预定参考点的位置的横坐标，而同理，在主要考虑例如车辆的上下颠簸的情况下，这些预定参考点的位置的纵坐标将更为重要，且可以只使用这些预定参考点的位置的纵坐标，同理，在考虑例如车辆的左右转弯和上下颠簸等两者的情况下可以同时使用这些预定参考点的位置的横坐标和纵坐标。

因此，示例地，在此，因为车辆的左右转弯现象较为常见、且导致的对象偏移距离较大，因此在本公开中先仅考虑道路消失点的横坐标。在此，利用引用的申请号为201110409269.1的专利申请得到的道路消失点的横坐标为x_v＝287(pixel)。（当然，也可以通过V-视差图（即沿图像坐标系中的V坐标方向（纵坐标方向），由上至下扫描，累加具有相同视差值的像素点的个数，而建立的V-视差图）得到表示道路消失点的y坐标，即V-视差图上道路线在视差值为0时的y的值，即为道路消失点的纵坐标。在此，本公开仅以得到道路消失点的横坐标作为例子来进行阐述，但本公开不限于此。）

从图8(d)中可以看出通过将图8(b)中得到的检测的每个对象区域的横坐标x都减去道路消失点的横坐标x_v=287(pixel)来获得基于该道路消失点的各个对象区域(x’,y,z,w，h,l)=(x-x_v,y，z,w，h,l)。具体地，例如对于对象B，将(340,347,16248,2988,2227,5816)减去x_v=287(pixel)得到(53,347,16248,2988,2227,5816)。

当然，在另一实施例中，本发明不限于仅考虑道路消失点的横坐标，也可以仅考虑道路消失点的纵坐标、或者考虑道路消失点的横坐标和纵坐标两者，本领域技术人员也很清楚在考虑道路消失点的纵坐标、或者考虑道路消失点的横坐标和纵坐标两者的情况下，如何得到基于该道路消失点的各个对象区域，在此不赘述。

图9(a)和(b)是示例性地示出在确定第t-1帧中检测的各个对象与第t帧中检测的各个对象之间的跟踪匹配关系时使用的两个方法的示意图。

首先参考图9(a)，根据图8(d)所示的实际检测的第t帧的基于道路消失点的对象区域(x’,y，z,w，h,l)（例如对象区域1），可以得到图9(a)左上的立方体，其中左上角顶点的坐标为(x’,y，z)，且该对象的立方体的宽为w（mm），高为h（mm），且深度为l（mm）。

根据图7所示的根据第t-1帧预估的第t帧的基于道路消失点的对象区域(x’_p,y_p,z_p,w_p,h_p,l_p)（例如对象区域B），可以得到图9(a)右下的立方体，其中左上角顶点的坐标为(x’_p,y_p,z_p)，且该对象的立方体的宽为w_p（mm），高为h_p（mm），且深度为l_p（mm）。

如果不考虑对象的大小、即不考虑（w，h,l）以及（w_p,h_p,l_p）而仅考虑对象的位置、即仅考虑对象左上角顶点的位置(x’,y,z)和(x’_p,y_p,z_p)的情况下，该方法可以包括计算每个基于第t-1帧而预估的第t帧的对象的位置(x’_p,y_p,z_p)与各个第t帧中实际检测的对象的位置(x’,y,z)之间的最小距离；如果该计算的最小距离小于预定阈值，则确定与第t-1帧中检测的该对象与第t帧中检测的该对象是匹配的。

也就是说，具体地，例如，通过

来计算基于第t-1帧而预估的第t帧的对象1的一个位置(x’_p,y_p,z_p)与各个第t帧中实际检测的各个对象B、C、E、A、D的位置(x’,y,z)之间的距离d。然后，得到这些距离d中的最小距离d_min（例如，假设，对象1与对象B的左上角顶点的距离d最小），并将这些距离中的最小距离d_min与预定阈值相比较，如果该最小距离d_min小于预定阈值，则确定第t-1帧的该对象1与该第t帧的具有最小距离d_min的对象（例如为对象B）相匹配。

当然计算两个对象之间的距离的方式不限于此，也可以通过除了左上角顶点以外的其他点之间的距离来计算，在此不赘述。

也就是说，只考虑对象的位置，也可以进行本公开实施的对象跟踪方法。

图9(b)是示出了不仅考虑对象左上角顶点的位置(x’,y,z)和(x’_p,y_p,z_p)、也考虑对象的大小（w，h,l）以及（w_p,h_p,l_p）的情况下计算两个对象的距离的示意图。

参考图9(b)，根据图8(d)所示的实际检测的第t帧的基于道路消失点的对象区域(x’,y，z,w,h,l)（例如对象区域1），可以得到图9(b)左上的立方体，其中左上角顶点的坐标为(x’,y，z)，且该对象的立方体的宽为w（mm），高为h（mm），且深度为l（mm）。该实际检测的第t帧的对象区域的中心点为c。

根据图7所示的根据第t-1帧预估的第t帧的基于道路消失点的对象区域(x’_p,y_p,z_p,w_p,h_p,l_p)（例如对象区域B），可以得到图9(b)右下的立方体，其中左上角顶点的坐标为(x’_p,y_p,z_p)，且该对象的立方体的宽为w_p（mm），高为h_p（mm），且深度为l_p（mm）。该预估的第t帧的对象区域的中心点为c_p。

例如，为了计算c与c_p之间的距离，通过公式

$d=\sqrt{{(x^{\′}+w/2-(x_p+w_p/2))}^2+{(y+h/2-(y_p+h_p/2))}^2+{(z+w/2-(z_p+l_p/2))}^2},$ 计算两个立体对象（例如对象1分别与各个对象B、C、E、A、D）的立体中心点之间的距离d。然后，得到这些距离d中的最小距离d_min（例如，假设对象1与对象B的中心点的距离最小），并将这些距离中的最小距离d_min与预定阈值相比较，如果该最小距离d_min小于预定阈值，则确定第t-1帧的该对象1与该第t帧的具有最小距离d_min的对象（例如为对象B）相匹配。

当然计算两个对象之间的距离的方式不限于此，也可以通过除了立体中心点以外的其他点之间的距离来计算，在此不赘述。

在确定了所有预估对象1、2……10与检测对象A、B……E之间的匹配关系之后，如果一个预估对象不与任何检测对象匹配，则确定与该预估对象对应的检测对象在第t帧中消失，以及如果一个检测对象不与任何预估对象匹配，则确定该检测对象在第t帧中是新对象。

这样，可以比图9(a)所示的方法更精确地确定两个对象在立体空间中的距离，以进一步确定跟踪匹配关系。

以上，可以用简化的计算来得到第t帧中预估的对象与实际检测的对象之间的跟踪匹配关系，作为与第t帧中预估的对象对应的第t-1帧中的实际检测对象与第t帧中实际检测的对象之间的跟踪匹配关系。

下面，介绍用稍微复杂的计算来更精确地得到第t-1帧中的实际检测对象与第t帧中实际检测的对象之间的跟踪匹配关系的另一种方法。

图10(a)-(c)是示例性地示出在确定第t-1帧中检测的各个对象与第t帧中检测的各个对象之间的跟踪匹配关系时的另一种方法的示意图。

在得到如图9(b)所示的实际检测的第t帧的基于道路消失点的对象区域(x’,y,z,w,h,l)（例如对象区域1），其中左上角顶点的坐标为(x’,y,z)，且该对象的立方体的宽为w（mm），高为h（mm），且深度为l（mm），以及根据第t-1帧预估的第t帧的基于道路消失点的对象区域(x’_p,y_p,z_p,w_p,h_p,l_p)（例如对象区域B），其中左上角顶点的坐标为(x’_p,y_p,z_p)，且该对象的立方体的宽为w_p（mm），高为h_p（mm），且深度为l_p（mm）。

为了确定实际检测的第t帧的基于道路消失点的对象区域（例如对象1）与根据第t-1帧预估的第t帧的基于道路消失点的对象区域（例如对象B）之间的跟踪匹配关系，可以分别经过如下步骤（当然也可以仅经过如下步骤之一，这些步骤的顺序也不限制）：

基于各个预估对象的预估位置（例如x’_p,y_p,z_p）和大小（例如w_p,h_p,l_p）以及所述各个检测对象的相对位置（例如x’,y,z）和大小（例如w，h,l），针对每个预估对象（例如，对象0、1、2……10），计算每个预估对象与各个检测对象（例如对象B、C、E、A、D）在U-视差图（即，水平面）上重叠的面积。

其中，U-视差图意味着在水平面上的，从上往下看去的各个对象的样子，如图10(a)所示，可见从上往下看上去，在水平面上，只考虑对象的宽w和w_p以及对象的深度l和l_p，而看不到、也不考虑对象的高度h和h_p。

然后，如果一个预估对象（例如对象1）与检测对象（例如对象B、C、E、A、D）之一（例如对象B）在U-视差图上重叠的面积最大，则确定与该预估对象（例如对象1）对应的第t-1帧中的检测对象（例如仍然是对象1）与第t帧中的检测对象之一（例如对象B）是匹配的。

具体地，参考图10(a)，在计算例如对象1与例如对象B在U-视差图上重叠的面积（如图10(a)中阴影部分的面积）时，可以通过公式Su=(x’+w–x’_p)×(z_p+l_p-z)来计算。在分别计算了对象1与对象B、对象1与对象C、对象1与对象E、对象1与对象A、对象1与对象D的所有）在U-视差图上重叠的面积之后，则确定在U-视差图上重叠的面积最大的对象（例如对象B）作为与对象1相匹配的对象。

如此，仅利用U-视差图上的重叠面积的计算已经可以确定是否匹配这些对象了。这种U-视差图由于仅考虑从上向下看去的对象的样子，因此可以适当地消除双目摄像机的上下偏移而导致的误差。而且，在结合了之前基于道路消失点的转换以消除了双目摄像机左右偏移而导致的误差的情况下，该实施例可以同时消除双目摄像机的上下偏移和左右偏移造成的影响。

但是，有时候，这样的在U-视差图上重叠的面积不一定只有一个最大值，如果一个预估对象与两个以上检测对象在所述U-视差图上重叠的面积都最大，则可以计算该预估对象与两个以上检测对象在X-Y-视差图（即深度面）上重叠的面积。其中X-Y-视差图意味着在深度面上的，从前往后看去的各个对象的样子，如图10(b)所示，可见从从前往后看去，在深度面上，只考虑对象的宽w和w_p以及对象的高度h和h_p，而看不到、也不考虑对象的深度l和l_p。

如果该预估对象与所述两个以上检测对象之一在X-Y-视差图上重叠的面积最大，则确定与该预估对象对应的第t-1帧中的检测对象与第t帧中的所述两个以上检测对象之一是匹配的。

具体地，参考图10(b)，在计算预估对象与检测对象在X-Y-视差图上重叠的面积（如图10(b)中阴影部分的面积）时，可以通过公式S_x-y=(x’+w–x’_p)×(y_p+h_p-y)来计算。在分别计算了预估对象与该两个以上检测对象在X-Y-视差图上重叠的面积之后，则确定在X-Y-视差图上重叠的面积最大的一个检测对象作为与预估对象相匹配的对象，即可以确定与该预估对象对应的第t-1帧中的检测对象与第t帧中的该检测对象是匹配的。

例如，在经过了U-视差图和X-Y视差图上的重叠面积的计算之后，通过本公开中公开的各个对象区域的具体数值，可以得到对象B和1、对象C和2在U-视差图和/或X-Y-视差图中的重叠面积都大于0，其他重叠面积都是0，因此可以得到对象1与对象B匹配，对象2与对象C匹配。

当然，本公开提到的是先计算U-视差图的重叠面积、在重叠面积有2个最大面积时才使用X-Y-视差图的重叠面积，但是本公开不限于此，也可以单独使用X-Y-视差图的重叠面积来进行对象的跟踪匹配，甚至还可以单独或组合地使用V-视差图（即从左向右看去的对象的样子）来进行对象的跟踪匹配等。

如果，通过图10(a)和图10(b)的U-视差图和X-Y-视差图的重叠面积的计算之后，第t帧的一些预估对象（例如，对象3、4、……10）和第t帧的一些检测对象（例如，对象A、E、D）仍然没有被匹配，则可以计算未匹配的每个所述预估对象的预估位置与未匹配的各个检测对象的位置之间的最小距离；如果该计算的最小距离小于预定阈值（例如之前预定的6米），则确定与该预估对象对应的第t-1帧的检测对象与具有最小距离的第t帧的检测对象是匹配的。

通过本公开中公开的各个对象区域的具体数值，可以计算得到对象3和具有最小距离的对象E之间的距离是2米，小于预定阈值6米，因此对象3与对象E匹配。

具体的计算两个对象之间的距离的方法可以是如之前参考图9(a)和9(b)所示的方法，在此不赘述。当然，本公开也不限于此。

在图10(c)中仅示例性的示出了计算两个对象的立体中心点之间的距离的方式，这仅是为了使得对跟踪匹配关系的确定更加准确，而不是限制。

最后，如果一个预估对象不与任何检测对象匹配，则确定与该预估对象对应的检测对象在第t帧中消失，以及如果一个检测对象不与任何预估对象匹配，则确定该检测对象在第t帧中是新对象。

具体地，在该例子中，对象4、5……10都没有匹配，则说明这些对象4、5……10在第t帧中消失了。而在第t帧中检测的对象中有2个检测对象与所有预估对象都不匹配，则说明在第t帧中出现了两个新对象，可以分别将其标识为对象11和对象12。

图11(a)-(b)是示例性地示出在确定第t-1帧中检测的各个对象与第t帧中检测的各个对象之间的跟踪匹配关系之后得到的匹配的对象的区域的示意图。

图11(a)示出了经过上述计算得到的，第t帧中检测到的对象B、C、E、A、D与第t-1帧中检测到的对象0、1、2、……10之间的跟踪匹配关系。可见，对象B与对象1匹配，对象C与对象2匹配，对象E与对象3匹配，而对象11和12则是第t帧中新出现的两个对象，因此分别用新的标识11、12来表示。

图11(b)则形象地示出了在第t帧的图像中最后确定的匹配的对象区域的方框。

这样，通过单独或结合地使用U-视差图、X-Y-视差图上的重叠面积以及距离，可以比图9(a)和图9(b)所示的仅使用距离的方法更精确地确定两个对象的跟踪匹配关系。

如此，根据该一个或多个实施例，可以更精确地得到第t帧中预估的对象与实际检测的对象之间的跟踪匹配关系，作为与第t帧中预估的对象对应的第t-1帧中的实际检测对象与第t帧中实际检测的对象之间的跟踪匹配关系。

图12示例性地示出校正第t-1帧中检测的各个对象的预定运动方向和预定运动速度（或移动距离），作为与其匹配的第t帧中检测的各个对象的预定运动方向和预定运动速度（或移动距离）。

在确定第t-1帧中各个检测对象与第t帧中各个检测对象之间的跟踪匹配关系之后，基于第t-1帧中各个检测对象的基于道路消失点的位置和与其匹配的第t帧中各个检测对象的基于道路消失点的位置，可以校正第t-1帧中各个检测对象的预定运动方向和预定运动速度，作为与其匹配的第t帧中各个检测对象的预定运动方向和预定运动速度。

当然，在本公开中，为了简化计算，在假设各帧之间的时间间隔相等的情况下，仅用移动距离来表示运动方向和运动速度的概念。

Δx=x’_t–x’_t-1,Δy=y_t–y_t-1,Δz=z_t–z_t-1。对新对象11和12，(Δx,Δy,Δz)=(0,0,0)。其中x’_t表示第t帧中的检测对象的基于道路消失点的位置的横坐标，而x’_t-1表示第t-1帧中的检测对象的基于道路消失点的位置的横坐标，y_t表示第t帧中的检测对象的基于道路消失点的位置的纵坐标，而y_t-1表示第t-1帧中的检测对象的基于道路消失点的位置的纵坐标，z_t表示第t-1帧中的检测对象的基于道路消失点的位置的深度坐标，而z_t-1表示第t帧中的检测对象的基于道路消失点的位置的深度坐标。

如果计算得到了（Δx,Δy,Δz），则可以通过第t-1帧和第t帧之间的时间间隔，推断第t帧中的各个检测对象的运动方向和运动速度。其中，该Δx,Δy,Δz中的任一值、例如Δx取正值，对应于对象在x轴上的运动方向为x轴的正方向，而例如Δx取负值对应于对象在x轴上的运动方向为x轴的负方向。

见图12所示，例如，校正后，在第t帧中标识为1的对象的移动距离为（3,-18,-1730），而第t帧中新出现的新对象11的移动距离则为（0,0,0）。需要注意的是，在本公开中，（取正值或负值的）移动距离可以与运动速度和运动方向可交换地使用。

下面将示例性地介绍利用校正后的第t帧的各个对象的移动距离来对第t+1帧中检测的各个对象进行跟踪匹配。当然，本领域技术人员根据本公开中的对第t-1帧和第t帧的对象的跟踪匹配的方法的详细描述，已经可以推断出对于第t+1帧中检测的各个对象进行跟踪匹配的方式了，但是，为了使得本公开更清楚，以下仍然对此进行描述，但是这些描述不是限制性的。

图13(a)-(e)是示例性地示出利用校正后的移动距离来对第t+1帧确定跟踪匹配关系的示意图。

图13(a)示例性地示出了利用校正后的第t帧的对象（例如对象1、2、3、11、12）的移动距离和第t帧的对象的基于道路消失点的对象区域（x’,y,z,w，h,l），来预估第t+1帧中的预估对象的基于道路消失点的对象区域（x’_p,y_p,z_p,w_p,h_p,l_p）。其中，x _p=x’+Δx,y_p=yt+Δy,z_p=z_t+Δz，w_p=w，h_p=h,l_p=l，即(x _p,y_p,z_p,w_p,h_p,l_p)=（x’+Δx,y+Δy,z+Δz,w,h,l）。

然后，利用上述的申请号为201110369183.0的题为“道路对象检测方法和系统”的当前未公开专利申请（或其他现有技术中公开的或未来可能出现的对象检测方法）来检测第t+1帧中的实际检测的对象（例如对象A、B、C、D、E、F、G、H）的对象区域（位置和大小），见图13(b)和图13(c)所示。

然后，利用上述的申请号为201110409269.1的题为“基于视差信息的道路分割物检测方法”的当前未公开专利申请（或其他现有技术中公开的或未来可能出现的道路消失点检测方法）来检测得到道路消失点的横坐标x_v＝122(pixel)。

类似地，通过第t+1帧的检测的每个对象（例如对象A、B、C、D、E、F、G、H）的对象区域的横坐标x都减去道路消失点的横坐标x_v=122(pixel)来获得基于第t+1帧的该道路消失点的各个对象区域(x’,y,z,w，h,l)=(x-x_v,y,z,w，h,l)，如图13(d)所示。

然后，通过参考图9(a)或图9(b)所示的方法或参考图10(a)-10(c)所示的方法来确定对象1、2、3、11、12与对象A、B、C、D、E、F、G、H之间的跟踪匹配关系。在此不赘述。

从而得到如图13(e)所示的匹配的对象区域。

因此，可以进一步校正第t+1帧的各个匹配的对象的移动距离以用于下一帧（第t+2帧）的跟踪匹配中。如此循环往复，则可以连续跟踪对象，以用于交通监视、辅助驾驶，汽车检测和跟踪，驾驶警报系统、机器人视觉导航、工业产品检测、医疗诊断、虚拟现实等各实际领域。

本公开中主要阐述了跟踪对象的方法的各个步骤且举例了某些变化的步骤，本领域技术人员可以知道，与这些步骤和变化的步骤一一对应的装置也应该在本公开的范围内，在此不赘述。

这里引用的所有专利、专利申请、文章、其他公开物、文档和事物为了所有目的在此通过该引用合并其全文。如有任何合并的公开物、文档或事物与本公开之间有术语定义或使用的任何不一致或冲突，以本公开为准。

当然，本领域技术人员根据本公开已经可以理解各个术语的本质含义，本公开的内容并不仅局限于具体的术语所给出的狭窄的含义，而是可以指示在本公开的精神和原理内的广泛的含义。

以上公开已经描述了基于视差图来准确地跟踪对象的方法和系统的各个实施例，但是，上述描述是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本领域技术人员应该理解，在所附权利要求或其等同物的范围内，可以基于设计需要和其他因素进行各种修改、组合、子组合和变更。

Claims (10)

1.一种在视差图中的对象跟踪方法，包括以下步骤：

第一检测步骤，检测在第一视差图中的一个或多个第一检测对象且获得各个第一检测对象的位置；

第一转换步骤，将各个第一检测对象的位置转换为基于第一视差图中的第一预定参考点的坐标的各个第一检测相对位置；

预估步骤，基于各个第一检测相对位置和各个第一检测对象的预定运动方向和预定运动速度，预估在第二视差图中对应于各个第一检测对象的各个第一预估对象的预估位置；

第二检测步骤，检测在第二视差图中的一个或多个第二检测对象且获得各个第二检测对象的位置；

第二转换步骤，将各个第二检测对象的位置转换为基于第二视差图中的第二预定参考点的坐标的各个第二检测相对位置；

确定步骤，基于各个第一预估对象的预估位置以及所述各个第二检测对象的第二检测相对位置，来确定与各个第一预估对象对应的各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

2.根据权利要求1所述的方法，其中，所述第一预定参考点的坐标包括在第一视差图中的道路的消失点的横坐标和纵坐标中的至少一个，且所述第二预定参考点的坐标包括在第二视差图中的同一道路的消失点的横坐标和纵坐标中的至少一个。

3.根据权利要求1所述的方法，其中，所述第一检测步骤还获得各个第一检测对象的大小，其中，各个第一检测对象的大小用作各个第一预估对象的大小，且所述第二检测步骤还获得各个第二检测对象的大小，

其中，所述确定步骤基于各个第一预估对象的预估位置和大小以及各个第二检测对象的第二检测相对位置和大小，来确定各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

4.根据权利要求3所述的方法，其中，所述确定步骤包括以下步骤：

基于各个第一预估对象的预估位置和大小以及所述各个第二检测对象的第二检测相对位置和大小，针对每个第一预估对象，计算每个第一预估对象与各个第二检测对象在水平面上重叠的面积；

如果一个第一预估对象与第二检测对象之一在所述水平面上重叠的面积最大，则确定与该第一预估对象对应的第一检测对象与所述第二检测对象之一是匹配的。

5.根据权利要求4所述的方法，其中，所述确定步骤还包括以下步骤：

如果一个第一预估对象与两个以上第二检测对象在所述水平面上重叠的面积都最大，则计算该第一预估对象与两个以上第二检测对象在深度面上重叠的面积；

如果该第一预估对象与所述两个以上第二检测对象之一在深度面上重叠的面积最大，则确定与该第一预估对象对应的第一检测对象与所述两个以上第二检测对象之一是匹配的。

6.根据权利要求1或5所述的方法，其中，所述确定步骤还包括以下步骤：

计算未匹配的每个所述第一预估对象的预估位置与未匹配的各个第二检测对象的第二检测相对位置之间的最小距离；

如果该计算的最小距离小于预定阈值，则确定与该第一预估对象对应的第一检测对象与具有最小距离的第二检测对象是匹配的。

7.根据权利要求6所述的方法，其中，所述预定阈值是基于与所述第一预估对象对应的第一检测对象的最大运动速度来确定的。

8.根据权利要求6所述的方法，其中，所述确定步骤还包括以下步骤：

如果一个第一检测对象不与任何第二检测对象匹配，则确定该第一检测对象在第二视差图中消失，以及

如果一个第二检测对象不与任何第一检测对象匹配，则确定该第二检测对象在第二视差图中是新对象。

9.根据权利要求1所述的方法，还包括：

在确定各个第一检测对象与各个第二检测对象之间的跟踪匹配关系之后，基于各个第一检测对象的第一相对检测位置和与其匹配的各个第二检测对象的第二相对检测位置，校正各个第一检测对象的预定运动方向和预定运动速度，作为与其匹配的各个第二检测对象的预定运动方向和预定运动速度。

10.一种在视差图中的对象跟踪系统，包括：

第一检测装置，检测在第一视差图中的一个或多个第一检测对象且获得各个第一检测对象的位置；

第一转换装置，将各个第一检测对象的位置转换为基于第一视差图中的第一预定参考点的坐标的各个第一检测相对位置；

预估装置，基于各个第一检测相对位置和各个第一检测对象的预定运动方向和预定运动速度，预估在第二视差图中对应于各个第一检测对象的各个第一预估对象的预估位置；

第二检测装置，检测在第二视差图中的一个或多个第二检测对象且获得各个第二检测对象的位置；

第二转换装置，将各个第二检测对象的位置转换为基于第二视差图中的第二预定参考点的坐标的各个第二检测相对位置；

确定装置，基于各个第一预估对象的预估位置以及所述各个第二检测对象的第二检测相对位置，来确定与各个第一预估对象对应的各个第一检测对象与各个第二检测对象之间的跟踪匹配关系。

Images