发明内容
为了解决现有的轨迹预测方法只能准确预测目标在未来较短时间内的轨迹的问题,本申请实施例提供一种轨迹预测方法、装置及地图。
第一方面,本申请实施例公开一种轨迹预测方法,包括:
确定至少一个目标点,所述目标点与车辆之间的距离在第一范围内;
根据所述至少一个目标点以及目标所在的地理位置,获取所述目标与所述至少一个目标点之间的至少一条参考轨迹;
从所述至少一条参考轨迹中确定所述目标的预测轨迹。
通过这一方案,在预测目标的轨迹时,不仅仅依靠目标的历史运动信息,并且还结合了目标点的信息,因此,该方案不仅能够准确预测目标在未来较短时间内的轨迹,还能够提高预测目标在未来较长时间的轨迹的准确度。
一种可选的设计中,所述确定至少一个目标点,包括:
通过查询标注有参考点的地图,或通过查询用于指示所述参考点的文本文件,确定第一参考点,所述第一参考点与所述车辆之间的距离在所述第一范围内;
如果所述第一参考点的数量不大于n,确定所述第一参考点为所述目标点,n为预设的正整数;
如果所述第一参考点的数量大于n,从所述第一参考点中,筛选所述至少一个目标点。
通过上述设计,能够基于标注有参考地点的地图和/或用于指示参考地点的文本文件,确定至少一个目标点。
一种可选的设计中,所述获取所述目标与所述至少一个目标点之间的至少一条参考轨迹,包括:
确定所述目标前往所述至少一个目标点的历史轨迹为所述至少一条参考轨迹;
或者,
确定在满足交通规则的情况下,所述目标与所述至少一个目标点中任意一个目标点之间的最短轨迹为一条参考轨迹。
一种可选的设计中,所述从所述至少一条参考轨迹中确定所述目标的预测轨迹,包括:
根据所述目标的运动趋势,确定所述目标在未来s秒内的短期轨迹;
根据所述短期轨迹,确定所述至少一条参考轨迹的置信度,所述参考轨迹的置信度用于表示所述参考轨迹与所述短期轨迹的贴合程度;
确定所述置信度最高的参考轨迹为所述目标的预测轨迹。
通过上述设计,能够基于参考轨迹的置信度,确定所述参考轨迹中的预测轨迹,其中,参考轨迹的置信度越高,则所述参考轨迹越贴合所述短期轨迹,因此,上述设计所确定的预测轨迹为所述参考轨迹中最贴合目标的运动趋势的参考轨迹。
一种可选的设计中,所述根据所述目标的运动趋势,确定所述目标在未来s秒内的短期轨迹,包括:
确定所述目标在保持当前的运动趋势下,运动s秒的轨迹为所述短期轨迹;
或者,
根据所述目标的运动趋势,确定所述目标的第二参数,所述目标的第二参数包括所述目标的历史运动速度、历史运动方向、所述目标的地理位置和所述目标的环境信息;
将所述第二参数输入神经网络模型之后,获取所述神经网络模型输出的所述目标在未来的s秒内的短期轨迹。
一种可选的设计中,所述根据所述短期轨迹,确定所述至少一条参考轨迹的置信度,包括:
根据以下公式确定所述短期轨迹在所述至少一条参考轨迹上的投影值,所述投影值为所述至少一条参考轨迹的置信度:
其中,
为所述短期轨迹
在参考轨迹
上的投影值,
为所述短期轨迹
与所述参考轨迹
之间的夹角,所述参考轨迹
为所述至少一条参考轨迹中的任意一条参考轨迹。
一种可选的设计中,还包括:
在根据所述预测轨迹,确定所述车辆即将与所述目标发生碰撞之后,调整所述车辆的驾驶行为。
通过这一设计,能够根据所述预测轨迹,对车辆的驾驶行为进行规划,从而提高车辆对驾驶的规划能力,以及保障车辆的安全性和舒适性。
第二方面,本申请实施例公开一种轨迹预测装置,包括:
处理器和收发接口;
所述收发接口用于接收传感器的信息;
所述处理器用于根据所述传感器的信息,确定至少一个目标点,所述目标点与车辆之间的距离在第一范围内,根据所述至少一个目标点以及目标所在的地理位置,获取所述目标与所述至少一个目标点之间的至少一条参考轨迹,从所述至少一条参考轨迹中确定所述目标的预测轨迹。
一种可选的设计中,所述处理器具体用于,通过查询标注有参考点的地图,或通过查询用于指示所述参考点的文本文件,确定第一参考点,所述第一参考点与所述车辆之间的距离在所述第一范围内;
如果所述第一参考点的数量不大于n,确定所述第一参考点为所述目标点,n为预设的正整数;
如果所述第一参考点的数量大于n,从所述第一参考点中,筛选所述至少一个目标点。
一种可选的设计中,所述处理器具体用于,确定所述目标前往所述至少一个目标点的历史轨迹为所述至少一条参考轨迹;
或者,
所述处理器具体用于,确定在满足交通规则的情况下,所述目标与所述至少一个目标点中任意一个目标点之间的最短轨迹为一条参考轨迹。
一种可选的设计中,所述处理器具体用于,根据所述目标的运动趋势,确定所述目标在未来s秒内的短期轨迹;
根据所述短期轨迹,确定所述至少一条参考轨迹的置信度,所述参考轨迹的置信度用于表示所述参考轨迹与所述短期轨迹的贴合程度;
确定所述置信度最高的参考轨迹为所述目标的预测轨迹。
一种可选的设计中,所述处理器具体用于,确定所述目标在保持当前的运动趋势下,运动s秒的轨迹为所述短期轨迹;
或者,
所述处理器具体用于,根据所述目标的运动趋势,确定所述目标的第二参数,所述目标的第二参数包括所述目标的历史运动速度、历史运动方向、所述目标的地理位置和所述目标的环境信息;
将所述第二参数输入神经网络模型之后,获取所述神经网络模型输出的所述目标在未来的s秒内的短期轨迹。
一种可选的设计中,所述处理器具体用于,根据以下公式确定所述短期轨迹在所述至少一条参考轨迹上的投影值,所述投影值为所述至少一条参考轨迹的置信度:
其中,
为所述短期轨迹
在参考轨迹
上的投影值,
为所述短期轨迹
与所述参考轨迹
之间的夹角,所述参考轨迹
为所述至少一条参考轨迹中的任意一条参考轨迹。
一种可选的设计中,所述处理器还用于,在根据所述预测轨迹,确定所述车辆即将与所述目标发生碰撞之后,调整所述车辆的驾驶行为。
第三方面,本申请实施例提供一种地图,包括:
第一图层;
所述第一图层包括至少一个参考点,所述参考点包括以下至少一种地点:商贸行业所在地点、企业所在地点和服务行业所在地点。
通过本申请实施例提供的地图,有助于在预测目标的轨迹的过程中,查询到目标可能前往的参考点,并可根据查询到的参考点以及对目标的调研信息,确定目标点。因此,通过本申请实施例提供的地图进行目标的轨迹的预测,不仅仅依靠目标的历史运动信息,还结合了目标点的信息,有助于提高预测目标在未来较长时间内的轨迹的准确度。
一种可选的设计中,所述参考点为在第一时间段内,经过人数不少于第二阈值的地点。
第四方面,本申请实施例提供一种终端装置,包括:
至少一个处理器和存储器,
所述存储器,用于存储程序指令;
所述处理器,用于调用并执行所述存储器中存储的程序指令,以使所述终端装置执行第一方面所述的轨迹预测方法。
第五方面,本申请实施例提供一种计算机可读存储介质;
所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得所述计算机执行如第一方面所述的方法。
第六方面,本申请实施例提供一种包含指令的计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如第一方面所述的方法。
本申请实施例提供一种轨迹预测方法,在该方法中,首先确定至少一个目标点,并确定车辆的目标与所述至少一个目标点之间的至少一条参考轨迹,再从所述至少一条参考轨迹中确定所述目标的预测轨迹。
也就是说,本申请实施例提供的方案在对目标的轨迹进行预测时,需要确定目标点。其中,目标点通常指的是目标前往概率较大的地点。这种情况下,在通过本申请实施例提供的方案预测目标的轨迹时,不仅仅依靠目标的历史运动信息,并且还结合了目标点的信息。
与现有预测目标的轨迹的方法相比,本申请实施例提供的方案在预测目标的轨迹时,可结合更加多样化的信息,因此,本申请实施例提供的方案不仅能够准确预测目标在未来较短时间内的轨迹,还能够提高预测目标在未来较长时间的轨迹的准确度。
现有技术通常只能准确预测目标在未来3~5秒内的轨迹,而本申请实施例提供的方案能够对目标在未来5~20秒的轨迹进行准确预测,与现有技术相比,本申请实施例提供的方案提高了预测目标在未来较长时间内的轨迹的准确度。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“或者”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A或者B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
现有的轨迹预测方法只能准确预测目标在未来较短时间内的轨迹,而在预测目标在未来较长时间内的轨迹时,准确度较低。为了解决这一技术问题,本申请实施例提供一种轨迹预测方法和装置,可应用于车用无线通信(vehicle to everything,V2X)、智能汽车、自动驾驶、车联网或网联驾驶等领域。
该方法可应用于车辆,该车辆通常为智能车辆,在一种可能的实现方式中,该车辆可配置为完全或部分地自动驾驶模式。例如,该车辆可以在处于自动驾驶模式中的同时,还可结合人为操作来确定车辆及其周边环境的当前状态,以及确定周边环境中的至少一个其他车辆或行人等目标的可能行为,并基于所确定的信息控制该车辆。另外,在车辆处于自动驾驶模式中时,可以将车辆置为在没有和人交互的情况下操作。
图1是本发明实施例提供的车辆100的功能框图。参见图1,车辆100可包括各种子系统,例如行进系统102、传感器系统104、规划控制系统106、一个或多个外围设备108以及电源110、计算机系统101和用户接口116。
可选地,车辆100可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,车辆100的每个子系统和元件可以通过有线或者无线互连。
行进系统102可包括为车辆100提供动力的组件。在一个实施例中,推进系统102可包括引擎118、能量源119、传动装置120和车轮121。其中,引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的一种引擎或多种引擎的组合,这里多种引擎的组合,举例来说可以包括:汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。
能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为车辆100的其他系统提供能量。
传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置120还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。
传感器系统104可包括感测关于车辆100自身以及车辆100周边的环境的信息的若干个传感器。例如,传感器系统104可包括定位系统122(定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)124、雷达126、激光测距仪128、相机130、计算机视觉系统138以及传感器融合算法140。传感器系统104还可包括车辆100的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个传感器数据可用于检测待检测的对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆100实现安全操作的关键功能。
全球定位系统122可用于估计车辆100的地理位置。IMU 124用于基于惯性加速度来感测车辆100的位置和朝向变化。在一个实施例中,IMU 124可以是加速度计和陀螺仪的组合。
雷达126可利用无线电信号来感测车辆100的周边环境中的物体。在一些实施例中,除了感测物体以外,雷达126还可用于感测物体的速度或者行进方向。
激光测距仪128可利用激光来感测车辆100所处环境中的物体。在一些实施例中,激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。
相机130可用于捕捉车辆100的周边环境的多个图像。相机130可以是静态摄像头或视频摄像头。
计算机视觉系统138可以操作来处理和分析由相机130捕捉的图像以便识别车辆100周边环境中的物体或者特征。所述物体或者特征可包括交通信号、道路边界和目标。计算机视觉系统138可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统138可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。
规划控制系统106为控制车辆100及其组件的操作。规划控制系统106可包括各种元件,其中包括转向系统132、油门134、制动单元136、路线控制系统142以及目标避免系统144。
通过对转向系统132的操作可以调整车辆100的前进方向。例如在一个实施例中可以为方向盘系统。
油门134用于控制引擎118的操作速度并进而控制车辆100的速度。
制动单元136用于控制车辆100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中,制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制车辆100的速度。
路线规划系统142用于确定车辆100的行驶路线。在一些实施例中,路线规划系统142可结合来自传感器138、GPS 122和一个或多个预定地图的数据为车辆100规划出能避开环境中潜在目标的行驶路线。本申请实施例提供的轨迹规划方法,即可以由路线规划系统142执行,以为车辆100输出一条目标行驶轨迹,该目标行驶轨迹包含多个目标路点,其中,多个目标路点中的每个目标路点包含该路点的坐标,以及该路点的横向允许误差和速度允许误差,本文所述的横向允许误差包括横向允许误差的取值范围,在一些情况下可以理解为横向允许误差的取值范围的简称。这里的横向,是指与车辆行进方向垂直的方向或近似垂直方向;横向允许误差,其实质含义为横向位移允许误差,也即车辆100在车辆行进方向的垂直方向或近似垂直方向上,允许的位移误差的取值范围。后文对此不再赘述。
控制系统144用于根据路线规划系统输出的行驶路线/行驶轨迹生成油门刹车以及转向角的控制量,从而对转向系统132、油门134以及制动单元136进行控制。
当然,在一个实例中,规划控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
车辆100通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、车载电脑148、麦克风150或者扬声器152。
在一些实施例中,外围设备108提供车辆100的用户与用户接口116交互的手段。例如,车载电脑148可向车辆100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。在一种实现方式中,车载电脑148可以通过触摸屏进行操作。在其他情况中,外围设备108可提供用于车辆100与位于车内的其它设备通信的手段。例如,麦克风150可从车辆100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器152可向车辆100的用户输出音频。
无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统146可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信系统146可利用WiFi与无线局域网(wireless localarea network,WLAN)通信。在一些实施例中,无线通信系统146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆或者路边台站之间的公共或者私有数据通信。
电源110可向车辆100的各种组件提供电力。在一个实施例中,电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源并为车辆100的各种组件提供电力。在一些实施例中,电源110和能量源119可一起实现,如全电动车中。
车辆100的部分或所有功能受计算机系统101控制。计算机系统101可包括至少一个处理器113,处理器113执行存储在例如存储器114这样的非暂态计算机可读介质中的指令115。计算机系统101还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。
处理器113可以是任何常规的处理器,诸如商业可获得的CPU。替选地,该处理器可以是诸如ASIC或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、以及计算机系统101的其它元件,但是本领域的普通技术人员应该理解该处理器、存储器实际上可以包括不位于相同物理外壳内的其他多个处理器、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机系统101的外壳内的其它存储介质。因此,对处理器的引用将被理解为包括对可以并行或不并行操作的处理器或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算;或者行进系统、传感器系统、规划控制系统等子系统也可以有自己的处理器,用于实现对应子系统的相关任务的计算从而实现相应功能。
在此处所描述的各个方面中,处理器可以位于远离该车辆的地方并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行,而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,存储器114可包含指令115(例如,程序逻辑),指令115可被处理器113执行来执行车辆100的各种功能,包括以上描述的那些功能。存储器114也可包含额外的指令,包括向行进系统102、传感器系统104、规划控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互或者对其进行控制的指令。
除了指令115以外,存储器114还可存储其他相关数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它相关信息。这种信息可在车辆100处于自主、半自主或者手动模式的操作期间被车辆100或具体被计算机系统101使用。
用户接口116,用于向车辆100的用户提供信息或从其接收信息。可选地,用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备,例如无线通信系统146、车载电脑148、麦克风150和扬声器152。
计算机系统101可基于从各种子系统(例如,行进系统102、传感器系统104和规划控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。在一些实施例中,计算机系统101可操作以对车辆100及其子系统的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆100分开安装或关联。例如,存储器114可以部分或完全地与车辆100分开存在。上述组件可以按有线或者无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图1不应理解为对本发明实施例的限制。
在道路行进的自动驾驶汽车,如上面的车辆100,可以识别其周围环境内的物体以确定对车辆行驶轨迹的调整,其中包括对车辆速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,用来确定自动驾驶汽车的轨迹规划,包含所要调整的速度。
可选地,与自动驾驶车辆100相关联的计算设备(如图1的计算机系统101、计算机视觉系统138)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测所述识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆100能够基于预测的所述识别的物体的行为来规划它的行驶轨迹(其中包括速度)。并基于该规划结果为自动驾驶汽车确定车辆将需要调整到什么状态(就速度调整而言,例如加速、减速或停止)。在这个过程中,也可以考虑其它因素来确定车辆100的行驶轨迹,诸如,车辆100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
基于规划结果,除了为自动驾驶汽车调整速度以外,计算设备还可以提供修改车辆100的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹或者维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车和手推车等,本发明实施例不做特别的限定。
参见图2,计算机系统101可以包括处理器103、系统总线105、显示适配器(videoadapter)107、显示器109、总线桥111、输入输出总线(in/outbut,I/O BUS)113、输入输出(in/out,I/O)接口115、通用串行总线(Universal Serial Bus,USB)端口125、网络接口129、硬盘驱动器接口131、硬盘驱动器133、系统内存135。
其中,处理器103和系统总线105耦合;处理器103可以是一个或者多个处理器,其中每个处理器都可以包括一个或多个处理器核。显示适配器可以驱动显示器109,显示器109和系统总线105耦合。系统总线105通过总线桥111和输入输出总线(I/O BUS)113耦合。I/O接口115和I/O BUS113耦合。I/O接口115和多种I/O设备进行通信,其中多种I/O设备比如输入设备117(包括:键盘,鼠标,触摸屏等示例),媒体盘(mediatray)121,(例如,CDROM,多媒体接口等),收发器123(可以发送或者接受无线电通信信号),摄像头155(可以捕捉静态和动态数字视频图像)和USB端口125。其中,可选地,和I/O接口115相连接的接口可以是USB端口125。
其中,处理器103可以是任何传统处理器,包括精简指令集计算(“RISC”)处理器、复杂指令集计算(“CISC”)处理器或上述的组合。可选地,处理器可以是诸如专用集成电路(“ASIC”)的专用装置。可选地,处理器103可以是神经网络处理器或者是神经网络处理器和上述传统处理器的组合。
可选地,在本文所述的各种实施例中,计算机系统101可以位于远离自动驾驶车辆的地方,并且可与自动驾驶车辆100无线通信。在一些实现方式中,本文所述的一些过程还可以由设置于自动驾驶车辆内的处理器执行,其它由远程处理器执行,包括采取执行单个操纵所需的动作。
计算机系统101可以通过网络接口129和软件部署服务器149通信。网络接口129包括硬件网络接口,比如,网卡。网络127可以是外部网络,比如因特网,也可以是内部网络,比如以太网或者虚拟私人网络(VPN)。可选地,网络127还可以是无线网络,比如WiFi网络,蜂窝网络等。
硬盘驱动器接口131和系统总线105耦合。硬盘驱动器接口131和硬盘驱动器133相连接。系统内存135和系统总线105耦合。运行在系统内存135的数据可以包括计算机系统101的操作系统137和应用程序143。
操作系统OS 137包括计算机壳层(Shell)139和内核(kernel)141。Shell 139是介于使用者和操作系统之间的一个接口。Shell 139是操作系统最外面的一层。Shell139可以用于管理使用者与操作系统之间的交互:等待使用者的输入,向操作系统解释使用者的输入,并且处理各种各样的操作系统的输出结果。
内核141由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互,操作系统内核通常运行进程,并提供进程间的通信,提供CPU时间片管理、中断、内存管理、IO管理等。
应用程序143包括控制汽车自动驾驶相关的程序,比如,管理自动驾驶汽车和路上目标交互的程序,控制自动驾驶汽车沿规划的轨迹(包括速度)行进的程序,控制自动驾驶汽车和路上其他自动驾驶汽车交互的程序。应用程序143也存在于软件部署服务器149的系统上。在一个实施例中,在需要执行应用程序143时,计算机系统101可以从软件部署服务器149下载应用程序143。
传感器153和计算机系统101关联。传感器153用于探测计算机系统101周围的环境。举例来说,传感器153可以探测动物,汽车,目标和人行横道等,进一步,传感器还可以探测上述动物,汽车,目标和人行横道等物体周围的环境,比如:动物周围的环境,例如,动物周围出现的其他对象,天气条件,周围环境的光亮度等。可选地,如果计算机系统101位于自动驾驶的汽车上,传感器可以是摄像头,红外线感应器,化学检测器,麦克风等。
计算机系统101还可以从其它计算机系统接收信息,或转移信息到其它计算机系统。或者,从车辆100的传感器系统104收集的传感器数据可以被转移到另一个计算机系统对此数据进行处理。如图3所示,来自计算机系统101的数据可以经由网络被传送到云侧的计算机320用于进一步的处理。网络以及中间节点可以包括各种配置和协议,包括因特网、万维网、内联网、虚拟专用网络、广域网、局域网、使用一个或多个公司的专有通信协议的专用网络、以太网、无线网、超文本传输协议(hyper text transport protocol,HTTP)网络以及前述的各种组合。这种通信可以由能够传送数据到其它计算机和从其它计算机传送数据的任何设备,诸如调制解调器和无线接口。
在一个示例中,计算机320可以包括具有多个计算机的服务器,例如负载均衡服务器群,为了从计算机系统101接收、处理并传送数据的目的,其与网络的不同节点交换信息。该服务器可以被类似于计算机系统101配置,具有处理器321、存储器322、指令323、和数据324。
现有的轨迹预测方法只能准确预测目标在未来较短时间内的轨迹,而在预测目标在未来较长时间内的轨迹时,准确度较低。为了明确现有技术所存在的问题,以下对目前采用的轨迹预测方法进行说明。
在目前常用的一种轨迹预测方法中,车辆在预测某一个目标的轨迹时,会通过自身配置的传感器获取该目标的历史运动信息。该历史运动信息通常包括该目标的历史运动速度、历史运动方向和该目标所在道路的车道线信息。例如,车辆可通过自身配置的摄像头,连续拍摄目标的图像,通过拍摄到的图像确定目标的历史运动信息。
然后,车辆可将所述目标的历史运动信息输入神经网络模型,并获取所述神经网络模型输出的信息,该神经网络模型输出的信息即为目标的预测轨迹。
示例性的,参见图4所示的场景示例图,在图4中,直线形式的虚线表示车道线,图中行驶有第一车辆10,该第一车辆10可为第二车辆20的目标,并且第二车辆20可依据现有技术对第一车辆10的轨迹进行预测。
这种情况下,第二车辆20可通过自身配置的摄像头拍摄第一车辆。在图4中,所述第一车辆10的车身后侧的四个带编号的圆圈所在的地理位置分别为摄像头在四个不同时刻拍摄所述第一车辆10时,所述第一车辆10所在的位置。并且,在这一场景下,圆圈的编号越大,表示拍摄的时刻越晚。
在该示例中,第二车辆20的摄像头在拍摄该目标的图像后,第二车辆20通过对图像的处理,确定所述第一车辆10的历史运动速度、历史运动方向以及第一车辆10所在道路的车道线信息,并将这些信息传输至神经网络模型。
所述神经网络模型在获取所述第二车辆20输入的信息之后,可输出第一车辆的预测轨迹,这种情况下,根据所述神经网络的输出,所述第二车辆20可获取所述第一车辆10的预测轨迹。参见图4,其中弯曲的虚线即为所述第一车辆的预测轨迹。
但是,这一方案仅仅利用目标的历史运动信息对目标的轨迹进行预测,因此,这一方案可行的预测时间较短,也就是说,这一方案只能准确预测到目标在未来较短时间内的轨迹,而在预测目标在未来较长时间内的轨迹时,准确度较低。
另外,目前还可采用另一种轨迹预测方法。这一预测方法中,车辆在对某一目标的轨迹进行预测时,可通过自身配置的传感器获取该目标的历史运动信息,该目标可称为第一目标。相应的,第一目标的历史运动信息通常包括所述第一目标的历史运动速度、历史运动方向以及第一目标所在道路的车道线信息。
而第一目标在运行过程中,需要避免与该车辆的其他目标发生碰撞,该车辆的其他目标可称为第二目标。因此,所述第一目标会根据第二目标调整自身的轨迹,也就是说,第二目标的运动情况可对第一目标的轨迹造成影响。因此,在这一方法中,所述车辆还可获取第二目标的历史运动信息。相应的,第二目标的历史运动信息通常包括所述第二目标的历史运动速度、历史运动方向以及所述第二目标所在道路的车道线信息。
然后,车辆可将第一目标的历史运动信息和第二目标的历史运动信息输入至神经网络模型。然后,该车辆将所述神经网络模型的输出,作为所述第一目标的预测轨迹。
示例性的,参见图5所示的示意图,在图5中,包括一个第一目标30以及三个第二目标40,每一个目标身后的圆圈代表该目标的历史轨迹。这种情况下,车辆可通过自身配置的摄像头,对所述第一目标30和第二目标40进行拍摄,并根据拍摄的图像,确定所述第一目标30和第二目标40的历史运动信息,然后将所述第一目标30和第二目标40的历史运动信息输入至神经网络模型。并且,所述车辆可获取所述神经网络模型的输出,并将神经网络模型的输出作为所述第一目标30的预测轨迹。
这一方法由于还考虑了其他目标对第一目标的轨迹的影响,因此与上一方法相比,这一方法预测轨迹的准确度提高。但是,该方法在预测目标的轨迹时,仍仅依靠目标的历史运动信息,因此,与上一方法相同,该方法同样只能较准确的预测目标在未来较短时间内的轨迹,在预测未来较长时间内的轨迹时,存在预测的准确性较低的问题。
多次试验表明,利用上述两种现有技术对目标的轨迹进行预测时,只能准确预测出轨迹在未来3~5秒内的轨迹,而无法准确预测更长时间的轨迹。
进一步的,车辆在行驶过程中,通常根据目标的预测轨迹,对自身的驾驶行为进行规划。例如,在根据目标的预测轨迹,确定自身可能会与目标发生相撞时,所述车辆可减缓运行速度、刹车或停车等。
而通过目前采用的轨迹预测方法,只能准确预测目标在未来较短时间内的轨迹,这种情况下,车辆在采用目前的轨迹预测方法进行驾驶行为的规划时,只能基于该较短时间的预测轨迹进行临时决策。因此,车辆在行驶过程中,需要频繁根据该较短时间的预测轨迹调整自身的驾驶行为,这使得车辆只能对自身的驾驶行为进行保守的规划,导致车辆在行驶过程中,较易出现紧急刹车、紧急避让、频繁加减速、时停时走和通行缓慢等现象,影响车辆的出行,以及影响车上人员的坐车体验。
为了解决目前的轨迹预测方法只能对目标在未来较短时间内的轨迹进行准确预测,但是在预测目标在未来较长时间内的轨迹时,准确度较低的问题,本申请实施例提供一种轨迹预测方法及装置,以便能够提高预测目标在未来较长时间内的轨迹的准确性。
为了明确本申请提供的方案,以下结合附图,通过各个实施例,对本申请所提供的方案进行介绍说明。
本申请实施例提供一种轨迹预测方法。参见图6所示的工作流程示意图,本申请实施例提供的轨迹预测方法包括以下步骤:
步骤S11、确定至少一个目标点,所述目标点与车辆之间的距离在第一范围内。
在本申请实施例中,目标点通常指的是各个地点中,目标前往的概率较大的地点,所述目标可为道路中的行人或其他车辆,该地点可为住宅、工作地点、车库和消费地点(例如超市和药店等)等。
在这一步骤中,可根据车辆所处的地理位置,确定与所述车辆的距离在第一范围内的目标点。
其中,所述第一范围可为一个具体的距离范围,示例性的,所述第一范围可为0米至200米。这种情况下,所述第一范围可在车辆出厂时就设置好,另外,还可在出厂之后,由车辆的所有者调整所述第一范围。
或者,在另一种可能的实现方式中,车辆可根据自身的运行速度和时间阈值确定所述第一范围,这种情况下,设定所述运行速度和所述时间阈值的乘积为第二距离,所述第一范围通常为第一距离至第二距离,所述第一距离可为10米。示例性的,所述车辆的运行速度为60km/h,所述时间阈值为12秒,则所述第二距离为200米,相应的,所述第一范围为10米至200米。
步骤S12、根据所述至少一个目标点以及目标所在的地理位置,获取所述目标与所述至少一个目标点之间的至少一条参考轨迹。
在本申请实施例中,目标点为目标可能前往的地点。这种情况下,目标和目标点之间的参考轨迹,则为目标可能运行的轨迹。
步骤S13、从所述至少一条参考轨迹中确定所述目标的预测轨迹。
在本申请实施例中,所述目标与所述至少一个目标点之间的至少一条参考轨迹可为一条或多条。其中,如果所述目标与所述至少一个目标点之间的至少一条参考轨迹为一条,则在这一步骤中,确定这一条参考轨迹为所述目标的预测轨迹。
另外,如果所述目标与所述至少一个目标点之间的至少一条参考轨迹为多条,则通过这一步骤,从多条参考轨迹中选择一条参考轨迹,将这一条参考轨迹作为所述目标的预测轨迹。
其中,在从所述多条参考轨迹中确定所述预测轨迹时,可确定所述多条参考轨迹分别与目标的运动趋势之间的贴合程度,并将其中最贴合目标的运动趋势的参考轨迹作为所述目标的预测轨迹。
本申请实施例提供一种轨迹预测方法,在该方法中,首先确定至少一个目标点,并确定车辆的目标与所述至少一个目标点之间的至少一条参考轨迹,再从所述至少一条参考轨迹中确定所述目标的预测轨迹。
也就是说,本申请实施例提供的方案在对目标的轨迹进行预测时,需要确定目标点。其中,目标点通常为目标前往概率较大的地点。这种情况下,在通过本申请实施例提供的方案预测目标的轨迹时,不仅仅依靠目标的历史运动信息,并且还结合了目标点的信息。
与现有预测目标的轨迹的方法相比,本申请实施例提供的方案在预测目标的轨迹时,可结合更加多样化的信息,因此,本申请实施例提供的方案不仅能够准确预测目标在未来较短时间内的轨迹,还能够提高预测目标在未来较长时间的轨迹的准确度。
现有技术通常只能准确预测目标在未来3~5秒内的轨迹,而本申请实施例提供的方案能够对目标在未来5~20秒的轨迹进行准确预测,与现有技术相比,本申请实施例提供的方案提高了预测目标在未来较长时间内的轨迹的准确度。
进一步的,由于本申请实施例提供的方案能够准确预测目标在未来较长时间内的轨迹,而车辆通过目标的预测轨迹对自身的驾驶行为进行规划,因此,车辆在通过本申请实施例确定的预测轨迹规划自身的驾驶行为时,与现有技术相比,车辆能够提前对未来较长时间的驾驶行为进行规划,以便车辆能够提前做出更合理的规划,改善目前不合理规划的问题。
而且,由于车辆可对未来较长时间的驾驶行为做出规划,因此,可减少车辆做出的紧急刹车、紧急避让和时停时走等现象,因此,本申请实施例提供的方案在提高车辆进行自动化驾驶的规划能力的同时,还能保障车辆的安全性和舒适性。
在本申请实施例提供的方案中,需要确定至少一个目标点,以便根据目标点,获取参考轨迹。其中,所述确定至少一个目标点的操作可包括以下步骤:
首先,通过查询标注有参考点的地图,或通过查询用于指示所述参考点的文本文件,确定第一参考点,所述第一参考点与所述车辆之间的距离在所述第一范围内。
本申请实施例提供的方案在确定第一参考点时,可应用一种地图,与现有的地图相比,本申请实施例应用的地图增加有标注至少一个参考点的图层。其中,参考点通常为目标可能前往的地点,例如,小区入口、车库、医院、政府单位、公司、公交站台、商场、超市、上下匝道、十字路口和人行横道等。
为了明确本申请实施例应用的地图与现有地图的区别,以下公开一个示例,该示例提供了图7(a)和图7(b)。其中,图7(a)为现有技术中的地图的示意图,该地图表示一个园区。图7(b)为本申请实施例应用的标注有参考点的地图,在该地图中,不仅包括图7(a)所示的园区,并且还包括标注有多个参考点的图层,该参考点包括22号至25号办公楼以及园区入口。
其中,标注有参考点的地图可存储至云服务器中,进行轨迹预测的车辆通过与所述云服务器的交互,实现对该地图的查询。另外,所述标注有参考点的地图也可存储在车辆中。另外车辆可通过定位,确定自身在地图中的地理位置,再通过查询地图,确定与自身距离在第一范围内的第一参考点。
另外,该地图可预先绘制,并且,在应用过程中,云服务器或车辆还可根据接收到的操作,对该地图进行更新,以增加或删减地图中标注的参考点。
在另一种实现方案中,车辆可通过查询文本文件,确定第一参考点。其中,所述文本文件用于指示参考点,示例性的,所述文本文件中可为记录各个参考点的经纬度位置的表格文件。这种情况下,通过查询所述文本文件以及车辆所处的地理位置,也可确定所述第一参考点。
这一实现方案中,所述文本文件也可存储至云服务器中,或存储至车辆中,并且,在应用过程中,云服务器或车辆还可根据接收到的操作,对该文本文件进行更新,以增加或删减参考点。
然后,如果所述第一参考点的数量不大于n,确定所述第一参考点为所述目标点,n为预设的正整数;如果所述第一参考点的数量大于n,从所述第一参考点中,筛选所述至少一个目标点。
通过查询标注有参考点的地图,或通过查询用于指示所述参考点的文本文件,可确定第一参考点。而所述第一参考点可包括一个或多个。这种情况下,如果所述第一参考点的数量不大于n,则表明所述第一参考点的数量较少,则确定第一参考点均为目标点,而如果所述第一参考点的数量大于n,则表明所述第一参考点的数量较多,则可对所述第一参考点做进一步的筛选,以确定所述第一参考点中的目标点。
其中,n为预设的正整数,在一种可能的实现方式中,n可为3。
在一种可能的筛选方式中,可确定所述第一参考点中,在某一个时间段内的人流量最高的n个第一参考点为所述目标点。其中,所述时间段可为在当前时间之前的24小时,或者,所述时间段可为与当前时刻较接近的一个时间段。例如,当前时刻为上午11:00,所述时间段可为昨天的10:00~11:00。
或者,在另外一种可能的筛选方式中,车辆可基于目标的调研信息,确定所述第一参考点中的目标点。在目标确认许可的情况下,所述目标的调研信息可为所述目标在第一参考点出现的频次、时间或消费记录等。其中,所述消费记录往往记录有所述目标出现在各个消费地点的时间和次数,基于所述消费记录,也可确定所述目标出现在消费地点的频次和时间。
这种情况下,在筛选所述第一参考点中的目标点时,可基于所述目标的调研信息,确定所述目标曾经前往各个第一参考点的频次最高的a个第一参考点为所述目标点;或者,确定所述目标前往的历史频次大于第一阈值的第一参考点为所述目标点;或者,确定所述目标曾经前往的时间与当前时间最接近的前b个第一参考点为所述目标点,a与b均为预设的正整数。
示例性的,车辆在某一个工业园区内行驶,第一参考点均为该工业园区内的各个地点,例如该工业园区内的办公楼、超市或食堂等,在该工业园区内活动的均为该工业园区内的工作人员。为了提高车辆在该工业园区内行驶的安全性,该工业园区内的工作人员同意车辆可获取自身的调研信息,该调研信息包括工作人员在各个第一参考点出现的频次或消费记录等。
这种情况下,该工业园区内的某一工作人员在该工业园区内行走时,该工作人员即为目标,车辆通过该工作人员的调研信息,即可从第一参考点中,筛选出目标点。
在确定目标点之后,可确定所述目标与所述至少一个目标点之间的至少一条参考轨迹。其中,由于目标点为目标可能前往的地点,因此,所述至少一条参考轨迹中往往包括目标将要运行的轨迹。在本申请实施例提供的方案中,可通过多种方式确定参考轨迹。
在一种可能的实现方式中,所述获取所述目标与所述至少一个目标点之间的至少一条参考轨迹,包括以下步骤:
确定所述目标前往所述至少一个目标点的历史轨迹为所述至少一条参考轨迹。
在本申请实施例中,目标点通常为目标曾经去过的地点,这种情况下,可将目标前往目标点的历史轨迹作为参考轨迹。
或者,在另一种可能的实现方式中,所述确定所述目标与所述至少一个目标点之间的至少一条参考轨迹,包括以下步骤:
确定在满足交通规则的情况下,所述目标与所述至少一个目标点中任意一个目标点之间的最短轨迹为一条参考轨迹。
在这一实现方式中,可在满足交通规则的情况下,对目标点所在的地理位置与目标所在的地理位置进行拟合,通过拟合,确定目标点与目标之间可能的各条轨迹,并且,确定某一个目标点与目标之间的最短的轨迹为一条参考轨迹。
在本申请中,提供了分别根据目标的历史轨迹,以及目标与目标点之间的最短轨迹确定参考轨迹的方法。另外,还可同时根据这两种方式确定参考轨迹,这种情况下,同时确定所述目标前往某一个目标点的历史轨迹属于参考轨迹,以及确定在满足交通规则的情况下,所述目标与该目标点之间的最短轨迹属于参考轨迹。
在确定至少一条参考轨迹之后,需要从中确定目标的预测轨迹。其中,如果只有一条参考轨迹,则从所述至少一条参考轨迹中确定所述目标的预测轨迹,该操作可通过以下步骤实现:
第一步,根据所述目标的运动趋势,确定所述目标在未来s秒内的短期轨迹。
在本申请实施例中,所述目标的运动趋势可包括所述目标在当前时刻的运动方向和运动速度等信息,这种情况下,基于所述目标的运动趋势,可对目标在未来s秒内的轨迹进行预测,以确定目标的短期轨迹。
其中,s的数值可根据确定所述短期轨迹的方法的准确度确定,通常情况下,s的取值可在1~3范围内。
第二步,根据所述短期轨迹,确定所述至少一条参考轨迹的置信度。
其中,所述参考轨迹的置信度用于表示所述参考轨迹与所述短期轨迹的贴合程度。并且,所述参考轨迹的置信度越高,则所述参考轨迹与所述短期轨迹之间越贴合。
第三步,确定所述置信度最高的参考轨迹为所述目标的预测轨迹。
在本申请实施例中,根据目标的运动趋势预测目标在未来短期内的短期轨迹,并确定所述至少一条参考轨迹分别与所述短期轨迹的置信度。所述置信度可反映所述至少一条参考轨迹分别与所述短期轨迹之间的贴合程度,置信度最高的参考轨迹即为最贴合所述短期轨迹的参考轨迹。这种情况下,确定置信度最高的参考轨迹为所述目标的预测轨迹,则所述预测轨迹为所述至少一条参考轨迹中,最贴合所述目标的运动趋势的参考轨迹。因此,通过上述步骤,可从所述至少一条参考轨迹中,确定最贴合所述目标的运动趋势的参考轨迹为所述目标的预测轨迹。
在本申请实施例中,可通过多种方式确定所述短期轨迹。在其中一种可能的实现方式中,所述根据所述目标的运动趋势,确定所述目标在未来s秒内的短期轨迹,包括:
确定所述目标在保持当前的运动趋势下,运动s秒的轨迹为所述短期轨迹。
其中,所述目标在当前的运动趋势包括所述目标当前的运动速度和运动方向。这种情况下,可确定所述目标在当前的运动趋势下运动s秒的轨迹为所述短期轨迹。
在另一种可能的实现方式中,所述根据所述目标的运动趋势,确定所述目标在未来s秒内的短期轨迹,包括:
第一步,根据所述目标的运动趋势,确定所述目标的第二参数,所述目标的第二参数包括所述目标的历史运动速度、历史运动方向、所述目标的地理位置和所述目标的环境信息。
其中,所述目标的环境信息,通常包括所述目标所处地理位置的车道线信息、交通灯信息和十字路口信息等。
在一种可能的实现方式中,可对目标进行连续拍摄,然后对包含所述目标的图像进行图像处理,通过图像处理的结果确定所述目标的第二参数。
进一步的,由于所述目标在运行过程中,需要避让其他的目标,因此,所述目标的第二参数还可以包括所述目标周边的其他目标的相关信息,所述其他目标的相关信息通常包括所述其他目标的历史运动速度、历史运动方向以及所述其他目标的地理位置等。
第二步,将所述第二参数输入神经网络模型之后,获取所述神经网络模型输出的所述目标在未来的s秒内的短期轨迹。
其中,所述神经网络模型通常为运动学模型,示例性的,所述神经网络模型可为长短期记忆人工神经网络(long-short term memory,LSTM)模型。如果本申请实施例应用的LSTM模型能够对目标在3秒左右的轨迹进行准确预测,则s通常可设定为3。
其中,所述神经网络模型可接收所述目标的第二参数,并根据所述目标的第二参数对所述目标的轨迹进行预测,输出所述目标在未来的s秒内的短期轨迹。这种情况下,通过所述神经网络模型的输出,即可确定所述目标在未来的s秒内的短期轨迹。
在上述的实施例中,提供了两种确定目标在未来的s秒内的短期轨迹的方案,在实际应用中,还可以同时应用这两种方案,以便根据这两种方案所确定的短期轨迹共同确定预测轨迹。
在本申请实施例提供的方案中,需要根据参考轨迹的置信度,确定所述参考估计中的预测轨迹,在一种可行的实现方案中,所述根据所述短期轨迹,确定所述至少一条参考轨迹的置信度,包括以下步骤:
根据以下公式确定所述短期轨迹在所述至少一条参考轨迹上的投影值,所述投影值为所述至少一条参考轨迹的置信度:
其中,
为所述短期轨迹
在参考轨迹
上的投影值,
为所述短期轨迹
与所述参考轨迹
之间的夹角,所述参考轨迹
为所述至少一条参考轨迹中的任意一条参考轨迹。
这一实现方案中,通过投影法确定所述至少一条参考轨迹的置信度。其中,所述短期轨迹在其中一条参考轨迹上的投影值,指的是将所述短期轨迹向所述参考轨迹所在的投影面进行投射后,得到的投影的长度。某一参考轨迹的投影值越长,则表明该参考轨迹与所述短期轨迹越贴合,相应的,该参考轨迹的置信度越高。
为了明确本申请确定参考轨迹的置信度的方案,公开以下示例:
这一示例中,参见图8,该图为本申请实施例应用的一种地图的示意图,在该地图中标注有参考点,所述参考点包括:医院、办公楼、食堂、水果店、学校和超市,其中,所述学校和超市与车辆之间的距离超过第一范围,而医院、办公楼、食堂和水果店与车辆之间的距离在第一范围内,因此,这一示例中,可确定医院、办公楼、食堂和水果店为第一参考点。
参见图9,在该示例中,目标为一个行人。并且,该行人随时间先后在t1、t2和t3时刻经过三个地理位置,这三个地理位置在图9中通过人像标出,而当前时刻为t3时刻。
根据所述行人的身份信息,确定所述行人前往医院的历史频次为一次,前往办公楼的历史频次为二十六次,前往食堂的历史频次为五十次,前往水果店的历史频次为十次。另外,在该示例中,第一阈值为五,并确定目标前往的历史频次大于第一阈值的第一参考点为所述目标点,这种情况下,该示例中可确定办公楼、食堂和水果店这三个第一参考点为目标点。并且,在图9中绘制有行人与各个目标点之间的参考轨迹,该参考轨迹通过带箭头的指向各个目标点的连线表示。
在该示例中,可根据行人的运动趋势,确定行人在未来s秒的短期轨迹,在图9中,该短期轨迹通过带箭头的线段表示,并且,为了与参考轨迹区分,与代表参考轨迹的连线相比,该短期轨迹为较粗的线段。
这种情况下,需要确定短期轨迹在参考轨迹上的投影值。在图9中,虚线表示参考轨迹上的垂线,该垂线与参考轨迹间存在交点,该交点与行人在t3时刻所处的地理位置的连线即为所述短期轨迹在参考轨迹上的投影,该投影的长度即为所述短期轨迹在参考轨迹上的投影值。
根据图9,可以确定行人与水果店之间的参考轨迹的投影值最大,而该投影值可作为行人与水果店之间的参考轨迹的置信度,则行人与水果店之间的参考轨迹的置信度最大,这种情况下,则可确定行人与水果店之间的参考轨迹为行人的预测轨迹。
上述实施例中,介绍了根据置信度,确定预测轨迹的方法。另外,还可通过其他方式确定所述预测轨迹。其中,在本申请另一可行的实现方案中,所述从所述至少一条参考轨迹中确定所述目标的预测轨迹,包括:
首先,确定所述目标前往所述至少一条参考轨迹的历史频次或者历史时间。
然后,根据所述目标前往所述至少一条参考轨迹的历史频次或者历史时间,确定所述至少一条参考轨迹中的所述预测轨迹,所述预测轨迹为所述目标前往的历史频次最高的参考轨迹,或者,所述预测轨迹为所述目标前往的历史时间与当前时间最接近的参考轨迹。
也就是说,在这一实现方式中,将所述目标前往的历史频次最高的参考轨迹作为所述预测轨迹,或者前往的历史时间与当前时间最接近的参考轨迹作为所述预测轨迹。
通过上述方案,能够确定目标的预测轨迹,另外,车辆可根据所述目标的预测轨迹,对自身的驾驶行为进行规划。这种情况下,本申请实施例提供的方案还包括以下步骤:
在根据所述预测轨迹,确定所述车辆即将与所述目标发生碰撞之后,调整所述车辆的驾驶行为。
其中,在根据所述预测轨迹,确定车辆即将与所述目标发生碰撞后,为了避免该碰撞,车辆需要调整自身的驾驶行为。例如,车辆可采取加速绕行、减速缓行或停车等待等操作规避碰撞。
另外,如果根据所述预测轨迹,确定不会与所述目标发生碰撞之后,车辆可保持自身当前的驾驶行为。
通过现有的轨迹预测技术,只能准确预测到目标在未来较短时间内的轨迹,因此,通过现有技术预测出的轨迹对车辆的驾驶行为进行规划时,只能对车辆在短期内的驾驶行为进行规划。这种情况下,往往需要车辆频繁调整自身的驾驶行为,有时甚至会出现车辆时走时停或者速度不稳定的现象。
而通过本申请的上述步骤,车辆能够根据预测轨迹,实现对自身的驾驶行为的规划。进一步的,由于本申请实施例的方案能够准确预测未来较长时间的轨迹,因此,与现有技术相比,车辆在通过本申请实施例确定的预测轨迹规划自身的驾驶行为时,车辆能够提前对未来较长时间的驾驶行为进行规划,避免对驾驶行为的频繁调整,以及减少车辆做出紧急刹车、紧急避让和时停时走等现象,保障车辆的安全性和舒适性。
下述为本申请的装置实施例,可以用于执行本申请的方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请的方法实施例。
作为对上述各实施例的实现,本申请实施例公开一种轨迹预测装置。参见图10所示的结构示意图,本申请实施例公开的驾驶行为监测装置包括:处理器1110和收发接口1120。
其中,所述收发接口1120用于接收传感器的信息。
在一种可能的实现方式中,本申请实施例公开的所述轨迹预测装置应用于车辆中,这种情况下,所述传感器可为设置于所述车辆中的传感器。
这种情况下,所述传感器可包括摄像头,所述摄像头可连续对所述目标进行拍摄,再通过对包含目标的图像的分析,确定所述目标的相关信息,例如,可通过摄像头对目标进行连续拍摄所获取到的图像,确定目标的历史运动信息,以及确定所述目标的运动趋势。
另外,所述传感器还可包括雷达,这种情况下,车辆可通过所述雷达确定所述目标的运动速度。
所述处理器1110用于根据所述传感器的信息,确定至少一个目标点,所述目标点与车辆之间的距离在第一范围内,根据所述至少一个目标点以及目标所在的地理位置,获取所述目标与所述至少一个目标点之间的至少一条参考轨迹,从所述至少一条参考轨迹中确定所述目标的预测轨迹。
通过本申请实施例提供的方案对目标的轨迹进行预测时,需要确定目标点,因此,在通过本申请实施例提供的方案预测目标的轨迹时,不仅仅依靠目标的历史运动信息,并且还结合了目标点的信息。
与现有预测目标的轨迹的方法相比,本申请实施例提供的方案在预测目标的轨迹时,可结合更加多样化的信息,因此,本申请实施例提供的方案不仅能够准确预测目标在未来较短时间内的轨迹,还能够提高预测目标在未来较长时间的轨迹的准确度。
现有技术通常只能准确预测目标在未来3~5秒内的轨迹,而本申请实施例提供的方案能够对目标在未来5~20秒的轨迹进行准确预测,与现有技术相比,本申请实施例提供的方案提高了预测目标在未来较长时间内的轨迹的准确度。
在本申请实施例提供的方案中,所述处理器具体用于,通过查询标注有参考点的地图,或通过查询用于指示所述参考点的文本文件,确定第一参考点,所述第一参考点与所述车辆之间的距离在所述第一范围内;
如果所述第一参考点的数量不大于n,确定所述第一参考点为所述目标点,n为预设的正整数;
如果所述第一参考点的数量大于n,从所述第一参考点中,筛选所述至少一个目标点。
本申请实施例提供的方案在确定第一参考点时,可应用一种地图,与现有的地图相比,本申请实施例应用的地图增加有标注至少一个参考点的图层。其中,参考点通常为目标可能前往的地点,例如,小区入口、车库、医院、政府单位、公司、公交站台、商场、超市、上下匝道、十字路口和人行横道等。这种情况下,所述处理器可通过查询标注有参考点的地图,确定第一参考点。
通过查询标注有参考点的地图,或通过查询用于指示所述参考点的文本文件,可确定第一参考点。而所述第一参考点可包括一个或多个。这种情况下,如果所述第一参考点的数量不大于n,则表明所述第一参考点的数量较少,则确定第一参考点均为目标点,而如果所述第一参考点的数量大于n,则表明所述第一参考点的数量较多,则可对所述第一参考点做进一步的筛选,以确定所述第一参考点中的目标点。
其中,n为预设的正整数,在一种可能的实现方式中,n可为3。
在本申请实施例提供的方案中,所述处理器可确定参考轨迹。其中,在一种可能的实现方案中,所述处理器具体用于,确定所述目标前往所述至少一个目标点的历史轨迹为所述至少一条参考轨迹。
或者,在另一种可能的实现方案中,所述处理器具体用于,确定在满足交通规则的情况下,所述目标与所述至少一个目标点中任意一个目标点之间的最短轨迹为一条参考轨迹。这种情况下,所述处理器可在满足交通规则的情况下,对目标点所在的地理位置与目标所在的地理位置进行拟合,通过拟合,确定目标点与目标之间可能的各条轨迹,并且,确定某一个目标点与目标之间的最短的轨迹为一条参考轨迹。
在本申请实施例提供的方案中,所述处理器具体用于,根据所述目标的运动趋势,确定所述目标在未来s秒内的短期轨迹;
根据所述短期轨迹,确定所述至少一条参考轨迹的置信度,所述参考轨迹的置信度用于表示所述参考轨迹与所述短期轨迹的贴合程度;
确定所述置信度最高的参考轨迹为所述目标的预测轨迹。
其中,所述处理器可通过多种方式确定所述短期轨迹。在一种可能的实现方案中,所述处理器具体用于,确定所述目标在保持当前的运动趋势下,运动s秒的轨迹为所述短期轨迹。
或者,在另一种可能的实现方案中,所述处理器具体用于,根据所述目标的运动趋势,确定所述目标的第二参数,所述目标的第二参数包括所述目标的历史运动速度、历史运动方向、所述目标的地理位置和所述目标的环境信息;
将所述第二参数输入神经网络模型之后,获取所述神经网络模型输出的所述目标在未来的s秒内的短期轨迹。
在本申请实施例提供的方案中,所述处理器具体用于,根据以下公式确定所述短期轨迹在所述至少一条参考轨迹上的投影值,所述投影值为所述至少一条参考轨迹的置信度:
其中,
为所述短期轨迹
在参考轨迹
上的投影值,
为所述短期轨迹
与所述参考轨迹
之间的夹角,所述参考轨迹
为所述至少一条参考轨迹中的任意一条参考轨迹。
另外,所述处理器还可根据目标前往参考轨迹的历史频次或者历史时间,确定参考轨迹中的预测轨迹。这种情况下,所述处理器具体用于,确定所述目标前往所述至少一条参考轨迹的历史频次或者历史时间;
根据所述目标前往所述至少一条参考轨迹的历史频次或者历史时间,确定所述至少一条参考轨迹中的所述预测轨迹,所述预测轨迹为所述目标前往的历史频次最高的参考轨迹,或者,所述预测轨迹为所述目标前往的历史时间与当前时间最接近的参考轨迹。
进一步的,应用本申请实施例提供的装置的车辆可根据目标的预测轨迹,对车辆的驾驶行为进行调整。
这种情况下,所述处理器还用于,在根据所述预测轨迹,确定所述车辆即将与所述目标发生碰撞之后,调整所述车辆的驾驶行为。
在根据所述预测轨迹,确定车辆即将与所述目标发生碰撞后,为了避免该碰撞,车辆需要调整自身的驾驶行为。例如,车辆可采取加速绕行、减速缓行或停车等待等操作规避碰撞。通过调整车辆的驾驶行为,能够提高车辆的安全性。
另外,如果根据所述预测轨迹,确定不会与所述目标发生碰撞之后,车辆可保持自身当前的驾驶行为。
通过现有的轨迹预测技术,只能准确预测到目标在未来较短时间内的轨迹,因此,通过现有技术预测出的轨迹对车辆的驾驶行为进行规划时,只能对车辆在短期内的驾驶行为进行规划。这种情况下,往往需要车辆频繁调整自身的驾驶行为,有时甚至会出现车辆时走时停或者速度不稳定的现象。
而通过本申请的上述步骤,车辆能够根据预测轨迹,实现对自身的驾驶行为的规划。进一步的,由于本申请实施例的方案能够准确预测未来较长时间的轨迹,因此,与现有技术相比,车辆在通过本申请实施例确定的预测轨迹规划自身的驾驶行为时,车辆能够提前对未来较长时间的驾驶行为进行规划,避免对驾驶行为的频繁调整,以及减少车辆做出紧急刹车、紧急避让和时停时走等现象,保障车辆的安全性和舒适性。
本申请实施例提供一种地图。其中,所述地图包括第一图层。所述第一图层包括至少一个参考点,所述参考点包括以下至少一种地点:商贸行业所在地点、企业所在地点和服务行业所在地点。
与现有的地图相比,本申请实施例提供的地图增加了对参考点的标注,该参考点位于地图的第一图层。其中,所述参考点可包括商贸行业所在地点,例如商场和超市等,另外,所述参考点还可包括企业所在地点,例如办公楼等,或者,所述参考点还可包括服务行业所在地点,例如医院等。
另外,所述参考点还可包括目标可停留的其他地点,例如小区入口、车库、十字路口和人行横道等。
其中,本申请实施例提供的地图可参见图7(b)和图8所示的示意图。
通过查询本申请实施例提供的地图,可确定第一参考点,其中,所述第一参考点为与车辆之间的距离在第一范围内的参考点。这种情况下,通过所述第一参考点,可确定至少一个目标点,以便车辆利用所述至少一个目标点对目标的轨迹进行预测。
通过本申请实施例提供的地图,有助于车辆在预测目标的轨迹的过程中,查询到目标可能前往的参考点,所述车辆会根据查询到的参考点以及对目标的调研信息,确定目标点。因此,车辆通过本申请实施例提供的地图进行目标的轨迹的预测,不仅仅依靠目标的历史运动信息,还结合了目标点的信息,有助于提高车辆预测目标在未来较长时间内的轨迹的准确度。
在一种可能的实现方式中,本申请实施例提供的地图为在现有的高精地图上设置第一图层之后,所获取到的地图。其中,高精地图的绝对坐标精度较高,绝对坐标精度指的是地图上某个目标和真实的外部世界的事物之间的精度,并且,高精地图中包括的道路交通信息元素更丰富和细致。这种情况下,本申请实施例提供的地图中标注的各个参考点更为精确,有助于提高车辆进行轨迹预测的准确度。
进一步的,在本申请实施例提供的地图中,所述参考点为在第一时间段内,经过人数不少于第二阈值的地点。
其中,所述第一时间段可为当前时间的前24小时,或者,所述第一时间段可为与当前时刻较为接近的一个时间段。例如,当前时刻为上午11:00,所述第一时间段可为昨天的10:00~11:00。
由于所述参考点为在第一时间段内,经过人数不少于第二阈值的地点,则所述参考点为人流量较大的地点,目标前往参考点的可能性较大。这种情况下,车辆通过查询地图所确定的第一参考点,为目标前往可能性较高的地点,因此,车辆在通过第一参考点进行轨迹预测时,能够提高轨迹预测的准确度。
相应的,与上述的方法相对应的,本申请实施例还公开一种终端装置。参见图11所示的结构示意图,所述终端装置包括:
至少一个第一处理器1101和存储器,
其中,所述存储器,用于存储程序指令;
所述第一处理器,用于调用并执行所述存储器中存储的程序指令,以使所述终端装置执行图6对应的实施例中的全部或部分步骤。
进一步的,该终端装置还可以包括:收发器1102和总线1103,所述存储器包括随机存取存储器1104和只读存储器1105。
其中,第一处理器通过总线分别耦接收发器、随机存取存储器以及只读存储器。其中,当需要运行该终端装置时,通过固化在只读存储器中的基本输入输出系统或者嵌入式系统中的bootloader引导系统进行启动,引导该终端装置进入正常运行状态。在该终端装置进入正常运行状态后,在随机存取存储器中运行应用程序和操作系统,从而使所述终端装置执行图6对应的实施例中的全部或部分步骤。
本发明实施例的装置可对应于上述图6所对应的实施例中的轨迹预测装置,并且,该装置中的处理器等可以实现图6所对应的实施例中的轨迹预测装置所具有的功能或者所实施的各种步骤和方法,为了简洁,在此不再赘述。
具体实现中,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括指令。其中,设置在任意设备中计算机可读介质其在计算机上运行时,可实施包括图6对应的实施例中的全部或部分步骤。所述计算机可读介质的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:randomaccess memory,简称:RAM)等。
另外,本申请另一实施例还公开一种包含指令的计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备可实施包括图6对应的实施例中的全部或部分步骤。
本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器,数字信息处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信息处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信息处理器核,或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于UE中。可选地,处理器和存储媒介也可以设置于UE中的不同的部件中。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本说明书的各个实施例之间相同相似的部分互相参见即可,每个实施例重点介绍的都是与其他实施例不同之处。尤其,对于装置和系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例部分的说明即可。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于本申请公开的道路约束确定装置的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。