WO2023065342A1 - 车辆及其定位方法、装置、设备、计算机可读存储介质 - Google Patents

车辆及其定位方法、装置、设备、计算机可读存储介质 Download PDF

Info

Publication number
WO2023065342A1
WO2023065342A1 PCT/CN2021/125857 CN2021125857W WO2023065342A1 WO 2023065342 A1 WO2023065342 A1 WO 2023065342A1 CN 2021125857 W CN2021125857 W CN 2021125857W WO 2023065342 A1 WO2023065342 A1 WO 2023065342A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
pose
road
map
lateral deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2021/125857
Other languages
English (en)
French (fr)
Inventor
陈超越
韩美珍
胡伟龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202180008402.4A priority Critical patent/CN116997771A/zh
Priority to PCT/CN2021/125857 priority patent/WO2023065342A1/zh
Priority to JP2024523921A priority patent/JP7775470B2/ja
Priority to MX2024004885A priority patent/MX2024004885A/es
Priority to EP21961085.4A priority patent/EP4403879A4/en
Publication of WO2023065342A1 publication Critical patent/WO2023065342A1/zh
Priority to US18/641,748 priority patent/US20240271945A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Definitions

  • the vehicle positioning method further includes: obtaining a second pose of the vehicle according to the lateral deviation of the vehicle, the first pose, the road feature map and the local map.
  • the accurate posture of the vehicle can be obtained in real time.
  • the sensor positioning data includes one or more of the following: GPS information, IMU information, INS vehicle attitude information, and chassis information.
  • the pixel lateral deviation is the distance between the ROI mapping point of the optical center of the first camera in the top view and the center point of the lane, and the center point of the lane is the distance between the lane lines on the left and right sides of the first pose
  • the first camera is a camera for collecting images of the road ahead.
  • the second position and/or the second attitude of the vehicle is determined according to multiple candidate pose points in the local map, and the pose of each candidate pose point is determined according to the lateral deviation of the vehicle , first pose and local map determination.
  • the local map is derived from a vector map.
  • Fig. 2 is a schematic flowchart of a vehicle positioning method according to an embodiment of the present application.
  • Fig. 6 is an example diagram of a road feature map ROI in the first example of the present application.
  • FIG. 12 is a schematic structural diagram of a computing device according to an embodiment of the present application.
  • the image of the road ahead can be collected by the first camera mounted on the vehicle, and the image of the road ahead can include lane lines and markers of the road ahead of the vehicle.
  • markers may include but are not limited to traffic lights, basement pillars, walls, toll booths, barriers, anti-collision strips, obstacles, storage locations and storage location lines, no parking areas, crosswalks, speed bumps, deceleration, All traffic signs and road markings such as parking, giving way, giving way, pavement road signs, telephone poles, road edges, trees, shrubs, isolation belts, guardrails, etc.
  • the image of the road ahead may also include the center line of the road, guiding lines, guiding arrows, and the like.
  • Step S230 determining the lateral deviation of the vehicle according to the road characteristic map
  • the lateral deviation of the vehicle may represent the road lateral distance from the vehicle (for example, the center of the rear axle of the vehicle or the optical center of the first camera on the vehicle) to the centerline of the lane.
  • the lateral deviation can be, but not limited to, the actual lateral deviation and the pixel lateral deviation.
  • the actual lateral deviation is the lateral deviation in the reference coordinate system
  • the pixel lateral deviation is the lateral deviation in the top view of the road feature map.
  • the pixel lateral deviation may be the distance between the ROI mapping point of the optical center of the first camera in the top view and the center point of the lane, and the center point of the lane is the center point of the lane between the lane lines on the left and right sides of the first pose. Since the optical center of the first camera is the coordinate origin of the camera coordinate system and the pixel coordinate system of the first camera, the position of the ROI mapping point of the optical center of the first camera is easy to obtain. The deviation can further reduce the computational complexity.
  • Step S240 obtaining the second position of the vehicle according to the lateral deviation of the vehicle, the first pose of the vehicle, the road feature map and the local map corresponding to the first pose.
  • the first pose represents the initial pose of the vehicle or the pose at the previous moment.
  • the first pose may include a first position and a first attitude, the first position being the initial position of the vehicle or the position at the previous moment, and the first attitude being the initial attitude of the vehicle or the attitude at the previous moment.
  • the second position and/or the second pose can be determined according to multiple candidate pose points in the local map, and the pose of each candidate pose point is determined according to the lateral deviation, the first pose and the local map. Therefore, the candidate pose points selected by the lateral deviation can accurately locate the vehicle, and there is no need to perform a large-scale global image matching on the area around the first pose. The amount of calculation is small, and the computational complexity is low. It can improve vehicle positioning. Accurate while effectively reducing computing resource consumption and saving time.
  • This step is optional, and the step of separating the features of lane lines can be flexibly selected according to actual application requirements. By pre-separating the road features, the amount of data in the subsequent processing process can be reduced, the computational complexity can be reduced, and unnecessary feature data can be filtered. Other features, such as lane centerlines, can be separated in a similar manner if they are laterally offset by other features, such as lane centerlines.
  • Fig. 7 shows an example diagram of the top view of the road feature map ROI, and Fig. 7 also shows the lanes in the top view of the road feature map ROI Lines L 3 and L 4 , ROI mapping point S′′, the dotted line frame represents the top view of the road feature map ROI, the solid line inside the dotted line frame represents the lane line, and the dotted line between the two solid lines represents the lane cross-section line.
  • the position Q(x 2 , y 2 ) of the lane center point in the top view of the road feature map ROI can be obtained based on the lane line L 3 expression (9) and the lane line L 4 expression (10), through the lane center point
  • the position Q(x 2 , y 2 ) and the ROI mapping point position S′′(x 1 , y 1 ) get the pixel lateral deviation, and then use the pixel lateral deviation and the preset pixel ratio to obtain the actual lateral deviation.
  • a perpendicular line is drawn to the lane line L3 or lane line L4 through S′′(x 1 , y 1 ), and the intersection point Q 1 of the perpendicular line and the lane line L 3
  • Its intersection point Q 2 with the lane line L 4 is the two endpoints of the lane cross-section line, and the midpoint of the lane cross-section line Q 1 Q 2 , that is, the middle point of the intersection point Q 1 and the intersection point Q 2 , is the center point of the lane
  • the two lane cross-sections can be determined Coordinates Q 1 (l x1 , l y1 ) and Q 2 (l x2 , l y2 ) of each end point. Then, the position Q(x 2 , y 2 ) of the center point of the lane can be obtained according to formula (11).
  • the traversal range of feature matching can be reduced to a line on the map grid without traversing all points within the surrounding range of the vehicle position in the map, the calculation amount of projection imaging is significantly reduced, and the range of point matching during feature matching It can be seen that the amount of calculation has been significantly reduced, and the computational complexity has also been significantly reduced.
  • the attitude information (raw i , pitch i , yaw i ) of each candidate pose point can be taken as first gesture.
  • the pose information of each candidate pose point is also the first pose (raw start , pitch start , yaw start ). That is to say, the pose of the i-th candidate pose point can be H i (H xi , H yi , H zi , raw start , pitch start , yaw start ).
  • the longitudinal search along the lane direction of the corrected position is the above-mentioned process of determining the second position of the vehicle, which may include: selecting and determining the poses of multiple candidate pose points along the lane direction of the corrected position, for each candidate
  • the pose points are projected into the local map to obtain their projection images, and the projection images of each candidate pose point are matched with the road feature map to find the candidate pose point with the smallest matching cost value.
  • the pose of the candidate pose point is used as the second pose of the vehicle.
  • the GPS information includes specific location information of the vehicle, which can be described by longitude, latitude and altitude information or three-dimensional coordinate values in a reference coordinate system (eg, UTM coordinate system).
  • IMU information may include but not limited to vehicle linear acceleration and vehicle angular acceleration.
  • the INS vehicle attitude information includes the vehicle attitude information obtained by solving the IMU information.
  • Chassis information may include but not limited to vehicle speed, vehicle acceleration, steering wheel angle, steering wheel angular velocity and other information. The embodiments of the present application do not limit the specific content of the GPS information, IMU information, INS vehicle attitude information, and chassis information.
  • a feature acquisition unit 1120 configured to obtain a road feature map according to the road image ahead;
  • the position determination unit 1140 is configured to obtain a second position of the vehicle according to the lateral deviation of the vehicle, the first pose of the vehicle, the road feature map and the local map corresponding to the first pose.
  • the processor 1210 may be connected to the memory 1220 .
  • the memory 1220 can be used to store the program codes and data. Therefore, the memory 1220 may be a storage unit inside the processor 1210, or an external storage unit independent of the processor 1210, or may include a storage unit inside the processor 1210 and an external storage unit independent of the processor 1210. part.
  • the processor 1210 executes the computer-implemented instructions in the memory 1220 to perform the operation steps of the vehicle location method described above.
  • a GPS sensor 1320, an IMU 1330, a vehicle speed sensor 1340, an acceleration sensor 1350, etc. are installed on the vehicle, and these sensors are respectively connected to the above-mentioned computing devices. It should be noted that Fig. 10 is only an example. In specific applications, the embodiment of the present application does not limit the number, type, deployment location, and installation method of the GPS sensor 1320, IMU 1330, vehicle speed sensor 1340, and acceleration sensor 1350.
  • the front-view camera 1310, the GPS sensor 1320, the IMU 1330, the vehicle speed sensor 1340, and the acceleration sensor 1350 can be connected to the computing device in a wireless or wired manner, respectively.
  • front-view camera, GPS, IMU, vehicle speed sensor, and acceleration sensor can be connected through Ethernet, Bluetooth (Bluetooth), wireless fidelity (Wi-Fi) network, cellular network, controller area network (Controller Area Network) respectively.
  • CAN local interconnect network
  • LIN local interconnect network
  • the embodiment of the present application also provides a computer-readable storage medium, on which a computer program is stored, and when the program is run by a processor, the processor executes the above vehicle positioning method.
  • the computer readable medium may be a computer readable signal medium or a computer readable storage medium.
  • a computer-readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, semiconductor system, device, or device, or any combination thereof.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种车辆定位方法、装置（1100）、计算设备（1200）、计算机可读存储介质及车辆（1300）。定位方法包括获取车辆的前方道路图像（S210），根据前方道路图像得到道路特征图（S220），根据道路特征图确定车辆的横向偏差（S230），根据车辆的横向偏差、车辆的第一位姿、道路特征图和对应第一位姿的局部地图，获得车辆的第二位置（S240）。由此能够在提升车辆定位精度的同时，降低计算资源消耗和节省时间，进而同步提升车辆定位的可靠性和及时性，继而增强驾驶安全性。

Description

车辆及其定位方法、装置、设备、计算机可读存储介质 技术领域
本申请涉及智能驾驶领域，尤其涉及一种车辆及其定位方法、装置、设备、计算机可读存储介质。
背景技术
车辆强依赖于定位技术，定位是车辆其他功能的前提，定位精度直接影响车辆行驶安全。通常，多采用全球定位系统(global positioning system，GPS)和惯性测量单元(Inertial Measuring Unit，IMU)的组合定位实现车辆的较高精度定位。然而，在GPS信号不佳或GPS失效的情况下，GPS与IMU的组合定位会产生漂移，导致定位精度降低。
目前，GPS失效或GPS信号不佳的环境下，主要使用激光及视觉的方法约束IMU以修正定位结果。使用激光及视觉的方法约束IMU时，需要专门采集定位环境的特征地图并存储为视觉特征，例如，ORB(Oriented FAST and Rotated BRIEF)特征、FAST(Features From Accelerated Segment Test)特征等，并且需要采用诸如最近迭代算法(Iterative Closest Point，ICP)、Kd树(Kd-Tree)等点匹配方法在较大范围甚至全图进行特征匹配，数据量大且运算复杂度高，不仅耗费大量计算资源，而且耗时长，硬件成本高、效率较低，无法实时可靠地进行车辆定位，给车辆的无人驾驶或智能驾驶带来了安全隐患。
发明内容
为解决上述技术问题，本申请实施例提供了一种车辆及其定位方法、装置、设备、计算机可读存储介质，能够在提升车辆定位精度的同时，降低计算资源消耗和时间消耗。
本申请第一方面提供一种车辆定位方法，包括：
获取车辆的前方道路图像；
根据前方道路图像得到道路特征图；
根据道路特征图确定车辆的横向偏差；
根据车辆的横向偏差、车辆的第一位姿、道路特征图和对应第一位姿的局部地图，获得车辆的第二位置。
因横向偏差可指示车辆的道路横向距离，由此，通过横向偏差和第一位姿的结合可缩小图像匹配的范围，从而在提升车辆定位精度的同时有效减少计算量和降低运算复杂度。
作为第一方面的一种可能的实现方式，根据道路特征图确定车辆的横向偏差，包括：根据道路特征图中的车道线特征确定车辆的横向偏差。车道线特征较可靠、完整，因此，以车道线特征为横向偏差的依据可获得较为准确、可靠的横向偏差。
作为第一方面的一种可能的实现方式，道路特征图中的车道线特征包括：道路特征图感兴趣区域ROI中两条车道线的特征，两条车道线位于第一位姿左右两侧。道路特征图ROI数据量相对较小且其中车道线的特征完整可靠，因此可进一步提升车辆横向偏差的准确性和可靠性。
作为第一方面的一种可能的实现方式，根据道路特征图中的车道线特征确定车辆的横向偏差，包括：根据像素横向偏差和预先设定的像素比例得到车辆的横向偏差，根据道路特征图ROI的俯视图中的车道线特征确定像素横向偏差，道路特征图ROI的俯视图中的车道线特征通过道路特征图ROI中两条车道线的特征得到。像素横向偏差和像素比例获得横向偏差的方式的相对易于实现，因此可进一步降低运算复杂度。
作为第一方面的一种可能的实现方式，像素横向偏差为俯视图中第一摄像头光学中心的ROI映射点与车道中心点的间距，车道中心点为第一位姿左右两侧车道线之间的车道中心点，第一摄像头为采集前方道路图像的摄像头。第一摄像头光学中心的位置易于获得且其坐标转换的计算量相对较少，由此可进一步减少计算量和降低运算复杂度。
作为第一方面的一种可能的实现方式，车辆定位方法还包括：根据车辆的横向偏差、第一位姿、道路特征图和局部地图，获得车辆的第二姿态。由此，可实时获得车辆的准确姿态。
作为第一方面的一种可能的实现方式，第二位置和/或车辆的第二姿态根据局部地图中的多个候选位姿点确定，每个候选位姿点的位姿根据车辆的横向偏差、第一位姿和局部地图确定。由此，通过横向偏差选定的候选位姿点即可准确定位车辆，计算量较小，运算复杂度较低，能够有效降低计算资源消耗和节省时间。
作为第一方面的一种可能的实现方式，多个候选位姿点以矫正位置为中心均匀分布在局部地图的同一车道方向，矫正位置根据车辆的横向偏差和局部地图中对应第一位姿的车道中心点位置与道路朝向角得到。由此，通过同一车道方向上多个候选位姿点即可准确定位车辆，搜索范围更小，能够在提升车辆定位精度的同时进一步减少计算量、降低运算复杂度。
作为第一方面的一种可能的实现方式，第二位置为通过对投影图像与道路特征图进行特征匹配而选定的一个候选位姿点的位置信息；和/或，第二姿态为通过对投影图像与道路特征图进行特征匹配而选定的一个候选位姿点的姿态信息；其中，投影图像根据候选位姿点的位姿、第一摄像头的内外参和局部地图获得。因投影图像与道路特征图的匹配程度可指示相应候选位姿点与车辆真实位姿的接近程度，因此，可获得较为准确、可靠的车辆定位结果。
作为第一方面的一种可能的实现方式，车辆定位方法还包括：根据第二位置、车辆的第一姿态和传感器定位数据，获得车辆的第三位姿；或者，根据第二位置、车辆的第二姿态和传感器定位数据，获得车辆的第三位姿。由此，可以通过多种位置数据的融合获得精度更高且可靠性更佳的第三位姿，进一步提升车辆定位的精度和可靠性。
作为第一方面的一种可能的实现方式，传感器定位数据包括如下之一或多项：GPS信息、IMU信息、INS车辆姿态信息、底盘信息。
作为第一方面的一种可能的实现方式，局部地图来自矢量地图。矢量地图信息完 整且精度高，由此可进一步提升车辆定位的精度。
本申请第二方面提供一种车辆定位装置，包括：
图像获取单元，用于获取车辆的前方道路图像；
特征获取单元，用于根据前方道路图像得到道路特征图；
偏差确定单元，用于根据道路特征图确定车辆的横向偏差；
位置确定单元，用于根据车辆的横向偏差、车辆的第一位姿、道路特征图和对应第一位姿的局部地图，获得车辆的第二位置。
作为第二方面的一种可能的实现方式，特征获取单元，具体用于根据道路特征图中的车道线特征确定车辆的横向偏差。
作为第二方面的一种可能的实现方式，道路特征图中的车道线特征包括：道路特征图感兴趣区域ROI中两条车道线的特征，两条车道线位于第一位姿左右两侧。
作为第二方面的一种可能的实现方式，特征获取单元，具体用于根据像素横向偏差和预先设定的像素比例得到车辆的横向偏差，像素横向偏差根据道路特征图ROI的俯视图中的车道线特征确定，道路特征图ROI的俯视图中的车道线特征通过道路特征图ROI中两条车道线的特征得到。
作为第二方面的一种可能的实现方式，像素横向偏差为俯视图中第一摄像头光学中心的ROI映射点与车道中心点的间距，车道中心点为第一位姿左右两侧车道线之间的车道中心点，第一摄像头为采集前方道路图像的摄像头。
作为第二方面的一种可能的实现方式，车辆定位装置还包括：姿态确定单元，用于根据车辆的横向偏差、第一位姿、道路特征图和局部地图，获得车辆的第二姿态。
作为第二方面的一种可能的实现方式，第二位置和/或车辆的第二姿态根据局部地图中的多个候选位姿点确定，每个候选位姿点的位姿根据车辆的横向偏差、第一位姿和局部地图确定。
作为第二方面的一种可能的实现方式，多个候选位姿点以矫正位置为中心均匀分布在局部地图的同一车道方向，矫正位置根据车辆的横向偏差和局部地图中对应第一位姿的车道中心点位置与道路朝向角得到。
作为第二方面的一种可能的实现方式，第二位置为通过对投影图像与道路特征图进行特征匹配而选定的一个候选位姿点的位置信息；和/或，第二姿态为通过对投影图像与道路特征图进行特征匹配而选定的一个候选位姿点的姿态信息；其中，投影图像根据候选位姿点的位姿、第一摄像头的内外参和局部地图获得。
作为第二方面的一种可能的实现方式，车辆定位装置还包括：融合单元，用于根据第二位置、车辆的第一姿态和传感器定位数据，获得车辆的第三位姿；或者，根据第二位置、车辆的第二姿态和传感器定位数据，获得车辆的第三位姿。
作为第二方面的一种可能的实现方式，传感器定位数据包括如下之一或多项：GPS信息、IMU信息、INS车辆姿态信息、底盘信息。
作为第二方面的一种可能的实现方式，局部地图来自矢量地图。
本申请第三方面提供一种计算设备，包括：处理器和存储器，存储器存储有程序指令，程序指令当被处理器执行时使得处理器执行第一方面的车辆定位方法。
本申请第四方面提供一种计算机可读存储介质，其上存储有程序指令，程序指令 当被计算机执行时使得计算机执行第一方面的车辆定位方法。
本申请第五方面提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器运行时使得处理器执行第一方面的车辆定位方法。
本申请第六方面提供了一种车辆，包括：用于采集前方道路图像的第一摄像头、以及第二方面的车辆定位装置或者第三方面的计算设备。
作为第六方面的一种可能的实现方式，车辆还包括如下之一或多项：GPS传感器、IMU、车速传感器、加速度传感器。
本申请实施例中，通过先确定横向偏差再结合横向偏差确定车辆第二位置的方式，可有效缩小图像匹配等复杂处理的范围，减少计算量和降低运算复杂度。由此，本申请实施例能够在提升车辆定位精度的同时降低计算资源的消耗和时间成本，可在诸如GPS失效、GPS信号不佳等各种情况下同步提升高车辆定位的精度、可靠性和及时性，从而提升诸如无人驾驶、智能驾驶等各类驾驶模式下车辆行驶的安全性。
本申请的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
以下参照附图来进一步说明本申请的各个特征和各个特征之间的联系。附图均为示例性的，一些特征并不以实际比例示出，并且一些附图中可能省略了本申请所涉及领域的惯常的且对于本申请非必要的特征，或是额外示出了对于本申请非必要的特征，附图所示的各个特征的组合并不用以限制本申请。另外，在本说明书全文中，相同的附图标记所指代的内容也是相同的。具体的附图说明如下：
图1是本申请实施例应用场景的示例图。
图2是本申请实施例车辆定位方法的流程示意图。
图3是本申请实施例一示例中道路特征图的示意图。
图4是本申请实施例一示例中分离车道线特征后道路特征图的示意图。
图5是本申请实施例一示例中相机坐标系下ROI的示意图。
图6是本申请实施例一示例中道路特征图ROI的示例图。
图7是本申请实施例一示例中道路特征图ROI的俯视图的示意图。
图8是本申请实施例一示例中基准坐标系下矫正位置、第一位置、横向偏差及其关系的示意图。
图9是本申请实施例一示例中候选位姿点的示意图。
图10是本申请实施例车辆定位方法的具体实现过程示意图。
图11是本申请实施例车辆定位装置的结构示意图。
图12是本申请实施例计算设备的结构示意图。
图13是本申请实施例一示例中车辆的结构示意图。
具体实施方式
说明书和权利要求书中的词语“第一”、“第二”等或A单元、B单元等类似用语，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这 里图示或描述的以外的顺序实施。
在以下的描述中，所涉及的表示步骤的标号，如S210、S220……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。
本申请实施例涉及的重要名词及相关术语解释如下：
世界坐标系：也称为测量坐标系、客观坐标系，以其为基准可以描述相机和待测物体的三维位置和三维姿态，是客观三维世界的绝对坐标系，通常用三维坐标轴的坐标值Pw(Xw,Yw,Zw)表示物体的三维位置，用物体相对于三维坐标轴的旋转角度(raw,pitch,yaw)表示物体的三维姿态。本申请实施例中，世界坐标系可以作为全局位姿的基准坐标系。
相机坐标系：以相机的光学中心为坐标原点，Z轴与光轴重合指向相机的前方，X轴指向相机右方，Y轴指向相机下方，通常用Pc(Xc,Yc,Zc)表示其坐标值。
相机的外参：可决定相机坐标系与世界坐标系之间的相对位置关系，从世界坐标系转换到相机坐标系的参数，可以包括旋转矩阵R和平移向量T。以针孔成像为例，相机外参、世界坐标和相机坐标满足关系式(1)：Pc＝RPw+T(1)；其中，Pw为世界坐标系的坐标值(Xw,Yw,Zw)，Pc是相机坐标系的坐标值(Xc,Yc,Zc)，T＝(Tx,Ty,Tz)，是平移向量，R＝R(α,β,γ)是旋转矩阵，分别是绕相机坐标系的Z轴旋转角度为γ、绕Y轴旋转角度为β、绕X轴旋转角度为α，也即，6个参数即α,β,γ,Tx,Ty,Tz组成了相机的外参。
相机的内参：决定了从三维空间到二维图像的投影关系，仅与相机有关。以小孔成像模型为例，不考虑图像畸变时，内参可以包括相机在像素坐标系两个坐标轴u、v方向上的尺度因子、相对于图像坐标系的主点坐标(x 0,y 0)、坐标轴倾斜参数s，u轴的尺度因子是每个像素在图像坐标系中x方向的物理长度dx与相机焦距f的比值，v轴尺度因子是像素在图像坐标系中y方向上的物理长度dy与相机焦距的比值。若考虑图像畸变，内参可以包括相机在像素坐标系两个坐标轴u、v方向上的尺度因子、相对于成像平面坐标系的主点坐标、坐标轴倾斜参数和畸变参数，畸变参数可包括相机的三个径向畸变参数和两个切向畸变参数。相机的内参和外参可以通过标定获取。
像素坐标系，也可简称为像素坐标系或平视像素坐标系，以像素为单位的图像坐标系，以图像平面的左上角顶点为原点，u轴水平向右，v轴垂直向下，u轴和v轴分别平行于相机坐标系的X轴、Y轴，通常用p(u,v)表示其坐标值，像素坐标系是以像素为单位表示像素在图像中的位置，图像坐标系是用物理单位(例如，毫米)表示像素在图像中的位置。
透视投影：3D的相机坐标系变换到2D的像素坐标系为透视投影关系。由于坐标系统原点位置不一致，尺度大小不一致，透视投影涉及伸缩变换和平移变换。以针孔相机模型为例，相机坐标系中的点(X C,Y C,Z C)变换到像素坐标系下(u，v)的透视投影关系满足如下式(2)所示的转换方程：
Figure PCTCN2021125857-appb-000001
其中，(u、v)表示像素坐标系的坐标值，(Xc,Yc,Zc)表示相机坐标系中的坐标值，K为相机内参的矩阵表示。
不考虑图像畸变的情况下，式(2)还可写成下式(3)：
Figure PCTCN2021125857-appb-000002
其中，f x为相机焦距f与每个像素在图像坐标系x方向的物理长度dx的比值，表示使用像素来描述x轴方向焦距的长度，f y为相机焦距f与每个像素在图像坐标系y方向的物理长度dy的比值，表示使用像素描述y轴方向焦距的长度。(u 0，v 0)表示相机光轴与图像平面的交点(即主点)的像素坐标系坐标，u 0为主点的图像坐标系横坐标x 0与dx的比值，v 0为主点的图像坐标系纵坐标y 0与dy的比值。
俯视图，也可称为鸟瞰图，可通过仿射变换将平视像素坐标系的坐标值转换到俯视图的像素坐标系。
仿射变换：仿射变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(也即，透视面)绕迹线(也即，透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
仿射变换的通用公式为下式(4)：
Figure PCTCN2021125857-appb-000003
其中，(u，v)表示原始坐标；写成增广向量形式，w＝1；仿射变换矩阵M中，a 11,a 12,a 21,a 22表示线性变换(例如缩放、剪切、旋转)；a 31,a 32用于平移，a 13,a 23用于产生透视变换。
通常，变换后坐标(x，y)满足下式(5)：
Figure PCTCN2021125857-appb-000004
在变换矩阵已知的情况下，根据式(5)和变换公式(4)可得下式(6)～(7)，通过式(6)～(7)可利用原始坐标直接得到变换后坐标：
Figure PCTCN2021125857-appb-000005
Figure PCTCN2021125857-appb-000006
这里，可以利用三组点对的原始坐标和变换后坐标，通过上述公式计算得到仿射变换矩阵M中各分量的值。
全局位姿：也可称为绝对位姿，包括一个基准坐标系中物体的位置和姿态。以车辆为例，物体的位置可通过基准坐标系中的三维坐标值(例如，前文世界坐标系中的坐标值Pw(Xw,Yw,Zw))表示；物体的姿态可通过车辆的俯仰角(pitch)、航向角(yaw)(也称为偏航角)、横滚角(raw)表示，横滚角是围绕X轴旋转的角度，俯仰角是围绕Y轴旋转的角度，航向角是围绕Z轴旋转的角度，或者物体的姿态可通过四元数描述。本申请实施例中，全局位姿的基准坐标系可以是但不限于前文的世界坐标系(包含坐标值和姿态角)、大地坐标系、通用横墨卡托(Universal Transverse  Mercator，UTM)网格系统(Grid System)(也称为UTM坐标系)等。
下面先对可能的实现方式作简要分析。
如前文所述，在GPS失效或GPS定位效果不佳等类似情况下，GPS与IMU的组合定位将会产生漂移，导致定位精度降低。
一种可能的实现方式中，定位系统包括视觉定位装置和惯性导航装置，惯性导航装置包括惯性测量单元，惯性导航装置获取惯性测量单元的状态信息(包括惯性测量单元在载体坐标系下的比力加速度和欧拉角)，视觉定位装置根据该状态信息确定惯性测量单元的线性加速度，再根据惯性测量单元的线性加速度和视觉信息确定无人车的位置信息。尽管该实现方式可以解决无人车定位精度较低的问题，但因其存在累计误差，同时视觉信息的数据量大且计算复杂度高，因此，该实现方式的定位精度将无法达到厘米级，并且会大量消耗计算资源。
第二种可能的实现方式中，视觉定位方法包括：预先获取需定位环境内标志物的图像并建立相应的标志物数据库，采集到需定位环境中标志物的待识别图像之后，将待识别图像与标志物数据库中的图像进行图像匹配，根据匹配到的图像中已知的几何特征计算得到当前位置。尽管该实现方式可以解决GPS失效或定位不佳的情况下定位精度较低的问题，但因其主要借助图像进行定位，并且需要执行大量的图像匹配处理，因此，该实现方式同样存在定位精度无法达到厘米级和计算资源消耗过大的问题。
鉴于此，本申请实施例提供一种车辆及其定位方法、装置、设备、计算机可读存储介质，先基于前方道路图像的道路特征图确定横向偏差，再基于横向偏差、车辆的第一位姿和局部地图获得车辆的第二位置。因横向偏差可指示车辆的道路横向距离，故而通过横向偏差和第一位姿的结合可缩小局部地图的搜索范围，也即缩小了图像匹配的范围，可以有效减少计算量和降低运算复杂度，同时还会提升车辆定位精度，由此，本申请实施例能够在GPS失效、GPS信号不佳等各种情况下同时提高车辆定位的精度、可靠性和及时性。
本申请实施例可适用于各类需要精准定位的场景。特别地，本申请实施例尤其适用于诸如车辆、船只、飞行器、无人机等交通运输工具的定位。例如，车辆行驶过程中的实时精准定位、物流场景中无人引导车的定位、户外环境中无人机的实时精准定位等。此外，本申请实施例可以适用于诸如室内、室外、道路、野外等各种环境中。
本申请实施例中的“车辆”可以是任何类型的交通工具。例如，这里的“车辆”可以是但但不限于私人汽车、商用汽车、公共汽车、客运车、高铁、地铁、无人车、无人机、物流运输车、无人运输车等，“车辆”的动力类型可以为燃油驱动、纯电动、氢燃料电池驱动、混合动力等。此外，这里的“车辆”可以是人为驾驶的车辆、自动驾驶的车辆、无人驾驶的车辆或其他类型的车辆。本领域技术人员可以理解，任何需要实时定位的交通工具均可视为本申请实施例的“车辆”。
图1示出了本申请实施例一示例性应用场景的示意图。图1的场景中，道路中车辆A、车辆B、车辆C和车辆D，均可以通过本申请实施例的方案实时定位自身的位置。例如，在GPS信号不佳、车辆传感器精度较低、隧道场景、地下车库、GPS失效等各种场景中，均可以通过本申请实施例实现车辆的实时、准确和可靠地定位。
示例性地，参见图1所示，车辆的定位位置可以通过车辆后轴中心(图1中黑色实心圆点)位置表示。
下面对本申请实施例的具体实施方式进行详细说明。
图2示出了本申请实施例车辆定位方法的流程示意图。参见图2所示，本申请实施例提供的车辆定位方法可以包括：
步骤S210，获取车辆的前方道路图像；
前方道路图像可通过装载于车辆上的第一摄像头采集，前方道路图像可以包含车辆前方道路的车道线和标志物。这里，标志物可以包括但不限于交通灯、地库立柱、墙、收费亭、道闸机、防撞条、障碍物、库位及库位线、禁停区、人行横道、减速带、减速、停车、让行线、让车等所有交通标识和道路标线、路面道路指示牌、电线杆、路边沿、树、灌木、隔离带、护栏等。此外，前方道路图像还可以包含道路的车道中线、引导线、引导箭头等。
前方道路图像用于结合车辆的第一位姿确定车辆的第二位置和/或第二姿态，第二位置和第二姿态形成的第二位姿为第一位姿的下一位姿。换言之，前方道路图像是在车辆到达第一位姿但尚未或刚好到达第二位姿的时段内采集的前方道路图像。例如，该前方道路图像的采集时间可以是如下时间：车辆到达第一位姿的时刻、车辆到达第二位姿的时刻、或者车辆已到达第一位姿但尚未到达第二位姿的时段。
前方道路图像可以是但不限于飞行时间(Time of Flight，TOF)图像、彩色(Red Green Blue，RGB)图像或其他类型的图像，第一摄像头可以是但不限于TOF摄像头、RGB摄像头等，对于第一摄像头的部署方式、安装位置、具体类型、部署数量以及前方道路图像的具体类型等，本申请实施例均不做限制。
步骤S220，根据前方道路图像得到道路特征图；
一些实施例中，可以通过对前方道路图像进行语义特征提取、拟合后处理(例如，将不完整的车道线拟合为长直线等)、特征骨架化(例如，车道线特征骨架化、电线杆特征骨架化、引导线轮廓化、指示牌轮廓化等操作)等中的一项或多项操作，获得前方道路图像的道路特征图。对于获得道路特征图的具体实现方式，本申请实施例不做限制。
一些实施例中，道路特征图可以为灰度图，其像素值范围为[0,255]。具体应用中，可以通过像素值指示不同类型的道路特征。例如，车道线特征的像素值可以预设为255，电线杆特征的像素值可以设为135，引导箭头特征的像素值可以设为95，指示牌特征的像素值可以设为45，如此，便可通过像素值区分道路特征图中不同类型的道路特征，便于高效准确地从道路特征图中提取所需的特征。例如，若需提取道路特征图中的车道线特征，只需提取道路特征图中像素值为255的像素点即可。若道路特征图中某个像素点的像素值为135，说明该像素点是电线杆的特征点。
一些实施例中，道路特征图中可以包含前方道路图像中道路的车道线特征和标志物特征。图3示出了道路特征图的示例图。图3的示例中，道路特征图中可以包含车道线特征31、电线杆特征32、交通灯特征33等。通过图3可见，道路特征图包含了位于第一位姿左右两侧的两条车道线的特征。
步骤S230，根据道路特征图确定车辆的横向偏差；
一些实施例中，车辆的横向偏差可表示车辆(例如，车辆后轴中心或者车辆上第一摄像头的光学中心)到车道中线的道路横向距离。横向偏差可以是但不限于实际横向偏差、像素横向偏差，实际横向偏差为基准坐标系下的横向偏差，像素横向偏差为道路特征图的俯视图中的横向偏差。
一些实施例中，可以根据道路特征图中的车道线特征确定车辆的横向偏差。因车道线特征比较完整可靠，因此，以车道线特征为横向偏差的依据，可获得准确性和可靠性均较佳的横向偏差。具体应用中，还可以其他的道路特征作为确定横向偏差的依据，例如车道中线、引导线、引导箭头等特征。
一些实施例中，道路特征图中的车道线特征可以包括道路特征图ROI中两条车道线的特征，该两条车道线位于第一位姿的左右两侧。也即，可根据道路特征图ROI中两条车道线的特征确定车辆的横向偏差。因道路特征图ROI数据量更小且其中第一位姿左右两侧的两条车道线的特征较为可靠和完整，因此，通过道路特征图ROI中两条车道线的特征获得横向偏差，可以在提升横向偏差准确性的同时，进一步降低运算复杂度，减少计算资源消耗和时间消耗。具体应用中，还可通过道路特征图中的其他特征或其他区域的车道线特征获得横向偏差，本申请实施例对于确定车辆的横向偏差所使用的特征不做限制。
一些实施例中，车辆的横向偏差可以根据像素横向偏差和预设设定的像素比例得到，像素横向偏差根据道路特征图ROI的俯视图中的车道线特征确定，道路特征图ROI的俯视图中的车道线特征通过道路特征图ROI中两条车道线的特征得到。因道路特征图ROI数据量更小且其中包含的车道线特征较为可靠和完整，道路特征图ROI的俯视图相当于车辆前方道路的鸟瞰特征图，并且通过像素横向偏差和像素比例得到横向偏差的方式较为简单、易于实现，因此，通过像素横向偏差获得车辆的横向偏差，可以在提升横向偏差准确性的同时，进一步降低运算复杂度，减少计算资源消耗和时间消耗。
一些实施例中，像素横向偏差可以为俯视图中第一摄像头光学中心的ROI映射点与车道中心点的间距，该车道中心点为第一位姿左右两侧车道线之间的车道中心点。因第一摄像头光学中心为第一摄像头的相机坐标系和像素坐标系的坐标原点，第一摄像头光学中心的ROI映射点位置易于获得，因此，通过第一摄像头光学中心的ROI映射点获得像素横向偏差，可以进一步降低运算复杂度。
具体应用中，还可通过车辆上的其他刚性位置点(例如，车辆后轴中心)等的ROI映射点位置来获得像素横向偏差，对于得到像素横向偏差的具体方式，本申请实施例不做限制。
一些实施例中，确定横向偏差的示例性具体实现过程可以包括如下的步骤1)～4)：
1)根据预先设定的ROI尺寸参数确定道路特征图ROI，道路特征图ROI中包含第一位姿左右两侧车道线的特征。
2)根据道路特征图ROI的端点位置和预设设定的像素比例确定第一摄像头的仿射变换矩阵，并根据该仿射变换矩阵通过第一摄像头的仿射变换获得道路特征图ROI的俯视图；
3)确定道路特征图ROI的俯视图中的车道中心点位置和第一摄像头光学中心的ROI映射点位置，以该车道中心点位置与该ROI映射点位置的间距作为像素横向偏差；
4)以像素横向偏差与像素比例的乘积作为实际横向偏差，该实际横向偏差即为最终的横向偏差。
上述示例性实现方式，通过第一摄像头的透视投影和仿射变换，即可借由车道线特征得到车辆的横向偏差，不仅计算量小、运算复杂度低，而且可提高横向偏差的准确性，可在提升车辆定位精度的同时进一步降低计算资源消耗和耗时。
步骤S240，根据车辆的横向偏差、车辆的第一位姿、道路特征图和对应第一位姿的局部地图，获得车辆的第二位置。
第一位姿表示车辆的初始位姿或前一时刻的位姿。第一位姿可以包括第一位置和第一姿态，第一位置为车辆的初始位置或前一时刻的位置，第一姿态为车辆的初始姿态或前一时刻的姿态。
第二位姿为第一位姿的下一位姿，第二位姿还可称为第一位姿的视觉定位位姿。第二位姿可以包括第二位置和第二姿态。若车辆的位置无变化而只有姿态变化，第二位置等于第一位置；若车辆位置发生变化，第二位置可通过对第一位姿执行步骤S210～步骤S240的处理而获得。若车辆姿态无变化或者不关注车辆姿态的变化，第二姿态可以等于第一姿态。若需同时更新车辆的姿态且车辆的姿态发生了变化，第二姿态也可通过对第一位姿执行步骤S210～步骤S240的处理而获得的。
第三位姿为通过对第一位姿执行步骤S210～步骤S250的处理而获得的位姿(也可称为融合定位位姿)，换言之，第三位姿可通过对第二位姿执行步骤S250的处理而获得。
第二位姿和第三位姿均可作为车辆的定位位姿或当前时刻的位姿。实际应用中，可以根据需要选用第二位姿和/或第三位姿作为车辆的最终位姿或当前时刻的位姿。这里，第一位姿、第二位姿和下文的第三位姿可以是前文所述的全局位姿。
一些实施例中，步骤S240中还可包括：根据横向偏差、第一位置、第一姿态、道路特征图和局部地图，获得车辆的第二姿态。具体应用中，第二位姿可以与第二位置同步获得，第二位姿与第二位置也可先后得到但获得的先后顺序不做限制。
一些实施例中，本申请实施例还可包括：获取对应车辆的第一位姿的局部地图。实际应用中，局部地图的数据可从云端的地图获取、也可从本地存储的地图中提取，可以在本申请实施例定位方法开始之前获取，也可在本申请实施例执行过程中(例如，步骤S240中或之前)实时获取。
局部地图为地图中对应第一位姿周围区域的部分。一些实施例中，局部地图可以是以第一位姿在地图中的对应位置为中心的预定区域，该预定区域可以是圆形区域、矩形区域、三角形区域或其他自定义形状的区域。以圆形区域为例，局部地图可以是地图中以第一位姿的对应位置为圆心、以预定长度为半径的圆形区域，该预定长度可灵活设置或者根据车速确定。例如，预定长度可默认为30米～50米。
因矢量地图中数据比较精准和完整，为提升车辆定位精度，本申请实施例中的局部地图可来自一矢量地图。一些实施例中，该矢量地图可以为高清矢量地图、高精度矢量地图。具体应用中，该矢量地图可以来自云端或内置于车辆的存储设备中。
一些实施例中，局部地图中记录的信息包括但不限于各个车道中各个点的位置信息、车道中心点位置信息、道路朝向角信息、标志物信息等。局部地图中的道路特征(例如，标志物、车道线等)可通过矢量线、曲线或直线表示，不同类型的道路特征可以通过像素值进行区分。局部地图中每条车道的道路朝向角信息可以与位置信息关联，同一车道的不同位置对应的道路朝向角可以相同、也可以不同。此外，局部地图中还可记录诸如引导箭头、引导线等各种道路标志的信息。对于局部地图的类型、可视化表示方式、记录的具体内容等，本申请实施例均不做限制。
一些实施例中，第二位置和/或第二姿态可以根据局部地图中的多个候选位姿点确定，每个候选位姿点的位姿根据横向偏差、第一位姿和局部地图确定。由此，通过横向偏差选定的候选位姿点即可准确定位车辆，无需对第一位姿周围区域进行大范围地全局图像匹配，计算量小，运算复杂度较低，可以在提升车辆定位精度的同时有效降低计算资源消耗和节省时间。
一些实施例中，多个候选位姿点以矫正位置为中心均匀分布在局部地图的同一车道方向，矫正位置根据横向偏差和局部地图中对应第一位姿的车道中心点位置与道路朝向角得到。由此，通过同一车道方向上多个候选位姿点即可准确定位车辆，搜索范围更小，进一步缩小了图像匹配的范围，可以在提升车辆定位精度的同时进一步降低计算资源消耗和节省时间。
一些实施例中，第二位置可以为通过对投影图像与道路特征图进行特征匹配而选定的一个候选位姿点的位置信息；和/或，第二姿态可以为通过对投影图像与道路特征图进行特征匹配而选定的一个候选位姿点的姿态信息；其中，投影图像根据候选位姿点的位姿、第一摄像头的内外参和局部地图获得。因投影图像与道路特征图的匹配程度可指示相应候选位姿点与车辆真实位姿的接近程度，因此，通过投影图像与道路特征图的特征匹配可以获得较为准确、可靠的车辆定位结果。
一些示例中，通过对投影图像与所述道路特征图进行特征匹配而选定的一个候选位姿点，可以是多个候选位姿点中投影图像与道路特征图的匹配代价值小于预定阈值的任一候选位姿点、或者投影图像与道路特征图的匹配代价值最小的一个候选位姿点。因投影图像与道路特征图的匹配代价值最小，说明投影图像与道路特征图的匹配程度最高，也就说明相应候选位姿点最接近车辆的真实位姿，因此，匹配代价值小于预定阈值或匹配代价值最小的候选位姿点的位姿更为接近车辆的真实位姿，如此，可以获得更为准确、可靠的车辆定位结果。
一些实施例中，本申请实施例提供的车辆定位方法还可以包括：步骤S250，根据第二位置、第一姿态和传感器定位数据，获得车辆的第三位姿；或者，根据第二位置、第二姿态和传感器定位数据，获得车辆的第三位姿。这里，传感器定位数据可以包括如下之一或多项：GPS信息、IMU信息、惯性导航系统(Inertial Navigation System，INS)车辆姿态信息、底盘信息。如此，可以将第二姿态与其他传感器的实时定位信息融合获得精度更高且可靠性更佳的第三位姿，可弥补第一摄像头性能不佳、光照不佳等外部环境条件对第二位姿精度的影响，进一步提升车辆定位的精度和可靠性。
一些实施例中，可以采用扩展卡尔曼滤波(Extended Kalman-Filter，EKF)进行多传感器信息融合计算获得车辆的第三位姿。例如，可以将GPS信息、IMU信息、 INS车辆姿态信息、底盘信息以及上述的第二位姿，以其协方差的大小作为信息有效性的权重进行融合，获得车辆的第三位姿。这里，融合计算的具体算法，本申请实施例不做限制。
一些实施例中，步骤S230的示例性实现流程可以包括如下步骤a1～步骤a5：
步骤a1，分离车道线特征；
一些实施例中，道路特征图中不同标志物可以通过像素值分类。假设车道线特征的像素值约定为m，提取道路特征图像素值为m为的像素点即可形成仅包含车道线特征的道路特征图。图4示出了通过分离图3的车道线特征之后得到的道路特征图。
本步骤为可选步骤，分离车道线特征的步骤可根据实际应用需求灵活取舍。通过预先分离出道路特征可以减少后续处理过程的数据量、降低计算复杂度、过滤不必要的特征数据。若通过诸如车道中线等其他特征横向偏差，可采用相似的方式分离该诸如车道中线等其他特征。
步骤a2，获得道路特征图ROI；
ROI可以选定为检测效果精度与准确性较高的固定视野区域。实际应用中，近处的物体在图像上的表现形式会更大，更容易被检测；远处的物体在图像上表现形式会更小，更不容易被检测；此外，处在视野边缘的物体在图像中很可能是不完整的物体，检测错误的概率较高；距离较近且非视野边缘的区域，图像数据较完整、准确，检测准确性较高。因此，通常将靠近摄像头且非边缘的部分视野区域约定为ROI。具体应用中，ROI可事先设定为固定视野区域的实际尺寸范围。
一些实施例中，可以在第一摄像头的相机坐标系下选取感兴趣区域(region of interest，ROI)并预先设定ROI的尺寸参数，该尺寸参数可以包含但不限于ROI端点在相机坐标系中的位置、ROI的长度、ROI的宽度。以长方形ROI为例，ROI的尺寸参数可以包括但不限于：四个ROI端点的位置(例如，四个端点在第一摄像头的相机坐标系中的坐标值)、ROI长度、ROI宽度。
本步骤中，通过第一摄像头的透视投影将ROI各个端点转换到第一摄像头的像素坐标系即可获得道路特征图中的ROI端点，这些端点定义的矩形区域即为道路特征图ROI。
图5示出了第一摄像头的相机坐标系下ROI的示意图。图5的示例中，在以第一摄像头的实际位置C(即第一摄像头光学中心在基准坐标系中的位置)为坐标原点的相机坐标系XCY下，在地面上选取以四个点P 1、P 2、P 3、P 4围成的长方形区域为ROI，该ROI的尺寸参数可以包括相机坐标系下四个点的坐标值P 1(x P1，y P1，z P1)、P 2(x P2，y P2，z P2)、P 3(x P3，y P3，z P3)、P 4(x P4，y P4，z P4)，ROI长度m(即P 1到P 2的实际距离，单位为米)和ROI宽度n(即P 1到P 3的实际距离，单位为米)。
一些实施例中，在获得道路特征图ROI的同时，还可进一步确定第一摄像头光学中心的ROI映射点的位置。具体地，根据ROI端点在相机坐标系中的位置可以确定第一摄像头光学中心的ROI映射点在相机坐标系中的位置，基于第一摄像头光学中心的ROI映射点在相机坐标系中的位置通过第一摄像头的透视投影可获得第一摄像头光学中心的ROI映射点在像素坐标系中的位置。
可参见图5的示例，过第一摄像头的实际位置C向ROI做垂线，该垂线(即第一 摄像头的相机坐标系的Y轴)与ROI区域靠近相机侧边缘的交点即为第一摄像头光学中心的ROI映射点S。已知ROI端点在相机坐标系下的位置，可以确定第一摄像头光学中心的ROI映射点S的位置(S X，S Y，S Z)，即S Y＝0，S X＝0，S Z＝z P3＝z P4。
已知相机坐标系下四个点的坐标值P 1(x P1，y P1，z P1)、P 2(x P2，y P2，z P2)、P 3(x P3，y P3，z P3)、P 4(x P4，y P4，z P4)和ROI映射点S的位置(S X，S Y，S Z)，通过式(2)～(3)的透视投影，即可获得ROI端点P 1、P 2、P 3、P 4在第一摄像头的像素坐标系中的位置P 1′(u P1，v P1)、P 2′(u P2，v P2)、P 3′(u P3，v P3)、P 4′(u P4，v P4)和ROI映射点S在第一摄像头的像素坐标系中的位置S′(u S，v S)，由此，便获得了道路特征图ROI。图6示出了道路特征图ROI的示例图，图6中的虚线框表示ROI的边界线，实线表示车道线。
步骤a3，确定道路特征图ROI中左右相邻的两条车道线的端点位置；
一些实施例中，可以利用诸如霍夫直线检测法等方式在道路特征图ROI中检测出左右相邻的两条车道线L 1、L 2，确定车道线L 1的端点位置
Figure PCTCN2021125857-appb-000007
与
Figure PCTCN2021125857-appb-000008
和车道线L 2的端点位置
Figure PCTCN2021125857-appb-000009
与
Figure PCTCN2021125857-appb-000010
由此，可以结合道路特征图ROI中车道线的分布选取ROI中左右相邻的两条车道作为确定横向偏差的依据，以便获得更加可靠的横向偏差。图6示出了道路特征图ROI中与车辆左右相邻的两条车道线(图6中的加粗黑线)及其端点。
步骤a4，通过仿射变换获得道路特征图ROI的俯视图中的车道线特征和第一摄像头光学中心的ROI映射点位置；
一些实现方式中，本步骤的示例性实现过程可以包括如下子步骤1)～2)：
1)构建对应第一摄像头的俯视图，并确定道路特征图ROI与其俯视图之间的仿射变换矩阵M。
具体地，可以预先构建像素比例为k(单位：像素/米，即每米的像素数量)的俯视图，其宽为B w、高为B h。根据第一摄像头的相机坐标系下的ROI长度m和ROI宽度n，基于式(8)可以得到B w和B h。
Figure PCTCN2021125857-appb-000011
具体地，已知ROI端点P 1′(u P1，v P1)、P 2′(u P2，v P2)、P 3′(u P3，v P3)、P 4′(u P4，v P4)，根据B w和B h可以得到俯视图的像素坐标系下中端点位置P 1″(0，0)、P 2″((B w-1)，0)、P 3″((B w-1)，(B h-1))、P 4″(0，(B h-1))，由此通过前文仿射变换的公式(6)～(7)可得到道路特征图ROI与其俯视图之间的仿射变换矩阵M。
2)通过仿射变换得到道路特征图ROI的俯视图的车道线L 3与L 4、ROI映射点S″。
首先，将道路特征图ROI中的车道线L 1与L 2，通过仿射变换转化到俯视图的像素坐标系中，得到道路特征图ROI的俯视图中的对应车道线L 3与L 4。具体地，将车道线L 1与L 2的端点
Figure PCTCN2021125857-appb-000012
代入仿射变换公式(6)～(7)，可以得到俯视图中对应车道线L 3与L 4的端点位置
Figure PCTCN2021125857-appb-000013
Figure PCTCN2021125857-appb-000014
然后，根据车道线L 3与L 4的端点位置，可得车道线L 3表达式(9)和车道线L 4表达式(10)。
Figure PCTCN2021125857-appb-000015
Figure PCTCN2021125857-appb-000016
其中，
Figure PCTCN2021125857-appb-000017
表示车道线L 3的斜率，
Figure PCTCN2021125857-appb-000018
表示车道线L 3的y轴截距，
Figure PCTCN2021125857-appb-000019
表示车道线L 4的斜率，
Figure PCTCN2021125857-appb-000020
表示车道线L 4的y轴截距。
同时，将道路特征图ROI中第一摄像头光学中心的ROI映射点位置S′(u S，v S)代入仿射变换公式(6)～(7)，可得到道路特征图ROI的俯视图中第一摄像头光学中心的ROI映射点位置S″(x 1，y 1)。图7示出了道路特征图ROI的俯视图的示例图，图7中同时示出了道路特征图ROI的俯视图中的车道线L 3与L 4、ROI映射点S″，虚线框表示道路特征图ROI的俯视图，虚线框内的实线表示车道线，两条实线之间的虚线表示车道横截线。
步骤a5，计算横向偏差。
具体地，可以基于车道线L 3表达式(9)和车道线L 4表达式(10)得到道路特征图ROI的俯视图中车道中心点的位置Q(x 2，y 2)，通过车道中心点的位置Q(x 2，y 2)和ROI映射点位置S″(x 1，y 1)得到像素横向偏差，再利用像素横向偏差和预设设定的像素比例获得实际横向偏差。
参见图7的示例，在俯视图的像素坐标系中，经过S″(x 1，y 1)向车道线L 3或者车道线L 4做垂线，该垂线与车道线L 3的交点Q 1及其与车道线L 4的交点Q 2为车道横截线的两个端点，车道横截线Q 1Q 2的中点，也即交点Q 1和交点Q 2的中间点，为车道中心点的位置Q(x 2，y 2)。
根据道路特征图ROI的俯视图中车道线L 3的表达式(9)、车道线L 4的表达式(10)以及ROI映射点S″(x 1，y 1)，可以确定车道横截线两个端点的坐标Q 1(l x1，l y1)和Q 2(l x2，l y2)。然后，按照式(11)即可得到车道中心点的位置Q(x 2，y 2)。
Figure PCTCN2021125857-appb-000021
像素横向偏差为道路特征图ROI的俯视图的像素坐标系下的道路横向偏移量。通过图7可见，道路特征图ROI的俯视图的像素坐标系下ROI映射点S″(x 1，y 1)与车道中心点Q(x 2，y 2)的间距即为像素横向偏差。换言之，像素横向偏差offset 1可以通过式(12)获得。
Figure PCTCN2021125857-appb-000022
一些实施例中，实际横向偏差为基准坐标系下的道路横向偏移量。具体地，实际横向偏差offset 2可以通过式(13)获得。
offset 2＝k*offset 1       (13)
其中，offset 2表示实际横向偏差，k表示预先设定的像素比例。
一些实施例中，步骤S240的示例性实现流程可以包括如下的步骤b1～步骤b3：
步骤b1，基于横向偏差对第一位置进行矫正，得到对应第一位姿的矫正位置。
一些实施例中，矫正位置H start(H x0，H y0，H z0)可以通过式(14)获得：
Figure PCTCN2021125857-appb-000023
其中，C start(C x，C y，C z)表示局部地图中第一位置E start(E x，E y，E z)对应的车道中心点C start的位置，offset 2表示实际横向偏差，yaw l表示局部地图中对应第一位置E start(E x，E y，E z)的道路朝向角。通常，C start(C x，C y，C z)和yaw l记录在局部地图中，可通过第一位置E start(E x，E y，E z)从局部地图中直接读取。
图8示出了基准坐标系下矫正位置、第一位置、横向偏差的示意图。图8中，坐标轴XOY是基准坐标系的XY平面，O为基准坐标系的坐标原点，E start表示第一位置，C start表示局部地图中对应第一位置E start的车道中心点，offset 2表示实际横向偏差，通过图8可见，结合道路朝向角yaw l将横向偏差分解到基准坐标系下即可获得各坐标轴的横向偏差分量，将各坐标轴的横向偏差分量与车道中心点的相应坐标值相加即可得到矫正位置H start的坐标值。
步骤b2，确定候选位姿点；
一种实现方式中，以矫正位置H start(H x0，H y0，H z0)为中心，在局部地图的车道方向上选定候选位姿点，根据矫正位置H start(H x0，H y0，H z0)和局部地图中的道路朝向角信息可以确定各候选位姿点的位姿。
具体地，已知矫正位置H start(H x0，H y0，H z0)、预先设定的搜索范围与搜索步长，结合局部地图中的道路朝向数据yaw i，以矫正位置H start(H x0，H y0，H z0)作为第0个候选位姿点H z0的位置，可通过式(15)～(18)确定候选位姿点的数量(2n+1)和各候选位姿点的位置信息(H xi，H yi，H zi)。
Figure PCTCN2021125857-appb-000024
Figure PCTCN2021125857-appb-000025
H zi＝H z0，i＝-n，-n+1，…，-1，0，1，…，n-1，n      (17)
Figure PCTCN2021125857-appb-000026
其中，scope表示预先设定的搜索范围，step表示预先设定的搜索步长，H i(H xi，H yi，H zi)表示第i个候选位姿点的位置，yaw i(i＝-n，-n+1，…，-1，0，1，…，n1，n)表示对应第i个候选位姿点的道路朝向角，yaw i可以直接从局部地图中获取。通过式(18)可知候选位姿点的数量为2n+1，n为大于或等于1的整数。通过式(15)～(17)可见，H z-1和H z1与第0个候选位姿点H z0的位置一样。
图9示出了候选位姿点的示例图。图9中，空心原点表示候选位姿点H i，实心圆点表示矫正位置H start，L 5表示经过矫正位置H start的车道方向，L 0表示车道中线，XOY是基准坐标系的XY平面，O为基准坐标系的坐标原点。通过式(15)～(18)和图9可见，各候选位姿点在局部地图的同一车道方向均匀分布且该车道方向经过矫 正位置。由此，可以把特征匹配的遍历范围缩小到地图网格上的一条线，而无需遍历地图中车辆位置周边范围内的所有点，投影成像的计算量明显减少，且特征匹配时点匹配的范围明显减小，可见，计算量得到了显著减少，运算复杂度也显著降低。
一些实现方式中，在车辆的姿态基本保持不变、不关心车辆的姿态变化或者无需同步确定车辆姿态的情况下，各个候选位姿点的姿态信息(raw i,pitch i,yaw i)可以取第一姿态。例如，第一姿态为(raw start,pitch start,yaw start)时，各个候选位姿点的姿态信息也为第一姿态(raw start,pitch start,yaw start)。也就是说，第i个候选位姿点的位姿可以为H i(H xi，H yi，H zi，raw start,pitch start,yaw start)。
一些实现方式中，需同步确定车辆的姿态时，可采用与位置信息H i(H xi，H yi，H zi)的相似方式确定各个候选位姿点的姿态信息。例如，可根据第一姿态(raw start,pitch start,yaw start)结合预先设定的角搜索步长可以确定各个候选位姿点的姿态信息。需要说明的是，需同步确定车辆姿态的情况下，候选位姿点的数量将不会仅限于上述的“2n+1”。
确定车辆的第二姿态时，可以通过类似的方式选取候选位姿点的方式及各候选位姿点的位置信息和姿态信息。同理，由此可以显著减少计算量和显著降低运算复杂度。
步骤b3，投影成像；
本步骤中，针对每个候选位姿点，可以利用局部地图进行投影成像，获得每个候选位姿点的投影图像。
一些实现方式中，单个候选位姿的投影成像过程可以包括：通过候选位姿点的位姿调整第一摄像头的外参，基于第一摄像头的外参和内参将局部地图中标志物矢量线上的各个像素点投影到第一摄像头的像素坐标系，按照局部地图中像素点之间的线性关联关系在像素坐标系中同步建立这些像素点的线性关联关系，同时根据各标志物的预设像素值渲染相应像素点，从而获得该候选位姿点的投影图像。这样，该投影图像即可相当于第一摄像头光学中心处于候选位姿点时的前方道路图像的道路特征图。
这里，标志物包括但不限于交通灯、地库立柱、墙、收费亭、道闸机、防撞条、障碍物、库位及库位线、禁停区、人行横道、减速带、减速、停车、让行线、让车等所有交通标识和道路标线、路面道路指示牌、电线杆、路边沿、树、灌木、隔离带和护栏等。
一些实现方式中，结合前文式(1)～(3)的原理，将局部地图中标志物的像素点投影到第一摄像头的像素坐标系的过程可以通过下式(19)实现：
Figure PCTCN2021125857-appb-000027
其中，(u，v)表示像素点在第一摄像头的像素坐标系中的坐标值，(X W，Y W，Z W)表示将局部地图中标志物的像素点在基准坐标系中的坐标值，R为第一摄像头的旋转矩阵，T为第一摄像头的平移矩阵，R可以根据候选位姿点的姿态信息(raw i,pitch i,yaw i)和第一摄像头初始外参中的旋转矩阵确定，T可以根据候选位姿点的位置信息(H xi，H yi，H zi)和第一摄像头初始外参中的平移矩阵确定。
一些实现方式中，为便于进行特征匹配，投影图像中各标志物的预设像素值与道路特征图像中相应标志物的预设像素值可以一致。
步骤b4，通过特征匹配得到车辆的第二位姿。
本步骤中，将各个候选位姿点的投影图像与道路特征图进行特征匹配以得到各个候选位姿点对应的匹配代价值，选择所有候选位姿点中匹配代价值最小的候选位姿点的位姿作为车辆的第二位姿，也即，以匹配代价值最小的候选位姿点的位置信息作为车辆的第二位置，以匹配代价值最小的候选位姿点的姿态信息作为车辆的第二姿态。
一些实现方式中，每个候选位姿点的投影图像与道路特征图的特征匹配可以包括：针对道路特征图中的每个像素点p1，遍历投影图像全图以在投影图像中找到像素值与该像素点p1最接近的像素点p2，计算投影图像中的像素点p2与道路特征图中的像素点p1的欧式距离D1，如此，获得道路特征图每个像素点与其在投影图像中对应像素点的欧式距离D1，道路特征图中所有像素点对应的欧式距离D1之和即为该投影图像与道路特征图像的匹配代价值(cost)。
图10示出了本申请实施例车辆定位方法的示例性具体实现流程。参见图10所示，本申请实施例车辆定位方法的示例性具体实现过程可以包括如下步骤：
步骤S1010，第一摄像头采集当前时刻车辆的前方道路图像并将该前方道路图像提供给计算设备；
步骤S1020，计算设备获取对应第一位姿的局部地图，第一位姿为车辆在前一时刻的全局位姿；
步骤S1030，计算设备利用该前方道路图像和对应第一位姿的局部地图确定车辆的第二位姿；
具体地，首先，通过语义特征提取、骨架化语义特征和拟合后处理等处理获得前方道路图像的道路特征图；其次，提取道路特征图ROI，根据道路特征图ROI中的车道线特征和第一位姿，确定横向偏差；再次，根据横向偏差得到第一位置的矫正位置，沿矫正位置的车道方向进行纵向搜索得到车辆的第二位姿。这里，沿矫正位置的车道方向的纵向搜索即为上述确定车辆第二位置的过程，该过程可包括：沿矫正位置的车道方向选取并确定多个候选位姿点的位姿，针对每个候选位姿点进行局部地图的投影成像以得到其投影图像，将各个候选位姿点的投影图像与道路特征图进行特征匹配以找到匹配代价值最小的候选位姿点，将该匹配代价值最小的候选位姿点的位姿作为车辆的第二位姿。
步骤S1040，采用EKF模块对当前时刻的传感器定位数据和步骤S1030得到的第二位姿进行融合计算，获得车辆的第三位姿，第三位姿为当前时刻的车辆位姿。这里，传感器定位数据包括GPS信息、IMU信息、INS车辆姿态信息和/或底盘信息。通过多种定位信息的融合，可将车辆定位的误差范围控制在厘米级，进一步提升了车辆定位精度。
一些实施例中，融合计算过程中可以根据各个传感器的情况实时调整相应信息的权重。例如，GPS信息中携带用于描述GPS状态与精度的标志位(例如GPS正常工作、GPS失灵或GPS信号不佳等状态)，可以根据GPS信息中的标志位判断是否融入GPS信息以及GPS信息的融入权重。比如，当GPS故障时，GPS传感器会提供GPS 信息不可靠的标志位或者不输出GPS信息。此时，步骤S1040的融合计算中可以不计入GPS信息，也即对当前时刻的IMU信息、INS车辆姿态信息、底盘信息和步骤S1030得到的第二位姿进行融合计算来获得车辆的第三位姿。当GPS信号较佳时，步骤S1040中可以对当前时刻的GPS信息、IMU信息、INS车辆姿态信息、底盘信息以及步骤S1030得到的第二位姿进行融合计算来获得车辆的第三位姿。
一些实施例中，GPS信息包括车辆的具体的位置信息，可以用经纬度海拔高度信息或者基准坐标系(例如，UTM坐标系)中的三维坐标值描述。IMU信息可以包括但不限于车辆线加速度、车辆角加速度。INS车辆姿态信息包含通过解算IMU信息获得的车辆的姿态信息。底盘信息可以包括但不限于车辆速度、车辆加速度、方向盘转角、方向盘角速度等信息。对于GPS信息、IMU信息、INS车辆姿态信息、底盘信息的具体内容，本申请实施例不做限制。
在GPS正常、GPS失灵或GPS信号不佳等各种情况下，通过本申请实施例均可实现厘米级定位误差的车辆定位，同时还可降低计算资源消耗和节省时间，同步提升了车辆定位的精度、可靠性和及时性，为无人驾驶或智能驾驶等驾驶模式下车辆的行驶安全提供了保障。
下面对本申请实施例提供的车辆定位装置、计算设备、车辆等的具体实施方式进行详细说明。
图11示出了本申请实施例提供的车辆定位装置1100的结构示意图。参见图11所示，本申请实施例提供的车辆定位装置1100可以包括：
图像获取单元1110，用于获取车辆的前方道路图像；
特征获取单元1120，用于根据前方道路图像得到道路特征图；
偏差确定单元1130，用于根据道路特征图确定车辆的横向偏差；
位置确定单元1140，用于根据车辆的横向偏差、车辆的第一位姿、道路特征图和对应第一位姿的局部地图，获得车辆的第二位置。
一些实施例中，特征获取单元1120具体可用于根据道路特征图中的车道线特征确定车辆的横向偏差。
一些实施例中，道路特征图中的车道线特征可以包括：道路特征图感兴趣区域ROI中两条车道线的特征，所述两条车道线位于所述第一位姿左右两侧。
一些实施例中，特征获取单元1120具体可用于根据像素横向偏差和预先设定的像素比例得到车辆的横向偏差，像素横向偏差根据道路特征图ROI的俯视图中的车道线特征确定，道路特征图ROI的俯视图中的车道线特征通过道路特征图ROI中两条车道线的特征。
一些实施例中，像素横向偏差为俯视图中第一摄像头光学中心的ROI映射点与车道中心点的间距，车道中心点为第一位姿左右两侧车道线之间的车道中心点。
一些实施例中，车辆定位装置1100还可包括：姿态确定单元1150，用于根据车辆的横向偏差、第一位姿、道路特征图和局部地图，获得车辆的第二姿态。
一些实施例中，第二位置和/或车辆的第二姿态根据局部地图中的多个候选位姿点确定，每个候选位姿点的位姿根据车辆的横向偏差、第一位姿和局部地图确定。
一些实施例中，多个候选位姿点以矫正位置为中心均匀分布在局部地图的同一车 道方向，矫正位置根据横向偏差和局部地图中对应第一位姿的车道中心点位置与道路朝向角得到。
一些实施例中，第二位置为通过对投影图像与道路特征图进行特征匹配而选定的一个所述候选位姿点的位置信息；和/或，第二姿态为通过对投影图像与道路特征图进行特征匹配而选定的一个候选位姿点的姿态信息；其中，投影图像根据候选位姿点的位姿、第一摄像头的内外参和局部地图获得。
一些实施例中，车辆定位装置1100还可包括：融合单元1160，用于根据第二位置、车辆的第一姿态和传感器定位数据，获得车辆的第三位姿；或者，根据第二位置、车辆的第二姿态和传感器定位数据，获得车辆的第三位姿。这里，传感器定位数据可以包括如下之一或多项：GPS信息、IMU信息、INS车辆姿态信息、底盘信息。
一些实施例中，局部地图可来自一矢量地图。
本申请实施例的车辆定位装置可通过软件、硬件或两者的结合实现。例如，车辆定位装置1100可实现为计算设备中的软件(该软件具有上述功能模块)，或者直接实现为具有上述功能模块的计算设备。
图12是本申请实施例提供的一种计算设备1200的结构性示意性图。该计算设备1200包括：一个或多个处理器1210、一个或多个存储器1220。
其中，该处理器1210可以与存储器1220连接。该存储器1220可以用于存储该程序代码和数据。因此，该存储器1220可以是处理器1210内部的存储单元，也可以是与处理器1210独立的外部存储单元，还可以是包括处理器1210内部的存储单元和与处理器1210独立的外部存储单元的部件。
可选地，计算设备1200还可包括通信接口1230。应理解，图12所示的计算设备1200中的通信接口1230可以用于与其他设备之间进行通信。
可选的，计算设备1200还可以包括总线1240。其中，存储器1220、通信接口1230可以通过总线1240与处理器1210连接。总线1240可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。所述总线1240可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
应理解，在本申请实施例中，该处理器1210可以采用中央处理单元(central processing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1210采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。
该存储器1220可以包括只读存储器和随机存取存储器，并向处理器1210提供指令和数据。处理器1210的一部分还可以包括非易失性随机存取存储器。例如，处理器1210还可以存储设备类型的信息。
在计算设备1200运行时，处理器1210执行存储器1220中的计算机执行指令执 行上述车辆定位方法的操作步骤。
应理解，根据本申请实施例的计算设备1200可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备1200中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
实际应用中，计算设备1200可实现为芯片中的一个功能单元、独立的芯片、车载终端设备的一个功能单元或独立的车载终端设备。一些实施例中，计算设备1200可以是车机、座舱域控制器(cockpit domain controller，CDC)、移动数据中心/多域控制器(Mobile Data Center/Multi-Domain Controller，MDC)中的一个功能单元/模块，本申请实施例对计算设备1200的形态和部署方式不做限定。
本申请实施例还提供一种车辆，该车辆包含用于采集车辆的前方道路图像的第一摄像头(也可称为前视摄像头)，该车辆还可包括：车辆定位装置1100、计算设备1200、下文所述的计算机可读存储介质或下文所述的计算机程序产品。
图13示出了本申请实施例中车辆的示例图。参见图13所示，车辆1300中安装有前视摄像头1310(即前文的第一摄像头)，前视摄像头可实时采集车辆的前方道路图像并传送给车辆的计算设备1200(图中未示出)，以便计算设备1200利用前方道路图像对车辆进行实时可靠地定位。
示例性地，车辆上还安装有GPS传感器1320、IMU 1330、车速传感器1340、加速度传感器1350等，这些传感器分别与上述计算设备连接。需要说明的是，图10仅为示例。具体应用中，本申请实施例对GPS传感器1320、IMU 1330、车速传感器1340、加速度传感器1350的数量、类型、部署位置和安装方式等均不做限制。
示例性地，前视摄像头1310、GPS传感器1320、IMU 1330、车速传感器1340、加速度传感器1350可分别通过无线或有线的方式与计算设备连接。例如，前视摄像头、GPS、IMU、车速传感器、加速度传感器分别可以通过以太网、蓝牙(Bluetooth)、无线保真(wireless fidelity，Wi-Fi)网络、蜂窝网络、控制器局域网络(Controller Area Network，CAN)总线、局部互联网络(local interconnect network，LIN)总线等各种通信方式与计算设备连接。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器运行时使得处理器执行上述的车辆定位方法。这里，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器、光纤、便携式紧凑磁盘只读存储器、光存储器件、磁存储器件或者上述的任意合适的组合。
本申请实施例还提供了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器运行时使得该处理器执行上述的车辆定位方法。这里，计算机程序产品的程序设计语言可以是一种或多种，该程序设计语言可以包括但不限于诸如Java、C++等面向对象的程序设计语言、诸如“C”语言等的常规过程式程序设计语言。
注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理 解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请的构思的情况下，还可以包括更多其他等效实施例，均属于本申请的保护范畴。

Claims (28)

  1. 一种车辆定位方法，其特征在于，包括：
    获取车辆的前方道路图像；
    根据所述前方道路图像得到道路特征图；
    根据所述道路特征图确定所述车辆的横向偏差；
    根据所述车辆的横向偏差、所述车辆的第一位姿、所述道路特征图和对应所述第一位姿的局部地图，获得所述车辆的第二位置。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述道路特征图确定所述车辆的横向偏差，包括：根据所述道路特征图中的车道线特征确定所述车辆的横向偏差。
  3. 根据权利要求2所述的方法，其特征在于，所述道路特征图中的车道线特征包括：所述道路特征图感兴趣区域ROI中两条车道线的特征，所述两条车道线位于所述第一位姿左右两侧。
  4. 根据权利要求3所述的方法，其特征在于，所述根据所述道路特征图中的车道线特征确定所述车辆的横向偏差，包括：根据像素横向偏差和预先设定的像素比例得到所述车辆的横向偏差，根据所述道路特征图ROI的俯视图中的车道线特征确定像素横向偏差，所述道路特征图ROI的俯视图中的车道线特征通过所述道路特征图ROI中两条车道线的特征得到。
  5. 根据权利要求4所述的方法，其特征在于，所述像素横向偏差为所述俯视图中第一摄像头光学中心的ROI映射点与车道中心点的间距，所述车道中心点为所述第一位姿左右两侧车道线之间的车道中心点，所述第一摄像头为采集所述前方道路图像的摄像头。
  6. 根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：根据所述车辆的横向偏差、所述第一位姿、所述道路特征图和所述局部地图，获得所述车辆的第二姿态。
  7. 根据权利要求1-6任一项所述的方法，其特征在于，所述第二位置和/或所述车辆的第二姿态根据所述局部地图中的多个候选位姿点确定，每个所述候选位姿点的位姿根据所述车辆的横向偏差、所述第一位姿和所述局部地图确定。
  8. 根据权利要求7所述的方法，其特征在于，所述多个候选位姿点以矫正位置为中心均匀分布在所述局部地图的同一车道方向，所述矫正位置根据所述车辆的横向偏差和所述局部地图中对应所述第一位姿的车道中心点位置与道路朝向角得到。
  9. 根据权利要求7或8所述的方法，其特征在于，
    所述第二位置为通过对投影图像与所述道路特征图进行特征匹配而选定的一个所述候选位姿点的位置信息；和/或，所述第二姿态为通过对投影图像与所述道路特征图进行特征匹配而选定的一个所述候选位姿点的姿态信息；
    其中，所述投影图像根据所述候选位姿点的位姿、第一摄像头的内外参和所述局部地图获得。
  10. 根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：
    根据所述第二位置、所述车辆的第一姿态和传感器定位数据，获得车辆的第三位姿；或者，根据所述第二位置、所述车辆的第二姿态和传感器定位数据，获得车辆的第三位姿。
  11. 根据权利要求10所述的方法，其特征在于，所述传感器定位数据包括如下之一或多项：GPS信息、IMU信息、INS车辆姿态信息、底盘信息。
  12. 根据权利要求1-11任一项所述的方法，其特征在于，所述局部地图来自矢量地图。
  13. 一种车辆定位装置，其特征在于，包括：
    图像获取单元，用于获取车辆的前方道路图像；
    特征获取单元，用于根据所述前方道路图像得到道路特征图；
    偏差确定单元，用于根据所述道路特征图确定所述车辆的横向偏差；
    位置确定单元，用于根据所述车辆的横向偏差、所述车辆的第一位姿、所述道路特征图和对应所述第一位姿的局部地图，获得所述车辆的第二位置。
  14. 根据权利要求13所述的装置，其特征在于，所述特征获取单元，具体用于根据所述道路特征图中的车道线特征确定所述车辆的横向偏差。
  15. 根据权利要求14所述的装置，其特征在于，所述道路特征图中的车道线特征包括：所述道路特征图感兴趣区域ROI中两条车道线的特征，所述两条车道线位于所述第一位姿左右两侧。
  16. 根据权利要求15所述的装置，其特征在于，所述特征获取单元，具体用于根据像素横向偏差和预先设定的像素比例得到所述车辆的横向偏差，所述像素横向偏差根据所述道路特征图ROI的俯视图中的车道线特征确定，所述道路特征图ROI的俯视图中的车道线特征通过所述道路特征图ROI中两条车道线的特征得到。
  17. 根据权利要求16所述的装置，其特征在于，所述像素横向偏差为所述俯视图中第一摄像头光学中心的ROI映射点与车道中心点的间距，所述车道中心点为所述第 一位姿左右两侧车道线之间的车道中心点，所述第一摄像头为采集所述前方道路图像的摄像头。
  18. 根据权利要求13-17任一项所述的装置，其特征在于，所述装置还包括：姿态确定单元，用于根据所述车辆的横向偏差、所述第一位姿、所述道路特征图和所述局部地图，获得所述车辆的第二姿态。
  19. 根据权利要求13-18任一项所述的装置，其特征在于，所述第二位置和/或所述车辆的第二姿态根据所述局部地图中的多个候选位姿点确定，每个所述候选位姿点的位姿根据所述车辆的横向偏差、所述第一位姿和所述局部地图确定。
  20. 根据权利要求19所述的装置，其特征在于，所述多个候选位姿点以矫正位置为中心均匀分布在所述局部地图的同一车道方向，所述矫正位置根据所述车辆的横向偏差和所述局部地图中对应所述第一位姿的车道中心点位置与道路朝向角得到。
  21. 根据权利要求19或20所述的装置，其特征在于，
    所述第二位置为通过对投影图像与所述道路特征图进行特征匹配而选定的一个所述候选位姿点的位置信息；和/或，所述第二姿态为通过对投影图像与所述道路特征图进行特征匹配而选定的一个所述候选位姿点的姿态信息；
    其中，所述投影图像根据所述候选位姿点的位姿、第一摄像头的内外参和所述局部地图获得。
  22. 根据权利要求13-21任一项所述的装置，其特征在于，所述装置还包括：
    融合单元，用于根据所述第二位置、所述车辆的第一姿态和传感器定位数据，获得车辆的第三位姿；或者，根据所述第二位置、所述车辆的第二姿态和传感器定位数据，获得车辆的第三位姿。
  23. 根据权利要求22所述的装置，其特征在于，所述传感器定位数据包括如下之一或多项：GPS信息、IMU信息、INS车辆姿态信息、底盘信息。
  24. 根据权利要求13-23任一项所述的装置，其特征在于，所述局部地图来自矢量地图。
  25. 一种计算设备，其特征在于，包括：处理器和存储器，所述存储器存储有程序指令，所述程序指令当被所述处理器执行时使得所述处理器执行如权利要求1-12任一项所述的方法。
  26. 一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令当被计算机执行时使得所述计算机执行如权利要求1-12任一项所述的方法。
  27. 一种车辆，其特征在于，包括：
    用于采集前方道路图像的第一摄像头；
    如权利要求13-24任一项所述的车辆定位装置或者权利要求25所述的计算设备。
  28. 根据权利要求27所述的车辆，其特征在于，所述车辆还包括如下之一或多项：GPS传感器、IMU、车速传感器、加速度传感器。
PCT/CN2021/125857 2021-10-22 2021-10-22 车辆及其定位方法、装置、设备、计算机可读存储介质 Ceased WO2023065342A1 (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202180008402.4A CN116997771A (zh) 2021-10-22 2021-10-22 车辆及其定位方法、装置、设备、计算机可读存储介质
PCT/CN2021/125857 WO2023065342A1 (zh) 2021-10-22 2021-10-22 车辆及其定位方法、装置、设备、计算机可读存储介质
JP2024523921A JP7775470B2 (ja) 2021-10-22 2021-10-22 ビークル、ビークル測位方法及び装置、デバイス並びにコンピュータ可読記憶媒体
MX2024004885A MX2024004885A (es) 2021-10-22 2021-10-22 Vehículo, método y aparato de posicionamiento del vehículo, dispositivo y medio de almacenamiento legible por computadora.
EP21961085.4A EP4403879A4 (en) 2021-10-22 2021-10-22 VEHICLE, VEHICLE POSITIONING METHOD AND APPARATUS, APPARATUS AND COMPUTER-READABLE STORAGE MEDIUM
US18/641,748 US20240271945A1 (en) 2021-10-22 2024-04-22 Vehicle, Vehicle Positioning Method and Apparatus, Device, and Computer-Readable Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/125857 WO2023065342A1 (zh) 2021-10-22 2021-10-22 车辆及其定位方法、装置、设备、计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/641,748 Continuation US20240271945A1 (en) 2021-10-22 2024-04-22 Vehicle, Vehicle Positioning Method and Apparatus, Device, and Computer-Readable Storage Medium

Publications (1)

Publication Number Publication Date
WO2023065342A1 true WO2023065342A1 (zh) 2023-04-27

Family

ID=86058777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/125857 Ceased WO2023065342A1 (zh) 2021-10-22 2021-10-22 车辆及其定位方法、装置、设备、计算机可读存储介质

Country Status (6)

Country Link
US (1) US20240271945A1 (zh)
EP (1) EP4403879A4 (zh)
JP (1) JP7775470B2 (zh)
CN (1) CN116997771A (zh)
MX (1) MX2024004885A (zh)
WO (1) WO2023065342A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116495000A (zh) * 2023-06-28 2023-07-28 交通运输部公路科学研究所 极低能见度条件下的车辆偏航检测方法和辅助驾驶系统
CN116576866A (zh) * 2023-07-13 2023-08-11 荣耀终端有限公司 导航方法和设备
CN116858240A (zh) * 2023-06-27 2023-10-10 重庆长安汽车股份有限公司 一种语义定位初始化方法、装置、终端设备及存储介质
CN116989772A (zh) * 2023-09-26 2023-11-03 北京理工大学 一种空地多模态多智能体协同定位与建图方法
CN121498718A (zh) * 2026-01-14 2026-02-10 上海朗尚传感技术有限公司 一种超声环境感知的微型无人机室内定位方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026152413A1 (zh) * 2025-01-17 2026-07-23 引望智能技术有限公司 位姿纠偏方法及其装置
CN120107357A (zh) * 2025-02-17 2025-06-06 天津五八驾考信息技术有限公司 室内车辆定位方法、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102529975A (zh) * 2010-12-13 2012-07-04 通用汽车环球科技运作有限责任公司 用于精确的分车道车辆定位的系统和方法
EP3113152A1 (en) * 2015-07-01 2017-01-04 Magneti Marelli S.p.A. A system onboard a vehicle and an improved method for the detection of objects in an environment surrounding a vehicle
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统
CN109849922A (zh) * 2018-12-25 2019-06-07 青岛中汽特种汽车有限公司 一种用于智能车辆的基于视觉信息与gis信息融合的方法
CN111272180A (zh) * 2018-12-04 2020-06-12 赫尔环球有限公司 用于估计地图上的定位位置的方法和装置
CN112902987A (zh) * 2021-02-02 2021-06-04 北京三快在线科技有限公司 一种位姿修正的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5130638B2 (ja) 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
JP5080602B2 (ja) 2010-03-19 2012-11-21 日立オートモティブシステムズ株式会社 車両制御装置
JP2017161501A (ja) * 2016-03-07 2017-09-14 株式会社デンソー 走行位置検出装置、走行位置検出方法
JP6870475B2 (ja) 2017-05-25 2021-05-12 日産自動車株式会社 車線情報出力方法および車線情報出力装置
KR102541561B1 (ko) * 2018-02-12 2023-06-08 삼성전자주식회사 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
WO2019169358A1 (en) * 2018-03-02 2019-09-06 DeepMap Inc. Camera based localization for autonomous vehicles
US20200218905A1 (en) * 2019-01-08 2020-07-09 Qualcomm Incorporated Lateral and longitudinal offset tracking in vehicle position estimation
CN110550029B (zh) 2019-08-12 2021-02-09 华为技术有限公司 障碍物避让方法及装置
KR20220065126A (ko) * 2020-11-12 2022-05-20 현대자동차주식회사 다중 센서 기반 주행 차로 인식 장치 및 방법
CN112529957B (zh) * 2020-12-08 2024-08-23 北京地平线信息技术有限公司 确定摄像设备位姿的方法和装置、存储介质、电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102529975A (zh) * 2010-12-13 2012-07-04 通用汽车环球科技运作有限责任公司 用于精确的分车道车辆定位的系统和方法
EP3113152A1 (en) * 2015-07-01 2017-01-04 Magneti Marelli S.p.A. A system onboard a vehicle and an improved method for the detection of objects in an environment surrounding a vehicle
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统
CN111272180A (zh) * 2018-12-04 2020-06-12 赫尔环球有限公司 用于估计地图上的定位位置的方法和装置
CN109849922A (zh) * 2018-12-25 2019-06-07 青岛中汽特种汽车有限公司 一种用于智能车辆的基于视觉信息与gis信息融合的方法
CN112902987A (zh) * 2021-02-02 2021-06-04 北京三快在线科技有限公司 一种位姿修正的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4403879A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116858240A (zh) * 2023-06-27 2023-10-10 重庆长安汽车股份有限公司 一种语义定位初始化方法、装置、终端设备及存储介质
CN116495000A (zh) * 2023-06-28 2023-07-28 交通运输部公路科学研究所 极低能见度条件下的车辆偏航检测方法和辅助驾驶系统
CN116495000B (zh) * 2023-06-28 2023-09-01 交通运输部公路科学研究所 极低能见度条件下的车辆偏航检测方法和辅助驾驶系统
CN116576866A (zh) * 2023-07-13 2023-08-11 荣耀终端有限公司 导航方法和设备
CN116576866B (zh) * 2023-07-13 2023-10-27 荣耀终端有限公司 导航方法和设备
CN116989772A (zh) * 2023-09-26 2023-11-03 北京理工大学 一种空地多模态多智能体协同定位与建图方法
CN116989772B (zh) * 2023-09-26 2024-01-02 北京理工大学 一种空地多模态多智能体协同定位与建图方法
CN121498718A (zh) * 2026-01-14 2026-02-10 上海朗尚传感技术有限公司 一种超声环境感知的微型无人机室内定位方法及系统

Also Published As

Publication number Publication date
US20240271945A1 (en) 2024-08-15
CN116997771A (zh) 2023-11-03
JP7775470B2 (ja) 2025-11-25
EP4403879A1 (en) 2024-07-24
EP4403879A4 (en) 2025-01-22
JP2024540985A (ja) 2024-11-06
MX2024004885A (es) 2024-07-19

Similar Documents

Publication Publication Date Title
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN111238494B (zh) 载具、载具定位系统及载具定位方法
US20240271945A1 (en) Vehicle, Vehicle Positioning Method and Apparatus, Device, and Computer-Readable Storage Medium
CN111862672B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
CN106441319B (zh) 一种无人驾驶车辆车道级导航地图的生成系统及方法
CN107063275B (zh) 基于路侧设备的智能车辆地图融合系统及方法
WO2022156175A1 (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN113591518B (zh) 一种图像的处理方法、网络的训练方法以及相关设备
US12422535B2 (en) Method for calibration of camera and lidar, and computer program recorded on recording medium for executing method therefor
CN108961811B (zh) 停车场车辆定位方法、系统、移动终端及存储介质
CN108802785A (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN106896353A (zh) 一种基于三维激光雷达的无人车路口检测方法
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN109074668A (zh) 路径导航方法、相关装置及计算机可读存储介质
WO2022041706A1 (zh) 一种定位方法、定位系统和车辆
US20220011117A1 (en) Positioning technology
WO2017124901A1 (zh) 一种数据处理方法、装置及终端
EP4336468A1 (en) Parameterization method for point cloud data
CN104833370A (zh) 用于映射、定位和位姿校正的系统和方法
US12462584B2 (en) Lane line labeling method, electronic device and storage medium
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN115601516A (zh) 高精地图的道路标识确定方法、装置及电子设备
CN117782102A (zh) 一种基于环视视觉的全自动泊车定位与建图方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 202180008402.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21961085

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: MX/A/2024/004885

Country of ref document: MX

Ref document number: 2021961085

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2024523921

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021961085

Country of ref document: EP

Effective date: 20240419

WWE Wipo information: entry into national phase

Ref document number: 202417034689

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE