CN117061723A - 车辆及其控制方法 - Google Patents

车辆及其控制方法 Download PDF

Info

Publication number
CN117061723A
CN117061723A CN202310521745.1A CN202310521745A CN117061723A CN 117061723 A CN117061723 A CN 117061723A CN 202310521745 A CN202310521745 A CN 202310521745A CN 117061723 A CN117061723 A CN 117061723A
Authority
CN
China
Prior art keywords
camera
vehicle
image data
controller
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310521745.1A
Other languages
English (en)
Inventor
李重贤
金三龙
丘东勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of CN117061723A publication Critical patent/CN117061723A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种车辆及其控制方法。所述车辆包括控制器和第一摄像头、第二摄像头和第三摄像头。所述第一摄像头安装在车辆中以具有第一视野，并且配置为获得第一视野的第一图像数据。所述第二摄像头安装在车辆中以具有第二视野，并且配置为获得第二视野的第二图像数据。所述第三摄像头安装在车辆中以具有第三视野，并且配置为获得第三视野的第三图像数据。所述控制器配置为：基于处理第一图像数据、第二图像数据和第三图像数据中的任意一个的结果来执行车辆动态补偿(VDC)，基于VDC的结果来执行自动在线校准(AOC)，以确定摄像头的异常。

Description

车辆及其控制方法
技术领域
本发明涉及一种车辆及其控制方法，更具体地，涉及一种具有多摄像头的车辆及其控制方法。
背景技术
具有自动驾驶系统或高级驾驶员辅助系统(advanced driver assistancesystem，ADAS)的车辆必须配备有摄像头，并通过利用摄像头识别物体来获得与物体相关的信息。
安装于车辆的摄像头可能会由于地形特征和外力而在用于识别物体的标准方面有所改变。因此，可能会在实际距离和基于图像处理的测量距离之间产生误差。
车辆可以执行自动在线校准(automated online calibration，AOC)以补偿由于外力而引起的摄像头图像的误差，并且可以执行车辆动态补偿(vehicle dynamiccompensation，VDC)以补偿由于地形特征而引起的摄像头图像的误差。
同时，车辆利用视觉里程计(visual odometry，VO)来执行AOC和VDC，但VO的缺点是需要非常大的计算量。
发明内容
本发明的一个方面是补偿由于车辆姿态的变化和/或施加到摄像头的外力而导致的距离测量的误差。
在以下的说明书中部分地对本发明的其他方面进行阐述，并且根据说明书，本发明的其他方面部分地显而易见，或者可以通过本发明的实践来学习本发明的其他方面。
根据本发明的实施方案，一种车辆配备有控制器和包括第一摄像头、第二摄像头和第三摄像头的多摄像头。所述第一摄像头安装在车辆中以具有第一视野，并且配置为获得第一视野的第一图像数据。所述第二摄像头安装在车辆中以具有第二视野，并且配置为获得第二视野的第二图像数据。所述第三摄像头安装在车辆中以具有第三视野，并且配置为获得第三视野的第三图像数据。所述控制器配置为：基于处理第一图像数据、第二图像数据和第三图像数据中的任意一个的结果来执行车辆动态补偿(VDC)，基于VDC的结果来执行自动在线校准(AOC)，以确定所述多摄像头的异常。
所述第一摄像头可以包括前方摄像头或后方摄像头，所述第二摄像头可以包括两个侧前方摄像头或两个侧后方摄像头，所述第三摄像头可以包括周围视野(around view)摄像头。
根据实施方案，所述车辆可以进一步包括惯性测量单元(IMU)，所述惯性测量单元配置为：输出根据车辆的姿态而变化的频率，并且将频率发送至控制器。所述控制器进一步配置为基于频率的大小、根据车辆姿态的变化来执行VDC。
当频率的大小低于预定值时，所述控制器可以基于第一图像数据、第二图像数据和第三图像数据的至少一个来检测道路标记和车道线的至少一个。所述控制器可以将道路标记和车道线存储为地面实况(GT)，所述地面实况是用于确定车辆姿态的变化的标准。
所述控制器可以基于第一图像数据、第二图像数据和第三图像数据的至少一个来检测道路标记和车道线的至少一个，并且当频率的大小高于或等于预定值时，可以将存储的GT与道路标记和车道线的至少一个进行比较，以执行VDC。
所述控制器可以通过基于第一摄像头、第二摄像头和第三摄像头之间的对极几何(EG)的比较，执行根据施加到摄像头的外力的AOC。
当向第一摄像头、第二摄像头和第三摄像头的任意一个施加外力时，所述控制器可以执行AOC而不执行VDC。
当向第一摄像头、第二摄像头和第三摄像头中的至少两个施加外力时，所述控制器可以确定VDC对于第一摄像头、第二摄像头和第三摄像头中的每一个是否是必要的，并且可以基于确定的结果来执行AOC。
当执行AOC时，所述控制器可以重新排列第一摄像头、第二摄像头和第三摄像头之间的链接(link)。
基于执行VDC和AOC的结果，所述控制器可以再测量与物体的距离。
根据本发明的实施方案，一种控制具有多摄像头的车辆的方法，所述多摄像头包括第一摄像头、第二摄像头和第三摄像头，所述方法包括：基于处理第一摄像头的第一图像数据、第二摄像头的第二图像数据和第三摄像头的第三图像数据中的任意一个的结果来执行VDC；基于VDC的结果来执行AOC，以确定多摄像头的异常。
所述第一摄像头可以包括前方摄像头或后方摄像头。所述第二摄像头可以包括两个侧前方摄像头或两个侧后方摄像头。所述第三摄像头可以包括周围视野摄像头。
根据实施方案，所述方法可以进一步包括：输出根据车辆的姿态而变化的频率，将频率发送给控制器。所述方法可以进一步包括：基于频率的大小、根据车辆姿态的变化来执行VDC。
根据实施方案，所述方法可以进一步包括：当频率的大小低于预定值时，基于第一图像数据、第二图像数据和第三图像数据的至少一个来检测道路标记和车道线的至少一个。所述方法可以进一步包括：将道路标记和车道线存储为GT，所述GT是用于确定车辆姿态的变化的标准。
根据实施方案，所述方法可以进一步包括：基于第一图像数据、第二图像数据和第三图像数据的至少一个来检测道路标记和车道线的至少一个，并且可以包括当频率的大小高于或等于预定值时，将存储的GT与道路标记和车道线的至少一个进行比较，以执行VDC。
根据实施方案，所述方法可以进一步包括：通过基于第一摄像头、第二摄像头和第三摄像头之间的EG的比较，执行根据施加到摄像头的外力的AOC。
根据实施方案，所述方法可以进一步包括：当向第一摄像头、第二摄像头和第三摄像头的任意一个施加外力时，执行AOC而不执行VDC。
根据实施方案，所述方法可以进一步包括：当向第一摄像头、第二摄像头和第三摄像头中的至少两个施加外力时，确定VDC对于第一摄像头、第二摄像头和第三摄像头中的每一个是否是必要的。所述方法可以进一步包括：基于确定的结果来执行AOC。
根据实施方案，所述方法可以进一步包括：当执行AOC时，重新排列第一摄像头、第二摄像头和第三摄像头之间的链接。
根据实施方案，所述方法可以进一步包括：基于执行VDC和AOC的结果，再测量与物体的距离。
附图说明
根据下面结合附图对实施方案进行的描述，本发明的这些和/或其他方面会变得明显并且更容易理解，附图中：
图1示出了根据实施方案的布置在车辆中的多个摄像头；
图2是根据实施方案的车辆的控制框图；
图3和图4是用于解释由于车辆姿态的变化而产生误差的示意图；
图5示出了作为多个摄像头的补偿标准的第一区域和第二区域；
图6是根据实施方案的控制器的功能框图；
图7示出了第一区域中单个摄像头的变化；
图8示出了第一区域中多个摄像头的变化；
图9A和图9B是示出根据实施方案的车辆的控制方法的流程图；
图10和图11示出了在第一区域中产生误差的示例；以及
图12示出了用于解决误差产生的链接过程。
具体实施方式
详细参考本发明的实施方案，其示例在附图中示出，其中，相同的附图标记自始至终指的是相同的元件。本说明书并不描述所公开的实施方案的所有元件。已省略了对本领域公知内容的详细描述或对基本相同配置的冗余描述。本说明书中使用的术语“部”、“模块”、“构件”、“块”等可以用软件或硬件实现。此外，多个“部”、“模块”、“构件”、“块”等可以实施为一个组件。一个“部”、“模块”、“构件”、“块”等也可以包括多个组件。
在整个说明书中，当一个元件被称为“连接到”另一个元件时，该元件可以直接或间接地连接到另一个元件。“间接连接到”的使用包括通过无线通信网络连接到另一个元件。
此外，应理解的是，术语“包括”和“具有”旨在表示说明书中公开的元件的存在，而不是旨在排除可能存在或可能添加一个或多个其他元件的可能性。
在整个说明书中，当一个构件位于另一个构件上时，这不仅包括一个构件与另一个构件接触的情况，还包括所述两个构件之间存在另一个构件的情况。
术语“第一”、“第二”等用于区分一个组件和另一个组件。这些组件不受上述术语的限制。
单数表述包括复数表述，除非其在上下文中有明显不同的含义。
步骤中使用的附图标记是为了便于描述，而不是旨在描述步骤的顺序，除非另有说明，否则步骤可以以不同的顺序执行。
在下文中，将参考附图对本发明的工作原理和实施方案进行详细描述。当本发明的组件、装置、元件等被描述为具有目的或执行操作、功能等时，组件、装置或元件在本文中应被视为“配置为”满足该目的或执行该操作或功能。
图1示出了根据实施方案的布置在车辆中或车辆上的多个摄像头。图2是根据实施方案的车辆的控制框图。
车辆1可以辅助驾驶员控制(例如，驱动、制动和转向)车辆1。例如，车辆1可以检测周围环境(例如，其他车辆、行人、骑自行车的人、车道线、路标等)，并且可以响应于检测到的环境来控制车辆1的驱动和/或制动和/或转向。在下文中，物体包括周围环境中的可能与行驶的车辆1碰撞的其他车辆、骑自行车的人等。
车辆1可以为驾驶员提供各种功能。例如，车辆1可以提供车道偏离警告(lanedeparture warning，LDW)、车道保持辅助(lane keeping assist，LKA)、远光灯辅助(highbeam assist，HBA)、自动紧急制动(autonomous emergency braking，AEB)、交通标志识别(traffic sign recognition，TSR)、智能巡航控制(smart cruise control，SCC)、盲点检测(blind spot detection，BSD)等，以实现高级驾驶员辅助系统(advanced driverassistance system，ADAS)或自动驾驶系统。
为了提供上述各种功能，如图1所示，车辆1可以在其各个位置包括摄像头。尽管在图1中未示出，但是，除了用于执行前述功能的摄像头之外，车辆1还可以包括无线电检测和测距(radio detection and ranging，RADAR)以及光检测和测距(light detection andranging，LIDAR)。
车辆1可以包括前方摄像头110、侧前方摄像头120(120a，120b)、一个或多个周围视野摄像头130(130a，130b)、侧后方摄像头140(140a，140b)和后方摄像头150，从而实现多个摄像头或多摄像头，其在本文中可以称为多摄像头。
前方摄像头110可以安装于车辆1的前挡风玻璃，以确保朝向前方的视野。前方摄像头110可以拍摄车辆1的前方，并获得关于车辆1的前方的图像数据。前方摄像头110可以检测在前方视野中移动的物体，或者检测在侧前方视野中、在相邻车道中行驶的物体。关于车辆1的前方的图像数据可以包括关于位于车辆1的前方的其他车辆、行人、骑自行车的人、车道线、路边石、护栏、行道树和/或路灯的至少一个的位置信息。
侧前方摄像头120(120a，120b)可以安装在车辆1的侧前方，例如，车辆1的A柱和B柱，以确保朝向侧前方的视野。侧前方摄像头120可以拍摄车辆1的侧前方，并获得关于车辆1的侧前方的图像数据。
周围视野摄像头130(130a、130b)可以安装在车辆1的侧后视镜中或侧后视镜上，以确保朝向车辆1的下侧的视野。周围视野摄像头130可以拍摄车辆1的下侧，并获得关于车辆1的下侧的图像数据。
侧后方摄像头140(140a、140b)可以安装在车辆1的侧后方，例如，车辆1的C柱，以确保朝向车辆1的侧后方的视野。侧后方摄像头140可以拍摄车辆1的侧后方，并获得关于车辆1的侧后方的图像数据。
后方摄像头150可以安装在车辆1的后侧，例如，后保险杠，以确保朝向车辆1的后方的视野。后方摄像头150可以拍摄车辆1的后方，并获得关于车辆1的后方的图像数据。
在下文中，为了便于描述，前方摄像头110、侧前方摄像头120(120a，120b)、周围视野摄像头130(130a，130b)、侧后方摄像头140(140a，140b)和后方摄像头150中的至少两个将被称为多摄像头。图1示出了具有八个摄像头的多摄像头系统，但是，多摄像头系统可以包括四到八个摄像头或者多于八个摄像头。
控制器200可以获取由多摄像头拍摄的多个摄像头图像，并且可以基于多个摄像头图像之间的几何关系来生成三维图像。在这种情况下，与单个摄像头拍摄的摄像头图像相比，控制器200可以从多个摄像头图像获得更多的关于物体的物理信息。
控制器200可以包括用于处理多摄像头的图像数据的图像信号处理器(即，处理器210)和/或用于生成制动信号的微控制单元(micro control unit，MCU)等。
在执行ADAS时，控制器200可以基于由前方摄像头110获得的图像信息来识别图像中的物体，并且可以将关于识别出的物体的信息与存储在存储器220中的物体信息进行比较，从而确定图像中的物体是静止障碍物还是移动障碍物。
存储器220可以配置为存储用于处理图像数据的程序和/或数据、用于处理雷达数据的程序和/或数据、以及用于使处理器210生成制动信号和/或警告信号的程序和/或数据。
存储器220可以配置为临时存储从多摄像头接收的图像数据，并且临时存储存储器220的图像数据和/或雷达数据的处理结果。
存储器220可以实现为(但不限于)至少一个非易失性存储装置，例如，高速缓存、只读存储器(ROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)和闪存。存储器220也可以实现为(但不限于)至少一个易失性存储装置(例如，随机存取存储器(RAM))或者存储介质(例如，硬盘驱动器(HDD)和光盘ROM(CD-ROM))。
惯性测量单元(inertial measurement unit，IMU)160可以通过将三轴加速度计和三轴陀螺仪传感器组合来测量频率。IMU 160可以基于测量出的频率来确定侧倾、俯仰和横摆的角度，从而确定车辆1的姿态。因此，车辆1可以基于从IMU 160输出的频率、根据地形特征确定车辆1的倾斜度、高度等。
控制器200可以从IMU 160接收关于频率(其大小根据车辆1的姿态而变化)的信息，并且可以基于频率的大小检测车辆1的姿态的变化。
行驶记录器170是指获得车辆1的行驶状况等并将其提供给控制器200的装置。为此，行驶记录器170基于电子装置中的全球定位系统(GPS)来记录车辆1的移动量、速度、每分钟转数(RPM)和制动力，以及位置、方位角、加速度、行驶距离等。
控制器200可以从行驶记录器170接收车辆1的移动量，并且可以在视觉里程计(VO)中获得特征点的感兴趣区域(region of interest，ROI)。
前述配置是为了通过车辆1的多摄像头、基于车辆1和物体之间的关系准确地获得物体的位置信息。然而，车辆1的姿态可以根据地形特征而变化。此外，安装于车辆1的多摄像头的安装角度等可能由于外部冲击而发生变化。参考图3和图4描述详细的示例。
图3和图4是用于解释由于车辆姿态的变化而产生误差的示意图。
多摄像头在摄像头图像中识别物体O。控制器200处理图像数据以计算与物体O的距离。参考图3，控制器200需要关于前方摄像头110相对于路面的姿态/位置h的信息，以便计算车辆1和物体O之间的水平距离d。
如图4所示，当车辆1的姿态由于地形因素而变化时，安装于车辆1的前方摄像头110的姿态也发生变化，因此计算出的车辆1和物体O之间的水平距离d产生误差。在这种情况下，前方摄像头110和车辆1之间的关系没有发生变化。
与图4的情况不同，尽管路面是平坦的，外部冲击等也可能会改变前方摄像头110的安装姿态(或位置)，并因此产生误差。
为了校正由于外部因素而引起的距离测量的误差，控制器200可以执行至少两个过程。
第一，为了解决由于车辆1的姿态的变化而引起的测量误差，控制器200可以基于道路标记和/或车道线来估计车辆1的变更的姿态，或者可以执行车辆动态补偿(VDC)，该车辆动态补偿通过在VO中比较连续摄像头图像的特征点来估计变更的姿态。
第二，当外部冲击被施加到多摄像头中的一个或多个摄像头时，为了解决由于摄像头的变更的姿态而引起的测量误差，控制器200可以执行自动在线校准(AOC)，该自动在线校准基于多摄像头之间的对极几何(epipolar geometry，EG)来估计摄像头的变更的姿态。
根据实施方案，控制器200可以基于多摄像头之间的EG的比较来执行根据施加到摄像头的外力的AOC。
EG是指将两个以上图像与拍摄方向平行排列的逻辑，在用于利用三维图像手动和自动地提取各种信息的摄影测量和计算机视觉中发挥着非常重要的作用。此外，在数字摄影测量中执行自动匹配的情况下，EG使搜索区域最小化，从而提高匹配的效率和准确度。
利用EG的VO是指基于图像处理来估计物体的运动(移动或旋转)量的技术。VDC和AOC可以利用VO来估计多摄像头的变更的位置和/或变更的姿态。
同时，用于VDC和AOC的VO需要执行与多摄像头的数量一样多的次数。由于VO需要非常大的计算量，因此难以通过单个处理器处理来自多摄像头的所有图像数据。此外，甚至在正常情况下，也可以执行VDC或AOC，从而降低距离测量的准确度。
如上所述，当一次针对所有摄像头执行用于VDC和AOC的VO时，会出现计算量的问题。根据本发明，向多摄像头分配区域，并且多摄像头的姿态和位置通过单独的逻辑来估计。
图5示出了作为多个摄像头的补偿标准的第一区域和第二区域。图6是根据实施方案的控制器的功能框图。图7示出了第一区域中单个摄像头的变化，图8示出了第一区域中多个摄像头的变化。
参考图5，作为用于确定VDC和/或AOC的必要性的标准，可以定义以视野部分地重叠的摄像头为单位设置的第一区域LA1、LA2、LA3和LA4，以及覆盖车辆1的所有摄像头的第二区域GA。
第一区域LA1、LA2、LA3和LA4可以包括：前方摄像头110、右前方摄像头120b和右周围视野摄像头130b(LA1)；前方摄像头110、左前方摄像头120a和左周围视野摄像头130a(LA2)；左周围视野摄像头130a、左后方摄像头140a和后方摄像头150(LA3)；以及右周围视野摄像头130b、右后方摄像头140b和后方摄像头150。
第二区域GA可以包括安装于车辆1的所有摄像头。
控制器200可以确定AOC的必要性和VDC的必要性，并且可以利用VDC的结果来确定AOC的必要性。
参考图6，控制器200可以包括用于执行AOC的AOC必要性确定器211、第一AOC估计器212和用于执行AOC的第二AOC估计器213。控制器200还可以包括用于执行VDC的VDC必要性确定器214、地面实况(ground truth，GT)存储器221和单个VDC估计器215。
AOC必要性确定器211确定AOC的必要性。当检测到对车辆1的冲击时，控制器200可以确定出AOC是必要的。AOC必要性确定器211可以针对发生冲击的位置、对于每个第一区域来确定AOC的必要性，并且当AOC对于两个以上摄像头必要时，可以利用单个VDC的结果。
AOC是指当摄像头的姿态或位置因外力而发生变化时，估计变化程度的方法。因此，AOC必要性确定器211通过检查摄像头的姿态或位置的变化来确定AOC是否必要。
AOC必要性确定器211在局部单元(即，第一区域LA1、LA2、LA3和LA4)中估计摄像头之间的几何关系，并且当几何关系变化时确定出AOC是必要的。在这种情况下，可以利用VO。因为在每个第一区域中，至少三个摄像头的视野重叠，所以可以基于关于重叠区域的信息来估计摄像头之间的几何关系。
如图7所示，当在第一区域LA1内只有右前方摄像头120b的姿态变化，并且已知变化前后前方摄像头110、右前方摄像头120b和右周围视野摄像头130b之间的几何关系时，可以确定哪个摄像头的姿态发生了变化。在这种情况下，对第一区域LA1执行AOC。
如图8所示，当在第一区域LA1内右前方摄像头120b和右周围视野摄像头130b的姿态变化时，无法确定哪个摄像头的姿态发生了变化。在这种情况下，对于第一区域LA1内的每个摄像头确定单个VDC的必要性，并且执行AOC。当某个摄像头不需要VDC，并且产生VDC的结果时，确定出摄像头的姿态和位置因外力而发生变化，并且AOC是必要的。
有利地，即使当车辆1在不平坦的路面上行驶时，图7和图8的确定也是可能的，因为即使车辆1的姿态发生变化，摄像头之间的几何关系也是不变的。
第一AOC估计器212在局部单元(即，第一区域LA1、LA2、LA3和LA4)中估计摄像头之间的姿态和位置。
第二AOC估计器213在整个单元(即，第二区域GA)中估计所有摄像头的姿态和位置。
VDC必要性确定器214确定每个摄像头的VDC的必要性。可以基于从IMU 160接收到的频率(返回参考图2)来确定VDC是否是必要的。当在IMU 160的测量中产生高频分量时，VDC必要性确定器214可以确定出车辆1的姿态发生了变化。因为IMU 160用于确定VDC是否是必要的，所以无论AOC的必要性如何，都可以确定VDC的必要性。当VDC不必要时，可以将当前拍摄的图像存储在GT存储器221中作为GT，即，用于确定车辆姿态的变化的标准。
当从IMU 160获取的频率的大小低于预定值时，根据实施方案的控制器200可以检测道路标记和车道线的至少一个，并且将道路标记和车道线的至少一个存储为GT。
此外，当从IMU 160获取的频率的大小高于或等于预定值时，根据实施方案的控制器200可以通过将存储的GT与道路标记和车道线的至少一个进行比较来执行VDC。
根据实施方案的控制器200可以基于处理分别由多摄像头获取的第一图像数据、第二图像数据和第三图像数据中的任意一个的结果来执行VDC。在这种情况下，可以基于VDC的结果来执行AOC，并且可以确定多摄像头是否异常。控制器200通过执行多摄像头之间的链接排列来确定由于车辆1的姿态变化或外力而引起的与物体的距离的误差，从而获得与物体的实际距离。
图9A和图9B是示出根据实施方案的车辆的控制方法的流程图。
参考图9A，控制器200确定AOC是否是必要的(911)。当检测到对车辆1的冲击时，控制器200可以确定出AOC是必要的。
当确定出在第一区域内只有一个摄像头的姿态变化时(912)，控制器200执行第一AOC(914)并执行第二AOC(916)。
具体地，当确定出在第一区域内，一个摄像头的姿态变化时，控制器200基于其他两个摄像头的信息来执行第一AOC，以确定发生变化的摄像头的姿态或位置的变化程度。换言之，摄像头之间的几何关系用于确定发生变化的摄像头的姿态或位置的变化。
另一方面，当在第一区域内，不止一个摄像头的姿态变化时(912)，控制器200在执行第一AOC(914)和第二AOC(916)之前确定VDC的必要性(913)。通过确定VDC的必要性(913)、执行单个VDC并调用VDC的结果(915)来执行第一AOC和第二AOC(914，916)。
当仅以第一区域为单位执行距离测量的优化时，不同的第一区域之间的误差可能会增加。因此，控制器200最终在整个单元(即第二区域)中执行第二AOC。
参考图10、图11和图12，在第一区域中的LA3和LA4之间可能会产生误差。例如，局部区域之间存在误差，即，不同局部区域中的相同摄像头(例如，图10的后方摄像头150)之间的几何距离(参见图11)，并且需要使局部区域之间的误差最小化。尽管后方摄像头150位于相同的位置，但在以第一区域为单位执行AOC和/或VDC之后，可能会出现几何差异。
因此，控制器200可以通过以第一区域为单位的多摄像头之间的链接排列来执行第二AOC。由于所有摄像头都安装于车辆，因此摄像头之间的相对位置是不变的，除非发生诸如事故之类的重大冲击，因此可以关于相对位置执行第二AOC。控制器200基于在车辆出厂之前通过离线摄像头校准(offline camera calibration，OCC)存储的摄像头之间的位置来执行第二AOC。
同时，当由于外部冲击，AOC对于两个以上摄像头必要时，根据本发明的车辆1利用单个VDC的结果。如上参考图8所述，当在第一区域内，两个以上摄像头的姿态发生变化时，无法确定哪个摄像头的姿态发生了变化。当针对每个摄像头执行单个VDC的结果产生时，可以确定出摄像头的姿态和位置由于外力而发生了变化。在这种情况下，由于VDC而引起的摄像头的变更的姿态和位置意味着车辆1的变更的姿态和位置。
参考图9B，控制器200可以识别VDC的必要性(921)，并且当VDC不必要时，将当前拍摄的图像存储在GT存储器221中作为GT，即，用于确定车辆姿态变化的标准(922)。
控制器200可以根据GT是否存在来执行两种类型的VDC中的任一种。
当GT存在时(923)，控制器200基于GT来执行VDC(925)。控制器200可以通过估计存储的GT和由摄像头获得的当前图像之间的几何关系来确定车辆1的变更的姿态和/或位置。
控制器200估计车辆1的移动量(927)并且估计VO的ROI(928)。VO是指基于光流(optical flow)估计变更的姿态和/或位置(高度)的方法，并计算在ROI内的特征点的移动量。特征点可以采用道路标记上的特征点。
控制器200可以基于VO来估计摄像头的姿态和/或位置(929)。控制器200可以基于摄像头的估计姿态和/或位置、通过从惯性测量单元160和行驶记录器170获得车辆1的移动量来预测ROI，其中，特征点将在当前图像的下一个图像中移动到该ROI。在这种情况下，控制器200只考虑ROI，从而减少了由于VO而引起的计算量。
同时，控制器200可以基于车道线来执行VDC。当在图像中检测到车道线时(924)，控制器200执行基于车道线的VDC(926)。控制器200在假设摄像头的高度几乎没有变化的情况下仅估计变更的姿态。在这种情况下，利用平行直线作为GT，并且估计平行直线和当前图像之间的几何关系，从而估计变更的姿态。
另一方面，上述实施方案可以以存储可由计算机执行的指令的记录介质的形式实现。指令可以以程序代码的形式存储。当指令由处理器执行时，通过指令生成程序模块，从而可以执行所公开的实施方案的步骤。记录介质可以实现为计算机可读记录介质。
计算机可读记录介质包括存储可由计算机系统读取的数据的所有类型的记录介质。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、磁带、磁盘、闪存、光学数据存储装置等。
根据本发明的实施方案，当车辆姿态变化时，以及当外力施加到摄像头时，使由于VO而引起的计算量最小化，并且防止AOC和VDC发生故障。
尽管示出和描述了本发明的实施方案，但是本领域技术人员应当理解，在不偏离本发明的原理和精神的情况下，可以在这些实施方案中进行改变，本发明的范围在权利要求及其等效形式中限定。

Claims (20)

1.一种具有多摄像头的车辆，所述多摄像头包括第一摄像头、第二摄像头和第三摄像头，所述车辆包括：
第一摄像头，其安装在车辆中或车辆上以具有第一视野，并且配置为获得第一视野的第一图像数据；
第二摄像头，其安装在车辆中或车辆上以具有第二视野，并且配置为获得第二视野的第二图像数据；
第三摄像头，其安装在车辆中或车辆上以具有第三视野，并且配置为获得第三视野的第三图像数据；以及
控制器，其配置为：
基于处理第一图像数据、第二图像数据和第三图像数据中的任意一个的结果来执行车辆动态补偿，
基于车辆动态补偿的结果来执行自动在线校准，以确定多摄像头的异常。
2.根据权利要求1所述的具有多摄像头的车辆，其中，
所述第一摄像头包括前方摄像头或后方摄像头，
所述第二摄像头包括两个侧前方摄像头或两个侧后方摄像头，
所述第三摄像头包括至少一个周围视野摄像头。
3.根据权利要求1所述的具有多摄像头的车辆，进一步包括惯性测量单元，所述惯性测量单元配置为：
输出根据车辆的姿态而变化的频率，
将所述频率发送至控制器，
其中，所述控制器进一步配置为基于所述频率的大小、根据车辆姿态的变化来执行车辆动态补偿。
4.根据权利要求3所述的具有多摄像头的车辆，其中，所述控制器进一步配置为：
当所述频率的大小低于预定值时，基于第一图像数据、第二图像数据和第三图像数据的至少一个来检测道路标记和车道线的至少一个，
将道路标记和车道线存储为作为用于确定车辆姿态的变化的标准的地面实况。
5.根据权利要求4所述的具有多摄像头的车辆，其中，所述控制器进一步配置为：
基于第一图像数据、第二图像数据和第三图像数据的至少一个来检测道路标记和车道线的至少一个，
当所述频率的大小高于或等于预定值时，将存储的地面实况与道路标记和车道线的至少一个进行比较，以执行车辆动态补偿。
6.根据权利要求1所述的具有多摄像头的车辆，其中，所述控制器进一步配置为：通过基于第一摄像头、第二摄像头和第三摄像头之间的对极几何的比较，执行根据施加到第一摄像头、第二摄像头或第三摄像头的任意一个的外力的自动在线校准。
7.根据权利要求6所述的具有多摄像头的车辆，其中，所述控制器进一步配置为：当向第一摄像头、第二摄像头或第三摄像头的任意一个施加外力时，执行自动在线校准而不执行车辆动态补偿。
8.根据权利要求6所述的具有多摄像头的车辆，其中，所述控制器进一步配置为：
当向第一摄像头、第二摄像头和第三摄像头中的至少两个施加外力时，确定车辆动态补偿对于第一摄像头、第二摄像头和第三摄像头中的每一个是否是必要的，
基于确定的结果执行自动在线校准。
9.根据权利要求8所述的具有多摄像头的车辆，其中，所述控制器进一步配置为：当执行自动在线校准时，重新排列第一摄像头、第二摄像头和第三摄像头之间的链接。
10.根据权利要求1所述的具有多摄像头的车辆，其中，所述控制器进一步配置为：基于执行车辆动态补偿和自动在线校准的结果，再测量与物体的距离。
11.一种控制具有多摄像头的车辆的方法，所述多摄像头包括第一摄像头、第二摄像头和第三摄像头，所述方法包括：
基于处理第一摄像头的第一图像数据、第二摄像头的第二图像数据和第三摄像头的第三图像数据中的任意一个的结果来执行车辆动态补偿；
基于车辆动态补偿的结果来执行自动在线校准，以确定多摄像头的异常。
12.根据权利要求11所述的方法，其中：
所述第一摄像头包括前方摄像头或后方摄像头，
所述第二摄像头包括两个侧前方摄像头或两个侧后方摄像头，
所述第三摄像头包括至少一个周围视野摄像头。
13.根据权利要求11所述的方法，进一步包括：
输出根据车辆的姿态而变化的频率；
将所述频率发送给控制器；
基于所述频率的大小、根据车辆姿态的变化来执行车辆动态补偿。
14.根据权利要求13所述的方法，进一步包括：
当所述频率的大小低于预定值时，基于第一图像数据、第二图像数据和第三图像数据的至少一个来检测道路标记和车道线的至少一个，
将道路标记和车道线存储为作为用于确定车辆姿态的变化的标准的地面实况。
15.根据权利要求14所述的方法，进一步包括：
基于第一图像数据、第二图像数据和第三图像数据的至少一个来检测道路标记和车道线的至少一个，
当所述频率的大小高于或等于预定值时，将存储的地面实况与道路标记和车道线的至少一个进行比较，以执行车辆动态补偿。
16.根据权利要求11所述的方法，进一步包括：通过基于第一摄像头、第二摄像头和第三摄像头之间的对极几何的比较，执行根据施加到第一摄像头、第二摄像头或第三摄像头的任意一个的外力的自动在线校准。
17.根据权利要求16所述的方法，进一步包括：当向第一摄像头、第二摄像头或第三摄像头的任意一个施加外力时，执行自动在线校准而不执行车辆动态补偿。
18.根据权利要求16所述的方法，进一步包括：当向第一摄像头、第二摄像头和第三摄像头中的至少两个施加外力时，确定车辆动态补偿对于第一摄像头、第二摄像头和第三摄像头中的每一个是否是必要的，并且基于确定的结果来执行自动在线校准。
19.根据权利要求18所述的方法，进一步包括：当执行自动在线校准时，重新排列第一摄像头、第二摄像头和第三摄像头之间的链接。
20.根据权利要求11所述的方法，进一步包括：基于执行车辆动态补偿和自动在线校准的结果，再测量与物体的距离。
CN202310521745.1A 2022-05-11 2023-05-09 车辆及其控制方法 Pending CN117061723A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220057967A KR20230158335A (ko) 2022-05-11 2022-05-11 차량 및 그 제어 방법
KR10-2022-0057967 2022-05-11

Publications (1)

Publication Number Publication Date
CN117061723A true CN117061723A (zh) 2023-11-14

Family

ID=88666890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310521745.1A Pending CN117061723A (zh) 2022-05-11 2023-05-09 车辆及其控制方法

Country Status (3)

Country Link
US (1) US12450775B2 (zh)
KR (1) KR20230158335A (zh)
CN (1) CN117061723A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20250110561A (ko) 2024-01-12 2025-07-21 현대자동차주식회사 멀티 카메라 자세 추정 방법 및 그 장치

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5926645B2 (ja) * 2012-08-03 2016-05-25 クラリオン株式会社 カメラパラメータ演算装置、ナビゲーションシステムおよびカメラパラメータ演算方法
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
DE102013221696A1 (de) * 2013-10-25 2015-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Höhenverlaufes einer vor einem Fahrzeug liegenden Straße
JP6371185B2 (ja) * 2014-09-30 2018-08-08 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム
EP3086284A1 (en) * 2015-04-23 2016-10-26 Application Solutions (Electronics and Vision) Limited Camera extrinsic parameters estimation from image lines
EP3174007A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
US10565736B2 (en) * 2016-01-15 2020-02-18 Sony Corporation Image processing apparatus and method, program, and image processing system
JP6565769B2 (ja) * 2016-04-03 2019-08-28 株式会社デンソー 車載カメラの取付角度検出装置、取付角度較正装置、取付角度検出方法、取付角度較正方法、およびコンピュータープログラム
CN109690622A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 多相机系统中的相机登记
US10909721B2 (en) * 2016-06-29 2021-02-02 Seeing Machines Limited Systems and methods for identifying pose of cameras in a scene
DE102016223422B4 (de) * 2016-11-25 2024-05-08 Continental Autonomous Mobility Germany GmbH Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
KR101969030B1 (ko) * 2017-09-13 2019-04-16 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
JP2021110631A (ja) * 2020-01-10 2021-08-02 株式会社デンソー 検出器の姿勢・位置検出システムおよび検出器の姿勢・位置検出方法
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
CN111667538B (zh) * 2020-04-20 2023-10-24 长城汽车股份有限公司 一种全景环视系统的标定方法、装置及系统
CN115702322A (zh) * 2020-06-15 2023-02-14 实耐宝公司 用于校准和对准汽车传感器的设备及方法
US11828615B2 (en) * 2020-08-06 2023-11-28 Thinkware Corporation AR processing device, augmented reality-based route guidance method and electronic device
US12051248B2 (en) * 2020-10-13 2024-07-30 Thinkware Corporation Moving body collision avoidance device, collision avoidance method and electronic device
AU2022309604A1 (en) * 2021-07-10 2024-01-25 Deere & Company Camera calibration for stereoscopic depth determination in a vehicle control system
US12254647B2 (en) * 2021-08-04 2025-03-18 Aptiv Technologies AG Secure camera based inertial measurement unit calibration for stationary systems
KR102361133B1 (ko) * 2021-09-23 2022-02-14 주식회사 멀티플아이 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치
JP7714436B2 (ja) * 2021-10-29 2025-07-29 株式会社豊田中央研究所 地図作成装置、地図作成方法、及び地図作成プログラム
US12456304B2 (en) * 2022-06-21 2025-10-28 Ford Global Technologies, Llc Methods and apparatus to determine the load of a vehicle via camera based height measurement
KR20240010860A (ko) * 2022-07-18 2024-01-25 현대자동차주식회사 차량 및 그 제어 방법
JP7512330B2 (ja) * 2022-08-19 2024-07-08 株式会社デンソーテン 情報処理装置、情報処理方法およびプログラム
KR20240036192A (ko) * 2022-09-13 2024-03-20 현대자동차주식회사 운전자 보조 시스템 및 차량
KR20240043456A (ko) * 2022-09-27 2024-04-03 현대자동차주식회사 차량 및 그 제어 방법
KR20250014317A (ko) * 2023-07-19 2025-02-03 현대자동차주식회사 카메라 캘리브레이션 방법 및 장치

Also Published As

Publication number Publication date
KR20230158335A (ko) 2023-11-20
US20230368424A1 (en) 2023-11-16
US12450775B2 (en) 2025-10-21

Similar Documents

Publication Publication Date Title
US20230152461A1 (en) Determining Yaw Error from Map Data, Lasers, and Cameras
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
US10650253B2 (en) Method for estimating traffic lanes
US11092442B2 (en) Host vehicle position estimation device
JP4433887B2 (ja) 車両用外界認識装置
US11151729B2 (en) Mobile entity position estimation device and position estimation method
US11326889B2 (en) Driver assistance system and control method for the same
US20180134289A1 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
US10970870B2 (en) Object detection apparatus
US20240020868A1 (en) Vehicle and method of controlling the same
JP2021120255A (ja) 距離推定装置及び距離推定用コンピュータプログラム
JP7348874B2 (ja) 傾斜角検出装置及び制御装置
JP7234840B2 (ja) 位置推定装置
US12450775B2 (en) Vehicle and method of controlling the same
WO2008009965A1 (en) Generating a map
US12183041B2 (en) Vehicle and control method thereof
JP7740150B2 (ja) 車線判定装置、車線判定方向及び車線判定用コンピュータプログラム
JP2020019445A (ja) 車両走行制御システム
JP7757904B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US20240212194A1 (en) Vehicle and control method thereof
WO2025017924A1 (ja) 物体検出方法及び物体検出装置
WO2025163785A1 (ja) 外界認識装置及び外界認識方法
JP2025050039A (ja) 物体検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination