WO2020096437A1 - 차량의 위치 추정 장치 및 방법 - Google Patents

차량의 위치 추정 장치 및 방법 Download PDF

Info

Publication number
WO2020096437A1
WO2020096437A1 PCT/KR2019/015283 KR2019015283W WO2020096437A1 WO 2020096437 A1 WO2020096437 A1 WO 2020096437A1 KR 2019015283 W KR2019015283 W KR 2019015283W WO 2020096437 A1 WO2020096437 A1 WO 2020096437A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
vehicle
driving
driving vehicle
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/015283
Other languages
English (en)
French (fr)
Inventor
이태경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN201980065118.3A priority Critical patent/CN112789208B/zh
Publication of WO2020096437A1 publication Critical patent/WO2020096437A1/ko
Priority to US17/188,242 priority patent/US11898851B2/en
Anticipated expiration legal-status Critical
Priority to US18/513,510 priority patent/US20240094008A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0022—Gains, weighting coefficients or weighting functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Definitions

  • the present invention relates to a vehicle position estimation apparatus and method for estimating a position of a driving vehicle from an image obtained by a camera of a vehicle.
  • a vehicle means a transportation device that drives a road or a track using fossil fuel, electricity, and the like as power sources.
  • ADAS Advanced Driver Assist System
  • the location estimation of the surrounding vehicle may be preceded before the operation.
  • the positioning estimation of the surrounding vehicle estimated by the plurality of advanced driver assistance systems mounted in each of the plurality of vehicles monitoring of the plurality of driving vehicles on the road may be possible.
  • the problem to be solved by the present invention is to provide an apparatus and method for estimating a position of a vehicle that estimates a final position of a driving vehicle by applying a weight obtained based on identification information of the driving vehicle in the surrounding image to the location information of the driving vehicle will be.
  • An apparatus for estimating a location of a vehicle includes: a communication unit that receives identification information and location information about a driving vehicle around the information providing vehicle from the information providing vehicle; A weight obtaining unit obtaining a weight for the location information based on the received identification information; A grid map generator for generating a probability grid map for each of a plurality of viewpoints of the driving vehicle using the location information to which the weight is applied; And a location estimator determining a driving path of the driving vehicle based on the probability grid map and estimating a final position of the driving vehicle based on the determined driving path.
  • a method for estimating a position of a vehicle includes: obtaining relative position information of a driving vehicle based on the information providing vehicle coordinate system from surrounding images acquired at a plurality of viewpoints by a camera provided in the information providing vehicle ; Obtaining absolute position information of the driving vehicle based on absolute position information of the information providing vehicle based on an absolute coordinate system; Extracting attribute information for the driving vehicle from the surrounding image; Accumulating the attribute information extracted at each of the plurality of time points to estimate identification information including probability information having the attribute information; And transmitting location information and identification information of the driving vehicle to a location estimation apparatus.
  • a vehicle location estimation apparatus and method accumulates attribute information of a driving vehicle in an information providing vehicle to obtain probability information about attribute information, and a location estimation apparatus obtains probability information about attribute information Since the weight determined as the basis is applied to the location information of the traveling vehicle, it is possible to increase the accuracy of the location estimation for the traveling vehicle.
  • FIG. 1 is a functional block diagram of a vehicle position estimation system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of a location estimation method performed by an information providing vehicle according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a surrounding image obtained by an information providing vehicle according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining a method for acquiring information on a relative position of a driving vehicle by an information providing vehicle according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining a method for acquiring information on an absolute position of a driving vehicle by an information providing vehicle according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining a method for acquiring identification information of a driving vehicle by an information providing vehicle according to an embodiment of the present invention.
  • FIG. 7 is a flowchart of a location estimation method performed by a location estimation apparatus according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a probability grid map generated by a location estimation apparatus according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a probability distribution for a position at an adjacent viewpoint obtained by the position estimation apparatus according to an embodiment of the present invention.
  • FIG. 1 is a functional block diagram of a vehicle position estimation system according to an embodiment of the present invention.
  • the vehicle location estimation system of the present invention means any system capable of monitoring a vehicle driving on a road in real time by using location information and identification information of surrounding vehicles collected from an information providing vehicle equipped with an ADAS module.
  • Monitoring a driving vehicle may be used not only to improve the driving environment of a road on which the vehicle travels, but also may be a basis for obtaining a location and a driving route of a specific vehicle according to a predetermined purpose. For example, the monitoring results described above can be used to track a dragon's vehicle for crime prevention purposes.
  • the accuracy of the location estimation result may vary depending on the location where the CCTV is installed. Since the position of the CCTV is not easy to change after the installation time, it may be difficult to estimate if the vehicle to estimate the position selects a driving route excluding the CCTV installation position.
  • a vehicle driving on the road can be monitored using a black box mounted on the vehicle.
  • the black box can also move to acquire surrounding images, thereby acquiring information about vehicles driving at various locations.
  • accuracy may be determined according to the resolution of the camera in the black box. If the resolution of the camera in the black box is extremely low, it may not be possible to estimate the position of the vehicle.
  • extraction of attribute information such as a license plate of a vehicle from an image acquired by a camera always has a possibility of misrecognition, and thus the result of estimation based on this cannot guarantee accuracy.
  • the vehicle position estimation system may estimate the final position of the driving vehicle by applying the weight obtained based on the identification information of the driving vehicle in the surrounding image to the location information of the driving vehicle.
  • a system for estimating a position of a vehicle includes an information providing vehicle Vs equipped with an ADAS module 200; And a location estimating apparatus 100 for estimating the location of the driving vehicle.
  • the vehicle location estimation system 1 may be provided to enable wireless communication between the information providing vehicle Vs and the location estimation apparatus 100. Specifically, the vehicle location estimation system 1 may provide an environment in which information can be exchanged between the information providing vehicle Vs and the location estimation apparatus 100 by adopting various known communication methods. The vehicle location estimation system 1 according to an embodiment may provide a communication environment via a base station by adopting known communication methods such as CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, and EPC. have.
  • the vehicle location estimation system 1 includes a wireless LAN, Wi-Fi, Bluetooth, Zigbee, WFD (Wi-Fi Direct), UWB (Vs) and location estimation devices within a certain distance according to communication methods such as (Ultra-wideband), Infrared Data Association (IrDA), Bluetooth Low Energy (BLE), and Near Field Communication (NFC) 100) It is also possible to provide an environment in which communication is possible. However, the method in which the communication unit 110 communicates with the information providing vehicle Vs is not limited to the above-described embodiment.
  • the information providing vehicle Vs may acquire identification information and location information about a driving vehicle existing in the vicinity. To this end, the information providing vehicle Vs may include the ADAS module 200.
  • the ADAS module 200 may mean any means capable of providing driving information to a driver in response to various surrounding environments, or further actively controlling a vehicle.
  • the ADAS module 200 includes a LDWS (Lane Departure Warning System) module, a LKAS (Lane Keeping Assist System) module, an AEB (Auto Emergency Braking) module, an ACC (Adaptive Cruise Control) module, and BLIS (Blind Spot Information System) module, FCW (Forward Collision Warning) module, and / or AEB (Auto Emergency Braking) module.
  • the ADAS module 200 may include sensing means for sensing the surrounding environment.
  • the sensing means irradiates a pulse around the vehicle, receives a echo pulse reflected from an object located in the corresponding direction, detects a driving environment, and irradiates a laser around the vehicle, and the corresponding direction Lidar (LiDAR) for receiving a laser reflected from an object located in the, and / or ultrasonic sensors for irradiating ultrasound around the vehicle, and receiving ultrasonic waves reflected from the object located in the direction may include. .
  • Lidar Lidar
  • the ADAS module 200 may include a camera as a sensing means.
  • the camera is provided to face the front, side, and / or rear of the vehicle, and can capture surrounding images in the corresponding direction.
  • the captured surrounding image may be a basis for acquiring information of a driving vehicle driving around the information providing vehicle Vs through an image processing process.
  • the ADAS module 200 may include a GPS module as a sensing means.
  • the GPS module may receive a satellite signal including navigation data from at least one Global Position System (GPS) satellite.
  • GPS Global Position System
  • the information providing vehicle Vs may obtain the current location coordinates of the GPS-based information providing vehicle Vs based on the satellite signal.
  • the information providing vehicle Vs may further include storage means for storing a program including instructions for performing a method for estimating a location of the vehicle according to an embodiment of the present invention.
  • Storage means according to an embodiment of the flash memory type (flash memory type), hard disk type (hard disk type), multimedia card micro type (multimedia card micro type), card type memory (for example, SD or XD memory, etc.) ), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EPMROM), Programmable Read-Only Memory (PROM), Magnetic Memory, magnetic disks, and / or optical disks.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • card type memory for example, SD or XD memory, etc.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EPMROM Electrically Erasable Programmable Read-Only Memory
  • the information providing vehicle Vs may further include a communication module capable of communicating with the location estimation apparatus 100 according to a communication method adopted by the vehicle location estimation system 1. Through the communication module, the information providing vehicle Vs may provide identification information and location information about the driving vehicle to the location estimation apparatus 100.
  • the position estimation apparatus 100 may estimate the final position of the driving vehicle based on the identification information and the location information of the driving vehicle received from the information providing vehicle Vs.
  • the location estimation apparatus 100 may be configured as a server or a plurality of server sets.
  • the communication unit 110 may receive identification information and location information of the driving vehicle from the information providing vehicle Vs. To this end, the communication unit 110 may be provided to enable communication according to a communication method adopted by the vehicle location estimation system 1.
  • the weight obtaining unit 120 may obtain a weight for location information based on the identification information of the received driving vehicle. Specifically, the weight obtaining unit 120 groups the second identification information other than the number plate based on the first identification information for the number plate among the received identification information, and accumulates the grouped second identification information to accumulate location information.
  • the weight for can be obtained.
  • the weight for the location information may mean the accumulated accuracy of the location information. That is, the weight for the location may mean a cumulative probability that the driving vehicle is present at the location indicated by the location information.
  • the grid map generation unit 130 may generate a probability grid map for each of a plurality of viewpoints of the driving vehicle using the weighted location information.
  • the probability grid map may mean a map in which probability information on which a driving vehicle is to be located in each of the plurality of grids at a specific time point is accumulated.
  • the grid map generation unit 130 may apply weights to probability information among received location information corresponding to a corresponding time point, and accumulate probability information weighted to a grid corresponding to location coordinates among the received location information.
  • the position estimator 140 may determine the driving route of the driving vehicle using the probability grid map and estimate the final position of the driving vehicle based on the determined driving route. Specifically, the location estimator 140 searches for a candidate driving path of the driving vehicle based on the probability grid map, and the total of the amount of change in the location of the driving vehicle between adjacent points on the candidate path and the driving vehicle at each time point on the candidate path Based on the sum, one of the searched candidate driving paths may be determined as the driving path, and the position of the last time point of the driving path may be estimated as the final position of the driving vehicle.
  • At least one configuration of the position estimation apparatus 100 according to the embodiment of FIG. 1 may be implemented as a computing device including a microprocessor.
  • at least one of the weight obtaining unit 120, the grid map generating unit 130, and the location estimating unit 140 of the location estimation apparatus 100 includes an application processor (AP), a CP ( It may be implemented by at least one of various processors such as a Communication Processor (GPU), a Graphic Processing Unit (GPU), and / or a Central Processing Unit (CPU).
  • AP application processor
  • CP It may be implemented by at least one of various processors such as a Communication Processor (GPU), a Graphic Processing Unit (GPU), and / or a Central Processing Unit (CPU).
  • GPU Communication Processor
  • GPU Graphic Processing Unit
  • CPU Central Processing Unit
  • SOC system on chip
  • FIG. 2 is a flowchart of a location estimation method performed by an information providing vehicle according to an embodiment of the present invention.
  • the information providing vehicle Vs may acquire the relative position information of the driving vehicle from the surrounding images acquired for each of a plurality of viewpoints (S100).
  • the relative position information may mean position information of a driving vehicle based on the information providing vehicle coordinate system.
  • FIG. 3 is a diagram illustrating a surrounding image obtained by an information providing vehicle according to an embodiment of the present invention
  • FIG. 4 is a method in which an information providing vehicle according to an embodiment of the present invention obtains relative position information of a driving vehicle It is a diagram for explaining a method.
  • the information providing vehicle Vs may first acquire a surrounding image at a plurality of viewpoints using a camera.
  • the information providing vehicle Vs may set a region of interest including a driving vehicle in the surrounding image.
  • the information providing vehicle Vs may set a region of interest by applying at least one of known vehicle identification algorithms to surrounding images.
  • the information providing vehicle Vs may set a region of interest using a vehicle identification algorithm obtained according to machine learning, such as deep learning.
  • the region of interest may be in the form of a bounding box.
  • the information providing vehicle Vs may identify a front vehicle in the surrounding image as a driving vehicle and set a region of interest including the front vehicle.
  • 3B is an enlarged view of the area Sb around the front vehicle in FIG. 2A. Referring to (b) of FIG. 3, it can be confirmed that the information providing vehicle Vs has set the region of interest SI of the bounding box shape including the front vehicle.
  • the information providing vehicle Vs may obtain a direction vector to a target point in the boundary of the region of interest.
  • the target point may mean the location of the driving vehicle existing in the region of interest.
  • the target point according to an embodiment may mean a center point at the bottom of the region of interest.
  • the information providing vehicle Vs may obtain a direction vector from the center of the camera coordinate system to the target point. Using the external camera parameters for the position and posture angle of the reference vehicle coordinate system reference camera, the information providing vehicle Vs can convert the obtained direction vector based on the information providing vehicle coordinate system.
  • the obtained direction vector may point toward the rear of the driving vehicle that meets the ground. Therefore, the information providing vehicle Vs can obtain the relative position information of the driving vehicle by obtaining a three-dimensional intersection point of the plane with respect to the direction vector and the ground.
  • the information providing vehicle Vs may estimate the direction of the driving vehicle using two vertices present at the same corner of the region of interest. For example, when the driving vehicle is a front vehicle, the information providing vehicle Vs may estimate the direction of the driving vehicle by obtaining three-dimensional positions for both end points of the lower region of interest.
  • the information providing vehicle Vs can obtain Gaussian Distribution through modeling. Specifically, the information providing vehicle Vs may obtain an average (Mean) and covariance (Covariance) of the relative position information of the driving vehicle according to Equation (1).
  • PS, F may mean relative position coordinates among the relative position information of the driving vehicle
  • CS, F may mean relative covariance among the relative position information of the driving vehicle.
  • FIG. 4 a vector V1 from the origin of the relative coordinate system Ms toward the driving vehicle Vf and the corresponding covariance area Sf is illustrated. That is, the relative position information of the driving vehicle Vf according to Equation 1 described above may exist as a probability at a plurality of positions in the covariance area Sf.
  • the information providing vehicle Vs may acquire absolute location information of the driving vehicle based on the absolute location information of the vehicle (S110).
  • the absolute position information may mean position information based on an absolute coordinate system.
  • the information providing vehicle Vs may acquire GPS-based location information as an absolute location. As described above, since the satellite signal received from the GPS satellite includes three-dimensional position coordinates of the GPS module based on the absolute coordinate system, the information providing vehicle Vs can acquire absolute position information from the satellite signal.
  • the information providing vehicle Vs may use a precise map together.
  • the precision map may mean a map that has high accuracy for safe and precise vehicle control, and includes information about altitude, slope, curvature, etc., as well as the flat position of the road.
  • the precision map according to an embodiment may be marked with at least lanes and additionally include signs, traffic lights, road facilities such as a guardrail, and the like.
  • the information providing vehicle Vs may extract feature points from surrounding images.
  • the information providing vehicle Vs may acquire more accurate absolute location information by matching landmarks in the precise map area corresponding to GPS-based location information with feature points of the extracted surrounding image.
  • the absolute position information of the information providing vehicle Vs obtained through the above-described method may be expressed according to Equation (2).
  • PW may mean absolute position coordinates among absolute position information of the information providing vehicle Vs
  • CW S may mean absolute covariance among absolute position information of the information providing vehicle Vs.
  • the information providing vehicle Vs may acquire absolute position information of the driving vehicle based on the absolute position information of the vehicle.
  • a method of obtaining absolute position information of a driving vehicle will be described with reference to FIG. 5.
  • FIG. 5 is a view for explaining a method for acquiring information on an absolute position of a driving vehicle by an information providing vehicle according to an embodiment of the present invention.
  • the information providing vehicle Vs may acquire absolute location information of the driving vehicle based on the absolute location information. At this time, since an error exists in the absolute position information of the information providing vehicle Vs and the relative position information of the driving vehicle, the information providing vehicle Vs can model the absolute position information of the driving vehicle as Gaussian Distribution. Specifically, the information providing vehicle Vs may obtain an average (Mean) and covariance (Covariance) of the absolute position information of the driving vehicle according to Equation (3).
  • [xW, F yW, F ⁇ W, F] T may mean absolute position coordinates among absolute position information of the driving vehicle
  • CW F may mean absolute covariance among absolute position information of the driving vehicle
  • R ( ⁇ ) means a rotation transformation matrix for converting from an absolute coordinate system to a relative coordinate system of a vehicle
  • JW means a Jacobian matrix for absolute position information of the vehicle
  • JS F It may mean a Jacobian matrix for the relative position information of the driving vehicle.
  • vector V1 from the origin of the relative coordinate system Ms toward the driving vehicle Vf and the corresponding covariance area Sf is illustrated
  • a vector V3 is illustrated that points from the origin of the coordinate system MW toward the traveling vehicle Vf. That is, the absolute position information of the driving vehicle Vf according to Equation 2 described above may exist as a probability at a plurality of positions in the covariance area Sf.
  • the information providing vehicle Vs may extract attribute information about the driving vehicle from the surrounding image (S120).
  • the attribute information may mean all information that can be extracted from a surrounding image so that it can be used for identification of a driving vehicle.
  • the attribute information may include first attribute information on the license plate of the driving vehicle, and second attribute information on attributes other than the license plate, such as the size, vehicle type, and color of the driving vehicle.
  • the information providing vehicle Vs may extract attribute information from a region of interest set in a surrounding image of each of a plurality of viewpoints.
  • the information providing vehicle Vs may accumulate attribute information extracted from each of a plurality of viewpoints to obtain identification information including probability information for the attribute information (S130).
  • identification information including probability information for the attribute information (S130).
  • FIG. 6 is a view for explaining a method for acquiring identification information of a driving vehicle by an information providing vehicle according to an embodiment of the present invention.
  • the information providing vehicle Vs may first group a region of interest for the same driving vehicle. To this end, the information providing vehicle Vs according to an embodiment may determine whether the corresponding region of interest is for the same driving vehicle based on the overlap ratio of the region of interest between neighboring images of adjacent viewpoints.
  • the region of interest G1, t-1 in the peripheral image It-1 and the peripheral image It can be confirmed that the region of interest G1, t has a predetermined overlapping region.
  • the region of interest G2, t-1 in the peripheral image It-1 and the region of interest G2, t in the peripheral image It-1 have a predetermined overlapping region. Since the same driving vehicle has a high probability of being in a similar position in adjacent surrounding images, it can be determined that the information providing vehicle Vs is a region of interest for the same driving vehicle.
  • the information providing vehicle Vs may determine whether the vehicle is the same driving vehicle by comparing the size and / or texture of the region of interest in the surrounding image at an adjacent viewpoint, or the information providing vehicle Based on the driving speed of (Vs), it is also possible to determine whether the vehicle is the same driving vehicle by predicting the position of the region of interest at the next time point.
  • the information providing vehicle Vs may group regions of interest representing the same driving vehicle at the adjacent viewpoint. For example, referring to FIG. 6, when it is determined that the region of interest G1, t-1 and the region of interest G1, t are for the same driving vehicle, the information providing vehicle Vs includes the region of interest G1, t-1 and the region of interest G1, When t is grouped into the first group G1, and it is determined that the regions of interest G2, t-1 and the region of interest G2, t are for the same driving vehicle, the information providing vehicle Vs is the region of interest G2, t-1 and the region of interest G2, t may be grouped into the second group G2.
  • the information providing vehicle Vs may accumulate attribute information extracted from the grouped region of interest to obtain identification information including probability information of the driving vehicle in the grouped region of interest to have attribute information.
  • the attribute information may mean all information that can be used to identify a driving vehicle and can be extracted from surrounding images.
  • the attribute information may include information about a license plate, size, vehicle type, color, and the like of the driving vehicle.
  • the information providing vehicle Vs may accumulate the number of attribute information extracted from the grouped region of interest, and select the attribute information having the largest accumulation amount as attribute information of the driving vehicle.
  • the information providing vehicle Vs may obtain probability information about a probability that the driving vehicle has selected attribute information. Specifically, the information providing vehicle Vs may obtain probability information W_property of the driving vehicle having the selected attribute information according to Equation (4).
  • N_best may mean the maximum accumulated amount of attribute information
  • N_total may mean the total accumulated amount of attribute information
  • the information providing vehicle Vs can obtain attribute information having the highest probability and probability information having the corresponding attribute information as identification information.
  • the information providing vehicle Vs may transmit absolute location information and identification information of the driving vehicle to the location estimation apparatus 100 (S140).
  • FIG. 7 is a flowchart of a location estimation method performed by a location estimation apparatus according to an embodiment of the present invention.
  • the location estimation apparatus 100 may receive identification information and absolute location information about the driving vehicle from the information providing vehicle Vs through the communication unit 110 (S200). At this time, the position estimation apparatus 100 may receive a plurality of identification information and absolute position information for a plurality of driving vehicles from a plurality of information providing vehicles Vs.
  • the location estimation apparatus 100 may obtain a weight for the location information based on the identification information through the weight acquisition unit 120.
  • the weight obtaining unit 120 may group the second identification information other than the number plate based on the first identification information for the number plate among the first received identification information.
  • the weight obtaining unit 120 may group the second identification information of the identification information having the first identification information of '1111' for the license plate.
  • the weight obtaining unit 120 may accumulate the grouped second identification information to obtain a weight for the location information.
  • the second identification information on the size, color, vehicle type, etc. of the identification information having the first identification information of '1111' may be accumulated.
  • the accumulated second identification information may mean a probability that the driving vehicle has the corresponding property information for each property information for size, color, and vehicle type. For example, if the attribute information of 2X2 for the size of the driving vehicle and the probability information 0.7 for it exist, 0.7 may be accumulated in the probability information of all received identification information having the attribute information of 2X2 for the size.
  • the weight obtaining unit 120 may obtain the weight by multiplying the accumulated probability information for each attribute information. If the attribute information is for the size, color, and vehicle type of the driving vehicle, the weight obtaining unit 120 may obtain the weight W_total according to Equation (5).
  • W_ size means cumulative probability information for attribute information about size
  • W_ color means cumulative probability information for attribute information for color
  • W_ vehicle model accumulates for attribute information for vehicle model It may mean the probability information.
  • the weight obtaining unit 120 may normalize the accumulated probability information for each attribute information so that the sum is 1.
  • the location estimation apparatus 100 may generate a probability grid map for each of a plurality of viewpoints of the driving vehicle using the weighted location information through the grid map generation unit 130 (S220).
  • the probability grid map may mean a map in which probability information on which a driving vehicle is to be located in each of a plurality of grids at a specific time point is accumulated.
  • FIG. 8 is a diagram illustrating a probability grid map generated by a location estimation apparatus according to an embodiment of the present invention
  • FIG. 9 is a location at an adjacent viewpoint obtained by a location estimation apparatus according to an embodiment of the present invention It is a diagram illustrating a probability distribution for.
  • the grid map generator 130 may apply a weight to probability information among received location information corresponding to a specific time point.
  • the received location information may include location coordinates of the traveling vehicle obtained by the information providing vehicle Vs and probability information that the traveling vehicle will be located at the estimated location coordinates.
  • the grid map generation unit 130 may accumulate probability information weighted to the grid corresponding to the position coordinates among the received location information.
  • the grid map generator 130 may generate a probability grid map using only location information within a predetermined threshold probability in Gaussian Distribution according to Equation (3). 8 illustrates a probability grid map Cm showing a covariance region Sf when a predetermined threshold probability is 90%.
  • the grid map generator 130 accumulates by applying a weight to the integrated value of the Gaussian Distribution PDF (Probability Density Function) corresponding to each grid. You may.
  • Gaussian Distribution PDF Probability Density Function
  • the probability grid map may have a time t axis along with an xW axis and a yW axis based on an absolute coordinate system. 8, it can be seen that the probability grid map follows the time t axis together with the xW axis and the yW axis.
  • the grid map generation unit 130 may update the probability grid map for the adjacent viewpoint based on the estimated travel distance of the information providing vehicle Vs according to the interval between adjacent viewpoints.
  • the estimated travel distance is an information providing vehicle estimated based on a traffic condition of a road on which the information providing vehicle Vs is driving, a driving speed of a plurality of vehicles driving the road on which the information providing vehicle Vs is driving, and the like ( Vs), and may be input from an external device or determined by an internal operation of the position estimation device 100.
  • the grid map generation unit 130 may acquire location information at an adjacent second time point t2 using location information corresponding to the first time point t1 according to Equation (6).
  • [xt2 yt2] T means the position coordinate at the second time point t2
  • [xt1 yt1] T means the position coordinate at the first time point t1
  • Ct2 means the covariance at the second time point t2
  • Ct1 means covariance at the first time point t1
  • ⁇ t1, t2 may mean the product of the estimated travel distance D and the tuning parameter k.
  • FIG. 9 a covariance area St according to the location information obtained at time t and a covariance area at a time adjacent thereto are illustrated. Specifically, it can be seen that the covariance regions St-1 and t + 1 for the time points t-1 and t + 1 adjacent to the time point t have a wider region around the covariance region St for the time point t. Also, the covariance regions St-2 and t + 2 for the time points t-2 and t + 2 are the covariance regions St for the time points t and the covariance regions St-1 and t + 1 for the time points t-1 and t + 1. It can be formed to extend outward.
  • covariance regions St-3 and t + 3 for time points t-3 and t + 3 are covariance regions St for time points t and covariance regions St-1 and t + for time points t-1 and t + 1. It can be seen that the covariance regions St-2 and t + 2 for 1 and time points t-2 and t + 2 are formed to extend outward.
  • the location estimation apparatus 100 may generate a path of the driving vehicle based on the probability grid map through the location estimation unit 140 in operation S230.
  • the location estimator 140 may generate a path of a driving vehicle by connecting a grid having the highest probability that a driving vehicle exists among the probability grid maps of each time point.
  • the location estimator 140 may use a method such as dynamic programming.
  • the location estimator 140 may first search for a candidate driving route of the driving vehicle based on the probability grid map.
  • the candidate driving path means a path composed of any one of the grids having a threshold probability or higher in each of the plurality of probability grid maps, and the critical probability may mean a minimum probability that a driving vehicle may exist.
  • the location estimator 140 may search for all possible candidate paths, or alternatively, may randomly search any number of possible candidate paths.
  • the location estimator 140 may travel any one of the searched candidate driving paths based on the sum of the position change amount of the driving vehicle between adjacent viewpoints on the candidate path and the probability that the driving vehicle is located at each time point. You can decide. Specifically, the position estimating unit 140 determines a candidate route that minimizes the amount of change in the position of the driving vehicle between adjacent viewpoints on the candidate route, while the total sum of the probability accumulated in each grid constituting the candidate route is the maximum. Can be.
  • the location tracking device may estimate the final location of the driving vehicle based on the driving route through the location estimator 140 (S240). Specifically, the position estimator 140 may estimate the position of the last point of the driving route as the position of the driving vehicle.
  • the location estimation apparatus 100 may generate and provide a heat map corresponding to a probability grid map when requested by an external device or a user.
  • the heat map may mean a map representing an integral value of probability for each grid in a corresponding color during a predetermined time period.
  • the position estimation apparatus 100 may integrate by applying a low weight to a probability for a time point far from the current time point among the set time intervals and a high weight to a probability for a time point near the current time point.
  • the location estimation apparatus 100 may obtain a probability integral value for each grid in the corresponding time period, and display colors corresponding to each grid on each grid. have. For example, the location estimation apparatus 100 may provide a heat map in which a high probability grid is displayed in red and a low probability grid is displayed in blue. Through this, the user can visually and intuitively determine the position of the driving vehicle in a specific time period.
  • the above-described vehicle position estimation apparatus and method, the vehicle location estimation apparatus and method according to an embodiment of the present invention accumulates the attribute information of the driving vehicle in the information providing vehicle to obtain probability information about the attribute information , Since the position estimation device applies the weight determined based on the probability information for the attribute information to the location information of the driving vehicle, it is possible to increase the accuracy of the location estimation for the driving vehicle.
  • each step included in the method for estimating the position of a vehicle according to the above-described exemplary embodiment may be implemented in a computer program programmed to perform the step and a computer-readable recording medium recording the computer program.
  • the above-described vehicle position estimation apparatus and method may be used in various fields such as a home or an industrial site, and thus there is a possibility of industrial use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 따른 차량의 위치 추정 장치는, 정보 제공 차량으로부터 상기 정보 제공 차량 주변의 주행 차량에 대한 식별 정보 및 위치 정보를 수신하는 통신부; 상기 수신된 식별 정보를 기초로 상기 위치 정보에 대한 가중치를 획득하는 가중치 획득부; 상기 가중치가 적용된 상기 위치 정보를 이용하여 상기 주행 차량의 복수의 시점 각각에 대한 확률 격자 지도를 생성하는 격자 지도 생성부; 및 상기 확률 격자 지도를 기초로 상기 주행 차량의 주행 경로를 결정하고, 상기 결정된 주행 경로를 기초로 상기 주행 차량의 최종 위치를 추정하는 위치 추정부를 포함한다.

Description

차량의 위치 추정 장치 및 방법
본 발명은 차량의 카메라에 의해 획득된 영상으로부터 주행 차량의 위치를 추정하는 차량의 위치 추정 장치 및 방법에 관한 것이다.
일반적으로 차량은 화석 연료, 전기 등을 동력원으로 하여 도로 또는 선로를 주행하는 운송 장치를 의미한다.
차량은 기술의 발달에 따라 운전자에게 다양한 기능을 제공할 수 있도록 발전해왔다. 특히, 차량의 전장화 추세에 따라, 사고 직전 또는 사고 순간에 사고를 방지하기 위해 동작하는 능동형 안전 시스템(ASS: Active Safety System)을 구비하는 차량이 등장하였다.
나아가, 최근에는 운전자의 부담을 경감시켜주고 편의를 증진시켜주기 위하여 차량 상태, 운전자 상태, 및 주변 환경과 같은 주행 환경에 대한 정보를 능동적으로 제공하는 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)이 탑재된 차량에 대한 연구가 활발히 진행되고 있다.
첨단 운전자 지원 시스템은 주변 차량과의 관계에서 결정되는 주행 환경에 따라 동작하므로, 동작에 앞서 주변 차량의 위치 추정이 선행될 수 있다. 이 때, 복수의 차량 각각에 탑재된 복수의 첨단 운전자 지원 시스템에 의해 추정되는 주변 차량의 위치를 수집할 경우, 도로를 주행 중인 복수의 주행 차량에 대한 모니터링이 가능할 수 있다.
본 발명이 해결하고자 하는 과제는, 주변 영상 내 주행 차량의 식별 정보를 기초로 획득된 가중치를 주행 차량의 위치 정보에 적용하여 주행 차량의 최종 위치를 추정하는 차량의 위치 추정 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량의 위치 추정 장치는, 정보 제공 차량으로부터 상기 정보 제공 차량 주변의 주행 차량에 대한 식별 정보 및 위치 정보를 수신하는 통신부; 상기 수신된 식별 정보를 기초로 상기 위치 정보에 대한 가중치를 획득하는 가중치 획득부; 상기 가중치가 적용된 상기 위치 정보를 이용하여 상기 주행 차량의 복수의 시점 각각에 대한 확률 격자 지도를 생성하는 격자 지도 생성부; 및 상기 확률 격자 지도를 기초로 상기 주행 차량의 주행 경로를 결정하고, 상기 결정된 주행 경로를 기초로 상기 주행 차량의 최종 위치를 추정하는 위치 추정부를 포함한다.
본 발명의 일 실시예에 따른 차량의 위치 추정 방법은, 정보 제공 차량에 마련된 카메라에 의해 복수의 시점마다 획득된 주변 영상으로부터 상기 정보 제공 차량 좌표계를 기준으로 주행 차량의 상대 위치 정보를 획득하는 단계; 절대 좌표계 기준 상기 정보 제공 차량의 절대 위치 정보를 기초로 상기 주행 차량의 절대 위치 정보를 획득하는 단계; 상기 주변 영상으로부터 상기 주행 차량에 대한 속성 정보를 추출하는 단계; 상기 복수의 시점 각각에서 추출된 상기 속성 정보를 누적하여 상기 속성 정보를 가질 확률 정보를 포함하는 식별 정보를 추정하는 단계; 및 상기 주행 차량의 위치 정보 및 식별 정보를 위치 추정 장치로 전송하는 단계를 포함한다.
본 발명의 일 실시예에 따른 차량의 위치 추정 장치 및 방법은, 정보 제공 차량에서 주행 차량의 속성 정보를 누적하여 속성 정보에 대한 확률 정보를 획득하고, 위치 추정 장치에서 속성 정보에 대한 확률 정보를 기초로 결정된 가중치를 주행 차량의 위치 정보에 적용하므로, 주행 차량에 대한 위치 추정의 정확도를 높일 수 있다.
구체적으로, 해상도가 낮은 카메라에 의해 획득된 주변 영상으로부터 번호판에 대한 속성 정보를 추정하는 경우, 주행 차량의 식별 정확도가 낮아질 수 있다. 반면, 본 발명의 일 실시에에 따른 차량의 위치 추정 장치 및 방법은 번호판 이외의 속성에 대한 속성 정보를 확률적으로 고려하므로, 낮은 해상도에 따른 오인식의 가능성을 낮출 수 있다.
도 1 은 본 발명의 일 실시예에 따른 차량의 위치 추정 시스템의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 정보 제공 차량에 의해 수행되는 위치 추정 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 정보 제공 차량에 의해 획득되는 주변 영상을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 정보 제공 차량이 주행 차량의 상대 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 정보 제공 차량이 주행 차량의 절대 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 정보 제공 차량이 주행 차량의 식별 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 위치 추정 장치에 의해 수행되는 위치 추정 방법의 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 위치 추정 장치에 의해 생성되는 확률 격자 지도를 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 위치 추정 장치에 의해 획득되는 인접 시점에서의 위치에 대한 확률 분포를 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 차량의 위치 추정 시스템의 기능 블록도이다.
본 발명의 차량의 위치 추정 시스템은 ADAS 모듈이 탑재된 정보 제공 차량으로부터 수집된 주변 차량의 위치 정보 및 식별 정보를 이용하여 도로를 주행 중인 차량을 실시간으로 모니터링 할 수 있는 모든 시스템을 의미한다.
주행 중인 차량을 모니터링 하는 것은 해당 차량이 주행하는 도로의 주행 환경을 개선하는데 이용될 뿐만 아니라, 소정의 목적에 따라 특정 차량의 위치 및 주행 경로를 획득하는데 기초가 될 수 있다. 예를 들어, 방범의 목적으로 용의 차량을 추적하기 위해서 상술한 모니터링 결과를 이용할 수 있다.
CCTV를 이용하여 차량의 위치를 추정하는 경우, CCTV가 설치된 위치에 따라 위치 추정 결과의 정확도가 달라질 수 있다. CCTV는 설치된 시점 이후로 위치 변경이 용이하지 않으므로, 위치를 추정하고자 하는 차량이 CCTV 설치 위치가 배제된 주행 경로를 선택한다면, 추정이 어려울 수 있다.
이를 해결하기 위해, 차량에 탑재된 블랙박스를 이용하여 도로를 주행하는 차량을 모니터링 할 수 있다. 차량의 주행에 따라 블랙박스도 함께 이동하면서 주변 영상을 획득할 수 있어, 다양한 위치에서 주행하는 차량에 대한 정보를 획득할 수 있다. 그러나, 이와 같은 방법은 블랙박스 내 카메라의 해상도에 따라 정확도가 결정될 수 있다. 만약, 블랙박스 내 카메라의 해상도가 극히 낮은 경우에 차량의 위치 추정이 불가능할 수 있다. 뿐만 아니라, 위치 추정이 가능하더라도, 카메라에 의해 획득된 영상으로부터 차량의 번호판과 같은 속성 정보를 추출하는 것은 언제나 오인식의 가능성이 존재하므로, 이에 기초한 추정의 결과 역시 정확도를 보장할 수 없다.
따라서, 본 발명의 일 실시예에 따른 차량의 위치 추정 시스템은 주변 영상 내 주행 차량의 식별 정보를 기초로 획득된 가중치를 주행 차량의 위치 정보에 적용하여 주행 차량의 최종 위치를 추정할 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량의 위치 추정 시스템(1)은 ADAS 모듈(200)이 탑재된 정보 제공 차량(Vs); 및 주행 차량의 위치를 추정하는 위치 추정 장치(100)를 포함할 수 있다.
차량의 위치 추정 시스템(1)은 정보 제공 차량(Vs)과 위치 추정 장치(100) 간에 무선 통신이 가능하도록 마련될 수 있다. 구체적으로, 차량의 위치 추정 시스템(1)은 공지된 여러 가지 통신 방법을 채택함으로써 정보 제공 차량(Vs)과 위치 추정 장치(100) 간에 정보 교환이 가능한 환경을 제공할 수 있다. 일 실시예에 따른 차량의 위치 추정 시스템(1)은 CDMA, GSM, W-CDMA, TD-SCDMA, WiBro, LTE, EPC 등의 공지된 통신 방법을 채택하여 기지국을 경유하는 통신 환경을 제공할 수 있다. 이와는 달리, 다른 실시예에 따른 차량의 위치 추정 시스템(1)은 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra-wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication)와 같은 통신 방법에 따라 소정 거리 이내에서 정보 제공 차량(Vs)과 위치 추정 장치(100) 간에 통신이 가능한 환경을 제공할 수도 있다. 다만, 통신부(110)가 정보 제공 차량(Vs)과 통신하는 방법은 상술한 실시예에 한정되지 않는다.
정보 제공 차량(Vs)은 주변에 존재하는 주행 차량에 대한 식별 정보 및 위치 정보를 획득할 수 있다. 이를 위해, 정보 제공 차량(Vs)은 ADAS 모듈(200)을 포함할 수 있다.
ADAS 모듈(200)은 다양한 주변 환경에 대응하여 운전자에게 주행 정보를 제공하거나, 나아가 능동적으로 차량을 제어할 수 있는 모든 수단을 의미할 수 있다. 예를 들어, 일 실시예에 따른 ADAS 모듈(200)은 LDWS(Lane Departure Warning System) 모듈, LKAS(Lane Keeping Assist System) 모듈, AEB(Auto Emergency Braking) 모듈, ACC(Adaptive Cruise Control) 모듈, BLIS(Blind Spot Information System) 모듈, FCW(Forward Collision Warning) 모듈, 및/또는 AEB(Auto Emergency Braking) 모듈 등을 포함할 수 있다.
이와 같은 ADAS 모듈(200)은 주변 환경을 감지하기 위한 감지 수단을 구비할 수 있다. 일 실시예에 따른 감지 수단은 차량 주변으로 펄스를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 펄스를 수신하여 주행 환경을 감지하는 레이더(Radar), 차량 주변으로 레이저를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 레이저를 수신하는 라이다(LiDAR), 및/또는 차량 주변으로 초음파를 조사하고, 해당 방향에 위치하는 물체로부터 반사되는 에코 초음파를 수신하는 초음파 센서 등을 포함할 수 있다.
또한, ADAS 모듈(200)은 감지 수단으로서 카메라를 포함할 수 있다. 카메라는 차량의 전방, 측방, 및/또는 후방을 향하도록 마련되어, 해당 방향으로의 주변 영상을 촬영할 수 있다. 촬영된 주변 영상은 영상처리 과정을 통해 정보 제공 차량(Vs) 주변을 주행하는 주행 차량의 정보 획득에 기초가 될 수 있다.
또한, ADAS 모듈(200)은 감지 수단으로서 GPS 모듈을 포함할 수 있다. GPS 모듈은 적어도 하나의 GPS(Global Position System) 위성으로부터 항법 데이터(Navigation Data)를 포함하는 위성 신호를 수신할 수 있다. 정보 제공 차량(Vs)은 위성 신호에 기초하여 GPS 기반 정보 제공 차량(Vs)의 현재 위치 좌표 등을 획득할 수 있다.
또한, 정보 제공 차량(Vs)은 본 발명의 일 실시예에 따른 차량의 위치 추정 방법을 수행하는 명령어를 포함하는 프로그램을 저장하는 저장 수단을 더 포함할 수 있다. 일 실시예에 따른 저장 수단은 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 및/또는 광디스크 등을 포함할 수 있다.
또한, 정보 제공 차량(Vs)은 차량의 위치 추정 시스템(1)이 채택한 통신 방법에 따라 위치 추정 장치(100)와 통신 가능한 통신 모듈을 더 포함할 수 있다. 통신 모듈을 통해, 정보 제공 차량(Vs)은 위치 추정 장치(100)에 주행 차량에 대한 식별 정보 및 위치 정보를 제공할 수 있다.
위치 추정 장치(100)는 정보 제공 차량(Vs)으로부터 수신된 주행 차량의 식별 정보 및 위치 정보를 기초로 주행 차량의 최종 위치를 추정할 수 있다. 이를 위해, 일 실시예에 따른 위치 추정 장치(100)는 서버 또는 복수의 서버 집합으로 구성될 수 있다.
통신부(110)는 정보 제공 차량(Vs)으로부터 주행 차량의 식별 정보 및 위치 정보를 수신할 수 있다. 이를 위해, 통신부(110)는 차량의 위치 추정 시스템(1)이 채택하는 통신 방식에 따라 통신 가능하도록 마련될 수 있다.
가중치 획득부(120)는 수신된 주행 차량의 식별 정보를 기초로 위치 정보에 대한 가중치를 획득할 수 있다. 구체적으로, 가중치 획득부(120)는 수신된 식별 정보 중 번호판에 대한 제 1 식별 정보를 기초로 번호판 이외의 제 2 식별 정보를 그룹핑(Grouping)하고, 그룹핑된 제 2 식별 정보를 누적하여 위치 정보에 대한 가중치를 획득할 수 있다. 여기서, 상기 위치 정보에 대한 가중치는 상기 위치 정보의 누적된 정확도를 의미할 수 있다. 즉, 상기 위치에 대한 가중치는 상기 위치 정보가 나타내는 위치에 상기 주행 차량이 존재할 누적된 확률을 의미할 수 있다.
격자 지도 생성부(130)는 가중치가 적용된 위치 정보를 이용하여 주행 차량의 복수의 시점 각각에 대한 확률 격자 지도를 생성할 수 있다. 여기서, 확률 격자 지도는 특정 시점에서 복수의 격자 각각에 주행 차량이 위치할 확률 정보가 누적되는 지도를 의미할 수 있다. 격자 지도 생성부(130)는 해당 시점에 대응되는 수신된 위치 정보 중 확률 정보에 가중치를 적용하고, 수신된 위치 정보 중 위치 좌표에 대응되는 격자에 가중치가 적용된 확률 정보를 누적할 수 있다.
위치 추정부(140)는 확률 격자 지도를 이용하여 주행 차량의 주행 경로를 결정하고, 결정된 주행 경로를 기초로 주행 차량의 최종 위치를 추정할 수 있다. 구체적으로, 위치 추정부(140)는 확률 격자 지도를 기초로 주행 차량의 후보 주행 경로를 탐색하고, 후보 경로 상에서 인접 시점 간 주행 차량의 위치 변화량 및 각 시점에서의 주행 차량이 위치할 확률의 총 합을 기초로, 탐색된 후보 주행 경로 중 어느 하나를 주행 경로로 결정하고, 주행 경로의 마지막 시점의 위치를 주행 차량의 최종 위치로 추정할 수 있다.
도 1의 실시예에 따른 위치 추정 장치(100)의 적어도 하나의 구성은 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있다. 예를 들어, 일 실시예에 따른 위치 추정 장치(100)의 가중치 획득부(120), 격자 지도 생성부(130), 및 위치 추정부(140) 중 적어도 하나는 AP(Application Processor), CP(Communication Processor), GPU(Graphic Processing Unit), 및/또는 CPU(Central Processing Unit) 등의 다양한 프로세서(Processor) 중 적어도 하나에 의해 구현될 수 있다. 또한, 위치 추정 장치(100)의 각 구성 중 적어도 두 개가 SOC(System On Chip) 로 구현되는 것도 가능할 수 있다.
지금까지는 위치 추정 시스템(1)의 각 구성에 대하여 설명하였다. 이하에서는 위치 추정 시스템(1)의 정보 제공 차량(Vs) 및 위치 추정 장치(100) 각각에 의해 수행되는 위치 추정 방법에 대하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 정보 제공 차량에 의해 수행되는 위치 추정 방법의 흐름도이다.
먼저, 정보 제공 차량(Vs)은 복수의 시점마다 획득된 주변 영상으로부터 주행 차량의 상대 위치 정보를 획득할 수 있다(S100). 여기서, 상대 위치 정보란 정보 제공 차량 좌표계를 기준으로 하는 주행 차량의 위치 정보를 의미할 수 있다.
이하에서는 도 3 내지 4를 참조하여 주행 차량의 상대 위치 정보를 획득하는 방법을 설명한다.
도 3은 본 발명의 일 실시예에 따른 정보 제공 차량에 의해 획득되는 주변 영상을 예시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 정보 제공 차량이 주행 차량의 상대 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
주행 차량의 상대 위치 정보를 획득하기 위해, 정보 제공 차량(Vs)은 먼저 카메라를 이용하여 복수의 시점마다 주변 영상을 획득할 수 있다. 주변 영상이 획득되면, 정보 제공 차량(Vs)은 주변 영상 내 주행 차량을 포함하는 관심 영역을 설정할 수 있다. 이를 위해, 정보 제공 차량(Vs)은 주변 영상에 공지된 차량 식별 알고리즘 중 적어도 하나를 적용함으로써 관심 영역을 설정할 수 있다. 예를 들어, 정보 제공 차량(Vs)은 딥 러닝(Deep Learning)과 같은 기계 학습에 따라 획득된 차량 식별 알고리즘을 이용하여 관심 영역을 설정할 수 있다. 이 때, 관심 영역은 Bounding Box 형태일 수 있다.
도 3의 (a)는 정보 제공 차량(Vs)이 주변 영상으로서 전방 영상을 획득한 경우를 예시한다. 정보 제공 차량(Vs)은 주변 영상 내 전방 차량을 주행 차량으로서 확인하고, 전방 차량을 포함하는 관심 영역을 설정할 수 있다.
도 3의 (b)는 도 2의 (a) 중 전방 차량 주변 영역 Sb를 확대한 도면이다. 도 3의 (b)를 참조하면, 정보 제공 차량(Vs)이 전방 차량을 포함하는 Bounding Box 형상의 관심 영역 SI를 설정하였을 확인할 수 있다.
관심 영역이 설정되면, 정보 제공 차량(Vs)은 관심 영역의 경계 내 목표 지점으로의 방향 벡터를 획득할 수 있다. 여기서, 목표 지점은 관심 영역 내에 존재하는 주행 차량의 위치를 의미할 수 있다. 일 실시예에 따른 목표 지점은 관심 영역 하단의 중심점을 의미할 수 있다.
정보 제공 차량(Vs)은 카메라 좌표계의 중심으로부터 목표 지점으로의 방향 벡터를 획득할 수 있다. 정보 제공 차량 좌표계 기준 카메라의 위치 및 자세각에 대한 카메라 외부 파라미터를 이용하면, 정보 제공 차량(Vs)은 획득된 방향 벡터를 정보 제공 차량 좌표계를 기준으로 변환할 수 있다.
주행 차량과 정보 제공 차량(Vs)이 동일 평면 상을 주행 중이라고 가정할 경우, 획득되는 방향 벡터는 지면과 만나는 주행 차량의 후면을 향할 수 있다. 따라서, 정보 제공 차량(Vs)은 방향 벡터와 지면에 대한 평면의 3차원 교점을 구함으로써, 주행 차량의 상대 위치 정보를 획득할 수 있다.
또한, 정보 제공 차량(Vs)은 관심 영역의 동일 모서리에 존재하는 두 개의 꼭지점을 이용하여 주행 차량의 방향을 추정할 수도 있다. 예를 들어, 주행 차량이 전방 차량인 경우, 정보 제공 차량(Vs)은 관심 영역 하단의 양 끝점에 대한 3차원 위치를 구함으로써 주행 차량의 방향을 추정할 수 있다.
이와 같은 상대 위치 정보에는 오차가 존재하므로, 정보 제공 차량(Vs)은 모델링을 통해 Gaussian Distribution을 획득할 수 있다. 구체적으로, 정보 제공 차량(Vs)은 수학식 1에 따라 주행 차량의 상대 위치 정보의 평균(Mean) 및 공분산(Covariance)를 획득할 수 있다.
Figure PCTKR2019015283-appb-M000001
여기서, PS,F는 주행 차량의 상대 위치 정보 중 상대 위치 좌표를 의미하고, CS,F는 주행 차량의 상대 위치 정보 중 상대 공분산을 의미할 수 있다.
도 4에서는 상대 좌표계 Ms의 원점으로부터 주행 차량 Vf을 향하는 벡터 V1과 그에 따른 공분산 영역 Sf가 예시된다. 즉, 상술한 수학식 1에 따른 주행 차량 Vf의 상대 위치 정보는 공분산 영역 Sf 내의 복수의 위치에서 확률로서 존재할 수 있다.
그 다음, 정보 제공 차량(Vs)은 차량의 절대 위치 정보를 기초로 주행 차량의 절대 위치 정보를 획득할 수 있다(S110). 여기서, 절대 위치 정보란 절대 좌표계를 기준으로 하는 위치 정보를 의미할 수 있다.
정보 제공 차량(Vs)은 GPS 기반 위치 정보를 절대 위치로서 획득할 수 있다. 상술한 바와 같이, GPS 위성으로부터 수신된 위성 신호는 절대 좌표계를 기준으로 하는 GPS 모듈의 3차원 위치 좌표를 포함하므로, 정보 제공 차량(Vs)은 위성 신호로부터 절대 위치 정보를 획득할 수 있다.
또한, 위성 신호의 오차를 고려하여, 정보 제공 차량(Vs)은 정밀 지도를 함께 이용할 수도 있다. 여기서, 정밀 지도란 안전하고 정밀한 차량 제어를 위해 높은 정확도를 가지며, 도로의 평면 위치뿐만 아니라 고도, 경사, 곡률 등에 대한 정보를 포함하는 지도를 의미할 수 있다. 일 실시예에 따른 정밀 지도는 적어도 차선이 구분 표시되고, 추가적으로 표지판, 신호등, 가드레일과 같은 도로 시설물 등을 포함할 수 있다.
이를 위해, 정보 제공 차량(Vs)은 주변 영상으로부터 특징점을 추출할 수 있다. 특징점이 추출되면, 정보 제공 차량(Vs)은 GPS 기반 위치 정보에 대응되는 정밀 지도 영역 내 랜드마크를 추출된 주변 영상의 특징점과 매칭함으로써 보다 정확한 절대 위치 정보를 획득할 수 있다.
상술한 방법을 통해 획득된 정보 제공 차량(Vs)의 절대 위치 정보는 수학식 2에 따라 표현될 수 있다.
Figure PCTKR2019015283-appb-M000002
여기서, PW,S는 정보 제공 차량(Vs)의 절대 위치 정보 중 절대 위치 좌표를 의미하고, CW,S는 정보 제공 차량(Vs)의 절대 위치 정보 중 절대 공분산을 의미할 수 있다.
그 다음, 정보 제공 차량(Vs)은 차량의 절대 위치 정보를 기초로 주행 차량의 절대 위치 정보를 획득할 수 있다. 이하에서는 도 5를 참조하여 주행 차량의 절대 위치 정보를 획득하는 방법을 설명한다.
도 5는 본 발명의 일 실시예에 따른 정보 제공 차량이 주행 차량의 절대 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
정보 제공 차량(Vs)은 절대 위치 정보를 기초로 주행 차량의 절대 위치 정보를 획득할 수 있다. 이 때, 정보 제공 차량(Vs)의 절대 위치 정보 및 주행 차량의 상대 위치 정보에는 오차가 존재하므로, 정보 제공 차량(Vs)은 주행 차량의 절대 위치 정보를 Gaussian Distribution으로 모델링할 수 있다. 구체적으로, 정보 제공 차량(Vs)은 수학식 3에 따라 주행 차량의 절대 위치 정보의 평균(Mean) 및 공분산(Covariance)를 획득할 수 있다.
Figure PCTKR2019015283-appb-M000003
여기서, [xW,F yW,F θW,F]T 는 주행 차량의 절대 위치 정보 중 절대 위치 좌표를 의미하고, CW,F는 주행 차량의 절대 위치 정보 중 절대 공분산을 의미할 수 있다. 또한, R(θ)는 절대 좌표계로부터 차량의 상대 좌표계로 변환하기 위한 회전 변환 행렬을 의미하고, JW,S는 차량의 절대 위치 정보에 대한 자코비안(Jacobian) 행렬을 의미하고, JS,F는 주행 차량의 상대 위치 정보에 대한 자코비안 행렬을 의미할 수 있다.
도 5에서는 상대 좌표계 Ms의 원점으로부터 주행 차량 Vf을 향하는 벡터 V1과 그에 따른 공분산 영역 Sf가 예시되고, 절대 좌표계 MW의 원점으로부터 정보 제공 차량 좌표계의 원점을 향하는 벡터 V2와 그에 따른 공분산 영역 SS 및 절대 좌표계 MW의 원점으로부터 주행 차량 Vf를 향하는 벡터 V3가 예시된다. 즉, 상술한 수학식 2에 따른 주행 차량 Vf의 절대 위치 정보는 공분산 영역 Sf 내의 복수의 위치에서 확률로서 존재할 수 있다.
주행 차량의 절대 위치 정보를 획득한 후, 정보 제공 차량(Vs)은 주변 영상으로부터 주행 차량에 대한 속성 정보를 추출할 수 있다(S120). 여기서, 속성 정보란 주행 차량의 식별에 이용할 수 있도록 주변 영상으로부터 추출 가능한 모든 정보를 의미할 수 있다. 일 실시예에 따른 속성 정보는 주행 차량의 번호판에 대한 제 1 속성 정보, 및 주행 차량의 크기, 차종, 색상 등 번호판 이외의 속성에 대한 제 2 속성 정보를 포함할 수 있다. 구체적으로, 정보 제공 차량(Vs)은 복수의 시점 각각의 주변 영상 내 설정된 관심 영역으로부터 속성 정보를 추출할 수 있다.
그 다음, 정보 제공 차량(Vs)은 복수의 시점 각각에서 추출된 속성 정보를 누적하여, 속성 정보에 대한 확률 정보를 포함하는 식별 정보를 획득할 수 있다(S130). 이하에서는 도 6을 참조하여 주행 차량의 식별 정보를 획득하는 방법을 설명한다.
도 6은 본 발명의 일 실시예에 따른 정보 제공 차량이 주행 차량의 식별 정보를 획득하는 방법을 설명하기 위한 도면이다.
식별 정보 획득을 위해, 정보 제공 차량(Vs)은 먼저 동일 주행 차량에 대한 관심 영역을 그룹핑(Grouping)할 수 있다. 이를 위해, 일 실시예에 따른 정보 제공 차량(Vs)은 인접하는 시점의 주변 영상 사이의 관심 영역의 중첩 비율을 기초로 해당 관심 영역이 동일 주행 차량에 대한 것인지 여부를 판단할 수 있다.
도 6을 참조하면, t-1 시점에 획득된 주변 영상 It-1과 t 시점에 획득된 주변 영상 It를 중첩할 때, 주변 영상 It-1 내의 관심 영역 G1,t-1과 주변 영상 It 내의 관심 영역 G1,t가 소정의 중첩 영역을 가짐을 확인할 수 있다. 마찬가지로, 주변 영상 It-1 내의 관심 영역 G2,t-1과 주변 영상 It 내의 관심 영역 G2,t가 소정의 중첩 영역을 가짐을 확인할 수 있다. 동일 주행 차량이라면 인접하는 주변 영상 내 비슷한 위치에 존재할 확률이 높기 때문에, 정보 제공 차량(Vs)은 동일 주행 차량에 대한 관심 영역이라 판단할 수 있다.
또한, 다른 실시예에 따른 정보 제공 차량(Vs)은 인접하는 시점의 주변 영상 내 관심 영역의 크기, 및/또는 텍스쳐(Texture)를 비교하여 동일 주행 차량에 대한 것인지 여부를 판단하거나, 정보 제공 차량(Vs)의 주행 속도를 기초로 다음 시점에서의 관심 영역의 위치를 예상함으로써 동일 주행 차량에 대한 것인지 여부를 판단할 수도 있다.
만약, 인접하는 시점의 주변 영상 내 관심 영역이 동일 주행 차량에 대한 것이라고 판단되면, 정보 제공 차량(Vs)은 인접하는 시점에서 동일 주행 차량을 나타내는 관심 영역들을 그룹핑할 수 있다. 예컨대, 도 6을 참조하면, 관심 영역 G1,t-1과 관심 영역 G1,t가 동일한 주행 차량에 대한 것이라고 판단한 경우, 정보 제공 차량(Vs)은 관심 영역 G1,t-1과 관심 영역 G1,t를 제 1 그룹 G1으로 그룹핑하고, 관심 영역 G2,t-1과 관심 영역 G2,t가 동일한 주행 차량에 대한 것이라고 판단한 경우, 정보 제공 차량(Vs)은 관심 영역 G2,t-1과 관심 영역 G2,t을 제 2 그룹 G2로 그룹핑될 수 있다.
그 다음, 정보 제공 차량(Vs)은 그룹핑된 관심 영역으로부터 추출된 속성 정보를 누적하여 그룹핑된 관심 영역 내 주행 차량이 속성 정보를 가질 확률 정보를 포함하는 식별 정보를 획득할 수 있다. 여기서, 속성 정보란 주행 차량을 식별하는데 이용할 수 있는, 주변 영상으로부터 추출 가능한 모든 정보를 의미할 수 있다. 일 실시 예에 따른 속성 정보는 주행 차량의 번호판, 크기, 차종, 색상 등에 대한 정보를 포함할 수 있다. 구체적으로, 정보 제공 차량(Vs)은 그룹핑된 관심 영역으로부터 추출된 속성 정보의 개수를 누적하여, 그 중 누적량이 가장 많은 속성 정보를 주행 차량의 속성 정보로 선택할 수 있다.
또한, 정보 제공 차량(Vs)은 주행 차량이 선택된 속성 정보를 가질 확률에 대한 확률 정보를 획득할 수 있다. 구체적으로, 정보 제공 차량(Vs)은 주행 차량이 선택된 속성 정보를 가질 확률 정보 W_속성을 수학식 4에 따라 획득할 수 있다.
Figure PCTKR2019015283-appb-M000004
여기서, N_best는 속성 정보의 최대 누적량을 의미하고, N_total은 속성 정보의 전체 누적량을 의미할 수 있다.
이를 통해, 정보 제공 차량(Vs)은 식별 정보로서 가장 확률이 높은 속성 정보 및 해당 속성 정보를 가질 확률 정보를 획득할 수 있다.
마지막으로, 정보 제공 차량(Vs)은 주행 차량의 절대 위치 정보 및 식별 정보를 위치 추정 장치(100)로 전송할 수 있다(S140).
지금까지는, 정보 제공 차량(Vs)에 의해 수행되는 위치 추정 방법에 대해 설명하였다. 이하에서는, 위치 추정 장치(100)에 의해 수행되는 위치 추정 방법에 대하여 설명한다.
도 7는 본 발명의 일 실시예에 따른 위치 추정 장치에 의해 수행되는 위치 추정 방법의 흐름도이다.
먼저, 위치 추정 장치(100)는 통신부(110)를 통해 정보 제공 차량(Vs)으로부터 주행 차량에 대한 식별 정보 및 절대 위치 정보를 수신할 수 있다(S200). 이 때, 위치 추정 장치(100)는 복수의 정보 제공 차량(Vs)으로부터 복수의 주행 차량에 대한 복수의 식별 정보 및 절대 위치 정보를 수신할 수 있다.
그 다음, 위치 추정 장치(100)는 가중치 획득부(120)를 통해 식별 정보를 기초로 위치 정보에 대한 가중치를 획득할 수 있다. 구체적으로, 가중치 획득부(120)는 먼저 수신된 식별 정보 중 번호판에 대한 제 1 식별 정보를 기초로 번호판 이외의 제 2 식별 정보를 그룹핑 할 수 있다. 예를 들어, 가중치 획득부(120)는 번호판에 대한 '1111'의 제 1 식별 정보를 가지는 식별 정보의 제 2 식별 정보를 그룹핑할 수 있다.
제 2 식별 정보가 그룹핑되면, 가중치 획득부(120)는 그룹핑된 제 2 식별 정보를 누적하여 위치 정보에 대한 가중치를 획득할 수 있다. 상술한 예를 따를 경우, '1111'의 제 1 식별 정보를 가지는 식별 정보의 크기, 색상, 차종 등에 대한 제 2 식별 정보를 누적할 수 있다. 이 때, 누적되는 제 2 식별 정보는 크기, 색상, 차종 등에 대한 속성 정보 별로 주행 차량이 해당 속성 정보를 가질 확률을 의미할 수 있다. 예를 들어, 주행 차량의 크기에 대한 2X2의 속성 정보와 이에 대한 확률 정보 0.7이 존재하는 경우, 크기에 대한 2X2의 속성 정보를 가지는 수신된 모든 식별 정보의 확률 정보에 0.7이 누적될 수 있다.
그 다음, 가중치 획득부(120)는 속성 정보 별로 누적된 확률 정보를 곱하여 가중치를 획득할 수 있다. 만약, 속성 정보가 주행 차량의 크기, 색상, 차종에 대한 것인 경우, 가중치 획득부(120)는 수학식 5에 따라 가중치 W_total를 획득할 수 있다.
Figure PCTKR2019015283-appb-M000005
여기서, W_크기는 크기에 대한 속성 정보에 대하여 누적된 확률 정보를 의미하고, W_색상는 색상에 대한 속성 정보에 대하여 누적된 확률 정보를 의미하고, W_차종는 차종에 대한 속성 정보에 대하여 누적된 확률 정보를 의미할 수 있다.
이 때, 가중치 획득부(120)는 수학식 5를 적용하기에 앞서, 속성 정보 별로 누적된 확률 정보를 합이 1이 되도록 정규화할 수도 있다.
가중치를 획득한 후, 위치 추정 장치(100)는 격자 지도 생성부(130)를 통해 가중치가 적용된 위치 정보를 이용하여 주행 차량의 복수의 시점 각각에 대한 확률 격자 지도를 생성할 수 있다(S220). 여기서, 확률 격자 지도란 특정 시점에서 복수의 격자 각각에 주행 차량이 위치할 확률 정보가 누적된 지도를 의미할 수 있다.
이하에서는 도 8 및 9을 참조하여, 확률 격자 지도를 생성하는 방법을 설명한다.
도 8은 본 발명의 일 실시예에 따른 위치 추정 장치에 의해 생성되는 확률 격자 지도를 예시한 도면이고, 도 9는 본 발명의 일 실시예에 따른 위치 추정 장치에 의해 획득되는 인접 시점에서의 위치에 대한 확률 분포를 예시한 도면이다.
먼저, 격자 지도 생성부(130)는 특정 시점에 대응되는 수신된 위치 정보 중 확률 정보에 가중치를 적용할 수 있다. 이 때, 수신된 위치 정보는 정보 제공 차량(Vs)에 의해 획득된 주행 차량의 위치 좌표 및 주행 차량이 추정된 위치 좌표에 위치할 확률 정보를 포함할 수 있다.
그 다음, 격자 지도 생성부(130)는 수신된 위치 정보 중 위치 좌표에 대응되는 격자에 가중치가 적용된 확률 정보를 누적할 수 있다. 이 때, 격자 지도 생성부(130)는 수학식 3에 따른 Gaussian Distribution에서의 소정의 임계 확률 이내의 위치 정보만을 이용하여 확률 격자 지도를 생성할 수 있다. 도 8에서는 소정 임계 확률이 90%일 때의 공분산 영역 Sf가 도시되는 확률 격자 지도 Cm을 예시한다.
이 때, Gaussian Distribution은 연속적인 반면, 확률 격자 지도는 불연속인 바, 격자 지도 생성부(130)는 각각의 격자에 대응되는 Gaussian Distribution PDF(Probability Density Function)를 적분한 값에 가중치를 적용하여 누적할 수도 있다.
또한, 격자 지도 생성부(130)는 매 시점에서의 확률 격자 지도를 생성하므로, 확률 격자 지도는 절대 좌표계 기준 xW축 및 yW축과 함께 시간 t축을 가질 수 있다. 도 8에서도 확률 격자 지도가 xW축 및 yW축과 함께 시간 t축을 따르고 있음을 확인할 수 있다.
나아가, 격자 지도 생성부(130)는 인접 시점 사이의 간격에 따른 정보 제공 차량(Vs)의 추정 이동 거리에 기초하여, 인접 시점에 대한 확률 격자 지도를 갱신할 수도 있다. 여기서, 추정 이동 거리란 정보 제공 차량(Vs)이 주행 중인 도로의 교통 상황, 정보 제공 차량(Vs)이 주행 중인 도로를 함께 주행하는 복수의 차량의 주행 속도 등을 기초로 추정되는 정보 제공 차량(Vs)의 이동 거리를 의미할 수 있고, 외부 장치로부터 입력되거나, 위치 추정 장치(100) 내부 연산에 의해 결정될 수 있다.
구체적으로, 격자 지도 생성부(130)는 수학식 6에 따라 제 1 시점 t1에 대응되는 위치 정보를 이용하여 인접한 제 2 시점 t2에서의 위치 정보를 획득할 수 있다.
Figure PCTKR2019015283-appb-M000006
여기서, [xt2 yt2]T는 제 2 시점 t2에서의 위치 좌표를 의미하고, [xt1 yt1]T는 제 1 시점 t1에서의 위치 좌표를 의미하고, Ct2는 제 2 시점 t2에서의 공분산을 의미하고, Ct1는 제 1 시점 t1에서의 공분산을 의미하고, σt1,t2는 추정 이동 거리 D와 Tuning Parameter인 k의 곱을 의미할 수 있다.
도 9에서는 시점 t에서 획득한 위치 정보에 따른 공분산 영역 St 및 이에 인접하는 시점에서의 공분산 영역이 예시된다. 구체적으로, 시점 t에 인접한 시점 t-1 및 t+1에 대한 공분산 영역 St-1, t+1은 시점 t에 대한 공분산 영역 St 를 중심으로 보다 넓은 영역을 가짐을 확인할 수 있다. 또한, 시점 t-2 및 t+2에 대한 공분산 영역 St-2, t+2은 시점 t에 대한 공분산 영역 St과 시점 t-1 및 t+1에 대한 공분산 영역 St-1, t+1의 외측으로 확장되어 형성될 수 있다. 이와 유사하게, 시점 t-3 및 t+3에 대한 공분산 영역 St-3, t+3은 시점 t에 대한 공분산 영역 St과 시점 t-1 및 t+1에 대한 공분산 영역 St-1, t+1 및 시점 t-2 및 t+2에 대한 공분산 영역 St-2, t+2은 외측으로 확장되어 형성됨을 확인할 수 있다.
이처럼, 특정 시점의 위치 정보을 이용하여 인접 시점의 위치 정보를 추정하는 경우, 공분산 영역이 확대되어 형성됨을 확인할 수 있다.
다시 도 7을 참조하면, 위치 추정 장치(100)는 위치 추정부(140)를 통해 확률 격자 지도를 기초로 주행 차량의 경로를 생성할 수 있다(S230). 일 실시예에 따른 위치 추정부(140)는 각 시점의 확률 격자 지도 중 주행 차량이 존재할 확률이 가장 높은 격자를 연결하여 주행 차량의 경로를 생성할 수 있다.
그러나, 격자에 누적된 확률에 오차가 존재할 가능성이 있으므로, 위치 추정부(140)는 동적 계획법(Dynamic Programming)과 같은 방법을 이용할 수 있다. 다른 실시예에 따른 위치 추정부(140)는 먼저 확률 격자 지도를 기초로 주행 차량의 후보 주행 경로를 탐색할 수 있다. 여기서, 후보 주행 경로란 복수의 확률 격자 지도 각각에서 임계 확률 이상의 격자 중 어느 하나로 구성되는 경로를 의미하고, 임계 확률이란 주행 차량의 존재할 가능성이 있는 최저 확률을 의미할 수 있다. 일 실시예에 따른 위치 추정부(140)는 가능한 모든 후보 경로를 탐색할 수 있고, 이와는 달리 가능한 모든 후보 경로 중 임의의 개수만큼 무작위로 탐색할 수도 있다.
그 다음, 위치 추정부(140)는 후보 경로 상에서 인접 시점 간 주행 차량의 위치 변화량 및 각 시점에서의 주행 차량이 위치할 확률의 총 합을 기초로, 탐색된 후보 주행 경로 중 어느 하나를 주행 경로로 결정할 수 있다. 구체적으로, 위치 추정부(140)는 후보 경로 상에서 인접 시점 간 주행 차량의 위치 변화량을 최소화하면서도, 후보 경로를 구성하는 각 격자에 누적된 확률의 총 합이 최대가 되는 후보 경로를 주행 경로로 결정할 수 있다.
마지막으로, 위치 추적 장치는 위치 추정부(140)를 통해 주행 경로를 기초로 주행 차량의 최종 위치를 추정할 수 있다(S240). 구체적으로, 위치 추정부(140)는 주행 경로의 마지막 시점의 위치를 주행 차량의 위치로 추정할 수 있다.
다시 도 1을 참조하면, 위치 추정 장치(100)는 외부 장치 또는 사용자로부터 요청이 있을 경우, 확률 격자 지도에 대응되는 히트 맵(Heat Map)을 생성하여 제공할 수도 있다. 여기서, 히트 맵은 미리 정해진 시간 구간 동안 각각의 격자에 대한 확률의 적분 값을 대응 컬러로 표현한 맵을 의미할 수 있다. 이 때, 위치 추정 장치(100)는 설정된 시간 구간 중 현 시점으로부터 먼 시점에 대한 확률에는 낮은 가중치를 적용하고, 현 시점으로부터 가까운 시점에 대한 확률에는 높은 가중치를 적용하여 적분할 수 있다.
위치 추정 장치(100)는 외부 장치 또는 사용자로부터 특정 시간 구간에 대한 히트 맵 제공 요청이 입력되면, 해당 시간 구간에서의 각 격자 별 확률 적분 값을 구하고, 이에 대응되는 컬러를 각 격자에 표시할 수 있다. 예를 들어, 위치 추정 장치(100)는 확률이 높은 격자가 붉은색으로 표시되고, 확률이 낮은 격자가 파란색으로 표시되는 히트 맵을 제공할 수 있다. 이를 통해 사용자는 주행 차량의 특정 시간 구간에서의 위치를 시각적이고 직관적으로 판단할 수 있다.
상술한 차량의 위치 추정 장치, 및 방법은, 본 발명의 일 실시예에 따른 차량의 위치 추정 장치 및 방법은, 정보 제공 차량에서 주행 차량의 속성 정보를 누적하여 속성 정보에 대한 확률 정보를 획득하고, 위치 추정 장치에서 속성 정보에 대한 확률 정보를 기초로 결정된 가중치를 주행 차량의 위치 정보에 적용하므로, 주행 차량에 대한 위치 추정의 정확도를 높일 수 있다.
구체적으로, 해상도가 낮은 카메라에 의해 획득된 주변 영상으로부터 번호판에 대한 속성 정보를 추정하는 경우, 주행 차량의 식별 정확도가 낮아질 수 있다. 반면, 본 발명의 일 실시에에 따른 차량의 위치 추정 장치 및 방법은 번호판 이외의 속성에 대한 속성 정보를 확률적으로 고려하므로, 낮은 해상도에 따른 오인식의 가능성을 낮출 수 있다.
한편, 상술한 일 실시예에 따른 차량의 위치 추정 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램 및 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 차량의 위치 추정장치, 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.

Claims (15)

  1. 정보 제공 차량으로부터 상기 정보 제공 차량 주변의 주행 차량에 대한 식별 정보 및 위치 정보를 수신하는 통신부;
    상기 수신된 식별 정보를 기초로 상기 위치 정보의 정확도를 나타내는 가중치를 획득하는 가중치 획득부; 및
    상기 가중치가 적용된 상기 위치 정보를 이용하여 상기 주행 차량의 최종 위치를 추정하는 위치 추정부를 포함하는
    차량의 위치 추정 장치.
  2. 제 1 항에 있어서,
    상기 가중치 획득부는,
    상기 식별 정보 중 제1 식별 정보를 기준으로 상기 제1 식별 정보 이외의 제2 식별 정보를 그룹핑하고,
    상기 제2 식별 정보를 누적하여 상기 가중치를 획득하는
    차량의 위치 추정 장치.
  3. 제 1 항에 있어서,
    상기 가중치 획득부는,
    상기 수신된 식별 정보 중 상기 주행 차량의 식별에 이용되는 제 1 속성 정보에 대한 제 1 식별 정보를 기초로 상기 제 1 속성 정보 이외에 상기 주행 차량의 식별에 이용되는 제 2 속성 정보에 대한 제 2 식별 정보를 그룹핑(Grouping)하고,
    상기 그룹핑된 제 2 식별 정보를 누적하여 상기 가중치를 획득하는
    차량의 위치 추정 장치.
  4. 제 3 항에 있어서,
    상기 식별 정보는,
    상기 제 1 속성 정보, 상기 제 1 속성 정보에 대한 제 1 확률 정보, 상기 제 2 속성 정보, 및 상기 제 2 속성 정보에 대한 제 2 확률 정보를 포함하고,
    상기 가중치 획득부는,
    상기 그룹핑된 제 2 식별 정보 중 상기 제 2 확률 정보를 상기 제 2 속성 정보 별로 누적하고,
    상기 제 2 속성 정보 별로 누적된 상기 제 2 확률 정보를 곱하여 상기 가중치를 획득하는
    차량의 위치 추정 장치.
  5. 제 1 항에 있어서,
    상기 가중치가 적용된 상기 위치 정보를 이용하여 상기 주행 차량의 복수의 시점 각각에 대한 확률 격자 지도를 생성하는 격자 지도 생성부를 더 포함하는
    차량의 위치 추정 장치.
  6. 제 5 항에 있어서,
    상기 확률 격자 지도는,
    제 1 시점에서 복수의 격자 각각에 상기 주행 차량이 위치할 확률 정보가 누적되고,
    상기 위치 정보는,
    상기 정보 제공 차량에 의해 획득된 상기 주행 차량의 위치 좌표 및 상기 주행 차량이 상기 추정된 위치 좌표에 위치할 제 3 확률 정보를 포함하고,
    상기 격자 지도 생성부는,
    상기 제 1 시점에 대응되는 상기 수신된 위치 정보 중 상기 제 3 확률 정보에 상기 가중치를 적용하고,
    상기 수신된 위치 정보 중 상기 위치 좌표에 대응되는 격자에 상기 가중치가 적용된 상기 제 3 확률 정보를 누적하는
    차량의 위치 추정 장치.
  7. 제 6 항에 있어서,
    상기 격자 지도 생성부는,
    상기 제 1 시점 및 상기 제 1 시점에 인접한 제 2 시점 사이의 시간 간격에 따른 상기 정보 제공 차량의 추정 이동 거리에 기초하여, 상기 제 2 시점에 대한 상기 확률 격자 지도를 갱신하는
    차량의 위치 추정 장치.
  8. 제 5 항에 있어서,
    상기 위치 추정부는,
    상기 확률 격자 지도를 이용하여 상기 주행 차량의 주행 경로를 결정하고, 상기 결정된 주행 경로를 기초로 상기 주행 차량의 최종 위치를 추정하는
    차량의 위치 추정 장치.
  9. 제 8 항에 있어서,
    상기 위치 추정부는,
    상기 확률 격자 지도를 기초로 상기 주행 차량의 후보 주행 경로를 탐색하고,
    상기 후보 경로 상에서 인접 시점 간 상기 주행 차량의 위치 변화량 및 각 시점에서의 상기 주행 차량이 위치할 확률의 총 합을 기초로, 상기 탐색된 후보 주행 경로 중 어느 하나를 상기 주행 경로로 결정하고,
    상기 주행 경로의 마지막 시점의 위치를 상기 주행 차량의 상기 최종 위치로 추정하는
    차량의 위치 추정 장치.
  10. 정보 제공 차량에 마련된 카메라에 의해 복수의 시점마다 획득된 주변 영상으로부터 상기 정보 제공 차량 좌표계를 기준으로 주행 차량의 상대 위치 정보를 획득하는 단계;
    절대 좌표계 기준 상기 정보 제공 차량의 절대 위치 정보를 기초로 상기 주행 차량의 절대 위치 정보를 획득하는 단계;
    상기 주변 영상으로부터 상기 주행 차량에 대한 속성 정보를 추출하는 단계;
    상기 복수의 시점 각각에서 추출된 상기 속성 정보를 누적하여 상기 속성 정보를 가질 확률 정보를 포함하는 식별 정보를 획득하는 단계; 및
    상기 주행 차량의 절대 위치 정보 및 식별 정보를 위치 추정 장치로 전송하는 단계를 포함하는
    차량의 위치 추정 방법.
  11. 제 10 항에 있어서,
    상기 주행 차량의 상대 위치 정보를 획득하는 단계는,
    상기 주변 영상 내 상기 주행 차량을 포함하는 관심 영역을 설정하는 단계;
    상기 관심 영역의 경계 내 목표 지점으로의 방향 벡터를 획득하는 단계; 및
    상기 획득된 방향 벡터와 지면에 대한 평면의 교점의 좌표를 상기 주행 차량의 상대 위치 정보로서 획득하는 단계를 포함하는
    차량의 위치 추정 방법.
  12. 제 10 항에 있어서,
    상기 속성 정보를 추출하는 단계는,
    상기 복수의 시점 각각의 주변 영상 내 상기 주행 차량을 포함하는 관심 영역으로부터 속성 정보를 추출하는 차량의 위치 추정 방법.
  13. 제 12 항에 있어서,
    상기 속성 정보를 획득하는 단계는,
    상기 인접하는 시점의 주변 영상 사이의 상기 관심 영역의 중첩 비율, 상기 관심 영역의 크기, 상기 관심 영역의 텍스쳐(Texture) 정보, 및 상기 정보 제공 차량의 주행 속도 중 적어도 하나를 기초로 상기 관심 영역을 그룹핑(Grouping)하는 단계; 및
    상기 그룹핑된 관심 영역으로부터 추출된 상기 속성 정보를 누적하여 상기 그룹핑된 관심 영역 내 상기 주행 차량이 상기 속성 정보를 가질 확률 정보를 포함하는 식별 정보를 획득하는 단계를 포함하는
    차량의 위치 추정 방법.
  14. 제 10 항 내지 제 13 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는, 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  15. 제 10 항 내지 제 13 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
PCT/KR2019/015283 2018-11-09 2019-11-11 차량의 위치 추정 장치 및 방법 Ceased WO2020096437A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980065118.3A CN112789208B (zh) 2018-11-09 2019-11-11 用于估计交通工具位置的设备和方法
US17/188,242 US11898851B2 (en) 2018-11-09 2021-03-01 Apparatus and method for estimating location of vehicle
US18/513,510 US20240094008A1 (en) 2018-11-09 2023-11-18 Apparatus And Method For Estimating Location Of Vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0137424 2018-11-09
KR1020180137424A KR102604821B1 (ko) 2018-11-09 2018-11-09 차량의 위치 추정 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/188,242 Continuation-In-Part US11898851B2 (en) 2018-11-09 2021-03-01 Apparatus and method for estimating location of vehicle

Publications (1)

Publication Number Publication Date
WO2020096437A1 true WO2020096437A1 (ko) 2020-05-14

Family

ID=70611055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015283 Ceased WO2020096437A1 (ko) 2018-11-09 2019-11-11 차량의 위치 추정 장치 및 방법

Country Status (4)

Country Link
US (2) US11898851B2 (ko)
KR (2) KR102604821B1 (ko)
CN (1) CN112789208B (ko)
WO (1) WO2020096437A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102233260B1 (ko) * 2018-10-02 2021-03-29 에스케이텔레콤 주식회사 정밀 지도 업데이트 장치 및 방법
US20220245831A1 (en) * 2021-01-29 2022-08-04 Naver Corporation Speed estimation systems and methods without camera calibration
US12530784B2 (en) 2021-07-01 2026-01-20 Naver Corporation Vehicle speed estimation systems and methods
KR20230014344A (ko) * 2021-07-21 2023-01-30 현대모비스 주식회사 차량의 주변 환경 모니터링 장치 및 방법
DE102021214113A1 (de) * 2021-12-10 2023-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bereitstellen einer Fahrstrategie für ein automatisiertes Fahrzeug für einen vorgegebenen Bereich
US12100189B2 (en) * 2021-12-14 2024-09-24 Ford Global Technologies, Llc Three-dimensional object detection
JP2025039179A (ja) * 2023-09-08 2025-03-21 株式会社デンソー 車両位置推定装置および車両位置推定システム、車両位置推定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101690050B1 (ko) * 2015-10-30 2016-12-27 한국과학기술연구원 지능형 영상보안 시스템 및 객체 추적 방법
KR101848019B1 (ko) * 2016-12-27 2018-04-11 아주대학교산학협력단 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
US20180165960A1 (en) * 2016-12-14 2018-06-14 Hyundai Motor Company Apparatus and method for estimating position of vehicle
KR20180069501A (ko) * 2016-12-15 2018-06-25 현대자동차주식회사 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법
KR20180114729A (ko) * 2017-04-11 2018-10-19 한양대학교 산학협력단 V2v/v2i를 이용하는 차량의 위치 추정 방법

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218367A (en) * 1992-06-01 1993-06-08 Trackmobile Vehicle tracking system
US9919723B2 (en) * 2002-06-04 2018-03-20 General Electric Company Aerial camera system and method for determining size parameters of vehicle systems
US20090140887A1 (en) * 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles
JP2011232818A (ja) * 2010-04-23 2011-11-17 Toyota Motor Corp 先行車検出装置
US12124271B2 (en) * 2011-07-06 2024-10-22 Peloton Technology, Inc. Gap measurement for vehicle convoying
EP2562681B1 (de) * 2011-08-25 2014-08-13 Delphi Technologies, Inc. Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
US20130278441A1 (en) * 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying
US9489839B2 (en) * 2012-08-06 2016-11-08 Cloudparc, Inc. Tracking a vehicle using an unmanned aerial vehicle
US8830322B2 (en) * 2012-08-06 2014-09-09 Cloudparc, Inc. Controlling use of a single multi-vehicle parking space and a restricted location within the single multi-vehicle parking space using multiple cameras
US9171382B2 (en) * 2012-08-06 2015-10-27 Cloudparc, Inc. Tracking speeding violations and controlling use of parking spaces using cameras
US20190050634A1 (en) * 2012-08-06 2019-02-14 Cloudparc, Inc. Tolling with vehicle tracking
CN103077384B (zh) * 2013-01-10 2016-08-31 北京万集科技股份有限公司 一种车标定位识别的方法与系统
WO2014152470A2 (en) * 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
KR20150053073A (ko) * 2013-11-07 2015-05-15 현대자동차주식회사 차량 거리 검출 장치와 이를 수행하는 차량 거리 검출 장치 및 차량 거리 검출 시스템
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
KR101584693B1 (ko) 2014-05-23 2016-01-14 경북대학교 산학협력단 카메라 파라미터 측정 장치 및 그 방법
US10442355B2 (en) * 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US9715827B2 (en) * 2015-04-01 2017-07-25 Misapplied Sciences, Inc. Multi-view traffic signage
CN105574542A (zh) * 2015-12-15 2016-05-11 中国北方车辆研究所 基于多传感器融合的多视觉特征车辆检测方法
KR102655800B1 (ko) * 2016-09-19 2024-04-09 현대자동차주식회사 차량 및 장애물 검출 방법
US10430641B2 (en) * 2017-03-08 2019-10-01 GM Global Technology Operations LLC Methods and systems for object tracking using bounding boxes
US10195992B2 (en) * 2017-04-03 2019-02-05 Ford Global Technologies, Llc Obstacle detection systems and methods
CN107480638B (zh) * 2017-08-16 2020-06-30 北京京东尚科信息技术有限公司 车辆避障方法、控制器、装置和车辆
US20190146508A1 (en) * 2017-11-14 2019-05-16 Uber Technologies, Inc. Dynamic vehicle routing using annotated maps and profiles
CN108614262A (zh) * 2018-06-22 2018-10-02 安徽江淮汽车集团股份有限公司 一种车辆前方目标物检测方法及系统
EP3604065B1 (en) * 2018-08-01 2020-11-04 Hitachi Automotive Systems, Ltd. Vehicle travelling control apparatus
CN112601686B (zh) * 2018-08-14 2025-08-08 御眼视觉技术有限公司 具有安全距离的导航的系统和方法
US10816635B1 (en) * 2018-12-20 2020-10-27 Autonomous Roadway Intelligence, Llc Autonomous vehicle localization system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101690050B1 (ko) * 2015-10-30 2016-12-27 한국과학기술연구원 지능형 영상보안 시스템 및 객체 추적 방법
US20180165960A1 (en) * 2016-12-14 2018-06-14 Hyundai Motor Company Apparatus and method for estimating position of vehicle
KR20180069501A (ko) * 2016-12-15 2018-06-25 현대자동차주식회사 차량 정밀 위치 추정 장치, 그 방법, 그를 위한 맵 구축 장치, 및 그를 위한 맵 구축 방법
KR101848019B1 (ko) * 2016-12-27 2018-04-11 아주대학교산학협력단 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
KR20180114729A (ko) * 2017-04-11 2018-10-19 한양대학교 산학협력단 V2v/v2i를 이용하는 차량의 위치 추정 방법

Also Published As

Publication number Publication date
US11898851B2 (en) 2024-02-13
KR20200053920A (ko) 2020-05-19
KR102601134B1 (ko) 2023-11-09
KR102604821B1 (ko) 2023-11-20
CN112789208A (zh) 2021-05-11
CN112789208B (zh) 2024-10-01
US20240094008A1 (en) 2024-03-21
KR20230121714A (ko) 2023-08-21
US20210183241A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
EP3967972B1 (en) Positioning method, device, and computer-readable storage medium
KR102601134B1 (ko) 차량의 위치 추정방법
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
CN111164967B (zh) 图像处理设备和图像处理方法
US20190278273A1 (en) Odometry system and method for tracking traffic lights
EP4089659A1 (en) Map updating method, apparatus and device
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
US11025865B1 (en) Contextual visual dataspaces
WO2020036295A1 (ko) 좌표계 변환 정보 획득 장치 및 방법
JPWO2020100922A1 (ja) データ配信システム、センサデバイス及びサーバ
CN112289036A (zh) 基于交通语义的场景式违章属性识别系统及方法
Matviienko et al. Quantified cycling safety: Towards a mobile sensing platform to understand perceived safety of cyclists
de Frías et al. Intelligent cooperative system for traffic monitoring in smart cities
WO2025122354A1 (en) Plausibility and consistency checkers for vehicle apparatus cameras
US12096113B2 (en) Information processing apparatus, information processing method, and program
JP2022056153A (ja) 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム
WO2020180076A1 (ko) 차량용 센서의 보정 정보 획득 장치 및 방법
CN115128566A (zh) 雷达数据确定电路及雷达数据确定方法
US20230290137A1 (en) Information processing apparatus, information processing method, and program
CN107463886A (zh) 一种双闪识别以及车辆避障的方法和系统
KR20240062380A (ko) 충돌 위험 예측 정보 제공 방법 및 그를 위한 장치 및 시스템
WO2023145436A1 (ja) 情報処理装置、路側機、交通支援システム、及び情報補足方法
CN113762030A (zh) 数据处理方法、装置、计算机设备及存储介质
CN111738051A (zh) 点云处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19882685

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19882685

Country of ref document: EP

Kind code of ref document: A1