EP4154166A1 - Verfahren, computer-implementiertes werkzeug, fahrzeug-steuerungseinheit und fahrzeug zum verorten von hindernisobjekten in landmarkengekennzeichneten fahrstreckenbereichen von fahrzeugen - Google Patents

Verfahren, computer-implementiertes werkzeug, fahrzeug-steuerungseinheit und fahrzeug zum verorten von hindernisobjekten in landmarkengekennzeichneten fahrstreckenbereichen von fahrzeugen

Info

Publication number
EP4154166A1
EP4154166A1 EP21746412.2A EP21746412A EP4154166A1 EP 4154166 A1 EP4154166 A1 EP 4154166A1 EP 21746412 A EP21746412 A EP 21746412A EP 4154166 A1 EP4154166 A1 EP 4154166A1
Authority
EP
European Patent Office
Prior art keywords
sensor measurement
landmark
sensor
measurement data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21746412.2A
Other languages
English (en)
French (fr)
Inventor
Frederik Deroo
Kristian Weiß
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Mobility GmbH
Original Assignee
Siemens Mobility GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Mobility GmbH filed Critical Siemens Mobility GmbH
Publication of EP4154166A1 publication Critical patent/EP4154166A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the invention relates to a method for locating obstacle objects in landmark-marked route areas of vehicles according to the preamble ff of patent claim 1, a computer-implemented tool for locating obstacle objects in landmark-marked route areas of vehicles according to the preamble ff of patent claim 9, a vehicle control unit for locating obstacle objects in landmark-marked route areas of vehicles according to the preamble ff of patent claim 16 and a vehicle for locating obstacle objects in landmark-marked route areas of vehicles according to the preamble ff of patent claim 17 .
  • autonomous driving When driving vehicles as a mobile means of transport for transporting people, goods, tools or machines - regardless of whether the driving is assisted, partially automated, highly automated, fully automated or autonomous (one then speaks collectively of "autonomous driving"), it is a fundamental one Function of such autonomous vehicles to avoid collisions with obstacle objects.
  • Such vehicles travel on land (as land vehicles), on water (as water vehicles) and/or in the air (as aircraft).
  • land vehicles land vehicles
  • water vehicles water vehicles
  • air air
  • only those vehicles of the type defined above are considered that move or are moved relative to routes marked with landmarks.
  • a landmark is a topographical object that is usually visible from afar for spatial orientation and terrestrial Navigation, which may be marked on maps by special map symbols. Because it is stored in the map, it is therefore a specific feature or topological object in the world that can be recognized by a vehicle, so that an association can be established between sensory recognition and the map.
  • the landmark may be a commonly occurring object such as a lamp post, a specially placed object such as reflective markers and/or QR ⁇ Quick Response> codes, or it may be a recognizable one resulting from recognition Patterns such as "Scale Invariant Feature Transform ⁇ SIFT>" features, cf. https://en.wikipedia.org/wiki/Scale-invariant feature transform.
  • a sensory detection of an obstacle object is necessary for collision avoidance and the detected obstacle object must be assigned to a critical area.
  • the critical area usually includes a lane or a route of the vehicle itself and possibly an area surrounding the lane or the route.
  • the critical area results from a combination of map material, ego localization or self-localization and planned route or route.
  • the present invention also speaks of a lane or route area with regard to collision avoidance and the sensory detection of the obstacle objects.
  • the assignment or localization of the obstacle object to a critical area is disturbed by various influencing factors. These are, for example: faulty extrinsic sensor calibration, faulty ego localization (self-localization), faulty map material, weaving on the track in rail vehicles, low horizontal and vertical angular resolution of the sensors, which is particularly relevant for large ranges.
  • a probabilistic fusion of data from multiple sensors is a way to reduce positional inaccuracies. In this way, the disadvantages of some sensors can be compensated for by the advantages of other sensors.
  • the vehicle locates itself.
  • Various information can be used, e.g. B. GPS information “Global Positioning System ⁇ GPS>”, sensor information (e.g. radar ⁇ Radio Detection and Ranging>, lidar ⁇ Light Detection and Ranging>, camera) and/or also landmark information from the map material.
  • GPS information “Global Positioning System ⁇ GPS>”
  • sensor information e.g. radar ⁇ Radio Detection and Ranging>, lidar ⁇ Light Detection and Ranging>, camera
  • landmark information from the map material.
  • z. B. NVIDIA-Drive ( v g 1 . https : / /developer . nvidia . com/ drive /drive -percept ion ) known obstacle localization, where a neural network , e.g. B. DriveNet ; Deconvolutional neural network (DNN), for which obstacle object recognition is used and an independent neural network for lane and landmark recognition, e.g. B. MapNet ; Deconvolutional Neural Network (DNN), the landmarks in step 2 are used for localization
  • a neural network e.g. B. DriveNet
  • DNN Deconvolutional neural network
  • MapNet Deconvolutional Neural Network
  • the object on which the invention is based is to specify a method, a computer-implemented tool, a vehicle control unit and a vehicle for locating obstacle objects in landmark-marked route areas of vehicles, without locating the obstacle objects precisely in a known manner, nor one for this purpose having to strive for the required coordinate transformation.
  • this object is achieved by the features specified in the characterizing part of patent claim 16.
  • this object relating to a vehicle is achieved by the features specified in patent claim 17 .
  • an obstacle object in a landmark-marked route area of a vehicle is then determined by (i) Associating sensor measurement data, recorded by sensors of a vehicle sensor system and belonging to sensor measurement objects, through which a landmark and the obstacle object can be represented, with stored landmark reference data, in particular stored in the form of map material, and (ii) determining a sensor detection-specific data Localization distance between a sensor measurement object with unassociated sensor measurement data and a landmark with associated sensor measurement data on the basis of the associated and unassociated sensor measurement data by sensor acquisition-specific information contained in this sensor measurement data in relation to g are placed in relation to each other on the localization distances to be determined, located on a route of the route area where it represents an obstacle for the vehicle, or its position is determined if either on the basis of the determined sensor detection-specific localization distance or on the basis the determined sensor detection-specific localization distance and using the landmark reference
  • the localization of the vehicle in relation to the route area is not to be determined with the help of landmarks, but rather the position of a potentially dangerous obstacle object with the help of the sensors of the vehicle sensor system with the aid of Acquisition of landmark information is determined by relations between known landmarks and detected th Obstacles ects in relation to the route of the vehicle in the route area as a critical area produced.
  • the teaching according to the invention does not primarily aim to locate the obstacle object that cannot be assigned to the route area very precisely and absolutely to the vehicle, but rather to assess the risk of whether this obstacle object is due to whether or not its location in a critical area, such as the driving route, constitutes a potential obstacle to the vehicle.
  • the improved and closer connection between map, vehicle, obstacle objects and critical areas results in increased robustness with regard to the obstacle object localization and assignment to critical areas. This will also The number of false positives is reduced, which in turn increases overall system reliability.
  • landmarks Due to the use of known landmarks and potentially also landmark formations, obstacle objects can be assigned to areas without having to precisely localize them individually.
  • the landmarks serve as anchors that can greatly reduce the uncertainty in the object detection and localization problem.
  • the teaching according to the invention can be used in many different ways, e.g. B. in applications involving autonomous vehicles. But there is also application potential in intelligent traffic engineering and "Automated Guided Vehicles ⁇ AGV's>".
  • FIGURE 1 shows a vehicle scenario for locating obstacle objects in a route area marked with landmarks
  • FIGURE 2 shows a modified vehicle scenario for locating obstacles in a route area marked by landmarks with an obstacle object extending vertically to a route of the route area
  • FIGURE 3 shows a modified vehicle scenario for locating obstacles in a route area marked by landmarks with a route in which the landmarks are arranged in a grouping or formation
  • FIG. 4 shows another vehicle scenario for locating an obstacle based on the scenario according to FIG 3 with a detection of landmarks in the route area at different localization times.
  • FIG. 1 shows a vehicle scenario for locating obstacle objects HO in a route area FSB marked with landmarks.
  • the route range FSB includes a route FS for a vehicle FZ, which as a land vehicle and in this respect z.
  • B. designed as a passenger car ⁇ car> is traveling in a vehicle lane FZSP of a road STR in the direction of an arrow drawn in on the vehicle FZ.
  • the route area FSB also includes (a) at least one landmark LM arranged along the route FS with the definition given above in the introduction to the description, which is also suitable for using modeled, situational relationships in the route area, (b) at least one of the at least one additional landmark LM, reference object RO with a defined, constant distance from the route FS of the vehicle route area FSB, the z. B. a noise protection wall LSW (2-dimensional feature of the route area) on the road STR, and (c) at least one obstacle HO arranged along the route FS and/or on the route FS, which poses a danger to the vehicle FZ , should it be on the route FS .
  • LSW noise protection wall
  • Further reference objects can be features that already exist in the vicinity of the route area FSB or features that are placed in a targeted manner. Examples can be mentioned:
  • sensor-specific markers such as e.g. B. Reflectors for lidar and radar, specific patterns for cameras. Characteristics resulting automatically from the algorithm, e.g. B. SI FT features.
  • the vehicle FZ contains a vehicle sensor system FZS with at least one sensor SS and a vehicle control unit FZSE, which are used for sensor control and sensor data transmission are connected .
  • the vehicle sensor system FZS contains two sensors SS of different modality with regard to the obstacle object location according to the invention, which is explained in more detail below, to increase the robustness and to reduce the uncertainty in the obstacle object location.
  • the vehicle sensor system FZS contains a sensor SS, which is based on a Cartesian coordinate system SS KKS, a spherical coordinate system SS SKS or a cylindrical coordinate system SS ZK s , and another sensor SS, which is based on an imaging principle SS B GP .
  • the sensor SS which is based on the Cartesian coordinate system SS KKS , the spherical coordinate system SS SKS or the cylindrical coordinate system SS ZK s , is preferably a radar sensor based on a "Radio Detection and Ranging ⁇ Radar>” principle or a "Light Detection and Ranging "Lidar>” principle based lidar sensor used, while as a sensor SS, which is based on an imaging principle SS B GP, preferably a camera sensor is used.
  • the vehicle control unit FZSE in the vehicle FZ contains - according to an option "A" shown in FIG. for locating the obstacle object, a storage device SPE for storing (i) landmark reference data LM-RD, which represent the at least one landmark LM and which are stored in the storage device SPE, for example as map material KM, and (ii) reference object data ROD, which represent the at least one reference object RO and which are also stored in the memory device SPE, for example as map material KM, and a control device STE, which is connected to the memory device SPE.
  • a storage device SPE for storing (i) landmark reference data LM-RD, which represent the at least one landmark LM and which are stored in the storage device SPE, for example as map material KM, and (ii) reference object data ROD, which represent the at least one reference object RO and which are also stored in the memory device SPE, for example as map material KM
  • a control device STE which is connected to the memory device SPE.
  • a computer-implemented tool CIW can now be uploaded to this control device STE for carrying out the obstacle object localization in the vehicle control unit FZSE, which is preferably designed as a computer program product and is referred to as application software ⁇ APP>.
  • the computer-implemented tool CIW has a non-volatile, readable memory SP, in which processor-readable control program commands of a program module PGM for locating obstacle objects are stored, and one with the memory for the obstacle object j ect location with the upload to the control device STE SP-connected processor PZ, which executes the control program commands of the program module PGM for obstacle object j ektverortung, on.
  • the memory device SPE in which the landmark reference data LM-RD and the reference object data ROD are stored, is not contained in the vehicle control unit FZSE, but is located outside the vehicle control unit FZSE and z. B. is implemented as cloud storage (dashed representation of the storage device SPE in FIG. 1).
  • the vehicle control unit FZSE according to option "B” thus only contains the control device STE, which in this state of the external storage device SPE j edoch assigned for data access . This assignment is shown in FIG. 1 by the dashed double arrow from the storage device SPE to the control device STE with the now uploaded computer-implemented tool CIW for carrying out the obstacle location in the vehicle control unit FZSE.
  • the vehicle FZ can be any vehicle on land, water or air, provided that the vehicle area FZB is characterized by a route for the vehicle in question, by Landmarks and, if necessary, by additional reference objects and by obstacle objects that can pose a risk to the vehicle moving on the route.
  • a rail vehicle e.g. B. Train with railcars, called .
  • the vehicle area is a rail vehicle area that is defined by a track section for the rail vehicle, also by landmarks of the type defined at the outset, by reference objects, such as z. B. Catenary masts, as well as again by ects Obstj is marked.
  • Characteristics resulting automatically from the algorithm e.g. B. S I FT features.
  • Locating the obstacle in the vehicle FZ using the vehicle sensor system FZS and the vehicle control unit FZSE begins with the at least one sensor SS of the vehicle sensor system FZS being detected in the vehicle FZ by the route area FSB with the at least one landmark LM and the at least one obstacle object HO primary sensor measurement data SMDi and secondary sensor measurement data SMD2 recorded.
  • the primary sensor measurement data SMDi belong to at least one sensor measurement object SMO L M, through which one of the at least one landmark LM could be represented, while the secondary sensor measurement data SMD2 belong to at least one sensor measurement object SMOHO, through which one in each case of the at least one obstacle object HO could be represented.
  • This detection is sensor-related and independent of whether the vehicle FZ is moving or stationary, dependent on the distance.
  • This fact is indicated in FIGURE 1 by the fact that the acquisition of the respective sensor measurement data is shown on the one hand with solid connecting lines between the sensor measurement objects and the vehicle sensor system and on the other hand with dashed connection lines between the sensor measurement objects and the vehicle sensor system.
  • the control program commands of the Program module PGM for obstacle object j ektverortung leading processor PZ of the computer-implemented tool CIW if this has been uploaded to the control device STE, so implemented in the control device STE, on which the at least one sensor SS of the vehicle sensor system FZS Detected primary sensor measurement data SMDi and secondary sensor measurement data SMD2 by using these data z. B. read in or uploaded by the vehicle sensor system FZS.
  • map material KM With regard to the map material KM, it is also possible for the map material KM, which contains the landmark reference data LM-RD, to be evaluated and verified in advance and also during operation, d. H . you can declare landmarks, areas and landmark patterns, which often lead to false associations, as unsafe information or take artificial measures in the vicinity of the route area FSB, such as e.g. B. the assembly of additional markers . This is done by a human observer or alternatively by an automated evaluation of the observation frequency in connection with a parameterizable threshold.
  • the obstacle object j ektortung can perform.
  • the aforementioned data SMDi, SMD2, LM-RD are entered into the processor PZ.
  • the primary sensor measurement data SMDi and secondary sensor measurement data SMD2 are associated with the landmark reference data LM-RD representing the at least one landmark LM for landmark assignment DAZ.
  • the result of this association is the following : a .
  • the data association DAZ between the primary sensor measurement data SMDi and the landmark reference data LM-RD occurs and, as a result, a landmark assignment for the at least one sensor measurement object SMO LM is possible through associated primary sensor measurement data SMDi , az , whereby the respective landmark LM is represented by the associated primary sensor measurement data SMDi, az .
  • the processor PZ and the program module PGM are preferably designed for locating the obstacle object in such a way that the data association DAZ for assigning landmarks is carried out using probabilistic factor graph methods or assignment/optimization methods.
  • the probabilistic factor graph methods are preferably based on the implementation of software libraries such.
  • B. “Georgia Tech Smoothing and Mapping ⁇ GTSAM>” or “ ⁇ g2o> as a General Framework for Graph Optimi zation”
  • mapping/optimization methods refer to methods such as B. "Global Nearest Neighbor ⁇ GNN>", Munkres algorithms, "Joint Probalistic Data Association ⁇ JPDA>” or "Multi-Hypothesis-Tracking ⁇ MHT>”.
  • the assignment does not only take place in one step, but is filtered over several time steps.
  • the processor PZ and the program module PGM are designed accordingly for this purpose. This avoids misassociations leading to large errors.
  • the assignment/optimization methods are alternative methods for data association, but poor performance is to be expected.
  • some of the sensor measurement objects are assigned landmarks, some are assigned dynamic sensor measurement objects from previous journals and some cannot be assigned. These unassigned sensor measurement objects are relevant for the following steps.
  • Sensor acquisition-specific localization distances VOD are determined between the at least one unassignable sensor measurement object SMOHO and the at least one landmark LM represented by the respective associated primary sensor measurement data SMDi, az on the basis of the associated primary sensor measurement data SMDi, az and the secondary sensor measurement data SMD2, by relating sensor detection-specific information IF ses contained in the associated primary sensor measurement data SMDi, az and in the secondary sensor measurement data SMD2 to one another in relation to the localization distances VOD to be determined.
  • the sensor-acquisition-specific information IF ses is related to one another in relation to the location distances VOD to be determined in order to determine the location distances VOD sensor-acquisition-specifically, as a function from the type of measurement data acquisition of the at least one sensor SS of the vehicle sensor system FZS.
  • the radar sensor based on the "Radio Detection and Ranging ⁇ Radar>” principle or the Lidar sensor based on the "Light Detection and Ranging ⁇ Lidar>” principle is used, Cartesian coordinate information KI F-kar, spherical coordinate information KI F sp h or cylindrical coordinate information KI F zyi in the associated primary sensor measurement data SMDi, az and in the secondary sensor measurement data SMD2 in relation to the localization distances to be determined VOD by angle difference f ferenzdetermination or determination of a Euclidean distance related to the To determine localization distances VOD between the at least one unassignable sensor measurement object SMOHO and the at least one landmark LM represented by the respective associated primary sensor measurement data SMDi, az
  • the at least one sensor SS is based on the imaging principle SS B GP and is therefore z. B. the camera sensor is used, pixel information PI F in the associated primary sensor measurement data SMDi, az and in the secondary sensor measurement data SMD2 are related to one another in relation to the localization distances VOD to be determined by determining the pixel spacing in order to determine the localization distances VOD between the at least one to determine unassignable Sensormessobj ect SMOHO and the at least one by the respective associated primary sensor measurement data SMDi, az represented landmark LM.
  • the at least one obstacle object HO is located on the route FS in the route area FSB, where it represents an obstacle for the vehicle FZ, VO and localization information VOI F is preferably generated or generated if either on the basis of the determined sen- sensor acquisition-specific localization distances VOD or on the basis of the determined sensor acquisition-specific localization distances VOD and using the landmark reference data LM-RD and/or the reference object data ROD, the at least one unassignable sensor measurement object SMOHO of the route FS can be allocated. Otherwise, if the at least one unassignable sensor measurement object SMOHO cannot be assigned to the route FS but can be assigned to the route area FSB, it does not represent an obstacle for the vehicle FZ. However, it is still located, specifically outside the route of the vehicle FZ in the route area FSB. Both cases are shown in FIG. 1 as an example.
  • the generated localization information VOI F can z. B. be used to control measures such as e.g. B. automatically initiate a reduction in speed and, if necessary, braking of the vehicle, or z. B. to inform the vehicle driver with a warning about the localized obstacle object.
  • control measures such as e.g. B. automatically initiate a reduction in speed and, if necessary, braking of the vehicle, or z. B. to inform the vehicle driver with a warning about the localized obstacle object.
  • the processor PZ accesses it again, as in the case of the landmark reference data LM-RD, in that this data z. B. read from the storage device SPE according to option "A” or uploaded from the storage device SPE according to option "B".
  • the processor PZ and the program module PGM are also designed for locating the obstacle object in such a way that locating VO the at least one obstacle object HO and, if necessary, generating or creating the location information with the sensor measurement data acquisition, the data association and the location distance determination at least in relation on the sensor measurement data acquisition and data association is carried out dynamically at different localization times in the sense of an object tracking. By tracking in particular the localization distance over time, their robustness and meaningfulness are increased. Alternatively, the sensor measurement objects can also be tracked and the localization distance can then be determined.
  • the obstacle object HO that cannot be assigned and is located on the route FS in FIG. 1 is detected to the right of the two left landmarks HO and to the left of the right landmark HO.
  • the known position of the landmarks LM relative to the route FS can be used to determine that the unassigned obstacle object HO represents an obstacle.
  • the terms “to the left of” and “to the right of” can be resolved by angle or pixel differences. If said obstacle object HO were to the right of the right-hand landmark LM, it would clearly not represent an obstacle, as is the case with the other obstacle object HO shown in FIG. 1, which also cannot be assigned.
  • FIG. 2 shows a modified vehicle scenario for locating an obstacle in a route area FSB identified by landmarks LM with an obstacle object HO extending vertically to a route FS of the route area FSB.
  • the obstacle HO extending vertically to the route FS is a maintenance vehicle on the route FS and it must be determined whether the route FS can be driven on vertically.
  • a known landmark LM e.g. B. in the form of a bridge, which is known to be underpassable, was recognized and determined by localization distances, which are z. B.
  • FIG. 3 shows a modified vehicle scenario for locating obstacles in a route area FSB marked by landmarks LM with a route FS in which the landmarks LM are arranged in a grouping or formation GFLMi, GFLM2. Because the landmarks LM are not considered individually, but rather the grouping and formation of the landmarks GFLMi, GFLM2, the robustness of the obstacle object localization is increased.
  • the landmark reference data LM-RD contain data that represent the grouping or formation of the landmarks GFLMi, GFLM2 for a group-based or formation-based landmark assignment and supplement the stored map material KM.
  • the grouping and formation of the landmarks GFLMi, GFLM2 also simplifies the data association between the primary sensor measurement data SMDi or the secondary sensor measurement data SMD2 and the landmark reference data LM-RD.
  • the landmark groupings or landmark formations are statically selected and defined in advance in the map material, so that only the data association from sensor measurement data to the landmark groupings or landmark formations has to take place for the obstacle object localization. In this case, a check is then carried out on detected sensor measurement objects as to whether they meet the properties of one of the known landmark groupings or landmark formations, which greatly simplifies the landmark assignment.
  • FIG. 4 shows another vehicle scenario for locating obstacles based on the scenario according to FIG. 3, with landmarks in the route area being detected at different times t1, t2.
  • the vehicle scenario for locating obstacles can be expanded in such a way that the landmark groupings or landmark formations GFLMi, GFLM2 are learned in the course of a dynamic ect localization of obstacles at the various localization times tl, t2, ie during operation, by the localization time tl
  • Another landmark grouping or landmark formation GFLM12 created at the localization time t2 is added to the landmark groupings or landmark formations GFLMi, GFLM2 known from FIG.
  • the landmark reference data LM-RD contain further data that represent the further landmark grouping or landmark formation GFLM12 for a group-based or formation-based landmark assignment and additionally supplement the stored map material KM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

Um Hindernisobjekte in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen zu verorten, ohne dabei die Hindernisobjekte in bekannter Weise weder genau lokalisieren noch eine hierfür benötigte Koordinatentransformation bemühen zu müssen, wird es vorgeschlagen, dass ein Hindernisobjekt (HO) in einem landmarkengekennzeichneten Fahrstreckenbereich (FSB) eines Fahrzeugs (FZ) dann durch (i) Assoziieren (DAZ) von Sensormessdaten (SMD1, SMD2), erfasst von mindestens einem Sensor (SS) einer Fahrzeug-Sensorik (FZS) und zu Sensormessobjekten (SMOLM/ SMOHO) gehörend, durch die eine Landmarke (LM) und das Hindernisobjekt (HO) repräsentierbar sind, mit gespeicherten Landmarken-Referenzdaten (LM-RD) und (ii) Ermitteln einer sensorerfassungsspezifischen Verortungsdistanz (VOD) zwischen einem Sensormessobjekt (SMOHO) mit unassoziierten Sensormessdaten (SMD2) und einer Landmarke (LM) mit assoziierten Sensormessdaten (SMD1,az) auf Basis der assoziierten und unassoziierten Sensormessdaten (SMD1,az, SMD2), indem in diesen Sensormessdaten enthaltene sensorerfassungsspezifische Informationen (IFses) in Bezug auf die zu ermittelnde Verortungsdistanz (VOD) zueinander in Beziehung gesetzt werden, auf einer Fahrstrecke (FS) des Fahrstreckenbereichs (FSB), wo es ein Hindernis für das Fahrzeug (FZ) darstellt, verortet oder dessen Lage bestimmt ist (VO, VOIF), wenn zumindest auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanz (VOD) das Sensormessobjekt (SMOHO) mit den unassoziierten Sensormessdaten (SMD2) auf der Fahrstrecke (FS) zuordbar ist.

Description

Beschreibung
Verfahren, Computer-implementiertes Werkzeug, Fahrzeug- Steuerungseinheit und Fahrzeug zum Verorten von Hindernisobj ekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen
Die Erfindung bezieht sich auf ein Verfahren zum Verorten von Hindernisob ekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen gemäß dem Oberbegri f f des Patentanspruches 1 , ein Computer-implementiertes Werkzeug zum Verorten von Hindernisobj ekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen gemäß dem Oberbegri f f des Patentanspruches 9 , eine Fahrzeug-Steuerungseinheit zum Verorten von Hindernisobj ekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen gemäß dem Oberbegri f f des Patentanspruches 16 und ein Fahrzeug zum Verorten von Hindernisobj ekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen gemäß dem Oberbegri f f des Patentanspruches 17 .
Beim Führen von Fahrzeugen als mobiles Verkehrsmittel zum Transport von Personen, Gütern, Werkzeugen oder Maschinen - unabhängig davon, ob das Führen assistiert , teilautomatisiert , hochautomatisiert , vollautomatisiert oder autonom passiert (man spricht dann insgesamt von " autonomen Fahren" ) , ist es eine grundlegende Funktion solcher autonomer Fahrzeuge , Kollisionen mit Hindernisobj ekten zu vermeiden .
Derartige Fahrzeuge fahren zu Land ( als Landfahrzeuge ) , zu Wasser ( als Wasserfahrzeuge ) und/oder in der Luft ( als Luftfahrzeuge ) . Für die vorliegende Erfindung werden aber nur solche Fahrzeuge der vorstehend definierten Art betrachtet , die sich relativ zu landmarkengekennzeichneten Fahrstrecken bewegen oder bewegt werden .
Eine Landmarke ist ein meist weithin sichtbares topographisches Obj ekt zur räumlichen Orientierung und terrestrischen Navigation, die auf Karten gegebenenfalls durch besondere Kartenzeichen markiert wird. Sie ist also aufgrund der Hinterlegung in der Karte ein bestimmtes Merkmal oder topologisches Objekt in der Welt, welches von einem Fahrzeug erkannt werden kann, sodass eine Assoziation zwischen sensorieller Erkennung und Karte hergestellt werden kann. Die Landmarke kann ein normal vorkommendes Objekt sein, wie z.B. ein Laternenpfahl, es kann ein speziell platziertes Objekt sein, wie z.B. Reflektormarken und/oder "QR <Quick Response>"-Codes, oder aber es kann auch ein sich aus der Erkennung ergebendes wiedererkennbares Muster sein, wie z.B. "Scale Invariant Feature Transform <SIFT>"-features, vgl . https://en.wikipedia.org/wiki/Scale- invariant feature transform.
Für die Kollisionsvermeidung ist eine sensorische Erfassung eines Hindernisobjekts notwendig und es müssen dabei das erfasste Hindernisobjekt einem kritischen Bereich zugeordnet werden. Der kritische Bereich umfasst üblicherweise eine Fahrspur oder eine Fahrstrecke des Fahrzeugs selbst und eventuell ein die Fahrspur oder die Fahrstrecke umgebender Bereich. Der kritische Bereich ergibt sich aus einer Kombination aus Kartenmaterial, Ego-Lokalisierung oder Selbstlokali- sierung und geplanter Fahrstrecke oder Route. Um diesem allen Rechnung zu tragen wird im Zuge der vorliegenden Erfindung auch von einem Fahrspur- oder Fahrstreckenbereich in Bezug auf die Kollisionsvermeidung und der sensorischen Erfassung der Hindernisobjekte gesprochen.
Die Zuordnung oder Lokalisierung des Hindernisobjekts zu einem kritischen Bereich wird allerdings durch verschiedene Einflussfaktoren gestört. Diese sind beispielsweise: Fehlerhafte extrinsische Sensorkalibrierung, fehlerhafte Ego-Lokalisierung ( Selbstlokalisierung) , fehlerhaftes Kartenmaterial, Pendeln im Gleis bei Schienenfahrzeugen, geringe hori zontale und vertikale Winkelauflösung der Sensoren, was insbesondere bei großen Reichweiten relevant ist .
Dieses Problem wird bei großen Entfernungen immer gravierender, da bereits kleine Fehler, insbesondere Winkel fehler, in den oben genannten Punkten zu großen Abweichungen in den geschätzten Positionen des Hindernisobj ekts führen können . Dies ist insbesondere relevant bei Fahrzeugen, die sich mit hoher Geschwindigkeit bewegen .
Bisher wurde das Problem hauptsächlich durch eine Minimierung der vorstehend genannten Einfluss faktoren bei der Zuordnung oder Lokalisierung des Hindernisob ekts zum kritischen Bereich adressiert .
Darüber hinaus ist eine probabilistische Fusion von Daten mehrerer Sensoren ein Weg zur Reduzierung von Positionsungenauigkeiten . Dadurch lassen sich Nachteile mancher Sensoren durch Vorteile anderer Sensoren ausgleichen .
Die Zuordnung oder Lokalisierung eines Hindernisobj ekts zu einem kritischen Bereich erfolgt üblicherweise und bekanntermaßen in drei Schritten :
1 . Das Fahrzeug lokalisiert sich selbst . Dabei können verschiedene Informationen eingesetzt werden, z . B . GPS- Informationen "Global Positioning System <GPS>" , Sensorinformationen ( z . B . Radar <Radio Detection and Ranging>, Lidar <Light Detection and Ranging>, Kamera ) und/oder auch Landmarkeninformationen aus dem Kartenmaterial .
2 . Umrechnung von sensoriell erkannten Hindernisobj ekten in globale Koordinaten unter der Verwendung der Koordinatentrans formation von Fahrzeug zu globalen Koordinaten, die sich aus der Lokalisierung ergeben . 3 . Zuordnung von den erkannten Hindernisobj ekten zum kritischen Bereich .
Bei dieser gemäß dem Stand der Technik, z . B . NVIDIA-Drive ( v g 1 . https : / /developer . nvidia . com/ drive /drive -percept ion ) bekannten Hindernisob ektlokalisierung, wo ein Neuronales Netz , z . B . DriveNet ; Deconvolutional Neural Network ( DNN) , für die Hindernisobj ekterkennung zum Einsatz kommt und ein davon unabhängiges Neuronales Netz für die Fahrspur- und Landmarkenerkennung, z . B . MapNet ; Deconvolutional Neural Network ( DNN) , werden die Landmarken im Schritt 2 zur Lokalisierung verwendet
Die der Erfindung zugrundeliegende Aufgabe besteht darin, ein Verfahren, ein Computer-implementiertes Werkzeug, eine Fahrzeug-Steuerungseinheit und ein Fahrzeug zum Verorten von Hindernisobj ekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen anzugeben, ohne dabei die Hindernisobj ekte in bekannter Weise weder genau lokalisieren noch eine hierfür benötigte Koordinatentrans formation bemühen zu müssen .
Die vorstehend bezeichnete Aufgabe wird ausgehend von dem im Oberbegri f f des Patentanspruches 1 definierten Verfahren durch die im Kennzeichen des Patentanspruches 1 angegebenen Merkmale gelöst .
Darüber hinaus wird diese Aufgabe ausgehend von dem im Oberbegri f f des Patentanspruches 6 definierten Computerimplementierten Werkzeug durch die im Kennzeichen des Patentanspruches 9 angegebenen Merkmale gelöst .
Weiterhin wird diese Aufgabe ausgehend von der im Oberbegri f f des Patentanspruches 16 definierten Fahrzeug-Steuerungseinheit durch die im Kennzeichen des Patentanspruches 16 angegebenen Merkmale gelöst . Außerdem wird diese Aufgabe betref fen eines Fahrzeugs durch die im Patentanspruch 17 angegebenen Merkmale gelöst .
Die der Erfindung zugrundeliegende Idee gemäß der in den Ansprüchen 1 , 9 , 16 und 17 j eweils angegebenen technischen Lehre besteht darin, dass zum Verorten von Hindernisob ekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen ein Hindernisobj ekt in einem landmarkengekennzeichneten Fahrstreckenbereich eines Fahrzeugs dann durch ( i ) Assoziieren von Sensormessdaten, erfasst von Sensoren einer Fahrzeug- Sensorik und zu Sensormessobj ekten gehörend, durch die eine Landmarke und das Hindernisobj ekt repräsentierbar sind, mit gespeicherten, insbesondere in Form als Kartenmaterial hinterlegten, Landmarken-Ref erenzdaten und ( ii ) Ermitteln einer sensorerfassungsspezi fischen Verortungsdistanz zwischen einem Sensormessobj ekt mit unassoziierten Sensormessdaten und einer Landmarke mit assoziierten Sensormessdaten auf Basis der assoziierten und unassoziierten Sensormessdaten, indem in den diesen Sensormessdaten enthaltene sensorerfassungsspezi fische Informationen in Bezug auf die zu ermittelnden Verortungsdis- tanzen zueinander in Beziehung gesetzt werden, auf einer Fahrstrecke des Fahrstreckenbereichs , wo es ein Hindernis für das Fahrzeug darstellt , verortet oder dessen Lage bestimmt ist , wenn entweder auf der Basis der ermittelten sensorerfassungsspezi fischen Verortungsdistanz oder auf der Basis der ermittelten sensorerfassungsspezi fischen Verortungsdistanz sowie unter Hinzuziehung der Landmarken-Ref erenzdaten und/oder von gespeicherten, insbesondere in Form als Kartenmaterial hinterlegten, Referenzobj ektdaten, die mindestens ein zu der mindestens einen Landmarke zusätzliches Referenzobj ekt des Fahrzeug-Fahrstreckenbereichs mit einem definierten, konstantem Abstand zum Fahrzeug-Fahrstreckenbereich repräsentieren, das Sensormessobj ekt mit den unassoziierten Sensormessdaten der Fahrstrecke zuordbar ist . Anderenfalls , wenn das mindestens eine unzuordbare Sensormessobj ekt nicht der Fahrstrecke zuordbar ist , wird das mindestens eine Hindernisobj ekt j enseits , also außerhalb, der Fahrstrecke in dem Fahrstreckenbereich verortet , wo es kein Hindernis für ein Fahrzeug darstellt .
Wichtig zu betonen ist dabei , dass bei der erfindungsgemäßen Lehre nicht die Lokalisierung des Fahrzeugs in Bezug auf den Fahrstreckenbereich mit Hil fe von Landmarken bestimmt werden soll , sondern die Lage eines potenziell gefährlichen Hindernisobj ektes mit Hil fe der Sensoren der Fahrzeug-Sensorik unter zu Hil fenahme von Landmarkeninformationen bestimmt wird, indem Relationen zwischen bekannten Landmarken und detektier- ten Hindernisob ekten in Bezug auf die Fahrstrecke des Fahrzeugs in dem Fahrstreckenbereich als kritischen Bereich hergestellt .
Der wichtige Unterschied der vorliegenden Erfindung zum in der Beschreibungseinleitung angegebenen Stand der Technik ist die gleichzeitige Betrachtung von Landmarken und Hindernissen in den Schritten 2 und 3 , d . h . die Landmarken werden nicht nur zur Lokalisierung verwendet , sondern auch danach zur Zuordnung zum kritischen Bereich . Diese Schritt-Zuordnung ist im angegebenen Stand der Technik nicht zu erkennen, dort liegt eine strikte Trennung vor .
Ein weiterer wichtiger Unterschied zum Stand der Technik ist , dass mit der erfindungsgemäßen Lehre nicht primär das Ziel verfolgt wird, das dem Fahrstreckenbereich unzuordbare Hindernisobj ekt sehr genau und absolut zum Fahrzeug zu lokalisieren, sondern darum, die Gefahr zu bewerten, ob dieses Hindernisobj ekt aufgrund seiner Lage in einem kritischen Bereich, wie der Fahrstrecke , ein potenzielles Hindernis für das Fahrzeug darstellt oder nicht .
Bei der erfindungsgemäßen Lehre wird durch den verbesserten und engeren Zusammenhang zwischen Karte , Fahrzeug, Hindernisobj ekten und kritischen Bereichen wird eine erhöhte Robustheit bezüglich der Hindernisobj ektlokalisierung und Zuordnung zu kritischen Bereichen erreicht . Dadurch wird auch die An- zahl an falschpositiven Erkennungen reduziert , was wiederum die Gesamtsystemzuverlässigkeit steigert .
Aufgrund des Ausnutzens von bekannten Landmarken und potenziell auch Landmarkenformationen können Hindernisobj ekte Bereichen zugeordnet werden, ohne dass man sie einzeln genau lokalisieren muss . Die Landmarken dienen als Anker, die die Unsicherheit im Ob ektdetektions- und Lokalisierungsproblem stark reduzieren können .
Die erfindungsgemäße Lehre ist dabei viel fältig einsetzbar, so z . B . in Anwendungs fällen rund um autonome Fahrzeuge . Aber auch bei intelligenter Verkehrstechnik und "Automated Guided Vehicles <AGV' s>" besteht Anwendungspotential .
Weitere Vorteile der Erfindung ergeben sich aus den Unteransprüchen sowie der nachfolgenden Beschreibung eines Aus führungsbeispiels der Erfindung anhand der FIGUREN 1 bis 4 erläutert . Diese zeigen :
FIGUR 1 ein Fahrzeug-S zenario zum Verorten von Hindernisobj ekten in einem landmarkengekennzeichneten Fahrstreckenbereich,
FIGUR 2 ein modi fi ziertes Fahrzeug-S zenario zur Hindernisob- j ektverortung in einem durch Landmarken gekennzeichneten Fahrstreckenbereich mit einem sich vertikal zu einer Fahrstrecke des Fahrstreckenbereichs erstreckenden Hindernisobj ekt ,
FIGUR 3 ein modi fi ziertes Fahrzeug-S zenario zur Hindernisob- j ektverortung in einem durch Landmarken gekennzeichneten Fahrstreckenbereich mit einer Fahrstrecke , bei dem die Landmarken in einer Gruppierung oder Formation angeordnet sind,
FIGUR 4 ein weiteres Fahrzeug-S zenario zur Hindernisobj ektverortung auf der Basis des S zenarios nach der FIGUR 3 mit einer Erfassung von Landmarken im Fahrstreckenbereich zu verschiedenen Verortungs zeitpunkten .
FIGUR 1 zeigt ein Fahrzeug-S zenario zum Verorten von Hindernisobj ekten HO in einem landmarkengekennzeichneten Fahrstreckenbereich FSB . Der Fahrstreckenbereich FSB umfasst im dargestellten Fall eine Fahrstrecke FS für ein Fahrzeug FZ , das als Landfahrzeug und diesbezüglich z . B . ausgebildet als Personenkraftwagen <Pkw> auf einer Fahrzeugspur FZSP einer Straße STR in Richtung eines am Fahrzeug FZ eingezeichneten Pfeils unterwegs ist .
Zu dem Fahrstreckenbereich FSB zählen darüber hinaus ( a) mindestens eine entlang der Fahrstrecke FS angeordnete Landmarke LM mit der vorstehend in der Beschreibungseinleitung gegebenen Definition, die zudem dazu geeignet sind modellierte , situative Zusammenhänge in dem Fahrstreckenbereich aus zunutzen, (b) mindestens ein zu der mindestens einen Landmarke LM zusätzliches , Referenzob ekt RO mit einem definierten, konstantem Abstand zu der Fahrstrecke FS des Fahrzeug-Fahrstreckenbereichs FSB, das z . B . eine Lärmschutzwand LSW ( 2-dimensio- nales Merkmal des Fahrstreckenbereichs ) an der Straße STR sein kann, und ( c) mindestens ein entlang der Fahrstrecke FS und/oder auf der Fahrstrecke FS angeordnetes Hindernisobj ekt HO, das eine Gefahr für das Fahrzeug FZ darstellt , sollte es sich auf der Fahrstrecke FS befinden .
Weitere Referenzobj ekte können dabei bereits bestehende Merkmale in der Umgebung des Fahrstreckenbereichs FSB sein oder auch gezielt platzierte Merkmale . Beispielhaft können genannt werden :
Laternen ( l-dimensionale Merkmale )
Zäune ( 2-dimensionale Merkmale )
Gebäude , Brücken ( 3-dimensionale Merkmale )
Spezielle , unter Umständen sensorspezi fische Marker, wie z . B . Reflektoren für Lidar und Radar, bestimmte Muster für Kameras . Aus der Algorithmik automatisch anfallende Merkmale , z . B . S I FT- f eatures .
Zum Verorten der Hindernisobj ekte HO in dem Fahrstreckenbereich FSB mit der mindestens einen Landmarke LM und dem mindestens einen Referenzob ekt RO enthält das Fahrzeug FZ eine Fahrzeug-Sensorik FZS mit mindestens einem Sensor SS und eine Fahrzeug-Steuerungseinheit FZSE , die zur Sensorsteuerung und Sensordatenübertragung miteinander verbunden sind .
Gemäß der Darstellung in der FIGUR 1 enthält die Fahrzeug- Sensorik FZS im Hinblick auf die nachfolgend noch näher erläuterten, erfindungsgemäßen Hindernisob j ektverortung zur Erhöhung der Robustheit und zur Verringerung der Unsicherheit bei der Hindernisob j ektverortung zwei Sensoren SS unterschiedlicher Modalität . So sind in der Fahrzeug-Sensorik FZS ein Sensor SS , der auf einem Kartesischen Koordinatensystem S S KKS , einem Sphärischen Koordinatensystem S S SKS oder einem Zylindrischen Koordinatensystem SSZKs basiert , und ein weiterer Sensor SS , der auf einem Bildgebungsprinzip S S BGP basiert , enthalten .
Als Sensor SS , der auf dem Kartesischen Koordinatensystem S S KKS , dem Sphärischen Koordinatensystem S S SKS oder dem Zylindrischen Koordinatensystem SSZKs basiert , wird vorzugsweise ein auf einem "Radio Detection and Ranging <Radar>" -Prinzip beruhender Radarsensor oder ein auf einem "Light Detection and Ranging <Lidar>" -Prinzip beruhender Lidarsensor benutzt , während als Sensor SS , der auf einem Bildgebungsprinzip S S BGP basiert , vorzugsweise ein Kamerasensor benutzt wird .
Die Erhöhung der Robustheit und die Verringerung der Unsicherheit bei der Hindernisob j ektverortung kann alternativ auch dadurch erreicht werden, dass zwei Sensoren SS gleicher Modalität aber unterschiedliche Blickwinkel haben .
Die Fahrzeug-Steuerungseinheit FZSE in dem Fahrzeug FZ enthält - gemäß einer in der FIGUR 1 dargestellten Option "A" für die Hindernisob j ektverortung eine Speichereinrichtung SPE zur Speicherung von ( i ) Landmarken-Ref erenzdaten LM-RD, die die mindestens eine Landmarke LM repräsentieren und die in der Speichereinrichtung SPE beispielsweise als Kartenmaterial KM hinterlegt sind, und ( ii ) Referenzobj ektdaten ROD, die das mindestens eine Referenzob ekt RO repräsentieren und die in der Speichereinrichtung SPE auch wieder beispielsweise als Kartenmaterial KM hinterlegt sind, und eine Steuereinrichtung STE , die mit der Speichereinrichtung SPE verbunden ist .
In diese Steuereinrichtung STE ist j etzt für die Durchführung der Hindernisob j ektverortung in der Fahrzeug-Steuerungseinheit FZSE ein Computer-implementiertes Werkzeug CIW hochladbar, das vorzugsweise als Computer-Programm-Produkt ausgebildet ist und als Applikationssoftware <APP> bezeichnet wird . Das Computer-implementierte Werkzeug CIW weist für die Hindernisob j ektverortung mit dem Hochladen in die Steuereinrichtung STE einen nicht- flüchtigen, lesbaren Speicher SP, in dem prozessorlesbare Steuerprogrammbefehle eines Programm-Moduls PGM zum Verorten von Hindernisobj ekten gespeichert sind, und einen mit dem Speicher SP verbundenen Prozessor PZ , der die Steuerprogrammbefehle des Programm-Moduls PGM zur Hindernisob j ektverortung aus führt , auf .
Alternativ zu der Ausprägung der Fahrzeug-Steuerungseinheit FZSE in dem Fahrzeug FZ - gemäß der in der FIGUR 1 dargestellten Option "A" ist es - gemäß einer in der FIGUR 1 dargestellten Option "B" - auch möglich, dass für die Hindernisob j ektverortung in der Fahrzeug-Steuerungseinheit FZSE die Speichereinrichtung SPE , in der die Landmarken-Ref erenzdaten LM-RD und die Referenzobj ektdaten ROD gespeichert sind, nicht in der Fahrzeug-Steuerungseinheit FZSE enthalten ist , sondern sich außerhalb der Fahrzeug-Steuerungseinheit FZSE befindet und z . B . als Cloud-Speicher realisiert ist ( gestrichelte Darstellung der Speichereinrichtung SPE in der FIGUR 1 ) . In der Fahrzeug-Steuerungseinheit FZSE gemäß der Option "B" ist somit lediglich die Steuereinrichtung STE enthalten, die in diesem Zustand der externen Speichereinrichtung SPE j edoch für Datenzugri f fe zugeordnet ist . Diese Zuordnung ist in der FIGUR 1 durch den gestrichelten Doppelpfeil von der der Speichereinrichtung SPE zu der Steuereinrichtung STE mit dem auch j etzt hochgeladenen Computer-implementierten Werkzeug CIW für die Durchführung der Hindernisob ektverortung in der Fahrzeug-Steuerungseinheit FZSE dargestellt .
Bevor j etzt im Weiteren die Durchführung der Hindernisob j ektverortung in dem Fahrzeug FZ mit der Fahrzeug-Sensorik FZS und der Fahrzeug-Steuerungseinheit FZSE und im Speziellen sowohl in der Fahrzeug-Steuerungseinheit FZSE als auch mit dem hochgeladenen Computer-implementierten Werkzeug CIW im Detail erläutert wird, soll an dieser Stelle mit Verweis auf die vorstehenden Aus führungen in der Beschreibungseinleitung angemerkt werden, dass das Fahrzeug FZ j edwedes Fahrzeug zu Land, Wasser und Luft sein kann, sofern der Fahrzeugbereich FZB gekennzeichnet ist durch eine Fahrstrecke für das betreffende Fahrzeug, durch Landmarken und gegebenenfalls durch zusätzliche Referenzobj ekte sowie durch Hindernisobj ekte , die eine Gefahr für das Fahrzeug, das sich auf der Fahrstrecke bewegt , sein können .
Als weiteres Beispiel für ein solches Fahrzeug sei ein Schienenfahrzeug, z . B . Zug mit Triebwagen, genannt . Bei diesem Beispiel ist der Fahrzeugbereich ein Schienenfahrzeugbereich, der durch eine Gleisstrecke für das Schienenfahrzeug, ebenfalls durch Landmarken der eingangs definierten Art , durch Referenzobj ekte , wie z . B . Oberleitungsmasten, sowie wieder durch Hindernisobj ekte gekennzeichnet ist .
Weitere Referenzobj ekte können auch hier wieder bereits bestehende Merkmale in der Umgebung des Schienenstreckenbereichs sein oder auch gezielt platzierte Merkmale . Beispielhaft können genannt werden :
Signalgebende Anlagen ( l-dimensionale Merkmale ) Zäune , Lärmschutzwände ( 2-dimensionale Merkmale ) Gebäude , Brücken, Prellböcke ( 3-dimensionale Merkmale ) Spezielle , unter Umständen sensorspezi fische Marker, wie z . B . Reflektoren für Lidar und Radar, bestimmte Muster für Kameras .
Aus der Algorithmik automatisch anfallende Merkmale , z . B . S I FT- f eatures .
Die Durchführung der Hindernisob j ektverortung in dem Fahrzeug FZ mit der Fahrzeug-Sensorik FZS und der Fahrzeug-Steuerungseinheit FZSE beginnt damit , dass in dem Fahrzeug FZ der mindestens eine Sensor SS der Fahrzeug-Sensorik FZS von dem Fahrstreckenbereich FSB mit der mindestens einen Landmarke LM und dem mindestens einem Hindernisobj ekt HO Primär-Sensor- messdaten SMDi und Sekundär-Sensormessdaten SMD2 erfasst . Die Primär-Sensormessdaten SMDi gehören dabei zu mindestens einem Sensormessob ekt SMOLM, durch das j eweils eine der mindestens einen Landmarke LM repräsentiert sein könnte , während die Sekundär-Sensormessdaten SMD2 dabei zu mindestens einem Sensormessobj ekt SMOHO gehören, durch das j eweils eines des mindestens einen Hindernisobj ekt HO repräsentiert sein könnte .
Diese Erfassung ist sensorbedingt und unabhängig davon, ob sich das Fahrzeug FZ bewegt oder steht , entfernungsabhängig . Das heißt für das in der FIGUR 1 dargestellte S zenario , dass die Erfassung der Primär-Sensormessdaten SMDi und Sekundär- Sensormessdaten SMD2 dynamisch ist und dabei in mehreren Zeitschriften und zu verschiedenen Verortungs zeitpunkten j eweils zumindest teilweise voneinander abweichende Primär- Sensormessdaten SMDi und Sekundär-Sensormessdaten SMD2 erfasst werden . Dieser Sachverhalt wird in der FIGUR 1 dadurch andeutungsweise zum Ausdruck gebracht , dass die Erfassung der j eweiligen Sensormessdaten einerseits mit durchgezogenen Verbindungslinien zwischen den Sensormessobj ekten und der Fahrzeug-Sensorik und andererseits mit gestrichelten Verbindungslinien zwischen den Sensormessobj ekten und der Fahrzeug- Sensorik dargestellt wird .
Anschließend, nach dem Beginn der Durchführung der Hindernisob j ektverortung, grei ft der die Steuerprogrammbefehle des Programm-Moduls PGM zur Hindernisob j ektverortung aus führende Prozessor PZ des Computer-implementierten Werkzeugs CIW, wenn dieses in die Steuereinrichtung STE hochgeladen worden ist , also in die Steuereinrichtung STE implementiert ist , auf die von dem mindestens einen Sensor SS der Fahrzeug-Sensorik FZS erfassten Primär-Sensormessdaten SMDi und Sekundär-Sensor- messdaten SMD2 zu, indem diese Daten z . B . eingelesen oder von der Fahrzeug-Sensorik FZS hochgeladen werden .
Das Gleiche passiert mit den in der Speichereinrichtung SPE gespeicherten, z . B . als das Kartenmaterial KM hinterlegten, Landmarken-Ref erenzdaten LM-RD, auf die der Prozessor PZ zugrei ft , indem diese Daten z . B . gemäß der Option "A" aus der Speichereinrichtung SPE eingelesen oder gemäß der Option "B" von der Speichereinrichtung SPE hochgeladen werden .
In Bezug das Kartenmaterial KM ist es außerdem möglich, dass man das Kartenmaterial KM, das die Landmarken-Ref erenzdaten LM-RD enthält , vorab und auch im laufenden Betrieb evaluieren und veri fi zieren kann, d . h . man kann Landmarken, Bereiche und Landmarkenmuster, die häufig zu Fehlassoziationen führen, als unsichere Information deklarieren oder künstliche Maßnahmen in der Umgebung des Fahrstreckenbereichs FSB vornehmen, wie z . B . die Montage von zusätzlichen Markern . Dies erfolgt durch einen menschlichen Beobachter oder alternativ durch eine automatisierte Bewertung der Beobachtungshäufigkeit in Verbindung mit einer parametrierbaren Schwelle .
Aber auch dann, wenn sich weder das Computer-implementierten Werkzeug CIW in der Steuereinrichtung STE befindet ( z . B . durch Hochladen) noch die Steuereinrichtung STE der Fahrzeug- Steuerungseinheit FZSE , in die das Computer-implementierte Werkzeug CIW hochgeladen worden ist , in dem Fahrzeug FZ implementiert ist , lässt sich die Hindernisob j ektverortung durchführen . In diesen Fällen werden die vorstehend genannten Daten SMDi, SMD2 , LM-RD in den Prozessor PZ eingegeben . Befinden sich die vorstehend genannten Daten SMDi, SMD2 , LM- RD nun, unabhängig davon, wo sich das Computer-implementierte Werkzeug CIW und im weiteren sich die Fahrzeug-Steuerungseinheit FZSE befinden, in dem Prozessor PZ , so sind der Prozessor PZ und das Programm-Modul PGM zur Hindernisob j ektveror- tung derart ausgebildet sind, dass folgende Schritte zur Durchführung der Hindernisob j ektverortung ausgeführt werden :
1 . Die Primär-Sensormessdaten SMDi und Sekundär- Sensormessdaten SMD2 werden mit den die mindestens eine Landmarke LM repräsentierenden Landmarken-Ref erenzdaten LM-RD zur Landmarkenzuordnung assoziiert DAZ . Das Ergebnis dieser Assoziierung ist folgendes : a . Die Datenassoziation DAZ zwischen den Primär-Sensormessdaten SMDi und den Landmarken-Ref erenzdaten LM-RD tritt ein und infolge davon ist durch assoziierte Primär-Sensormessdaten SMDi,az eine Landmarkenzuordnung für das mindestens eine Sensormessobj ekt SMOLM möglich, womit die j eweilige Landmarke LM durch die assoziierten Primär-Sensormessdaten SMDi,az repräsentiert ist . b . Die Datenassoziation DAZ zwischen den Sekundär-Sensor- messdaten SMD2 und den Landmarken-Ref erenzdaten LM-RD bleibt aus und infolge davon ist eine Landmarkenzuordnung für das mindestens eine Sensormessobj ekt SMOHO unmöglich .
Der Prozessor PZ und das Programm-Modul PGM sind dabei zur Hindernisob j ektverortung vorzugsweise derart ausgebildet , dass die Datenassoziation DAZ zur Landmarkenzuordnung mit Hil fe von probabilistischen Faktorgraph-Methoden oder Zuord- nungs-/Optimierungsmethoden durchgeführt wird .
Die probabilistischen Faktorgraph-Methoden basieren dabei vorzugsweise auf die Implementierung von Softwarebibliotheken, wie z . B . "Georgia Tech Smoothing and Mapping <GTSAM>" oder " <g2o> as a General Framework for Graph Optimi zation" , wohingegen die Zuordnungs-/Optimierungsmethoden auf Methoden, wie z . B . "Global Nearest Neighbor <GNN>" , Munkres-Algorith- men, " Joint Probalistic Data Association <JPDA>" oder "Multi- Hypothesis-Tracking <MHT>" basieren .
Bei der probabilistischen Faktorgraph-Methoden erfolgt die Zuordnung nicht nur in einem Schritt , sondern wird über mehrere Zeitschritte gefiltert . Der Prozessor PZ und das Programm-Modul PGM sind hierzu entsprechend ausgebildet . Dadurch wird vermieden, dass Fehlassoziationen zu großen Fehlern führen .
Bei den Zuordnungs-/Optimierungsmethoden handelt es sich um alternative Methoden zur Datenassoziation, bei denen aber mit einer schlechteren Performanz zu rechnen ist .
Bei den genannten Methoden zur Datenassoziation werden manchen der Sensormessobj ekte Landmarken zugeordnet , manchen werden dynamische Sensormessob ekte aus vorherigen Zeitschriften zugeordnet und manche können nicht zugeordnet werden . Diese nicht zugeordneten Sensormessobj ekte sind für die folgenden Schritte relevant .
2 . Es werden sensorerfassungsspezi fische Verortungsdistanzen VOD zwischen dem mindestens einen unzuordbaren Sensormessobj ekt SMOHO und der mindestens einen durch die j eweiligen assoziierten Primär-Sensormessdaten SMDi,az repräsentierte Landmarke LM auf Basis der assoziierten Primär-Sensormessdaten SMDi,az und der Sekundär-Sensormessdaten SMD2 ermittelt , indem in den assoziierten Primär-Sensormessdaten SMDi,az und in den Sekundär-Sensormessdaten SMD2 enthaltene sensorerfassungsspezi fische Informationen I Fses in Bezug auf die zu ermittelnden Verortungsdistanzen VOD zueinander in Beziehung gesetzt werden .
Das Zueinander-in-Beziehung-Set zen der sensorerfassungsspezifischen Informationen I Fses in Bezug auf die zu ermittelnden Verortungsdistanzen VOD, um die Verortungsdistanzen VOD sensorerfassungsspezi fisch zu ermitteln, erfolgt in Abhängigkeit von die Art der Messdatenerfassung des mindestens einen Sensors SS der Fahrzeug-Sensorik FZS .
Basiert der mindestens eine Sensor SS auf dem Kartesischen Koordinatensystem S SKKS , dem Sphärischen Koordinatensystem SS SKS oder dem Zylindrischen Koordinatensystem SSZKs und wird deshalb z . B . der auf dem "Radio Detection and Ranging <Ra- dar>" -Prinzip beruhende Radarsensor oder der auf dem "Light Detection and Ranging <Lidar>" -Prinzip beruhende Lidarsensor benutzt , so werden kartesische Koordinateninformationen KI F- kar , sphärische Koordinateninformationen KI Fsph oder zylindrische Koordinateninformationen KI Fzyi in den assoziierten Primär-Sensormessdaten SMDi,az und in den Sekundär-Sensormessda- ten SMD2 in Bezug auf die zu ermittelnden Verortungsdistanzen VOD durch Winkeldi f ferenzbestimmung oder Bestimmung einer euklidischen Distanz zueinander in Beziehung gesetzt , um die Verortungsdistanzen VOD zwischen dem mindestens einen unzu- ordbaren Sensormessobj ekt SMOHO und der mindestens einen durch die j eweiligen assoziierten Primär-Sensormessdaten SMDi,az repräsentierte Landmarke LM zu ermitteln .
Basiert der mindestens eine Sensor SS hingegen auf dem Bild- gebungsprinzip S SBGP und wird deshalb z . B . der Kamerasensor benutzt , so werden Pixelinformationen PI F in den assoziierten Primär-Sensormessdaten SMDi,az und in den Sekundär-Sensormess- daten SMD2 in Bezug auf die zu ermittelnden Verortungsdistanzen VOD durch Pixelabstandbestimmung zueinander in Beziehung gesetzt , um die Verortungsdistanzen VOD zwischen dem mindestens einen unzuordbaren Sensormessobj ekt SMOHO und der mindestens einen durch die j eweiligen assoziierten Primär- Sensormessdaten SMDi,az repräsentierte Landmarke LM zu ermitteln .
3 . Das mindestens eine Hindernisobj ekt HO wird auf der Fahrstrecke FS in dem Fahrstreckenbereich FSB, wo es ein Hindernis für das Fahrzeug FZ darstellt , verortet VO und es wird vorzugsweise eine Verortungsinf ormation VOI F generiert oder erzeugt , wenn entweder auf der Basis der ermittelten sen- sorerf assungsspezi f ischen Verortungsdistanzen VOD oder auf der Basis der ermittelten sensorerfassungsspezi fischen Verortungsdistanzen VOD sowie unter Hinzuziehung der Landmarken- Ref erenzdaten LM-RD und/oder der Referenzobj ektdaten ROD das mindestens eine unzuordbare Sensormessob ekt SMOHO der Fahrstrecke FS zuordbar ist . Anderenfalls , wenn das mindestens eine unzuordbare Sensormessobj ekt SMOHO zwar nicht der Fahrstrecke FS , aber dem Fahrstreckenbereich FSB zuordbar ist , stellt es kein Hindernis für das Fahrzeug FZ dar . Es wird aber dennoch verortet , und zwar außerhalb der der Fahrstrecke des Fahrzeugs FZ in dem Fahrstreckenbereich FSB . Beide Fälle sind in der FIGUR 1 exemplarisch gezeigt .
Die generierte Verortungsinf ormation VOI F kann z . B . dazu benutzt werden, um in dem Fahrzeug FZ als Reaktion auf das verortete Hindernisobj ekt Steuerungsmaßnahmen, wie z . B . eine Reduzierung der Geschwindigkeit und gegebenenfalls Abbremsen des Fahrzeugs , automatisch einzuleiten oder z . B . den Fahrzeugführer mit einem Warnhinweis über das verortete Hindernisobj ekt zu informieren .
Bei den Referenzobj ektdaten ROD, die in der Speichereinrichtung SPE gespeichert sind, z . B . dort als das Kartenmaterial KM hinterlegt sind, grei ft der Prozessor PZ wieder, wie bei den Landmarken-Ref erenzdaten LM-RD, auf diese zu, indem diese Daten z . B . gemäß der Option "A" aus der Speichereinrichtung SPE eingelesen oder gemäß der Option "B" von der Speichereinrichtung SPE hochgeladen werden .
Der Prozessor PZ und das Programm-Modul PGM sind weiterhin zur Hindernisob j ektverortung derart ausgebildet , dass das Verorten VO des mindestens einen Hindernisobj ektes HO und gegebenenfalls das Generieren oder Erzeugen der Verortungsin- formation mit der Sensormessdatenerfassung, der Datenassoziierung und der Verortungsdistanzermittlung zumindest in Bezug auf die Sensormessdatenerfassung und Datenassoziierung dynamisch, zu verschiedenen Verortungs zeitpunkten im Sinne eines Obj ekt-Tracking durchgeführt wird . Durch das Tracken insbesondere der Verortungsdistanz über der Zeit wird deren Robustheit und Aussagekraft verstärkt . Alternativ können auch die Sensormessobj ekte getrackt und im Anschluss die Verortungsdistanz bestimmt werden .
Bei ausreichend genauer Ermittlung der Verortungsdistanz wird das nicht zuordbare , sich auf der Fahrstrecke FS in der FIGUR 1 befindende Hindernisob ekt HO rechts von den linken beiden Landmarken HO und links von der rechten Landmarke HO detek- tiert . Durch die bekannte relative Lage der Landmarken LM zur Fahrstrecke FS kann allein dadurch festgestellt werden, dass das nicht zugeordnete Hindernisobj ekt HO ein Hindernis darstellt . Die Begri f fe " links von" und " rechts von" können dabei durch Winkel- oder Pixelunterschiede aufgelöst werden . Befände sich das besagte Hindernisobj ekt HO rechts von der rechten Landmarke LM, stellte es eindeutig kein Hindernis dar, so wie dies bei dem ebenfalls nicht zuordbaren, anderen in der FIGUR 1 dargestellten Hindernisobj ekt HO der Fall ist .
FIGUR 2 zeigt ein modi fi ziertes Fahrzeug-S zenario zur Hinder- nisob j ektverortung in einem durch Landmarken LM gekennzeichneten Fahrstreckenbereich FSB mit einem sich vertikal zu einer Fahrstrecke FS des Fahrstreckenbereich FSB erstreckenden Hindernisobj ekt HO . Das sich vertikal zu der Fahrstrecke FS erstreckende Hindernisobj ekt HO ist ein Wartungs fahrzeug an der Fahrstrecke FS und es muss bestimmt werden, ob die Fahrstrecke FS vertikal befahrbar ist . Eine bekannte Landmarke LM, z . B . in Gestalt einer Brücke , die als unterfahrbar bekannt ist , wurde erkannt und durch ermittelte Verortungsdis- tanzen, die sich z . B . durch Pixelabstände oder Winkelabstände ergeben, kann bestimmt werden, ob das Wartungs fahrzeug als das sich vertikal zu der Fahrstrecke FS des Fahrstreckenbereich FSB erstreckende Hindernisobj ekt HO höher oder niedriger ist und somit in der vertikalen Erstreckung einen für das Fahrzeug FZ kritischen Bereich betri f ft . Dadurch kann eine Uber- und Unterf ahrbarkeit des Hindernisobj ekts HO festgestellt werden . FIGUR 3 zeigt ein modi fi ziertes Fahrzeug-S zenario zur Hinder- nisob j ektverortung in einem durch Landmarken LM gekennzeichneten Fahrstreckenbereich FSB mit einer Fahrstrecke FS , bei dem die Landmarken LM in einer Gruppierung oder Formation GFLMi, GFLM2 angeordnet sind . Dadurch, dass die Landmarken LM nicht einzeln betrachtet werden, sondern die Gruppierung und Formation der Landmarken GFLMi, GFLM2 wird die Robustheit der Hindernisobj ektverortung gesteigert .
Die Landmarken-Ref erenzdaten LM-RD enthalten dabei Daten, die die Gruppierung oder Formation der Landmarken GFLMi, GFLM2 für eine gruppenbasierte oder formationsbasierte Landmarkenzuordnung repräsentieren und das hinterlegte Kartenmaterial KM ergänzen .
Die Gruppierung und Formation der Landmarken GFLMi, GFLM2 vereinfacht zudem die Datenassoziation zwischen den Primär- Sensormessdaten SMDi respektive den Sekundär-Sensormessdaten SMD2 und den Landmarken-Ref erenzdaten LM-RD . Dabei werden die Landmarkengruppierungen oder Landmarkenformationen vorher statisch in dem Kartenmaterial gewählt und festgelegt , sodass für die Hindernisobj ektverortung nur noch die Datenassoziation aus Sensormessdaten zu den Landmarkengruppierungen oder Landmarkenformationen erfolgen muss . In diesem Fall wird dann bei erfassten Sensormessob ekten geprüft , ob sie die Eigenschaften einer der bekannten Landmarkengruppierungen oder Landmarkenformationen erfüllt , was die Landmarkenzuordnung stark vereinfacht .
Bei der Wahl der Gruppierungen oder Formationen ist es möglich, Landmarkengruppierungen oder Landmarkenformationen mit Alleinstellungsmerkmalen zu wählen, die sich ausreichend stark von anderen ( zumindest in dem Fahrstreckenbereich und dessen Umgebung) unterscheiden . Dies ist vergleichbar mit Punktmarker-Formationen im Bereich 3D-Tracking auf Basis von mehreren Kameras . FIGUR 4 zeigt ein weiteres Fahrzeug-S zenario zur Hindernisob- j ektverortung auf der Basis des S zenarios nach der FIGUR 3 mit einer Erfassung von Landmarken im Fahrstreckenbereich zu verschiedenen Verortungs zeitpunkten tl , t2 . Das Fahrzeug- Szenario zur Hindernisobj ektverortung lässt sich dabei dahingehend erweitern, dass die Landmarkengruppierungen oder Landmarkenformationen GFLMi, GFLM2 im Zuge einer dynamischen Hindernisobj ektverortung zu den verschiedenen Verortungs zeitpunkten tl , t2 , also im Laufe des Betriebs gelernt werden, indem den zum Verortungs zeitpunkt tl aus der FIGUR 3 bekannten Landmarkengruppierungen oder Landmarkenformationen GFLMi, GFLM2 eine weitere , zum Verortungs zeitpunkt t2 entstandene Landmarkengruppierung oder Landmarkenformation GFLM12 hinzugefügt wird .
Die Landmarken-Ref erenzdaten LM-RD enthalten dabei weitere Daten, die die weitere Landmarkengruppierung oder Landmarkenformation GFLM12 für eine gruppenbasierte oder formationsbasierte Landmarkenzuordnung repräsentieren und das hinterlegte Kartenmaterial KM zusätzlich ergänzen .

Claims

1. Verfahren zum \7erorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen, bei dem a) von einem Fahrstreckenbereich (FSB) mit mindestens einer Landmarke (LM) und mit mindestens einem Hindernisobjekt (HO) durch mindestens: einen Sensor (SS) einer Fahrzeug-Sensorik (FZS) erfassbare Primär-Sensormessdaten (SMDi) benutzt wer- den, die zu mindestens einem eine der mindestens einen Landmarke (LM) repräsentierbaren Sensormessobjekt (S OLM) gehören, und Sekundär-Sensormessdaten (SMD?) benutzt werden, die zu mindestens einem eines des mindestens einen Hindernisobjekts (HO) repräsentierbaren Sensormessob ekt (SMOHO) gehö- ren, b) gespeicherte, insbesondere in Form als Kartenmaterial (KM) hinterlegte, Landmarken-Ref erenzdaten (LM-RD) benutzt werden, die die mindestens eine Landmarke (LM) repräsentieren, g e k e n n z e i c h n e t d u r c h c) Assoziieren (DAZ) der Primär-Sensormessdaten (SMDi und Sekundär-Sensormessdaten (SMDi) mit den die mindestens eine Landmarke (LM) repräsentierenden Landmarken-Ref erenzdaten (LM-RD) zur Landmarkenzuordnung, wobei
- die Datenassoziation (DAZ) zwischen den Primär-Sensormess- daten (SMDi) und den Landmarken-Ref erenzdaten (LM-RD) eintritt und infolge davon durch assoziierte Primär-Sensormess- daten (SMDi,a J eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt (S OLM) möglich ist und damit die jeweilige Landmarke (LM) durch die assoziierten Primär-Sensor- messdaten (SMDi,az) repräsentiert ist,
- die Datenassoziation (DAZ) zwischen den Sekundär-Sensormessdaten (S Di) und den Landmarken-Ref erenzdaten (LM-RD) ausbleibt und infolge davon eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt (SMOHO) unmöglich ist, d) Ermitteln von sensorerfassungsspezifischen Verortungsdis- tanzen (VODj zwischen dem mindestens einen unzuordbaren Sensormessobjekt (SMOHO) und der mindestens einen durch die jeweiligen assoziierten Primär-Sensormessdaten (SMDi,az) reprä-
BERICHTIGTES BLATT (REGEL 91) ISA/EP sentierte Landmarke (LM) auf Basis der assoziierten Primär- Sensormessdaten (SMDi,az) und der Sekundär-Sensormessdaten (SMD2) , indem in den assoziierten Primär-Sensormessdaten (SMDi,a2) und in den Sekundär-Sensormessdaten (SMD2) enthalte- ne sensorerfassungsspezifische Informationen (IFses) in Bezug auf die zu ermittelnden Verortungsdistanzen (VOD) zueinander in Beziehung gesetzt werden, ej Verorten (VO , VO1F) des mindestens einen Hindernisobjektes (HO) auf einer Fahrstrecke (FS) in dem Fahrstreckenbereich (FSB) , wo es ein Hindernis für ein Fahrzeug (FZ) darstellt, wenn entweder auf der Basis der ermittelten sensorerfassungsspezifischen Verortungsdistanzen (VOD) oder auf der Basis der e rmi 11 e 11 en s e n s o r e r f a s s un g s s p e z i f i s ch e n Ve r o r t un g s d i s t an z e n (VOD) sowie unter Hinzuziehung der Landmarken-Ref erenzdaten (LM-RD) und/oder von gespeicherten, insbesondere in Form als Kartenmaterial (KM) hinterlegten, Referenzobjektdaten (ROD) , die mindestens ein zu der mindestens einen Landmarke (LM) zusätzliches Referenzobjekt (RO) des Fahrzeug- Fahrstreckenbereichs (FSB) mit einem definierten, konstantem Abstand zu ei- ner Fahrstrecke (FS) des Fahr zeug- Fahrstreckenbereichs (FSB) , insbesondere eine Lärmschutzwand (LSWj an einer Straße (STR) oder ein Oberleitungsmasten an einem Bahngleis, repräsentieren, das mindestens eine unzuordbare Sensormessob j ekt (SMOHQ) der Fahrstrecke (FS) zuordbar ist, anderenfalls, wenn das mindestens eine unzuordbare Sensormessobjekt (S OHO) nicht der Fahrstrecke (FS) zuordbar ist, wird das mindestens eine Hindernisobjekt (HO) jenseits der Fahrstrecke (FS) in dem Fahrstreckenbereich (FSB) verortet, wo es kein Hindernis für das Fahrzeug (FZ) darstellt.
2. Verfahren nach Anspruch 1 , d a d u r c h g e k e n n z e i c h n e t , das Verorten (VO, VOIF) des mindestens einen Hindernisobjektes (HO) mit der Sensormessdatenerfassung, der Datenassozi ie- rung und der Verortungsdistanzermittlung zumindest in Bezug auf die Sensormessdatenerfassung und Datenassoziierung dynamisch, zu verschiedenen Verortungs Zeitpunkten im Sinne eines Objekt-Tracking durchge führt wird.
BERICHTIGTES BLATT (REGEL 91) ISA/EP Verfahren nach Anspruch 1 oder 2, dadurch gekenn das s die Landmarken-Ref erenzdaten (LM-RD) Daten enthalten, die eine Gruppierung oder Formation von Landmarken (GFLMi, GFL 2, GFLM12) für eine gruppenbasierte oder formationsbasierte Landmarkenzuordnung repräsentieren .
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch g e k e n n z e i c h n e: t f d a s s die sensorerfassungsspezifischen Informationen (IFses) der assoziierten Primär-Sensormessdaten (SMDi,az) und Sekundär- Sensormessdaten SMD2) > wenn die Art der Messdatenerfassung des mindestens einen Sensors (SS) der Fahrzeug-Sensorik (FZS) auf einem Kartesischen Koordinatensystem. (SSKKS) ? einem Sphärischen Koordinatensystem (SSSKS) oder einem Zylindrischen Koordinatensystem (SSZKS) basiert, insbesondere der mindestens eine censor OSOKKS, SSSKS^ SO KSJ ais K.a. ar— ocier Lid.ar sensor benutzt wird, kartesische Koordinateninformationen (KIFkar) ? sphärische Koordinateninformationen (KIFsph) oder zylindrische Koordinateninformationen (KIFzyi) sind, mit denen durch Win- keldif f erenzbestimmung oder Bestimmung einer euklidischen Distanz als das Zueinander-in-Beziehung-Set zen die Veror- tungsdistanzen (VOD) ermittelt werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gehe n n z e i c h n e t , da ss die sensorerfassungsspezifischen Informationen (IFses) der assoziierten Primär-Sensormessdaten (SMDi,az) und Sekundär- Sensormessdaten (SMD?) , wenn die Art der Messdatenerfassung des mindestens einen Sensors (SS) der Fahrzeug-Sensorik (FZS) auf einem Bildgebungspr inzip (SS3Gw) basiert, insbesondere der mindestens eine Sensor (SSBOT) als Kamerasensor benutzt wird, Pixelinformationen (PlF) sind, mit denen durch Pixelabstand- bestimmung als das Zueinander-in-Beziehung-Setzen die Veror- tungsdistanzen (VOD) ermittelt werden.
BERICHTIGTES BLATT (REGEL 91) ISA/EP
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, das s die Datenassoziation (DAZ) zur Landmarkenzuordnung mit Hilfe von probabilistischen Faktorgraph-Methoden, die vorzugsweise mit Softwarebibliotheken, wie z.B. "Georgia Tech Smoothing and Mapping <GTSAM>" oder "<g2o> as a General Framework for Graph Optimization" implementiert werden, oder Zuordnungs- /Optimierungsmethoden, wie z.B. "Global Nearest Neighbor <GNN>", Munkres-Algorithmen, "Joint Probalistic Data Assozia- tion <JPDA>" oder "Multi-Hypothesis-Tracking <MHT>", durchgeführt wird.
7. Verfahren nach Anspruch d a s s die Landmarkenzuordnung mit Hilfe der probabilistischen Fak- torgraph-Methoden über mehrere Zeitschritte gefiltert wird
8. Computer-’ implementiertes Werkzeug (CIW) zum Verorten von Hindernisobj ekten in landmarkengekennzeichneten Fahrstrecken- bereichen von Fahrzeugen mit einem nicht- flüchtigen, lesbaren Speicher (SP) , in dem Prozessor lesbare Steuerprogrammbefehle eines Programm-Moduls (PGM) zum Verorten von Hindernisobjekten gespeichert sind, und einem mit dem Speicher (SP) verbundenen Prozessor (PZ) , der die Steuerprogrammbefehle des Pro- gramm-Moduls (PGM) zur Hindernisob j ektverortung ausführt, bei dem a) von einem Fahrstreckenbereich (FSB) mit mindestens einer Landmarke (LM) und mit mindestens einem Hindernisob ekt (HO) durch mindestens einen Sensor (SS) einer Fahrzeug-Sensorik (FZSj erfassbare Primär-Sensormessdaten (SMDi) die zu mindestens einem eine der mindestens einen Landmarke (LM) repräsentierbaren Sensormessobjekt (SMOLM) gehören, und Sekundär- Sensormessdaten (SMD?) , die zu mindestens einem eines des mindestens einen Hindernisobjekts (HO) repräsentierbaren Sen- sormessob j ekt SMOHO) gehören, in den Prozessor (PZ) eingegeben werden, insbesondere von dem Prozessor (PZ) eingelesen oder in den Prozessor (PZ) hochgeladen werden,
BERICHTIGTES BLATT (REGEL 91) ISA/EP b) gespeicherte, insbesondere in Form als Kartenmaterial (KM) hinterlegte, Landmarken-Ref erenzdaten (LM-RD) in den Prozessor (PZ) eingegeben werden, insbesondere von dem Prozessor (PZ) eingelesen oder in den Prozessor (PZ) hochgeladen wer- den, die die mindestens eine Landmarke (LM) repräsentieren, dadurch gekennz eichnet , das s c) der Prozessor (PZ) und das Programm-Modul (PGM) zur Hin- dernisob j ektverortung derart ausgebildet sind, dass al) die Primär-Sensormessdaten (SMDi) und Sekundär- Sensormessdaten (SMD2) mit den die mindestens eine Landmarke (LM) repräsentierenden Landmarken-Ref erenzdaten (LM-RD) zur Landmarkenzuordnung assoziiert werden (DAZ) , wobei
- die Datenassoziation (DAZ) zwischen den Primär-Sensormessdaten (S Di) und den Landmarken-Ref erenzdaten (LM-RD) ein- tritt und infolge davon durch assoziierte Primär-Sensormessdaten (S Di,az) eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt (S O:[.M) möglich ist und damit die jeweilige Landmarke (LM) durch die assoziierten Primär-Sensormessdaten (SMDi,az) repräsentiert ist, - die Datenassoziation (DAZ) zwischen den Sekundär-Sensormessdaten (SMD2) und den Landmarken-Ref erenzdaten (LM-RD) ausbleibt und infolge davon eine Landmarkenzuordnung für das mindestens eine Sensormessobjekt (S OHO) unmöglich ist, d) sensorerfassungsspezifische Verortungsdistanzen (VOD) zwi- sehen dem mindestens einen unzuordbaren Sensormessobjekt
(S OHO) und der mindestens einen durch die jeweiligen assoziierten Primär-Sensormessdaten (SMDi,azj repräsentierte Landmarke (LM) auf Basis der assoziierten Primär-Sensormessdaten
(SMDj.,az und der Sekundär-Sensormessdaten (SMD2) ermittelt werden, indem in den assoziierten Primär-Sensormessdaten
(SMDi,az) und in den Sekundär-Sensormessdaten (SMD2) enthaltene sensorerfassungsspezifische Informationen (IFses) in Bezug auf die zu ermittelnden Verortungsdistanzen (VOD) zueinander in Beziehung gesetzt werden, e) das mindestens eine Hindernisobjekt (HO) auf einer Fahrstrecke (FS) in dem Fahrstreckenbereich (FSB) , wo es ein Hindernis für ein Fahrzeug (FZ) darstellt, verortet wird (VO, VOIF) , wenn entweder auf der Basis der ermittelten sensorer-
BERICHTIGTES BLATT (REGEL 91) ISA/EP fassungsspezifischen Verortungsdistanzen (VOD) oder auf der Basis oer ex ictercen sensorerxassüngsspezif iscnen Veror— tungsdistanzen (VOD) sowie unter Hinzuziehung der Landmarken- Ref erenzdaten (LM-RD) und/oder von gespeicherten, insbesonde- re in Form als Kartenmaterial (KM) hinterlegten, Referenzobjektdaten (ROD), die mindestens ein zu der mindestens einen Landmarke (LM) zusätzliches Referenzobjekt (KO) des Fahrzeug- Fahrstreckenbereichs (FSB) mit einem definierten, konstantem Abstand zu einer Fahrstrecke (FS) des Fahrzeug- Fahrstreckenbereichs (FSB) , insbesondere eine Lärmschutzwand (LSW) an einer Straße (STR) oder ein Oberleitungsmasten an einem Bahngleis, repräsentieren, das mindestens eine unzuord- bare Sensormessobjekt SMOHO) der Fahrstrecke (FS) zuordbar ist, anderenfalls, wenn das mindestens eine unzuordbare Sen- sormessob j ekt (S OHO) nicht der Fahrstrecke (FS) zuordbar ist, wird das mindestens eine Hindernisobjekt (HO) jenseits der Fahrstrecke (FS) in dem Fahrstreckenbereich (FSB) verortet, wo es kein Hindernis für das Fahrzeug (FZ) darstellt.
9. Computer-implementiertes Werkzeug (CIW) nach Anspruch 8, dadurch ge kennz eichnet , das s der Prozessor (PZ) und das Programm-Modul (PGM) zur Hinder- nisob j ektverortung derart ausgebildet sind, dass das Verorten (VÖ, VOIF) des mindestens einen Hindernisob j ek- tes (HO) mit der Sensormessdatenerfassung, der Datenassoziie rung und der Verortungsdistanzermittlung zumindest in Bezug auf die Sensormessdatenerfassung und Datenassoziierung dynamisch, zu verschiedenen Verortungszeitpunkten im Sinne eines Objekt-Tracking durchgeführt wird.
10. Computer-implementiertes Werkzeug (CIW) nach Anspruch 8 oder 9, dadurch gekennzeichnet , dass die Landmarken-Ref erenzdaten (LM-RD) Daten enthalten, die ei ne Gruppierung oder Formation von Landm.arken (GFL i, GFL 2, G LM12) für eine gruppenbasierte oder formationsbasierte Landmarkenzuordnung repräsentieren .
BERICHTIGTES BLATT (REGEL 91) ISA/EP
11. Computer-implementiertes Werkzeug (CIW) nach einem der Ansprüche 8 bis 10, dadurch gekennz ei chnet , das s die sensorerfassungsspezifischen Informationen (IF3es) der assoziierten Primär-Sensormessdaten (SMDi,az) und Sekundär- Sensormessdaten (SMD?) , wenn die Art der Messdatenerfassung des mindestens einen Sensors (SS) der Fahrzeug-Sensorik (FZS) auf einem Kartesischen Koordinatensystem (SSKKS , einem Sphärischen Koordinatensystem (SSSKS) oder einem Zylindrischen Koordinatensystem (SSZKS) basiert, insbesondere der mindestens eine Sensor (SSKKS, SSSKs, SSZKs) als Radar- oder Lidarsensor benutzt wird, kartesische Koordinateninf ormationen (KiFkar) , sphärische Koordinateninformationen (KIFsph) oder zylindrische Koordinateninformationen (KIFzyi) sind, mit denen durch Winkeldifferenzbestimmung oder Bestimmung einer euklidischen Distanz als das Zueinander-in-Beziehung-Setzen die Veror- tungsdistanzen (VOD) ermittelt werden.
12. Computer-implementiertes Werkzeug (CIW) nach einem der Ansprüche 8 bis 11, dadurch ge kennz ei chnet , das s die sensorerfassungsspezifischen Informationen (TFses) der assoziierten Primär-Sensormessdaten (SMDi,az) und Sekundär- Sensormessdaten (SMD?) , wenn die Art der Messdatenerfassung des mindestens einen Sensors (SS) der Fahrzeug-Sensorik (FZS) auf einem Bildgebungspr inzip (SSBGE) basiert, insbesondere der mindestens eine Sensor (SSEGp) als Kamerasensor benutzt wird, Pixelinf ormationen (PiF) sind, mit denen durch Pixelabstandbestimmung als das Zueinander- in-Beziehung-Set zen die Veror- tungsdi stanzen (VOD) ermittelt werden.
13. Computer-implementiertes Werkzeug (CIW) nach einem der
Ansprüche 8 bis 12, dadurch gekennzei chnet , dass der Prozessor (PZ) und das Programm-Modul (PGM) zur Hinder- nisobj ektverortung derart ausgebildet sind, dass die Datenassoziation (DAZ) zur Landmarkenzuordnung mit Hilfe von probabilistischen Faktorgraph-Methoden, die vorzugsweise mit Softwarebibliotheken, wie z.B. "Georgia Tech Smoothing and Mapping <GTSAM>’’ oder "<g2o> as a General Framework for Graph Optimization” implementiert werden, oder Zuordnungs-
BERICHTIGTES BLATT (REGEL 91) ISA/EP /Qptimierungsmethoden, wie z.B. "Global Nearest Neighbor <GNN>", Munkres-Älgorithmen, "Joint Probalistic Data Assoziation <JPDA>" oder ’'Multi-Hypothesis— Tracking <MHT>", durchgeführt wird.
14. Computer-implementiertes Werkzeug (CIW) nach Anspruch 13, dadurch g e k e n n z e i c h net , das s der Prozessor (PZ) und das Programm-Modul (PGM) zur Hinder- nisobj ektverortung derart ausgebildet sind, dass die Landmarkenzuordnung mit Hilfe der probabilistischen Faktorgraph-Methoden über mehrere Zeitschritte gefiltert wird.
15. Fahrzeug-Steuerungseinheit (FZSE) zum Verorten von Hin- dernisob j ekten in landmarkengekennzeichneten Fahrstreckenbe- reichen von Fahrzeugen, wobei eine Speichereinrichtung (SPE) zur Speicherung von a) von einem Fahrstreckenbereich (FSB) mit mindestens einer Landmarke (LM) und mit mindestens einem Hindernisobjekt (HO) durch mindestens einen Sensor (SS) einer Fahrzeug-Sensorik (FZS) erfassbare Primär-Sensormessdaten (SMDi , die zu mindestens einem eine der mindestens einen Landmarke (LM) repräsentierbaren Sensormessobjekt (SMOLM) gehören, und Sekundär- Sensormessdaten (SMDa) , die zu mindestens einem eines des mindestens einen Hindernisobjekts (HO) repräsentierbaren Sen- sormessob jekt (SMOHO) gehören, und b) Landmarken-Ref erenzdaten (LM-RD) , die, insbesondere in
Form als Kartenmaterial (KM) hinterlegt, die mindestens eine
Landmarke (LM) repräsentieren, entweder mit einer Steuereinrichtung (STE) in der Fahrzeug- Steuerungseinheit (FZSE) verbunden ist (Option A) oder einer
Steuereinrichtung (STE) in der Fahrzeug-Steuerungseinheit (FZSE) zugeordnet ist (Option B) , ekennze ichnet durch ein Computer-im lementiertes Werkzeug (CIW) nach einem der Ansprüche 8 bis 14, das in die Steuereinrichtung (STE) zur
Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7 nOCIil3OlDGLi? -ist«
BERICHTIGTES BLATT (REGEL 91) ISA/EP
16. Fahrzeug (FZ) zum Verorten von Hindernissen in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen mit einer Fahrzeug-Sensorik (FZS) f in der mindestens ein Sensor (SS) enthalten ist und wobei mit dem mindestens einen Sensor (SS) von einem Fahrstreckenbereich (FSB) mit mindestens einer Landmarke (LM) und mit mindestens einem Hindernisobjekt (HO) Primär-Sensormessdaten (SMDi) , die zu mindestens einem die jeweilige Landmarke (LM) repräsentierbarem Sensormessob j ekt (SMOLM) gehören, und Sekundär-Sensormessdaten (SMD2) , die zu mindestens einem das jeweilige Hindernisobjekt (HO) repräsentierbarem Sensormessobjekt (SMOHO) gehören, erfasst werden und mit einer Fahrzeug-Steuerungseinheit (FZSE) nach Anspruch 15, die mit der Fahrzeug-Sensorik (FZS) zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7 verbunden ist.
BERICHTIGTES BLATT (REGEL 91) ISA/EP
EP21746412.2A 2020-08-07 2021-07-15 Verfahren, computer-implementiertes werkzeug, fahrzeug-steuerungseinheit und fahrzeug zum verorten von hindernisobjekten in landmarkengekennzeichneten fahrstreckenbereichen von fahrzeugen Pending EP4154166A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020210059.4A DE102020210059A1 (de) 2020-08-07 2020-08-07 Verfahren, Computer-implementiertes Werkzeug, Fahrzeug-Steuerungseinheit und Fahrzeug zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen
PCT/EP2021/069758 WO2022028848A1 (de) 2020-08-07 2021-07-15 Verfahren, computer-implementiertes werkzeug, fahrzeug-steuerungseinheit und fahrzeug zum verorten von hindernisobjekten in landmarkengekennzeichneten fahrstreckenbereichen von fahrzeugen

Publications (1)

Publication Number Publication Date
EP4154166A1 true EP4154166A1 (de) 2023-03-29

Family

ID=77071514

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21746412.2A Pending EP4154166A1 (de) 2020-08-07 2021-07-15 Verfahren, computer-implementiertes werkzeug, fahrzeug-steuerungseinheit und fahrzeug zum verorten von hindernisobjekten in landmarkengekennzeichneten fahrstreckenbereichen von fahrzeugen

Country Status (4)

Country Link
US (1) US12330632B2 (de)
EP (1) EP4154166A1 (de)
DE (1) DE102020210059A1 (de)
WO (1) WO2022028848A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020210059A1 (de) * 2020-08-07 2022-02-10 Siemens Mobility GmbH Verfahren, Computer-implementiertes Werkzeug, Fahrzeug-Steuerungseinheit und Fahrzeug zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4428208B2 (ja) * 2004-11-16 2010-03-10 株式会社デンソー 車両用物体認識装置
DE102008007347A1 (de) 2008-02-04 2009-08-06 Robert Bosch Gmbh Vorrichtung und Verfahren zum Bestimmen der Position eines anderen Verkehrsteilnehmers
US8798841B1 (en) * 2013-03-14 2014-08-05 GM Global Technology Operations LLC System and method for improving sensor visibility of vehicle in autonomous driving mode
DE102016205870A1 (de) * 2016-04-08 2017-10-12 Robert Bosch Gmbh Verfahren zur Bestimmung einer Pose eines wenigstens teilautomatisiert fahrenden Fahrzeugs in einer Umgebung mittels Landmarken
JP6649191B2 (ja) * 2016-06-29 2020-02-19 クラリオン株式会社 車載処理装置
DE102016217330A1 (de) * 2016-09-12 2018-03-15 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrzeugs und Steuergerät zur Durchführung des Verfahrens
DE102016015405A1 (de) 2016-12-22 2017-07-06 Daimler Ag Umfassende Umgebungserfassung für einen Kraftwagen mittels Radar
EP3454079B1 (de) * 2017-09-12 2023-11-01 Aptiv Technologies Limited Verfahren zur bestimmung der angemessenheit eines radarziels als ein positionsorientierungspunkt
KR102727540B1 (ko) * 2019-04-26 2024-11-11 현대모비스 주식회사 주차 지원 장치 및 방법
DE102020210059A1 (de) * 2020-08-07 2022-02-10 Siemens Mobility GmbH Verfahren, Computer-implementiertes Werkzeug, Fahrzeug-Steuerungseinheit und Fahrzeug zum Verorten von Hindernisobjekten in landmarkengekennzeichneten Fahrstreckenbereichen von Fahrzeugen

Also Published As

Publication number Publication date
US12330632B2 (en) 2025-06-17
US20230264688A1 (en) 2023-08-24
DE102020210059A1 (de) 2022-02-10
WO2022028848A1 (de) 2022-02-10

Similar Documents

Publication Publication Date Title
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
DE102014223363B4 (de) Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
DE102009006113B4 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE102019215403A1 (de) Vorrichtung zur wegerzeugung an einer kreuzung und verfahren und vorrichtung zum steuern eines fahrzeugs an einer kreuzung
DE102004047130B4 (de) Umgebungsmodellierung für autonome mobile Systeme
DE112020005275T5 (de) Systeme und verfahren zur selektiven verzögerung eines fahrzeugs
DE102017206433B4 (de) Automatikfahrtsteuerungssystem eines mobilen Objektes
DE102008041679A1 (de) Vorrichtung und Verfahren zur erinnerungsbasierten Umfelderkennung
EP3627386A1 (de) Verfahren und vorrichtung zum bereitstellen eines umfeldabbildes eines umfeldes einer mobilen einrichtung und kraftfahrzeug mit einer solchen vorrichtung
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102015205133A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Bewegungsplanung für ein zumindest teilweise automatisiertes Fahren eines Fahrzeugs
EP3063732B1 (de) Situationsanalyse für ein fahrerassistenzsystem
DE102021119871B4 (de) Verfahren und Prozessorschaltung zum Betreiben einer automatisierten Fahrfunktion mit Objektklassifikator in einem Kraftfahrzeug, sowie Kraftfahrzeug
DE102017201664A1 (de) Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs in einer digitalen Karte
DE102019213403A1 (de) Verfahren zur sensorbasierten Lokalisation eines Egofahrzeuges, Egofahrzeug und ein Computerprogramm
DE102016003261A1 (de) Verfahren zur Selbstlokalisierung eines Fahrzeugs in einer Fahrzeugumgebung
DE112020003551T5 (de) Straßenkurvenerzeugung in Bildern der realen Welt als ein Verfahren zur Datenaugmentierung
DE102020106304A1 (de) Verfahren zum Steuern eines Fahrzeuges auf einem Betriebshof, Fahrt- Steuereinheit und Fahrzeug
DE102020127315B4 (de) System und Verfahren zum Annotieren von Automobilradardaten
DE102017105721A1 (de) Verfahren zur Identifikation wenigstens eines Parkplatzes für ein Fahrzeug und Parkplatzassistenzsystem eines Fahrzeugs
WO2022028848A1 (de) Verfahren, computer-implementiertes werkzeug, fahrzeug-steuerungseinheit und fahrzeug zum verorten von hindernisobjekten in landmarkengekennzeichneten fahrstreckenbereichen von fahrzeugen
DE102018115895B4 (de) Verfahren und System zur Erkennung von Hindernissen
DE102021207609A1 (de) Verfahren zur Kennzeichnung eines Bewegungsweges
DE102021119319B4 (de) Vorrichtung und Verfahren zur Erkennung und/oder Repräsentation einer Signalisierungseinheit
DE102022000849A1 (de) Verfahren zur Erzeugung einer Umgebungsrepräsentation für ein Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221221

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS MOBILITY GMBH

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20251126