EP4522492A1 - Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug - Google Patents

Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug

Info

Publication number
EP4522492A1
EP4522492A1 EP23723843.1A EP23723843A EP4522492A1 EP 4522492 A1 EP4522492 A1 EP 4522492A1 EP 23723843 A EP23723843 A EP 23723843A EP 4522492 A1 EP4522492 A1 EP 4522492A1
Authority
EP
European Patent Office
Prior art keywords
trajectory
vehicle
img1
img6
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23723843.1A
Other languages
English (en)
French (fr)
Inventor
Stefan Ewald
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP4522492A1 publication Critical patent/EP4522492A1/de
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/06—Automatic manoeuvring for parking

Definitions

  • the present invention relates to a method for operating a parking assistance system, a computer program product, a parking assistance system and a vehicle with a parking assistance system.
  • Parking assistance systems are known that can be trained to follow a specific trajectory. This is particularly helpful for frequently recurring situations, such as parking the vehicle in a garage or parking the vehicle in a specified parking space. The driver then only has to drive the vehicle close to a starting point of the trajectory, for example to a courtyard entrance. The parking assistance system then follows the trained trajectory autonomously, so that the driver is relieved of the burden.
  • an image capture unit whose capture area includes the ground in the area surrounding the vehicle is used to record images of the ground traveled over along a first trajectory and compare them with position-related stored images, and based on the comparison, a current position and/or a current orientation of the vehicle is determined.
  • DE 10 2013 015 349 A1 discloses a method for operating a vehicle for approaching a parking space in a parking zone that is not visible/remote from the road by the vehicle, in which environmental data of the vehicle is recorded, wherein when approaching a parking space in the parking zone it is identified whether this is a Home parking space or the parking zone is a home parking zone, and when the home parking space or home parking zone is identified and the vehicle approaches the identified home parking space or the identified home parking zone, environmental data or driving data recorded are stored or updated.
  • an object of the present invention is to improve the operation of a parking assistance system.
  • a method for operating a parking assistance system for a vehicle is proposed.
  • the parking assistance system is set up in a tracking mode for autonomously tracking a trajectory from a number of trajectories learned in a training mode, the respective trajectory being defined by a sequence of positions and connecting a start position with a target position, and the respective trajectory being given a number of Images of the vehicle's surroundings captured by an on-board camera are assigned and stored at the respective position.
  • the procedure includes the steps:
  • This method has the advantage that a respective user can intuitively recognize from the display of the images which trajectory it is, which target position it leads to and/or how it runs. This applies in particular if several users use the vehicle alternately and therefore may not have trained a respective trajectory with the vehicle themselves.
  • the advantage is that users can select the correct trajectory in a given situation with greater reliability and the autonomous parking maneuver can therefore be completed successfully. Selecting the wrong trajectory can be avoided and thus the effort that arises from parking the vehicle in an undesirable parking position.
  • the method also saves the user the effort of providing the respective trajectory with metadata, such as a title, keywords, and/or a description. Furthermore, it is not necessary to store such metadata to identify the respective trajectory, which reduces storage requirements.
  • the parking assistance system controls the vehicle autonomously. In the present case, this is done in particular using camera images, lidar data and/or radar data from the surroundings of the vehicle. Based on these images or data, the parking assistance system can, for example, localize and orient itself (this can also be referred to as SLAM, SLAM: Simultaneous Localization And Mapping) and can be set up to detect obstacles in the environment.
  • the vehicle with the parking assistance system can also be referred to as a self-driving vehicle. It can be provided that the autonomous control takes place under the supervision of the user, whereby the user does not necessarily have to be in the vehicle.
  • the level of automation of the vehicle has, for example, an automation level 4 or 5 according to the SAE classification system.
  • the SAE classification system was published in 2014 by SAE International, an automotive standards organization, as J3016, "Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems.” It is based on six different levels of automation and takes into account the level of system intervention required and the driver's attention required.
  • the SAE automation levels range from level 0, which corresponds to a fully manual system, through driver assistance systems at levels 1 to 2, to semi-autonomous (levels 3 and 4) and fully autonomous (level 5) systems, which no longer require a driver .
  • the autonomous vehicle is a vehicle that is capable of sensing its surroundings and navigating without human input. In particular, it corresponds to SAE automation level 5.
  • the user When learning or training the respective trajectory in the training mode, the user preferably controls the vehicle manually.
  • the user can also be supported by the parking assistance system, although the vehicle does not drive autonomously using the parking assistance system.
  • the user of the vehicle has full control of the vehicle.
  • the trajectory to be learned is unknown at this point in time and will only be determined when the training run is carried out.
  • the parking assistance system is set up to follow the respective trajectory using images of the vehicle's surroundings captured by the vehicle's own camera.
  • VSLAM Visual Simultaneous Localization And Mapping
  • the respective trajectory is determined in particular by a sequence of positions.
  • the trajectory includes one or more reference positions.
  • Reference positions correspond in particular to the positions that the vehicle has in the training mode when an image, lidar data and/or radar data of the environment are received and processed in order to determine features in the environment, such as optical features, which can also be referred to as orientation features .
  • a respective group of determined features is assigned to a respective reference position. This means that the reference positions are determined during the teaching of the trajectory.
  • a respective reference position is defined, for example, by two coordinates in a two-dimensional coordinate system and the orientation of the vehicle at this position.
  • the respective trajectory begins, for example, at a starting position, which is in particular a reference position, and ends at a target position, which is also in particular a reference position.
  • the number of trajectories includes one trajectory or several trajectories.
  • the multiple trajectories can be in the same areas or areas, for example close to one another, or in different areas or areas.
  • a user can learn and expand several trajectories on private property. re trajectories at his workplace, a train station, a shopping center and the like.
  • the number of images assigned to the respective trajectory can include one image, two images or even more than two images for the respective trajectory.
  • the images are captured and saved in particular during the training of the trajectory.
  • the respective image shows in particular a section of the vehicle's surroundings, the section depending on the position in which the vehicle was at the time the image was captured, how it was oriented and what angle of view the camera used has.
  • a respective position of the trajectory is assigned an image in which the position itself can be seen.
  • the respective position can be assigned an image that was captured from the respective position.
  • a number of stored images are provided.
  • the number of images provided may be a subset of all stored images, or may include the entire number of stored images.
  • the total number of saved images includes all saved images for all trained trajectories. If only a subset of all images is provided, this subset is selected from all images based on predetermined selection criteria. For example, only one image, in particular the image of the respective target position, or two images, in particular the image of the respective start position and target position, can be selected for each trajectory.
  • the subset can be selected, for example, on the basis of current position information of the vehicle and position information stored for each of the images, with only those images being selected that are close to the current position. "Nearby" means that a distance of the current position to that of the image is less than or equal to a predetermined threshold value.
  • a representation which includes the images provided to represent the respective assigned trajectory.
  • the representation can be viewed as a graphical user interface in which the images provided are in are arranged in a predetermined manner.
  • the display includes the images in a list arrangement or a table arrangement.
  • a schematic representation of the recorded path from a bird's eye view is also possible.
  • the representation can contain other elements, objects and/or information, in particular a numbering of the trajectories, an identification of individual images as a starting position or target position, graphic elements for subdividing and delimiting images of different trajectories from one another and the like.
  • the representation can include dynamic elements, such as an animation comprising several images for a respective trajectory, which are displayed sequentially in time in the representation at a specific position.
  • the representation may be optimized for output on the user interface display device. This means in particular that the representation has a width and/or height that can be displayed on the display device without additional scaling.
  • the representation may include several different partial representations, such as providing different zoom levels for the images. This enables a detailed display of the images, which can be particularly advantageous for display devices that only have a low resolution.
  • the representation can in particular have a greater height than can be displayed in a display on the display device, in which case scrolling through the representation is then possible, for example.
  • the determined representation is output to the display device of the user interface of the vehicle.
  • the representation is transmitted to the display device in the form of an image signal, preferably a digital image signal.
  • the display device receives the image signal and outputs a corresponding image on its display.
  • the display device displays the representation.
  • the display device comprises, for example, a screen, preferably a touch-sensitive screen.
  • a fourth step user input for selecting at least one image contained in the representation is received from the user interface. Since each of the images is associated with a trajectory, a selection of an image corresponds to a selection of the associated trajectory. By selecting the image, the user can therefore select the trajectory that he would like to have traced. This is possible particularly intuitively using a touch-sensitive screen, where the user only has to touch the corresponding image of the display on the display device.
  • the user input can be received by the user interface in particular in the form of coordinates with respect to the representation.
  • the representation is in particular two-dimensional, so that each position in the representation is clearly defined by two coordinates, for example these are pixel coordinates.
  • the user input then contains, for example, a coordinate tuple or a range of coordinates. These coordinates can be used to determine which of the images in the display the user has selected.
  • the vehicle is initiated autonomously along the trajectory assigned to the selected image.
  • the parking assistance system controls the vehicle in such a way that it travels along the selected trajectory to the target position and comes to a stop there.
  • the display device is a component of the parking assistance system.
  • the number of stored images for the respective trajectory includes at least one image of the respective target position.
  • the representation for each trajectory is determined in particular with the image of the target position.
  • the target position is in particular the most memorable position of a respective trajectory for users, which is why this embodiment offers a particularly high level of reliability when selecting the trajectory.
  • the image of the target position may include both an image captured from the target position and an image captured from a location in front of the target position.
  • recording in front of the target position can be advantageous if the target position itself is close to a wall or other obstacles, since an image from the target position does not provide a good overview, for example.
  • the number of stored images for the respective trajectory includes at least one image of the respective starting position and the respective target position.
  • the number of stored images for the respective trajectory comprises an image composed of a plurality of individual images.
  • the composite image can, for example, include a wide-angle representation that was composed of several individual images, each with a smaller image angle.
  • various image processing steps can be carried out, in particular to equalize the individual images, to adjust an exposure and a contrast of the individual images and the like.
  • the composite image comprises a view of the respective position from a bird's eye view.
  • the bird's-eye view can be created in particular by distorting the perspective of images.
  • the composite image includes a bird's-eye view of the entire trajectory. For example, at a respective position in the trajectory, individual images are first converted into a bird's-eye view and then these individual images are combined into one image. The assembly takes place in particular in accordance with the determination of a panoramic image from a plurality of individual images.
  • this comprises:
  • Determining the representation using the provided object so that the object in the representation is overlaid at the target position in an image in which the target position can be seen.
  • the object for representing the position of the vehicle includes, for example, a projection of an outline of the vehicle in the target position onto the ground. If the image of the target position shows the target position, the outline of the vehicle on the ground is displayed in this image. This can take the form of a darkened area, for example, or an outline that is faded into the image.
  • object is understood to mean in particular a graphic object that can be represented in a graphic representation, in particular an image.
  • this comprises:
  • Determining the representation using the determined digital environment map so that the determined digital environment map together with the provided image for the respective trajectory is displayed, the image being arranged in the representation depending on its position in the digital map of the environment.
  • the digital environment map includes in particular a digital representation or representation of the vehicle's surroundings, with recorded objects, such as buildings or vegetation, being shown in the map.
  • the digital environment map can be determined based on recorded environmental sensor data from different environmental sensors, such as camera, lidar, radar and/or ultrasound. This can also be referred to as sensor fusion.
  • the digital environment map for the respective trajectory is determined in particular during the training of the trajectory in the training mode.
  • each image in the digital environment map is arranged in such a way that a relative position of objects on the digital environment map and an object visible in the respective image corresponds to the relative position of these objects in reality.
  • the position of the respective image depends on and is derived from the position of objects visible in the image.
  • all images provided can be arranged accordingly in the display with the digital environment map.
  • the number of trained trajectories comprises at least two trajectories that run in the same area
  • the Representation is determined in such a way that the respective images of the at least two trajectories are displayed in a group.
  • the fact that the two trajectories run in the same area means, for example, that the distance between a first position of the first trajectory and a second position of the second trajectory is smaller than a predetermined threshold value.
  • the predetermined threshold value is, for example, 50 m, 30 m, 10 m or even 5 m.
  • the positions are in particular in a world coordinate system. For this determination, for example, the two positions that have the smallest distance from each other can be used.
  • the trajectories are represented in a group means in particular that they are included in the representation graphically separated from other trajectories. It can also be provided that the trajectories are displayed in a summarized manner, with, for example, a placeholder, such as a symbol or an icon, being displayed instead of the images. By selecting the placeholder, another representation can be called up, in which the trajectories are represented by their respective images.
  • the number of trained trajectories comprises at least two trajectories that run in the same area and with:
  • Determining the representation using the determined common digital environment map so that the common determined digital environment map is displayed together with the respective provided image for the respective trajectory, the respective image being arranged in the representation depending on its position in the digital environment map.
  • the number of images assigned to the respective trajectory is recorded and stored during the training of the trajectory in the training mode.
  • new images are captured with the vehicle's own camera and assigned to the trajectory and stored.
  • the new images can replace the original images in whole or in part. Furthermore, this can be an advantage if the original training trip was carried out in poor visibility conditions, such as darkness, rain, snow and/or a dirty camera lens, which is why the saved images have poor quality.
  • the respective number of images is captured by a number of cameras, the number comprising a front camera, a rear camera, a side camera on a left side of the vehicle and/or a side camera on a right side of the vehicle.
  • each stored image is assigned position information with respect to a world coordinate system, and the representation is determined in such a way that the respective image is arranged relative to other images depending on its assigned position in the world coordinate system.
  • a world coordinate system is understood to mean that all coordinates, especially those of different trajectories, refer to the same reference point (origin).
  • Such a world coordinate system is, for example, the coordinate systems provided by a satellite navigation system, such as NAVSTAR GPS, GALILEO, GLONASS and/or Beidou.
  • the representation can contain, for example, a road map in which the images for the trajectories are superimposed. This allows every user of the vehicle to quickly and intuitively determine where a trained trajectory exists.
  • a computer program product which comprises instructions which, when the program is executed by a computer, cause it to carry out the method according to the first aspect.
  • the computer is in particular part of a vehicle and forms, for example, an electronic control unit (ECU).
  • ECU electronice control unit
  • a computer program product such as a computer program means
  • a parking assistance system for a vehicle is proposed.
  • the parking assistance system is set up in a tracking mode for autonomously tracking a trajectory from a number of trajectories learned in a training mode, the respective trajectory being defined by a sequence of positions and connecting a start position with a target position, and the respective trajectory being a Number of images captured by an on-board camera of an environment of the vehicle is assigned and stored at the respective position.
  • the parking assistance system includes: a provision unit for providing a number of stored images, a determination unit for determining a representation which includes the provided images for representing the respective assigned trajectory, an output unit for outputting the determined representation to a display device of the user interface for displaying the provided images , a receiving unit for receiving user input to select at least one image contained in the representation from the user interface, and a control unit for causing the vehicle to travel autonomously along the trajectory associated with the selected image.
  • This parking assistance system has the same advantages as those explained for the method according to the first aspect.
  • the embodiments and features described for the proposed method apply accordingly to the proposed parking assistance system.
  • the respective unit of the parking assistance system can be implemented in terms of hardware and/or software.
  • the respective unit can be designed, for example, as a computer or as a microprocessor.
  • the respective unit can be designed as a computer program product, as a function, as a routine, as an algorithm, as part of a program code or as an executable object.
  • each of the units mentioned here can also be designed as part of a higher-level control system of the vehicle, such as a central electronic control device and/or a control unit (ECU: Electronic Control Unit).
  • ECU Electronic Control Unit
  • the parking assistance system is set up in particular to carry out the method according to the first aspect.
  • a vehicle with a number of cameras for capturing a respective image of an environment of the vehicle, with a parking assistance system according to the third aspect, and with a user interface comprising a display device is proposed.
  • the vehicle is, for example, a passenger car or a truck.
  • the vehicle preferably comprises a number of sensor units that are set up to detect the driving state of the vehicle and to detect an environment of the vehicle.
  • sensor units of the vehicle are image recording devices, such as a camera, a radar (radio detection and ranging) or a lidar (light detection and ranging), ultrasonic sensors, location sensors, wheel angle sensors and / or wheel speed sensors.
  • the sensor units are each set up to output a sensor signal, for example to the parking assistance system, which carries out semi-autonomous or fully autonomous control of the vehicle depending on the detected sensor signals.
  • the number of cameras includes a front camera, a rear camera, a side camera on a left side of the vehicle and/or a side camera on a right side of the vehicle.
  • Fig. 1 shows a schematic view of a vehicle from a bird's eye view
  • Fig. 2 shows a schematic view of a representation with two images
  • Fig. 3 shows another schematic view of a representation with two images
  • FIG. 4 shows a schematic view of a representation with a digital environment map
  • FIG. 5 shows a further schematic view of a representation with a digital map of the surroundings
  • FIG. 6 shows a schematic block diagram of an exemplary embodiment of a parking assistance system
  • FIG. 7 shows a schematic block diagram of an exemplary embodiment of a method for operating a parking assistance system.
  • the vehicle 100 is, for example, a car that is arranged in an environment 200.
  • the car 100 has a parking assistance system 110, which is designed, for example, as a control device.
  • a plurality of environmental sensor devices 120, 130 are arranged on the car 100, which are, for example, optical sensors 120 and ultrasonic sensors 130.
  • the optical sensors 120 include, for example, visual
  • the optical sensors 120 can in particular each capture an image of a respective area from the environment 200 of the car 100 and output as an optical sensor signal.
  • the ultrasonic sensors 130 are set up to detect a distance to objects arranged in the environment 200 and to output a corresponding sensor signal.
  • the parking assistance system 110 is able to drive the car 100 partially or fully autonomously.
  • the vehicle 100 has various other sensor devices 120, 130. Examples of this are a wheel speed sensor, a steering angle sensor, a position sensor, a microphone, an acceleration sensor, an antenna with a coupled receiver for receiving electromagnetically transmittable data signals, and the like.
  • the vehicle also has a user interface 105, wherein the parking assistance system 110 is communicatively coupled to the user interface 105.
  • the user interface 105 includes a display device (not shown) which is set up to display images IMG1 - IMG6 (see FIGS. 2 - 5) and a representation DSP (see FIGS. 2 - 5).
  • the user interface 105 includes input means (not shown), via which a user of the vehicle 100 can make inputs to systems of the vehicle 100, in particular to the parking assistance system 110.
  • the input means can include buttons, switches, dials, touch-sensitive elements, voice capture, gesture capture, and the like. A respective input can relate in particular to elements that are displayed by the display device at a specific time.
  • the parking assistance system 1 10 is set up in a tracking mode for autonomously tracking a trajectory TR1 - TR4 (see FIGS. 4 or 5) from a number of trajectories TR1 - TR4 learned in a training mode.
  • the respective trajectory TR1 - TR4 is defined by a sequence of positions P1 - P6 (see Fig. 4) and connects a start position P1 with a target position P6.
  • Each of the trajectories TR1 - TR4 is a number of Images IMG1 - IMG6 of the environment 200 of the vehicle 100 captured with an on-board camera 120 are assigned and stored.
  • the respective image IMG1 - IMG6 is recorded when the vehicle 100 is at a respective position P1 - P6 of the trajectory TR1 - TR4, and therefore shows a corresponding section of the environment 200.
  • the parking assistance system 1 10 is constructed, for example, as shown in FIG. 6 and is set up to carry out the method explained with reference to FIG. 7.
  • Fig. 2 shows a schematic view of a representation DSP with two images IMG1, IMG2.
  • the representation DSP is determined in particular by the determination unit 112 (see FIG. 6) on the basis of a number of images IMG1 - IMG6 provided by the provision unit 111 (see FIG. 6).
  • the two images IMG1, IMG2 are assigned to a trained trajectory TR1 - TR4 (see Fig. 4 or 5), which the user drove, for example, with the vehicle 100 of Fig. 1, whereby the parking assistance system 1 10 (see Fig. 1 or 6 ) recorded the trajectory TR1 - TR4.
  • the images IMG1, IMG2 show a view of the surroundings 200 (see FIG. 1) of the vehicle 100 as seen from a starting position P1 (see FIG. 4) (IMG1 overwritten with "Start:”) and another view of the surroundings 200 of the vehicle 100 seen from a target position P6 (see FIG. 4) (IMG2 overwritten with "Target:”), the images IMG1, IMG2 being captured, for example, with a front camera 120.
  • an image viewed from a position in front of the target position P6 is advantageously used to represent the target position P6, since such an image offers a better overview and in particular includes the target position P6 itself (see also Fig. 3).
  • IMG1 is a view of a house with a fence or a wall
  • the representation DSP is transmitted from the output unit 114 (see FIG. 6) of the parking assistance system 110 to the user interface 105 (see FIG. 1), and the user interface 105 displays the representation DSP on the display device. This enables the user to intuitively capture the trajectory TR1 assigned to the images IMG1, IMG2 and can select it for tracing. It should be noted that in embodiments the representation DSP contains only one image for the trajectory TR1, or also contains more than two images for the trajectory TR1 and/or contains composite images for the trajectory TR1 (see also FIG. 4).
  • the parking assistance system 110 includes several trained and stored trajectories TR1 - TR4, a corresponding representation DSP can be determined and output for each additional trajectory TR1 - TR4, so that the user can select the desired trajectory TR1 - TR4 based on the respective images IMG1, IMG2 .
  • the representation DSP can contain corresponding images IMG1, IMG2 for several trajectories TR1 - TR4, these being arranged, for example, simultaneously next to one another or one below the other in the representation DSP (not shown).
  • the user interface 105 sends, for example, a corresponding user input to the parking assistance system 110, which initiates the autonomous tracking of the selected trajectory TR1.
  • FIG. 3 shows a further schematic view of a representation DSP with two images IMG1,
  • the representation DSP is in particular from the determination unit 112 (see FIG. 6). based on a number of provided by the provision unit 11 1 (see FIG. 6).
  • FIG. 3 The representation of FIG. 3 almost corresponds to that of FIG. 2, with one difference being that an object OL is also drawn in the images IMG1, IMG2.
  • the object OL is, for example, a geometric figure (a rectangle that is shown with a distorted perspective) which is displayed in or superimposed on the respective image IMG1, IMG2.
  • the object OL is displayed in the image in particular at a position that corresponds to the target position P6 (see FIG. 4) of the trajectory TR1, i.e. the position of the vehicle 100 when it has traveled along the trajectory TR1.
  • the second image IMG2 is recorded from a position in front of the target position P6, for example the position P5 (see FIG. 4), which is why the target position P6 is contained in the image IMG2.
  • the user can assign the trajectory TR1 even better and is in particular able to distinguish trajectories from one another that end, for example, in neighboring parking spaces and for which the images shown are therefore almost the same are.
  • the object OL is, for example, only superimposed on one of the images IMG1, IMG2.
  • FIG. 4 shows a schematic view of a representation DSP with a digital environment map DMAP and a plurality of images IMG1 - IMG6, which are assigned to the trajectory TR1.
  • the environment represented in the digital environment map DMAP is the same as that shown in images IMG1, IMG2 of FIGS. 2 and 3.
  • the recorded objects OB1 - OB4 are shown in accordance with the environment. This example is the house OB1, the bush OB2, the fence OB3 and the tree OB4.
  • the digital environment map DMAP is preferably recorded and stored during training of the trajectory TR1.
  • the trajectory TR1 includes six positions P1 - P6, where position P1 is the start position and position P6 is the target position.
  • the starting position P1 is, for example, in front of the house (shown here as object OB1) and the target position P6 is to the side of the house OB1.
  • the images IMG1 - IMG6 are preferably composite images that show the respective position from a bird's eye view. This is possible in particular if the vehicle 100 includes several cameras 120, which can capture a total image angle of 360° around the vehicle 100.
  • the image IMG3 was captured, for example, with the front camera when the vehicle 100 was at position P2 and accordingly for the further images/positions.
  • the representation includes both the digital environment map DMAP and images IMG1 - IMG6, which are assigned to the trajectory TR1 and serve to represent the trajectory TR1.
  • the images IMG1 - IMG6 are arranged in the digital environment map of the representation DSP in particular in a way that corresponds to reality. By superimposing the images IMG1 - IMG6 together with the digital environment map DMAP, the user can capture the trajectory TR, in particular the target position P6 of the trajectory TR1, even better. If the images IMG1 - IMG6 are close enough to each other and/or overlap each other, they can also be merged into a single image and saved.
  • the trajectory TR1 can also be displayed in the representation DSP in the form of an object OL (see FIG. 3).
  • Fig. 5 shows a further schematic view of a DSP representation with a digital environment map DMAP.
  • this is the same environment 200 that was already explained in FIG. 4.
  • several trajectories TR1 - TR4 are present in the area of the environment shown.
  • the different trajectories TR1 - TR4 were trained by different users of the vehicle 100.
  • all trajectories TR1 - TR4 start at the starting position shown by image IMG1, but this is not mandatory.
  • the respective image IMG2 - IMG5 of the respective target position is arranged in the representation DSP in relation to the digital environment map DMAP, in particular the objects OB1 - OB4, corresponding to reality, which makes it considerably easier for the user to determine a position of the vehicle from the target position shown to be derived in reality.
  • the user can select one of the images IMG2 - IMG5 in the DSP display in order to select the assigned trajectory TR1 - TR4.
  • a respective object OL (see FIG. 3) can also be displayed in the representation DSP for each trajectory TR1 - TR4.
  • FIG. 6 shows a schematic block diagram of an exemplary embodiment of a parking assistance system 110, which can be used, for example, with the vehicle 100 of FIG.
  • the parking assistance system 1 10 is in a tracking mode for autonomously tracking a trajectory TR1 - TR4 (see Fig. 4 or 5) from a number of in a training mode.
  • the trained trajectories TR1 - TR4 are set up.
  • the respective trajectory TR1 - TR4 is defined by a sequence of positions P1 - P6 (see Fig. 4) and connects a start position P1 with a target position P6.
  • Each of the trajectories TR1 - TR4 is assigned and stored a number of images IMG1 - IMG6 (see FIGS.
  • the parking assistance system 1 10 includes a provision unit 11 1 for providing a number of stored images IMG, a determination unit 1 12 for determining a representation DSP, which includes the images IMG provided to represent the respective assigned trajectory TR1 - TR4 (see FIGS. 4 or 5), an output unit 114 for outputting the determined representation DSP to a display device of the user interface 105 (see FIG.
  • a receiving unit 1 16 for receiving a user input SIG for selecting at least one image IMG contained in the representation DSP from the user interface 105, and one Control unit 118 for causing the vehicle 100 to travel autonomously along the trajectory TR1 - TR4 assigned to the selected image IMG.
  • the control unit 118 outputs a corresponding control signal CTR.
  • the respective unit 11 1 - 1 18 of the parking assistance system 110 can be implemented using hardware and/or software.
  • the respective unit 1 11 - 118 can be designed, for example, as a computer or as a microprocessor.
  • the respective unit 1 11 - 118 can be designed as a computer program product, as a function, as a routine, as an algorithm, as part of a program code or as an executable object.
  • each of the units 1 11 - 118 mentioned here can also be designed as part of a higher-level control system of the vehicle, such as a central electronic control device and/or a control unit (ECU: Electronic Control Unit).
  • the display device and/or the user interface 105 is part of the parking assistance system 110 (not shown).
  • FIG. 7 shows a schematic block diagram of an exemplary embodiment of a method for operating a parking assistance system 110 for a vehicle 100, in particular the parking assistance system 110 shown in FIG. 6 and the vehicle 100 shown in FIG. 1.
  • the parking assistance system 110 is in a tracking mode for autonomously retracing a trajectory TR1 - TR4 (see Fig. 4 or 5) from a number of trajectories TR1 - TR4 trained in a training mode, the respective trajectory TR1 - TR4 being represented by a sequence of positions P1 - P6 (see Fig. 4). is set and connects a start position P1 with a target position P6, and the respective trajectory TR1 - TR4 has a number of images IMG1 - IMG6 (see FIGS.
  • a representation DSP (see FIGS. 2 - 5) is determined, which uses the provided images IMG1 - IMG6 to represent the respective assigned trajectory TR1 - TR4.
  • the determined representation DSP is sent to a display device User interface 105 (see FIG. 1) of the vehicle 100 is output, in a fourth step S4 a user input SIG (see FIG.
  • step S5 for selecting at least one image IMG1 - IMG6 contained in the representation DSP is received from the user interface 105, and in one In the fifth step S5, an autonomous journey of the vehicle 100 is initiated along the trajectory TR1 - TR4 assigned to the selected image IMG1 - IMG6.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Es ist ein Verfahren zum Betreiben eines Parkassistenzsystems (110) für ein Fahrzeug (100) vorgeschlagen. Das Parkassistenzsystem (110) ist in einem Nachfahrmodus zum autonomen Nachfahren einer Trajektorie (TR1 – TR4) aus einer Anzahl von in einem Trainingsmo- dus angelernten Trajektorien (TR1 – TR4) eingerichtet, wobei die jeweilige Trajektorie (TR1 – TR4) durch eine Abfolge von Positionen (P1 – P6) festgelegt ist und eine Startposition (P1) mit einer Zielposition (P6) verbindet, und wobei der jeweiligen Trajektorie (TR1 – TR4) eine Anzahl von mit einer fahrzeugeigenen Kamera (120) erfassten Bildern (IMG1 – IMG6) einer Umgebung (200) des Fahrzeugs (100) bei der jeweiligen Position (P1 – P6) zugeordnet und gespeichert ist. Das Verfahren umfasst die Schritte: Bereitstellen (S1) einer Anzahl von gespeicherten Bildern (IMG1 – IMG6), Ermitteln (S2) einer Darstellung (DSP), welche die bereitgestellten Bilder (IMG1 – IMG6) zur Repräsentation der jeweiligen zugeordneten Trajektorie (TR1 – TR4) umfasst, Ausgeben (S3) der ermittelten Darstellung (DSP) an eine Anzeigevorrichtung einer Benutzerschnittstelle (105) des Fahrzeugs (100), Empfangen (S4) einer Benutzereingabe (SIG) zur Auswahl wenigstens eines in der Darstellung (DSP) enthaltenen Bildes (IMG1 – IMG6) von der Benutzerschnittstelle (105), und Veranlassen (S5) einer autonomen Fahrt des Fahrzeugs (100) entlang der dem aus- gewählten Bild (IMG1 – IMG6) zugeordneten Trajektorie (TR1 – TR4).

Description

VERFAHREN, COMPUTERPROGRAMMPRODUKT, PARKASSISTENZSYSTEM UND
FAHRZEUG
Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Parkassistenzsystems, ein Computerprogrammprodukt, ein Parkassistenzsystem und ein Fahrzeug mit einem Parkassistenzsystem.
Es sind Parkassistenzsysteme bekannt, die zum Nachfahren einer bestimmten Trajektorie trainiert werden können. Dies ist insbesondere für häufig wiederkehrende Situationen hilfreich, wie beispielsweise ein Einparken des Fahrzeugs in eine Garage oder ein Abstellen des Fahrzeugs auf einem vorgegebenen Stellplatz. Der Fahrer muss das Fahrzeug dann nur in die Nähe eines Anfangspunkts der Trajektorie fahren, beispielsweise bis zu einer Hofeinfahrt. Anschließend fährt das Parkassistenzsystem die trainierte Trajektorie autonom nach, so dass der Fahrer entlastet wird.
Über eine längere Nutzungsdauer des Fahrzeugs und/oder bei mehreren Personen, die das Fahrzeug nutzen, können sich mit der Zeit eine Vielzahl von verschiedenen trainierten Trajektorien ansammeln. Dies führt zu dem Problem, dass ein Nutzer angesichts der Vielzahl den Überblick verlieren kann und dann nicht mehr weiß, welche der Trajektorien die von ihm in einer bestimmten Situation gewünschte ist. Insbesondere dann, wenn verschiedene Personen das Fahrzeug abwechselnd nutzen, weiß ein späterer Nutzer nicht, welches Ziel eine von einem vorhergehenden Nutzer gespeicherte Trajektorie hat und/oder wie diese verläuft. Weiterhin ist es bei mehreren Trajektorien, die in einem gleichen Bereich verlaufen, wie beispielsweise auf oder bei einem Grundstück des Nutzers, für den Nutzer schwierig, diese voneinander zu unterscheiden.
Eine Möglichkeit ist es, die verschiedenen Trajektorien mit Schlagwörtern und/oder einer Beschreibung zu versehen, so dass ein Nutzer diese voneinander unterscheiden kann. Dies ist allerdings aufwendig, wenig intuitiv und löst zudem nicht das Problem bei mehreren verschiedenen Nutzer eines Fahrzeugs. Wenn ein Nutzer eine Trajektorie nicht eindeutig zu- ordnen kann, kann dies einerseits dazu führen, dass er in einer bestimmten Situation die falsche Trajektorie zum Nachfahren auswählt, was dazu führt, dass das Fahrzeug nicht zu der gewünschten Parkposition fährt. Dann muss der Nutzer das Fahrzeug entweder manuell einparken, oder aber er probiert weitere Trajektorien, in der Hoffnung, die richtige auszuwählen. Letztlich führt diese Situation zu einem unnötigen Verbrauch von Ressourcen, wie Treibstoff und Zeit, sowie zu einer Unzufriedenheit seitens des Nutzers. Eine solche mangelnde Zuordenbarkeit der trainierten Trajektorien kann dazu führen, dass die Nutzer insgesamt entmutigt werden, das Parkassistenzsystem zu nutzen, wodurch der Nutzen des Parkassistenzsystems sinkt.
DE 10 2015 010 746 A1 offenbart ein Verfahren zur Selbstlokalisation eines Fahrzeugs.
Hierbei wird mit einer Bilderfassungseinheit, deren Erfassungsbereich den Boden in der Umgebung des Fahrzeugs umfasst, entlang einer ersten Trajektorie Bilder vom überfahrenen Boden aufgenommen und mit positionsbezogen gespeicherten Bildern verglichen und anhand des Vergleichs wird eine aktuelle Position und/oder eine aktuelle Ausrichtung des Fahrzeugs ermittelt.
DE 10 2013 015 349 A1 offenbart ein Verfahren zum Betrieb eines Fahrzeugs zum Anfahren eines Parkplatzes in einer nicht einsehbaren/straßenfernen Parkzone durch das Fahrzeug, bei welchem Umgebungsdaten des Fahrzeugs erfasst werden, wobei beim Anfahren eines Parkplatzes in der Parkzone identifiziert wird, ob dieser ein Heim-Parkplatz oder die Parkzone eine Heim-Parkzone ist, und bei identifiziertem Heim-Parkplatz oder Heim-Parkzone und Annäherung des Fahrzeugs an den identifizierten Heim-Parkplatz bzw. an die identifizierte Heim-Parkzone erfasste Umgebungsdaten oder Fahrdaten gespeichert oder aktualisiert werden.
Vor diesem Hintergrund besteht eine Aufgabe der vorliegenden Erfindung darin, den Betrieb eines Parkassistenzsystems zu verbessern. Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Parkassistenzsystems für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist in einem Nachfahrmodus zum autonomen Nachfahren einer Trajektorie aus einer Anzahl von in einem Trainingsmodus angelernten Trajektorien eingerichtet, wobei die jeweilige Trajektorie durch eine Abfolge von Positionen festgelegt ist und eine Startposition mit einer Zielposition verbindet, und wobei der jeweiligen Trajektorie eine Anzahl von mit einer fahrzeugeigenen Kamera erfassten Bildern einer Umgebung des Fahrzeugs bei der jeweiligen Position zugeordnet und gespeichert ist. Das Verfahren umfasst die Schritte:
Bereitstellen einer Anzahl von gespeicherten Bildern,
Ermitteln einer Darstellung, welche die bereitgestellten Bilder zur Repräsentation der jeweiligen zugeordneten Trajektorie umfasst,
Ausgeben der ermittelten Darstellung an eine Anzeigevorrichtung einer Benutzerschnittstelle des Fahrzeugs,
Empfangen einer Benutzereingabe zur Auswahl wenigstens eines in der Darstellung enthaltenen Bildes von der Benutzerschnittstelle, und
Veranlassen einer autonomen Fahrt des Fahrzeugs entlang der dem ausgewählten Bild zugeordneten Trajektorie.
Dieses Verfahren hat den Vorteil, dass ein jeweiliger Nutzer anhand der Darstellung der Bilder in intuitiver Weise erkennt, um welche Trajektorie es sich handelt, zu welcher Zielposition diese führt und/oder wie diese verläuft. Dies gilt insbesondere auch dann, wenn mehrere Nutzer das Fahrzeug abwechselnd nutzen und daher eine jeweilige Trajektorie möglicherweise nicht selbst mit dem Fahrzeug trainiert haben. Somit ergibt sich als Vorteil, dass Nutzer mit höherer Zuverlässigkeit in einer jeweiligen Situation die richtige Trajektorie auswählen und das autonome Einparkmanöver somit erfolgreich abgeschlossen werden kann. Eine Auswahl der falschen Trajektorie kann vermieden werden und somit auch der Aufwand, der durch das Parken des Fahrzeugs in einer unerwünschten Parkposition entsteht. Zudem erspart das Verfahren dem Nutzer den Aufwand, die jeweilige Trajektorie mit Metadaten, wie einem Titel, Schlagworten, und/oder einer Beschreibung zu versehen. Zudem ist es nicht nötig, derartige Metadaten zu Identifizierung der jeweiligen Trajektorie abzuspeichern, was einen Speicherbedarf reduziert.
Darunter, dass das Parkassistenzsystem zum autonomen Nachfahren der jeweiligen Trajektorie eingerichtet ist, wird vorliegend verstanden, dass das Parkassistenzsystem das Fahrzeug autonom steuert. Dies erfolgt vorliegend insbesondere unter Verwendung von Kamerabildern, Lidardaten und/oder Radardaten der Umgebung des Fahrzeugs. Auf Basis dieser Bilder oder Daten kann sich das Parkassistenzsystem beispielsweise lokalisieren und orientieren (dies kann auch als SLAM bezeichnet werden, SLAM: Simultaneous Localization And Mapping) und kann zum Erfassen von Hindernissen in der Umgebung eingerichtet sein. Das Fahrzeug mit dem Parkassistenzsystem kann auch als selbstfahrendes Fahrzeug bezeichnet werden. Es kann vorgesehen sein, dass die autonome Steuerung unter Aufsicht des Nutzers erfolgt, wobei sich der Nutzer nicht zwingend in dem Fahrzeug befinden muss.
Der Automatisierungsgrad des Fahrzeugs weist beispielsweise eine Automatisierungsstufe 4 oder 5 gemäß dem SAE-Klassifikationssystem auf. Das SAE-Klassifikationssystem wurde 2014 von SAE International, einer Standardisierungsorganisation für Kraftfahrzeuge, als J3016, "Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems" veröffentlicht. Es basiert auf sechs verschiedenen Automatisierungsgraden und berücksichtigt das Maß des erforderlichen Eingreifens des Systems und der erforderlichen Aufmerksamkeit des Fahrers. Die SAE-Automatisierungsgrade reichen von Stufe 0, die einem vollständig manuellen System entspricht, über Fahrerassistenzsysteme in Stufe 1 bis 2 bis hin zu teil-autonomen (Stufe 3 und 4) und vollautonomen (Stufe 5) Systemen, bei der kein Fahrer mehr erforderlich ist. Das autonome Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und ohne menschliche Eingabe zu navigieren. Es entspricht insbesondere dem SAE-Automatisierungsgrad 5.
Beim Anlernen oder Trainieren der jeweiligen Trajektorie in dem Trainingsmodus steuert der Nutzer das Fahrzeug vorzugsweise manuell. Dabei kann der Nutzer auch von dem Parkassistenzsystem unterstützt werden, allerdings erfolgt keine autonome Fahrt des Fahrzeugs mittels des Parkassistenzsystems. Der Nutzer des Fahrzeugs hat die volle Kontrolle über das Fahrzeug. Die anzulernende Trajektorie ist zu diesem Zeitpunkt unbekannt und wird erst mit Durchführung der Trainingsfahrt ermittelt.
In bevorzugten Ausführungsformen ist das Parkassistenzsystem zum Nachfahren der jeweiligen Trajektorie unter Verwendung von von der fahrzeugeigenen Kamera erfassten Bildern der Umgebung des Fahrzeugs eingerichtet. Hierunter wird insbesondere verstanden, dass das Parkassistenzsystem einen VSLAM-Algorithmus (VSLAM: Visual Simultaneous Localization And Mapping) unter Verwendung des erfassten Bildes zur Orientierung in der Umgebung, insbesondere zur Lokalisation des Fahrzeugs in Bezug auf die Positionen der jeweiligen Trajektorie, ausführt.
Die jeweilige Trajektorie ist insbesondere durch eine Abfolge von Positionen festgelegt. Insbesondere umfasst die Trajektorie eine oder mehrere Referenzpositionen. Referenzpositionen entsprechen insbesondere den Positionen, die das Fahrzeug in dem Trainingsmodus hat, wenn ein Bild, Lidardaten und/oder Radardaten der Umgebung empfangen und verarbeitet werden, um Merkmale in der Umgebung, wie optische Merkmale, die auch als Orientierungsmerkmale bezeichnet werden können, zu ermitteln. Einer jeweiligen Referenzposition ist dabei eine jeweilige Gruppe ermittelter Merkmale zugeordnet. Das heißt, dass die Referenzpositionen während des Anlernens der Trajektorie festgelegt werden. Eine jeweilige Referenzposition ist beispielsweise durch zwei Koordinaten in einem zweidimensionalen Koordinatensystem und die Ausrichtung des Fahrzeugs an dieser Position festgelegt. Die jeweilige Trajektorie beginnt beispielsweise an einer Startposition, die insbesondere eine Referenzposition ist, und endet an einer Zielposition, die insbesondere ebenfalls eine Referenzposition ist.
Die Anzahl von Trajektorien umfasst eine Trajektorie oder auch mehrere Trajektorien. Die mehreren Trajektorien können in gleichen Gebieten oder Bereichen, also beispielsweise nahe beieinander, oder auch in unterschiedlichen Gebieten oder Bereichen liegen. Beispielsweise kann ein Nutzer mehrere Trajektorien auf einem Privatgrundstück anlernen und weite- re Trajektorien bei seinem Arbeitsplatz, einem Bahnhof, einem Einkaufszentrum und dergleichen mehr anlernen.
Die Anzahl von Bildern, die der jeweiligen Trajektorie zugeordnet ist, kann ein Bild, zwei Bilder oder auch mehr als zwei Bilder für die jeweilige T rajektorie umfassen. Die Bilder werden insbesondere während des Anlernens der Trajektorie erfasst und gespeichert. Das jeweilige Bild zeigt insbesondere einen Ausschnitt der Umgebung des Fahrzeugs, wobei der Ausschnitt davon abhängt, an welcher Position sich das Fahrzeug zum Erfassungszeitpunkt des Bildes befand, wie es orientiert war und welchen Bildwinkel die genutzte Kamera aufweist. Beispielsweise ist einer jeweiligen Position der Trajektorie jeweils ein Bild zugeordnet, in dem die Position selbst zu sehen ist. Alternativ kann der jeweiligen Position ein Bild zugeordnet sein, das aus der jeweiligen Position heraus erfasst wurde.
In einem ersten Schritt des Verfahrens wird eine Anzahl von gespeicherten Bildern bereitgestellt. Die Anzahl bereitgestellter Bilder kann eine Teilmenge aller gespeicherten Bilder sein, oder aber kann die gesamte Anzahl gespeicherter Bilder umfassen. Die gesamte Anzahl gespeicherter Bilder umfasst hierbei alle gespeicherten Bilder für alle trainierten Trajektorien. Wenn nur eine Teilmenge aller Bilder bereitgestellt wird, wird diese Teilmenge auf Basis vorbestimmter Auswahlkriterien aus allen Bildern ausgewählt. Beispielsweise kann für jede Trajektorie nur ein Bild, insbesondere das Bild der jeweiligen Zielposition, oder zwei Bilder, insbesondere das Bild der jeweiligen Startposition und Zielposition, ausgewählt werden. Ferner kann die Teilmenge beispielsweise auf Basis einer aktuellen Positionsinformation des Fahrzeugs und zu jedem der Bilder gespeicherter Positionsinformationen ausgewählt sein, wobei nur diejenigen Bilder ausgewählt werden, die in der Nähe der aktuellen Position liegen. "In der Nähe" bedeutet, dass ein Abstand der aktuellen Position zu derjenigen des Bildes kleiner oder gleich einem vorbestimmten Schwellwert ist.
In einem zweiten Schritt wird eine Darstellung ermittelt, welche die bereitgestellten Bilder zur Repräsentation der jeweiligen zugeordneten Trajektorie umfasst. Die Darstellung kann als eine grafische Benutzeroberfläche betrachtet werden, in welcher die bereitgestellten Bilder in einer vorbestimmten Weise angeordnet sind. Beispielsweise umfasst die Darstellung die Bilder in einer Listenanordnung oder einer Tabellenanordnung. Möglich ist auch eine schematische Darstellung des aufgezeichneten Pfades aus der Vogelperspektive. Die Darstellung kann außer den Bildern weitere Elemente, Objekte und/oder Informationen enthalten, insbesondere eine Nummerierung der Trajektorien, eine Kennzeichnung einzelner Bilder als Startposition oder Zielposition, grafische Elemente zur Unterteilung und Abgrenzung von Bildern unterschiedlicher Trajektorien zueinander und dergleichen mehr.
Die Darstellung kann dynamische Elemente umfassen, wie beispielsweise eine Animation umfassend mehrere Bilder für eine jeweilige T rajektorie, die zeitlich sequenziell in der Darstellung an einer bestimmten Position dargestellt werden.
Die Darstellung kann für die Ausgabe auf der Anzeigevorrichtung der Benutzerschnittstelle optimiert sein. Das heißt insbesondere, dass die Darstellung eine Breite und/oder Höhe aufweist, die auf der Anzeigevorrichtung ohne zusätzliche Skalierung angezeigt werden kann.
Die Darstellung kann mehrere unterschiedlicher Teildarstellungen umfassen, wie beispielsweise unterschiedliche Zoomstufen für die Bilder bereitstellen. Dies ermöglicht eine Detaildarstellung der Bilder, was insbesondere für Anzeigevorrichtungen, die nur eine geringe Auflösung aufweisen, vorteilhaft sein kann.
Die Darstellung kann insbesondere eine größere Höhe als auf der Anzeigevorrichtung in einer Anzeige darstellbar ist aufweisen, wobei dann beispielsweise ein Scrollen durch die Darstellung möglich ist.
In einem dritten Schritt wird die ermittelte Darstellung an die Anzeigevorrichtung der Benutzerschnittstelle des Fahrzeugs ausgegeben. Insbesondere wird die Darstellung in Form eines Bildsignals, vorzugsweise eine digitalen Bildsignals, an die Anzeigevorrichtung übertragen. Die Anzeigevorrichtung empfängt das Bildsignal und gibt auf seiner Anzeige ein entsprechendes Bild aus. Mit anderen Worten zeigt die Anzeigevorrichtung die Darstellung an. Die Anzeigevorrichtung umfasst beispielsweise einen Bildschirm, vorzugsweise einen berührungsempfindlichen Bildschirm.
In einem vierten Schritt wird eine Benutzereingabe zur Auswahl wenigstens eines in der Darstellung enthaltenen Bildes von der Benutzerschnittstelle empfangen. Da jedes der Bilder einer Trajektorie zugeordnet ist, entspricht eine Auswahl eines Bildes einer Auswahl der zugeordneten Trajektorie. Der Nutzer kann mit der Auswahl des Bildes somit eine Auswahl der Trajektorie, die er nachfahren lassen möchte, vornehmen. Dies ist besonders intuitiv mittels eines berührungsempfindlichen Bildschirms möglich, bei dem der Nutzer lediglich das entsprechende Bild der Darstellung auf der Anzeigevorrichtung berühren muss.
Die Benutzereingabe kann von der Benutzerschnittstelle insbesondere in Form von Koordinaten in Bezug auf die Darstellung empfangen werden. Die Darstellung ist insbesondere zweidimensional, so dass jede Position in der Darstellung durch zwei Koordinaten eindeutig festgelegt ist, beispielsweise handelt es sich hierbei um Pixelkoordinaten. Die Benutzereingabe enthält dann beispielsweise ein Koordinatentupel oder einen Bereich von Koordinaten. Von diesen Koordinaten kann auf darauf geschlossen werden, welches der Bilder der Darstellung der Nutzer ausgewählt hat.
In einem fünften Schritt wird die autonomen Fahrt des Fahrzeugs entlang der dem ausgewählten Bild zugeordneten Trajektorie veranlasst. Das heißt, dass das Parkassistenzsystem das Fahrzeug derart steuert, dass diese entlang der ausgewählten Trajektorie zu der Zielposition fährt und dort zum Stehen kommt.
In Ausführungsformen ist die Anzeigevorrichtung ein Bestandteil des Parkassistenzsystems.
Gemäß einer Ausführungsform des Verfahrens umfasst die Anzahl gespeicherter Bilder für die jeweilige Trajektorie wenigstens ein Bild der jeweiligen Zielposition. In dieser Ausführungsform wird die Darstellung für jede Trajektorie insbesondere mit dem Bild der Zielposition ermittelt.
Die Zielposition ist für Nutzer insbesondere die einprägsamste Position einer jeweiligen Trajektorie, weshalb diese Ausführungsform eine besonders hohe Zuverlässigkeit bei der Auswahl der Trajektorie bietet.
Es sei angemerkt, dass das Bild der Zielposition sowohl ein Bild umfassen kann, das aus der Zielposition heraus aufgenommen wurde, und ein Bild umfassen kann, dass von einem Standort vor der Zielposition heraus aufgenommen wurde. Insbesondere die Aufnahme vor der Zielposition kann vorteilhaft sein, wenn die Zielposition selbst nahe an einer Wand oder sonstigen Hindernissen liegt, da dann ein Bild aus der Zielposition heraus beispielsweise keine gute Übersicht bietet.
In weiteren Ausführungsformen umfasst die Anzahl gespeicherter Bilder für die jeweilige Trajektorie wenigstens ein Bild der jeweiligen Startposition und der jeweiligen Zielposition.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Anzahl gespeicherter Bilder für die jeweilige Trajektorie ein aus einer Mehrzahl von Einzelbildern zusammengesetztes Bild.
Das zusammengesetzte Bild kann beispielsweise eine weitwinklige Darstellung umfassen, die aus mehreren Einzelaufnahmen mit jeweils kleinerem Bildwinkel zusammengesetzt wurde. Bei dem Zusammensetzen können verschiedene Bildbearbeitungsschritte durchgeführt werden, insbesondere zum Entzerren der Einzelbilder, zum Angleichen einer Belichtung und eines Kontrasts der Einzelbilder und dergleichen mehr.
Gemäß einer weiteren Ausführungsform des Verfahren umfasst das zusammengesetzte Bild eine Ansicht der jeweiligen Position aus einer Vogelperspektive. Die Ansicht aus der Vogelperspektive kann insbesondere durch ein perspektivisches Verzerren von Bildern erzeugt werden.
In Ausführungsformen umfasst das zusammengesetzte Bild eine Ansicht der gesamten Trajektorie aus einer Vogelperspektive. Beispielsweise werden hierfür an einer jeweiligen Position der Trajektorie zunächst Einzelbilder in eine Ansicht aus der Vogelperspektive umgerechnet und anschließend diese Einzelbilder zu einem Bild zusammengesetzt. Das Zusammensetzen erfolgt insbesondere entsprechend dem Ermitteln eines Panoramabilds aus einer Mehrzahl von Einzelbildern.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst dieses:
Bereitstellen eines Objekts zur Repräsentation einer Position des Fahrzeugs in der Zielposition der jeweiligen Trajektorie, und
Ermitteln der Darstellung unter Verwendung des bereitgestellten Objekts, so dass das Objekt in der Darstellung in einem Bild, in welchem die Zielposition zu sehen ist, an der Zielposition überlagert ist.
Das Objekt zur Repräsentation der Position des Fahrzeugs umfasst beispielsweise eine Projektion eines Umrisses des Fahrzeugs in der Zielposition auf den Boden. Wenn das Bild der Zielposition die Zielposition zeigt, wird somit in dieses Bild der Umriss des Fahrzeugs auf dem Boden eingeblendet. Dies kann beispielsweise in Form eines abgedunkelten Bereichs erfolgen, oder in Form einer Umrisslinie, die in das Bild eingeblendet wird.
Unter "Objekt" wird diesem Zusammenhang insbesondere ein Grafikobjekt verstanden, das in einer grafischen Darstellung, insbesondere dem Bild, darstellbar ist.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst dieses:
Ermitteln einer digitalen Umgebungskarte für die jeweilige Trajektorie, und
Ermitteln der Darstellung unter Verwendung der ermittelten digitalen Umgebungskarte, so dass die ermittelte digitale Umgebungskarte gemeinsam mit dem bereitgestellten Bild für die jeweilige Trajektorie dargestellt wird, wobei das Bild in der Darstellung in Abhängigkeit seiner Position in der digitalen Umgebungskarte angeordnet ist.
Die digitale Umgebungskarte umfasst insbesondere eine digitale Darstellung oder Repräsentation der Umgebung des Fahrzeugs, wobei beispielsweise erfasst Objekte, wie Gebäude oder Vegetation, in der Karte dargestellt sind. Die digitale Umgebungskarte kann auf Basis erfasster Umgebungssensordaten unterschiedlicher Umgebungssensoren, wie Kamera, Lidar, Radar und/oder Ultraschall, ermittelt werden. Dies kann auch als Sensorfusion bezeichnet werden.
Das Ermitteln der digitalen Umgebungskarte für die jeweilige Trajektorie erfolgt insbesondere während des Anlernens der Trajektorie in dem Trainingsmodus.
Darunter, dass das Bild in der Darstellung in Abhängigkeit seiner Position in der digitalen Umgebungskarte angeordnet ist, wird insbesondere verstanden, dass jedes Bild in der digitalen Umgebungskarte derart angeordnet ist, dass eine Relativposition von Objekten der digitalen Umgebungskarte und einem in dem jeweiligen Bild sichtbaren Objekt der Relativposition dieser Objekte in der Realität entspricht. Einfach gesagt heißt das, dass ein Bild, das einer Zielposition neben einem Haus entspricht, in der Darstellung der digitalen Umgebungskarte ebenfalls neben dem Haus angeordnet ist.
Man kann auch sagen, dass die Position des jeweiligen Bildes von der Position von in dem Bild sichtbaren Objekten abhängt und abgeleitet wird.
Sofern für die Trajektorie mehrere Bilder bereitgestellt sind, können alle bereitgestellten Bilder in der Darstellung mit der digitalen Umgebungskarte entsprechend angeordnet sein.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Anzahl angelernter Trajektorien wenigstens zwei Trajektorien, die in einem gleichen Bereich verlaufen, wobei die Darstellung derart ermittelt wird, dass die jeweiligen Bilder der wenigstens zwei Trajektorien in einer Gruppe dargestellt werden.
Darunter, dass die zwei Trajektorien in einem gleichen Bereich verlaufen, wird beispielsweise verstanden, dass der Abstand zwischen einer ersten Position der ersten Trajektorie und einer zweiten Position der zweiten Trajektorie kleiner als ein vorbestimmter Schwellwert ist. Der vorbestimmte Schwellwert ist beispielsweise 50 m, 30 m, 10m oder auch 5 m. Vorzugsweise liegen die Positionen insbesondere in einem Welt-Koordinatensystem vor. Für diese Ermittlung können beispielsweise die beiden Positionen, die zueinander den kleinsten Abstand haben, verwendet werden.
Darunter, dass die Trajektorien in einer Gruppe dargestellt werden, wird insbesondere verstanden, dass diese grafisch abgesetzt zu weiteren Trajektorien in der Darstellung enthalten sind. Es kann auch vorgesehen sein, dass die Trajektorien zusammengefasst dargestellt werden, wobei beispielsweise ein Platzhalter, wie ein Symbol oder ein Icon, anstelle der Bilder dargestellt ist. Durch Anwählen des Platzhalters kann eine weitere Darstellung aufgerufen werden, in welcher die Trajektorien durch ihre jeweiligen Bilder repräsentiert enthalten sind.
Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die Anzahl angelernter Trajektorien wenigstens zwei Trajektorien, die in einem gleichen Bereich verlaufen, und mit:
Ermitteln einer gemeinsamen digitalen Umgebungskarte für die wenigstens zwei Trajektorien, und
Ermitteln der Darstellung unter Verwendung der ermittelten gemeinsamen digitalen Umgebungskarte, so dass die gemeinsame ermittelte digitale Umgebungskarte gemeinsam mit dem jeweiligen bereitgestellten Bild für die jeweilige Trajektorie dargestellt wird, wobei das jeweilige Bild in der Darstellung in Abhängigkeit seiner Position in der digitalen Umgebungskarte angeordnet ist. Diese Ausführungsform ist besonders vorteilhaft, wenn mehrere Trajektorien in einem gleichen Bereich verlaufen, da dann auch die Verwechslungsgefahr besonders hoch ist. Durch die räumliche Darstellung mit der digitalen Umgebungskarte ist es dem Nutzer besonders intuitiv möglich, die in einer bestimmten Situation richtige Trajektorie auszuwählen, selbst dann, wenn er die Trajektorie nicht selbst angelernt hat.
Gemäß einer weiteren Ausführungsform des Verfahrens wird die Anzahl der der jeweiligen Trajektorie zugeordneten Bilder während des Anlernens der Trajektorie in dem Trainingsmodus erfasst und gespeichert.
Gemäß einer weiteren Ausführungsform des Verfahrens werden während eines Nachfahrens der jeweiligen Trajektorie in dem Nachfahrmodus neue Bilder mit der fahrzeugeigenen Kamera erfasst und der Trajektorie zugeordnet und gespeichert.
Dies ist vorteilhaft, um zeitliche Veränderungen in der Umgebung in den Bildern zu berücksichtigen. Die neuen Bilder können die ursprünglichen Bilder ganz oder teilweise ersetzen. Weiterhin kann dies von Vorteil sein, wenn die ursprüngliche Trainingsfahrt bei schlechten Sichtverhältnissen, wie Dunkelheit, Regen, Schnee und/oder einem verschmutzten Kameraobjektiv durchgeführt wurde, weshalb die gespeicherten Bilder eine schlechte Qualität haben.
Gemäß einer weiteren Ausführungsform des Verfahrens wird die jeweilige Anzahl von Bildern von einer Anzahl von Kameras erfasst, wobei die Anzahl eine Frontkamera, eine Rückkamera, eine Seitenkamera auf einer linken Fahrzeugseite und/oder eine Seitenkamera auf einer rechten Fahrzeugseite umfasst.
Gemäß einer weiteren Ausführungsform des Verfahrens ist jedem gespeicherten Bild eine Positionsinformation in Bezug auf ein Welt-Koordinatensystem zugeordnet, und wobei die Darstellung derart ermittelt wird, dass das jeweilige Bild relativ zu weiteren Bildern in Abhängigkeit seiner zugeordneten Position in dem Welt-Koordinatensystem angeordnet ist. Unter einem Welt-Koordinatensystem wird vorliegend verstanden, dass alle Koordinaten, insbesondere auch solche unterschiedlicher Trajektorien, sich auf den gleichen Bezugspunkt (Ursprung) beziehen. Ein solches Welt-Koordinatensystem sind beispielsweise die von einem Satellitennavigationssystem, wie NAVSTAR GPS, GALILEO, GLONASS und/oder Beidou, bereitgestellten Koordinatensysteme.
In dieser Ausführungsform kann die Darstellung beispielsweise eine Straßenkarte enthalten, in welcher die Bilder für die Trajektorien überlagert sind. Dies ermöglicht es jedem Nutzer des Fahrzeugs, schnell und intuitiv zu erfassen, wo eine trainierte Trajektorie vorhanden ist.
Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
Der Computer ist insbesondere Bestandteil eines Fahrzeugs und bildet beispielsweise eine elektronische Steuereinheit (ECU) aus.
Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
Gemäß einem dritten Aspekt wird ein Parkassistenzsystem für ein Fahrzeug vorgeschlagen. Das Parkassistenzsystem ist in einem Nachfahrmodus zum autonomen Nachfahren einer Trajektorie aus einer Anzahl von in einem Trainingsmodus angelernten Trajektorien eingerichtet, wobei die jeweilige Trajektorie durch eine Abfolge von Positionen festgelegt ist und eine Startposition mit einer Zielposition verbindet, und wobei der jeweiligen Trajektorie eine Anzahl von mit einer fahrzeugeigenen Kamera erfassten Bildern einer Umgebung des Fahrzeugs an der jeweiligen Position zugeordnet und gespeichert ist. Das Parkassistenzsystem umfasst: eine Bereitstellungseinheit zum Bereitstellen einer Anzahl von gespeicherten Bildern, eine Ermittlungseinheit zum Ermitteln einer Darstellung, welche die bereitgestellten Bilder zur Repräsentation der jeweiligen zugeordneten Trajektorie umfasst, eine Ausgabeeinheit zum Ausgeben der ermittelten Darstellung an eine Anzeigevorrichtung der Benutzerschnittstelle zum Anzeigen der bereitgestellten Bilder, eine Empfangseinheit zum Empfangen einer Benutzereingabe zur Auswahl wenigstens eines in der Darstellung enthaltenen Bildes von der Benutzerschnittstelle, und eine Steuereinheit zum Veranlassen einer autonomen Fahrt des Fahrzeugs entlang der dem ausgewählten Bild zugeordneten Trajektorie.
Dieses Parkassistenzsystem weist die gleichen Vorteile auf, wie für das Verfahren gemäß dem ersten Aspekt erläutert sind. Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Parkassistenzsystem entsprechend.
Die jeweilige Einheit des Parkassistenzsystems kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Steuergerät (ECU: Electronic Control Unit), ausgebildet sein.
Das Parkassistenzsystem ist insbesondere zum Durchführen des Verfahrens gemäß dem ersten Aspekt eingerichtet. Gemäß einem vierten Aspekt wird ein Fahrzeug mit einer Anzahl von Kameras zum Erfassen eines jeweiligen Bildes einer Umgebung des Fahrzeugs, mit einem Parkassistenzsystem gemäß dem dritten Aspekt, und mit einer Benutzerschnittstelle umfassend eine Anzeigevorrichtung vorgeschlagen.
Das Fahrzeug ist beispielsweise ein Personenkraftwagen oder auch ein Lastkraftwagen. Das Fahrzeug umfasst vorzugsweise eine Anzahl an Sensoreinheiten, die zum Erfassen des Fahrzustands des Fahrzeugs und zum Erfassen einer Umgebung des Fahrzeugs eingerichtet sind. Beispiele für derartige Sensoreinheiten des Fahrzeugs sind Bildaufnahmeeinrichtungen, wie eine Kamera, ein Radar (engl. radio detection and ranging) oder auch ein Lidar (engl. light detection and ranging), Ultraschallsensoren, Ortungssensoren, Radwinkelsensoren und/oder Raddrehzahlsensoren. Die Sensoreinheiten sind jeweils zum Ausgeben eines Sensorsignals eingerichtet, beispielsweise an das Parkassistenzsystem, welches eine teilautonome oder vollautonome Steuerung des Fahrzeugs in Abhängigkeit der erfassten Sensorsignale durchführt.
Die Anzahl von Kameras umfasst eine Frontkamera, eine Rückkamera, eine Seitenkamera auf einer linken Fahrzeugseite und/oder eine Seitenkamera auf einer rechten Fahrzeugseite.
Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert. Fig. 1 zeigt eine schematische Ansicht eines Fahrzeugs aus einer Vogelperspektive;
Fig. 2 zeigt eine schematische Ansicht einer Darstellung mit zwei Bildern;
Fig. 3 zeigt eine weitere schematische Ansicht einer Darstellung mit zwei Bildern;
Fig. 4 zeigt eine schematische Ansicht einer Darstellung mit einer digitalen llmge- bungskarte;
Fig. 5 zeigt eine weitere schematische Ansicht einer Darstellung mit einer digitalen Umgebungskarte;
Fig. 6 zeigt ein schematisches Blockdiagramm eines Ausführungsbeispiels für ein Parkassistenzsystem; und
Fig. 7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems.
In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
Fig. 1 zeigt eine schematische Ansicht eines Fahrzeugs 100 aus einer Vogelperspektive. Das Fahrzeug 100 ist beispielsweise ein Auto, das in einer Umgebung 200 angeordnet ist. Das Auto 100 weist ein Parkassistenzsystem 110 auf, das beispielsweise als ein Steuergerät ausgebildet ist. Zudem sind an dem Auto 100 eine Mehrzahl an Umgebungssensoreinrichtungen 120, 130 angeordnet, wobei es sich beispielhaft um optische Sensoren 120 und Ultraschallsensoren 130 handelt. Die optischen Sensoren 120 umfassen beispielsweise visuelle
Kameras, ein Radar und/oder ein Lidar. Die optischen Sensoren 120 können insbesondere jeweils ein Bild eines jeweiligen Bereichs aus der Umgebung 200 des Autos 100 erfassen und als optisches Sensorsignal ausgeben. Die Ultraschallsensoren 130 sind zum Erfassen eines Abstands zu in der Umgebung 200 angeordneten Objekten und zum Ausgeben eines entsprechenden Sensorsignals eingerichtet. Mittels der von den Sensoren 120, 130 erfassten Sensorsignalen ist das Parkassistenzsystem 110 in der Lage, das Auto 100 teilautonom oder auch vollautonom zu fahren. Außer den in der Fig. 1 dargestellten optischen Sensoren 120 und Ultraschallsensoren 130 kann vorgesehen sein, dass das Fahrzeug 100 verschiedene weitere Sensoreinrichtungen 120, 130 aufweist. Beispiele hierfür sind ein Raddrehzahlsensor, ein Lenkwinkelsensor, ein Positionssensor, ein Mikrofon, ein Beschleunigungssensor, eine Antenne mit gekoppeltem Empfänger zum Empfangen elektromagnetisch übertragbarer Datensignale, und dergleichen mehr.
Das Fahrzeug weist zudem eine Benutzerschnittstelle 105 auf, wobei das Parkassistenzsystem 110 kommunikativ mit der Benutzerschnittstelle 105 gekoppelt ist. Das heißt, dass das Parkassistenzsystem 110 und die Benutzerschnittstelle 105 zum Austauschen von Daten, insbesondere in Form analoger oder digitaler Datensignale, eingerichtet sind. Die Benutzerschnittstelle 105 umfasst eine Anzeigevorrichtung (nicht dargestellt), die zum Anzeigen von Bildern IMG1 - IMG6 (siehe Fig. 2 - 5) und einer Darstellung DSP (siehe Fig. 2 - 5) eingerichtet ist. Ferner umfasst die Benutzerschnittstelle 105 Eingabemittel (nicht dargestellt), über welche ein Nutzer des Fahrzeugs 100 Eingaben an Systeme des Fahrzeugs 100, insbesondere an das Parkassistenzsystem 1 10, vornehmen kann. Die Eingabemittel können Knöpfe, Schalter, Drehregler, berührungsempfindliche Elemente, eine Spracherfassung, eine Gestenerfassung und dergleichen mehr umfassen. Eine jeweilige Eingabe kann sich insbesondere auf Elemente beziehen, die von der Anzeigevorrichtung zu einem bestimmten Zeitpunkt angezeigt werden.
Das Parkassistenzsystem 1 10 ist in einem Nachfahrmodus zum autonomen Nachfahren einer Trajektorie TR1 - TR4 (siehe Fig. 4 oder 5) aus einer Anzahl von in einem Trainingsmodus angelernten Trajektorien TR1 - TR4 eingerichtet. Die jeweilige Trajektorie TR1 - TR4 ist durch eine Abfolge von Positionen P1 - P6 (siehe Fig. 4) festgelegt und verbindet eine Startposition P1 mit einer Zielposition P6. Jeder der Trajektorien TR1 - TR4 ist eine Anzahl von mit einer fahrzeugeigenen Kamera 120 erfassten Bildern IMG1 - IMG6 der Umgebung 200 des Fahrzeugs 100 zugeordnet und gespeichert. Das jeweilige Bild IMG1 - IMG6 wird aufgenommen, wenn sich das Fahrzeug 100 an einer jeweiligen Position P1 - P6 der T rajekto- rie TR1 - TR4 befindet, und zeigt daher einen entsprechenden Ausschnitt der Umgebung 200. In Ausführungsformen kann ein jeweiliges Bild IMG1 - IMG6 Bildinformationen aus mehreren Bildern IMG1 - IMG6 enthalten, insbesondere kann es sich um ein zusammengefügtes Bild handeln. Das Parkassistenzsystem 1 10 ist beispielsweise wie in der Fig. 6 dargestellt aufgebaut und ist zum Durchführen das anhand der Fig. 7 erläuterten Verfahrens eingerichtet.
Fig. 2 zeigt eine schematische Ansicht einer Darstellung DSP mit zwei Bildern IMG1 , IMG2. Die Darstellung DSP wird insbesondere von der Ermittlungseinheit 112 (siehe Fig. 6) auf Basis einer Anzahl von von der Bereitstellungseinheit 11 1 (siehe Fig. 6) bereitgestellten Bildern IMG1 - IMG6 ermittelt.
Die beiden Bilder IMG1 , IMG2 sind einer angelernten Trajektorie TR1 - TR4 (siehe Fig. 4 oder 5) zugeordnet, die der Nutzer beispielsweise mit dem Fahrzeug 100 der Fig. 1 gefahren ist, wobei das Parkassistenzsystem 1 10 (siehe Fig. 1 oder 6) die Trajektorie TR1 - TR4 aufgezeichnet hat. Die Bilder IMG1 , IMG2 zeigen in diesem Beispiel eine Ansicht der Umgebung 200 (siehe Fig. 1 ) des Fahrzeugs 100 von einer Startposition P1 (siehe Fig. 4) aus gesehen (IMG1 überschrieben mit "Start:") und eine weitere Ansicht der Umgebung 200 des Fahrzeugs 100 von einer Zielposition P6 (siehe Fig. 4) aus gesehen (IMG2 überschrieben mit "Ziel:"), wobei die Bilder IMG1 , IMG2 beispielsweise mit einer Frontkamera 120 erfasst wurden. Es sei angemerkt, dass anstelle des Bildes IMG2 von der Zielposition P6 aus gesehen vorteilhaft ein Bild von einer Position vor der Zielposition P6 aus gesehen zur Darstellung der Zielposition P6 genutzt wird, da ein solches Bild einen besseren Überblick bietet und insbesondere die Zielposition P6 selbst umfasst (siehe hierzu auch Fig. 3).
In dem ersten Bild IMG1 ist eine Ansicht eines Hauses mit einem Zaun oder einer Mauer im
Hintergrund zu sehen, sowie ein Baum und ein Busch neben dem Haus. In dem zweiten Bild IMG2 ist nur der Busch und abschnittsweise eine Hauswand sowie der Zaun zu sehen. In diesem Beispiel hat der Nutzer mit dem Fahrzeug 100 insbesondere die in der Fig. 4 dargestellte Trajektorie TR1 trainiert, so dass das Parkassistenzsystem 110 nunmehr in der Lage ist, mit dem Fahrzeug 100 autonom von der Startposition P1 zu der Zielposition P6 zu fahren.
Die Darstellung DSP wird von der Ausgabeeinheit 114 (siehe Fig. 6) des Parkassistenzsystems 110 an die Benutzerschnittstelle 105 (siehe Fig. 1 ) übertragen, und die Benutzerschnittstelle 105 zeigt die Darstellung DSP auf der Anzeigevorrichtung an. Hierdurch wird der Nutzer in die Lage versetzt, die den Bildern IMG1 , IMG2 zugeordnete Trajektorie TR1 in intuitiver Weise zu erfassen und kann diese zum Nachfahren auswählen. Es sei angemerkt, dass in Ausführungsformen die Darstellung DSP nur ein Bild für die Trajektorie TR1 enthält, oder aber auch mehr als zwei Bilder für die Trajektorie TR1 enthält und/oder zusammengesetzte Bilder für die Trajektorie TR1 enthält (siehe hierzu auch Fig. 4).
Sofern das Parkassistenzsystem 110 mehrere trainierte und gespeicherte Trajektorien TR1 - TR4 umfasst, kann für jede weitere Trajektorie TR1 - TR4 eine entsprechende Darstellung DSP ermittelt und ausgegeben werden, so dass der Nutzer die gewünschte Trajektorie TR1 - TR4 anhand der jeweiligen Bilder IMG1 , IMG2 auswählen kann.
Es sei angemerkt, dass die Darstellung DSP entsprechende Bilder IMG1 , IMG2 für mehrere Trajektorien TR1 - TR4 enthalten kann, wobei diese beispielsweise gleichzeitig nebeneinander oder untereinander in der Darstellung DSP angeordnet sind (nicht dargestellt).
Wenn der Nutzer die Trajektorie TR1 auswählt, sendet die benutzerschnittstelle 105 beispielsweise eine entsprechende Benutzereingabe an das Parkassistenzsystem 110, wobei dieses das autonome Nachfahren der ausgewählten Trajektorie TR1 veranlasst.
Fig. 3 zeigt eine weitere schematische Ansicht einer Darstellung DSP mit zwei Bildern IMG1 ,
IMG2. Die Darstellung DSP wird insbesondere von der Ermittlungseinheit 112 (siehe Fig. 6) auf Basis einer Anzahl von von der Bereitstellungseinheit 11 1 (siehe Fig. 6) bereitgestellten
Bildern IMG1 - IMG6 ermittelt.
Die Darstellung der Fig. 3 entspricht fast jener der Fig. 2, wobei ein Unterschied ist, dass in den Bildern IMG1 , IMG2 zusätzlich ein Objekt OL eingezeichnet ist. Es handelt sich bei dem Objekt OL beispielsweise um eine geometrische Figur (ein Rechteck, das perspektivisch verzerrt dargestellt ist), die in das jeweilige Bild IMG1 , IMG2 eingeblendet oder diesem überlagert ist. Das Objekt OL wird hierbei insbesondere an einer Position in das Bild eingeblendet, die der Zielposition P6 (siehe Fig. 4) der Trajektorie TR1 entspricht, also der Position des Fahrzeugs 100, wenn dieses entlang der Trajektorie TR1 gefahren ist.
Das zweite Bild IMG2 ist in diesem Beispiel von einer Position vor der Zielposition P6, also beispielsweise der Position P5 (siehe Fig. 4) aus aufgenommen, weshalb die Zielposition P6 in dem Bild IMG2 enthalten ist.
Durch die zusätzliche Überlagerung der Zielposition P6 in den dargestellten Bildern IMG1 , IMG2 kann der Nutzer die Trajektorie TR1 noch besser zuordnen und ist insbesondere in der Lage, Trajektorien voneinander zu unterscheiden, die beispielsweise auf benachbarten Parkplätzen enden und für die daher die dargestellten Bilder fast gleich sind.
Es sei angemerkt, dass das Objekt OL alternativ zu der Darstellung DSP in der Fig. 3 beispielsweise nur auf einem der Bilder IMG1 , IMG2 überlagert ist.
Fig. 4 zeigt eine schematische Ansicht einer Darstellung DSP mit einer digitalen Umgebungskarte DMAP und einer Mehrzahl von Bildern IMG1 - IMG6, die der Trajektorie TR1 zugeordnet sind. Die in der digitalen Umgebungskarte DMAP dargestellte Umgebung ist beispielsweise die gleiche, die in den Bildern IMG1 , IMG2 der Fig. 2 und 3 dargestellt ist. In der digitalen Umgebungskarte DMAP sind die erfassten Objekte OB1 - OB4 der Umgebung entsprechend dargestellt. Es handelt sich in diesem Beispiel um das Haus OB1 , den Busch OB2, den Zaun OB3 und den Baum OB4. Die digitale Umgebungskarte DMAP wird vorzugsweise bei dem Training der Trajektorie TR1 erfasst und gespeichert.
Die Trajektorie TR1 umfasst in diesem Beispiel sechs Positionen P1 - P6, wobei Position P1 die Startposition ist und Position P6 die Zielposition. Die Startposition P1 liegt hierbei beispielsweise vor dem Haus (hier dargestellt als Objekt OB1 ) und die Zielposition P6 liegt seitlich neben dem Haus OB1 . An jeder Position P1 - P6 wurde während des Trainings wenigstens ein Bild IMG1 - IMG6 der Umgebung erfasst, der Trajektorie TR1 zugeordnet und gespeichert. Vorzugsweise handelt es sich bei den Bildern IMG1 - IMG6 um zusammengesetzte Bilder, die die jeweilige Position aus einer Vogelperspektive zeigen. Dies ist insbesondere dann möglich, wenn das Fahrzeug 100 mehrere Kameras 120 umfasst, die insgesamt einen Bildwinkel von 360° um das Fahrzeug 100 erfassen können. Aber auch dann, wenn das Fahrzeug 100 lediglich eine Frontkamera 120 aufweist, können die Bilder der Frontkamera 120 in eine Ansicht von oben umgerechnet werden, indem diese geeignet perspektivisch verzerrt werden. Es sei angemerkt, dass ein jeweiliges Bild IMG1 - IMG6 nicht zwingend erfasst wurde, wenn sich das Fahrzeug 100 an der korrespondierenden Position befand.
Vielmehr ist das Bild IMG3 beispielsweise mit der Frontkamera erfasst worden, als das Fahrzeug 100 sich an der Position P2 befand und entsprechend für die weiteren Bil- der/Positionen.
Die Darstellung umfasst in diesem Beispiel sowohl die digitale Umgebungskarte DMAP als auch Bilder IMG1 - IMG6, die der Trajektorie TR1 zugeordnet sind und zur Darstellung der Trajektorie TR1 dienen. Die Bilder IMG1 - IMG6 sind in der digitalen Umgebungskarte der Darstellung DSP insbesondere korrespondierend zu der Realität angeordnet. Durch die überlagerte Darstellung der Bilder IMG1 - IMG6 zusammen mit der digitalen Umgebungskarte DMAP kann der Nutzer die Trajektorie TR, insbesondere die Zielposition P6 der Trajektorie TR1 , noch besser erfassen. Wenn die Bilder IMG1 - IMG6 dicht genug beieinander liegen und/oder einander überschneiden, können diese auch zu einem einzigen Bild zusammengefügt und gespeichert werden.
In Ausführungsformen kann zudem die Trajektorie TR1 in Form eines Objekts OL (siehe Fig. 3) in die Darstellung DSP eingeblendet werden.
Fig. 5 zeigt eine weitere schematische Ansicht einer Darstellung DSP mit einer digitalen Umgebungskarte DMAP. Es handelt sich beispielsweise um die gleiche Umgebung 200, die bereits in der Fig. 4 erläutert wurde. In diesem Beispiel sind allerdings mehrere Trajektorien TR1 - TR4 in dem dargestellten Bereich der Umgebung vorhanden. Beispielsweise wurden die verschiedenen Trajektorien TR1 - TR4 von unterschiedlichen Nutzern des Fahrzeugs 100 trainiert. In diesem Beispiel beginnen alle Trajektorien TR1 - TR4 an der durch das Bild IMG1 dargestellten Startposition, was jedoch nicht zwingend ist.
Das jeweilige Bild IMG2 - IMG5 der jeweiligen Zielposition ist in der Darstellung DSP in Bezug auf die digitale Umgebungskarte DMAP, insbesondere die Objekte OB1 - OB4, korrespondierend zu der Realität angeordnet, was es dem Nutzer erheblich erleichtert, von der dargestellten Zielposition eine Position des Fahrzeugs in der Realität abzuleiten.
Der Nutzer kann beispielsweise in der Darstellung DSP eines der Bilder IMG2 - IMG5 auswählen, um damit die zugeordnete Trajektorie TR1 - TR4auszuwählen.
In Ausführungsformen kann zudem ein jeweiliges Objekt OL (siehe Fig. 3) für eine jede Trajektorie TR1 - TR4 in die Darstellung DSP eingeblendet werden.
Fig. 6 zeigt ein schematisches Blockdiagramm eines Ausführungsbeispiels für ein Parkassistenzsystem 1 10, das beispielsweise mit dem Fahrzeug 100 der Fig 1 genutzt werden kann. Das Parkassistenzsystem 1 10 ist in einem Nachfahrmodus zum autonomen Nachfahren einer Trajektorie TR1 - TR4 (siehe Fig. 4 oder 5) aus einer Anzahl von in einem Trainingsmo- dus angelernten Trajektorien TR1 - TR4 eingerichtet. Die jeweilige Trajektorie TR1 - TR4 ist durch eine Abfolge von Positionen P1 - P6 (siehe Fig. 4) festgelegt und verbindet eine Startposition P1 mit einer Zielposition P6. Jeder der Trajektorien TR1 - TR4 ist eine Anzahl von mit einer fahrzeugeigenen Kamera 120 (siehe Fig. 1 ) erfassten Bildern IMG1 - IMG6 (siehe Fig. 2 - 6) der Umgebung 200 (siehe Fig. 1 ) des Fahrzeugs 100 zugeordnet und gespeichert. Das jeweilige Bild IMG1 - IMG6 wird aufgenommen, wenn sich das Fahrzeug 100 an einer jeweiligen Position P1 - P6 der T rajektorie TR1 - TR4 befindet, und zeigt daher einen entsprechenden Ausschnitt der Umgebung 200. Das Parkassistenzsystemsystem 1 10 umfasst eine Bereitstellungseinheit 11 1 zum Bereitstellen einer Anzahl von gespeicherten Bildern IMG, eine Ermittlungseinheit 1 12 zum Ermitteln einer Darstellung DSP, welche die bereitgestellten Bilder IMG zur Repräsentation der jeweiligen zugeordneten Trajektorie TR1 - TR4 (siehe Fig. 4 oder 5) umfasst, eine Ausgabeeinheit 114 zum Ausgeben der ermittelten Darstellung DSP an eine Anzeigevorrichtung der Benutzerschnittstelle 105 (siehe Fig. 1 ), insbesondere in Form eines digitalen Bild- oder Datensignals, eine Empfangseinheit 1 16 zum Empfangen einer Benutzereingabe SIG zur Auswahl wenigstens eines in der Darstellung DSP enthaltenen Bildes IMG von der Benutzerschnittstelle 105, und eine Steuereinheit 118 zum Veranlassen einer autonomen Fahrt des Fahrzeugs 100 entlang der dem ausgewählten Bild IMG zugeordneten Trajektorie TR1 - TR4. In diesem Beispiel gibt die Steuereinheit 1 18 ein entsprechendes Steuersignal CTR aus.
Die jeweilige Einheit 11 1 - 1 18 des Parkassistenzsystems 110 kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit 1 11 - 118 zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit 1 11 - 118 als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten 1 11 - 118 auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem Steuergerät (ECU: Electronic Control Unit), ausgebildet sein. In Ausführungsformen ist die Anzeigevorrichtung und/oder die Benutzerschnittstelle 105 Teil des Parkassistenzsystems 110 (nicht dargestellt).
Fig. 7 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems 110 für ein Fahrzeug 100, insbesondere des in der Fig. 6 dargestellten Parkassistenzsystems 110 und des in der Fig. 1 dargestellten Fahrzeugs 100. Das Parkassistenzsystem 110 ist in einem Nachfahrmodus zum autonomen Nachfahren einer Trajektorie TR1 - TR4 (siehe Fig 4 oder 5) aus einer Anzahl von in einem Trainingsmodus angelernten Trajektorien TR1 - TR4 eingerichtet, wobei die jeweilige Trajektorie TR1 - TR4 durch eine Abfolge von Positionen P1 - P6 (siehe Fig. 4) festgelegt ist und eine Startposition P1 mit einer Zielposition P6 verbindet, und wobei der jeweiligen Trajektorie TR1 - TR4 eine Anzahl von mit einer fahrzeugeigenen Kamera 120 (siehe Fig. 1) erfassten Bildern IMG1 - IMG6 (siehe Fig. 2 - 6) einer Umgebung 200 (siehe Fig. 1) des Fahrzeugs 100 bei der jeweiligen Position P1 - P6 zugeordnet und gespeichert ist. In einem ersten Schritt S1 wird eine Anzahl von gespeicherten Bildern IMG1 - IMG6 bereitgestellt. In einem zweiten Schritt S2 wird eine Darstellung DSP (siehe Fig. 2 - 5) ermittelt, welche die bereitgestellten Bilder IMG1 - IMG6 zur Repräsentation der jeweiligen zugeordneten Trajektorie TR1 - TR4, in einem dritten Schritt S3 wird die ermittelte Darstellung DSP an eine Anzeigevorrichtung einer Benutzerschnittstelle 105 (siehe Fig. 1) des Fahrzeugs 100 ausgegeben, in einem vierten Schritt S4 wird eine Benutzereingabe SIG (siehe Fig. 6) zur Auswahl wenigstens eines in der Darstellung DSP enthaltenen Bildes IMG1 - IMG6 von der Benutzerschnittstelle 105 empfangen, und in einem fünften Schritt S5 wird eine autonome Fahrt des Fahrzeugs 100 entlang der dem ausgewählten Bild IMG1 - IMG6 zugeordneten Trajektorie TR1 - TR4 veranlasst.
Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar. BEZUGSZEICHENLISTE
100 Fahrzeug
105 Benutzerschnittstelle
110 Parkassistenzsystem
111 Bereitstellungseinheit
112 Ermittlungseinheit
114 Ausgabeeinheit
116 Empfangseinheit
118 Steuereinheit
120 Umgebungssensoreinrichtung
130 Umgebungssensoreinrichtung
200 Umgebung
CTR Steuersignal
DMAP digitale Umgebungskarte
DSP Darstellung
IMG1 Bild
IMG2 Bild
IMG3 Bild
IMG4 Bild
IMG5 Bild
IMG6 Bild
OB1 Objekt
OB2 Objekt
OB3 Objekt
OB4 Objekt
OL Objekt
P1 Position
P2 Position P3 Position
P4 Position
P5 Position
P6 Position
51 Verfahrensschritt
52 Verfahrensschritt
53 Verfahrensschritt
54 Verfahrensschritt
55 Verfahrensschritt
SIG Benutzereingabe
TR1 Trajektorie
TR2 Trajektorie
TR3 Trajektorie
TR4 Trajektorie

Claims

PATENTANSPRÜCHE
1 . Verfahren zum Betreiben eines Parkassistenzsystems (110) für ein Fahrzeug (100), wobei das Parkassistenzsystem (110) in einem Nachfahrmodus zum autonomen Nachfahren einer Trajektorie (TR1 - TR4) aus einer Anzahl von in einem Trainingsmodus angelernten Trajektorien (TR1 - TR4) eingerichtet ist, wobei die jeweilige Trajektorie (TR1 - TR4) durch eine Abfolge von Positionen (P1 - P6) festgelegt ist und eine Startposition (P1) mit einer Zielposition (P6) verbindet, und wobei der jeweiligen Trajektorie (TR1 - TR4) eine Anzahl von mit einer fahrzeugeigenen Kamera (120) erfassten Bildern (IMG1 - IMG6) einer Umgebung (200) des Fahrzeugs (100) bei der jeweiligen Position (P1 - P6) zugeordnet und gespeichert ist, das Verfahren umfassend die Schritte:
Bereitstellen (S1 ) einer Anzahl von gespeicherten Bildern (IMG1 - IMG6), Ermitteln (S2) einer Darstellung (DSP), welche die bereitgestellten Bilder (IMG1 - IMG6) zur Repräsentation der jeweiligen zugeordneten Trajektorie (TR1 - TR4) umfasst, Ausgeben (S3) der ermittelten Darstellung (DSP) an eine Anzeigevorrichtung einer Benutzerschnittstelle (105) des Fahrzeugs (100),
Empfangen (S4) einer Benutzereingabe (SIG) zur Auswahl wenigstens eines in der Darstellung (DSP) enthaltenen Bildes (IMG1 - IMG6) von der Benutzerschnittstelle (105), und
Veranlassen (S5) einer autonomen Fahrt des Fahrzeugs (100) entlang der dem ausgewählten Bild (IMG1 - IMG6) zugeordneten Trajektorie (TR1 - TR4).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Anzahl gespeicherter Bilder (IMG1 - IMG6) für die jeweilige T rajektorie (TR1 - TR6) wenigstens ein Bild der jeweiligen Zielposition (P6) umfasst.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Anzahl gespeicherter Bilder (IMG1 - IMG6) für die jeweilige Trajektorie (TR1 - TR4) ein aus einer Mehrzahl von Einzelbildern zusammengesetztes Bild umfasst.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das zusammengesetzte
Bild eine Ansicht der jeweiligen Position (P1 - P6) aus einer Vogelperspektive umfasst.
5. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch:
Bereitstellen eines Objekts (OL) zur Repräsentation einer Position des Fahrzeugs (100) in der Zielposition (P6) der jeweiligen Trajektorie (TR1 - TR4), und
Ermitteln der Darstellung (DSP) unter Verwendung des bereitgestellten Objekts (OL), so dass das Objekt (OL) in der Darstellung (DSP) in einem Bild (IMG1 - IMG6), in welchem die Zielposition (P6) zu sehen ist, an der Zielposition (P6) überlagert ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch:
Ermitteln einer digitalen Umgebungskarte (DMAP) für die jeweilige Trajektorie (TR1 - TR4), und
Ermitteln der Darstellung (DSP) unter Verwendung der ermittelten digitalen Umgebungskarte (DMAP), so dass die ermittelte digitale Umgebungskarte (DMAP) gemeinsam mit dem bereitgestellten Bild (IMG1 - IMG6) für die jeweilige Trajektorie (TR1 - Tr4) dargestellt wird, wobei das Bild (IMG1 - IMG6) in der Darstellung (DSP) in Abhängigkeit seiner Position in der digitalen Umgebungskarte (DMAP) angeordnet ist.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzahl angelernter Trajektorien (TR1 - TR4) wenigstens zwei Trajektorien umfasst, die in einem gleichen Bereich verlaufen, wobei die Darstellung (DSP) derart ermittelt wird, dass die jeweiligen Bilder (IMG1 - IMG6) der wenigstens zwei Trajektorien in einer Gruppe dargestellt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzahl angelernter Trajektorien (TR1 - TR4) wenigstens zwei Trajektorien umfasst, die in einem gleichen Bereich verlaufen, und mit: Ermitteln einer gemeinsamen digitalen Umgebungskarte (DMAP) für die wenigstens zwei Trajektorien, und
Ermitteln der Darstellung (DSP) unter Verwendung der ermittelten gemeinsamen digitalen Umgebungskarte (DMAP), so dass die gemeinsame ermittelte digitale Umgebungskarte (DMAP) gemeinsam mit dem jeweiligen bereitgestellten Bild (IMG1 - IMG6) für die jeweilige Trajektorie (TR1 - TR4) dargestellt wird, wobei das jeweilige Bild (IMG1 - IMG6) in der Darstellung in Abhängigkeit seiner Position in der digitalen Umgebungskarte (DMAP) angeordnet ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzahl der der jeweiligen Trajektorie (TR1 - TR4) zugeordneten Bilder (IMG1 - IMG6) während des Anlernens der Trajektorie (TR1 - TR4) in dem Trainingsmodus erfasst und gespeichert wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass während eines Nachfahrens der jeweiligen Trajektorie (TR1 - TR4) in dem Nachfahrmodus neue Bilder mit der fahrzeugeigenen Kamera (120) erfasst werden und der Trajektorie (TR1 - TR4) zugeordnet und gespeichert werden.
11 . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die jeweilige Anzahl von Bildern (IMG1 - IMG6) von einer Anzahl von Kameras (120) erfasst wird, die Anzahl umfassend eine Frontkamera, eine Rückkamera, eine Seitenkamera auf einer linken Fahrzeugseite und/oder eine Seitenkamera auf einer rechten Fahrzeugseite.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jedem gespeicherten Bild (IMG1 - IMG6) eine Positionsinformation in Bezug auf ein Welt- Koordinatensystem zugeordnet ist, und wobei die Darstellung derart ermittelt wird, dass das jeweilige Bild relativ zu weiteren Bildern in Abhängigkeit seiner zugeordneten Position in dem Weltkoordinatensystem angeordnet ist.
13. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 - 12 auszuführen.
14. Parkassistenzsystem für ein Fahrzeug (100), wobei das Parkassistenzsystem (110) in einem Nachfahrmodus zum autonomen Nachfahren einer Trajektorie (TR1 - TR4) aus einer Anzahl von in einem Trainingsmodus angelernten Trajektorien (TR1 - TR4) eingerichtet ist, wobei die jeweilige Trajektorie (TR1 - TR4) durch eine Abfolge von Positionen (P1 - P6) festgelegt ist und eine Startposition (P1 ) mit einer Zielposition (P6) verbindet, und wobei der jeweiligen Trajektorie (TR1 - TR4) eine Anzahl von mit einer fahrzeugeigenen Kamera (120) erfassten Bildern (IMG1 - IMG6) einer Umgebung (200) des Fahrzeugs (100) bei der jeweiligen Position (P1 - P6) zugeordnet und gespeichert ist, das Parkassistenzsystem (110) umfassend: eine Bereitstellungseinheit (11 1 ) zum Bereitstellen einer Anzahl von gespeicherten Bildern (IMG1 - IMG6), eine Ermittlungseinheit (112) zum Ermitteln einer Darstellung (DSP), welche die bereitgestellten Bilder (IMG1 - IMG6) zur Repräsentation der jeweiligen zugeordneten Trajektorie (TR1 - TR4) umfasst, eine Ausgabeeinheit (1 14) zum Ausgeben der ermittelten Darstellung (DSP) an eine Anzeigevorrichtung einer Benutzerschnittstelle (105) des Fahrzeugs (100), eine Empfangseinheit (116) zum Empfangen einer Benutzereingabe (SIG) zur Auswahl wenigstens eines in der Darstellung (DSP) enthaltenen Bildes (IMG1 - IMG6) von der Benutzerschnittstelle (105), und eine Steuereinheit (1 18) zum Veranlassen einer autonomen Fahrt des Fahrzeugs (100) entlang der dem ausgewählten Bild (IMG1 - IMG6) zugeordneten Trajektorie (TR1 - TR4).
15. Fahrzeug (100) mit einer Anzahl von Kameras (120) zum Erfassen eines jeweiligen Bildes (IMG1 - IMG6) einer Umgebung (200) des Fahrzeugs (100), mit einem Parkassis- tenzsystem (110) nach Anspruch 14 und mit einer Benutzerschnittstelle (105) umfassend eine Anzeigevorrichtung.
EP23723843.1A 2022-05-11 2023-04-27 Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug Pending EP4522492A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022111724.3A DE102022111724A1 (de) 2022-05-11 2022-05-11 Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug
PCT/EP2023/061065 WO2023217538A1 (de) 2022-05-11 2023-04-27 Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug

Publications (1)

Publication Number Publication Date
EP4522492A1 true EP4522492A1 (de) 2025-03-19

Family

ID=86382782

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23723843.1A Pending EP4522492A1 (de) 2022-05-11 2023-04-27 Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug

Country Status (7)

Country Link
US (1) US20250333049A1 (de)
EP (1) EP4522492A1 (de)
JP (1) JP2025517667A (de)
KR (1) KR20250003747A (de)
CN (1) CN119183432A (de)
DE (1) DE102022111724A1 (de)
WO (1) WO2023217538A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102024117697A1 (de) 2024-06-24 2025-12-24 Valeo Schalter Und Sensoren Gmbh Verfahren zum zumindest semiautonomen Manövrieren eines Fahrzeugs zu einer Zwischenposition und/oder einem Endpunkt entlang einer trainierten Fahrtrajektorie, elektronisches Rangiersystem, sowie Steuergerät

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010051206A1 (de) 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102013015349A1 (de) 2013-09-17 2014-04-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeugs
JP6299401B2 (ja) * 2014-05-09 2018-03-28 日産自動車株式会社 駐車支援装置及び駐車支援方法
DE102015010746A1 (de) 2015-08-17 2016-03-24 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102016211183A1 (de) * 2015-09-08 2017-03-09 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und System zum Ausführen einer automatisierten Fahrt eines Fahrzeugs unter Beteiligung mindestens eines weiteren Fahrzeugs
DE102015217489B4 (de) 2015-09-14 2021-10-28 Volkswagen Aktiengesellschaft Eingabeverfahren und Vorrichtung in einem Kraftfahrzeug zum Auswählen eines Zieles einer automatisierten Fahrt
US10429850B2 (en) * 2016-11-09 2019-10-01 Mitsubishi Electric Corporation Automatic parking apparatus, parking guidance apparatus, automatic parking method, and parking guidance method
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
CN107776570B (zh) * 2017-09-19 2020-09-01 广州汽车集团股份有限公司 全自动泊车方法及全自动泊车系统
KR102104900B1 (ko) * 2017-12-19 2020-04-27 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US12272156B2 (en) * 2019-03-26 2025-04-08 Sony Semiconductor Solutions Corporation Image processing apparatus, vehicle control apparatus, method, and program
DE102019211681B4 (de) * 2019-08-05 2021-07-15 Volkswagen Aktiengesellschaft Verfahren eines Fahrzeugs zum automatisierten Parken
CN111976717B (zh) * 2019-11-29 2022-07-08 长城汽车股份有限公司 一种智能泊车方法和装置
KR20230109807A (ko) * 2022-01-13 2023-07-21 현대자동차주식회사 차량 및 차량의 제어방법

Also Published As

Publication number Publication date
US20250333049A1 (en) 2025-10-30
WO2023217538A1 (de) 2023-11-16
CN119183432A (zh) 2024-12-24
KR20250003747A (ko) 2025-01-07
DE102022111724A1 (de) 2023-11-16
JP2025517667A (ja) 2025-06-10

Similar Documents

Publication Publication Date Title
DE102021104290B3 (de) Verfahren zum zumindest teilautomatisierten Parken eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
EP2769373B1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102018208277A1 (de) Trainingsverfahren für ein Fahrerassistenzverfahren, Fahrerassistenzverfahren, Steuergerät und Fahrzeug mit dem Steuergerät
DE102016211182A1 (de) Verfahren, Vorrichtung und System zum Durchführen einer automatisierten Fahrt eines Fahrzeugs entlang einer aus einer Karte bereitgestellten Trajektorie
DE102021111325A1 (de) Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
EP3844946B1 (de) Verfahren und anordnung zum erzeugen einer mit bildinformationen texturierten umfeldkarte eines fahrzeugs und fahrzeug umfassend eine solche anordnung
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE102018113344A1 (de) Verfahren zum Lokalisieren eines Kraftfahrzeugs in einer Umgebung nach einer Lernfahrt; Steuereinrichtung sowie Fahrassistenzsystem
DE102017124661A1 (de) Verfahren zum Unterstützen eines Benutzers eines Kraftfahrzeugs beim Einparken auf einem Parkplatz, entsprechendes Computerprogrammprodukt, entsprechende Fahrerassistenzvorrichtung und entsprechendes Kraftfahrzeug
DE102018114963A1 (de) Neulokalisierungsverfahren eines Fahrzeugs unter Verwendung von verschiedenen 3D-Wolken
DE102019115712A1 (de) Trajektorienoptimierung für eine gefahrene Trajektorie
EP4522492A1 (de) Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug
DE102012202186A1 (de) Verfahren zur Bereitstellung von Umgebungsinformationen
DE102018102137A1 (de) Verfahren zum Anzeigen einer Trajektorie und entsprechende Vorrichtung
EP1642770A2 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
DE102018121274B4 (de) Verfahren zum Visualisieren einer Fahrabsicht, Computerprogrammprodukt und Visualisierungssystem
WO2014202496A1 (de) Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug
DE102020209817B4 (de) Zumindest teilweise autonom steuerbares Fahrzeug, Verfahren, Computerprogramm und Vorrichtung zur Validierung von Informationen über eine Beschränkung eines Verkehrsbereichs
EP4381465A1 (de) Verfahren und kartenerzeugungseinrichtung für ein fahrzeug zur erzeugung einer hochauflösenden karte einer bodenfläche in einem fahrzeugumfeld
DE102021102426A1 (de) Verfahren zum betreiben eines fahrzeugs, computerprogrammprodukt, system und fahrzeug
DE102023202306B3 (de) Verfahren zum Erzeugen einer Umgebungsansicht eines Fahrzeugs, Bildaufnahmeeinrichtung und Fahrzeug
DE102019208928A1 (de) Verfahren und Vorrichtung zum Erzeugen einer visuellen Repräsentation eines Umfeldes eines Fortbewegungsmittels
DE102023205502A1 (de) Verfahren, Computerprogramm, Steuergerät oder zentrale Recheneinheit und Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20241017

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)