WO2013034140A1 - Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers - Google Patents

Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers Download PDF

Info

Publication number
WO2013034140A1
WO2013034140A1 PCT/DE2012/100244 DE2012100244W WO2013034140A1 WO 2013034140 A1 WO2013034140 A1 WO 2013034140A1 DE 2012100244 W DE2012100244 W DE 2012100244W WO 2013034140 A1 WO2013034140 A1 WO 2013034140A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
autonomous
assistance system
restriction
driving maneuver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2012/100244
Other languages
English (en)
French (fr)
Inventor
Alfred Eckert
Ronald Bayer
Stefan LÜKE
Bernd Piller
Georg Halasy-Wimmer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Original Assignee
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46888857&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2013034140(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Continental Teves AG and Co OHG filed Critical Continental Teves AG and Co OHG
Priority to US14/241,275 priority Critical patent/US9511723B2/en
Priority to DE112012003762.6T priority patent/DE112012003762A5/de
Priority to EP12762202.5A priority patent/EP2753532B1/de
Priority to JP2014528853A priority patent/JP6138130B2/ja
Publication of WO2013034140A1 publication Critical patent/WO2013034140A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10—Automatic or semi-automatic parking aid systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Definitions

  • the invention relates to a method and a device for an assistance system, which is used to carry out an autonomous or semi-autonomous driving maneuver of a vehicle, for example a parking assistance system in a vehicle.
  • optical sensor systems in particular cameras for detecting the vehicle environment.
  • these systems can take over various driver-supporting functions, which is why such systems are also known as assistance systems or driver assistance systems.
  • Assistance systems are already able to perform autonomous or semi-autonomous driving maneuvers, such as parking and / or parking maneuvers.
  • a system for parking assistance is known for example from DE 10 2009 057 837 AI.
  • the system in this case serves to assist the driver when parking in a parking area of a vehicle garage.
  • a camera system captures the surroundings of the vehicle.
  • the environment images are evaluated to detect the garage entrance of the vehicle garage with an image recognition process. After detection of the garage entrance, the surrounding image is evaluated by a character recognition method according to at least one marking arranged on a garage rear wall.
  • the position of the vehicle with respect to the garage entrance and the mark is determined and it will depend on the determined position of the vehicle for Control of the vehicle on the parking area required steering angle indicating control signals generated.
  • the control signals can be displayed as steering instructions to the driver or at least fed to a control system in order to realize a semi-automatic or fully automatic driving of the vehicle on the parking area.
  • DE 10 2006 036 933 A1 shows a method for generating an overall image from at least two overlapping individual images, wherein the individual images are captured by cameras arranged on a motor vehicle and combined by an image processing device to form the overall image.
  • TopView systems typically include multiple on-vehicle (real) capture cameras that generate image data from various areas of the vehicle environment. The image data is then subjected to various transformations in an electronic image data processing device and a composite image of the entire vehicle environment is generated. As a result, for example, a view of the surroundings around the vehicle can be obtained from a perspective above the vehicle roof (bird's-eye view), ie the image of a (virtual) camera above the vehicle Vehicle generated.
  • a perspective above the vehicle roof bird's-eye view
  • the overall image can be continuously displayed to the driver of the motor vehicle on a display device, for example to facilitate shunting or parking maneuvers, or the overall image data can be processed or evaluated by assistance systems for performing autonomous and partially autonomous driving maneuvers, for example for object recognition and for deriving control commands For example, to control the steering, gas and brake (s) of the vehicle.
  • the invention is therefore based on the object of specifying a method and a device for an assistance system for carrying out autonomous and semi-autonomous driving maneuvers, wherein it is ensured that the high requirements concerning the process responsibility of the assistance system are met and, in particular, endangering human, material and the environment is largely excluded.
  • An essential idea of the invention is, in an assistance system, which in particular uses a TopView system for carrying out an autonomous or semi-autonomous driving maneuver, to use the multi-image generated overall image of the vehicle environment, in addition to the processing for deriving control commands for driving maneuvers, in addition to determine at least one constraint and to bring the assistance system into a safe state when at least one constraint exists.
  • a TopView system for carrying out an autonomous or semi-autonomous driving maneuver, to use the multi-image generated overall image of the vehicle environment, in addition to the processing for deriving control commands for driving maneuvers, in addition to determine at least one constraint and to bring the assistance system into a safe state when at least one constraint exists.
  • conditions or situations captured from the image data of the overall image can be understood that would complicate or jeopardize the secure execution of an autonomous or semi-autonomous driving maneuver.
  • further information of in-vehicle sensors can be used to determine the at least one restriction.
  • a significant advantage of the invention is, in particular when using the method according to the invention or when designing the device according to the invention with a TopView system, that restrictions based on the overall picture of the vehicle environment can be recognized better and faster.
  • image data of a TopView system it is possible to respond more dynamically and flexibly to specific environmental conditions or to critical situations.
  • the method according to the invention is preferably used in an assistance system which serves to carry out an autonomous or semi-autonomous driving maneuver of a vehicle.
  • Autonomous or semi-autonomous driving maneuvers can basically be understood as any driving maneuver of a vehicle be, in which one, several or all control and regulation tasks are taken over by the assistance system, which would otherwise be performed by the driver when manually performing the respective driving maneuver, and thus in particular fully automated driving maneuvers that are performed without the driver in the vehicle sitting.
  • the method according to the invention is used, in particular, in an assistance system which serves to carry out an autonomous or semi-autonomous parking or parking maneuver.
  • Under a partially autonomous driving maneuver can be understood in this case a parking and / or Ausparkmanöver in which the assistance system performs one or more regulatory and control tasks, such as the control and regulation of the vehicle brake (s) and the vehicle steering.
  • Under an autonomous driving maneuver is in the case preferably a driving maneuver to understand, in which all control and regulatory tasks of
  • Assistance system required to move the vehicle from an ACTUAL position to a DESIRED position (e.g., park position), preferably including control of vehicle acceleration (gas).
  • the assistance system in which the method according to the invention is used preferably comprises a camera system by means of which image data are generated from a vehicle environment and processed to carry out the driving maneuver.
  • the generation of the image data is preferably carried out by means of several cameras, which are aligned to different areas of the vehicle environment.
  • the image data can then be suitably processed by means of image processing devices for carrying out the driving maneuver, for example such that objects such as other vehicles and obstacles are detected from the image data, the distances to the detected objects are determined, the length and depth of a parking space are calculated and the information is used on the basis of this information necessary driving maneuvers including the required steering angles are derived.
  • other sensors can also be used to detect objects and obstacles and to calculate the length and depth of the parking space, such as ultrasound, radar, lidar and laser sensors.
  • the assistance system when an autonomous or semi-autonomous driving maneuver is carried out, the assistance system is preferably transferred to a safe state if it is detected on the basis of the image data obtained by means of the camera system and processed by the image processing means that at least one restriction exists. Restriction can be understood to mean any restriction that impairs the safe and correct execution of the respective autonomous or semi-autonomous driving maneuver by the assistance system, in particular visual
  • a safe implementation is in particular an implementation of the maneuver meant in the damage to the vehicle and a risk to people and the environment, in particular of persons, can be largely excluded.
  • a correct implementation can be understood to mean a performance of the driving maneuver, in compliance with the respectively calculated control and regulation variables.
  • a visual restriction of the camera system is in particular a restriction of the camera system to understand in which a reliable detection of objects (vehicles, obstacles, people, etc.) is no longer ensured.
  • the at least one restriction may, in addition to the at least one restriction by means of image processing of the image data obtained by means of the camera system, alternatively or additionally be detected from information of in-vehicle sensors.
  • the camera system of the assistance system is preferably a system in which individual images from different areas of the vehicle environment are detected by means of a plurality of cameras and suitably transformed by means of image processing means, in order thereby to generate an overall image of the vehicle environment.
  • the camera system is thus preferably a TopView system.
  • both for carrying out the autonomous or semi-autonomous driving maneuver i. in particular for the derivation of the control and regulation variables for the driving maneuver, as well as for the recognition of the at least one restriction that processes the overall image of the vehicle environment generated by means of the TopView system.
  • Particularly advantageous in this embodiment of the method is the fact that by means of the overall image of the vehicle environment, all areas around the vehicle environment with respect to a present restriction can be examined, and that due to the generated all-round visibility better, faster and more dynamic or flexible before various situations occur and / or can be reacted during the execution of the driving maneuver.
  • a restriction in the sense of the method according to the invention is in particular present if at least one area of the vehicle environment detected by means of the camera system has no illumination or has an illumination which is below a certain brightness threshold value. No or too little illumination of areas of the vehicle environment, for example, occur in driving maneuvers that are performed in the evening or at night and / or in garages.
  • attempts are initially made by means of illumination devices of the vehicle, for example by Control of the vehicle headlights or by switching on arranged on the vehicle auxiliary lights specifically illuminate the areas concerned. If the restriction continues to exist, in particular despite targeted illumination, the assistance system according to the invention is transferred to a safe state.
  • a restriction in the sense of the method according to the invention furthermore exists, in particular, when an alignment of at least one camera of the camera system of the assistance system deviates from a defined orientation.
  • Under the defined orientation is preferably the orientation of a camera to understand, according to alignment at factory settings or the normal orientation of a camera with a correct adjustment of the camera system.
  • the fact that one of the cameras is no longer properly aligned can lead to blind corners / spots or blind spots in the generated overall image Vehicle environment arise.
  • blind spots objects can no longer be reliably detected as a result of which reliable and correct implementation of the respective autonomous or semi-autonomous driving maneuver is no longer adequately ensured.
  • the assistance system in particular in the event that an alignment of at least one camera of the camera system of the assistance system deviates from a defined orientation, the assistance system is transferred to a safe state. The deviation can be detected directly from the generated overall picture of the vehicle environment.
  • a restriction in the sense of the method according to the invention furthermore exists, in particular, when using the Image data of the camera system is detected that at least one of the following operating conditions is present:
  • the field of vision of one or more cameras of the camera system may be impaired by one or more open vehicle doors as well as by an open trunk and / or an open hood.
  • One or more open vehicle doors, an open trunk and / or unfolded vehicle mirrors may also cause during an autonomous or semi-autonomous maneuver, that the respective vehicle parts with objects in the
  • Vehicle environment collide which would cause particular damage to your own vehicle. If one or more cameras of the camera system are integrated, for example, in the vehicle mirrors of the vehicle, or if cameras of the camera system are arranged near side mirrors of the vehicle, folded side mirrors can cause the alignment of cameras of the camera system no longer corresponds to a correct orientation or that Field of view of the cameras is affected or obscured by the mirror. Persons who are in the immediate vicinity of the vehicle, ie, for example, within the movement space or on the planned route of the vehicle, or persons who are in an autonomous or semi-autonomous driving maneuver in the vehicle interior, can also endanger the safe execution of the driving maneuver. Each of the mentioned operating conditions can thus lead to an autonomous or partially autonomous driving maneuver not performed safely can be.
  • the assistance system is transferred to a safe state when at least one of said operating conditions, in particular directly from the generated overall image of the vehicle environment, is detected.
  • the overall image of the vehicle environment can be suitably processed by means of corresponding image processing devices, eg by means of image recognition methods, pattern matching / pattern recognition etc.
  • the presence of the at least one restriction can also be detected by means of in-vehicle sensor information.
  • vehicle-internal sensors can be used, in particular signals from sensors that are already present in the vehicle and the information about the opening state of the vehicle doors, trunk and or on the state of Motor hood lock deliver and / or for example signals from seat occupancy sensors and belt locks.
  • the transfer of the assistance system into a safe state preferably leads to the assistance system transferring the vehicle to a standstill, preferably by activating the vehicle brake (s).
  • the transfer of the assistance system into a safe state can in particular also include the transfer of the assistance system and / or the vehicle into a defined initial state.
  • the vehicle may, for example, be brought into an initial position, in particular in its starting position before the initiation of the autonomous or semi-autonomous driving maneuver.
  • the transfer of the assistance system into an initial state can For example, consist of one or more cameras of the camera system in a defined orientation
  • the vehicle mirrors of the vehicle can be brought into a position required for the driving maneuver and / or the vehicle doors and / or the boot of the vehicle can be automatically closed.
  • the driver of the vehicle is signaled the presence of a restriction and / or the transfer of the assistance system into the safe state.
  • the signaling may for example be carried out by means of acoustic, optical and haptic signals, wherein both existing signaling devices in the vehicle, e.g. Horn and (warning) turn signals, or additional on / in the vehicle arranged signaling devices can be used.
  • the assistance system according to the invention is preferably arranged in a vehicle and serves for carrying out an autonomous or semi-autonomous driving maneuver of the vehicle, in particular a parking and / or parking maneuver.
  • the assistance system comprises a camera system which captures individual images from different areas of a vehicle environment by means of a plurality of cameras and transforms them suitably by means of image processing means, in order thereby to generate an overall image of the vehicle surroundings.
  • the camera system is preferably a TopView system.
  • To carry out the driving maneuver and to determine a restriction the overall picture of the vehicle environment is processed according to the invention.
  • the assistance system according to the invention continues configured such that in the presence of a restriction in an autonomous or semi-autonomous driving maneuver (ie before and / or during the driving maneuver), the assistance system is transferred to a safe state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung für ein Assistenzsystem, das zur Durchführung eines autonomen oder teilautonomen Fahrmanövers eines Fahrzeugs dient, beispielsweise ein Parkassistenzsystem in einem Fahrzeug, wobei mittels eines Kamerasystems aus einer Fahrzeugumgebung Bilddaten erzeugt und zur Durchführung des Fahrmanövers verarbeitet werden. Das Assistenzsystem wird in einen sicheren Zustand überführt, wenn anhand der Bilddaten erkannt wird, dass eine Beschränkung vorliegt.

Description

Verfahren und Vorrichtung für ein AssistenzSystem in einem
Fahrzeug zur Durchführung eines autonomen oder teilautonomen
Fahrmanövers
Die Erfindung betrifft ein Verfahren und eine Vorrichtung für ein Assistenzsystem, das zur Durchführung eines autonomen oder teilautonomen Fahrmanövers eines Fahrzeugs dient, beispielsweise ein Parkassistenzsystem in einem Fahrzeug.
Seit einigen Jahren werden in Fahrzeugen vermehrt optische Sensorsysteme eingesetzt, insbesondere Kameras zur Erfassung des Fahrzeugumfeldes. Mittels spezieller elektronischer Einrichtungen und Software können diese Systeme verschiedene fahrerunterstützende Funktionen übernehmen, weshalb derartige Systeme auch unter der Bezeichnung Assistenzsysteme bzw. Fahrerassistenzsysteme bekannt sind. Einige dieser
Assistenzsysteme sind bereits in der Lage autonome oder teilautonome Fahrmanöver durchzuführen, beispielsweise Einpark- und/oder Ausparkmanöver.
Ein System zur Einparkunterstützung ist beispielsweise aus der DE 10 2009 057 837 AI bekannt. Das System dient in diesem Fall zur Unterstützung des Fahrers beim Einparken in eine Parkfläche einer Fahrzeuggarage. Mittels eines Kamerasystems wird die Umgebung des Fahrzeugs erfasst. Die Umgebungsbilder werden zur Erkennung der Garageneinfahrt der Fahrzeuggarage mit einem Bilderkennungsverfahren ausgewertet. Nach Erkennung der Garageneinfahrt wird das Umgebungsbild mit einem Zeichenerkennungsverfahren nach wenigstens einer auf einer Garagenrückwand angeordneten Markierung ausgewertet.
Anschließend wird die Position des Fahrzeugs in Bezug auf die Garageneinfahrt und die Markierung ermittelt und es werden in Abhängigkeit der ermittelten Position des Fahrzeugs zur Steuerung des Fahrzeugs auf die Parkfläche erforderliche Lenkwinkel anzeigende Steuersignale erzeugt.
Die Steuersignale können als Lenkhinweise dem Fahrer angezeigt oder wenigstens einem Steuersystem zugeführt werden, um ein halbautomatisches oder vollautomatisches Fahren des Fahrzeugs auf die Parkfläche zu realisieren.
Für Assistenzsysteme zur Durchführung autonomer oder teilautonomer Fahrmanöver können heutzutage Sensorsystem eingesetzt, die in der Lage sind die gesamte Fahrzeugumgebung zu erfassen, im Sinne einer 360°-Sicht bzw. im Sinne einer Rundumsicht um das Fahrzeug, und mit dessen Ausgangssignalen in Form von detektierten Objekten rund um das Fahrzeug Fahrerassistenzfunktionen durchgeführt werden können. Die DE 10 2006 036 933 AI zeigt hierzu ein Verfahren zur Erzeugung eines Gesamtbilds aus zumindest zwei überlappenden Einzelbildern, wobei die Einzelbilder durch an einem Kraftfahrzeug angeordnete Kameras erfasst und durch eine Bildverarbeitungseinrichtung zu dem Gesamtbild zusammengefügt werden .
Systeme wie in der DE 10 2006 036 933 AI beschrieben, werden auch als TopView-Systeme oder omnidirektionale Kamerasysteme bezeichnet. TopView-Systeme umfassen typischerweise mehrere im oder am Fahrzeug angeordnete (reale) Aufnahmekameras , mit denen Bilddaten aus verschiedenen Bereich der Fahrzeugumgebung erzeugt werden. Die Bilddaten werden daraufhin in einer elektronischen Bilddatenverarbeitungseinrichtung unterschiedlichen Transformationen unterzogen und es wird ein zusammengesetztes Bild der gesamten Fahrzeugumgebung generiert. Dadurch kann beispielsweise eine Ansicht der um das Fahrzeug herum liegenden Umgebung aus einer Perspektive oberhalb des Fahrzeugdachs (Vogelperspektive) erhalten werden, d.h. es wird das Bild einer (virtuellen) Kamera oberhalb des Fahrzeugs erzeugt. Das Gesamtbild kann dem Fahrer des Kraftfahrzeugs fortlaufend auf einer Anzeigevorrichtung angezeigt werden, beispielsweise um Rangier- oder Parkmanöver zu erleichtern, oder es können die Gesamtbilddaten durch Assistenzsysteme zur Durchführung autonomer und teilautonomer Fahrmanöver verarbeitet bzw. ausgewertet werden, beispielsweise zur Objekterkennung und zur Ableitung von Steuerbefehlen, z.B. zur Steuerung von Lenkung, Gas und Bremse (n) des Fahrzeugs.
Gerade bei Assistenzsystemen, die zur Durchführung von autonomen oder teilautonomen Fahrmanövern dienen, beispielsweise von Einpark- oder Ausparkmanöver, liegt jedoch eine hohe Prozessverantwortung bei diesen Systemen. Es muss insbesondere zu jeder Zeit während eines autonomen oder teilautonomen Fahrmanövers sichergestellt sein, dass andere Verkehrsteilnehmer (z.B. Passanten) nicht gefährdet werden und dass keine Schäden am eigenen oder an anderen Fahrzeugen entstehen .
Der Erfindung liegt demnach die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung für ein Assistenzsystem zur Durchführung von autonomen und teilautonomen Fahrmanövern anzugeben, wobei sichergestellt ist, dass die hohen Anforderungen betreffend die Prozessverantwortung des Assistenzsystems erfüllt werden und insbesondere eine Gefährdung für Mensch, Material und Umwelt weitgehend ausgeschlossen ist.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 und durch eine Vorrichtung mit den Merkmalen nach Anspruch 9 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.
Ein wesentlicher Gedanke der Erfindung besteht darin, bei einem Assistenzsystem, das insbesondere ein TopView-System zur Durchführung eines autonomen oder teilautonomen Fahrmanövers nutzt, das aus mehreren Einzelbildern generierte Gesamtbild der Fahrzeugumgebung, neben der Verarbeitung zur Ableitung von Steuerbefehlen für Fahrmanöver, zusätzlich dafür zu nutzen, um wenigstens eine Beschränkung zu ermitteln und das Assistenzsystem in einen sicheren Zustand zu überführen, wenn wenigstens eine Beschränkung vorliegt. Unter Beschränkung können dabei grundsätzlich aus den Bilddaten des Gesamtbildes erfasste Bedingungen bzw. Situationen verstanden werden, die eine sichere Durchführung eines autonomen oder teilautonomen Fahrmanövers erschweren bzw. gefährden würden. Optional können auch weitere Informationen fahrzeuginterner Sensoren zur Ermittlung der wenigstens einen Beschränkung verwendet werden. Ein wesentlicher Vorteil der Erfindung besteht darin, insbesondere bei Einsatz des erfindungsgemäßen Verfahrens bzw. bei Ausgestaltung der erfindungsgemäßen Vorrichtung mit einem TopView-System, dass anhand des Gesamtbildes der Fahrzeugumgebung Beschränkungen besser und schneller erkannt werden können. Durch die Verwendung von Bilddaten eines TopView-Systems kann dabei dynamischer und flexibler auf bestimmte Umweltbedingungen bzw. auf kritische Situationen reagiert werden.
Das erfindungsgemäße Verfahren kommt bevorzugt bei einem Assistenzsystem zum Einsatz, das zur Durchführung eines autonomen oder teilautonomen Fahrmanövers eines Fahrzeugs dient .
Unter autonomen oder teilautonomen Fahrmanöver kann grundsätzlich jedes Fahrmanöver eines Fahrzeugs verstanden werden, bei dem eine, mehrere oder alle Steuerungs- und Regelungsaufgaben vom Assistenzsystem übernommen werden, die ansonsten bei manueller Durchführung des jeweiligen Fahrmanövers vom Fahrzeugführer durchgeführt werden müsste, und damit insbesondere auch vollständig automatisierte Fahrmanöver, die durchgeführt werden, ohne dass der Fahrer im Fahrzeug sitzt. Das erfindungsgemäße Verfahren kommt insbesondere bei einem Assistenzsystem zum Einsatz, dass zur Durchführung eines autonomen oder teilautonomen Einpark- oder Ausparkmanövers dient. Unter einem teilautonomen Fahrmanöver kann in diesem Fall ein Einpark- und/oder Ausparkmanöver verstanden werden, bei dem das Assistenzsystem eine oder mehrere Regelungs- und Steuerungsaufgaben übernimmt, z.B. die Steuerung und Regelung der Fahrzeugbremse (n) und der Fahrzeuglenkung. Unter einem autonomen Fahrmanöver ist in dem Fall vorzugweise ein Fahrmanöver zu verstehen, bei dem sämtliche Steuerungs- und Regelungsaufgaben vom
Assistenzsystem übernommen werden, die erforderlich sind, um das Fahrzeug aus einer IST-Position in eine SOLL-Position (z.B. Parkposition) zu bewegen, bevorzugt einschließlich der Regelung/Steuerung der Fahrzeugbeschleunigung (Gas).
Das Assistenzsystem, bei dem das erfindungsgemäße Verfahren zum Einsatz kommt, umfasst vorzugsweise ein Kamerasystem, mittels dem aus einer Fahrzeugumgebung Bilddaten erzeugt und zur Durchführung des Fahrmanövers verarbeitet werden. Die Erzeugung der Bilddaten erfolgt dabei bevorzugt mittels mehrerer Kameras, die auf unterschiedliche Bereiche der Fahrzeugumgebung ausgerichtet sind. Die Bilddaten können anschließend zur Durchführung des Fahrmanövers mittels Bildverarbeitungseinrichtungen geeignet verarbeitet werden, beispielsweise derart, dass aus den Bilddaten Objekte wie andere Fahrzeuge und Hindernisse erkannt, die Abstände zu den erkannten Objekten ermittelt, die Länge und Tiefe einer Parklücke berechnet und anhand dieser Informationen das notwendige Fahrmanöver einschließlich der erforderlichen Lenkwinkel abgeleitet werden. Zum Erkennen von Objekten und Hindernissen sowie zum Berechnen der Länge und Tiefe der Parklücke können neben dem Kamerasystem zudem auch weitere Sensoren eingesetzt werden, wie z.B. Ultraschall-, Radar-, Lidar- und Lasersensoren.
Erfindungsgemäß wird das Assistenzsystem, bei der Durchführung eines autonomen oder teilautonomen Fahrmanövers, vorzugsweise dann in einen sicheren Zustand überführt, wenn anhand der mittels des Kamerasystems gewonnenen und mittels der Bildverarbeitungseinrichtungen verarbeiteten Bilddaten erkannt wird, dass wenigstens eine Beschränkung vorliegt. Unter Beschränkung kann dabei jede Beschränkung verstanden werden, die eine sichere und korrekte Durchführung des jeweiligen autonomen oder teilautonomen Fahrmanövers durch das Assistenzsystem beeinträchtigt, insbesondere visuelle
Beschränkungen für das Kamerasystem und/oder Beschränkungen für das Assistenzsystem bzw. für das Fahrmanöver. Mit einer sicheren Durchführung ist insbesondere eine Durchführung des Fahrmanövers gemeint, bei der Schäden am Fahrzeug und eine Gefährdung von Mensch und Umwelt, insbesondere von Personen, weitgehend ausgeschlossen werden können. Unter einer korrekten Durchführung kann eine Durchführung des Fahrmanövers verstanden werden, unter Einhaltung der jeweils berechneten Steuerungs- und Regelungsgrößen. Unter einer visuellen Einschränkung des Kamerasystems ist insbesondere eine Einschränkung des Kamerasystems zu verstehen, bei der eine zuverlässige Erkennung von Objekten (Fahrzeuge, Hindernisse, Personen, etc.) nicht mehr sichergestellt ist. Die wenigstens eine Beschränkung kann, neben der wenigstens einen Beschränkung mittels Bildverarbeitung der mittels des Kamerasystems gewonnen Bilddaten, alternativ oder zusätzlich aus Informationen fahrzeuginterner Sensoren erkannt werden. Bei dem Kamerasystem des Assistenzsystems handelt es sich bevorzugt um ein System, bei dem mittels mehrerer Kameras Einzelbilder aus verschiedenen Bereichen der Fahrzeugumgebung erfasst und mittels Bildverarbeitungsmittel geeignet transformiert werden, um hierdurch ein Gesamtbild der Fahrzeugumgebung zu generieren. Bei dem Kamerasystem handelt es sich damit vorzugsweise um ein TopView-System.
Gemäß einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens wird dabei sowohl zur Durchführung des autonomen oder teilautonomen Fahrmanövers, d.h. insbesondere zur Ableitung der Steuerungs- und Regelungsgrößen für das Fahrmanöver, als auch zur Erkennung der wenigstens einen Beschränkung das mittels des TopView-Systems generierte Gesamtbild der Fahrzeugumgebung verarbeitet. Besonders vorteilhaft an dieser Ausgestaltung des Verfahrens ist die Tatsache, dass mittels des Gesamtbildes der Fahrzeugumgebung alle Bereiche um Umfeld des Fahrzeugs hinsichtlich einer vorliegenden Beschränkung untersucht werden können, und das aufgrund der generierten Rundumsicht besser, schneller und dynamischer bzw. flexibler auf verschiedene auftretende Situationen vor und/oder während der Durchführung des Fahrmanövers reagiert werden kann.
Eine Beschränkung im Sinne des erfindungsgemäßen Verfahrens liegt insbesondere dann vor, wenn wenigstens ein Bereich der mittels des Kamerasystems erfassten Fahrzeugumgebung keine Ausleuchtung aufweist oder eine Ausleuchtung aufweist, die unterhalb eines bestimmten Helligkeitsschwellwertes liegt. Keine oder eine zu geringe Ausleuchtung von Bereichen der Fahrzeugumgebung können beispielsweise bei Fahrmanövern auftreten, die am Abend oder bei Nacht und/oder in Garagen durchgeführt werden. Vorzugsweise wird im Rahmen des erfindungsgemäßen Verfahrens zunächst versucht mittels Beleuchtungseinrichtungen des Fahrzeugs, z.B. durch Ansteuerung der Fahrzeugscheinwerfer oder durch das Einschalten von am Fahrzeug angeordneten Zusatzleuchten die betreffenden Bereiche gezielt auszuleuchten. Ist die Beschränkung, insbesondere trotz gezielter Beleuchtung, weiterhin gegeben, wird das Assistenzsystem erfindungsgemäß in einen sicheren Zustand überführt.
Eine Beschränkung im Sinne des erfindungsgemäßen Verfahrens liegt weiterhin insbesondere dann vor, wenn eine Ausrichtung wenigstens einer Kamera des Kamerasystems des Assistenzsystems von einer definierten Ausrichtung abweicht. Unter der definierten Ausrichtung ist dabei vorzugsweise die Ausrichtung einer Kamera zu verstehen, gemäß Ausrichtung bei Werkseinstellung bzw. die Normalausrichtung einer Kamera bei einer korrekten Justierung des Kamerasystems.
Insbesondere bei TopView-Systeme mit mehreren einzelnen Kameras, die jeweils auf unterschiedliche Bereiche der Fahrzeugumgebung ausgerichtet sind, kann der Umstand, dass eine der Kameras nicht mehr ordnungsgemäß ausgerichtet ist, dazu führen, dass blinde Ecken/Stellen bzw. tote Winkel im generierten Gesamtbild der Fahrzeugumgebung entstehen. In den toten Winkeln können Objekte infolge nichtmehr zuverlässig erkannt werden, wodurch eine sichere und korrekte Durchführung des jeweiligen autonomen oder teilautonomen Fahrmanövers nicht mehr hinreichend sichergestellt ist. Erfindungsgemäß wird insbesondere für den Fall, dass eine Ausrichtung wenigstens einer Kamera des Kamerasystems des Assistenzsystems von einer definierten Ausrichtung abweicht, das Assistenzsystem in einen sicheren Zustand überführt. Die Abweichung kann dabei direkt aus dem generierten Gesamtbild der Fahrzeugumgebung erkannt werden .
Eine Beschränkung im Sinne des erfindungsgemäßen Verfahrens liegt weiterhin insbesondere dann vor, wenn anhand der Bilddaten des Kamerasystems erkannt wird, dass wenigstens eine der folgenden Betriebsbedingungen vorliegt:
- Fahrzeugtür geöffnet
- Kofferraum geöffnet
- Motorhaube geöffnet
- Fahrzeugspiegel ausgeklappt
- Fahrzeugspiegel angeklappt
- Insassen im Fahrzeug
- Personen in unmittelbarer Nähe des Fahrzeugs
Durch eine oder mehrere geöffnete Fahrzeugtüren sowie durch einen geöffneten Kofferraum und/oder eine geöffnete Motorhaube kann das Sichtfeld einer oder mehrerer Kameras des Kamerasystems beeinträchtigt sein. Eine oder mehrere geöffnete Fahrzeugtüren, ein geöffneter Kofferraum und/oder ausgeklappte Fahrzeugspiegel können während eines autonomen oder teilautonomen Fahrmanövers zudem dazu führen, dass die betreffenden Fahrzeugteile mit Objekten in der
Fahrzeugumgebung kollidieren, was insbesondere Schäden am eigenen Fahrzeug verursachen würde. Sind eine oder mehrere Kameras des Kamerasystems z.B. in die Fahrzeugspiegel des Fahrzeugs integriert, oder sind Kameras des Kamerasystems in der Nähe von Seitenspiegeln des Fahrzeugs angeordnet, können angeklappte Seitenspiegel dazu führen, dass die Ausrichtung von Kameras des Kamerasystems nichtmehr einer korrekten Ausrichtung entspricht oder dass das Sichtfeld der Kameras durch die Spiegel beeinträchtigt bzw. verdeckt ist. Personen die sich in unmittelbarer Nähe des Fahrzeugs befinden, d.h. beispielsweise innerhalb des Bewegungsraumes bzw. auf dem geplanten Fahrweg des Fahrzeugs, oder Personen die sich während eines autonomen oder teilautonomen Fahrmanövers im Fahrzeuginnenraum aufhalten, können ebenfalls die sichere Durchführung des Fahrmanövers gefährden. Jede der genannten Betriebsbedingungen kann somit dazu führen, dass ein autonomes oder teilautonomes Fahrmanöver nicht sicher durchgeführt werden kann. Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird daher das Assistenzsystem in einen sicheren Zustand überführt, wenn wenigstens eine der genannten Betriebsbedingungen, insbesondere direkt aus dem generierten Gesamtbild der Fahrzeugumgebung, erkannt wird. Hierzu kann das Gesamtbild der Fahrzeugumgebung mittels entsprechender Bildverarbeitungseinrichtungen geeignet verarbeitet werden, z.B. mittels Bilderkennungsverfahren, Mustervergleich/Mustererkennung etc. Gemäß einer optionalen Ausgestaltung kann das Vorliegen der wenigstens einen Beschränkung auch mittels fahrzeuginterner Sensorinformationen erkannt werden. Im Fall der vorangehend genannten Betriebsbedingungen bei denen erfindungsgemäß eine Beschränkung vorliegen kann, können hierzu beispielsweise fahrzeuginterne Sensoren genutzt werden, insbesondere Signale von Sensoren, die ohnehin im Fahrzeug vorhanden sind und die Informationen beispielsweise über den Öffnungszustand der Fahrzeugtüren, Kofferraum und oder über den Zustand des Motorhaubenschlosses liefern und/oder beispielsweise Signale von Sitzbelegungssensoren und Gurtsschlössern.
Die Überführung des Assistenzsystems in einen sicheren Zustand, führt bevorzugt dazu, dass das Assistenzsystem das Fahrzeug in den Stillstand überführt, vorzugsweise durch Ansteuerung der Fahrzeugbremse (n) .
Die Überführung des Assistenzsystems in einen sicheren Zustand, kann insbesondere auch die Überführung des Assistenzsystems und/oder des Fahrzeugs in einen definierten Ausgangszustand umfassen. Hierbei kann das Fahrzeug beispielsweise in eine Ausgangsposition, insbesondere in dessen Ausgangsposition vor der Einleitung des autonomen oder teilautonomen Fahrmanövers, gebracht werden. Die Überführung des Assistenzsystems in einen Ausgangszustand kann beispielsweise darin bestehen, eine oder mehrere Kameras des Kamerasystems in eine definierte Ausrichtung
(Normalausrichtung) zu überführen bzw. die Kameras des Kamerasystems automatisch (neu) zu justieren. Weiterhin können bei der Überführung des Fahrzeugs und/oder des Assistenzsystems in einen definierten Ausgangszustand die Fahrzeugspiegel des Fahrzeugs in eine für das Fahrmanöver erforderliche Position gebracht werden und oder es können die Fahrzeugtüren und/oder der Kofferraum des Fahrzeugs automatisch geschlossen werden.
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird dem Fahrer des Fahrzeugs das Vorliegen einer Beschränkung und/oder die Überführung des Assistenzsystems in den sicheren Zustand signalisiert. Die Signalisierung kann beispielsweise mittels akustischer, optischer und haptischer Signale erfolgen, wobei sowohl vorhandene Signaleinrichtungen im Fahrzeug, z.B. Hupe und (Warn- ) Blinker, oder zusätzliche am/im Fahrzeug angeordnete Signaleinrichtungen verwendet werden können.
Das erfindungsgemäße Assistenzsystem ist bevorzugt in einem Fahrzeug angeordnet und dient zur Durchführung eines autonomen oder teilautonomen Fahrmanövers des Fahrzeugs, insbesondere eines Einpark- und/oder Ausparkmanövers. Das Assistenzsystem umfasst insbesondere ein Kamerasystem, das mittels mehrerer Kameras Einzelbilder aus verschiedenen Bereichen einer Fahrzeugumgebung erfasst und mittels Bildverarbeitungsmittel geeignet transformiert, um hierdurch ein Gesamtbild der Fahrzeugumgebung zu generieren. Bei dem Kamerasystem handelt es sich vorzugsweise um ein TopView-System. Zur Durchführung des Fahrmanövers und zur Ermittlung einer Beschränkung wird erfindungsgemäß das Gesamtbild der Fahrzeugumgebung verarbeitet. Das Assistenzsystem ist erfindungsgemäß weiterhin derart ausgestaltet, dass bei Vorliegen einer Beschränkung bei einem autonomen oder teilautonomen Fahrmanöver (d.h. vor und/oder während des Fahrmanövers) das Assistenzsystem in einen sicheren Zustand überführt wird.

Claims

Patentansprüche
Verfahren für ein Assistenzsystem, das zur Durchführung eines autonomen oder teilautonomen Fahrmanövers eines Fahrzeugs dient, insbesondere eines Einpark- oder
Ausparkmanövers, und bei dem mittels eines Kamerasystems aus einer Fahrzeugumgebung Bilddaten erzeugt und zur Durchführung des Fahrmanövers verarbeitet werden,
dadurch gekennzeichnet, dass
das Assistenzsystem in einen sicheren Zustand überführt wird, wenn anhand der Bilddaten und/oder anhand
fahrzeuginterner Sensorinformationen erkannt wird, dass eine Beschränkung vorliegt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass
- es sich bei dem Kamerasystem des Assistenzsystems um ein System handelt, bei dem mittels mehrerer Kameras Einzelbilder aus verschiedenen Bereichen der
Fahrzeugumgebung erfasst und mittels
Bildverarbeitungsmittel geeignet transformiert werden, um hierdurch ein Gesamtbild der Fahrzeugumgebung zu
generieren, und
- zur Durchführung des Fahrmanövers und zur Ermittlung der Beschränkung das Gesamtbild verarbeitet wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass
eine Beschränkung dann vorliegt, wenn wenigstens ein Bereich der Fahrzeugumgebung entweder keine Ausleuchtung aufweist oder eine Ausleuchtung aufweist, die unterhalb eines bestimmten Helligkeitsschwellwertes liegt.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass eine Beschränkung dann vorliegt, wenn eine Ausrichtung wenigstens einer Kamera des Kamerasystems von einer definierten Ausrichtung abweicht.
5. Verfahren nach einem der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass
eine Beschränkung bei wenigstens einer der folgenden Betriebsbedingungen vorliegt:
- Fahrzeugtür geöffnet
- Kofferraum geöffnet
- Motorhaube geöffnet
- Fahrzeugspiegel ausgeklappt
- Fahrzeugspiegel angeklappt
- Insassen im Fahrzeug
- Personen in unmittelbarer Nähe des Fahrzeugs
6. Verfahren nach Anspruch 5,
dadurch gekennzeichnet, dass
das Vorliegend der wenigstens einen Betriebsbedingung mittels Bildverarbeitung der mittels des Kamerasystems gewonnenen Bilddaten erkannt wird.
7. Verfahren nach einem der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass
im sicheren Zustand des Assistenzsystems das Fahrzeug in einen Stillstand überführt wird.
8. Verfahren nach einem der vorangegangenen Ansprüche,
dadurch gekennzeichnet, dass
im sicheren Zustand des Assistenzsystems das Fahrzeug und/oder das Assistenzsystem in einen Ausgangszustand überführt werden. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass
dem Fahrer des Fahrzeugs das Vorliegen einer Beschränkung und/oder die Überführung des Assistenzsystems in den sicheren Zustand signalisiert wird.
AssistenzSystem für ein Fahrzeug und zur Durchführung eines autonomen oder Teilautonomen Fahrmanövers des
Fahrzeugs, insbesondere eines Einpark- oder
Ausparkmanövers, umfassend
ein Kamerasystem, das mittels mehrerer Kameras
Einzelbilder aus verschiedenen Bereichen einer
Fahrzeugumgebung erfasst und mittels
Bildverarbeitungsmittel geeignet transformiert, um hierdurch ein Gesamtbild der Fahrzeugumgebung zu
generieren,
dadurch gekennzeichnet, dass
zur Durchführung des Fahrmanövers und zur Ermittlung einer Beschränkung das Gesamtbild der Fahrzeugumgebung verarbeitet wird,
bei Vorliegen einer Beschränkung bei einem autonomen oder teilautonomen Fahrmanöver das Assistenzsystem in einen sicheren Zustand überführt wird.
PCT/DE2012/100244 2011-09-08 2012-08-21 Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers Ceased WO2013034140A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/241,275 US9511723B2 (en) 2011-09-08 2012-08-21 Method and device for an assistance system in a vehicle for performing an autonomous or semi-autonomous driving maneuver
DE112012003762.6T DE112012003762A5 (de) 2011-09-08 2012-08-21 Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
EP12762202.5A EP2753532B1 (de) 2011-09-08 2012-08-21 Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers
JP2014528853A JP6138130B2 (ja) 2011-09-08 2012-08-21 自律的、乃至、部分自律的運転マヌーバを実施するための車載アシスタント・システム用の方法、並びに、装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011112578.0 2011-09-08
DE102011112578A DE102011112578A1 (de) 2011-09-08 2011-09-08 Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers

Publications (1)

Publication Number Publication Date
WO2013034140A1 true WO2013034140A1 (de) 2013-03-14

Family

ID=46888857

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/DE2012/100245 Ceased WO2013034141A1 (de) 2011-09-08 2012-08-21 Bestimmung der stellung von bauelementen eines fahrzeugs
PCT/DE2012/100244 Ceased WO2013034140A1 (de) 2011-09-08 2012-08-21 Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/DE2012/100245 Ceased WO2013034141A1 (de) 2011-09-08 2012-08-21 Bestimmung der stellung von bauelementen eines fahrzeugs

Country Status (5)

Country Link
US (2) US9511723B2 (de)
EP (2) EP2753532B1 (de)
JP (2) JP6138130B2 (de)
DE (3) DE102011112578A1 (de)
WO (2) WO2013034141A1 (de)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011112149A1 (de) * 2011-09-01 2013-03-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines Parkvorgangs eines Fahrzeugs sowie Fahrerassistenzeinrichtung
DE102011112578A1 (de) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
DE102012015922A1 (de) * 2012-08-10 2014-02-13 Daimler Ag Verfahren zum Durchführen eines Parkvorgangs eines Fahrzeugs mittels eines Fahrerassistenzsystems
US9616885B2 (en) * 2012-11-27 2017-04-11 Nissan Motor Co., Ltd. Vehicular acceleration suppression device
DE102013102952A1 (de) * 2013-03-22 2014-09-25 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Durchführung eines automatischen Ausparkmanövers eines Fahrzeugs
DE102013217648A1 (de) * 2013-09-04 2015-03-05 Conti Temic Microelectronic Gmbh Kamera-basierte erkennung eines an einem fahrzeug montierbaren trägersystems
EP3086994B1 (de) * 2013-12-23 2018-03-28 ADC Automotive Distance Control Systems GmbH Park-assistenzsystem und verfahren zum einparken eines fahrzeuges in eine parkgarage
BR112016021015B1 (pt) * 2014-03-12 2022-04-26 Nissan Motor Co. Ltd Dispositivo de operação de veículo utilizado em um veículo autônomo controlado de maneira autônoma para conduzir ao longo de uma rota de condução determinada e método de operação de veículo para um veículo autônomo controlado de maneira autônoma para conduzir ao longo de uma rota de condução determinada
DE102015205013B4 (de) 2014-05-15 2025-10-30 Ford Global Technologies, Llc Parkassistenzsystem
DE102014209227B4 (de) 2014-05-15 2022-03-17 Ford Global Technologies, Llc Parkassistenzsystem
DE102014014120A1 (de) * 2014-09-24 2015-04-02 Daimler Ag Funktionsfreigabe einer hochautomatisierten Fahrfunktion
JP6445849B2 (ja) * 2014-11-17 2018-12-26 株式会社Ｓｕｂａｒｕ フラップ監視装置
DE102015202488A1 (de) * 2015-02-12 2016-08-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines sich in einem autonomen Betriebsmodus und auf einem Parkplatz befindenden Fahrzeugs
DE102015202486A1 (de) * 2015-02-12 2016-08-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines auf einem Parkplatz fahrenden Fahrzeugs
JP6598019B2 (ja) * 2015-04-21 2019-10-30 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
DE102015217275A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen, ob ein Kraftfahrzeug momentan manuell oder automatisch geführt wird
DE102015217278A1 (de) * 2015-09-10 2017-03-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum führerlosen Führung eines an einer Startposition eines Parkplatzes abgestellten Kraftfahrzeugs
US20170161902A1 (en) * 2015-12-02 2017-06-08 Dura Operating, Llc System for detecting vehicle fuel door status
US10220704B2 (en) * 2016-10-24 2019-03-05 GM Global Technology Operations LLC Method and apparatus for door status detection
KR20180047212A (ko) * 2016-10-31 2018-05-10 현대자동차주식회사 차량의 출차 제어 장치 및 방법
JP7674056B2 (ja) * 2017-06-14 2025-05-09 モービルアイ ビジョン テクノロジーズ リミテッド 自律走行に関する走行情報のフレームワークとバッチ調整との結合
US20190152387A1 (en) * 2017-11-21 2019-05-23 GM Global Technology Operations LLC Ajar tailgate detection system
DE102017223160B4 (de) * 2017-12-19 2019-10-24 Volkswagen Aktiengesellschaft Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
JP6965810B2 (ja) 2018-04-03 2021-11-10 トヨタ自動車株式会社 駐車支援装置
US10839522B2 (en) * 2018-05-11 2020-11-17 Toyota Research Institute, Inc. Adaptive data collecting and processing system and methods
KR102639078B1 (ko) * 2018-08-07 2024-02-22 현대자동차주식회사 노면상으로 정보를 표시하는 자동차 및 그 제어 방법
US11280625B2 (en) * 2018-09-07 2022-03-22 Waymo Llc Ambient lighting conditions for autonomous vehicles
CN110126830B (zh) * 2019-04-17 2020-11-03 浙江吉利控股集团有限公司 一种车辆启动控制方法、装置、设备及存储介质
WO2021002518A1 (ko) * 2019-07-04 2021-01-07 엘지전자 주식회사 위치 데이터 생성 장치, 자율 주행 차량 및 위치 데이터 생성 방법
US11410545B2 (en) 2019-07-19 2022-08-09 Ford Global Technologies, Llc Dynamic vehicle perimeter definition and reporting
JP7675369B2 (ja) * 2021-04-12 2025-05-13 パナソニックＩｐマネジメント株式会社 監視装置および監視システム
CN113758728A (zh) * 2021-11-01 2021-12-07 智己汽车科技有限公司 一种车辆泊入避障测试方法及设备
KR20230109843A (ko) * 2022-01-14 2023-07-21 현대자동차주식회사 인프라 및 그와 통신하는 차량
FR3139512A1 (fr) * 2022-09-14 2024-03-15 Psa Automobiles Sa Procédé et dispositif de détection fiabilisée d’ouverture d’un capot d’un véhicule
JP7711723B2 (ja) * 2023-02-06 2025-07-23 トヨタ自動車株式会社 制御装置および制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0835796A2 (de) * 1996-10-09 1998-04-15 Honda Giken Kogyo Kabushiki Kaisha Automatisches Lenksystem für ein Fahrzeug
US20050270177A1 (en) * 2004-06-02 2005-12-08 Yukio Mori Parking assist control apparatus
DE102006036933A1 (de) 2006-08-08 2008-02-14 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern
EP2312497A1 (de) * 2009-09-30 2011-04-20 Hitachi Ltd. Vorrichtung zur Überwachung einer Fahrzeugumgebung
DE102009057837A1 (de) 2009-12-10 2011-06-16 Continental Teves Ag & Co. Ohg Verfahren zur Einparkunterstützung in eine Parkfläche einer Fahrzeuggarage

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3004368B2 (ja) * 1991-01-11 2000-01-31 株式会社東芝 車載監視カメラ装置
US7511833B2 (en) * 1992-05-05 2009-03-31 Automotive Technologies International, Inc. System for obtaining information about vehicular components
JP2888216B2 (ja) * 1996-12-06 1999-05-10 株式会社日立製作所 自動操舵システム
JP2000136738A (ja) * 1998-10-30 2000-05-16 Toyota Motor Corp 車両の駐車操作支援装置
JP2000159019A (ja) * 1998-11-30 2000-06-13 Komu Denshi Kaihatsu Kk 車両用ミラー装置
DE19947766A1 (de) * 1999-10-02 2001-05-10 Bosch Gmbh Robert Einrichtung zur Überwachung der Umgebung eines einparkenden Fahrzeugs
JP3599639B2 (ja) 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
DE10117650A1 (de) 2001-04-09 2002-10-10 Daimler Chrysler Ag Verfahren und Vorrichtung zum Verbringen eines Kraftfahrzeuges in eine Zielposition
DE10133511A1 (de) * 2001-07-10 2003-01-30 Siemens Ag Verfahren und Vorrichtung zur optischen Erkennung des Öffnungszustands einer Fahrzeugtür
JP4045862B2 (ja) 2002-06-03 2008-02-13 日産自動車株式会社 車載カメラの光軸ずれ検出装置
JP3800172B2 (ja) 2002-12-24 2006-07-26 トヨタ自動車株式会社 車両用周辺監視装置
JP3670647B2 (ja) * 2003-01-14 2005-07-13 松下電器産業株式会社 画像処理装置
US7344205B2 (en) * 2004-06-01 2008-03-18 Advics Co., Ltd Parking assist control apparatus and storage medium for parking assist control program
DE102004047481A1 (de) * 2004-09-30 2006-04-13 Robert Bosch Gmbh Verfahren zur Anzeige eines Fahrzeugfahrraums
JP4724522B2 (ja) * 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
JP2006213071A (ja) * 2005-02-01 2006-08-17 Nippon Seiki Co Ltd 車両用監視装置
JP4679260B2 (ja) * 2005-06-24 2011-04-27 アルパイン株式会社 車両運転支援装置
JP2007124483A (ja) * 2005-10-31 2007-05-17 Aisin Seiki Co Ltd 移動体通信装置
CN101535087B (zh) * 2005-11-01 2013-05-15 唐纳利公司 具有显示装置的内部后视镜
JP4780385B2 (ja) * 2005-11-17 2011-09-28 アイシン精機株式会社 周辺監視システム
JP4863741B2 (ja) * 2006-03-22 2012-01-25 タカタ株式会社 対象物検出システム、駆動装置、車両
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
DE102006050550A1 (de) * 2006-10-26 2008-04-30 Bayerische Motoren Werke Ag Verfahren zur Steuerung eines Fahrmanövers
JP2008152628A (ja) * 2006-12-19 2008-07-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
JP4635017B2 (ja) * 2007-02-22 2011-02-16 アイシン精機株式会社 駐車支援装置
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
DE102007022524A1 (de) * 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
JP2008302711A (ja) * 2007-06-05 2008-12-18 Denso Corp 発進支援装置
DE102007049709A1 (de) * 2007-10-17 2009-04-30 Robert Bosch Gmbh Steuereinrichtung und Verfahren zur Einparkunterstützung
JP2009114783A (ja) * 2007-11-08 2009-05-28 Clarion Co Ltd 車両ドア開閉角度制御装置
DE102008004633A1 (de) * 2008-01-16 2009-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung und/oder Vermessung einer Parklücke
DE102008019346A1 (de) * 2008-03-18 2009-09-24 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Ein- und Ausparken eines Fahrzeugs
JP5172489B2 (ja) * 2008-06-16 2013-03-27 本田技研工業株式会社 開閉体制御装置
JP4937199B2 (ja) * 2008-06-25 2012-05-23 日立オートモティブシステムズ株式会社 オートライト装置
DE102008046214A1 (de) * 2008-09-08 2009-04-30 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
JP5505764B2 (ja) * 2009-02-23 2014-05-28 株式会社リコー 車載カメラ装置のキャリブレーション支援方法及びキャリブレーション支援装置、並びに車載カメラ装置
JP4690476B2 (ja) * 2009-03-31 2011-06-01 アイシン精機株式会社 車載カメラの校正装置
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
JP5226621B2 (ja) * 2009-07-06 2013-07-03 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像表示装置
DE102009032542B4 (de) * 2009-07-10 2021-12-16 Audi Ag Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem
JP5421999B2 (ja) * 2009-10-09 2014-02-19 パナソニック株式会社 車両用周囲監視装置
JP5471462B2 (ja) 2010-01-11 2014-04-16 株式会社デンソーアイティーラボラトリ 自動駐車装置
EP2523831B2 (de) * 2010-01-13 2024-05-29 Magna Electronics Inc. Fahrzeugkamera und verfahren zur regelmässigen kalibrierung der fahrzeugkamera
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
DE102011112578A1 (de) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0835796A2 (de) * 1996-10-09 1998-04-15 Honda Giken Kogyo Kabushiki Kaisha Automatisches Lenksystem für ein Fahrzeug
US20050270177A1 (en) * 2004-06-02 2005-12-08 Yukio Mori Parking assist control apparatus
DE102006036933A1 (de) 2006-08-08 2008-02-14 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds aus überlappenden Einzelbildern
EP2312497A1 (de) * 2009-09-30 2011-04-20 Hitachi Ltd. Vorrichtung zur Überwachung einer Fahrzeugumgebung
DE102009057837A1 (de) 2009-12-10 2011-06-16 Continental Teves Ag & Co. Ohg Verfahren zur Einparkunterstützung in eine Parkfläche einer Fahrzeuggarage

Also Published As

Publication number Publication date
WO2013034141A1 (de) 2013-03-14
JP6138130B2 (ja) 2017-05-31
US20150360625A1 (en) 2015-12-17
EP2753533A1 (de) 2014-07-16
EP2753532A1 (de) 2014-07-16
EP2753532B1 (de) 2015-10-21
EP2753533B1 (de) 2015-11-25
DE112012003746A5 (de) 2014-06-18
DE112012003762A5 (de) 2014-08-28
DE102011112578A1 (de) 2013-03-14
JP2014527931A (ja) 2014-10-23
JP2014533348A (ja) 2014-12-11
JP6022575B2 (ja) 2016-11-09
US9511723B2 (en) 2016-12-06
US20140379197A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
EP2753532B1 (de) Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers
DE102011118551B4 (de) Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeug zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
EP2755859B1 (de) Verfahren und vorrichtung für ein assistenzsystem in einem fahrzeug zur durchführung eines autonomen oder teilautonomen fahrmanövers
EP3083361B1 (de) Verfahren und vorrichtung zur überwachung einer äusseren abmessung eines fahrzeugs
EP2920778B1 (de) Verfahren zum durchführen eines zumindest semi-autonomen parkvorgangs eines kraftfahrzeugs in eine garage, parkassistenzsystem und kraftfahrzeug
DE102010023162A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE102009009211A1 (de) Verfahren und Assistenzsystem zum Erfassen von Objekten im Umfeld eines Fahrzeugs
DE102009029439A1 (de) Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
DE102017122261A1 (de) Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs sowie Kamerasystem
DE102016014712B4 (de) Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102016002232B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
WO2016162034A1 (de) Überwachungsvorrichtung und verfahren zum überwachen eines bereichs vor einer fahrzeugtür
DE102016122756A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Abstellen des Kraftfahrzeugs auf einer Parkfläche, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014219876A1 (de) Verfahren und Vorrichtung zur Unterstützung eines automatischen Einparkvorganges eines Kraftfahrzeugs
DE102011010860A1 (de) Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
DE102011106821A1 (de) Verfahren und Vorrichtung zum Betrieb eines Fahrzeuges
WO2014146657A2 (de) Verfahren und vorrichtung zur durchführung eines automatischen ausparkmanövers eines fahrzeugs
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
DE102009040995A1 (de) Vorrichtung zum Vermessen einer sich einem Fahrzeug annähernden Person
DE102014214507B4 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102014214505B4 (de) Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
DE102009057336A1 (de) Vorrichtung zur Überwachung eines Raumbereichs außerhalb eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12762202

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012762202

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014528853

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14241275

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120120037626

Country of ref document: DE

Ref document number: 112012003762

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112012003762

Country of ref document: DE

Effective date: 20140828