-
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung zur Ermittlung, z.B. zur Vorhersage und/oder zur Planung, eines vorausliegenden Zustands, insbesondere eines vorausliegenden Bewegungs-Pfads, eines (Kraft-) Fahrzeugs.
-
Ein Fahrzeug kann für eine automatisierte Längs- und/oder Querführung des Fahrzeugs ausgebildet sein. In diesem Zusammenhang können anhand von ein oder mehreren Umfeldsensoren des Fahrzeugs Umfelddaten in Bezug auf das Umfeld des Fahrzeugs erfasst werden. Ferner kann auf Basis der Umfelddaten ein vorausliegender Bewegungs-Pfad des Fahrzeugs geplant werden, z.B. ein Bewegungs-Pfad, der eine kollisionsfreie Fahrt des Fahrzeugs auf einer aktuell befahrenen Fahrbahn ermöglicht. Das Fahrzeug kann dann in zuverlässiger und sicherer Weise automatisiert entlang des geplanten Bewegungs-Pfads geführt werden.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, eine besonders präzise Planung eines vorausliegenden Zustands, insbesondere eines Bewegungs-Pfads, eines (Kraft-) Fahrzeugs zu bewirken, insbesondere um die Zuverlässigkeit, die Robustheit und/oder die Sicherheit der automatisierten Längs- und/oder Querführung des Fahrzeugs zu erhöhen.
-
Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird eine Vorrichtung zur Ermittlung einer Zustands-Verteilung eines zeitlich und/oder örtlich vorausliegenden Zustands, insbesondere einer zeitlich und/oder örtlich vorausliegenden Position, eines Fahrzeugs beschrieben. Die Zustands-Verteilung kann eine Sequenz von Wahrscheinlichkeitsverteilungen zumindest einer Zustandsgröße für eine entsprechende Sequenz von vorausliegenden Zeitpunkten umfassen. Die zumindest eine Zustandsgröße kann die Position des Fahrzeugs umfassen, insbesondere sein. Die Zustands-Verteilung kann somit insbesondere eine Wahrscheinlichkeitsverteilung von vorausliegenden Bewegungs-Pfaden des Fahrzeugs angeben.
-
Die Vorrichtung ist eingerichtet, Umfelddaten in Bezug auf das Umfeld des Fahrzeugs zu ermitteln (anhand von ein oder mehreren Umfeldsensoren des Fahrzeugs). Die Umfelddaten können insbesondere ein Bild einer Umfeldkamera des Fahrzeugs umfassen (das z.B. das vorausliegende Umfeld des Fahrzeugs anzeigt).
-
Die Vorrichtung ist ferner eingerichtet, auf Basis der Umfelddaten und anhand einer (maschinell angelernten) Ermittlungseinheit, eine Vielzahl von Zustands-Verteilungen für eine entsprechende Vielzahl von möglichen Manövern des Fahrzeugs zu ermitteln.
-
Die möglichen Manöver der Vielzahl von möglichen Manövern können sich jeweils in Bezug auf die Fahrtrichtung an einem vorausliegenden Verkehrsknoten-Punkt (z.B. an einer Kreuzung) unterscheiden. Beispielhafte mögliche Manöver sind,
- • ein Links-Abbiege-Manöver, bei dem das Fahrzeug an einem vorausliegenden Verkehrsknoten-Punkt links abbiegt;
- • ein Geradeaus-Manöver, bei dem das Fahrzeug an einem vorausliegenden Verkehrsknoten-Punkt geradeaus fährt;
- • ein Rechs-Abbiege-Manöver, bei dem das Fahrzeug an einem vorausliegenden Verkehrsknoten-Punkt rechts abbiegt; und/oder
- • ein Spurwechsel-Manöver, bei dem das Fahrzeug auf eine andere Fahrspur einer mehrspurigen Fahrbahn wechselt.
-
Die Ermittlungseinheit umfasst eine Vielzahl von unterschiedlichen, maschinell angelernten, Ausgangsnetzen für die entsprechende Vielzahl von möglichen Manövern. Mit anderen Worten, die Ermittlungseinheit kann eine Vielzahl von Manöver-spezifischen (neuronalen) Ausgangsnetzen umfassen. Die einzelnen Manöver-spezifischen Ausgangsnetze der Vielzahl von Ausgangsnetzen können jeweils im Vorfeld auf Basis von Manöver-spezifischen Trainingsdaten für das mögliche Manöver angerlernt worden sein, mit dem das jeweilige Manöver-spezifische Ausgangsnetz assoziiert ist.
-
Die Ermittlungseinheit kann ein (gemeinsames), maschinell angelerntes, Basisnetz umfassen, das ausgebildet ist, auf Basis der Umfelddaten eine (gemeinsame) Menge von Merkmalen zu ermitteln. Die einzelnen Manöver-spezifischen Ausgangsnetze der Vielzahl von Ausgangsnetzen können jeweils ausgebildet sein, die jeweilige Manöver-spezifische Zustands-Verteilung auf Basis der (gemeinsamen) Menge von Merkmalen zu ermitteln. So kann eine besonders effiziente und robuste Ermittlung der Manöver-spezifischen Zustands-Verteilungen bewirkt werden.
-
Die Vorrichtung kann ferner eingerichtet sein, das Fahrzeug auf Basis zumindest einer der ermittelten Zustands-Verteilungen zu betreiben (insbesondere automatisiert längs- und/oder querzuführen).
-
Die Vorrichtung kann z.B. eingerichtet sein, insbesondere auf Basis einer in einem Navigationssystem geplanten Fahrroute für das Fahrzeug, ein vorausliegendes Fahrmanöver des Fahrzeugs zu bestimmen. Es kann dann die mit dem vorausliegenden Fahrmanöver assoziierte Zustands-Verteilung aus der Vielzahl von Zustands-Verteilungen ausgewählt werden. Ferner kann das Fahrzeug auf Basis der ausgewählten Zustands-Verteilung betrieben, insbesondere automatisiert längs- und/oder quergeführt, werden.
-
Es wird somit eine Vorrichtung beschrieben, die mehrere Manöver-spezifische Ausgangsnetze verwendet, um Manöver-spezifische Zustands-Verteilungen für ein Fahrzeug zu ermitteln. So kann ein besonders zuverlässiger, robuster und sicherer Betrieb des Fahrzeugs ermöglicht werden.
-
Gemäß einem weiteren Aspekt wird ein (Straßen-) Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Ermittlung einer Zustands-Verteilung eines zeitlich vorausliegenden Zustands, insbesondere einer zeitlich vorausliegenden Position, eines (Kraft-) Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln (anhand von ein oder mehreren Umfeldsensoren) von Umfelddaten in Bezug auf das Umfeld des Fahrzeugs. Des Weiteren umfasst das Verfahren das Ermitteln, auf Basis der Umfelddaten und anhand einer (maschinell angelernten) Ermittlungseinheit, einer Vielzahl von Zustands-Verteilungen für eine entsprechende Vielzahl von möglichen Manövern des Fahrzeugs. Dabei kann die Ermittlungseinheit eine Vielzahl von unterschiedlichen, maschinell angelernten, Ausgangsnetzen für die entsprechende Vielzahl von möglichen Manövern umfassen.
-
Das Verfahren kann ferner das Betreiben des Fahrzeugs auf Basis zumindest einer der ermittelten Zustands-Verteilungen umfassen.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden. Ferner sind in Klammern aufgeführte Merkmale als optionale Merkmale zu verstehen.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1 beispielhafte Komponenten eines Fahrzeugs;
- 2 eine beispielhafte Fahrsituation des Fahrzeugs mit mehreren möglichen Fahrmanövern;
- 3 eine beispielhafte, auf maschinellem Lernen basierte, Ermittlungseinheit mit einer Vielzahl von Manöver-spezifischen, neuronalen, Ausgangsnetzen; und
- 4 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Prädiktion und/oder zur Planung eines vorausliegenden Zustands eines Fahrzeugs.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der zuverlässigen und präzisen Schätzung des vorausliegenden Zustands eines (Kraft-) Fahrzeugs. Dabei kann der vorausliegende Zustand entlang einer Sequenz von Zeitpunkten die Position des Fahrzeugs als Funktion der Zeit, d.h. den vorausliegenden Bewegungs-Pfad des Fahrzeugs, angeben.
-
1 ein beispielhaftes Fahrzeug 100 mit ein oder mehreren Umfeldsensoren 102, die jeweils eingerichtet sind, Sensordaten (die auch als Umfelddaten bezeichnet werden) in Bezug auf das Umfeld des Fahrzeugs 100 zu erfassen. Beispielhafte Umfeldsensoren 102 sind eine Kamera, ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor, etc.
-
Ein (Steuer-) Vorrichtung 101 des Fahrzeugs 100 kann eingerichtet sein, die Umfelddaten auszuwerten, z.B. um ein oder mehrere Objekte (z.B. andere Fahrzeuge) im Umfeld des Fahrzeugs 100 zu erkennen. Die Vorrichtung 101 kann ferner eingerichtet sein, auf Basis der Umfelddaten, insbesondere auf Basis der ein oder mehreren detektierten Objekte, eine automatisierte Längs- und/oder Querführung des Fahrzeugs 100 zu bewirken. Zu diesem Zweck können ein oder mehrere Längs- und/oder Querführungsaktoren 103 (z.B. ein Antriebsmotor, eine Bremsvorrichtung und/oder eine Lenkvorrichtung) des Fahrzeugs angesteuert werden.
-
Die Vorrichtung 101 kann insbesondere eingerichtet sein, auf Basis der Umfelddaten, z.B. auf Basis eines von einer Kamera 102 erfassten Bildes, einen vorausliegenden Zustand des Fahrzeugs 100 als Funktion der Zeit zu ermitteln (d.h. zu planen und/oder zu schätzen). Der Zustand kann dabei ein oder mehrere Zustandsgrößen umfassen, wie z.B. die Position, die Fahrgeschwindigkeit, die Beschleunigung und/oder die Orientierung. Im Weiteren wird insbesondere auf den vorausliegenden Bewegungs-Pfad des Fahrzeugs 100 (d.h. auf die vorausliegende Position des Fahrzeugs 100 als Funktion der Zeit) eingegangen. Es sei jedoch darauf hingewiesen, dass die in diesem Dokument beschriebenen Aspekte allgemein auf den vorausliegenden Fahrzeug-Zustands als Funktion der Zeit anwendbar sind.
-
Der ermittelte Bewegungs-Pfad (allgemein der ermittelte zeitliche Zustandsverlauf) kann als Basis für die Ansteuerung der ein oder mehrere Längs- und/oder Querführungsaktoren 103 verwendet werden, um eine besonders zuverlässige und präzise automatisierte Längs- und/oder Querführung des Fahrzeugs 100 zu bewirken.
-
Die Ermittlung eines Bewegungs-Pfads kann auf Basis eines im Vorfeld angelernten neuronalen Netzes bewirkt werden. Ein beispielhaftes Verfahren zur Ermittlung eines Bewegungs-Pfades ist in Zeng, Wenyuan, et al. „End-to-end interpretable neural motion planner.“ Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019 beschrieben. Diese Schrift wird durch Bezugnahme vollständig in das vorliegende Dokument aufgenommen.
-
Es kommt häufig vor, dass sich ein Fahrzeug 100 in einer Fahrsituation befindet, bei der das Fahrzeug 100 mehrere unterschiedliche Fahrmanöver ausführen kann, wobei der von dem Fahrzeug 100 tatsächlich realisierte Bewegungs-Pfad von dem jeweiligen Fahrmanöver abhängt. 2 zeigt eine beispielhafte Fahrsituation, bei der das Fahrzeug 100 auf einen Verkehrsknotenpunkt 200, insbesondere auf eine Kreuzung, zufährt. Das Fahrzeug 100 kann an dem Verkehrsknotenpunkt 200 mehrere unterschiedliche Manöver 202 durchführen, z.B. ein Links-Abbiege-Manöver, ein Geradeaus-Manöver oder ein Rechts-Abbiege-Manöver.
-
Die Güte der Ermittlung (insbesondere der Planung) eines Bewegungs-Pfads für das Fahrzeug 100 kann dadurch erhöht werden, dass die Kenntnis über ein oder mehrere mögliche Fahrmanöver 202 mit in die Ermittlung des Bewegungs-Pfads eingebunden wird.
-
3 veranschaulicht eine beispielhafte Ermittlungseinheit 300, die dazu verwendet werden kann, einen Bewegungs-Pfad des Fahrzeugs 100 zu ermitteln. Die Ermittlungseinheit 300 basiert auf maschinellem Lernen. Insbesondere umfasst die Ermittlungseinheit 300 neuronale Netze 301, 302, die im Vorfeld auf Basis von Trainingsdaten angelernt wurden (z.B. unter Verwendung eines Backpropagation-Algorithmus).
-
Die Ermittlungseinheit 300 umfasst ein Basisnetz 301, das ausgebildet ist, auf Basis von aktuellen Umfelddaten 311 (z.B. auf Basis eines aktuellen Bildes einer Kamera 102 des Fahrzeugs 100) eine Menge 313 von Merkmalen (auf Englisch „Features“) zu ermitteln. Des Weiteren umfasst die Ermittlungseinheit 300 eine Vielzahl von Ausgangsnetzen 302 für eine entsprechende Vielzahl von möglichen Fahrmanövern 202 des Fahrzeugs 100. Die einzelnen Ausgangsnetze 302 können jeweils spezifisch für das Fahrmanöver 202 angelernt worden sein, mit dem das jeweilige Ausgangsnetz 302 assoziiert ist. Für das in 2 dargestellte Beispiel kann z.B. ein Ausgangsnetz 302 für Links-Abbiege-Manöver, ein Ausgangsnetz 302 für Geradeaus-Manöver, und ein Ausgangsnetz 302 für Rechts-Abbiege-Manöver verwendet werden.
-
Ein Ausgangsnetz 302 ist jeweils ausgebildet, auf Basis der Menge 313 von Merkmalen eine statistische Verteilung 312 zu ermitteln, die z.B. die Position des Fahrzeugs 100 als Funktion der Zeit oder allgemein den Zustand des Fahrzeugs 100 als Funktion der Zeit angibt. Beispielsweise kann durch die Verteilung 312 für jeden Zeitpunkt einer Sequenz von vorausliegenden Zeitpunkten jeweils eine Wahrscheinlichkeitsverteilung der Position des Fahrzeugs 100 angegeben werden.
-
Es kann somit anhand der Ermittlungseinheit 300 auf Basis von aktuellen Umfelddaten 311 eine Vielzahl von Zustands- (insbesondere Positions-) Verteilungen 312 des Fahrzeugs 100 für eine entsprechende Vielzahl von unterschiedlichen Manöver-Hypothesen 202 ermittelt werden. So kann der zukünftige Zustand des Fahrzeugs 100, insbesondere ein zukünftiger Bewegungs-Pfad des Fahrzeugs 100, in besonders präziser Weise ermittelt werden.
-
Beispielsweise kann die Vorrichtung 101 eingerichtet sein, (z.B. auf Basis einer bereits geplanten Fahrroute in dem Navigationssystem des Fahrzeugs 100) das Fahrmanöver 202 zu bestimmen, welches das Fahrzeug 100 durchführen wird. Es kann dann aus der Vielzahl von Zustands- (insbesondere Positions-) Verteilungen 312 des Fahrzeugs 100 die mit diesem Fahrmanöver 202 assoziierte Verteilung 312 ausgewählt werden, um die automatisierte Längs- und/oder Querführung des Fahrzeugs 100 zu bewirken.
-
Zum Anlernen eines Manöver-spezifischen Ausgangsnetzes 302 für ein bestimmtes Manöver 202 bzw. für eine bestimmte Manöver-Hypothese (d.h. für einen bestimmten Manöver-Typ) können Trainingsdaten verwendet werden, in denen Fahrzeuge 100 das bestimmte Manöver 202 durchgeführt haben. So kann ein besonders präzises und robustes (überwachtes) Anlernen der einzelnen Manöver-spezifischen Ausgangsnetze 302 bewirkt werden.
-
Die Verwendung einer Vielzahl von Manöver-spezifischen Ausgangsnetzen 302 ermöglicht es, Manöver-spezifische Zustands-Verteilungen 312 bereitzustellen.
-
Insbesondere kann dabei den einzelnen Zustands-Verteilungen 312 jeweils eine semantische Bedeutung (in Form der jeweiligen Manöver-Hypothese) zugeordnet werden. So kann die Güte der weiteren Verwendung der Zustands-Verteilungen 312 für die automatisierte Längs- und/oder Querführung erhöht werden.
-
4 zeigt ein Ablaufdiagramm eines (ggf. Computer-implementierten) Verfahrens 400 zur Ermittlung einer Zustands-Verteilung 312 eines zeitlich vorausliegenden Zustands, insbesondere einer zeitlich vorausliegenden Position, eines (Kraft-) Fahrzeugs 100 beschrieben. Die Zustands-Verteilung 312 kann eine zeitliche Sequenz von Wahrscheinlichkeitsverteilungen für ein oder mehrere Zustandsgrößen (z.B. für die Position) für eine entsprechende Sequenz von vorausliegenden Zeitpunkten umfassen (z.B. über einen zeitlichen Horizont von 1 Sekunde oder mehr, oder 5 Sekunden oder mehr).
-
Das Verfahren 400 umfasst das Ermitteln 401 von Umfelddaten in Bezug auf das Umfeld des Fahrzeugs 100 (anhand von ein oder mehreren Umfeldsensoren 102 des Fahrzeugs 100).
-
Des Weiteren umfasst das Verfahren 400 das Ermitteln 402, auf Basis der Umfelddaten und anhand einer Ermittlungseinheit 300, einer Vielzahl von Zustands-Verteilungen 312 für eine entsprechende Vielzahl von möglichen Manövern 202 des Fahrzeugs 100. Die unterschiedlichen möglichen Manöver 202 (d.h. die unterschiedlichen Manöver-Typen) können sich in Bezug auf die Fahrtrichtung des Fahrzeugs 100 an einem Knotenpunkt 200 unterscheiden.
-
Die (maschinell angelernte) Ermittlungseinheit 300 kann eine Vielzahl von unterschiedlichen, maschinell angelernten, Ausgangsnetzen 302 für die entsprechende Vielzahl von möglichen Manövern 202 (d.h. Manöver-Typen) umfassen. Dabei kann jedes Ausgangsnetz 302 spezifisch für das jeweilige mögliche Manöver 202 (d.h. für den jeweiligen Manöver-Typ) angelernt worden sein.
-
Des Weiteren umfasst das Verfahren 400 das Betreiben 403 des Fahrzeugs 100 auf Basis zumindest einer der ermittelten Zustands-Verteilungen 312. Dabei kann insbesondere die automatisierte Längs- und/oder Querführung des Fahrzeugs 100 auf Basis zumindest einer der ermittelten Zustands-Verteilungen 312 bewirkt werden.
-
Durch die Verwendung von Manöver-spezifischen Ausgangsnetzen 302 kann die Zustands-Verteilung 312 für ein Fahrzeug 100 in besonders präziser und robuster Weise ermittelt, insbesondere prädiziert und/oder geplant, werden, wodurch die Güte der automatisierten Längs- und/oder Querführung des Fahrzeugs 100 erhöht wird.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
