-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Generieren einer sensorspezifischen Sensormerkmalkarte einer Umgebung eines Fahrzeugs.
-
Für das autonome Fahren benötigen Fahrzeuge detaillierte Kenntnisse ihrer Umgebung, um entsprechende Manöver zu planen. Die bordeigenen Sensorsysteme, beispielsweise Radar, Lidar oder Kameras, verfügen jedoch nur über eine geringe Reichweite, so dass diese alleine nicht als Planungsgrundlage für die autonom durchgeführte Fahrmanöver ausreichen. Eine hochgenaue Karte eines externen Kartendienstanbieters kann Informationen für einen ausreichend großen Umgebungsbereich bereitstellen. Voraussetzung für die Nutzbarkeit der Karte für das autonome Fahren ist jedoch, dass das Fahrzeug in der Karte korrekt lokalisiert werden kann. Globale Navigationssysteme wie GNSS mit Ortsfehlern bis zu einigen Metern erfüllen die Anforderungen an die Lokalisierung in der Karte jedoch nicht, sondern müssen durch landmarkenbasierte Lokalisierverfahren ergänzt werden. Hierzu enthalten die hochgenauen Karten lokale Landmarken, die vom Fahrzeug bzw. dessen Lokalisierungssystem mit den Merkmalen abgeglichen werden, die die Sensoren des Fahrzeugs erfassen. Basierend hierauf wird die wahrscheinlichste Position des Fahrzeugs in der Karte abgeleitet.
-
Derzeit gibt es zwei Grundkonzepte bezüglich der Art der zur Lokalisierung verwendeten Merkmalkarten, nämlich sensorspezifische Merkmalkarten und Karten mit vorbestimmten Objektklassen.
-
Um sensorspezifische Merkmalkarten zu erhalten, werden die Umgebungsdaten bereits bei der Erstellung der Karte mit dem Ziel-Sensorsetup bzw. Zielsensorkonfiguration erfasst. Insbesondere werden während der Kartenerstellung die Sensordaten, wie beispielsweise Radar-Cluster-Punkte, Bildmerkmale mit Deskriptoren oder Lidar-Punkte mit Reflektivitätswerten, gesammelt und mithilfe von Odometrie-Verfahren zu 3D-Merkmalen zusammengesetzt. Zur Registrierung der erfassten Merkmale in der Karte wird ein hochgenaues Positionserfassungssystem eingesetzt, das eine deutlich höhere Positionsgenauigkeit aufweist als ein später für die Lokalisierung des Fahrzeugs – beispielsweise serienmäßig – eingesetztes Positionserfassungssystem des Fahrzeugs. Vorzugsweise ist die Positionsgenauigkeit des hochgenauen Positionserfassungssystems ausreichend, um das Fahrzeug ohne Rückgriff auf ein landmarkenbasiertes System zu lokalisieren. Der Vorteil dieses Verfahrens besteht darin, dass genau die Informationen in der Karte enthalten sind, die mit dem tatsächlich zur Lokalisierung eingesetzten Sensorsystems des Fahrzeugs auch erfassbar sind. Diese Vorgehensweise ermöglicht die bestmögliche Effizienz, da die Zuordnung von aktuell mit dem Sensorsystem erfassten Umgebungsdaten zu den in der Karte erfassten Umgebungsdaten deutlich erleichtert ist. Nachteilig bei dieser Vorgehensweise ist jedoch, dass diese sensorspezifische Merkmalkarte nicht auf andere Sensorkonfigurationen übertragbar ist, d. h. um die Informationen einer Drittanbieterkarte übergreifend nutzbar zu machen, müssten für alle Fahrzeuge mit unterschiedlichen Sensorkonfigurationen individualisierte Merkmalkarten angehängt und gepflegt werden.
-
Um den Aufwand für Erstellung und Pflege der Karte zu reduzieren, wird in Industrialisierungsverfahren zum autonomen Fahren der Ansatz verfolgt, sich in der Karte, die von einem externen Kartendienstbetreiber bereitgestellt und gepflegt wird, auf klar spezifizierbare und systemunabhängig wiedererkennbare Objekte wie Schilder und Pfosten zu beschränken. Die Datenerfassung durch den Kartendienstbetreiber erfolgt mit einem hochgenauen Kartierungsequipment, wobei die Objektklassen während des Kartierungsprozesses extrahiert und im Landmarkenlayer der Karte zur Verfügung gestellt werden. Während der Lokalisierung versucht das Fahrzeug mit seinem Sensorsystem, die Objektklassen so gut wie möglich unter all den erfassten Daten zu erkennen und auf Basis der erkannten Landmarken seine Position in der Karte abzuschätzen. Nachteilig an diesem Verfahren ist, dass alle anderen lokalen Merkmale damit nicht nur als Information in der Karte fehlen, sondern vom Fahrzeug auch noch als Störgröße aus den Sensordaten herausgefiltert werden müssen, wodurch die Leistungsfähigkeit der Lokalisierung stark eingeschränkt ist.
-
Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zum Generieren einer sensorspezifischen Sensormerkmalkarte einer Umgebung eines Fahrzeugs anzugeben.
-
Die Aufgabe wird durch ein Verfahren und eine Vorrichtung zum Generieren einer hochgenauen sensorspezifischen Sensormerkmalkarte einer Umgebung eines Fahrzeugs mit den Merkmalen der unabhängigen Patentansprüche 1 und 8 gelöst. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.
-
Bei dem lösungsgemäßen Verfahren zum Generieren einer sensorspezifischen Sensormerkmalkarte einer Umgebung eines Fahrzeugs, insbesondere zur Fahrzeuglokalisierung, werden mittels eines künstlichen neuronalen Netzes aus erfasster Umgebungsinformation gewonnene hochgenaue Sensormerkmale einer hochgenauen Sensormerkmalkarte der Umgebung entsprechend einer spezifischen Sensorkonfiguration des Fahrzeugs in Ziel-Sensormerkmale abgebildet, aus denen die sensorspezifische Sensormerkmalkarte erstellt wird.
-
Die hochgenaue sensorspezifische Sensormerkmalkarte der Umgebung eines Fahrzeugs ermöglicht insbesondere eine Lokalisierung des Fahrzeugs innerhalb der Karte anhand aktuell vom Sensorsystem bzw. der spezifischen Sensorkonfiguration des Fahrzeugs erfasster Sensordaten. Die hochgenaue Sensormerkmalkarte wird bevorzugt mit einem Sensorsystem erfasst, mit dem mindestens die Umgebungsmerkmale erfasst werden, die mit üblichen bzw. standardmäßigen Fahrzeugsensorsystemen bzw. Sensorkonfigurationen im Normalbetrieb erfasst werden können. Bevorzugt werden jedoch mehr Umgebungsmerkmale erfasst als von den üblichen Sensorkonfigurationen erfasst werden können. Beispielsweise kann der Kartendienstbetreiber die hochgenaue Sensormerkmalkarte unter gleichzeitigen Einsatz von mehreren unterschiedlichen Sensorsystemen wie LIDAR, Radar und/oder Kameras erstellen, die auf einem Vermessungsfahrzeug installiert sind, mit dem die zu kartierende Umgebung abgefahren wird.
-
Besonders bevorzugt werden die mittels des künstlichen neuronalen Netzes (ANN – artificial neural network) ermittelten Zielsensormerkmale mittels einer Verschlüsselungseinheit verschlüsselt. Weiter ist bevorzugt, dass eine Rechen- und Speichereinheit, auf der das künstliche neuronale Netz implementiert ist, und optional die Verschlüsselungseinheit in einer Black-Box integriert werden. Die Black-Box weist zwei Schnittstellen auf. Über eine erste Schnittstelle kann die Black-Box mit einer Datenbank verbunden sein oder werden, auf der die hochgenaue Sensormerkmalkarte abgespeichert ist. Über die zweite Schnittstelle kann die Black-Box unmittelbar oder mittelbar mit einer Kommunikationseinrichtung verbunden sein, über die eine vorzugsweise drahtlose Kommunikationsverbindung mit dem Fahrzeug hergestellt werden kann. Auf diese Weise kann die generierte sensorspezifische Sensormerkmalkarte, die die verschlüsselten oder unverschlüsselten Zielsensordaten umfasst, an das Lokalisierungssystem übermittelt werden. In umgekehrter Richtung können auch aktuell mit dem Sensorsystem des Fahrzeugs erfasste Sensordaten über die genannte Kommunikationsverbindung und die zweite Schnittstelle an die Black-Box rückübermittelt werden, die in der Black-Box optional entschlüsselt und mittels des künstlichen neuronalen Netzes zu Zwecken einer Aktualisierung der hochgenauen Sensormerkmalkarte rückabgebildet werden. Die Black-Box kann vorzugsweise durch den Fahrzeughersteller und/oder den Hersteller des fahrzeugspezifischen Sensorsystems einem Kartendienstbetreiber zur Verfügung gestellt werden, der die Black-Box in seine Servicearchitektur integrieren kann. Die Integration einer Verschlüsselungseinheit und einer Entschlüsselungseinheit in die Black-Box hat den Vorteil, dass die Kartendienstbetreiber oder andere Dritte keinen Einblick in die fahrzeugseitige Sensor- bzw. Schnittstellenauslegung erhalten.
-
In einer bevorzugten Ausführungsform des Verfahrens wird das künstliche neuronale Netz durch mit der spezifischen Sensorkonfiguration an bekannten Positionen des Fahrzeugs erfassten Sensordaten trainiert, die mit der hochgenauen Sensormerkmalkarte referenziert werden.
-
In einer besonders bevorzugten Ausführungsform stellt ein Kartendienstanbieter die hochgenaue Sensormerkmalkarte bereit und pflegt diese. Auf Anfrage eines Lokalisierungssystems eines mit der spezifischen Sensorkonfiguration ausgestatteten Fahrzeugs unter Angabe einer Identifizierungskennung und einer aktuellen Position des Fahrzeugs stellt der Kartendienstbetreiber die sensorspezifische Sensormerkmalkarte der Umgebung des Fahrzeugs bereit. Anhand der aktuell mit dem Sensorsystem des Fahrzeugs erfassten Sensordaten wird dann mittels des Lokalisierungssystems des Fahrzeugs eine Lokalisierung in der bereitgestellten sensorspezifischen Sensormerkmalkarte vorgenommen.
-
Bevorzugt werden aktuell erfasste Sensordaten des Fahrzeugs mittels des neuronalen Netzes in die hochgenaue Sensormerkmalkarte rückabgebildet, wobei die hochgenaue Sensormerkmalkarte basierend auf den rückabgebildeten Sensordaten aktualisiert.
-
Besonders bevorzugt werden die aktuellen Sensordaten in verschlüsselter Form an den Kartendienstbetreiber, insbesondere drahtlos über eine zwischen dem Kartendienstanbieter und dem Fahrzeug aufgebaute Funkverbindung, übermittelt. Die verschlüsselten Sensordaten werden dann auf Seiten des Kartendienstanbieters mit der in der Black-Box integrierten Entschlüsselungseinheit entschlüsselt und mittels des künstlichen neuronalen Netzes in die hochgenaue Sensormerkmalkarte rückabgebildet, wobei die hochgenaue Sensormerkmalkarte basierend auf den entschlüsselten und rückabgebildeten aktuell mit einem Sensorsystem des Fahrzeugs in der spezifischen Sensorkonfiguration ermittelten Sensordaten aktualisiert wird.
-
Die lösungsgemäße Vorrichtung zum Generieren einer sensorspezifischen Sensormerkmalkarte einer Umgebung eines Fahrzeugs, insbesondere zur Fahrzeuglokalisierung, umfasst eine Rechen- und Speichereinheit, auf der ein künstliches neuronales Netz implementiert ist, das aus erfasster Umgebungsinformation gewonnene hochgenaue Sensormerkmale einer hochgenauen Sensormerkmalkarte entsprechend einer spezifischen Sensorkonfiguration in Ziel-Sensormerkmale abbildet, aus denen die sensorspezifische Sensormerkmalkarte erstellbar ist bzw. erstellt wird. Ferner weist die lösungsgemäße Rechen- und Speichereinheit eine erste Schnittstelle auf, über die die Rechen- und Speichereinheit unmittelbar oder mittelbar mit einer Datenbank verbunden ist, in der Kartendaten einer hochgenauen Sensormerkmalkarte enthalten sind. Über eine zweite Schnittstelle tritt die Rechen- und Speichereinheit unmittelbar oder mittelbar in Datenaustausch mit einem Sensorsystem des Fahrzeugs.
-
Bevorzugt ist zwischen der Rechen- und Speichereinheit und der zweiten Schnittstelle eine Verschlüsselungseinheit vorgesehen, die die Ziel-Sensormerkmale verschlüsselt. Alternativ oder in Kombination ist zwischen der Rechen- und Speichereinheit und der zweiten Schnittstelle eine Entschlüsselungseinheit vorgesehen, die vom Sensorsystem des Fahrzeugs aktuell erfasste und verschlüsselt vorliegende Sensordaten entschlüsselt. Verschlüsselungseinheit und Entschlüsselungseinheit können in Form eines auf einer Prozessoreinheit implementierten Algorithmenpaars realisiert sein.
-
In einer bevorzugten Ausführungsform der Vorrichtung sind die Rechen- und Speichereinheit, die Verschlüsselungseinheit und die Entschlüsselungseinheit in einer Black-Box integriert, wobei die Black-Box als Eingangs- bzw. Ausgangsschnittstellen die erste Schnittstelle und die zweite Schnittstelle aufweist.
-
Ein Vorteil des erfindungsgemäßen Verfahrens und der Vorrichtung besteht darin, dass nicht alle Kartendaten einer hochgenauen Sensormerkmalkarte, die beispielsweise von einem Kartendienstbetreiber erfasst und gepflegt wird, übertragen werden müssen, was insbesondere in Bezug auf die anfallende Datenmenge und/oder des Formats problematisch bzw. nicht praktikabel sein könnte. Stattdessen erhält das Lokalisierungssystem des Fahrzeugs an das Sensorsystem bzw. die Sensorkonfiguration des Fahrzeugs angepasste Kartendaten, wodurch das Matching bzw. der Abgleich von Karten- und Sensordaten einfacher wird. Besonders vorteilhaft ist, dass die Kartendaten Informationen darüber enthalten, wie die Merkmale bzw. Landmarken von den im Fahrzeug verbauten Sensoren bzw. in dem Fahrzeug verbauten Sensorkonfiguration gesehen werden, was zu einer geringeren Fehlerrate aufgrund falscher Assoziationen führt. Ein besonderer Vorteil des Verfahrens und der Vorrichtung besteht darin, dass die ANN-basierte Abbildung zwischen den Merkmalkarten auch in die Gegenrichtung funktioniert, d. h. durch Rückmeldungen der Fahrzeugsensorsysteme wird wie oben beschrieben ein Updaten bzw. Aktualisieren der hochgenauen Sensormerkmalkarte ermöglicht, die bevorzugt von einem Kartendienstbetreiber bzw. Drittanbieter bereitgestellt und gepflegt wird.
-
Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezug auf die Zeichnungen zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.
-
Es zeigen:
-
1 Ablaufdiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens
-
2 Schematisiertes Blockschaltbild einer erfindungsgemäßen Vorrichtung
-
3 Ablaufdiagramm einer bevorzugten Ausführungsform des Verfahrens
-
In 1 ist ein Ablaufdiagramm einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens dargestellt, bei dem Kartendaten einer hochgenauen Sensormerkmalkarte 20 mittels eines künstlichen neuronalen Netzes ANN in Ziel-Sensordaten übersetzt werden (Verfahrensschritt 110), die im Folgenden optional noch verschlüsselt werden (Verfahrensschritt 120). Die hochgenaue Sensormerkmalkarte 20 wird bevorzugt von einem Kartendienstbetreiber erstellt und gepflegt. Bei der Erstellung der hochgenauen Sensormerkmalkarte werden bevorzugt mehrere verschiedene Sensorsysteme eingesetzt, deren Sensordaten kombiniert werden, um die Umgebung besonders genau und/oder mit besonders vielen Datensätzen zu erfassen. Beispielsweise kann so eine optimierte LIDAR-Punktwolke mit Kameradaten kombiniert bzw. ergänzt werden. Zur Erstellung bzw. zum Training des künstlichen neuronalen Netzes ANN können Fahrzeughersteller Test- bzw. Messfahrzeuge mit dem Ziel-Sensorsetup, einem hochgenauen Positionierungssystem und einer Schnittstelle zum Kartendienstbetreiber ausstatten, über die auf eine hochgenaue digitale Karte, nämlich die hochgenaue Sensormerkmalkarte, zugegriffen werden kann. Das hochgenaue Positionierungssystem verfügt im Vergleich zu einem später, d. h. beispielsweise serienmäßig oder im Normalbetrieb, eingesetzten Positionierungssystem eine deutlich höhere Positionsgenauigkeit. Mit den derart ausgestatteten Fahrzeugen werden Gebiete abgefahren, um eine große Anzahl von Sensordatensätzen zu sammeln und diese unter Berücksichtigung der jeweiligen Position des Fahrzeugs mit der hochgenauen Sensormerkmalkarte 20 zu referenzieren. Das künstliche neuronale Netz ANN wird bevorzugt zusammen mit einer Ver- und Entschlüsselungseinheit 15, die eine Verschlüsselungseinheit 14 und eine Entschlüsselungseinheit 13 umfasst, in eine Black-Box 10 integriert und an den Kartendienstbetreiber geschickt, der die Black-Box 10 in seine Servicearchitektur integriert. Der Black-Box 10 wird überdies eine eindeutige Identifikationskennung zugeordnet. Im Normalbetrieb kann ein Lokalisierungssystem 32 eines Fahrzeugs 30 eine Anfrage an den Kartendienstbetreiber schicken, die eine Kartenkoordinate und die Identifikationskennung umfasst, um eine sensorspezifische Sensormerkmalkarte 40 der Umgebung, die die bevorzugt verschlüsselten Ziel-Sensordaten enthält, für diese Position des Fahrzeugs 30 zu erhalten. Der Kartendienstbetreiber erstellt mithilfe der Black-Box 10 aus der hochgenauen Sensormerkmalkarte 20 die Zielsensormerkmale bzw. die sensorspezifische Sensormerkmalkarte 40 und übermittelt diese – vorzugsweise über eine Funkverbindung – an das Fahrzeug. Das Lokalisierungssystem 32 des Fahrzeugs 30 kann nun das Fahrzeug 30 in der sensorspezifischen Sensormerkmalkarte 40 lokalisieren.
-
2 zeigt eine Black-Box 10, in der ein auf einer Rechen- und Speichereinheit 12 implementiertes künstliches neuronales Netz ANN sowie optional eine Verschlüsselungseinheit 14 integriert sind, die für die Durchführung des Verfahrens ausgebildet sind. Mit dem künstlichen neuronalen Netz ANN werden hochgenaue Kartendaten der Sensormerkmalkarte 20 in Ziel-Sensordaten übersetzt, die dann, bevorzugt in verschlüsselter Form, an das Lokalisierungssystem 32 eines Fahrzeugs 30 übermittelt werden. Die Black-Box 10 verfügt über zwei Schnittstellen 16, 18, über die die Black-Box 10 unmittelbar oder mittelbar mit der Datenbank 21 bzw. mit dem Fahrzeug 30 bzw. dessen Lokalisierungssystem 32 über die fahrzeugseitige Schnittstelle 36 in Kommunikationsverbindung steht. Die Black-Box 10 wird bevorzugt vom Fahrzeughersteller und/oder vom Hersteller des Sensorsystems bereitgestellt, so dass Details über die Auslegung des Sensorsystems bzw. der fahrzeugseitigen Schnittstellen nicht gegenüber dem Kartendienstbetreiber offengelegt werden müssen.
-
3 zeigt ein Ablaufdiagramm einer bevorzugten Form des erfindungsgemäßen Verfahrens, bei dem auch eine Aktualisierung der hochgenauen Sensormerkmalkarte 10 erfolgt. Die in den Verfahrensschritten 110 bzw. 120 gewonnenen Ziel-Sensordaten, aus denen die sensorspezifische Sensormerkmalkarte erstellt wird, werden im Verfahrensschritt 130 an das Fahrzeug 30, insbesondere an dessen Lokalisierungssystem 32, übermittelt. Anschließend wird das Fahrzeug 30 in der sensorspezifischen Sensormerkmalkarte 40 basierend auf aktuell erfassten Sensordaten (Verfahrensschritt 200) lokalisiert (Verfahrensschritt 140). Die im Verfahrensschritt 200 aktuell erfassten Sensordaten können optional immer oder in vorgegebenen zeitlichen Abständen oder auch auf Anforderung des Kartendienstanbieters an die Black-Box 10 übertragen werden (Verfahrensschritt 210), um dort entschlüsselt (optionaler Verfahrensschritt 220) und rückübersetzt zu werden (Verfahrensschritt 230). Mittels des künstlichen neuronalen Netzes ANN kann eine Vorhersage getroffen werden, wie der entsprechende Teil der hochgenauen Sensormerkmalkarte 20 aussehen sollte. Durch Vergleich der rückübersetzten aktuell erfassten Sensordaten mit der ursprünglichen hochgenauen Sensormerkmalkarte 20 können Veränderungen in der Umgebung festgestellt und die hochgenaue Sensormerkmalkarte 20 entsprechend aktualisiert werden.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterung in der Beschreibung, definiert wird.
-
Bezugszeichenliste
-
- 10
- Black-Box
- 12
- Rechen- und Speichereinheit
- 13
- Entschlüsselungseinheit
- 14
- Verschlüsselungseinheit
- 15
- Ver- und Entschlüsselungseinheit
- 16
- erste Schnittstelle
- 18
- zweite Schnittstelle
- 20
- hochgenaue Sensormerkmalkarte
- 21
- Datenbank
- 30
- Fahrzeug
- 32
- Lokalisierungssystem
- 33
- Sensorsystem
- 34
- Sensorkonfiguration
- 36
- fahrzeugseitige Schnittstelle
- 40
- sensorspezifische Sensormerkmalkarte
- ANN
- künstliches neuronales Netz
