DE202017007710U1

DE202017007710U1 - Systeme zur Navigation von Spurzusammenführungen und Spurtrennungen

Info

Publication number: DE202017007710U1
Application number: DE202017007710.8U
Authority: DE
Original assignee: Mobileye Vision Technologies Ltd
Current assignee: Mobileye Vision Technologies Ltd
Priority date: 2016-10-31
Filing date: 2017-10-31
Publication date: 2024-11-14
Anticipated expiration: 2027-11-01
Also published as: US11392135B2; KR102860913B1; US20180120859A1; US10739782B2; US20240345593A1; US11960293B2; EP3532801B1; KR20190080885A; EP4414661A1; KR20230054911A; US20210072765A1; WO2018081807A3; CN118010048A; CN109891194A; US20220283591A1; WO2018081807A2; EP3532801A2; EP3832263A1; CN109891194B; US12242287B2

Abstract

Vorrichtung aufweisend einen Prozessor eines Host-Fahrzeugs (200), wobei der Prozessor dazu eingerichtet ist, das Host-Fahrzeug zu folgendem zu veranlassen:
Empfangen (902), von einer Bildaufnahmevorrichtung (122), einer Vielzahl von Bildern, die repräsentativ für eine Umgebung (1000) des Host-Fahrzeugs (200) sind, wobei die Umgebung eine Straße umfasst, auf der das Host-Fahrzeug fährt;
Analysieren (904) mindestens eines der Vielzahl von Bildern, um ein Zielfahrzeug (802) zu identifizieren, das auf einer Spur der Straße fährt, die sich von einer Spur unterscheidet, auf der das Host-Fahrzeug (200) fährt;
Analysieren (906) mindestens eines der Vielzahl von Bildern, um mindestens eine Spurmarkierung (1004A, 1004B) zu identifizieren, die mit der Spur assoziiert ist, auf der das Zielfahrzeug fährt;
Bestimmen (912) mindestens eines Merkmals des Zielfahrzeugs (800) basierend auf der Vielzahl von Bildern, wobei das mindestens eine bestimmte Merkmal des Zielfahrzeugs (800) eine erfasste seitliche Bewegung des Zielfahrzeugs in Bezug auf die mindestens eine identifizierte Spurmarkierung (1004A, 1004B) umfasst; und
Bestimmen (914) einer Navigationsaktion für das Host-Fahrzeug (200) basierend auf dem bestimmten Merkmal des Zielfahrzeugs (800).

Description

STAND DER TECHNIK

ARMINGOL ET AL: „IVVI: Intelligent vehicle based on visual information", ROBOTICS AND AUTONOMOUS SYSTEMS, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 55, no. 12, 5 November 2007 (2007-11-05), Seiten 904-916, XP022328739, ISSN: 0921-8890, DOI: 10.1016/J.ROBOT.2007.09.004
TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf die autonome Navigation von Fahrzeugen. Darüber hinaus bezieht sich diese Offenbarung auf Systeme und Verfahren zur Identifizierung von Spurmarkierungen, zum Bestimmen von Typen von Spurmarkierungen und zum Navigieren von Spurzusammenführungen und Spurtrennungen.
HINTERGRUNDINFORMATIONEN
Da die Technologie immer weiter fortschreitet, rückt das Ziel eines vollständig autonomen Fahrzeugs, das in der Lage ist, auf den Straßen zu navigieren, in greifbare Nähe. Autonome Fahrzeuge müssen unter Umständen eine Vielzahl von Faktoren berücksichtigen und basierend auf diesen Faktoren angemessene Entscheidungen treffen, um ein beabsichtigtes Ziel sicher und genau zu erreichen. Ein autonomes Fahrzeug muss zum Beispiel visuelle Informationen (z. B. von einer Kamera erfasste Informationen), Informationen von Radar oder Lidar verarbeiten und interpretieren und kann auch Informationen verwenden, die es aus anderen Quellen erhält (z. B. von einer GPS-Vorrichtung, einem Geschwindigkeitssensor, einem Beschleunigungsmesser, einem Aufhängungssensor usw.). Gleichzeitig muss ein autonomes Fahrzeug, um zu einem Ziel zu navigieren, unter Umständen auch seine Stelle auf einer bestimmten Fahrbahn identifizieren (z. B. eine bestimmte Spur auf einer mehrspurigen Straße), an anderen Fahrzeugen vorbeifahren, Hindernissen und Fußgängern ausweichen, Verkehrssignale und -zeichen beobachten, an geeigneten Kreuzungen oder Abzweigungen von einer Straße auf eine andere fahren und auf jede andere Situation reagieren, die während der Operation des Fahrzeugs auftritt oder sich entwickelt. Ferner muss ein autonomes Fahrzeug möglicherweise auch Straßeneigenschaften berücksichtigen, wie beispielsweise verschiedene Typen von Spurmarkierungen.
Während der Navigation kann ein autonomes Fahrzeug üblicherweise auf einer Straße fahren, die verschiedene Typen von Fahrspuren einschließt. Zum Beispiel kann die Spur, auf der ein autonomes Fahrzeug unterwegs ist, mit einer angrenzenden Spur zusammengeführt werden. In einigen Fällen kann ein anderes Fahrzeug in Reichweite des autonomen Fahrzeugs auf einer benachbarten Spur unterwegs sein, die gerade endet, und vor dem autonomen Fahrzeug einfahren. Ein weiteres Beispiel, die Spur, auf der ein autonomes Fahrzeug unterwegs ist, kann sich teilen, um eine zusätzliche, angrenzende Spur zu bilden, wie beispielsweise eine Ausfahrtsspur. In einigen Fällen kann es vorkommen, dass ein anderes Fahrzeug vor dem autonomen Fahrzeug die Spur wechselt oder eine Straße verlässt und nicht mehr vor dem autonomen Fahrzeug positioniert ist. In jeder dieser Situationen muss das autonome Fahrzeug diese Spurwechsel und mögliche Manöver, die benachbarte Fahrzeuge angesichts der Spurwechsel durchführen könnten, bei der Navigation berücksichtigen. Außerdem muss das autonome Fahrzeug bei diesen Spurwechseln möglicherweise seinen Navigationsweg oder seine Geschwindigkeit anpassen, um sicher und präzise zu fahren.
US 2014/0236414 A1 bezieht sich auf eine Technik zum Erkennen von aggressiven Fahrern in der Nähe durch Überwachung der Position eines beobachteten Fahrzeugs relativ zu einer Spurmarkierung oder durch Überwachung der seitlichen Geschwindigkeit zwischen dem Host-Fahrzeug und dem beobachteten Fahrzeug und entsprechende Anpassung der Fahrmodi eines autonomen Fahrzeugs. US 2005/0015203 A1 bezieht sich auf ein System zur Unterstützung des Fahrspurwechsels oder zur Unterstützung der Zusammenführung von Verkehrsteilnehmern, das auf einem Fahrzeug montiert ist. Armingol, Jose Maria, et al, „IVVI: Intelligent vehicle based on visual information", Robotics and Autonomous Systems, Elsevier Science Publishers, Amsterdam, NL, Bd. 55, Nr. 12, 5. November 2007, Seiten 904-916 bezieht sich auf visuelle Wahrnehmungsmodule für fortschrittliche Fahrerunterstützungssysteme, die eine Erkennung und Klassifizierung von Fahrspuren (durchgehend, unterbrochen und zusammenführend) und Straßentypen umfassen.
ZUSAMMENFASSUNG
Nach Aspekten der beanspruchten Erfindung werden ein computerimplementiertes Verfahren zum Navigieren eines Host-Fahrzeugs nach Anspruch 1, ein computerlesbares Medium zum Speichern nach Anspruch 14 und ein System zum Navigieren eines Host-Fahrzeugs nach Anspruch 15 bereitgestellt.
Ausführungsformen, die der vorliegenden Offenbarung entsprechen, stellen Systeme und Verfahren für die autonome Navigation von Fahrzeugen bereit. Die offenbarten Ausführungsformen können Kameras verwenden, um Merkmale für die autonome Navigation von Fahrzeugen bereitzustellen. In Übereinstimmung mit den offenbarten Ausführungsformen können die offenbarten Systeme zum Beispiel eine, zwei oder mehr Kameras umfassen, die die Umgebung eines Fahrzeugs überwachen. Die offenbarten Systeme können eine oder mehrere Navigationsmaßnahmen für das Fahrzeug bestimmen, zum Beispiel auf der Grundlage einer Analyse von Bildern, die von einer oder mehreren Kameras aufgenommen wurden. Die eine oder mehrere Navigationsaktionen können auch andere Daten umfassen, zum Beispiel Daten des globalen Positionierungssystems (GPS), Sensordaten (z. B. von einem Beschleunigungsmesser, einem Geschwindigkeitssensor, einem Aufhängungssensor usw.) und/oder andere Kartendaten.
In einer Ausführungsform ist ein System zur Navigation eines Host-Fahrzeugs offenbart. Das System kann mindestens eine Verarbeitungsvorrichtung umfassen, die so programmiert ist, dass sie von einer Bildaufnahmevorrichtung eine Vielzahl von Bildern empfängt, die eine Umgebung des Host-Fahrzeugs darstellen. Die Umgebung schließt eine Straße ein, auf der das Host-Fahrzeug unterwegs ist. Die mindestens eine Verarbeitungsvorrichtung ist ferner so programmiert, dass sie mindestens eines der mehreren Bilder analysiert, um ein Zielfahrzeug zu identifizieren, das auf einer Spur der Straße unterwegs ist, die sich von einer Spur unterscheidet, auf der das Host-Fahrzeug unterwegs ist; mindestens eines der mehreren Bilder analysiert, um mindestens eine Spurmarkierung zu identifizieren, die der Spur zugeordnet ist, auf der das Zielfahrzeug unterwegs ist; eine oder mehrere Spurmarkierungseigenschaften der mindestens einen identifizierten Spurmarkierung zu erkennen; die eine oder mehreren festgestellten Spurmarkierungseigenschaften zu verwenden, um einen Typ der mindestens einen identifizierten Spurmarkierung zu bestimmen; mindestens eine Eigenschaft des Zielfahrzeugs zu bestimmen; und eine Navigationsaktion für das Host-Fahrzeug basierend auf dem bestimmten Spurmarkierungstyp und der bestimmten Eigenschaft des Zielfahrzeugs zu bestimmen.
In einer anderen Ausführungsform ist ein System zur Navigation eines Host-Fahrzeugs offenbart. Das System kann mindestens eine Verarbeitungsvorrichtung umfassen, die so programmiert ist, dass sie von einer Bildaufnahmevorrichtung eine Vielzahl von Bildern empfängt, die eine Umgebung des Host-Fahrzeugs darstellen. Die Umgebung schließt eine Straße ein, auf der das Host-Fahrzeug unterwegs ist. Die mindestens eine Verarbeitungsvorrichtung ist ferner so programmiert, dass sie mindestens eines der mehreren Bilder analysiert, um ein Zielfahrzeug zu identifizieren, das auf einer Spur der Straße fährt, auf der das Host-Fahrzeug fährt; mindestens eines der mehreren Bilder zu analysieren, um mindestens eine der Spur zugeordnete Spurmarkierung zu identifizieren; eine oder mehrere Eigenschaften der mindestens einen identifizierten Spurmarkierung zu ermitteln; die mindestens eine festgestellte Spurmarkierung verwenden, um einen Typ der mindestens einen identifizierten Spurmarkierung zu bestimmen; mindestens eine Eigenschaft des Zielfahrzeugs zu bestimmen; und basierend auf dem bestimmten Typ der Spurmarkierung und der bestimmten Eigenschaft des Zielfahrzeugs eine Navigationsaktion für das Host-Fahrzeug zu bestimmen.
In einer anderen Ausführungsform ist ein Verfahren zur Navigation eines Host-Fahrzeugs offenbart. Das Verfahren schließt Folgendes ein: Empfangen einer Vielzahl von Bildern von einer Bildaufnahmevorrichtung, die für eine Umgebung des Host-Fahrzeugs repräsentativ sind, wobei die Umgebung eine Straße umfasst, auf der das Host-Fahrzeug fährt; Analysieren mindestens eines der Vielzahl von Bildern durch eine Verarbeitungsvorrichtung, um ein Zielfahrzeug zu identifizieren, das auf einer Spur der Straße fährt, die sich von einer Spur unterscheidet, auf der das Host-Fahrzeug unterwegs ist; Analysieren mindestens eines der Vielzahl von Bildern, um mindestens eine Spurmarkierung zu identifizieren, die der Spur zugeordnet ist, auf der sich das Zielfahrzeug bewegt; Erkennen einer oder mehrerer Spurmarkierungseigenschaften der mindestens einen festgestellten Spurmarkierung; Verwenden der einen oder mehreren erkannten Spurmarkierungseigenschaften, um einen Typ der mindestens einen identifizierten Spurmarkierung zu bestimmen; Bestimmen mindestens einer Eigenschaft des Zielfahrzeugs; und Bestimmen einer Navigationsaktion für das Host-Fahrzeug basierend auf dem bestimmten Typ der Spurmarkierung und der bestimmten Eigenschaft des Zielfahrzeugs.
In einer weiteren Ausführungsform wird ein Verfahren zur Navigation eines Host-Fahrzeugs offenbart. Das Verfahren schließt Folgendes ein: Empfangen einer Vielzahl von Bildern von einer Bildaufnahmevorrichtung, die eine Umgebung des Host-Fahrzeugs darstellen, wobei die Umgebung eine Straße umfasst, auf der das Host-Fahrzeug unterwegs ist; Analysieren mindestens eines der Vielzahl von Bildern durch mindestens eine Verarbeitungsvorrichtung, um ein Zielfahrzeug zu identifizieren, das auf einer Spur der Straße fährt, auf der das Host-Fahrzeug fährt; Analysieren mindestens eines der Vielzahl von Bildern, um mindestens eine der Spur zugeordnete Spurmarkierung zu identifizieren; Erfassen einer oder mehrerer Eigenschaften der mindestens einen identifizierten Spurmarkierung; Verwenden der mindestens einen festgestellten Spurmarkierungseigenschaften, um einen Typ der mindestens einen identifizierten Spurmarkierung zu bestimmen; Bestimmen mindestens einer Eigenschaft des Zielfahrzeugs; und Bestimmen einer Navigationsaktion für das Host-Fahrzeug basierend auf dem bestimmten Typ der Spurmarkierung und der bestimmten Eigenschaft des Zielfahrzeugs.
In Übereinstimmung mit anderen offenbarten Verfahren können nicht-übertragbare computerlesbare Speichermedien Programmanweisungen speichern, die von mindestens einer Verarbeitungsvorrichtung ausgeführt werden und jedes der hierin beschriebenen Verfahren durchführen.
Die vorstehende allgemeine Beschreibung und die folgende detaillierte Beschreibung sind nur beispielhaft und erläuternd und stellen keine Begrenzung der Ansprüche dar.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die beigefügten Zeichnungen, die Bestandteil dieser Offenbarung sind und einen Teil davon bilden, veranschaulichen verschiedene offenbarte Ausführungsformen. Es zeigen:

1 eine schematische Darstellung eines beispielhaften Systems, das mit den offenbarten Ausführungsformen übereinstimmt.
2A eine schematische Seitenansicht eines beispielhaften Fahrzeugs, das ein System umfasst, das mit den offenbarten Ausführungsformen in Einklang steht.
2B eine schematische Draufsicht auf das in 2A gezeigte Fahrzeug und System in Übereinstimmung mit den offenbarten Ausführungsformen.
2C eine schematische Draufsicht auf eine andere Ausführungsform eines Fahrzeugs, die ein System umfasst, das mit den offenbarten Ausführungsformen in Einklang steht.
2D eine schematische Draufsicht auf eine andere Ausführungsform eines Fahrzeugs, die ein System umfasst, das mit den offenbarten Ausführungsformen in Einklang steht.
2E eine schematische Draufsicht auf eine andere Ausführungsform eines Fahrzeugs, die ein System umfasst, das mit den offenbarten Ausführungsformen in Einklang steht.
2F eine schematische Darstellung beispielhafter Fahrzeugsteuersysteme, die mit den offenbarten Ausführungsformen übereinstimmen.
3A eine schematische Darstellung des Innenraums eines Fahrzeugs, die einen Rückspiegel und eine Benutzerschnittstelle für ein bildgebendes System für Fahrzeuge gemäß den offenbarten Ausführungsformen umfasst.
3B eine Veranschaulichung eines Beispiels einer Kamerahalterung, die so konfiguriert ist, dass sie in Übereinstimmung mit den offenbarten Ausführungsformen hinter einem Rückspiegel und an der Windschutzscheibe eines Fahrzeugs positioniert werden kann.
3C eine Veranschaulichung der in 3B gezeigten Kamerahalterung aus einer anderen Perspektive, die mit den veranschaulichten Ausführungsformen übereinstimmt.
3D eine Veranschaulichung eines Beispiels einer Kamerahalterung, die so konfiguriert ist, dass sie in Übereinstimmung mit den offenbarten Ausführungsformen hinter einem Rückspiegel und an der Windschutzscheibe eines Fahrzeugs positioniert werden kann.
4 ein beispielhaftes Blockdiagramm eines Speichers, der so konfiguriert ist, dass er Anweisungen zum Ausführen einer oder mehrerer Operationen in Übereinstimmung mit den offenbarten Ausführungsformen speichert.
5A ein Flussdiagramm, das einen beispielhaften Prozess zum Auslösen einer oder mehrerer navigatorischer Antworten basierend auf einer monokularen Bildanalyse in Übereinstimmung mit offenbarten Ausführungsformen zeigt.
5B ein Flussdiagramm, das einen beispielhaften Prozess zum Erkennen von einem oder mehreren Fahrzeugen und/oder Fußgängern in einem Satz von Bildern zeigt, der mit den offenbarten Ausführungsformen übereinstimmt.
5C ein Flussdiagramm, das einen beispielhaften Prozess zum Erkennen von Straßenmarkierungen und/oder Spurgeometrieinformationen in einem Satz von Bildern zeigt, der mit den offenbarten Ausführungsformen übereinstimmt.
5D ein Flussdiagramm, das einen beispielhaften Prozess zum Erkennen von Ampeln in einem Satz von Bildern zeigt, der mit den offenbarten Ausführungsformen übereinstimmt.
5E ein Flussdiagramm, das einen beispielhaften Prozess zum Auslösen einer oder mehrerer Antworten basierend auf einem Fahrzeugweg in Übereinstimmung mit den offenbarten Ausführungsformen zeigt.
5F ein Flussdiagramm, das einen beispielhaften Prozess zum Bestimmen, ob ein führendes Fahrzeug die Spur wechselt, in Übereinstimmung mit den offenbarten Ausführungsformen zeigt.
6 ein Flussdiagramm, das einen beispielhaften Prozess zum Auslösen einer oder mehrerer Navigationsreaktionen auf der Grundlage einer Stereobildanalyse in Übereinstimmung mit den offenbarten Ausführungsformen zeigt.
7 ein Flussdiagramm, das ein beispielhaftes Verfahren zum Auslösen einer oder mehrerer Navigationsreaktionen auf der Grundlage einer Analyse von drei Bildsätzen gemäß den offenbarten Ausführungsformen zeigt.
8A eine Veranschaulichung beispielhafter Spurzusammenführungen auf einer Fahrbahn in Übereinstimmung mit den offenbarten Ausführungsformen.
8B eine Veranschaulichung beispielhafter Spurtrennungen auf einer Fahrbahn in Übereinstimmung mit den offenbarten Ausführungsformen.
9 ein Flussdiagramm, das einen beispielhaften Prozess zur Bestimmung einer oder mehrerer Navigationsmaßnahmen basierend auf einer Analyse des Spurwechsels in Übereinstimmung mit den offenbarten Ausführungsformen zeigt.
10A eine Veranschaulichung eines autonomen Fahrzeugs auf einer Fahrbahn mit einer Spurzusammenführung in Übereinstimmung mit den veranschaulichten Ausführungsformen.
10B eine beispielhafte Veranschaulichung eines Spurwechsels bei einer Spurzusammenführung in Übereinstimmung mit den offenbarten Ausführungsformen.
11 ein Flussdiagramm, das einen weiteren beispielhaften Prozess zur Bestimmung einer oder mehrerer Navigationsmaßnahmen basierend auf einer Analyse des Spurwechsels in Übereinstimmung mit den offenbarten Ausführungsformen zeigt.
12A eine Veranschaulichung eines autonomen Fahrzeugs auf einer Fahrbahn mit einer Spurtrennung, die mit den offenbarten Ausführungsformen übereinstimmt.
12B eine beispielhafte Veranschaulichung einer Analyse des Spurwechsels bei einer Spurtrennung in Übereinstimmung mit den offenbarten Ausführungsformen.
13 ein Flussdiagramm, das einen weiteren beispielhaften Prozess oder die Bestimmung einer oder mehrerer Navigationsmaßnahmen basierend auf einer Analyse des Spurwechsels in Übereinstimmung mit den offenbarten Ausführungsformen zeigt.
14A-14C Veranschaulichungen einer beispielhaften Spurwechselanalyse für eine Spurzusammenführung in Übereinstimmung mit den offenbarten Ausführungsformen.
15A-15C Veranschaulichungen einer beispielhaften Spurwechselanalyse für eine Spurtrennung, die mit den offenbarten Ausführungsformen übereinstimmt.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung bezieht sich auf die beigefügten Zeichnungen. Wo immer möglich, werden in den Zeichnungen und der folgenden Beschreibung dieselben Nummern verwendet, um auf gleiche oder ähnliche Teile zu verweisen. Während hierin mehrere veranschaulichende Ausführungsformen beschrieben werden, sind Modifikationen, Anpassungen und andere Implementierungen möglich. Zum Beispiel können die in den Zeichnungen veranschaulichten Komponenten ersetzt, hinzugefügt oder modifiziert werden, und die hierin veranschaulichten Verfahren können durch Ersetzen, Umordnen, Entfernen oder Hinzufügen von Schritten zu den offenbarten Verfahren modifiziert werden. Dementsprechend ist die folgende detaillierte Beschreibung nicht auf die offenbarten Ausführungsformen und Beispiele beschränkt. Stattdessen wird der richtige Umfang durch die beigefügten Ansprüche definiert.
ÜBERSICHT ÜBER AUTONOME FAHRZEUGE
Wie in dieser Offenbarung verwendet, bezieht sich der Begriff „autonomes Fahrzeug“ auf ein Fahrzeug, das in der Lage ist, mindestens eine Navigationsänderung ohne Eingabe des Fahrers zu implementieren. Eine „Navigationsänderung“ bezieht sich auf eine oder mehrere Änderungen der Lenkung, der Bremsen oder der Beschleunigung/Verzögerung des Fahrzeugs. Um autonom zu sein, muss ein Fahrzeug nicht vollautomatisch sein (z. B. vollständig betriebsmäßig ohne Fahrer oder ohne Eingabe des Fahrers). Vielmehr schließt ein autonomes Fahrzeug solche ein, die in bestimmten Zeitdauern unter der Kontrolle des Fahrers und in anderen Zeitdauern ohne die Kontrolle des Fahrers betrieben werden können. In autonome Fahrzeuge können auch Fahrzeuge eingeschlossen sein, die nur einige Aspekte der Fahrzeugnavigation steuern, wie beispielsweise die Lenkung (z. B. zur Beibehaltung eines Fahrzeugkurses zwischen den Fahrspuren) oder einige Operationen der Lenkung unter bestimmten Umständen (aber nicht unter allen Umständen), aber andere Aspekte dem Fahrer überlassen (z. B. das Bremsen oder Bremsen unter bestimmten Umständen). In einigen Fällen können autonome Fahrzeuge einige oder alle Aspekte der Bremsung, Geschwindigkeitssteuerung und/oder Lenkung des Fahrzeugs übernehmen.
Da menschliche Fahrer üblicherweise auf visuelle Hinweise und Beobachtungen angewiesen sind, um ein Fahrzeug zu steuern, werden die Verkehrsinfrastrukturen entsprechend gebaut, mit Spurmarkierungen, Verkehrszeichen und Ampeln, die den Fahrern visuelle Informationen bereitstellen sollen. In Anbetracht dieser Designeigenschaften von Transportinfrastrukturen kann ein autonomes Fahrzeug eine Kamera und eine Verarbeitungseinheit umfassen, die visuelle Informationen aus der Umgebung des Fahrzeugs auswertet. Die visuellen Informationen können zum Beispiel Bilder umfassen, die Komponenten der Verkehrsinfrastruktur (z. B. Spurmarkierungen, Verkehrszeichen, Ampeln usw.) darstellen, die von Fahrern und anderen Hindernissen (z. B. anderen Fahrzeugen, Fußgängern, Trümmern usw.) beobachtet werden können. Zusätzlich kann ein autonomes Fahrzeug auch gespeicherte Informationen verwenden, wie beispielsweise Informationen, die beim Navigieren ein Modell der Fahrzeugumgebung bereitstellen. So kann das Fahrzeug beispielsweise GPS-Daten, Sensordaten (z. B. von einem Beschleunigungsmesser, einem Geschwindigkeitssensor, einem Aufhängungssensor usw.) und/oder andere Kartendaten verwenden, um Informationen über seine Anbieterumgebung während der Fahrt bereitzustellen, und das Fahrzeug (sowie andere Fahrzeuge) kann diese Informationen bereitstellen, um sich selbst auf dem Modell zu lokalisieren. Einige Fahrzeuge können auch untereinander kommunizieren, Informationen austauschen, das andere Fahrzeug über Gefahren oder Veränderungen in der Umgebung der Fahrzeuge informieren usw.
SYSTEMÜBERSICHT
1 ist eine Blockdiagrammdarstellung eines Systems 100 in Übereinstimmung mit den beispielhaften offenbarten Ausführungsformen. Das System 100 kann verschiedene Komponenten umfassen, je nach den Anforderungen einer bestimmten Implementierung. In einigen Ausführungsformen kann das System 100 eine Verarbeitungseinheit 110, eine Bilderfassungseinheit 120, einen Positionssensor 130, eine oder mehrere Speichereinheiten 140, 150, eine Kartendatenbank 160, eine Benutzerschnittstelle 170 und einen drahtlosen Transceiver 172 umfassen. Die Verarbeitungseinheit 110 kann eine oder mehrere Verarbeitungsvorrichtungen umfassen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 einen Anwendungsprozessor 180, einen Bildverarbeitungsprozessor 190 oder eine andere geeignete Verarbeitungsvorrichtung umfassen. In ähnlicher Art und Weise kann die Bilderfassungskomponente 120 eine beliebige Anzahl von Bilderfassungsvorrichtungen und Komponenten umfassen, je nach den Anforderungen einer bestimmten Anwendung. In einigen Ausführungsformen kann die Bilderfassungseinheit 120 eine oder mehrere Bildaufnahmevorrichtungen (z. B. Kameras, CCDs oder jeden anderen Typ von Bildsensor) umfassen, wie beispielsweise die Bildaufnahmevorrichtung 122, die Bildaufnahmevorrichtung 124 und die Bildaufnahmevorrichtung 126. Das System 100 kann auch eine Datenschnittstelle 128 umfassen, die die Verarbeitungseinheit 110 mit der Bilderfassungseinheit 120 kommunikativ verbindet. Zum Beispiel kann die Datenschnittstelle 128 eine oder mehrere drahtgebundene und/oder drahtlose Verbindungen zur Übertragung von Bilddaten, die von der Bilderfassungsseinheit 120 erfasst wurden, an die Verarbeitungseinheit 110 umfassen.
Der drahtlose Transceiver 172 kann eine oder mehrere Vorrichtungen umfassen, die so konfiguriert sind, dass sie Übertragungen über eine Luftschnittstelle zu einem oder mehreren Netzwerken (z. B. zellulare Netzwerke, das Internet usw.) unter Verwendung einer Funkfrequenz, einer Infrarotfrequenz, eines Magnetfeldes oder eines elektrischen Feldes austauschen. Der drahtlose Transceiver 172 kann jeden bekannten Standard verwenden, um Daten zu übertragen und/oder zu empfangen (z. B. Wi- Fi, Bluetooth®, Bluetooth Smart, 802.15.4, ZigBee usw.). Solche Übertragungen können Kommunikationen vom Host-Fahrzeug zu einem oder mehreren entfernten Servern umfassen. Solche Übertragungen können auch (ein- oder zweiseitige) Kommunikationen zwischen dem Host-Fahrzeug und einem oder mehreren Zielfahrzeugen in der Umgebung des Host-Fahrzeugs umfassen (z. B. zur Erleichterung der Koordinierung der Navigation des Host-Fahrzeugs im Hinblick auf oder zusammen mit Zielfahrzeugen in der Umgebung des Host-Fahrzeugs), oder sogar eine Rundfunkübertragung an nicht näher bezeichnete Empfänger in der Nähe des sendenden Fahrzeugs.
Sowohl der Anwendungsprozessor 180 als auch der Bildprozessor 190 können verschiedene Typen von hardwarebasierten Verarbeitungsvorrichtungen umfassen. Zum Beispiel kann einer oder beide von Anwendungsprozessor 180 und Bildprozessor 190 einen Mikroprozessor, Vorprozessoren (wie einen Bildvorprozessor), Grafikprozessoren, eine zentrale Verarbeitungseinheit (CPU), Unterstützungsschaltungen, digitale Signalprozessoren, zentrale Verarbeitungseinheiten, Speicher oder jede andere Art von Vorrichtungen umfassen, die zur Ausführung von Anwendungen und zur Bildverarbeitung und -analyse geeignet sind. In einigen Ausführungsformen kann der Anwendungsprozessor 180 und/oder der Bildprozessor 190 jeden Typ von Einzel- oder Multicore-Prozessor, Mikrocontroller für mobile Vorrichtungen, zentrale Verarbeitungseinheit usw. umfassen. Es können verschiedene Verarbeitungsvorrichtungen verwendet werden, darunter zum Beispiel Prozessoren von Herstellern wie Intel^®, AMDO usw., die verschiedene Architekturen umfassen können (z. B. x86-Prozessor, ARMO usw.).
In einigen Ausführungsformen kann der Anwendungsprozessor 180 und/oder der Bildprozessor 190 einen beliebigen Prozessorchip aus der EyeQ-Serie von Mobil-eye^® umfassen. Diese Prozessordesigns schließen jeweils mehrere Prozessoreinheiten mit lokalem Speicher und Anweisungssätzen ein. Solche Prozessoren können Videoeingaben umfassen, um Bilddaten von mehreren Bildsensoren zu empfangen, und sie können auch Videoausgabefunktionen umfassen. In einem Beispiel verwendet das EyeQ2^® die 90-nm-Mikron-Technologie, die mit 332 Mhz arbeitet. Die EyeQ2^®-Architektur besteht aus zwei 32-Bit-RISC-CPUs mit Fließkomma und Hyperthreading (MIPS32^® 34K^® Kerne), fünf Vision Computing Engines (VCE), drei Vector Microcode Processors (VMP^®), Denali 64-Bit Mobile DDR Controller, 128-Bit interner Sonics Zusammenschaltung, dualen 16-Bit Videoeingabe- und 18-Bit Videoausgabecontrollern, 16 Kanälen DMA und verschiedenen Peripheriegeräten. Die MIPS34K CPU verwaltet die fünf VCEs, drei VMP™ und den DMA, die zweite MIPS34K CPU und den Mehrkanal-DMA sowie die anderen Peripheriegeräte. Die fünf VCEs, drei VMP^® und die MIPS34K-CPU können intensive Bildverarbeitungsberechnungen ausführen, die für Anwendungen mit Multifunktionsbündeln erforderlich sind. In einem anderen Beispiel kann der EyeQ3^®, ein Prozessor der dritten Generation, der sechsmal leistungsfähiger ist als der EyeQ2^®, in den offenbarten Ausführungsformen verwendet werden. In anderen Beispielen kann das EyeQ4^® und/oder das EyeQ5^® in den offenbarten Ausführungsformen verwendet werden. Natürlich können auch alle neueren oder zukünftigen Verarbeitungsvorrichtungen von EyeQ zusammen mit den offenbarten Ausführungsformen verwendet werden.
Jede der hierin offenbarten Verarbeitungsvorrichtungen kann so konfiguriert sein, dass sie bestimmte Prozesse ausführt. Die Konfiguration einer Verarbeitungsvorrichtung, wie beispielsweise eines der beschriebenen EyeQ-Prozessoren oder einer anderen Steuerung oder eines Mikroprozessors, zur Ausführung bestimmter Funktionen kann die Programmierung von computerausführbaren Anweisungen und die Bereitstellung dieser Anweisungen für die Verarbeitungsvorrichtung zur Ausführung während der Operation der Verarbeitungsvorrichtung umfassen. In einigen Ausführungsformen kann das Konfigurieren einer Verarbeitungsvorrichtung das direkte Programmieren der Verarbeitungsvorrichtung mit Architekturanweisungen umfassen. In anderen Ausführungsformen kann das Konfigurieren einer Verarbeitungsvorrichtung das Speichern von ausführbaren Anweisungen in einem Speicher umfassen, auf den die Verarbeitungsvorrichtung während des Betriebs zugreifen kann. Zum Beispiel kann die Verarbeitungsvorrichtung auf den Speicher zugreifen, um die gespeicherten Anweisungen während der Operation zu erhalten und auszuführen. In jedem Fall handelt es sich bei der Verarbeitungsvorrichtung, die so konfiguriert ist, dass sie die hierin offenbarten Erfassungs-, Bildanalyse- und/oder Navigationsfunktionen ausführt, um ein spezialisiertes hardwarebasiertes System zur Steuerung mehrerer hardwarebasierter Komponenten eines Host-Fahrzeugs.
1 stellt zwei separate Verarbeitungsvorrichtungen dar, die in die Verarbeitungseinheit 110 eingeschlossen sind, es können aber auch mehr oder weniger Verarbeitungsvorrichtungen verwendet werden. In einigen Ausführungsformen kann zum Beispiel eine einzige Verarbeitungsvorrichtung verwendet werden, um die Aufgaben des Anwendungsprozessors 180 und des Bildverarbeitungsprozessors 190 zu erfüllen. In anderen Ausführungsformen können diese Aufgaben von mehr als zwei Verarbeitungsvorrichtungen ausgeführt werden. Ferner kann das System 100 in einigen Ausführungsformen eine oder mehrere Verarbeitungseinheiten 110 umfassen, ohne andere Komponenten, wie beispielsweise die Bilderfassungskomponente 120, einzuschließen.
Die Verarbeitungseinheit 110 kann verschiedene Typen von Vorrichtungen umfassen. Zum Beispiel kann die Verarbeitungseinheit 110 verschiedene Vorrichtungen umfassen, wie eine Steuerung, einen Bildvorprozessor, eine zentrale Verarbeitungseinheit (CPU), Unterstützungsschaltungen, digitale Signalprozessoren, integrierte Schaltungen, Speicher oder andere Arten von Vorrichtungen für die Bildverarbeitung und -analyse. Der Bildvorverarbeitungsprozessor kann einen Videoprozessor umfassen, der die Bilder von den Bildsensoren erfasst, digitalisiert und verarbeitet. Die CPU kann eine beliebige Anzahl von Mikrocontrollern oder Mikroprozessoren umfassen. Bei den unterstützenden Schaltungen kann es sich um eine beliebige Anzahl von auf dem Fachgebiet allgemein bekannten Schaltungen handeln, einschließlich Cache-, Energieversorgungs-, Takt- und Eingabe-Ausgabe-Schaltungen. Der Speicher kann Software speichern, die, wenn sie vom Prozessor ausgeführt wird, die Operation des Systems steuert. Der Speicher kann Datenbanken und Bildverarbeitungssoftware umfassen. Der Speicher kann eine beliebige Anzahl von Zufallszugriffsspeichern, Nur-Lese-Speichern, Flashspeichern, Plattenlaufwerken, optischen Speichern, Bandspeichern, Wechselspeichern und anderen Typen von Speichern umfassen. In einem Fall kann der Speicher von der Verarbeitungseinheit 110 getrennt sein. In einem anderen Fall kann der Speicher in die Verarbeitungseinheit 110 integriert sein.
Jeder Speicher 140, 150 kann Softwareanweisungen umfassen, die, wenn sie von einem Prozessor (z. B. dem Anwendungsprozessor 180 und/oder dem Bildprozessor 190) ausgeführt werden, die Operation verschiedener Aspekte des Systems 100 steuern können. Diese Speichereinheiten können verschiedene Datenbanken und Bildverarbeitungssoftware umfassen, aber auch ein trainiertes System, wie beispielsweise ein neuronales Netzwerk oder ein Deep Neural Network. Die Speichereinheiten können Zufallszugriffsspeicher, Nur-Lese-Speicher, Flashspeicher, Plattenlaufwerke, optische Speicher, Bandspeicher, Wechselspeicher und/oder andere Typen von Speichern umfassen. In einigen Ausführungsformen können die Speichereinheiten 140, 150 von dem Anwendungsprozessor 180 und/oder dem Bildprozessor 190 getrennt sein. In anderen Ausführungsformen können diese Speichereinheiten in den Anwendungsprozessor 180 und/oder den Bildprozessor 190 integriert sein.
Der Positionssensor 130 kann jeden Typ von Vorrichtung umfassen, der geeignet ist, eine mindestens einer Komponente des Systems 100 zugeordnete Position zu bestimmen. In einigen Ausführungsformen kann der Positionssensor 130 einen GPS-Empfänger umfassen. Solche Empfänger können die Benutzerposition und -geschwindigkeit bestimmen, indem sie die von den Satelliten des globalen Positionierungssystems gesendeten Signale verarbeiten. Positionsinformationen vom Positionssensor 130 können dem Anwendungsprozessor 180 und/oder dem Bildprozessor 190 zur Verfügung gestellt werden.
In einigen Ausführungsformen kann das System 100 Komponenten wie einen Geschwindigkeitssensor (z. B. einen Tachometer) zur Messung der Geschwindigkeit des Fahrzeugs 200 umfassen. Das System 100 kann auch einen oder mehrere Beschleunigungssensoren (entweder einachsig oder mehrachsig) umfassen, um die Beschleunigungen des Fahrzeugs 200 entlang einer oder mehrerer Achsen zu messen.
Die Speichereinheiten 140, 150 können eine Datenbank oder in anderer Form organisierte Daten umfassen, die eine Stelle bekannter Orientierungspunkte anzeigen. Sensorische Informationen (wie beispielsweise Bilder, Radarsignale, Tiefeninformationen von Lidar oder Stereoverarbeitung von zwei oder mehr Bildern) der Umgebung können zusammen mit Positionsinformationen, wie beispielsweise einer GPS-Koordinate, der Ego-Bewegung des Fahrzeugs usw., verarbeitet werden, um die aktuelle Position des Fahrzeugs relativ zu den bekannten Landmarken zu bestimmen und die Fahrzeugposition zu verfeinern. Bestimmte Aspekte dieser Technologie sind in einer Lokalisierungstechnologie mit der Bezeichnung REM™ eingeschlossen, die vom Inhaber der vorliegenden Anmeldung vermarktet wird.
Die Benutzerschnittstelle 170 kann jede Vorrichtung umfassen, die geeignet ist, einem oder mehreren Benutzern des Systems 100 Informationen bereitzustellen oder Eingaben von ihnen zu empfangen. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 Benutzereingabevorrichtungen umfassen, zum Beispiel einen Touchscreen, ein Mikrofon, eine Tastatur, Zeigevorrichtungen, Bahnräder, Kameras, Knöpfe, Schaltflächen usw. Mit solchen Eingabevorrichtungen kann ein Benutzer dem System 100 Eingaben oder Befehle bereitstellen, indem er Anweisungen oder Informationen eintippt, Sprachbefehle erteilt, Menüoptionen auf einem Bildschirm mit Hilfe von Schaltflächen, Zeigern oder Verfolgungssystemen auswählt oder andere geeignete Techniken zur Kommunikation von Informationen mit dem System 100 einsetzt.
Die Benutzerschnittstelle 170 kann mit einer oder mehreren Verarbeitungsvorrichtungen ausgestattet sein, die so konfiguriert sind, dass sie Informationen für oder von einem Benutzer bereitstellen und empfangen und diese Informationen zur Verwendung durch zum Beispiel den Anwendungsprozessor 180 verarbeiten. In einigen Ausführungsformen können solche Verarbeitungsvorrichtungen Anweisungen zum Erkennen und Verfolgen von Augenbewegungen, zum Empfangen und Interpretieren von Sprachbefehlen, zum Erkennen und Interpretieren von Berührungen und/oder Gesten auf einem Touchscreen, zum Reagieren auf Tastatureingaben oder Menüauswahlen usw. ausführen. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 eine Anzeige, einen Lautsprecher, eine taktile Vorrichtung und/oder andere Vorrichtungen zur Bereitstellung von Informationen für den Benutzer umfassen.
Die Kartendatenbank 160 kann jeden Typ von Datenbank zum Speichern von Kartendaten umfassen, die für das System 100 nützlich sind. In einigen Ausführungsformen kann die Kartendatenbank 160 Daten umfassen, die sich auf die Position verschiedener Gegenstände in einem Bezugskoordinatensystem beziehen, zum Beispiel von Straßen, Gewässern, geografischen Merkmalen, Geschäften, Interessenpunkten, Restaurants, Tankstellen usw. Die Kartendatenbank 160 kann nicht nur die Stellen solcher Gegenstände speichern, sondern auch Deskriptoren, die sich auf diese Gegenstände beziehen, einschließlich zum Beispiel der Namen, die sich auf eines der gespeicherten Merkmale beziehen. In einigen Ausführungsformen kann die Kartendatenbank 160 physisch bei anderen Komponenten des Systems 100 untergebracht sein. Alternativ oder zusätzlich kann sich die Kartendatenbank 160 oder ein Abschnitt davon an einer entfernten Stelle in Bezug auf andere Komponenten des Systems 100 (z. B. Verarbeitungseinheit 110) befinden. In solchen Ausführungsformen können Informationen aus der Kartendatenbank 160 über eine drahtgebundene oder drahtlose Datenverbindung zu einem Netzwerk (z. B. über ein zellulares Netzwerk und/oder das Internet usw.) heruntergeladen werden. In einigen Fällen kann die Kartendatenbank 160 ein spärliches Datenmodell speichern, das polynomiale Darstellungen bestimmter Straßenmerkmale (z. B. Spurmarkierungen) oder Zieltrajektorien für das Host-Fahrzeug umfasst. Die Kartendatenbank 160 kann auch gespeicherte Darstellungen verschiedener erkannter Landmarken umfassen, die verwendet werden können, um eine bekannte Position des Host-Fahrzeugs in Bezug auf eine Zieltrajektorie zu bestimmen oder zu aktualisieren. Die Darstellungen der Landmarken können Datenfelder wie den Typ der Landmarke, die Stelle der Landmarke und andere mögliche Identifikatoren umfassen.
Die Bildaufnahmevorrichtungen 122, 124 und 126 können alle Typen von Vorrichtungen umfassen, die für die Aufnahme mindestens eines Bildes aus einer Umgebung geeignet sind. Darüber hinaus kann eine beliebige Anzahl von Bildaufnahmevorrichtungen verwendet werden, um Bilder für die Eingabe in den Bildprozessor zu erfassen. Einige Ausführungsformen können nur eine einzige Bildaufnahmevorrichtung umfassen, während andere Ausführungsformen zwei, drei oder sogar vier oder mehrere Bildaufnahmevorrichtungen umfassen können. Die Bildaufnahmevorrichtungen 122, 124 und 126 werden ferner unter Bezugnahme auf 2B-2E unten beschrieben.
Eine oder mehrere Kameras (z. B. die Bildaufnahmevorrichtungen 122, 124 und 126) können Teil eines Messblocks sein, der in ein Fahrzeug eingeschlossen ist. Verschiedene andere Sensoren können in den Sensorblock eingeschlossen werden, und jeder oder alle Sensoren können verwendet werden, um den Navigationszustand des Fahrzeugs zu erfassen. Zusätzlich zu den Kameras (vorwärts, seitlich, rückwärts usw.) können auch andere Sensoren wie RADAR, LIDAR und akustische Sensoren in den Sensorblock eingeschlossen werden. Zusätzlich kann der Sensorblock eine oder mehrere Komponenten umfassen, die so konfiguriert sind, dass sie Informationen, die sich auf die Umgebung des Fahrzeugs beziehen, kommunizieren und übertragen/empfangen. Solche Komponenten können beispielsweise drahtlose Transceiver (RF usw.) umfassen, die von einer in Bezug auf das Host-Fahrzeug entfernten Quelle sensorgestützte Informationen oder jeden anderen Typ von Informationen über die Umgebung des Host-Fahrzeugs empfangen können. Diese Informationen können Informationen über die Sensorausgabe oder verwandte Informationen umfassen, die von anderen Fahrzeugsystemen als dem Host-Fahrzeug empfangen werden. In einigen Ausführungsformen können solche Informationen Informationen umfassen, die von einer entfernten Rechenvorrichtung, einem zentralen Server usw. empfangen werden. Darüber hinaus können die Kameras viele verschiedene Konfigurationen annehmen: einzelne Einheiten, mehrere Kameras, Kameracluster, langes FOV, kurzes FOV, Weitwinkel, Fisheye usw.
Das System 100 oder verschiedene Komponenten davon können in verschiedene Plattformen integriert werden. In einigen Ausführungsformen kann das System 100 in ein Fahrzeug 200 eingeschlossen werden, wie in 2A gezeigt. Zum Beispiel kann das Fahrzeug 200 mit einer Verarbeitungseinheit 110 und einer der anderen Komponenten des Systems 100 ausgestattet sein, wie oben in 1 beschrieben. Während in einigen Ausführungsformen das Fahrzeug 200 nur mit einer einzigen Bildaufnahmevorrichtung (z. B. einer Kamera) ausgestattet sein kann, können in anderen Ausführungsformen, wie sie in Verbindung mit 2B-2E diskutiert werden, mehrere Bildaufnahmevorrichtungen verwendet werden. Zum Beispiel kann eine der beiden Bildaufnahmevorrichtungen 122 und 124 des Fahrzeugs 200, wie in 2A gezeigt, Teil eines Satzes für fortschrittliche Fahrerunterstützungssysteme (ADAS) sein.
Die Bildaufnahmevorrichtungen, die als Teil der Bilderfassungsseinheit 120 in das Fahrzeug 200 eingeschlossen sind, können an jeder geeigneten Stelle positioniert werden. In einigen Ausführungsformen, wie in 2A-2E und 3A-3C gezeigt, kann sich die Bildaufnahmevorrichtung 122 in der Nähe des Rückspiegels befinden. Diese Position kann eine ähnliche Sichtlinie bereitstellen wie die des Fahrers des Fahrzeugs 200, wodurch bestimmt werden kann, was für den Fahrer sichtbar ist und was nicht. Die Bildaufnahmevorrichtung 122 kann an einer beliebigen Stelle in der Nähe des Rückspiegels positioniert werden, aber die Platzierung der Bildaufnahmevorrichtung 122 auf der Fahrerseite des Spiegels kann ferner dabei helfen, Bilder zu erhalten, die das Sichtfeld und/oder die Sichtlinie des Fahrers darstellen.
Es können auch andere Stellen für die Bildaufnahmevorrichtungen der Bilderfassungseinheit 120 verwendet werden. Die Bildaufnahmevorrichtung 124 kann sich zum Beispiel an oder in der Stoßstange des Fahrzeugs 200 befinden. Eine solche Stelle eignet sich besonders für Bildaufnahmevorrichtungen, die ein großes Sichtfeld aufweisen. Die Sichtlinie von an der Stoßstange angebrachten Bildaufnahmevorrichtungen kann sich von der des Fahrers unterscheiden, sodass die Bildaufnahmevorrichtung an der Stoßstange und der Fahrer möglicherweise nicht immer dieselben Gegenstände sehen. Die Bildaufnahmevorrichtungen (z. B. die Bildaufnahmevorrichtungen 122, 124 und 126) können sich auch an anderen Stellen befinden. Die Bildaufnahmevorrichtungen können sich beispielsweise an oder in einem oder beiden Seitenspiegeln des Fahrzeugs 200, auf dem Dach des Fahrzeugs 200, auf der Motorhaube des Fahrzeugs 200, auf dem Kofferraum des Fahrzeugs 200, an den Seiten des Fahrzeugs 200, an, hinter oder vor einem der Fenster des Fahrzeugs 200 und in oder in der Nähe von Beleuchtungskörpern an der Vorderseite und/oder Rückseite des Fahrzeugs 200 usw. befinden.
Zusätzlich zu den Bildaufnahmevorrichtungen kann das Fahrzeug 200 verschiedene andere Komponenten des Systems 100 umfassen. Zum Beispiel kann die Verarbeitungseinheit 110 in das Fahrzeug 200 entweder integriert oder getrennt von der Steuereinheit (ECU) des Fahrzeugs eingeschlossen sein. Fahrzeug 200 kann auch mit einem Positionssensor 130, wie beispielsweise einem GPS-Empfänger, ausgestattet sein und auch eine Kartendatenbank 160 und Speichereinheiten 140 und 150 umfassen.
Wie bereits erwähnt, kann der drahtlose Transceiver 172 Daten über ein oder mehrere Netzwerke (z. B. zellulare Netzwerke, das Internet usw.) empfangen. Zum Beispiel kann der drahtlose Transceiver 172 die vom System 100 gesammelten Daten auf einen oder mehrere Server hochladen und Daten von einem oder mehreren Servern herunterladen. Über den drahtlosen Transceiver 172 kann das System 100 beispielsweise regelmäßige oder bedarfsgesteuerte Aktualisierungen der Daten empfangen, die in der Kartendatenbank 160, im Speicher 140 und/oder im Speicher 150 gespeichert sind. In ähnlicher Art und Weise kann die drahtlose Sende- und Empfangseinheit 172 alle Daten (z. B. von der Bilderfassungseinheit 120 erfasste Bilder, vom Positionssensor 130 oder anderen Sensoren empfangene Daten, Fahrzeugsteuerungssysteme usw.) vom System 100 und/oder alle von der Steuerungseinheit 110 verarbeiteten Daten auf einen oder mehrere Server hochladen.
Das System 100 kann basierend auf einer eingestellten Stufe der Privatsphäre Daten auf einen Server (z. B. in die Cloud) hochladen. So kann das System 100 beispielsweise Datenschutzeinstellungen implementieren, um die an den Server gesendeten Typen von Daten (einschließlich Stufenmetadaten) zu regulieren oder einzuschränken, die ein Fahrzeug oder den Fahrer/Eigentümer eines Fahrzeugs eindeutig identifizieren können. Solche Einstellungen können vom Benutzer zum Beispiel über den drahtlosen Transceiver 172 eingestellt, durch werkseitige Standardeinstellungen initialisiert oder durch Daten, die vom drahtlosen Transceiver 172 empfangen werden, vorgenommen werden.
In einigen Ausführungsformen kann das System 100 Daten nach einer „hohen“ Datenschutzstufe hochladen, und bei Einstellung einer Einstellung kann das System 100 Daten (z. B. Stelleninformationen in Bezug auf eine Route, aufgenommene Bilder usw.) ohne jegliche Details über das spezifische Fahrzeug und/oder den Fahrer/Eigentümer übertragen. Wenn beispielsweise Daten nach einer „hohen“ Datenschutzeinstellung hochgeladen werden, kann das System 100 keine Fahrzeugidentifikationsnummer (VIN) oder einen Namen eines Fahrers oder Eigentümers des Fahrzeugs umfassen und stattdessen Informationen wie aufgenommene Bilder und/oder begrenzte Stelleninformationen in Bezug auf eine Route übertragen.
Andere Stufen der Privatsphäre sind ebenfalls in Betracht gezogen. So kann das System 100 beispielsweise Daten nach einer „mittleren“ Stufe an einen Server übertragen und zusätzliche Informationen umfassen, die nicht in der „hohen“ Stufe enthalten sind, wie beispielsweise die Marke und/oder das Modell eines Fahrzeugs und/oder den Typ eines Fahrzeugs (z. B. ein Personenwagen, ein Geländewagen, ein Lastwagen usw.). In einigen Ausführungsformen kann das System 100 Daten nach einer „niedrigen“ Datenschutzstufe hochladen. Bei einer „niedrigen“ Datenschutzstufe kann das System 100 Daten hochladen und Informationen umfassen, die ausreichen, um ein bestimmtes Fahrzeug, den Eigentümer/Fahrer und/oder einen Abschnitt oder die gesamte Strecke, die das Fahrzeug zurückgelegt hat, eindeutig zu identifizieren. Solche Daten der „niedrigen“ Datenschutzstufe können zum Beispiel die Fahrgestellnummer, den Namen des Fahrers/Eigentümers, den Herkunftsort des Fahrzeugs vor der Abfahrt, das geplante Ziel des Fahrzeugs, die Marke und/oder das Modell des Fahrzeugs, den Typ des Fahrzeugs usw. umfassen.
2A ist eine schematische Seitenansicht eines beispielhaften bildgebenden Systems für Fahrzeuge in Übereinstimmung mit den offenbarten Ausführungsformen. 2B ist eine schematische Veranschaulichung der in 2A gezeigten Ausführungsform in der Draufsicht. Wie in 2B veranschaulicht, können die offenbarten Ausführungsformen ein Fahrzeug 200 umfassen, das in seiner Karosserie ein System 100 mit einer ersten Bildaufnahmevorrichtung 122, die in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers des Fahrzeugs 200 positioniert ist, einer zweiten Bildaufnahmevorrichtung 124, die auf oder in einer Vorrichtungsregion (z. B. einer der Vorrichtungsregionen 210) des Fahrzeugs 200 positioniert ist, und einer Verarbeitungseinheit 110 enthält.
Wie in 2C veranschaulicht, können die Bildaufnahmevorrichtungen 122 und 124 beide in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers des Fahrzeugs 200 positioniert werden. Auch wenn in 2B und 2C zwei Bildaufnahmevorrichtungen 122 und 124 gezeigt werden, ist es zu verstehen, dass andere Ausführungsformen mehr als zwei Bildaufnahmevorrichtungen umfassen können. In den in 2D und 2E gezeigten Ausführungsformen sind zum Beispiel eine erste, zweite und dritte Bildaufnahmevorrichtung 122, 124 und 126 in das System 100 des Fahrzeugs 200 eingeschlossen.
Wie in 2D veranschaulicht, kann die Bildaufnahmevorrichtung 122 in der Nähe des Rückspiegels und/oder in der Nähe des Fahrers des Fahrzeugs 200 positioniert werden, und die Bildaufnahmevorrichtungen 124 und 126 können auf oder in einer Region des Stoßfängers (z. B. eine der Stoßfängerregionen 210) des Fahrzeugs 200 positioniert werden. Und wie in 2E gezeigt, können die Bildaufnahmevorrichtungen 122, 124 und 126 in der Nähe des Rückspiegels und/oder in der Nähe des Fahrersitzes des Fahrzeugs 200 positioniert werden. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Anzahl und Konfiguration der Bildaufnahmevorrichtungen beschränkt, und die Bildaufnahmevorrichtungen können an jeder geeigneten Stelle im und/oder am Fahrzeug 200 positioniert werden.
Es ist zu verstehen, dass die offenbarten Ausführungsformen nicht auf Fahrzeuge beschränkt sind und auch in anderen Zusammenhängen angewendet werden können. Es ist auch zu verstehen, dass die offenbarten Ausführungsformen nicht auf einen bestimmten Typ von Fahrzeug 200 beschränkt sind und auf alle Typen von Fahrzeugen einschließlich Autos, Lastwagen, Anhängern und anderen Fahrzeugtypen anwendbar sein können.
Die erste Bildaufnahmevorrichtung 122 kann jeden geeigneten Typ von Bildaufnahmevorrichtung umfassen. Die Bildaufnahmevorrichtung 122 kann eine optische Achse umfassen. In einem Fall kann die Bildaufnahmevorrichtung 122 einen Aptina M9V024 WVGA-Sensor mit einem Global Shutter umfassen. In anderen Ausführungsformen kann die Bildaufnahmevorrichtung 122 eine Auflösung von 1280 × 960 Pixeln bereitstellen und einen Rollverschluss umfassen. Die Bildaufnahmevorrichtung 122 kann verschiedene optische Elemente umfassen. In einigen Ausführungsformen können ein oder mehrere Objektive eingeschlossen sein, um beispielsweise eine gewünschte Brennweite und ein gewünschtes Sichtfeld für die Bildaufnahmevorrichtung bereitzustellen. In einigen Ausführungsformen kann die Bildaufnahmevorrichtung 122 einem 6-mm- oder einem 12-mm-Objektiv zugeordnet sein. In einigen Ausführungsformen kann die Bildaufnahmevorrichtung 122 so konfiguriert sein, dass sie Bilder aufnimmt, die ein gewünschtes Sichtfeld (FOV) 202 aufweisen, wie in 2D veranschaulicht. Zum Beispiel kann die Bildaufnahmevorrichtung 122 so konfiguriert werden, dass sie ein reguläres FOV aufweist, wie beispielsweise in einem Bereich von 40 Grad bis 56 Grad, einschließlich 46 Grad FOV, 50 Grad FOV, 52 Grad FOV oder mehr. Alternativ kann die Bildaufnahmevorrichtung 122 so konfiguriert werden, dass sie ein schmales FOV im Bereich von 23 bis 40 Grad aufweist, wie beispielsweise ein FOV von 28 Grad oder 36 Grad. Darüber hinaus kann die Bildaufnahmevorrichtung 122 einen weiten FOV im Bereich von 100 bis 180 Grad aufweisen. In einigen Ausführungsformen kann die Bildaufnahmevorrichtung 122 eine Weitwinkelstoßfängerkamera oder eine Kamera mit einem Sichtfeld von bis zu 180 Grad umfassen. In einigen Ausführungsformen kann die Bildaufnahmevorrichtung 122 eine 7,2-Megapixel-Bildaufnahmevorrichtung mit einem Aspektverhältnis von etwa 2:1 (z. B. H×V=3800×1900 Pixel) und einem horizontalen Blickwinkel von etwa 100 Grad sein. Eine solche Bildaufnahmevorrichtung kann anstelle einer Konfiguration mit drei Bildaufnahmevorrichtungen verwendet werden. Aufgrund erheblicher Objektivverzerrungen kann das vertikale FOV einer solchen Bildaufnahmevorrichtung in Implementierungen, in denen die Bildaufnahmevorrichtung ein radialsymmetrisches Objektiv verwendet, deutlich weniger als 50 Grad betragen. Zum Beispiel kann ein solches Objektiv nicht radial symmetrisch sein, was ein vertikales FOV von mehr als 50 Grad bei einem horizontalen FOV von 100 Grad ermöglichen würde.
Die erste Bildaufnahmevorrichtung 122 kann eine Vielzahl von ersten Bildern in Bezug auf eine dem Fahrzeug 200 zugeordnete Szene aufnehmen. Jedes der mehreren ersten Bilder kann als eine Serie von Bildzeilen aufgenommen werden, die mit einem Rollverschluss verwendet werden können. Jede Scanzeile kann eine Vielzahl von Pixeln umfassen.
Die erste Bildaufnahmevorrichtung 122 kann eine Scanrate aufweisen, die der Erfassung jeder der ersten Serie von Bildzeilen zugeordnet ist. Die Scanrate kann sich auf eine Rate beziehen, mit der ein Bildsensor Bilddaten erfassen kann, die jedem Pixel zugeordnet sind, das in einer bestimmten Scanzeile eingeschlossen ist.
Die Bildaufnahmevorrichtungen 122, 124 und 126 können jeden geeigneten Typ und jede geeignete Anzahl von Bildsensoren umfassen, zum Beispiel CCD-Sensoren oder CMOS-Sensoren. In einer Ausführungsform kann ein CMOS-Bildsensor zusammen mit einem Rollverschluss verwendet werden, sodass jedes Pixel in einer Reihe einzeln abgelesen wird und die Reihen zeilenweise abgetastet werden, bis ein ganzer Rahmen erfasst wurde. In einigen Ausführungsformen können die Zeilen relativ zum Rahmen nacheinander von oben nach unten erfasst werden.
In einigen Ausführungsformen können eine oder mehrere der hierin offenbaren Bildaufnahmevorrichtungen (z. B. die Bildaufnahmevorrichtungen 122, 124 und 126) einen hochauflösenden Bildgeber bilden und eine Auflösung von mehr als 5M Pixel, 7M Pixel, 10M Pixel oder mehr aufweisen.
Die Verwendung eines Rollverschlusses kann dazu führen, dass Pixel in verschiedenen Reihen zu unterschiedlichen Zeiten belichtet und aufgenommen werden, was zu Verzerrungen und anderen Bildartefakten im aufgenommenen Rahmen führen kann. Wenn die Bildaufnahmevorrichtung 122 hingegen so konfiguriert ist, dass sie mit einem globalen oder synchronen Verschluss arbeitet, können alle Pixel für die gleiche Zeit und während einer gemeinsamen Belichtungsperiode belichtet werden. Daher stellen die Bilddaten in einem Rahmen, der von einem System mit einem Global Shutter gesammelt wurde, eine Momentaufnahme des gesamten FOV (wie FOV 202) zu einer bestimmten Zeit dar. Im Gegensatz dazu wird bei einer Anwendung mit Rollverschluss jede Zeile eines Rahmens belichtet und die Daten werden zu verschiedenen Zeiten erfasst. So können sich bewegende Gegenstände in einer Bildaufnahmevorrichtung mit einem Rollverschluss verzerrt erscheinen. Dieses Phänomen wird im Folgenden detaillierter beschrieben.
Bei der zweiten Bildaufnahmevorrichtung 124 und der dritten Bildaufnahmevorrichtung 126 kann es sich um jeden Typ von Bildaufnahmevorrichtung handeln. Wie die erste Bildaufnahmevorrichtung 122 kann auch jede der Bildaufnahmevorrichtungen 124 und 126 eine optische Achse umfassen. In einer Ausführungsform kann jede der Bildaufnahmevorrichtungen 124 und 126 einen Aptina M9V024 WVGA-Sensor mit einem Global Shutter umfassen. Alternativ kann jede der Bildaufnahmevorrichtungen 124 und 126 einen Rollverschluss umfassen. Wie die Bildaufnahmevorrichtung 122 können auch die Bildaufnahmevorrichtungen 124 und 126 so konfiguriert werden, dass sie verschiedene Objektive und optische Elemente umfassen. In einigen Ausführungsformen können den Bildaufnahmevorrichtungen 124 und 126 zugeordnete Objektive FOVs (z. B. FOVs 204 und 206) bereitstellen, die gleich oder schmaler sind als ein FOV (z. B. FOV 202), das der Bildaufnahmevorrichtung 122 zugeordnet ist. Die Bildaufnahmevorrichtungen 124 und 126 können zum Beispiel FOVs von 40 Grad, 30 Grad, 26 Grad, 23 Grad, 20 Grad oder weniger aufweisen.
Die Bildaufnahmevorrichtungen 124 und 126 können eine Vielzahl von zweiten und dritten Bildern in Bezug auf eine dem Fahrzeug 200 zugeordnete Szene aufnehmen. Jedes der mehreren zweiten und dritten Bilder kann als zweite und dritte Serie von Bildzeilen erfasst werden, die mit einem Rollverschluss aufgenommen werden können. Jede Zeile oder Reihe kann eine Vielzahl von Pixeln aufweisen. Die Bildaufnahmevorrichtungen 124 und 126 können eine zweite und dritte Scanrate aufweisen, die der Erfassung jeder der in der zweiten und dritten Serie enthaltenen Bildzeilen zugeordnet ist.
Jede Bildaufnahmevorrichtung 122, 124 und 126 kann an jeder geeigneten Position und Orientierung relativ zum Fahrzeug 200 positioniert werden. Die relative Positionierung der Bildaufnahmevorrichtungen 122, 124 und 126 kann so gewählt werden, dass die von den Bildaufnahmevorrichtungen erfassten Informationen zusammengeführt werden. In einigen Ausführungsformen kann sich beispielsweise ein FOV (wie FOV 204), das der Bildaufnahmevorrichtung 124 zugeordnet ist, teilweise oder vollständig mit einem FOV (wie FOV 202), das der Bildaufnahmevorrichtung 122 zugeordnet ist, und einem FOV (wie FOV 206), das der Bildaufnahmevorrichtung 126 zugeordnet ist, überschneiden.
Die Bildaufnahmevorrichtungen 122, 124 und 126 können sich an jeder beliebigen Stelle des Fahrzeugs 200 in einer geeigneten Höhe befinden. In einem Fall kann es einen Höhenunterschied zwischen den Bildaufnahmevorrichtungen 122, 124 und 126 geben, der ausreichende Parallaxeninformationen für eine Stereoanalyse bereitstellt. Zum Beispiel befinden sich, wie in 2A gezeigt, die beiden Bildaufnahmevorrichtungen 122 und 124 auf unterschiedlichen Höhen. Es kann auch ein Unterschied in der seitlichen Verschiebung zwischen den Bildaufnahmevorrichtungen 122, 124 und 126 bestehen, der zusätzliche Parallaxeninformationen für die Stereoanalyse durch die Verarbeitungseinheit 110 liefert, zum Beispiel. Der Unterschied in der seitlichen Verschiebung kann mit d_x bezeichnet werden, wie in 2C und 2D gezeigt. In einigen Ausführungsformen kann zwischen den Bildaufnahmevorrichtungen 122, 124 und 126 eine Verschiebung nach vorne oder hinten (z. B. eine Bereichsverschiebung) bestehen. Zum Beispiel kann die Bildaufnahmevorrichtung 122 0,5 bis 2 Meter oder mehr hinter der Bildaufnahmevorrichtung 124 und/oder der Bildaufnahmevorrichtung 126 liegen. Dieser Typ der Verschiebung kann es einer der Bildaufnahmevorrichtungen ermöglichen, mögliche blinde Flecken der anderen Bildaufnahmevorrichtung(en) abzudecken.
Die Bildaufnahmevorrichtungen 122 können ein beliebiges Auflösungsvermögen (z. B. die Anzahl der dem Bildsensor zugeordneten Pixel) aufweisen, und die Auflösung des/der der Bildaufnahmevorrichtung 122 zugeordneten Bildsensors/Bildsensoren kann höher, niedriger oder gleich der Auflösung des/der den Bildaufnahmevorrichtungen 124 und 126 zugeordneten Bildsensors/Bildsensoren sein. In einigen Ausführungsformen kann der Bildsensor bzw. können die Bildsensoren, die der Bildaufnahmevorrichtung 122 und/oder den Bildaufnahmevorrichtungen 124 und 126 zugeordnet sind, eine Auflösung von 640 × 480, 1024 × 768, 1280 × 960 oder eine andere geeignete Auflösung aufweisen.
Die Rahmenrate (z. B. die Rate, mit der eine Bildaufnahmevorrichtung einen Satz von Pixeldaten eines Bildrahmens erfasst, bevor sie zur Erfassung von Pixeldaten übergeht, die dem nächsten Bildrahmen zugeordnet sind) kann steuerbar sein. Die der Bildaufnahmevorrichtung 122 zugeordnete Rahmenrate kann höher, niedriger oder gleich sein wie die den Bildaufnahmevorrichtungen 124 und 126 zugeordnete Rahmenrate. Die den Bildaufnahmevorrichtungen 122, 124 und 126 zugeordnete Rahmenrate kann von einer Vielzahl von Faktoren abhängen, die die Zeit der Rahmenrate beeinflussen können. Zum Beispiel kann eine oder mehrere der Bildaufnahmevorrichtungen 122, 124 und 126 eine wählbare Pixelverzögerungszeit umfassen, die vor oder nach der Erfassung von Bilddaten, die einem oder mehreren Pixeln eines Bildsensors in der Bildaufnahmevorrichtung 122, 124 und/oder 126 zugeordnet sind, eingeführt wird. Im Allgemeinen können die Bilddaten, die jedem Pixel entsprechen, nach einer bestimmten Taktrate der Vorrichtung erfasst werden (z. B. ein Pixel pro Taktzyklus). In Ausführungsformen, die einen Rollverschluss umfassen, können eine oder mehrere der Bildaufnahmevorrichtungen 122, 124 und 126 außerdem eine wählbare horizontale Austastperiode umfassen, die vor oder nach der Erfassung von Bilddaten, die einer Pixelreihe eines Bildsensors in der Bildaufnahmevorrichtung 122, 124 und/oder 126 zugeordnet sind, eingeführt wird. Ferner können eine oder mehrere der Bildaufnahmevorrichtungen 122, 124 und/oder 126 eine wählbare vertikale Austastperiode umfassen, die vor oder nach der Erfassung von Bilddaten, die einem Rahmen der Bildaufnahmevorrichtung 122, 124 und 126 zugeordnet sind, eingeführt wird.
Diese Zeitsteuerungen können die Synchronisierung der den Bildaufnahmevorrichtungen 122, 124 und 126 zugeordneten Rahmenraten ermöglichen, selbst wenn die Scanraten der einzelnen Vorrichtungen unterschiedlich sind. Wie weiter unten noch näher erläutert wird, können diese wählbaren Zeitsteuerungen neben anderen Faktoren (z. B. Auflösung des Bildsensors, maximale Zeilen-Scanraten usw.) die Synchronisierung der Bildaufnahme aus einem Bereich ermöglichen, in dem sich das FOV der Bildaufnahmevorrichtung 122 mit einem oder mehreren FOVs der Bildaufnahmevorrichtungen 124 und 126 überschneidet, selbst wenn sich das Sichtfeld der Bildaufnahmevorrichtung 122 von den FOVs der Bildaufnahmevorrichtungen 124 und 126 unterscheidet.
Das Timing der Rahmenrate in den Bildaufnahmevorrichtungen 122, 124 und 126 kann von der Auflösung der zugeordneten Bildsensoren abhängen. Wenn zum Beispiel beide Vorrichtungen ähnliche Scanraten aufweisen und eine Vorrichtung einen Bildsensor mit einer Auflösung von 640 × 480 und eine andere Vorrichtung einen Bildsensor mit einer Auflösung von 1280 × 960 umfasst, wird mehr Zeit benötigt, um einen Rahmen mit Bilddaten von dem Sensor mit der höheren Auflösung zu erfassen.
Ein weiterer Faktor, der sich auf die Zeit der Erfassung von Bilddaten in den Bildaufnahmevorrichtungen 122, 124 und 126 auswirken kann, ist die maximale Scanrate für Zeilen. Die Erfassung einer Reihe von Bilddaten von einem Bildsensor, der in die Bildaufnahmevorrichtung 122, 124 und 126 eingeschlossen ist, erfordert beispielsweise eine gewisse Mindestmenge an Zeit. Unter der Annahme, dass keine Pixelverzögerungszeiten hinzugefügt werden, bezieht sich diese minimale Zeitmenge für die Erfassung einer Reihe von Bilddaten auf die maximale Scanrate für eine bestimmte Vorrichtung. Vorrichtungen, die höhere maximale Zeilen-Scanraten bieten, weisen das Potenzial auf, höhere Rahmenraten bereitzustellen als Vorrichtungen mit niedrigeren maximalen Zeilen-Scanraten. In einigen Ausführungsformen kann eine oder mehrere der Bildaufnahmevorrichtungen 124 und 126 eine maximale Zeilen-Scanrate aufweisen, die höher ist als die maximale Zeilen-Scanrate, die der Bildaufnahmevorrichtung 122 zugeordnet ist. In einigen Ausführungsformen kann die maximale Zeilen-Scanrate der Vorrichtung 124 und/oder 126 das 1,25-, 1,5-, 1,75- oder 2-fache oder mehr der maximalen Zeilen-Scanrate der Bildaufnahmevorrichtung 122 betragen.
In einer anderen Ausführungsform können die Bildaufnahmevorrichtungen 122, 124 und 126 die gleiche maximale Zeilen-Scanrate aufweisen, aber die Bildaufnahmevorrichtung 122 kann mit einer Scanrate betrieben werden, die kleiner oder gleich ihrer maximalen Scanrate ist. Das System kann so konfiguriert werden, dass eine oder mehrere der Bildaufnahmevorrichtungen 124 und 126 mit einer Scanrate arbeiten, die der Scanrate der Bildaufnahmevorrichtung 122 entspricht. In anderen Fällen kann das System so konfiguriert werden, dass die Zeilen-Scanrate der Bildaufnahmevorrichtung 124 und/oder der Bildaufnahmevorrichtung 126 das 1,25-, 1,5-1,75- oder 2-fache oder mehr der Zeilen-Scanrate der Bildaufnahmevorrichtung 122 beträgt.
In einigen Ausführungsformen können die Bildaufnahmevorrichtungen 122, 124 und 126 asymmetrisch sein. Das heißt, sie können Kameras mit unterschiedlichen Sichtfeldern (FOV) und Brennweiten umfassen. Die Sichtfelder der Bildaufnahmevorrichtungen 122, 124 und 126 können zum Beispiel jeden gewünschten Bereich in Bezug auf die Umgebung des Fahrzeugs 200 umfassen. In einigen Ausführungsformen können eine oder mehrere der Bildaufnahmevorrichtungen 122, 124 und 126 so konfiguriert sein, dass sie Bilddaten aus einer Umgebung vor dem Fahrzeug 200, hinter dem Fahrzeug 200, an den Seiten des Fahrzeugs 200 oder Kombinationen davon erfassen.
Ferner kann die jeder Bildaufnahmevorrichtung 122, 124 und/oder 126 zugeordnete Brennweite gewählt werden (z. B. durch den Einbau geeigneter Objektive usw.), sodass jede Vorrichtung Bilder von Gegenständen in einem gewünschten Abstand relativ zum Fahrzeug 200 aufnimmt. In einigen Ausführungsformen können die Bildaufnahmevorrichtungen 122, 124 und 126 beispielsweise Bilder von Gegenständen aufnehmen, die sich nur wenige Meter vom Fahrzeug entfernt befinden. Die Bildaufnahmevorrichtungen 122, 124 und 126 können auch so konfiguriert werden, dass sie Bilder von Gegenständen aufnehmen, die weiter vom Fahrzeug entfernt sind (z. B. 25 m, 50 m, 100 m, 150 m oder mehr). Ferner können die Brennweiten der Bildaufnahmevorrichtungen 122, 124 und 126 so gewählt werden, dass eine Bildaufnahmevorrichtung (z. B. die Bildaufnahmevorrichtung 122) Bilder von Gegenständen aufnehmen kann, die sich relativ nahe am Fahrzeug befinden (z. B. innerhalb von 10 m oder innerhalb von 20 m), während die anderen Bildaufnahmevorrichtungen (z. B. die Bildaufnahmevorrichtungen 124 und 126) Bilder von Gegenständen aufnehmen können, die weiter vom Fahrzeug 200 entfernt sind (z. B. mehr als 20 m, 50 m, 100 m, 150 m usw.).
Nach einigen Ausführungsformen kann das FOV einer oder mehrerer Bildaufnahmevorrichtungen 122, 124 und 126 einen weiten Winkel aufweisen. So kann es beispielsweise vorteilhaft sein, einen FOV von 140 Grad aufzuweisen, insbesondere für die Bildaufnahmevorrichtungen 122, 124 und 126, die für die Aufnahme von Bildern des Bereichs in der Nähe des Fahrzeugs 200 verwendet werden können. Zum Beispiel kann die Bildaufnahmevorrichtung 122 verwendet werden, um Bilder des Bereichs rechts oder links vom Fahrzeug 200 aufzunehmen. In solchen Fällen kann es wünschenswert sein, dass die Bildaufnahmevorrichtung 122 ein großes FOV aufweist (z. B. mindestens 140 Grad).
Das den einzelnen Bildaufnahmevorrichtungen 122, 124 und 126 zugeordnete Sichtfeld kann von den jeweiligen Brennweiten abhängen. Wenn beispielsweise die Brennweite zunimmt, verringert sich das entsprechende Sichtfeld.
Die Bildaufnahmevorrichtungen 122, 124 und 126 können so konfiguriert werden, dass sie alle geeigneten Sichtfelder aufweisen. In einem bestimmten Beispiel kann die Bildaufnahmevorrichtung 122 einen horizontalen FOV von 46 Grad aufweisen, die Bildaufnahmevorrichtung 124 einen horizontalen FOV von 23 Grad und die Bildaufnahmevorrichtung 126 einen horizontalen FOV zwischen 23 und 46 Grad. In einem anderen Fall kann die Bildaufnahmevorrichtung 122 einen horizontalen FOV von 52 Grad aufweisen, die Bildaufnahmevorrichtung 124 kann einen horizontalen FOV von 26 Grad aufweisen und die Bildaufnahmevorrichtung 126 kann einen horizontalen FOV zwischen 26 und 52 Grad aufweisen. In einigen Ausführungsformen kann das Verhältnis zwischen dem FOV der Bildaufnahmevorrichtung 122 und den FOVs der Bildaufnahmevorrichtung 124 und/oder der Bildaufnahmevorrichtung 126 zwischen 1,5 und 2,0 liegen. In anderen Ausführungsformen kann dieses Verhältnis zwischen 1,25 und 2,25 variieren.
Das System 100 kann so konfiguriert werden, dass sich ein Sichtfeld der Bildaufnahmevorrichtung 122 mindestens teilweise oder vollständig mit einem Sichtfeld der Bildaufnahmevorrichtung 124 und/oder der Bildaufnahmevorrichtung 126 überschneidet. In einigen Ausführungsformen kann das System 100 so konfiguriert werden, dass die Sichtfelder der Bildaufnahmevorrichtungen 124 und 126 beispielsweise innerhalb des Sichtfelds der Bildaufnahmevorrichtung 122 liegen (z. B. schmaler sind als dieses) und ein gemeinsames Zentrum mit diesem haben. In anderen Ausführungsformen können die Bildaufnahmevorrichtungen 122, 124 und 126 benachbarte FOVs erfassen oder teilweise eine Überlappung in ihren FOVs aufweisen. In einigen Ausführungsformen können die Sichtfelder der Bildaufnahmevorrichtungen 122, 124 und 126 so ausgerichtet sein, dass sich die Mitte der Bildaufnahmevorrichtungen 124 und/oder 126 mit dem engeren FOV in der unteren Hälfte des Sichtfelds der Vorrichtung 122 mit dem breiteren FOV befindet.
2F ist eine schematische Darstellung beispielhafter Fahrzeugsteuersysteme, die mit den offenbarten Ausführungsformen übereinstimmen. Wie in 2F angedeutet, kann das Fahrzeug 200 das Drosselsystem 220, das Bremssystem 230 und das System zur Lenkung 240 umfassen. Das System 100 kann Eingaben (z. B. Steuersignale) an das Drosselsystem 220, das Bremssystem 230 und das Lenksystem 240 über eine oder mehrere Datenverbindungen (z. B. eine oder mehrere drahtgebundene und/oder drahtlose Verbindungen zur Übertragung von Daten) bereitstellen. Basierend auf der Analyse von Bildern, die von den Bildaufnahmevorrichtungen 122, 124 und/oder 126 erfasst wurden, kann das System 100 beispielsweise Steuersignale für das Drosselsystem 220, das Bremssystem 230 oder das Lenksystem 240 bereitstellen, um das Fahrzeug 200 zu navigieren (z. B. durch Veranlassen einer Beschleunigung, eines Abbiegens, einer Spurverlagerung usw.). Ferner kann das System 100 Eingaben vom Drosselsystem 220, dem Bremssystem 230 oder dem Lenksystem 24 empfangen, die den Betriebszustand des Fahrzeugs 200 anzeigen (z. B. die Geschwindigkeit, ob das Fahrzeug 200 bremst und/oder abbiegt usw.). Weitere Details werden in Verbindung mit 4-7 unten bereitgestellt.
Wie in 3A gezeigt, kann das Fahrzeug 200 auch eine Benutzerschnittstelle 170 für die Interaktion mit einem Fahrer oder einem Fahrgast des Fahrzeugs 200 umfassen. So kann die Benutzerschnittstelle 170 in einer Fahrzeuganwendung beispielsweise einen Berührungsbildschirm 320, Knöpfe 330, Schaltflächen 340 und ein Mikrofon 350 umfassen. Ein Fahrer oder Fahrgast des Fahrzeugs 200 kann auch Griffe (z. B. an oder in der Nähe der Lenksäule des Fahrzeugs 200, einschließlich zum Beispiel Blinkergriffe), Schaltflächen (z. B. am Lenkrad des Fahrzeugs 200) und ähnliches verwenden, um mit dem System 100 zu interagieren. In einigen Ausführungsformen kann das Mikrofon 350 in der Nähe eines Rückspiegels 310 positioniert sein. In einigen Ausführungsformen kann sich die Bildaufnahmevorrichtung 122 auch in der Nähe des Rückspiegels 310 befinden. In einigen Ausführungsformen kann die Benutzerschnittstelle 170 auch einen oder mehrere Lautsprecher 360 umfassen (z. B. die Lautsprecher eines Fahrzeugaudiosystems). Das System 100 kann zum Beispiel verschiedene Benachrichtigungen (z. B. Alarme) über die Lautsprecher 360 bereitstellen.
3B-3D sind Veranschaulichungen einer beispielhaften Kamerahalterung 370, die so konfiguriert ist, dass sie hinter einem Rückspiegel (z. B. Rückspiegel 310) und an der Windschutzscheibe eines Fahrzeugs positioniert werden kann, entsprechend den offenbaren Ausführungsformen. Wie in 3B gezeigt, kann die Kamerahalterung 370 die Bildaufnahmevorrichtungen 122, 124 und 126 umfassen. Die Bildaufnahmevorrichtungen 124 und 126 können hinter einer Blendabschirmung 380 positioniert werden, die bündig mit der Windschutzscheibe des Fahrzeugs abschließt und eine Zusammensetzung aus Film und/oder Antireflexionsmaterialien umfasst. Zum Beispiel kann die Blendabschirmung 380 so positioniert werden, dass sie auf eine Windschutzscheibe des Fahrzeugs ausgerichtet ist, die eine entsprechende Neigung aufweist. In einigen Ausführungsformen kann jede der Bildaufnahmevorrichtungen 122, 124 und 126 hinter der Blendabschirmung 380 positioniert werden, wie beispielsweise in 3D dargestellt. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration von Bildaufnahmevorrichtungen 122, 124 und 126, Kamerahalterung 370 und Blendabschirmung 380 beschränkt. 3C veranschaulicht die in 3B gezeigte Veranschaulichung der Kamerahalterung 370 aus einer Frontalperspektive.
Wie ein Fachmann, der die Vorteile dieser Offenbarung kennt, feststellen wird, können zahlreiche Variationen und/oder Modifikationen an den vorstehend offenbaren Ausführungsformen vorgenommen werden. Zum Beispiel sind nicht alle Komponenten für den Betrieb des Systems 100 unerlässlich. Ferner kann jede Komponente an jeder geeigneten Stelle des Systems 100 angeordnet werden, und die Komponenten können in einer Vielzahl von Konfigurationen neu angeordnet werden, während sie die Funktionalität der offenbarten Ausführungsformen bereitstellen. Die vorstehenden Konfigurationen sind daher nur Beispiele und unabhängig von den oben beschriebenen Konfigurationen kann das System 100 eine Vielzahl von Funktionen bereitstellen, um die Umgebung des Fahrzeugs 200 zu analysieren und das Fahrzeug 200 als Antwort auf die Analyse zu steuern.
Wie weiter unten detailliert erörtert und in Übereinstimmung mit verschiedenen offenbarten Ausführungsformen, kann das System 100 eine Vielzahl von Merkmalen bereitstellen, die sich auf autonomes Fahren und/oder Fahrerassistenztechnologien beziehen. So kann das System 100 beispielsweise Bilddaten, Positionsdaten (z. B. GPS-Stelleninformationen), Kartendaten, Geschwindigkeitsdaten und/oder Daten von Sensoren, die im Fahrzeug 200 eingeschlossen sind, analysieren. Das System 100 kann die Daten zur Analyse beispielsweise von der Bilderfassungsseinheit 120, dem Positionssensor 130 und anderen Sensoren sammeln. Ferner kann das System 100 die angesammelten Daten analysieren, um zu bestimmen, ob das Fahrzeug 200 eine bestimmte Aktion durchführen sollte oder nicht, und dann automatisch die bestimmte Aktion ohne menschliches Eingreifen durchführen. Wenn Fahrzeug 200 ohne menschliches Zutun navigiert, kann das System 100 beispielsweise automatisch die Bremsung, Beschleunigung und/oder Lenkung von Fahrzeug 200 steuern (z. B. durch Senden von Steuersignalen an ein oder mehrere Drosselungssysteme 220, Bremssysteme 230 und Lenkungssysteme 240). Ferner kann das System 100 die gesammelten Daten analysieren und basierend auf der Analyse der gesammelten Daten Warnungen und/oder Alarme an die Insassen des Fahrzeugs ausgeben. Weitere Details zu den verschiedenen Ausführungsformen, die das System 100 bereitstellt, sind im Folgenden aufgeführt.
NACH VORNE GERICHTETES MULTI-BILDGEBUNGSSYSTEM
Wie oben beschrieben, kann das System 100 eine Fahrhilfe bereitstellen, die ein Multikamerasystem verwendet. Das Multikamerasystem kann eine oder mehrere Kameras verwenden, die in die Vorwärtsrichtung eines Fahrzeugs gerichtet sind. In anderen Ausführungsformen kann das Multikamerasystem eine oder mehrere Kameras umfassen, die auf die Seite eines Fahrzeugs oder auf das Heck des Fahrzeugs gerichtet sind. In einer Ausführungsform kann das System 100 beispielsweise ein Zwei-Kamera-Abbildungssystem verwenden, bei dem eine erste Kamera und eine zweite Kamera (z. B. Bildaufnahmevorrichtung 122 und 124) an der Vorderseite und/oder an den Seiten eines Fahrzeugs (z. B. Fahrzeug 200) positioniert werden können. Andere Kamerakonfigurationen stehen im Einklang mit den offenbarten Ausführungsformen, und die hierin offenbarten Konfigurationen sind Beispiele. Zum Beispiel kann das System 100 eine beliebige Anzahl von Kameras konfigurieren (z. B. eine, zwei, drei, vier, fünf, sechs, sieben, acht usw.) Darüber hinaus kann das System 100 „Cluster“ von Kameras umfassen. Beispielsweise kann eine Gruppe von Kameras (einschließlich einer beliebigen Anzahl von Kameras, z. B. eine, vier, acht usw.) relativ zum Fahrzeug nach vorne gerichtet sein oder in eine beliebige andere Richtung weisen (z. B. zur Belohnung, zur Seite, in einem Winkel usw.). Dementsprechend kann das System 100 mehrere Gruppen von Kameras umfassen, wobei jede Gruppe in eine bestimmte Richtung ausgerichtet ist, um Bilder aus einer bestimmten Region der Fahrzeugumgebung aufzunehmen.
Die erste Kamera kann ein Sichtfeld aufweisen, das größer oder kleiner ist als das Sichtfeld der zweiten Kamera oder sich teilweise mit diesem überschneidet. Darüber hinaus kann die erste Kamera mit einem ersten Bildprozessor verbunden sein, um eine monokulare Bildanalyse der von der ersten Kamera bereitgestellten Bilder auszuführen, und die zweite Kamera kann mit einem zweiten Bildprozessor verbunden sein, um eine monokulare Bildanalyse der von der zweiten Kamera bereitgestellten Bilder auszuführen. Die Ausgaben (z. B. verarbeitete Informationen) des ersten und zweiten Bildprozessors können kombiniert werden. In einigen Ausführungsformen kann der zweite Bildprozessor Bilder sowohl von der ersten Kamera als auch von der zweiten Kamera empfangen, um eine Stereoanalyse auszuführen. In einer anderen Ausführungsform kann das System 100 ein Drei-Kamera-Bildgebungssystem verwenden, bei dem jede der Kameras ein anderes Sichtfeld aufweist. Ein solches System kann daher Entscheidungen basierend auf Informationen treffen, die von Gegenständen stammen, die sich in unterschiedlichen Abständen sowohl vor dem Fahrzeug als auch an den Seiten des Fahrzeugs befinden. Der Begriff „monokulare Bildanalyse“ kann sich auf Fälle beziehen, in denen die Bildanalyse basierend auf Bildern ausgeführt wird, die von einem einzigen Standpunkt aus aufgenommen wurden (z. B. von einer einzigen Kamera). Die Stereobildanalyse kann sich auf Fälle beziehen, in denen die Bildanalyse basierend auf zwei oder mehr Bildern ausgeführt wird, die mit einer oder mehreren Variationen eines Bildaufnahmeparameters aufgenommen wurden. Bilder, die sich zum Ausführen einer Stereobildanalyse eignen, können zum Beispiel Bilder umfassen, die aus zwei oder mehr verschiedenen Positionen, aus unterschiedlichen Blickwinkeln, mit unterschiedlichen Brennweiten, zusammen mit Parallaxeninformationen usw. aufgenommen wurden.
In einer Ausführungsform kann das System 100 beispielsweise eine Konfiguration mit drei Kameras unter Verwendung der Bildaufnahmevorrichtungen 122-126 implementieren. In einer solchen Konfiguration kann die Bildaufnahmevorrichtung 122 ein enges Sichtfeld bereitstellen (z. B. 34 Grad oder andere Werte aus einem Bereich von etwa 20 bis 45 Grad usw.), die Bildaufnahmevorrichtung 124 kann ein weites Sichtfeld bereitstellen (z. B. 150 Grad oder andere Werte aus einem Bereich von etwa 100 bis etwa 180 Grad) und die Bildaufnahmevorrichtung 126 kann ein mittleres Sichtfeld bereitstellen (z. B. 46 Grad oder andere Werte aus einem Bereich von etwa 35 bis etwa 60 Grad). In einigen Ausführungsformen kann die Bildaufnahmevorrichtung 126 als Haupt- oder Primärkamera fungieren. Die Bildaufnahmevorrichtungen 122-126 können vor dem Rückspiegel 310 positioniert werden und im Wesentlichen nebeneinander liegen (z. B. 6 cm Abstand). Ferner können in einigen Ausführungsformen, wie oben beschrieben, eine oder mehrere der Bildaufnahmevorrichtungen 122-126 hinter der Blendabschirmung 380 montiert werden, die mit der Windschutzscheibe des Fahrzeugs 200 bündig ist. Eine solche Abschirmung kann dazu beitragen, die Auswirkungen von Reflexionen aus dem Fahrzeuginneren auf die Bildaufnahmevorrichtungen 122-126 zu minimieren.
In einer anderen Ausführungsform, wie oben in Verbindung mit 3B und 3C erläutert, kann die Kamera mit dem weiten Sichtfeld (z. B. die Bildaufnahmevorrichtung 124 im obigen Beispiel) niedriger montiert werden als die Kameras mit dem schmalen und dem großen Sichtfeld (z. B. die Bildvorrichtungen 122 und 126 im obigen Beispiel). Diese Konfiguration kann eine freie Sichtlinie von der Kamera mit großem Sichtfeld bereitstellen. Um Reflexionen zu verringern, können die Kameras in der Nähe der Windschutzscheibe des Fahrzeugs 200 montiert werden und Polarisatoren auf den Kameras umfassen, um das reflektierte Licht zu dämpfen.
Ein System mit drei Kameras kann bestimmte Leistungseigenschaften bereitstellen. Einige Ausführungsformen können zum Beispiel die Möglichkeit umfassen, die Erkennung von Gegenständen durch eine Kamera basierend auf den Erkennungsergebnissen einer anderen Kamera zu validieren. In der oben beschriebenen Konfiguration mit drei Kameras kann die Prozessoreinheit 110 beispielsweise drei Verarbeitungseinheiten (z. B. drei Prozessorchips der EyeQ-Serie, wie oben beschrieben) umfassen, wobei jede Verarbeitungseinheit der Verarbeitung von Bildern dient, die von einer oder mehreren Bildaufnahmevorrichtungen 122-126 aufgenommen wurden.
In einem System mit drei Kameras kann eine erste Verarbeitungsvorrichtung Bilder sowohl von der Hauptkamera als auch von der Kamera mit engem FOV empfangen und eine Bildverarbeitung der Kamera mit engem FOV durchführen, um beispielsweise andere Fahrzeuge, Fußgänger, Spurmarkierungen, Verkehrszeichen, Ampeln und andere Gegenstände auf der Straße zu erkennen. Ferner kann die erste Verarbeitungsvorrichtung eine Disparität der Pixel zwischen den Bildern der Hauptkamera und der schmalen Kamera berechnen und eine 3D-Rekonstruktion der Umgebung des Fahrzeugs 200 erstellen. Die erste Verarbeitungsvorrichtung kann dann die 3D-Rekonstruktion mit 3D-Kartendaten oder mit 3D-Informationen kombinieren, die basierend auf den Informationen einer anderen Kamera berechnet wurden.
Die zweite Verarbeitungsvorrichtung kann Bilder von der Hauptkamera empfangen und einen Prozess zur Erkennung von anderen Fahrzeugen, Fußgängern, Spurmarkierungen, Verkehrszeichen, Ampeln und anderen Gegenständen auf der Straße ausführen. Zusätzlich kann die zweite Verarbeitungsvorrichtung eine Kameraverschiebung berechnen und basierend auf der Verschiebung eine Disparität von Pixeln zwischen aufeinanderfolgenden Bildern berechnen und eine 3D-Rekonstruktion der Szene erstellen (z. B. eine Struktur aus Bewegung). Die zweite Verarbeitungsvorrichtung kann die Struktur aus der bewegungsbasierten 3D-Rekonstruktion an die erste Verarbeitungsvorrichtung senden, um sie mit den 3D-Stereobildern zu kombinieren.
Die dritte Verarbeitungsvorrichtung kann Bilder von der Weitwinkelkamera FOV empfangen und die Bilder verarbeiten, um Fahrzeuge, Fußgänger, Spurmarkierungen, Verkehrszeichen, Ampeln und andere Gegenstände auf der Straße zu erkennen. Die dritte Verarbeitungsvorrichtung kann ferner zusätzliche Anweisungen zur Analyse von Bildern ausführen, um Gegenstände zu identifizieren, die sich im Bild bewegen, wie beispielsweise Fahrzeuge, die die Spur wechseln, Fußgänger usw.
In einigen Ausführungsformen können Streams von bildbasierten Informationen, die unabhängig voneinander erfasst und verarbeitet werden, eine Möglichkeit aufweisen, Redundanz im System bereitzustellen. Eine solche Redundanz kann beispielsweise die Verwendung einer ersten Bildaufnahmevorrichtung und der von dieser Vorrichtung verarbeiteten Bilder umfassen, um Informationen zu validieren und/oder zu ergänzen, die durch die Erfassung und Verarbeitung von Bildinformationen von mindestens einer zweiten Bildaufnahmevorrichtung erhalten wurden.
In einigen Ausführungsformen kann das System 100 zwei Bildaufnahmevorrichtungen (z. B. die Bildaufnahmedaten 122 und 124) für die Navigationsunterstützung des Fahrzeugs 200 verwenden und eine dritte Bildaufnahmevorrichtung (z. B. die Bildaufnahmedaten 126) einsetzen, um Redundanz bereitzustellen und die Analyse der von den beiden anderen Bildaufnahmevorrichtungen empfangenen Daten zu validieren. In einer solchen Konfiguration können die Bildaufnahmevorrichtungen 122 und 124 beispielsweise Bilder für die Stereoanalyse durch das System 100 zur Navigation des Fahrzeugs 200 bereitstellen, während die Bildaufnahmevorrichtung 126 Bilder für die monokulare Analyse durch das System 100 bereitstellen kann, um Redundanz und Validierung der Informationen bereitzustellen, die basierend auf den von der Bildaufnahmevorrichtung 122 und/oder der Bildaufnahmevorrichtung 124 aufgenommenen Bildern erhalten wurden. Das heißt, die Bildaufnahmevorrichtung 126 (und eine entsprechende Verarbeitungsvorrichtung) kann als redundantes Teilsystem betrachtet werden, das eine Überprüfung der von den Bildaufnahmevorrichtungen 122 und 124 abgeleiteten Analyse bereitstellt (z. B. um ein automatisches Notbremssystem (AEB) zu schaffen). Darüber hinaus kann in einigen Ausführungsformen die Redundanz und Validierung der empfangenen Daten basierend auf Informationen ergänzt werden, die von einem oder mehreren Sensoren empfangen wurden (z. B. Radar, Lidar, akustische Sensoren, Informationen, die von einem oder mehreren Transceivern außerhalb eines Fahrzeugs empfangen wurden usw.).
Ein Fachmann wird erkennen, dass die oben genannten Kamerakonfigurationen, Platzierungen der Kameras, Anzahl der Kameras, Stellen der Kameras usw. nur Beispiele sind. Diese und andere Komponenten, die in Bezug auf das Gesamtsystem beschrieben sind, können in einer Vielzahl unterschiedlicher Konfigurationen zusammengebaut und verwendet werden, ohne dass dies vom Umfang der offenbarten Ausführungsformen abweicht. Im Folgenden werden weitere Details zur Verwendung eines Multikamerasystems zur Bereitstellung von Fahrerassistenz- und/oder autonomen Fahrzeugfunktionen erläutert.
4 ist ein beispielhaftes funktionales Blockdiagramm des Speichers 140 und/oder 150, der mit Anweisungen zum Ausführen einer oder mehrerer Operationen in Übereinstimmung mit den offenbaren Ausführungsformen gespeichert/programmiert werden kann. Obwohl sich das Folgende auf den Speicher 140 bezieht, wird ein Fachmann erkennen, dass Anweisungen auch im Speicher 140 und/oder 150 gespeichert sein können.
Wie in 4 gezeigt, kann der Speicher 140 ein Modul zur monokularen Bildanalyse 402, ein Modul zur Stereobildanalyse 404, ein Modul zur Geschwindigkeits- und Beschleunigungsmessung 406 und ein Modul für die Navigationsantwort 408 speichern. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration des Speichers 140 beschränkt. Ferner können der Anwendungsprozessor 180 und/oder der Bildprozessor 190 die Anweisungen ausführen, die in einem der Module 402-408 gespeichert sind, die in den Speicher 140 eingeschlossen sind. Ein Fachmann wird verstehen, dass sich die Verweise auf die Prozessoreinheit 110 in den folgenden Ausführungen auf die Anwendungen Prozessoreinheit 180 und Bildprozessor 190 individuell oder gemeinsam beziehen können. Dementsprechend können die Schritte eines der folgenden Prozesse von einer oder mehreren Verarbeitungsvorrichtungen ausgeführt werden.
In einer Ausführungsform kann das Modul 402 für die monokulare Bildanalyse Anweisungen (wie z. B. Computer-Vision-Software) speichern, die, wenn sie von der Verarbeitungseinheit 110 ausgeführt werden, eine monokulare Bildanalyse eines Satzes von Bildern durchführen, die von einer der Bildaufnahmevorrichtungen 122, 124 und 126 erfasst wurden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus einem Satz von Bildern mit zusätzlichen sensorischen Informationen (z. B. Informationen vom Radar) kombinieren, um die monokulare Bildanalyse zu vervollständigen. Wie in Verbindung mit 5A-5D unten beschrieben, kann das monokulare Bildanalysemodul 402 Anweisungen zur Erkennung eines Satzes von Merkmalen innerhalb des Satzes von Bildern umfassen, wie beispielsweise Spurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Verkehrsampeln, gefährliche Gegenstände und jedes andere Merkmal, das der Umgebung eines Fahrzeugs zugeordnet ist. Basierend auf der Analyse kann das System 100 (z. B. über die Verarbeitungseinheit 110) eine oder mehrere Navigationsantworten im Fahrzeug 200 auslösen, wie beispielsweise ein Abbiegen, eine Spurverschiebung, eine Änderung der Beschleunigung und dergleichen, wie unten in Verbindung mit dem Navigationsantwortmodul 408 beschrieben.
In einer Ausführungsform kann das Modul 402 für die monokulare Bildanalyse Anweisungen (wie z. B. Computer-Vision-Software) speichern, die, wenn sie von der Verarbeitungseinheit 110 ausgeführt werden, eine monokulare Bildanalyse eines Satzes von Bildern durchführen, die von einer der Bildaufnahmevorrichtungen 122, 124 und 126 erfasst wurden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus einem Satz von Bildern mit zusätzlichen sensorischen Informationen (z. B. Informationen vom Radar, Lidar use.) kombinieren, um die monokulare Bildanalyse zu vervollständigen. Wie in Verbindung mit 5A-5D unten beschrieben, kann das monokulare Bildanalysemodul 402 Anweisungen zur Erkennung eines Satzes von Merkmalen innerhalb des Satzes von Bildern umfassen, wie beispielsweise Spurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Verkehrsampeln, gefährliche Gegenstände und jedes andere Merkmal, das der Umgebung eines Fahrzeugs zugeordnet ist. Basierend auf der Analyse kann das System 100 (z. B. über die Verarbeitungseinheit 110) eine oder mehrere navigatorische Antworten im Fahrzeug 200 auslösen, wie beispielsweise ein Abbiegen, einen Spurwechsel, eine Änderung der Beschleunigung und dergleichen, wie weiter unten in Verbindung mit dem Bestimmen einer navigatorischen Antwort beschrieben.
In einer Ausführungsform kann das Stereobild-Analysemodul 404 Anweisungen (wie z. B. Computer-Vision-Software) speichern, die, wenn sie von der Verarbeitungseinheit 110 ausgeführt werden, eine Stereobild-Analyse eines ersten und eines zweiten Satzes von Bildern durchführen, die von einer Kombination von Bildaufnahmevorrichtungen erfasst wurden, die aus einer der Bildaufnahmevorrichtungen 122, 124 und 126 ausgewählt wurden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus dem ersten und zweiten Satz von Bildern mit zusätzlichen sensorischen Informationen (z. B. Informationen vom Radar) kombinieren, um die Stereobildanalyse auszuführen. Das Modul 404 zur Stereobildanalyse kann beispielsweise Anweisungen zum Ausführen einer Stereobildanalyse basierend auf einem ersten Satz von Bildern, die von der Bildaufnahmevorrichtung 124 erfasst wurden, und einem zweiten Satz von Bildern, die von der Bildgebungsvorrichtung 126 erfasst wurden, umfassen. Wie in Verbindung mit 6 unten beschrieben, kann das Stereobild-Analysemodul 404 Anweisungen zur Erkennung eines Satzes von Merkmalen in den ersten und zweiten Bildsätzen umfassen, wie beispielsweise Spurmarkierungen, Fahrzeuge, Fußgänger, Straßenmarkierungen, Autobahnausfahrten, Ampeln, gefährliche Gegenstände und dergleichen. Basierend auf der Analyse kann die Verarbeitungseinheit 110 eine oder mehrere navigatorische Antworten im Fahrzeug 200 auslösen, wie beispielsweise ein Abbiegen, einen Spurwechsel, eine Änderung der Beschleunigung und dergleichen, wie unten in Verbindung mit dem Modul 408 für navigatorische Antworten beschrieben. Darüber hinaus kann das Modul 404 zur Stereobildanalyse in einigen Ausführungsformen Techniken implementieren, die einem trainierten System (wie einem neuronalen Netzwerk oder einem tiefen neuronalen Netzwerk) oder einem untrainierten System zugeordnet sind.
In einer Ausführungsform kann das Geschwindigkeits- und Beschleunigungsmodul 406 Software speichern, die so konfiguriert ist, dass sie Daten analysiert, die von einer oder mehreren Rechen- und elektromechanischen Vorrichtungen im Fahrzeug 200 empfangen werden, die so konfiguriert sind, dass sie eine Änderung der Geschwindigkeit und/oder Beschleunigung des Fahrzeugs 200 verursachen. Beispielsweise kann die Verarbeitungseinheit 110 Anweisungen ausführen, die dem Geschwindigkeits- und Beschleunigungsmodul 406 zugeordnet sind, um basierend auf Daten, die aus der Ausführung des Monokularbildanalysemoduls 402 und/oder des Stereobildanalysemoduls 404 stammen, eine Zielgeschwindigkeit für das Fahrzeug 200 zu berechnen. Solche Daten können beispielsweise eine Zielposition, Geschwindigkeit und/oder Beschleunigung, die Position und/oder Geschwindigkeit des Fahrzeugs 200 relativ zu einem nahegelegenen Fahrzeug, Fußgänger oder Gegenstand auf der Straße, Positionsinformationen für das Fahrzeug 200 relativ zu Spurmarkierungen auf der Straße und dergleichen umfassen. Darüber hinaus kann die Verarbeitungseinheit 110 eine Zielgeschwindigkeit für das Fahrzeug 200 basierend auf sensorischen Eingaben (z. B. Informationen vom Radar) und Eingaben von anderen Systemen des Fahrzeugs 200, wie dem Drosselsystem 220, dem Bremssystem 230 und/oder dem Lenksystem 240 des Fahrzeugs 200, berechnen. Basierend auf der berechneten Geschwindigkeit kann die Verarbeitungseinheit 110 elektronische Signale an das Drosselsystem 220, das Bremssystem 230 und/oder das Lenksystem 240 des Fahrzeugs 200 übertragen, um eine Geschwindigkeits- und/oder Beschleunigungsänderung auszulösen, indem sie beispielsweise physisch die Bremse betätigt oder das Gaspedal des Fahrzeugs 200 zurücknimmt.
In einer Ausführungsform kann das Navigationsantwortmodul 408 Software speichern, die von der Verarbeitungseinheit 110 ausgeführt werden kann, um eine gewünschte Navigationsantwort basierend auf Daten zu bestimmen, die aus der Ausführung des Moduls 402 für die monokulare Bildanalyse und/oder des Moduls 404 für die Stereobildanalyse stammen. Solche Daten können Positions- und Geschwindigkeitsinformationen umfassen, die Fahrzeugen, Fußgängern und Gegenständen in der Nähe zugeordnet sind, sowie Informationen über die Zielposition des Fahrzeugs 200 und ähnliches. Zusätzlich kann in einigen Ausführungsformen die Navigationsantwort (teilweise oder vollständig) auf Daten einer Karte, einer vorbestimmten Position des Fahrzeugs 200 und/oder einer relativen Geschwindigkeit oder einer relativen Beschleunigung zwischen dem Fahrzeug 200 und einem oder mehreren Gegenständen basieren, die bei der Ausführung des Moduls 402 zur monokularen Bildanalyse und/oder des Moduls 404 zur Stereobildanalyse erkannt wurden. Das Modul 408 für die Navigationsantwort kann auch basierend auf sensorischen Eingaben (z. B. Informationen vom Radar) und Eingaben von anderen Systemen des Fahrzeugs 200, wie beispielsweise dem Drosselsystem 220, dem Bremssystem 230 und dem System 240 der Lenkung des Fahrzeugs 200, eine gewünschte Navigationsantwort bestimmen. Basierend auf der gewünschten navigatorischen Antwort kann die Verarbeitungseinheit 110 elektronische Signale an das Drosselsystem 220, das Bremssystem 230 und das Lenksystem 240 des Fahrzeugs 200 übertragen, um eine gewünschte navigatorische Antwort auszulösen, indem sie beispielsweise das Lenkrad des Fahrzeugs 200 dreht, um eine Rotation um einen vorbestimmten Winkel zu erreichen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die Ausgabe des Navigationsantwortmoduls 408 (z. B. die gewünschte Navigationsantwort) als Eingabe für die Ausführung des Geschwindigkeits- und Beschleunigungsmoduls 406 verwenden, um eine Änderung der Geschwindigkeit des Fahrzeugs 200 zu berechnen.
Darüber hinaus kann jedes das hierin offenbarte Modul (z. B. die Module 402, 404 und 406) Techniken implementieren, die einem trainierten System (wie einem neuronalen Netzwerk oder einem tiefen neuronalen Netzwerk) oder einem untrainierten System zugeordnet sind.
5A ein Flussdiagramm, das einen beispielhaften Prozess 500A zum Auslösen einer oder mehrerer navigatorischer Antworten basierend auf einer monokularen Bildanalyse in Übereinstimmung mit offenbarten Ausführungsformen zeigt. In Schritt 510 kann die Verarbeitungseinheit 110 eine Vielzahl von Bildern über die Datenschnittstelle 128 zwischen der Verarbeitungseinheit 110 und der Bilderfassungseinheit 120 empfangen. Zum Beispiel kann eine Kamera in der Bilderfassungseinheit 120 (z.B. die Bilderfassungsvorrichtung 122 mit dem Sichtfeld 202) eine Vielzahl von Bildern eines Bereichs vor dem Fahrzeug 200 (oder z. B. an den Seiten oder am Heck eines Fahrzeugs) aufnehmen und sie über eine Datenverbindung (z. B. digital, kabelgebunden, USB, drahtlos, Bluetooth usw.) an die Datenverarbeitungseinheit 110 übertragen. Die Verarbeitungseinheit 110 kann das monokulare Bildanalysemodul 402 ausführen, um die Vielzahl von Bildern in Schritt 520 zu analysieren, wie in Verbindung mit 5B-5D weiter unten detailliert beschrieben. Durch Ausführen der Analyse kann die Verarbeitungseinheit 110 einen Satz von Merkmalen innerhalb des Satzes von Bildern erkennen, wie beispielsweise Spurmarkierungen, Fahrzeuge, Fußgänger, Straßenmarkierungen, Autobahnausgangsrampen, Ampeln und dergleichen.
Die Verarbeitungseinheit 110 kann auch das Modul 402 zur monokularen Bildanalyse ausführen, um in Schritt 520 verschiedene Gefahren im Straßenverkehr zu erkennen, wie beispielsweise Teile eines Lkw-Reifens, umgefallene Verkehrszeichen, lose Ladung, kleine Tiere und dergleichen. Hindernisse auf der Straße können sich in Struktur, Form, Größe und Farbe unterscheiden, was das Erkennen solcher Hindernisse erschweren kann. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 das monokulare Bildanalysemodul 402 ausführen, um eine Analyse mehrerer Rahmen auf der Vielzahl von Bildern auszuführen, um Gefahren auf der Straße zu erkennen. Zum Beispiel kann die Verarbeitungseinheit 110 die Kamerabewegung zwischen aufeinanderfolgenden Rahmen schätzen und die Disparitäten in den Pixeln zwischen den Rahmen berechnen, um eine 3D-Karte der Straße zu erstellen. Die Verarbeitungseinheit 110 kann dann die 3D-Karte verwenden, um die Straßenoberfläche sowie die über der Straßenoberfläche vorhandenen Gefahren zu erkennen.
In Schritt 530 kann die Verarbeitungseinheit 110 das Navigationsantwortmodul 408 ausführen, um basierend auf der in Schritt 520 ausgeführten Analyse und den oben in Verbindung mit 4 beschriebenen Techniken eine oder mehrere Navigationsantworten im Fahrzeug 200 zu veranlassen. Die Navigationsantworten können beispielsweise ein Abbiegen, einen Spurwechsel, eine Änderung der Beschleunigung und dergleichen umfassen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Daten verwenden, die aus der Ausführung des Moduls 406 für Geschwindigkeit und Beschleunigung stammen, um eine oder mehrere Navigationsantworten auszulösen. Außerdem können mehrere Navigationsantworten gleichzeitig, in Sequenz oder in beliebiger Kombination auftreten. Beispielsweise kann die Verarbeitungseinheit 110 das Fahrzeug 200 veranlassen, eine Spur zu wechseln und dann zu beschleunigen, indem sie beispielsweise nacheinander Steuersignale an das Lenksystem 240 und das Drosselsystem 220 des Fahrzeugs 200 sendet. In abgewandelter Form kann die Verarbeitungseinheit 110 das Fahrzeug 200 dazu veranlassen, zu bremsen und gleichzeitig die Spur zu wechseln, indem sie zum Beispiel gleichzeitig Steuersignale an das Bremssystem 230 und das Lenkungssystem 240 des Fahrzeugs 200 sendet.
5B ist ein Flussdiagramm, das einen beispielhaften Prozess 500B zum Erkennen von einem oder mehreren Fahrzeugen und/oder Fußgängern in einem Satz von Bildern zeigt, der mit den offenbaren Ausführungsformen übereinstimmt. Die Verarbeitungseinheit 110 kann das Modul 402 zur monokularen Bildanalyse ausführen, um den Prozess 500B zu implementieren. In Schritt 540 kann die Verarbeitungseinheit 110 einen Satz von in Frage kommenden Gegenständen bestimmen, die mögliche Fahrzeuge und/oder Fußgänger darstellen. Zum Beispiel kann die Verarbeitungseinheit 110 ein oder mehrere Bilder scannen, die Bilder mit einem oder mehreren vorbestimmten Mustern vergleichen und in jedem Bild mögliche Stellen identifizieren, die Gegenstände von Interesse enthalten können (z. B. Fahrzeuge, Fußgänger oder Abschnitte davon). Die vorbestimmten Muster können so designt werden, dass eine hohe Rate von „falschen Treffern“ und eine niedrige Rate von „Fehltreffern“ erreicht wird. Zum Beispiel kann die Verarbeitungseinheit 110 einen niedrigen Schwellenwert für die Ähnlichkeit mit vorbestimmten Mustern verwenden, um die in Frage kommenden Gegenstände als mögliche Fahrzeuge oder Fußgänger zu identifizieren. Dies ermöglicht es der Verarbeitungseinheit 110, die Wahrscheinlichkeit zu verringern, dass ein Gegenstand, der ein Fahrzeug oder einen Fußgänger darstellt, übersehen wird (z. B. weil er nicht identifiziert wurde).
In Schritt 542 kann die Verarbeitungseinheit 110 den Satz der Kandidatenobjekte filtern, um bestimmte Kandidaten (z. B. irrelevante oder weniger relevante Gegenstände) basierend auf Klassifizierungskriterien auszuschließen. Solche Kriterien können aus verschiedenen Eigenschaften abgeleitet werden, die Objekttypen zugeordnet sind, die in einer Datenbank gespeichert sind (z. B. einer Datenbank, die in Speicher 140 gespeichert ist). Die Eigenschaften können die Form des Gegenstands, die Abmessungen, die Textur, die Position (z. B. relativ zum Fahrzeug 200) und dergleichen umfassen. So kann die Verarbeitungseinheit 110 einen oder mehrere Sätze von Kriterien verwenden, um falsche Kandidaten aus dem Satz der in Frage kommenden Gegenstände auszuschließen.
In Schritt 544 kann die Verarbeitungseinheit 110 mehrere Rahmen von Bildern analysieren, um zu bestimmen, ob die Gegenstände im Satz der in Frage kommenden Objekte Fahrzeuge und/oder Fußgänger darstellen. Zum Beispiel kann die Verarbeitungseinheit 110 einen festgestellten Gegenstand über mehrere aufeinanderfolgende Rahmen hinweg verfolgen und dem Gegenstand zugeordnete Daten (z. B. Größe, Position relativ zum Fahrzeug 200 usw.) Bild für Bild sammeln. Zusätzlich kann die Verarbeitungseinheit 110 Parameter für den festgestellten Gegenstand schätzen und die Vorhersagedaten der Position des Objekts im Rahmen mit einer vorhergesagten Position vergleichen.
In Schritt 546 kann die Verarbeitungseinheit 110 einen Satz von Messungen für die erkannten Gegenstände erstellen. Solche Messungen können zum Beispiel Positions-, Geschwindigkeits- und Beschleunigungswerte (relativ zum Fahrzeug 200) umfassen, die den festgestellten Gegenständen zugeordnet sind. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die Messdaten basierend auf Schätzverfahren konstruieren, die eine Reihe von zeitbasierten Beobachtungen wie Kalman-Filter oder lineare quadratische Schätzung (LQE) verwenden, und/oder basierend auf verfügbaren Modellierungsdaten für verschiedene Objekttypen (z. B. Autos, Lastwagen, Fußgänger, Fahrräder, Verkehrszeichen usw.). Die Kalman-Filter können auf einer Messung des Maßstabs eines Gegenstands basieren, wobei die Messung des Maßstabs proportional zu einer Zeit bis zur Kollision ist (z. B. die Menge an Zeit, die das Fahrzeug 200 benötigt, um den Gegenstand zu erreichen). Indem sie die Schritte 540-546 ausführt, kann die Verarbeitungseinheit 110 Fahrzeuge und Fußgänger identifizieren, die in dem Satz der aufgenommenen Bilder erscheinen, und Informationen (z. B. Position, Geschwindigkeit, Größe) ableiten, die den Fahrzeugen und Fußgängern zugeordnet sind. Basierend auf der Identifizierung und den abgeleiteten Informationen kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsantworten im Fahrzeug 200 auslösen, wie in Verbindung mit 5A oben beschrieben.
In Schritt 548 kann die Verarbeitungseinheit 110 eine optische Flussanalyse eines oder mehrerer Bilder ausführen, um die Wahrscheinlichkeit zu verringern, einen „falschen Treffer“ zu erkennen und einen Gegenstand zu übersehen, der ein Fahrzeug oder einen Fußgänger darstellt. Die optische Flussanalyse kann sich zum Beispiel auf die Analyse von Bewegungsmustern relativ zum Fahrzeug 200 in einem oder mehreren Bildern beziehen, die anderen Fahrzeugen und Fußgängern zugeordnet sind und sich von der Bewegung auf der Straßenoberfläche unterscheiden. Die Verarbeitungseinheit 110 kann die Bewegung der in Frage kommenden Gegenstände berechnen, indem sie die unterschiedlichen Positionen der Gegenstände über mehrere Bildrahmen hinweg beobachtet, die zu unterschiedlichen Zeiten aufgenommen wurden. Die Verarbeitungseinheit 110 kann die Werte für Position und Zeit als Eingaben in mathematische Modelle verwenden, um die Bewegung der Gegenstände zu berechnen. So kann die optische Flussanalyse ein weiteres Verfahren bereitstellen, um Fahrzeuge und Fußgänger zu erkennen, die sich in der Nähe des Fahrzeugs 200 befinden. Die Verarbeitungseinheit 110 kann eine optische Flussanalyse in Kombination mit den Schritten 540-546 ausführen, um Redundanz beim Erkennen von Fahrzeugen und Fußgängern bereitzustellen und die Zuverlässigkeit des Systems 100 zu erhöhen.
5C ist ein Flussdiagramm, das einen beispielhaften Prozess 500C zum Erkennen von Straßenmarkierungen und/oder Spurgeometrieinformationen in einem Satz von Bildern zeigt, der mit offenbarten Ausführungsformen übereinstimmt. Die Verarbeitungseinheit 110 kann das Modul 402 zur monokularen Bildanalyse ausführen, um den Prozess 500C zu implementieren. In Schritt 550 kann die Verarbeitungseinheit 110 einen Satz von Gegenständen durch Scannen eines oder mehrerer Bilder erkennen. Um Segmente von Spurmarkierungen, Spurgeometrieinformationen und andere relevante Straßenmarkierungen zu erkennen, kann die Verarbeitungseinheit 110 den Satz von Gegenständen filtern, um diejenigen auszuschließen, die als irrelevant eingestuft werden (z. B. kleinere Schlaglöcher, kleine Steine usw.). In Schritt 552 kann die Verarbeitungseinheit 110 die in Schritt 550 festgestellten Segmente zusammenfassen, die zur gleichen Straßenmarkierung oder Spurmarkierung gehören. Basierend auf der Gruppierung kann die Verarbeitungseinheit 110 ein Modell entwickeln, um die festgestellten Segmente darzustellen, wie beispielsweise ein mathematisches Modell.
In Schritt 554 kann die Verarbeitungseinheit 110 einen Satz von Messungen erstellen, die den erkannten Segmenten zugeordnet sind. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 einen Vorsprung der festgestellten Segmente von der Bildebene auf die reale Ebene erstellen. Der Vorsprung kann durch ein Polynom 3. Grades charakterisiert werden, das Koeffizienten aufweist, die physikalischen Eigenschaften wie Position, Neigung, Krümmung und Krümmungsableitung der festgestellten Straße entsprechen. Bei der Erzeugung des Vorsprungs kann die Verarbeitungseinheit 110 Änderungen der Straßenoberfläche sowie die dem Fahrzeug 200 zugeordneten Raten für Neigung und Rolle berücksichtigen. Darüber hinaus kann die Verarbeitungseinheit 110 die Straßenerhebung modellieren, indem sie die auf der Straßenoberfläche vorhandenen Positions- und Bewegungshinweise analysiert. Ferner kann die Verarbeitungseinheit 110 die dem Fahrzeug 200 zugeordneten Raten für Neigung und Rolle schätzen, indem sie einen Satz von Merkmalspunkten in einem oder mehreren Bildern einstellt.
In Schritt 556 kann die Verarbeitungseinheit 110 eine Mehrbildanalyse ausführen, indem sie beispielsweise die festgestellten Segmente über aufeinanderfolgende Rahmen hinweg verfolgt und die den erkannten Segmenten zugeordneten Daten Bild für Bild sammelt. Wenn die Verarbeitungseinheit 110 eine Multirahmenanalyse ausführt, kann der in Schritt 554 erstellte Satz von Messungen zuverlässiger werden und einer zunehmend höheren Stufe zugeordnet werden. So kann die Verarbeitungseinheit 110 in den Formungsschritten 550-556 Straßenmarkierungen identifizieren, die im Satz der aufgenommenen Bilder erscheinen, und Spurgeometrieinformationen ableiten. Basierend auf der Identifizierung und den abgeleiteten Informationen kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsantworten im Fahrzeug 200 auslösen, wie in Verbindung mit 5A oben beschrieben.
In Schritt 558 kann die Verarbeitungseinheit 110 zusätzliche Informationsquellen berücksichtigen, um ferner ein Sicherheitsmodell für das Fahrzeug 200 im Kontext seiner Umgebung zu entwickeln. Die Verarbeitungseinheit 110 kann das Sicherheitsmodell verwenden, um einen Kontext zu definieren, in dem das System 100 die autonome Steuerung des Fahrzeugs 200 auf sichere Weise durchführen kann. Um das Sicherheitsmodell zu entwickeln, kann die Verarbeitungseinheit 110 in einigen Ausführungsformen die Position und Bewegung anderer Fahrzeuge, die festgestellten Straßenkanten und Barrieren und/oder allgemeine Beschreibungen der Straßenform berücksichtigen, die aus Kartendaten extrahiert wurden (z. B. Daten aus der Kartendatenbank 160). Durch die Berücksichtigung zusätzlicher Informationsquellen kann die Verarbeitungseinheit 110 eine Redundanz für das Erkennen von Straßenmarkierungen und Spurgeometrien bereitstellen und die Zuverlässigkeit des Systems 100 erhöhen.
5D ist ein Flussdiagramm, das einen beispielhaften Prozess 500D zum Erkennen von Ampeln in einem Satz von Bildern zeigt, der mit den offenbarten Ausführungsformen übereinstimmt. Die Verarbeitungseinheit 110 kann das Modul 402 zur monokularen Bildanalyse ausführen, um den Prozess 500D zu implementieren. In Schritt 560 kann die Verarbeitungseinheit 110 den Satz von Bildern scannen und Gegenstände identifizieren, die an Stellen in den Bildern erscheinen, die wahrscheinlich Ampeln enthalten. Zum Beispiel kann die Verarbeitungseinheit 110 die identifizierten Gegenstände filtern, um einen Satz von Kandidatenobjekten einzustellen, wobei diejenigen Gegenstände ausgeschlossen werden, bei denen es unwahrscheinlich ist, dass sie einer Ampel entsprechen. Die Filterung kann basierend auf verschiedenen Eigenschaften erfolgen, die einer Ampel zugeordnet sind, wie z. B. Form, Abmessungen, Textur, Ein-Position (z. B. relativ zum Fahrzeug 200) und ähnliches. Solche Eigenschaften können auf mehreren Beispielen von Ampeln und Steuerungssignalen basieren und in einer Datenbank gespeichert werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Multirahmenanalyse für den Satz der in Frage kommenden Gegenstände ausführen, die mögliche Ampeln widerspiegeln. Zum Beispiel kann die Verarbeitungseinheit 110 die Gegenstände in aufeinanderfolgenden Rahmen verfolgen, die reale Position der Gegenstände schätzen und die sich bewegenden Gegenstände herausfiltern (bei denen es sich wahrscheinlich nicht um Ampeln handelt). In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Farbanalyse der in Frage kommenden Gegenstände ausführen und die relative Position der erkannten Farben, die innerhalb möglicher Ampeln erscheinen, identifizieren.
In Schritt 562 kann die Verarbeitungseinheit 110 die Geometrie einer Abzweigung analysieren. Die Analyse kann auf einer beliebigen Kombination aus Folgendem basieren: (i) die Anzahl der auf beiden Seiten des Fahrzeugs 200 festgestellten Spuren, (ii) auf der Straße festgestellte Markierungen (z. B. Pfeilmarkierungen) und (iii) aus Kartendaten extrahierte Beschreibungen der Abzweigung (z. B. Daten aus der Kartendatenbank 160). Die Verarbeitungseinheit 110 kann die Analyse unter Verwendung von Informationen durchführen, die aus der Ausführung des monokularen Analysemoduls 402 stammen. Darüber hinaus kann die Verarbeitungseinheit 110 eine Übereinstimmung zwischen den in Schritt 560 festgestellten Ampeln und den in der Nähe des Fahrzeugs 200 erscheinenden Spuren bestimmen.
Wenn sich das Fahrzeug 200 der Abzweigung nähert, kann die Verarbeitungseinheit 110 in Schritt 564 die Vertrauensstufe aktualisieren, die der analysierten Geometrie der Abzweigung und den erkannten Ampeln zugeordnet ist. So kann beispielsweise die Anzahl der Ampeln, die an der Abzweigung erwartet werden, im Vergleich zur tatsächlichen Anzahl an der Abzweigung die Vertrauensstufe beeinflussen. So kann die Verarbeitungseinheit 110 basierend auf der Vertrauensstufe die Steuerung an den Fahrer des Fahrzeugs 200 delegieren, um den Sicherheitszustand zu verbessern. Wenn die Verarbeitungseinheit 110 die Schritte 560-564 ausführt, kann sie die Ampeln im Satz der aufgenommenen Bilder identifizieren und die Informationen über die Abzweigung analysieren. Basierend auf der Identifizierung und der Analyse kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsantworten im Fahrzeug 200 auslösen, wie in Verbindung mit 5A oben beschrieben.
5E ist ein Flussdiagramm, das einen beispielhaften Prozess 500E zum Auslösen einer oder mehrerer Navigationsantworten im Fahrzeug 200 basierend auf einem Fahrzeugweg zeigt, der mit den offenbaren Ausführungsformen übereinstimmt. In Schritt 570 kann die Verarbeitungseinheit 110 einen anfänglichen Fahrzeugweg konstruieren, der dem Fahrzeug 200 zugeordnet ist. Der Fahrzeugweg kann durch einen Satz von Punkten dargestellt werden, die in Koordinaten (x, z) ausgedrückt werden, und der Abstand d_i zwischen zwei Punkten in dem Satz von Punkten kann im Bereich von 1 bis 5 Metern liegen. In einer Ausführungsform kann die Verarbeitungseinheit 110 den anfänglichen Fahrzeugweg unter Verwendung von zwei Polynomen konstruieren, wie beispielsweise einem linken und einem rechten Straßenpolynom. Die Verarbeitungseinheit 110 kann den geometrischen Mittelpunkt zwischen den beiden Polynomen berechnen und jeden Punkt, der in den resultierenden Fahrzeugweg eingeschlossen ist, um einen vorbestimmten Versatz (z. B. einen intelligenten Spur-Versatz) versetzen, falls vorhanden (ein Versatz von Null kann der Fahrt in der Mitte einer Spur entsprechen). Der Versatz kann in einer Richtung liegen, die senkrecht zu einem Segment zwischen zwei beliebigen Punkten auf dem Fahrzeugweg verläuft. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 ein Polynom und eine geschätzte Spurbreite verwenden, um jeden Punkt des Fahrzeugwegs um die Hälfte der geschätzten Spurbreite plus einen vorbestimmten Versatz (z. B. einen intelligenten Spurversatz) zu versetzen.
In Schritt 572 kann die Verarbeitungseinheit 110 den in Schritt 570 erstellten Fahrzeugweg aktualisieren. Die Verarbeitungseinheit 110 kann den in Schritt 570 konstruierten Fahrzeugweg mit einer höheren Auflösung rekonstruieren, sodass der Abstand d_k zwischen zwei Punkten in dem Satz von Punkten, die den Fahrzeugweg darstellen, geringer ist als der oben beschriebene Abstand d_i. Der Abstand d_k kann beispielsweise im Bereich von 0,1 bis 0,3 Metern liegen. Die Verarbeitungseinheit 110 kann den Fahrzeugweg mit Hilfe eines parabolischen Spline-Algorithmus rekonstruieren, der einen kumulativen Abstandsvektor S liefert, der der Gesamtlänge des Fahrzeugwegs entspricht (d. h. basierend auf dem Satz von Punkten, der den Fahrzeugweg darstellt).
In Schritt 574 kann die Verarbeitungseinheit 110 einen Vorausschau-Punkt (ausgedrückt in Koordinaten als (x₁, z₁)) basierend auf dem aktualisierten Fahrzeugweg bestimmen, der in Schritt 572 erstellt wurde. Die Verarbeitungseinheit 110 kann den Vorausschaupunkt aus dem kumulativen Abstandsvektor S extrahieren, und der Vorausschaupunkt kann einem Vorausschauabstand und einer Vorausschauzeit zugeordnet sein. Der Vorausschauabstand, der eine untere Grenze von 10 bis 20 Metern aufweisen kann, kann als Produkt aus der Geschwindigkeit des Fahrzeugs 200 und der Vorausschauzeit berechnet werden. Wenn beispielsweise die Geschwindigkeit des Fahrzeugs 200 abnimmt, kann sich auch der Vorausschauabstand verringern (z. B. bis er die untere Grenze erreicht). Die Vorausschauzeit, die zwischen 0,5 und 1,5 Sekunden liegen kann, kann umgekehrt proportional zum Ertrag eines oder mehrerer Steuerkreise sein, die einer Navigationsantwort in Fahrzeug 200 zugeordnet sind, wie z. B. dem Steuerkreis für die Verfolgung des Kursfehlers. Der Ertrag des Steuerkreises für die Verfolgung des Kursfehlers kann zum Beispiel von der Bandbreite eines Kreises für die Gierrate, eines Kreises für die Aktuatoren der Lenkung, der Querdynamik des Fahrzeugs und dergleichen abhängen. Je höher der Ertrag des Steuerkreises für die Verfolgung des Kursfehlers ist, desto geringer ist also die Zeit für die Vorausschau.
In Schritt 576 kann die Verarbeitungseinheit 110 basierend auf dem in Schritt 574 bestimmten Vorausschaupunkt einen Kursfehler und eine Gierrate bestimmen. Die Verarbeitungseinheit 110 kann den Kursfehler bestimmen, indem sie den Arkustangens des Vorausschaupunktes berechnet, z. B. Arctan (x₁ / z₁). Die Verarbeitungseinheit 110 kann den Befehl für die Gierrate als das Produkt aus dem Kursfehler und einer hohen Stufe des Ertrags bestimmen. Der Ertrag der Steuerung auf hoher Stufe kann Folgendem gleich sein: (2 / Vorausschauzeit), wenn der Vorausschauabstand nicht an der unteren Grenze liegt. Andernfalls kann der Ertrag der Steuerung auf hoher Stufe gleich Folgendem sein: (2 * Geschwindigkeit des Fahrzeugs 200 / Vorausschauabstand).
5F ist ein Flussdiagramm, das einen beispielhaften Prozess 500F zum Bestimmen, ob ein führendes Fahrzeug die Spur wechselt, in Übereinstimmung mit den offenbarten Ausführungsformen zeigt. In Schritt 580 kann die Verarbeitungseinheit 110 Navigationsinformationen bestimmen, die einem führenden Fahrzeug zugeordnet sind (z. B. einem Fahrzeug, das vor dem Fahrzeug 200 fährt). Zum Beispiel kann die Verarbeitungseinheit 110 die Position, die Geschwindigkeit (z. B. Richtung und Geschwindigkeit) und/oder die Beschleunigung des führenden Fahrzeugs bestimmen, indem sie die Techniken verwendet, die in Verbindung mit 5A und 5B oben beschrieben wurden. Die Verarbeitungseinheit 110 kann auch ein oder mehrere Straßenpolynome, einen Vorausschaupunkt (der dem Fahrzeug 200 zugeordnet ist) und/oder einen Schneckenpfad (z. B. einen Satz von Punkten, die den Weg des führenden Fahrzeugs beschreiben) bestimmen, indem sie die Techniken verwendet, die in 5E oben beschrieben sind.
In Schritt 582 kann die Verarbeitungseinheit 110 die in Schritt 580 bestimmten Navigationsinformationen analysieren. In einer Ausführungsform kann die Verarbeitungseinheit 110 den Abstand zwischen einer Schneckenspur und einem Straßenpolynom (z. B. entlang der Spur) berechnen. Wenn die Abweichung dieses Abstands entlang der Spur einen vorbestimmten Schwellenwert überschreitet (z. B. 0,1 bis 0,2 Meter auf einer geraden Straße, 0,3 bis 0,4 Meter auf einer mäßig gekrümmten Straße und 0,5 bis 0,6 Meter auf einer Straße mit scharfen Kurven), kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Spur wechselt. Wenn mehrere Fahrzeuge festgestellt werden, die vor dem Fahrzeug 200 fahren, kann die Verarbeitungseinheit 110 die jedem Fahrzeug zugeordneten Schneckenspuren vergleichen. Basierend auf diesem Vergleich kann die Verarbeitungseinheit 110 bestimmen, dass ein Fahrzeug, dessen Schneckenspur nicht mit den Schneckenspuren der anderen Fahrzeuge übereinstimmt, wahrscheinlich die Spur wechselt. Die Verarbeitungseinheit 110 kann zusätzlich die Krümmung der Schneckenspur (die dem führenden Fahrzeug zugeordnet ist) mit der erwarteten Krümmung des Straßenabschnitts vergleichen, auf dem das führende Fahrzeug unterwegs ist. Die erwartete Krümmung kann aus Kartendaten (z. B. Daten aus der Kartendatenbank 160), aus Straßenpolynomen, aus den Schneckenspuren anderer Fahrzeuge, aus dem Vorwissen über die Straße und dergleichen abgeleitet werden. Wenn der Unterschied in der Krümmung der Schneckenspur und der erwarteten Krümmung des Straßensegments einen vorbestimmten Schwellenwert überschreitet, kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Spur wechselt.
In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die momentane Position des führenden Fahrzeugs mit dem (dem Fahrzeug 200 zugeordneten) Vorausschaupunkt über eine bestimmte Zeitspanne (z. B. 0,5 bis 1,5 Sekunden) vergleichen. Wenn der Abstand zwischen der momentanen Position des führenden Fahrzeugs und dem Vorausschaupunkt während der bestimmten Zeit variiert und die kumulierte Summe der Variation einen vorbestimmten Schwellenwert überschreitet (z. B. 0,3 bis 0,4 Meter auf einer geraden Straße, 0,7 bis 0,8 Meter auf einer mäßig gekrümmten Straße und 1,3 bis 1,7 Meter auf einer Straße mit scharfen Kurven), kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Spur wechselt. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die Geometrie der Schneckenspur analysieren, indem sie den seitlichen Abstand, der entlang der Spur zurückgelegt wurde, mit der erwarteten Krümmung der Schneckenspur vergleicht. Nach der Berechnung kann der erwartete Krümmungsradius mit Hilfe der Berechnung bestimmt werden: (δ_z ² + δ_x ²) / 2 / (δ_x), wobei δ_x den seitlich zurückgelegten Abstand darstellt und δ₂ den längs zurückgelegten Abstand. Wenn der Unterschied zwischen dem zurückgelegten seitlichen Abstand und der erwarteten Krümmung einen vorbestimmten Schwellenwert (z. B. 500 bis 700 Meter) überschreitet, kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Spur wechselt. In einer anderen Ausführungsform kann die Verarbeitungseinheit 110 die Position des führenden Fahrzeugs analysieren. Wenn die Position des führenden Fahrzeugs ein Straßenpolynom verdeckt (z. B. wenn das führende Fahrzeug das Straßenpolynom überlagert), kann die Verarbeitungseinheit 110 bestimmen, dass das führende Fahrzeug wahrscheinlich die Spur wechselt. Wenn die Position des führenden Fahrzeugs so ist, dass ein anderes Fahrzeug vor dem führenden Fahrzeug festgestellt wird und die Schneckenspuren der beiden Fahrzeuge nicht parallel sind, kann die Verarbeitungseinheit 110 bestimmen, dass das (näher) führende Fahrzeug wahrscheinlich die Spur wechselt.
In Schritt 584 kann die Verarbeitungseinheit 110 basierend auf der in Schritt 582 ausgeführten Analyse bestimmen, ob das führende Fahrzeug 200 die Spur wechselt oder nicht. Zum Beispiel kann die Verarbeitungseinheit 110 die Bestimmung basierend auf einem gewichteten Durchschnitt der in Schritt 582 ausgeführten individuellen Analysen vornehmen. Bei einem solchen Schema kann beispielsweise einer Entscheidung der Verarbeitungseinheit 110, dass das führende Fahrzeug basierend auf einem bestimmten Typ von Analyse wahrscheinlich die Spur wechselt, der Wert „1“ zugewiesen werden (und „0“, um die Feststellung darzustellen, dass das führende Fahrzeug wahrscheinlich nicht die Spur wechselt). Den verschiedenen in Schritt 582 ausgeführten Analysen können unterschiedliche Gewichte zugewiesen werden, und die offenbarten Ausführungsformen sind nicht auf eine bestimmte Kombination von Analysen und Gewichten beschränkt. Darüber hinaus kann die Analyse in einigen Ausführungsformen ein trainiertes System (z. B. ein System für maschinelles Lernen oder Deep Learning) verwenden, das zum Beispiel basierend auf einem an der aktuellen Stelle aufgenommenen Bild einen zukünftigen Weg vor einer aktuellen Stelle eines Fahrzeugs abschätzen kann.
6 ist ein Flussdiagramm, das ein beispielhaftes Verfahren 600 zum Auslösen einer oder mehrerer Navigationsantworten basierend auf einer Stereobildanalyse in Übereinstimmung mit offenbarten Ausführungsformen zeigt. In Schritt 610 kann die Verarbeitungseinheit 110 eine erste und eine zweite Vielzahl von Bildern über die Datenschnittstelle 128 empfangen. Zum Beispiel können Kameras, die in der Bilderfassungsseinheit 120 (z. B. die Bilderfassungsgeräte 122 und 124 mit den Sichtfeldern 202 und 204) enthalten sind, eine erste und eine zweite Vielzahl von Bildern eines Bereichs vor dem Fahrzeug 200 aufnehmen und sie über eine digitale Verbindung (z. B. USB, drahtlos, Bluetooth usw.) an die Verarbeitungseinheit 110 übertragen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die erste und zweite Vielzahl von Bildern über zwei oder mehr Datenschnittstellen empfangen. Die offenbarten Ausführungsformen sind nicht auf bestimmte Konfigurationen von Datenschnittstellen oder Protokollen beschränkt.
In Schritt 620 kann die Verarbeitungseinheit 110 das Stereobild-Analysemodul 404 ausführen, um eine StereobildAnalyse der ersten und zweiten Vielzahl von Bildern durchzuführen, um eine 3D-Karte der Straße vor dem Fahrzeug zu erstellen und Merkmale in den Bildern zu erkennen, wie beispielsweise Straßenmarkierungen, Fahrzeuge, Fußgänger, Verkehrszeichen, Autobahnausfahrten, Ampeln, Gefahrenstellen und dergleichen. Die Stereobildanalyse kann in ähnlicher Art und Weise ausgeführt werden wie die in Verbindung mit 5A-5D beschriebenen Schritte, siehe oben. Zum Beispiel kann die Verarbeitungseinheit 110 das Stereobild-Analysemodul 404 ausführen, um Kandidatenobjekte (z. B. Fahrzeuge, Fußgänger, Fahrbahnmarkierungen, Ampeln, Gefahrenstellen usw.) in der ersten und zweiten Vielzahl von Bildern zu erkennen, eine Teilmenge der Kandidatenobjekte basierend auf verschiedenen Kriterien herauszufiltern und eine Multirahmenanalyse durchzuführen, Messungen zu konstruieren und eine Vertrauensstufe für die verbleibenden Kandidatenobjekte zu bestimmen. Bei der Durchführung der obigen Prozesse kann die Verarbeitungseinheit 110 Informationen sowohl aus der ersten als auch aus der zweiten Vielzahl von Bildern berücksichtigen und nicht nur Informationen aus einem Satz von Bildern. Zum Beispiel kann die Verarbeitungseinheit 110 die Unterschiede in den Daten auf Pixelebene (oder anderen Untersätzen von Daten aus den beiden Strömen von erfassten Bildern) für einen Gegenstand analysieren, der sowohl in der ersten als auch in der zweiten Vielzahl von Bildern vorkommt. In einem weiteren Prozess kann die Verarbeitungseinheit 110 die Position und/oder Geschwindigkeit eines in Frage kommenden Gegenstands (z. B. relativ zum Fahrzeug 200) schätzen, indem sie beobachtet, dass der Gegenstand in einem der mehreren Bilder erscheint, nicht aber im anderen, oder in Bezug auf andere Unterschiede, die in Bezug auf Gegenstände bestehen können, die in den beiden Bildströmen erscheinen. So können beispielsweise Position, Geschwindigkeit und/oder Beschleunigung in Bezug auf das Fahrzeug 200 basierend auf Trajektorien, Positionen, Bewegungsmerkmalen usw. von Merkmalen bestimmt werden, die einem Gegenstand zugeordnet sind, der in einem oder beiden Bildstreams erscheint.
In Schritt 630 kann die Verarbeitungseinheit 110 das Navigationsantwortmodul 408 ausführen, um basierend auf der in Schritt 620 ausgeführten Analyse und den oben in Verbindung mit 4 beschriebenen Techniken eine oder mehrere Navigationsantworten im Fahrzeug 200 zu veranlassen. Navigationsantworten können zum Beispiel ein Abbiegen, einen Spurwechsel, eine Änderung der Beschleunigung, eine Änderung der Geschwindigkeit, ein Abbremsen und dergleichen umfassen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Daten verwenden, die aus der Ausführung des Moduls 406 für Geschwindigkeit und Beschleunigung stammen, um eine oder mehrere Navigationsantworten auszulösen. Außerdem können mehrere Navigationsantworten gleichzeitig, in Sequenz oder in beliebiger Kombination auftreten.
7 ist ein Flussdiagramm, das einen beispielhaften Prozess 700 zum Auslösen einer oder mehrerer Navigationsantworten basierend auf einer Analyse von drei Sätzen von Bildern zeigt, die mit den offenbarten Ausführungsformen übereinstimmen. In Schritt 710 kann die Verarbeitungseinheit 110 eine erste, zweite und dritte Vielzahl von Bildern über die Datenschnittstelle 128 empfangen. Beispielsweise können Kameras, die in die Bilderfassungseinheit 120 eingeschlossen sind (wie die Bildaufnahmevorrichtungen 122, 124 und 126 mit den Sichtfeldern 202, 204 und 206), eine erste, zweite und dritte Vielzahl von Bildern eines Bereichs vor und/oder seitlich des Fahrzeugs 200 aufnehmen und über eine digitale Verbindung (z. B. USB, drahtlos, Bluetooth usw.) an die Verarbeitungseinheit 110 übertragen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die erste, zweite und dritte Vielzahl von Bildern über drei oder mehr Datenschnittstellen empfangen. Zum Beispiel kann jede der Bildaufnahmevorrichtungen 122, 124, 126 über eine zugeordnete Datenschnittstelle zur Übermittlung von Daten an die Verarbeitungseinheit 110 verfügen. Die offenbarten Ausführungsformen sind nicht auf bestimmte Konfigurationen von Datenschnittstellen oder Protokollen beschränkt.
In Schritt 720 kann die Verarbeitungseinheit 110 die erste, zweite und dritte Vielzahl von Bildern analysieren, um Merkmale in den Bildern zu erkennen, wie beispielsweise Spurmarkierungen, Fahrzeuge, Fußgänger, Straßenschilder, Autobahnausfahrten, Verkehrsampeln, Straßengefahren und dergleichen. Die Analyse kann in ähnlicher Art und Weise ausgeführt werden wie die Schritte, die in Verbindung mit 5A-5D und 6 oben beschrieben wurden. Zum Beispiel kann die Verarbeitungseinheit 110 eine monokulare Bildanalyse (z. B. über die Ausführung des Moduls 402 zur monokularen Bildanalyse und basierend auf den in Verbindung mit 5A-5D oben beschriebenen Schritten) für jedes der ersten, zweiten und dritten Vielzahl von Bildern ausführen. Alternativ kann die Verarbeitungseinheit 110 eine Stereobildanalyse (z. B. über die Ausführung des Stereobildanalyse-Moduls 404 und basierend auf den in Verbindung mit 6 oben beschriebenen Schritten) für die erste und zweite Vielzahl von Bildern, die zweite und dritte Vielzahl von Bildern und/oder die erste und dritte Vielzahl von Bildern ausführen. Die verarbeiteten Informationen, die der Analyse der ersten, zweiten und/oder dritten Vielzahl von Bildern entsprechen, können kombiniert werden. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine Kombination aus monokularen und Stereobildanalysen ausführen. Zum Beispiel kann die Verarbeitungseinheit 110 eine monokulare Bildanalyse (z. B. über die Ausführung des Moduls 402 zur monokularen Bildanalyse) für die erste Vielzahl von Bildern und eine Stereobildanalyse (z. B. über die Ausführung des Moduls 404 zur Stereobildanalyse) für die zweite und dritte Vielzahl von Bildern ausführen. Die Konfiguration der Bildaufnahmevorrichtungen 122, 124 und 126 - einschließlich ihrer jeweiligen Stellen und Sichtfelder 202, 204 und 206 - kann die Typen von Analysen beeinflussen, die mit der ersten, zweiten und dritten Vielzahl von Bildern durchgeführt werden. Die offenbarten Ausführungsformen sind nicht auf eine bestimmte Konfiguration der Bildaufnahmevorrichtungen 122, 124 und 126 oder auf die Typen von Analysen beschränkt, die mit der ersten, zweiten und dritten Vielzahl von Bildern durchgeführt werden.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 basierend auf den in den Schritten 710 und 720 erfassten und analysierten Bildern Tests am System 100 ausführen. Solche Tests können einen Hinweis auf die Gesamtleistung des Systems 100 für bestimmte Konfigurationen der Bildaufnahmevorrichtungen 122, 124 und 126 bereitstellen. Zum Beispiel kann die Verarbeitungseinheit 110 den Anteil der „falschen Treffer“ (z. B. Fälle, in denen das System 100 das Vorhandensein eines Fahrzeugs oder Fußgängers fälschlicherweise festgestellt hat) und der „Fehltreffer“ bestimmen.
In Schritt 730 kann die Verarbeitungseinheit 110 eine oder mehrere Navigationsantworten im Fahrzeug 200 basierend auf Informationen, die von zwei der ersten, zweiten und dritten Vielzahl von Bildern abgeleitet wurden, auslösen. Die Auswahl von zwei der ersten, zweiten und dritten Vielzahl von Bildern kann von verschiedenen Faktoren abhängen, wie beispielsweise von der Anzahl, den Typen und den Größen der Gegenstände, die in jedem der Vielzahl von Bildern erkannt werden. Die Verarbeitungseinheit 110 kann die Auswahleinheit auch basierend auf der Bildqualität und -auflösung, dem effektiven Sichtfeld, das sich in den Bildern widerspiegelt, der Anzahl der aufgenommenen Rahmen, dem Ausmaß, in dem ein oder mehrere Objekte von Interesse tatsächlich in den Rahmen erscheinen (z. B. der prozentuale Anteil der Rahmen, in denen ein Gegenstand erscheint, der Anteil des Gegenstands, der in jedem dieser Rahmen erscheint usw.), und dergleichen treffen.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 Informationen aus zwei der ersten, zweiten und dritten Bilder auswählen, indem sie bestimmt, inwieweit die von einer Bildquelle stammenden Informationen mit den von anderen Bildquellen stammenden Informationen übereinstimmen. Zum Beispiel kann die Verarbeitungseinheit 110 die verarbeiteten Informationen, die von jeder der Bildaufnahmevorrichtungen 122, 124 und 126 stammen, kombinieren (sei es durch monokulare Analyse, Stereoanalyse oder eine beliebige Kombination aus beidem) und visuelle Indikatoren bestimmen (z. B. Fahrbahnmarkierungen, ein festgestelltes Fahrzeug und seine Stelle und/oder seinen Weg, eine erkannte Ampel usw.), die über die von jeder der Bildaufnahmevorrichtungen 122, 124 und 126 aufgenommenen Bilder konsistent sind. Die Verarbeitungseinheit 110 kann auch Informationen ausschließen, die in den aufgenommenen Bildern nicht konsistent sind (z. B. ein Fahrzeug, das die Spur wechselt, ein Fahrspurmodell, das ein Fahrzeug anzeigt, das sich zu nahe am Fahrzeug 200 befindet usw.). So kann die Verarbeitungseinheit 110 basierend auf den Feststellungen von konsistenten und inkonsistenten Informationen Informationen auswählen, die aus zwei der ersten, zweiten und dritten Vielzahl von Bildern stammen.
Die Navigationsantworten können beispielsweise ein Abbiegen, einen Spurwechsel, eine Änderung der Beschleunigung und dergleichen umfassen. Die Verarbeitungseinheit 110 kann die eine oder mehrere Navigationsantworten basierend auf der in Schritt 720 ausgeführten Analyse und den oben in Verbindung mit 4 beschriebenen Techniken veranlassen. Die Verarbeitungseinheit 110 kann auch Daten verwenden, die aus der Ausführung des Moduls 406 für Geschwindigkeit und Beschleunigung stammen, um eine oder mehrere Navigationsantworten auszulösen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die eine oder mehrere Navigationsantworten basierend auf einer relativen Position, einer relativen Geschwindigkeit und/oder einer relativen Beschleunigung zwischen dem Fahrzeug 200 und einem Gegenstand, der in einem der ersten, zweiten und dritten Vielzahl von Bildern erkannt wurde, auslösen. Mehrere Navigationsantworten können gleichzeitig, in Sequenz oder in beliebiger Kombination auftreten.
SPURZUSAMMENFÜHRUNGEN UND SPURTRENNUNGEN NAVIGIEREN
In einer Ausführungsform kann ein autonomes Fahrzeug (z. B. Fahrzeug 200) während der Navigation auf Spuren unterschiedlichen Typs treffen. Zum Beispiel kann die Spur, auf der das autonome Fahrzeug fährt, mit einer angrenzenden Spur zusammengeführt werden. Bei einer Spurzusammenführung kann es vorkommen, dass ein anderes Fahrzeug auf einer benachbarten Spur unterwegs ist, die zu Ende geht, und dass dieses Fahrzeug vor dem autonomen Fahrzeug zusammenfährt. Das autonome Fahrzeug kann daher langsamer werden und/oder seinen Kurs angesichts einer oder mehrerer Eigenschaften des anderen Fahrzeugs anpassen. Wenn das andere Fahrzeug zum Beispiel schnell und ohne viel Raum dazwischen zu lassen überholt, muss das autonome Fahrzeug möglicherweise seine Geschwindigkeit anpassen und/oder die Spur wechseln. Ein weiteres Beispiel, die Spur, auf der das autonome Fahrzeug unterwegs ist, kann sich teilen, um eine zusätzliche, angrenzende Spur zu bilden, wie beispielsweise eine Ausfahrtsspur.
Bei einer Spuraufteilung kann es vorkommen, dass ein anderes Fahrzeug vor dem autonomen Fahrzeug die Spur wechselt oder eine Straße verlässt und nicht mehr vor dem autonomen Fahrzeug in der Spur positioniert ist. Das autonome Fahrzeug kann daher seine Rate der Beschleunigung beibehalten oder erhöhen, um das Verlassen der Spur durch das andere Fahrzeug zu verhindern. Wenn jedoch vorhergesagt wird, dass das Fahrzeug über die geteilte Spur hinaus auf der gleichen Spur wie das autonome Fahrzeug bleibt, kann das autonome Fahrzeug seine Rate der Beschleunigung beibehalten oder verringern.
Die offenbarten Ausführungsformen schließen Systeme und Verfahren für die Navigation eines autonomen Fahrzeugs ein, um die oben genannten Szenarien für einen Spurwechsel und mögliche Manöver, die andere benachbarte Fahrzeuge im Hinblick auf den Spurwechsel durchführen könnten, bei der Navigation zu berücksichtigen.
Zum Beispiel kann in einer Ausführungsform ein System zur Navigation eines Host-Fahrzeugs (z. B. eines autonomen Fahrzeugs) eine Bildaufnahmevorrichtung und mindestens eine Verarbeitungsvorrichtung umfassen. Die mindestens eine Verarbeitungsvorrichtung kann so programmiert sein, dass sie von der Bildaufnahmevorrichtung eine Vielzahl von Bildern empfängt, die eine Umgebung des Host-Fahrzeugs darstellen. Die Umgebung kann eine Straße umfassen, auf der das Host-Fahrzeug unterwegs ist, sowie ein Zielfahrzeug. Das Zielfahrzeug kann ein anderes Fahrzeug sein, das sich in der Nähe des Host-Fahrzeugs befindet und vom Navigationssystem des Host-Fahrzeugs identifiziert wird.
Bei einer üblichen Spurzusammenführung kann das Zielfahrzeug auf einer anderen Spur der Straße fahren als das Host-Fahrzeug. Das heißt, das Zielfahrzeug kann auf einer benachbarten Spur fahren, die mit der Spur zusammenläuft, auf der das Host-Fahrzeug unterwegs ist. Andererseits kann das Zielfahrzeug üblicherweise auf einer Spur der Straße fahren, auf der auch das Host-Fahrzeug unterwegs ist. Das heißt, das Zielfahrzeug kann vor dem Host-Fahrzeug und auf derselben Spur wie das Host-Fahrzeug fahren.
Die mindestens eine Verarbeitungsvorrichtung kann ferner so programmiert werden, dass sie mindestens eines der Vielzahl von Bildern analysiert, um das Zielfahrzeug zu identifizieren, und mindestens eines der Vielzahl von Bildern analysiert, um mindestens eine Spurmarkierung zu identifizieren, die der Spur zugeordnet ist, auf der das Zielfahrzeug unterwegs ist. Bei einer Spurmarkierung kann es sich beispielsweise um aufgemalte Markierungen oder Hinweise handeln, die eine Spur auf einer Straße markieren, oder um einen physischen Gegenstand, der eine Spur auf einer Straße markiert. Solche physischen Gegenstände können Barrieren, Trennwände, Mittelstreifen usw. umfassen.
Die mindestens eine Verarbeitungsvorrichtung kann ferner so programmiert sein, dass sie eine oder mehrere Eigenschaften der Spurmarkierung der mindestens einen identifizierten Spurmarkierung erkennt und die eine oder mehreren erkannten Eigenschaften der Spurmarkierung verwendet, um einen Typ der mindestens einen identifizierten Spurmarkierung zu bestimmen. Ein Merkmal der Spurmarkierung kann beispielsweise ein Merkmal einer Spurmarkierung angeben, das das System dazu verwendet, den Typ der Spurmarkierung zu bestimmen (z. B. ob es sich um eine Spurmarkierung zur Zusammenführung oder um eine Spurmarkierung zur Aufteilung handelt).
Darüber hinaus kann die mindestens eine Verarbeitungsvorrichtung ferner programmiert werden, um mindestens eine Eigenschaft des Zielfahrzeugs zu bestimmen.
Eine Eigenschaft des Zielfahrzeugs kann zum Beispiel die Position des Zielfahrzeugs auf der Straße umfassen. Basierend auf der ermittelten Art der Spurmarkierung und der ermittelten Eigenschaft des Zielfahrzeugs kann die mindestens eine Verarbeitungsvorrichtung ferner so programmiert sein, dass sie eine Navigationsaktion für das Host-Fahrzeug bestimmt. Die Navigationsaktion kann das Ändern oder Beibehalten einer oder mehrerer der Funktionen Lenkung, Bremsen oder Beschleunigung/Verzögerung des Host-Fahrzeugs umfassen.
8A eine Veranschaulichung beispielhafter Spurzusammenführungen auf einer Fahrbahn in Übereinstimmung mit den offenbarten Ausführungsformen. Wie in 8A gezeigt, können einige Spurzusammenführungen die Form einer „Spurzusammenführung“ 800 annehmen. Bei einer Spurzusammenführung kann die Spur, auf der ein Host-Fahrzeug 200 unterwegs ist, d. h. die „Host“-Spur, mit einer benachbarten Spur verschmelzen, sodass das Host-Fahrzeug 200 und ein Zielfahrzeug 802 auf der benachbarten Spur zusammengeführt werden müssen.
Ein weiteres Beispiel für eine Spurzusammenführung ist eine „Zusammenführung zur“ Spurzusammenführung. Bei einer Spurzusammenführung 804 kann die „Host“-Spur, auf der ein Host-Fahrzeug 200 unterwegs ist, in eine benachbarte Spur übergehen, wie gezeigt, sodass das Host-Fahrzeug auf die benachbarte Spur „übergeht“ und mit dem Zielfahrzeug 802 auf der benachbarten Spur verschmilzt. Befindet sich die angrenzende Spur links vom Host-Fahrzeug, wie dargestellt, kann die Spurzusammenführung eine „Zusammenführung nach links“ sein, während die Spurzusammenführung eine „Zusammenführung nach rechts“ sein kann, wenn sich die angrenzende Spur rechts vom Host-Fahrzeug befindet.
Ein weiteres Beispiel für eine Spurzusammenführung ist die „Zusammenführung von“ Spurzusammenführung 806. Bei einer „Spurzusammenführung von“ kann eine benachbarte Spur in die „Host“-Spur übergehen, auf der ein Host-Fahrzeug 200 unterwegs ist, sodass ein Zielfahrzeug 802 auf der benachbarten Spur „von“ der benachbarten Spur auf die „Host“-Spur übergeht, auf der das Host-Fahrzeug 200 unterwegs ist. Wenn sich die angrenzende Spur, wie dargestellt, rechts vom Host-Fahrzeug 200 befindet, sodass das Zielfahrzeug 802 von rechts „zusammenfährt“, kann die Spurzusammenführung eine „Zusammenführung von rechts“ sein, während, wenn sich die angrenzende Spur links vom Host-Fahrzeug 200 befindet, sodass das Zielfahrzeug 802 von links „zusammenfährt“, die Spurzusammenführung eine „Zusammenführung von links“ sein kann.
Andere Spurwechsel können die Form einer Spurtrennung annehmen. 8B eine Veranschaulichung beispielhafter Spurtrennungen auf einer Fahrbahn in Übereinstimmung mit den offenbarten Ausführungsformen. Bei einer „geteilten“ Spuraufteilung 808 kann sich beispielsweise eine „Host“-Spur, auf der ein Host-Fahrzeug 200 unterwegs ist, in zwei Spuren aufteilen, sodass das Host-Fahrzeug 200 eine Spur auswählt, auf der es fährt. In einigen Fällen einer „geteilten“ Spurtrennung kann ein Zielfahrzeug (in dem Beispiel einer „geteilten“ Spurtrennung in 8B nicht gezeigt) vor dem Host-Fahrzeug unterwegs sein. Das Zielfahrzeug kann ebenfalls eine Spur auswählen, auf der es fahren möchte.
Ein weiteres Beispiel für eine Spurtrennung ist eine „offene“ Spur 810. Bei einer „offenen“ Spurtrennung 810 kann eine „Host“-Spur, auf der das Host-Fahrzeug 200 unterwegs ist, unverändert bleiben, aber eine neue Spur kann neben der „Host“-Spur erscheinen, auf der das Host-Fahrzeug 200 unterwegs ist. Die neue angrenzende Spur kann zum Beispiel eine Ausfahrtspur sein. Wenn sich die neue benachbarte Spur rechts von der „Host“-Spur befindet, auf der das Host-Fahrzeug 200 unterwegs ist, kann die Spurtrennung eine „offene rechte“ Spurtrennung sein, während die neue benachbarte Spur links von der „Host“-Spur liegt, auf der das Host-Fahrzeug 200 unterwegs ist, kann die Spurtrennung eine „offene linke“ Spurtrennung sein. In einigen Fällen einer „offenen“ Spurtrennung kann ein Zielfahrzeug (im Beispiel einer „offenen“ Spurtrennung in 8B nicht gezeigt) vor dem Host-Fahrzeug fahren. Das Zielfahrzeug kann auf der gleichen Spur weiterfahren oder in die neue Spur einfahren.
Ein weiteres Beispiel für eine Spurtrennung ist die „Erweiterung“ der Spur 812. Bei einer „Spurerweiterung“ kann sich die „Host“-Spur, auf der das Host-Fahrzeug 200 unterwegs ist, zu einer neuen, angrenzenden Spur erweitern (Spurtrennung 812). Die neue angrenzende Spur kann zum Beispiel eine Ausfahrtspur sein. Wenn sich die neue benachbarte Spur rechts von der „Host“-Spur befindet, auf der das Host-Fahrzeug 200 unterwegs ist, kann die Spurtrennung eine „Spurerweiterung rechts“ sein, während die Spurtrennung eine „Spurerweiterung links“ sein kann, wenn sich die neue benachbarte Spur links von der „Host“-Spur befindet, auf der das Host-Fahrzeug 200 unterwegs ist. In einigen Fällen einer „offenen“ Spurtrennung kann ein Zielfahrzeug 802 vor dem Host-Fahrzeug fahren. Das Zielfahrzeug 802 kann auf der gleichen Spur weiterfahren oder in die neue Spur einfahren.
9 ein Flussdiagramm, das einen beispielhaften Prozess 900 zur Bestimmung einer oder mehrerer Navigationsmaßnahmen basierend auf einer Analyse des Spurwechsels in Übereinstimmung mit den offenbarten Ausführungsformen zeigt. Der Prozess 900 kann zum Beispiel von der oben beschriebenen Verarbeitungseinheit 110 durchgeführt werden. Zur Veranschaulichung wird der Prozess 900 unter Bezugnahme auf 10A beschrieben, die eine Veranschaulichung eines autonomen Fahrzeugs (z. B. Fahrzeug 200) in der Draufsicht auf eine Fahrbahn mit einer Spurzusammenführung in Übereinstimmung mit den offenbaren Ausführungsformen darstellt, und unter Bezugnahme auf 10B, die eine beispielhafte Veranschaulichung einer Spurwechselanalyse für eine Spurzusammenführung in Übereinstimmung mit den offenbaren Ausführungsformen darstellt. In der folgenden Diskussion wird das autonome Fahrzeug als Host-Fahrzeug (z. B. Fahrzeug 200) bezeichnet und kann eine oder mehrere Komponenten des Systems 100 umfassen, wie oben in Verbindung mit 1 beschrieben.
In Schritt 902 kann die Verarbeitungseinheit 110 von einer Bildaufnahmevorrichtung eine Vielzahl von Bildern empfangen, die eine Umgebung des Host-Fahrzeugs darstellen. Die Umgebung schließt eine Straße ein, auf der das Host-Fahrzeug unterwegs ist. Wie in 10A gezeigt, kann die Bildaufnahmevorrichtung 122 mindestens ein Bild aufnehmen, das eine Umgebung 1000 des Host-Fahrzeugs 200 darstellt. Die Umgebung 1000 kann eine Straße 1002 umfassen, auf der das Host-Fahrzeug 200 unterwegs ist.
Die Bildaufnahmevorrichtung 122 kann jede der oben für die Bildaufnahmevorrichtung 122, die Bildaufnahmevorrichtung 124 und/oder die Bildaufnahmevorrichtung 126 beschriebenen Formen annehmen. Während das Host-Fahrzeug 200 mit einer Bildaufnahmevorrichtung 122 an einer bestimmten Stelle dargestellt ist, ist es zu verstehen, dass das Host-Fahrzeug 200 auch zusätzliche Bildaufnahmevorrichtungen 122 und/oder zusätzliche oder alternative Stellen für Bildaufnahmevorrichtungen 122 (z. B. wie in einer der vorangehenden Figuren dargestellt) umfassen kann, die nicht in 10A dargestellt sind.
Wie gezeigt, schließt die Umgebung 1000 neben der Straße 1002 auch ein Zielfahrzeug 802 ein. Außerdem fährt das Host-Fahrzeug 200 auf einer Spur der Straße 1002, und das Zielfahrzeug 802 fährt auf einer anderen Spur der Straße 1002 als das Host-Fahrzeug 200. Während ein einzelnes Zielfahrzeug 802 an einer bestimmten Stelle der Straße 1002 gezeigt wird, ist es zu verstehen, dass zusätzliche Zielfahrzeuge 802 und/oder zusätzliche oder alternative Stellen für Zielfahrzeuge 802 möglich sind. Auch wenn gezeigt wird, dass die Straße 1002 zwei Spuren in einer bestimmten Konfiguration umfasst, ist es zu verstehen, dass die Straße 1002 eine beliebige Anzahl von Spuren in jeder Konfiguration umfassen kann.
Die Straße 1002 schließt die Spurmarkierungen 1004A-1004D ein. Während die Spurmarkierungen 1004A-1004D als zweidimensionale Markierungen (z. B. Farbe, Aufkleber usw.) auf der Straße 1002 dargestellt sind, kann es sich bei den Spurmarkierungen 1004A-1004D in einigen Ausführungsformen auch um dreidimensionale Markierungen wie Absperrungen, Trennwände usw. handeln. Andere Spurmarkierungen 1004A-1004D sind ebenfalls möglich. Und obwohl die Spurmarkierungen 1004A-1004D an bestimmten Stellen gezeigt werden und bestimmte Konfigurationen aufweisen, ist es zu verstehen, dass mehr oder weniger Spurmarkierungen 1004A-1004D und/oder Spurmarkierungen 1004A-1004D mit alternativen Stellen und/oder Konfigurationen in Betracht gezogen werden können.
Wie bereits erwähnt, kann eine oder mehrere Bildaufnahmevorrichtung(en) (z. B. Bildaufnahmevorrichtung 122) mindestens ein Bild aufnehmen, das die Umgebung 1000 darstellt. In einigen Ausführungsformen kann (können) das (die) von der Bildaufnahmevorrichtung 122 erfasste(n) Bild(er) eine Darstellung der Straße 1002, des Zielfahrzeugs 802 und/oder eine oder mehrere der Spurmarkierungen 1004A-1004D auf der Straße 1002 umfassen. Das Bild bzw. die Bilder können zum Beispiel in Form von Graustufen- oder Farbbildern vorliegen. In einigen Ausführungsformen handelt es sich bei dem Bild bzw. den Bildern nicht unbedingt um Bilder mit voller Auflösung. Alternativ oder zusätzlich kann die Auflösung innerhalb eines Bildes nach Bedarf variieren, um Spurmarkierungen zu identifizieren und/oder zu kennzeichnen, wie unten beschrieben. Beispielsweise kann ein horizontaler Streifen, der den Bereich der Straße und den Horizont umfasst, in einem Bild eine höhere Auflösung haben als horizontale Streifen, die den Himmel und/oder die Motorhaube des Host-Fahrzeugs darstellen. Als weiteres Beispiel können horizontale Streifen eines Bildes, die den Horizont darstellen, eine höhere Auflösung haben als horizontale Streifen, die die Straße näher am Host-Fahrzeug darstellen, da Spurmarkierungen, die näher am Horizont liegen, kleiner und schwieriger zu erkennen sein können. In einigen Ausführungsformen können Abschnitte eines Bildes je nach Wunsch unter- oder hochabgetastet werden, um die Auflösung anzupassen.
Um zu 9 zurückzukehren, analysiert die Verarbeitungseinheit 110 in Schritt 904 mindestens eines der mehreren Bilder, um ein Zielfahrzeug zu identifizieren, das auf einer Spur der Straße fährt, die sich von der Spur unterscheidet, auf der das Host-Fahrzeug unterwegs ist. Wie in 10A gezeigt, schließen die von der Bilderfassungseinheit 122 aufgenommenen Bilder beispielsweise eine Darstellung des Zielfahrzeugs 802 ein, das auf einer Spur der Straße 1002 fährt, die sich von der Spur unterscheidet, auf der das Host-Fahrzeug 200 unterwegs ist. Die Spur, auf der das Zielfahrzeug 802 fährt, schließt eine benachbarte und/oder angrenzende Spur zu der Spur ein, auf der das Host-Fahrzeug 200 unterwegs ist. Die Verarbeitungseinheit 110 analysiert eines oder mehrere der aufgenommenen Bilder, um das Zielfahrzeug 802 zu identifizieren, indem sie zum Beispiel das Modul 402 zur monokularen Bildanalyse und/oder das Modul 404 zur Stereobildanalyse verwendet, die oben in Verbindung mit 4 beschrieben wurden.
Um zu 9 zurückzukehren, analysiert die Verarbeitungseinheit 110 in Schritt 906 mindestens eines der mehreren Bilder, um mindestens eine Spurmarkierung zu identifizieren, die der Fahrspur zugeordnet ist, auf der das Zielfahrzeug unterwegs ist. Wie in 10A gezeigt, schließen die von der Einheit 122 aufgenommenen Bilder beispielsweise die Darstellung der Spurmarkierungen 1004C und 1004D auf der Straße 1002 ein. Die Verarbeitungseinheit 110 analysiert die Bilder, um die Spurmarkierungen 1004C und 1004D zu identifizieren, indem sie beispielsweise das Modul 402 zur monokularen Bildanalyse und/oder das Modul 404 zur Stereobildanalyse verwendet, die oben in Verbindung mit 4 beschrieben wurden. Alternativ oder zusätzlich kann die Verarbeitungseinheit 110 in einigen Ausführungsformen die Spurmarkierungen 1004C und 1004D in ähnlicher Art und Weise wie in Stein, US-Patent Nr. 7.151.996 , beschrieben identifizieren, dessen Inhalt durch Bezugnahme in vollem Umfang übernommen wird. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 eine oder beide Spurmarkierungen 1004A und 1004B auf eine der oben beschriebenen Weisen identifizieren.
Um zu 9 zurückzukehren, kann die Verarbeitungseinheit 110 in Schritt 908 eine oder mehrere Eigenschaften der Spurmarkierung der mindestens einen identifizierten Markierung erkennen. Die festgestellte(n) Eigenschaft(en) der Spurmarkierung kann (können) zum Beispiel den Abstand der mindestens einen identifizierten Spurmarkierung zu einem Referenzpunkt umfassen. Der Referenzpunkt kann zum Beispiel ein Zeichen, einen Laternenpfahl, ein Verkehrssignal, einen Bordstein oder ein anderes Merkmal der Straße umfassen. Alternativ oder zusätzlich kann der Referenzpunkt auch einen anderen Orientierungspunkt umfassen (z. B. einen Baum, ein Gebäude, eine Brücke, eine Überführung, ein geparktes Fahrzeug, ein Gewässer usw.). Ferner kann der Referenzpunkt eine andere Spurmarkierung auf der Straße umfassen. In 10A können die festgestellten Eigenschaften der Spurmarkierung(en) beispielsweise einen Abstand zwischen den Spurmarkierungen 1004A und 1004C oder zwischen den Spurmarkierungen 1004B und 1004C umfassen. Als weiteres Beispiel können die festgestellten Eigenschaften der Spurmarkierung(en) eine Überschneidung der mindestens einen identifizierten Spurmarkierung mit mindestens einer anderen Spurmarkierung der Straße umfassen. Wie in 10A gezeigt, kann die festgestellte(n) Eigenschaft(en) der Spurmarkierung einen Schnittpunkt der Spurmarkierungen 1004B und 1004C umfassen. Als weiteres Beispiel können die festgestellten Eigenschaften der Spurmarkierung(en) eine Änderung des seitlichen Abstands zwischen der mindestens einen identifizierten Spurmarkierung und mindestens einer anderen Spurmarkierung der Straße 1002 umfassen. In 10A kann die festgestellte Eigenschaft(en) der Spurmarkierung beispielsweise eine Änderung des seitlichen Abstands zwischen den Spurmarkierungen 1004A und 1004C oder zwischen den Spurmarkierungen 1004B und 1004C umfassen.
Um zu 9 zurückzukehren, kann die Verarbeitungseinheit 110 in Schritt 910 die mindestens eine festgestellte Eigenschaft der Spurmarkierung verwenden, um einen Typ der mindestens einen identifizierten Spurmarkierung zu bestimmen. In einigen Ausführungsformen, wie dem in 10A dargestellten Beispiel, kann der Typ der Spurmarkierung eine Zusammenführungsspur sein. Eine Spurzusammenführung kann eine „Spurzusammenführung“, eine „Spurzusammenführung zu“ oder eine „Spurzusammenführung von“ Spurzusammenführung umfassen, wie oben in Verbindung mit 8A beschrieben. In einigen Ausführungsformen kann der Typ der Spurmarkierung auch eine geteilte Spur sein, wie eine „geteilte“ geteilte Spur, eine „offene“ geteilte Spur oder eine „erweiterte“ geteilte Spur, wie oben in Verbindung mit 8B beschrieben und unten in Verbindung mit 11 erörtert.
In Ausführungsformen, in denen die festgestellte(n) Eigenschaft(en) der Spurmarkierung zum Beispiel einen Abstand der mindestens einen identifizierten Spurmarkierung zu einem Referenzpunkt, wie einer anderen Markierung auf der Straße, umfasst (umfassen), kann die Verwendung der festgestellten Eigenschaft(en) der Spurmarkierung zur Bestimmung eines Typs der identifizierten Spurmarkierung(en) umfassen, dass bestimmt wird, ob der Abstand zwischen der (den) identifizierten Spurmarkierung(en) und dem Referenzpunkt mit zunehmendem Abstand zum Host-Fahrzeug (z. B. über eine Strecke entlang der Straße vor dem Host-Fahrzeug) zunimmt, abnimmt oder konstant bleibt. In 10A ist beispielsweise zu sehen, dass, wenn die festgestellte(n) Eigenschaft(en) der Spurmarkierung einen Abstand zwischen den Spurmarkierungen 1004A und 1004C und/oder zwischen den Spurmarkierungen 1004B und 1004C umfassen, ein abnehmender Abstand zwischen den Spurmarkierungen darauf hinweisen kann, dass der Typ der Spurmarkierung für Spur 1004C eine Spurzusammenführung ist. Wenn dagegen der Abstand zwischen den Spurmarkierungen 1004A und 1004C und/oder zwischen den Spurmarkierungen 1004B und 1004C zunimmt, kann die Verarbeitungseinheit 110 bestimmen, dass der Typ der Spurmarkierung für Spurmarkierung 1004C eine geteilte Spur ist.
Alternativ oder zusätzlich kann in Ausführungsformen, in denen die festgestellte(n) Eigenschaft(en) der Spurmarkierung(en) beispielsweise eine Überschneidung der identifizierten Spurmarkierung(en) mit mindestens einer anderen Spurmarkierung auf der Straße umfassen, die Verwendung der festgestellten Eigenschaft(en) der Spurmarkierung(en) zur Bestimmung eines Typs der identifizierten Spurmarkierung(en) die Bestimmung umfassen, dass die Überschneidung darauf hinweist, dass es sich bei dem Typ der Spurmarkierung um eine Spurzusammenführung handelt. Zum Beispiel, siehe 10A, wenn die festgestellte(n) Eigenschaft(en) der Spurmarkierung einen Schnittpunkt der Spurmarkierungen 1004B und 1004C umfassen, kann die Verarbeitungseinheit 110 bestimmen, dass der Typ der Spurmarkierung für die Spurmarkierung 1004C eine Spurzusammenführung ist.
Noch alternativ oder zusätzlich, wenn die festgestellte(n) Eigenschaft(en) der Spurmarkierung eine Änderung des seitlichen Abstands zwischen der mindestens einen identifizierten Spurmarkierung und mindestens einer anderen Straßenmarkierung auf der Straße 1002 umfasst/umfassen, kann die Verwendung der festgestellten Eigenschaft(en) der Spurmarkierung zur Bestimmung eines Typs der identifizierten Spurmarkierung(en) umfassen, dass bestimmt wird, ob der seitliche Abstand zwischen der/den identifizierten Spurmarkierung(en) und der/den anderen Spurmarkierung(en) mit zunehmendem Abstand zum Host-Fahrzeug zunimmt, abnimmt oder konstant bleibt.
Zum Beispiel kann das Bestimmen eines seitlichen Abstands zwischen Spurmarkierungen über eine Strecke entlang einer Straße vor dem Host-Fahrzeug das Umfassen eines seitlichen Abstands A zwischen einer ersten Spurmarkierung und einer zweiten Spurmarkierung an einem Bezugspunkt A vor dem Host-Fahrzeug und das Bestimmen eines seitlichen Abstands B zwischen der ersten Spurmarkierung und der zweiten Spurmarkierung an einem Bezugspunkt B vor dem Bezugspunkt A umfassen. Der Vergleich des seitlichen Abstands A und des seitlichen Abstands B kann anzeigen, ob der seitliche Abstand zwischen den Spurmarkierungen zunimmt oder abnimmt. Wenn der seitliche Abstand A größer ist als der seitliche Abstand B, können die seitlichen Abstände zwischen der ersten Spurmarkierung und den zweiten Spurmarkierungen kleiner werden. Ein mit zunehmendem Abstand vor dem Host-Fahrzeug abnehmender seitlicher Abstand zwischen den Spurmarkierungen kann darauf hindeuten, dass es sich bei einer Spurmarkierung um eine Spurmarkierung für die Zusammenführung handelt. Wenn der seitliche Abstand A kleiner ist als der seitliche Abstand B, können die seitlichen Abstände zwischen der ersten Spurmarkierung und der zweiten Spurmarkierung größer werden. Ein zunehmender seitlicher Abstand zwischen den Spurmarkierungen mit zunehmendem Abstand vor dem Host-Fahrzeug kann darauf hinweisen, dass eine Spurmarkierung eine geteilte Spurmarkierung ist. Andere Vergleiche sind denkbar und stehen im Einklang mit den offenbarten Ausführungsformen. Die Bestimmung der Typen von Spurmarkierungen kann beispielsweise die Berechnung des Unterschieds zwischen dem seitlichen Abstand A und dem seitlichen Abstand B umfassen oder umgekehrt. Wenn zum Beispiel der Unterschied zwischen dem seitlichen Abstand A und dem seitlichen Abstand B (d. h. A minus B) ein positiver Wert ist, dann können die seitlichen Abstände zwischen den Spurmarkierungen über einen Abstand vor dem Host-Fahrzeug abnehmen, was auf eine Spurmarkierung zur Zusammenführung hinweisen kann. Wenn jedoch der Unterschied zwischen dem seitlichen Abstand A und dem seitlichen Abstand B (d. h. A minus B) ein negativer Wert ist, dann können die seitlichen Abstände zwischen den Spurmarkierungen über eine Strecke vor dem Host-Fahrzeug zunehmen, was darauf hinweisen kann, dass eine Spurmarkierung eine geteilte Spurmarkierung ist.
Wenn beispielsweise in 10A die festgestellte(n) Eigenschaft(en) der Spurmarkierung einen seitlichen Abstand zwischen den Spurmarkierungen 1004A und 1004C und/oder zwischen den Spurmarkierungen 1004B und 1004C umfassen, kann ein abnehmender seitlicher Abstand zwischen den Spurmarkierungen über einen Abstand vor dem Host-Fahrzeug darauf hinweisen, dass es sich bei dem Typ der Spurmarkierung für die Spurmarkierung 1004C um eine Zusammenführung handelt. Wenn dagegen der seitliche Abstand zwischen den Spurmarkierungen 1004A und 1004C und/oder zwischen den Spurmarkierungen 1004B und 1004C über einen Abstand vor dem Host-Fahrzeug zunimmt, kann die Verarbeitungseinheit 110 bestimmen, dass der Typ der Spurmarkierung für die Spurmarkierung 1004C eine geteilte Spur ist.
Andere Eigenschaften der Spurmarkierung sind denkbar und stimmen mit den offenbaren Ausführungsformen überein. Eine Eigenschaft der Spurmarkierung kann beispielsweise eine oder mehrere Eigenschaften wie Größe, Form und Farbe der Spurmarkierung umfassen. Ferner kann in einigen Ausführungsformen eine Eigenschaft der Spurmarkierung eine Positionsbeziehung zwischen einer Spurmarkierung und einer anderen Spurmarkierung umfassen. Zum Beispiel kann eine Spurmarkierung an eine andere Spurmarkierung angrenzen (z. B. neben oder mit ihr verbunden sein), oder die Spurmarkierung kann in einer bestimmten Richtung (z. B. in einem bestimmten Winkel) in Bezug auf eine andere Spurmarkierung ausgerichtet sein.
Um zu 9 zurückzukehren, bestimmt die Verarbeitungseinheit 110 in Schritt 912 mindestens eine Eigenschaft des Zielfahrzeugs. Um die Eigenschaft(en) des Zielfahrzeugs zu bestimmen, analysieren Sie die Vielzahl der Bilder, wie oben in Verbindung mit den Schritten 904 und 906 beschrieben. In einigen Ausführungsformen kann die Bestimmung der Eigenschaft (en) des Zielfahrzeugs die Analyse von Daten eines oder mehrerer Sensoren und/oder Vorrichtungen des Host-Fahrzeugs (z. B. eines Bildsensors, Lidars, Radars, eines GPS-Geräts, eines Geschwindigkeitssensors, eines Beschleunigungssensors, eines Aufhängungssensors, eines Akustiksensors usw.) umfassen.
In einigen Ausführungsformen kann in die bestimmte(n) Eigenschaft(en) des Zielfahrzeugs eine Position des Zielfahrzeugs auf der Straße vor dem Host-Fahrzeug eingeschlossen sein. Zum Beispiel, bezogen auf 10A, kann die bestimmte(n) Eigenschaft (en) des Zielfahrzeugs 802 eine Position des Zielfahrzeugs 802 auf der Straße 1002 umfassen. Bei der Position kann es sich um eine Position in Bezug auf das Host-Fahrzeug 200, eine oder mehrere der Spurmarkierungen 1004A-1004D und/oder einen anderen Verbindungspunkt auf der Straße 1002 handeln, oder um Positionsdaten (z. B. GPS-Positionsdaten), wie oben in Verbindung mit 1 beschrieben. Die bestimmte(n) Eigenschaft (en) des Zielfahrzeugs schließt/schließen eine festgestellte seitliche Bewegung des Zielfahrzeugs relativ zu der/den identifizierten Spurmarkierung(en) ein. Unter Bezugnahme auf 10A schließt die bestimmte(n) Eigenschaft (en) des Zielfahrzeugs 802 eine erkannte seitliche Bewegung des Zielfahrzeugs 802 relativ zur Spurmarkierung 1004C ein. In einigen Ausführungsformen kann in die bestimmte(n) Eigenschaft (en) des Zielfahrzeugs eine Geschwindigkeit des Zielfahrzeugs relativ zum Host-Fahrzeug eingeschlossen sein. Zum Beispiel, bezogen auf 10A, können die ermittelten Eigenschaften des Zielfahrzeugs 802 eine Geschwindigkeit des Zielfahrzeugs 802 relativ zum Host-Fahrzeug 200 umfassen. In einigen Ausführungsformen kann die bestimmte(n) Eigenschaft(en) des Zielfahrzeugs eine vorhergesagte Flugbahn des Zielfahrzeugs umfassen. Zum Beispiel, bezogen auf 10A, kann die bestimmte(n) Eigenschaft(en) des Zielfahrzeugs 802 eine vorhergesagte Flugbahn des Zielfahrzeugs 802 umfassen. Die Verarbeitungseinheit 110 kann die Trajektorie des Zielfahrzeugs 802 basierend auf einer Analyse von mindestens zwei der in Schritt 902 aufgenommenen Bilder vorhersagen.
Um zu 9 zurückzukehren, kann die Verarbeitungseinheit 110 in Schritt 914 basierend auf der ermittelten Art der Spurmarkierung und der ermittelten Eigenschaft des Zielfahrzeugs eine Navigationsaktion für das Host-Fahrzeug bestimmen. Die Navigationsaktion kann das Ändern oder Beibehalten einer oder mehrerer der Funktionen Lenkung, Bremsen oder Beschleunigung/Verzögerung des Host-Fahrzeugs umfassen. In einigen Ausführungsformen kann die Navigationsaktion unter Verwendung eines oder mehrerer der oben in Verbindung mit 2F und 4 beschriebenen Module Drosselsystem 220, Bremssystem 230, Lenksystem 240, Geschwindigkeits- und Beschleunigungsmodul 406 und Navigationsantwortmodul 408 durchgeführt werden. Die Navigationsaktion kann zum Beispiel eine Erhöhung, Beibehaltung oder Verringerung der Rate der Beschleunigung des Host-Fahrzeugs sein. Ein weiteres Beispiel ist die Lenkung des Host-Fahrzeugs, wie zum Beispiel eine Lenkung nach links oder rechts.
Die bestimmte Navigationsaktion für das Host-Fahrzeug kann auf dem bestimmten Typ der Spurmarkierung basieren. Wenn der ermittelte Typ der Spurmarkierung beispielsweise eine Spurzusammenführung ist, kann die Navigationsaktion für das Host-Fahrzeug bestimmt werden, um eine sichere Zusammenführung mit dem Zielfahrzeug zu ermöglichen. Dies kann beispielsweise eine Beschleunigung oder Abbremsung des Host-Fahrzeugs umfassen, um eine Kollision mit dem Zielfahrzeug zu vermeiden. In einigen Fällen kann die Navigationsaktion das Umfassen der Lenkung des Host-Fahrzeugs auf eine angrenzende Spur umfassen, um sicher mit dem Zielfahrzeug zusammenzukommen. Als weiteres Beispiel, wenn der ermittelte Typ der Spurmarkierung eine Spurtrennung ist, kann die Navigationsaktion für das Host-Fahrzeug bestimmt werden, um das Fahren des Host-Fahrzeugs auf der entsprechenden Spur zu erleichtern. Dies kann zum Beispiel eine Lenkung des Host-Fahrzeugs umfassen, um auf der entsprechenden Spur zu bleiben.
Die bestimmte Navigationsaktion für das Host-Fahrzeug basiert auf der bestimmten Eigenschaft des Zielfahrzeugs. Wenn die ermittelte(n) Eigenschaft(en) des Zielfahrzeugs beispielsweise eine Position des Zielfahrzeugs auf der Straße vor dem Host-Fahrzeug umfassen, kann die Navigationsaktion für das Host-Fahrzeug bestimmt werden, um eine Kollision mit dem Zielfahrzeug zu vermeiden, z. B. durch Beschleunigen oder Abbremsen des Host-Fahrzeugs. Als weiteres Beispiel, wenn die festgestellte(n) Eigenschaft(en) des Zielfahrzeugs eine erkannte seitliche Bewegung des Zielfahrzeugs in Bezug auf die identifizierte(n) Spurmarkierung(en) umfasst/umfassen, kann die Navigationsaktion für das Host-Fahrzeug bestimmt werden, um eine sichere Spurzusammenführung mit dem Zielfahrzeug zu erleichtern. In 10A verwendet die Verarbeitungseinheit 110 beispielsweise die festgestellte seitliche Bewegung des Zielfahrzeugs 802 relativ zur Spurmarkierung 1004C, um zu bestimmen, ob sich das Zielfahrzeug 802 mit einer angemessenen Geschwindigkeit bewegt und/oder einen sicheren Abstand zum Host-Fahrzeug 200 einhält. Wenn beispielsweise das Zielfahrzeug 802 eine Position beibehält, die parallel oder im Wesentlichen parallel zur Spurmarkierung 1004C verläuft, oder sich in einem Winkel von annähernd 90 Grad über die Spurmarkierung 1004C bewegt, ist es wahrscheinlich, dass sich das Zielfahrzeug 802 mit angemessener Geschwindigkeit und ausreichendem Abstand zum Host-Fahrzeug 200 bewegt. Wenn sich das Zielfahrzeug 802 jedoch so bewegt, dass seine Trajektorie die Spurmarkierung 1004C in einem Winkel schneidet (z. B. in einem kleinen Winkel von weniger als 90 Grad), dann bewegt sich das Zielfahrzeug 802 wahrscheinlich schnell weiter und wird nahe am Host-Fahrzeug 200 zusammengeführt. Die Navigationsaktion kann eine Änderung der Beschleunigung des Host-Fahrzeugs 200 sein, um die seitliche Bewegung des Zielfahrzeugs 802 auszugleichen. Als weiteres Beispiel, wenn die bestimmte(n) Eigenschaft(en) des Zielfahrzeugs eine Geschwindigkeit des Zielfahrzeugs relativ zum Host-Fahrzeug umfasst/umfassen, kann die Navigationsaktion für das Host-Fahrzeug das Einhalten eines sicheren Abstands zum Zielfahrzeug umfassen, z. B. durch Beschleunigung oder Abbremsen. Als weiteres Beispiel, wenn die bestimmte(n) Eigenschaft(en) des Zielfahrzeugs eine vorhergesagte Trajektorie des Zielfahrzeugs umfassen, kann die Navigationsaktion für das Host-Fahrzeug das Vermeiden der Trajektorie des Zielfahrzeugs umfassen, z. B. durch Lenkung und/oder Beschleunigung oder Verzögerung des Host-Fahrzeugs.
Als weiteres Beispiel, wenn der bestimmte Typ der Spurmarkierung eine Spurtrennung ist und sich ein Zielfahrzeug vor dem Host-Fahrzeug, aber vor der Spurtrennung befindet, kann die Navigationsaktion für das Host-Fahrzeug eine Beschleunigung oder Abbremsung des Host-Fahrzeugs umfassen, abhängig von der bestimmten Eigenschaft des Zielfahrzeugs. Zum Beispiel kann die bestimmte Eigenschaft des Zielfahrzeugs darauf hinweisen, dass das Zielfahrzeug die Spur wechselt (oder wechseln wird) oder die Straße verlässt (oder verlassen wird) und nicht mehr vor dem Host-Fahrzeug positioniert werden kann. Das Host-Fahrzeug kann daher in Erwartung des Verlassens der Spur durch das Zielfahrzeug seine Beschleunigungsrate beibehalten oder erhöhen. Als weiteres Beispiel, wenn die ermittelte Eigenschaft des Zielfahrzeugs darauf hinweist, dass das Zielfahrzeug nach der Spurtrennung auf der gleichen Spur wie das Host-Fahrzeug bleibt (oder bleiben wird), kann das Host-Fahrzeug seine Beschleunigungsrate beibehalten oder verringern. In solchen Ausführungsformen kann das Bestimmen der Navigationsaktion für das Host-Fahrzeug die Berücksichtigung einer oder mehrerer vorhergesagter Navigationsaktionen des Zielfahrzeugs umfassen, wie unten beschrieben.
Zum Beispiel kann die Verarbeitungseinheit 110 zusätzlich zu oder als Teil der Bestimmung einer Navigationsaktion für das Host-Fahrzeug eine Navigationsaktion des Zielfahrzeugs vorhersagen. Die Verarbeitungseinheit 110 kann basierend auf dem Typ der Spur, auf der sich das Zielfahrzeug bewegt, die Navigationsaktion des Zielfahrzeugs vorhersagen. Wenn das Zielfahrzeug zum Beispiel auf einer Spur fährt, kann die Verarbeitungseinheit 110 vorhersagen, dass das Zielfahrzeug die Spur wechseln wird. Als weiteres Beispiel, wenn das Zielfahrzeug auf einer geteilten Spur unterwegs ist, kann die Verarbeitungseinheit 110 vorhersagen, dass das Zielfahrzeug die Straße verlassen wird.
Als weiteres Beispiel, das sich auf 10A bezieht, kann die Verarbeitungseinheit 110 eine Position des Zielfahrzeugs 802 relativ zur Spurmarkierung 1004C, die eine Spurzusammenführung markiert, identifizieren, um zu bestimmen, ob das Zielfahrzeug 802 in die Spur einfährt, auf der das Host-Fahrzeug 200 unterwegs ist. Wenn zum Beispiel der seitliche Abstand zwischen dem Zielfahrzeug 802 und der Spurmarkierung 1004C konstant ist oder sich verringert, kann die Verarbeitungseinheit 110 bestimmen, dass das Zielfahrzeug 802 in die Spur zusammengeführt wird, auf der das Host-Fahrzeug 200 fährt. Auf diese Art und Weise kann die Verarbeitungseinheit 110 bestimmen, ob das Zielfahrzeug 802 die Spurmarkierung 1004C verfolgt und dementsprechend, ob das Zielfahrzeug 802 in die Spur zusammenführt, auf der das Host-Fahrzeug 200 fährt, noch bevor das Zielfahrzeug 802 die Spurmarkierung 1204B in die Ausfahrtsspur überquert. In einigen Ausführungsformen kann die vorausgesagte Navigationsaktion des Zielfahrzeugs basierend auf einer vorausgesagten Trajektorie des Zielfahrzeugs bestimmt werden. Wenn beispielsweise vorhergesagt wird, dass das Zielfahrzeug 802 in die Spur einfährt, auf der sich das Host-Fahrzeug 200 befindet, kann das Host-Fahrzeug 200 die Geschwindigkeit verringern, beschleunigen, die Spur wechseln oder die Hupe verwenden, um ein sicheres Einfädeln zu ermöglichen. Solche vorausgesagten Navigationsaktionen des Zielfahrzeugs können auf der Analyse von mindestens zwei Bildern basieren, die von einer Bildaufnahmevorrichtung des Host-Fahrzeugs aufgenommen wurden. In noch anderen Ausführungsformen können solche Vorhersage-Navigationsaktionen auf der Analyse von Daten eines oder mehrerer Sensoren und/oder Vorrichtungen des Host-Fahrzeugs (z. B. eines Bildsensors, Lidars, Radars, eines GPS-Geräts, eines Geschwindigkeitssensors, eines Beschleunigungssensors, eines Aufhängungssensors, eines akustischen Sensors usw.) basieren.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 zusätzlich zur Identifizierung der Spurmarkierungen 1004A-100D eine Kennzeichnung der Spurmarkierungen 1004A-1004D vornehmen. Zum Beispiel kann die Verarbeitungseinheit 110 die Spurmarkierungen 1004A-1004D in den von der Bildverarbeitungseinheit 122 erfassten Bildern identifizieren und eine Kennzeichnung für jede identifizierte Spurmarkierung 1004A-1004D erzeugen. Die Kennzeichnungen können zum Beispiel die Form einer binären Abbildung annehmen. Alternativ können die Kennzeichnungen auch die Form einer Datenstruktur annehmen, wie beispielsweise eine Liste von Bildsegmentkoordinaten.
In einigen Ausführungsformen kann das Erzeugen der Kennzeichnungen darin bestehen, das Bild bzw. die Bilder einem trainierten System zuzuführen, das die Form eines der oben in Verbindung mit 4 beschriebenen neuronalen Netzwerke und/oder eines neuronalen Faltungsnetzwerks annehmen kann. Das neuronale Netzwerk kann mit Hilfe von Kennzeichnungen und/oder Identifikatoren für Spurmarkierungen trainiert werden, die einem oder mehreren Bildern zugeordnet sind. Beschriftete Daten oder Bilder, denen Kennzeichnungen und/oder Identifikatoren für Spurmarkierungen zugeordnet sind, können vom neuronalen Netzwerk aus einer Vielzahl von Ressourcen empfangen werden, z.B. aus einer oder mehreren Datenbanken. Die eine oder mehrere Datenbanken können sich lokal (z. B. im System 100 eingeschlossen) und/oder entfernt (z. B. über ein Netzwerk wie ein zellulares Netzwerk und/oder das Internet usw.) befinden und z. B. über einen drahtlosen Transceiver 172 des Systems 100 empfangen werden. Die Kennzeichnung der gespeicherten Bilder erfolgt z. B. durch das Speichern einer Kennzeichnung (z. B. einer Spurzusammenführung oder einer Spurtrennung), die einer identifizierten Spurmarkierung zugeordnet ist. In einigen Ausführungsformen kann nicht jede identifizierte Spurmarkierung gekennzeichnet werden. Vielmehr kann die Kennzeichnung auf diejenigen Spurmarkierungen beschränkt werden, die für das Erkennen eines Spurwechsels und das Bestimmen eines Typs der Spur relevant sind, wie unten beschrieben. Schließlich könnte das neuronale Netzwerk in der Lage sein, die Spurmarkierungen automatisch zu identifizieren und zu kennzeichnen.
In einigen Ausführungsformen kann das neuronale Netzwerk beschriftete Bilder ausgeben, in denen Pixel der Bilder, die Spurmarkierungen 1004A-1004D darstellen, als Teil einer Spurmarkierung gekennzeichnet sind. In einigen Ausführungsformen können nur die Pixel, die die Spurmarkierungen 1004A-1004D darstellen, gekennzeichnet und/oder einem Identifikator für den Typ der Spurmarkierung zugeordnet sein. Alternativ kann in einigen Ausführungsformen jedes Pixel gekennzeichnet werden, auch diejenigen, die keine Spurmarkierungen 1004A-1004D darstellen, und das gekennzeichnete Bild kann mit der binären Karte „andiert“ werden, um Kennzeichnungen für die Spurmarkierungen 1004A-1004D zu isolieren.
In einigen Ausführungsformen handelt es sich bei den gekennzeichneten Bildern nicht unbedingt um Bilder mit voller Auflösung. Alternativ oder zusätzlich kann es sein, dass die gekennzeichneten Bilder nicht die gleiche Auflösung aufweisen wie die Bilder, die von der Bilderfassungseinheit 122 und/oder der binären Abbildung erfasst wurden. In einigen Ausführungsformen, können die von der Bilderfassungseinheit 122 aufgenommenen Bilder eine höhere Auflösung haben als die gekennzeichneten Bilder, da die höhere Auflösung der Verarbeitungseinheit 110 bei der Kennzeichnung der Spurmarkierungen helfen kann, aber eine niedrigere Auflösung kann ausreichen, um die gekennzeichneten Spurmarkierungen anzuzeigen. Zum Beispiel können die identifizierten Spurenmarkierungen auf eine niedrigere Auflösung für die gekennzeichneten Bilder heruntergetastet werden und/oder die gekennzeichneten Spurenmarkierungen können auf eine höhere Auflösung für die identifizierten Spurenmarkierungen hochgetastet werden.
Beispielkennzeichnungen von Spuren sind in 10B dargestellt, die Abschnitte der Straße 1002 veranschaulicht, die in einem ersten Bild 1006 aufgenommen wurden. Zum Beispiel kann die Verarbeitungseinheit 110 die Spurmarkierungen 1004C und 1004D im ersten Bild 1006 identifizieren. Alternativ oder zusätzlich kann die Verarbeitungseinheit 110 die Spurmarkierungen 1004A und 1004B markieren. Nach der Identifizierung kann die Verarbeitungseinheit 110 die Spurmarkierungen 1004A, 1004B, 1004C und 1004D kennzeichnen und/oder Spurmarkierungsidentifikatoren für eine oder mehrere der Spurmarkierungen erzeugen.
In einigen Ausführungsformen können Spurmarkierungen als „normale“ Spurmarkierungen oder als „Spurwechsel“-Spurmarkierungen gekennzeichnet sein. Zum Beispiel können die Spurmarkierungen 1004A und 1004D im ersten Bild 1006 als „normale“ Spurmarkierungen gekennzeichnet sein, während die Spurmarkierungen 1004B und 1004C als Spurmarkierung für einen „Spurwechsel“ gekennzeichnet sind. In einigen Ausführungsformen können Spurmarkierungen für „Spurwechsel“ als bekannte Landmarken gespeichert werden, wie oben in Verbindung mit 1 beschrieben. Beispielsweise kann die grobe Lokalisierung einer Spurzusammenführung oder einer Spurtrennung anhand der Kreuzung und/oder der relativen Stelle einer oder mehrerer Spurmarkierungen für einen „Spurwechsel“ bestimmt werden. Solche „Spurwechsel“-Landmarken können die Lokalisierungstechnologie verbessern, wie beispielsweise das REM™, das bei der Erstellung von Abbildungen verwendet wird. In einigen Ausführungsformen kann sich die Lokalisierungstechnologie auf Spurmarkierungen für „Spurwechsel“ stützen, die von einer großen Anzahl von Fahrzeugen auf derselben Straße identifiziert wurden, um zu bestimmen, welche Spurmarkierungen fusioniert werden können und welche nicht. Zum Beispiel kann die Lokalisierungstechnologie basierend auf den identifizierten „Spurwechsel“-Spurmarkierungen erkennen, dass zahlreiche Identifikatoren von Spurmarkierungen vor einem Split zu einem konsistenten Modell verschmolzen werden können, während zahlreiche Identifikatoren von Spurmarkierungen nach dem Split dies nicht können. Als weiteres Beispiel kann die Lokalisierungstechnologie basierend auf den identifizierten „Spurwechsel“-Spurmarkierungen erkennen, dass zahlreiche Identifikatoren von Spurmarkierungen nach einer Spurzusammenführung zu einem konsistenten Modell verschmolzen werden können, während zahlreiche Identifikatoren von Spurmarkierungen vor der Spurtrennung dies nicht können.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 ferner für eine oder mehrere identifizierte Spurmarkierungen die Beziehung der Spurmarkierung zum Host-Fahrzeug 200 bestimmen. Die Spurmarkierung 1004A kann zum Beispiel als Spurmarkierung „Host links“ gekennzeichnet sein, die die linke Seite einer „Host“-Spur angibt, auf der das Host-Fahrzeug 200 unterwegs ist. Als weiteres Beispiel kann die Spurmarkierung 1004B als Spurmarkierung „Host rechts“ markiert werden, die die rechte Seite einer „Host“-Spur angibt, auf der sich das Host-Fahrzeug 200 befindet. Die Spurmarkierung 1004D kann als Spurmarkierung „Nächste rechts“ gekennzeichnet sein, die die rechte Seite einer „nächsten rechten“ Spur zum Host-Fahrzeug 200 markiert.
Wie in 10B gezeigt, kann die Verarbeitungseinheit 110 zusätzlich Spurmarkierungen identifizieren und kennzeichnen und/oder Spurmarkierungsidentifikatoren für Spurmarkierungen in einem zweiten Bild 1008 erzeugen. Das zweite Bild 1008 kann zu einem späteren Zeitpunkt und/oder an einer Stelle aufgenommen werden, die sich ferner auf der Straße 1002 befindet als das erste Bild 1006. In einigen Ausführungsformen können das erste Bild 1006 und das zweite Bild 1008 es der Verarbeitungseinheit 110 ermöglichen, Spurmarkierungen in einem Abstand auf der Straße 1002 zu identifizieren und zu markieren. Der Abstand zwischen den Bildern kann zum Beispiel zwischen 25 und 75 Metern betragen. Andere Abstände sind ebenfalls möglich.
Wie dargestellt, können die Spurmarkierungen 1004A und 1004D im zweiten Bild 1008 markiert werden. Die Verarbeitungseinheit 110 kann die Spurmarkierung 1004A mit einer Spurmarkierung „Host links“ kennzeichnen, die wiederum die linke Seite der Spur angibt, auf der das Host-Fahrzeug 200 unterwegs ist. Die Spurmarkierung 1004D kann jedoch im zweiten Bild 1008 als Spurmarkierung „Host rechts“ gekennzeichnet sein, die die rechte Seite der Spur angibt, auf der das Host-Fahrzeug 200 unterwegs ist.
In einigen Ausführungsformen kann das Bestimmen des Typs der identifizierten Spurmarkierung(en) in Schritt 910 das Bestimmen einer Änderung der Kennzeichnungen der Spurmarkierungen und/oder der Identifikatoren der Spurmarkierungen zwischen den Bildern umfassen. Eine solche Bestimmung kann es der Verarbeitungseinheit 110 ermöglichen, ferner zu bestimmen, welcher Typ von Spurzusammenführung (z. B. „Zusammenführung“, „Zusammenführung zu“ oder „Zusammenführung von“) oder welcher Typ von Spurtrennung (z. B. „Spurtrennung“, „Spurtrennung offen“ oder „Spurerweiterung“) auf der Straße 1002 vorkommt. Zum Beispiel, bezogen auf 10B, kann die Verarbeitungseinheit 110 bestimmen, dass das erste Bild 1006 eine Spurmarkierung „Host links“ (dargestellt als Spurmarkierung 1004A und mit „HL“ gekennzeichnet), eine Spurmarkierung „Host rechts“ (dargestellt als Spurmarkierung 1004B und mit „HR“ gekennzeichnet) und eine Spurmarkierung „Nächste rechte Spur“ (dargestellt als Spurmarkierung 1004 und mit „NRR“ gekennzeichnet) einschließt, wie oben beschrieben. Die Verarbeitungseinheit 110 kann ferner bestimmen, dass ein zweites Bild 1008 immer noch eine Spurmarkierung „Host links“ (Kennzeichnung „HL“) und eine Spurmarkierung „Host rechts“ (Kennzeichnung „HR“) einschließt, aber nicht die Spurmarkierung „Nächste rechte Spur“ aus dem ersten Bild 1006. Basierend auf diesen Kennzeichnungen kann die Verarbeitungseinheit 110 bestimmen, dass die „nächste rechte“ Spur, die zum Teil durch die Spurmarkierung „nächste rechte Spur“ im ersten Bild 1006 markiert ist, in die „Host“-Spur übergeht, auf der das Host-Fahrzeug 200 fährt. Dementsprechend kann die Verarbeitungseinheit 110 bestimmen, dass das Zielfahrzeug 802 auf einer „Spurzusammenführung von“ fährt, d. h. das Host-Fahrzeug 200 kann sich darauf vorbereiten, dass das Zielfahrzeug 802 von seiner Spur (der „nächsten rechten“ Spur) auf die „Host“-Spur, auf der sich das Host-Fahrzeug 200 befindet, zusammenfährt.
Als weiteres Beispiel kann die Verarbeitungseinheit 110 bestimmen, dass das erste Bild 1006 eine Spurmarkierung „Host links“, eine Spurmarkierung „Host rechts“ und eine Spurmarkierung „Nächste rechte Spur“ einschließt. Die Verarbeitungseinheit 110 kann ferner bestimmen, dass in einem zweiten Bild 1008 die Spurmarkierung „Host rechts“ zu einer Spurmarkierung „Host links“ und die Spurmarkierung „Nächste rechts“ zu einer Spurmarkierung „Host rechts“ geworden ist. Das zweite Bild 1008 darf keine Spurmarkierung „Host links“ umfassen. Basierend auf diesen Kennzeichnungen kann die Verarbeitungseinheit 110 bestimmen, dass die „Host“-Spur, die durch die Spurmarkierungen „Host rechts“ und „Host links“ im ersten Bild 1006 markiert ist, in die „nächste rechte“ Spur übergeht, die zum Teil durch die Spurmarkierung „nächste rechte Spur“ markiert ist, auf der das Zielfahrzeug 802 unterwegs ist. Dementsprechend kann die Verarbeitungseinheit 110 bestimmen, dass das Zielfahrzeug 802 auf einer „Spurzusammenführung“-Spur unterwegs ist, was bedeutet, dass das Host-Fahrzeug 200 sich darauf vorbereitet, von der „Host“-Spur auf die „nächste rechte“ Spur zu wechseln, auf der das Zielfahrzeug 802 unterwegs ist.
Obwohl 10B ein Zielfahrzeug 802 zeigt, ist es zu verstehen, dass in einigen Ausführungsformen die Kennzeichnungen der Spurmarkierungen verwendet werden können, um eine Navigationsaktion für das Host-Fahrzeug 200 zu bestimmen, auch wenn kein Zielfahrzeug vorhanden ist. In einigen Ausführungsformen kann beispielsweise ein neuronales Netzwerk, dem wie oben beschrieben Kennzeichnungen zugeführt werden, so konfiguriert werden, dass es eine Spurzusammenführung erkennt, wie in 10B gezeigt, basierend auf gekennzeichneten Spurmarkierungen, und das Host-Fahrzeug 200 kann eine Navigationsmaßnahme ergreifen, um die Spurzusammenführung zu ermöglichen.
11 ein Flussdiagramm, das einen weiteren beispielhaften Prozess 1100 zur Bestimmung einer oder mehrerer Navigationsmaßnahmen basierend auf einer Analyse des Spurwechsels in Übereinstimmung mit den offenbarten Ausführungsformen zeigt. Der Prozess 1100 kann zum Beispiel von der oben beschriebenen Verarbeitungseinheit 110 durchgeführt werden. Zur Veranschaulichung wird der Prozess 1100 unter Bezugnahme auf 12A beschrieben, die eine Draufsicht auf ein autonomes Fahrzeug (z. B. Fahrzeug 200) auf einer Fahrbahn mit einer Spurtrennung in Übereinstimmung mit den offenbaren Ausführungsformen darstellt, und unter Bezugnahme auf 12B, die eine beispielhafte Veranschaulichung einer Spurwechselanalyse für eine Spurtrennung in Übereinstimmung mit den offenbaren Ausführungsformen darstellt. In der folgenden Diskussion wird das autonome Fahrzeug als Host-Fahrzeug (z. B. Fahrzeug 200) bezeichnet und kann eine oder mehrere Komponenten des Systems 100 umfassen, wie oben in Verbindung mit 1 beschrieben.
In Schritt 1102 kann die Verarbeitungseinheit 110 von einer Bildaufnahmevorrichtung eine Vielzahl von Bildern empfangen, die eine Umgebung des Host-Fahrzeugs darstellen. Die Umgebung schließt eine Straße ein, auf der das Host-Fahrzeug unterwegs ist. Wie in 12A gezeigt, kann die Bildaufnahmevorrichtung 122 zum Beispiel eine Vielzahl von Bildern aufnehmen, die eine Umgebung 1200 des Host-Fahrzeugs 200 darstellen. Die Umgebung 1200 kann eine Straße 1202 umfassen, auf der das Host-Fahrzeug 200 unterwegs ist, und die Straße 1202 kann Spurmarkierungen 1204A-1204D umfassen. Die Bildaufnahmevorrichtung 122, die Straße 1202 und die Spurmarkierungen 1204A-1204D können jede der Formen annehmen, die oben für die Bildaufnahmevorrichtung 122, die Straße 1002 und die Spurmarkierungen 1004A-1004D in Verbindung mit 10 beschrieben wurden.
Wie bereits erwähnt, kann eine oder mehrere Bildaufnahmevorrichtung(en) (z. B. die Bildaufnahmevorrichtung 122) eine Vielzahl von Bildern aufnehmen, die die Umgebung 1200 darstellen. In einigen Ausführungsformen können die von der Bildaufnahmevorrichtung 122 aufgenommenen Bilder eine Darstellung der Straße 1202 und/oder eine oder mehrere der Spurmarkierungen 1204A-1204D auf der Straße 1202 umfassen. Die Bilder können jede der Formen annehmen, die oben für die Bilder in Verbindung mit 9 beschrieben wurden.
In Schritt 1104 kann die Verarbeitungseinheit 110 mindestens eines der mehreren Bilder analysieren, um ein Zielfahrzeug zu identifizieren, das auf einer Spur der Straße fährt, auf der das Host-Fahrzeug unterwegs ist. Das heißt, in einem Szenario mit geteilter Fahrspur kann das Zielfahrzeug vor der Aufteilung vor dem Host-Fahrzeug und auf derselben Spur wie das Host-Fahrzeug fahren. Wie in 12A gezeigt, können die von der Bilderfassungseinheit 122 aufgenommenen Bilder beispielsweise eine Darstellung des Zielfahrzeugs 802 umfassen, das vor dem Host-Fahrzeug 100 auf einer Spur der Straße 1202 fährt, auf der das Host-Fahrzeug 200 unterwegs ist. Die Verarbeitungseinheit 110 kann das/die Bild(er) analysieren, um das Zielfahrzeug 802 zu identifizieren, indem sie beispielsweise das Modul 402 zur monokularen Bildanalyse und/oder das Modul 404 zur Stereobildanalyse verwendet, die oben in Verbindung mit 4 beschrieben wurden.
In Schritt 1106 kann die Verarbeitungseinheit 110 mindestens eines der Vielzahl von Bildern analysieren, um eine Vielzahl von Spurmarkierungen zu identifizieren, die der Spur zugeordnet sind. Wie in 12A gezeigt, kann das Bild/die Bilder, die von der Einheit 122 aufgenommen wurden, eine Darstellung der Spurmarkierungen 1204A und 1204B auf der Straße 1202 umfassen. In einigen Ausführungsformen kann das Bild/die Bilder zusätzlich Spurmarkierungen 1204C und 1204D umfassen. Die Verarbeitungseinheit 110 kann das/die Bild(er) analysieren, um die Spurmarkierungen 1204A-1204D zu identifizieren, indem sie beispielsweise das Modul 402 zur monokularen Bildanalyse und/oder das Modul 404 zur Stereobildanalyse verwendet, die oben in Verbindung mit 4 beschrieben wurden, und/oder auf jede andere oben beschriebene Weise.
In Schritt 1108 kann die Verarbeitungseinheit 110 eine oder mehrere Eigenschaften der mindestens einen identifizierten Spurmarkierung erkennen. Die festgestellte(n) Eigenschaft(en) der Spurmarkierung kann (können) zum Beispiel den Abstand der mindestens einen identifizierten Spurmarkierung zu einem Referenzpunkt, wie einer anderen Markierung auf der Straße, umfassen. Beispielsweise kann (können) die in 12A erkannte(n) Eigenschaft(en) der Spurmarkierung den Abstand zwischen den Spurmarkierungen 1204A und 1204C oder zwischen den Spurmarkierungen 1204B und 1204D umfassen. Als weiteres Beispiel können die festgestellten Eigenschaften der Spurmarkierung(en) eine Aufspaltung der mindestens einen identifizierten Spurmarkierung in eine andere Spurmarkierung umfassen. In 12A kann die festgestellte(n) Eigenschaft(en) der Spurmarkierung beispielsweise eine Aufspaltung der Spurmarkierung 1204B in die Spurmarkierung 1204C umfassen. Als weiteres Beispiel können die festgestellten Eigenschaften der Spurmarkierung(en) eine Änderung des seitlichen Abstands zwischen der mindestens einen identifizierten Spurmarkierung und mindestens einer anderen Spurmarkierung der Straße umfassen. Zum Beispiel, bezogen auf 10A, können die festgestellten Eigenschaften der Spurmarkierung(en) eine Änderung des seitlichen Abstands zwischen den Spurmarkierungen 1204A und 1204C oder zwischen den Spurmarkierungen 1204B und 1204C über einen Abstand vor dem Host-Fahrzeug umfassen. Solche Änderungen der seitlichen Abstände können wie oben beschrieben bestimmt werden, zum Beispiel in Verbindung mit 9.
In Schritt 1110 kann die Verarbeitungseinheit 110 die mindestens eine festgestellte Eigenschaft der Spurmarkierung verwenden, um einen Typ der mindestens einen identifizierten Spurmarkierung zu bestimmen. In dem in 12A gezeigten Beispiel kann der bestimmte Typ der Spurmarkierung eine geteilte Spur sein. Eine geteilte Spur kann eine „geteilte“ geteilte Spur, eine „offene“ geteilte Spur oder eine „erweiterte“ geteilte Spur umfassen, wie oben in Verbindung mit 8B beschrieben. In manchen Fällen kann die geteilte Spur eine Ausfahrtspur umfassen (z. B. eine Ausfahrtspur einer Straße oder einer Autobahn wie einer Interstate).
In Ausführungsformen, in denen die festgestellte(n) Eigenschaft(en) der Spurmarkierung zum Beispiel einen Abstand der mindestens einen identifizierten Spurmarkierung zu einem Referenzpunkt, wie einer anderen Markierung auf der Straße, einschließt (umfassen), kann die Verwendung der festgestellten Eigenschaft(en) der Spurmarkierung zur Bestimmung eines Typs der identifizierten Spurmarkierung(en) umfassen, dass bestimmt wird, ob der Abstand zwischen der (den) identifizierten Spurmarkierung(en) und dem Referenzpunkt mit zunehmendem Abstand zum Host-Fahrzeug (z. B. über eine Strecke entlang der Straße vor dem Host-Fahrzeug) zunimmt, abnimmt oder konstant bleibt. Zum Beispiel, bezogen auf 12A, wenn die festgestellte(n) Eigenschaft(en) der Spurmarkierung einen Abstand zwischen den Spurmarkierungen 1204A und 1204C und/oder zwischen den Spurmarkierungen 1204B und 1204D umfassen, kann ein zunehmender Abstand zwischen den Spurmarkierungen darauf hinweisen, dass der Typ der Spurmarkierung eine geteilte Spur ist.
Alternativ oder zusätzlich kann in einigen Ausführungsformen eine festgestellte Eigenschaft der Spurmarkierung die Identifizierung einer Aufspaltung der erkannten Spurmarkierung(en) in eine andere Spurmarkierung umfassen. Zum Beispiel, bezogen auf 12A, wenn eine festgestellte Eigenschaft der Spurmarkierung eine Aufteilung der Spurmarkierung 1204B in eine Spurmarkierung 1204B und eine Spurmarkierung 1204C einschließt, kann die Verarbeitungseinheit 110 bestimmen, dass der Typ der Spurmarkierung eine geteilte Spur ist.
Noch alternativ oder zusätzlich, wenn die festgestellte(n) Eigenschaft(en) der Spurmarkierung eine Änderung des seitlichen Abstands zwischen der mindestens einen identifizierten Spurmarkierung und mindestens einer anderen Straßenmarkierung umfassen, kann die Verwendung der festgestellten Eigenschaft(en) der Spurmarkierung zur Bestimmung eines Typs der identifizierten Spurmarkierung(en) umfassen, dass bestimmt wird, ob der seitliche Abstand zwischen der/den identifizierten Spurmarkierung(en) und der/den anderen Spurmarkierung(en) mit zunehmendem Abstand zum Host-Fahrzeug (z. B. über eine Strecke entlang der Straße vor dem Host-Fahrzeug) zunimmt, abnimmt oder konstant bleibt. Zum Beispiel, bezogen auf 12A, wenn die festgestellte(n) Eigenschaft(en) der Spurmarkierung einen seitlichen Abstand zwischen den Spurmarkierungen 1204A und 1204C und/oder zwischen den Spurmarkierungen 1204B und 1204D umfassen, kann ein zunehmender seitlicher Abstand zwischen den Spurmarkierungen darauf hinweisen, dass der Typ der Spurmarkierung eine geteilte Spur ist. Solche Änderungen der seitlichen Abstände zwischen Spurmarkierungen über einen Abstand entlang der Straße vor dem Host-Fahrzeug können wie oben beschrieben bestimmt werden, zum Beispiel in Verbindung mit 9.
Um zu 11 zurückzukehren, kann die Verarbeitungseinheit 110 in Schritt 1112 mindestens eine Eigenschaft des Zielfahrzeugs bestimmen. In einigen Ausführungsformen kann das Bestimmen der Eigenschaft(en) des Zielfahrzeugs die Analyse der Vielzahl von Bildern umfassen, wie oben in Verbindung mit den Schritten 1104 und 1106 beschrieben. Die bestimmte(n) Eigenschaft(en) des Zielfahrzeugs kann (können) jede der oben in Verbindung mit Schritt 912 beschriebenen Formen annehmen.
In Schritt 1114 kann die Verarbeitungseinheit 110 basierend auf dem bestimmten Typ der Spurmarkierung und der bestimmten Eigenschaft des Zielfahrzeugs eine Navigationsaktion für das Host-Fahrzeug bestimmen. Die Navigationsaktion kann jede der oben beschriebenen Formen annehmen, zum Beispiel auch in Verbindung mit Schritt 914 in 9.
Während Schritt 1114 die Bestimmung einer Navigationsaktion für das Host-Fahrzeug basierend sowohl auf dem bestimmten Typ der Spurmarkierung als auch auf der bestimmten Eigenschaft des Zielfahrzeugs vorsieht, ist es zu verstehen, dass in einigen Ausführungsformen die Navigationsaktion nur basierend auf dem bestimmten Typ der Spurmarkierung oder nur auf der bestimmten Eigenschaft des Zielfahrzeugs bestimmt werden kann. Während 12A beispielsweise das Zielfahrzeug 802 zeigt, kann in einigen Ausführungsformen kein Zielfahrzeug 802 vorhanden sein, und die Navigationsaktion kann nur basierend auf dem ermittelten Typ der Spurmarkierung bestimmt werden.
Wenn die festgestellte(n) Eigenschaft(en) des Zielfahrzeugs beispielsweise eine festgestellte seitliche Bewegung des Zielfahrzeugs in Bezug auf die identifizierte(n) Spurmarkierung(en) einschließt/umfassen, kann die Navigationsaktion für das Host-Fahrzeug so bestimmt werden, dass eine Ausfahrt des Zielfahrzeugs von der Straße ermöglicht wird. For instance, referring to 12A, processing unit 110 may use the detected lateral motion of target vehicle 802 relative to lane mark 1204B to determine whether target vehicle 802 will stay in the lane in which host vehicle 802 is traveling or will exit road 1202. Wenn beispielsweise das Zielfahrzeug 802 während seiner Fahrt weiterhin parallel zur Spurmarkierung 1204B fährt, ist es wahrscheinlicher, dass das Zielfahrzeug 802 auf der Spur bleibt, auf der das Host-Fahrzeug 200 unterwegs ist, und das Host-Fahrzeug 200 kann einen sicheren Abstand einhalten und nicht beschleunigen. Wenn der seitliche Abstand hingegen eine leichte Bewegung des Zielfahrzeugs weg von der Spurmarkierung 1204B (oder z. B. hin zur Straßenmarkierung 1204C) anzeigt, kann das Host-Fahrzeug 200 davon ausgehen, dass das Zielfahrzeug 802 die Straße 1202 verlässt, und das Host-Fahrzeug 802 kann beschleunigen oder seine Geschwindigkeit weiter beibehalten.
In einigen Ausführungsformen kann die Navigationsaktion auch von einer vorhergesagten Trajektorie des Zielfahrzeugs abhängen. Als Beispiel, bezogen auf 12A, wenn die vorhergesagte Trajektorie anzeigt, dass das Zielfahrzeug 802 die Straße 1202 verlassen wird, kann das Host-Fahrzeug 200 beschleunigen, um den Abstand zwischen dem Host-Fahrzeug 200 und dem Zielfahrzeug 800 zu verringern und/oder das Zielfahrzeug 802 links zu überholen. Als weiteres Beispiel, wenn die vorhergesagte Trajektorie anzeigt, dass das Zielfahrzeug 802 auf der Straße 1202 bleiben wird, kann das Host-Fahrzeug 200 abbremsen, um einen sicheren Abstand zwischen dem Host-Fahrzeug 200 und dem Zielfahrzeug 802 einzuhalten.
In einigen Ausführungsformen kann die bestimmte Navigationsaktion für das Host-Fahrzeug die seitliche Steuerung des Host-Fahrzeugs umfassen. Zum Beispiel, wie in 12A gezeigt, teilt sich die Straße 1202, um eine Ausfahrtspur zu bilden, und das Host-Fahrzeug 200 kann auf der Straße 1202 bleiben, um sein beabsichtigtes Ziel zu erreichen, anstatt die Ausfahrtspur zu verwenden, um die Straße 1202 zu verlassen. Dementsprechend kann die Verarbeitungseinheit 110 die Fahrspurmarkierung 1204A identifizieren (z. B. über die Analyse eines oder mehrerer Bilder, die von einem oder mehreren Bildaufnahmegeräten aufgenommen wurden), bei der es sich um eine „Host-Links“-Fahrspurmarkierung handelt, die einen linken Rand der „Host-Spur“ abgrenzt, und bestimmen, dass das Host-Fahrzeug die seitliche Kontrolle beibehalten sollte, während es die Ausfahrtsspur passiert. Insbesondere kann die von der Verarbeitungseinheit 110 bestimmte Navigationsaktion umfassen, das Host-Fahrzeug 200 in einem konstanten seitlichen Abstand zur Spurmarkierung 1204A zu halten, um auf der Straße 1202 zu bleiben. Wenn das Host-Fahrzeug 200 die Ausfahrtspur benutzt, um die Straße 1202 zu verlassen, um sein beabsichtigtes Ziel zu erreichen, kann die Verarbeitungseinheit 110 alternativ die Fahrspurmarkierung 1204D identifizieren (z. B. durch Analyse eines oder mehrerer Bilder, die von einer oder mehreren Bildaufnahmevorrichtungen aufgenommen wurden), bei der es sich um eine „fast rechte“ Fahrspurmarkierung handelt, die den rechten Rand der Ausfahrtspur abgrenzt, und bestimmen, dass das Host-Fahrzeug beim Verlassen der Straße 1202 die seitliche Kontrolle behalten sollte. Insbesondere kann die von der Verarbeitungseinheit 110 bestimmte Navigationsaktion umfassen, das Host-Fahrzeug 200 in einem konstanten seitlichen Abstand zur Spurmarkierung 1204D zu halten, um die Straße 1202 zu verlassen.
Alternativ oder zusätzlich kann die bestimmte Navigationsaktion für das Host-Fahrzeug die Lenkung des Host-Fahrzeugs entlang einer Straßenkrümmung umfassen. Wenn sich beispielsweise, wie in 12A gezeigt, die Straße 1202 teilt, um eine Ausfahrtsspur zu bilden, und das Host-Fahrzeug 200 auf der Straße 1202 bleiben soll, kann die Verarbeitungseinheit 110 die Spurmarkierung 1204A identifizieren, bei der es sich um eine „Host-Links“-Spurmarkierung handelt, die eine linke Kante der „Host-Spur“ markiert, um eine Krümmung der Straße 1202 abzuschätzen, während sie die Verwendung der Spurmarkierung 1204D ignoriert, bei der es sich um eine „Fast-Rechts“-Spurmarkierung handelt, die eine rechte Kante der Ausfahrtsspur markiert.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 zusätzlich zum Bestimmen einer Navigationsaktion für das Host-Fahrzeug oder als Teil der Bestimmung einer Navigationsaktion für das Host-Fahrzeug eine Navigationsaktion des Zielfahrzeugs vorhersagen. Zum Beispiel kann die Verarbeitungseinheit 110 basierend auf dem Typ der Spur, auf der sich das Zielfahrzeug bewegt, die Navigationsaktion des Zielfahrzeugs vorhersagen. Wenn das Zielfahrzeug auf einer geteilten Spur unterwegs ist, kann die Verarbeitungseinheit 110 vorhersagen, dass das Zielfahrzeug die Straße verlassen wird.
Zum Beispiel, bezogen auf 12A, kann die Verarbeitungseinheit 110 eine Position des Zielfahrzeugs 802 relativ zur Spurmarkierung 1204C, die eine geteilte Spurmarkierung ist, identifizieren, um zu bestimmen, ob das Zielfahrzeug 802 die Straße 1202 verlassen wird. Wenn zum Beispiel der seitliche Abstand zwischen dem Zielfahrzeug 802 und der Spurmarkierung 1204C konstant ist oder abnimmt, kann die Verarbeitungseinheit 110 bestimmen, dass das Zielfahrzeug 802 die Straße 1202 verlässt. Wenn die Verarbeitungseinheit 110 hingegen feststellt, dass sich der seitliche Abstand zwischen dem Zielfahrzeug 802 und der Spurmarkierung 1204C vergrößert, kann die Verarbeitungseinheit 110 bestimmen, dass das Zielfahrzeug 802 die Straße 1202 nicht verlassen wird. Auf diese Art und Weise kann die Verarbeitungseinheit 110 bestimmen, ob das Zielfahrzeug 802 die Spur der Ausfahrt verfolgt und dementsprechend, ob das Zielfahrzeug 802 die Straße 1202 verlässt, noch bevor das Zielfahrzeug 802 die Spurmarkierung 1204B in die Ausfahrtsspur überquert. In einigen Ausführungsformen kann die Navigationsaktion des Zielfahrzeugs basierend auf der vorhergesagten Trajektorie bestimmt werden. Wenn zum Beispiel vorhergesagt wird, dass das Zielfahrzeug 802 die Straße 1202 verlassen wird, kann das Host-Fahrzeug 200 beschleunigen oder seine Geschwindigkeit beibehalten.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 zusätzlich zur Identifizierung der Spurmarkierungen 1204A-1204D eine Kennzeichnung der Spurmarkierungen 1204A-1204D vornehmen. Die ermittelte(n) Spurmarkierung(en) kann (können) einen Typ der Spur bestimmen, auf der das Zielfahrzeug und das Host-Fahrzeug unterwegs sind. In einigen Ausführungsformen kann die bestimmte(n) Kennzeichnung(en) der Spurmarkierung den Typ der Spur als Spurzusammenführungsspur bestimmen, wie beispielsweise eine „Spurzusammenführung“, eine „Spurzusammenführung zu“ oder eine „Spurzusammenführung von“, wie oben in Verbindung mit 8A beschrieben. Alternativ kann in einigen Ausführungsformen die ermittelte(n) Kennzeichnung(en) der Spurmarkierung(en) den Typ der Spur als geteilte Spur bestimmen, wie beispielsweise eine „geteilte“ geteilte Spur, eine „offene“ geteilte Spur oder eine „erweiterte“ geteilte Spur, wie oben in Verbindung mit 8B beschrieben. Die Erzeugung der Kennzeichnungen kann umfassen, dass das Bild bzw. die Bilder einem neuronalen Netzwerk zugeführt werden, wie oben in Verbindung mit 9 beschrieben. Darüber hinaus kann das gekennzeichnete Bild jede der oben in Verbindung mit 9 beschriebenen Formen annehmen.
Beispielkennzeichnungen für Spurmarkierungen sind in 12B dargestellt. Wie dargestellt, kann die Verarbeitungseinheit 110 Markierungen in einem ersten Bild 1206 identifizieren und kennzeichnen. Die Spurmarkierung 1204A kann beispielsweise als Spurmarkierung „Host links“ (gekennzeichnet mit „HL“) markiert werden, die die linke Seite einer „Host“-Spur angibt, auf der das Host-Fahrzeug 200 unterwegs ist. Die Spurmarkierung 1204B kann als Spurmarkierung „Host rechts“ (mit „HR“ gekennzeichnet) markiert werden, die die rechte Seite einer „Host“-Spur angibt, auf der das Host-Fahrzeug 200 unterwegs ist.
Wie in 12B gezeigt, kann die Verarbeitungseinheit 110 zusätzlich Spurmarkierungen in einem zweiten Bild 1208 identifizieren und kennzeichnen. Wie dargestellt, können die Spurmarkierungen 1204A, 1204B und 1204D im zweiten Bild 1208 markiert werden. Die Verarbeitungseinheit 110 kann die Spurmarkierung 1204A erneut mit einer Spurmarkierung „Host links“ und die Spurmarkierung 1204B erneut mit einer Spurmarkierung „Host rechts“ markieren. Die Spurmarkierung 1204D, die auf dem ersten Bild 1206 nicht zu sehen war, kann auf dem zweiten Bild 1208 als Spurmarkierung „rechts daneben“ gekennzeichnet werden, die die rechte Seite der Spur rechts von der Spur angibt, auf der das Host-Fahrzeug 200 unterwegs ist.
Obwohl 12B ein Zielfahrzeug 802 zeigt, ist es zu verstehen, dass in einigen Ausführungsformen die Kennzeichnungen der Spurmarkierungen verwendet werden können, um eine Navigationsaktion für das Host-Fahrzeug 200 zu bestimmen, auch wenn kein Zielfahrzeug vorhanden ist. Zum Beispiel kann in einigen Ausführungsformen ein neuronales Netzwerk, in das, wie oben beschrieben, gekennzeichnete Bilder eingespeist werden, so konfiguriert werden, dass es basierend auf gekennzeichneten Spurmarkierungen eine Spurtrennung erkennt, wie in 12B gezeigt, und das Host-Fahrzeug 200 kann eine Navigationsmaßnahme ergreifen, um die Spurtrennung zu berücksichtigen.
Wie oben beschrieben, kann die ermittelte Spurmarkierung einen Typ der Spur bestimmen, auf der das Zielfahrzeug und das Host-Fahrzeug unterwegs sind. Dementsprechend kann die Verarbeitungseinheit 110 basierend auf den identifizierten Spurmarkierungen und/oder Kennzeichnungen den Typ der Spur bestimmen, auf der das Zielfahrzeug unterwegs ist.
In einigen Ausführungsformen kann das Bestimmen des Typs der Spur, auf der das Zielfahrzeug unterwegs ist, das Bestimmen einer Änderung des seitlichen Abstands zwischen mindestens zwei der markierten Spurmarkierungen umfassen. Wenn sich beispielsweise der seitliche Abstand zwischen den mindestens zwei markierten Spurmarkierungen vergrößert, kann die Verarbeitungseinheit 110 bestimmen, dass es sich bei der Spur, auf der das Zielfahrzeug unterwegs ist, um eine geteilte Spur handelt. Zum Beispiel, bezogen auf 12B, können die mindestens zwei identifizierten Spurmarkierungen die Spurmarkierungen 1204B und 1204D sein. Die Verarbeitungseinheit 110 kann eine Änderung des seitlichen Abstands zwischen den Spurmarkierungen 1204B und 1204D bestimmen, um den Typ der Spur zu bestimmen, auf der das Zielfahrzeug 802 unterwegs ist. Wie gezeigt, wird der seitliche Abstand zwischen den Spurmarkierungen 1204B und 1204D größer. Das heißt, in einem näheren Abstand zum Host-Fahrzeug 200 ist der seitliche Abstand zwischen den Spurmarkierungen 1204B und 1204D geringer als der seitliche Abstand zwischen den Spurmarkierungen 1204B und 1204D in einem weiteren Abstand zum Host-Fahrzeug 200. Dementsprechend kann die Verarbeitungseinheit 110 bestimmen, dass das Zielfahrzeug 802 auf einer geteilten Spur unterwegs ist. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 einen bestimmten Typ von Spur anhand von Kartendaten (z. B. aus der Kartendatenbank 160) verifizieren.
Alternativ oder zusätzlich kann in einigen Ausführungsformen die Bestimmung des Typs der Spur, auf der das Zielfahrzeug fährt, die Bestimmung einer Änderung der Kennzeichnungen der Spurmarkierungen zwischen Bildern oder zwischen Spurmarkierungen in einem bestimmten Bild umfassen. Eine solche Bestimmung kann es der Verarbeitungseinheit 110 ermöglichen, ferner zu bestimmen, welcher Typ von Spurzusammenführung (z. B. „Zusammenführung“, „Zusammenführung zu“ oder „Zusammenführung von“) oder welcher Typ von Spurtrennung (z. B. „Spurtrennung“, „Spurtrennung offen“ oder „Spurerweiterung“) auf der Straße 1202 vorkommt. Zum Beispiel, bezogen auf 12B, kann die Verarbeitungseinheit 110 bestimmen, dass das erste Bild 12066 eine Spurmarkierung „Host links“ (gekennzeichnet mit „HL“) und eine Spurmarkierung „Host rechts“ (gekennzeichnet mit „HR“) einschließt, wie oben beschrieben. Die Verarbeitungseinheit 110 kann ferner bestimmen, dass ein zweites Bild 1208 immer noch eine Spurmarkierung „Host links“ (Kennzeichnung „HL“) und eine Spurmarkierung „Host rechts“ (Kennzeichnung „HR“) einschließt, aber auch eine Spurmarkierung „Nächste rechts“ (Kennzeichnung „NRR“). Basierend auf diesen Spurmarkierungen kann die Verarbeitungseinheit 110 bestimmen, dass die „nächste rechte“ Spur, die zum Teil durch die Spurmarkierung „nächste rechte Spur“ im zweiten Bild 1206 gekennzeichnet ist, sich von der „Host“-Spur, auf der das Host-Fahrzeug 200 fährt, erweitert. Dementsprechend kann die Verarbeitungseinheit 110 bestimmen, dass das geteerte Fahrzeug 802 auf einer geteilten Spur mit „Spurerweiterung“ unterwegs ist. Da sich die „Spurerweiterung“ auf der rechten Seite der Straße 1202 befindet, kann die Verarbeitungseinheit 110 bestimmen, dass es sich bei der „nächsten rechten“ Spur, auf der das Zielfahrzeug 802 fährt, um eine Ausfahrtspur handelt, was bedeutet, dass das Host-Fahrzeug 200 sich darauf vorbereiten kann, dass das Zielfahrzeug 802 die Straße 1202 verlässt.
13 ein Flussdiagramm, das einen weiteren beispielhaften Prozess 1300 zur Bestimmung einer oder mehrerer Navigationsmaßnahmen basierend auf einer Analyse des Spurwechsels in Übereinstimmung mit den offenbarten Ausführungsformen zeigt. Der Prozess 1300 kann zum Beispiel von der oben beschriebenen Verarbeitungseinheit 110 durchgeführt werden. Zur Veranschaulichung wird der Prozess 1300 unter Bezugnahme auf 14A-14C beschrieben, die Veranschaulichungen einer beispielhaften Spurwechselanalyse für eine Spurzusammenführung in Übereinstimmung mit den offenbaren Ausführungsformen sind, und unter Bezugnahme auf 15A-15C, die Veranschaulichungen einer beispielhaften Spurwechselanalyse für eine Spurtrennung in Übereinstimmung mit den offenbaren Ausführungsformen sind. In der folgenden Diskussion wird das autonome Fahrzeug als Host-Fahrzeug (z. B. Fahrzeug 200) bezeichnet und kann eine oder mehrere Komponenten des Systems 100 umfassen, wie oben in Verbindung mit 1 beschrieben.
Wie dargestellt, beginnt der Prozess 1300 in Schritt 1302 mit dem Empfangen einer Vielzahl von Bildern von einer Bildaufnahmevorrichtung, die eine Umgebung des Host-Fahrzeugs darstellen. Die Umgebung schließt eine Straße ein, auf der das Host-Fahrzeug unterwegs ist. Die Bildaufnahmevorrichtung 122 und die Bilder können jede der Formen annehmen, die oben für die Bildaufnahmevorrichtung 122 bzw. die Bilder in Verbindung mit 19 beschrieben wurden.
Ein Beispielbild 1400, das von einer Bildaufnahmevorrichtung 122 aufgenommen wurde und eine Straße 1402 mit einer Spurzusammenführung darstellt, wird in 14A gezeigt. Wie in 14A gezeigt, kann das Bild 1400 eine Umgebung des Host-Fahrzeugs 200 darstellen. Beispielsweise kann das Bild 1400 Darstellungen einer Straße 1402, auf der das Host-Fahrzeug 200 unterwegs ist, und der Spurmarkierungen 1404A-1404E auf der Straße 1402 umfassen. Die Straße 1402 und die Spurmarkierungen 1404A-1404E können jede der Formen annehmen, die oben für die Straße 1002 und die Spurmarkierungen 1004A-1004D in Verbindung mit 10 beschrieben wurden.
Ein weiteres Beispielbild 1500, das von einer Bildaufnahmevorrichtung 122 aufgenommen wurde und eine Straße 1502 mit einer Spurtrennung darstellt, wird in 15A gezeigt. Wie in 15A gezeigt, kann das Bild 1500 eine Umgebung des Host-Fahrzeugs 200 darstellen. Das Bild 1500 kann zum Beispiel Darstellungen einer Straße 1502, auf der das Host-Fahrzeug 200 unterwegs ist, und von Spurmarkierungen 1504A-1504E umfassen. Die Straße 1502 und die Spurmarkierungen 1504A-1504E können jede der Formen annehmen, die oben für die Straße 1002 und die Spurmarkierungen 1004A-1004D in Verbindung mit 10 beschrieben wurden.
Um zu 13 zurückzukehren, kann die Verarbeitungseinheit 110 in Schritt 1304 mindestens eines der mehreren Bilder analysieren, um ein Zielfahrzeug zu identifizieren. Wie bereits erwähnt, kann sich das Zielfahrzeug auf der gleichen Spur befinden wie das Host-Fahrzeug oder auf einer anderen Spur als das Host-Fahrzeug. Zum Beispiel kann, wie in 14A gezeigt, in einigen Ausführungsformen das Zielfahrzeug 802 vor dem Host-Fahrzeug 200 auf einer anderen Spur fahren als die Spur, auf der das Host-Fahrzeug 200 fährt, wenn das Host-Fahrzeug 200 und das Zielfahrzeug 802 sich der Spurzusammenführung nähern. Als weiteres Beispiel, wie in 15A gezeigt, kann in einigen Ausführungsformen das Zielfahrzeug 802 vor dem Host-Fahrzeug 200 auf der gleichen Spur fahren wie das Host-Fahrzeug 200, wenn sich das Host-Fahrzeug 200 und das Zielfahrzeug 802 der Spurtrennung nähern. Die Verarbeitungseinheit 110 kann eines oder mehrere der aufgenommenen Bilder analysieren, um das Zielfahrzeug 802 zu identifizieren, indem sie zum Beispiel das Modul 402 zur monokularen Bildanalyse und/oder das Modul 404 zur Stereobildanalyse verwendet, die oben in Verbindung mit 4 beschrieben wurden.
In Schritt 1306 kann die Verarbeitungseinheit 110 mindestens eines der Vielzahl von Bildern analysieren, um eine Vielzahl von Spurmarkierungen zu identifizieren, die der Spur zugeordnet sind, auf der das Zielfahrzeug unterwegs ist. Zum Beispiel kann die Verarbeitungseinheit, wie in 14A gezeigt, das Bild 1400 analysieren, um eine oder mehrere Spurmarkierungen 1404A-1404E zu identifizieren. Die Verarbeitungseinheit 110 kann das Bild 1400 analysieren, um die Spurmarkierungen 1404A-1404E zu identifizieren, indem sie beispielsweise das monokulare Bildanalysemodul 402 und/oder das Stereobildanalysemodul 404 verwendet, die oben in Verbindung mit 4 beschrieben wurden, und/oder in jeder anderen oben beschriebenen Weise. Als weiteres Beispiel, wie in 15A gezeigt, kann die Verarbeitungseinheit das Bild 1500 analysieren, um eine oder mehrere Spurmarkierungen 1504A-1504E zu identifizieren. Die Verarbeitungseinheit 110 kann das Bild 1500 analysieren, um die Spurmarkierungen 1504A-1504E zu identifizieren, indem sie beispielsweise das monokulare Bildanalysemodul 402 und/oder das Stereobildanalysemodul 404 verwendet, die oben in Verbindung mit 4 beschrieben wurden, und/oder in jeder anderen oben beschriebenen Weise.
Um zu 13 zurückzukehren, kann die Verarbeitungseinheit 110 in Schritt 1308 eine Kennzeichnung der Spurmarkierung für mindestens eine der identifizierten Spurmarkierungen bestimmen. In einigen Ausführungsformen kann das Bestimmen der Kennzeichnungen bedeuten, dass das Bild bzw. die Bilder einem neuronalen Netzwerk zugeführt werden, wie beispielsweise den oben in Verbindung mit 4 beschriebenen neuronalen Netzwerken und/oder einem neuronalen Faltennetzwerk. Das neuronale Netzwerk kann mit Hilfe von Kennzeichnungen und/oder Identifikatoren für Spurmarkierungen trainiert werden, die einem oder mehreren Bildern zugeordnet sind. Beschriftete Daten oder Bilder, denen Kennzeichnungen und/oder Identifikatoren für Spurmarkierungen zugeordnet sind, können vom neuronalen Netzwerk aus einer Vielzahl von Ressourcen empfangen werden, z.B. aus einer oder mehreren Datenbanken. Die eine oder mehrere Datenbanken können sich lokal (z. B. im System 100 eingeschlossen) und/oder entfernt (z. B. über ein Netzwerk wie ein zellulares Netzwerk und/oder das Internet usw.) befinden und z. B. über einen drahtlosen Transceiver 172 des Systems 100 empfangen werden. Die Kennzeichnung der gespeicherten Bilder erfolgt z. B. durch das Speichern einer Kennzeichnung (z. B. einer Spurzusammenführung oder einer Spurtrennung), die einer identifizierten Spurmarkierung zugeordnet ist. In einigen Ausführungsformen kann nicht jede identifizierte Spurmarkierung gekennzeichnet werden. Vielmehr kann die Kennzeichnung auf diejenigen Spurmarkierungen beschränkt werden, die für das Erkennen eines Spurwechsels und das Bestimmen eines Typs der Spur relevant sind, wie unten beschrieben. Schließlich könnte das neuronale Netzwerk in der Lage sein, die Spurmarkierungen automatisch zu identifizieren und zu kennzeichnen.
Ein Beispiel für ein gekennzeichnetes Bild 1406, das beispielsweise von einem neuronalen Netzwerk verwendet werden kann, ist in 14B dargestellt. Wie gezeigt, schließt das gekennzeichnete Bild 1406 eine Darstellung der Straße 1402 mit der Spurzusammenführung ein, und die Spurmarkierungen 1404A - 1404E wurden gekennzeichnet, wie die unterschiedlichen Linienmuster zeigen. Zum Beispiel können die gestrichelten Linien auf den Spurmarkierungen 1404A, 1404B und 1404E „normale“ Spurmarkierungen anzeigen, die nicht Teil der Spurzusammenführung sind, die kleine gestrichelte Linie auf der Spurmarkierung 1404C kann den inneren Abschnitt einer Spurzusammenführung markieren, und die durchgezogene Linie auf der Spurmarkierung 1404D kann den äußeren Abschnitt einer Spurzusammenführung anzeigen. Ein weiteres Beispiel für eine Kennzeichnung des Bildes 1506, das von einem neuronalen Netzwerk verwendet werden kann, ist in 15B dargestellt. Wie gezeigt, schließt das beschriftete Bild 1506 eine Darstellung der Straße 1502 mit der Spurtrennung ein, und die Spurmarkierungen 1504A-1504E wurden beschriftet, wie die unterschiedlichen Linienmuster zeigen. Zum Beispiel können die gestrichelten Linien auf den Spurmarkierungen 1504A, 1504B und 1504C „normale“ Spurmarkierungen markieren, die nicht Teil der Spurtrennung sind, die kleine gestrichelte Linie auf der Spurmarkierung 1504D kann den inneren Abschnitt einer geteilten Spur markieren, und die durchgezogene Linie auf der Spurmarkierung 1504E kann den äußeren Abschnitt einer geteilten Spur markieren. Während 14B und 15B die Kennzeichnungen in Form von unterschiedlichen Linienmustern darstellen, können die Kennzeichnungen in einigen Ausführungsformen alternativ oder zusätzlich die Form von Farbgebung, alphabetischer und/oder numerischer Markierung oder anderen Indikatoren annehmen, die den markierten Spurmarkierungen zugeordnet sind. Das neuronale Netzwerk kann zum Beispiel durch maschinelles Lernen das markierte Bild 1406 und/oder 1506 verwenden, um die Spurmarkierung zu verbessern.
In einigen Ausführungsformen können Spurmarkierungen mit einer Kennzeichnung versehen werden, die die Beziehung der Spurmarkierung zum Host-Fahrzeug 200 angibt. Zum Beispiel kann in 14C und dem beschrifteten Bild 1410 die Spurmarkierung 1404B als „Host links“ („HL“, wie gezeigt) gekennzeichnet werden, die die linke Seite einer „Host“-Spur angibt, auf der das Host-Fahrzeug 200 fährt, und die Spurmarkierung 1404C kann als „Host rechts“ („HR“, wie gezeigt) gekennzeichnet werden, die die rechte Seite der „Host-Spur“ angibt. Zusätzlich kann die Spurmarkierung 1404A, wie gezeigt, als Spurmarkierung „Nächste linke Spur“ („NLL“, wie gezeigt) gekennzeichnet sein, die die linke Seite einer „nächsten linken Spur“ unmittelbar links von der „Host-Spur“ angibt. Die Spurmarkierung 1404B kann zusätzlich zu einer Spurmarkierung „Host links“ als Spurmarkierung „Nächste linke Spur rechts“ („NLR“, wie gezeigt) markiert werden, die die rechte Seite der „nächsten linken“ Spur unmittelbar links von der „Host“-Spur angibt. Die Spurmarkierung 1404E kann als Spurmarkierung für die „nächste rechte Spur“ („NRR“, wie gezeigt) gekennzeichnet sein, die die rechte Seite der „nächsten rechten Spur“ unmittelbar rechts von der „Host“-Spur angibt. Die Spurmarkierungen 1404C und 1404D, die die Spurzusammenführung bilden, können, wie gezeigt, als „innere“ und „äußere“ Spurmarkierungen gekennzeichnet werden: Spurmarkierung 1404C kann als „innere Spurmarkierung“ („ILM“, wie gezeigt) und Spurmarkierung 1404D als „äußere Spurmarkierung“ („OLM“, wie gezeigt) gekennzeichnet werden.
Als weiteres Beispiel, das sich auf 15C und das beschriftete Bild 1510 bezieht, kann die Spurmarkierung 1504B als Spurmarkierung „Host links“ („HL“, wie gezeigt) gekennzeichnet werden, die die linke Seite einer „Host“-Spur angibt, auf der das Host-Fahrzeug 200 fährt, und die Spurmarkierung 1504C kann als Spurmarkierung „Host rechts“ („HR“, wie gezeigt) gekennzeichnet werden, die die rechte Seite der „Host-Spur“ angibt. Zusätzlich kann die Spurmarkierung 1504A, wie gezeigt, als Spurmarkierung „Nächste linke Spur“ („NLL“, wie gezeigt) gekennzeichnet sein, die die linke Seite einer „nächsten linken Spur“ unmittelbar links von der „Host-Spur“ angibt. Die Spurmarkierung 1504B kann zusätzlich zu einer Spurmarkierung „Host links“ als Spurmarkierung „Nächste linke Spur rechts“ („NLR“, wie gezeigt) markiert werden, die die rechte Seite der „nächsten linken“ Spur unmittelbar links von der „Host“-Spur angibt. Die Spurmarkierungen 1504D und 1504E, die, wie gezeigt, die Spurtrennung bilden, können als „innere“ und „äußere“ Spurmarkierungen gekennzeichnet werden: Spurmarkierung 1504D kann als „innere Spurmarkierung“ („ILS“, wie gezeigt) und Spurmarkierung 1504E als „äußere Spurmarkierung“ („OLS“, wie gezeigt) gekennzeichnet werden.
In einigen Ausführungsformen können die Kennzeichnungen für Spurmarkierungen in einer Datenbank gespeichert werden (z. B. in einer relationalen Datenbank). Beispielsweise können Identifikatoren von Spurmarkierungen (z. B. Identifikatoren, die Spurmarkierungskennzeichnungen und/oder Spurmarkierungstypen entsprechen) in der Datenbank in Verbindung mit Identifikatoren von Spurmarkierungen und/oder Spurmarkierungsstellen (z. B. geografische Koordinaten) gespeichert werden. In einigen Ausführungsformen kann die Datenbank mit den Identifikatoren der Spurmarkierungen und/oder den Stellen der Spurmarkierungen beispielsweise in einem Speicher (z. B. Speicher 150) des Systems 100 und/oder in einem Speicher eines entfernten Servers eingeschlossen sein, auf den die Verarbeitungseinheit 110 des Systems 100 über ein Netzwerk zugreifen kann.
Um zu 13 zurückzukehren, kann die Verarbeitungseinheit 110 in Schritt 1310 eine vorausgesagte Trajektorie des Zielfahrzeugs bestimmen. Zum Beispiel kann die Verarbeitungseinheit 110 basierend auf der Analyse von Daten eines oder mehrerer Sensoren und/oder Geräte des Host-Fahrzeugs (z. B. eines Bildsensors, Lidars, Radars, eines GPS-Geräts, eines Geschwindigkeitssensors, eines Beschleunigungssensors, eines Aufhängungssensors, eines akustischen Sensors usw.) eine vorhergesagte Flugbahn des Zielfahrzeugs bestimmen.
In einigen Ausführungsformen kann die Verarbeitungseinheit 110 die vorhergesagte Flugbahn des Zielfahrzeugs basierend auf der Analyse von mindestens zwei aus der Vielzahl von Bildern bestimmen, die von mindestens einer Bildaufnahmevorrichtung des Host-Fahrzeugs aufgenommen wurden. Die Analyse der Bilder kann zum Beispiel eine der oben beschriebenen Formen annehmen, zum Beispiel in Schritt 1304. In einigen Prozessen kann die Verarbeitungseinheit 110 die vorhergesagte Trajektorie des Zielfahrzeugs basierend auf zum Beispiel der Spurmarkierung(en) der Spur bestimmen, auf der das Zielfahrzeug unterwegs ist. Bezugnehmend auf 14C kann die Verarbeitungseinheit 110 beispielsweise bestimmen, dass die Markierungen 1404C und 1404D mit „innere Spurzusammenführung“ bzw. „äußere Spurzusammenführung“ gekennzeichnet sind, was darauf hinweist, dass das Zielfahrzeug 802 auf einer Spur fährt, die mit der Spur zusammengeführt wird, auf der das Host-Fahrzeug 200 vor dem Host-Fahrzeug 200 fährt. Dementsprechend kann die Verarbeitungseinheit 110 bestimmen, dass die vorhergesagte Trajektorie des Zielfahrzeugs 802 auf die Spur übergeht, auf der sich das Host-Fahrzeug 200 befindet. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 durch die Vorhersage der Trajektorie des Zielfahrzeugs 802 unter Verwendung von Spurmarkierungen bestimmen, ob das Zielfahrzeug 802 in die Spur zusammengeführt wird, in der das Host-Fahrzeug 200 fährt, noch bevor das Zielfahrzeug 802 die Spurmarkierung 1404C in die Spur überquert. Als weiteres Beispiel, bezogen auf 15C, kann die Verarbeitungseinheit 110 bestimmen, dass die Markierungen 1504D und 1504E mit „innere Spurtrennung“ bzw. „äußere Spurtrennung“ beschriftet sind, was bedeutet, dass das Zielfahrzeug 802 auf einer Spur fährt, die sich vor dem Host-Fahrzeug 200 teilt, um eine Ausfahrtsspur zu bilden. Dementsprechend kann die Verarbeitungseinheit 110 bestimmen, dass die vorhergesagte Trajektorie des Zielfahrzeugs 802 darin besteht, die Spur, auf der das Host-Fahrzeug 200 fährt, zu verlassen und auf die Ausfahrtspur zu wechseln. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 durch Vorhersage der Trajektorie des Zielfahrzeugs 802 unter Verwendung von Spurmarkierungen bestimmen, ob das Zielfahrzeug 802 die Ausfahrtsspur verlässt, noch bevor das Zielfahrzeug 802 die Spurmarkierung 1504D auf der Ausfahrtsspur überquert.
Alternativ oder zusätzlich kann die Verarbeitungseinheit 110, um eine vorhergesagte Trajektorie des Zielfahrzeugs 802 zu ermitteln, eine Position des Zielfahrzeugs 802 relativ zu einer oder mehreren Spurmarkierungen positionieren. Unter Bezugnahme auf 14C kann die Verarbeitungseinheit 110 beispielsweise bestimmen, dass das Zielfahrzeug 802 auf die Spur zusammengeführt wird, auf der sich das Host-Fahrzeug 200 befindet, wenn der seitliche Abstand zwischen dem Zielfahrzeug 802 und der Spurmarkierung 1404E konstant ist oder sich vergrößert. Auf diese Weise kann bestimmt werden, ob das Zielfahrzeug 802 die Verfolgung der Spurzusammenführung aufnimmt und dementsprechend, ob das Zielfahrzeug 802 in die Spur einfährt, in der das Host-Fahrzeug 200 unterwegs ist, noch bevor das Zielfahrzeug 802 die Spurmarkierung 1404C auf der Bahn überquert.
Als weiteres Beispiel, bezogen auf 15C, kann die Verarbeitungseinheit 110 bestimmen, dass das Zielfahrzeug 802 die Straße 1502 verlässt, indem es sich in die neu gebildete Straßenmarkierung teilt, wenn der seitliche Abstand zwischen dem Zielfahrzeug 802 und der Spurmarkierung 1504E konstant ist oder abnimmt. Auf diese Weise kann bestimmt werden, ob das Zielfahrzeug 802 die Spur der Ausfahrt verfolgt und ob das Zielfahrzeug 802 die Straße 1502 verlässt, noch bevor das Zielfahrzeug 802 die Spurmarkierung 1504D auf der Ausfahrtsspur überquert.
Um zu 13 zurückzukehren, kann die Verarbeitungseinheit 110 in Schritt 1312 eine Navigationsaktion für das Host-Fahrzeug bestimmen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 basierend auf der ermittelten Kennzeichnung der Spurmarkierung oder der vorhergesagten Trajektorie des Zielfahrzeugs die Navigationsaktion für das Host-Fahrzeug bestimmen. In einigen Ausführungsformen kann die Verarbeitungseinheit 110 basierend auf der bestimmten Kennzeichnung der Spurmarkierung und der vorhergesagten Trajektorie des Zielfahrzeugs die Navigationsaktion für das Host-Fahrzeug bestimmen.
Zum Beispiel, bezogen auf 14C, wenn die Kennzeichnungen 1404C und 1404D der Spurmarkierung anzeigen, dass das Zielfahrzeug 802 auf einer Einmündungsspur fährt und/oder die vorhergesagte Trajektorie darauf hindeutet, dass das Zielfahrzeug 802 in die Spur einmündet, auf der das Host-Fahrzeug 200 fährt, kann das Host-Fahrzeug 200 abbremsen, um einen sicheren Abstand zwischen dem Host-Fahrzeug 200 und dem Zielfahrzeug 802 einzuhalten. Als weiteres Beispiel, bezogen auf 15C, kann das Host-Fahrzeug 200 beschleunigen, um den Abstand zwischen dem Host-Fahrzeug 200 und dem Zielfahrzeug 802 zu verringern und/oder das Zielfahrzeug 802 links zu überholen, wenn die Spurmarkierungen 1504D und 1404E anzeigen, dass das Zielfahrzeug 802 auf der Ausfahrtspur fährt und/oder die vorhergesagte Trajektorie anzeigt, dass das Zielfahrzeug 802 die Straße 1502 verlassen wird.
Die vorstehende Beschreibung wurde zum Zwecke der Veranschaulichung vorgelegt. Sie ist nicht erschöpfend und beschränkt sich nicht auf die genauen offenbarten Formen oder Ausführungsformen. Modifikationen und Anpassungen werden für den Fachmann aus der Betrachtung der Spezifikation und der Praxis der offenbarten Ausführungsformen ersichtlich sein. Obwohl Aspekte der offenbarten Ausführungsformen als in einem Speicher gespeichert beschrieben werden, wird ein Fachmann erkennen, dass diese Aspekte auch auf anderen Typen von computerlesbaren Medien gespeichert werden können, wie zum Beispiel auf sekundären Speichern, z. B. Festplatten oder CD-ROM, oder anderen Formen von RAM oder ROM, USB-Medien, DVD, Blu-ray, 4K Ultra HD Blu-ray, oder anderen optischen Laufwerken.
Computerprogramme, die auf der schriftlichen Beschreibung und den offenbarten Verfahren basieren, sind für einen erfahrenen Entwickler leicht zu bedienen. Die verschiedenen Programme oder Programmmodule können mit Hilfe von Techniken erstellt werden, die dem Fachgebiet bekannt sind, oder in Verbindung mit vorhandener Software entworfen werden. Zum Beispiel können Programmabschnitte oder Programmmodule in oder mit Hilfe von .Net Framework, .Net Compact Framework (und verwandten Sprachen wie Visual Basic, C usw.), Java, C++, Objective-C, HTML, HTML/AJAX-Kombinationen, XML oder HTML mit eingeschlossenen Java-Applets entworfen werden.
Auch wenn hierin veranschaulichende Ausführungsformen beschrieben wurden, wird der Umfang der beanspruchten Erfindung durch die folgenden Ansprüche angegeben.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP-A1- 2 455 266 [0000]
US-A1- 2005 015 203 [0000]
US-A1- 2014 236 414 [0000]
US 2014/0236414 A1 [0005]
US 2005/0015203 A1 [0005]
US 7.151.996 [0146]

Zitierte Nicht-Patentliteratur

ARMINGOL ET AL: „IVVI: Intelligent vehicle based on visual information“, ROBOTICS AND AUTONOMOUS SYSTEMS, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 55, no. 12, 5 November 2007 (2007-11-05), Seiten 904-916, XP022328739, ISSN: 0921-8890, DOI: 10.1016/J.ROBOT.2007.09. [0001]
Armingol, Jose Maria, et al, „IVVI: Intelligent vehicle based on visual information“, Robotics and Autonomous Systems, Elsevier Science Publishers, Amsterdam, NL, Bd. 55, Nr. 12, 5. November 2007, Seiten 904-916 [0005]

Claims

Vorrichtung aufweisend einen Prozessor eines Host-Fahrzeugs (200), wobei der Prozessor dazu eingerichtet ist, das Host-Fahrzeug zu folgendem zu veranlassen: Empfangen (902), von einer Bildaufnahmevorrichtung (122), einer Vielzahl von Bildern, die repräsentativ für eine Umgebung (1000) des Host-Fahrzeugs (200) sind, wobei die Umgebung eine Straße umfasst, auf der das Host-Fahrzeug fährt; Analysieren (904) mindestens eines der Vielzahl von Bildern, um ein Zielfahrzeug (802) zu identifizieren, das auf einer Spur der Straße fährt, die sich von einer Spur unterscheidet, auf der das Host-Fahrzeug (200) fährt; Analysieren (906) mindestens eines der Vielzahl von Bildern, um mindestens eine Spurmarkierung (1004A, 1004B) zu identifizieren, die mit der Spur assoziiert ist, auf der das Zielfahrzeug fährt; Bestimmen (912) mindestens eines Merkmals des Zielfahrzeugs (800) basierend auf der Vielzahl von Bildern, wobei das mindestens eine bestimmte Merkmal des Zielfahrzeugs (800) eine erfasste seitliche Bewegung des Zielfahrzeugs in Bezug auf die mindestens eine identifizierte Spurmarkierung (1004A, 1004B) umfasst; und Bestimmen (914) einer Navigationsaktion für das Host-Fahrzeug (200) basierend auf dem bestimmten Merkmal des Zielfahrzeugs (800).
Vorrichtung nach Anspruch 1, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach Anspruch 1 zu veranlassen, ferner umfassend ein Erfassen eines Abstands der mindestens einen identifizierten Spurmarkierung zu einem Referenzpunkt.
Vorrichtung nach Anspruch 2, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach Anspruch 2 zu veranlassen, wobei der Referenzpunkt mindestens eine weitere Spurmarkierung der Straße umfasst.
Vorrichtung nach einem der Ansprüche 1 bis 3, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 3 zu veranlassen, ferner umfassend ein Erfassen einer Überschneidung der mindestens einen identifizierten Spurmarkierung mit mindestens einer anderen Spurmarkierung der Straße.
Vorrichtung nach einem der Ansprüche 1 bis 4, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 4 zu veranlassen, ferner umfassend ein Erfassen einer Änderung in seitlichen Abständen zwischen der mindestens einen identifizierten Spurmarkierung und mindestens einer anderen Spurmarkierung der Straße.
Vorrichtung nach einem der Ansprüche 1 bis 5, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 5 zu veranlassen, wobei das Bestimmen mindestens eines Merkmals des Zielfahrzeugs ein Analysieren von Daten von einem oder mehreren Sensoren des Host-Fahrzeugs umfasst.
Vorrichtung nach einem der Ansprüche 1 bis 6, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 6 zu veranlassen, wobei das mindestens eine bestimmte Merkmal des Zielfahrzeugs eines oder mehrere von einer Position des Zielfahrzeugs auf der Straße vor dem Host-Fahrzeug (200), einer Geschwindigkeit des Zielfahrzeugs in Bezug auf das Host-Fahrzeug (200) und/oder einer vorhergesagten Trajektorie des Ziel-fahrzeugs umfasst.
Vorrichtung nach einem der Ansprüche 1 bis 7, wobei der Prozessor dazu eingerichtet ist Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 7 zu veranlassen, wobei die bestimmte Navigationsaktion für das Host-Fahrzeug (200) ein Ändern einer Beschleunigungsrate umfasst.
Vorrichtung nach einem der Ansprüche 1 bis 8, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 8 zu veranlassen, wobei die bestimmte Navigationsaktion für das Host-Fahrzeug (200) eine Lenkaktion des Host-Fahrzeugs (200) umfasst.
Vorrichtung nach einem der Ansprüche 1 bis 9, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 9 zu veranlassen, wobei die mindestens eine identifizierte Spurmarkierung eine Zusammenführungsspur oder eine Trennungsspur umfasst.
Vorrichtung nach einem der Ansprüche 1 bis 10, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 10 zu veranlassen, umfassend ein Erfassen einer Trennung der zumindest identifizierten Spurmarkierung in eine andere Spurmarkierung.
Vorrichtung nach einem der Ansprüche 1 bis 9, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach einem der Ansprüche 1 bis 9 zu veranlassen, ferner umfassend: Erfassen (908) einer oder mehrerer Spurmarkierungsmerkmale der mindestens einen identifizierten Spurmarkierung; Bestimmen (910) eines Typs der mindestens einen identifizierten Spurmarkierung unter Verwendung der einen oder mehreren erfassten Spurmarkierungsmerkmale; und Vorhersagen einer Navigationsaktion des Ziel-fahrzeugs basierend auf dem bestimmten Typ der mindestens einen Spurmarkierung.
Vorrichtung nach Anspruch 10, wobei der Prozessor dazu eingerichtet ist das Host-Fahrzeug zu den Schritten nach Anspruch 10 zu veranlassen, wobei die vorhergesagte Navigationsaktion des Zielfahrzeugs eine Spurzusammenführung umfasst.
Computerlesbares Speichermedium, das Anweisungen speichert, die, wenn sie von mindestens einem Prozessor eines Systems zum Navigieren eines Host-Fahrzeugs (200) ausgeführt werden, das System veranlassen, die Schritte nach einem der Ansprüche 1 bis 13 durchzuführen.
System zum Navigieren eines Host-Fahrzeugs, das System umfassend eine Vorrichtung nach einem der Ansprüche 1 bis 13.