WO2021191120A1

WO2021191120A1 - VERFAHREN ZUR BESTIMMUNG EINES WERTES EINER REGLERGRÖßE

Info

Publication number: WO2021191120A1
Application number: PCT/EP2021/057205
Authority: WO
Inventors: Philip Lenz; Alexander Lengsfeld; Marcel Brueckner
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-03-25
Filing date: 2021-03-22
Publication date: 2021-09-30
Anticipated expiration: 2022-09-25
Also published as: US12299998B2; DE102020203836A1; US20240208514A1; CN115605925A

Abstract

Es wird ein Verfahren zur Bestimmung eines Wertes zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform mit den folgenden Schritten vorgeschlagen. Bestimmen von Bildern einer Umgebung der mobilen Plattform mittels einer Mehrzahl von zweidimensional darstellenden Sensorsystemen; Identifizieren einer Vielzahl von Objekten in den Bildern; Bestimmen von zumindest zwei Objektmerkmalen zu jedem der Vielzahl von Objekten, zur Bestimmung der zumindest einen Reglergröße; Generieren eines Eingangstensors mittels der jeweils zumindest zwei bestimmten Objektmerkmale der Vielzahl von Objekten für ein trainiertes neuronales Netz; Schätzen des Wertes der Reglergröße mittels des Eingangstensors und des trainierten neuronalen Netzes.

Description

Beschreibung

Titel

Verfahren zur Bestimmung eines Wertes einer Reglergröße

Die Erfindung betrifft ein Verfahren zur Bestimmung eines Wertes zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform.

Stand der Technik

Für die Steuerung zumindest teilautomatisierter Systeme, wie z.B. selbstfahrende Fahrzeuge oder Roboter als Beispiele für mobile Plattformen, muss für einen sicheren und effektiven Betrieb eine Interpretation der Umgebung der mobilen Plattform für z. B. Entscheidungsprozesse wie Trajektorienplanung und -Steuerung der mobilen Plattformen erfolgen.

Ein wesentlicher Bestandteil solcher, zumindest teilweise automatisierter Systeme ist ihre Fähigkeit, komplexe Situationen in Bezug auf ihre Umgebung wahrzunehmen, so dass sie für die jeweilige Aufgabe adaptiert werden können.

Moderne Fahrerassistenzsysteme (DA) oder automatisierte Fahrfunktionen (AD) nutzen eine Umfelderfassung, um Regelgrößen für die Längs- oder Querregelung eines Fahrzeugs abzuleiten und so einen gewünschten Fahrzeugzustand zu erreichen bzw. eine Trajektorie abzufahren. Diese Systeme benötigen eine parametrisierte Schnittstelle zur Regelung der Aktorik des Fahrzeugs für eine Lenkung, einen Motor oder eine Bremse. Dabei wird z.B. ein Lenkmoment für die Querführung und eine Sollbeschleunigung für die Längsführung an die Aktorik übergeben und in die aktorikeigene Regelgröße überführt. Offenbarung der Erfindung

Klassische Regler zur Abstandsregelung sind aus Radarsystemen hervorgegangen und erwarten gemessene dreidimensionale Größen in Weltkoordinaten zur Regelung. Regelungen für eine Beschleunigung (ACC engl, assisted cruise control) werden heute typischerweise per Hand designt und für einen Fahrzeugtyp optimiert. Dabei kommen typischerweise teure und komplexe Softwarepakete zum Einsatz.

Alternative Lösungsansätze eine Fahrzeugregelung im zweidimensionalen Raum zu implementieren stellen End2 End- Verfahren dar, bei denen ein zwei dimensionales Bild der Umgebung komplett als Input genommen wird, um eine Regelgröße, wie beispielsweise einen Lenkwinkel, zu schätzen.

Die Transformation vom zweidimensionalen Bildraum, wie beispielsweise von Videoaufnahmen, in den dreidimensionalen Raum ist mehrdeutig, stark nicht linear und rausch behaftet. Solche rauschbehafteten Größen sind nur bedingt für einen klassischen Regler, basierend auf dreidimensionalen Weltkoordinaten, geeignet und verhalten sich, in Bezug auf ein Fahrverhalten, oft entsprechend unkomfortabel.

Eine solche manuelle Reglerparametrisierung durch einen Applikateur ist darüber hinaus schwer quantifizierbar und generalisiert nicht über verschiedene Fahrzeugapplikationen. So werden die Regler meist so ausgelegt, dass die Testfahrer das Regelverhalten gefühlsmäßig beurteilen.

End2End Maschine Learning (ML)- bzw. Deep Learning (DL)-Verfahren sind zum einen abhängig vom Sensor, d. h. beispielsweise von dem jeweiligen z.B. Bildmuster, und zum anderen schlecht zu verstehen, da das Mapping von dem Bild auf die Regelgröße nicht wirklich nachvollziehbar und zusätzlich schwer zu debuggen ist. Für eine sicherheitsrelevante Komponente ist diese Eigenschaft besonders kritisch, da Verständnis, Modularität und Zugang wichtige Voraussetzungen für einen Freigabeprozess für den Straßenverkehr sind. Auch wenn es Ansätze zum Verstehen von End2 End- Regien gibt, sind diese Ansätze noch nicht für eine Serienfreigabe ausgereift genug und anwendbar. Denn hier erfolgt meist nur eine quantitative Überprüfung des Ergebnisses. Letztlich ist noch zu erwähnen, dass der Datenfluss bei End2 End- Regien von dem jeweiligen Bild auf die Regelgröße sehr groß ist, was für Steuergeräte der aktuellen Generationen typischerweise nicht handhabbar ist. Erfindungsgemäß werden Verfahren zur Bestimmung eines Wertes zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform, Verfahren zum Trainieren eines neuronalen Netzes, eine Vorrichtung sowie ein Computerprogramm und ein maschinenlesbares Speichermedium gemäß den Merkmalen der unabhängigen Ansprüche angegeben, welche zumindest zum Teil die genannten Wirkungen aufweisen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.

Die Erfindung beruht auf der Erkenntnis, dass ein trainiertes neuronales Netz verwendet werden kann, auf der Basis von, mit einem zweidimensional darstellenden Sensorsystem, identifizierten Objekten und daraus abgeleiteten Objektmerkmalen, Werte einer Reglergröße zu generieren, um einen Regler anzusteuern.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Bestimmung eines Wertes zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform vorgeschlagen, dass die folgenden Schritte aufweist.

In einem Schritt des Verfahrens werden Bilder einer Umgebung der mobilen Plattform mittels einer Mehrzahl von zweidimensional darstellenden Sensorsystemen bestimmt.

In einem weiteren Schritt wird eine Vielzahl von Objekten in den Bildern identifiziert. In einem weiteren Schritt werden zumindest zwei Objektmerkmale zu jedem der Vielzahl von Objekte, zur Bestimmung der zumindest einen Reglergröße, bestimmt. In einem weiteren Schritt wird ein Eingangstensor mittels der jeweils zumindest zwei bestimmten Objektmerkmale der Vielzahl von Objekten für ein trainiertes neuronales Netz generiert. In einem weiteren Schritt wird der Wert der Reglergröße mittels des Eingangstensors und des trainierten neuronalen Netzes geschätzt.

Ein neuronales Netzwerk stellt einen Rahmen für viele verschiedene Algorithmen, beispielsweise zum maschinellen Lernen, zum Zusammenarbeiten und für die Verarbeitung komplexer Dateneingaben, zur Verfügung. Solche neuronalen Netzwerke lernen Aufgaben anhand von Beispielen auszuführen, ohne typischerweise mit aufgabenspezifischen Regeln programmiert worden zu sein.

Ein solches neuronales Netz basiert auf einer Sammlung verbundener Einheiten oder Knoten, die als künstliche Neurone bezeichnet werden. Jede Verbindung kann ein Signal von einem künstlichen Neuron zu einem anderen übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und dann weitere damit verbundene künstliche Neuronen aktivieren.

Bei herkömmlichen Implementierungen von neuronalen Netzen ist das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass ein Signal nur dann ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet.

Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht, möglicherweise nach mehrmaligem Durchlaufen der Schichten.

Ergänzend zu den Ausführungen zu neuronalen Netzen besteht der Aufbau eines künstlichen Neuronalen-Faltungs-Netzes (Convolutional Neural Network) aus einer oder mehreren Faltungs-Schichten (convolutional layer), gegebenenfalls gefolgt von einem Pooling Layer. Die Abfolge von Schichten kann mit oder ohne Normalisierungs-Schichten (z.B. Batch-Normalisierung), Zero-Padding-Schichten, Dropout-Schichten und Aktivierungs- Funktionen, wie z.B. Rectified Linear Unit ReLU, sigmoid-Funktion, tanh-Funktion oder softmax- Funktion, verwendet werden.

Diese Einheiten können sich prinzipiell beliebig oft wiederholen, bei ausreichend Wiederholungen spricht man dann von Deep Convolutional Neural Networks. Ein solches neuronales Faltungsnetz kann eine Abfolge von Schichten aufweisen, die die Eingangsgitter auf eine niedrigere Auflösung herunter abtasten, um die gewünschten Informationen zu erhalten und die redundanten Informationen zu speichern.

Ein rückgekoppeltes neuronales Netz (engl. Recurrent Neural Network, RNN) ist ein neuronales Netz, das im Gegensatz zu den Feed- Forward Netzen auch Verbindungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorangegangenen Schicht besitzen. Diese Struktur eignet sich dabei besonders, um zeitlich kodierte Informationen in den Daten zu entdecken.

Entsprechend einem Aspekt wird vorgeschlagen, dass das neuronale Netz ein Feed- Forward- Netzwerk, ein rekurrentes Netzwerk, ein neuronales- Faltungs- Netzwerk oder ein mehrschichtiges Netzwerk ist.

Das Verfahren kann also vorteilhafterweise auf eine Vielzahl von Typen von neuronalen Netzen angewendet werden.

Dabei kann bei diesem Verfahren eine Vielzahl unterschiedlicher Objekte von den zweidimensional darstellenden Sensorsystemen und gegebenenfalls nachgeschalteten Einrichtungen oder Verfahren zur Detektion von Objekten identifiziert werden. Beispielsweise können Fahrzeuge detektiert werden, Brems- und Blinklichter von Fahrzeugen bzw. deren Schaltung als Warnblinker.

Weiterhin können frei befahrbare Flächen identifiziert werden oder Linien bzw. Begrenzungslinien, die einen Fahrkorridor definieren können.

Beispielsweise kann dieses Verfahren verwendet werden, um die Werte anzugeben, die für eine Längs- bzw. eine Querregelung, entsprechend einem Spurhalteassistenten, eines Fahrzeuges benötigt werden.

Der notwendige Fahrzeugzustand, wie eine Eigenbewegung des Fahrzeuges, eine Querbeschleunigung oder eine Gierrate des Fahrzeugs ist typischerweise verfügbar. Die Regelgröße für die Längsregelung kann eine Beschleunigung sein und für die Querregelung kann sie beispielsweise ein Lenkwinkel oder ein Lenkmoment sein.

In diesem Zusammenhang kann eine Mehrzahl von zweidimensional darstellenden Sensorsystemen eine kleine Anzahl von Sensorsystemen beispielsweise ein, zwei oder drei Sensorsysteme umfassen, die Mehrzahl kann auch 100 Sensorsysteme umfassen oder eine noch viel höhere Anzahl von Sensorsystemen kann verwendet werden, um Bilder der Umgebung zu bestimmen.

Dieses Verfahren zur Bestimmung eines Wertes zumindest einer Reglergröße ermöglicht Bilddaten als Eingang für einen Fahrzeugregler zu verwenden, ohne dass nicht-lineare Projektionen der Bilddaten in den dreidimensionalen Raum der Welt Koordinaten unabhängig von den Regelgrößen durchgeführt werden, um dadurch eine aus dieser nicht-linearen Projektion resultierende Fehlerfortpflanzung zu vermeiden. Dadurch kann der Wert der Reglergröße auch für einen Sensor, der keine dreidimensionalen Weltkoordinaten generiert, robust geschätzt werden. Zusätzlich ist durch die Verwendung von Objektdetektionen, die im zweidimensionalen Bildraum des resultierenden Sensorbildes durchgeführt werden, das Verfahren unabhängig vom verwendeten Kamerasensor. Ein Tausch der Kamera hat so im Idealfall keine Auswirkungen auf einen entsprechend diesem Verfahren arbeitenden Regler, solange die Eigenschaften und Verteilung der Objektdetektionen sich nicht verändert.

Auch die Objektdetektoren, zum Identifizieren der Vielzahl von Objekten, lassen sich mit Beachtung der geforderten Schnittstelle, für den Regler für eine Durchführung des beschriebenen Verfahrens, austauschen.

Durch die Nutzung eines neuronalen Netzes, das für dieses Verfahren trainiert wird, ist es möglich, unterschiedlich trainierte neuronale Netze bzw. mit unterschiedlich aufgebauten Eingangssensoren trainierte neuronale Netze miteinander zu vergleichen.

Optimierte Regler, die eingerichtet sind dieses Verfahren auszuführen, können zumindest als Ausgangsbasis (Pretraining) verwendet werden, für weitere Applikationen bzw. weitere Produkte genutzt zu werden. Ein so optimierter Regler erlaubt die Quantifizierung der Regelung, z.B. durch eine Bewertung des Lösses, das aus dem Training des neuronalen Netzes resultiert. So kann letztlich auch über verschiedene Reglerapplikationen bzw. Sensoren generalisiert werden, indem einzelne Regler als Basis für eine neue Applikation genutzt werden (Ausnutzung eines Pretrainings).

Einzelne Komponenten, wie beispielsweise die Objektdetektion, eine solche Größenschätzung oder eine Low-Ievel Fahrzeugregelung, eines Systems das eingerichtet ist dieses Verfahren auszuführen, können leicht ersetzt bzw. einzeln validiert werden, da Schnittstellen und Funktionsumfang klar definiert sind.

Ein solches System, das eingerichtet ist das beschriebene Verfahren auszuführen, kann mit den entsprechenden Daten trainiert werden, entweder fahrzeugübergreifend eine optimierte Regelung der Reglergröße zu realisieren oder ein Regelverhalten zu realisieren, das unterschiedlichen Typen von Fahrern mit beispielsweise sportlichen oder komfortbetonter Fahrweise entspricht. Für eine fahrzeugübergreifende Regelung kann dazu beispielsweise das neuronale Netz mit Daten unterschiedlicher Fahrzeuge trainiert werden.

Bei einer Verwendung dieses Verfahrens für einen ACC-Regler (Längsregelung) wird beispielsweise mit einem Umfeldsensor, wie einer digitalen Kamera oder einer Videokamera, ein vorausfahrendes Fahrzeug detektiert. Der Fahrer kann eine Wunschgeschwindigkeit und einen Wunschabstand, bzw. eine Zeitlücke zum Vordermann, einstellen. Mit diesen Informationen hält der Längsregler bei freier Fahrt die gewünschte Geschwindigkeit bzw. den eingestellten Abstand zum Vordermann.

Damit die Einregelung dieser Größen für den Fahrer komfortabel und nicht unangenehm wirkt, muss ein solcher Regler parametrisiert werden, um Größen wie einer Beschleunigung und einen möglichen Ruck zu minimieren, gleichzeitig aber auch zu träges Regelungsverhalten zu verhindern.

Bei dem hier vorgestellten Verfahren ist es vorteilhafterweise nicht notwendig, dass ein Applikateur einer solchen Regler händisch mittels Daten von Teststrecken und Straßenverkehr für jedes neue Fahrzeug individuell parametrisiert. Dabei können sogar Änderungen am Antriebsstrang eines solchen Fahrzeugs eine neue Parametrisierung notwendig machen.

Um eine solche individuelle händische Parametrisierung zu vermeiden, werden bei dem hier beschriebenen Verfahren die notwendigen Messgrößen nicht in einem dreidimensionalen Weltkoordinatensystem bestimmt, sondern im zweidimensionalen Bildraum des zweidimensional darstellenden Sensorsystems. Das bedeutet beispielsweise, dass ein Video-ACC mittels einer Kamera das Umfeld als Projektion in der zweidimensionalen Bildebene des Kamerabilds bestimmt.

Da eine Fahrzeugregelung typischerweise Abstände und Geschwindigkeiten in dreidimensionalen Weltkoordinaten erwartet, wie sie z.B. ein Radarsensor liefern würde, beispielsweise einen Abstand und eine Geschwindigkeit in dreidimensionalen Koordinaten, muss bei Nutzung einer Kamera als Umfeldsensor die nicht-lineare und mehrdeutige Projektion der Messungen in das Weltkoordinatensystem approximiert werden, was bei dem hier vorgestellten Verfahren mittels des trainierten neuronalen Netzes, jeweils abhängig von der Anwendung, erfolgt.

Dadurch wird eine Verkettung einzelner Komponenten basierend auf dem Training des neuronalen Netzes, inklusive nicht-lineare Projektionen o.ä., optimiert und kam damit besser abgebildet werden. Zwischenschritte werden dabei inhärent mit optimiert, ohne dass äußere Zwangsbedingungen, wie beispielsweise Ebenenannahmen, vorgegeben werden müssen. Das führt letztlich zu einer verbesserten Regelgüte des Gesamtsystems. Klassische Ansätze reihen solche approximativen Komponenten aneinander und leiden entsprechend unter der Fehlerfortpflanzung und den daraus resultierenden und unnötig schlechten projizierten Größen.

Gemäß einem Aspekt wird vorgeschlagen, dass zumindest ein Objekt der Vielzahl der Objekte ein Fahrzeug und/oder ein Bremslicht und/oder ein Blinklicht und/oder ein Warnlicht und/oder eine Fahrkorridor-Markierung und/oder eine Freifläche ist.

Ein Fahrzeug, das als Objekt mittels des zweidimensional darstellenden Sensorsystems identifiziert wird, kann beispielsweise durch eine “ bounding box“, die das Fahrzeug im Bild umschließt, charakterisiert werden. Unter einem Bremslicht kann ein aktiviertes Licht an einem Fahrzeug verstanden werden, das verwendet wird, um ein aktives Bremsen des entsprechenden Fahrzeugs anzuzeigen. Unter einem Blinklicht kann ein aktiviertes Lichtsignal eines Fahrzeugs verstanden werden, das damit einen Fahrtrichtungswechsel anzeigen kann. Entsprechend zeigt ein aktiviertes Warnlicht an, dass das damit ausgestattete Fahrzeug sich in einer besonderen Situation befindet. Unter einer Fahrkorridor-Markierung können alle Markierungen bzw. Übergänge verstanden werden, die einen Fahrkorridor für ein Fahrzeug begrenzen. Dies kann beispielsweise ein Übergang zu einer Grasnarbe, eine Linie auf einer Fahrbahn, ein Übergang zu einem Fahrbahnbankett oder auch eine Grenze zu parkenden Autos verstanden werden. Unter einer Freifläche kann die gesamte frei zu befahrene Fläche durch ein Fahrzeug verstanden werden.

Gemäß einem Aspekt wird vorgeschlagen, dass die zumindest zwei Objektmerkmale jeweils eine charakteristische Bildposition der jeweiligen Objekte sind.

Dies kann beispielsweise eine Ausdehnung einer “bounding box“, die ein Fahrzeug charakterisiert, sein. Dabei kann die charakteristische Bildposition die Schnittpunkte einer Zeile bis zweidimensional darstellenden Sensorsystems mit der “bounding box“ sein.

Gemäß einem Aspekt wird vorgeschlagen, dass das Objektmerkmal eine Bildposition einer bounding box eines Fahrzeuges und/oder ein Zeitintervall einer time to contact und/oder ein optischer Fluss einer Bildfolge und/oder eine Relativbewegung z. B. im Bild und/oder aktivierte Bremsleuchten und/oder ein aktivierter Blinker und/oder ein aktiviertes Warnlicht und/oder eine Bildposition einer Fahrbahnmarkierung und/oder eine Bildposition eines Übergangs zur Grasnarbe und/oder eine Bildposition eines Übergangs zum Fahrbahnbankett und/oder eine Bildposition einer Grenze zu parkenden Autos und/oder eine Bildposition der eigenen Fahrspur und/oder eine Bildposition einer Grenze einer Straße und/oder eine Bildposition eines Endes einer Fahrspur ist.

Dabei kann für die entsprechende Regelaufgabe jeweils eine passende Anzahl von Objekten bzw. Objektmerkmalen ausgesucht werden, die die Basis für das Verhalten des trainierten Reglers, der eingerichtet ist das beschriebene Verfahren durchzuführen, ist. Dabei ist die Größe “time to contact (TTC)“ die voraussichtliche Zeit die bei unverändertem Fahrverhalten zu einer Kollision führt. Eine entsprechende Relativbewegung kann eine Relativbewegung des Ego- Fahrzeugs im Verhältnis zu den anderen Fahrzeugen sein, es kann aber auch die Relativbewegung zur Umgebung so charakterisiert werden.

Mit diesem Verfahren kann beispielsweise ein Abstand geregelt werden, indem ein Objekt in einer Bildhöhe von 60% des Bildes gehalten wird und die “time to contact (TTC)“ einen möglichst großen Wert erreicht, um einen der Straßenverkehrsordnung entsprechenden zeitlichen Abstand von 1,8 Sekunden zu halten.

Mit anderen Worten bedeutet das, dass bei diesem Verfahren die Koordinaten des zweidimensional darstellenden Sensorsystems u bzw. v verwendet werden, um die Basis für die Regelung zu bilden.

Bei dem aktivierten Bremslicht kann das Objektmerkmal auch die damit verbundene Richtungsanzeige berücksichtigen, und bei der Fahrkorridor-Markierung kann auch eine Information über den selbst befahrenen Fahrkorridor mit für die Regelung verwendet werden.

Gemäß einem Aspekt wird vorgeschlagen, dass die Reglergröße ein Wert für eine Beschleunigung für die mobile Plattform ist.

Gemäß einem Aspekt wird vorgeschlagen, dass die Reglergröße ein Wert für einen Lenkwinkel für die mobile Plattform ist.

Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Netz ein Klassifikationsnetzwerk oder ein Regressionsnetzwerk ist.

D.h. mit anderen Worten, dass das neuronale Netzwerk eine Struktur aufweist, die geeignet ist eine Klassifikation oder eine Regression durchzuführen.

Beispielsweise kann das neuronale Netz einen Input-Layer einer Dimension von (5x1) aufweisen. Dabei können die Objektmerkmale des Eingangssensors für diesen Input-Layer des neuronalen Netzes Skalenänderungen der Bounding Box (BBx): BBx-Höhe, BBx- Breite, obere linke Ecke der BBx (u-Wert) und obere linke Ecke der BBx (v-Wert) umfassen.

Auf diesen Input-Layer folgt kann ein Fully Connected-Layer (FC) mit der Dimension 25x1 folgen.

Die nächste Schicht des neuronalen Netzes kann dann einen Fully Connected-Layer (FC) der Dimension 5x1 aufweisen.

Der daran anschließende Output-Layer kann einen Fully Connected-Layer (FC) mit der Dimension lxl aufweisen.

Der Output wäre dann ein Beschleunigungswert (a_x), der über eine Regression mit einem sogenannten Mean Squared Error bestimmt wird. Mit diesem Output ließe sich eine Abstandsregelung realisieren.

Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Netz eine Mehrzahl von Netzwerkschichten aufweist und die Netzwerkschichten zumindest eine fully connected Schicht und/oder zumindest eine recurrente Schicht und/oder zumindest eine Faltungsschicht aufweist.

Es wird ein Verfahren zum Trainieren eines neuronalen Netzes für eine Schätzung eines Wertes einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform vorgeschlagen, wobei das Verfahren die folgenden Schritte umfasst.

In einem Schritt werden zumindest zwei Objektmerkmale von Bildern von zweidimensionalen Sensorsystemen einer Vielzahl von Objekten einer Umgebung einer mobilen Plattform bereitgestellt. In einem weiteren Schritt wird ein gewünschter Wert einer Reglergröße bereitgestellt, der für eine zumindest teilautomatisierte Führung einer mobilen Plattform eingestellt werden soll, wenn die Vielzahl von Objekten mittels Bildern zweidimensionaler Sensorsysteme der Umgebung der mobilen Plattform jeweils zumindest zwei Objektmerkmale aufweist. In einem weiteren Schritt wird ein Eingangstensor für das neuronale Netz, mittels der jeweiligen zwei Objektmerkmale der Vielzahl von Objekten, generiert. In einem weiteren Schritt wird eine Vielzahl so generierter Eingangstensoren mit einem jeweils zugehörigen gewünschten Wert der Reglergröße gebildet. In einem weiteren Schritt wird das neuronale Netz mit der Vielzahl von Eingangstensoren mit jeweils zugehörigen gewünschten Werten der Reglergröße, zur Schätzung von Werten der Reglergröße, trainiert. Beim Training neuronaler Netzen unterscheidet man typischerweise zwischen einer Trainingsphase und einer Testphase, die auch Ausbreitungsphase genannt wird. In der Trainingsphase, die aus einer Vielzahl von Trainingsdurchläufen besteht, lernt das neuronale Netz anhand eines Trainings-Datensets. Dementsprechend werden in der Regel die Gewichte zwischen den einzelnen Neuronen modifiziert. Lernregeln geben dabei die Art und Weise an, wie das neuronale Netz diese Veränderungen vornimmt.

Bei dem supervised learning (überwachtes bzw. beaufsichtigtes Lernen) wird der korrekte Output als "teaching vector" vorgegeben anhand derer die Parameter des neuronalen Netzes bzw. die Gewichte, wie beispielsweise Gewichte eines Faltungs- Kerns, optimiert werden.

In der Testphase werden hingegen keine Parameter oder Gewichte verändert. Stattdessen wird hier auf Grundlage der bereits modifizierten Gewichte aus der Trainingsphase untersucht, ob das Netz korrekt gelernt hat. Dazu präsentiert man dem Eingang des neuronalen Netzes Daten und prüft, welchen Output das neuronale Netz berechnet. Dabei kann mit den dem neuronalen Netz schon gezeigten Ausgangsreizen geprüft werden, ob das neuronale Netz das Trainingsmaterial erfasst hat.

Durch Präsentation neuer Reize kann man feststellen, ob das Netz generalisierend Aufgaben löst.

Die Kostenfunktion misst wie gut ein vorliegendes neuronales Netz einen gegebenen Datensatz abbildet. Beim Training eines neuronalen Netzes werden die Gewichte schrittweise so geändert, dass die Kostenfunktion minimal wird, und somit der Trainingsdatensatz (fast) vollständig durch das neuronale Netz abgebildet wird.

Im Falle eines Klassifikationsproblems führt dies zu folgender Minimierungsaufgabe:

Wobei V als Kostenfunktion bezeichnet wird. Die Funktion f beschreibt dabei das neuronale Netz. Die Parameter x_t , y_t repräsentieren die Trainingsdaten. Da die Funktion f(x ) das neuronale Netz beschreibt, soll f(x ) gleich y_t sein. Der Unterschied zwischen /(x_j) und y_t wird mit der Verlustfunktion V berechnet. In der Summe werden die Verluste aller Trainingsdaten aufsummiert. Die Daten für das Training des neuronalen Netzes können mittels bestärkendem Lernen (engl, reinforcement learning) und einem Agenten bestimmt werden, der selbstständig eine Strategie erlernt, um eine erhaltene Belohnung zu maximieren. Anhand dieser Belohnungen approximiert er eine Nutzenfunktion, die beschreibt, welchen Wert ein bestimmter Zustand oder Aktion hat.

Alternativ können die Daten für das Training des neuronalen Netzes mittels verhaltensbasiertem Klonen (engl, behavioural cloning) bestimmt werden, wobei menschliche subkognitive Fähigkeiten von Fahrern erfasst werden. Während der jeweilige Fahrer die Fertigkeit ausführt, werden seine Handlungen zusammen mit der Situation, die zu der Handlung geführt hat, aufgezeichnet. Ein Protokoll dieser Aufzeichnungen wird als Input für das Training des neuronalen Netzes verwendet.

Gemäß einem Aspekt wird vorgeschlagen, dass die zumindest zwei Objektmerkmale zu jedem der Vielzahl von Objekten an zumindest zwei unterschiedlichen Zeitpunkten bestimmt werden; und dass der Eingangstensor für das trainierte neuronale Netz mit zumindest zwei Objektmerkmalen der Vielzahl von Objekten generiert wird, die jeweils zu zumindest zwei unterschiedlichen Zeitpunkten bestimmt wurden.

Entsprechend diesem Aspekt wird das Verfahren nicht nur einzelbildbasiert ausgeführt, sondern mittels einer sequenzbasierten Betrachtung wird auch eine zeitliche Veränderung der Objekte für das Regelverhalten ausgewertet. Für das neuronale Netz kann dann beispielsweise ein Recurrent Neural Network verwendet werden. Die entsprechenden Objektmerkmale können dann in mehreren Schichten des Eingangssensors abgebildet werden, um sie als Eingangsgröße für das neuronale Netz bereitzustellen. Dabei kann die Anzahl der verwendeten Zeitpunkte, die eine entsprechende Veränderung der Objekte kennzeichnen, von der Aufnahmefrequenz des zweidimensional darstellen Sensorsystems abhängig gemacht werden und eine bestimmte Zeitdauer überstreichen. Eine typische Zeitdauer kann dabei im Bereich von 1 Sekunde bis 2 Sekunden liegen.

Es wird ein Verfahren zur Bestimmung eines Wertes zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform vorgeschlagen, wobei ein erstes und ein zweites neuronales Netz einen ersten Wert und einen zweiten Wert jeweils zumindest einer Reglergröße entsprechend dem Verfahren gemäß einem der vorhergehenden Ansprüche schätzen, und wobei der jeweilige Eingangstensor für das erste neuronale Netz und für das zweite neuronale Netz unterschiedliche Objektmerkmale und/oder eine unterschiedliche Anzahl von Objektmerkmalen aufweist, und der erste Wert und der zweite Wert miteinander verglichen werden, um eine Plausibilität der jeweiligen Werte zu überprüfen.

Dadurch dass der Wert der Reglergröße mit einem ersten und einem zweiten neuronalen Netz bestimmt wird, wird das System zur Bestimmung des Wertes redundant. Dabei können dann mehrere, unterschiedliche designte bzw. trainierte Regler unabhängig voneinander optimiert werden. Und mittels einer Entscheidungsstrategie können nicht plausible Regelungsgrößen für eine Regelung bzw. Steuerung verworfen werden. So kann eine Absicherung des Reglers ggf. vereinfacht werden bzw. es kann ein redundanter Regler für hochautomatisierte Fahrfunktionen auf diese Weise umgesetzt werden.

Die Plausibilität kann dabei, zumindest wenn drei parallel neuronale Netze verwendet werden, mittels einer “Mehrheitsentscheidung“ überprüft werden. Bei einer Verwendung von zwei neuronalen Netzen würde man über „Expertenwissen“ eine maximale Abweichung der beiden Prädiktionen aus der jeweiligen Schätzung festlegen. Sobald dieser Grenzwert überschritten wird würde das System deaktiviert werden.

Durch ein solches redundant ausgelegtes System kann eine größere Ausfallsicherung des Systems und ein zuverlässiger Betrieb erreicht werden. Beispielsweise können dabei zwei unterschiedliche zweidimensional darstellende Sensorsysteme in Form von zwei Digitalkameras verwendet werden, um leicht unterschiedliche Perspektiven der Bilder zu erhalten. Solange in einem solchen Fall beide neuronalen Netze den gleichen Regelwert ausgeben, kann von einem zuverlässigen Wert ausgegangen werden. Entsprechendes gilt für unterschiedliche Subsets von Objektmerkmalen die die unterschiedlichen neuronalen Netze als Eingangsgröße verwenden.

Gemäß einem Aspekt wird ein Verfahren vorgeschlagen, bei dem, basierend auf einem Wert einer Reglergröße, der mit einem Verfahren nach einem der vorhergehenden Ansprüche bestimmt wurde, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf einem Wert einer Reglergröße ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.

Dabei ist der Wert der Reglergröße der Wert zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform entsprechend dem oben beschriebenen Verfahren.

Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf dem Wert einer Reglergröße bereitgestellt wird, breit zu verstehen. Es ist so zu verstehen, dass ein Wert der Reglergröße für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden.

Das Steuersignal kann direkt das Fehlersignal sein, es kann jedoch auch basierend auf dem Fehlersignal oder mittels eines gewandelten Fehlersignals oder kombiniert mit anderen Signalen generiert werden und für die Ansteuerung oder die Warnung eines Fahrzeuginsassen eines zumindest teilautomatisierten Fahrzeuges ausgesendet werden.

Auf Grund des Steuersignals kann das zumindest teilautomatisierte Fahrzeug beispielsweise die Geschwindigkeit des Fahrzeuges begrenzen, gewisse automatisierte Fahrmodi wie beispielsweise einen Fahrspurwechsel oder eine Stadtfahrt nicht mehr zur Verfügung stellen oder einen sicheren Betriebszustand, beispielsweise durch Anhalten an einem Fahrbahnrand oder einen Notstop, ansteuern.

Gemäß einem Aspekt wird eine Vorrichtung angegeben, die eingerichtet ist eines der oben beschriebenen Verfahren durchzuführen. Mit einer solchen Vorrichtung kann das entsprechende Verfahren leicht in unterschiedliche Systeme integriert werden.

Gemäß einem weiteren Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.

Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.

Dabei kann unter einer mobilen Plattform ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem eines Fahrzeugs. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistenzsysteme. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor- Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor- Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.

In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist.

Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.

Ausführungsbeispiele

Ausführungsbeispiele der Erfindung sind in den Figuren 1 und 2a, b dargestellt und werden im Folgenden näher erläutert. Es zeigt:

Figur 1 ein Verfahren zur Bestimmung eines Wertes zumindest einer

Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform;

Figur 2a ein erstes Beispiel von Beschleunigungswerten für einen Regler basierend auf dem hier vorgeschlagenen Verfahren im Vergleich mit einem Standardverfahren; und

Figur 2b ein zweites Beispiel von Beschleunigungswerten für einen Regler basierend auf dem hier vorgeschlagenen Verfahren im Vergleich mit einem Standardverfahren Die Figur 1 skizziert schematisch das Verfahren 100 zur Bestimmung eines Wertes zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform.

In einem Schritt S1 des Verfahrens werden aus einer Mehrzahl von zweidimensional darstellenden Sensorsystemen, wie Kamerabildern oder Videobildern als Rohmessungen, Bilder 111, 112, 113, 114 über die Zeit t einer Umgebung der mobilen Plattform bestimmt. In einem weiteren Schritt S2 wird mit Schnittstellen für eine Funktionsumsetzung beispielsweise eine Fahrzeugdetektion 120, Brems-bzw. Blinkerdetektion 130, Linien- bzw. Fahrkorridor-Detektion 140 und eine Freiflächendetektion 150 durchgeführt und damit eine Vielzahl von Objekten in den Bildern identifiziert. In einem weiteren Schritt S3 werden zumindest zwei Objektmerkmale zu jedem der Vielzahl von Objekten, zur Bestimmung der zumindest einen Reglergröße bestimmt. In einem weiteren Schritt S4 wird ein Eingangstensor mittels der jeweils zumindest zwei bestimmten Objektmerkmale der Vielzahl von Objekten für ein trainiertes neuronales Netz generiert. In einem weiteren Schritt S5 wird der Wert der Reglergröße mittels des Eingangstensors und des trainierten neuronalen Netzes geschätzt und einem Regler 180 übergeben S6.

In der Figur 2a werden in dem Diagramm 210 Werte für eine Beschleunigung a über der Zeit t dargestellt. Dabei zeigt die Kurve 214 die mit dem hier beschriebenen Verfahren bestimmte Werte der Reglergröße a für die Beschleunigung und die Kurve 212 zeigt die entsprechende Reglergröße a, die konventionell, entsprechend einem Radar-Regler, bestimmt wurde.

Die Figur 2b zeigt in dem Diagramm 220 ein zweites Beispiel entsprechend der Figur 2a, dabei zeigt die Kurve 224 die mit dem hier beschriebenen Verfahren bestimmte Reglergröße a für die Beschleunigung und die Kurve 222 zeigt die entsprechende Reglergröße a, die konventionell, entsprechend einem Radar-Regler, bestimmt wurde.

Claims

Ansprüche

1. Verfahren (100) zur Bestimmung eines Wertes zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform mit den Schritten:

Bestimmen von Bildern einer Umgebung (Sl) der mobilen Plattform mittels einer Mehrzahl von zweidimensional darstellenden Sensorsystemen;

Identifizieren einer Vielzahl von Objekten (S2) in den Bildern;

Bestimmen von zumindest zwei Objektmerkmalen (S3) zu jedem der Vielzahl von Objekten, zur Bestimmung der zumindest einen Reglergröße;

Generieren eines Eingangstensors (S4) mittels der jeweils zumindest zwei bestimmten Objektmerkmale der Vielzahl von Objekten für ein trainiertes neuronales Netz;

Schätzen des Wertes der Reglergröße (S5) mittels des Eingangstensors und des trainierten neuronalen Netzes.

2. Verfahren (100) gemäß Anspruch 1, wobei zumindest ein Objekt der Vielzahl der Objekte ein Fahrzeug und/oder ein Bremslicht und/oder ein Blinklicht und/oder ein Warnlicht und/oder eine Fahrkorridor-Markierung und/oder eine Freifläche ist.

3. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei die zumindest zwei Objektmerkmale jeweils eine charakteristische Bildposition der jeweiligen Objekte sind.

4. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei das Objektmerkmal eine Bildposition einer bounding box eines Fahrzeuges und/oder ein Zeitintervall einer time to contact und/oder ein optischer Fluss einer Bildfolge und/oder eine Relativbewegung und/oder aktivierte Bremsleuchten und/oder ein aktivierter Blinker und/oder ein aktiviertes Warnlicht und/oder eine Bildposition einer Fahrbahnmarkierung und/oder eine Bildposition eines Übergangs zur Grasnarbe und/oder eine Bildposition eines Übergangs zum Fahrbahnbankett und/oder eine Bildposition einer Grenze zu parkenden Autos und/oder eine Bildposition der eigenen Fahrspur und/oder eine Bildposition einer Grenze einer Straße und/oder eine Bildposition eines Endes einer Fahrspur ist.

5. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei die Reglergröße ein Wert für eine Beschleunigung für die mobile Plattform ist.

6. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei die Reglergröße ein Wert für einen Lenkwinkel für die mobile Plattform ist.

7. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei das neuronale Netz ein Klassifikationsnetzwerk oder ein Regressionsnetzwerk ist.

8. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei das neuronale Netz eine Mehrzahl von Netzwerkschichten aufweist und die Netzwerkschichten zumindest eine fully connected Schicht und/oder zumindest eine recurrente Schicht und/oder zumindest eine Faltungsschicht aufweist.

9. Verfahren zum Trainieren eines neuronalen Netzes für eine Schätzung eines Wertes einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform, wobei das Verfahren umfasst:

Bereitstellen von zumindest zwei Objektmerkmalen von Bildern von zweidimensionalen Sensorsystemen einer Vielzahl von Objekten einer Umgebung einer mobilen Plattform;

Bereitstellen eines gewünschten Wertes einer Reglergröße, der für eine zumindest teilautomatisierte Führung einer mobilen Plattform eingestellt werden soll, wenn die Vielzahl von Objekten mittels Bildern zweidimensionaler Sensorsysteme der Umgebung der mobilen Plattform jeweils zumindest zwei Objektmerkmale aufweist;

Generieren eines Eingangstensors für das neuronale Netz, mittels der jeweiligen zwei Objektmerkmale der Vielzahl von Objekten;

Bilden einer Vielzahl so generierter Eingangstensoren mit einem jeweils zugehörigen gewünschten Wert der Reglergröße;

Trainieren des neuronalen Netzes mit der Vielzahl von Eingangstensoren mit jeweils zugehörigen gewünschten Werte der Reglergröße, zur Schätzung von Werten der Reglergröße.

10. Verfahren (100) gemäß einem der vorhergehenden Ansprüche, wobei die zumindest zwei Objektmerkmale zu jedem der Vielzahl von Objekten an zumindest zwei unterschiedlichen Zeitpunkten bestimmt werden; und der Eingangstensor für das trainierte neuronale Netz mit zumindest zwei Objektmerkmalen der Vielzahl von Objekten generiert wird, die jeweils zu zumindest zwei unterschiedlichen Zeitpunkten bestimmt wurden.

11. Verfahren zur Bestimmung eines Wertes zumindest einer Reglergröße zur zumindest teilautomatisierten Führung einer mobilen Plattform, wobei ein erstes und ein zweites neuronales Netz einen ersten Wert und einen zweiten Wert jeweils zumindest einer Reglergröße entsprechend dem Verfahren gemäß einem der vorhergehenden Ansprüche schätzen, und wobei der jeweilige Eingangstensor für das erste neuronale Netz und für das zweite neuronale Netz unterschiedliche Objektmerkmale und/oder eine unterschiedliche Anzahl von Objektmerkmalen aufweist; und der erste Wert und der zweite Wert miteinander verglichen werden, um eine Plausibilität der jeweiligen Werte zu überprüfen.

12. Verfahren nach einem der vorhergehenden Ansprüche, wobei basierend auf einem Wert einer Reglergröße ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf einem Wert einer Reglergröße ein Warnsignal zur Warnung eines Fahrzeuginsassens bereitgestellt wird.

13. Vorrichtung, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 12 durchzuführen.

14. Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 12 auszuführen.

15. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 14 gespeichert ist.