AT526321A1

AT526321A1 - Vorrichtung und Verfahren zur Erzeugung eines synthetischen Datensatzes eines Fahrszenarios

Info

Publication number: AT526321A1
Application number: ATA50877/2022A
Authority: AT
Inventors: Danzinger Herbert; Posch BSc Markus
Original assignee: Avl List Gmbh
Priority date: 2022-11-21
Filing date: 2022-11-21
Publication date: 2023-12-15

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren (10) zum Betreiben einer Fahrsimulation zum Testen eines Fahrassistenzsystems, umfassend die Schritte: a) Bereitstellen (12) von einem Messdatensatz aus einer Fahrszenariomessung, der Fahrzeugdaten, Umgebungsdaten und zu mehreren Personen zugehörige physiologische Personendaten und persönliche Einschätzungsdaten umfasst; b) Bereitstellen (16) eines Generators mit einer Konfiguration zur Erzeugung eines synthetischen Datensatzes; c) Bereitstellen (18) einer Eingabe für den Generator, wobei die Eingabe den Messdatensatz oder eine Teilmenge des Messdatensatzes umfasst; d) Erzeugen (20) eines synthetischen Datensatzes, der synthetische physiologische Daten und synthetische Einschätzungsdaten, die jeweils eine Entsprechung des Messdatensatzes sind, umfasst, und durch wenigstens ein Personenmerkmal festgelegt sind mit dem Generator zur Überprüfung des Generators; und e) Ausführen (24) einer Fahrsimulation mit dem Generator, wobei ein Fahrzeugverhalten und eine Fahrzeugumgebung vorgegeben sind.

Description

Vorrichtung und Verfahren zur Erzeugung eines synthetischen Datensatzes

eines Fahrszenarios

Einleitung

Die Erfindung betrifft ein Verfahren zum Betreiben einer Fahrsimulation zum Testen eines Fahrassistenzsystems, einem Verfahren zum Entwickeln eines Fahrassistenzsystems und einen Fahrsimulator, der dazu eingerichtet ist, ein solches Verfahren durchzuführen. Weiterhin liefert die Erfindung ein Computerprogramm, einen Computerlesbaren Datenträger, ein Datenträgersignal und einen Datensatz in

Zusammenhang mit dem Verfahren.

Automatisiertes Fahren wird nach dem SAE-Standard des Verbands der Automobilingenieure in die Level LO bis L5 eingeteilt, wobei das Level LO ein Fahren ohne Assistenzsysteme, das Level L5 vollautonomes Fahren und die Level L1 bis L4 assistierte und automatisierte Zwischenstufen bezeichnen. Bei den Stufen LO bis L4 sind die Reaktionen des Fahrers auf unterschiedliche Situationen wesentlich bzw.

entscheidend für die Sicherheit des Fahrers.

In den Level L1 bis L4, in denen Assistenzsysteme den Fahrer unterstützen besteht eine Herausforderung darin, dass Fahrer und Assistenzsystem gemeinsam für die Sicherheit verantwortlich sind. Für die Gewährleistung der Sicherheit ist es notwendig, dass ein Assistenzsystem auf das Verhalten des Fahrers in jeder Situation richtig reagiert. Hierzu überwachen Assistenzsysteme den Fahrer zu jedem Zeitpunkt, um

dessen Verhalten richtig einzuordnen.

Bei der Bewertung des Verhaltens des Fahrers besteht eine Schwierigkeit darin, das Reaktionsvermögen und Reaktionsverhalten des Fahrers in unterschiedlichen Situationen möglichst korrekt vorherzusagen. Um bessere Vorhersagen darüber treffen zu können, wie ein bestimmter Fahrer auf eine bestimmte Situation wahrscheinlich reagieren wird und darauf basierend die Fahrzeugelektronik zu steuern, werden Personen in Fahrsimulatoren vermessen, um die Reaktionen und das

Verhalten der Personen in unterschiedlichen Verkehrssituationen zu ermitteln.

Um verlässliche Ergebnisse zu erhalten, werden mehrere Personen einem jeweils gleichen Fahrszenario im Fahrsimulator ausgesetzt und deren physiologische Reaktion im Verlauf des Fahrszenarios gemessen und so eine statistische Auswertung ermöglicht, die ein normales Verhalten aber auch Abweichungen beschreiben kann.

Hierdurch werden die Daten eines Fahrszenarios ergänzt oder vervollständigt.

Daten eines Fahrszenarios können grundsätzlich den drei Bereichen Fahrer (driver D), Fahrzeug (vehicle V) und Umgebung (environment E) zugeordnet werden. Zu den Daten des Bereichs Fahrer sind insbesondere die physiologischen Daten zuzuordnen. Dem Bereich Fahrzeug sind insbesondere technische Fahrzeugdaten wie aktuelle Geschwindigkeit, Beschleunigung, Verbrauch, technische Ausstattung oder auch Vorhandensein von Fehlfunktionen und/oder Defekten im oder am Fahrzeug zuzuordnen. Dem Bereich Umgebung gehören insbesondere Daten zu Wetterbedingungen, Fahrbahnbedingungen, Überhohlmanövern, Bremsmanövern oder auch Daten zur Übergabe der Fahrzeugkontrolle zwischen Fahrer und

autonomem Fahrsystem an.

Das Fahrszenario umfasst diese Daten über einen Zeitraum während dessen ein Fahrer das Fahrzeug führt. Während des Zeitraums können verschiedene Szenarien auftreten. Die Szenarien können alle aus dem Straßenverkehr bekannte Situationen umfassen, wie beispielsweise Situationen im Stadtverkehr, auf einer Landstraße, auf der Autobahn, Situationen mit und ohne andere/n Verkehrsteilnehmern, bei unterschiedlichen Lichtbedingungen und andere. Insbesondere gehören zu einem Fahrszenario auch kritische Situationen, beispielsweise solche, die zu einem Unfall

führen oder führen können.

Die Daten des Fahrszenarios werden in eine Datenbank eingepflegt, was eine statistische Auswertung ermöglicht. Mittels der Datenbank kann eine wahrscheinliche Reaktion eines Fahrers auf eine Fahrsituation besser abgeschätzt werden. Derartige Datenbanken werden genutzt, um (teil-Jautonome Fahrsysteme weiterzuentwickeln. Hierzu gehört die Weiterentwicklung in der Konzeptphase, der Entwicklungs- und

Optimierungsphase und der Verifizierungs- und Validierungsphase.

Grundsätzlich werden zur Weiterentwicklung der _Fahrassistenzsysteme

physiologische Personendaten verwendet. Zu den physiologischen Personendaten

gehören Daten, die zu Körperfunktionen eines Fahrers in Bezug stehen. Hierzu können beispielsweise Pulsfrequenz, Atemfrequenz, Liedschlagfrequenz, Blickrichtung, Kopfneigung des Fahrers, oder andere in Bezug zu Körperfunktionen stehende Daten gehören. Derartige Daten sind in Abhängigkeit der Verkehrssituation variabel. Aber auch während einer Fahrsituation konstante Daten wie Geschlecht, Größe oder Alter der das Fahrzeug führenden Person gehören zu den physiologischen

Daten.

Es ist besonders hilfreich, wenn Simulationsdaten möglichst in Abhängigkeit von persönlichen Eigenschaften der Fahrer vorliegen. Hierdurch kann für unterschiedliche Personen eine individuelle Einschätzung der Reaktion erfolgen, beispielsweise in Abhängigkeit von Alter, Geschlecht, Größe, und/oder anderen persönlichen Eigenschaften. Beispielsweise ist bekannt, dass manche Personen sich erschrecken, wenn sie ein Fahrzeug führen und der Spurhalteassistent aktiviert wird. Die Erkennung

solcher Situationen ist hilfreich zur Weiterentwicklung von Fahrassistenzsystemen.

Physiologische Daten gehören zu den persönlichen Daten gemäß Artikel 9 der EUDatenschutz Grundverordnung und sind als solche besonders schutzwürdig. Bei deren Verarbeitung müssen daher besondere Regelungen eingehalten werden, was mit hohem Aufwand verbunden ist. Dies macht den Umgang mit diesen Daten teuer und allein die Aufnahme und Speicherung persönlicher Daten beinhaltet selbst bei Einhaltung von hohen Sicherheitsstandards immer ein Datenverlustrisiko. Eine Anonymisierung der Daten reicht zur Umgehung dieser Problematik grundsätzlich nicht aus bzw. ist oft nicht möglich, da einige dieser Daten, beispielsweise die Herzfrequenz, jeder Person so individuell ist, dass sie für sogenanntes „fingerprinting“, also für einen individuellen Rückschluss auf die Person, genutzt werden kann. Es ist ebenfalls nicht zweckdienlich die Daten durch Hinzufügen von Rauschen so zu verändern, dass ein derartiger Rückschluss nicht mehr gezogen werden kann. Durch eine derartige Veränderung wäre zwar ein Rückschluss auf eine bestimmte Person potenziell nicht mehr möglich, die Daten würden aber auch derart verändert werden, dass auch die Ergebnisse der statistischen Auswertung durch das Fahrassistenzsystem verändert wären und somit im kritischsten Fall ein auf diesen Trainingsdaten basierendes Fahrassistenzsystem die Fahrsicherheit potenziell nicht

mehr gewährleisten könnte.

Ausgehend von diesem Stand der Technik ist es eine Aufgabe der Erfindung, die oben

genannten Probleme zu lösen. Beschreibung der Erfindung Die Erfindung löst das Problem durch ein Verfahren nach Anspruch 1.

Die Erfindung liefert gemäß einem ersten Aspekt ein computerimplementiertes

Verfahren zum Betreiben einer _Fahrsimulation zum Testen eines Fahrassistenzsystems, umfassend die Schritte: a) Bereitstellen von einem Messdatensatz aus einer _Fahrszenariomessung, der Fahrzeugdaten, Umgebungsdaten und zu mMehreren Personen zugehörige physiologische Personendaten und persönliche Einschätzungsdaten umfasst; b) Bereitstellen eines Generators mit einer Konfiguration zur Erzeugung eines synthetischen Datensatzes; c) Bereitstellen einer Eingabe für den Generator, wobei die Eingabe den Messdatensatz oder eine Teilmenge des Messdatensatzes umfasst; d) Erzeugen eines synthetischen Datensatzes, der synthetische physiologische Daten und synthetische Einschätzungsdaten, die jeweils eine Entsprechung des Messdatensatzes sind, umfasst, und durch wenigstens ein Personenmerkmal festgelegt sind mit dem Generator; und e) Ausführen einer Fahrsimulation mit dem Generator, wobei ein Fahrzeugverhalten und eine Fahrzeugumgebung vorgegeben

sind.

Gemäß einem zweiten Aspekt liefert die Erfindung ein computerimplementiertes Verfahren zum Betreiben einer _Fahrsimulation zum Testen eines Fahrassistenzsystems, umfassend die Schritte: a) Bereitstellen von einem Messdatensatz aus einer _Fahrszenariomessung, der Fahrzeugdaten, Umgebungsdaten und zu mMehreren Personen zugehörige physiologische Personendaten und persönliche Einschätzungsdaten umfasst; b) Bereitstellen eines Generators mit einer Konfiguration zur Erzeugung eines synthetischen Datensatzes; c) Bereitstellen einer Eingabe für den Generator, wobei die Eingabe den Messdatensatz oder eine Teilmenge des Messdatensatzes umfasst; d) Erzeugen eines synthetischen Datensatzes, der synthetische Fahrzeugdaten und synthetische Umgebungsdaten, die jeweils eine Entsprechung des Messdatensatzes sind, umfasst,

und durch wenigstens eine Eigenschaft des Fahrzeugverhaltens festgelegt sind mit

dem Generator; und e) Ausführen einer Fahrsimulation mit dem Generator, wobei

physiologische Personendaten und persönliche Einschätzungsdaten vorgegeben sind.

Fahrsimulationen bestehen grundsätzlich aus einer Kombination aus Hardware und Software und können zum Testen von Fahrassistenzsystemen genutzt werden. Die Hardware wird als Fahrsimulator bezeichnet und kann mit Personen oder mit Daten betrieben werden, die eine Person simulieren. In einer Fahrsimulation wird eine vereinfachte Darstellung der Realität durch ein Simulationsmedium einem realen oder virtuellen Fahrer präsentiert und dessen Reaktion aufgezeichnet. Hierbei können dem realen oder virtuellen Fahrer eine Vielzahl unterschiedlicher Fahraufgaben präsentiert werden. Die Fahraufgaben können so gestellt sein, dass ein Fahrassistenzsystem vorhanden ist, oder nicht. Von besonderem Interesse sind zu messende Unterschiede zwischen den Reaktionen von Fahrer auf bestimmte Fahrsituationen, bei denen unterschiedlich konfigurierte Fahrassistenzsysteme in das simulierte Fahrgeschehen

eingreifen.

Ein Messdatensatz aus einer Fahrszenariomessung umfasst zu mehreren Personen zugehörige physiologische Personendaten. Hierzu gehören zu einer jeweiligen Person zugehörige Daten wie Größe, Alter, Gewicht, Geschlecht, aber auch medizinische Daten wie Ruhepuls, elektrodermale Aktivität, ein Pupillenbewegungsprofil oder eine Atemfrequenz umfassen, gegebenenfalls jeweils zugeordnet zu bestimmten

Situationen wie Ruhe, Stress, körperlicher Anstrengung etc.

Fahrzeugdaten umfassen Daten wie eine aktuelle Geschwindigkeit, Beschleunigung, Verbrauch, technische Ausstattung des Fahrzeugs oder auch Vorhandensein von

Fehlfunktionen und/oder Defekten im oder am Fahrzeug.

Umgebungsdaten können insbesondere Daten zu _Wetterbedingungen, Fahrbahnbedingungen, Überhohlmanövern, Bremsmanövern oder auch Daten zur Übergabe der Fahrzeugkontrolle zwischen Fahrer und autonomem Fahrsystem

umfassen.

Zu den persönlichen Einschätzungsdaten um sämtliche Daten die von Personen auf Fragebögen in Zusammenhang mit einer Fahrsimulation abgefragt werden. Häufig werden hier Einschätzungen der Personen zum persönlichen Fahrverhalten und zu

Fahrsimulationen abgefragt. Mit den persönlichen Einschätzungsdaten können

Personen in Fahrergruppen eingeteilt werden, wie beispielsweise vorsichtige Fahrer, sportliche Fahrer, Vielfahrer oder Gelegenheitsfahrer. Ebenfalls relevant sind persönliche Einschätzungsdaten, die der Fahrer als Einschätzung auf eine simulierte

Fahrsituation gibt.

Ein Generator mit einer Konfiguration zur Erzeugung eines synthetischen Datensatzes ist eine Software, die aus einer Eingabe mit einem generativen Verfahren eine Ausgabe mit einer bestimmten Struktur erzeugt. Im Stand der Technik existieren verschiedene generative Verfahren, die für Generatoren genutzt werden können. Erfindungsgemäß war Generator erzeugt Daten, die die Struktur des Datensatzes aus einer Fahrszenariomessung haben. Neben der gleichen Struktur weisen diese generierten Daten auch gleiche statistische Eigenschaften, wie Mittelwerte, Verteilungen, Streuung, etc. auf, wobei sich die einzelnen erzeugten Daten

grundsätzlich jeweils von denen gemessener Datensätze unterscheiden.

Zur Generation eines synthetischen Datensatzes wird eine Eingabe benötigt. Erfindungsgemäß wird als Eingabe der Messdatensatz oder eine Teilmenge des Messdatensatzes genutzt. Durch die Eingabe kann die Struktur der Ausgabe festgelegt werden. Da die Nutzung der Messdaten durch synthetische Datensätze ersetzt werden soll, ist die Nutzung von einem Messdatensatz oder einer Teilmenge

des Messdatensatzes vorteilhaft, um eine entsprechende Struktur zu erzeugen.

Bei der Erzeugung eines synthetischen Datensatzes wird mit dem Generator aus der Eingabe ein Datensatz erzeugt, der in bestimmten statistischen Parametern der Eingabe entspricht. Die einzelnen Daten, die in dem synthetischen Datensatz erzeugt werden, unterscheiden sich von den Einzeldaten der Eingabe. Die statistischen Eigenschaften des synthetischen Datensatzes geben dagegen die Eigenschaften des Messdatensatzes wieder. Als synthetische Daten werden jeweils solche Daten bezeichnet, die künstlich erzeugt worden sind und nicht auf einer Messung beruhen. Ein Personenmerkmal kann beispielsweise ein Geschlecht, ein Altersbereich der Personen oder ein Personenmerkmal aus der persönlichen Einschätzung sein. Mit der Eingabe wird der Raum aufgespannt, in dem die generierten, synthetischen

Datensätze liegen können.

Beim Ausführen der Fahrsimulation gemäß dem ersten Aspekt wird ein Fahrzeugverhalten, also beispielsweise die Geschwindigkeit des Fahrzeugs sowie eine Fahrzeugumgebung, die unter anderem eine Straßenführung umfasst, vorgegeben. Hierbei kann die Reaktion eines Fahrers, die insbesondere Stress umfassen kann, nachgebildet werden. Durch die Vorgabe des Fahrzeugverhaltens und der Fahrzeugumgebung werden unterschiedliche Sichtweisen auf dieselben Daten

genutzt, wobei jede unterschiedliche Sichtweise andere Daten erzeugt.

Das Ergebnis der Ausführung der Fahrsimulation gemäß dem ersten Aspekt sind Datensätze mit zeitabhängigen physiologischen Daten, die Reaktionen von Fahrern auf unterschiedliche Fahrsituationen enthalten und persönliche Einschätzungsdaten. Die mit dem Generator erzeugten synthetischen Datensätze sind nach der Erzeugung grundsätzlich lückenhaft. Durch die Fahrsimulation können die Lücken gefüllt werden. An den identisch oder gleich vorhandenen Daten in der mit dem Generator erzeugten synthetischen Datensatz und den Datensatz der Fahrsimulation kann das Ergebnis der Simulation, bei Übereinstimmung innerhalb vorgegebener Grenzen, validiert werden. Die mit dem Verfahren erzeugten Datensätze eignen sich dazu, Fahrassistenzsysteme

zu entwickeln, die sich an bestimmte Fahrereigenschaften anpassen lassen.

Das Verfahren gemäß dem zweiten Aspekt der Erfindung unterscheidet sich von dem Verfahren gemäß dem ersten Aspekt der Erfindung in den Schritten d) und e). In Schritt d) ist der synthetische Datensatz nicht durch ein Personenmerkmal, sondern durch wenigstens eine Eigenschaft des Fahrzeugverhaltens und/oder eine Eigenschaft der Umgebung festgelegt. Die Eigenschaft des Fahrzeugverhaltens kann beispielsweise eine Geschwindigkeit, eine Beschleunigung oder eine Verzögerung, also ein Bremsverhalten sein. Eine Eigenschaft der Umgebung kann beispielsweise die Luftfeuchtigkeit, Lichtverhältnisse oder Wetterbedingungen sein. In Schritt e) wird die Fahrsimulation mit dem Generator ausgeführt, wobei nun physiologische Personendaten und persönliche Einschätzungsdaten vorgegeben sind. Das Ergebnis der Fahrsimulation sind in diesem Fall Daten des Fahrzeugverhaltens. Die beiden Verfahren gemäß dem ersten Aspekt und dem zweiten Aspekt sind somit zwei unterschiedliche Anwendungsfälle der gleichen Idee. Im ersten Anwendungsfall wird die Fahrsimulation auf Basis von Fahrzeugdaten ausgeführt, wobei mit der Fahrsimulation physiologische Personendaten, insbesondere Stressdaten, erzeugt

7

werden. Im zweiten Anwendungsfall wird die Fahrsimulation auf Basis von physiologischen Personendaten, also insbesondere Stress durchgeführt, wobei mit der Fahrsimulation Fahrzeugdaten erzeugt werden. Die beiden Verfahren gemäß dem ersten und dem zweiten Aspekt der Erfindung stellen somit Alternativiösungen zur

Behebung der eingangs genannten Probleme dar.

In einer besonderen Ausführungsform der Erfindung kann vorgesehen sein, dass das Verfahren ferner den Schritt umfasst: Auswählen von einer Teilmenge des Messdatensatzes durch Vorgeben eines Fahrzeugverhaltens, und/oder einer Fahrzeugumgebung und wenigstens eines Personenmerkmals. Mit dem Auswählen einer Teilmenge des Messdatensatzes wird der Raum, in dem synthetische Daten erzeugt werden können, eingeschränkt. Hierdurch können auf besonders effiziente Weise bestimmte synthetische Daten erzeugt werden, wie etwa nur für eine Gruppe von bestimmten Menschen, beispielsweise nur für Männer, Frauen oder Personen

einer bestimmten Altersgruppe.

Vorzugsweise kann vorgesehen sein, dass die Konfiguration des Generators einen

Transformer umfasst.

Transformer gehören zu den Deep-Learning-Architekturen. Ein Transformer umfasst in Serie geschaltete Kodierer (Encoder) und in Serie geschaltete Dekodierer (Decoder). Die Eingabesequenz wird durch eine sogenannte Embedding-Schicht in eine Vektorrepräsentation überführt. Die Gewichte der Embedding-Schicht werden

während eines Trainings angepasst.

In einer besonders vorteilhaften Ausführungsform umfasst die Konfiguration des

Generators ein Generative Adversarial Network (GAN).

Die zur Erzeugung der Datensätze verwendeten GANs sind aus Stand der Technik bekannt. GANs nutzen zwei unterschiedliche Neuronale Netzwerke, die gegeneinander arbeiten. Ein erstes neuronales Netzwerk, genannt Generator, erzeugt aus einer Eingabe Datensätze. In der einfachsten Form kann die Eingabe ein zufälliges Rauschen sein. Aber auch andere Eingaben mit zufälligen Anteilen sind möglich. Die zufälligen Anteile der Eingabe sorgen dafür, dass jeder neu erzeugte Datensatz ebenfalls im Wesentlichen zufällig ist. Weiterhin ist die Anzahl der möglichen zu

erzeugenden Datensätze aus stochastischen Gründen nahezu unbegrenzt, was dazu

führt, dass sich jeder erzeugte Datensatz der Ausgabe von jedem anderen bisher erzeugten Datensatz unterscheidet. Ein zweites neuronales Netzwerk, genannt Diskriminator, klassifiziert die Ergebnisse des Generators. Der Diskriminator lernt die Verteilung der Fahrassistenzdatensätze und gibt eine Wahrscheinlichkeit zwischen 0 und 1 dafür aus, ob ein vom Generator erzeugter Datensatz einem echten Datensatz entspricht. Ein idealer Generator würde Datensätze erzeugen, die vom Diskriminator mit einer Wahrscheinlichkeit von 0,5 als echter Datensatz erkannt werden, also für den Diskriminator ununterscheidbar sind. Als künstliches neuronales Netz wird der Generator zunächst konstruiert und lernt anschließend während der Trainingsphase. Der Generator wird während der Trainingsphase dahingehend trainiert, Datensätze zu erzeugen, die den Diskriminator täuschen sollen, also Datensätze zu erzeugen, die der Verteilung der durch Messung erzeugten Datensätze möglichst nahekommen. Der Diskriminator versucht, die erzeugten Datensätze von den durch Messung erzeugten Datensätzen zu unterscheiden. Auf diese Weise gleicht sich die Verteilung des vom GAN erzeugten Datensatz dem durch Messung erzeugten Datensatz an. Aufgrund der sehr großen Anzahl von möglichen Datensätzen ist es praktisch ausgeschlossen, dass ein vom GAN erzeugter Datensatz einem durch Messung erzeugten Datensatz

entspricht.

Weitere Vorteile können erreicht werden, wenn vorgesehen ist, dass die Konfiguration

des Generators einen Autoencoder umfasst.

Ein Autoencoder ist ein künstliches neuronales Netz, das dazu genutzt wird, effiziente Kodierungen zu erlernen. Das Ziel des Autoencoders ist es, eine komprimierte Repräsentation für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren. Autoencoder bieten eine besonders effiziente Möglichkeit einen

Generator zu konfigurieren.

Weiter vorzugsweise kann vorgesehen sein, dass die Konfiguration des Generators

ein Deep Convolutional Generative Adversarial Neural Network (DCGAN) umfasst.

Ein DCGAN ist eine direkte Erweiterung des GAN, mit dem Unterschied, dass es explizit Faltungsschichten und faltungstransponierte Schichten im Diskriminator und im Generator verwendet. Die genaue Funktionsweise des DCGAN ist dem Fachmann

aus der Fachliteratur bekannt.

In einer weiteren besonderen Ausführungsform der Erfindung ist vorgesehen, dass die Personendaten Datenpaare aus einem Zeitpunkt und mindestens einem physiologischen Parameter umfassen.

Über den Zeitpunkt ist es vorzugsweise möglich, den physiologischen Parameter mit

einem Zeitpunkt in der Fahrsimulation zu korrelieren.

Vorteilhafterweise umfasst der mindestens eine physiologische Parameter eine

durchschnittliche Herzfrequenz.

Die Herzfrequenz kann beispielsweise über dermale Sensoren am Lenkrad, über einen Brustgurt oder optisch über einen Handgelenksensor bestimmt werden.

Weiterhin kann bei dem Verfahren vorgesehen sein, dass der mindestens eine physiologische Parameter eine elektrische Muskelaktivität umfasst. Eine elektrische Muskelaktivität kann aufgezeichnet werden, indem dünne Elektroden durch die Haut in den Muskel gestochen werden. Hierdurch kann die elektrische Aktivität direkt im Inneren des Muskels gemessen werden. Alternativ ist möglich, flache Elektroden auf die Haut zu kleben. Hierdurch wird die elektrische Muskelaktivität an der

Hautoberfläche gemessen.

Alternativ oder zusätzlich kann vorgesehen sein, dass der mindestens eine

physiologische Parameter eine elektrodermale Aktivität umfasst.

Die elektrodermale Aktivität bezeichnet ein kurzes Absinken des elektrischen Leitungswiderstand der Haut, bewirkt durch eine typische Erhöhung des Sympathikotonus bei emotional-affektiven Reaktionen. Dabei kommt es zu einer erhöhten Schweißsekretion entsprechend zu einer Zunahme der Hautleitfähigkeit. Mithilfe von Messungen der elektrodermalen Aktivität lassen sich psychophysiologische Zusammenhänge objektivieren, da jede physiologische Erregung, wie sie mit Emotionen oder Stress einhergeht, die Hautleitfähigkeit

verändert.

In einer weiteren besonderen Ausführungsform der Erfindung umfasst der mindestens

eine physiologische Parameter eine Pupillenbewegung.

10

Die Pupillenbewegung kann beispielsweise über eine im Frontbereich des Fahrzeugs angebrachte Kamera oder eine zu diesem Zweck konfigurierte Brille erfasst und über eine entsprechende Software automatisch ausgewertet werden.

Gemäß einem zweiten Aspekt liefert die Erfindung ein Verfahren zum Entwickeln eines Fahrassistenzsystems, umfassend die Schritte: aa) Durchführen eines Verfahrens nach einem der Ansprüche 1 bis 10; bb) Variieren des in Schritt e) vorgegebenen Fahrzeugverhaltens und/oder der vorgegebenen Fahrzeugumgebung; cc) Erneutes Durchführen des in Schritt aa) gewählten Verfahrens mit den in Schritt bb) varriierten Parametern des vorgegebenen Fahrzeugverhaltens und/oder der vorgegebenen Fahrzeugumgebung; dd) Vergleichen der Ergebnisse aus Schritt aa) und Schritt cc);

und ee) Ableiten einer Konfiguration des Fahrassistenzsystems aus dem Vergleich.

Mit den Verfahren gemäß dem zweiten Aspekt der Erfindung ist es möglich, ein Fahrassistenzsystem unter verschiedenen Bedingungen zu testen und die simulierten Reaktionen von synthetischen Testpersonen unter verschiedenen Bedingungen zu vergleichen. Aus dem Vergleich können Konfigurationen des Fahrassistenzsystems abgeleitet werden, die in bestimmten Fahrsituationen und/oder bei bestimmten Fahrern eine bessere Reaktion des Fahrassistenzsystems ermöglichen. Eine bessere Reaktion kann hierbei beispielsweise bedeuten, dass eine Unfallgefahr reduziert wird und/oder weniger Stress beim Fahrer ausgelöst wird. Hierdurch wird auf besonders effiziente Weise ermöglicht, ein Fahrassistenzsystem zu testen, anzupassen und

damit weiterzuentwickeln.

Gemäß einem dritten Aspekt liefert die Erfindung einen Fahrsimulator, der dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche

durchzuführen.

Der Fahrsimulator ist eine Simulationssoftware oder Vorrichtung, die zum Simulieren des Fahrprozesses verwendet wird. Der Fahrsimulator umfasst eine Recheneinheit, auf der ein Verfahren gemäß dem ersten oder zweiten Aspekt der Erfindung ausgeführt werden kann und kann Peripheriegeräte wie beispielsweise ein Lenkrad, Pedale und Steuerknüppel sowie Sensoren zur Aufnahme von physiologischen

Personendaten umfassen.

11

Gemäß einem vierten Aspekt liefert die Erfindung ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.

Gemäß einem fünften Aspekt liefert die Erfindung einen computerlesbaren

Datenträger, auf dem das Computerprogramm nach Anspruch 13 gespeichert ist.

Gemäß einem sechsten Aspekt liefert die Erfindung ein Datenträger Signal, dass das

Computerprogramm nach Anspruch 13 überträgt.

Gemäß einem siebten Aspekt liefert die Erfindung einen Datensatz, der mit einem Verfahren nach einem der Ansprüche 1 bis 11 erzeugt worden ist.

Weitere Vorteile und Merkmale gehen aus der nachfolgenden Beschreibung der bevorzugten Ausführungsbeispiele in Bezug auf die Figuren hervor. Hierbei

zeigt/zeigen:

Fig. 1 einen Verlauf eines Verfahrens zur Erzeugung eines synthetischen

Datensatzes gemäß einer besonderen Ausführungsform der Erfindung;

Fig. 2 eine schematische Darstellung eines Fahrsimulators zum Betreiben einer

Fahrsimulation während des Betriebs mit einer Testperson.

Fig. 1 zeigt einen Verlauf eines Verfahrens 10 zum Betreiben einer Fahrsimulation

gemäß einer besonderen Ausführungsform der Erfindung.

In einem ersten Schritt 12 des Verfahrens 10 wird ein erster Datensatz bereitgestellt. Der Datensatz stammt aus einer Fahrszenariomessung und umfasst Fahrzeugdaten, Umgebungsdaten und zu mMehreren Personen zugehörige physiologische Personendaten und persönliche Einschätzungsdaten der Testpersonen. Diese persönlichen Daten der Testpersonen fallen grundsätzlich unter die Vorschriften des Artikel 9 DSGVO. Ein solcher Datensatz kann dadurch bereitgestellt werden, dass Testpersonen in einem Fahrsimulator wie er in Figur 2 dargestellt ist, eine

Fahrsimulation ausführen und vermessen werden.

In einem zweiten Schritt 14 des Verfahrens 10 wird ein Generator bereitgestellt, der eine Konfiguration zur Erzeugung eines synthetischen Datensatzes aufweist. Die Konfiguration des Generators kann ein Generative Adversarial Network (GAN), ein Deep Convolutional Generative Adversarial Network (DCGAN), einen Autoencoder

12

oder eine andere Einrichtung, die ein generatives Verfahren ausführt, umfassen. GANs und DCGANs basieren auf Künstlichen Neuronalen Netzen, die nach einem Training

zur Erzeugung von Datensätzen genutzt werden können.

In einem dritten Schritt 16 des Verfahrens 10 wird eine Eingabe für den Generator bereitgestellt. Die Eingabe umfasst den Messdatensatz oder zumindest eine Teilmenge des Messdatensatzes. Ein Messdatensatz kann Messdaten von mehreren unterschiedlichen Gruppen enthalten. Die unterschiedlichen Gruppen können Kategorien unterschiedlicher Altersstufen aufweisen, beispielsweise Altersstufen von 18 bis 29, von 30 bis 45 und von 46 bis 60. Daneben kann der Messdatensatz auch Kategorien wie Männer und Frauen oder Menge der Fahrerfahrung enthalten. Die Eingabe für den Generator spannt den Ergebnisraum auf, in dem die erzeugten, synthetischen Daten liegen können. Ein großer Messdatensatz als Eingabe ermöglicht erzeugte synthetische Datensätze, die ebenfalls in einem großen Raum liegen. Wird nach der Bereitstellung des Messdatensatzes ein optionaler Schritt durchgeführt, in dem eine Teilmenge des Messdatensatzes ausgewählt wird, kann die Fahrsimulation explizit für diese ausgewählte Teilmenge durchgeführt werden. Hierdurch kann eine Fahrsimulation beispielsweise explizit für Männer zwischen 18 bis 29 Jahren mit wenig Fahrerfahrung durchgeführt werden. Selbstverständlich ist auch eine andere Gruppenauswahl möglich. Mit der Auswahl der Teilmenge des Messdatensatz besteht somit die Möglichkeit, das Verfahren explizit für die ausgewählte Personengruppe

durchzuführen.

In einem vierten Schritt 18 wird ein synthetischer Datensatz mit dem Generator erzeugt. Der synthetische Datensatz umfasst mehrere synthetische physiologische Daten und synthetische Einschätzungsdaten. Synthetische physiologische Daten und synthetische Einschätzungsdaten sind Personendaten, die nicht zu realen Personen, sondern zu künstlich erzeugten, also synthetischen Personen zugehörig sind. Die synthetischen physiologischen Daten und die synthetische Einschätzungsdaten können mit gleichen Indikatoren beschrieben werden, wie physiologische Personendaten und persönliche Einschätzungsdaten von realen Personen. Dies bedeutet, dass die gleichen statistischen Auswertungen an den synthetischen Daten

durchgeführt werden können, wie an den zu realen Personen zugehörigen Daten.

13

In einem fünften Schritt 20 wird eine Fahrsimulation mit dem synthetischen Datensatz durchgeführt. Für die Fahrsimulation wird ein Fahrverhalten und eine Fahrzeugumgebung vorgegeben. Die synthetischen Daten sind grundsätzlich nicht vollständig, sondern weisen nach ihrer Erzeugung Lücken auf. Mit der Fahrsimulation wird ein weiterer Datensatz erzeugt, mit dem diese Lücken aufgefüllt und so der mit dem Generator erzeugte synthetische Datensatz vervollständigt werden. Es kann notwendig sein, mehrere Fahrsimulationen mit dem synthetischen Datensatz durchzuführen, bei denen jeweils ein unterschiedliches Fahrzeugverhalten und/oder eine unterschiedliche Fahrzeugumgebung vorgegeben wird. Sofern ein hohes Maß an Übereinstimmung zwischen den vorhandenen Daten des synthetischen Datensatzes und den in der Fahrsimulation erzeugten Daten besteht, kann der synthetische Datensatz mit den in der Fahrsimulation erzeugten Daten ergänzt werden. Sofern eine nicht ausreichende Übereinstimmung zwischen den erzeugten Daten besteht, wird eine Simulation mit einem anderen Fahrzeugverhalten und/oder einer anderen Fahrzeugumgebung durchgeführt. Das Betreiben der Fahrsimulation mit dem synthetischen Datensatz ermöglicht, die Messdaten in dem Messdatensatz aus der Fahrszenariomessung vollständig zu ersetzen. Die nach Art. 9 DSGVO notwendigen Verpflichtungen zur Aufbewahrung persönlicher Daten entfallen hierdurch. Die Erzeugung von unterschiedlichen Fahrszenariodaten wird ebenfalls vereinfacht. Weiterhin werden die Ergebnisse eines Fahrassistenzsystems, mit den durch das erfindungsgemäße Verfahren erzeugten Daten gegenüber Daten aus einer

Fahrszenariomessung nicht verändert.

Fig. 2 zeigt eine schematische Darstellung eines Fahrsimulators 28 zum Betreiben einer Fahrsimulation, während einer Fahrszenariomessung mit einem Fahrer 30, der die Fahrszenariomessung durchführt. Der Fahrsimulator 28 ähnelt dem Cockpit eines PKW und umfasst einen Fahrersitz 32, in dem der Fahrer 30, während der Fahrszenariomessung sitzt, einen Brustgurt 34, der dazu eingerichtet ist, die Atmung und/oder den Herzschlag aufzuzeichnen und ein Display 36, auf dem eine Fahrsimulation dargestellt wird. Der Fahrersitz ist über ein Hydrauliksystem (nicht gezeigt) beweglich gelagert und kann Bewegungen nachbilden, die ein Fahrzeug in einer der auf dem Display 36 dargestellten Fahrsimulation entsprechenden Situation

machen würde. Mit einem Eye-Tracker 38 werden während der Fahrsimulation Daten

14

zu Pupillenbewegungen und Lidschluss des Fahrers 30 aufgezeichnet. Auf einem Armaturenbrett 40 des Fahrsimulators 28 werden während der Fahrsimulation Fahrzeugdaten, wie beispielsweise Geschwindigkeit, Drehzahl, Tankfüllung oder Warnungen dargestellt. Über ein separates Display 44 werden dem Fahrer 30 Fragen zu seiner persönlichen Einschätzung der Situation präsentiert. Mit einer Kamera 46 werden Bewegungen des Fahrers 30 während der Fahrsimulation aufgezeichnet. Vorzugsweise ist die Kamera 46 hierzu eine time-of-flight-Kamera (ToF-Kamera), die über ein Laufzeitverfahren Distanzen messen kann. Mit einem Handgelenksensor 48 wird der Puls und die Hautleitfähigkeit des Fahrers 30 gemessen. Alle gemessenen Daten werden miteinander und mit der Fahrsimulation zeitlich synchronisiert, um eine spätere Auswertung in Abhängigkeit voneinander zu ermöglichen. über ein Aufnahmesystem (nicht gezeigt) werden die Daten aufgezeichnet und zusammengeführt. Eine Recheneinheit (nicht explizit dargestellt) ermöglicht eine Weiterverarbeitung der aufgenommenen Daten entsprechend eines

der erfindungsgemäßen Verfahren.

15

Bezugszeichenliste

10

12

14

16

18

20

28

30

32

34

36

38

40

42

44

46

48

Verfahren erster Schritt zweiter Schritt dritter Schritt vierter Schritt fünfter Schritt Fahrsimulator Fahrer Fahrersitz Brustgurt Display Eye-Tracker Armaturenbrett Lenkrad Display Kamera

Handgelenksensor

16

Claims

Ansprüche:

.. Computerimplementiertes Verfahren (10) zum Betreiben einer Fahrsimulation zum

Testen eines Fahrassistenzsystems, umfassend die Schritte:

a) Bereitstellen von einem Messdatensatz aus einer Fahrszenariomessung, der Fahrzeugdaten, Umgebungsdaten und zu mehreren Personen zugehörige

physiologische Personendaten und persönliche Einschätzungsdaten umfasst;

b) Bereitstellen eines Generators mit einer Konfiguration zur Erzeugung eines

synthetischen Datensatzes;

c) Bereitstellen einer Eingabe für den Generator, wobei die Eingabe den

Messdatensatz oder eine Teilmenge des Messdatensatzes umfasst;

d) Erzeugen eines synthetischen Datensatzes, der synthetische physiologische Daten und synthetische Einschätzungsdaten, die jeweils eine Entsprechung des Messdatensatzes sind, umfasst, und durch wenigstens ein Personenmerkmal

festgelegt sind mit dem Generator; und

e) Ausführen einer Fahrsimulation mit dem Generator, wobei ein Fahrzeugverhalten

und eine Fahrzeugumgebung vorgegeben sind.

.. Computerimplementiertes Verfahren (10) zum Betreiben einer Fahrsimulation zum

Testen eines Fahrassistenzsystems, umfassend die Schritte:

a) Bereitstellen von einem Messdatensatz aus einer Fahrszenariomessung, der Fahrzeugdaten, Umgebungsdaten und zu mehreren Personen zugehörige

physiologische Personendaten und persönliche Einschätzungsdaten umfasst;

b) Bereitstellen eines Generators mit einer Konfiguration zur Erzeugung eines

synthetischen Datensatzes;

c) Bereitstellen einer Eingabe für den Generator, wobei die Eingabe den Messdatensatz oder eine Teilmenge des Messdatensatzes umfasst;

d) Erzeugen eines synthetischen Datensatzes, der synthetische Fahrzeugdaten und

synthetische Umgebungsdaten, die jeweils eine Entsprechung des

17

Messdatensatzes sind, umfasst, und durch wenigstens eine Eigenschaft des

Fahrzeugverhaltens festgelegt sind mit dem Generator; und

e) Ausführen einer Fahrsimulation mit dem Generator, wobei physiologische

Personendaten und persönliche Einschätzungsdaten vorgegeben sind.

3. Verfahren (10) nach Anspruch 1 oder 2, wobei das Verfahren ferner den Schritt

umfasst:

Auswählen von einer Teilmenge des Messdatensatzes durch Vorgeben eines Fahrzeugverhaltens, und/oder einer Fahrzeugumgebung und wenigstens eines

Personenmerkmals.

4. Verfahren (10) nach einem der vorhergehenden Ansprüche, wobei die Konfiguration

des Generators einen Transformer umfasst.

5. Verfahren (10) nach einem der vorhergehenden Ansprüche, wobei die physiologischen Personendaten Datenpaare aus einem Zeitpunkt und mindestens

einem physiologischen Parameter umfassen.

6. Verfahren (10) nach einem der vorhergehenden Ansprüche, wobei der mindestens

eine physiologische Parameter eine durchschnittliche Herzfrequenz umfasst.

7. Verfahren (10) nach einem der vorhergehenden Ansprüche 2 oder 3, wobei der

mindestens eine physiologische Parameter eine elektrische Muskelaktivität umfasst.

8. Verfahren (10) nach einem der Ansprüche 2 bis 4, wobei der mindestens eine physiologische Parameter eine elektrodermale Aktivität umfasst.

9. Verfahren (10) nach einem der Ansprüche 2 bis 5, wobei der mindestens eine

physiologische Parameter eine Pupillenbewegung umfasst. 10. Verfahren zum Entwickeln eines Fahrassistenzsystems, umfassend die Schritte:

aa) Durchführen eines Verfahrens (10) nach einem der vorhergehenden

Ansprüche;

bb) Variieren des in Schritt e) vorgegebenen Fahrzeugverhaltens und/oder der

vorgegebenen Fahrzeugumgebung;

18

cc) Erneutes Durchführen des in Schritt aa) gewählten Verfahrens mit den in Schritt bb) varriierten Parametern des vorgegebenen Fahrzeugverhaltens und/oder der vorgegebenen Fahrzeugumgebung;

dd) Vergleichen der Ergebnisse aus Schritt aa) und Schritt cc); und ee) Ableiten einer Konfiguration des Fahrassistenzsystems aus dem Vergleich.

11. Fahrsimulator (28), umfassend Mittel zur Ausführung eines Verfahrens nach einem

der vorhergehenden Ansprüche.

12. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen das Verfahren nach einem der Ansprüche

1 bis 10 auszuführen.

13. Computerlesbarer Datenträger auf dem das Computerprogramms nach Anspruch 12

gespeichert ist. 14. Datenträgersignal, welches das Computerprogramm nach Anspruch 12 überträgt.

15.Datensatz, der mit einem Verfahren nach einem der Ansprüche 1 bis 10 erzeugt

worden ist.

19