AT527687A1 - Autonotation von neuronalen Netzen - Google Patents

Autonotation von neuronalen Netzen Download PDF

Info

Publication number
AT527687A1
AT527687A1 ATA50846/2023A AT508462023A AT527687A1 AT 527687 A1 AT527687 A1 AT 527687A1 AT 508462023 A AT508462023 A AT 508462023A AT 527687 A1 AT527687 A1 AT 527687A1
Authority
AT
Austria
Prior art keywords
lane
image
computing unit
detected
objects
Prior art date
Application number
ATA50846/2023A
Other languages
English (en)
Original Assignee
Eyyes Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eyyes Gmbh filed Critical Eyyes Gmbh
Priority to ATA50846/2023A priority Critical patent/AT527687A1/de
Priority to PCT/EP2024/079286 priority patent/WO2025083107A1/de
Publication of AT527687A1 publication Critical patent/AT527687A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/817—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level by voting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Einstufung von mit n (n = 2, 3, ...) künstlichen neuronalen Netzen detektierten Objekten in zumindest einem Bild.

Description

Autonotation von neuronalen Netzen
Die Erfindung betrifft ein Verfahren nach dem Oberbegriff des Anspruches 1.
Das erfindungsgemäße Verfahren kann als ein
computerimplementiertes Verfahren ausgeführt werden.
Die im Folgenden offenbarte Erfindung betrifft ein Verfahren zur Einstufung von mit n (n=2,3..) künstlichen neuronalen Netze detektierten Objekten in zumindest einem Bild,
wobei in einer Recheneinheit die Objekte unter Anwendung der n neuronalen Netze in dem Bild detektiert werden und
jedes detektierte Objekt einer definierten Objektklasse oder
eine undefinierten Objektklasse zugewiesen wird.
Das Bild oder die Bilder können durch einen Bildsensor
erstellt werden.
Nach der gängigen Lehre wird einem detektieren Objekt unter Anwendung von neuronalen Netzen eine Objektklasse aus einer Menge von definierten Objektklassen zugewiesen. Es kann eine Wahrscheinlichkeit ermittelt werden, mit welcher Wahrscheinlichkeit ein Objekt der definierten Objektklasse zugewiesen wird. Letzteres kann auch implizieren, dass ein Objekt nur mit einer einen Grenzwert unterschreitenden Wahrscheinlichkeit einer definierten Objektklasse zugewiesen oder andernfalls einer undefinierten Objektklasse oder keiner
zugewiesen wird.
Weiters wird ein IoU-Wert für jedes, mit jedem neuronalen Netz detektierte Objekt erstellt. Die Erstellung eines IoUWertes für ein Objekt eines Bildes ist nach der gängigen
Lehre bekannt.
Der oben erwähnte Verfahrensschritt (kurz) des Detektierens zumindest eines Objektes und der Zuweisung einer Objektklasse
zu dem Objekt kann nach der gängigen Lehre durch die
2779
Anwendung von bekannten künstlichen neuronalen Netzen (im Folgenden kurz als neuronales Netz oder nur Netz bezeichnet) erfolgen, wobei es im Geschick des Benutzers liegt, eine geeignete Gattung eines neuronalen Netzes auszuwählen
und/oder das ausgewählte neuronale Netz zu trainieren.
Es sind nach der gängigen Lehre beispielsweise CNN, R-CNN, Deep-CNN als Gattungsbezeichnungen von neuronalen Netzen und somit als unterschiedliche neuronale Netze bekannt. Weiters können neuronale Netze einer der erwähnten Gattungen auf unterschiedliche Weisen trainiert sein, sodass aufgrund des unterschiedlichen Trainierens von neuronalen Netzen einer einzigen Gattung unterschiedliche neuronale Netze vorliegen können. Unterschiedlich trainierte Netze können
unterschiedliche Wichtungsfaktoren aufweisen.
Es können somit unterschiedliche neuronale Netze vorliegen, wenn neuronale Netze unterschiedlicher Gattungen und/oder unterschiedlich trainierte Netze einer einzigen Gattung
eingesetzt werden.
Nach dem Stand der Technik liefern die Gattungen der neuronalen Netze und/oder die unterschiedlich trainierten neuronalen Netze unterschiedliche Ergebnisse bei einer Analyse von Eingangswerten wie beispielsweise eines Bildes. Ein unterschiedliches Ergebnis kann sein, ob Objekte im Bild erkannt werden oder dass einem detektierten Objekt durch unterschiedliche neuronale Netze unterschiedliche Objektklassen zugewiesen werden. Ein unterschiedliches Ergebnis kann auch in der Form vorliegen, dass mit den unterschiedlichen neuronalen Netzen unterschiedliche Grenzen oder Grenzflächen (bounding boxes) eines Objektes ermittelt
werden, was in unterschiedliche IoU-Werte ermittelbar ist.
Wenn eine Analyse desselben Objektes durch unterschiedliche
neuronale Netze zu unterschiedlichen Ergebnissen führt, kann
davon ausgegangen werden, dass zumindest ein Ergebnis
unrichtig und/oder nicht hinreichend genau ist.
WO2020152627 basiert im Unterscheid zu der hier offenbarten Erfindung auf einem paarweisen Vergleich. Ein paarweiser Vergleich umfasst nicht die Bestimmung einer Mindestanzahl
von Objekten mit einer zugewiesenen Objektklasse.
WO2020152627 (siehe insbesondere [0133]) offenbart ein Verfahren, bei welchem Verfahren mit einer Anzahl von N neuronalen Netzen N Ergebnisse erzeugt werden. Es werden die N Ergebnisse paarweise verglichen und gemeinsame Zahlenwerte (ensemble scores, Plural) ermittelt. Es wird eine Varianz zu diesem gemeinsamen Zahlenwert errechnet, um die Eignung eines Netzes über eine Varianz des durch dieses neuronale Netz ermittelte Ergebniswertes zu dem gemeinsamen Wert zu
ermitteln.
Angenommen ein Bild wird nach dem in W02020152627 offenbarten Verfahren mit n=10 neuronalen Netzen analysiert. Ein gemeinsames Ergebnis tritt bei zwei Netzen auf. So würde das in W02020152627 offenbarte Verfahren die Eignung der acht weiteren neuronalen Netze in Abhängigkeit der Varianz zu dem gemeinsamen Ergebniswert von zweien Netzen ermitteln, obwohl das gemeinsame Ergebnis der zwei neuronalen Netze nach der hier offenbarten Erfindung keinesfalls als gewiss anzusehen
ist.
KR20230046028A basiert auf der Erstellung von gemeinsamen Trainingsbildern (siehe KR20230046028A, [0008]). Dieser Lösungsansatz unterscheidet sich grundsätzlich von der hier
offenbarten Erfindung.
Beispielsweise bei der Anwendung von neuronalen Netzen zur Analyse eines mit einer auf einem Fahrzeug angeordneten
Kamera aufgenommenen Bildes kann ein neuronales Netz ein
Sicherheitsrisiko darstellen, wenn dieses neuronale Netz
unrichtige Ergebnisse liefert.
Die hier offenbarte Erfindung stellt sich somit die technische Aufgabe, ein Verfahren zur Bewertung der Eignung von neuronalen Netzen bei der Analyse von Eingangsdaten,
insbesondere von Bilddaten bereitzustellen.
Die hier offenbarte Erfindung stellt sich im Besonderen die technische Aufgabe, ein ohne einen hohen Rechenaufwand, folglich auf der Grundlage von einfachen Verfahrensschritten durchführbares Verfahren bereitzustellen, sodass das Verfahren auch auf Bilddaten aus einer auf einem Fahrzeug angeordneten Kamera anwendbar ist. Das erfindungsgemäße Verfahren soll auch mit einer mobilen, beispielsweise auf dem Fahrzeug angeordneten Recheneinheit ausführbar sein, wobei Recheneinheiten auf Fahrzeugen üblicher Weise nur eine
geringe Rechenleistung aufweisen.
Es soll im Besonderen überprüft werden können, ob ein
neuronales Netz für die Analyse von Bilddaten geeignet ist, sodass das Fahrzeug auf der Grundlage der Analyse durch das neuronale Netz zur Gänze oder assistierend gesteuert werden
kann.
Zu Anspruch 1:
Der durch die Erfindung vorgeschlagene Lösungsansatz ist
durch den Anspruch 1 definiert.
Erfindungsgemäß wird die oben erwähnte technische Aufgabe dadurch gelöst, dass
mit der Recheneinheit ein detektiertes Objekte als ein sicheres Objekt eingestuft wird,
falls das Objekt mit einer Anzahl von neuronalen Netzen größer oder gleich einem ersten Vorgabewert derselben definierten Objektklasse zugeordnet wird und
welches Objekt einen IoU-Wert größer oder gleich einem
Grenzwert aufweist,
und/oder
mit der Recheneinheit ein detektiertes Objekt als ein unsicheres Objekt eingestuft wird, falls
das Objekt mit einer Anzahl von neuronalen Netzen kleiner einem ersten Vorgabewert derselben definierten Objektklasse zugeordnet wird oder
das Objekt mit einer Anzahl von neuronalen Netzen größer oder gleich einem zweiten Vorgabewert einer undefinierten Objektklasse zugeordnet wird,
welches Objekt einen IoU-Wert kleiner einem Grenzwert aufweist,
wobei der erste Vorgabewert und der zweite Vorgabewert
kleiner gleich der Anzahl der neuronalen Netze ist.
Die Bezeichnung der Objektklassen ist durch keine Norm geregelt. Der im Anspruch 1 definierte Verfahrensschritt kann eine Normierung der Bezeichnung der Objektklassen der neuronalen Netze voraussetzen, sodass ein Objekt durch die neuronalen Netze tatsächlich einer einzigen Objektklasse
zugewiesen wird und diese Zuweisung vergleichbar ist.
Eine Normierung der Objektklassen kann erforderlich sein, wenn neuronale Netze unterschiedlicher Entwickler verglichen und die Eignung dieser Netze ermittelt wird. Bei neuronalen Netzen eines Entwicklers haben gleiche Objektklassen unterschiedlicher neuronaler Netze üblicher Weise eine
einheitliche Bezeichnung.
Es werden diejenigen Objekte als sichere Objekte (gleichbedeutend zu sicher detektierte Objekte) eingestuft, die durch unterschiedliche neuronale Netze detektiert werden und denen unter Anwendung einer Mindestanzahl von unterschiedlichen neuronalen Netzen eine gleiche Objektklasse zugewiesen werden (Kriterium 1). Die Mindestanzahl von
neuronalen Netzen ist größer oder gleich dem vom Benutzer
vorgegebenen ersten Vorgabewert. Das Kriterium 1 kann auch die Bestimmung umfassen, dass die Objekte mit einer Wahrscheinlichkeit detektiert werden und einer Objektklasse zugewiesen werden, welche Wahrscheinlichkeit größer oder
gleich einer Mindestwahrscheinlichkeit ist.
Es können somit die Objekte des Bildes ausgewählt werden, bei welchen Objekten eine Teilmenge n2v der neuronalen Netze
dasselbe Ergebnis lLiefern.
ES wird weiters das Kriterium eines einen Grenzwert überschreitenden IuO-Wertes eingeführt. Neuronale Netze, welche einen IuO-Wert größergleich einem Grenzwert liefern (Kriterium 2), sind in Hinblick auf das Umrandungsrechteck
hinreichend genau.
ES werden diejenigen detektierten Objekte als sichere Objekte eingestuft, welche detektierten Objekte das oben erwähnte Kriterium 1 und das oben erwähnte Kriterium 2 erfüllen. Es werden diejenigen detektierten Objekte als unsichere Objekte (gleichbedeutend zu unsicher detektierten Objekte) eingestuft, welche detektierten Objekte zumindest ein Kriterium aus dem Kriterium 1 und dem Kriterium 2 nicht
erfüllen.
Über die im Anspruch 1 definierte Einstufung der Objekte und eine Auswahl der sicheren Objekte können jene neuronalen Netze bestimmt werden, welche neuronalen Netze für die Erkennung des Objektes im Bild geeignet sind, da diese neuronalen Netze insbesondere in Hinblick auf die Zuweisung der Objektklassen dasselbe oder ähnliche und insbesondere in Hinblick auf die Grenzflächen hinreichend genaue Ergebnis liefern. Die Einstufung eines Objektes als ein sicheres Objekt wird so interpretiert, dass das sichere Objekt ausschließlich durch geeignete oder hinreichend genaue
neuronale Netze detektiert wird.
7179
Ein neuronales Netz kann im Besonderen als zur Analyse eines Bildes geeignet angesehen werden, wenn ein neuronales Netz für eine definierte Anzahl von Objekten aus einer
Gesamtanzahl von Objekten des Bildes sicher Objekte Liefert.
ES kann das zumindest eine Bild durch zwei neuronale Netze analysiert werden, wobei zumindest ein Objekt unter Anwendung der zumindest zwei neuronalen Netze zumindest einer Objektklasse zugewiesen wird. In diesem Fall basiert das Kriterium 1 auf der Bestätigung der auf der Anwendung eines neuronalen Netzes basierenden Zuweisung eines Objektes zu einer Objektklasse durch die auf einer Anwendung eines weiteren neuronalen Netzes basierenden Zuweisung des Objektes
zu der Objektklasse.
ES kann das zumindest eine Bild durch zumindest drei neuronale Netze analysiert werden, wobei zumindest ein Objekt unter Anwendung der zumindest drei neuronalen Netze zumindest einer Objektklasse zugewiesen wird. In diesem Fall basiert das Kriterium 1 auf der mehrheitlichen Bestätigung der auf der Anwendung eines neuronalen Netzes basierenden Zuweisung eines Objektes zu einer Objektklasse durch die auf einer Anwendung von weiteren neuronalen Netzen basierenden Zuweisung des Objektes zu der ObJjektklasse. Vorzugsweise wird
eine ungerade Anzahl von neuronalen Netzen angewandt.
Ein Bild ist üblicher Weise das Ergebnis einer Aufnahme einer Umgebung mit einem Bildsensor und der Verarbeitung der mit dem Bildsensor erstellten Bilddaten. Da die Bilddaten das Bild beschrieben, kann das erfindungsgemäße Verfahren in äguivalenter Weise auf Bilddaten oder ein Bild oder Bilder oder Teilbereiche eines Bildes angewandt werden. Der hier verwendete Begriff Bild umfasst auch die das Bild
beschreibenden Bilddaten.
Die Umgebung kann Einflüssen unterliegen. Im Besonderen
können durch die Auswahl der Objekte jene neuronalen Netze
bestimmt werden, welche neuronalen Netze weiters zur Analyse der Objekte in der Umgebung mit ihren Einflüssen und/oder unter dem Aspekt der erfolgten Verarbeitung der Bilddaten
geeignet sind.
Zu Anspruch 2:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass Objekte eines einzigen Bildes unter Anwendung der
neuronalen Netze detektiert werden.
Es werden die n neuronalen Netze zur Analyse desselben Bildes
angewandt.
Zu Anspruch 3:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass Objekte in mehreren Bildern oder in mehreren Bildteilbereichen eines Bildes detektiert werden, wobei die Bilder beziehungsweise die Bildteilbereiche zumindest ein
Objekt einer Objektklasse umfassen.
Bei einer Anzahl von n Bildern kann ein einziges neuronales Netz auf die Analyse eines einzigen Bildes angewandt werden. Vorzugsweise werden mehrere neuronale Netze auf die Analyse eines Bildes angewandt. Das erfindungsgemäße Verfahren kann
insbesondere auf eine Reihe von Bildern angewandt werden.
Das erfindungsgemäße Verfahren zeichnet sich durch die oben erwähnten einfach auszuführenden Kriterien zur Einstufung der detektierten Objekte aus. Aufgrund dieser einfachen Ausführbarkeit ist das erfindungsgemäße Verfahren auch auf eine Vielzahl von unmittelbar nacheinander folgenden Bildern,
insbesondere Filmen anwendbar.
Zu Anspruch 4:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen,
dass
eine Objektposition des Objektes in einem Bild ermittelt wird und die Objekte mit einer ähnlichen Objektposition in den
anderen Bildern ermittelt werden.
Es kann über ähnliche Positionen sichergestellt werden, dass ein in mehreren Bildern enthaltenes Objekt als ein Objekt in das Verfahren eingeht. Eine ähnliche Objektposition kann über Grenzbereiche definiert werden. Eine ähnliche Objektposition kann auch über die Ermittlung einer Trajektorie in den Bildern, wobei die von einer einzigen Trajektorie umfassten Objektpositionen als ähnliche Objektpositionen angesehen
werden.
Zu Anspruch 5:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
eine Objektklasse nur ein einziges detektiertes Objekt nach Zuweisung eines Objektes durch ein neuronales Netz umfasst. Dies kann durch eine hinreichende Verfeinerung der
Objektklassen erreicht werden.
Zu Anspruch 6:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
die sicheren Objekte und/oder die unsicheren Objekte aus der Menge der detektierten Objekte des Bildes in einer
Anzeigeeinheit angezeigt werden.
Die Anzeige der sicheren Objekte und/oder der unsicheren Objekte kann auch eine Anzeige der nach den oben beschriebenen Kriterien als geeignet oder ungeeignete
eigestuften Netze umfassen.
Zu Anspruch 7:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
die sicheren Objekte sowie deren Objektposition im Bild und/oder
die unsicheren Objekte sowie deren Objektposition im Bild
angezeigt wird.
Es kann im Besonderen das Objekt und die Objektposition im Bild angezeigt werden. Es können die sicheren Objekte durch eine erste Markierung und/oder die unsicheren Objekte durch eine zweite Markierung im Bild gekennzeichnet werden. Es kann beispielsweise die Grenzfläche eines Objektes (engl. Bonding box) bei einem sicheren Objekt in einer erste Farbe und/oder bei einem unsicheren Objekt in einer zweiten Farbe angezeigt werden. Hierdurch erhält der Betrachter in Echtzeit die Information, ob ein Objekt als ein sicheres Objekt oder als
ein unsicheres Objekt eingestuft wird.
Zu Anspruch 8:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
Objekte in dem zumindest einem Bild mit zumindest drei neuronalen Netzen detektiert werden, wobei
Verknüpfungen zwischen mit unterschiedlichen neuronalen Netzen detektierten Objekten derselben bekannten Objektklasse erstellt werden,
wobei die Anzahl der Verknüpfungen zwischen den einzelnen neuronalen Netzen ermittelt werden,
wobei eine Eignung von neuronalen Netzen aus den zumindest drei neuronalen Netzen durch die Anzahl der Verknüpfungen zwischen dem erwähnten neuronalen Netz und dem weitern
neuronalen Netz angegeben wird.
Zu Anspruch 9:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
Objekte in dem zumindest einen Bild mit zumindest drei neuronalen Netzen detektiert werden, wobei
auf einer Anzeigeeinheit die mit einem n-ten neuronalen Netz detektierten Objekte auf einem n-ten Segment eines Polygons mit Bogenform oder eines Bogens angezeigt werden,
wobei die mit unterschiedlichen neuronalen Netzen detektierten Objekte mit derselben bekannten Objektklasse mit Linien verbunden werden, wobei
die Objekte mit einer Anzahl von Linien größergleich dem Vorgabewert v markiert werden,
wobei ein Benutzer über eine Eingabeeinheit die angezeigten Objekte auswählen und somit die Eignung der angewandeten
neuronalen Netze bestätigen kann.
Diese Ausführungsform des erfindungsgemäßen Verfahrens wird
nachstehend anhand einer Figur diskutiert.
Es ist die Wiedergabe von Informationen an einen Benutzer von der oben beschriebenen technischen Aufbereitung der Information zu unterscheiden. Bei der oben beschriebenen technischen Aufbereitung werden Daten verarbeitet. Es werden in verarbeiteten Daten angezeigt, sodass der Betrachter in Echtzeit eine Information über die Einstufung der Objekte als
sichere Objekte oder als unsichere Objekte erhält.
Eine mögliche Anwendung des erfindungsgemäßen Verfahrens ist, dass ein Benutzer während oder unmittelbar nach der Analyse des Bildes die Eignung der angewandten neuronalen Netze überprüft und diese Eignung bestätigt. Der Benutzer hat beispielsweise in weiterer Folge die Möglichkeit, nicht geeignete neuronale Netze zu deaktivieren, wobei die Aktivierung oder Deaktivierung der neuronalen Netze nicht
Teil der Erfindung ist. Diese Auswahl trifft der Benutzer
aufgrund seiner Erfahrung, wobei der Benutzer bei dieser Aufgabe durch die oben beschriebene Darstellung unterstützt
wird.
Die Aufgabenstellung an den Bediener ist insbesondere komplex, wenn die Analyse von mehreren Bildern wie beispielsweise eines Films mittels mehrerer neuronaler Netze zu bewerten ist. Es werden die oben erwähnten Verknüpfungen zwischen den Bildern durch die Linien ermittelt und folglich auch angezeigt, wodurch die Komplexität der Aufgabenstellung
reduziert wird.
Es werden komplexe Sachverhalte über die Eignung von neuronalen Netzen in einer einfachen Weise dargestellt, sodass eine Mensch-Maschine-Interaktion zur Aktivierung
und/oder Deaktivierung der neuronalen Netze möglich ist.
Zu Anspruch 10:
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass das Polygon eine geschlossene Form mit n Seiten
aufweist.
Zu Anspruch 11:
Die hier offenbarte Erfindung betrifft auch ein Verfahren nach dem Oberbegriff des Anspruches 11. Dieses Verfahren ist
unabhängig von den oben beschriebenen Verfahren ausführbar.
Die Erfindung betrifft im Besonderen ein Verfahren zum Erkennen eines Kollisionsobjektes oder einer Diskontinuität in einem Fahrstreifen eines Fahrzeuges unter Verwendung eines Bildes als Eingangsdaten. Das im Folgenden beschriebene Verfahren kann als ein computerimplementiertes Verfahren
ausgeführt werden.
Die weitere Erfindung betrifft nicht die nach dem Stand der Technik bekannte Objekterkennung eines im Bild enthaltenen
Objektes ab einer gewissen Objektgröße im Bild. Ein
derartiger Stand der Technik ist für die im Folgenden
offenbarte Erfindung nicht relevant.
In dem unter
https://wiki.hshl.de/wiki/index.php/Objekterkennung mit Kamer
a abrufbaren Artikel wird die Erkennung eines Objektes auf einem Fahrstreifen behandelt. Es ist ein Grenzwert für eine Größe eines Objektes im Bild erwähnt. Ab einer Größe eines im Bild detektierten Teilbereiches mit den Eigenschaften eines Objektes wird ein in dem Teilbereich dargestelltes Objekt
erkannt und gegebenenfalls klassifiziert.
Der im Anspruch 11 dieser Erfindung definierte Lösungsansatz betrifft den nachfolgenden sicherheitsrelevanten Aspekt der Einstufung eines erkannten Objektes als ein Kollisionsobjekt oder eine Diskontinuität oder keines der beiden nach einer erfolgten Erkennung. Die Erfindung betrifft somit die der Objekterkennung nachgelagerte Entscheidungsebene, nämlich die
sicherheitsrelevante Einstufung eines erkannten Objektes.
Es ist Aufgabe des im Anspruch 1 der Erfindung definierten Lösungsansatzes, für die Bewegung des Fahrzeuges relevante Objekte, welche relevanten Objekte in der Erfindung als Kollisionsobjekte oder Diskontinuitäten definiert sind, von
nicht relevanten Objekten zu unterscheiden.
Im Unterschied zu den oben kurz beschriebenen, nach dem Stand der Technik bekannten Verfahren, welche eine Objektgröße als eine Schwelle für eine Objekterkennung einführen, werden bei der vorliegenden Erfindung alle Objekte im Fahrstreifen erkannt, sofern dies durch technische Mittel umsetzbar ist, und danach als relevant oder nicht relevant eingestuft. Im Unterschied zu den oben erwähnten bekannten Verfahren der Objekterkennung mit der Objektgröße als Schwelle können bei dem erfindungsgemäßen Verfahren alle Objekte einer weiteren
Verarbeitung zugeführt werden.
Das Bild wird mit einer auf dem Fahrzeug angeordneten Kamera erstellt. Die Kamera ist in eine Fahrtrichtung des Fahrzeuges gerichtet, was sowohl eine gleiche Ausrichtung der Kameraachse und der Fahrrichtung als auch eine von der Fahrtrichtung abweichende Ausrichtung der Kameraachse impliziert. Die Kamera ist so ausgerichtet, dass zumindest ein Teilbereich des Fahrstreifens, vorzugsweise ein möglichst großer Teil des Fahrstreifens von der Kamera aufgenommen
wird. ES wird das Fahrzeug auf dem Fahrstreifen bewegt.
Ein Kollisionsobjekt, im Besonderen ein relevantes Kollisionsobjekt kann eine Person oder ein Fahrzeug oder ein sonstiges festes oder verformbares Objekt sein. Zur Vermeidung von Schäden am Kollisionsobjekt oder am Fahrzeug soll ein Kontakt oder eine Kollision zwischen dem relevanten Kollisionsobjekt und dem Fahrzeug vermieden werden oder diese Kollision angezeigt werden. Ein relevantes Kollisionsobjekt
hat einen Einfluss auf die Bewegung des Fahrzeuges.
Das Fahrzeug kann eine Bearbeitungsmaschine sein. Das Kollisionsobjekt kann ein Hindernis oder nicht von der Bearbeitungsmaschine zu zerstörendes oder beschädigendes
Objekt sein.
Eine Diskontinuität ist ein von einem vorherrschenden Zustand des Fahrstreifens abweichender Zustand des Fahrstreifens. Eine Diskontinuität kann beispielsweise ein Schaden im Fahrstreifen sein. Eine relevante Diskontinuität hat einen
Einfluss auf die Bewegung des Fahrzeuges.
Das Fahrzeug kann beispielswiese ein auf einem Gleis als Fahrstreifen fahrendes Schienenfahrzeug oder ein auf einem Fahrstreifen einer Straße fahrendes Auto sein. Es ist eine
Kollision des Schienenfahrzeuges mit einer Person oder mit
einem weiteren Fahrzeug zu unterbinden oder eine solche
mögliche Kollision anzuzeigen.
Eine Unterbindung oder ein Anzeigen einer möglichen Kollision des Fahrzeuges mit einem Kollisionsobjekt setzt voraus, dass das Kollisionsobjekt, im Besonderen das relevante Kollisonsobjekt als solches erkannt wird. Ein hierauf eingeleitetes Unterbinden einer Kollision kann durch ein Eingreifen einer Person oder durch ein automatisches Eingreifen in die Steuerung des Fahrzeuges sein, was jedoch
nicht Teil der Erfindung ist.
Eine Unterbindung oder ein Anzeigen einer möglichen Kollision des Fahrzeuges mit einem Kollisionsobjekt unter Verwendung von Bilddaten eines Bildes setzt eine Analyse der Bilddaten beispielsweise unter Anwendung von künstlichen neuronalen Netzen voraus, was wiederum eine ausreichende Rechenleistung einer Recheneinheit erfordert. Das erfindungsgemäße Verfahren stellt sich die durch technische Mittel zu 1lösende Aufgabe, das Verfahren des Erkennens eines möglichen oder
tatsächlichen Kollisionsobjektes effektiv zu gestalten.
Die Bewertung, ob tatsächlich das Kollisionsobjekt oder die Diskontinuität einen Einfluss auf die Bewegung des Fahrzeuges hat, ist nicht Teil der Erfindung. Der Gegenstand der Erfindung ist lediglich, mögliche derartige Objekte und
Diskontinuitäten in einer effizienten Weise zu erkennen.
DE102013101833 und DE102019003530 bilden einen allgemeinen, nicht relevanten Stand der Technik zu dem Gegenstand der
Erfindung.
Der Anspruch 11 definiert einen Lösungsansatz zu der weiteren Erfindung, welche weitere Erfindung gemeinsam mit dem oben beschriebenen Verfahren und auch als eigenständiges Verfahren
ausführbar ist.
Dieser Lösungsansatz sieht vor, das
mittels einer Recheneinheit in dem Bild zumindest der Fahrstreifen als Beobachtungsbereich detektiert wird, wobei mit der Recheneinheit fahrstreifenfremde Objekte durch ein bereichsweises Analysieren von Teilbereichen des Beobachtungsbereiches detektiert werden,
wobei sich ein fahrstreifenfremdes Objektbildpunkt des fahrstreifenfremden Objekts in dem Bild von einem Fahrstreifenbildpunkt des Fahrstreifens unterscheidet, wobei mit der Recheneinheit eine Anzahl von angrenzenden Teilbereichen mit einem Objektbildpunkt des fahrstreifenfremden Objektes als ein Maß für die relevante Größe des im Bild detektierten fahrstreifenfremden Objektes ermittelt wird, und wobei
in der Recheneinheit ein fahrstreifenfremdes Objekt der fahrstreifenfremden Objekte als ein Kollisionsobjekt oder als eine Diskontinuität im Beobachtungsgereich eingestuft wird, wenn aneinander angrenzende Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl von angrenzenden oder benachbarten Teilbereichen größer gleich einem Grenzwert erkannt werden,
welcher Grenzwert in der Recheneinheit in Abhängigkeit einer Geschwindigkeit des Fahrzeuges und/oder der Auflösung des Bildes und/oder und/oder einer Klassifikation des
fahrstreifenfremden Objektes definiert ist.
ES wird somit durch den Grenzwert eine Schwelle in Abhängigkeit der Geschwindigkeit des Fahrzeuges und/oder der Auflösung des Bildes definiert, ab welcher Schwelle ein fahrstreifenfremdes Objekt eine hinreichende Größe aufweist und in einen nachfolgenden Verfahrensschritt zur Kollisionsvermeidung eingeht. Die Bewertung, ob das fahrstreifenfremde Objekt mit einer hinreichenden Größe tatsächlich ein Kollisionsobjekt ist, ist nicht Teil der hier
offenbarten Erfindung.
Eine Detektion des Fahrstreifens kann unter Anwendung von Verfahren nach dem Stand der Technik wie Kantendetektion, Analyse von Bildpunkten unter Anwendung von künstlicher Intelligenz erfolgen. Es ist keine weitere Erläuterung dieser
nach dem Stand der Technik bekannten Verfahren erforderlich.
Die Detektion des Fahrstreifens kann eine Angabe über Fahrstreifenbildteilbereiche des Bildes umfassen, d.h. in welchen Teilbereichen des Bildes der Fahrstreifen angeordnet ist. Dieser mögliche Verfahrensschritt kann unter Anwendung
von Verfahren nach dem Stand der Technik erfolgen.
Die Detektion des Fahrstreifens kann eine vektorielle Angabe
des Fahrstreifens im Bild umfassen.
Die Detektion des fahrstreifenfremden Objektes erfolgt unter Anwendung von Verfahren nach dem Stand der Technik auf der Basis eines Vergleiches von Teilbereichen des Beobachtungsbereiches wie beispielsweise Bildpunkten. Es können Verfahren basierend auf einer Kantendetektion oder der Anwendung von künstlicher Intelligenz erfolgen. Ein fahrstreifenfremdes Objekt wird im Bild als ein solches nach dem Kriterium erkannt, dass ein Objektbildpunkt eine andere messbare Eigenschaft wie Farbe oder Grauwert als ein Fahrstreifenbildpunkt aufweist. Das erfindungsgemäße Verfahren kann Verfahrensschritte umfassen, in welchen Verfahrensschritten die Eigenschaft der Bildpunkte gemessen werden. Die erwähnte Unterscheidung kann auch so erfolgen,
dass Mengen von ähnlichen Bildpunkten ermittelt werden.
Vorzugsweise erfolgt das Detektieren eines fahrstreifenfremden Objektes, insbesondere das Detektieren von Objektbildpunkten durch eine bereichsweise Analyse von Teilbereichen. Es kann diese Analyse ab einem Ausgangspunkt im Bild in eine vorgegebene Richtung oder nach einer vorgegebenen Systematik ausgeführt werden. Es kann der
Beobachtungsbereich in Teilbereiche unterteilt werden, wobei
ein Teilbereich nach einem weiteren Teilbereich nach einer
vorgegebenen Systematik analysiert wird.
Ein solcher Teilbereich einer bereichsweisen Analyse des Fahrstreifens kann ein Bildpunkt des Bildes oder ein durch
geometrische Angaben definierter Bereich sein.
Es wird die Anzahl der angrenzenden oder benachbarten Teilbereiche ermittelt, in welchen in einer einzigen Richtung angrenzenden oder benachbarten Teilbereichen ein einziges fahrstreifenfremdes Objekt oder ein Objektbildpunkt eines solchen detektiert wird. Die Anzahl der angrenzenden oder benachbarten Teilbereiche dient in den weiteren Verfahrensschritten als eine Größenangabe des im Bild
detektierten Objektes.
Der Grenzwert kann durch einen Benutzer vorgegeben sein. Die Vorgabe des Grenzwertes kann insbesondere als ein Kalibrierungsschritt verstanden sein, wobei dieser Grenzwert gleichsam wie weitere von dem Benutzer vorgebbare Werte
iterativ festgelegt werden.
Der Grenzwert kann durch eine mathematische Funktion ermittelt werden, durch welche mathematische Funktion der Grenzwert oder auch ein nachstehend erwähnter weiterer Grenzwert in Abhängigkeit der Auflösung des Bildes und/oder der Geschwindigkeit des Fahrzeuges und/oder Beschleunigung des Fahrzeuges definiert wird. Das erfindungsgemäße Verfahren kann zur Umsetzung eines solchen Verfahrensschrittes das Messen der Auflösung des Bildes oder der Geschwindigkeit des
Fahrzeuges oder der Beschleunigung des Fahrzeuges umfassen.
Der Grenzwert kann in Abhängigkeit einer Klassifikation des fahrstreifenfremden Objektes festgelegt sein. Dies schließt ein, dass das fahrstreifenfremde Objekt klassifiziert wird. Die Recheneinheit kann Daten umfassen, wie der Grenzwert oder
der unten erwähnte weitere Grenzwert bei einer durch die
Klassifizierung des Objektes ermittelten Objektklasse zu
definieren ist.
Im Rahmen der Offenbarung der Erfindung wird unter einem relevanten Kollisionsobjekt ein fahrstreifenfremdes Objekt verstanden, welches Objekt die Bewegung des Fahrzeuges beeinflusst. Das relevante Kollisionsobjekt kann bei einer Kollision mit dem Fahrzeug einen Schaden am Fahrzeug hervorrufen. Das relevante Kollisionsobjekt kann bei einer Kollision mit dem Fahrzeug einen Schaden erleiden. Das fahrstreifenfremde Objekt kann beispielsweise eine Person
sein.
In der obigen Beschreibung sind angrenzende Teilbereiche und benachbarte Teilbereiche erwähnt. Aneinander angrenzende Teilbereiche kontaktieren einander oder sind überlappend. Aneinander angrenzende Teilbereiche weisen zueinander keinen Abstand auf. Benachbarte Teilbereiche weisen zueinander einen
Abstand auf.
Der Anspruch 12 definiert einen weiteren LöÖsungsansatz zu der weiteren Erfindung, welcher weitere Lösungsansatz gemeinsam mit den oben beschriebenen Verfahren und auch als ein
eigenständiges Verfahren ausführbar ist.
Erfindungsgemäß wird dies dadurch erreicht, dass
mittels einer Recheneinheit in dem Bild zumindest der Fahrstreifen als Beobachtungsbereich detektiert wird, wobei mit der Recheneinheit fahrstreifenfremde Objekte durch ein bereichsweises Analysieren von Teilbereichen des Beobachtungsbereiches detektiert werden,
wobei sich ein Objektbildpunkt des fahrstreifenfremden Objekts im Bild von einem Fahrstreifenbildpunkt des Fahrstreifens unterscheidet, wobei
mit der Recheneinheit eine Anzahl von angrenzenden oder benachbarten Teilbereichen mit einem Objektbildpunkt des
fahrstreifenfremden Objektes als ein Maß für die Größe des im
Bild detektierten fahrstreifenfremden Objektes oder der Diskontinuität ermittelt werden, und wobei
in der Recheneinheit ein fahrstreifenfremdes Objekt als ein Kollisionsobjekt oder als eine Diskontinuität in dem Fahrbahnstreifen eingestuft wird, wenn aneinander angrenzende Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl von angrenzenden oder benachbarten Teilbereichen größer gleich einem Grenzwert erkannt werden, und
in der Recheneinheit ein fahrstreifenfremdes Objekt als kein Kollisionsobjekt oder als keine Diskontinuität in dem Fahrbahnstreifen eingestuft wird, wenn Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl von angrenzenden oder benachbarten Teilbereichen kleiner einem Grenzwert erkannt werden,
welcher Grenzwert von einem Benutzer oder in Abhängigkeit einer Geschwindigkeit des Fahrzeuges und/oder der Auflösung des Bildes und/oder einer Klassifikation des
fahrstreifenfremden Objektes definiert ist.
Durch den Vergleich der Anzahl der Teilbereiche mit dem Grenzwert wird bei den durch den Anspruch 1 und den Anspruch 2 definierten LöÖösungsansätzen ein Kriterium eingeführt, durch welches Kriterium ein sich von dem Fahrstreifenbildpunkt unterscheidender Teilbereich als ein Objektbildpunkt eines relevanten möglichen Kollisionsobjektes oder als eine Störung im Bild erkannt wird. Die Anzahl der Teilbereiche kann als eine Größenangabe für das in dem Bild detektierte fahrstreifenfremde Objekt verstanden werden. Das erfindungsgemäße Verfahren zeichnet sich durch seine
Fehlerresistenz aus.
Durch das erfindungsgemäße Verfahren kann weiters ein sich von dem Fahrstreifenbildpunkt unterscheidender Teilbereich als ein Objektbildpunkt einer relevanten Diskontinuität in
dem Fahrbahnstreifen fehlerresistent erkannt werden. Eine
relevante Diskontinuität hat einen Einfluss auf die Bewegung des Fahrzeuges. Die relevante Diskontinuität wie zum Beispiel ein Schaden in dem Fahrstreifen kann bei einer Kollision mit
dem Fahrzeug einen Schaden am Fahrzeug hervorrufen.
Durch die in dem durch den Anspruch 2 definierte Einstufung des Objektes wird ein Ausgabewert geschaffen, welcher Ausgabewert eine Unterbindung einer Kollision des Fahrzeuges mit dem Kollisionsobjekt unterbinden kann. Der Ausgabewert kann einer das Fahrzeug lenkenden Person angezeigt werden oder an eine Steuerungseinheit des Fahrzeuges übermittelt werden. Der Ausgabewert kann die Markierung eines relevanten Kollisionsobjektes oder einer relevanten Diskontinuität im Bild umfassen. Die Bildpunkte des markierten Kollisionsobjekte oder der markierten Diskontinuität kann einer in der Recheneinheit oder einer weiteren Recheneinheit durchzuführenden Objekterkennung und/oder eine Kollisionsanalyse zugeführt werden. Ergänzend oder alternativ zu der Markierung des Kollisionsobjektes oder der Diskontinuität können auch als kein Kollisionsobjekt oder als keine Diskontinuität eingestufte fahrstreifenfremde Objekte
markiert werden.
Das durch den Anspruch 2 definierte erfindungsgemäße Verfahren schließt keine fahrstreifenfremden Objekte von der weiteren Verarbeitung aus. Bei dem erfindungsgemäßen Verfahren werden alle fahrstreifenfremden Objekte verarbeitet. Es können beispielsweise alle fahrstreifenfremden Objekte an einer Anzeigeeinheit angezeigt werden, wobei die Kollisionsobjekte und/oder die Diskontinuitäten als die relevanten Objekte mit einem Einfluss auf die Bewegung des Fahrzeugs durch eine Umrahmung markiert werden. Alternativ oder ergänzend hierzu können auch die Objekte ohne Einfluss auf die Bewegung des Fahrzeuges mit
einer Umrahmung markiert werden. Vorzugsweise werden die
relevanten Objekte und die nicht relevanten Objekte durch unterschiedliche Umrahmungen als ein graphisches Mittel
gekennzeichnet.
Der Benutzer kann die Einstufung der fahrstreifenfremden Objekte als relevante Objekte oder als nicht relevante
Objekte verändern.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
in der Recheneinheit ein fahrstreifenfremdes Objekt als ein Kollisionsobjekt oder als eine Diskontinuität eingestuft wird, wenn aneinander angrenzende Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl angrenzenden oder benachbarten Zeilen Teilbereichen kleiner gleich einem
weiteren Grenzwert erkannt werden.
Der weitere Grenzwert kann als ein oberer Grenzwert verstanden werden, während der oben erwähnte Grenzwert als ein unterer Grenzwert verstanden werden kann. Der weitere Grenzwert ist somit ein von dem oben erwähnten Grenzwert unterschiedlicher Wert. Eine Erstreckung von Objektbildpunkten eines einzigen Objektes in einer Anzahl von angrenzenden oder benachbarten Teilbereichen in einer Richtung kann durch das Einführen des weiteren Grenzwertes
als eine Störung verstanden werden.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass das bereichsweise Analysieren als ein Analysieren von einem angrenzenden oder benachbarten Teilbereich nach einem weiteren angrenzenden oder angrenzenden Teilbereich
durchgeführt wird.
ES kann ein Teilbereich wie beispielsweise ein Bildpunkt des Bildes in einem Teilschritt des erfindungsgemäßen Verfahrens analysiert werden. In einem nachfolgenden Teilschritt kann
ein zu dem Teilbereich benachbarter oder angrenzender
weiterer Teilbereich wie beispielsweise ein weiterer
Bildpunkt analysiert werden.
Die obige Beschreibung des erfindungsgemäßen Verfahrens umfasst das Merkmal des Ermittelns der Anzahl von Objektbildpunkten in angrenzenden Teilbereichen. Ein Analysieren von angrenzenden Teilbereichen in einer nacheinander folgenden Reihenfolge kann eine effiziente
Ausführungsform des erfindungsgemäßen Verfahrens darstellen.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass das bereichsweise Analysieren als ein zeilenweises Analysieren von Teilbereichen, insbesondere angrenzenden oder
benachbarten Teilbereichen durchgeführt wird.
Da ein Bild nach der gängigen Lehre einen zeilenweisen Aufbau von Bildpunkten aufweist, kann die Analyse der Bildpunkte in einer durch die Zeilen der Bildpunkte vorgegebenen Richtung durchgeführt werden. Das eine fahrstreifenfremde Objekt erstreckt sich somit über mehrere Zeilen. Es wird die Anzahl ermittelt, über welche Anzahl von angrenzenden Zeilen sich
das fahrstreifenfremde Objekt erstreckt.
In einer vorteilhaften Weise kann das zeilenweise Analysieren so erfolgen, dass aneinander angrenzende Zeilen des
Beobachtungsbereiches analysiert werden.
In einer weiter vorteilhaften Weise kann das zeilenweise Analysieren so erfolgen, dass zueinander benachbarte und somit zueinander beabstandete Zeilen des Beobachtungsbereiches analysiert werden. Es kann beispielsweise nur jede n-te (mit n?2) Zeile analysiert
werden.
Ein Analysieren von benachbarten Teilbereichen wie das hier diskutierte Analysieren von benachbarten und beabstandeten Zeilen erlaubt eine Reduktion des Rechenaufwandes. Es kann
insbesondere der Rechenaufwand reduziert werden, ohne dass
die Qualität des Bildes reduziert wird. Dies erlaubt eine weitere Verarbeitung von Bildinformationen des Bildes in
nachfolgenden Verfahrensschritten.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
das fahrstreifenfremde Objekt durch ein auf einer Kantendetektion oder künstliche Intelligenz basierendes
Verfahren erkannt wird.
Ein auf Kantendetektion basierendes Verfahren der Ermittlung
eines fahrstreifenfremden Objektes kann darauf basieren, dass ein Gradient beschreibend Eigenschaften von benachbarten oder angrenzenden Bildpunkten ermittelt wird und der Gradient mit
einem Referenzgradienten oder einem weiteren Gradienten
verglichen wird.
Ein auf künstlicher Intelligenz basierendes Verfahren der Ermittlung eines fahrstreifenfremden Objektes kann darauf basieren, dass in einer Datenbank eine Referenzeigenschaft eines Referenzbildpunktes eines Objektes abgespeichert ist, welche Referenzeigenschaft mit der Eigenschaft eines Bildpunktes verglichen wird. In Abhängigkeit einer Übereinstimmung der Referenzeigenschaft und der Eigenschaft wird der Bildpunkt der Fahrbahn oder einem fahrbahnfremden
Objekt zugewiesen.
Ergänzend oder alternativ hierzu kann eine Referenzbildpunkt eines Fahrstreifens in einer Datenbank abgespeichert sein. Das Objekt wird als ein fahrstreifenfremdes Objekt durch eine Diskrepanz zwischen dem Objektbildpunkt und dem
Referenzbildpunkt eines Fahrstreifens erkannt.
Die oben erwähnten Verfahren können auf der Betrachtung eines Bildpunktes oder eines kleinen Teilbereiches des Bildes basieren, was Jedoch die Gefahr einer nicht richtigen
Zuweisung des kleinen Teilbereiches oder des Bildpunktes mit
sich bringt. Es kann beispielsweise eine Störung im Bild fälschlicher Weise als ein potentielles Kollisionsobjekt erkannt werden. Die Möglichkeit einer unrichtigen Zuweisung kann über das oben beschriebene Kriterium reduziert werden, nach welchem Kriterium die Anzahl der Zeilen mit dem
Grenzwert verglichen werden.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass das fahrstreifenfremde Objekt durch einen Vergleich zumindest eines Bildteilbereiches des Bildes mit einem
Referenzbildteilbereich eines Referenzbildes erkannt wird.
Das erfindungsgemäße kann sich dadurch auszeichnen, dass in der Recheneinheit eine Mittelachse des Beobachtungsbereiches ermittelt wird,
wobei das fahrstreifenfremde Objekt durch ein um die Mittelachse symmetrisch bereichsweises, insbesondere zeilenweises Analysieren von Teilbereichen des
Beobachtungsbereiches erfolgt.
Die Mittelachse erstreckt sich im Wesentlichen in Fahrtrichtung, was eine Erstreckung der Mittelachse parallel zu der Fahrtrichtung und hiervon abweichend impliziert. Es wird die vorteilhafte Wirkung dieser Ausführungsform anhand
einer Figur untenstehend diskutiert.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass der Fahrstreifen durch seitliche Markierungen des
Fahrstreifens detektiert wird.
Es können seitliche Markierungen detektiert werden. Es werden beispielsweise Markierungen detektiert, welche Markierungen im Verkehrswesen üblich sind. Der Fahrstreifen kann als ein sich zwischen den Markierungen erstreckender Bereich
definiert werden.
Es können die auf eine Straße aufgebrachten
Begrenzungsmarkierungen oder sonstige Markierungen wie
Leitschienen oder Leitpfosten als Markierungen angesehen werden. Es können die Schienen eines Gleises für ein schienengebundenes Fahrzeug als Markierungen detektiert
werden.
Die Detektion der Markierungen kann nach den oben erwähnten Verfahren, insbesondere unter Anwendung von künstlichen neuronalen Netzen erfolgen. Die Detektion der Markierungen kann insbesondere einen Abgleich mit einer Datenbank umfassen. Die Datenbank kann beispielsweise eine Bereichsangabe umfassen, durch welche Bereichsangabe ein Bereich der Schienen eines von dem Fahrzeug befahrenen Gleises vorgeben ist. Die Detektion der Schienen als Markierungen kann auf diesen durch die Bereichsangabe
festgelegten Bereich eingeschränkt sein.
Die Bereichsangabe kann die Lage der Schienen in der Nähe des Fahrzeuges im Bild betreffen. Die Lage der Schienen im Bild in der Ferne des Fahrzeuges wird nach dem Grundsatz ermittelt, dass Schienen eine durchgehende Linie im Bild
darstellen.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass ein Beobachtungsbereich größer als der Fahrsteifen definiert
wird.
Im Besonderen bei einem Schienenfahrzeug ist der vom Schienenfahrzeug eingenommenen Fahrstreifen größer, im Besonderen breiter als der sich zwischen den Schienen erstreckende Bereich. Es kann der Beobachtungsbereich als ein durch Begrenzungen definierter Bereich sein, welche Begrenzungen sich zu den Begrenzungen des Fahrstreifens
parallel oder in einem Abstand hierzu erstrecken.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen,
dass
27179
das Verfahren unter Verwendung eines zu einem ersten Zeitpunkt aufgenommenen ersten Bildes unter Abtasten von nl Zeilen und
das Verfahren unter Verwendung eines zu einem zweiten Zeitpunkt aufgenommenen zweiten Bildes unter Abtasten von n2
Zeilen durchgeführt wird.
Das Fahrzeug kann mit einer Geschwindigkeit bewegt werden, sodass das erste Bild an einer ersten Position des Fahrzeuges zu einem ersten Zeitpunkt und das zweite Bild an einer zweiten Position des Fahrzeuges zu einem zweiten Zeitpunkt
aufgenommen wird.
Die erwähnten Werte nl und n2 können gleich oder unterschiedlich sein. Es kann die Anzahl der Zeilen nl, n2 in Abhängigkeit der Geschwindigkeit des Fahrzeuges gewählt werden. Je höher die Geschwindigkeit des Fahrzeuges ist, des
höher kann die Anzahl der Zeilen gewählt werden.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
das zweite Bild das Referenzbild ist.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
die Recheneinheit zu mehreren Zeitpunkten die Anzahl der Teilbereiche ermittelt, wobei
die Recheneinheit das fahrstreifenfremde Objekt als ein Kollisionsobjekt oder eine Diskontinuität einstuft, wenn die Anzahl der Teilbereiche zu den Zeitpunkten gleichbleibend oder größerwerdend ist, oder
die Recheneinheit das fahrstreifenfremde Objekt al kein Kollisionsobjekt oder keine Diskontinuität einstuft, wenn die Anzahl der Teilbereiche zu den Zeitpunkten kleinerwerdend
ist.
Es kann auch die Tendenz der Anzahl der Teilbereiche als ein Kriterium für das oben beschriebene Einstufen des fahrstreifenfremden Objektes verwendet werden. Der Fachmann kennt Verfahren nach dem Stand der Technik, welche ein Glätten von einer schwankenden Anzahl der Teilbereiche erlauben, sodass das fahrstreifenfremde Objekt nicht abwechselnd als Kollisionsobjekt oder kein Kollisionsobjekt beziehungsweise als Diskontinuität oder keine Diskontinuität
erkannt wird.
Der Anspruch 23 zeigt eine weitere erfindungsgemäße Lösung
auf.
Erfindungsgemäß wird dies dadurch erreicht, dass
mittels einer Recheneinheit in dem Bild zumindest der Fahrstreifen als Beobachtungsbereich detektiert wird, wobei mit der Recheneinheit ein fahrstreifenfremdes Objekt detektiert wird,
wobei die Recheneinheit eine Erstreckung des fahrstreifenfremden Objektes ermittelt, wobei
die Recheneinheit die Erstreckung des fahrstreifenfremden Bildes mit einer in einer Datenbank hinterlegten Schwellenerstreckung vergleicht, wobei
in der Recheneinheit ein fahrstreifenfremdes Objekt als ein Kollisionsobjekt oder als eine Diskontinuität im Beobachtungsbereich eingestuft wird, wenn die Erstreckung des fahrstreifenfremden Objektes größergleich der Schwellenerstreckung ist, oder
in der Recheneinheit ein fahrstreifenfremdes Objekt als keine Kollisionsobjekt oder als keine Diskontinuität erkannt wird, wenn die Erstreckung des fahrstreifenfremden Objektes kleiner
als die Schwellenerstreckung ist.
Nach dem Stand der Technik kann ein Objekt in einem Bild detektiert werden. Ein solcher Verfahrensschritt kann
beispielsweise auf der Durchführung einer Kantendetektion im
Bild basieren, wobei der so ermittelte Teilbereich des Bildes oder diesen Teilbereich beschreibende Parameter mit einem
Referenzbild verglichen wird.
Die Recheneinheit kann unter Anwendung von Verfahren nach dem Stand der Technik die Erstreckung des fahrstreifenfremden Objektes im Bild ermitteln. Die Erstreckung kann eine Angabe einer Dimension und/oder der Größe und/oder der Fläche und/oder eines Umfanges und/oder einer sonstigen geometrischen Eigenschaft des fahrstreifenfremden Objektes
umfassen.
Die Erstreckung kann ein Zahlenwert oder eine Vektorangabe
sein.
Die erfindungsgemäße Lösung sieht weiters vor, dass die Erstreckung als ein Entscheidungskriterium herangezogen wird, ob das fahrstreifenfremde Objekt als ein Kollisionsobjekt oder eine Diskontinuität eingestuft wird. Mit anderen Worten soll ermittelt werden, ob das fahrstreifenfremde Objekt als ein Kollisionsobjekt oder eine Diskontinuität für die Fortbewegung des Objektes relevant ist. Andernfalls wird das fahrstreifenfremde Objekt als keine relevantes Kollisionsobjekt oder als keine Diskontinuität oder als beispielsweise eine Störung im Bild angesehen. Die Recheneinheit trifft diese Entscheidung durch einen Vergleich
der ermittelten Erstreckung mit einer Sollerstreckung.
Die im Anspruch 23 definierte Lösung ist auch unabhängig von
den oben beschriebenen Lösungen ausführbar.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
die Recheneinheit zu mehreren Zeitpunkten die Erstreckung ermittelt, wobei
die Recheneinheit das fahrstreifenfremde Objekt als ein
Kollisionsobjekt oder eine Diskontinuität einstuft, wenn die
Erstreckung zu den Zeitpunkten gleichbleibend oder größerwerdend ist, oder
die Recheneinheit das fahrstreifenfremde Objekt als kein Kollisionsobjekt oder keine Diskontinuität einstuft, wenn die
Erstreckung zu den Zeitpunkten kleinerwerdend ist.
Es kann auch die Tendenz der Erstreckung als ein Kriterium für das oben beschriebene Einstufen des fahrstreifenfremden Objektes verwendet werden. Der Fachmann kennt Verfahren nach dem Stand der Technik, welche ein Glätten von einer schwankenden Anzahl der Teilbereiche erlauben, sodass das fahrstreifenfremde Objekt nicht abwechselnd als Kollisionsobjekt oder kein Kollisionsobjekt beziehungsweise
als Diskontinuität oder keine Diskontinuität erkannt wird.
Die hier offenbarte Erfindung betrifft auch ein Verfahren zur Definition eines Interessensbereiches in einem Bild. Dieses durch die Ansprüche 15 bis 17 definierte Verfahren kann auch
als unabhängiges Verfahren durchgeführt werden.
Das weitere Verfahren ist ein Verfahren zum Erkennen eines
Kollisionsobjektes oder einer Diskontinuität in einem Bild.
Das Bild wird durch zumindest eine Kamera aufgenommen, welche Kamera in eine Fahrtrichtung gerichtet auf einem Fahrzeug angeordnet ist. Es werden die mit der zumindest einen Kamera ermittelten Bilddaten zu einer Recheneinheit übermittelt. Die Recheneinheit analysiert die Bilddaten unter Anwendung von Verfahren nach dem Stand der Technik wie beispielsweise unter
Anwendung von neuronalen Netzen.
Die Recheneinheit kann am Fahrzeug angeordnet sein. Eine solche Anordnung der Recheneinheit hat den Vorteil, dass die Übertragung der Bilddaten von der Kamera zu der Recheneinheit auf Distanzen im Fahrzeug beschränkt ist. Jedoch ist durch
eine solche Anordnung der Recheneinheit die Recheneinheit an
eine Anordnung im Fahrzeug anzupassen. Die Recheneinheit kann
folglich eine geringere Rechenleistung aufweisen.
Die Recheneinheit kann außerhalb des Fahrzeuges angeordnet sein. Es kann die Recheneinheit bei einer solchen Anordnung eine größere Rechenleistung aufweisen, Jedoch müssen die
Bilddaten über größere Distanzen übertragen werden.
In beiden Fällen ist die Datenmenge der zu verarbeitenden
oder zu übertragenden Bilddaten zu beschränken.
Es wird das Fahrzeug auf einem Fahrstreifen bewegt. In einem weiteren Verfahren, welches weitere Verfahren diesem hier beschriebenen erfindungsgemäßen Verfahren nachgelagert ist, werden die Bilddaten unter Anwendung von neuronalen Netzen analysiert. Ein Ergebnis dieser rechenintensiven Analyse eines Bildes kann eine Feststellung oder Abschätzung sein, ob auf dem Fahrstreifen ein Kollisionsobjekt ist oder der Fahrstreifen eine Diskontinuität aufweist, welches Kollisionsobjekt und/oder welche Diskontinuität einen Schaden
am Fahrzeug verursachen kann.
Die hier offenbarte Erfindung stellt sich die technische Aufgabe, die Datenmenge oder Datengröße der zwischen der Kamera und der Recheneinheit übermittelten Bilddaten zu
minimieren.
Erfindungsgemäß wird dies durch den Anspruch 25 erreicht. Das im Anspruch 25 definierte Verfahren kann auch unabhängig von den in den vorgegangenen Verfahrensschritten definierten
ausgeführt werden.
Erfindungsgemäß wird dies dadurch erreicht, dass
in einer Recheneinheit ein Interessensbereich im Bild ermittelt wird,
wobei eine Lage und eine Erstreckung des Interessensbereiches
im Bild durch den Fahrstreifen und gegebenenfalls durch einen
an den Fahrstreifen angrenzenden Bereich mit einer
vorgegebenen Breite definiert ist.
In der obigen Beschreibung ist die Bestimmung des Fahrstreifens beschrieben. Dieser Verfahrensschritt ist zur
Durchführung des Verfahrens nach Anspruch 15 auszuführen.
ES kann der Interessensbereich im Bild seitlich durch die
Erstreckung des Fahrstreifens definiert sein.
ES kann die im Bild linke und rechte Kante des Fahrstreifens detektiert werden. Der in seiner seitlichen Ausdehnung dem Fahrstreifen entsprechende Interessensbereich kann durch die linke Kante und/oder rechte Kante des Fahrstreifens
detektiert sein.
Es kann der Fahrstreifen und folglich der Interessensbereich im Bild unten durch die untere Bildkante begrenzt sein. Es
kann der Fahrstreifen und folglich der Interessensbereich im Bild oben durch die obere Bildkante oder durch einen Horizont
des Fahrstreifens begrenzt sein.
Der Interessensbereich kann dem im Bild ersichtlichen und
folglich detektierbaren Fahrstreifen entsprechen.
Der Anwender erwartet das Vorkommen von möglichen Kollisionsobjekten in dem Interessensbereich. Der Anwender oder der Programmierer kann beispielsweise ein bereichsweises oder zeilenweises Detektieren von Kollisionsobjekten auf den
Interessensbereich beschränken.
Es kann der Abstand zwischen den Bereichen zum bereichsweisen Detektieren, insbesondere der Abstand zwischen den Zeilen für das zeilenweise Detektieren in dem Interessensbereich kleiner als in den an den Interessensbereich angrenzenden
Teilbereichen des Bildes gewählt werden.
Erfindungsgemäß kann die oben erwähnte Aufgabenstellung auch
dadurch gelöst werden, dass
in einer Recheneinheit in dem Bild den Interessensbereich durch Grenzflächen eines detektierten Objektes definiert, welches Objekt in einer Recheneinheit unter Erstellung der
Grenzflächen mit einem neuronalen Netz detektiert wird.
Der Interessensbereich kann weiters auf ein detektiertes Objekt beschränkt werden. Die Analyse des Bildes wird auf dieses detektierte Objekt, welches Objekt ein mögliches
Kollisionsobjekt darstellt, konzentriert.
Nach der gängigen Lehre wird bei einer Detektion eines Objektes in dem Bild die Grenzfläche (englisch bonding boxes) definiert. Der Interessensbereich wird durch die Grenzflächen des Objektes definiert. Die Erstreckung und die Lage des Interessensbereiches werden somit durch die Grenzfläche des Objektes definiert. Der Interessensbereich entspricht dem
Grenzbereich des detektierten Objektes.
Das im Bild detektierte Objekt, dessen Grenzflächen den Interessensbereich definieren, kann am Fahrstreifen oder in der Nähe des Fahrstreifens angeordnet sein. Es können hierzu die Bereichsangaben des Fahrstreifens mit den Positionsangaben des Objektes in der Recheneinheit in der Recheneinheit abgeglichen werden. Bei einer Überschneidung des Fahrstreifenbereiches und der Objektposition oder bei einer Unterschreitung eines Abstandes zwischen dem Fahrstreifenbereiches und der Objektposition wird die Objektposition als eine Position am Fahrstreifen oder in der
Nähe des Fahrstreifens angesehen.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
der Interessensbereich im Bild mit einer ersten Bildauflösung an die Recheneinheit übermittelt wird und
die an den Interessensbereich angrenzenden Teilbereiche des Bildes mit einer zweiten Bildauflösung an die Recheneinheit
übermittelt wird, sodass
eine Klassifikation des Objektes in der Recheneinheit mit einem neuronalen Netz unter Verwendung der ersten Bildauflösung durchgeführt wird und
eine Analyse der an den Interessensbereich angrenzenden Teilbereiche in der Recheneinheit mit einem neuronalen Netz unter Verwendung der zweiten Bildauflösung durchgeführt wird, wobei die erste Bildauflösung höher ist als die zweite
Bildaufl&ösung.
Da die zweite Bildauflösung geringer ist als die erste Bildauflösung, wird die von der Kamera an die Recheneinheit übertragene Bilddatenmenge reduziert. Dieser technische Effekt kann dadurch verstärkt werden, dass die an den Interessensbereich angrenzenden Teilbereiche des Bildes mit der zweiten Bildauflösung £flächenmäßig größer als der
Interessensbereich mit der ersten Bildauflösung.
Die Kamera kann das gesamte Bild mit der ersten Auflösung aufnehmen und die so erstellten Bilddaten an die Recheneinheit übermitteln. In der Recheneinheit kann die Bildauflösung der an den Interessensbereich angrenzenden Teilbereiche von der ersten Bildauflösung zu der zweiten Bildauflösung reduziert werden, um anschließend das Objekt als ein Kollisionsobjekt oder kein Kollisionsobjekt zu
klassifizieren.
Es ist auch denkbar, dass das Bild mit einer Kamera mit einer zweiten Bildauflösung aufgezeichnet wird. Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass der Interessensbereich mit einer weiteren Kamera mit
einer ersten Bildauflösung aufgenommen wird.
Es kann in dem mit der Kamera erstellten Bild mit der zweiten Auflösung der Interessensberiech definiert werden. Die weitere Kamera kann auf der Grundlage dieser Daten so
ausgerichtet werden, dass die weitere Kamera Bilddaten mit
der ersten Bildauflösung über den Interessensbereich
erstellt.
Die weitere Kamera kann ein weiteres Bild mit der ersten Bildauflösung zumindest umfassend den Interessensbereich erstellen. Es wird ein Bildausschnitt des weiteren Bildes, welcher Bildausschnitt zumindest den durch das Bild definierten Interessensbereich umfasst, an die Recheneinheit
übermittelt.
Der Fachmann kann die oben beschriebenen LöÄösungsvorschläge
miteinander kombinieren.
Die Erfindung wird anhand der folgenden, in den Figuren
dargestellten Ausführungsformen ergänzend erläutert:
Fig. 1 veranschaulicht das erfindungsgemäße Verfahren am
Beispiel des in Figur 1 gezeigten Bildes,
Fig. 2 zeigt eine mögliche grafische Darstellung des
erfindungsgemäßen Verfahrens,
Fig. 3 zeigt eine Seitenansicht eines Fahrzeuges zur Durchführung einer Ausformungsform des erfindungsgemäßen
Verfahrens,
Fig. 4 veranschaulicht die Durchführung einer Ausführungsform
des erfindungsgemäßen Verfahrens, Fig. 5 zeigt ein mit einer Kamera aufgenommenes Bild,
Fig. 6 veranschaulicht eine Ausführungsform des
erfindungsgemäßen Verfahrens zu einem Zeitpunkt tl,
Fig. 7 veranschaulicht eine Ausführungsform des
erfindungsgemäßen Verfahrens zu einem Zeitpunkt t2,
Fig. 8 veranschaulicht die Durchführung einer Ausführungsform
des erfindungsgemäßen Verfahrens.
Die in den Figuren gezeigten Ausführungsformen zeigen lediglich mögliche Ausführungsformen, wobei an dieser Stelle bemerkt sei, dass die Erfindung nicht auf diese speziell dargestellten Ausführungsvarianten derselben eingeschränkt ist, sondern auch Kombinationen der einzelnen Ausführungsvarianten untereinander und eine Kombination einer Ausführungsform mit der oben angeführten allgemeinen Beschreibung möglich sind. Diese weiteren möglichen Kombinationen müssen nicht explizit erwähnt sein, da diese weiteren möglichen Kombinationen aufgrund der Lehre zum technischen Handeln durch gegenständliche Erfindung im Können
des auf diesem technischen Gebiet tätigen Fachmannes liegen.
Der Schutzbereich ist durch die Ansprüche bestimmt. Die Beschreibung und die Zeichnungen sind jedoch zur Auslegung der Ansprüche heranzuziehen. Einzelmerkmale oder Merkmalskombinationen aus den gezeigten und beschriebenen unterschiedlichen Ausführungsformen können für sich eigenständige erfinderische Lösungen darstellen. Die den eigenständigen erfinderischen Lösungen zugrundeliegende
Aufgabe kann der Beschreibung entnommen werden.
In den Figuren sind die folgenden Elemente durch die
vorangestellten Bezugszeichen gekennzeichnet:
11 Grenzfläche der ersten Objektgruppe aus dem ersten neuronalen Netz
12 Grenzfläche der ersten Objektgruppe aus dem zweiten neuronalen Netz
13 Grenzfläche der ersten Objektgruppe aus dem dritten neuronalen Netz
21 Grenzfläche der zweiten Objektgruppe aus dem ersten neuronalen Netz
22 Grenzfläche der zweiten Objektgruppe aus dem zweiten
neuronalen Netz
23 Grenzfläche der zweiten Objektgruppe aus dem dritten neuronalen Netz
31 Grenzfläche der dritten Objektgruppe aus dem ersten neuronalen Netz
32 Grenzfläche der dritten Objektgruppe aus dem zweiten neuronalen Netz
33 Grenzfläche der dritten Objektgruppe aus dem dritten neuronalen Netz
101 erste Objektgruppe
102 zweite Objektgruppe
103 dritte Objektgruppe
104 zu Kamera fahrendes Auto
105 von Kamera hinzufahrendes Auto
106 Verkehrsschild
107 Frontscheinwerfer
108 Rad von 104
109 Rückscheinwerfer
110 Rad von 105
111 äußere Form von 106
112 Symbol in 106
201 Kollisionsobjekt 202 Bild
203 Fahrstreifen
204 Beobachtungsbereich 205 zeilenweises Analysieren 206 Mittelachse
207 Markierung
208 Ausgangspunkt
209 Begrenzungslinien 210 Fahrzeug
211 Gleis
212 Fahrtrichtung
213 Kamera
214 Kameraachse
215 Schienen
216 weitere Schienen 217 Betonplattenkanten 218 Person im Beobachtungsbereich 219 Person
220 Spalt
221 erste Zeile
222 zweite Zeile
223 dritte Zeile
224 vierte Zeile
225 erste Richtung
226 zweite Richtung 227 dritte Richtung 228 vierte Richtung 229 Fußball
230 weiteres Objekt 231 Grenzfläche
Die Figur 1 veranschaulicht die Anwendung des erfindungsgemäßen Verfahrens bei der Bewertung der Eignung von neuronalen Netzen bei der Analyse eines Bildes. Unter einer Eignung eines neuronalen Netzes kann verstanden werden, dass das neuronale Netz hinreichend genaue und richtige
Ergebnisse liefert.
Die Figur 1 zeigt beispielhaft ein Bild einer Verkehrssituation, das mit einer auf einem Fahrzeug angeordneten Kamera aufgenommen wird. Es ist dieses Bild mit Hilfe von neuronalen Netzen zu analysieren, sodass in weiterer Folge Objekte als Kollisionsobjekte oder keine Kollisionsobjekte klassifiziert werden können. Die Grundlage für die Erkennung eines Objektes als ein Kollisionsobjekt ist die richtige und hinreichend genaue Erkennung des Objektes mittels neuronaler Netze. Es ist Aufgabe der Erfindung, eine
Möglichkeit der Bewertung der Eignung der neuronalen Netze
bereitzustellen. Es ist nicht Aufgabe der Erfindung, Objekte
zu analysieren, ob diese tatsächlich Kollisionsobjekte sind.
Die im Rahmen dieser Offenbarung aufgezeigte Lösung basiert auf einem Vergleich der mit dem jeweiligen neuronalen Netz ermittelten Ergebnisse, im Besonderen der Detektion eines
Objektes und der Zuweisung einer Objektklasse zu dem Objekt.
Zu Figur 1:
Das erfindungsgemäße Verfahren betrifft die Einstufung von mit n (n=2,3..) künstlichen neuronalen Netze detektieren Objekten in zumindest einem Bild nach einem vorgegebenen
Kriterium.
Es werden mittels einer Recheneinheit in dem in Figur 1 gezeigten Bild die Objektgruppen 101, 102, 103 als Objekte unter Anwendung von drei unterschiedlichen neuronalen Netzen in dem Bild detektiert. Hierbei weist jedes angewandte neuronale Netz dem detektierten Objekt eine Objektklasse aus
einem Satz von normierten Objektklassen zu.
Weiters wird für jedes detektierte Objekt ein IoU-Wert bestimmt, welcher IoU-Wert die geometrische Genauigkeit der mit jedem neuronalen Netz durchgeführten Detektion beschreibt. Die Bestimmung des IoU-Wertes ist nach der gängigen Lehre bekannt und erfordert hier keine besondere
Erklärung.
Nach der gängigen Lehre ist davon auszugehen, dass die einzelnen neuronalen Netze auch unterschiedliche Ergebnisse liefern. Ein unterschiedliches Ergebnis kann beispielsweise darin begründet sein, ob ein Objekt detektiert wird und weiters welcher Objektklasse das Objekt zugewiesen wird. Weiters können sich die neuronalen Netze durch die erstellten
geometrischen Grenzen (bounding box) unterscheiden.
Die genannten Unterschiede sind im Besonderen für eine Anwendung von neuronalen Netzen für Verkehrssituationen
entscheidend.
Die Figur 1 zeigt ein Bild mit drei Objektgruppen 101, 102, 103 als Objekte gemäß Anspruch 1. Es wird der Begriff einer Objektgruppe gewählt, weil eine in Figur 1 ersichtliche Objektgruppe aus mehreren Objekten gebildet wird. Das im hier beschriebene, auf die ObJjektgruppen 101, 102, 103 angewandte Verfahren ist auch auf die beispielhaft erwähnten Objekte anwendbar. Das erfindungsgemäße Verfahren ist beispielsweise durch eine Betrachtung von Objekten anstelle von
Objektgruppen verfeinerbar.
Die erste Objektgruppe 101 wird durch ein zu der Kamera fahrendes Auto 104 gebildet. Die erste Objektgruppe 1 umfasst
einen Frontscheinwerfer 107, ein Rad 108 et cetera.
Die zweite ObJjektgruppe 102 wird durch ein von der Kamera wegfahrendes Auto 105 gebildet. Die zweite Objektgruppe 102
umfasst ein Rücklicht 109, ein Rad 110 et cetera.
Die dritte Objektgruppe 103 wird durch ein Verkehrsschild 106 gebildet. Das Verkehrsschild 106 umfasst das die äußere Form
definierende Schild und ein Symbol.
Ein erstes neuronales Netz detektiert die erste Objektgruppe 101 und weist dieser eine Grenzfläche 11 zu. Das erste neuronale Netz weist der ersten Objektgruppe 101 die
Objektklasse KLASSEL1 zu.
Das erste neuronale Netz detektiert die zweite Objektgruppe 102 und weist dieser eine Grenzfläche 12 zu. Das erste neuronale Netz weist der zweiten Objektgruppe 102 die
Objektklasse KLASSEL1 zu.
Das erste neuronale Netz detektiert die dritte Objektgruppe
103 nicht mit einer ausreichenden Wahrscheinlichkeit. Wie
nach der gängigen Lehre bekannt ist, liefern neuronale Netze eine Angabe einer Wahrscheinlicht, zu welcher Wahrscheinlichkeit ein Objekt als ein solches erkannt wird.
Es sind in der Figur 1 keine Grenzflächen 13 eingetragen.
Ein zweites neuronales Netz detektiert die erste Objektgruppe 101 und die zweite Objektgruppe 102 und weist diesen eine Grenzfläche 21 beziehungsweise 22 zu. Das zweite neuronale Netz weist der ersten Objektgruppe 101 und der zweiten
Objektgruppe 102 die Objektklasse KLASSEL1 zu.
Das zweite neuronale Netz detektiert die dritte Objektgruppe 103, weist jedoch dieser nur eine Grenzfläche 23 und weist
die Objektklasse KLASSE2 zu.
Ein drittes neuronales Netz detektiert die erste Objektgruppe 101 und die zweite Objektgruppe 102 und weist diesen eine Grenzfläche 31 beziehungsweise eine Grenzfläche 32 zu. Das zweite neuronale Netz weist der ersten Objektgruppe 101 und
der zweiten Objektgruppe 2 die Objektklasse KLASSEL1 zu.
Das dritte neuronale Netz detektiert die dritte Objektgruppe 103 nicht. Es sind keine Grenzflächen 33 in der Figur 1
eingetragen.
Der Anwender kann bei dem hier diskutierten Ausführungsbeispiel den ersten Vorgabewert mit maximal drei wählen, weil bei dem hier diskutierten Beispiel drei neuronale Netze eingesetzt werden. Der Anwender kann den ersten Vorgabewert mit zwei (allgemein vl12n/2) wählen, um eine mehrheitliche Bestätigung der Ergebnisse aus den
neuronalen Netzen zu erhalten.
Es wird in der Recheneinheit ein detektiertes Objekt als ein sicheres Objekt eingestuft, welches Objekt mit einer Anzahl von neuronalen Netzen derselben Objektklasse gr6ößergleich einem Vorgabewert vn zugeordnet wird und
welches Objekt einen IoU-Wert größergleich einem Grenzwert
aufweist. Andernfalls wird ein detektiertes Objekt als ein
unsicher detektiertes Objekt eingestuft.
Die Einstufung der detektierten Objektgruppen 101, 102, 103 ergibt, dass die ObJjektgruppe 101, 102 durch alle drei neuronalen Netze erkannt wird. Die Objektgruppen 101, 102 werden somit als sichere Objekte eingestuft. Die drei neuronalen Netze erlauben somit eine sichere Erkennung von
Objektgruppen mit einem Auto.
Die Einstufung der detektierten Objektgruppen 101, 102, 103 ergibt weiters, dass die Objektgruppe 103 nur durch das zweite neuronale Netz erkannt wird. Die Objektgruppe 103 wird somit in der Recheneinheit als ein unsicheres Objekt eingestuft. Unabhängig hiervon sind das erste neuronale Netz und das zweite neuronale Netz zur Detektion von Verkehrsschildern ungeeignet. Diese Angaben werden unter der Voraussetzung getroffen, dass die IoU-Werte jeweils den
Grenzwert nicht überschreiten.
Eine Eignung des dritten neuronalen Netzes zur Detektion von
Verkehrsschildern ist unklar.
Zu Figur 2:
Die Figur 2 veranschaulicht eine Wiedergabe der nach der obigen Beschreibung erstellten Daten über Objekterkennung durch unterschiedliche neuronale Netze zur Schaffung einer
Mensch-Maschine-Interaktion.
Zur Erstellung einer Darstellung gemäß Figur 2 ist das zumindest eine Bild mit zumindest drei unterschiedlichen
neuronalen Netzen zu analysieren.
Es wird auf einer Anzeigeeinheit ein n-faches Polynom dargestellt, wobei n mit n=1, 2, 3.. die Anzahl der zur Analyse des Bildes angewandten neuronalen Netze entspricht.
Die Figur 2 zeigt ein Dreieck als ein geschlossenes
dreifaches Polygon. Es werden auf der Anzeigeeinheit die mit einem n-ten neuronalen Netz detektierten Objekte auf einem n-
ten Segment des Polygons angezeigt.
Es sind in der Figur 2 die mit dem ersten neuronalen Netz erkannten Grenzflächen 11, 12, 13 für die detektierten Objektgruppen 101, 102, 103 auf dem ersten Segment des Dreieckes aufgetragen. Wie in der obigen Beschreibung dargelegt, erkennt das erste neuronale Netz nicht die Objektgruppe 103 mit einer ausreichenden Wahrscheinlichkeit. Aus diesem Grund ist der Kreis zu der Grenzfläche 13 mit
einer strichlierten Linie eingetragen.
Es sind die Grenzflächen 21, 22, 23 der unter Anwendung des zweiten neuronalen Netzes erkannten Objektgruppen 101, 102, 103 auf der zweiten Seite des Dreieckes aufgetragen. Da gemäß der obigen Beschreibung zu Figur 1 alle Objektgruppen mit dem zweiten neuronalen Netz erkannt werden, sind alle Kreise auf
der zweiten Seite mit einer durchgezogenen Linie dargestellt.
Es sind die Grenzflächen 31, 32, 33 der unter Anwendung des dritten neuronalen Netzes detektierten Objektgruppen 101, 102, 103 auf der dritten Seite des Dreiecks aufgetragen. Da gemäß der obigen Beschreibung zu Figur 1 die Objektgruppe 101, 102 erkannt werden, sind die Kreise zu den Grenzflächen 31, 32 durchgehend eingetragen. Es ist kein Kreis zu der Grenzfläche 33 ist eingetragen, da die dritte Objektgruppe
103 durch das dritte neuronale Netz nicht erkannt werden.
Es werden die Objekte mit einer Anzahl von Linien größer gleich dem ersten Vorgabewert vl angezeigt. Die Figur 2 zeigt
die Darstellung für v2=2.
Es werden dem die Anzeigevorrichtung betrachtenden Benutzer die Beziehungen zwischen den einzelnen Objekten und weiters
die Verknüpfungen zwischen den neuronalen Netzen angezeigt.
Durch die Anzeige der durch eine Anzahl von Linien größer gleich dem Vorgabewert werden im Besonderen die Objekte durch die diese Objekte verbindenden Linien markiert, welche Objekte durch eine hinreichende Anzahl von neuronalen Netzen erkannt wird und welchen Objekten durch eine hinreichende Anzahl von neuronalen Netzen eine korrekte Objektklasse
zugewiesen wird.
Die durch zwei neuronale Netze mit ausreichender Wahrscheinlichkeit erkannten Objektgruppen werden durch durchgezogene Linien verbunden. Bei einer Detektion eines Objektes und einer Zuweisung des Objektes zu einer Objektklasse durch alle neuronalen Netze bilden die Linien eine dem Polygon, hier dem Dreieck ähnliche geometrische Form bilden. Es wird durch die Anzahl der Ecken der geometrischen Form dem Benutzer angezeigt, durch viele neuronalen Netze das
Objekt erkannt wird.
Die durch ein neuronales Netz mit nicht ausreichender Wahrscheinlichkeit erkannten Objektgruppen werden durch
gestrichelte Linien verbunden.
Es werden die Verknüpfungen und somit Analogien zwischen den neuronalen Netzen ermittelt und angezeigt. Die Figur 2 zeigt eine Analogie des ersten neuronalen Netzes und des zweiten neuronalen Netzes, da diese Netze alle Objektgruppen
erkennen.
Es ist die Form der Linie (gestrichelt oder durchgezogen) von der Anzahl der neuronalen Netze abhängig gestaltet, durch welche Anzahl von neuronalen Netzen das Objekt detektiert
ist.
Der Benutzer kann über eine Eingabeeinheit zumindest ein Objekt der angezeigten Objekte auswählen. Der Benutzer kann in äquivalenter Weise zu der Auswahl eines Objektes auch eine
Line auswählen.
Der Benutzer bestätigt durch die Auswahl eines Objektes die Eignung der das ausgewählte Objekt erkennenden neuronalen Netze für die Detektion des Objektes und der Zuweisung einer Objektklasse zu diesem Objekt. Die oben beschriebene Anzeige und in Figur 2 veranschaulichte Anzeige wird der technische Inhalt veranschaulicht, welche Objektgruppe 101, 102, 103 durch welche neuronalen Netze erkannt werden. Weiters werden korrespondiere Ergebnisse liefernde neuronale Netze ausgewiesen. Im Besonderen wird das Ausmaß der korrespondierenden Ergebnisse durch die Anzahl der die Seiten
des Polygons verbindenden Linien veranschaulicht.
Der Benutzer kann auf der Grundlage dieser technischen Informationen die Eignung der neuronalen Netze durch Auswahl
der Objekte bestätigen oder ablehnen.
Zu Figur 3:
Die Figur 3 zeigt beispielhaft eine Seitenansicht eines Fahrzeuges 210, welches Fahrzeug 210 insbesondere auf einem Gleis 211 in eine Fahrtrichtung 212 bewegt wird. Das Fahrzeug 210 umfasst eine Kamera 213 mit einer Kameraachse 214. Durch die Kameraachse 214 ist die Ausrichtung der Kamera 213
definiert.
Die Kameraachse 214 ist in die Fahrtrichtung 212 orientiert. Die Orientierung der Kameraachse 214 in die Fahrtrichtung 212 wird in der Figur 3 durch eine mögliche Mindestanforderung erreicht, dass eine in der Figur 3 nicht eingetragene horizontale Komponente der Kameraachse 214 und die horizontale Komponente der Bewegungsrichtung 212 zueinander parallel orientiert sind. Die vertikalen Komponenten der Kameraachse 214 und der Bewegungsrichtung 212 weisen eine
Abweichung auf.
Das Fahrzeug 210 wird auf einem einen Fahrstreifen 203
definierenden Gleis 211 bewegt.
Zu Figur 4:
Es wird eine Ausführungsform des erfindungsgemäßen Verfahrens zum Erkennen eines Kollisionsobjektes 1 oder einer Diskontinuität in einem Bild 202 anhand der Figur 4 diskutiert. Es kann das Bild 202 mit einer Kamera 213 aufgenommen werden, wie diese in der Figur 3 dargestellt ist.
Es ist ebenso das Fahrzeug 210 in der Figur 3 dargestellt.
Das Fahrzeug 210 umfasst eine Recheneinheit, mit welcher Recheneinheit das Bild 202 unter Anwendung von Verfahren nach der gängigen Lehre analysiert wird. Da die Recheneinheit wegen ihrer Anordnung im Fahrzeug 210 eine mobile Einheit ist, weist die Recheneinheit nur eine begrenzte Rechenkapazität auf. Diese führt zu der oben erwähnten Aufgabenstellung des erfindungsgemäßen Verfahrens, nämlich die Aufbereitung der Bilddaten eines Bildes, sodass eine
effiziente Analyse durchgeführt werden kann.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass mittels einer Recheneinheit in dem Bild 202 zumindest der Fahrstreifen 203 als Beobachtungsbereich 204 nach Verfahren nach der gängigen Lehre detektiert wird. Die Detektion des Fahrstreifens 203 und die Definition zumindest dieses als Beobachtungsbereich 204 liefert zumindest räumliche Angaben über den Beobachtungsbereich 204 im Bild 202. Da das Bild 202 zweidimensionale Angaben umfasst, sind die oben erwähnten räumlichen Angaben vorzugsweise
zweidimensionale Angaben des Bildes 2.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass mit der Recheneinheit fahrstreifenfremde Objekte durch ein bereichsweises Analysieren 205 von Teilbereichen und im
Besonderen zeilenweises Analysieren 205 (wie in Figur 4
dargestellt) von Zeilen des Beobachtungsbereiches 204 detektiert werden. Beginnend ab einem Ausgangspunkt 208 wird der Beobachtungsbereich 204 bereichsweise, im Besonderen
zeilenweise auf fahrstreifenfremde Objekte untersucht.
Ein Bild weist im Allgemeinen durch die Anordnung der Bildpunkte einen zeilenweisen Aufbau auf. Wegen dieses durch die Bildpunkte vorgegebenen zeilenweisen Aufbaus ist ein zeilenweises Analysieren nahegelegt. Dieses wird auch als vorteilhaft angesehen, da die zeilenweisen angeordneten Bildpunkte ein zeilenweises Analysieren leicht erlauben. Der Vorgang des Analysierens der Teilbereiche des Beobachtungsbereiches 204, hier beispielhaft der Bildunkte des Beobachtungsbereiches 204 wird auch als ein Abtasten des
Beobachtungsbereiches 204 bezeichnet.
Es wird ein fahrstreifenfremdes Objekt durch eine Analyse von Teilbereichen, hier der Bildpunkte detektiert. Ein Objektbildpunkt eines fahrstreifenfremden Objektes unterscheidet sich durch eine Eigenschaft von den Fahrstreifenbildpunkt des Fahrstreifens 203. Es können unter Anwendung von Verfahren nach der gängigen Lehre die
Bildpunkte eines Objektes erkannt werden.
Es wird weiters definiert, dass sich ein einziges relevantes fahrstreifenfremdes Objekt über mehrere Zeilen erstreckt. Diese Definition schließt ein, dass sich ein tatsächlich auftretendes fahrstreifenfremdes Objekt über mehrere Zeilen erstrecken muss, d.h. es muss eine bestimmte Größe im Bild 202 aufweisen, sodass es als ein relevantes, mögliches Kollisionsobjekt 201 oder eine Diskontinuität im Fahrstreifen 203 erkannt werden kann. Ansonsten wird das fahrstreifenfremde Objekt wegen seiner anhand der Erstreckung über eine Anzahl von Zeilen gemessenen geringen Relevanz als kein relevantes Kollisionsobjekt oder als keine relevante
Diskontinuität im Fahrstreifen 203 erkannt. Das
erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass die Erstreckung des fahrstreifenfremden Objektes über Teilbereiche, insbesondere Zeilen oder Bildpunkte auch als ein Maß für die Relevanz des Objektes in der durch das Bild
202 festgehaltenen Situation angesehen wird.
Diese Definition geht wie folgt in das Einstufen eines durch einen Teilbereich wie einen Objektbildpunkt gegebenen fahrstreifenfremden Objektes als ein Kollisionsobjekt 201, insbesondere als ein mögliches Kollisionsobjekt 201 ein. Ein fahrstreifenfremdes Objekt wird als ein Kollisionsobjekt 201 klassifiziert, wenn dieses auch durch einen angrenzenden Teilbereich, insbesondere Bildpunkt gegebene Objekt in einer Anzahl von nacheinander folgenden Zeilen größer gleich einem Grenzwert detektierbar ist. Es wird ein fahrstreifenfremdes Objekt als ein Kollisionsobjekt 201 klassifiziert, wenn dieses Objekt sich als ein einziges sich über n größer gleich
dem Grenzwert Zeilen erstreckendes Objekt detektierbar ist.
Es geht ein fahrstreifenfremdes Objekt nicht als ein Kollisionsobjekt 201 in das erfindungsgemäße Verfahren ein, wenn sich das Objekt über eine Anzahl von Zeilen kleiner
gleich einem Grenzwert als ein einiges Objekt erstreckt.
Die hier offenbarte Beschreibung einer Ausführungsform des erfindungsgemäßen Verfahrens ist auf das zeilenweise Analysieren von Zeilen als Teilbereiche des Beobachtungsbereiches 204 gerichtet, weil in der Figur 4 und auch in der Figur 6 sowie in der Figur 7 Zeilen dargestellt sind. Der Fachmann kann auch andere Teilbereiche als Zeilen wählen und eine an die Form der Teilbereiche angepasste Analyseform wählen. Die hier beschriebene zeilenweise Analyse
stellt eine Sonderform des erfindungsgemäßen Verfahrens dar.
Der Grenzwert kann von einem Benutzer vorgegeben sein.
Der Grenzwert kann auch in Abhängigkeit der Geschwindigkeit des Fahrzeuges 210 und/oder der Auflösung des Bildes 2
definiert sein.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass das fahrstreifenfremde Objekt durch ein auf einer Kantendetektion oder künstliche Intelligenz basierendes Verfahren erkannt wird. Es sind die erwähnten Verfahren nach dem Stand der Technik bekannt und darüber hinaus oben
beschrieben.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass das fahrstreifenfremde Objekt durch einen Vergleich zumindest eines Bildteilbereiches des Bildes 2 mit einem Referenzbildteilbereich eines Referenzbildes erkannt wird,
wie dies oben beschrieben ist.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass in der Recheneinheit eine Mittelachse 206 des Beobachtungsbereiches 204 ermittelt wird,
wobei das fahrstreifenfremde Objekt durch ein um die Mittelachse 206 symmetrisches, zeilenweises Analysieren der
Teilberieche des Beobachtungsbereiches 204 erfolgt.
Die Mittelachse 206 erstreckt sich - wie dies beispielsweise aus der Figur 3 und der Figur 4 hervorgeht - in Fahrtrichtung 212. Dies impliziert eine parallele Orientierung der Fahrtrichtung 212 und der Mittelachse 206 sowie auch eine geringfügige Abweichung zwischen diesen. Es sind die Fahrtrichtung 12 und die Mittellinie 206 beispielsweise in der in Figur 3 gezeigten Ansicht als deckungsgleiche Linien eingetragen. Es sind die Fahrtrichtung 212 und die Mittellinie 206 beispielsweise in der in Figur 4 gezeigten Ansicht als voneinander abweichende Linien dargestellt. Die in Figur 4 dargestellte Abweichung kann dadurch begründet sein, dass die Kameraachse 214 im Grundriss (keine Figur
hierzu) nicht in Fahrtrichtung 212 ausgerichtet ist. Die
Offenbarung des erfindungsgemäßen Verfahrens ist keinesfalls auf diese erwähnte Ausrichtung der Kameraachse 214 zu der
Fahrtrichtung 212 beschränkt.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass der Fahrstreifen 203 durch seitliche Markierungen 207 des Fahrstreifens 203 detektiert wird. Die Figur 3 und die Figur 4 zeigen das Beispiel, dass der Fahrstreifen 203 durch ein Erkennen der Schienen 215 als Markierungen 207 erkannt
werden.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass ein Beobachtungsbereich 204 größer als der Fahrsteifen 203 definiert wird. Die Figur 4 zeigt diesen Sonderfall. Der Beobachtungsbereich 204 ist durch Begrenzungslinien 209 definiert, welche Begrenzungslinien 209 sich in einem Abstand zu den Markierungen 207 oder dem Gleis 211 parallel oder unter Berücksichtigung der in Figur 4 dargestellten
Perspektive erstrecken.
Zu Figur 5:
Die Figur 5 veranschaulicht das erfindungsgemäße Verfahren zum Erkennen eines Kollisionsobjektes 1 oder einer Diskontinuität in einem Bild 202, welches Bild 202 mit einer auf einem schienengebundenen Fahrzeug 210 Kamera 213 erstellt wird. Es ist im Fahrzeug 210 die Recheneinheit zur Analyse
des Bildes 2 angeordnet.
Das schienengebundene Fahrzeug 210 wird auf Fahrstreifen 203 bewegt, welcher Fahrstreifen 203 durch die Schienen 215 des
Gleises 211 seitlich begrenzt ist.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass mittels einer Recheneinheit in dem Bild 202 zumindest der Fahrstreifen 203 als Beobachtungsbereich 204 detektiert wird. Der Beobachtungsbereich 204 folgt im Besonderen wie in
der Figur 5 dargestellt der Bogenform der Schienen 215. Es
ist der Beobachtungsbereich 204 in der Figur 5 durch
gestrichelte Linien dargestellt.
Die Figur 5 zeigt den Sonderfall, dass im Bild 202 neben den Schienen 215 des Fahrstreifens 3 auch weitere Schienen 216 dargestellt sind. Das erfindungsgemäße Verfahren kann unter der Annahme, dass die Kameraachse 214 in seitlicher Richtung keine große Verstellung aufweist, die in der Bildmitte angeordneten Schienen 215 als die Schienen des Fahrstreifens
203.
Das erfindungsgemäße Verfahren kann auch umfassen, dass die Erstreckung des Beobachtungsbereiches 204 in Fahrtrichtung
212 durch eine geometrische Angabe begrenzt wird.
Es werden mit der Recheneinheit fahrstreifenfremde Objekte durch ein in Figur 5 dargestelltes, zeilenweises Analysieren 205 von Teilbereichen des Beobachtungsbereiches 204 detektiert, wobei sich ein Objektbildpunkt des Objekts im Bild 202 von einem Fahrstreifenbildpunkt des Fahrstreifens 203 unterscheidet. Diese unter Anwendung von Verfahren nach der gängigen Lehre durchgeführte Detektion von fahrstreifenfremden Objekten, wobei bei Verfahren nach dem Stand der Technik keine zeilenweise Detektion zwingend ist,
ist sohin auf den Beobachtungsbereich 204 beschränkt.
Eine zeilenweise Detektion kann eine Definition einer Zeilengröße miteinschließen. Die Zeilen können beispielsweise durch die zeilenweise Anordnung der Bildpunkte im Bild 202 vorgegeben sein, wobei eine einzige Reihe von Bildpunkten eine einzige Zeile ausbilden kann. Eine Zeile kann auch durch mehrere Reihen von Bildpunkten definiert sein. Der Fachmann wählt die Zeilengröße in Abhängigkeit der Qualität des Bildes 2 und in Hinblick auf die erforderliche Genauigkeit des
erfindungsgemäßen Verfahrens.
Es ist in der Figur 5 die zeilenweise Analyse des Beobachtungsbereiches 204 ab einen Ausgangspunkt 208 auf der Mittelachse 206 des Gleises 211 als Fahrstreifen 203 durch die Pfeile 205 eingetragen. Zur Wahrung der Übersichtlichkeit sind die Zeilen in der Figur 5 nicht eingetragen. Der Leser kann sich die Zeilengröße als beispielsweise ein Bereich zwischen zwei Pfeilen vorstellen. Die Zeilen können als überlappende Bereiche oder als zueinander angrenzende oder
als zueinander benachbarte Bereiche definiert sein.
Bei dem in Figur 5 gezeigten Anwendungsfall liegt das Bild in einer FHD-Auflösung (1920x1080 Bildpunkte) vor. Durch eine Analyse nur des Beobachtungsbereiches 204 und einer Analyse von nur Jeder dritten Zeile des Beobachtungsbereiches 204 kann der erforderliche Rechenaufwand auf geschätzt ein Zehntel zu einer Analyse des gesamten Bildes 2 einschließlich
Jeder Zeile reduziert werden.
In Analogie zu einer Analyse von nur jeder n-ten Zeile kann auch nur jeder k-te Bildpunkt (mit k22, k=n oder k#n) analysiert werden. Es kann so der Rechenaufwand weiter
reduziert werden.
Unter Anwendung von Verfahren nach dem Stand der Technik können die Personen 218, 219 als fahrstreifenfremde Objekte erkannt werden. Es sind in der Figur 5 die Personen 218, 219 mit eckigen Klammern [ ] und mit jeweils einem Bezugszeichen
gekennzeichnet.
Unter Anwendung von Verfahren nach dem Stand der Technik wird auch der Spalt 220 zwischen zwei Betonplatten als eine
Diskontinuität im Beobachtungsbereich 204 erkannt.
Das erfindungsgemäße Verfahren stellt sich insbesondere und in Ergänzung zu den formulierten Aufgaben der Aufgabe, ein
Verfahren zu einer effizienten Erkennung von relevanten
möglichen Kollisionsobjekt 201 und eine relevante
Diskontinuität bereitzustellen.
Es wird mit der Recheneinheit eine Anzahl von angrenzenden oder benachbarten Zeilen mit einem Objektbildpunkt ermittelt. In Bezugnahme auf die Figur 5 wird ermittelt, über welche Anzahl von einander angrenzenden und somit nachfolgenden Zeilen sich die Person 218 oder die Person 219 als fahrstreifenfremde Objekte erstreckt. Ebenso wird ermittelt, über welche Anzahl von Zeilen sich der Spalt 220 als
fahrstreifenfremdes Objekt erstreckt.
Es wird die Jeweils ermittelte Anzahl von Zeilen, über welche Anzahl von Zeilen sich das fahrstreifenfremde Objekt erstreckt, mit einem Grenzwert verglichen. Der Grenzwert kann wie im Rahmen der Beschreibung der Erfindung dargelegt durch den Anwender oder durch eine mathematische Berechnung
festgelegt sein.
Es wird in der Recheneinheit ein fahrstreifenfremdes Objekt wie die Person 218 als ein Kollisionsobjekt 201 eingestuft, wenn aneinander angrenzende Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl von nacheinander folgenden Zeilen größer gleich einem Grenzwert erkannt
werden.
Die Person 218, welche Person 218 sich im Fahrstreifen 203 oder Beobachtungsbereich 204 befindet oder in diesem erstreckt, erstreckt sich über eine Anzahl von Zeilen größer als ein definierter Grenzwert. Es wird somit die Person 218 als ein mögliches relevantes Kollisionsobjekt 201 erkannt. Das erfindungsgemäße Verfahren kann den technischen Effekt bieten, dass die begrenzte Rechenleitung der im Fahrzeug 210 angeordneten Recheneinheit auf die Vorhersage einer Kollision
zwischen dem Fahrzeug 210 und der Person 218 verwendet wird.
Gleichsam zu der Person 218 wird die Person 219 als ein mögliches relevantes Kollisionsobjekt erkannt. Das erfindungsgemäße Verfahren ist somit nicht auf die Bewertung von sich ausschließlich im Fahrstreifen 203 erstreckende Objekte beschränkt. Die Person 219 als Objekt erstreckt sich
über den Fahrstreifen 203 hinaus.
Der Spalt 220, welcher Spalt 220 sich im Fahrstreifen 203 oder Beobachtungsbereich 204 befindet, erstreckt sich über eine Anzahl von Zeilen kleiner dem erwähnten Grenzwert. Es wird somit der Spalt 220 nicht als eine relevante Diskontinuität eingestuft. Das erfindungsgemäße Verfahren kann den technischen Effekt haben, dass keine Rechenleistung der im Fahrzeug 210 angeordneten Recheneinheit auf eine Vorhersage einer Kollision des Fahrzeuge 210 mit dem Spalt
220 angewandt wird.
Der oben verwendete Begriff „relevant“ ist als „die Fahrt des Fahrzeuges 210 in Fahrtrichtung 212 beeinflussend“ zu
verstehen.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass in der Recheneinheit eine Mittelachse 206 des Beobachtungsbereiches 204 ermittelt wird, wobei das fahrstreifenfremde Objekt durch ein um die Mittelachse 206 symmetrisches, zeilenweises Analysieren der Teilberieche des Beobachtungsbereiches 204 erfolgt. Es ist diese Sonderform in
der Figur 5 durch die Pfeile 205 eingetragen.
Es kann beispielsweise die rechte Schiene 215 als eine hier beispielhaft erwähnte Form einer seitlichen Begrenzung des Fahrstreifens 203 oder des Beobachtungsbereiches 204 in einer Zeile nicht detektierbar sein. Da sich die Mittellinie 206 in der Mitte des Fahrstreifens 203 und somit des Beobachtungsbereiches 204 bekannt ist, ist der Abstand zwischen der Mittellinie 206 und der rechten Schiene 15
ermittelbar. Es kann die zeilenweise Analyse zwischen der
Mittellinie 206 und der rechten Schiene 15 um den Abstand, welcher Abstand zwischen der Mittellinie 206 und der linken
Schiene 15 gemessen wird, begrenzt werden.
Es ist oben erwähnt, dass jede n-te Zeile (wie oben angegeben) des Beobachtungsbereiches 4 analysiert werden kann. Falls eine Schiene 215 in einer Zeile nicht detektierbar ist, kann die Lage der Schiene 215 in dieser Zeile mittels einer Glättungsfunktion unter Berücksichtigung anderer bekannter Lagen der Schiene 215 abgeschätzt werden. Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass die Anwendung der Glättungsfunktion keinen besonderen Einfluss auf das Ergebnis des erfindungsgemäßen Verfahrens
hat.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass der Fahrstreifen 203 durch seitliche Markierungen 207 des Fahrstreifens 203 detektiert wird. Die Schienen 215 können als Markierungen 207 des Fahrstreifens 203 angesehen
werden.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass ein Beobachtungsbereich 204 größer als der Fahrsteifen 203 definiert wird, was in der Figur 4 nicht dargestellt ist. Der Beobachtungsbereich 204 kann auf seiner rechten Seite
durch die Betonplattenkante 217 definiert sein.
Die Figur 5 zeigt eine Szene eines sich einem Kreuzungsbereich nähernden Fahrzeuges 210 zu einem Zeitpunkt tl. Das Fahrzeug 210 wird vermutlich zu dem Zeitpunkt t1l die Geschwindigkeit reduzieren, wodurch das Fahrzeug 210 zu einem nachfolgenden Zeitpunkt t2 eine geringere Geschwindigkeit als zu dem Zeitpunkt tl aufweist. Das erfindungsgemäße Verfahren kann zu einem ersten Zeitpunkt tl unter Verwendung eines Grenzwertes nl und zu einem Zeitpunkt t2 unter Verwendung eines Grenzwertes n2 durchgeführt werden. Es kann gelten
nl56/79
Zu Figur 6:
Es wird in der Figur 6 im Besonderen das Verfahren zur Einstufung eines fahrstreifenfremden Objektes als ein Kollisionsobjekt 201 oder als kein Kollisionsobjekt in Detail diskutiert. Die Figur 6 zeigt eine Tabelle, wobei ein Tabellenfeld einen Bildpunkt des Bildes 2 symbolisiert. Es sind weiters bespielhaft die Mittellinie 206 und die
Markierungen 207 als Linie in der Figur 6 eingetragen.
Die in Figur 6 eingetragene Tabelle umfasst vier Zeilen 221, 222, 223, 224. Ein Rechteck einer Zeile 221, 222, 223, 224
symbolisiert einen Bildpunkt des Bildes 2.
Es wird die erste Zeile 221 durch eine Analyse der als Rechtecke eingetragenen Bildpunkte der ersten Zeile 221 der ersten Richtung 225 folgend ab dem Ausgangspunkt 208 analysiert. Die Bildpunkte der zweiten Zeile 222 werden in der zweiten Richtung 226 analysiert. Die Bildpunkte der dritten Zeile 223 werden in der dritten Richtung 227 analysiert. Die Bildpunkte der vierten Zeile 228 werden der vierten Richtung 228 folgend analysiert. Zusammenfassend wird der durch die Zeilen 221 bis 224 angezeigte Bereich des Bildes 202 zeilenweise, hier vorzugsweise mit abwechselnden
Richtungen analysiert.
Es sind in der Figur 6 und in der Figur 7 die Richtungen 225, 226, 227, 228 in die gleiche Richtung orientiert sind. Es ist auch denkbar, dass die Richtungen 225, 227 in die eine Richtung und die Richtungen 226, 228 in eine zu der einen
Richtung entgegengesetzte Richtung orientiert sind.
Es unterscheidet sich definitionsgemäß ein Fahrstreifenbildpunkt des Fahrstreifens 203 von einem Objektbildpunkt eines fahrstreifenfremden Objektes. Es sind nach dem Stand der Technik zahlreiche Verfahren bekannt,
welche Verfahren als Ergebnis eine Unterscheidung zwischen
einem Fahrstreifen 203 und einem fahrstreifenfremden Objekt
liefern.
Es ist nach der gängigen Lehre ein bekanntes Problem, dass die Erkennung von Objekten und somit die Zuweisung von Bildpunkten zu Objekten unter Anwendung von Verfahren nach der gängigen Lehre fehlerhaft sein kann. Das erfindungsgemäße Verfahren führt das oben beschriebene und hier nochmals ergänzend vorgetragene Kriterium ein, um fahrstreifenfremde Objekte zuverlässig zu erkennen. Die fahrstreifenfremden Objekte können gegebenenfalls unter Anwendung von weiteren Verfahren nach dem Stand der Technik als Kollisionsobjekte 1 erkannt werden. Das erfindungsgemäße Verfahren verfolgt insbesondere das Ziel, unrichtiger Weise als Objektbildpunkte
eingestufte Bildpunkte als solche zu erkennen.
In der Figur 6 umfassen die unter Anwendung von Verfahren nach dem Stand der Technik als Objektbildpunkte erkannten Bildpunkte ein ausgefülltes Rechteck.
Es wird das erfindungsgemäße Verfahren am Beispiel eines Fußballes 229 veranschaulicht. Der Fußball 229 weist eine Größe auf, sodass der Fußball 229 durch zumindest drei aneinander angrenzende Zeilen im Bild 20202 dargestellt wird. Ein durch weniger Zeilen dargestellter Fußball wäre vom Fahrzeug 210 zu weit entfernt und würde keinesfalls ein
Kollisionsobjekt 201 darstellen.
Es wird in der Recheneinheit ein fahrstreifenfremdes Objekt als ein Kollisionsobjekt 201 eingestuft, wenn aneinander angrenzende Objektbildpunkte dieses fahrstreifenfremden Objektes, hier des Fußballes 229 in einer Anzahl von nacheinander folgenden Zeilen größer gleich einem Grenzwert, hier drei erkannt werden. Es wird somit der in Figur 6 dargestellte Fußball 229, dessen Objektbildpunkte sich über drei Zeilen erstrecken als ein mögliches Kollisionsobjekt 201
erkannt.
Ein weiteres Objekt 230, welches weitere Objekt sich nur über eine Zeile und somit über weniger als drei Zeilen erstreckt, wird in der Recheneinheit als kein mögliches Kollisionsobjekt
201 erkannt.
Der Anwender kann den Grenzwert von hier drei Zeilen festlegen. Der Grenzwert kann auch in Abhängigkeit des unter Anwendung von Verfahren nach dem Stand der Technik erkannten Verfahren erkannten Objektes festgelegt werden. Die Recheneinheit kann insbesondere mit einer Datenbank verbunden sein, in welcher Datenbank Grenzwerte abgespeichert sind, welche Grenzwerte einem durch ein Verfahren nach dem Stand
der Technik erkannten Objekt zugewiesen werden.
ES kann weiters die Erstreckung des im Bild 20202 der Figur 6
eingetragenen Fußballs in der Recheneinheit ermittelt werden.
Die Erstreckung kann beispielsweise die Anzahl der Teilbereiche in horizontaler Richtung und/oder vertikaler Richtung und/oder Gesamtzahl der Teilbereiche mit einem Bildpunkt des Fußballes 229 umfassen. Die Anzahl der Teilbereiche in vertikaler Richtung und/oder in horizontaler Richtung kann der Höhe beziehungsweise der Breite des
fahrstreifenfremden Objektes entsprechen.
Das erfindungsgemäße Verfahren kann umfassen, dass die Erstreckung mit einer Schwellenerstreckung verglichen wird. Die Recheneinheit stuft den Fußball 229 als das fahrstreifenfremde Objekt als ein Kollisionsobjekt ein, wenn die Erstreckung größer oder gleich der Schwellenerstreckung ist. Die Recheneinheit stuft den Fußball 229 als das fahrstreifenfremde Objekt als kein Kollisionsobjekt ein, wenn
die Erstreckung kleiner der Schwellenerstreckung ist.
ES zeigt weiters die Figur 6 ein Bild 20202 zu einem ersten Zeitpunkt und die Figur 7 ein Bild 20202 zu einem zweiten
Zeitpunkt. Es kann das in Figur 6 gezeigte Bild 20202 unter
Verwendung eines ersten Grenzwertes von beispielhaft drei Zeilen analysiert werden. Es kann weiters das erfindungsgemäße Verfahren auf das in Figur 7 gezeigte Verfahren angewandt werden, wobei ein zweiter Grenzwert von beispielhaft vier Zeilen angewandt wird. Der erste Zeitpunkt kann vor dem zweiten Zeitpunkt liegen. Es kann so beispielsweise erkannt werden, dass der Abstand zwischen dem Fußball 229 und der Kamera 213 zwischen dem ersten Zeitpunkt
und dem zweiten Zeitpunkt verringert wird.
Zu Figur 8:
Die Figur 8 zeigt ein von einer Kamera 213 (siehe Figur 3) erstelltes Bild 202. Das Bild umfasst den Fahrstreifen 203 des Fahrzeuges 210 (siehe Figur 3) und einen im Fahrstreifen 203 angeordnetes Kollisionsobjekt 201. Es ist hierbei unerheblich, ob das Kollisionsobjekt 201 auf den Fahrstreifen 203 liegt oder in der in der Figur 8 gezeigten Projektion
liegt.
Das anhand der Figur 8 diskutierte Verfahren dient dem effizienten Erkennen eines Kollisionsobjektes 1 oder einer Diskontinuität in dem Bild 202. Ein Erkennen eines Kollisionsobjekts 201 umfasst das Detektieren des Objektes in dem Fahrstreifen 203 und das Klassifizieren des Objektes als
ein Kollisionsobjekt 201.
In einem ersten Schritt wird der Fahrstreifen 203 erkannt, in
welchem Fahrstreifen 203 das Fahrzeug 211 bewegt wird.
Der Fahrstreifen 203 kann bei einem schienengebundenen Fahrzeug 210 durch die Gleise 211 definiert sein. Es kann weiters ein Beobachtungsbereich 204 definiert werden, welcher Beobachtungsbereich 204 den Fahrstreifen 203 und einen an den Fahrstreifen 203 angrenzenden seitlichen Bereich umfasst (siehe auch obige Beschreibung). Der Beobachtungsbereich 204
ist seitlich durch Begrenzungslinien 209 begrenzt, welche
Begrenzungslinien 209 sich in einem definierten Abstand zu den Schienen des Gleises 211 erstrecken. Der
Beobachtungsbereich 204 umfasst den Fahrstreifen 203.
ES kann der Interessensbereich durch den Fahrstreifen 203
oder durch den Beobachtungsbereich 204 definiert werden.
Der Interessensbereich ist seitlich durch die den Fahrstreifen 203 begrenzenden Schienen des Gleises 211
beziehungsweise durch die Begrenzungslinien 209 begrenzt.
Der Interessensbereich ist unten durch die Bildkante
begrenzt.
Der Interessensbereich ist oben durch die obere Bildkante begrenzt. Alternativ zu der Begrenzung durch die obere Bildkante oder durch die untere Bildkante kann der Interessensbereich durch eine zu der jeweiligen Bildkante
parallelen Geraden begrenzt werden.
ES kann mit einer Recheneinheit im Fahrstreifen 203 beziehungsweise Beobachtungsbereich 204 oder in der Projektion auf diese 203, 204 ein Objekt detektiert werden, welches Objekt ein mögliches Kollisionsobjekt 201 darstellt. Nach der gängigen Lehre wird bei einer Detektion eines Objektes eine Grenzfläche 231 (englisch bonding box) ermittelt. Die Grenzfläche 231 weist im Bild 20202 in einer vorteilhaften Weise eine größere Fläche als das mögliche Kollisionsobjekt 201 auf. Es kann somit der Interessensbereich durch die £flächenmäßige Erstreckung des möglichen Kollisionsobjektes 201, im Besonderen die detektierte flächenmäßige Erstreckung des möglichen Kollisionsobjektes 201 und somit durch die Grenzfläche 231
definiert werden.
Der Interessensbereich kann somit durch den Fahrstreifen 203
oder den Beobachtungsbereich 204 oder durch das detektierte
Objekt als mögliches Kollisionsobjekt 201 oder durch dessen
Grenzflächen 231 definiert werden.
Eine mögliche Ausführungsform des erfindungsgemäßen ist, dass bei keiner Detektion eines Objektes in dem Fahrstreifen 203 oder in dem Beobachtungsbereich 204 der Interessensbereich durch den Fahrstreifen 203 oder den Beobachtungsbereich 204 definiert ist. Bei einer Detektion eines Objektes wird der Interessensbereich durch den Grenzbereich 231 des Objektes definiert. Es wird der Interessensbereich somit an die
jeweilige Situation angepasst.
ES kann das Bild 202 mit der Kamera 213 mit einer ersten Auflösung erstellt werden und an eine Recheneinheit übermittelt werden. In der Recheneinheit wird die Auflösung des Bildes 2 mit Ausnahme des Interessensbereiches auf eine zweite Bildauflösung reduziert. Dieser Verfahrensschritt impliziert, dass das Bild 202 in den Interessensbereich und in einen weiteren Bereich unterteilt wird, wobei der weitere Bereich als jener Bereich des Bildes definiert ist, welcher weitere Bereich als kein Interessensbereich definiert ist. Der weitere Bereich ist der an den Interessensbereich
angrenzende Teilbereich des Bildes 2.
Es kann das Bild 202 in einer zweiten Bildauflösung vorliegen. Es kann in dem Bild 202 der Interessensbereich ermittelt werden. Es können mit einer weiteren Kamera Bilddaten über den Interessensbereich mit einer ersten
Bildauflösung erstellt werden.
Es werden von der Recheneinheit Bilddaten erstellt, welche Bilddaten den Interessensbereich mit einer ersten Bildauflösung und den weiteren Bereich des Bildes mit einer zweiten Bildauflösung beschrieben. Die erste Bildauflösung ist vorzugsweise höher als die zweite Bildauflösung. Die erste Bildauflösung kann die höchste mit der Kamera 213
beziehungsweise der weiteren Kamera erstellbare Bildauflösung
sein. Die zweite Bildauflösung ist vorzugsweise ein minimale Bildauflösung zur Analyse des Bildes oder der weiteren Bereiche, falls eine Analyse der weiteren Bereiche
erforderlich ist.
Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
der Interessensbereich im Bild mit einer ersten Bildauflösung an die Recheneinheit übermittelt wird und
die an den Interessensbereich angrenzenden Teilbereiche des Bildes mit einer zweiten Bildauflösung an die Recheneinheit übermittelt wird, sodass
eine Klassifikation des Objektes in der Recheneinheit mit einem neuronalen Netz unter Verwendung der ersten Bildauflösung durchgeführt wird und eine Analyse der an den Interessensbereich angrenzenden Teilbereiche in der Recheneinheit mit einem neuronalen Netz unter Verwendung der zweiten Bildauflösung durchgeführt wird,
wobei die erste Bildauflösung höher ist als die zweite
Bildaufl&ösung.

Claims (28)

Patentansprüche
1. Verfahren zur Einstufung von mit n (n=2,3..) künstlichen neuronalen Netze detektierten Objekten in zumindest einem Bild, wobei mit einer Recheneinheit in dem Bild enthaltene Objekte unter Anwendung von n neuronalen Netze detektiert werden und jedes detektierte Objekt einer definierten Objektklasse oder einer undefinierten Objektklasse zugewiesen wird, wobei ein IoU-Wert für Jedes, mit jedem neuronalen Netz ausgewählte und detektierte Objekt erstellt wird, dadurch gekennzeichnet, dass mit der Recheneinheit ein detektiertes Objekt als ein sicheres Objekt eingestuft wird, falls das Objekt mit einer Anzahl von neuronalen Netzen größer oder gleich einem ersten Vorgabewert derselben definierten Objektklasse zugeordnet wird und welches Objekt einen IoU-Wert größer oder gleich einem Grenzwert aufweist, und/oder mit der Recheneinheit ein detektiertes Objekt als ein unsicheres Objekt eingestuft wird, falls das Objekt mit einer Anzahl von neuronalen Netzen kleiner einem ersten Vorgabewert derselben definierten Objektklasse zugeordnet wird oder das Objekt mit einer Anzahl von neuronalen Netzen größer oder gleich einem zweiten Vorgabewert einer undefinierten Objektklasse zugeordnet wird, welches Objekt einen IoU-Wert kleiner einem Grenzwert aufweist, wobei der erste Vorgabewert und der zweite Vorgabewert
kleiner gleich der Anzahl der neuronalen Netze sind.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Objekte eines einzigen Bildes unter Anwendung der
neuronalen Netze detektiert werden.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass Objekte in mehreren Bildern oder in mehreren Bildteilbereichen eines Bildes detektiert werden, wobei die Bilder beziehungsweise die Bildteilbereiche
zumindest ein Objekt einer Objektklasse umfassen.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine Objektposition des Objektes in einem Bild ermittelt wird und die Objekte mit einer ähnlichen Objektposition in den
anderen Bildern ermittelt werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Objektklasse nur ein einziges detektiertes Objekt nach Zuweisung eines Objektes durch ein neuronales Netz
umfasst.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die sicheren Objekte und/oder die unsicheren Objekte aus der Menge der detektierten Objekte des Bildes in einer
Anzeigeeinheit angezeigt werden.
7. Verfahren nach einem der Ansprüche 5 bis 6, dadurch gekennzeichnet, dass die sicheren Objekte sowie deren Objektposition im Bild und/oder die unsicheren Objekte sowie deren Objektposition im Bild
angezeigt wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass
Objekte in dem zumindest einem Bild mit zumindest drei
neuronalen Netzen detektiert werden, wobei Verknüpfungen zwischen mit unterschiedlichen neuronalen Netzen detektierten Objekten derselben bekannten Objektklasse erstellt werden,
wobei die Anzahl der Verknüpfungen zwischen den einzelnen neuronalen Netzen ermittelt werden,
wobei eine Eignung von zwei neuronalen Netzen aus den zumindest drei neuronalen Netzen durch die Anzahl der Verknüpfungen zwischen dem erwähnten neuronalen Netz und
dem weitern neuronalen Netz angegeben wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass Objekte in dem zumindest einen Bild mit zumindest drei neuronalen Netzen detektiert werden, wobei auf einer Anzeigeeinheit die mit einem n-ten neuronalen Netz detektierten Objekte auf einem n-ten Segment eines Polygons mit Bogenform oder eines Bogens angezeigt werden, wobei die mit unterschiedlichen neuronalen Netzen detektierten Objekte mit derselben bekannten Objektklasse mit Linien verbunden werden, wobei die Objekte mit einer Anzahl von Linien größer oder gleich dem Vorgabewert v markiert werden, wobei ein Benutzer über eine Eingabeeinheit die angezeigten Objekte auswählen und somit die Eignung der
angewandten neuronalen Netze bestätigen kann.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass
das Polygon eine geschlossene Form mit n Seiten aufweist.
11. Verfahren zum Erkennen eines Objektes als ein mögliches Kollisionsobjektes (1) oder einer Diskontinuität in einem Bild (2) nach einem der Ansprüche 1 bis 10, welches Bild (2) durch eine Kamera (13) aufgenommen wird,
welche Kamera (13) in eine Fahrtrichtung (12) gerichtet
auf einem Fahrzeug (10) angeordnet ist,
welches Fahrzeug (10) auf einem Fahrstreifen (3) bewegt wird,
welches Kollisionsobjekt (1) oder welche Diskontinuität bei einem Kontakt mit dem Fahrzeug (12) einen Schaden am Fahrzeug verursachen kann,
dadurch gekennzeichnet, dass
mittels einer Recheneinheit in dem Bild (2) zumindest der Fahrstreifen (3) als Beobachtungsbereich (4) detektiert wird, wobei
mit der Recheneinheit fahrstreifenfremde Objekte durch ein bereichsweises Analysieren (5) von Teilbereichen des Beobachtungsbereiches (4) detektiert werden,
wobei sich ein fahrstreifenfremdes Objektbildpunkt des fahrstreifenfremden Objekts in dem Bild (2) von einem Fahrstreifenbildpunkt des Fahrstreifens (3) unterscheidet, wobei
mit der Recheneinheit eine Anzahl von angrenzenden Teilbereichen mit einem Objektbildpunkt des fahrstreifenfremden Objektes als ein Maß für die relevante Größe des im Bild detektierten fahrstreifenfremden Objektes ermittelt wird, und wobei in der Recheneinheit ein fahrstreifenfremdes Objekt der fahrstreifenfremden Objekte als ein Kollisionsobjekt (1) oder als eine Diskontinuität im Beobachtungsgereich (4) eingestuft wird, wenn aneinander angrenzende Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl von angrenzenden oder benachbarten Teilbereichen größer gleich einem Grenzwert erkannt werden,
welcher Grenzwert in der Recheneinheit in Abhängigkeit einer Geschwindigkeit des Fahrzeuges (10) und/oder der Auflösung des Bildes (2) und/oder einer Klassifikation
des fahrstreifenfremden Objektes definiert wird.
12. Verfahren zum Erkennen eines Kollisionsobjektes (1) oder einer Diskontinuität in einem Bild (2), welches Bild (2) durch eine Kamera (13) aufgenommen wird, welche Kamera (13) in eine Fahrtrichtung (12) gerichtet auf einem Fahrzeug (10) angeordnet ist, welches Fahrzeug (10) auf einem Fahrstreifen (3) bewegt wird, welches Kollisionsobjekt (1) oder welche Diskontinuität bei einem Kontakt mit dem Fahrzeug (12) einen Schaden am Fahrzeug verursachen kann, dadurch gekennzeichnet, dass mittels einer Recheneinheit in dem Bild (2) zumindest der Fahrstreifen (3) als Beobachtungsbereich (4) detektiert wird, wobei mit der Recheneinheit fahrstreifenfremde Objekte durch ein bereichsweises Analysieren (5) von Teilbereichen des Beobachtungsbereiches (4) detektiert werden, wobei sich ein fahrstreifenfremdes Objektbildpunkt des fahrstreifenfremden Objekts in dem Bild (2) von einem Fahrstreifenbildpunkt des Fahrstreifens (3) unterscheidet, wobei mit der Recheneinheit eine Anzahl von angrenzenden Teilbereichen mit einem Objektbildpunkt des fahrstreifenfremden Objektes als ein Maß für die relevante Größe des im Bild detektierten fahrstreifenfremden Objektes ermittelt wird, und wobei in der Recheneinheit ein fahrstreifenfremdes Objekt der fahrstreifenfremden Objekte als ein Kollisionsobjekt (1) oder als eine Diskontinuität im Beobachtungsgereich (4) eingestuft wird, wenn aneinander angrenzende Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl von angrenzenden oder benachbarten Teilbereichen größer gleich einem Grenzwert erkannt
werden, und
in der Recheneinheit ein fahrstreifenfremdes Objekt der fahrstreifenfremden Objekte als kein Kollisionsobjekt oder als keine Diskontinuität im Beobachtungsbereich (4) eingestuft wird, wenn Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl von angrenzenden oder benachbarten Teilbereichen kleiner einem Grenzwert erkannt werden,
welcher Grenzwert von einem Benutzer oder in der Recheneinheit in Abhängigkeit einer Geschwindigkeit des Fahrzeuges (10) und/oder der Auflösung und/oder einer Klassifikation des fahrstreifenfremden Objektes des
Bildes (2) definiert ist.
13. Verfahren nach einem der Ansprüche 11 bis 12, dadurch gekennzeichnet, dass in der Recheneinheit ein fahrstreifenfremdes Objekt als ein Kollisionsobjekt (1) oder als eine Diskontinuität eingestuft wird, wenn aneinander angrenzende Objektbildpunkte dieses fahrstreifenfremden Objektes in einer Anzahl angrenzenden oder benachbarten Zeilen Teilbereichen kleiner gleich einem weiteren Grenzwert
erkannt werden.
14. Verfahren nach einem de Ansprüche 11 bis 13, dadurch gekennzeichnet, dass das bereichsweise Analysieren als ein Analysieren von einem angrenzenden oder benachbarten Teilbereich nach einem weiteren angrenzenden oder benachbarten Teilbereich
durchgeführt wird.
15. Verfahren nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass das bereichsweise Analysieren als ein zeilenweises Analysieren von Teilbereichen, insbesondere von angrenzenden oder benachbarten Teilbereichen durchgeführt
wird.
16. Verfahren nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass das fahrstreifenfremde Objekt durch einen Vergleich zumindest eines Bildteilbereiches des Bildes (2) mit einem Referenzbildteilbereich eines Referenzbildes
erkannt wird.
17. Verfahren nach einem der Ansprüche 11 bis 16, dadurch gekennzeichnet, dass in der Recheneinheit eine Mittelachse (6) des Beobachtungsbereiches (4) ermittelt wird, wobei das fahrstreifenfremde Objekt durch ein um die Mittelachse (6) symmetrisches, zeilenweises Analysieren
der Teilberieche des Beobachtungsbereiches (4) erfolgt.
18. Verfahren nach einem der Ansprüche 11 bis 17, dadurch gekennzeichnet, dass der Fahrstreifen (3) durch seitliche Markierungen (7) des
Fahrstreifens (3) detektiert wird.
19. Verfahren nach einem der Ansprüche 11 bis 18, dadurch gekennzeichnet, dass ein Beobachtungsbereich (4) größer als der Fahrsteifen
(3) definiert wird.
20. Verfahren nach einem der Ansprüche 11 bis 19, dadurch gekennzeichnet, dass das Verfahren unter Verwendung eines zu einem ersten Zeitpunkt aufgenommenen ersten Bildes (2) mit einem ersten Grenzwert von nl Zeilen und das Verfahren unter Verwendung eines zu einem zweiten Zeitpunkt aufgenommenen zweiten Bildes (2) mit einem
zweiten Grenzwert von n2 Zeilen durchgeführt wird.
21. Verfahren nach Anspruch 14 und 20, dadurch gekennzeichnet, dass
das zweite Bild (2) das Referenzbild ist.
22. Verfahren nach einem der Ansprüche 11 bis 21, dadurch gekennzeichnet, dass die Recheneinheit zu mehreren Zeitpunkten die Anzahl der Teilbereiche ermittelt, wobei die Recheneinheit das fahrstreifenfremde Objekt als ein Kollisionsobjekt oder eine Diskontinuität einstuft, wenn die Anzahl der Teilbereiche zu den Zeitpunkten gleichbleibend oder größerwerdend ist, oder die Recheneinheit das fahrstreifenfremde Objekt als kein Kollisionsobjekt oder keine Diskontinuität einstuft, wenn die Anzahl der Teilbereiche zu den Zeitpunkten
kleinerwerdend ist.
23. Verfahren zum Erkennen eines Kollisionsobjektes (1) oder einer Diskontinuität in einem Bild (2), welches Bild (2) durch eine Kamera (13) aufgenommen wird, welche Kamera (13) in eine Fahrtrichtung (12) gerichtet auf einem Fahrzeug (10) angeordnet ist, welches Fahrzeug (10) auf einem Fahrstreifen (3) bewegt wird, welches Kollisionsobjekt (1) oder welche Diskontinuität bei einem Kontakt mit dem Fahrzeug (12) einen Schaden am Fahrzeug verursachen kann, dadurch gekennzeichnet, dass mittels einer Recheneinheit in dem Bild (2) zumindest der Fahrstreifen (3) als Beobachtungsbereich (4) detektiert wird, wobei mit der Recheneinheit fahrstreifenfremde Objekte detektiert werden, wobei sich ein fahrstreifenfremdes Objektbildpunkt des fahrstreifenfremden Objekts in dem Bild (2) von einem Fahrstreifenbildpunkt des Fahrstreifens (3) unterscheidet, wobei eine mit der Recheneinheit ermittelte Erstreckung
des fahrstreifenfremden Objektes mit einer in einer
Datenbank hinterlegten Schwellenerstreckung verglichen wird, wobei
in der Recheneinheit ein fahrstreifenfremdes Objekt der fahrstreifenfremden Objekte als ein Kollisionsobjekt (1) oder als eine Diskontinuität im Beobachtungsbereich (4) eingestuft wird, wenn die Erstreckung des fahrstreifenfremden Objektes größergleich der Schwellenerstreckung ist, oder
in der Recheneinheit ein fahrstreifenfremdes Objekt der fahrstreifenfremden Objekte als keine KollisionsobJjekt oder als keine Diskontinuität erkannt wird, wenn die Erstreckung des fahrstreifenfremden Objektes kleiner als
die Schwellenerstreckung ist.
24. Verfahren nach Anspruch 23, dadurch gekennzeichnet, dass die Recheneinheit zu mehreren Zeitpunkten die Erstreckung ermittelt, wobei die Recheneinheit das fahrstreifenfremde Objekt als ein Kollisionsobjekt oder eine Diskontinuität einstuft, wenn die Erstreckung zu den Zeitpunkten gleichbleibend oder größerwerdend ist, oder die Recheneinheit das fahrstreifenfremde Objekt als kein Kollisionsobjekt oder keine Diskontinuität einstuft, wenn
die Erstreckung zu den Zeitpunkten kleiner werdend ist.
25. Verfahren nach einem der Ansprüche 11 bis 24, dadurch gekennzeichnet, dass in einer Recheneinheit ein Interessensbereich ermittelt wird, welcher Interessensbereich durch den Fahrstreifen und gegebenenfalls durch einen an den Fahrstreifen angrenzenden Bereich mit einer vorgegebenen Breite
definiert ist.
26. Verfahren nach einem der Ansprüche 11 bis 25,
dadurch gekennzeichnet, dass
72179
in einer Recheneinheit in dem Bild ein Interessensbereich als ein Teilbereich des Bildes ermittelt wird,
welcher Interessensbereich durch die Grenzflächen eines in dem Bild detektierten Objektes gebildet wird,
welches Objekt in einer Recheneinheit unter Erstellung der Grenzflächen mit einem neuronalen Netz detektiert
wird.
27. Verfahren nach Anspruch 26, dadurch gekennzeichnet, dass der Interessensbereich im Bild mit einer ersten Bildauflösung an die Recheneinheit übermittelt wird und die an den Interessensbereich angrenzenden Teilbereiche des Bildes mit einer zweiten Bildauflösung an die Recheneinheit übermittelt wird, sodass eine Klassifikation des Objektes in der Recheneinheit mit einem neuronalen Netz unter Verwendung der ersten Bildauflösung durchgeführt wird und eine Analyse der an den Interessensbereich angrenzenden Teilbereiche in der Recheneinheit mit einem neuronalen Netz unter Verwendung der zweiten Bildauflösung durchgeführt wird, wobei die erste Bildauflösung höher ist als die zweite
Bildauflösung.
28. Verfahren nach einem der Ansprüche 26 bis 27, dadurch gekennzeichnet, dass der Interessensbereich mit einer weiteren Kamera
aufgenommen wird.
73179
ATA50846/2023A 2023-10-18 2023-10-18 Autonotation von neuronalen Netzen AT527687A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ATA50846/2023A AT527687A1 (de) 2023-10-18 2023-10-18 Autonotation von neuronalen Netzen
PCT/EP2024/079286 WO2025083107A1 (de) 2023-10-18 2024-10-17 Autonotation von neuronalen netzen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ATA50846/2023A AT527687A1 (de) 2023-10-18 2023-10-18 Autonotation von neuronalen Netzen

Publications (1)

Publication Number Publication Date
AT527687A1 true AT527687A1 (de) 2025-05-15

Family

ID=93291918

Family Applications (1)

Application Number Title Priority Date Filing Date
ATA50846/2023A AT527687A1 (de) 2023-10-18 2023-10-18 Autonotation von neuronalen Netzen

Country Status (2)

Country Link
AT (1) AT527687A1 (de)
WO (1) WO2025083107A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272854A1 (en) * 2019-01-23 2020-08-27 Aptiv Technologies Limited Automatically choosing data samples for annotation
CN113011331A (zh) * 2021-03-19 2021-06-22 吉林大学 机动车是否礼让行人的检测方法、装置、电子设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102813454B1 (ko) 2021-09-29 2025-05-27 주식회사 하가 지식증류 기반의 학생모델을 이용한 객체를 인식하기 위한 장치 및 이를 위한 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272854A1 (en) * 2019-01-23 2020-08-27 Aptiv Technologies Limited Automatically choosing data samples for annotation
CN113011331A (zh) * 2021-03-19 2021-06-22 吉林大学 机动车是否礼让行人的检测方法、装置、电子设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIM Y.H. et al. "Hierarchical Open-Set Object Detection in Unseen Data", Symmetry [online], 11. Oktober 2019 (11.10.2019), Bd. 11, Nr. 10, Seiten 1271. <DOI: 10.3390/sym11101271>. Ermittelt von URL <https://www.mdpi.com/2073-8994/11/10/1271> *
MARATHE A. et al. "Evaluating the Performance of Ensemble Methods and Voting Strategies for Dense 2D Pedestrian Detection in the Wild", In: Proceedings of the IEEE/CVF International Conference on Computer Vision [online], Montreal, Kanada, 24. November 2021 (24.11.2021), Seiten 3575–3584. <DOI: 10.1109/ICCVW54120.2021.00398>. Ermittelt von URL <https://tinyurl.com/35n662ru> *
WALAMBE R. et al. "Lightweight Object Detection Ensemble Framework for Autonomous Vehicles in Challenging Weather Conditions", Computational Intelligence and Neuroscience [online], 7. Oktober 2021 (07.10.2021), Bd. 2021, Nr. 1, Seiten 5278820. <DOI: 10.1155/2021/5278820>. Ermittelt von URL <https://onlinelibrary.wiley.com/doi/abs/10.1155/2021/5278820> *

Also Published As

Publication number Publication date
WO2025083107A1 (de) 2025-04-24

Similar Documents

Publication Publication Date Title
EP3466239B1 (de) Verfahren für den betrieb einer selbstfahrenden landwirtschaftlichen arbeitsmaschine
DE102018129425B4 (de) System zur Erkennung eines Bearbeitungsfehlers für ein Laserbearbeitungssystem zur Bearbeitung eines Werkstücks, Laserbearbeitungssystem zur Bearbeitung eines Werkstücks mittels eines Laserstrahls umfassend dasselbe und Verfahren zur Erkennung eines Bearbeitungsfehlers eines Laserbearbeitungssystems zur Bearbeitung eines Werkstücks
DE69322306T2 (de) Gegenstandserkennungssystem mittels Bildverarbeitung
WO2020048669A1 (de) Verfahren zum bestimmen einer spurwechselangabe eines fahrzeugs, ein computerlesbares speichermedium und ein fahrzeug
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
DE102018122374B4 (de) Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
AT521647B1 (de) Verfahren und System zur Datenaufbereitung, zum Trainieren eines künstlichen neuronalen Netzes und zum Analysieren von Sensordaten
DE102021129864A1 (de) Verfahren und System zur Annotation von Sensordaten
DE102019214558A1 (de) Projektionsinformations-erkennungsvorrichtung auf basis eines künstlichen neuronalen netzwerks und verfahren derselben
EP2107336A1 (de) Verfahren und Vorrichtung zur Bilderkennung von bewegten Objekten, wie etwa in Förderanlagen
DE102021206475A1 (de) Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten
EP3715779A1 (de) Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt
EP4569494A1 (de) Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke
DE112022002410T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und steuerprogramm
DE102018109680A1 (de) Verfahren zum Unterscheiden von Fahrbahnmarkierungen und Bordsteinen durch parallele zweidimensionale und dreidimensionale Auswertung; Steuereinrichtung; Fahrassistenzsystem; sowie Computerprogrammprodukt
AT527687A1 (de) Autonotation von neuronalen Netzen
DE102021206625A1 (de) Computerimplementiertes Verfahren und System zur Unterstützung einer Installation eines bildgebenden Sensors und Trainingsverfahren
EP3884427A1 (de) Verfahren sowie system zur bestimmung eines fahrkorridors
WO2020200620A1 (de) Maskierung von in einem bild enthaltenen objekten
EP4538986A1 (de) Verfahren zum erkennen eines kollisionsobjektes oder einer diskontinuität
DE102022204618A1 (de) Effektive Qualitätsbestimmung einer Objekterkennung eines neuronalen Netzes
EP4296970A1 (de) Computerimplementiertes verfahren und system zum erzeugen einer virtuellen fahrzeugumgebung
DE102023117654B4 (de) Verfahren zur Überwachung eines Schutzbereichs basierend auf einem Modellobjektdatensatz mit mindestens einem 3D-Modellobjekt
DE102023210091A1 (de) Verfahren zum Bereitstellen eines kombinierten Trainingsdatensatzes für ein Maschinenlernmodell
EP4697272A1 (de) Verfahren zur generierung eines datensatzes zum trainieren und/oder testen eines maschinellen lernsystems