WO2022042902A1 - Verfahren zur objektverfolgung von mindestens einem objekt, steuereinrichtung zur durchführung eines solchen verfahrens, objektverfolgungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen objektverfolgungsvorrichtung - Google Patents

Verfahren zur objektverfolgung von mindestens einem objekt, steuereinrichtung zur durchführung eines solchen verfahrens, objektverfolgungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen objektverfolgungsvorrichtung Download PDF

Info

Publication number
WO2022042902A1
WO2022042902A1 PCT/EP2021/067658 EP2021067658W WO2022042902A1 WO 2022042902 A1 WO2022042902 A1 WO 2022042902A1 EP 2021067658 W EP2021067658 W EP 2021067658W WO 2022042902 A1 WO2022042902 A1 WO 2022042902A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical sensor
distance range
visible distance
recording
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2021/067658
Other languages
English (en)
French (fr)
Inventor
Fridtjof Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to US18/043,138 priority Critical patent/US12252064B2/en
Priority to CN202180051815.0A priority patent/CN116034051A/zh
Publication of WO2022042902A1 publication Critical patent/WO2022042902A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • control device for carrying out such a method, object tracking device with such a control device and motor vehicle with such an object tracking device
  • the invention relates to a method for object tracking of at least one object, a control device that is set up to carry out such a method, an object tracking device with such a control device and a motor vehicle with such an object tracking device.
  • the invention is therefore based on the object of providing a method for object tracking of at least one object, a control device set up to carry out such a method, an object tracking device with such a method To create a control device and a motor vehicle with such an object tracking device, wherein the disadvantages mentioned are at least partially eliminated, preferably avoided.
  • the object is achieved in particular by creating a method for object tracking of at least one object in at least two consecutive recordings by means of an illumination device and an optical sensor, with activation of the illumination device and the optical sensor being coordinated in terms of time.
  • a first coordinated control of the illumination device and the optical sensor is assigned a first visible distance range, with a first recording of the first visible distance range being recorded by means of the first coordinated control when the illumination device is illuminated with the optical sensor. If the at least one object is detected within the first visible distance range in the first recording, a distance measurement is carried out in order to determine the distance between the at least one detected object and the optical sensor.
  • a second coordinated control of the lighting device and the optical sensor and an associated second visible distance range are determined in such a way that the object detected in the first recording is located in the center within the second visible distance range.
  • a second recording of the second visible distance range is then recorded with illumination by means of the illumination device with the optical sensor by means of the second coordinated control.
  • the object detection and the coordinated control are coupled with each other via a feedback loop.
  • the detected object is optimally illuminated. Because of this optimal illumination, a better semantic segmentation of a downstream image processing is made possible.
  • the distance between the detected object and the optical sensor is determined using a suitable method.
  • a suitable method is known, in particular, from the German Offenlegungsschrift with the publication number DE 102020 002 994 A1.
  • the first recording and the second recording are recorded within less than 0.1 seconds, particularly preferably within less than 0.01 seconds.
  • the method can be used particularly advantageously in vehicles that drive automatically, in particular trucks that drive automatically.
  • the method can advantageously be used to detect and/or track and/or classify objects in the vehicle's own lane that cannot be driven over, in particular objects that are small compared to the size of the vehicle.
  • the method enables a timely and appropriate reaction to the detection and tracking of such objects and in particular to the detection of a distance of the vehicle to these objects.
  • Such an appropriate reaction can be, for example, emergency braking or driving along an avoidance trajectory—possibly determined ad hoc.
  • Such small objects that cannot be driven over are typically also referred to as "lost cargo".
  • such objects can also be people or animals lying on the street, in particular people who have had an accident.
  • the method for generating recordings by means of a chronologically coordinated activation of the illumination device and the optical sensor is in particular a method known as the gated imaging method; in particular, the optical sensor is a camera that is only sensitive to a specific, limited time range, which is referred to as "gated activation", so the camera is a gated camera.
  • the lighting device is also controlled correspondingly only in a specific, selected time interval in order to illuminate a scene on the object side.
  • the gated imaging method is particularly advantageous when visibility is poor, in particular when it is raining and/or foggy, and at night, since a Image signal and sensor noise can be separated much better than with standard cameras, especially with standard monocular cameras.
  • the lighting device emits a predefined number of light pulses, preferably with a duration of between 5 ns and 20 ns.
  • the start and end of the exposure of the optical sensor is linked to the number and duration of the emitted light pulses.
  • a specific visible distance range can be detected by the optical sensor through the temporal activation of the lighting device on the one hand and the optical sensor on the other hand with a correspondingly defined local position, i.e. in particular a specific distance from the start of the distance area to the optical sensor and a specific distance area width .
  • the visible distance range is that - object-side - range in three-dimensional space, which is determined by the number and duration of the light pulses of the lighting device in connection with the start and end of the exposure of the optical sensor by means of the optical sensor in a two-dimensional recording on an image plane of the optical Sensor is mapped.
  • object-side a region in real space, that is to say on the side of the object to be observed, is addressed.
  • image side an area on the image plane of the optical sensor is addressed.
  • the visible distance range is given on the object side.
  • An associated image-side area on the image plane corresponds to it due to the imaging laws and the temporal control of the illumination device and the optical sensor.
  • the method it is therefore particularly possible to define the position and spatial width of the visible distance range by appropriately selecting the temporal control of the illumination device on the one hand and the optical sensor on the other.
  • the visible distance range can be specified, with the timing of the lighting device on the one hand and the optical sensor on the other being determined and correspondingly specified therefrom.
  • the illumination device is a laser.
  • the optical sensor is a camera.
  • the object is detected in the second recording and a distance between the object and the optical sensor is determined. Continuous object detection and/or object tracking is thus possible by adjusting the visible distance range.
  • the method for object tracking is carried out alternately for at least two different first visible distance ranges.
  • at least two different objects can be detected and tracked with this development of the method.
  • the corresponding second visible distance range is adjusted depending on the distance measurement.
  • the first actuation of the lighting device of the optical sensor is coordinated in such a way that the first coordinated actuation is assigned the first visible distance range as the first first visible distance range and also a second first visible distance range.
  • the second coordinated activation of the lighting device and the optical sensor and the assigned second visible distance range as a first second visible distance range and a second second visible distance range additionally assigned to the second coordinated activation are determined in such a way that the first object is centered within the first second visible distance range and/or the second object is centered within the second second viewable distance range.
  • a second recording of the first, second visible distance range and of the second, second visible distance range is then recorded during illumination by means of the illumination device with the optical sensor by means of the second coordinated control.
  • two different objects can thus be detected and tracked at the same time.
  • the at least one detected object is classified, in particular by means of deep learning.
  • control device that is set up to carry out a method according to the invention or a method according to one of the previously described embodiments.
  • the control device is preferably designed as a computing device, particularly preferably as a computer, or as a control unit, in particular as a control unit of a vehicle.
  • a computing device particularly preferably as a computer
  • control unit in particular as a control unit of a vehicle.
  • the object is also achieved by creating an object tracking device that has an illumination device, an optical sensor, and a control device according to the invention or a control device according to one of the exemplary embodiments described above.
  • object tracking device results in particular in the advantages that have already been explained in connection with the method and the control device.
  • the control device is preferably operatively connected to the lighting device on the one hand and to the optical sensor on the other hand and is set up to control them. In a preferred embodiment, the control device is also set up to determine a distance between the optical sensor and the at least one detected object.
  • the object is also achieved by creating a motor vehicle with an object tracking device according to the invention or an object tracking device according to one of the exemplary embodiments described above.
  • an object tracking device according to the invention or an object tracking device according to one of the exemplary embodiments described above.
  • the motor vehicle is designed as a truck.
  • the motor vehicle it is also possible for the motor vehicle to be a passenger car, a commercial vehicle, or another motor vehicle.
  • FIG. 1 shows a schematic representation of an embodiment of a motor vehicle with an embodiment of an object tracking device and a first recording of a first visible distance range
  • FIG. 2 shows a schematic representation of the motor vehicle with the object tracking device and a second recording of a second visible distance range.
  • FIG. 1 a shows a schematic representation of an exemplary embodiment of a motor vehicle 1 with an exemplary embodiment of an object tracking device 3 .
  • the object tracking device 3 has an illumination device 5 and an optical sensor 7 .
  • the object tracking device 3 has a Control device 9, which is only shown schematically here and is operatively connected to the lighting device 5 and the optical sensor 7 in a manner that is not explicitly shown for their respective control.
  • FIG. 1 shows an illumination frustum 11 of the illumination device 5 and an observation area 13 of the optical sensor 7.
  • a first visible distance range 15.1, which results as a subset of the observation area 13 of the optical sensor 7, is also shown hatched.
  • An object 17 is partially arranged in the first visible distance range 15.1.
  • FIG. 1b shows a schematic representation of a first recording 19.1, which was recorded with the optical sensor 7 by means of a first coordinated control of the illumination device 5 and the optical sensor 7.
  • the image of the first visible distance range 15.1 is denoted by 15.T.
  • the image of the object 17 is denoted by 17' in the first recording 19.1.
  • FIG. 2 is an illustration of a scene immediately following in time the scene of FIG.
  • the time difference between the scenery in FIG. 1 and the scenery in FIG. 2 is preferably less than 0.1 s, particularly preferably less than 0.01 s.
  • FIG. 2 a shows the motor vehicle 1 with the object tracking device 3 .
  • the object tracking device 3 has the lighting device 5 and the optical sensor 7 .
  • the object tracking device 3 has the control device 9 .
  • FIG. 2 shows in particular the illumination frustum 11 of the illumination device 5 and the observation area 13 of the optical sensor 7 .
  • the object 17 is located in the center within the second visible distance range 15.2.
  • FIG. 2b shows a schematic representation of a second recording 19.2, which was recorded with the optical sensor 7 by means of a second coordinated control of the illumination device 5 and the optical sensor 7.
  • the image of the second visible distance range 15.2 is 15.2'.
  • the image of the object 17 is denoted by 17' in the second recording 19.2.
  • the object tracking and the adaptation of the second visible distance range 15.2 to the local position of the object 17 is carried out using the method described below.
  • a first recording 19.1 of the first visible distance range 15.1 is recorded by means of a first coordinated activation of the illumination device 5 and the optical sensor 7.
  • an object 17 is detected in the image 15.T of the first visible distance range 15.1.
  • the distance of the object 17 from the optical sensor 7 is determined using a suitable method.
  • a second coordinated control and an associated second visible distance range 15.2 are determined in such a way that the object 17 is located centrally within the second visible distance range 15.2.
  • a second recording 19.2 of the second visible distance range 15.2 is recorded with illumination by means of the illumination device 5 with the optical sensor 7 by means of the second coordinated control.
  • the distance of the object 17 from the optical sensor 7 can be determined again in the second recording 19.2.
  • the method for object tracking can be carried out continuously.
  • the detected object 17 can be classified, in particular by means of deep learning. This makes it advantageously possible to categorize the detected object 17 and to decide whether object tracking is necessary or not.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Objektverfolgung von mindestens einem Objekt (17) bei mindestens zwei zeitlich aufeinander folgenden Aufnahmen (19.1, 19,2) mittels einer Beleuchtungseinrichtung (5) und einem optischen Sensor (7), wobei - eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei - einer ersten abgestimmten Ansteuerung ein erster sichtbarer Abstandsbereich (15.1) zugeordnet wird, wobei - eine erste Aufnahme (19.1) des ersten sichtbaren Abstandsbereichs (15.1) bei einer Beleuchtung mittels der Beleuchtungseinrichtung (5) mit dem optischen Sensor (7) mittels der ersten abgestimmten Ansteuerung aufgenommen wird, wobei - wenn in der ersten Aufnahme (19.1) innerhalb des ersten sichtbaren Abstandsbereichs (15.1) das mindestens eine Objekt (17) detektiert wird, eine Abstandsmessung des mindestens einen Objekts durchgeführt wird, und - eine zweite abgestimmten Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) und ein zugeordneter zweiter sichtbarer Abstandsbereichs (15.2) derart bestimmt werden, dass sich das in der ersten Aufnahme (19.1) detektierte Objekt (17) mittig innerhalb des zweiten sichtbaren Abstandsbereichs (15.2) befindet, wobei eine zweite Aufnahme (19.2) des zweiten sichtbaren Abstandsbereichs (15.2) bei einer Beleuchtung mittels der Beleuchtungseinrichtung (5) mit dem optischen Sensor (7) mittels der zweiten abgestimmten Ansteuerung aufgenommen wird.

Description

Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung
Die Erfindung betrifft ein Verfahren zur Objektverfolgung von mindestens einem Objekt, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung.
Verfahren zur Objektdetektion und Objektverfolgung mittels einer Beleuchtungseinrichtung und einem optischen Sensor sind bekannt. Aus der internationalen Patentanmeldung mit der Veröffentlichungsnummer WO 2017/009848 A1 geht ein solches Verfahren hervor, bei dem eine Beleuchtungseinrichtung und ein optischer Sensor zeitlich aufeinander abgestimmt angesteuert werden, um einen bestimmten sichtbaren Abstandsbereich in einem Beobachtungsbereich des optischen Sensors aufzunehmen, wobei sich der sichtbare Abstandsbereich aus der zeitlichen Abstimmung der Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors ergibt. Nachteilig bei diesem Verfahren ist, dass keine Rückkopplung zwischen dem detektierten und zu verfolgenden Objekt und der Beleuchtungseinrichtung und dem optischen Sensor durchgeführt wird.
Aus der Veröffentlichung „Gated2Depth: Real-Time Dense Lidar From Gated Images“ von Tobias Gruber et. al. (https://arxiv.org/pdf/1902.04997.pdf) geht ein Verfahren zur Erstellung einer Aufnahme mit Abstandsinformationen in Echtzeit hervor. Problematisch dabei ist, dass dieses Verfahren nur bei einer Reichweite bis zu 80 m angewendet werden kann.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Objektverfolgung von mindestens einem Objekt, eine Steuereinrichtung, die eingerichtet ist zur Durchführung eines solchen Verfahrens, eine Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und ein Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung zu schaffen, wobei die genannten Nachteile zumindest teilweise behoben, vorzugsweise vermieden sind.
Die Aufgabe wird gelöst, indem die vorliegende technische Lehre bereitgestellt wird, insbesondere die Lehre der unabhängigen Ansprüche sowie der in den abhängigen Ansprüchen und der Beschreibung offenbarten Ausführungsformen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Objektverfolgung von mindestens einem Objekt bei mindestens zwei zeitlich aufeinander folgenden Aufnahmen mittels einer Beleuchtungseinrichtung und einem optischen Sensor geschaffen wird, wobei eine Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors zeitlich aufeinander abgestimmt werden. Einer ersten abgestimmten Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors wird ein erster sichtbarer Abstandsbereich zugeordnet, wobei eine erste Aufnahme des ersten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung mit dem optischen Sensor mittels der ersten abgestimmten Ansteuerung aufgenommen wird. Wenn in der ersten Aufnahme innerhalb des ersten sichtbaren Abstandsbereichs das mindestens eine Objekt detektiert wird, wird eine Abstandsmessung durchgeführt, um den Abstand zwischen dem mindestens einen detektieren Objekt und dem optischen Sensor zu bestimmen. Eine zweite abgestimmte Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors und ein zugeordneter zweiter sichtbarer Abstandsbereich werden derart bestimmt, dass sich das in der ersten Aufnahme detektierte Objekt mittig innerhalb des zweiten sichtbaren Abstandsbereichs befindet. Anschließend wird eine zweite Aufnahme des zweiten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung mit dem optischen Sensor mittels der zweiten abgestimmten Ansteuerung aufgenommen.
Mithilfe des hier vorgeschlagenen Verfahrens ist es vorteilhaft möglich, den sichtbaren Abstandsbereich an ein detektiertes Objekt anzupassen. Somit sind die Objektdetektion und die abgestimmte Ansteuerung über eine Feedback-Schleife miteinander gekoppelt. Mittels der mittigen Positionierung des Objekts innerhalb des sichtbaren Abstandsbereichs wird das detektierte Objekt optimal angeleuchtet. Aufgrund dieser optimalen Ausleuchtung wird eine bessere semantische Segmentierung einer nachgeschalteten Bildverarbeitung ermöglicht. Die Abstandsbestimmung zwischen dem detektierten Objekt und dem optischen Sensor wird mittels eines geeigneten Verfahrens durchgeführt. Ein solches geeignetes Verfahren ist insbesondere aus der deutschen Offenlegungsschrift mit der Veröffentlichungsnummer DE 102020 002 994 A1 bekannt.
In einer bevorzugten Ausführungsform des Verfahrens werden die erste Aufnahme und die zweite Aufnahme innerhalb von weniger als 0,1 Sekunden aufgenommen, besonders bevorzugt innerhalb von weniger als 0,01 Sekunden.
Das Verfahren kann besonders vorteilhaft in automatisiert fahrenden Fahrzeugen, insbesondere automatisch fahrenden Lastkraftwagen, angewendet werden. Insbesondere bei einer Nachfahrt ohne Vorausfahrer mit hoher Reichweitenanforderung können vorteilhaft mithilfe des Verfahrens auf der eigenen Fahrspur des Fahrzeugs angeordnete, nicht überfahrbare Objekte detektiert und/oder verfolgt und/oder klassifiziert werden, insbesondere Objekte, die klein sind im Vergleich zur Größe des Fahrzeugs. Das Verfahren ermöglicht eine rechtzeitige und angemessene Reaktion auf die Detektion und Verfolgung solcher Objekte und insbesondere auf die Erkennung eines Abstands des Fahrzeugs zu diesen Objekten. Eine solche angemessene Reaktion kann beispielsweise eine Notbremsung oder das Befahren einer - gegebenenfalls ad hoc bestimmten - Ausweichtrajektorie sein.
Solche kleinen, nicht überfahrbaren Objekte werden typischerweise auch als „lost cargo“ bezeichnet. Es kann sich bei solchen Objekten aber auch um auf der Straße liegende, insbesondere verunfallte, Personen oder Tiere handeln.
Das Verfahren zur Erzeugung von Aufnahmen mittels einer zeitlich aufeinander abgestimmten Ansteuerung von Beleuchtungseinrichtung und optischem Sensor ist insbesondere ein als Gated-Imaging-Verfahren bekanntes Verfahren; insbesondere ist der optische Sensor eine Kamera, die nur in einem bestimmten, eingeschränkten Zeitbereich empfindlich geschaltet wird, was als „Gated-Ansteuerung“ bezeichnet wird, die Kamera ist also eine Gated-Kamera. Auch die Beleuchtungseinrichtung wird entsprechend zeitlich nur in einem bestimmten, ausgewählten Zeitintervall angesteuert, um eine objektseitige Szenerie auszuleuchten. Besonders vorteilhaft eignet sich das Gated-Imaging-Verfahren bei schlechter Sicht, insbesondere bei Regen und/oder Nebel, und bei Nacht, da ein Bildsignal und ein Sensorrauschen sehr viel besser getrennt werden können als bei Standardkameras, insbesondere bei monokularen Standardkameras.
Insbesondere wird durch die Beleuchtungseinrichtung eine vordefinierte Anzahl von Lichtimpulsen ausgesandt, vorzugsweise mit einer Dauer zwischen 5 ns und 20 ns. Der Beginn und das Ende der Belichtung des optischen Sensors wird an die Anzahl und Dauer der abgegebenen Lichtimpulse gekoppelt. Daraus resultierend kann ein bestimmter sichtbarer Abstandsbereich durch die zeitliche Ansteuerung einerseits der Beleuchtungseinrichtung und andererseits des optischen Sensors mit entsprechend definierter örtliche Lage, das heißt insbesondere bestimmtem Abstand des Beginns des Abstandsbereichs von dem optischen Sensor und bestimmter Abstandsbereichs-Breite, durch den optischen Sensor erfasst werden.
Der sichtbare Abstandsbereich ist dabei derjenige - objektseitige - Bereich im dreidimensionalen Raum, welcher durch die Anzahl und Dauer der Lichtimpulse der Beleuchtungseinrichtung in Verbindung mit dem Start und dem Ende der Belichtung des optischen Sensors mittels des optischen Sensors in einer zweidimensionalen Aufnahme auf einer Bildebene des optischen Sensors abgebildet wird.
Soweit hier und im Folgenden von „objektseitig“ die Rede ist, ist ein Bereich im realen Raum, das heißt auf Seiten des zu beobachtenden Objekts, angesprochen. Soweit hier und im Folgenden von „bildseitig“ die Rede ist, ist ein Bereich auf der Bildebene des optischen Sensors angesprochen. Der sichtbare Abstandsbereich ist dabei objektseitig gegeben. Ihm entsprechen durch die Abbildungsgesetze sowie die zeitliche Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors ein zugeordneter bildseitiger Bereich auf der Bildebene.
Abhängig von dem Start und dem Ende der Belichtung des optischen Sensors nach dem Beginn der Beleuchtung durch die Beleuchtungseinrichtung treffen Lichtimpulsphotonen auf den optischen Sensor. Je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und dem optischen Sensor entfernt ist, desto länger ist die zeitliche Dauer bis ein Photon, welches in diesem Abstandsbereich reflektiert wird, auf den optischen Sensor trifft. Daher verlängert sich der zeitliche Abstand zwischen einem Ende der Beleuchtung und einem Beginn der Belichtung, je weiter der sichtbare Abstandsbereich von der Beleuchtungseinrichtung und von dem optischen Sensor entfernt ist.
Es ist also gemäß einer Ausgestaltung des Verfahrens insbesondere möglich, durch entsprechende geeignete Wahl der zeitlichen Ansteuerung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits die Lage und räumliche Breite des sichtbaren Abstandsbereichs zu definieren.
In einer alternativen Ausgestaltung des Verfahrens kann der sichtbare Abstandsbereich vorgegeben sein, wobei daraus die zeitliche Abstimmung der Beleuchtungseinrichtung einerseits und des optischen Sensors andererseits bestimmt und entsprechend vorgegeben wird.
Die Beleuchtungseinrichtung ist in bevorzugter Ausgestaltung ein Laser. Der optische Sensor ist in bevorzugter Ausgestaltung eine Kamera.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass in der zweiten Aufnahme das Objekt detektiert wird und ein Abstand zwischen dem Objekt und dem optischen Sensor bestimmt wird. Somit ist eine kontinuierliche Objektdetektion und/oder Objektverfolgung mittels der Anpassung des sichtbaren Abstandsbereichs möglich.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Verfahren zur Objektverfolgung abwechselnd für mindestens zwei unterschiedliche erste sichtbare Abstandsbereiche durchgeführt wird. Vorteilhafterweise können mit dieser Weiterbildung des Verfahrens mindestens zwei unterschiedliche Objekte detektiert und verfolgt werden. Für jedes Objekt der mindestens zwei unterschiedlichen Objekte wird der entsprechende zweite sichtbare Abstandsbereich abhängig von der Abstandsmessung angepasst.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Ansteuerung der Beleuchtungseinrichtung des optischen Sensors derart abgestimmt wird, dass der ersten abgestimmten Ansteuerung der erste sichtbare Abstandsbereich als erster erster sichtbarer Abstandsbereich und außerdem ein zweiter erster sichtbarer Abstandsbereich zugeordnet werden. Es wird eine erste Aufnahme des ersten ersten sichtbaren Abstandsbereichs und des zweiten ersten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung mit dem optischen Sensor mittels der ersten abgestimmten Ansteuerung aufgenommen. Wenn in der ersten Aufnahme innerhalb des ersten ersten sichtbaren Abstandsbereichs ein erstes Objekt detektiert wird, wird eine erste Abstandsmessung durchgeführt, um einen ersten Abstand zwischen dem optischen Sensor und dem ersten Objekt zu bestimmen. Wenn alternativ oder zusätzlich in der ersten Aufnahme innerhalb des zweiten ersten sichtbaren Abstandsbereichs ein zweites Objekt detektiert wird, wird eine zweite Abstandsmessung durchgeführt, um einen zweiten Abstand zwischen dem optischen Sensor und dem zweiten Objekt zu bestimmen. Anschließend werden die zweite abgestimmte Ansteuerung der Beleuchtungseinrichtung und des optischen Sensors und der zugeordnete zweite sichtbare Abstandsbereich als erster zweiter sichtbarer Abstandsbereich und ein der zweiten abgestimmten Ansteuerung zusätzlich zugeordneter zweiter zweiter sichtbarer Abstandsbereich derart bestimmt, dass sich das erste Objekt mittig innerhalb des ersten zweiten sichtbaren Abstandsbereichs befindet und/oder sich das zweite Objekt mittig innerhalb des zweiten zweiten sichtbaren Abstandsbereichs befindet. Danach wird eine zweite Aufnahme des ersten zweiten sichtbaren Abstandsbereichs und des zweiten zweiten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung mit dem optischen Sensor mittels der zweiten abgestimmten Ansteuerung aufgenommen. Vorteilhafterweise können damit zwei unterschiedliche Objekte gleichzeitig detektiert und verfolgt werden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine detektierte Objekt klassifiziert wird, insbesondere mittels Deep Learning.
Die Aufgabe wird auch gelöst, indem eine Steuereinrichtung geschaffen wird, die eingerichtet ist, um ein erfindungsgemäßes Verfahren oder ein Verfahren nach einer der zuvor beschriebenen Ausführungsformen durchzuführen. Die Steuereinrichtung ist vorzugsweise als Recheneinrichtung, besonders bevorzugt als Computer, oder als Steuergerät, insbesondere als Steuergerät eines Fahrzeugs, ausgebildet. In Zusammenhang mit der Steuereinrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
Die Aufgabe wird auch gelöst, indem eine Objektverfolgungsvorrichtung geschaffen wird, die eine Beleuchtungseinrichtung, einen optischen Sensor, und eine erfindungsgemäße Steuereinrichtung oder eine Steuereinrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit der Objektverfolgungsvorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren und der Steuereinrichtung erläutert wurden.
Die Steuereinrichtung ist bevorzugt einerseits mit der Beleuchtungseinrichtung und andererseits mit dem optischen Sensor wirkverbunden und eingerichtet zu deren Ansteuerung. Bei einer bevorzugten Ausführung ist die Steuereinrichtung darüber hinaus eingerichtet, um einen Abstand zwischen dem optischen Sensor und dem mindestens einen detektierten Objekt zu bestimmen.
Die Aufgabe wird schließlich auch gelöst, indem ein Kraftfahrzeug mit einer erfindungsgemäßen Objektverfolgungsvorrichtung oder einer Objektverfolgungsvorrichtung nach einem der zuvor beschriebenen Ausführungsbeispiele geschaffen wird. In Zusammenhang mit dem Kraftfahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren, der Steuereinrichtung und der Objektverfolgungsvorrichtung erläutert wurden.
In vorteilhafter Ausgestaltung ist das Kraftfahrzeug als Lastkraftwagen ausgebildet. Es ist aber auch möglich, dass das Kraftfahrzeug ein Personenkraftwagen, ein Nutzfahrzeug, oder ein anderes Kraftfahrzeug ist.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert. Dabei zeigen:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs mit einem Ausführungsbeispiel einer Objektverfolgungsvorrichtung und einer ersten Aufnahme eines ersten sichtbaren Abstandsbereichs, und
Fig. 2 eine schematische Darstellung des Kraftfahrzeugs mit der Objektverfolgungsvorrichtung und einer zweiten Aufnahme eines zweiten sichtbaren Abstandsbereichs.
Figur 1 a) zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Kraftfahrzeugs 1, mit einem Ausführungsbeispiel einer Objektverfolgungsvorrichtung 3. Die Objektverfolgungsvorrichtung 3 weist eine Beleuchtungseinrichtung 5 und einen optischen Sensor 7 auf. Außerdem weist die Objektverfolgungsvorrichtung 3 eine Steuereinrichtung 9 auf, die hier nur schematisch dargestellt und in nicht explizit dargestellter Weise mit der Beleuchtungseinrichtung 5 und dem optischen Sensor 7 zu deren jeweiliger Ansteuerung wirkverbunden ist. Dargestellt in Figur 1 ist insbesondere ein Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und ein Beobachtungsbereich 13 des optischen Sensors 7. Schraffiert dargestellt ist außerdem ein erster sichtbarer Abstandsbereich 15.1 , der sich als T eilmenge des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt. Ein Objekt 17 ist teilweise in dem ersten sichtbaren Abstandsbereich 15.1 angeordnet.
Figur 1 b) zeigt eine schematische Darstellung einer ersten Aufnahme 19.1 , welche mit dem optischen Sensor 7 mittels einer ersten abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 aufgenommen wurde. In der ersten Aufnahme 19.1 wird das Bild des ersten sichtbaren Abstandsbereichs 15.1 mit 15.T bezeichnet. Analog dazu wird in der ersten Aufnahme 19.1 das Bild des Objekts 17 mit 17‘ bezeichnet.
Figur 2 ist eine Darstellung einer Szenerie, welche zeitlich unmittelbar auf die Szenerie aus Figur 1 folgt. Die zeitliche Differenz zwischen der Szenerie in Figur 1 und der Szenerie in Figur 2 ist vorzugsweise weniger als 0,1 s, besonders bevorzugt weniger als 0,01 s.
Figur 2 a) zeigt das Kraftfahrzeugs 1, mit der Objektverfolgungsvorrichtung 3. Die Objektverfolgungsvorrichtung 3 weist die Beleuchtungseinrichtung 5 und den optischen Sensor 7 auf. Außerdem weist die Objektverfolgungsvorrichtung 3 die Steuereinrichtung 9 auf. Analog zu Figur 1 ist in Figur 2 insbesondere das Beleuchtungs-Frustum 11 der Beleuchtungseinrichtung 5 und der Beobachtungsbereich 13 des optischen Sensors 7 dargestellt. Schraffiert dargestellt ist außerdem ein zweiter sichtbarer Abstandsbereich 15.2, der sich als Teilmenge des Beobachtungsbereichs 13 des optischen Sensors 7 ergibt. Das Objekt 17 befindet sich mittig innerhalb des zweiten sichtbaren Abstandsbereichs 15.2.
Figur 2 b) zeigt eine schematische Darstellung einer zweiten Aufnahme 19.2, welche mit dem optischen Sensor 7 mittels einer zweiten abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 aufgenommen wurde. In der zweiten Aufnahme 19.2 wird das Bild des zweiten sichtbaren Abstandsbereichs 15.2 mit 15.2‘ bezeichnet. Analog dazu und zu Figur 1 wird in der zweiten Aufnahme 19.2 das Bild des Objekts 17 mit 17‘ bezeichnet.
Die Objektverfolgung und die Anpassung des zweiten sichtbaren Abstandsbereichs 15.2 auf die örtliche Lage des Objekts 17 wird mittels des im Folgenden beschriebenen Verfahrens durchgeführt.
Mittels einer ersten abgestimmten Ansteuerung der Beleuchtungseinrichtung 5 und des optischen Sensors 7 wird eine erste Aufnahme 19.1 des ersten sichtbaren Abstandsbereichs 15.1 aufgenommen. In der ersten Aufnahme 19.1 wird im Bild 15. T des ersten sichtbaren Abstandsbereichs 15.1 ein Objekt 17 detektiert. Mittels eines geeigneten Verfahrens wird der Abstand des Objekts 17 zu dem optischen Sensor 7 bestimmt.
Basierend auf der Abstandsmessung des Objektes 17 werden eine zweite abgestimmten Ansteuerung und ein zugehöriger zweiter sichtbarer Abstandsbereich 15.2 derart bestimmt, dass sich das Objekt 17 mittig innerhalb des zweiten sichtbaren Abstandsbereichs 15.2 befindet. Abschließend wird eine zweite Aufnahme 19.2 des zweiten sichtbaren Abstandsbereichs 15.2 bei einer Beleuchtung mittels der Beleuchtungseinrichtung 5 mit dem optischen Sensor 7 mittels der zweiten abgestimmten Ansteuerung aufgenommen.
Zusätzlich dazu kann in der zweiten Aufnahme 19.2 erneut der Abstand des Objekts 17 von dem optischen Sensor 7 bestimmt werden. Zusätzlich kann mit dieser erneuten Abstandsbestimmung das Verfahren zur Objektverfolgung kontinuierlich durchgeführt werden.
Alternativ oder zusätzlich kann das detektiert Objekt 17, insbesondere mittels Deep Learning, klassifiziert werden. Damit es vorteilhaft möglich das detektierte Objekt 17 zu kategorisieren und zu entscheiden ob eine Objektverfolgung notwendig ist oder nicht.

Claims

Patentansprüche Verfahren zur Objektverfolgung von mindestens einem Objekt (17) bei mindestens zwei zeitlich aufeinander folgenden Aufnahmen (19.1, 19,2) mittels einer Beleuchtungseinrichtung (5) und einem optischen Sensor (7), wobei
- eine Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) zeitlich aufeinander abgestimmt werden, wobei
- einer ersten abgestimmten Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) ein erster sichtbarer Abstandsbereich (15.1) zugeordnet wird, wobei
- eine erste Aufnahme (19.1) des ersten sichtbaren Abstandsbereichs (15.1) bei einer Beleuchtung mittels der Beleuchtungseinrichtung (5) mit dem optischen Sensor (7) mittels der ersten abgestimmten Ansteuerung aufgenommen wird, wobei
- wenn in der ersten Aufnahme (19.1) innerhalb des ersten sichtbaren Abstandsbereichs (15.1) das mindestens eine Objekt (17) detektiert wird, ein Abstand zwischen dem mindestens einen detektierten Objekt (17) und dem optischen Sensor (7) bestimmt wird, und
- eine zweite abgestimmten Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) und ein zugeordneter zweiter sichtbarer Abstandsbereichs (15.2) derart bestimmt werden, dass sich das in der ersten Aufnahme (19.1) detektierte Objekt (17) mittig innerhalb des zweiten sichtbaren Abstandsbereichs (15.2) befindet, wobei
- eine zweite Aufnahme (19.2) des zweiten sichtbaren Abstandsbereichs (15.2) bei einer Beleuchtung mittels der Beleuchtungseinrichtung (5) mit dem optischen Sensor (7) mittels der zweiten abgestimmten Ansteuerung aufgenommen wird. Verfahren nach Anspruch 1 , wobei in der zweiten Aufnahme (19.2) das mindestens eine Objekt (17) detektiert wird und der Abstand zwischen dem detektierten Objekt (17) und dem optischen Sensor (7) bestimmt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren zur Objektverfolgung abwechselnd für mindestens zwei unterschiedliche erste sichtbare Abstandsbereiche (19.1) durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei die erste Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) derart abgestimmt wird, dass der abgestimmten Ansteuerung der erste sichtbare Abstandsbereich (15.1) als erster erster sichtbarer Abstandsbereich und ein zweiter erster sichtbarer Abstandsbereich zugeordnet wird, wobei eine erste Aufnahme (19.1) des ersten ersten sichtbaren Abstandsbereichs und des zweiten ersten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung (5) mit dem optischen Sensor (7) mittels der ersten abgestimmten Ansteuerung aufgenommen wird, wobei
- wenn in der ersten Aufnahme (19.1) innerhalb des ersten ersten sichtbaren Abstandsbereichs ein erstes Objekt (17) detektiert wird, ein erster Abstand zwischen dem ersten Objekt (17) und dem optischen Sensor (7) bestimmt wird, und
- wenn in der ersten Aufnahme (19.1) innerhalb des zweiten ersten sichtbaren Abstandsbereichs ein zweites Objekt detektiert wird, ein zweiter Abstand zwischen dem zweiten Objekt und dem optischen Sensor (7) bestimmt wird, und die zweite abgestimmte Ansteuerung der Beleuchtungseinrichtung (5) und des optischen Sensors (7) und der zugeordnete zweite sichtbare Abstandsbereich (15.2) als erster zweiter sichtbarer Abstandsbereich und ein zugeordneter zweiter zweiter sichtbarer Abstandsbereich derart bestimmt werden, dass sich das erste Objekt (17) mittig innerhalb des ersten zweiten sichtbaren Abstandsbereichs befindet und/oder sich das zweite Objekt mittig innerhalb des zweiten zweiten sichtbaren Abstandsbereichs befindet, wobei eine zweite Aufnahme (19.2) des ersten zweiten sichtbaren Abstandsbereichs und des zweiten zweiten sichtbaren Abstandsbereichs bei einer Beleuchtung mittels der Beleuchtungseinrichtung (5) mit dem optischen Sensor (7) mittels der zweiten abgestimmten Ansteuerung aufgenommen wird. Verfahren nach einem der vorhergehenden Ansprüche, wobei das mindestens eine detektierte Objekt (17) - insbesondere mittels Deep Learning - klassifiziert wird. Steuereinrichtung (9) eingerichtet zur Durchführung eines Verfahrens zur Objektverfolgung nach einem der vorhergehenden Ansprüche. Objektverfolgungsvorrichtung (3), mit einer Beleuchtungseinrichtung (5), einem optischen Sensor (7), und einer Steuereinrichtung (9) nach Anspruch 6. Kraftfahrzeug (1) mit einer Objektverfolgungsvorrichtung (3) nach Anspruch 7.
PCT/EP2021/067658 2020-08-31 2021-06-28 Verfahren zur objektverfolgung von mindestens einem objekt, steuereinrichtung zur durchführung eines solchen verfahrens, objektverfolgungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen objektverfolgungsvorrichtung Ceased WO2022042902A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/043,138 US12252064B2 (en) 2020-08-31 2021-06-28 Method for object tracking at least one object, control device for carrying out a method of this kind, object tracking device having a control device of this kind and motor vehicle having an object tracking device of this kind
CN202180051815.0A CN116034051A (zh) 2020-08-31 2021-06-28 用于至少一个对象的对象追踪方法、用于执行这种方法的控制装置、具有这种控制装置的对象追踪装置和具有这种对象追踪装置的机动车

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020005343.2 2020-08-31
DE102020005343.2A DE102020005343A1 (de) 2020-08-31 2020-08-31 Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung

Publications (1)

Publication Number Publication Date
WO2022042902A1 true WO2022042902A1 (de) 2022-03-03

Family

ID=76796956

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/067658 Ceased WO2022042902A1 (de) 2020-08-31 2021-06-28 Verfahren zur objektverfolgung von mindestens einem objekt, steuereinrichtung zur durchführung eines solchen verfahrens, objektverfolgungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen objektverfolgungsvorrichtung

Country Status (4)

Country Link
US (1) US12252064B2 (de)
CN (1) CN116034051A (de)
DE (1) DE102020005343A1 (de)
WO (1) WO2022042902A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230415779A1 (en) * 2022-06-22 2023-12-28 Hon Hai Precision Industry Co., Ltd. Assistance method of safe driving and electronic device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011084106A (ja) * 2009-10-13 2011-04-28 Denso Corp 指向性制御照明装置
KR101253043B1 (ko) * 2011-09-06 2013-04-11 주식회사 만도 차량의 충돌 방지 장치 및 방법
WO2017009848A1 (en) 2015-07-14 2017-01-19 Brightway Vision Ltd. Gated structured imaging
US10281582B2 (en) * 2016-09-20 2019-05-07 Innoviz Technologies Ltd. Adaptive lidar illumination techniques based on intermediate detection results
DE102020002994A1 (de) 2020-05-19 2020-07-02 Daimler Ag Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
US20200272831A1 (en) * 2019-02-26 2020-08-27 Hyundai Mobis Co., Ltd. Object detection apparatus and method for vehicle

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309137A (en) * 1991-02-26 1994-05-03 Mitsubishi Denki Kabushiki Kaisha Motor car traveling control device
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
DE19743580B4 (de) * 1997-10-02 2004-12-02 Robert Bosch Gmbh Verfahren und Anordnung zur Ermittlung der Lichtverhältnisse in Front eines beweglichen Fahrzeuges, insbesondere vor einem Kraftfahrzeug
JP3092804B1 (ja) * 1999-09-22 2000-09-25 富士重工業株式会社 車両用運転支援装置
DE10131196A1 (de) * 2001-06-28 2003-01-16 Bosch Gmbh Robert Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP4376653B2 (ja) * 2004-02-17 2009-12-02 富士重工業株式会社 車外監視装置
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
CA2560800C (en) * 2006-01-20 2014-08-26 Geo 3D Inc. Automated asset detection, location measurement and recognition
US20080129541A1 (en) * 2006-12-01 2008-06-05 Magna Electronics Black ice detection and warning system
JP2008168811A (ja) * 2007-01-12 2008-07-24 Honda Motor Co Ltd 車線認識装置、車両、車線認識方法、及び車線認識プログラム
US9008355B2 (en) * 2010-06-04 2015-04-14 Microsoft Technology Licensing, Llc Automatic depth camera aiming
JP5488518B2 (ja) * 2010-07-05 2014-05-14 株式会社デンソー 道路端検出装置、運転者支援装置、および道路端検出方法
CN102495513B (zh) * 2011-12-19 2013-08-28 章建国 应用于摄像机夜晚激光立体照明的装置
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
DE102013227101B3 (de) 2013-12-23 2015-05-21 Trimble Jena Gmbh Optisches System zur Nachverfolgung eines Ziels
JP5894201B2 (ja) * 2014-02-14 2016-03-23 株式会社日本自動車部品総合研究所 境界線認識装置
DE102014208272A1 (de) 2014-05-02 2015-11-05 Robert Bosch Gmbh Verfahren und Vorrichtung zur Tracking-basierten Sichtweitenschätzung
US10356337B2 (en) * 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
US11648876B2 (en) * 2015-09-02 2023-05-16 SMR Patents S.à.r.l. System and method for visibility enhancement
JP6450294B2 (ja) * 2015-09-30 2019-01-09 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出方法、及びプログラム
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム
US10360459B2 (en) * 2016-04-06 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Detection device, detection method, and non-transitory computer-readable recording medium storing detection program
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
US20180105107A1 (en) * 2016-10-19 2018-04-19 Novateur Research Solutions LLC Pedestrian collision warning system for vehicles
TWI628099B (zh) * 2016-10-28 2018-07-01 致伸科技股份有限公司 車用開門預先偵測系統
US20180136314A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system for analyzing the distance to an object in an image
KR20180065527A (ko) * 2016-12-08 2018-06-18 경창산업주식회사 차량 후측방 경고 장치 및 이를 이용한 경고 방법
CN107040727B (zh) * 2017-05-11 2020-09-04 成都希格玛光电科技有限公司 摄像机曝光方法及装置
US10780860B2 (en) * 2017-08-10 2020-09-22 Aptiv Technologies Limited Predictive windshield wiper system
US10229596B1 (en) * 2017-10-05 2019-03-12 Analog Devices, Inc. Systems and methods for measuring a bridge clearance
DE102018205879A1 (de) * 2018-04-18 2019-10-24 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Verarbeitung von Sensordaten
US11592832B2 (en) * 2018-08-20 2023-02-28 Uatc, Llc Automatic robotically steered camera for targeted high performance perception and vehicle control
CN111489558B (zh) * 2019-11-11 2022-05-20 深圳市海洋王照明工程有限公司 车牌识别方法及系统
WO2021256226A1 (ja) * 2020-06-19 2021-12-23 パナソニックＩｐマネジメント株式会社 測距装置および測距システム
CN116076078B (zh) * 2020-09-11 2025-04-25 株式会社电装 车辆控制装置、车辆控制方法、车辆控制程序
DE102020215754A1 (de) * 2020-12-11 2022-06-15 Siemens Mobility GmbH Optische Schienenwegerkennung
TWI807548B (zh) * 2021-10-18 2023-07-01 國立陽明交通大學 利用重覆特徵物件進行車輛定位的方法及系統、電腦可讀取的記錄媒體
US20240083421A1 (en) * 2022-09-09 2024-03-14 Motional Ad Llc System and methods for time-of-flight (tof) lidar interference mitigation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011084106A (ja) * 2009-10-13 2011-04-28 Denso Corp 指向性制御照明装置
KR101253043B1 (ko) * 2011-09-06 2013-04-11 주식회사 만도 차량의 충돌 방지 장치 및 방법
WO2017009848A1 (en) 2015-07-14 2017-01-19 Brightway Vision Ltd. Gated structured imaging
US10281582B2 (en) * 2016-09-20 2019-05-07 Innoviz Technologies Ltd. Adaptive lidar illumination techniques based on intermediate detection results
US20200272831A1 (en) * 2019-02-26 2020-08-27 Hyundai Mobis Co., Ltd. Object detection apparatus and method for vehicle
DE102020002994A1 (de) 2020-05-19 2020-07-02 Daimler Ag Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230415779A1 (en) * 2022-06-22 2023-12-28 Hon Hai Precision Industry Co., Ltd. Assistance method of safe driving and electronic device
US12157499B2 (en) * 2022-06-22 2024-12-03 Hon Hai Precision Industry Co., Ltd. Assistance method of safe driving and electronic device

Also Published As

Publication number Publication date
US20230302987A1 (en) 2023-09-28
DE102020005343A1 (de) 2022-03-03
US12252064B2 (en) 2025-03-18
CN116034051A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
DE102020002994B4 (de) Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
DE4110132A1 (de) Fahrzeugabstandssteuergeraet
WO2021239323A1 (de) Verfahren zur erkennung von bildartefakten, steuereinrichtung zur durchführung eines solchen verfahrens, erkennungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen erkennungsvorrichtung
DE102020004690A1 (de) Verfahren zur Erkennung von Objekten, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Erkennungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Erkennungsvorrichtung
DE102018211042A1 (de) Schnelle Erkennung gefährlicher oder gefährdeter Objekte im Umfeld eines Fahrzeugs
DE102016117712A1 (de) Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs unter Berücksichtigung eines Erfassungsbereichs eines Sensors, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019218790A1 (de) Verfahren zum Bereitstellen von Bilddaten von einem Kamerasystem sowie Kamerasystem und Kraftfahrzeug
WO2022096215A1 (de) Verfahren zum detektieren eines objekts mittels einer beleuchtungseinrichtung und eines optischen sensors, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung
WO2022042902A1 (de) Verfahren zur objektverfolgung von mindestens einem objekt, steuereinrichtung zur durchführung eines solchen verfahrens, objektverfolgungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen objektverfolgungsvorrichtung
WO2024251542A1 (de) Vorrichtung zur räumlichen bilderfassung einer relativ zur vorrichtung bewegten umgebung sowie betriebsverfahren hierfür
WO2021239322A1 (de) Verfahren zur detektion von verlorenen bildinformationen, steuereinrichtung zur durchführung eines solchen verfahrens, detektionsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen detektionsvorrichtung
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
DE102018122929A1 (de) Straßenabtastverfahren
DE102021004516B3 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera
WO2022167343A1 (de) Verfahren zum kalibrieren einer gated-kamera, steuereinrichtung zur durchführung eines solchen verfahrens, kalibrierungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen kalibrierungsvorrichtung
DE102021003153B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Schulterblickvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Schulterblickvorrichtung
DE102021004521B4 (de) Gated-Kamera-Vorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102017206973A1 (de) Verfahren zur Nutzung einer indirekten Detektion eines verdeckten Verkehrsteilnehmers zur Steuerung eines Fahrerassistenzsystems oder einer Fahrautomatisierungsfunktion eines Fahrzeugs
EP4352547A1 (de) Verfahren zum betreiben einer gated-kamera, steuervorrichtung zur durchführung eines solchen verfahrens, sichtweitenmessvorrichtung mit einer solchen steuervorrichtung und kraftfahrzeug mit einer solchen sichtweitenmessvorrichtung
WO2022184738A1 (de) Verfahren zum betreiben einer gated-kamera, steuereinrichtung zur durchführung eines solchen verfahrens, kameravorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen kameravorrichtung
DE102020003096A1 (de) Verfahren zur Fernerkennung von Objekten in einem Umgebungsfrontbereich eines Fahrzeugs, Steuereinrichtung, Erkennungsvorrichtung sowie Fahrzeug
DE102020007064B4 (de) Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung
DE102021003728B4 (de) Verfahren zum Betreiben einer Gated-Kamera, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Gated-Kamera-Vorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
DE102018219420A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Entfernung von zumindest einem Objekt in einem Umfeld eines Fahrzeugs unter Verwendung einer Lasereinheit und einer Kameraeinheit
EP4356599A1 (de) Gated-kamera, kraftfahrzeug mit einer solchen gated-kamera und verfahren zum betreiben einer solchen gated-kamera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21737606

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21737606

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 18043138

Country of ref document: US