AT525694B1

AT525694B1 - METHOD FOR DETERMINING THE SPEED AND/OR DIRECTION OF MOVEMENT OF A VEHICLE

Info

Publication number: AT525694B1
Application number: ATA50973/2021A
Authority: AT
Inventors: Priller Dipl -Ing Peter; Schlömicher Dipl -Ing Thomas
Original assignee: Avl List Gmbh
Priority date: 2021-12-06
Filing date: 2021-12-06
Publication date: 2024-09-15
Also published as: WO2023102585A1; EP4445154A1; AT525694A1

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung der Geschwindigkeit und/oder Bewegungsrichtung eines Fahrzeugs, wobei eine Kamera (1) am Fahrzeug zumindest ein Bild (10,11) der Umgebung des Fahrzeugs aufnimmt, zumindest ein Objekt auf dem Bild (10, 11) von einer Verarbeitungseinrichtung (6, 7) erkannt wird und auf Grundlage der Bewegung des Objekts relativ zum Fahrzeug die Geschwindigkeit und/oder Bewegungsrichtung des Fahrzeugs berechnet wird, dadurch gekennzeichnet, dass zur Aufnahme des Bildes (10, 11) eine optische Achse (A) der Kamera (1) im Wesentlichen normal auf den Untergrund (4) des Fahrzeugs gerichtet wird.The invention relates to a method for determining the speed and/or direction of movement of a vehicle, wherein a camera (1) on the vehicle records at least one image (10, 11) of the surroundings of the vehicle, at least one object in the image (10, 11) is recognized by a processing device (6, 7), and the speed and/or direction of movement of the vehicle is calculated on the basis of the movement of the object relative to the vehicle, characterized in that in order to record the image (10, 11), an optical axis (A) of the camera (1) is directed substantially normally onto the ground (4) of the vehicle.

Description

[0001] Die Erfindung betrifft ein Verfahren zur Bestimmung der Geschwindigkeit und/oder Bewegungsrichtung eines Fahrzeugs, wobei eine Kamera am Fahrzeug zumindest ein Bild der Umgebung des Fahrzeugs aufnimmt, zumindest ein Objekt auf dem Bild von einer Verarbeitungseinrichtung erkannt wird und auf Grundlage der Bewegung des Objekts relativ zum Fahrzeug die Geschwindigkeit und/oder Bewegungsrichtung des Fahrzeugs berechnet wird, wobei zur Aufnahme des Bildes eine optische Achse der Kamera im Wesentlichen normal auf den Untergrund des Fahrzeugs gerichtet wird. [0001] The invention relates to a method for determining the speed and/or direction of movement of a vehicle, wherein a camera on the vehicle records at least one image of the surroundings of the vehicle, at least one object in the image is recognized by a processing device and the speed and/or direction of movement of the vehicle is calculated on the basis of the movement of the object relative to the vehicle, wherein an optical axis of the camera is directed substantially normally to the ground of the vehicle in order to record the image.

[0002] Sie betrifft auch eine Messeinrichtung zur Bestimmung der Geschwindigkeit und/oder Bewegungsrichtung eines Fahrzeugs, wobei die Messeinrichtung eine Kamera zur Aufnahme von Bildern der Umgebung des Fahrzeugs und eine mit der Kamera verbundene Verarbeitungseinrichtung zur Erkennung zumindest eines Objekts auf dem Bild und zur Berechnung der Geschwindigkeit und/oder Bewegungsrichtung aufweist, und wobei die Kamera eine optische Achse aufweist, wobei die Verarbeitungseinrichtung dazu ausgebildet ist, die Geschwindigkeit und/oder Bewegungsrichtung im Wesentlichen senkrecht zu der optischen Achse zu berechnen. [0002] It also relates to a measuring device for determining the speed and/or direction of movement of a vehicle, wherein the measuring device has a camera for taking images of the surroundings of the vehicle and a processing device connected to the camera for detecting at least one object in the image and for calculating the speed and/or direction of movement, and wherein the camera has an optical axis, wherein the processing device is designed to calculate the speed and/or direction of movement substantially perpendicular to the optical axis.

[0003] Insbesondere bei Testfahrten eines Fahrzeugs ist es wichtig, möglichst genaue Daten über die Geschwindigkeit und/oder Bewegungsrichtung unabhängig von der Fahrzeugsensorik zu erhalten. So können Fahrbarkeitsanalysen, Fahrwerksabstimmung oder Fahrzeugfunktionen entwickelt und getestet werden. Beispielsweise kann die Messung des Schwimmwinkels (des Driftwinkels) zur Abschätzung der Schräglast am Reifen, welcher relevant für die Bewertung der Fahrdynamik ist, bestimmt werden. [0003] When testing a vehicle, it is particularly important to obtain the most accurate data possible on the speed and/or direction of movement, independent of the vehicle sensors. This allows drivability analyses, chassis tuning or vehicle functions to be developed and tested. For example, the sideslip angle (drift angle) can be measured to estimate the oblique load on the tire, which is relevant for evaluating the driving dynamics.

[0004] Eine Möglichkeit zur Messung der Fahrzeugbewegung bilden IMUs (inertial measurement units), die für die nötige Präzision aber sehr aufwendig und teuer sind. Eine andere Möglichkeit bildet die zyklische Bestimmung der absoluten Position des Fahrzeugs über GPS/GNSS, gefolgt von einer ersten und zweiten Ableitung nach der Zeit. Aufgrund der begrenzten Auflösung und Genauigkeit ist auch dieses System nur eingeschränkt für diese Aufgaben verwendbar. [0004] One way to measure the movement of the vehicle is to use IMUs (inertial measurement units), but these are very complex and expensive to achieve the required precision. Another option is to cyclically determine the absolute position of the vehicle using GPS/GNSS, followed by a first and second derivative with respect to time. Due to the limited resolution and accuracy, this system can only be used to a limited extent for these tasks.

[0005] Es sind auch optische Methoden bekannt, welche durch Messung zweier phasenverschobener Signale die Bewegungsrichtung und Bewegungsgeschwindigkeit ermittelt. Dies ist aber technisch sehr aufwendig und für Wegmessungen nicht ausreichend genau. [0005] Optical methods are also known which determine the direction and speed of movement by measuring two phase-shifted signals. However, this is technically very complex and not sufficiently accurate for distance measurements.

[0006] In der US 6,535,114 B1 wird ein Fahrzeug beschrieben, das eine nach vorne gerichtete Kamera aufweist, die mehrere Bilder aufnimmt, Objekte, die sich in der Umgebung des Fahrzeugs befinden, darauf erkennt und verfolgt. Durch die Winkeländerung der Objekte zur Kamera zwischen mehreren Bildern kann so die Geschwindigkeit und Bewegungsrichtung berechnet werden. Dieses Verfahren ist aber einerseits sehr rechenaufwendig und andererseits benötigt es insbesondere am Beginn eine längere Abfolge von Bildern, um eine akkurate Berechnung zu ermöglichen. Darüber hinaus ist die Berechnung aufgrund der mitunter geringen Änderungen nicht sehr genau. [0006] US 6,535,114 B1 describes a vehicle that has a camera facing forward that takes several pictures, recognizes and tracks objects in the vehicle's surroundings. The speed and direction of movement can be calculated by changing the angle of the objects to the camera between several pictures. However, this method is very computationally intensive and requires a longer sequence of images, especially at the beginning, to enable an accurate calculation. In addition, the calculation is not very precise due to the sometimes small changes.

[0007] In der KR 101843990 B1, der JP 2007278951 A, der JP 2007046949 A, der JP S62132176 A, FR 2920879 A1 und der DE 10248416 A1 werden Ausführungen entsprechend des Oberbegriffs offenbart. Diese haben aber den Nachteil, dass durch Distanzänderungen zwischen der Kamera und dem Untergrund, den sie abbildet, die Bewegungsrichtung oder Geschwindigkeit oft ungenau ermittelt werden kann. [0007] In KR 101843990 B1, JP 2007278951 A, JP 2007046949 A, JP S62132176 A, FR 2920879 A1 and DE 10248416 A1, embodiments corresponding to the generic term are disclosed. However, these have the disadvantage that the direction of movement or speed can often be determined inaccurately due to changes in the distance between the camera and the ground it is imaging.

[0008] Die EP 2762892 A1 schlägt dazu vor, dass mittels Beleuchtungsmittel Referenzdistanzmarkierungen auf den Untergrund projiziert werden. Deren Projektion am Untergrund wird von der Kamera aufgezeichnet und anhand dieser Aufzeichnung sowie geometrischer Parameter der Kamera wird die Distanz zwischen Kamera und dem Untergrund ermittelt. Diese Distanzmessungseinheit umfasst also auch die Kamera und die Distanzmessung kann ohne sie nicht durchgeführt werden. Dies kann bei Untergrund mit bestimmten Rauigkeiten oder Oberflächeneigenschaften, wie faserigen Untergrund oder spiegelnden Oberflächen problematisch oder gar nicht möglich sein, da die Ränder der Referenzmarkierungen nicht genau identifiziert werden können. [0008] EP 2762892 A1 proposes that reference distance markings are projected onto the substrate using lighting means. Their projection onto the substrate is recorded by the camera and the distance between the camera and the substrate is determined based on this recording and geometric parameters of the camera. This distance measurement unit therefore also includes the camera and the distance measurement cannot be carried out without it. This can be problematic or even impossible for substrates with certain roughness or surface properties, such as fibrous substrates or reflective surfaces, since the edges of the reference markings cannot be identified precisely.

Bei Verschmutzungen der Kameralinse versagt diese Distanzmessung ebenso, da die projizierten Markierungen ebenso nicht oder sehr schlecht erkannt werden. If the camera lens is dirty, this distance measurement also fails because the projected markings are not recognized or are recognized very poorly.

[0009] Aufgabe der Erfindung ist daher, ein Verfahren, eine Messeinrichtung und ein Fahrzeug bereitzustellen, das eine einfache, schnelle und möglichst exakte Berechnung der Geschwindigkeit und/oder Bewegungsrichtung ermöglicht. [0009] The object of the invention is therefore to provide a method, a measuring device and a vehicle which enables a simple, fast and as accurate as possible calculation of the speed and/or direction of movement.

[0010] Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass zur Aufnahme des Bildes die Kamera mit zumindest einer Radachse des Fahrzeugs im Wesentlichen starr verbunden wird. [0010] This object is achieved according to the invention in that the camera is essentially rigidly connected to at least one wheel axle of the vehicle in order to record the image.

[0011] Sie wird auch dadurch gelöst, dass die Messeinrichtung zusätzlich zur Kamera eine Distanzmessungseinheit zur Messung der Distanz zwischen der Kamera und der aufgenommenen Umgebung aufweist, welche im Wesentlichen in die gleiche Richtung wie die Kamera gerichtet ist und mit der Verarbeitungseinrichtung verbunden ist. [0011] It is also solved in that the measuring device has, in addition to the camera, a distance measuring unit for measuring the distance between the camera and the recorded environment, which is directed substantially in the same direction as the camera and is connected to the processing device.

[0012] Damit die Distanz zwischen Kamera und Untergrund immer möglichst gleich ist, ist vorgesehen, dass zur Aufnahme des Bildes die Kamera mit zumindest einer Radachse des Fahrzeugs im Wesentlichen starr verbunden wird. Dabei reicht es aus, dass die Kamera mit der Achse nur eines Rades starr verbunden ist, da so sichergestellt ist, dass die Federbewegungen des Fahrzeugs keine Distanzänderungen bewirken. Dies gilt sinngemäß auch, wenn die Kamera mit zumindest einer Radachse des Fahrzeugs im Wesentlichen starr verbunden ist. [0012] In order to ensure that the distance between the camera and the ground is always as constant as possible, it is intended that the camera is essentially rigidly connected to at least one wheel axle of the vehicle in order to record the image. It is sufficient for the camera to be rigidly connected to the axle of only one wheel, as this ensures that the spring movements of the vehicle do not cause any changes in distance. This also applies if the camera is essentially rigidly connected to at least one wheel axle of the vehicle.

[0013] Weiters ist vorteilhaft, dass die Distanz zwischen der Kamera und dem Untergrund über eine Distanzmessungseinheit zusätzlich zur Kamera, vorzugsweise mittels Ultraschalllaufzeit und/oder mittels Laserdistanzmessung, gemessen wird und die gemessene Distanz in die Berechnung der Geschwindigkeit und/oder Bewegungsrichtung miteinbezogen wird. Dies ist ebenso eine schnelle und einfache Methode der Distanzmessung, um Federvorgänge und Fahrbahnunebenheiten auszugleichen. Entsprechendes gilt auch, wenn die Messeinrichtung eine Distanzmessungseinheit, vorzugsweise eine Ultraschall-Laufzeit-Distanzmessungseinheit und/oder eine Laser-Distanz-Messeinheit, aufweist, welche im Wesentlichen in die gleiche Richtung wie die Kamera gerichtet ist und mit der Verarbeitungseinrichtung verbunden ist. [0013] It is also advantageous that the distance between the camera and the ground is measured by a distance measuring unit in addition to the camera, preferably by means of ultrasonic transit time and/or by means of laser distance measurement, and the measured distance is included in the calculation of the speed and/or direction of movement. This is also a quick and simple method of distance measurement in order to compensate for spring processes and uneven road surfaces. The same applies if the measuring device has a distance measuring unit, preferably an ultrasonic transit time distance measuring unit and/or a laser distance measuring unit, which is directed essentially in the same direction as the camera and is connected to the processing device.

[0014] Dass zur Aufnahme des Bildes eine optische Achse der Kamera im Wesentlichen senkrecht auf den Untergrund des Fahrzeugs gerichtet wird, bedeutet also, dass die optische Achse der Kamera entlang einer Hochachse des Fahrzeugs nach unten gerichtet wird und eine optische Achse der Kamera im Wesentlichen parallel zu der Hochachse angeordnet wird. Es erfolgt mit anderen Worten also die Erkennung einer relativen Bewegung des Fahrzeugs in Bezug zum Untergrund. Aufgrund der Bewegungsrichtung und der gemessenen Wegänderung während einer bestimmten Zeitspanne kann auf die Geschwindigkeit und Beschleunigung rückgeschlossen werden. Diese Bewegung kann eine lineare Bewegung und/oder eine Rotation sein. [0014] The fact that an optical axis of the camera is directed essentially perpendicularly to the ground below the vehicle in order to record the image means that the optical axis of the camera is directed downwards along a vertical axis of the vehicle and an optical axis of the camera is arranged essentially parallel to the vertical axis. In other words, a relative movement of the vehicle in relation to the ground is detected. The speed and acceleration can be deduced from the direction of movement and the measured change in path during a certain period of time. This movement can be a linear movement and/or a rotation.

[0015] Dabei muss die Erkennung des Objekts nicht zwangsläufig die Erkennung des gesamten Objekts umfassen. Beispielsweise kann nur ein kleiner Teil eines Fahrstreifens auf einem Bild vorhanden sein. Jedoch kann bereits dieser kleine Teil ausreichen, um das Objekt erfolgreich so weit zu erkennen, dass es für die Bestimmung der Geschwindigkeit und/oder Bewegungsrichtung ausreicht. Es reicht mitunter zur Erkennung bereits, wenn eines oder wenige Merkmale des Objekts, beispielsweise eine Kante oder eine farbliche Anderung wie ein Muster erkannt werden können. [0015] The detection of the object does not necessarily have to include the detection of the entire object. For example, only a small part of a lane may be present in an image. However, this small part can be enough to successfully detect the object to the extent that it is sufficient to determine the speed and/or direction of movement. It is sometimes sufficient for detection if one or a few features of the object, for example an edge or a color change such as a pattern, can be recognized.

[0016] Die Erkennung kann beispielsweise durch ein neuronales Netzwerk und/oder durch Algorithmen der Bilderkennung erfolgen. Solche Algorithmen sind bereits in der Fachliteratur ausreichend beschrieben. [0016] The recognition can be carried out, for example, by a neural network and/or by image recognition algorithms. Such algorithms are already sufficiently described in the specialist literature.

[0017] Durch die direkte Richtung der Kamera auf den Untergrund wird eine besonders schnelle und einfache Bestimmung ermöglicht, welche ebenso besonders exakt ist. Dies liegt einerseits daran, dass durch diese Ausrichtung der Abstand der Kamera zum Untergrund des Fahrzeugs im Wesentlichen bekannt ist. [0017] The direct direction of the camera towards the ground enables a particularly quick and easy determination, which is also particularly precise. This is due on the one hand to the fact that this orientation means that the distance between the camera and the ground below the vehicle is essentially known.

[0018] Andererseits muss eine Bewegung des Objekts in einem Bild, sichtbar durch Unschärfebereiche, oder eine Bewegung über mehrere Bilder hinweg nicht winkelkorrigiert werden, was [0018] On the other hand, a movement of the object in one image, visible through blurred areas, or a movement across several images does not need to be angle corrected, which

die Berechnung erleichtert. makes the calculation easier.

[0019] In einer bevorzugten Ausführungsform ist vorgesehen, dass aus der Bewegungsunschärfe des Objekts auf dem Bild die Geschwindigkeit und/oder Bewegungsrichtung berechnet wird, wobei vorzugsweise diese Berechnung umfasst, dass der Helligkeitsverlauf in einem Bewegungsunschärfebereich des Objekts, besonders vorzugsweise am Rand des Objekts, in die Berechnung miteinbezogen wird. Dies kann insbesondere bei schlechten Beleuchtungsbedingungen sinnvoll sein, da sich hier zwangsläufig Unschärfebereiche durch die längere Belichtungszeit ergeben. Für eine solche Messung reicht bloß ein einziges Bild um eine ausreichend genaue Bestimmung der Bewegungsrichtung und/oder Geschwindigkeit zu ermöglichen. [0019] In a preferred embodiment, the speed and/or direction of movement is calculated from the motion blur of the object in the image, whereby this calculation preferably includes the brightness curve in a motion blur area of the object, particularly preferably at the edge of the object, being included in the calculation. This can be particularly useful in poor lighting conditions, since blurred areas inevitably arise here due to the longer exposure time. For such a measurement, just a single image is sufficient to enable a sufficiently accurate determination of the direction of movement and/or speed.

[0020] Es kann auch vorgesehen sein, dass zumindest zwei Bilder aufgenommen werden und aus der Positionsänderung des Objekts zwischen den beiden Bildern die Geschwindigkeit und/ oder Bewegungsrichtung berechnet wird. Dadurch ist eine besonders exakte Berechnung der Geschwindigkeit und/oder Bewegungsrichtung möglich und auch Driftbewegungen während der Fahrt gut erkennbar. [0020] It can also be provided that at least two images are taken and the speed and/or direction of movement is calculated from the change in position of the object between the two images. This enables a particularly precise calculation of the speed and/or direction of movement and also allows drifting movements to be clearly identified during the journey.

[0021] Dabei kann die Berechnung der Geschwindigkeit umfassen, dass eine gemessene Verschiebung BLD eines Objekts in eine bestimmte Richtung zwischen den zwei Bildern mit einem Skalierungsfaktor multipliziert wird und vorzugsweise das Vorzeichen geändert wird. So kann eine Fahrzeugbewegung FZG in einem Längenmaß wie Meter in eine bestimmte Richtung errechnet werden, welche die Bewegungslänge des Fahrzeugs im Zeitraum, der zwischen der Aufnahme der beiden Bilder vergangen ist, widerspiegelt: [0021] The calculation of the speed can include multiplying a measured displacement BLD of an object in a certain direction between the two images by a scaling factor and preferably changing the sign. In this way, a vehicle movement FZG can be calculated in a length unit such as meters in a certain direction, which reflects the length of movement of the vehicle in the period that has passed between the recording of the two images:

FZG = -k* BLD FZG = -k* BLD

[0022] Bei Division durch die Zeitverzögerung zwischen den zwei Bildern kann so die Geschwindigkeit berechnet werden. Die Zeitverzögerung kann beispielsweise durch die Differenz der Zeitstempel der beiden Bildaufnahmen ermittelt werden. Wird dies beispielsweise in Fahrtrichtung durchgeführt, so kann die Bewegungsdistanz, also der zurückgelegte Weg entlang der Fahrtrichtung und damit die Fahrtgeschwindigkeit des Fahrzeugs bestimmt werden. Wird dies quer zur Fahrtrichtung durchgeführt, so kann eine Driftbewegung und damit auch die Driftgeschwindigkeit berechnet werden. Dabei kann auch vorgesehen sein, dass die Bewegungsrichtung bestimmt wird, die Bewegungsdistanz in diese Bewegungsrichtung berechnet wird und danach vorzugsweise diese Bewegungsrichtung in verschiedene Teile, beispielsweise in einen Teil parallel zur Fahrtrichtung und in einen Teil quer zur Fahrtrichtung, also in Längsrichtung des Fahrzeugs zerlegt wird. Der Skalierungsfaktor ergibt sich aus der Auflösung der Kamera und der Entfernung der Kamera zum Untergrund. [0022] By dividing by the time delay between the two images, the speed can be calculated. The time delay can be determined, for example, by the difference between the time stamps of the two images. If this is carried out in the direction of travel, for example, the movement distance, i.e. the path traveled along the direction of travel and thus the speed of the vehicle, can be determined. If this is carried out transversely to the direction of travel, a drift movement and thus also the drift speed can be calculated. It can also be provided that the direction of movement is determined, the movement distance in this direction of movement is calculated and then preferably this direction of movement is broken down into different parts, for example into a part parallel to the direction of travel and a part transverse to the direction of travel, i.e. in the longitudinal direction of the vehicle. The scaling factor results from the resolution of the camera and the distance of the camera from the ground.

[0023] Ein ähnliches Vorgehen ist auch möglich, wenn eine Rotation oder eine Bewegung mit einer Rotationskomponente stattfindet. In diesem Fall ist besonders vorteilhaft, wenn zumindest zwei Punkte eines Objekts oder unterschiedlicher Objekte erkannt werden und deren Verschiebung zwischen den zwei Bildern erkannt werden und in die Bestimmung der Geschwindigkeit und/oder Bewegungsrichtung miteinbezogen werden. Dadurch können nicht nur die absoluten Bewegungen der beiden Objekte in den Bildern, sondern auch die relativen Bewegungen zueinander erkannt werden. So kann der Rotationswinkel und die Rotationsachse berechnet werden und ein seitlicher Drift ohne Rotation oder andere oder rein translatorischen Bewegungen von einer normalen Kurvenfahrt unterschieden werden. Das Berechnungsverfahren funktioniert ähnlich wie oben beschrieben, wobei die Anderung des Winkels der Position der Objekte zueinander in den beiden Bildern Auskunft über die Drehung des Fahrzeugs gibt. [0023] A similar procedure is also possible when a rotation or a movement with a rotation component takes place. In this case, it is particularly advantageous if at least two points of an object or different objects are detected and their displacement between the two images is detected and included in the determination of the speed and/or direction of movement. This makes it possible to detect not only the absolute movements of the two objects in the images, but also the relative movements to each other. In this way, the angle of rotation and the axis of rotation can be calculated and a lateral drift without rotation or other or purely translational movements can be distinguished from normal cornering. The calculation method works in a similar way to that described above, with the change in the angle of the position of the objects to each other in the two images providing information about the rotation of the vehicle.

[0024] Durch die stetige Überwachung der Bewegungsrichtung und Bewegungsgeschwindigkeit kann bei bekanntem Startpunkt auch die Position des Fahrzeugs zu einem bestimmten Zeitpunkt bestimmt werden. [0024] By continuously monitoring the direction and speed of movement, the position of the vehicle at a specific point in time can also be determined if the starting point is known.

[0025] Es kann auch vorgesehen sein, dass zumindest ein erkanntes Objekt mit einer Objektdatenbank verglichen wird und bei Erkennung eines bekannten, in der Objektdatenbank gespeicherten Objektes die Position des Fahrzeugs auf Grundlage des erkannten Objekts ermittelt wird. Dadurch kann nicht nur die relative Bewegung des Fahrzeugs, sondern auch die absolute Posi-[0025] It can also be provided that at least one detected object is compared with an object database and, if a known object stored in the object database is detected, the position of the vehicle is determined on the basis of the detected object. This makes it possible to determine not only the relative movement of the vehicle, but also the absolute position.

tion des Fahrzeugs bestimmt werden. Wird beispielsweise eine Fahrstreitenmarkierung oder eine Bodenmarkierung wie ein Pfeil erkannt, so kann nach erfolgter Abrufung auf Positionsdaten, die mit dem erkannten Objekt verknüpft sind und vorzugsweise in der Objektdatenbank ebenso hinterlegt sind, die genaue Position des Fahrzeugs bestimmt werden. Dies kann parallel zu den bereits beschriebenen Aspekten der Erfindung durchgeführt und die so erhaltenen Geschwindigkeits- und/oder Bewegungsrichtungsdaten um diese ergänzt werden. Dabei können diese Objekte auch extra oder überwiegend zur Ermittlung der Position des Fahrzeuges angeordnet worden sein, beispielsweise in Teststrecken. Entsprechendes gilt auch, wenn die Messeinrichtung eine Objektdatenbankeinheit aufweist, und eine Positionsbestimmungseinheit mit der Objektdatenbankeinheit und der Kamera verbunden ist und zur eindeutigen Erkennung eines aufgenommenen Objektes durch Vergleich mit den in der Objektdatenbankeinheit gespeicherten Objekten und zur Positionsbestimmung des Fahrzeugs auf Grundlage des erkannten Objekts eingerichtet ist. Dabei kann die Positionsbestimmungseinheit auch mit der Verarbeitungseinrichtung verbunden sein. So kann erreicht werden, dass die verarbeiteten oder errechneten Daten der Verarbeitungseinrichtung, insbesondere die erkannten Objekte, der Positionsbestimmungseinheit zur Verfügung gestellt werden. Es kann auch vorgesehen sein, dass die Verarbeitungseinrichtung und die Positionsbestimmungseinheit gemeinsam ausgeführt sind, beispielsweise durch eine gemeinsame Berechnungseinheit. tion of the vehicle can be determined. If, for example, a road marking or a ground marking such as an arrow is recognized, the exact position of the vehicle can be determined after retrieving position data that is linked to the recognized object and is preferably also stored in the object database. This can be carried out in parallel to the aspects of the invention already described and the speed and/or direction of movement data obtained in this way can be supplemented by these. These objects can also have been arranged specially or primarily to determine the position of the vehicle, for example in test tracks. The same applies if the measuring device has an object database unit and a position determination unit is connected to the object database unit and the camera and is set up to clearly recognize a recorded object by comparing it with the objects stored in the object database unit and to determine the position of the vehicle on the basis of the recognized object. The position determination unit can also be connected to the processing device. In this way, it is possible to ensure that the processed or calculated data of the processing device, in particular the detected objects, are made available to the position determination unit. It can also be provided that the processing device and the position determination unit are implemented together, for example by a common calculation unit.

[0026] Es kann auch vorgesehen sein, dass auf Basis der berechneten Geschwindigkeit und/oder Bewegungsrichtung eine Position des Fahrzeugs berechnet wird, wobei besonders vorzugsweise diese Position bei Erkennung eines bekannten, in der Objektdatenbank gespeicherten Objektes die berechnete Position auf Grundlage des bekannten Objektes korrigiert wird. So kann eine möglichst akkurate Fahrtverfolgung erreicht werden. Es kann dabei auch vorgesehen sein, dass die berechnete Bewegungsrichtung und/oder Geschwindigkeit des Fahrzeugs durch die bestimmte absolute Position des Fahrzeugs korrigiert wird. Insbesondere bei Erkennung mehrerer Objekte, deren Positionsdaten bekannt sind, während des Zeitverlaufs kann so zur Verbesserung der Geschwindigkeitsberechnung oder Bewegungsrichtungsberechnung beitragen. [0026] It can also be provided that a position of the vehicle is calculated on the basis of the calculated speed and/or direction of movement, wherein this position is particularly preferably corrected on the basis of the known object when a known object stored in the object database is detected. In this way, the most accurate possible tracking of the journey can be achieved. It can also be provided that the calculated direction of movement and/or speed of the vehicle is corrected by the determined absolute position of the vehicle. In particular, when several objects whose position data are known are detected over the course of time, this can contribute to improving the speed calculation or direction of movement calculation.

[0027] Vorteilhaft ist auch, wenn zumindest ein erkanntes Objekt Positionsinformationen aufweist und die Position des Fahrzeugs auf Grundlage der Positionsinformationen ermittelt wird. Beispielsweise kann das Objekt ein QR-Code sein oder einen solchen umfassen, welcher die genauen Positionsdaten des Objekts beinhaltet. [0027] It is also advantageous if at least one detected object has position information and the position of the vehicle is determined on the basis of the position information. For example, the object can be a QR code or include one that contains the exact position data of the object.

[0028] Es kann auch vorgesehen sein, dass die Distanz zwischen der Kamera und dem Untergrund von der Kamera über optische Methoden, vorzugsweise über eine Autofokuseinstellung, gemessen wird und diese Messung in die Berechnung der Geschwindigkeit und/oder Bewegungsrichtung miteinbezogen wird. So können Distanzänderungen, beispielsweise Fahrbahnunebenheiten, ausgeglichen werden. [0028] It can also be provided that the distance between the camera and the ground is measured by the camera using optical methods, preferably using an autofocus setting, and that this measurement is included in the calculation of the speed and/or direction of movement. In this way, changes in distance, for example uneven road surfaces, can be compensated for.

[0029] Die Erfindung betrifft auch ein Fahrzeug, das eine erfindungsgemäße Messeinrichtung aufweist, wobei eine optische Achse der Kamera entlang einer Hochachse des Fahrzeugs nach unten gerichtet ist und die optische Achse der Kamera im Wesentlichen parallel zu der Hochachse steht. Mit Hochachse ist dabei eine Achse des Fahrzeugs gemeint, welche bei bestimmungsgemäßer Gebrauchslage des Fahrzeugs auf ebenem Untergrund vertikal steht, also mit anderen Worten vom Unterboden des Fahrzeugs zum Fahrzeughimmel verläuft. Dies bedingt die direkte Blickrichtung der Kamera auf den Untergrund. [0029] The invention also relates to a vehicle that has a measuring device according to the invention, wherein an optical axis of the camera is directed downwards along a vertical axis of the vehicle and the optical axis of the camera is essentially parallel to the vertical axis. The vertical axis refers to an axis of the vehicle that is vertical when the vehicle is in the intended position of use on a flat surface, in other words runs from the underbody of the vehicle to the roof of the vehicle. This requires the camera to be looking directly at the surface.

[0030] In diesem Sinne kann auch vorgesehen sein, dass die Kamera im Unterboden des Fahrzeugs angeordnet ist. Dies bedingt eine sichere und platzsparende Positionierung. [0030] In this sense, it can also be provided that the camera is located in the underbody of the vehicle. This requires a safe and space-saving positioning.

[0031] Zur möglichst geringen Änderung der Distanz zwischen Kamera und Untergrund kann auch vorgesehen sein, dass die Kamera mit zumindest einer Radachse des Fahrzeugs im Wesentlichen starr verbunden ist. [0031] In order to minimize the change in the distance between the camera and the ground, it can also be provided that the camera is essentially rigidly connected to at least one wheel axle of the vehicle.

[0032] Die Erfindung wird im Folgenden anhand der nicht einschränkenden Figuren näher erläutert. Es zeigen: [0032] The invention is explained in more detail below with reference to the non-limiting figures. They show:

[0033] Fig. 1 zwei Bilder, aufgenommen zu zwei verschiedenen Zeitpunkten durch eine erfindungsgemäße Messeinrichtung während der Durchführung eines erfindungsgemäßen Verfahrens; [0033] Fig. 1 shows two images taken at two different times by a measuring device according to the invention during the implementation of a method according to the invention;

[0034] Fig. 2 eine schematische Darstellung einer erfindungsgemäßen Messeinrichtung in einer ersten Ausführungsform. [0034] Fig. 2 is a schematic representation of a measuring device according to the invention in a first embodiment.

[0035] Fig. 1 zeigt zwei Aufnahmen 10, 11, aufgenommen zu einem Zeitpunkt t1 und einem Zeitpunkt 12. Sichtbar ist darauf der Untergrund 4 des Fahrzeugs während einer geraden Vorwärtsbewegung des Fahrzeugs. Dabei ist in Aufnahme 10 zum Zeitpunkt t1 am rechten unteren Rand ein Objekt, in diesem Fall ein Fleck und daneben angeordnete weitere fleckenartige, punktuelle Farbänderungen auf der Fahrbahn als Untergrund 4 sichtbar. Dieses wurde durch eine Verarbeitungseinrichtung 6, 7 als ein Objekt erkannt, siehe Rand 12. [0035] Fig. 1 shows two images 10, 11, taken at a time t1 and a time 12. The background 4 of the vehicle is visible during a straight forward movement of the vehicle. In image 10 at time t1, an object, in this case a spot, and other spot-like, punctual color changes on the roadway arranged next to it are visible as background 4. This was recognized as an object by a processing device 6, 7, see edge 12.

[0036] Bei der Aufnahme 11 zum Zeitpunkt t2, zu dem sich das Fahrzeug bereits weiter bewegt hat, wird dasselbe Objekt wieder erkannt, siehe Rand 13. Durch Vergleich der Position des Objektes auf den zwei Bildern kann eine Positionsänderung des Objekts in Form einer Verschiebung BLD gemessen werden. In diesem Beispiel ist eine Verschiebung BLD bloß parallel zur x-Achse der aufgenommenen Bilder ersichtlich. Damit ist feststellbar, dass die Bewegungsrichtung entlang der x-Achse verläuft und es sich um eine reine Vorwärtsbewegung handelt, da die Bewegungsrichtung die entgegengesetzte Richtung der Verschiebung BLD von Bild 10 zu Bild 11 darstellt. Im Falle einer Kurvenfahrt des Fahrzeugs würde auch eine zusätzliche Verschiebung entlang der y-Achse messbar sein. Dadurch kann durch Kombination dieser Bewegungsrichtungskomponenten die exakte Gesamtbewegungsrichtung des Fahrzeugs ermittelt werden. Das Gleiche gilt auch für die Gesamtgeschwindigkeit des Fahrzeugs, die sich aus einer Geschwindigkeit in x-Richtung und einer Geschwindigkeit in y-Richtung zusammensetzt. Noch genauer kann eine Rotationsbewegung oder eine Bewegung mit einer Rotationskomponente erfasst werden, wenn zumindest zwei Objekte auf den beiden Aufnahmen 10, 11 erkannt werden. In diesem Fall kann eine Kurvenfahrt beispielsweise auch von einer seitlichen Driftbewegung gut unterschieden werden. [0036] In the recording 11 at time t2, when the vehicle has already moved further, the same object is recognized again, see margin 13. By comparing the position of the object in the two images, a change in the position of the object can be measured in the form of a displacement BLD. In this example, a displacement BLD is only visible parallel to the x-axis of the recorded images. This shows that the direction of movement runs along the x-axis and that it is a pure forward movement, since the direction of movement represents the opposite direction of the displacement BLD from image 10 to image 11. If the vehicle were to corner, an additional displacement along the y-axis would also be measurable. This means that the exact overall direction of movement of the vehicle can be determined by combining these movement direction components. The same applies to the overall speed of the vehicle, which is made up of a speed in the x-direction and a speed in the y-direction. A rotational movement or a movement with a rotational component can be detected even more precisely if at least two objects are detected on the two images 10, 11. In this case, cornering, for example, can also be easily distinguished from a lateral drifting movement.

[0037] Durch die Multiplikation von BLD mit einem Skalierungsfaktor k und Vorzeichenänderung wird so die Wegänderung des Fahrzeugs berechnet. Wird diese Wegänderung durch die Zeitdifferenz dividiert, erhält man so die Geschwindigkeit des Fahrzeugs. [0037] By multiplying BLD by a scaling factor k and changing the sign, the path change of the vehicle is calculated. If this path change is divided by the time difference, the speed of the vehicle is obtained.

[0038] In Fig. 2 wird eine Ausführungsform einer erfindungsgemäßen Messeinrichtung 5 gezeigt, welche in einem erfindungsgemäßen Fahrzeug angeordnet ist. Dabei ist eine Kamera 1 der Messeinrichtung 5 in einem Unterboden 2 des Fahrzeugs zwischen den Rädern 3a, 3b verbaut. Alternativ kann das Vorderrad oder die Vorderräder 3a auch zwischen Kamera 1 und dem Hinterrad oder den Hinterrädern 3b angeordnet sein. Eine optische Achse A, welche quer zur Bildfläche der Kamera steht, ist parallel zu einer Hochachse H des Fahrzeugs und zeigt damit direkt auf den Untergrund 4, auf dem das Fahrzeug steht oder fährt. [0038] Fig. 2 shows an embodiment of a measuring device 5 according to the invention, which is arranged in a vehicle according to the invention. A camera 1 of the measuring device 5 is installed in an underbody 2 of the vehicle between the wheels 3a, 3b. Alternatively, the front wheel or wheels 3a can also be arranged between camera 1 and the rear wheel or wheels 3b. An optical axis A, which is perpendicular to the image area of the camera, is parallel to a vertical axis H of the vehicle and thus points directly to the ground 4 on which the vehicle is standing or driving.

[0039] Die Messeinrichtung 5 weist neben der Kamera 1 eine mit der Kamera 1 verbundene Verarbeitungseinrichtung 6, 7 auf, welche die Bilddaten der Kamera 1 empfängt und anhand dieser eine Objekterkennung durchführt (Box 6). Zusätzlich erfolgt durch die Verarbeitungseinrichtung 6, 7 eine Berechnung der Bewegungsrichtung und der Geschwindigkeit (Box 7). Die so erhaltenen Daten bezüglich der Geschwindigkeit und/oder Bewegungsrichtung 20 werden von der Messeinrichtung 5 ausgegeben oder gespeichert. [0039] In addition to the camera 1, the measuring device 5 has a processing device 6, 7 connected to the camera 1, which receives the image data from the camera 1 and uses this to carry out object recognition (box 6). In addition, the processing device 6, 7 calculates the direction of movement and the speed (box 7). The data thus obtained regarding the speed and/or direction of movement 20 are output or stored by the measuring device 5.

[0040] Gleichzeitig werden die Daten der erkannten Objekte von der Verarbeitungseinrichtung 6, 7 an eine mit ihr verbundene Positionsbestimmungseinheit 8 übermittelt, welche die erhaltenen Objektdaten mit den Daten einer Objektdatenbankeinheit 9 vergleicht. Bei Übereinstimmung der Daten wird die Position des erkannten Objekts in dem aufgenommenen Bild oder Bildern bestimmt. Zusätzlich werden die Positionsdaten des erkannten Objekts in der Objektdatenbankeinheit 9 abgerufen. Aus diesen Daten wird die absolute Position des Fahrzeugs bestimmt und diese absoluten Positionsdaten 21 ebenso ausgegeben oder gespeichert. [0040] At the same time, the data of the detected objects are transmitted from the processing device 6, 7 to a position determination unit 8 connected to it, which compares the object data received with the data of an object database unit 9. If the data match, the position of the detected object is determined in the recorded image or images. In addition, the position data of the detected object is retrieved in the object database unit 9. The absolute position of the vehicle is determined from this data and this absolute position data 21 is also output or stored.

Claims

Patent claims

1. Method for determining the speed and/or direction of movement of a vehicle, wherein a camera (1) on the vehicle records at least one image (10, 11) of the surroundings of the vehicle, at least one object in the image (10, 11) is recognized by a processing device (6, 7), and the speed and/or direction of movement of the vehicle is calculated on the basis of the movement of the object relative to the vehicle, wherein, in order to record the image (10, 11), an optical axis (A) of the camera (1) is directed essentially normally onto the ground (4) of the vehicle, characterized in that, in order to record the image (10, 11), the camera (1) is essentially rigidly connected to at least one wheel axle of the vehicle.

2, Method according to claim 1, characterized in that the speed and/or direction of movement is calculated from the motion blur of the object in the image (10, 11), wherein this calculation preferably comprises that the brightness curve in a motion blur area of the object, particularly preferably at the edge of the object, is included in the calculation.

3. Method according to claim 1 or 2, characterized in that at least two images (10, 11) are recorded and the speed and/or direction of movement is calculated from the change in position of the object between the two images (10, 11).

4. Method according to one of claims 1 to 3, characterized in that at least one detected object is compared with an object database (9) and, upon detection of a known object stored in the object database (9), the position of the vehicle is determined on the basis of the detected object.

5. Method according to one of claims 1 to 4, characterized in that at least one detected object has position information and the position of the vehicle is determined on the basis of the position information.

6. Method according to one of claims 1 to 5, characterized in that the distance between the camera (1) and the ground is measured via a distance measuring unit, preferably by means of ultrasonic transit time and/or by means of laser distance measurement, and the measured distance is included in the calculation of the speed and/or direction of movement.

7. Method according to one of claims 1 to 6, characterized in that the distance between the camera (1) and the ground (4) is measured by the camera (1) via optical methods, preferably via an autofocus setting, and this measurement is included in the calculation of the speed and/or direction of movement.

8. Measuring device (5) for determining the speed and/or direction of movement of a vehicle, wherein the measuring device (5) has a camera (1) for recording images (10, 11) of the surroundings of the vehicle and a processing device (6, 7) connected to the camera (1) for detecting at least one object in the image (10, 11) and for calculating the speed and/or direction of movement, and wherein the camera (1) has an optical axis (A), wherein the processing device (6, 7) is designed to calculate the speed and/or direction of movement substantially perpendicular to the optical axis (A), characterized in that the measuring device (5) has, in addition to the camera (1), a distance measuring unit for measuring the distance between the camera (1) and the recorded surroundings, which is directed substantially in the same direction as the camera (1) and is connected to the processing device.

9. Measuring device (5) according to claim 9, characterized in that the measuring device (5) has an object database unit (9), and a position determination unit (8) is connected to the object database unit (9) and the camera (1) and is used for the unambiguous recognition of a recorded object by comparison with the data stored in the object database.

unit (9) and is configured to determine the position of the vehicle on the basis of the detected object.

10. Measuring device (5) according to claim 9 or 10, characterized in that the distance measuring unit comprises an ultrasonic time-of-flight distance measuring unit and/or a laser distance measuring unit, which is directed substantially in the same direction as the camera (1) and is connected to the processing device.

11. Vehicle with a measuring device (5) according to one of claims 1 to 7, characterized in that an optical axis (A) of the camera (1) is directed downwards along a vertical axis (H) of the vehicle and the optical axis (A) of the camera (1) is substantially parallel to the vertical axis (H).

12. Vehicle according to claim 12, characterized in that the camera (1) is arranged in the underbody (2) of the vehicle.

13. Vehicle according to claim 12, characterized in that the camera (1) is substantially rigidly connected to at least one wheel axle of the vehicle.

2 sheets of drawings