<Desc/Clms Page number 1>
Die Erfindung betrifft eine Einrichtung zur Erfassung von Zeichen auf Objekten, insbesondere von Buchstaben und Ziffern auf Nummernschildern von Kraftfahr-
EMI1.1
enthaltenden Grauwertbildes, wobei die Aufzeichnungseinrichtung zumindest eine Videokamera aufweist, die an eine automatische Bildauswertschaltung angeschlossen ist, und mit einer Steuereinrichtung, die die Aufnahme bei den bewegten Objekten mit den zu erfassenden Zeichen steuert.
Es ist bereits bekannt, zur Erfassung von Zeichen, insbesondere von Buchstaben und Ziffern, Folgen auf Nummernschildern von Kraftfahrzeugen diese zu fotografieren und die Bilder dann händisch auszuwerten. Damit ist jedoch ein grosser Personalaufwand und Zeitaufwand verbunden, welcher in der Praxis dazu geführt hat, dass beispielsweise bei Radaranlagen oder bei Rotlichtüberwachungen aufgenommene Bilder gar nicht ausgewertet werden. Damit geht natürlich der angestrebte Überwachungseffekt verloren.
In der US-A 5 034 739 ist ein computergesteuertes Kontrollsystem für Parkhäuser beschrieben. Dabei ist bei der Ein- und Ausfahrt je eine Videokamera installiert, von denen jede ein Bild von der Fahrzeugvorderseite mit dem Kennzeichen aufnimmt.
Mit Hilfe einer Bildauswertschaltung für jede Kamera wird das Kennzeichen jedes Fahrzeuges registriert. Die beiden Bildauswertschaltungen sind an einen Computer angeschlossen der die Parkgebührenverwaltung durchführt. Soferne der Benützer eines im Parkhaus abgestellten Fahrzeuges die entsprechende Gebühr entrichtet hat, wird das Kfz-Kennzeichen seines Fahrzeuges im Computer freigegeben und soferne mit der Videokamera bei der Ausfahrt dieses Kennzeichen erkannt wird der
EMI1.2
ausfahrenden PKWs eignet sich sicher ausgezeichnet für Parkhäuser mit Dauerpark- platzbenützern, da diese keine Identifikationskarte benötigen. Im Computer wird nur das erfasste Kennzeichen mit allen Dauerparkplatzbenützern verglichen und sofeme dieses dort registriert ist, kann der Parkplatzbenützer jederzeit ein- und ausfahren.
Bei diesem Kontrollsystem wäre es auch möglich, dass ein bestimmter Geldbetrag eingezahlt und im Computer als Kredit registriert wird, wodurch eine Parkplatz-
<Desc/Clms Page number 2>
benützung bargeldlos und auch ohne Registrierbestätigung möglich wäre. Ein Hauptproblem bei diesem automatischen Kontrollsystem ist das sichere Auswerten des Kennzeichens, da immer nur das vordere Kennzeichen aufgenommen und ausgewertet wird. Sollte dieses bei der Einfahrt falsch und bei der Ausfahrt richtig ausgewertet werden, so kann die Ausfahrt nur mit Hilfe von Personal erfolgen.
Der EP-AI 0 298 343 ist eine Anordnung zur automatischen Identifikation von KfzKennzeichen zu entnehmen. Diese weist zwar nur eine Videokamera auf, jedoch ist bei jedem Kennzeichen noch ein Barcode vorgesehen, wodurch die Sicherheit der Auswertung erhöht wird. Es wäre jedoch erforderlich alle Kennzeichentafeln entsprechend umzurüsten. Die Bildauswertschaltung selbst ist hier nur schematisch als Block dargestellt und nicht näher beschrieben. Der Speicher und die Vergleichsschaltung in dieser Druckschrift sind nach der Bildauswertschaltung, die bereits das erfasste Kennzeichen in digitaler Form ausgibt, vorgesehen. Der Speicher 7 ist hier ein Digitalspeicher.
Der in der DE-OS 3 001 588 dargestellte digitale Videokorrelator dient zum Vergleichen eines wirklichen Bildes mit einem Bezugsbild.
EMI2.1
Zeichen erlaubt.
Die erfindungsgemässe Einrichtung ist dadurch gekennzeichnet, dass die Aufzeich-
EMI2.2
wertschaltungen vorzugsweise korreliert auswertbar sind, und dass die Steuereinrichtung die Aufnahme bei bewegten Objekten mit den zu erfassenden Zeichen an zwei verschiedenen Stellen des Objektes steuert, und dass jede Bildauswertschaltung einen Speicher zum Zwischenspeichern des von der Videokamera aufgenommenen
<Desc/Clms Page number 3>
Grauwertbildes, einen Videoprozessor zum Analysieren des gespeicherten Grauwertbildes und zum Isolieren von Bildern der Zeichen aus dem Grauwertbild und eine Zeichenerkennungseinrichtung zum Umsetzen der vom Videoprozessor isolierten Zeichen in digital, vorzugsweise im ASCII-Code, kodierten Zeichen bzw. Zeichenfolgen.
Bei dieser Kennzeichenerfassung erfolgt eine korreliert, also in Wechselbeziehung stehende, Bildauswertung der vorderen und hintern Kennzeichentafel, wodurch die Wahrscheinlichkeit der richtigen Erkennung des Kennzeichens wesentlich erhöht wird.
Vorteilhafte Ausgestaltungen der Erfindung sind den Unteransprüchen zu entnehmen.
EMI3.1
von den Zahlen- und Buchstabenfolgen auf Nummernschildern von Kraftfahrzeugen ein digital, vorzugsweise im allgemeinen üblichen ASCII-Code innercodiertes Zeichen bzw. eine Zeichenfolge ausgegeben, wobei beispielsweise pro Zeichen ein Byte mit 8 Bit ausreicht. Diese digital bzw. binärcodierten Zeichen können leicht auf die verschiedensten Arten und Weisen in üblichen Datenverarbeitungsanlagen weiterverarbeitet werden.
Verfahren zur Zeichenerkennung (OCR=optical character recognition) sind an sich bereits bekannt. Es geht dabei darum, anhand von typischen Merkmalen der Zeichen diese zu klassifizieren und einem bestimmten Zeichen aus einem Zeichenvorrat zuzuordnen. Bisher wurden solche Schrifterkennungsverfahren hauptsächlich zur reinen Zeichenerkennung auf einem Blatt Papier eingesetzt, auf diesem Blatt Papier liegen die Schriftzeichen bereits in idealer Form in schwarz auf weissem Hintergrund vor. Mit der erfindungsgemässen Einrichtung kann nunmehr auch eine Erfassung von Zeichen auf einige Distanz und trotz anderer Objekte in der Umgebung der Zeichen erfolgen. Dazu werden die in einem Videospeicher zwischengespeicherten Grau-
EMI3.2
daraus Bilder der Zeichen isoliert.
Anschliessend erfolgt eine Digitalisierung der isolierten Zeichen, wobei alle von der Videokamera aufgenommenen Bildpunkte, die
<Desc/Clms Page number 4>
heller bzw. dunkler als eine bestimmte Digitalisierungsschwelle sind, mit logisch l" bzw. logisch,, 0" codiert werden. Diese digitalisierten und isolierten Bilder der Zeichen können nun von der Zeichenerkennungseinrichtung weiterverarbeitet werden
EMI4.1
Zum Isolieren der Bilder der zu erfassenden Zeichen aus dem gesamten Grauwertbild ist es günstig, wenn das Grauwertbild zunächst, vorzugsweise zeilenweise, auf vorbestimmte, für Zeichen relativ zum Hintergrund typische Helligkeitsverteilungen untersucht wird und damit ein Ausschnitt des Gesamtbildes festgelegt wird, in welchem Ausschnitt die zu erfassenden Zeichen vorkommen.
Beim Erfassen von Nummernschildern von Kraftfahrzeugen sind beispielsweise typische Zeichengrössen und Zeichenbreiten, sowie relative Helligkeiten der Zeichen zum Tafelhintergrund bekannt. Diese Informationen können verwendet werden, um einen groben Ausschnitt zu definieren, in dem die Zeichen vorkommen. Als nächster Schritt kann dann bevorzugt die Helligkeitsverteilung im Ausschnitt ermittelt werden (Erstellung eines Helligkeitshistogramms über beispielsweise 256 Arbeitsstufen). Aus dieser Hellig-
EMI4.2
zeichen und vom Hintergrund aufweist, lässt sich eine zwischen diesen beiden Maxima liegende Digitalisierungsschwelle ermitteln, mit der später die Digitalisierung der Zeichen zur Übergabe an die Zeichenerkennungseinrichtung erfolgt.
Bei Nummemtafeln von Kraftfahrzeugen stellt sich zunächst das Problem, dass es helle Nummemtafeln mit dunkler Schrift und dunkle Nummemtafeln mit heller Schrift gibt. Um damit Probleme bei der späteren Auswertung zu vermeiden, kann vorgesehen sein, dass die Art des Hintergrundes ermittelt wird, und dass bei gegenüber dem Hintergrund helleren Zeichen und bei gegenüber dem Hintergrund dunkleren Zeichen, eines der beiden digitalisierten Bilder der Zeichen samt Hintergrund invertiert wird, sodass immer helle Zeichen auf dunklem Hintergrund oder alternativ immer dunkle Zeichen auf hellem Hintergrund verarbeitet werden.
Damit kann die Zeichenerkennung immer dieselbe Art von Zeichen, beispielsweise dunkle Zeichen auf hellem Hintergrund verarbeiten, auch wenn das ursprüngliche Kennzeichen des Kraftfahrzeuges helle Zeichen auf dunklem Hintergrund aufgewiesen hat.
<Desc/Clms Page number 5>
Vor der Übergabe der Zeichen an die Zeichenerkennung ist es günstig, wenn die Zeichenfolge noch weiter eingegrenzt wird, um beispielsweise Störeffekte von den Rändern der Nummernschilder von Kraftfahrzeugen eliminieren zu können.
Die erfindungsgemässe Einrichtung hat zahlreiche Einsatzgebiete. Beispielsweise ist es möglich, eine Datenbank vorzusehen, in der bestimmte Zeichenfolgen abgespeichert sind. Eine Vergleichseinrichtung kann dann festellen, ob die jeweils erfasste und in binär codierter Form vorliegende Zeichenfolge mit einer abgespeicherten Zeichenfolge übereinstimmt. Ist dies der Fall, so kann eine Freigabeoperation, zum Beispiel die Öffnung eines Schrankens zur Zu- bzw. Durchfahrtsberechtigung erfolgen. Damit lässt sich beispielsweise der Schranken einer Mautstelle für Jahreskartenbesitzer automatisch öffnen. Auch die Zufahrt in Parkhäuser für Dauerabonnenten, deren Autonummer abgespeichert sind, kann automatisch und ohne das bisher übliche Einstecken von Magnetkarten erfolgen.
Weitere Anwendungen sind
EMI5.1
und Rotlichtüberwachungen,Diebstahlvorbeugung, indem an den Grenzen die Nummern der durchfahrenden Autos auf gestohlen gemeldete Kennzeichen überprüft werden.
Weitere Vorteile und Einzelheiten der Erfindung werden in der nachfolgenden Figurenbeschreibung näher erläutert.
Es zeigen : Fig. 1 ein schematisches Ausführungsbeispiel der erfindungsgemässen
Einrichtung in einem Blockschaltbild, Fig. 2 eine Darstellung der Verfahrensschritte bei einem Ausführungsbeispiel der Erfindung in einem schematischen Flussdiagramm, Fig. 3 eine Datenbank mit Vergleichseinrichtung zur Öffnung eines Schrankens,
EMI5.2
Fig. 5 zwei Videokameras, die dasselbe Nummernschild eines Fahrzeuges aufnehmen,
<Desc/Clms Page number 6>
Fig. 6 eine einzige Videokamera, die hintereinander zwei Bilder des
Nummernschildes eines Fahrzeuges aufnimmt, Fig. 7 eine Anordnung mit vier Videokameras, Fig. 8 die Überlappung der Bilder, der von den in Fig. 7 mit vier Videokameras aufgenommenen Bilder, Fig. 9 schematisch eine Einrichtung zur Belichtungssteuerung.
In Fig. 1 ist eine Schwarz-weiss-Videokamera 1 (beispielsweise eine CCD-Kamera der Firma Grundig F 85-1 oder Pulnix 6 EX) gezeigt, deren Femsehsignal über einen Analog-Digitalwandler 2 einem Speicher 3, der ein VRAM (Video-RAM) ist, zur Abspeicherung von 512x512 Bildpunkten in 256 Grauwertstufen zugeführt wird.
Über einen Kontrollbildschirm 4 und einen Digital-Analogwandler 5 ist der Inhalt des Speichers 3 am Bildschirm 4 anzeigbar. Der Speicher 3 wird von einem speziellen Graphikprozessor 6 (Texas-Instruments 34010) adressiert und das darin gespeicherte Grauwertbild gemäss einem im Programmspeicher 23 abgelegten Programm analysiert. Über einen Sensor S kann das Festhalten einer Momentaufnahme im Speicher 3 und der anschliessende Start des Programms zur Abarbeitung des gespeicherten Grauwertbildes festgelegt werden. Der Sensor S kann beispielsweise eine Lichtschranke oder eine Induktionsschleife sein, der bei einem bewegten Objekt, beispielsweise bei einem Fahrzeug feststellt, wann sich dieses an einer bestimmten zur Aufnahme von der Videokamera geeigneten Stelle befindet.
Die Abarbeitung des Grauwertbildes durch den Videoprozessor 6 und der Steuerung gemäss dem Programm im Speicher 23 kann beispielsweise die in Fig. 2 dargestellten Verfahrensschritte umfassen.
Nach einem Start des Programms erfolgt zunächst die Groblokalisierung des die zu erfassenden Schriftzeichen enthaltenden Bereiches des gesamten Arbeitsbildes, im vorliegenden Fall des Bereiches der Nummerntafel eines Fahrzeuges. Dazu kann der Videoprozessor 6 das gespeicherte Grauwertbild zeilenweise auf vorbestimmte und für die Zeichen auf Nummernschildern typische Helligkeitsverteilungen untersuchen.
Die Einrichtung erkennt damit jenen Bereich, in dem die zu erfassenden Zeichen
<Desc/Clms Page number 7>
vorkommen und legt Grenzen XI, X2 bzw. in vertikaler Richtung Yl und Y2 fest. Anschliessend erfolgt im wesentlichen eine weitere Bearbeitung dieses nunmehr grob festgelegten Bereiches. Zunächst wird ein Helligkeitshistogramm aufgenommen, das zwei von den Schriftzeichen bzw. vom Nummemschildhintergrund herrührende Maxima aufweist. Zwischen den beiden Maxima kann dann eine für die spätere Digitalisierung benötigte Digitalisierungsschwelle festgelegt werden. Anschliessend erfolgt eine Feinlokalisierung der Zeichen, wobei beispielsweise von der Mitte des grob lokalisierten Ausschnittes aus nach rechts und links, sowie nach oben und unten die äussersten Zeichenbegrenzungen ermittelt werden.
Damit kann vermieden werden, dass beispielsweise die Ränder der Nummernschilder zu Störeffekten führen und insbesondere nicht als der Grossbuchstabe I"interpretiert werden. Der Ausschluss der Ränder ergibt sich beispielsweise daraus, dass diese eine grössere Höhe aufweisen als der übrige Schriftzug.
Im nächsten Schritt werden alle Grauwerte oberhalb der Digitalisierungsschwelle S beispielsweise auf logisch" 1" und alle Grauwerte unterhalb dieser Digitalisierungsschwelle auf logisch "0" gesetzt. Das nunmehr digitalisierte Bild der isolierten Zeichen wird nunmehr an die Zeichenerkennungseinrichtung (OCR) 7 übergeben, die beim vorliegenden Ausftihrungsbeispiel einen im ASCII-Code codierten String der Buchstaben und Ziffemfolge des Nummernschildes ausgibt. Ist eine Identifizierung
EMI7.1
bzw. nur mit geringer Wahrscheinlichkeit möglich, so kann wie durch die strichlierte Linie 8 angedeutet, eine erneute Groblokalisierung im gesamten Grauwertbild erfolgen.
Der Speicher 3 und der Videoprozessor 6 können auf einer Steckkarte angeordnet sein, die in einen Aufnahmeschlitz eines Computers einsteckbar ist. Der Computer kann vorzugsweise eine industriecompatible Zentraleinheit (CPU) beispielsweise einen 80 386 SX Prozessor aufweisen. Die Zeichenerkennung kann gemäss einem im Programmspeicher 23 gespeicherten Programm auf diesem Computer ablaufen,
EMI7.2
<Desc/Clms Page number 8>
vorgesehen sein können, um die vom Videoprozessor 6 isolierten Zeichen zu übernehmen und anschliessend die binär codierten Zeichen auszugeben.
In Figur 3 ist eine Vergleichseinrichtung 9 gezeigt, die an die Bildauswerteinrichtung 2,3, 6,7, 23 der Fig. 1 anschliessbar ist. Die Vergleichseinrichtung 9 vergleicht den im ASCII-Code gelieferten Zeichenstring mit in einer Datenbank 10 abgespeicherten
EMI8.1
weise einen Schranken 11 öffnet.
Alternativ oder zusätzlich kann der jeweils ausgegebene Zeichenstring auf einer
EMI8.2
lichen, ist eine Einrichtung, beispielsweise eine Lichtschranke oder eine Induktionsschleife zur Erfassung der Lage des Objektes und zur Auslösung einer Momentbildaufnahme bei Erreichen einer vorbestimmten Lage vorgesehen. Eine derartige Einrichtung kann beispielsweise eine Induktionsschleife 12 bzw. 12'unterhalb der Fahrbahn 13 sein, auf der Kraftfahrzeuge 14 fahren, wie dies in Fig. 4 gezeigt ist. Da sich bei der Anwendung im Freien, wofür sich die erfindungsgemässe Einrichtung besonders gut eignet, immer wieder Störeffekte durch Schattenbildungen oder Verschmutzungen der zu erfassenden Zeichen auftreten, ist es günstig, wenn zwei Bilder aufgenommen werden und dann eine korrigierte Auswertung der beiden Bilder erfolgt.
In Sonderfällen können auch mehr als zwei Bilder sinnvoll sein. Bei dem in Fig. 4 dargestellten Ausführungsbeispiel sind dazu zwei Videokameras 1 ; l'vorgesehen, die das vordere und hintere Kennzeichen 15, 16 des Fahrzeuges 14 aufnehmen, wobei die Induktionsschleife 12 die Videokamera 1 und die Induktionsschleife 12'die Videokamera l'steuert. Wenn eines der beiden Kennzeichen durch Verschmutzung oder Schattenbildung eine Auswertung erschwert, so kann immer noch über das andere Zeichen eine zuverlässige Ermittlung des tatsächlichen Zeicheninhaltes erfolgen.
<Desc/Clms Page number 9>
EMI9.1
l seitlich der Fahrbahn 13 angeordnet und auf das vordere Kennzeichen 15 des Kraftfahrzeuges 14 gerichtet. Eine Lichtschranke 12'löst die Momentaufnahme durch die beiden Kameras aus.
Auch mit dieser Anordnung lässt sich die Erkennungsrate weiter steigern. Bei der erfindungsgemässen Einrichtung lässt sich eine hohe Erkennungsrate im Bereich von ca. 90% bereits mit einer Kamera, beispielsweise bei der Erfassung von Nummernschildern von Fahrzeugen erzielen.
Mit mehreren Kameras kann diese Erkennungsrate noch weiter gesteigert werden.
Die Aufnahme zweier Bilder kann auch mittels einer einzigen Kamera l'erfolgen.
Wenn sich das Kraftfahrzeug über den Sensor 12" bewegt, erfolgt die erste Momentbildaufnahme, beim Sensor 12'"erfolgt die zweite Momentaufnahme.
Schliesslich wäre auch denkbar, eine Farbvideokamera einzusetzen und die drei Einzelbilder der Grundfarben als gesonderte Bilder weiterzuverarbeiten. Diese Art und Form geht von der Überlegung aus, dass sich Störungen unter Umständen nicht in allen Farben gleich auswirken, sodass zumindest in einer Farbe eine sichere Erkennung der Zeichen möglich ist.
Um einen grösseren Bildbereich erfassen zu können, wäre es theoretisch denkbar, bestimmte Objektive und speziell hochauflösende Kameras einzusetzen. Diese sind jedoch teuer und im allgemeinen nicht über einen elektronischen Shutter belichtungssteuerbar. Will man die relativ kostengünstigen und shutterfähigen Schwarzweiss-Kameras einsetzen, so besteht zur Erweiterung des Bildbereiches die Möglichkeit, dass zumindest zwei Videokameras nebeneinander angeordnet und derart ausgerichtet sind, dass sie teilweise überlappende Bilder aufnehmen. Bei dem in Fig. 7 dargestellten Ausführungsbeispiel sind vier Videokameras l vorgesehen, die vier überlappende Bilder 1/2/3/4 gemäss Fig. 8 aufnehmen.
Damit die zu erfassende Zeichenfolge sicher zumindest in einem der vier Bildbereiche l/bis/4 zur Gänze enthalten ist, ist vorgesehen, dass der Überlappungsbereich der Bilder grösser gewählt ist, als die
EMI9.2
<Desc/Clms Page number 10>
EMI10.1
platte 16 mit allen Kameras l verstellt werden.
Bei der in den Fig. 7 und 8 dargestellten Ausführungsform ist es günstig, wenn die
EMI10.2
sondere von den Tageszeiten und Wetterbedingungen abhängt. Dabei kommt es nicht auf die gesamte Helligkeit des erfassten Bildabschnittes an, sondern vielmehr auf die Helligkeit jener Bereiche, in denen die zu erfassenden Schriftzeichen auftreten. Diese Erkenntnis kann man sich zunutze machen und gemäss einer bevorzugten Aus-
EMI10.3
von der Helligkeit des die zu erfassenden Zeichen enthaltenden Ausschnittes des Grauwertbildes steuern. Es erfolgt also eine dynamische Festlegung jenes Bereiches im Grauwertbild, der dann die Belichtungssteuerung vornimmt.
In Fig. 9 sind beispielsweise drei verschiedene Lagen von Nummernschildern gezeigt. Es wird jeweils unabhängig von der Gesamthelligkeit des Bildes die Helligkeit des Ausschnittes erfasst, in dem sich das Nummernschild befindet. Kurzzeitige Helligkeitsschwankungen sollen nicht in die Belichtungssteuerung eingehen, deshalb ist vorgesehen, über einen bestimmten Zeitraum einen Mittelwert zu bilden und die Belichtungssteuerung in Abhängigkeit von diesem Mittelwert vorzunehmen. Beim Einsatz im Freien kann der Zeitraum relativ gross, beispielsweise eine Minute, vorzugsweise sogar mehr als zehn Minuten betragen. Man hat daher eine sehr träge Belichtungssteuerung, die dem Umstand Rechnung trägt, dass sich die Belichtungsverhältnisse auf Grund der Wetter- und Tageszeitbedingungen auch nur relativ lang-
EMI10.4
mieden.
Die erfindungsgemässe Einrichtung 17 ermittelt also zunächst grob jenen Bereich, in dem die zu erfassenden Schriftzeichen vorkommen und dann die Helligkeit dieses Bereiches. Diese Helligkeit wird an eine Belichtungssteuerung 18 gegeben, die dann den Mittelwert bildet und in Abhängigkeit vom Mittelwert über
<Desc/Clms Page number 11>
einen Motor 19 und ein Ritzel 20 den Blendenring 21 über einen Zahnkranz 22 verstellt. Gegenüber der elektronischen Shuttersteuerung hat die Blendenregelung den Vorteil, dass auch bei hohen Lichtmengen keine Störeffekte in den Grauwertbildem auftreten, weil die auf den CCD-Chip gelangende Lichtmenge immer im wesentlichen konstant und beschränkt ist.
<Desc / Clms Page number 1>
The invention relates to a device for detecting characters on objects, in particular letters and numbers on number plates of motor vehicles.
EMI1.1
containing gray value image, wherein the recording device has at least one video camera which is connected to an automatic image evaluation circuit, and with a control device which controls the recording of the moving objects with the characters to be detected.
It is already known to photograph sequences, in particular letters and numbers, of sequences on license plates of motor vehicles and then to manually evaluate the images. However, this involves a large amount of personnel and time, which in practice has led to the fact that, for example, images recorded in radar systems or in red light monitors are not evaluated at all. The desired surveillance effect is of course lost.
A computer-controlled control system for parking garages is described in US Pat. No. 5,034,739. A video camera is installed at the entrance and exit, each of which takes a picture of the front of the vehicle with the license plate.
The license plate of each vehicle is registered with the help of an image evaluation circuit for each camera. The two image evaluation circuits are connected to a computer that manages the parking fee. If the user of a vehicle parked in the parking garage has paid the corresponding fee, the vehicle license plate number of his vehicle is released on the computer and if the video camera recognizes this license plate when he exits
EMI1.2
Exiting cars are certainly excellent for multi-storey car parks with long-term parking space users, as they do not require an identification card. In the computer, only the registered license plate is compared with all long-term parking space users and as long as this is registered there, the parking space user can drive in and out at any time.
With this control system, it would also be possible for a certain amount of money to be deposited and registered in the computer as a loan, which means that a parking space
<Desc / Clms Page number 2>
use without cash and without a registration confirmation. A main problem with this automatic control system is the safe evaluation of the number plate, since only the front number plate is always recorded and evaluated. If this is evaluated incorrectly at the entrance and correctly evaluated at the exit, the exit can only be carried out with the help of personnel.
EP-AI 0 298 343 shows an arrangement for the automatic identification of vehicle license plates. Although this only has a video camera, a barcode is also provided for each number plate, which increases the security of the evaluation. However, it would be necessary to convert all license plates accordingly. The image evaluation circuit itself is shown here only schematically as a block and is not described in detail. The memory and the comparison circuit in this document are provided after the image evaluation circuit, which already outputs the detected identifier in digital form. The memory 7 here is a digital memory.
The digital video correlator shown in DE-OS 3 001 588 is used to compare an actual image with a reference image.
EMI2.1
Characters allowed.
The device according to the invention is characterized in that the recording
EMI2.2
value circuits are preferably correlated, and that the control device controls the recording of moving objects with the characters to be detected at two different locations on the object, and that each image evaluation circuit has a memory for temporarily storing the data recorded by the video camera
<Desc / Clms Page number 3>
Gray value image, a video processor for analyzing the stored gray value image and for isolating images of the characters from the gray value image and a character recognition device for converting the characters or character strings encoded by the video processor into digital, preferably in ASCII code.
With this license plate detection, a correlated, i.e. interrelated, image evaluation of the front and rear license plate takes place, which significantly increases the probability of correct recognition of the license plate.
Advantageous embodiments of the invention can be found in the subclaims.
EMI3.1
a digital, preferably generally customary ASCII code, or a character string, is output from the number and letter sequences on number plates of motor vehicles, with one byte with 8 bits being sufficient, for example. These digitally or binary-coded characters can easily be processed in a wide variety of ways in conventional data processing systems.
Methods for character recognition (OCR = optical character recognition) are already known per se. It is about classifying them based on typical characteristics of the characters and assigning them to a specific character from a character set. So far, such character recognition methods have mainly been used for pure character recognition on a sheet of paper; on this sheet of paper, the characters are already in an ideal form in black on a white background. With the device according to the invention, characters can now also be detected at some distance and despite other objects in the vicinity of the characters. For this purpose, the gray
EMI3.2
from it images of the characters isolated.
The isolated characters are then digitized, with all the pixels recorded by the video camera
<Desc / Clms Page number 4>
are lighter or darker than a certain digitization threshold, are coded with logic 1 "or logic" 0 ". These digitized and isolated images of the characters can now be further processed by the character recognition device
EMI4.1
To isolate the images of the characters to be recorded from the entire gray value image, it is advantageous if the gray value image is first examined, preferably line by line, for predetermined brightness distributions typical of characters relative to the background, and thus a section of the overall image is determined, in which section the to capturing characters.
When acquiring license plates of motor vehicles, for example, typical character sizes and character widths, as well as relative brightness of the characters to the background of the panel are known. This information can be used to define a rough section in which the characters appear. As a next step, the brightness distribution in the cutout can then preferably be determined (creating a brightness histogram over, for example, 256 work stages). From this bright
EMI4.2
characters and from the background, a digitization threshold lying between these two maxima can be determined, with which the characters are later digitized for transfer to the character recognition device.
The first problem with number plates of motor vehicles is that there are light number plates with dark lettering and dark number plates with light lettering. In order to avoid problems during later evaluation, it can be provided that the type of background is determined and that in the case of characters which are lighter than the background and characters which are darker than the background, one of the two digitized images of the characters and the background is inverted so that always bright characters are processed on a dark background or alternatively always dark characters on a light background.
Character recognition can therefore always process the same type of characters, for example dark characters on a light background, even if the original number plate of the motor vehicle had bright characters on a dark background.
<Desc / Clms Page number 5>
Before the characters are transferred to the character recognition system, it is advantageous if the character string is narrowed down further, in order, for example, to be able to eliminate interference from the edges of the number plates of motor vehicles.
The device according to the invention has numerous fields of application. For example, it is possible to provide a database in which certain character strings are stored. A comparison device can then determine whether the character string recorded in each case and present in binary-coded form matches a stored character string. If this is the case, a release operation can take place, for example the opening of a barrier for access or passage authorization. For example, the barrier of a toll booth for season ticket holders can be opened automatically. The access to multi-storey car parks, whose car number is stored, can also be done automatically and without the usual insertion of magnetic cards.
Other uses are
EMI5.1
and red light surveillance, theft prevention by checking the numbers of vehicles driving through at the borders for stolen number plates.
Further advantages and details of the invention are explained in more detail in the following description of the figures.
1 shows a schematic exemplary embodiment of the method according to the invention
Device in a block diagram, FIG. 2 shows the method steps in an exemplary embodiment of the invention in a schematic flow chart, FIG. 3 shows a database with comparison device for opening a barrier,
EMI5.2
5 two video cameras that record the same license plate of a vehicle,
<Desc / Clms Page number 6>
Fig. 6 shows a single video camera that consecutively two images of the
License plate of a vehicle, FIG. 7 shows an arrangement with four video cameras, FIG. 8 shows the overlap of the images of the images recorded in FIG. 7 with four video cameras, FIG. 9 schematically shows a device for exposure control.
1 shows a black and white video camera 1 (for example a CCD camera from Grundig F 85-1 or Pulnix 6 EX), the television signal of which, via an analog-digital converter 2, is a memory 3 which contains a VRAM (video RAM), for storing 512x512 pixels in 256 gray value levels.
The contents of the memory 3 can be displayed on the screen 4 via a control screen 4 and a digital-to-analog converter 5. The memory 3 is addressed by a special graphics processor 6 (Texas Instruments 34010) and the gray value image stored therein is analyzed in accordance with a program stored in the program memory 23. The retention of a snapshot in memory 3 and the subsequent start of the program for processing the stored gray value image can be determined via a sensor S. The sensor S can be, for example, a light barrier or an induction loop which, in the case of a moving object, for example in a vehicle, determines when it is at a specific location suitable for recording by the video camera.
The processing of the gray-scale image by the video processor 6 and the control according to the program in the memory 23 can include, for example, the method steps shown in FIG. 2.
After starting the program, the area of the entire work image containing the characters to be recorded is roughly localized, in the present case the area of the number plate of a vehicle. For this purpose, the video processor 6 can examine the stored gray value image line by line for predetermined brightness distributions that are typical of the characters on number plates.
The device thus recognizes the area in which the characters to be detected
<Desc / Clms Page number 7>
occur and defines limits XI, X2 or in the vertical direction Yl and Y2. This is then followed by further processing of this now roughly defined area. First, a brightness histogram is recorded, which has two maxima originating from the characters or from the number plate background. A digitization threshold required for later digitization can then be defined between the two maxima. The characters are then finely localized, the extreme character boundaries being determined, for example, from the center of the roughly localized section to the right and left, and up and down.
This can prevent, for example, the edges of the number plates from causing interference and, in particular, not being interpreted as the capital letter I. "The exclusion of the edges results, for example, from the fact that they have a greater height than the rest of the lettering.
In the next step, all gray values above the digitization threshold S are set to logic "1", for example, and all gray values below this digitization threshold to logic "0". The now digitized image of the isolated characters is now transferred to the character recognition device (OCR) 7, which in the present exemplary embodiment outputs a string of the letters and number sequence of the license plate encoded in ASCII code. Is an identification
EMI7.1
or only possible with a low probability, then, as indicated by the dashed line 8, a new rough localization can take place in the entire gray value image.
The memory 3 and the video processor 6 can be arranged on a plug-in card which can be inserted into a slot in a computer. The computer can preferably have an industry-compatible central processing unit (CPU), for example an 80 386 SX processor. The character recognition can run on this computer in accordance with a program stored in the program memory 23,
EMI7.2
<Desc / Clms Page number 8>
can be provided to take over the characters isolated from the video processor 6 and then output the binary-coded characters.
FIG. 3 shows a comparison device 9 which can be connected to the image evaluation device 2, 3, 6, 7, 23 of FIG. 1. The comparison device 9 compares the character string supplied in the ASCII code with that stored in a database 10
EMI8.1
as a barrier 11 opens.
Alternatively or additionally, the character string output in each case can be on a
EMI8.2
Lichen, a device, for example a light barrier or an induction loop, is provided for detecting the position of the object and for triggering a snapshot when a predetermined position is reached. Such a device can be, for example, an induction loop 12 or 12 ′ below the carriageway 13 on which motor vehicles 14 travel, as is shown in FIG. 4. Since interference occurs due to shadows or soiling of the characters to be detected when used outdoors, for which the device according to the invention is particularly well suited, it is advantageous if two images are taken and then a corrected evaluation of the two images takes place.
In special cases, more than two pictures can be useful. In the embodiment shown in FIG. 4, two video cameras 1; Provided that record the front and rear license plates 15, 16 of the vehicle 14, the induction loop 12 controlling the video camera 1 and the induction loop 12 'controlling the video camera 1'. If one of the two indicators makes evaluation difficult due to dirt or shadowing, the other character can still reliably determine the actual character content.
<Desc / Clms Page number 9>
EMI9.1
l arranged laterally of the roadway 13 and directed to the front license plate 15 of the motor vehicle 14. A light barrier 12 'triggers the snapshot by the two cameras.
The detection rate can also be increased further with this arrangement. In the device according to the invention, a high recognition rate in the range of approximately 90% can already be achieved with a camera, for example when registering number plates of vehicles.
This detection rate can be increased even further with several cameras.
Two pictures can also be taken by means of a single camera 1.
When the motor vehicle moves via the sensor 12 ", the first snapshot is taken, with the sensor 12 '" the second snapshot is taken.
Finally, it would also be conceivable to use a color video camera and to process the three individual images of the primary colors as separate images. This type and shape is based on the consideration that interference may not have the same effect in all colors, so that at least one color can reliably recognize the characters.
In order to be able to capture a larger image area, it would theoretically be conceivable to use certain lenses and especially high-resolution cameras. However, these are expensive and generally cannot be controlled by an electronic shutter. If you want to use the relatively inexpensive and shutterable black and white cameras, there is the possibility to expand the image area that at least two video cameras are arranged next to each other and aligned in such a way that they record partially overlapping images. In the embodiment shown in FIG. 7, four video cameras 1 are provided, which take four overlapping images 1/2/3/4 according to FIG. 8.
So that the character string to be captured is certainly contained entirely in at least one of the four image areas 1 / to / 4, it is provided that the overlap area of the images is selected to be larger than that
EMI9.2
<Desc / Clms Page number 10>
EMI10.1
plate 16 can be adjusted with all cameras l.
In the embodiment shown in FIGS. 7 and 8, it is advantageous if the
EMI10.2
depends in particular on the times of day and weather conditions. It is not the overall brightness of the captured image section that matters, but rather the brightness of those areas in which the characters to be captured appear. This knowledge can be used to advantage and according to a preferred
EMI10.3
control the brightness of the section of the gray-scale image containing the characters to be detected. There is therefore a dynamic definition of that area in the gray value image which then undertakes the exposure control.
In Fig. 9, for example, three different layers of license plates are shown. Regardless of the overall brightness of the image, the brightness of the section in which the license plate is located is recorded. Short-term fluctuations in brightness should not be included in the exposure control, which is why it is intended to form an average over a certain period of time and to perform the exposure control as a function of this average. When used outdoors, the time period can be relatively long, for example one minute, preferably even more than ten minutes. One therefore has a very slow exposure control which takes into account the fact that the exposure conditions are only relatively long due to the weather and time of day.
EMI10.4
avoided.
The device 17 according to the invention thus initially roughly determines the area in which the characters to be detected appear and then the brightness of this area. This brightness is given to an exposure controller 18, which then forms the average and is dependent on the average
<Desc / Clms Page number 11>
a motor 19 and a pinion 20 adjusts the diaphragm ring 21 via a ring gear 22. Compared to the electronic shutter control, the aperture control has the advantage that even with large amounts of light there are no interference effects in the gray value images because the amount of light reaching the CCD chip is always essentially constant and limited.