AT414311B

AT414311B - PROCEDURE FOR OBJECT DETECTION

Info

Publication number: AT414311B
Application number: AT0128404A
Authority: AT
Inventors: Johannes Dipl Ing Traxler
Original assignee: X Pin Com Gmbh
Priority date: 2004-07-28
Filing date: 2004-07-28
Publication date: 2007-01-15
Also published as: ATA12842004A; WO2006010187A1; WO2006010187A8

Description

22

AT 414 311 BAT 414 311 B

Die vorliegende Erfindung betrifft ein Verfahren zur Objekterkennung, insbesondere Gesichtserkennung, in einem Objektbild durch Vergleichen von Wavelet-Jets signifikanter Punkte des Objektbildes mit Wavelet-Jets zumindest eines Referenzbildes. 5 Ein derartiges Verfahren ist in der Arbeit von David S. Bolme, „Elastic Bunch Graph Matching“, Thesis MSc, Colorado State University, Sommer 2003, beruhend u.a. auf der Arbeit von Laurenz Wiskott, Jean-Marc Feiious, Norbert Krüger und Christoph von der Malsburg, „Face Re-cognition by Elastic Bunch Graph Matching“, Tech. Report 96-08, Ruhr-Universität Bochum, April 1996, beschrieben. 10The present invention relates to a method for object recognition, in particular face recognition, in an object image by comparing wavelet jets of significant points of the object image with wavelet jets of at least one reference image. 5 Such a method is described in the work of David S. Bolme, "Elastic Bunch Graph Matching", MSc Thesis, Colorado State University, Summer 2003, based, inter alia. on the work of Laurenz Wiskott, Jean-Marc Feiious, Norbert Krüger and Christoph von der Malsburg, "Face Recognition by Elastic Bunch Graph Matching", Tech. Report 96-08, Ruhr University Bochum, April 1996. 10

Bei den bekannten Verfahren wird als Basis für die Erzeugung der Jets ein Satz von geradlinigen Gabor-Wavelets verwendet, und zwar sowohl im ersten Schritt der Lokalisierung der signifikanten Punkte als auch im zweiten Schritt des Ähnlichkeitsvergleiches mit dem Referenzbild. Es hat sich gezeigt, daß praktische Implementierungen dieser Verfahren eine überaus hohe Reis chenleistung erfordern und dennoch eine verhältnismäßig hohe Fehlerrate bei der Objekterkennung aufweisen, was einem breiteren industriellen Einsatz, z.B. in der Sicherheitstechnik, entgegensteht.In the known methods, a set of rectilinear Gabor wavelets is used as the basis for the generation of the jets, both in the first step of the localization of the significant points and in the second step of the similarity comparison with the reference image. It has been found that practical implementations of these methods require very high rice power and yet have a relatively high error rate in object detection, allowing for wider industrial deployment, e.g. in safety engineering, precludes.

Die Erfindung setzt sich zum Ziel, ein Verfahren der genannten Art so weiterzubilden, daß es 20 eine geringere Fehleranfälligkeit und höhere Robustheit besitzt als die bekannten Lösungen, bei gleichzeitig geringerem Rechenleistungsbedarf. Dieses Ziel wird mit einem Verfahren der einleitend genannten Art erreicht, welches sich gemäß der Erfindung dadurch auszeichnet, daß die Wavelet-Jets im ersten Schritt auf Basis von Haar-Wavelets und im zweiten Schritt auf Basis von in der Mehrzahl gekrümmten Gabor-Wavelets erzeugt werden. 25The invention sets itself the goal of developing a method of the type mentioned so that it has a lower susceptibility to error and higher robustness than the known solutions, with simultaneously lower computing power requirements. This object is achieved by a method of the aforementioned type, which according to the invention is characterized in that the wavelet jets are generated in the first step on the basis of Haar wavelets and in the second step on the basis of Gavalets curved in the majority , 25

Die Erfindung beruht auf der Erkenntnis, daß sowohl die Verarbeitungsgeschwindigkeit als auch die Treffsicherheit der Objekterkennung wesentlich gesteigert werden können, wenn die beiden Schritte des Verfahrens, Lokalisation und Ähnlichkeitsvergleich, auf vollkommen getrennte, jeweils speziell angepaßte Wavelet-Basen abgestellt werden. Der Einsatz von einfachen Haar-30 Wavelets im Lokalisierungsschritt ermöglicht ein fehlertolerantes, robustes und rasches Auffinden der signifikanten Punkte, während die anschließende Auswertung der aufgefundenen Punkte mit Hilfe von detailreichen gekrümmten Gabor-Wavelets genau und treffsicher erfolgt. Die Fehlerrate des Verfahrens kann damit wesentlich gesenkt werden. Die Jet-Generierung auf Basis von Haar-Wavelets benötigt nur äußerst geringe Rechenleistung, wobei die erzielte Ein-35 sparung den zusätzlichen Rechenleistungsbedarf für die gesonderte Jet-Extraktion im zweiten Schritt bei weitem überwiegt. Der Rechenbedarf des gesamten Verfahrens ist damit wesentlich geringer als bei den bekannten Verfahren, und dies bei gleichzeitig höherer Treffsicherheit. Der geringe Rechenleistungsbedarf ermöglicht erstmals praktische Realisierungen mit langsamen, lüfterlosen Prozessoren, was einen industriellen Einsatz in breiterem Umfang, beispielsweise für 40 Sicherheitsschleusen oder Schlösser mit Onboard-Prozessoren, in greifbare Nähe rückt.The invention is based on the recognition that both the processing speed and the accuracy of the object recognition can be significantly increased if the two steps of the method, localization and similarity comparison, are turned off on completely separate, specially adapted wavelet bases. The use of simple Haar-30 wavelets in the localization step enables fault-tolerant, robust and rapid finding of the significant points, while the subsequent evaluation of the points found with the aid of detailed curved Gabor wavelets is accurate and accurate. The error rate of the process can thus be significantly reduced. Hair wavelet jet generation requires very little computational power, but the savings achieved outweigh the additional computational power required for separate jet extraction in the second step. The computing requirement of the entire process is thus much lower than in the known methods, and this with higher accuracy. The low computational power requirement allows for the first time practical implementations with slow, fanless processors, which brings a wide range of industrial applications, for example for 40 security locks or locks with on-board processors, within reach.

Eine bevorzugte Ausführungsform der Erfindung zeichnet sich dadurch aus, daß für jeden signifikanten Punkt die Koordinatenermittlung im ersten Schritt durch Ähnlichkeitsvergleich mit einem Bündel von ersten Wavelet-Jets verschiedener Referenzbilder erfolgt. Ein solcher Bün-45 delvergleich ist aus den genannten Arbeiten von Bolme und Wiskott et al. an sich bekannt und verbessert die Lokalisierung der signifikanten Punkte in dem zu untersuchenden Objektbild.A preferred embodiment of the invention is characterized in that, for each significant point, the coordinate determination in the first step is carried out by similarity comparison with a bundle of first wavelet jets of different reference images. Such a comparison is apparent from the work of Bolme and Wiskott et al. is known per se and improves the location of the significant points in the object image to be examined.

Besonders vorteilhaft ist es, wenn gemäß einem weiteren Merkmal der Erfindung als Haar-Wavelet-Basis eine Lienhart-Maydt-Basis verwendet wird, bevorzugt in mehreren Skalierungs-50 schritten, besonders bevorzugt in 24 Skalierungsschritten.It is particularly advantageous if, according to a further feature of the invention, a Lienhart-Maydt basis is used as Haar wavelet base, preferably in several scaling steps, particularly preferably in 24 scaling steps.

Unter einer Lienhart-Maydt-Basis wird in der vorliegenden Beschreibung der von Rainer Lienhardt und Jochen Maydt in der Arbeit „An Extended Set of Haar-Like Features for Rapid Object Detection“, Intel Laboratories, 2002, vorgeschlagene Satz von 14 bzw. 15 Haar-Funktionen zur 55 schnellen Objekterkennung verstanden, welcher u.a. auf Arbeiten von Papageorgiou et al. und 3Under a Lienhart-Maydt basis, in the present specification, the set of 14 and 15 hairs proposed by Rainer Lienhardt and Jochen Maydt in the work "An Extended Set of Hair-Like Features for Rapid Object Detection", Intel Laboratories, 2002, is proposed -Functions for 55 fast object recognition understood which, among others on works by Papageorgiou et al. and 3

AT 414 311 BAT 414 311 B

Viola et al. zurückgeht.Viola et al. declining.

Bevorzugt wird die Lienhart-Maydt-Basis in mehreren Skalierungsschritten angewandt, um die Genauigkeit der Lokalisierung zu erhöhen, ohne den Rechenleistungsbedarf des gesamten 5 Verfahrens signifikant zu erhöhen. In der Praxis hat sich ein Wert von 24 Skalierungsschritten als besonders günstig erwiesen.Preferably, the Lienhart-Maydt basis is applied in several scaling steps to increase the accuracy of the localization without significantly increasing the computational power requirements of the entire method. In practice, a value of 24 scaling steps has proven to be particularly favorable.

Ein weiteres bevorzugtes Merkmal der Erfindung besteht darin, daß als Gabor-Wavelet-Basis Wavelets der Funktion 10 mit 15 20 und dem Parametersatz .2 2.2 ^ x +r y f ψ{χ,γ,0,Θ,λ,φ,σ,γ)= e 2σ CO^ 2Π~ + φ x = xcos(©) + ysin(©)+y2C, y = -x sin(0) + y cos(©) C = {0,±0.04,±0.07,±0.1}, 25 „-in — — — 7Π ® |°’ 8 ’ 8 ’ 8 ’ 8 λ = {4,472,8,872,16}. 30 φ-σ = λ, 35 γ = 1-0, verwendet werden. Mit diesem Parametersatz ergibt sich eine Basis von 800 Gabor-Wavelets, von denen 700 gekrümmt sind. Dies führt zu einer äußerst detailreichen, genauen Analyse der 40 Bildbereiche in der Umgebung der signifikanten Punkte. Aufgrund der gewählten Krümmungen ist die erfindungsgemäße Wavelet-Basis an Gesichtskonturen besonders gut angepaßt und damit für die Gesichtserkennung besonders gut geeignet.A further preferred feature of the invention is that as a Gabor wavelet basis wavelets of the function 10 with 15 20 and the parameter set .2 2.2 ^ x + ryf ψ {χ, γ, 0, Θ, λ, φ, σ, γ ) = e 2σ CO ^ 2Π ~ + φ x = xcos (©) + ysin (©) + y2C, y = -x sin (0) + y cos (©) C = {0, ± 0.04, ± 0.07, ± 0.1}, 25 "-in - - - 7Π ® | ° '8' 8 '8' 8 λ = {4,472,8,872,16}. 30 φ-σ = λ, 35 γ = 1-0. This set of parameters yields a base of 800 Gabor wavelets, of which 700 are curved. This results in a highly detailed, accurate analysis of the 40 image areas in the vicinity of the significant points. Due to the selected curvatures, the wavelet base according to the invention is particularly well adapted to facial contours and thus particularly well suited for facial recognition.

Die Erfindung wird nachstehend anhand eines in den beigeschlossenen Zeichnungen darge-45 stellten Ausführungsbeispieles näher erläutert. In den Zeichnungen zeigtThe invention will be explained in more detail below with reference to an embodiment shown in the accompanying drawings. In the drawings shows

Fig. 1 ein Flußdiagramm des Verfahrens der Erfindung,1 is a flow chart of the method of the invention,

Fig. 2 eine Lienhart-Maydt-Basis von Haar-Wavelets undFig. 2 is a Lienhart-Maydt base of Haar wavelets and

Fig. 3 einige beispielhafte Wavelets der Basis von gekrümmten Gabor-Wavelets. 50Fig. 3 shows some exemplary wavelets of the base of curved Gabor wavelets. 50

Das in Fig. 1 dargestellte Verfahren baut auf den genannten Arbeiten von Bolme, Wiskott et al. und Lienhart-Maydt auf und für eine genaue Erläuterung der theoretischen Grundlagen des Verfahrens wird auf diese Schriften verwiesen. Ziel des Verfahrens ist es, mittels digitaler Bildverarbeitung ein Objekt, z.B. ein Gesicht, ein Fahrzeug usw., in einem Bild Pobj des Objektes zu 55 erkennen, und zwar durch Ähnlichkeitsvergleich mit einem oder mehreren Referenzbildern Pref 4The method illustrated in FIG. 1 is based on the aforementioned work by Bolme, Wiskott et al. and Lienhart-Maydt, and for a detailed explanation of the theoretical principles of the method, reference is made to these documents. The aim of the method is to use digital image processing to process an object, e.g. recognizing a face, a vehicle, etc. in an image Pobj of the object 55 by similarity comparison with one or more reference images Pref 4

AT 414 311 B des Objektes.AT 414 311 B of the object.

Der Ähnlichkeitsvergleich erfolgt nicht durch Vergleichen des gesamten Bildes Pobj mit dem gesamten Referenbild Pref, sondern durch Vergleichen von einzelnen Bildbereichen rund um signifikante Punkte des Objektes, sog. „Landmarks“ Im,. Im Falle der Gesichtserkennung sind geeignete signifikante Punkte bzw. Landmarks Inij beispielsweise das Zentrum der Pupille des linken Auges, das Zentrum der Pupille des rechten Auges, die Nasenspitze, der linke und rechte Mundwinkel usw. Im weiteren werden M Landmarks Im, (i = 1..M) betrachtet.The similarity comparison does not take place by comparing the entire image Pobj with the entire reference image Pref, but by comparing individual image regions around significant points of the object, so-called "landmarks" Im. In the case of face recognition, suitable significant landmarks Inij are, for example, the center of the pupil of the left eye, the center of the pupil of the right eye, the tip of the nose, the left and right corners of the mouth, etc. Further, M landmarks Im, (i = 1 ..M).

Der Bildbereich P rund um einen Landmark Irrij wird nicht direkt, sondern mittels Wavelet-Transformation in einem Transformationsraum J ausgewertet. Das Ergebnis der Wavelet-Transformation an einem Ort (x, y) wird als Jet J bezeichnet und kann als VektorThe image area P around a landmark Irrij is not evaluated directly, but by means of wavelet transformation in a transformation space J. The result of the wavelet transform at a location (x, y) is called Jet J and can be considered a vector

dargestellt werden, dessen N komplexe Koeffizienten q den Faltungen des Bildes P am Ort (x, y) mit einem Satz von N Wavelets ψ] entsprechen: ci = cC {Γ p{x,y)xvJUy)dxdy.whose N complex coefficients q correspond to the convolutions of the image P at the location (x, y) with a set of N wavelets ψ]: ci = cC {Γp {x, y) xvJUy) dxdy.

Die Menge aller N Wavelets (j = 1..N) wird als Wavelet-Basis B der Wavelet-Transformation bezeichnet.The set of all N wavelets (j = 1..N) is called the wavelet basis B of the wavelet transformation.

Zurückkommend auf Fig. 1 ist das im Betrieb ablaufende Verfahren zur Objekterkennung als Ablaufteil A („runtime“) in der rechten Hälfte von Fig. 1 dargestellt und gliedert sich in einen ersten Schritt a), in welchem die Landmarks lmobji im Objektbild Pobj lokalisiert werden, und einen zweiten Schritt b), in welchem Jets Jobj,i an den Landmarks lmobj,i extrahiert und mit Jets Jrefj.s eines oder mehrerer Referenzbilder Pref,s verglichen werden, um die Objekterkennung („match“) durchzuführen.Returning to FIG. 1, the process for object recognition running in operation is shown as expiration part A ("runtime") in the right half of FIG. 1 and is divided into a first step a), in which the landmarks lmobji are located in the object image Pobj , and a second step b) in which jets Jobj, i at the landmarks lmobj, i are extracted and compared with jets Jrefj.s of one or more reference images Pref, s to perform the object recognition ("match").

In einem vorhergehenden Trainingsteil T des Verfahrens werden die für die Schritte a) und b) des Ablaufteiles A erforderlichen Referenzdaten ermittelt und bereitgestellt. Es versteht sich, daß der Trainingsteil T nur ein Mal für eine Vielzahl von Ablaufteilen A durchlaufen werden muß und auch in großem zeitlichen Abstand zu letzterem liegen kann; zum besseren Verständnis werden die Teile T und A jedoch im weiteren gleichzeitig erläutert.In a previous training part T of the method, the reference data required for steps a) and b) of the expiration part A are determined and provided. It is understood that the training part T must be traversed only once for a plurality of expiration parts A and may also be at a long time interval to the latter; for a better understanding, however, the parts T and A will be explained simultaneously.

Im Trainingsteil T werden für den Schritt a) in einem Satz von R Referenzbildern Pbibr (r = 1..R) in jedem einzelnen Referenzbild die Koordinaten lmman,i,r vorgegebener Landmarks Imi manuell ermittelt, beispielsweise durch manuelles Markieren der Pupillenzentren, der Nasenspitze usw. mit Hilfe eines interaktiven Bildbearbeitungswerkzeuges.In the training part T, the coordinates lmman, i, r of predetermined landmarks Imi are manually determined for the step a) in a set of R reference images Pbibr (r = 1..R) in each individual reference image, for example by manual marking of the pupil centers, the tip of the nose etc. with the help of an interactive image editing tool.

Im Block 10 werden aus jedem Referenzbild Pbib,r am Ort jedes Landmarks lmman,i,r Jets Jbibii,r generiert, und zwar auf Grundlage einer Wavelet-Basis BH aus N Haar-Wavelets ψΗ,; (j = 1 ..N).In block 10, from each reference image Pbib, r at the location of each landmark lmman, i, r jets Jbibii, r are generated, based on a wavelet basis BH of N hair wavelets ψΗ ,; (j = 1 ..N).

Die Haar-Wavelets ipH.j können an sich aus jeder beliebigen Haar-Funktion aufgebaut sein. Bevorzugt wird jedoch als Haar-Wavelets iyH,j eine Lienhart-Maydt-Basis von 15 bzw. 14 Haar-Wavelets verwendet, welche in Fig. 2 in ihrer Struktur graphisch dargestellt ist und eine normier- 5The hair wavelets ipH.j can be made up of any hair function. Preferably, however, the hair wavelets iyH, j used are a Lienhart-Maydt basis of 15 or 14 hair wavelets, which is shown graphically in FIG. 2 in its structure and has a normalizing function

AT 414 311 B te Ausdehnung von 3 x 3 bis 3 x 5 Pixeln besitzt.AT 414 311 B te expansion of 3 x 3 to 3 x 5 pixels has.

Die Haar-Wavelets ψΗ] der Lienhart-Maydt-Basis BH von Fig. 2 können in beliebiger Skalierung verwendet werden; bevorzugt werden sie gleichzeitig in mehreren, insbesondere 24 Skalierungsschritten von 1- bis 24-facher Größe eingesetzt, so daß die gesamte Anzahl N an Haar-Wavelets in der Basis BH 14 x 24 = 336 beträgt.The Haar wavelets ψΗ] of the Lienhart-Maydt basis BH of FIG. 2 can be used in arbitrary scaling; they are preferably used simultaneously in several, in particular 24, scaling steps of 1 to 24 times the size, so that the total number N of Haar wavelets in the base BH is 14 × 24 = 336.

Das Ergebnis der Jet-Extraktion von Block 10 wird als Referenzdatensatz Gbib gespeichert und dem Ablaufteil A zur Verfügung. Der Referenzdatensatz Gbib kann als MatrixThe result of the block extraction of block 10 is stored as reference data set Gbib and made available to expiration part A. The reference data set Gbib can be used as a matrix

% A,1 *Ä,2 A,2 Ar j Ί J\R ΓΜ b2 Al Λ*, ι V Ar Jm,r J geschrieben werden und stellt gleichzeitig einen Spaltenvektor von M Bündeln bi (i = 1..M) von Jets, sog. „bunches“, für jeden Landmark Irrii dar. Der Referenzdatensatz Gbib wird daher auch als „Bunch Graph“ bezeichnet.% A, 1 * Ä, 2 A, 2 Ar j Ί J \ R ΓΜ b2 Al Λ *, ι V Ar Jm, r J and at the same time sets a column vector of M bundles bi (i = 1..M) Jets, so-called "bunches", for each landmark Irrii dar. The reference data set Gbib is therefore also referred to as a "Bunch Graph".

Im Ablaufteil A sind die genauen Koordinaten (x, y) der gewählten Landmarks Irrii (linkes Pupillenzentrum, rechtes Pupillenzentrum usw.) im Objektbild Pobj zunächst nicht bekannt und werden durch Anfangswerte und/oder Schätzungen lmest,i ersetzt. Im Block 20 werden am Ort der geschätzten Landmarks lmest,i Jets Jesu extrahiert, und zwar auf Grundlage derselben Wavelet-Basis Bh, die im Block 10 zur Erzeugung der Referenzdaten verwendet und anhand von Fig. 2 erläutert wurde.In the expiration part A, the exact coordinates (x, y) of the selected landmarks Irrii (left pupil center, right pupil center, etc.) in the object image Pobj are initially unknown and are replaced by initial values and / or estimates lmest, i. In block 20, at the location of the estimated landmarks lmest, i jets of Jesus are extracted based on the same wavelet base Bh used in block 10 to generate the reference data and explained with reference to FIG.

In einem anschließenden Block 30 werden die tatsächlichen bzw. aktuellen Koordinaten (x, y) der Landmarks Im, des Objektbildes Pobj lokalisiert. Dazu werden die Jets Jest,i an den geschätzten Landmarks lmestii des Objektbildes Pobj mit den Jets Jbib,i,r des Bunch Graphs Gbib verglichen.In a subsequent block 30, the actual coordinates (x, y) of the landmarks Im, of the object image Pobj are located. For this, the jets Jest, i are compared to the estimated landmarks lmestii of the object image Pobj with the jets Jbib, i, r of the Bunch Graphs Gbib.

Soferne mehrere Referenzbilder Pbibr zugrunde gelegt wurden (R > 1), d.h. der Bunch Graph Gbib aus Bündeln b, von Jets für jeden Landmark Im, besteht, wird jeweils der ähnlichste Jet aus einem Bündel b, für einen bestimmten Landmark Im, zum Vergleich herangezogen. Dies kann beispielsweise für den ersten Landmark Im! (z.B. „linkes Pupillenzentrum“) ein vom dritten Referenzbild Pbib,3 stammender Jet J1i3 sein, für den zweiten Landmark lm2 (z.B. „rechtes Pupillenzentrum“) ein vom ersten Referenzbild Pbib>1 stammender Jet J2.i usw., wodurch für den Vergleich das jeweils „passendste“ Auge, die jeweils „passendste“ Nase usw. herangezogen wird.As long as several reference images Pbibr were used (R> 1), i. the Bunch Graph Gbib consists of bundles b, of jets for each landmark im, the respective most similar jet from a bundle b, for a particular landmark im, is used for comparison. This can, for example, for the first landmark Im! (eg, "left pupil center") may be a jet J1i3 originating from the third reference image Pbib, 3, for the second landmark lm2 (eg, "right pupil center") a jet J2.i originating from the first reference image Pbib> 1, etc., whereby for the comparison the "most appropriate" eye, the "most appropriate" nose, etc. used.

Der Vergleich im Block 30 kann auf verschiedene in der Technik bekannte Arten durchgeführt werden, soferne daraus die örtliche Abweichung des tatsächlichen Landmarks lmobjii vom geschätzten Landmark lmest,i ermittelt werden kann. Beispielsweise könnten die Jets von allen Punkten in einer Umgebung des geschätzten Landmarks aus dem Objektbild extrahiert und mit den entsprechenden Referenz-Jets des Referenzbildes auf maximale Ähnlichkeit verglichen werden.The comparison in block 30 may be made in various ways known in the art, provided that the local deviation of the actual landmark lmobjii from the estimated landmark lmest, i can be determined therefrom. For example, the jets from all points in an environment of the estimated landmark could be extracted from the object image and compared to the corresponding reference jets of the reference image for maximum similarity.

Ein von Bolme vorgeschlagenes, besonders rasch zu berechnendes Verfahren beruht auf einer Schätzung des Jets J', in einem Abstand d vom geschätzten Landmark lmest.i durch Anwendung der Näherung, daß sich ein Jet J' in einem geringen Abstand von einem Jet J vorwiegend in seinem Phasenversatz unterscheidet:A method proposed by Bolme which can be calculated particularly rapidly is based on an estimate of the jet J 'at a distance d from the estimated landmark lmest.i by applying the approximation that a jet J' at a small distance from a jet J predominates in differentiates its phase offset:

In Polarkoordinatendarstellung 5 10 6 9/ (ai> Ψί) kann ein JetIn polar coordinate representation 5 10 6 9 / (ai> Ψί), a jet

AT 414 311 B in einem Abstand 15 d = dx dy von einem vorgegebenen Jet 20 J =AT 414 311 B at a distance 15 d = dx dy from a given jet 20 J =

Ci c2 25Ci c2 25

Cici

CN 30 angenähert werden zu ajÄ a) <Pj ~ <Pj +kj d 35 mit ^2Yl cos 0y 2IIsin0y 40 kj = und 45 0j ... Orientierung des Wavelets ψί Äj ... Wellenlänge des Wavelets ψί·CN 30 approximate to ajÄ a) <Pj ~ <Pj + kj d 35 with ^ 2Yl cos 0y 2IIsin0y 40 kj = and 45 0j ... Orientation of the wavelet ψί Äj ... Wavelength of the wavelet ψί ·

Durch Variieren des Abstandsvektors d solange, bis der Umgebungsjet J' maximale Ähnlichkeit so mit dem Jet J des gesuchten Landmarks Im, hat, können der Abstandsvektor d und damit die aktuellen Koordinaten lmobjii des Landmarks Im, im Objektbild Pobj ermittelt werden.By varying the distance vector d until the surrounding jet J 'has maximum similarity with the jet J of the sought landmark Im, the distance vector d and thus the current coordinates lmobjii of the landmark Im, can be determined in the object image Pobj.

Das Variieren des Abstandsvektors d kann mit allen in der Technik bekannten Suchalgorithmen durchgeführt werden, z.B. mittels Grid-Sample-, Predictive-Step-, Predictive-Iteration-, 55 Fixed-Local-Search- oder Narrowing-Local-Search-Algorithmen, wie z.B. in der Arbeit von 7Varying the distance vector d can be performed by any search algorithm known in the art, e.g. using Grid Sample, Predictive-Step, Predictive-iteration, 55 Fixed-Local-Search or Narrow-Local-Search algorithms, e.g. in the work of 7

AT 414 311 BAT 414 311 B

Bolme erörtert. Für den Ähnlichkeitsvergleich zweier Jets, wie der Jets J und J', kann ebenfalls jedes in der Technik bekannte Ähnlichkeitsmaß verwendet werden, beispielsweise ein betragsmäßiges Korrelationsmaß ΣΝ , y=iaja i Ιχ'Ν 2χΝ,2 1 ai "y=1 9 i oder ein auch den Phasenversatz berücksichtigendes Korrelationsmaß SV{J,J')Bolme discusses. For the similarity comparison of two jets, such as jets J and J ', any measure of similarity known in the art may also be used, for example an amount-correlation measure ΣΝ, y = iaja i Ιχ'Ν 2χΝ, 2 1 ai "y = 1 9 i or a correlation measure SV {J, J ') also taking into account the phase offset

Wird in letztere Gleichung die obige Phasenabschätzung für den Umgebungsjet J’ im Abstand d eingesetzt, kann letzteres Ähnlichkeitsmaß auch geschrieben werden alsIf the above phase estimate for the surrounding jet J 'is used at the distance d in the latter equation, the latter similarity measure can also be written as

Σ" 1 aja'j cos(?y - Ip'j+k]' d)Σ " 1 aja'j cos (? Y - Ip'j + k] 'd)

ΙχΝ 2χΝ [F VA-=1ayZy=1ay bzw. durch Taylorreihenentwicklung noch weiter genähert als s,(j.j',d)= [1-0.4 i)1ΙχΝ 2χΝ [F VA- = 1ayZy = 1ay, or even more closely approximated by ss series expansion than s, (j.j ', d) = [1-0.4 i) 1

Durch Variieren des Abstandsvektors d mittels der genannten Suchalgorithmen im Hinblick auf eine Maximierung des Ähnlichkeitsmaßes S<p kann somit der Versatz d des geschätzten Ortes lmest,i vom richtigen Ort lm0bj.i des Landmarks Im, und damit der Landmark lm0bj,i im Objektbild P0bj lokalisiert werden.By varying the distance vector d by means of said search algorithms with a view to maximizing the similarity measure S <p, the offset d of the estimated location lmest, i from the correct location lm0bj.i of the landmark Im, and thus the landmark lm0bj, i in the object image P0bj be located.

Das Ergebnis des Blocks 30 ist somit eine Liste mit allen im Objektbild Pobj lokalisierten Landmarks lmobjji, beispielsweise in der Form lmobj,i linksaugenmitte rechtsaugenmitte nasenbrücke usw. x-Position 41.047727 90.913636 67.162529 y-Position 49.115525 49.852737 38.257454The result of the block 30 is thus a list of all landmarks lmobjji located in the object image Pobj, for example in the form lmobj, i, left-eye-center, right-eye-center, etc. x-position 41.047727 90.913636 67.162529 y-position 49.115525 49.852737 38.257454

Auf Grundlage der im Schritt a) lokalisierten Landmarks lmobj,i kann nun im Schritt b) der Ähnlichkeitsvergleich des Objektbildes P0bj mit einem bestimmten Referenzbild Pref („Verifizierung eines Objektes“) oder mit mehreren Referenzbildern PrefiS (s = 1..S) („Identifizierung eines Objektes unter mehreren“) erfolgen.On the basis of the landmarks lmobj, i localized in step a), the similarity comparison of the object image P0bj with a specific reference image Pref ("verification of an object") or with a plurality of reference images PrefiS (s = 1..S) (" Identification of an object among several ").

Es ist zu beachten, daß die in Schritt b) verwendeten Referenzbilder PrefiS dieselben sein können wie die Referenzbilder Pbjbr von Schritt a) oder auch nicht. So können beide Sätze von Referenzbildern ident sein, oder aber der erste Satz von Referenzbildern Pbib,r ist z.B. eine umfangreiche Bibliothek repräsentativer Gesichtsformen, -färben, Brillen- und Bartaccessoires usw., während der zweite Satz von Referenzbildern PrefiS nur das oder die zu verifizierende(n) 8It should be noted that the reference images PrefiS used in step b) may or may not be the same as the reference images Pbjbr of step a). Thus, both sets of reference pictures may be identical, or else the first set of reference pictures Pbib, r is e.g. an extensive library of representative face shapes, coloring, eyewear and beard accessories, etc., while the second set of reference images PrefiS contains only the one or more to be verified 8

AT 414 311 B oder identifizierende(n) Objekt(e) umfaßt.AT 414 311 B or identifying object (s).

Im Trainingsteil T werden im Block 40 für den Schritt b) aus den Referenzbildern Pref,s an manuell selektierten Landmarks lmman.i.s Jets Jref,i,s extrahiert, u.zw. auf Grundlage einer Wavelet-5 Basis Bb, welche einen Satz von Ν' Gabor-Wavelets ψΒι, umfaßt, von denen die Mehrzahl gekrümmt ist.In training section T, jets Jref, i, s jets Jref, i, s are extracted in block 40 for step b) from the reference images Pref, s at manually selected landmarks lmman.i.s, u.zw. based on a wavelet-5 basis Bb, which comprises a set of Ν 'Gabor wavelets ψΒι, of which the majority is curved.

Unter gekrümmten Gabor-Wavelets („Banana-Wavelets“) werden Wavelets der allgemeinen Gleichung 10 ψ{χ, y, C, Θ, λ,φ,σ,γ) = .2 2.2 x 2σUnder curved Gabor wavelets ("banana wavelets") are wavelets of the general equation 10 ψ {χ, y, C, Θ, λ, φ, σ, γ) = .2 2.2 x 2σ

COSCOS

Λ X 2Π- + ρ A J 15 mit 2 x = xcos(©)+y sin(©) + y C y = -x sin(0) + y cos(0) 20 verstanden, wobei 25 C .. Krümmung des Wavelets Θ .. Orientierung des Wavelets λ .. Wellenlänge der Sinusoidfunktion cp .. Phasenverschiebung σ .. Radius der einhüllenden Gaußkurve 30 γ .. Seiten/Höhen-Verhältnis des Wavelets ist. Einige beispielhafte Wavelets ψΒ,, sind in Fig. 3 gezeigt.Λ X 2Π- + ρ AJ 15 with 2 x = xcos ()) + y sin ()) + y C y = -x sin (0) + y cos (0) 20 understood, where 25 .. curvature of the wavelet Θ .. orientation of the wavelet λ .. wavelength of the sinusoidal function cp .. phase shift σ .. radius of the enveloping Gaussian curve 30 γ .. side / height ratio of the wavelet. Some exemplary wavelets ψΒ, are shown in FIG.

Bevorzugt wird zur Erzeugung der Wavelet-Basis Bb der folgende Parametersatz gewählt: 35 C = {0,±0.04,±0.07,±0.1}, I Π 2Π 3Π 7Π 40 M Τ' 8 ' 8 ' 8 ..... 8 λ = {4,4·>/2,8,8 V2,1 θ},The following parameter set is preferably selected to generate the wavelet basis Bb: 35 C = {0, ± 0.04, ± 0.07, ± 0.1}, I Π 2Π 3Π 7Π 40 M Τ '8' 8 '8 ..... 8 λ = {4.4 ·> / 2.8.8 V2.1 θ},

45 σ = λ und 50 γ = 1.0.45 σ = λ and 50 γ = 1.0.

Dies führt zu 700 gekrümmten und 100 geradlinigen Gabor-Wavelets, d.h. Ν' = 800, und damit zu einer äußerst detailreichen Bildanalyse. 55 Die Jets Jref,iiS an den Landmarks lmmaniiiS der Referenzbilder Pref,s werden in einem Referenzda- 5 5 9This results in 700 curved and 100 rectilinear Gabor wavelets, i. Ν '= 800, resulting in extremely detailed image analysis. 55 The jets Jref, iiS at the landmarks lmmaniiiS of the reference images Pref, s are shown in a reference 5 5 9

AT 414 311 B tensatz Gref für den Ablaufteil A zur Verfügung gestellt. Der Referenzdatensatz Gref umfaßt für jedes Referenzbild Pref,s einen sogenannten „Face-Graphen“ Gs: 10AT 414 311 B set Gref for expiry section A. The reference data record Gref comprises for each reference image Pref, s a so-called "face graph" Gs: 10

Gref = r A,1 A,2 Ά.1 ^2,2Gref = r A, 1 A, 2 Ά.1 ^ 2,2

As A.i λ = g2As A.i λ = g2

Gs GSI A,1 J,,GS GSI A, 1 J ,,

'M,S'M, S

Im Ablaufteil A des Verfahrens wird nun im Block 50 für jeden lokalisierten Landmark lm0bj.i des Objektbildes Pobj ein Jet Jobjii extrahiert, und zwar auf Grundlage derselben Gabor-Wavelet-Basis Bb, welche im Extraktionsblock 40 des Trainingsteiles T verwendet und anhand von Fig. 3 15 erläutert wurde.In the expiration part A of the method, a Jet Jobjii is now extracted in block 50 for each localized landmark lm0bj.i of the object image Pobj, on the basis of the same Gabor wavelet basis Bb used in the extraction block 40 of the training part T and with reference to FIG. 3 15 has been explained.

In einem anschließenden Block 60 wird der Ähnlichkeitsvergleich zwischen den Jets Jobj,i des Objektbildes Pobj und den Jets Jref,its des Referenzdatensatzes Gref durchgeführt. Als Ähnlichkeitsmaße für die Bestimmung der Ähnlichkeit zweier Jets Jobj,i und JrefiiiS können beliebige Kor-20 relationsmaße herangezogen werden, bevorzugt das obengenannte Phasenmaß 25In a subsequent block 60, the similarity comparison between the jets Jobj, i of the object image Pobj and the jets Jref, its of the reference data record Gref is performed. As correspondence measures for determining the similarity of two jets Jobj, i and JrefiiiS, arbitrary correspondence measures can be used, preferably the above-mentioned phase measure 25

objj^ref.j COSyJpQky y - Ψτβί, jobjj ^ ref.j COSyJpQky y - Ψτβί, j

2 yw 2 &obj,j ^/=1 ®ref.j2 yw 2 & obj, j ^ / = 1 ®ref.j

Dabei kann ein Gesamtähnlichkeitsmaß 8φ.ββ$ zwischen allen Landmarks Imj des Objektbildes Pobj und einem bestimmten Referenzbild Pref,s verwendet werden, beispielsweise durch Mittelwertbildung über die Ähnlichkeitsmaße S<piiiS der Landmarks Imj bezüglich eines bestimmten 30 Referenzbildes Pref,s: c =_> c '“V.ges.s i^j f-j '-V./'.s · 35In this case, a total similarity measure 8φ.ββ $ between all landmarks Imj of the object image Pobj and a specific reference image Pref, s can be used, for example by averaging over the similarity measures S <piiiS of the landmarks Imj with respect to a certain reference image Pref, s: c = _ > c '"V.ges.s i ^ j f-j' -V./'s.s · 35

Alternativ oder zusätzlich könnten auch die geometrischen Abweichungen zwischen den Landmarks eines bestimmten Referenzbildes Pref,s und den Landmarks des Objektbildes Pobj in das Ähnlichkeitsmaß eingehen. 40 Wird das Verfahren zur Verifikation eines Objektes, z.B. Gesichts, eingesetzt, d.h. zum Vergleich mit einem einzigen Referenzbild Pref oder mit einem Satz von verschiedenen Referenzbildern Pref.s ein und desselben Objekts, wird als Ausgang des Blocks 60 eine Verifikation („match“) angezeigt, wenn das im Block 60 ausgewertete Ähnlichkeitsmaß einen vorgegebenen Schwellwert überschreitet. 45Alternatively or additionally, the geometrical deviations between the landmarks of a specific reference image Pref, s and the landmarks of the object image Pobj could also be included in the similarity measure. When the method for verifying an object, e.g. Face, inserted, i. for comparison with a single reference image Pref or with a set of different reference images Pref.s one and the same object, a verification ("match") is displayed as the output of the block 60, when the similarity measure evaluated in block 60 exceeds a predetermined threshold. 45

Wird hingegen das Verfahren zur Identifikation eines Objektes unter mehreren möglichen Objekten verwendet, z.B. zur Identifikation des Gesichts eines Benutzers von mehreren möglichen Benutzern, von denen jeweils ein oder auch mehrere Referenzbilder Pref,s vorliegen, wird als Ausgang des Blocks 60 dasjenige Objekt bzw. Gesicht identifiziert („match“), dessen Ähnlich-50 keitsmaß das aller anderen übersteigt.On the other hand, if the method is used to identify an object among several possible objects, e.g. For identifying the face of a user of several possible users, one or more reference images Pref, s are present, as the output of the block 60 that object or face is identified ("match"), the similar-measure of the measure of all others exceeds.

Die Erfindung ist nicht auf die dargestellten Ausführungsformen beschränkt, sondern umfaßt alle Varianten und Modifikationen, die in den Rahmen der angeschlossenen Ansprüche fallen. 55The invention is not limited to the illustrated embodiments, but includes all variants and modifications that fall within the scope of the appended claims. 55

Claims

1. A method for object recognition, in particular face recognition, in an object image (Pobj) by comparing wavelet jets of significant points (Imi) of the object image with wavelet jets of at least one reference image (Pbib.r. Pret. s), wherein in a first step in the object image (Pobj) the current coordinates (lmobj, i) of the significant points (Im,) are determined by respectively in the vicinity of an estimate (lmest, i) of the coordinates, the coordinates of that point with the maximum similarity of its wavelet jet (J ',) to the wavelet jets (Jbib, i, r) of the significant points (lmman, i, r) of the reference image (Pbib.r) are determined, and in a second step, the detection of the object by similarity comparison between the wavelet jets (Jobj, i) of the localized significant points (lm0bj.i) of the object image (Pobj) and the wavelet jets (Jref, i, s) of the significant points (lmman.i, s) of the reference image (Pref, s), thereby characterized in that the wavelet jets (Jest, i. Jbib.u, J'O in the first step on the basis of hair wavelets (i | jHlj; BH) and the wavelet jets (Jobj, i. «Ws) in the second step on the basis of mostly curved Gabor wavelets ( ψΒι]; Bb) are generated.

2. The method according to claim 1, characterized in that for each significant point (Im,) the coordinate determination in the first step by similarity comparison with a bundle (bi) of first wavelet jets (Jbib.i, r) of different reference images (Pbib, r ) he follows.

3. The method according to claim 1 or 2, characterized in that as Haar wavelet base (BH) a Lienhart-Maydt basis is used, preferably in several scaling steps, more preferably in 24 scaling steps.

4. The method according to any one of claims 1 to 3, characterized in that as a Gabor wavelet basis (Bb) wavelets of the function

with x = xcos (0) + ysin (0) + y2C, y = -x sin (0) + y cos (0) and the parameter set C = (0 + 0.04, ± 0.07, ± 0.1},

λ = {4,4λ / 2,8,8λ / 2,16},

σ = λ, 7 = 1.0, 1 1 AT 414 311 B are used. For this purpose 2 sheets of drawings 5 10 15 20 25 30 35 40 45 50 55