AT505885B1 - Verfahren zum ähnlichkeitsvergleich von zwei gegenständen - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zum Ähnlichkeitsvergleich von zwei Gegenständen.Erfindungsgemäß ist vorgesehen,- dass jedes von den Gegenständen herangezogene Gegenstandsbild einen Bildsatz von zumindest zwei Bildern umfasst,- dass für jeden Bildsatz die Intensitätswerte für jeden Bildpunkt in Form eines Vektors (ν, ν') dargestellt werden,- dass aus jedem Vektorpaar (ν; ν') korrespondierender Bildpunkte (xi, yi; xi', yi') eine Wertepaar (L, L') bestehend aus den Längen L und L' der Vektoren ν und ν' ermittelt und diese Wertepaare in einem Diagramm als Punktwolke dargestellt werden,- dass für jedes Vektorpaar (ν; ν') der Differenzwinkel (Θ) des Vektors ν und des Vektors ν' jeweils gegenüber einem Referenzvektor (νref) ermittelt werden, aus diesen Winkeln Θ und Θ’ eine Wertepaar (Θ, Θ') gebildet wird und diese Werte in einem Diagramm als Punktwolke dargestellt werden,- dass durch jede der beiden Punktwolken eine charakteristische Gerade gelegt und- dass die Steigungen und die Abszissenabschnitte der beiden erhaltenen Geraden als Maß für die Ähnlichkeit der beiden Gegenstandsbilder angesehen werden.

Description

österreichisches Patentamt AT505 885B1 2011-07-15

Beschreibung [0001] Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1.

[0002] Aus der US 6115495 A, US2005/0084154 A1 und US2005/0187975 A1 sind Methoden zur Bestimmung einer Ähnlichkeit von zwei Bildern bekannt. Dabei liegt das Hauptaugenmerk auf der Berechnung der Ähnlichkeit der geometrischen Merkmale des Bildinhalts und zur Bestimmung eines Wertes für die Wahrscheinlichkeit, dass die Bilder den selben oder unterschiedliche Gegenstände zeigen. Die vorliegende Erfindung geht im Gegensatz dazu insbesondere von Abbildungen zweier gleicher Gegenständen mit geringen Abweichungen aus, um daraus einen Index für die geometrische und vor allem die spektrale Gleichheit dieser Gegenstände mit möglichst geringem Rechenaufwand zu bestimmen.

[0003] Ziel der Erfindung ist es, die Ähnlichkeit von zwei Gegenständen anhand von zwei Gegenstandsbildern zu ermitteln, insbesondere die Ähnlichkeit von zwei Gegenstandsbildern mit ähnlichem Inhalt zu ermitteln bzw. diese Ähnlichkeit möglichst einfach mit geringem Rechenaufwand, insbesondere mit einer Zahl, darzustellen.

[0004] Dieses Ziel wird bei einem Verfahren der eingangs genannten Art durch Verwirklichung der im Kennzeichen des Patentanspruches 1 angeführten Merkmale erreicht.

[0005] Mit diesen Merkmalen ist es möglich, numerische Werte zu erhalten, die allenfalls in Form eines Vektors angeordnet werden können, wobei diese numerischen Werte oder die Länge des Vektors als Maß für die Ähnlichkeit der beiden Gegenstandsbilder herangezogen werden können. Damit wird die Beurteilung der Ähnlichkeit gut reproduzierbar und einfach.

[0006] Die Bilddaten werden insbesondere als hyperspektrale Punktwolke von räumlich übereinstimmenden Teilebereichen des Bildes erfasst, um die Genauigkeit des Vergleichs zu erhöhen. Ferner werden deckungsgleiche Bildteile erkannt und es kann eine anschließende geometrische Entzerrung zur punktgenauen Zuordnung der spektralen Datensätze der jeweiligen Einzelbilder erfolgen.

[0007] Von Vorteil ist es dabei, wenn vorgesehen ist, dass für den Vergleich aus den beiden Gegenstandsbildern idente bzw. deckungsgleiche Bereiche ausgewählt werden oder die beiden Gegenstandsbilder idente bzw. deckungsgleiche Bildbereiche darstellen. Durch Auswahl von identen bzw. deckungsgleichen Bereichen kann die Genauigkeit des Vergleiches beträchtlich erhöht werden. Des weiteren ist es von Vorteil, wenn der Beurteilung Bilder von Gegenständen zugrunde gelegt werden, die bei Betrachtung mit dem menschlichen Auge vorab als in gewisser Weise ähnlich bewertet werden. Dadurch wird ausgeschlossen, dass als von vornherein als nicht ähnlich zu bewertende Bilder einem Vergleich unterzogen werden und somit unverhältnismäßig langer Rechenaufwand für die Feststellung einer nicht vorhandenen Ähnlichkeit vermieden werden kann.

[0008] Jedes Gegenstandsbild wird in einer Anzahl von Bildern zur Beurteilung herangezogen bzw. zur Verfügung gestellt, d.h. es werden zumindest zwei Bilder, vorzugsweise eine Vielzahl von Bildern, von jedem der beiden Gegenstände zur Verfügung gestellt bzw. für den Ähnlichkeitsvergleich herangezogen.

[0009] Von Vorteil ist es, wenn die jeweiligen Bildsätze der beiden Gegenstandsbilder in Form von hyperspektralen Bildern mit vorgegebener spektraler Auflösung und/oder in Form von Bildern in unterschiedlichen Farbkanälen, z.B. XYZ-, CIELab-, CIELuv-, RGB-und/oder CHS-Farbkanälen, vorliegen. Aufgrund der Mehrzahl der vorgesehenen Bilder können entsprechend viele Werte umfassende Vektoren erstellt werden, was der Genauigkeit des Ähnlichkeitsvergleiches zuträglich ist.

[0010] Zweckmäßig zur Einschränkung des Rechenaufwandes kann es sein, aus den beiden Bildsätzen, insbesondere Bildsätzen mit hyperspektralen Bildern, eine vorgegebene Anzahl von jeweils korrespondierenden Bildern aus den Bildsätzen für die Überprüfung der Ähnlichkeit auszuwählen, mit der Maßgabe, dass die ausgewählten Bilder für den optischen Eindruck der 1 /7 österreichisches Patentamt AT505 885B1 2011-07-15 zu beurteilenden Gegenstandsbilder auf das menschliche Auge von Bedeutung sind.

[0011] Das erfindungsgemäße Verfahren ist vorteilhaft ersetzbar, wenn das Verfahren zum Ähnlichkeitsvergleich von Ist-Bildern von Gegenständen mit in gespeicherter Form vorliegenden Sollbildern eingesetzt wird, insbesondere zum Vergleich eines Ist-Bildes, z.B. eines Druckwerkes, einer Oberflächengestaltung, einer Gegenstandsfläche, eines Gewebes, einer Tapete, einer Furnierplatte, einer mit einem Muster versehenen Gegenstandsoberfläche, mit einem entsprechenden, einen Sollwert vorgebenden Vergleichsbild.

[0012] Die Erfindung betrifft ferner einen Datenträger mit einem auf diesem gespeicherten Programm zur Ausführung des erfindungsgemäßen Verfahrens.

[0013] Im Folgenden wird die Erfindung anhand der Zeichnung beispielsweise näher erläutert. Fig. 1 zeigt zwei zu vergleichende Bildersätze. Fig. 2 zeigt die Darstellung eines Vektors v für eine Position xy im z-dimensionalen Raum, wobei z = 3. Fig. 3 zeigt einen Vektorv mit bestimmter Länge und seinen Winkel Θ in Bezug auf einen Referenzvektor vref· Fig. 4 zeigt eine Punktwolke, gebildet von den Längen der Vektoren v bzw.v'. Fig. 5 zeigt eine Punktwolke, gebildet von den Differenzwinkeln der Vektorenv bzw.v'.

[0014] In Fig. 1 sind zwei Sätze von Gegenstandsbildern 1, 2, 3, 4, 5 bzw. T, 2', 3', 4', 5' dargestellt, die von identen bzw. deckungsgleichen Bildbereichen stammen. Diese Bilder bzw. Bildbereiche besitzen Bildpunkte bzw. Pixel x^, x2yi, X3,yi .... Xiy2, X2Y2, X3y2··· [0015] Die einzelnen Bilder der beiden Bildsätze sind mit unterschiedlichen Aufnahmetechniken unter Berücksichtigung unterschiedlicher Bildparameter angefertigt, z.B. durch Aufnahme des Gegenstandes in verschiedenen Wellenlängenbereichen und/oder verschiedenen Farbkanälen. Für jeden(s) Bildpunkt bzw. Pixel wird nun ein Vektor gebildet, in den die für die jeweilige Bildpunkte in den einzelnen Bildern ermittelten Intensitätswerte, d.h. Grauwerte oder Farbwerte, eingetragen werden. Man erhält auf diese Weise eine Anzahl von Vektoren v die als Werte die Farbintensitäten der einander entsprechenden Bildpunkte bzw. Pixel der Bilder der beiden Gegenstandsbilder enthalten.

[0016] Es ist verständlich, dass die Anzahl der Bilder jedes Satzes von Gegenstandsbildern gleich groß ist und einander korrespondierende Bilder der beiden Sätze unter gleichen Aufnahmebedingungen aufgenommen wurden. Für jeden Bildpunkt Xiyk (i=1 ...n; k= 1....m) der beiden Bildsätze können die Intensitätswerte, insbesondere Grauwerte oder Farbwerte, des betrachteten Bildbereiches der einzelnen Bilder 1, 2, 3 T, 2', 3', in Form eines Vektors v,Vl dargestellt werden.

[0017] Alle Werte der Bildpunkte mit gleichen x- und y-Werten der einzelnen Bilder jedes der beiden Bildsätze ergeben jeweils einen Vektorv^ (z,) mit z Elementen, wobei z die Anzahl der Bilder im Bildsatz ist bzw. z.B. die Anzahl der Farbkanäle sein kann. Jeder Vektor kann als Punkt im z-dimensionalen Raum interpretiert werden, wie Fig. 2 zeigt.

[0018] Im Folgenden wird derart vorgegangen, dass für jeden dieser Vektoren v,Vl seine Länge |v |, |Vl | ermittelt wird und für jeden Vektorv sein Differenzwinkel Θ bzw. für jeden VektorVl sein Differenzwinkel Θ' zu einem vorgegebenen Referenzvektorv ref ermittelt wird. Es werden ferner die von den Längen der Vektoren v,Vl der einzelnen Bildpunkte der beiden Bildsätze gebildete Punktwolke und die von den Werten der Differenzwinkel Θ und Θ' der Vektoren v,Vl der einzelnen Bildpunkte der beiden Bildsätze in Bezug auf den Referenzvektorv ref gebildete Punktwolke ermittelt.

[0019] Fig. 3 erläutert die Ermittlung der Differenzwinkel Θ bzw. Θ' der Vektoren v bzw. Vl zu einem vorgegebenen Referenzvektorv ref. Die Länge und Winkel der für die einzelnen Pixel der Bildbereiche der beiden Bildsätze ermittelten Vektoren sind aufgrund allfälliger Unterschiede bzw. Abweichungen der Farbwerte gegeneinander allenfalls verschieden und damit sind die Vektoren nicht gleich lang und/oder schließen einen anderen Winkel zum Referenzvektorv ref ein. Trägt man die Längen L und L' der für korrespondierende Pixel der Bildbereiche der beiden Bildsätze erhaltenen Vektoren vbzw.Vl in einem Diagramm gegeneinander auf, d.h. man bildet 2/7 österreichisches Patentamt AT505 885 B1 2011-07-15

Punkte mit den Koordinaten (L, L'), so erhält man die in Fig. 4 dargestellte Punktwolke. Analog erhält man eine weitere, in Fig. 5 dargestellte, Punktwolke, wenn man die Winkel Θ und Θ' der Vektoren v bzw. Vl korrespondierender Pixel zum Referenzvektor gegeneinander aufträgt, d.h. Punkte mit den Koordinaten (Θ, Θ') bildet. Diese Punktwolken bzw. die zwei derart erstellten Mengen von Wertepaaren bilden die Grundlage für die weitere Auswertung.

[0020] Zur beispielsweisen Erläuterung wird auf die in den beiden Gegenstandsbildern gemäß Fig. 1 korrespondierenden Pixel Xjy, bzw. χ,γ/ verwiesen.

[0021] Für den Vektor vij über die Pixel χ,γ, bildet man die Länge Ly und den Winkel ©y zu einem festen Referenzvektor vref- Für den Vektor vy' über die Pixel Χιγ/ bildet man ebenfalls die Länge Ly' und den Winkel 0y' zu diesem festen Referenzvektor vref- [0022] Der Vektor vy kann als das Tupel (Ly, 0y) dargestellt werden bzw. der Vektor vy' als (Ly', ©y'). Man befindet sich noch immer auf der Position ij der beiden Bildsätze und nunmehr sollen die Längen L und L' sowie die Differenzwinkel (0y und ©y') verglichen werden.

[0023] Zum Vergleich werden jetzt im Diagramm gemäß Fig. 4 für die beiden Vektoren die Längen L gegen die Längen L' für die korrespondierenden Pixel aufgetragen. Es wird die Länge Ly gegen die Länge Ly' aufgetragen, d.h. der x-Abschnitt des Punkts im Diagramm wird durch Ly bestimmt, der y-Abschnitt durch Ly'. Der resultierende Punkt hat die Koordinaten (Ly, Ly').

[0024] Ebenso werden für korrespondierende Pixel die Winkel © gegen die Winkel ©' in einem zweiten Diagramm gemäß Fig. 5 aufgetragen. Es wird der Winkel ©y gegen den Winkel ©y' aufgetragen, d.h. der resultierende Punkt im Diagramm hat die Koordinaten (©y, ©y'). Diese Vorgangsweise wird für alle Bildpunkte in den beiden Bildersets durchgeführt, womit man zwei Punktwolken in den beiden Diagrammen gemäß Fig. 4 und 5 erhält.

[0025] Für den Fall, dass die beiden Bildersets gleich sind, sind die Werte der jeweils korrespondierenden Vektoren v und Vl gleich, dann sind auch deren Längen L und L' sowie deren Winkel © und ©' zu dem festgelegten Winkel des Referenzvektors vref gleich. In diesem Fall, in dem die Längen bzw. die Winkel gleich sind, würden die Diagramme nur Punkte auf einer 45°-Linie durch den Ursprung (y=x) enthalten. Soferne die Vektoren der Bildpunkte der beiden Bildersets jedoch ungleiche Längen und/oder Winkel besitzen, ergeben sich die Punktwolken und die diese Punktwolken annähernden Geraden stellen ein Maß für die Ähnlichkeit der Bilder der beiden Bildersets dar.

[0026] Im Folgenden wird durch jede der beiden Punktwolken eine charakteristische Gerade gelegt bzw. in jeder der beiden Punktwolken werden die jeweils enthaltenen Punkte mit einer Geraden gefittet bzw. angenähert. Die Steigungen und die Abszissenabschnitte der beiden erhaltenen, in Normalform gebrachten Geraden, insbesondere der mit diesen Werten gebildete Vektor, werden sodann als Maß für die Beurteilung der Ähnlichkeit der beiden Gegenstandsbilder herangezogen.

[0027] Auf diese Weise erhält man einen Vektor mit Zahlenwerten bzw. allenfalls eine einzige Zahl, wenn man die Länge dieses Vektors als Maß für die Ähnlichkeit zwischen den beiden Gegenstandsbildern heranzieht.

[0028] Von Vorteil ist es, wenn der von den beiden Steigungen und den beiden Abszissenabschnitten der Geraden in Normalform gebildete Vektor normiert bzw. mit Standardverfahren normalisiert bzw. die Länge des normierten Vektors ermittelt wird und die erhaltene Zahl als Maß für die Ähnlichkeit der zu vergleichenden Gegenstandbilder, insbesondere des Istbildes und des Sollbildes, angesehen wird. Dabei kann ferner vorgesehen sein, dass die beiden Steigungen und die beiden Abszissenabschnitte derart gewichtet und/oder invertiert werden, dass ihr Maximalwert 1 beträgt.

[0029] Exakte Ergebnisse erhält man, wenn die Gerade durch die Punktwolke der Längen und die Punktwolke der Winkelabweichungen der Vektorenv,Vl mit Hilfe von statistischen Methoden, insbesondere der Methode der kleinsten Quadrate oder eines Fittings mittels Ridge-Regression oder mittels Maximum-Likelihood-Methoden oder robusten Schätzverfahren, insbesondere M. 3/7

Claims (10)

1. österreichisches Patentamt AT505 885 B1 2011-07-15 Schätzer und W. Schätzer, oder mittels Kalman-Filterung ermittelt wird. [0030] Für Bildsätze, die hyperspektrale Bilder und/oder Aufnahmen in einer Anzahl von Farbkanälen umfassen, ist es erforderlich, dass die einander korrespondierenden Bilder der Bildsätze nicht nur bezüglich der Bildbereiche sondern auch bezüglich der Wellenlängenbereiche, für die sie aufgenommen wurden, korrespondieren. Die zu vergleichenden bzw. die korrespondierenden Bilder sollen dieselbe räumliche Auflösung besitzen, andernfalls müsste eine entsprechende Umrechnung der Bildkoordinaten erfolgen, um korrespondierende Bilder bzw. deckungsgleiche Bildbereiche vergleichen zu können. Die Auswahl bzw. das Erstellen deckungsgleicher Bildbereiche wird insbesondere in einer Vorverarbeitung der miteinander zu vergleichenden Bilder vorgenommen. Von Vorteil ist es, wenn zur Erstellung von einander entsprechenden identen bzw. deckungsgleichen Bildbereichen die Gegenstandsbilder bzw. die Bilder der Bildsätze einer Vorverarbeitung, z.B. einer Drehung, Entzerrung, Größenveränderung und/oder Verschiebung, unterzogen werden. Patentansprüche 1. Verfahren zum Ähnlichkeitsvergleich von zwei Gegenständen, bei dem von den beiden Gegenständen aufgenommene digitale Gegenstandsbildern, insbesondere ein Istbild und einem Sollbild, verglichen werden, wobei für den Vergleich aus den beiden Gegenstandsbildern idente bzw. deckungsgleiche Bereiche ausgewählt werden oder die beiden Gegenstandsbilder idente bzw. deckungsgleiche Bildbereiche darstellen, dadurch gekennzeichnet, - dass jedes der von den beiden Gegenständen zur Verfügung gestellte bzw. herangezogene Gegenstandsbild, insbesondere das Istbild und das Sollbild, einen Bildsatz von zumindest zwei Bildern, vorzugsweise von einer Vielzahl von Bildern (1, 2, 3 ..., T, 2', 3', ...) umfasst, - dass für jeden der beiden Bildsätze die Intensitätswerte, insbesondere Grauwerte oder Farbwerte, für jeden Bildpunkt des Bildbereiches der einzelnen Bilder (1, 2, 3 ...; 1', 2', 3', ...) in Form eines Vektors C,Vl) dargestellt werden, - dass aus jedem Vektorpaar (v;Vl) von korrespondierenden Bildpunkten (x,, y,; x,', y,') eine Wertepaar (L, L') bestehend aus den Längen L und L' der Vektoren v und v' ermittelt und diese Werte gegeneinander in einem Diagramm aufgetragen bzw. diese Wertepaare als Punkte in einem Diagramm bzw. als Punktwolke dargestellt werden, - dass für jedes Vektorpaar (v;Vl) der Differenzwinkel (Θ) des Vektors v und der Differenzwinkel (Θ') des Vektors Vl jeweils gegenüber einem Referenzvektor f ret) ermittelt werden, aus diesen Winkeln Θ und Θ' eine Wertepaar (Θ, Θ') gebildet wird und diese Werte gegeneinander in einem Diagramm aufgetragen bzw. diese Wertepaare in einem Diagramm als Punktwolke dargestellt werden, - dass durch jede der beiden Punktwolken eine charakteristische Gerade gelegt wird bzw. in jeder der beiden Punktwolken die jeweils enthaltenen Punkte mit einer Geraden gefittet bzw. angenähert werden und - dass die Steigungen und die Abszissenabschnitte der beiden erhaltenen Geraden, insbesondere in Form eines damit gebildeten Vektors, als Maß für die Beurteilung der Ähnlichkeit der beiden Gegenstandsbilder herangezogen bzw. angesehen werden.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der von den beiden Steigungen (ki, k2) und den beiden Abszissenabschnitten (di, d2) gebildete Vektor normiert bzw. mit Standardverfahren normalisiert bzw. die Länge des normierten Vektors ermittelt wird und die erhaltene Zahl als Maß für die Ähnlichkeit der zu vergleichenden Gegenstandbilder, insbesondere des Istbildes und des Sollbildes, angesehen wird.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die beiden Steigungen (k^ k2) und die beiden Abszissenabschnitte (d^ d2) derart gewichtet und/oder invertiert werden, dass ihr Maximalwert 1 beträgt. 4/7 österreichisches Patentamt AT505 885 B1 2011-07-15
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die jeweilige Gerade durch die Punktwolke der Längen - und der Winkelabweichungen der Vektoren f,Vl) mit Hilfe von statistischen Methoden, insbesondere der Methode der kleinsten Quadrate oder eines Fittings mittels Ridge-Regression oder mittels Maximum-Likelihood-Methoden oder robusten Schätzverfahren, insbesondere M. Schätzer und W. Schätzer, Karhunen-Loeve transform oder mittels Kalman-Filterung ermittelt wird.
5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die beiden Bildsätze in Form von hyperspektralen Bildern mit vorgegebener spektraler Auflösung und/oder in Form von Bildern in unterschiedlichen Farbkanälen, z.B. XYZ-, CIELab-, CIE-Luv-, RGB- und/oder CHS-Farbkanälen, vorliegen.
6. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass aus den beiden Bildsätzen, insbesondere Bildsätzen mit hyperspektralen Bildern, eine vorgegebene Anzahl von jeweils korrespondierenden Bildern für die Überprüfung der Ähnlichkeit ausgewählt wird, mit der Maßgabe, dass die ausgewählten Bilder für den optischen Eindruck der zu überprüfenden Gegenstandsbilder auf das menschliche Auge von Bedeutung sind.
7. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zur Erstellung einander entsprechender identer bzw. deckungsgleicher Bildbereiche die Gegenstandsbilder bzw. die Bilder der Bildsätze einer Vorverarbeitung, z.B. einer Drehung, Entzerrung, Größenveränderung und/oder Verschiebung, unterzogen werden.
8. 8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Verfahren zum Ähnlichkeitsvergleich von Ist-Bildern von Gegenständen mit in gespeicherter Form vorliegenden Sollbildern eingesetzt wird, insbesondere zum Vergleich eines Ist-Bildes, z.B. eines Druckwerkes, einer Oberflächengestaltung, eines Gegenstandes, eines Gewebes, einer Tapete, einer Furnierplatte oder einer mit einem Muster versehenen Gegenstandsoberfläche, mit einem jeweils entsprechenden Bildbereich eines einen Sollwert vorgebenden Vergleichsbild.
9. 9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Beurteilung Bilder von Gegenständen zugrunde gelegt werden, die bei Betrachtung mit dem menschlichen Auge als ähnlich bewertet werden.
10. 10. Datenträger, dadurch gekennzeichnet, dass auf ihm ein Programm zur Ausführung des in den Ansprüchen 1 bis 9 beanspruchten Verfahrens gespeichert ist. Hierzu 2 Blatt Zeichnungen 5/7