AT11770U1 - Verfahren zur auswahl eines optimierten auswerteuntermerkmals zur kontrolle einer freiformfläche und verfahren zur kontrolle einer freiformfläche - Google Patents

Abstract

Ein Verfahren zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion von Freiformoberflächen weist einen Erzeugungsschritt auf zum Erzeugen einer Mehrzahl von Kombinationen aus Bewertungsmerkmalen, einen Bewertungsschritt zum Bewerten jedes Pixels oder eines Teilsatzes der Pixel der Muster eines Referenzsatzes mit jeder Kombination aus Bewertungsmerkmalen zum Erhalten eines bewerteten Zustands, einen Vergleichsschritt zum Vergleichen des bewerteten Zustands mit dem Referenzzustand zum Erhalten einer Erfassungsrate für jede Kombination aus Bewertungsmerkmalen und einen Bestimmungsschritt zum Bestimmen des optimierten Bewertungsmerkmalsteilsatzes basierend auf den Erfassungsraten. Ein Verfahren zum Inspizieren einer Freiformoberfläche, die durch ein strukturiertes Licht beleuchtet ist, weist einen Beleuchtungsschritt auf zum Beleuchten eines Bereichs der Freiformoberfläche, einen Aufzeichenschritt zum Aufzeichnen eines Bildes des beleuchteten Bereichs und einen Bewertungsschritt zum Bewerten jedes Pixels oder Teilsatzes der Pixel des Bildes mit einer Kombination aus Bewertungsmerkmalen zum Erhalten eines defekten oder nicht defekten Zustands des Oberflächenbereichs.

Description

österreichisches Patentamt AT 11 770 U1 2011-04-15

Beschreibung [0001] Ausführungsbeispiele der Erfindung beziehen sich auf ein Verfahren zum Auswahlen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion von Freiformoberflächen, die durch strukturiertes Licht beleuchtet werden, und auf ein Verfahren zum Inspizieren einer Freiformoberfläche, die durch ein strukturiertes Licht beleuchtet wird.

[0002] Ausführungsbeispiele der Erfindung beziehen sich auf die Gebiete der Oberflächenqualitätssteuerung mit Hilfe von optischen Verfahren und auf eine Musteranalyse.

[0003] In Fig.1 ist ein Diagramm einer herkömmlichen Musteranalyseprozedur gezeigt. Die Musteranalyseprozedur weist einen Referenzsatz Φ von Bildmustern auf, die getrennt in einen Lernsatz und einen Testsatz strukturiert werden müssen. Der erstere wird zum „Lehren“ des Klassifikationsalgorithmus verwendet, der letztere wird zur Klassifikationsbewertung verwendet. Der Kernteil dieser Prozedur weist die Charakterisierung jedes Musters F auf, das mit Hilfe von spezifischen Merkmalen klassifiziert werden soll.

[0004] Für eine Klassifizierung können zwei unterschiedliche Ansätze verwendet werden: der Naive-Bayes-Klassifikator (NB) und der Nächster-Nachbar-Klassifikator (k-NN; nearest neigh-bor). Es gibt zwei Hauptgründe, diese zwei Klassifikatoren zu verwenden. Erstens basieren beide Verfahren auf zwei unterschiedlichen Klassifizierungsmodellen. Das NB-Verfahren ist ein probabilistischer Lerner, der die Annahme tätigt, dass die Merkmalsverteilungen jeder Klasse durch eine normale Verteilung beschrieben werden können. Der k-NN ist ein instanzbasiertes Vorhersagemodell, wie beschrieben ist in „lan H. Witten und Eibe Frank, Data mining, Oxford 2005“ (Instanz im Sinn von Muster), das nicht versucht, „Regeln“ zu erzeugen, sondern direkt an den Mustern bzw. Strukturen selbst arbeitet.

[0005] Zweitens wird der NB-Klassifikator häufig als ein einfacher, aber leistungsstarker Ansatz betrachtet. Dieser Klassifikator übertrifft häufig die Leistung von höherentwickelten Klassifikatoren gemäß „lan H. Witten und Eibe Frank, Data mining, Oxford 2005“. Das Verfahren k-NN ist bekannt, die Ergebnisse des NB-Klassifikators in dem Fall eines großen Datensatzes anzugehen (wie gezeigt wird durch „T.M. Cover und P.E. Hart, Nearest Neighbor Pattern Classification, EIN Trans. On Information Theory 13 (1967), Nr. 1, 21 - 27“), wie es hier ist bei der Inspektion von Freiformoberflächen. Wenn die Bayes-Minimalwahrscheinlichkeit des Fehlers von pB minus 1 niedrig ist, gilt die folgende Gleichung: pB — pN — 2 · pB, [0006] wobei pB die Minimalwahrscheinlichkeit eines Fehlers des Bayes-Klassifikators ist und pN die Minimalwahrscheinlichkeit des Fehlers der Nächster-Nachbar-Entscheidungsregel ist.

[0007] Im Hinblick auf den rechentechnischen Aspekt beider Klassifikatoren ist der k-NN-Klassifikator rechentechnisch umfassender als der NB-Klassifikator. Tatsächlich erfordert das NB-Modell nur einen kleinen Parametersatz, die während der Trainingsprozedur geschätzt werden. Diese Parameter definieren die Wahrscheinlichkeitsfunktion für jeden Merkmalsvektorwert für jede Klasse. Die Klassifizierung bzw. Klassifikation besteht aus dem Zuweisen jedes beobachteten Merkmalsvektors c' des Testsatzes zu der wahrscheinlichsten Klasse gemäß dem Wert der Wahrscheinlichkeitsfunktion. Für k-NN ist die Anzahl von Operationen, die zum Klassifizieren eines Musters 'F erforderlich ist, direkt proportional zu der Anzahl von Elementen in dem Trainingssatz. Für jedes 'F des Testsatzes muss die Distanz zu jedem Glied des Trainingssatzes berechnet werden.

[0008] Für die Beschreibung von beiden Klassifikatoren sei C ein Vektor von Zufallsvariablen, der die beobachteten Merkmale bezeichnet und 'c sei der i-te beobachtete Merkmalsvektor (i = 1, ..., NF). 'c(k) ist der k-te Wert des beobachteten Merkmalsvektors 'c, k = 1, Nc. Ferner sei Ωκ eine Zufallsvariable, die die Klasse eines Merkmals QK G □ {Ω^ Ω2, Ω3} bezeichnet.

[0009] NB ist ein probabilistischer Lerner basierend auf der Bayes-Regel. Dieser Klassifizierer wird naiv genannt, da er auf der wichtigen, vereinfachenden Annahme basiert, dass die Vorher- 1/60

österreichisches Patentamt AT 11 770 U1 2011-04-15 sagemerkmale bedingungsweise unabhängig sind.

[0010] Gemäß der Bayes-Regel (siehe „R.O. Duda und P.E. Hart, Pattern Classification and scene analysis, Wiley, New York, 1973“) ist die a-posteriori-Wahrscheinlichkeit p(QK|C = 'c) von jeder Klasse Ωκ, wenn der i-te Vektor von beobachteten Werten 'c gegeben ist, wie folgt KUkIC =* c) = ΜΟ«)·ρ(0.=^Ωκ) j>(G =* c) [0011] Nach der Naive-Bayes-Vereinfachung, die angibt, dass die bedingungsweisen Wahrscheinlichkeiten unabhängig sind, wird die nachfolgende konditionale Wahrscheinlichkeit erhalten: p{c =* ci^) = riKW) =* [0012] Die Werte des beobachteten Merkmalsvektors 'c sind numerisch. Mit der Annahme, dass innerhalb jedes Klassenetiketts Ωκ diese Merkmalswerte normal verteilt sind, kann eine solche Verteilung vollständig im Hinblick auf ihren Mittelwert und Varianz dargestellt werden.

[0013] Die Technik k-NN weist einen beobachteten Merkmalsvektor 'c aus dem Testsatz zu dem Klassenetikett Ωκ des Großteils seiner k-Nearest-Neighbor-Muster aus dem Trainingssatz unter Verwendung eines Distanzkriteriums zu. Die euklidische Distanz oder die Stadt-Block-Metrik sind typische Distanzkriterien. Der Nächster-Nachbar-Ansatz kann auch gemäß der geschätzten a-posteriori-Wahrscheinlichkeit wie folgt geschrieben werden:

m [0014] wobei mK die Anzahl von Muster mit dem Klassenetikett Ωκ in der Nachbarschaft des beobachteten Merkmalsvektors 'c ist und m die Gesamtanzahl von Mustern in derselben Nachbarschaft ist. Die Nächster-Nachbar-Entscheidungsregel ist unabhängig von der gemeinsamen Verteilung der Abtastpunkte.

[0015] Zwei unterschiedliche Klassifkationsverfahren (Lernen) können verwendet werden: eine stratifizierte, 10-fache Vergleichsprüfung (bzw. Kreuzvalidierung; cross validation) 10-F und eine Einen-Auslassen- (leaving one out) Vergleichsprüfungs-Klassifizierung LoO.

[0016] Das 10-F-Verfahren teilt den Referenzdatensatz Φ in 10 Teile, in denen jede der z. B. drei Klassen {Ω^ Ω2, Ω3} zu demselben Anteil repräsentiert ist wie in dem vollen Datensatz Φ. Die Lernprozedur wird zehnmal ausgeführt. Jedes Mal wird das Training an den verbleibenden 9/10 des Datensatzes ausgeführt. Abschließend werden die zehn geschätzten Klassifikationsraten gemittelt, um die Endklassifikationsrate Cp zu ergeben, ausgedrückt in Prozent. Cp ist die Rate der korrekt klassifizierten Muster, die zu den drei Klassen {Ω^ Ω2, Ω3} gehören. LoO ist einfach eine NF-fache Vergleichsprüfung, wobei NF die Anzahl von Muster des Datensatzes Φ ist. Dieses Verfahren besteht aus dem Klassifizieren von jedem der NF Muster, wobei die NF -1 verbleibenden Muster für den Trainingsschritt verwendet werden.

[0017] Für die Auswahl der Trainings- und Testabtastwerte aus dem Datensatz Φ wird ihre Größe und ihre Repräsentativität berücksichtigt. Daher hat jede der beteiligten Klassifizierungsmethoden folgende Vorteile.

[0018] In dem Fall des 10-F-Verfahrens garantiert der Stratifizierungsprozess die Repräsentativität jeder Klasse in dem Trainings- und Testsatz. Ferner schwächt diese Prozedur jegliche Vorspannung ab, die durch zufälliges Abtasten des Datensatzes Φ verursacht wird, durch 2/60

österreichisches Patentamt AT 11 770 U1 2011-04-15 mehrmaliges Wiederholen des Trainings und Testens. Ein zehnmaliges Abtasten kann als die richtige Anzahl von Ausführungen bezeichnet werden, um den besten Schätzungsfehler zu erhalten. Ein Hauptvorteil der Prozedur LoO ist, dass die größtmögliche Datenmenge für den Trainingsschritt verwendet wird. Ein anderer Vorteil ist, dass kein zufälliges Abtasten beteiligt ist.

[0019] Der Lern- und Bewertungsprozess des Klassifikationsverfahrens werden unter Verwendung einer kommentierten Referenzbilddatenbank Φ ausgeführt. Die klassische Prozedur verwendet einen ersten Satz der Referenzmuster zu Trainingszwecken des Klassifikationsalgorithmus. Der zweite Referenzsatz der Muster wird für die Bewertung des Klassifikationsalgorithmus verwendet, durch Vergleichen des Wahr-Zustands mit dem erfassten Zustand. Eine Notwendigkeit für ein Klassifikationsproblem ist das Sammeln von ausreichend Informationen über die Muster, um zu klassifizieren, d. h. um einen repräsentativen Referenzsatz Φ aus Mustern zu haben. Φ besteht aus NF Elementen und wird wie folgt beschrieben: [0020] Es wird natürlich bevorzugt, einen großen und repräsentativen Satz Φ aus Referenzmustern zu haben, da die Güte eines Klassifikators von seiner Fähigkeit abhängt, genug Informationen über die Muster F zum Klassifizieren zu sammeln. Φ kann als repräsentativ betrachtet werden, wenn der berechnete Merkmalsvektor c alle Muster F G □ Φ definiert.

[0021] Die Klassifikationsprozedur besteht dann aus dem Zuweisen einer Klasse Ωκ zu jedem Muster F gemäß dem entsprechenden Merkmalsvektor c.

[0022] Da jedes Klassifikationsergebnis des Sicht-Systems eine bestimmte Aktion hervorruft, ist jede Entscheidung mit spezifischen Kosten gekoppelt. Mathematisch ausgedrückt entspricht dies dem Definieren der Kostenwerte rÄK für jedes Paar aus Klassen Ωλ|Ωκ unter den Nk Klassen, wie folgt:

[0023] Die Kosten rkK werden erzeugt, wenn ein Muster F falsch in eine Klasse Ωλ klassifiziert wird, obwohl es zu Klasse Ωκ gehört. Die Kosten für eine falsche Klassifizierung sind logischerweise höher als Kosten für eine gute Klassifikation.

[0024] Die Klassifikationsprozedur kann daher als ein Optimierungsprozess betrachtet werden, wo es die Aufgabe ist, jedes Bildmuster F mit Hilfe des entsprechenden Merkmalsvektors c auf solche Weise zu klassifizieren, dass die Durchschnittskosten minimiert werden. Der optimale Klassifikator minimiert den Wert uA(c), der wie folgt definiert ist:

Nk ux^ = Σ λ = 1, * * ,Νκ [0025] pK ist die Wahrscheinlichkeit des Auftretens von Klasse Ωκ, p(c|DK) ist die bedingungsweise bzw. konditionale Wahrscheinlichkeit, dass der Vektor c berechnet ist und das entsprechende Muster F zu der Klasse Ωκ gehört.

[0026] Die Kostenwerte sind aufgabenabhängig und werden gemäß den Anforderungen des Inspektionsprozesses zugewiesen. Die Wahrscheinlichkeiten werden direkt aus den vorangehend gesammelten Daten berechnet. Wenn die geschätzte Wahrscheinlichkeit des Auftretens von pK relativ einfach wiederzugewinnen ist, wie es das Verhältnis von Mustern von Klasse Ωκ unter allen Mustern ausdrückt, sind die geschätzte bedingungsweise Wahrscheinlichkeit p(c|DK) 3/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 und auch die geschätzte Dichteverteilung komplexer zu berechnen.

[0027] Die erste Möglichkeit ist, dass die Verteilungen von c bekannten Modellen folgen. Dann besteht die Aufgabe aus dem Bestimmen der Parameter dieser Modelle aus den Werten von c. Dies wird der parametrische Ansatz genannt. Als ein Beispiel werden für die Poisson- und die Gauß-Verteilung ein und zwei Parameter aus dem beobachteten Muster geschätzt. Wenn aber kein Modell auf die Verteilungen von c passt, kann ein nichtparametrischer Ansatz notwendig sein, auf solche Weise, dass die Dichteverteilungen geschätzt werden ohne vorherige Kenntnis der Form der beobachteten Verteilungen. Eine Lösung ist es, den Parzen-Algorithmus oder die Gaußschen Mischmodelle anzuwenden, um diese Dichten zu schätzen.

[0028] Eine Extraktion und Unterscheidung der Bildmerkmale ist Teil eines herkömmlichen Klassifikationsprozesses, der aus den drei Komponenten besteht, die in Fig. 1 gezeigt sind: Merkmalsextraktion, Lernen und Klassifikationsprozedur. Auf diese Weise besteht die Musteranalyse aus der Extraktion von einigen relevanten Informationen, ihrer Behandlung und ihrer Interpretation. Der Merkmalsextraktionsprozess richtet sich auf die Extraktion aller relevanten Charakteristika, die ein Bildmuster F beschreiben, die in einem Merkmalsvektor c gesammelt werden. Die gezeigten Informationen in dem Bildmuster können von einem beliebigen Typ sein und Holz, Wände, Gewebe, Gras, Wolken etc. sind nur einige Beispiele. Die Merkmalswerte können derart betrachtet werden, dass sie direkt den Pixeln des Bildmusters entsprechen, so dass F = c. Dies ist ein möglicher Ansatz für die Oberflächenklassifikation, da das Bildmuster alle notwendigen, relevanten Informationen enthält. Das Verarbeiten dieser enormen Datenmenge erfordert jedoch mehr Rechenaufwand und viel Speicher, so dass ein Zwischenmerkmalsextraktionsschritt bevorzugt ist.

[0029] Sobald ein Merkmalsvektor c berechnet wurde, kann der gesamte Klassifikationsprozess unter Verwendung von kombinatorischen Optimierungsprozeduren optimiert werden, die auch Merkmalsauswahlprozeduren sind. Ihr Zweck ist das Wiedergewinnen der NCsUb besten Merkmale des Teilsatzes (Subset) csub aus den Nc Merkmalen von c, cSUb G □ c. Der Branch-and-Bound- (Verzweigung-und-Schranke-) und der genetische Algorithmus sind zwei mögliche Ansätze. Zwei Typen von Methoden werden verwendet. Die Erste besteht aus dem Minimieren oder Maximieren von Distanzwerten von Merkmals-Inter- und -Intra-Aufteilungen. Die Zweite besteht in dem Minimieren von falschen Ratenwahrscheinlichkeiten, die mit einem Klassifikator erhalten werden.

[0030] Die optimalste Merkmalssatzwiedergewinnung wird innerhalb des Kontextes des industriellen Computervisionsprozesses ausgeführt. Eine solche Klassifikationsprozedur besteht aus unterschiedlichen Schritten, beginnend mit dem Aufnehmen der Oberfläche, die inspiziert werden soll, und endend mit dem Endklassifikationsergebnis. Die nachfolgenden drei Hauptschritte werden betrachtet: die Segmentierung der Defekte, die interpretiert werden sollen; ihre Charakterisierung und ihre Interpretation. Es ist das Ziel, optimale Klassifikationsergebnisse zu erreichen.

[0031] Im Hinblick auf herkömmliche, visuelle Inspektionstechniken, die sich auf die visuelle Verbesserung von fehlerhaften Oberflächenteilen beziehen, die auf Freiformobjekten positioniert sind, können zwei Hauptansätze unterschieden werden, um unterschiedliche Typen von fehlerhaften Oberflächen z. B. als zweidimensionale texturale bzw. Textur- oder dreidimensionale Tiefen-Defekte zu prüfen. Der erste Ansatz verwendet eine diffuse Beleuchtung, um Textur-Defekte zu prüfen, und der zweite basiert auf der dreidimensionalen Triangulationstechnik, um die Tiefeninformationen wiederzugewinnen. Der Hauptnachteil des ersteren Ansatzes ist, dass einige Tiefendefekte nicht visuell verbessert werden können, wobei der Hauptnachteil des letzteren ist, dass die Wiedergewinnung der Tiefendefekte auf einem Vorab-Kalibrierungsprozess der gesamten Aufzeichen-Einrichtung basiert, d. h. der Aufzeichen-Sensorik und der strukturierten Beleuchtung.

[0032] In dem Fall der gleichzeitigen Verbesserung von unterschiedlichen, defekten Oberflächenteilen auf Freiformgeometrien werden in der Literatur unterschiedliche Techniken vorgeschlagen, egal ob diese als Laboreinrichtungen oder geeignete industrielle Systeme verwendet 4/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 werden.

[0033] Eine erste Möglichkeit wird geliefert von „Ingo Reindl, Optical Configurations, Methods and Algorithms for the Automatic Inspection of Metallic Surfaces, PhD Thesis, University of Leoben, Österreich, 2006“, die die Lichtzerlegungstechnik für die Inspektion von planaren Stahlblocksonden in einem industriellen Prozess verwendet. In diesem Fall wird die Intensität der reflektierten Lichtstrahlen zur Wiedergewinnung des geometrischen Oberflächendefekts, wie Risse verwendet, und zum Bestimmen von strukturellen Defekten.

[0034] Eine Technik zum zuverlässigen Wiedergewinnen der Kanten und der Textur von metallischen Objekten wird vorgeschlagen von „F. Puente Leon und J. Beyerer, Active Vision and sensor fusion for inspection of metallic surfaces, Intelligent Robots and Computer Vision XVI, Algorithms, Techniques, Active Vision and Materials Handling, D.P. Casasent (ed.), Proc. Of SPIE, 3.208, 394 - 405, 1997“. Dieses Verfahren basiert auf der Fusion von unterschiedlichen Bildern desselben Objekts, aufgezeichnet mit verschiedenen Beleuchtungsrichtungen.

[0035] Die Aufzeichenbedingungen von beiden Ansätzen sind jedoch nicht optimal im Hinblick auf einen industriellen Echtzeitinspektionsprozess. Das erste Verfahren impliziert die Verwendung von zwei Kameras und schlägt keine Verallgemeinerung für Freiformoberflächen vor, es wird nur der Fall von planaren Oberflächen berücksichtigt. Mit dem zweiten Verfahren muss die gesamte inspizierte Oberfläche mehrere Male aufgezeichnet werden, was bei einem Onlineinspektionsprozess schwer anwendbar ist.

[0036] Mit dem gleichen Zweck, gleichzeitig verschiedene fehlerhafte Oberflächen zu verbessern, wurden kürzlich automatische Inspektionssysteme vorgeschlagen. Die Firma Aceris „Ace-ris 3D, FC Substrate Bump Inspection System, Product documentation, Clark Graham 300, Baie D'Urfe, Quebec, Canada, 2005“, schlägt eine kombinierte 3D-Lasertechnik mit einem 2D-Farbansatz für die Messung von elektronischen Bauelementen vor. Auf dieselbe Weise wurden eine kombinierte 3D-Computertomographietechnik und ein 2D-Röntgenstrahlsensor in ein System integriert, durch die Firma Comet „Comet AG, Feinfocus Fox, High Resolution 2D/3D, Product documentation, Herrengasse 10, 31775 Flamatt, Schweiz, 2005“. Die Absicht ist ferner die Untersuchung bzw. Inspektion von elektronischen Bauelementen. Die Firma „Solvision, Precis 3D, Wafer Bump Inspection Solution, Product documentation, Solvision 50 De Lauzon, Suite 100, Boucherville, Quebec, Kanada, 2007“ schlägt ein Waferinspektionssystem vor, das eine strukturierte 3D-Beleuchtung kombiniert mit den 2D-Bildern der Oberflächen integriert.

[0037] Hauptnachteile solcher Verfahren sind, dass sie zwei unterschiedliche Beleuchtungstechniken kombinieren.

[0038] Mit demselben Ziel, unterschiedliche Defekttypen mit einem System zu verbessern, wurde ein alternatives Oberflächeninspektionsverfahren in dem Patent vorgeschlagen von „Yannick Caulier, Klaus Spinnler, Robert Couronne, Beleuchtungsvorrichtung für zylindrische Objekte, damit durchgeführtes Oberflächenuntersuchungsverfahren und Computerprogrammprodukt. Patent DE 10 2006 008 840.9, Fraunhofer Institut für Integrierte Schaltungen, 2006“. Es wurde demonstriert, dass unterschiedliche defekte Oberflächentypen visuell verbessert mit Hilfe einer spezifischen Beleuchtung werden können, die auf der Projektion eines Streifenmusters basiert. Die Bildmuster weisen eine üblicherweise vertikale und periodische Struktur auf, deren Störungen sich auf den Oberflächentyp beziehen, d. h. auf die defekte Oberfläche, die aufgezeichnet wird. Der Fall von 2D-Textur- und geometrischen 3D-Defekten auf spiegelnden, zylindrischen Oberflächen wurde adressiert. Die vorgeschlagene Technik kann bei Echtzeitinspektionsprozessen verwendet werden, wenn die patentierte Anmeldung in einer 24-Stunden/7-Tage-Produktionskette verwendet wird.

[0039] Eine Hauptgrenze des vorgeschlagenen Verfahrens der DE 10 2006 008 840 ist, dass sie sich auf die Inspektion von bestimmten Oberflächen-Geometrien und -Typen bezieht, d. h. zylindrische und spiegelnde Objekte. Tatsächlich wurde die Beleuchtung insbesondere für solche Objekttypen entworfen und die Streifenmuster-Interpretationsalgorithmen wurden im Grunde für die Charakterisierung von vertikalen und periodischen Streifenstrukturen entwickelt. 5/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [0040] Aufzeichenprinzipien von spiegelnden, reflektierenden Freiformoberflächen und Verfahren zum Aufzeichnen sind beschrieben in „Sören Kammei, Deflektometrische Untersuchung spiegelnd reflektierender Freiformflächen, PhD Thesis, Universität von Karlsruhe (TH), Deutschland, 2004“, wobei diese Verfahren jedoch nicht auf raue Oberflächen angewendet werden können.

[0041] Während das Patent DE 10 2006 008 840 vertikale und periodische Streifenstrukturen zur Charakterisierung einer Oberfläche beschreibt, werden weitere Typen von Merkmalen in der Texturanalysegemeinschaft „M. Tuceyran, Texture Analysis, World Scientific Publishing Co., 2. Ausgabe, 207 - 248, 1998“ vorgeschlagen. Abhängig von den ausgewählten Merkmalen und von der Art der Oberfläche können unterschiedliche Erfassungsraten erreicht werden.

[0042] Das Patent DE 10 2006 008 840 beschränkt sich auf zylindrische Objekte mit einer Beleuchtung und zugeordnete Algorithmen, die besonders für zylindrische Objekte angepasst sind. Die Verfahren, die in diesem Patent beschrieben sind, können nicht für ähnliche Systeme verwendet werden, die diese spezielle Art von Streifenbeleuchtung (um die Fehler visuell zu verbessern und zu erfassen) zum Erfassen anderer Oberflächengeometrien, z. B. planarer Oberflächen verwenden.

[0043] In der DE 10 2006 008 840 sind die projizierten Lichtstrahlen, die das Streifenmuster aufweisen, an das Objekt derart angepasst, dass ein periodisches Muster bzw. eine Struktur auf das Bild der Kamera abgebildet ist.

[0044] Verfahren zum Beschreiben von Oberflächeninformationen, die direkt durch das Streifenmuster erworben werden, sind beschrieben in dem Kontext von interferrometrischen Verfahren, die kohärentes Licht verwenden, z. B. von „Huang Zhi und Rolf B. Johansson, Interpretation and Classification of Fringe Patterns, 11th Int. Conference on Image, Speech and Signal Analysis (IAPR1 1992), August, 105 - 108, 3, 1992“ oder „Xide Li, Wavelet Transform for Detec-tion of Partial Fringe Patterns Induced by Defects in None Destructive Testing of Holographie Interferometry and Electronic Speckle Pattern Interferometry, Journal of Optical Engineering, Oktober, 2.821 - 2.827, 39, 2000“. Diese Verfahren verwenden jedoch immer einen Merkmalstyp, z. B. ein adaptives Merkmal oder ein Wavelet-Merkmal oder andere.

[0045] In diesem Kontext besteht ein Bedarf nach einem einfachen Verfahren zum Inspizieren von Freiformoberflächen im Hinblick auf eine niedrige Rechenkomplexität und eine einfache und kostengünstige Beleuchtung und ein Aufzeichenverfahren.

[0046] Ausführungsbeispiele der Erfindung liefern ein Verfahren zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion von Freiformoberflächen, die durch ein strukturiertes Licht beleuchtet werden, auf der Basis eines Referenzmustersatzes, der Oberflächenbereiche von Freiformobjekten zeigt, wobei jedes Muster des Referenzsatzes einem defekten oder nicht defekten Referenzzustand des entsprechenden Oberflächenbereichs der Freiformobjekte zugeordnet ist. Das Verfahren weist das Erzeugen einer Mehrzahl von Kombinationen von Bewertungsmerkmalen auf, wobei jede Kombination aus Bewertungsmerkmalen einen ersten Satz aus Merkmalen und einen zweiten Satz aus Merkmalen aufweist, wobei der erste Merkmalssatz aus einer ersten Gruppe aus adaptiven Merkmalen ausgewählt ist und wobei der zweite Merkmalssatz aus einer zweiten Gruppe aus Texturmerkmalen ausgewählt ist, wobei die erste Gruppe aus adaptiven Merkmalen streifenbasierte Merkmale und/oder fringe-basierte (randbasierte bzw. interferenzbasierte) Merkmale aufweist, und wobei die zweite Gruppe aus Texturmerkmalen transformationsbasierte Merkmale, strukturelle Merkmale und/oder statistische Merkmale aufweist. Das Verfahren weist ferner das Bewerten jedes Pixels oder eines Teilsatzes der Pixel der Muster des Referenzsatzes mit jeder Kombination aus Bewertungsmerkmalen zum Erhalten eines bewerteten defekten oder nicht defekten Zustands der jeweiligen Oberflächenbereiche auf. Das Verfahren weist ferner das Vergleichen des bewerteten, defekten oder nicht defekten Zustands mit dem defekten oder nicht defekten Referenzzustand auf, zum Erhalten einer Erfassungsrate für jede Kombination aus Bewertungsmerkmalen. Das Verfahren weist ferner das Bestimmen der optimierten Bewertungsmerkmalsteilsätze basierend auf den Erfassungsraten auf. 6/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [0047] Ausführungsbeispiele der Erfindung liefern ferner ein Verfahren zum Inspizieren einer Freiformoberfläche, die durch ein strukturiertes Licht beleuchtet ist. Das Verfahren weist das Beleuchten eines Bereichs der Freiformoberfläche durch das strukturierte Licht auf. Das Verfahren weist ferner das Aufzeichnen eines Bildes des beleuchteten Bereichs der Freiformoberfläche auf. Das Verfahren weist ferner das Bewerten jedes Pixels oder Teilsatzes der Pixel des Bildes des Bereichs der Freiformoberfläche mit einer Kombination aus Bewertungsmerkmalen auf, zum Erhalten eines defekten oder nicht defekten Zustands des Oberflächenbereichs, wobei die Kombination aus Bewertungsmerkmalen einen ersten Satz aus Merkmalen und einen zweiten Satz aus Merkmalen aufweist, wobei der erste Merkmalssatz aus einer ersten Gruppe aus adaptiven Merkmalen ausgewählt ist und wobei der zweite Merkmalssatz aus einer zweiten Gruppe aus Texturmerkmalen ausgewählt ist, wobei die erste Gruppe aus adaptiven Merkmalen streifenbasierte Merkmale und/oder fringebasierte Merkmale aufweist, und wobei die zweite Gruppe aus Texturmerkmalen transformationsbasierte Merkmale, strukturelle Merkmale und/oder statistische Merkmale aufweist.

[0048] Die auf streifenbasierten Merkmale weisen geometriebasierte Merkmale, intensitätsbasierte Merkmale und statistikbasierte Merkmale auf. Die fringebasierten Merkmale weisen geometriebasierte Merkmale, intensitätsbasierte Merkmale und statistikbasierte Merkmale auf.

[0049] Die transformationsbasierten Merkmale weisen auf Fourier basierende Merkmale und auf Wavelet basierende Merkmale auf.

[0050] Ausführungsbeispiele der Erfindung benötigen kein periodisches Streifenmuster, es ist ausreichend, jede Art von strukturiertem Licht zu projizieren, z. B. jede Art von Streifenmuster. Eine Auswahl von Verfahren zum Erzeugen von Streifenmustern ist nicht auf ein spezielles Verfahren oder eine spezielle Technik zum Beleuchten der Oberfläche beschränkt. Eine große Anzahl von verschiedenen Objekten mit unterschiedlichen Geometrien und Oberflächentypen kann durch das strukturierte Licht gemäß Ausführungsbeispielen der Erfindung inspiziert werden. Die Beleuchtung muss nicht auf das Objekt angepasst oder eingestellt werden, um ein periodisches Muster in dem Bild der Kamera zu empfangen. Das Bild der Kamera, die das Streifenmuster der beleuchteten Oberfläche des Objekts aufgezeichnet hat, trägt Informationen über Fehler in der Oberfläche des Objekts. Fehler können erfasst werden, wenn Variationen oder Verzerrungen des Musters, verursacht durch Fehler in der Oberfläche des Objekts, von einem Muster unterschieden werden können, das von dem Bild mit einer fehlerfreien Oberfläche aufgezeichnet wurde.

[0051] Das Beleuchtungsverfahren kann nichtkohärentes Licht verwenden. In diesem Fall können herkömmliche Streifenmustererzeugungsverfahren angewendet werden, z. B. ein Projektor zum Projizieren von Streifen auf eine matte Oberfläche oder ein Projektor zum Projizieren von Streifen auf einen Bildschirm, wobei die Streifen von einer spiegelnden Oberfläche reflektiert wurden. Ferner kann eine LCD-Anzeige zum Anzeigen von Streifen einer spiegelnden Oberfläche verwendet werden.

[0052] Ausführungsbeispiele der Erfindung sind jedoch nicht auf die Verwendung von nichtkohärentem Licht beschränkt. Sie können auch mit kohärentem Licht beleuchten zur Erzeugung von Interferenzmustern. Ausführungsbeispiele der Erfindung sind bei der Aufzeichnung des Bildes nicht auf ein spezielles Aufzeichenverfahren beschränkt, erfordern z. B. keine spezielle Aufzeichenposition des Objekts und/oder der Kamera. Ausführungsbeispiele der Erfindung bieten eine größere Auswahl an Aufzeichenverfahren, z. B. Linienabtastkameras, Matrixkameras oder Linienabtastsensoren ohne eingeschränkte Positionen im Hinblick auf das Objekt und/oder die Beleuchtung. Die einzige Einschränkung ist, dass der Sensor, das projizierte Streifenmuster auf den Sensor und die Oberfläche auf solche Weise positioniert sein müssen, dass eine Streifenstruktur in den Bildern beobachtet werden kann.

[0053] Ausführungsbeispiele der Erfindung beziehen sich auf die Inspektion eines breiten Bereichs von Oberflächentypen, d. h. matt bis spiegelnd, und verschiedene Geometrien (Freiformoberflächen), um gleichzeitig oder annähernd gleichzeitig unterschiedliche defekte Oberflächentypen zu verbessern, z. B. zweidimensionale Textur- oder dreidimensionale Tiefen-Defekte. 7/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [0054] Vorteile von Ausführungsbeispielen der Erfindung im Vergleich zu herkömmlichen Techniken sind ihre Einfachheit und ihr allgemeiner Lösungsansatz.

[0055] Nicht mehr als eine Kamera und eine Beleuchtung sind erforderlich, um die Oberflächen zu charakterisieren. Ferner sind keine komplizierten Kalibrierungsprozesse notwendig, um die Position der Kamera oder der Beleuchtung zu berechnen, wie dies der Fall ist bei herkömmlichen, dreidimensionalen Tiefenwiedergewinnungstechniken.

[0056] Ausführungsbeispiele der Erfindung erlauben das gleichzeitige Unterscheiden unterschiedlicher Typen von defekten Oberflächen mit nur einer Beleuchtung. Zweidimensionale Textur- und geometrische, dreidimensionale Defekte können erfasst werden.

[0057] Fehler können erfasst werden, wenn die defekten Oberflächen, die charakterisiert werden sollen, Streifendeformationen induzieren, die von den nicht defekten Oberflächen unterscheidbar sind.

[0058] Im Gegensatz zu der DE 10 2006 008 840, wo der Algorithmus an die Beleuchtungsund Aufzeichenposition angepasst ist, um ein spezielles Bild zu erzeugen, ist eine solche Anforderung für Ausführungsbeispiele der Erfindung nicht notwendig.

[0059] Eine LCD-Anzeige, die Streifenmuster anzeigt, könnte die spezielle, entwickelte Beleuchtung der DE 10 2006 008 840 ersetzen. Die Kamera würde das projizierte Streifenmuster auf der Anzeige aufzeichnen. Durch Verwenden der LCD-Anzeige jedoch würde das aufgezeichnete Streifenmuster eine unterschiedliche Struktur aufweisen, d. h. eine nichtperiodische Struktur. Dies würde die algorithmische Bewertung direkt beeinflussen, derart, dass die Klassifizierungsverfahren, die in der DE 10 2006 008 840 vorgeschlagen werden, nicht mehr ausreichend wären, alle Fehlertypen zu klassifizieren. Ausführungsbeispiele der Erfindung liefern eine Bewertung von Streifenmustern, sogar wenn die Muster nicht periodisch sind. Ausführungsbeispiele der Erfindung liefern eine (annähernd) gleichzeitige Erfassung und Unterscheidung von unterschiedlichen Fehlertypen. Durch eine Kombination und eine Auswahl von Merkmalen liefern Ausführungsbeispiele der Erfindung bessere Klassifizierungsergebnisse als herkömmliche Klassifizierungsalgorithmen. Der Vorteil eines solchen Ansatzes einer Kombination und Auswahl ist ein höherer Allgemeinheitsgrad, d.h. Ausführungsbeispiele der Erfindung sind besser geeignet, Aufgaben zu verallgemeinern. Abhängig von der Inspektionsaufgabe ändert sich die Art des Streifenmusters, das klassifiziert werden soll, und dadurch ändern sich die relevanten Merkmale. Durch Ausführungsbeispiele der Erfindung, die eine Kombination und Auswahl von Merkmalen verwenden, kann eine vielfältige Anzahl von Streifenmustern klassifiziert werden, was zu verbesserten Erfassungsraten führt.

[0060] Ausführungsbeispiele der Erfindung liefern eine Kombination aus unterschiedlichen Merkmalstypen, die durch zwei Klassen unterschieden werden können, eine adaptive Klasse, die für Streifenmuster optimiert ist, und eine allgemeine Klasse, die für Texturanalyseverfahren optimiert ist.

[0061] Die Oberflächentypen des (Freiform-)Objekts können vielfältig sein. Die Inspektion von matten bis spiegelnden Oberflächen wird durch Ausführungsbeispiele der Erfindung adressiert.

[0062] Ausführungsbeispiele der Erfindung liefern eine Oberflächenqualitätssteuerung mit Hilfe eines optischen Sensorelements, z. B. einer Matrix- oder einer Linienabtastkamera, und eine strukturierte Beleuchtung, die auch „Streifenbeleuchtung“ genannt wird, wird als ein periodisches Hell-und-Dunkel-Muster auf die Oberfläche projiziert, die inspiziert werden soll.

[0063] Mit Hilfe eines spezifischen, algorithmischen Verfahrens können die gezeigten, defekten Oberflächenteile automatisch charakterisiert werden. Die Charakterisierung kann unter Verwendung des Zeitbereichs ausgeführt werden, d. h. des Werts und der Aufteilung der Pixelwerte des Bildes, oder des Frequenzbereichs, d. h. der Spektralantwort des Bildes, das charakterisiert werden soll. Ausführungsbeispiele der Erfindung können auch bei automatischen, linearen Oberflächeninspektionsprozessen verwendet werden.

[0064] Bezug nehmend auf die beiliegenden Figuren 1 bis 10 werden Ausführungsbeispiele 8/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 eines Verfahrens zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion von Freiformoberflächen und Ausführungsbeispiele eines Verfahrens zum Inspizieren einer Freiformoberfläche, die durch strukturiertes Licht beleuchtet wird, beschrieben.

[0065] Fig. 1 [0066] Fig. 2 [0067] Fig. 3a [0068] Fig. 3b [0069] Fig. 4 [0070] Fig. 5a [0071] Fig. 5b [0072] Fig. 6 [0073] Fig. 7 [0074] Fig. 8 [0075] Fig. 9 [0076] Fig. 10 zeigt ein Diagramm eines herkömmlichen Musteranalyseverfahrens; zeigt ein Diagramm eines Verfahrens zum Inspizieren einer Freiformoberfläche, die durch strukturiertes Licht beleuchtet wird, gemäß einem Ausführungsbeispiel der Erfindung; zeigt ein schematisches Diagramm eines Inspektionsverfahrens von Freiformoberflächen, die durch strukturiertes Licht beleuchtet werden, gemäß einem Ausführungsbeispiel der Erfindung; zeigt zwei exemplarische Aufzeichnungen einer rauen Freiformoberfläche und einer spiegelnden Freiformoberfläche gemäß einem Ausführungsbeispiel der Erfindung; zeigt zwei Ausführungsbeispiele von Kamera-Licht-Objekt-Geometrien gemäß Ausführungsbeispielen der Erfindung; zeigt eine Aufzeichnung einer planaren Struktur mit einem 3D-Defekt an dem linken Ende und einem 2D-Defekt an dem Rechten gemäß einem Ausführungsbeispiel der Erfindung; zeigt eine Aufzeichnung einer Kunststoffröhre mit einem 3D-Defekt und einer Schriftart gemäß einem Ausführungsbeispiel der Erfindung; zeigt einen Referenzmustersatz, der drei berücksichtigte Streifenbilddatensätze Φ0, Φι und Φ2 gemäß einem Ausführungsbeispiel der Erfindung aufweist; zeigt einen Referenzmustersatz, der einen Mustersatz einer angepassten Größe und zwei Mustersätze von festen Größen gemäß einem Ausführungsbeispiel der Erfindung aufweist; zeigt einen Strukturbaum, der Merkmale aufweist, die kombiniert werden sollen, zum Anwenden einer Kombination dieser Merkmale zum Klassifizieren eines Bildes gemäß einem Ausführungsbeispiel der Erfindung; zeigt ein Diagramm eines Verfahrens zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion von Freiformoberflächen, die durch strukturiertes Licht beleuchtet werden; und zeigt ein Diagramm, das Erfassung- (Klassifizierungs-) Raten von unterschiedlichen Kombinationen von Bewertungsmerkmalen gemäß einem Ausführungsbeispiel der Erfindung zeigt.

[0077] Fig. 2 zeigt ein Diagramm eines Verfahrens zum Inspizieren einer Freiformoberfläche, die durch strukturiertes Licht gemäß einem Ausführungsbeispiel der Erfindung beleuchtet wird.

[0078] Das Verfahren 2 weist einen ersten Schritt 10 auf „Beleuchten eines Bereichs der Freiformoberfläche 20 durch das strukturierte Licht 22“, einen zweiten Schritt 12 „Aufzeichnen eines Bildes 24 des beleuchteten Bereichs der Freiformoberfläche 20“ und einen dritten Schritt 14 „Bewerten jedes Pixels oder eines Teilsatzes der Pixel des Bildes 24 des Bereichs der Freiformoberfläche 20 mit einer Kombination aus Bewertungsmerkmalen 26 zum Erhalten eines defekten oder nicht defekten Zustands 28 des Oberflächenbereichs 20, wobei die Kombination aus Bewertungsmerkmalen 26 einen ersten Merkmalssatz und einen zweiten Merkmalssatz aufweist, wobei der erste Merkmalssatz aus einer ersten Gruppe aus angepassten Merkmalen ausgewählt ist, und wobei der zweite Merkmalssatz aus einer zweiten Gruppe aus Texturmerkmalen ausgewählt ist, wobei die erste Gruppe aus angepassten Merkmalen intensitätsbasierte Merkmale, geometriebasierte Merkmale und/oder fringebasierte (oder adaptiver Fringe) Merkmale aufweist und wobei die zweite Gruppe aus Texturmerkmalen transformationsbasierte 9/60 österreichisches Patentamt AT 11 770 U1 2011-04-15

Merkmale, strukturelle Merkmale und/oder statistische Merkmale aufweist“.

[0079] Der dritte Schritt 14 weist ein Klassifizieren 30 des Bildes 24 auf, durch Zuweisen einer Klasse 32 zu dem Bild 24, wobei die Klasse 32 den defekten oder nicht defekten Zustand 28 des Oberflächenbereichs 20 anzeigt.

[0080] Das Klassifizieren 30 weist einen ersten Schritt 34 auf „Extrahieren von Informationen des Bildes 24, das durch die Kombination aus Bewertungsmerkmalen 26 beschrieben ist, in extrahierte Informationen 36“ und einen zweiten Schritt „Zuweisen 38 der Klasse 32 zu dem Bild 24 unter Verwendung der extrahierten Informationen 36“, wobei das Zuweisen 38 der Klasse 32 zu dem Bild 24 auf einer Zuordnungsregel 40 basiert, die hergeleitet ist aus einem Referenzmustersatz 42, der Oberflächenbereiche von Freiformobjekten zeigt, wobei jedes Muster des Referenzsatzes einer Referenzklasse zugeordnet ist.

[0081] Das Zuordnen 38 der Klasse 32 zu dem Bild 24 kann einen Filteralgorithmus oder einen Wrapper-Algorithmus aufweisen. Der Filteralgorithmus kann einen korrelationsbasierten Algorithmus aufweisen, der Wrapper-Algorithmus kann einen Nächster-Nachbar-Algorithmus (nea-rest neighbor) oder einen Naive-Bayes-Algorithmus aufweisen.

[0082] Das Zuweisen 38 der Klasse 32 zu dem Bild 24, basierend auf einer Zuordnungsregel 40, kann ein Lern-, Einstell-, Anpass- oder Optimierungsverfahren aufweisen.

[0083] Die Zuordnungsregel 40 kann einen stratifizierten 10-fach-Vergleichsprüfungs-algorithmus aufweisen oder kann einen Einen-Auslassen-Vergleichsprüfungsalgorithmus aufweisen.

[0084] Der Referenzmustersatz 42 kann Muster einer angepassten Größe oder Muster einer festen Größe aufweisen. Die Referenzklasse kann eine Klasse aus nicht defekten Oberflächen, eine Klasse aus defekten 2D-Oberflächen und/oder eine Klasse aus defekten 3D-Oberflächen aufweisen. Die Referenzklasse kann fernereine Klasse aus planar geformten Oberflächen, eine Klasse aus Oberflächen, die durch perspektivische Verzerrung geformt sind und/oder eine Klasse aus Oberflächen, die durch zylindrischen Verzerrung geformt sind, aufweisen. Beispiele der unterschiedlichen Referenzmuster 42 und ihrer Zuordnung zu Referenzklassen werden in den nachfolgenden Figurenbeschreibungen gegeben.

[0085] Die Freiformoberfläche 20 kann eine matte Oberfläche oder eine spiegelnde Oberfläche aufweisen, das strukturierte Licht 22 kann Streifenstrukturen aufweisen, periodische Strukturen oder vertikale Strukturen z. B. aus sichtbarem, nichtkohärentem Licht. Die Beleuchtung 10 kann eine strukturierte Beleuchtung sein, die z. B. codiertes Licht verwendet. Die Aufzeichnung 12 kann eine Linienabtastkamera oder eine Matrixkamera verwenden.

[0086] Der Block „Merkmale“ und der Block „Klassifikation“ aus Fig. 1 können dem Schritt 30 „Klassifizieren“ entsprechen, der in Fig. 2 gezeigt ist. Der Merkmalsvektor c kann den „extrahierten Informationen“ entsprechen. Das Muster F kann dem Bild 24 entsprechen und die „Merkmale“ können der Kombination aus Bewertungsmerkmalen 26 entsprechen, wie in Fig. 2 gezeigt ist. Die Klasse Ωκ kann der Klasse 32 entsprechen. Der Referenzsatz Φ aus Bildmustern kann dem Referenzmustersatz 42 entsprechen.

[0087] Die betrachteten Muster müssen nicht vertikal oder periodisch sein. Für hohe Erfassungsraten sollten die defekten Oberflächen unterschiedliche Arten von Streifendeformationen induzieren als jene, die durch die Geometrie der Oberfläche hervorgerufen werden.

[0088] Eine Streifenmustercharakterisierung kann erfüllt werden mit Hilfe von intensitätsbasierten und geometriebasierten Merkmalen, aber auch mit Hilfe von weiteren Merkmalstypen, z. B. durch eine Texturmerkmalsanalyse. Es ist nicht möglich, alle bestehenden merkmalsbasierten Bildinhaltsbeschreibungsverfahren im Fall der Freiform-Streifenmustercharakterisierung zu berücksichtigen. Einige Ausführungsbeispiele der Erfindung schränken die Charakterisierung der Freiformstreifenbilder ein durch Berücksichtigen der intensitätsbasierten und geometriebasierten Merkmale Fs, der Fourier-basierten Merkmale Ff und ihrer Kombination Fsf. Diese Merkmalssätze werden bezeichnet durch Fs, Ff und Fsf. 10/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [0089] Die primäre Bedingung zum Bewerten des Verfahrens für die Charakterisierung von Freiformoberflächen ist das Definieren einer Bilddatenbank, d. h. eines Satzes aus Referenz-Freiform-Streifenbildmustern 42. Solche regelmäßigen Muster sind nur ein Teil der Streifenstrukturen, die in dem Fall von Freiformoberflächen gezeigt werden würden. Weitere Musterstrukturen werden daher definiert. Die einfachste und beste Möglichkeit ist das Verwenden existierender Muster, die mit Hilfe einer Beleuchtung von planaren Oberflächen erhalten werden, und das Transformieren oder Anpassen derselben, so dass diese für die Charakterisierung von Freiformoberflächen verwendet werden können.

[0090] Die Klassifikation ist der letzte Schritt des Computervisionsprozesses. Nach dem Definieren der geeigneten Beleuchtung, dem Auswählen der besten Aufzeichnungsbilddarstellungshardware, dem automatischen Segmentieren der defekten Region in dem gesamten Bild F der zu inspizierenden Oberfläche und Extrahieren der relevantesten Merkmale zum Füllen des Vektors c wird die betrachtete Oberfläche in eine vordefinierte Klasse klassifiziert.

[0091] Die nachfolgenden Bezeichnungen werden verwendet. U wird als der Satz aller unterschiedlichen, messbaren physischen Signale angenommen. Da die Mustererkennung üblicherweise mit nur einem Signaltyp umgeht, kann die Aufgabe auf eingeschränktere Weise definiert werden. Somit umfasst der Satz alle möglichen Muster F, die durch einen Sensor erzeugt werden können. Es ist nun die Aufgabe eines automatischen Inspektionssystems, jedes Muster F in eine entsprechende geeignete Klasse Ωκ unter den Nk definierten Klassen zu klassifizieren.

^Ωκ=Ω mit fleUQ

Jt=1 [0092] Die Anzahl der Klassen Nk, die ein System unterscheiden kann, hängt von der Inspektionsaufgabe ab und sollte weniger sein als die Anzahl von Realisierungen von F.

[0093] Alle Komponenten des Streifenbildklassifizierungsverfahrens sind Teil eines gerichteten und hierarchischen Datenflusse, dessen primäre Informationsquelle die numerischen Bildsensordaten sind und dessen Endinformation das Klassifizierungsergebnis Ωκ ist. Die Verarbeitungskette ist in Fig. 2 gezeigt.

[0094] Fig. 3a zeigt ein schematisches Diagramm eines Inspektionsverfahrens von Freiformoberflächen, die durch ein strukturiertes Licht beleuchtet sind, und Fig. 3b zeigt zwei exemplarische Aufzeichnungen einer groben Freiform- 300 und einer spiegelnden Freiform- 302 Oberfläche. Fig. 3a beschreibt schematisch das Oberflächeninspektionsprinzip und Fig. 3b die aufgezeichneten Streifenmuster, die erzeugt werden, wenn ein Streifenmuster auf die Oberfläche projiziert wird, die untersucht werden soll.

[0095] Der Fall von matten und spiegelnden Freiform-Oberflächen wird adressiert. In Fig. 3a ist das Oberflächeninspektionsprinzip dargestellt: eine Kamera C zeichnet die Objektoberfläche S auf, die inspiziert werden soll, die durch eine Beleuchtung L beleuchtet ist. Es sind keine speziellen Anforderungen für eine relative Position einer Kamera C und Objektoberfläche S formuliert. Fig. 3b zeigt Aufzeichnungen von einer Grobfreiformoberfläche 300 und einer spiegelnden Freiformoberfläche 302, die beide durch ein strukturiertes Lichtmuster beleuchtet sind. Beide defekten 3D-Tiefen-Defekte, wie in Fig. 3b gezeigt ist, können visuell mit Hilfe der gezeigten Hell/Dunkel-Strukturen in den Bildern verbessert werden.

[0096] Das Verfahren weist eine Charakterisierung von Freiformstreifenstrukturen auf, die erzeugt werden, wenn ein Streifenmuster auf die Freiformoberfläche projiziert wird, die inspiziert werden soll. Keine Kalibrierungsprozedur der Aufzeicheneinrichtung, d. h. weder die Position der Aufzeichenkamera noch die Geometrie des geschützten Streifenmusters, müssen berechnet werden.

[0097] Diese zwei Bilder, die in Fig. 3a und 3b gezeigt sind, sind nur Beispiele für die Funktionalität des Inspektionsverfahrens. Um hohe Erfassungsraten zu erreichen, sollten die Streifen- 11/60 österreichisches Patentamt AT 11 770 U1 2011-04-15

Störungen, die durch die Objektgeometrie induziert werden, unterschiedlich zu den Streifenstörungen sein, die durch die defekte Oberfläche induziert werden, die erfasst werden soll.

[0098] Oberflächendefekte sind sehr vielfältig, da sie unterschiedliche Typen an Rauigkeit, strukturellen 2D-Defekte, unterschiedliche Strukturtypen, strukturellen 3D-Defekte oder eine Kombination aus beiden zeigen können. Die Auswahl der Beleuchtung(en) und Sensor(en) ist daher von wesentlicher Bedeutung.

[0099] Ein wichtiger Teil von nichtdestruktiven Oberflächeninspektionstechniken, die in dem sichtbaren Lichtbereich arbeiten, ist die aufgabenspezifische Beleuchtung, die die Verbesserung von defekten Oberflächen ohne eine Verstärkung von nicht defekten Oberflächenregionen erlaubt. Aus der Photographie ist bekannt, dass zumindest zwei komplementäre Beleuchtungstechniken verwendet werden, um unterschiedliche Defekttypen zu zeigen. So weit strukturelle oder textureile defekte Oberflächen verbessert werden sollen, ist eine gerichtete Beleuchtung, um die ersteren Defekte zu verbessern, oder eine diffuse Beleuchtung, um die letzteren Defekte zu zeigen, erwünscht.

[00100] Die Anwendung von strukturierten Beleuchtungstechniken dient im Allgemeinen zum Wiedergewinnen von Tiefeninformationen einer Szene, was eine dreidimensionale Rekonstruktion ergibt, d. h. zum Wiedergewinnen der Form eines beobachteten Objekts. Das üblichste Verfahren einer strukturellen Beleuchtung ist die Projektion eines bestimmten Musters aus strukturiertem Licht auf solche Weise, dass die Kenntnis des projizierten Musters kombiniert mit der beobachteten Deformation der Struktur auf der Objektoberfläche die Wiedergewinnung von genauen Tiefeninformationen der Szene erlaubt. Dieses Verfahren kann ferner verbessert werden durch Verwenden komplexerer Muster, wie z. B. von codiertem Licht, farbcodiertem Licht oder einer Moire-Projektion. Das Prinzip all dieser Verfahren ist die Kombination von dreidimensionalen Informationen, die durch eine oder mehrere kalibrierte Kameras erhalten werden, mit Informationen, die in den gezeigten Störungen des projizierten Lichtmusters enthalten sind. Im Gegensatz zu diesen Lösungen kann ein weiteres Rekonstruktionsverfahren von Formen in der Szene mit nur einem Streifenmuster und einer Kamera durch Berechnen der Oberflächennormalen angewendet werden. Die Einstellungselemente sind der strukturierte Beleuchtungsprojektor, die Aufzeichenkamera und die zu rekonstruierende Szene. Aus den kalibrierten Elementen und der beleuchteten Szene können die Oberflächennormalenvektoren berechnet werden. Dann kann die vollständige Oberflächenform rekonstruiert werden.

[00101] Im Gegensatz dazu wird eine diffuse Beleuchtungstechnik verwendet, wenn Objektoberflächen im Hinblick auf ihre Textur inspiziert werden müssen. Ziel dieser Beleuchtung ist es, unterschiedliche Oberflächentypen sichtbar zu machen, die sich durch ihre Rauigkeit und/oder ihre Farbe unterscheiden. Ersteres beeinflusst die Bildhelligkeit der gezeigten Oberflächen, wohingegen letzteres den Typ und die Intensität der Farbe beeinflusst. Die Auswahl Grau zu verwenden, z. B. für eine automatische Inspektion von Papier oder metallischen Oberflächen, oder Farbe, z. B. zur Integritätsinspektion von Nahrungsmittelartikeln oder Holzoberflächeninspektionsbildern, hängt von der Anwendungsaufgabe ab.

[00102] Bei einer industriellen Inspektion und Qualitätssicherungsarbeitsflüssen ist es die Hauptaufgabe einer Inspektionsperson, Objektoberflächen visuell als nicht defekt oder als defekt zu klassifizieren. Da solche visuellen Inspektionsaufgaben üblicherweise sehr ermüdend sind, langwierig und zeitaufwendig, werden mehr und mehr Maschinensichtsysteme für die automatische Inspektion angewendet. Die zwei Haupteinschränkungen, die durch einen industriellen Inspektionsprozess auferlegt werden, sind die hohe Qualität und der hohe Durchsatz der zu analysierenden Objekte.

[00103] Die Auswahl einer Beleuchtungstechnik wird stark durch die Inspektionsaufgabe motiviert. Eine geeignete Beleuchtung ist um so wichtiger, wenn sie das erste Element eines Maschinenvisionsarbeitsflusses darstellt. Inspektionssysteme von metallischen, industriellen Arbeitsstücken umfassen vielfältige Beleuchtungstechniken.

[00104] Es gibt zwei unterschiedliche, quantitative Ansätze zum Sichtbarmachen von sowohl 12/60 österreichisches Patentamt AT 11 770 U1 2011-04-15

Textur- als auch strukturellen Defekten auf metallischen Oberflächen. Quantitativ bedeutet in diesem Kontext, dass die defekten Oberflächen erfasst und nicht gemessen werden, wie es für qualitative Anwendungen der Fall ist.

[00105] Der erste Ansatz verwendet retroreflektive Bildschirme zum Sichtbarmachen von Ablenkungen von reflexiven Oberflächen. Diese Technik hat den Vorteil, dass sie beide Arten von defekten Oberflächen verbessert (betreffend Textur und Struktur), aber mit dem Nachteil, dass beide eine ähnliche Erscheinung in den Bildern haben, so dass sie nachfolgend nicht unterschieden werden können.

[00106] Der zweite Ansatz erfordert zumindest zwei unterschiedliche Beleuchtungstechniken. Ein Doppelsensor zum Aufzeichnen von Objektoberflächen mit einem diffusen und einem direkten Licht gleichzeitig kann zu diesem Zweck verwendet werden. Durch eine geeignete Technik können mehr als zwei Bilder desselben Objekts, die mit unterschiedlichen Beleuchtungstechniken aufgezeichnet werden, in nur ein Bild verschmolzen werden. Der Hauptnachteil dieser Ansätze ist natürlich, dass sie mehr als eine Beleuchtung erfordern. Die direkte Konsequenz ist, dass ihre Integration in den industriellen Prozess komplexer ist und dass die Datenverarbeitungskette umfassend wird.

[00107] Um die vorgeschlagene auf einer Strukturbeleuchtung basierende Inspektionsaufgabe mit einem allgemeinen Ansatz zu adressieren, werden unterschiedliche Typen von Streifengeometrien betrachtet. Solche Streifengeometrien können mit Hilfe von unterschiedlichen Oberflächenformen, strukturierten Lichtpositionen oder Sensortyp erhalten werden. Es ist nicht möglich, alle Kombinationen dieser Komponenten aufzuzählen und die entsprechenden Streifengeometrien zu berechnen. Somit, um die Verallgemeinerungswirkung von Ausführungsbeispielen dieser Erfindung basierend auf der direkten Interpretation von Streifenmustern zu zeigen, ist es bevorzugt, das Prinzip des Verfahrens unter Verwendung einer vordefinierten Anzahl von Streifendeformationen zu demonstrieren. Ferner können solche Deformationen im Fall rauen und spiegelnden Oberflächen beobachtbar sein.

[00108] Zu diesem Zweck sind zwei Beispiele von Hell/Dunkel-Geometrien in Fig. 4 gezeigt. Jede Geometrie kann erhalten werden, wenn eine raue oder spiegelnde Oberfläche inspiziert wird. Der Fall eines linearen, sich bewegenden Objekts, das mit einer Linienabtastkamera aufgezeichnet wird, wird betrachtet.

[00109] Fig. 4 zeigt zwei Ausführungsbeispiele von Kamera-Licht-Objekt-Geometrien gemäß Ausführungsbeispielen der Erfindung. Die Figur zeigt zwei unterschiedliche Beispiele von Streifendeformationen, die entstehen, wenn „a1“ und „b1“ raue oder „a2“ und „b2“ spiegelnde Freiformobjekte aufgezeichnet werden. Diese zwei Beispiele zeigen, dass abhängig von der Oberflächengeometrie ähnliche Streifendeformationen für raue oder spiegelnde Objekte beobachtet werden können. Sie stellen ferner die Inspektion einer Oberfläche S dar, die durch eine Beleuchtung L beleuchtet ist, aufgezeichnet durch eine Linienabtastkamera C während ihrer linearen Bewegung entlang v.

[00110] Der Fall von Linienabtastkameras wird in Fig. 4 adressiert, dies schränkt jedoch die Anwendung des Oberflächeninspektionsprinzips gemäß Ausführungsbeispielen der Erfindung nicht ein, da dieselben Muster erhalten werden können, wenn Matrixkameras verwendet werden.

[00111] Auf der Basis dieser zwei Beispiele, die in Fig. 4 gezeigt sind, kann demonstriert werden, dass es möglich ist, dieselben Streifenmuster für spiegelnde und raue Oberflächen zu erhalten. Somit können dieselben Referenzstreifenmuster für die Charakterisierung solcher Oberflächenarten verwendet werden.

[00112] Weitere Ausführungsbeispiele der Erfindung weisen ein automatisches Verarbeiten der Streifenbilder auf, um ihre Inhalte zu charakterisieren. Der Zweck einer solchen automatischen Prozedur ist das automatische Klassifizieren des Bildes für die Qualitätssteuerung der Objekte, die inspiziert werden sollen.

[00113] Die geeignete Aufzeichentechnik eines Inspektionssystems wird durch die Anforderun- 13/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 gen der Inspektionsaufgabe auferlegt. Somit hängt die Anzahl und der Typ von notwendigen Sensoren von der zu inspizierenden Szene (unbeweglich oder mobil mit variierender Geschwindigkeit), der Geometrie des aufgezeichneten Objekts (planare oder Freiformoberflächen) oder der Aufgabe ab (Oberflächeninspektion oder Tiefenwiedergewinnung).

[00114] Linienabtast- und Matrixkameras sind die am meisten verwendeten Sensorgeometrien bei Maschinenvisionssystemen, die in dem sichtbaren Lichtbereich arbeiten. Wenn erstere eine Bewegung der Kamera und/oder der Szene erfordern, wie z. B. bei der Webinspektion oder bei der luftübertragenen Photogrammetrie, werden die letzteren im Allgemeinen für statische Szenenaufzeichnung verwendet und bleiben die am meisten beschriebene Kameratechnik in der Literatur.

[00115] Linienabtastsensoren sind angemessen, wenn lange Objekte mit einer konstanten Geschwindigkeit aufgezeichnet werden. Im Gegensatz zu Matrixkameras haben Linienabtastkameras einen eindimensionalen Sensor, so dass Objekte stückweise aufgezeichnet werden. Dieses Aufzeichenprinzip impliziert eine relative Bewegung von Sensor und Objekt. Um zusätzliche Aufzeichenverzerrungen zu vermeiden, ist es bevorzugt, eine konstante, relative Geschwindigkeit zu haben, z. B. durch Koppeln des externen Auslösers der Kamera mit der Geschwindigkeit der Objekte. In dem extremen Fall, z. B. bei der luftübertragenen Abbildung, wenn die Aufzeichenkamera einem Zufallsweg folgt, kann die relative Position des Sensors mit den Daten eines globalen Positionierungssystems rektifiziert werden.

[00116] Da die Tiefenwiedergewinnung unter Verwendung einer Kamera ausgeführt werden kann, die mit einer spezifischen Beleuchtung gekoppelt ist, ist es eine andere Alternative, zwei oder mehr Kameras zu verwenden, die dieselbe Szene aufzeichnen. Diese Stereo- oder Mehr-fach-Vision-Technik kann sowohl an Matrix- als auch Linien-Abtast-Sensoren angewendet werden. Zusätzlich dazu ist es eine weitere Möglichkeit für eine 3D-Szenenrekonstruktion, Bilder aus einer sich bewegenden Kamera zu verwenden, das so genannte „Struktur-aus-Bewegung“-Prinzip. Einige spezifische Kameras bieten die Möglichkeit, die Höhe und Form einer Oberfläche aus einem einzelnen „intelligenten“ Sensor zu berechnen. Dieser Matrixsensor tastet die Oberfläche unter Verwendung der Deformationen einer projizierten Laserlinie ab. Für jede Abtastung wird die Form der projizierten Laserlinie in den Sensor für eine Tiefeninformationswiedergewinnung verwendet.

[00117] Sobald die Auswahl einer geeigneten Beleuchtung und Aufzeichengeometrie getroffen wurde, kann das Aufzeichnen der Szene, die inspiziert werden soll, gestartet werden. Um seine Umgebung zu erfassen, extrahiert das Computervisionssystem diese Szeneninformationen, die durch die spezifischen Sensoren erworben werden, und verarbeitet sie. Die Repräsentation des Objekts, das inspiziert werden soll, ist durch eines oder eine Sequenz aus Bildern gezeigt. Ein Bild gibt planare Informationen über ein Objekt, so dass es durch eine zweidimensionale Funktion dargestellt werden kann (in dem Fall eines Monochrom-Sensors), deren Definitionsbereich sich auf die Größe der gezeigten Szene bezieht und deren Werte proportional zu der Energie des Lichts sind, das durch das Objekt reflektiert wird und durch den Sensor empfangen wird.

[00118] Die Schwierigkeit ist, die erworbenen Informationen zu verarbeiten, die in dem Bild enthalten sind, und diese relevanten Daten in eine maschinenverständliche Beschreibung umzuwandeln. Diese Operation einer Bildbehandlung für eine Informationsextraktion ist Teil der Bildverarbeitung. Unterschiedliche Bildverarbeitungsteile können als Schwellenwertoperation und Segmentierung (oder statistische) Mustererkennung unterschieden werden.

[00119] Die Schwellenwertoperation und Segmentierung macht wichtige Informationen sichtbar und reduziert gleichzeitig Rauschen durch Filtern oder andere Signalverarbeitungsverfahren. Diese Techniken befassen sich ferner mit der Berechnung von verbesserten Bildern für eine bessere Verarbeitung. Dies umfasst Farbkorrektur (z.B. Helligkeits- oder Kontrasteinstellungen), Umwandlung in unterschiedliche Farbräume oder die Ausrichtung oder Kombination eines Mosaiks aus Teilbildern. Die Mustererkennung befasst sich mit der Identifikation von wesentlichen Formen, Regionen oder Punkten aus dem Bild. Zu diesem Zweck können lokale Erfassungsoperatoren, Bildsegmentierungsverfahren, morphologische Operationen oder geometri- 14/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 sehe Transformationen wie Vergrößerung, Verkleinerung oder Drehung angewendet werden.

[00120] Die zwei Hauptbildverarbeitungsthemen sind die Bildsegmentierung und die Merkmalsextraktion.

[00121] Der Segmentierungsschritt besteht üblicherweise aus dem Partitionieren eines Bildes in mehrere Regionen, so dass sie nachfolgend durch aufeinanderfolgende Operatoren verarbeitet werden können. In dem Fall einer Oberflächeninspektion werden Segmentierungsalgorithmen verwendet, um eine Region, die eine defekte Oberfläche zeigt, von dem Rest des Bildes zu trennen. Diese Operation erfordert, dass die Regionen unterschiedliche Charakteristika zu dem umliegenden Hintergrund zeigen. Solche Charakteristika können aus den Grau- oder Farbwerten des Bildes wiedergewonnen werden. Es existieren unterschiedliche Segmentierungsansätze. Konturbasierte Ansätze bestehen aus dem Bestimmen der Übergänge zwischen Bildregionen und auf Region basierende Ansätze gruppieren Bildpunkte mit ähnlichen Charakteristika zusammen.

[00122] Eine Möglichkeit der Konturwiedergewinnung besteht aus dem Abtasten des Bildes mit einem Fenster, das eine Region von Interesse definiert. Ein Kantenerfassungsoperator wird für jede Fensterposition angewendet, um wesentliche Übergänge in dem Bild zu erfassen. Das Erfassungskriterium ist am häufigsten das Maximum der ersten Ableitung oder der Nulldurchgang der zweiten Ableitung. Kantendetektoren und Eckendetektoren können angewendet werden. Diese Detektoren führen nicht zu einer perfekten Segmentierung des Bildes, und somit können weitere Operationen notwendig sein, wie z. B. Konturschließung und Konturverdünnung. Ersteres kann ausgeführt werden durch Analysieren der lokalen Dichte der Kanten, durch Vergleichen der Textur auf jeder Seite dieser Kanten oder durch Verwenden morphologischer Operatoren. Ein morphologischer Ansatz auch zur Konturverdünnung angewendet werden, z. B. mit Skelettierungsfiltern.

[00123] Auch ein konnektivitätsbewahrender Ansatz kann angewendet werden, der sich z. B. auf aktive Konturmodelle (die auch Snakes genannt werden) bezieht. Diese Algorithmen beginnen mit einer anfänglichen Grenzform, die in der Form von Keil- bzw. Splinekurven dargestellt ist, zum iterativen Modifizieren derselben durch Anwenden verschiedener Schrumpfungs-/Erweiterungsoperationen gemäß einer Energiefunktion.

[00124] Während die konturbasierten Ansätze auf starken Intensitätsunterschieden zwischen benachbarten Pixeln basieren, verwenden regionsbasierte Verfahren die Ähnlichkeiten von Graupegeln.

[00125] Schwellenbasierte Verfahren sind eine weitere, regionsbasierte Segmentierungstechnik. Sie berücksichtigen, dass ein monochromes Bild aus unterschiedlichen Regionen bestehen kann. Es wird angenommen, dass jede Region unterschiedlichen Graupegelbereichen entspricht, die mit einem oder mehreren Schwellenwerten identifiziert sind. Die herausfordernde Aufgabe besteht in der automatischen Bestimmung dieser Pixelschwellenwerte, um Objektregionen von Hintergrundregionen zu trennen, unter Verwendung lokaler oder globaler Graupegelverteilungen. Statistische Ansätze können angewendet werden, die auf der Minimierung einer Kriteriumsfunktion basieren. Lösungen zur Verwendung von Schwellenwertbestimmungstechniken an Farbbildern bestehen ebenfalls.

[00126] Weitere, regionsbasierte Verfahren sind das Zusammenführen von ähnlichen Pixeln (oder Regionswachstum), das Spalten von unterschiedlichen Regionen und die Berechnung von Spalten und Zusammenführen. Das Prinzip aller drei Verfahren ist das Aufbauen (Zusammenführen) und/oder das Teilen (Spalten) von Bildregionen unter Verwendung eines Homogenitätskriteriums. Die Algorithmen stoppen, wenn für jede zusammengeführte Region, kein Pixel in der Nachbarschaft, oder für jede gespaltene Region, keine Bildregion, das Kriterium respektiert. Ein einfaches Entscheidungskriterium basiert z. B. auf dem Analysieren von lokalen Histogrammfunktionen.

[00127] Anstatt die segmentierten Regionen direkt in gegebene Klassen zu klassifizieren, kann ein Zwischenmerkmalsextraktionsschritt („Merkmale“, wie in Fig. 1 gezeigt ist) verwendet wer- 15/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 den, der für zwei Zwecke dient. Der erste Zweck ist die Datenreduktion. Tatsächlich würde das Verarbeiten großer oder zahlreicher Bildregionen eine große Menge an Speicher und Rechenleistung für den Klassifikationsalgorithmus erfordern. Der zweite Zweck ist die Erhöhung von Unterscheidungsinformationen. Die gezeigten Informationen in den segmentierten Regionen in der Form von Graupegelbildern sind nicht notwendigerweise optimal für den Klassifikator. Sie werden in strukturierte Informationen umgewandelt, so dass alle Elemente derselben Klasse ähnliche Eigenschaften teilen und alle Elemente unterschiedlicher Klassen unterschiedliche Eigenschaften haben. Dieser Schritt, basierend auf der Analyse von Bildcharakteristika, wird der Merkmalsextraktionsprozess genannt. Unterschiedliche Techniken zum Extrahieren unterschiedlicher Merkmalstypen aus einem Bild können unterschieden werden. Welche Merkmale relevant sind und wie diese Merkmale berechnet werden, hängt häufig von der Spezifität der Inspektionsaufgabe ab.

[00128] Merkmalsextraktionsverfahren bestehen in intensitätsbasierten und/oder geometriebasierten Ansätzen. Geometrische Merkmale können z. B. für Robotervisionssysteme, audiovisuelle Spracherkennung oder Dokumentenverarbeitung verwendet werden. Andere Anwendungen können eine Kombination aus geometriebasierten und intensitätsbasierten Merkmalen verwenden, z. B. zur Videoüberwachung, medizinische Bildanalyse oder Gesichtserkennung.

[00129] Vier unterschiedliche Merkmalskategorien zum Beschreiben von Bildregionen können unterschieden werden. Diese Merkmalskategorien basieren darauf, ob nur die räumliche, die Graupegel- oder die kombinierte räumliche und Graupegelverteilung bewertet werden. Morphometrische Merkmale beschreiben die Größe und die Form der zu charakterisierenden Regionen, densitometrische Merkmale werden aus den Graupegelintensitäten dieser Regionen berechnet. Zwei andere Merkmalstypen können berücksichtigt werden: einer beschreibt den Texturaspekt der Bildregionen und einer charakterisiert die Beziehung zwischen den unterschiedlichen, ausgewählten Bildregionen.

[00130] Während Texturcharakteristika einen kohäsiven Merkmalssatz bilden können, deckt das Texturanalysefeld die Verarbeitung eines bestimmten Bildtyps ab. Somit können die Informationen, die in solchen texturalen bzw. Textur-Bildern enthalten sind, viel komplexer und diversifizierter sein als die gezeigten Informationen in Nichttexturbildern.

[00131] Somit ist eine Texturanalyse ein allgemeinerer Ansatz einer Merkmalsextraktion. Die räumliche Verteilung von Graupegeln kann verwendet werden, um die Merkmale wiederzugewinnen, und um so sowohl Intensitäts- als auch Formcharakteristika zu integrieren. Das Bild kann auch aus dem Skalenraum in eine andere Basis transformiert werden, wie z. B. den Fourier- oder den Wavelet-Bereich. Ersterer bezieht sich auf die Geometrie des Merkmals, wohingegen letzterer auch die Skalencharakteristik integriert.

[00132] Texturmerkmale sind häufig in unterschiedliche, spezifische Sätze unterteilt, gemäß den beteiligten Merkmalsberechnungsverfahren. Statistische, geometrische, spektrale und modellbasierte Texturmerkmale können berücksichtigt werden. Texturmerkmale können auch in einen strukturellen Ansatz, einen statistischen Ansatz, einen modellbasierten und einen Transformations-Ansatz unterteilt sein. Ein Vorteil von allgemeinen Texturmerkmalen ist, dass sie auf unterschiedliche Bildtypen und Inhalte anwendbar sind.

[00133] Jedes Paar aus texturierten Bildern kann unterschieden werden unter Verwendung eines charakteristischen Merkmals, das sich auf die räumliche Verteilung (geometriebasiert) oder die Graupegelverteilung (intensitätsbasiert) des Objekts und/oder des Hintergrunds bezieht.

[00134] Der Durchschnitt und die Varianz sind die zwei ersten Momente der Graupegelverteilung in einer ausgewählten Region oder Kontur. Der Kontrast ist proportional zu der Differenz zwischen der Intensität der ausgewählten Region oder Kontur und der Hintergrundintensität. Diese drei Maße sind wichtige, intensitätsbasierte Merkmale für die Differenzierung von Bildpaaren. Die Orientierung gibt die Hauptrichtung der Bildstruktur an, die Skala ist ein Maß der Größe der gezeigten Objekte, wohingegen die Form z. B. die „Kreisförmigkeit“ der gezeigten 16/60 österreichisches Patentamt AT 11 770 U1 2011-04-15

Objekte quantifizieren kann.

[00135] Alle diese sechs Merkmale sind natürlich nicht spezifisch für diesen Bildtyp. Zahlreiche Anwendungen verwenden ähnliche Merkmale, wobei manchmal die Kombination von geometriebasierten und intensitätsbasierten Charakteristika vorgeschlagen wird.

[00136] Auch die Durchschnitts- und die Varianzmerkmale für den Vergleich von Bildern können verwendet werden. Zum Beispiel kann ein Satz aus Intensitäts- und Geometriemerkmalen verwendet werden, um das Bild zu beschreiben. Das Kontrastmerkmal kann z. B. verwendet werden, um die Bildartefakte zu reduzieren, z. B. bei digitalem Fernsehen. Konturen von verbundenen Komponenten können z. B. verwendet werden, um die Orientierungszeichen in dem Bild zu berechnen. Ein Verfahren basierend auf der Fourier-Transformation der Bilder kann verwendet werden, um die relative Position, die Orientierung und die Skala eines Musters zu berechnen. Ein auf einem Wavelet basierendes Verfahren kann z. B. zum Bestimmen eines strukturellen Grundelements in einem Bild mit einer regelmäßigen Textur verwendet werden.

[00137] Die extrahierten Merkmale können für den Klassifizierungsprozess verwendet werden. Der Merkmalsvektor c, wie er in Fig. 1 gezeigt ist, enthält alle extrahierten Charakteristika des Musters F.

[00138] Fig. 5a zeigt die Aufzeichnung einer planaren Struktur 500, 502 mit einem 3D-Effekt 510 an dem linken Ende und einem 2D-Defekt 512 an dem Rechten. Es ist klar erkennbar, dass beide defekten Oberflächenteile visuell verbessert und unterschieden werden können.

[00139] Fig. 5a zeigt die Bilder einer Szene, beleuchtet unter Verwendung des diffusen Umgebungslichts 500 (oberer Teil der Figur) und eines strukturierten Lichtmusters 502 (unterer Teil der Figur). Diese Szene besteht aus einem 3D-Defekt 510 und einem 2D-Defekt 112, die beide auf matten Oberflächen positioniert sind.

[00140] Fig. 5b zeigt die Aufzeichnung einer Kunststoffröhre 504 mit einem 3D-Defekt, einer Schriftart und der Hintergrundregion. Alle diese drei Oberflächen können mit Hilfe der Projektion der Streifenstruktur unterschieden werden.

[00141] Es kann ohne weiteres beobachtet werden, wie unterschiedliche defekte Oberflächen, 3D 510 und 2D 512 in dem Fall von Fig. 5a, unter Verwendung eines projizierten Lichtmusters verbessert werden können. Dieses Oberflächenverbesserungsprinzip kann an jeden Oberflächentyp (z. B. reflektierend oder matt) und an jede Oberflächenform (z. B. planar oder zylindrisch) angepasst werden. Fig. 5b zeigt die Oberflächenverbesserung einer spiegelnden Kunststoffröhre 504 mit einem Streifenmuster.

[00142] Sowohl in dem Fall von spiegelnd 504 als auch matt 500, 502 gelten die folgenden Prinzipien: die Deformation der Oberflächenform, Charakteristik von 3D-Defekten, induziert eine geometrische Deformation der entsprechenden Streifenstruktur. Eine Änderung der Oberflächenrauigkeit, synonym für 2D-Defekte, provoziert eine Änderung der Intensität des beobachteten Streifenmusters. Eine Oberfläche kann daher durch ihre Richtung charakterisiert sein, gegeben durch ihre Oberflächennormale und ihr Reflexionsvermögen, ausgedrückt durch den Reflexionsvermögenskoeffizienten p. Da p das Verhältnis des reflektierten zu dem einfallenden Lichtfluss ausdrückt, sind seine Werte zwischen 0 und 1. Die Richtung und die Intensität des reflektierten Lichtflusses sind daher direkt mit der Geometrie und dem Reflexionsvermögen der beleuchteten Oberfläche verknüpft.

[00143] Nichts desto trotz, um das projizierte Lichtmuster zu beobachten, besteht ein fundamentaler Unterschied der Aufzeichentechnik zwischen diesen zwei Oberflächentypen. Im Hinblick auf matte Objekte beobachten die Kameras das Lichtmuster auf der Oberfläche, die inspiziert werden soll. Für spiegelnde Oberflächen jedoch zeichnet die Kamera die Lichtstruktur auf, die durch die inspizierte Oberfläche reflektiert wird. Somit fokussiert die Kamera auf die Oberfläche, die inspiziert werden soll, wenn diese matt ist, und fokussiert auf den Lichtschirm, wenn die Oberfläche hochreflektierend ist.

[00144] Für beide Oberflächentypen werden die Positionen der Kamera C und des Belichtungs- 17/60 österreichisches Patentamt AT11 770U1 2011-04-15 schirms L, aber auch die Größe des Schirms und die Öffnung der Kamera so ausgewählt, dass die Störungen, die durch defekte Oberflächenelemente induziert werden, in dem Aufzeichensensor gezeigt sind.

[00145] Die Erfassung von 3D-Defekten basiert auf den Variationen der Oberflächennormalen, so weit hochreflektierende Oberflächen betroffen sind. Abhängig von den Positionen der Aufzeichenkamera und des Beleuchtungsbildschirms können sehr niedrige Abweichungen der Oberflächennormalen erfasst werden. Im Hinblick auf matte Oberflächen basiert die Erfassung von defekten 3D-Oberflächenteilen basierend auf der Projektion eines Streifenmusters auf den Positionen der Oberfläche in dem Szenenkoordinatensystem.

[00146] Defekte 2D-Teile sind synonym für eine Änderung des Reflexionskoeffizienten p. Somit können diese Defekte sowohl für spiegelnde als auch matte Oberflächen visuell verbessert werden, da die Variationen der Graupegel in dem Bild direkt verknüpft sind mit den Variationen des reflektierten Lichtflusses auf der Oberfläche.

[00147] Im Hinblick auf die Inspektion von spiegelnden und matten Objekten, die auf der Projektion eines Streifenmusters basiert, sollten die zwei folgenden Bedingungen erfüllt sein: ein periodisches Lichtmuster wird auf das Bild projiziert und jede defekte Oberfläche induziert eine sichtbare Störung des gezeigten Streifenmusters.

[00148] Somit weist die Inspektion einer Oberfläche Sinspekt für spiegelnde und matte Objekte die Erfassung von defekten Oberflächen S3D und S2d auf, deren Größe größer ist als eine minimale Größe S3D:min Und S2D,min· [00149] Die Untersuchung der geeignetsten Merkmale, die die Streifenbildteile beschreiben, ist ein wesentlicher und wichtiger Schritt. Somit, um unterschiedliche Klassifikationsansätze zu vergleichen, werden dieselben Referenzbildmuster verwendet.

[00150] Wenn die Beleuchtungstechnik so optimiert wurde, dass die Oberflächen mit einem einfachen Streifenmuster in den Bildern gezeigt sind, können Artefakte, die aus nichtkonstanten Aufzeichenbedingungen entstehen (Beleuchtungsvariationen, Objektpositionierungstoleranzen etc.), unvermeidbar sein. Somit, um repräsentativ zu sein, umfassen die betrachteten Referenzstreifenbilddatenbanken Bilder von defekten 3D- und 2D-Oberflächen, Bilder von akzeptablen Oberflächen und Bilder mit Aufzeichenartefakten (im Fall der spiegelnden Oberflächen).

[00151] Alle visuell verbesserten Oberflächen, die in Fig. 5a und 5b gezeigt sind, können automatisch mit Hilfe der Verfahren gemäß Ausführungsbeispielen der Erfindung charakterisiert werden.

[00152] Der Inspektionsprozess von Freiformoberflächen weist die automatische Erfassung und Klassifikation von defekten Oberflächen von Freiformobjekten auf.

[00153] Für Freiformobjekte können z. B. zwei Typen von Defekten unterschieden werden. Die erste Art von Defekten sind synonym für eine Änderung der Form oder der Geometrie der Objekte, solche Oberflächenteile werden 3D-Defekt genannt. Der zweite Typ von Defekten wird 2D-Defekte genannt, da sie charakterisiert sind durch eine unterschiedliche Textur oder Farbe der metallischen Oberfläche. Fig. 5a zeigt eine Aufzeichnung einer planaren Struktur, wo diese zwei Arten von defekten Oberflächen dargestellt sind. Die Herausforderung der automatischen Erfassung und Unterscheidung von solchen defekten 2D- und 3D-Oberflächen, die in Fig. 5a gezeigt sind, ist das Definieren einer Maschinenvisionstechnik, die die industriellen Inspektionsanforderungen erfüllt. Somit kann eine angepasste Hardware- und Softwarelösung für diese spezifische Inspektionsaufgabe definiert und entwickelt werden.

[00154] Eine strukturierte Beleuchtung kann für die visuelle Verbesserung und Unterscheidung von unterschiedlichen Teilen der zu inspizierenden Oberfläche verwendet werden. Wenn die gemeinsamen Ansätze eine strukturierte Beleuchtung verwenden, um dreidimensionale Defekte zu zeigen, in Kombination mit einer geglätteten Beleuchtung, um zweidimensionale, defekte Oberflächen zu verbessern, erfüllen Ausführungsbeispiele der Erfindung beide Aufgaben mit nur einer Beleuchtungstechnik. Eine notwendige Bedingung ist, dass die defekten Oberflächen, 18/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 die unterschieden werden sollen, charakteristische Deformationen auf solche Weise induzieren, dass diese Oberflächen automatisch mit dem Bildverarbeitungsverfahren klassifiziert werden können. Somit kann ein Voreinstellprozess der Aufzeicheneinrichtung notwendig sein. Eine Kenntnis der dreidimensionalen Position der Aufzeichenelemente ist jedoch nicht notwendig.

[00155] Der Erfolg einer solchen Inspektionsmethode gemäß Ausführungsbeispielen der Erfindung, die die Streifendeformationen verwendet, um defekte von nicht defekten Oberflächen zu unterscheiden, kann hauptsächlich von der Geometrie des gezeigten Streifenmusters in dem Bild abhängen. Die Robustheit des Verfahrens hängt von der Unterscheidbarkeit des projizierten Lichtmusters ab, so weit sich ein solches Muster auf eine nicht defekte oder auf eine defekte Oberflächen bezieht. Diese Verzerrungen des Musters sollten hauptsächlich synonym für ein defektes Teil sein. Weitere Verzerrungen, die durch die Geometrie der inspizierten Oberfläche oder die Position des Aufzeichensensors verursacht werden, sollten so weit wie möglich vermieden werden.

[00156] Somit sind Ausführungsbeispiele der Erfindung, die auf der Interpretation der Streifenstörungen basieren, kaum abhängig von der Geometrie und der Anordnung der Aufzeicheneinrichtungselemente (inspizierte Oberfläche, Beleuchtung und Aufzeichensensoren). Tatsächlich haben alle diese Elemente einen direkten Einfluss auf die gezeigten Streifenmustergeometrie. Die zu inspizierende Oberfläche und die Beleuchtung können so positioniert sein, dass ein Basislichtmuster in den Aufzeichensensoren gezeigt ist. Das Bildstreifenmuster, das betrachtet wird, kann aus einer periodischen und vertikalen Struktur bestehen. Dieses projizierte Lichtmuster dient für die Interpretation der zu inspizierenden Oberflächen. Die zwei oben beschriebenen Typen von defekten Objektteilen: 2D- und 3D-Oberflächen werden betrachtet.

[00157] Die ersteren sind synonym für eine strukturelle Änderung der Oberfläche, wohingegen die zweiten einer unterschiedlichen Textur oder Rauigkeit der Oberfläche entsprechen. Im Hinblick auf die unterschiedlichen Oberflächentypen, die unter Verwendung des Verfahrens gemäß Ausführungsbeispielen der Erfindung inspiziert werden können, werden hochreflektierende und matte Oberflächen betrachtet. In dem Fall von spiegelnden Oberflächen ist der Winkel des durch die Oberfläche reflektierten Lichtstrahls gleich dem Winkel des Einfallslichtstrahls im Hinblick auf die Oberflächennormale. In dem matten Fall kann jede elementare Oberfläche an einen Lambertschen Strahler assimiliert werden, d. h. dass der eingehende Lichtstrahl sphärisch und gleichmäßig reflektiert wird.

[00158] Fig. 6 zeigt einen Referenzmustersatz, der die drei betrachteten Streifenbilddatensätze aufweist. Φ0 ist der Referenzsatz, wo die Streifenstrukturen periodisch und vertikal sind, Φι ist der Satz, der den gekrümmten Mustern des Satzes Φ0 mit einer perspektivischen Verzerrung von Typ -1- entspricht, und Φ2 ist der Satz, der den gekrümmten Mustern des Satzes Φ0 mit einer zylindrischen Verzerrung des Typs -2- entspricht. Alle Muster wurden manuell in drei Klassen ΦΑ, Φ^ο, Φι^ϋ klassifiziert, die nicht defekten Oberflächen und defekten Oberflächen mit 3D- und 2D-Defekten entsprechen. Die Referenzbilder für die drei betrachteten Sätze Φο, Φι und Φ2 dienen als Referenzmuster für die Klassifikation von Freiformoberflächen. Die Bilder des Satzes Φ0 sind Bilder, die durch ein herkömmliches Beleuchtungsverfahren für planare Oberflächen aufgezeichnet wurden, wohingegen die Bilder von Φ! und Φ2 künstlich gekrümmt waren, um die erforderlichen Verzerrungen zu simulieren. Φ0 entspricht Mustern ohne Verzerrung in Bezug auf die Form des Objekts. Φι entspricht Mustern mit einer Verzerrung des Typs -1-, Φ2 entspricht Mustern mit einer Verzerrung des Typs -2-, Alle Muster haben eine Größe von 64 x 64 Pixeln und wurden in drei Klassen ΦΑ, Φ^ und Φκ,20 klassifiziert. Alle Sätze bestehen aus 252 Bildern.

[00159] Alle 252 Muster der drei Bildsätze Φ0, Φι und Φ2 sind unter Verwendung der drei Merkmalssätze Fs, Ff und Fsf charakterisiert. Um die Charakterisierungsmöglichkeiten zu bewerten, die durch jeden der Merkmalssätze angeboten werden, sind die Klassifizierungsergebnisse (Erfassungsraten in Prozent) dieser drei Bildsätze in der nachfolgenden Tabelle aufgelistet: 19/60 AT 11 770 U1 2011-04-15 österreichisches

Patentamt

Verzerrungstyp / Merkmalssatz □o keine Verzerrung □ 1 perspektivisch □2 zylindrisch Fä 90,4 78,1 88,4 Fh 89,2 85,7 87,7 FSh 93,6 86,5 88,4 [00160] Die Ergebnisse zeigen zuerst, dass im Allgemeinen hohe Klassifikationsraten sogar erhalten werden können, wenn die Bilder verzerrt sind. Dies demonstriert, dass der vorgeschlagene Merkmalssatz für die Charakterisierung von Freiformoberflächen durch die Verfahren gemäß Ausführungsbeispielen der Erfindung verwendet werden kann.

[00161] Aus der obigen Tabelle, die die Erfassungsraten zeigt, ist ersichtlich, dass die Kombination von unterschiedlichen Merkmalstypen, hier im Fall von Merkmalssatz Fsf, wo intensitätsbasierte und geometriebasierte Merkmale mit auf Fourier basierenden Merkmalen kombiniert sind, zu verbesserten Erfassungsraten führen.

[00162] Ausführungsbeispiele der Erfindung verwenden verschiedene auf Merkmalen basierende Techniken, um die Freiformstreifenstrukturen zu charakterisieren, wie z. B. die Texturanalyseverfahren, auf Intensität und Geometrie basierende Verfahren und andere Verfahren können miteinander kombiniert werden oder mit weiteren unterschiedlichen auf Merkmalen basierenden Ansätzen, um die Erfassungsraten zu verbessern.

[00163] Die Elemente des Referenzstreifenbilddatensatzes, wie in Fig. 6 gezeigt ist, wurden durch die industrielle Anwendung gewonnen, die die strukturierte Beleuchtung umfasst, wie in Fig. 3a gezeigt ist. Zum Trainieren und Bewerten eines Klassifikationsalgorithmus ist ein repräsentativer Satz aus kommentierten Referenzbildern notwendig. Der Referenzbilddatensatz wird für die Bewertung der unterschiedlichen Algorithmen verwendet und beschreibt die Defekte, die durch ein automatisches Inspektionssystem aufgezeichnet werden. Die Bilder können für die Qualifikation des Systems verwendet werden und wurden durch eine Inspektionsperson in nicht defekte und defekte Oberflächenklassen und Unterklassen kommentiert.

[00164] Der Referenzdatensatz Φ, wie in Fig. 6 gezeigt ist, besteht aus NF = 252 Mustern. Jedes zeigt nur einen Defekttyp, der zu einer der Nk vordefinierten Klassen Ωκ G □ Ω gehört. Diese Muster werden in drei unterschiedliche Klassen klassifiziert {ΩΑ, QRi3D, DR2d} G □ Ω. Muster, die nicht defekte Oberflächen zeigen, sind in die Unterklasse A gruppiert. Diese Muster zeigen die Objektoberflächen, die mit idealen und nicht idealen Aufzeichnenbedingungen aufgezeichnet wurden, aber auch alle nicht kritischen 3D-Defekte. Muster, die defekte Oberflächen zeigen, bestehen aus den zwei unterschiedlichen Unterklassen QR3D, QR2d- Diese Klassen entsprechen den defekten Oberflächen mit 3D- und 2D-Defekten.

[00165] Fig. 6 zeigt die unterschiedlichen Klassen, die die Streifenmuster beschreiben, und gibt auch Beispiele für typische Streifenbilder, die klassifiziert werden sollen. Jede Klasse stellt einen Typ einer aufgezeichneten Oberfläche dar. Die achtzehn Bilder aus Fig. 6 sind in drei unterschiedliche Klassen gruppiert {ΩΑ, QRi3D, Qr2d}· Die nicht kritischen Objektteile sind von Klasse ΩΑ, die Defekte kritischer Tiefe sind von der Klasse QRi3D und die kritischen Oberflächendefekte sind von der Klasse DR2d- [00166] Ein typisches Streifenmuster „ohne Störungen“, das eine Oberfläche darstellt, die unter idealen Aufzeichnenbedingungen beleuchtet ist, ist in Fig. 6 gezeigt (erste Spalte). Eine inkorrekte oder eine nicht perfekte Aufzeichnung (z. B. schlecht positioniertes oder nicht ausgerichtetes Objekt im Hinblick auf den Bildsensor) verursacht eine „symmetrische Abweichung“ der Streifen (gezeigt in Fig. 7). Eine externe Körnigkeit, komprimiert auf der Objektoberfläche während ihrer Herstellung, führt zu kreisförmigen Streifenstörungen. Abhängig von der Größe der Körnigkeit können die Störungen „kreisförmige kleine Größe“, „kreisförmige mittlere Größe“ oder „kreisförmige große Größe“ auftreten, siehe Fig. 6 (zweite Spalte), (dritte Spalte), (vierte Spalte). Ein „niedriger Kontrast“ des Streifens, siehe Fig. 6 (fünfte Spalte), ist meistens aufgrund von Markierungen. Tiefere Abrasionen jedoch induzieren ein lokales „Schwinden“ des Streifens, siehe Fig. 6 (sechste Spalte). 20/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [00167] Im Fall von Freiformoberflächen, die mit Linienabtastkameras aufgezeichnet werden, kann das aufgezeichnete Objekt zu einer Zeit t unterschiedlich zu dem Objektprofil sein, das zu einer unterschiedlichen Zeit t + 1 aufgezeichnet wird. Somit bleibt die beobachtete Streifenstruktur in dem Bild möglicherweise nicht periodisch und vertikal in dem Bild. Dies passiert, wenn die Form der Oberfläche, die inspiziert werden soll, nicht symmetrisch entlang der Bewegungsrichtung des Objekts ist. Folglich kann ein umfassender Bereich aus Streifenstrukturen betrachtet werden. Das Aufzählen aller möglichen Streifendeformationen wäre kaum möglich. Somit ist es bevorzugt, sich auf eine beschränkte und vordefinierte Anzahl von Streifendeformationen zu konzentrieren. Daher werden zwei unterschiedliche Typen von Deformationen -1- und -2- betrachtet. Zwei unterschiedliche Variationstypen -1- und -2-der gezeigten Streifenstruktur werden betrachtet, die durch die variierende Geometrie des aufgezeichneten Objekts hervorgerufen werden können und nicht durch das Vorhandensein eines Defekts auf der Oberfläche.

[00168] Der erste Typ einer Verzerrung (zweite Zeile von Fig. 6) induziert eine Deformation der Streifenstruktur in den Bildern so, dass die Periode der Streifen die gleiche ist entlang der u-Achse des Bildes und von oben nach unten entlang der v-Achse des Bildes zunimmt. Typ -1-perspektivische Streifenverzerrung entspricht der Aufzeichnung von planaren Oberflächen, die nicht parallel zu der Masseebene sind. In diesem Fall ist der Grad einer Verzerrung proportional zu dem Winkel α zwischen diesen Oberflächen und der Masseebene (ein nicht verzerrtes Streifenmuster entspricht einem Winkel von 0). Zumindest werden vier unterschiedliche Verzerrungsgrade, die vier zunehmenden Werten von α entsprechen, betrachtet.

[00169] Die zweite Verzerrung (dritte Zeile aus Fig. 6) verursacht eine Deformation der Streifen, so dass die Variationen der Streifenperiode dieselben entlang der v-Achse sind. Die Periode ist maximal in dem mittleren, vertikalen Teil des Bildes und nimmt nach links und rechts zu den Bildrändern ab. Typ -2- zylindrische Streifenverzerrungen liegen an der Aufzeichnung von zylindrischen Formen. In diesem Fall ist der Grad einer Verzerrung proportional zu der Krümmung κ der Oberfläche (eine Krümmung von 0 entspricht unverzerrten Streifenmustern). Auch hier werden vier unterschiedliche Verzerrungsgrade, die vier zunehmenden Werten von κ entsprechen, berücksichtigt.

[00170] Herkömmliche Verfahren, die auf einer strukturellen Belichtungstechnik basieren, führen die Oberflächeninspektion mit Hilfe der Streifendeformationsinterpretation ohne eine 3D-Tiefen-Wiedergewinnung aus. Ausführungsbeispiele der Erfindung kombinieren das Inspektionsverfahren mit den 3D-Szeneninformationen und liefern eine Verbesserung des Oberflächeninspektionsprozesses.

[00171] Zwei unterschiedliche Typen von 3D-Defekten können betrachtet werden. Gemäß ihrer Tiefe werden Oberflächen als nicht defekt oder defekt klassifiziert. Somit erlaubt ein kombinierter, adaptiver und Tiefen-Wiedergewinnungs-Ansatz das Klassifizieren der Bildmuster gemäß den gezeigten Störungen. Bei einer ersten Musteranordnung χι können alle 3D-Defekte als defekt betrachtet werden zu einer ersten Zeit (alle führen zu ähnlichen Störungen). Dann können bei einem weiteren Schritt die nicht defekten und die defekten Teile gemäß ihrer berechneten Tiefe getrennt werden. Bei einer zweiten Musteranordnung χ2 für die Klassifikation der Referenzbildmuster kann jeder 3D-Defekt als defekt betrachtet werden.

[00172] Im Hinblick auf die Klassifikation von Freiformoberflächen kann beobachtet werden, dass das Erfassungsverhalten mit einer Zunahme der Verzerrung in den Bildern abnimmt, egal ob diese vom Typ -1- oder vom Typ -2- sind. Zweitens führt die Verwendung der Kombination von Bewertungsmerkmalen 26 zu besseren Klassifikationsraten für beide Verzerrungstypen.

[00173] Eine Verbesserung der Klassifikationsraten, wenn das Wrapper- (Hüllen-) -1-NN-Merkmalsauswahlverfahren verwendet wird, kann jedoch insbesondere erreicht werden im Hinblick auf die Verzerrung von Typ -1-.

[00174] Weiterhin wird darauf hingewiesen, dass eine Verbesserung der Klassifikationsraten erreicht werden kann, wenn eine Musteranordnung χ2 anstelle einer Musteranordnung Xi adressiert wird. Die erreichten Klassifikationsraten CP mit Hilfe einer Verzerrung des Typs -1- liegen 21/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 zwischen 85,7 % und 91,2 % für eine χι-Anordnung und zwischen 88,1 % und 92,1 % für eine X2-Anordnung. Im Hinblick auf eine Verzerrung des Typs -2- liegen die Klassifikationsraten CP zwischen 87,6 % und 91,2 % für eine x^Anordnung und zwischen 88,5 % und 93,3 % für eine X2-Anordnung.

[00175] Fig. 7 zeigt einen Referenzmustersatz gemäß einem Ausführungsbeispiel der Erfindung. Der Referenzmustersatz weist sieben Ausführungsbeispiele von Bildsätzen auf, einen der angepassten Größe Φ381 und zwei der festen Größe Φ64*2 und Φ128*2.

[00176] Das manuelle Festlegen der Größe jedes Musters, so dass nur die gestörte Streifenstrukturgezeigt ist, war ein subjektiver Prozess. Tatsächlich sind die gezeigten, defekten Oberflächen üblicherweise nicht durch scharfe Konturen gekennzeichnet. Daher werden drei unterschiedliche Mustersätze betrachtet, deren Größe an die Größe der Streifenstruktur angepasst ist, die klassifiziert werden soll. Da dieser Auswahlprozess nicht objektiv ist, wurde jeder Mustersatz durch eine unterschiedliche Person ausgewählt. Zwei weitere Mustersätze mit festen Größen von 64 x 64 Pixeln und 128 x 128 Pixeln werden betrachtet. Somit wurden die Störungen, die in den 252 Referenzbildern gezeigt sind, fünfmal vorausgewählt, so dass zumindest fünf unterschiedliche Bildsätze, drei mit angepassten Größen Φ381, Φ382, Φ383 und zwei mit festen Größen Φ64Λ2, Φ128Λ2 verwendet werden können. Für Bildsätze Φ64Λ2und Φ128Λ2 liegen die Streifenstörungen nicht notwendigerweise in der Mitte des Musters. Fig. 7 zeigt sieben Beispiele von Bildsätzen Φ381, Φ64*2 und Φ128*2.

[00177] Die Auflösung in der horizontalen Richtung ist dreimal größer als die Auflösung in der vertikalen Richtung. Die Muster des Bildsatzes φ“*2 entsprechen einer Objektoberfläche von 2 mm Breite und 6 mm Höhe, wohingegen die Muster des Bildsatzes Φ128Λ2 einer Objektoberfläche von 4 mm Breite und 12 mm Höhe entsprechen.

[00178] Es ist bekannt, dass die Chancen, den optimalen Computervisionsprozess zu erreichen, mit der Bewertung für jeden Teil des Prozesses zunehmen, von unterschiedlichen Verfahren, die auf unterschiedlichen mathematischen Modellen oder entgegengesetzten Methoden basieren. Das Ausprobieren aller möglichen Verfahren ist jedoch nicht realisierbar, da die Anzahl von möglichen Kombinationen jedes Mal verdoppelt wird, wenn ein neues Verfahren beteiligt ist. Folglich wird eine begrenzte Anzahl von Verfahren für die drei Teile des Prozesses betrachtet.

[00179] Zu diesem Zweck können unterschiedliche Größen von segmentierten Regionen (z. B. drei angepasst und zwei fest, wie in Fig. 7 gezeigt ist), angepasste Merkmalswiedergewinnungsansätze mit unterschiedlichen Einstellungen, unterschiedliche Klassifikationsalgorithmen und unterschiedliche Klassifizierungsverfahren verwendet werden.

[00180] Fig. 8 zeigt einen strukturellen Baum (Merkmalsbaum), der Merkmale aufweist, die kombiniert werden können zum Anwenden einer Kombination dieser Merkmale 26 zum Klassifizieren 30 eines Bildes 24.

[00181] Ein erster Satz aus Merkmalen 60 und ein zweiter Satz aus Merkmalen 62 werden in eine Kombination aus Merkmalen 26 kombiniert. Der erste Merkmalssatz 60 weist adaptive Merkmale 64 auf. Der zweite Merkmalssatz 62 weist Texturmerkmale 80 auf. Adaptive Merkmale 64 und Texturmerkmale sind einer Ebene III aus Merkmalen des Merkmalsbaums zugeordnet. Die adaptiven Merkmale 64 weisen streifenbasierte Merkmale 82 und adaptive Fringe-Merkmale (fringebasierte Merkmale) 102 auf. Die Texturmerkmale 80 weisen strukturelle Merkmale 84, statistische Merkmale 86 und transformationsbasierte Merkmale 88 auf. Die streifenbasierten Merkmale 82, die adaptiven Fringemerkmale 102, die strukturellen Merkmale 84, die statistischen Merkmale 86 und die transformationsbasierten Merkmale 88 sind einer Ebene II aus Merkmalen des Merkmalsbaums zugeordnet.

[00182] Die streifenbasierten Merkmale 82 sowie die adaptiven Fringemerkmale 102 weisen geometriebasierte Merkmale 94, intensitätsbasierte Merkmale 98 und statistikbasierte Merkmale 99 auf, die einer Ebene I des Merkmalsbaums zugeordnet sind. Die geometriebasierten Merkmale 94, die intensitätsbasierten Merkmale 98 sowie die statistikbasierten Merkmale 99 weisen 22/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 pixelbasierte Merkmale 100 und teilpixelbasierte Merkmale 96 auf, die einer Ebene 0 des Merkmalsbaum zugeordnet sind.

[00183] Die transformationsbasierten Merkmale 88 weisen Fourier-basierte Merkmale 90 und Wavelet-basierte Merkmale 92 auf, die der Ebene I des Merkmalsbaums zugeordnet sind.

[00184] Strukturelle Merkmale 84 können z. B. auf dem Verfahren basieren von „Y. Chen, M. Nixon und D. Thomas, Statistical geometrical features for texture Classification, Pattern Re-cognition 28 (1995), Nr. 4, 537 - 552“, wohingegen statistische Merkmale 86 z. B. auf den Verfahren basieren können von „Robert M. Haralick, K. Shanmugam und Its'hak Dinstein, Texture features for image Classification, IEEE Trans, on Systems, Man, und Cybernetics (SMC) 3 (1973), Nr. 6, 610 - 621“ und „Michael Unser, Sum and difference histograms for texture Classification, IEEE Trans, on Pattern Anal, and Machine Inteil. (ΡΑΜΙ) 8 (1986), Nr. 1,118 -125“.

[00185] Die Texturmerkmale 80 weisen transformationsbasierte Merkmale 88 auf. Die transformationsbasierten Merkmale 88 weisen Fourier-basierte Merkmale 90 auf. Zum Beispiel kann eine Anzahl von 33 Fourier-basierten Merkmalen 90 zum Klassifizieren 30 angewendet werden.

[00186] Drei unterschiedliche Texturklassifikationsansätze 80 können für die Inspektion von Freiformoberflächen verwendet werden: die auf Statistik basierenden 86, die auf Struktur basierenden 84 und die auf Transformation basierenden 88. Das Wort „Textur“ hat viele Bedeutungen, es kann eine große Palette von unterschiedlichen Oberflächentypen beschreiben, und obwohl es ein allgemeiner Ausdruck auf dem Gebiet der Bildverarbeitung ist, wurde es noch nicht genau definiert. Zu unseren Zwecken kann gesagt werden, dass das Ziel der Texturanalyse ist, texturierte Bilder zu beschreiben durch Verwenden lokaler oder globaler Bildeigenschaften, was sich auf eine Darstellung von zwei Grunddimensionen bezieht: Tongrundelemente, die die Textur bilden, und ihre räumliche Organisation. Die nachfolgenden vier Kategorien von Texturansätzen werden betrachtet. Der strukturelle Ansatz betrachtet Texturen als einen Satz aus Grundelementen (Mikrotextur), deren Hierarchien und räumliche Anordnungen (Makrotextur) durch Platzierungsregeln definiert sind. Dieser Ansatz kann für synthetische Bilder verwendet werden, stellt sich aber als schlecht definiert für natürliche Texturen heraus, wo die Variabilität von Makro- und Mikrotexturen häufig zu groß und somit schwierig darzustellen ist.

[00187] Ein komplexeres Verfahren binarisiert zuerst das Bild für unterschiedliche Schwellen. Die geometrischen Eigenschaften (Unregelmäßigkeit und Quantität) der verbundenen Regionen für jedes binäre Bild werden berechnet. Statistische Charakteristika werden dann für die gesamten binären Bilder berechnet. Im Gegensatz zu strukturellen Verfahren stellen statistische Ansätze eine Textur indirekt durch Eigenschaften dar, die die Aufteilung und die Beziehung von Bildintensitätsebenen regeln. Die Merkmale werden direkt aus statistischen Berechnungen des Originalbildes oder aus den hergeleiteten Bildern erhalten. Lokale Merkmale werden einfach und schnell berechnet: Mittelwert, Varianz, minimale und maximale Graupegelwerte, Median und entsprechende Merkmale für das hergeleitete, gefilterte Bild.

[00188] Unterschiedliche Spaltfilter wie der Sobel- oder der Kirsch-Operator werden verwendet. Ein anderes Verfahren verwendet eine Statistik zweiter Ordnung und basiert auf der Grauwertematrix, die ein zweidimensionales Histogramm aller Pixelpaare ist. Diese Berechnung wird allgemein für vier unterschiedliche Richtungen ausführt, so dass zumindest 14 unterschiedliche statistische Merkmale aus den Matrizen berechnet werden.

[00189] Um die Rechenkomplexität dieses Verfahrens zu reduzieren, können zwei eindimensionale Histogramme, die die Differenz und die Summierung der Pixelpaare darstellen, verwendet werden. Insgesamt 16 unterschiedliche, statistische Merkmale können aus vier unterschiedlichen Richtung und für beide Histogramme berechnet werden.

[00190] Ein anderes Verfahren basiert auf einer Lauflänge. Die Lauflängen werden in vier unterschiedlichen Richtungen berechnet (0°, 45°, 90°, 135°). Ein zweidimensionales Histogramm, das die Länge der Pixelketten und den Intensitätspegel darstellt, kann für jede Richtung aufgebaut werden. Fünf unterschiedliche, statistische Merkmale können dann für jedes Histogramm berechnet werden, was insgesamt 20 Merkmale ergibt. Eine Reduktion der Anzahl von Intensi- 23/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 tätspegeln kann häufig notwendig sein, um hohe Lauflängenwerte zu ergeben.

[00191] Ein anderer Ansatz beschreibt Texturen durch fraktale und stochastische Modelle. Die Parameter dieses Modellansatzes werden geschätzt und dann zur Bildanalyse verwendet. Der fraktale Ansatz ergibt gute Ergebnisse, die natürliche Texturen beschreiben. Er wird verwendet und beschreibt Objekte mit einem hohen Grad an Unregelmäßigkeit. Ein Beispiel eines stochastischen Modells ist das Markov Random Field, das berücksichtigt, dass jedes Pixel in dem Bild durch die benachbarten modelliert sein kann.

[00192] Die Transformationsansätze 88 verwenden Merkmale, die aus dem transformierten Bild berechnet werden. Die Fourier-90-, Gabor- oder Wavelet-Transformation 92 sind am beliebtesten. Der Fourier-Ansatz 90 verwendet die lokalen Teile des Frequenzspektrums. Die Merkmale werden aus dem Fourier-Spektrum für unterschiedliche Regionen erhalten. Da Fourier-Merkmale 90 unter einem Mangel an räumlicher Lokalisierung leiden, werden bessere Ergebnisse häufig durch Gabor-Merkmale erreicht, die räumliche Lokalisierung integrieren.

[00193] Gabor-Wavelets sind für unterschiedliche Richtungen (0°, 45°, 90°, 135°) und für unterschiedliche Längen definiert. Das effizienteste der Transformationsmodelle ist die Wavelet-Transformation, die Frequenz, räumliche Lokalisierung und unterschiedliche Bildskalen integriert.

[00194] Die Anwendungspalette bei Texturanalyseverfahren 80 ist sehr breit, da sie Meteorologie, Medizin, Industrie, Militär etc. betrifft. Ein Verfahren zur Felsbildklassifizierung verwendet z. B. spektrale Merkmale und Merkmale, die aus Grauwertematrizen berechnet werden. Satellitenterrainbilderklassifikation kann auf Texturmerkmalen basieren, z. B. durch Verbinden eines modellbasierten und eines Transformations-Textur-Klassifikations-Ansatzes. Satellitenbilder von Wolken können z. B. unter Verwendung statistischer, struktureller und Transformationsmodelle klassifiziert werden. Neurale Klassifizierer mit statistischen Merkmalen können zur Brustkrebserkennung mit Mammographiebildern verwendet werden. Morphologische Texturverfahren können z. B. zur Halswirbelzellkernklassifizierung angewendet werden. Statistische Merkmale, wie z. B. Mittelwert- und Standardabweichung von Intensitätspegeln innerhalb eines Fensters, können verwendet werden, um z. B. Militärziele in Infrarotbildern zu klassifizieren.

[00195] Texturtyp-Klassifikationsalgorithmen 80 können in einem großen Bereich von Anwendungen angewendet werden. Auf einer Seite homogene Bilder wie Fels-, Wolken-, Brust- oder sogar Infrarotbilder, auf der anderen Seite feinere Details wie Zellen- oder Terrainbilder.

[00196] Dies demonstriert, dass es a priori möglicherweise nicht möglich ist, zu wissen, welches Verfahren am besten für eine Klassifikationsaufgabe geeignet ist, wo spezifische texturierte Bilder betroffen sind. Es kann daher notwendig sein, unterschiedliche Texturansätze zu testen und zu vergleichen, um den Geeignetsten zu finden. Verschiedene Texturdatenbanken können für die Bewertung von Texturalgorithmen verwendet werden. Diese umfassen regelmäßige bis stochastische, unterschiedliche texturale bzw. strukturelle bzw. Textur-Graupegel- oder Farbbilder.

[00197] All diese Texturanalyseverfahren 80 sind Von-oben-nach-unten-Ansätze, was bedeutet, dass sie für einen großen Bereich an Texturtypen entwickelt wurden. Jedes betroffene Texturanalyseverfahren wird an die zu analysierenden Muster angepasst, d. h. die Geometrie und die Graupegelverteilungen der gezeigten Streifenstrukturen. Für jeden Texturanalyseansatz werden unterschiedliche, angepasste Parametereinstellungen betrachtet. Jede Einstellung wird mit Hilfe der Klassifikationsrate bewertet.

[00198] Jedes Bildmuster F wird derart betrachtet, dass es durch eine diskrete Funktion fki dargestellt ist. fw ist das Ergebnis der Diskretisierung und Quantifizierung einer zweidimensionalen, kontinuierlichen Funktion fuv. Die u-Achse, die horizontal mit ansteigenden Werten von links nach rechts ist, und die v-Achse, die vertikal mit ansteigenden Werten von oben nach unten ist, beschreiben ein kartesisches Koordinatensystem. Ein oberer linker Bildpunkt bei Pixelposition (0, 0) von F entspricht dem Ursprung des Koordinatensystems.

[00199] Der Wert f(u,v) eines kontinuierlichen fuv bei Position (u,v) nach der Quantifizierung 24/60 > österreichisches Patentamt AT 11 770 U1 2011-04-15 stellt den Grauwert bei Position (kAu, ΙΔν) der diskreten Funktion fk! dar. F kann als eine Matrix [f(k,l)] mit Mu Zeilen und Mv Spalten dargestellt sein. Au und Av sind die Abtastdistanzen in der u- und v-Richtung. Beide können als gleich 1 betrachtet werden, so dass der folgende Ausdruck die mathematische Darstellung eines Bildes definiert: Der Quantifizierungsprozess

[00200] transformiert alle Werte f(u,v) G □ R in den nächsten ganzzahligen Wert f(k,l) G □ N, definiert durch die Ng Graupegel einer Quantifikation, wobei 0 < f(k,l) < (2Ng -1). Ngwird auch die Tiefe des Bildmusters F genannt. Bilddarstellungen in dem Zeitbereich werden unter Verwendung dieser Schreibweisen beschrieben.

[00201] Für ein Bild F mit Ng Intensitätspegeln können zumindest Ng unterschiedliche, binari-sierte Bilder Fb,0b berechnet werden. Für jedes binarisierte Bild Fb,0b können die strukturbasierten Merkmale wie folgt berechnet werden. Alle einwertigen Pixel werden in einen Satz aus miteinander verbundenen Pixeln gruppiert, die verbundene Regionen genannt werden. Dasselbe wird für die nullwertigen Pixel ausgeführt. Zwei Zahlen können definiert werden, die Anzahl von verbundenen Regionen aus einwertigen und Nullwert-Pixel für die Binarisierungsebene 0b bzw. NOC1 (0b) und NOCO (0b). Dann kann ein Parameter eingeführt werden, der die Unregelmäßigkeit (oder Unkompaktheit) IRGL jeder verbundenen Region definiert. Durch Berechnen des Durchschnitts von IRGL werden zwei weitere Zahlen für alle 1 und 0 verbundenen Pixelgruppen des Bildes Fb,0b bzw. IRGL1 (0b) und IRGLO (0b) erhalten.

[00202] Jede dieser vier Zahlen sind Funktionen einer Binarisierungsschwelle 0b. Diese Funktionen sind weiter qualifiziert mit vier Statistiken, die der Maximalwert, der Durchschnittswert, der Stichproben- bzw. Abtast-Mittelwert und die Stichprobenstandardabweichung für jede der vier Funktionen von 0b, NOC1 (0b), NOCO (0b), IRGL1 (0b) und IRGLO (0b) sind. Für jedes Bild Fb,0b können zumindest 16 unterschiedliche Merkmale erhalten werden, die einen Merkmalsvektor definieren co,(0b) e □ R16.

[00203] Die Vorteile der Verwendung unterschiedlicher Binarisierungen sind zwei. Erstens ergibt es die Möglichkeit, unterschiedliche Intensitätspegel von Bildregionen zu betrachten und somit die Intensitätsinformationen in die Merkmalsberechnung zu integrieren. Dann ermöglicht es die Suche nach den besten Einstellungen, d. h. das Verwenden von ausschließlich jenen binären Bildern, die zu den besten Klassifikationsergebnissen führen.

[00204] Solche Bilder haben die Besonderheit, dass die Graupegelverteilung im Allgemeinen bimodal zu sein scheint, da helle und dunkle Streifenstrukturen gezeigt sind. Somit können die Streifenbilder vollständig unter Verwendung von nur wenigen binären Bildern beschrieben sein.

[00205] Statistische Merkmale 86 sind z. B. das Spatial Grey Level Dependence Verfahren (SGLDM; räumliche Graupegelabhängigkeit-Verfahren). Das letztere ist eine Erweiterung des strukturellen Ansatzes. Die Annahme ist, dass die Texturkontextinformationen in der räumlichen Beziehung enthalten ist, die die Grautöne zueinander haben. Dies ist ein unterschiedlicher Ansatz als die strukturellen Verfahren, da hier die Form und die räumliche Organisation der Grundelemente der Textur beschrieben sind.

[00206] Die Beziehung von Textur-Grundelementen für jedes Bild F wird bewertet mit einer oder mehreren Grauwertematrizen (oder Grauton-Raumabhängigkeitsmatrizen). Jede Grauwertematrix ist ein zweidimensionales Histogramm aller Pixelpaare in u-und v-Richtung in dem Streifenbild F. Diese Matrizen sind symmetrisch, was andeutet, dass die Grauwertematrizen eines Bildes F und ihre um 180° Gedrehte dieselben sind. Daher wird eine Pixelpaarberechnung nur für die vier unterschiedlichen Richtungen 0°, 45°, 90° und 135° ausgeführt. 14 unterschiedliche statistische Merkmale können z. B. verwendet werden, um z. B. die Homogenität oder den 25/60 österreichisches Patentamt AT 11 770 U1 2011-04-15

Kontrast eines Bildes auszudrücken. Diese Merkmale werden aus jeder Grauwertematrix wiedergewonnen und in einen Merkmalsvektor C(du,dv) e □ R14 gespeichert, wo du und dv die betrachteten Distanzen in der u- und v-Richtung sind.

[00207] Der Gedanke hinter der Auswahl dieser Merkmalsparameter ist das Modellieren der menschlichen Wahrnehmung von Textur. Die Summen- und Differenz-Histogramme können als eine Alternative zu den Grauwertematrizen verwendet werden. Mit den Summen- und Differenz-Histogrammen können 9 von 14 statistische Merkmale direkt berechnet werden, wobei die weiteren 5 geschätzt werden können.

[00208] Für die Klassifikation von Streifenbildern können 15 unterschiedliche Merkmale aus den Summen- und Differenz-Histogrammen berechnet werden, wo 8 Merkmale globale Histogrammmerkmale sind und 7 Merkmale die äquivalenten Merkmale zu jenen sind, die aus den Grauwertematrizen berechnet werden. Alle Merkmale sind in einem Merkmalsvektor C(du,dv) G □ R15 gespeichert, wo du und dv als Distanzen in der u- und v-Richtung betrachtet werden. Der Schlüsselpunkt von SGLDM-Verfahren ist, dass sie die Beziehung einer Pixelpaarintensität charakterisieren. Die Auswahl der Pixelpaare, d. h. ihre Distanz entlang der u- und v-Achse, ist daher entscheidend für eine gute Klassifizierung. Somit sollen die geeignetsten Werte dieser zwei Distanzen gemäß der Geometrie der Streifenstrukturen definiert sein, die charakterisiert werden sollen.

[00209] Die Fourier-Transformation F ist eine Transformation zwischen einem Eingaberaum (räumlicher Bereich) in einen Ausgaberaum (Frequenzbereich). Die Inverse wird die inverse Fourier-Transformation F'1 genannt. Die Fourier-Transformation ist eine Verallgemeinerung der Theorie der Fourier-Reihe und ist an alle nichtperiodischen und integrierbaren Funktionen anwendbar.

[00210] Für das diskrete Bild F werden die Fourier-Transformation und die inverse Fourier-Transformation durch nachfolgende Gleichungen beschrieben:

ί·=[Λι] f = IM Σ Σ « = Mu -1; λ « o, 1,....Mv - 1 mv—i λ/,»—i vV Σ Σ A«. Λί“Λ3'·- ** λ=0 k = 0,1.Μ* - 1; l = 0,1,...,Mv -1 [00211] Eine wichtige Anmerkung im Hinblick auf die Fourier-Transformation ist, dass, wenn die Abtastwerte der Matrix [fkd] des Eingabezeitbildes F echte Werte ([fkj] G □ R) sind, die Abtastwerte der Matrix [f«,k] des Ausgangsfrequenzbildes FA komplexe Werte ([f«,k] 6 C) sind, so dass die Informationen eines Fourier-transformierten Bildes in der Größe und der Farbe der spektralen Darstellung enthalten sind. Bei vielen Anwendungen werden nur die Größeninformationen benötigt und die Phaseninformationen werden verworfen. Trotz dieser allgemeinen Praxis jedoch sollten in einem gewissen Kontext Phaseninformationen nicht ignoriert werden. Wenn wir z. B. synthetische Bilder konstruieren, die aus den Größeninformationen von einem Bild und den Phaseninformationen von einem anderen bestehen, ist es das Bild, das den Phasendaten entspricht, das wir wahrnehmen, wenn auch etwas verschlechtert. In unserem Fall wird nur die Größe der Fourier-Transformation betrachtet, bezeichnet als |FA|. Ihre Darstellung wird in einem kartesischen Koordinatensystem ausgeführt, dessen vrAchse horizontal ist mit ansteigenden Werten von links nach rechts und v2-Achse vertikal ist mit ansteigenden Werten von oben nach unten.

[00212] Bilder F und |FA| haben dieselben Dimensionen. |AF| kann mit einer zweidimensionalen, kontinuierlichen Funktion fA beschrieben sein, deren quantifizierte Werte fA(vd, v2) an Position (vi, v2) die Größe des Spektrums an Position (κΔν-ι, κΔν2) darstellen, wobei κ e {0, 1,..., Mu -1} 26/60

österreichisches Patentamt AT 11 770 U1 2011-04-15 und {λ e {0,1 Mv - 1}. Δνι und Äv2 sind die Abtastfrequenzen für die vr und v2-Achse, die zu Vereinfachungszwecken gleich 1 betrachtet werden. Dann definiert der nachfolgende Ausdruck die mathematische Darstellung eines Bildes in dem Frequenzbereich:

ί! = !Ι/Μ)|], «e {0,lf··· Ae {0,1,...3/,,-1} [00213] Alle diskreten Bilder |FA| sind mit Ng-Pegeln einer Quantifizierung dargestellt und so normiert, dass 0 £ ίΑ(κ,λ) < 2Ng -1).

[00214] Die Fourier-Analyse wird hier für die Charakterisierung der Streifenstrukturen verwendet, die in einem Muster F gezeigt sind. Dieses Muster kann auch als ein Beobachtungsfenster der zu analysierenden Streifenstruktur interpretiert werden. Es ist aus der Signaltheorie bekannt, dass das Einschränken der Darstellung eines zu charakterisierenden Signals s eine Vorspannung der spektralen Darstellung von s induziert. Diese Vorspannung ist um so wichtiger, wenn die Größe des Beobachtungsfensters eingeschränkt ist. In dem Fall einer Streifenmustercharakterisierung bedeutet dies, dass die Auflösung in dem Frequenzbereich direkt mit der Größe des Musters in dem Raumbereich verknüpft ist. Dies impliziert, dass die Auflösung in dem Frequenzbereich gleich 1/MU entlang der vrAchse und 1/MV entlang der v2-Achse ist.

[00215] Für eine Texturanalyse 80 mit der Fourier-Transformation 90 können unterschiedliche Teile des Frequenzspektrums zu Klassifikationszwecken verwendet werden.

[00216] Die Charakterisierung des Bildmusters F basiert auf dem Fourier-Leistungsspektrum P, das als das Quadrat der Größe des Spektrums |FA| definiert ist. P ist eine Matrix derselben Größe wie Matrix FA, Ρ(κ,λ) ist der Wert des Leistungsspektrums bei Position (κ,λ). Die folgende Definition kann verwendet werden:

[00217] Das Leistungsspektrum kann als eine Bildsignatur für die Unterscheidung von unterschiedlichen Typen von Streifenbildern verwendet werden. Die radialen und Winkel-Spektralverteilungen können berücksichtigt werden, wobei erstere empfindlich für Texturgrobkörnigkeit und letztere für Texturrichtwirkung ist. Ferner können die Verteilungen, die den Grund-Spektral-Bildachsen entsprechen, der vr und v2-Richtung, verwendet werden.

[00218] Unter Verwendung unterschiedlicher Teile des Leistungsspektrums kann beobachtet werden, dass einige Regionen charakteristischer oder darstellender für bestimmte Klassen von Streifenbildern sein können. Solche Bilder sind durch ein vertikales Muster gekennzeichnet, dessen Störungen synonym für defekte Oberflächen sind. Somit führt das Isolieren der Regionen des Leistungsspektrums, die dem vertikalen Streifenmuster entsprechen, für die Berechnung der charakteristischen Merkmale, zu besseren Klassifikationsraten.

[00219] Ein Ausführungsbeispiel der Erfindung verwendet eine Fourier-basierte Klassifikation mit einer Gesamtanzahl von 33 Merkmalen 90, was dem Gesamtwert der Leistungsspektrumsregionen entspricht. Es gibt 8 radiale Regionen mit Pr1r2, 10 direktionale Regionen mit Ρθι,θ2, 5 horizontale Regionen mit Pv1jV2 und 10 vertikale Regionen mit Pui,U2: 27/60 AT 11 770 U1 2011-04-15 österreichisches

Patentamt

Pri,rs Σ i/(«.A)P Puj ,«2 — ^ l/KA)f ο<κ·<ΜΜ;;ί.'ΐ <X<t>a = Σ IA*. *)f «1<λ<«2ί><ιί<Μν [00220] Die Anzahl von berechneten Merkmalen ist unabhängig von der Größe des Bildmusters. Die mathematische Formulierung des Merkmalsvektors cF □ R33 ist wie folgt:

Cp = {{Prl.rl h { P I?l, 02} 1 { PV1. d2 } > {Pul,ti2 }} , Cp € !33 with € K®, {Pfll.uzl μ* and (ι·ι;**ζ) = :(jr; (y + ljr), r = {^2 + ψ%% 3 = {0, ..,7} ΨΜ = = (i +1)$)* O & II <3* 3 = {0, .,,0} (i-i; ί'Ξ> = = O; {; +1 )'-')· v = ψβ, 3 = {0, -J} (w 11¾) = = im Ci + *)“)> u =^/io, J = {0, ..9} [00221] Die DFT (diskrete Fourier-Transformation) machte die Spektralanalyse von diskreten Bildern möglich, durch Zersetzen der Bildfunktion in eine Summe aus finiten Sinuskurven. Mit dem Hauptnachteil jedoch, dass, wenn es eine gute räumliche Auflösung erlaubt, es nicht gleichzeitig möglich ist, eine gute Auflösung in dem Frequenzbereich zu haben, ist dieses Phänomen als das Heisenberg-Ungleichheits- oder Unsicherheitsprinzip bekannt.

[00222] Eine Verbesserung bei der Raum-Frequenz-Darstellung wurde mit der Wavelet-Analyse 92 erreicht. Dieses Signalzersetzungsverfahren basiert auf einem leicht anderen Konzept als die Frequenz: dem Skalenkonzept. Anstatt ein Fenster konstanter Größe zu betrachten, das an unterschiedlichen Positionen in dem Bild verschoben ist, haben die Wavelets dieselbe Morphologie (sie sind alle ähnlich, unterscheiden sich aber im Hinblick auf ihre Größe). Die Wavelet-Zersetzung ist ein Mehrfach-Auflösungsansatz und besteht aus dem Schreiben eines Bildsignals in eine Überlagerung von skalierten und translatierten Wavelets.

[00223] Der Hauptunterschied zu der Fourier-Technik 90 ist, dass die Wavelets 92 an die Größe der gesuchten Bildcharakteristika angepasst sein können: Sie sind groß für niedrige Frequenzen (hohe räumliche Auflösungen) und klein für hohe Frequenzen (niedrige räumliche Auflösungen). Diese Anpassungsfähigkeit der Wavelets wird für das Analysieren des Informationsgehalts von Bildinformationen verwendet und wird die Multiauflösungsprozedur genannt.

[00224] Die Orthonormal-Wavelet-Zersetzung entspricht einer pyramidalen Zersetzung unter Verwendung von Quadraturspiegelfiltern (QMS; quadrature mirrorfilters). Diese Definition ist die Basis für den Fast Wavelet Transform Algorithmus (FWT; schnelle Wavelet-Transformation). Mit Konzentration auf die Zersetzung von zweidimensionalen, diskreten Signalen F(u,v) des L2(R2) Vektorraums von quadratintegrierbaren, zweidimensionalen Funktionen können eine zweidimensionale Skalierungsfunktion ξ(υ,ν) = ξ(υ)ξ(ν) (das Vater-Wavelet) und ein eindimensionales <p(u) Basis-Wavelet (das Mutter-Wavelet), das der Skalierungsfunktion ξ(υ) zugeordnet ist, betrachtet werden.

[00225] Es sei r der Datenreduktionsfaktor, 2r der Skalen- oder Auflösungsfaktor, A2r der lineare, diskrete Operator, derf(u,v) bei einer Auflösung von 2r annähert. Die Differenz von Informationen zwischen A2r+if und A2rf ist gegeben durch die drei Detailbilder D12rf (hohe Frequenzen in der vertikalen Richtung), D22rf (hohe Frequenzen in der horizontalen Richtung) und D32rf (hohe Frequenzen in der horizontalen und vertikalen Richtung).

[00226] Die diskrete Wavelet-Transformation (DWT; discrete wavelet transform) auf Ebene r + 1 der Funktion f(u,v) auf Ebene r wird wie folgt geschrieben: 28/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 f+ihuv) = DWT(friu,i f)) — A'jr f -p -Djr/ + -P D\rf [00227] Annäherungs- und Detailbilder A2rf, D12rf, D22rf, D32rf werden auch die Wavelet- und Erweiterungskoeffizienten genannt.

[00228] Für jede Ebene werden die Wavelet-Koeffizienten erhalten durch Faltungsoperationen des Eingangsbildes f(u,v) mit zwei eindimensionalen Filtern: h ein Tiefpassfilter und g ein Hochpassfilter, wobei g(n) = (-1)1'" h(1-n).

[00229] Die Klassifizierungsmethode mit Wavelets weist ein Wavelet auf, das jedes Bild zersetzt. Das Energiemaß der vier Teilbandbilder A2rf, D12rf, D22rf and D32rf für jede Zersetzungsebene r wird als Signatur für jedes Bild verwendet. Für jede Ebene r (r > 1) sind die vier Energiewerte wie folgt: E(r,4)= £ (Arjf D<r< Ma /2r G<$f < Äl« /3r Ε(τ,Σ?)= £ (Dj,/)2 E(r,D’)= £ (D\rff 0<kMu/2t D<|i<Jtfv/2r E[r,D^)= Σ (^/)2 für 0<y<Ml?/2r [00230] Im Gegensatz zu der Fourier-Transformation, die nur den Sinus und Kosinus als Basisfunktionen verwendet, bringt jede neue Wavelet-Familie ihren eigenen Satz aus neuen Basisfunktionen. Zum Zweck des Bewertens der Klassifikation von Streifenbildmustern unter Verwendung von unterschiedlichen Typen von Texturmerkmalen kann eine Wavelet-Familie angewendet werden, z. B. die orthogonalen Wavelet-Filter, die anfänglich zur Texturklassifikation vorgeschlagen wurden.

[00231] Die Verhaltensmaße eines Merkmalssatzes werden hauptsächlich mit Hilfe der Rate Cp von korrekt klassifizierten Mustern bewertet. Diese Erfassungsrate wird für unterschiedliche Klassifikationsalgorithmen berechnet, die das Verfahren Naive Bayes, One-Nearest-Neighbor und Three-Nearest-Neighbor sind. Als Klassifikationsverfahren können eine 10-fach-Vergleichs-prüfung) und ein Leaving-One-Out-Method (Eines-Auslassen-Verfahren) angewendet werden. Die besten Klassifikationsergebnisse werden erhalten, wenn ein optimierter Fourier-Textur-Merkmalssatz verwendet wird. In diesem Fall ist die allgemeine Erfassungsrate CP 87,9 % in dem Fall einer 10-fach-Vergleichsprüfung und 88,8 % in dem Fall einer Eines-Auslassen-Proze-dur.

[00232] Adaptive Merkmale 64 (streifenbasierte Merkmale 82 und adaptive Fringemerkmale 102), die die Störungen der gezeigten Streifenstrukturen charakterisieren, die synonym sind für defekte und nicht defekte Oberflächen, werden in den nachfolgenden Abschnitten definiert. Für ein visuelles, menschliches System ist die Interpretation dieser Streifenstörungen in Bezug auf den Typ der aufgezeichneten Oberfläche eine einfache Aufgabe. Das menschliche Sichtsystem kann sogar erkennen, welche Art von defekter Oberfläche dargestellt ist.

[00233] Basierend auf den aufgezeichneten Streifenbildmustern wird ein Satz aus spezifischen Streifenmerkmalen (streifenbasierten Merkmalen 82) eingeführt. Das Berechnungsprinzip dieser Merkmale umfasst die genaue Segmentierung der hellen und dunklen Streifenstrukturen und die Berechnung der spezifischen Streifenmerkmale basierend auf den geometrischen und den Graupegel-Eigenschaften dieser Strukturen. Eine Klassifikationsmethode wird verwendet, um zu bewerten, wie weit die betroffenen Streifenmerkmale an das Problem einer Hell- und Dunkel-Streifenstrukturcharakterisierung angepasst sind. Mehrere Merkmalssätze, die unterschiedlichen Parametereinstellungen entsprechen, können verwendet werden. Das Verwenden einer optimalen Einstellung, beste Raten CP = 88,9 % mit einer 10-fach-Vergleichsprüfung und CP = 88,4 % im Fall einer Einen-Auslassen-Prozedur, kann erreicht werden. Dieses Ergebnis ist 29/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 ähnlich zu dem Klassifikationsergebnis unter Verwendung des optimierten Fourier-Textur-Merkmalssatzes.

[00234] Die Merkmalsextraktionskomponente spielt eine wichtige Rolle bei einem Maschinenoder Menschen-Sicht-Verarbeitungssystem. Es ist die Art und Weise, die Inhalte eines Bildes zu interpretieren, das die Szene darstellt, die inspiziert werden soll. Die resultierenden Streifenbildmuster enthalten alle relevanten Informationen zum Identifizieren und Unterscheiden von 2D- und 3D-Defekten. Dieselben Referenzbilder, wie in Fig. 6 gezeigt sind, werden verwendet, um den gesamten Charakterisierungsprozess zu beschreiben.

[00235] Die Segmentierung und die Klassifikation der Streifenbildmuster aus Fig. 6 in die drei unterschiedlichen Klassen {ΩΑ, ÜR,3D, Or,2d} € Ω ist eine Grundaufgabe für den Menschen-Sicht-Prozess (human vision process). Es werden automatisch die relevanten Charakteristika aus den Streifenbildern wiedergewonnen, um ähnliche Muster zu gruppieren und unterschiedliche zu trennen. Somit werden ähnliche Streifenstörungen gemäß ihrer Nähe oder Ähnlichkeit instinktiv segmentiert und gruppiert. Die Unterscheidung des Musters „mit niedrigem Kontrast“ von den anderen aus Fig. 6 wird möglich gemacht durch Vergleichen der Werte der Hell- und Dunkel-Streifenstrukturgraupegel. Stattdessen ist die horizontale Distanz zwischen den hellen Streifen offensichtlich eine interessante Charakteristik, um die „schwindende“ defekte Oberfläche aus Fig. 6 zu unterscheiden.

[00236] Im Hinblick auf die defekten Oberflächen „kreisförmiger mittlerer Größe“ und „kreisförmiger großer Größe“ aus Fig. 6 kann die Geometrie der hellen Struktur eine relevante Unterscheidungsinformation sein. Jedoch sind weitere Charakteristika sicherlich notwendig, da die hellen Streifenstörungen der defekten 3D-Oberflächen ähnlich zu den Störungen sind, die durch die nicht optimalen Aufzeichnungsbedingungen oder nicht kritischen 3D-Defekte eingebracht werden, siehe Muster „symmetrische Abweichung“ und „kreisförmige kleine Größe“ aus Fig. 6.

[00237] Das adaptive Merkmalsverfahren 64 gewinnt charakteristische Merkmale für die Klassifizierung von nicht defekten Oberflächen und defekten 3D- und 2D-Oberflächen wieder. Die Eigenart des Verfahrens ist, dass sowohl helle als auch dunkle Streifenstrukturen unter Verwendung unterschiedlicher geometriebasierter 94, intensitätsbasierter und/oder statistikbasierter 99 Merkmale charakterisiert sind, die aus Streifenbildern extrahiert sind.

[00238] Der erste Schritt des adaptiven Merkmalscharakterisierungsalgorithmus besteht aus der Segmentierung der hellen und dunklen Streifenstrukturen auf Pixelebene 100. Auf dem Gebiet der interferometrischen Holographie wird ein morphologischer Ansatz für die Segmentierung von interferometrischen Mustern, die in Fringebildern gezeigt sind, angewendet. Der Zwei-Schritt-Segmentierungsprozess besteht aus der Binarisierung des Bildes und dann aufeinanderfolgenden morphologischer Schließ- und Öffnen- Operationen, um das Skelett auf Pixelebene der Fringestrukturen wiederzugewinnen. Diese Algorithmen werden im Allgemeinen Verdünnungsverfahren genannt, da es ihr Prinzip ist, das Skelett eines Musters wiederzugewinnen durch sukzessives Löschen von Pixelschichten an der Grenze dieses Musters.

[00239] Im Hinblick auf die gezeigten hellen Strukturen sind sie durch hohe Diskrepanzen bei ihren Graupegelwerten charakterisiert. Da diese Arten von Störungen einer Struktur unvermeidbar sind, sollte die Streifensegmentierungsprozedur diese Schwierigkeit überwinden. Die Berechnung der Streifenstruktur stellt den ersten Schritt des gesamten Charakterisierungsprozesses der Streifenstrukturen dar. Somit ist die Genauigkeit dieses Vorabprozesses bestimmend für die weiteren Operationen.

[00240] Das angepasste Verfahren gemäß Ausführungsbeispielen der Erfindung gewinnt die Position der Streifenstrukturen auf Pixelebene 100 wieder. Dieses Verfahren wird unabhängig für jede der Mv Linien eines Bildmusters F und für die hellen Streifen und die dunklen Streifen berechnet.

[00241] Die gezeigten hellen und dunklen Streifenstrukturen in einem Bildmuster F werden derart betrachtet, dass sie ungefähr eine Periode von dP,px Pixeln haben. Die minimale Grauwertdifferenz zwischen zwei aufeinanderfolgenden Positionen eines hellen Streifens und eines 30/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 dunklen Streifens entlang der u-Achse des Bildmusters wird derart betrachtet, dass sie über einer bestimmten Schwelle 0g ist. Im Hinblick auf die Wiedergewinnung der hellen Streifenstruktur und für eine bestimmte Bildzeile weist das Verfahren eine erste Auswahl aller Pixel auf, deren Grauwertdifferenzen mit den Pixeln, die an der Hälfte der Periode entlang der u-Richtung des Bildes angeordnet sind, über einer Schwelle 0g sind. Dasselbe Verfahren wird für die Auswahl der dunklen Streifenstruktur verwendet, außer dass die Grauwertdifferenzen unter einer Schwelle 0g sein sollen. Die Ergebnisse des Hell- und Dunkel-Streifen-Auswahlprozesses sind in einer Matrix FSISCsegm geschrieben. Pixelebenensegmentierungsergebnisse in FSISCsegm sind graucodiert: Maximalebene 255 steht für die hellen Streifen, Minimalebene 0 für die dunklen Streifen und 100 für die verbleibenden, nichtausgewählten Elemente. Der mathematische Ausdruck der Segmentierungsprozedur ist wie folgt: ' 366 Sä ’ t 100 if /(fc,I) - f(k,l + dp>rtß) > $9 and >6, if f[kf l) — f{kj 4- dp,pa/2) K Bg and f(k, i) - f(k, l - dPjwß) < Ba otherwise [00242] Diesem Auswahlprozess folgt eine Verdünnungsoperation, so dass für jede Bildzeile jeder helle und dunkle Streifen durch ein Pixelelement charakterisiert ist. Die Pixelebenensegmentierung kann auch erreicht werden durch Verwenden eines morphologischen Verdünnungsalgorithmus.

[00243] Wenn die Streifenstruktur mit einer hohen Graupegelabweichung gezeigt ist, wie dies der Fall ist für ein Bild mit „niedrigem Kontrast“, kann die Verwendung derselben Binarisie-rungsschwelle an dem gesamten Bildmuster zu einer nichtvollständigen Segmentierung der Hell- und Dunkel-Streifenstruktur führen. Somit kann das Anwenden von Verdünnungsverfahren an solchen nicht perfekt segmentierten Bildern Segmentierungsfehler induzieren. Eine angepasste Prozedur ist daher besser geeignet und führt zu einer annähernd perfekten Segmentierung der hellen und der dunklen Streifen in dem Bild. Das Problem von hohen Graupegelabweichungen der Streifenstrukturen kann überwunden werden, wenn eine angemessene Schwelle verwendet wird.

[00244] Die Interpretierung der Streifenstörungen basiert auf einer genauen Bestimmung von charakteristischen Merkmalen. Für diese Aufgabe wird die Position von jedem hellen Streifen und dunklen Streifen mit hoher Genauigkeit unter Verwendung der Teilpixelverfahren 96 geschätzt.

[00245] Algorithmen für eine Segmentierung auf Teilpixelebene 96 sind eine „Gaußsche Annäherung“, eine „Masseschwerpunktberechnung“ und eine „parabolische Schätzung“, die auf der Annahme basieren, dass die Graupegel der hellen Spitzen durch eine mathematische Funktion modelliert werden können, wie z. B. eine Gaußsche oder eine parabolische Verteilung.

[00246] Weitere Verfahren sind eine einfache „lineare Interpolation“ der Graupegel und der Berechnung der ersten Ableitung eines Gaußschen Operators, genannt der „Blais-and-Rioux“.

[00247] Das beste Verhalten bei Vorhandensein von simuliertem, additivem Rauschen kann erreicht werden durch die Schätzwerte Blais-and-Rioux der Länge 2 und 4, die das beste Erfassungsverhalten ergeben. Im Hinblick auf die Spitzenerfassungsergebnisse mit einem gesättigten Sensor, d. h. wenn die Größe der Graupegel nahe einigen Grenzwerten ist, führt der Schätzwert Blais-and-Rioux der Länge 4 zu minimalen Spitzenerfassungsfehlern. Dies bezieht sich auf Streifenbreiten bis zu 2 Pixel und mit 1 bis 3 Pixel gesättigte Regionen. Diese Werte, die die Größe der Streifen definieren, entsprechen der Geometrie der betrachteten, vertikalen Streifenstrukturen, aufgezeichnet durch das industrielle System. Ein solches Teilpixelverfahren kann auch für die Erfassung der maximalen Gradienten angewendet werden, die die Streifengrenzen definieren. 31/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [00248] Für die Teilpixelmerkmale 96 können die Blais-and-Rioux- und die Masseschwerpunkt-Detektoren angewendet werden. Aufgrund von möglichen Aufzeichenstörungen kann die Aufzeicheneinstellung so eingestellt sein, dass die Streifenstrukturen in dem Sättigungsmodus des Sensors gezeigt sind. Die Folge ist, dass die hellen Streifen eine große Breite von 2 bis 3 Pixel haben können. Somit, um den gesamten Bildabschnitt abzudecken, der einen hellen Streifen definiert, aber auch einen dunklen Streifen, können Detektoren mit Größen von 5 Pixeln und 7 Pixeln betrachtet werden.

[00249] Nachfolgend werden die Ausdrücke der Detektoren von Masseschwerpunkt und Blais-and-Rioux der Längen 5 und 7 gegeben, genannt CM5, CM7 und BR5, BR7. Für eine Klarheit des mathematischen Ausdrucks ist die Funktion fu(v) als eine eindimensionale, diskrete Darstellung einer horizontalen Bildzeile der Länge Mu definiert, wobei fk(l) das l-te Element der Linie bzw. Zeile k ist.

[00250] Der Masseschwerpunktalgorithmus geht davon aus, dass die Intensitätswerte über einen hellen Streifen einer Gaußschen Verteilung entsprechen. Somit wird die Teilpixelposition berechnet durch ein Gewichteter-Mittelwert-Verfahren. Die geschätzten Teilpixelpositionen eines hellen Streifens an der Bildposition (k, I) für die Operatoren CM5 und CM7 CM5lA*bright und CM7lA*bright sind wie folgt: cm6¾ _ , m . M + 2)+ Ml +1) - A(l -1) - Ml - 2) *"·** } fk (/-2)-1- /*(/ -1) + h(t) + /*{/ + 1J + M + 2) cm7¾ _ f m + At/+3) + Mi+2)+M+1) - M -1) - Mt - 2) - Mt - a) fk(l - 3) + M - 2) + fkil -1) + fk{i) + Λ(i +1) + A(i + 2) + Ml + 3) [00251] im Hinblick auf die dunklen Streifen so wie für die hellen Streifen kann berücksichtigt werden, dass ihre Intensitätsverteilung entlang einer Bildlinie Gauß-artig ist. Somit kann derselbe Masseschwerpunktalgorithmus für die Bestimmung von dunklen Streifen an Teilpixelpositionen verwendet werden. Vor dem Anwenden eines solchen Algorithmus werden erst die Grauwerte transformiert, die eine dunkle Streifenregion definieren. Diese elementare Transformation besteht aus dem Berechnen des absoluten Werts der Differenz zwischen dem Maximalintensitätswert von 255 und den Dunkel-Streifen-Grauwerten. Mathematische Ausdrücke der geschätzten Teilpixelpositionen eines dunklen Streifens an der Bildposition (k, I) für die Operatoren CM5 und CM7, CM5lA*dark und CM7lA*dark, sind wie folgt: ciu* | + + + ^ _ 2) + fl(l - 1) + /1(0 + fl(l + 1) + flil + 2) CMTji _ «.t/η I /!(/ + 3) + /!(? + 2) j- flji + 1) - fl{l - 1) - fl(l - 2) - fl{t - 3) M fl(l - 3) + /!(f - 2) + fl(l - 1) + flU) + fi(I +1) + fl(l + 2) + + 3) where /1(1) = |255 - (f)! [00252] Das Verfahren Blais-and-Rioux basiert auf der Faltung von Bildgrauwerten mit einem Ableitungsoperator. Die Teilpixelposition wird mit einer lokalen, linearen Interpolation bestimmt. Die Ausdrücke der Ableitungsfunktionen BR5fkder und BR7fkder unter Verwendung der Operatoren BR5 und BR7, die an die Bildposition (k, I) angewendet werden, sind wie folgt: BR5/*r(i) _ _Λ(; _ 2) _ A(j _ 1) + +1) + A(( + 2) I) = -M< - 3) - Ml - 2) - M -1) + ftV +1) + Ml + 2) + Ä(! + 3) [00253] Das Finden der Position des Maximums eines Signals entspricht dem Finden des Nulldurchgangs der Ableitung des Signals. Somit ist die Bestimmung des Teilpixels eines hellen 32/60 österreichisches Patentamt AT 11 770 U1 2011-04-15

Streifens das Ergebnis einer lokalen, linearen Interpolation an dem Nulldurchgang der Ableitung. Die Gleichungen der Teilpixelpositionen der hellen Streifen unter Verwendung der Operatoren BR5 und BR7 an der Bildposition (k, I), BR5l*bnght und BR7l*bright sind wie folgt: Β*%·*,., = Λ(ί)+Βί7ί1,,« = MO+ BRü fder 5flBr (I) ERs jderjj^ _BR5 jder BRT jder ^ ER?_BR7 (I + lj whore > 0 ΒΗ5/^(ί +1) < 0 and BR7/tiCT(0 > 0 Ββ7/^(ί +1) < 0 [00254] Im Hinblick auf das Masseschwerpunktverfahren kann dieselbe Transformation auf Dunkel-Streifen-Graupegel angewendet werden. Somit sind die mathematischen Ausdrücke der geschätzten Teilpixelpositionen von Dunkelstreifen unter Verwendung der Operatoren BR5 und BR7 an der Bildposition (k, I), BR5lA*dark and BR7lA*dark, wie folgt: wlwre ßR5/tlkr(i) > 0 i) < o and BK7f^r(l)>0 BRT/trfir(i + 1) < 0 with BR= -fl(l - 2) - fl{l - 1) + fl{i +1) + ft{l + 2) = -fl(l - 3) - /!(( - 2) - /|(i - 1) + fl(l + 1) + flU + 2) + flu + 3) and 4(0 = 1255-^(1)1 [00255] Eine zentrale Idee von Ausführungsbeispielen der Erfindung ist das Verwenden der Deformationen der gezeigten Streifenstrukturen zum automatischen Klassifizieren der aufgezeichneten Oberfläche als akzeptabel, 3D-Defekt oder 2D-Defekt. Somit weist der erste Schritt der Oberflächenqualitätssteuerung die automatische Segmentierung der Streifenmuster auf. Die hellen und dunklen Strukturen eines solchen Musters können automatisch extrahiert werden mit Hilfe von Teilpixelsegmentierungsverfahren. Ein nächster Schritt weist die Charakterisierung dieser Strukturen auf.

[00256] Für die Beschreibung der Streifenmerkmale 82 werden die folgenden Schreibweisen verwendet. Es werden definiert die Schreibweisen für die hellen Streifen (B), dieselben Schreibweisen gelten für die dunklen Streifen, in diesem Fall sollte (B ; bright) durch (D; dark) ersetzt werden.

[00257] Ein heller Streifen in einem Bildmuster F der Größe Mu x Mv ist dargestellt mit einer Liste <B)S'. <B)N ist die Anzahl von hellen Streifen in dem Bildmuster, <B)n' ist die Anzahl von Elementen der Liste (B)S', deren Elemente (B)s'j definiert sind mit einer Position entlang der u-Achse und der v-Achse von F und mit einem Grauwert g. Die folgenden Schreibweisen gelten: 33/60

österreichisches Patentamt AT 11 770 U1 2011-04-15 (Β)$ί =

[00258] Die Information, ob ein Objekt defekt ist oder nicht, kann in der Position sowie in den Graupegelverteilungen der hellen und dunklen Streifen enthalten sein. Somit können spezifische Merkmale, die die Hell- und Dunkel-Streifenstörungen charakterisieren, die in einem Bild F gezeigt sind, extrahiert werden.

[00259] Für die Beschreibung der Merkmalsberechnung und ohne den Verlust der Allgemeinheit können die folgenden zwei Vereinfachungen gemacht werden. Erstens ist nur eine mögliche Klasse aus Streifenstörungen in jedem Bildmuster F angezeigt. Zweitens wird die Merkmalsberechnung an das gesamte Muster von Bild F angewendet, das die Streifenstörungen zeigt.

[00260] Merkmal cm,rn = {1, ...,NC} ist das Durchschnittsergebnis einer Operation, die an ein helles oder dunkles Streifenelement (B)s'j oder (D)s'j angewendet wird. Nc ist die Länge des Vektors c und die Anzahl der extrahierten Merkmale. Der Operator Oljm wird an ein helles Element (B)s'j oder ein dunkles Element (D)s'j angewendet, durch Betrachten eines lokalen Fensters wF, das zentriert ist an (B)s'j oder (D)s'j. Die Größe von wF kann fest oder variabel sein.

[00261] Gemäß den Gleichungen für die Berechnung des Merkmals cm gilt (die Schreibweisen sind gegeben für die hellen Streifen (B), dieselben Schreibweisen gelten für die dunklen Streifen, in dem Fall sollte (B) durch (D) ersetzt sein):

[00262] fixed = fest [00263] variable = variabel [00264] Zu Vereinfachungszwecken werden die Operationen OV^s) | fest) und Oljm((B)s'j | variabel) auch genannt Oljm und Oljm. In diesem Fall zeigt der Wert von m an, ob die Operation das lokale Fenster wF als fest oder als variabel betrachtet.

[00265] Aus den streifenbasierten Merkmalen 82 kann ein Satz aus drei geometriebasierten Merkmalen 94 und einem intensitätsbasierten Merkmal 98, speziell entwickelt und angepasst für die Charakterisierung der hellen und der dunklen Streifenstrukturen, deren Störungen synonym für defekte Oberflächen sind, ausgewählt werden. Diese acht Merkmale werden aus den Graupegeln und aus den Positionen der hellen und dunklen Streifenstrukturen extrahiert.

[00266] Somit kann für jedes Bildmuster F ein Satz aus 8 unterschiedlichen, spezifischen Werten berechnet werden. Diese 8 Werte beziehen sich auf die Richtung, die maximale und minimale Distanz von zwei aufeinanderfolgenden Streifen und die Graupegel der hellen und dunklen Streifenstrukturen.

[00267] Die Schreibweisen und detaillierten Ausdrücke der 8 Operatoren O'j0i to Oy08, berechnet für ein helles Pixelelement (B)s'j und für ein dunkles Pixelelement (D)s'j, sind wie folgt definiert (diese Operatoren definieren die Merkmale c01 bis c08): 34/60

österreichisches Patentamt AT 11 770 U1 2011-04-15 [00268] {B)S' and (D)S: [00269] (B)S j and (D)sij: [00270] wF: [00271] (B)k's, (Βνθ; [00272] (Β)^, <B)k'e: [00273] düst ^ ß) ^, ·, helle und dunkle Streifen charakterisiert durch Operation Oljm Elemente von (B)S' und (D)S', auf die Oljm angewendet wird Fenster, das die Bildregion definiert, wo der Operator Oljm angewendet wird, die Größe von wF kann fest oder variabel sein Positionen entlang Ü des ersten und des letzten Elements von und (D)Si in wF Distanz von (B)s'j zu dem nächsten hellen und dunklen Streifen ele-ment entlang der Richtung ü [00274]

Distanz von (B)s'c zu dem nächsten hellen und dunklen Streifen ele-ment in der entgegengesetzten Richtung von ü [00275] (01), (02): Intensität (Graupegel) [00276] von (Β)β) und ^s), wF fest oä = lB>4 0’-' _ w02 — [00277] (03), (04): Minimaldistanz [00278] von ^S1 und ^S'.wpfest 0 fj _ 03 — oä = [00279] (05), (06): Maximaldistanz [00280] von ^S1 und (D,S', wFfestoä = Oos = max[distl^(D)e,,; dist2-^ j] [00281] (07), (08): Abweichung [00282] von (B)S' und (D)Sj, wF variabel((<«** _«*<)|!(<*»*; _<ß>4)| [00283] Diese 8 Merkmale 82 können definiert sein für die Charakterisierung von vertikalen, periodischen Streifenstrukturen. Diese wurden erhalten durch Projizieren eines strukturierten Lichtmusters auf die zu inspizierende Oberfläche. [00284] Auf dem Gebiet des optischen, zerstörungsfreien Testens führen Bildmuster, die mit oä = oä = 35/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 interferometrischen Verfahren erhalten werden, zu ähnlichen hellen und dunklen Fringestruktu-ren 102. Ähnlich zu der Interpretation der Streifen gibt die Geometrie der Ränder wichtige Informationen im Hinblick auf die Qualitätssteuerung des zu inspizierenden Objekts.

[00285] Spezifische Merkmale für die Interpretation solcher Fringestrukturen sind die adaptiven Fringemerkmale 102. Die Charakterisierung der hellen und dunklen Streifen kann durch diese adaptiven Fringemerkmale 102 erreicht werden, die auch geometriebasierte 94, intensitätsbasierte 98 und/oder statistikbasierte 99 Merkmale aufweisen können.

[00286] Holographische Interferometrie (Hl) oder Fleckeninterferometrie (Sl; speckle interfero-metry) sind optische, zerstörungsfreie Messverfahren, die kohärentes Licht verwenden. Beide Techniken basieren auf der Interpretation der Interferenzfringemuster. Diese Interferenzmuster werden erzeugt durch zwei sich störende Wellenfelder aus dem Objekt, aufgezeichnet in zwei unterschiedlichen Positionen oder in zwei unterschiedlichen Belastungszuständen. Somit können interferometrische Verfahren an die Erfassung und Messung von verschiedenen Defekten angewendet werden, wie z. B. Spannungsfeld oder interne und/oder Oberflächendefekte.

[00287] Die Anwendung von interferometrischen Techniken ist daher sehr vielfältig, wie z. B. 3D-Messung, Materialdeformationsmessung oder Oberflächen Inspektion.

[00288] Der Großteil der Definitionen von spezifischen Merkmalen zu Identifikations- und Klassifikationszwecken von Mustern, die helle und dunkle Strukturen zeigen, wird für Anwendungen vorgeschlagen, die eine Technik mit kohärentem Licht verwenden.

[00289] Geometrische Merkmale 94, die die Fehlermuster charakterisieren, können für die automatische Erfassung von Rändern in Mustern verwendet werden, die defekte Objektteile darstellen. Weiter kann ein Satz aus geometrischen 94 und statistischen 99 Merkmalen für die Interpretation von holographischen, interferometrischen Rändern 102 angewendet werden, z. B. für medizinische Zwecke. Weitere Verfahren umfassen Wavelet- oder Fourier-Transformationen für die Charakterisierung von Fehlern.

[00290] Die Klassifizierung von Fehlern unter Verwendung interferometrischer Bilder kann auch auf der direkten Interpretation der Strukturen in dem Bild basieren. Ein Merkmalssatz für die Beschreibung eines Randes (Fringe) oder eines Satzes aus Rändern (Fringes), die in einem lokalen Bereich gezeigt sind, kann angewendet werden.

[00291] Der lokale Bereich, der für die Berechnung der Merkmale verwendet wird, kann an den Skelettbildpixeln 100 positioniert sein oder kann an einem vorsegmentierten, hellen Teilpixel-96-Streifenelement positioniert sein. Der letztere Segmentierungsansatz ist besser an die betrachteten Streifenbilder angepasst.

[00292] Nur die hellen Ränder können charakterisiert sein oder sowohl helle als auch dunkle Strukturen können charakterisiert sein. Einige Merkmale können speziell für bestimmte Typen von Fringestrukturen definiert sein, wie z. B. die „Augen“ (eyes) oder die „Augenketten“-Struktu-ren (eyes chains).

[00293] Fringemerkmale (adaptive Fringemerkmale 102) können für die Charakterisierung von sowohl hellen als auch dunklen Strukturen angewendet werden, die in dem Streifenmuster gezeigt sind. Zum Beispiel können vier auf Geometrie 94 und zwei auf Statistik 99 basierende Merkmale für die Charakterisierung von hellen Fringemustern verwendet werden, wobei die Charakterisierung der dunklen Streifen unter Verwendung dieser Fringemerkmale 102 möglicherweise nicht adressiert wird.

[00294] Bei einem Ausführungsbeispiel beschreibt die erste Merkmalsgruppe die Form, die Tangentenrichtung, die Krümmung und die Geradheit der hellen Ränder. Die zweite Merkmalsgruppe hingegen charakterisiert die Länge und die Anzahl von Pixelelementen, die die hellen Ränder in einem Fenster wF definieren.

[00295] Die Längen-, Krümmungs- und Form-Merkmale können gemäß den nachfolgend gegebenen Definitionen implementiert sein, diese werden genannt F1, F2 und F3. Die Anzahl von Elementen, Geradheit und Tangentenrichtung beziehen sich auf die Merkmale genannt F4, F5 36/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 und F6.

[00296] Die Schreibweisen und detaillierten Ausdrücke der 12 Operatoren O^og bis O'^o, berechnet für ein helles Pixelelement (B)s'j und für ein dunkles Pixelelement (D)s'j, sind wie folgt definiert (diese Operatoren definieren die Merkmale c0g bis c2o): [00297] (09), (10): Tangentenrichtung [00298] von {B)S' und {D)S' bei (Β)5) und ^s), wF fest 0¾ = oä = tan-1 (Wsf) [00299] (11), (12): Krümmung [00300] von {B)S' und {D)S' bei {B)s\ und ^s), wF fest 0¾ = 0¾ = [00301] (13), (14): Länge tan!(Wsj) tan’p^j) [00302] von und ^S1, wF variabel

Ov - Ö‘iJ - 1mgthw^S^) [00303] (15), (16): Form [00304] von (B)S' und (D)S', wF variabel ryi — 0¾ = [00305] (17), (18): Geradheit [00306] von (B)S' und (D)S', wF variabel oft = -1) · Σ ~ i» 2 OS = 3=2 [00307] (19), (20): Anzahl von Elementen [00308] von {B)S' und {D)S' in wF variabel II II O O {B)M. TT \fp u Wp 37/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [00309] Die Klassifikation der Streifenbildmuster unter Verwendung der adaptiven Merkmale 64 kann erreicht werden durch Wiedergewinnen 20 unterschiedlicher Merkmale c0i bis c2o, die die hellen und dunklen Streifenstrukturen kennzeichnen, die in den Bildern gezeigt sind.

[00310] Die Bewertung dieser 20 adaptiven Merkmale c0i bis c2o 64 kann auf vier unterschiedlichen Parametereinstellungen basieren. Zwei Sätze umfassen die Teilpixeloperatoren CM5 und BR5, wohingegen zwei weitere Sätze unterschiedliche Werte von lokalen Fenstergrößen dWF betrachten.

[00311] Verglichen mit Klassifikationsergebnissen der Texturmerkmale 80 sind Klassifikationsergebnisse für adaptive Merkmale 64 ähnlich, soweit ein Ansatz 10-F oder eine Prozedur LoO betrachtet wird. Die Nearest-Neighbor-Klassifizierer können den NB-Ansatz an Leistung übertreffen. Abhängig von einer Fenstergröße für ein Merkmal kann das Auswählen besserer Klassifikationsraten erreicht werden. Soweit der Einfluss der Größe des Bildes auf die Klassifikationsergebnisse betrachtet wird, können ähnliche Klassifikationsergebnisse erreicht werden. Klassifikationsraten können für Bildmuster der Größen 128 x 128 Pixel abnehmen, die mit einem NB-Klassifizierer klassifiziert sind.

[00312] Ein Verfahren adaptiver Merkmale 64 für die Charakterisierung von Streifenbildmustern basiert auf der Berechnung von spezifischen Merkmalen für die Charakterisierung der hellen und der dunklen Streifenstrukturen, die in den Bildern gezeigt sind. Das Klassifizieren 30 des Bildes 24 unter Verwendung der sechs geometriebasierten 94 und zwei intensitätsbasierten 98 Merkmale (01), (02), (03), (04), (05), (06), (07), (08) in Kombination mit den zwölf fringebasier-ten 102 Merkmalen (09), (10), (11), (12), (13), (14), (15), (16), (17), (18), (19), (20) mit einem LoO-Klassifikationsverfahren führt zu besseren Klassifikationsraten und niedrigstem Risiko Cp = 88,4% und CR = 0,11.

[00313] Ein Verfahren zum Klassifizieren 30 des Bildes 24 durch Texturmerkmale 80 unter Verwendung der zehn optimierten Fourier-basierten 90 Merkmale Ρθΐθ2 führt zu ähnlichen Klassifikationsergebnissen. Die beste Klassifikationsrate und das niedrigste Risiko unter Verwendung dieser Fourier-basierten Merkmale sind CP = 88,8 % und Cr = 0,11, wenn ein LoO-Klassifikationsverfahren betrachtet wird.

[00314] Die Differenz zwischen dem optimierten Transformations- 66 und dem optimierten adaptiven 64 Ansatz liegt in der Erfassung der defekten 2D-Oberflächen und der Falscher-Alarm-Rate. In dem Fall einer LoO-Prozedur ist die Klassifikation von 2D-Oberflächen besser, wenn die umfassten, adaptiven Merkmale 64 verwendet werden, Cd,2d = 92,3 %. Eine Rate von Cd,2d = 89,2 % kann unter Verwendung der Texturmerkmale 80 erhalten werden. Trotzdem ist die Falscher-Alarm-Rate für das adaptive Verfahren 64, Cf,3D2d = 9,4 % höher als für den Transformationsansatz 66, CF,3D2D = 7,2 %.

[00315] Die Texturmerkmale 80 und die adaptiven Merkmale 64, die oben beschrieben sind, sind optimal geeignet für die Charakterisierungen von Streifenmustern. Tatsächlich übertrifft keiner der anderen Texturansätze (84, 86, 92) die Leistung des oben beschriebenen adaptiven Verfahrens 64, außer dem Fourier-Ansatz 90, der zu ähnlichen Klassifikationsraten führt.

[00316] Die Tatsache, dass die zehn optimierten Fourier-Merkmale Ρθιθ2 zu ähnlichen Ergebnissen führen wie die vorgeschlagenen 20 adaptiven Merkmale (01) - (20), zeigt, dass, so weit die Störungen der vertikalen und periodischen Muster klassifiziert werden müssen, die direktio-nalen Regionen des Leistungsspektrums sehr gut angemessen sind für ihre Charakterisierung. Somit besteht ein weiterer Schritt aus der Verbesserung der erreichten Klassifikationsergebnisse durch Kombinieren dieser zwei optimierten Fourier- und der adaptiven Merkmalssätze.

[00317] Ausführungsbeispiele der Erfindung liefern eine solche Kombination aus Merkmalen.

[00318] Die besten Klassifikationsergebnisse unter Verwendung der adaptiven Merkmale 64 können jedoch erhalten werden für angepasste Größen von Bildmustern, die handsegmentiert sind, so dass nur die gestörte Streifenstruktur, die charakterisiert werden soll, in dem Muster gezeigt ist. 38/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [00319] Das Handsegmentieren jeder Bildregion vor ihrer Klassifikation ist natürlich im Hinblick auf einen vollständig automatischen Inspektionsprozess nicht möglich, so dass nicht überwachte und angepasste Segmentierungsverfahren definiert sein sollten. Es kann eine Lösung sein, die Bildmuster zu segmentieren, um mit Hilfe von Schiebe-Überlappungs-Fenstern konstanter Größen zu klassifizieren. Die Größe der überlappenden Regionen kann gemäß den Spezifikationen der Inspektionsaufgabe definiert sein. Somit wird in dem Fall einer Klassifikationsmethode, die beide Merkmalssätze (64, 66) kombiniert, derselbe Bildsatz Φ64*2 berücksichtigt. Bildmuster aus 64 x 64 Pixeln werden häufig durch die Computervisionsgemeinschaft betrachtet, so weit Schiebefenster betroffen sind.

[00320] So weit die Klassifikation von Streifenmustern betroffen ist, werden verschiedene Texturmerkmalssätze 80 getestet und mit einem adaptiven Satz aus Merkmalen 64 verglichen, der besonders für diese Klassifikationsaufgabe entwickelt ist. Die Ergebnisse haben gezeigt, dass die 10 direktionalen Fourier-Merkmale Ρθΐθ2 und die 20 spezifischen adaptiven Merkmale (01) -(20) zu den besten Klassifikationsergebnissen führen. In beiden Fällen übertrifft der One-Nearest-Neighbour-Ansatz (ein nächster Nachbar) die Leistung der zwei anderen betroffenen Klassifizierer, die die Verfahren Three-Nearest-Neighbour (drei nächste Nachbarn) und Naive-Bayes sind. Diese zwei Merkmalssätze wurden in dem Kontext von unterschiedlichen Merkmalswiedergewinnungsansätzen definiert, wobei der erste die Aufteilung der spektralen Verteilungen verwendet, der zweite spezifische geometrische und statistische Charakteristika direkt aus dem Streifenmuster extrahiert. Im Hinblick auf die erreichten Klassifikationsergebnisse wurden beide Merkmalssätze separat getestet und ergaben annähernd dieselben Erfassungsraten. Das adaptive Verfahren 64 war etwas empfindlicher im Hinblick auf die Erfassung von 2D-Defekten mit der negativen Wirkung einer etwas höheren Rate falscher Alarme.

[00321] Die Frage ist, ob mehr Merkmale zu mehr Unterscheidungsleistung führen. Somit bestätigen Ausführungsbeispiele der Erfindung, dass ein kombinierter Ansatz, der beide Merkmalssätze (64, 66) umfasst, zu einer Verbesserung der Klassifikationsraten führt.

[00322] Im Hinblick auf die ähnlichen Ergebnisse, die mit diesen zwei unterschiedlichen Merkmalssätzen erreicht werden, ist es sehr wohl denkbar, dass unter diesen 30 Merkmalen, die aus der Kombination der 10 Texturmerkmale und der 20 adaptiven Merkmale resultieren, eine bestimmte Menge an irrelevanten und redundanten Informationen unvermeidbar ist. Damit ein weiterer Merkmalsauswahlprozess zu einer Verbesserung des gesamten Klassifikationsprozesses führt, können unterschiedliche Merkmalsteilsatzauswahlmethoden an die kombinierten 10 direktionalen Fourier-Merkmale und die 20 adaptiven Merkmale angewendet werden, um die Klassifikationsraten zu verbessern.

[00323] Um die erreichten Klassifikationsraten zu verbessern, werden geeignete Merkmalsauswahlverfahren durch Ausführungsbeispiele der Erfindung verwendet. Es ist gezeigt, dass zuerst durch Kombinieren der Fourier-Texturmerkmale und der angepassten Streifenmerkmale und dann Wiedergewinnen des angemessensten Teilsatzes beste Klassifikationsergebnisse erreicht werden. Eine Rate von CP = 91,2 % kann erreicht werden.

[00324] Der Hauptwert, der das Verhalten eines bestimmten Klassifikationsprozesses ausdrückt, ist der Prozentsatz von korrekt klassifizierten Mustern CP, ausgedrückt in Prozent. Die folgenden Klassifikationsraten werden ebenfalls adressiert: der Prozentsatz aus korrekt klassifizierten, defekten Objektoberflächen Cd,3D2d (echt positiv), die Rate aus falsch klassifizierten, nicht defekten Objektoberflächen Cf,3D2d (falsch positiv) oder die Raten einer korrekten Klassifikation von defekten 3D- und 2D-Objektoberflächen, wenn nur Objektoberflächen der Klassen QRi3D und Qr 2d betrachtet werden, Cd,2d (echt positiv 3D) und 2D (echt positiv 2D).

[00325] Soweit die industrielle Anwendung betroffen ist, wird das Verhalten eines Klassifikationsprozesses ausgedrückt mit Hilfe des Klassifikationsrisikos CR, dessen Berechnung Kostenwerte umfasst. Diese wurden gemäß den Spezifikationen der industriellen Inspektionsaufgabe definiert.

[00326] Fig. 9 zeigt ein Diagramm eines Verfahrens 4 zum Auswählen eines optimierten Bewer- 39/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 tungsmerkmalsteilsatzes 50 für eine Inspektion von Freiformoberflächen, die durch strukturiertes Licht beleuchtet sind, auf der Basis eines Referenzmustersatzes 52, der Oberflächenbereiche von Freiformobjekten zeigt, wobei jedes Muster des Referenzsatzes 52 einem defekten oder nicht defekten Referenzzustand 54 des jeweiligen Oberflächenbereichs der Freiformobjekte zugeordnet ist.

[00327] Das Verfahren 4 weist das Erzeugen 56 einer Mehrzahl von Kombinationen von Bewertungsmerkmalen 58 auf, wobei jede Kombination aus Bewertungsmerkmalen 58 einen ersten Satz aus Merkmalen 60 und einen zweiten Satz aus Merkmalen 62 aufweist, wobei der erste Satz aus Merkmalen 60 aus einer ersten Gruppe von adaptiven Merkmalen 64 ausgewählt ist und wobei der zweite Satz aus Merkmalen 62 aus einer zweiten Gruppe aus Texturmerkmalen 80 ausgewählt ist. Die erste Gruppe aus adaptiven Merkmalen 64 kann intensitätsbasierte Merkmale, geometriebasierte Merkmale und/oder fringebasierte (fringe-based) Merkmale aufweisen. Die zweite Gruppe aus Texturmerkmalen 80 kann transformationsbasierte Merkmale, Strukturmerkmale und/oder statistische Merkmale aufweisen.

[00328] Das Verfahren 4 weist ferner das Bewerten 68 jedes Pixels oder eines Teilsatzes der Pixel der Muster des Referenzsatzes 52 mit jeder Kombination aus Bewertungsmerkmalen 58 zum Erhalten eines bewerteten defekten oder nicht defekten Zustands 70 der jeweiligen Oberflächenbereiche auf.

[00329] Das Verfahren 4 weist ferner das Vergleichen 72 des bewerteten defekten oder nicht defekten Zustands 70 mit dem defekten oder nicht defekten Referenzzustand 54 zum Erhalten einer Erfassungsrate 74 für jede Kombination aus Bewertungsmerkmalen 58 auf.

[00330] Das Verfahren 4 weist ferner das Bestimmen 76 des optimierten Bewertungsmerkmalsteilsatzes 50 basierend auf den Erfassungsraten 74 auf.

[00331] Mit dem optimierten Bewertungsmerkmalsteilsatz 50 kann ein Bild 24 klassifiziert 30 werden, um eine Klasse 32 zu erhalten, die einen defekten oder nicht defekten Zustand 28 des Bildes 24 anzeigt. Das Klassifizieren 30 kann ein Klassifizieren 30 sein, wie es in Fig. 2 beschrieben ist. Der optimierte Bewertungsmerkmalsteilsatz 50 kann für ein Verfahren 2 verwendet werden zum Inspizieren einer Freiformoberfläche, die durch ein strukturiertes Licht beleuchtet ist, wie in Fig. 2 gezeigt ist. Ein Kombinationsverfahren zum Inspizieren einer Freiformoberfläche, die durch ein strukturiertes Licht beleuchtet ist, das ein Verfahren aufweist zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion von Freiformoberflächen, kann angewendet werden.

[00332] Ein solches Verfahren für eine optimierte Inspektion einer Freiformoberfläche weist das Verfahren 4 zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes und das Verfahren 2 zum Inspizieren einer Freiformoberfläche 20 auf, die durch ein strukturiertes Licht 22 beleuchtet ist, wobei die Kombination der Bewertungsmerkmale 26 dem optimierten Merkmalsbewertungsteilsatz 50 entspricht.

[00333] Der optimierte Bewertungsmerkmalsteilsatz 50 kann durch ein Maximum der Erfassungsraten 74 von jeder Kombination aus Bewertungsmerkmalen 58 bestimmt sein, derart, dass die beste Erfassungsrate den optimierten Bewertungsmerkmalsteilsatz 50 liefert. Der optimierte Bewertungsmerkmalsteilsatz 50 kann weniger Merkmale aufweisen als eine Kombination aus allen der Merkmale des ersten Satzes aus Merkmalen 60 und des zweiten Satzes aus Merkmalen 62.

[00334] Jedes Pixel oder ein Teilsatz der Pixel der Muster des Referenzsatzes 52 kann mit jeder Kombination aus Bewertungsmerkmalen 58 bewertet werden, bis ein Stoppkriterium erfüllt ist. Das Stoppkriterium kann erfüllt sein, wenn alle Kombinationen aus Bewertungsmerkmalen bewertet wurden oder wenn eine Schwelle erreicht ist. Die Schwelle kann eine minimale Anzahl aus Merkmalen für den optimierten Bewertungsmerkmalsteilsatz 50 sein, eine maximale Anzahl von Iterationen zum Bewerten 68, ein Minimalwert für die Erfassungsrate 74, eine Einschränkung der Anzahl einer Zurückverfolgung (backtracking) oder eine Bedingung, dass keine höhere Erfassungsrate 74 bestimmt ist. 40/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [00335] Das Auswählen des relevantesten Merkmalsteilsatzes vor dem Lernen kann vorteilhaft sein für die Klassifizierungsaufgabe, da es die Dimensionalität der Daten reduziert und ermöglichen kann, dass Lernalgorithmen schneller und effizienter laufen.

[00336] Durch Anwenden einer Merkmalsauswahlprozedur an den kombinierten Satz aus 30 Merkmalen, d. h. die 10 direktionalen Fourier-Merkmale Ρθΐθ2 und die 20 spezifischen, adaptiven Merkmale (01) - (20), kann die Genauigkeit der Streifenmusterklassifizierung verbessert werden. Der Zweck eines Merkmalsauswahlprozesses ist die Erzeugung eines Merkmalsteilsatzes, der aus den relevantesten Informationen besteht. Diese iterative Prozedur kann durch vier Hauptteile dargestellt sein.

[00337] Die Erzeugung und Bewertung jedes neuen Teilsatzes für jede Iteration. Ein Stoppkriterium und eine Ergebnisvalidierung. Zwei unterschiedliche Ansätze einer Merkmalsteilsatzerzeugung können betrachtet werden: Filter- und Wrapper- (Umhüllungs-) Verfahren. Das erste Verfahren besteht aus dem Herausfiltern der irrelevanten Daten unabhängig von dem Klassifikationsprozess. Das zweite Verfahren verwendet die Maschinenlernalgorithmen, die für eine Lernprozedur eingesetzt werden. Ähnliche Merkmalssuchstrategien können in beiden Fällen angewendet werden. Es wird unterschieden zwischen einer Vorwärtsauswahl (der Prozess beginnt ohne ausgewählte Merkmale), einer Rückwärtseliminierung (der Prozess beginnt mit dem kompletten Teilsatz) oder einer bidirektionalen Suchstrategie, die beide Methoden kombiniert und mit einem zufälligen Teilsatz aus Merkmalen beginnt.

[00338] Die Bewertung des erzeugten Teilsatzes, d. h. seine Güte, kann gemäß einem bestimmten Kriterium ausgeführt werden. Zwei Gruppen können unterschieden werden: die unabhängigen Kriterien und die abhängigen Bewertungskriterien. Das erste wird üblicherweise bei Algorithmen von Filtermodellen verwendet, wohingegen das zweite bei Wrapper-basierten Merkmalsauswahlmodellen angewendet wird.

[00339] Unabhängige Kriterien basieren auf den Beziehungen zwischen den Merkmalen, die hochkorrelierte Charakteristika eliminieren, die redundant sind für die Vorhersage. Unabhängige Kriterien verwenden z. B. die Distanzen zwischen den Merkmalen, wie z. B. die Bhattacharyya-Distanz oder die Hausdorff-Distanz. Der Informationsgewinn oder die Abhängigkeit zwischen Merkmalen sind weitere unabhängige Kriterien, die durch filterbasierte Merkmalsauswahlansätze verwendet werden. Im Hinblick auf die abhängigen Bewertungskriterien wird die Bewertung und die Optimierung der Genauigkeitsrate gemäß dem Verhalten des Maschinenlernalgorithmus ausgeführt, der den ausgewählten Merkmalsteilsatz verwendet. Im Fall von kleinen Sätzen aus Relevanzmustern kann eine Kreuzvalidierungsprozedur die Bewertungsbestimmung häufig verbessern.

[00340] Es ist schwierig vorherzusagen, welcher des Filter- oder des Wrapper-Ansatzes geeigneter für eine spezifische Klassifikationsaufgabe wäre. Abhängige Bewertungsprozeduren können ein besseres Ergebnis ergeben als die unabhängigen Ansätze, da diese Prozeduren Merkmale finden, die besser geeignet für den Lernalgorithmus sind. Trotzdem ist es ihr Hauptnachteil, dass sie höhere Rechenkosten verursachen, da die gesamte Lernprozedur an jedem Auswahlschritt aufgerufen wird.

[00341] Ein anderer wichtiger Parameter im Hinblick auf eine iterative Merkmalsauswahlprozedur ist das Stoppkriterium. Der einfachste ist das Beenden der Suche des Merkmalsteilsatzes, wenn alle berechneten Merkmale ausgewählt wurden. Die Suchprozedur kann auch stoppen, wenn einige Schwellenvariablen erreicht sind. Diese können z. B. die minimale Anzahl von Merkmalen, die maximale Anzahl von Iterationen oder der Minimalwert der Fehlerrate sein. Komplexere Prozeduren, wie z. B. die Einschränkung der Anzahl von Zurückverfolgung, kann auch die Stoppbedingungen bestimmen. Merkmalsteilsatzsuchalgorithmen können auch stoppen, wenn eine nachfolgende Hinzufügung oder ein Löschen eines beliebigen Merkmals keinen besseren Teilsatz erzeugt.

[00342] Sobald die Auswahlprozedur der besten Merkmale beendet ist, wird der Merkmalsteilsatz validiert. Dies wird im Allgemeinen ausgeführt durch Vergleichen der Klassifizierungsleis- 41/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 tungen unter Verwendung des vollen Merkmalssatzes und unter Verwendung des berechneten Merkmalsteilsatzes.

[00343] Fig. 9 zeigt das Diagramm des Verfahrens zum Auswahlen eines optimierten Bewertungsmerkmalsteilsatzes mit den drei Hauptteilen des Erzeugens 56 von Kombinationen aus Bewertungsmerkmalen 58, Bewerten 68 der Kombinationen aus Bewertungsmerkmalen 58 mit einem Referenzmustersatz 52 und Bestimmen 76 (Stoppkriterium) des optimierten Bewertungsmerkmalsteilsatzes 50. Das Klassifizieren 30 (und Ergebnisvalidierung) basiert auf diesem optimierten Bewertungsmerkmalsteilsatz 50.

[00344] Das Merkmalsauswahlprinzip ist ähnlich zu der Musterklassifikationsaufgabe, wo eine Lernphase und eine Testphase betrachtet werden. Die Aufgabe des Auswählens der relevantesten Merkmale kann auch in einen Trainingsschritt und einen Testschritt unterteilt sein. Sobald der beste Merkmalsteilsatz (optimierter Bewertungsmerkmalsteilsatz 50) berechnet wurde nach einer Lernphase mit Hilfe eines Referenzmustersatzes 52, kann die Validierung (Klassifizierung 30) unter Verwendung eines anderen Satzes aus Mustern gemäß dem Klassifizierungsverfahren 30 ausgeführt werden, wie in Fig. 2 gezeigt ist, wo ein anderer Referenzmustersatz 42 für einen Lernschritt 40 verwendet wird. Beide Verfahren können kombiniert werden, derart, dass das Klassifizieren 30, das in Fig. 2 gezeigt ist, den optimierten Bewertungsmerkmalsteilsatze 50 verwendet, der in Fig. 9 gezeigt ist, für die Kombination aus Bewertungsmerkmalen 26, was in Fig. 2 gezeigt ist.

[00345] Für das Lernen 40, das in Fig. 2 gezeigt ist, kann ein Wrapper-basiertes Merkmalsauswahlverfahren, z. B. ein k-NN-Verfahren, angewendet werden. Wrapper-basierte Merkmalsauswahlmodelle sind abhängige Bewertungskriterien, da sie einen Klassifikationsalgorithmus für die Bewertung jedes Merkmalsteilsatzes verwenden. Die Merkmalsteilsatzerzeugung kann ausgeführt werden unter Verwendung eines Lernsatzes (Referenzmustersatz 52), der in Fig. 9 gezeigt ist. Der berechnete, optimierte Bewertungsmerkmalsteilsatz 50 (cSUb) wird dann für die Ergebnisvalidierung mit Hilfe eines Testsatzes (Referenzmustersatz 42) verwendet, gezeigt in Fig. 2, der nicht während des Merkmalsteilsatzauswahlprozesses verwendet wurde.

[00346] Im Hinblick auf die Klassifikation von Streifenbildern kann das Nearest-Neighbour-1-NN- das -3-NN- und das NB-Verfahren an Leistung übertreffen. Derselbe Algorithmus kann für die Wrapper-basierte Auswahl und für den Ergebnisvalidierungsprozess verwendet werden. Somit wird in dem Fall einer Streifenbildklassifikation unter Verwendung von Wrapper-basierten Verfahren der 1-NN-musterbasierte Klassifiziererweiter berücksichtigt.

[00347] Dieser Klassifizierer führt zu den besten Klassifikationsergebnissen, so weit die direkti-onalen Fourier-Peie2 und die adaptiven Merkmale (01) - (20) betoffen sind. Somit verbessert ein Merkmalsauswahlansatz basierend auf dem 1-NN-Klassifizierer die Klassifikation der Streifenmuster.

[00348] Filterbasierte Merkmalsauswahlschemata verwenden die Beziehung zwischen den Merkmalen und den Klassen zum Wiedergewinnen des geeignetsten Merkmalsteilsatzes. Eine Merkmalsauswahl im Fall von überwachten Klassifikationsansätzen kann auf der Basis einer Korrelation zwischen Merkmalen erreicht werden. Unterschiedliche Korrelationsmaßnahmen können für die Klassifikation von Datensätzen verwendet werden. Es hat sich gezeigt, dass eine korrelationsbasierte Methode zu vergleichbaren Ergebnissen führen kann wie ein Wrapper-basierter Ansatz.

[00349] Das Grundprinzip von korrelationsbasierten Merkmalsauswahlverfahren ist, dass gute Merkmalsteilsätze Merkmale enthalten, die hoch mit der Klasse korreliert sind, jedoch nicht miteinander korreliert sind. In dem Fall einer Vorwärtsauswahlprozedur wird ein Merkmalsteilsatz mit Ncsub Merkmalen als optimal betrachtet, wenn seine heuristische Leistung bzw. Wert, die den Grad einer Merkmal-Merkmal- und Merkmal-Klasse-Korrelation für eine gegebene Merkmalsklasse, Ωκ e {ΩΑ, Ω^ο, Ω^} misst, maximal ist.

[00350] Ein korrelationsbasierter Merkmalsauswahlprozess CFS (correlation-based feature selection process) kann z. B. verwendet werden, wie er präsentiert wird von „Mark A. Hall, 42/60 österreichisches Patentamt AT 11 770 U1 2011-04-15

Correlation-based feature selection for machine learning, Ph.D. thesis, University of Waikato, Neuseeland, 1999“.

[00351] Die Gleichung eines Werts (merit) NcsubQkM eines Merkmalsteilsatzes, der Ncsub Merkmale für ein bestimmtes Klassenetikett Ωκ enthält, ist (angepasst für eine Inspektion aus Freiformoberflächen): N,

N iRj Γβ*"*β' AL.., Σ rei„,iÄ ^ 'bkö

jl=0 j2=Q ~ ^ ,.Nr i Σ Σ r<£t<i vpub ^jpisb [00352] fcsubQK und rcsubcsub sind die durchschnittlichen Merkmal-Klasse- und die mittleren Merk-mal-Merkmal-Korrelationskoeffizienten, die den Grad der Abhängigkeit von einer Variablen von einer anderen messen. Diese zwei Koeffizienten können derart definiert sein, dass sie der Pearson-Korrelationskoeffizient von zwei Vektoren sind. Seine Berechnung unterscheidet sich gemäß Werten der Vektoren, d. h. ob beide kontinuierlich sind odereinerderseiben diskret ist.

[00353] Somit unterscheiden sich die Gleichungen, die rcjsubQKj und rCj1subcJ2sub definieren:

AV ^Η=Σρίζ1κ''τ^{Μ ftscl

Nf and >V ,it>. = -

tai Λρ m* V

1 ÄllO -Vr V1 c·*2 ''lu.iSufc J_fe*1_

Nf σ^ι σ* rub «ub [00354] Diese Gleichungen definieren die Merkmal-Klasse- und die Merkmal-Merkmal-Koeffi-zienten für einen Merkmalsteilsatz, der Ncsub Merkmale enthält, und für ein bestimmtes Klassenetikett Ωκ. ρ(Ωκ) ist die vorherige Wahrscheinlichkeit der Klasse Ωκ. Der Merkmalsteilsatz für die Ncsub Merkmale kann wiedergewonnen werden aus den NF Bildmustern. dsub(k) ist der k-te Wert des Vektors cjsub(k = 1,..., NF), dessen Klassenetikett Ωκ ist. DjK,bi ist ein binärer Vektor, dessen Werte 1 sind, wenn die Klasse eines Merkmals dsub Ωκ ist, und ansonsten 0 sind.

[00355] Das Erzeugen von 56 Kombinationen aus Bewertungsmerkmalen 58, wie in Fig. 9 gezeigt ist, kann einen iterativen Merkmalsauswahlprozess aufweisen. Eine Merkmalsvorwärts-auswahlprozedur mit einer Menge an Zurückverfolgung von z. B. 5 als das Stoppkriterium kann adressiert werden. Ein iterativer Merkmalsauswahlprozess kann mit einem leeren, anfänglichen Merkmalsteilsatz starten.

[00356] Die Merkmalsauswahl (Bewerten 68 aus Fig. 9) und die Musterklassifikation (Klassifizieren von Fig. 9) kann einer 10-F-Kreuzvalidierungsprozedur folgen. 43/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 [00357] Fig. 10 zeigt ein Diagramm, das Erfassungs- (Klassifikations-) Raten 74 von unterschiedlichen Kombinationen aus Bewertungsmerkmalen 58 für ein Verfahren zeigt zum Inspizieren einer Freiformoberfläche, die durch strukturiertes Licht beleuchtet ist, gemäß einem Ausführungsbeispiel der Erfindung. Einige der Kombinationen der Bewertungsmerkmale 58 (die zwei rechten Merkmalssätze in dem Diagramm) wurden ausgewählt durch ein Verfahren zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes für eine Inspektion der Freiformoberflächen gemäß einem weiteren Ausführungsbeispiel der Erfindung.

[00358] Der Merkmalssatz cs weist die 20 adaptiven Merkmale (01) - (20) auf, wie oben beschrieben ist. Der Merkmalssatz cF,0 weist die 10 direktionalen Fourier-Merkmale Ρθΐθ2 auf, wie oben beschrieben ist. Der Merkmalssatz cF,0_s weist eine Kombination der 10 direktionalen Fourier-Merkmale Ρθΐθ2 und der 20 adaptiven Merkmale (01) - (20) auf. Der Merkmalssatz cf,9_s_cfs weist einen optimierten Bewertungsmerkmalsteilsatz auf, ausgewählt aus Kombinationen der 10 direktionalen Fourier-Merkmale Ρθΐθ2 und der 20 adaptiven Merkmale (01) - (20) durch ein CFS-Verfahren. Der Merkmalssatz cf,0_sj-nn weist einen optimierten Bewertungsmerkmalsteilsatz auf, ausgewählt aus Kombinationen der 10 direktionalen Fourier-Merkmale Ρθΐθ2 und der 20 adaptiven Merkmale (01) - (20) durch ein Wrapper-1-NN-Verfahren.

[00359] Der 1-NN-Klassifizierer wird verwendet, da dieser Ansatz zu den besten Klassifikations-(Erfassungs-) Raten für beide Merkmalsextraktionsverfahren führt. Auch ein 10-F-Klassifikati-onsansatz kann betrachtet werden, der ähnliche Ergebnisse zu einer LoO-Prozedur ergibt.

[00360] In dem Diagramm aus Fig. 10 werden feste Größen aus Referenzmustern betrachtet. Die Klassifikation wird an Bildsätze Φ64Λ2 angewendet. Der Hauptgrund für das Verwenden dieses Merkmalssatzes ist, dass, so weit die automatische Klassifikation der Streifenmuster betroffen ist, eine automatische Segmentierungsprozedur des Bildes, das die gestörten Streifenstrukturen zeigt, die interpretiert werden sollen, nicht in den Ergebnissen adressiert wird, die in Fig. 10 gezeigt sind. Somit kann es im Hinblick auf einen vollautomatischen Oberflächeninspektionsprozess bevorzugt sein, feste Bildgrößen zu betrachten.

[00361] Ferner hat sich auch gezeigt, dass die beste Klassifikationsrate CP = 87,9 % unter Verwendung von texturalen Ansätzen bzw. Texturansätzen (textural approach) cF,0 erreicht wurde durch Anwenden der direktionalen Fourier-Merkmale an die Bilder mit festen Größen des Satzes Φ64Λ2 (eine 10-F-Prozedur wird betrachtet). Im Hinblick auf die adaptiven Merkmale Cs wurde die beste Rate CP = 88,9 % erhalten unter Verwendung der Bilder mit angepassten Größen des Satzes Φ3ά1 (eine 10-F-Prozedur wird betrachtet). Die nächstbeste Rate mit festen Bildgrößen war CP = 85,9 % mit dem Satz Φ^βϊηβ 10-F-Prozedur wird betrachtet).

[00362] Um die Schreibweisen zu vereinfachen, wird der adaptive Merkmalsvektor cs,g2wF,BR5, der zu einer Klassifikationsrate CP = 85,9 % führt, bezeichnet als cs. Die Schreibweise des Merkmalsvektors cF,0, der zu einer Rate von CP = 87,9 % führt, wird nicht verändert.

[00363] In dem Fall der Klassifikation des Bildsatzes Φ64*2 führen die direktionalen Fourier-Merkmale zu leicht bessern Raten als die adaptiven Merkmale. Es ist jedoch interessant zu erkennen, dass die Kombination von beiden Merkmalssätzen die Klassifikationsergebnisse nicht wesentlich verbessert, CP = 88,4 % mit CF,0 s und CP = 87,9 % mit cF,0.

[00364] Im Hinblick auf die Auswahl der entsprechende Merkmale verbessern sowohl filterbasierte als auch Wrapper-basierte Verfahren die Erfassungsraten. Das 1-NN-Verfahren übertrifft die Leistung des CFS-Ansatzes, CP = 91,2 % und CP = 89,6 %. Dieses Ergebnis validiert das Verfahren, das einen optimierten Bewertungsmerkmalsteilsatz 50 gemäß Ausführungsbeispielen der Erfindung auswählt. Nämlich, dass das 1-NN-Verfahren der geeignetste Ansatz ist, so weit die Klassifizierung der vertikalen Streifenstrukturen betroffen ist.

[00365] Eine nähere Untersuchung, welche Merkmale durch den Merkmalsauswahlprozess ausgewählt werden, hat gezeigt, dass im Allgemeinen dieselben Merkmalsgruppen für jeden der (10) Durchläufe des Merkmalsauswahlprozesses ausgewählt werden. Ein Viertel der ausgewählten Merkmale wurde mehr als acht Mal ausgewählt, diese Merkmale sind: der Streifen cs(01) (Intensität hell), cs(06) (maximale Distanz dunkel), der Fringe cs(13) (Länge hell), cs(19) 44/60 österreichisches Patentamt AT 11 770 U1 2011-04-15 (Anzahl von Elementen hell), cs(20) (Anzahl von Elementen dunkel) und das direktionale Fourier cF,0(O5) und cF,e(06). Mehr als ein Drittel der gesamten 30 Merkmale wurde nie ausgewählt. Die Anzahl von ausgewählten Merkmalen nach den 10 Durchläufen Nc,1-NN = 82 bedeutet, dass im Durchschnitt nur 8,2 Merkmale notwendig sind, um solche Ergebnisse zu erreichen.

[00366] Daher können nur wenige Merkmale für die Charakterisierung der Streifenmuster notwendig sein, so dass Klassifizierungsraten von bis zu 91,2 % erreicht werden können.

[00367] Für die Auswahl des optimierten Bewertungsmerkmalsteilsatzes 50 für die Klassifikation 30 von Freiformoberflächen hat sich gezeigt, dass ein Wrapper-basiertes 1-NN-Auswahlver-fahren einen filterbasierten CFS-Ansatz an Leistung übertrifft. Somit kann mit Hilfe einer ersten Kombination aus zwei entsprechenden Merkmalssätzen und der Auswahl des relevantesten Merkmalsteilsatzes eine Verbesserung der Erfassungsrate 74 von CP = 85,9 % auf CP = 91,2 % erreicht werden. Zusätzlich dazu ermöglicht der Auswahlprozess das Reduzieren der Anzahl von relevanten Merkmalen (von 30 auf weniger als 10 bei einem Ausführungsbeispiel).

[00368] Für beide Verzerrungstypen -1- und -2-, wie in Fig. 6 gezeigt ist, erhöht sich die Anzahl von ausgewählten Merkmalen proportional mit der Verzerrung der Streifenstrukturen in den Mustern. Angepasste Fringemerkmale werden ausgewählt, je mehr sich die hellen Streifen von einer periodischen und vertikalen Struktur unterscheiden. Tatsächlich wurden solche Merkmale in dem Kontext einer komplexen Fringestrukturinterpretation definiert.

[00369] Weniger Merkmale werden ausgewählt, wenn hochverzerrte Streifenstrukturen betroffen sind. Ohne Verzerrung ist die durchschnittliche Anzahl von ausgewählten Merkmalen ungefähr 10, und verringert sich auf ungefähr 7 für Streifenstrukturen, deren Verzerrung dem Typ -1-und dem Typ -2- entspricht. Für hochverzerrte Muster können hauptsächlich die spezifischen Streifenmerkmale der adaptiven Merkmale (09) - (20) und die direktionalen Fourier-Merkmale cF,e(06) relevant sein für den Klassifikationsprozess, insbesondere für die Muster, die dem Verzerrungstyp -1-entsprechen.

[00370] Es kann beobachtet werden, dass die Musteranordnung χ2, wie in Fig. 6 gezeigt ist, geeigneter ist als die Musteranordnung χ·,, für die Klassifikation von Freiformoberflächen. In diesem Fall führt der Wrapper-basierte Merkmalsauswahlprozess zu ähnlichen oder besseren Ergebnissen, als wenn der gesamt Merkmalssatz verwendet wird. Dann ist gemäß dem Grad einer Verzerrung des Streifenmusters eine sehr niedrige Anzahl von Merkmalen notwendig, um die besten Klassifikationsraten wiederzugewinnen.

[00371] Ausführungsbeispiele der Erfindung, die ein Verfahren liefern zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes, reduzieren die Dimensionalität der Daten und erlauben daher, dass Lernalgorithmen schneller und effizienter laufen. Dadurch wird der Inspektionsprozess im Hinblick auf Komplexitätsreduzierung verbessert, soweit die algorithmische Prozedur betroffen ist. Ein anderer wichtiger Vorteil ist die Verringerung der Verarbeitungszeit.

[00372] Abhängig von bestimmten Implementierungsanforderungen der erfindungsgemäßen Verfahren 2, 4 können die erfindungsgemäßen Verfahren 2, 4 in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speicherungsmediums ausgeführt werden, insbesondere einer Platte, DVD oder einer CD mit elektronisch lesbaren Steuersignalen, die darauf gespeichert sind, die derart mit einem programmierbaren Computersystem Zusammenarbeiten, dass die erfindungsgemäßen Verfahren 2, 4 ausgeführt werden. Im Allgemeinen ist die Erfindung daher ein Computerprogrammprodukt mit einem Programmcode, der auf einem maschinenlesbaren Träger gespeichert ist, wobei der Programmcode wirksam ist zum Ausführen der erfindungsgemäßen Verfahren 2, 4, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird. Anders ausgedrückt sind die erfindungsgemäßen Verfahren 2, 4 daher ein Computerprogramm mit einem Programmcode zum Ausführen von zumindest einem der erfindungsgemäßen Verfahren 2, 4, wenn das Computerprogramm auf einem Computer ausgeführt wird. 45/60

Claims (16)

1. österreichisches Patentamt AT 11 770 U1 2011-04-15 Ansprüche 1. Verfahren (4) zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes (50) für ein Inspizieren von Freiformoberflächen, die durch ein strukturiertes Licht beleuchtet werden, auf der Basis eines Referenzmustersatzes (52), der Oberflächenbereiche von Freiformobjekten zeigt, wobei jedes Muster des Referenzsatzes (52) einem defekten oder nicht defekten Referenzzustand (54) des jeweiligen Oberflächenbereichs der Freiformobjekte zugeordnet ist, das folgende Schritte aufweist: - Erzeugen (56) einer Mehrzahl von Kombinationen von Bewertungsmerkmalen (58), wobei jede Kombination aus Bewertungsmerkmalen (58) einen ersten Satz aus Merkmalen (60) und einen zweiten Satz aus Merkmalen (62) aufweist, wobei der erste Satz aus Merkmalen (60) aus einer ersten Gruppe von adaptiven Merkmalen (64) ausgewählt ist und wobei der zweite Satz aus Merkmalen (62) aus einer zweiten Gruppe aus Texturmerkmalen (80) ausgewählt ist, wobei die erste Gruppe aus adaptiven Merkmalen (64) streifenbasierte Merkmale (82) und/oder fringebasierte Merkmale (102) aufweist und wobei die zweite Gruppe aus Texturmerkmalen (80) transformationsbasierte Merkmale (88), Strukturmerkmale (84) und/oder statistische Merkmale (86) aufweist; - Bewerten (68) jedes Pixels oder eines Teilsatzes der Pixel der Muster des Referenzsatzes (52) mit jeder Kombination aus Bewertungsmerkmalen (58) zum Erhalten eines bewerteten defekten oder nicht defekten Zustands (70) der entsprechenden Oberflächenbereiche; - Vergleichen (72) des bewerteten defekten oder nicht defekten Zustands (70) mit dem defekten oder nicht defekten Referenzzustand (54) zum Erhalten einer Erfassungsrate (74) für jede Kombination aus Bewertungsmerkmalen (58); und - Bestimmen (76) des optimierten Bewertungsmerkmalsteilsatzes (50) basierend auf den Erfassungsraten (74).
2. 2. Das Verfahren (4) gemäß Anspruch 1, bei dem ein Maximum der Erfassungsraten (74) von jeder Kombination aus Bewertungsmerkmalen (58) den optimierten Bewertungsmerkmalsteilsatz (50) bestimmt.
3. 3. Das Verfahren (4) gemäß Anspruch 1 oder 2, bei dem jedes Pixel oder ein Teilsatz der Pixel der Muster des Referenzsatzes (52) mit jeder Kombination aus Bewertungsmerkmalen (58) bewertet wird, bis ein Stoppkriterium erfüllt ist, wobei das Stoppkriterium erfüllt ist, wenn alle Kombinationen aus Bewertungsmerkmalen (58) bewertet wurden oder wenn eine Schwelle erreicht ist.
4. 4. Das Verfahren (4) gemäß Anspruch 3, bei dem die Schwelle eine minimale Anzahl von Merkmalen für den optimierten Bewertungsmerkmalsteilsatz (50), eine maximale Anzahl von Iterationen für die Bewertung (68), einen Minimalwert für die Erfassungsrate (74), eine Einschränkung der Anzahl von Zurückverfolgung oder eine Bedingung aufweist, dass keine höhere Erfassungsrate (74) bestimmt ist.
5. 5. Das Verfahren (4) gemäß einem der Ansprüche 1 bis 4, bei dem das Erzeugen (56) einer Mehrzahl von Kombinationen aus Bewertungsmerkmalen (58) einen Filteralgorithmus oder einen Wrapper-Algorithmus aufweist, - wobei der Filteralgorithmus einen korrelationsbasierten Algorithmus aufweist, - wobei der Wrapper-Algorithmus einen Nearest-Neighbour-Algorithmus oder einen Naive-Bayes-Algorithmus aufweist. 46/60 österreichisches Patentamt AT 11 770 U1 2011-04-15
6. 6. Das Verfahren (4) gemäß einem der Ansprüche 1 bis 5, bei dem das Bewerten (68) jedes Pixels oder eines Teilsatzes der Pixel der Muster des Referenzsatzes (52) einen Merkmalsdistanzalgorithmus, einen Informationsgewinnalgorithmus oder einen Merkmalsabhängigkeitsalgorithmus aufweist, wobei die Algorithmen angepasst sind, um die Pixel oder den Teilsatz der Pixel mit den Kombinationen aus Bewertungsmerkmalen (58) unter Verwendung eines unabhängigen Kriteriums zu bewerten; oder wobei das Bewerten (68) jedes Pixels oder eines Teilsatzes der Pixel der Muster des Referenzsatzes (52) einen Maschinenlernalgorithmus aufweist, wobei der Algorithmusangepasst ist, um die Pixel oder den Teilsatz der Pixel mit den Kombinationen aus Bewertungsmerkmalen (58) unter Verwendung eines abhängigen Kriteriums zu bewerten.
7. 7. Verfahren (2) zum Inspizieren einer Freiformoberfläche (20), die durch ein strukturiertes Licht (22) beleuchtet wird, das folgende Schritte aufweist: - Beleuchten (10) eines Bereichs der Freiformoberfläche (20) durch das strukturierte Licht (22); - Aufzeichnen (12) eines Bildes (24) des beleuchteten Bereichs der Freiformoberfläche (20); und - Bewerten (14) jedes Pixels oder eines Teilsatzes der Pixel des Bildes (24) des Bereichs der Freiformoberfläche (20) mit einer Kombination aus Bewertungsmerkmalen (26) zum Erhalten eines defekten oder nicht defekten Zustands (28) des Oberflächenbereichs (20), - wobei die Kombination der Bewertungsmerkmale (26) einen ersten Satz aus Merkmalen (60) und einen zweiten Satz aus Merkmalen (62) aufweist, wobei der erste Satz aus Merkmalen (60) aus einer ersten Gruppe aus adaptiven Merkmalen ausgewählt ist (64) und wobei der zweite Satz aus Merkmalen (62) aus einer zweiten Gruppe aus Texturmerkmalen (80) ausgewählt ist, wobei die erste Gruppe aus adaptiven Merkmalen (64) streifenbasierte Merkmale (82) und/oder fringebasierte Merkmale (102) aufweist und wobei die zweite Gruppe aus Texturmerkmalen (80) transformationsbasierte Merkmale (88), Strukturmerkmale (84) und/oder statistische Merkmale (86) aufweist.
8. 8. Das Verfahren (2) gemäß Anspruch 7, bei dem das Bewerten (14) jedes Pixels oder eines Teilsatzes der Pixel des Bildes (24) des Bereichs der Freiformoberfläche (20) folgenden Schritt aufweist: Klassifizieren (30) des Bildes (24) durch Zuweisen (38) einer Klasse (32) zu dem Bild (24), wobei die Klasse (32) den defekten oder nicht defekten Zustand (28) des Oberflächenbereichs (20) anzeigt.
9. 9. Das Verfahren (2) gemäß Anspruch 8, bei dem das Klassifizieren (30) des Bildes (24) folgende Schritte aufweist: - Extrahieren (34) von Informationen des Bildes (24), was beschrieben ist durch die Kombination aus Bewertungsmerkmalen (26), zu extrahierten Informationen (36); - Zuweisen (38) der Klasse (32) zu dem Bild (24) durch Verwenden der extrahierten Informationen (36); und - wobei das Zuweisen (38) der Klasse (32) zu dem Bild (24) auf einer Zuordnungsregel (40) basiert, die hergeleitet ist aus einem Referenzmustersatz (42), der die Oberflächenbereiche (20) von Freiformobjekten zeigt, wobei jedes Muster des Referenzsatzes (42) einer Referenzklasse (Ω) zugeordnet ist.
10. 10. Das Verfahren (2) gemäß Anspruch 9, bei dem das Zuweisen (38) der Klasse (32) zu dem Bild (24) einen Filteralgorithmus oder einen Wrapper-Algorithmus aufweist, wobei der Filteralgorithmus einen korrelationsbasierten Algorithmus aufweist, wobei der Wrapper-Algorithmus einen Nearest-Neighbour-Algorithmus oder einen Naive-Bayes-Algorithmus aufweist, wobei die Zuordnungsregel (40) einen stratifizierten 10-fach Kreuzvalidierungsalgorithmus oder einen Einen-Auslassen-Kreuzvalidierungsalgorithmus aufweist. 47/60 österreichisches Patentamt AT 11 770 U1 2011-04-15
11. 11. Das Verfahren (2) gemäß Anspruch 9 oder Anspruch 10, bei dem der Referenzmustersatz (42) Muster einer angepassten Größe oder Muster einer festen Größe aufweist; - wobei die Referenzklasse (Ω) eine Klasse aus nicht defekten Oberflächen (ΩΑ), eine Klasse aus zweidimensionalen, defekten Oberflächen (DR,2D) und/odereine Klasse aus dreidimensionalen, defekten Oberflächen (DR,3D) aufweist; - wobei die Referenzklasse (Ω) eine Klasse aus planar geformten Oberflächen (Φ0), eine Klasse aus Oberflächen, die durch perspektivische Verzerrung geformt sind (Φ1), und/oder eine Klasse aus Oberflächen, die durch zylindrische Verzerrung geformt sind (Φ2), aufweist.
12. 12. Das Verfahren (2) gemäß einem der Ansprüche 7 bis 11, bei dem die Freiformoberfläche (20) eine matte Oberfläche oder eine spiegelnde Oberfläche aufweist; - wobei das strukturierte Licht (22) Streifenstrukturen, periodische Strukturen oder vertikale Strukturen aus sichtbarem, nichtkohärentem oder codiertem Licht aufweist; - wobei das Bild (24) aufgezeichnet wird durch Verwenden einer Linienabtastkamera oder einer Matrixkamera.
13. 13. Verfahren für eine optimierte Inspektion einer Freiformoberfläche, das folgendes aufweist: - das Verfahren (4) zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes (50) gemäß einem der Ansprüche 1 bis 6; und - das Verfahren (2) zum Inspizieren einer Freiformoberfläche (20), die durch strukturiertes Licht (22) beleuchtet wird, gemäß den Ansprüchen 7 bis 12, wobei die Kombination der Bewertungsmerkmale (26) dem optimierten Merkmalsbewertungsteilsatz entspricht.
14. 14. Ein Computerprogramm zum Ausführen der Verfahren (2, 4) gemäß einem der Ansprüche 1,7 oder 13, wenn das Computerprogramm auf einem Computer ausgeführt wird.
15. 15. Eine Vorrichtung zum Auswählen eines optimierten Bewertungsmerkmalsteilsatzes (50) für eine Inspektion von Freiformoberflächen, die durch ein strukturiertes Licht beleuchtet werden, auf der Basis eines Referenzmustersatzes (52), der Oberflächenbereiche von Freiformobjekten zeigt, wobei jedes Muster des Referenzsatzes (52) einem defekten oder nicht defekten Referenzzustand (54) des jeweiligen Oberflächenbereichs der Freiformobjekte zugeordnet ist, die folgende Merkmale aufweist: - eine Erzeugungseinrichtung zum Erzeugen (56) einer Mehrzahl von Kombinationen von Bewertungsmerkmalen, wobei jede Kombination aus Bewertungsmerkmalen einen ersten Satz aus Merkmalen und einen zweiten Satz aus Merkmalen aufweist, wobei der erste Satz aus Merkmalen aus einer ersten Gruppe von adaptiven Merkmalen ausgewählt ist und wobei der zweite Satz aus Merkmalen aus einer zweiten Gruppe aus Texturmerkmalen ausgewählt ist, wobei die erste Gruppe aus adaptiven Merkmalen streifenbasierte Merkmale und/oder fringebasierte Merkmale aufweist und wobei die zweite Gruppe aus Texturmerkmalen transformationsbasierte Merkmale, Strukturmerkmale und/oder statistische Merkmale aufweist; - eine Bewertungseinrichtung zum Bewerten (68) jedes Pixels oder eines Teilsatzes der Pixel der Muster des Referenzsatzes mit jeder Kombination aus Bewertungsmerkmalen zum Erhalten eines bewerteten defekten oder nicht defekten Zustands der entsprechenden Oberflächenbereiche; - eine Vergleichseinrichtung zum Vergleichen (72) des bewerteten defekten oder nicht defekten Zustands mit dem defekten oder nicht defekten Referenzzustand zum Erhalten einer Erfassungsrate für jede Kombination aus Bewertungsmerkmalen; und - eine Bestimmungseinrichtung zum Bestimmen (76) des optimierten Bewertungsmerkmalsteilsatzes basierend auf den Erfassungsraten. 48/60 österreichisches Patentamt AT 11 770 U1 2011-04-15
16. 16. Eine Vorrichtung zum Inspizieren einer Freiformoberfläche, die durch ein strukturiertes Licht beleuchtet wird, die folgende Merkmale aufweist: - eine Beleuchtungseinrichtung zum Beleuchten (10) eines Bereichs der Freiformoberfläche durch das strukturierte Licht; - eine Aufzeicheneinrichtung zum Aufzeichnen (12) eines Bildes des beleuchteten Bereichs der Freiformoberfläche; und - eine Bewertungseinrichtung zum Bewerten (14) jedes Pixels oder eines Teilsatzes der Pixel des Bildes des Bereichs der Freiformoberfläche mit einer Kombination aus Bewertungsmerkmalen zum Erhalten eines defekten oder nicht defekten Zustands des Oberflächenbereichs, wobei die Kombination der Bewertungsmerkmale einen ersten Satz aus Merkmalen und einen zweiten Satz aus Merkmalen aufweist, wobei der erste Satz aus Merkmalen aus einer ersten Gruppe aus adaptiven Merkmalen ausgewählt ist und wobei der zweite Satz aus Merkmalen aus einer zweiten Gruppe aus Texturmerkmalen ausgewählt ist, wobei die erste Gruppe aus adaptiven Merkmalen streifenbasierte Merkmale und/oder fringebasierte Merkmale aufweist und wobei die zweite Gruppe aus Texturmerkmalen transformationsbasierte Merkmale, Strukturmerkmale und/oder statistische Merkmale aufweist. Hierzu 11 Blatt Zeichnungen 49/60