AT511399B1 - Verfahren zur automatisierten klassifikation von einschlüssen - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur automatisierten optischen Erkennung von Einschlüssen (1) in einer Oberfläche (2), insbesondere einer Oberfläche (2) eines metallischen Gegenstandes, wobei die Einschlüsse (1) klassifiziert werden. Erfindungsgemäß ist vorgesehen, dass das Verfahren folgende Schritte umfasst:a) Erzeugung eines Bildes (3) der Oberfläche (2);b) optional Aufbereitung des Bildes (3), um Artefakte zu minimieren;c) Bestimmung von einem oder mehreren zusammenhängenden Gebieten (4), wobei die zusammenhängenden Gebiete (4) insbesondere mittels morphologischer und/oder struktureller Algorithmen bestimmt werden;d) Merkmalsextraktion für die erfassten zusammenhängenden Gebiete (4) und Berechnung von Kenngrößen aus diesen;e) Vergleich extrahierter Kenngrößen mit Referenzgrößen für verschiedene Einschlusstypen und Klassifikation der Einschlüsse (1).Durch ein erfindungsgemäßes Verfahren wird eine objektive Beurteilung der Einschlüsse (1) nach Richtlinien bzw. Standards, eine schnelle und korrekte Klassifikation und darüber hinaus eine Schonung bzw. ein Schutz einer menschlichen Arbeitskraft erreicht.

Description

österreichisches Patentamt AT511 399 B1 2013-09-15

Beschreibung

VERFAHREN ZUR AUTOMATISIERTEN KLASSIFIKATION VON EINSCHLÜSSEN

[0001] Die Erfindung betrifft ein Verfahren zur automatisierten optischen Erkennung von Einschlüssen in einer Oberfläche, insbesondere einer Oberfläche eines metallischen Gegenstandes, wobei die Einschlüsse klassifiziert werden.

[0002] Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.

[0003] Schließlich betrifft die Erfindung ein Computerprogrammprodukt.

[0004] Es ist bekannt, dass fertigungsprozessbedingte Einschlüsse in Werkstoffen einen nicht zu vernachlässigenden Einfluss auf die Qualität bzw. die Eigenschaften eines erzeugten Produktes haben können. Daher kann es notwendig sein, die auftretenden Einschlüsse zu erfassen und zu klassifizieren. Als nicht einschränkendes Beispiel hierfür sei die Erfassung von nicht metallischen Einschlüssen in Stählen genannt. Hierbei erfolgt eine optische Inspektion der Einschlüsse und deren Klassifikation durch speziell geschulte Arbeitskräfte anhand von Schliffbildern nach einer oder mehreren Richtlinien bzw. Normen. Ein derartiges Verfahren hat sich aufgrund mannigfaltiger Nachteile als äußerst unbefriedigend erwiesen. Einerseits weisen die Schliffbilder oft eine geringe Auflösung, einen schlechten Kontrast, eine unzureichende Helligkeit etc. auf, sind also zusammenfassend von schlechter Qualität, und führen somit zu einem schnellen Ermüden der Arbeitskraft, in weiterer Folge zu einer Schädigung der Augen sowie Monotonie. Andererseits lässt sich dieses Verfahren nur sehr schwer beschleunigen, ohne dabei zusätzliche Arbeitskräfte einzusetzen und/oder die Fehlerquote des Verfahrens deutlich zu erhöhen.

[0005] Im Prinzip sind zwar Methoden für eine optische digitale Auswertung von Oberflächenstrukturen bekannt, z. B. Tumor- bzw. Krebserkennung anhand von medizinischen Abbildungen, Erkennung von Fingerabdrücken oder Auswertung von Satellitenbildern, allerdings sind diese für eine Verwendung in einem wie oben beschriebenen Verfahren unbrauchbar. Derartige Verfahren sind speziell für den jeweiligen Einsatzzweck entwickelt und/oder optimiert und können daher für eine Einschlusserkennung weder einfach adaptiert noch automatisiert werden.

[0006] Aufgabe der Erfindung ist es, ein Verfahren der eingangs genannten Art anzugeben, welches eine schnelle und korrekte Klassifikation der Einschlüsse ermöglicht, eine objektive Beurteilung der Einschlüsse nach Richtlinien bzw. Standards erlaubt und zusätzlich eine Schonung bzw. einen Schutz der Arbeitskraft gewährleistet.

[0007] Ein weiteres Ziel ist es, eine Vorrichtung zur Durchführung des Verfahrens anzugeben.

[0008] Darüber hinaus ist eine Aufgabe, ein Computerprogrammprodukt für eine Durchführung des Verfahrens und/oder eine Vorrichtung zur Durchführung des Verfahrens anzugeben, das eine schnelle und unkomplizierte Aktualisierung und/oder Verbesserung einer Einschlusstypenerkennung ermöglicht.

[0009] Die erste Aufgabe wird erfindungsgemäß gelöst, wenn ein Verfahren der eingangs genannten Art folgende Schritte umfasst: [0010] a) Erzeugung eines Bildes der Oberfläche; [0011] b) optional Aufbereitung des Bildes, um Artefakte zu minimieren; [0012] c) Bestimmung von einem oder mehreren zusammenhängenden Gebieten, wobei die zusammenhängenden Gebiete insbesondere mittels morphologischer und/oder struktureller Algorithmen bestimmt werden; [0013] d) Merkmalsextraktion für die erfassten zusammenhängenden Gebiete und Berech nung von Kenngrößen aus diesen; 1 /12 österreichisches Patentamt AT 511 399 B1 2013-09-15 [0014] e) Vergleich extrahierter Kenngrößen mit Referenzgrößen für verschiedene Ein schlusstypen und Klassifikation der Einschlüsse.

[0015] Ein mit der Erfindung erzielter Vorteil ist insbesondere darin zu sehen, dass einerseits eine optische Inspektion der Einschlüsse durch eine Arbeitskraft entfällt und damit diese von der monotonen und Augen schädigenden Aufgabe befreit wird und andererseits eine schnellere und weniger fehleranfällige Klassifikation inklusive einer objektiven Beurteilung der Einschlüsse nach Richtlinien bzw. Standards gegeben ist. Des Weiteren beschränkt sich der verbleibende notwendige Einsatz menschlicher Arbeitskraft auf eine gelegentliche reine Kontroll- bzw. Überwachungstätigkeit und erlaubt es, sich abwechslungsreicheren Aufgaben zu widmen.

[0016] Es hat sich bewährt, wenn die Einschlüsse nach Typ und/oder Größe klassifiziert werden, um eine differenziertere Unterscheidung zwischen unterschiedlichen Einschlüssen zu ermöglichen.

[0017] Es ist von Vorteil, wenn die Einschlüsse in einer oder mehreren Oberflächen klassifiziert werden. Dies ermöglicht sowohl eine schnelle Klassifikation, wenn nur eine Oberfläche betrachtet wird, als auch eine genauere Auswertung, wenn mehrere Oberflächen betrachtet werden.

[0018] Bevorzugt kommt ein erfindungsgemäßes Verfahren zum Einsatz, wenn nicht metallische Einschlüsse in Oberflächen von Stählen klassifiziert werden, um deren Qualität bzw. Eignung für einen bestimmten Einsatzzweck zu beurteilen.

[0019] Mit Vorteil wird das Bild von einer Bildgenerierungseinrichtung erzeugt und durch eine Bildaufbereitungseinrichtung mithilfe von Filtern, insbesondere Gauß-, Fenster- und/oder Regi-on-of-lnterest-Filtern, aufbereitet. Dadurch werden Rauschen, Kratzer, Schmutz, Flaare und andere Störquellen entfernt oder zumindest reduziert.

[0020] Von Vorteil ist es auch, wenn das Bild von der Bildgenerierungseinrichtung erzeugt wird, der Bildaufbereitungseinrichtung aufbereitet wird und durch eine Bildauswerteeinrichtung bearbeitet wird, wobei morphologische und/oder strukturelle Merkmale des Bildes unter Zuhilfenahme zumindest eines einstellbaren Schwellwertes und/oder zumindest eines einstellbaren Parameters berechnet werden, aus den daraus resultierenden Daten ein oder mehrere zusammenhängende Gebiete bestimmt werden, welche für eine Merkmalsextraktion der erfassten zusammenhängenden Gebiete verwendet werden, und anschließend eine Klassifikation der Einschlüsse nach den verschiedenen Einschlusstypen durch Vergleich zwischen den extrahierten Kenngrößen mit den Referenzgrößen vorgenommen wird. Der sich daraus ergebende modulare Aufbau ermöglicht eine optimale Anpassung des Verfahrens an die örtlichen und sicherheitstechnischen Gegebenheiten einer Produktionsstätte.

[0021] In der Regel werden bei der Merkmalsextraktion speziell für eine Erkennung und/oder Unterscheidung der Einschlusstypen Algorithmen unter Anwendung von Haralick-Funktionen und/oder Mittelungsverfahren verwendet. Die dabei erzielten Vorteile liegen in der Möglichkeit sowohl morphologische und/oder strukturelle Merkmale zu extrahieren als auch mögliche negative Einflüsse von Rauschen und Kratzern weiter zu reduzieren.

[0022] Bevorzugt wird die durch das Verfahren erhaltene Klassifikation der Einschlüsse in einer Datenbank gespeichert, um diese zu archivieren und einer detaillierten Auswertung leichter zugänglich zu machen.

[0023] Vorteilhaft ist es, wenn die durch das Verfahren erhaltene Klassifikation der Einschlüsse einer statistischen Auswertung zugeführt wird, um einerseits komplexe statistische Fragestellungen beantworten zu können und andererseits eine bessere Beurteilung der Qualität bzw. Eignung eines Produktes zu ermöglichen.

[0024] Mit Vorteil wird die durch das Verfahren erhaltene Klassifikation der Einschlüsse für eine Steuerung einer Produktion verwendet. Dies erlaubt eine Optimierung von zur Verfügung stehenden Ressourcen wie Rohstoffe, Energie und Arbeitszeit bei gleichzeitiger Schonung der Umwelt.

[0025] Zweckmäßigerweise wird die durch das Verfahren erhaltene Klassifikation der Ein- 2/12 österreichisches Patentamt AT 511 399 B1 2013-09-15

Schlüsse für eine Optimierung der Produktion und/oder einer Verringerung eines Ausschusses und/oder eine Einteilung in Qualitätsklassen verwendet. Daraus ergibt sich der Vorteil einer verbesserten Produktqualität, einer Verringerung der Produktionskosten und einer objektiven Beurteilung der Produktqualität.

[0026] Das weitere Ziel Angabe einer zur Durchführung des erfindungsgemäßen Verfahrens geeigneten Vorrichtung wird durch eine Vorrichtung nach Anspruch 12 erreicht.

[0027] Die erfindungsgemäße Vorrichtung umfasst zumindest eine Bildgenerierungseinrichtung, zumindest eine Bildaufbereitungseinrichtung und zumindest eine Bildauswerteeinrichtung zur Bestimmung von einem oder mehreren zusammenhängenden Gebieten und zur Merkmalsextraktion sowie der Klassifikation von Einschlüssen. Damit sind alle benötigten Einrichtungen für das Verfahren in einer Vorrichtung vereint und können von dieser vollständig ausgeführt werden.

[0028] Bevorzugt ist die Bildgenerierungseinrichtung als ein Lichtmikroskop ausgebildet, um eine optimale Darstellung der Einschlüsse zu ermöglichen.

[0029] Von Vorteil ist es auch, wenn die Bildgenerierungseinrichtung eine Möglichkeit zu einer digitalen Erfassung und/oder einer Digitalisierung des erfassten Bildes aufweist. Dies erlaubt eine automatisierte Bearbeitung des Bildes.

[0030] Üblicherweise umfasst die Vorrichtung zumindest eine Recheneinheit mit zumindest einem Algorithmus zur automatisierten Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11 und ermöglicht somit eine Verwendung komplexer Algorithmen ohne die Verfahrensgeschwindigkeit negativ zu beeinflussen.

[0031] Zur Lösung der weiteren Aufgabe ist ein Computerprogrammprodukt gemäß Anspruch 16 mit zumindest einem Algorithmus zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11 zur automatisierten Durchführung des Verfahrens durch Laden in zumindest einen Speicher einer Vorrichtung ausführbar. Dadurch kann das Verfahren bzw. die Vorrichtung schnell und unkompliziert aktualisiert oder angepasst werden, z. B. bei einer Verbesserung der Einschlusstypenerkennung oder einer Erkennung von einem oder mehreren neuen Einschlusstypen.

[0032] Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich anhand des nachfolgend dargestellten Ausführungsbeispiels. In den Zeichnungen, auf welche dabei Bezug genommen wird, zeigen: [0033] Fig. 1 ein allgemeines Schema über den Informationsfluss des Verfahrens; [0034] Fig. 2 ein Schema mit den verschiedenen Bearbeitungsstufen eines Bildes und dessen Einschlüsse; [0035] Fig. 3 ein Beispiel einer Einschlussklassifikation.

[0036] Ein nicht einschränkendes Ausführungsbeispiel für ein erfindungsgemäßes Verfahren ist in Fig. 1 bis 3 dargestellt. Hierbei handelt es sich um eine Klassifikation von nicht metallischen Einschlüssen 1 in Werkzeugstählen nach einer oder mehreren Normen bzw. Standards, z. B. der DIN 50 602. Die DIN 50 602 unterscheidet nicht metallische Einschlüsse 1 in vier Typen: globulare Oxide (OG) mit zwei Unterklassen, gelöste linienförmige Oxide (OA) mit drei Unterklassen, linienförmige Oxide (OS) mit drei Unterklassen und linienförmige Sulfide (SS) mit zwei Unterklassen, wobei alle Typen bzw. Klassen zusätzlich nach Größe sortiert werden. Des Weiteren sind zwei Analysemethoden in der Norm festgehalten: Bei der Methode M wird bei einer einzelnen Probe nur der jeweils größte Einschluss 1 für jeden Einschlusstyp registriert und über alle Proben gemittelt; bei der Methode K werden alle Einschlüsse 1 registriert und entsprechend der Norm klassifiziert, wobei zusätzlich eine Gewichtung mit Signifikanzfaktoren erfolgt und das daraus resultierende Ergebnis auf eine Fläche von 1000 mm2 umgerechnet wird.

[0037] Als einleitender Schritt kann es notwendig sein, eine zu beurteilende Oberfläche 2 vorzubereiten, um vorhandene Einschlüsse 1 besser sichtbar zu machen. Im Fall einer Untersu- 3/12 österreichisches Patentamt AT511 399 B1 2013-09-15 chung von Einschlüssen 1 in Werkzeugstählen bedingt dies die Erzeugung einer Serie von Schliffen, um einen besseren Kontrast zwischen Einschlüssen 1 und einem Untergrund zu erzeugen. Derartige Verfahren zählen zum Stand der Technik und werden daher im Folgenden nicht näher erläutert.

[0038] Ein erfindungsgemäßes Verfahren umfasst folgende Schritte (Fig. 1 und 2): [0039] a) Erzeugung eines Bildes 3 der Oberfläche 2; [0040] b) optional Aufbereitung des Bildes 3, um Artefakte zu minimieren; [0041] c) Bestimmung von einem oder mehreren zusammenhängenden Gebieten 4, wobei die zusammenhängenden Gebiete 4 insbesondere mittels morphologischer und/oder struktureller Algorithmen bestimmt werden; [0042] d) Merkmalsextraktion für die erfassten zusammenhängenden Gebiete 4 und Berech nung von Kenngrößen aus diesen; [0043] e) Vergleich extrahierter Kenngrößen mit Referenzgrößen für verschiedene Ein schlusstypen und Klassifikation der Einschlüsse 1.

[0044] Im Folgenden werden die einzelnen Verfahrensschritte, in der oben beschriebenen Reihenfolge, näher erläutert.

[0045] Schritt a): Erzeugung eines Bildes 3 der Oberfläche 2 [0046] Die Erzeugung eines Bildes 3 der Oberfläche 2 erfolgt durch eine Bildgenerierungseinrichtung 6. Die Bildgenerierungseinrichtung 6 kann in Form eines Mikroskops, z. B. eines Lichtmikroskops, einer Kamera, eines CCD-Chips und einer Optik oder einer ähnlichen Einrichtung, die zu einer digitalen Bilderfassung oder einer Digitalisierung eines Bildes geeignet ist, ausgebildet sein. Außerdem kann das Bild 3 in Farbe, Graustufen oder in Schwarz-Weiß, also in binärer Form, und unterschiedlichen Auflösungen erfasst werden.

[0047] Schritt b): optional Aufbereitung des Bildes 3. um Artefakte zu minimieren [0048] Je nach Umgebungsbedingungen, verwendeter Bildgenerierungseinrichtung 6 und Art der Einschlüsse 1 bzw. Oberflächen 2 können verschiedenartige Artefakte bei der Bildgenerierung auftreten. Derartige Störungen können verursacht werden durch Staub, Kratzer, Einschlüsse 1, die weder Oxid noch Sulfid sind; in bzw. auf Oberflächen 2; oder Rauschen etc.

[0049] Daher kann es notwendig sein, mithilfe einer oder mehrerer Intensitätstransformationen störende Artefakte zu entfernen oder zumindest zu minimieren, ohne einen für eine Bestimmung der Einschlüsse 1 wesentlichen Informationsgehalt zu verlieren. Eventuell kann es auch vorteilhaft sein, ein Bild 3 auf Graustufen zu reduzieren, um die Datenmenge des Bildes 3 zu reduzieren und damit eine Bearbeitung des Bildes 3 zu beschleunigen bzw. Artefakte zu dämpfen. Es ist jedoch auch möglich, das Bild 3 in seine einzelnen Farbbestandteile bzw. Farbkanäle zu zerlegen und diese unabhängig voneinander zu bearbeiten und/oder auszuwerten.

[0050] Im Folgenden ist unter Farbwert ein Intensitätswert eines Farbkanals bzw. ein Graustufenwert und unter Farbraum ein Wertebereich für Intensitätswerte eines Farbkanals bzw. ein Wertebereich für Graustufenwerte zu verstehen.

[0051] Eine für ein erfindungsgemäßes Verfahren geeignete Aufbereitung des Bildes 3 in Form einer Intensitätstransformation kann beispielsweise mithilfe einer unteren und oberen Schranke realisiert werden, wobei Farbwerte, die oberhalb bzw. unterhalb entsprechender Schwellwerte liegen, auf den jeweiligen Schwellwert gesetzt werden. Zusätzlich kann eine G rau stuf endyna-mik bzw. der Farbraum, der innerhalb dieser Schwellwerte liegt, auf einen neuen Wertebereich reskaliert werden, wobei dies sowohl linear als auch nicht linear erfolgen kann, wodurch helle bzw. dunkle Farbwerte stärker betont werden. Darüber hinaus kann auch nur der relevante Farbraum, für Farbwerte zwischen der oberen und der unteren Schwelle, auf den gesamten zur Verfügung stehenden Farbraum reskaliert werden. Durch derartige Intensitätstransformationen wird der Kontrast zwischen dunklen und hellen Bereichen des Bildes 3 noch stärker und es 4/12 österreichisches Patentamt AT511 399 B1 2013-09-15 können Artefakte besser herausgefiltert bzw. gedämpft werden.

[0052] In einem weiteren Schritt kann mithilfe eines Raumfilters ein verbliebenes Rauschen bzw. verbliebene Kratzerweiter minimiert werden. Hierbei haben sich insbesondere Gauß- und Mittelungsfilter als sehr zeiteffizient erwiesen, es können aber auch andere Filter, wie Laplacian-of-Gaussian- (LoG-), Prewitt-, Sobel-, Unsharp-Filter etc., Anwendung finden.

[0053] Die oben beschriebene Bildaufbereitung erfolgt mithilfe einer Bildaufbereitungseinrichtung 7.

[0054] Schritt c): Bestimmung von einem oder mehreren zusammenhängenden Gebieten 4 [0055] Um die erfassten zusammenhängenden Gebiete 4 besser klassifizieren zu können, wird mittels Thresholding eine erste Unterscheidung zwischen Oxiden und Sulfiden vorgenommen und für diese zwei Binärbilder (Masken) erstellt, welche die morphologischen Informationen der Einschlüsse 1 enthalten. Durch die morphologischen Basisoperationen „Dilatation" und „Erosion" bzw. deren Kombination „Opening" und „Closing" können die durch Störungen bzw. Bearbeitungen verursachten Löcher gefüllt und Artefakte entfernt werden.

[0056] Eine weitere Möglichkeit die zusammenhängenden Gebiete 4 zu bestimmen oder durch das Thresholding erhaltene zusammenhängende Gebiete 4 weiter zu präzisieren, ist durch die Bestimmung eines Helligkeitsgradienten gegeben. Als Verfahren zur Bildung des Helligkeitsgradienten kommen infrage: Verfahren nach Sobel, Prewitt, LoG, Roberts, Canny und ähnliche Verfahren bzw. deren Variationen und Kombinationen. Für die Erkennung von nicht metallischen Einschlüssen 1 in Stählen haben sich die Verfahren nach Canny bzw. das LoG als besonders geeignet erwiesen, da diese zusammenhängende Ränder erzeugen. Analog zum Thresholding kann auch im Anschluss zur Bildung des Helligkeitsgradienten ein weiterer Bearbeitungsschritt folgen, um bisher unerkannte zusammenhängende Gebiete 4 zu finden oder bereits gefundene weiter zu verfeinern. Hierbei hat sich Region Growing als besonders vorteilhaft erwiesen. Dies kann mithilfe von „seed points" oder bevorzugt mittels eines Schwellwertes erfolgen, da dies eine besonders schnelle und einfache Implementierung ermöglicht.

[0057] Schritt d): Merkmalsextraktion für die erfassten zusammenhängenden Gebiete 4 und Berechnung von Kenngrößen aus diesen [0058] Zu Beginn dieses Schrittes stehen eine oder mehrere Binärbilder (Masken), welche die Einschlussmorphologie enthalten und das unveränderte bzw. ursprüngliche Bild 3 zur Verfügung. Durch die Kombination einer Maske mit dem Bild 3 kann die vorhandene Bildinformation auf die morphologischen und strukturellen Merkmale der Einschlüsse 1 reduziert werden.

[0059] Für eine Klassifikation der Einschlüsse 1 aufgrund ihrer morphologischen Merkmale ist eine Vielzahl von Methoden geeignet. Es hat sich jedoch gezeigt, dass im Hinblick auf eine möglichst einfache und wenig fehleranfällige Implementierung bzw. eine möglichst geringe Laufzeit der Berechnungsschritte eine Bestimmung der so bezeichneten Bounding Box, der Fläche, der Schwerpunktskoordinaten, der beiden Hauptachsenlängen der Einschlüsse 1 und der Exzentrizität eines Einschlusses 1 zur Klassifikation meist ausreicht.

[0060] Ergänzend sei noch erwähnt, dass morphologische Merkmale sowohl aus den Binärbil-dern als auch aus den durch eine Kombination aus einem oder mehreren Binärbildern mit einem Bild 3 erhaltenen Einschlüssen 1 extrahiert werden können.

[0061] Eine weitere Möglichkeit zwischen globularen und linienförmigen Einschlüssen 1 zu unterscheiden ist durch eine speziell angepasste Auswertung von Co-occurrence-Matrizen gegeben. Ein derartiges Verfahren kann folgendermaßen gestaltet werden: Festlegen einer oberen und einer unteren Schranke für Farbwerte, um Rauschen zu unterdrücken; Reduktion bzw. Diskretisierung des Farbraumes auf z. B. zehn Farbwerte, um kleinere Co-occurence-Matrizen zu erhalten, die sich schneller berechnen lassen; Bestimmung der Co-occurrence-Matrizen für Richtungen (0°, 45°, 90°, 135°) und verschiedene Abstände; Berechnung der Ha-ralick-Funktionen, wobei bevorzugt die visuellen Parameter „Zweites Winkelmoment" (ZWM) bzw. „Angular Second Moment" (ASM), Kontrast und Korrelation Anwendung finden, da diese 5/12 österreichisches Patentamt AT 511 399 B1 2013-09-15 einer menschlichen Wahrnehmung am nächsten kommen; Vergleich der Haralick-Funktionen mit tabellierten Idealwerten für die unterschiedlichen Einschlusstypen.

[0062] Es kann aber vollkommen ausreichend sein, einen einzelnen Matrixeintrag der Co-occurrence-Matrizen, den mit der höchsten Häufigkeit, für unterschiedliche Abstände und Richtungen zur Unterscheidung zwischen globularen und linienförmigen Einschlüssen 1 heranzuziehen.

[0063] Mithilfe der beschriebenen Methoden wird jedes zusammenhängende Gebiet 4 zunächst für sich alleine untersucht und in OG- bzw. OA/OS- und SS-Einschlüsse 1 klassifiziert. In einem darauf folgenden Schritt werden die Abstände zwischen den klassifizierten zusammenhängenden Gebieten 4 bestimmt. Zusammenhängende Gebiete 4, die in einem Abstand größer als ein bestimmter Schwellwert Vorkommen und deren Fläche jeweils unter einem bestimmten Schwellwert liegt, werden dabei als Außengebiete markiert. Diese Außengebiete werden zusätzlich getestet, um eine Unterscheidung zwischen einem eigenständigen Einschluss 1 und einem Fehler zu ermöglichen. Hierbei kann eine Differenzierung nach Einschlussfläche und/oder eine Auswertung entsprechender Haralick-Funktionen erfolgen. Nachdem die Einschlüsse 1 nach Größe und Nähe zueinander sortiert sind, können diese weiter differenziert werden. Beispielsweise können bei entsprechender Nähe und/oder Fläche viele OA/OS-Einschlüsse 1 und/oder OG-Einschlüsse 1 zu einem großen OA-Einschluss 1 vereint werden. Analog verhält es sich bei der OG-Klassifikation, auch hier wird nach Distanz und Fläche zwischen Außengebieten und zu einem OG gehörigen Einschluss 1 unterschieden.

[0064] Sinngemäß findet diese Vorgehensweise auch für die Klassifikation von OS- und SS-Einschlüssen 1 Anwendung. In einem letzten Schritt werden die bisher unverbunden gebliebene Gebiete 4 und/oder besonders große Einschlüsse 1 (z. B. > 5 in der DIN 50 602) bzw. Einschlüsse 1, die aus vielen kleinen Gebieten 4 bestehen (Fig. 3), auf ihre relative Lage zueinander getestet. Dies kann mithilfe der Abstände zueinander und eines Winkels zwischen einem ersten und einem letzten zusammenhängenden Gebiet 4 des Einschlusses 1 bzw. den Winkeln benachbarter Einschlüsse 1 erfolgen.

[0065] Schritt e): Vergleich extrahierter Kenngrößen mit Referenzqrößen für verschiedene Einschlusstvoen und Klassifikation der Einschlüsse 1 [0066] Die im Schritt d) extrahierten Kenngrößen, welche nun nach Einschlusstyp und Größe klassifiziert sind, werden mit Referenzgrößen für die verschiedenen Einschlusstypen, z. B. der DIN 50 602 oder einer ähnlichen Norm bzw. einem Standard, verglichen und entsprechend dieser bzw. diesem eingeordnet.

[0067] Tests eines erfindungsgemäßen Verfahrens zeigten eine Treffenwahrscheinlichkeit von ca. 86 % für OA-, 87 % für OG-, 96 % für OS- und 100 % für SS-Einschlüsse 1. Diese Trefferwahrscheinlichkeiten sind besser als die von einer durchschnittlichen Fachkraft erzielten und darüber hinaus geringeren Schwankungen unterworfen als bei einer menschlichen Arbeitskraft. Zusätzlich entfallen Verschlechterungen der Trefferwahrscheinlichkeit durch Ermüdungserscheinungen einer Arbeitskraft und langwierige Lernphasen für neue Arbeitskräfte.

[0068] Das Verfahren lässt sich prinzipiell auf drei physische Einrichtungen einer Vorrichtung 5 abbilden (Fig. 1): einer Bildgenerierungseinrichtung 6 (Schritt a)), einer Bildaufbereitungseinrichtung 7 (Schritt b)) und einer Bildauswerteeinrichtung 8 (Schritte c) bis e)). Der dadurch gegebene modulare Aufbau erlaubt einen schnellen Austausch der einzelnen Einrichtungen, eine schnelle Adaption an den jeweiligen Einsatzort und erleichtert eine Wartung. Es kann aber auch sinnvoll sein, die Bildaufbereitungseinrichtung 7 mit der Bildgenerierungseinrichtung 6 und/oder der Bildauswerteeinrichtung 8 in einer Einrichtung zu vereinen, um Komponenten zu sparen, eine kompaktere Bauweise zu ermöglichen und/oder eine robuste Kapselung der gesamten Vorrichtung 5 zu erleichtern, z. B. in Form eines teil- oder voll-integrierten Systems („embedded System").

[0069] Das erzeugte Bild 3 der Oberfläche 2 kann sowohl als Ganzes als auch in Teilbilder zerlegt sequenziell, aber auch parallel ausgewertet werden. Durch eine frühe Separation zwi- 6/12 österreichisches Patentamt AT511 399 B1 2013-09-15 sehen den unterschiedlichen Einschlüssen 1 (Schritt c)), insbesondere Oxid- und Sulfid-Einschlüssen 1, ist es möglich, diese unabhängig voneinander in Form von getrennten Prozessen und/oder Threads und/oder auf separaten Recheneinheiten auszuführen. Außerdem ist es möglich, zusammenhängende Gebiete 4 unabhängig voneinander zu bearbeiten und deren Merkmale in eigenständigen Prozessen und/oder Threads bzw. auf voneinander unabhängigen Recheneinheiten und/oder Prozessorkernen zu bestimmen. Je nach Anwendungsfall kann das erfindungsgemäße Verfahren auf einer einzelnen Recheneinheit, z. B. auf einem Einzelkernprozessor, einem Mehrkernprozessor mit und ohne shared memory, auf mehreren Recheneinheiten, die über eine oder mehrere Schnittstelle/n verbunden sind, auf einer oder mehreren Recheneinheiten, die als eine oder mehrere Graphics Processing Units (GPUs) ausgebildet sind, aber auch auf einer oder mehreren Recheneinheiten, die als digitale Signalprozessoren (DSP) ausgebildet sind, ausgeführt werden.

[0070] Die Ausgabe der durch das Verfahren erhaltenen Klassifikation der Einschlüsse 1 in Oberflächen 2 kann auf einem lokalen Anzeigeelement, einem Drucker oder als Eintrag bzw. Einträge in eine Datenbank erfolgen. Die Speicherung der Klassifikation in einer Datenbank ist insbesondere vorteilhaft, da dies eine Auswertung komplexer statistischer Fragestellungen ermöglicht und somit für eine Qualitätssicherung einer Produktion bzw. einer Steuerung dieser verwendet werden als auch einer Dokumentation und/oder einer Archivierung dienen kann.

[0071] Des Weiteren ermöglicht ein wie vorstehend beschriebenes Verfahren eine Einschlussklassifizierung aus Mikroskopkamerabildern, eine zuverlässige Klassifikation von Einschlüssen 1 selbst in schwach aufgelöstem Bildmaterial und für sehr kleine Einschlüsse 1, eine kontaktlose Bestimmung der Einschlüsse 1 sowie eine sehr gute Trennung zwischen Einschlüssen 1 und Artefakten.

[0072] Ein erfindungsgemäßes Verfahren ist inhärent materialunabhängig und somit auch dazu geeignet, Einschlüsse 1 in Oberflächen 2 von Polymeren, Holz, Keramik, Papier, Folien, z. B. verursacht durch Verunreinigungen in Füllstoffen, Lacken, insbesondere Metalliclacken, z. B. mittels spekularer Reflexion, etc. zu erkennen und zu klassifizieren.

[0073] Zusammenfassend ermöglicht ein erfindungsgemäßes Verfahren eine objektive Beurteilung der Einschlüsse 1 nach Richtlinien bzw. Standards, eine schnelle und korrekte Klassifikation und darüber hinaus schont bzw. schützt es menschliche Arbeitskräfte. 7/12

Claims (16)

1. österreichisches Patentamt AT 511 399 B1 2013-09-15 Patentansprüche 1. Verfahren zur automatisierten optischen Erkennung von Einschlüssen (1) in einer Oberfläche (2), insbesondere einer Oberfläche (2) eines metallischen Gegenstandes, wobei die Einschlüsse (1) klassifiziert werden, dadurch gekennzeichnet, dass das Verfahren folgende Schritte umfasst: a) Erzeugung eines Bildes (3) der Oberfläche (2); b) optional Aufbereitung des Bildes (3), um Artefakte zu minimieren; c) Bestimmung von einem oder mehreren zusammenhängenden Gebieten (4), wobei die zusammenhängenden Gebiete (4) insbesondere mittels morphologischer und/oder struktureller Algorithmen bestimmt werden; d) Merkmalsextraktion für die erfassten zusammenhängenden Gebiete (4) und Berechnung von Kenngrößen aus diesen; e) Vergleich extrahierter Kenngrößen mit Referenzgrößen für verschiedene Einschlusstypen und Klassifikation der Einschlüsse (1).
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Einschlüsse (1) nach Typ und/oder Größe klassifiziert werden.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Einschlüsse (1) in einer oder mehreren Oberflächen (2) klassifiziert werden.
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass nicht metallische Einschlüsse (1) in Oberflächen (2) von Stählen klassifiziert werden.
5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Bild (3) von einer Bildgenerierungseinrichtung (6) erzeugt und durch eine Bildaufbereitungseinrichtung (7) mithilfe von Filtern, insbesondere Gauß-, Fenster-und/oder Region-of-lnterest-Filtern, aufbereitet wird.
6. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Bild (3) von der Bildgenerierungseinrichtung (6) erzeugt wird, der Bildaufbereitungseinrichtung (7) aufbereitet wird und durch eine Bildauswerteeinrichtung (8) bearbeitet wird, wobei morphologische und/oder strukturelle Merkmale des Bildes (3) unter Zuhilfenahme zumindest eines einstellbaren Schwellwertes und/oder zumindest eines einstellbaren Parameters berechnet werden, aus den daraus resultierenden Daten ein oder mehrere zusammenhängende Gebiete (4) bestimmt werden, welche für eine Merkmalsextraktion der erfassten zusammenhängenden Gebiete (4) verwendet werden, und anschließend eine Klassifikation der Einschlüsse (1) nach den verschiedenen Einschlusstypen durch Vergleich zwischen den extrahierten Kenngrößen mit den Referenzgrößen vorgenommen wird.
7. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass bei der Merkmalsextraktion speziell für eine Erkennung und/oder Unterscheidung der Einschlusstypen Algorithmen unter Anwendung von Haralick-Funktionen und/oder Mittelungsverfahren verwendet werden.
8. 8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die durch das Verfahren erhaltene Klassifikation der Einschlüsse (1) in einer Datenbank gespeichert wird.
9. 9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die durch das Verfahren erhaltene Klassifikation der Einschlüsse (1) einer statistischen Auswertung zugeführt wird.
10. 10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die durch das Verfahren erhaltene Klassifikation der Einschlüsse (1) für eine Steuerung einer Produktion verwendet wird. 8/12 österreichisches Patentamt AT511 399 B1 2013-09-15
11. 11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die durch das Verfahren erhaltene Klassifikation der Einschlüsse (1) für eine Optimierung der Produktion und/oder einer Verringerung eines Ausschusses und/oder eine Einteilung in Qualitätsklassen verwendet wird.
12. 12. Vorrichtung (5) zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Vorrichtung (5) zumindest eine Bildgenerierungseinrichtung (6), zumindest eine Bildaufbereitungseinrichtung (7) und zumindest eine Bildaus-werteeinrichtung (8) zur Bestimmung von einem oder mehreren zusammenhängenden Gebieten (4) und zur Merkmalsextraktion sowie der Klassifikation von Einschlüssen (1) umfasst.
13. 13. Vorrichtung (5) nach Anspruch 12, dadurch gekennzeichnet, dass die Bildgenerierungseinrichtung (6) als ein Lichtmikroskop ausgebildet ist.
14. 14. Vorrichtung (5) nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die Bildgenerierungseinrichtung (6) eine Möglichkeit zu einer digitalen Erfassung und/oder einer Digitalisierung des erfassten Bildes (3) aufweist.
15. 15. Vorrichtung (5) nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass die Vorrichtung (5) zumindest eine Recheneinheit mit zumindest einem Algorithmus zur automatisierten Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11 umfasst.
16. 16. Computerprogrammprodukt mit zumindest einem Algorithmus zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass das Computerprogrammprodukt zur automatisierten Durchführung des Verfahrens durch Laden in zumindest einen Speicher einer Vorrichtung (5) ausführbar ist. Hierzu 3 Blatt Zeichnungen 9/12