LU505205B1 - Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe - Google Patents

Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe Download PDF

Info

Publication number
LU505205B1
LU505205B1 LU505205A LU505205A LU505205B1 LU 505205 B1 LU505205 B1 LU 505205B1 LU 505205 A LU505205 A LU 505205A LU 505205 A LU505205 A LU 505205A LU 505205 B1 LU505205 B1 LU 505205B1
Authority
LU
Luxembourg
Prior art keywords
component
assembly
components
image
determination
Prior art date
Application number
LU505205A
Other languages
English (en)
Inventor
Benjamin Kelkel
Sunil Prasad Jaiswal
Pascal Bies
Faranak Shamsafar
Original Assignee
K/Lens Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by K/Lens Gmbh filed Critical K/Lens Gmbh
Priority to LU505205A priority Critical patent/LU505205B1/de
Priority to CN202480062184.6A priority patent/CN121925686A/zh
Priority to PCT/EP2024/076193 priority patent/WO2025068011A1/de
Application granted granted Critical
Publication of LU505205B1 publication Critical patent/LU505205B1/de

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe Die Erfindung betrifft Verfahren zur Identifizierung einer elektronischen Baugruppe, bei dem zumindest eine Abbildung, insbesondere eine Fotografie, der Baugruppe mittels Bildanalyse verarbeitet wird. Erfindungsgemäß werden mittels der Bildanalyse Bauelemente der Baugruppe erkannt und Bauelemententypen zumindest einzelner der Bauelemente bestimmt. Zweckmäßigerweise werden unterschiedliche Bildanalysen durchgeführt und zur Bauelementerkennung, Bauelemententypenbestimmung und/oder zur Baugruppenidentifizierung Ergebnisse der unterschiedlichen Bildanalysen miteinander verknüpft. In einer Ausgestaltung der Erfindung erfolgt zumindest eine der Bildanalysen mittels eines künstlichen neuronalen Netzwerks, das dafür trainiert ist, Bauelemente in der Baugruppe zu erkennen oder/und zu bestimmen, zu welchem Bauelemententyp das jeweilige Bauelement gehört.

Description

ES Ro OW OY RE N KR KEN ASP N 8 5 pw $ va EN ES ES ASS Æ SENSE REN ESS HES
Beschreibung:
K | Lens GmbH, D-66121 Saarbrücken (Deutschland)
Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe
Die Erfindung betrifft ein Verfahren zur Identifizierung einer elektronischen Baugruppe, bei dem zumindest eine Abbildung, insbesondere eine Fotografie, der Baugruppe mittels Bildanalyse verarbeitet wird.
Ferner betrifft die Erfindung ein Computerprogrammprodukt zur Durchführung des
Verfahrens sowie eine Vorrichtung zur Identifizierung einer elektronischen Baugruppe.
Verfahren zur Identifizierung von elektronischen Baugruppen sind durch Benutzung bekannt. Allerdings sind die Anwendungsmöglichkeiten wegen der geringen
Qualität der Identifikationsergebnisse beschränkt.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art zu schaffen, mittels dessen elektronische Baugruppen besser identifiziert werden können.
Erfindungsgemäß wird diese Aufgabe dadurch gelöst, dass mittels der Bildanalyse
Bauelemente der Baugruppe erkannt werden und Bauelemententypen zumindest einzelner der Bauelemente bestimmt werden.
Mittels der erstgenannten Maßnahme werden die Bauelemente, die auf einem
Träger elektrischer Leitungen, beispielsweise einer Leiterplatte oder einer mit Leitern bestückten Folie, angeordnet sind, aufgefunden. Dank der zweiten Maßnahme wird ermittelt, um welchen Bauelemententyp es sich bei einzelnen, mehreren oder/und sämtlichen der Bauelemente handelt. Eine Kenntnis über den Aufbau der
-2- LU505205
Baugruppe, der sich damit erlangen lässt, ermöglicht eine besonders genaue
Identifizierung der Baugruppe.
In einer besonders bevorzugten Ausgestaltung der Erfindung werden unterschiedliche Bildanalysen durchgeführt und zur Bauelementerkennung,
Bauelemententypenbestimmung und/oder zur Baugruppenidentifizierung werden
Ergebnisse der unterschiedlichen Bildanalysen miteinander verknüpft. Dank der verschiedenen Bildanalysenergebnisse und deren Verknüpfung kann die
Genauigkeit der Identifizierung massiv vergrößert werden. Vorteilhaft wird es besonders einfach möglich, unzutreffende Bildanalyseergebnisse aufzufinden und zutreffende Bildanalyseergebnisse, ggf. durch schrittweisen Vergleich der einzelnen
Bildanalysergebnisse, zu verifizieren.
In einer Ausführungsform der Erfindung erfolgt bzw. erfolgen zumindest eine, vorzugsweise mehrere, besonders bevorzugt sämtliche, der Bildanalysen, mittels eines künstlichen neuronalen Netzwerks, das dafür trainiert ist, Bauelemente in der
Baugruppe zu erkennen oder/und zu bestimmen, zu welchem Bauelemententyp das jeweilige Bauelement gehört. Zweckmäßigerweise ist das künstliche neuronale
Netzwerk dafür trainiert, zu erkennen, ob das jeweilige Bauelement ein integrierter
Schaltkreis, ein Transistor, ein Widerstand, ein induktives Bauelement, ein
Transformator oder ein anderer Bauelemententyp Ist.
Vorteilhaft kann anhand der Kenntnis einzelner oder mehrerer der
Bauelemententypen die Funktion bestimmt werden, welche die jeweiligen
Bauelemente in der Baugruppe haben. Durch Erlangung der Kenntnis über die jeweiligen Funktionen können Rückschlüsse auf die Baugruppe, insbesondere deren
Funktion, gezogen werden.
Zweckmäßigerweise wird die Anzahl der Bauelemente in der Baugruppe bestimmt.
In einer weiteren Ausführungsform der Erfindung wird die Position des jeweiligen
Bauelements in der Baugruppe bestimmt. Die Positionsbestimmung kann die lokale
Anordnung des Bauelements in der Baugruppe, insbesondere auf dem Leiterträger, umfassen. Zweckmäßigerweise umfasst die Positionsbestimmung die Anordnung des jeweiligen Bauelements im Verhältnis zu einem oder mehreren anderen in der
Baugruppe angeordneten Bauelementen. Die Anordnung kann bspw. den Abstand der Bauelemente voneinander umfassen.
In einer Ausgestaltung der Erfindung wird ein Verhältnis der Größen, insbesondere der
Höhen, der Bauelemente zueinander bestimmt.
-3- LU505205
Vorteilhaft lassen sich anhand der Positions- und/oder der
GréBenverhdltnisbestimmung Rückschlüsse auf die Funktion des Bauelements, dessen
Position bestimmt wird, treffen. Ferner ermöglicht die Kenntnis der Positionen der
Bauelemente im Verhältnis zueinander eine Identifizierung der Baugruppe.
In einer besonders bevorzugten Ausgestaltung der Erfindung wird zumindest ein mittels der Bildanalyse erkanntes Merkmal des jeweiligen Bauelements mit
Merkmalsdaten eines Bauelementenmerkmalsdatensatzes, in dem
Bauelemententenmerkmale bestimmten Bauelemententypen zugeordnet sind, verglichen und vorzugsweise die Erkennung der Bauelemente und/oder die
Bestimmung des Bauelemententyps unter Abgleich des erkannten Merkmals bzw. der erkannten Merkmale und den Merkmalsdaten des
Bauelementenmerkmalsdatensatzes erfolgt.
Ein Merkmal des jeweiligen Bauelements können je nach Bauelement beispielsweise sein: Widerstand, Impedanz, Leistung, Spannung, insbesondere Eingangs- und/oder
Ausgangsspannung, Versorgungsspannung, Stromstärke, Wicklungsanzahl,
Gehäusetyp, Gehäusekennung, Hersteller, Herstellerabkürzung, Eingangstyp,
Schnittstellen, Konfiguration, Anzahl A/D-Wandler, Anzahl Eingänge, PIN-Größe, PIN-
Anzahl, Bauart, Bauform, Induktivität, Nennstrom, Durchmesser.
Der Merkmalsdatensatz liegt zweckmäßigerweise als Datenbank vor, die vorzugsweise eine Vielzahl von Bauelement- und/oder Baugruppenmerkmalen aufweist. Zweckmäßigerweise umfasst der Bauelementenmerkmalsdatensatz auch
Herstellungskosten und/oder Preise der Bauelemente, Informationen zur
Materialzusammensetzung der Bauelemente und/oder Informationen zu alternativen und/oder kompatiblen Bauelementen, die anstelle oder zum Ersatz des jeweiligen
Bauelements verwendet werden können.
Zweckmäßigerweise wird zumindest ein mittels der Bildanalyse erkanntes Merkmal der Baugruppe mit Merkmalsdaten eines Baugruppenmerkmalsdatensatzes, in dem
Bauelementen- und/oder Baugruppenmerkmale, die bestimmten Baugruppen zugeordnet sind, verglichen und vorzugsweise die Erkennung der Baugruppen unter
Abgleich des erkannten Merkmals und den Merkmalsdaten des
Baugruppenmerkmalsdatensatzes erfolgt. ZweckmäBigerweise umfasst der
Baugruppenmerkmalsdatensatz auch Herstellungskosten und/oder Preise der
Baugruppen, Informationen zur Materialzusammensetzung der Baugruppen und/oder Informationen zu alternativen und/oder kompatiblen Baugruppen, die anstelle oder zum Ersatz der jeweiligen Baugruppes verwendet werden können.
-4- LU505205
Durch Vergleich von ermittelten Merkmalen der Bauelemente und/oder der
Baugruppen mit dem Bauelementenmerkmalsdatensatz und/oder dem
Baugruppenmerkmalsdatensatz lässt sich eine Baugruppe schon anhand vergleichsweise weniger Merkmale eindeutig zuordnen. Mit steigender Anzahl an ermittelten Merkmalen steigt die Wahrscheinlichkeit, dass das Ergebnis der
Bauelementerkennung und/oder der Baugruppenidentifizierung zutreffend ist.
Zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps und/oder der Baugruppe wird zweckmäßigerweise eine Farbe und/oder eine andere Oberflächenbeschaffenheit des jeweiligen Bauelements bzw. der
Baugruppe bestimmt. Die Erkennung anhand der Farbe und/oder der
Oberflächenbeschaffenheit eignet sich besonders gut, weil insbesondere die
Farbgebung der Bauelemente und ggf. der Baugruppe oder Teilen davon vorgegeben, insbesondere genormt, sind. Die Bestimmung erfolgt vorzugsweise unter
Berücksichtigung von Farbcodes. Die Berücksichtigung der
Oberflächenbeschaffenheit hat sich u.a. deshalb als besonders vorteilhaft erwiesen, weil einige der Bestandteile der Baugruppen, insbesondere die Bauelemente, charakteristische Oberflächenbeschaffenheiten aufweisen. Bspw. können sie metallische Oberflächen eines bestimmten Metalls oder einer bestimmten Legierung, eines Kunststoffs, eines Glases oder einer Keramik aufweisen.
In einer Ausführungsform der Erfindung wird zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps die Form und/oder Größe des jeweiligen Bauelements und/oder zur Identifizierung der Baugruppe die Form und/oder Größe der Baugruppe bestimmt. Die Bestimmung der Form und/oder
Größe der hat sich zur Ermittlung des Bauelemententyps als besonders wirkungsvoll erwiesen, weil die üblicherweise in Baugruppen verwendeten Bauelemente sowohl charakteristische Formen als auch charakteristische Größen aufweisen und die
Formen und Größen oftmals standardisiert sind. So lassen sich beispielsweise Spulen,
Kondensatoren, Dioden, Widerstände o. dgl. anhand ihrer Form mittels Bildanalyse erkennen und darüber hinaus anhand der jeweiligen Größen die jeweiligen
Bauelementeneingenschaften wie z.B. die Induktivität, die Kapazität oder die
Widerstandgröße auffinden. Die Bestimmung erfolgt vorzugsweise unter
Berücksichtigung von vordefinierten Formen und/oder Größen, vorzugsweise unter
Berücksichtigung von Normen über Bauelementformen und/oder -größen.
-5- LU505205
In einer besonders bevorzugten Ausführungsform der Erfindung wird die Höhe des
Bauelements, insbesondere in Bezug auf den Träger, bestimmt.
In einer weiteren Ausgestaltung der Erfindung wird zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps eine elektrische Kontaktierung des jeweiligen Bauelements in der Baugruppe bestimmt, wobei vorzugsweise eine Anzahl und/oder eine Anordnung von elektrischen Anschlüssen, insbesondere von PINs, an dem Bauelement ermittelt wird. Zwar hat sich die Bestimmung der elektrischen
Kontaktierung auch zur Bestimmung von Transistoren, Widerständen, ein induktiven
Bauelementen oder Transformator als nützlich erwiesen, besonders vorteilhaft ist sie allerdings zur Bestimmung von integrierten Schaltkreisen. Die Bestimmung dieser
Bauelemente ist nämlich besonders problematisch, da sie meistens in Gehäusen angeordnet sind und deren Bauteile in Abbildungen oftmals nicht oder nur schlecht erkennbar sind. Die Anzahl und/oder Anordnung der elektrischen Anschlüsse, vor allem der PINs dagegen erlaubt eine recht weitgehende Zuordnung des jeweiligen
Schaltkreistypen.
Zweckmäßigerweise wird zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps eine an oder/und bei dem jeweiligen Bauelement angeordnete Kennzeichnung bestimmt. Die Bestimmung erfolgt vorzugsweise unter
Durchführung einer Text- und/oder Logoerkennung und ggf. einer Analyse einer
Bedeutung des Inhalts eines Textes oder einer anderen Kennzeichnung, die mittels der Texterkennung ermittelt wird. Zweckmäßigerweise wird mittels der
Kennzeichnungsbestimmung eine Marke, ein Hersteller, ein Bauelemeten- oder
Baugruppencode, ein Bauelemten- und/oder Baugruppentyp oder ein anderes
Merkmal bestimmt, anhand dessen sich das Bauelement oder die Baugruppe einem bestimmten passenden Datensatz des Bauelementen- und/oder
Baugruppenmerkmalsdatensatz zuordnen lässt.
In einer Ausgestaltung der Erfindung ist bzw. das künstliche neuronale Netzwerk spezifisch darauf trainiert, Texte und Logos zu erkennen, die üblicherweise zur
Kennzeichnung von Bauelementen und Baugruppen verwendet werden.
In einer Weiterbildung der Erfindung wird zumindest ein mittels der Bildanalyse erkanntes Merkmal, vorzugsweise mehrere der erkannten Merkmale, des bzw. der
Bauelemente und/oder der Baugruppe mit Merkmalsdaten eines
Bauelementemerkmalsdatensatzes und/oder eines
Baugruppenmerkmalsdatensatzes, in dem Baugruppenmerkmale bestimmten
-6- LU505205
Baugruppen zugeordnet sind, verglichen wird. Die Identifizierung der Bauelemente und/oder der Baugruppen erfolgt bevorzugt unter Abgleich des erkannten Merkmals und den Merkmalsdaten Bauelementemerkmalsdatensatzes und/oder des
Baugruppenmerkmalsdatensatzes.
In einer Ausführungsform der Erfindung wird zu jedem ermittelten Merkmal bzw.
Bildanalyseergebnis bestimmt, wie groß die Wahrscheinlichkeit ist, dass das
Bildanalyseergebnis zutreffend ist. Die Wahrscheinlichkeit wird zweckmäßigerweise dem Bildanalyseergebnis zugeordnet und vorzugsweise damit verknüpft. Bei
Verknüpfung der Bildanalyseergebnisse erfolgt vorzugsweise eine Gewichtung der
Bildanalyseergebnisse anhand der jeweiligen Wahrscheinlichkeiten.
In einer bevorzugten Ausgestaltung der Erfindung werden mehrere Abbildungen der
Baugruppe mittels der Bildanalyse(n) verarbeitet. Es versteht sich, dass die mehreren
Abbildungen unterschiedliche Seiten der Baugruppe abbilden können, beispielsweise eine Draufsicht, eine Rückansicht und/oder verschiedene
Seitenansichten der Baugruppe, insbesondere des bestückten Leiterträgers.
Zweckmäßigerweise bilden mehrere der Abbildungen die Baugruppe, insbesondere einen Abschnitt der Baugruppe, vorzugsweise eines oder mehrere der Bauelemente, aus verschiedenen Blickwinkeln ab.
Die Abbildungen können mittels einer einzigen Kamera oder, ggf. gleichzeitig, mittels mehrerer Kameras, beispielsweise mittels eines Multikameraarrays, erstellt werden.
In einer besonders bevorzugten Ausgestaltung der Erfindung werden die
Abbildungen vorzugsweise mittels einer plenoptischen Abbildungsvorrichtung, besonders bevorzugt mittels einer plenoptischen Kamera, erstellt. Vorteilhaft können mittels dieser Abbildungen 3D-Informationen über das Bauelement und/oder die
Baugruppe erlangt werden, die u.a. die obengenannte Ermittlung der Größe, insbesondere der Höhe der Bauelemente und/oder Baugruppe ermöglichen.
Darüber hinaus wird durch die Mehrzahl von Abbildungen jeweilig desselben Objekts aus verschiedenen Blickwinkeln und die entsprechenden mehrfachen Bildanalyse hinsichtlich jeweilig desselben Objekts die Möglichkeit geschaffen, die
Bildanalyseergebnisse zu jeweilig demselben Objekt zu verifizieren und zusammenzuführen. Dadurch wird die Wahrscheinlichkeit, dass das resultierende
Bildanalyseergebnis zutreffend ist, vergrößert.
In einer Ausführungsform der Erfindung werden zumindest einzelne der Abbildungen mit unterschiedlichen Filtern erzeugt, beispielsweise Polarisationsfilter, UV-Sperrfilter,
„7 - LU505205
Farbfilter, Infrarot-Sperrfilter, Neutraldichtefilter, Kantenfilter, Interferenzfilter, Bayer-
Filter, Komplementärfarbenfilter und/oder Fluoreszenzfilter. Dank von unter
Verwendung der Filter erzeugten Abbildung wird es in manchen Fällen möglich,
Merkmale der Bauelemente und/oder der Baugruppen besser oder überhaupt erst
ZU erkennen. Beispielsweise kann sich die Texterkennung erheblich verbessern, wenn zumindest ein Polarisationsfilter, vorzugsweise verschiedene Polarisationsfilter, verwendet wird bzw. werden. Darüber hinaus kann insbesondere bei der
Verwendung eines neuronalen Netzes die Wahrscheinlichkeit, dass ein zutreffendes
Ergebnis aufgefunden wird, deutlich verbessert werden.
In einer Ausgestaltung der Erfindung weist die plenoptische Abbildungsvorrichtung zumindest einen Spiegel, vorzugsweise mehrere Spiegel, und/oder zumindest ein
Prisma, vorzugsweise mehrere Prismen, zur Erzeugung der Abbildungen auf der
Empfängerfläche auf. Der bzw. die Spiegel und/oder das Prisma bzw. die Prismen sind in der optischen Einrichtung derart angeordnet, dass auf der Empfängerfläche mehrere Abbildungen des Objektbereichs erzeugbar sind. Dazu sind im Prinzip diverse unterschiedliche Anordnungen von Spiegeln und/oder Prismen möglich. Als besonders vorteilhaft hat es sich erwiesen, die plenoptische Abbildungsvorrichtung derart vorzusehen, dass mehrere Spiegel vorgesehen und derart angeordnet sind, dass die verschiedenen in einer Eintrittsöffnung eintreffenden Lichtstrahlen beim
Durchgang durch die plenoptische Abbildungsvorrichtung je nach Strahlengang ohne Reflexion durch die plenoptische Abbildungsvorrichtung hindurchdringen oder an einer oder mehreren der Spiegelflächen, ggf. mehrfach, reflektiert werden, bevor sie die plenoptische Abbildungsvorrichtung wieder verlassen.
In einer besonders bevorzugten Ausführungsform der Erfindung umfasst die plenoptische Abbildungsvorrichtung ein Kaleidoskop. Ein solches Kaleidoskop umfasst zweckmäßigerweise zumindest ein Paar ebener Spiegelflächen, wobei die
Spiegelflächen einander zugewandt und im Abstand voneinander angeordnet sind.
Zumindest ein Teil, vorzugsweise sämtliche, Strahlengänge verlaufen durch den
Raum zwischen den Spiegelflächen. Vorzugsweise sind Spiegelflächen parallel zueinander angeordnet. Das Kaleidoskop kann zwei oder mehrere Spiegelpaare aufweisen. Aus den Spiegelpaaren kann ein Rohr gebildet sein, das im Querschnitt polygonal, vorzugsweise rechteckig, ist. Das Kaleidoskop könnte alternativ durch einen zylindrischen, im Querschnitt polygonalen Glasstab gebildet sein, der verspiegelte Seitenflächen und Stirnflächen zum Ein- und Austritt der Lichtstrahlen
-8- LU505205 aufweist. Der Glasstab weist im Querschnitt vorzugsweise die Form eines gleich- schenkligen Dreiecks, eines Rechtecks, insbesondere Quadrats, eines regelmäßigen
Fünf-, Sechs-, Sieben- oder Achtecks auf.
IweckmdBigerweise sind die Spiegel und/oder Prismen derart vorgesehen, dass die verschiedenen Abbildungen den Objektbereich von unterschiedlichen Blickwinkeln aus aufgenommen darstellen. Somit wird es möglich, mittels der optischen Ein- richtung eine plenoptische Kamera zu bilden.
In einer Ausgestaltung der Erfindung wird für die plenoptische Bildaufzeichnung ein
Abbildungssystem verwendet, das mehrere, in Richtung einer optischen Achse aufeinanderfolgend angeordneten Abbildungseinrichtungen umfasst. Eine erste
Abbildungseinrichtung erzeugt ein reelles Zwischenbildes des Objektbereichs in einer
Zwischenbildebene, eine zweite Abbildungseinrichtung, die die genannte plenoptische Abbildungsvorrichtung umfasst, erzeugt mindestens ein virtuelles
Spiegelbild von dem reellen Zwischenbild, das in der Zwischenbildebene versetzt zu dem reellen Zwischenbild angeordnet ist, und eine dritte Abbildungseinrichtung erzeugt eine gemeinsame Abbildung des reellen Zwischenbildes und des virtuellen
Spiegelbildes als reelles Bild auf einer in axialem Abstand zu der Zwischenbildebene anzuordnenden Bildempfängerfläche.
Zweckmäßigerweise erfolgt die Bildkorrektur an der gemeinsamen Abbildung des reellen Zwischenbildes und des mindestens eine virtuellen Spiegelbildes als reelles
Bild.
Vorzugsweise wird für das reelle Zwischenbild und für das virtuelle Spiegelbild, besonders bevorzugt für jedes der virtuellen Spiegelbilder, die genannte spezifische
Bildkorrektur durchgeführt.
In einer besonders bevorzugten Ausführungsform der Erfindung ist die plenoptische
Abbildungsvorrichtung In einem Objektiv angeordnet, das zumindest eine Linse aufweist, welche vorzugsweise die erste Abbildungseinrichtung bildet.
In einer bevorzugten Ausführungsform der Erfindung ist zumindest eine Lichteintritts- linse, vorzugsweise mehrere ein Lichteintritislinsensystem bildende Lichteintrittslinsen, in Strahlengangrichtung vor der optischen Einrichtung angeordnet.
Die plenoptische Abbildungsvorrichtung, die vorzugsweise die zweite
Abbildungseinrichtung bildet, ist zweckmäßigerweise derart gebildet, dass die In die plenoptische Abbildungsvorrichtung eintretenden Lichtstrahlen entsprechend ihrer
Richtung derart aufgespaltet werden, dass sie den Objektbereich aus geringfügig
-9- LU505205 unterschiedlichen Blickwinkeln erfassen, aber dennoch denselben Objektbereich darstellen.
Die Lichteintrittslinse ist zweckmäßigerweise vorgesehen derart, dass sie den Objekt- bereich auf eine Eingangsebene an einem der Lichteintrittsliinse zugewandten Ende der optischen Einrichtung abbildet.
In einer Ausführungsform der Erfindung ist In Strahlengangrichtung gesehen hinter der optischen Einrichtung zumindest eine Lichtaustrittslinse, vorzugsweise mehrere gemeinsam ein Lichtaustrittslinsensystem bildende Lichtaustrittslinsen, angeordnet, mittels derer die Strahlengänge derart gebildet werden, dass die Abbildungen in der erfindungsgemäßen Weise auf die Empfängerfläche erzeugt werden. Die
Lichtaustrittslinse bzw. die Lichtausirittslinsen bilden vorzugsweise die genannte dritte
Abbildungseinrichtung.
Zweckmäßigerweise ist das Lichtaustrittslinsensystem gebildet derart, dass seine
Schärfeebene mit der Eingangsebene der optischen Einrichtung, insbesondere des
Kaleidoskops, identisch ist.
Es versteht sich, dass die Anordnung der Linsen und der Spiegel oder Prismen hinter- einander in den Abbildungen zu, ggf. komplexen, Bildfehlern führen kann, die sich mit konventionellen Bildkorrekturverfahren nur schwer oder nicht korrigieren lassen.
Schon eine geringe Abweichung von der vorgesehenen Position oder Form einer der
Linsen, der Spiegel oder der Prismen kann dazu führen, dass in den Abbildungen un- erwünscht unterschiedliche Teile des Objektbereichs erfasst werden oder dass von
Abbildung zu Abbildung unterschiedliche Abbildungsfehler wie bspw. Verzerrungen auftreten.
In einer besonders bevorzugten Ausführungsform der Erfindung werden auf der
Empfängerfläche N x N Abbildungen des Objektbereichs gebildet und in einem
N x N-Raster nebeneinander erzeugt, wobei N vorzugsweise eine ungerade Zahl repräsentiert. ZweckmdBigerweise werden die N x N Abbildungen derart gebildet, dass sie einen auslesbaren Teil der Empfängerfläche, insbesondere vollständig oder zumindest nahezu vollständig, belegen. Die Abbildungen sind in dem Raster vorzugsweise vertikal und horizontal nebeneinander angeordnet.
Die Abbildungen werden zweckmäßigerweise derart erzeugt, dass sie den Objekt- bereich aus verschiedenen Blickwinkeln abbilden.
Auf der Empfängerfläche werden besonders bevorzugt neun Abbildungen des
Objektbereichs gebildet, die in einem 3 x 3 - Raster erzeugt sind. Alternativ können bspw. 25 Abbildungen des Objektbereichs in einem 5 x 5-Raster oder 49 Abbildungen
210 - LU505205 in einem 7 x 7-Raster erzeugt werden. Es versteht sich, dass zur Erhöhung der Anzahl der erreichbaren Blickwinkel auch größere Anzahlen von Abbildungen und entsprechender Rasteranordnungen vorgesehen werden können.
Ausführungsformen der optischen Einrichtung, insbesondere des Objektivs, sind in der
WO 2014/124982 A1 beschrieben. Der Inhalt der WO 2014/124982 Al wird in die vor- legende Anmeldung durch Bezugnahme aufgenommen. Im Einzelnen wird auf den
Text auf. S. 7, 1. Absatz bis S. 11, 2. Absatz und die Fig. 1 bis 3 Bezug genommen. Dort sind geeignete plenoptische Abbildungsvorrichtungen beschrieben und ihre
Funktionsweise erläutert.
Das Objektiv umfasst zweckmäßigerweise Gehäuse, in dem die zumindest eine Linse und die plenoptische Abbildungsvorrichtung angeordnet sind. Das Objektiv ist vorzugsweise mit einer Einrichtung zur mechanischen Befestigung an einem
Kameragehäuse, bspw. einem Objektivgewinde oder einem Objektivbajonett, versehen. Es kann ferner mit einer Einrichtung zur elektrischen oder elektronischen
Verbindung und/oder zur Datenübertragung mit dem Kameragehäuse vorgesehen sein.
Zweckmäßigerweise weist die Empfängerfläche zumindest einen Bildaufnahmesensor auf oder ist durch zumindest einen Bildaufnahmesensor gebildet. In der bevorzugten
Ausführungsform der Erfindung ist die Empfängerfläche durch einen einzigen Bild- aufnahmesensor gebildet. Der Bildaufnahmesensor ist vorzugsweise ein CCD-Sensor oder ein CMOS-Sensor.
Zweckmäßigerweise weist das Abbildungssystem eine Einrichtung zur optischen
Filterung auf, mittels derer die Abbildung des reellen Zwischenbildes und/oder zumindest eines der virtuellen Spiegelbilder voneinander separat filterbar sind.
Vorteilhaft lässt sich dadurch erreichen, dass zumindest einzelne der in dem N x N-
Raster nebeneinander erzeugten Abbildungen unterschiedlich gefiltert sind.
In einer Weiterbildung der Erfindung wird das künstliche neuronale Netzwerk mittels mehrerer Abbildungen von Trainingsbauelementen und/oder -baugruppen trainiert, wobei die Abbildungen vorzugsweise mittels der plenoptischen
Abbildungsvorrichtung erstellt werden. Zweckmäßigerweise wird ein Datensatz, insbesondere ein Trainingsdatensatz, für ein maschinelles Lernsystem zur digitalen
Bildverarbeitung, insbesondere zur Bildklassifikation und/oder Objekterkennung
S11 - LU505205 und/oder Segmentierung, gebildet. Vorzugsweise wird mindestens ein Satz digitaler
Bilder desselben aufgenommenen Objekts, insbesondere zumindest eines
Bauelements und/oder einer Baugruppe, aus verschiedenen Blickwinkeln zur Bildung des Datensatzes verwendet.
In einer Ausgestaltung der Erfindung wird das künstliche neuronale Netzwerk mittels der Bauelementenmerkmalsdatensatz und/oder Baugruppenmerkmalsdatensatz trainiert. Insbesondere wird es dazu trainiert, die Abbildungen mit dem
Bauelementenmerkmalsdatensatz und/oder Baugruppenmerkmalsdatensatz zu verknüpfen und insbesondere erkannte Bauelementen- und/oder
Baugruppenmerkmale Bauelementenmerkmalsdatensatz und/oder
Baugruppenmerkmalsdatensatz zuzuordnen.
In einer Ausführungsform der Erfindung wird das künstliche neuronale Netzwerk dazu trainiert, anhand der erkannten Bauelemente und dem
Bauelementenmerkmalsdatensatz und/oder dem Baugruppenmerkmalsdatensatz die Baugruppe zu identifizieren, insbesondere deren Funktion zu ermitteln.
Bei dem maschinellen Lernsystem handelt es sich zweckmäßigerweise um ein Deep-
Learning-System, wie z. B. ein Convolutional Neural Network. Convolutional Neural
Networks werden bekanntermaßen für die visuelle Bildanalyse eingesetzt. Sie werden u. a. bei der Bild- und Videoerkennung, der Bildklassifizierung und der medizinischen
Bildanalyse eingesetzt. Darüber hinaus kann das maschinelle Lernsystem ein Deep
Neural Network System, ein Deep Belief Network System oder ein Recurrent Neural
Network System sein.
In einer besonders bevorzugten Ausführungsform der Erfindung ist das maschinelle
Lernsystem zur Klassifizierung, Segmentierung und/oder Objekterkennung vorgesehen.
Zweckmäßigerweise werden mehrere Sätze digitaler Bilder jeweils desselben erfassten Objekts, insbesondere zumindest eines Bauelements und/oder einer
Baugruppe, verwendet, wobei sich mindestens zwei der Sätze, vorzugsweise alle
Sätze, in der erfassten Perspektive unterscheiden.
Vorzugsweise umfasst der Datensatz einen Ground-Truth-Bildsatz und/oder einen gelabelten Bildsatz, der zum Vergleich und/oder zur Bewertung der Leistung der
Bildverarbeitung, insbesondere während des Trainings, bereitgestellt wird.
Alternativ oder zusätzlich kann auch ein unüberwachtes Lernmodell oder ein halbüberwachtes Lernmodell verwendet werden.
_12- LU505205
In einer bevorzugten Ausführungsform der Erfindung umfasst das Verfahren das
Trainieren des maschinellen Lernsystems für die digitale Bildverarbeitung, insbesondere die Klassifizierung, Segmentierung und/oder Objekterkennung, unter
Verwendung des Trainingsdatensatzes.
Die Erfindung betrifft ferner einen trainiertes kUnstliches neuronales Netz, das wie oben erläutert trainiert worden ist und ferner eine Verwendung des künstliches neuronales Netzes zur Bauelementen- und/oder Baugruppenidentifizierung.
Die Erfindung betrifft ferner ein Computerprogrammprodukt, das Befehle aufweist, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das oben beschriebene Verfahren auszuführen.
Das Computerprogrammprodukt ist zweckmäßigerweise ein auf einem Datenträger, vorzugsweise RAM, ROM, CD oder dergleichen, oder einem Gerät, insbesondere einem Personalcomputer, einem Gerät mit eingebettetem Prozessor, einem in ein
Gerät eingebettetem Computer, einem Smartphone, einem Computer einer
Vorrichtung zur Erstellung einer Bildaufzeichnung, insbesondere einer Foto- und/oder
Videokamera, gespeichertes Computerprogramm ist oder eine für die Übersendung
Uber ein Rechnernetzwerk, insbesondere das Internet, geeignete, Daten dar- stellende Signalfolge ist.
Die Erfindung betrifft ferner ein Datenträgersignal, welches das genannte
Computerprogrammprodukt überträgt.
Ferner betrifft die Erfindung eine Vorrichtung zur Identifizierung einer elektronischen
Baugruppe, umfassend eine Einrichtung zur Datenverarbeitung, die Mittel zur
Ausführung des oben genannten Verfahrens umfasst. Die Vorrichtung umfasst zweckmdaBigerweise das oben erläuterte Abbildungssystem oder/und eine Kamera, insbesondere einer Foto- und/oder Videokamera. Es versteht sich, dass das
Abbildungssystem oder/und die Kamera derart miteinander verbunden sind, dass erstellte Abbildungen, vorzugsweise automatisch, der Einrichtung zur
Datenverarbeitung zur Bildanalyse und ggf. zur Baugruppenidentifikation übermittelt werden.
Die Datenverarbeitungsvorrichtung ist benutzt zweckmäßigerweise das trainierte neuronale Netz.
Die Erfindung kann beispielsweise für folgende Anwendungen benutzt werden:
_13- LU505205 - Kostenermittlung: Mittels der Bauelementenerkennung bzw. der
Baugruppenidentifizierung und der Verknüpfung mit dem
Bauelementenmerkmalsdatensatz bzw. Baugruppenmerkmalsdatensatz, der wie oben erläutert Herstellungskosten und/oder Preise umfasst, lassen sich Kosten von
Baugruppen ermitteln. - Qualitätskontrolle der elektronischen Baugruppen, insbesondere zur Überwachung der Vollständigkeit der Bestückung, der korrekten Positionierung der Bauelemente, des Zustands der Bauelemente und/oder von elektrischen Anschlüssen, z.B. Lötstellen. - Zusammenbau der elektronischen Baugruppen, insbesondere Prüfung, ob ein
Greifwerkzeug einer Einrichtung zum Baugruppenzusammenbau das vorgesehene
Bauelement aufgenommen hat. Dies ist insbesondere relevant, wenn Bauelemente als Schüttgut bereitgestellt werden, da in diesen Fällen geprüft werden muss, ob das richtige Bauelement entnommen wurde, das Bauelement in Ordnung ist und wo das
Greifwerkzeug das Bauelement entnommen hat, um Roboter bei einer präzisen
Positionierung des Bauelement zu unterstützen. - Recycling: a) Sortierung von zu recycelnden Baugruppen anhand der erfindungsgemdBen
Identifizierung b) gezielte Abtrennung von Baugruppenteilen in Abhängigkeit von darauf angeordneten Bauelementen c) Wertbestimmung von zu recycelnden Baugruppen anhand der erfindungsgemäßen Identifizierung d) Auffinden von Baugruppen zur Wiederverwendung als Gebrauchtwaren - Ermittlung von Ersatzbauteilen: Falls, insbesondere Ältere, Baugruppen repariert werden müssen, für die nicht alle Bauelemente verfügbar sind, kann es notwendig sein, alternativ einsetzbare Bauelemente zu finden. Dies kann durch die Verknüpfung einer Datenbank mit potenziellen Ersatzbauteilen mit der Bauteilidentifikation erreicht werden.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiel und Zeichnungen, die sich auf das Ausführungsbeispiel beziehen, näher erläutert. Es zeigen
Fig. 1 schematisch eine erfindungsgemäße Vorrichtung und
Fig. 2 schematisch eine elektronische Baugruppe
Fig. 1 zeigt eine erfindungsgemäße Vorrichtung 1, die eine plenoptische Kamera 2 zur Erzeugung von Abbildungen aus verschiedenen Blickwinkeln, einen damit
_14- LU505205 verbundenen Computer 3 sowie einen Abbildungsraum 4 umfasst, in dem sich mittels der Vorrichtung 1 zu identifizierende Baugruppen 10 anordnen lassen. Die Kamera 2 kann vorgesehen sein derart, dass sie mit unterschiedlichen Filtern gefilterte
Abbildungen erzeugt.
Der Computer 3 ist mit einem Computerprogramm versehen, mittels dessen sich
Abbildungen, die mit der plenoptischen Kamera 2 aufgenommen werden, mittels einer Bildanalyse verarbeiten lassen. Das Computerprogramm umfasst zumindest ein neuronales Netz, das dafür trainiert ist, elektronischen Bauelemente 12 - 20 und/oder elektronische Baugruppen 10 zu erkennen. Es ist eine Datenbank 5 vorgesehen, auf welche die Software zugreifen kann und welche Bauelementen- und/oder
Baugruppenmerkmalsdatensätze enthält.
Eine in Fig. 2 dargestellte elektronische Baugruppe 10 umfasst eine Leiterplatte 11, an der Bauelemente, nämliche Widerstände 12,13, Spulen 14,15, integrierte Schaltungen 16,17, die zur elektrischen Kontaktierung mit PINs 18,19 versehen sind, sowie
Kondensatoren 20,21 angeordnet und mittels hier nicht gezeigter, in der Leiterplatte 11 vorgesehener elektrischer Leitungen miteinander verbunden sind.
Zur Identifizierung wird die Baugruppe 10 in dem Abbildungsraum 4 angeordnet. Sie kann dazu bspw. mittels eines Förderbands, einem Roboterarm oder von Hand in den Abbildungsraum gebracht werden
Mittels der plenoptischen Kamera 2 werden aus verschiedenen Blickwinkeln
Abbildungen der Baugruppe 10 erzeugt, ggf. von verschiedenen Seiten der
Baugruppe 10, z.B. derart, dass einige der Abbildungen aus mehreren Blickwinkeln im Wesentlichen Draufsichten, Rückansichten und/oder verschiedene
Seitenansichten der Baugruppe 10 zeigen. Die Abbildungen werden einzelnen oder mehreren verschiedenen Bildanalysen, die nachfolgend erläutert sind und mittels eines für die jeweilige Bildanalyse trainierten künstlichen neuronalen Netzwerks erfolgen, unterzogen.
A. Die Bauelemente werden detektiert.
B. Für jedes der Bauelemente wird die räumliche Anordnung auf der Leiterplatte 11 ermittelt.
C. Für jedes der Bauelemente ermittelt, ob es mit einer Kennzeichnung, insbesondere einem Text und/oder einem Logo, versehen ist. Wird eine
Kennzeichnung aufgefunden, wird für jedes der Bauelemente ermittelt, ob anhand der Kennzeichnung der jeweilige Bauelemententyp bestimmbar ist.
D. Es wird die Farbe und/oder eine Oberflächenbeschaffenheit jedes der
Bauelemente bestimmt.
_15- LU505205
E. Es wird die Form und/oder die Größe jedes der Bauelemente ermittelt.
Insbesondere kann anhand von Tiefeninformation, die dank der Aufnahmen mit der plenoptischen Kamera und den Abbildungen aus verschiedenen Blickrichtungen erlangt werden kann, 3D-Information zu dem jeweiligen Bauelement bestimmt werden.
F. Es wird die elektrische Kontaktierung jedes der Bauelement bestimmt, wobei vorzugsweise eine Anzahl und/oder eine Anordnung von elektrischen Anschlüssen, insbesondere der PINs 18,19, an dem Bauelement, insbesondere an der jeweiligen integrierten Schaltung 16,17, ermittelt wird.
G. FÜr jedes der Bauelemente wird die räumliche Anordnung auf der Leiterplatte 2 im
Verhältnis zu den anderen Bauelementen ermittelt.
Zur Identifizierung der Baugruppe 10 nach Fig. 2 werden für jedes Bild die
Bauelemente 12 - 20 auf der Leiterplatte 11 detektiert und für jedes der Bauelemente 12 - 20 die Position auf der Leiterplatte 11 ermittelt.
Im vorliegenden Beispiel sind lediglich die integrierten Schaltungen 16,17 mit
Kennzeichnungen versehen, es versteht sich aber, dass die anderen Bauelemente 12 -15, 20,21 mit Kennzeichnungen versehen sein könnten. Auf der integrierten
Schaltung 16 ist ein Logo angeordnet, das einen Textbestandteil enthält und es ist eine Kennziffer vorgesehen. Die integrierte Schaltung 17 ist lediglich mit einem
Kenncode versehen. Das Logo sowie die Kennziffer der generierten Schaltung 16 werden erkannt und die damit verbundene Information gespeichert. Ferner wird der
Kenncode der integrierten Schaltung 17 erkannt und gespeichert.
Bei der Bestimmung der Farbe der Bauelemente 12 - 20 werden auf den
Widerständen 12,13, den Spulen 14,15 und den Kondensatoren 20,21 Farben erkannt, die einer Farbcodierung entsprechen und dementsprechend gespeichert werden.
Bei der Ermittlung der Oberflächenbeschaffenheit der Bauelemente 12 - 20 wird erkannt, ob die Bauelemente 12 - 20 bzw. deren Gehäuse aus Metall, Kunststoff oder
Keramik gebildet sind und die ermittelten Informationen dazu dementsprechend gespeichert. Unter Verwendung jeder der Abbildungen wird die Form und Größe der
Bauelemente ermittelt. Um an 3D-Informationen zu gelangen, werden die aus dem in verschiedenen Blickwinkeln aufgenommenen Informationen in sich bekannter Weise derart verarbeitet, dass anhand von Tiefeninformationen auch die Höhe der
Bauelemente 12 - 20 ermittelbar ist. Die dementsprechend aufgefundenen
Merkmale werden ebenfalls gespeichert.
_16- LU505205
Ferner wird anhand der Abbildungen die elektrische Kontaktierung der Bauelemente 12 - 20 bestimmt. Dies kann anhand von auf der Leiterplatte sichtbaren elektrischen
Leitungen erfolgen. Zu den integrierten Schaltungen 16,17 wird die jeweilige Anzahl der PINs 18,19 und deren Position bestimmt.
Für jede der durchgeführten Bildanalysen wird eine dem jeweiligen ermittelten
Merkmal entsprechende Merkmalsinformation gespeichert, die Wahrscheinlichkeit und/oder ein Konfidenzwert, insbesondere ein Konfidenzintervall, dafür ermittelt, dass das jeweilig bestimmte Merkmal zutreffend ist, und ein der Wahrscheinlichkeit oder dem Konfidenzwert entsprechender Eintrag verknüpft mit der erlangten
Merkmalsinformation gespeichert. Unter Verwendung der Merkmalsinformation, ggf. der Merkmalsinformationen wird ermittelt, um welche Bauelementenart und um welchen Bauelemententyp es sich handelt. Dies erfolgt durch Vergleich mit den genannten Bauelementenmerkmalsdatensätzen, ggf. unter Benutzung eines dafür trainierten neuronalen Netzes.
Ferner wird die Wahrscheinlichkeit dafür, dass der jeweilig bestimmte
Bauelemententyp zutreffend ist, durch Abgleich der Bildanalyseergebnisse für die verschiedenen Abbildungen, die aus den unterschiedlichen Blickwinkeln aufgenommen worden sind, ermittelt.
In einem weiteren Schritt werden die erkannten Merkmale zu den Bauelementen 12 - 17 durch Vergleich mit den Baugruppenmerkmalsdatensätzen verglichen und dadurch Baugruppe, insbesondere Baugruppentypen bestimmter Spezifikationen, zugeordnet.
Für die Zuordnung der erkannten Bauelemente zu den Baugruppen kann ein weiteres neuronales Netz vorgesehen sein, das anhand der erkannten Bauelemente die Baugruppe, insbesondere den Baugruppentyp, der mit den Bauelementen bestückt ist, ermittelt.
Das erfindungsgemäße Verfahren kann dazu verwendet werden, den Wert bzw. die
Kosten zu ermitteln, die für eine identifizierte Baugruppe anfallen. Dazu können übliche Preise oder Preisspannen, die für die jeweiligen Bauelemente 12 - 20 anfallen, in den Bauelementenmerkmalsdatensätzen gespeichert sein.

Claims (20)

_17- LU505205 Patentansprüche:
1. Verfahren zur Identifizierung einer elektronischen Baugruppe, bei dem zumindest eine Abbildung, Insbesondere eine Fotografie, der Baugruppe mittels Bildanalyse verarbeitet wird, dadurch gekennzeichnet, dass mittels der Bildanalyse Bauelemente der Baugruppe erkannt werden und Bauelemententypen zumindest einzelner der Bauelemente bestimmt werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass unterschiedliche Bildanalysen durchgeführt werden und zur Bauelementerkennung, Bauelemententypenbestimmung und/oder zur Baugruppenidentifizierung Ergebnisse der unterschiedlichen Bildanalysen Miteinander verknüpft werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zumindest eine der Bildanalysen mittels eines künstlichen neuronalen Netzwerks erfolgt, das dafür trainiert ist, Bauelemente in der Baugruppe zu erkennen oder/und zu bestimmen, zu welchem Bauelemententyp das jeweilige Bauelement gehört, vorzugsweise ob das jeweilige Bauelement ein integrierter Schaltkreis, ein Transistor, ein Widerstand, ein induktives Bauelement, ein Transformator, oder ein andere Bauelemententyp ist, wobei vorzugsweise Spezifikationen des jeweiligen Bauelements ermittelt werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps eine Farbe und/oder eine andere Oberflächenbeschaffenheit des jeweiligen Bauelements bestimmt wird, wobei die Bestimmung vorzugsweise unter Berücksichtigung von Farbcodes erfolgt.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps die Form und/oder Größe des jeweiligen Bauelements
_18- LU505205 bestimmt wird, wobei die Bestimmung vorzugsweise unter Berücksichtigung von vordefinierten Formen und/oder Größen, vorzugsweise unter Berücksichtigung von Normen über Bauelementformen und/oder -größen erfolgt.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps eine elektrische Kontaktierung des jeweiligen Bauelements in der Baugruppe bestimmt wird, wobei vorzugsweise eine Anzahl und/oder eine Anordnung von elektrischen Anschlüssen, insbesondere von PINs, an dem Bauelement ermittelt wird.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps die Position des jeweiligen Bauelements in der Baugruppe bestimmt wird,
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass zur Erkennung der Bauelemente und/oder zur Bestimmung des Bauelemententyps eine an oder/und bei dem jeweiligen Bauelement angeordnete Kennzeichnung bestimmt wird, wobei die Bestimmung vorzugsweise unter Durchführung einer Text- und/oder Logoerkennung und ggf. einer Analyse eines Inhalts eines mittels der Texterkennung ermittelten Textes erfolgt.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass zumindest ein mittels der Bildanalyse erkanntes Merkmal des jeweiligen Bauelements mit Merkmalsdaten eines Bauelementenmerkmalsdatensatzes, in dem Bauelemententenmerkmale bestimmten Bauelemententypen zugeordnet sind, verglichen wird und vorzugsweise die Erkennung der Bauelemente und/oder die Bestimmung des Bauelemententyps unter Abgleich des erkannten Merkmals und den Merkmalsdaten des Bauelementenmerkmalsdatensatzes erfolgt.
219 - LU505205
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass zumindest ein mittels der Bildanalyse erkanntes Merkmal der Baugruppe mit Merkmalsdaten eines Baugruppenmerkmalsdatensatzes, in dem Baugruppenmerkmale bestimmten Baugruppen zugeordnet sind, verglichen wird und vorzugsweise die Erkennung der Baugruppen unter Abgleich des erkannten Merkmals und den Merkmalsdaten des Baugruppenmerkmalsdatensatzes erfolgt.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zu jedem Bildanalyseergebnis bestimmt wird, wie groß die Wahrscheinlichkeit ist, dass das Bildanalyseergebnis zutreffend ist, und die Wahrscheinlichkeit dem Bildanalyseergebnis zugeordnet wird und bei Verknüpfung der Bildanalyseergebnisse eine Gewichtung der Bildanalyseergebnisse anhand der jeweiligen Wahrscheinlichkeiten erfolgt.
12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass mehrere Abbildungen der Baugruppe mittels der Bildanalyse(n) verarbeitet werden.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die mehreren Abbildungen die Baugruppe aus verschiedenen Blickwinkeln abbilden und die Abbildung vorzugsweise mittels einer plenoptischen Abbildungsvorrichtung, besonders bevorzugt mittels einer plenoptischen Kamera, erstellt werden.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die mehreren Abbildungen unterschiedliche Seiten der Baugruppe abbilden.
15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet,
-20 - LU505205 dass das künstliche neuronale Netzwerk mittels mehrerer Abbildungen von Trainingsbaugruppen und/oder -bauelementen trainiert wird, wobei die Abbildungen vorzugsweise mittels einer plenoptischen Abbildungsvorrichtung, besonders bevorzugt mittels einer plenoptischen Kamera, erstellt werden.
16. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 14 auszuführen.
17. Computerprogrammprodukt nach Anspruch 16, dadurch gekennzeichnet, dass das Computerprogrammprodukt ein auf einem Datenträger, vorzugs- weise RAM, ROM, CD oder dergleichen, oder einem Gerät, insbesondere einem Personalcomputer, einem Gerät mit eingebettetem Prozessor, einem in ein Gerät eingebettetem Computer, einem Smartphone, einem Computer einer Vorrichtung zur Erstellung einer Bildaufzeichnung, Insbesondere einer Foto- und/oder Videokamera, gespeichertes Computerprogramm ist oder eine für die Übersendung über ein Rechnernetzwerk, insbesondere das Internet, geeignete, Daten darstellende Signalfolge ist.
18. Datenträgersignal, welches das Computerprogrammprodukt nach Anspruch 16 überträgt.
19. Vorrichtung zur Identifizierung einer elektronischen Baugruppe, umfassend eine Einrichtung zur Datenverarbeitung (3), die Mittel zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 15 aufweist.
20. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, dass die Vorrichtung (1) ein plenoptisches Abbildungssystem (2) umfasst.
LU505205A 2023-09-28 2023-09-28 Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe LU505205B1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
LU505205A LU505205B1 (de) 2023-09-28 2023-09-28 Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe
CN202480062184.6A CN121925686A (zh) 2023-09-28 2024-09-19 用于标识电子的组件的方法和装置
PCT/EP2024/076193 WO2025068011A1 (de) 2023-09-28 2024-09-19 Verfahren und vorrichtung zur identifizierung einer elektronischen baugruppe

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
LU505205A LU505205B1 (de) 2023-09-28 2023-09-28 Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe

Publications (1)

Publication Number Publication Date
LU505205B1 true LU505205B1 (de) 2025-03-28

Family

ID=88291012

Family Applications (1)

Application Number Title Priority Date Filing Date
LU505205A LU505205B1 (de) 2023-09-28 2023-09-28 Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe

Country Status (3)

Country Link
CN (1) CN121925686A (de)
LU (1) LU505205B1 (de)
WO (1) WO2025068011A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014124982A1 (en) 2013-02-13 2014-08-21 Universität des Saarlandes Plenoptic imaging device
CN110147570A (zh) * 2019-04-11 2019-08-20 江苏大学 一种基于纹理和形状特征的电子元件识别的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014124982A1 (en) 2013-02-13 2014-08-21 Universität des Saarlandes Plenoptic imaging device
CN110147570A (zh) * 2019-04-11 2019-08-20 江苏大学 一种基于纹理和形状特征的电子元件识别的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MANTRAVADI ANANYA ET AL: "Dilated Involutional Pyramid Network (DInPNet): A Novel Model for Printed Circuit Board (PCB) Components Classification", 2023 24TH INTERNATIONAL SYMPOSIUM ON QUALITY ELECTRONIC DESIGN (ISQED), IEEE, 5 April 2023 (2023-04-05), pages 1 - 7, XP034348651, DOI: 10.1109/ISQED57927.2023.10129388 *
SALVADOR RODOLFO C ET AL: "DeepTronic: An Electronic Device Classification Model using Deep Convolutional Neural Networks", 2018 IEEE 10TH INTERNATIONAL CONFERENCE ON HUMANOID, NANOTECHNOLOGY, INFORMATION TECHNOLOGY,COMMUNICATION AND CONTROL, ENVIRONMENT AND MANAGEMENT (HNICEM), IEEE, 29 November 2018 (2018-11-29), pages 1 - 5, XP033529991, DOI: 10.1109/HNICEM.2018.8666303 *

Also Published As

Publication number Publication date
WO2025068011A1 (de) 2025-04-03
CN121925686A (zh) 2026-04-24

Similar Documents

Publication Publication Date Title
DE69719245T2 (de) Digitales Bildaufnahmesystem
EP0095517B1 (de) Verfahren und Einrichtung zur automatischen optischen Inspektion
DE112008003337B4 (de) Eigenschaftsanalysegerät
DE2935261A1 (de) Anordnung und verfahren zur mustererkennung
DE102008035150A1 (de) Stereokamerasystem
EP4233500A1 (de) Verfahren und vorrichtung zur optischen qualitätskontrolle während der fertigung von leiterplatten
DE102009017695B3 (de) Verfahren zur Inspektion von Lötstellen an elektrischen und elektronischen Bauteilen
DE102017205727A1 (de) Verfahren zum Kalibrieren eines Sensorsystems
DE102017219244B4 (de) Inspektionsbedingungsbestimmungseinrichtung, inspektionsbedingungsbestimmungsverfahren und inspektionsbedingungsbestimmungsprogramm
DE10100615A1 (de) Handerkennung mit Positionsbestimmung
DE102006055758A1 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102022120812A1 (de) Optisches abtastsystem und ausrichtungsverfahren für ein vorgegebenes zielobjekt
LU505205B1 (de) Verfahren und Vorrichtung zur Identifizierung einer elektronischen Baugruppe
DE69935793T2 (de) Vorrichtung zur bestimmung der leiterbahnstruktur
EP4432137B1 (de) Verfahren zum betreiben einer kabelverarbeitungsvorrichtung, kabelverarbeitungsvorrichtung, auswerte und/oder steuereinrichtung für eine kabelverarbeitungsvorrichtung und maschinenlesbarer programmcode
DE19700318A1 (de) Verfahren zur Bestimmung der Geometriedaten von Abtastvorlagen
DE102022116720B3 (de) Verfahren zur Raumplanerstellung
EP4217785B1 (de) Abbildungssystem, insbesondere für eine kamera
DE102016118981B4 (de) Verfahren und Vorrichtung zur Bestückung von Steckergehäusen mit konfektionierten Kabelenden eines Kabels
EP4592944B1 (de) Bildaufbereitungsvorrichtung zur unterstützung einer qualitativen und/oder quantitativen bewertung der qualität einer crimpverbindung, bildauswertevorrichtung und fertigungsfreigabesystem für eine crimpvorrichtung
DE10254905B4 (de) Verfahren zur Bewertung der Stabilität von Bildverarbeitunsvorgängen und Verwendung des Verfahrens
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit
EP0848244A2 (de) Verfahren und Vorrichtung zum automatischen Überprüfen von Positionsdaten j-förmiger elektrischer Kontaktanschlüsse
WO1993010505A1 (de) Verfahren und anordnung zur kontrolle des inhaltes von bildern
EP3561772A1 (de) Verfahren zur kalibrierung einer zeilenbildaufnahmeeinheit

Legal Events

Date Code Title Description
FG Patent granted

Effective date: 20250328