DE3618480A1

DE3618480A1 - Verfahren und vorrichtung zur automatischen bestimmung des ortes und der lage eines gegenstandes

Info

Publication number: DE3618480A1
Application number: DE19863618480
Authority: DE
Inventors: Chia P. Troy Mich. Day; Berthold K.P. Concord Mass. Horn; Kenneth W. Rochester Mich. Krause; Louis L. Troy Mich. Whitcomb
Original assignee: GMF Robotics Corp
Current assignee: Fanuc Robotics North America Inc
Priority date: 1985-06-04
Filing date: 1986-06-02
Publication date: 1986-12-04
Anticipated expiration: 2006-06-03
Also published as: JP2511246B2; JP2602812B2; DE3618480C2; JPS6254115A; US4639878A; JPH0713613A

Description

DipUng.W.Dahlke
DipUng. H.-]. Lippert 28. Mai 1986 D-S/Sti .

Patentanwälte
Frankenforstär Straße 137
5060 Bergisch Gladbach

GMF Robotics Corporation
Troy, Michigan / USA

"Verfahren und Vorrichtung zur automatischen
BestJBwung des Ortes und der Lage eines Gegenstandes"

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur automatischen Bestimmung des Ortes und der Lage eines Gegenstandes, insbesondere ein Verfahren und eine Vorrichtung zur dreidimensionalen maschinellen Vision zur Bestimmung des Ortes und der Lage eines Gegenstandes.

Vorrichtungen zur dreidimensionalen maschinellen Vision verwenden eine Anzahl verschiedener Systeme, wie z.B. Entfernungsmessung, strukturiertes Licht und binokulare Vision, zur dreidimensionalen Vision. Am einfachsten zu verwirklichen sind Entfernungsmessungssysteme und Systeme, die strukturiertes Licht verwenden. Beide Techniken beruhen zur Tiefenbestimmung auf dem Weg, längs dessen Licht oder andere Signale, wie Schallwellen, von der Oberfläche eines Gegenstandes reflektiert werden. Beim System der Entfernungsmessung wird die Reflektion des Laserstrahls am Objekt, ähnlich wie beim Radar, zeitlich bestimmt.

Verschiedene Geräte zur Abstandsmessung sind zur Bildanalyse bisher verwendet worden. Diese Geräte können in zwei Klassen eingeteilt werden. Die eine

beruht auf trigonometrischer Bestimmung und die andere auf der Laufzeit des verwendeten Signals. Die Geräte zur trigonometrischen Abstandsbestimmung können ferner in zwei weitere Klassen eingeteilt werden, deren eine auf einer Stereoanordnung zweier Fernsehkameras oder einer Kamera, die alternativ in zwei verschiedene Stellungen gebracht wird, beruht. Die andere Klasse beruht auf der Projektion einer Lichtfläche eines Abtastsenders und der Aufnahme des Bildes des reflektierten Lichtes durch eine Fernsehkamera. Alternativ gehört zur zweiten Klasse auch die Abstrahlung von Licht durch einen "Schwing-"Empfanger. Die erste Klasse ist mit der Schwierigkeit des Auffindens entsprechender Punkte in zwei.. Abbildern des Urbilds behaftet. Die beiden Klassen haben zwei weitere Nachteile: Fehlende Daten für Punkte, die durch den Sender, aber nicht durch den Empfänger, oder umgekehrt, erkannt werden und ungenaue Wiedergabe von Punkten, die vom Gerät weit entfernt sind.

Die oben genannten Nachteile können durch Verwendung der zweiten Klasse von Entfernungsmeßgeräten mit einem Laserabtaster vermieden werden. Diese Klasse von Entfernungsmeßgeräten kann in zwei verschiedene Systeme unterteilt werden, wobei das eine System auf der Aussendung eines Laserpulses und der Messung der Ankunftszeit des reflektierten Signals beruht. Das andere System beruht auf der Aussendung eines amplitudenmodulierten Laserstrahls und der Messung der

Phasenverschiebung des reflektierten Signals.

Vorrichtungen, die strukturiertes Licht verwenden, projizieren Licht auf gesteuerte Weise auf den Gegenstand. Die Vorrichtung bestimmt dann die Entfernung zum Gegenstand durch Triangulation und leitet die Gestalt des Gegenstandes von dem durch den Schnitt der Oberfläche des Gegenstandes mit dem Lichtstrahl

gebildeten Muster ab. Zum Beispiel bilden auf eine konvexe Oberfläche fallende Lichtebenen eine Klasse von Kurven, die ein Zickzackmuster auf einem gewinkelten Gegenstand ergeben.

Binokulare Systeme verwenden zwei Kameras und beruhen auf dem gleichen System wie das menschliche Sehen (binokulare Parallaxe). Die leichte Winkelverstellung zwischen den beiden Ansichten desselben Urbildes wird zur Tiefenbestimmung verwendet, d.h. je größer die Parallaxe desto näher der Gegenstand.

Ein Problem, das mit der Entwicklung eines praktikablen maschinellen Visionssystems, das auf Parallaxe beruht, verbunden ist, besteht in dem "Korrespondenz-"Problem. Dieses kommt dadurch zustande, daß sich die Gegenstände in jeder Ansicht voll decken müssen, ehe die Winkelverstellung zwischen den beiden Ansichten bestimmt werden kann. Die Deckung der Gegenstände kann ein Problem ergeben, da, als Wirkung der Parallaxe, ein Gegenstand in der rechten und linken Ansicht unterschiedlich erscheinen kann und in einer Ansicht sogar teilweise oder gänzlich verstellt sein mag.

Die dreidimensionale Vision, die auf der Abstandsmessung oder einem System, das strukturiertes Licht verwendet, beruhen, sind ebenfall prinzipiell eingeschränkt, da sie eine Wechselwirkung mit dem unter Beobachtung stehenden Gegenstand erfordern. Diese Systeme können für viele Anwendungen geeignet sein. Jedoch sollte ein Visionssystem passiv sein, um den beobachteten Gegenstand oder dessen Umgebung nicht zu beeinträchtigen. In den US-Patenten 4 357 108 und 4 335 962 wird ein Verfahren und eine Vorrichtung zur Gewinnung räumlicher Informationen durch Beaufschlagung eines Gegenstands mit einem Strahlungsenergiemuster und anschließender Aufnahme der reflektierten

16
Strahlungsenergie beschrieben.

In dem US-Patent 4 105 925 ist ein optisches Ortsmeßgerät beschrieben, das den Ort und die Orientierung eines Objekts auf einem Förderer bestimmt. Zwei Lichtebenen schneiden sich längs einer einzelnen quer gerichteten Linie auf der Förderoberfläche. Das Verfahren setzt einen konstanten Betrachtungsabstand

und eine konstante Perspektive voraus.
10

Spezielle Probleme einer dreidimensionalen Vision treten während eines Fahrzeugzusammenbaus auf. Zum Beispiel wird während des Zusammensetzungsprozesses eine teilweise fertiggestellte. Fahrzeugkarosserie die Fertigungsstraße heruntergefahren, während sie relativ lose durch eine Haltevorrichtung getragen wird. Die exakte Lage der Karosserie ist in keiner Fabrikationsstation bekannt. Die Karosserie ist vielmehr innerhalb eines endlichen Unbestimmtheitsbereiches angeordnet, der sowohl bekannt als auch konstant ist. Dieser Bereich ist im allgemeinen so groß, daß eine Automatisierung der Bearbeitung an der jeweiligen Station entweder unmöglich oder äußerst kostspielig ist. Selbst bei mechanischen Zwangsführungen zum Festlegen und Halten der Karosserie schließt die Lageunbestimmtheit gewöhnlich die Verwendung automatischer Werkzeuge aus.

.Ein ähnliches Problem tritt bei nichtstarren Körpern auf. In der Praxis hat sich herausgestellt, daß "identische" Fahrzeugkarosserien, die auf derselben Fertigungsstraße hergestellt worden sind, häufig unberechenbare dimensionelle Unregelmäßigkeiten aufweisen. Diese Unregelmäßigkeiten und die Nachgiebigkeit einer teilweise fertiggestellten Karosserie sind zu einem akzeptierten Artefakt moderner Gestaltungsund Herstellungspraktiken geworden. Es ist Offensicht-

lieh, daß zukünftige Herstellungssysteme darauf ausgelegt werden müssen, diese Unregelmäßigkeiten zu toleriern.

Eine mögliche Lösung dieser Probleme besteht darin, die gesamte Fertigungsstraße auf extrem hohe Toleranzen abzustellen, um zu gewährleisten, daß die Lage der Körper im Raum von einem Körper zum nächsten invariant bleibt. Es muß ebenfalls sichergestellt sein, daß die Körper tatsächlich "identisch" sind. Ein derartiges System ist in dem US-Patent 4 458 628 beschrieben. Durch dieses Patent ist eine Vorrichtung zum Auftrag eines Haftmittels auf Fahrzeugwindschutzscheiben offenbart, die eine Dreheinrichtung zum Halten und zum Bewegen der Glasscheibe aufweist, so daß der Randbereich der Glasscheibe beständig einer das Haftmittel auftragenden Düse eines Industrieroboters ausgesetzt ist. Ein solches System erfordert jedoch hohe Investitionen und hohe Werkzeugaustauschkosten, um verschiedene Werkstücke zu bearbeiten.

Eine andere mögliche Lösung ist in den US-Patenten 3 618 742, 3 804 270, 4 146 924, 4 373 804 und 4 380 696 beschrieben. In jedem dieser Patente ist ein maschinelles dreidimensionales Visionssystem offenbart, das visuelle Daten liefert, die verarbeitet und in eine Form gebracht werden, die dazu verwendet w.ird, den vorprogrammierten Weg des Roboters so zu verändern, daß der Roboter die Bearbeitung am Gegenstand durchführen kann.

Solche dem Stand der Technik zugehörenden maschinellen dreidimensionalen Visionsverfahren und -vorrichtungen sind ungeeignet dazu, das Nachgiebigkeits- und Unregelmäßigkeitsproblem von Fahrzeugkarosserien an Fabrikationsstätten zu lösen.

Ein gegenwärtiges Interesse auf dem Gebiet automatischer "Zukunftsfabriken" richtet sich auf die Abgabe eines Haftmittels durch einen Roboter. Neue Anwendungen für Haftmittel und Dichtungen werden augenblicklieh infolge von Antikorrosionsprogrammen der Automobil hersteller eingeführt. Die Materialien werden beim Zusammenbau randgeflanschter Teile wie Türen, Böden und Hauben verwendet.

In einigen Fällen werden Dichtungsmaterialien in Verbindung mit konventionellem Punktschweißen verwendet. Dabei wird zunächst eine Dichtung aufgesetzt und dann das Blech durch die Dichtung verschweißt. Dieses kombinierte Verfahren erlaubt es, den Abstand zwischen den Schweißpunkten zu vergrößern, während die Anzahl der Schweißungen verkleinert wird. Einige Hersteller haben das Verschweißen randgeflanschter Teile überhaupt aufgegeben, indem sie strukturelle Haftmittel verwenden.

Mehrere Faktoren führen die Hersteller zu Haftverbindungen. Zum Beispiel hat die Notwendigkeit der Treibstoffeinsparung die Automobilhersteller dazu motiviert, das Gewicht durch Verwendung leichterer Profilmetalle zu reduzieren. Jedoch gewähren mechanische Nähte und dünnere Metalle keine genügende strukturelle Stärke.

Die manuelle Auftragung solcher Haftmittel und Dichtungen ist jedoch im allgemeinen aufgrund des hohen Durchsatzes und der erforderlichen hohen Genauigkeit unpraktisch. In Automobilfabrikationsstätten werden darüber hinaus hohe Ansprüche an Vorrichtungen gestellt, die automatisch Haftmittel und Dichtungen auftragen. Wenn diese Haftmittel und Dichtungen falsch aufgetragen werden, tritt fehlerhafts Kleben oder Auspressen auf.

Anwendungssysteme für solche Haftmittel und Dichtungen müssen leicht an gegenwärtige Fertigungsstraßen materialbehandelnder Anlagen anpaßbar sein. Die Arbeitszelle muß so dimensioniert sein, daß sie selbst die größten Fahrzeugteile unterbringen kann. Weiterhin müssen die Steuersysteme mit den Fabrikkommunikationssystemen kompatibel sein. Schließlich müssen die Systeme in der Lage sein, Abänderungen z.B. in der Werkstückgeometrie, die durch Werkzeug- ,und Formabnutzung, Produktgestaltung und Bearbeitungsverbesserungen hervorgerufen werden, zu kompensieren.

Bei jedem Zusammensetzungsprozeß sind mehrere Stellen auf einer Fahrzeugkarosserie festgelegt, die als Standstellen relativ unveränderbar sind und als Basis für Messungen dienen. Zum Beispiel sind das Fundament eines Hauses und der Kiel eines Schiffes Beispiele solcher Standlinien. Beim Fahrzeugzusammenbau ist die gesamte Struktur der Karosserie im Hinblick auf sorgfältig angeordnete Standstellen ausgelegt. Während die Karosserie insgesamt nicht fest sein mag, halten die StandsteHen eine feste Beziehung untereinander ein.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und aine Vorrichtung zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers im Raum auf schnelle und genaue Weise zu schaffen.

Mit der Erfindung soll weiterhin ein Verfahren und eine Verdichtung zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers auf eine schnelle Weise geschaffen werden, wobei kleine Veränderungen des Körpers und der Lichtbedingungen in der Umgebung ohne große Beeinträchtigung toleriert werden.

Mit der vorliegenden Erfindung soll auch ein Verfahren und eine Vorrichtung zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers geschaffen werden, wobei nicht mehr als drei Kameras verwendet werden und diese nicht speziell konstruiert sein müssen.

Mit der Erfindung soll ferner ein Verfahren und eine Vorrichtung zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers in einer Fabrikationsstätte geschaffen werden, wobei keine spezielle Beleuchtung, wie eine strukturierte Beleuchtung, verwendet wird.

Die Aufgabe wird erfindungsgemäß dadurch gelöst, daß ein Verfahren und eine Vorrichtung zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers durch eine Bildaufnahmestation mit einem festen Koordinatensystem geschaffen wird. Es wird vorausgesetzt, daß der Körper wenigstens drei Zielpunkte hat. Das Verfahren schließt als Schritte die Gewinnung von Eichdaten, die sich auf die erwartete Lage des Körpers bei der Aufnahmestation beziehen, und die Gewinnung einer einzigen Bilddatenebene für jeden der Zielpunkte ein. Jede Bilddatenebene enthält Daten, die sich auf den betreffenden Zielpunkt beziehen. Das Verfahren schließt als weiteren Schritt die. Ortsbestimmung der Zielpunkte innerhalb der zugehörigen Bildebenen zur Gewinnung von Ortsdaten und die gemeinsame Verarbeitung der Eich- und der Ortsdaten zur Gewinnung von Daten, die sich auf den Ort und die Lage des Körpers in bezug auf das feste Koordinatensystem beziehen, ein.

Vorzugsweise wird das Verfahren zur Versorgung einer programmierten Robotersteuerung mit Bahnkompensationsdaten verwendet, um den durch die Steuerung geleiteten

Roboter längs einer neuen Bahn zu bewegen, die von der ursprünglich in der Steuerung gespeicherten Bahn abweicht, um einen dreidimensionalen Körper zu bearbeiten. .Die Bahnkompensationsdaten beziehen sich auf die Differenz zwischen den aktualen und den erwarteten Ortswerten des dreidimensionalen Körpers in der Fabrikationsstation. In dieser Weise angewandt, umfaßt die Methode als weitere Schritte die Umwandlung der vorher gewonnenen Ergebnisdaten in einen ersten Satz von Abweichungs-Daten, die sich auf die Differenz zwischen den aktualen und den erwarteten Ortswerten des Körpers in dem festen Koordinatensystem beziehen, und die weitere Umwandlung des ersten Satzes der Abweichungs-Daten in einen .zweiten Satz von Abweichungs-Daten in dem Koordinatensystem des Roboters. Schließlich umfaßt das Verfahren die Übertragung des zweiten Satzes von Abweichungs-Daten auf die Steuerung.

Eine erfindungsgemäße Vorrichtung zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers mit wenigstens drei Zielpunkten durch eine Bildaufnahmestation mit einem festen Koordinatensystem umfaßt eine Einrichtung zur Speicherung von Eichdaten, die sich auf die erwarteten Ortswerte des Körpers an der Bildaufnahmestation beziehen. Die Vorrichtung umfaßt weiterhin wenigstens drei, räumlich entfernt voneinander angeordnete Kameras. Jede der Kameras erzeugt eine Bilddatenebene, die Bilddaten, die sich auf einen einzelnen Zielpunkt beziehen, einschließt. Die Vorrichtung weist ebenfalls eine Einrichtung zur Gewinnung von Ortsdaten, die sich auf den Ort jedes Zielpunktes innerhalb der zugehörigen Bildebene beziehen, und eine Einrichtung zur gemeinsamen Verarbeitung der Eich- und der Ortsdaten zur Gewinnung von Daten, die sich auf den Ort und die Lage eines Körpers innerhalb des festen Koordinatensystems beziehen, auf.

Vorzugsweise arbeitet die Vorrichtung ohne Verwendung von strukturiertem Licht.

In einer bevorzugten Ausführung der Erfindung ist die Vorrichtung so ausgelegt, daß sie automatisch Bahnkompensationsdaten an eine programmierte Robotersteuerung liefert, um dem durch die Steuerung gelenkten Roboter eine Bewegung längs einer neuen Bahn zu ermöglichen, die von der ursprünglich in die Steuerung einprogrammierten Bahn abweicht, um einen dreidimensionalen Körper zu bearbeiten. Die Bahnkompensationsdaten beziehen sich auf die Differenz zwischen den aktualen und den erwarteten Ortswerten des dreidimensionalen Körpers an der Fertigungsstation. Die Vorrichtung weist ferner eine Einrichtung "zur Umwandlung der zuvor gewonnenen Ergebnisdaten in einen ersten Satz von Abweichungs-Daten, die sich auf den Unterschied zwischen den aktualen und den erwarteten Ortswerten des Körpers in dem festen Koordinatensystem beziehen, auf. Weiterhin sind eine Einrichtung zur Umwandlung des ersten Satzes von Abweichungs-Daten in einen zweiten Satz von Abweichungs-Daten in dem Koordinatensystem des Roboters und eine Einrichtung zur Übertragung des zweiten Satzes von Abweichungs-Daten auf die

Steuerung vorgesehen.
25

Das erfindungsgemä'ße Verfahren und die Vorrichtung zur Durchführung des Verfahrens weisen zahlreiche' Vorteile auf. Zum Beispiel werden Abweichungen eines dreidimensionalen Körpers bei Verwendung von nur drei BiId-30

ebenen gewonnen. Insbesondere kann die Vorrichtung mehrere bekannte Merkmale oder Zielpunkte auf dem Körper aussuchen, und, wenn geortet, können diese Zielstellen zur analytischen Bestimmung des Ortes des

gesamten Körpers im Raum verwendet werden. Daraufhin 35

kann diese Ortsinformation einer automatisierten Einrichtung, wie einer Robotersteuerung, mitgeteilt

werden. Deshalb ist es nur notwendig, den Körper an der Fabrikationsstation grob anzuordnen, wodurch die Durchsatzgeschwindigkeit stark erhöht wird und die Kosten für die Haltevorrichtung reduziert werden.

Das Verfahren und die zugehörige Vorrichtung sind relativ unempfindlich gegenüber Abänderungen in der Fabrikationsumgebung. Kleine Änderungen in der Kamerastellung, Veränderungen in der Anordnung der Standstellen und große Abweichungen der Lichtverhältnisse in der Umgebung haben minimalen Einfluß auf die Gesamtgenauigkeit der Ortung.

Gegenwärtig verfügbare Vorrichtungen zur dreidimen-

sionalen Visions erfordern im allgemeinen mehr als sechs Kameras oder strukturierte Beleuchtung. Das vorliegende Verfahren und die dazugehörige Vorrichtung erfordern nur drei Kameras und keine spezielle

Beleuchtung. Weiterhin braucht die verwendete Hardware

nicht hochspezialisiert zu sein.

A Im folgenden vjerden Aussführungsbeispiele der vorliegenden Erfindung näher beschrieben und anhand der Zeichnung dargestellt. Es zeigen:
25

Figur 1 eine perspektivische Darstellung zur Erläuterung des Verfahrens und der zugehörigen Vorrichtung in bezug auf ein teilweise zusammengesetztes Fahrzeug in einer Fabrikationsstation oder -zelle mit an beiden

Seiten des Fahrzeugs angeordneten Robotern,

Figur 2 eine Vorderansicht der in Figur 1 dargestellten Vorrichtung
35

Figur 3 eine schematische Darstellung zur Erläuterung der relativen Stellung der Kameras der

* " 361848G

24

Vorrichtung und eines starren Körpers in einem Bildkoordinatensystem, wobei der starre Körper drei Zielpunkte aufweist, die die Ursprünge dreier zugeordneter Sensorkoordinatensysteme bilden

Figur 4 eine perspektivische Ansicht zur Veranschaulichung der bei dem Verfahren und der Vorrichtung verwandten Eicharmatur,

Figur 5 eine schematische Ansicht der Softwaremodule und -Tasks und des dazwischen verlaufenden Datenflusses,

¹^ Figur 6 ein Flußdiagramm eines Einleitungs-Moduls,
Figur 7 ein Flußdiagramm eines Leit-Tasks,

Figur 8 ein Flußdiagramm eines Eich-Moduls, ·
20

Figur 9 ein Flußdiagramm eines Laufzeit-Moduls und Figur 10 A bis 10 K Diagramme und mathematische Gleichungen zur Darstellung der

mathematischen Grundlagen des

Verfahrens und der dazugehörigen Vorrichtung.

.In den Figuren 1 und 2 wird der Betrieb einer

Vorrichtung zur maschinellen dreidimensionalen Vision

gezeigt, die nicht nur unempfindlich (d.h. relativ unbeeinflußt durch Änderungen in der Beleuchtung,

Anordnung des Körpers und Reflektionseigenschaften des

anvisierten Körpers) sondern auch flexibel ist.

Aufgrund seiner Flexibilität kann die Vorrichtung

leicht gegenüber Abänderungen ihrer verschiedenen

Komponenten und ebenso Änderungen in der Gestaltung

des Körpers angepaßt werden. Die Verwendung des beschriebenen Verfahrens und der Vorrichtung führen nicht nur zu einer erhöhten Produktivität, sondern

auch zu einer verbesserten Qualität.
5

Die Vorrichtung zur maschinelle dreidimensionale Vision ist insgesamt durch 10 dargestellt. Die Vorrichtung 10 ist dafür vorgesehen, aber nicht darauf beschränkt, in einer Fabrikationsstation- oder zelle, die im allgemeinen mit 12 bezeichnet ist, eingesetzt zu werden. In der Fabrikationsstation 12 kann die Vorrichtung 10 mit peripheren Einrichtungen, wie Robotern 14, programmierbaren Steuerungen, numerisch gesteuerten Maschinen, anderen Visionsvorrichtungen, Betriebsreglungsvorrichtungen und dergleichen, kommunizieren.

In dem in Figur 1 dargestellten Ausführungsbeispiel der Vorrichtung 10 sind die Roboter 14 vorzugsweise zum Auftragen eines Fahrzeughaftmittels auf eine Karosserie 16 verwendet. Jedoch kann die Vorrichtung 10 selbstverständlich für andere Aufgaben, einschließlich der Steuerung mehrerer Fabrikationszellen durch Aufenthalt zwischen den Fabrikationszellen eingesetzt werden.

Wie aus den Figuren 1 und 2 hervorgeht, .wird die Automobilkarosserie 16 längs einer Förderlinie, die im .allgemeinen mit 18 bezeichnet ist, bewegt. Die Automobilkarosserie 16 ist auf einem Träger 20 befestigt, der seinerseits zur Bewegung auf Schienen 22 überlicherweise angebracht ist. Im allgemeinen wird die teilweise zusammengesetzte Automobil karosserie 16 relativ lose durch den Träger 20 gehalten, so daß die exakte Position der Automobi1 karosserie 16 nicht genau bekannt ist. Jedoch kann die Vorrichtung 10 den gesamten Unbestimmtheitsbereich bezüglich der Lage der

Automobilkarosserie übersehen. Der Unbestimmtheitsbereich ist unterbrochen, so daß eine Automatisierung der Bearbeitung in der Fabrikationsstation 12 mit

Hilfe der Vorrichtung 10 möglich ist.
5

An der Unterseite der Automobilkarosserie 16 sind mehrere sorgfältig angeordnete Standstellen 24 angebracht. Alle Automobilhersteller setzen ihre gesamten Automobilkarosserien in bezug auf solche Standstellen 24 zusammen. Die Standstellen 24 sind relativ unveränderlich und werden als Standlinie für alle Messungen verwendet. Während die Automobilkarosserie 16 als Gesamtheit nicht starr zu sein braucht, halten die Standstellen 24 ein konstantes Abstandsverhältnis zwischeneinander ein.

Im allgemeinen verwendet die Vorrichtung 10 die Standstellen 24 als visuelle Ziele oder Zielpunkte, wodurch das Problem der Unregelmäßigkeit und Nachgiebigkeit der Automobi1 karosserie 16 auf ein Minimum reduziert wird. Andererseits können selbstverständlich ein oder mehrere visuelle Ziele eine vorbestimmte Kante oder Ecke der Automobilkarosserie 16 umfassen, die sich innerhalb des Sichtfeldes der Vorrichtung 10 befinden.

Die Hardware der Vorrichtung 10 schließt .mehrere räumlich voneinander entfernte Kameras 26 ein. Die Kameras weisen vorzugsweise gewöhnliche CCDs auf, die Standardfernsehausgangssignale liefern. Die Kameras 26 sind innerhalb von Gehäusen 28 an gegenüberliegenden Seiten der Förderlinie 18 innerhalb der Fabrikationsstation 12 angeordnet. Die Sichtlinien jeder der Kameras 26 sind durch 30 bezeichnet und erstrecken sich durch Schlitze 32, die in der Oberseite jedes Gehäuses 28 ausgebildet sind. Wie in den Figuren 1 und 2 dargestellt ist, sind die Standstellen 24 innerhalb

'* - ' ■· 361848Ό

des Sichtfeldes jeder der Kameras 26 angeordnet, so daß jede der Kameras eine Datenbildebene erzeugt, die Daten einschließt, die sich auf die betreffende Standstelle 24 beziehen, v/ie noch genauer im folgenden beschrieben werden wird.

Im allgemeinen können die Kameras 26 überall in der Fabrikationszelle 12 aufgestellt sein, solange jede der Standstellen 24 innerhalb des Sichtfeldes der jeweiligen Kamera sich befindet. Die Kameras 26 können über, unter oder neben der Automobilkarosserie 16 aufgestellt sein. Eine Beschränkung besteht jedoch darin, daß keine parallelen Bildebenen zweier Kameras vorkommen dürfen. Optimale Verhältnisse liegen nur dann vor, wenn die Normalenvektoren aller Bildebenen einen beträchtlichen Winkel zwischeneinander einschließen.

Vorzugsweise sind vier Kameras 26 in jeder Fabrikationsstation 12 aufgestellt. Jedoch werden die Kameras 26 in Dreiergruppen verwendet, wenn sie den Ort und die Lage dor Automobilkarosserie 16 feststellen. Folglich ist selbst dann, wenn eine der Kameras 26 ausfällt, die Vorrichtung noch betriebsbereit, um den Ort und die Lage der Automobilkarosserie 16 festzustellen.

Die Vorrichtung 10 benötigt keine spezielle Beleuchtung, wie mit strukturiertem Licht. Relativ große Veränderungen der Umgebungsbeleuchtung haben einen minimalen Einfluß auf die Genauigkeit der Vorrichtung 10. Jedoch wird eine künstliche Beleuchtung vorgezogen, wenn die Kameras 26 an extrem dunklen Stellen, wie z.B. an der Unterseite einer Automobil karosserie in einem schlecht beleuchteten Fertigungsbereich angeordnet sind. Eine künstliche Beleuchtung kann auch dann wünschenswert sein, wenn die Fabriktionsstation

12 regelmäßig großen Veränderungen des Umgebungslichtes ausgesetzt ist, wie das bei direktem Sonnenlicht der Fall sein kann. Jedoch kann in beiden der oben genannten Fälle eine geeignete Beleuchtung durch relativ preiswerte Lichtarmaturen hergestellt werden. Wie in Figur 3 gezeigt ist, kann die Automobilkarosserie 16 als starrer Körper mit drei bekannten Zielpunkten (d.h. Standstellen 24) betrachtet werden, von denen jede nur für eine der Kameras 26 sichtbar ist. Wenn die Automobilkarosserie 16 sich in einer Null-Abweichung oder idealen Nennposition befindet, dann ist der Automobilkarosserie 16 ein lokales oder Bildkoordinatensystem (BKS) zugeordnet, dessen Ursprung auf oder in der Nähe der Automobil karosserie 16

¹^ liegt. An einem Punkt, der jedem der Zielpunkte bei der Null-Abweichung entspricht, sind drei paarweise senkrecht aufeinander stehende Vektoren errichtet, die Einheitslänge besitzen und parallel zu den Einheitsvektoren des BKS angeordnet sind. Jedes der kleinen Dreibeine wird als Sensorkoordinatensystem 1, 2 bzw. 3 (SKS 1, SKS 2 bzw. SKS 3) bezeichnet. Die Transformationen zwischen diesen drei Koordinatensystemen sind bekannt und konstant.

Das BKS wird als fest in bezug auf die Kameras 26 angeommen. Die Automobi1 karosserie 16 hat ihr eigenes festes Koordinatensystem, das als Körperkoordinatensystem (KKS) bezeichnet werden kann. Wenn sich die Automobil karosserie 16 in ihrer NuI1-Abweichung befindet, sind das KKS und das BKS identisch. Wenn die Automobilkarosserie 16 sich in ihrer Null-Abweichung befindet, entsprechen weiterhin die Zielpunkte (d.h. Standstellen) 24 genau den Ursprüngen der drei Sensorkoordinatensysterne.

Wenn die Automobil karosserie 16 aus ihrer Null-Abweichung herausbewegt wird, ist die Bewegung des

starren Körpers gänzlich durch eine Transformation £Tj zwischen dem BKS und dem KKS bestimmt. Diese Transformation ist bezüglich des BKS definiert und legt den Ort und die Orientierung des KKS und folglich auch die

Lage der Automobil karosserie 16 vollständig fest.

Die gleiche Transformation kann zur Bestimmung der neuen Lage der Zielpunkte in dem BKS verwendet werden. Wenn die Null-Abweichungslagen der Zielpunkte und ihre verschobenen Lagen in dem BKS gegeben sind, stehen sie durch die Transformation £Τ3 in direkter Beziehung. Mit dem vorliegenden Verfahren soll die Transformation t~tl durch Bestimmung des Bildpunktes im Blickfeld

jeder Kamera bestimmt werden können.
15

In Figur 4 ist eine allgemein mit 34 bezeichnete Eicharmatur dargestellt, die einen unterteilten Würfel 36 mit einer Oberflächeneinteilung aufweist, die der Größe und Form jedes der SKS entspricht. Die Eicharmatur 34 umfaßt weiterhin einen Ständer 38, der den Würfel 36 trägt und mit dem durch Anordnung des Ständers 38 innerhalb der Vorrichtung 12 der Würfel 36 so ausgerichtet werden kann, daß drei sich miteinander schneidende Kanten des Würfels 36 parallel zu den paarweise aufeinander senkrecht stehenden Achsen eines der SKS angeordnet sind. Diese Ausrichtung kann manuell oder durch einen der Roboter 14 vorgenommen werden. Die Eicharmatur 34 wird der Reihe nach ausgerichtet, so daß jede der Kameras 26 auf einen bestimmten Schnittpunkt dreier Kanten des Würfels 36 ausgerichtet ist und die kartesischen Achsen des Würfels parallel zu dem SKS der betreffenden Kamera angeordnet sind. Wie im folgenden noch näher beschrieben wird, wandeln die Computer- und Interface-Schaltungen 40 die Videosignale der Kameras 26 in die gewünschte Information zur Eichung um. Die Eicharmatur 34 kann einen einzelnen Würfel, so wie den Würfel 36,

bei dem mehrere Einstellungen innerhalb der Station 12 erforderlich sein können, oder mehrere Würfel umfassen, auf die gleichzeitig die Kameras 26 ausgerichtet sein können.

Die Eichinformation, die die Lage der projizierten Vektoren des Würfels 36 einschließt, wird danach in einer Massenspeichereinheit 42 der Vorrichtung 10 gespeichert. In der Massenspeichereinheit 42 wird ebenfalls die Lage der Standstellen 24 in dem KKS als Teil des Eichvorgangs gespeichert.

Andererseits kann die Eichinformation auch manuell in die Vorrichtung 10 durch das Eingabegerät eines I/0-Terminals 44 der Vorrichtung 10 eingegeben werden. Das I/0-Terminal 44 kann Video- und Datenmonitore aufweisen, um Kamerainformationen und andere Informationen anzuzeigen.

Die Computer- und Interface-Schaltungen 40 schaffen einen Videoanschluß zu den drei Kameras 26. Im allgemeinen ist die Prozessoranordnung der Schaltungen 40 dazu in der Lage, Operationen, wie Faltungen, Verschiebungskopien und dergleichen auf den Videospeicher auszuüben. Die Computer- und Interface-Schaltungen 40 weisen einen Speicher zur Aufnahme der System-Software und mehrerer Videobilder und außerdem einen Übermittlungsanschluß zum Anschluß an verschiedene periphere Geräte auf.

Die System-Software ist in Figur 5 dargestellt. Die System-Software ist vorzugsweise in drei nebeneinander laufenden Prozessen oder Tasks organisiert, die die diskreten Funktionen der Bildaufnahme, Übermittlung und Steuerung durchführen, wie durch die Blöcke 46, 48 bzw. 50 angegeben ist. Der größte und komplexeste der drei ist der Systemsupervisor oder Supervisor-Task 50.

Der Supervisor-Task umfaßt die Einleitungs-, Eich- und Laufzeit-Module 54, 56 bzw. 58. Jedes der Module 54, 56 und 58 weist ein eigenes Benutzer-Interface auf.

Der Bildaufnahme-Task 46 dient prinzipiell zur Behandlung der zweidimensionalen Bildinformation, die durch die Kameras 26 in Antwort auf Befehle des Supervisor-Tasks 50 gehalten werden. Der Übermittlung-Task 48 weist einen Eingangs-Ausgangs-Interface-Prozeß auf, der der System-Software die Fähigkeit verleiht, externe Geräte, wie Roboter, programmierbare Steuerungen, etc., zu erreichen, je nach Befehl durch den Supervisor-Task 50. Die Linien 52 stellen den Datenfluß zwischen den verschiedenen Tasks, Modulen und externen Geräten dar.

Der Bildaufnahme-Task 46 antwortet auf Befehle des Supervisor-Tasks 50, die durch die Kameras 26 erhaltene Bildinformation zu erzeugen, zu finden und anzuzeigen. Der Task 46 liefert eine Grauleiter-Bildverarbeitung und dient zum Auffinden vorbestimmter geometrischer Gebilde (d.h. der Standstellen 24) innerhalb der durch die Kameras 26 erzeugten zweidimensionalen Bildebenen. Während eines Abrufs des Bildaufnahme-Tasks 46 durch den Supervisor-Task 50 gibt der Bildaufnahme-Task 46 die Bildebenenkoordinaten eines gefundenen Merkmals zurück. Ein üblicher Bildaufnahme-Task wird zur Durchführung dieses Prozesses verwendet. Der Bildaufnahme-Task 46 gestattet eine direkte Wiedergabe der Kamerabilder an dem I/0-Terminal 44 und sammelt und speichert ebenfalls Bilddaten für die Massenspeichereinheit 42.

Der Übermittlungs-Task 48 betrifft externe Übermitt-

lungen zu jeder Art und Anzahl peripherer Geräte, wie

Roboter, programmierbare Steuerungen, etc.. Solche

peripheren Geräte können ebenfalls numerisch ge-

steuerte Anlagen, andere Visionseinrichtungen, Datenleitungssysteme und dergleichen umfassen. Ein üblicher Übermittlungs-Task wird zur Durchführung dieser Aufgabe verwendet.

Der Supervisor-Task 50 ist durch das Flußdiagramm in Figur 7 dargestellt. Im allgemeinen steuert der Supervisor-Task 50 die Operationen aller Komponenten der Vorrichtung 10. Wenn gestartet, startet der

*° Supervisor-Task 50 den Übermittlungs-Task 48 und den Bildaufnahme-Task 46. Der Supervisor-Task 50 enthält ein Modul, das eine Eichdatenstruktur genannt wird und das alle notwendigen Eich-, Projektions-, Skalen- und Transformationsinformationen enthält, wie im folgenden

¹^ noch genauer beschrieben wird. Wenn der Supervisor-Task 50 das Einleitungs-Modul 54 anruft, wird Speicherplatz für die Eichdatenstruktur durch das Einleitungs-Modul 54 zugewiesen und vorbereitet. Das Einleitungs-Modul 54 fragt den Benutzer von dem I/0-Terminal 44 ab, ob er eine Datei aus der Massenspeichereinheit 42 der Vorrichtung auszusuchen wünscht. Andernfalls werden Unterlassungswerte verwendet. Auf diese Weise bereitet das Einleitungs-Modul 54 die Eichdatenstruktur der Vorrichtung vor.

Der Supervisor-Task 50 fragt dann den Benutzer der Vorrichtung 10 am I/0-Terminal 54 ab, w.elche der verschiedenen Betriebsarten der Vorrichtung, wie Eich- oder Durchlaufbetriebsarten, er wählen will. Der Supervisor-Task 50 weist außerdem eine Einrichtung auf, die Vorrichtung 10 abzustellen und außer Betrieb zu setzen. Wenn der Benutzer die vom ihm gewünschte Betriebsart gewählt hat, ruft der Supervisor-Task 50 das entsprechende Modul an, welches seinerseits alle zu dieser Betriebsart gehörenden Operationen vornimmt. In jedem Fall wird die Eichdatenstruktur zu dem ausgewählten Modul hin- und zurückübertragen. Wie der

Übermittlungs-Task 48 kann auch der BiIdaufnahme-Task 46 entweder von dem Laufzeit-Modul 58 oder dem Eich-Modul 56 angerufen werden.

Die Eichdatenstruktur enthält die folgende Information: Die Anzahl der der Vorrichtung zur Verfügung stehenden Kameras und die logischen Namen für jede Kamera und das dazugehörige visuelle Ziel (d.h. Standstelle), mit jedem Paar von Ziel-Kameras verbundene Aufstellinformation, Informationen über die Größe des Eichgegenstandes, wie des Würfels 36, die Transformation zwischen dem wirklichen Raum und dem Kameraraum sowie Informationen bezüglich der perspektivischen Verzerrung der Kameras, Transformationen, die das lokale Bezugssystem der Visionsvorrichtung betreffen, das Roboter- und das reale Koordinatensystem, die Nennposition des Körpers 12 (d.h. der Automobilkarosserie, bezüglich der dem Roboter 14 die Arbeitsbahn einprogrammiert wird).

In Figur 8 ist ein Eich-Modul 56 in Flußdiagrammform

dargestellt, das von dem Supervisor-Task 50 angerufen wird. Das Eich-Modul 56 gestattet dem Benutzer, über das I/0-Terminal 44 manuell Eichvariablen einzugeben und/oder zu verändern. Das Eich-Modul 56 dient den folgenden Zwicken:

a) Der Benutzer kann die kartesischen Koordinaten der Zielpunkte des starren Körpers 16, der durch die

QQ Vorrichtung 10 lokalisiert werden wird, bestimmen. Diese Koordinaten werden im Hinblick auf das reale Bezugssystem bestimmt.

b) Das Eich-Modul 56 enthält Informationen über die g₅ Projektionen der Eicharmatur 34 in die einzelnen Bildebenen der Kameras. Dies wird entweder manuell oder durch einen Roboter bewerkstelligt, der den

Eichgegenstand in das Gesichtsfeld der Kameras 26 bringt und eine Projektionsinformation über dessen Oberflächenmerkmale automatisch erzeugt. Dies schließt den Anruf des BiIdaufnahme-Tasks 46 und, wenn einer der Roboter 14 verwendet wird, den Anruf des Übermittlungs-Tasks 44 ein.

c) Das Eich-Modul 56 kann die Eichinformation auf dem

I/O-Terminal 44 anzeigen.
IO

d) Das Eich-Modul 56 gestattet dem Benutzer, dialogmäßig andere Eichdaten und -konstanten auszudrucken und zu verändern.

e) Das Eich-Modul 56 bestimmt automatisch die Nennposition des Körpers 16 in den Sichtfeldern der Kameras.

f) Das Eich-Modul 56 sorgt für den Empfang und die Speicherung der Eichdaten von der Massenspeichereinheit 42, ggfs. durch Verbindung mit einem (in der Zeichnung nicht dargestellten) Hauptrechner.

Das Laufzeit-Modul 58 ist in Figur 9 in Form eines Software-Flußdiagramms dargestellt. Im allgemeinen nimmt das Laufzeit-Modul 58 dreidimensionale Abweichungen des Gegenstandes im Sichtfeld der Kameras auf.

Zunächst ruft das Laufzeit-Modul 58 den Bildaufnahme-Task 46 an, die Automobilkarosserie 16 in den Sichtfeldern der Kameras 26 anzuvisieren und die Bildebenenkoordinaten der Zielpunkte (d.h. der Standsteilen 24) auf der Automobi1 karosserie 16 zu finden. Dann zeigt das Laufzeit-Modul 58 die aufgefundenen Merkmale auf dem Video-Monitor des I/O-Terminals 44 an. Die Bildebenenkoordinaten und die früher gewonnen

Eichdaten werden dazu verwendet, ein quadratisches Gleichungssystem für die veränderte Lage der Automobilkarosserie 16 aufzustellen. Das quadratische Gleichungssystem wird durch ein iteratives Standardverfahren, wie das Newton'sehe Verfahren zweiter Ordnung, gelöst. Auf diese Weise werden die sechs Freiheitsgrade, die den Ort des Körpers im Raum festlegen, bestimmt. Die dem obigen Verfahren zugrundeliegende Mathematik wird im folgenden ausführlicher anhand der Figuren 10 A bis K beschrieben.

Danach zeigt das Laufzeit-Modul 58 die die sechs Freiheitsgrade betreffende Information auf dem Monitor des I/0-Terminals 44 an. Dabei, ruft das Laufzeit-Modul

¹^ 58 einen anderen Algorithmus ab, um die Information in die die sechs Freiheitsgrade betreffenden Abweichungen von der ursprünglich gemessenen Nennposition der Automobil karosserie 16 umzuwandeln. Das Laufzeit-Modul 58 wandelt dann die Bild-Abweichungen in das Bezugssystem eines peripheren Gerätes, wie eines oder mehrerer Roboter 14, um. Schließlich ruft das Laufzeit-Modul 58 den Übermittlungs-Tasks 48 an, um die Abweichungen den Robotern 14 zu übermitteln, die dann die Abweichungen zum Abändern der einprogrammierten Bahnen für die Bearbeitung des gegenwärtigen starren Körpers verwenden.

Wenn die Automobilkarosserie 16 sich in einer Abweichungs-Position befindet, werden die Zielpunkte (d.h. Standstellen 24) in den Bildebenen im allgemeinen aus den Ursprüngen der verschiedenen SKS, wie oben erwähnt, herausgerückt sein. Der in Figur 10 A gezeigte Graph stellt eine Bildebene mit den dazugehörigen Eichprojektionen und P₁ die Bildebenenprojektion eines Zielpunkts, wie er von der Automobilkarosserie 16 in einer Abweichungsposition projiziert ist, dar. Im allgemeinen kann man durch Kombination von drei

Bildebenenprojektionen mit den Eichdaten die sechs Freiheitsgrade der Abweichung der Automobilkarosserie 16 aus ihrer Nennposition bestimmen, wie im folgenden anhand der Figuren 10 A bis 10 K noch genauer beschrieben wird.

Unter Verwendung von Einheitsvektoren U und V ergibt sich die folgende Darstellung für die einzelnen

Punkte:
IO

O₁ = (U_n ) U + (V_n ) V.
1 O₁ O₁

P₁ = (U_n ) U + (V_n ) V.
I P₁ P₁

Etc.

Alle Punkte haben ebenfalls (X, Y, Z)-Koordinaten in dem Sensor-Koordinatensystem.

Unter Bezugnahme auf die Figuren 10 A und 10 B kann, wenn angenommen wird, daß der Punkt P-, in der X-Y-Ebene des SKS 1 liegt, das Problem für jede Kamera 26 unabhängig gelöst werden. Die Vektoren A, B, und P sind in Figur 10 B definiert. Die Vektoren A und B sind die Bildebenenprojektionen der X- und Y-Einheitsvektoren von SKS 1. Die X- und Y-Koordinaten von P₁ (d.h. X₁ und y,) werden aus den Gleichungen (1) bis

(4) gewonnen, wie in Figur 10 C gezeigt ist. Die .Lösungen der Gleichung (4) stellen eine einfache

Lösung in diesem eingeschränkten Fall dar.

Unter Bezugnahme auf Figur 10 D wird unter allgemeineren Bedingungen angenommen, daß Z jeden Wert annehmen kann. Es ist möglich, X₁ und y, in Abhängigkeit von Z₁ aufzulösen. Wenn dies für alle drei Bildebenen durchgeführt wird und einige Einschränkungen verwendet werden, kann man einen Ausdruck für das gesamte System

mit Hilfe von ζ,, ζ« und ζ- gewinnen, für die Lösungswerte gefunden werden können. Vektoren der Gleichungen (5) bis (8) sind im Kamerasystem 1 definiert, und x, und y, können durch z^ aus den Gleichungen (9) bis (12), wie in den Figuren 10 D und 10 E dargestellt, bestimmt werden. Sowohl x-j als auch y, sind in den Gleichungen (12) als lineare Funktionen von z, gegeben, wobei «C -j, /Jj, γ^ und f^ Konstanten sind, die sich wie in Figur 10 E unten angegeben bestimmen. Analoge Gleichungen können für die beiden anderen Bildebenen abgeleitet werden. Der vollständige Satz Gleichungen ist durch die Gleichungen (13) bis (15) in Figur 10 F gegeben. Die in den Gleichungen (12) bis (15) angegebenen Konstanten werden für jede der Kameras 26 in dem Eich-Modul berechnet.

Die Gleichungen (13) bis (15) umfassen sechs lineare Gleichungen mit neun Unbekannten. Die zusätzlichen Einschränkungen, die zur Lösung dieser Gleichungen notwendig sind, werden durch bestimmte Bedingungen des starren Körpers erhalten. Da die Abstände zwischen den drei Zielpunkten 24 konstant sind, sind diese Abstände äquivalent zu den Abständen zwischen den Ursprüngen der SKS, wie sie in dem BKS nach Figur 10 G bemessen sind. Die drei konstanten Abstände sind durch die Gleichungen der Figur 10 H bestimmt, wobei die Abstände nach der Verschiebung durch die Gleichung (10) gegeben sind.

Unter Bezugnahme auf Figur 10 I ergibt das Einsetzen der Gleichungen (13), (14) und (15) in (16) den ersten Satz Gleichungen in Figur 10 I, der in den zweiten Satz Gleichungen der Figur 10 I umgeschrieben werden kann. Die Größen K, L und M sind Konstanten, die leicht berechnet werden können.

Aus dem Stand der Technik sind verschiedene numerische Verfahren bekannt, um den zweiten Satz Gleichungen der Figur 10 I zu lösen. Das Newton'sche Iterationsverfahren ist jedoch das bevorzugte Verfahren, um die Z, -, Z₂ - und Z₃-Werte zu finden. Wenn diese Werte erhalten worden sind, können sie in die Gleichungen (13), (14), (15) eingesetzt werden, um die Werte für χ,, χ«> Xo₅ y ,, y₂ und yg, wie in Figur 10 J dargestellt ist, zu bestimmen. Wie oben erwähnt worden ist, stellen diese Werte die Lage der Zielpunkte oder Standstellen 24 in jedem betreffenden SKS dar.

Die Werte der Zielpunkte 24 in den SKS können danach in die Werte im BKS transformiert werden. Danach ¹^ können die Abweichungen leicht in eine Form überführt werden, die zur Bahnkompensation des Roboters oder dergleichen je nach Wunsch des Benutzers führt.

Mit dem Quad-Verfahren werden Abweichungen dreier Punkte durch die Annahme orthogonaler Projektion der Punkte auf Bildebenen berechnet. Jedoch kommen die tatsächlichen Projektionen den getreuen perspektivischen Projektionen nur nahe. Bei der tatsächlichen perspektivischen Projektion werden die X-Y- und Z-Achsen nicht linear auf die Bildebenen abgebildet, da die Endpunkte auf jeder Achse verschiedene Abstände von der Kamera haben.

.Um diese Fehler zu kompensieren ist es notwendig, eine Abbildungsbeziehung zwischen jeder projizierten Achse und der tatsächlichen Achse herzustellen, wie durch den ersten Satz Gleichungen von Figur 10 K dargestellt ist. Diese Abbildungsbeziehung für jede Achse kann durch Messung von drei oder mehr Punkten auf jeder Achse während der Eichung und durch darauffolgende Interpolation zur Aufstellung der gewünschten Beziehung erhalten werden. Neue Skalenfaktoren werden dann

berechnet, wie durch den Satz von Gleichungen in Figur 10 K gezeigt ist.

Mit Hilfe dieser Kompensationsmethode werden die Abweichungen dreier Punkte nach dem nominalen Quad-Verfahren berechnet. Zum Schluß der Quad-Berechnung werden zur Kompensation der Nichtlinearitäten die Achsenprojektionen faktorisiert. Die in Figur 10 E angegebenen Konstanten werden durch den dritten Satz von Gleichungen in Figur 10 K für jede Bildebene umgerechnet. Dann wird die Quad-Berechnung nochmals durchgeführt.

Das oben beschriebene Verfahren und die dazugehörige ^ Vorrichtung ermöglichen die Bestimmung des Ortes und der Lage eines starren Körpers im Raum, wobei ein einzelnes Punktmerkmal von jeder der drei Kameras 26 ohne das Erfordernis strukturierter Beleuchtung ausgenutzt werden kann. Durch Verwendung dreier Kameras 26 und dreier Zielpunkte auf einen Körper kann mit Hilfe der Vorrichtung 10 schnell und genau die Lage des Körpers ermittelt werden. Diese Information kann danach jedem peripheren Gerät, wie einem Roboter,

übermittelt werden.
25

Die Vorrichtung zur dreidimensionalen maschinellen Vision erfordert nicht die Verwendung hochspezialisierter oder komplexer Hardware und ist weiterhin sehr unempfindlich (d.h. toleriert kleine Veränderungen des Werkstückes, der Kameraeinstellung und des Umgebungslichtes ohne bedeutende Verminderung der Wirkungsweise der Vorrichtung). Die Eichung der Vorrichtung 10 ist ebenfalls schnell und leicht zu bewerkstelligen, und bei Austausch einer Kamera oder Linse muß nur die betreffende Kamera wieder neu geeicht werden.

■ίο-

- Leerseite -

Claims

DipUng.W.Dahllce Dipl.-lng. H.-]. Lippert 28. Mai 1986 D-S/Sti . Patentanwfi lte Franker.forstsr Straße 137 5G60 Bergisch Gladbadi 6NF Robotics Corporation Troy, Michigan / USA Patentansprüche

1. Verfahren zur automatischen Bestimmung des Ortes und der Lage eines Gegenstandes mit wenigstens drei Zielpunkten bei einer Bildaufnahmestation mit einem festen Koordinatensystem, dadurch gekennzeichnet, daß das Verfahren folgende Schritte aufweist:

a) Die Gewinnung von Eichdaten, die sich auf die erwartete Lage bei der Bildaufnahmestation beziehen,

b) die Gewinnung einer einzigen Bilddatenebene für drei Zielpunkte (24), wobei jede Bilddatenebene Daten enthält, die sich auf den betreffenden Zielpunkt (24) beziehen,

c) die Bestimmung des Ortes der Zielpunkte (24) innerhalb der betreffenden Bildebene zur

Gewinnung von Ortsdaten und

d) die gemeinsame Verarbeitung der Eich- und der Ortsdaten zur Gewinnung von Daten, die sich auf den Ort und die Lage des Körpers (16) in bezug auf das feste Koordinatensystem beziehen.

2. Verfahren nach Anspruch 1, dadurch gekennzei chnet, daß der Schritt der Gewinnung von Eichdaten die Schritte der Anordnung einer unterteilten Eicharmatur (34) bei der Bildaufnahmestation und die Beleuchtung der Eicharmatur (34) mit Licht zur Erzeugung wenigstens drei Bilder im dreidimensionalen Raum aufweist.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Schritt der Gewinnung von Eichdaten den Schritt der Umwandlung der Bilder im dreidimensionalen Raum in drei Bilddatenebenen aufweist, wobei jede der Bilddatenebenen Daten enthält, die sich auf wenigstens vier Zielpunkte auf der Eicharmatur (34) beziehen.

4. Verfahren nach Anspruch 1, dadurch gekennzei chnet, daß der Schritt der Gewinnung der drei Bilddatenebenen den Schritt der Gewinnung eines Zwischensatzes von Daten aufweist, die sich auf die linearen Projektionen jeder der Zielpunkte (24) beziehen.

5. Verfahren nach Anspruch 4, dadurch gekennzei chnet, daß der Schritt der Gewinnung der drei Bilddatenebenen den Schritt der Umwandlung des Zwischensatzes von Daten zur perspektivischen Ausgleichung der Bilddaten aufweist.

6. Verfahren zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers bei einer Bildaufnahmestation mit einem festen Koordinatensystem ohne die Verwendung von strukturiertem Licht, wobei der Körper mindestens drei Zielpunkte hat, gekennzei chnet

durch die folgenden Schritte:

a) Die Gewinnung von Eichdaten, die sich auf die erwartete Lage des Körpers (16) bei der

Bildaufnahmestation beziehen,

b) die Beleuchtung des Körpers (16) mit unstrukturiertem Licht zur Bildung von wenigstens drei Bildern im dreidimensionalen Raum,

c) die Umwandlung der Bilder im dreidimensionalen Raum in drei Bilddatenebenen, wobei jede Bilddatenebene Daten aufweist, die sich auf den betreffenden Zielpunkt (24) beziehen,

d) die Bestimmung des Ortes der Zielpunkte (24) innerhalb der betreffenden Bildebenen zur Gewinnung von Ortsdaten und

e) die gemeinsame Verarbeitung der Eich- und der Ortsdaten zur Gewinnung von Daten, die sich auf den Ort und die Lage des Körpers (16) in bezug auf das feste Koordinatensystem beziehen.

7. Verfahren zur Versorgung einer programmierten Robotersteuerung mit Bahnkompensationsdaten, um einen durch die Steuerung gelenkten Roboter zur Bewegung längs einer neuen Bahn zu veranlassen, die von der ursprünglich in die Steuerung einprogrammierten Bahn abweicht, zur Bearbeitung eines dreidimensionalen Gegenstandes in einer Fabrikationsstation mit einem festen Koordinatensystem, wobei die Kompensationsdaten sich auf die Differenz zwischen den tatsächlichen und dem erwarteten Ortswerten des dreidimensionalen Kör-

pers bei der Fabrikationsstation beziehen, gekennzeichnet durch die folgenden Schritte:

a) Die Gewinnung von Eichdaten, die sich auf die erwartete Lage des dreidimensionalen Körpers (16) bei der Fabrikationsstation (12) beziehen,

b) die Gewinnung von drei Bilddatenebenen, wobei jede Bilddatenebene Bilddaten enthält, die sich auf einen einzelnen Zielpunkt (24) auf dem Körper (16) beziehen,

c) die Bestimmung des Ortes jeder der Zielpunkte (24) innerhalb jeder der Bildebenen zur Gewinnung von Ortsdaten,

d) die gemeinsame Verarbeitung der Eich- und

Ortsdaten zur Gewinnung von Ergebnisdaten,

die sich auf den Ort und die Lage des Körpers

(16) in bezug auf das feste Koordinatensystem

beziehen,

e) die Umwandlung der Ergebnisdaten in einen Satz von Abweichungsdaten, die sich auf die Differenz zwischen den tatsächlichen und den erwarteten Ortswerten des Körpers (16) in dem festen Koordinatensystem beziehen,

f) die Umwandlung des ersten Satzes der Abweichungsdaten in einen zweiten Satz von Abweichungsdaten in dem Koordinatensystem des Roboters (14) und

g) die Übertragung des zweiten Satzes von Abweichungsdaten auf die Steuerung.

8. Verfahren zur automatischen Versorgung einer programmierten Robotersteuerung mit Bahnkompensationsdaten, um den durch die Steuerung gelenkten Roboter zur Bewegung längs einer neuen Bahn zu veranlassen, die von der ursprünglich in die Steuerung einprogrammierten Bahn abweicht, zur Bearbeitung eines dreidimensionalen Körpers in einer Fabrikationsstation mit festem Koordinatensystem, wobei sich die Kompensationsdaten auf die Differenz zwischen den tatsächlichen und den erwarteten Ortswerten des dreidimensionalen Körpers bei der Fabrikationsstation" beziehen, gekennzeichnet durch die folgenden Schritte:

a) Die Gewinnung von Eichdaten, die sich auf die

erwartete Lage des dreidimensionalen Körpers (16) bei der Fabrikationsstation (12) beziehen,

b) die Beleuchtung des Körpers (16) mit unstruk-

turi^rtem Licht zur Erzeugung von wenigstens drei Bildern im dreidimensionalen Raum,

c) die Umwandlung der Bilder im dreidimensionalen Raum in drei Bilddatenebenen, wobei jede der Bilddatenebenen Bilddaten enthält, die sich auf einen einzelnen Zielpunkt (24) auf dem Körper (16) beziehen,

d) die Ortsbestimmung jedes der Zielpunkte (24)

innerhalb jeder der Bildebenen zur Bestimmung von Ortsdaten,

e) die gemeinsame Verarbeitung der Eich- und Ortsdaten der Zielpunkte zur Gewinnung von Ergebnisdaten, die sich auf den Ort und die Lage des Körpers (16) in bezug auf das feste

6
Koordinatensystem beziehen,

f) die Umwandlung der Ergebnisdaten in einen ersten Satz von Abweichungsdaten, die sich auf die Differenz zwischen den tatsächlichen und den erwarteten Ortswerten des Körpers (16) im festen Koordinatensystem beziehen,

g) die Umwandlung des ersten Satzes von Ab-¹^ weichungsdaten in einen zweiten Satz von

Abweichungsdaten in dem Koordinatensystem des Roboters (14) und

h) die Übertragung des zweiten Satzes von Abweichungsdaten auf die Steuerung.

9. Vorrichtung zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers mit wenigstens drei Zielpunkten bei einer Bildaufnahmestation mit einem festen Koordinatensystem, gekennzeichnet durch:

a) eine Einrichtung zur Speicherung von Eichdaten, die sich auf die betreffende Lage des

Körpers (16) bei der Bildaufnahmestation

beziehen,

b) wenigstens drei im Abstand voneinander angeordnete Kameras (26), deren jede eine BiIddatenebene erzeugt, die Bilddaten, die sich

auf einen einzelnen Zielpunkt (24) beziehen, enthält,

c) eine Einrichtung zur Gewinnung von Ortsdaten, die sich auf den Ort der Zielpunkte (24)

innerhalb der betreffenden Bildebenen beziehen, und

d) eine Einrichtung zur gemeinsamen Verarbeitung der Eich- und Ortsdaten zur Gewinnung von Daten, die sich auf den Ort und die Lage des Körpers (16) in bezug auf das feste

Koordinatensystem beziehen.

10. Vorrichtung zur automatischen Bestimmung des Ortes und der Lage eines dreidimensionalen Körpers mit wenigstens drei Zielpunkten bei einer Bildaufnahmestation mit einem festen Koordinatensystem ohne die Verwendung von strukturiertem Licht, gekennzeichnet durch:

a) eine Einrichtung zur Speicherung von Eichdaten, die sich auf die erwartete Lage des

Körpers (16) bei der Bildaufnahmestation beziehen,

b) wenigstens drei im Abstand voneinander angeordnete Kameras (26), die an vorbestimmten

Stellen an der Bildaufnahmestation angebracht sind., wobei jede der Kameras (26) ein Sichtfeld hat,

c) eine Einrichtung zur Beleuchtung des Körpers mit unstrukturiertem Licht zur Erzeugung von wenigstens drei Bildern im dreidimensionalen Raum,

d) eine Einrichtung zur Bewegung des Körpers (16) relativ zu den Kameras (26) in der Bildaufnahmestation, so daß jeder der Zielpunkte (24) innerhalb des Sichtfeldes der entsprechenden Kamera (26) angeordnet ist, wobei jede der Kameras (26) die Bilder im

dreidimensionalen Raum in drei Bilddatenebenen umwandelt und jede Bilddatenebene Bilddaten enthält, die sich auf den ent-

8
sprechenden Zielpunkt (24) beziehen,

e) eine Einrichtung zur Gewinnung von Ortsdaten, die sich auf den Ort der Zielpunkte (24) innerhalb der betreffenden Bildebenen be

ziehen, und

f) eine Einrichtung zur gemeinsamen Verarbeitung der Eich- und Ortsdaten zur Gewinnung von

Daten, die sich auf den Ort und die Lage des

Körpers (16) in bezug auf das feste Koordinatensystem beziehen.

11. Vorrichtung nach Anspruch 9 oder 10, gekennzeichnet durch eine

Einrichtung zur Gewinnung der Eichdaten.

12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, daß die Einrichtung zur Gewinnung der Eichdaten eine unterteilte Eicharmatur (34) aufweist, die zur Anordnung bei der Bildaufnahmestation innerhalb des Sichtfeldes jeder der Kameras (26) ausgebildet ist.

13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, daß die Eicharmatur (34) einen kubischen Festkörper (36) aufweist.

14. Vorrichtung zur automatischen Versorgung einer programmierten Robotersteuerung durch Bahnkompensationsdaten, um einen durch die Steuerung gelenkten Roboter zur Bewegung längs einer neuen Bahn zu veranlassen, die von der ursprünglich in die Steuerung einprogrammierten Bahn abweicht, zur Bearbeitung eines dreidimensionalen Körpers in einer Fabrikationsstation mit festem Koordinatensystem, wobei die Kompensationsdaten sich auf die Differenz zwischen den tatsächlichen und

erwarteten Ortswerten des dreidimensionalen Körpers bei der Fabrikationsstation beziehen, gekennzeichnet durch:

a) eine Einrichtung zur Speicherung von Eichdaten, die sich auf die erwartete Lage des dreidimensionalen Körpers (16) bei der Fabrikationsstation (12) beziehen,

b) wenigstens drei im Abstand voneinander angeordnete Kameras (26), die an vorbestimmten Stellen in der Fabrikationsstation (12) angebracht sind, wobei jede der Kameras (26)

ein Sichtfeld aufweist,
15

c) eine Einrichtung zur Bewegung des Körpers (16) bei der Fabrikationsstation (12), so daß jeder der Zielpunkte (24) innerhalb des Sichtfeldes der betreffenden Kamera (26) angeordnet ist, wobei jede der Kameras (26)

eine BiIddatenebene erzeugt, die sich auf den jeweiligen Zielpunkt (24) beziehende Bilddaten enthält,

d) eine Einrichtung zur Gewinnung von Ortsdaten, die sich auf den Ort der Zielpunkte (24) innerhalb der betreffenden Bildebenen beziehen,

e) eine Einrichtung zur gemeinsamen Verarbeitung der Eich- und Ortsdaten der Zielpunkte (24) zur Gewinnung von Ergebnisdaten, die sich auf den Ort und die Lage des Körpers (16) in bezug auf das feste Koordinatensystem beziehen,

f) eine Einrichtung zur Umwandlung der Ergebnisdaten in einen ersten Satz von Abweichungsda-

ίο

ten, die sich auf die Differenz zwischen den

tatsächlichen und den erwarteten Ortswerten des Körpers (16) in dem festen Koordinatensystem beziehen,

g) eine Einrichtung zur Umwandlung des ersten Satzes von Abweichungsdaten in einen zweiten Satz von Abweichungsdaten in dem Koordinatensystem des Roboters (14) und
IO

h) eine Einrichtung zur Übertragung des zweiten Satzes von Abweichungsdaten auf die Steuerung.

15. Vorrichtung zur automatischen Versorgung einer programmierten Robotersteuerung mit Bahnkompensationsdaten, um den durch die Steuerung gelenkten Roboter zur Bewegung längs einer neuen Bahn zu veranlassen, die von der ursprünglich in die Steuerung einprogrammierten Bahn abweicht, zur Bearbeitung eines dreidimensionalen Körpers in einer Fabrikationsstation mit festem Koordinatensystem, wobei die Kompensationsdaten sich auf die Differenz zwischen den tatsächlichen und den erwarteten Ortswerten des dreidimensionalen Körpers an der Fabrikationsstation beziehen, gekennzeichnet durch:

a) eine Vorrichtung zur Speicherung von Eichdaten, die sich auf die erwartete Lage des

dreidimensionalen Körpers (16) an der Fabrikationsstation (12) beziehen,

Stellen in der Fabrikationsstation (12) angebracht sind, wobei jede der Kameras (26)

ein Sichtfeld aufweist,

c) eine Einrichtung zur Beleuchtung des Körpers (16) mit unstrukturiertem Licht zur Erzeugung von wenigstens drei Bildern im dreidimen

sionalen Raum,

d) eine Einrichtung zur Bewegung des Körpers (16) in der Bildaufnahmestation, so daß jeder

der Zielpunkte (24) innerhalb des Sichtfeldes der entsprechenden Kamera (26) angeordnet ist, wobei jede der Kameras (26) die Bilder im dreidimensionalen Raum in drei Bilddatenebenen umwandelt und jede der Bilddatenebenen

sich auf den betreffenden Zielpunkt (24) beziehende Bilddaten enthält,

ziehen,

f) eine Einrichtung zur gemeinsamen Verarbeitung der Eich- und Ortsdaten der Zielpunkte (24) zur Gewinnung von Ergebnisdaten, die sich auf

den Ort und die Lage des Körpers (16) in bezug auf das feste Koordinatensystem beziehen,

g) eine Einrichtung zur Umwandlung der Ergebnisdaten in einen ersten Satz von Abweichungsdaten, die sich auf die Differenz zwischen den tatsächlichen und den erwarteten Ortswerten des Körpers (16) in dem festen Koordinatensystem beziehen,

h)

eine Einrichtung zur Umwandlung des ersten Satzes von Abweichungsdaten in einen zweiten

Satz von Abweichungsdaten im Koordinaten

system des Roboters (14) und

i) eine Einrichtung zur Übertragung des zweiten Satzes von Abweichungsdaten auf die Steue

rung.

16. Vorrichtung nach Anspruch 14 oder 15, gekennzeichnet durch eine

Einrichtung zur Gewinnung von Eichdaten.

17. Vorrichtung nach Anspruch 16, dadurch gekennzei chnet, daß die Einrichtung zur Erzeugung der Eichdaten eine unterteilte Eicharmatur (34) aufweist, die zur Anordnung an der Bildaufnahmestation innerhalb des Sichtfeldes jeder der Kameras (26) ausgebildet ist.

18. Vorrichtung nach Anspruch 17, dadurch gekennzeichnet, daß die Eicharmatur

(34) einen kubischen Festkörper (36) aufweist.