DE10025922A1

DE10025922A1 - Automatische photogrammetrische Digitalisierung von Körpern und Objekten

Info

Publication number: DE10025922A1
Application number: DE10025922A
Authority: DE
Inventors: Robert Massen
Original assignee: Individual
Current assignee: corpuse AG
Priority date: 2000-05-27
Filing date: 2000-05-27
Publication date: 2001-12-13
Also published as: DE50104007D1; ATE278932T1; EP1290408B1; US7298889B2; US20030137510A1; EP1290408A1; WO2001092824A1

Abstract

Zur automatischen photogrammetrischen Erfassung der Raumform von Objekten, Körpern und Körperteilen wird der Hintergrund der photogrammetrischen Marken durch Regionen gekennzeichnet, welche sich in Farbe, Textur oder ähnlichen flächenhaften Merkmalen unterscheiden. Mit Verfahren der 2-dimensionalen Bildverarbeitung können zueinander passende Regionen in den verschiedenen, sich überlappenden Aufnahmen, welche mit der Photogrammetriekamera erstellt wurden, automatisch zugeordnet (referenziert) werden. In einem zweiten Schritt werden jeweils innerhalb einer Region die nicht codierten photogrammetrischen Marken ebenfalls automatisch anhand ihrer Lage bezüglich der Regionengrenzen, der durch mehrere Marken gebildeten geometrischen Muster oder durch einfache, lediglich innerhalb einer Region eindeutige Merkmale mit Verfahren der 2-dimensionalen Bildverarbeitung referenziert. Das Verfahren bietet sich besonders für die 3-D-Erfassung von Körperteilen an, welche mit einem dergestalt erfindungsgemäß markierten Überzug vor der photogrammetrischen Auswertung bekleidet werden können.

Description

Die berührungslose Erfassung der 3D-Form von Körpern und Objekten wie Automobilkarosserien, menschlichen Körperteilen usw. ist eine wichtige Meßmethode bei der Qualitätskontrolle, dem Reversed Engineering, der Erzeugung von numerischen 3D Modellen von physikalisch existierenden Körpern usw.. Es sind in der Literatur und als kommerzielle Produkte eine ganze Reihe von unterschiedlichen Verfahren bekannt, welche entweder auf der Streifenprojektion, der Laserlinien projektion, der Laserlaufzeitmessung, der Photogrammetrie und teilweise auch auf kombinierten Verfahren beruhen. Besonders kostengünstig sind die sog. passiven Verfahren der Nachbereichs-Photogrammetrie, da hier lediglich kalibrierte Photoapparate oder Digitalkameras, aber keine teuren Projektionseinheiten und genau kalibrierte mechanische Aufbauten benötigt werden. Ein typischer Vertreter dieser Gruppe ist die "Photomodeler" software der Firma EOS (siehe web-Seite www.photomodeler.com). Mit dieser software ist es möglich, aus verschiedenen, sich überlappenden Aufnahmen eines Objektes dessen numetrisches 3D Modell zu entwickeln. Hierbei müssen allerdings manuell am Bildschirm die Position von auf die zu vermessende Körper aufgeklebten Marken oder von markanten Punkten wie Ecken, Linien dieser Körper vom Benutzer in den verschiedenen 2D Kameraaufnahmen angeklickt werden und und paarweise "referenziert" werden, d. h. gleiche Marken müssen manuell in den verschiedenen Aufnahmen einander zugeordnet werden.

Wird eine dichte Folge von XYZ Koordinatenwerten benötigt, so sind mehrere hundert bis tausende solcher Zuordnungen manuell durchzuführen. Dies ist nicht nur extrem langwierig, sondern auch fehlerbehaftet, da die Zuordnung vieler gleichaus sehender Marken fehlerfrei kaum noch möglich ist. Es ist aus der Photogrammetrie bekannt, codierte Marken zu verwenden, deren Identität durch eine Bildverarbeitung automatisch erkannt wird und damit die paarweise Zuordnung automatisch erfolgen kann. Diese Marken müssen allerdings recht groß sein, um einen Code wie z. B. einen radialen Strichcode, einen 2-dimensionalen Punktcode o. ä. unterzubringen. Jede Marke benötigt in der Regel einen individuellen Code. Dies wiederum verhindert es, diese Methode bei kleinen Körpern mit vielen, benötigten Marken anzuwenden, da diese Marken wegen der engen Platzverhälntnisse nicht mehr in genügender Zahl aufgebracht werden können.

Es sind auch aus der Photogrammetrie Verfahren bekannt, ohne codierte Marken iterativ die Zuordnung gleichaussehender Marken zu bestimmen. Diese Verfahren setzen aber genau kalibrierte Kameras voraus, sind sehr langwierig und verlangen vom Anwender eine gute Kenntnis der photogrammetrischen Randbedingungen, insbesondere der geeigneten Aufnahmepositionen und des erforderlichen Überlappungsgrades, damit die iterativen Lösungsverfahren konvergieren.

In der Patentschrift EP 0 760 622 "Verfahren und Anordnung zur dreidimensionalen Erfassung der Raumform von Körpern und Körperteilen", Erfinder und Anmelder Massen Robert, ist ein Verfahren und eine Anordnung beschrieben, mit welcher zu digitalisierende Körperteile durch Überstreifen eines elastischen, eng anliegenden Überzugs, welcher photogrammetrisch auswertbare Marken enthält einfach und kostengünstig markiert werden können. Beispielhaft wird in dieser Patentschrift die Markierung eines menschlichen Fusses zur Herstellung von 3D-Modellen für die Fertigung von Prothesen oder Maßschuhen erläutert. Mit diesem Verfahren ist es einfach und kostengünstig möglich, eine große Zahl von Marken aufzubringen und damit die Grundlage für die photogrammetrische Gewinnung von dichten XYZ Koordinaten zu legen. Das Problem der einfachen automatischen Registrierung von Marken aus dem Überlappungsbereich der unterschiedlichen Aufnahmen ist damit aber noch nicht gelöst.

Die vorliegende Erfindung beschreibt ein Verfahren und eine Anordnung zur automatischen Registrierung nicht codierter photogrammetrischer Marken zur hochauflösenden Digitalisierung von Objekten, von Körpern und Körperteilen.

Erfindungsgemäß wird zur automatischen photogrammetrischen Auswertung eines mit photogrammetrischen Marken markierten Körpers zur automatischen Referenzierung der Marken der Hintergrund zwischen den Marken regionenweise gekennzeichnet durch flächenhaft unterschiedliche Farb- und/oder Textureigenschaften und/oder unterschiedliche Regionenformen und/oder unterschiedliche Nachbarschaften Regionen und mit Verfahren der zweidimensionalen Bildverarbeitung jeweils aus den sich überlappenden Kameraaufnahmen der Körperoberfläche die den paarweisen oder mehrfachen Aufnahmen gemeinsame flächenhafte Hintergrundregionen anhand der Identität oder einer ausreichend Ähnlichkeit dieser Kennzeichnungen einander zugeordnet.

Der Erfindungsgedanken wird beispielhaft, aber nicht einschränkend am Anwendungsfall der optischen Erfassung der Raumform eines menschlichen Fusses zur Gewinnung der 3D Daten, welche für eine automatischen Auswahl passender Schuhformen oder Schuhleistenformen benötigt werden, erklärt. Hierbei wird ebenfalls beispielhaft aber nicht einschränkend davon ausgegangen, dass der Fuß gemäß dem og. Patent EP 0 760 62 mit einem eng anliegenden elastischen Überzug bekleidet ist, welcher gleichaussehende, nicht codierte Marken in Form kleiner Kreuze enthält. Beispielhaft wird die dem Erfindungsgedanke zugrunde liegende Idee der Hintergrundmarkierung am Beispiel einer regionenweise durchgeführten Farbgebung des Hintergrundes, d. h. des Zwischenraums zwischen den Marken erläutert. Aus Gründen des nicht möglichen Abdrucks von Farbbilder in Patentschriften wird die unterschiedliche Farbgebung durch unterschiedliche schwarz/weiß Texturen in den beschreibenden Figuren dargestellt.

In Fig. 1 wird ein menschlicher Fuß -1- mit einem eng anliegenden elastischen Überzug -2- bekleidet, welcher eine große Zahl identisch aussehender photogram metrischer Marken -3- in Form kleiner Kreuze aufzeigt. Der Kreuzungspunkt der beiden Linien stellt eine mit Verfahren der 2-dimensionalen Bildverarbeitung bestimmbare XY Koordinate in der jeweilig betrachteten Aufnahme dar, welche auch bei unterschiedlichen Aufnahmewinkel, perspektivischen Verzerrungen usw. genau als 2-dimensionaie Koordinate bezüglich des Koordinatensystems der jeweiligen Aufnahme bestimmt werden kann. Werden zur Aufnahme z. B. digitale Kameras benutzt, so ist das jeder Aufnahme zugrunde liegende Koordinatensystem durch die Zeilen- und Spaltenstruktur der Sensormatrix sowie durch den Durchstoßpunkt der optische Achse bestimmt.

Beispielhaft sind in Fig. 1 nur drei Regionen R1, R2 und R3 mit den unterschiedlichen Hintergrundfarben ROT,GRÜN und GELB eingetragen. Es ist dem Fachmann der Bildverarbeitung bekannt, dass mit Farbkameras solche Farbregionen anhand der auftretenden, vorher dem System eintrainierten Farben automatisch segmentiert, d. h. automatisch erkannt und voneinander unterschieden werden können. Solche Verfahren sind z. B. in der Patentanmeldung DE 36 39 636 C2 "Automatische Inspektion von Textilbahnen", Erfinder und Anmelder Robert Massen, beschrieben. Es ist außerdem bekannt, dass eine solche Farbsegmen tierung besonders robust und unabhängig vom Betrachtungswinkel erfolgen kann, wenn man Farbklassifikatoren einsetzt, welche unabhängig von der (vom Betrachtungswinkel abhängigen) Helligkeit sind. Dies kann z. B. durch Klassifikation jedes Bildpunktes anhand des Farbtons nach dem Konvertierung der RGB- Farbsignale in den HSI-Farbraum (Hue, Saturation, Intensity) geschehen.

Wie in Fig. 2 verdeutlicht, werde beispielhaft werden die durch die drei Regionen R1, R2, und R3 definierte Oberfläche des zu digitalisierenden Körpers aus drei unterschiedlichen Aufnahmepositionen A1, A2 und A3 mit einer Digitalkamera aufgenommen. Die entsprechenden drei 2-dimensionalen Bilder B1, B2 und B3 zeigen jeweils sich überlappende Ausschnitte der Körperoberfläche.

Durch die bildpunktweise durchgeführte Farbklassifikation aller drei Bilder in die Farben ROT,GRÜN und GELB kann jedes der drei Bilder B1, B2 und B3 in drei sog. Farbklassenbilder
B1 → B1ROT, B1GRÜN, B1GELB
B2 → B2ROT, B2GRÜN, B2GELB
B3 → B2ROT, B2GRÜN, B2GELB
wie in Fig. 3 am Beispiel der Region B2 gezeigt automatisch zerlegt werden. Damit ist aber bereits eine automatische Zuordnung aller paarweise zueinander passenden Regionen erfolgt, d. h. es sind noch nicht die photogrammetrischen Marken, aber bereits die Hintergrundregionen R1, R2 und R3 dieser Marken referenziert.

Erfindungsgemäß werden die Marken innerhalb von zwei referenzierten Regionen durch Vergleich ihrer Lage bezüglich der Regionengrenzen und/oder durch Auswertung der von mehreren Marken gebildeten unterscheidbaren Figuren und/oder durch leichte Veränderungen ihrer Form einander automatisch zugeordnet.

Fig. 4 zeigt beispielhaft, wie aus den in den Farbklassenbilder enthaltenen Informationen über die Regionengrenzen und den von Regionen gebildete Ecken die unmittelbar an dieser Grenze liegenden photogrammetrischen Marken einander zugeordnet werden können.

Beispielhaft sei die dreiecksförmige rote Region R1 entlang einer Seite benachbart mit der ebenfalls dreieckförmigen gelben Region R3 und mit der grünen Region R2, welche die Form eines Parallelogramms hat. Entlang der betrachteten Seitenkante -1- bildet sich außerdem eine "Dreiländergrenze" aus, d. h. ein markanter Punkt -2-, in dem drei farblich unterschiedlich markierte Regionen aufeinander stoßen. Dieser Punkt kann leicht aus dem Vergleich aller Farbklassenbilder mit einem Nachbar schaftsoperator in den beiden sich überlappenden Aufnahmen B1 und B2 gefunden werden. Solche Verfahren sind dem Fachmann der Farbbildverarbeitung bekannt. Liegt die Koordinate dieses Punktes in den zwei betrachteten Bilder B1 und B2 fest, so können leicht mit klassischen Suchverfahren beginnend an diesem Startpunkt, parallel zur Farbregionengrenze und im Inneren der korrespondierenden Regionen die nicht codierten photogrammetrischen Marken, hier beispielhaft die kleinen s/w Kreuze -3- und -4- einander zugeordnet werden.

Ein weiterer Vorteil der farbcodierten Regionen ist die Möglichkeit, automatisch nach jeder Bildaufnahme zu prüfen, ob der Überlappungsgrad zweier Aufnahmen ausreichend groß ist. Der Überlappungsgrad ergibt sich aus der Anzahl farbiden tischer Bildpunkte in jeder Aufnahme.

Neben der flächenmäßigen Markierung der Hintergrundregionen durch Farbe, Textur und ähnliche Merkmale kann auch die Form der Hintergrundregion mit Informationen beaufschlagt werden, welche die automatische Referenzierung erleichtern. So sind z. B. dreieckförmige Regionen geeignet, anhand der spitzen Ecken leicht mit Verfahren der 2D-Bildverarbeitung erkannt und zugeordnet zu werden.

Neben der automatischen Referenzierung der photogrammetrischen Marken anhand derer Lage bezüglich der Regionengrenzen können auch andere Merkmale dieser nicht codierten Marken verwendet werden. So werden z. B. wie in Fig. 5 gezeigt, erfindungsgemäß die photogrammetrischen Marken zu "Sternbilder" gruppiert, d. h. die relative Lage mehrerer nicht codierter Marken innerhalb einer Region wird so gewählt, dass sich automatisch identifizierbare geometrische Formen bilden wie Dreiecke, Quader, längliche Strukturen o. ä.. Insbesondere sind solche Strukturen vorteilhaft, welche invariant gegenüber affine Bildtransformationen wie Translation, Rotation, Dehnung, Streckung, perspektivische Verzerrung sind; diese Bildverzerrun gen entstehen immer, wenn ein Bildausschnitt aus zwei verschiedenen Aufnahmepositionen aufgenommen wird. Solche Gruppierungsformen sind immer möglich, da die Position der photogrammetrischen Marken insbesondere bei Körpern mit stetig gekrümmten Oberflächen in Grenzen frei gewählt werden kann.

Erfindungsgemäß können die photogrammetrischen Marken innerhalb einer Region auch durch leichte Veränderungen ihrer Form identifizierbar gemacht werden. Dies kann wie in Fig. 6 z. B. durch Variation der Strichlänge und des Strichbildes geschehen. Diese Art der Codierung unterscheidet sich wesentlich von den bekannten Verfahren der Codierung durch Strichcodes o. ä. In dem erfindungs gemäßen Verfahren werden nur die Marken innerhalb einer Region unterschiedlich markiert; es brauchen nicht alle Marken welche den gesamten Körper bedecken, identifizierbar sein. Die Codierung kann daher sehr einfach ausfallen und braucht nur einige wenige Markenmuster zu unterscheiden. Daher können kleine Markierungen verwendet werden.

Durch die Kombination der einzelnen Verfahren der Referenzierung der photogrammetrischen Marken innerhalb einer Region können auch bei größeren Farbregionen aus zwei oder mehreren sich überlappenden Aufnahmen die in gleichen Regionen enthaltenen Marken leicht mit Verfahren der 2-dimensionalen Bildverarbeitung und Mustererkennung einander zugeordnet werden.

Damit ist über die beiden Verfahrensschritte:

a) Referenzierung einander zugeordneter Hintergrundregionen anhand flächiger Merkmale wie Farbe, Texturen, Polarisationsgrad, NIR-Reflexion ,Polarisationsgrad u. ä.
b) Referenzierung der nicht codierten photogrammetrischen Marken innerhalb einer Region anhand ihrer Lage bezüglich der Regionen, ihrer Gruppierungsstrukturen und einfacher Formmerkmale

eine vollständige automatische photogrammetrische Auswertung eines erfindungs gemäß markierten Körpers oder Körperteils möglich.

Selbstverständlich ist es erfindungsgemäß auch möglich, das beschriebene Verfahren mit traditionell codierten photogrammetrischen Marken zu kombinieren.

Claims

1. Verfahren zur photogrammetrischen Erfassung der Raumform von Objekten, von Körpern und Körperteilen welche mit photogrammetrisch auswertbaren Marken gekennzeichnet sind, dadurch gekennzeichnet dass zur automatischen Referenzierung der Marken der Hintergrund zwischen den Marken regionenweise gekennzeichnet wird durch flächenhaft unterschiedliche Farb- und/oder Textureigenschaften und/oder unterschiedliche Regionenformen und/oder unterschiedliche Nachbarschaften Regionen, dass mit Verfahren der zweidimensionalen Bildverarbeitung jeweils aus den sich überlappenden Kameraaufnahmen der Körperoberfläche die den paarweisen oder mehrfachen Aufnahmen gemeinsame flächenhafte Hintergrundregionen anhand der Identität oder einer ausreichend Ähnlichkeit dieser Kennzeichnungen einander zugeordnet werden

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet dass jeweils innerhalb der zugeordneten Regionen die zueinander passenden photogrammetrischen Marken anhand ihrer geometrischen Lage bezüglich der Regionengrenzen und/oder bezüglich ihrer gegenseitigen Abstände und/oder bezüglich der durch mehrere Marken gebildeten geometrischen Strukturen und Formen innerhalb einer Region mit Verfahren der 2-dimensionalen Bildverarbeitung bestimmt werden und die so referenzierten Marken zur photogrammetrischen Auswertung benutzt werden

3. Verfahren nach Anspruch 1 dadurch gekennzeichnet dass dass jeweils innerhalb der zugeordneten Regionen die zueinander passenden photogrammetrischen Marken anhand einfacher, lediglich innerhalb einer Region eindeutigen Formunterschiede mit Verfahren der 2-dimensionalen Bildverarbeitung bestimmt werden und die so referenzierten Marken zur photogrammetrischen Auswertung benutzt werden

4. Verfahren nach Anspruch 1 bis 3 dadurch gekennzeichnet dass die markierten Hintergrundregionen und die photogrammetrischen Marken innerhalb der Hintergrundregionen auf einem elastischen Überzug aufgebracht sind, mit welchem der zu digitalisierende Körper vor der photogrammetrischen Erfassung überzogen wird

5. Verfahren nach Anspruch 1 bis 3 dadurch gekennzeichnet dass die photogrammetrischen Marken mit den markierten Hintergrundregionen auf selbstklebenden Folien aufgebracht sind, mit welchen der zu digitalisierende Körper vor der photogrammetrischen Vermessung versehen wird

6. Verfahren nach Anspruch 1 bis 3 dadurch gekennzeichnet dass die photogrammetrischen Marken mit den markierten Hintergrundregionen auf die Oberfläche des photogrammetrisch zu vermessenden Körpers aufprojiziert werden

7. Verfahren nach Anspruch 1 bis 3 dadurch gekennzeichnet, dass die flächenhafte Markierung der Hintergrundregionen mit optisch im sichtbaren oder unsichtbaren Bereich der Wellenlänge des Lichtes unterscheidbaren Merkmalen durchgeführt sind.

8. Verfahren nach Anspruch 7 dadurch gekennzeichnet dass die Markierungen aus unterschiedlichen Farben und Farbmustern bestehen

9. Verfahren nach Anspruch 7 dadurch gekennzeichnet, dass die Markierungen aus unterschiedlichen Grauwert- und/oder schwarz/weißen Texturen bestehen

10. Verfahren nach Anspruch 7 dadurch gekennzeichnet dass die Markierungen aus einer Oberflächenbeschichtung mit unterschiedlichem Polarisationsgrad bestehen

11. Verfahren nach Anspruch 7 dadurch gekennzeichnet dass die Markierungen aus einer Oberflächenbeschichtung mit unterschiedlichem Glanz bestehen