AT522805A1 - Kamerasystem - Google Patents

Abstract

Die Erfindung betrifft ein Kamerasystem für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras (1), wobei zumindest drei Kameras im Raum angebracht sind, welche in zumindest zwei unterschiedlichen Modi betrieben werden, wobei im ersten Modus zumindest eine Teilgruppe der Kameras mit Einstellungen betrieben wird, welche hinsichtlich der Positionsbestimmung von Markern (4) besser geeignet sind und in einem zweiten Modus zumindest eine Teilgruppe der Kameras mit Einstellungen betrieben wird, welche hinsichtlich der Positionsbestimmung von Oberflächen (5) des Raumes besser geeignet sind, jeweils bezogen auf den anderen der beiden Modi.

Description

Beschreibung

Die Erfindung betrifft ein hybrides Kamerasystem für die Verwendung in Zusammenhang mit chirurgischen

Navigationssystemen.

Ein Kamerasystem für die Verwendung mit chirurgischen Navigationssystemen wird dafür eingesetzt, um die Position von Gegenständen, wie Operationsinstrumenten, zu erfassen. Aufgrund des Anwendungsfalles sind erhöhte Anforderungen an Genauigkeit

und Fehler- und Ausfallssicherheit des Systems gegeben.

Bisherige chirurgische Navigationssysteme verwenden ein ZweiKamera Prinzip, um chirurgische Instrumente im Raum erfassen zu können. Diese zwei Kameras sind in einem festen Gehäuse verbaut, weshalb die relative Position und Orientierung zueinander (extrinsische Parameter) bekannt sind. Die Position der Instrumente/Marker die von beiden Kameras 2D „gesehen“ werden, können somit dreidimensional bestimmt werden. Diese Systeme haben mehrere Nachteile. Erstens kann die Sicht zwischen einer der beiden Kameras und dem zu erfassenden Instrumente verdeckt sein, sodass keine Messwerte mehr geliefert werden. Die 3D Detektion unterbricht in diesem Fall vollständig. Erschütterungen des Gehäuses, Materialermüdung oder Ausdehnung, können zu einer Verschiebung der Kameras zueinander führen, was signifikante und negative Einflüsse auf die Genauigkeit des Systems und somit auf die Patientensicherheit hat. Zweitens bleiben diese Ungenauigkeiten unbemerkt. Drittens ist das Messvolumen ist auf die Sicht der beiden Kameras reduziert und

daher relativ klein.

Bekannte chirurgische Navigationssysteme arbeiten mit einem Kameraverfahren, das darauf ausgelegt ist, reflektierende Marker an Instrumenten zu erfassen. Die Reflexion passiert dabei im Infrarot (IR) Bereich, weshalb die Kameras, das von den Markern reflektierende IR-Licht erfassen können. Die empfangenen Bilder sind binarisiert (0=kein Marker, 1= Marker), sodass

ausschließlich die Marker selbst (Position und Radius) bestimmt

seite 1

werden. Außer den Markern, kann keine Bildinformation erkannt

werden.

Eine zusätzliche Erfassung der Umgebung ist beispielsweise für den Einsatz von Robotik und Chirurgen-Training jedoch von großer Bedeutung da damit Bewegungen der Chirurgen erfasst und analysiert werden können und/oder Kollisionen eines Roboters mit Patienten oder Gegenständen erkannt und unterbunden werden

können.

Die der Erfindung zu Grunde liegende Aufgabe besteht darin, unter Vermeidung der genannten Nachteile ein Kamerasystem zu schaffen, welches für die Verwendung mit chirurgischen

Navigationssystemen geeignet ist.

Für das Lösen der Aufgabe wird ein System gemäß Anspruch 1

vorgeschlagen.

In einer Ausführungsvariante wird ein Kamerasystem vorgeschlagen, umfassend zumindest drei insbesondere zumindest vier Kameras, bei welchen die Kameras in zumindest zwei unterschiedlichen Modi betrieben werden, wobei im ersten Modus (hierin als Markermodus bezeichnet) Kameraeinstellungen verwendet werden, welche optimal bzw. zumindest besser geeignet sind, um aus den Kamerabildern die Position von Markern zu bestimmen und in einem zweiten Modus (hierin als Bildmodus bezeichnet) Kameraeinstellungen verwendet werden, welche optimal bzw. zumindest besser geeignet sind, um die Position von

Gegenständen mittels Point-Cloud Berechnungen zu ermitteln.

Die beiden Modi unterscheiden sich bevorzugt zumindest in den Belichtungseinstellungen der Kameras. Im Markermodus wird dadurch bevorzugt ein möglichst starker Kontrast zwischen Markern und Hintergrund hergestellt, um eine bessere bzw. bestmögliche Detektion der Marker zu ermöglichen. Im Bildmodus werden Einstellungen verwendet, welche eine bessere oder bestmögliche Detektion des Hintergrunds ermöglichen. Die beiden Modi unterscheiden sich bevorzugt auch in der Art der

Verarbeitung der Bilder in den Kameras und/oder der Art der

seite 2

Datenübertragung der Bilder von den Kameras zu einer Datenverarbeitungsanlage. Alternativ oder zusätzlich unterscheidet sich die Art der Verarbeitung der von den Kameras

gemachten Aufnahmen.

In einer Ausführungsvariante sind zumindest zwei Kameras vorhanden, welche ständig im Markermodus betrieben werden und zumindest zwei weitere Kameras vorhanden, welche entweder permanent im Bildmodus betrieben werden, oder durch

Zeitmultiplexing abwechselnd im Markermodus und Bildmodus.

In einer Ausführungsvariante wird ein Kamerasystem vorgeschlagen, umfassend zumindest drei insbesondere zumindest vier Kameras, bei welchem die Kameras durch Zeitmultiplexing in zumindest zwei unterschiedlichen Modi betrieben werden, wobei im ersten Modus Kameraeinstellungen verwendet werden, welche optimal bzw. zumindest besser geeignet sind um aus den Kamerabildern die Position der Marker zu bestimmen und in einem zweiten Modus Kameraeinstellungen verwendet werden, welche optimal bzw. zumindest besser geeignet sind, um die Position von

Gegenständen mittels Point-Cloud Berechnungen zu ermitteln.

Zeitmultiplexing bedeutet, dass zumindest eine der Kameras, bevorzugt zumindest eine Teilgruppe der Kameras oder alle Kameras abwechselnd, für eine gewisse Zeitdauer Aufnahmen im ersten Modus machen und für eine gewisse Zeitdauer Aufnahmen in zumindest einem zweiten Modus machen. Bevorzugt wechselt zumindest eine Kamera im Zeitverlauf abwechselnd zwischen zumindest zwei Modi. Bevorzugt wechseln zumindest zwei Kameras im Zeitverlauf abwechselnd zwischen zumindest zwei Modi. Bevorzugt wechseln zumindest drei Kameras, besonders bevorzugt vier Kameras im Zeitverlauf abwechselnd zwischen zumindest zwei Modi. Bevorzugt wechseln zumindest fünf Kameras, besonders bevorzugt sechs Kameras insbesondere sieben Kameras im

Zeitverlauf abwechselnd zwischen zumindest zwei Modi.

Insbesondere kann die Erfindung in folgenden vier Varianten

ausgeführt werden:

seite 3

In der ersten Variante sind drei Kameras im Raum angebracht, wobei stets eine Teilgruppe von zwei Kameras im Markermodus ist, welche Teilgruppe im Zeitverlauf unterschiedlich zusammengesetzt ist. Eine der Kameras ist stets oder in Zeitfenstern mit dazwischenliegenden Pausen im Bildmodus, wobei sich im Zeitverlauf ändert, welche der Kameras im Bildmodus ist. Das bedeutet, dass zu einem ersten Zeitpunkt die erste und die zweite Kamera im Markermodus sind und die dritte Kamera im Bildmodus ist und zu einem zweiten Zeitpunkt die erste Kamera und die dritte Kamera im Markermodus sind und die zweite Kamera im Bildmodus. Bevorzugt sind zu einem dritten Zeitpunkt die zweite und dritte Kamera im Markermodus und die erste Kamera im Bildmodus. Da die Aufnahmen des Bildmodus unterschiedlicher Kameras zeitversetzt angefertigt werden, erfolgt die 3D Rekonstruktion im Bildmodus durch Auswertung zeitversetzter Aufnahmen, sodass die Genauigkeit der Auswertung bei bewegten Objektion leiden kann. Bevorzugt sind daher mehr als drei Kameras vorhanden, wobei eine der nächsten Varianten ausgeführt

werden kann.

In der zweiten Variante sind zumindest vier Kameras im Raum angebracht, wobei stets eine Teilgruppe von zumindest zwei Kameras im Markermodus ist, welche Teilgruppe im Zeitverlauf unterschiedlich zusammengesetzt ist. Zumindest eine der Kameras ist stets oder in Zeitfenstern mit dazwischenliegenden Pausen im Bildmodus, wobei sich im Zeitverlauf ändert, welche der Kameras im Bildmodus ist. Bevorzugt sind zumindest zwei der Kameras stets oder in Zeitfenstern mit dazwischenliegenden Pausen im Bildmodus, wobei sich im Zeitverlauf ändert, welche der Kameras im Bildmodus sind. Das bedeutet beispielsweise, dass zu einem ersten Zeitpunkt die erste und die zweite Kamera im Markermodus sind und die dritte und vierte Kamera im Bildmodus sind und zu einem zweiten Zeitpunkt die erste und die dritte Kamera im Markermodus sind und die zweite und vierte Kamera im Bildmodus sind. Bevorzugt wird im Zeitverlauf jede der Kameras zwischen

Markermodus und Bildmodus gewechselt, da dadurch für Jeden der

seite 4

beiden Modi die maximale Anzahl an Blickwinkeln und daher die

maximale Genauigkeit und Größe des Messvolumens erreicht wird.

In der dritten Variante sind zumindest vier Kameras im Raum angebracht, wobei stets eine Teilgruppe von zumindest zwei Kameras im Markermodus ist, welche Teilgruppe im Zeitverlauf unverändert zusammengesetzt ist. Zumindest zwei der Kameras sind stets im Bildmodus, wobei sich im Zeitverlauf nicht ändert,

welche der Kameras im Bildmodus sind.

In der vierten Variante sind zumindest vier Kameras im Raum angebracht, wobei stets eine Teilgruppe von zumindest zwei Kameras im Markermodus ist, welche Teilgruppe im Zeitverlauf unverändert zusammengesetzt ist. Die Kameras der verbleibenden Teilgruppe, umfassend zumindest zwei Kameras, wechseln zwischen

Markermodus und Bildmodus. Bevorzugt sind im Raum Infrarot-Leuchtmittel angebracht.

Besonders bevorzugt weisen die Kameras selbst Infrarotleuchtmittel auf. Bevorzugt sind die Infrarotleuchtmittel in Form von LEDs ringförmig um die Linse

bzw. das Objektiv der Kamera angeordnet.

Bevorzugt werden die Infrarotleuchtmittel in den beiden Modi mit unterschiedlichen Belichtungsparametern, insbesondere

unterschiedlicher Leuchtstärke betrieben.

Bevorzugt wird beim Markermodus ein optischer Filter, insbesondere ein Bandpassfilter, verwendet, mit Durchlässigkeit

im Infrarotbereich. Bevorzugt ist der optische Filter aktivierbar und deaktivierbar.

Dazu kann die Kamera eine elektrisch gesteuerte Mechanik aufweisen, um den Filter zur Aktivierung vor die Linse zu bewegen und zur Deaktivierung in einen Bereich neben der Linse zu bewegen. Alternativ kann der Filter selbst aktivierbar oder deaktivierbar sein, indem die Lichtdurchlässigkeit des Filters veränderbar ist. Beispielsweise kann die Lichtdurchlässigkeit

des Filters durch Anlegen von Spannung veränderbar sein.

seite 5

In einer Ausführungsvariante ist der Filter nur im Markermodus vor der Linse. Daher wird der optische Filter beim Wechsel vom Markermodus in den Bildmodus deaktiviert und beim Wechsel vom Bildmodus in den Markermodus aktiviert. Diese Ausführungsvariante hat den Vorteil, dass im Bildmodus das volle Wellenlängenspektrum zur Verfügung steht, um die Oberflächen des

3D-Raums möglichst vollständig abzubilden.

In einer anderen Ausführungsvariante kann sich der optische Filter auch im Bildmodus vor der Linse befinden. Diese Variante hat den Vorteil, dass der Wechsel zwischen den Modi unabhängig von der Verschlusszeit des optischen Filters erfolgen kann und Aufnahmen bei geringer Helligkeit bzw. in Dunkelheit möglich

sind.

Bevorzugt sind die extrinsischen Parameter und intrinsischen

Parameter der Kameras bekannt.

Bevorzugt werden die extrinsischen und bevorzugt auch die intrinsischen Parameter der Kameras in einem Kalibrierungsprozess im Markermodus ermittelt, sodass unter Verwendung dieser Parameter im Bildmodus Oberflächen im Operationssaal mittels Point Cloud Computing präzise rekonstruiert bzw. vermessen werden können. Vorteilhaft daran ist, dass die extrinsischen und intrinsischen Parameter im Markermodus präziser bestimmbar sind als im Bildmodus. Dadurch kann die Auflösung im Bildmodus verbessert werden, verglichen zu einem Bildmodus- bzw. Point-Cloud-Verfahren bei welchem die extrinsischen und intrinsischen Parameter der Kameras im

Bildmodus ermittelt werden.

Bevorzugt wird die im Markermodus ermittelte Kamera-Kalibration, also die intrinsischen und extrinsischen Parameter, verwendet um im Bildmodus die Zugehörigkeit einzelner Pixel auf Bildern unterschiedlicher Kameras zu detektieren. Bevorzugt wird daraus eine Bildmaske erstellt, welche die Bildintensität und/oder Grauwerte und/oder Farbwerte und/oder Helligkeit

zusammengehöriger Pixel auf Bildern unterschiedlicher Kameras

seite 6

angleicht, um eine möglichst hohe Übereinstimmung der Bilder zu erhalten. Die angeglichenen Bilder werden der Point-CloudBerechnung zugeführt, wobei diese dadurch mit weniger

Rechenaufwand und/oder höherer Genauigkeit erfolgen kann.

Bevorzugt erfolgt der Kalibrierungsprozess durch eine Software automatisiert. Bevorzugt erfolgt der Kalibrierungsprozess der Kameras laufend im Hintergrund, wobei dieser

Kalibrierungsprozess nach bekannten Verfahren ablaufen kann.

Bevorzugt ist die Anzahl der Kameras so gewählt, dass beide Modi gleichzeitig ausführbar sind, indem eine erste Teilgruppe von Kameras im ersten Modus betrieben wird, während eine zweite

Teilgruppe von Kameras im zweiten Modus betrieben wird.

Bevorzugt ändert sich die Zusammensetzung der Teilgruppen im Zeitverlauf. Dies bedeutet, dass zumindest eine Kamera zu einem ersten Zeitpunkt der Teilgruppe von Kameras des ersten Modus angehört und zu einem zweiten Zeitpunkt der Teilgruppe von Kameras des zweiten Modus angehöhrt, sodass sich zum Zeitpunkt

des Wechsels die Zusammensetzung beider Teilgruppen ändert.

Bevorzugt werden für eine erste Zeitdauer alle verfügbaren Kameras in einem ersten Modus betrieben, wonach für eine zweite Zeitdauer eine Teilmenge der Kameras, welche zumindest um zwei geringer ist als die Anzahl aller verfügbaren Kameras, in einem zweiten Modus betrieben wird, wonach für eine dritte Zeitdauer alle verfügbaren Kameras im besagten ersten Modus betrieben werden, wonach für eine vierte Zeitdauer eine Teilmenge der Kameras, welche zumindest um zwei geringer ist als die Anzahl aller verfügbaren Kameras, im besagten zweiten Modus betrieben wird. Bevorzugt werden die verbleibenden zumindest zwei Kameras in der dritten und vierten Zeitdauer im ersten Modus betrieben. Bevorzugt unterscheiden sich die Zusammensetzungen besagter Teilmenge der Kameras in der besagten zweiten Zeitdauer und der besagten vierten Zeitdauer voneinander. Dies bedeutet, dass

zumindest eine Kamera in der zweiten Zeitdauer im ersten Modus

seite 7

betrieben wird, wobei diese Kamera in der vierten Zeitdauer im

zweiten Modus betrieben wird.

Bevorzugt befinden sich stets zumindest zwei der Kameras im ersten Modus, wobei die sich die Auswahl der zumindest zwei Kameras aus der Gesamtheit der Kameras im Zeitverlauf bevorzugt

ändert.

Bevorzugt befinden sich stets zumindest zwei der Kameras im zweiten Modus, wobei sich die Auswahl der zwei Kameras aus der

Gesamtheit der Kameras im Zeitverlauf bevorzugt ändert.

Aus den Bildern der Kameras des ersten Modus werden Örtlich hochaufgelöste Markerpositionen bestimmt, wobei bevorzugt Bilder jeder Kamera in die Positionsbestimmung miteinfließen, sodass die volle Anzahl an vorhandenen Kameras zur Erhöhung der Genauigkeit beiträgt. Da jede Kamera zur Bestimmung der Markerposition herangezogen wird oder werden kann, steigt die Wahrscheinlichkeit, dass immer zumindest zwei Kameras freie Sicht auf die zu erfassenden Marker haben, selbst wenn eine große Anzahl an Personen und/oder Gegenständen im Raum sind, wie

dies bei Operationssälen üblich ist.

Aus den Bildern der Kameras des zweiten Modus werden 3D Oberflächen im Raum bestimmt, wobei bevorzugt Bilder Jeder Kamera in die Positionsbestimmung miteinfließen, sodass die volle Anzahl an vorhandenen Kameras zur Erhöhung der Genauigkeit beiträgt. Da jede Kamera zur Bestimmung der 3D Oberflächen im Raum herangezogen wird oder werden kann, steigt die Wahrscheinlichkeit, dass immer zumindest zwei Kameras freie Sicht auf Jede zu erfassende Oberfläche haben. Dadurch sind die Oberflächen von Personen und Gegenstände von mehreren Seiten

bzw. aus mehreren Winkeln erfassbar.

Bevorzugt erfolgt die Belichtungseinstellung der Kameras im

Marker-Modus und im Bild-Modus automatisiert.

Für den Marker-Modus erlaubt es ein im Raum befindlicher Referenzgegenstand mit einer bekannten Geometrie und bekannter Anzahl der Marker die Belichtungsparameter der Kamera so

seite 8

einzustellen, zu steuern oder zu regeln, dass sich die Marker optimal vom Hintergrund abheben und somit optimal erkennbar

sind.

Da die zusammengehörigen Bildpunkte im Bildmodus anhand der im Markermodus bekannten Kameraparameter (extrinsisch, intrinsisch) exakt bekannt sind, können diese Informationen im Bildmodus für eine optimale Belichtung verwendet werden. Die Kameras werden im Bildmodus so eingestellt, das zusammengehörige Pixel möglichst die gleiche Intensität aufweisen. Dies erhöht die Qualität der 3D Rekonstruktion mittels Point-Cloud-Verfahren. Zusätzlich wird die Point-Cloud Operation durch die präzise Kalibration im

Marker-Modus unterstützt.

Das erfindungsgemäße System kann bevorzugt zur Erfassung von Patientenverschiebungen verwendet werden, insbesondere um

Verschiebungen von Makern am Patienten zu erkennen.

Bisherige Systeme verwenden einen Referenzsensor oder einen Marker, der am Patienten befestigt ist, um dessen Position zu erfassen. Kommt es zur Verschiebung dieses Referenzsensors oder Markers, kommt es zu signifikanten Messfehlern, die sich auf die

Patientensicherheit auswirken.

Durch die erfindungsgemäße hybride Kameraerfassung kann zudem

die Oberfläche des Patienten erfasst werden und diese mit der

relativen Position des Referenzsensors oder Markers verglichen werden. Abweichungen können somit erkannt werden, um

Fehlermeldungen auszulösen und den Patienten zu schützen.

Bevorzugt wird das gegenständliche System als Positionsbestimmungssystem von chirurgischen Navigationssystems verwendet, insbesondere für die Planung, Simulation und

Ausführung komplexer Eingriffe am Gehirn.

Bevorzugt sind die Kameras des gegenständlichen Systems nicht in ein festes Gehäuse integriert, sondern werden mehrere einzelne Kameras verwendet, die im Raum, insbesondere Operationssaal, verteilt befestigt sind. Durch einen Festkörper (englisch „Rigid Body“), der über zumindest drei reflektierende Marker, mit

seıte 9

bekannter Distanz zueinander verfügt, können die extrinsischen Parameter der Kameras berechnet werden. Der Festkörper (Rigid Body) wird in diesem Prozess durch den Aufnahmebereich der Kameras bewegt. Aufgrund der simultanen Erfassung des bekannten Festkörpers von mehreren Kameras, können deren extrinsischen Parameter (relative Position und Orientierung der Kameras zueinander) und auch deren intrinsischen Parameter ermittelt werden. Multi-Kamera Verfahren wie dieses existieren im VirtualReality-Bereich bereits und werden vermutlich bislang aus Sicherheitsgründen nicht im OP-Saal eingesetzt. Denn, kommt es zu einer Verschiebung einer einzelnen Kamera, stimmt die

Berechnung der Instrumentenposition im 3D-Raum nicht mehr.

Dieses Problem kann im ersten Kameramodus, also dem Markermodus, gelöst werden, wenn die Position der Instrumente sowohl mittels der Daten aller Kameras berechnet wird, als auch parallel dazu oder zeitlich versetzt, im Kreuzvalidierungsverfahren mit den Daten unterschiedlicher Kameragruppen. In einer Ausführungsvariante des Kreuzvalidierungsverfahrens werden die Daten zumindest einer Kamera, insbesondere exakt einer Kamera, von der Berechnung ausgeschlossen, um zur Vergleichsberechnung zu gelangen. In einer anderen Ausführungsvariante des Kreuzvalidierungsverfahrens werden die Daten von jeweils zumindest zwei Kameras, insbesondere exakt zwei Kameras für die Vergleichsberechnung herangezogen. Durch eine Vornahme einer Vielzahl solcher Vergleichsberechnungen, mit jeweils unterschiedlichen Kameragruppen, können durch Vergleich der Vergleichsberechnungen untereinander und/oder Vergleich der Vergleichsberechnungen mit der Hauptberechnung verschobene bzw. „dekalibrierte“ Kameras ermittelt werden. Die Vergleichsberechnungen können je nach Rechnerkapazität allesamt parallel aus einem zu einem Zeitpunkt erhaltenen Datensatz aller Kameras vorgenommen werden oder zeitlich versetzt, von einem historischen Datensatz oder von einem jeweils aktuellen Datensatz. Das Kreuzvalidierungsverfahren, insbesondere die

Auswahl der Daten der Kameragruppen für das

seıte 10

Kreuzvalidierungsverfahren, kann somit rein durch Software erfolgen. Alternativ können die Vergleichsberechnung erfolgen, indem Kameras tatsächlich keine Daten liefern, beispielsweise indem diese zu Vergleichszeitpunkten keine Bilder aufnehmen, oder diese Bilder oder Bilddaten nicht der Berechnung der Markerpositionen zugeführt werden. Insbesondere können zwischen den Zeitspannen der Hauptberechnungen in denen alle Kameras Daten für die Berechnung der Markerpositionen liefern, Vergleichszeitpunkte oder Vergleichszeitspannen vorliegen, in welchen nur eine Teilgruppe der Kameras Daten für die Berechnung der Markerpositionen liefert. Die Kameras, welche zu den Vergleichszeitpunkten oder Vergleichszeitspannen keine Daten liefern, können vorteilhaft in einem anderen Modus, insbesondere dem Bildmodus, betrieben werden, wobei die Aufnahmen dieser Kameras einer anderen Berechnung zugeführt werden, insbesondere einer Point-Cloud-Berechnung. Durch das Kreuzvalidierungsverfahren ist es systematisch möglich, die Verschiebung einer oder mehrerer spezifischer Kameras zu detektieren. Kommt es beispielsweise immer zu einer Abweichung der Instrumentenposition, wenn eine spezifische Kamera in die Berechnung eingebunden ist, kann schlussgefolgert werden, dass sich diese räumlich verschoben hat, also nicht mehr ihre

ursprünglichen extrinsischen Parameter besitzt.

Alternativ oder zusätzlich können im ersten Kameramodus die extrinsischen Parameter und/oder intrinsischen Parameter über die lokale Marker-Geometrie von Gegenständen, insbesondere Instrumenten, überprüft werden: Ein Instrument verfügt über mehrere reflektierende Marker, die im festen Abstand zueinander am Instrument befestigt sind. Diese relative Position der Marker zueinander kann wiederum im Kreuzvalidierungsverfahren ermittelt werden und zur Überprüfung herangezogen werden. Kommt es zu Abweichungen der Marker-Distanzen, wenn Daten einer spezifischen Kamera in die Berechnungen eingeflossen sind, kann

rückgeschlossen werden, dass sich die extrinsischen Parameter

seıte 11

dieser Kamera verschoben haben. Auch dieser Wert liefert also

eine Evidenz einer Verschiebung.

Wird eine Verschiebung nach zumindest einem der beiden Verfahren detektiert, wird die verschobene Kamera aus den Berechnungen ausgeschlossen (deaktiviert), um die Hauptberechnung (Berechnung

basierend auf allen Kameras) nicht zu verfälschen.

Bevorzugt werden die überprüfenden Kreuzvalidierungen im ersten Modus, also im Markermodus, mit einer niedrigeren Aufnahmerate (bzw. sampling rate) im Hintergrund berechnet, verglichen zur Aufnahmerate (bzw. sampling rate) für die Positionsbestimmung

der Marker mit allen verfügbaren Kameras für den ersten Modus.

In einer bevorzugten Ausführungsvariante wird die verschobene Kamera nicht dauerhaft deaktiviert, sondern ein Kalibrierungsvorgang gestartet. Dabei wird die Geometrie eines beliebigen, im Kamerabereich sichtbaren Gegenstands oder Instruments mittels der funktionierenden Kameras in 3D vermessen, wobei dies im ersten und/oder im zweiten Modus erfolgen kann. Aus diesem Grunde ist die Geometrie des Gegenstands oder Instruments bekannt und die verschobene Kamera kann (ähnlich dem ursprünglichen Kalibrationsverfahrens) neu kalibriert, evaluiert und wieder in die Berechnung integriert werden. Bevorzugt ist im Raum zumindest ein Gegenstand vorhanden, welcher mit zumindest drei Markern versehen ist, welche nicht äquidistant zueinander angeordnet sind, sodass eine eindeutige Identifizierung zweier Marker und die Bestimmung der Distanz der beiden Marker zueinander möglich ist. Solange zwei kalibrierte Kameras zur Verfügung stehen, welche 2D Aufnahmen der Marker anfertigen, kann die Anordnung der Marker im 3d Raum rekonstruiert werden und die Distanz der beiden Marker zueinander aus den Aufnahmen ermittelt werden, sofern diese nicht ohnehin bekannt ist. Aus dem 2D Bild der verschobenen Kamera ist die Sicht der Kamera auf die Marker bekannt, sodass über die ermittelte Distanz der beiden Marker und deren Lage im 3D Raum und/oder die Lage der beiden Marker in den 2D Bildern

der kalibrierten Kameras die aktuellen extrinsischen Parameter

seıte 12

der verschobenen Kamera aus dem 2D Bild der verschobenen Kamera

berechenbar sind.

Bevorzugt ist im Raum ein eigens für die Rekalibrierung einzelner Kameras vorgesehener Referenzkörper platziert, dessen dem System bekannten dreidimensionalen Abmessungen über Marker im ersten Modus und/oder über dessen im zweiten Modus detektierter Oberfläche bestimmbar sind. Beispielsweise wird eine bekannte Geometrie des Referenzkörpers im zweiten Modus bestimmt und zur Rekalibrierung verwendet. Bevorzugt wird aber eine bekannte Markeranordnung des Referenzkörpers im ersten Modus bestimmt und zur Rekalibrierung verwendet, da die Genauigkeit der Kalibration im Markermodus in der Regel höher

ist.

Bevorzugt wird somit in zumindest einem der beiden Modi eine Verschiebung einer Kamera erkannt und danach eine Rekalibrierungsroutine gestartet, welche im Markermodus die extrinsischen Parameter und bevorzugt auch die intrinsischen Parameter neu ermittelt und diese neu ermittelten Parameter der

3D Rekonstruktion beider Modi zur Verfügung stellt.

Vorteilhaft an den gegenständlichen Verfahren ist, dass so nicht nur die Risiken des Multikamerasystems eliminiert werden können, sondern zusätzlich noch die Standards des Zweikamerasystems übertroffen werden, da durch das parallele Betreiben oder das Zeitmultiplexing der beiden Modi und durch die redundante Anzahl der Kameras Fehler erkannt werden können. Vorteilhaft ist zudem, dass aufgrund der größeren Anzahl an Kameras der ganze Raum um bis zu 360° abgebildet werden kann, während beim

Zweikamerasystem nur eine Sicht auf den Raum erschlossen wird.

Bevorzugt kann im Kreuzvalidierungsverfahren zudem die lokale Marker-Geometrie von Gegenständen, Instrumenten oder Personen überprüft werden. Ein Gegenstand, Instrument oder Mensch verfügt über mehrere reflektierende Marker, die im festen Abstand zueinander an diesem befestigt sind. Diese relative Position der

Marker zueinander kann wiederum im Kreuzvalidierungsverfahren

seıte 13

ermittelt werden und zur Überprüfung herangezogen werden. Kommt es zu Abweichungen der Marker-Distanzen unabhängig welche Kamerateilgruppe zur Berechnung der Position herangezogen wird, kann rückgeschlossen werden, dass sich zumindest eine Markerposition am Gegenstand geändert hat und die Ursache der

Verschiebung nicht aus der Verschiebung einer Kamera resultiert.

Bevorzugt sind zumindest 3 hochauflösende Kameras im Raum positioniert. Bevorzugt ist eine Anzahl von 4-12 hochauflösenden

Kameras im Raum positioniert.

Bevorzugt weisen die Kameras in Summe ein Messvolumen von

mindestens 2 x 2 x 2m auf.

Bevorzugt weisen die Kameras eine Bildwiederholungsrate von 180 Hz im Markermodus und Bildmodus auf. Optional kann die Bildwiederholungsrate im Bildmodus deutlich niedriger erfolgen,

typischerweise kleiner 10 Hz.

Eine Positionserfassungssoftware kommuniziert mit den Kameras, um ihre Belichtungs- und Aufnahmeeinstellungen für beide Modi zu verändern und deren erzeugte Bilder zu empfangen. In zwei parallelen Bildverarbeitungsprozessen werden sowohl die 3DPositionen von Markern, als auch die 3D-Oberflächen des

Operationssaals anhand der 2D-Kamerabilder berechnet.

Bevorzugt erfolgt die Bestimmung Örtlicher Positionen mit Genauigkeiten von kleiner gleich 250um. Die Örtlichen Positionen

werden bevorzugt an eine Neuronavigations-Software kommuniziert.

In einer Ausführungsvariante umfasst die Erfindung ein Kamerasystem für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, wobei zumindest drei Kameras im Raum angebracht sind, welche in zumindest zwei unterschiedlichen Modi betrieben werden, wobei eine Bestimmung der extrinsischen und intrinsischen Parameter der Kameras im ersten Modus vorgenommen wird, wobei diese aufgrund der Positionsbestimmung einer dem System bekannten Anordnung von zumindest drei Infrarot-Markern an einem Objekt erfolgt und wobei in einem zweiten Modus die Oberflächen des Raumes aus den

seıte 14

Bilddaten der Kameras mit Einbeziehung der im ersten Modus ermittelten extrinsischen und intrinsischen Parameter der

Kameras mittels Point-Cloud-Berechnungen ermittelt werden.

Bevorzugt wird eine Verschiebung von Kameras im ersten und/oder zweiten Modus detektiert. Bevorzugt werden im ersten Modus die extrinsischen Parameter und bevorzugt auch die intrinsischen Parameter einer verschobenen Kamera neu ermittelt und aufgrund dieser neu ermittelten Parameter das Berechnungsmodell der

Point-Cloud-Berechnungen aktualisiert.

In einer Ausführungsvariante umfasst die Erfindung ein Kamerasystem für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, wobei zumindest drei Kameras im Raum angebracht sind, welche in zumindest zwei unterschiedlichen Modi betrieben werden, wobei im ersten Modus aus den Bildinformationen der Kameras die Positionsbestimmung von Infrarotmarkern vorgenommen wird und in einem zweiten Modus aus den Bildinformationen der Kameras die Positionsbestimmung von Oberflächen des Raumes vorgenommen wird, wobei jede Kamera einen aktivier- und deaktivierbaren optischen Filter aufweist, welcher sichtbares Licht stärker abschwächt als Infrarotlicht, wobei der optischen Filter im ersten Modus aktiv ist und im

zweiten Modus nicht aktiv ist.

In einer Ausführungsvariante umfasst die Erfindung ein erstes Verfahren zur Erkennung von Positionsverschiebungen von Kameras eines Kamerasystems für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, wobei das System in zumindest einem ersten Modus betrieben wird, in welchem aus den Bildinformationen der Kameras die Positionsbestimmung von Infrarot-Markern vorgenommen wird und wobei das System in zumindest einem zweiten Modus betrieben wird, in welchem die Oberflächen des Raumes aus den Bilddaten der Kameras mit Einbeziehung der im ersten Modus ermittelten extrinsischen und intrinsischen Parameter der Kameras mittels Point-Cloud-Berechnungen ermittelt werden, wobei im Raum

zumindest ein Gegenstand oder Instrument mit zumindest drei

seıte 15

Infrarot-Markern vorhanden ist, deren räumliche Anordnung zueinander im System gespeichert ist, wobei im Raum zumindest drei Kameras angebracht sind, deren Bildinformationen des ersten Modus für eine Hauptberechnung der Gegenstands oder Instrumentenpositionen im Raum verwendet werden, wobei zudem Vergleichsberechnungen durchgeführt werden, für welche Vergleichsberechnungen nur die Bildinformationen einer Teilgruppe von Kameras verwendet werden und wobei in den Vergleichsberechnungen die räumliche Anordnung von zumindest zwei der besagten drei Infrarot-Marker zueinander berechnet wird, wobei die Anzahl der Kameras der Teilgruppe zumindest zwei und maximal die Gesamtanzahl der Kameras minus ein beträgt, wobei eine Anzahl von unterschiedlichen Vergleichsberechnungen für Teilgruppen mit unterschiedlichen Zusammensetzungen vorgenommen werden, welche Anzahl der unterschiedlichen Vergleichsberechnungen zumindest gleich der Gesamtanzahl der Kameras minus ein ist und festgestellt wird, welche Ergebnisse der Vergleichsberechnungen von der gespeicherten Anordnung der besagen Marker abweichen und weiters festgestellt wird, welche

der Kameras an allen abweichenden Ergebnissen beteiligt ist.

In einer Ausführungsvariante umfasst die Erfindung ein zweites Verfahren zur Erkennung von Positionsverschiebungen von Kameras eines Kamerasystems für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, wobei das System in zumindest einem ersten Modus betrieben wird, in welchem aus den Bildinformationen der Kameras die Positionsbestimmung von Infrarot-Markern vorgenommen wird und wobei das System in zumindest einem zweiten Modus betrieben wird, in welchem die Oberflächen des Raumes aus den Bilddaten der Kameras mit Einbeziehung der im ersten Modus ermittelten extrinsischen und intrinsischen Parameter der Kameras mittels Point-Cloud-Berechnungen ermittelt werden, wobei im Raum zumindest ein Gegenstand oder Instrument mit zumindest drei Infrarot-Markern vorhanden ist, deren räumliche Anordnung

zueinander vom System berechenbar ist, wobei eine Anzahl von

seıte 16

zumindest vier Kameras im Raum angebracht sind, deren Bildinformationen zusammen für eine Hauptberechnung einer Gegenstandsposition zumindest eines ersten Gegenstandes im Raum verwendet werden, wobei zudem Vergleichsberechnungen durchgeführt werden, für welche Vergleichsberechnungen nur die Bildinformationen einer Teilgruppe von Kameras verwendet werden und wobei in den Vergleichsberechnungen ebenfalls die Gegenstandsposition des ersten Gegenstands im Raum berechnet wird, wobei die Anzahl der Kameras der Teilgruppe zumindest zwei und maximal die Gesamtanzahl der Kameras minus ein beträgt, wobei eine Anzahl von unterschiedlichen Vergleichsberechnungen für Teilgruppen mit unterschiedlichen Zusammensetzungen vorgenommen werden, welche Anzahl der unterschiedlichen Vergleichsberechnungen zumindest gleich der Gesamtanzahl der Kameras ist und festgestellt wird, welche Ergebnisse der Vergleichsberechnungen von anderen Vergleichsberechnungen abweichen und weiters festgestellt wird, welche der Kameras an jenen Vergleichsberechnungen beteiligt ist, deren Ergebnisse von

allen anderen Vergleichsberechnungen abweichen.

Bevorzugt wird bei beiden Verfahren die verschobene Kamera, welche an allen abweichenden Ergebnissen beteiligt ist, aus der Hauptberechnung ausgeschlossen, wobei die Hauptberechnung mit

reduzierter Kameraanzahl weiter ausgeführt wird.

Bevorzugt werden die Hauptberechnung und die Vergleichsberechnungen gemäß einem der beiden obigen Verfahren solange ausgeführt, solange beim ersten Verfahren zumindest drei Kameras nicht ausgeschlossen sind und beim zweiten Verfahren

zumindest vier Kameras nicht ausgeschlossen sind.

Bevorzugt werden für die verschobene Kamera, welche an allen abweichenden Ergebnissen beteiligt ist, zumindest die extrinsischen Parameter aufgrund der von den verbleibenden Kameras im ersten Modus ermittelten räumlichen Anordnung der besagten Marker neu berechnet und gespeichert, indem oder sodass die unter Einbeziehung der Bildinformationen der verschobenen

Kamera ermittelte räumliche Anordnung der besagen drei Marker

seıte 17

mit der von den verbliebenen Kameras berechneten räumlichen Anordnung der besagen drei Marker in Übereinstimmung gebracht

wird.

Bevorzugt werden im ersten Modus mit der Hauptberechnung der verbleibenden Kameras drei Marker eines beliebigen Gegenstandes oder Instruments eindeutig identifiziert, die räumliche Anordnung von zumindest zwei der drei Marker berechnet wird und dass für die verschobene Kamera, welche an allen abweichenden Ergebnissen beteiligt ist, zumindest die extrinsischen Parameter auf Basis der berechneten räumlichen Anordnung der besagten zwei Marker zueinander und der 2D Repräsentationen der Anordnung der besagten zwei Marker von zumindest einer der verbleibenden Kameras und der verschobenen Kamera neu berechnen berechnet und gespeichert werden, sodass die unter Einbeziehung der Bildinformationen der abweichenden Kamera ermittelte räumliche Anordnung der besagten Marker mit der Hauptberechnung der räumlichen Anordnung der besagen Marker in Übereinstimmung

gebracht wird.

Bevorzugt werden die neu berechneten und gespeicherten extrinsischen Parameter der verschobenen Kamera in das Berechnungsmodell der Hauptberechnung mit allen Kameras und in die Modelle der Vergleichsberechnungen mit Beteiligung der verschobenen Kamera übernommen und die Hauptberechnung in Folge

wieder mit allen Kameras ausgeführt.

Bevorzugt werden die neu berechneten und gespeicherten extrinsischen Parameter der verschobenen Kamera in das

Berechnungsmodell des zweiten Modus übernommen.

Eine bevorzugte Anwendung umfasst die Verwendung des gegenständlichen Systems mit einer holografischen Brille (MixedReality-Brille), um diese in das chirurgische Navigationssystem zu integrieren. In einer Ausführungsvariante sind reflektierende Marker auf der holografischen Brille angebracht, deren Position im Markermodus ermittelt wird. Dadurch kann die Blickrichtung

und somit die Perspektive des Betrachters mit der sehr exakten

seıte 18

Genauigkeit und hohen Bildwiederholungsrate des gegenständlichen Kamerasystems erfasst werden, um die Anatomie von PatientInnen aus der Perspektive des Betrachters mit einer Latenz von bevorzugt kleinergleich 5 ms in der Mixed-Reality Brille

darzustellen.

Ein medizinischer Roboter kann in das System integriert werden. Die Position der Messspitze des Roboters wird über das gegenständliche Kamerasystem erfasst, um die Gelenksstellungen des Roboters über inverse Kinematik zu detektieren und zu steuern. Die Steuerung des Roboters relativ zur Anatomie erfolgt dabei mit der guten Auflösung des Kamerasystems von bevorzugt

kleinergleich 250um im 3D-Raum. Die Erfindung wird an Hand von Zeichnungen veranschaulicht:

Fig. 1: veranschaulicht eine Anordnung von Kameras im Raum zur

Erfassung von Objekten.

Fig. 2: veranschaulicht die digitale Rekonstruktion von 2D

Markerpositionen aus Sicht der Kameras.

Fig. 3: veranschaulicht die digitale Rekonstruktion von

Objekten aufgrund von Point-Cloud Berechnungen.

Fig. 4: veranschaulicht schematisch ein erstes

erfindungsgemäßes Kamera- bzw. Positionserkennungssystem.

Fig. 5: veranschaulicht schematisch ein zweites

erfindungsgemäßes Kamera- bzw. Positionserkennungssystem.

Fig. 6: veranschaulicht schematisch ein drittes

erfindungsgemäßes Kamera- bzw. Positionserkennungssystem.

In Fig. 1 ist eine Anordnung von drei Kameras 1 im Raum veranschaulicht, welche Aufnahmen von Objekten 2, 3 und deren Umgebung machen. Ein erstes Objekt 2 ist mit Markern 4 versehen. Ein zweites Objekt 3 liegt ohne Marker 4 vor. Die Objekte 2, 3 sind auf einer Oberfläche 5 des Raumes angeordnet. Die Kameras 1 machen eine Reihe von Einzelaufnahmen, welche einer

Datenverarbeitungsanlage zugeführt werden. Die Kameras 1 weisen

seıte 19

jeweils eine Linse 60 auf, wobei bevorzugt um die Linse 60 mehrere Infrarotlichtquellen 70, insbesondere Infrarot-LEDs

angeordnet sind.

Erfindungsgemäß werden die Einzelaufnahmen in zumindest zwei unterschiedlichen Modi gemacht, welche sich zumindest in den Belichtungseinstellungen der Kameras 1 oder der

Infrarotlichtquellen 70 unterscheiden.

Fig. 2 veranschaulicht die rekonstruierten Markerpositionen aufgrund der Aufnahmen der Kameras in einem ersten Modus, hierin als Markermodus bezeichnet. Im Markermodus sind die Infrarotlichtquellen 70 an und leuchten mit einer ersten Intensität. Im Markermodus befindets sich ein optischer Filter vor der Linse, welcher Licht umfassend den Wellenlängenbereich der Infrarot-LEDs passieren lässt. Das Licht der Infrarot-LEDs wird von den kleinflächigen Markern reflektiert, wobei das reflektierte Licht von den Kameras 1 detektiert wird. Jede Kamera 1 übermittelt Einzelaufnahmen an eine Datenverarbeitungsanlage, wobei die Einzelaufnahmen jeweils wie in Fig. 2 dargestellt aussehen. Daher enthalten die Einzelaufnahmen lediglich die Information der Markerpositionen (X,Y Koordinaten) in der jeweiligen Einzelaufnahme. Der Hintergrund ist dabei schwarz bzw. so dunkel, dass aus den Einzelaufnahmen keine bzw. keine gut geeigneten Daten zum Hintergrund also zu Oberflächen des Raumes und von Gegenständen zur Verfügung stehen. Aufgrund des hohen Kontrasts zwischen Markern und Hintergrund lassen sich die Markerpositionen und

Durchmesser präzise bestimmen.

Alternativ kann eine erste Bildanalyse bereits in der Kamera 1 oder einem zwischen Kamera 1 und Datenverarbeitungsanlage befindlichem Gerät erfolgen, sodass nur die Koordinaten der Marker 4 in den Einzelaufnahmen an die Datenverarbeitungsanlage gesendet werden, was die zu übertragende Datenmenge reduziert. Die zwischen Kameras 1 und einer Datenverarbeitungsanlage übertragene Datenmenge ist im ersten Modus geringer als im

zweiten Modus. Der Rechenaufwand zur Bestimmung der

seıte 20

Markerpositionen des ersten Modus ist geringer als der

Rechenaufwand des Point-Cloud-Computing im zweiten Modus.

In einer Ausführungsvariante weisen die Kameras selbst jeweils eine Recheneinheit auf, welche Kameraeinstellungen und/oder eine Bildbearbeitung in Abhängigkeit vom jeweiligen Modus vornimmt. Die Kamera erhält in diesem Fall die Anweisung, in welchem Modus Aufnahmen zum J]Jeweiligen Zeitpunkt zu machen sind, bzw.

Anweisungen den Modus zu wechseln.

Aus den Koordinaten der Marker 4 in den Einzelaufnahmen von zumindest zwei Kameras 1 mit bekannter Anordnung und Ausrichtung im Raum kann die Position der Marker 4 im Raum bestimmt werden. Aufgrund einer bekannten Anordnung der Marker 4 am Objekt 2, kann aus den Markerpositionen die Position und Ausrichtung des

Objekts 2 im Raum ermittelt werden.

Fig. 3 veranschaulicht ein rekonstruiertes 3D Bild aufgrund der Aufnahmen der Kameras in einem zweiten Modus, hierin als Bildmodus bezeichnet. Auch in diesem Modus machen die Kameras 1 bevorzugt Einzelaufnahmen, welche an eine Datenverarbeitungsanlage übermittelt werden. Im Bildmodus leuchten die Infrarotlichtquellen 70 bevorzugt mit einer zweiten Intensität, welche unterschiedlich zur ersten Intensität ist. Im Bildmodus kann die Intensität höher sein, um den Raum so

intensiv wie möglich auszuleuchten.

Der optische Filter ist bevorzugt aus dem Bereich vor der Linse 60 weggeschwenkt, sodass das gesamte Lichtspektrum ohne

Abschwächung durch den optischen Filter an die Linse 60 gelangt.

Im zweiten Modus werden zusammengehörige Pixel von Oberflächen durch Bildanalyse identifiziert und deren Positionen in Einzelbildern von zumindest zwei Kameras 1 verglichen. Mit bekannter Anordnung und Ausrichtung der Kameras 1 im Raum kann die Position und Ausrichtung sämtlicher von den Kameras aufgenommenen Oberflächen im Raum bestimmt werden. Beispielsweise wird das Objekt 3 welches keine Marker 4 aufweist

im Bildmodus sichtbar, ebenso wie die Oberfläche 5, zumindest

seıte 21

soweit sie im Aufnahmebereich von zumindest zwei Kameras 1

liegt.

Das Objekt 2 mit den Markern 3 ist im Bildmodus ebenfalls sichtbar, wobei auch die Marker 3 im Bildmodus erkennbar sind. Die Marker 3 können dabei als 3D Objekte, bevorzugt in Form von Kugeln ausgeführt sein. Auch zweidimensionale Marker können im Bildmodus am Objekt erkannt werden, sofern sich diese im sichtbaren Licht von der Oberfläche unterscheiden, an welcher

sie angebracht sind.

Im zweiten Modus wird in den Aufnahmen ein guter Kontrast zwischen allen im Raum vorhandenen unterschiedlichen Oberflächen bevorzugt, was am besten bei vollen Lichtspektrum gegeben ist. Die Kamerabilder im zweiten Modus sind Grauwertbilder und/oder bevorzugt Farbbilder des Raumes, welche in dieser Form an eine

Datenverarbeitungsanlage übermittelt werden.

Die übermittelten Daten in beiden Modi enthalten zusätzlich zu den Bilddaten oder Markerkoordinaten eine Information zum Aufnahmezeitpunkt, wie beispielsweise einen digitalen Zeitstempel, sodass die zu einem Zeitpunkt entstandenen

Aufnahmen gemeinsam verarbeitet werden können.

Fig. 4 veranschaulicht schematisch ein erfindungsgemäßes System. Die Kameras 1 und/oder die Infrarotlichtquellen 70 (in Fig. 4 nicht dargestellt) erhalten Einstellungen von einer Kamerasteuerung 6. Die Einstellungen unterscheiden sich in den beiden Modi. Die Bildinformationen der Kameras 1 gelangen zu einem Switch 7, welcher die Aufnahmen oder Daten der beiden Modi unterschiedlichen Verarbeitungsprozessen zuführt. Die Informationen des ersten Modus liegen bevorzugt als 2DMarkerdatenstrom 8 vor, welcher vom Switch 7 einer 3D Rekonstruktion 9 zugeführt wird, um die 3D Position von markierten Gegenständen, insbesondere Instrumenten, aus den Markerpositionen zu ermitteln. Als 2D-Markerdatenstrom 8 ist die kontinuierliche Übermittlung von Informationen zu verstehen,

welche die Markerpositionen in den Abbildungen der Kameras 1

seıte 22

umfassen. Der 2D-Markerdatenstrom 8 kann in Form von Frames vorliegen, in welchen sich die Marker 3 deutlich vom Hintergrund abheben. Bevorzugt sind im 2D-Markerdatenstrom 8 die Koordinaten aller Marker im Bildbereich enthalten und bevorzugt auch der Durchmesser oder Radius dieser Marker. Bevorzugt sind ausschließlich diese Daten im 2D-Markerdatenstrom 8 enthalten. Die Koordinaten liegen bevorzugt als kartesische Koordinaten,

insbesondere als x-y Koordinaten vor.

Aufnahmen der Kameras 1 im zweiten Modus, dem Bildmodus, werden vom Switch 7 in Form von 2D Einzelaufnahmen 10 einer PointCloud-Verarbeitung 11 zugeführt, welche aus den Einzelaufnahmen

10 eine 3D Point Cloud (Dreidimensionale Punktwolke) berechnet.

Fig. 5 zeigt eine weitere Ausführungsvariante eines erfindungsgemäßen Systems. Die Komponenten 1 und 6 bis 11 sind Jene der Fig. 4. Das System der Fig. 4 ist um einen Kalibrierungsprozess ergänzt, in welchem intrinsische und extrinsische Parameter ermittelt werden, welche für die Kameraeinstellungen und/oder die Bildverarbeitung verwendet werden können. Wie in Fig. 5 veranschaulicht ist erhält die Kamerasteuerung 6 Markeraufnahmeeinstellungen 12 für den ersten Modus und Bildaufnahmeeinstellungen 13 für den zweiten Modus. Die Kamerasteuerung 6 steuert Kameraparameter ausgewählt aus der Gruppe von Kameraparametern umfassend: Belichtungsdauer; Blendeneinstellung; Leuchtstärke der Infrarotlichtquellen 70; Kameramodus; Aktivierung/Deaktivierung des IR-Filters. Bevorzugt erfolgt je nach Kameramodus eine Vorbearbeitung der Aufnahmen in den Kameras 1. Bevorzugt weisen die Kameras 1 einen Markerkameramodus auf, bei welchem als einzige Information die Markerpositionen in der Aufnahme und bevorzugt der jeweilige Markerdurchmesser an den Switch und somit als 2D-

Markerdatenstrom 8 bereitgestellt werden.

Ergänzt in Fig. 5 ist die Kamerakalibration 14, welchen zumindest einmal bei Errichtung des Systems oder bei jedem Neustart durchlaufen wird. Auch eine wiederholte

Kamerakalibration 14, während das System läuft, ist möglich. Aus

24 / 49 seıte 23

der Kamerakalibration 14 werden die Kameraparameter 15 erhalten, welche die intrinsischen Parameter der Kameras 1, wie insbesondere Linsenverzerrungen, umfassen und andererseits die extrinsischen Parameter der Kameras 1 umfassen, welche extrinsischen Parameter die Position und Ausrichtung der Kameras 1 im Raum umfassen. Die Kamerakalibration 14 erfolgt im Markermodus aus den Daten des 2D-Markerdatenstroms 8, wobei bei der Kamerakalibration 14 bevorzugt ein Objekt mit bekannter

Markeranordnung durch den Raum bewegt wird.

Sobald die Kalibrierung abgeschlossen ist, wird der 2DMarkerdatenstrom 8 für die Verarbeitung in der 3D Rekonstruktion 9 freigegeben. Sowohl die extrinsischen als auch die intrinsischen Parameter werden in der 3D Rekonstruktion 9 verwendet um die 3D-Markerpositionen aus dem 2D-Markerdatenstrom 8 zu ermitteln. Aus den 3D-Markerpositionen werden durch eine Instrumentenerkennung 19 die markierten Gegenstände erkannt und daraus als Ergebnis Marker und/oder Gegenstandspositionen

ermittelt.

Die extrinsischen Parameter und bevorzugt auch die intrinsischen Parameter werden in der Point-Cloud-Verarbeitung 11 verwendet um die Oberflächen von Objekten und des Raumes zu ermitteln. Die aus der Point-Cloud-Verarbeitung 11 resultierende 3D Point Cloud ist, aufgrund der bei der Kalibrierung im Markermodus exakt ermittelbaren extrinsischen und intrinsischen Parameter, exakter, als wenn die extrinsischen und intrinsischen Parameter

im Bildmodus ermittelt werden würden.

Die intrinsischen Parameter werden bevorzugt verwendet um bei den 2D Einzelaufnahmen 10 eine Linsenverzerrungskorrektur 16 vorzunehmen, welche bereits vor der Point-Cloud-Verarbeitung 11

erfolgen kann.

Die extrinsischen Parameter und/oder Daten aus den 2D Einzelaufnahmen 10 oder den bereits entzerrten 2D Einzelaufnahmen können zur Autobelichtungsberechnung 17

verwendet werden. Die Belichtungsberechnungen können für die

seıte 24

Markeraufnahmeeinstellungen 12 und/oder Bildaufnahmeeinstellungen 13 verwendet werden. Die Belichtungsberechnungen können für eine Helligkeitskorrektur 18

der 2D Einzelaufnahmen 10 verwendet werden.

Fig. 6 zeigt ein System basierend auf dem System der Fig. 5 wobei dieses um eine Erkennung von Kameraverschiebungen und eine Rekalibrierungsroutine ergänzt ist. Zusätzlich zur Hauptberechnung der 3D Rekonstruktion 9 aus den Daten aller Kameras 1 werden 3D Unterrekonstruktionen 20, 21, 22 durchgeführt, wobei für diese Berechnungen jeweils zumindest zwei Kameras 1 verwendet werden und wobei bei jeder dieser Berechnungen zumindest eine der Kameras 1 nicht einbezogen wird. Beispielsweise erfolgt in der 3D Unterrekonstruktion 20 eine 3D Markerpositionsbestimmung aufgrund der 2D-Markerdatenströme 8 der ersten und zweiten Kamera, währen bei der zweiten Unterrekonstruktion 21 eine 3D Markerpositionsbestimmung aufgrund der 2D-Markerdatenströme 8 der zweiten und dritten Kamera 1 erfolgt. Die Anzahl der Kameras 1 ist dabei nicht auf drei beschränkt. Die Anzahl der 3D Unterrekonstruktionen 20, 21, 22 beträgt zumindest die Anzahl der Kameras 1 minus eins, wobei

jede Kamera von zumindest einer Berechnung ausgeschlossen ist.

Aus den 3D Unterrekonstruktionen 20, 21, 22 werden Unterinstrumentenerkennungen 26 vorgenommen, wobei in einer Kameraverschiebungserkennung 27 festgestellt wird, sollten die Unterinstrumentenerkennungen 26 aus den Unterrekonstruktionen 20, 21, 22 unterschiedlicher Kamerapaare oder Kamerateilgruppen zueinander abweichen. Dabei wird festgestellt, bei Einbeziehung des 2D-Markerdatenstroms 8 welcher Kamera 1 es zu Abweichungen zu den anderen Unterinstrumentenerkennungen 26 kommt. Die Kameraverschiebungserkennung 27 deaktiviert die verschobene Kamera 1 oder unterbricht den 2D-Markerdatenstrom der verschobenen Kamera 1. Im Fall einer Deaktivierung werden die 2D Einzelaufnahmen 10 der verschobenen Kamera 1 auch nicht länger

der Point-Cloud-Verarbeitung 11 zugeführt. Alternativ kann auch

seıte 25

die Zuführung der Einzelaufnahmen 10 der verschobenen Kamera 1

an die Point-Cloud-Verarbeitung 11 unterbrochen werden.

Bevorzugt wird von der Kameraverschiebungserkennung 27 eine Kamerarekalibrierungsroutine gestartet, welche von der Kamerakalibration 14 ausgeführt werden kann. In zumindest einem Rekalibrierungsprozess 23, 24, 25 werden für die verschobene Kamera 1 die extrinsischen und/oder intrinsischen Parameter im Markermodus bzw. aus dem 2D-Markerdatenstrom 8 neu berechnet. Die neu berechneten extrinsischen und/oder intrinsischen Parameter werden in alle betroffenen Submodelle der 3D Unterrekonstruktionen 20, 21, 22 und das Hauptmodell der 3D Rekonstruktion 9 übernommen. Weiters werden die neu berechneten extrinsischen und/oder intrinsischen Parameter in das Modell der Point-Cloud-Verarbeitung 11 übernommen. Die Rekalibrierung von Kameras 1 der Point-Cloud-Verarbeitung 11 erfolgt somit

vorteilhaft im Markermodus.

Sowohl die 3D Unterrekonstruktionen 20, 21, 22 als auch im Bedarfsfall die Rekalibrierungsprozess 23, 24, 25 werden im ersten Modus mit einer geringeren Samplingrate durchgeführt als die 3D Rekonstruktion 9 aus den Daten aller bzw. aller nicht deaktivierten Kameras 1. Bevorzugt ist die Samplingrate der 3D Rekonstruktion 9 größer gleich 100 Hz, besonders bevorzugt größer gleich 150 Hz, beispielsweise 180 Hz. Bevorzugt ist die Samplingrate der 3D Unterrekonstruktionen 20, 21, 22 jeweils kleiner gleich 10 Hz, besonders bevorzugt kleiner gleich 5 Hz, beispielsweise 1 Hz. Bevorzugt verwenden alle 3D Unterrekonstruktionen 20, 21, 22 als Basis für die Unterinstrumentenerkennungen 26 und die Kameraverschiebungserkennung 27 die Daten der Kameras, welche zum selben Zeitpunkt aufgenommen wurden, wobei die 3D Unterrekonstruktionen 20, 21, 22 zeitlich parallel zueinander berechnet werden können. Bevorzugt ist die Samplingrate der Einzelaufnahmen 10 für die Point-Cloud-Verarbeitung 11 größer gleich 1 Hz, insbesondere größer gleich 10 Hz, insbesondere größer 100 Hz, besonders

bevorzugt größer gleich 150 Hz, beispielsweise 180 Hz.

seıte 26

Claims (25)

Ansprüche

1. Kamerasystem für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, dadurch gekennzeichnet, dass zumindest drei Kameras im Raum angebracht sind, welche in zumindest zwei unterschiedlichen Modi betrieben werden, wobei im ersten Modus zumindest eine Teilgruppe der Kameras mit Einstellungen betrieben wird, welche hinsichtlich der Positionsbestimmung von Markern besser geeignet sind und in einem zweiten Modus zumindest eine Teilgruppe der Kameras mit Einstellungen betrieben wird, welche hinsichtlich der Positionsbestimmung von Oberflächen des Raumes besser geeignet sind, jeweils bezogen auf den

anderen der beiden Modi.

2. Kamerasystem nach Anspruch 1, dadurch gekennzeichnet, dass stets zumindest eine Teilgruppe von Kameras, umfassend zumindest zwei Kameras, mit gleicher oder im Zeitverlauf unterschiedlicher Zusammensetzung von Kameras im ersten Modus

betrieben wird.

3. Kamerasystem nach einem der Ansprüche 1 und 2, dadurch gekennzeichnet, dass stets zumindest eine Teilgruppe von Kameras, umfassend zumindest zwei Kameras, mit gleicher oder im Zeitverlauf unterschiedlicher Zusammensetzung im zweiten

Modus betrieben wird.

4. Kamerasystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der erste Modus und der zweite Modus Jeweils mit einer Teilgruppe von Kameras betrieben wird, wobei sich die Zusammensetzung der Teilgruppen im Zeitverlauf

ändert.

5. Kamerasystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass eine Teilgruppe umfassend zumindest zwei Kameras gleicher oder im Zeitverlauf unterschiedlicher Zusammensetzung permanent in einem der beiden Modi betrieben wird, wobei der andere Modus in Zeitfenstern mit

dazwischenliegenden Pausen betrieben wird.

seıte 27

6. Kamerasystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in einem Zeitfenster alle Kameras in einem einzigen der beiden Modi betrieben werden und dazwischen im jeweils anderen Modus oder zeitgleich Je eine

Teilgruppe der Kameras in je einem der beiden Modi.

7. Kamerasystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Kamerasystem gemäß zumindest einer

der folgenden Varianten betrieben wird:

in der ersten Variante sind im Raum drei Kameras angebracht, wobei stets eine Teilgruppe von zwei Kameras im Markermodus ist, welche Teilgruppe im Zeitverlauf unterschiedlich zusammengesetzt ist und wobei eine der Kameras stets oder in Zeitfenstern mit dazwischenliegenden Pausen im Bildmodus ist, wobei sich im Zeitverlauf ändert, welche der Kameras im

Bildmodus ist;

in der zweiten Variante sind zumindest vier Kameras im Raum angebracht, wobei stets eine Teilgruppe von zumindest zwei Kameras im Markermodus ist, welche Teilgruppe im Zeitverlauf unterschiedlich zusammengesetzt ist, wobei zumindest eine der Kameras stets oder in Zeitfenstern mit dazwischenliegenden Pausen im Bildmodus ist, wobei sich im Zeitverlauf ändert, welche der Kameras im Bildmodus ist, oder zumindest zwei der Kameras stets oder in Zeitfenstern mit dazwischenliegenden Pausen im Bildmodus sind, wobei sich im Zeitverlauf ändert,

welche der Kameras im Bildmodus sind;

in der dritten Variante sind zumindest vier Kameras im Raum angebracht, wobei stets eine Teilgruppe von zumindest zwei Kameras im Markermodus ist, welche Teilgruppe im Zeitverlauf unverändert zusammengesetzt ist und wobei zumindest zwei der Kameras stets im Bildmodus sind, wobei sich im Zeitverlauf

nicht ändert, welche der Kameras im Bildmodus sind;

in der vierten Variante sind zumindest vier Kameras im Raum angebracht, wobei stets eine Teilgruppe von zumindest zwei

Kameras im Markermodus ist, welche Teilgruppe im Zeitverlauf

seıte 28

unverändert zusammengesetzt ist und wobei die Kameras der verbleibenden Teilgruppe, umfassend zumindest zwei Kameras,

zwischen Markermodus und Bildmodus wechseln.

8. Kamerasystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das System Infrarotlichtquellen umfasst, wobei diese in den zumindest zwei unterschiedlichen Modi mit

unterschiedlicher Intensität betrieben werden.

9. Kamerasystem nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Kameras mit einem optischen Filter ausgestattet sind, welcher Licht im Infrarotbereich passieren lässt und Licht anderer Wellenlängen abschwächt oder eliminiert, wobei der optische Filter im ersten Modus aktiv

ist und im zweiten Modus nicht aktiv ist.

10. Kamerasystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Aufnahmen der Kameras der einzelnen Modi unterschiedlich verarbeitet werden, wobei die Abbildungen im ersten Modus zur 3D Rekonstruktion der Positionen von Markern im Raum verwendet werden und wobei die Abbildungen der Kameras im zweiten Modus für 3D Point Cloud

Berechnungen verwendet werden.

11. Kamerasystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass in zumindest einem der beiden Modi, bevorzugt im ersten Modus, eine Kreuzvalidierung der Kameras

vorgenommen wird, um Kameraverschiebungen zu detektieren.

12. Kamerasystem nach Anspruch 11, dadurch gekennzeichnet, dass im Fall einer Kameraverschiebung die betroffene Kamera im

ersten Modus rekalibriert wird.

13. Kamerasystem nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Kamera-Kalibration im ersten Modus erfolgt, wobei die dabei ermittelten intrinsischen und extrinsischen Parameter verwendet werden, um eine Bildmaske für den zweiten Modus zu erstellen, welche die Bildintensität und/oder Grauwerte und/oder Farbwerte und/oder Helligkeit zusammengehöriger Pixel auf Bildern unterschiedlicher Kameras

seıte 29

angleicht, um eine möglichst hohe Übereinstimmung der Bilder

zu erhalten.

14. Kamerasystem nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass eine Validierung der extrinsischen Parameter der Kameras im ersten Modus erfolgt, wobei zu einem Zeitpunkt die Bilder einer Teilgruppe von Kameras zu einer ersten Ermittlung zumindest einer Markerposition und/oder Objektposition verwendet werden und die zum selben Zeitpunkt entstandenen Bilder einer zweiten Teilgruppe von Kameras unabhängig davon zu einer zweiten Ermittlung der zumindest einen Markerposition und/oder Objektposition verwendet werden und wobei eine Überprüfung vorgenommen wird, ob die ermittelten Markerpositionen und/oder Objektpositionen der ersten und zweiten Überprüfung untereinander oder mit

gespeicherten Werten übereinstimmen.

15. Kamerasystem für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, dadurch gekennzeichnet, dass zumindest drei Kameras im Raum angebracht sind, welche in zumindest zwei unterschiedlichen Modi betrieben werden, wobei eine Bestimmung der extrinsischen und intrinsischen Parameter der Kameras im ersten Modus vorgenommen wird, wobei diese aufgrund der Positionsbestimmung einer dem System bekannten Anordnung von zumindest drei Infrarot-Markern an einem Objekt erfolgt und wobei in einem zweiten Modus die Oberflächen des Raumes aus den Bilddaten der Kameras mit Einbeziehung der im ersten Modus ermittelten extrinsischen und intrinsischen Parameter der Kameras mittels Point-Cloud-Berechnungen ermittelt

werden.

16. Kamerasystem nach Anspruch 15, dadurch gekennzeichnet, dass eine Verschiebung von Kameras im ersten und/oder zweiten Modus detektiert wird und daraufhin im ersten Modus die extrinsischen Parameter und bevorzugt auch die intrinsischen Parameter einer verschobenen Kamera neu ermittelt werden und

aufgrund dieser neu ermittelten Parameter das

seıte 30

Berechnungmodell der Point-Cloud-Berechnungen aktualisiert

wird.

17. Kamerasystem für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, dadurch gekennzeichnet, dass zumindest drei Kameras im Raum angebracht sind, welche in zumindest zwei unterschiedlichen Modi betrieben werden, wobei im ersten Modus aus den Bildinformationen der Kameras die Positionsbestimmung von Infrarotmarkern vorgenommen wird und in einem zweiten Modus aus den Bildinformationen der Kameras die Positionsbestimmung von Oberflächen des Raumes vorgenommen wird, wobei jede Kamera einen aktivier- und deaktivierbaren optischen Filter aufweist, welcher sichtbares Licht stärker abschwächt als Infrarotlicht, wobei der optischen Filter im ersten Modus

aktiv ist und im zweiten Modus nicht aktiv ist.

18. Kamerasystem nach Anspruch 17, dadurch gekennzeichnet, dass der optische Filter im ersten Modus vor der Linse der Kamera platziert ist und im zweiten Modus aus dem Bereich vor der Linse entfernt ist oder die Lichtdurchlässigkeit des optischen Filters im Bereich des sichtbaren Lichts durch

Anlegen einer Spannung veränderbar ist.

19. Verfahren zur Erkennung von Positionsverschiebungen von Kameras eines Kamerasystems für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, wobei das System in zumindest einem ersten Modus betrieben wird, in welchem aus den Bildinformationen der Kameras die Positionsbestimmung von Infrarot-Markern vorgenommen wird und wobei das System in zumindest einem zweiten Modus betrieben wird, in welchem die Oberflächen des Raumes aus den Bilddaten der Kameras mit Einbeziehung der im ersten Modus ermittelten extrinsischen und intrinsischen Parameter der Kameras mittels Point-CloudBerechnungen ermittelt werden, wobei im Raum zumindest ein Gegenstand oder Instrument mit zumindest drei Infrarot-

Markern vorhanden ist, deren räumliche Anordnung zueinander

seıte 31

im System gespeichert ist, dadurch gekennzeichnet, dass im Raum zumindest drei Kameras angebracht sind, deren Bildinformationen des ersten Modus für eine Hauptberechnung der Gegenstands oder Instrumentenpositionen im Raum verwendet werden, wobei zudem Vergleichsberechnungen durchgeführt werden, für welche Vergleichsberechnungen nur die Bildinformationen einer Teilgruppe von Kameras verwendet werden und wobei in den Vergleichsberechnungen die räumliche Anordnung von zumindest zwei der besagten drei InfrarotMarker zueinander berechnet wird, wobei die Anzahl der Kameras der Teilgruppe zumindest zwei und maximal die Gesamtanzahl der Kameras minus ein beträgt, wobei eine Anzahl von unterschiedlichen Vergleichsberechnungen für Teilgruppen mit unterschiedlichen Zusammensetzungen vorgenommen werden, welche Anzahl der unterschiedlichen Vergleichsberechnungen zumindest gleich der Gesamtanzahl der Kameras minus ein ist und festgestellt wird, welche Ergebnisse der Vergleichsberechnungen von der gespeicherten Anordnung der besagen Marker abweichen und weiters festgestellt wird, welche der Kameras an allen abweichenden Ergebnissen

beteiligt ist.

20. Verfahren zur Erkennung von Positionsverschiebungen von Kameras eines Kamerasystems für chirurgische Navigationssysteme, umfassend mehrere in einem Raum angebrachte Kameras, wobei das System in zumindest einem ersten Modus betrieben wird, in welchem aus den Bildinformationen der Kameras die Positionsbestimmung von Infrarot-Markern vorgenommen wird und wobei das System in zumindest einem zweiten Modus betrieben wird, in welchem die Oberflächen des Raumes aus den Bilddaten der Kameras mit Einbeziehung der im ersten Modus ermittelten extrinsischen und intrinsischen Parameter der Kameras mittels Point-CloudBerechnungen ermittelt werden, wobei im Raum zumindest ein Gegenstand oder Instrument mit zumindest drei Infrarot-

Markern vorhanden ist, deren räumliche Anordnung zueinander

seıte 32

vom System berechenbar ist, dadurch gekennzeichnet, dass eine Anzahl von zumindest vier Kameras im Raum angebracht sind, deren Bildinformationen zusammen für eine Hauptberechnung einer Gegenstandsposition zumindest eines ersten Gegenstandes im Raum verwendet werden, wobei zudem Vergleichsberechnungen durchgeführt werden, für welche Vergleichsberechnungen nur die Bildinformationen einer Teilgruppe von Kameras verwendet werden und wobei in den Vergleichsberechnungen ebenfalls die Gegenstandsposition des ersten Gegenstands im Raum berechnet wird, wobei die Anzahl der Kameras der Teilgruppe zumindest zwei und maximal die Gesamtanzahl der Kameras minus ein beträgt, wobei eine Anzahl von unterschiedlichen Vergleichsberechnungen für Teilgruppen mit unterschiedlichen Zusammensetzungen vorgenommen werden, welche Anzahl der unterschiedlichen Vergleichsberechnungen zumindest gleich der Gesamtanzahl der Kameras ist und festgestellt wird, welche Ergebnisse der Vergleichsberechnungen von anderen Vergleichsberechnungen abweichen und weiters festgestellt wird, welche der Kameras an jenen Vergleichsberechnungen beteiligt ist, deren Ergebnisse von allen anderen

Vergleichsberechnungen abweichen.

21. Verfahren nach einem der Ansprüche 19 oder 20, dadurch gekennzeichnet, dass die verschobene Kamera, welche an allen abweichenden Ergebnissen beteiligt ist, aus der Hauptberechnung ausgeschlossen wird, wobei die Hauptberechnung mit reduzierter Kameraanzahl weiter

ausgeführt wird.

22. Verfahren nach einem der Ansprüche 19 bis 21, dadurch gekennzeichnet, dass für die verschobene Kamera, welche an allen abweichenden Ergebnissen beteiligt ist, zumindest die extrinsischen Parameter aufgrund der von den verbleibenden Kameras im ersten Modus ermittelten räumlichen Anordnung der besagten Marker neu berechnet und gespeichert werden, indem oder sodass die unter Einbeziehung der Bildinformationen der

verschobenen Kamera ermittelte räumliche Anordnung der

seıte 33

besagen drei Marker mit der von den verbliebenen Kameras berechneten räumlichen Anordnung der besagen drei Marker in

Übereinstimmung gebracht wird.

23. Verfahren nach einem der Ansprüche 19 bis 22, dadurch gekennzeichnet, dass im ersten Modus mit der Hauptberechnung der verbleibenden Kameras drei Marker eines beliebigen Gegenstandes oder Instruments eindeutig identifiziert werden, die räumliche Anordnung von zumindest zwei der drei Marker berechnet wird und dass für die verschobene Kamera, welche an allen abweichenden Ergebnissen beteiligt ist, zumindest die extrinsischen Parameter auf Basis der berechneten räumlichen Anordnung der besagten zwei Marker zueinander und der 2D Repräsentationen der Anordnung der besagten zwei Marker von zumindest einer der verbleibenden Kameras und der verschobenen Kamera neu berechnen berechnet und gespeichert werden, sodass die unter Einbeziehung der Bildinformationen der abweichenden Kamera ermittelte räumliche Anordnung der besagten Marker mit der Hauptberechnung der räumlichen Anordnung der besagen Marker in Übereinstimmung gebracht

wird.

24. Verfahren nach einem der Ansprüche 22 bis 23, dadurch gekennzeichnet, dass die neu berechneten und gespeicherten extrinsischen Parameter der verschobenen Kamera in das Berechnungsmodell der Hauptberechnung mit allen Kameras und in die Modelle der Vergleichsberechnungen mit Beteiligung der verschobenen Kamera übernommen werden und die Hauptberechnung

in Folge wieder mit allen Kameras ausgeführt wird.

25. Verfahren nach einem der Ansprüche 22 bis 24, dadurch gekennzeichnet, dass die neu berechneten und gespeicherten extrinsischen Parameter der verschobenen Kamera in das

Berechnungsmodell des zweiten Modus übernommen werden.

seıte 34