ES2292593T3 - Sistema de guiado. - Google Patents

Abstract

Un sistema de guiado para su uso por parte de un usuario que realiza una operación en una región tridimensional definida, incluyendo el sistema un aparato de procesamiento de datos para la generación de imágenes del sujeto (21) de la operación en co-registro con el sujeto (21), un visualizador (1) para la presentación de las imágenes al usuario, una sonda (9) que tiene una posición que es visible para el usuario, y una unidad (7) de rastreo para rastrear la posición de la sonda (9) por parte del sistema y transmitir esa posición al aparato de procesamiento de datos, que se caracteriza porque el aparato de procesamiento de datos está dispuesto de modo que, al mover el usuario la sonda (9) hasta una región de selección exterior a, y circundante de, la región definida, genera uno o más botones virtuales, estando cada uno de los botones asociado a una instrucción correspondiente para el sistema, el aparato de procesamiento de datos está dispuesto de modo que registra una selección realizada por el usuario de cualquiera de los botones virtuales, incluyendo la selección posicionar la sonda (9) con relación a la posición aparente de ese botón virtual, y modifica la imagen generada por ordenador en base a la selección.

Description

Sistema de guiado.

Campo de la invención

La presente invención se refiere a un sistema de guiado, más en particular, aunque no exclusivamente, a un sistema de navegación quirúrgico para ayudar a un cirujano a realizar una operación. La invención incluye además un procedimiento y un dispositivo para controlar a dicho sistema.

Antecedentes de la invención

Los sistemas de guiado por imagen, han sido ampliamente adoptados en neurocirugía y se ha demostrado que incrementan la precisión y reducen la invasividad de una amplia gama de procedimientos quirúrgicos. Normalmente, los sistemas quirúrgicos guiados por imagen ("Sistemas de Navegación"), están basados en una serie de imágenes construidas a partir de datos acumulados con anterioridad a la operación (por ejemplo mediante MRI o CT), que son registrados en relación con el paciente en el entorno físico por medio de un sistema de rastreo óptico. Para hacer todo esto, se sitúan marcadores de detección sobre la piel del paciente, y los mismos son correlacionados con sus duplicados visibles en los datos de formación de la imagen. Durante la operación quirúrgica, las imágenes son visualizadas en 3 planos ortogonales a través del volumen de imagen, mientras el cirujano sujeta una sonda que es rastreada por el sistema de rastreo. Cuando la sonda se introduce en el campo quirúrgico, la posición de la punta de la sonda se representa como un icono dibujado en las imágenes. Enlazando los datos de la imagen pre-operatoria con el espacio quirúrgico real, los sistemas de navegación proporcionan al cirujano información válida acerca de la localización exacta de una herramienta en relación con las estructuras circundantes, y ayudan a relacionar el estado intra-operatorio con la planificación pre-operatoria.

A pesar de esta aportación de soluciones, los sistemas de navegación actuales adolecen de varios inconvenientes.

En primer lugar, el cirujano necesita mirar al monitor del ordenador y fuera de la escena quirúrgica durante el procedimiento de navegación. Esto tiende a interrumpir el flujo de trabajo quirúrgico y, en la práctica, da con frecuencia como resultado que la operación sea un trabajo de dos personas, con el cirujano mirando a la escena quirúrgica a través del microscopio y con su ayudante mirando al monitor y haciéndole sugerencias.

En segundo lugar, la interacción con las imágenes durante la cirugía (por ejemplo, la conmutación entre CT y MRI, cambiando las ventanas de la pantalla, activando los marcadores o las estructuras segmentadas a partir de la fase de planificación, los ajustes de color y contraste), requiere la actuación de un teclado, de un ratón o de una pantalla táctil, lo que supone una distracción para el cirujano y resulta dificultoso debido a que el equipo necesita estar envuelto con una cobertura estéril. Aunque se han propuesto dispositivos de control de tipo sonda (véase Hinckley K, Pausch R, Goble C J, Kassel F, F: Un Examen de los Aspectos de Diseño en la Entrada de Datos Espaciales. Prácticas de ACM UIST'94 Simposio sobre Software & Tecnología de Interfaz de Usuario, pp. 213-222; y Mackinlay J, Card S, Robertson G: Movimiento Rápido Controlado a Través de un Espacio de Trabajo Virtual en 3D, Comp. Grap., 24 (4), 1990, 171-176), todos ellos tienen inconvenientes de uso.

En tercer lugar, un problema común a todos los sistemas de navegación actuales que presentan datos de formación de imagen como partición ortogonal en 2D, consiste en el hecho de que el cirujano tiene que relacionar la orientación espacial de las series de imágenes incluyendo su información en 3D reconstruida mentalmente respecto a la orientación de la cabeza del paciente, el cual está tapado durante la operación.

Un sistema que utiliza un aumento de la visualización mediante la combinación de la visión ocular directa del paciente con las imágenes generadas por ordenador, está siendo investigado actualmente (véase Blackwell M, O'Toole RV, Morgan F, Gregor L: Experimentos de Comportamiento y Precisión con sistemas de superposición de Imágenes en 3D y en 2D. Prácticas MRCAS 95, Baltimore, USA, 1995, pp. 312-317; y DiGioia, Anthony M., Branislav Jaramaz, Robert V. O'Toole, David A. Simon, y Takeo Kanade. Robótica Média y Cirugía Asistida por Ordenador en Ortopedia. En Tecnología Interactiva y Nuevo Paradigma para Cuidados Sanitarios, ed. K. Morgan, R.M. Stava, H.B. Sieberg, R. Mattheus, y J.P. Christensen, 88-90. IOS Press, 1995). En este sistema, una imagen invertida en un monitor al revés, se superpone sobre la escena quirúrgica con un espejo semi-transparente para combinar las imágenes. El usuario lleva un sistema de rastreo en la cabeza mientras mira al espejo, y el paciente está por debajo. Sin embargo, los autores informan sobre imprecisiones significativas entre el objeto virtual y el real.

Otros sistemas que actualmente están bajo investigación o en desarrollo, combinan las imágenes generadas por ordenador con el video de la escena quirúrgica obtenida a través de cámaras situadas en posiciones fijas del teatro de operaciones, o con un visualizador montado en la cabeza del usuario. La señal combinada se canaliza a continuación hacia el HMD ("Head Mounted Display", "Visualizador Montado en la Cabeza") de un usuario. Los tres ejemplos de proyectos de ese tipo han sido descritos por Fuchs H, Mark A, Livingston, Ramesh Raskar, D'nardo Colucci, Kurtis Keller, Andrei State, Jessica R. Crawford, Paul Rademacher, Samuel H. Drake, y Anthony A. Meyer, MD. Visualización de Realidad Aumentada para Cirugía Laparoscópia. Prácticas de la Primera Conferencia Internacional sobre Computación de Imagen Médica e Intervención Asistida por Ordenador (MICCAI 98), 11-13 de Octubre de 1998, Massachusetts Institute of Technology, Cambridge, MA, USA; Fuchs H, State A, Pisano ED, Garret WF, Gentaro Hirota, Mark A. Livingston, Mary C. Whitton, Pizer SM. (Towards) Realización de Biopsias de Aguja Guiada por Ultrasonidos desde dentro de un Visualizador Montado en la Cabeza. Prácticas de Visualización en Computación Biomédica 1996 (Hamburgo, Alemania, 22-25 de Septiembre de 1996), pgs. 591-600; y State, Andrei, Mark A. Livingston,
Gentaro Hirota, William F. Garrett, Mary C. Whitton, Henry Fuchs, y Etta D. Pisano (MD). Tecnologías para Sistemas de Realidad Aumentada: realización de Biopsias de Aguja Guiada por Ultrasonidos. Prácticas de SIGGRAPH 96 (Nueva Orleans, LA, 4-9 de Agosto de 1996), en Prácticas de Gráficos por Ordenador, Series de Conferencias Anuales, ACM SIGGRAPH, pgs. 439-446.

Otra técnica (descrita por Edwards PJ, Hawkes DJ, Hill DLG, Jewell D, Spink R, Strong A, Gleeson M: Realidad Aumentada en el microscopio estéreo para otorrinolaringología y Guía quirúrgica. Prácticas de MIRCAS 95, Baltimore, USA, 1995, pp. 8-15) utiliza un microscopio operatorio como dispositivo para visualizar la superposición de gráficos en 3D. Mediante "inyección de imagen" de estructuras estereoscópicas en los canales ópticos del microscopio, el cirujano ve la imagen superpuesta sobre la escena quirúrgica. La técnica superpone mallas simples con una resolución relativamente baja sobre la escena quirúrgica, sin proporcionar capacidades interactivas. Los autores informan de dificultades con relación a la percepción estereoscópica de los datos superpuestos con relación a la visión real.

La solicitud internacional WO 99/60529 describe un sistema de "Realidad virtual" en el que el espacio sensitivo del usuario se hace corresponder con el espacio del ordenador definido numéricamente.

El sistema de visualización comprende una unidad de visualización vertical y una superficie reflectante dispuesta entre un usuario y la unidad de visualización de modo que, en uso, se crea una imagen virtual de dicha unidad de visualización y una imagen presentada por la citada unidad de visualización, dentro de un espacio natural de trabajo de dicho usuario.

El sistema comprende además posicionar medios de detección (medios de transmisión y recepción) para detectar el movimiento percibido de dicha imagen virtual por el usuario, cuyo movimiento se transfiere al movimiento de dicha imagen mostrada por la unidad de visualización.

La Patente US núm. 5.662.111 describe un sistema para la determinación gráfica cuantitativa por ordenador de la posición de la anatomía de un paciente, y de las posiciones sobre el equipo asociado situado cerca de la anatomía del paciente en relación con los datos anatómicos, tal como con escaneo CT o MR. Se posicionan dos cámaras con respecto a la anatomía del paciente y al equipo asociado, de modo que los campos fuera de la visión de las cámaras son tomados desde diferentes direcciones. Los marcadores corporales se posicionan con respecto a la anatomía del paciente con anterioridad al escaneo de dicha anatomía del paciente para proporcionar datos de índice en los datos del escáner de imagen. Los datos son transformados y combinados para formar datos de visualización referenciados en las coordenadas de datos de escáner para proporcionar señales de visualización. Un visualizador de gráficos de ordenador es excitado con los citados datos de visualización combinados, para presentar simultáneamente una imagen actualmente representativa de dicho instrumento quirúrgico relacionado con la anatomía del paciente.

La Patente Europea núm. EP 607 000 describe un sistema de visualización estéreo rastreado de cabeza, para generar imágenes virtuales sobre una amplia gama de movimiento de cabeza del visor, para inter-mezclar luz del objeto virtual y del objeto real en una disposición natural. El sistema comprende un dispositivo de visualización para generar imágenes estéreo puestas a disposición por un medio ordenador acoplado a un espejo, de tal modo que el espejo transmite las imágenes estéreo a un visor. Un sistema de rastreo controla las posiciones del espejo para transmitir las imágenes estéreo hasta el visor, según se mueve el visor.

La Patente US núm. 5.729.475 describe un sistema óptico para vigilar la posición y la orientación de un objeto en un bastidor de referencia. El sistema incluye al menos cuatro sensores de luz, cada uno de los cuales produce una señal, un escáner óptico que escanea un volumen que contiene al objeto, un generador de señal, un temporizador, y un dispositivo de cálculo que calcula la posición y la orientación del objeto en base a los tiempos registrados por el temporizador y a las coordenadas de los sensores de luz.

Aunque sirvan como guía para el usuario, estas técnicas están todas limitadas en cuanto a aplicación y susceptibilidad de uso.

Sumario de la invención

La presente invención tiene como objetivo encarar al menos uno de los problemas mencionados en lo que antecede, y proponer nuevos y útiles sistemas de navegación, y procedimientos y dispositivos para controlarlos.

La presente invención está particularmente relacionada con un sistema que puede ser utilizado durante una operación quirúrgica. Sin embargo, la aplicabilidad de la invención no se limita a las operaciones quirúrgicas, y los sistemas y procedimientos que se discuten en lo que sigue pueden encontrar una utilización en el contexto de cualquier operación delicada, y por supuesto durante una etapa de planificación y también una etapa intra-operatoria.

La presente invención está motivada por la observación de que durante el procedimiento de navegación en una sala de operaciones quirúrgicas, resulta crítico estar en condiciones de interactuar de manera fácil y rápida con un sistema de navegación quirúrgica, por ejemplo para alterar el formato de las imágenes generadas por ordenador. Adicionalmente, sería ventajoso estar en condiciones de simular ciertos procedimientos quirúrgicos directamente en el lugar quirúrgico utilizando las imágenes generadas por ordenador.

En términos generales, la presente invención propone una sonda para ser sujetada por un usuario que realiza una operación (por ejemplo, una operación quirúrgica) dentro de una región definida, mientras que se emplea un sistema de guiado basado en imágenes que tiene un visualizador para la visualización de las imágenes generadas con ordenador (particiones en 3D y/o en 2D), del sujeto de la operación. La sonda tiene una posición que es rastreada por el sistema, y que es visible para el usuario (por ejemplo, debido a que el sistema permite que el usuario vea la sonda directamente, o alternativamente debido a que las imágenes generadas por ordenador incluyen un icono que representa su posición). Moviendo la sonda, el usuario está en condiciones de introducir información en el sistema para controlarlo, tal como provocar cambios en cuanto a la forma física del sujeto en la imagen representada por el ordenador.

La invención propone un sistema de guiado para su uso por parte de un usuario que realiza una operación en una zona tridimensional definida, incluyendo el sistema un aparato de procesamiento de datos para la generación de imágenes del sujeto de la operación en co-registro con el sujeto, un visualizador para la presentación de las imágenes al usuario, una sonda que tiene una posición que es visible para el usuario, y una unidad de rastreo para rastrear la posición de la sonda por parte del sistema, y transmitir esa posición al aparato de procesamiento de datos,

estando el aparato de procesamiento de datos dispuesto de modo que, al mover el usuario la sonda hasta una región de selección exterior a, y circundante de, la región definida, genera uno o más botones virtuales, estando cada uno de los botones asociado a una instrucción correspondiente para el sistema,

estando el aparato de procesamiento de datos dispuesto de modo que registra una selección realizada por el usuario de cualquiera de los botones virtuales, incluyendo esta selección el posicionamiento de la sonda con relación a la posición aparente de ese botón virtual, y modifica la imagen generada por ordenador sobre la selección.

La región definida se menciona como "caja de contorno", de modo que el usuario está en condiciones de visualizar las regiones virtuales mediante el movimiento de la sonda por fuera de la caja de contorno. Esto significa que la cantidad de movimiento que un usuario debe realizar para provocar que se muestren los botones, es baja.

Para indicar uno de los botones virtuales, el usuario puede mover la sonda hasta una posición del interior de ese botón virtual, pero más preferentemente puede alinear una dirección longitudinal de la sonda en la dirección del botón virtual deseado (por ejemplo, hacia el centro del botón con una tolerancia dada). Esta última posibilidad significa que la sonda solamente necesita ser movida ligeramente para indicar uno de los botones. Cuando se ha realizado este alineamiento para indicar uno de los botones, el usuario puede proporcionar un comando de confirmación separado (utilizando preferentemente un dispositivo separado de introducción de datos que no esté accionado por la mano del usuario, tal como un conmutador accionado con el pie), para confirmar la selección. Para ayudar al usuario a dirigir la sonda de manera precisa, se puede presentar una línea al usuario que se extienda desde la sonda, a lo largo de la dirección longitudinal. La sonda puede ser de una longitud predefinida, o tener una longitud controlada por el usuario (por ejemplo, de modo que el usuario no indique solamente un botón virtual mediante su dirección, sino también su distancia desde la sonda).

Más preferentemente, las imágenes generadas por ordenador se superponen sobre la imagen real del sujeto, y se presentan preferentemente en un visualizador estéreo semitransparente montado en la cabeza (HMD), para ser portado por un cirujano, de modo que vea las imágenes generadas por ordenador superponiéndose a la visión real del sujeto de la operación obtenidas a través del visualizador semitransparente (por ejemplo, oculares semitransparentes). El HDM es rastreado, y el ordenador genera imágenes basadas en este rastreo, de modo que según se mueve el cirujano, las imágenes reales y las generadas por el ordenador se mantienen en relación de correspondencia.

El sistema puede ser utilizado de dos maneras. En primer lugar, durante la cirugía macroscópica, el usuario mira a través del visualizador en modo semitransparente, y ve gráficos estereoscópicos de ordenador superpuestos al campo quirúrgico. Esto permitirá al cirujano ver "más allá de la línea normal de visión" con anterioridad a realizar una incisión, por ejemplo visualizar la posición de un tumor, la base del cráneo u otras estructuras objetivo.

En segundo lugar, para la cirugía microscópica, el mismo visualizador estéreo podrá ser sujetado a un microscopio estereoscópico (por ejemplo, en la parte superior del binocular del mismo), cuya posición es rastreada (como alternativa al seguimiento de los movimientos del usuario). Los gráficos de ordenador en el visualizador pueden ser enlazados con parámetros de aumento y de enfoque del microscopio rastreado, y por lo tanto reflejan una visión "virtual" en el campo quirúrgico.

Los datos en 3D presentados en el visualizador, pueden ser generados por ordenador mediante un paquete de planificación neuroquirúrgica computacional conocido como VizDexter, el cual fue previamente publicado bajo la denominación VIVIAN, y fue desarrollado por Volume Interactions de Singapur. VizDexter permite el empleo de imágenes multimodales (CT y MRI fusionadas) en el entorno de Realidad Virtual del "Dextroscope" (por ejemplo, según fue descrito por Kockro RA, Serra L, Yeo TT, Chumpon C, Sitoh YY, Chua GG, Ng Hern, Lee E, Lee YH, Nowinski WL, en: Simulación de Planificación de neurocirugía en un Entorno de Realidad Virtual, Revista de Neurocirugía 46(1), 118-137. 2000.9, y por Serra L, Kockro RA, Chua GG, Ng H, Lee E, Lee YH, Chan C, Nowinski W, en: Planificación de Neurocirugía de Tumor basada en Volumen Multimodal en el Banco de Trabajo Virtual, Prácticas de la Primera Conferencia Internacional sobre Computación de Imagen Médica e Intervención Asistida por Ordenador (MIC-CAI), Massachusetts, Institute of Technology, Cambridge, MA, USA, 11-13 de Octubre de 1998, pp.
1007-1016.

Breve descripción de las figuras

Una realización no limitativa de la invención va a ser descrita ahora a título de ejemplo únicamente, con referencia a las Figuras que siguen, en las que:

La Figura 1 muestra un sistema que constituye una realización de la presente invención en uso durante una operación quirúrgica;

la Figura 2 muestra la caja de contorno virtual y su relación en esta realización con la sonda y con el panel de control virtual;

la Figura 3 muestra el panel de control según es generado por la realización;

la Figura 4 ilustra un concepto de pequeños movimientos de muñeca que controlan los botones en un panel distante de la realización;

la Figura 5 muestra el uso de la sonda extensible virtual como herramienta de navegación en la realización, y

las Figuras 6a-6c muestran el uso de un taladro extensible virtual en una operación virtual que hace uso de la realización.

Descripción detallada de la realización

Con anterioridad a la realización de una operación quirúrgica con la utilización de la realización de la invención, el paciente es escaneado, tal como mediante escáneres CT y/o MRI estándar. La serie de imágenes así generadas se transfiere al entorno VR del Dextroscope, y los datos son co-registrados y mostrados a modo de objeto estereoscópico multimodal, de la manera que se ha descrito en las publicaciones que describen el Dextroscope relacionado con lo anterior. Durante la sesión de planificación en el Dextroscope, el usuario identifica estructuras quirúrgicas relevantes y las presenta como objetos en 3D (un proceso denominado segmentación). Adicionalmente, se pueden marcar puntos de referencia y trayectorias quirúrgicas. Con anterioridad a la operación real, los datos en 3D son transferidos al sistema de navegación de la OR ("sala de operaciones", también conocida como "teatro de operaciones").

El sistema que constituye una realización de la presente invención, ha sido mostrado esquemáticamente en la Figura 1, en la que los diversos elementos no han sido representados a escala. El sistema incluye un visualizador 1 LCD estéreo montado en la cabeza (HMD) (en la actualidad nosotros utilizamos un SONY LDI 100). El visualizador puede ser portado por un usuario, o alternativamente puede estar montado en, y conectado a, un microscopio 3 de operación soportado por una estructura 5. El sistema incluye además una unidad 7 de rastreo óptico, que rastrea la posición de una sonda 9, así como las posiciones del HMD 1 y del microscopio 3. Dicha unidad 7 de rastreo se encuentra disponible comercialmente (Northern Digital, Probes). El sistema incluye además un ordenador 11 que es susceptible de presentar gráficos estereoscópicos en tiempo real, y de transmitir las imágenes generadas con ordenador hasta el HDM 1, por medio del cable 13. El sistema incluye además un conmutador de pie 15, el cual transmite señales hasta el ordenador 11 por medio del cable 17. Además, las posiciones del microscopio 3 son transmitidas (como se discute en lo que sigue) hasta el ordenador 11 por medio de un cable 19. El sujeto de la operación ha sido mostrado como 21.

Nosotros hemos utilizado una unidad 7 de rastreo pasivo, la cual opera mediante la detección de tres marcadores esféricos reflectantes sujetados a un objeto. Conociendo y calibrando la forma de un objeto portador de los marcadores (tal como una sonda 9 en forma de lápiz), su posición exacta puede ser determinada en el espacio en 3D cubierto por las dos cámaras del sistema de rastreo. Con el fin de rastrear el visualizador 1 LCD, hemos sujetado tres marcadores a lo largo de su borde frontal superior (cerca de la frente de la persona que porta el visualizador). El microscopio 3 es rastreado mediante marcadores reflectantes, que están montados en una estructura de soporte realizada de la manera habitual, sujetos al microscopio 3 de tal modo que se proporciona una línea de visión libre para las cámaras del sistema de Navegación durante la mayor parte de los movimientos del microscopio. En la parte superior del binocular, una segunda estructura de soporte permite que visualizador 1 LCD pueda ser montado durante la cirugía microscópica. La unidad 7 de rastreo Polaris y el microscopio 3, comunican con el ordenador 11 a través de su puerto serie. Conectado a otro puerto del ordenador se encuentra el conmutador de pie 15, para su interacción con la interfaz virtual durante el procedimiento quirúrgico.

La cabeza del paciente 21 ha sido registrada respecto a los datos volumétricos pre-operatorios con la ayuda de marcadores (de referencia) de la piel que han sido pegados a la piel con anterioridad al procedimiento de obtención de imágenes, y que permanecen sobre la piel hasta que empieza la cirugía (normalmente se requiere un mínimo de seis referencias). Durante el procedimiento de planificación pre-operatoria en el Dextroscope, los marcadores son identificados y marcados. En el teatro de operaciones, se utiliza una sonda rastreada por el sistema de rastreo para indicar las referencias en el mundo real (sobre la piel) que correspondan a los marcados en las imágenes. Los datos en 3D son registrados a continuación respecto al paciente, utilizando un procedimiento de registro simple semiautomatizado. El procedimiento de registro produce una matriz de transformación que transforma el mundo virtual de modo que corresponda con el mundo real. Este procedimiento de registro es estándar en la mayor parte de los sistemas modernos de navegación neuroquirúrgica.

Tras completar la formación de la imagen en el procedimiento de registro del paciente, el cirujano se pone el HMD 1 y mira al paciente 21 a través de la pantalla semitransparente del visualizador 1, en la que se presenta la reconstrucción estereoscópica de los datos de formación de imágenes segmentadas. El cirujano percibe los datos en 3D para ser superpuestos directamente sobre el paciente real y, casi comparables con la capacidad de visión de los rayos X, las estructuras en 3D que aparecen dentro de la cabeza pueden ser vistas desde diferentes ángulos mientras el visor está cambiando de posición.

En primer lugar, vamos a explicar el uso del sistema sin el microscopio 3. Éste va a ser mencionado como "STAR" (See Through Augmented Reality, Ver a Través de una Realidad Aumentada). Visualizamos la proyección del ojo derecho y del izquierdo de la imagen estéreo generada en el ordenador 11, en el LCD derecho y en el izquierdo del HDM 1, respectivamente. Tras calibrar el tamaño de la cabeza del paciente y su distancia al HMD 1, el ordenador 11 genera una imagen que corresponde exactamente con la visión del cirujano del paciente 21 real, lo que permite al cirujano concebir la correspondencia exacta entre su concepto quirúrgico desarrollado durante la planificación, y el paciente 21 real. Teniendo a la vista la estructura de objetivo virtual, el cirujano está capacitado para elegir la incisión ideal de la piel, la craneotomía y la trayectoria hacia una lesión sin tener nunca que mirar hacia fuera de la escena de la cirugía. Las aplicaciones de STAR van más allá de la neurocirugía, por ejemplo en los campos de la cirugía cráneo-facial u ortopédica, en la que el trabajo de reconstrucción ósea puede ser llevado a cabo de una manera más precisa bajo el guiado virtual de datos en 3D aumentados, generados durante la sesión de planificación.

El usuario ve también la sonda virtual que corresponde a la sonda 9 real en forma de lápiz y rastreada, que está en la mano del cirujano. Con esta sonda, el usuario activa y controla una interfaz virtual en 3D, que permite la interacción con los datos en 3D. La propia sonda puede convertirse en una herramienta única de simulación y navegación, como se describe en lo que sigue.

Ahora vamos a volver a la navegación utilizando el microscopio 3, una fase citada aquí como MAAR (Microscope assisted augmented reality, Realidad aumentada asistida con microscopio). En esta fase de uso del sistema de la Figura 1, el HMD 1 está sujeto a la estructura 5 de soporte por encima del binocular del microscopio, y el modo de visión directa del HDM 1 es conmutado a desconexión, para dejar solamente las imágenes suministradas por el ordenador 11. Estas imágenes son una combinación de la salida de video estereoscópica del microscopio 3 (ambos canales derecho e izquierdo, transmitidos al ordenador 11 por medio del cable 16), así como también los datos de formación de imágenes en 3D segmentadas, estereoscópicas, generadas por el propio ordenador 11. Las imágenes son presentadas en el HDM 1, y su intensidad de señal respectiva es ajustable por medio de un mezclador de video. Con el fin de navegar por medio de los datos en 3D en el visualizador, los datos necesitan estar exactamente emparejados con la visión real a través del microscopio (o con su señal de video, respectivamente). Para hacer esto, el ordenador 11 emplea el conocimiento de las posiciones de la óptica del microscopio 3, para ayudar a generar los gráficos en 3D. Los valores de motor del microscopio para el zoom y el foco, son leídos desde el microscopio a través del puerto serie (interfaz RS232) y transmitidos al ordenador 11. A continuación, la amplificación real y el plano de enfoque son calculados utilizando fórmulas predefinidas. La posición y la orientación (postura) del microscopio, se obtienen a partir del sistema de rastreo óptico. El ordenador 11 genera entonces una imagen generada por ordenador que se empareja con la amplificación del microscopio, con el plano de enfoque, y con el punto de visión como imagen estereoscópica de los datos de formación de imágenes en 3D. Esta imagen se muestra en el HMD 1. Puesto que la imagen exacta se genera en-línea, utilizando las funciones de la óptica del microscopio, el cirujano puede variar convenientemente los valores de zoom y de enfoque intra-operatoriamente sin que se vea afectada la calibración de la cámara o el comportamiento del sistema. Puesto que el microscopio 3 es rastreado en tiempo real, el cirujano puede mover libremente el microscopio 3 con la finalidad de obtener diversos puntos de visión. Acoplando el plano de corte con el plano de foco del microscopio 3, el usuario puede seccionar a través de planos de datos de formación de imágenes virtuales en 3D, cambiando los valores de foco del microscopio.

Tanto en STAR como en MAAR, la interacción con los objetos virtuales es posible en tiempo real utilizando la sonda 9 rastreada, que es presentada como sonda virtual dentro de las imágenes generadas por ordenador presentadas al usuario por el HMD 1.

Obsérvese que aunque la invención ha sido explicada en lo que antecede en términos de imágenes que son alimentadas a un HMD 1 que es separable del microscopio 3, una alternativa dentro del marco de la invención consiste en superponer los datos en 3D generados por ordenador sobre la vista a través del microscopio 3, utilizando un sistema de "inyección" de imagen basado en LCD en los canales ópticos del microscopio. En ese caso, no hay necesidad de separar el HMD para realizar MAAR.

Durante el procedimiento de navegación, ya sea con MAAR o ya sea con STAR, el usuario ve los datos de formación de imágenes en 3D del paciente aumentados sobre la escena quirúrgica real. Especialmente debido a que los datos virtuales consisten normalmente en diferentes estudios de formación de imágenes y en sus segmentaciones en 3D (tal como tumores, vasos sanguíneos, partes de la base del cráneo, marcadores y puntos de referencia), el usuario necesita estar en condiciones de interactuar con los datos durante la operación con el fin de adaptarlos a las necesidades navegacionales. Se necesitan herramientas para, por ejemplo, ocultar/mostrar o para controlar la transparencia de los datos en 3D, para ajustar los planos de corte, para medir distancias o para importar datos. De acuerdo con la presente invención, el cirujano puede interactuar con el ordenador 11 de esta manera para modificar datos en 3D presentados en el HDM 1, utilizando solamente la sonda 9 en forma de lápiz rastreada pasivamente y el conmutador de pie 15, y de ese modo evitar el uso del teclado y del ratón en el OR.

Cuando el cirujano está moviendo la sonda rastreada cerca de la cabeza del paciente, la sonda 9 está dentro de una caja de contorno virtual, la cual hemos definido alrededor de la cabeza del paciente. Esta se ha ilustrado en la Figura 2(a). Las posiciones de los marcadores han sido mostradas como 25. La caja de contorno (que está en el espacio real, no en el espacio virtual) ha sido mostrada a puntos, rodeando la región de interés en la que se produce la cirugía. En esta situación, las imágenes generadas por ordenador muestran al usuario los datos de obtención de imágenes del sujeto. Además, una sonda virtual correspondiente a la sonda 9 se presenta en el HMD 1 en una posición correspondientemente realística respecto a los datos de formación de imágenes en 3D virtuales.

Cuando la sonda no es visible para el sistema de rastreo, es decir, sus marcadores reflectantes están ocultos o la misma se encuentra fuera del volumen de rastreo, la sonda virtual desaparece y el cirujano ve solamente los datos aumentados del paciente presentados en el HMD. Esto se muestra en la Figura 2(c).

Cuando el cirujano mueve la sonda 9 hacia fuera de la cabeza del paciente y hacia fuera de la caja de contorno virtual, pero la mantiene dentro de la visión del sistema de rastreo (como se muestra en la Figura 2(b)), el sistema de visualización conmuta la visualización de modo que el usuario solamente ve una imagen generada por ordenador que es un panel de control. El panel se ha mostrado en la Figura 3. La sonda 27 manual virtual es presentada a continuación con un rayo 29 que se dispara desde su punta, lo que hace que aparezca como una sonda láser virtual en el mundo virtual. Los botones 31 del panel de control pueden ser seleccionados apuntando el rayo virtual sobre los mismos. Una vez seleccionados, los botones pueden ser presionados (conmutados a ENCENDIDO/APAGADO) utilizando el conmutador de pie.

El panel de control se sitúa de tal modo que cuando se ve en estéreo, parece estar a una distancia cómoda de aproximadamente 1,5 m del usuario. La propia sonda 27 virtual refleja los movimientos de la sonda 9 real en la mano del cirujano de forma realística, lo que da de hecho como resultado que los botones virtuales del panel de control puedan ser apuntados con pequeños movimientos de muñeca.

Con las limitaciones espaciales de la sala de operaciones, especialmente mientras se opera con el microscopio de operaciones, el procedimiento de interacción descrito permite que el cirujano acceda de manera rápida y cómoda a una amplia gama de herramientas de navegación relacionadas. Dos factores son importantes: en primer lugar, el hecho de que el espacio virtual que activa el panel de control flotante, está rodeando la cabeza del paciente a una distancia media corta que puede ser alcanzada por el cirujano con un simple movimiento del brazo en cualquier dirección hacia fuera de la cabeza del paciente (mientras está aún visualizando el sistema de rastreo). El segundo factor importante consiste en el hecho de que una vez que el portaherramientas virtual se hace visible, todas sus herramientas pueden ser activadas mediante pequeños movimientos de muñeca en vez de movimientos más grandes en el aire que podrían entrar en conflicto con el equipo de OR circundante. Esto es importante debido a que permite al cirujano navegar de forma cómoda, incluso con sus brazos apoyados, mientras mira los datos en el visualizador sin necesidad de controlar visualmente los movimientos de su mano, y de ese modo sin mucha distracción respecto al trabajo operatorio. Este efecto ha sido ilustrado en la Figura 4, la cual muestra un rayo que se dispara desde la punta de la sonda.

Dentro del panel de interfaz virtual, el cirujano tiene acceso a una serie de funcionalidades para modificar la representación de los datos, tales como:

\bullet

Ocultar/Mostrar las diversas modalidades de formación de imágenes y/o los objetos en 3D. La operación en tejido blando, por ejemplo, hace que sea necesario conmutar sobre algunas segmentaciones derivadas de MRI (o los propios planos MRI originales), mientras que las estructuras derivadas de CT necesitan ser conmutadas durante los trabajos óseos.

\bullet

Cambiar la apariencia de los datos a mono-planares/tri-planares/volumen en 3D completo.

\bullet

Enlazar los datos de formación de imágenes con la sonda o con el microscopio. Esto significa que el plano de corte en-línea (si los datos aparecen como volumen en 3D), el mono plano o el punto central de la imagen tri-planar, pueden ser enlazados ya sea con el plano focal del microscopio o ya sea con la sonda virtualmente extensible (descrita en lo que sigue) que puede ser llevada al campo operatorio.

\bullet

Activar la sonda virtual y su extensión virtual, y la característica de retracción para controlar las herramientas de simulación intra-operatoria del tipo de un taladro virtual y una herramienta restauradora, herramientas de medición o herramientas para simular la retracción tisular o la colocación de grapas (véase 2.6).

\bullet

Activar una tabla de ajuste de color y de transparencia.

\bullet

Conmutar entre los sistemas MAAR y STAR.

\bullet

Activar herramientas para importar y registrar datos de formación de imágenes intra-operatorias, es decir, ultrasonidos en 3D.

Nosotros hemos desarrollado un procedimiento para transformar la sonda virtual en una herramienta, lo que permite que se pueda navegar por algunas etapas quirúrgicas y que sean simuladas mientras interactúan con los datos aumentados directamente dentro de la cavidad quirúrgica.

En primer lugar, vamos a describir la novedosa función de navegación de la realización. Si los datos volumétricos en 3D se enlazan con la sonda (seleccionándolos en el portaherramientas virtual, véase lo que antecede), se genera un plano de corte perpendicular a la dirección de la punta de la sonda. Cuando el cirujano lleva la sonda hasta la escena quirúrgica, y presiona el conmutador de pie, la línea que se extiende desde la sonda es alargada virtualmente y el plano se mueve hacia fuera de la punta de la sonda (seccionamiento directo de los datos del paciente) para emparejarse con la longitud de la línea mientras el conmutador de pie se mantiene presionado. Una vez que se libera el conmutador de pie, el plano permanece en la última posición. Cuando se presiona el conmutador de pie la siguiente vez, la línea se acorta y el plano se mueve correspondientemente hacia la punta de la sonda, hasta que se suelta el conmutador de pie. De esta manera, el plano de corte puede ser movido hacia dentro y hacia fuera presionando alternativamente el conmutador de pie y las diversas partes de los datos pueden ser examinados. En cada etapa, el ordenador 11 genera datos basados en el plano de corte, por ejemplo como seccionamiento monoplano del sujeto de la operación. La longitud de la extensión de la sonda virtual se muestra en-línea, para permitir la medición de las distancias en cuanto a la profundidad de la cavidad operatoria. Si se eligen los datos de modo que aparezcan como monoplano, este plano aislado es también perpendicular a la sonda y puede ser movido hacia dentro y hacia fuera de la misma forma. Si los datos aparecen en modo tri-planar (es decir, como tres planos ortogonales que se encuentran en el origen), el origen tri-planar se enlaza con la sonda extensible.

Alternativamente, y opcionalmente, los datos generados por el ordenador 11 pueden ser enlazados también con las posiciones del microscopio y en este caso el plano de corte se sitúa en el plano de foco del microscopio. Este plano puede ser movido a continuación mediante la extensión de la línea procedente de la sonda y/o utilizando el botón de enfoque del microscopio.

La Figura 5 muestra una imagen generada por ordenador que combina tres tipos de tejido. Un hueso que se ha reconstruido volumétricamente a partir de datos de Tomografía Computarizada (CT), ha sido mostrado en color blanco y etiquetado como CT. Los datos de Angiografía (MRA), que muestran los vasos sanguíneos, se presentan en la imagen con un segundo color tal como rojo (negro en la imagen). Los datos de Resonancia Magnética (MRI) muestran el tejido blando (en gris), y aparecen en modo monoplanar en un plano perpendicular a la sonda virtual. La imagen generada por ordenador del MRI se ha cortado al ser enlazada con el plano focal del microscopio. Extendiendo la sonda virtualmente, el plano MRI se mueve en la profundidad del campo operatorio, y el usuario puede examinar la extensión espacial de una lesión (en este caso, un schwannoma yugular).

Esta herramienta puede ser utilizada también para proporcionar al cirujano la distancia en-línea con los puntos de referencia quirúrgicamente importantes colocados durante la etapa de planificación (típicamente hasta tres o cuatro). Durante la navegación, se muestra una línea coloreada de forma única desde la punta de la sonda hasta cada punto de referencia, y la distancia desde cada punto de referencia se presenta a continuación respecto a cada línea. Esta visualización de los puntos de referencia puede ser llevada a CONEXIÓN/DESCONEXIÓN utilizando el panel de control flotante.

En segundo lugar, vamos a describir la novedosa función de simulación que puede ser llevada a cabo con la utilización de la presente realización. La herramienta de taladro virtual consiste en una esfera virtual que está sujeta a la sonda virtual y que actúa como un taladro cuando se introduce en los datos virtuales aumentados, mediante la eliminación de vóxeles (píxeles en 3D) en tiempo real. El taladro esférico es virtualmente extensible y retraíble al presionar alternativamente el conmutador de pie como se ha descrito en lo que antecede, cambiando con ello la longitud de una línea dibujada de modo que se extiende entre la sonda y el taladro esférico. El cirujano puede taladrar de ese modo en cualquier punto moviendo la sonda manual. La combinación de imágenes reales y de las generadas por ordenador vistas por un usuario, se ha mostrado en la Figura 6, en cuya Figura 6a se muestra la imagen virtual de un cráneo de un paciente junto con la herramienta virtual, la Figura 6b muestra el cráneo real del paciente con el lápiz real en la mano del cirujano que apoyaría en este caso con su punta sobre el hueso real o ligeramente por encima, y la Figura 6c muestra la visualización por parte del usuario a través del visualizador montado en la cabeza del usuario, en la que la imagen virtual de la Figura 6a se ha superpuesto sobre, y está en co-registro con, la imagen real de la Figura 6b, y en la que la cavidad visible en el hueso virtual ha sido taladrada con la esfera extensible de eliminación de vóxeles.

El sistema incluye además una "herramienta restauradora" que trabaja de una manera similar a la herramienta taladradora, salvo en que restaura los vóxeles que fueron eliminados por la herramienta taladradora.

La herramienta de simulación intra-operatoria proporcionada por esta realización es especialmente útil durante el minucioso trabajo óseo en la base del cráneo. La misma permite al cirujano simular extracción ósea a lo largo de diversas direcciones utilizando los datos de CT en 3D supuestos de manera exacta. La trayectoria de taladrado óptima en relación con las estructuras circundantes, puede ser explorada y ensayada virtualmente con anterioridad a que se lleve a cabo el trabajo real. Durante el taladrado real, los datos taladrados virtualmente superpuestos pueden ser seguidos de manera exacta. Además del taladrado, la sonda virtual extensible que se ha descrito puede ser utilizada también para simular otras operaciones quirúrgicas, tal como para retraer tejido blando o colocar grapas o tornillos óseos virtualmente sobre los datos sobrepuestos con anterioridad a hacerlo realmente durante la cirugía. Ésta puede ser vista en general como una herramienta, lo que permite que los datos en 3D aumentados sean examinados y manipulados correctamente en el sitio quirúrgico, con el fin de realizar la posterior etapa quirúrgica real de una manera más precisa y segura.

Aunque la invención ha sido explicada en lo que antecede con referencia únicamente a una sola realización, diversas modificaciones son posibles dentro del marco de la invención como podrán entender claramente los expertos. Por ejemplo, es posible, aunque no preferible, omitir la representación de la línea procedente del visualizador de la Figura 6, mostrando solamente la herramienta y la sonda; la línea podría incluso existir conceptualmente, sin embargo, como la distancia controlable entre la sonda y la herramienta en la dirección longitudinal de la herramienta.

Claims (11)

1. \global\parskip0.900000\baselineskip

   1. Un sistema de guiado para su uso por parte de un usuario que realiza una operación en una región tridimensional definida, incluyendo el sistema un aparato de procesamiento de datos para la generación de imágenes del sujeto (21) de la operación en co-registro con el sujeto (21), un visualizador (1) para la presentación de las imágenes al usuario, una sonda (9) que tiene una posición que es visible para el usuario, y una unidad (7) de rastreo para rastrear la posición de la sonda (9) por parte del sistema y transmitir esa posición al aparato de procesamiento de datos,

   que se caracteriza porque el aparato de procesamiento de datos está dispuesto de modo que, al mover el usuario la sonda (9) hasta una región de selección exterior a, y circundante de, la región definida, genera uno o más botones virtuales, estando cada uno de los botones asociado a una instrucción correspondiente para el sistema,

   el aparato de procesamiento de datos está dispuesto de modo que registra una selección realizada por el usuario de cualquiera de los botones virtuales, incluyendo la selección posicionar la sonda (9) con relación a la posición aparente de ese botón virtual, y modifica la imagen generada por ordenador en base a la selección.
2. 2. Un sistema de acuerdo con la reivindicación 1, en el que el aparato de procesamiento de datos está dispuesto de modo que genera imágenes del sujeto (21) de la operación superpuestas sobre el sujeto.
3. 3. Un sistema de acuerdo con la reivindicación 1 o la reivindicación 2, en el que el posicionamiento de la sonda (9) incluye alinear un eje longitudinal de la sonda (9) con el botón.
4. 4. Un sistema de acuerdo con la reivindicación 3, en el que el aparato (11) de cálculo está dispuesto, mientras se están mostrando los botones virtuales, de modo que incluye en la imagen una línea que se extiende desde la sonda (9) a lo largo de su eje longitudinal.
5. 5. Un sistema de acuerdo con cualquiera de las reivindicaciones anteriores, en el que el visualizador (1) está adaptado para ser montado en la cabeza de un usuario, estando el usuario en condiciones de ver al sujeto (21) de la operación a través del visualizador (1), de modo que ve la imagen generada por ordenador superpuesta sobre la verdadera imagen del sujeto de la imagen, vigilando la unidad (7) de rastreo la posición del visualizador (1) y transmitiendo la posición detectada del visualizador (1) hasta el aparato de procesamiento, el cual se ha dispuesto para modificar la imagen generada por ordenador de acuerdo con la posición del visualizador (1) para mantener la imagen generada por ordenador y la imagen real estereoscópicamente en relación de correspondencia.
6. 6. Un sistema de acuerdo con cualquier reivindicación anterior, en el que el visualizador (1) está adaptado para ser montado en un microscopio (3), estando el usuario capacitado para ver la imagen de microscopio a través del visualizador (1), de modo que ve la imagen generada por ordenador superpuesta a la imagen de microscopio, vigilando la unidad (7) de rastreo la posición del microscopio (3) y transmitiendo la posición detectada del microscopio hasta el aparato de procesamiento, el cual se ha dispuesto para modificar la imagen generada por ordenador de acuerdo con la posición del microscopio (3) con el fin de mantener la imagen generada por ordenador y la imagen real estereoscópicamente en relación de correspondencia.
7. 7. Un procedimiento para su uso por parte de un usuario que interactúa con uno o más objetos reales en una región tridimensional definida con guiado desde un sistema de guiado de imagen, para modificar la imagen presentada al usuario por el sistema de guiado de imagen, incluyendo el sistema un aparato de procesamiento de datos para generar imágenes de los objetos reales en co-registro con los objetos reales, un visualizador (1) para la presentación de las imágenes al usuario, una sonda (9) que tiene una posición que es visible para el usuario, y una unidad (7) de rastreo para rastrear la posición de la sonda (9) por parte del sistema y transmitir esa posición al aparato de procesamiento de datos, incluyendo el procedimiento:

   mover por parte del usuario la sonda (9) hasta una región de selección exterior a, y circundante de, la región definida, registrando el aparato de procesamiento de datos la posición de la sonda (9) en el interior de la región de selección, y generando con ello dentro de la imagen uno o más botones virtuales, estando cada uno de los botones asociado a una instrucción correspondiente para el sistema,

   seleccionar por parte del usuario uno de los botones, incluyendo la selección el posicionamiento de la sonda (9) en relación con la posición aparente del botón virtual, y

   registrar la selección en el aparato de procesamiento de datos, y modificar la imagen generada por ordenador en base a la instrucción correspondiente.
8. 8. Un procedimiento de acuerdo con la reivindicación 7, en el que el procesamiento de los datos genera imágenes del sujeto (21) de la operación, superpuestas al sujeto.
9. 9. Un procedimiento de acuerdo con la reivindicación 7, en el que, mientras el aparato de procesamiento de datos presenta los botones virtuales, presenta además una línea que se extiende desde la sonda (9) a lo largo de un eje longitudinal de la misma, incluyendo el posicionamiento de la sonda alinear el eje longitudinal de la sonda (9) con el botón.

   \global\parskip1.000000\baselineskip

10. 10. Un procedimiento de acuerdo con cualquiera de las reivindicaciones 7 a 9, en el que el visualizador (1) se monta en la cabeza de un usuario, estando el usuario capacitado para ver al sujeto de la operación a través del visualizador (1), de modo que ve la imagen generada por ordenador superpuesta a la verdadera imagen del sujeto de la imagen, vigilando la unidad (7) de rastreo la posición del visualizador (1) y transmitiendo la posición detectada del visualizador (1) hasta el aparato de procesamiento, el cual modifica la imagen generada por ordenador de acuerdo con la posición del visualizador (1) para mantener la imagen generada por ordenador y la imagen real estereoscópicamente en relación de correspondencia.
11. 11. Un procedimiento de acuerdo con cualquiera de las reivindicaciones 7 a 9, en el que el visualizador (1) se monta en un microscopio (3), estando el usuario en condiciones de ver la imagen de microscopio a través del visualizador (1), de modo que ve la imagen generada por ordenador superpuesta a la imagen de microscopio, vigilando la unidad de rastreo la posición del microscopio y transmitiendo la posición detectada del microscopio (3) al aparato de procesamiento, el cual modifica la imagen generada por ordenador de acuerdo con la posición del microscopio (3) para mantener la imagen generada por ordenador y la imagen real estereoscópicamente en relación de correspondencia.