ES2372705T3 - Detección automática de una herramienta quirúrgica en una imagen proporcionada por un sistema médico de formación de imagenes. - Google Patents
Detección automática de una herramienta quirúrgica en una imagen proporcionada por un sistema médico de formación de imagenes. Download PDFInfo
- Publication number
- ES2372705T3 ES2372705T3 ES07731640T ES07731640T ES2372705T3 ES 2372705 T3 ES2372705 T3 ES 2372705T3 ES 07731640 T ES07731640 T ES 07731640T ES 07731640 T ES07731640 T ES 07731640T ES 2372705 T3 ES2372705 T3 ES 2372705T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- projection
- incision
- tool
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional [3D] objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Dispositivo de detección de una herramienta quirúrgica (94, 95) en una imagen (106), pasando dicha herramienta quirúrgica por una incisión (92, 93) practicada a nivel de la piel (14) o de un órgano de un paciente, comprendiendo el dispositivo: un medio de memorización (28) de parámetros de forma de la herramienta quirúrgica; un medio de determinación (28) de la posición de la proyección (O1, O2) de la incisión en el plano de la imagen (PI); y un medio de análisis (28) de la imagen para detectar, teniendo en cuenta los parámetros de forma y de la posición de la proyección de la incisión, unos puntos y/o rectas característicos (D1, D1', D2, D2', M1, M2, S1, S2) de la proyección de la herramienta quirúrgica sobre la imagen.
Description
Detección automática de una herramienta quirúrgica en una imagen proporcionada por un sistema médico de formación de imágenes.
Campo de la invención
La presente invención se refiere a las intervenciones quirúrgicas asistidas por ordenador en las que el cirujano practica la intervención con la asistencia de imágenes proporcionadas por un sistema médico de formación de imágenes. La presente invención se refiere más particularmente a la detección automática de herramientas quirúrgicas en las imágenes proporcionadas por el sistema médico de formación de imágenes.
Exposición de la técnica anterior
Durante una intervención quirúrgica celioscópica, la cavidad abdominal de un paciente se infla con ayuda de dióxido de carbono. Se realizan unas incisiones de pequeñas dimensiones en la pared abdominal y se introduce un trócar en cada incisión. El número de incisiones depende del tipo de intervención contemplada y varía en general de 2 a 5. Cada trócar corresponde a un tubo hueco y estanco en el que es susceptible de deslizarse una herramienta quirúrgica. Un endoscopio y unas herramientas quirúrgicas se introducen en la cavidad abdominal por medio de los trócares. La imagen proporcionada por el endoscopio es captada por una cámara y presentada sobre una pantalla de visualización. En el curso de la intervención quirúrgica, un asistente desplaza el endoscopio según las instrucciones dadas por el cirujano. Con ayuda de la imagen de vídeo proporcionada por la cámara unida al endoscopio, el cirujano manipula las herramientas quirúrgicas en la cavidad abdominal según la intervención a realizar.
Una ventaja de una intervención quirúrgica celioscópica es que es poco traumatizante para el paciente, puesto que las incisiones practicadas son de dimensiones reducidas. Sin embargo, el cirujano no ve directamente los extremos de las herramientas quirúrgicas situadas en la cavidad abdominal y dispone solamente de la imagen de vídeo proporcionada por la cámara unida al endoscopio para practicar la intervención. Por tanto, una intervención quirúrgica celioscópica requiere una gran experiencia por parte del cirujano.
Pueden utilizarse sistemas de posicionamiento para desplazar el endoscopio en lugar de un asistente. Se trata, por ejemplo, del sistema de posicionamiento comercializado por la sociedad Computer Motion bajo la denominación Aesop o del sistema de posicionamiento comercializado por la sociedad Armstrong Healthcare bajo la denominación EndoAssist. Tales sistemas de posicionamiento pueden ser controlados por el cirujano por medio de una interfaz hombre/máquina, por ejemplo un pedal, un sistema de control vocal o un sistema de control basado en la detección de los movimientos de cabeza del cirujano. A título de ejemplo, después de órdenes vocales tales como “a la izquierda”, “a la derecha”, “hacia arriba”, “hacia abajo”, el sistema de posicionamiento puede desplazar el extremo del endoscopio en la cavidad abdominal respectivamente hacia la izquierda, hacia la derecha, hacia arriba o hacia abajo.
Un inconveniente de dichos sistemas de posicionamiento es que sólo están generalmente disponibles unas órdenes elementales correspondientes a unos desplazamientos simples del endoscopio. El cirujano debe proporcionar entonces frecuentes órdenes de desplazamiento al sistema de posicionamiento del endoscopio, por ejemplo para seguir los desplazamientos de una herramienta quirúrgica particular, mientras manipula simultáneamente las herramientas quirúrgicas, lo cual demuestra ser muy exigente. Sería deseable poder controlar los desplazamientos del sistema de posicionamiento del endoscopio según instrucciones más complejas. Por ejemplo, sería ventajoso que el cirujano pudiera designar una herramienta quirúrgica particular, lo cual implicaría el desplazamiento automático del endoscopio hacia la herramienta designada. El cirujano sólo tendría entonces que dar regularmente nuevas órdenes de desplazamiento al sistema de posicionamiento del endoscopio y podría dedicarse plenamente a la intervención. Para la ejecución de dichas órdenes de desplazamiento, una posibilidad consiste en determinar automáticamente las posiciones de las herramientas quirúrgicas en la imagen de vídeo proporcionada por la cámara unida al endoscopio. El sistema de posicionamiento del endoscopio puede controlarse entonces de forma automática a partir de las posiciones determinadas de las herramientas quirúrgicas y, por ejemplo, de una orden inicial del cirujano.
La publicación de Wei et al. titulada “Real-Time Visual Servoing for Laparoscopic Surgery. Controlling Robot Motion with Color Image Segmentation” IEEE Engineering in Medecine and Biology, páginas 40-45, 1997, describe un procedimiento de control de los desplazamientos de un sistema de posicionamiento de endoscopio a partir de la determinación de la posición de una herramienta quirúrgica en una imagen de vídeo, en el que la herramienta lleva un marcador de color. La detección del marcador de color permite la determinación de la herramienta sobre la imagen de vídeo. Un inconveniente de dicho procedimiento es que es necesario modificar la herramienta quirúrgica para aplicarle un marcador de color, lo cual presenta un coste importante. Además, la detección de la herramienta es imposible en cuanto el marcador de color asociado ya no es visible en la imagen del vídeo.
La publicación de Doignon et al. titulada “Real-time segmentation of surgical instruments inside the abdominal cavity
E07731640 25-11-2011
using a joint hue saturation color feature”, Real-Time Imaging, Vol. 11, pags. 429-442, 2005; y la publicación de Windisch et al. titulada “Bayesian Differentiation of Multi-scale Line-Structure for Model-Free Instrument Segmentation in Thoracoscopic Images”, Proc Second Intl. Conf. on Image Analysis and Recognition, Lecture Notes in Computer Science, Vol. 3656, pag. 938, 2005, describen otros métodos de análisis que pretenden detectar una herramienta quirúrgica en una imagen. No obstante, estos métodos implican cálculos particularmente complejos.
Sumario de la invención
La presente invención pretende evitar la totalidad o parte de los inconvenientes citados anteriormente.
Más particularmente, la presente invención se refiere a un procedimiento y a un dispositivo de detección de herramientas quirúrgicas en imágenes proporcionadas por un sistema médico de formación de imágenes que no necesiten ninguna modificación de las herramientas quirúrgicas utilizadas de forma clásica durante una intervención quirúrgica.
Según otro objeto de la presente invención, la detección de las herramientas quirúrgicas se realiza en tiempo real.
Para alcanzar estos objetivos, la presente invención prevé un dispositivo de detección de una herramienta quirúrgica en una imagen, pasando dicha herramienta quirúrgica por una incisión practicada a nivel de la piel o de un órgano de un paciente, comprendiendo el dispositivo un medio de memorización de parámetros de forma de la herramienta quirúrgica; un medio de determinación de la posición de la proyección de la incisión en el plano de la imagen; y un medio de determinación de puntos y/o rectas característicos de la proyección de la herramienta quirúrgica sobre la imagen a partir de los parámetros de forma y de la posición de la proyección de la incisión.
Según un ejemplo de realización de la presente invención, el dispositivo comprende unos medios de adquisición de una primera y una segunda imagen de la incisión; unos medios de determinación de una primera posición de un punto de la proyección de la incisión sobre la primera imagen y una segunda posición de dicho punto sobre la segunda imagen; y unos medios de determinación de la posición de dicho punto con respecto al paciente a partir de la primera y de la segunda posición.
Según un ejemplo de realización de la presente invención, la herramienta quirúrgica tiene una forma alargada, correspondiendo los bordes laterales de la proyección de la herramienta en el plano de la imagen a rectas, estando el medio de determinación de los puntos y/o rectas característicos está adaptado para determinar un conjunto de píxeles de la imagen tal que, para cada píxel del conjunto de píxeles, el gradiente de una función que depende del color del píxel es superior a un umbral; y para seleccionar cada píxel para el cual la recta que pasa por el píxel y perpendicular al gradiente pasa a nivel de la proyección de la incisión en el plano de la imagen.
Según un ejemplo de realización de la presente invención, el medio de determinación de los puntos y/o rectas característicos está adaptado para determinar el eje de simetría de la proyección de la herramienta quirúrgica sobre la imagen a partir de los píxeles seleccionados; para determinar los píxeles del eje de simetría que pertenece a la proyección de la herramienta sobre la imagen; y para determinar el píxel del eje de simetría correspondiente al extremo de la herramienta.
Según un ejemplo de realización de la presente invención, el medio de determinación de puntos y/o rectas característicos está adaptado para determinar, de entre los píxeles seleccionados, el conjunto de píxeles tales que, para cada par de píxeles del conjunto de píxeles, la mediatriz del par pasa a nivel de la proyección de la incisión en el plano de la imagen; para clasificar las mediatrices en grupos de mediatrices adyacentes; y para determinar el eje de simetría a partir del grupo de mediatrices que contiene el número más grande de mediatrices.
Según un ejemplo de realización de la presente invención, el medio de determinación de puntos y/o rectas característicos está adaptado para atribuir a cada píxel del eje de simetría una clase de color entre una primera o una segunda clase de color; para seleccionar un primer grupo de píxeles adyacentes que contiene el número más grande de píxeles adyacentes de la primera clase de color y un segundo grupo de píxeles adyacentes que contiene el número más grande de píxeles adyacentes de la segunda clase de color; y para seleccionar, de entre el primero o el segundo grupo de píxeles, el grupo de píxeles más próximo a la proyección de la incisión en el plano de la imagen.
La presente invención prevé asimismo un dispositivo de control de un sistema de posicionamiento de un medio de adquisición de imágenes de un paciente a nivel del cual se ha practicado al menos una incisión para el paso de una herramienta, comprendiendo el dispositivo de control un medio de suministro de instrucciones emitidas por un usuario; un dispositivo de detección tal como el definido anteriormente; y un medio de suministro de señales de control al sistema de posicionamiento a partir de los puntos y/o rectas característicos de la herramienta quirúrgica proporcionados por el dispositivo de detección y de las instrucciones proporcionadas por el medio de suministro de instrucciones.
Según un ejemplo de realización de la presente invención, el medio de adquisición de imágenes comprende un
E07731640 25-11-2011
endoscopio y una cámara.
La presente invención prevé asimismo un procedimiento de detección de una herramienta quirúrgica en una imagen, pasando dicha herramienta por una incisión practicada a nivel de la piel o de un órgano de un paciente, comprendiendo el procedimiento las etapas que conssten en memorizar parámetros de forma de la herramienta quirúrgica; determinar la posición de la proyección de la incisión en el plano de la imagen; y determinar puntos y/o rectas característicos de la proyección de la herramienta quirúrgica sobre la imagen a partir de los parámetros de forma y de la posición de la proyección de la incisión.
Según un ejemplo de realización de la presente invención, la herramienta quirúrgica tiene una forma alargada, correspondiendo los bordes laterales de la proyección de la herramienta en el plano de la imagen a unas rectas, comprendiendo el procedimiento además las etapas que consisten en determinar un conjunto de píxeles de la imagen tal que, para cada píxel del conjunto de píxeles, el gradiente de una función que depende del color del píxel es superior a un umbral; y en seleccionar cada píxel para el cual la recta que pasa por el píxel y perpendicular al gradiente pasa a nivel de la proyección de la incisión en el plano de la imagen.
Breve descripción de los dibujos
Estos objetos, características y ventajas, así como otros de la presente invención se expondrán con detalle en la descripción siguiente de un ejemplo particular hecha a título no limitativo en relación con las figuras adjuntas, entre las cuales:
la figura 1 representa de forma esquemática un ejemplo de realización de un dispositivo de control de un sistema de posicionamiento de un endoscopio utilizando el procedimiento de detección de herramientas quirúrgicas según la invención;
la figura 2 representa de forma esquemática un ejemplo de realización del sistema de posicionamiento de la figura 1;
la figura 3 ilustra la relación entre la posición de un punto del espacio y la proyección de este punto sobre el plano de imagen de una cámara;
la figura 4 representa un ejemplo de etapas del procedimiento de detección de herramientas quirúrgicas según la invención; y
la figura 5 ilustra de forma esquemática el principio del procedimiento de detección de herramientas quirúrgicas según la invención.
Descripción detallada
Por motivos de claridad, se han designado los mismos elementos con las mismas referencias en las diferentes figuras.
La presente invención se basa en el hecho de que para ciertas intervenciones quirúrgicas, por ejemplo una celioscopia, la introducción de material quirúrgico a nivel de una vértebra, etc., se introduce una herramienta quirúrgica en el cuerpo del paciente por medio de una incisión de pequeñas dimensiones. Por tanto, la presente invención prevé detectar dicha herramienta quirúrgica en las imágenes proporcionadas por un sistema médico de formación de imágenes considerando que la herramienta pasa necesariamente por la incisión, cuya posición se puede determinar previamente, y que la forma de la herramienta es conocida. Esto permite facilitar la detección de la herramienta en las imágenes de modo que se pueda realizar una detección de forma automática y en tiempo real.
La figura 1 representa un ejemplo de realización de un dispositivo 5 de control de un sistema de posicionamiento 10 de un endoscopio 12 utilizando el procedimiento de detección de herramientas quirúrgicas según la invención. Para una celioscopia, el sistema de posicionamiento 10 es colocado sobre el abdomen 14 de un paciente cuya cavidad abdominal se ha llenado de gas. El sistema de posicionamiento 10 mantiene un trócar 15 que contiene el endoscopio 12 y que penetra en la cavidad abdominal por medio de una incisión 16. Una cámara 17 está fijada al extremo del endoscopio 12 en el exterior de la cavidad abdominal. El sistema de posicionamiento 10 es del tipo que permite un desplazamiento del trócar 15 y del endoscopio 12 según un cierto número de grados de libertad, por ejemplo un grado de libertad de traslación y dos grados de libertad de rotación.
Las imágenes captadas por la cámara 17 son transmitidas a un sistema de adquisición de imágenes 20 adaptado para presentar las imágenes de vídeo sobre una pantalla de visualización 22. El sistema de adquisición 20 está unido a una tarjeta de adquisición 24 por medio de una conexión 26, por ejemplo un cable S-VIDEO. La tarjeta de adquisición 24 está unida a un módulo de tratamiento 28, por ejemplo un ordenador, por medio de una conexión 29, por ejemplo un cable Fire-Wire (cable IEEE 1394). La tarjeta de adquisición 24 realiza un tratamiento previo de las imágenes de vídeo que son transmitidas al módulo de tratamiento 28. El módulo de tratamiento 28 está adaptado, como se explicará con más detalle a continuación, para analizar las imágenes de vídeo a fin de detectar la presencia
E07731640 25-11-2011
de herramientas quirúrgicas en las imágenes.
Por otra parte, el módulo de tratamiento 28 está adaptado para transmitir órdenes de desplazamiento a una caja de control 30 por medio de una conexión 32. La caja de control 30 está adaptada para traducir las órdenes de desplazamiento transmitidas por la conexión 32 en señales de control del sistema de posicionamiento 10 y para transmitir las señales de control al sistema de posicionamiento 10 por medio de una conexión 34. El cirujano puede activar o desactivar la caja de control 30 por medio de un pedal 36. Además, el cirujano puede proporcionar instrucciones al módulo de tratamiento 28 por medio de una interfaz hombre/máquina 38 que puede comprender un sistema de control vocal y/o un sistema de detección de los movimientos de la cabeza del cirujano.
La figura 2 representa un ejemplo de realización más detallado del sistema de posicionamiento 10. Se trata, por ejemplo, del sistema de posicionamiento descrito en la publicación WO 03/094759 a nombre de PRAXIM. El endoscopio 12 tiene el aspecto de un tubo cilíndrico de eje 0 de unos cuarenta centímetros de longitud y algunos centímetros de diámetro. El eje 0 corresponde, por ejemplo, al eje óptico del endoscopio 12 y de la cámara 17. La cámara 17 no está representada en la figura 2.
El sistema de posicionamiento 10 comprende una base sustancialmente plana 40 que incluye una parte central plana y anular 41, que rodea la incisión 16, desde la cual se extienden cuatro brazos 42. El sistema de posicionamiento 10 puede fijarse por unas correas unidas al brazo 42. La base 40 puede pegarse asimismo sobre el abdomen 14 del paciente. Un anillo fijo 43 está dispuesto sobre la base anular 41. El anillo fijo 43 es solidario a la base 41. Un anillo móvil 44 de eje (Oz), sustancialmente perpendicular al plano tangente al abdomen 14 a nivel de la incisión 16, está montado en rotación sobre el anillo fijo 43 alrededor del eje (Oz). El anillo fijo 43 comprende un dentado periférico, no representado, en su cara lateral exterior.
Un estribo 46 está montado con pivotamiento sobre al anillo móvil 44 según un eje sustancialmente perpendicular al eje (Oz) e incluido en el plano tangente al abdomen 14 a nivel de la incisión 16. El trócar 15 se mantiene en el estribo 46 por una brida de fijación 48, por ejemplo atornillada sobre el estribo 46, que permite una conexión y una separación simples y rápidas del trócar 15 y del estribo 46. El trócar 15 comprende una protuberancia 50 situada en el lado de la brida de fijación 48 opuesto a la parte central 41. La protuberancia 50 puede representar unas empuñaduras, unas válvulas de estanqueidad, unos conectores, etc. Los diámetros interiores del anillo móvil 44 y de la parte central anular 41 se eligen para permitir la retirada del sistema 10 durante una intervención sin desplazar el trócar 15 o bien para permitir la retirada del trócar 15 del abdomen del paciente sin desplazar el sistema 10.
Un primer motor eléctrico 56 destinado a poner en rotación el anillo móvil 44 con respecto al anillo fijo 43 está montado solidario al anillo móvil 44 por medio de una pletina 58. El primer motor 56 está unido a la caja de control 30, no representada en la figura 2. Una rueda dentada, no visible en la figura 2, accionada por el árbol del primer motor 56 engrana con el dentado del anillo fijo 43. La puesta en rotación de la rueda dentada por el primer motor 56 provoca la puesta en rotación del anillo móvil 44 con respecto al anillo fijo 43 alrededor del eje (Oz).
Un segundo motor eléctrico 60 está fijado al estribo 46, en el lado del estribo 46 opuesto a la brida de fijación 48, por medio de una pletina 62. El árbol, no visible en la figura 2, del segundo motor 60 está orientado según el eje de pivotamiento del estribo 46. La pletina 62 comprende una abertura que permite el paso del árbol del segundo motor 60, no visible en la figura 2. El segundo motor 60 está unido a la caja de control 30. Un elemento de accionamiento 64 comprende un arco circular 66 cuyos extremos están unidos por una porción rectilínea 68 fijada al anillo móvil 44. El elemento de accionamiento 64 se extiende sustancialmente en un plano perpendicular al plano que contiene el anillo móvil 44. El eje del arco circular 66 corresponde al eje de pivotamiento del estribo 46. La pared lateral del arco circular 66 enfrentada a la porción rectilínea 68 comprende un dentado (no representado). El árbol del segundo motor 60 soporta una rueda dentada (no representada) que coopera con el dentado del arco circular 66 de forma que, cuando la rueda dentada es puesta en rotación por el segundo motor 60, el estribo 46 sea accionado en pivotamiento con respecto al anillo móvil 44.
El extremo libre del endoscopio 12 comprende un tope cilíndrico 70 desde donde se proyecta un espolón 72. Un resorte de compresión 74 se apoya por un extremo sobre el tope cilíndrico 70 y por el extremo opuesto sobre la protuberancia 50 del trócar 15. Un tercer motor eléctrico 76 está fijado al estribo 46, al lado del segundo motor 60, por medio de una pletina 78. La pletina 78 comprende una abertura 80 que permite el paso del árbol, no visible en la figura 2, del tercer motor 76. El árbol del tercer motor 76 está orientado según el eje de pivotamiento del estribo 46. El tercer motor 76 está unido a la caja de control 30. Un cilindro de arrollamiento 82 está dispuesto en el extremo libre del árbol del tercer motor 76. Un roscado helicoidal (no representado) está formado en la cara exterior del cilindro de arrollamiento 82. Un cable 84 está unido a los extremos al espolón 72 y al cilindro 82 y se enrolla alrededor del cilindro 82. Cuando el tercer motor 76 acciona el cilindro 82 en rotación, el cable 84 se enrolla alrededor del cilindro 82 y se aproxima al tope cilíndrico 70 del trócar 15. El endoscopio 12 se desliza entonces en el trócar 15 según el eje 0 y comprime el resorte 74. Cuando ya no se acciona el tercer motor 76, el resorte 74 se expande y devuelve al endoscopio 12 a una posición de reposo. Un brazo portador, orientado por el cirujano antes del comienzo de la operación, puede estar previsto para soportar el sistema de posicionamiento 10 y evitar que la totalidad del peso del sistema de posicionamiento 10 sea aplicada sobre el paciente.
El sistema de posicionamiento 10 anteriormente descrito permite desplazar el endoscopio 12 según dos grados de libertad de rotación y un grado de libertad de traslación a partir de unas señales de control proporcionadas por la caja de control 30 a los motores eléctricos 56, 60, 76.
5 Se disponen unos trócares suplementarios 90, 91 a nivel de incisiones 92, 93 de pequeñas dimensiones practicadas en la pared abdominal 14 del paciente. Los trócares suplementarios 90, 91 permiten la introducción de herramientas quirúrgicas 94, 95, parcialmente representadas en la figura 2, en la cavidad abdominal.
En la siguiente descripción, se denomina RO (O, x, y, z) a una referencia, por ejemplo ortonormalizada, cuyo origen O corresponde, por ejemplo, al “punto fijo” del sistema de posicionamiento 10, es decir, el punto de intersección entre el eje de rotación del anillo móvil 44 y el eje de rotación del estribo 46. Los ejes (Ox) y (Oy) corresponden a dos ejes perpendiculares entre ellos y perpendiculares al eje (Oz), que, como se ha descrito anteriormente, es perpendicular a la pared abdominal 14 a nivel de la incisión 16. La referencia RO se considera como fija con respecto al paciente en el curso de la intervención quirúrgica. En funcionamiento, la cámara 17 y el endoscopio 12 son fijos,
15 una con respecto a otro. Se denomina C a un punto fijo con respecto a la cámara 17, situada sobre el eje 0, a una distancia r del punto O. El ángulo S corresponde al ángulo entre el eje 0 y el eje (Oz), y el ángulo < corresponde al ángulo entre la proyección del eje 0 en el plano (Oxy) y el eje (Ox). Las coordenadas del punto C en la referencia RO son (rsenScos<, rsenSsen<, rcosS).
eeeSe denomina R (C,) a la referencia esférica asociada al punto C. La referencia R es una referenciafija CC,,rθϕ con respecto a la cámara 17. Se anotan (X, Y, Z) las coordenadas de un punto P cualquiera expresadas en la referencia R y (l, m, n) las coordenadas del punto P expresadas en la referencia R. Antes de la intervención OCquirúrgica, se prevé una etapa de contrastado o calibrado del sistema de posicionamiento 10 que consiste en determinar la matriz de paso que permite obtener las coordenadas (l, m, n) del punto P a partir de las coordenadas 25 (X, Y, Z) y la relación entre las órdenes de desplazamiento proporcionadas por el módulo de tratamiento 28 a la caja S<de control 30 y la evolución de los parámetros r, . En el curso de la intervención quirúrgica, el módulo de y tratamiento 28 se adapta entonces para determinar en cualquier momento la posición de la referencia R conCrespecto a la referencia R a partir de las órdenes de desplazamiento proporcionadas a la caja de control 30. Es Oobvio que las referencias R y R podrían definirse de manera diferente con respecto a lo que se ha descrito OCanteriormente. La única condición es que la referencia R pueda considerarse como fija con respecto al paciente en Oel curso de la invención, que la referencia R pueda considerarse como fija con respecto a la cámara en el curso de Cla intervención y que se pueda determinar en cualquier instante la posición de la referencia R con respecto a la Ccámara estenopeica(cámara pinhole).Dicho modelo de cámara sedescribe,por ejemplo,en la obratitulada“Three Dimensional Computer Vision – A Geometric Viewpoint” de Olivier Faugeras, serie: Artificial Intelligence, the MIT press, Cambridge, Massachussets, ISBN 0-262-06158-9 (Capítulo 3). La cámara 17 puede representarse entonces por un centro de proyecciónF y un plano de imagen PI. El plano de imagen PI corresponde al plano en el cualse forman las imágenes captadas por la cámara 17 y transmitidas al sistema de adquisición 20. El plano de imagen PI y el centro de proyección F son fijos con respecto a la referencia R. Un punto P cualquiera del espacio se proyecta en C
referencia RO.
35 En la figura 3 se han representado de forma esquemática las referencias RO y RC cuyos orígenes O y C están situados sobre el eje óptico 0 del endoscopio 12. Se considera que la cámara 17 funciona según un modelo de
el plano de imagen PI para formar un punto I. Se asocia al plano de imagen PI una referencia de dos dimensiones
RO (O’, eu, ev), en la que O’ corresponde, por ejemplo, al punto del plano de imagen PI sobre el eje óptico 0 y se
45 denomina (u, v) a las coordenadas del punto I en la referencia RO’.
Antes de la intervención quirúrgica, se prevé una etapa de contrastado o calibrado de la cámara 17. Esto consiste en definir la matriz de paso que permite obtener las coordenadas (u, v) del punto I expresadas en la referencia RO a partir de las coordenadas (l, m, n) del punto P expresadas en la referencia RC. Según el modelo pinhole, el punto I corresponde al punto de intersección entre el plano de imagen P y la recta que pasa por el punto P y el centro de proyección F. La matriz de paso se obtiene a partir de las coordenadas del punto F y la ecuación del plano de imagen PI expresadas en la referencia RC y que dependen de las características técnicas de la cámara 17 utilizada. Pueden utilizarse otros modelos de cámara.
55 Después de las etapas de contrastado del sistema de posicionamiento 10 y de la cámara 17, el módulo de tratamiento 28 puede determinar, para un punto P cuyas coordenadas (X, Y, Z) en la referencia fija RO se han determinado previamente y memorizado a nivel del módulo de tratamiento 28, las coordenadas (u, v) del punto I, proyección del punto P en el plano de imagen PI, cualquiera que sea la posición de la cámara 17 en la referencia RO.
La figura 4 ilustra las etapas de un ejemplo de procedimiento de detección, según la invención, de herramientas quirúrgicas en una imagen proporcionada por la cámara 17 utilizada por el módulo de tratamiento 28.
Se supone que el cirujano ha practicado las incisiones 16, 92, 93 en la pared abdominal 14 del paciente, ha colocado los trócares 15, 90, 91 en las incisiones correspondientes, ha introducido el endoscopio 12 en el trócar 15 y
E07731640 25-11-2011
ha dispuesto el sistema de posicionamiento 10 sobre la pared abdominal 14 del paciente. Por otra parte, se han realizado las etapas de contrastado del sistema de posicionamiento 10 y de la cámara 17. Además, se ha memorizado a nivel del módulo de tratamiento 28 un identificador, por ejemplo un número, para cada par incisiónherramienta. Finalmente, el radio de cada herramienta 94, 95, supuesto cilíndrico, se memoriza a nivel del módulo de tratamiento 28.
En la etapa 100 se determinan las posiciones, en la referencia RO, de las incisiones 92, 93. Para cada incisión 92, 93 se determina la posición de un punto situado sustancialmente en el “centro” de la incisión, o punto de inserción, en la referencia RO. La determinación de las posiciones de los puntos de inserción se puede realizar mediante cualquier procedimiento. A título de ejemplo, para cada incisión 92, 93, el cirujano puede ordenar el desplazamiento de la cámara 17 para obtener dos imágenes de la incisión 92, 93 en posiciones diferentes de la cámara 17. Para cada imagen obtenida, el cirujano puede indicar al módulo de tratamiento 28 la posición de la proyección del punto de inserción sobre la imagen presentada en la pantalla 22 por medio de la interfaz 38, es decir, indicar la posición de la proyección del punto de inserción en la referencia RO. A título de ejemplo, el cirujano puede desplazar un marcador sobre la imagen presentada en la pantalla 22 hasta la posición de la proyección del punto de inserción. A partir de las posiciones de las proyecciones del punto de inserción sobre dos imágenes diferentes, el módulo de tratamiento 28 puede determinar la posición del punto de inserción en la referencia RO. Esto puede realizarse según el procedimiento descrito en la publicación titulada “Reconstruction d’une arborescence spatiale à partir d’un nombre minimal de projections: application à l’angiographie numériséé des structures vasculaires”, memoria de tesis de Eric Coste para el grado de doctor en prodúctica, automática e informática industrial de la universidad de ciencias y tecnologías de Lille (1996), en particular capítulo 1, sección III y anexo 4. La etapa 100 se repite para cada incisión 92, 93. El procedimiento de determinación de los puntos de inserción descrito con anterioridad es particularmente ventajoso en la medida en que no necesita ningún instrumento suplementario con respecto a los que se utilizan de forma clásica en el curso de la intervención quirúrgica. Según otro procedimiento de determinación de los puntos de inserción, la posición de cada punto de inserción en la referencia RO puede obtenerse por medio de un palpador cuya posición en la referencia RO es proporcionada por un sistema de localización. La posición de cada punto de inserción en la referencia RO se memoriza a nivel del módulo de tratamiento 28. La intervención quirúrgica propiamente dicha empieza entonces y el procedimiento continúa en la etapa 102.
En la etapa 102, el módulo de tratamiento 28 recibe, por medio del sistema de adquisición 24, una imagen proporcionada por la cámara 17.
La figura 5 representa de forma esquemática una imagen 106 tal como la presentada sobre la pantalla 22. El trazo continuo 106 corresponde al límite físico de la imagen proporcionada por la cámara 17. Por tanto, la imagen 106 corresponde a una parte del plano de imagen PI de la cámara 17. Cada imagen está compuesta por una matriz de píxeles. A título de ejemplo, se ha representado un píxel Pix en forma de una porción cuadrada de la imagen 106. El procedimiento continúa en la etapa 104.
En la etapa 104, el módulo de tratamiento 28 determina la posición, en el plano de imagen PI, de la proyección del punto de inserción de la herramienta buscada o las proyecciones de los puntos de inserción de las herramientas buscadas. En la figura 5, los puntos O1 y O2 corresponden a las proyecciones, en el plano PI, de los puntos de inserción asociados a las incisiones 92, 93 y se denominarán a continuación puntos de inserción proyectados. En el presente ejemplo, los puntos de inserción proyectados O1 y O2 se encuentran en el exterior de la imagen proporcionada por la cámara 17, y las incisiones 92, 93 no son visibles en la imagen 106. Para cada punto de inserción proyectado O1, O2, el módulo de tratamiento 28 determina un círculo C1, C2 cuyo centro corresponde al punto O1, O2, y cuyo radio R1, R2 depende del punto O1, O2 considerado. A título de ejemplo, el radio R1, R2 corresponde sustancialmente al radio aparente de la herramienta 94, 95 asociado al punto de inserción proyectado considerado si la herramienta fuera paralela al plano de imagen PI. El procedimiento continúa en la etapa 108.
En la etapa 108, el módulo de tratamiento 28 determina para cada píxel de la imagen 106 si el píxel es susceptible de pertenecer al contorno de la proyección de una herramienta quirúrgica 94, 95. Para hacer esto, la presente invención se basa en el hecho de que cada herramienta quirúrgica 94, 95 pasa necesariamente por una incisión 92, 93 y es conocida la forma de cada herramienta quirúrgica 94, 95. En el presente ejemplo de realización, se considera que cada herramienta quirúrgica 94, 95 tiene una forma alargada y cilíndrica.
El módulo de tratamiento 28 determina los contornos presentes en la imagen por segmentación según un método del gradiente. El método del gradiente para imágenes en nivel de gris se describe en la obra titulada “Analyse d’images: filtrage et segmentation”, que es una obra colectiva coordinada por J.-P. Cocquerez et S. Phillip, cuyos autores son Ph. Bolon, J.-M. Chassery, J.-P. Cocquerez, D. Demigny, C. Graffigne, A. Montanvert, S. Phillip, R. Zéboudj, J. Zérubia. Ed. Masson, 1995. ISBN: 2-225-84923-4. Para una imagen en nivel de gris, denominando F a la función que hace corresponder a cada píxel de posición (u, v) el nivel de gris del píxel, se obtiene para cada píxel de
la imagen un vector gradiente Grad (F(u,v)) que es normal al contorno en la posición (u, v) (posición del píxel) y cuya norma es tanto más elevada cuanto que el contorno es “franco”. Para una imagen de color, es posible descomponer la imagen de color en tres imágenes de nivel de gris (una imagen R para el color rojo, una imagen G para el color verde y una imagen B para el color azul). Para cada píxel de coordenadas (u, v), se pueden definir
E07731640 25-11-2011
entonces tres vectores gradiente Grad (R(u,v)), Grad (G(u,v)), Grad (B(u,v)), respectivamente asociados a la
imagen R, a la imagen G y la imagen B. Se define entonces el gradiente del píxel Grad (F(u,v)) (o Grad (F))
como el máximo entre los tres vectores gradiente Grad (R(u,v)), Grad (G(u,v)), Grad (B(u,v)). El módulo de
tratamiento 28 sólo considera los píxeles de la imagen 6 para los cuales la amplitud de los gradientes Grad (F) es superior a un umbral determinado. Dichos píxeles son susceptibles de corresponder a una transición entre dos objetos de la imagen 106, por ejemplo órganos, herramientas, etc. A título de ejemplo, se ha representado en la
figura 5 el vector gradiente Grad (F) asociado al píxel Pix.
Para tales píxeles, el módulo de tratamiento 28 determina si la recta que pasa por el píxel y perpendicular al
gradiente Grad (F) corta uno de los círculos C1, C2. Si se cumple dicha condición, el píxel es susceptible de pertenecer al borde de la proyección de una de las herramientas quirúrgicas 94, 95 y se denomina a continuación píxel potencial. La condición anterior traduce el hecho de que la herramienta quirúrgica 94, 95 buscada tiene una forma cilíndrica, es decir que los bordes de la proyección de la herramienta sobre la imagen 106 deben corresponder a rectas y que la herramienta quirúrgica 94, 95 pasa por una incisión 92, 93, es decir que los bordes de la proyección de la herramienta deben pasar por la proximidad de un punto de inserción proyectado O1, O2. En el ejemplo de la
figura 5, la recta D perpendicular al gradiente Grad (F) del píxel Pix corta al círculo C2. El módulo de tratamiento 28 concluye, en esta etapa del procedimiento, que el píxel Pix pertenece quizá al borde de la proyección de la herramienta quirúrgica asociada al punto de inserción proyectado O2. Se obtiene finalmente un conjunto de píxeles potenciales. El módulo de tratamiento 28 realiza entonces diversos tratamientos para reducir el número de píxeles potenciales. A título de ejemplo, se pueden eliminar los píxeles potenciales que están aislados de otros píxeles potenciales y que no pertenecen manifiestamente a los bordes de la proyección de una herramienta quirúrgica. Al final de la etapa 108 se obtienen conjuntos relativamente densos de píxeles potenciales, denominados píxeles candidatos, que tienen cada uno someramente una forma alargada y rectilínea. El procedimiento continúa con la etapa 110.
En la etapa 110 el módulo de tratamiento 28 determina el eje de simetría M1, M2 de la proyección de cada herramienta 94, 95 sobre la imagen 106. En efecto, al ser cilíndrica cada herramienta, los bordes de la proyección de la herramienta corresponden a dos rectas D1, D1’, D2, D2’ que, por tanto, tienen un eje de simetría. Se debe observar que el eje de simetría M1, M2 de la proyección de una herramienta no corresponde, salvo caso particular, a la proyección del eje de simetría de la herramienta, puesto que la proyección central no conserva las proporciones entre las distancias. Por tanto, el eje de simetría M1, M2 de la proyección de una herramienta no pasa forzosamente por el punto de inserción proyectado O1, O2 asociado a la herramienta. El módulo de tratamiento 28 determina, para cada par de píxeles candidatos, si la mediatriz asociada al par de píxeles candidatos corta uno de los círculos C1, C2. En caso afirmativo, esto significa que la mediatriz, denominada mediatriz candidata, es susceptible de corresponder a un eje de simetría. El módulo de tratamiento 28 utiliza entonces un método de clasificación basado en el método de Hough descrito, por ejemplo, en la obra titulada “Use of the Hough Transformation To Detect Lines and Curves in Pictures” de Richard O. Duda y Peter E. Hart, Communications of the ACM, Vol. 15 (1), págs. 11-15, 1972. Cada mediatriz candidata asociada a un punto de inserción proyectado, por ejemplo el punto O1, está definida por un par de parámetros (p, a), en los que p es la distancia que separa la mediatriz candidata del punto de inserción
proyectado O1 y a es el ángulo entre la mediatriz candidata y una dirección privilegiada, por ejemplo la recta (O1, e ).
u
Para una mediatriz candidata dada, p puede estar comprendida en el intervalo [0, R1] y a puede estar comprendido en el intervalo [0, 2n]. Se divide el intervalo [0, R1] en subintervalos [ai, ai+1] adyacentes, en los que i es un número entero que varía entre 1 y N, y en los que a1=0, aN+1=R1 y ai<ai+1. De forma análoga, se divide el intervalo [0, 2n] en subintervalos [bj, bj+1] adyacentes, en los que j es un número entero que varía entre 1 y M y en los que b1=0, bM+1=2n y bj<bj+1. Se define entonces una matriz T de N líneas y M columnas, cuya línea de índice i se asocia al subintervalo [ai, ai+1] y cuya columna de índice j se asocia al subintervalo [bj, bj+1]. Cada elemento Ti,j de la matriz corresponde a un contador inicialmente puesto a 0. Para cada mediatriz candidata, se incrementa el contador Ti,j asociado a los subintervalos [ai, ai+1] y [bj, bj+1] que contienen los parámetros (p, a) asociados a dicha mediatriz candidata. Cuando se han considerado todas las mediatrices candidatas, el módulo de tratamiento 28 determina los índices iMAX y jMAX del contador TiMAX,jMAX más elevado. El eje de simetría de la herramienta quirúrgica asociada al punto de inserción proyectado O1 puede corresponder entonces a la recta definida por p=(aiMAX+aiMAX+1)/2 y a=( bjMAX+bjMAX+1)/2.
El módulo de tratamiento 28 memoriza asimismo los pares de píxeles que han participado en el incremento de cada contador Ti,j. Las rectas D1, D1’, correspondientes a los bordes de la proyección de la herramienta quirúrgica asociada al punto de inserción proyectado O1, se definen a partir de los pares de píxeles asociados al contador TiMAX,jMAX. Para aumentar el número de píxeles, el módulo de tratamiento 28 puede añadir, para cada píxel asociado al contador TiMAX,jMAX, un nuevo píxel correspondiente al simétrico del píxel con respecto al eje de simetría. El primer borde de la proyección de la herramienta puede corresponder entonces a la recta D1’ obtenida por regresión lineal a partir de los píxeles situados a un lado del eje de simetría y el segundo borde de la proyección de la herramienta puede corresponder entonces a la recta D1’ obtenida por regresión lineal a partir de los píxeles situados al otro lado
E07731640 25-11-2011
del eje de simetría. El procedimiento se repite para todas las herramientas buscadas por el cirujano y continúa a continuación en la etapa 112.
En la etapa 112, para cada eje de simetría M1, M2, el módulo de tratamiento 28 determina qué píxeles del eje de simetría pertenecen a la herramienta. Para hacer esto, se puede utilizar un procedimiento de selección de píxeles basado en el método de Otsu, que consiste en atribuir a cada píxel una clase de color entre dos clases de color. El método de Otsu se describe, por ejemplo, en la publicación titulada “A threshold selection method from gray level histograms” de N. Otsu, IEEE Trans. Systems, Man and Cybernetics, vol. 9, págs. 62-66, 1979. A título de ejemplo, el módulo de tratamiento 28 determina, para todos los píxeles del eje de simetría, un histograma de una función H, representativa del color del píxel, según un número de niveles o clases de color que depende de la precisión utilizada para la codificación de la función H. Se define entonces un umbral según el método de Otsu. Se atribuye entonces a los píxeles para los cuales la función H es inferior al umbral una primera clase de color, por ejemplo la clase de color más baja del histograma, y se atribuye a los píxeles para los cuales la función H es superior al umbral una segunda clase de color, por ejemplo la clase de color más elevada del histograma. Los píxeles del eje de simetría se distribuyen entonces en grupos de píxeles adyacentes de la primera o la segunda clase de color. Se determina entonces, para cada clase de color, el grupo de píxeles que tiene el número más grande de píxeles. Para determinar la clase de color que corresponde a la herramienta quirúrgica y la clase de color que corresponde al fondo de la imagen, se considera que el grupo de píxeles de la imagen 106 sobre el eje de simetría M1 más próximo al punto de inserción proyectado O1 pertenece necesariamente a la herramienta asociada al punto de inserción proyectado O1. Se obtiene así la clase de color asociado a la herramienta. La etapa 112 puede realizarse sólo para la imagen proporcionada por la cámara 17. Para las imágenes proporcionadas ulteriormente por la cámara 17, se puede considerar que la herramienta corresponde al grupo de píxeles que tiene el número más grande de píxeles y está asociado a la clase de color de la herramienta determinada anteriormente. El procedimiento continúa en la etapa 114.
En la etapa 114, el módulo de tratamiento 28 determina la posición del extremo de la proyección de la herramienta quirúrgica 94, 95 sobre la imagen 106 o punta S1, S2 de la herramienta. La punta S1, S2 corresponde al extremo del grupo de píxeles asociado a la herramienta opuesta al punto de inserción proyectado O1, O2. Cuando la punta S1, S2 así determinada se encuentra en un borde de la imagen 106, esto significa de hecho que la punta de la herramienta no es visible en la imagen 106. Puede ser necesario, para determinar más finamente la posición de la punta de la herramienta, considerar más en detalle los píxeles del eje de simetría M1, M2 alrededor de la punta de la herramienta y aplicarles limitaciones de color para determinar si, efectivamente, pertenecen o no a la herramienta. Por tanto, al final del procedimiento de detección de las herramientas quirúrgicas, el módulo de tratamiento 28 ha determinado para cada herramienta quirúrgica 94, 95 el eje de simetría M1, M2, los bordes D1, D’1, D2, D’2 y las puntas S1, S2. El procedimiento continúa en la etapa 102 para el tratamiento de otra imagen proporcionada por la cámara 17.
La presente invención permite la ejecución de órdenes de desplazamiento complejas por el módulo de tratamiento 28 para el desplazamiento del sistema de posicionamiento 10 de la cámara 17. A título de ejemplo, el módulo de tratamiento 28 puede controlar el sistema de posicionamiento 10 para desplazar el endoscopio 12 hasta que la punta S1, S2 de una herramienta quirúrgica particular 94, 95 se encuentra a nivel del centro de la imagen 106 proporcionada por la cámara 17. Para hacer esto, el cirujano puede suministrar una orden del tipo “centrar sobre identificador” al módulo de tratamiento 28 por medio del sistema de control vocal 38. El módulo de tratamiento 28 puede detectar entonces las herramientas presentes en la imagen proporcionada por la cámara 17. Si está presente en la imagen la punta de la herramienta correspondiente al identificador proporcionado por el cirujano, el módulo de tratamiento 28 controla entonces el sistema de posicionamiento 10 con el fin de desplazar el endoscopio 12 para que la punta de la herramienta se encuentre a nivel de una región central predefinida de la imagen. Si la herramienta correspondiente al identificador proporcionado por el cirujano está presente en la imagen, pero la punta de la herramienta se encuentra en el exterior de la imagen, el módulo de tratamiento 28 está adaptado para controlar el sistema de posicionamiento 10 con el fin de desplazar el endoscopio 12 hacia la punta de la herramienta, puesto que se conoce la posición del punto de inserción asociado a la herramienta. Si la herramienta correspondiente al identificador proporcionado por el cirujano no está presente en la imagen, el módulo de control 28 puede controlar el sistema de posicionamiento 10 para orientar el endoscopio 12 hacia el punto de inserción asociado a la herramienta buscada. La herramienta debe encontrarse entonces en la imagen proporcionada por la cámara 17 y el centrado sobre la punta de la herramienta se realiza como se ha descrito anteriormente.
Otro ejemplo de control consiste en desplazar el endoscopio 12 de forma que la punta de una herramienta quirúrgica se encuentre permanentemente a nivel de la región central de la imagen proporcionada por la cámara 17. Para hacer esto, el cirujano puede suministrar una orden del tipo “seguir identificador” al módulo de tratamiento 28 por medio del sistema de control vocal 38. El módulo de tratamiento 28 controla entonces el sistema de posicionamiento 10 como se ha descrito anteriormente para centrar la imagen proporcionada por la cámara 17 sobre la punta de la herramienta correspondiente al identificador proporcionado por el cirujano. A continuación, para cada nueva imagen recibida por el módulo de tratamiento 28, el módulo 28 controla el sistema de posicionamiento 10 para recentrar, si fuera necesario, la imagen sobre la punta de la herramienta.
Otro ejemplo de control consiste en ordenar una “ampliación” de la imagen a nivel de la punta de una herramienta particular. Por esta razón, el cirujano puede suministrar una orden del tipo “zoom sobre identificador” al módulo de
E07731640 25-11-2011
tratamiento 28 por medio del sistema de control vocal 38. El módulo de tratamiento 28 controla entonces el sistema de posicionamiento 10 como se ha descrito anteriormente para centrar la imagen proporcionada por la cámara 17 sobre la punta de la herramienta correspondiente al identificador facilitado por el cirujano. El módulo de tratamiento 28 puede determinar entonces la distancia entre las rectas D1, D1’, D2, D2’ de bordes asociados a la herramienta considerada a nivel de la punta de la herramienta y deducir de ella un valor representativo de la ampliación de la imagen. El módulo de tratamiento 28 puede entonces controlar el sistema de posicionamiento 10 para desplazar el endoscopio 12 a fin de aumentar o reducir dicha ampliación con miras a alcanzar una ampliación predeterminada o una ampliación proporcionada por el cirujano. Según una variante, la cámara 17 puede comprender una función de ampliación (zoom). El módulo de tratamiento 28 se adapta entonces para controlar la función de ampliación de la cámara 17 a partir de la detección de la distancia entre las rectas D1, D1’, D2, D2’.
La duración del tratamiento de una imagen por el módulo de tratamiento 28 puede variar de algunas decenas de milisegundos a una centena de milisegundos. Por tanto, el módulo de tratamiento 28 puede recibir nuevas imágenes a tratar a una frecuencia elevada. El procedimiento de detección de herramientas quirúrgicas según la invención puede realizarse así en tiempo real.
Por tanto, la presente invención permite, en el curso de una intervención quirúrgica, aliviar de trabajo al cirujano, que no tiene que ordenar de forma sistemática cada desplazamiento del endoscopio 12. En efecto, las órdenes anteriormente descritas permiten que el cirujano dedique toda su atención a la intervención quirúrgica, controlando el módulo de tratamiento 28 paralelamente los desplazamientos del endoscopio 12 de forma automática según la orden inicial suministrada por el cirujano.
La presente invención puede realizarse asimismo cuando las herramientas quirúrgicas no tienen una forma cilíndrica. El ejemplo de realización que precede puede aplicarse directamente a una herramienta que tenga una forma alargada y cuya proyección en un plano comprenda bordes rectilíneos. Éste es el caso para una forma cónica, prismática, piramidal, etc. De manera más general, incluso para herramientas que tengan formas más complejas, pueden memorizarse parámetros geométricos característicos de las herramientas a nivel del módulo de tratamiento
28. Las etapas 108 a 114 del procedimiento de detección de las herramientas anteriormente descritas pueden adaptarse entonces en función de los parámetros geométricos característicos de cada herramienta quirúrgica.
Por supuesto, la presente invención es susceptible de diversas variantes y modificaciones que se le ocurran al experto en la materia. En particular, aunque la presente invención se haya descrito para intervenciones quirúrgicas para las cuales las imágenes de vídeo son proporcionadas por una cámara unida a un endoscopio, la presente invención puede aplicarse a cualquier tipo de imagen proporcionada por un sistema médico de formación de imágenes. Se trata, por ejemplo, de imágenes por ultrasonidos, imágenes fluoroscópicas o imágenes de escáner. Además, aunque la presente invención se haya descrito para un ejemplo particular de sistema de posicionamiento, ésta puede aplicarse a cualquier tipo de sistema de posicionamiento.
E07731640 25-11-2011
Claims (12)
- REIVINDICACIONES1. Dispositivo de detección de una herramienta quirúrgica (94, 95) en una imagen (106), pasando dicha herramienta quirúrgica por una incisión (92, 93) practicada a nivel de la piel (14) o de un órgano de un paciente, comprendiendo el dispositivo:un medio de memorización (28) de parámetros de forma de la herramienta quirúrgica;un medio de determinación (28) de la posición de la proyección (O1, O2) de la incisión en el plano de la imagen (PI); yun medio de análisis (28) de la imagen para detectar, teniendo en cuenta los parámetros de forma y de la posición de la proyección de la incisión, unos puntos y/o rectas característicos (D1, D1’, D2, D2’, M1, M2, S1, S2) de la proyección de la herramienta quirúrgica sobre la imagen.
- 2. Dispositivo según la reivindicación 1, en el que el medio de análisis (28) de la imagen está adaptado para:determinar, teniendo en cuenta los parámetros de forma, unos conjuntos de píxeles (Pix) de la imagen (106) susceptibles de corresponder a unos puntos y/o rectas característicos de la proyección de la herramienta quirúrgica sobre la imagen; yseleccionar unos conjuntos de píxeles pertinentes teniendo en cuenta la posición de la proyección de la incisión.
-
- 3.
- Dispositivo según la reivindicación 1 ó 2, que comprende: un medio de adquisición (12, 17, 20, 24) de la imagen; y un medio de calibrado de dicho medio de adquisición.
-
- 4.
- Dispositivo según cualquiera de las reivindicaciones 1 a 3, que comprende: un medio de determinación (28) de la posición de la incisión (92, 93) con respecto al paciente; y un medio de determinación (28) de la posición de la proyección (O1, O2) de la incisión en el plano de la imagen (PI) a
partir de la posición de la incisión (92, 93) con respecto al paciente. -
- 5.
- Dispositivo según cualquiera de las reivindicaciones 1 a 4, que comprende: unos medios de adquisición (12, 17, 20, 24) de una primera y una segunda imagen de la incisión (94, 95); unos medios de determinación de una primera posición de un punto de la proyección de la incisión sobre la primera
imagen y una segunda posición de dicho punto sobre la segunda imagen; y unos medios de determinación de la posición de dicho punto con respecto al paciente a partir de la primera y de la segunda posición. -
- 6.
- Dispositivo según cualquiera de las reivindicaciones 1 a 5, en el que la herramienta quirúrgica (94, 95) tiene una forma alargada, correspondiendo los bordes laterales de la proyección de la herramienta en el plano de la imagen (PI) a unas rectas (D1, D1’, D2, D2’), estando adaptado el medio de determinación (28) de los puntos y/o rectas característicos (D1, D1’, D2, D2’, M1, M2, S1, S2) para:
determinar un conjunto de píxeles (Pix) de la imagen (106) tal que, para cada píxel del conjunto de píxeles, elgradiente ( Grad (F)) de una función que depende del color del píxel es superior a un umbral; yseleccionar cada píxel para el cual la recta (D) que pasa por el píxel y perpendicular al gradiente pasa a nivel de la proyección (O1, O2) de la incisión (92, 93) en el plano de la imagen. - 7. Dispositivo según la reivindicación 6, en el que el medio de determinación (28) de los puntos y/o rectas característicos (D1, D1’, D2, D2’ M1, M2, S1, S2) está adaptado para:determinar el eje de simetría (M1, M2) de la proyección de la herramienta quirúrgica (94, 95) sobre la imagen (106) a partir de los píxeles seleccionados;determinar los píxeles del eje de simetría que pertenecen a la proyección de la herramienta sobre la imagen; y determinar el píxel del eje de simetría correspondiente al extremo de la herramienta (S1, S2).
- 8. Dispositivo según la reivindicación 7, en el que el medio de determinación (28) de puntos y/o rectas característicos (D1, D1’, D2, D2’ M1, M2, S1, S2) está adaptado para:5 determinar, entre los píxeles seleccionados, el conjunto de píxeles tales que, para cada par de píxeles del conjunto de píxeles, la mediatriz del par pase a nivel de la proyección (O1, O2) de la incisión (92, 93) en el plano de la imagen (PI);10 clasificar las mediatrices en grupos de mediatrices adyacentes; ydeterminar el eje de simetría (M1, M2) a partir del grupo de mediatrices que contiene el número más grande de mediatrices.15 9. Dispositivo según la reivindicación 7, en el que el medio de determinación (28) de puntos y/o rectas característicos (D1, D1’, D2, D2’ M1, M2, S1, S2) está adaptado para:atribuir a cada píxel del eje de simetría (M1, M2) una clase de color de entre una primera o una segunda clase de color;20 seleccionar un primer grupo de píxeles adyacentes que contiene el número más grande de píxeles adyacentes de la primera clase de color y un segundo grupo de píxeles adyacentes que contiene el número más grande de píxeles adyacentes de la segunda clase de color; y25 seleccionar, de entre el primer o el segundo grupo de píxeles, el grupo de píxeles más próximo a la proyección (O1, O2) de la incisión (92, 93) en el plano de la imagen (PI).
- 10. Dispositivo (5) de control de un sistema de posicionamiento (10) de un medio de adquisición (12, 17) deimágenes (106) de un paciente a nivel del cual al menos se ha practicado una incisión (92, 93) para el paso de una 30 herramienta (94, 95), comprendiendo el dispositivo de control:un medio de suministro (36, 38) de instrucciones emitidas por un usuario;un dispositivo de detección (28) según cualquiera de las reivindicaciones 1 a 9; y35 un medio de suministro (28, 30) de señales de control al sistema de posicionamiento a partir de los puntos y/o rectas característicos (D1, D1’, D2, D2’ M1, M2, S1, S2) de la herramienta quirúrgica proporcionados por el dispositivo de detección y de las instrucciones facilitadas por el medio de suministro de instrucciones.40 11. Dispositivo de control según la reivindicación 10, en el que el medio de adquisición de imágenes comprende un endoscopio (12) y una cámara (17).
- 12. Procedimiento de detección de una herramienta quirúrgica (94, 95) en una imagen (106), pasando dichaherramienta por una incisión (92, 93) practicada a nivel de la piel (14) o de un órgano de un paciente, 45 comprendiendo el procedimiento las etapas siguientes:a) memorizar parámetros de forma de la herramienta quirúrgica;b) determinar la posición de la proyección (O1, O2) de la incisión en el plano de la imagen (PI); y 50c) después de la etapa b), analizar la imagen para detectar, teniendo en cuenta los parámetros de forma y de la posición de la proyección de la incisión, unos puntos y/o rectas característicos (D1, D1’, D2, D2’ M1, M2, S1, S2) de la proyección de la herramienta quirúrgica sobre la imagen.55 13. Procedimiento según la reivindicación 12, en el que la etapa que consiste en determinar la posición de la proyección (O1, O2) de la incisión en el plano de la imagen (PI) comprende las etapas siguientes:determinar la posición de la incisión (92, 93) con respecto al paciente; y60 determinar la posición de la proyección (O1, O2) de la incisión en el plano de la imagen (PI) a partir de la posición de la incisión (92, 93) con respecto al paciente.
- 14. Procedimiento según la reivindicación 12 ó 13, en el que la etapa que consiste en determinar la posición de laproyección (O1, O2) de la incisión en el plano de la imagen (PI) se realiza con ayuda de un medio de adquisición (12, 65 17, 20, 24) de imágenes, comprendiendo el procedimiento una etapa previa de calibrado del medio de adquisición.
- 15. Procedimiento según cualquiera de las reivindicaciones 12 a 14, en el que la herramienta quirúrgica (94, 95) tiene una forma alargada, correspondiendo los bordes laterales de la proyección de la herramienta en el plano de la imagen (PI) a unas rectas (D1, D1’, D2, D2’ M1, M2, S1, S2), comprendiendo además el procedimiento las etapas siguientes:determinar un conjunto de píxeles (Pix) de la imagen (106) tal que, para cada píxel del conjunto de píxeles, elgradiente ( Grad (F)) de una función que depende del color del píxel es superior a un umbral; yseleccionar cada píxel para el cual la recta (D) que pasa por el píxel y perpendicular al gradiente pasa a nivel de la 10 proyección (O1, O2) de la incisión (92, 93) en el plano de la imagen.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0650591A FR2897703B1 (fr) | 2006-02-20 | 2006-02-20 | Detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale |
| FR0650591 | 2006-02-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2372705T3 true ES2372705T3 (es) | 2012-01-25 |
Family
ID=36940323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES07731640T Active ES2372705T3 (es) | 2006-02-20 | 2007-02-16 | Detección automática de una herramienta quirúrgica en una imagen proporcionada por un sistema médico de formación de imagenes. |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US8391571B2 (es) |
| EP (1) | EP1987473B1 (es) |
| JP (1) | JP2009527267A (es) |
| KR (1) | KR20080106282A (es) |
| CN (1) | CN101385036A (es) |
| AT (1) | ATE526646T1 (es) |
| CA (1) | CA2642913A1 (es) |
| ES (1) | ES2372705T3 (es) |
| FR (1) | FR2897703B1 (es) |
| WO (1) | WO2007096557A2 (es) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7794396B2 (en) * | 2006-11-03 | 2010-09-14 | Stryker Corporation | System and method for the automated zooming of a surgical camera |
| FR2920086A1 (fr) | 2007-08-24 | 2009-02-27 | Univ Grenoble 1 | Systeme et procede d'analyse pour une operation chirurgicale par endoscopie |
| KR101159469B1 (ko) * | 2009-05-14 | 2012-06-25 | 국립암센터 | 수술도구 검출 방법, 수술도구 검출 방법을 기록한 기록매체, 수술도구 검출 방법을 수행하는 수술 시스템 및 수술도구 검출 방법을 수행하는 수술 보조시스템 |
| US8887556B2 (en) | 2011-02-15 | 2014-11-18 | Michael A. Silveri | Amperometric sensor system |
| JP5701140B2 (ja) * | 2011-04-21 | 2015-04-15 | キヤノン株式会社 | 立体内視鏡装置 |
| US9188973B2 (en) * | 2011-07-08 | 2015-11-17 | Restoration Robotics, Inc. | Calibration and transformation of a camera system's coordinate system |
| US10299773B2 (en) * | 2011-08-21 | 2019-05-28 | Transenterix Europe S.A.R.L. | Device and method for assisting laparoscopic surgery—rule based approach |
| US8887551B2 (en) * | 2011-09-06 | 2014-11-18 | Trig Medical Ltd. | Calibration of instrument relative to ultrasonic probe |
| US9480539B2 (en) | 2011-11-03 | 2016-11-01 | James Ortlieb | Viewing system and viewing method for assisting user in carrying out surgery by identifying a target image |
| CN104487977A (zh) * | 2012-07-19 | 2015-04-01 | 皇家飞利浦有限公司 | 医学应用中的设备感测 |
| JP6306024B2 (ja) | 2012-10-01 | 2018-04-04 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | デバイス形状センシングを用いた臨床意思決定支援及びトレーニングシステム |
| US9622720B2 (en) | 2013-11-27 | 2017-04-18 | Clear Guide Medical, Inc. | Ultrasound system with stereo image guidance or tracking |
| US8880151B1 (en) | 2013-11-27 | 2014-11-04 | Clear Guide Medical, Llc | Surgical needle for a surgical system with optical recognition |
| US9905000B2 (en) | 2015-02-19 | 2018-02-27 | Sony Corporation | Method and system for surgical tool localization during anatomical surgery |
| FR3039910B1 (fr) * | 2015-08-04 | 2018-08-24 | Université Grenoble Alpes | Dispositif et procede de detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale |
| US10201267B2 (en) | 2016-05-24 | 2019-02-12 | Phoenix Spine Holdings, Inc. | Methods and apparatus for facilitating direct visualized rhizotomy |
| US10376382B2 (en) | 2016-11-16 | 2019-08-13 | Phoenix Spine Holdings, Inc. | Methods and apparatus for facilitating a posterior lumbar interbody fusion procedure |
| US20200015655A1 (en) * | 2017-03-28 | 2020-01-16 | Sony Olympus Medical Solutions Inc. | Medical observation apparatus and observation visual field correction method |
| US11076902B2 (en) | 2018-02-22 | 2021-08-03 | Phoenix Spine Holdings, Inc. | Locking screw assembly for facilitating direct lateral interbody fusion procedures |
| US11857151B2 (en) * | 2018-09-12 | 2024-01-02 | Steris Instrument Management Services, Inc. | Systems and methods for standalone endoscopic objective image analysis |
| CN110215339B (zh) * | 2019-07-03 | 2022-01-07 | 中山大学 | 一种实现自动化机械操作臂路径规划的方法 |
| FR3119306B1 (fr) * | 2021-02-03 | 2024-06-14 | Surgar | Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique |
| DE102021128478A1 (de) * | 2021-11-02 | 2023-05-04 | B. Braun New Ventures GmbH | Chirurgisches Navigationssystem mit verbessertem Instrumententracking und Navigationsverfahren |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5631973A (en) * | 1994-05-05 | 1997-05-20 | Sri International | Method for telemanipulation with telepresence |
| JP3236070B2 (ja) * | 1992-06-04 | 2001-12-04 | オリンパス光学工業株式会社 | スコープ保持装置およびスコープ装置 |
| JP3618413B2 (ja) * | 1995-05-15 | 2005-02-09 | オリンパス株式会社 | 内視鏡装置 |
| JPH08215205A (ja) * | 1995-02-13 | 1996-08-27 | Olympus Optical Co Ltd | 医療用マニピュレータ |
| US5649021A (en) * | 1995-06-07 | 1997-07-15 | David Sarnoff Research Center, Inc. | Method and system for object detection for instrument control |
| JP3532660B2 (ja) * | 1995-06-09 | 2004-05-31 | オリンパス株式会社 | 体腔内観察装置 |
| JPH09149876A (ja) * | 1995-11-30 | 1997-06-10 | Olympus Optical Co Ltd | 内視鏡装置 |
| US6806899B1 (en) * | 1999-07-17 | 2004-10-19 | David F. Schaack | Focusing systems for perspective dimensional measurements and optical metrology |
| AU2004261655A1 (en) * | 2003-07-28 | 2005-02-10 | Fluidigm Corporation | Image processing method and system for microfluidic devices |
| US7440793B2 (en) * | 2004-07-22 | 2008-10-21 | Sunita Chauhan | Apparatus and method for removing abnormal tissue |
-
2006
- 2006-02-20 FR FR0650591A patent/FR2897703B1/fr not_active Expired - Fee Related
-
2007
- 2007-02-16 JP JP2008554829A patent/JP2009527267A/ja active Pending
- 2007-02-16 CA CA002642913A patent/CA2642913A1/en not_active Abandoned
- 2007-02-16 EP EP07731640A patent/EP1987473B1/fr not_active Not-in-force
- 2007-02-16 US US12/279,948 patent/US8391571B2/en not_active Expired - Fee Related
- 2007-02-16 AT AT07731640T patent/ATE526646T1/de not_active IP Right Cessation
- 2007-02-16 ES ES07731640T patent/ES2372705T3/es active Active
- 2007-02-16 CN CNA2007800059395A patent/CN101385036A/zh active Pending
- 2007-02-16 KR KR1020087023139A patent/KR20080106282A/ko not_active Withdrawn
- 2007-02-16 WO PCT/FR2007/050816 patent/WO2007096557A2/fr not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| FR2897703A1 (fr) | 2007-08-24 |
| CA2642913A1 (en) | 2007-08-30 |
| EP1987473A2 (fr) | 2008-11-05 |
| KR20080106282A (ko) | 2008-12-04 |
| CN101385036A (zh) | 2009-03-11 |
| FR2897703B1 (fr) | 2008-04-25 |
| EP1987473B1 (fr) | 2011-09-28 |
| WO2007096557A3 (fr) | 2007-10-18 |
| US20090220131A1 (en) | 2009-09-03 |
| ATE526646T1 (de) | 2011-10-15 |
| JP2009527267A (ja) | 2009-07-30 |
| US8391571B2 (en) | 2013-03-05 |
| WO2007096557A2 (fr) | 2007-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2372705T3 (es) | Detección automática de una herramienta quirúrgica en una imagen proporcionada por un sistema médico de formación de imagenes. | |
| US12414835B2 (en) | Augmented reality viewing and tagging for medical procedures | |
| US12137985B2 (en) | System and methods for intraoperative guidance feedback | |
| Colchester et al. | Development and preliminary evaluation of VISLAN, a surgical planning and guidance system using intra-operative video imaging | |
| US10512508B2 (en) | Imagery system | |
| EP2438880A1 (en) | Image projection system for projecting image on the surface of an object | |
| TW201717837A (zh) | 強化實境之外科導航 | |
| EP2031559A1 (en) | Augmented visualization in two-dimensional images | |
| Bockholt et al. | Augmented reality for enhancement of endoscopic interventions | |
| Zhang et al. | From AR to AI: augmentation technology for intelligent surgery and medical treatments | |
| JPH08280710A (ja) | 実時間医用装置及び患者に医用手順を遂行するために操作者を支援する方法 | |
| Schoob et al. | Color-encoded distance for interactive focus positioning in laser microsurgery | |
| Vogt | Augmented light field visualization and real-time image enhancement for computer assisted endoscopic surgery | |
| Asano et al. | Use of mixed reality in attachment of surgical site measurement robot to surgical bed | |
| Tamadazte et al. | Augmented 3-d view for laparoscopy surgery | |
| Maddah | 3D visualization and interactive image manipulation for surgical planning in robot-assisted surgery | |
| WO2025096335A1 (en) | Systems and methods for sensor data generation in medical environments | |
| WO2023049528A1 (en) | Anatomical scanning, targeting, and visualization | |
| Reiter | Assistive visual tools for surgery |