ES2987379T3 - Proceso de segmentación automática de una imagen médica 3D mediante una o varias redes neuronales a través de convolución estructurada de acuerdo con la geometría anatómica de la imagen médica 3D - Google Patents

Abstract

La presente invención se refiere a un método de segmentación automática de una imagen médica que hace uso de una base de datos de conocimiento que contiene información sobre las estructuras o instrumentos anatómicos y patológicos, que se pueden ver en una imagen médica 3D de dimensión axbxn, es decir, compuesta por n imágenes 2D diferentes, cada una de dimensión axb. Dicho método se caracteriza porque comprende principalmente tres etapas de proceso, a saber: una primera etapa que consiste en extraer de dicha imagen médica nueve subimágenes (1 a 9) de dimensión a/2 xb/2 xn, es decir, nueve subimágenes parcialmente superpuestas a/2 xb/2 de cada imagen 2D; una segunda etapa que consiste en que nueve redes neuronales convolucionales (CNN) analicen y segmenten cada una de estas nueve subimágenes (1 a 9) de cada imagen 2D; un tercer paso consistente en combinar los resultados de los nueve análisis y segmentaciones de las n imágenes 2D diferentes, y por tanto de las nueve subimágenes segmentadas de dimensión a/2 xb/2 xn, en una única imagen de dimensión axbxn, correspondiente a una única segmentación de la imagen médica inicial. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Proceso de segmentación automática de una imagen médica 3D mediante una o varias redes neuronales a través de convolución estructurada de acuerdo con la geometría anatómica de la imagen médica 3D

La presente invención se refiere al campo del procesamiento de datos, más específicamente al tratamiento y análisis de imágenes, en particular a la segmentación de imágenes médicas, y está relacionada con un proceso de segmentación automática de una imagen médica 3D mediante una o varias redes neuronales a través de convolución estructurada de acuerdo con la geometría anatómica de la imagen médica 3D.

El documento US 2016/110632 A1 se refiere a un método de utilización de un clasificador aprendido por máquina (redes neuronales profundas de espacio marginal) para la segmentación de imágenes médicas. El método comprende principalmente la clasificación basada en parches y la fusión de etiquetas para localizar y segmentar en las regiones de la imagen médica que contienen la estructura anatómica de interés.

El documento US 2015/238148 A1 se refiere a un método para detectar la pose de un objeto anatómico de interés en datos de imágenes médicas mediante el uso de redes neuronales profundas. En una imagen médica de entrada de un paciente que incluye un objeto anatómico objetivo, se detecta una pose del objeto anatómico objetivo analizando una serie de espacios de parámetros marginales de dimensionalidad creciente, utilizando una red neuronal profunda entrenada respectiva para cada uno de los espacios de búsqueda marginales.

Una imagen tridimensional realizada a partir de un dispositivo de imágenes médicas como un escáner, una resonancia magnética, un ultrasonido, un TAC o una imagen tipo SPEC se compone de un conjunto de vóxeles, que son las unidades básicas de una imagen 3D. El vóxel es la extensión 3D del píxel que es la unidad básica de una imagen 2D. Cada vóxel está asociado a un nivel de gris o densidad que puede considerarse el resultado de una función 2D F(x, y) o una función 3D F(x, y, z), donde x, y y z denotan coordenadas espaciales (véase la Figura 1).

Las vistas de la Figura 2 ilustran la definición de una segmentación de una imagen médica 3D según una vista transversal.

Normalmente, una imagen médica 2D o 3D contiene un conjunto de estructuras anatómicas y patológicas (órganos, huesos, tejidos...) o elementos artificiales (endoprótesis, implantes...) que los médicos deben delinear para evaluar la situación y definir y planificar su estrategia terapéutica. Para ello es necesario identificar órganos y patologías en la imagen, lo que supone etiquetar cada píxel de una imagen 2D o cada vóxel de una imagen 3D. Este proceso se llama segmentación.

En el caso de imágenes de TAC y resonancia magnética adquiridas en la rutina clínica, pueden considerarse como una serie de n imágenes 2D rectangulares o cuadradas (a lo largo del eje Z) con una dimensión a x b (a lo largo de los ejes X e Y). En general, tienen una dimensión estándar a lo largo del eje X e Y igual a 512x512 píxeles, lo que significa que las dimensiones del plano transversal suelen ser a = b = 512. Por el contrario, el número n de cortes (dimensión a lo largo del eje Z) es a su vez muy variable y depende de la dimensión de la región observada.

Por lo tanto, se puede considerar analizar el plano transversal en su conjunto o dividirlo en subimágenes más pequeñas, por ejemplo cuatro, de 256x256, siendo así más rápido analizarlas por separado. Las cuatro subimágenes que se han creado cubren todos los vóxeles de la imagen inicial y su dimensión es a/2 x b/2 x n.

La Figura 3A ilustra los tres planos principales que hay que considerar al tomar imágenes médicas de un sujeto humano y la Figura 3B ilustra la división de un corte a lo largo del plano transversal de la imagen médica en cuatro subimágenes de 256x256.

Existen muchos métodos para realizar una segmentación. Entre estos métodos, las redes neuronales forman parte de la categoría dedicada a los algoritmos de inteligencia artificial y tienen la ventaja de ser automáticas.

Existen muchas variaciones de estos algoritmos, pero a menudo quedan limitados a una base arquitectónica estándar que no es específica de las imágenes médicas y, en particular, no es específica de su contenido.

Sin embargo, el contenido de imágenes en las imágenes médicas es muy recurrente, especialmente en las imágenes de TAC y resonancia magnética. En el centro de la imagen tenemos sistemáticamente al paciente rodeado de aire excepto debajo de él donde se encuentra la mesa de operaciones (sobre la que habitualmente se encuentra el paciente durante el procedimiento de obtención de imágenes).

Así, a diferencia de una imagen fotográfica, donde el entorno cambia de una foto a otra, la imagen médica está tan estructurada y formateada como una foto de identificación para un pasaporte: el entorno y la posición son siempre los mismos, solo cambian detalles del rostro de la persona.

En el caso de una imagen médica del tórax, las costillas, por ejemplo, siempre estarán conectadas a la columna vertebral en la parte trasera y al esternón en la parte delantera, abarcando ambos pulmones entre los cuales se encuentra el corazón. Por supuesto, puede haber variaciones tal como una posición pulmonar invertida o un pulmón que falta, pero estos casos ocurren con muy poca frecuencia en comparación con la variación anatómica normal. En cuanto a las demás zonas (cabeza, abdomen, pelvis, miembros superiores o inferiores) se puede realizar la misma observación y aplicar el mismo principio.

Las imágenes de la Figura 4 ilustran, mediante tres ejemplos, cómo diversas áreas anatómicas (tórax, abdomen y pelvis) muestran una distribución regular de la localización relativa de los órganos.

Con base en estos hallazgos, los inventores han reconocido que en este contexto la división de subimágenes mencionada anteriormente adquiere un significado diferente porque se hace posible utilizar esta división para localizar estructuras dentro de las subimágenes que no se encuentran en las otras subimágenes.

Por ejemplo, como se puede ver en la Figura 5, la división de subimágenes (en el presente documento subimágenes de 256x256 de una imagen transversal de 512x512 de un abdomen) puede contener una estructura anatómica muy regular, que puede hacer que la red asociada a desarrollar sea más robusta, más eficiente y más especializada.

La Figura 5 ilustra cómo diversas particiones y extracciones de subimágenes de una misma imagen transversal del abdomen permiten localizar sistemáticamente estructuras anatómicas recurrentes en las mismas regiones.

En la primera imagen de la Figura 5, por ejemplo, la vesícula biliar se encontrará muy a menudo en la subimagen superior izquierda, el riñón derecho en la subimagen inferior izquierda y el riñón izquierdo en la subimagen inferior derecha. La columna vertebral pertenecerá sistemáticamente a la subimagen identificada en la imagen 2. El hígado formará parte sistemáticamente de las subimágenes izquierdas de la imagen 1 o 3, mientras que el bazo estará en las subimágenes derechas. Finalmente, la aorta y la vena cava estarán juntas en la subimagen de la imagen 4, pero separadas en las subimágenes de la imagen 3, estando la vena cava en la izquierda y la aorta en la derecha.

Por consiguiente, la idea básica de la invención es hacer uso de varias divisiones de subimágenes específicas que permitan localizar sistemáticamente estructuras anatómicas recurrentes en las mismas regiones y explotar y combinar la información recogida a partir de análisis separados de estas subimágenes para desarrollar un nuevo procedimiento de análisis de imágenes médicas utilizando redes neuronales convolucionales (CNN) explotando la información de localización específica de los órganos.

Por tanto, la presente invención tiene como objeto principal un método de segmentación automática de una imagen médica haciendo uso de una base de datos de conocimiento que contiene información sobre las estructuras o instrumentos anatómicos y patológicos, que se pueden ver en una imagen médica 3D de dimensión a x b x n, es decir compuesta por n imágenes 2D diferentes, cada una de dimensión a x b,

el método caracterizado por que comprende principalmente las siguientes tres etapas de proceso, en concreto:

una primera etapa que consiste en extraer de dicha imagen médica nueve subimágenes de dimensiones a/2 x b/2 x n, es decir, nueve subimágenes a/2 x b/2 parcialmente superpuestas de cada imagen 2D;

una segunda etapa que consiste en nueve redes neuronales convolucionales que analizan y segmentan cada una de estas nueve subimágenes de cada imagen 2D;

una tercera etapa que consiste en combinar los resultados de los nueve análisis y segmentaciones de las n imágenes 2D diferentes, y por tanto, de las nueve subimágenes segmentadas con dimensión a/2 x b/2 x n, en una única imagen con dimensión a x b x n que corresponde a una única segmentación de la imagen médica inicial.

Más precisamente, la invención propone un proceso de segmentación automática después de que una base de datos de conocimiento haya aprendido las estructuras anatómicas y patológicas, o los instrumentos que se pueden ver en la imagen médica 3D de dimensión a x b x n a través de un algoritmo compuesto por tres etapas. La primera etapa consiste en extraer nueve subimágenes de dimensiones a/2 x b/2 x n, la segunda etapa consiste en que nueve redes neuronales convolucionales (CNN) analicen una de estas nueve subimágenes y la tercera etapa consiste en combinar los resultados de los nueve análisis, y por tanto, de las nueve subimágenes segmentadas con dimensiones a/2 x b/2 x n, en una única imagen con dimensión a x b x n. El resultado es una única segmentación de la imagen inicial. La principal originalidad radica en esta arquitectura global y en la partición del análisis de imagen original basado en CNN en nueve análisis de subimágenes basados en CNN.

La invención se comprenderá mejor con la ayuda de la descripción de a continuación, que se refiere al menos a una realización preferida, dada a modo de ejemplo no limitativo y explicada con referencia a los dibujos adjuntos, en donde: • la Figura 6 es una representación esquemática que ilustra gráficamente las etapas de procesamiento del método inventivo, en concreto: la división de imagen específica que resulta en la extracción de nueve subimágenes (numeradas del 1 al 9) de la imagen médica a x b inicial; el análisis y segmentación de cada subimagen mediante una CNN dedicada (fila de puntos redondos en la Figura 6); y la superposición parcial múltiple de las nueve subimágenes de la partición de imagen inicial y la fusión de los resultados de los análisis de las CNN, con la definición y la agrupación de dieciséis regiones fraccionarias complementarias (designadas A a P);

• la Figura 7 ilustra a modo de ejemplo un subconjunto de cuatro imágenes diferentes generadas a partir de la primera subimagen del ejemplo ilustrado en la Figura 6 (subimagen numerada 1 en la Figura 6) mediante un desplazamiento (traslación) de un píxel (o un vóxel) en las tres direcciones posibles;

• la Figura 8 ilustra a modo de ejemplo un subconjunto de nueve imágenes diferentes generadas a partir de la misma subimagen que la Figura 7, mediante un desplazamiento (traslación) de uno o dos píxeles (o vóxeles);

• la Figura 9 es una representación esquemática que ilustra gráficamente las etapas involucradas con el procesamiento (segmentación) de una imagen 2D (un corte de una imagen 3D) por un grupo de nueve CNN coordinadas, cada una dedicada a la segmentación de una de las nueve subimágenes (1 a 9) extraídas de la imagen inicial, combinándose o fusionándose los resultados de segmentación individuales de todas las subimágenes en una única segmentación de imagen inicial;

• la Figura 10 es una representación esquemática, similar a la de la Figura 9, que ilustra gráficamente las etapas involucradas con el procesamiento (segmentación) de un conjunto de n (en el presente documento n = 5) imágenes 2D (conjunto de n cortes de una imagen 3D), dando como resultado una única segmentación de imagen.

Como se ilustra esquemáticamente en las Figuras 6, 9 y 10 en particular, la invención está relacionada con un método de segmentación automática de una imagen médica haciendo uso de una base de datos de conocimiento que contiene información sobre las estructuras o instrumentos anatómicos y patológicos, que se pueden ver en una imagen médica 3D de dimensión a x b x n, es decir compuesta por n imágenes 2D diferentes, cada una de dimensión a x b,

el método caracterizado por que comprende principalmente las tres etapas de proceso, en concreto:

una primera etapa que consiste en extraer de dicha imagen médica nueve subimágenes (1 a 9) de dimensiones a/2 x b/2 x n, es decir, nueve subimágenes a/2 x b/2 parcialmente superpuestas de cada imagen 2D;

una segunda etapa que consiste en nueve redes neuronales convolucionales (CNN) que analizan y segmentan cada una de estas nueve subimágenes (1 a 9) de cada imagen 2D;

una tercera etapa que consiste en combinar los resultados de los nueve análisis y segmentaciones de las n imágenes 2D diferentes, y por tanto, de las nueve subimágenes segmentadas con dimensión a/2 x b/2 x n, en una única imagen con dimensión a x b x n que corresponde a una única segmentación de la imagen médica inicial.

Al proporcionar una partición específica de la imagen médica que se va a tratar, combinada con un procesamiento paralelo por medio de una arquitectura adaptada de CNN dedicadas, explotando la información de localización específica de órganos, tejidos, objetos y posibles características internas similares, la invención permite una segmentación más rápida, más precisa y más eficiente de la imagen médica.

Normalmente, un algoritmo de CNN conocido que puede utilizarse dentro del método y el sistema de la presente invención es "U-Net" (véase por ejemplo: "U-Net: "U-Net: Convolutional Networks for Biomedical Image Segmentation"; O. Ronnebergeret al.;MICCAI 2015, Parte III, LNCS 3951, págs. 234-241, Springer IPS).

"U-Net" puede implementarse en conexión con otras arquitecturas conocidas como "ResNet" o "DenseNet".

La etapa de combinación o fusión de los resultados proporcionados por las CNN (en particular por dos o tres CNN diferentes en las regiones superpuestas de las subimágenes) se puede realizar mediante la suma (ponderada) de los clasificadores, la multiplicación (producto) o una operación de ensamblaje de predicciones adaptada similar conocida por el experto en la materia.

De acuerdo con una característica importante de la invención, que aparece de forma clara e inequívoca en las Figuras 6, 9 y 10, las nueve subimágenes 1 a 9 de dimensión a/2 x b/2 cada una se extraen de la siguiente manera a partir de una imagen 2D de dimensión a x b:

• partición simétrica de la imagen 2D en cuatro subimágenes 1 a 4 por los mediadores de los dos pares de lados opuestos;

• formando dos subimágenes 5, 6 y 7, 8 que tienen un lado en común entre ellas y centradas hacia los lados perpendiculares de la imagen 2D, de acuerdo con cada una de las dos direcciones de dicha imagen;

• formando una subimagen 9 que está centrada hacia la imagen 2D y tiene sus lados paralelos a los lados de dicha imagen.

Como también se muestra en las Figuras 6, 9 y 10 mencionadas anteriormente, la superposición de las nueve subimágenes 1 a 9 está configurada para generar dieciséis regiones complementarias y fraccionarias A a P de dimensión a/4 x b/4 cada una, cubriendo juntas la superficie completa de la imagen 2D inicial considerada.

Para aumentar la velocidad de aprendizaje de la base de datos de conocimiento, haciendo uso de la estructuración y contenidos de imágenes médicas, el método de la invención también puede consistir en:

• construir una base de datos de conocimiento a partir de K imágenes médicas segmentadas de a x b x N(i) dimensiones, siendo N(i) el número de cortes a lo largo de Z de la imagen i, donde i varía de 1 a K,

• crear a partir de cada imagen de la base de datos de conocimiento nueve subconjuntos de imágenes de dimensiones a/2 x b/2 x N(i) dimensiones,

• permitir la segmentación de las nueve subimágenes de a/2 x b/2 x N(i) dimensiones y la creación de imágenes de cada subconjunto a partir de las nueve subimágenes, y luego desplazando esta selección en 1 a T vóxel o vóxeles en las direcciones X e Y, proporcionando, por tanto, nueve subconjuntos de 4 a (T+1)2 imágenes, cada una con las mismas dimensiones.

De acuerdo con una primera realización de la invención, mostrada en la Figura 9, el método de segmentación automática consiste, por medio de nueve CNN 2D,

• en analizar cada una de las nueve subimágenes 1 a 9 por medio de una CNN 2D dedicada y segmentando una tras otra los n cortes con dimensiones a/2 x b/2, y luego

• en combinar los resultados proporcionados por las nueve CNN para proporcionar mediante la fusión de dichos resultados una única segmentación de imagen inicial.

De acuerdo con una segunda realización de la invención, mostrada en la Figura 10, el método de segmentación automática consiste, por medio de nueve CNN 3D,

• en analizar cada una de las nueve subimágenes por medio de una CNN 3D dedicada y segmentando uno tras otro todos los subconjuntos de L cortes sucesivos con una dimensión a/2 x b/2, L que oscila de 2 a n, el número de subconjuntos de subimágenes 3D con una dimensión a/2 x b/2 que varía entre 1 y n - L+1, y luego • en combinar los resultados del análisis proporcionados por las nueve CNN para proporcionar mediante la fusión de dicho resultado una única segmentación de imagen inicial.

La invención también abarca un sistema para realizar una segmentación automática de una imagen médica mediante la implementación del método de acuerdo con cualquiera de las reivindicaciones 1 a 6, caracterizado por que comprende al menos un dispositivo informático que aloja y permite el funcionamiento coordinado de nueve redes neuronales convolucionales (CNN) adaptadas para realizar la segmentación de al menos una parte de una imagen médica, utilizando información de una base de datos de conocimiento, alojando también dicho al menos un dispositivo informático y ejecutando programas que llevan a cabo la partición de imágenes médicas y la fusión de resultados de segmentación parcial proporcionados por las diferentes CNN.

Por supuesto, la invención no se limita a las dos realizaciones descritas y representadas en los dibujos adjuntos. Siguen siendo posibles modificaciones, en particular, desde el punto de vista de la composición de los diversos elementos o por sustitución de equivalentes técnicos, sin sobrepasar por ello el campo de protección de la invención.

Claims (5)

REIVINDICACIONES

1. Método de segmentación automática de una imagen médica 3D dada, haciendo uso dicho método de una base de datos de conocimiento que contiene información sobre las estructuras o instrumentos anatómicos y patológicos que se pueden ver en una imagen médica 3D de este tipo de dimensión a x b x n, es decir, una imagen médica 3D compuesta por n imágenes 2D diferentes de una dimensión a x b cada una,

el métodocaracterizado por quecomprende tres etapas de proceso, en concreto:

una primera etapa que consiste en extraer de dicha imagen médica 3D dada nueve subimágenes 3D (1 a 9) de dimensiones a/2 x b/2 x n que corresponden a nueve subimágenes 2D a/2 x b/2 parcialmente superpuestas de cada una de las n imágenes 2D diferentes;

una segunda etapa que consiste en que nueve redes neuronales convolucionales (CNN) que analizan y segmentan cada una de estas nueve subimágenes 2D (1 a 9) de cada una de dichas n imágenes 2D diferentes;

una tercera etapa que consiste en combinar los resultados de los nueve análisis y segmentaciones de las n imágenes 2D diferentes y, por tanto, de las nueve subimágenes 3D segmentadas con dimensiones a/2 x b/2 x n, en una única imagen 3D con una dimensión a x b x n que corresponde a una única segmentación de la imagen médica 3D inicial dada;

en donde las dichas nueve subimágenes 2D (1 a 9) de dimensión a/2 x b/2 cada una se extraen cada vez de la siguiente manera a partir de una imagen 2D dada de dimensión a x b:

- partición simétrica de la imagen 2D en cuatro subimágenes 2D (1 a 4) por los mediadores de los dos pares de lados opuestos;

- formando dos subimágenes 2D (5, 6 y 7, 8) que tienen un lado en común entre ellas y centradas hacia los lados perpendiculares de la imagen 2D de acuerdo con cada una de las dos direcciones de dicha imagen;

- formando una subimagen 2D (9) que está centrada hacia la imagen 2D y tiene sus lados paralelos a los lados de dicha imagen.

2. Método de segmentación automática de acuerdo con la reivindicación 1,caracterizado por quela superposición de las nueve subimágenes 2D (1 a 9) de una imagen 2D dada está configurada para generar dieciséis regiones complementarias y fraccionarias (A a P) de dimensión a/4 x b/4 cada una, cubriendo juntas la superficie completa de la imagen 2D dada considerada.

3. Método de segmentación automática de acuerdo con cualquiera de las reivindicaciones 1 o 2,caracterizado por queconsiste, por medio de nueve CNN 2D,

- en analizar cada una de las nueve subimágenes 2D (1 a 9) por medio de una CNN 2D dedicada y segmentando una tras otra los n cortes con dimensiones a/2 x b/2, y luego

- en combinar los resultados proporcionados por las nueve CNN 2D para proporcionar mediante la fusión de dichos resultados una única segmentación de imagen 2D inicial.

4. Método de segmentación automática de acuerdo con cualquiera de las reivindicaciones 1 o 2,caracterizado por queconsiste, por medio de nueve CNN 3D,

- en analizar cada una de las nueve subimágenes 3D por medio de una CNN 3D dedicada y segmentando uno tras otro todos los subconjuntos de L cortes sucesivos con una dimensión a/2 x b/2, L que oscila entre 2 a n, variando el número de subconjuntos de subimágenes con una dimensión a/2 x b/2 entre 1 y n - L+1, y luego

<- en combinar los resultados del análisis proporcionados por las nueve CNN>3<d para proporcionar, mediante dicha>fusión de resultados, una única segmentación de imagen 3D inicial.

5. Sistema para realizar una segmentación automática de una imagen médica 3D implementando el método de acuerdo con cualquiera de las reivindicaciones 1 a 4,caracterizado por quecomprende al menos un dispositivo informático configurado para alojar y ejecutar programas que llevan a cabo la extracción de subimágenes 3D de acuerdo con, respectivamente, las reivindicaciones 1-4, y la combinación de acuerdo con, respectivamente, las reivindicaciones 1-4 de los resultados del análisis y segmentación proporcionados por nueve redes neuronales convolucionales (CNN), estando además configurado el al menos un dispositivo informático para alojar y coordinar el funcionamiento de las redes neuronales convolucionales adaptadas de acuerdo con, respectivamente, las reivindicaciones 1-4 para realizar el análisis y la segmentación de cada una de las subimágenes 3D extraídas.