ES3033863T3 - Method for classifying a sequence of input images representing a particle in a sample over time - Google Patents

Abstract

La invención se refiere a un método para clasificar una secuencia de imágenes de entrada que representan una partícula objetivo (11a-11f) en una muestra (12) a lo largo del tiempo, caracterizándose el método porque comprende los siguientes pasos realizados por los medios de procesamiento de datos (20) de un cliente (2), a saber: (b) concatenación de las imágenes de entrada en la secuencia como una pila tridimensional; (c) clasificación directa de la pila tridimensional utilizando una red neuronal convolucional, CNN. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Procedimiento de clasificación de una secuencia de imágenes de entrada que representan una partícula en una muestra a lo largo del tiempo

Campo técnico general

La presente invención se refiere al campo de la adquisición óptica de partículas biológicas. Las partículas biológicas pueden ser microorganismos como bacterias, hongos o levaduras, por ejemplo. También pueden ser células, organismos pluricelulares o cualquier otra partícula, como un contaminante o polvo.

La invención encuentra una aplicación particularmente ventajosa en el análisis del estado de una partícula biológica, por ejemplo para conocer el estado metabólico de una bacteria tras la aplicación de un antibiótico. La invención permite, por ejemplo, realizar un antibiograma de una bacteria.

Estado de la técnica

Un antibiograma es una técnica de laboratorio diseñada para probar el fenotipo de una cepa bacteriana frente a uno o más antibióticos. Una prueba de susceptibilidad a los antibióticos se realiza normalmente cultivando una muestra que contiene bacterias y un antibiótico.

La solicitud de patente europea n° 2.603.601 describe un procedimiento para realizar un antibiograma visualizando el estado de las bacterias tras un periodo de incubación en presencia de un antibiótico.. Para visualizar las bacterias, se marcan con marcadores fluorescentes para revelar sus estructuras. A continuación, se puede medir la fluorescencia de los marcadores para determinar si el antibiótico ha tenido un efecto eficaz sobre las bacterias.

El procedimiento clásico para determinar qué antibióticos son eficaces sobre una cepa bacteriana consiste en tomar una muestra que contenga dicha cepa (por ejemplo, de un paciente, un animal, un lote de alimentos, etc.) y enviarla a continuación a un centro de análisis. Cuando el centro de análisis recibe la muestra, comienza por cultivar la cepa bacteriana para obtener al menos una colonia, cultivo que dura entre 24 y 72 horas. A continuación, se preparan varias muestras con diferentes antibióticos y/o concentraciones de antibióticos a partir de esta colonia y se incuban de nuevo las muestras. Tras otro periodo de cultivo de entre 24 y 72 horas, cada muestra se analiza manualmente para determinar si el antibiótico ha sido eficaz. A continuación, los resultados se envían al médico para que aplique el antibiótico y/o la concentración de antibiótico más eficaces.

Sin embargo, el procedimiento de etiquetado es particularmente largo y complejo de llevar a cabo y estos marcadores químicos tienen un efecto citotóxico sobre las bacterias. En consecuencia, este procedimiento de visualización no permite observar las bacterias en varios puntos durante el cultivo de las mismas, de ahí la necesidad de utilizar un tiempo de cultivo suficientemente largo, del orden de 24 a 72 horas, para garantizar la fiabilidad de la medición. Otros procedimientos de visualización de partículas biológicas utilizan un microscopio, lo que permite la medición no destructiva de una muestra.

La microscopía holográfica digital o DHM (Digital Holographic Microscopy) es una técnica de imagen que supera las limitaciones de profundidad de campo de la microscopía óptica convencional. Esquemáticamente, consiste en grabar un holograma formado por la interferencia entre las ondas luminosas difractadas por el objeto observado y una onda de referencia con coherencia espacial. Esta técnica se describe en el artículo de revisión de Myung K.Kim titulado "Principles and techniques of digital holographic microscopy" publicado en SPIE Reviews Vol.. 1, N°l, enero de 2010.

Recientemente, se ha propuesto utilizar la microscopía holográfica digital para identificar microorganismos de forma automatizada. Así, la solicitud internacional WO2017/207184 describe un procedimiento de adquisición de una partícula que incorpora una simple adquisición desenfocada asociada a una reconstrucción digital del foco, lo que permite observar una partícula biológica limitando el tiempo de adquisición.

Típicamente, esta solución permite detectar cambios estructurales en una bacteria en presencia de un antibiótico después de una incubación de sólo unos diez minutos, y su sensibilidad después de dos horas (detección de la presencia o ausencia de una división o de un motivo codificador de división) a diferencia del procedimiento convencional descrito anteriormente, que puede tardar varios días. Dado que las mediciones no son destructivas, es posible realizar análisis en una fase muy temprana del procedimiento de cultivo sin riesgo de destruir la muestra y, por tanto, prolongar el tiempo de análisis.

Incluso es posible seguir una partícula a lo largo de varias imágenes sucesivas para formar una película que represente la evolución de una partícula en el tiempo (ya que las partículas no se alteran después del primer análisis) con el fin de visualizar su comportamiento, por ejemplo su velocidad de movimiento o su procedimiento de división celular.

Se entiende, por tanto, que el procedimiento de visualización da excelentes resultados. La dificultad estriba en la interpretación de estas imágenes o de la propia película si, por ejemplo, queremos llegar a una conclusión sobre la susceptibilidad de una bacteria al antibiótico presente en la muestra, sobre todo de forma automática.

Se han propuesto diversas técnicas, que van desde el simple recuento de bacterias a lo largo del tiempo hasta el denominado análisis morfológico destinado a detectar "configuraciones" particulares mediante el análisis de imágenes. Por ejemplo, cuando una bacteria se prepara para dividirse, aparecen dos polos en la distribución, mucho antes de la propia división, lo que da lugar a dos porciones distintas de la distribución.

Se propuso en el artículo Choi, J., Yoo, J., Lee, M., et al.. (2014). Una prueba rápida de susceptibilidad antimicrobiana basada en el análisis morfológico unicelular. Science Translational Medicine, 6(267). https://doi.org/10.1126/scitranslmed.3009650 combinar las dos técnicas para evaluar un efecto antibiótico. Sin embargo, como señalan los autores, su enfoque requiere una calibración muy precisa de una serie de umbrales que dependen en gran medida de la naturaleza de los cambios morfológicos provocados por los antibióticos.

Más recientemente, el artículo Yu, H., Jing, W., Iriya, R., et al.. (2018). Phenotypic Antimicrobial Susceptibility Testing with Deep Learning Video Microscopy. Analytical Chemistry, 90(10), 6314-6322. https://doi.org/10.1021/acs.analchem.8b01128 describe un enfoque basado en el aprendizaje profundo (Deep learning). Los autores proponen extraer características morfológicas así como características ligadas al movimiento bacteriano utilizando una red neuronal convolucional ((Convolutional Neural Network, CNN). Por un lado, sin embargo, esta solución resulta muy pesada en términos de recursos informáticos, y requiere una vasta base de datos de imágenes de entrenamiento para entrenar la CNN.. Los trabajos "Embedded neural network system for microorganisms growth analysis" de D. Bliznuks et al..., " Performance of convolutional neural networks for iden tification of bacteria in 3D microscopy datasets" de E. Hay et al. y "Phenotipic Antimicrobial Susceptibility Testing with Deep Learning Video Microscopy" de Hui Yu et al. también serían relevantes.

El problema técnico objetivo de la presente invención es, por tanto, proporcionar una solución que sea a la vez más eficiente y más ligera para clasificar imágenes de una partícula biológica.

Presentación de la invención

Según un primer aspecto, la presente invención se refiere a un procedimiento de clasificación de una secuencia de imágenes de entrada que representan una partícula objetivo en una muestra, caracterizándose el procedimiento en que comprende implementar, por medios de procesamiento de datos cliente, las etapas de:

(b) Concatenación de dicha secuencia de imágenes de entrada en forma de pila tridimensional;

(c) Clasificación directa de dicha pila tridimensional mediante una red neuronal convolucional, CNN, estando dicha CNN compuesta por una sucesión de bloques de convolución compuestos por una denominada capa de convolución 3D, aplicando a un mapa de características de entrada de dimensión cuatro filtros de dimensión cuatro con el fin de generar un mapa de características de salida de dimensión cuatro, una capa de activación y una capa de agrupación 3D, a continuación una capa de aplanamiento y, por último, una o varias capas totalmente conectadas.

Según características ventajosas y no limitativas:

Las partículas se representan de forma homogénea en cada imagen de entrada, en particular centradas y alineadas en una dirección predeterminada.

El procedimiento comprende una etapa (a) de extraer de cada imagen de entrada una imagen global de la muestra, con el fin de representar dicha partícula objetivo de dicha manera homogénea.

La etapa (a) comprende, para cada imagen de entrada, segmentar dicha imagen global con el fin de detectar dicha partícula objetivo en la muestra, y a continuación recortar la imagen de entrada sobre dicha partícula objetivo detectada.

La etapa (a) comprende obtener dicha imagen global a partir de una imagen de intensidad de la muestra adquirida por un dispositivo de observación.

Dicha pila tridimensional tiene dos dimensiones espaciales y una dimensión temporal, dichos filtros y mapas de características tienen como primeras tres dimensiones dichas dimensiones espaciales y temporales, y como cuarta dimensión una profundidad semántica.

Los filtros en dicha capa de convolución 3D tienen una profundidad igual a la profundidad del mapa de características de entrada, y el mapa de características de salida tiene una profundidad igual al número de filtros en la capa de convolución 3D.

Dicha CNN comprende únicamente dos bloques de convolución.

El procedimiento comprende una etapa (a0) de aprendizaje, por medios de procesamiento de datos de un servidor, de los parámetros de dicho clasificador a partir de una base de aprendizaje ya clasificada de secuencias de imágenes de partículas de dicha muestra.

Según un segundo aspecto, se propone un sistema de clasificación de una secuencia de imágenes de entrada que representan una partícula objetivo en una muestra a lo largo del tiempo, que comprende al menos un cliente que comprende medios de procesamiento de datos, caracterizado en que dichos medios de procesamiento de datos están configurados para implementar:

• la concatenación de dichas imágenes de entrada de la secuencia en forma de pila tridimensional;

• la clasificación directa de dicha pila tridimensional mediante una red neuronal convolucional, CNN, estando dicha CNN compuesta por una sucesión de bloques de convolución constituidos por una capa denominada de convolución 3D, aplicando a un mapa de características de entrada de dimensión cuatro filtros de dimensión cuatro con el fin de generar un mapa de características de salida de dimensión cuatro, una capa de activación y una capa de agrupamiento 3D, a continuación una capa de aplanamiento y, por último, una o varias capas totalmente conectadas.

Según características ventajosas y no limitantes, el sistema comprende además un dispositivo para observar dicha partícula objetivo en la muestra.

Según un tercer y cuarto aspecto se proporciona un producto de programa informático que comprende instrucciones de código para realizar un procedimiento según el primer aspecto de clasificar una secuencia de imágenes de entrada que representan una partícula objetivo en una muestra; y medios de almacenamiento legibles por un equipo informático en el que un producto de programa informático comprende instrucciones de código para realizar un procedimiento según el primer aspecto de clasificar una secuencia de imágenes de entrada que representan una partícula objetivo en una muestra.

Presentación de las figuras

Otras características y ventajas de la presente invención se harán evidentes a partir de la siguiente descripción de una realización preferente. Esta descripción se hará con referencia a los dibujos anexos en los que :

• La figura 1 es un esquema de una arquitectura para implementar el procedimiento según la invención; • La figura 2 muestra un ejemplo de dispositivo de observación de partículas en una muestra utilizado en una realización preferente del procedimiento según la invención;

• La figura 3a muestra cómo se obtiene la imagen de entrada en una realización del procedimiento según la invención;

• La figura 3b muestra cómo se obtiene la imagen de entrada en una realización preferente del procedimiento según la invención;

• La figura 4 muestra las etapas de una realización preferente del procedimiento según la invención;

• La figura 5 muestra un ejemplo de arquitectura de red neuronal convolucional utilizada en una realización preferente del procedimiento según la invención.

Descripción detallada

Arquitectura

La invención se refiere a un procedimiento de clasificación de una secuencia de imágenes de entrada representativas de una partícula 11a-11f presente en una muestra 12, denominada partícula objetivo. Obsérvese que el procedimiento puede implementarse en paralelo para todas o algunas de las partículas 11 a-11 f presentes en una muestra 12, considerándose cada una de ellas una partícula objetivo sucesivamente.

Como se verá, este procedimiento incluye un componente de aprendizaje automático, y en particular una red neuronal convolucional, CNN.

Los datos de entrada o de entrenamiento son datos de imagen, y representan la partícula objetivo 11 a-11 f en una muestra 12 (en otras palabras, son imágenes de la muestra en las que la partícula objetivo es visible). Dicha secuencia consiste en una pluralidad de imágenes de entrada de la misma partícula objetivo 11a-11f a lo largo del tiempo. Como se verá, puede introducirse una pluralidad de secuencias de imágenes de las partículas 11a-11f de la muestra 12 si se consideran varias partículas.

La muestra 12 consiste en un líquido tal como agua, una solución tampón, un medio de cultivo o un medio reactivo (que comprenda o no un antibiótico), en el que se encuentran las partículas 11a-11f que deben observarse.

Alternativamente, la muestra 12 puede estar en forma de un medio sólido, preferiblemente translúcido, tal como agaragar agar, en el que se encuentran las partículas 11a-11f. La muestra 12 también puede ser un medio gaseoso. Las partículas 11a-11 f pueden estar situadas en el interior del medio o en la superficie de la muestra 12.

Las partículas 11 a-11f pueden ser microorganismos tales como bacterias, hongos o levaduras. También pueden ser células, organismos pluricelulares o cualquier otra partícula, como un contaminante o el polvo. En el resto de la descripción, tomaremos el ejemplo preferido en el que la partícula es una bacteria (y como veremos la muestra 12 incorpora un antibiótico). El tamaño de las partículas 11a-11f observadas varía entre 500 nm y varios cientos de |jm, incluso algunos milímetros.

"Clasificar" una secuencia de imágenes de entrada consiste en determinar al menos una clase de un conjunto de posibles clases descriptivas de las imágenes. Por ejemplo, en el caso de partículas similares a bacterias, podemos tener una clasificación binaria, es decir, dos clases posibles de efecto "división" o "no división", que indican respectivamente resistencia o no a un antibiótico. La presente invención no se limitará a ningún tipo particular de clasificación, aunque se describirá principalmente el ejemplo de una clasificación binaria del efecto de un antibiótico sobre dicha partícula objetivo 11 a-11 f.

Los presentes procedimientos se implementan dentro de una arquitectura como la representada por laFigura 1,mediante un servidor 1 y un cliente 2. El servidor 1 es el dispositivo de aprendizaje (que ejecuta el procedimiento de aprendizaje) y el cliente 2 es un dispositivo de usuario (que ejecuta el procedimiento de clasificación), por ejemplo, el terminal de un médico o de un hospital.

Es totalmente posible que los dos equipos 1, 2 se confundan, pero preferentemente el servidor 1 es un equipo a distancia, y el cliente 2 es un equipo de consumo, en particular un ordenador de sobremesa, un ordenador portátil, etc. El equipo cliente 2 está ventajosamente conectado a un dispositivo de observación 10, de modo que pueda adquirir directamente dicha imagen de entrada (o, como veremos más adelante, datos de adquisición "brutos", como una imagen global de la muestra 12, o incluso matrices electromagnéticas), normalmente para procesarla en directo, alternativamente la imagen de entrada se cargará en el equipo cliente 2.

En todos los casos, cada equipo 1, 2 es típicamente un equipo informático remoto conectado a una red local o a una red de área extensa como Internet para el intercambio de datos. Cada uno comprende medios de procesamiento de datos 3, 20 del tipo procesador, y medios de almacenamiento de datos 4, 21 tales como una memoria de ordenador, por ejemplo una memoria flash o un disco duro. El cliente 2 suele incluir una interfaz de usuario 22, como una pantalla para interactuar.

El servidor 1 almacena ventajosamente una base de datos de aprendizaje, es decir, un conjunto de secuencias de imágenes de partículas 11a-11f en diversas condiciones (véase más adelante) ya clasificadas (por ejemplo, asociadas a etiquetas "con división" o "sin división" que señalan sensibilidad o resistencia a los antibióticos). Obsérvese que los datos de entrenamiento pueden asociarse a etiquetas que definan las condiciones de prueba, por ejemplo indicando "cepas", "condiciones del antibiótico", "tiempo", etc. para cultivos bacterianos.

Adquisición

Aunque como se ha explicado el presente procedimiento puede tomar directamente como entrada cualquier imagen de la partícula objetivo 11a-11 f, obtenida de cualquier manera. Preferentemente, el presente procedimiento comienza con una etapa (a) de obtención de la imagen de entrada a partir de los datos suministrados por un dispositivo de observación 10.

De manera conocida, el experto podrá utilizar técnicas de microscopía holográfica digital DHM, en particular tal como se describen en la solicitud internacional WO2017/207184.. En particular, puede adquirirse una imagen de intensidad de la muestra 12, denominada holograma, que no está enfocada en la partícula objetivo (denominada imagen "out-offocus"), y que puede ser procesada por medios de tratamiento de datos (integrados en el dispositivo 10 o en los 20 del cliente 2, por ejemplo, véase más adelante). Se entiende que el holograma "representa" de algún modo todas las partículas 11a-11f de la muestra.

LaFigura 2ilustra un ejemplo de un dispositivo 10 para observar una partícula 11a-11f presente en una muestra 12. La muestra 12 se coloca entre una fuente de luz 15 espacial y temporalmente coherente (por ejemplo, un láser) o pseudocoherente (por ejemplo, un diodo emisor de luz, un diodo láser) y un sensor digital 16 sensible en la gama espectral de la fuente de luz. Preferiblemente, la fuente de luz 15 tiene una anchura espectral pequeña, por ejemplo menos de 200 nm, menos de 100 nm o incluso menos de 25 nm. A continuación, se hace referencia a la longitud de onda de emisión central de la fuente de luz, por ejemplo en el rango visible. La fuente de luz 15 emite una señal coherente Sn dirigida a una primera cara 13 de la muestra, por ejemplo a través de una guía de ondas como una fibra óptica.

La muestra 12 (como se ha explicado típicamente un medio de cultivo) está contenida en una cámara de análisis, delimitada verticalmente por una placa inferior y una placa superior, por ejemplo portaobjetos de microscopio convencionales. La cámara de análisis está delimitada lateralmente por un adhesivo o cualquier otro material estanco. Las placas inferior y superior son transparentes a la longitud de onda de la fuente de luz 15, la muestra y la cámara permitiendo, por ejemplo, que más del 50% de la longitud de onda de la fuente de luz pase bajo incidencia normal en la placa inferior.

Preferentemente, las partículas 11a-11f están dispuestas en la muestra 12 en la placa superior. La superficie inferior de la placa superior contiene para este fin ligandos que permiten la unión de partículas, por ejemplo policationes (p. ej. poli-L-lisina) en el marco de los microorganismos. Esto permite contener las partículas en un espesor igual o próximo a la profundidad de campo del sistema óptico, es decir, en un espesor inferior a 1 mm (por ejemplo, lente de tubo), y preferentemente inferior a 100 |jm (por ejemplo, objetivo de microscopio). No obstante, las partículas 11a-11f pueden moverse en la muestra 12.

Preferentemente, el dispositivo comprende un sistema óptico 23 formado, por ejemplo, por un objetivo de microscopio y una lente tubular, dispuestos en el aire y a una distancia fija de la muestra. El sistema óptico 23 está equipado opcionalmente con un filtro que puede estar situado delante del objetivo o entre el objetivo y la lente tubular. El sistema óptico 23 se caracteriza por su eje óptico, su plano objeto, también denominado plano de enfoque, a una distancia de la lente, y su plano imagen, conjugado con el plano objeto por el sistema óptico. En otras palabras, un objeto situado en el plano objeto corresponde a una imagen nítida de ese objeto en el plano imagen, también conocido como plano focal. Las propiedades ópticas del sistema 23 son fijas (por ejemplo, óptica de distancia focal fija). Los planos del objeto y de la imagen son ortogonales al eje óptico.

El sensor de imagen 16 está situado, orientado hacia una segunda cara 14 de la muestra, en o cerca del plano focal. El sensor, por ejemplo un sensor CCD o CMOS, comprende una matriz periódica bidimensional de sitios elementales sensibles, y una electrónica de proximidad que regula el tiempo de exposición y el reajuste de los sitios, de una manera conocida per se. La señal de salida de un emplazamiento elemental es función de la cantidad de radiación en la gama espectral que incide en dicho emplazamiento durante el periodo de exposición. A continuación, esta señal se convierte, por ejemplo mediante electrónica de proximidad, en el punto de imagen, o "píxel", de una imagen digital. El sensor produce una imagen digital en forma de matriz con C columnas y L filas. Cada píxel de esta matriz, con coordenadas (c, l) en la matriz, corresponde de manera conocida per se a una posición con coordenadas cartesianas (x(c, l), y(c, l)) en el plano focal del sistema óptico 23, por ejemplo la posición del centro del sitio sensible elemental de forma rectangular.

El paso y el factor de llenado de la red periódica se eligen para cumplir el criterio de Shannon-Nyquist con respecto al tamaño de las partículas observadas, a fin de definir al menos dos píxeles por partícula. Así, el sensor de imagen 16 adquiere una imagen de transmisión de la muestra en el rango espectral de la fuente de luz.

La imagen adquirida por el sensor de imagen 16 incluye información holográfica en la medida en que resulta de la interferencia entre una onda difractada por las partículas 11 a-11 f y una onda de referencia que ha atravesado la muestra sin haber interactuado con ella. Obviamente, como se ha descrito anteriormente, con un sensor CMOS o CCD, la imagen digital adquirida es una imagen de intensidad, por lo que la información de fase se codifica en esta imagen de intensidad.

Alternativamente, es posible dividir la señal coherente Sn procedente de la fuente de luz 15 en dos componentes, por ejemplo mediante una placa semitransparente. La primera componente se utiliza entonces como onda de referencia y la segunda componente es difractada por la muestra 12, resultando la imagen en el plano de imagen del sistema óptico 23 de la interferencia entre la onda difractada y la onda de referencia.

Con referencia a laFigura 3a,es posible en la etapa (a) reconstruir a partir del holograma una pluralidad de imágenes globales de la muestra 12, y a continuación extraer cada imagen de entrada a partir de una imagen global de la muestra.

En efecto, se entiende que la partícula objetivo 11 a-11f debe representarse de manera homogénea en cada imagen de entrada, en particular centrada y alineada a lo largo de una dirección predeterminada (por ejemplo, la dirección horizontal). Las imágenes de entrada también deben tener un tamaño normalizado (también es deseable que en la imagen de entrada sólo se vea la partícula objetivo 11a-11f). La imagen de entrada se denomina “miniatura” (en inglés thumbnail) y puede tener un tamaño de 250x250 píxeles, por ejemplo. Si se requiere una secuencia de imágenes de entrada, por ejemplo, se toma una imagen por minuto durante un intervalo de tiempo de 120 minutos, lo que da una secuencia de 120 imágenes de entrada.

La reconstrucción de cada imagen global se implementa como se ha explicado mediante medios de procesamiento de datos del dispositivo 10 o aquellos 20 del cliente 2.

Típicamente, se construye una serie de matrices complejas llamadas "matrices electromagnéticas" (para un instante de adquisición), modelando a partir de la imagen de intensidad de la muestra 12 (el holograma) el frente de onda de luz propagado a lo largo del eje óptico para una pluralidad de desviaciones del plano de enfoque del sistema óptico 23, y en particular desviaciones posicionadas en la muestra.

Estas matrices pueden proyectarse en el espacio real (a través de la norma Hermitiana, por ejemplo), con el fin de formar una pila de imágenes globales a varias distancias de enfoque.

A partir de aquí podemos determinar una distancia de enfoque media (y seleccionar la imagen global correspondiente, o recalcularla a partir del holograma), o incluso determinar una distancia de enfoque óptima para la partícula objetivo (y de nuevo seleccionar la imagen global correspondiente, o recalcularla a partir del holograma).

En cualquier caso, con referencia a laFigura 3b,la etapa (a) comprende ventajosamente segmentar dichas imágenes globales para detectar dicha partícula objetivo en la muestra, y luego recortar. En particular, cada imagen de entrada puede extraerse de una de las imágenes globales de la muestra, a fin de representar dicha partícula objetivo de manera homogénea.

En general, la segmentación detecta todas las partículas de interés, eliminando elementos perturbadores como filamentos o microcolonias, con el fin de mejorar la imagen o imágenes globales, a continuación se selecciona una de las partículas detectadas como partícula objetivo y se extrae la miniatura correspondiente. Como se ha explicado, esto puede hacerse para todas las partículas detectadas.

La segmentación puede implementarse de cualquier forma conocida. En el ejemplo de la figura 3b, comenzamos con una segmentación fina para eliminar los elementos perturbadores y, a continuación, utilizamos una segmentación menos fina para detectar las partículas 11a-11f. Puede utilizarse cualquier técnica de segmentación conocida.

Para obtener la secuencia de imágenes de entrada para una partícula objetivo 11a-11f, pueden implementarse técnicas de seguimiento para seguir cualquier desplazamiento de la partícula de una imagen global a la siguiente.

Obsérvese que todas las imágenes de entrada obtenidas para una muestra (para varias o incluso todas las partículas de la muestra 12, y esto a lo largo del tiempo) pueden agruparse para formar una base descriptiva de la muestra 12 (en otras palabras, una base descriptiva del experimento), como se ve a la derecha de la figura 3a, en particular copiadas en los medios de almacenamiento 21 del cliente 2. Esto se conoce como nivel de "campo", en contraposición al nivel de "partícula". Por ejemplo, si las partículas 11a-11f son bacterias y la muestra 12 contiene (o no) un antibiótico, esta base de datos descriptiva contiene toda la información sobre el crecimiento, la morfología, la estructura interna y las propiedades ópticas de estas bacterias en todo el campo de adquisición. Como veremos, esta base descriptiva puede transmitirse al servidor 1 para su integración en dicha base de aprendizaje.

Apilado

Como se verá, el presente procedimiento se distingue en que puede trabajar directamente sobre una secuencia de imágenes de entrada, sin necesidad ni de trabajar fotograma a fotograma ni de extraer mapas de características ("feature map") intermedios. Además, veremos que basta con una CNN muy sencilla y ligera para obtener una clasificación fiable y eficaz.

Con referencia a laFigura 4,el presente procedimiento comprende una etapa (b) de concatenar dichas imágenes de entrada de la secuencia en forma de una pila tridimensional, en otras palabras una "pila" 3D. Más concretamente, las imágenes de entrada tienen todas el mismo tamaño y forman una secuencia de matrices, por lo que basta con apilarlas en el orden de las imágenes de entrada para obtener la pila tridimensional.

Esta pila tridimensional puede verse por tanto como una imagen con tantos canales como instantes de tiempo de adquisición, aunque como se verá más adelante el presente procedimiento tratará esta pila de forma muy original como un único objeto tridimensional (por ejemplo de tamaño 250x250x120 si tenemos imágenes de entrada de tamaño 250x250 y una imagen adquirida por minuto durante 120 minutos) con un único canal, de la misma forma que una imagen RGB es un objeto bidimensional con tres canales. Las dos primeras dimensiones son clásicamente las dimensiones espaciales (es decir, el tamaño de las imágenes de entrada) y la tercera dimensión es la dimensión "temporal" (tiempo de adquisición).

Preferentemente, la etapa (b) comprende el submuestreo de dicha pila tridimensional, es decir, reducir el tamaño de la entrada.

Dicho submuestreo puede implementarse en la dimensión temporal de la pila y/o en sus dimensiones espaciales, preferiblemente en ambas.

En particular:

• En cuanto a la dimensión temporal, puede reducirse dividiendo el periodo de adquisición ennintervalos y seleccionando lasn+1imágenes de la secuencia correspondientes a los extremos de dichos intervalos, por ejemplo, conservando sólo 5 imágenes de una secuencia de 120 imágenes, lo que equivale a tomar una imagen cada 120/4 = 30 minutos (en particular, las imágenes adquiridas después de 1, 30, 60, 90 y 120 minutos). Sin embargo, aún es posible seleccionar imágenes de forma no regular (por ejemplo, seleccionando más imágenes al principio del periodo de adquisición que al final).

• En cuanto a las dimensiones espaciales, pueden reducirse utilizando cualquier técnica de submuestreo de imágenes con un factor de muestreo determinado (en cada eje para mantener las proporciones), por ejemplo un factor de 2.

Implementando las dos submuestras anteriores en combinación, pasamos de un tamaño de pila de 250x250x120 a un tamaño de pila de 125x125x5 (reducimos el tamaño de la pila casi en un factor de 100).

Nótese que este submuestreo puede realizarse aguas arriba de la generación de la pila (seleccionando y modificando las imágenes de entrada).

Clasificación

En una etapa (c), dicha pila tridimensional se clasifica directamente mediante una red neuronal convolucional adaptada, conocida como "3D CNN" debido a su capacidad para procesar los objetos tridimensionales que son pilas. Es importante entender, como se ha mencionado, que la pila tridimensional es tratada por la CNN como un único objeto de dimensión tres (es decir, con un único canal), y no como un objeto de dimensión dos con varios canales (como ocurre, por ejemplo, con una imagen RGB).

Por clasificación directa, o "de extremo a extremo", se entiende sin extracción separada de al menos un mapa de características de dicha partícula objetivo 11a-11f: se entiende que la CNN naturalmente tiene estados internos en forma de mapas de características, pero estos nunca se envían de vuelta fuera de la CNN, teniendo esta última como única salida el resultado de la clasificación.

Se recuerda que en general las CNN son particularmente adecuadas para tareas de visión y más particularmente de clasificación de imágenes. Normalmente, una CNN utiliza una pluralidad de capas de convolución, y esta CNN 3D utiliza al menos una capa de convolución 3D que modela la dependencia espacio-temporal entre diferentes imágenes de entrada.

Por capa de convolución 3D se entiende una capa de convolución que aplica filtros de dimensión cuatro, y por tanto capaz de trabajar sobre varios canales de pilas ya tridimensionales, es decir, un mapa de características de dimensión cuatro. En otras palabras, la capa de convolución 3D aplica filtros de dimensión cuatro a un mapa de características de entrada de dimensión cuatro para generar un mapa de características de salida de dimensión cuatro. La cuarta y última dimensión es la profundidad semántica, como en cualquier mapa de características.

Esto debe diferenciarse de las capas de convolución convencionales que sólo son adecuadas para trabajar con mapas de características tridimensionales que representan múltiples canales de objetos bidimensionales (imágenes).

Esta noción de convolución 3D puede parecer contraintuitiva, pero generaliza la noción de capa de convolución, que simplemente establece que se aplique una pluralidad de "filtros" de una profundidad igual al número de canales de la entrada (es decir, la profundidad del mapa de características de entrada), barriendo todas las dimensiones de la entrada (en 2D para una imagen), con el número de filtros definiendo la profundidad de salida.

Nuestra convolución 3D aplica por tanto filtros de dimensión cuatro con una profundidad igual al número de canales de la pila tridimensional de entrada, y barre estos filtros sobre todo el volumen de una pila tridimensional, por tanto las dos dimensiones espaciales pero también la dimensión temporal, es decir en 3D (de ahí el nombre de convolución 3D). El resultado es una pila de filtros tridimensional, es decir, un mapa de características de dimensión cuatro. En una capa de convolución convencional, utilizar un gran número de filtros aumenta sin duda la profundidad semántica de la salida (el número de canales), pero siempre tendremos un mapa de características de dimensión tres.

Entendemos que una capa de convolución 3D sigue siendo más pesada y requiere más potencia de cálculo, pero como se ha explicado, una arquitectura muy simple (y mucho más simple que CNNs conocidas como VGG616) es suficiente. LaFigura 5representa la arquitectura de una realización de la presente CNN 3D.

Clásicamente, esta arquitectura comprende ventajosamente una sucesión de bloques denominados de convolución compuestos por una capa de convolución 3D, una capa de activación (por ejemplo la función ReLU) para aumentar la profundidad de los mapas de características, y una capa de agrupación 3D (pooling) que permite reducir el tamaño del mapa de características (generalmente en un factor de 2). Lo notable es que dos bloques de convolución pueden ser suficientes, de modo que muy preferentemente la presente CNN 3D comprende sólo dos bloques de convolución.

Por capa de pooling 3D se entiende, como para la convolución 3D, una capa capaz de trabajar sobre mapas de características de dimensión cuatro, teniendo uno o más canales de apilamientos ya tridimensionales. En otras palabras, la reducción de tamaño se produce en todas las dimensiones de una pila tridimensional, es decir, las tres primeras dimensiones de un mapa de características de dimensión cuatro.

En el resto de la presente descripción, se hará una clara distinción entre el número de "dimensiones" de los mapas de características, en el sentido geométrico, es decir, el número de direcciones independientes en las que se extienden estos mapas (por ejemplo, un vector es un objeto de dimensión 1, una imagen es de dimensión 2, y los presentes mapas de características son de dimensión 4), y el número de "variables" de estos mapas de características, es decir, el tamaño de acuerdo con cada dimensión, es decir, el número de grados de libertad independientes (que corresponde en la práctica a la noción de dimensión en un espacio vectorial - más precisamente, el conjunto de mapas de características que tiene un número dado de variables constituye un espacio vectorial de dimensión igual a la dimensión 1).e. el número de grados de libertad independientes (que corresponde en la práctica a la noción de dimensión en un espacio vectorial - más precisamente, el conjunto de mapas de características con un número dado de variables constituye un espacio vectorial de dimensión igual a este número de variables).

Así, en el ejemplo de la Figura 5, la CNN 3D comienza como se ha explicado con 6 capas divididas en 2 bloques. La primera toma como entrada la pila tridimensional monocanal (formando así un objeto de tamaño 125x125x5x1 cuando se submuestrea ventajosamente como se ha propuesto anteriormente), y comprende una secuencia de convolución+ReLU (una primera capa de convolución 3D, y una capa de activación con una función ReLU) que eleva la profundidad a 30 y, a continuación, una capa de agrupación máxima (también puede utilizarse la agrupación media global), siendo la salida un mapa de características de tamaño 62x62x2x30 (como se ha explicado, la capa de agrupación 3D funciona en las tres dimensiones y no sólo en las dos dimensiones espaciales, por lo que la dimensión temporal también se reduce a la mitad).

En el ejemplo mostrado, la primera capa de convolución 3D utiliza 30 filtros de dimensión 3x3x3x1, por lo que requiere ((3*3*3*1)+1)*30=570 parámetros.

El segundo bloque tiene una arquitectura idéntica al primer bloque y genera a la salida de un nuevo conjunto convolución+ReLU (una segunda capa de convolución 3D, y una capa de activación de función ReLU) un mapa de características de tamaño 62x62x2x60 (profundidad duplicada) y a la salida de la capa de agrupación máxima un mapa de características de tamaño 12x12x1x60 (nótese que la reducción del tamaño espacial esta vez es un factor de cinco, pero la reducción del tamaño temporal sigue siendo un factor de dos).

Esta vez, la segunda capa de convolución 3D utiliza 60 filtros de dimensión 3x3x3x30, por lo que requiere ((3*3*3*30)+1)*60=32460 parámetros.

A la salida del último bloque de convolución (en este caso el segundo), la CNN 3D comprende ventajosamente una capa de "aplanamiento" que transforma el mapa de características "final" (que contiene la información "más profunda") a la salida de este bloque en un vector (objeto de dimensión 1). Así, por ejemplo, pasamos de un mapa de características de tamaño 12x12x1x60 a un vector de tamaño 12*12*1*60=8640. Comprenderá que no estamos limitados a ningún tamaño de tarjeta/filtro en ningún nivel, y que los tamaños indicados anteriormente son sólo ejemplos.

Finalmente de forma convencional terminamos con una o más capas totalmente conectadas (FC, o capas "densas" como se muestra en la Figura 5) y posiblemente una capa de activación final, por ejemplo softmax. En el ejemplo mostrado, una primera capa FC transforma el vector de tamaño 8640 en un vector reducido de tamaño 100 (que requiere (8640+1)*100=864100 parámetros), y una segunda capa FC transforma el vector de tamaño 8640 en un vector final de tamaño 2 (que requiere (100+1)*2=202 parámetros).

Preferiblemente, la CNN 3D se compone de (es decir, comprende exactamente) una secuencia de bloques de convolución, luego una capa de aplanamiento y, por último, una o más capas totalmente conectadas.

Esta parte final de la CNN 3D devuelve el resultado esperado, en este caso la clase de la secuencia de imágenes de entrada (el vector de tamaño 2 corresponde a un resultado binario).

Así que podemos ver que tenemos un número total de parámetros de menos de 900.000, que es notablemente bajo para una CNN (comúnmente tenemos varias decenas de millones de parámetros) especialmente dado el hecho de que los datos de entrada son secuencias de imágenes que ya son muy grandes. Por tanto, esta CNN 3D puede ser utilizada por muchos clientes 2, incluidos los que disponen de recursos informáticos modestos.

Preferentemente, el procedimiento puede comprender una etapa (a0) de aprendizaje, por los medios de procesamiento de datos 3 del servidor 1, a partir de una base de aprendizaje, de los parámetros de la CNN 3D. De hecho, esta etapa se implementa normalmente muy aguas arriba, en particular por el servidor remoto 1. Como se ha explicado, la base de entrenamiento puede incluir un cierto número de datos de entrenamiento, en particular secuencias de imágenes asociadas a su clase (por ejemplo "división" o "sin división" si se trata de una clasificación binaria).

La CNN 3D puede aprenderse de la forma convencional. La función de coste de aprendizaje puede estar compuesta por un accesorio de datos clásico -entropía cruzada- que debe minimizarse mediante un algoritmo de descenso de gradiente.

En todas las realizaciones, los parámetros CNN aprendidos pueden almacenarse si es necesario en los medios de almacenamiento de datos 21 del cliente 2 para su uso en la clasificación. Cabe señalar que la misma CNN puede utilizarse en muchos 2 clientes diferentes, por lo que sólo se requiere una sesión de entrenamiento.

Producto de programa informático

Según un segundo y un tercer aspecto, la invención se refiere a un producto de programa informático que comprende instrucciones de código para ejecutar (en particular en medios de procesamiento de datos 3, 20 del servidor 1 y/o del cliente 2) de un procedimiento de clasificación de una secuencia de imágenes de entrada que representa una partícula objetivo 11 a-11 f en una muestra 12, así como medios de almacenamiento legibles por equipos informáticos (una memoria 4, 21 del servidor 1 y/o del cliente 2) en los que se encuentra dicho producto de programa informático.

Claims (13)

REIVINDICACIONES

1. Procedimiento de clasificación de una secuencia de imágenes de entrada que representan una partícula objetivo (11a-11f) en una muestra (12) a lo largo del tiempo, estando el procedimientocaracterizado porquecomprende implementar, por medios de procesamiento de datos (20) de un cliente (2), las etapas de:

(b) Concatenación de dicha secuencia de imágenes de entrada en forma de pila tridimensional;

(c) Clasificación directa de dicha pila tridimensional mediante una red neuronal convolucional, CNN, estando dicha CNN compuesta por una sucesión de bloques de convolución compuestos por una denominada capa de convolución 3D, aplicando a un mapa de características de entrada de dimensión cuatro filtros de dimensión cuatro con el fin de generar un mapa de características de salida de dimensión cuatro, una capa de activación y una capa de agrupación 3D, a continuación una capa de aplanamiento y, por último, una o varias capas totalmente conectadas,

la sucesión de bloques de convolución comprende al menos dos bloques de convolución, incluidos un primer bloque y un segundo bloque, aplicando la capa de convolución 3D del primer bloque 30 filtros de dimensión 3x3x3x1 y aplicando la capa de convolución 3D del segundo bloque 60 filtros de dimensión 3x3x3x30

2. Procedimiento según la reivindicación 1, en el que las partículas (11a-11f) se representan de manera homogénea en cada imagen de entrada, en particular centradas y alineadas en una dirección predeterminada.

3. Procedimiento según la reivindicación 2, que comprende una etapa (a) de extracción de cada imagen de entrada de una imagen global de la muestra, a fin de representar dicha partícula objetivo (11a-11f) de dicha manera homogénea.

4. Un procedimiento según la reivindicación 3, en el que dicha etapa de extracción (a) comprende, para cada imagen de entrada, segmentar dicha imagen global para detectar dicha partícula objetivo (11a-11f) en la muestra (12), y luego recortar la imagen de entrada en dicha partícula objetivo detectada (11a-11f).

5. Procedimiento según una de las reivindicaciones 3 y 4, en el que la etapa (a) comprende la obtención de dicha imagen global a partir de una imagen de intensidad de la muestra (12) adquirida por un dispositivo de observación (10).

6. Procedimiento según una de las reivindicaciones anteriores, en el que dicha pila tridimensional tiene dos dimensiones espaciales y una dimensión temporal, dichos filtros y mapas de características tienen dichas dimensiones espaciales y temporales como las tres primeras dimensiones, y la profundidad semántica como la cuarta dimensión.

7. Procedimiento según la reivindicación 6, en el que los filtros de dicha capa de convolución 3D tienen una profundidad igual a la profundidad del mapa de características de entrada, y el mapa de características de salida tiene una profundidad igual al número de filtros de la capa de convolución 3D.

8. Procedimiento según una de las reivindicaciones precedentes, en el que dicha CNN comprende sólo dos bloques de convolución.

9. Procedimiento según una de las reivindicaciones 1 a 8, que comprende una etapa (a0) de aprendizaje, por medios de procesamiento de datos (3) de un servidor (1), de los parámetros de dicha CNN a partir de una base de aprendizaje de secuencias ya clasificadas de imágenes de partículas (11a-11f) de dicha muestra (12).

10. Sistema de clasificación de una secuencia de imágenes de entrada que representan una partícula objetivo (11a-11f) en una muestra (12) a lo largo del tiempo, que comprende al menos un cliente (2) que incluye medios de procesamiento de datos (20),caracterizado porquedichos medios de procesamiento de datos (20) están configurados para implementar:

- la concatenación de dichas imágenes de entrada de la secuencia en forma de pila tridimensional;

- la clasificación directa de dicha pila tridimensional mediante una red neuronal convolucional, CNN, estando dicha CNN compuesta por una sucesión de bloques de convolución constituidos por una denominada capa de convolución 3D, aplicando a un mapa de características de entrada de dimensión cuatro filtros de dimensión cuatro para generar un mapa de características de salida de dimensión cuatro, una capa de activación y una capa de agrupación 3D, a continuación una capa de aplanamiento y, por último, una o varias capas totalmente conectadas,

la sucesión de bloques de convolución comprende al menos dos bloques de convolución, incluidos un primer bloque y un segundo bloque, aplicando la capa de convolución 3D del primer bloque 30 filtros de dimensión 3x3x3x1 y aplicando la capa de convolución 3D del segundo bloque 60 filtros de dimensión 3x3x3x30

11. Sistema según la reivindicación 10, que comprende además un dispositivo de observación (10) para observar dicha partícula objetivo (11a-11f) en la muestra (12).

12. Producto de programa informático que comprende instrucciones de código para realizar un procedimiento según una de las reivindicaciones 1 a 9 de clasificación de una secuencia de imágenes de entrada que representan una partícula objetivo (11a-11f) en una muestra (12) a lo largo del tiempo, cuando dicho programa se ejecuta en un ordenador.

13. Medio de almacenamiento legible por ordenador en el que un producto de programa informático comprende instrucciones de código para ejecutar un procedimiento según una de las reivindicaciones 1 a 9 de clasificación de una secuencia de imágenes de entrada que representan una partícula objetivo (11a-11f) en una muestra (12) a lo largo del tiempo.