ES3009409T3

ES3009409T3 - Biological image transformation using machine-learning models

Info

Publication number: ES3009409T3
Application number: ES21791077T
Authority: ES
Inventors: Herve Marie-Nelly; Jeevaa Velayutham
Original assignee: Insitro Inc
Current assignee: Insitro Inc
Priority date: 2020-09-08
Filing date: 2021-09-07
Publication date: 2025-03-26
Anticipated expiration: 2041-09-07
Also published as: JP7686130B2; JP2023544492A; US20220358331A1; IL301182B1; US12541983B2; KR20250149179A; JP7565434B2; US12332970B2; EP4478281A2; EP4502922A3; EP4211657C0; EP4502922A2; KR20230110248A; CA3194038A1; US20250217443A1; AU2021339584A9; CN117751392A; EP4517654A2; KR20260005396A; CN117751392B

Abstract

Se describen sistemas y métodos para entrenar un modelo de aprendizaje automático para generar imágenes de muestras biológicas, así como sistemas y métodos para generar imágenes mejoradas de muestras biológicas. El método para entrenar un modelo de aprendizaje automático para generar imágenes de muestras biológicas puede incluir la obtención de varias imágenes de entrenamiento, compuestas por una imagen de entrenamiento de un primer tipo y una imagen de entrenamiento de un segundo tipo. El método también puede incluir la generación, a partir de la imagen de entrenamiento del primer tipo, de varios coeficientes wavelet utilizando el modelo de aprendizaje automático; la generación, a partir de estos coeficientes wavelet, de una imagen sintética del segundo tipo; la comparación de la imagen sintética del segundo tipo con la imagen de entrenamiento del segundo tipo; y la actualización del modelo de aprendizaje automático basándose en la comparación. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Transformación de imágenes biológicas utilizando modelos de aprendizaje automático

Referencia cruzada a solicitudes relacionadas

La presente solicitud reivindica prioridad sobre la solicitud de patente provisional de EE. UU. n.° 63/075.751, presentada el 8 de septiembre de 2020, y la Solicitud provisional de EE.UU. N.° 63/143.707, presentada el 29 de enero de 2021.

Campo de la invención

La presente divulgación se refiere en general a técnicas de aprendizaje automático y, más específicamente, a la generación basada en aprendizaje automático de datos de imagen a escala. Los datos de imagen generados (por ejemplo, datos de imagen de muestras biológicas) pueden proporcionar suficiente riqueza y profundidad optimizada para el procesamiento posterior (por ejemplo, fenotipado). Algunas realizaciones del sistema comprenden un modulador de luz espacial programable ("SLM") para producir datos optimizados para su procesamiento posterior (por ejemplo, fenotipado) a alta velocidad sin modificaciones mecánicas en el sistema. Algunas realizaciones del sistema comprenden un modelo de aprendizaje automático con una capa de atención que comprende una pluralidad de ponderaciones correspondientes a una pluralidad de configuraciones de iluminación (por ejemplo, diferentes emisores de iluminación de una fuente de iluminación) para identificar un patrón de iluminación óptimo para capturar los datos de imagen. Algunas realizaciones del sistema comprenden técnicas para evaluar tratamientos candidatos con respecto a una enfermedad de interés.

Antecedentes

Las imágenes de campo claro de muestras biológicas se pueden obtener a escala y a bajo coste debido a equipos económicos, facilidad de despliegue clínico y bajos requisitos de recursos de procesamiento y almacenamiento para las imágenes capturadas. La obtención de imágenes de campo claro generalmente no es invasiva e implica una fototoxicidad baja. Sin embargo, las imágenes de bajo contraste carecen de detalles visuales ricos, haciéndolos por tanto inadecuados para muchos análisis posteriores (por ejemplo, exploración fenotípica de muestras microscópicas). En comparación, otras modalidades de imagen (por ejemplo, imágenes de fluorescencia) pueden proporcionar una rica información visual de las muestras capturadas. Sin embargo, obtener imágenes de fluorescencia requiere equipos y materiales adicionales y puede llevar mucho tiempo y recursos informáticos. Por tanto, las imágenes de fluorescencia pueden ser difíciles de obtener a escala y de manera económica.

Transformar imágenes de campo claro de muestras biológicas en imágenes mejoradas, las imágenes de alta calidad pueden ser difíciles debido a una serie de razones. En primer lugar, las imágenes de campo claro sufren el problema de desequilibrio de clase inherente (es decir, abundantes señales de baja frecuencia pero menos señales de alta frecuencia). Además, la geometría general de las imágenes de campo claro debe extraerse y mantenerse a través de la transformación. Asimismo, muchos factores, como el patrón de iluminación bajo el que se toman las imágenes de campo claro, pueden afectar la efectividad de la transformación. Es más, es necesario cuantificar y validar la solidez de la transformación para soportar análisis posteriores.

Qu Liangqiong y col., en "Wavelet-based Semi-supervised Adversarial Learning for Synthesizing Realistic 7T from 3T MRI", 10 de octubre de 2019 (10-10-2019), Computer Vision - ECCV 2020: 16a Conferencia Europea, Glasgow, REINO UNIDO, 23-28 de agosto de 2020: Procedimientos; Part of the Lecture Notes in Computer Science; ISSN 0302-9743, describe una red generativa antagónica de ciclo semisupervisado denominada SemiWave para la síntesis de imágenes MRI 7T, considerando información tanto en dominios espaciales como de ondículas.

El documento KR 2019/0095901 A1 describe un método y un aparato para la conversión de imágenes usando un algoritmo de aprendizaje automático. El método comprende las etapas de: obtener una imagen de campo claro; realizar el preprocesamiento de modo que el contorno de una célula para la imagen de campo claro se revele usando un primer algoritmo de aprendizaje automático y convertir la imagen de campo claro preprocesada en una imagen de fluorescencia que revele un núcleo de la célula; y corregir la imagen de fluorescencia convertida usando un segundo algoritmo de aprendizaje automático, el primer algoritmo de aprendizaje automático puede realizar el aprendizaje usando una pluralidad de imágenes de campo claro. El segundo algoritmo de aprendizaje automático puede realizar el aprendizaje usando las imágenes de campo claro y una pluralidad de imágenes de fluorescencia convertidas a partir de las imágenes de campo claro por el primer algoritmo de aprendizaje automático.

El documento US 2019/033319 A1 describe sistemas y métodos para microscopía de aprendizaje profundo que incluye una red neuronal profunda entrenada que se ejecuta por software usando uno o más procesadores de un dispositivo informático, comprendiendo la red neuronal profunda entrenada que se ha entrenado con un conjunto de entrenamiento de imágenes pares co-registrados de imágenes de microscopía de alta resolución o parches de imagen de una muestra y sus correspondientes imágenes de microscopía de baja resolución o parches de imagen de la misma muestra. Una imagen de entrada de microscopía de una muestra de la que se va a obtener una imagen se introduce en la red neuronal profunda entrenada que emite rápidamente una imagen de salida de la muestra, habiendo mejorado la imagen de salida una o más de la resolución espacial, profundidad de campo, relación señal-ruido y/o contraste de imagen.

Breve sumario

La invención se expone en el conjunto de reivindicaciones adjuntas.

Un aspecto de la invención reivindicada proporciona un método implementado por ordenador para generar imágenes mejoradas de muestras biológicas que comprende: recibir una imagen de una muestra biológica obtenida usando un microscopio; y generar, basándose en la imagen, una imagen mejorada de la muestra biológica usando un modelo de aprendizaje automático, en donde el modelo de aprendizaje automático se ha entrenado al: obtener una pluralidad de imágenes de entrenamiento que comprenden una imagen de entrenamiento de un primer tipo, y una imagen de entrenamiento de un segundo tipo; generar, basándose en la imagen de entrenamiento del primer tipo, una pluralidad de coeficientes de ondícula usando el modelo de aprendizaje automático; generar, basándose en la pluralidad de coeficientes de ondícula, una imagen sintética del segundo tipo; comparar la imagen sintética del segundo tipo con la imagen de entrenamiento del segundo tipo; y actualizar el modelo de aprendizaje automático basándose en la comparación.

En algunas realizaciones, la imagen de entrenamiento del primer tipo es una imagen de campo claro de una muestra biológica.

En algunas realizaciones, la imagen de entrenamiento del segundo tipo es una imagen de fluorescencia de la muestra biológica.

En algunas realizaciones, el modelo de aprendizaje automático comprende un generador y un discriminador.

En algunas realizaciones, el modelo de aprendizaje automático comprende un modelo GAN condicional.

En algunas realizaciones, el generador comprende una pluralidad de redes neuronales que corresponden a una pluralidad de grupos de frecuencia.

En algunas realizaciones, cada red neuronal de la pluralidad de redes neuronales está configurada para generar coeficientes de ondícula para un grupo de frecuencia respectivo.

En algunas realizaciones, la pluralidad de redes neuronales comprende una pluralidad de redes neuronales U-Net. En algunas realizaciones, el discriminador es una red neuronal PatchGAN.

En algunas realizaciones, el método comprende además: generar, basándose en la imagen de entrenamiento del primer tipo, una imagen de un tercer tipo.

En algunas realizaciones, la imagen del tercer tipo es una imagen de desplazamiento de fase.

En algunas realizaciones, el método comprende además: generar, basándose en la imagen de entrenamiento del primer tipo, una imagen de un cuarto tipo.

En algunas realizaciones, la imagen del cuarto tipo comprende datos de segmentación.

En algunas realizaciones, la imagen de entrenamiento del primer tipo se captura usando un microscopio de acuerdo con un primer esquema de iluminación.

En algunas realizaciones, el primer esquema de iluminación comprende uno o más patrones de iluminación.

En algunas realizaciones, la imagen de entrenamiento del primer tipo es parte de una matriz de imágenes de campo claro.

En algunas realizaciones, la pluralidad de imágenes de entrenamiento es una primera pluralidad de imágenes de entrenamiento, comprendiendo además el método: basándose en la comparación, identificar un segundo esquema de iluminación; obtener una segunda pluralidad de imágenes de entrenamiento que comprenden una o más imágenes del primer tipo, en donde la una o más imágenes del primer tipo se obtienen basándose en el segundo esquema de iluminación; entrenar el modelo de aprendizaje automático basándose en la segunda pluralidad de imágenes de entrenamiento.

En algunas realizaciones, el método comprende además obtener, usando un microscopio, una pluralidad de imágenes del primer tipo; y generar, basándose en la pluralidad de imágenes obtenidas, una pluralidad de imágenes sintéticas del segundo tipo usando el modelo de aprendizaje automático.

En algunas realizaciones, el método comprende además: entrenar un clasificador basándose en la pluralidad de imágenes sintéticas del segundo tipo.

En algunas realizaciones, el microscopio es un primer microscopio, en donde el clasificador es un primer clasificador, que comprende además: obtener, usando un segundo microscopio, una pluralidad de imágenes del segundo tipo; entrenar un segundo clasificador basándose en la pluralidad de imágenes del segundo tipo; comparar el rendimiento del primer clasificador y el segundo clasificador.

En algunas realizaciones, el segundo microscopio es un microscopio de fluorescencia.

Un sistema ilustrativo para generar imágenes mejoradas de muestras biológicas usando un modelo de aprendizaje automático comprende: un sistema informático que comprende uno o más procesadores y una o más memorias que almacenan el modelo de aprendizaje automático, en donde el sistema informático está configurado para implementar el método del aspecto mencionado anteriormente.

En algunas realizaciones, el modelo de aprendizaje automático se entrena aún más al generar, basándose en la imagen de entrenamiento del primer tipo, una imagen de un tercer tipo.

En algunas realizaciones, el modelo de aprendizaje automático se ha entrenado al: generar, basándose en la imagen de entrenamiento del primer tipo, una imagen de un cuarto tipo.

En algunas realizaciones, la pluralidad de imágenes de entrenamiento es una primera pluralidad de imágenes de entrenamiento, en donde el modelo de aprendizaje automático se ha entrenado al: basándose en la comparación, identificar un segundo esquema de iluminación; obtener una segunda pluralidad de imágenes de entrenamiento que comprenden una o más imágenes del primer tipo, en donde la una o más imágenes del primer tipo se obtienen basándose en el segundo esquema de iluminación; entrenar el modelo de aprendizaje automático basándose en la segunda pluralidad de imágenes de entrenamiento.

En algunas realizaciones, el modelo de aprendizaje automático se ha entrenado al: obtener, usando un microscopio, una pluralidad de imágenes del primer tipo; y generar, basándose en la pluralidad de imágenes obtenidas, una pluralidad de imágenes sintéticas del segundo tipo usando el modelo de aprendizaje automático.

En algunas realizaciones, el modelo de aprendizaje automático se ha entrenado al: entrenar un clasificador basándose en la pluralidad de imágenes sintéticas del segundo tipo.

En algunas realizaciones, el microscopio es un primer microscopio, en donde el clasificador es un primer clasificador, en donde el modelo de aprendizaje automático se ha entrenado al: obtener, usando un segundo microscopio, una pluralidad de imágenes del segundo tipo; entrenar un segundo clasificador basándose en la pluralidad de imágenes del segundo tipo; comparar el rendimiento del primer clasificador y el segundo clasificador.

Breve descripción de los dibujos

La Figura 1 ilustra un proceso ilustrativo para entrenar un modelo de aprendizaje automático configurado para generar datos sintéticos (por ejemplo, datos de imagen) a escala y a bajo coste, de acuerdo con algunas realizaciones.

La Figura 2A ilustra un proceso ilustrativo de entrenamiento y aplicación del modelo de aprendizaje automático. La Figura 2B ilustra un proceso ilustrativo de entrenamiento y aplicación del modelo de aprendizaje automático. La Figura 3A ilustra el proceso de entrenamiento del modelo de aprendizaje automático.

La Figura 3B ilustra las operaciones de un generador ilustrativo.

La Figura 3C ilustra el proceso de entrenamiento del modelo de aprendizaje automático.

La Figura 3D ilustra el proceso de entrenamiento del modelo de aprendizaje automático.

La Figura 4 ilustra un modelo de formación de imágenes ilustrativo.

La Figura 5 ilustra las salidas de un generador entrenado ilustrativo usando una configuración de microscopio estático.

La Figura 6A ilustra un proceso ilustrativo para determinar la robustez de las imágenes generadas.

La Figura 6B ilustra una comparación ilustrativa entre dos clasificadores.

La Figura 7A ilustra un método ilustrativo para entrenar un modelo de aprendizaje automático para generar imágenes de muestras biológicas.

La Figura 7B ilustra un método ilustrativo para generar imágenes mejoradas de muestras biológicas.

La Figura 8 ilustra un dispositivo electrónico ilustrativo.

La Figura 9 ilustra un sistema óptico ilustrativo.

La Figura 10 ilustra un método ilustrativo para analizar imágenes de una muestra biológica usando un SLM programable de un sistema óptico.

La Figura 11 ilustra un método ilustrativo para entrenar un modelo de aprendizaje automático.

Las Figuras 12A y 12B ilustran una comparación lado a lado de resultados de clasificación de dos modelos de clasificación basándose en las mismas imágenes de entrada.

Las Figuras 12C y 12D ilustran una comparación lado a lado de los mismos resultados de clasificación en las Figuras 9A y 9B, respectivamente, con un esquema de color diferente para mostrar la resistencia de los dos modelos a los efectos por lotes.

La Figura 12E ilustra la métrica de distancia euclidiana correspondiente a un conjunto de imágenes reales, un conjunto de imágenes generadas y un conjunto de imágenes realmente invariables por lotes.

La Figura 13A ilustra una imagen generada ilustrativa.

La Figura 13B ilustra una imagen generada ilustrativa.

La Figura 13C ilustra una imagen generada ilustrativa.

Las Figuras 14A y 14B ilustran un proceso ilustrativo para entrenar un modelo de aprendizaje automático (por ejemplo, un modelo GAN) configurado para generar datos sintéticos (por ejemplo, datos de imagen) e identificar un patrón de iluminación óptimo para capturar datos de entrada para el modelo de aprendizaje automático.

La Figura 15 ilustra un diagrama esquemático para entrenar un modelo de aprendizaje automático.

La Figura 16A ilustra imágenes sintéticas generadas por un modelo GAN ilustrativo para estudiar la enfermedad de NASH.

La Figura 16B ilustra el análisis posterior de las imágenes generadas.

La Figura 16C ilustra un proceso ilustrativo para evaluar un tratamiento candidato.

La Figura 16D ilustra un proceso ilustrativo para evaluar un tratamiento candidato.

La Figura 17A ilustra imágenes sintéticas generadas por un modelo GAN ilustrativo para estudiar la esclerosis tuberosa ("TSC").

La Figura 17B ilustra un proceso ilustrativo para evaluar un tratamiento candidato.

Descripción detallada de la invención

La presente divulgación incluye métodos, sistemas, dispositivo electrónicos, medios de almacenamiento no transitorios y aparatos para realizar la generación basada en ML de datos de imagen a escala. Los datos de imagen generados (por ejemplo, datos de imagen de muestras biológicas) pueden proporcionar suficiente riqueza y profundidad para el procesamiento posterior (por ejemplo, fenotipado). Además, las realizaciones de la presente divulgación comprenden un conjunto de métodos de optimización computacional y de hardware que amplían la dimensionalidad actual de las técnicas de microscopía clásicas.

Las realizaciones de la presente divulgación pueden procesar múltiples imágenes de campo claro de muestras biológicas y producir imágenes mejoradas de las muestras biológicas. Las imágenes mejoradas incluyen, pero sin limitación: imágenes de fluorescencia, imágenes de desplazamiento de fase, mapa semántico, mapa de polarización, mapa refractivo (2D y 3D), mapa de absorbancia y otras modalidades de imagen. Las imágenes de campo claro de muestras biológicas se pueden obtener a escala y a bajo coste debido a equipos económicos (por ejemplo, en relación con los microscopios de fluorescencia), facilidad de despliegue clínico y bajos requisitos de recursos de procesamiento y almacenamiento. La obtención de imágenes de campo claro generalmente no es invasiva e implica una fototoxicidad baja. Por tanto, las imágenes de campo claro se pueden obtener de manera eficiente y a escala. Las imágenes mejoradas proporcionan suficiente riqueza y profundidad para el procesamiento posterior (por ejemplo, exploración fenotípica).

Las realizaciones de la presente divulgación incluyen un modelo de aprendizaje automático que se entrena para recibir un primer tipo de imagen y convertir la imagen de entrada en otras modalidades de formación de imágenes. Un modelo de aprendizaje automático ilustrativo puede recibir el primer tipo de imagen y convertir la imagen de entrada en un segundo tipo de imagen (por ejemplo, una imagen mejorada). En algunas realizaciones, diferentes tipos de imágenes se refieren a diferentes modalidades de formación de imágenes. En algunas realizaciones, el primer tipo de imágenes son imágenes de campo claro. Por ejemplo, las imágenes de campo claro se pueden capturar iluminando muestras celulares in vitro (o biopsia) con una matriz de LED económica. El segundo tipo de imágenes incluye imágenes de fluorescencia. Las imágenes de fluorescencia generadas exhiben características de alto contraste que no son directamente visibles en imágenes de campo claro y pueden usarse para procesamiento posterior (por ejemplo, fenotipado).

Las realizaciones de la presente divulgación reducen o eliminan la necesidad de capturar imágenes de fluorescencia reales (u otras modalidades de imagen especiales) de muestras biológicas para el análisis posterior, y permiten que las imágenes de campo claro se usen ampliamente para una diversidad de fines. Esto es particularmente beneficioso para la formación de imágenes de células vivas. Por ejemplo, los métodos divulgados podrían usarse para la monitorización y optimización de protocolos experimentales de diferenciación celular. En el contexto de la perturbación química o genética, podrían evitarse las actividades que consumen mucho tiempo relacionadas con la tinción y fijación de células. En algunas realizaciones, el tiempo de dosificación, que es el tiempo de incubación de un fármaco con las células bajo observación también podría optimizarse por el software. Los investigadores ya no tendrían que decidir arbitrariamente el mejor tiempo de incubación, ya que el software podría notificar al investigador el tiempo de incubación optimizado. Además, las técnicas de aprendizaje automático utilizadas para convertir las imágenes de campo claro a otras modalidades requieren una menor utilización de recursos de procesamiento y almacenamiento. Por tanto, las realizaciones de la presente divulgación presentan mejoras técnicas en el campo de la formación de imágenes médicas al tiempo que mejoran la operabilidad y el funcionamiento de los sistemas informáticos.

Las realizaciones de la presente divulgación incluyen además un modelo de aprendizaje automático que se entrena para recibir el primer tipo de imagen y convertir la imagen de entrada en un tercer tipo de imagen. En algunas realizaciones, el tercer tipo de imagen incluye datos de imagen indicativos de diversas propiedades ópticas (por ejemplo, desplazamiento de fase) de la muestra biológica capturada.

Las realizaciones de la presente divulgación incluyen además un modelo de aprendizaje automático que se entrena para recibir el primer tipo de imagen y convertir la imagen de entrada en un cuarto tipo de imagen. En algunas realizaciones, el cuarto tipo de imagen incluye datos de imagen indicativos de datos de segmentación (por ejemplo, límites celulares).

Un experto en la materia debería apreciar que las realizaciones de la presente divulgación pueden convertir adicionalmente imágenes de entrada en numerosos otros tipos de imágenes que capturan una variedad de características de formación de imágenes, tal como un mapa semántico, un mapa de polarización, un mapa refractivo (2D o 3D), mapa de absorbancia, etc.

En algunas realizaciones, se entrena un único modelo de aprendizaje automático para realizar múltiples tareas de conversión simultáneamente. Por ejemplo, el mismo modelo de aprendizaje automático puede recibir el primer tipo de imagen y generar múltiples tipos de imágenes (por ejemplo, segundo tipo, tercer tipo, cuarto tipo de imagen). El modelo de aprendizaje automático puede ser un modelo de red generativa antagónica ("GAN"). Por ejemplo, la red GAN puede ser un modelo GAN condicional ("cGAN").

En algunas realizaciones, el modelo de aprendizaje automático convierte una imagen de entrada en sus correspondientes coeficientes de ondícula y genera una o más imágenes de salida en coeficientes de ondícula. La representación compacta y de múltiples escalas de imágenes acopladas con las opciones no lineales intrínsecas de una red neuronal logra múltiples objetivos a la vez. En primer lugar, la representación basada en ondículas resuelve el problema de desequilibrio de clase inherente al que se enfrentan la mayoría de los modelos generativos. Específicamente, la mayoría de los datos de imagen de entrada comprenden abundantes señales de baja frecuencia pero menos señales de alta frecuencia. En segundo lugar, la representación basada en ondículas extrae y mantiene la geometría general de los datos de imagen de entrada. El discriminador del modelo asegura que las imágenes reales y generadas (por ejemplo, las imágenes de fluorescencia reales frente a las generadas) son indistinguibles. Las imágenes de fluorescencia generadas u otra modalidad de imagen mejorada, corresponde a la tinción virtual de la muestra. Debido a la baja fototoxicidad de la modalidad de formación de imágenes de campo claro, por tanto como su disponibilidad en la configuración clínica, la tinción virtual mediante las realizaciones de la presente divulgación se puede realizar en células vivas, por tanto como en muestras de biopsia.

Las realizaciones de la presente divulgación incluyen adicionalmente métodos de optimización de hardware. Por ejemplo, las realizaciones de la presente divulgación pueden optimizar aún más el esquema de iluminación de un microscopio (por ejemplo, el microscopio que obtiene el primer tipo de imágenes) dinámicamente. En algunas realizaciones, el microscopio que se usa para capturar el primer tipo de imágenes puede ajustarse o programarse para proporcionar diferentes esquemas de iluminación durante el proceso de entrenamiento. Durante el entrenamiento del modelo de aprendizaje automático, se puede identificar un esquema de iluminación óptimo para capturar el primer tipo de imágenes. El esquema de iluminación óptimo se puede usar para capturar el primer tipo de imágenes (por ejemplo, imágenes de campo claro) para extraer la mejor representación de la muestra biológica para la transformación de imágenes basada en ondículas (por ejemplo, para la exploración fenotípica posterior).

Las realizaciones de la presente divulgación incluyen adicionalmente evaluar la robustez de las imágenes generadas del modelo de aprendizaje automático. En algunas realizaciones, un primer clasificador posterior se entrena usando imágenes reales (por ejemplo, imágenes de fluorescencia reales), y se entrena un segundo clasificador posterior usando imágenes generadas (por ejemplo, imágenes de fluorescencia generadas). El rendimiento de los dos clasificadores puede compararse para evaluar la robustez de las imágenes generadas como datos de entrenamiento en tareas posterior.

Por tanto, las realizaciones de la presente divulgación comprenden una plataforma integrada que resuelve simultáneamente muchos problemas: mejora de imagen, recuperación de fase, baja fototoxicidad, pintura virtual realista de imágenes de campo claro y robustez en tareas posteriores. Las realizaciones de la presente divulgación pueden evaluar la robustez de las imágenes generadas a través de tareas de clasificación posterior. Estas tareas se integran en la plataforma y cierran el bucle de generación de datos desde imágenes de campo claro no invasivas hasta imágenes fluorescentes. Por ejemplo, el sistema puede optimizar los parámetros del sistema de adquisición de microscopio de campo claro durante el uso. Los patrones de iluminación de la matriz de LED y otros parámetros del sistema de adquisición de microscopio de campo claro, incluyendo, por ejemplo, la posición de enfoque del objetivo del microscopio y los tiempos de activación de un modulador de luz espacial (SLM) pueden optimizarse mediante la retropropagación durante las tareas de clasificación posterior.

Es más, en algunas realizaciones, la plataforma realiza una cascada de perturbaciones en las células y aprende a optimizar el esquema de iluminación para extraer la mejor representación de las células para la exploración fenotípica.

Algunas realizaciones de la presente divulgación pueden identificar uno o más patrones de iluminación óptimos para capturar datos de imagen. En algunas realizaciones, un patrón de iluminación puede indicar si cada emisor de iluminación de una fuente de iluminación (por ejemplo, cada LED en una matriz de LED) se va a encender o apagar y la intensidad de cada emisor de iluminación. El sistema puede determinar un patrón de iluminación óptimo entrenando un modelo de aprendizaje automático que tiene una capa de atención que comprende una pluralidad de ponderaciones correspondientes a las intensidades de una pluralidad de emisores de iluminación (por ejemplo, una pluralidad de ponderaciones correspondientes a las intensidades de una pluralidad de LED en la matriz de LED). Durante el entrenamiento del modelo de aprendizaje automático, la pluralidad de ponderaciones se aplica a una pluralidad de imágenes de entrenamiento (por ejemplo, imágenes de campo claro) iluminadas por diferentes emisores de iluminación. La imagen agregada se puede introducir en el modelo de aprendizaje automático para determinar una pérdida y el modelo, incluyendo las ponderaciones en la capa de atención, se puede actualizar basándose en la pérdida en consecuencia. Después del entrenamiento, se puede determinar un patrón de iluminación basándose en las ponderaciones en la capa de atención del modelo de aprendizaje automático entrenado, ya que cada ponderación puede corresponder al nivel de intensidad deseado del emisor de iluminación correspondiente. Por consiguiente, el proceso implica solo capturar imágenes usando un número limitado de configuraciones de iluminación (por ejemplo, encender un único emisor de iluminación a la vez para capturar imágenes) y no requiere ajustar físicamente las intensidades de los emisores de iluminación para identificar un patrón de iluminación óptimo.

Algunas realizaciones de la presente divulgación pueden entrenar un modelo de aprendizaje automático de tal manera que los datos de imagen sintéticos generados por el modelo de aprendizaje automático pueden proporcionar el mismo rendimiento en el análisis posterior que las imágenes reales. En algunas realizaciones, entrenar el modelo de aprendizaje automático comprende en primer lugar entrenar un clasificador correspondiente a la tarea posterior (por ejemplo, clasificar tejidos sanos frente a enfermos basándose en una imagen) y después usar las salidas del clasificador para guiar el entrenamiento del modelo de aprendizaje automático.

Algunas realizaciones de la presente divulgación pueden evaluar tratamientos candidatos con respecto a una enfermedad de interés. En algunas realizaciones, el sistema recibe una primera pluralidad de imágenes que representan un primer conjunto de muestras biológicas sanas no afectadas por la enfermedad de interés; recibe una segunda pluralidad de imágenes que representan un segundo conjunto de muestras biológicas no tratadas afectadas por la enfermedad de interés; y recibe una tercera pluralidad de imágenes que representan un tercer conjunto de muestras biológicas tratadas afectadas por la enfermedad de interés y tratadas por el tratamiento candidato. Las imágenes se introducen en un modelo de aprendizaje automático para obtener imágenes mejoradas, y las imágenes mejoradas se comparan para evaluar el tratamiento (por ejemplo, analizando las distribuciones de las imágenes).

La siguiente descripción expone métodos, parámetros ilustrativos, y similares. Debería reconocerse, sin embargo, que dicha descripción no pretende ser una limitación del alcance de la presente divulgación, sino que se proporciona en su lugar como una descripción de realizaciones ilustrativas.

En algunas realizaciones, un sistema óptico ilustrativo comprende un modulador de luz espacial programable ("SLM"). El SLM del sistema óptico puede mejorar el rendimiento de un modelo de aprendizaje automático a través de la etapa de entrenamiento (por ejemplo, proporcionando un conjunto de datos de entrenamiento enriquecido) y/o a través de la etapa de inferencia (por ejemplo, proporcionando datos de entrada bajo una variedad de configuraciones ópticas o una configuración óptima). El<s>L<m>se programa sin requerir ningún movimiento mecánico o modificaciones mecánicas en el sistema óptico.

El SLM proporciona grados de libertad adicionales y fuentes de contraste para controlar el microscopio de manera programable. Por ejemplo, el SLM se puede programar para generar aberraciones ópticas que mejoran los fenotipos críticos. Como otro ejemplo, el SLM se puede programar para proporcionar diferentes modulaciones, produciendo por tanto una variedad de imágenes que permiten la exploración de muestras profundas a alta velocidad. El SLM también permite la identificación de una configuración de formación de imágenes óptima para inferir fenotipos celulares y reconstruir modalidades de imágenes alternativas de una manera supervisada. Las adquisiciones multienfoque son posibles sin ningún movimiento mecánico, acelerando y mejorando por tanto las tareas posteriores. Por lo tanto, se aceleran y mejoran la tomografía de fase tridimensional y la reconstrucción.

Aunque la siguiente descripción usa los términos "primero", "segundo", etc. para describir diversos elementos, estos elementos no deben estar limitados por los términos. Estos términos se usan solo para distinguir un elemento de otro. Por ejemplo, una primera representación gráfica podría denominarse una segunda representación gráfica y, de manera similar, una segunda representación gráfica podría denominarse una primera representación gráfica, sin desviarse del alcance de las diversas reivindicaciones descritas. La primera representación gráfica y la segunda representación gráfica son ambas representaciones gráficas, pero no son la misma representación gráfica.

La terminología usada en la descripción de las diversas realizaciones descritas tiene la finalidad de describir solo realizaciones particulares y no se pretende que sea limitante. Como se usa en la descripción de las diversas realizaciones descritas y en las reivindicaciones adjuntas, las formas singulares "un", "una", y "el/la" también pretenden incluir las formas en plural, a menos que el contexto indique claramente lo contrario. También se entenderá que el término "y/o" como se usa en el presente documento se refiere y abarca cualquiera y todas las combinaciones posibles de uno o más de los artículos enumerados asociados. Se entenderá además que los términos "incluye" "que incluye", "comprende", y/o "que comprende", cuando se usan en esta memoria descriptiva, especifican la presencia de características establecidas, elementos integrantes, etapas, operaciones, elementos y/o componentes, pero no excluyen la presencia o adición de una o más de otras características, elementos integrantes, etapas, operaciones, elementos, componentes y/o grupos de estos.

El término "si" es, opcionalmente, interpretado como "cuando" o "sobre" o "en respuesta a la determinación" o "en respuesta a la detección", dependiendo del contexto. De manera similar, la expresión "si se determina" o "si se detecta [una condición o evento declarado]" es, opcionalmente, interpretada como "al determinar" o "en respuesta a la determinación" o "al detectar [la condición o evento indicado]" o "en respuesta a la detección de [la condición o evento indicado]", dependiendo del contexto.

La Figura 1 ilustra un proceso ilustrativo para entrenar un modelo de aprendizaje automático configurado para generar imágenes mejoradas de muestras biológicas, de acuerdo con algunas realizaciones.

Con referencia a la Figura 1, los datos de entrenamiento 120 comprenden un primer tipo de imágenes 122 y un segundo tipo de imágenes 124. En algunas realizaciones, las imágenes son imágenes de muestras biológicas, y las muestras biológicas pueden incluir una o más colecciones de muestras biológicas tintadas, sin tintar, perturbadas y/o sin perturbar.

En algunas realizaciones, el primer tipo de datos de imagen 122 comprende un conjunto de imágenes de campo claro, y el segundo tipo de datos de imagen 124 comprende imágenes en una modalidad diferente (por ejemplo, imágenes de fluorescencia). El primer tipo de imágenes 122 se puede obtener usando un microscopio de campo claro, mientras que el segundo tipo de imágenes 124 se puede obtener usando un microscopio de fluorescencia.

Como se muestra en la Figura 1, el primer tipo de imágenes 122 se obtienen basándose en uno o más patrones de iluminación 110. Un patrón de iluminación es indicativo de los ajustes con los que se ilumina un objeto. En algunas realizaciones, un patrón de iluminación puede definirse mediante uno o más parámetros que indican la relación espacial (por ejemplo, distancia, ángulo) entre el objeto y la fuente de iluminación, uno o más parámetros que indican la configuración de la fuente de iluminación, o una combinación de los mismos. Por ejemplo, un patrón de iluminación puede indicar un conjunto de fuentes de luz LED activadas, una configuración específica de desenfoque/polarización, etc.

En algunas realizaciones, el microscopio que captura el primer tipo de imágenes puede ser un microscopio que soporte múltiples patrones de iluminación. Por ejemplo, el microscopio puede proporcionar una fuente de iluminación programable (por ejemplo, matriz de LED, láser), un sistema de óptica adaptativa (SLM, micro-espejos) o una combinación de los mismos. Al actualizar el patrón de iluminación (por ejemplo, controlar las fuentes de iluminación y/o la función de la pupila del sistema óptico), se pueden adquirir muchas representaciones de la muestra biológica correspondientes a múltiples patrones de iluminación.

En algunas realizaciones, los datos de entrenamiento 120 pueden organizarse como datos de imagen tridimensionales (por ejemplo, una matriz de imágenes). Por ejemplo, los datos de entrenamiento 120 pueden ser de dimensiones (B, C, H, W) en la que B indica el tamaño del lote, C indica el número de canales (es decir, patrones de iluminación), H indica la altura y W indica la anchura. C es igual a 1 si solo hay una única imagen de campo claro, y C es mayor que 1 si hay una pila de imágenes de campo claro.

En algunas realizaciones, una o más imágenes en los datos de entrenamiento 120 pueden normalizarse antes de que se usen para entrenar el modelo de aprendizaje automático 100. Por ejemplo, las imágenes de fluorescencia se pueden normalizar basándose en parámetros de iluminación o intensidad.

Con referencia a la Figura 1, los datos de entrenamiento 120 se usan para entrenar el modelo de aprendizaje automático 100. En algunas realizaciones, el modelo 100 es un modelo de red generativa antagónica ("GAN"). Por ejemplo, la red GAN puede ser un modelo GAN condicional ("cGAN"). Como se describe en detalle a continuación, la red GAN comprende un generador y un discriminador. El generador está entrenado para recibir el primer tipo de imágenes (por ejemplo, imágenes de campo claro) y convertir las imágenes de entrada en el segundo tipo de imágenes (por ejemplo, imágenes de fluorescencia). La etapa de entrenamiento incluye comparar imágenes reales del primer tipo 122 con imágenes reales del segundo tipo 124 para determinar una línea de base de verdad de terreno para lo que debería intentar lograr una transformación basada en ondículas del primer tipo de imagen 122. Durante el entrenamiento, la salida del generador (es decir, las imágenes de fluorescencia generadas) se puede conectar directamente a la entrada del discriminador. El discriminador está entrenado para distinguir las imágenes generadas del segundo tipo (por ejemplo, imágenes de fluorescencia generadas) a partir de imágenes reales del segundo tipo (por ejemplo, imágenes de fluorescencia reales). A través de la retropropagación, la salida del discriminador puede usarse por el generador para actualizar las ponderaciones del generador de manera que el generador aprenda a generar imágenes que el discriminador clasificará como imágenes reales.

En algunas realizaciones, los parámetros de iluminación se pueden actualizar durante el entrenamiento del modelo 100. Por tanto, durante el entrenamiento del modelo 100, el esquema de iluminación se puede actualizar continuamente y se pueden obtener datos de entrenamiento de acuerdo con el esquema de iluminación actualizado para entrenar aún más el modelo 100, como se describe en detalle a continuación.

Las Figuras 2A y 2B ilustran procesos ilustrativos 200 y 250 para entrenar y aplicar el modelo de aprendizaje automático (por ejemplo, modelo 100), de acuerdo con algunas realizaciones. La Figura 2A ilustra el proceso cuando los parámetros del microscopio no se pueden cambiar durante la adquisición de los datos de entrenamiento. La Figura 2B ilustra el proceso cuando los parámetros del microscopio pueden cambiarse durante la adquisición de los datos de entrenamiento y, por tanto, puede identificarse un patrón de iluminación óptimo.

Cada uno de los procesos puede realizarse al menos en parte usando uno o más dispositivos electrónicos. En algunas realizaciones, los bloques de cada etapa de proceso representados en las Figuras 2A y 2B se pueden dividir entre múltiples dispositivos electrónicos. En cada proceso, algunos bloques son, opcionalmente, combinados, el orden de algunos bloques es, opcionalmente, cambiado, y algunos bloques son, opcionalmente, omitidos. En algunos ejemplos, se pueden realizar etapas adicionales en combinación con el proceso. Por consiguiente, las operaciones como se ilustran (y se describen con mayor detalle a continuación) son ilustrativas por naturaleza y, de esta manera, no deben verse como limitantes.

En la Figura 2A, los parámetros del microscopio no se pueden cambiar durante la adquisición de las imágenes de campo claro. Por tanto, todas las imágenes de campo claro en los datos de entrenamiento (por ejemplo, los datos de entrenamiento 120) se obtienen basándose en el mismo patrón de iluminación.

En el bloque 204, los datos de entrenamiento (por ejemplo, datos de entrenamiento 120 en la Figura 1) se obtienen al menos parcialmente de acuerdo con el patrón de iluminación por defecto. Tal y como se ha descrito anteriormente con referencia a la Figura 1, los datos de entrenamiento comprenden un primer tipo de imágenes (por ejemplo, imágenes de campo claro), que se obtienen de acuerdo con el patrón de iluminación por defecto mediante un microscopio de campo claro, y un segundo tipo de imágenes (por ejemplo, imágenes de fluorescencia) obtenidas por un microscopio de fluorescencia.

En el bloque 206, un modelo de aprendizaje automático (por ejemplo, el modelo 100 de la Figura 1) se entrena basándose en los datos de entrenamiento. El modelo puede ser un modelo GAN. Por ejemplo, la red GAN puede ser un modelo GAN condicional ("cGAN").

Las Figuras 3A, 3C, y 3D ilustra el proceso de entrenamiento del modelo de aprendizaje automático, de acuerdo con algunas realizaciones. El modelo GAN comprende el generador 302 y un discriminador 304. El generador 302 está entrenado para recibir un primer tipo de imágenes 310 (por ejemplo, imágenes de campo claro) y generar un segundo tipo de imágenes 312 (por ejemplo, imágenes de fluorescencia). En algunas realizaciones, el primer tipo de imágenes 310 comprende la matriz de imágenes de campo claro descrita anteriormente.

Durante el entrenamiento, la salida del generador (es decir, las imágenes de fluorescencia generadas) se puede conectar directamente a la entrada del discriminador. El discriminador 304 está entrenado para distinguir las imágenes generadas del segundo tipo 312 (por ejemplo, imágenes de fluorescencia generadas) a partir de imágenes reales del segundo tipo 314 (por ejemplo, imágenes de fluorescencia reales). En algunas realizaciones, las imágenes reales del segundo tipo 314 comprenden la matriz de imágenes de fluorescencia descrita anteriormente.

A través de la retropropagación, la salida del discriminador puede usarse por el generador para actualizar las ponderaciones del generador de manera que el generador aprenda a generar imágenes que el discriminador clasificará como imágenes reales, como se describe en detalle a continuación. En algunas realizaciones, el generador 302 y el discriminador 304 son redes neuronales.

La Figura 3B ilustra las operaciones de un generador ilustrativo, de acuerdo con algunas realizaciones. La imagen de entrada 352 puede ser una única imagen de una matriz de imágenes de campo claro o una matriz de imágenes de campo claro completa. Por ejemplo, la imagen de entrada 352 puede tener dimensiones (B, C, H, W) en la que B indica el tamaño del lote, C indica el número de canales, H indica la altura y W indica la anchura. C es igual a 1 si solo hay una única imagen de campo claro, y C es mayor que 1 si hay una pila de imágenes de campo claro.

Haciendo referencia a la Figura 3B, el generador comprende una serie de capas convolucionales para submuestrear la imagen de entrada 352 para obtener una imagen de entrada submuestreada 354. En algunas realizaciones, la imagen de entrada 353 se puede submuestrear a la mitad de su tamaño original. Por ejemplo, si la entrada es 256 * 256 en el tamaño espacial, se reducirá a 128 * 128.

La imagen submuestreada 354 se pasa a continuación a una pluralidad de redes neuronales. En el ejemplo que se representa, la pluralidad de redes neuronales comprende cuatro redes neuronales U-Net. Una red U-Net es una red convolucional para conversión de imagen a imagen. Se pueden encontrar detalles del diseño e implementación de una red U-Net, por ejemplo, en Ronneberger y col., "U-Net: Convolutional Networks for Biomedical Image Segmentation.

La pluralidad de redes neuronales puede corresponder a diferentes grupos de frecuencia en el dominio de ondícula. En el ejemplo que se representa, las cuatro redes U-Net son responsables de baja frecuencia, alta frecuencia (horizontal), alta frecuencia (vertical) y alta frecuencia (diagonal), respectivamente. En el procesamiento de señales, las señales de baja frecuencia corresponden a características muy grandes con respecto al tamaño de la imagen (por ejemplo, cuando se forman imágenes de células, que tiene una magnitud de tamaño del orden del citoplasma o del núcleo). La información de alta frecuencia son características de imagen pequeñas muy finas (por ejemplo, que tiene una magnitud de tamaño del orden de las mitocondrias, microtúbulos). Las señales de baja frecuencia corresponden a la primera escala de coeficientes de ondícula. La alta frecuencia se codifica en coeficientes de ondícula de escala superior. En algunas realizaciones, la pluralidad de redes neuronales opera independientemente y no comparte ponderaciones.

Como se muestra, tres de las cuatro ramificaciones de U-Net corresponden a bloques de alta frecuencia. La información de baja frecuencia es relativamente fácil de recuperar; por tanto, tener más potencia de cálculo dedicada a la alta frecuencia garantiza la reconstrucción de detalles finos en las imágenes. Por lo tanto, la función de pérdida que opera en el dominio de ondícula se beneficia de esta organización de la señal (3 veces más información de alta frecuencia que información de baja frecuencia)

Cada red neuronal está configurada para emitir (o predecir) coeficientes de ondícula para el grupo de frecuencia respectivo. Se aplica una función de pérdida a los coeficientes de ondícula previstos 356 y los coeficientes de ondícula verdaderos de la imagen de fluorescencia real. La función de pérdida se describe adicionalmente a continuación con referencia a las Figuras 3C y 3D.

La imagen de fluorescencia generada 358 en el dominio de imagen se puede obtener aplicando transformada de ondícula inversa en los coeficientes previstos 356.

La Figura 3C ilustra el proceso de retropropagación del discriminador 304, de acuerdo con algunas realizaciones. El discriminador 304 es un modelo (por ejemplo, una red neuronal) entrenada para proporcionar una salida basada en una imagen dada. Los datos de entrenamiento del discriminador 304 comprenden imágenes reales del segundo tipo 314 (por ejemplo, imágenes de fluorescencia reales) e imágenes sintéticas del segundo tipo 312 (por ejemplo, imágenes de fluorescencia generadas) generadas por el generador 302.

En algunas realizaciones, el discriminador 304 es una red PatchGAN. Se pueden encontrar detalles del diseño e implementación de la red PatchGAN, por ejemplo, en Isola y col., "Traducción de imagen a imagen con redes antagónicas condicionales".

Durante el entrenamiento del discriminador 304, se puede calcular una pérdida de discriminador 322 basándose en las salidas del generador (es decir, los coeficientes de ondícula previstos). En algunas realizaciones, la función de pérdida de discriminador es una pérdida de discriminador de Wasserstein y se calcula como sigue:

donde f(x) es la salida del discriminador basándose en los coeficientes de ondícula de una imagen de fluorescencia real, w son las ponderaciones de modelo del discriminador, m es el tamaño del mini lote, f es el modelo discriminador, x es la imagen real, z es la entrada (campo claro), G es el modelo generador, y f(G(z)) es la salida del discriminador basándose en los coeficientes de ondícula previstos correspondientes a una imagen de fluorescencia sintética.

El discriminador 304 está configurado para maximizar esta función. En otras palabras, intenta maximizar la diferencia entre su salida basada en imágenes reales y su salida basada en imágenes sintéticas. Como se representa en la Figura 3C, el discriminador actualiza sus ponderaciones a través de retropropagación basándose en la pérdida de discriminador 332 a través de la red de discriminador.

La Figura 3D ilustra el proceso de retropropagación del generador 302, de acuerdo con algunas realizaciones. El generador 302 es una red neuronal configurada para recibir un primer tipo de imágenes 310 y generar un segundo tipo de imágenes 312, como se ha descrito con referencia a las Figuras 3A y 3B. Los coeficientes de ondícula previstos por el generador se introducen en el discriminador 304. Dependiendo de las salidas del discriminador, se puede calcular una pérdida de generador 324. En algunas realizaciones, la función de pérdida del generador es una pérdida del generador de Wasserstein y se calcula de la siguiente manera:

donde f(x) es la salida del discriminador basándose en los coeficientes de ondícula de una imagen de fluorescencia real, m es el tamaño del mini lote, f es el modelo discriminador, z es la entrada (campo claro), G es el modelo generador, y f(G(z)) es la salida del discriminador basándose en los coeficientes de ondícula previstos.

La pérdida de reconstrucción, que opera en el dominio de ondículas, tiene la propiedad de equilibrar naturalmente la contribución de las frecuencias bajas y altas. Como se muestra en la Figura 3B, los coeficientes de ondícula se pueden dividir en dos categorías: baja (un bloque) y alta frecuencia (3 bloques). Tres de las cuatro ramificaciones de UNet pueden dedicarse a los bloques de alta frecuencia. La información de baja frecuencia puede recuperarse más fácilmente; por lo tanto, tener más potencia de cálculo dedicada a la alta frecuencia ayuda con la reconstrucción de detalles finos en las imágenes. La función de pérdida que opera en el dominio de ondículas, se beneficia de esta organización de la señal (tres veces más información de alta frecuencia que información de baja frecuencia). En algunas realizaciones, los coeficientes de ondícula se pueden dividir en más de dos categorías, por ejemplo, tres categorías (frecuencias alta, medias, bajas), cuatro categorías, o más de cuatro categorías.

El generador 302 está configurado para maximizar esta función. En otras palabras, intenta maximizar la salida del discriminador basándose en sus imágenes sintéticas. En algunas realizaciones, la pérdida del generador se retropropaga a través tanto del discriminador 304 como del generador 302 para obtener gradientes, que a su vez se utilizan para ajustar las ponderaciones del generador.

En algunas realizaciones, el generador 302 y el discriminador 304 se entrenan en períodos alternos. En cada período, el discriminador entrena para una o más épocas, y el generador entrena para una o más épocas. Durante el entrenamiento del discriminador, el generador puede permanecer constante. De manera similar, durante el entrenamiento del generador, el discriminador puede permanecer constante.

En algunas realizaciones, el generador puede convertir la imagen de entrada en un tercer tipo de imagen (por ejemplo, imagen de desplazamiento de fase). Por ejemplo, además de las imágenes de fluorescencia generadas, el generador también puede emitir imágenes de desplazamiento de fase en las que cada píxel indica el valor local de la fase en la imagen (por ejemplo, información de fase de -5 a 5) que se puede convertir. Se puede usar un modelo de formación de imágenes basado en la física para generar imágenes de desplazamiento de fase reales (es decir, las imágenes de desplazamiento de fase de datos reales). El modelo de formación de imágenes genera imágenes dado un conocimiento absoluto del microscopio (por ejemplo, las aberraciones del sistema óptico), por tanto como las propiedades ópticas de la muestra capturada (por ejemplo, índice de refracción, fase). Debido a que las propiedades ópticas de la muestra se pueden comparar entre muestras, el riesgo de efectos por lotes en tareas posteriores es casi nulo. Un modelo basado en la física permite la incorporación de conocimiento sólido a priori en el proceso generativo.

Haciendo referencia a la Figura 4, durante el entrenamiento, S, la fuente de iluminación, se optimiza para recuperar X con alta fidelidad. La PSF del microscopio (o función de pupila) también se puede optimizar con un modulador de luz espacial o un conjunto de micro-espejos. Adicionalmente, la polarización de S también se puede modular para inyectar más contraste en las imágenes recopiladas.

/ = / | /X(r)efrP(f - r)dr S( f )df

En la fórmula anterior, S(f) se refiere a la fuente de iluminación parcialmente coherente (matriz de LED). X(r) se refiere al campo electrónico complejo de la muestra. P(r) se refiere a la función de dispersión de puntos (PSF) del microscopio. RI(r) se refiere al índice de refracción. I se refiere a la imagen. El modelo directo se aplica fuera del bucle de entrenamiento para obtener la fase de verdad en el terreno.

En algunas realizaciones, el generador puede convertir la imagen de entrada en un cuarto tipo de imagen. En algunas realizaciones, el cuarto tipo de imagen incluye datos de imagen indicativos de datos de segmentación (por ejemplo, límites celulares). En algunas realizaciones, la función de pérdida depende de la modalidad de imagen soportada. Para la segmentación semántica, se puede usar una norma L1 para inferir las etiquetas discretas en las imágenes. Para otra modalidad de imagen, se puede añadir otra ramificación al generador para emitir la nueva modalidad.

Volviendo a la Figura 2A, en el bloque 208, los metadatos se pueden asociar con el modelo de aprendizaje automático entrenado. Los metadatos pueden incluir el patrón de iluminación predeterminado (por ejemplo, parámetros del microscopio de campo claro).

En el bloque 210, una o más imágenes del primer tipo (por ejemplo, se obtienen imágenes de campo claro). En algunas realizaciones, las imágenes se obtienen usando el mismo patrón de iluminación (por ejemplo, como se indica en los metadatos en el bloque 208).

En el bloque 212, la una o más imágenes se introducen en el generador (por ejemplo, generador 302) del modelo de aprendizaje automático entrenado. El generador se ha entrenado para convertir el primer tipo de imágenes en el segundo tipo de imágenes (por ejemplo, imágenes de fluorescencia). En el bloque 214, se obtienen una o más imágenes del segundo tipo. Como se describe a continuación, las imágenes de fluorescencia generadas a su vez pueden usarse como datos de entrenamiento para otros modelos de aprendizaje automático, eliminando por tanto la necesidad de obtener imágenes de fluorescencia reales como datos de entrenamiento.

La Figura 2B ilustra el proceso cuando los parámetros del microscopio pueden cambiarse durante la adquisición de los datos de entrenamiento y, por tanto, puede identificarse un patrón de iluminación óptimo. Por ejemplo, los parámetros del microscopio pueden programarse de modo que el microscopio pueda proporcionar múltiples patrones de iluminación.

En el bloque 252, se carga un patrón de iluminación en un microscopio. En el bloque 254, las imágenes de entrenamiento de campo claro se capturan de acuerdo con el patrón de iluminación (por ejemplo, imágenes de campo claro) y las imágenes de entrenamiento de fluorescencia también son capturadas por un microscopio de fluorescencia. Los bloques 252 y 254 se pueden realizar repetidamente, como se indican por la flecha 253. En otras palabras, se puede cargar una secuencia de patrones de iluminación en el microscopio y se pueden obtener datos de entrenamiento correspondientes a la secuencia de patrones de iluminación. La secuencia de patrones de iluminación también se refiere a un esquema de iluminación en el presente documento.

En el bloque 256, el modelo de aprendizaje automático se entrena basándose en los datos de entrenamiento. El modelo puede ser un modelo GAN que opera como se describe con referencia a las Figuras 3A-D. Por ejemplo, la red GAN puede ser un modelo GAN condicional ("cGAN").

Durante el entrenamiento, el modelo actualiza el patrón de iluminación de forma iterativa. El patrón de iluminación se actualiza retropropagando el gradiente de la pérdida (por ejemplo, pérdida del generador) a los parámetros del microscopio. El procedimiento de entrenamiento del modelo minimiza el tiempo de formación de imágenes global y minimiza las funciones de pérdida asociadas con tareas de conversión o clasificación.

Durante el entrenamiento, el sistema determina qué patrón de iluminación conduce a la menor pérdida (por ejemplo, pérdida del generador). En algunas realizaciones, el modelo produce una primera pérdida de generador al convertir una primera imagen, produce una segunda pérdida de generador al trasladar una segunda imagen, etc. Las pérdidas pueden compararse, y puede identificarse la pérdida más pequeña. En el bloque 260, se puede identificar el patrón de iluminación que ha producido la pérdida más pequeña y se puede identificar un nuevo esquema de iluminación en consecuencia. Por ejemplo, el nuevo esquema de iluminación puede incluir el mejor patrón de iluminación y/o uno o más nuevos patrones de iluminación similares al mejor patrón de iluminación. El nuevo esquema de iluminación también puede excluir patrones de iluminación previamente incluidos que han dado como resultado la mayor pérdida. Como lo indica la flecha 258, el esquema de iluminación identificado se puede cargar en el microscopio para obtener datos de entrenamiento adicionales. Este proceso puede repetirse hasta que no se observe ninguna otra mejora (por ejemplo, en la pérdida del generador). El esquema de iluminación óptimo puede almacenarse en el bloque 261.

En el bloque 262, una o más imágenes del primer tipo (por ejemplo, se obtienen imágenes de campo claro). En algunas realizaciones, las imágenes se obtienen usando el esquema de iluminación óptimo almacenado en el bloque 261.

En el bloque 264, la una o más imágenes se introducen en el generador (por ejemplo, generador 302) del modelo de aprendizaje automático entrenado. El generador se ha entrenado para convertir el primer tipo de imágenes en el segundo tipo de imágenes (por ejemplo, imágenes de fluorescencia). En el bloque 266, se obtienen una o más imágenes del segundo tipo. Como se describe a continuación, las imágenes de fluorescencia generadas a su vez pueden usarse como datos de entrenamiento para otros modelos de aprendizaje automático, eliminando por tanto la necesidad de obtener imágenes de fluorescencia reales como datos de entrenamiento.

La Figura 5 ilustra las salidas de un generador entrenado ilustrativo usando una configuración de microscopio estático. El generador entrenado recibe imágenes de campo claro de entrada y genera imágenes de fase e imágenes de fluorescencia 504. Para comparación, la Figura 5 también muestra las correspondientes imágenes de fase real e imágenes de fluorescencia 506. En la Figura 5, cada imagen de entrada es una composición de cuatro iluminaciones diferentes. En algunas realizaciones, la imagen de entrada es una imagen en color falso que representa los diferentes patrones de iluminación.

La Figura 6A ilustra un proceso ilustrativo para determinar la robustez de las imágenes generadas, de acuerdo con algunas realizaciones. Dos clasificadores 612 y 614 están entrenados para recibir una imagen de fluorescencia y proporcionar una salida (por ejemplo, un resultado de clasificación de fenotipo). El clasificador 614 se entrena basándose en imágenes de fluorescencia reales 604 (por ejemplo, imágenes de fluorescencia reales), mientras que el clasificador 612 se entrena basándose en imágenes de fluorescencia generadas 610. Las imágenes de fluorescencia generadas son generadas por un generador entrenado 608 (por ejemplo, generador 102, 302) basándose en imágenes de campo claro 506.

En algunas realizaciones, el clasificador 612 se valida usando imágenes generadas, mientras que el clasificador 614 se valida usando imágenes reales.

El rendimiento de los clasificadores 612 y 614 puede compararse para determinar la robustez de las imágenes generadas. La Figura 6B ilustra una comparación ilustrativa entre dos de tales clasificadores. En esta configuración particular, el conjunto de datos está hecho de imágenes de fluorescencia e imágenes de campo claro en 3D de hepatocitos primarios de 12 donantes sanos y 12 donantes NASH. Se entrena un modelo GAN para generar imágenes de fluorescencia a partir de una pila de imágenes de campo claro desenfocadas.

Se realiza una comparación para determinar si un clasificador entrenado en imágenes generadas y validado en imágenes reales funciona igualmente bien cuando se entrena en imágenes reales y se valida en imágenes generadas. Como se muestra en la Figura 6B, no hay caída en la precisión de clasificación y, lo que es más importante, la geometría del espacio de incrustaciones de las imágenes reales se conserva en las imágenes generadas.

Algunas realizaciones incluyen un módulo de retropropagación 616. Se puede usar el módulo de retropropagación 616, por ejemplo, para mejorar los parámetros de adquisición de imágenes usados para adquirir imágenes de campo claro que se van a mejorar. Por ejemplo, Xi puede incluir un conjunto de parámetros para los patrones de iluminación aplicados a una matriz de iluminación LED de un microscopio de campo claro. Xi también puede incluir parámetros de formación de imágenes relacionados con la posición de enfoque del objetivo de microscopio y/o parámetros de activación de un modulador de luz espacial (SLM). Todos los elementos de Xi pueden ser variables del procedimiento de optimización. Por lo tanto, en 616 el gradiente de la función de pérdida estimada en la tarea posterior [612] (por ejemplo, clasificación, conversión de imagen a imagen, regresión) puede propagarse hacia atrás para optimizar los parámetros, Xi. Para cada actualización de los valores de Xi, puede adquirirse un nuevo conjunto de imágenes generando un nuevo conjunto de datos de imágenes.

En algunas realizaciones, los datos usados para entrenar el generador 608, los datos usados para entrenar el primer clasificador 614 o el segundo clasificador 612, y los datos usados para evaluar el rendimiento de los clasificadores pueden incluir imágenes superpuestas. Las imágenes utilizadas en cualquiera de los procesos descritos anteriormente pueden anotarse en función de las muestras biológicas capturadas (por ejemplo, tipo de células, ya sea enferma o saludable) y las perturbaciones. Estas anotaciones pueden usarse para tareas de clasificación posterior (por ejemplo, como datos de entrenamiento para entrenar los clasificadores 612 y 614 en la Figura 6A) y la validación de los modelos predictivos (por ejemplo, para evaluar el rendimiento de los clasificadores entrenados 612 y 614).

La Figura 7A ilustra un ejemplo de un método 700 para entrenar un modelo de aprendizaje automático para generar imágenes de muestras biológicas de acuerdo con una realización. El método incluye obtener una pluralidad de imágenes de entrenamiento que comprenden una imagen de entrenamiento de un primer tipo, y una imagen de entrenamiento de un segundo tipo en 702. El método incluye además generar, basándose en la imagen de entrenamiento del primer tipo, una pluralidad de coeficientes de ondícula usando el modelo de aprendizaje automático en 704; generar, basándose en la pluralidad de coeficientes de ondícula, una imagen sintética del segundo tipo en 706; comparar la imagen sintética del segundo tipo con la imagen de entrenamiento del segundo tipo en 708; y actualizar el modelo de aprendizaje automático basándose en la comparación en 710.

La Figura 7B ilustra un ejemplo de un método 750 para generar imágenes mejoradas de muestras biológicas de acuerdo con una realización. El método incluye obtener, usando un microscopio, una imagen de una muestra biológica en 752. El método también incluye en 754 generar, basándose en la imagen, una imagen mejorada de la muestra biológica usando el modelo de aprendizaje automático de la Figura 7A.

La Figura 8 ilustra un ejemplo de un dispositivo informático de acuerdo con una realización. El dispositivo 800 puede ser un ordenador anfitrión conectado a una red. El dispositivo 800 puede ser un ordenador cliente o un servidor. Como se muestra en la Figura 8, el dispositivo 800 puede ser cualquier tipo adecuado de dispositivo basado en microprocesador, tal como un ordenador personal, puesto de trabajo, servidor o dispositivo informático de mano (dispositivo electrónico portátil) tal como un teléfono o tableta. El dispositivo puede incluir, por ejemplo, uno o más del procesador 810, dispositivo de entrada 820, dispositivo de salida 830, dispositivo de almacenamiento 840 y dispositivo de comunicación 860. El dispositivo de entrada 820 y el dispositivo de salida 830 pueden corresponder en general a los descritos anteriormente, y pueden conectarse o integrarse con el ordenador.

El dispositivo de entrada 820 puede ser cualquier dispositivo adecuado que proporcione entrada, tal como una pantalla táctil, un teclado o un teclado numérico, ratón o dispositivo de reconocimiento de voz. El dispositivo de salida 830 puede ser cualquier dispositivo adecuado que proporcione salida, tal como una pantalla táctil, dispositivo háptico o altavoz.

El almacenamiento 840 puede ser cualquier dispositivo adecuado que proporcione almacenamiento, tal como una memoria eléctrica, magnética u óptica que incluye una RAM, caché, disco duro o disco de almacenamiento extraíble. El dispositivo de comunicación 860 puede incluir cualquier dispositivo adecuado capaz de transmitir y recibir señales a través de una red, tal como un chip o dispositivo de interfaz de red. Los componentes del ordenador se pueden conectar de cualquier manera adecuada, tal como a través de un bus físico o de forma inalámbrica.

El software 850, que puede almacenarse en el almacenamiento 840 y ejecutarse por el procesador 810, puede incluir, por ejemplo, la programación que incorpora la funcionalidad de la presente divulgación (por ejemplo, como se materializa en los dispositivos descritos anteriormente).

El software 850 también puede almacenarse y/o transportarse dentro de cualquier medio de almacenamiento legible por ordenador no transitorio para su uso por o en conexión con un sistema, aparato o dispositivo de ejecución de instrucciones, tal como los descritos anteriormente, que puede recuperar instrucciones asociadas con el software del sistema aparato o dispositivo de ejecución de instrucciones y ejecutar las instrucciones. En el contexto de esta divulgación, un medio de almacenamiento legible por ordenador puede ser cualquier medio, tal como el almacenamiento 840, que puede contener o almacenar programación para su uso por o en conexión con un sistema, aparato o dispositivo de ejecución de instrucciones.

El software 850 también puede propagarse dentro de cualquier medio de transporte para su uso por o en conexión con un sistema, aparato o dispositivo de ejecución de instrucciones, tal como los descritos anteriormente, que puede recuperar instrucciones asociadas con el software del sistema aparato o dispositivo de ejecución de instrucciones y ejecutar las instrucciones. En el contexto de esta divulgación, un medio de transporte puede ser cualquier medio que pueda comunicar, propagar o transportar programación para su uso con, o junto con, un sistema, aparato o dispositivo de ejecución de instrucciones. El medio legible y transportable puede incluir, aunque no de forma limitativa, un medio de propagación cableada o inalámbrica electrónico, magnético, óptico, electromagnético o infrarrojo.

El dispositivo 800 puede estar conectado a una red, que puede ser cualquier tipo adecuado de sistema de comunicación interconectado. La red puede implementar cualquier protocolo de comunicaciones adecuado y puede protegerse mediante cualquier protocolo de seguridad adecuado. La red puede comprender enlaces de red de cualquier disposición adecuada que pueda implementar la transmisión y recepción de señales de red, tales como conexiones de red inalámbricas, líneas T1 o T3, redes de cable, DSL o líneas telefónicas.

El dispositivo 800 puede implementar cualquier sistema operativo adecuado para operar en la red. El software 850 se puede escribir en cualquier lenguaje de programación adecuado, tal como C, C +, Java o Python. En diferentes realizaciones, el software de aplicación que incorpora la funcionalidad de la presente divulgación se puede implementar en diferentes configuraciones, tal como en una disposición de cliente/servidor o a través de un navegador web como una aplicación basada en web o servicio web, por ejemplo.

Optimización usando moduladores de luz espacial

En algunas realizaciones, un sistema óptico ilustrativo comprende un SLM programable. Un SLM ilustrativo comprende un panel de cristal líquido de alta resolución con píxeles direccionables individualmente de tamaño micrométrico, que se puede utilizar para dar forma al frente de onda de un haz óptico. Los valores de nivel de gris en el panel se convierten en desplazamientos de fase. El SLM se puede usar como filtros de Fourier programables para generar una mejora de contraste o como elementos ópticos de difracción programables para microscopía de fase cuantitativa, en algunas realizaciones.

El SLM puede programarse para generar diversas imágenes durante la etapa de entrenamiento y/o durante la etapa de inferencia de los modelos de aprendizaje automático para mejorar el rendimiento de los modelos de aprendizaje automático, como se describe en el presente documento.

Durante la etapa de inferencia de un modelo de aprendizaje automático entrenado, el SLM se puede programar para generar diferentes imágenes de entrada para el modelo de aprendizaje automático entrenado. Por ejemplo, el SLM puede programarse para generar imágenes de entrada para un modelo de transformación de imagen entrenado para obtener versiones mejoradas de las imágenes de entrada. Las imágenes mejoradas pueden usarse a su vez para operaciones posterior. Como otro ejemplo, el SLM puede programarse para generar imágenes de entrada para un modelo de clasificación entrenado para obtener resultados de clasificación más precisos.

Además, el SLM puede programarse para generar diferentes imágenes como datos de entrenamiento durante la etapa de entrenamiento de un modelo de aprendizaje automático. Además, SLM se puede programar iterativamente, durante la etapa de entrenamiento o la etapa de inferencia, para identificar una configuración óptima para capturar imágenes que conduzca al mejor rendimiento de un modelo de aprendizaje automático dado.

Por consiguiente, el SLM del sistema óptico puede mejorar el rendimiento de un modelo de aprendizaje automático a través de la etapa de entrenamiento (por ejemplo, proporcionando un conjunto de datos de entrenamiento enriquecido) y/o a través de la etapa de inferencia (por ejemplo, proporcionando datos de entrada bajo una variedad de configuraciones o la configuración óptima). El SLM se programa sin requerir ningún movimiento mecánico o modificaciones en el sistema óptico (por ejemplo, un microscopio). El SLM proporciona grados de libertad adicionales para controlar el microscopio. Las adquisiciones multienfoque son posibles sin ningún movimiento mecánico, acelerando y mejorando por tanto las tareas posteriores de manera eficiente.

La Figura 9 ilustra un sistema óptico ilustrativo, de acuerdo con algunas realizaciones. Un sistema óptico ilustrativo comprende una fuente de luz 902 (por ejemplo, una matriz de LED), lente objetivo 904, un SLM 906 y una cámara 908. El sistema óptico tiene un modo de reflexión. En el modo de reflexión, la fuente de luz 902 proporciona iluminación a una muestra biológica 910, que genera luz reflejada. La luz reflejada viaja a través de la lente de objetivo 904 y es capturada por la cámara 908.

Haciendo referencia a la Figura 9, la línea discontinua 912 indica el plano de imagen intermedio. Como se muestra, el SLM se coloca en la trayectoria de formación de imágenes entre la muestra biológica 910 y la cámara 908. El SLM está configurado para imponer modulaciones espacialmente variables en la luz reflejada. Por ejemplo, el SLM permite conformar un plano de Fourier alternativo antes de que la luz reflejada se enfoque en la cámara 908.

En algunas realizaciones, tanto la fuente de luz 902 como el SLM 906 pueden ser programables, permitiendo por tanto grados de libertad adicionales para controlar y optimizar el sistema óptico sin mover mecánicamente los componentes del sistema óptico.

La configuración del sistema óptico en la Figura 9 es meramente ilustrativo. Un experto en la materia apreciaría que pueden usarse otras configuraciones del sistema óptico para colocar el SLM en la trayectoria de formación de imágenes del sistema óptico para aplicar técnicas de optimización descritas en el presente documento.

La Figura 10 ilustra un método ilustrativo para analizar imágenes de una muestra biológica usando un SLM programable de un sistema óptico, de acuerdo con algunas realizaciones. El proceso 1000 se realiza, por ejemplo, usando uno o más dispositivos electrónicos que implementan una plataforma de software. En algunos ejemplos, el proceso 1000 se realiza usando un sistema cliente-servidor, y los bloques del proceso 1000 se dividen de cualquier manera entre el servidor y uno o más dispositivos cliente. En otros ejemplos, el proceso 1000 se realiza usando solo uno o más dispositivos cliente. En el proceso 1000, algunos bloques son, opcionalmente, combinados, el orden de algunos bloques es, opcionalmente, cambiado, y algunos bloques son, opcionalmente, omitidos. En algunos ejemplos, se pueden realizar etapas adicionales en combinación con el proceso 1000. Por consiguiente, las operaciones como se ilustran (y se describen con mayor detalle a continuación) son ilustrativas por naturaleza y, de esta manera, no deben verse como limitantes.

En el bloque 1002, un sistema ilustrativo (por ejemplo, uno o más dispositivos electrónicos) obtiene una pluralidad de imágenes de la muestra biológica (por ejemplo, la muestra 910 en la Figura 9). La pluralidad de imágenes se genera usando una pluralidad de configuraciones de un SLM de un sistema óptico (por ejemplo, SLM 906 en la Figura 9). El SLM está ubicado en una trayectoria óptica entre la muestra biológica y un dispositivo de registro de imágenes (por ejemplo, la cámara 908).

En algunas realizaciones, al menos una configuración del SLM es generar una o más aberraciones ópticas en la imagen o imágenes resultantes. Las aberraciones ópticas pueden incluir aberración esférica, astigmatismo, desenfoque, inclinación o cualquier combinación de las mismas. En algunas realizaciones, se puede capturar más información en y/o derivarse de imágenes con aberraciones ópticas. A modo de ejemplo, el astigmatismo permite la recopilación de información de plano multienfoque en una imagen. Como otro ejemplo, el desenfoque permite que el sistema escanee una muestra sin ningún movimiento mecánico. Un método ilustrativo de generación de aberraciones ópticas se proporciona en "Quantitative Phase Imaging and Complex Field Reconstruction by Pupil Modulation Differential Phase Contrast" de Lu y col.

En algunas realizaciones, al menos una configuración del SLM es para mejorar una o más características. La una o más características pueden comprender un borde celular, un filamento de actina, forma nuclear, segmentación del citoplasma, o cualquier combinación de las mismas. En algunas realizaciones, el sistema proporciona una mejora de las neuritas con un núcleo de convolución específico codificado en la función de transferencia del microscopio. En algunas realizaciones, el sistema proporciona una mejora de la función de respuesta del microscopio para ciertos objetos biológicos separados en fase líquida (proteína, ARN, lípido). Esta mejora proporcionaría la capacidad de detectar y caracterizar la composición de estos objetos. Por ejemplo, el uso de un patrón de fase helicoidal como filtro de fase en un plano de Fourier da lugar a una función de dispersión de puntos similar a una rosquilla. La convolución con una amplitud extendida o un objeto de fase conduce a una fuerte mejora del borde isotrópico en la imagen. En una (región de la) muestra homogénea, se produce una interferencia destructiva debido al desplazamiento de fase n a través de la rosquilla (para cualquier ángulo a lo largo del anillo). La estructura en la muestra puede dar lugar a una cancelación menos imperfecta y, por tanto, a un brillo local en la imagen. En consecuencia, la luz se redistribuye en bordes y líneas de borde dentro de la muestra. Se proporcionan métodos ilustrativos de mejora de características en "Spiral phase contrast imaging in microscopy" de Fiirhapter y col., "Shadow effects in spiral phase contrast microscopy" de Fürhapter y col., "Quantitative imaging of complex samples in spiral phase contrast microscopy" de Bernet y col., "Upgrading a microscope with a spiral phase plate" de Maurer y col.

En algunas realizaciones, al menos una configuración del SLM es para reducir las aberraciones ópticas. Por ejemplo, para la formación de imágenes en vivo y la monitorización continua de las células, es fundamental reducir la variabilidad de las muestras procedentes de las placas o residuos en los pocillos. El SLM puede permitir que se corrijan estas aberraciones. En algunas realizaciones, el SLM se puede utilizar para correcciones iterativas de aberraciones de fase, por ejemplo, basándose en el algoritmo de Gerchberg-Saxton. Por ejemplo, el centro oscuro de una sola leva de vórtice óptico se usa como un sensor crítico para las aberraciones de fase residual. Se proporcionan métodos ilustrativos de mejora de características en "Wavefront correction of spatial light modulators using an optical vortex image" de Jesacher y col., y en "Phase contrast microscopy with full numerical aperture illumination" de Maurer col.

En algunas realizaciones, la pluralidad de configuraciones de SLM es para obtener imágenes de la muestra biológica a diferentes profundidades. Por ejemplo, el SLM permite la multiplexación de imágenes flexible, por ejemplo, para combinar imágenes de diferentes profundidades de la muestra o para diferentes ajustes de parámetros de formación de imágenes en una imagen registrada. La multiplexación de imágenes puede facilitar la microscopía de fase cuantitativa. La obtención de imágenes de la muestra viva debe ser lo más rápida posible para minimizar el estrés en las células. Los movimientos mecánicos para el escaneo 3D de las muestras son prohibitivos. Este sistema permite que se realice la pticografía de Fourier y la reconstrucción de grandes volúmenes en 3D a partir de imágenes de baja resolución de un pozo completo. Se proporcionan métodos ilustrativos de multiplexación en "Depth-of-field-multiplexing in microscopy" de Maurer y col., en "Differential interference contrast imaging using a spatial light modulator" de McIntyre y col., y en "Quantitative SLM-based differential interference contrast Imaging" de McIntyre y col.

En algunas realizaciones, el sistema permite la reconstrucción de imágenes de alta resolución a través de una pticografía de Fourier optimizada. La pticografía de Fourier es una técnica de formación de imágenes computacional basada en microscopía óptica que incluye la síntesis de una apertura numérica más amplia a partir de un conjunto de imágenes de campo completo adquiridas usando diferentes ajustes ópticos, lo que resulta en una mayor resolución en comparación con un microscopio convencional. Las imágenes en un conjunto de imágenes pueden adquirirse usando diferentes configuraciones del LED y/o el SLM; el conjunto de imágenes adquiridas se puede combinar usando un algoritmo de recuperación de fase iterativo en una imagen final de alta resolución que puede contener hasta mil millones de píxeles (un gigapíxel) con resolución limitada por difracción, dando como resultado un producto de alto ancho de banda espacial.

También se puede programar una fuente de luz del sistema óptico. En algunas realizaciones, la pluralidad de imágenes en el bloque 1002 se obtienen usando una pluralidad de configuraciones de la fuente de luz (por ejemplo, fuente de luz 902) del sistema óptico. En el presente documento se describen métodos ilustrativos para programar la fuente de luz, por ejemplo, con referencia a las Figuras 1 y 2B.

Volviendo a la Figura 10, en el bloque 1004, el sistema introduce la pluralidad de imágenes de la muestra biológica en un modelo de aprendizaje automático entrenado para obtener una o más salidas.

En algunas realizaciones, el modelo entrenado es un modelo de transformación de imagen configurado para generar, basándose en una imagen de entrada de un primer tipo, una imagen de salida de un segundo tipo (por ejemplo, versiones mejoradas de las imágenes de entrada). En algunas realizaciones, las versiones mejoradas de las imágenes de entrada comprenden fenotipos celulares mejorados. En algunas realizaciones, el modelo entrenado es un modelo GAN o un modelo autosupervisado. Por ejemplo, el modelo entrenado puede ser el modelo 100 configurado para recibir imágenes de campo claro y generar imágenes de fluorescencia.

En algunas realizaciones, el modelo entrenado es un modelo de clasificación configurado para proporcionar una salida de clasificación. Por ejemplo, el modelo puede recibir una imagen de entrada y detectar uno o más objetos predefinidos en la imagen de entrada, tal como un tejido enfermo.

La Figura 11 ilustra un método ilustrativo para entrenar un modelo de aprendizaje automático, de acuerdo con algunas realizaciones. El proceso 1100 se realiza, por ejemplo, usando uno o más dispositivos electrónicos que implementan una plataforma de software. En algunos ejemplos, el proceso 1100 se realiza usando un sistema cliente-servidor, y los bloques del proceso 1100 se dividen de cualquier manera entre el servidor y uno o más dispositivos cliente. En otros ejemplos, el proceso 1100 se realiza usando solo uno o más dispositivos cliente. En el proceso 1100, algunos bloques son, opcionalmente, combinados, el orden de algunos bloques es, opcionalmente, cambiado, y algunos bloques son, opcionalmente, omitidos. En algunos ejemplos, se pueden realizar etapas adicionales en combinación con el proceso 1100. Por consiguiente, las operaciones como se ilustran (y se describen con mayor detalle a continuación) son ilustrativas por naturaleza y, de esta manera, no deben verse como limitantes.

En el bloque 1102, un sistema ilustrativo (por ejemplo, uno o más dispositivos electrónicos) obtiene una pluralidad de imágenes de una muestra biológica. La pluralidad de imágenes se genera usando una pluralidad de configuraciones de un SLM de un sistema óptico (por ejemplo, SLM 906 en la Figura 9). El SLM está ubicado en una trayectoria óptica entre la muestra biológica y un dispositivo de registro de imágenes (por ejemplo, la cámara 908).

En algunas realizaciones, las configuraciones de SLM están configuradas para crear efectos deseables en las imágenes resultantes. Como se ha analizado anteriormente, algunas configuraciones de la pluralidad de configuraciones del SLM pueden generar una o más aberraciones ópticas (por ejemplo, una aberración esférica, astigmatismo, desenfoque, distorsión, inclinación o cualquier combinación de las mismas), para mejorar una o más características (por ejemplo, un borde celular, un filamento de actina, forma nuclear, segmentación del citoplasma, o cualquier combinación de las mismas), para reducir las aberraciones ópticas, para obtener imágenes de la muestra biológica a diferentes profundidades, etc.

En el bloque 1104, el sistema entrena el modelo de aprendizaje automático usando la pluralidad de imágenes. En algunas realizaciones, el modelo entrenado es un modelo de transformación de imagen configurado para generar, basándose en una imagen de entrada de un primer tipo, una imagen de salida de un segundo tipo (por ejemplo, versiones mejoradas de las imágenes de entrada). En algunas realizaciones, las versiones mejoradas de las imágenes de entrada comprenden fenotipos celulares mejorados. En algunas realizaciones, el modelo entrenado es un modelo GAN o un modelo autosupervisado. Por ejemplo, el modelo entrenado puede ser el modelo 100 configurado para recibir imágenes de campo claro y generar imágenes de fluorescencia. Los métodos ilustrativos de entrenamiento del modelo se describen en el presente documento con referencia a las Figuras 2A-B y 3A-3D.

En algunas realizaciones, el modelo entrenado es un modelo de clasificación configurado para proporcionar una salida de clasificación. Por ejemplo, el modelo puede recibir una imagen de entrada y detectar uno o más objetos predefinidos en la imagen de entrada, tal como un tejido enfermo. El entrenamiento del modelo de clasificación puede realizarse usando la pluralidad de imágenes y etiquetas asociadas.

En algunas realizaciones, en el bloque 1104, el SLM puede programarse iterativamente para identificar una configuración de SLM óptima para capturar imágenes que conducen a un rendimiento mejorado de un modelo de aprendizaje automático dado. Específicamente, en el bloque 1106, el sistema entrena el modelo de aprendizaje automático usando una primera imagen, donde la primera imagen se obtiene usando una primera configuración del SLM del sistema óptico. En el bloque 1108, el sistema evalúa el modelo de aprendizaje automático entrenado. En el bloque 1110, el sistema, basándose en la evaluación, identifica una segunda configuración del SLM. En el bloque 1112, el sistema entrena el modelo de aprendizaje automático usando una segunda imagen, en donde la segunda imagen se obtiene usando la segunda configuración del SLM del sistema óptico.

Por ejemplo, en el bloque 1106, el sistema entrena el modelo usando imágenes correspondientes a un primer conjunto de configuraciones de SLM. Cada imagen da como resultado una pérdida correspondiente basándose en una función de pérdida del modelo. En el bloque 1108, el sistema determina qué configuración de SLM del primer conjunto de configuraciones de SLM da como resultado la pérdida más pequeña (por ejemplo, pérdida del generador). En el bloque 1110, se puede identificar la configuración de SLM que ha producido la pérdida más pequeña y se puede identificar un nuevo segundo conjunto de configuraciones de SLM en consecuencia. Por ejemplo, el nuevo conjunto de configuraciones de SLM puede incluir la mejor configuración de SLM (es decir, la configuración que produjo la pérdida más pequeña) del primer conjunto y/o una o más configuraciones de SLM nuevas similares a la mejor configuración de SLM. El nuevo conjunto de configuraciones de SLM también puede excluir configuraciones de SLM que han dado como resultado la mayor pérdida del primer conjunto. El nuevo conjunto de configuraciones de SLM puede cargarse en el sistema óptico para obtener datos de entrenamiento adicionales. Estas etapas se pueden repetir hasta que se alcance un umbral, por ejemplo, cuando no se observa ninguna otra mejora (por ejemplo, en la pérdida del generador). La configuración de SLM óptima puede almacenarse y usarse para obtener imágenes de entrada.

Aunque las etapas 1106-1112 se describen como parte de un proceso de entrenamiento, se pueden realizar en otras etapas de la canalización (por ejemplo, etapa de inferencia) para identificar la configuración de SLM óptima para generar imágenes de entrada. En algunas realizaciones, la fuente de luz y el SLM del sistema óptico pueden programarse iterativamente juntos para identificar la mejor combinación de patrón de iluminación y configuración de SLM para generar imágenes de entrada.

Si bien las Figuras 9-11 describen técnicas de optimización que usan un componente SLM de un sistema óptico, debe apreciarse que el SLM puede reemplazarse con otro componente de hardware que pueda alterar la función óptica (por ejemplo, función de la pupila) del sistema, tales como micro-espejos.

Las Figuras 12A y 12B ilustran una comparación lado a lado de resultados de clasificación de dos modelos de clasificación, de acuerdo con algunas realizaciones. El modelo de clasificación en la Figura 12A se entrena usando imágenes reales capturadas por un microscopio (por ejemplo, imágenes de fluorescencia reales), mientras que el modelo de clasificación en la Figura 12B se entrena usando imágenes sintéticas generadas usando las técnicas descritas en el presente documento (por ejemplo, imágenes de fluorescencia generadas a partir de imágenes de campo claro). Los modelos de clasificación determinan a qué compuesto químico han respondido los tejidos representados en una imagen de entrada. Específicamente, cada modelo está configurado para recibir una imagen de entrada y emitir un resultado de clasificación indicativo de uno de los 150 compuestos químicos predefinidos. En el ejemplo que se representa, cada una de las Figuras 12A y 12B muestran una aproximación y proyección de colector uniforme (UMAP) en la que cada imagen de entrada se representa como un punto en la UMAP. El color del punto representa el compuesto químico como se clasifica la imagen por el modelo de clasificación. En algunas realizaciones, las imágenes de entrada en el modelo de la Figura 12A son imágenes reales, mientras que las imágenes de entrada en el modelo de la Figura 12B son imágenes generadas.

Las Figuras 12C y 12D ilustran una comparación lado a lado de los mismos resultados de clasificación en las Figuras 12A y 12B, respectivamente, con un esquema de color diferente para demostrar la resistencia de los dos modelos a los efectos por lotes. Los efectos por lotes se refieren a situaciones en las que los subconjuntos (es decir, lotes) de datos difieren significativamente en la distribución debido a factores irrelevantes relacionados con el instrumento. Los efectos por lotes no son deseables porque introducen errores sistemáticos, lo que puede hacer que el análisis estadístico posterior produzca resultados falsos y/u ofusque la señal de interés. En cada una de las Figuras 12C y 12D, las imágenes de entrada pertenecen a tres lotes diferentes (por ejemplo, de diferentes placas o experimentos), como se indica por diferentes niveles de gris. Como se muestra, la Figura 12<d>muestra una mayor superposición entre los puntos correspondientes a los tres lotes, lo que indica que las imágenes generadas son más resistentes a los efectos por lotes. La Figura 12E ilustra la métrica de distancia euclidiana correspondiente a un conjunto de imágenes reales (por ejemplo, las imágenes de entrada como se muestra en las Figuras 12A y 12C), un conjunto de imágenes generadas (por ejemplo, las imágenes de entrada como se muestra en las Figuras 12B y 12D), y un conjunto de imágenes realmente invariables por lotes. La métrica de distancia euclidiana para cada conjunto de imágenes mide la distancia euclidiana entre las incrustaciones de imagen de dos lotes separados (por ejemplo, el Lote de Imágenes Reales 1 y el Lote de Imágenes Reales 3 en la Figura 12C, El Lote de Imágenes Generadas 1 y el Lote de Imágenes Generadas 3 en la Figura 12D). Para un conjunto de imágenes realmente invariables por lotes, la puntuación media debe ser 0 (es decir, sin efectos por lotes). Como se muestra, la puntuación media para el conjunto de imágenes generadas es menor que la puntuación media para las imágenes reales, demostrando por tanto una invariancia por lotes superior.

Las Figuras 13A y 13B ilustran una imagen de fase generada a modo de ejemplo y una imagen de fluorescencia generada a modo de ejemplo, de acuerdo con algunas realizaciones. La Figura 13A es una imagen de fase generada por un modelo GAN descrito en el presente documento, por ejemplo, de una imagen de campo claro. La Figura 13B es una imagen de fluorescencia/corporal generada por la GAN a partir de la misma imagen de campo claro. La imagen corporal incluye un tono verde virtual para resaltar la presencia de un biomarcador. La Figura 13C muestra la Figura 13B superpuesta sobre la imagen de fase en la Figura 13A. Por tanto, el modelo GAN se puede utilizar para el modelado de enfermedades. Por ejemplo, se pueden obtener múltiples muestras y obtener imágenes de un sujeto. La serie resultante de imágenes de campo claro puede analizarse mediante el modelo GAN para generar imágenes de fase sintética y de fluorescencia para estudiar las perturbaciones de la enfermedad.

Las Figuras 14A-B ilustran un proceso ilustrativo para entrenar un modelo de aprendizaje automático (por ejemplo, un modelo GAN) configurado para generar datos sintéticos (por ejemplo, datos de imagen) e identificar un esquema de iluminación óptimo para obtener datos de entrada para el modelo de aprendizaje automático, de acuerdo con algunas realizaciones. El proceso 1400 se realiza, por ejemplo, usando uno o más dispositivos electrónicos que implementan una plataforma de software. En algunos ejemplos, el proceso 1400 se realiza usando un sistema cliente-servidor, y los bloques del proceso 1400 se dividen de cualquier manera entre el servidor y uno o más dispositivos cliente. En otros ejemplos, el proceso 1400 se realiza usando solo uno o más dispositivos cliente. En el proceso 1400, algunos bloques son, opcionalmente, combinados, el orden de algunos bloques es, opcionalmente, cambiado, y algunos bloques son, opcionalmente, omitidos. En algunos ejemplos, se pueden realizar etapas adicionales en combinación con el proceso 1400. Por consiguiente, las operaciones como se ilustran (y se describen con mayor detalle a continuación) son ilustrativas por naturaleza y, de esta manera, no deben verse como limitantes.

En el bloque 1402, un sistema ilustrativo (por ejemplo, uno o más dispositivos electrónicos) recibe una pluralidad de imágenes de entrenamiento. La pluralidad de imágenes de entrenamiento son imágenes reales de muestras biológicas y también se denominan datos reales. La pluralidad de imágenes de entrenamiento comprende el tipo de datos de imagen que el modelo GAN está configurado para recibir y el tipo o tipos de datos de imagen que el modelo GAN está configurado para emitir. Por ejemplo, si el modelo GAN está configurado para recibir una imagen de campo claro y emitir una imagen de fluorescencia y una imagen de fase, la pluralidad de imágenes recibidas incluiría una pluralidad de imágenes de entrenamiento de campo claro 1402a (es decir, un tipo de datos de entrada de GAN), una pluralidad de imágenes de entrenamiento de fluorescencia 1402b (es decir, un tipo de datos de salida de GAN) y una pluralidad de imágenes de entrenamiento de fase (es decir, un tipo de datos de salida de GAN).

Las imágenes de entrenamiento de campo claro en la pluralidad 1402a pueden capturarse iluminando muestras celulares in vitro (o biopsia) con una matriz de LED económica usando diferentes configuraciones de iluminación. Las imágenes de entrenamiento de fluorescencia en la pluralidad 1402b pueden capturarse después de aplicar un tinte a la muestra biológica (por ejemplo, para mejorar la visibilidad de un biomarcador). Las imágenes de entrenamiento de fase se pueden obtener usando modelos basados en física u óptica. Debería apreciarse por un experto en la materia que la pluralidad de imágenes de entrenamiento usadas en el proceso 1400 puede diferir dependiendo del tipo de los datos de imagen que la GAN está configurada para recibir y emitir. En algunas realizaciones, la pluralidad de imágenes de entrenamiento comprende datos de imagen pareados. Por ejemplo, una imagen de campo claro, una imagen de fluorescencia y una imagen de fase de la misma muestra biológica pueden incluirse en los conjuntos 1402a, 1402b y 1402c, respectivamente.

En algunas realizaciones, la pluralidad de imágenes de entrenamiento se adquieren para permitir el entrenamiento del modelo GAN de manera que las imágenes sintéticas (por ejemplo, imágenes de fluorescencia sintética, imágenes de fase sintética) generadas por el modelo GAN proporcionarán el mismo rendimiento en análisis posteriores que las imágenes reales (por ejemplo, imágenes de fluorescencia reales, imágenes de fase reales). En algunas realizaciones, los análisis posteriores incluyen una tarea de clasificación que clasifica una imagen como correspondiente a una clase de M clases. Por ejemplo, la tarea de clasificación puede implicar clasificar una imagen como correspondiente a un estado de célula particular de entre múltiples clases de estado de célula (por ejemplo, estado saludable, estado enfermo). Como otro ejemplo, la tarea de clasificación puede implicar clasificar una imagen como correspondiente a una perturbación particular de entre múltiples clases de perturbación. Para entrenar el modelo GAN para generar imágenes sintéticas que puedan clasificarse con tanta precisión como las imágenes reales, las imágenes de entrenamiento incluyen imágenes que corresponden a las M clases (o condiciones). Por ejemplo, si las clases M incluyen una clase de estado de célula saludable y una clase de estado de célula enferma, la pluralidad de imágenes de entrenamiento de campo claro 1402a puede incluir imágenes de campo claro que representan células sanas e imágenes de campo claro que representan células enfermas, la pluralidad de imágenes de entrenamiento de fluorescencia 1402b puede incluir imágenes de fluorescencia que representan células sanas e imágenes de fluorescencia que representan células enfermas, y la pluralidad de imágenes de entrenamiento de fase 1402c puede incluir imágenes de fase que representan células sanas e imágenes de fase que representan células enfermas. Por ejemplo, si las M clases incluyen M perturbaciones, la pluralidad de imágenes de entrenamiento de campo claro 1402a puede incluir imágenes de campo claro que representan las M perturbaciones, etc. Cada imagen de entrenamiento puede etiquetarse con la condición correspondiente. Por ejemplo, una imagen de fase que representa un estado de célula enferma puede asociarse con una etiqueta enferma.

En una implementación ilustrativa, la pluralidad de imágenes de entrenamiento incluye X campos de visión por condición, es decir,M* X campos de visión en total. Específicamente, en la pluralidad de imágenes de campo claro 1402a, cada campo de visión incluyeNimágenes de campo claro capturadas usandoNconfiguraciones de iluminación, resultando por tanto enM*X*Nimágenes de campo claro en total. En la pluralidad de imágenes de fluorescencia 1402b, cada campo de visión incluye una imagen de fluorescencia, resultando por tanto enM* X imágenes de fluorescencia en total. En la pluralidad de imágenes de fase 1402c, cada campo de visión incluye una imagen de fase, resultando por tanto enM* X imágenes de fase en total. En algunas realizaciones, las imágenes de campo claro tienen un aumento = mentrada, mientras que las imágenes de fluorescencia tienen un aumento msalida >= mentrada y las imágenes de fase están en msalida >= mentrada.

En el bloque 1404, el sistema entrena un clasificador configurado para recibir una imagen de entrada y emitir un resultado de clasificación indicativo de una de M condiciones. Por ejemplo, si las condiciones M incluyen una condición saludable y una condición enferma, el clasificador está configurado para recibir una imagen de entrada y emitir un resultado de clasificación indicativo de la condición saludable o la condición enferma. Después de entrenar el clasificador, se usa durante el entrenamiento del modelo GAN para garantizar que el modelo GAN pueda generar datos de imagen sintéticos que puedan clasificarse con el mismo o similar nivel de precisión que los datos de imagen reales, como se describe a continuación.

En algunas realizaciones, el clasificador se entrena usando el mismo tipo de datos de imagen que el modelo GAN está configurado para emitir. En el ejemplo representado en las Figuras 14A y 14B, el modelo GAN está configurado para emitir una imagen de fluorescencia y una imagen de fase; por tanto, el clasificador entrenado en el bloque 1404 se entrena usando la pluralidad de imágenes de entrenamiento de fluorescencia 1402b y la pluralidad de imágenes de entrenamiento de fase 1402c. Durante el entrenamiento, cada imagen de fluorescencia o imagen de fase se introduce en el clasificador para obtener un resultado de clasificación previsto (por ejemplo, saludable o enfermo). El resultado de clasificación previsto se compara a continuación con la clase real asociada con la imagen de entrenamiento (por ejemplo, si la imagen de entrenamiento representa de hecho un estado de célula saludable o un estado de célula enferma) y, basándose en la comparación, el clasificador se puede actualizar en consecuencia. El clasificador puede implementarse usando cualquier algoritmo de clasificación, tal como un modelo de regresión lógica, un modelo bayesiano ingenuo, un modelo de árbol de decisión, un modelo de bosque aleatorio, un modelo de máquina vectorial de soporte, etc.

En el bloque 1406, el sistema entrena el modelo GAN basándose en las imágenes de entrenamiento. El bloque 1406 puede incluir las etapas 1408a-1408e, que pueden repetirse hasta que se complete el entrenamiento (por ejemplo, cuando se alcanza la convergencia). Las etapas 1408a-e se describen a continuación con referencia a la Figura 15, que es un diagrama esquemático que ilustra las etapas, de acuerdo con algunas realizaciones.

Como se muestra en la Figura 15, el modelo GAN incluye una capa de atención multicabeza 1502 que comprende una matriz de ponderaciones, específicamente,Kconjuntos de ponderaciones w-i-wn, un generador 1504, un discriminador 1508 y el clasificador entrenado 1506 del bloque 1404. Durante el entrenamiento del modelo GAN, el clasificador permanece fijo mientras el generador, el discriminador y la capa de atención se actualizan, como se describe a continuación.

En el bloque 1408a, el sistema aplica cada uno deKconjuntos de ponderaciones en la capa de atención del modelo GAN a un conjunto de imágenes de entrenamiento de campo claro. El conjunto de imágenes de entrenamiento de campo claro se obtiene a partir de la pluralidad de imágenes de campo claro 1402a. En algunas realizaciones, el conjunto de imágenes de entrenamiento de campo claro corresponde al mismo campo de visión y representa la misma muestra biológica, pero se capturan usando diferentes configuraciones de iluminación. Por ejemplo, si una matriz de LED comprendeNemisores de iluminación (por ejemplo, LED), cada emisor de iluminación se puede encender de uno en uno y se puede capturar una imagen de campo claro de la muestra biológica iluminada por cada emisor de iluminación, resultando por tanto en un conjunto deNimágenes de entrenamiento de campo claro.

En el ejemplo representado en la Figura 15, el sistema recibe un conjunto deNimágenes de entrenamiento de campo claro correspondientes a las configuraciones de iluminación 1-N. Por ejemplo, la primera imagen de campo claro representa la muestra biológica que se ilumina usando el ajuste de iluminación 1 (por ejemplo, solo se enciende el primer LED de la matriz), la segunda imagen de campo claro representa la muestra biológica que se ilumina usando el ajuste de iluminación 2 (por ejemplo, solo se enciende el segundo LED de la matriz), ... y la N-ésima imagen de campo claro representa la muestra biológica que se ilumina usando el ajuste de iluminaciónN(por ejemplo, solo se enciende el N-ésimo LED de la matriz).

La capa de atención generaKconjuntos de ponderaciones y cada conjunto comprendeNponderaciones. Cada conjunto de ponderaciones w-i-wn se aplica a lasNimágenes para generar una imagen agregada. Para cada conjunto de ponderaciones, la capa de atención 1502 asigna una ponderación continua (por ejemplo, una ponderación escalar normalizada) en el conjunto a cada una del conjunto de imágenes de entrenamiento de campo claro. Estas ponderaciones corresponden a valores de intensidad de las configuraciones de iluminación correspondientes (por ejemplo, los LED correspondientes). Como se muestra, wi se aplica a (por ejemplo, multiplicado por) la primera imagen de campo claro, W2 se aplica a la segunda imagen de campo claro, Wn se aplica a la N-ésima imagen de campo claro. Después de aplicar las ponderaciones, las imágenes ponderadas se pueden agregar (por ejemplo, sumar) para obtener una imagen de campo claro agregada. Debido a que hayKconjuntos de ponderaciones,Kimágenes agregadas 1512 se pueden generar. En algunas realizaciones, la capa de atención es una capa de atención multicabeza adaptada. El mecanismo de atención permite la generación natural de K combinación lineal de imágenes de campo claro (es decir, imágenes agregadas). Estas imágenes agregadas se alimentan al resto de la red como se describe en el presente documento.

En el bloque 1408b, el sistema introduce cada una de las imágenes de campo claro agregadas en el modelo GAN. Con referencia a la Figura 15, cada una de las imágenes de campo claro agregadas 1512 se introduce en el generador 1504, que emite una imagen de fluorescencia sintética 1514a y una imagen de fase sintética 1514b. El generador puede implementarse de manera similar al generador descrito anteriormente con referencia a las Figuras 3A-D.

Durante el entrenamiento, la salida del generador (es decir, la imagen de fluorescencia generada 1514a y la imagen de fase generada 1514b) se pueden conectar directamente a la entrada del discriminador. El discriminador 1508 está entrenado para distinguir imágenes generadas e imágenes reales. Durante el entrenamiento, se puede introducir una imagen generada en el discriminador 1508 para obtener una pérdida de discriminador y una pérdida de generador como se ha descrito anteriormente. Además, también se puede introducir una imagen real en el discriminador 1508 para generar una pérdida de discriminador y una pérdida de generador. La imagen real puede ser la imagen de fluorescencia real 1516a (de la pluralidad de imágenes de entrenamiento de fluorescencia 1402b en la Figura 14A) correspondiente al mismo campo de visión que las imágenes de campo claro de entrada, o la imagen de fase real 1516b (de la pluralidad de imágenes de entrenamiento de fase 1402c en la Figura 14A) correspondiente al mismo campo de visión que las imágenes de campo claro de entrada.

En algunas realizaciones, la función de pérdida de discriminador es una pérdida de discriminador de Wasserstein y se calcula como sigue:

i / t * ' 0 ) - « = ( * “ >))

donde f(x) es la salida del discriminador basándose en los coeficientes de ondícula de una fluorescencia real o imagen de fase, w son las ponderaciones de modelo del discriminador, m es el tamaño del mini lote, f es el modelo discriminador, x es la imagen real, z es la entrada (imagen de campo claro 1512), G es el modelo generador, y f(G(z)) es la salida del discriminador basándose en los coeficientes de ondícula previstos correspondientes a una imagen de fase o fluorescencia sintética.

En algunas realizaciones, la función de pérdida del generador es una pérdida del generador de Wasserstein y se calcula de la siguiente manera:

[A G ( z '0 ) )

donde f(x) es la salida del discriminador basándose en los coeficientes de ondícula de una fluorescencia real o imagen de fase, m es el tamaño del mini lote, f es el modelo discriminador, z es la entrada (imagen de campo claro 1512), G es el modelo generador, y f(G(z)) es la salida del discriminador basándose en los coeficientes de ondícula previstos.

En el bloque 1408c, el sistema introduce cada imagen generada y una imagen real correspondiente a la imagen generada en el clasificador entrenado para obtener una pérdida del clasificador. Por ejemplo, la imagen de fluorescencia generada 1514a se introduce en el clasificador 1506 para obtener un primer resultado de clasificación; la imagen de fluorescencia real 1516a se introduce en el clasificador 1506 para obtener un segundo resultado de clasificación; se puede calcular una pérdida del clasificador basándose en la diferencia entre el primer resultado de clasificación y el segundo resultado de clasificación. Como otro ejemplo, la imagen de fase generada 1514b se introduce en el clasificador 1506 para obtener un tercer resultado de clasificación; la imagen de fase real 1516b se introduce en el clasificador 1506 para obtener un cuarto resultado de clasificación; se puede calcular una pérdida del clasificador basándose en la diferencia entre el tercer resultado de clasificación y el cuarto resultado de clasificación.

En el bloque 1408d, el sistema aumenta la pérdida del generador basándose en la pérdida del clasificador. Por ejemplo, la pérdida del generador se puede aumentar con una norma L2 de la puntuación de clasificación de las imágenes reales. En algunas realizaciones, si no hay clasificador disponible o no se desea clasificación, la pérdida del clasificador se reemplaza por una constante (por ejemplo, 0).

En el bloque 1408e, el sistema actualiza el modelo GAN basándose en la pérdida de generador aumentada. La retropropagación sigue el mismo procedimiento que se ha descrito anteriormente. El discriminador actualiza sus ponderaciones a través de retropropagación basándose en la pérdida de discriminador a través de la red de discriminador. Además, la pérdida de generador aumentada se propaga hacia atrás para actualizar las ponderaciones en la capa de atención (por ejemplo, las ponderaciones con las que se calcula la imagen agregada) y el generador. Por ejemplo, la pérdida generada calculada basándose en una imagen agregada correspondiente al K-ésimo conjunto de ponderaciones se puede usar para actualizar el K-ésimo conjunto de ponderaciones en la capa de atención.

En el bloque 1410, el sistema obtiene uno o más patrones de iluminación óptimos basándose en las ponderaciones en la capa de atención del modelo GAN entrenado. Como se ha descrito anteriormente, las ponderaciones en la capa de atención (por ejemplo, w1 - wn) pueden ser indicativas de los valores de intensidad de los configuraciones de iluminación correspondientes (por ejemplo, los LED correspondientes en la matriz de LED). Como se ha analizado anteriormente, la capa de atención puede ser una capa de atención multicabeza que proporcionaKconjuntos de ponderaciones (es decir,Kcombinaciones lineales), resultando por tanto enKpatrones de iluminación.

En algunas realizaciones, antes del bloque 1406, el generador y el discriminador del modelo GAN se pre-entrenan usando imágenes de campo claro en las que todos los LED en la matriz de LED están encendidos. Después del pre entrenamiento, el bloque 1406 se realiza para actualizar las ponderaciones de atención mientras el generador y el discriminador permanecen fijos. La combinación óptima de las iluminaciones se puede obtener basándose en las ponderaciones actualizadas.

La Figura 16A ilustra imágenes sintéticas generadas por un modelo GAN ilustrativo para estudiar la enfermedad de NASH, de acuerdo con algunas realizaciones. En el ejemplo que se representa, las células Hepg2 con antecedentes genéticos de NASH se iluminan usando un patrón de iluminación óptimo identificado usando técnicas descritas en el presente documento, y se captura una imagen de campo claro. La imagen de campo claro se introduce en un modelo GAN, que emite una imagen de fase generada y una imagen de fluorescencia/corporal generada en la Figura 16A. El modelo GAN usado en la Figura 16A puede configurarse para incluir un clasificador entrenado como se describe con referencia a las Figuras 14A-B y 15. El clasificador tiene dos condiciones: una condición saludable (por ejemplo, sin perturbaciones) y una condición enferma (por ejemplo, cóctel de inflamación más ácido graso). Como se describe, el modelo GAN puede entrenarse de tal manera que las imágenes generadas puedan clasificarse por el clasificador con el mismo o similar grado de precisión que las imágenes reales.

Las imágenes sintéticas generadas por el modelo GAN pueden usarse para crear modelos de enfermedad. La Figura 16B ilustra el análisis posterior de las imágenes generadas, de acuerdo con algunas realizaciones. Como se muestra, las imágenes generadas se pueden usar para realizar la segmentación de núcleos y la detección de manchas (por ejemplo, utilizando algoritmos de procesamiento de imágenes). Por tanto, las imágenes generadas pueden usarse para crear un modelo de enfermedad para la enfermedad de NASH y estudiar perturbaciones químicas en NASH.

Las imágenes sintéticas generadas por el modelo GAN también pueden usarse para evaluar la eficacia de un tratamiento. El sistema procesa tres grupos de imágenes generadas: un primer grupo de imágenes que representan tejidos sanos que no tienen la enfermedad, un segundo grupo de imágenes que representan tejidos enfermos no tratados, y un tercer grupo de imágenes que representan tejidos enfermos que se han tratado (por ejemplo, usando un fármaco particular). En el ejemplo representado en la Figura 16C, el primer grupo de imágenes (etiquetado como "no tratadas") comprende imágenes de tejidos sanos que no tienen la enfermedad de esteatohepatitis no alcohólica (NASH), el segundo grupo de imágenes (etiquetado como "NASH 2X") comprende imágenes de tejidos no tratados que tienen la enfermedad de NASH, y el tercer grupo de imágenes (etiquetado como "NASH 2X+inhibidor de ACC") comprende imágenes de tejidos con NASH que se han tratado con un fármaco (por ejemplo, 50 uM de inhibidor de ACC o firocostato). En algunas realizaciones, los tres grupos de imágenes capturan tejidos del mismo sujeto en diferentes momentos. En algunas realizaciones, los tres grupos de imágenes capturan tejidos de diferentes sujetos. Las imágenes pueden ser imágenes de fase o imágenes de fluorescencia generadas usando las técnicas descritas en el presente documento (por ejemplo, a partir de imágenes de campo claro). Cada imagen de fase o de fluorescencia puede generarse basándose en múltiples imágenes de campo claro y, por tanto, comprende información más rica tal como información de desplazamiento de fase. Por consiguiente, las imágenes de fase o de fluorescencia generadas pueden permitir una mayor precisión en los análisis posteriores, como se describe a continuación.

Específicamente, para evaluar la eficacia del fármaco, el sistema genera una distribución para cada grupo de imágenes para determinar si las distribuciones reflejan el efecto del fármaco sobre el estado de enfermedad. En la Figura 16C, se generan tres distribuciones de probabilidad usando un clasificador entrenado en imágenes generadas. El eje X indica la probabilidad emitida por el clasificador al recibir una imagen de entrada (por ejemplo, una imagen de fase generada). Como se muestra por las tres distribuciones, las imágenes generadas de tejidos sanos (es decir, distribución 1620) se clasifican generalmente como teniendo menores probabilidades de tener la enfermedad que las imágenes generadas de los tejidos enfermos (es decir, distribución 1624). Además, las imágenes generadas de tejidos tratados (es decir, distribución 1622) se clasifican generalmente como teniendo menores probabilidades de tener la enfermedad que las imágenes generadas de tejidos enfermos. Una comparación de estas distribuciones puede indicar que el fármaco es eficaz para revertir o reducir el estado de enfermedad, debido a que el tratamiento ha provocado que los tejidos enfermos incluyan características más similares al estado saludable y menos similares al estado enfermo. Por tanto, las imágenes sintéticas pueden permitir la comprensión biofísica de la distribución de lípidos en las células y proporcionar información para el tratamiento.

En algunas realizaciones, en lugar de usar distribuciones, el sistema puede identificar agrupaciones de imágenes en un espacio de incrustación (por ejemplo, UMAP), como se muestra en la Figura 16D. En UMA<p>, cada punto representa una incrustación de imagen de una imagen (por ejemplo, una imagen de fase generada). Como se muestra, las imágenes generadas de tejidos tratados forman una agrupación que se aleja de la agrupación de imágenes enfermas generadas y se acerca a la agrupación de imágenes sanas generadas, lo que puede indicar que el fármaco es eficaz para revertir o reducir el estado de enfermedad.

El análisis en las Figuras 16C y 16D pueden aplicarse para evaluar una pluralidad de candidatos a fármaco con respecto a una enfermedad de interés. Por ejemplo, se pueden obtener imágenes de los tejidos tratados por cada candidato a fármaco, por ejemplo, por un microscopio, para obtener imágenes de campo claro. Las imágenes de campo claro se pueden transformar en imágenes de fase usando las técnicas descritas en el presente documento. Puede generarse distribución o agrupación para imágenes de fase de cada tratamiento. Por consiguiente, el gráfico resultante puede comprender una distribución o agrupación que representa el estado de enfermedad, una distribución o agrupación que representa el estado de salud, y una pluralidad de distribuciones o agrupaciones que representan cada una un fármaco candidato. El sistema puede identificar a continuación la distribución o agrupación más cercana al estado saludable para identificar el candidato a fármaco candidato más eficaz.

La Figura 17A ilustra imágenes sintéticas generadas por un modelo GAN ilustrativo para estudiar la esclerosis tuberosa ("TSC"), de acuerdo con algunas realizaciones. En el ejemplo que se representa, las neuronas de NGN2 se iluminan usando un patrón de iluminación óptimo identificado usando técnicas descritas en el presente documento, y se capturan imágenes de campo claro. Las imágenes de campo claro se introducen en un modelo GAN, que emite imágenes de fase generadas e imágenes de fluorescencia/corporales generadas en la Figura 17A. El modelo GAN usado en la Figura 17A puede configurarse para incluir un clasificador entrenado como se describe con referencia a las Figuras 14A-B y 15. El clasificador tiene 2 condiciones: una condición saludable (por ejemplo, estado natural) y una condición enferma (por ejemplo, TSC KO). Como se describe, el modelo GAN puede entrenarse de tal manera que las imágenes generadas puedan clasificarse por el clasificador con el mismo o similar grado de precisión que las imágenes reales.

Las imágenes sintéticas generadas por el modelo GAN también pueden usarse para evaluar la eficacia de un tratamiento. El sistema procesa tres grupos de imágenes generadas: un primer grupo de imágenes que representan tejidos sanos que no tienen la enfermedad, un segundo grupo de imágenes que representan tejidos enfermos no tratados, y un tercer grupo de imágenes que representan tejidos enfermos que se han tratado (por ejemplo, usando un fármaco particular). En el ejemplo representado en la Figura 17B, el primer grupo de imágenes (etiquetadas como "Estadonatural") comprende imágenes de tejidos sanos que no tienen la enfermedad TSC, el segundo grupo de imágenes (etiquetado como "TSC") comprende imágenes de tejidos no tratados que tienen la enfermedad de TSC, y el tercer grupo de imágenes (etiquetado como "TSC+Rapamicina") comprende imágenes de tejidos con TSC que se han tratado con un fármaco. En algunas realizaciones, los tres grupos de imágenes capturan tejidos del mismo sujeto en diferentes momentos. En algunas realizaciones, los tres grupos de imágenes capturan tejidos de diferentes sujetos. Las imágenes son imágenes de fase generadas usando las técnicas descritas en el presente documento (por ejemplo, a partir de imágenes de campo claro).

Específicamente, para evaluar la eficacia del fármaco, el sistema genera una distribución para cada grupo de imágenes para determinar si las distribuciones reflejan el efecto del fármaco sobre la enfermedad. En la Figura 17B, se generan tres distribuciones de biomarcadores. Como muestran estas distribuciones, el fármaco parece ser eficaz para revertir o reducir el estado de la enfermedad, debido a que el tratamiento ha provocado que los tejidos enfermos incluyan características más similares al estado saludable y menos similares al estado enfermo. El análisis en la Figura 17B puede aplicarse para evaluar una pluralidad de candidatos a fármaco con respecto a una enfermedad de interés, como se ha descrito anteriormente.

Aunque la divulgación y los ejemplos se han descrito completamente con referencia a las figuras adjuntas, cabe señalar que para los expertos en la materia resultarán evidentes diversos cambios y modificaciones, siempre que los cambios y modificaciones estén cubiertos por las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Un método implementado por ordenador para generar imágenes mejoradas de muestras biológicas (910), que comprende:

recibir una imagen (352) de una muestra biológica (910) obtenida usando un microscopio; y

generar, basándose en la imagen, una imagen mejorada de la muestra biológica usando un modelo de aprendizaje automático (100), en donde el modelo de aprendizaje automático se ha entrenado al:

obtener (702) una pluralidad de imágenes de entrenamiento (120) que comprenden

una imagen de entrenamiento de un primer tipo (122), y

una imagen de entrenamiento de un segundo tipo (124);

generar (704), basándose en la imagen de entrenamiento del primer tipo, una pluralidad de coeficientes de ondícula usando el modelo de aprendizaje automático;

generar (706), basándose en la pluralidad de coeficientes de ondícula, una imagen sintética del segundo tipo; comparar (708) la imagen sintética del segundo tipo con la imagen de entrenamiento del segundo tipo; y actualizar (710) el modelo de aprendizaje automático basándose en la comparación.

2. El método de la reivindicación 1, en donde la imagen de entrenamiento del primer tipo (122) es una imagen de campo claro de una muestra biológica, y/o en donde la imagen de entrenamiento del segundo tipo (124) es una imagen de fluorescencia de la muestra biológica.

3. El método de la reivindicación 1 o la reivindicación 2, en donde el modelo de aprendizaje automático (100) comprende un generador (102) y un discriminador (104).

4. El método de la reivindicación 3, en donde el modelo de aprendizaje automático (100) comprende un modelo GAN condicional, opcionalmente en donde el discriminador (104) es una red neuronal PatchGAN.

5. El método de cualquiera de las reivindicaciones 3-4, en donde el generador (102) comprende una pluralidad de redes neuronales que corresponden a una pluralidad de grupos de frecuencia.

6. El método de la reivindicación 5, en donde cada red neuronal de la pluralidad de redes neuronales está configurada para generar coeficientes de ondícula para un grupo de frecuencia respectivo, y/o en donde la pluralidad de redes neuronales comprende una pluralidad de redes neuronales U-Net.

7. El método de cualquiera de las reivindicaciones 2-6, que comprende además: generar, basándose en la imagen de entrenamiento del primer tipo (122, 310), una imagen de un tercer tipo (312), opcionalmente en donde la imagen del tercer tipo es una imagen de desplazamiento de fase.

8. El método de cualquiera de las reivindicaciones 2-7, que comprende además: generar, basándose en la imagen de entrenamiento del primer tipo (122, 310), una imagen de un cuarto tipo (312), opcionalmente en donde la imagen del cuarto tipo comprende datos de segmentación.

9. El método de cualquiera de las reivindicaciones 2-8, en donde la imagen de entrenamiento del primer tipo (122) es capturada usando un microscopio de acuerdo con un primer esquema de iluminación, o en donde la imagen de entrenamiento del primer tipo es capturada usando un microscopio de acuerdo con un primer esquema de iluminación que comprende uno o más patrones de iluminación (110).

10. El método de la reivindicación 9, en donde la imagen de entrenamiento del primer tipo (122) es parte de una matriz de imágenes de campo claro, y/o en donde la pluralidad de imágenes de entrenamiento es una primera pluralidad de imágenes de entrenamiento, en donde el modelo de aprendizaje automático se ha entrenado además al:

basándose en la comparación, identificar un segundo esquema de iluminación;

obtener una segunda pluralidad de imágenes de entrenamiento que comprenden una o más imágenes del primer tipo (122), en donde la una o más imágenes del primer tipo se obtienen basándose en el segundo esquema de iluminación; y

entrenar el modelo de aprendizaje automático basándose en la segunda pluralidad de imágenes de entrenamiento.

11. El método de cualquiera de las reivindicaciones 9-10, en donde el modelo de aprendizaje automático (100) se ha entrenado además al:

obtener, usando un microscopio, una pluralidad de imágenes del primer tipo (122, 310); y

generar, basándose en la pluralidad de imágenes obtenidas, una pluralidad de imágenes sintéticas del segundo tipo (312) usando el modelo de aprendizaje automático (100).

12. El método de la reivindicación 1, en donde el modelo de aprendizaje automático (100) se ha entrenado además al: entrenar un clasificador basándose en la pluralidad de imágenes sintéticas del segundo tipo (312), y opcionalmente en donde el microscopio es un primer microscopio y el aprendizaje automático se ha entrenado adicionalmente al:

entrenar un primer clasificador basándose en la pluralidad de imágenes sintéticas del segundo tipo (312), obtener, usando un segundo microscopio, una pluralidad de imágenes del segundo tipo (314);

entrenar un segundo clasificador basándose en la pluralidad de imágenes del segundo tipo (314); comparar el rendimiento del primer clasificador y el segundo clasificador, opcionalmente en donde el segundo microscopio es un microscopio de fluorescencia.

13. Un sistema para generar imágenes mejoradas de muestras biológicas usando un modelo de aprendizaje automático (100), que comprende:

un sistema informático (800) que comprende uno o más procesadores (810) y una o más memorias (840) que almacenan el modelo de aprendizaje automático (100), en donde el sistema informático está configurado para implementar el método de cualquier reivindicación anterior.

14. Un método que comprende además obtener, usando un microscopio, una imagen de una muestra biológica (910); y generar, basándose en la imagen, una imagen mejorada de la muestra biológica usando el método de cualquiera de las reivindicaciones 1 a 12.

15. El método de la reivindicación 14, en donde la imagen de entrenamiento del primer tipo (122) es capturada usando un microscopio de acuerdo con un primer esquema de iluminación (110), y en donde:

(a) la pluralidad de imágenes de entrenamiento es una primera pluralidad de imágenes de entrenamiento, y el método comprende además:

basándose en la comparación, identificar un segundo esquema de iluminación;

obtener una segunda pluralidad de imágenes de entrenamiento que comprenden una o más imágenes del primer tipo (122), en donde la una o más imágenes del primer tipo se obtienen basándose en el segundo esquema de iluminación;

entrenar el modelo de aprendizaje automático (100) basándose en la segunda pluralidad de imágenes de entrenamiento; y/o

(b) el método comprende además obtener, usando un microscopio, una pluralidad de imágenes del primer tipo (122, 310); generar, basándose en la pluralidad de imágenes obtenidas, una pluralidad de imágenes sintéticas del segundo tipo (312) usando el modelo de aprendizaje automático (100); y/o

(c) el método comprende además: obtener, usando un microscopio, una pluralidad de imágenes del primer tipo (122, 310); generar, basándose en la pluralidad de imágenes obtenidas, una pluralidad de imágenes sintéticas del segundo tipo (312) usando el modelo de aprendizaje automático (100); y entrenar un clasificador basándose en la pluralidad de imágenes sintéticas del segundo tipo; opcionalmente en donde el microscopio es un primer microscopio, el clasificador es un primer clasificador, y el método comprende además: obtener, usando un segundo microscopio, una pluralidad de imágenes del segundo tipo; entrenar un segundo clasificador basándose en la pluralidad de imágenes del segundo tipo; y comparar el rendimiento del primer clasificador y el segundo clasificador.