ES2641480T3 - Sistema de aprendizaje automático basado en objetos de tejido para puntuación automatizada de portaobjetos digitales completos - Google Patents

Description

imagen1

DESCRIPCIÓN

Sistema de aprendizaje automático basado en objetos de tejido para puntuación automatizada de portaobjetos digitales completos 5 CAMPO TÉCNICO

La tecnología divulgada en el presente documento se refiere a analizadores de muestras basados en ordenadores.

ANTECEDENTES

El cáncer de mama es uno de los cánceres diagnosticados de forma más frecuente en la actualidad y la segunda causa de cáncer relacionada con la muerte entre las mujeres. Un indicador para predecir el comportamiento clínico del pronóstico de los pacientes con cáncer de mama es el examen histológico de biopsia/muestras quirúrgicas

15 basándose en un examen visual cualitativo semi cuantitativo de muestras de tejido seccionadas teñidas con marcadores inmunohistoquímicos (IHQ), tal como teñidos histológicos que proporcionan la habilidad de diferenciar estructuras microscópicas de interés. Los biomarcadores se podrán utilizar para caracterizar el tumor e identificar el tratamiento más apropiado y la medicación que puede mejorar el resultado clínico.

En oposición a los biomarcadores de membrana, los biomarcadores nucleares interactúan con proteínas en los núcleos celulares y tiñen los núcleos celulares. El color de una célula teñida es indicativo de la unión antígeno (biomarcador)-anticuerpo para la célula. En una lectura clínica, los patólogos a menudo reportan una puntuación para el portaobjetos revisando visualmente y estimando el porcentaje de objetos nucleares teñidos de forma positiva (por ejemplo, teñidos de marrón) del número total de objetos nucleares teñidos de forma positiva y teñidos de forma

25 negativa (por ejemplo de color azul). En parámetros clínicos y de laboratorio, una medida precisa requiere un recuento manual de células tumorales identificando celdas tumorales teñidas de forma positiva, lo cual puede ser extremadamente tedioso. En la práctica, la puntuación del portaobjetos se basa a menudo en una “estimación aproximada” por el patólogo. Como resultado, la puntuación manual no es reproducible y es además objeto de una variabilidad significativa dentro y fuera del lector. Por otro lado, por razones prácticas, la interpretación del portaobjetos completa se basa sólo en unos pocos campos de visión representativos (FOVs) identificados por los patólogos, y la información en esos campos de visión sólo. Desafortunadamente este análisis “representativo” puede llevar a una desviación en el muestreo.

El artículo de revista de Dundar y otros, “Clasificación informatizada de lesiones de pecho intraductales utilizando

35 imágenes histopatológicas” IEEE Trans. En ingeniería biomédica, vol. 58 (2011) pp. 1977 a 1984 describe un sistema donde la segmentación de la región de célula se realiza mediante agrupación de datos de pixel. Las regiones de células segmentadas son procesadas adicionalmente mediante un algoritmo de segmentación basado en transformación divisoria para identificar células individuales.

VISION GENERAL DE LA TECNOLOGÍA

Al menos algunos modos de realización de la tecnología divulgada están dirigidos a sistemas de formación de imágenes para interpretar y puntuar de forma automática los portaobjetos de muestras de tejido, por ejemplo muestras teñidas con un ensayo inmunohistoquímico (IHQ). El sistema analiza una región de una imagen o una 45 imagen completa (por ejemplo, una imagen de portaobjetos completa digital), basándose al menos en parte en la información y características asociadas con el portaobjetos completo y selecciona características para un análisis cuantitativo. Una imagen de portaobjetos completa es considerada una imagen para todas o substancialmente todas la regiones que contienen tejido (por ejemplo, toda la regiones del portaobjetos que incluyen etiquetas, marcadores, y áreas en blanco) del portaobjetos. El sistema divulgado identifica estructuras celulares (por ejemplo, objetos nucleares, semillas de núcleos) y células en una región de un portaobjetos (por ejemplo, una región de tejido particular del portaobjetos) o el portaobjetos completo, basándose al menos en parte en información que pertenece a los datos asociados con la regiones que contienen tejido del portaobjetos. Además, el sistema divulgado puede contar células, computar varios tipos de características locales y globales de esas células, identificar los tipos de células, y realizar un análisis cuantitativo. La característica de computación puede utilizar información de no sólo una 55 región anotada de un portaobjetos sino también información del portaobjetos completo (por ejemplo, las regiones que contienen tejido del portaobjetos analizadas con múltiples aumentos). El sistema puede contar de forma automática y clasificar células y puntuar la imagen y/o el portaobjetos completo basándose al menos en parte en campos seleccionados de visión y/o el portaobjetos completo basándose al menos en parte en información o datos asociados, con el portaobjetos completo (es decir, todas la regiones que contienen tejidos del portaobjetos). La puntuación se puede utilizar para la interpretación del portaobjetos. Por ejemplo, el sistema puede contar de forma precisa objetos nucleares para determinar información sobre el tejido para ayudar con una interpretación del portaobjetos fiable y reproducible. En un modo de realización, el sistema cuenta objetos nucleares teñidos de forma positiva y objetos nucleares teñidos de forma negativa para puntuar, por ejemplo, una muestra biológica (por ejemplo, un tejido tumoral). En algunos modos de realización, una imagen superpuesta es producida para etiquetar

65 características de interés en la imagen de una muestra de un sujeto. La puntuación del tejido puede realizarse para predecir y/o generar un pronóstico de la muestra de tejido.

imagen2

En algunos modos de realización, un patólogo puede aprobar o rechazar una puntuación de portaobjetos. Si la puntuación de portaobjetos es rechazada, la puntuación automatizada se puede reemplazar con una puntuación manual (por ejemplo, una puntuación basada al menos en parte en una inspección visual. El sistema puede tener un clasificador que fue entrenado basándose al menos en parte en un conjunto de portaobjetos de entrenamiento de 5 referencia para cada marcador, por ejemplo un biomarcador. El conjunto de portaobjetos de entrenamiento para un marcador puede representar toda la variabilidad de datos deseada. Se pueden utilizar diferentes conjuntos de portaobjetos para entrenar a un clasificador para cada marcador. Por consiguiente, para un único marcador, se obtiene un clasificador único después del entrenamiento. Debido a que hay variabilidad entre los datos de imagen obtenidos de diferentes marcadores, se puede entrenar un clasificador diferente para cada biomarcador diferente de manera que se asegura un rendimiento mejor en datos de ensayo inapreciables, donde el tipo de biomarcador de los datos de ensayo será conocido. El clasificador entrenado se puede seleccionar basándose al menos en parte en cómo manejar de la mejor forma la variabilidad de datos de entrenamiento, por ejemplo, en tipo de tejido, protocolo de teñido, y otras características de interés, para la interpretación del portaobjetos. El sistema puede analizar una región específica de una imagen basándose al menos en parte en información dentro des a región, así como

15 información fuera de esa región.

En algunos modos de realización, un clasificador binario de etapa múltiple puede identificar núcleos positivos y negativos. Los núcleos positivos pueden distinguirse de los núcleos negativos, linfocitos, y estroma. De forma regional, las células negativas y los linfocitos se pueden distinguir del estroma. Los linfocitos son entonces distinguidos de los núcleos negativos. En una clasificación adicional, las células positivas pueden distinguirse de las células de segundo plano. Por ejemplo, si las células positivas tienen un núcleo teñido de marrón, las células de segundo plano pueden ser una coloración citoplasmática que puede filtrarse. Basándose al menos en parte en el número de núcleos positivos/negativos, se puede determinar una puntuación (por ejemplo, una puntuación de portaobjetos completo).

25 En algunos modos de realización, un método para la interpretación del portaobjetos completo incluye identificar porciones de una imagen de portaobjetos completo digitalizada correspondiente al tejido. Basándose al menos en parte en las características de color del sustrato (por ejemplo vidrio) en el que se dispone la muestra biológica (por ejemplo, tejido) y el tejido, se identifican las regiones de tejido de interés. Los puntos de semillas son detectados por las regiones de tejido identificadas de interés, y los objetos de núcleos de tejido son extraídos de las regiones identificadas. Para cada uno de los objetos de tejidos extraídos, se identifican características del objeto extraído, y un clasificador entrenado puede ser utilizado para clasificar el objeto extraído. Los clasificadores entrenados pueden modificarse por un usuario, un médico, o similar. Diferentes clasificadores entrenado se pueden utilizar para realizar diferentes tipos de tejidos y marcadores. Un medio de almacenamiento legible por ordenador puede almacenar

35 datos (por ejemplo, clasificadores, algoritmos, etc.) e instrucciones que, si son ejecutadas por un sistema informático que tenga un procesador, provocan que el sistema informático realice dichos métodos.

En modos de realización adicionales, un sistema de aprendizaje supervisado para clasificar objetos dentro de imágenes digitalizadas de datos de tejido incluye medios para entrenar un clasificador basándose al menos en parte en portaobjetos de realidad sobre el terreno, medios para recibir una imagen digitalizada de datos de tejido asociados con un portaobjetos de entrada, y medios para analizar los datos de tejido digitalizado. Los medios para analizar los datos de tejido digitalizado pueden comprender medios para detectar puntos de semilla de núcleos potenciales dentro de la imagen de tejido digitalizado y medios para extraer objetos de la imagen de tejido digitalizado. En un modo de realización, el sistema además incluye medios para clasificar cada uno de los objetos

45 extraídos.

En algunos modos de realización, un método utilizado por un sistema informático puede proporcionar una interpretación de las imágenes digitalizadas de portaobjetos de tejido, por ejemplo, portaobjetos IHQ. El método incluye recibir imágenes digitalizadas de muestras de tejido de portaobjetos de entrenamiento de referencia (por ejemplo, realidad sobre el terreno o portaobjetos de entrenamiento). En algunos modos de realización, se utiliza un conjunto de portaobjetos de referencia. Por ejemplo, las imágenes de portaobjetos de referencia pueden ser imágenes del mismo tipo de tejido que los tejidos que se van analizar. El sistema aprende sobre características de la variabilidad observada en la imagen digitalizada debida a la variabilidad de datos en el tejido, los protocolos de teñido, el escaneo de imágenes y las fuentes de artefactos basándose al menos en parte en la información conocida

55 asociada a las imágenes de referencia. El sistema puede recibir al menos un método de clasificación y entrenara un clasificador utilizando las imágenes digitalizadas de muestras de tejido. El clasificador puede modificarse utilizando portaobjetos de referencia adicionales, si se necesita o se desea.

El sistema, en algunos modos de realización, puede recibir una imagen digitalizada de datos asociados con un portaobjetos de entrada con una muestra de un sujeto. En algunos modos de realización, la puntuación del portaobjetos sucede en, por ejemplo, uno de dos modos: un modo de campo de visión (FOV) y un modo automatizado. En el modo FOV, un usuario, tal como un patólogo, perfila o “anota” un número de regiones (por ejemplo, tres o más regiones) en una imagen de portaobjetos completa y se realiza el algoritmo de análisis con respecto a la regiones anotadas. Se obtiene una puntuación compuesta final basándose al menos en parte en el

65 número de núcleos tumorales positivos y negativos detectados en todas estas regiones anotadas. En el modo automatizado, o bien un detector de área de interés (AoI) encuentra o identifica una región de tejido en la imagen del

imagen3

portaobjetos completo o bien las anotaciones de tejido son generadas de forma automática mediante algún otro algoritmo de análisis de imagen, tal como un algoritmo de registro de imagen que mapea anotaciones de la sección de serie adyacente al portaobjetos de tejido IHQ. La región de tejido es entonces segmentada en placas y se realizan algoritmos de clasificación y recuento de núcleos con respecto a cada placa que contiene tejido. De forma 5 adicional, se puede obtener una puntuación compuesta al menos en parte en el tejido que contiene las placas de imagen. Aunque la metodología subyacente para detectar, contar y clasificar células en una imagen dada es similar (la imagen puede ser una región anotada de usuario o una placa obtenida de forma automática en la imagen de portaobjetos completo después de la detección AoI), hay al menos una diferencia en los dos flujos de trabajo. El modo FOV se basa en la entrada manual en términos de selección FOV mientras que el modo automatizado no lo hace. El modo FOV automatizado es discutido adicionalmente con respecto a la figura 2 mientras que el modo automatizado es discutido adicionalmente con respecto a la figura 3. Una o más regiones dentro del tejido identificado son definidas basándose al menos en parte en colores dominantes. Para regiones identificadas, se detectan puntos de semilla dentro de la región identificada, y se extraen objetos de las regiones identificadas. Se computan características del objeto(s) extraído de manera que el clasificador entrenado clasifica el objeto(s) extraído

15 basándose al menos en parte en las características computadas del objeto extraído.

En algunos modos de realización un sistema informático puede ser programado para identificar de forma automática características en una imagen de una muestra basándose al menos en parte en uno o más criterios de selección, incluyendo criterios basados al menos en parte en características de color, morfología de la muestra (por ejemplo, morfología del componente de célula, morfología de la célula, morfología del tejido, morfología de estructura anatómica, etc.), características del tejido (por ejemplo, densidad, composición, o similares), parámetros espaciales (por ejemplo, disposiciones de estructuras de tejido, posiciones relativas entre estructuras de tejido, etc.), parámetros de características de imagen o similares. Si las características son núcleos, los criterios de selección pueden incluir, sin limitación, características de color, morfología de los núcleos (por ejemplo, forma, dimensiones,

25 composición, etc.), parámetros espaciales (por ejemplo, posición de los núcleos en la estructura celular, posición relativa de los núcleos, etc.), características de imagen, combinaciones de las mismas, o similares. Después de detectar los núcleos candidatos, se pueden utilizar algoritmos de forma automática para proporcionar una puntuación o información respecto a la imagen analizada completa. Los criterios de selección se pueden modificar o determinar basándose al menos en parte en imágenes de referencia. Por ejemplo, las imágenes de referencia de tejido de mama teñido se pueden utilizar para determinar criterios de selección utilizados para seleccionar núcleos de una imagen de un tejido de mama de un sujeto. En algunos modos de realización, el usuario puede borrar cualquier área de interés basándose en un portaobjetos por portaobjetos. Por ejemplo, el usuario puede determinar de forma visual que una o más áreas de la imagen no son adecuadas para la puntuación.

35 En algunos modos de realización, la instalación proporciona un método para la interpretación de portaobjetos completo de imágenes digitalizadas de datos de tejido. El método incluye recibir una pluralidad de imágenes digitalizadas de muestras de tejido. Cada muestra de tejido corresponde a un portaobjetos de realidad sobre el terreno y para cada una de la pluralidad de imágenes digitalizadas, al menos una clasificación asociada con la imagen digitalizada. La instalación está de más configurada para entrenar a un clasificador de objetos de tejido utilizando las imágenes digitalizadas recibidas de muestras de tejido. Tras recibir una imagen digitalizada de los datos asociados en donde el primer portaobjetos no es un portaobjetos de realidad sobre el terreno, la instalación identifica 1) la imagen digitalizada de datos asociados con el primer portaobjetos, 2) colores dominantes dentro del tejido identificado, y 3) regiones dentro del tejido identificado basándose al menos en parte en los objetos extraídos de las regiones identificadas. Para cada una de las regiones identificadas, la instalación detecta puntos de similla

45 dentro de la región identificada y extrae objetos para las regiones identificadas. Por otro lado, para cada uno de los objetos extraídos, la instalación puede identificar características del objeto extraído, y utilizando el clasificador entrenado, clasificar los objetos extraídos basándose al menos en parte en las características identificadas de los objetos extraídos.

BREVE DESCRIPCIÓN DE LAS FIGURAS

La figura 1 ilustra un sistema basado en ordenador y un entorno para analizar muestras de acuerdo con un modo de realización de la tecnología divulgada.

55 La figura 2 es un diagrama de bloques que ilustra un procesamiento de un componente clasificador construido de acuerdo con un modo de realización de la tecnología divulgada.

La figura 3 es un diagrama de flujo que ilustra el procesamiento de un componente de portaobjetos analizado de acuerdo con un modo de realización de la tecnología divulgada.

La figura 4A es un diagrama de bloques que ilustra el procesamiento de un componente de puntos de semilla detectados de acuerdo con un modo de realización de la tecnología divulgada.

La figura 4B ilustra datos de imagen y análisis en varias etapas en un proceso de núcleo de votación realizado en 65 una imagen de acuerdo con un modo de realización de la tecnología divulgada.

imagen4

La figura 4C es representativa de un gradiente de imagen de acuerdo con un modo de realización de la tecnología divulgada.

La figura 5 es un diagrama de flujo que ilustra el procesamiento de un componente de objetos extraídos de acuerdo 5 con un modo de realización de la tecnología divulgada.

DESCRIPCION DETALLADA

Una instalación puede comprender sistemas y métodos para proporcionar un enfoque de análisis de imagen basada en aprendizaje para la detección automática, la clasificación, y/o el recuento de objetos en portaobjetos de tejido de patología digitalizados. Las técnicas divulgadas pueden sacar ventaja del contexto de portaobjetos completo, computado del escaneado de imágenes de portaobjetos completo en diferentes momentos, y principios de aprendizaje automático supervisados para automatizar el proceso de interpretación de portaobjetos y ayudar en el diagnóstico clínico. La instalación puede clasificar objetos nucleares teñidos de forma positiva, objetos nucleares

15 teñidos de forma negativa, objetos (incluyendo tejido no celular), u otras características con el fin de, por ejemplo, asignar una puntuación a un área de interés de una imagen, un campo de visión (FOV) dado, y/o un portaobjetos completo o grupo de portaobjetos. La instalación está configurada para detectar diferentes tipos de núcleos de célula en un FOV y clasificar cada uno de los núcleos de la célula. Para analizar una muestra de tejido de mama, por ejemplo, la instalación puede clasificar núcleos de células como núcleos teñidos de forma positiva o núcleos teñidos de forma negativa y puede rechazar otros tejidos (por ejemplo, estroma, linfocitos, etc.) para determinar una puntuación basándose al menos en parte en, por ejemplo, un porcentaje positivo/negativo, puntuación H, etc. en algunos modos de realización, la relación puede identificar además artefactos extraños o características “basura”.

Los procesos de detección y clasificación divulgados pueden extenderse a imágenes de portaobjetos completo

25 digitalizado para generar una puntuación para el portaobjetos completo (por ejemplo, contando núcleos sin seleccionar regiones de interés, basándose en información del portaobjetos completo). Utilizando las técnicas divulgadas en el presente documento, la instalación se puede adaptar de forma automática a varias fuentes de variabilidad, tales como tipo de muestra, preparación, tamaño, color de tinte, tamaño del objeto (por ejemplo, tamaños de los núcleos), variación en la forma, y así sucesivamente. Las técnicas divulgadas son capaces de realizar el contexto de objetos que se tocan o se solapan, variaciones en la intensidad de teñido, variaciones en el segundo plano, variaciones en la forma, color, y tamaño de los objetos, y otras variables.

En algunos modos de realización, la instalación inicialmente entrena un clasificador de objeto, tal como un clasificador binario lineal en un marco de trabajo de etapas múltiples, utilizando una pluralidad de portaobjetos de

35 ejemplo de “realidad sobre el terreno” o imágenes de entrenamiento. Cada portaobjetos de realidad sobre el terreno puede incluir, por ejemplo, FOVs anotados, identificando cada FOV anotado la posición y localización de objetos y características varias de esos objetos, tal como características de color, características de tamaño y forma, características descriptoras del objeto, características citoplasmáticas, características entre objetos y de densidad, y así sucesivamente. En una configuración de hospital o de laboratorio, un patólogo puede anotar los portaobjetos de realidad sobre el terreno y entrenar el clasificador de objetos utilizando los portaobjetos de realidad sobre el terreno.

De forma alternativa, un equipo de fabricación de formación de imagen puede entrenar al clasificador de objeto, que es suministrado a las clínicas o laboratorios para usar con el equipo de formación de imagen.

45 Para cada objeto en los portaobjetos de realidad sobre el terreno, los datos de realidad sobre el terreno pueden identificar el tipo de objeto (por ejemplo, un objeto nuclear teñido de forma positiva, un objeto nuclear teñido de forma negativa, un estroma, o un linfocito). Utilizando los portaobjetos de realidad sobre el terreno y la información de características asociadas, la instalación genera un modelo de clasificador que puede ser utilizado para una futura clasificación de objeto. La instalación puede calcular o determinar varias características de cada objeto y/o utilizar datos de características proporcionados por un experto, tal como un patólogo, proporciona información de características. Portaobjetos de realidad sobre el terreno diferentes pueden ser utilizados para entrenar clasificadores de objetos para diferentes interpretaciones, tal como interpretaciones para un estado de un gen en carcinomas de pecho, interpretación IHQ, o similares.

55 La instalación puede recibir una imagen escaneada y digitalizada de datos de portaobjetos de tejido patológico que se van a analizar. Los datos de portaobjetos pueden aumentarse (por ejemplo, 1x, 2x, 5x, 20x, 40x y así sucesivamente). La instalación puede separar el portaobjetos completo en una región de segundo plano (por ejemplo, una región de segundo plano de vidrio) y una región de tejido (primer plano) utilizando técnicas de segmentación de imagen por color, tal como una segmentación de imagen basada en HSV (matiz, saturación y valor). Este proceso permite a la instalación distinguir entre datos de tejido (los datos de interés) y el portaobjetos.

En algunos modos de realización, la instalación realiza este proceso en niveles variables de aumento, comenzando con un nivel bajo de aumento (por ejemplo, 1x o 2x) y utilizando niveles crecientes de aumento (por ejemplo, 4x, 6x, 10x) para refinar el proceso de segmentación y disminuir la posibilidad de que se pierdan regiones de tejido tenues. 65 Utilizando los datos digitalizados correspondientes a los datos de región de tejido del portaobjetos completo (es decir, el primer plano computado), la instalación identifica los colores de teñido dominantes. Una técnica de teñido

imagen5

hubo IHQ basada en hematoxilina o tinta azul) y una DAB (diaminobencidina: tinte marrón), por ejemplo, puede resultar en objetos nucleares venidos de forma negativa azules, estromas azules, linfocitos azules, y objetos nucleares teñidos de forma positiva marrones. Por consiguiente, con este tipo de teñido la instalación identificará el azul y el marrón como colores dominantes.

5 Después, la instalación proyecta los datos de portaobjetos digitalizado en un espacio de color dominante, el espacio de color dominante correspondiente a los colores de tinte típicamente presentes en el portaobjetos. Utilizando el ejemplo anterior, los datos de portaobjetos digitalizado son mapeados a espacios de color azul y marrón para identificar los píxeles que son suficientemente marrones y suficientemente azules (por ejemplo, tienen una intensidad en el espacio de color marrón o azul que excede un umbral). Se pueden utilizar diferentes umbrales para diferentes tipos de tintes de diferentes tipos de tejidos. Utilizando técnicas de umbral, la instalación puede establecer umbrales para cada color dominante e identifica las regiones correspondientes a cada uno de los colores dominantes utilizando la proyección de color dominante y los umbrales establecidos. De esta manera, los datos del portaobjetos completo se pueden utilizar para detectar e identificar las dos regiones de color dominante, por lo tanto

15 proporcionando un contexto de portaobjetos completo para la detención y clasificación de objetos.

En algunos modos de realización, la instalación invoca un proceso de núcleo de votación para identificar objetos o puntos de semilla, por ejemplo, objetos nucleares o puntos de semilla nucleares, dentro de las dos regiones de color dominantes. Los puntos de semilla o puntos que se asume que se disponen dentro de un objeto y son los puntos de partida para objetos de localización (por ejemplo, objetos nucleares u otras características de interés. En otras palabras, la identificación de semilla puede identificar el punto central aproximado u otro. Interno para los objetos.

Tal y como se discute en mayor detalle más abajo con referencia la figura 4A, para identificar objetos de semilla, la instalación puede generar una representación en escala de grises de los datos de portaobjetos digitalizado y

25 después computa la información del gradiente de la representación de escala de grises. La instalación entonces genera una matriz de respuesta de voto para cada píxel que tenga una magnitud del gradiente que exceda un umbral predefinido, emitiendo un voto para ese vecindario local de píxeles. El vecindario local es determinado basándose al menos en parte en la dirección del gradiente local y una distancia predeterminada o rango de radio.

Posteriormente, cada máximo local dentro de la matriz de respuesta de voto que excede un umbral de votación puede identificarse como una posición de semilla. En una etapa paralela e independiente, por ejemplo, una técnica de umbral adaptativa puede aplicarse a los datos de tejido para distinguir entre objetos más oscuros (por ejemplo, los núcleos de célula) y otros objetos (por ejemplo, estroma y un segundo plano de portaobjetos) y generar una máscara de primer plano de objeto. La máscara de primer plano de objeto y las posiciones de semilla son utilizadas

35 en combinación para generar una versión teselada que corresponde a un objeto detectado distinto o “mancha”. Cada “mancha” es entonces clasificada utilizando un clasificador (por ejemplo, un clasificador generado anteriormente) para identificar uno o más objetos nucleares teñidos de forma positiva, objetos nucleares teñidos de forma negativa, estroma, linfocitos. Una vez clasificados, los objetos nucleares del mercado se pueden utilizar para puntuar un portaobjetos o regiones particulares dentro de un portaobjetos. Por tanto, las técnicas divulgadas toman ventaja del contexto del portaobjetos completo y de las técnicas de aprendizaje automatizado para mejorar la elección de objeto nuclear y la puntuación del portaobjetos automatizada.

La figura 1 ilustra un sistema basado en ordenador y un entorno para analizar muestras de tejido de acuerdo con un modo de realización de la tecnología divulgada. Un sistema 100 de análisis incluye un aparato 120 de formación de

45 imagen un sistema 110 informático. Portaobjetos de microscopio que portan muestras se pueden cargar en el aparato 120 de formación de imagen. El aparato 120 de formación de imagen puede producir las imágenes de las muestras. Las imágenes son enviadas a un sistema 110 informático o bien a través de una conexión directa o a través de una red 130. El sistema 110 informático muestra la imagen a un usuario. El sistema 110 informático puede ayudar a un usuario (por ejemplo, un patólogo, un científico celular, un térmico de laboratorio, o similar) detectando y clasificando objetos y puntuando el portaobjetos completo y/o regiones (por ejemplo, regiones identificadas por el usuario) del portaobjetos.

El aparato 120 de formación de imágenes puede incluir, sin limitación, uno o más dispositivos de captura de imágenes. Los dispositivos de captura de imágenes pueden incluir, sin limitación, una cámara (por ejemplo, una 55 cámara analógica, una cámara digital etc.), ópticas (por ejemplo, una o más lentes, grupos de lentes de enfoque de sensor, objetivos de microscopio, etc.), sensores de formación de imagen (por ejemplo, un dispositivo de carga acoplada (CCD), un sensor de imagen semiconductor complementario con óxido metálico (CMOS), o similar), una película fotográfica, o similar. Los modos de realización digitales, el dispositivo de captura de imagen puede incluir una pluralidad de lentes que cooperan para demostrar un enfoque sobre la marcha. Un sensor CCD puede capturar una imagen digital de una muestra. Un método para producir una imagen digital incluye determinar un área de escaneado que comprende una región del portaobjetos de microscopio que incluye al menos una porción de la muestra. El área de escaneado puede estar dividida en una pluralidad de captura de imagen. Una imagen puede producirse combinando las capturas de imagen. En un modo de realización, el aparato 120 de formación de imagen produce una imagen en alta resolución de la muestra completa y/o una imagen del área de montaje completa de un

65 portaobjetos.

imagen6

El sistema 110 informático puede incluir un ordenador de sobremesa, un ordenador portátil, una tableta, o similar y puede incluir una circuitería electrónica digital, un firmware, un software, una memoria, un medio de almacenamiento informático, un programa de ordenador, un procesador (incluyendo un procesador programado) o similar y puede almacenar imágenes digitales en forma binaria. Las imágenes pueden también ser divididas en una matriz de

5 píxeles. Los píxeles pueden incluir un valor digital de uno o más bits, definidos por la profundidad del bit. El valor digital puede representar, por ejemplo, la energía, el brillo, el color, la intensidad, el sonido, la elevación, un valor clasificado derivado a través del procesamiento de la imagen. Formatos de imagen digital de ejemplo no limitativos incluyen, pero no están limitados a, mapas de bits, grupo conjunto de expertos fotográficos (JEPG), formato de archivo de imagen con etiqueta (TIFF), y formato de intercambio de gráficos(GIF), así como otros formatos de datos digitales.

La red 130 o una conexión directa interconecta el aparato 120 de formación de imagen y el sistema 110 informático. La red 130 puede incluir, sin limitación, una o más puertas de acceso, enrutadores, puentes, combinaciones de los mismos, o similares. La red 130 puede incluir uno o más servidores y uno o más sitios web que son accesibles a

15 usuarios y que se pueden utilizar para enviar y recibir información que un sistema 110 informático puede utilizar. Un servidor puede incluir, sin limitación, una o más bases de datos asociadas para almacenar información (por ejemplo, imágenes digitales, algoritmos, protocolos de teñido, o similares). La red 130 puede incluir, pero no está limitada a, redes de datos que utilizan un protocolo de control de transmisión (TCP), un protocolo de datagrama de usuario (UDP), un protocolo de Internet (IP) y otros protocolos de datos. El sistema 110 informático puede realizar los métodos y técnicas discutidos en el presente documento. Componentes y características del sistema 110 informático pueden mezclarse y hacerse coincidir con otros componentes y características de la tecnología divulgada.

Los dispositivos informáticos sobre los que se implementan las técnicas divulgadas pueden incluir una unidad de procesamiento central, memoria, dispositivos de entrada (por ejemplo, un teclado y dispositivos señalizadores), 25 dispositivos de salida (por ejemplo, dispositivos de visualización), y dispositivos de almacenamiento (por ejemplo, unidades de disco). Los dispositivos de memoria y almacenamiento son medios legibles por ordenador que pueden estar codificados con instrucciones ejecutables por ordenador que implementan la tecnología, por ejemplo, un medio legible por ordenador que contiene las instrucciones. Adicionalmente, las instrucciones, las estructuras de datos, y las estructuras de mensaje de permitir a través de un medio de transmisión, tal como una señal en un enlace de comunicaciones y pueden estar encriptados. Por consiguiente, un medio legible por ordenador incluye un medio de almacenamiento legible por ordenador en el que se pueden almacenar datos y un medio de transmisión legible por ordenador en el que se pueden transmitir datos. Los datos pueden incluir, sin limitación, rutinas de clasificadores de objeto, datos de portaobjetos de realidad sobre el terreno (u otros tipos de imágenes de referencia), imágenes de referencia, rutinas de segmentación, protocolos de puntuación, o similares. Se pueden utilizar varios enlaces de

35 comunicaciones, tales como Internet, una red de área local, una red de área amplia, una conexión de marcación punto a punto, una red de telefonía móvil, y así sucesivamente.

Las técnicas divulgadas pueden ser descritas en el contexto general de instrucciones ejecutables por ordenador, tales como módulos de programa, ejecutados por uno o más ordenadores u otros dispositivos. En general, los módulos de programa incluyen rutinas, programas, objetos, componentes, estructuras de datos, y así sucesivamente que realizan tareas particulares o implementan tipos de datos abstractos particulares. Típicamente, la funcionalidad de los módulos de programa puede combinarse o distribuirse como se desee en varios modos de realización.

Muchos modos de realización de la tecnología descrita en el presente documento pueden tomar la forma de

45 instrucciones ejecutables por ordenador, incluyendo rutinas ejecutadas por un ordenador programable. Los expertos en la materia apreciarán que se pueden llevar a la práctica aspectos de la tecnología en sistemas informáticos distintos de los mostrados y descritos en el presente documento. Modos de realización de la tecnología pueden implementarse y utilizarse con varios entornos operativos que incluyen ordenadores personales, ordenadores servidores, ordenadores de mano, o portátiles, sistemas de procesadores múltiples, sistemas basados en microprocesadores, electrónica de consumo programable, cámaras digitales, redes de PCs, microordenadores, ordenadores centrales, entornos informáticos que incluyan cualquiera de los sistemas o dispositivos anteriores y así sucesivamente. Por otro lado, la tecnología puede implementarse en un ordenador de propósito especial o un procesador de datos que está programado de forma específica, configurado o construido para realizar una o más de las instrucciones ejecutables por ordenador descritas en el presente documento. Por consiguiente, los términos

55 “ordenador” o “sistema” tal y como se utilizan de forma general en el presente documento se refieren a cualquier procesador de datos y pueden incluir dispositivos de Internet y dispositivos de mano (incluyendo agendas electrónicas, ordenadores que se llevan en el cuerpo, teléfonos celulares o móviles, sistemas de procesadores múltiples, electrónica de consumo programable o basada en procesadores, ordenadores en red, miniordenadores y similares). La información manejada por estos ordenadores puede presentarse en cualquier medio de visualización adecuado, incluyendo un monitor CRT o LCD. Para que el usuario pueda ver imágenes y puntuar las en dichos monitores.

La tecnología también puede llevar a la práctica en entornos distribuidos, donde las tareas o módulos son realizados por dispositivos de procesamiento remotos que están conectados a través de una red de comunicaciones. En un 65 entorno informático distribuido los módulos o subrutinas de programa están situados en dispositivos de almacenamientos de memoria locales y remotos. Aspectos de la tecnología descrita en el presente documento

imagen7

pueden ser almacenados o distribuidos en medios legibles por ordenador, incluyendo discos de ordenador extraíbles

o legibles ópticamente o magnéticos, así como en redes distribuidas de forma electrónica. Las estructuras de datos, clasificadores (por ejemplo, clasificadores entrenados), los datos de imagen, las imágenes de referencia, y las transmisiones de datos particulares a aspectos de la tecnología son también englobados dentro del alcance de la

5 tecnología.

La figura 2 es un diagrama de bloques que ilustra el procesamiento de un componente 111 clasificador construido, en algunos modos de realización. El sistema invoca el componente 111 clasificador construido para construir un modelo clasificador de objeto que es utilizado para clasificar objetos detectados como, por ejemplo, objetos nucleares teñidos de forma positiva, objetos nucleares teñidos de forma negativa, estromas o linfocitos. En el bloque 210, el componente recibe datos del portaobjetos. Los datos del portaobjetos recibidos pueden corresponderse con los portaobjetos de “realidad sobre el terreno” que usa la instalación para generar el modelo. En el bloque 220, el componente recibe información sobre los portaobjetos, tal como una indicación de FOVs anotados para cada portaobjetos. Cada FOV puede corresponder a una porción del portaobjetos que es interesante para el usuario, tal

15 como porciones que contienen uno o más tipos de objetos. Cada objeto es identificado mediante una posición particular dentro del portaobjetos particular y una indicación de si es un objeto nuclear teñido de forma positiva, un objeto nuclear teñido en forma negativa, un estroma, o un linfocito.

En el bloque 230, el componente recibe características para tal objeto, computadas, por ejemplo, para el FOV anotado y el contexto del portaobjetos completo, tal como características de color, características de tamaño y forma (por ejemplo, área, excentricidad, tamaño nuclear normalizado, tamaño, elongación, morfología), características descriptoras del objeto (por ejemplo, resistencia de votación, radios estimados, resistencia de gradiente medio normalizado de núcleo, histograma de resistencia y direcciones del gradiente), características citoplasmática, características entre objetos y densidad, características de color dominante para cada FOV o portaobjetos como una 25 totalidad, segmentación de región de tejido/estroma/linfocito, y así sucesivamente. Las características del color pueden incluir, sin limitación, un valor L*a*b promedio (espacio de color L*a*b), componentes de tinte de hematoxilina y tinte de DAB, relación PC1 (por ejemplo, la proyección de RGB (rojo, verde, azul) sobre el color de teñido IHQ dominante en el portaobjetos completo), características de imagen de textura, relación de intensidad de DAB (diaminobencidina) respecto a hematoxilina , color normalizado, derivación estándar de los valores de RGB para el objeto, derivación media y estándar de segundo plano de las intensidades de RGB alrededor del objeto. Las características inter objeto y densidad pueden incluir, sin limitación, la densidad de empacado, la distribución de los objetos nucleares circundantes, el número de centros de objetos circundantes más cercanos, la distancia promedio a los centros de objeto próximos, la distancia MAD (desviación de mediana) a centros de núcleos próximos en todas las direcciones polares, o similares. Las características citoplasmáticas un pueden incluir, sin limitación,

35 características (intensidad) de región multi-anular., Diferencias de la intensidad nuclear, distancia de color de la región multi-anular al color del núcleo, o similares. Además, cada objeto puede estar asignado a una probabilidad de pertenencia de un tejido particular, estromas o regiones linfáticas basándose al menos en parte en la segmentación de región.

En el bloque 240, el componente computa características de cada objeto, tal como las discutidas anteriormente, para aumentar o mejorar la información de características proporcionadas al usuario antes de la generación del modelo clasificador. Un experto en la materia reconocerá que varias características de cada objeto pueden proporcionarse por un usuario como parte de la información de realidad sobre el terreno o pueden computarse por la instalación una vez que el usuario ha identificado los objetos.

45 En el bloque 250, el componente genera un marco de trabajo de clasificar, tal como un marco de trabajo de clasificador de etapas múltiples, u otro marco de trabajo. El componente entonces vuelve al marco de trabajo de clasificador generado para almacenarse y utilizarse por la instalación para identificar objetos en los datos de tejido digitalizado.

La figura 3 es un diagrama de flujo que ilustra el procesamiento de un componente 112 de portaobjetos analizado en algunos modos de realización. El sistema invoca el componente para analizar y capturar los datos de portaobjetos que se van a analizar. En el bloque 305, el componente recibe datos de portaobjetos que comprenden datos de tejido digitalizado. Los datos de tejido digitalizado pueden ser generados, por ejemplo, mediante un iSCAN

55 COREO® de VENTANAMEDICAL SYSTEMS de Tucson, Arizona otro equipo de formación de imágenes adecuado.

En algunos modos de realización, los datos de tejido digitalizado provienen de aparatos de formación de imágenes divulgados en la solicitud de patente internacional No. PCT/US2010/002772 (publicación de patente No. WO/2011/049608) titulada sistema y técnicas de formación de imágenes. En otros modos de realización, los datos de tejido digitalizado provienen de una cámara digital acoplada a un microscopio.

En el bloque 310, el componente realiza una técnica de segmentación de imagen para distinguir entre los datos de tejido digitalizado y el portaobjetos en la imagen, correspondiendo el tejido al primer plano y correspondiendo el portaobjetos al segundo plano. En algunos modos de realización, el componente computa el área de interés (AoI) en 65 una imagen del portaobjetos completo con el fin de detectar todas las regiones de tejido en la AoI mientras limita la cantidad de área sin tejido de segundo plano que es analizada. Se puede utilizar un amplio rango de técnicas de

imagen8

segmentación de imágenes (por ejemplo, segmentación de imágenes basadas en color HSV, segmentación de imágenes Lab, segmentación de imágenes media-desplazamiento de color, crecimiento de región, métodos de establecimiento de nivel, métodos de marcado rápido, etc.) para determinar, por ejemplo, límites de los datos de tejido y los datos sin tejido o de segundo plano. Basándose al menos en parte en la segmentación, el componente

5 puede también generar una máscara de primer plano de tejido que puede ser utilizada para identificar aquellas porciones de los datos de portaobjetos digitalizado que corresponden a los datos de tejido. De forma alternativa, el componente puede generar una máscara de un segundo plano utilizada para identificar aquellas porciones de los datos de portaobjetos digitalizado que no corresponden a los datos de tejido.

En el bloque 315, el componente realiza un análisis de color dominante de los datos de primer plano (es decir, los datos de tejido). El análisis de color dominante incluye, sin limitación, a) determinar los colores dominantes en los datos de tejido a través de la totalidad de los datos de portaobjetos digitalizado, b) proyectar los datos de imagen RGB sobre el espacio de color dominante, c) realizar una técnica de umbralización (tal como una umbralización de color adaptativo, un método Otsu, una umbralización de histograma equilibrado, u otras técnicas de umbralización),

15 para identificar aquellas porciones de los datos de portaobjetos digitalizado que tienen un valor de intensidad que excede un umbral predeterminado en el espacio de color dominante. Por ejemplo, si los colores dominantes son azul y marrón, el componente puede identificar aquellas porciones que tienen valores de intensidad en el espacio de color azul o marrón que exceden un umbral. El umbral puede establecerse por un usuario o puede establecerse por el componente basándose al menos en parte en el rango de colores o intensidades dentro de cada espacio de color. Por ejemplo, el umbral puede definirse como el color o intensidad de mediana, el color o intensidad medio, el color o intensidad que es algún número predeterminado de derivaciones estándar lejos de (por encima o por debajo), del valor del color o intensidad medios, y así sucesivamente. Se pueden utilizar otras técnicas de análisis de color.

En el bloque 320, el componente 112 segmenta los datos de portaobjetos digitalizado en porciones glandular es y de

25 estroma basándose al menos en parte en, por ejemplo, uno o más de, el color, la textura, la matriz de co-ocurrencia, las características de Haar de escala múltiple, los bancos de filtrado, y así sucesivamente. Por otro lado, el componente puede realizar el proceso de segmentación en varias escalas, niveles de resolución o niveles de aumento para reducir la probabilidad de porciones diferentes sin identificar.

En el bloque 325 de decisión, si el usuario ha identificado o seleccionado cualquier FOVs de interés, entonces el componente 112 continúa en el bloque 325, además continúa en el bloque 330. Por ejemplo, el usuario puede usar una herramienta de selección (por ejemplo, un ratón, una palanca de mando, un icono tal como una herramienta de lazo, o una o más pulsaciones de teclas u otro mecanismo) para seleccionar una o porciones del tejido mostrado en la imagen como un FOV. Estas porciones se pueden utilizar en lugar de o adicionalmente a las placas generadas

35 automáticamente del portaobjetos.

En el bloque 330, el componente 112 puede utilizar un patrón de rejilla para dividir la porción del portaobjetos correspondiente en los datos de tejido. Por ejemplo, el componente puede dividir los datos de tejido del portaobjetos completo, una porción del mismo, basándose al menos en parte en un número fijo o establecido de placas (por ejemplo, una rejilla de 5 x 5, una rejilla de 10 x 10, una rejilla de 3 x 10, etc.), basándose al menos en parte en un número de píxeles para cada placa (por ejemplo, 60 píxeles por 60 píxeles, 150 píxeles por 150 píxeles, 300 píxeles por 1000 píxeles, etc.) dimensiones para cada placa (por ejemplo, 1 µm x 1 µm, 1 mm x 1 mm, etc.) y así sucesivamente. En algunos modos de realización, el componente puede indicar al usuario para definir el tamaño/forma de cada placa y/o del número global de placas a lo largo de cada dimensión. Durante el 45 procesamiento, se utiliza una información de imagen de placa única desde dentro de la región de placas y también una información del contexto del portaobjetos completo, que es extraído de diferentes aumentos, y una información de imagen en los portaobjetos vecinos. El procesamiento basado en placas permite el uso de características sensitivas al contexto que puede que no estén presentes cuando se usa un FOV anotado basado en un flujo de trabajo. Por ejemplo, el procesamiento basado en placas puede permitir al componente distinguir entre núcleos tumorales negativos y linfocitos, lo cual puede ser importante. Debido a que los linfocitos se producen en agrupaciones, el contexto de linfocito puede o no puede estar representado de forma adecuada en un FOV particular. Por el contrario, cuando se examina una placa particular, sus placas circundantes se pueden considerar con el fin de proporcionar un contexto adicional y una estimación refinada de la densidad de la célula. Este contexto adicional puede ayudar a discriminar entre linfocitos (generalmente agrupados de forma densa) y células tumorales

55 negativas.

Otro aspecto en el que el contexto basado en análisis es útil es que la imagen de portaobjetos completo puede considerarse de forma inicial en una resolución basta (por ejemplo, 2x). Basándose en el análisis inicial de la caja, un proceso de segmentación de región aproximada puede realizarse basándose al menos en parte, por ejemplo, una identificación de agrupaciones de linfocitos densas. Por consiguiente, las regiones de linfocitos se pueden descartar mientras se buscan, por ejemplo, núcleos tumorales venidos de azul. Además, una identificación de región de estroma fiable puede ayudar a evitar el recuento de regiones de estromas en núcleos negativos. En una resolución basta, el análisis de placa puede encontrar características basadas en textura bastas para realizar una detección fiable de regiones de estroma. Por tanto, aunque el FOV anotado basado en el flujo de trabajo proporciona un flujo 65 de trabajo relativamente simple, el flujo de trabajo basado en el portaobjetos completo presenta muchas oportunidades para un análisis de imagen inteligente. Por ejemplo, el uso del contexto (por ejemplo, placas

5

15

25

35

45

55

65

circundantes) proporciona información adicional para clasificar, por ejemplo, celdas venidas de azul (se pueden discriminar núcleos de tumor de linfocitos (basándose al menos en parte en su densidad relativa y otras características. Como resultado, se puede utilizar el análisis de contexto para realizar un amplio rango de procesos de segmentación.

En los bloques 335 a 355, el componente enlaza a través de cada región (es decir, los FOVs identificada por el usuario de interés o las placas generadas en el bloque 330). En el bloque 340, el componente invoca a un componente de puntos de semilla detectados para identificar semillas dentro de la región que está procesando actualmente el componente. En el bloque 345, el componente invoca un componente de objetos extraídos para identificar los objetos dentro de la región que está procesando actualmente el componente. En el bloque 350, el componente utiliza un clasificador, tal como un clasificador generado de acuerdo con la figura 2, para clasificar cada uno de los objetos extraídos como un objeto nuclear teñido de forma positiva, un objeto nuclear teñido de forma negativa, un estroma, un linfocito, o una mancha extraña. En el bloque 355, el componente selecciona la próxima región, si la hubiera, y después vuelve al bloque 335 para un procesamiento adicional. En el bloque 360, el componente genera y almacena o muestra una puntuación para el portaobjetos o una o más regiones dentro del portaobjetos generando, por ejemplo, un valor de positividad (por ejemplo, la relación de objetos nucleares teñidos de forma positiva con respecto al número total de objetos nucleares teñidos de forma positiva y de forma negativa), calculando la puntuación H o calculando otra métrica. El procesamiento del componente se completa entonces. En un modo de realización, el componente puede volver al bloque 305 para continuar recibiendo y analizando datos de portaobjeto.

En algunos modos de realización, la instalación puede procesar previamente un portaobjetos dividiendo el portaobjetos y después detectando y clasificando objetos dentro del portaobjetos. En el caso de que un usuario desee realizar un análisis de una o más regiones particulares o FOVs dentro de un portaobjetos, la instalación puede identificar todas las placas procesadas previamente que intersectan aquella o más regiones particulares o FOVs y proporciona un análisis basándose al menos en parte en la intersección, las placas procesadas previamente más bien que de forma separada realizando el proceso de identificación y detección para una o más regiones particulares

o FOVs. Por otro lado, la instalación puede realizar la división y análisis en los niveles variables de granulosidad para aumentar la precisión. Después de que la instalación ha detectado objetos, la instalación puede además mostrar los objetos y la información asociada, tal como puntos de semilla u otras características computadas. El usuario puede utilizar esta información mostrada para comparar su propia evaluación de o un portaobjetos o FOV con la evaluación automatizada para calibrar la precisión tanto del proceso automatizado como de su propia evaluación. Las técnicas divulgadas ofrecen sistemas fiables y reproducibles y métodos para la interpretación de un portaobjetos que se pueden utilizar para aumentar la evaluación propia del usuario.

La figura 4A es un diagrama de bloques que ilustra el procesamiento de un componente 113 de puntos de semilla detectados en algunos modos de realización. La instalación invoca al componente para identificar la localización de puntos de semilla dentro de una región especificada de datos de tejido, cada punto de semilla que corresponde a un objeto potencial. El procesamiento del componente se basa al menos en parte en la información de imagen generada en las etapas 305-320 discutidas anteriormente (por ejemplo, máscara de segundo plano de tejido, análisis de color dominante, segmentación) y por tanto se basa, en parte, en el contexto generado a partir del portaobjetos completo. En ejemplos de modos de realización de la presente invención, la detección de semilla se realiza, por ejemplo, sobre imágenes con una escala de o bien uno o dos grises computadas a partir de la imagen RGB de entrada. El modo de realización, la imagen de escala de gris es computada a partir de la imagen RGB. En otro modo de realización, las imágenes de escala de dos grises son las imágenes de escala de grises de canal de hematoxilina y DAB obtenidas aplicando un algoritmo de deconvolución de color (Ruifrok, A.C. & Johnston, D.A. (2001), “cuantificación de teñido histoquímico mediante deconvolución de color”, Anal. Quant. Cytol. Histol. 23: 291299) a la imagen de entrada RGB. En cualquier caso, se utiliza un método similar. En el bloque 410, el componente genera un gradiente de imagen a partir de representaciones a escala de grises de la región especificada. Tal y como es conocido para el experto en la materia, el gradiente de imagen representa, en cada píxel, un vector multidimensional representativo de un cambio en la intensidad en cada dimensión. Un gradiente de imagen puede ser almacenado en forma de una matriz u otra estructura de datos. La figura 4C es representativa de un gradiente de imagen en algunos modos de realización. Cada una de las flechas en la figura 4C representa un cambio de intensidad en las direcciones vertical y horizontal.

En el bloque 420, el componente genera una matriz de respuesta de voto utilizando un proceso de núcleo de votación. La figura 4B ilustra datos de imagen y análisis en varias etapas en un proceso de núcleo de votación realizado sobre la imagen 470 en algunos modos de realización. En algunos modos de realización, el proceso de núcleo de votación se basa al menos en parte en una técnica de detección de punto de característica basada en simetría radial y depende de una matriz de gradiente normalizada para la región de tejido que está siendo procesada (véase, por ejemplo, Yang, p., Parvin, B.: Organización perceptual de simetrías radiales. Proc. De IEEE Int. Conf. De imagen9visión por ordenador y reconocimiento de patrones (CVPR) 1 (2004), pp. 320-325, donde corresponde al vector de gradiente normalizado (estando dividido cada valor de gradiente por el valor de gradiente máximo sobre todos los píxeles) y una posición pi de pixel. La imagen 471 representa un gradiente de imagen con flechas de gradiente dibujadas para cada uno de un número de píxeles. El proceso de núcleo de votación además depende de rmin, especificado de forma equivalente en unidades físicas o de píxel, el valor de radio máximo esperado para el núcleo

5

10

15

20

25

30

35

40

45

de votación (por ejemplo, 1, 2, 3), rmax, el valor de radio máximo esperado para el núcleo de votación (por ejemplo, 7, 8, 9) que se estima basándose al menos en parte en una transformada de distancia, θ (ver, por ejemplo Borgefors, Gunilla. "Transformaciones de distancia en imágenes digitales” visión de ordenador, gráficos y procesamiento de imagen, 34.3 (1986), páginas 344-371) aplicada a la imagen en primer plano, un límite angular del núcleo de imagen10 imagen11

votación (por ejemplo, radianes), y , el umbral de magnitud de gradiente (por ejemplo, 0,1) cada uno de los cuales se puede definir por un usuario o por la instalación antes de realizar el proceso de núcleo de votación. Además, el proceso de núcleo de votación retorna una matriz V de votación, un radio R de votación y también mantiene una matriz C de recuento para el almacenamiento, cada una de las cuales tiene una entrada para cada píxel en la región de tejido que está siendo analizada y cada entrada es inicializada a 0. El proceso de votación del imagen12

proceso de núcleo procede identificando aquellos píxeles pi , donde (es decir, aquellos píxeles cuya magnitud del gradiente de imagen es más grande que o igual al umbral de magnitud de gradiente). Para cada uno de los píxeles identificados, el proceso de núcleo de votación entonces identifica todos los píxeles pk que satisfacen tanto

imagen13

La figura 4B ilustra una región 473 que corresponde a píxeles pk identificados por el píxel 472. Para cada píxel pk identificado, el proceso de núcleo de votación ajusta V, Ry C como sigue

imagen14

La imagen 474 representa una matriz V de votación de ejemplo computada para la imagen 470. En la imagen 470, dos píxeles rojos corresponden a los píxeles con el número más grande de votos con números de votos decrecientes mostrados como las transiciones de imagen a naranja, amarillo, verde, azul, y azul oscuro. Un experto en la materia reconocerá que el proceso de núcleo de votación puede que no genere una imagen tal como la imagen 474 sino que más bien, puede generar la matriz de votación como una matriz de valores numéricos. Una vez que este proceso se ha completado para todos los pi, el proceso de núcleo de votación puede ajustar R como sigue:

imagen15para todos los valores de R.

En el bloque 430, el componente identifica el máximo local dentro de la matriz V de votación. En los bloques 440460, el componente enlaza a través de cada máximo local para determinar si el máximo local corresponde a un punto de semilla. En el bloque 450 de decisión, si el valor de voto del máximo local (es decir, el valor dentro de la matriz de votación correspondiente al máximo local) excede un umbral devoto, entonces el componente continúa al bloque 455, o bien el componente continúa el bloque 460. El umbral de voto puede predefinirse mediante un usuario

o puede calcularse de forma dinámica por el componente. Por ejemplo, el componente puede calcular el umbral de voto basándose al menos en parte en el valor medio y algún número de desviaciones estándar (por ejemplo, 0, 1, 2, 2.5, 3) de todos los valores dentro de V, el valor de voto de mediana dentro de V, y así sucesivamente. En el bloque 455, el componente identifica el máximo local como un punto de semilla y almacena una indicación del punto de semilla junto con su posición dentro de la región y del portaobjetos. La imagen 475 ilustra los puntos de semilla identificados como puntos rojos. En el bloque 460, el componente selecciona el siguiente máximo local, si hubiese, y después vuelve al bloque 440 para un procesamiento adicional. Una vez que todos los máximos locales han sido procesados, el componente retorna los puntos de semilla identificados para el almacenamiento y uso por la instalación.

imagen16

La figura 5 es un diagrama de flujo que ilustra el procesamiento de un componente 114 de objetos extraídos en algunos modos de realización. La instalación invoca el componente para identificar límites alrededor de los puntos de semilla que corresponden a un objeto. El procesamiento del componente se vas al menos en parte en la información de imagen generada en las etapas 305-320 discutidas anteriormente (por ejemplo, la máscara de primer 5 plano de tejido, el análisis de color dominante, la segmentación) y por tanto se basa, en parte, en el contexto generado a partir del portaobjetos completo. En el bloque 510, el componente genera una máscara de primer plano identificando aquellos píxeles que son más oscuros en su distribución de intensidad circundante local y que exceden un umbral global. La máscara de primer plano del objeto se puede generar, por ejemplo, asignando un valor de 1 para todos los píxeles cuyo valor de intensidad exceda un valor de intensidad medio para una porción local del tejido (por ejemplo, todos los píxeles dentro de la región que está siendo analizada actualmente) y que también exceda un umbral global (por ejemplo, 0,85). Para píxeles que no cumplen con estos criterios, el componente puede asignar otro valor, tal como 0. La máscara de primer plano del objeto permite a la instalación seleccionar objetos débiles y falsos que de forma improbable corresponden a cualquier objeto de interés (por ejemplo, objetos nucleares teñidos de forma positiva, objetos nucleares teñidos de forma negativa, estroma y linfocitos). En el bloque 520, el

15 componente aplica la máscara generada a los datos de tejido digitalizado de la región que está siendo analizada actualmente. En el bloque 530, el componente recupera los puntos de semilla que corresponden a la región que está siendo analizada actualmente. En el bloque 540, el componente genera una teselación de los datos de imagen en primer plano (por ejemplo, una teselación de Voronoi) basándose al menos en parte en los puntos de semilla recuperados para identificar aquellas porciones de los datos de imagen en primer plano que están asociadas con cada uno de los puntos de semilla. En el bloque 550, el componente identifica, para cada punto de semilla, la porción de la imagen en primer plano que está asociada con el punto de semilla basándose al menos en parte en la teselación. Esta porción o “mancha” puede asociarse con la semilla y puede definir el límite de un objeto detectado.

En el bloque 560, el componente caracteriza cada uno de los objetos identificados basándose al menos en parte en

25 la posición y en cualquier número de características que incluyen, por ejemplo, características de color, características de forma y de tamaño, características descriptoras del objeto, características citoplasmáticas, características entre objetos y de densidad, o cualquiera de las características mencionadas anteriormente. Cada uno de estos objetos identificados es entonces retornado para la almacenamiento y clasificación por un clasificador entrenado tal y como se discutió anteriormente.

Para el almacenamiento y manipulación, los portaobjetos pueden ser marcados con un código de barras, un código legible por máquina (por ejemplo, una vara de códigos unidimensional o multidimensional o infoglifo, una etiqueta RFID, una rejilla de difracción de Bragg, una banda magnética, o un código de barras de tamaño nanométrico), o cualquier otro tipo de identificador detectable electrónicamente con el fin de, por ejemplo hacer coincidir las

35 puntuaciones de un portaobjetos particular. Un sistema de análisis (por ejemplo, el sistema 100 de la figura 1) puede almacenar y recordar puntuaciones de un medio de almacenamiento legible por ordenador y mostrar esas puntuaciones a un usuario. De forma adicional o de forma alternativa, una puntuación y un registro del análisis realizado para el tejido en el portaobjetos se puede transmitir a un enlace de comunicaciones de ordenador (por ejemplo, Internet) a un sistema de ordenador remoto para una visualización, almacenamiento o análisis. Dichos registros se pueden combinar con el análisis de otras muestras de tejido para una variedad de propósitos, tal como la investigación médica. El sistema también puede producir uno o más informes referentes al análisis del tejido para la inclusión en registros del paciente.

Las muestras de tejido pueden ser cualquier sustancia (o material) líquida, semisólida o sólida en la que se pueda

45 presentar una diana. El tejido puede ser una colección de células interconectadas que realizan una función similar dentro de un organismo. Una muestra biológica puede ser cualquier muestra de sólido o fluido obtenida a partir de, excretada por o secretada por cualquier organismo vivo, incluyendo sin limitación, organismos unicelulares, tal como una bacteria, una levadura, protozoos, y amebas entre otros, organismos multicelulares (tales como plantas o animales, incluyendo muestras de un sujeto humano saludable o aparentemente saludable o un paciente humano afectado por una condición o enfermedad que se va a diagnosticar o investigar, tal como cáncer). Por ejemplo, una muestra biológica puede ser un fluido biológico obtenido a partir de, por ejemplo, sangre, plasma, suero, orina, bilis, ascitis, saliva, líquido cefalorraquídeo, humor acuoso o vidrio, o cualquier secreción corporal, un trasudado, un exudado (por ejemplo, fluido obtenido de un acceso o cualquier otro lugar de infección o inflamación), un fluido obtenido de una articulación (por ejemplo, una articulación normal o una articulación afectada por una enfermedad).

55 Una muestra biológica puede ser también una muestra obtenida de cualquier órgano o tejido (incluyendo una biopsia

o una muestra de autopsia, tal como una biopsia de un tumor) o puede incluir una célula (ya sea una célula primaria

o una célula cultivada) o un medio condicionado por cualquier célula, tejido u órgano.

Las técnicas divulgadas en el presente documento ofrecen una manera de identificar y distinguir varios tipos de objetos, incluyendo objetos nucleares teñidos de forma positiva, objetos nucleares teñidos de forma negativa, estromas y linfocitos. Estas técnicas toman en cuenta variaciones en los datos sin requerir un ajuste constante por el usuario para tener en cuenta diferentes entradas. Un experto en la materia reconocerá que las técnicas divulgadas se pueden extender para incluir otros tipos de objetos o un conjunto completamente diferente de objetos que son

65 reconocibles, de forma visual, y distinguibles.

A partir de lo anterior, se apreciará que modos de realización específico de la tecnología han sido descritos en el presente documentos con propósitos de ilustración, pero que se pueden hacer distintas modificaciones sin desviarse de la divulgación. Por ejemplo, aunque se ha descrito anteriormente un teñido marrón y azul, un experto en la materia reconocerá que se pueden utilizar técnicas de teñido que pueden resultar de otros colores. La instalación

5 puede incluir componentes o características adicionales, y/o combinaciones diferentes de los componentes o características descritas en el presente documento. De forma adicional, aunque las ventajas asociadas con ciertos modos de realización de la nueva tecnología han sido descritas en el contexto de esos modos de realización, otros modos de realización pueden mostrar dichas ventajas, sin alejarse del alcance de la invención, que es definida únicamente mediante las reivindicaciones adjuntas.

10

Claims (10)

1. imagen1

   REIVINDICACIONES

   1. Un método, realizado mediante un sistema informático que comprende un procesador, para la interpretación de un portaobjetos completo de imágenes digitalizadas de datos de tejido, comprendiendo el método:

   5 recibir una pluralidad de imágenes digitalizadas de muestras de tejido, cada muestra de tejido correspondiendo a un portaobjetos de realidad sobre el terreno;

   recibir, para cada una de la pluralidad de imágenes digitalizadas, al menos una clasificación asociada con la imagen digitalizada;

   entrenar a un clasificador de objetos de tejido utilizando las imágenes digitalizadas recibidas de las muestras de tejido, en donde el entrenamiento comprende una detección de semilla, una extracción de objeto de núcleos; computar características basadas al menos en parte en un contexto de imagen de portaobjetos completo;

   15 recibir una imagen digitalizada de datos asociados con un primer portaobjetos, en donde el primer portaobjetos no es un portaobjetos de realidad sobre el terreno;

   identificar de forma automática tejido dentro de la imagen digitalizada de datos asociados con el primer portaobjetos;

   identificar o estimar colores de teñido dominantes dentro de todo el tejido identificado en el primer portaobjetos completo;

   recibir una indicación de una pluralidad de regiones anotadas dentro del tejido identificado en el primer portaobjetos 25 completo; y para cada una de la pluralidad de regiones anotadas,

   detectar puntos de semilla de núcleos dentro de la región anotada,

   extraer objetos de la región anotada basándose al menos en parte en los puntos de semilla de núcleos detectados y en los colores de teñido dominantes estimados en el primer portaobjetos completo,

   para cada uno de los objetos extraídos,

   computar características locales basándose al menos en parte en la región anotada en el contexto de portaobjetos 35 completo,

   computar características globales basándose al menos en parte en la región de imagen anotada y el contexto de portaobjetos completo, clasificando el objeto basándose al menos en parte en las características computadas y en el tejido entrenado-el clasificador de objeto,

   en donde detectar los puntos de semilla de núcleos dentro de cada región anotada comprende:

   generar un gradiente de imagen para la región anotada;

   45 generar una matriz de respuesta de votación para la región anotada basándose al menos en parte en el gradiente de imagen generado;

   identificar máximos locales dentro de la matriz de respuesta de votación generada; y

   para cada máximo local identificado,

   determinar si un máximo local excede un valor umbral,

   en respuesta a determinar que el máximo local excede un valor umbral, identificar 1 píxel correspondiente como un 55 punto de semilla, y

   en respuesta a determinar que el máximo local no excede un valor umbral, identificar 1 píxel correspondiente no como un punto de semilla.
2. 2. El método de la reivindicación 1, que además comprende: para cada una de las regiones anotadas, generar una puntuación de la región anotada; y generar una puntuación para el primer portaobjetos.

   65

   14

   imagen2
3. 3. El método de la reivindicación 1, en donde extraer objetos para cada región anotada comprende:

   generar una teselación de la región anotada basándose al menos en parte en puntos de semilla de núcleos detectados; y 5 para cada punto de semilla de núcleos detectado,

   identificar una célula de la teselación que engloba el punto de semilla, e

   identificar al menos una porción de la célula identificada como un objeto.
4. 4. El método de la reivindicación 1, que además comprende:

   dividir los datos de imagen digitalizada asociados con el primer portaobjetos. 15

5. 5.

   El método de la reivindicación 1, en donde al menos una clasificación asociada con una imagen digitalizada es un objeto nuclear teñido de forma positiva, un objeto nuclear teñido de forma negativa, un estroma, o un linfocito.

6. 6.

   El método de la reivindicación 1, que además comprende:

   mostrar una indicación de al menos uno de los puntos de semilla de núcleos detectados y al menos uno de los objetos extraídos.

7. 7.

   El método de la reivindicación 1, que además comprende:

   25 identificar al menos una región de tejido, al menos una región de estroma, y al menos una región linfática en el portaobjetos completo.

8. 8.

   El método de la reivindicación 1, en donde las características locales computadas para al menos un objeto extraído incluyen una imagen de al menos un objeto extraído, una forma de al menos un objeto extraído, y un tamaño de al menos un objeto extraído.

9. 9.

   Un medio de almacenamiento legible por ordenador que almacena instrucciones que, si son ejecutadas por un

   sistema informático que tiene un procesador, provocan que el sistema informático realice los métodos de la 35 reivindicación 1.
10. 10. Un sistema, que comprende:

    medios para recibir una pluralidad de imágenes digitalizadas de muestras de tejido, cada muestra de tejido correspondiente a un portaobjetos de realidad sobre el terreno; medios para recibir, para cada una de la pluralidad de imágenes digitalizadas, al menos una clasificación asociada

    con la imagen digitalizada; 45 medios para entrenar un clasificador utilizando imágenes digitalizadas recibidas de muestras de tejido;

    medios para recibir una imagen digitalizada de datos asociados con un primer portaobjetos, en donde el primer portaobjetos no es un portaobjetos de realidad sobre el terreno; medios para identificar tejido dentro de la imagen digitalizada de datos asociados con el primer portaobjetos; medios para identificar colores dominantes dentro del tejido identificado; medios para identificar una pluralidad de regiones dentro del tejido identificado basándose en los colores dominantes

    55 identificados; y medios para, para cada una de las regiones identificadas, detectar puntos de semilla dentro de la región identificada, extraer objetos de la regiones identificadas, y para cada uno de los objetos extraídos, identificar características del objeto extraído, y

    65

    15

    imagen3

    utilizar un clasificador entrenado para clasificar el objeto extraído basándose en las características identificadas del objeto extraído,

    en donde detectar los puntos de semilla de núcleos dentro de la región identificada comprende: 5 generar un gradiente de imagen para la región identificada;

    generar una matriz de respuesta de votación para la región identificada basándose al menos en parte en el gradiente de imagen generado; 10 identificar máximos locales dentro de la matriz de respuesta de votación generada; y

    para cada máximo local identificado,

    15 determinar si el máximo local excede un valor umbral,

    en respuesta a determinar que el máximo local excede un valor umbral, identificar un píxel correspondiente como un punto de semilla, y

    20 en respuesta a determinar que el máximo local no excede un valor umbral, identificar un píxel correspondiente no como un punto de semilla.

    16