ES2374443T3

ES2374443T3 - Segmentación automatizada de estructuras de im�?genes.

Info

Publication number: ES2374443T3
Application number: ES07840517T
Authority: ES
Inventors: Harvey Ellis Cline; Paulo Ricardo Mendonca; Ali Can; Xiaodong Tao
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2006-08-07
Filing date: 2007-07-26
Publication date: 2012-02-16
Anticipated expiration: 2027-07-26
Also published as: WO2008021679A2; US8060348B2; EP2049678A2; AU2007284207B2; ATE532151T1; US8036462B2; EP2050070A2; EP2070047A2; JP2010500655A; AU2007284207A1; US20080031521A1; JP5058259B2; CA2660113A1; WO2008021679A3; US20080033657A1; CA2660113C; JP4917647B2; EP2070047B1; JP2010500572A

Abstract

Un procedimiento de segmentación de imágenes que comprende las etapas de: proporcionar una imagen que comprende una pluralidad de píxeles; categorizar dichos píxeles en una pluralidad de subconjuntos usando uno o más índices; determinar una función de probabilidad logarítmica de uno o más de dichos índices; y generar uno o más mapas en base a dicha determinación de dicha función de probabilidad logarítmica de uno o más de dichos índices; caracterizado porque al menos uno de dichos índices comprende un índice de curvatura normalizada que comprende una característica basada en la curvatura que comprende **Fórmula** siendo Φ(x,y) el índice de curvatura normalizada y siendo λ1(x,y) y λ2(x,y) autovalores de una matriz hessiana de la imagen l(x,y).

Description

Segmentación automatizada de estructuras de imágenes

Antecedentes

La presente invención versa en general acerca del procesamiento y el análisis de imágenes digitales.

La segmentación de estructuras de tipo arista y de tipo mancha es una de las tareas de segmentación usadas en aplicaciones de formación de imágenes de las ciencias médica y biológica. Típicamente, tales aplicaciones detectan vasos, árboles bronquiales, huesos y nódulos en aplicaciones médicas y neuronas, núcleos y estructuras de membrana en aplicaciones de microscopía. Por ejemplo, dividir una imagen digital de canales múltiples en múltiples segmentos (regiones/compartimentos) es una de las etapas usadas para cuantificar uno o más biomarcadores en la biología celular molecular, en la patología molecular y en la investigación farmacéutica.

ASHBURNER J ET AL: “Unified segmentation” NEUOROIMAGE, ACADEMIC PRESS, ORLANDO, Florida, EE. UU., vol. 26, nº 3, 1 de julio de 2005, páginas 839 -851, XP4936781, ISSN: 1053-8119, presentan un marco probabilista que permite que se combinen el registro de imágenes, la clasificación de tejidos y la corrección de polarización dentro del mismo modelo generativo. Se proporciona una derivación de una función objetiva de probabilidad logarítmica para el modelo unificado. El modelo se basa en una mezcla de funciones gaussianas y se extiende incorporando una variación uniforme de la intensidad y un registro no lineal con mapas de probabilidad de tejidos.

RODENACKER K ET AL: “A feature set of cytometry on digitized microscopic images” ANALYTICAL CELLULAR PATHOLOGY, ELSEVIER SCIENCE, AMSTERDAM, Países Bajos, vol. 25, nº 1, 1 de enero de 2003, páginas 1 36, XP2342835, ISSN: 0921-8912, presentan técnicas de extracción de características que se han desarrollado y usado para la citología cuantitativa. Los conjuntos de características se dividen en características morfométricas, densitométricas, texturales y estructurales.

Breve descripción

Los procedimientos y los sistemas proporcionan en parte un estimador de funciones de probabilidad que puede estar adaptado para generar mapas de probabilidad de estructuras de tipo arista y de tipo mancha en imágenes. Tales mapas de probabilidad pueden usarse para codificar la información de segmentación de diferentes formas en imágenes que usan valores de probabilidad entre cero y uno. Una o más de las realizaciones ejemplares de los procedimientos estiman de manera iterativa funciones de probabilidad empírica de características basadas en la curvatura y la intensidad. Pueden imponerse limitaciones geométricas en la característica de curvatura para detectar, por ejemplo, estructuras de núcleos o membrana en imágenes fluorescentes de tejidos. Los procedimientos pueden ser configurados para que sean no paramétricos y aprendan de los datos las funciones de distribución.

Esta es una mejora con respecto a los enfoques paramétricos existentes, porque los procedimientos permiten el análisis de mezclas arbitrarias de estructuras de tipo mancha y de tipo arista. Esto es sumamente valioso para aplicaciones, como la formación de imágenes de tejidos, en las que una imagen de núcleos en un tejido epitelial comprende estructuras tanto de tipo arista como de tipo mancha.

Una realización de uno de los procedimientos para la segmentación de imágenes comprende generalmente las etapas de proporcionar una imagen que comprende una pluralidad de píxeles; categorizar los píxeles en una pluralidad de subconjuntos usando uno o más índices; determinar una función de probabilidad logarítmica de uno o más de los índices; y generar uno o más mapas, tal como un mapa de probabilidad, en base a la determinación de la función de probabilidad logarítmica de uno o más de los índices. Los subconjuntos pueden comprender píxeles de segundo plano, píxeles de primer plano y píxeles indeterminados. Los índices incluye un índice de curvatura normalizada que comprende una característica basada en la curvatura que comprende

2 )2 12 (λ1(x,y +λ2 (x,y )φ(x,y)= tan−1,

l(x,y)

siendo q(x,y) el índice de curvatura normalizada y siendo A1(x,y) y A2(x,y) autovalores de una matriz hessiana de la imagen l(x,y).

La etapa de determinación puede comprender la estimación de la función de probabilidad logarítmica de uno o más de los índices, en la que los píxeles pueden ser categorizados usando al menos tres, pero no necesariamente limitados a tres, de los índices y en la que la etapa de determinación de una función de probabilidad logarítmica comprende el uso de dos de los tres índices, para una iteración de la etapa de determinación de la función de probabilidad logarítmica del tercer índice. Estos índices pueden usarse para estimar una o más probabilidades condicionales de clase y estimar la probabilidad logarítmica del tercer conjunto de características, en el que la probabilidad logarítmica puede estimarse para al menos uno de los índices, al menos en parte, estimando uno o más

límites de decisión. Uno o más de los límites de decisión pueden usarse para aplicar una o más limitaciones de monotonía para una o más funciones de probabilidad logarítmica.

La imagen puede comprender una imagen de un material biológico, tal como, sin limitación, un tejido biológico que puede comprender una o más estructuras celulares en el que las estructuras celulares pueden comprender una o más estructuras de tipo mancha y de tipo arista.

También se proporciona un sistema según la reivindicación 15 adjunta.

Dibujos

Estas y otras características, aspectos y ventajas de la presente invención se entenderán mejor cuando se lea la siguiente descripción detallada con referencia a los dibujos adjuntos, en los que caracteres similares representan partes similares de principio a fin de los dibujos, en los cuales:

La FIG. 1 ilustra autovalores y la intensidad cuando se usa en un sistema de coordenadas esféricas.

La FIG. 2a es una imagen de una retina usada para ilustrar uno de los ejemplos.

La FIG. 2b ilustra los píxeles segmentados de primer plano sobre el índice de forma y el índice de curvatura normalizada para la imagen mostrada en la FIG. 2a.

La FIG. 2c ilustra los píxeles segmentados de primer plano basados en el índice de forma y la intensidad para la imagen mostrada en la FIG. 2a.

La FIG. 2d ilustra los píxeles segmentados de primer plano basados en la intensidad y el índice de curvatura normalizada para la imagen mostrada en la FIG. 2a.

La FIG. 2e ilustra un mapa de probabilidad estimada para la imagen mostrada en la FIG. 2a.

La FIG. 2f ilustra valores de probabilidad mayores de 0,5, indicando los píxeles que es más probable que sean vasos que sean de segundo plano, para la imagen mostrada en la FIG. 2a.

Las FIGURAS 3a-3f ilustran la distribución condicional estimada de clase y funciones de probabilidad logarítmica de la imagen de retina mostrada en la FIG. 2a: a) ilustra las funciones de distribución de la intensidad, c) ilustra el índice de curvatura normalizada, e) ilustra el índice de forma. Para las FIGURAS 2a, 2c y 2e, la distribución de los píxeles de primer plano, de segundo plano y de todos se traza con líneas de puntos, de rayas y continuas, respectivamente. La FIG. 2b ilustra las funciones de probabilidad logarítmica estimada en base a la intensidad, la FIG. 2d ilustra el índice de curvatura normalizada y la FIG. 2f ilustra el índice de forma.

La FIG. 4a es la imagen de la retina mostrada en la Figura 2a mostrada de nuevo para la comparación con las FIGURAS 4b-4d.

La FIG. 4b ilustra píxeles segmentados que tienen un valor de intensidad por encima de un umbral T para la imagen mostrada en la FIG. 4a.

La FIG. 4c ilustra píxeles segmentados cuando el umbral T disminuye un 5% para la imagen mostrada en la FIG. 4a.

La FIG. 4d ilustra píxeles segmentados cuando el umbral T aumenta un 5% para la imagen mostrada en la FIG. 4a.

La FIG. 5a ilustra una imagen de un marcador de membrana y subconjuntos estimados de primer plano (color blanco) y subconjuntos de segundo plano (color negro) en base a dos de las características usadas en este ejemplo.

La FIG. 5b ilustra los píxeles segmentados de primer plano en base al índice de forma y al índice de curvatura normalizada para la imagen mostrada en la FIG. 5a.

La FIG. 5c ilustra los píxeles segmentados de primer plano en base al índice de forma y a la intensidad para la imagen mostrada en la FIG. 5a.

La FIG. 5d ilustra los píxeles segmentados de primer plano en base a la intensidad y al índice de curvatura normalizada para la imagen mostrada en la FIG. 5a. El color gris muestra los píxeles indeterminados que no están incluidos en los subconjuntos ni de primer plano ni de segundo plano.

La FIG. 5e ilustra el mapa de probabilidad estimada para la imagen mostrada en la FIG. 5a.

La FIG. 5f ilustra los valores de probabilidad mayores de 0,5, indicando los píxeles que es más probable que sean vasos que sean de segundo plano, para la imagen mostrada en la FIG. 5a.

Las FIGURAS 6a-6f ilustran la distribución condicional estimada de clase y funciones de probabilidad logarítmica de la imagen de membrana mostrada en la FIG. 5a: a) ilustra las funciones de distribución de la intensidad, c) ilustra el índice de curvatura normalizada, e) ilustra el índice de forma. Para las FIGURAS 6a, 6c y 6e, la distribución de los píxeles de primer plano, de segundo plano y de todos se traza con líneas de puntos, de rayas y continuas, respectivamente. La FIG. 6b ilustra las funciones de probabilidad logarítmica estimada en base a la intensidad, la FIG. 6d ilustra el índice de curvatura normalizada y la FIG. 6f ilustra el índice de forma.

La FIG. 7a ilustra una imagen de un marcador de núcleos y subconjuntos estimados de primer plano (color blanco) y subconjuntos de segundo plano (color negro) en base a dos de las características usadas en este ejemplo.

La FIG. 7b ilustra los píxeles segmentados de primer plano sobre el índice de forma y el índice de curvatura normalizada para la imagen mostrada en la FIG. 7a.

La FIG. 7c ilustra los píxeles segmentados de primer plano en base al índice de forma y a la intensidad para la imagen mostrada en la FIG. 7a.

La FIG. 7d ilustra los píxeles segmentados de primer plano en base a la intensidad y al índice de curvatura normalizada para la imagen mostrada en la FIG. 7a. El color gris muestra los píxeles indeterminados que no están incluidos en los subconjuntos ni de primer plano ni de segundo plano.

La FIG. 7e ilustra el mapa de probabilidad estimada a partir de la función de probabilidad logarítmica empírica para la imagen mostrada en la FIG. 7a.

La FIG. 7f ilustra el mapa de probabilidad a partir de la función de probabilidad logarítmica paramétrica para la imagen mostrada en la FIG. 7a.

Las FIGURAS 8a-8f ilustran la distribución condicional estimada de clase y funciones de probabilidad logarítmica de la imagen de núcleos mostrada en la FIG. 7a: a) ilustra las funciones de distribución de la intensidad, c) ilustra el índice de curvatura normalizada, e) ilustra el índice de forma. Para las FIGURAS 8a, 8c y 8e, la distribución de los píxeles de primer plano, de segundo plano y de todos se traza con líneas de puntos, de rayas y continuas, respectivamente. La FIG. 8b ilustra las funciones de probabilidad logarítmica estimada en base a la intensidad, la FIG. 8d ilustra el índice de curvatura normalizada y la FIG. 8f ilustra las funciones empíricas y modélicas de probabilidad logarítmica del índice de forma que están representadas con líneas continuas y discontinuas, respectivamente.

La FIG. 9a ilustra un ejemplo de intensidades de imágenes no tratadas para membranas, núcleos y marcadores de c-Met.

La FIG. 9b ilustra los compartimentos detectados para la membrana, los núcleos epiteliales, los núcleos estromales y el citoplasma para la imagen mostrada en la FIG. 9a.

La FIG. 10a ilustra un ejemplo de intensidades de imágenes no tratadas para una imagen retiniana.

La FIG. 10b ilustra la red de vasculatura detectada para la imagen mostrada en la FIG. 10a.

La FIG. 11 es una realización del sistema.

Descripción detallada

Puede lograrse la cuantificación de biomarcadores sin dar decisiones definidas para cada píxel, pero calculando, en vez de ello, la probabilidad de que un píxel pertenezca a una región. Por ejemplo, en lugar de identificar píxeles de membrana, puede calcularse la verosimilitud de que un píxel sea una membrana, que es esencialmente la probabilidad de que un píxel sea una membrana. Tales mapas de probabilidad pueden ser calculados usando la información de la intensidad y la geometría proporcionada por cada canal. Se presenta un estimador de la función de probabilidad que calcula los mapas de probabilidad de las estructuras de membranas y núcleos en las imágenes. Partiendo de limitaciones geométricas iniciales conocidas, el algoritmo estima de manera iterativa funciones de probabilidad empírica de características basadas en la curvatura y la intensidad. Las funciones de distribución son aprendidas a partir de los datos. Esto es diferente de los enfoques paramétricos existentes, porque puede gestionar mezclas arbitrarias de estructuras de tipo mancha y de tipo arista. En aplicaciones como la formación de imágenes de tejidos, una imagen de núcleos en un tejido epitelial comprende estructuras tanto de tipo arista como de tipo mancha. La red de estructuras de membrana en las imágenes de tejidos es otro ejemplo en el que la intersección de aristas puede formar estructuras que son en parte manchas. La segmentación precisa de estructuras de membrana y núcleos forma la base de un mayor éxito identificativo y en aplicaciones de análisis estadístico. Por ejemplo, la

distribución de una proteína seleccionada en cada uno de los compartimentos segmentados puede ser cuantificada para revelar vías proteínicas específicas. Luego puede relacionarse la vía con resultados clínicos.

Se usan imágenes retinianas para ilustrar esta realización ejemplar, y se usan únicamente para ilustrar una o más de las etapas de los procedimientos y los sistemas descritos. Aunque en este ejemplo las etapas de los 5 procedimientos se ilustran en conexión con las estructuras vasculares alargadas de la retina, las etapas son igualmente aplicables a otros tejidos y otras estructuras biológicas.

En esta realización ejemplar se usan autovalores de la matriz hessiana para detectar estructuras de tipo arista y de tipo mancha. Aunque en este ejemplo se usan tales autovalores debido a su invariancia a las transformaciones rígidas, pueden usarse otros algoritmos conocidos de detección de características. La matriz hessiana de una

10 imagen I(x, y) se define como

∂2 Ix,y ∂2 Ix,y

() ()

∂x2 ∂x∂y

∂2 Ix,y ∂2 Ix,y

() ()

∂x∂y ∂y2

HI((x,y)) =

.

(1)

Los autovalores (A1(x,y) �A2(x,y)) de la matriz hessiana pueden ser calculados numéricamente o ser escritos analíticamente en término de los elementos de la matriz hessiana:

Los autovalores codifican la información de curvatura de la imagen y proporcionan indicaciones útiles para detectar estructuras de membrana de tipo arista o estructuras de núcleos de tipo mancha. Sin embargo, los autovalores 15 dependen del brillo de la imagen. A continuación hay dos ejemplos de características basadas en la curvatura que son independientes del brillo de la imagen:

\

(

l) ,

2 )2 12 λ1(x,y +λ2 (x,yφ(x,y)= tan−1 (), (4)

I (x,y)

y se denominan índice de forma e índice de curvatura normalizada, respectivamente. Esto es esencialmente lo mismo que definir los autovalores en un sistema de coordenadas polares (véase la FIG. 1). Esta transformación

3ππ π

también da como resultado características acotadas, − ≤θ( x,y)≤ y 0≤φ(x,y)≤ .

44 2

20 La intensidad I(x,y) de la imagen es una fuente significativa de información. Sin embargo, debido a las variaciones de brillo entre imágenes diferentes y dentro de la misma imagen, resulta difícil determinar los umbrales correctos de intensidad y los parámetros para ajustar estas variaciones. En la FIG. 3a (línea continua) se traza un histograma de intensidad de una imagen de la retina (FIG. 2a). Debido a las grandes variaciones de la intensidad, el histograma dista de ser una clara distribución bimodal. Una simple prueba de formación de umbrales revela tales variaciones de

25 intensidad. La FIG. 4b muestra píxeles segmentados que tienen un valor de intensidad por encima de cierto umbral. Las FIGURAS 4c y 4d muestra el drástico cambio en los resultados en segmentación cuando este valor umbral disminuye o aumenta en un 5%.

Usando indicaciones geométricos conocidos, una segmentación inicial basada en el índice de forma y el índice de curvatura normalizada separa los píxeles de la imagen en tres subconjuntos: segundo plano, primer plano e 30 indeterminado. El subconjunto indeterminado comprende todos los píxeles que no están incluidos en los subconjuntos de segundo plano o de primer plano. A partir de estos subconjuntos se estiman las distribuciones de intensidad de segundo plano y de primer plano, así como las funciones de probabilidad logarítmica de la intensidad. El algoritmo ejemplar usado en esta realización sigue iterando usando dos de las tres características a la vez para estimar la distribución de la característica que quedó fuera. Normalmente, tres iteraciones son suficientes para una

λ1(x,y)

θ(x,y)= tan−1

(3)

λ2 (x,y)

convergencia. Tal como se describe más abajo, estas funciones de probabilidad logarítmica se combinan en esta realización para determinar la función de probabilidad global. Entonces puede calcularse un mapa de probabilidad que representa la probabilidad de que un píxel sea de primer plano.

Se estiman las funciones de probabilidad logarítmica en base a la suposición de que los vectores de intensidad y de características definidos en las Ecuaciones 3 y 4 son independientes. Obsérvese que estas ecuaciones están normalizadas de tal modo que mide una razón en vez de valores absolutos. La operación del arco tangente en estas ecuaciones establece una relación entre estas medidas y el espacio acotado. Si el brillo global de la imagen aumenta o disminuye, estas medidas permanecen inalteradas. Partiendo de las probabilidades logarítmicas iniciales determinadas en base a la geometría conocida de las estructuras de tipo arista o de tipo mancha, el algoritmo usa dos de estos tres conjuntos de características para estimar la pertenencia de cada uno de los píxeles a una clase (de primer plano, de segundo plano o indeterminados) y usa las clases de píxeles para estimar la probabilidad condicional de la clase y la probabilidad logarítmica de la tercera característica. Este procedimiento o bien se repite cierto número de iteraciones o se logra una convergencia en las funciones de probabilidad logarítmica.

La tabla siguiente ilustra realizaciones ejemplares de algoritmos que pueden ser usados en los procedimientos y los sistemas. En la Etapa A, se determinan las pertenencias a clases en base a dos de las tres características. Obsérvese que la unión de los píxeles de primer plano, SF, y los píxeles de segundo plano, SB, es un subconjunto de todos los píxeles. En otras palabras, se toman submuestras del conjunto de datos en el que hay mayor confianza de que pueda determinarse la pertenencia a una clase. En la Etapa B, el límite de decisión se estima a lo largo de la dirección de la característica que no se usa en la Etapa A. Aunque no es necesario para la estimación de las funciones de probabilidad logarítmica, pueden usarse los límites de decisión para imponer restricciones de monotonía para algunas de las funciones de probabilidad logarítmica. La Etapa C estima las funciones de probabilidad logarítmica como una función de las funciones condicionales de clase. Para el índice de intensidad y de curvatura normalizada, se imponen las restricciones de monotonía. En esta realización, esto implica que, por ejemplo para la característica de intensidad, cuanto más brillante es un píxel, más probable es que esté en el primer plano.

Definir fx )=Ix), fx )=φ x ), fx )=θ x )

( ,y( ,y( ,y( ,y( ,y( ,y

123 ( 2 ( 3 )

Calcular las funciones de probabilidad logarítmica inicial Lf(x,y))y Lf(x,y) hacer para k = 1:3

A. Estimar los conjuntos de primer y segundo plano usando dos conjuntos de características

F

{x ): ( ix ( jx )}

S= ( ,yLf( ,y))≥εi,Lf( ,y) ≥εj

B

S= x Lf)≤−εi,Lfj x ≤−εj siendo ()i, j∈{1,2,3}, i≠ j≠k

{( ,y): ( i(x,y) (( ,y))}

ˆ

B. Estimar los límites de decisión

Tk

C. Estimar la función de probabilidad logarítmica

Imponer una restricción de aumento monótono para el índice de forma y el índice de curvatura normalizada fin del para hasta que se satisfagan los criterios de detención

Las funciones de probabilidad logarítmica inicial se definen en esta realización como

Lf( x,y)) = 2ε2 Uφ(x,y)−φM)− 0,5 . (5)

( 2 (( )

Lf(x)=ε3 Uθ ,y)−θL)−Uθ ,y)−θU)−Uθ ,y)))(6)

( ,y) (((x((x((x,

siendo U la función de escalón unitario y siendo £i los umbrales de probabilidad para cada característica. Usando ahora estas probabilidades logarítmicas iniciales, los conjuntos de la Etapa A serían equivalentes a los conjuntos siguientes:

F

S= {( x,y) : θL≤θ(x,y)≤θU,φ( x,y)>φM} (7)

B

S= {( x,y) : θ( x,y)≥ 0,φ( x,y)≤φM}, (8)

siendo 8L =-3n/2, 8U=-n/2 para las manchas y 8L=-n/2 -11, 8U=-n/2 + 12 para las aristas. Estos parámetros pueden ser fácilmente deducidos para diferentes estructuras geométricas. Por ejemplo, para manchas brillantes en un fondo oscuro, ambos autovalores son negativos, de ahí que el ángulo entre ellos sea menor que -n/2. Dado que el ángulo es relativo al autovalor mayor, está acotado por -3n/2. Los márgenes de las aristas tienen ángulos pequeños 11 y 12; para las aristas rectas son iguales. Para los conjuntos iniciales, se toman submuestras desde 8� 0 para observar los píxeles del segundo plano. Obsérvese que, debido al ruido, los píxeles de segundo plano pueden tener cualquier índice de curvatura. Sin embargo, en esta realización solo un subconjunto con curvatura polar positiva es suficiente para estimar la distribución de intensidad para los píxeles de segundo plano. Se establece un umbral inicial para el índice de curvatura normalizada, qM, en el valor de la mediana de todos los valores de índice de curvatura normalizada.

La FIG. 2b muestra los subconjuntos iniciales de segundo plano (negro), primer plano (blanco) e indeterminado (gris) calculados usando el índice de forma y el índice de curvatura normalizada para la imagen mostrada en la FIG. 2a. Típicamente, estos subconjuntos iniciales no son completos (tienen muchos falsos negativos), pero típicamente tienen muy pocos falsos positivos. Como tales, proporcionan suficiente información para estimar la distribución de la característica (intensidad) que queda fuera. A partir de estos subconjuntos, se estiman y se muestran las funciones de distribución condicional de clase y las funciones de probabilidad logarítmica de la intensidad para el segundo plano y el primer plano en la FIG. 3a (trazado a rayas) y (trazado a puntos), respectivamente. Dados los conjuntos iniciales estimados, SFy SB, se estima la distribución de la intensidad condicional de clase del primer plano, P(I(x,y) / (x, y) E SF), y del segundo plano, P(I(x, y) / (x,y) E SB). Los trazados a puntos y los trazados a rayas de las FIGURAS 3a, 6a y 8a muestran las distribuciones de intensidad estimada de las imágenes de tipo mancha y de tipo arista a partir de los subconjuntos iniciales mostrados en las FIGURAS 2b, 5b y 7b, respectivamente.

A continuación, dadas la función de probabilidad logarítmica inicial del índice de forma y la función de probabilidad logarítmica estimada de la intensidad, pueden volver a calcularse los subconjuntos de segundo plano/primer plano, tal como se muestra en la FIG. 2c. Las funciones de distribución condicional de clase se estiman usando estos subconjuntos (FIG. 3c), así como la función de probabilidad logarítmica (FIG. 3d) para el índice de curvatura normalizada. En este ejemplo se impone la restricción de monotonía en este ejemplo para la función de probabilidad logarítmica del índice de curvatura normalizada, lo que implica que el primer plano tiene una mayor curvatura para un valor dado de intensidad que el segundo plano. Las FIGURAS 5c y 7c muestran los subconjuntos derivados del índice de intensidad de forma para las estructuras de membrana y núcleos mostradas en las FIGURAS 5a y 7a, respectivamente. Las funciones de densidad condicional de clase se muestran en las FIGURAS 6c y 8c; y las funciones de probabilidad logarítmica se muestran en las FIGURAS 6d y 8d.

En una realización iterativa, se repite el mismo procedimiento para el índice de forma. Se usan las funciones de probabilidad logarítmica estimada para la intensidad y el índice de curvatura normalizada para formar los subconjuntos de segundo plano/primer plano, FIG. 2d. Después, en base a estos subconjuntos, se estiman las funciones condicionales de clase y las funciones de probabilidad logarítmica, tal como se muestra en las FIGURAS 3e y 3f, respectivamente. El pico significativo en -n/2 en la FIG. 3e para los píxeles de vasos es tal como se espera, porque, en este ejemplo para vasos, un autovalor es cero y un autovalor es negativo. El pequeño pico en cero se debe a las estructuras de tipo valle entre dos vasos, que están cercanas en las regiones brillantes de la imagen. Las FIGURAS 5d y 7d muestran los subconjuntos para las imágenes de membrana y de núcleos. En las FIGURAS 6e-f y 8e-f se muestran las funciones estimadas usando estos subconjuntos. En las funciones condicionales de clase de membrana (FIG. 6e), el pico de primer plano tiene un ángulo ligeramente menor que -n/2, y la función condicional de clase de primer plano es ligeramente mayor que la función condicional de clase de segundo plano para todos los valores menor que -n/2. Aunque inicializadas de forma diferente, las funciones condicionales de clase de núcleos en este ejemplo convergen de forma similar a las funciones de distribución de membrana. Esto se debe a la significativa cantidad de estructuras de tipo arista en los núcleos epiteliales. Aunque la proporción de las mezclas entre manchas

y aristas es diferente, el algoritmo usado en este ejemplo aprende de los datos las densidades de probabilidad. Se usa la restricción de monotonía para estabilizar la convergencia del algoritmo.

Se impone la restricción de monotonía estimando en primer lugar los límites de decisión. Se estiman un umbral óptimo de intensidad para la intensidad y el índice de curvatura normalizada maximizando las probabilidades a 5 posteriori (MAP),

F B

Tk =argTmaxPIx)≥Tx ( ,y)∈S+PIx( ,y)<Tx ( ,y)∈S)para k=1,2. (9)

ˆ(( ,y

)(

En ejemplo, la meta es minimizar los criterios de error global cuando las distribuciones a priori para el segundo y el primer plano son iguales. Dado que se conoce una estimación, a partir de este ejemplo, para las distribuciones condicionales de clase, el valor del umbral de decisión se determina por medio de una búsqueda unidimensional exhaustiva, en vez de que por medio de una aproximación paramétrica. Aunque hay un único límite de decisión a lo

10 largo de la intensidad y dimensiones del índice de curvatura normalizada, puede haber múltiples límites a lo largo de la característica del índice de forma. Por lo tanto, no se impone una restricción de monotonía en la función de probabilidad logarítmica del índice de forma en este ejemplo.

Aunque en este ejemplo las funciones de probabilidad logarítmica son estimadas en la Etapa C, para valores pequeños de numerador y denominador, esta expresión puede volverse indefinida o inestable. Por lo tanto, se define

15 una función de probabilidad logarítmica empírica imponente la restricción no decreciente como sigue:

=

*

sup Lf( ,y),Lf( ,y)−Δ f( ,yT

(( kx )( kx )) kx )> ˆ

k

( kx )

L*

( ,y)

Lfkx fkx )=Tˆk

() ( ,y

( ,y)

f

,para k=1,2 (10)

*

inf Lf( ,y),Lf( ,y)+Δ f( ,yT

(( kx )( kx )) kx )< ˆ

k

siendo 1 el tamaño del cajón del histograma usado para estimar las distribuciones de intensidad. La Ecuación 10 se

ˆ

calcula de manera recursiva partiendo de Testimada por la Ecuación 9. Esta se usa en este ejemplo para

k

garantizar que la función de probabilidad logarítmica empírica no cambie el límite de decisión cuando se usa la función de probabilidad logarítmica (L*(fk(x,y)) = 0) para la decisión. En la anterior ecuación ejemplar, el índice, k, 20 está definido para las dos primeras características, no para todas ellas, excluyendo, por lo tanto, el índice de forma. Se muestran funciones empíricas ejemplares de probabilidad logarítmica de intensidad no decreciente en las FIGURAS 3b, 3d, 6b, 6d, 8b y 8d para estructuras de vaso, membrana y núcleos. El algoritmo usado en este ejemplo repite las Etapas A-C para todas las características hasta que se satisface un criterio de parada. Los procedimientos y los sistemas no están limitados a estos criterios. Pueden definirse diferentes criterios de parada, tal

25 como, sin limitación, la tasa de cambio en los límites estimados de decisión. Este algoritmo ejemplar tiende a converger en tres iteraciones cuando se usa en conexión con imágenes de membranas y núcleos. Por lo tanto, en este ejemplo se usaron tres iteraciones.

Los procedimientos y los sistemas pueden usarse para procesar y analizar muchos tipos diferentes de imágenes para cualquier número y tipo de fines, dependiendo de las herramientas analíticas deseadas por una aplicación 30 dada. Los procedimientos y los sistemas son particularmente útiles para analizar imágenes que comprenden estructuras de tipo mancha y de tipo arista u otras estructuras similares que pueden diferenciarse entre sí en base, al menos en parte, a características de forma, geográficas y/o topográficas. Por ejemplo, tales imágenes pueden incluir, sin limitación, imágenes de estructuras y tejidos biológicos. Por ejemplo, los procedimientos y los sistemas son útiles para diferenciar estructuras y tejidos que comprenden características vasculares, características neurales,

35 características celulares y subcelulares.

Basándose de nuevo en la suposición de que las características son independientes, puede calcularse la función conjunta de probabilidad logarítmica a partir de las funciones individuales de probabilidad logarítmica,

Puede calcularse un mapa de probabilidad que representa la probabilidad de que un píxel sea de primer plano a partir de las funciones conjuntas de probabilidad logarítmica como sigue:

Lx( ,y)

ePx( ,yF Ix( ,y)Fx,y)θ x,y)) = Lx,y) . (12)

(( 1+ e(

( )∈S

Las FIGURAS 2e, 5e y 7e muestran los mapas de probabilidad estimada para imágenes de vaso, membrana y núcleos, respectivamente. En este ejemplo, según se muestra en la FIG. 3b, se usa el umbral previamente determinado como el límite óptimo de decisión. Puede entonces calcularse un mapa binario de decisión sometiendo este mapa de probabilidad a una formación de umbrales, por ejemplo usando 0,5 como criterio de decisión (FIGURAS 2f, 5f).

Aunque los mapas binarios estimados de decisión para las estructuras de vaso y membrana comprenden límites precisos de segmentación, el mapa de decisión de núcleos tiende a dar como resultado regiones segmentadas en exceso. Esto se debe a la gran cantidad de dispersión en torno a los núcleos, particularmente entre núcleos epiteliales situados de manera compacta, y dentro de núcleos epiteliales con forma de anillo en los que la luz dispersa crea regiones relativamente brillantes. Dado que las regiones entre núcleos cercanos y dentro de los núcleos en anillo tienen una curvatura elevada y una intensidad elevada, estas regiones contribuyen adversamente a la estimación condicional de clase del índice de forma. Se dota a las funciones de probabilidad logarítmica de los núcleos de una función de probabilidad basada en un modelo que desenfatice las estructuras geométricas inesperadas. La línea discontinua de la FIG. 8f muestra tal función modelada por la suma de dos funciones gaussiana, estimándose los parámetros de estas a partir de valores de datos menores que -n/2, y con una acotación inferior fija establecida a e-5. En la FIG. 7f se muestra el mapa de probabilidad resultante. Un análisis de componentes conectados y un algoritmo de relleno de agujeros rellena los centros huecos de los núcleos epiteliales. El valor de la probabilidad está fijado a 0,5 (color gris en la FIG. 7f) para los valores rellenados, de modo que estén definidos como píxeles de núcleos en el mapa binario de decisión. En base a la tarea de cuantificación, pueden usarse las funciones de probabilidad empírica o las funciones de probabilidad basadas en un modelo. En este ejemplo, se usa la función basada en un modelo porque da como resultado segmentos de núcleos aislados que pueden usarse para diferenciar los núcleos epiteliales de los núcleos estromales para su uso en el siguiente ejemplo para detectar núcleos epiteliales.

Muchos marcadores moleculares seleccionan ya sea núcleos epiteliales o núcleos estromales. La práctica actual en la formación de imágenes moleculares usa biomarcadores como la queratina para diferenciar el tejido epitelial del tejido estromal. Sin embargo, en este ejemplo, los procedimientos basados en la curvatura obvian la necesidad de marcadores para diferenciar el tejido epitelial del tejido estromal. En consecuencia, el procedimiento de tinción es menos complejo y pone en juego los recursos biológicos y ópticos para multiplexar otros objetivos. Los algoritmos ejemplares de cálculo usados en una o más de las realizaciones ejemplares se valen del conocimiento de que los núcleos epiteliales tienen estructuras de membrana que los rodean. Los núcleos del tejido epitelial son mayores y están más densamente poblados que los núcleos en el tejido estromal.

En este ejemplo, que tiene fines únicamente ilustrativos, las diferencias morfológicas entre los núcleos epiteliales y estromales pueden ser definidas identificando un superconjunto de conjuntos de núcleos, citoplasma y membrana. Por ejemplo, S(x, y), cuando se usa para denotar este superconjunto, puede definirse como la unión de los compartimentos detectados,

)= Cx( ,y)∪ Nx

Sx( ,y ,y)∪ Mx(( ,y), (13)

denotando C(x, y), M(x, y) y N(x, y) píxeles de citoplasma, membrana y núcleos. En este ejemplo, el citoplasma está definido como la unión de conjuntos de regiones pequeñas circunscritas por píxeles de membrana y núcleos. Dado que los núcleos estromales no están conectados a través de estructuras de membrana y están distribuidos de forma poco densa, pueden ser detectados por medio de un análisis de componentes conectados S(x, y). Puede generarse una máscara epitelial E(x, y) como una unión de grande componentes conectados de S(x, y). Para las imágenes de muestras en este ejemplo, cualquier componente mayor que 800 píxeles es aceptado como parte de la máscara epitelial. El conjunto de núcleos es separado entonces en núcleos epiteliales (Ne(x,y)) y núcleos estromales (Ns(x,y)) estableciendo las máscaras:

N(x,y)= Nx( ,y)⋅ Ex( ,y), (14a)

e

,y)= Nx).

N( x( ,y)⋅(1− Ex( ,y) (14b)

s

La FIG. 9b muestra las diferentes regiones calculadas: membrana, núcleos epiteliales, núcleos estromales y citoplasma. Los núcleos epiteliales mostrados en la FIG. 9B se diferencian claramente de los núcleos estromales.

Según se ha hecho notar, los procedimientos y los sistemas pueden ser usados en varias aplicaciones. La segmentación de imágenes digitales de micromatrices de tejidos es un ejemplo de una aplicación tal. En este ejemplo, se segmentan imágenes digitales de múltiples canales en múltiples regiones (segmentos/compartimentos) como una de las etapas para cuantificar uno o más biomarcadores. En este ejemplo, la cuantificación se logra sin tener que adoptar decisiones definidas para cada píxel, pero determinando, en vez de ello, la probabilidad de que un píxel dado pertenezca a una región. Por ejemplo, en lugar de identificar píxeles de membrana, puede calcularse la verosimilitud de que un píxel sea una membrana. Esta verosimilitud representa la probabilidad de que un píxel dado pertenezca a una región de membrana. Pueden calcularse mapas de probabilidad de estas regiones usando información de intensidad y geometría derivada de cada canal. Por ejemplo, la FIG. 9a muestra las intensidades medidas de una imagen de múltiples canales, que muestra la mancha nuclear (Dapi), la mancha de membrana (Pancadherin) y una proteína diana (cMet). En las FIGURAS 7f y 5e se muestran, respectivamente, los mapas de probabilidad calculados para los núcleos y la membrana. El brillo de estas imágenes representa el valor de probabilidad, representando el blanco el valor de probabilidad de uno, representando el negro el valor de probabilidad de cero, y siendo cualquier matiz del gris proporcional al valor de la probabilidad. Puede determinarse fácilmente una decisión definida para cada píxel sometiendo a los mapas de probabilidad a una formación de umbrales. Se usan tales decisiones para separar los núcleos epiteliales de los núcleos estromales y para detectar el citoplasma. El citoplasma también está representado como un mapa de probabilidad de unos y ceros. La FIG. 9b muestra las diferentes regiones calculadas para membrana, núcleos epiteliales, núcleos estromales, citoplasma. Se muestran en negro el segundo plano y la matriz extracelular.

La translocación de una proteína diana entre diferentes regiones puede ser cuantificada en base a los mapas de probabilidad. La distribución de una proteína diana (cMet) en cada una de las regiones puede ser representada por una función de distribución de la probabilidad (PDF). Por ejemplo, la PDF de la cMet de la membrana es la distribución empírica ponderada de cMet, en la que el mapa de probabilidad de membrana determina los coeficientes de ponderación. Puede entonces generarse una puntuación de translocación en base a una o más regiones o pares de regiones. En este ejemplo, hay cinco regiones (membrana, núcleos epiteliales, núcleos estromales, citoplasma y matriz extracelular). En este ejemplo, se define la puntuación de translocación como la diferencia media normalizada entre las correspondientes PDF. Estas puntuaciones de translocación pueden usarse para reflejar un resultado clínico o para explorar la asociación con la expectativa de vida.

Tal como se ha hecho notar, los procedimientos y los sistemas pueden usarse para analizar varias imágenes. Las imágenes de microscopía, usadas en este ejemplo, pueden ser calibradas de antemano usando dianas fluorescentes de calibración. Tal calibración puede no ser posible para algunas imágenes, como la imagen retiniana. Sin embargo, pueden aplicarse técnicas de corrección de la iluminación para corregir tales variaciones. Una técnica de corrección de la iluminación usada comúnmente es el filtrado homomórfico, definido como

Ix′( ,y)= exp log (Ix( ,y) (( ,y)*Gx( ,y) , (15)

( )− log Ix))

siendo I’(x, y) la nueva imagen corregida, siendo G(x, y) un filtro gaussiano y siendo * una operación de convolución. Sustituyendo la imagen con intensidades corregidas, pueden segmentarse las imágenes con grandes variaciones de intensidad con más precisión usando los mismos algoritmos descritos. Para eliminar cualquier aberración introducida por el filtrado homomórfico, se calculan el índice de forma y el índice de curvatura normalizada preferentemente a partir de los valores originales de intensidad. La FIG. 10 muestra el resultado de segmentación de la imagen de la retina usando los valores corregidos de intensidad.

Aunque en el presente documento se han ilustrado y descrito únicamente ciertas características de la invención, a los expertos en la técnica se les ocurrirán muchos cambios y modificaciones. Por lo tanto, debe entenderse que se pretende que las reivindicaciones adjuntas abarquen todos los cambios y las modificaciones de ese tipo que se encuentren dentro del auténtico espíritu de la invención.

El sistema 10 automatizado (FIG. 11) para llevar a cabo los procedimientos comprende generalmente: un dispositivo 12 de almacenamiento para almacenar, al menos temporalmente, una o más imágenes; y un procesador 14 que categoriza los píxeles en una pluralidad de subconjuntos usando uno o más índices que determina una distribución de intensidad y una función de probabilidad logarítmica de uno o más de los subconjuntos y genera uno o más mapas en base a la determinación de la función de probabilidad logarítmica de uno o más de los subconjuntos. Las imágenes pueden comprender, sin limitación, estructuras de tipo mancha y de tipo arista. Por ejemplo, una o más de las estructuras de tipo mancha pueden comprender al menos una porción de un núcleo y una o más de las estructuras de tipo arista pueden comprender al menos una porción de una membrana. Uno o más de los mapas pueden ser un mapa de probabilidad de una o más de las estructuras de tipo mancha y de las estructuras de tipo arista. La imagen puede comprender, sin limitación, una o más estructuras seleccionadas de un grupo consistente en estructuras celulares, estructuras vasculares y estructuras neurales.

El dispositivo de almacenamiento puede comprender, sin limitación necesaria, cualquier memoria adecuada de disco duro asociada con el procesador, tal como la ROM (memoria de solo lectura), la RAM (memoria de acceso aleatorio)

o la DRAM (memoria dinámica de acceso aleatorio) de una CPU (unidad central de proceso) o cualquier dispositivo

adecuado de memoria de unidad de disco como un DVD o un CD, o una unidad zip o una tarjeta de memoria. El dispositivo de almacenamiento puede estar situado remotamente con respecto al procesador o el medio para visualizar las imágenes y, aun así, ser objeto de acceso a través de cualquier dispositivo adecuado de conexión o una red de comunicaciones, incluyendo, sin limitación, redes de área local, redes de cable, redes de satélites e

5 Internet, con independencia de si están cableadas o son inalámbricas. El procesador o CPU puede comprender un microprocesador, un microcontrolador y un procesador de señales digitales (DSP).

En una de las realizaciones, el dispositivo 12 de almacenamiento y el procesador 14 pueden estar incorporados como componentes de un dispositivo analítico, como un sistema automatizado de alto rendimiento que tincione y forme imágenes de micromatrices de tejido (TMA) en un sistema y que analice ulteriormente las imágenes. El

10 sistema 10 puede además comprender un medio para visualizar 16 una o más de las imágenes; un visualizador interactivo 18; un microscopio virtual 20; y/o un medio para transmitir 22 una o más de las imágenes o cualesquiera datos relacionados o información analítica por medio de una red 24 de comunicaciones a uno o más emplazamientos remotos 26.

El medio de visualización 16 puede comprender cualquier dispositivo adecuado capaz de visualizar una imagen

15 digital, tales como, sin limitación, dispositivos que incorporan una LCD o un CRT. El medio de transmisión 22 puede comprender cualquier medio adecuado de transmisión de información digital en una red de comunicaciones incluyendo, sin limitación, sistemas digitales de comunicaciones cableadas o inalámbricas. El sistema puede comprender, además, un dispositivo automatizado 28 para aplicar una o más de las tinciones y un dispositivo 30 de formación de imágenes digitales, tal como, sin limitación, un microscopio de formación de imágenes que comprende

20 una fuente 32 de excitación y capaz de capturar imágenes digitales de TMA. Preferentemente, tales dispositivos de formación de imágenes son capaces de enfoque automático y luego mantienen y hacen seguimiento de la característica de enfoque según se requiere a lo largo del procesamiento.

Claims

REIVINDICACIONES

1. Un procedimiento de segmentación de imágenes que comprende las etapas de: proporcionar una imagen que comprende una pluralidad de píxeles; categorizar dichos píxeles en una pluralidad de subconjuntos usando uno o más índices;

5 determinar una función de probabilidad logarítmica de uno o más de dichos índices; y generar uno o más mapas en base a dicha determinación de dicha función de probabilidad logarítmica de uno o más de dichos índices;

caracterizado porque

al menos uno de dichos índices comprende un índice de curvatura normalizada que comprende una 10 característica basada en la curvatura que comprende

12 (λ1(x,y)2 +λ2 (x,y)2 )φ(x,y)= tan−1,

l(x,y)

siendo q(x,y) el índice de curvatura normalizada y siendo A1(x,y) y A2(x,y) autovalores de una matriz hessiana de la imagen l(x,y).
2. El procedimiento de la reivindicación 1 en el que dichos subconjuntos comprenden píxeles de segundo plano, píxeles de primer plano y píxeles indeterminados.

15 3. El procedimiento de la reivindicación 1 en el que al menos uno de dichos índices comprende un índice de forma.
4. El procedimiento de la reivindicación 3 en el que dicho índice de forma comprende una característica basada en la curvatura que comprende

λ1(x,y)

θ(x,y)= tan−1,

λ2 (x,y)

siendo 8(x, y) el índice de forma y siendo A1(x,y) y A2(x,y) autovalores de una matriz hessiana de la imagen 20 I(x,y).
5.

El procedimiento de la reivindicación 1 en el que al menos uno de dichos índices comprende un valor de intensidad.
6.

El procedimiento de la reivindicación 1 en el que dicha etapa de determinación comprende la estimación de dicha función de probabilidad logarítmica de uno o más de dichos índices.

25 7. El procedimiento de la reivindicación 6 en el que dichos píxeles son categorizados usando al menos tres de dichos índices y en el que dicha etapa de determinación de una función de probabilidad logarítmica comprende el uso de dos de dichos tres índices, para una iteración de dicha etapa de determinación de dicha función de probabilidad logarítmica de dicho tercer índice.
8. El procedimiento de la reivindicación 7 en el que dichos tres subconjuntos comprenden píxeles de segundo 30 plano, de primer plano e indeterminados.
9.

El procedimiento de la reivindicación 7 en el que dicha probabilidad logarítmica se estima para al menos uno de dichos subconjuntos, al menos en parte, estimando uno o más límites de decisión.
10.

El procedimiento de la reivindicación 1 en el que uno o más de dichos mapas comprenden un mapa de probabilidad.

35 11. El procedimiento de la reivindicación 1 en el que dicha imagen comprende una imagen de un material biológico.
12.

El procedimiento de la reivindicación 11 en el que dicho material biológico comprende un tejido biológico.
13.

El procedimiento de la reivindicación 11 en el que dicho tejido biológico comprende una o más estructuras

celulares. 12
14.

El procedimiento de la reivindicación 13 en el que dichas estructuras celulares comprenden una o más estructuras de núcleo y membrana.
15.

Un sistema (10) que implementa el procedimiento de la reivindicación 1 que comprende: un dispositivo (12) de almacenamiento para almacenar dicha imagen, al menos temporalmente; y

5 un dispositivo (14) de procesamiento que está adaptado para categorizar dichos píxeles en una pluralidad de subconjuntos usando uno o más índices para determinar una función de probabilidad logarítmica de uno

o más de dichos índices y para generar uno o más mapas en base a dicha determinación de dicha función de probabilidad logarítmica de uno o más de dichos índices,

caracterizado porque

10 al menos uno de dichos índices comprende un índice de curvatura normalizada que comprende una característica basada en la curvatura que comprende

12 (λ1(x,y)2 +λ2 (x,y)2 )φ(x,y)= tan−1,

l(x,y)

siendo q(x, y) el índice de forma y siendo A1(x,y) y A2(x,y) autovalores de una matriz hessiana de la imagen I(x,y).
16. El sistema (10) de la reivindicación 15 en el que dicha imagen comprende una o más estructuras celulares.

15 17. El sistema (10) de la reivindicación 16 en el que dichas una o más estructuras celulares comprenden al menos una porción de un núcleo y al menos una porción de una membrana.
18. El sistema (10) de la reivindicación 17 en el que uno o más de dichos mapas es un mapa de una o más de dicha al menos una porción de un núcleo y dicha al menos una porción de una membrana.
19. El sistema (10) de la reivindicación 18 en el que uno o más de dichos mapas es un mapa de probabilidad. 20 20. El sistema (10) de la reivindicación 15 en el que dicha imagen comprende estructuras vasculares.