ES2942022T3 - Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia - Google Patents

Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia Download PDF

Info

Publication number
ES2942022T3
ES2942022T3 ES20215995T ES20215995T ES2942022T3 ES 2942022 T3 ES2942022 T3 ES 2942022T3 ES 20215995 T ES20215995 T ES 20215995T ES 20215995 T ES20215995 T ES 20215995T ES 2942022 T3 ES2942022 T3 ES 2942022T3
Authority
ES
Spain
Prior art keywords
fluorescence
fluorescence image
pattern
partial area
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES20215995T
Other languages
English (en)
Inventor
Jens Krauth
Stefan Gerlach
Christian Marzahl
Christopher Krause
Jens Hocke
Melanie Hahn
Jörn Voigt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Euroimmun Medizinische Labordiagnostika AG
Original Assignee
Euroimmun Medizinische Labordiagnostika AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euroimmun Medizinische Labordiagnostika AG filed Critical Euroimmun Medizinische Labordiagnostika AG
Application granted granted Critical
Publication of ES2942022T3 publication Critical patent/ES2942022T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
    • G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/564—Immunoassay; Biospecific binding assay; Materials therefor for pre-existing immune complex or autoimmune disease, i.e. systemic lupus erythematosus, rheumatoid arthritis, multiple sclerosis, rheumatoid factors or complement components C1-C9
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Data Mining & Analysis (AREA)
  • Urology & Nephrology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biotechnology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Rheumatology (AREA)
  • Rehabilitation Therapy (AREA)
  • Evolutionary Biology (AREA)

Abstract

Se propone un método para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano usando microscopía de inmunofluorescencia usando procesamiento de imagen digital. Se proporciona una sección de órgano en una diapositiva. Luego, la sección del órgano se incuba con una muestra líquida del paciente que potencialmente tiene anticuerpos primarios y con anticuerpos secundarios que están marcados con un tinte fluorescente. Además, se registra una imagen de fluorescencia de la sección del órgano. Además, un área parcial de la imagen de fluorescencia, que es relevante para la formación del tipo de patrón de fluorescencia, se determina mediante la segmentación de la imagen de fluorescencia utilizando una primera red neuronal. Además, se determina la medida de confianza, lo que indica una presencia real del tipo de patrón de fluorescencia basado en la imagen de fluorescencia por medio de una segunda red neuronal. Además, se determina una información de validez que indica un grado de validez de la medida de confianza, en base al área parcial previamente determinada. Finalmente, se emiten el nivel de confianza de la presencia real del tipo de patrón de fluorescencia y la información de validez. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia
La invención se refiere a un procedimiento y un dispositivo para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia utilizando procesamiento de imágenes digitales.
El documento EP3258247 A1 divulga un procedimiento para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia, pero no un procedimiento que utilice redes neuronales.
El documento EP3712618 A1 divulga un procedimiento en el que redes neuronales determinan áreas parciales de una imagen de fluorescencia que son relevantes para una formación de la imagen de fluorescencia, pero no un procedimiento en el que se examinan secciones de órganos.
El documento EP3767587 A1 divulga un procedimiento que utiliza un "sustrato celular" que comprende células epiteliales o de epitelioma humanas. No se utiliza una incisión en el órgano.
La microscopía de inmunofluorescencia o microscopía de inmunofluorescencia indirecta es una prueba in vitro para determinar la presencia de anticuerpos humanos contra antígenos específicos con el fin de responder o evaluar una cuestión de diagnóstico. Estos antígenos están presentes, por ejemplo, en determinadas zonas de cortes de órganos como un riñón de rata o un esófago de mono. El sustrato es, por tanto, una sección de órgano que se incuba con una muestra de paciente en forma de sangre o sangre diluida o suero sanguíneo o suero sanguíneo diluido. Por lo tanto, la muestra del paciente tiene potencialmente ciertos anticuerpos primarios, que pueden ser una expresión de la presencia de una enfermedad en el paciente. Dichos anticuerpos primarios o específicos pueden entonces unirse a antígenos del sustrato o de la sección del órgano. Dichos anticuerpos primarios unidos pueden entonces marcarse uniendo los denominados anticuerpos secundarios, preferentemente anticuerpos antihumanos, a los anticuerpos primarios unidos en una etapa de incubación adicional y pueden hacerse visibles posteriormente marcando los anticuerpos secundarios con un colorante fluorescente. Dicho colorante fluorescente es preferentemente un colorante fluorescente verde, en particular el colorante fluorescente FITC. Esta unión de un anticuerpo primario con un anticuerpo secundario marcado con fluorescencia puede visualizarse posteriormente irradiando la sección del órgano con luz de excitación de una longitud de onda específica, excitando así los colorantes fluorescentes unidos para que emitan radiación fluorescente.
Dependiendo de la pregunta diagnóstica, se puede apuntar a la presencia de uno o muy específicos tipos de patrones de fluorescencia en secciones específicas de órganos o regiones parciales o áreas parciales muy específicas de las secciones de órganos. Así, se plantea la tarea de detectar uno o más tipos de patrones de fluorescencia en una imagen de fluorescencia de una microscopía de inmunofluorescencia mediante el procesamiento de imágenes digitales en el curso de una sección de órgano incubada de la manera prescrita.
La Figura 6 muestra una imagen de fluorescencia FB1 ejemplar de una sección de órgano de un riñón de rata como imagen de fluorescencia FB. En las áreas parciales TB1, TB2, indicadas cada una por rectángulos claros, hay regiones en las que puede estar presente, al menos parcialmente, un patrón LKM esperable para un caso de diagnóstico positivo. Dicho patrón LKM también se denomina patrón microsómico hígado-riñón porque los denominados anticuerpos LKM (anticuerpos microsómicos hígado-riñón) están presentes en una muestra positiva del paciente. El patrón LKM es un primer tipo de patrón de fluorescencia.
Dicho patrón LKM puede verse con mayor detalle en la Figura 7 en una vista ampliada del área parcial TB1, al menos en parte. En este patrón LKM, es visible una fluorescencia citoplasmática granular fina de los túbulos proximales PT en la zona de la corteza suprarrenal. Los túbulos DT distales son negativos en este caso. Los glomérulos GL marcados en la Figura 6 como otro patrón parcial del patrón LKM también son negativos en este caso. Tal fluorescencia multinivel de los túbulos proximales PT con una fluorescencia citoplasmática finamente granular frente a túbulos distales DT negativos y glomérulos GL negativos constituye tal patrón LKM.
La Figura 8 muestra otra imagen de fluorescencia FB2 de otra sección de órgano de un riñón de rata, en la que está presente un denominado patrón AMA de los denominados anticuerpos antimitocondriales en una región parcial TB21, que se muestra ampliada en la Figura 9. En este patrón AMA, el citoplasma de los túbulos proximales PT2 y de los túbulos distales DT2 se tiñe con fluorescencia granular, mientras que los glomérulos GL2 son sólo débilmente luminosos o muestran una débil tinción fluorescente. El patrón AMA es, por tanto, un segundo tipo de patrón de fluorescencia cuya presencia puede detectarse.
La Figura 13 muestra una imagen de fluorescencia de otro tipo de sección de órgano, en este caso una imagen FB3 de una sección de un esófago de un mono. Una determinada área parcial de la sección del órgano, a saber, el área de la muscularis mucosae, indicada por el signo de referencia C, es relevante para la formación del denominado patrón del endomisio. La Figura 15c muestra el área pertinente de la muscularis mucosae, en la que se observa una coloración en forma de red de esta muscularis mucosae en un caso positivo. El área HGF representa el denominado fondo de la imagen de fluorescencia o del portaobjetos, en el que no hay ninguna sección de órgano.
Por lo tanto, se plantea la tarea para varias secciones de órganos de detectar uno o más tipos de patrones de fluorescencia con respecto a su(s) presencia(s), lo que puede realizarse mediante procesamiento de imágenes digitales.
La tarea según la invención se resuelve mediante un procedimiento para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia utilizando procesamiento de imágenes digitales. El procedimiento consta de varias etapas. En primer lugar, se proporciona una sección del órgano en un portaobjetos de microscopio. A continuación, la sección del órgano se incuba con una muestra líquida del paciente, que potencialmente contiene anticuerpos primarios. A continuación, la sección del órgano se incuba con anticuerpos secundarios marcados con un colorante fluorescente. Además, se captura una imagen de fluorescencia de la sección del órgano en un canal de color correspondiente al colorante fluorescente. Además, un área parcial de la imagen de fluorescencia, que es relevante para una formación del tipo de patrón de fluorescencia, se determina segmentando la imagen de fluorescencia mediante una primera red neuronal. Además, la medida de confianza, que indica la presencia real del tipo de patrón de fluorescencia, se determina a partir de la imagen de fluorescencia mediante una segunda red neuronal. Además, la información sobre la validez, que indica el grado de validez de la medida de confianza, se determina en función del área parcial previamente determinada. Por último, se emite la medida de confianza de la presencia real del tipo de patrón de fluorescencia y la información de validez.
Con el fin de explicar una o más posibles ventajas del procedimiento propuesto, a continuación se ofrecen explicaciones más detalladas.
En principio, es conocido el procesamiento de imágenes digitales para analizar una imagen completa, como por ejemplo una imagen de fluorescencia completa, mediante una única red neuronal y detectar así la presencia de un patrón esperado. En este caso, toda la imagen puede introducirse a la vez en el clasificador o en la red neuronal, que puede así determinar una medida de confianza respecto a la presencia de un determinado patrón.
Los inventores han reconocido que la microscopía de inmunofluorescencia basada en secciones de órganos puede tener ciertos efectos negativos en la producción, que el procedimiento según la invención puede contrarrestar. Una sección de órgano como la mostrada en la Figura 6 o en la Figura 8 no está presente en toda la superficie de la imagen FB1 o FB2, porque dicho material biológico a veces no se aplica en toda la superficie del portaobjetos en el curso del procesamiento de producción para crear portaobjetos cubiertos con secciones de órganos. El material necesario para los órganos no está disponible en cantidades ilimitadas. En primer lugar, se aplica una sección de órgano de mayor tamaño a una superficie portadora y, a continuación, la superficie portadora se divide en superficies portadoras parciales o portaobjetos, preferentemente mediante corte, de modo que en las zonas de los bordes de la sección de órgano sólo pueda producirse una cobertura parcial de un portaobjetos, como puede verse en la Figura 6 y en la Figura 8. Si dicha imagen de fluorescencia FB1 o FB2 se evalúa entonces en su conjunto mediante una red neuronal, la red neuronal puede determinar entonces una medida de confianza con respecto a la presencia de un tipo de patrón de fluorescencia en base a la imagen completa FB1 o FB2. Sin embargo, debido a una cobertura global posiblemente insuficiente del portaobjetos o de la imagen de fluorescencia por la rebanada de órgano, la parte de la imagen en la que no está presente ninguna rebanada de órgano puede perjudicar la calidad de la determinación de la medida de confianza por la red neuronal como información de la imagen. Esto significa que un diagnosticador, como un médico, sólo puede confiar hasta cierto punto en el nivel de confianza determinado por la red neuronal para tomar una decisión de diagnóstico final. Especialmente en el caso de que la sección del órgano sea el esófago de un mono, la detección del patrón sólo puede realizarse de forma fiable en un área parcial determinada de la sección del órgano, aquí en el área C, área de la muscularis mucosae, de la imagen de ejemplo de la Figura 13. Esta área C o el área parcial correspondiente sólo representan una determinada parte bidimensional de la imagen de fluorescencia. Alternativa o adicionalmente, puede producirse otro efecto técnico negativo: Con el fin de mostrar o reconocer suficientemente los patrones en una imagen de fluorescencia, las imágenes de fluorescencia se capturan a veces utilizando ópticas de microscopio de determinados aumentos ópticos. Esto puede dar lugar a una imagen de fluorescencia que no capte o represente todo el portaobjetos y tampoco toda la sección del órgano. También en este caso puede ser necesario determinar cuánta área parcial de la imagen de fluorescencia está cubierta por la sección del órgano o un área de la sección del órgano que sea relevante para la formación del patrón. En la medida en que el procedimiento según la invención no utiliza una sola red neuronal para analizar una imagen global y luego detectar la presencia de un tipo de patrón de fluorescencia, sino que dos redes neuronales diferentes generan información diferente, el procedimiento según la invención es más robusto que el procedimiento del estado de la técnica. De forma especialmente ventajosa, la información sobre la validez también se determina como una pieza de información y se emite junto con la medida de confianza, de forma que el usuario o el médico reciben información adicional sobre la validez de la medida de confianza.
Según la invención, la información de validez se determina de una manera particular. En primer lugar, una red neuronal determina un área parcial de la imagen de fluorescencia que es relevante para la formación del tipo de patrón de fluorescencia. En el ejemplo de la sección de órgano de un riñón de rata, puede ser el área parcial TF1 de la Figura 11b para el ejemplo de la imagen FBI, véase la Figura 11a. El área parcial TF1 corresponde al área parcial ocupada por la sección del órgano en la imagen FB1. Para el otro ejemplo de imagen de fluorescencia FB2, véase la Figura 11c, se muestra un área parcial correspondiente TF2 en la Figura 11d. En el ejemplo de una imagen de fluorescencia FB3 de un esófago de un mono de la Figura 13, dicha área parcial que es relevante para una formación del tipo de patrón de fluorescencia puede ser un área parcial de la propia sección del órgano, es decir, un área específica del órgano. En este ejemplo de la imagen FB3 de la Figura 13, que se muestra de nuevo en la Figura 15a, el área parcial correspondiente TF3 se muestra como un área clara en la Figura 15d. Según la invención, dicha área parcial TF1, TF2, TF3 se utiliza para determinar la información de validez basada en ella.
El procedimiento según la invención es ventajoso en particular porque un usuario no sólo tiene que confiar en una medida de confianza determinada por una única red neuronal con respecto a la presencia de un tipo de patrón de fluorescencia, sino también porque se le emite una información de validez que tiene en cuenta hasta qué punto la imagen de fluorescencia analizada por la primera red neuronal está cubierta por un área relevante o un área parcial relevante del órgano. Así, en el caso de que un portaobjetos con una sección de órgano procedente de una producción en serie presente involuntariamente sólo una pequeña área parcial en el portaobjetos y, por tanto, también en la imagen de fluorescencia, que es relevante para la formación de un tipo de patrón de fluorescencia esperable, recibe una especie de advertencia por medio de la información de validez de que posiblemente no debería tomar su decisión únicamente en base a la medida de confianza de salida, sino que debería tener en cuenta en qué medida las áreas parciales están realmente presentes dentro de la imagen de fluorescencia que son relevantes para la formación del tipo de patrón de fluorescencia.
El procedimiento según la invención es por lo tanto ventajoso porque las áreas parciales de determinar la medida de confianza de una presencia del tipo de patrón de fluorescencia así como la información de validez no tienen que ser realizadas por una sola red neuronal combinada, sino porque esto se divide en dos áreas parciales para redes neuronales respectivas. En este caso, la primera red neuronal puede entrenarse específicamente para la tarea parcial de segmentar la imagen de fluorescencia sin tener que detectar la presencia de tipos específicos de patrones de fluorescencia. De este modo, la primera red neuronal para la segmentación de la imagen de fluorescencia sólo tiene que ser entrenada para la segmentación de la imagen de fluorescencia con respecto a ciertas áreas parciales, de modo que se pueden utilizar datos de entrenamiento en los que no tienen que estar presentes ciertos tipos de patrones de fluorescencia y dicha presencia tampoco tiene que proporcionarse para el entrenamiento en forma de metadatos de una denominada "verdad de fondo". Es suficiente realizar la tarea de segmentación de la imagen de fluorescencia en base a datos de entrenamiento o imágenes de entrenamiento que tengan como información de forma de connotación la subdivisión de la imagen de fluorescencia en diferentes regiones de segmentación, como la información de segmentación de la Figura 11b o la información de segmentación de la Figura 15b.
La segunda red neuronal como red de clasificación no tiene que ser entrenada para reconocer tales áreas o segmentos parciales, sino que sólo tiene que ser entrenada para detectar la presencia de tipos de patrones de fluorescencia. En particular, la segunda red neuronal puede determinar preferentemente la medida de confianza en base a la propia imagen de fluorescencia y también en base a la imagen de fluorescencia segmentada o en la información de segmentación obtenida a partir de la misma. En este caso, por ejemplo, no sólo la imagen de fluorescencia FB3 de la Figura 13, sino también la información de segmentación s Eg o el área parcial TF3 de la Figura 15d pueden incluirse preferentemente en la segunda red neuronal para determinar la medida de confianza. La segunda red neuronal puede entonces, mediante una información particularmente preferente, tener más en cuenta la información parcial de la imagen de fluorescencia, tal como se muestra como información FB33 en la Figura 15c, y determinar así las medidas de confianza en base a esta información parcial de la imagen de fluorescencia FB33.
Las realizaciones ventajosas de la invención son objeto de las reivindicaciones dependientes y se explican con más detalle en la siguiente descripción con referencia parcial a las figuras.
Preferentemente, el procedimiento está adaptado para detectar presencias potenciales respectivas de tipos de patrones de fluorescencia respectivos en una sección de órgano mediante microscopía de inmunofluorescencia y mediante procesamiento de imágenes digitales, comprendiendo preferentemente el procedimiento: Determinar un área parcial de la imagen de fluorescencia que sea potencialmente relevante para una formación de los tipos de patrones de fluorescencia segmentando la imagen de fluorescencia mediante una primera red neuronal, determinando respectivas medidas de confianza que indiquen respectivas presencias reales de los respectivos tipos de patrones de fluorescencia en base a la imagen de fluorescencia mediante una segunda red neuronal, determinar información de validez que indique un grado de validez de las medidas de confianza en base al área parcial previamente determinada, emitiendo al menos un subconjunto de las respectivas medidas de confianza de las respectivas presencias reales de los respectivos tipos de patrones de fluorescencia y la información de validez. Preferentemente, el procedimiento comprende además: Determinar la medida de confianza basada en la imagen de fluorescencia y basada en la imagen de fluorescencia segmentada utilizando la segunda red neuronal.
Preferentemente, el procedimiento comprende además: Determinar la medida de confianza en base a la imagen de fluorescencia y en base a la información que indica el área parcial por medio de la segunda red neuronal.
Preferentemente, el procedimiento comprende además: Determinar la información de validez determinando una porción de una cobertura bidimensional de la imagen de fluorescencia por el área parcial que es potencialmente relevante para una formación de patrones de fluorescencia.
Preferentemente, el procedimiento comprende además: en el caso en que se determina que un tipo de patrón de fluorescencia está realmente presente, determinar un nivel de brillo del área parcial en la imagen de fluorescencia que es potencialmente relevante para una formación del tipo de patrón de fluorescencia.
Preferentemente, el procedimiento comprende además: estimar un grado máximo de dilución de la muestra del paciente en el que la incubación de la sección del órgano con la muestra del paciente sigue dando lugar a la presencia de uno de los tipos de patrón de fluorescencia.
Se propone además un dispositivo para detectar al menos una presencia potencial de al menos un tipo de patrón fluorescente en una sección de órgano mediante microscopía de inmunofluorescencia y procesamiento de imágenes digitales, que comprende un dispositivo de sujeción para un portaobjetos con una sección de órgano que se ha incubado con una muestra del paciente que comprende los autoanticuerpos y además con anticuerpos secundarios marcados cada uno con un colorante fluorescente, al menos una unidad de adquisición de imágenes para adquirir una imagen de fluorescencia de la sección de órgano en un canal de color correspondiente al colorante fluorescente, y que comprende además al menos una unidad de cálculo adaptada para determinar un área parcial en la imagen de fluorescencia relevante para una formación del tipo de patrón de fluorescencia segmentando la imagen de fluorescencia mediante una primera red neuronal para determinar una medida de confianza que indique una presencia real del tipo de patrón de fluorescencia, determinando, en base a la imagen de fluorescencia mediante una segunda red neuronal, información de validez que indique un grado de validez de la medida de confianza, en base al área parcial, y emitiendo además la medida de confianza de las presencias reales del tipo de patrón de fluorescencia y la información de validez.
Se propone además una unidad de computación adaptada para recibir, en el curso del procesamiento de imágenes digitales, una imagen de fluorescencia que representa una tinción de una sección de órgano por un colorante fluorescente, para determinar un área parcial en la imagen de fluorescencia que es relevante para una formación del tipo de patrón de fluorescencia segmentando la imagen de fluorescencia por medio de una primera red neuronal, determinar una medida de confianza que indique la presencia real del tipo de patrón de fluorescencia en base a la imagen de fluorescencia por medio de una segunda red neuronal, determinar información de validez que indique un grado de validez de la medida de confianza en base al área parcial previamente determinada, y emitir además la medida de confianza de la presencia real del tipo de patrón de fluorescencia y la información de validez.
Se propone un dispositivo de red de datos que comprende al menos una interfaz de datos para recibir una imagen de fluorescencia que representa una tinción de una sección de órgano por un colorante fluorescente, y que comprende además al menos una unidad de cálculo adaptada para determinar, en el curso del procesamiento de imágenes digitales, un área parcial en la imagen de fluorescencia relevante para una formación del tipo de patrón de fluorescencia, determinar, segmentando la imagen de fluorescencia mediante una primera red neuronal, una medida de confianza que indique la presencia real del tipo de patrón de fluorescencia, determinar, en base a la imagen de fluorescencia mediante una segunda red neuronal, información de validez que indique un grado de validez de la medida de confianza, en base al área parcial previamente determinada, y emitir además la medida de confianza de la presencia real del tipo de patrón de fluorescencia y la información de validez.
Se propone además un procedimiento de tratamiento digital de imágenes que comprende: Recibir una imagen de fluorescencia que represente una tinción de una sección de órgano (S) con un colorante fluorescente, determinar un área parcial en la imagen de fluorescencia relevante para la formación del tipo de patrón de fluorescencia segmentando la imagen de fluorescencia mediante una primera red neuronal, determinar una medida de confianza que indique la presencia real del tipo de patrón de fluorescencia en base a la imagen de fluorescencia mediante una segunda red neuronal, determinar la información de validez que indique un grado de validez de la medida de confianza en base a la imagen de fluorescencia mediante una segunda red neuronal determinar una medida de confianza que indique la presencia real del tipo de patrón de fluorescencia en base a la imagen de fluorescencia por medio de una segunda red neuronal, determinando la información de validez que indique un grado de validez de la medida de confianza en base al área parcial previamente determinada, emitiendo la medida de confianza de la presencia real del tipo de patrón de fluorescencia y la información de validez.
Se propone además un producto de programa de ordenador que comprende instrucciones que, cuando el programa es ejecutado por un ordenador, hacen que el ordenador lleve a cabo el procedimiento de procesamiento de imágenes digitales.
Se propone además una señal portadora de datos que transmite el producto de programa de ordenador.
A continuación, la invención se explicará con más detalle en base a realizaciones específicas sin limitar la idea general de la invención con referencia a las figuras. Mostrando:
Figura 1 Etapas del procedimiento según la invención según una primera realización,
Figura 2 etapas del procedimiento según la invención según una segunda realización,
Figura 3 una etapa para determinar una información de validez,
Figura 4 sub-etapas preferentes para determinar una o varias medidas de confianza,
Figura 5 etapas preferentes para determinar un grado máximo de dilución de una muestra de paciente en el que la incubación de una sección de órgano con la muestra de paciente sigue dando lugar a la presencia del tipo de patrón de fluorescencia,
Figura 6 una primera imagen de fluorescencia,
Figura 7 un área parcial de la primera imagen de fluorescencia,
Figura 8 una segunda imagen de fluorescencia,
Figura 9 un área parcial de la segunda imagen de fluorescencia,
Figura 10 un dispositivo según la invención según una realización preferente,
Figura 11 respectivas imágenes de fluorescencia con las correspondientes áreas parciales, que son relevantes para una formación respectiva de tipos de patrones de fluorescencia,
Figura 12 división en capas de las diferentes capas de un órgano sección de un esófago,
Figura 13 una tercera imagen de fluorescencia,
Figura 14a y
Figura 14b más imágenes de fluorescencia,
Figura 15a la tercera imagen de fluorescencia,
Figura 15b un resultado de segmentación de la tercera imagen de fluorescencia,
Figura 15c una información de imagen relevante de la tercera imagen de fluorescencia,
Figura 15d un área parcial relevante de la tercera imagen de fluorescencia,
Figura 16a-d imágenes correspondientes o áreas correspondientes análogas a la Figura 15 relacionadas con una cuarta imagen de fluorescencia,
Figura 17 una unidad informática según la invención de acuerdo con una realización preferente,
Figura 18 un dispositivo de red de datos según la invención según una realización preferente,
Figura 19 un producto de programa de ordenador según la invención y una señal portadora de datos según la invención,
Figuras 20 a 23 Resultados experimentales para diferentes secciones de órganos
Figuras 24 a 25 configuraciones preferentes de las redes neuronales primera y segunda
La Figura 10 muestra un dispositivo V1 mediante el cual puede llevarse a cabo preferentemente el procedimiento según la invención. El dispositivo V1 puede describirse como un microscopio de fluorescencia. El dispositivo V1 tiene un soporte H para un sustrato S o un portaobjetos que ha sido incubado de la manera descrita anteriormente. La luz de excitación AL procedente de una fuente de luz de excitación LQ se dirige al sustrato S a través de un sistema óptico O. La radiación de fluorescencia FL resultante se transmite de nuevo a través de la óptica O y pasa a través del espejo dicroico SP1 y un filtro óptico opcional F2. Preferentemente, la radiación de fluorescencia FL pasa a través de un filtro óptico FG, que filtra un canal verde. Una cámara K1 es preferentemente una cámara monocroma, que registra entonces la radiación de fluorescencia FL en un canal verde en presencia de un filtro óptico FG. Según una realización alternativa, la cámara K1 es una cámara en color que no requiere el uso del filtro óptico FG y captura la imagen de fluorescencia en el canal de color correspondiente como canal verde mediante una matriz Bayer. La cámara K1 proporciona la información de imagen BI o la imagen de fluorescencia a una unidad de ordenador R, que procesa esta información de imagen BI. Preferentemente, la unidad de cálculo R puede emitir o proporcionar datos tales como una imagen de fluorescencia, medidas de confianza así como información de validez a través de una interfaz de datos DS1.
La Figura 6 muestra una primera imagen de fluorescencia FB1, FB que representa una sección de órgano de un riñón de rata en un portaobjetos de microscopio, con un patrón denominado LKM. En las áreas parciales TB1, TB2, se observa al menos parcialmente un patrón LKM, como se muestra ampliado para la área parcial TB1 en la Figura 7.
La Figura 8 muestra una segunda imagen parcial FB2, FB, en la que está presente un denominado patrón AMA como tipo de patrón, tal como se muestra ampliado en la Figura 9 para un área de imagen parcial TB21.
La primera imagen de fluorescencia FB1 se muestra de nuevo en la Figura 11a y la segunda imagen de fluorescencia FB2 en la Figura 11c. La Figura 11e muestra otra imagen de fluorescencia FBX en la que no está presente ninguno de los tipos de patrón de fluorescencia LKM, AMA. En principio, es posible que varios tipos diferentes de patrones de fluorescencia estén presentes al mismo tiempo. Sin embargo, en los ejemplos de las imágenes de fluorescencia FB1 y FB2 de las Figuras 6 y 8, respectivamente, sólo está presente un único patrón en cada caso.
La Figura 1 muestra las etapas del procedimiento según la invención de acuerdo con una realización preferente. En una primera etapa S1, se proporciona una sección de órgano en un portaobjetos de microscopio. En una segunda etapa S2, la sección del órgano se incuba con una muestra líquida del paciente que contiene anticuerpos potencialmente primarios. En la etapa S3, la sección del órgano se incuba con anticuerpos secundarios marcados con un colorante fluorescente. En una etapa S4, se captura una imagen de fluorescencia FB de la sección del órgano en un canal de color correspondiente al colorante fluorescente. Esto incluye, en particular, irradiar el portaobjetos con radiación de excitación. En una etapa S5, se determina entonces un área parcial de la imagen de fluorescencia FB, que es relevante para una formación de al menos un tipo de patrón de fluorescencia, segmentando la imagen de fluorescencia FB mediante una primera red neuronal NN1. De este modo se obtiene la información de segmentación SEG. Esta información de segmentación SEG indexa el área parcial específica de la imagen de fluorescencia.
En el ejemplo preferente de que la sección de órgano es una sección de órgano de un riñón de una rata, el área parcial de la imagen de fluorescencia es el área que ocupa la sección de órgano en la imagen de fluorescencia, como se ejemplifica en la Figura 1 y también se muestra en la Figura 11b como ejemplo de un área parcial TF1 o información de segmentación SEG para el ejemplo de la primera imagen de fluorescencia FB1 de la Figura 11a. En el ejemplo preferente de que la sección de órgano es una sección de órgano de un esófago de un mono como se muestra en la tercera imagen de fluorescencia FB3 de la Figura 13, el área parcial de la imagen de fluorescencia representa un área parcial de la sección de órgano que se muestra como área parcial TF3 o información de segmentación SEG para la tercera imagen de fluorescencia FB3 en la Figura 15d como un área blanca. En este caso, el área parcial de la imagen de fluorescencia es un área parcial de la sección del órgano o un área parcial específica de la sección del órgano.
En una etapa S6 de la Figura 1, en base a la imagen de fluorescencia FB, se utiliza una segunda red neuronal NN2 para determinar una o más medidas de confianza KM que indican una presencia real del tipo o tipos de patrón de fluorescencia.
Para el ejemplo de un riñón de rata, se pueden detectar las presencias de los diferentes tipos de patrones de fluorescencia LKM y AMA y determinar las respectivas medidas de confianza. Estas medidas de confianza se presentan como medidas de confianza de la información KM en la Figura 1.
En una etapa S7, se determina la información de validez VI en base a la información de área parcial o segmentación previamente determinada, que indica un grado de validez de la medida o medidas de confianza KM. En la etapa S8, se generan las medidas de confianza KM y la información de validez VI.
Preferentemente, el procedimiento está adaptado para detectar la presencia potencial de los respectivos tipos de patrones de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia y procesamiento de imágenes digitales. Estos tipos de patrones de fluorescencia son preferentemente un patrón LKM y un patrón AMA para una sección de órgano en forma de riñón de rata. En este caso, un área parcial TF1 de la imagen de fluorescencia FB1, que es potencialmente relevante para la formación de los tipos de patrón de fluorescencia, se determina preferentemente segmentando la imagen de fluorescencia FB1 mediante una primera red neuronal NN1. Además, la determinación de las respectivas medidas de confianza KM, que indican las respectivas presencias reales de los respectivos tipos de patrones de fluorescencia, se realiza preferentemente en base a la imagen de fluorescencia FB1 por medio de una segunda red neuronal NN2. Preferentemente, se determina una información de validez VI que indica un grado de validez de las medidas de confianza KM en base al área parcial TF1 previamente determinada. Preferentemente, se realiza una salida a al menos un subconjunto de las respectivas medidas de confianza KM de las respectivas presencias reales de los respectivos tipos de patrones de fluorescencia y la información de validez VI.
En el ejemplo de realización de la Figura 1, la determinación de la(s) medida(s) de confianza KM se basa preferentemente sólo en la imagen de fluorescencia FB. Para el ejemplo de la imagen de fluorescencia FB1 de la Figura 6, toda la imagen de fluorescencia FB1 fue procesada por la red neuronal NN2 con el fin de determinar las medidas de confianza para los resultados de detección descritos a continuación. Preferentemente, como se muestra en la Figura 1 mediante una flecha discontinua, además de la imagen de fluorescencia FB, la imagen de fluorescencia segmentada o la información de segmentación SEG también pueden entrar en la red neuronal NN2 en la etapa S6 y, de este modo, la red neuronal NN2 determina la medida o medidas de confianza en base a la imagen de fluorescencia FB y el área parcial TF1 o la información de segmentación SEG previamente determinada. A continuación, la red neuronal NN2 puede tener en cuenta la información de la imagen de fluorescencia parcial correspondiente al área parcial detectada TF1. De este modo, la segunda red neuronal NN2 puede conseguir preferentemente que no se tengan en cuenta la información de la imagen ni los artefactos en la denominada zona de imagen de fondo fuera de la sección del órgano correspondiente. La Figura 8 muestra artefactos AF ejemplares en la zona de fondo HG de la segunda imagen de fluorescencia FB2.
La Figura 2 muestra una realización preferente del procedimiento según la invención. La realización del procedimiento según la invención de la Figura 2 puede utilizarse preferentemente para imágenes de fluorescencia de secciones de órganos de un esófago de monos. Las etapas S1 a S4 corresponden a las etapas S1 a S4 de la Figura 1.
La Figura 12 ilustra la particularidad de la tarea de determinar la presencia de un patrón de fluorescencia en el caso de una sección de órgano en forma de sección de órgano esofágico de un mono. Tal sección de órgano de un esófago tiene diferentes áreas parciales de la sección de órgano A, B, C, D, E. Una zona o área parcial del esófago son los músculos longitudinales A. Otra zona o área parcial del esófago son los músculos circulares 8. Otra zona o área parcial es la muscularis mucosae C. Otra zona o área parcial es la lamina propia D. Otra zona o área parcial es el epitelio E.
La Figura 13 muestra para la imagen de fluorescencia FB3 una indexación de este tipo de las correspondientes áreas parciales o superficies parciales A, B, C, D, E de la sección de órgano, así como un área de fondo HGF de la imagen de fluorescencia FB3 en la que no está presente ninguna sección de órgano.
En el caso del esófago, el área parcial o región parcial C, muscularis mucosae, es relevante para la formación del patrón de fluorescencia tipo endomisio , mientras que las otras áreas parciales u otras regiones parciales A, B, D, E no son relevantes para la detección del patrón de fluorescencia tipo endomisio a pesar de la posible tinción o fluorescencia.
[0051] Como se muestra en la Figura 2, en una etapa S5A, una primera red neuronal NN1A para la imagen de fluorescencia FB3, véase la Figura 15a, determina primero un área parcial o información de segmentación SEG3, como se muestra en la Figura 15b, en la que diferentes áreas parciales o niveles de segmentación A, B, C, D, E representan las correspondientes áreas parciales de las correspondientes capas de órganos.
En una etapa S6A, se utiliza entonces una segunda red neuronal NN2A para determinar, en base al área parcial TF3 previamente determinada o la información de segmentación SEGA, véase la Figura 15d, y en base a la imagen de fluorescencia FB, una medida de confianza KM que indica la presencia del patrón de fluorescencia tipo endomisio . La segunda red neuronal NN2A puede entonces utilizar el área parcial TF3 o la información de segmentación SEGA para tener más en cuenta un área de imagen de fluorescencia relevante FB33, mostrada en la Figura 15c, para detectar la presencia del patrón de fluorescencia tipo endomisio y determinar una medida de confianza correspondiente. A continuación, la red neuronal NN2A puede procesar la información de la imagen de fluorescencia parcial correspondiente al área parcial detectada TF3. De este modo, la segunda red neuronal NN2A puede preferentemente no tener en cuenta información de imagen en áreas de imagen no relevantes fuera de la sección de órgano relevante, muscularis mucosae.
La Figura 14a muestra otra imagen de fluorescencia FB4 como cuarta imagen de fluorescencia, que muestra sólo una débil tinción o patrón del endomisio en la región de la muscularis mucosae .
La Figura 14b muestra una quinta imagen de fluorescencia FB5 de una sección de órgano de un esófago, en la que en esta imagen de fluorescencia FB5 no hay tinción de la zona de la muscularis mucosae por el patrón del endomisio. Esta quinta imagen de fluorescencia FB5 se muestra de nuevo en la Figura 16a. La Figura 16b muestra un resultado de segmentación SEG5 segmentando la imagen de fluorescencia FB5 utilizando la segunda red neuronal. La Figura 16d muestra la información de segmentación SEGA entonces determinada, que indica el área parcial TF5 como un área blanca. La Figura 16c muestra el área de imagen FB55 que utilizará la primera red neuronal sombreada en gris.
Observando simultáneamente el área de imagen de fluorescencia FB55 en un caso denominado negativo en comparación con el área de imagen de fluorescencia FB33 de la Figura 15c en un caso positivo, el rendimiento del procedimiento propuesto se hace evidente, ya que el área de imagen de fluorescencia FB33 está claramente coloreada más brillante que el área de imagen de fluorescencia FB55.
La Figura 11e muestra una sección de un riñón de rata para un caso negativo en una imagen de fluorescencia FBX. También en este caso puede detectarse de forma fiable un área parcial TFX, mostrada en la Figura 11f, que es relevante para la formación de tipos de patrones de fluorescencia.
La Figura 3 muestra una realización preferente de la etapa S7, en la que se determina la información de validez VI. Esto se muestra aquí para el ejemplo de una imagen de fluorescencia FB3 de un esófago como sección de órgano. En la etapa S7, se introducen como información tanto la imagen de fluorescencia FB3 como la información de segmentación SEGA, que indica el área parcial TF3 que es potencialmente relevante para la formación de un patrón de fluorescencia.
En la etapa S7, se determina entonces una porción de una cobertura de área de la imagen de fluorescencia FB3 por el área parcial TF3. Se trata, en particular, de un porcentaje de cobertura de la imagen de fluorescencia FB3 por el área parcial TF3. Determinando simplemente el tamaño del área total de la imagen de fluorescencia FB3 y el tamaño del área parcial TF3, puede determinarse esta proporción de la cobertura de área de la imagen de fluorescencia FB3 por el área parcial TF3, preferentemente como porcentaje. Si esta proporción de la cobertura de área de la imagen de fluorescencia por el área parcial está por encima de un valor umbral predeterminado SWVI, se decide que la cobertura de área de la imagen de fluorescencia por el área parcial es suficiente. En este caso, el valor simbólico 1 se emite preferentemente como información de validez VI. El valor simbólico 1 representa preferentemente la afirmación "válido". Si la proporción de cobertura de área de la imagen de fluorescencia por el área parcial está por debajo del valor umbral predefinido y predeterminado SWVI, se emite entonces preferentemente un valor simbólico 0 como información de validez VI. El valor simbólico 0 representa preferentemente la información "no válido". Así, se puede emitir un valor "válido" o un valor "no válido" como información de validez VI. El valor umbral SWVI puede ser preferentemente el valor 20-25 % para un porcentaje de una cobertura de área para el ejemplo de un riñón de rata. El umbral SWVI puede ser preferentemente del 10% para un porcentaje de cobertura de área para el ejemplo del esófago de un mono.
La Figura 4 muestra detalles de la determinación de una o más medidas de confianza basadas en la imagen de fluorescencia. Una segunda red neuronal NN2, NN2A recibe la imagen de fluorescencia FB y preferentemente también la imagen de fluorescencia segmentada o la correspondiente información de segmentación SEG, SEGA. La segunda red neuronal NN2, NN2A determina entonces una o más medidas de confianza preliminares VKM. A continuación, puede calcularse una información preliminar de la medida de confianza VKM para, por ejemplo, tres clases con índice i = 1... 3 se puede determinar
Figure imgf000009_0001
Aquí, una sola entrada
VKMt , ¿ = 1...3
representa una medida de confianza para la clase correspondiente con índice i. Por ejemplo, una primera clase es una clase que representa la presencia de un patrón LKM y una segunda clase es, por ejemplo, una clase que representa la presencia de un patrón AMA. Una tercera clase es, por ejemplo, una clase que representa la ausencia de un patrón LKM y la ausencia simultánea de un patrón AMA y es una clase denominada negativa.
Las medidas de confianza preliminares
VKMi , í = 1...3
pueden ser los llamados valores sigmoidales, que son determinados por la segunda red neuronal NN2, NN2A. En una etapa de verificación PS, se determina la medida o medidas de confianza KM, preferentemente como
Figure imgf000009_0002
Aquí, un valor umbral SWL puede especificarse como un valor umbral predeterminado. Este umbral SWL puede ser del valor 0,5, por ejemplo.
A continuación, se determina una medida de confianza
KMi , i = 1...3
según la regla preferente
KM- - í VKMi f alls VKMi > SWL
1 t 0 sonst
Las medidas de confianza
determinadas de este modo se emiten a continuación preferentemente. La etapa de verificación PS forma parte preferentemente de la red neuronal NN2, NN2A.
Preferentemente, se toma una decisión sobre la presencia de un patrón principal antes de la salida si una de las medidas de confianza de los patrones, en particular de los patrones LKM y AMA, es mayor que cero,
KMi> 0 , i = 1...2 ,
por lo que entonces, preferentemente en tal caso de presencia de un patrón principal positivo, la medida de confianza para el caso "negativo" se establece automáticamente en cero
KM3 := 0 .
Si la medida de confianza del caso "negativo" es mayor que cero
KM3 > 0
y ambas medidas de confianza de los patrones para i=1,2 son iguales a cero
KMt = 0 , i = 1...2 ,
entonces se decide "negativo" y se emiten las medidas de confianza, preferentemente sólo se emite la medida de confianza para "negativo"
KM3
Si todas las medidas de confianza son iguales a cero
KMí = 0 , i = 1...3
es preferente emitir una advertencia.
La Figura 5 muestra preferentemente etapas para determinar un nivel de brillo del área parcial previamente determinada y relevante en la imagen de fluorescencia.
En el caso de que se determine que un tipo de patrón de fluorescencia está realmente presente o que la presencia de un patrón está así indicada por una medida de confianza KM, se determina entonces un nivel de brillo de la imagen parcial de la imagen de fluorescencia correspondiente al área parcial previamente determinada.
En una etapa S9, se comprueba preferentemente en primer lugar si para una medida de confianza de un patrón de fluorescencia a detectar, por ejemplo la medida de confianza KM1 para el patrón con índice i=1, el valor es mayor que 0,5. Si es así, el sistema pasa a la etapa S10. En la etapa S10, se utiliza la imagen parcial FB33 que pertenece a la imagen de fluorescencia correspondiente FB3 y corresponde al área parcial TF3 previamente determinada que es potencialmente relevante para la formación del tipo de patrón de fluorescencia. En la etapa S10, se realiza preferentemente una estadística de píxeles en esta área de imagen de fluorescencia relevante FB33. Se determina el cuartil de 85% de los valores de luminosidad del fichero de dibujo FB33. Los valores de luminosidad pueden cuantificarse en el intervalo de 0 a 255, por ejemplo. Toda esta gama de cuantificación de valores de luminosidad de 0 a 255 puede dividirse entonces equidistantemente en cinco gamas de valores parciales. El primer intervalo es entonces de 0 a 51. Los otros intervalos siguen en etapas equidistantes correspondientes, con el quinto intervalo superior terminando en 255.
En base al grado de brillo en la forma del cuartil del 85%, se puede realizar entonces una estimación de un grado máximo de dilución de la muestra del paciente en el que la incubación de la sección del órgano con la muestra del paciente todavía conduce a la presencia de un tipo de patrón de fluorescencia. A continuación, en una etapa S11, se asigna el HI de información que debe determinarse como cuartil del 85% según una de las áreas parciales o de las cinco áreas parciales. EL área parcial determinada o el índice del parea parcial determinada determina un tamaño de paso, en base a la dilución actual de la muestra del paciente para la generación de la imagen de fluorescencia, con el fin de determinar un nivel de dilución en el que los grados de la muestra del paciente seguirían dando lugar a un patrón positivo o a la presencia del tipo de patrón de fluorescencia. Así, el grado de dilución VD de la muestra a partir de la incubación se proporciona como información secundaria. A una dilución o un grado de dilución VD de 1 : 10, entonces es posible comenzar con una serie de diluciones de 10, 32, 100, 320, 1.000, 3.200, 10.000, 32.000 basada en un tamaño de paso determinado, por ejemplo 2, e ir dos etapas más allá y entonces determinar una dilución de 100 como un grado de dilución en el que la incubación de la sección del órgano con la muestra del paciente sólo daría lugar a la presencia del tipo de patrón de fluorescencia. Este es entonces el grado de dilución VG determinado. Esto se puede emitir junto con la otra información, por ejemplo en una etapa S8, véase la Figura 1 o la Figura 2.
Las Figuras 24, 25 y 26 muestran los subelementos NN21, NN22, NN23, que cuando se ven juntos en la secuencia apropiada forman la segunda red neuronal NN2 de la Figura 1 para el ejemplo de la sección de órgano como un riñón de rata. La imagen de fluorescencia FB es recibida por la primera parte NN21 de la Figura 24, habiendo sido la imagen de fluorescencia FB preferentemente escalada previamente a una dimensionalidad de 2048*2048.
La red completa NN2 está formada por una secuencia de una pluralidad de etapas u operaciones de procesamiento de las partes NN21, NN22, NN23, en las que se producen diferentes tipos de etapas. Para cada etapa de tratamiento, el tipo de etapa se indica detalladamente en la zona izquierda del rectángulo correspondiente, para que un especialista pueda rehacer el tratamiento. Además, se indica la dimensionalidad de la variable de entrada respectiva y de la variable de salida respectiva para cada etapa de procesamiento. Por lo tanto, se especifica detalladamente para cada etapa individual cómo debe llevarse a cabo el tratamiento en consecuencia. Aquí, la dimensionalidad de la variable de entrada se puede tomar para cada etapa individual en la línea superior "Entrada" en el siguiente paréntesis por la segunda y la tercera entrada. Además, la cuarta entrada puede utilizarse para determinar cuántas variables de entrada se reciben en la etapa correspondiente. Por ejemplo, en la etapa BSP se aceptan 8 tamaños de dimensionalidad 2048*2048. En esta etapa BSP, se realiza una convolución bidimensional tal que hay 12 variables de salida, cada una de las cuales tiene una dimensionalidad de 1024*1024. Esto indica que en el curso de la convolución bidimensional se utilizan 12 núcleos de convolución y que, además, las variables de entrada se reducen en un factor de 2 mediante el correspondiente striding.
De este modo, un experto en la materia puede deducir claramente para cada etapa de procesamiento y los respectivos parámetros introducidos en él cómo debe diseñarse esta etapa de procesamiento.
En la tercera parte NN23 de la Figura 26 de la red neuronal NN2, se genera entonces una cantidad de salida VKM con 3 valores escalares en una etapa SVKM2, que representa las medidas de confianza preliminares VKM_i para las 3 clases, índice de clase i, con i=1 para patrones LKM, i=2 para patrones AMA e i=3 negativos, como se ha descrito anteriormente. A continuación, en una etapa de verificación PS descrita anteriormente, se determinan las medidas de confianza KM.
Las Figuras 27, 28 y 29 muestran las correspondientes subredes NN11, NN12, NN13, que, consideradas conjuntamente, forman la primera red neuronal NN1 de la Figura 1 para el ejemplo de una sección de órgano de un riñón de rata. En la primera parte NN11 se recibe la imagen de fluorescencia f B, donde la imagen de fluorescencia FB se ha escalado preferentemente a una dimensionalidad de 512*512. También se describen detalladamente las etapas de procesamiento de las subredes NN11, NN12 y NN13 aquí representadas.
En la tercera parte NN13 de la Figura 29, se genera una información de segmentación SEG' en una etapa SC, que tiene 2 clases. Aquí, la información de segmentación SEG' de la dimensionalidad 512*512*2 proporciona para cada píxel correspondiente de la imagen de fluorescencia FB de la dimensionalidad 512*512 en cada caso 2 valores con índice k=1,2, que en cada caso indican una medida de confianza con índice k=1,2 de que el píxel correspondiente pertenece a una clase k=1 "órgano" o a la otra clase k=2 "fondo". A continuación, se puede tomar una decisión mediante una MS de decisión máxima relacionada con las dos medidas de confianza con índice k=1,2 para un píxel concreto, a qué clase pertenece el píxel correspondiente, con el fin de generar una información de segmentación SEG.
Las subredes NN2A1, NN2A2, NN2A3 de las Figuras 30, 31, 32 juntas forman una realización de una red neuronal NN2A como se muestra en la Figura 2. También en este caso se dispone de información detallada sobre las respectivas fases de tratamiento. La imagen de fluorescencia FB es recibida por la primera parte NN2A1, habiendo sido la imagen de fluorescencia FB preferentemente escalada previamente a una dimensionalidad de 2048*2048. Además, la información de segmentación SEGA es recibida por la primera parte NN2A1, donde la información de segmentación SEGA ha sido preferentemente escalada previamente a una dimensionalidad de 2048*2048.
En la tercera parte NN2A3 de la Figura 32, se genera entonces una variable de salida VKM con 2 valores escalares en una etapa SVKM1, que representa las medidas de confianza preliminares VKM_i para las 2 clases, índice de clase i=1...2, con i=1 para patrón del endomisio e i=2 para negativo. En una etapa ya de verificación PS, las medidas de confianza KM pueden determinarse entonces mediante la decisión del valor umbral.
Las Figuras 33, 34, 35 muestran porciones NN1A, NN1A2, NN1A3 de una red neuronal NN1A de la Figura 2 para una segmentación de una imagen de fluorescencia para la sección de órgano de ejemplo como un esófago de un mono. También en este caso se ofrece información detallada sobre cada etapa del proceso.
La imagen de fluorescencia FB se recibe preferentemente en la primera etapa de la Figura 33 en una dimensionalidad de 512*512, por lo que la imagen de fluorescencia FB se ha escalado preferentemente de antemano en consecuencia.
Al final de la tercera parte NN1A3, véase la Figura 35, de la red neuronal NN1A de la Figura 2, se emite entonces una información de segmentación SEG3' en una etapa SC3, que se muestra ejemplarmente en la Figura 15 b. En este caso, la información de segmentación SEG3' para las 5 clases o las 5 áreas parciales A, B, C, D, E así como para una sexta clase adicional como área de fondo HGF proporciona probabilidades respectivas como variables de salida en cada caso relacionadas con uno solo de los 512*512 píxeles, de modo que para cada píxel de una información de imagen de la dimensión 512*512 se puede decidir entonces mediante una decisión máxima MSA relacionada con las medidas de confianza de un píxel específico a qué clase pertenece el píxel para obtener el área parcial o el área de fondo relevante. la información de segmentación SEG, que se muestra en la Figura 15 b. A partir de aquí, la información de segmentación SEGA puede obtenerse en una etapa de determinación BES mediante la selección de índices, mostrada ejemplarmente como SEGA en la Figura 15d.
La Figura 17 muestra una unidad de cálculo según la invención que, preferentemente según una realización preferente, recibe una imagen de fluorescencia SB como señal de datos SI a través de una interfaz de datos DS2. A continuación, la unidad de cálculo R puede determinar la información KM, VI descrita anteriormente y proporcionarla como una señal de datos SI3 a través de una interfaz de datos DS3. Preferentemente, esto puede hacerse a través de una red de datos cableada o inalámbrica. De forma especialmente preferente, la unidad de cálculo R dispone de una interfaz de salida AS para emitir la información KM, VI a través de una unidad de salida AE. La unidad de salida AE es preferentemente una unidad de visualización para una presentación visual de la información anteriormente mencionada.
La Figura 18 muestra un dispositivo de exportación de datos DV según la invención en una realización preferente. El dispositivo de red de datos DV recibe la imagen de fluorescencia FB como señal de datos SI1 a través de una interfaz de datos DS4. El dispositivo de red de datos DV tiene una unidad de computación R descrita anteriormente y una unidad de memoria MEM. La unidad de cálculo R, una unidad de memoria MEM así como la interfaz de datos DS4 están conectadas preferentemente entre sí a través de un bus de datos interno IDB.
La Figura 19 muestra una realización de un producto de programa de ordenador CPP propuesto. El producto de programa de ordenador CPP puede tener su señal de datos SI2 recibida por un ordenador CO a través de una interfaz de datos DSX.
Aunque algunos aspectos se han descrito en el contexto de un dispositivo, se entiende que estos aspectos son también una descripción de los procesos correspondientes, de modo que un bloque o componente de un dispositivo debe entenderse también como una etapa de proceso correspondiente o como una característica de una etapa de proceso. Del mismo modo, los aspectos descritos en relación con o como una etapa del proceso también constituyen una descripción de un bloque o detalle o característica correspondiente de un dispositivo correspondiente.
Dependiendo de los requisitos particulares de implementación, las realizaciones de la invención pueden implementar la unidad de computación R o el dispositivo de red de datos en hardware y/o en software. Una unidad de cálculo R mencionada aquí puede ser implementada como al menos una unidad de cálculo o por varias unidades de cálculo en una red. La implementación puede llevarse a cabo utilizando un medio de almacenamiento digital, por ejemplo un disquete, un Dv D, un disco Blu-Ray, un CD, una ROM, una PROM, una EPROM, una EEPROM o una memoria FLASH, un disco duro o cualquier otra memoria magnética u óptica en la que se almacenen señales de control legibles electrónicamente, que pueden interactuar o cooperar con un componente de hardware programable de tal manera que se lleve a cabo el procedimiento respectivo.
Un componente de hardware programable puede estar formado como unidad de computación por un procesador, un procesador informático (CPU = Unidad Central de Procesamiento), un ordenador, un sistema informático, un circuito integrado de aplicación específica (ASIC), un circuito integrado (IC = Circuito Integrado), un sistema de chip único (SOC = System on Chip), un elemento lógico programable o una matriz de puertas programables en campo con un microprocesador (FPGA = Field Programmable Gate Array).
Por lo tanto, el medio de almacenamiento digital puede ser legible por máquina o por ordenador. Así, algunas realizaciones comprenden un soporte de datos que tiene señales de control electrónicamente legibles capaces de interactuar con un sistema informático programable o un componente de hardware programable de tal manera que se realice cualquiera de los procedimientos descritos en el presente documento.
Generalmente, las realizaciones o porciones de realizaciones de la presente invención pueden implementarse como un programa, firmware, programa de ordenador o producto de programa de ordenador que tiene un código de programa o datos, en el que el código de programa o los datos son efectivos para realizar uno de los procedimientos o una porción de un procedimiento cuando el programa se ejecuta en un procesador o componente de hardware programable.
Resultados
Las Figuras 20 a 23 muestran diferentes resultados experimentales para los diferentes tipos de secciones de órganos, en este caso un riñón de rata y un esófago de mono.
En el caso del ejemplo del riñón de rata, se utilizaron 465 imágenes de fluorescencia para la red de segmentación, es decir, la primera red neuronal, en el curso del entrenamiento. Aquí, el 75% de las 465 imágenes se utilizaron para la denominada retropropagación en el curso del entrenamiento y el 25% de las 465 imágenes se utilizaron como imágenes de validación cuya clasificación por la red se utilizó como medida del ajuste y la generalización del modelo.
En el caso del ejemplo del riñón de rata, se utilizaron 6300 imágenes para la red de clasificación, es decir, la segunda red neuronal, y de nuevo durante el entrenamiento se utilizó una división de las 6300 imágenes de fluorescencia en un 75% como datos de entrenamiento reales para una retropropagación para ajustar los pesos de la red neuronal y un 25% de las 6300 imágenes de fluorescencia para una validación, es decir, para una determinación de una medida de generalización del ajuste del modelo de la red neuronal.
Para el caso del ejemplo del esófago de un mono, se utilizaron 1700 imágenes de manera correspondiente para el entrenamiento de la red de clasificación, es decir, la segunda red neuronal, por lo que también aquí se hizo una división en 75% de las imágenes como datos de entrenamiento para una retropropagación y 25% de las imágenes para una validación.
Para el caso del ejemplo del esófago de un mono, se utilizaron 1200 imágenes para la red de segmentación, es decir, la primera red neuronal, en una fase de entrenamiento, dividiendo de nuevo el 75% de las imágenes en datos de entrenamiento para una retropropogación y el 25% de las imágenes como imágenes de validación.
Se utilizaron diferentes muestras positivas y negativas. Cada muestra se utilizó en tres niveles de dilución diferentes para distintas incubaciones. Así, para cada muestra se generó un conjunto de tres imágenes de fluorescencia respectivas con un nivel de dilución correspondiente. Si para una determinada muestra, al menos para la imagen de fluorescencia del nivel de dilución más bajo (=mayor concentración de la muestra), se detecta la presencia de un determinado patrón mediante el procedimiento según la invención ("Clasificador EPA"), incluso si las otras dos imágenes de fluorescencia de las diluciones más fuertes ^concentraciones más bajas de la muestra) se evalúan como negativas, entonces para la muestra se decide que el determinado patrón está generalmente presente y la muestra se evalúa como positiva. Si, para una muestra dada, se detectaba que un patrón particular no estaba presente en las tres imágenes de fluorescencia de diferentes niveles de dilución mediante el procedimiento según la invención ("clasificador EPA"), entonces el patrón particular se detectaba como generalmente no presente y la muestra se evaluaba como generalmente negativa. Este principio se aplicó a todos los resultados de las Figuras 20 a 23.
La Figura 20a muestra los resultados experimentales de un riñón de rata obtenidos utilizando un aumento de 20x, es decir, un aumento óptico de 20x a través de un objetivo de 20x, y utilizando el instrumento EUROPattern Microscope 1.5.1.
Se detectó correctamente la presencia del patrón LKM según la Figura 20a en 11 de las 12 muestras positivas. En un caso, no se encontró el patrón LKM. En 80 muestras negativas, se decidió correctamente que el patrón LKM no estaba presente en 79 imágenes, en una muestra el patrón LKM se detectó incorrectamente. El resultado es una sensibilidad del 91,67 % y una especificidad del 98,75 %.
La Figura 20b muestra una detección del patrón AMA en el caso de un riñón de rata, también con un aumento de 20x y utilizando el microscopio EUROPattern 1.5.1. Los resultados coinciden en términos de valores numéricos con los de una detección del patrón LKM.
La Figura 21a muestra los resultados de la detección del patrón LKM en un riñón de rata utilizando un aumento óptico de 10x y el Microscopio EUROPattern 1.5.1. En 12 muestras positivas, se encontró el patrón LKM en 11 casos, pero no se detectó el patrón LKM en un caso. En 81 muestras que debían evaluarse como negativas, se decidió correctamente que 80 muestras no presentaban el patrón LKM, mientras que en una muestra se detectó incorrectamente la presencia del patrón LKM. El resultado es una sensibilidad del 91,67 % y una especificidad del 98,77 %.
La Figura 21b muestra los resultados de un riñón de rata también con un aumento óptico de 10x utilizando el microscopio EUROPattern 1.5.1. En 12 casos, el patrón AMA se detectó correctamente en 12 muestras que resultaron positivas. En 81 casos de muestras que resultaron negativas, también se decidió correctamente que el patrón AMA no estaba presente. En este caso, la sensibilidad y la especificidad son del 100 %.
La Figura 22a muestra los resultados en el caso de un riñón de rata y un espécimen LKM para un aumento de 20x utilizando el instrumento EUROPattern Microscope Live. Aquí, en 12 muestras que debían detectarse como positivas, el patrón LKM se detectó correctamente como presente en 11 muestras, mientras que en una muestra no se detectó el patrón LKM. En 80 casos que se decidieron como negativos, se decidió que el patrón LKM no estaba presente en las 80 muestras. En este caso, la sensibilidad es del 91,67 % y la especificidad del 100 %.
La Figura 22b muestra los resultados de la detección del patrón AMA de un riñón de rata con un aumento óptico de 20x utilizando el EUROPattern Microscope Live. En 12 muestras que debían decidirse positivas, se detectó correctamente la presencia del patrón AMA en 11 muestras, mientras que en un caso no se detectó incorrectamente la presencia del patrón AMA. En 80 muestras que debían decidirse como negativas, en 76 casos se decidió correctamente que el patrón AMA no estaba presente, mientras que en 4 muestras se decidió que el patrón AMA estaba presente, lo cual era incorrecto. La sensibilidad es del 91,67 % y la especificidad del 95 %.
La Figura 23a muestra los resultados de la detección del patrón del endomisio en el caso de un esófago de mono utilizando un aumento óptico de 10x y el EUROPattern Microscope 1.5.1. El patrón del endomisio se detectó como presente en las 69 muestras que se determinaron como positivas. Además, en 167 muestras que debían clasificarse como negativas, se decidió en 165 casos que el patrón del endomisio no estaba presente, lo que era correcto. En 2 casos se decidió que el endomisio patrón estaba presente, lo que era incorrecto. La sensibilidad es del 100 % y la especificidad del 98,8 %.
La Figura 23b muestra los resultados obtenidos en el esófago de un mono para la detección de la presencia de endomisio utilizando un aumento óptico de 20x y EUROPattern Microscope Live. Se decidió que el patrón del endomisio estaba presente en 69 muestras para ser clasificado como positivo en los 69 casos. En 167 muestras negativas, se decidió en todos los casos que el patrón del endomisio no estaba presente. La sensibilidad y la especificidad son del 100 %.

Claims (13)

REIVINDICACIONES
1. Un procedimiento para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia y mediante procesamiento de imágenes digitales, que comprende
- proporcionar la sección del órgano en un portaobjetos,
- incubar la sección del órgano con una muestra líquida del paciente que contenga potencialmente anticuerpos primarios,
- incubar la sección del órgano con anticuerpos secundarios marcados con un colorante fluorescente, - adquirir una imagen de fluorescencia (FB, FB1, FB2, FB3) de la sección del órgano en un canal de color correspondiente al colorante fluorescente,
- determinar un área parcial (TF1, TF2, TF3) de la imagen de fluorescencia que sea relevante para una formación del tipo de patrón de fluorescencia segmentando la imagen de fluorescencia (FB, FB1, FB2, FB3) mediante una primera red neuronal (NN1, NN1A),
- determinar una medida de confianza (KM) que indique una presencia real del tipo de patrón de fluorescencia en base a la imagen de fluorescencia (FB, FB1, FB2, FB3) mediante una segunda red neuronal (NN2, NN2A),
- determinar la información de validez (VI) que indica un grado de validez de la medida de confianza (KM) en base a la área parcial previamente determinada,
- generar la medida de confianza (KM) de la presencia real del tipo de patrón de fluorescencia y la información de validez (VI).
2. Procedimiento según la reivindicación 1,
diseñado para detectar las presencias potenciales respectivas de los tipos de patrones de fluorescencia respectivos en una sección de órgano mediante microscopía de inmunofluorescencia y mediante procesamiento de imágenes digitales, que comprende además
- determinar un área parcial (TF1, TF2, TF3) de la imagen de fluorescencia que es potencialmente relevante para una formación de los tipos de patrón de fluorescencia segmentando la imagen de fluorescencia (FB, FB1, FB2, FB3) mediante una primera red neuronal (NN1, NN1A),
- determinar las respectivas medidas de confianza (KM) que indican las respectivas presencias reales de los respectivos tipos de patrones de fluorescencia en base a la imagen de fluorescencia (FB, FB1, FB2, FB3) y preferentemente en base a la información que indica el área parcial mediante una segunda red neuronal (NN2, NN2A),
- determinar la información de validez (VI) que indica un grado de validez de las medidas de confianza (KM) basadas en la área parcial previamente determinada (TF1, TF2, TF3),
- generar al menos un subconjunto de las respectivas medidas de confianza (KM) de las respectivas presencias reales de los respectivos tipos de patrones de fluorescencia y la información de validez (VI).
3. Procedimiento según la reivindicación 1,
que comprende además
- determinar la medida de confianza (KM) en base a la imagen de fluorescencia (FB3) y en base a la imagen de fluorescencia segmentada (SEGA) utilizando la segunda red neuronal (NN2A).
4. Procedimiento según la reivindicación 1,
que comprende además
- determinar la información de validez (VI) determinando una porción de una cobertura plana de la imagen de fluorescencia (FB1, FB2, FB3) por el área parcial (TF1, TF2, TF3) que es potencialmente relevante para una formación de patrones de fluorescencia.
5. Procedimiento según la reivindicación 1,
que comprende además,
- en el caso de que se determine que un tipo de patrón de fluorescencia está realmente presente, determinar un nivel de brillo (HI) del área parcial en la imagen de fluorescencia (FB, FBI, FB2, FB3) que es potencialmente relevante para una formación del tipo de patrón de fluorescencia.
6. Procedimiento de la reivindicación 5,
que comprende además
- estimar un grado máximo de dilución (VG) de la muestra del paciente en el que la incubación de la sección del órgano con la muestra del paciente sigue dando lugar a la presencia de uno de los tipos de patrón de fluorescencia.
7. Procedimiento según la reivindicación 1,
que comprende además
- determinar la medida de confianza (KM) a partir de la imagen de fluorescencia (FB, FB1, FB2, FB3) y a partir de la información que indica el área parcial mediante la segunda red neuronal (NN2, NN2A).
8. Dispositivo (V1) para detectar al menos una presencia potencial de al menos un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia y mediante procesamiento de imágenes digitales, que comprende
- un soporte (H) para un portaobjetos que comprende una sección de órgano (S) incubada con una muestra de paciente que comprende los autoanticuerpos y también con anticuerpos secundarios marcados cada uno con un colorante fluorescente,
- al menos una unidad de adquisición de imágenes (K1, K2) para adquirir una imagen de fluorescencia (SG) de la sección del órgano (S) en un canal de color correspondiente al colorante fluorescente,
y que comprende además al menos una unidad de cálculo (R), diseñada para,
- determinar un área parcial (TF1, TF2, TF3) en la imagen de fluorescencia (FB1, FB2, FB3) que sea relevante para una formación del tipo de patrón de fluorescencia segmentando la imagen de fluorescencia (FB1, FB2, FB3) mediante una primera red neuronal (NN1, NN1A),
- determinar una medida de confianza (KM) que indique una presencia real del tipo de patrón de fluorescencia en base a la imagen de fluorescencia (FB1, FB2, FB3) mediante una segunda red neuronal (NN2, NN2A),
- determinar la información de validez (VI) que indica un grado de validez de la medida de confianza (KM), en base al área parcial (TF1, TF2, TF3),
- y además generar la medida de confianza (KM) de las presencias reales del tipo de patrón de fluorescencia y la información de validez (VI).
9. Unidad de cálculo (R), que, en el curso de un tratamiento digital de imágenes, está diseñada para
- recibir una imagen de fluorescencia (FB1, FB2, FB3) que represente una tinción de una sección de órgano por un colorante fluorescente,
- determinar un área parcial (TF1, TF2, TF3) en la imagen de fluorescencia que sea relevante para una formación del tipo de patrón de fluorescencia segmentando la imagen de fluorescencia (FB1, FB2, FB3) mediante una primera red neuronal (NN1, NN1A),
- determinar una medida de confianza (KM) que indique una presencia real del tipo de patrón de fluorescencia en base a la imagen de fluorescencia (FB1, FB2, FB3) mediante una segunda red neuronal (NN2, NN2A),
- determinar la información de validez (VI) que indica un grado de validez de la medida de confianza (KM), en base al área parcial determinada previamente (TF1, TF2, TF3),
- y además generar la medida de confianza (KM) de la presencia real del tipo de patrón de fluorescencia y la información de validez (VI).
10. Dispositivo de red de datos (DV), que comprende
- al menos una interfaz de datos (DS4) para recibir una imagen de fluorescencia que represente una tinción de una sección de órgano con un colorante fluorescente, y que comprenda además al menos una unidad de cálculo (R) que, en el curso del procesamiento de imágenes digitales, está diseñada para
- determinar un área parcial en la imagen de fluorescencia que sea relevante para una formación del tipo de patrón de fluorescencia segmentando la imagen de fluorescencia mediante una primera red neuronal, - determinar una medida de confianza que indique una presencia real del tipo de patrón de fluorescencia en base a la imagen de fluorescencia utilizando una segunda red neuronal,
- determinar información de validez que indique un grado de validez de la medida de confianza, en base al área parcial previamente determinada,
- y además generar la medida de confianza de la presencia real del tipo de patrón de fluorescencia y la información de validez.
11. Procedimiento para el procesamiento de imágenes digitales
que comprende
- recibir una imagen de fluorescencia que representa una tinción de una sección de órgano (S) por un colorante fluorescente,
- determinar un área parcial en la imagen de fluorescencia que sea relevante para una formación del tipo de patrón de fluorescencia segmentando la imagen de fluorescencia mediante una primera red neuronal, - determinar una medida de confianza que indique una presencia real del tipo de patrón de fluorescencia en base a la imagen de fluorescencia utilizando una segunda red neuronal,
- determinar la información de validez, que indica un grado de validez de la medida de confianza, en base al área parcial determinada previamente,
- generar la medida de confianza de la presencia real del tipo de patrón de fluorescencia y la información de validez.
12. Producto de programa de ordenador (CPP) que comprende instrucciones que, cuando el programa es ejecutado por un ordenador, hacen que el ordenador lleve a cabo el procedimiento de procesamiento de imágenes digitales de la reivindicación 11.
13. Una señal portadora de datos (SI2) que transmite el producto de programa de ordenador (CPP) según la reivindicación 12.
ES20215995T 2020-12-21 2020-12-21 Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia Active ES2942022T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP20215995.0A EP4016081B1 (de) 2020-12-21 2020-12-21 Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie

Publications (1)

Publication Number Publication Date
ES2942022T3 true ES2942022T3 (es) 2023-05-29

Family

ID=73856130

Family Applications (2)

Application Number Title Priority Date Filing Date
ES20215995T Active ES2942022T3 (es) 2020-12-21 2020-12-21 Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia
ES21195352T Active ES2940745T3 (es) 2020-12-21 2021-09-07 Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES21195352T Active ES2940745T3 (es) 2020-12-21 2021-09-07 Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia

Country Status (4)

Country Link
US (2) US12480877B2 (es)
EP (2) EP4016081B1 (es)
CN (2) CN114648761B (es)
ES (2) ES2942022T3 (es)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4016081B1 (de) * 2020-12-21 2023-02-22 Euroimmun Medizinische Labordiagnostika AG Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie
EP4312190A1 (en) * 2022-07-26 2024-01-31 Leica Microsystems CMS GmbH Fluorescence imaging and visualisation
EP4345658B1 (de) * 2022-09-30 2025-08-13 Euroimmun Medizinische Labordiagnostika AG Verfahren und vorrichtung zur detektion einer präsenz eines fluoreszenzmusters auf einem immunfluoreszenzbild eines biologischen zellsubstrats
EP4345775B1 (de) * 2022-09-30 2025-08-06 Euroimmun Medizinische Labordiagnostika AG Verfahren zur detektion wenigstens eines fluoreszenzmusters auf einem immunfluoreszenzbild eines biologischen zellsubstrats
EP4625019A1 (de) 2024-03-26 2025-10-01 Euroimmun Medizinische Labordiagnostika AG Verfahren zur bestimmung eines fokussierungsmasses eines mikroskopbildes

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006027516B4 (de) * 2006-06-09 2021-10-07 Euroimmun Medizinische Labordiagnostika Ag Verfahren zur Optimierung der automatischen Fluoreszenzmustererkennung in der Immundiagnostik
US8160364B2 (en) * 2007-02-16 2012-04-17 Raytheon Company System and method for image registration based on variable region of interest
US20150032671A9 (en) * 2010-07-23 2015-01-29 General Electric Company Systems and methods for selecting and analyzing particles in a biological tissue
EP3718462A4 (en) * 2017-11-28 2021-08-18 Mie University PROOF PROCEDURE
CN107977969B (zh) * 2017-12-11 2020-07-21 北京数字精准医疗科技有限公司 一种内窥镜荧光图像的分割方法、装置及存储介质
EP3712618B1 (de) * 2019-03-18 2023-10-04 Euroimmun Medizinische Labordiagnostika AG Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
EP3767587B1 (de) * 2019-07-19 2024-10-23 Euroimmun Medizinische Labordiagnostika AG Detektion von präsenzen unterschiedlicher antinukleärer antikörper-fluoreszenzmustertypen und vorrichtung hierfür
CN111862195B (zh) * 2020-08-26 2024-04-09 Oppo广东移动通信有限公司 光斑检测方法和装置、终端和存储介质
EP3971827B1 (de) 2020-09-17 2023-12-27 Euroimmun Medizinische Labordiagnostika AG Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
EP4016081B1 (de) * 2020-12-21 2023-02-22 Euroimmun Medizinische Labordiagnostika AG Verfahren und vorrichtung zum detektieren einer präsenz eines fluoreszenzmustertyps auf einem organschnitt mittels immunfluoreszenzmikroskopie

Also Published As

Publication number Publication date
EP4016081B1 (de) 2023-02-22
US20220404283A2 (en) 2022-12-22
US12480877B2 (en) 2025-11-25
EP4016082A1 (de) 2022-06-22
EP4016082B1 (de) 2023-02-22
US12392723B2 (en) 2025-08-19
CN115775223A (zh) 2023-03-10
ES2940745T3 (es) 2023-05-11
US20220196553A1 (en) 2022-06-23
CN114648761B (zh) 2024-06-18
US20230071078A1 (en) 2023-03-09
CN114648761A (zh) 2022-06-21
EP4016081A1 (de) 2022-06-22
CN115775223B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
ES2942022T3 (es) Procedimiento y dispositivo para detectar la presencia de un tipo de patrón de fluorescencia en una sección de órgano mediante microscopía de inmunofluorescencia
EP3712618B1 (de) Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
ES2634715T3 (es) Método y aparato para la identificación automatizada de plaquetas en una muestra de sangre completa a partir de imágenes de microscopio
JP2021526220A (ja) マルチスペクトルサンプル画像化
US9060672B2 (en) Coregistering images of needle biopsies using multiple weighted landmarks
EP3767587B1 (de) Detektion von präsenzen unterschiedlicher antinukleärer antikörper-fluoreszenzmustertypen und vorrichtung hierfür
EP3971827B1 (de) Verfahren zum detektieren einer bindung von antikörpern einer patientenprobe an doppelsträngige dns unter verwendung von crithidia luciliae zellen und fluoreszenzmikroskopie
US11062168B2 (en) Systems and methods of unmixing images with varying acquisition properties
ES3009933T3 (en) Systematic characterization of objects in a biological sample
RU2732895C1 (ru) Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
US10591402B2 (en) Image processing apparatus, image processing method, and image processing program
US20240404303A1 (en) Systems and methods for label-free multi-histochemical virtual staining
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US12209965B2 (en) Method of detecting presences of different antinuclear antibody fluorescence pattern types without counterstaining and apparatus therefor
US11037294B2 (en) Image processing device, image processing method, and computer-readable recording medium
WO2014181024A1 (es) Método implementado por ordenador para reconocimiento y clasificación de células sanguíneas anormales y programas informáticos para llevar a cabo el método
JP6975418B2 (ja) 領域判定方法
EP4345775B1 (de) Verfahren zur detektion wenigstens eines fluoreszenzmusters auf einem immunfluoreszenzbild eines biologischen zellsubstrats
CN121954975A (zh) 样本图像分析仪和样本图像分析方法
CN118351531A (zh) 基于图像传感器和高光谱成像技术的图像识别方法
CN120564182A (zh) 一种细胞检测和捕获方法及装置
Heindl et al. Towards a versatile automated cell-detection system for science and diagnostics
HU231356B1 (hu) Kombinált világos látóterű és fáziskontrasztos mikroszkópiás rendszer, valamint azzal ellátott képfeldolgozó berendezés