ES2338197B2

ES2338197B2 - Sistema automatizado y procedimiento para la obtencion de imagenes totalmente focalizadas con microscopios de elevada magnificacion.

Info

Publication number: ES2338197B2
Application number: ES200801517A
Authority: ES
Inventors: Joaquin Martin Calleja; Fco. Javier Navas Pineda; Moritz Hubert Gunter Kulawiz
Original assignee: Universidad de Cadiz
Current assignee: Universidad de Cadiz
Priority date: 2008-05-23
Filing date: 2008-05-23
Publication date: 2012-10-15
Anticipated expiration: 2028-05-23
Also published as: ES2338197A1; WO2009141467A1

Abstract

Sistema automatizado y procedimiento para la obtención de imágenes totalmente focalizadas con microscopios de elevada magnificación.#La presente invención comprende tanto el procedimiento como la instrumentación para la obtención de imágenes con microscopios de elevada magnificación, enfocadas en todo el rango focal que nos interese, independientemente del objetivo utilizado y manteniendo totalmente estable la cromaticidad del objeto observado.#Para ello se utiliza una metodología que permite obtener imágenes parcialmente focalizadas a diferentes distancias objetivo-objeto para luego extraer la parte focalizada de cada imagen y generar por acumulación, la imagen global del objeto.#Su ventaja consiste en que permite automatizar los microscopios ópticos monoculares, binoculares o trioculares para obtener imágenes ópticas perfectamente focalizadas y con todo el rango cromático.

Description

SISTEMA AlITOMATIZADO y PROCEDIMIENTO PARA LA OBTENCIÓN DE IMÁGENES TOTALMENTE FOCALIZADAS CON MICROSCOPIOS DE ELEVADA MAGNIFICACIÓN.

Sectores de la técnica

G02B2l/00M4A7F, G02B2l/00M4A7

Generalidades

La utilización de un microscopio óptico de elevada magnificación para la realización de micrografías de objetos tridimensionales presenta enormes problemas generados por la escasa profundidad de foco que es posible obtener en el rango de la radiación visible, es decir en el rango de la radiación electromagnética que va de los 370 nanómetros a los 770 nanómetros. En concreto y a modo de ejemplo, mediante un objetivo de 10X (10 aumentos), la profundidad de foco (también llamada DOF del inglés Depth Of Field) tiene un valor aproximado de 6 micrómetros. Esto implica que no será factible la observación focalizada de una muestra que presente rugosidades superficiales con desniveles a lo largo del eje óptico y dentro del campo de observación superiores a 6 micrómetros. Este valor del DOF varía con el cuadrado de la distancia focal por lo que la utilización de objetivos de mayores magnificaciones (menores distancias focales), conlleva una drástica disminución de la profundidad de foco o DOF, de forma que cuanto mayor sea la magnificación tanto mayores serán los requerimientos de planitud en las muestras para su correcta observación focalizada.

La metodología y la instrumentación que aquí se propone consigue salvar esta barrera ya que permite la obtención de imágenes enfocadas en todo el rango focal que nos interese, independientemente del objetivo utilizado y manteniendo totalmente estable la cromaticidad del objeto observado.

Estado de la técnica

Existen algunos sistemas y diseños experimentales que abordan de forma parcial esta problemática tanto en el campo de la microfotografía (imágenes obtenidas a través de un microscopio), como en el de la macrofotografía (fotografía clásica pero utilizando lentes especiales para la fotografía de pequeños objetos).

Algunos de estos sistemas son únicamente aplicables a la obtención de imágenes convencionales, no digitalizadas, que permiten la obtención de imágenes cromáticas de objetos con dimensiones centimétricas. En este caso se encuentra el sistema que utiliza como sistema de iluminación un proyector de luz especialmente adaptado para emitir un plano de luz perpendicular al eje óptico formado por el sistema de observación y el objeto a observar y situado justo a la distancia de focalización del objetivo de forma que sólo están iluminadas las partes del objeto que se encuentran a la distancia de focalización. Para conseguir obtener una imagen focalizada del objeto es preciso efectuar múltiples exposiciones sobre el mismo fotograma sincronizadas con el desplazamiento del objeto a fotografiar a lo largo del eje óptico definido por la cámara. Este sistema presenta severas complicaciones de uso por la necesidad de eliminar vibraciones o movimientos indeseados tanto de la cámara como del objeto así como de la iluminación secundaria de las partes del objeto fuera del plano de iluminación debidas a las reflexiones generadas por las zonas iluminadas y por la difracción de la luz generadas en los elementos limitantes del proyector usados para definir el plano de iluminación. Un ejemplo de este tipo de sistemas es posible encontrar en la patente "Method of and apparatus for the expansion of the range of the depth of focus beyond the limit given by conventional images" (patente nO U54,141,032, ), en el que las imágenes obtenidas de forma convencional son mostradas en un monitor una vez que se le han aplicado filtros para eliminar las zonas no focal izadas de las imágenes obtenidas en cada exposición al sistema de captura de imágenes.

En el caso de la fotografía digital y aplicado a la microfotOgrafí~no_~e los sistemas más exitosos es el de los microscopios confocales. El microscopio ~ocatx',s un microscopio óptico que utiliza como fuente de iluminación un láser altamente foc~izado e incorpora dos diafragmas: (a) un diafragma o pinhole (en terminología inglesa) de iluminación que se encuentra localizado tras la fuente luminosa, cuya utilidad es delimitar la iluminación del objeto a un ~opunto justo en el punto de focalización y (b) un diafragma o pinhole de detección Si~~Odelante del fotodetector cuya utilidad es restringir la captación de luz únicamente a aquella proveniente del punto del objeto situado justo en el punto de iluminación correspondiente al punto focal delimitado por el diafragma de iluminación. Dado que tanto la iluminación como la observación están restringidas a un único punto, la generación de una imagen del objeto a fotografiar implica recorrer toda la superficie del mismo en las tres direcciones del espacio mediante un desplazamiento micrométrico del objeto a fotografiar según una secuencia de planos a diferentes distancias del objetivo, detectando en cada plano únicamente los puntos situados en el punto focal. Las imágenes así obtenidas son muy nítidas pero monocromáticas ya que el sistema utiliza como fuente de iluminación un láser altamente monocromático. Este es un problema de gran importancia de la microscopia confocal y de hecho se han estudiado diversas técnicas para obtener una solución que mejore la calidad de las imágenes obtenidas. Una de las opciones más utilizadas es el uso de reactivos fluorescentes (fluorocromos) para resaltar zonas de interés de la imagen. Los fluorocromos son sustancias que tienen la propiedad de emitir luz de una longitud de onda deteI1Jl~da cuando son iluminados con una radiación de una longitud de onda característica. AÜry así, el uso de fluorocromos en microscopia presenta diversos problemas, como son (b1) la pérdida de fluorescencia debido a las grandes iFlte~ades de luz empleadas, p~r lo que l~ muestra~ estudiadas con ~s~~ técnica no pue~~yadas durante largos penodo de tlempo debido a la desapanclon de la fluorescencia, proceso denominado "fluorescence fading" y (b2) la imagen obtenida no representa a la cromaticidad real del objeto sino a la cromaticidad del fluorocromo superpuesta a la correspondiente a la de la radiación láser. Por tanto, el problema de obtener imágenes policromáticas utilizando esta técnica no queda resuelto, lo que limita su uso. A pesar de ello, no es raro encontrar artículos científicos en diversos campos de la ciencia, sobre todo en los campos de la biología, la geología y la ciencia de los materiales, en los que el empleo de la microscopía confocal está muy extendido. Como ejemplo, podemos citar las siguientes referencias bibliográficas:

1. "Viscoelastic properties of high pressure and heat induced tofu gels", Saowapark,

S. et al, Food Chemistry, Vol. 107 (2008).

2.: "Laser scanning confocal arthroscopy of a fresh cadaveric knee joint", Jones, C.W. Et al, Osteorarthritis and Cartilage, Vol. 15 (2007).

3.: "Betanin a betacyanin pigment purified from fruits of Opuntia ficus-indica induces apoptosis in human chronic myeloid leukemia Cellline-K562", Sreekanth, D. et al, Phytomedicine, Vol. 14 (2007).

4.: "A triphasic ceramic-coated porous nydroxyapatite for tissue engineering application", Acta Biomaterialia, Vol. 4 (2008).

Podemos observar en estas referencias el uso de microscopia confocal para la obtención de imágenes focalizadas. La actualidad de los trabajos citados indica la necesidad de contar con un sistema que proporcione imágenes focal izadas más allá del límite impuesto por la focalización con lentes convexas y, por tanto, el sistema que aquí presentamos y que es objeto de la patente de invención será de gran utilidad en muchos campos científicos.

Además, de estas referencias que nos muestra que el problema que conseguimos resolver con el sistema y procedimiento que presentamos en esta patente es de gran importancia en la investigación actual, también podemos observar en la bibliografía de patentes de las últimas décadas la presencia de varios sistemas que intentan resolver este mismo problema, con lo que se redunda en la idea de que el sistema que en este documento presentamos puede ser un avance de gran interés. Todos estos sistemas aportan unas mejoras con respecto a la microscopia óptica clásica, pero no resuelven en toda su extensión el problema, y presentan ciertas deficiencias que nuestro sistema supera. A continuación, se exponen algunos sistemas que podemos encontrar en la bibliografía, y se comparan con el que aquí se presenta:

1.: Patente nO GB 2 385 481 A: "Automated microscopy at a plurality of depth of focus through the thickness of a sample". (Fecha: ). Este sistema permite obtener múltiples imágenes de un objeto en función del grosor de la misma y de la lente objetivo utilizada para obtener imágenes de todas las partes del objeto focalizadas, pero para documentar el objeto es necesario un conjunto de imágenes muy amplio, y en muchas de ellas la zona de interés o zona focal izada puede ser muy pequeña y aportar poca información. Este sistema no permite obtener de forma completamente automatizada una imagen del objeto focalizada en toda su extensión, pues no se aplica ningún algoritmo que sea capaz de discernir cual es la zona focal izada de cada imagen obtenida y con posterioridad unir todas estas zonas para obtener una única imagen del objeto que nos lo definirá en toda su extensión. Nuestro sistema incorpora un algOritmo que sí es capaz de lograr este objetivo.

2.: Patente nO WO 98/57211: "Optical system having an unlimited depth of focus". (Fecha: ). En esta patente se describe un sistema compuesto por un sistema de lentes que genera una profundidad de campo mayor que las lentes convencionales, y que gracias a dicho conjunto de lentes y a un movimiento controlado y muy veloz de las mismas genera en el observador una sensación de imagen focalizada en una profundidad de campo mayor que las lentes convencionales. Obviamente, la restricción de este sistema es que la imagen que ve el observador es una sensación y no es capturada por ningún sistema, por lo que este sistema no es comparable al que en este documento se presenta.

3.: Patente nO US4661986: "Depth-of-focus imaging process method". (Fecha: 28-041987). En esta patente se presenta un sistema que permite obtener imágenes a diferentes distancias objeto-lente objetivo y que posteriormente trata estas imágenes para obtener una imagen lo más focalizada del objeto. El tratamiento de estas imágenes se desarrolla por medio de un método denominado Piramide de Burt, que es un método basado en la correlación de regiones, a las que se les aplica un operador tipo laplaciano. La limitación de este tipo de métodos es que se desarrolla el análisis sobre regiones de las muestras, pues su principal utilidad reside en el campo de estudios de movimientos, por lo que no llegan al nivel de resolución que el sistema que presentamos en esta patente. El sistema que exponemos en este documento permite obtener imágenes desplazadas una de la siguiente una distancia menor que la profundidad de foco de la lente objetivo utilizada y después realiza un análisis de todas las imágenes capturadas pixel a pixel, lo que permite obtener una imagen final en donde es posible visualizar el objeto focalizado en toda su extensión.

Salvo los sistemas descritos anteriormente, no comparables al que aquí se presenta, no conocemos ningún otro sistema que permita la obtención de microfotografías bien focalizadas de objetos que presenten en su superficie una variación de niveles mayor que la correspondiente a la profundidad de foco del objetivo utilizado, manteniendo además totalmente estable la cromaticidad del objeto observado, condición ésta que, tal y como hemos explicado, no es fácil de obtener utilizando las técnicas descritas anteriormente, y que aporta un valor añadido al sistema que en esta patente se presenta.

Descripción de la Invención.

Introducción

La profundidad de foco con que es posible observar un objeto tridimensional mediante un microscopio compuesto es una propiedad que depende de la magnificación de la lente usada como objetivo, siendo prácticamente independiente de las características del ocular para el caso de una observación directa o de las lentes de conversión en el caso de una observación mediante un dispositivo de registro de imágenes, bien sea digital o analógico. Además, aunque existen en el mercado diversos tipos y calidades de objetivos de microscopio, prácticamente todos ellos presentan unas características ópticas fijas de forma que existe una correlación entre el valor de la magnificación del objetivo y la magnitud denominada Número de Apertura (NA), ésta última relacionada con el valor del ángulo del cono de focalización del objetivo (figura 1) y calculable a través de la expresión

NA=n*sen(u)

donde n es el índice de refracción del medio en el que se efectúa la observación y u es el valor del semiángulo plano del cono focal de la lente. Los valores que toma el Número de Apertura para las magnificaciones más habituales de los objetivos de microscopio son:

NA = 0.1 para un objetivo de 4X NA = 0.25 para un objetivo de 10X NA = 0.40 para un objetivo de 20X NA = 0.65 para un objetivo de 40X NA = 0.85 para un objetivo de 60X, NA = 1.05 para un objetivo de 80X NA = 1.25 para un objetivo de 100X

A partir del valor del Número de Apertura se pueden conocer las características de

focalización de la lente objetivo tanto en lo que se refiere al tamaño mínimo de partícula que se puede observar, denominado habitualmente como resolución espacial, como en lo que se refiere al valor del DOF. Así, la resolución se define como

donde Do es el diámetro mínimo de luz en el foco o resolución, 1[ es el número pi, n es el índice de refracción del medio de observación y A es la longitud de onda de la radiación utilizada como referencia, cuyo valor es de 550 nanómetros, ya que es aquella a la que el 10 ojo humano presenta la máxima sensibilidad y también es la de mayor intensidad en el espectro de irradiación solar. Este valor de Do se utiliza también para la definición del DOF, siendo ésta la distancia hacia adelante y hacia atrás desde el punto focal de la lente objetivo y a lo largo del eje óptico de focalización, entre la cual el valor del área del punto focal no es mayor que dos veces el área en el foco (figura 1). Esta distancia DOF se puede

15 calcular a través de la expresión matemática

donde todos los términos han sido previamente definidos. Utilizando esta expresión se

20 pueden calcular los valores de profundidad de foco que presentan los objetivos más usuales:

Objetivo de 4X ~DOF de 35 micrómetros. Objetivo de lOX ~DOF de 5.6 micrómetros. Objetivo de 20X ~DOF de 2.19 micrómetros. Objetivo de 40X ~DOF de 0.83 micrómetros. Objetivo de 60X ~DOF de 0.48 micrómetros. Objetivo de 80X ~DOF de 0.32 micrómetros. Objetivo de 100X ~DOF de 0.22 micrómetros.

En definitiva, esto significa que, por ejemplo, si se observa con un objetivo de 40X, que presenta una profundidad de foco, DOF, de 0.83 micrómetros, un objeto tridimensional que tenga irregularidades superficiales mayores en tamaño que el valor indicado para la profundidad de foco, sólo podrá ser visible de forma bien focal izada una franja del objeto de espesor equivalente al valor del DOF, situada a cualquier altura del objeto, pero sólo de dicho espesor.

Por otra parte, si se representan los datos de DOF frente a la magnificación es posible encontrar una relación entre ambas magnitudes, que nos permite definir una función genérica para cualquier lente objetivo, lo que nos posibilita poder obtener la distancia máxima de separación entre dos imágenes a capturar por el sistema. Hemos ajustado los datos teóricos a diversas funciones matemáticas encontrando que la que ofrece un mejor ajuste para dichos datos es una función exponencial decreciente de segundo orden, tal y como es posible observar en la figura 2. La función exponencial de segundo orden es

-: +A1 (-xltI)+A2 (-x'lt2)

Y-Yo e e,

donde las variables x e y son la magnificación y DOF, respectivamente y las constantes toman los valores: Yo=O ; Al = 166,433; t1 = 2,385; A2 =4,530; t2=26,070 Y R2= 0,99995

que nos da una idea del buen ajuste entre los datos teóricos y la función definida.

En nuestro sistema las imágenes se espaciarán el valor de DOF que se obtiene multiplicando éste por un factor que oscila entre 0.7 y 0.9 para que exista un solapamiento entre una imagen y la siguiente. Así pues, hemos diseñado el sistema con la característica de que sea capaz de obtener imágenes espaciadas entre ellas, según el eje óptico de observación, una distancia menor que el valor de DOF de la lente objetivo utilizada.

En la figura 3 se muestran dos conjuntos de imágenes, en uno de ellos (figuras 3a) se observa un ejemplo de doce imágenes en las que, desplazando el objeto a lo largo del eje óptico del objetivo, es posible obtener imágenes en los que la franja de focalización se vaya desplazando a lo largo del objeto por lo que, una extracción de la parte focalizada de cada una de ellas y sumando estas franjas entre sí, conducirá a una imagen plenamente focalizada a pesar de que el objeto muestra desniveles superficiales mayores que la profundidad de foco del objetivo utilizado. Las imágenes de la figura 3b serían las imágenes de las franjas que están focal izadas en cada una de las doce imágenes originales. En la figura 4, se observa la imagen que se obtiene como suma de las doce imágenes de la figura 3b, es decir la imagen completamente focalizada obtenida a partir de las doce imágenes de la figura 3a.

Descripción del procedimiento

El objetivo de la presente invención es la obtención de imágenes focalizadas en un rango superior al meramente definido por la profundidad de campo mediante: (a) adquisición de un conjunto de imágenes focalizadas, a diferentes distancias lente objetiv%bjeto, con una variación de dicha distancia objetiv%bjeto no superior a la definida por el valor del DOF del objetivo utilizado, (b) extracción, para cada imagen, de la parte focalizada mediante un adecuado tratamiento informático de los datos que componen la imagen y la aplicación de un algoritmo matemático basado en la maximización de la varianza de cada punto respecto a los de su entorno más próximo y (c) composición de una nueva imagen completa del objeto como suma de las partes focalizadas extraídas de cada imagen.

Para alcanzar esta meta, el dispositivo utilizado consta de diversos componentes que se describen a continuación (figura 5):

(1) Subsistema de captura de imágenes Se compone de: (la) Microscopio óptico El microscopio debe poseer la capacidad de enviar la imagen observada por el objetivo (la1) a un dispositivo de captura de imágenes (lb). Dado que el objeto a observar es tridimensional y se supone opaco, el microscopio a usar debe poseer algún tipo de sistema de iluminación azimutal, bien sea de tipo intraocular (1a2) o bien extraocular (la3), pudiendo ser en este último caso con o sin simetría axial.

(lb) Elemento para la captura de imágenes El procedimiento que se describirá más adelante para la generación de micrografías de amplia focalización trabaja con imágenes digitalizadas, por lo que el elemento para su

5 captura puede ser un sistema digital de adquisición de imágenes acoplado al microscopio (la) o un sistema de adquisición de imágenes no digital (película, placa, etc), debiéndose en este caso, efectuar una posterior digitalización de las imágenes obtenidas.

(2) Subsistema de modificación de la distancia objeto/lente objetivo

lOSe dispone de un sistema de traslación a lo largo del eje óptico del microscopio que permita posicionar el objeto a diferentes distancias de la lente objetivo. Esta capacidad de desplazamiento tiene que ser compatible con las resoluciones derivadas de los valores indicados de profundidad de campo, es decir que para trabajar con lentes de lOOX el sistema debe ser capaz de avanzar en pasos no mayores de 0.22 micrómetros. Este

15 sistema se compone de: (2a) elemento de movimiento de alta precisión capaz de cumplir con el condicionante anteriormente expuesto, (2b) soportes necesarios para el elemento de movimiento de alta precisión, (2c) conexionado eléctrico necesario con el subsistema informatizado de control (3) y (2d) acoplamientos necesarios para que la aplicación del movimiento desde el elemento de movimiento de alta precisión (2a) hasta el objeto sea

20 óptimo.

(3) Subsistema informatizado de control y tratamiento de imágenes El subsistema informátizado de control y tratamiento de imágenes (3) consiste en un ordenador (3a) capaz de procesar la información contenida en las imágenes adquiridas, y

25 un elemento compuesto por sentencias organizadas según un criterio lógico de operación (3b) que permite el tratamiento de las imágenes adquiridas para la obtención de micrografías de amplia focalización. El equipamiento utiliza para obtener el resultado buscado de una imagen bien focalizada en un amplio rango de profundidades, un conjunto de imágenes que hayan sido obtenidas a diferentes distancias objeto/lente

30 objetivo.

El subsistema informatizado de control y tratamiento de imágenes (3) se basa principalmente en un algoritmo matemático que permite obtener de cada imagen capturada la zona de la misma que está focalizada. El algoritmo está basado en la determinación de la varianza de un conjunto perimetral de puntos respecto al punto analizado, pudiendo ser definido por el usuario el espesor de dicho perímetro. Este algoritmo se completa con las rutinas lógicas necesarias para que a partir de las zonas focalizadas de cada imagen capturada sea posible obtener una nueva imagen del objeto en toda la extensión de estudio y completamente focalizada.

De esta forma, es el elemento de tratamiento de imágenes el componente principal del sistema que aquí se presenta y que permite obtener imágenes focalizadas en un amplio rango de profundidades con las características descritas en este documento y que mejoran en gran medida a los sistemas que existen actualmente.

Modo de trabajo de la 'nvenclón.

El modo de trabajo del sistema que aquí se presenta se puede resumir en los pasos que a continuación se detallan.

En primer lugar, una vez colocado el objeto a estudiar en el portamuestras del microscopio (la), se elige el objetivo a utilizar en función del estudio que se desea desarrollar, que poseerá una determinada profundidad de campo en función de su magnificación, tal y como se ha expuesto anteriormente. El valor de la profundidad de campo establecerá los valores del desplazamiento que sufrirá el objeto entre cada una de las imágenes que se adquirirán, y por tanto los valores en que variará la distancia objeto/lente objetivo entre cada imagen capturada, que deberá ser igual o menor que la profundidad de campo. Tomándose un origen de coordenadas para la adquisición de imágenes en el objeto y en función de su morfología en la superficie de estudio (es decir, de la profundidad del objeto que es necesario observar), y del valor de profundidad de campo, el subsistema informatizado de control y tratamiento de imágenes (3) establecerá el número de desplazamientos del objeto y por tanto el número óptimo de imágenes que se deben capturar, utilizando la expresión obtenida anteriormente que relaciona la DOF con la magnificación y aplicando un factor, tal y como se expuso con anterioridad, para que se produzca un cierto solapamiento entre una imagen y la siguiente.

En segundo lugar, una vez determinados estos parámetros, el subsistema informatizado de control y tratamiento de imágenes (3) comenzará el proceso de toma de imágenes, controlando que el sistema de modificación de la distancia objeto/lente objetivo (2) produzca el desplazamiento del objeto hasta situarlo en una posición adecuada para la toma de imágenes. En esta situación, el elemento para la captura de imágenes (lb), adquirirá una imagen que tendrá focalizada una parte del objeto. Esta adquisición puede desarrollarse de forma automática a través del subsistema informátizado de control y tratamiento de imágenes (3) y utilizando un elemento de captura de imágenes automatizado, o bien de forma manual si se utiliza un dispositivo que desarrolle su función de esta forma. En este caso, las imágenes deberán ser transferidas al sistema informatizado y digitalizadas en caso de ser necesario.

El proceso de posicionamiento del objeto en la posición de captura de imágenes y la adquisición de una imagen se repite tantas veces como sea necesario para poder abarcar toda la profundidad del objeto. El desplazamiento que sufrirá éste en cada paso será menor que la profundidad de campo que presente la lente objetivo utilizada, asegurándose de esta forma que el elemento para la captura de imágenes (lb) adquiera tantas como sean necesarias para abarcar todo el objeto.

Por último, una vez adquiridas todas las imágenes necesarias, y transferidas, bien de forma automática o manual, al subsistema informatizado de control y tratamiento de imágenes (3), éste aplicará un procedimiento para obtener una sola imagen en la que todas las partes del objeto estén focalizadas. Este procedimiento es capaz de discernir las zonas focalizadas de las que no lo están dentro de una imagen cualquiera, es decir, se determinará en primer lugar cuales son las zonas del objeto focalizadas en cada una de las imágenes capturadas, y posteriormente se compondrá una imagen global del objeto formada por la superposición de las zonas focalizadas anteriormente determinadas.

De esta forma podemos resumir el procedimiento que desarrolla el elemento de tratamiento de las imágenes (3b) para la generación de imágenes focal izadas a partir del conjunto de imágenes capturadas en los siguientes pasos:

1.: Se parte de un conjunto de N capas, que denominamos "imacapas", de i*j elementos de señal RGB-HSL, que en conjunto forman una matriz tridimensional de datos. Cada "imacapa" se corresponde con los datos númericos de señal RGBHSL de la imagen proporcionada por el dispositivo de observación (microscopio) y que ha sido capturada mediante el elemento de captura de imágenes (lb), de forma que entre cada imagen existe un desplazamiento k entre el objeto y la lente objetivo. Este desplazamiento deberá ser menor que la profundidad de foco del objetivo utilizado para la observación y obtenido al multiplicar el valor de DOF por un coeficiente en el rango O.7:s;Coef:s;O.9.

2.: A continuación, cada una de las "n" "imacapas" se descompone en sus componentes primarios R, G, B, H, S Y L, generando las subcapas de datos nR, nG, nB, nH, nS y nL. A partir de estas subcapas se compone una nueva capa de datos obtenidos mediante la suma:

uR *nR +uG *nG +uB *nB+ uH*nH +uS *nS +uL *nL,

donde los elementos uR... uL son unos coeficientes que toman el valor O o 1 en función de cuales son las subcapas con las que se va a efectuar el análisis posterior. Cada una de las nuevas capas de datos formada se denomina "anacapa".

3. Para cada una de las "n" "anacapas" se efectúa un proceso de cálculo que consiste en la extracción consecutiva y organizada por filas y columnas de submatrices de datos de dimensiones (v,v), siendo v un numero impar comprendido entre 3 y 9, el cual será fijado con anterioridad, y será además constante durante todo el proceso. Para el conjunto de datos existente en cada una de las submatrices indicadas se calcula la varianza, definida como

n x. siendo xi cada uno de los datos de la submatriz, Ji = L-.!.. Y w= (n -1 ) .

i=l n

El conjunto de los valores de la varianza generados para cada una de las "anacapas" y organizado por filas y columnas conforma una nueva matriz de datos que se denomina "varcapa", obteniéndose un total de "n" "varcapas". Cada una de las "varcapas" tendrá como dimensiones ({ i-v},{j-v}) y será una representación de la evolución de la similitud de los datos que definen una imagen a lo largo y ancho de capa "imacapa".

4.: Del conjunto total de "varcapas" se extrae el vector formado por los elementos (0,0) de cada "varcapa", siendo por lo tanto un vector de "n" datos, tantos como capas existan. Como cada uno de los datos del vector aquí considerado se corresponde con la varianza de una matriz de (v,v) elementos, se considera que el dato de la "imacapa" k que presenta el máximo valor de varianza se corresponde con el de la imagen focalizada. Este proceso se repite de forma consecutiva y organizada a todos los ({i-v},{j-v}) datos que conforman las diferentes "varcapas".

5.: En el caso de que todos los valores del vector (i,j) de "varcapas" sean iguales o su variabilidad sea inferior a un determinado límite, entonces no es posible determinar con precisión cual es la capa de mejor focaJización para dicha posición (i,j). En dicho caso, se escoge el dato de la "imacapa" que presente la mejor focalización global, determinada ésta por la "anacapa" que presente la máxima varianza global.

6.: Una vez determinada cual es la capa de mayor focalización para cada posición, se conforma la imagen enfocada en toda la extensión del objeto con los valores originales RGB-HSL en la capa de mejor focalización para cada posición.

Por otra parte, otro aspecto de vital importancia del sistema y procedimiento que aquí se exponen es que no modifica la cromaticidad del objeto a estudiar debido a que trata con datos numéricos de los colores que componen la imagen sin interaccionar con el sistema de iluminación o de detección en ningún momento. De esta forma, este sistema actúa como un microscopio que fuese capaz de observar en una profundidad de campo elegible por el usuario del mismo, constituyendo así un gran avance en el campo de la microscopia óptica en particular, y de la microscopia en general.

Descripción de las figuras.

Figura 1. Esquema en el que se definen el número de apertura y la profundidad de campo desde un punto de vista geométrico.

Figura 2. Representación de los valores teóricos de DOF frente a la magnificación y del ajuste de esos datos a una función exponencial decreciente de 2° orden.

Figura 3a. Ejemplo de doce imágenes de un mismo objeto en el que se ha variado la distancia lente objetiv%bjeto a través del eje óptico en las que se observa diferentes zonas focalizadas dentro del objeto en cada una de ellas.

Figura 3b. En estas imágenes se observa la zona focalizada de cada una de las doce imágenes mostradas en la figura 3a.

Figura 4. Imagen obtenida como suma de las doce imágenes mostradas en la figura 3b.

Figura 5. Esquema general del sistema automatizado para la obtención de imágenes totalmente focal izadas con microscopios de elevada magnificación, en donde se observan los siguientes componentes del mismo:

(l) Subsistema de captura de imágenes.

5 (la) Microscopio óptico. (lal) Lentes objetivo. (1a2) Sistema de iluminación.

(lb) Elemento para la captura de imágenes.

(2)Subsistema de modificación de la distancia objeto/lente objetivo.

10 (2a) Sistema de movimiento de alta precisión. (2b) Soportes del sistema de movimiento. (2c) Conexionado del sistema de movimiento. (2d) Acoplamientos.

(3) Subsistema informatizado de control y tratamiento de imágenes.

15 (3a) Ordenador. (3b) Software de control y tratamiento de imágenes.

Claims

REIVINDICACIONES

1. Procedimiento para la obtención de imágenes totalmente focal izadas con microscopios de elevada magnificación, basado en la extracción y apilamiento de la parte focal izada de un conjunto de imágenes secuenciales capturadas digitalmente y parcialmente focal izadas, mediante la aplicación de un algoritmo que contempla la varianza matemática en los valores cromáticos de cada píxel de cada imagen parcialmente focalizada y con la condición de que el desplazamiento objetivo-objeto entre cada dos imágenes consecutivas será inferior a la profundidad de foco de la lente objetivo, caracterizado porque:

• Calcula el desplazamiento máximo de la distancia objetivo-objeto entre cada par de imágenes consecutivas:

a) Determinando cual es la profundidad de foco de la lente objetivo utilizada en la observación mediante la fórmula matemática DOF= 166.433*EXP[-X/2.385) +4.530*EXP[-(X2)/26.070), siendo X el factor de aumento del objetivo y la distancia DOF se obtiene en micras.

b) Multiplicando el valor obtenido para DOF por 0.95, siendo el resultado el valor máximo de desplazamiento objetivo-objeto que debe existir entre cada dos imágenes consecutivas parcialmente focal izadas.

• Extrae la parte focalizada de cada imagen parcialmente focal izada

c) Descomponiendo cada imagen digital parcialmente focal izada en sus componentes RGB (Red, Green y Blue).

d) Descomponiendo cada imagen digital parcialmente focalizada en sus componentes HSL (Hue, Saturation y Luminance).

e) Obteniendo una nueva imagen como suma de las componentes R, G, B, H, S Y L obtenidos según se indica en los apartados c y d, multiplicando cada componente por un factor de peso estadístico comprendido en el rango 0-1.

f) Determinando, para la imagen obtenida según el apartado e, los píxeles que cumplen el criterio de focalización, expresado éste en función del valor estadístico de la varianza de cada uno de los píxeles de la imagen y los de su entorno perimetral, respecto a un determinado límite.

g) Extrayendo de cada imagen parcialmente focal izada los píxeles que han superado el criterio de focalización expresado en el punto f, que por sustitución de los mismos en una imagen negra de referencia, genera la imagen final prefocalizada.

h) Determinando cual de las imágenes parcialmente focal izada presenta la máxima focalización mediante la maximización del valor de la varianza global de cada imagen, calculando dicho valor mediante la aplicación de alguno de los siguientes criterios:

•

El criterio expuesto en el punto f referido al punto central de la imagen y usando como entorno perimetral todos los píxeles de la imagen.

•

La suma de los valores de varianza obtenida para cada uno de los píxeles de la imagen según lo expuesto en el punto f y usando como entorno perimetral los 8 píxeles más próximos al píxel considerado.

•

La suma de los valores de varianza obtenida para cada uno de los píxeles de la imagen según lo expuesto ,en el punto f y usando como entorno perimetral un número de píxeles a determinar por el usuario.

i) Rellenando los píxeles que un estuviesen cubiertos en la imagen final prefocalizada obtenida según se expresa en el apartado g, con los píxeles equivalentes de la imagen parcialmente focal izada de mejor focalización determinada según el criterio expuesto en el punto h.

• Permite al usuario modificar determinadas variables de contorno para conformar una imagen, a partir de los píxeles que presenten mejor focalización de cada una de las imágenes parCialmente focal izadas, entre las que se incluyen:

•

El peso estadístico de cada una de las componentes R, G, B, H, S Y L de las imágenes parcialmente focalizadas.

•

La amplitud del número de capas perimetrales que se emplea para determinar la varianza característica de cada píxel.

•

El valor umbral que determina cuando la varianza es tal que el píxel debe ser considerado como píxel focalizado.

Figura 1

35 30

Ajuste exponencial decreciente de 2° orden

.-

E ::t 20 u..

O

O

Datos teóricos

o

O 20 40 60 80 100

Magnificadón

Figura 2

"

.

.. -_-e

-

,

...

,..-, ' ,

/ ""."...

1/ ,,'

">~.:

(( // ...

\ ......

~ . " .

'.,-.

" " ,.

/' j;-'.'. ~ ~.J ,,' ,/ , ~":,

.' "

>-,'~\

"'\' " .,

......

........ ;'
-

. ~... -.

-

,' '"

~ .. ."..

'" ,'\, ",:

~ \, ;.; " r

.~ ...

\,

,-, , . ".i~.;¡ ........

.,h..

r·

• ,'. ','J'

, ,L ',' ..,

·,·' ... r.

,liLo. '.:i', ",..;.'

"

',: 1;",'

.'1""., ,'l'

• ',..,.j :1',1 ~

''¡ ,

....

'.

~ :'1.\

, ,~, \ ~ "!

• 1.,.

......a·.

-

~--:-.:...:...

--

,"'

1I -~.

,.1 ....

. \ " I

,~~\' \

p,

"'1"

"~

Figura 3a Figura3b

\... '\ .,....'~.

, '..... ~>~.f"':... ~.... -.~~.-...

.t~~\.>~:· f. '" ,.r~''''·

• -~ 1 ,~

_._--------_.~,:~\ ,

. ¡:: .... :::::':J., \. "r;:; -.. t

_-_-.;,."':;:;--~ l~.

,,' ;:: ......

r~:'--. . --, .".

",-,,, --" \.

,"!r '---., "'1 ~ t -__ ''to.

'___ ••;---...... " o

< :;..._.

.,..:.",,',"'_' __ ... _'l.,"'

..

.".. '\

.r j

r;~ ;...,;;.: .::,-:,:,-, , ,

.:*

"---.-;" / .

,.' .

" ...

". .

, . .-.....

/' .a:-" \ ~( ...

, rI~ \"',' r~ .",.-';:.~

"

-

{"

l'

'-.

...---. '\

Figura3a Figura3b

Figura 4 Figura 5

OFICINA ESPAÑOLA DE PATENTES Y MARCAS

@ N.O solicitud: 200801517 ESPAÑA

@ Fecha de presentación de la solicitud: 23.05.2008 @ Fecha de prioridad:

INFORME SOBRE EL ESTADO DE LA TECNICA

@ Int.CI.: G02B 21/00 (2006.01) G06T 5/50 (2006.01)

DOCUMENTOS RELEVANTES

® Documentos citados

X "US 20060038144 A1 (MADDISON, J.) 23.02.2006, resumen; párrafos [0008]-[0010],[0026]-[0037]; figuras 1-3.

Categoría

A .,/

US 20020181762 A1 (SILBER, A.) 05.12.2002, todo el documento.

A / US 4661986 A (ADELSON, E.) 28.04.1987, todo el documento.

A ) EP 1336888 A1 (FAIRFIELD IMAGING Ud.) 20.08.2003, todo el documento.

Reivindicaciones afectadas

1-11, 13-15,18, 19

1-11, 13-15,18, 19

1-11, 13-15,18, 19

1-11, 13-15,18, 19

Categoría de los documentos citados

X: de particular relevancia

o: referido a divulgación no escrita

Y: de particular relevancia combinado con otro/s de la

P: publicado entre la fecha de prioridad y la de presentación

misma categoría

de la solicitud

A: refleja el estado de la técnica

E: documento anterior, pero publicado después de la fecha

de presentación de la solicitud

El presente informe ha sido realizado ~ para todas las reivindicaciones D para las reivindicaciones nO:

Fecha de realización del informe

Examinador

Página
20.04.2010

O. González Peñalba

1/4

N° de solicitud: 200801517

INFORME SOBRE EL ESTADO DE LA TÉCNICA

Documentación minima buscada (sistema de clasificación seguido de los símbolos de clasificación) G02B, G06T,G01V Bases de datos electrónicas consultadas durante la búsqueda (nombre de la base de datos y, si es posible, términos de búsqueda

utilizados) INVENES, EPODOC, WPI, INSPEC

Informe sobre el Estado de la Técnica (hoja adicional)

Página 2/4

OPINiÓN ESCRITA

N° de solicitud: 200801517

Fecha de Realización de la Opinión Escrita: 20.04.2010 Declaración

Novedad (Art. 6.1 LP 11/1986)

Reivindicaciones 12, 16, 17 sí

Reivindicaciones

1-11, 13-15, 18, 19 NO

Actividad inventiva

Reivindicaciones 12,16,17 sí

(Art. 8.1 LP11/1986)

Reivindicaciones 1-11, 13-15, 18, 19 NO

Se Considera que la solicitud cumple con el requisito de aplicación industrial. Este requisito fue evaluado durante la fase de examen formal y técnico de la solicitud (Artículo 31.2 Ley 11/1986).

Base de la Opinión.-

La presente opinión se ha realizado sobre la base de la solicitud de patente tal y como ha sido publicada.

Consideraciones:

La presente invención se refiere, respectivamente de acuerdo con sus reivindicaciones 1, 18 Y 19, a un sistema, procedimiento y uso de dicho sistema, para la obtención de imágenes totalmente enfocadas con microscopios de gran aumento, el cual se basa en la captación secuencial de imágenes digitalizadas parcialmente enfocadas, tomadas a diferentes alturas de observación, con un desplazamiento entre ellas inferior a la profundidad de foco de la lente de objetivo, de tal manera que se extrae la parte enfocada de cada una de las imágenes captadas mediante la aplicación de un algoritmo que contempla la varianza matemática en los valores cromáticos de cada píxel de imagen parcialmente enfocada, y se genera una imagen global por apilamiento de las partes enfocadas. La reivindicación 2 recoge los elementos necesarios para el funcionamiento de dicho sistema y la ejecución de dicho procedimiento. En las reivindicaciones 3-11, dependientes de la 1, se recogen componentes y detalles que constituyen requisitos obvios o sobradamente conocidos para el funcionamiento de tal sistema y que, por tanto, son de contenido técnico no esencial. Así, por ejemplo, la reivindicación 6 cubre las posibles alternativas evidentes para la ya aludida captación de imágenes digitalizadas: o bien el subsistema de captación capta imágenes digitales, o bien éstas se digitalizan en un sistema adicional. Otro ejemplo de estas reivindicaciones que no aportan características esenciales para la invención que no resulten obvias de reivindicaciones anteriores es la 7, de contenido superfluo porque, tal y como está redactada, se limita a afirmar que el subsistema de modificación de la distancia entre objeto y lente de objetivo modifica, efectivamente, la distancia entre estos elementos. Sí se recogen características técnicas esenciales que forman parte del objeto de la invención en la reivindicación 12, que define el procedimiento para determinar el desplazamiento óptimo entre dos imágenes parcialmente enfocadas consecutivas, consistente en determinar la profundidad focal de la lente de objetivo mediante una expresión matemática, y multiplicar este valor por un coeficiente preestablecido para obtener dicho desplazamiento óptimo. Las reivindicaciones 13-15 son, sin embargo, también redundantes respecto a otras anteriores, pues se limitan a abundar en conceptos ya presentados, remachándolos con un nuevo giro en su explicación. Por ejemplo, la determinación de zonas enfocadas de imágenes parcialmente enfocadas que realiza el algoritmo según la reivindicación 14, y su composición en una imagen completa y enfocada, es equivalente, expresada de otra manera, a la generación de una imagen global enfocada por apilamiento de las partes enfocadas de las distintas imágenes parcialmente enfocadas, lo que ya se ha mencionado en la primera reivindicación. Otro tanto puede decirse del análisis píxel por píxel de la reivindicación 15, ya aludido de forma más concreta como una comparación de varianzas de cada píxel en la primera reivindicación. Se llega así a la reivindicación 16, que desarrolla con gran detalle el algoritmo de varianza máxima utilizado en la presente invención, y que permite los ajustes por parte del usuario recogidos en la reivindicación 17.

Informe sobre el Estado de la Técnica (Opinión escrita) Página 3/4

OPINiÓN ESCRITA

N° de solicitud: 200801517

1. Documentos considerados.-

A continuación se relacionan los documentos pertenecientes al estado de la técnica tomados en consideración para la realización de esta opinión.

l I I I

Documento Número Publicación o Identificación Fecha Publicación 1L-__~0~01~__~I~U~S~2~00~6~/0~0~38~1~4~4~A~1________________________~l____~2~3.~0~2.=20~0=6____~1
2. Declaración motivada según los artículos 29.6 y 29.7 del Reglamento de ejecución de la Ley 11/1986, de 20 de marzo, de Patentes sobre la novedad y la actividad inventiva; citas y explicaciones en apoyo de esta declaración

Se considera que la invención recogida en las reivindicaciones 1 -11, 13-15, 18 Y 19 carece de novedad por haber sido divulgada idénticamente en el estado de la técnica,

En efecto, considerando el documento 001, citado en el Informe sobre el Estado de la Técnica (IET) con la categoría X para dichas reivindicaciones, como el estado de la técnica más próximo al objeto de su Solicitud, se describe en él un sistema automatizado ("bajo el control de una computadora" -párrafo [0027]) para la obtención de imágenes totalmente enfocadas ("imágenes óptimas" -párrafo [0028]), basado en la captación secuencial (la plataforma se mueve secuencialmente de uno a otro planos de enfoque situados a diferentes profundidades -párrafo [0027]) de imágenes digitales parcialmente enfocadas (el enfoque parcial es una consecuencia óptica del propio diseño estructural del microscopio cuando observa un campo de visión suficientemente profundo o "grueso") y a diferentes alturas de observación, con un desplazamiento entre ellas inferior a la profundidad focal de la lente de objetivo (esta condición es obvia para obtener conjuntos de imágenes suficientemente relacionadas entre sí), a partir de las cuales se extrae la parte que está enfocada de cada una de las imágenes captadas y parcialmente enfocadas (se combinan los "elementos mejor enfocados de la pluralidad de N imágenes del campo de visión" párrafo [0036]) mediante la aplicación de un algoritmo que contempla la varianza matemática en los valores cromáticos de cada píxel de cada imagen parcialmente enfocada ("algoritmos matemáticos para determinar el píxel con varianza de intensidad más alta" -párrafo [0035]), generando la imagen global enfocada por apilamiento ("confluencia" de las imágenes para crear una imagen "aplanada" -párrafos [0034] y [0036]) de las partes enfocadas. Como se observa, el objeto técnico definido en la primera reivindicación de su Solicitud se halla idénticamente recogido en el documento 001, hasta el punto de que el sistema descrito en este documento puede exponerse con análoga redacción a la de esta reivindicación, que carece, por tanto, de novedad. Un análisis similar puede hacerse respecto al resto de reivindicaciones con características relevantes anteriormente referidas, y las reivindicaciones de contenido irrelevante carecen también, obviamente, de novedad con respecto a 001. No se ha encontrado en el estado de la técnica, sin embargo, el método de cálculo del desplazamiento óptimo definido en la reivindicación 12 en una aplicación de tratamiento de datos de imagen como la de la presente Solicitud, como tampoco el algoritmo de extracción de la parte enfocada de cada imagen en un grado de detalle como el recogido en la reivindicación 16 y con las posibilidades de modificación de la reivindicación 17, por lo que puede afirmarse, en consecuencia, que ambos aspectos, método de cálculo y algoritmo de selección, constituyen la parte inventiva de la presente Solicitud.

Informe sobre el Estado de la Técnica (Opinión escrita) Página 4/4