ES2365823T3 - Formación de imágenes hiperespectrales químicas o de propiedades con retroproyección de las imágenes sobre el objeto mismo. - Google Patents

Abstract

Un método para generar una imagen química o de propiedades de un objeto (22), que comprende los pasos de recibir luz procedente del objeto, obtener datos de imágenes hiperespectrales a partir de la luz, procesar los datos con el fin de proporcionar una imagen química o de propiedades, y proyectar luz que representa la imagen química o de propiedades sobre el objeto de tal manera que la luz proyectada coincida con el objeto reproducido como imagen para los compuestos o propiedades detectados en la imagen puedan localizarse sobre el objeto.

Description

La presente invención se refiere a un aparato y método para producir imágenes químicas o de propiedades y permitir que tales imágenes sean visualizadas más efectivamente. En formas preferidas, la invención permite producir imágenes en tiempo real o en tiempo casi real usando cámaras hiperespectrales.

Una imagen química (o de propiedades) es una imagen en la que la concentración de producto(s) químico(s) dado(s) (u otras propiedades) se muestra sobre un “mapa” de la muestra cuya imagen se está formando. Esto se logra normalmente obteniendo información espectral de un gran número de puntos espaciales de la muestra.

Una cámara digital convencional produce una imagen en color usando un conjunto de filtros para separar la luz en las bandas de rojo, verde y azul. Sin embargo, los datos proporcionados por los colores de tales imágenes tienen un valor muy limitado para determinar las propiedades químicas de la muestra. Es bien conocido que si se recoge un espectro a través de un rango de longitud de onda dado, por ejemplo las regiones del infrarrojo (IR) o del infrarrojo cercano (NIR), éste puede usarse para revelar la composición química de la muestra. En el caso del IR o del NIR, esto es debido a la absorción de frecuencias particulares por una o más especies químicas de la muestra. Más generalmente, las moléculas absorben energía a frecuencias diferentes, que influyen en un rango de propiedades tales como vibración, rotación, transición entre orbitales, resonancia nuclear, etc. De este modo, el patrón de absorción en cierto conjunto de frecuencias puede usarse para identificar diferentes especies moleculares y propiedades físicas.

Están ahora disponibles cámaras multiespectrales e hiperespectrales que producen una salida digital con la forma de datos espectrales espacialmente resueltos. Cuando la salida es menor que diez longitudes de onda diferentes, se produce entonces una imagen multiespectral, y los datos de imagen espacialmente resueltos con un mayor número de longitudes de onda son hiperespectrales.

De este modo, la formación de imágenes hiperespectrales es la adquisición de imágenes a través de una serie grande, usualmente contigua, de bandas espectrales estrechas (es decir, en una serie de longitudes de onda diferentes), en donde los datos espectrales obtenidos son comparables con las técnicas espectroscópicas tradicionales (de un solo punto). De otra manera, se integra la información espacial y espectroscópica completa de la muestra. Las imágenes espectrales se visualizan como un bloque tridimensional de datos que abarca una longitud de onda y dos dimensiones espaciales denominadas cubo de datos hiperespectrales o “hipercubo”. Para nuestra exposición asumiremos que este cubo tiene las dimensiones N x M x K, en donde N es el número de filas y M el número de columnas de píxeles y K es el número de longitudes de onda en las cuales se han obtenido los valores de intensidad. De este modo, para cada píxel de la imagen existe un espectro, es decir, un conjunto de valores de intensidad/absorción para cada una de un gran número de longitudes de onda discretas. Semejante hipercubo se muestra esquemáticamente en la figura 6. Analizando cada uno de los espectros, pueden encontrarse datos de composición química para cada píxel y esto significa que puede producirse una imagen que muestra la composición espacialmente resuelta de la muestra. Esto se conoce como imagen química.

En un caso sencillo, los espectros pueden analizarse para identificar un solo compuesto específico y puede generarse entonces un mapa de la distribución de este compuesto a través de la muestra. Sin embargo, pueden producirse imágenes más complejas que muestren la distribución de compuestos múltiples o de propiedades diferentes.

Para una imagen hiperespectral de alta resolución, existirán millones de píxeles, representando cada uno de ellos un espectro completo de cientos o de miles de longitudes de onda de la muestra. Tales datos son muy adecuados para técnicas de análisis multivariado, tales como análisis de componente principal (PCA), regresión de componente principal (PCR), redes neurales artificiales, análisis discriminatorio lineal, regresión de mínimos cuadrados parciales (PLS) y métodos multicomponente. De este modo, usando tales técnicas conocidas puede generarse un vector de regresión b usando datos espectrales de mezclas de composición conocida. Este vector relaciona la composición con datos espectrales y así el vector puede considerarse como un modelo para predecir concentraciones o propiedades del compuesto a partir de los datos espectrales.

Según se observó anteriormente, cada píxel de la imagen hiperespectral tendrá asociado a él un espectro entero – es decir, un conjunto de valores de intensidad correspondientes a cada longitud de onda de la muestra – que es una línea, o vector, del hipercubo. Cuando estos valores se multiplican por los coeficientes correspondientes del vector modelo, el resultado es el valor de concentración predicha del compuesto en cuestión en ese píxel. De este modo, considerando un píxel en una posición (i, j), la intensidad y(ij) en ese punto viene dada por:

imagen1

en donde (ij)Xn es el valor de intensidad en la longitud de onda n y bn es el coeficiente de vector modelo correspondiente. Así,

imagen1

en donde (ij)x comprende los valores de intensidad x1…xn en un punto (i, j).

El hipercubo X de todos los datos hiperespectrales puede analizarse considerándolo como una serie de dos “planchas” bidimensionales que pueden manipularse fácilmente como matrices. Todas las planchas son paralelas entre sí en el hipercubo; en otras palabras, el cubo completo es efectivamente rebanado como una barra de pan para formar un conjunto de matrices cuyas dimensiones correspondan a las de una de las caras del hipercubo. Existen tres maneras principales de rebanar el cubo en planchas: matrices de tamaño [M x K] a lo largo de la dirección x, [N x K] a lo largo de la dirección y y [N x M] a lo largo del eje z. De este modo, una plancha es la matriz Xi (teniendo las dimensiones [M x K] o [N x K]) que comprende los valores de intensidad de la fila o columna i de píxeles, y, por tanto, los valores de concentración para la fila o columna correspondiente de la imagen vienen dados por:

yi = Xi b

Multiplicando repetidamente tales matrices de datos obtenidas de planchas sucesivas del hipercubo por el vector modelo, se proporcionan estimaciones de las propiedades a través de toda la imagen. Esto puede proporcionar, por ejemplo, un mapa de la concentración de un compuesto tal como glucosa a través de la superficie de la muestra.

La formación de imágenes hiperespectrales clásica se realiza usando uno de dos principios básicos: exploración mediante un enfoque de peine o mediante un enfoque de filtro sintonizable, por ejemplo usando un Filtro Sintonizable Optico-Acústico (AOTF).

En un explorador de peine, se usa una cámara lineal en la que la luz se difracta en diferentes componentes de color/longitud de onda usando un espectrógrafo sobre una formación de plano focal (FPA). De este modo, para cada posición de la cámara lineal se obtiene un espectro para cada punto de esa línea. A partir de la FPA, estos datos se envían seguidamente a un almacenamiento de memoria como la matriz de espectros Aj. El índice j indica una línea escaneada j. Las dimensiones de la matriz Aj son [M x K], en donde M es el número de puntos espaciales a lo largo de la línea y K es el número de longitudes de onda separadas de cada espectro. Cuando se explora un área, cientos

o miles de líneas serán leídas e ingresadas la cámara para proporcionar el hipercubo H que comprende el conjunto de matrices Aj para todos los calores de j (es decir, todas las líneas). Cada matriz Aj es una “plancha” del hipercubo que representa una línea de la imagen.

En el enfoque de filtro sintonizable, en vez de explorar la imagen paso a paso en una dimensión especial, como en el explorador de peine, se forma toda la imagen espacial mientras la cámara explora las diferentes longitudes de onda. Esto se logra colocando el filtro sintonizable entre la imagen y la cámara. Los AOTFs son particularmente filtros sintonizables potentes. Éstos son dispositivos de estado sólido que comprenden un filtro de cristal cuya longitud de onda de transmisión se controla mediante transductores piezoeléctricos anexos. Los transductores crean ondas de presión en el cristal, que cambia su índice de refracción. Estos transductores se controlan con una manipulación cuidadosa de la frecuencia de un campo eléctrico aplicado para variar la longitud de onda de transmisión del filtro de una manera paso a paso. En cada paso de longitud de onda, se captura una imagen que proporciona una matriz Ij, en donde j es el paso de longitud de onda. Así, cada matriz Ij representa una sola imagen monocroma de toda la muestra a una longitud de onda j. Al igual que las matrices Aj, las matrices Ij son leídas e ingresadas en una memoria, en donde forman una plancha del hipercubo H. (Sin embargo, se observará que las dos clases de matrices contienen conjuntos diferentes de información; éstos son ortogonales entre sí en el hipercubo).

De esta manera, en cada enfoque, se genera el hipercubo plancha a plancha y se almacena en memoria. Los datos se procesan posteriormente según se describió anteriormente para producir la imagen de salida deseada. La elección del enfoque es una cuestión de optimización del diseño. El espectrógrafo de un sistema de peine proporciona una mejor resolución especial, pero con un coste de velocidad en comparación con el sistema de filtro sintonizable, en el que la carencia de partes móviles permite que el hipercubo se genere más rápidamente.

Sería deseable tener cámaras hiperespectrales que puedan realizar la formación de imágenes químicas de sus alrededores en tiempo real. Sin embargo, la tecnología actual no permite esto fácilmente. Un prototipo de sistema multiespectral en tiempo real se describe en “Espectros Inteligentes: Aplicación de formación de imágenes multiespectrales a entornos industriales”, Vila y otros, Formación de Imágenes en Tiempo Real 11 (2005) 85-98. Este usa un AOTF que es controlado no sólo para seleccionar longitudes de onda de paso, sino también para variar sus intensidades. La variación de la intensidad de la luz de una longitud de onda dada en una cantidad predeterminada es efectivamente un método análogo de calibrar la intensidad de luz de entrada para proporcionar un valor de intensidad de salida que pueda representarse directamente en la imagen química. Así, este sistema evita la necesidad de los pasos de cálculo expuestos anteriormente. Sin embargo, tiene inconvenientes significativos. El sistema es multiespectral – únicamente usa seis bandas de longitud de onda de entrada – y el método de calibración analógico es inherentemente menos flexible y menos preciso que los sistemas digitales usados en los sistemas hiperespectrales expuestos anteriormente.

El problema más serio con el enfoque digital convencional es cómo tratar la enorme cantidad de datos que se genera por la cámara hiperespectral. Según se expuso anteriormente, cada imagen da como resultado un hipercubo que tiene dos dimensiones espaciales y una dimensión de longitud de onda. Si se ha de lograr formación de imágenes en tiempo real, estos datos deben recogerse y procesarse a un tasa de aproximadamente 20-30 cuadros por segundo. Registrar tal cubo de datos múltiples veces por segundo es muy difícil, pero en teoría es posible si el cubo es suficientemente pequeño, es decir, haciendo compromisos con respecto a la resolución espacial y/o de longitud de onda. Sin embargo, la consecución de altas resoluciones en las dimensiones espacial y de longitud de onda no es posible con los sistemas de la técnica anterior. Hoy en día existen soluciones que proporcionan cámaras multiespectrales en tiempo real, pero éstas únicamente usan un pequeño número de longitudes de onda. La resolución espectral también es insuficiente para muchos propósitos.

Una manera adecuada de visualizar datos de formación de imágenes hiperespectrales o químicas/de propiedades consiste en usar un monitor de ordenador y cuando los datos son en tiempo real, o se registran para eso, pueden visualizarse como una imagen en movimiento, por ejemplo mientras la cámara hiperespectral (es decir, un dispositivo de entrada de cualquier clase) se mueve alrededor de un objeto tridimensional o a medida que se mueve el objeto. Esto permite, por ejemplo, la búsqueda en un área (una habitación, un cuerpo humano, etc.) de trazas de compuestos particulares, tales como explosivos o narcóticos. Asimismo, es posible usar otras formas de visualización conocidas.

Sin embargo, cada una de estas tiene el inconveniente de que aunque se proporciona una imagen o mapa que muestra la distribución del compuesto o propiedad en cuestión, puede resultar problemático correlacionar un punto sobre la imagen con el mismo punto sobre la superficie reproducida como imagen con el fin, por ejemplo, de obtener una muestra física.

Una aproximación de este asunto consiste en usar gafas o tecnología de presentación “head-up” (cabeza alta) de modo que se proporcione una imagen a un usuario que se superponga al sujeto de esa imagen a la vista del usuario. Este es un enfoque útil cuando el operador no está cercano al sujeto o desea monitorizarlo sin ser detectado.

Sin embargo, en otras aplicaciones esto puede causar inconvenientes porque la imagen sólo puede verse por un solo usuario y puede existir un problema para registrar la imagen en las gafas con el campo de visión del usuario.

En “Síntesis de vídeo en color multiespectral en tiempo real usando una formación de cámaras estándar”, D. L. Lau y otros, Formación de Imágenes en Tiempo Real 11 (2005) 109-116, describen un sistema que comprende una formación de cámaras dispuestas para capturar una imagen multiespectral de un objeto y alinear las imágenes registradas por las cámaras usando software.

La presente invención proporcionar un método para generar una imagen química o de propiedades de un objeto que comprende los pasos de recibir luz desde el objeto, obtener datos de imágenes hiperespectrales de la luz, procesar los datos para proporcionar una imagen química o de propiedades, y proyectar luz que represente la imagen química

o de propiedades sobre el objeto de tal modo que la luz proyectada sea coincidente con el objeto representado con imágenes para que los compuestos o propiedades detectados en la imagen pueden localizarse sobre el objeto.

La distribución especial de los compuestos o propiedades en/sobre el objeto también pueden visualizarse fácilmente. La imagen puede ser sólo parte del objeto, pero puede retroproyectarse sobre la parte correspondiente del objeto. Se apreciará que la imagen química puede verse entonces por cualquier número de espectadores. También pueden visualizarse de esta manera otras clases de imagen de propiedades.

La invención también se extiende a un aparato de proyección correspondiente y así, visto desde un aspecto adicional de la invención, proporciona un aparato para generar una imagen química o de propiedades de un objeto que comprende una cámara hiperespectral dispuesta para recibir luz desde un objeto y para producir datos de imágenes hiperespectrales, un procesador para procesar los datos hiperespectrales con el fin de proporcionar una imagen química o de propiedades, y un proyector dispuesto para retroproyectar luz que representa la imagen química o de propiedades hacia el objeto, de tal manera que la imagen química o de propiedades se retroproyecte en coincidencia con el objeto representado con imágenes.

Preferiblemente la luz entra en la cámara a lo largo del mismo eje óptico mientras la imagen es retransmitida al objeto. El aparato de proyección puede incorporar un espejo giratorio, u otra disposición para permitir que la luz de la escena representada como imágenes entre en el aparato a través del mismo sistema óptico que el que retroproyecta la imagen. Tal disposición conmuta la trayectoria de la luz a medida que gira. Asimismo, es posible usar un espejo semiplateado. Esto tiene la ventaja de eliminar partes móviles.

Cuando se hace esto, sería entonces necesario adoptar medidas para impedir que la imagen proyectada interfiera con la luz muestreada. Por ejemplo, las frecuencias de luz detectadas pueden seleccionarse para que difieran de las usadas en la imagen proyectada. A este respecto, se puede disponer un filtro (por ejemplo, justo delante de la cámara) para filtrar frecuencias de luz proyectada respecto de la luz que entre en la cámara hiperespectral y/o puede disponerse un filtro (por ejemplo, justo delante del proyector) para filtrar las frecuencias que son detectadas y separadas de la luz proyectada.

Otro enfoque consiste en usar un sistema de proyección de láser para trazar imágenes en tiempo real sobre la superficie de la muestra. Existen varias ventajas en el uso de la proyección de láser. Una es que la longitud de onda operativa del láser puede seleccionarse fácilmente para que esté fuera del rango de detección de la cámara hiperespectral, lo que permitirá que se realicen simultáneamente el registro y trazado de los resultados sin necesidad de ningún obturador. Otra ventaja es que los láseres minimizan el problema del foco cuando se dibuja sobre superficies.

Las aplicaciones incluyen vigilancia, ciencia forense, robótica, ciencia médica, biológica y química o actividades de vigilancia en las que el usuario está vigilando estrechamente las superficies de objetos en busca de tipos diferentes de productos químicos/propiedades. El sistema puede usarse, por ejemplo, en el lugar de sistemas conocidos que usan fluorescencia para detectar sangre en las investigaciones de la escena del crimen. Aquí el usuario lleva gafas para filtrar ciertas longitudes de onda y se usa una lámpara especial para inducir fluorescencia. Sin embargo, este sistema conocido tiene varias desventajas porque el usuario necesita usualmente pulverizar una sustancia sobre superficies que reaccionan con la sangre, éste debe desconectar otras fuentes de luz que puedan estorbar el proceso de observación y, por supuesto, el uso de gafas especiales reduce adicionalmente la visibilidad de la escena.

Con el nuevo sistema el usuario es capaz de trabajar a plena luz del día o en un área muy iluminada. Los resultados del método de formación de imágenes químicas/de propiedades de esta invención pueden verse en la escena original misma como patrones y puntos de colores artificiales brillantes. Esto tiene un gran impacto en la amigabilidad para el usuario del sistema debido a que permitirá que el usuario, por ejemplo un investigador de ciencia forense, se concentre en los objetos de la escena de una manera natural y al mismo tiempo obtenga información adicional que se origina de la formación de imágenes químicas/de propiedades. Este es un enfoque de inspección muchos menos engorroso y difícil que el uso de gafas o pantallas de ordenador.

De hecho, cuanta más luz esté disponible, mejor funcionará la cámara hiperespectral. Preferiblemente, el aparato está configurado de modo que el usuario sea capaz de conmutar rápidamente entre tipos diferentes de modelos de imagen química/de propiedades, por ejemplo de etanol a sangre a pólvora a TNT en rápida sucesión. De hecho, el uso de una coloración artificial múltiple posibilita superponer los resultados de más de un modelo sobre la escena. Sin embargo, debe recordarse que los colores originales de los objetos de la escena pueden enmascarar o dificultar la diferenciación con respecto a las imágenes químicas/de propiedades proyectadas sobre los mismos y así, preferiblemente, esto se tiene en cuenta, por ejemplo, permitiendo la variación de los colores usados para la imagen proyectada.

Preferiblemente, la retroproyección se proporciona muestreando luz procedente de una fuente con una cámara hiperespectral, generando un imagen química/de propiedades a partir de la misma y posteriormente proyectando la imagen química/de propiedades sobre la escena.

Esto se realiza repetidamente, de preferencia a una tasa suficiente para dar una imagen química/de propiedades en tiempo real o casi real. Para objetos inmóviles puede ser aceptable usar un tasa de cuadros de 3-10 cuadros por segundo (fps), suponiendo que el aparato no se mueva rápidamente. Sin embargo, preferiblemente se usa una tasa de 10-20 fps o más, y muy preferiblemente es de 25-30 fps, al igual que con una imagen de TV cinemática.

Preferiblemente, el aparato se proporciona con la forma de un dispositivo portátil que puede dirigirse fácilmente hacia cualquier objeto por el usuario.

Las realizaciones pueden usar un método para generar una imagen química/de propiedades de una muestra a partir de datos de imágenes hiperespectrales obtenidos en esa muestra, que comprende los pasos de:

(a)

obtener únicamente una porción de los datos de imágenes hiperespectrales

(b)

procesar la citada porción de los datos de imágenes hiperespectrales usando un modelo para generar datos de composición química espacialmente resueltos u otros datos de propiedades relativos a la muestra;

(c)

repetir los pasos (a) y (b).

De este modo, la generación de los datos de composición química, que pueden, por ejemplo, presentarse con la forma de una imagen química, se interpola con la obtención de los datos de imágenes hiperespectrales. En otras palabras, la imagen se procesa mientras tiene lugar la explotación. Esto contrasta con los métodos digitales de la técnica anterior, en los que, como se expuso anteriormente, todo el conjunto de datos de imagen se obtiene y se almacena como un hipercubo antes de ser procesado. Preferiblemente, sólo la plancha que está siendo procesada se mantiene en la memoria. Sin embargo, un beneficio mayor es la velocidad incrementada del procesado al evitar la necesidad de direccionar tanta memoria.

En consecuencia, suponiendo que la invención se implemente usando hardware hiperespectral y de procesamiento adecuadamente rápido, son posibles imágenes químicas en tiempo real.

Los pasos (a) y (b) se repetirán normalmente hasta que la imagen química o de propiedades se haya completado, aunque pueden existir aplicaciones en las que el proceso se trunca, por ejemplo cuando una alta velocidad de cuadros tiene prioridad o cuando únicamente se requiere una imagen parcial; así, cada enésima línea podría omitirse.

Las realizaciones pueden comprender un aparato para generar una imagen química o de propiedades que comprende una cámara hiperespectral para obtener datos de imágenes hiperespectrales a partir de una muestra y un procesador para generar datos de imagen química o de propiedades a partir de los datos de imagen de la muestra usando un modelo, en donde el procesador está concebido para obtener de la cámara sólo una porción de los datos de imágenes hiperespectrales y para procesar dicha porción de los datos de imágenes hiperespectrales usando el modelo con la finalidad de generar datos de composición química espacialmente resueltos u otros datos de propiedades relativos a la muestra antes de obtener y procesar muestras adicionales de datos.

El término “cámara hiperespectral” incluye cualquier dispositivo de entrada de imágenes hiperespectrales que incluya los descritos anteriormente. El aparato también puede comprender una unidad de presentación adecuada para mostrar una imagen formada por los datos de composición química u otras propiedades. El procesador repite preferiblemente los pasos de obtención y procesamiento hasta que se produce un conjunto completo de datos químicos o de otras propiedades.

La invención puede aplicarse a ambas técnicas de formación de imágenes hiperespectrales citadas anteriormente. (En realidad, también puede aplicarse a técnicas multiespectrales). De este modo, cuando se usa un explorador lineal de peine, cada línea de la exploración puede comprender una porción de los datos hiperespectrales. En una aplicación espectroscópica típica, la porción de datos comprende así una serie de espectros correspondientes a puntos sobre la muestra a lo largo de la línea. Esto se puede representar como una matriz cuyas dimensiones son el número de puntos y el número de longitudes de onda de la muestra, respectivamente.

Estos datos se procesan posteriormente usando un modelo como en las técnicas conocidas. De esta manera, el modelo puede comprender un vector de regresión o clasificación generado de manera teórica u obtenido de muestras que tienen propiedades conocidas, por ejemplo usando las técnicas quimiométricas conocidas expuestas anteriormente. Cualquiera de tales modelos en forma de vector se denominará en el presente documento vector modelo.

Preferiblemente, la matriz se multiplica por el vector modelo para obtener datos de imagen para una línea de una imagen química. Esto puede proporcionar, por ejemplo, una mapa de distribución, y opcionalmente de concentración, de un compuesto dado sobre (o en) la superficie de una muestra. Este paso se realiza con los datos de imagen justo después de haber sido obtenidos por la cámara. Así, no es necesario mantener los datos de la matriz después de haberlos procesado de esta manera, y, en realidad, se prefiere que se sobrescriban con el fin de evitar un uso de memoria innecesario. Por tanto, se prefiere con mucho que no se almacene nunca en la memoria un hipercubo completo de datos de imagen de la cámara.

Si se desea, puede usarse una pluralidad de modelos (por ejemplo, vectores de regresión) correspondientes a una pluralidad respectiva de compuestos o de propiedades que se han de detectar. Esto se puede realizar para proporcionar imágenes químicas múltiples o imágenes únicas usando, por ejemplo, colores diferentes para representar la presencia de compuestos o propiedades diferentes. Aunque es posible usar secuencialmente cada valor, se prefiere combinarlos en una matriz y multiplicar la matriz de la imagen por esta matriz modelo.

Dado que las imágenes pueden producirse en tiempo real, el resultado puede mostrarse en un monitor de ordenador

o semejante como una imagen en movimiento.

Cuando se emplea el enfoque de filtro sintonizable, cada imagen de la muestra a un longitud de onda de muestra dada puede comprender una porción de los datos hiperespectrales. De este modo, típicamente, la porción de datos comprende así una imagen monocromática. Ésta puede representarse como una matriz cuyas dimensiones correspondan con las dimensiones lineales de la imagen. Como con el enfoque de peine, el modelo puede tener la forma de un vector de regresión.

Sin embargo, en este enfoque, el coeficiente del vector modelo correspondiente a la longitud de onda de muestra de la imagen monocromática se usa preferiblemente para multiplicar cada elemento de esa matriz. El resultado puede almacenarse entonces (por ejemplo, en una localización particular de una memoria de ordenador) como una matriz adicional. La siguiente imagen monocroma, para una longitud de onda adicional, se obtiene posteriormente y se multiplica cada valor de intensidad de píxel por el coeficiente del vector modelo correspondiente a la nueva longitud de onda de la muestra para formar una nueva matriz, que se añade posteriormente a la de la memoria. Cuando esto se ha repetido para cada longitud de onda que se necesita muestrear, la memoria contendrá un conjunto completo de datos para una imagen química.

Es posible muestrear secuencialmente todas las longitudes de onda disponibles. Sin embargo, preferiblemente sólo se muestrean un subconjunto seleccionado de las longitudes de onda disponibles.

Se apreciará que cuando el coeficiente del vector modelo es cero, el resultado del paso de multiplicación también es cero. (Igualmente, cuando el coeficiente es pequeño, entonces el resultado es próximo a cero). En consecuencia, se prefiere que cuando el coeficiente sea cero, no se obtenga imagen de muestra a esa longitud de onda. Esto tiene la ventaja de acelerar el proceso.

También puede ser deseable en algunas aplicaciones en las que la velocidad tiene la mayor importancia, omitir selectivamente el muestro de otros valores de coeficiente, por ejemplo, cuando estos se aproximan a cero. En realidad, es posible ser más selectivo y elegir sólo aplicar un subconjunto de los coeficientes más importantes aplicando técnicas de selección variable conocidas.

En ciertas realizaciones, puede predeterminarse un subconjunto deseado de longitudes de onda de muestra basándose en los conocimientos de los expertos. Cuando se apunta a compuestos específicos, pueden seleccionarse sus frecuencias más características para que formen parte o la totalidad del subconjunto.

Aunque las longitudes de onda podrían muestrearse en cualquier orden, y pueden muestrearse en secuencia (aunque omitiendo opcionalmente una selección como se expuso anteriormente), se prefiere que las longitudes de onda se muestren en orden de importancia o magnitud de los coeficientes modelo. Es una característica de sistemas de filtro sintonizable que puedan conmutar la longitud de onda a una velocidad extremadamente alta de modo que ésta se pueda acomodar fácilmente. Así, las longitudes de onda correspondientes a los coeficientes de valor más grandes pueden muestrearse en primer lugar. Más preferiblemente, las longitudes de onda se muestrean en orden de importancia o magnitud decreciente de los coeficientes modelo correspondientes.

Particularmente (pero no sólo) cuando el muestreo se efectúa en orden de importancia o magnitud decreciente, el número de longitudes de onda realmente muestreadas puede variarse. Así, cuando se requiere una tasa de cuadros más alta (por ejemplo, si la muestra está en movimiento), puede muestrearse una número más pequeño de longitudes de onda. Si se muestrean las longitudes de onda en tal orden, entonces los datos “perdidos” siempre serán los menos importantes.

Las técnicas expuestas anteriormente, que usan múltiples vectores modelo, y las relacionadas con la presentación de los resultados son igualmente aplicables a un sistema basado en filtro sintonizable. Además, los principios descritos relativos a la selección de los coeficientes más importantes o mayores (en valor absoluto) también pueden aplicarse a un sistema de tipo peine proporcionando una formación de planos focales que informe de los valores de intensidad para sólo un subconjunto de longitudes de onda.

Se apreciará que la invención también se extiende a un aparato concebido para realizar cualquiera de las formas preferidas del métodos anterior, por ejemplo usando enfoques de filtro sintonizable o de peine. Se contempla que los pasos de procesamiento se realizarán por procesador(es) de ordenador y así la invención también se extiende a un aparato de ordenador configurado para procesar datos según el método anterior.

Se apreciará que las técnicas de procesamiento anteriores se realizarán normalmente por medio de software que corre en un aparato de ordenador adecuado. Por tanto, la invención puede comprender tal aparato de ordenador y el software concebido para hacer que tal aparato realice los métodos de procesamiento de la invención. De esta manera, según aspectos adicionales, la invención puede comprender un producto de software en forma tangible (por ejemplo, en un disco) u obtenido por medio de una descarga, etc., configurado para proporcionar datos de imagen química o de propiedades a partir de datos hiperespectrales según los métodos anteriores y/o para hacer que un ordenador ejecute tal método.

Ciertas realizaciones de la invención se describirán ahora, sólo a modo de ejemplo, y con referencia a los dibujos anexos:

La figura 1 es una ilustración esquemática de un aparato para generar una imagen química usando un enfoque de peine; La figura 2 es una ilustración esquemática de un aparato para generar una imagen química usando el enfoque de filtro sintonizable; Las figuras 3(a) y (b) ilustran además el funcionamiento del aparato de la figura 2; La figura 4A es un diagrama esquemático que muestra el funcionamiento de un aparato para proyectar una imagen química en tiempo real sobre una superficie y que emplea un proyector de luz normal;

La figura 4B es un diagrama esquemático que muestra el funcionamiento de un aparato para proyectar una imagen química en tiempo real sobre una superficie y que emplea un proyector de láser; La figura 5 ilustra el uso del aparato de la figura 4A o 4B; y La figura 6 es una ilustración esquemática de un hipercubo de datos espectrales de la técnica anterior.

Con referencia a la figura 1, un aparato explorador 1 de peine convencional comprende una cámara lineal 2, que está dispuesta para explorar línea a línea a través de una muestra 3. La cámara contiene un espectrógrafo (no mostrado) en el que la luz se difracta en componentes diferentes de color/longitud de onda antes de ser detectada por una formación de planos focales (FPA). Esto proporciona una salida digital 4 que comprende un espectro K de longitudes de onda para cada uno de M píxeles.

La salida de cada número de línea j se envía subsiguientemente a un almacenamiento 5 de memoria, que es parte de un aparato de proceso de datos (no mostrado), con la forma de un matriz Aj. Las dimensiones de la matriz Aj son [M x K], en donde M es el número de puntos espaciales a lo largo de la línea y K es el número de longitudes de onda de cada espectro. Cuando se explora un área, se leerán e ingresarán en la cámara cientos o miles de líneas. Como se indicó anteriormente, el enfoque tradicional es almacenar Aj en un hipercubo (formación) en 3D. Esto no se hace en la presente invención, que, en consecuencia, es mucho más rápida. Los siguientes pasos implicados en esta realización son los que siguen:

La matriz Aj se multiplica directamente por un vector b, que se ha obtenido por un análisis de regresión de la manera conocida. Este paso se realiza inmediatamente después de que la matriz sea leída e ingresada en la memoria. La figura 3(a) es una gráfica esquemática que muestra un diagrama de coeficientes de regresión bj para j = 1 a 9, es decir, del primero al noveno de los coeficientes del vector b. Como en la técnica anterior, éste mapea desde del espectro hasta el valor relevante (por ejemplo, la concentración del compuesto que se ha detectar en la imagen). De este modo, para la única línea j registrada, el sistema realiza:

imagen1

en donde yj es el vector de valor estimado que da los valores (por ejemplo, de la concentración del compuesto) para cada punto de la línea j.

El siguiente paso consiste en insertar yj como columna j (referencia 6) dentro de una nueva matriz C que proporcionar los datos para la imagen química. Inicialmente, C = 0. De este modo, los valores de concentración u otros datos se mapean o correlacionan hasta una posición en la matriz C que se corresponda con la posición espacial en la muestra de la cual se derivó ese valor.

Subsiguientemente, la cámara lineal 2 del explorador se mueve a la siguiente línea j+1 y se repite el anterior proceso. Esto se realiza para cada línea hasta que se haya formado una imagen de toda la muestra y se haya completado la imagen química. La imagen puede transmitirse entonces a, y mostrarse en, un monitor de ordenador convencional (no mostrado) con, por ejemplo, una escala de grises indicando la concentración del compuesto que se detecta.

Se verá que de esta manera la imagen química de la escena se genera al vuelo a medida que el explorador se mueve a través de la superficie de la muestra. Suponiendo que se emplee hardware altamente paralelo y rápido, es posible realizar la multiplicación de la Ecuación (1) de manera extremadamente rápida para que no sea un cuello de botella serio en el proceso de explorar una línea j hasta la siguiente j + 1. De esta manera, se recrea varias veces por segundo la matriz C, lo cual significa que se puede obtener una formación de imágenes en tiempo real o casi en tiempo real mediante una exploración lineal rápida a través de una muestra a una tasa de cuadros correspondientes.

En una versión modificada, pueden obtenerse vectores múltiples yj, correspondientes, por ejemplo, a una pluralidad de compuestos diferentes, como una matriz Yj usando un matriz B de coeficientes de regresión:

imagen1

Esto significa que se generan entonces una pluralidad correspondiente de matrices C. Las concentraciones de los compuestos diferentes pueden proporcionarse entonces en imágenes separadas, o en la misma imagen. Esto se puede hacer usando la intensidad de un color dado de la imagen para representar la concentración de un compuesto particular. Sin embargo, se apreciará que esto requerirá un grado muy alto de potencia de procesamiento y, por tanto, sólo puede ser practicable allí donde puedan emplearse ordenadores de especialistas.

Se muestra en la figura 2 un segundo ejemplo. Este aparato se basa en el enfoque de filtro sintonizable expuesto anteriormente. El aparato 10 de cámara es en sí mismo esencialmente convencional y comprende una lente 11 de objetivo, un Filtro Sintonizable Optico-Acústico (AOTF) 12 y un dispositivo 13 de carga acoplada.

La luz 14 de entrada reflejada desde la superficie de la muestra (no mostrada) atraviesa la lente 11 antes de ser filtrada por el AOTF 12 y la luz que cae dentro de la banda de paso estrecha del filtro 12 es detectada entonces por el CCD 13 para proporcionar una imagen bidimensional en escala de grises para esa banda (lo que con fines prácticos se considera que es una sola longitud de onda). Se le da salida a ésta como señal 14 hacia el aparato de proceso de datos (no mostrado). La frecuencia de banda de paso del filtro se varía para permitir la detección de imágenes en un gran número de longitudes de onda de la luz. Convencionalmente, el filtro exploraría paso a paso a través de la banda IR o NIR.

El CCD 13 está sincronizado con el funcionamiento del filtro 12 de modo que toda la imagen sea capturada y generada antes de que se cambie la frecuencia de paso. La señal 14 de salida para la j-ésima frecuencia de paso se almacena como un matriz lj en una memoria intermedia 15. Esta matriz tiene dimensiones correspondientes a los números de píxeles en las direcciones x e y del CCD.

Cómo se indica anteriormente, el método convencional para procesar los datos es crear un hipercubo a partir del conjunto completo de matrices lj y luego multiplicar cada uno de los valores de intensidad de píxel que forman el hipercubo por un vector de regresión (o vectores si, por ejemplo, se han de detectar una pluralidad de compuestos), de la misma que con un hipercubo creado por un aparato de peine convencional.

La presente invención se beneficia del hecho de que es posible controlar AOTFs para permitir una gran flexibilidad en cómo manipular longitudes de onda individuales. Los AOTFs son dispositivos de estado sólido controlados por transductores piezoeléctricos anexos. Estos transductores pueden controlarse con una manipulación cuidadosa de sus frecuencias aplicadas para seleccionar una frecuencia de paso particular. En este ejemplo, en vez de simplemente explorar cada longitud de onda por turno, el control de qué longitudes de onda se transmiten a través del filtro se determina por el vector modelo b que se ha creado previamente de la manera convencional usando espectros del mismo tipo que los observados en la cámara hiperespectral.

Si se desea proporcionar una imagen química de la distribución de una pluralidad de compuestos, se usa un número correspondiente de vectores de regresión. De este modo, para ver la distribución de, por ejemplo, glucosa o metanol, estarán disponibles unos vectores de regresión correspondientes bglusocsa y bmetanol.

El(los) vector(es) de regresión contendrá(n) coeficientes j (es decir, uno para cada longitud de onda que se detecta) y un número de éstos será cero o cercano a cero. Dado que el producto de cualquier coeficiente de matriz por un coeficiente de vector cero es obviamente cero, no existe la necesidad de muestrear luz a esa longitud de onda y así el filtro nunca se ajusta para dejar pasar esa longitud de onda. Igualmente, coeficientes muy pequeños tendrán un efecto despreciable sobre el resultado. Para ganar incluso modelos más parsimoniosos, pueden usarse diversos métodos de selección variable para crear modelos con una alta precisión y pequeños números de variables. En otras palabras, para ser incluso más eficiente, el aparato únicamente estudia las longitudes de onda que son necesarias para crear la precisión deseada.

De este modo, para producir datos de imagen química para un compuesto dado, el aparato recorre por turno cada longitud de luz de entrada posible, y cuando (pero sólo cuando) el vector de regresión correspondiente j es significativamente diferente de cero, se realizan los siguientes pasos:

En primer lugar, el filtro 12 se controla de la manera convención para permitir que pase luz a la longitud de onda correspondiente al coeficiente j no cero. El CCD 12 registra entonces la luz que incide sobre él y envía los datos resultantes 14 a un almacenamiento 15 de memoria en el aparato de proceso de datos, en donde se almacena temporalmente la matriz lj reemplazando el contenido previo de ese almacenamiento.

El siguiente paso es multiplicar cada elemento/píxel de la matriz lj por bj (el coeficiente – un escalar – para la longitud de onda muestreada) y añadir el resultado a una matriz Cj-1 que está situada en otro almacenamiento 16. Inicialmente, cuando j = 1, Cj-1 = C0 = 0, es decir que es un almacenamiento de memoria vacío con sólo ceros. Véase la figura 3(b).

Es importante observar que Cj se sobrescribe una vez para cada coeficiente de regresión. Al final, cada elemento de Cj contendrá la concentración predicha acabada de un compuesto químico o una propiedad modelada para cada píxel. Se verá que esto se logra con la mayor parte de la computación de la imagen química teniendo lugar en una memoria directamente conectada al dispositivo acoplado cargado y sin necesidad de generar, almacenar y procesar posteriormente un hipercubo.

Cuando se han recorrido todas las longitudes de onda, la matriz C está completa para la concentración de compuesto o propiedad pretendidas. Esto lleva una fracción de segundo y puede repetirse muchas veces para permitir la formación de imágenes en tiempo real. El proceso puede repetirse posteriormente para los otros compuestos o propiedades usando un nuevo vector de regresión y luego pueden mostrarse una imagen o imágenes como en la realización anterior.

El funcionamiento de este ejemplo puede comprenderse asumiendo que tenemos un cubo de datos hiperespectrales

X. Un espectro xT para un cierto píxel se multiplica entonces por el vector de regresión correspondiente b para producir el valor estimado:

imagen1

Obsérvese que yj es un escalar que es el resultado obtenido después de haber añadido la contribución de los índices de longitud de onda de 1 a j ≤ K. El mejor resultado se obtendrá usualmente después de que se hayan usado todas las K longitudes de onda relevantes. Habríamos necesitado realizar una multiplicación semejante para cada píxel de la imagen hiperespectral con el fin de obtener una imagen química predicha C. Esto lleva mucho tiempo, pero aquí, en esta invención, todo sucede en paralelo usando memorias intermedias de imagen completas y no almacenando más datos de los necesarios para realizar operaciones sencillas de adición y multiplicación. Supóngase que cada plano de imagen para el índice de longitud de onda j es Zj. De este modo, Zj es una imagen adecuada registrada a la longitud de onda j. Por tanto, la versión paralela de la Ecuación 3 es:

imagen1

Dado que no se almacenan todas las imágenes Zj, el proceso controlado a la velocidad del AOTF también puede escribirse como:

imagen1

Para lograr un rendimiento en tiempo real, deberán usarse componentes electrónicos muy rápidos en conexión con el AOTF. Además, el almacenamiento 16 que contiene a C deberá actualizarse a la máxima frecuencia de reloj en sincronización con el AOTF para entregar un rendimiento óptimo.

En ambos ejemplos, la cámara se controla en respuesta a los pasos de cálculo. De este modo, la finalización de una ronda de cálculos dispara la salida de la siguiente matriz de datos desde la cámara.

La figura 4A ilustra esquemática el funcionamiento de una realización de la invención, que es un aparato para mostrar imágenes químicas tales como las obtenidas en los ejemplos anteriores, y, específicamente, se refiere a un aparato que usa un filtro sintonizable según se describió anteriormente con referencia a la figura 2. Éste retroproyecta una imagen química de un objeto sobre ese objeto. La figura 5 ilustra este aparato 20 siendo usado por un usuario 21 para formar una imagen de un objeto 22. Una región 23 es donde la luz de desplaza desde el objeto hasta el aparato 20 y de vuelta desde el aparato cuando éste la proyecta sobre el objeto.

Volviendo a la figura 4A, la luz 24 procedente del objeto 22 (que está iluminado por luz natural) atraviesa una lente 31 de objetivo del aparato. En su trayectoria está dispuesto un espejo giratorio 25, y cuando el espejo es paralelo a la trayectoria de los rayos de luz 24, se permite que la luz pase a la cámara hiperespectral 26, que es de tipo AOTF. La salida de la cámara se transmite a un procesador 27, en donde se generan los datos de la imagen química. La cámara 26 y el procesador 27 funcionan de la manera antes expuesta, en la que una serie de imágenes monocromáticas se envían al procesador y la imagen se va construyendo por acumulación a medida que la cámara explora a través de las longitudes de onda apropiadas.

Los datos de imagen se transmiten posteriormente a un proyector 28, cuya imagen de salida se enfoca por una lente 30 hacia el espejo giratorio 25. Cuando el espejo está en la posición ilustrada, la imagen se refleja desde el espejo y vuelve a través de la lente 31 al objeto 22 representado como imagen.

Se apreciará que mientras gira el espejo, el aparato muestrea alternativamente luz procedente del objeto 22 y proyecta una imagen sobre él. El espejo gira a una velocidad suficiente para que se proporcione la impresión de una imagen continua.

Para minimizar la interferencia entre proyección y detección, en una realización modificada se realiza un filtrado adecuado de la luz de proyección. En casos en los que el detector hiperespectral esté funcionando fuera del rango visible, por ejemplo en el UV o infrarrojo (cercano), pueden usarse diversos filtros para bloquear cualesquiera contribuciones del proyector en el rango de detección de la cámara. Deberá señalarse que puede ser necesario enfriar tales filtros para evitar un sobrecalentamiento.

Cuando se usa proyectores de luz ordinarios no existe la necesidad de enfocar el sistema, lo cual se logra en esta realización utilizando un aparato de autoenfoque dinámico conocido (no mostrado) en el que se dispone un láser para medir rápidamente la distancia desde el proyector hasta la superficie. El láser se dispone en el cuerpo del aparato y está concebido para dirigir su haz paralelo al eje óptico de tal modo que se refleje desde la muestra que está siendo reproducida como imagen. Se detecta entonces la luz de láser reflejada y se ajusta en consecuencia el foco de la manera conocida. (En otras realizaciones pueden usarse técnicas de autoenfoque rápido conocidas alternativas). Cuando se mueve la cámara hiperespectral, el sistema de autoenfoque garantiza dinámicamente que permanezca en foco la imagen retroproyectada sobre la superficie.

En una realización adicional de la invención mostrada en la figura 4B, en vez del sistema de proyección de luz ordinario que se acaba de describir, se usa un sistema de proyección de láser para trazar imágenes sobre la superficie de muestra. La frecuencia de la luz usada para la proyección se elige de modo que esté desplazada significativamente con respecto a la usada para la formación de imágenes y, por tanto, no se requiere el espejo giratorio.

La disposición de componentes de esta realización se corresponde con la anteriormente descrita en relación a la figura 4A con las siguientes modificaciones (se usan números de referencia correspondientes a los de la figura 4A para componentes comunes). El proyector de luz y la lente normales se reemplazan por un proyector 28´ de láser y un espejo semiplateado 25´ se dispone en lugar del espejo giratorio para permitir la formación de imágenes y proyección simultáneas a lo largo de un eje común. De este modo, la luz de la muestra puede atravesar el espejo semiplateado hacia la cámara hiperespectral y la luz del proyector de láser se refleja desde el espejo 28´ y vuelve hacia la muestra.

Una ventaja del uso de luz de láser para proyección es que minimiza los problemas de enfoque. Además, la frecuencia de la luz usada para proyección se elige de modo que esté desplazada significativamente de la usada para la formación de imágenes con el fin de minimizar la interferencia entre las partes de detección y proyección del sistema. Esta realización, también tiene la ventaja de no requerir partes móviles, es decir, el espejo giratorio.

Por ejemplo, cuando se usa formación de imágenes en el infrarrojo cercano (es decir, 900-1500 nm), pueden usarse láseres con longitudes de onda de 500-600 nm para la proyección.

Se apreciará que en ambas realizaciones, en las que la luz ambiente no proporciona la frecuencia de iluminación adecuada, pueden disponerse entonces una fuente luminosa separada, ya sea integrada con el aparato o por separado.

Claims (9)

1. REIVINDICACIONES

   1.

   Un método para generar una imagen química o de propiedades de un objeto (22), que comprende los pasos de recibir luz procedente del objeto, obtener datos de imágenes hiperespectrales a partir de la luz, procesar los datos con el fin de proporcionar una imagen química o de propiedades, y proyectar luz que representa la imagen química o de propiedades sobre el objeto de tal manera que la luz proyectada coincida con el objeto reproducido como imagen para los compuestos o propiedades detectados en la imagen puedan localizarse sobre el objeto.

2. 2.

   Un aparato para generar una imagen química o de propiedades de un objeto, que comprende una cámara hiperespectral (20, 26) dispuesta para recibir luz procedente de un objeto (22) y para producir datos de imágenes hiperespectrales, un procesador (27) para procesar los datos hiperespectrales con el fin de proporcionar una imagen química o de propiedades, y un proyector (28, 28´) dispuesto para retroproyectar luz que representa la imagen química o de propiedades hacia el objeto, de tal manera que la imagen química o de propiedades se retroproyecte en coincidencia con el objeto reproducido como imagen.

3. 3.

   Un aparato según la reivindicación 2, en el que la luz entra en la cámara a lo largo del mismo eje óptico cuando se retransmite la imagen hacia el objeto.

4. 4.

   Un aparato según la reivindicación 3, que comprende un espejo giratorio (25) dispuesto para permitir que la luz procedente de la escena reproducida como imagen entre en el aparato a través del mismo sistema óptico que el que retroproyecta la imagen.

5. 5.

   Un aparato según la reivindicación 3, que comprende un espejo semiplateado (25´) dispuesto para permitir que la luz procedente de la escena reproducida como imagen entre en el aparato a través del mismo sistema óptico que el que retroproyecta la imagen.

6. 6.

   Un aparato según cualquiera de las reivindicaciones 2 a 5, que comprende un sistema de proyección de láser (28´) para proyectar imágenes sobre la superficie de una muestra, en el que la longitud de onda operativa del láser se selecciona de modo que esté fuera del rango de detección de la cámara hiperespectral.

7. 7.

   Un aparato según cualquiera de las reivindicaciones 2 a 6, que comprende un sistema de autoenfoque que actualiza en tiempo real el foco del proyector de luz.

8. 8.

   Un aparato según cualquiera de las reivindicaciones 2 a 6, en el que se disponen uno o más filtros para eliminar o reducir el solape de las frecuencias de luz recibida y luz proyectada.

9. 9.

   Un aparato según la reivindicación 5, en el que se dispone un filtro para filtrar la luz recibida antes de que sea recibida por la cámara y/o se dispone un filtro para filtrar la luz proyectada.