ES2837055T3 - Sistema y procedimiento de adquisición de imágenes visibles en el infrarrojo cercano por medio de un sensor matricial único - Google Patents

Sistema y procedimiento de adquisición de imágenes visibles en el infrarrojo cercano por medio de un sensor matricial único Download PDF

Info

Publication number
ES2837055T3
ES2837055T3 ES16808629T ES16808629T ES2837055T3 ES 2837055 T3 ES2837055 T3 ES 2837055T3 ES 16808629 T ES16808629 T ES 16808629T ES 16808629 T ES16808629 T ES 16808629T ES 2837055 T3 ES2837055 T3 ES 2837055T3
Authority
ES
Spain
Prior art keywords
image
pixels
panchromatic
images
sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16808629T
Other languages
English (en)
Inventor
Raphaël Horak
Yves Courcol
Ludovic Perruchot
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Application granted granted Critical
Publication of ES2837055T3 publication Critical patent/ES2837055T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Sistema de adquisición de imágenes (SAI) que comprende: - un sensor matricial (CM) que comprende una disposición bidimensional de píxeles, estando cada píxel adaptado para generar una señal eléctrica representativa de la intensidad luminosa en un punto de una imagen óptica (IO) de una escena (SC); y - un circuito de procesamiento de señales (CTS) configurado para procesar las señales eléctricas generadas por dichos píxeles para generar imágenes digitales (IVIS, IPIR) de dicha escena; en el que dicho sensor matricial comprende una disposición bidimensional: - píxeles, llamados coloreados, de al menos un primer tipo (PV), sensibles a la luz visible en un primer rango espectral; un segundo tipo (PB), sensibles a la luz visible en un segundo rango espectral diferente al primero; y un tercer tipo (PR), sensibles a la luz visible en un tercer rango espectral diferente al primero y al segundo, una combinación de los rangos espectrales de los diferentes tipos de píxeles coloreados que reconstituyen el conjunto del espectro visible; - y píxeles, llamados pancromáticos, (PM), sensibles al conjunto del espectro visible, siendo al menos los píxeles pancromáticos también sensibles al infrarrojo cercano; caracterizado porque dicho circuito de procesamiento de señales está configurado para: - reconstruir un primer conjunto de imágenes monocromáticas (IVPB, IBPB, IRPB) a partir de las señales eléctricas generadas solo por los píxeles coloreados; - reconstruir una imagen pancromática (IMPB) a partir de las señales eléctricas generadas por los píxeles pancromáticos; - reconstruir un segundo conjunto de imágenes monocromáticas (IV *PB, IB*PB, IR*PB) a partir de las señales eléctricas generadas por los píxeles coloreados, y de dicha imagen pancromática, conteniendo estas imágenes contribuciones que provienen de un componente infrarrojo de la imagen óptica; - reconstruir una imagen en colores (IVIS), sustancialmente exenta de las contribuciones que provienen de un componente infrarrojo de la imagen óptica, por aplicación de una primera matriz de colorimetría (MCol1) a las imágenes monocromáticas del primer conjunto y a dicha imagen pancromática; - reconstruir una imagen en el infrarrojo cercano (IPIR) por aplicación de una segunda matriz (MCol2) de colorimetría al menos a las imágenes monocromáticas del segundo conjunto y a dicha imagen pancromática; y - proporcionar como salida dicha imagen en colores y dicha o al menos una de dichas imágenes en el infrarrojo cercano.

Description

DESCRIPCIÓN
Sistema y procedimiento de adquisición de imágenes visibles en el infrarrojo cercano por medio de un sensor matricial único
La invención se refiere a un sistema de adquisición de imágenes visibles en el infrarrojo cercano, sobre una cámara biespectral - visible de infrarrojo cercano que comprende tal sistema y sobre un procedimiento de adquisición simultánea de imágenes en colores y en el infrarrojo cercano por uso de tal cámara.
El "infrarrojo cercano" ("PIR" o "NIR", acrónimo de la expresión inglesa "Near InfraRed") corresponde a la banda espectral 700-1100 nm, mientras que la luz visible oscila entre 350 y 700 nm. A veces se considera que el infrarrojo cercano comienza en 800 nm, siendo la banda intermedia 700 - 800 nm eliminada con ayuda de un filtro óptico.
La invención se puede aplicar tanto en los sectores de la defensa y seguridad (por ejemplo, para la visión nocturna) como en la electrónica de consumo.
Convencionalmente, imágenes de luz visible (en adelante, "imágenes visibles" en aras de la brevedad), generalmente en colores, y las imágenes de infrarrojo cercano se adquieren de manera independiente por medio de dos sensores matriciales separados. Con el fin de reducir el volumen, estos dos sensores se pueden asociar a un sistema óptico formador de imágenes único por medio de una lámina separadora dicroica, para formar una cámara biespectral.
Tal configuración presenta cierto número de inconvenientes. En primer lugar, el uso de dos sensores independientes y una lámina separadora aumenta el coste, el volumen, el consumo eléctrico y el peso de una cámara biespectral, lo que es especialmente problemático en aplicaciones a bordo, por ejemplo, en el aire. Además, el sistema óptico debe estar especialmente adaptado para esta aplicación, lo que limita las posibilidades de uso de ópticas comerciales, aumentando cada vez más los costes.
También se ha propuesto, esencialmente en los trabajos de tipo académico, utilizar un solo sensor matricial para la adquisición de imágenes visibles y en el infrarrojo cercano. En efecto, los sensores de silicio comúnmente usados en cámaras digitales presentan una sensibilidad que se extiende desde el visible hasta el infrarrojo cercano; de hecho, las cámaras destinadas a operar únicamente en la zona visible están equipadas con un filtro óptico destinado a evitar la contaminación de la imagen por el componente infrarrojo.
Los documentos:
- D. Kiku y col. "Simultaneously Capturing of RGB and Additional Band Images using Hybrid Color Filter Array", Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol. 9023 (2014); y
- US 8,619,143 describen sensores matriciales que constan de píxeles
de cuatro tipos diferentes: píxeles sensibles a la luz azul, con luz verde y luz roja como en los sensores "RGB" convencionales, pero también píxeles "grises", sensibles únicamente a la radiación PIR. De manera convencional, estos diferentes tipos de píxeles se obtienen depositando filtros absorbentes, formando una matriz de filtros de color, sobre sensores elementales de silicio que son, por ellos mismos, "pancromáticos", es decir, sensibles a toda la banda visible y cercana infrarroja. En general, los pigmentos utilizados para realizar estos filtros son transparentes en el infrarrojo cercano; las imágenes adquiridas por los píxeles "rojos", "verdes" y "azules", por lo tanto, se ven afectados por el componente infrarrojo de la luz incidente (ya que el filtro óptico utilizado en las cámaras convencionales es, evidentemente, ausente) y el procesamiento digital es necesario para recuperar colores cercanos a la realidad.
Los documentos:
- Z. Sadeghipoor y col. "Designing Color Filter Arrays for the Joint Capture of Visible and Near-Infrared images", 16a IEEE Conference on Image Processing (2009);
- Z. Sadeghipoor y col. "Correlation-Based Joint Acquisition and Demosaicing of Visible and Near-Infrared Image", 18a ie e e Conference on Image Processing (2011)
describen sensores que presentan una matriz de filtro de colores más compleja, destinada a optimizar la reconstrucción de imágenes visibles e infrarrojas.
De manera inversa, el documento
- Z. Sadeghipoor y col. "A Novel Compressive Sensing Approach to Simultaneously Acquire Color and Near Infrared Images on a Single Sensor" Proc. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Vancouver, Canadá (2013)
describe un sensor cuya matriz de filtros de color es cercana, pero ligeramente diferente, a la llamada matriz "de Bayer", que se usa más comúnmente en cámaras a colores. Una matriz de Bayer convencional no permitiría separar los componentes visible e infrarrojo.
Estos enfoques utilizan sensores en los que todos los píxeles están equipados con un filtro espectral. Ahora bien, con el fin de realizar cámaras de alta sensibilidad, es ventajoso utilizar sensores que también comprenden píxeles pancromáticos, sin filtros. En algunos casos, incluso se utilizan los denominados sensores "dispersos" ("sparse", en inglés), que constan de un alto porcentaje de píxeles pancromáticos con el fin de captar la mayor parte de la radiación incidente. Estos sensores aprovechan el hecho de que la crominancia de una imagen se puede muestrear con respecto a su luminancia sin que un observador perciba una degradación significativa en su calidad.
El documento:
- D. Hertel y col. WA low-cost VIS-NIR true color night vision video system based on a wide dynamic range CMOS imager", IEEE Intelligent Vehicles Symposium, 2009, páginas 273-278;
describe el uso de un sensor que comprende píxeles coloreados y píxeles pancromáticos para la adquisición simultánea de imágenes visibles y en el infrarrojo cercano. No se explica el procedimiento de construcción de las imágenes PIR y no se muestra ningún ejemplo de tales imágenes; solo se muestran imágenes monocromáticas de "banda completa" aprovechables en condiciones de poca iluminación. Por otra parte, este artículo solo se refiere al caso de un sensor "RGBM", que contiene solo un 25 % de píxeles pancromáticos, lo que limita en gran medida la ganancia de sensibilidad que se puede lograr.
La invención tiene como objetivo superar los inconvenientes y limitaciones citados anteriormente de la técnica anterior. Más precisamente, su objetivo es proporcionar un sistema para la adquisición simultánea de imágenes visibles y PIR que presenten una alta sensibilidad y que permitan obtener imágenes de alta calidad. Preferentemente, la invención permite el uso de sensores matriciales y sistemas ópticos comerciales ("componentes estándar" o, COTS el inglés "comerciales estándar").
De conformidad con la invención, se obtiene una alta sensibilidad gracias al uso de sensores que comprenden tanto píxeles coloreados (comprendiendo o no píxeles "grises" sensibles a PIR) como píxeles pancromáticos en un número bastante alto (preferentemente superior en número a una cuarta parte de los píxeles), y preferentemente sensores dispersos; se obtiene una alta calidad de imagen mediante la implementación de un procesamiento digital innovador. De manera más precisa, este procesamiento consta de la reconstrucción de una imagen pancromática y de dos imágenes visibles "intermedias" en colores. Estas dos imágenes visibles intermedias se obtienen por medio de dos procesamientos diferentes: uno, que se puede calificar como "intracanal", aprovecha solo las señales de píxeles coloreados, mientras que el otro, que se puede calificar como "intercanal", también aprovecha la imagen pancromática. La imagen PIR se obtiene de la imagen en color "intercanales" y la imagen pancromática, mientras que la imagen en color se obtiene combinando la imagen intermedia "intracanal" con la imagen pancromática.
Por lo tanto, un objeto de la invención es un sistema de adquisición de imágenes que comprende: un sensor matricial que comprende una disposición bidimensional de píxeles, estando cada píxel adaptado para generar una señal eléctrica representativa de la intensidad luminosa en un punto de una imagen óptica de una escena; y un circuito de procesamiento de señales configurado para procesar las señales eléctricas generadas por dichos píxeles para generar imágenes digitales de dicha escena; en el que dicho sensor matricial comprende una disposición bidimensional: píxeles, llamados coloreados, de al menos un primer tipo, sensibles a la luz visible en un primer rango espectral; un segundo tipo, sensibles a la luz visible en un segundo rango espectral diferente al primero; y un tercer tipo, sensibles a la luz visible en un tercer rango espectral diferente al primero y al segundo, una combinación de los rangos espectrales de los diferentes tipos de píxeles coloreados que reconstituyen el conjunto del espectro visible; y píxeles, llamados pancromáticos, sensibles al conjunto del espectro visible, siendo al menos los píxeles pancromáticos también sensibles al infrarrojo cercano; caracterizado porque dicho circuito de procesamiento de señales está configurado para: reconstruir un primer conjunto de imágenes monocromáticas a partir de las señales eléctricas generadas por los píxeles coloreados; reconstruir una imagen pancromática a partir de las señales eléctricas generadas por los píxeles pancromáticos; reconstruir un segundo conjunto de imágenes monocromáticas a partir de las señales eléctricas generadas por los píxeles coloreados, y de dicha imagen pancromática; reconstruir una imagen en colores por aplicación de una primera matriz de colorimetría a las imágenes monocromáticas del primer conjunto ya dicha imagen pancromática; reconstruir al menos una imagen en el infrarrojo cercano por aplicación de una segunda matriz de colorimetría al menos a las imágenes monocromáticas del segundo conjunto y a dicha imagen pancromática; y proporcionar dicha imagen en colores y dicha o al menos una de dicha imagen en el infrarrojo cercano en la salida. Las imágenes del primer conjunto se obtienen únicamente de las señales eléctricas generadas por los píxeles coloreados, sin contribución de las señales eléctricas generadas por los píxeles pancromáticos. Además, la primera matriz de colorimetría será tal que la imagen en color producida en la salida esté sustancialmente libre de contribuciones que se originen en un componente infrarrojo de la imagen óptica, mientras que las imágenes del segundo conjunto comprenderán tales contribuciones.
Según modos de realización particulares de la invención:
- Dichos píxeles coloreados pueden comprender únicamente los píxeles de dichos primer, segundo y tercer tipo, que también son sensibles al infrarrojo cercano. Más particularmente, los píxeles de entre uno del primer, el segundo y el tercer tipo pueden ser sensibles a la luz verde, los de otro entre el primer, el segundo y el tercer tipo ser sensibles a la luz azul y los del tipo que queda entre el primer, el segundo y el tercer tipo ser sensibles a la luz roja.
- Dicho sensor matricial puede ser del tipo disperso, siendo más de un cuarto y preferentemente pancromáticos al menos la mitad de sus píxeles pancromáticos.
- Dicho circuito de procesamiento de señales puede configurarse para reconstruir las imágenes monocromáticas de dicho primer conjunto por aplicación de un procedimiento que comprende las siguientes etapas: determinar la intensidad luminosa asociada a cada píxel de dicho primer tipo y reconstruir una primera imagen monocromática de dicho primer conjunto por interpolación de dichas intensidades luminosas; determinar la intensidad luminosa asociada con cada píxel coloreado de los otros tipos, y restar de la misma un valor representativo de la intensidad asociada con un píxel correspondiente de dicha primera imagen monocromática; reconstruir nuevas imágenes monocromáticas por interpolación de los valores de intensidad luminosa de los respectivos píxeles coloreados de dichos otros tipos, a los que se han restado dichos valores representativos de la intensidad asociada a un píxel correspondiente de dicha primera imagen monocromática, luego combinar estas nuevas imágenes reconstruidas con dicha primera imagen monocromática para obtener las respectivas imágenes monocromáticas finales de dicho primer conjunto.
- Dicho circuito de procesamiento de señales puede estar configurado para reconstruir dicha imagen pancromática interpolando señales eléctricas generadas por los píxeles pancromáticos.
- Dicho circuito de procesamiento de señales puede estar configurado para reconstruir las imágenes monocromáticas de dicho segundo conjunto calculando el nivel de luminancia de cada píxel de cada una de dichas imágenes aplicando una función lineal, definida localmente, a la luminancia del píxel correspondiente en la imagen pancromática.
- Como variante, dicho circuito de procesamiento de señales puede estar configurado para reconstruir las imágenes monocromáticas de dicho segundo conjunto calculando el nivel de luminancia de cada píxel de cada dicha imagen por medio de una función no lineal de los niveles de luminancia de una pluralidad de píxeles de la imagen pancromática en una vecindad del píxel de dicha imagen pancromática correspondiente a dicho píxel de dicha imagen del segundo conjunto y/o de la intensidad luminosa de una pluralidad de píxeles coloreados.
- Dicho sensor matricial puede estar constituido por una repetición periódica de bloques que contienen distribuciones pseudoaleatorias de píxeles de los diferentes tipos y en el que dicho circuito de procesamiento de señales está configurado para: extraer motivos regulares de píxeles de mismos tipos de dicho sensor matricial; y reconstruir dichos primer y segundo conjuntos de imágenes monocromáticas procesando de manera paralela dichos motivos regulares de píxeles de mismos tipos.
- Dicho circuito de procesamiento de señales también puede estar configurado para reconstruir una imagen monocromática de bajo nivel de luz aplicando una tercera matriz de colorimetría al menos a las imágenes monocromáticas del segundo conjunto ya dicha imagen pancromática.
- Dicho sensor matricial puede comprender también comprende una disposición bidimensional de píxeles (PI) únicamente sensibles al infrarrojo cercano, y en el que dicho circuito de procesamiento de señales está configurado para reconstruir dicha imagen en el infrarrojo cercano también de las señales eléctricas generadas por estos píxeles.
- El sistema puede comprender también un accionador para producir un desplazamiento periódico relativo entre el sensor matricial y la imagen óptica estando el sensor matricial adaptado para reconstruir dicho primer y segundo conjuntos de imágenes monocromáticas y dicha imagen pancromática a partir de señales eléctricas generadas por los píxeles del sensor matricial en correspondencia con una pluralidad de posiciones relativas distintas del sensor matricial y de la imagen óptica.
- Dicho circuito de procesamiento de señales puede realizarse de un circuito lógico programable.
Otro objeto de la invención es una cámara visible biespectral - de infrarrojo cercano que comprende tal sistema de adquisición de imágenes y un sistema óptico adecuado para formar una imagen óptica de una escena sobre un sensor matricial del sistema de adquisición de imágenes, sin filtrado de infrarrojo cercano.
Otro objeto más de la invención es un procedimiento para la adquisición simultánea de imágenes en colores y en el infrarrojo cercano mediante el uso de tal cámara biespectral.
Otras características, detalles y ventajas de la invención se pondrán de manifiesto a la lectura de la descripción hecha con referencia a los dibujos adjuntos dados a título de ejemplo y que representan, respectivamente:
- La figura 1A, el esquema funcional de una cámara según un modo de realización de la invención;
- La figura 1B, gráficos que ilustran la respuesta espectral de los píxeles del sensor matricial de la cámara de la figura 1A;
- La figura 2, un esquema funcional del procesamiento implementado por el procesador de la cámara de la figura 1A según un modo de realización de la invención;
- Las figuras 3A a 6C, esquemas que ilustran diferentes etapas del procesamiento de la figura 2;
- Las figuras 7A y 7B, dos esquemas que ilustran dos variantes de un procesamiento implementado en un modo de realización particular de la invención;
- La figura 8, un sensor matricial de un sistema de adquisición de imágenes según otra variante de la invención; - Las figuras 9A y 9B, imágenes que ilustran los resultados técnicos de la invención.
La figura 1A muestra el esquema funcional, muy simplificado, de una cámara visible biespectral - de infrarrojo cercano CBS según un modo de realización de la invención. La cámara CBS comprende un sistema óptico SO, generalmente basado en lentes, que forma una imagen óptica IO de una escena observada SC. La imagen IO se forma en la superficie de un sensor matricial CM, que comprende una disposición bidimensional de píxeles; cada píxel produce una señal eléctrica representativa de la intensidad luminosa del punto (de hecho, de una pequeña región) correspondiente a la imagen óptica, ponderado por su curva de sensibilidad espectral. Estas señales eléctricas, generalmente después de ser convertidas a formato digital, son procesadas por un circuito de procesamiento CTS que proporciona imágenes digitales en su salida: una primera imagen en colores (compuesta por tres imágenes monocromáticas de diferentes colores) Ivis y una segunda imagen, monocromática, en el infrarrojo cercano. Opcionalmente, el circuito de procesamiento CTS también puede proporcionar en la salida una imagen monocromática visible Ibnl, útil en particular cuando la escena observada presenta un nivel bajo de brillo. El sensor matricial CM y el circuito de procesamiento CTS constituyen lo que en adelante se denominará un sistema de adquisición de imágenes. El circuito CTS puede ser un microprocesador, preferentemente especializado para el procesamiento de señales digitales (DSP, del inglés "Digital Signal Processor") programado de manera oportuna, o un circuito digital dedicado, producido, por ejemplo, a partir de un circuito lógico programable tal como un FPGA; sin embargo, también puede ser un circuito integrado específico (ASIC, del inglés "Application Specific Integrated Circuit").
El sensor matricial puede ser del tipo CCD o CMOS; en este último caso, puede integrar un convertidor de analógico a digital para suministrar señales digitales directamente a su salida. En cualquier caso, comprende al menos cuatro tipos diferentes de píxeles: los tres primeros tipos sensibles a las bandas espectrales correspondientes a los colores que, mezclados, restituyen el blanco de la banda espectral visible (típicamente rojo, verde y azul) y un cuarto tipo "pancromático". En un modo de realización preferido, todos estos tipos de píxeles también exhiben una sensibilidad distinta de cero en el infrarrojo cercano, que es el caso de los sensores de silicio. Esta sensibilidad en el infrarrojo cercano generalmente se considera como una molestia, y se suprime con ayuda de un filtro óptico, pero es aprovechado por la invención. Ventajosamente, todos los píxeles presentan la misma estructura y solo se diferencian por una capa filtrante en su superficie (ausente en el caso de los píxeles pancromáticos), generalmente a base de polímeros. La figura 1B muestra las curvas de sensibilidad de los píxeles rojos (Rpb), verde (Vpb), azul (Bpb) y pancromáticos (Mpb). Cabe señalar que la sensibilidad en el infrarrojo cercano es sustancialmente la misma para los cuatro tipos de píxeles. El índice "PB" significa "banda completa", para indicar que no se ha filtrado el componente infrarrojo de la radiación incidente.
Como se explicará en detalle más adelante, con referencia a la figura 8, el sensor también puede comprender píxeles de un quinto tipo, sensibles únicamente al infrarrojo cercano.
La figura identifica los rangos espectrales visibles (350 - 700 nm) VIS y del infrarrojo cercano (800 - 1100) PIR. La banda intermedia (700 - 800 nm) se puede filtrar, pero esto no es ventajoso en el caso de la invención; más útil, se puede considerar como infrarrojo cercano.
Ventajosamente, el sensor matricial CM puede ser "disperso", lo que significa que los píxeles pancromáticos son al menos tan numerosos, y preferentemente más numerosos, que los de cada uno de los tres colores. Ventajosamente, al menos la mitad de los píxeles son pancromáticos. Esto mejora la sensibilidad del sensor porque los píxeles pancromáticos, sin constar de ningún filtro, reciben más luz que los píxeles coloreados.
La disposición de los píxeles puede ser pseudoaleatoria, pero preferentemente es regular (es decir, periódica según las dos dimensiones espaciales) para facilitar las operaciones de procesamiento de imágenes. En particular, puede ser una periodicidad en un motivo aleatorio, es decir, de una repetición periódica de bloques en el interior de los cuales los píxeles se distribuyen de forma pseudoaleatoria.
A modo de ejemplo, la parte izquierda de la figura 3A muestra el esquema de un sensor matricial en el que cada segundo píxel es del tipo pancromático (PM), uno de cada cuatro es verde (PV), uno de cada ocho es rojo (PR) y uno de cada ocho es azul (PB). El hecho de que los píxeles verdes superen en número a los rojos o azules en este ejemplo refleja el hecho de que el ojo humano exhibe una sensibilidad máxima para ese color, pero esta proporción entre píxeles verdes, azules y rojos no son obligatorios en la invención (gestiona cualquier otra proporción existente entre estos diferentes tipos de píxeles).
También es posible utilizar un sensor obtenido por la repetición regular de un bloque de dimensiones MxN que contiene una distribución de píxeles pancromáticos y coloreados pseudoaleatorios (pero con una distribución controlada entre estos diferentes tipos de píxeles).
Por ejemplo, la figura 3B muestra un esquema del sensor, llamado "1/16" ("1/N" que quiere decir que un píxel de N es azul o rojo), para lo cual se distinguen esquemas de 4x4 píxeles repetidos, en el que se distribuyen aleatoriamente 12 píxeles de tipo pancromático, 1 píxel de tipo rojo, 1 píxel de tipo azul y 2 píxeles de tipo verde. Se entenderá que son posibles varias configuraciones de motivos de distribución aleatorios, ya sea en la figura 3A (disperso de tipo "1/8") o 3B (disperso de tipo "1/16"). Ciertos motivos pueden elegirse de manera preferencial por su rendimiento obtenido en las imágenes de salida con los procesamientos que se describirán más adelante.
También es posible utilizar más de tres tipos de píxeles coloreados, con diferentes bandas de sensibilidad, con el fin de obtener una pluralidad de imágenes visibles (y, en caso necesario, en el infrarrojo cercano) monocromáticas correspondientes a estas bandas. De este modo, es posible obtener imágenes hiperespectrales.
Por otra parte, no es esencial que los píxeles coloreados (o todos ellos) sean sensibles al infrarrojo cercano: puede ser suficiente que los píxeles pancromáticos lo sean.
La figura 2 ilustra esquemáticamente el procesamiento implementado por el circuito de procesamiento CTS. Las diversas etapas de este procesamiento se detallarán más adelante con referencia a las figuras 3A a 6C.
El circuito CTS recibe como entrada un conjunto de señales digitales que representan los valores de intensidad luminosa detectados por los diferentes píxeles del sensor matricial CM. En la figura, este conjunto de señales se designa con la expresión "imagen dispersa de banda completa". La primera operación de procesamiento consiste en extraer de este conjunto las señales correspondientes a los píxeles de los diferentes tipos. Considerando el caso de una disposición regular de bloques de píxeles MxN (M>1 y/o N>1), se habla de la extracción de "motivos" Rpb (banda completa roja), Vpb (banda completa verde), pb (banda completa azul) y Mpb (pancromático de banda completa). Estos motivos ("patterns" en inglés) corresponden a imágenes submuestreadas, o "con agujeros"; por lo tanto, es necesario reconstruir imágenes completas, muestreadas en el paso del sensor matricial.
La reconstrucción de una imagen pancromática de banda completa IMpb es la operación más simple, en particular cuando los píxeles pancromáticos son los más numerosos. Tal sería el caso de a figura 3, donde un píxel de dos es pancromático. La intensidad luminosa correspondiente a los píxeles "faltantes" (es decir, azul, verde o rojo y, por lo tanto, no se puede utilizar directamente para reconstruir la imagen pancromática) se puede calcular, por ejemplo, mediante una simple interpolación bilineal. El procedimiento que ha demostrado ser más eficaz es el denominado procedimiento "de medianas": a cada píxel "faltante" se le atribuye un valor de intensidad luminosa que es la mediana de los valores de intensidad luminosa medidos por los píxeles pancromáticos que constituyen sus vecinos más cercanos.
La reconstrucción de imágenes coloreadas (rojo, verde, azul) de banda completa se realiza dos veces, por medio de dos procedimientos diferentes. Un primer procedimiento se llama "intracanal", porque solo usa los píxeles coloreados para reconstruir las imágenes coloreadas; un segundo procedimiento se llama "intercanales", porque también utiliza la información de los píxeles pancromáticos. Más adelante se describirán ejemplos de tales procedimientos, con referencia a las figuras 4A - 4D (intracanal) y 5 (intercanales). Convencionalmente, solo se utilizan procedimientos intracanal.
Las imágenes de banda completa, si se obtienen por un procedimiento intracanal o intercanales no son directamente aprovechables, porque están "contaminados" por el componente PIR (infrarrojo cercano) no filtrado por el sistema óptico. Este componente PIR se puede eliminar combinando las imágenes de banda completa iRpb, IVpb, IBpb obtenidas por el procedimiento intracanal con la imagen pancromática de banda completa por medio de una primera matriz de colorimetría (referencia MCol1 en la figura 6A). Se obtiene de este modo una imagen visible en colores Ivis, formada por tres subimágenes monocromáticas IR, IV, IB rojo, verde y azul, respectivamente.
Las imágenes de banda completa IR*pb, IV*pb, IB*pb obtenidas por el procedimiento intercanales son, ellas también, combinadas con la imagen pancromática de banda completa por medio de una segunda matriz de colorimetría (referencia MCol2 en la figura 6B). Los elementos de esta matriz, que sirven como coeficientes de la combinación, se eligen para permitir la obtención de una imagen en el infrarrojo cercano Ipir (o, de manera más precisa, une imagen monocromática, generalmente en blanco y negro, representativa de la luminancia de la imagen IO en el rango espectral del infrarrojo cercano).
Opcionalmente, la combinación de imágenes IR de banda completa IR*pb, IV*pb, IB*pb obtenidas por el procedimiento intercanales con la imagen pancromática de banda completa por medio de una tercera matriz de colorimetría (referencia MCol3 en la figura 6C) permite obtener una imagen monocromática Ibnl representativa de la luminancia de la imagen IO en todo el rango espectral visible, pero sin contaminación por componentes infrarrojos. Como aprovecha las señales procedentes de los sensores pancromáticos, más numerosos y desprovistos de filtro, esta imagen puede ser más luminosa que la imagen en colores Ivis y por lo tanto particularmente adecuado para condiciones de poca iluminación. Es importante señalar que la imagen Ibnl no contiene ninguna contribución en el infrarrojo cercano, que es por así decirlo filtrado digitalmente. Por el contrario, el mencionado artículo de D. Hertel y col. describe la obtención de una imagen de "bajo nivel de luz" que combina imágenes visibles en el infrarrojo cercano. Tal imagen es visualmente diferente de una imagen puramente visible, como Ibnl.
En ciertos casos, se podría estar interesado únicamente en la imagen del infrarrojo cercano Ipir y eventualmente por la imagen visible monocromática con baja luminosidad Ibnl. En esos casos, no sería necesario implementar el procedimiento de reconstrucción intracanal.
Se describirá ahora un procedimiento ventajoso de reconstrucción de imágenes del tipo "intracanal" con referencia a las figuras 4A-4D. Esta descripción se da únicamente a modo de ejemplo porque muchos otros procedimientos conocidos en la literatura (enfoques de difusión, por ondeletas, por constancia de tinte...) puede ser adecuado para la implementación de la invención.
En el sensor matricial de la figura 3A, los píxeles azules se reagrupan en submotivos regulares (o subpatrones). El motivo MPB formado por estos píxeles se puede dividir en dos submotivos SMPB1, SMPB2 idénticos entre sí, pero desfasados espacialmente; cada uno de estos submotivos presenta cuatro píxeles azules en las esquinas de un cuadrado de 5 x 5 píxeles; esto se ilustra en la figura 4A. Este procedimiento de descomposición en submotivos regulares es aplicable a píxeles de diferentes tipos independientemente de la disposición aleatoria de estos definidos en un bloque de M * N píxeles. En particular, cuando el circuito de procesamiento CTS se realiza por medio de un circuito digital dedicado, es ventajoso descomponer el motivo MPV en submotivos que se pueden procesar en paralelo.
La figura 4B ilustra un caso donde el motivo de píxeles verdes se descompone en cuatro submotivos SMPV1, SMPV2, SMPV3 y SMPV4. Las Imágenes monocromáticas en verde completo, IVpb1, IVpb2, IVpb3, IVpb4, se obtienen por interpolación bilineal de estos submotivos. Luego una imagen monocromática verde "en banda completa" IVPB se obtiene promediándolos.
La reconstrucción de imágenes rojas y azules en banda completa es un poco más compleja. Se basa en un procedimiento cercano a la "constancia de tinte" descrita en la Patente de Estados Unidos US 4,642,678.
En primer lugar, se resta la imagen verde de banda completa IVPB de los motivos de píxeles rojos y azules. Más precisamente, esto significa que restamos de la señal procedente de cada píxel rojo o azul un valor representativo de la intensidad del píxel correspondiente de la imagen verde en la banda IV completa.PB. El motivo de píxeles rojos se descompone en dos submotivos SMPR1, SMPR2; después de la resta obtenemos los submotivos modificados SMPR1', SMPR2'; también, el motivo de píxeles azules se descompone en dos submotivos SMPB1, SMPB2; después de la resta obtenemos los submotivos modificados SMPB1', SMPB2'. Esto se ilustra en la figura 4C.
A continuación, como se ilustra en la figura 4D, imágenes IR1'pb, IR2'pb se obtienen por interpolación bilineal de los submotivos rojos y se promedian para proporcionar una imagen roja modificada con IRpb'. Asimismo, imágenes IB1'pb, IB2'pb se obtienen por interpolación bilineal de los submotivos rojos y se promedian para proporcionar una imagen azul modificada con IBpb'.
La imagen de banda roja completa IRpb y la imagen azul de banda completa IBpb se obtienen agregando la imagen verde de banda completa IVpb a imágenes rojas y azules modificadas IRpb', IBpb'.
El interés de proceder de esta manera, restando la imagen verde reconstruida de los motivos de píxeles rojos y azules para agregarla al final del procesamiento, es que los motivos modificados presentan una dinámica de intensidad baja, lo que permite reducir los errores de interpolación. El problema es menos agudo para el verde, que se muestrea con más precisión.
La reconstrucción intercanales se realiza de forma diferente. Aprovecha explícitamente los píxeles pancromáticos, a diferencia de la reconstrucción intracanales que solo aprovecha los píxeles rojos, verdes, azules. A modo de ejemplo, puede llevarse a cabo por medio de un algoritmo que puede calificarse de "ley monocromática", que se ilustra con la ayuda de las figuras 5A y 5B. La idea detrás de este algoritmo es que los componentes coloreados- verde, rojo y azul - generalmente presentan variaciones espaciales que aproximadamente "siguen" a las del componente pancromático. Por lo tanto, se puede utilizar el componente pancromático, reconstituido por interpolación bilineal aprovechando su muestreo espacial más denso, para calcular el nivel de luminancia de los píxeles faltantes de los componentes coloreados. Más particularmente, el nivel de luminancia de cada píxel coloreado se puede determinar aplicando una función lineal o afín a la luminancia del píxel correspondiente de la imagen pancromática. La función lineal o afín en cuestión se determina localmente y depende del nivel de luminancia de los píxeles coloreados cercanos ya conocidos (porque se midieron directamente o ya se calcularon).
La figura 5A se refiere al caso de un sensor disperso en el que solo una línea de cuatro contiene píxeles azules; en el seno de estas líneas, un píxel de cuatro es azul. También se dispone de una imagen pancromática "completa", definida para todos los píxeles del sensor, obtenida de la manera descrita anteriormente con referencia a la figura 3. La figura 5B muestra un segmento del sensor matricial que comprende dos píxeles azules separados por tres píxeles para los que no está definido el componente azul; superpuesto en esta porción de línea, se dispone una porción de imagen pancromática, definida sobre todos los píxeles. Se designa por C1 y C5 las luminancias conocidas de los dos píxeles azules (más generalmente, coloreados) en los extremos del segmento de línea, por C2, C3 et C4 las luminancias - a calcular - del componente azul en correspondencia de tres píxeles intermediarios, y por M1 - M5 las luminancias, conocidas, de la imagen pancromática en correspondencia de estos mismos píxeles.
La primera etapa del procedimiento consiste en reconstruir las líneas del componente azul de la imagen con ayuda de la imagen pancromática; solo las líneas que contienen los píxeles azules se reconstruyen de esta manera, o bien, una de cada cuatro líneas. Al final de esta etapa, se dispone de líneas azules completas, separadas por líneas en las que el componente azul no está definido. Si interesan las columnas, se hace notar que en cada columna un píxel de cada cuatro píxeles es azul. Por lo tanto, podemos reconstituir columnas azules por interpolación con la ayuda del conocimiento de la imagen pancromática, como se hizo con las líneas. Se procede de la misma forma para los componentes verde y rojo.
La aplicación de la ley monocromática para reconstruir un componente coloreado de la imagen procede de la siguiente manera.
Interesan los píxeles M1 a M5 de la imagen pancromática reconstruida ubicada entre dos píxeles C1 y C5 del motivo del color considerado, comprendiendo los píxeles extremos M1, M5 que se coubican junto con estos dos píxeles coloreados. Luego se determina si la porción correspondiente de la imagen pancromática puede considerarse uniforme. Para hacer esto, se compara la variación total de luminancia pancromática entre M1 y M5 con un umbral Th. Si |M5 - M1|< Th, entonces la zona se considera uniforme, de lo contrario, se considera no uniforme.
Si la zona de la imagen pancromática se considera uniforme, se verifica si la luminancia pancromática total M1+M2+M3+M4+M5 es inferior a un umbral, función en particular del ruido térmico, en cuyo caso la imagen pancromática no contiene ninguna información aprovechables y la reconstrucción del componente coloreado (más precisamente: el cálculo de la luminancia de los píxeles coloreados C2 , C3 et C4) se realiza por interpolación lineal entre C1 y C5. De otro modo, se procede a una reconstrucción paso a paso:
Figure imgf000008_0001
M,
C3 =Cz
Figure imgf000008_0002
En otras palabras, la luminancia de cada píxel coloreado a reconstruir se determina a partir de la del píxel coloreado inmediatamente anterior, en el orden de reconstrucción, aplicando la tasa de variación local medida sobre la imagen pancromática.
Si la luminancia debe ser un valor entero, el resultado calculado se redondea.
Si la zona de la imagen pancromática no se considera uniforme (|M5 - Mi|> Th), entonces se puede reconstruir directamente los píxeles coloreados C2 - C4 mediante la aplicación de una "ley monocromática", es decir, de la función afín que expresa Ci en función de Mi (i=1 - 5) y tal que los valores calculados de Ci y de C5 coinciden con los valores medidos:
Ci = m ■ Mi p
con
m = I Q - C , I
Ims- mJ
y
p = Ci -m ■ Mi
En este caso también, si la luminancia debe ser un valor entero, el resultado calculado se redondea.
La reconstrucción mediante la aplicación directa de la ley monocromática puede conducir a un rango dinámico demasiado grande del componente coloreado reconstruido, o bien a su saturación. En este caso, puede ser oportuno volver a la reconstrucción paso a paso. Por ejemplo, se puede observar una condición dinámica demasiado grande cuando
Figure imgf000008_0003
donde Thl es un umbral, generalmente diferente de Th.
Se puede observar una saturación si min(Ci)<0 o si Max(Ci) es superior a un valor máximo admisible (65535 si se considera el caso de una luminancia expresada por un número entero codificado sobre 16 bits).
Por supuesto, la configuración de las figuras 5A y 5B - que implica la reconstrucción de los componentes coloreados por segmentos de 5 píxeles - se da únicamente a modo de ejemplo y la generalización del procedimiento a otras configuraciones no plantea ninguna dificultad significativa.
Son posibles variantes de este procedimiento. Por ejemplo, otro enfoque para determinar la luminancia de los píxeles coloreados utilizando píxeles coloreados cercanos (ubicados a una cierta distancia dependiendo del motivo de los píxeles coloreados en cuestión) y píxeles pancromáticos vecinos reconstituidos, consiste en utilizar funciones no lineales que aproximan la distribución de los píxeles coloreados utilizando, por ejemplo, una aproximación polinomial (y más generalmente una aproximación de una función de superficie espacial no lineal) de los píxeles pancromáticos vecinos. La ventaja de estas funciones no lineales de superficie monoeje o, por el contrario, bieje es que tienen en cuenta la distribución de los píxeles coloreados a una escala mayor que los píxeles coloreados más cercanos al píxel que se quiere reconstruir. En este marco de ideas, también es posible utilizar funciones de difusión de valor más generales que aprovechan los gradientes locales y los saltos repentinos que aparecen en el valor de luminancia de los píxeles pancromáticos. Cualquiera que sea el procedimiento que se utilice, el principio sigue siendo el mismo: aprovechar los píxeles pancromáticos que se encuentran en mayor número que los píxeles coloreados, y la ley de variación de estos para reconstruir los píxeles coloreados.
Mientras que el procedimiento de la ley monocromática implica un enfoque con 2 pasadas sucesivas monoeje, el uso de funciones de superficie o ecuaciones de difusión hace posible proceder con un enfoque de un monopasada para reconstruir los píxeles coloreados.
En este estado del procesamiento se dispone de una imagen pancromática de banda completa, IMpb, y dos conjuntos de tres imágenes monocromáticas de banda completa (IRpb, IVpb, IBpb) y (IR*pb, IV*pb, IB*pb). Como se ha aludido a esto aquí arriba, ninguna de estas imágenes se puede aprovechar directamente. No obstante, una imagen en color en luz visible Ivis puede obtenerse combinando las imágenes de banda completa del primer conjunto (IRpb, IVpb, IBpb) y la imagen pancromática IM de banda completa IMpb por medio de una matriz de colorimetría de 3x4, MCol1. De manera más precisa, el componente rojo IR de la imagen visible Ivis viene dada por una combinación lineal de IRpb, IVpb, IBpb e IMpb con coeficientes a-n, a12, a13 y a-M. Asimismo, el componente verde IV viene dado por una combinación lineal de IRpb, IVpb, IBpb e IMpb con coeficientes a2i, a22, a23 et a24, y el componente azul IB se da por una combinación lineal de IMpb, IVpb, IBpb e IRpb con coeficientes a3i, a32, a33 y a34. Esto se ilustra en la figura 6A.
A continuación, la imagen visible Ivis se puede mejorar por una operación de balance de blancos, convencional, para tener en cuenta la diferencia de iluminación de la escena respecto a la utilizada para establecer los coeficientes de la matriz de colorimetría.
Asimismo, una imagen en el infrarrojo cercano Ipir pueden obtenerse combinando las imágenes de banda completa del segundo conjunto (IRpb*, IVpb*, IBpb*) y la imagen pancromática de banda completa IMpb por medio de una segunda matriz de colorimetría de 1x4, MCol2. En otras palabras la imagen en el infrarrojo cercano Ipir es dada por una combinación lineal de IVpb*, IBpb*, IRpb* e IRpb con coeficientes a4i, a42, a43 y a44. Esto se ilustra en la figura 6b .
Si varios tipos de píxeles presentan diferentes sensibilidades espectrales en el infrarrojo cercano, es posible obtener una pluralidad de imágenes en el infrarrojo cercano diferentes, que corresponde a Npir diferentes subbandas espectrales (con Npir>1). En este caso, la segunda matriz de colorimetría MCol2 se convierte en una matriz Npirx(Npir+3), Npir siendo el número de imágenes en el infrarrojo cercano que se desea obtener. El caso tratado anteriormente es el caso particular donde Npir-1.
A continuación, imagen de infrarrojo cercano Ipir se puede mejorar mediante una operación de filtrado espacial, convencional. Esta operación puede ser, por ejemplo, una operación de mejora de contorno asociada o no al filtrado de ruido adaptativo (entre las posibles técnicas de mejora de contorno, se puede citar la operación que consiste en pasar un filtro de convolución de paso alto sobre la imagen).
Las matrices MCol1 y MCol2 son de hecho submatrices de la misma matriz de colorimetría "A", de dimensiones 4x4 en el caso particular donde Npir-1 y donde hay 3 tipos de píxeles coloreados, que no se utiliza como tal.
El tamaño de las matrices de colorimetría debe cambiarse si el sensor matricial tiene más de tres tipos diferentes de píxeles coloreados. A modo de ejemplo, en cuanto a la Npir píxeles con diferentes sensibilidades espectrales en el infrarrojo, puede haber Nvis (con Nvis^3) tipos de píxeles sensibles a diferentes subbandas en el visible además de los píxeles pancromáticos sin filtrar. Estos Nvis tipos de píxeles también pueden tener diferentes sensibilidades espectrales en el infrarrojo cercano para permitir la adquisición de Npir imágenes PIR. Suponiendo que no hay píxeles sensibles únicamente en el infrarrojo, la matriz de colorimetría Mcol1 es entonces de dimensión 3x(Nvis+1).
Por otra parte, la imagen monocromática visible Ibnl pueden obtenerse combinando las imágenes de banda completa del segundo conjunto (IVpb*, IBpb*, IRpb*) y la imagen pancromática de banda completa IMpb por medio de una segunda matriz de colorimetría de 1x4, MCol3. En otras palabras la imagen Ibnl se da mediante una combinación lineal de IRpb*, IVpb*, IBpb* e IMpb con coeficientes §41, §42, 343 , 344 que forman la última línea de otra matriz de colorimetría 4x4 "A", que tampoco se utiliza como tal. Esto se ilustra en la figura 6C.
La imagen Ibnl a su vez, puede mejorarse mediante una operación de filtrado espacial, convencional.
Las matrices de colorimetría A y A puede obtenerse mediante un procedimiento de calibración. Consiste, por ejemplo, en utilizar una tabla de prueba sobre la que se han depositado diversas pinturas reflectantes en la zona visible y en el PIR, iluminar el dispositivo con iluminación controlada y comparar los valores teóricos de luminancia que deben tener estas pinturas en el visible y el PIR con los medidos, utilizando una matriz de colorimetría de 4x4, cuyos coeficientes se adaptan mejor por un mínimo cuadrado. La matriz de colorimetría también se puede mejorar ponderando los colores que se quieren resaltar de forma privilegiada o añadiendo medidas realizadas sobre objetos naturales presentes en la escena. El procedimiento propuesto (aprovechamiento del PIR además del color, uso de matriz 4x4, uso de diferentes pinturas que emiten tanto en lo visible como en el PIR) difiere de los procedimientos convencionales confinados al color, aprovechando una matriz de 3x3 y un motivo de prueba convencional tal como el "tablero de ajedrez X-Rite" o la matriz de Macbeth.
Las figuras 7A y 7B ilustran una posible mejora de la invención, implementando un microbarrido del sensor. El microbarrido consiste en un desplazamiento periódico (oscilación) del sensor matricial en el plano de la imagen, o de la imagen con respecto al sensor. Este desplazamiento se puede obtener mediante un accionador piezoeléctrico o del tipo motor de corriente continua, que actúa sobre el sensor matricial o sobre al menos un elemento óptico de formación de imágenes. Se realizan varias adquisiciones de imágenes (generalmente dos) durante este desplazamiento, lo que permite mejorar el muestreo espacial y por lo tanto facilitar la reconstrucción de las imágenes. Por supuesto, esto requiere una tasa de adquisición más alta que si no se utilizara el microbarrido.
En el ejemplo de la figura 7A, el sensor matricial CM presenta una estructura particular; todas las demás columnas están formadas por píxeles pancromáticos PM, una de cuatro, de una alternancia de píxeles verdes PV y azules PB, y una de cuatro de una alternancia de píxeles rojos PR y verdes PV. El microbarrido se efectúa por medio de una oscilación de amplitud igual al ancho de un píxel, en una dirección perpendicular a la de las columnas. Se puede observar que el lugar que ocupa una línea "pancromática" cuando el sensor se encuentra en un extremo de su desplazamiento lo ocupa una línea "coloreada" cuando está en el extremo opuesto, y viceversa. La tasa de adquisición de imágenes es superior a la realizada sin microbarrido (por ejemplo, al doble de la frecuencia obtenida sin microbarrido) para poder añadir información a las imágenes adquiridas sin microbarrido.
Tomando el ejemplo de una frecuencia de adquisición doble, a partir de dos imágenes adquiridas en correspondencia de dos posiciones extremas opuestas del sensor (parte izquierda de la figura 7A) es posible reconstruir (parte derecha de la figura):
- una imagen en colores formada por la repetición de un motivo de cuatro píxeles - dos verdes dispuestos según una diagonal, uno azul y uno rojo (la llamada matriz "de Bayer"), formada por píxeles reconstruidos que tienen una forma alargada en la dirección de desplazamiento con una relación de aspecto de 2; y
- une imagen pancromática "completa", directamente aprovechable sin necesidad de interpolación;
estas dos imágenes reconstruidas se adquieren a una velocidad dos veces más baja que la frecuencia de adquisición.
En efecto, el microbarrido completo la información de píxeles pancromáticos y coloreados, y los procesamientos presentados en el contexto de la presente invención se pueden aplicar directamente a los motivos generados por el detector antes del microbarrido y motivos adicionales obtenidos después del subbarrido, por lo tanto, no es indispensable utilizar un motivo específico como se presenta en la figura 7A, sin embargo, esto se puede aplicar con algoritmos simplificados. Por otra parte, el microbarrido puede realizarse según dos ejes y/o tener una amplitud mayor que el ancho de un píxel.
A modo de ejemplo, la figura 7B ilustra la aplicación del microbarrido al sensor CM de la figura 3A. En este ejemplo de configuración dispersa, de tipo 1/8, el microbarrido implica el recubrimiento todos los píxeles pancromáticos, la adición de 2 submotivos azules, 2 submotivos rojos y 4 submotivos verdes que se superponen en los lugares previamente pancromáticos y que en total permiten aplicar los procesamientos sobre 2 veces de submotivos que inicialmente. En configuraciones dispersas más complejas (1/N con N>=16), es posible generalizar el microbarrido a M posiciones según las dos dimensiones de la matriz simultáneamente, y ganar un factor M sobre el número de submotivos.
Hasta ahora, solo el caso de un sensor matricial que comprende exactamente cuatro tipos de píxeles - rojo, verdes, azul y pancromático - se ha considerado, pero no se trata de una limitación esencial. Es posible utilizar tres tipos de píxeles coloreados, incluso más, presentando curvas de sensibilidad diferentes de las ilustradas en la figura 1B. Además, es posible utilizar un quinto tipo de píxel, sensible únicamente a la radiación en el infrarrojo cercano. A modo de ejemplo, la figura 8 representa un sensor matricial en el que un píxel de cada cuatro píxeles es pancromático (referencia PM), un píxel de cada cuatro píxeles es sensible únicamente al infrarrojo cercano (PI), un píxel de cuatro es verde (PV), un píxel de cada ocho píxeles es rojo (PR) y uno de cada ocho píxeles es azul (PB).
Las señales de los píxeles del quinto tipo se pueden utilizar de diferentes formas. Por ejemplo, es posible reconstruir, por el procedimiento "intracanal" de las figuras 4A - 4D, una imagen en el infrarrojo cercano, designado por ejemplo por Ipird (el exponente "D" significa que es una imagen adquirida "directamente"), que se puede promediar con la imagen Ipir obtenida aplicando la matriz de colorimetría MCol2 a imágenes IRpb*, IVpb*, IBpb* e IMpb. También es posible utilizar una matriz de colorimetría MCol2 de 1x5 dimensiones y obtener la imagen en el infrarrojo cercano Ipir por una combinación lineal de IRpb*, IVpb*, IBpb*, IMpb e Ipird con coeficientes matriciales a4i, a42, a43, a44 y a45. La imagen Ipird también se puede utilizar para calibrar la matriz de colorimetría MColl que luego contiene una columna más y se vuelve de tamaño 3x(Nvis+2): cada componente rojo, verde, azul reproducido se expresa entonces en función de los Nvis planos reproducidos en banda completa, el plano pancromático reconstruido y del plano PIR reconstruido de los píxeles Ipird.
La figura 9A es una imagen compuesta de una escena, observada en luz visible. La parte izquierda de la imagen, Ivis, se obtuvo de acuerdo con la invención, utilizando el sensor matricial "disperso" de la figura 3. La parte derecha, I'vis fue obtenido por un procedimiento convencional, utilizando un sensor no disperso. La calidad de las dos imágenes es comparable.
La figura 9B es una imagen compuesta de la misma escena, observada en el infrarrojo cercano. La parte izquierda de la imagen, Ipir, se obtuvo de acuerdo con la invención, utilizando el sensor matricial "disperso" de la figura 3. La parte derecha, I'pir se obtuvo utilizando una cámara PIR con un sensor no disperso. Las imágenes son de calidad comparable, pero la imagen Ipir obtenida de acuerdo con la invención es más luminosa gracias al uso de un sensor disperso.

Claims (15)

REIVINDICACIONES
1. Sistema de adquisición de imágenes (SAI) que comprende:
- un sensor matricial (CM) que comprende una disposición bidimensional de píxeles, estando cada píxel adaptado para generar una señal eléctrica representativa de la intensidad luminosa en un punto de una imagen óptica (IO) de una escena (SC); y
- un circuito de procesamiento de señales (CTS) configurado para procesar las señales eléctricas generadas por dichos píxeles para generar imágenes digitales (Ivis, Ipir) de dicha escena;
en el que dicho sensor matricial comprende una disposición bidimensional:
- píxeles, llamados coloreados, de al menos un primer tipo (PV), sensibles a la luz visible en un primer rango espectral; un segundo tipo (PB), sensibles a la luz visible en un segundo rango espectral diferente al primero; y un tercer tipo (PR), sensibles a la luz visible en un tercer rango espectral diferente al primero y al segundo, una combinación de los rangos espectrales de los diferentes tipos de píxeles coloreados que reconstituyen el conjunto del espectro visible;
- y píxeles, llamados pancromáticos, (PM), sensibles al conjunto del espectro visible,
siendo al menos los píxeles pancromáticos también sensibles al infrarrojo cercano;
caracterizado porque dicho circuito de procesamiento de señales está configurado para:
- reconstruir un primer conjunto de imágenes monocromáticas (IVpb, IBpb, IRpb) a partir de las señales eléctricas generadas solo por los píxeles coloreados;
- reconstruir una imagen pancromática (IMpb) a partir de las señales eléctricas generadas por los píxeles pancromáticos;
- reconstruir un segundo conjunto de imágenes monocromáticas (IV *pb, IB*pb, IR*pb) a partir de las señales eléctricas generadas por los píxeles coloreados, y de dicha imagen pancromática, conteniendo estas imágenes contribuciones que provienen de un componente infrarrojo de la imagen óptica;
- reconstruir una imagen en colores (Ivis), sustancialmente exenta de las contribuciones que provienen de un componente infrarrojo de la imagen óptica, por aplicación de una primera matriz de colorimetría (MColl) a las imágenes monocromáticas del primer conjunto y a dicha imagen pancromática;
- reconstruir una imagen en el infrarrojo cercano (Ipir) por aplicación de una segunda matriz (MCol2) de colorimetría al menos a las imágenes monocromáticas del segundo conjunto y a dicha imagen pancromática; y
- proporcionar como salida dicha imagen en colores y dicha o al menos una de dichas imágenes en el infrarrojo cercano.
2. Sistema de adquisición de imágenes según la reivindicación 1, en el que dichos píxeles coloreados comprenden únicamente los píxeles de los dichos primer, segundo y tercer tipo, que también son sensibles al infrarrojo cercano.
3. Sistema de adquisición de imágenes según la reivindicación 1 o 2, en el que los píxeles de uno de entre el primer, el segundo y el tercer tipo son sensibles a la luz verde, los de otro entre el primer, el segundo y el tercer tipo son sensibles a la luz azul y los del tipo que queda entre el primer, el segundo y el tercer tipo son sensibles a la luz roja.
4. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, en el que dicho sensor matricial es del tipo disperso, siendo más de un cuarto y preferentemente al menos la mitad de sus píxeles pancromáticos.
5. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, en el que dicho circuito de procesamiento de señales está configurado para reconstruir las imágenes monocromáticas de dicho primer conjunto aplicando un procedimiento que comprende las siguientes etapas:
- determinar la intensidad luminosa asociada a cada píxel de dicho primer tipo y reconstruir una primera imagen monocromática (IVpb) de dicho primer conjunto por interpolación de dichas intensidades luminosas;
- determinar la intensidad luminosa asociada con cada píxel coloreado de los otros tipos, y restar de la misma un valor representativo de la intensidad asociada con un píxel correspondiente de dicha primera imagen monocromática;
- reconstruir nuevas imágenes monocromáticas (IB'pb, IR'pb) por interpolación de los valores de intensidad luminosa de los respectivos píxeles coloreados de dichos otros tipos, a los que se han restado dichos valores representativos de la intensidad asociada a un píxel correspondiente de dicha primera imagen monocromática, luego combinar estas nuevas imágenes reconstruidas con dicha primera imagen monocromática (IVpb) para obtener las respectivas imágenes monocromáticas finales (IBpb, IRpb) de dicho primer conjunto.
6. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, en el que dicho circuito de procesamiento de señales está configurado para reconstruir dicha imagen pancromática interpolando señales eléctricas generadas por los píxeles pancromáticos.
7. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, en el que dicho circuito de procesamiento de señales está configurado para reconstruir las imágenes monocromáticas de dicho segundo conjunto calculando el nivel de luminancia de cada píxel de cada una de dichas imágenes aplicando una función lineal, definida localmente, a la luminancia del píxel correspondiente en la imagen pancromática.
8. Sistema de adquisición de imágenes según una de las reivindicaciones 1 a 6, en el que dicho circuito de procesamiento de señales está configurado para reconstruir las imágenes monocromáticas de dicho segundo conjunto calculando el nivel de luminancia de cada píxel de cada una de dichas imágenes por medio de una función no lineal de los niveles de luminancia de una pluralidad de píxeles de la imagen pancromática en una vecindad del píxel de dicha imagen pancromática correspondiente a dicho píxel de dicha imagen del segundo conjunto y/o de la intensidad luminosa de una pluralidad de píxeles coloreados.
9. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, en el que dicho sensor matricial consiste en una repetición periódica de bloques que contienen distribuciones pseudoaleatorias de píxeles de los diferentes tipos y en el que dicho circuito de procesamiento de señales está configurado para:
- extraer motivos regulares de píxeles del mismo tipo de dicho sensor matricial; y
- reconstruir dicho primer conjunto y segundo conjunto de imágenes monocromáticas procesando dichos motivos regulares de píxeles de los mismos tipos en paralelo.
10. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, en el que dicho circuito de procesamiento de señales también está configurado para reconstruir una imagen monocromática de bajo nivel de luz aplicando una tercera matriz (MCol3) de colorimetría al menos a las imágenes monocromáticas del segundo conjunto y a dicha imagen pancromática.
11. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, en el que dicho sensor matricial (CM) también comprende una disposición bidimensional de píxeles (PI) únicamente sensibles al infrarrojo cercano, y en el que dicho circuito de procesamiento de señales está configurado para reconstruir dicha imagen en el infrarrojo cercano (Ipir) también de las señales eléctricas generadas por estos píxeles.
12. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, que comprende también un actuador para producir un desplazamiento periódico relativo entre el sensor matricial y la imagen óptica, en el que el sensor matricial está adaptado para reconstruir dichos primer y segundo conjuntos de imágenes monocromáticas y dicha imagen pancromática a partir de señales eléctricas generadas por los píxeles del sensor matricial en correspondencia con una pluralidad de posiciones relativas distintas del sensor matricial y de la imagen óptica.
13. Sistema de adquisición de imágenes según una de las reivindicaciones anteriores, en el que dicho circuito de procesamiento de señales se realiza de un circuito lógico programable.
14. Cámara biespectral visible - de infrarrojo cercano (CBS) que comprende:
- un sistema de adquisición de imágenes (SAI) según una de las reivindicaciones anteriores; y
- un sistema óptico (SO) adaptado para formar una imagen óptica (IO) de una escena (SC) sobre un sensor matricial (CM) de tal sistema de adquisición de imágenes, sin filtrado de infrarrojo cercano.
15. Procedimiento de la adquisición simultánea de imágenes en colores y en el infrarrojo cercano por el uso de una cámara biespectral según la reivindicación 14.
ES16808629T 2015-12-11 2016-12-07 Sistema y procedimiento de adquisición de imágenes visibles en el infrarrojo cercano por medio de un sensor matricial único Active ES2837055T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1502572A FR3045263B1 (fr) 2015-12-11 2015-12-11 Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique
PCT/EP2016/080139 WO2017097857A1 (fr) 2015-12-11 2016-12-07 Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique

Publications (1)

Publication Number Publication Date
ES2837055T3 true ES2837055T3 (es) 2021-06-29

Family

ID=55759641

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16808629T Active ES2837055T3 (es) 2015-12-11 2016-12-07 Sistema y procedimiento de adquisición de imágenes visibles en el infrarrojo cercano por medio de un sensor matricial único

Country Status (9)

Country Link
US (1) US10477120B2 (es)
EP (1) EP3387824B1 (es)
JP (1) JP6892861B2 (es)
KR (1) KR102605761B1 (es)
CN (1) CN108370422B (es)
ES (1) ES2837055T3 (es)
FR (1) FR3045263B1 (es)
IL (1) IL259620B (es)
WO (1) WO2017097857A1 (es)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017098015A1 (en) * 2015-12-10 2017-06-15 Qiagen Gmbh Background compensation
CA3064779A1 (en) * 2017-09-15 2019-03-21 Kent Imaging Hybrid visible and near infrared imaging with an rgb color filter array sensor
FR3071328B1 (fr) * 2017-09-18 2019-09-13 Thales Imageur infrarouge
CN108282644B (zh) * 2018-02-14 2020-01-10 北京飞识科技有限公司 一种单摄像头成像方法及装置
WO2021033787A1 (ko) * 2019-08-19 2021-02-25 한국전기연구원 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법
GB2586980B (en) * 2019-09-10 2023-02-15 Advanced Risc Mach Ltd Contrast-based autofocus
CN110611779B (zh) * 2019-09-27 2021-11-26 华南师范大学 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
JP7688897B2 (ja) * 2021-09-02 2025-06-05 株式会社エヌテック 撮像装置、検査装置及び撮像方法
FR3126799B1 (fr) * 2021-09-09 2024-05-24 Xyzed Système de suivi d’acteurs sur au moins une scène de spectacle
US12501180B2 (en) * 2022-05-25 2025-12-16 Samsung Electronics Co., Ltd. RGB-NIR processing and calibration
US11818474B1 (en) * 2022-08-25 2023-11-14 Meta Platforms Technologies, Llc Sparse RGB cameras for image capture
US12363451B2 (en) * 2023-03-24 2025-07-15 Samsung Electronics Co., Ltd. Color interpolation method for multispectral filter array and image acquisition device
US12375821B2 (en) * 2023-09-13 2025-07-29 Qualcomm Incorporated Mono guided bayer demosaic image processing

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4642678A (en) 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
JP3975033B2 (ja) * 1999-08-24 2007-09-12 オリンパス株式会社 電子カメラ
JP4453189B2 (ja) * 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
EP1528791A1 (de) * 2003-10-29 2005-05-04 Thomson Licensing S.A. Verfahren zur Farbkorrektur von digitalen Bilddaten
JP2007235466A (ja) * 2006-02-28 2007-09-13 Fujifilm Corp 撮像装置及び撮像方法
US8259203B2 (en) * 2007-12-05 2012-09-04 Electro Scientific Industries, Inc. Method and apparatus for achieving panchromatic response from a color-mosaic imager
JP5045421B2 (ja) * 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8345130B2 (en) * 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
US8619143B2 (en) 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
CN102404581A (zh) * 2011-11-02 2012-04-04 清华大学 基于插值与近红外的彩色图像处理的方法和装置
EP2791898A4 (en) * 2011-12-02 2015-10-21 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR CAPTURING IMAGES
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
WO2015159651A1 (ja) * 2014-04-14 2015-10-22 シャープ株式会社 光検出装置および固体撮像装置並びにそれらの製造方法
FR3026223B1 (fr) * 2014-09-22 2016-12-23 Photonis France Dispositif d'acquisition d'images bimode a photocathode.
CN104301634A (zh) * 2014-10-24 2015-01-21 四川大学 基于随机采样的短波红外单像素相机

Also Published As

Publication number Publication date
JP2018538753A (ja) 2018-12-27
FR3045263B1 (fr) 2017-12-08
US10477120B2 (en) 2019-11-12
EP3387824B1 (fr) 2020-09-30
CN108370422A (zh) 2018-08-03
FR3045263A1 (fr) 2017-06-16
KR102605761B1 (ko) 2023-11-23
IL259620A (en) 2018-07-31
EP3387824A1 (fr) 2018-10-17
IL259620B (en) 2021-07-29
WO2017097857A1 (fr) 2017-06-15
KR20180094029A (ko) 2018-08-22
US20180359432A1 (en) 2018-12-13
JP6892861B2 (ja) 2021-06-23
CN108370422B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
US10477120B2 (en) System and method for acquiring visible and near infrared images by means of a single matrix sensor
CN102474627B (zh) 图像摄影装置和图像摄影方法
US10348990B2 (en) Light detecting device, solid-state image capturing apparatus, and method for manufacturing the same
KR102286136B1 (ko) 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
US20130278726A1 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
CN108769502A (zh) 摄像处理装置以及摄像处理方法
US10212401B2 (en) Image generation device and imaging device
CN106534723A (zh) 用于车辆的环境检测装置和用于借助环境检测装置检测图像的方法
JP6010723B2 (ja) 画像撮影装置および画像撮影方法
JP4941482B2 (ja) 擬似カラー画像生成装置、及びプログラム
US10446600B2 (en) Imaging system and imaging device having a random optical filter array
CN102801984B (zh) 彩色图像传感器及获取彩色数字图像的方法
Horstmeyer et al. Modified light field architecture for reconfigurable multimode imaging
Aggarwal et al. Multi-spectral demosaicing technique for single-sensor imaging
US9500787B2 (en) Masked pixel arrays
US9124828B1 (en) Apparatus and methods using a fly&#39;s eye lens system for the production of high dynamic range images
US10812765B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
US20210258531A1 (en) Polarization Imager with High Dynamic Range
Hirai et al. An LED-based spectral imaging system for surface reflectance and normal estimation
WO2018186201A1 (ja) 撮像素子および撮像装置
CN102830392A (zh) 一种月球光学遥感数据相对辐射与光度校正法
JP2019522937A (ja) 光センサモジュール、光センサモジュールを駆動するための方法および光センサモジュールを製造するための方法
EP4449703A1 (fr) Camera multispectrale a acquisition &#34; snapshot &#34; (instantanee)