ES2671420T3

ES2671420T3 - Sistema de captación de imágenes con bajo nivel de luz que comprende una óptica que incluye un filtro de fase y/o de amplitud

Info

Publication number: ES2671420T3
Application number: ES15195467.4T
Authority: ES
Inventors: Joël Rollin
Original assignee: Thales SA
Current assignee: Thales SA
Priority date: 2014-11-21
Filing date: 2015-11-19
Publication date: 2018-06-06
Anticipated expiration: 2035-11-19
Also published as: EP3024011A1; FR3029053B1; EP3024011B1; FR3029053A1

Abstract

Sistema de captación y procesamiento de imágenes llamadas imágenes iniciales, comprendiendo dicho sistema al menos y en este orden: - Un objetivo óptico (1); - un intensificador (2) de luz; - una óptica-relevo (3); - un sensor (4) fotosensible; - un procesamiento (5) de imágenes en tiempo real; caracterizado porque: el objetivo óptico (1) incluye un primer filtro (10) óptico de fase y/o de amplitud y siendo la imagen a procesar la suma del ruido del sistema y del cuádruple producto de convolución de las respuestas a percusión del objetivo óptico (1) por la imagen inicial, del intensificador (2) de luz, de la óptica-relevo (3) y del sensor (4) fotosensible, el procesamiento de imagen consiste en aplicar un filtro digital cuya primera función es reducir el ruido sobre la imagen a procesar y aumentar la profundidad de campo del objetivo óptico, siendo dicho filtro digital una función de la transformada de Fourier de dicho cuádruple producto de convolución de dichas respuestas a percusión del objetivo óptico, del intensificador (2) de luz, de la óptica-relevo y del sensor (4) fotosensible; la óptica-relevo incluye un segundo filtro de fase y/o de amplitud (30) cuyas funciones son simplificar la combinación óptica de la óptica-relevo y/o de hacerla menos sensible a los errores de posicionamiento.

Description

5

10

15

20

25

30

35

40

45

50

55

DESCRIPCION

Sistema de captación de imágenes con bajo nivel de luz que comprende una óptica que incluye un filtro de fase y/o de amplitud

El campo de la invención es el de los sistemas de captación de imágenes digitales con bajo nivel de luz. Las imágenes así obtenidas tienen múltiples aplicaciones ligadas a la necesidad de ver en la noche en un cierto número de campos técnicos o industriales ligados a la seguridad y a la protección.

Existen diferentes medios para captar una imagen de reducida o de muy reducida luminosidad. Un gran número de equipos utilizan tubos intensificadores de luz. El principio de funcionamiento de un tubo intensificador consiste en formar una imagen de bajo nivel de luz sobre la superficie de un fotocátodo. Este emite electrones proporcionalmente a los fotones recibidos. Se amplifican estos electrones por medio de una torta de microcanales y de una alta tensión. A la salida de la amplificación, los electrones son recibidos por una pantalla fosforescente que da una imagen amplificada de la imagen inicial. Los tubos intensificadores actuales son muy eficaces. A título de ejemplo, las resoluciones de las imágenes amplificadas alcanzan, sobre una superficie de salida de 18 mm de diámetro, típicamente de 64 a 72 pl/mm, significando pl/mm par de líneas por milímetro, es decir el equivalente a de 2300 a 2500 puntos por línea. Su sensibilidad permite la captación de imágenes en tiempo real por la noche denominada de nivel 5, cuando la óptica frontal está suficientemente abierta, es decir con una iluminación típica de escena comprendida entre 0,1 mlux y 0,7 mlux, lo que corresponde a una noche sin luna. Algunos de estos sistemas poseen, además, un control automático de ganancia, que integra igualmente una función "autogaging" que permite adaptar la amplificación del tubo intensificador cuando las condiciones de iluminación cambian, principalmente cuando están presentes en el campo fuentes intensas. Se puede así trabajar hasta unos niveles de iluminación del orden de 1000 lux.

El inconveniente principal de los tubos intensificadores es que la imagen amplificada continúa siendo analógica y no puede utilizarse directamente por los sistemas digitales de procesamiento, de almacenamiento y de transmisión de imágenes. Para resolver este problema, una solución técnica posible consiste en acoplar la pantalla fosforescente del tubo intensificador con un sensor digital clásico que puede ser un sensor de tipo CCD o CMOS. Se combinan así las ventajas del tubo intensificador con las del sensor de imágenes digitales. El acoplamiento óptico entre el tubo y su sensor asociado no es sin embargo un problema simple. En efecto, este acoplamiento óptico no debe degradar la calidad de la imagen dada por el tubo intensificador y debe tener una transmisión suficiente para que la iluminación del sensor continúe siendo compatible con su relación señal/ruido.

Este acoplamiento puede hacerse por medio de un transporte de imágenes mediante un haz de fibras ópticas. Las patentes CA 2.157.755 titulada "Camera System for Imaging at Low Light Levels" y GB 2.317.772 titulada "Automatic exposure and gain control for a sensor using video feedback" exponen unas soluciones de este tipo.

El acoplamiento puede asegurarse igualmente mediante un transporte óptico refractivo o catadióptrico que no presenta las limitaciones estructurales anteriores de los transportes por fibras ópticas. En efecto, es siempre posible obtener la resolución deseada y optimizar la transmisión del sistema mediante unos procesamientos reflectantes en el caso de un transporte catadióptrico o antirreflectantes en el caso de un transporte refractivo, estando adaptados dichos procesamientos a las longitudes de onda de emisión de la pantalla fosforescente. Las solicitudes de patente y patentes de referencia FR 2.858.050 titulada "Lunette de tir de vision nocturne a deux oculaires", US 2002/0030163 titulada "Image intensifier and LWIR fusion/combination system", WO95/06388 titulada "Life extender and bright light protection for CCTV camera system with image intensifier", US 2005/0162526 titulada "Night-vision light- intensifier/camera structure and methodology" y US 6.326.604 titulada "Optical intensification system, including an image intensifier for viewing an input source through a lens as a virtual image or as a real image" describen unas soluciones de este tipo.

A título de ejemplo, la figura 1 representa el sinóptico general de un sistema de captación de imágenes de bajo nivel de luz. En este ejemplo, el acoplamiento óptico se asegura mediante una óptica dióptrica. En esta figura y en las siguientes, se han adoptado las siguientes convenciones. Los diferentes componentes del sistema de captación de imágenes figuran en trazo grueso. Los rayos luminosos figuran en trazos finos continuos. Los enlaces eléctricos o digitales se representan por flechas. Todos los elementos de la cadena de captura de imagen se seleccionan para ofrecer una respuesta en tiempo real. Por ejemplo, el tubo intensificador puede incluir un fósforo de tipo P46 cuya duración de remanencia es corta.

El sistema de captación de imágenes con bajo nivel de luz comprende:

- un objetivo de enfoque 1 cuya función es formar la imagen de un paisaje exterior sobre el fotocátodo de un tubo intensificador 2;

- incluyendo dicho tubo intensificador 2 dicho fotocátodo, unos medios de amplificación y una pantalla fosforescente 20;

- una óptica de acoplamiento 3 dispuesta entre dicha pantalla fosforescente 20 y un sensor fotosensible 4 de manera que la imagen de la pantalla 20 dada por esta óptica de acoplamiento se forme sobre la matriz 40 de píxeles de este sensor 4 fotosensible;

5

10

15

20

25

30

35

40

45

50

55

- dicho sensor 4 matricial fotosensible a los bajos niveles de luz que da de la imagen recibida por la matriz 40 de píxeles una imagen digital. Es generalmente del tipo CCD o CMOS;

- una o unas unidades 5 de procesamiento de dichas imágenes digitales que proporcionan unas imágenes procesadas;

- una pantalla 7 de visualización que puede ser vista directamente por un usuario Y en el caso de un monitor o, como se ve en la figura 1, a través de un ocular 70;

- unas alimentaciones 6 eléctricas necesarias para el tubo 2 intensificador, el sensor 4 matricial, las unidades 5 de procesamiento y la pantalla 7 de visualización completan el sistema de captación de imágenes.

Como puede verse en esta figura 1, el sistema incluye diferentes elementos ópticos u optoelectrónicos que, combinados entre sí, degradan las imágenes digitales a procesar. Por otra parte, la imagen digital tiene necesariamente ruido si se trabaja con muy bajo nivel de luz. Finalmente, por naturaleza, el objetivo tiene una abertura importante de manera que capte el mayor flujo luminoso posible. Por consiguiente, su profundidad de campo está limitada y las imágenes a corta distancia aparecen borrosas cuando el objetivo se ajusta al infinito. Finalmente, este objetivo tiene un campo importante para las aplicaciones de conducción o las de infantería que se dirigen a reforzar su movilidad mediante visión nocturna. Se trata de aproximarse a la visión natural que es de gran campo. La realización de una óptica compacta de gran apertura y gran campo que tenga una muy buena calidad no es necesariamente simple de realizar.

Una técnica conocida para resolver o disminuir estos diferentes problemas técnicos es utilizar unos filtros ópticos de fase. Sin embargo, estos filtros se implementan únicamente en unos sistemas simples de captura de imagen: enfoque directo sobre un sensor digital, incluso en una vía de proyección. Se remite, a título de ejemplo, a la solicitud de patente FR 2.964.756, titulada "Systéme de visualisation á filtre de correction" que describe el sistema de este tipo. La publicación "Extending AMCW Lidar Depth-of-Field Using a Coded Aperture", por J. P. Godbaz, M. J. Cree y A. A. Dorrington, describe un sistema de tipo Lidar que comprende un intensificador de luz y que se basa en una codificación de la pupila para extender la profundidad de campo.

La publicación "Improved night vision demonstrator program status" por T. L. Haran et al. describe un sistema de visión nocturna, que se basa en una codificación de la pupila que toma la forma de un filtro de fase. El núcleo de la invención es implementar unos filtros de fase en la cadena compleja de un sistema de captación y de procesamiento de imágenes con bajo nivel de luz. Más precisamente, la invención tiene por objeto un sistema de captación y de procesamiento de imágenes llamadas imágenes iniciales, comprendiendo dicho sistema al menos y en este orden:

- un objetivo óptico;

- un intensificador de luz;

- una óptica-relevo;

- un sensor fotosensible;

- un procesamiento de imágenes en tiempo real;

caracterizado porque el objetivo óptico incluye un primer filtro óptico de fase y/o de amplitud y siendo la imagen a procesar la suma del ruido del sistema y del cuádruple producto de convolución de las respuestas a percusión del objetivo óptico, filtro óptico incluido, por la imagen inicial, del intensificador de luz, de la óptica-relevo y del sensor fotosensible, el procesamiento de imagen consiste en aplicar un filtro digital cuya primera función es reducir el ruido sobre la imagen a procesar y aumentar la profundidad de campo del objetivo óptico, siendo dicho filtro digital una función de la transformada de Fourier de dicho cuádruple producto de convolución de dichas respuestas a percusión del objetivo óptico, filtro óptico incluido, del intensificador de luz, de la óptica-relevo y del sensor fotosensible; la óptica-repetición incluye un segundo filtro de fase y/o de amplitud cuyas funciones son simplificar la combinación óptica de la óptica-relevo y/o hacerla menos sensible a los errores de posicionamiento.

Ventajosamente, el filtro de fase comprende igualmente una función de amplitud, es decir que su trasmisión es variable espacialmente.

Ventajosamente, la segunda función del filtro digital es corregir al menos una aberración geométrica del objetivo óptico

Ventajosamente, la aberración geométrica corregida es el cromatismo lateral y/o la distorsión.

Ventajosamente, la aberración geométrica corregida es la curvatura de campo y/o el astigmatismo y/o la coma y/o la aberración esférica y/o el cromatismo axial.

Ventajosamente, el filtro digital es un filtro de Wiener.

Ventajosamente, la óptica-relevo es de tipo dióptrico.

Ventajosamente, como acompañamiento del filtro óptico, el procesamiento digital corrige las aberraciones de la óptica-relevo, tales como el desenfoque, la curvatura, el astigmatismo, la coma, la aberración esférica o el cromatismo axial.

5

10

15

20

25

30

35

40

45

50

Ventajosamente, el primer filtro óptico se sitúa en la proximidad de la pupila del objetivo óptico.

Ventajosamente, el primer filtro óptico se graba sobre una cara de un componente óptico del objetivo óptico.

La invención se comprenderá mejor y surgirán otras ventajas con la lectura de la descripción que sigue, dada a título no limitativo y gracias a las figuras anexas entre las que:

La figura 1 ya comentada representa un sistema de captación y de procesamiento de imágenes según la técnica anterior;

La figura 2 representa las partes ópticas y optoelectrónicas y los medios de procesamiento de un sistema de captación según la invención;

La figura 3 representa una variante de las partes ópticas y optoelectrónicas y los medios de procesamiento de un sistema de captación según la invención.

El sistema de captación y de procesamiento de imágenes según la invención incluye, como se ve en la figura 2:

- un objetivo óptico (1);

- un intensificador (2) de luz;

- una óptica-relevo (3);

- un sensor (4) fotosensible;

- un procesamiento (5) de imágenes en tiempo real.

Este sistema incluye dos características novedosas con relación a los sistemas de la misma naturaleza de la técnica anterior.

- el objetivo óptico incluye un filtro (10) óptico de fase y/o de amplitud o una máscara óptica de fase y/o de amplitud situada en la proximidad de su pupila;

- el procesamiento digital de las imágenes está adaptado en función de dicha máscara óptica y de la firma de la cadena completa de captura de imagen que comprende los elementos 1, 2, 3 y 4.

Son posibles varios tipos de filtros o de máscaras de fase, estando constituido el más simple por un salto de fase único, próximo a n entre dos zonas que constituyen una de las superficies del filtro. La relación entre las dos superficies se optimiza para obtener el mejor compromiso posible entre la relación de señal a ruido o S/R y la corrección de los desenfoques.

Pueden implementarse otros filtros más complejos y las geometrías de las máscaras descritas en la literatura continúan siendo aplicables a la corrección de los desenfoques y, de manera más general, a la corrección de las aberraciones ópticas del sistema según la invención. Se encontrarán las informaciones necesarias en la tesis de Frédéric Diaz titulada "Systéme d'imagerie hybride par codage de pupille", Faculté des sciences d'Orsay-Université Paris Sud XI.

Estos filtros se implementan principalmente para la corrección de las aberraciones de astigmatismo y de curvatura. En efecto, los objetivos ópticos tienen generalmente grandes aberturas, superiores a 1,2 y grandes campos ópticos que puede sobrepasar los 40 grados. En este caso, la corrección del astigmatismo y de la curvatura de campo se convierte en crucial. Ahora bien, clásicamente, se corrigen estas aberraciones por medio de meniscos gruesos o de dobletes ópticos gruesos. La utilización de los filtros de fase permite compensar estas aberraciones sin utilizar dichas ópticas necesariamente pesadas y voluminosas.

Es igualmente posible corregir las distorsiones o el cromatismo lateral cuando el sensor está constituido por diferentes receptores monocromáticos o por una matriz con un filtro de Bayer. Las distorsiones y/o el cromatismo lateral se convierten en una deformación de la imagen de amplitud variable en el campo y el procesamiento de imagen introduce un desfase opuesto y compensatorio.

Las máscaras de fase pueden ser:

- unas máscaras denominadas cúbicas cuyo función de fase 0(x, y) en una referencia ortonormal (x, y) vale: ty(x, y)=a.(x3+ y3);

- unas máscaras denominadas CPP por "Constant Profil Path";

- Las máscaras cuya función de fase es una función trigonométrica;

- unas máscaras simplificadas anulares compuestas de anillos concéntricos, introduciendo cada anillo una fase constante y diferente según el anillo;

- unas máscaras denominadas polinómicas, estando referido el filtro en una referencia (x, y), la variación de fase del filtro de fase es un polinomio en x e y. Cuando la máscara es de simetría radial, la variación de fase del filtro de fase es un polinomio en r, representando r la distancia al centro del filtro;

- unas máscaras asimétricas;

- unas máscaras denominadas semi-XXX cuya variación de fase 0(x, y) del filtro de fase verifica, estando referido el filtro en una referencia (x, y) en coordenadas cartesianas o (r, 0) en notaciones polares:

5

10

15

20

25

30

35

40

45

50

$(x,y,r)=asigno(x).r3 o $(x,y,r)=asigno(n,9).r3 para las máscaras denominadas semicirculares, siendo a y p unas constantes y valiendo 1 la función signo(x) cuando x es positivo y -1 cuando x es negativo.

El filtro de corrección puede incluir igualmente una función de amplitud, es decir que incluye, además de la función de fase, unas zonas cuya transmisión óptica es variable.

El filtro puede realizarse de manera independiente sobre una lámina delgada de reducido grosor. Puede igualmente grabarse sobre la cara de una lente, por ejemplo, al mismo tiempo que una superficie asférica o que un perfil difractivo de compensación del cromatismo. Se evita así añadir componentes ópticos suplementarios en la combinación óptica del objetivo óptico. Como complemento del primer filtro óptico se dispone, en la óptica-relevo, de un segundo filtro óptico de fase y/o de amplitud cuyas funciones son simplificar la combinación óptica de la óptica- relevo y/o hacerla menos sensible a los errores de posicionamiento. De manera general, un error de posicionamiento corresponde a un error durante el montaje regulado del equipo, o un desenfoque inducido por variaciones de temperatura o de presión. Este segundo filtro se indica por (30) en la figura 3. En los dos casos, la adición de un filtro de fase y/o de amplitud y de su procesamiento de imágenes permite relajar las exigencias de posicionamiento del tubo intensificador y del sensor asociado. Se disminuye igualmente la sensibilidad del sistema a las variaciones térmicas y a las variaciones de presión. Se hará referencia en estos diferentes puntos a las publicaciones tituladas: "Wavefront Coding for Athermalization of Infrared Imaging Systems", SPIE V.2 5612-30 y "Jointly optimized optical digital system" de la société CDM Optics".

El espacio de las diferentes imágenes se referencia en un plano (Y, Z) y se utilizan las notaciones siguientes:

O(Y, Z) Reparto espacial de las intensidades en la imagen captada inicial

I(Y, Z) Reparto espacial de las intensidades en la imagen final "en bruto"

Ir(Y, Z) Reparto espacial de las intensidades en la imagen final procesada

N(Y, Z) Reparto espacial del ruido en el objeto captado inicial

D(Y, Z) Respuesta a percusión del conjunto de objetivo de enfoque-filtro óptico de fase y/o de amplitud

D'(Y, Z) Respuesta a percusión del tubo intensificador

D"(Y, Z) Respuesta a percusión de la óptica de acoplamiento, estando incorporado el filtro óptico de fase y/o de amplitud en la óptica de acoplamiento D"'(Y, Z) Respuesta a percusión del sensor matricial

La relación general que liga el reparto espacial de las intensidades en la imagen final "en bruto" y el reparto espacial de las intensidades en la imagen captada inicial es la siguiente:

imagen1

Se observa esta relación "Ecuación 1".

Es sobre esta imagen en bruto I(Y, Z) sobre la que se aplica el procesamiento de imagen. Con referencia al espacio de Fourier en un plano (|j, v) y anotando:

o(j, v): Transformada

i(j, v): Transformada

Ír(J, v): Transformada

n(j, v): Transformada

d(j, v): Transformada

d'(j, v): Transformada

d"(j, v): Transformada

d"'(j, v): Transformada

h(j, v): Filtro aplicado

de Fourier de O(Y, Z)

de Fourier de I(Y, Z)

de Fourier de Ir(Y, Z)

de Fourier de N(Y, Z) o espectro de ruido

de Fourier de D(Y, Z)

de Fourier de D'(Y, Z)

de Fourier de D'''(Y, Z)

por las unidades de procesamiento

Se obtiene, en el espacio de Fourier, la relación siguiente que corresponde a una multiplicación de las FTM de naturalezas diferentes:

i(j, v)=d"'(iJ,v)xd"(iJ,v)xd'(iJ,v)xd(iJ,v)xo(iJ,v)+n(iJ,v)

Ecuación que se indica como "Ecuación 2" y que corresponde a la transformada de Fourier de la ecuación 1. se puede también escribir esta ecuación 2 en la forma simplificada:

i(j,v )= FTM(j,v)xo(j,v)+n(j,v)

"FTM" significa "Función de Transferencia de Modulación".

El procesamiento de imagen consiste en realizar sobre la transformada de Fourier i(j, v) de l(Y, Z) un filtrado indicado por h(j, v) para obtener en el espacio de Fourier

ír (j,v)= h(j, v)x i(j, v) = h(j, v)x FTM (j, v)xo(j, v) + h(j, v) x n(j, v)

La relación que liga Ír(|j, v) y la imagen real Ir(Y, Z) después del procesamiento es básicamente:

Ir(Y,Z) = TF (i(j,v)

o también

imagen2

5 A título de ejemplo, la función de filtrado puede tomar la forma de un filtro de Wiener. La expresión general de este tipo de filtro digital es la siguiente:

imagen3

Estos diferentes procesamientos no plantean dificultades de realización y pueden realizarse en tiempo real por las herramientas de cálculo digital actuales.

10

Claims

5

10

15

20

25

30

35

REIVINDICACIONES

1. Sistema de captación y procesamiento de imágenes llamadas imágenes iniciales, comprendiendo dicho sistema al menos y en este orden:

- Un objetivo óptico (1);

- un intensificador (2) de luz;

- una óptica-relevo (3);

- un sensor (4) fotosensible;

- un procesamiento (5) de imágenes en tiempo real;

caracterizado porque:

el objetivo óptico (1) incluye un primer filtro (10) óptico de fase y/o de amplitud y siendo la imagen a procesar la suma del ruido del sistema y del cuádruple producto de convolución de las respuestas a percusión del objetivo óptico (1) por la imagen inicial, del intensificador (2) de luz, de la óptica-relevo (3) y del sensor (4) fotosensible, el procesamiento de imagen consiste en aplicar un filtro digital cuya primera función es reducir el ruido sobre la imagen a procesar y aumentar la profundidad de campo del objetivo óptico, siendo dicho filtro digital una función de la transformada de Fourier de dicho cuádruple producto de convolución de dichas respuestas a percusión del objetivo óptico, del intensificador (2) de luz, de la óptica-relevo y del sensor (4) fotosensible; la óptica-relevo incluye un segundo filtro de fase y/o de amplitud (30) cuyas funciones son simplificar la combinación óptica de la óptica-relevo y/o de hacerla menos sensible a los errores de posicionamiento.
2. Sistema de captación y de procesamiento de imágenes según la reivindicación 1, caracterizado porque la segunda función del filtro digital es corregir al menos una aberración geométrica del objetivo óptico.
3. Sistema de captación y de procesamiento de imágenes según la reivindicación 2, caracterizado porque la aberración geométrica corregida es el cromatismo lateral y/o la distorsión.
4. Sistema de captación y de procesamiento de imágenes según la reivindicación 2, caracterizado porque la aberración geométrica corregida es la curvatura de campo y/o el astigmatismo y/o la coma y/o la aberración esférica y/o el cromatismo axial.
5. Sistema de captación y de procesamiento de imágenes según una de las reivindicaciones anteriores,

caracterizado porque el filtro digital es un filtro de Wiener.
6. Sistema de captación y de procesamiento de imágenes según una de las reivindicaciones anteriores,

caracterizado porque la óptica-relevo es del tipo dióptrico.
7. Sistema de captación y de procesamiento de imágenes según la reivindicación 1, caracterizado porque el procesamiento digital tiene en cuenta el segundo filtro de fase y/o de amplitud.
8. Sistema de captación y de procesamiento de imágenes según una de las reivindicaciones anteriores,

caracterizado porque el primer filtro de fase y/o de amplitud está situado en la proximidad de la pupila del objetivo óptico.
9. Sistema de captación y de procesamiento de imágenes según una de las reivindicaciones anteriores,

caracterizado porque el primer filtro de fase está grabado sobre una cara de un componente óptico del objetivo óptico.