WO2016102731A1

WO2016102731A1 - Método para determinar la amplitud compleja del campo electromagnético asociado a una escena

Info

Publication number: WO2016102731A1
Application number: PCT/ES2015/070936
Authority: WO
Inventors: José Manuel RODRÍGUEZ RAMOS; Jonas PHILLIP LÜKE; Juan Manuel TRUJILLO SEVILLA; Juan José FERNÁNDEZ VALDIVIA
Original assignee: Universidad de La Laguna
Current assignee: Universidad de La Laguna
Priority date: 2014-12-22
Filing date: 2015-12-21
Publication date: 2016-06-30
Anticipated expiration: 2017-06-22
Also published as: JP6600360B2; KR20170099959A; IL253142B; DK3239672T3; US10230940B2; ES2578356A1; TW201643391A; CN107209061A; CN107209061B; TWI687661B; EP3239672A1; JP2018512070A; EP3239672A4; KR102501402B1; ES2578356B1; EP3239672B1; IL253142A0; US20180007342A1

Abstract

Método para determinar la amplitud compleja del campo electromagnético asociado a una escena, que comprende a) capturar mediante una cámara fotográfica una pluralidad de imágenes de la escena enfocadas en planos de enfoque dispuestos a distinta distancia, en donde la cámara comprende una lente de distancia focal F y un sensor dispuesto a una cierta distancia de la lente en su espacio imagen,tomar al menos un par de imágenes de la pluralidad de imágenes y determinar el frente de onda acumulado hasta el plano conjugado en el espacio objeto correspondiente al plano intermedio a los planos de enfoque de las dos imágenes del par.

Description

METODO PARA DETERMINAR LA AMPLITUD COMPLEJA DEL CAMPO

ELECTROMAGNÉTICO ASOCIADO A UNA ESCENA

DESCRIPCIÓN

OBJETO DE LA INVENCIÓN

La presente invención se refiere a un método para determinar la amplitud compleja del campo electromagnético asociado a una escena.

El método de la invención permite la reconstrucción óptica de la escena al completo (módulo y fase del campo electromagnético), lo que permite su posterior utilización en diversas aplicaciones, tales como la obtención del mapa de distancias de la escena, representación de la escena en modo 3D estéreo o en modo 3D integral, representación de la escena completamente enfocada, aberrada ópticamente a voluntad, o corregida de distorsión óptica (por cambio de índice de refracción).

La invención es aplicable en distintos campos técnicos, que incluyen la fotografía computacional y la óptica adaptativa (astronómica, oftalmológica, microscopía...).

ANTECEDENTES DE LA INVENCIÓN

Hasta ahora para generar imagen tridimensional (estéreo o integral) de una escena se ha hecho uso de la captura de la escena desde diversos puntos de vista.

Orth (Orth, A., & Crozier, K. B. (2013), Light field moment imaging, Optics letters, 38(15), 2666-2668) genera imagen estéreo (no integral) a partir de 2 imágenes desenfocadas, haciendo uso del método "Light Field Moment Imaging^, trabajando en el dominio transformado.

Park (Park, J. H., Lee, S. K., Jo, N. Y., Kim, H. J., Kim, Y. S., & Lim, H. G. (2014). Light ray field capture using focal plañe sweeping and its óptica! reconstruction using 3D displays. Optics Express, 22(21), 25444-25454) propone un algoritmo de retroproyecciones filtradas aplicado al lightfield de modo que a partir de imágenes desenfocadas de la escena crean imagen 3D estéreo e integral. En este caso, las imágenes desenfocadas (intensidades) son cortes a diferentes ángulos del lightfield en espacio transformado. Adquirir pocas imágenes desenfocadas es lo más apropiado en escenarios de baja iluminación. Sin embargo, trabajar en el dominio transformado con pocas imágenes desenfocadas provoca blurring debido a la ausencia de información en ciertas frecuencias espaciales. El sensor de curvatura recupera fase de frente de onda en pupila a partir de dos imágenes desenfocadas. El sensor geométrico propuesto por Van Dam y Lañe (Van Dam, M. A., & Lañe, R. G. (2002). Wave-front sensingfrom defocused images by use of wave-front slopes. Applied optics, 41(26), 5497-5502) también recupera la fase de frente de onda en pupila a partir de dos imágenes desenfocadas. Sin embargo, la medida de la fase de frente de onda en pupila permite únicamente corregir aberraciones en el eje óptico.

DESCRIPCIÓN DE LA INVENCIÓN Los problemas anteriores se resuelven mediante un método según la reivindicación 1 y un dispositivo según la reivindicación 10. Las reivindicaciones dependientes definen realizaciones preferidas de la invención.

En un primer aspecto inventivo se define un método para determinar la amplitud compleja del campo electromagnético asociado a una escena, que comprende las siguientes etapas:

a) capturar mediante una cámara fotográfica una pluralidad de imágenes de la escena, estando las imágenes enfocadas en planos de enfoque dispuestos a distinta distancia, en donde la cámara comprende una lente de distancia focal y un sensor dispuesto a cierta distancia de la lente en su espacio imagen,

b) tomar al menos un par de imágenes de entre la pluralidad de imágenes y determinar el frente de onda acumulado hasta el plano conjugado en el espacio objeto correspondiente al plano intermedio a los planos de enfoque de las dos imágenes del par, determinando el frente de onda W(x,y) como:

N-l

W{x, y) = ^ d_p Z_p(x, y)

p=0

siendo (Z_p(x, y)} un conjunto de polinomios predeterminado y N el número de polinomios empleados en el desarrollo,

en donde los coeficientes d¡ se determinan mediante la resolución del sistema de ecuaciones:

siendo 2z la distancia entre los planos de enfoque de las dos imágenes del par, siendo {(u_lx(j), u_1Y(k)),j, k = 1 ... T} puntos pertenecientes a la primera imagen del par, y {(u_2X(j), u_2Y(k)), j, k = 1 ... T} puntos pertenecientes a la segunda imagen del par, tales que para cada 1 <j, k < T, se verifica f_1XY(x, y)dxdy = s j s(k)

r U_2Y(k) r U_2X(j)

I I f_2XY x, y)dxdy = s j s(k) siendo s(f) una secuencia de números reales de valores entre 0 y 1, monótona creciente para cada 1 <j < T,

siendo fxj la función de densidad bidimensional que contabiliza la probabilidad de ocurrencia de un fotón y viene dada en cada caso por la intensidad normalizada I(x,y) de la imagen correspondiente del par, es decir:

r U_1Y(k) r U_lx(j)

í í I₁(x, y)dxdy = s j s(k)

J— oo J— oo rU_2Y(k) r U_2X(j)

I I l₂ {x, y)dxdy = s(j)s(k).

J—oo J— oo

La presente invención permite generar no sólo imagen tridimensional a partir de imágenes desenfocadas de la escena tomadas desde un único punto de vista, sino también la distribución tomográfica de fase de la escena. Ello significa disponer al completo del campo electromagnético contenido en la escena sin hacer uso de distintos puntos de vista, como ocurre en las cámaras plenópticas de captura del campo de luz (Lightfield), con la consiguiente mejora en la resolución óptica final obtenida, que en el caso de las cámaras plenópticas está limitada por el diámetro de las subaperturas asociadas a cada punto de vista.

En el contexto de la invención se entenderá que una pluralidad de imágenes es un número de imágenes mayor o igual que dos.

La cámara fotográfica con que se capturan las imágenes corresponde a un sistema óptico convencional: incluye una única lente, o sistema de lentes, que trabaja a distancia focal fija o variable (indistintamente), y un sensor dispuesto a cierta distancia del sistema óptico en el espacio imagen. .

Las imágenes capturadas por la cámara son imágenes conjugadas en distintos planos. Cada una incluye elementos enfocados (aquellos elementos dispuestos en el plano de enfoque de la imagen) y elementos desenfocados (los situados por delante y por detrás del plano de enfoque).

De acuerdo con el método de la invención, cada par de imágenes de la pluralidad de imágenes capturadas, permite la determinación de la fase del frente de onda acumulado hasta la capa de turbulencia conjugada a la posición de adquisición siguiendo las reglas clásicas de lentes convergentes. De forma tal que, restando la contribución de cada par de imágenes obtenidas a diferentes distancias conjugadas, se logra hallar el valor de la turbulencia a esa distancia en términos de imagen de fase, de mapa de fase de frente de onda. Así, cuando la pluralidad de imágenes incluye sólo dos imágenes, el método de la invención permite obtener el frente de ondas en un único plano a distancia conjugada del par de imágenes desenfocadas asociadas.

En una realización preferida, las dos imágenes de cada par de imágenes seleccionado están tomadas, respectivamente, a uno y otro lado del foco. En una realización preferida, las dos imágenes de cada par de imágenes seleccionado están tomadas, a distancias simétricas a uno y otro lado del foco. Sin embargo, el método de la invención es válido para cualesquier par de imágenes desenfocadas.

El método de la invención es un método de tomografía multi conjugada orientado a capa de turbulencia (Layer oriented MCAO), basado en el uso de imágenes desenfocadas de objetos extensos, en lugar de emplear sensores bidimensionales de fase clásicos como el Shack-Hartman o el pirámide. El método de la presente invención permite determinar la amplitud compleja del campo electromagnético asociado a una escena a partir de la captura de imágenes desenfocadas de la misma, adquiridas incluso en tiempo real (menor de 10ms en el caso de trabajar en el visible con turbulencia atmosférica, 24 imágenes por segundo en el caso de video, ...), con una sola lente y un único punto de vista, sin que la cámara empleada para la captura disponga de una matriz de microlentes en el camino óptico.

En una realización el frente de onda viene dado por la expresión:

N-l N-l p=0 q=0

siendo

para cada 0 <p, q < N - 1.

Ventajosamente, en esta realización se recupera el frente de onda bidimensional desarrollado en función de exponenciales complejas, lo que permite obtener directamente la distribución cartesiana de los gradientes horizontal y vertical de fase de frente de onda, y por tanto la utilización de métodos clásicos de integración de los gradientes, tales como filtro de transformada de Fourier o Hudgin.

En una realización el frente de onda acumulado se determina para una pluralidad de pares de imágenes.

En una realización el método comprende adicionalmente determinar la variación de fase entre dos planos del espacio objeto como la resta de los frentes de onda acumulados hasta dichos planos que se han determinado. De manera preferida, se determina la variación de fase para una pluralidad de planos.

La presente invención permite obtener al completo el campo electromagnético (módulo y fase), no sólo intensidad, trabajando las imágenes desenfocadas en el dominio de medida (no en el dominio transformado), junto con una recuperación tomográfica de la fase de frente de onda. Ventajosamente, los resultados trabajando en el dominio de medida resultan muchísimo más limpios que trabajando en el dominio transformado, donde la ausencia de información en ciertas frecuencias espaciales provoca blurring cuando se parte de pocas imágenes desenfocadas. Adquirir pocas imágenes desenfocadas es lo más apropiado en escenarios de baja iluminación.

Frente a los métodos del estado de la técnica que recuperan la fase de frente de onda únicamente en la pupila, la presente invención presenta la ventaja de recuperar tomográficamente la fase de frente de onda que mejor se ajusta al conjunto de imágenes desenfocadas adquiridas de una escena. La medida tomográfica de la fase de frente de onda permite corregir aberraciones en todo el campo de visión de la pupila de entrada.

En una realización el método comprende adicionalmente determinar, a partir de P imágenes seleccionadas de entre la pluralidad de imágenes capturadas, el valor del lightfield (L) enfocado a distancia F a M valores distintos de u, M≤P, como los valores del lightfield que verifican el sistema de ecuaciones:

∑n=i L_F(n + [(x - n)/ _j], n) = fF²I_j (x), Vy £ {1 ... P] Λ Vx £ {1 ... k] siendo P el número de imágenes consideradas para la determinación del lightfield, F la distancia focal de la lente, L_F el valor del lightfield enfocado a distancia F, ¡F la distancia de enfoque de la imagen j y I_j(x) la intensidad de la imagen j, y donde [x] denota el entero más cercano a x,

obteniendo como resultado para cada imagen j, con 1 < j≤ P, el lightfield L_F (x) evaluado en el valor de u¡ resultante del ajuste, es decir, la vista del lightfield correspondiente al valor w,, siendo x y u los vectores bidimensionales que determinan la posición en el sensor y en la lente de la cámara, respectivamente. A pesar de que se ha descrito la determinación del lightfield en combinación con el procedimiento para determinar la fase de frente de onda según el primer aspecto inventivo, el método de determinación del lightfield puede llevarse a cabo aisladamente. Así, en un aspecto inventivo adicional se presenta un método para determinar el lightfield que comprende:

a) capturar mediante una cámara fotográfica una pluralidad de imágenes de la escena, estando las imágenes enfocadas en planos de enfoque dispuestos a distinta distancia, en donde la cámara comprende una lente de distancia focal F y un sensor dispuesto a una distancia de la lente igual a su distancia focal, y

b) determinar, a partir de P imágenes seleccionadas de entre la pluralidad de imágenes capturadas, el valor del lightfield (L) enfocado a distancia F a M valores distintos de u, M≤ P, como los valores del lightfield que verifican el sistema de ecuaciones:

∑n=i L_F(n + [(x - n /aj\, n) = fF²I_j(x), Vy £ {1 ... P] Λ Vx £ {1 ... k) siendo P el número de imágenes consideradas para la determinación del lightfield, F la distancia focal de la lente, L_F el valor del lightfield enfocado a distancia F, ¡F la distancia de enfoque de la imagen j y I x) la intensidad de la imagen j, y donde [x] denota el entero más cercano a x,

obteniendo como resultado para cada imagen j, con 1 < j≤ P, el lightfield L_F (x) evaluado en el valor de u¡ resultante del ajuste, es decir, la vista del lightfield correspondiente al valor w,, siendo x y u los vectores bidimensionales que determinan la posición en el sensor y en la lente de la cámara, respectivamente. En una realización, el valor del lightfield se determina resolviendo el sistema de ecuaciones mediante mínimos cuadrados, es decir, minimizando la expresión:

||∑n=i L_F(n + (x - n)/a¡, n) - afF²l¡{x) .

En un segundo aspecto, se define un dispositivo para determinar la amplitud compleja del campo electromagnético asociado a una escena, que comprende

medios para capturar imágenes, que comprenden una lente de distancia focal F y un sensor de imagen dispuesto en paralelo a la lente, a cierta distancia de la lente en su espacio imagen, y

medios de procesamiento configurados para llevar a cabo la etapa b) del método según el primer aspecto inventivo.

Todas las características y/o las etapas de métodos descritas en esta memoria (incluyendo las reivindicaciones, descripción y dibujos) pueden combinarse en cualquier combinación, exceptuando las combinaciones de tales características mutuamente excluy entes.

DESCRIPCIÓN DE LOS DIBUJOS

Para complementar la descripción que seguidamente se va a realizar y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

Las figuras 1 y 2 representan esquemáticamente una parte del método de la invención.

La figura 3 representa esquemáticamente el lightfield entre la lente y el sensor de una cámara. Las figuras 4 y 5 ejemplifican de manera esquemática una parte del método de la invención.

La figura 6 representa de manera esquemática la obtención de la fase de frente de onda correspondiente a distintos planos.

Las figuras 7 y 8 muestran recomposiciones de imagen realizadas en domino transformado y en dominio de medida, respectivamente. REALIZACIÓN PREFERIDA DE LA INVENCIÓN

Reconstrucción del frente de onda en dos dimensiones

El método de la invención permite recuperar, a partir de dos o más imágenes desenfocadas, la distribución cartesiana de los gradientes horizontal y vertical de fase de frente de onda en bases de polinomios, lo que a su vez permite el uso de cualquier método de recomposición de la fase a partir de los gradientes, ya sean métodos zonales (Hudgin, . . . ) o modales. En el caso de métodos modales, el conjunto de polinomios sobre el que se desarrolla y ajusta el mapa de fases del frente de onda puede ser elegido según la necesidad del problema: polinomios de Zernike (coinciden con las aberraciones ópticas clásicas o de Seidel), exponenciales complejas (contienen el kernel de la transformada de Fourier, cuyo uso acelera el cómputo), Karhunen-Lóeve (sin forma analítica pero constituyendo base en pupila anular -típica en telescopios), etc. En general, el procedimiento para restaurar el mapa de fases a partir de su desarrollo en un conjunto de polinomios Z_j(x, y) comprende considerar la fase del frente de onda en un punto (x,y) como sigue:

(1) W(x, y) =∑ -₀ ¹ d_j Z_j(x, y)

donde N indica el número de polinomios utilizados en el desarrollo.

Los gradientes cartesianos horizontal y vertical, S^x y S^y respectivamente, corresponden a las siguientes derivadas parciales del frente de onda: d ^W_1 d

(2) S^x =—W(x, y) = d_j— Z_j(x, y)

7=0

(3) S = —W(x, y) = d_j—Z_j(x, y)

y 7=0 ^y

Suponemos que un fotón se desplaza desde un plano -z hasta un plano +z y estimamos el frente de onda en puntos (x, y) del plano intermedio.

La intensidad del frente de onda propagado se representa por una función de densidad (PDF) bidimensional para contabilizar la probabilidad de ocurrencia de un fotón (que denotaremos por fxj (x, y)), a través de la función de distribución acumulativa (CDF) bidimensional correspondiente (a la que denotaremos C(x, y)).

La función de densidad verifica:

^. +∞ . +∞

I I f_XY(x, y)dxdy = 1

J— oo J— oo

Construimos la función de distribución acumulativa marginal en la variable x como:

CxW = I fx(s)ds

J— oo

siendo fx una función de densidad marginal que se construye a partir de la función de densidad ifxi) de la siguiente forma:

Se conserva para la función de densidad marginal la propiedad de ser una función de distribución acumulativa en la variable correspondiente. Así, f_x(x)dx = 1

Puesto que se tienen datos en los planos -z y +z, correspondientes a las dos imágenes consideradas, se tienen dos funciones de distribución acumulativas. Denotamos C_\x a la función de distribución acumulativa marginal en el plano -z y _JX a la función de distribución acumulativa marginal en el plano +z.

Dado que partimos de los valores de fxj en los planos -z y +z, suponemos que los datos asociados al plano -z vienen definidos por fur y aquellos asociados al plano +z vienen determinados por fixj:

y

C_lx{x) = I f_lx {s)ds,

J— 00

C₂x(x = I f_2X(s)ds,

J oo

Consideramos una secuencia monótona creciente de números reales ( (j)) con 1 < j < T, de valores entre 0 y 1. Esto es, 0 < s(j) < 1 para cada 1 <j < T.

Realizamos la especificación del histograma en la función de distribución acumulativa marginal, buscando la contraimagen de los valores de la función de distribución acumulativa de los valores de s(j). Esto es, buscamos el valor

que cumpla: para cada 1 <j < T, y el valor u₂x(j) que cumpla:

Así, para cada valor fijo de s(j)

y U2x(j). Gráficamente, se ha realizado una búsqueda con barrido en abscisas de puntos correspondientes, identificando todas las ordenadas, como se representa esquemáticamente en la figura 1. Lo que proporciona valores más exactos es realizar ahora un recorrido desde la función de densidad en las dos variables para cada uno de estos valores, buscando, para cada valor k desde 1 hasta T, los valores u_{\ Y} (k) y u_1Y (k) que cumplen:

donde las funciones Ax ( , ) y /^xrO^ y) corresponden respectivamente a las imágenes consideradas (x,y) y h(x- )-

Gráficamente, lo que se hace es asociar a cada valor en la abscisa correspondiente, la ordenada que hace que las contraimágenes por la función de distribución acumulada coincidan, como se representa esquemáticamente en la figura 2.

El resultado es una malla bidimensional de puntos dados por

i(u_lx(j), u_1Y(k)),j, fe = l ..J} a altura -z, y

i(u_2X(j), u_2Y(k)),j, fe = l ..J} a altura +z,

de forma que para cada 1 < j, k < T, los puntos (if (j), U\Y (k)) y (uv ), u₂Y(k)) vienen asociados al mismo valor de un rayo en el frente de onda.

Las derivadas direccionales del frente de onda en los puntos del plano intermedio se pueden considerar dadas por las expresiones:

para cada 1 < k < T.

Por tanto, podemos escribir el sistema de las ecuaciones (2) y (3) como:

_Uix(j)+u_2X(j) .._UiY(k)+u_2Y(k)

o de forma simplificada:

(6) S=A-d donde la incógnita es la matriz de coeficientes d. La ecuación (6) representa un sistema sobredeterminado de ecuaciones donde hay más ecuaciones (2T²) que incógnitas (TV), siendo 2T² el número de píxeles (x,y) de que se dispone.

Los coeficientes d del desarrollo pueden ser hallados como el mejor ajuste sobre el plano en el sentido de mínimos cuadrados. Una forma preferida de resolver el sistema anterior es la resolución por mínimos cuadrados como:

(7) d = (A^TA)^"1 A^TS = A⁺ S

La ecuación (7) puede ser resuelta por multitud de técnicas conocidas para el experto en la materia, dependiendo de si la matriz A^TA es o no singular.

En una realización particular, el frente de onda se desarrolla en función de exponenciales complejas. Truncaremos el desarrollo en un cierto N > 1 de forma que éste puede ser escrito en la forma

W-l W-l p=0 q=0 donde (d_pq)p_;q > 0 es una familia doblemente indexada de coeficientes, y siendo

1 2πί,

(8) Z_pq ix, y) = - e-Ñ P^x+^

ϊν para cada 0 < p, q < N - 1.

En estos momentos se puede resolver un problema de mínimos cuadrados con los datos obtenidos ya que de la expresión (8), derivando respecto a x o y, se tiene N-l N-l

(9) g¿ Wíx, y) = d_p£? -Z_p£? (x, y),

p=0 q=0

W-l W-l

(10) ¿ W( , y) = 2∑ ^dP^ P< <y⁾<

p=0 q=0

Así, para cada 0 <p, q < N - 1 :

d 2πίρ

—Z_pq (x, y) = Z_pq ^ ,

d 2niq

—Z_pq (x, y) = Z_pq ^ .

Evaluando en los puntos medios, teniendo en cuenta las expresiones (4) y (5) y sustituyendo estos valores en las ecuaciones (9) y (10) se llega al sistema sobredeterminado :

W-l W-l

u₂xÜ) - u_lx(j) _ V V , 2πί (u_lxQ) + u_2X{j) u_1Y{k) + u_2Y{k)

2z ^~ L L ^m N ^m 2 · 2 p=0 q=0 ^v

W-l W-l

u_2Y(k) - u_1Y(k) _ y y 2niq íu_lx(j) + u_2X(J) u_1Y(k) + u_2Y{k)

2z ^~ L L ^pq N ^m 2 ' 2 con N² incógnitas y 2J² ecuaciones. El valor de T viene dado por los datos, que se considera que será mucho mayor que el número de sumandos en el desarrollo de la fase en términos de exponenciales. En este caso los coeficientes del desarrollo pueden ser obtenidos de la expresión:

_ -2[¡ s ^P/_N)DF{S') + i sjnC^q/_N)DF{sy) ]

donde DF denota la transformada discreta de Fourier.

Restauración tomográfica de la imagen El método de la invención proporciona una restauración bidimensional de la fase de frente de onda a partir de las imágenes desenfocadas. La fase de frente de onda obtenida corresponde a los desfases acumulados hasta la posición conjugada en el espacio objeto. Esto es, que si se toman dos imágenes desenfocadas tan alejadas del foco de la lente que casi se correspondan con imágenes tomadas en pupila (o con muy poca separación de la pupila de entrada del sistema óptico), se obtendría la fase acumulada en todo el campo de visión de la escena hasta la llegada al objetivo. A medida que el par de imágenes desenfocadas empleadas se acercan al foco, el plano conjugado en el espacio objeto corresponderá a un plano más alejado de la pupila de entrada, y describirá la fase acumulada en la escena hasta ese plano. La diferencia entre ambas fases acumuladas proporciona la variación de fase presente entre el plano más alejado y el plano pupila del sistema óptico. Por tante, cuanto mayor sea el número de imágenes desenfocadas empleadas más completas serán la discretización del espacio objeto y la distribución tomográfica obtenida de la fase de frente de onda. Esta distribución tomográfica de la fase de frente de onda tendrá la resolución óptica original bidimensional asociada al sensor de captura, y la resolución tridimensional (en eje óptico z) que el número de imágenes empleadas permita. Es importante destacar que la resolución tridimensional no coincide estrictamente con el número de planos o imágenes desenfocadas adquiridas, pues es posible considerar cualquier pareja de planos de adquisición para obtener una subdiscretización de fases de frente de onda acumuladas, como se representa esquemáticamente en la figura 6.

Con los planos I_a e ¾ se halla la fase acumulada Wi(x,y) hasta la pupila Con I_a' e ¾' se halla la fase acumulada Wi(x,y). La diferencia entre Wi y W\ proporciona la fase en el tramo señalado por la llave. Usando más planos (más imágenes capturadas), aumentamos la resolución en eje z de la fase, y obtenemos un mapa tridimensional de la fase de frente de onda.

El método de la presente invención tiene aplicación en cualquier campo técnico en el que se requiera conocer el frente de onda asociado a la observación de una escena, incluyendo la fotografía computacional y la óptica adaptativa, en particular en aplicaciones de observaciones astronómicas para obtener el mapa tridimensional de turbulencias (fases de frente de onda) asociado a una columna de la atmósfera, en aplicaciones en las que sea necesario corregir la visión a través de medios turbulentos (por ejemplo en móviles, microscopios, endoscopios o gafas de realidad aumentada), en aplicaciones para la medida tomográfica de las variaciones de índice de refracción en muestras de tejido orgánico transparentes o en aplicaciones de comunicaciones ópticas a través de medios turbulentos (atmósfera, océano, fluidos corporales...).

Recomposición de la intensidad de la imagen

El lightfield L es una representación en cuatro dimensiones de los rayos de luz que atraviesan el objetivo de una cámara. Por simplicidad, se usará una notación simplificada de dos dimensiones. Así, L_f(x,u) representa el rayo que atraviesa la lente principal de la cámara en la posición u = (u , u₂) y llega al sensor en la posición x = (x¡, x₂) para una cámara de distancia focal F, como se representa en la figura 3. Se tiene, por tanto, un volumen de 4 dimensiones que representa todos los rayos que entran en la cámara y sus posiciones de llegada al sensor. Ng (Ng, R., Fourier slice photography, In ACM Transactions on Graphics (TOG), Vol. 24, No. 3, pp. 735-744, ACM, 2005, July) demuestra que la imagen que se proyectaría sobre el sensor si éste estuviera a una distancia oF sería correspondiente a una proyección en 2 dimensiones del lightfield a un ángulo Θ = tan^-1 ( _a):

como se representa esquemáticamente en la figura 4.

El método de la invención se basa en interpretar I_a(x) como una suma de imágenes a distintos valores u desplazados entre sí, como se representa esquemáticamente en la figura 5, y en estimar imágenes a distintos valores w, encontrando qué conjunto de imágenes desplazadas debido a un valor a' y sumadas entre sí se aproximan más a la imagen de entrada capturada con una distancia de enfoque Fa '. De este modo el desplazamiento en la dimensión x (en píxeles) es w+(x-w)/a'. El método comprende estimar el valor del lightfield enfocado a distancia F (L_F) a M valores distintos de u a partir de P imágenes (h(x), {x)...Ip(x)) enfocadas a distancias a¡F, a₂F ... a_PF y capturadas con una cámara fotográfica convencional. Para ello se buscan los valores del lightfield de modo que se cumpla:

M

^L_F(n + [(x - n)/a¡\,n) = afF²I_j(x),Vj e {1...P} Λ Vxe {1...k} n=l

La anterior expresión puede representarse de manera sencilla por un sistema lineal de ecuaciones del tipo Ax = b. Este sistema puede resolverse con encontrando x tal que minimice | .x-¿||².

Hasta ahora se han supuesto imágenes de un único canal. En el caso de imágenes en color (varios canales) basta con generar una vez la matriz A. Posteriormente se crea un nuevo vector b conteniendo la información de las imágenes en el canal que se desea resolver.

El método para recomponer la intensidad de la imagen según la invención permite la generación de una sola imagen completamente enfocada y con toda la resolución óptica ("all-in-focus"), generación del par estéreo all-in fiocus, generación de imagen multiestéreo (lightifield) all-in-focus y generación de Lightfield enfocado a gusto donde se desee, con aplicaciones en microscopía, fotografía, endoscopía, cine, etc. Ejemplo:

Supondremos dos imágenes de 8 elementos Ii(x) e I₂(x) enfocadas a distancias αι=2 y a₂=4, con F = 1 m. El sumatorio en este caso es con índices desde n = 1 hasta n = 2.

Las ecuaciones para j

1-1 1-2

L_F[1 + ,l) + L_F( 2 + ,2) = 2²/₁(l)

2 . 2 .

2 - 1 2-2

L_F(l + ,l) + L_F( 2 + ,2) = 2²/₁(2)

2 . 2 .

3 - 1 3-2

L_F[1 + ,l) + L_F( 2 + ,2) = 2²/₁(3)

Y para 7=2

1-1 1-2

L_F 1 + ,l) + L_F( 2 + ,2) = 4²/₂(l)

4 4

2-1 2-2

L_F(l + ,l) + L_F( 2 + ,2) = 4²/₂(2) L_F(l + 4²/₂(3)

Desarrollando:

L_F(1,1) + L_F(2,2) = 2²/₁(l)

L_F(2,1) + L_F(2,2) = 2²/_!(2)

L_F(2,1) + L_F(3,2) = 2²/_!(3)

L_F(3,1) + L_F(3,2) = 2²/₁(4)

L_F(3,1) + L_F(4,2) = 2²/_!(5)

¿_F(4,l) + ¿_F(4,2) = 2²1₁(6)

L_F(4,1) + L_F(5,2) = 2²/₁(7)

L_F(5,1) + L_F(5,2) = 2²/_!(8)

L_F(1,1) + L_F(2,2) = 4²/₂(l)

L_F(1,1) + L_F(2,2) = 4²/₂(2)

¿_F(2,1) + L_F(2,2) = 4²/₂(3)

L_F(2,1) + L_F(3,2) = 4²/₂(4)

L (2,1) + ¿_F(3,2) = 4²/₂(5)

L_F(2,1) + L_F(3,2) = 4²/₂(6)

L_F(3,1) + L_F(3,2) = 4²/₂(7)

L_F(3,1) + L_F(4,2) = 4²/₂(8)

En forma matricial: 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 [¿F( )1 ^■2²/!(1)-

0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 L_F(2,1) 2²/i(2)

0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 ¿F(3,1) 2²/i(3)

0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 L_F(4,1) 2²/i(4)

0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 ¿F(5,1) 2²/i(5)

0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 ¿F(6,1) 2²/i(6)

0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 L_F(7,1) 2²/i(7)

0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 ¿F(8,1) 2²/i(8)

0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 L_F(1,2) 4²/₂ (l)

0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 ¿_F(2,2) 4²/₂ (2)

0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 ¿_F(3,2) 4²/₂ (3)

1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 L_F(4,2) 4²/₂ (4)

1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 ¿_F(5,2) 4²/₂ (5)

0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 ¿_F(6,2) 4²/₂ (6)

0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 L_F(7,2) 4²/₂ (7)

0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 -¿_F(8,2). Í4²/₂ (8)J

La resolución del sistema anterior proporciona los valores del lightfield L_F. Los valores del lightfield que no están definidos en ninguna ecuación en el sistema anterior toman el valor 0.

La figura 7 muestra la recomposición de imagen de una escena realizada en domino transformado, según un procedimiento del estado de la técnica. La figura 8 muestra la recomposición de imagen de la misma escena realizada en dominio de medida, empleando el procedimiento de la presente invención de obtención del lightfield a partir de imágenes desenfocadas. Aunque las imágenes de las figuras 7 y 8 no están normalizadas al mismo valor de intensidad de señal, puede apreciarse que la

recomposición realizada en el dominio de medida es más limpia, más contrastada, en los bordes de las figuras de los tests de resolución. La zona marcada con un recuadro y ampliada para su mejor apreciación ilustra perfectamente la diferencia de calidad entre ambas recuperaciones.

Claims

REIVINDICACIONES

1.- Método para determinar la amplitud compleja del campo electromagnético asociado a una escena, que comprende las siguientes etapas:

a) capturar mediante una cámara fotográfica una pluralidad de imágenes de la escena, estando las imágenes enfocadas en planos de enfoque dispuestos a distinta distancia, en donde la cámara comprende una lente o sistema de lentes de distancia focal

F y un sensor dispuesto a cierta distancia de la lente en el espacio imagen,

b) tomar al menos un par de imágenes de la pluralidad de imágenes y determinar el frente de onda acumulado hasta el plano conjugado en el espacio objeto correspondiente al plano intermedio a los planos de enfoque de las dos imágenes del par, determinando el frente de onda W(x,y) como:

w-i

W{x, y) = ^ d_p Z_p(x, y)

p=0

/N-l

= ∑d_p - Z_p(x, y)

2z

D=0 _Uix(j)+u_2X(j) _u_1Y(k)+u_2Y(k)

_Uix(j)+u_2X(j) _u_1Y(k)+u_2Y(k)

siendo 2z la distancia entre los planos de enfoque de las dos imágenes del par, siendo {(u_lx(j), u_1Y(k)),j, k = 1 ... T} puntos pertenecientes a la primera imagen del par, y {( ₂x(j), u_2Y(k)),j, k = 1 ... Γ} puntos pertenecientes a la segunda imagen del par, tales que para cada 1 <j, k < T, se verifica f_1XY(x, y)dxdy = s j s(k)

y

siendo 5(7) una secuencia de números reales de valores entre 0 y 1, monótona creciente para cada 1 <j < T,

siendo fxj la función de densidad bidimensional que contabilizar la probabilidad de ocurrencia de un fotón y viene dada en cada caso por la intensidad normalizada / (x,y) de la imagen correspondiente del par, es decir:

2.- Método según la reivindicación 1, en donde el frente de onda viene dado por la expresión:

N-l N-l p=0 q=0

siendo

para cada 0 < p, q < N- 1.

3.- Método según cualquiera de las reivindicaciones anteriores, que comprende determinar el frente de onda acumulado para una pluralidad de pares de imágenes.

4.- Método según la reivindicación 3, que comprende determinar la variación de fase entre dos planos del espacio objeto como la resta de los frentes de onda acumulados hasta dichos planos.

5 - Método según la reivindicación 4, que comprende determinar la variación de fase para una pluralidad de planos objeto.

6.- Método según cualquiera de las reivindicaciones anteriores, que comprende adicionalmente: determinar, a partir de P imágenes seleccionadas de entre la pluralidad de imágenes capturadas, el valor del lightfield (L) enfocado a distancia F a M valores distintos de w, M≤P, como los valores del lightfield que verifican el sistema de ecuaciones:

∑n=i L_F(n + [(x - n /aj\, n) = fF²I_j(x), Vy £ {1 ... P] Λ Vx £ {1 ... k) siendo P el número de imágenes consideradas para la determinación del lightfield, F la distancia focal de la lente, L_F el valor del lightfield enfocado a distancia F, ¡F la distancia de enfoque de la imagen j y I_j(x) la intensidad de la imagen j, y donde [x] denota el entero más cercano a x,

obteniendo como resultado para cada imagen j, con 1 < j≤ P, el lightfield L_F (x) evaluado en el valor de u¡ resultante del ajuste, es decir, la vista del lightfield correspondiente al valor w,, siendo x y u los vectores bidimensionales que determinan la posición en el sensor y en la lente de la cámara, respectivamente.

7. - Método según la reivindicación 6, en donde el valor del lightfield se determina resolviendo el sistema de ecuaciones mediante mínimos cuadrados, es decir, minimizando:

||∑n=i L_F(n + (x - n)/a¡, n) - afF²l¡{x) .

8. - Método según cualquiera de las reivindicaciones anteriores, en el que las dos imágenes de cada par de imágenes seleccionado están tomadas, respectivamente, a uno y otro lado del foco.

9 - Método según la reivindicación anterior, en el que las dos imágenes de cada par de imágenes seleccionado están tomadas a distancias simétricas a uno y otro lado del foco.

10.- Dispositivo para determinar la amplitud del campo electromagnético asociado a una escena, que comprende

medios para capturar imágenes, que comprenden una lente de distancia focal F y un sensor de imagen dispuesto en paralelo a la lente, a cierta distancia de la lente en su espacio imagen y medios de procesamiento configurados para llevar a cabo la etapa b) del método según la reivindicación 1.

1 1.- Dispositivo según la reivindicación 10, en el que los medios de procesamiento están configurados adicionalmente para llevar a cabo las acciones definidas en cualquiera de las reivindicaciones 2 a 9.