ES2391185B2 - Sistema integrado de captura, procesado y representación de imagen tridimensional. - Google Patents

Abstract

Sistema integrado de captura, procesado y representación de imagen tridimensional para cámaras de objetivos intercambiables que permite convertir cualquier cámara de objetivos intercambiables en una cámara 3D y que muestra los resultados de forma que el usuario no tenga fatiga visual, que consta de un sistema portátil acoplado a una cámara convencional de objetivos intercambiables, un procedimiento de calibración de la imagen adquirida, un procedimiento para la generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista, un procedimiento de adaptación de los resultados anteriores utilizando algoritmos apropiados y la proyección posterior en un monitor basado en la colocación de microlentes delante en un display convencional.

Description

Sistema integrado de captura, procesado y representación de imagen tridimensional.

Sector de la técnica

Imagen tridimensional. Física óptica, ingeniería electrónica.

5 Introducción

Hasta la fecha, para visualizar imágenes con sensación tridimensional, desde una superficie de emisión plana (monitor de TV) se tenían dos alternativas. El uso de gafas específicas, que separan la información que recibe cada ojo. Y por otro lado, los sistemas sin gafas, donde la selección de diferentes puntos de vista se logra mediante un sistema óptico a la salida del sistema de proyección que dirige imágenes distintas a posiciones distintas, dirigiendo 10 informaciones distintas a posiciones distintas, de tal forma, que dos observadores no perciben la misma información.

En el primero de los sistemas, se requiere captar dos puntos de vista (se requieren dos cámaras observando), se multiplexan en el display de salida y la selección la realiza el observador.

En el segundo del los sistemas, la captación se produce desde multitud de puntos de vista, y esos puntos de vista pueden captarse con una sola cámara utilizando un array de microlentes, lo que se conoce como una cámara

15 plenóptica.

Las cámaras plenópticas son dispositivos diseñados para la captura de imágenes 3D. Estas cámaras se basan en una idea presentada hace más de 100 años por Lippman para el registro de la información 3D en un sensor 2D. En particular, las cámaras plenópticas registran en el sensor toda una serie de imágenes elementales que son portadoras de información sobre posición e inclinación de los rayos emitidos por la muestra 3D. Esta información ya 20 permite en la actualidad el cálculo de pares estereoscópicos para su proyección en un monitor estereoscópico. Sin embargo, este tipo de proyección presenta dos desventajas esenciales. La primera es que al generar únicamente dos imágenes, se pierden las ventajas inherentes de los sistemas plenópticos, que son la visualización multiperspectiva, y el paralaje vertical. La segunda, y más importante, radica en el hecho de que para observar imágenes estereoscópicas se producen un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y

25 de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada.

Estado de la técnica

Actualmente, existen sistemas convencionales de captación de imágenes (cámaras digitales de objetivos intercambiables), y por otro lado, existen sistemas de proyección de imágenes estereoscópicas (monitores 3D). En esta invención, se propone un sistema que permite convertir cualquier cámara de objetivos intercambiables en una 30 cámara plenóptica, y proyectar el resultado de la imagen capturada en un display 3D estereoscópico, y a su vez, alimentar también los monitores autoesteroscópicos. De esta forma se resuelven los problemas presentes en algunos de los sistemas de conversión de los sistemas intercambiables en cámaras 3D, como son las limitaciones en apertura y distancia focal, de tal forma que el usuario puede utilizar sus propios objetivos, y también, se evitan los problemas de fatiga visual asociados a la visualización prolongada de imágenes 3D presentes en las tecnologías

35 actuales.

Mediante la incorporación del objetivo conversor propuesto, intercalado entre la cámara y el objetivo de la misma, lo captado pasa a ser una imagen plenóptica, que para ser procesada por los algoritmos aquí descritos, debe ser calibrada. En este sentido se aporta un sistema de calibración.

Una vez calibrada la imagen, se necesita crear un par estéreo, a partir de los datos capturados por la cámara

40 plenóptica, ya que ésta no los proporciona directamente, con el fin de alimentar un display esteroscópico. Métodos de reenfoque conocidos como los descritos en las solicitudes de patente ES200800126 y ES200600210, podrían crear pares estereoscópicos de muy baja resolución utilizando una parte de los datos capturados. Hasta ahora los métodos de reenfoque conocidos presentan una resolución mermada respecto de la resolución de la imagen plenóptica, de tal forma que si la imagen plenóptica tenía N píxeles en una de sus dimensiones (en horizontal o en

45 vertical), la resolución en esa dimensión caía en unos casos hasta N/10 aproximadamente (ES200600210) o hasta aproximadamente la mitad, N/2 (ES200800126), dado que la creación de pares estéreo vuelve a reducir a la mitad el tamaño original de los datos de entrada, se propone un nuevo método cuya salida es del mimo tamaño que la entrada. Esto significa que, por ejemplo, una imagen captada por sensores convencionales de N=4000 píxeles en horizontal, al dividirse en dos para generar un par de imágenes estéreo, cada ojo recibiría del orden de 2000 pixeles,

50 mientras que con los métodos anteriores, como máximo se obtendrían 1000 píxeles por ojo, que estaría por debajo de la especificación asociada a la alta definición.

Finalmente, la imagen plenótica capturada con el sistema propuesto se puede proyectar en un display como el que se describirá, evitando así el disconfort visual típico tras observaciones prologadas en los proyectores convencionales 3D a día de hoy, tanto estereoscópicos como autoestereoscópicos.

ES 2 391 185 A1

Descripción de la invención

Al observar imágenes estereoscópicas en displays 3D, con gafas adaptadas o sin las mismas, se produce un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada. Este problema se resuelve con el siguiente procedimiento:

1º Adquisición de la imagen plenóptica: Mediante una cámara plenóptica o mediante un objetivo plenóptico miniaturizado y portátil acoplado a una cámara convencional de objetivos intercambiables.

2º Procedimiento de calibración de la imagen.

3º Generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista y muestra del resultado sobre display 3D, enfocando en un sólo plano o con la escena completamente enfocada.

4º Adaptación de los resultados anteriores utilizando la algoritmia apropiada (por ejemplo, el algoritmo SPOC), y colocación de microlentes delante de un display convencional para mostrar 3D sobre un display plano.

Siguiendo el procedimiento anterior se consigue generar un dispositivo que convierte cualquier cámara convencional en una cámara plenóptica, que muestra los resultados de forma que el usuario no tenga fatiga visual después de ver contenidos 3D de manera prolongada. Permite ver esos contenidos con gran variedad de puntos de vista, a diferencia del 3D estéreo convencional en el que sólo hay dos puntos de vista (uno por cada ojo), displays con gafas

o sin gafas autoestereoscópicos.

Cada una de las etapas anteriormente indicadas se desarrolla de la siguiente forma:

-

Etapa 1. Adquisición de la imagen plenóptica.

La adquisición de la imagen puede realizarse mediante una cámara plenóptica o mediante un objetivo plenóptico.

El objetivo plenóptico propuesto es un sistema óptico compuesto por cuatro elementos claramente diferenciados. En primer lugar un conjunto óptico similar a un teleobjetivo que proyecta la imagen sobre un array de microlentes refractivas que incluye, si es necesario, una o dos lentes de campo para reconducir los rayos principales hacia el sistema multicompuesto, todo esto forma el segundo bloque óptico. Las imágenes formadas por el sistema multicompuesto o array son recogidas por un vehículo óptico de formación de imagen que constituye el tercer elemento óptico y que trabaja en modo objeto próximo que, una vez colimado el haz incidente en este subsistema es recogido por el cuarto elemento ópticos que, trabajando en modo infinito-conjugado, proyecta el conjunto de imágenes generados por el array de microlentes o sistema compuesto en un CCD o CMOS. Mediante el control de las focales de los elementos 3 y 4, anteriormente mencionados, es posible adaptar la relación de aumentos de las imágenes formadas por el elemento 2 en el plano imagen donde se ubica el CCD o CMOS. Esta adaptación puede hacerse a través de la modificación continua de las focales de uno o de los dos sistemas mediante el empleo de sistemas zoom que aseguran el mismo plano imagen con diferentes relaciones de aumentos.

El sistema óptico completo incluye un diafragma óptico real de apertura variable para la adaptación de la energía recibida a la sensibilidad del detector y que permite, a su vez, asegurar el muestreo espacial de la escena proyectada sobre el array de lentes o sistema multicompuesto, de forma que se controla eficazmente el aliasing del sistema óptico por la adaptación que se consigue de las frecuencias espaciales transmitidas a la frecuencia Nyquist del sistema completo. Otro diafragma colocando próximo al array de lentes o sistema multicompuesto limita correctamente la máxima extensión de la escena proyectada permitiendo una iluminación homogénea libre de viñeteo. El sistema óptico completo permite el ajuste óptico o mecánico del primer sistema para proyectar una imagen nítida en el array o sistema multicompuesto. Este elemento puede rotarse con precisión para adaptar el muestreo y ajustar la imagen intermedia que genera con las líneas detectoras del array bidimensional, CCD o CMOS utilizado para la colección de la escena. Esto permite que se alinee correctamente las direcciones principales de ambos elementos. El plano focal incluye un mecanismo de enfoque que permite tanto el ajuste axial como transversal del CCD o CMOS o, si es necesario, realizar las rotaciones en el plano focal que aseguran la máxima calidad de la imagen formada. Un ejemplo de realización de este dispositivo se muestra en la Figura 1.

-

Etapa 2. Procedimiento de calibración de la imagen en la cámara plenóptica.

La cámara plenóptica está basada en la utilización de un array de microlentes ubicada en el foco de un sistema de imagen, o en las proximidades de éste, de forma que se obtenga en el detector un conjunto de imágenes de la pupila de entrada en una multiplicidad de direcciones. Esta disposición física de los elementos permite realizar un muestreo eficaz del “Light field” del espacio delante de la cámara, a partir del cual pueden obtenerse muchas de las propiedades del campo visual, entre las que destaca las profundidades hasta los objetos y la fase del frente de onda.

La construcción física de una cámara plenóptica requiere la ubicación de un array de microlentes alineado con un sensor de imagen. En la práctica, un alineado perfecto es difícil de conseguir debido a las pequeñas dimensiones de

ES 2 391 185 A1

los elementos involucrados (pixeles del orden de 10 micrómetros, microlentes de 100 micrómetros) de forma que es razonable contar con la necesidad de procesar en cierta medida las imágenes que sean obtenidas por el sensor para obtener los parámetros de orientación y posición de las microlentes respecto a éste.

Las deficiencias del proceso de alineado se modelan como fruto combinado de un giro y un desplazamiento lateral, aunque además habrá que obtener la medida del “pitch” de las microlentes expresado en unidades fraccionarias de pixel del sensor, el cual podrá variar levemente dependiendo del sistema de imagen utilizado(zoom).

Los parámetros que identifican la calibración de una cámara plenóptica son:

a) El pitch (frecuencia espacial de repetición) de las microlentes en la imagen del sensor, medido en pixeles. Se supondrá que es idéntico tanto para la dirección horizontal como para la vertical, aunque también se podrían admitir microlentes distribuidas hexagonalmente o con cualquier otra estructura. Como ejemplo de realización se considerará que las microlentes están fabricadas con una distribución cartesiana.

b) El ángulo de giro o inclinación de las microlentes respecto a los pixeles del sensor. A efectos de ejemplo de realización se supondrá que este giro es relativamente pequeño respecto a la línea de pixeles del sensor, pudiendo estimarse que su tangente será inferior al tamaño de la microlente dividida por el número de pixeles de una línea, con lo que el “desalineamiento” relativo de un extremo a otro del sensor será inferior a una microlentilla.

c) El desplazamiento lateral, tanto vertical como horizontal, que permite identificar la ubicación relativa de las microlentes respecto de los pixeles del sensor.

La obtención de los mencionados parámetros podrá hacerse utilizando alguno de los dos métodos siguientes:

-

Método de reducción de apertura

El algoritmo a utilizar debe ser siempre completamente automático, a partir de la imagen plenóptica adquirida, sin que requiera la intervención de operador alguno.

En este método se requiere la utilización de una configuración especial de la cámara plenóptica en la que la apertura se cierra a una pequeña fracción de la apertura nominal del sistema. De esta forma, cada una de las microlentes tiene únicamente iluminada la parte central de la misma, estando en nivel bajo próximo al negro el resto de la imagen. También se recomienda que la escena sea uniforme, aunque ello no es estrictamente necesario.

Sobre esta imagen se realizan sucesivamente los siguientes pasos:

a) Determinación aproximada del pitch. Se calcula el módulo de la transformada de Fourier bidimensional de la imagen, habiendo descontado la componente continua, averiguando seguidamente la posición del primer pico. Para una mayor precisión, se ajusta cuadráticamente el valor del pico con el de los adyacentes. Esta operación se realiza tanto en el eje horizontal como vertical, promediándose ambos valores para obtener una mejor estimación del pitch.

b) Sobre segmento central de la imagen se inspecciona el valor máximo, que asociaremos aproximadamente al centro de una microlente. Con esta información trazaremos una cuadrícula cartesiana que divida la imagen en las zonas correspondientes a cada microlente, la cual, aunque no tendrá en cuenta la posible inclinación, debido a que ésta es pequeña respecto al tamaño de la microlente, garantizando que el centro queda dentro de la cuadrícula correspondiente.

c) Se calcula el centro de gravedad de la luz contenida en cada una de las celdas de la cuadrícula anterior, lo cual proporcionará una estimación de las posiciones de las microlentes.

d) Finalmente, se realiza una minimización ciega para ajustar los centros calculados a un modelo que deja libre los parámetros deseados (pitch, inclinación, desplazamiento lateral horizontal y desplazamiento lateral vertical), de forma que la suma cuadrática de las distancias de los centros del modelo y los centros calculados anteriormente sea mínima.

La minimización realizada en último lugar explota la información disponible “a priori” de que el array de microlentes está fabricado con perfección, es decir, con un único pitch válido tanto horizontal como verticalmente, con todas las microlentes alineadas salvo un único giro del conjunto. Este paso permite solventar la posible respuesta errónea de alguna microlente, y faculta que el método sea utilizado también en imágenes que no necesariamente correspondan a una escena uniforme.

-

Método de la Transformada de Fourier: Pitch e Inclinación

Este método puede aplicarse sobre una imagen plenóptica cualquiera sin necesidad de que la apertura haya sido cerrada, lo cual la convierte en una opción más cómoda y práctica. Puede también utilizarse con cualquier escena.

ES 2 391 185 A1

Proporciona directamente el pitch y la inclinación existente, pero debe completarse con alguno de los procesos descritos posteriormente para obtener los desplazamientos vertical y horizontal.

El procedimiento general es el siguiente:

a) Se calcula el módulo de la Transformada de Fourier bidimensional de la imagen, la cual presenta unos picos muy agudos a la frecuencia espacial inversa del pitch del array de microlentes. Para mejorar la precisión de cálculo de la misma, se procede a orlar la imagen con pixeles de valor nulo hasta completar cuatro veces el número de pixeles inicial, procediendo entonces a un ajuste cuadrático a partir del valor de frecuencia de módulo máximo y los dos adyacentes. Esta inspección del pico se realiza tanto a la izquierda como a la derecha del cero de frecuencias, promediando ambos resultados para obtener el pitch.

b) A partir de las posiciones de los picos a izquierda y derecha del cero de frecuencias, se calcula la tangente de la inclinación como la mitad de la diferencia de las coordenadas de dichas posiciones.

Tanto el cálculo del pitch como el de la inclinación es susceptible de ser repetido tanto horizontal como verticalmente, e incluso utilizar los picos ubicados a frecuencias armónicas de la fundamental, obteniendo así una mejor estimación de los valores de los parámetros citados.

Habiendo obtenido en el punto anterior el pitch y la inclinación de una imagen plenóptica cualquiera, únicamente queda por determinar cuáles son los desplazamientos laterales del conjunto de las microlentes respecto al sensor, o lo que es lo mismo, las coordenadas del centro de alguna microlente. Este proceso puede realizarse mediante alguno de los procedimientos siguientes:

Procedimiento A: correlación en fase unidimensional

a) Se genera una imagen plenóptica simulada en la que la luz de la microlente sigue un perfil sinusoidal tanto en eje vertical como en el horizontal, cumpliendo los valores de pitch y de inclinación conocidos. Este proceso utiliza la propiedad habitual de que los centros de las microlentes están en general mucho más iluminados que los intersticios, y que la variación de la luz en el interior de la imagen de la microlente es suave.

b) Se calcula la correlación cruzada entre la imagen plenóptica de partida y la imagen generada, habiendo suprimido la componente continua (y otras frecuencias bajas si fuera necesario).

c) Sobre el máximo de la correlación cruzada, se realiza una interpolación cuadrática con los valores adyacentes y se obtiene directamente el desplazamiento vertical y horizontal con precisión subpixel.

Este método de cálculo del desplazamiento basado en la correlación tiene el inconveniente de que requiere un apreciable esfuerzo de cálculo, debido al coste computacional de la correlación cruzada. Por este motivo, se ha desarrollado también un método alternativo más simple que se basa en realizar una detección directa de la fase de una línea vertical y otra horizontal, de la forma que se describe a continuación.

El algoritmo utiliza la identidad trigonométrica que indica que el producto de un seno por un coseno puede expresarse como la suma del seno del ángulo diferencia y del seno del ángulo suma:

Cuando ambas fases sean muy similares, el término en diferencia de ángulos será proporcional a la mitad de dicha diferencia, y el término suma corresponderá a una frecuencia doble que podrá filtrarse o considerarse cero mientras la longitud de la línea corresponda exactamente con un número entero de longitudes de onda. El proceso es el siguiente:

sin(a-f ) sin(a+f )

sin(a)cos(f ) =+

Procedimiento B: correlación en fase bidimensional

a) Se extrae de la parte central de la imagen una línea vertical, habiendo tenido en cuenta la inclinación medida anteriormente.

b) Se genera una línea simulada mediante una sinusoide con fase inicial cero de la frecuencia espacial medida (pitch) y de amplitud normalizada al valor máximo de la línea de la imagen. La longitud de esta línea debe ser un múltiplo del pitch medido.

c) Se multiplican punto a punto la línea original y la simulada, y se halla el promedio del resultado, que tenderá a la mitad de la diferencia de fase entre la línea y la señal simulada

d) Se actualiza la fase de la señal simulada añadiendo el valor hallado en “c)”, y se vuelve al punto “b)”, iterando hasta que el valor hallado de diferencia de fase sea inferior a un cierto residuo admisible, o bien un número finito de veces, del orden de 100.

ES 2 391 185 A1

Este procedimiento se repetirá con una línea horizontal para obtener el desplazamiento correspondiente. Un tercer método puede ser el cálculo del desplazamiento lateral mediante correlación lineal se puede realizar

utilizando la correlación cruzada de una línea vertical y otra simulada, pero únicamente en una dimensión. De esa forma, con un gran ahorro de cálculo, se obtienen resultados aceptables. Se aplicaría de la forma siguiente: Procedimiento C: detección directa a) Se extrae de la parte central de la imagen una línea vertical, habiendo tenido en cuenta la inclinación medida

anteriormente. b) Se genera una línea simulada mediante una sinusoide de la frecuencia espacial medida (pitch) y de amplitud

normalizada al valor máximo de la línea de la imagen. La longitud de esta línea debe ser un múltiplo del pitch medido. c) Se calcula la correlación cruzada de ambas señales. El máximo de la misma informará sobre el desplazamiento

lateral buscado. Este procedimiento se repite con una línea horizontal, para obtener el desplazamiento correspondiente. Veamos un ejemplo de calibración siguiendo alguno de los métodos anteriormente propuestos. En primer lugar se debe generar la imagen plenóptica simulada. La imagen plenóptica simulada, se compone

sumando dos cosenos, uno en horizontal y otro en vertical donde el periodo de estos cosenos es el pitch de la imagen.

Por tanto, se puede obtener una imagen plenóptica simplificada en la que se alteran su pitch, inclinación y desplazamiento para conseguir una variedad de imágenes de entrada grande.

En segundo lugar, se calcula el pitch e inclinación. En este caso se utilizará el procedimiento de la Transformada de Fourier bidimensional de la imagen, véase Figura 2, por lo tanto se tiene:

donde N y M son las dimensiones horizontal y vertical de la imagen.

Cada armónico es interpolado usando la interpolación gaussiana ( Improving FFT Frequency Measurement Resolution by Parabolic and Gaussian Spectrum Interpolation , M. Gasior, J.L. Gonzalez , CERN, CH-1211,Geneva 23, Switzerland):

Los mejores resultados se obtienen empleando la técnica de zero-padding y aplicando una ventana de Blackman-Harris de 4 términos a la imagen antes de hacer la FFT.

Considerando una imagen de 1024x1024, una variación del pitch de 18 a 22 píxel, y una variación de la inclinación

35 0.02 a 0.02, los valores de inclinación, expresados en pixel/pixel, resultan:

ES 2 391 185 A1

En tercer y último lugar se calcula el desplazamiento.

Para la misma imagen simulada anterior, se puede aplicar cualquiera de los tres procedimientos desarrollados (Procedimiento A: correlación en fase unidimensional, Procedimiento B: correlación en fase bidimensional o Procedimiento C: detección directa).

Considerando que se ha variado el pitch entre – y --, la inclinación entre – y --, y el desplazamiento entre 0 y el pitch dentro de cada iteración, los resultados obtenidos son:

Tamaño de imagen de entrada

Método Error medio Desviación típica

Correlación unidimensional

0.5319 0.2951

512x512

Correlación bidimensional 0.2957 0.1333

Detección directa*

1.0673 0.7187

Correlación unidimensional

0.2133 0.1356

1024x1024

Correlación bidimensional 0.2254 0.0797

Detección directa*

1.2129 0.8128

Correlación unidimensional

0.1952 0.1438

2048x2048

Correlación bidimensional 0.1051 0.0498

Detección directa*

1.1374 0.8849

-

Etapa 3. Generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, 10 generación de puntos de vista y muestra del resultado sobre display 3D, enfocando en un sólo plano o con la escena completamente enfocada.

Una vez calibrada la imagen, y previamente a su proyección, se hace necesaria esta etapa. En primer lugar se necesita formar imagen reenfocada a distintas profundidades a partir de la imagen plenóptica capturada y calibrada anteriormente.

15 Considerando que se tiene una imagen tomada por una cámara plenóptica donde el array de microlentes se caracteriza por contener Ny filas de Nx microlentes iguales entre sí, de longitud focal f, y donde la imagen formada por las microlentes se recoge en un sensor ubicado perpendicular al eje óptico a la distancia f tras las microlentes, ocupando cada imagen tras microlente M veces M píxeles. De tal manera que la imagen se puede considerar una señal digital indexable con 4 parámetros discretos, L(x,y,u,v), con x variando entre 0 y Nx-1, y entre 0 y Ny-1, u entre

20 0 y M-1, y v entre 0 y M-1.

El muestreo se asume regular en las dimensiones de microlente y pixel tras cada microlente. Se exige que el número de píxeles M tras cada microlente sea primo, para esta primera descripción. Y el doble de un número primo para el segundo uso descrito.

Se puede recrear la imagen con el enfoque situado a distintas distancias a partir de los datos captados con una 25 plenóptica, evaluando la siguiente integral:

ES 2 391 185 A1

a la imagen continua y a la señal plenóptica continua. Es común, con fines ilustrativos, referirse a una función plenóptica 2D, donde las variables y y v no son tenidas en cuenta. En ese caso la integral se convierte en una integral de línea sobre un espacio 2D.

Se han denotado como

5 Sin embargo esta integral sobre una señal continua se ha de modificar para tener en cuenta que lo sensado con la cámara plenóptica es una versión discreta de la misma. Nuestro método propuesto hace una elección del método de discretización que difiere de las previamente recogidas por la literatura.

Para formar imagen reenfocada a distintas profundidades a partir de la imagen plenóptica capturada y calibrada se desarrollan los siguientes pasos:

10 En primer lugar, se hace corresponder lo captado por medio de un pixel del sensor con uno de los recuadros del esquema, figura 3. No se consideran puntos infinitesimales, sino que cubren un área del espacio (x,u) que se corresponde con la luz que atraviesa la superficie de una microlente, sobre el eje x, en las direcciones angulares que abarca la superficie de un pixel del sensor, eje u. Se ha elegido Nx = 5 y M = 5.

Se observa que al proyectar los muestras de la función plenóptica (1, M-1), (1, M-2), … (1,0) se conforman M

15 franjas de valor diferenciado. Al proyectar todas las muestras de la señal plenóptica discreta de esta manera se generan Nx*M valores diferenciados que se puede considerar una imagen reenfocada sobre el plano de distancia asociado a la pendiente k. Contendrá, por lo tanto, el mismo número de píxeles que tuviera el sensor empleado para la captura de la función plenóptica.

En segundo lugar, se muestran las franjas de integración para todas las posibles inclinaciones en el caso M=5. Esto

20 es k=-4,…,-1; así como k=1, …,4, se muestran Nx=9 microlentes para dar cabida a las pendientes extras, figura 4. Cuando se procesan todas las franjas usando cada una de estas inclinaciones se obtiene un conjunto de imágenes con distintos planos de enfoque. Para una plenóptica con M píxeles por microlente se pueden obtener 2M-2 imágenes enfocadas a distintas profundidades.

En tercer lugar, las franjas que se generarían para k=1, figura 5. Resaltando el hecho de que en los márgenes las 25 franjas de integración pueden rebasar los límites de la señal plenóptica captada.

Con lo aquí descrito, y volviendo al caso 4D, el método se aplica evaluando la integral

siguiendo la fórmula discreta siguiente:

30 Haciendo variar los distintos parámetros entre los siguientes rangos:

Los parámetros de la imagen de salida mx, px, se pueden considerar partes de la misma dimensión x=mx*M + px, y otro tanto para y=my*M + py.

Por otro lado, las pendientes negativas se consiguen con la siguiente evaluación, en los mismos rangos expresados 35 previamente:

ES 2 391 185 A1

De manera opcional, en estas fórmulas se puede introducir, multiplicando a los factores L(·), una función de pesado, ww w , para reflejar el hecho de que los píxeles pueden recoger más o menos luz según se hallen tras el

centro de una microlente, o en las zonas periféricas de transición entre una y otra microlente.

De esa forma se consigue una imagen reenfocada. Se hace necesario entonces, la creación de imágenes con distinto punto de vista, y enfocados a distintas distancias a partir de una imagen plenóptica.

Se pueden crear d2 imágenes con puntos de vista diferentes en horizontal y vertical cuando se exige que M/d sea primo y se aplica el método anteriormente descrito d2 veces, considerando en cada caso solo parte de los píxeles

de la imagen plenóptica. Las inclinaciones varían en el rango [-M/d…-1] y [1…M/d]. Esto implica que por cada una de las d2 habrá 2M/d-2 posibles profundidades de enfoque. Cada una de estas imágenes tendrá el tamaño Ny · M/d x Nx · M/d píxeles.

Por ejemplo, si d=2, se obtendrán 4 imágenes. Una primera imagen resulta de considerar solo aquellos píxeles tras microlentes donde la dimenión px varia entre 0 y M/2-1, a la vez que py lo hace entre 0 y M/2-1; otro cuadrante resulta de considerar px variando entre M/2 y M-1 mientras py lo hace entre 0 y M/2-1; otro de evaluar px entre 0 y M/2-1, mientras py lo hace entre M/2 y M-1; y por último trabajar con px entre M/2 y M-1, mientras que py varia entre M/2 y M-1.

En la parte izquierda de la figura 6 se ilustra la división de píxeles en una de las dimensiones y a la derecha los cuatro cuadrantes de la lente principal resultantes de aplicar simultáneamente divisiones en px y py.

Estas imágenes, que ahora son 4 por cada inclinación, cada una con ¼ del tamaño de la imagen plenóptica, se pueden combinar promediando las imágenes obtenidas con mismo rango de variación de px, pero distinto rango en py, lo que daría lugar a dos imágenes con diferente punto de vista exclusivamente en la dimensión horizontal, obteniéndose un par estereoscópico.

La imagen plenóptica, una vez calibrada y correctamente reenfocada se debe proyectar en un monitor plenóptico, en una última etapa.

-

Etapa 4. Adaptación de los resultados anteriores utilizando el algoritmo SPOC, y colocación de microlentes delante de un display convencional para mostrar 3D sobre un monitor plenóptico

En primer lugar, la imagen plenóptica se convierte en una imagen integral utilizando el algoritmo SPOC (H. Navarro,

R. Martínez-Cuenca, G. Saavedra, M. Martínez-Corral, and B. Javidi, “3D integral imaging display by smart pseudoscopic-to-orthoscopic conversión,”̘Opt. Express 25, 25573-25583 (2010). Este algoritmo permite adaptar la imagen plenóptica a las características de monitor (tamaño del monitor, número de microlentes, número de píxeles), y también al del tipo de imagen que se desea proyectar (escala de la imagen, distancia de la imagen al monitor). Una vez efectuado el cálculo de la imagen integral, se proyecta sobre el monitor plenóptico, descrito a continuación.

El monitor plenóptico propuesto puede ser de tamaño pequeño (como los terminales de telefonía, o las mini consolas de videojuegos, las agendas electrónicas, o los marcos de fotografía digital), de tamaño intermedio (como las tabletas digitales, o los netbooks), de tamaño grande (como las pantallas de televisión o los monitores de ordenador) o de tamaño superior (como los vídeo-marcadores de los estadios deportivos, grandes paneles publicitarios o grandes monitores murales).

En todos los casos la estructura del monitor es similar. En primer lugar, la imagen integral se proyecta sobre el dispositivo electrónico de display digital (que puede ser de tipo LCD o LED en los monitores pequeños, intermedios o grandes, o compuesto por LEDS o bombillas ultra-brillantes en caso de los monitores murales.). En un plano paralelo al panel se sitúa una matriz de lentes convergentes. Las lentes configuran una matriz con malla cuadrada. Para maximizar el campo visual, sin comprometer la calidad de la imagen, la focal de las lentes es del orden de cuatro veces el diámetro de las lentes. La resolución espacial del monitor viene fijada por el tamaño de las lentes. El número de perspectivas vienen determinado por el número de píxeles presentes en la celda elemental situada detrás de cada lente. Cuanto menor sea el tamaño de las lentes, y menor el tamaño de los píxeles, mejor será la calidad de la imagen observada. Como norma de índole práctico establecemos que el tamaño de las lentes ha de ser tal que su tamaño angular, visto por el observador cuando visualiza el monitor desde una distancia normal (por ejemplo, 0.5 m para el caso de un monitor de ordenador) sea igual o menor que 10-3 rad. Con respecto al número de píxeles, para proporcionar una sensación de perspectiva continua el número de píxeles por microlente debe ser superior a 12. En los monitores pequeños y medianos la matriz de microlentes están constituidos por lentes

ES 2 391 185 A1

refractivas. En los monitores tipo mural, para evitar el gran peso de las lentes de gran diámetro, es más conveniente utilizar hojas de lentes de Fresnel o matrices de lentes difractivas tipo kinoform.

Con este tipo de monitor se pueden proyectar imágenes 3D ortoscópicas, con paralaje total, y sin las desventajas de fatiga visual inherentes a los monitores estereoscópicos

5 Descripción de las figuras

Figura 1: Montaje óptico del objetivo plenóptico propuesto. Figura 2: Imagen plenóptica donde se calcula el pitch y la inclinación aplicando transformada de Fourier. Figura 3: Representación esquemática donde se ilustra la correspondencia de los píxeles del sensor con los

recuadros del esquema, en un área del espacio (x,u). En el esquema se ha resaltado la proyección de todos los

10 píxeles tras una cierta microlente, x0, en este caso, x0=1. La proyección sigue la inclinación que hace que el extremo superior izquierdo del área del píxel (x0, M-1), se proyecte sobre la esquina inferior izquierda del pixel (x0-k, 0), en este caso k = 1.

Figura 4: Franjas de integración para todas las posibles inclinaciones en el caso M=5 Figura 5: Generación de franjas para una pendiente k=1. 15 Figura 6: Ilustración de la generación de 4 diferentes puntos de vista a partir de una imagen plenóptica.

ES 2 391 185 A1

Claims (10)

1. REIVINDICACIONES

   1. Objetivo plenóptico para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende:

   5 un conjunto óptico proyector, un array de microlentes, un vehículo óptico de formación de imagen, y un conjunto óptico infinito-conjugado proyector
2. 2. Sistema integrado para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende un objetivo plenóptico según la reivindicación 1, un diafragma óptico real de apertura variable y un segundo diafragma colocado próximo al array de microlentes.

   10 3. Método de captura y representación de imagen tridimensional caracterizado porque comprende las siguientes etapas:

   (i) adquisición de una imagen plenóptica, mediante una cámara plenóptica o mediante un objetivo plenóptico según la reivindicación 1 o un sistema integrado según la reivindicación 2, acoplado a una cámara de objetivos intercambiables entre la cámara y el objetivo de la misma;

   15 (ii) calibración de la imagen adquirida;

   (iii) generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista y muestra del resultado sobre display 3D, enfocando en un solo plano o con la escena completamente enfocada; y

   (iv) adaptación de los resultados anteriores utilizando algoritmos apropiados, como el SPOC, y colocación de 20 microlentes delante en un display convencional para mostrar 3D sobre un display plano.
3. 4. Método para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende:

   (i) incorporar un objetivo plenóptico según la reivindicación 1 o un sistema integrado según la reivindicación 2 entre la cámara y el objetivo de la misma;

   25 (ii) captar una imagen;

   (iii) una etapa de calibración de la imagen para determinar los parámetros característicos de una cámara plenóptica, estando basada la calibración en la reducción de la apertura de la cámara y comprendiendo: calcular el módulo de la transformada de Fourier bidimensional de la imagen recibida por el sistema óptico, asociar el valor máximo de la imagen al centro de una microlente, 30 dividir la imagen mediante una cuadrícula cartesiana en celdas correspondientes a las microlentes,

   calcular el centro de gravedad de la luz contenida en cada celda, y realizar una minimización ciega para ajustar los centros calculados a un modelo; y

   (iv) una etapa de reenfoque de alta resolución adecuada para alimentar un display autoestereoscópico, que comprende la evaluación de la integral característica mediante el algoritmo discreto:

   35 y el cálculo de las pendientes negativas mediante:

   ES 2 391 185 A1

   siendo I la imagen reenfocada, L la señal plenóptica captada

   siendo mx, px, my, py parámetros de la imagen de salida que varían entre los rangos siguientes:

   mx = 0 … Mx–1

   my = 0 … My–1

   px = 0 … M–1

   py = 0 … M–1

   con M el número de píxeles por microlente,

   siendo k la pendiente, que varía en el rango k = 1 … M–1.

4. 5.

   Método según la reivindicación 4, caracterizado porque comprende una etapa de generación de imágenes con múltiples puntos de vista, incluyendo pares estéreo para alimentar a un display estereoscópico, y porque se exige que M/d sea primo.

5. 6.

   Método para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende:

   (i)

   incorporar un objetivo plenóptico según la reivindicación 1 o un sistema integrado según la reivindicación 2 entre la cámara y el objetivo de la misma;

   (ii)

   captar una imagen;

   (iii) una etapa de calibración de la imagen para determinar los parámetros característicos de una cámara plenóptica, estando basada la calibración en la Transformada de Fourier y comprendiendo:

   calcular el módulo de la Transformada de Fourier bidimensional de la imagen y orlarla;

   calcular la tangente de la inclinación como la mitad de la diferencia de las coordenadas de las posiciones de los picos a izquierda y derecha del cero de frecuencias; y

   determinar las coordenadas del centro de alguna microlente mediante la correlación en fase unidimensional, comprendiendo:

   -

   simular una imagen plenóptica en la que la luz de la microlente sigue un perfil sinusoidal tanto en eje vertical como en el horizontal;

   -

   calcular la correlación cruzada entre la imagen plenóptica de partida y la imagen generada; e

   -

   interpolar cuadráticamente sobre el máximo de la correlación cruzada.

6. 7.

   Método según la reivindicación 6, caracterizado porque la determinación de las coordenadas del centro de alguna microlente se hace mediante correlación en fase bidimensional, comprendiendo: la extracción en la parte central de la imagen de una línea vertical; la generación de una línea simulada mediante una sinusoide con fase inicial cero de la frecuencia espacial medida y de amplitud normalizada al valor máximo de la línea de la imagen;

   la multiplicación punto a punto de la línea original con la simulada y el promedio del resultado; y la iteración hasta que el valor hallado de la diferencia de fase sea inferior a un cierto residuo admisible.

7. 8.

   Método según la reivindicación 6, caracterizado porque la determinación de las coordenadas del centro de alguna microlente se hace mediante detección directa, comprendiendo: la extracción en la parte central de la imagen de una línea vertical; la generación de una línea simulada mediante una sinusoide de la frecuencia espacial medida y de amplitud

   normalizada al valor máximo de la línea de la imagen; y el cálculo de la correlación cruzada de ambas señales.

8. 9.

   Método según cualquiera de las reivindicaciones 6-8, caracterizado porque:

   ES 2 391 185 A1

   la etapa de reenfoque de alta resolución que puede alimentar un display autoestereoscópico comprende la evaluación de la integral característica mediante el algoritmo discreto:

   y el cálculo de las pendientes negativas mediante:

   5 siendo I la imagen reenfocada, L la señal plenóptica captada

   siendo mx, px, my, py parámetros de la imagen de salida que varían entre los rangos siguientes:

   mx = 0 … Mx–1

   my = 0 … My–1

   px = 0 … M–1 10 py = 0 … M–1

   con M el número de píxeles por microlente,

   siendo k la pendiente, que varía en el rango k = 1 … M–1,

   porque comprende una etapa de generación de imágenes con múltiples puntos de vista, incluyendo pares estéreo

   para alimentar a un display estereoscópico, 15 y porque se exige que M/d sea primo.
9. 10. Sistema de que proyección de imagen tridimensional adaptado para mostrar los resultados obtenidos mediante el método según cualquiera de las reivindicaciones 3-9, caracterizado porque comprende un dispositivo electrónico de display digital, una matriz de lentes situadas en un plano paralelo al panel anterior con un tamaño tal que su tamaño angular sea igual o menor que 10-3 rad, y que contiene un número de píxeles por microlente superior a 12.

   OFICINA ESPAÑOLA DE PATENTES Y MARCAS

   N.º solicitud: 201100485

   ESPAÑA

   Fecha de presentación de la solicitud: 28.04.2011

   Fecha de prioridad:

   INFORME SOBRE EL ESTADO DE LA TECNICA

   51 Int. Cl. : Ver Hoja Adicional

   DOCUMENTOS RELEVANTES

   Categoría

   56 Documentos citados Reivindicaciones afectadas

   A A A A

   EP 2244484 A1 (RAYTRIX GMBH) 27.10.2010 US 2009295829 A1 (GEORGIEV TODOR G et al.) 03.12.2009 US 2008002023 A1 (CUTLER ROSS G) 03.01.2008 US 2008080852 A1 (CHEN LIANG-GEE et al.) 03.04.2008 1 1 1 1

   Categoría de los documentos citados X: de particular relevancia Y: de particular relevancia combinado con otro/s de la misma categoría A: refleja el estado de la técnica O: referido a divulgación no escrita P: publicado entre la fecha de prioridad y la de presentación de la solicitud E: documento anterior, pero publicado después de la fecha de presentación de la solicitud

   El presente informe ha sido realizado • para todas las reivindicaciones • para las reivindicaciones nº:

   Fecha de realización del informe 24.10.2012

   Examinador M. C. González Vasserot Página 1/4

   INFORME DEL ESTADO DE LA TÉCNICA

   Nº de solicitud: 201100485

   CLASIFICACIÓN OBJETO DE LA SOLICITUD

   G06T7/00 (2006.01) G06T15/20 (2011.01) G03B41/00 (2006.01) G02B27/00 (2006.01)

   Documentación mínima buscada (sistema de clasificación seguido de los símbolos de clasificación)

   G06T, G03B, G02B

   Bases de datos electrónicas consultadas durante la búsqueda (nombre de la base de datos y, si es posible, términos de búsqueda utilizados)

   INVENES, EPODOC, WPI

   Informe del Estado de la Técnica Página 2/4

   OPINIÓN ESCRITA

   Nº de solicitud: 201100485

   Fecha de Realización de la Opinión Escrita: 24.10.2012

   Declaración

   Novedad (Art. 6.1 LP 11/1986)

   Reivindicaciones Reivindicaciones 1-10 SI NO

   Actividad inventiva (Art. 8.1 LP11/1986)

   Reivindicaciones Reivindicaciones 1-10 SI NO

   Se considera que la solicitud cumple con el requisito de aplicación industrial. Este requisito fue evaluado durante la fase de examen formal y técnico de la solicitud (Artículo 31.2 Ley 11/1986).

   Base de la Opinión.-

   La presente opinión se ha realizado sobre la base de la solicitud de patente tal y como se publica.

   Informe del Estado de la Técnica Página 3/4

   OPINIÓN ESCRITA

   Nº de solicitud: 201100485

   1. Documentos considerados.-

   A continuación se relacionan los documentos pertenecientes al estado de la técnica tomados en consideración para la realización de esta opinión.

   Documento

   Número Publicación o Identificación Fecha Publicación

   D01

   EP 2244484 A1 (RAYTRIX GMBH ) 27.10.2010

   D02

   US 2009295829 A1 (GEORGIEV TODOR G et al.) 03.12.2009

   D03

   US 2008002023 A1 (CUTLER ROSS G ) 03.01.2008

   D04

   US 2008080852 A1 (CHEN LIANG-GEE et al.) 03.04.2008

10. 2. Declaración motivada según los artículos 29.6 y 29.7 del Reglamento de ejecución de la Ley 11/1986, de 20 de marzo, de Patentes sobre la novedad y la actividad inventiva; citas y explicaciones en apoyo de esta declaración

    Se presentó nueva memoria modificada el 10/08/2012, se examina en base a esa memoria. Los documentos citados solo muestran el estado general de la técnica, y no se consideran de particular relevancia. Así, la invención reivindicada se considera que cumple los requisitos de novedad, actividad inventiva y aplicación industrial. 1.-El objeto de la presente solicitud de patente consiste en un sistema integrado de captura, procesado y representación de imagen tridimensional para cámaras de objetivos intercambiables que convierte cualquier cámara de objetivos intercambiables en una cámara 3D y que muestra los resultados de forma que el usuario no tenga fatiga visual, consta de un sistema portátil acoplado a una cámara convencional de objetivos intercambiables, un procedimiento de calibración de la imagen adquirida, un procedimiento para la generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista, un procedimiento de adaptación de los resultados anteriores utilizando algoritmos apropiados y la proyección posterior en un monitor basado en la colocación de microlentes delante en un display convencional. 2.-El problema planteado por el solicitante es al observar imágenes esteroscópicas en displays 3D, con gafas adaptadas o sin las mismas, se produce un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada. Este problema se resuelve con el siguiente procedimiento: 1° Adquisición de la imagen plenóptica: Mediante una cámara plenóptica o mediante objetivo plenóptico miniaturizado y portátil acoplado a una cámara convencional de objetivos intercambiables. 2° Procedimiento de calibración de la imagen. 3º Generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista y muestra del resultado sobre display 3D; enfocando en un sólo plano o con la escena completamente enfocada. 4° Adaptación de los resultados anteriores utilizando la algoritmia apropiada (por ejemplo, el algoritmo SPOC), y colocación de microlentes delante un un display convencional para mostrar 3D sobre un display plano. Siguiendo el procedimiento anterior se consigue generar un dispositivo que convierte cualquier cámara convencional en una cámara plenóptica, que muestra los resultados de forma que el usuario no tenga fatiga visual después de ver contenidos 3D de manera prologanda. Permite ver esos contenidos con gran variedad de puntos de vista, a diferencia del 3D estéreo convencional en el que sólo hay dos puntos de vista (uno por cada ojo), displays con gafas o sin gafas auotesteroscópicos. El documento D1 puede considerarse como el representante del estado de la técnica más cercano ya que en este documento confluyen la mayoría de las características técnicas reivindicadas.

    Análisis de la reivindicación independiente 1

    D1 se diferencia del documento de solicitud de patente en que el que el objetivo plenóptico para convertir una cámara de objetivos intercambiables en una cámara plenóptica no comprende un conjunto óptico infinito conjugado proyector. La reivindicación 1 es nueva (Art. 6.1 LP 11/1986) y tiene actividad inventiva (Art. 8.1 LP11/1986).

    Análisis del resto de los documentos

    De este modo, ni el documento D1, ni ninguno del resto de los documentos citados en el Informe del Estado de la Técnica, tomados solos o en combinación, revelan la invención en estudio tal y como es definida en las reivindicaciones independientes, de modo que los documentos citados solo muestran el estado general de la técnica, y no se consideran de particular relevancia. Además, en los documentos citados no hay sugerencias que dirijan al experto en la materia a una combinación que pudiera hacer evidente la invención definida por estas reivindicaciones y no se considera obvio para una persona experta en la materia aplicar las características incluidas en los documentos citados y llegar a la invención como se revela en la misma.

    Informe del Estado de la Técnica Página 4/4