ES2626174T3 - Procedimiento y aparato de desenfoque de imágenes - Google Patents
Procedimiento y aparato de desenfoque de imágenes Download PDFInfo
- Publication number
- ES2626174T3 ES2626174T3 ES15151927.9T ES15151927T ES2626174T3 ES 2626174 T3 ES2626174 T3 ES 2626174T3 ES 15151927 T ES15151927 T ES 15151927T ES 2626174 T3 ES2626174 T3 ES 2626174T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- calculation
- depth information
- blur
- diffusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Un procedimiento de desenfoque de imágenes, donde el procedimiento comprende: adquirir (102) una primera imagen y una segunda imagen capturadas por una misma cámara y que tienen una misma cobertura de visor, donde una distancia de imagen de la primera imagen es menor que una distancia de imagen de la segunda imagen; una imagen enfocada en primer plano, es decir, la distancia de imagen es relativamente corta, se usa como la primera imagen y una imagen enfocada en segundo plano, es decir, la distancia de imagen es relativamente larga, se usa como la segunda imagen; adquirir (104) información de profundidad según la primera imagen y la segunda imagen, donde la información de profundidad se usa para representar una distancia entre una escena en cada píxel de la primera imagen y un punto de captura y una distancia entre una escena en cada píxel de la segunda imagen y el punto de captura; determinar (106) un área de fondo de la primera imagen según la información de profundidad; y realizar (108) un procesamiento de desenfoque en el contenido del área de fondo de la primera imagen; donde adquirir información de profundidad según la primera imagen y la segunda imagen comprende: adquirir parámetros fotográficos de la cámara, donde los parámetros fotográficos comprenden: una longitud focal calibrada, un diámetro de lente y un parámetro de relación, donde el parámetro de relación se usa para representar una relación entre un tamaño de apertura de la cámara y la borrosidad de una imagen desenfocada; determinar información de profundidad inicializada según los parámetros fotográficos y las distancias de imagen respectivas de la primera imagen y la segunda imagen; caracterizado por realizar N cálculos iterativos en la información de profundidad inicializada según los parámetros fotográficos, la primera imagen y la segunda imagen, donde N es un entero positivo y N>=2; y adquirir un resultado obtenido por el enésimo cálculo iterativo y usar el resultado como la información de profundidad, donde la primera imagen y la segunda imagen tienen que transformarse con anterioridad desde un modelo RGB (rojo, verde, azul) a un modelo HSI (matiz, saturación, intensidad); donde realizar N cálculos iterativos en la información de profundidad inicializada según los parámetros fotográficos, la primera imagen y la segunda imagen comprende: cuando se realiza un primer cálculo, determinar un coeficiente de difusión del primer cálculo y un área de difusión del primer cálculo según la información de profundidad inicializada y los parámetros fotográficos; según la primera imagen, la segunda imagen, el coeficiente de difusión del primer cálculo y el área de difusión del primer cálculo, determinar ecuaciones hacia delante de difusión de calor que corresponden respectivamente a la primera imagen y la segunda imagen del primer cálculo; determinar una ecuación de valor mínimo en el primer cálculo, donde la ecuación de valor mínimo se usa para representar un valor mínimo de la suma de una primera diferencia y una segunda diferencia, donde la primera diferencia es una diferencia entre un valor de salida real y un valor de salida teórico de una ecuación hacia delante de difusión de calor correspondiente a la primera imagen, y la segunda diferencia es una diferencia entre un valor de salida real y un valor de salida teórico de una ecuación hacia delante de difusión de calor correspondiente a la segunda imagen; según la ecuación de valor mínimo del primer cálculo, obtener un gradiente mínimo de cada píxel de la primera imagen y la segunda imagen en el primer cálculo; según una fórmula de corrección prefijada, realizar n correcciones iterativas en la información de profundidad correspondiente a un píxel cuyo gradiente mínimo en el primer cálculo es superior a un umbral de gradiente prefijado, y obtener información de profundidad después del primer cálculo, donde n es un entero positivo y n>=2; y cuando se realiza un p-ésimo cálculo, determinar un coeficiente de difusión del p-ésimo cálculo y un área 50 de difusión del p-ésimo cálculo según la información de profundidad obtenida tras un (p-1)-ésimo cálculo y los parámetros fotográficos; según la primera imagen, la segunda imagen, el coeficiente de difusión del p-ésimo cálculo y el área de difusión del p-ésimo cálculo, determinar ecuaciones hacia delante de difusión de calor que corresponden respectivamente a la primera imagen y la segunda imagen del p-ésimo cálculo; determinar una ecuación de valor mínimo en el p-ésimo cálculo; según la ecuación de valor mínimo en el p-ésimo cálculo, obtener un gradiente mínimo de cada píxel de la primera imagen y la segunda imagen en el p-ésimo cálculo; según la fórmula de corrección prefijada, realizar n correcciones iterativas en la información de profundidad correspondiente a un píxel cuyo gradiente mínimo en el p-ésimo cálculo es superior al umbral de gradiente prefijado, y obtener información de profundidad tras el p-ésimo cálculo, donde 2<=p<=N.
Description
5
10
15
20
25
30
35
40
45
50
55
60
DESCRIPCION
Procedimiento y aparato de desenfoque de imagenes Campo tecnico
La presente invencion se refiere al campo del procesamiento de imagenes y, en particular, a un procedimiento y un aparato de desenfoque de imagenes y a un dispositivo electronico.
Antecedentes
Como medio habitual en la fotograffa, el desenfoque del fondo permite resaltar rapidamente un objeto y, por lo tanto, es algo muy habitual y usado por la mayoffa de los aficionados a la fotograffa. Sin embargo, para hacer una fotograffa con un efecto de desenfoque del fondo tiene que usarse una camara reflex profesional de una sola lente, y el efecto deseado solo puede conseguirse tras una compleja operacion de ajuste.
Para satisfacer las necesidades de un fotografo no profesional, existe un procedimiento para obtener un efecto de desenfoque del fondo mediante el procesamiento de una imagen utilizando software: tras capturar una imagen, un usuario abre la imagen usando software de procesamiento de imagenes y selecciona manualmente un area de fondo usando una herramienta incluida en el software de procesamiento de imagenes. El software de procesamiento de imagenes realiza un desenfoque gaussiano en una misma escala o en una escala de gradiente en el area de fondo seleccionada por el usuario y proporciona una imagen con un efecto de desenfoque del fondo.
En un proceso de implementacion de la presente invencion, el inventor ha observado que existe al menos la siguiente desventaja en la tecnica anterior:
En primer lugar, en un procedimiento de procesamiento de imagenes existente, un usuario tiene que abrir una imagen usando software y seleccionar manualmente un area de fondo; ademas, el area de fondo seleccionada manualmente es imprecisa y el proceso a realizar es complejo, lo que genera un mal efecto de desenfoque y que el usuario pierda mucho tiempo. El documento US 2009/290041 A1 da a conocer un dispositivo de procesamiento de imagenes que incluye: una unidad de obtencion de imagenes para obtener una imagen, una unidad de especificacion de profundidad de campo para recibir la especificacion de una profundidad de campo especificada por un tamano de imagen, y una unidad de procesamiento de mejora de desenfoque para generar una imagen procesada con un desenfoque mejorado de un objeto incluido en la imagen, donde el desenfoque se mejora segun la profundidad de campo especificada.
El documento "Digital shallow depth-of-field adapter for photographs" de Kyuman Jeong et al., The Visual Computer, International Journal of Computer Graphics, Springer, Berlin, vol. 24, n.° 4, 21 de diciembre de 2007, paginas 281 a 294, da a conocer un procedimiento novedoso para sintetizar imagenes con una baja profundidad de campo a partir de dos fotograffas de entrada tomadas con diferentes valores de apertura. La idea basica es estimar el mapa de profundidad de una escena dada usando un algoritmo DFD (profundidad a partir del desenfoque) y desenfocar una imagen de entrada segun el mapa de profundidad estimado. La informacion de profundidad estimada por la DFD contiene una gran cantidad de ruido y errores, mientras que la estimacion es bastante precisa a lo largo de los bordes de la imagen. Para superar esta limitacion, se propone un algoritmo de llenado de mapa de profundidad que usa un conjunto de mapas de profundidad iniciales y una imagen segmentada. Tras el llenado del mapa de profundidad, el mapa de profundidad puede ajustarse de manera precisa aplicando una agrupacion por segmentos y la interaccion del usuario. Puesto que el procedimiento desenfoca una imagen de entrada segun la informacion de profundidad estimada, genera imagenes resultantes ffsicamente plausibles con una baja profundidad de campo.
El documento "A fully automatic digital camera image refocusing algorithm" de James E. Adams, Jr., decimo taller IVMSP del IEEE celebrado en 2011, IEEE, 16 de junio de 2011, paginas 81 a 86, DOI: 10.1109/ IVMSPW.2011.5970359, da a conocer una solucion sujeta actualmente a investigacion por muchos fabricantes de camaras digitales que implica capturar una secuencia de imagenes de enfoque directo y procesarla posteriormente para generar una imagen enfocada deseada. La mayoffa de las estrategias requieren una gran cantidad de datos introducidos manualmente para definir una region de interes (ROI) cuyo enfoque quiere optimizarse. Se propone un algoritmo de enfoque directo que divide automaticamente el contenido de una escena en regiones en funcion del rango y que despues determina automaticamente la ROI para un rango dado. Cuando esta ROI se combina con operaciones estandar de fusion de imagenes, este algoritmo genera una imagen con un efecto de profundidad de campo estrecha esteticamente agradable, sin apenas o ningun dato introducido por el usuario, y dentro del limitado entorno informatico de una camara digital.
5
10
15
20
25
30
35
40
45
50
55
60
65
Sumario
Para resolver el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen utilizando software y seleccionar manualmente el area de fondo, las formas de realizacion de la presente invencion proporcionan un procedimiento y un aparato de desenfoque de imagenes y un dispositivo electronico. Las soluciones tecnicas son las siguientes:
Segun un primer aspecto, se proporciona un procedimiento de desenfoque de imagenes segun la reivindicacion independiente 1.
Con referencia a una posible manera de implementacion del primer aspecto, la formula de correccion es:
s' (y) = s(y) - (data _ reg + 2aKs(y) - 2aA.v(y)).
donde y es una coordenada bidimensional de la primera imagen o una segunda imagen; s'(y) es informacion de profundidad despues de una correccion, s(y) es informacion de profundidad antes de la correccion, data_reg es un gradiente de valor mmimo, y a y k son parametros de regularizacion prefijados; As(y) representa un operador de Laplace de s(y), es decir, una suma cuadratica de derivadas segundas.
En otra posible manera de implementacion del primer aspecto, la determinacion de un area de fondo de la primera imagen segun la informacion de profundidad incluye:
determinar una profundidad cntica entre un area en primer plano y un area de fondo segun parametros fotograficos y las respectivas distancias de imagen de la primera imagen y la segunda imagen; y determinar que un area de pfxeles, en la primera imagen, correspondiente a la informacion de profundidad, donde la profundidad representada por la informacion de profundidad es mayor que la profundidad cntica, es el area de fondo de la primera imagen.
En otra posible manera de implementacion del primer aspecto, llevar a cabo el procesamiento de desenfoque en el contenido del area de fondo de la primera imagen incluye:
normalizar la informacion de profundidad para obtener informacion de profundidad normalizada;
dividir de manera equitativa un intervalo, en el area de fondo, de la informacion de profundidad normalizada
en q segmentos para obtener q intervalos de fondo;
determinar, segun un radio de desenfoque maximo prefijado, parametros de desenfoque correspondientes a cada uno de los q intervalos de fondo, donde los parametros de desenfoque incluyen un radio de desenfoque y una desviacion tfpica; y
llevar a cabo, segun el radio de desenfoque y la desviacion tfpica correspondientes a cada uno de los q intervalos de fondo, un procesamiento de desenfoque por separado en un area de pfxeles, en la primera imagen, correspondiente a cada uno de los q intervalos de fondo.
Segun un segundo aspecto, se proporciona un aparato de desenfoque de imagenes segun la reivindicacion independiente 4.
En una posible manera de implementacion del segundo aspecto, el modulo de determinacion del fondo incluye:
una unidad de determinacion de profundidad cntica, configurada para determinar una profundidad cntica entre un area en primer plano y un area de fondo segun parametros fotograficos y las respectivas distancias de imagen de la primera imagen y la segunda imagen; y
una unidad de determinacion del fondo, configurada para determinar que un area de pfxeles, en la primera imagen, correspondiente a la informacion de profundidad, donde la profundidad representada por la informacion de profundidad es mayor que la profundidad cntica, es el area de fondo de la primera imagen.
En otra posible manera de implementacion del segundo aspecto, el modulo de desenfoque incluye:
una unidad de normalizacion, configurada para normalizar la informacion de profundidad para obtener informacion de profundidad normalizada;
una unidad de segmentacion, configurada para dividir de manera equitativa un intervalo, en el area de fondo,
de la informacion de profundidad normalizada en q segmentos para obtener q intervalos de fondo;
una unidad de determinacion de parametros, configurada para determinar, segun un radio de desenfoque
maximo prefijado, parametros de desenfoque correspondientes a cada uno de los q intervalos de fondo,
donde los parametros de desenfoque incluyen un radio de desenfoque y una desviacion tfpica; y
una unidad de desenfoque, configurada para llevar a cabo, segun el radio de desenfoque y la desviacion
tfpica correspondientes a cada uno de los q intervalos de fondo, un procesamiento de desenfoque por
5
10
15
20
25
30
35
40
45
50
55
60
separado en un area de p^xeles, en la primera imagen, correspondiente a cada uno de los q intervalos de fondo.
Segun un ejemplo, se proporciona un dispositivo electronico, donde el dispositivo electronico incluye:
el aparato de desenfoque de imagenes segun el segundo aspecto o una cualquiera de las posibles maneras de implementacion del segundo aspecto.
Efectos beneficiosos conseguidos por las soluciones tecnicas proporcionadas en las formas de realizacion de la presente invencion son los siguientes:
Se adquiere una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor; la informacion de profundidad se adquiere segun la primera imagen y la segunda imagen; un area de fondo de la primera imagen se determina segun la informacion de profundidad; y el desenfoque se realiza en el area de fondo. La informacion de profundidad en cada pixel de las imagenes se obtiene segun las dos imagenes enfocadas respectivamente en un primer plano y un fondo, y un area de fondo se determina segun la informacion de profundidad, de manera que el procesamiento de desenfoque finaliza automaticamente, solucionandose asf el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen usando software y seleccionar manualmente el area de fondo, por lo que se consigue un efecto de desenfoque mejorado, se simplifican las operaciones realizadas por el usuario y se consigue que el usuario ahorre tiempo.
Breve descripcion de los dibujos
Para describir con mayor claridad las soluciones tecnicas de las formas de realizacion de la presente invencion, a continuacion se introducen brevemente los dibujos adjuntos necesarios para describir las formas de realizacion. Evidentemente, los dibujos adjuntos de la siguiente descripcion muestran simplemente algunas formas de realizacion de la presente invencion, y los expertos en la tecnica pueden obtener otros dibujos a partir de estos dibujos adjuntos sin realizar investigaciones adicionales.
La FIG. 1 es un diagrama de flujo de procedimiento de un procedimiento de desenfoque de imagenes segun una forma de realizacion de la presente invencion.
La FIG. 2 es un diagrama de flujo de procedimiento de un procedimiento de desenfoque de imagenes segun otra forma de realizacion de la presente invencion.
La FIG. 3 es un diagrama de estructura de aparato de un aparato de desenfoque de imagenes segun una forma de realizacion de la presente invencion.
La FIG. 4 es un diagrama de estructura de aparato de un aparato de desenfoque de imagenes segun otra forma de realizacion de la presente invencion.
La FIG. 5 es un diagrama de composicion de realizacion de la presente invencion.
La FIG. 6 es un diagrama de composicion de realizacion de la presente invencion.
La FIG. 7 es un diagrama de composicion de realizacion adicional de la presente invencion.
Descripcion de las formas de realizacion
Para entender mejor los objetivos, las soluciones tecnicas y las ventajas de la presente invencion, a continuacion se describe en detalle las formas de realizacion de la presente invencion haciendo referencia a los dibujos adjuntos.
Haciendo referencia a la FIG. 1, la FIG. 1 muestra un diagrama de flujo de procedimiento de un procedimiento de desenfoque de imagenes segun una forma de realizacion de la presente invencion. El procedimiento de desenfoque de imagenes se usa en un dispositivo electronico para realizar un desenfoque del fondo en una imagen, donde el dispositivo electronico puede ser un telefono movil, una camara digital, un ordenador de tipo tableta o similar. El procedimiento de desenfoque de imagenes puede incluir:
Etapa 102: Adquirir una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor, donde una distancia de imagen de la primera imagen es inferior a una distancia de imagen de la segunda imagen;
Etapa 104: Adquirir informacion de profundidad segun la primera imagen y la segunda imagen, donde la informacion de profundidad se usa para representar una distancia entre una escena en cada pixel de la
dispositivo de un dispositivo electronico segun una forma de
dispositivo de un dispositivo electronico segun otra forma de
dispositivo de un dispositivo electronico segun otra forma de
5
10
15
20
25
30
35
40
45
50
55
60
65
primera imagen y un punto de captura y una distancia entre una escena en cada p^xel de la segunda imagen y el punto de captura;
Etapa l06: Determinar un area de fondo de la primera imagen segun la informacion de profundidad; y Etapa 108: Realizar un procesamiento de desenfoque en el contenido del area de fondo de la primera imagen.
En conclusion, segun el procedimiento de desenfoque de imagenes proporcionado en esta forma de realizacion de la presente invencion, se adquiere una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor; la informacion de profundidad se adquiere segun la primera imagen y la segunda imagen; un area de fondo de la primera imagen se determina segun la informacion de profundidad; y el desenfoque se realiza en el area de fondo. La informacion de profundidad en cada pixel de las imagenes se obtiene segun las dos imagenes enfocadas respectivamente en un primer plano y un fondo, y un area de fondo se determina segun la informacion de profundidad, de manera que el procesamiento de desenfoque finaliza automaticamente, solucionandose asf el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen usando software y seleccionar manualmente el area de fondo, por lo que se consigue un efecto de desenfoque mejorado, se simplifican las operaciones realizadas por el usuario y se consigue que el usuario ahorre tiempo.
Haciendo referencia a la FIG. 2, la FIG. 2 muestra un diagrama de flujo de procedimiento de un procedimiento de desenfoque de imagenes segun otra forma de realizacion de la presente invencion. El procedimiento de desenfoque de imagenes se usa en un dispositivo electronico para realizar un desenfoque del fondo en una imagen, donde el dispositivo electronico puede ser un telefono movil, una camara digital, un ordenador de tipo tableta o similar. En un ejemplo en el que el dispositivo electronico es un dispositivo electronico que incluye una unidad de recogida de imagenes, el procedimiento de desenfoque de imagenes puede incluir:
Etapa 202: Adquirir una primera imagen y una segunda imagen capturadas por una misma camara y que
tienen una misma cobertura de visor.
Una distancia de imagen de la primera imagen es menor que una distancia de imagen de la segunda imagen.
El dispositivo electronico puede recoger un grupo de imagenes multifoco usando la unidad de recogida de imagenes (es decir, una camara del dispositivo electronico) incluida en el dispositivo electronico, adquirir, a partir del grupo de imagenes multifoco, una imagen enfocada en primer plano (una distancia de imagen relativamente corta) y otra imagen enfocada en segundo plano (una distancia de imagen relativamente larga), y usar la imagen en primer plano como la primera imagen y la imagen en segundo plano como la segunda imagen.
Etapa 204: Adquirir informacion de profundidad de la primera imagen y la segunda imagen segun la primera imagen y la segunda imagen.
La informacion de profundidad se usa para representar una distancia entre una escena en cada pixel de la primera imagen y un punto de captura y una distancia entre una escena en cada pixel de la segunda imagen y el punto de captura. Puesto que la primera imagen y la segunda imagen se toman a partir del mismo grupo de imagenes multifoco capturadas por una misma camara, una distancia entre una escena en cada pixel de la primera imagen y un punto de captura es coherente con una distancia entre una escena en cada pixel de la segunda imagen y el punto de captura, es decir, la informacion de profundidad obtenida mediante los calculos no es solo informacion de profundidad de la primera imagen, sino tambien informacion de profundidad de la segunda imagen.
El dispositivo electronico puede adquirir parametros fotograficos de la camara en el dispositivo electronico, donde los parametros fotograficos incluyen: una longitud focal calibrada, un diametro de lente y un parametro de relacion, donde el parametro de relacion se usa para representar una relacion entre un tamano de apertura de la camara y la borrosidad de una imagen desenfocada; el dispositivo electronico determina informacion de profundidad inicializada segun los parametros fotograficos y las distancias de imagen respectivas de la primera imagen y la segunda imagen; el dispositivo electronico realiza N calculos iterativos en la informacion de profundidad inicializada segun los parametros fotograficos, la primera imagen y la segunda imagen, donde N es un entero positivo y N>2; y el dispositivo electronico adquiere un resultado obtenido por el enesimo calculo iterativo y usa el resultado como la informacion de profundidad.
Cuando se realiza un primer calculo, el dispositivo electronico determina un coeficiente de difusion del primer calculo y un area de difusion del primer calculo segun la informacion de profundidad inicializada y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del primer calculo y el area de difusion del primer calculo, determina ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del primer calculo; determina una ecuacion de valor mmimo en el primer calculo, donde la ecuacion de valor mmimo se usa para representar un valor mmimo de la suma de una primera diferencia y una segunda diferencia, donde la primera diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la primera imagen, y la segunda diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de
5
10
15
20
25
30
35
40
45
50
55
una ecuacion hacia delante de difusion de calor correspondiente a la segunda imagen; segun la ecuacion de valor mmimo del primer calculo, obtiene un gradiente mmimo de cada p^xel de la primera imagen y la segunda imagen en el primer calculo; segun una formula de correccion prefijada, realiza n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el primer calculo es superior a un umbral de gradiente prefijado, y obtiene informacion de profundidad despues del primer calculo, donde n es un entero positivo y n>2; y cuando realiza un p-esimo calculo, el dispositivo electronico determina un coeficiente de difusion del p-esimo calculo y un area de difusion del p-esimo calculo segun la informacion de profundidad obtenida tras un (p-i)-esimo calculo y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del p-esimo calculo y el area de difusion del p-esimo calculo, determina ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del p-esimo calculo; determina una ecuacion de valor mmimo en el p-esimo calculo; segun la ecuacion de valor mmimo en el p-esimo calculo, obtiene un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el p-esimo calculo; segun la formula de correccion prefijada, realiza n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el p-esimo calculo es superior al umbral de gradiente prefijado, y obtiene informacion de profundidad tras el p-esimo calculo, donde 2<p<N.
La formula de correccion es:
s (y) = s(y) - (data_ reg + 2afcs{y)-2aAs(y))
donde s'(y) es informacion de profundidad tras una correccion, s(y) es informacion de profundidad antes de la correccion, data_reg es un gradiente mmimo, y a y k son parametros de regularizacion prefijados.
Una imagen de escena captura por una camara es simplemente una distribucion de energfa de intensidad luminosa de una escena. Esta distribucion de energfa se describe usando una difusion de calor en una placa metalica, donde la temperatura de un punto dado representa la intensidad, y despues un proceso de formacion de imagenes multifoco puede modelarse usando una teona de difusion de calor.
Un proceso de formacion de imagenes de una imagen multifoco se modela usando una teona de difusion de calor anisotropica, que convierte la extraccion de informacion de profundidad en un problema de valor extremo de una energfa funcional con un termino de regularizacion, y una profundidad de campo, es decir, la informacion de profundidad de la primera imagen y la segunda imagen, se obtiene de manera iterativa. Etapas de calculo espedficas son las siguientes:
1) Adquirir dos imagenes multifoco Ii e I2 capturadas por el dispositivo electronico, y adquirir parametros de camara calibrados requeridos, incluidos una longitud focal f de la camara, distancias de imagen vi y v2 de las dos imagenes multifoco, un diametro de lente D y un parametro de relacion y. El dispositivo electronico puede leer la longitud focal f, distancias objetivo di y d2, y un valor de apertura F directamente a partir de cabeceras de archivos de imagenes. Despues, las distancias de imagen vi y v2 pueden obtenerse usando f y di y d2 segun una formula (2.i); y el diametro de lente D=f/F. Si los parametros anteriores no pueden adquirirse a partir de las cabeceras de archivos de imagenes, pueden usarse los siguientes parametros por defecto: f=i2 mm, F=2,0 y di y d2 valen 0,52 m y 0,85 m respectivamente.
2) Fijar un umbral de gradiente e, un tiempo virtual At, parametros de regularizacion a y k, un longitud de etapa de correccion p y el numero de iteraciones N.
3) Obtener informacion de profundidad inicializada:
s;,(y)
(v,+v;)/
v,+v2-2 /
y en este caso, un valor de profundidad inicial de cada pixel en las imagenes de este valor, donde y es una coordenada bidimensional de la imagen Ii o I2.
4) Segun la informacion de profundidad s(y), calcular un coeficiente de difusion correspondiente c(y) y areas de difusion Q+ and Q- usando las siguientes formulas:
5
10
15
20
25
30
35
5) Simular las siguientes ecuaciones hacia delante de difusion de calor de las dos imagenes usando los parametros obtenidos en las etapas anteriores:
En las ecuaciones, /-i(y) es la imagen de entrada h, /2(y) es la imagen de entrada I2, un coeficiente de difusion
V es un operador de gradiente
y V- es un operador de divergencia
6) Resolver las ecuaciones de difusion de calor 2.4 y 2.5 de la etapa 5) por separado para obtener sus respectivas imagenes de difusion de calor u-i(y,At) y U2(y,At) despues del tiempo At, y despues usar las imagenes de difusion de calor ui(y,At) y U2(y,At) para simular las siguientes ecuaciones parabolicas de difusion de calor:
^^ = V-(r(y)V^(y,/)) /e(0,*>)
_vv1(j',0) = H1(y,Ar)-/3(y) VyGfin, _
dw^j) = V ■ (-c(y)Vw, (y, f)) /e(0,»)
< dt "
(y, 0) = m, (y, Ar) - /L (y) Vy e£Q_ .
(2.6)
(2.7)
7) Resolver las ecuaciones de la etapa 6) para obtener wi(y,At) y W2(y,At), con el fin de obtener un valor mmimo de una formula (2.8):
En la formula
7) (i') = J 7/(c(y))|ti(y, A/) - /2(y)f dy _ E2(s) = J H (-c(y))|a(y, Af) -/L(y)|2 dy
calcular un gradiente para la formula (2.8):
5
10
15
20
25
30
35
40
^- = -M(s)(E;(s) + E'(s))
UT
(2.11)
En la formula (2.11),
£, (i) = [-2H(r(y))|n V«(y, /) ■ Vw, (y, At-1 )dt + *>’(c'(y))(i/1 (y, Af) - /, (y))2 j ■ r (j) (2.12)
E2(s) = (2H(-c(y))^Vif(y,0 • Vu-,(y, Ar-t)dt + $(c(y))(u2(y, Af)~I^y^-c\s) (2.13)
En la formulas anteriores, H() representa una funcion de Heaviside (funcion de escalon unitario), y 5() representa una funcion de Dirac (funcion de impulso unitario). u-i(y,At) y U2(y,At) se obtienen resolviendo las ecuaciones de la etapa 5), w-i(y,At) y W2(y,At) se obtienen resolviendo las ecuaciones de la etapa 6), y c'(s) es un valor de gradiente de un coeficiente de difusion de calor y puede obtenerse mediante calculos segun la formula (2.2) de la siguiente manera:
Una formula computacional de M(s) es la siguiente:
Un gradiente minimo de un resultado obtenido resolviendo la formula (2.11) se denota como data_reg, es decir,
ds
dam _ reg = —
f) T* y despues data_reg se compara con un umbral de gradiente prefijado:
si data_reg<e, la estimacion de profundidad de un pixel es relativamente precisa y no se requiere ninguna correccion; y
si data_reg>e, la estimacion de profundidad de un pixel es imprecisa y es necesario realizar una correccion del valor de profundidad.
8) Realizar una correccion en un valor de profundidad que es necesario corregir en la etapa 7) en la longitud de etapa de tiempo prefijada p (es decir, realizar una correccion de profundidad p veces), y actualizar un mapa de profundidad. Suponiendo que:
£.(.s) = -2ctAs(y) + 2a>cs(y).
.16)
As(y) representa un operador de Laplace de s(y), es decir, una suma cuadratica de derivadas segundas. Segun data_reg obtenido mediante los calculos de la etapa 7), puede obtenerse una profundidad corregida s'(y) en una longitud de etapa unitaria:
s (y) = s(y)-{dcila_reg +2aKs(y)-2aA.i(y)).
(2.17)
La iteracion se realiza p veces en un valor de profundidad s(y) para obtener un valor de profundidad final corregido.
5
10
15
20
25
30
35
40
45
50
9) Usar un valor de profundidad corregido obtenido en cada p^xel como un valor de profundidad inicial y volver a la etapa 4) y proseguir con la ejecucion N veces hasta finalizar la iteracion. Un valor de profundidad corregido obtenido finalmente de cada pixel es la informacion de profundidad de la primera imagen y la segunda imagen.
Debe observarse que para facilitar el anterior calculo de la informacion de profundidad, la primera imagen y la segunda imagen tienen que transformarse con anterioridad desde un modelo RGB (rojo, verde, azul) a un modelo HSI (matiz, saturacion, intensidad).
Etapa 206: Determinar un area de fondo de la primera imagen segun la informacion de profundidad.
El dispositivo electronico puede determinar una profundidad critica entre un area de primer plano y un area de fondo segun los parametros fotograficos y las respectivas distancias de imagen de la primera imagen y la segunda imagen, y determinar que un area de pixeles, en la primera imagen, correspondiente a la informacion de profundidad, donde la profundidad representada por la informacion de profundidad es mayor que la profundidad critica, es el area de fondo de la primera imagen.
Espedficamente, usando una formula que representa un Kmite de difusion:
cX> = {yetf2|c(y) = 0}.
el dispositivo electronico puede obtener una profundidad de un Kmite entre nitidez y borrosidad:
Oi + i',)/
s0 = —---=--
V, + v2 - 2/ _
Despues, el primer plano y el fondo pueden dividirse directamente segun la informacion de profundidad, como se muestra en la siguiente formula:
/(y) =
Etapa 208: Dividir en capas el area de fondo de la capa del area de fondo.
Espedficamente, el dispositivo electronico puede normalizar la informacion de profundidad para obtener informacion de profundidad normalizada; dividir de manera equitativa un intervalo, en el area de fondo, de la informacion de profundidad normalizada en q segmentos para obtener q intervalos de fondo; y determinar, segun un radio de desenfoque maximo prefijado, parametros de desenfoque correspondientes a cada uno de los q intervalos de fondo, donde los parametros de desenfoque incluyen un radio de desenfoque y una desviacion ripica.
En lo que respecta al fondo, se determina una escala de desenfoque gaussiano en el fondo.
En primer lugar, un mapa de profundidad obtenido se normaliza en un intervalo de 0 a 255 de la siguiente manera:
Primer piano S < So Fondo S ^ S0
primera imagen y determinar parametros de desenfoque de cada
segun la informacion de profundidad normalizada, en un ejemplo en el que un valor de q es 2, una escala de desenfoque se divide en tres segmentos. Suponiendo que:
"o=L255x*oJ.
un area de fondo [u0, 255] se divide de manera equitativa en dos segmentos en la forma de realizacion de la presente invencion, que es espedficamente como sigue:
5
10
15
20
25
30
35
40
45
50
. jU H e [m0 , m0 + (255 - uti) / 2]
1 [2, u e (w0 + (255 -m0) / 2,255] _
Un area de primer plano en la primera imagen (la primera imagen esta enfocada por defecto en el area de primer plano) no se modifica, y los otros dos segmentos son areas de fondo, y se seleccionan dos escalas de desenfoque crecientes.
Un procedimiento para seleccionar una escala en esta forma de realizacion incluye en primer lugar determinar un radio de desenfoque maximo j, donde j puede determinarse segun un tamano de apertura a simular de una camara. Generalmente, un tamano de apertura mas grande da como resultado un efecto de desenfoque del fondo mas acentuado, y el valor de m es mayor; y un tamano de apertura mas pequeno da como resultado un efecto de desenfoque del fondo mas suave, y el valor de m es menor.
Despues, un radio de desenfoque r de cada segmento se determina segun una regla decreciente seleccionando 2 como numero cardinal:
cuando una aproximacion discreta de una funcion gaussiana se calcula en una aplicacion practica, segun propiedades de distribucion de la funcion gaussiana, en comparacion, los valores ponderados de los pfxeles mas alla de una distancia de 3a aproximadamente son extremadamente pequenos y, por lo tanto, puede omitirse el calculo de esos pfxeles. Por tanto, puede determinarse que una desviacion tfpica gaussiana es:
r
<7 = —
3
Etapa 210: Realizar un desenfoque por separado en cada capa del area de fondo segun los parametros de desenfoque de cada capa del area de fondo.
El dispositivo electronico puede realizar, segun el radio de desenfoque y la desviacion tfpica correspondientes a cada uno de los q intervalos de fondo, un procesamiento de desenfoque por separado en un area de pfxeles, en la primera imagen, correspondiente a cada uno de los q intervalos de fondo.
Despues de obtener un radio y una desviacion tfpica de una funcion gaussiana, puede realizarse un procesamiento de desenfoque en una imagen usando un filtrado gaussiano. Un procesamiento de convolucion se realiza en una imagen fuente y la funcion gaussiana, y puede obtenerse entonces una imagen desenfocada:
m-1 /;-l
g[x, V] ®fix, V] = £X>[U] ■/[* - *, y-l]
t=0 1=0 •
donde g[x, y] es la imagen fuente en la que es necesario realizar el procesamiento de desenfoque, i[x, y] es una funcion gaussiana bidimensional, y 'x' e 'y' son coordenadas de la imagen; y 'm' y 'n' son, respectivamente, un radio de desenfoque gaussiano horizontal y un radio de desenfoque gaussiano vertical y, en esta memoria descriptiva, un valor rj se asigna a 'm' y 'n'.
La funcion gaussiana bidimensional se define de la siguiente manera:
en la formula, (x0, y0) es un pixel central de filtrado; ax y ay son, respectivamente, una desviacion tfpica en una direccion horizontal y una desviacion tipica en una direccion vertical de una varianza gaussiana y, en esta memoria
descriptiva, un valor a esta asignado a ox y ay; y A es un parametro normalizado, y A7ra ■
En conclusion, segun el procedimiento de desenfoque de imagenes proporcionado en esta forma de realizacion de la presente invencion, se adquiere una primera imagen y una segunda imagen capturadas por una misma camara y que tienen la misma cobertura de visor; la informacion de profundidad se adquiere segun la primera imagen y la
5
10
15
20
25
30
35
40
45
50
55
60
65
segunda imagen; un area de fondo de la primera imagen se determina segun la informacion de profundidad; y el desenfoque se realiza en el area de fondo. La informacion de profundidad en cada pixel de las imagenes se obtiene segun las dos imagenes enfocadas respectivamente en un primer plano y un fondo, y un area de fondo se determina segun la informacion de profundidad, de manera que el procesamiento de desenfoque finaliza automaticamente, solucionandose asf el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen usando software y seleccionar manualmente el area de fondo, por lo que se consigue un efecto de desenfoque mejorado, se simplifican las operaciones realizadas por el usuario y se consigue que el usuario ahorre tiempo.
Ademas, en el procedimiento de desenfoque de imagenes proporcionado en esta forma de realizacion de la presente invencion, el area de fondo de la primera imagen se divide en capas segun la informacion de profundidad, y se realiza un procesamiento de desenfoque en cada capa del area de fondo segun diferentes parametros de desenfoque, lo que mejora adicionalmente el efecto de desenfoque.
Haciendo referencia a la FIG. 3, la FIG. 3 muestra un diagrama de estructura de aparato de un aparato de desenfoque de imagenes segun una forma de realizacion de la presente invencion. El aparato de desenfoque de imagenes esta configurado en un dispositivo electronico para realizar una desenfoque del fondo en una imagen, donde el dispositivo electronico puede ser un telefono movil, una camara digital, un ordenador de tipo tableta o similar. El aparato de desenfoque de imagenes puede incluir:
un modulo de adquisicion de imagenes 301, configurado para adquirir una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor, donde una distancia de imagen de la primera imagen es inferior a una distancia de imagen de la segunda imagen; un modulo de adquisicion de informacion de profundidad 302, configurado para adquirir informacion de profundidad segun la primera imagen y la segunda imagen, donde la informacion de profundidad se usa para representar una distancia entre una escena en cada pixel de la primera imagen y un punto de captura y una distancia entre una escena en cada pixel de la segunda imagen y el punto de captura; un modulo de determinacion de fondo 303, configurado para determinar un area de fondo de la primera imagen segun la informacion de profundidad; y
un modulo de desenfoque 304, configurado para realizar un procesamiento de desenfoque en el contenido del area de fondo de la primera imagen.
En conclusion, segun el aparato de desenfoque de imagenes proporcionado en esta forma de realizacion de la presente invencion, se adquiere una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor; la informacion de profundidad se adquiere segun la primera imagen y la segunda imagen; un area de fondo de la primera imagen se determina segun la informacion de profundidad; y el desenfoque se realiza en el area de fondo. La informacion de profundidad en cada pixel de las imagenes se obtiene segun las dos imagenes enfocadas respectivamente en un primer plano y un fondo, y un area de fondo se determina segun la informacion de profundidad, de manera que el procesamiento de desenfoque finaliza automaticamente, solucionandose asf el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen usando software y seleccionar manualmente el area de fondo, por lo que se consigue un efecto de desenfoque mejorado, se simplifican las operaciones realizadas por el usuario y se consigue que el usuario ahorre tiempo.
Haciendo referencia a la FIG. 4, la FIG. 4 muestra un diagrama de estructura de aparato de un aparato de desenfoque de imagenes segun una forma de realizacion de la presente invencion. El aparato de desenfoque de imagenes esta configurado en un dispositivo electronico para realizar un desenfoque del fondo en una imagen, donde el dispositivo electronico puede ser un telefono movil, una camara digital, un ordenador de tipo tableta o similar. El aparato de desenfoque de imagenes puede incluir:
un modulo de adquisicion de imagenes 401, configurado para adquirir una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor, donde una distancia de imagen de la primera imagen es inferior a una distancia de imagen de la segunda imagen; un modulo de adquisicion de informacion de profundidad 402, configurado para adquirir informacion de profundidad segun la primera imagen y la segunda imagen, donde la informacion de profundidad se usa para representar una distancia entre una escena en cada pixel de la primera imagen y un punto de captura y una distancia entre una escena en cada pixel de la segunda imagen y el punto de captura; un modulo de determinacion del fondo 403, configurado para determinar un area de fondo de la primera imagen segun la informacion de profundidad; y
un modulo de desenfoque 404, configurado para realizar un procesamiento de desenfoque en el contenido del area de fondo de la primera imagen.
El modulo de adquisicion de informacion de profundidad 402 incluye:
una primera unidad de adquisicion 402a, configurada para adquirir parametros fotograficos de la camara, donde los parametros fotograficos incluyen: una longitud focal calibrada, un diametro de lente y un parametro
10
15
20
25
30
35
40
45
50
de relacion, donde el parametro de relacion se usa para representar una relacion entre un tamano de apertura de la camara y la borrosidad de una imagen desenfocada;
una unidad de inicializacion 402b, configurada para determinar informacion de profundidad inicializada segun los parametros fotograficos y las distancias de imagen respectivas de la primera imagen y la segunda imagen;
una unidad de calculo 402c, configurada para realizar N calculos iterativos en la informacion de profundidad inicializada segun los parametros fotograficos, la primera imagen y la segunda imagen, donde N es un entero positivo y N>2; y
una segunda unidad de adquisicion 402d, configurada para adquirir un resultado obtenido por el enesimo calculo iterativo y usar el resultado como la informacion de profundidad.
La unidad de calculo 402c esta configurada para, cuando se realiza un primer calculo, determinar un coeficiente de difusion del primer calculo y un area de difusion del primer calculo segun la informacion de profundidad inicializada y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del primer calculo y el area de difusion del primer calculo, determinar ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del primer calculo; determinar una ecuacion de valor mmimo en el primer calculo, donde la ecuacion de valor mmimo se usa para representar un valor mmimo de la suma de una primera diferencia y una segunda diferencia, donde la primera diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la primera imagen, y la segunda diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la segunda imagen; segun la ecuacion de valor mmimo del primer calculo, obtener un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el primer calculo; segun una formula de correccion prefijada, realizar n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el primer calculo es superior a un umbral de gradiente prefijado, y obtener informacion de profundidad despues del primer calculo, donde n es un entero positivo y n>2; y la unidad de calculo 402c esta configurada para, cuando se realiza un p-esimo calculo, determinar un coeficiente de difusion del p-esimo calculo y un area de difusion del p-esimo calculo segun la informacion de profundidad obtenida tras un (p-l)-esimo calculo y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del p-esimo calculo y el area de difusion del p-esimo calculo, determinar ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del p-esimo calculo; determinar una ecuacion de valor mmimo en el p-esimo calculo; segun la ecuacion de valor mmimo en el p-esimo calculo, obtener un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el p-esimo calculo; segun la formula de correccion prefijada, realizar n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el p-esimo calculo es superior al umbral de gradiente prefijado, y obtener informacion de profundidad tras el p-esimo calculo, donde 2<p<N.
El modulo de determinacion de fondo 403 incluye:
una unidad de determinacion de profundidad cntica 403a, configurada para determinar una profundidad cntica entre un area de primer plano y un area de fondo segun los parametros fotograficos y las respectivas distancias de imagen de la primera imagen y la segunda imagen; y
una unidad de determinacion del fondo 403b, configurada para determinar que un area de pfxeles, en la primera imagen, correspondiente a la informacion de profundidad, donde la profundidad representada por la informacion de profundidad es mayor que la profundidad cntica, es el area de fondo de la primera imagen.
El modulo de desenfoque 404 incluye:
una unidad de normalizacion 404a, configurada para normalizar la informacion de profundidad para obtener informacion de profundidad normalizada;
una unidad de segmentacion 404b, configurada para dividir de manera equitativa un intervalo, en el area de fondo, de la informacion de profundidad normalizada en q segmentos para obtener q intervalos de fondo;
una unidad de determinacion de parametros 404c, configurada para determinar, segun un radio de desenfoque maximo prefijado, parametros de desenfoque correspondientes a cada uno de los q intervalos de fondo, donde los parametros de desenfoque incluyen un radio de desenfoque y una desviacion tfpica; y
una unidad de desenfoque 404d, configurada para llevar a cabo, segun el radio de desenfoque y la desviacion tfpica correspondientes a cada uno de los q intervalos de fondo, un procesamiento de desenfoque por separado en un area de pfxeles, en la primera imagen, correspondiente a cada uno de los q intervalos de fondo.
5
10
15
20
25
30
35
40
45
50
55
60
65
En conclusion, segun el aparato de desenfoque de imagenes proporcionado en esta forma de realizacion de la presente invencion, se adquiere una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor; la informacion de profundidad se adquiere segun la primera imagen y la segunda imagen; un area de fondo de la primera imagen se determina segun la informacion de profundidad; y el desenfoque se realiza en el area de fondo. La informacion de profundidad en cada pixel de las imagenes se obtiene segun las dos imagenes enfocadas respectivamente en un primer plano y un fondo, y un area de fondo se determina segun la informacion de profundidad, de manera que el procesamiento de desenfoque finaliza automaticamente, solucionandose asf el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen usando software y seleccionar manualmente el area de fondo, por lo que se consigue un efecto de desenfoque mejorado, se simplifican las operaciones realizadas por el usuario y se consigue que el usuario ahorre tiempo.
Ademas, en el aparato de desenfoque de imagenes proporcionado en esta forma de realizacion de la presente invencion, el area de fondo de la primera imagen se divide en capas segun la informacion de profundidad, y se realiza un procesamiento de desenfoque en cada capa del area de fondo segun diferentes parametros de desenfoque, lo que mejora adicionalmente el efecto de desenfoque.
Haciendo referencia a la FIG. 5, la FIG. 5 muestra un diagrama de composicion de dispositivo de un dispositivo electronico segun una forma de realizacion de la presente invencion. El dispositivo electronico puede ser un telefono movil, una camara digital, un ordenador de tipo tableta o similar. El dispositivo electronico puede incluir:
una unidad de recogida de imagenes 001 y un aparato de desenfoque de imagenes 002 mostrados en la FIG. 3 o la FIG. 4 anteriores.
En conclusion, segun el dispositivo electronico proporcionado en esta forma de realizacion de la presente invencion, se adquiere una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor; la informacion de profundidad se adquiere segun la primera imagen y la segunda imagen; un area de fondo de la primera imagen se determina segun la informacion de profundidad; y el desenfoque se realiza en el area de fondo. La informacion de profundidad en cada pixel de las imagenes se obtiene segun las dos imagenes enfocadas respectivamente en un primer plano y un fondo, y un area de fondo se determina segun la informacion de profundidad, de manera que el procesamiento de desenfoque finaliza automaticamente, solucionandose asf el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen usando software y seleccionar manualmente el area de fondo, por lo que se consigue un efecto de desenfoque mejorado, se simplifican las operaciones realizadas por el usuario y se consigue que el usuario ahorre tiempo.
Ademas, en el dispositivo electronico proporcionado en esta forma de realizacion de la presente invencion, el area de fondo de la primera imagen se divide en capas segun la informacion de profundidad, y se realiza un procesamiento de desenfoque en cada capa del area de fondo segun diferentes parametros de desenfoque, lo que mejora adicionalmente el efecto de desenfoque.
Haciendo referencia a la FIG. 6, la FIG. 6 muestra un diagrama de composicion de dispositivo de un dispositivo electronico segun otra forma de realizacion de la presente invencion. El dispositivo electronico puede ser un telefono movil, una camara digital, un ordenador de tipo tableta o similar. El dispositivo electronico puede incluir:
un procesador 50; y
una memoria 60 que esta configurada para almacenar una instruccion ejecutable por el procesador 50.
El procesador 50 esta configurado para adquirir una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor, donde una distancia de imagen de la primera imagen es inferior a una distancia de imagen de la segunda imagen.
El procesador 50 esta configurado para adquirir informacion de profundidad segun la primera imagen y la segunda imagen, donde la informacion de profundidad se usa para representar una distancia entre una escena en cada pixel de la primera imagen y un punto de captura y una distancia entre una escena en cada pixel de la segunda imagen y el punto de captura.
El procesador 50 esta configurado para determinar un area de fondo de la primera imagen segun la informacion de profundidad.
El procesador 50 esta configurado para realizar un procesamiento de desenfoque en el contenido del area de fondo de la primera imagen.
En conclusion, segun el dispositivo electronico proporcionado en esta forma de realizacion de la presente invencion, se adquiere una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor; la informacion de profundidad se adquiere segun la primera imagen y la segunda imagen; un area de fondo de la primera imagen se determina segun la informacion de profundidad; y el desenfoque se realiza en
5
10
15
20
25
30
35
40
45
50
55
60
65
el area de fondo. La informacion de profundidad en cada p^xel de las imagenes se obtiene segun las dos imagenes enfocadas respectivamente en un primer plano y un fondo, y un area de fondo se determina segun la informacion de profundidad, de manera que el procesamiento de desenfoque finaliza automaticamente, solucionandose asf el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen usando software y seleccionar manualmente el area de fondo, por lo que se consigue un efecto de desenfoque mejorado, se simplifican las operaciones realizadas por el usuario y se consigue que el usuario ahorre tiempo.
Haciendo referencia a la FIG. 7, la FIG. 7 muestra un diagrama de composicion de dispositivo de un dispositivo electronico segun otra forma de realizacion adicional de la presente invencion. El dispositivo electronico puede ser un telefono movil, una camara digital, un ordenador de tipo tableta o similar. El dispositivo electronico puede incluir:
un procesador 70; y
una memoria 80 que esta configurada para almacenar una instruccion ejecutable por el procesador 70.
El procesador 70 esta configurado para adquirir una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor, donde una distancia de imagen de la primera imagen es inferior a una distancia de imagen de la segunda imagen.
El procesador 70 esta configurado para adquirir informacion de profundidad segun la primera imagen y la segunda imagen, donde la informacion de profundidad se usa para representar una distancia entre una escena en cada pixel de la primera imagen y un punto de captura y una distancia entre una escena en cada pixel de la segunda imagen y el punto de captura.
El procesador 70 esta configurado para determinar un area de fondo de la primera imagen segun la informacion de profundidad.
El procesador 70 esta configurado para realizar un procesamiento de desenfoque en el contenido del area de fondo de la primera imagen.
El procesador 70 esta configurado para adquirir parametros fotograficos de la camara, donde los parametros fotograficos incluyen: una longitud focal calibrada, un diametro de lente y un parametro de relacion, donde el parametro de relacion se usa para representar una relacion entre un tamano de apertura de la camara y la borrosidad de una imagen desenfocada.
El procesador 70 esta configurado para determinar informacion de profundidad inicializada segun los parametros fotograficos y las distancias de imagen respectivas de la primera imagen y la segunda imagen.
El procesador 70 esta configurado para realizar N calculos iterativos en la informacion de profundidad inicializada segun los parametros fotograficos, la primera imagen y la segunda imagen, donde N es un entero positivo y N>2.
El procesador 70 esta configurado para adquirir un resultado obtenido por el enesimo calculo iterativo y usar el resultado como la informacion de profundidad.
El procesador 70 esta configurado para, cuando se realiza un primer calculo, determinar un coeficiente de difusion del primer calculo y un area de difusion del primer calculo segun la informacion de profundidad inicializada y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del primer calculo y el area de difusion del primer calculo, determinar ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del primer calculo; determinar una ecuacion de valor mmimo en el primer calculo, donde la ecuacion de valor mmimo se usa para representar un valor mmimo de la suma de una primera diferencia y una segunda diferencia, donde la primera diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la primera imagen, y la segunda diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la segunda imagen; segun la ecuacion de valor mmimo del primer calculo, obtener un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el primer calculo; segun una formula de correccion prefijada, realizar n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el primer calculo es superior a un umbral de gradiente prefijado, y obtener informacion de profundidad despues del primer calculo, donde n es un entero positivo y n>2; y el procesador 70 esta configurado para, cuando se realiza un p-esimo calculo, determinar un coeficiente de difusion del p-esimo calculo y un area de difusion del p-esimo calculo segun la informacion de profundidad obtenida tras un (p-l)-esimo calculo y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del p-esimo calculo y el area de difusion del p-esimo calculo, determinar ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del p-esimo calculo; determinar una ecuacion de valor mmimo en el p-esimo calculo; segun la ecuacion de valor mmimo en el p-esimo calculo, obtener un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el p-esimo calculo; segun la formula de correccion prefijada, realizar n correcciones iterativas en la informacion de profundidad
5
10
15
20
25
30
35
40
45
correspondiente a un pixel cuyo gradiente mmimo en el p-esimo calculo es superior al umbral de gradiente prefijado, y obtener informacion de profundidad tras el p-esimo calculo, donde 2<p<N.
El procesador 70 esta configurado para determinar una profundidad cntica entre un area de primer plano y un area de fondo segun los parametros fotograficos y las respectivas distancias de imagen de la primera imagen y la segunda imagen.
El procesador 70 esta configurado para determinar que un area de pfxeles, en la primera imagen, correspondiente a la informacion de profundidad, donde la profundidad representada por la informacion de profundidad es mayor que la profundidad cntica, es el area de fondo de la primera imagen.
El procesador 70 esta configurado para normalizar la informacion de profundidad para obtener informacion de profundidad normalizada.
El procesador 70 esta configurado para dividir de manera equitativa un intervalo, en el area de fondo, de la informacion de profundidad normalizada en q segmentos para obtener q intervalos de fondo.
El procesador 70 esta configurado para determinar, segun un radio de desenfoque maximo prefijado, parametros de desenfoque correspondientes a cada uno de los q intervalos de fondo, donde los parametros de desenfoque incluyen un radio de desenfoque y una desviacion tfpica.
El procesador 70 esta configurado para llevar a cabo, segun el radio de desenfoque y la desviacion tfpica correspondientes a cada uno de los q intervalos de fondo, un procesamiento de desenfoque por separado en un area de pfxeles, en la primera imagen, correspondiente a cada uno de los q intervalos de fondo.
En conclusion, segun el dispositivo electronico proporcionado en esta forma de realizacion de la presente invencion, se adquiere una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor; la informacion de profundidad se adquiere segun la primera imagen y la segunda imagen; un area de fondo de la primera imagen se determina segun la informacion de profundidad; y el desenfoque se realiza en el area de fondo. La informacion de profundidad en cada pixel de las imagenes se obtiene segun las dos imagenes enfocadas respectivamente en un primer plano y un fondo, y un area de fondo se determina segun la informacion de profundidad, de manera que el procesamiento de desenfoque finaliza automaticamente, solucionandose asf el problema de la tecnica anterior de que la seleccion en forma de recuadro de un area de fondo es imprecisa y de que el proceso a realizar es complejo debido a que un usuario tiene que abrir una imagen usando software y seleccionar manualmente el area de fondo, por lo que se consigue un efecto de desenfoque mejorado, se simplifican las operaciones realizadas por el usuario y se consigue que el usuario ahorre tiempo.
Ademas, en el dispositivo electronico proporcionado en esta forma de realizacion de la presente invencion, el area de fondo de la primera imagen se divide en capas segun la informacion de profundidad, y se realiza un procesamiento de desenfoque en cada capa del area de fondo segun diferentes parametros de desenfoque, lo que mejora adicionalmente el efecto de desenfoque.
Un experto en la tecnica puede entender que todas o parte de las etapas de las formas de realizacion pueden implementarse mediante hardware o un programa que da instrucciones a hardware asociado. El programa puede almacenarse en un medio de almacenamiento legible por ordenador. El medio de almacenamiento puede incluir: una memoria de solo lectura, un disco magnetico o un disco optico.
Claims (5)
10
15
20
25
30
35
40
45
50
REIVINDICACIONES
1. Un procedimiento de desenfoque de imagenes, donde el procedimiento comprende:
adquirir (102) una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor, donde una distancia de imagen de la primera imagen es menor que una distancia de imagen de la segunda imagen; una imagen enfocada en primer plano, es decir, la distancia de imagen es relativamente corta, se usa como la primera imagen y una imagen enfocada en segundo plano, es decir, la distancia de imagen es relativamente larga, se usa como la segunda imagen;
adquirir (104) informacion de profundidad segun la primera imagen y la segunda imagen, donde la informacion de profundidad se usa para representar una distancia entre una escena en cada pixel de la primera imagen y un punto de captura y una distancia entre una escena en cada pixel de la segunda imagen y el punto de captura;
determinar (106) un area de fondo de la primera imagen segun la informacion de profundidad; y realizar (108) un procesamiento de desenfoque en el contenido del area de fondo de la primera imagen; donde adquirir informacion de profundidad segun la primera imagen y la segunda imagen comprende:
adquirir parametros fotograficos de la camara, donde los parametros fotograficos comprenden: una longitud focal calibrada, un diametro de lente y un parametro de relacion, donde el parametro de relacion se usa para representar una relacion entre un tamano de apertura de la camara y la borrosidad de una imagen desenfocada;
determinar informacion de profundidad inicializada segun los parametros fotograficos y las distancias de imagen respectivas de la primera imagen y la segunda imagen;
caracterizado por realizar N calculos iterativos en la informacion de profundidad inicializada segun los parametros fotograficos, la primera imagen y la segunda imagen, donde N es un entero positivo y N>2; y adquirir un resultado obtenido por el enesimo calculo iterativo y usar el resultado como la informacion de profundidad, donde la primera imagen y la segunda imagen tienen que transformarse con anterioridad desde un modelo RGB (rojo, verde, azul) a un modelo HSI (matiz, saturacion, intensidad); donde realizar N calculos iterativos en la informacion de profundidad inicializada segun los parametros fotograficos, la primera imagen y la segunda imagen comprende:
cuando se realiza un primer calculo, determinar un coeficiente de difusion del primer calculo y un area de difusion del primer calculo segun la informacion de profundidad inicializada y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del primer calculo y el area de difusion del primer calculo, determinar ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del primer calculo; determinar una ecuacion de valor mmimo en el primer calculo, donde la ecuacion de valor mmimo se usa para representar un valor mmimo de la suma de una primera diferencia y una segunda diferencia, donde la primera diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la primera imagen, y la segunda diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la segunda imagen; segun la ecuacion de valor mmimo del primer calculo, obtener un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el primer calculo; segun una formula de correccion prefijada, realizar n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el primer calculo es superior a un umbral de gradiente prefijado, y obtener informacion de profundidad despues del primer calculo, donde n es un entero positivo y n>2; y
cuando se realiza un p-esimo calculo, determinar un coeficiente de difusion del p-esimo calculo y un area de difusion del p-esimo calculo segun la informacion de profundidad obtenida tras un (p-1)-esimo calculo y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del p-esimo calculo y el area de difusion del p-esimo calculo, determinar ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del p-esimo calculo; determinar una ecuacion de valor mmimo en el p-esimo calculo; segun la ecuacion de valor mmimo en el p-esimo calculo, obtener un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el p-esimo calculo; segun la formula de correccion prefijada, realizar n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el p-esimo calculo es superior al umbral de gradiente prefijado, y obtener informacion de profundidad tras el p-esimo calculo, donde 2<p<N.
5
10
15
20
25
30
35
40
45
50
55
2. El procedimiento segun la reivindicacion 1, en el que la formula de correccion es:
donde y es una coordenada bidimensional de la primera imagen o la segunda imagen; s'(y) es informacion de profundidad despues de una correccion, s(y) es informacion de profundidad antes de la correccion, data_reg es un gradiente mmimo, y a y k son parametros de regularizacion prefijados; As(y) representa un operador de Laplace de s(y), es decir, una suma cuadratica de derivadas segundas.
3. El procedimiento segun la reivindicacion 1, en el que realizar un procesamiento de desenfoque en el contenido del area de fondo de la primera imagen comprende:
normalizar la informacion de profundidad para obtener informacion de profundidad normalizada;
dividir de manera equitativa un intervalo, en el area de fondo, de la informacion de profundidad normalizada
en q segmentos para obtener q intervalos de fondo;
determinar, segun un radio de desenfoque maximo prefijado, parametros de desenfoque correspondientes a cada uno de los q intervalos de fondo, donde los parametros de desenfoque comprenden un radio de desenfoque y una desviacion tfpica; y
llevar a cabo, segun el radio de desenfoque y la desviacion tfpica correspondientes a cada uno de los q intervalos de fondo, un procesamiento de desenfoque por separado en un area de pfxeles, en la primera imagen, correspondiente a cada uno de los q intervalos de fondo.
4. Un aparato de desenfoque de imagenes, donde el aparato comprende:
un modulo de adquisicion de imagenes (301), configurado para adquirir una primera imagen y una segunda imagen capturadas por una misma camara y que tienen una misma cobertura de visor, donde una distancia de imagen de la primera imagen es menor que una distancia de imagen de la segunda imagen; una imagen enfocada en primer plano, es decir, la distancia de imagen es relativamente corta, se usa como la primera imagen y una imagen enfocada en segundo plano, es decir, la distancia de imagen es relativamente larga, se usa como la segunda imagen;
un modulo de adquisicion de informacion de profundidad (302,402), configurado para adquirir informacion de profundidad segun la primera imagen y la segunda imagen, donde la informacion de profundidad se usa para representar una distancia entre una escena en cada pixel de la primera imagen y un punto de captura y una distancia entre una escena en cada pixel de la segunda imagen y el punto de captura;
un modulo de determinacion del fondo (303), configurado para determinar un area de fondo de la primera imagen segun la informacion de profundidad; y
un modulo de desenfoque (304), configurado para realizar un procesamiento de desenfoque en el contenido del area de fondo de la primera imagen;
donde el modulo de adquisicion de informacion de profundidad (302,402) comprende:
una primera unidad de adquisicion (402a), configurada para adquirir parametros fotograficos de la camara, donde los parametros fotograficos comprenden: una longitud focal calibrada, un diametro de lente y un parametro de relacion, donde el parametro de relacion se usa para representar una relacion entre un tamano de apertura de la camara y la borrosidad de una imagen desenfocada;
una unidad de inicializacion (402b), configurada para determinar informacion de profundidad inicializada segun los parametros fotograficos y las distancias de imagen respectivas de la primera imagen y la segunda imagen;
caracterizado por una unidad de calculo (402c), configurada para realizar N calculos iterativos en la informacion de profundidad inicializada segun los parametros fotograficos, la primera imagen y la segunda imagen, donde N es un entero positivo y N>2; y
una segunda unidad de adquisicion (402d), configurada para adquirir un resultado obtenido por el enesimo calculo iterativo y usar el resultado como la informacion de profundidad, donde la primera imagen y la segunda imagen tienen que transformarse con anterioridad desde un modelo RGB (rojo, verde, azul) a un modelo HSI (matiz, saturacion, intensidad); la unidad de calculo esta configurada para, cuando se realiza un primer calculo, determinar un coeficiente de difusion del primer calculo y un area de difusion del primer calculo segun la informacion de profundidad inicializada y los parametros fotograficos; segun la
5
10
15
20
25
30
35
40
primera imagen, la segunda imagen, el coeficiente de difusion del primer calculo y el area de difusion del primer calculo, determinar ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del primer calculo; determinar una ecuacion de valor mmimo en el primer calculo, donde la ecuacion de valor mmimo se usa para representar un valor mmimo de la suma de una primera diferencia y una segunda diferencia, donde la primera diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la primera imagen, y la segunda diferencia es una diferencia entre un valor de salida real y un valor de salida teorico de una ecuacion hacia delante de difusion de calor correspondiente a la segunda imagen; segun la ecuacion de valor mmimo del primer calculo, obtener un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el primer calculo; segun una formula de correccion prefijada, realizar n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el primer calculo es superior a un umbral de gradiente prefijado, y obtener informacion de profundidad despues del primer calculo, donde n es un entero positivo y n>2; y
la unidad de calculo esta configurada para, cuando se realiza un p-esimo calculo, determinar un coeficiente de difusion del p-esimo calculo y un area de difusion del p-esimo calculo segun la informacion de profundidad obtenida tras un (p-l)-esimo calculo y los parametros fotograficos; segun la primera imagen, la segunda imagen, el coeficiente de difusion del p-esimo calculo y el area de difusion del p-esimo calculo, determinar ecuaciones hacia delante de difusion de calor que corresponden respectivamente a la primera imagen y la segunda imagen del p-esimo calculo; determinar una ecuacion de valor mmimo en el p-esimo calculo; segun la ecuacion de valor mmimo en el p-esimo calculo, obtener un gradiente mmimo de cada pixel de la primera imagen y la segunda imagen en el p-esimo calculo; segun la formula de correccion prefijada, realizar n correcciones iterativas en la informacion de profundidad correspondiente a un pixel cuyo gradiente mmimo en el p-esimo calculo es superior al umbral de gradiente prefijado, y obtener informacion de profundidad tras el p-esimo calculo, donde 2<p<N.
5. El aparato segun la reivindicacion 4, en el que el modulo de desenfoque comprende:
una unidad de normalizacion, configurada para normalizar la informacion de profundidad para obtener informacion de profundidad normalizada;
una unidad de segmentacion, configurada para dividir de manera equitativa un intervalo, en el area de fondo, de la informacion de profundidad normalizada en q segmentos para obtener q intervalos de fondo;
una unidad de determinacion de parametros, configurada para determinar, segun un radio de desenfoque maximo prefijado, parametros de desenfoque correspondientes a cada uno de los q intervalos de fondo, donde los parametros de desenfoque comprenden un radio de desenfoque y una desviacion tfpica; y
una unidad de desenfoque, configurada para llevar a cabo, segun el radio de desenfoque y la desviacion tfpica correspondientes a cada uno de los q intervalos de fondo, un procesamiento de desenfoque por separado en un area de pfxeles, en la primera imagen, correspondiente a cada uno de los q intervalos de fondo.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410095114 | 2014-03-14 | ||
| CN201410095114.9A CN103945118B (zh) | 2014-03-14 | 2014-03-14 | 图像虚化方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2626174T3 true ES2626174T3 (es) | 2017-07-24 |
Family
ID=51192577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES15151927.9T Active ES2626174T3 (es) | 2014-03-14 | 2015-01-21 | Procedimiento y aparato de desenfoque de imágenes |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9215381B2 (es) |
| EP (1) | EP2919188B1 (es) |
| JP (1) | JP6027159B2 (es) |
| KR (1) | KR101686926B1 (es) |
| CN (1) | CN103945118B (es) |
| ES (1) | ES2626174T3 (es) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12337761B2 (en) | 2010-04-19 | 2025-06-24 | SMR Patents S.à.r.l. | Rearview device simulation |
| US11256931B2 (en) | 2010-04-19 | 2022-02-22 | SMR Patent S.à.r.l | Rearview device simulation |
| TWI578780B (zh) * | 2014-10-02 | 2017-04-11 | 晶睿通訊股份有限公司 | 模糊影像偵測方法及其相關攝影機和影像處理系統 |
| JP5927265B2 (ja) * | 2014-10-28 | 2016-06-01 | シャープ株式会社 | 画像処理装置及びプログラム |
| CN104463775A (zh) * | 2014-10-31 | 2015-03-25 | 小米科技有限责任公司 | 一种实现图片景深效果的方法及装置 |
| TWI566601B (zh) * | 2015-02-25 | 2017-01-11 | 光寶科技股份有限公司 | 影像處理裝置及影像景深處理方法 |
| CN105100615B (zh) * | 2015-07-24 | 2019-02-26 | 青岛海信移动通信技术股份有限公司 | 一种图像的预览方法、装置及终端 |
| CN105163042B (zh) * | 2015-08-03 | 2017-11-03 | 努比亚技术有限公司 | 一种虚化处理深度图像的装置和方法 |
| US10284835B2 (en) * | 2015-09-04 | 2019-05-07 | Apple Inc. | Photo-realistic shallow depth-of-field rendering from focal stacks |
| CN105352455B (zh) * | 2015-11-18 | 2017-09-05 | 宁波大学 | 一种基于图像模糊度的平面倾斜度测量方法 |
| CN105513105B (zh) * | 2015-12-07 | 2018-05-29 | 天津大学 | 基于显著图的图像背景虚化方法 |
| CN105592271A (zh) * | 2015-12-21 | 2016-05-18 | 深圳市金立通信设备有限公司 | 一种图像处理的方法及终端 |
| CN106060423B (zh) * | 2016-06-02 | 2017-10-20 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN106331492B (zh) * | 2016-08-29 | 2019-04-16 | Oppo广东移动通信有限公司 | 一种图像处理方法及终端 |
| CN106530241B (zh) * | 2016-10-31 | 2020-08-11 | 努比亚技术有限公司 | 一种图像虚化处理方法和装置 |
| CN108886572B (zh) * | 2016-11-29 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 调整图像焦点的方法和系统 |
| US10389948B2 (en) * | 2016-12-06 | 2019-08-20 | Qualcomm Incorporated | Depth-based zoom function using multiple cameras |
| CN106803920B (zh) * | 2017-03-17 | 2020-07-10 | 广州视源电子科技股份有限公司 | 一种图像处理的方法、装置及智能会议终端 |
| CN108230234B (zh) | 2017-05-19 | 2019-08-20 | 深圳市商汤科技有限公司 | 图像虚化处理方法、装置、存储介质及电子设备 |
| CN108234858B (zh) * | 2017-05-19 | 2020-05-01 | 深圳市商汤科技有限公司 | 图像虚化处理方法、装置、存储介质及电子设备 |
| CN107426493A (zh) * | 2017-05-23 | 2017-12-01 | 深圳市金立通信设备有限公司 | 一种虚化背景的拍摄方法及终端 |
| CN107085825A (zh) * | 2017-05-27 | 2017-08-22 | 成都通甲优博科技有限责任公司 | 图像虚化方法、装置及电子设备 |
| CN107038681B (zh) * | 2017-05-31 | 2020-01-10 | Oppo广东移动通信有限公司 | 图像虚化方法、装置、计算机可读存储介质和计算机设备 |
| CN107704798B (zh) * | 2017-08-09 | 2020-06-12 | Oppo广东移动通信有限公司 | 图像虚化方法、装置、计算机可读存储介质和计算机设备 |
| CN108024054B (zh) * | 2017-11-01 | 2021-07-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN108055452B (zh) | 2017-11-01 | 2020-09-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
| CN107682639B (zh) * | 2017-11-16 | 2019-09-27 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| CN108024058B (zh) * | 2017-11-30 | 2019-08-02 | Oppo广东移动通信有限公司 | 图像虚化处理方法、装置、移动终端和存储介质 |
| CN108419008B (zh) * | 2018-01-30 | 2020-04-28 | 努比亚技术有限公司 | 一种拍摄方法、终端及计算机可读存储介质 |
| CN108564541B (zh) * | 2018-03-28 | 2022-04-15 | 麒麟合盛网络技术股份有限公司 | 一种图像处理方法及装置 |
| WO2020036468A1 (ko) * | 2018-08-16 | 2020-02-20 | 주식회사 날비컴퍼니 | 이미지에 보케 효과를 적용하는 방법 및 기록매체 |
| KR102683362B1 (ko) * | 2018-12-07 | 2024-07-10 | 삼성전자주식회사 | 이미지를 처리하기 위한 방법 및 그 전자 장치 |
| TWI701639B (zh) * | 2018-12-11 | 2020-08-11 | 緯創資通股份有限公司 | 辨識影像中前景物件的方法與電子裝置 |
| CN109618173B (zh) * | 2018-12-17 | 2021-09-28 | 深圳Tcl新技术有限公司 | 视频压缩方法、装置和计算机可读存储介质 |
| CN109889724B (zh) * | 2019-01-30 | 2020-11-06 | 北京达佳互联信息技术有限公司 | 图像虚化方法、装置、电子设备及可读存储介质 |
| EP3726473A1 (en) | 2019-04-18 | 2020-10-21 | SMR Patents S.à.r.l. | Method for rearview device simulation |
| CN110336942B (zh) * | 2019-06-28 | 2021-02-02 | Oppo广东移动通信有限公司 | 一种虚化图像获取方法及终端、计算机可读存储介质 |
| CN110992284A (zh) * | 2019-11-29 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 |
| WO2021114061A1 (en) * | 2019-12-09 | 2021-06-17 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electric device and method of controlling an electric device |
| CN113052754B (zh) * | 2019-12-26 | 2022-06-07 | 武汉Tcl集团工业研究院有限公司 | 一种图片背景虚化的方法及装置 |
| WO2021135676A1 (zh) * | 2019-12-30 | 2021-07-08 | 武汉Tcl集团工业研究院有限公司 | 一种拍照背景虚化方法、移动终端及存储介质 |
| KR102260193B1 (ko) | 2019-12-30 | 2021-06-03 | 주식회사 버넥트 | 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템 |
| CN111385481A (zh) * | 2020-03-30 | 2020-07-07 | 北京达佳互联信息技术有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| KR20220005820A (ko) * | 2020-07-07 | 2022-01-14 | 삼성전자주식회사 | 그래픽 효과를 적용하기 위한 전자 장치 및 그에 관한 방법 |
| CN112165575B (zh) * | 2020-09-25 | 2022-03-18 | Oppo（重庆）智能科技有限公司 | 图像虚化处理方法及装置、存储介质和电子设备 |
| WO2022178781A1 (en) * | 2021-02-25 | 2022-09-01 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Electric device, method of controlling electric device, and computer readable storage medium |
| US11727537B1 (en) * | 2022-03-24 | 2023-08-15 | Qualcomm Incorporated | Bokeh effect in variable aperture (VA) camera systems |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7657171B2 (en) * | 2006-06-29 | 2010-02-02 | Scenera Technologies, Llc | Method and system for providing background blurring when capturing an image using an image capture device |
| US8929645B2 (en) * | 2007-04-24 | 2015-01-06 | 21 Ct, Inc. | Method and system for fast dense stereoscopic ranging |
| JP2009284056A (ja) * | 2008-05-20 | 2009-12-03 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
| JP5434361B2 (ja) * | 2009-02-24 | 2014-03-05 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| US8355039B2 (en) * | 2010-07-06 | 2013-01-15 | DigitalOptics Corporation Europe Limited | Scene background blurring including range measurement |
| US9007689B2 (en) * | 2011-04-04 | 2015-04-14 | General Electric Company | Method and apparatus for forming multiple images |
| AU2011224051B2 (en) * | 2011-09-14 | 2014-05-01 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
| CN102722080B (zh) * | 2012-06-27 | 2015-11-18 | 杭州南湾科技有限公司 | 一种基于多镜头拍摄的多用途立体摄像方法 |
| US9214025B2 (en) * | 2012-11-30 | 2015-12-15 | Adobe Systems Incorporated | Depth estimation using normalized displacement of image pairs |
| AU2012258467A1 (en) * | 2012-12-03 | 2014-06-19 | Canon Kabushiki Kaisha | Bokeh amplification |
| CN103152521B (zh) * | 2013-01-30 | 2016-08-17 | 广东欧珀移动通信有限公司 | 一种移动终端中实现景深效果的方法及移动终端 |
| US20150243035A1 (en) * | 2014-02-21 | 2015-08-27 | Metaio Gmbh | Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest |
-
2014
- 2014-03-14 CN CN201410095114.9A patent/CN103945118B/zh active Active
-
2015
- 2015-01-21 EP EP15151927.9A patent/EP2919188B1/en active Active
- 2015-01-21 ES ES15151927.9T patent/ES2626174T3/es active Active
- 2015-02-02 US US14/611,775 patent/US9215381B2/en active Active
- 2015-02-16 KR KR1020150023570A patent/KR101686926B1/ko active Active
- 2015-02-27 JP JP2015037951A patent/JP6027159B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103945118A (zh) | 2014-07-23 |
| US9215381B2 (en) | 2015-12-15 |
| KR20150107605A (ko) | 2015-09-23 |
| US20150264271A1 (en) | 2015-09-17 |
| JP6027159B2 (ja) | 2016-11-16 |
| CN103945118B (zh) | 2017-06-20 |
| EP2919188A1 (en) | 2015-09-16 |
| EP2919188B1 (en) | 2017-03-15 |
| JP2015177544A (ja) | 2015-10-05 |
| KR101686926B1 (ko) | 2016-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2626174T3 (es) | Procedimiento y aparato de desenfoque de imágenes | |
| ES2788854T3 (es) | Método y dispositivo de procesamiento de imágenes | |
| US10997696B2 (en) | Image processing method, apparatus and device | |
| CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| US10547786B2 (en) | Image processing for turbulence compensation | |
| US10621729B2 (en) | Adaptive focus sweep techniques for foreground/background separation | |
| Favaro et al. | Shape from defocus via diffusion | |
| US9007441B2 (en) | Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers | |
| CN105631851B (zh) | 深度图生成 | |
| US10257502B2 (en) | Methods and apparatus for controlling light field capture | |
| Jacobs et al. | Focal stack compositing for depth of field control | |
| WO2019105261A1 (zh) | 背景虚化处理方法、装置及设备 | |
| WO2018129692A1 (en) | Image refocusing | |
| KR20230074136A (ko) | 세일리언시 기반 캡처 또는 이미지 프로세싱 | |
| KR20160140453A (ko) | 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법 | |
| JP7767111B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN106576140B (zh) | 图像处理装置以及摄像装置 | |
| KR20150032764A (ko) | 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스 | |
| CN115187740A (zh) | 高精度地图的生成方法、装置及设备 | |
| US10715743B2 (en) | System and method for photographic effects | |
| CN114998429B (zh) | 机器人定位系统、方法、设备和介质 | |
| Čadík et al. | Automated outdoor depth-map generation and alignment | |
| JP6571779B2 (ja) | 立体画像化 | |
| CN116580105B (zh) | 基于平面镜的光源定位方法、装置、设备和可读存储介质 | |
| CN117528236B (zh) | 虚拟摄像机的调整方法和装置 |