ES2272192B1 - Metodo de deconvolucion ciega y superresolucion para secuencias y conjuntos de imagenes, y sus aplicaciones. - Google Patents
Metodo de deconvolucion ciega y superresolucion para secuencias y conjuntos de imagenes, y sus aplicaciones. Download PDFInfo
- Publication number
- ES2272192B1 ES2272192B1 ES200502510A ES200502510A ES2272192B1 ES 2272192 B1 ES2272192 B1 ES 2272192B1 ES 200502510 A ES200502510 A ES 200502510A ES 200502510 A ES200502510 A ES 200502510A ES 2272192 B1 ES2272192 B1 ES 2272192B1
- Authority
- ES
- Spain
- Prior art keywords
- image
- images
- resolution
- original
- regularization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Método de deconvolución ciega y superresolución para secuencias y conjuntos de imágenes, y sus aplicaciones. La presente patente de invención se refiere a la imagen, conseguida por cualquier método convencional de captura y su tratamiento informático posterior. El procedimiento de invención que se presenta se basa en el tratamiento simultáneo de las imágenes de entrada y su restauración (deconvolución) píxel a píxel por medio de un nuevo algoritmo matemático. Además y en el caso de disponer de más de una imagen de la escena en cuestión el sistema es capaz de proporcionar superresolución de las imágenes de entrada. Tiene aplicación directa en cámaras fotográficas digitales, cámaras de video digital, teléfonos móviles, programas de edición de video y de fotografía, programas de análisis de imagen para microscopía y astronomía, análisis de imágenes médicas, imagen forense, sistemas de seguridad basados en imagen, imagen aérea y en la restauración de obras de arte, entre otras.
Description
Método de deconvolución ciega y superresolución
para secuencias y conjuntos de imágenes, y sus aplicaciones.
En términos generales, la presente patente de
invención se refiere al tratamiento de imágenes, conseguidas por
cualquier método convencional de captura, desenfocadas o de baja
resolución. Tiene aplicación directa en cámaras fotográficas
digitales, cámaras de video digital, teléfonos móviles, programas
de edición de video y de fotografía, programas de análisis de
imagen para microscopía y astronomía, análisis de imágenes médicas,
imagen forense, sistemas de seguridad basados en imagen, imagen
aérea y en la restauración de obras de arte, entre otras.
Dentro del ámbito del procesado de imágenes, se
entiende por superresolución (SR) aquellas técnicas que
proporcionan una mejora en la resolución de las imágenes capturadas
o adquiridas por el sistema. Existen varios puntos de vista para
que una determinada técnica pueda ser considerada que proporciona
SR. Algunos autores consideran como SR todos aquellos métodos que
superan los límites de difracción de los sistemas, mientras que
otros consideran la SR como aquellas técnicas que van más allá de
los límites del sensor de imagen digital. Existen asimismo
variantes de SR que utilizan un cuadro simple (en inglés,
single-frame) de la imagen o múltiples cuadros
(multiple-frame), siendo éste último caso sin
embargo el de mayor interés. En la mayoría de los algoritmos de SR,
la información que se gana en la imagen de SR está presente en las
imágenes de baja resolución en forma de "aliasing" o
dispersión espectral. Es por ello que un requisito para que se
pueda obtener la SR es que el sensor tenga unas prestaciones
limitadas para que el "aliasing" pueda estar presente. Por
otra parte, el término deconvolución (restauración de imagen) en
óptica hace referencia al proceso de invertir la distorsión óptica
obtenible de cualquier instrumento óptico, p.e. cámara,
microscopio, telescopio, etc con objeto de obtener imágenes más
nítidas. Las técnicas de deconvolución son también útiles para la
mejora de imágenes que han sufrido distorsión debida al movimiento
rápido durante la captura.
Los métodos de superresolución, utilizados en
algunos programas informáticos de tratamiento de la imagen,
consideran que el desalineamiento entre ellas es desconocido cuando
se considera la escala del subpixel (la más utilizada por la
calidad de los resultados finales), pero sin embargo, todos ellos
asumen que la función de dispersión puntual (PSF) de los canales
(observaciones de baja resolución o LR, Low Resolution en inglés),
nos es conocido "a priori". La PSF es la función
matemática que describe la distorsión que sufre un punto teórico de
luz al atravesar el instrumento de medida o sensor en cuestión. Una
completa revisión bibliográfica sobre el tema puede consultarse en
[Nguyen 05].
Hasta ahora, los métodos prácticos utilizados en
la técnica para resolver los problemas anteriormente presentados en
el tratamiento de las imágenes, son: a) Máxima Verosimilitud
(también conocido por las iniciales en inglés, Maximum Likelihood,
ML), b) Máximo a Posteriori (MAP), c) Proyección basada en
conjuntos convexos (POCS), y, finalmente, d) técnicas basadas en la
transformada rápida de Fourier (FFT, "Fast Fourier
Transform"). Todos ellos proporcionan una solución razonable al
problema de la obtención de la imagen de superresolución.
Recientemente, se han propuesto unas nuevas técnicas más avanzadas
[Segall 03, Hardie 97] que permiten efectuar una estimación
apropiada del desplazamiento subpixel y por tanto de la imagen SR.
Sin embargo, no se trata todavía, estrictamente dicho, de métodos
ciegos, es decir, de métodos en los cuales el desenfoque o bien se
conoce previamente o bien se considera que no existe. Recientemente
varios investigadores [Nguyen 05, Woods 03] propusieron un método
ciego de SR que utiliza la PSF pero que puede ser modelado por un
solo parámetro (con el ahorro de tiempo que esta simplificación trae
consigo). Sin embargo, ésta última restricción limita mucho la
aplicabilidad en la práctica de éste tipo de métodos por la
consiguiente disminución de la resolución (calidad) de la imagen
final. Con el fin de resolver esta situación, se ha propuesto
recientemente un método completo de SR ciega en [Wirawan 99, Yagle
03], pero sin embargo, en su formulación existe una indeterminación
inherente en la manera en que obtienen la imagen de alta resolución
con la desventaja de ser muy sensible al ruido. Otros resultados
preliminares conducentes a la resolución del problema de estimación
ciega de la imagen de superresolución han sido propuestos en
[Biggs 04] a través de una modificación del método de
Richardson-Lucy.
En cuanto a los productos comerciales conocidos,
Adobe Photoshop y Philips disponen de algunos sistemas de
superresolución. Sin embargo, y como anteriormente se mencionó, no
proporcionan prestaciones similares a las que permite el sistema
aquí propuesto. Los fabricantes de teléfonos móviles o cámaras
digitales podrían ser destinatarios potenciales. Ello supondría que
para obtener imágenes de alta calidad no sería necesario disponer
de sensores de alta definición. No existe ningún producto
comercial que permita realizar deconvolucion (restauración de
imagen) y superresolución simultáneamente. Algunas de las patentes
relacionadas con la presente propuesta se mencionan al final de
este documento. En la referencia [Callico 05] se describe cuál es el
estado del arte actual en cuanto a los procedimientos de
implementación de los métodos de superresolución en tiempo real,
trabajo presentado recientemente en un congreso del SPIE (The
International Society for Optical Engineering) por miembros del
(Instituto Universitario de Microelectrónica Aplicada de la Univ.
de Las Palmas (IUMA).
La presente invención consiste en un
procedimiento de tratamiento simultáneo de imágenes borrosas o
desenfocadas, conseguidas por cualquier procedimiento tradicional,
y su restauración pixel a pixel por medio de un algoritmo
matemático de deconvolución ciega. Además y en caso de disponer de
más de una imagen de la escena captada, el método es capaz de
proporcionar superresolución de las imágenes de entrada.
El procesado de imágenes juega un papel
fundamental en muchas aplicaciones tales como astronomía,
percepción remota, microscopía o tomografía, entre otras. Debido a
las imperfecciones de los dispositivos de captura (degradaciones
ópticas, tamaño limitado de los sensores CCD, etc.) así como a la
inestabilidad de la escena observada (objetos en movimiento,
turbulencia atmosférica, etc.), las imágenes adquiridas pueden
aparecer desenfocadas, ruidosas e incluso pueden presentar una
resolución tanto espacial como temporal insuficiente.
La presente invención se enfrenta al problema de
proporcionar nuevos procedimientos de tratamiento y reconstrucción
de imágenes.
La invención se basa en que los inventores son
capaces de recuperar la imagen original mediante las técnicas
simultáneas de deconvolución ciega y de superresolución que
permiten eliminar el desenfoque e incrementar la resolución,
respectivamente. Una condición necesaria para que dichos métodos
sean estables es el disponer de más de una imagen de la escena en
cuestión (conjuntos de imágenes). Las diferencias entre las
imágenes del conjunto son necesarias con objeto de proporcionar
información nueva, que de otra manera sería imperceptible (por
ejemplo a través de pequeños desplazamientos o ligeras
modificaciones de los parámetros de adquisición (longitud focal,
tamaño de apertura, etc.).
Las técnicas actuales de deconvolución ciega de
conjuntos de imágenes no requieren (o como mucho sólo requieren
escasa) información previa acerca del desenfoque y son lo
suficientemente robustos al ruido para proporcionar resultados
satisfactorios en la mayoría de las aplicaciones. Sin embargo,
dichos métodos difícilmente pueden tratar el caso de imágenes de
baja resolución. Por el contrario, las técnicas actuales de
superresolución proporcionan resultados satisfactorios en la mejora
de la resolución a través de la estimación de los desplazamientos
subpixel entre imágenes, pero son incapaces de calcular el
desenfoque. Los métodos actuales de superresolución suponen la no
existencia de desenfoque o bien que éste puede ser estimado por
otros medios. En esta patente se propone un método unificado de
reconstrucción de una imagen que simultáneamente proporciona una
estimación del desenfoque presente en las imágenes, sin ningún
conocimiento "a priori" del mismo o bien de la
existencia de la imagen original. Este problema se resuelve por
medio de la estimación ciega de la imagen original, a través de un
procedimiento de SR basado en métodos de cálculo variacional a
través de la minimización de un funcional de energía junto con unos
términos apropiados de regularización. El fundamento de este tipo
de métodos consiste en incorporar en dicho funcional de energía
todo el conocimiento del que se dispone acerca del problema. Un
funcional es una función que puede tomar otras funciones como
argumento, como p.e. integrales de una función desconocida y sus
derivadas. Es de gran interés utilizar como argumentos las
denominadas funciones "extremas", es decir funciones que hagan
que el funcional alcance un máximo o un mínimo. A través de dicha
minimización se obtiene un método robusto que permite estimar
simultáneamente las PSF, el desalineamiento subpixel y la imagen de
alta resolución. Ello garantiza una casi-perfecta
solución al problema (en el caso de ausencia de ruido). El método
es extensible al caso 3D, no sólo en el caso de volúmenes
(microscopía confocal, tomografía electrónica), sino también en el
caso de secuencias de imágenes (video) donde la tercera dimensión
es el tiempo, así como en el caso de imágenes en color.
Es importante señalar en este punto que ninguno
de los sistemas conocidos en este momento es capaz de proporcionar
la información simultánea anteriormente mencionada, por lo que ésta
patente de invención constituye un avance significativo en el área
del tratamiento de las imágenes.
La Figura 1 presenta un diagrama general de
funcionamiento de la patente de invención que se propone. En la
parte superior se presenta el sistema de adquisición de imágenes
múltiples, mientras que en la inferior se presenta la
reconstrucción de la imagen de alta resolución procedente del mundo
real. Puede observarse que la calidad de la imagen reconstruida es
prácticamente idéntica a la imagen procedente del mundo real. A
continuación se presenta la expresión general que gobierna el
funcionamiento del método con objeto de poder fijar la notación
empleada en el resto del documento,
(1)D[u
* g_{k}](\tau_{k}(x, y)) + n_{k}(x, y) = z_{k} (x,
y)
En la Ecuación 1, z_{k} son las imágenes
adquiridas por el sensor o los sensores y representan por tanto los
únicos datos de entrada al sistema debido al carácter ciego del
método en cuestión. La imagen original (a obtener) sin
degradaciones o con resolución superior viene representada por u.
Las funciones de desenfoque g_{k} intervienen en el proceso a
través de una operación de convolución representada por el símbolo
*, mientras que D representa un operador de diezmado que es el que
da cuenta del proceso de superresolución. El ruido presente en el
sistema viene representado por n_{k}. El objetivo que se persigue
es efectuar una estimación de u partiendo únicamente de la
información proporcionada por las imágenes de entrada z_{k}. El
problema se resuelve a través de la minimización de un funcional de
energía E que depende que la imagen original u y de las funciones
de desenfoque h_{i}, en donde las h_{i} se derivan de las
g_{k} sin más que englobando los desplazamientos \tau_{k} en
g_{k}. Para ello se considera que las imágenes de entrada pueden
presentar pequeños desplazamientos, es decir, que la hipótesis que
se establece es que las funciones PSF del desenfoque puedan
presentar desplazamientos. Este hecho proporciona un mayor grado de
robustez al sistema debido a que éste es tolerante a pequeños
cambios en el registro (alineamiento) de las imágenes, además de
proporcionar la información adicional necesaria para obtener la
superresolución. La expresión de la energía E(u,h_{k})
referenciada en la Figura 1 viene dada por,
(2)E(u,
\{h_{k}\}) = \sum\limits^{K}_{k=1} \bigparallel D[u * h_{k}]
- z_{k} \bigparallel^{2} + \lambda Q(u) + \gamma
R(\{h_{k}\})
en donde el primer término de la
derecha de la ecuación 2 tiene una interpretación obvia ya que
representa la minimización del error cuadrático entre la imagen
original y las imágenes adquiridas, mientras que los otros dos
términos representan funciones de regularización de la imagen
original y del desenfoque, respectivamente, y que son necesarios de
considerar con objeto de que la solución al problema sea más
estable. Para el primero de ellos Q, es decir el término de
regularización de la imagen original, se han propuesto varias
soluciones. Todas se ellas se basan en la minimización de algún
funcional derivado del gradiente de la imagen, como p.e. la
regularización de Tichonov, la anisotrópica o la de
Mumford-Shah (veáse la referencia [Sroubek
03]).
En los ejemplos que ilustran la presente patente
se ha utilizado para Q el método de variación total (Total
Variation) [Sroubek 03]. Una vez formulado el problema de la manera
anteriormente señalada, la solución final se determina a través de
un procedimiento de minimización sucesiva en función de u y de
h_{i} de dicho funcional de energía dado por la Ecuación 2. En
cuanto al segundo término de regularización R del desenfoque, éste
se basa en las diferencias entre cada pareja de imágenes
desenfocadas de entrada, por medio de una expresión matemática que
se aproxima a cero para los valores correctos del desenfoque.
Por lo tanto, un objeto de la presente invención
lo constituye un método de tratamiento de una imagen de baja
resolución y/o desenfocada, en adelante método de la invención, que
permite la estimación simultánea de la función de dispersión
puntual y el desalineamiento subpixel y la imagen de alta
resolución y que comprende las siguientes etapas:
- i)
- obtención de varias imágenes de la imagen problema mediante técnicas de adquisición o sensores de imágenes convencionales,
- ii)
- reconstrucción simultánea o unificada de las imágenes de a) mediante una técnica o método de deconvulación o estimación ciega multicuadro de la imagen original y un método de superresolución basados en un método de calculo variacional a través de la minimización una función de la energía (E) mediante un procedimiento de mínimos cuadrados restringidos junto con unos términos apropiados de regularización de la imagen original y del desenfoque, donde la expresión general que gobierna el funcionamiento del método es,
D[u *
g_{k}] (\tau_{k} (x, y)) + n_{k} (x, y) = z_{k} (x,
y)
- tal que,
- z_{k} son las imágenes adquiridas por el sensor o los sensores; la imagen original (a obtener) sin degradaciones o con resolución superior viene representada por u; Las funciones de desenfoque g_{k} intervienen en el proceso a través de una operación de convolución representada por el símbolo *, mientras que D representa un operador de diezmado (fraccionado diádico) que es el que da cuenta del proceso de superresolución; y, el ruido presente en el sistema viene representado por n_{k},
- y donde,
- la expresión de la energía E(u,h_{k}) viene dada por,
E(u,
\{h_{k}\}) = \sum\limits^{K}_{k=1} \bigparallel D[u * h_{k}]
- z_{k} \bigparallel^{2} + \lambda Q(u) + \gamma
R(\{h_{k}\})
- y,
- iii)
- Obtención de la imagen de alta resolución de la imagen original.
Un objeto particular de la invención lo
constituye el método de la invención en el que la función de
regularización de la imagen original (Q) se lleva a cabo mediante
minimización de algún funcional derivado del gradiente de la imagen
perteneciente, a título ilustrativo y sin que limite la invención,
al siguiente grupo: la regularización de Tichonov, la anisotrópica,
la de Mumford-Shah o el método de variación total
(Total Variation) [Sroubek 03].
Una realización particular de la presente
invención lo constituye el método de la invención en el que la
función de regularización de la imagen original (Q) se lleva a cabo
mediante el método de variación total (Total Variation) (ver
Ejemplo 1 y 2).
Otro objeto de la presente invención lo
constituye la utilización, en adelante utilización del método de la
invención, del método de la invención para la reconstrucción o
recuperación de imágenes.
Un objeto particular de la invención lo
constituye la utilización del método de la invención en el que la
imagen es bidimensional o tridimensional, y en el caso de esta
última no sólo para el caso de volúmenes (microscopía confocal,
tomografía electrónica), sino también en el caso de secuencias de
imágenes (video) donde la tercera dimensión es el tiempo.
Igualmente estas imágenes pueden ser en blanco y negro, gama de
cualquier color o en color.
Las imágenes sobre las que puede aplicar el
método de la invención pueden ser de distinto origen, por ejemplo,
a título ilustrativo y son que limite el alcance de la invención:
imágenes de cámaras fotográficas digitales, de cámaras de video
digital, de teléfonos móviles, de programas de edición de video y
de fotografía, de programas de análisis de imagen para microscopía
-entre otros, microscopía confocal o tomografía electrónica- y de
astronomía, de análisis de imágenes médicas, de imágenes forenses,
de sistemas de seguridad basados en imagen, de imágenes aéreas o de
obras de arte como un cuadro sujeto a restauración.
[Biggs 04] D.S. Biggs, C.L. Wang,
T.J. Holmes, and A. Khodjakov, "Subpixel
deconvolution of 3D optical microscope imagery," in Proc.
SPIE Vol. 5559, pp. 369-380, Oct.
2004.
[Callico 05] G. Callicó y otros,
"Practical Considerations for real-time
superresolution implementation techniques over video coding
platforms", SPIE Microtechnologies for the New Millenium,
Sevilla, Mayo, 2005.
[Hardie 97] R.C. Hardie, K.J.
Barnard, and E.E. Armstrong, "Joint MAP
registration and high-resolution image estimation
using a sequence of undersampled images," IEEE Trans. Image
Processing., vol. 6, pp. 1621-1633, Dec.
1997.
[Nguyen 05] N. Nguyen, P.
Milanfar, and G. Golub, "Efficient generalized
cross-validation with applications to parametric
image restoration and resolution enhancement," IEEE
Transactions on Image Processing, vol. 10, no. 9, pp.
1299-1308, Sep. 2001.
[Park 03] S.C. Park, M.K. Park,
and M.G. Kang, "Super-resolution image
reconstruction: A technical overview," IEEE Signal Processing
Magazine, vol. 20, pp. 21-36, 2003.
[Segall 03] C.A. Segall, R.
Molina, and A.K. Katsaggelos,
"High-resolution image from
low-resolution compressed video," IEEE Signal
Processing Magazine, vol. 20, pp. 37-48,
2003.
[Sroubek 03] Sroubek, F. y
Flusser, J. "Multichannel Blind Iterative Image
Restoration," IEEE Transactions on Image Processing,
12,9, pp. 1094-1106, 2003.
[Wirawan 99] Wirawan, P. Duhamel,
and H. Maitre, "Multi-channel high
resolution blind image restoration," in Proc. IEEE
ICASSP, AZ, pp. 3229-3232, Nov. 1999.
[Woods 03] N.A. Woods, N.P.
Galatsanos, and A.K. Katsaggelos,
"EM-Based Simultaneous Registration, Restoration,
and Interpolation of Superresolved Images," in Proc. IEEE
ICIP, pp. 303-306, Sep. 2003.
[Yagle 03] A.E. Yagle, "Blind
superresolution from undersampled blurred measurements," in
Proc. SPIE Vol. 5205, pp. 299-309, Dec.
2003.
Otras patentes relacionadas con la presente
propuesta
[Messing 02] Messing, D. y Sezan,
M.I. "Resolution improvement for multiple images", US Patent
No. 6466618, 2002.
[Gregory 02] Gregory, D.D. et al
"Super Resolution methods for electrooptical systems", US
Patent No. 6483952, 2002.
[Burt 02] Burt, P. et al "Mosaic
based image processing system", US Patent No. 6393163,
2002.
[Patti 01] Patti, A.J. et al
"Method for generated Resolution enhanced still images from
compressed video data", US Patent No. 6304682, 2001.
Figura 1. Diagrama general del sistema de
adquisición de imágenes y procesado de la invención. En la parte
superior se muestra el sistema de adquisición de imágenes múltiples
y en la parte inferior se muestra la reconstrucción de la escena
real.
Figura 2. Reconstrucción de una imagen original
con observador en movimiento. (a) Conjunto de imágenes de baja
resolución que constituyen la entrada de datos al sistema; (b)
Resultado de la interpolación lineal del primer cuadro (frame) de
la secuencia considerada; (c) Resultado de la interpolación lineal
de un cuadro de baja resolución (LR en inglés) utilizando un
trípode para evitar el desenfoque debido al movimiento; (d)
Resultado de la interpolación lineal después de aplicar el
procedimiento de deconvolución ciega multi-cuadro;
(e) Imagen capturada con trípode utilizando zoom óptico. Esta
imagen puede ser considerada como referencia a la hora de evaluar
el resultado de la imagen reconstruida de alta resolución; (f)
Resultado del método propuesto aquí que combina la aplicación de un
procedimiento de deconvolución ciega multi-cuadro
junto con un procedimiento de superresolución. Puede observarse que
el resultado (f) constituye una muy buena aproximación a (e),
mientras que (d) proporciona un resultado insatisfactorio.
Figura 3. Reconstrucción de una imagen con el
original en movimiento. (a) Conjunto de imágenes de baja resolución
que constituyen la entrada de datos al sistema; (b) Resultado de
la interpolación lineal del primer cuadro (frame) de la secuencia
considerada; (c) Resultado de la interpolación lineal después de
aplicar el procedimiento de deconvolución ciega
multi-cuadro; (d) Resultado proporcionado por la
mejor técnica actual de superresolución. Esta figura muestra que
éste método es incapaz de eliminar el desenfoque presente en las
imágenes de entrada; (e) Resultado del método propuesto aquí y que
combina la aplicación de un procedimiento de deconvolución ciega
multi-cuadro junto con un procedimiento de
superresolución; (f) Funciones de desenfoque que proporciona el
método de la invención.
Se han presentado dos ejemplos de utilización
práctica de la técnica desarrollada, a título ilustrativo y sin que
representen una limitación al alcance de la invención.
Ejemplo
1
El primer escenario consiste en la detección de
placas de matrícula, en la cual el desenfoque que presentan las
imágenes es debido a las condiciones de captura debido al
movimiento introducido por el observador al sostener la cámara
(Figura 2). Asimismo, las condiciones bajas de iluminación o la
distancia alejada del objeto de interés produce unas imágenes de
entrada de baja calidad (Figura 1a) que dificulta tanto la
identificación de los caracteres alfanuméricos de la matrícula como
las características que identifican al vehículo, como marca, forma
del chasis, etc.
La imagen obtenida mediante el método de la
invención (Figura 2f) es mejor incluso que la obtenida mediante un
zoom óptico con trípode (Figura 2e) que se considera de referencia,
y claramente mejor que las obtenidas por otros métodos conocidos
(Figura 1b, c y d). Detalles del procedimiento de captación de las
imágenes: Cámara digital Olympus de 5 Mpixels modelo
C-5050. Apertura: 8.0; Velocidad de obturación:
1/20 seg.; Longitud focal: 11.9 mm (para las imágenes de baja
resolución). Para las imágenes de alta resolución los mismos
parámetros anteriores, salvo la longitud focal: 21.3 mm.
Ejemplo
2
El segundo escenario consiste en la captura de
imágenes de baja de resolución de un vehículo que se desplaza
frontalmente a la cámara (Figura 3).
Se observa que el método de la invención es
capaz de efectuar una compensación por el movimiento y obtener una
imagen de alta resolución (Figura 3e) como salida con mayor
resolución que las obtenidas por las otras técnicas (Figura 3b, c y
d), mejor incluso que con la mejor técnica actual de
superresolución [Hardie 97], que es incapaz de eliminar el
desenfoque presente en las imágenes de entrada (Figura 3d). El
resultado de la Fig. 3d se ha obtenido a partir de una
implementación del método descrito en [Hardie 97] al cual se le ha
incorporado una mejora consistente en la preservación de los bordes
de la imagen.
Este sería un caso complementario al anterior,
en donde la cámara está fija y el objeto en movimiento.
Detalles del procedimiento de captación de las
imágenes: Cámara digital Olympus de 5 Mpixels modelo
C-5050. Apertura: 8.0; Velocidad de obturación:
1/30 seg.; Longitud focal: 21.3 mm.
Claims (8)
1. Método de tratamiento de una imagen de baja
resolución y/o desenfocada caracterizado porque permite la
estimación simultánea de la función de dispersión puntual y el
desalineamiento subpixel y la imagen de alta resolución y porque
comprende las siguientes etapas:
- i)
- obtención de varias imágenes de la imagen problema mediante técnicas de adquisición o sensores de imágenes convencionales,
- ii)
- reconstrucción simultánea o unificada de las imágenes de a) mediante una técnica o método de deconvulación o estimación ciega multicuadro de la imagen original y un método de superresolución basados en un método de calculo variacional a través de la minimización una función de la energía (E) mediante un procedimiento de mínimos cuadrados restringidos junto con unos términos apropiados de regularización de la imagen original y del desenfoque, donde la expresión general que gobierna el funcionamiento del método es,
D[u *
g_{k}] (\tau_{k} (x, y)) + n_{k} (x, y) = z_{k} (x,
y)
- tal que,
- z_{k} son las imágenes adquiridas por el sensor o los sensores; la imagen original (a obtener) sin degradaciones o con resolución superior viene representada por u; Las funciones de desenfoque g_{k} intervienen en el proceso a través de una operación de convolución representada por el símbolo *, mientras que D representa un operador de diezmado que es el que da cuenta del proceso de superresolución; y, el ruido presente en el sistema viene representado por n_{k},
- y donde,
- la expresión de la energía E(u,h_{k}) viene dada por,
E(u,
\{h_{k}\}) = \sum\limits^{K}_{k=1} \bigparallel D[u * h_{k}]
- z_{k} \bigparallel^{2} + \lambda Q(u) + \gamma
R(\{h_{k}\})
- y,
- iii)
- Obtención de la imagen de alta resolución de la imagen original.
2. Método según la reivindicación 1
caracterizado porque la función de regularización de la
imagen original (Q) de ii) se lleva a cabo mediante minimización de
algún funcional derivado del gradiente de la imagen perteneciente
al siguiente grupo: la regularización de Tichonov, la
anisotrópica, la de Mumford-Shah o el método de
variación total.
3. Método según la reivindicación 1
caracterizado porque la función de regularización de la
imagen original (Q) de ii) se lleva a cabo mediante el método de
variación total.
4. Utilización del método según las
reivindicaciones 1 a la 3 para la reconstrucción o recuperación de
imágenes.
5. Utilización según la reivindicación 4
caracterizado porque la imagen es bidimensional o
tridimensional, y en el caso de esta última no sólo para el caso de
volúmenes, sino también en el caso de secuencias de imágenes donde
la tercera dimensión es el tiempo.
6. Utilización según la reivindicación 4
caracterizado porque la imagen es en blanco y negro, en una
gama de cualquier color o en color.
7. Utilización según la reivindicación 4
caracterizado porque la imagen puede ser de distinto
origen.
8. Utilización según la reivindicación 7
caracterizado porque el origen de la imagen pertenece al
siguiente grupo: imágenes de cámaras fotográficas digitales, de
cámaras de video digital, de teléfonos móviles, de programas de
edición de video y de fotografía, de programas de análisis de
imagen para microscopía -entre otros, microscopía confocal o
tomografía electrónica- y de astronomía, de análisis de imágenes
médicas, de imágenes forenses, de sistemas de seguridad basados en
imagen, de imágenes aéreas o de obras de arte como cuadro.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200502510A ES2272192B1 (es) | 2005-10-14 | 2005-10-14 | Metodo de deconvolucion ciega y superresolucion para secuencias y conjuntos de imagenes, y sus aplicaciones. |
| EP06820027A EP1947604A1 (en) | 2005-10-14 | 2006-10-10 | Blind deconvolution and super-resolution method for sequences and sets of images and applications thereof |
| PCT/ES2006/070150 WO2007042596A1 (es) | 2005-10-14 | 2006-10-10 | Método de deconvolución ciega y superresolución para secuencias y conjuntos de imágenes, y sus aplicaciones |
| US12/090,192 US20090263043A1 (en) | 2005-10-14 | 2006-10-10 | Blind deconvolution and super-resolution method for sequences and sets of images and applications thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200502510A ES2272192B1 (es) | 2005-10-14 | 2005-10-14 | Metodo de deconvolucion ciega y superresolucion para secuencias y conjuntos de imagenes, y sus aplicaciones. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2272192A1 ES2272192A1 (es) | 2007-04-16 |
| ES2272192B1 true ES2272192B1 (es) | 2008-03-16 |
Family
ID=37942339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES200502510A Expired - Fee Related ES2272192B1 (es) | 2005-10-14 | 2005-10-14 | Metodo de deconvolucion ciega y superresolucion para secuencias y conjuntos de imagenes, y sus aplicaciones. |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20090263043A1 (es) |
| EP (1) | EP1947604A1 (es) |
| ES (1) | ES2272192B1 (es) |
| WO (1) | WO2007042596A1 (es) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7886266B2 (en) * | 2006-04-06 | 2011-02-08 | Microsoft Corporation | Robust personalization through biased regularization |
| WO2008089385A2 (en) * | 2007-01-19 | 2008-07-24 | Purdue Research Foundation | Method and apparatus for determining the stray-light point-spread function of an imaging system |
| CN100568278C (zh) * | 2007-11-16 | 2009-12-09 | 中国科学院光电技术研究所 | 结合帧选择和盲解卷积的自适应光学图像高分辨率复原方法 |
| CN103136727B (zh) * | 2012-12-14 | 2016-03-02 | 西安电子科技大学 | 基于梯度一致性与各向异性正则化的超分辨图像重建方法 |
| CN103136452B (zh) * | 2013-02-21 | 2016-04-13 | 清华大学 | 一种适用于球面数据的快速直接解调方法 |
| US9183648B2 (en) * | 2014-03-04 | 2015-11-10 | Ivan Bajic | Method and system for high-resolution transforms of frequency-space and image/audio/video-space data |
| US9958327B2 (en) | 2014-10-01 | 2018-05-01 | Nanometrics Incorporated | Deconvolution to reduce the effective spot size of a spectroscopic optical metrology device |
| CN104299202B (zh) * | 2014-10-25 | 2018-04-03 | 中国科学院光电技术研究所 | 一种基于中频的离焦模糊图像盲复原方法 |
| US9799113B2 (en) * | 2015-05-21 | 2017-10-24 | Invicro Llc | Multi-spectral three dimensional imaging system and method |
| IT201700099120A1 (it) * | 2017-09-05 | 2019-03-05 | Salvatore Lamanna | Sistema di illuminazione per schermo di qualsiasi tipo |
| CN109949251B (zh) * | 2019-04-03 | 2023-06-30 | 天津中航亿达科技有限公司 | 一种基于黎兹金字塔的大气湍流退化视频快速稳定方法 |
| US11575865B2 (en) * | 2019-07-26 | 2023-02-07 | Samsung Electronics Co., Ltd. | Processing images captured by a camera behind a display |
| CN112330549B (zh) * | 2020-10-16 | 2023-08-08 | 西安工业大学 | 一种基于盲解卷积网络的模糊图像盲复原方法及系统 |
| US11721001B2 (en) | 2021-02-16 | 2023-08-08 | Samsung Electronics Co., Ltd. | Multiple point spread function based image reconstruction for a camera behind a display |
| US11722796B2 (en) | 2021-02-26 | 2023-08-08 | Samsung Electronics Co., Ltd. | Self-regularizing inverse filter for image deblurring |
| US12217424B2 (en) | 2021-05-03 | 2025-02-04 | NeuraLight Ltd. | Determining digital markers indicative of a neurological condition using eye movement parameters |
| US12118825B2 (en) | 2021-05-03 | 2024-10-15 | NeuraLight Ltd. | Obtaining high-resolution oculometric parameters |
| US12393765B2 (en) | 2021-08-06 | 2025-08-19 | Samsung Electronics Co., Ltd. | Automating search for improved display structure for under-display camera systems |
| US12216277B2 (en) | 2021-10-14 | 2025-02-04 | Samsung Electronics Co., Ltd. | Optical element for deconvolution |
| US12482075B2 (en) | 2022-06-08 | 2025-11-25 | Samsung Electronics Co., Ltd. | Restoring images using deconvolution |
| US12217421B2 (en) | 2023-01-05 | 2025-02-04 | NeuraLight Ltd. | Point of gaze tracking with integrated calibration process |
| EP4646704A1 (en) | 2023-01-05 | 2025-11-12 | Neuralight Ltd. | Estimating a delay from a monitor output to a sensor |
| US12092962B1 (en) | 2023-10-26 | 2024-09-17 | Onto Innovation Inc. | Measurements of structures in presence of signal contaminations |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4532548A (en) * | 1983-01-27 | 1985-07-30 | Hughes Aircraft Company | Resolution enhancement and zoom |
| US6229928B1 (en) * | 1997-09-17 | 2001-05-08 | Olympus Optical Co., Ltd. | Image processing system for removing blur using a spatial filter which performs a convolution of image data with a matrix of no-neighbor algorithm based coefficients |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| US6295392B1 (en) | 1998-05-20 | 2001-09-25 | Itt Manufacturing Enterprises, Inc. | Super resolution methods for electro-optical systems |
| US6879735B1 (en) * | 1998-09-14 | 2005-04-12 | University Of Utah Reasearch Foundation | Method of digital image enhancement and sharpening |
| US6304682B1 (en) | 1998-10-02 | 2001-10-16 | Hewlett-Packard Company | Method for generated resolution enhanced still images from compressed video data |
| US6470097B1 (en) * | 1999-01-22 | 2002-10-22 | Siemens Corporation Research, Inc. | Total variational blind image restoration from image sequences |
| US6466618B1 (en) | 1999-11-19 | 2002-10-15 | Sharp Laboratories Of America, Inc. | Resolution improvement for multiple images |
| US7065256B2 (en) * | 2001-02-08 | 2006-06-20 | Dblur Technologies Ltd. | Method for processing a digital image |
| JP3927776B2 (ja) * | 2001-06-25 | 2007-06-13 | キヤノン株式会社 | 画像処理装置及びその処理方法 |
| US7542622B1 (en) * | 2003-06-02 | 2009-06-02 | The Trustees Of Columbia University In The City Of New York | Spatio-temporal treatment of noisy images using brushlets |
| US7437012B2 (en) * | 2004-05-27 | 2008-10-14 | United States Of America As Represented By The Secretary Of Commerce, The National Institute Of Standards & Technology | Singular integral image deblurring method |
| US7496240B2 (en) * | 2005-08-24 | 2009-02-24 | Brother Kogyo Kabushiki Kaisha | Image denoising apparatus and method |
-
2005
- 2005-10-14 ES ES200502510A patent/ES2272192B1/es not_active Expired - Fee Related
-
2006
- 2006-10-10 WO PCT/ES2006/070150 patent/WO2007042596A1/es not_active Ceased
- 2006-10-10 US US12/090,192 patent/US20090263043A1/en not_active Abandoned
- 2006-10-10 EP EP06820027A patent/EP1947604A1/en not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4532548A (en) * | 1983-01-27 | 1985-07-30 | Hughes Aircraft Company | Resolution enhancement and zoom |
| US6229928B1 (en) * | 1997-09-17 | 2001-05-08 | Olympus Optical Co., Ltd. | Image processing system for removing blur using a spatial filter which performs a convolution of image data with a matrix of no-neighbor algorithm based coefficients |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007042596A1 (es) | 2007-04-19 |
| US20090263043A1 (en) | 2009-10-22 |
| EP1947604A1 (en) | 2008-07-23 |
| ES2272192A1 (es) | 2007-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2272192B1 (es) | Metodo de deconvolucion ciega y superresolucion para secuencias y conjuntos de imagenes, y sus aplicaciones. | |
| Rav-Acha et al. | Two motion-blurred images are better than one | |
| Shimizu et al. | Super-resolution from image sequence under influence of hot-air optical turbulence | |
| US9824486B2 (en) | High resolution free-view interpolation of planar structure | |
| JP2019149809A (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| Köhler et al. | ToF meets RGB: novel multi-sensor super-resolution for hybrid 3-D endoscopy | |
| CN104574338B (zh) | 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法 | |
| CN104952048B (zh) | 一种基于像体重建的焦点堆栈照片合成方法 | |
| Gunturk et al. | High-resolution image reconstruction from multiple differently exposed images | |
| CN104217412B (zh) | 一种机载超分辨率图像重建装置及重建方法 | |
| Sˇroubek et al. | Multiframe blind deconvolution coupled with frame registration and resolution enhancement | |
| Delbracio et al. | Non-parametric sub-pixel local point spread function estimation | |
| Mukati et al. | Light field super resolution through controlled micro-shifts of light field sensor | |
| CN105528761A (zh) | 一种显微图像的超分辨重构方法 | |
| Al Ismaeil et al. | Dynamic super resolution of depth sequences with non-rigid motions | |
| CN101231693A (zh) | 由视频重建复原的面部图像的系统和方法 | |
| Je et al. | Disparity-based space-variant image deblurring | |
| Peng et al. | Endoscopic video deblurring via synthesis | |
| Faramarzi et al. | Space-time super-resolution from multiple-videos | |
| Haik et al. | Superresolution reconstruction of a video captured by a vibrated time delay and integration camera | |
| Faramarzi et al. | Super resolution results in PANOPTES, an adaptive multi-aperture folded architecture | |
| Buades et al. | Obtaining high quality photographs of paintings by image fusion | |
| Zhen et al. | Joint deblurring and demosaicking of cfa image data with motion blur | |
| Nasibov et al. | Seamless image stitching algorithm using radiometric lens calibration for high resolution optical microscopy | |
| Li et al. | Improved IBP for super-resolving remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EC2A | Search report published |
Date of ref document: 20070416 Kind code of ref document: A1 |
|
| FG2A | Definitive protection |
Ref document number: 2272192B1 Country of ref document: ES |
|
| FD2A | Announcement of lapse in spain |
Effective date: 20180809 |