ES2632396T3 - Deconvolución de imágenes utilizando antecedentes de color - Google Patents
Deconvolución de imágenes utilizando antecedentes de color Download PDFInfo
- Publication number
- ES2632396T3 ES2632396T3 ES09770743.4T ES09770743T ES2632396T3 ES 2632396 T3 ES2632396 T3 ES 2632396T3 ES 09770743 T ES09770743 T ES 09770743T ES 2632396 T3 ES2632396 T3 ES 2632396T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- pixel
- colors
- color
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Un procedimiento implementado (250) en dispositivo de uso de una deconvolución para reducir la borrosidad de una imagen digital borrosa (100), comprendiendo el procedimiento: calcular un modelo bicromático local de la imagen borrosa (138), modelando el modelo bicromático los píxeles de la imagen como combinaciones locales respectivas de dos colores (150, 162, 164); generar una imagen no borrosa (102) correspondiente a la imagen borrosa deconvolucionando la imagen con un núcleo de desenfoque utilizando el modelo bicromático como un antecedente para limitar la deconvolución (166).
Description
5
10
15
20
25
30
35
40
45
50
DESCRIPCION
Deconvolucion de imagenes utilizando antecedentes de color Antecedentes
Un problema comun en la fotograffa es la borrosidad de imagen, que puede ser provocada por combinaciones de temblor de la camara durante tiempos prolongados de exposicion, movimiento del sujeto, el uso de aperturas grandes en configuraciones de poca luz o de resolucion limitada de la camara. Con independencia de la causa, normalmente la borrosidad de imagen no es deseable.
Con la llegada de la fotograffa digital, ha sido posible reducir o corregir la borrosidad en una imagen. La Figura 1 muestra una imagen borrosa sometida a un procedimiento de reduccion de la borrosidad para producir una imagen 102 no borrosa. Se han utilizado diversos planteamientos para encontrar una imagen no borrosa tal como la imagen 102. Hay quien ha intentado modificar como se captan las imagenes. Algunos han utilizado la informacion anadida de multiples imagenes para reducir la borrosidad. Se han utilizado algoritmos de ampliacion de la muestra para reducir la borrosidad debida a una resolucion limitada de la camara. Tambien se han utilizado nucleos de desenfoque determinados a partir de una unica imagen. Tambien se ha explorado una deconvolucion no ciega, pero con un exito limitado.
La deconvolucion no ciega de imagenes implica la recuperacion de una imagen mtida de una imagen de entrada corrompida por borrosidad y ruido, en la que la borrosidad es un producto de la convolucion de la imagen verdadera (no borrosa) con un nucleo conocido en un nivel conocido de ruido. A menudo, los anteriores planteamientos de deconvolucion a la reduccion de la borrosidad han estado limitados a aplicaciones especiales, a menudo no son eficaces con imagenes arbitrarias y a veces generan aberraciones no deseadas, tales como formacion de anillos. Algunos han utilizado antecedentes de color derivados de estadfsticas de la imagen natural. Otros han utilizado cortes de graficos para reducir un suavizado excesivo. Tambien se ha utilizado una deconvolucion con multiples borrosidades y minimizacion de la energfa.
Las tecnicas descritas a continuacion se refieren a la reduccion eficaz y fiable de la borrosidad de imagenes utilizando una deconvolucion.
Sumario
El siguiente sumario se incluye solo para introducir algunos conceptos expuestos en la siguiente Descripcion detallada. Este sumario no es exhaustivo y no se concibe que defina el alcance de la materia objeto reivindicada, que se define mediante las reivindicaciones presentadas al final.
Se describen tecnicas para la deconvolucion de imagenes para reducir la borrosidad de una imagen dado un nucleo de desenfoque. Estadfsticas de colores localizados derivados de la imagen cuya borrosidad ha de ser reducida sirven como una limitacion antecedente durante la deconvolucion. Se formula el color de un pixel como una combinacion lineal de los dos colores mas predominante en un entorno del pixel. Esto puede repetirse para muchos de los pfxeles, o todos ellos, en una imagen. Las combinaciones lineales de los pfxeles sirven de antecedente bicromatico para deconvolucionar la imagen borrosa. El antecedente bicromatico es sensible al contenido de la imagen y puede desacoplar la nitidez de los bordes de la intensidad de los bordes.
A continuacion, se explicaran muchas de las caractensticas acompanantes con referencia a la siguiente descripcion detallada considerada en conexion con los dibujos adjuntos.
Breve descripcion de los dibujos
Se comprendera mejor la presente descripcion a partir de la siguiente descripcion detallada lefda a la luz de los dibujos adjuntos, en los que se utilizan numeros similares de referencia para designar partes similares en la descripcion adjunta.
La Figura 1 muestra una imagen borrosa sometida a un procedimiento de reduccion de la borrosidad para producir una imagen no borrosa.
La Figura 2 muestra un procedimiento general para reducir la borrosidad con un modelo bicromatico.
La Figura 3 muestra un antecedente de la distancia perpendicular d desde un valor de color de un pixel mtido hasta la lmea (3D) definida por los dos colores P (primario) y S (secundario), al igual que el valor a de mezcla.
La Figura 4 muestra un procedimiento para encontrar y utilizar dos colores P y S.
La Figura 5 muestra un dispositivo informatico.
Descripcion detallada
Revision general
La siguiente descripcion comienza con cierta exposicion de la teona y de modelos de deconvolucion utilizados para una reduccion de la borrosidad. A continuacion, se describen antecedentes de imagen, seguidos por una exposicion de antecedentes de gradiente y de antecedentes de color. Esto es seguido por una exposicion acerca de modelos de color y como utilizarlos para encontrar los colores que han de utilizarse como los antecedentes de color.
5 Se pueden comprender mejor los detalles de la tecnica descrita en la presente memoria en vista de las siguientes observaciones generales acerca de imagenes fotograficas y un modelo de imagen resultante. Globalmente, la mayona de imagenes tiene un conjunto limitado de colores diferenciados. Ademas, se puede describir la mayona de pequenos entornos o zonas en una imagen mediante un conjunto aun menor de colores y, a menudo, seran suficientes incluso solo dos colores. Una imagen cuya borrosidad ha de ser reducida puede ser modelada como una 10 combinacion lineal de dos colores por pixel (es decir, cada pixel es una combinacion lineal de dos colores que vanan para distintos pfxeles). En otras palabras, se puede considerar la imagen como una mezcla pixel a pixel, por un parametro variable de mezclado (es decir, alfa) de dos capas de color. Las dos capas de color pueden ser suaves por tramos; no obstante, el parametro de mezclado entre ellas puede cambiar. Los cambios en el parametro de mezclado pueden tener en cuenta la textura y los bordes nftidos en la imagen, y se supone que los colores 15 constituyentes de la imagen vanan suavemente. Este modelo suave bicromatico por tramos puede modelar bordes intensos, reducir el ruido en la imagen y dar lugar a imagenes no borrosas muy razonables. Sera evidente con una explicacion adicional como se utiliza este modelo de color en la deconvolucion para una reduccion de la borrosidad.
Deconvolucion
La deconvolucion de imagenes es un procedimiento de recuperacion de una imagen nftida a partir de una imagen 20 borrosa de entrada en la que se supone que la borrosidad de la imagen es resultado de la convolucion de la imagen con un nucleo de desenfoque conocido y en la que se conoce un nivel de ruido. Normalmente, un nucleo de desenfoque es una imagen bidimensional o una matriz de numeros que, cuando se convolucionan (multiplicacion y suma reiterada y escalonada sobre los pfxeles de una imagen) con la imagen nftida/verdadera deseada, produce lo que se vio o aquello de lo que se formo una imagen. El nucleo de desenfoque puede ser invariante frente a la 25 traslacion. Se puede formular la deconvolucion de la imagen, entre otras formas, utilizando una estructura bayesiana solucionada utilizando una tecnica de estimacion de maxima a posteriori (MAP). En la estimacion MAP para una deconvolucion, se busca la estimacion mas probable para la imagen nftida I de la imagen borrosa (la version no borrosa teorica de la imagen borrosa) utilizando una imagen borrosa observada dada, B, un nucleo de desenfoque, K, y un modelo de formacion de imagen. Esto se expresa como una maximizacion en la distribucion de probabilidad 30 del posteriori, utilizando la regla de Bayes. El resultado es expresado como la minimizacion de una suma de probabilidades negativas de registro:
Pi I\B) = P(BI )P I)/P(B) (1)
argmax P(I | B) = argmin I - [L(B|I) + L(I)]. (2)
i I
Ahora se reduce el problema de la deconvolucion a definir los terminos de probabilidad de registro. Dado el modelo 35 de formacion de imagen, con un procedimiento aditivo de ruido blanco gaussiano:
B = 10 K + N, (3)
en la que N ~ N(a2), la probabilidad de registro de los “datos” es:
L( B|I) = - |B - I 0 K I'/ o2. (4)
La forma del termino restante de probabilidad de registro, L(I), depende del antecedente de imagen utilizado. El 40 antecedente de imagen describe (como una distribucion de probabilidad) la probabilidad de que se vea en el mundo (es decir, que sea “realista”) una imagen particular. Por ejemplo, las imagenes que consisten en pfxeles estrictamente aleatorios son muy improbables. Muchos antecedentes utilizados habitualmente fomentan una suavidad local, es decir, penalizan las diferencias entre pfxeles adyacentes. En el trabajo de los inventores, utilizan la desviacion del color de un pixel de un modelo local bicromatico como la medida de su probabilidad.
45 Antecedentes de imagen
Segun se ha descrito anteriormente, cuando se deconvoluciona una imagen, la probabilidad de los datos es inherentemente ambigua, es decir, hay muchas imagenes “nftidas” posibles que se veran desenfocadas para corresponderse con la imagen borrosa observada, y cuanto mayor sea la borrosidad, mayor sera el intervalo de ambiguedad. Se utiliza un antecedente de imagen para ayudar a resolver la ambiguedad de estas soluciones. Se 50 puede considerar un antecedente de imagen como una o mas limitaciones que debe satisfacer la imagen mtida. Un planteamiento es suponer que la imagen nftida es suave o suave por tramos, lo que tiene como resultado
5
10
15
20
25
30
35
40
45
50
55
antecedentes en gradientes de imagen. Aunque vienen utilizandose antecedentes de gradiente durante algun tiempo, se explicaran brevemente para proporcionar un ejemplo de lo que es un antecedente de imagen y de como puede ser utilizado. Mas adelante se explicaran los antecedentes de color.
Antecedentes de gradiente
Se puede obtener un antecedente de imagen suponiendo que la imagen esta formada con un procedimiento de campo aleatorio de Markov (MRF) y, por lo tanto, el valor de un pixel individual depende condicionalmente de los valores de los pfxeles en un entorno local del pixel individual (por ejemplo, los 4 vecinos inmediatos de un pixel). Si se espera que la imagen sea localmente suave, se puede imponer la propiedad de MRF utilizando un antecedente de suavidad, que penaliza grandes gradientes de imagen (cambios bruscos) y, por lo tanto, polariza los pfxeles para que adopten valores similares a sus vecinos: L(I) = -Mi VIi2, en la que A es un parametro de regularizacion para controlar el peso de la penalizacion de la suavidad. Este tipo de antecedente resuelve la ambiguedad de la solucion, pero puede tener como resultado una solucion demasiado suave. Una potencia de 0,8 (en L(I) = -Mi V\\08) puede reducir este problema (vease A. Levin et al.; “Image and depth from a conventional camera with a coded aperture”; las monograffas SIgGrAPH de 2007; ACM SIGGRAPH de 2007; ACM Press). En este caso, la funcion de penalizacion ya no es cuadratica, y se lleva a cabo la minimizacion utilizando mmimos cuadrados iterativos reponderados.
Segun se ha hecho notar, la deconvolucion utilizando antecedentes de gradiente tiene varias desventajas. En distintos grados, un antecedente de gradiente es, en efecto, un “antecedente de suavidad”; una funcion de penalizacion que lleva la imagen no borrosa hacia una imagen plana. No se reduce bien la borrosidad de los bordes nftidos. Ademas, si hay un ruido significativo en la imagen, los bordes del ruido tienden a ser preservados incorrectamente como ruido texturizado.
Antecedentes de color
La mayona de fotograffas, ya sean de la naturaleza, de personas o de objetos hechos por el hombre estan compuestas globalmente por conjuntos relativamente limitados de colores. Es decir, el numero de colores en una fotograffa es pequeno con respecto al numero de colores humanamente discernibles. Ademas, si se piensa en una imagen en terminos de pequenas subimagenes (o entornos locales), se puede describir una imagen a nivel local por conjuntos aun menores de colores. Normalmente, una mezcla de tan solo dos colores puede describir razonablemente los datos de una imagen en un pequeno entorno local (veanse E. Bennett et al.; “Video and image Bayesian demosaicing with a two color image prior”; Ninth European Conference on Computer Vision (ECCV 2006), volumen 1; mayo de 2006; Springer-Verlag; y C. Liu et al.; “Automatic estimation and removal of noise from a single image”; IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007). Por ejemplo, se puede describir el color de un pixel como una combinacion lineal de los dos colores predominantes (o medias de los mismos) en su entorno local. Se pueden derivar los antecedentes para una deconvolucion de imagen de estas propiedades. Espedficamente, se puede hallar una imagen en la que cada pixel esta compuesto de una mezcla lineal de dos colores que son extrafdos de un numero pequeno de colores globalmente diferenciados, de forma que cuando se convolucione la imagen con un nucleo de desenfoque conocido se corresponda de forma optima con la imagen borrosa de entrada. La Figura 2 muestra un procedimiento general para reducir la borrosidad con un modelo bicromatico. Se reciben 132 una imagen borrosa 130 y un nucleo 132 de desenfoque. Se calcula 138 el modelo bicromatico a partir de la imagen borrosa 130. Se utilizan la imagen borrosa y el modelo bicromatico como un antecedente para deconvolucionar la imagen borrosa para producir una imagen no borrosa; un analogo de la imagen borrosa 130 pero con menos borrosidad. Se puede obtener el nucleo 132 de desenfoque mediante diversas medidas conocidas. Por ejemplo, vease la solicitud de patente U.S. US2009/0316995 titulada “BLUR ESTIMATION”, presentada el 23 de junio de 2008.
Con referencia de nuevo al modelo bicromatico, el modelo supone que cualquier color del pixel puede ser representado como una combinacion lineal de dos colores, siendo estos colores son suaves por tramos y pueden ser derivados de propiedades locales (propiedades del entorno del pixel):
I = a P + (1 -a )S (5)
en la que P y S son colores primario y secundario, respectivamente, y a es el parametro de mezclado lineal. En aras de una conveniencia notacional, se asigna el color primario Pi al color que se encuentra mas cercano al color li del pixel i. Algunos pfxeles solo pueden describirse con un unico color, en cuyo caso Pi = Si.
El modelo bicromatico puede tener varios beneficios como un antecedente de imagen para una deconvolucion. Dados los dos colores para un pixel, se reduce el espacio de incognitas de tres dimensiones (RGB) a una (a). El parametro a proporciona una alternativa para bordes de parametrizacion, desacoplandose la nitidez del borde de la intensidad del borde —una transicion de un solo pixel en a desde a=1 hasta a=0 indica un borde escalonado (un pixel de color primario junto a un pixel de color secundario)— con independencia de la intensidad del borde. Por lo tanto, se puede controlar la intensidad de un borde con un antecedente en a mientras se mantiene la suavidad local utilizando un antecedente aparte sobre P y S. El modelo bicromatico tambien puede capturar estadfsticas de colores
5
10
15
20
25
30
35
40
45
50
55
locales, que pueden proporcionar una limitacion durante la deconvolucion. Estas limitaciones ayudan a reducir un suavizado excesivo en torno a los “bordes de barras” y una textura de alta frecuencia. El uso del antecedente bicromatico puede penalizar los bordes suaves (de soluciones potenciales) con respecto a bordes mtidos de forma que no dependa de la magnitud del borde.
Ademas, el modelo bicromatico puede tener como resultado, posiblemente, bordes de mayor intensidad si tales bordes son mas coherentes con las estadfsticas de colores locales. El modelo bicromatico esta construido a partir de estadfsticas de imagenes locales y estima dos colores dominantes en un entorno alrededor de cada pixel. Se pueden estimar los colores primario y secundario para un pixel utilizando un algoritmo robusto de agrupacion de maximizacion de expectativas (EM) en un entorno local en torno a cada pixel. Si la variacion local es menor que la variacion del ruido a2 de un pixel, se modela el pixel con un color (P o S), de lo contrario se marca como un pixel bicromatico. Si se utiliza este planteamiento, se almacena para cada pixel una variable binaria o un bit que indica uno o dos colores.
Para aplicar el concepto de un modelo de antecedente bicromatico expuesto anteriormente, la siguiente formulacion para este antecedente cromatico puede ser:
L (I) = -Xj |I - [a P + (1 -a )S] f-X2p(a) (6)
en la que P y S son colores primario y secundario, a (tambien denominado alfa en la presente memoria) es el parametro de mezclado y 0 funciona bien desde 0,8 hasta 2. La Figura 3 muestra un antecedente sobre la distancia perpendicular d partiendo de un valor de color del pixel definido hasta la lmea (3D) definida por los dos colores P y S) al igual que el valor a de mezcla. El primer termino de probabilidad de la ecuacion (6) minimiza la distancia entre la intensidad recuperada I y la lmea que define el espacio del modelo bicromatico.
El termino p(a) impone un antecedente sobre a. Se utiliza la norma hiperlaplaciana derivada mencionada anteriormente, como el resto de una imagen con respecto a su estimacion de modelo bicromatico tambien puede ser una distribucion de maximo en cero. El siguiente parrafo describe una forma de resolver estos colores. Considerando el antecedente alfa (p(a)), que es la penalizacion que impone el antecedente sobre alfa (mezcla entre los colores), se puede derivar el antecedente alfa de algo como una distribucion beta. Se prefiere un alfa cercano a 0 o 1 con respecto a un valor entre los mismos, que favorece soluciones con bordes mtidos.
En general, se solucionan P y S para cada pixel antes de la deconvolucion. La Figura 4 muestra un procedimiento para encontrar y utilizar P y S. El procedimiento itera 160 en los pfxeles en la imagen borrosa (vease Bennette et al.; “Video and Image Bayesian Demosaicing with a Two Color Image Prior”; ECCV (1) 2006; 508-521). Para un pixel actual, el procedimiento encuentra 162 dos colores dominantes (primario P y secundario S) en un entorno local del pixel. Se expresa el pixel como una combinacion lineal de los colores primario y secundario. Entonces, se utilizan las combinaciones lineales como un antecedente para deconvolucionar la imagen utilizando un nucleo de desenfoque. Se puede utilizar el procedimiento K-Means, descrito en detalle en otro documento, para encontrar 162 los colores dominantes P y S. Para un pixel dado de la imagen, hay una ventana de 5x5 centrada en el pixel (se pueden utilizar distintos tamanos de ventana). Para los 25 pfxeles el objetivo es encontrar dos conjuntos de colores (utilizando K- Means con K=2, lo que significa dos conjuntos). Es decir, habra dos distribuciones de colores (grupos de media cromatica), una para P y una para S. Para inicializar los conjuntos, se escogen aleatoriamente dos pfxeles de los 25. Se asignan los otros de los 25 pfxeles al conjunto cuyo color medio sea mas cercano al del pixel. Una vez que se han asignado todos los pfxeles, se vuelven a estimar las medias cromaticas en funcion de sus pfxeles miembros. Se repite el procedimiento para mover pfxeles a los conjuntos a los que podnan ser ahora mas cercanos. Se repite el procedimiento hasta que convergen los medios de agrupacion.
Aunque esto puede ser suficiente para encontrar P y S para cada pixel, tambien es posible utilizar una maximizacion de expectativas para afinar P y S adicionalmente asignando pfxeles a conjuntos proporcionalmente a la media cromatica de cada conjunto. Se pueden llevar a cabo varias iteraciones. Esto puede aumentar el coste del calculo y mejorar la precision. En resumidas cuentas, se pueden encontrar los valores P y S para los pfxeles de la imagen utilizando K-Means, desviandose posiblemente algunas iteraciones de forma significativa de la media del conjunto al que estan asignados.
Tambien se pueden utilizar otros procedimientos para encontrar P y S. Para una deconvolucion, lo que es notable es el uso de un antecedente bicromatico para limitar la solucion, que puede llevarse a cabo con independencia de como se calculan los antecedentes de color.
A continuacion, se presentan diversas variaciones posibles. Para reducir la naturaleza caricaturesca o el exceso de nitidez de una imagen, se puede utilizar el antecedente alfa para ponderar o conformar el centro de la funcion de penalizacion para que vane con la intensidad del borde o la proximidad a un borde (es decir, permitir alfas parciales si se encuentran cerca de valores alfa de 0 o 1). La deconvolucion en una cuadncula de resolucion maxima y luego volver a reducir la muestra a la resolucion original tambien puede reducir el efecto de caricaturizacion/exceso de nitidez. Para el modelo de color, se puede ponderar globalmente un conjunto mediante informacion espacial. Por ejemplo, si no se observa que haya rojo ffsicamente junto al azul en cualquier lugar en la imagen, entonces, aunque
5
5
10
15
20
25
se pueda explicar un pixel en una lmea entre rojo y azul, se podna evitar esto, no obstante, en vista de la informacion global. El modelo de color podna tratar los cambios de densidad lummica y los cambios de cromaticidad de forma distinta. Es mas probable que los cambios de cromaticidad sean abruptos en imagenes reales, mientras que los cambios de densidad lummica debidos al sombreado en superficies lisas pueden ser lentos debido a cambios de baja frecuencia en la iluminacion. Se podna utilizar una estimacion de punto blanco para ayudar a resolver la ambiguedad de los cambios de sombreado de los cambios de cromaticidad.
Se pueden utilizar filtros orientados multiescalares para regularizar en las orientaciones de los bordes. Para algunas imagenes, esto puede preservar la continuidad de los bordes. Se puede utilizar trabajo anterior sobre la suavidad isofota para suavizar en la direccion de un borde, pero no cruzando el borde.
Conclusion
Se han explicado anteriormente las tecnicas para reducir la borrosidad de una imagen. Se pueden implementar las tecnicas en uno o mas dispositivos de calculo tal como se muestra en la Figura 5. Un dispositivo 250 de calculo puede tener una CPU y un almacenamiento y puede proporcionar una salida de video a un medio 252 de visualizacion. El dispositivo 250 de calculo puede comunicarse por medio de una red. Las realizaciones y caractensticas de los planteamientos expuestos anteriormente pueden realizarse en forma de informacion almacenada en medios volatiles o no volatiles legibles por un ordenador o dispositivo (por ejemplo, el almacenamiento del dispositivo 250 de calculo). Se considera que esto incluye al menos medios tales como un almacenamiento optico (por ejemplo, CD-ROM), medios magneticos, ROM flash o cualquier medio actual o futuro de almacenamiento de informacion digital. La informacion almacenada puede estar en forma de instrucciones ejecutables por maquina (por ejemplo, codigo binario ejecutable compilado), codigo fuente, codigo de bytes o cualquier otra informacion que pueda ser utilizada para habilitar o configurar dispositivos de calculo para llevar a cabo las diversas realizaciones expuestas anteriormente. Se considera que esto tambien incluye al menos memoria volatil tal como RAM y/o memoria virtual que almacena informacion tal como instrucciones de CPU durante la ejecucion de un programa que lleva a cabo una realizacion, al igual que medios no volatiles que almacenan informacion que permite que se cargue un programa o ejecutable, posiblemente compilado o interpretado, y se ejecute. Las realizaciones y caractensticas pueden realizarse en cualquier tipo de dispositivo informatico, incluyendo dispositivos portatiles, camaras digitales, estaciones de trabajo, servidores, dispositivos inalambricos moviles, etcetera.
Claims (15)
- 5101520253035404550REIVINDICACIONES1. Un procedimiento implementado (250) en dispositivo de uso de una deconvolucion para reducir la borrosidad de una imagen digital borrosa (100), comprendiendo el procedimiento:calcular un modelo bicromatico local de la imagen borrosa (138), modelando el modelo bicromatico los pfxeles de la imagen como combinaciones locales respectivas de dos colores (150, 162, 164); generar una imagen no borrosa (102) correspondiente a la imagen borrosa deconvolucionando la imagen con un nucleo de desenfoque utilizando el modelo bicromatico como un antecedente para limitar la deconvolucion (166).
- 2. Un procedimiento implementado en dispositivo segun la reivindicacion 1, en el que se obtiene el modelo bicromatico calculando estadfsticas del color de los pfxeles en entornos locales de los pfxeles (162) de la imagen borrosa.
- 3. Un procedimiento implementado en dispositivo segun la reivindicacion 2, en el que los dos colores correspondientes a un pixel dado de la imagen borrosa comprenden un color primario y uno secundario (150, 162), en el que los colores primario y secundario comprenden colores dominantes del entorno local del pixel dado.
- 4. Un procedimiento implementado en dispositivo segun la reivindicacion 3, en el que se deducen estadfsticamente los dos colores del pixel dado de conjuntos correspondientes de pfxeles en el entorno del pixel dado.
- 5. Un procedimiento implementado en dispositivo segun la reivindicacion 1, en el que el modelo bicromatico modela la imagen representando pfxeles de la imagen como combinaciones lineales respectivas de dos colores derivados de la imagen borrosa.
- 6. Uno o mas medios legibles por ordenador que almacenan informacion para permitir a un dispositivo llevar a cabo un procedimiento (250), comprendiendo el procedimiento:recibir una imagen de entrada (100, 134) y derivar a partir de la imagen de entrada los pares (138) de colores, comprendiendo cada uno, un color primario y un color secundario, correspondiendo los distintos pares de colores con distintos pfxeles de la imagen;para los pfxeles de la imagen, representar un pixel como una combinacion lineal de los colores primario y secundario (164) correspondientes del pixel; yproducir una imagen mtida (102) deconvolucionando la imagen de entrada (140) con un nucleo de desenfoque utilizando las combinaciones lineales como un antecedente cromatico para limitar la imagen mtida (164, 166) cuando se deconvoluciona la imagen de entrada.
- 7. Uno o mas medios legibles por ordenador segun la reivindicacion 6, en los que se lleva a cabo la deconvolucion utilizando un nucleo de desenfoque conocido.
- 8. Uno o mas medios legibles por ordenador segun la reivindicacion 7, en los que la deconvolucion comprende una tecnica de estimacion maxima a posteriori (MAP) para encontrar una estimacion de probabilidad maxima para la imagen nftida de la imagen de entrada.
- 9. Uno o mas medios legibles por ordenador segun la reivindicacion 8, en los que la combinacion lineal de un pixel comprende una funcion (150) de mezcla alfa.
- 10. Uno o mas medios legibles por ordenador segun la reivindicacion 6, en los que se penaliza un pixel en la deconvolucion segun su distancia desde una lmea en el espacio de color entre el color (150) primario y el secundario del pixel.
- 11. Un dispositivo que comprende una CPU y un almacenamiento configurado para permitir que la CPU lleve a cabo un procedimiento, comprendiendo el procedimiento:recibir una primera imagen (102) y calcular un modelo de color de la primera imagen (138) analizando entornos locales de pfxeles en la primera imagen (162); yutilizar el modelo de color como un antecedente cuando se deconvoluciona la primera imagen con un nucleo (166) de desenfoque para producir una imagen no borrosa analoga de la imagen de entrada (102).
- 12. Un dispositivo segun la reivindicacion 11, en el que el antecedente comprende una funcion de distribucion de probabilidad.
- 13. Un dispositivo segun la reivindicacion 11, comprendiendo el procedimiento, ademas, el uso de filtros locales orientados para regularizar las orientaciones de bordes en la primera imagen.
- 14. Un dispositivo segun la reivindicacion 11, en el que el modelo modela un pixel dado de la primera imagen como una combinacion lineal de dos colores derivados de los valores de color de pfxeles en un entorno local del pixel dado (164).
- 15. Un dispositivo segun la reivindicacion 11, en el que se calcula el modelo de color recuperando un conjunto5 global de colores de la primera imagen y para cada pixel en un conjunto de pfxeles en la primera imagen,modelando el pixel con dos de los colores en el conjunto global cuya combinacion lineal se corresponda mejor con el color del pixel.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US146605 | 1993-11-02 | ||
| US12/146,605 US8781250B2 (en) | 2008-06-26 | 2008-06-26 | Image deconvolution using color priors |
| PCT/US2009/047152 WO2009158209A2 (en) | 2008-06-26 | 2009-06-12 | Image deconvolution using color priors |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2632396T3 true ES2632396T3 (es) | 2017-09-12 |
Family
ID=41445211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES09770743.4T Active ES2632396T3 (es) | 2008-06-26 | 2009-06-12 | Deconvolución de imágenes utilizando antecedentes de color |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8781250B2 (es) |
| EP (1) | EP2291999B1 (es) |
| CN (1) | CN102132319B (es) |
| ES (1) | ES2632396T3 (es) |
| WO (1) | WO2009158209A2 (es) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8781250B2 (en) * | 2008-06-26 | 2014-07-15 | Microsoft Corporation | Image deconvolution using color priors |
| TW201028961A (en) * | 2009-01-21 | 2010-08-01 | Novatek Microelectronics Corp | Restoration method for blurred images using bi-level regions |
| US8175851B1 (en) * | 2009-09-24 | 2012-05-08 | L-3 Services, Inc. | Using statistical learning methods to fuse parameter estimates |
| US9535537B2 (en) * | 2010-11-18 | 2017-01-03 | Microsoft Technology Licensing, Llc | Hover detection in an interactive display device |
| JP2013066142A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| US9007402B2 (en) * | 2012-09-18 | 2015-04-14 | Facebook, Inc. | Image processing for introducing blurring effects to an image |
| TW201437966A (zh) * | 2013-03-29 | 2014-10-01 | Automotive Res & Testing Ct | 自適應影像邊緣修復裝置及其方法 |
| US9349165B2 (en) * | 2013-10-23 | 2016-05-24 | Adobe Systems Incorporated | Automatically suggesting regions for blur kernel estimation |
| US9299132B2 (en) * | 2013-10-23 | 2016-03-29 | Adobe Systems Incorporated | Automatically determining the size of a blur kernel |
| US9047658B2 (en) * | 2013-11-05 | 2015-06-02 | United Microelectronics Corp. | Method of optical proximity correction |
| US9430817B2 (en) * | 2013-11-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Blind image deblurring with cascade architecture |
| CN104091312B (zh) * | 2014-07-11 | 2015-08-19 | 中国人民解放军国防科学技术大学 | 一种根据图像频谱信息提取模糊核先验的单透镜成像方法 |
| CN104599254B (zh) * | 2015-02-03 | 2016-03-02 | 中国人民解放军国防科学技术大学 | 基于组合模糊核结构先验的单透镜计算成像方法 |
| US10096151B2 (en) | 2015-07-07 | 2018-10-09 | Varian Medical Systems International Ag | Methods and systems for three-dimensional visualization of deviation of volumetric structures with colored surface structures |
| US11094058B2 (en) | 2015-08-14 | 2021-08-17 | Elucid Bioimaging Inc. | Systems and method for computer-aided phenotyping (CAP) using radiologic images |
| US12026868B2 (en) | 2015-08-14 | 2024-07-02 | Elucid Bioimaging Inc. | Quantitative imaging for detecting histopathologically defined plaque erosion non-invasively |
| US11087459B2 (en) | 2015-08-14 | 2021-08-10 | Elucid Bioimaging Inc. | Quantitative imaging for fractional flow reserve (FFR) |
| US10176408B2 (en) * | 2015-08-14 | 2019-01-08 | Elucid Bioimaging Inc. | Systems and methods for analyzing pathologies utilizing quantitative imaging |
| US12008751B2 (en) | 2015-08-14 | 2024-06-11 | Elucid Bioimaging Inc. | Quantitative imaging for detecting histopathologically defined plaque fissure non-invasively |
| US11071501B2 (en) | 2015-08-14 | 2021-07-27 | Elucid Bioiwaging Inc. | Quantitative imaging for determining time to adverse event (TTE) |
| US11113812B2 (en) | 2015-08-14 | 2021-09-07 | Elucid Bioimaging Inc. | Quantitative imaging for detecting vulnerable plaque |
| US11676359B2 (en) | 2015-08-14 | 2023-06-13 | Elucid Bioimaging Inc. | Non-invasive quantitative imaging biomarkers of atherosclerotic plaque biology |
| US10755810B2 (en) | 2015-08-14 | 2020-08-25 | Elucid Bioimaging Inc. | Methods and systems for representing, storing, and accessing computable medical imaging-derived quantities |
| CN105574823B (zh) * | 2015-12-14 | 2018-10-09 | 北京大学深圳研究生院 | 一种失焦模糊图像的去模糊方法和装置 |
| EP3391288B1 (en) | 2015-12-18 | 2023-07-12 | Ventana Medical Systems, Inc. | Systems and methods of unmixing images with varying acquisition properties |
| US10740880B2 (en) | 2017-01-18 | 2020-08-11 | Elucid Bioimaging Inc. | Systems and methods for analyzing pathologies utilizing quantitative imaging |
| US11257584B2 (en) | 2017-08-11 | 2022-02-22 | Elucid Bioimaging Inc. | Quantitative medical imaging reporting |
| CN108172278B (zh) * | 2018-01-24 | 2021-09-10 | 北京航空航天大学 | 一种he染色病理图像颜色归一化方法 |
| US10664999B2 (en) | 2018-02-15 | 2020-05-26 | Adobe Inc. | Saliency prediction for a mobile user interface |
| CN121707942A (zh) | 2019-08-05 | 2026-03-20 | 易鲁希德生物成像公司 | 形态学和血管周疾病标志物的联合评估 |
| CN110874826B (zh) * | 2019-11-18 | 2020-07-31 | 北京邮电大学 | 应用于离子束精准镀膜的工件图像去雾化方法及装置 |
| CN112651368B (zh) * | 2020-12-30 | 2023-03-28 | 宁波江丰生物信息技术有限公司 | 一种用于大尺寸细胞显微图像的dna倍体分析方法 |
| US11887734B2 (en) | 2021-06-10 | 2024-01-30 | Elucid Bioimaging Inc. | Systems and methods for clinical decision support for lipid-lowering therapies for cardiovascular disease |
| US11887701B2 (en) | 2021-06-10 | 2024-01-30 | Elucid Bioimaging Inc. | Non-invasive determination of likely response to anti-inflammatory therapies for cardiovascular disease |
| US11887713B2 (en) | 2021-06-10 | 2024-01-30 | Elucid Bioimaging Inc. | Non-invasive determination of likely response to anti-diabetic therapies for cardiovascular disease |
| US11869186B2 (en) | 2021-06-10 | 2024-01-09 | Elucid Bioimaging Inc. | Non-invasive determination of likely response to combination therapies for cardiovascular disease |
| CN116863254B (zh) * | 2023-06-21 | 2025-12-26 | 华中科技大学 | 一种基于梯度先验的鲁棒双边稠密特征上采样方法及应用 |
| US12394027B2 (en) * | 2023-12-28 | 2025-08-19 | Raytheon Company | Deblurring motion-blurred images using map estimate and adaptive priors |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5506699A (en) * | 1993-04-27 | 1996-04-09 | Wong; Ping W. | Method and apparatus for converting a halftone image into a continuous tone image |
| US5512956A (en) * | 1994-02-04 | 1996-04-30 | At&T Corp. | Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences |
| US6438270B1 (en) | 1999-03-03 | 2002-08-20 | Xerox Corporation | Methods and systems for image sharpening |
| US6600491B1 (en) * | 2000-05-30 | 2003-07-29 | Microsoft Corporation | Video-based rendering with user-controlled movement |
| US20020118883A1 (en) | 2001-02-24 | 2002-08-29 | Neema Bhatt | Classifier-based enhancement of digital images |
| US7545976B2 (en) * | 2002-05-01 | 2009-06-09 | Hewlett-Packard Development Company, L.P. | Method and apparatus for associating image enhancement with color |
| WO2004001667A2 (en) | 2002-06-21 | 2003-12-31 | The Trustees Of Columbia University In The City Of New York | Systems and methods for de-blurring motion blurred images |
| US20040184675A1 (en) | 2002-12-31 | 2004-09-23 | Brown Carl S. | Deconvolution for the reduction of blurring induced by internal reflections |
| GB2406992A (en) | 2003-10-09 | 2005-04-13 | Ta Vision Lab Ltd | Deconvolution of a digital image using metadata |
| US7317843B2 (en) | 2004-04-01 | 2008-01-08 | Microsoft Corporation | Luminance correction |
| US7324687B2 (en) * | 2004-06-28 | 2008-01-29 | Microsoft Corporation | Color segmentation-based stereo 3D reconstruction system and process |
| US20060093234A1 (en) | 2004-11-04 | 2006-05-04 | Silverstein D A | Reduction of blur in multi-channel images |
| DE102004054131A1 (de) * | 2004-11-08 | 2006-05-11 | Gkikas, Karolos, Glyfada | Verfahren zur Verwendung von tragbaren, eine Digitalkamera umfassenden oder mit einer Digitalkamera verbindbaren elektronischen Geräten zum Scannen einer Text-und/oder Zeichnungen bzw. Skizzen umfassenden Oberfläche |
| US7587099B2 (en) * | 2006-01-27 | 2009-09-08 | Microsoft Corporation | Region-based image denoising |
| US7706609B2 (en) | 2006-01-30 | 2010-04-27 | Microsoft Corporation | Bayesian demosaicing using a two-color image |
| US7680354B2 (en) | 2006-03-22 | 2010-03-16 | Arcsoft, Inc. | Image deblur based on two images |
| US20070236574A1 (en) | 2006-03-31 | 2007-10-11 | D-Blur Technologies Ltd. | Digital filtering with noise gain limit |
| US7756407B2 (en) | 2006-05-08 | 2010-07-13 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for deblurring images |
| US7616826B2 (en) * | 2006-07-28 | 2009-11-10 | Massachusetts Institute Of Technology | Removing camera shake from a single photograph using statistics of a natural image |
| US7907791B2 (en) | 2006-11-27 | 2011-03-15 | Tessera International, Inc. | Processing of mosaic images |
| US8184926B2 (en) * | 2007-02-28 | 2012-05-22 | Microsoft Corporation | Image deblurring with blurred/noisy image pairs |
| US8249377B1 (en) * | 2008-06-08 | 2012-08-21 | Hewlett-Packard Development Company, L.P. | Blurred digital image deblurring |
| US8139886B2 (en) * | 2008-06-23 | 2012-03-20 | Microsoft Corporation | Blur estimation |
| US8781250B2 (en) * | 2008-06-26 | 2014-07-15 | Microsoft Corporation | Image deconvolution using color priors |
| US8390704B2 (en) * | 2009-10-16 | 2013-03-05 | Eastman Kodak Company | Image deblurring using a spatial image prior |
-
2008
- 2008-06-26 US US12/146,605 patent/US8781250B2/en active Active
-
2009
- 2009-06-12 ES ES09770743.4T patent/ES2632396T3/es active Active
- 2009-06-12 EP EP09770743.4A patent/EP2291999B1/en not_active Not-in-force
- 2009-06-12 CN CN2009801341265A patent/CN102132319B/zh not_active Expired - Fee Related
- 2009-06-12 WO PCT/US2009/047152 patent/WO2009158209A2/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009158209A2 (en) | 2009-12-30 |
| EP2291999B1 (en) | 2017-04-19 |
| CN102132319B (zh) | 2013-09-18 |
| CN102132319A (zh) | 2011-07-20 |
| US8781250B2 (en) | 2014-07-15 |
| EP2291999A4 (en) | 2016-06-08 |
| WO2009158209A3 (en) | 2010-04-01 |
| US20090324126A1 (en) | 2009-12-31 |
| EP2291999A2 (en) | 2011-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2632396T3 (es) | Deconvolución de imágenes utilizando antecedentes de color | |
| Meshry et al. | Neural rerendering in the wild | |
| ES2384732B1 (es) | Método y sistema para segmentación de primer plano de imágenes en tiempo real. | |
| Yu et al. | Self-supervised outdoor scene relighting | |
| Krig | Computer vision metrics | |
| Reiser et al. | Binary opacity grids: Capturing fine geometric detail for mesh-based view synthesis | |
| Hu et al. | Joint depth estimation and camera shake removal from single blurry image | |
| ES2553258T3 (es) | Método para la estimación de una pose de un modelo de objeto articulado | |
| EP3028256A1 (en) | Geodesic saliency using background priors | |
| Li et al. | Detail-preserving and content-aware variational multi-view stereo reconstruction | |
| US20120081357A1 (en) | System and method for interactive painting of 2d images for iterative 3d modeling | |
| US12211189B2 (en) | Systems and methods for lightweight machine learning for image illumination control | |
| JP5108893B2 (ja) | 2次元画像から3次元パーティクル・システムを復元するためのシステムおよび方法 | |
| CN113989460B (zh) | 用于增强现实场景的实时天空替换特效控制方法及装置 | |
| Paramanand et al. | Shape from sharp and motion-blurred image pair | |
| Granados et al. | Background estimation from non-time sequence images | |
| Kowdle et al. | imodel: interactive co-segmentation for object of interest 3d modeling | |
| US20250111485A1 (en) | Spatially correlated noise warping for diffusion models | |
| Moreno-Noguer et al. | Exploring ambiguities for monocular non-rigid shape estimation | |
| CN116563445B (zh) | 基于虚拟现实的动漫场景渲染方法及装置 | |
| Arun et al. | Multi-shot deblurring for 3d scenes | |
| Zhang et al. | Shape from shading based on lax-friedrichs fast sweeping and regularization techniques with applications to document image restoration | |
| CN120219588B (zh) | 三维高斯点绘制模型的训练方法、三维重建方法、装置、存储介质和程序产品 | |
| Yan et al. | Interactive background blurring | |
| CN119814945A (zh) | 影像合成方法及影像合成系统 |