ES2363772T3 - Técnica de adición de ruido de confort video. - Google Patents
Técnica de adición de ruido de confort video. Download PDFInfo
- Publication number
- ES2363772T3 ES2363772T3 ES04784572T ES04784572T ES2363772T3 ES 2363772 T3 ES2363772 T3 ES 2363772T3 ES 04784572 T ES04784572 T ES 04784572T ES 04784572 T ES04784572 T ES 04784572T ES 2363772 T3 ES2363772 T3 ES 2363772T3
- Authority
- ES
- Spain
- Prior art keywords
- noise
- image
- decoder
- decoding
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20204—Removing film grain; Adding simulated film grain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
- Y02E60/30—Hydrogen technology
- Y02E60/32—Hydrogen storage
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Abstract
Método para reducir artefactos en un tren de vídeo, que comprende las etapas de decodificación del tren de vídeo y de adición de ruido aleatorio, al menos, a un píxel de una imagen del tren de vídeo tras la decodificación, en una cantidad correlacionada con información sobre luminancia de, al menos, una porción de una imagen actual, caracterizado por la puesta en correlación del ruido utilizando un factor dependiente de la correlación temporal de la imagen actual con una de una imagen previamente visualizada o decodificada.
Description
REFERENCIA A OTRAS SOLICITUDES RELACIONADAS
La presente solicitud reivindica su prioridad, de acuerdo con 35 U.S.C. 119(e) a la Solicitud de Patente Provisional Estadounidense con el Número de Serie 60/505.354, presentada el 23 de septiembre de 2003.
CAMPO TÉCNICO
La presente invención se refiere a una técnica para la reducción de artefactos en relación con la decodificación de un flujo de vídeo codificado.
TÉCNICA ANTERIOR
La decodificación de trenes de vídeo comprimidos a una baja tasa binaria suele generar artefactos visibles, que son percibidos por el espectador. Los efectos de pixelado y el ruido de mosaico son artefactos muy frecuentes que surgen cuando se utilizan técnicas de compresión basadas en bloques. El sistema visual humano tiene una mayor sensibilidad ante ciertos tipos de artefactos, y de este modo, dichos artefactos se perciben con mayor claridad y resultan más molestos que otros. La adición de ruido aleatorio al flujo decodificado puede reducir la perceptibilidad de dichos artefactos relacionados con la compresión, pero las grandes diferencias entre fotogramas creadas por la propia adición de ruido pueden generar artefactos perceptibles y molestos. La adición de una señal de oscilación puede reducir la sensibilidad humana ante los artefactos de las imágenes, por ejemplo, ocultando las deformidades de los contornos y el pixelado. Una de las técnicas anteriores ha propuesto la inclusión en una imagen de una vibración de ruido aleatorio basado en el grano de las películas, para disimular el efecto de pixelado. La justificación de la inclusión de dicho ruido aleatorio es que el error aleatorio es más fácil de asimilar que el error estructurado o correlacionado. Otras técnicas anteriores han propuesto la inclusión de una señal de vibración en un tren de vídeo para ocultar los artefactos relacionados con la compresión. Una técnica anterior ha propuesto la inclusión de una vibración de ruido aleatorio en el proceso de codificación y decodificación de vídeo del filtro de desbloqueo de bucles de la norma de codificación de vídeo ITU/ISU H.264, conocida habitualmente como norma de codificación JVT. La cantidad de vibración a añadir depende de la posición de un píxel con respecto al borde de un bloque. Otra técnica anterior ha propuesto la inclusión del ruido aleatorio con posterioridad a la decodificación de vídeo (es decir, añadir el ruido como un “procesamiento posterior”), para su utilización como una señal de ruido aceptable. La cantidad de ruido añadida depende del parámetro de cuantificación y de la cantidad de ruido añadida a unos píxeles espacialmente adyacentes. El término “señal de ruido aceptable” procede de la utilización del ruido en la compresión de audio, y se refiere al patrón de ruido generado en el lado del receptor para evitar el silencio total, que resulta incómodo para el oyente. Puede obtenerse información sobre las técnicas anteriores en las que se añade ruido aleatorio con posterioridad a la decodificación de vídeo en los dos artículos siguientes: Christina Gomila, Alexander Kobilansky: "SEI message for film grain encoding" JVT of ISO IEC MPEG and ITU-T VCEG JVT-H022, 23 de mayo de 2003 (2003-05-23), páginas 1 -14, XP002308742 Ginebra, Suiza. Christina Gomila: "SEI message for film grain encoding: syntax and results" JVT of IS0 IEC MPEG and ITU-T VCEG JVT-I013 Revisión 2,2 septiembre 2003 (2003-09-02), Páginas 1-11, XP002308743 San Diego, CA, EE.UU. Las anteriores técnicas de reducción de artefactos mediante la adición de ruido suelen reducir los artefactos espaciales, pero se corre el riesgo de generar anormalidades temporales, es decir, unas grandes diferencias entre fotogramas. De este modo, es necesaria una técnica para reducción de artefactos durante la decodificación de un tren de vídeo codificado que supere las desventajas que se acaban de mencionar.
BREVE RESUMEN DE LA INVENCIÓN
Sucintamente, de acuerdo con una realización preferida de los presentes principios, se facilita un método para conseguir una reducción de los artefactos en un tren de vídeo durante la decodificación, comienza con la decodificación del tren de vídeo. Tras la decodificación, se añade ruido al tren de vídeo añadiendo ruido a cada píxel, en una cantidad correlacionada con la luminancia de al menos una parte de una imagen previamente decodificada. De este modo, de acuerdo con estos principios, la correlación con la luminancia ayuda a determinar el ruido que es necesario añadir para reducir las grandes diferencias entre fotogramas que constituían una de las desventajas de las anteriores técnicas de adición de ruido. El ruido se añade utilizando un factor dependiente de la correlación temporal de la imagen actual con la de una imagen anteriormente visualizada o codificada.
BREVE DESCRIPCIÓN DE LAS FIGURAS:
La figura 1 muestra un diagrama de bloques de una primera realización de un decodificador de vídeo de acuerdo con estos principios, para reducción de artefactos relacionados con la decodificación de un tren de vídeo codificado mediante la adición de ruido correlacionado con la luminancia de al menos una parte de la imagen actual;
La figura 2 muestra un diagrama de bloques de una segunda realización de un decodificador de vídeo de acuerdo
con estos principios, para la reducción de los artefactos relacionados con la decodificación de un tren de vídeo
codificado mediante la adición de ruido correlacionado con la luminancia de, al menos, una parte de la imagen
actual; y
La figura 3 muestra un diagrama de bloques de una tercera realización de un decodificador de vídeo de acuerdo con
estos principios, para reducción de artefactos relacionados con la decodificación de un tren de vídeo codificado
mediante la adición de ruido correlacionado con la luminancia de, al menos, una parte de la imagen actual;
DESCRIPCIÓN DETALLADA
De acuerdo con estos principios, la adición de un ruido aleatorio, que contenga una señal de vibración, a la señal ya
codificada, en una cantidad correlacionada con la luminancia de, al menos, una porción de una imagen actual
mejora la calidad subjetiva del vídeo.
Hasta el momento actual, se había demostrado que la adición de ruido a una señal codificada mejora la calidad de la
señal de vídeo. El impacto visual que representa añadir una señal de ruido a la secuencia de vídeo, en lugar de
hacerlo a una sola imagen, ha pasado a ser un factor a tener en cuenta a la hora de determinar la magnitud de la
señal de ruido. Se ha prestado atención al impacto visual que supone añadir una señal de ruido a la secuencia de
vídeo, en lugar de hacerlo en una sola imagen, a la hora de determinar la magnitud de la señal de ruido. La
magnitud de la señal de ruido correspondiente a un píxel de una película puede ponerse en correlación con el valor
de la señal de ruido que se añade a los píxeles de la imagen previamente visualizada, por ejemplo, las señales de
ruido están correlacionadas en el tiempo. Alternativamente, la correlación temporal puede estar basada en la imagen
anteriormente decodificada, en lugar de basarse en la imagen anteriormente visualizada.
En función de cuanto antecede, la señal de ruido añadida, utilizando una correlación temporal con un factor de
correlación α,0 ≤α≤ 1, puede calcularse como sigue:
N(k, x, y) = (1 – α) * N(k-1, x, y) + α * R(k, x, y) (1)
El número aleatorio R(k, x, y) puede generarse utilizando cualquier tipo de distribución de números aleatorios, por
ejemplo, una distribución Normalizada, Gaussiana o Laplaciana. R(k, x, y) puede también recortarse dentro de un
determinado rango, en caso necesario. El generador de números aleatorios puede implementarse mediante una
tabla de búsquedas. R(k, x, y) puede también incluir una correlación espacial, como la utilizada, por ejemplo, para
generar ruido de tipo “grano de película”.
De acuerdo con estos principios, la adición de ruido parece depender en gran medida del brillo (es decir, de la
luminancia) de un bloque o macrobloque, pero también del brillo de sus bloques adyacentes. Cuanto más oscuro
sea el bloque/macrobloque, más fácil será percibir el ruido con una varianza relativamente elevada. Basándose en
esto, la cantidad de ruido a añadir, N(k, x, y) puede deducirse de la relación:
N(k, x, y) = 1 – γ((k, x, y))) * N(k-1, x, y) + γ(k, x, y) * (1 -φ(k, x, y)) * R(k, x, y) (2)
Representando la función γ(k, x, y) un factor de correlación dependiente de la correlación temporal de la imagen
actual con la previamente visualizada o decodificada.
El término γ(k, x, y) puede calcularse de la forma siguiente:
γ(k, x, y) = α – β *ƒ1(D(k, x, y), D(k-1, x, y)), 0 ≤β≤α≤ 1 (3)
donde ƒ1() toma valores comprendidos entre 0 y 1 y calcula el factor de correlación temporal del píxel (x, y) de la imagen k con el correspondiente píxel de la imagen k-1. En este caso, los factores α y β hacen referencia al tipo de imagen (imagen I, P o B) así como al cuantificador utilizado para codificar la imagen o el bloque actual, y puede calcularse mediante la utilización de una tabla de búsquedas. Alternativamente, puede utilizarse la diferencia de resolución de la imagen entre las imágenes k y k-1, pudiendo considerarse ambas imágenes como correlacionadas, (es decir, ƒ1 = 1) si la diferencia absoluta total se encuentra por debajo de un valor. También se puede tener en cuenta una métrica más sencilla. Por ejemplo, puede conseguirse un considerable ahorro de espacio de almacenamiento y de cálculo considerando en cambio la media de N x N bloques y realizando la adaptación del ruido a nivel de bloque. En este caso, el término ƒ1(D(k, x, y), D(k-1, x, y)) equivaldrá a:
NN NN
1
ƒ1(D(k, x, y), D(k 1, x, y)) =( abs(∑∑ D(k, x + k, y + k ) −∑∑ D(k −1+ k, y + k )) >ξ0 ?0:1)
k =0 m=0 k =0 m=0
(4)
Donde 0 ≤ξ0 ≤ 255.
El término φ(k, x, y) refleja la información espacial para el ajuste de la potencia del ruido a utilizar. Concretamente, φ(k, x, y) puede calcularse de la forma siguiente:
φ(k, x, y) = ƒ2(D(k, x, y)) + ƒ3(D(k, x-bsx, y), (k, x+bsx, y), D(k, x, y-bsy), D(k, x, y+bsy)) (4)
5
10
15
20
25
30
35
40
45
50
55
60
donde ƒ2() hace referencia al brillo del píxel actual o del bloque N x N al que pertenece,
mientras que ƒ3() calcula la relación especial entre el píxel/bloque actual con el adyacente correspondiente, tanto
horizontal como verticalmente, situado a una distancia de bsx o bsy. Por ejemplo,
1 NN ƒ2 (D(k, x, y)) =( abs(∑∑ D(k, x + k, y + k ) >ξ1?0 :1) (5)
k =0 m=0
ƒ (D(k, x, y)) = ƒ (D(k, x, y)) ƒ (D(k, x + N, y)) == ξ ) || (ƒ (D(k, x, y)) ƒ (D(k, x − N, y)) == ξ ) ||
3 22 222 3
(ƒ (D(k, x, y)) ƒ (D(k, x, y + N)) == ξ ) || (ƒ (D(k, x, y)) ƒ (D(k, x, y − N)) == ξ )
22 4225
(6) Donde 0 ≤ξ1 ≤ 255, y -255 ≤ξ2 ξ3 ξ4 ξ5 ≤ 255.
La figura 1 muestra un diagrama de bloques de una primera realización de una configuración de un decodificador de vídeo 10 para añadir ruido correlacionado con la luminancia de, al menos, una porción de la imagen actual, en una forma que sea compatible con la Ecuación 2, a fin de reducir los artefactos. La disposición de decodficador 10 incluye un decodificador 12 para decodificar un tren de vídeo codificado entrante. El diseño del decodificador 12 depende del formato de compresión utilizado para codificar el tren de vídeo entrante. En una realización preferida, el tren de vídeo entrante se somete a una compresión utilizando la norma ITU/ISO H.64, perfectamente conocida. En estas circunstancias, el decodificador 12 adopta la forma de un decodificador H.264, ya conocido en la técnica. Un dispositivo de almacenamiento de imágenes de referencia 14, almacena las imágenes decodificadas por el decodificador 12, para ser utilizadas por el decodificador para decodificar futuras imágenes. El decodificador 12 suministra una imagen decodificada, así como la información del tren binario que contiene la imagen decodificada a un generador de ruido 16. La generación de la información del tren binario por parte del decodificador 12 puede incluir la introducción de un parámetro de cuantificación en el generador de ruido. La gravedad de los artefactos de compresión está correlacionada con el parámetro de cuantificación, y los artefactos de compresión de mayor gravedad tienen lugar cuando se utilizan elevados valores de los parámetros de cuantificación. La potencia del ruido soportable añadido puede aumentar a medida que aumenta el valor del parámetro de cuantificación. Un bloque sumador 18 suma cada imagen decodificada procedente del decodificador 12 con el ruido procedente de un generador de ruido 16. Un recortador 20 recorta entonces la salida de señal generada por el bloque sumador 18 para obtener una imagen decodificada para su visualización, que presente escasos artefactos. Obsérvese que la adición de ruido se produce después del almacenamiento de las imágenes decodificadas en el dispositivo de almacenamiento de imágenes de referencia 14, ya que las imágenes de referencia deben mantenerse inalteradas para decodificar adecuadamente las posteriores imágenes entrantes. Un dispositivo de almacenamiento de imágenes de ruido 17 almacena la señal de ruido N(k, x, y) correspondiente a la imagen k-ésima para su posterior utilización por parte del generador de ruido 16. El generador de ruido 16 responde a las imágenes de referencia almacenadas en el dispositivo de almacenamiento de imágenes de referencia 14, que contiene información relacionada con las imágenes codificadas anteriormente. Aunque no sea necesario, podría añadirse un espacio de almacenamiento adicional si se utiliza el cálculo basado en bloques para la correlación temporal entre las imágenes decodificadas. Aunque sigue siendo posible la generación de ruido para cada píxel de una imagen, en determinados casos (por ejemplo, en el caso del material con una resolución mayor), la generación de un ruido con un mayor tamaño (grano) suele resultar más deseable. Por ejemplo, la aplicación de una transformada discreta de coseno con un tamaño de bloque de N x N a la imagen del ruido, descartando a continuación las frecuencias resultantes más elevadas, dará como resultado un ruido de mayor tamaño, similar al ruido del grano de la película fotográfica. No obstante, este proceso representa un gasto relativamente elevado, y normalmente exigirá un proceso de eliminación de bloques, para reducir los artefactos de pixelado que pueden generarse en los bordes de los bloques. La figura 2 describe un diagrama de bloques de una segunda realización de una configuración de decodificación de vídeo 100 para añadir un ruido de grano de grandes dimensiones correlacionado con la luminancia de, al menos, una parte de la imagen actual. La disposición de decodificador 100 incluye muchos de los mismos elementos que la disposición de decodificador de la figura 1, y los mismos números de referencia identifican a los mismos elementos. En comparación con la disposición de decodificador 10 de la figura 1, la disposición de decodificador 100 de la figura 2 incluye adicionalmente un dispositivo de almacenamiento de imágenes reducidas N x N promediadas 22 acoplado al dispositivo de almacenamiento de imágenes de referencia 14. Normalmente, el dispositivo de almacenamiento de imágenes 22 almacena los valores medios del bloque de luminancia N x N. Los valores promedio de luminancia almacenados en el dispositivo de almacenamiento de imágenes 22 permiten que la disposición de decodificador genere un ruido de grano mayor, como se ha comentado. La figura 3 describe un diagrama de bloques de una tercera realización de una configuración de decodificación de vídeo 1000 para añadir un ruido de grano de grandes dimensiones correlacionado con la luminancia de, al menos, una parte de la imagen actual. La disposición de decodificador 1000 incluye muchos de los mismos elementos que la disposición de decodificador 100 de la figura 2, y los mismos números de referencia identifican a los mismos elementos. En comparación con la disposición de decodificador 100 de la figura 2, la disposición de decodificador
5
10
15
20
25
30
35
1000 de la figura 3 no contiene ningún dispositivo de almacenamiento de imágenes 17, sino tan sólo un dispositivo de almacenamiento de imágenes reducidas N x N promediadas 22. Un proceso alternativo y considerablemente más sencillo consistiría en generar el ruido con una resolución inferior a la de la imagen original (por ejemplo, la mitad de resolución horizontal y vertical), y después muestrear al alza el ruido (por ejemplo, mediante la replicación de muestras). También podría decidirse la utilización de la resolución original o una resolución inferior en función de la resolución de las imágenes originales (por ejemplo, utilizar la misma resolución para la Definición Estándar y para el material con una definición inferior, utilizando simultáneamente una generación de ruido con una resolución inferior para el material de Alta Definición). También podrían transmitirse parámetros auxiliares con el tren binario que permitirían al decodificador decidir qué proceso va a utilizarse. La información complementaria podría también utilizarse para generar ruido (por ejemplo, ponderación de la varianza de ruido). Este mismo proceso podría también aplicarse exactamente a los componentes de color. No obstante, para reducir la complejidad y los cálculos, podría llevarse a cabo la generación de ruido basándose tan sólo en un componente de la luminancia (es decir, la luma), volviendo a utilizar el mismo ruido para todos los componentes del color, tras la realización de un sencillo escalado y sub-muestreo, si fuese necesario. Por ejemplo, en el caso del material 4:2.0, el ruido del componente de luma se sub-muestrea por 2, tanto vertical como horizontalmente, pudiendo dividirse por 2 para generar el ruido de crominancia. Las configuraciones del decodificador 10 y 100 de las figuras 1 Y 2 representan ejemplificaciones de un filtro temporal de respuesta infinita a impulsos (IIR). El Filtro IIR puede generalizarse utilizando más multiplicadores de filtro. Los filtros IIR también pueden aproximarse en términos generales utilizando filtros FIR de orden superior, utilizando tantos multiplicadores t, como se desee, de acuerdo con la siguiente relación:
t1
N(k, x, y) = (1γ (kj, x,y))× N(k t,x,y)
∏
j=0
(7)
t1 i−1
+ ⎜ (1γ (kj, x,y)) ×γ (k i, x,y) × (1φ (k i, x,y))× R(k i, x,y)⎟
i=0 ⎝ j =0 ⎠
El método del filtro de respuesta finita a impulsos (FIR) puede llevarse a cabo utilizando la disposición de decodificador de la figura 3. La disposición de decodificador 1000 tan sólo utiliza los números aleatorios previos R, y en caso necesario, los valores medios del bloque luma N x N, en lugar del ruido anterior N en dicho método de filtro FIR, reduciendo de este modo el ancho de banda de la memoria. También es posible utilizar y almacenar tan sólo los valores medios del bloque luma N x N de la imagen actual y de la imagen anterior, y volver a utilizar los mismos valores y sus diferencias para todos los multiplicadores. Por ejemplo, podemos utilizar el siguiente sistema:
N(k, x,y) = (1γ (k, x, y)) × (1γ (k 1, x, y)) × R(k 2, x,y)
+ (1γ (k, x, y)) ×γ (k 1, x, y)) × (1φ (k 1, x, y)) × R(k 1, x,y) (8)
+γ (k, x, y) × (1φ (k 1, x, y)) × R(k, x, y)
Si bien también es posible simplificar cuanto antecede forzando que la imagen de diferencia utilizada en el cálculo de γ(k-1, x, y) sea la misma que la de γ(k, x, y). De este modo se evitaría por completo la necesidad de almacenar o de volver a calcular la imagen de diferencia y de reducir considerablemente el ancho de banda de memoria. Cuanto antecede describe una técnica para la reducción de los artefactos en relación con la decodificación de un tren de vídeo codificado añadiendo ruido correlacionado con la luminancia de, al menos, una parte de la imagen actual.
La lista de referencias citada por el solicitante lo es solamente para utilidad del lector, no formando parte de los documentos de patente europeos. Aún cuando las referencias han sido cuidadosamente recopiladas, no pueden 5 excluirse errores u omisiones y la OEP rechaza toda responsabilidad a este respecto.
• US 50525403 P [0001] 10 Bibliografía de patentes citada en la descripción
• Christina Gomila ; Alexander Kobilansky. • Christina Gomila. SEI message for film grain
SEI message for film grain encoding. JVT of ISO encoding: syntax and results. JVT of ISO IEC
IEC MPEG and ITU-T VCEG JVT-H022, 23 May MPEG and ITU-T VCEG JVT-I013 Revision 2,
2003, 1-14 [0005] 02 September 2003, 1-11 [0005]
Claims (14)
- REIVINDICACIONES
- 1.
- Método para reducir artefactos en un tren de vídeo, que comprende las etapas de decodificación del tren de vídeo y de adición de ruido aleatorio, al menos, a un píxel de una imagen del tren de vídeo tras la decodificación, en una cantidad correlacionada con información sobre luminancia de, al menos, una porción de una imagen actual, caracterizado por la puesta en correlación del ruido utilizando un factor dependiente de la correlación temporal de la imagen actual con una de una imagen previamente visualizada o decodificada.
-
- 2.
- Método de acuerdo con la reivindicación 1, en el que el factor de correlación se establece de acuerdo, bien con un componente de luma o bien un componente de color.
-
- 3.
- Método de acuerdo con la reivindicación 1, que incluye adicionalmente la etapa de añadir ruido a un componente de color de la imagen de acuerdo con un componente de luma.
-
- 4.
- Método de acuerdo con la reivindicación 1, en el que el factor de correlación se establece por primera vez sobre un bloque de imagen de N x N píxeles, donde N es un numero entero, con anterioridad a la interpolación del ruido aditivo.
-
- 5.
- Método de acuerdo con la reivindicación 1, que comprende adicionalmente la etapa de ajuste del ruido en función de la intensidad de un bloque de N x N, donde N es un número entero de píxeles adyacentes.
-
- 6.
- Método de acuerdo con la reivindicación 1, en el que la cantidad de ruido está correlacionada utilizando una aproximación de un filtro de respuesta finita a impulsos (FIR).
-
- 7.
- Disposición de decodificador para decodificar un tren de vídeo codificado para conseguir una reducción de artefactos, que comprende: un decodificador de vídeo (12) para decodificar un tren de vídeo codificado entrante, para obtener imágenes decodificadas; un dispositivo de almacenamiento de imágenes de referencia (14) para almacenar, al menos, una imagen previamente decodificada para su utilización por parte del decodificador a fin de decodificar imágenes futuras, un generador de ruido (16) para generar ruido aleatorio para añadirlo, al menos, a un píxel de una imagen codificada, en una cantidad correlacionada con información de luminancia de, al menos, una parte de la imagen actual, caracterizado por la puesta en correlación del ruido utilizando un factor dependiente de la correlación temporal de la imagen actual con la de una imagen previamente visualizada o decodificada; un dispositivo de almacenamiento de imágenes de ruido (17) para almacenar la información de ruido para su posterior utilización por parte del generador de ruido; un bloque sumador para sumar el ruido generado por el generador de ruido a una imagen decodificada procedente del decodificador; y un recortador (20) para recortar el ruido sumado y la imagen decodificada.
-
- 8.
- Disposición de decodificador de acuerdo con la reivindicación 7, en la que el generador de ruido implementa una ejemplificación de un filtro de respuesta finita a impulsos.
-
- 9.
- Disposición de decodificador de acuerdo con la reivindicación 7, en la que el generador de ruido implementa una aproximación de un filtro de respuesta infinita a impulsos.
-
- 10.
- Disposición de decodificador de acuerdo con la reivindicación 7, en la que el generador de ruido genera ruido de acuerdo con imágenes decodificadas y con información de tren binario proporcionada por el decodificador.
-
- 11.
- Disposición de decodificador de acuerdo con la reivindicación 7, en la que la información de tren binario comprende un parámetro de cuantificación.
-
- 12.
- Disposición de decodificador de acuerdo con la reivindicación 7, que incluye adicionalmente un segundo dispositivo de almacenamiento de imágenes para almacenar imágenes de bloque de N x N píxeles promediadas, donde N es un número entero, para ser utilizado por el generador de ruido.
-
- 13.
- Disposición de decodificador para decodificar un tren de vídeo codificado para conseguir una reducción de artefactos, que comprende: un decodificador de vídeo (12) para decodificar un tren de vídeo codificado entrante para obtener imágenes decodificadas; un dispositivo de almacenamiento de imágenes de referencia (14) para almacenar, al menos, una imagen previamente decodificada para su utilización por parte del decodificador para decodificar imágenes futuras; un generador de ruido (16) para generar ruido de acuerdo con imágenes codificadas e información de tren binario procedente del decodificador para añadirlo, al menos, a un píxel de la imagen decodificada en una cantidad correlacionada con el ruido aditivo de, al menos, un píxel de una imagen anterior, caracterizado por la puesta en
correlación del ruido utilizando un factor dependiente de la correlación temporal de la imagen actual con una imagen previamente visualizada o una imagen previamente decodificada; un dispositivo de almacenamiento de imágenes (22) para almacenar una imagen consistente en un bloque de N x N píxeles promediados, donde N es un número entero, para su utilización por parte del generador de ruido, y un bloque sumador (18) para sumar el ruido generado por el generador de ruido a una imagen decodificada procedente del decodificador. -
- 14.
- Disposición de decodificador de acuerdo con la reivindicación 13, en la que el generador de ruido implementa una ejemplificación de un filtro de respuesta finita a impulsos.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US50525403P | 2003-09-23 | 2003-09-23 | |
| US505254P | 2003-09-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2363772T3 true ES2363772T3 (es) | 2011-08-16 |
Family
ID=34392998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES04784572T Expired - Lifetime ES2363772T3 (es) | 2003-09-23 | 2004-09-21 | Técnica de adición de ruido de confort video. |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20070047658A1 (es) |
| EP (1) | EP1676446B1 (es) |
| JP (1) | JP2007507169A (es) |
| KR (1) | KR20060090979A (es) |
| CN (1) | CN100574433C (es) |
| DE (1) | DE602004032367D1 (es) |
| ES (1) | ES2363772T3 (es) |
| WO (1) | WO2005032142A1 (es) |
Families Citing this family (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2538785C (en) * | 2003-09-23 | 2013-10-29 | Thomson Licensing S.A. | Method for simulating film grain by mosaicing pre-computed samples |
| EP1673944B1 (en) * | 2003-10-14 | 2019-09-04 | InterDigital VC Holdings, Inc. | Technique for bit-accurate film grain simulation |
| US8150206B2 (en) * | 2004-03-30 | 2012-04-03 | Thomson Licensing | Method and apparatus for representing image granularity by one or more parameters |
| CN101044510B (zh) * | 2004-10-18 | 2012-01-04 | 汤姆森特许公司 | 胶片颗粒模拟方法 |
| CA2803789C (en) | 2004-11-12 | 2014-04-15 | Thomson Licensing | Film grain simulation for normal play and trick mode play for video playback systems |
| RU2371769C2 (ru) | 2004-11-16 | 2009-10-27 | Томсон Лайсенсинг | Способ имитации зернистости фотопленки на основе предварительно вычисленных коэффициентов преобразования |
| MX2007005651A (es) * | 2004-11-17 | 2007-06-05 | Thomson Licensing | Metodo de simulacion de grano de pelicula exacto de bits con base en coeficientes transformados pre-computados. |
| KR101208158B1 (ko) * | 2004-11-22 | 2012-12-05 | 톰슨 라이센싱 | 필름 그레인 시뮬레이션을 위한 필름 그레인 캐시 분할방법, 장치 및 시스템 |
| ZA200704141B (en) | 2004-11-23 | 2008-08-27 | Thomson Licensing | Low-complexity film grain simulation technique |
| US8023567B2 (en) * | 2004-11-24 | 2011-09-20 | Thomson Licensing | Film grain simulation technique for use in media playback devices |
| US7432986B2 (en) * | 2005-02-16 | 2008-10-07 | Lsi Corporation | Method and apparatus for masking of video artifacts and/or insertion of film grain in a video decoder |
| GB2432069A (en) * | 2005-11-03 | 2007-05-09 | Tandberg Television Asa | Reducing block noise by applying a dither signal in areas of low spatial detail |
| US7697074B2 (en) * | 2006-02-08 | 2010-04-13 | Broadcom Corporation | System and method for video processing demonstration |
| JP2008219163A (ja) * | 2007-02-28 | 2008-09-18 | Toshiba Corp | 情報符号化方法、情報再生方法、及び情報記憶媒体 |
| US10715834B2 (en) | 2007-05-10 | 2020-07-14 | Interdigital Vc Holdings, Inc. | Film grain simulation based on pre-computed transform coefficients |
| WO2009109936A1 (en) * | 2008-03-05 | 2009-09-11 | Nxp B.V. | Arrangement and approach for video data up-conversion |
| US8345775B2 (en) | 2008-04-14 | 2013-01-01 | Apple Inc. | System and method for masking visual compression artifacts in decoded video streams |
| US20110091130A1 (en) * | 2008-06-09 | 2011-04-21 | Universite De Montreal | Method and module for improving image fidelity |
| KR101631270B1 (ko) | 2009-06-19 | 2016-06-16 | 삼성전자주식회사 | 의사 난수 필터를 이용한 영상 필터링 방법 및 장치 |
| EP2509317A4 (en) * | 2009-11-30 | 2016-03-09 | Nec Corp | VIDEO ENCODING DEVICE AND VIDEO DECODING DEVICE |
| US20120307898A1 (en) | 2009-11-30 | 2012-12-06 | Nec Corporation | Video encoding device and video decoding device |
| JP5751679B2 (ja) * | 2010-01-15 | 2015-07-22 | マーベル ワールド トレード リミテッド | 圧縮アーチファクトをマスクするためのフィルムグレインの利用 |
| BR112012027770A2 (pt) * | 2010-05-11 | 2017-08-08 | Thomson Licensing | processamento de granulação de filme e ruído de conforto para vídeo 3 dimensional |
| CN105376548B (zh) * | 2010-05-11 | 2017-07-07 | 汤姆森许可贸易公司 | 用于3维视频的舒适噪声和胶片颗粒处理 |
| JP4799674B1 (ja) * | 2010-05-25 | 2011-10-26 | 株式会社東芝 | 画像処理装置、画像表示装置及び画像処理方法 |
| WO2014091984A1 (ja) * | 2012-12-13 | 2014-06-19 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| JPWO2014091943A1 (ja) * | 2012-12-14 | 2017-01-05 | ソニー株式会社 | 画像処理装置および方法 |
| TWI546798B (zh) | 2013-04-29 | 2016-08-21 | 杜比實驗室特許公司 | 使用處理器來遞色影像的方法及其電腦可讀取儲存媒體 |
| US9749686B2 (en) | 2015-09-21 | 2017-08-29 | Sling Media Pvt Ltd. | Video analyzer |
| US9693063B2 (en) * | 2015-09-21 | 2017-06-27 | Sling Media Pvt Ltd. | Video analyzer |
| WO2021061748A1 (en) * | 2019-09-23 | 2021-04-01 | Apple Inc. | Video compression with in-loop sub-image level controllable noise generation |
| EP3945721B1 (en) * | 2020-07-30 | 2024-08-07 | Ateme | Method for image processing and apparatus for implementing the same |
| KR20230141829A (ko) | 2021-02-12 | 2023-10-10 | 구글 엘엘씨 | 그래픽 아티팩트 제거를 위한 파라미터화된 노이즈 합성 |
| US20240406416A1 (en) * | 2023-06-05 | 2024-12-05 | Advanced Micro Devices, Inc. | Video decoding using a noise-based effect reference value reconstruction |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB1218015A (en) * | 1967-03-13 | 1971-01-06 | Nat Res Dev | Improvements in or relating to systems for transmitting television signals |
| US5210836A (en) * | 1989-10-13 | 1993-05-11 | Texas Instruments Incorporated | Instruction generator architecture for a video signal processor controller |
| US5450098A (en) * | 1992-09-19 | 1995-09-12 | Optibase Advanced Systems (1990) Ltd. | Tri-dimensional visual model |
| ES2180934T3 (es) * | 1996-03-28 | 2003-02-16 | Koninkl Philips Electronics Nv | Metodo y disposicion para codificar y decodificar imagenes. |
| US6295089B1 (en) * | 1999-03-30 | 2001-09-25 | Sony Corporation | Unsampled hd MPEG video and half-pel motion compensation |
| US7423983B1 (en) * | 1999-09-20 | 2008-09-09 | Broadcom Corporation | Voice and data exchange over a packet based network |
| US6708024B1 (en) * | 1999-09-22 | 2004-03-16 | Legerity, Inc. | Method and apparatus for generating comfort noise |
| AU2001273326A1 (en) * | 2000-07-11 | 2002-01-21 | Mediaflow, Llc | System and method for calculating an optimum display size for a visual object |
| US6944226B1 (en) * | 2000-10-03 | 2005-09-13 | Matsushita Electric Corporation Of America | System and associated method for transcoding discrete cosine transform coded signals |
| US20020061062A1 (en) * | 2000-11-22 | 2002-05-23 | O'brien Royal | Filtering system and method for digital interactive streams |
| US7020207B1 (en) * | 2002-12-02 | 2006-03-28 | Hitachi, Ltd. | Video error concealment mechanism for block based video decompression |
| US7243065B2 (en) * | 2003-04-08 | 2007-07-10 | Freescale Semiconductor, Inc | Low-complexity comfort noise generator |
| CN100591102C (zh) * | 2003-04-10 | 2010-02-17 | 汤姆森许可贸易公司 | 用于在编码视频上仿真胶片颗粒的技术 |
| EP1665803A1 (en) * | 2003-08-20 | 2006-06-07 | THOMSON Licensing | Video comfort noise addition technique |
| CA2537000C (en) * | 2003-08-29 | 2011-11-15 | Thomson Licensing | Method and apparatus for modeling film grain patterns in the frequency domain |
-
2004
- 2004-09-21 ES ES04784572T patent/ES2363772T3/es not_active Expired - Lifetime
- 2004-09-21 CN CNB2004800275210A patent/CN100574433C/zh not_active Expired - Fee Related
- 2004-09-21 WO PCT/US2004/030745 patent/WO2005032142A1/en not_active Ceased
- 2004-09-21 US US10/572,690 patent/US20070047658A1/en not_active Abandoned
- 2004-09-21 KR KR1020067005692A patent/KR20060090979A/ko not_active Ceased
- 2004-09-21 JP JP2006528090A patent/JP2007507169A/ja active Pending
- 2004-09-21 DE DE602004032367T patent/DE602004032367D1/de not_active Expired - Lifetime
- 2004-09-21 EP EP04784572A patent/EP1676446B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1676446B1 (en) | 2011-04-20 |
| US20070047658A1 (en) | 2007-03-01 |
| CN1857004A (zh) | 2006-11-01 |
| DE602004032367D1 (de) | 2011-06-01 |
| CN100574433C (zh) | 2009-12-23 |
| WO2005032142A1 (en) | 2005-04-07 |
| EP1676446A1 (en) | 2006-07-05 |
| JP2007507169A (ja) | 2007-03-22 |
| KR20060090979A (ko) | 2006-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2363772T3 (es) | Técnica de adición de ruido de confort video. | |
| US12452441B2 (en) | Metadata signaling and conversion for film grain encoding | |
| KR100977244B1 (ko) | 비트-정확한 편안한 잡음 추가를 위한 방법 및 장치 | |
| ES2277472B2 (es) | Procedimiento y dispositivo de filtrado adaptativo de datos de imagen. | |
| TWI387348B (zh) | 解區塊濾波處理裝置及解區塊濾波處理方法 | |
| CN108055542B (zh) | 高位深度视频的可扩展编码中的高精度上采样 | |
| EP2249572A1 (en) | Dynamic image encoding/decoding method and device | |
| CN1836448B (zh) | 视频舒适噪声添加技术 | |
| KR20110056388A (ko) | 적응적 세그먼트화를 사용하는 비디오 인코딩 시스템 및 방법 | |
| GB2364459B (en) | Video error resilience | |
| CA2227495C (en) | Video coder employing pixel transposition | |
| KR20110059766A (ko) | 비디오 영상 프루닝 방법 및 장치 | |
| TWI737364B (zh) | 圖片及視頻處理中的基於矩陣的幀內預測的方法與裝置 | |
| JPH10117355A (ja) | 動画像符号化装置および動画像復号装置 | |
| CN100534196C (zh) | 用于编码数字视频数据的方法和设备 | |
| CA2311770C (en) | Video image coding device and video image decoding device | |
| US20060072660A1 (en) | Method for video coding artifacts concealment | |
| CN117121491A (zh) | 用于胶片颗粒编码的元数据信令和转换 | |
| WO2007035476A2 (en) | Methods and systems for mixed spatial resolution video compression | |
| ES2672109T3 (es) | Codificación de vídeo | |
| US20120051426A1 (en) | Code amount reducing apparatus, encoder and decoder | |
| EP1294191A2 (en) | Image processing method and apparatus | |
| MXPA06001982A (es) | Tecnica de adicion de ruido de confort para video | |
| Nicolas et al. | Delicate visual artifacts of advanced digital video processing algorithms | |
| MXPA06003284A (es) | Tecnica de adicion de ruido de confort de video |