ES2363772T3 - Técnica de adición de ruido de confort video. - Google Patents

Técnica de adición de ruido de confort video. Download PDF

Info

Publication number
ES2363772T3
ES2363772T3 ES04784572T ES04784572T ES2363772T3 ES 2363772 T3 ES2363772 T3 ES 2363772T3 ES 04784572 T ES04784572 T ES 04784572T ES 04784572 T ES04784572 T ES 04784572T ES 2363772 T3 ES2363772 T3 ES 2363772T3
Authority
ES
Spain
Prior art keywords
noise
image
decoder
decoding
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES04784572T
Other languages
English (en)
Inventor
Alexandros Michael Tourapis
Jill Macdonald Boyce
Joan Llach
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Application granted granted Critical
Publication of ES2363772T3 publication Critical patent/ES2363772T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20204Removing film grain; Adding simulated film grain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/30Hydrogen technology
    • Y02E60/32Hydrogen storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

Método para reducir artefactos en un tren de vídeo, que comprende las etapas de decodificación del tren de vídeo y de adición de ruido aleatorio, al menos, a un píxel de una imagen del tren de vídeo tras la decodificación, en una cantidad correlacionada con información sobre luminancia de, al menos, una porción de una imagen actual, caracterizado por la puesta en correlación del ruido utilizando un factor dependiente de la correlación temporal de la imagen actual con una de una imagen previamente visualizada o decodificada.

Description

REFERENCIA A OTRAS SOLICITUDES RELACIONADAS
La presente solicitud reivindica su prioridad, de acuerdo con 35 U.S.C. 119(e) a la Solicitud de Patente Provisional Estadounidense con el Número de Serie 60/505.354, presentada el 23 de septiembre de 2003.
CAMPO TÉCNICO
La presente invención se refiere a una técnica para la reducción de artefactos en relación con la decodificación de un flujo de vídeo codificado.
TÉCNICA ANTERIOR
La decodificación de trenes de vídeo comprimidos a una baja tasa binaria suele generar artefactos visibles, que son percibidos por el espectador. Los efectos de pixelado y el ruido de mosaico son artefactos muy frecuentes que surgen cuando se utilizan técnicas de compresión basadas en bloques. El sistema visual humano tiene una mayor sensibilidad ante ciertos tipos de artefactos, y de este modo, dichos artefactos se perciben con mayor claridad y resultan más molestos que otros. La adición de ruido aleatorio al flujo decodificado puede reducir la perceptibilidad de dichos artefactos relacionados con la compresión, pero las grandes diferencias entre fotogramas creadas por la propia adición de ruido pueden generar artefactos perceptibles y molestos. La adición de una señal de oscilación puede reducir la sensibilidad humana ante los artefactos de las imágenes, por ejemplo, ocultando las deformidades de los contornos y el pixelado. Una de las técnicas anteriores ha propuesto la inclusión en una imagen de una vibración de ruido aleatorio basado en el grano de las películas, para disimular el efecto de pixelado. La justificación de la inclusión de dicho ruido aleatorio es que el error aleatorio es más fácil de asimilar que el error estructurado o correlacionado. Otras técnicas anteriores han propuesto la inclusión de una señal de vibración en un tren de vídeo para ocultar los artefactos relacionados con la compresión. Una técnica anterior ha propuesto la inclusión de una vibración de ruido aleatorio en el proceso de codificación y decodificación de vídeo del filtro de desbloqueo de bucles de la norma de codificación de vídeo ITU/ISU H.264, conocida habitualmente como norma de codificación JVT. La cantidad de vibración a añadir depende de la posición de un píxel con respecto al borde de un bloque. Otra técnica anterior ha propuesto la inclusión del ruido aleatorio con posterioridad a la decodificación de vídeo (es decir, añadir el ruido como un “procesamiento posterior”), para su utilización como una señal de ruido aceptable. La cantidad de ruido añadida depende del parámetro de cuantificación y de la cantidad de ruido añadida a unos píxeles espacialmente adyacentes. El término “señal de ruido aceptable” procede de la utilización del ruido en la compresión de audio, y se refiere al patrón de ruido generado en el lado del receptor para evitar el silencio total, que resulta incómodo para el oyente. Puede obtenerse información sobre las técnicas anteriores en las que se añade ruido aleatorio con posterioridad a la decodificación de vídeo en los dos artículos siguientes: Christina Gomila, Alexander Kobilansky: "SEI message for film grain encoding" JVT of ISO IEC MPEG and ITU-T VCEG JVT-H022, 23 de mayo de 2003 (2003-05-23), páginas 1 -14, XP002308742 Ginebra, Suiza. Christina Gomila: "SEI message for film grain encoding: syntax and results" JVT of IS0 IEC MPEG and ITU-T VCEG JVT-I013 Revisión 2,2 septiembre 2003 (2003-09-02), Páginas 1-11, XP002308743 San Diego, CA, EE.UU. Las anteriores técnicas de reducción de artefactos mediante la adición de ruido suelen reducir los artefactos espaciales, pero se corre el riesgo de generar anormalidades temporales, es decir, unas grandes diferencias entre fotogramas. De este modo, es necesaria una técnica para reducción de artefactos durante la decodificación de un tren de vídeo codificado que supere las desventajas que se acaban de mencionar.
BREVE RESUMEN DE LA INVENCIÓN
Sucintamente, de acuerdo con una realización preferida de los presentes principios, se facilita un método para conseguir una reducción de los artefactos en un tren de vídeo durante la decodificación, comienza con la decodificación del tren de vídeo. Tras la decodificación, se añade ruido al tren de vídeo añadiendo ruido a cada píxel, en una cantidad correlacionada con la luminancia de al menos una parte de una imagen previamente decodificada. De este modo, de acuerdo con estos principios, la correlación con la luminancia ayuda a determinar el ruido que es necesario añadir para reducir las grandes diferencias entre fotogramas que constituían una de las desventajas de las anteriores técnicas de adición de ruido. El ruido se añade utilizando un factor dependiente de la correlación temporal de la imagen actual con la de una imagen anteriormente visualizada o codificada.
BREVE DESCRIPCIÓN DE LAS FIGURAS:
La figura 1 muestra un diagrama de bloques de una primera realización de un decodificador de vídeo de acuerdo con estos principios, para reducción de artefactos relacionados con la decodificación de un tren de vídeo codificado mediante la adición de ruido correlacionado con la luminancia de al menos una parte de la imagen actual;
La figura 2 muestra un diagrama de bloques de una segunda realización de un decodificador de vídeo de acuerdo con estos principios, para la reducción de los artefactos relacionados con la decodificación de un tren de vídeo codificado mediante la adición de ruido correlacionado con la luminancia de, al menos, una parte de la imagen actual; y La figura 3 muestra un diagrama de bloques de una tercera realización de un decodificador de vídeo de acuerdo con estos principios, para reducción de artefactos relacionados con la decodificación de un tren de vídeo codificado mediante la adición de ruido correlacionado con la luminancia de, al menos, una parte de la imagen actual;
DESCRIPCIÓN DETALLADA
De acuerdo con estos principios, la adición de un ruido aleatorio, que contenga una señal de vibración, a la señal ya codificada, en una cantidad correlacionada con la luminancia de, al menos, una porción de una imagen actual mejora la calidad subjetiva del vídeo. Hasta el momento actual, se había demostrado que la adición de ruido a una señal codificada mejora la calidad de la señal de vídeo. El impacto visual que representa añadir una señal de ruido a la secuencia de vídeo, en lugar de hacerlo a una sola imagen, ha pasado a ser un factor a tener en cuenta a la hora de determinar la magnitud de la señal de ruido. Se ha prestado atención al impacto visual que supone añadir una señal de ruido a la secuencia de vídeo, en lugar de hacerlo en una sola imagen, a la hora de determinar la magnitud de la señal de ruido. La magnitud de la señal de ruido correspondiente a un píxel de una película puede ponerse en correlación con el valor de la señal de ruido que se añade a los píxeles de la imagen previamente visualizada, por ejemplo, las señales de ruido están correlacionadas en el tiempo. Alternativamente, la correlación temporal puede estar basada en la imagen anteriormente decodificada, en lugar de basarse en la imagen anteriormente visualizada. En función de cuanto antecede, la señal de ruido añadida, utilizando una correlación temporal con un factor de correlación α,0 ≤α≤ 1, puede calcularse como sigue:
N(k, x, y) = (1 – α) * N(k-1, x, y) + α * R(k, x, y) (1)
El número aleatorio R(k, x, y) puede generarse utilizando cualquier tipo de distribución de números aleatorios, por ejemplo, una distribución Normalizada, Gaussiana o Laplaciana. R(k, x, y) puede también recortarse dentro de un determinado rango, en caso necesario. El generador de números aleatorios puede implementarse mediante una tabla de búsquedas. R(k, x, y) puede también incluir una correlación espacial, como la utilizada, por ejemplo, para generar ruido de tipo “grano de película”. De acuerdo con estos principios, la adición de ruido parece depender en gran medida del brillo (es decir, de la luminancia) de un bloque o macrobloque, pero también del brillo de sus bloques adyacentes. Cuanto más oscuro sea el bloque/macrobloque, más fácil será percibir el ruido con una varianza relativamente elevada. Basándose en esto, la cantidad de ruido a añadir, N(k, x, y) puede deducirse de la relación:
N(k, x, y) = 1 – γ((k, x, y))) * N(k-1, x, y) + γ(k, x, y) * (1 -φ(k, x, y)) * R(k, x, y) (2)
Representando la función γ(k, x, y) un factor de correlación dependiente de la correlación temporal de la imagen actual con la previamente visualizada o decodificada. El término γ(k, x, y) puede calcularse de la forma siguiente:
γ(k, x, y) = α – β *ƒ1(D(k, x, y), D(k-1, x, y)), 0 ≤β≤α≤ 1 (3)
donde ƒ1() toma valores comprendidos entre 0 y 1 y calcula el factor de correlación temporal del píxel (x, y) de la imagen k con el correspondiente píxel de la imagen k-1. En este caso, los factores α y β hacen referencia al tipo de imagen (imagen I, P o B) así como al cuantificador utilizado para codificar la imagen o el bloque actual, y puede calcularse mediante la utilización de una tabla de búsquedas. Alternativamente, puede utilizarse la diferencia de resolución de la imagen entre las imágenes k y k-1, pudiendo considerarse ambas imágenes como correlacionadas, (es decir, ƒ1 = 1) si la diferencia absoluta total se encuentra por debajo de un valor. También se puede tener en cuenta una métrica más sencilla. Por ejemplo, puede conseguirse un considerable ahorro de espacio de almacenamiento y de cálculo considerando en cambio la media de N x N bloques y realizando la adaptación del ruido a nivel de bloque. En este caso, el término ƒ1(D(k, x, y), D(k-1, x, y)) equivaldrá a:
NN NN
1
ƒ1(D(k, x, y), D(k 1, x, y)) =( abs(∑∑ D(k, x + k, y + k ) −∑∑ D(k −1+ k, y + k )) >ξ0 ?0:1)
N x N
k =0 m=0 k =0 m=0
(4)
Donde 0 ≤ξ0 ≤ 255.
El término φ(k, x, y) refleja la información espacial para el ajuste de la potencia del ruido a utilizar. Concretamente, φ(k, x, y) puede calcularse de la forma siguiente:
φ(k, x, y) = ƒ2(D(k, x, y)) + ƒ3(D(k, x-bsx, y), (k, x+bsx, y), D(k, x, y-bsy), D(k, x, y+bsy)) (4)
5
10
15
20
25
30
35
40
45
50
55
60
donde ƒ2() hace referencia al brillo del píxel actual o del bloque N x N al que pertenece, mientras que ƒ3() calcula la relación especial entre el píxel/bloque actual con el adyacente correspondiente, tanto horizontal como verticalmente, situado a una distancia de bsx o bsy. Por ejemplo,
1 NN ƒ2 (D(k, x, y)) =( abs(∑∑ D(k, x + k, y + k ) >ξ1?0 :1) (5)
N x N
k =0 m=0
ƒ (D(k, x, y)) = ƒ (D(k, x, y)) ƒ (D(k, x + N, y)) == ξ ) || (ƒ (D(k, x, y)) ƒ (D(k, x − N, y)) == ξ ) ||
3 22 222 3
(ƒ (D(k, x, y)) ƒ (D(k, x, y + N)) == ξ ) || (ƒ (D(k, x, y)) ƒ (D(k, x, y − N)) == ξ )
22 4225
(6) Donde 0 ≤ξ1 ≤ 255, y -255 ≤ξ2 ξ3 ξ4 ξ5 ≤ 255.
La figura 1 muestra un diagrama de bloques de una primera realización de una configuración de un decodificador de vídeo 10 para añadir ruido correlacionado con la luminancia de, al menos, una porción de la imagen actual, en una forma que sea compatible con la Ecuación 2, a fin de reducir los artefactos. La disposición de decodficador 10 incluye un decodificador 12 para decodificar un tren de vídeo codificado entrante. El diseño del decodificador 12 depende del formato de compresión utilizado para codificar el tren de vídeo entrante. En una realización preferida, el tren de vídeo entrante se somete a una compresión utilizando la norma ITU/ISO H.64, perfectamente conocida. En estas circunstancias, el decodificador 12 adopta la forma de un decodificador H.264, ya conocido en la técnica. Un dispositivo de almacenamiento de imágenes de referencia 14, almacena las imágenes decodificadas por el decodificador 12, para ser utilizadas por el decodificador para decodificar futuras imágenes. El decodificador 12 suministra una imagen decodificada, así como la información del tren binario que contiene la imagen decodificada a un generador de ruido 16. La generación de la información del tren binario por parte del decodificador 12 puede incluir la introducción de un parámetro de cuantificación en el generador de ruido. La gravedad de los artefactos de compresión está correlacionada con el parámetro de cuantificación, y los artefactos de compresión de mayor gravedad tienen lugar cuando se utilizan elevados valores de los parámetros de cuantificación. La potencia del ruido soportable añadido puede aumentar a medida que aumenta el valor del parámetro de cuantificación. Un bloque sumador 18 suma cada imagen decodificada procedente del decodificador 12 con el ruido procedente de un generador de ruido 16. Un recortador 20 recorta entonces la salida de señal generada por el bloque sumador 18 para obtener una imagen decodificada para su visualización, que presente escasos artefactos. Obsérvese que la adición de ruido se produce después del almacenamiento de las imágenes decodificadas en el dispositivo de almacenamiento de imágenes de referencia 14, ya que las imágenes de referencia deben mantenerse inalteradas para decodificar adecuadamente las posteriores imágenes entrantes. Un dispositivo de almacenamiento de imágenes de ruido 17 almacena la señal de ruido N(k, x, y) correspondiente a la imagen k-ésima para su posterior utilización por parte del generador de ruido 16. El generador de ruido 16 responde a las imágenes de referencia almacenadas en el dispositivo de almacenamiento de imágenes de referencia 14, que contiene información relacionada con las imágenes codificadas anteriormente. Aunque no sea necesario, podría añadirse un espacio de almacenamiento adicional si se utiliza el cálculo basado en bloques para la correlación temporal entre las imágenes decodificadas. Aunque sigue siendo posible la generación de ruido para cada píxel de una imagen, en determinados casos (por ejemplo, en el caso del material con una resolución mayor), la generación de un ruido con un mayor tamaño (grano) suele resultar más deseable. Por ejemplo, la aplicación de una transformada discreta de coseno con un tamaño de bloque de N x N a la imagen del ruido, descartando a continuación las frecuencias resultantes más elevadas, dará como resultado un ruido de mayor tamaño, similar al ruido del grano de la película fotográfica. No obstante, este proceso representa un gasto relativamente elevado, y normalmente exigirá un proceso de eliminación de bloques, para reducir los artefactos de pixelado que pueden generarse en los bordes de los bloques. La figura 2 describe un diagrama de bloques de una segunda realización de una configuración de decodificación de vídeo 100 para añadir un ruido de grano de grandes dimensiones correlacionado con la luminancia de, al menos, una parte de la imagen actual. La disposición de decodificador 100 incluye muchos de los mismos elementos que la disposición de decodificador de la figura 1, y los mismos números de referencia identifican a los mismos elementos. En comparación con la disposición de decodificador 10 de la figura 1, la disposición de decodificador 100 de la figura 2 incluye adicionalmente un dispositivo de almacenamiento de imágenes reducidas N x N promediadas 22 acoplado al dispositivo de almacenamiento de imágenes de referencia 14. Normalmente, el dispositivo de almacenamiento de imágenes 22 almacena los valores medios del bloque de luminancia N x N. Los valores promedio de luminancia almacenados en el dispositivo de almacenamiento de imágenes 22 permiten que la disposición de decodificador genere un ruido de grano mayor, como se ha comentado. La figura 3 describe un diagrama de bloques de una tercera realización de una configuración de decodificación de vídeo 1000 para añadir un ruido de grano de grandes dimensiones correlacionado con la luminancia de, al menos, una parte de la imagen actual. La disposición de decodificador 1000 incluye muchos de los mismos elementos que la disposición de decodificador 100 de la figura 2, y los mismos números de referencia identifican a los mismos elementos. En comparación con la disposición de decodificador 100 de la figura 2, la disposición de decodificador
5
10
15
20
25
30
35
1000 de la figura 3 no contiene ningún dispositivo de almacenamiento de imágenes 17, sino tan sólo un dispositivo de almacenamiento de imágenes reducidas N x N promediadas 22. Un proceso alternativo y considerablemente más sencillo consistiría en generar el ruido con una resolución inferior a la de la imagen original (por ejemplo, la mitad de resolución horizontal y vertical), y después muestrear al alza el ruido (por ejemplo, mediante la replicación de muestras). También podría decidirse la utilización de la resolución original o una resolución inferior en función de la resolución de las imágenes originales (por ejemplo, utilizar la misma resolución para la Definición Estándar y para el material con una definición inferior, utilizando simultáneamente una generación de ruido con una resolución inferior para el material de Alta Definición). También podrían transmitirse parámetros auxiliares con el tren binario que permitirían al decodificador decidir qué proceso va a utilizarse. La información complementaria podría también utilizarse para generar ruido (por ejemplo, ponderación de la varianza de ruido). Este mismo proceso podría también aplicarse exactamente a los componentes de color. No obstante, para reducir la complejidad y los cálculos, podría llevarse a cabo la generación de ruido basándose tan sólo en un componente de la luminancia (es decir, la luma), volviendo a utilizar el mismo ruido para todos los componentes del color, tras la realización de un sencillo escalado y sub-muestreo, si fuese necesario. Por ejemplo, en el caso del material 4:2.0, el ruido del componente de luma se sub-muestrea por 2, tanto vertical como horizontalmente, pudiendo dividirse por 2 para generar el ruido de crominancia. Las configuraciones del decodificador 10 y 100 de las figuras 1 Y 2 representan ejemplificaciones de un filtro temporal de respuesta infinita a impulsos (IIR). El Filtro IIR puede generalizarse utilizando más multiplicadores de filtro. Los filtros IIR también pueden aproximarse en términos generales utilizando filtros FIR de orden superior, utilizando tantos multiplicadores t, como se desee, de acuerdo con la siguiente relación:
t1
N(k, x, y) = (1γ (kj, x,y))× N(k t,x,y)
j=0
(7)
t1 i−1
∑⎜⎛ ∏ ⎟⎞
+ ⎜ (1γ (kj, x,y)) ×γ (k i, x,y) × (1φ (k i, x,y))× R(k i, x,y)⎟ i=0 ⎝ j =0 ⎠
El método del filtro de respuesta finita a impulsos (FIR) puede llevarse a cabo utilizando la disposición de decodificador de la figura 3. La disposición de decodificador 1000 tan sólo utiliza los números aleatorios previos R, y en caso necesario, los valores medios del bloque luma N x N, en lugar del ruido anterior N en dicho método de filtro FIR, reduciendo de este modo el ancho de banda de la memoria. También es posible utilizar y almacenar tan sólo los valores medios del bloque luma N x N de la imagen actual y de la imagen anterior, y volver a utilizar los mismos valores y sus diferencias para todos los multiplicadores. Por ejemplo, podemos utilizar el siguiente sistema:
N(k, x,y) = (1γ (k, x, y)) × (1γ (k 1, x, y)) × R(k 2, x,y)
+ (1γ (k, x, y)) ×γ (k 1, x, y)) × (1φ (k 1, x, y)) × R(k 1, x,y) (8)
+γ (k, x, y) × (1φ (k 1, x, y)) × R(k, x, y)
Si bien también es posible simplificar cuanto antecede forzando que la imagen de diferencia utilizada en el cálculo de γ(k-1, x, y) sea la misma que la de γ(k, x, y). De este modo se evitaría por completo la necesidad de almacenar o de volver a calcular la imagen de diferencia y de reducir considerablemente el ancho de banda de memoria. Cuanto antecede describe una técnica para la reducción de los artefactos en relación con la decodificación de un tren de vídeo codificado añadiendo ruido correlacionado con la luminancia de, al menos, una parte de la imagen actual.
REFERENCIAS CITADAS EN LA DESCRIPCIÓN
La lista de referencias citada por el solicitante lo es solamente para utilidad del lector, no formando parte de los documentos de patente europeos. Aún cuando las referencias han sido cuidadosamente recopiladas, no pueden 5 excluirse errores u omisiones y la OEP rechaza toda responsabilidad a este respecto.
Documentos de patente citado en la descripción
• US 50525403 P [0001] 10 Bibliografía de patentes citada en la descripción
• Christina Gomila ; Alexander Kobilansky. • Christina Gomila. SEI message for film grain SEI message for film grain encoding. JVT of ISO encoding: syntax and results. JVT of ISO IEC IEC MPEG and ITU-T VCEG JVT-H022, 23 May MPEG and ITU-T VCEG JVT-I013 Revision 2, 2003, 1-14 [0005] 02 September 2003, 1-11 [0005]

Claims (14)

  1. REIVINDICACIONES
    1.
    Método para reducir artefactos en un tren de vídeo, que comprende las etapas de decodificación del tren de vídeo y de adición de ruido aleatorio, al menos, a un píxel de una imagen del tren de vídeo tras la decodificación, en una cantidad correlacionada con información sobre luminancia de, al menos, una porción de una imagen actual, caracterizado por la puesta en correlación del ruido utilizando un factor dependiente de la correlación temporal de la imagen actual con una de una imagen previamente visualizada o decodificada.
  2. 2.
    Método de acuerdo con la reivindicación 1, en el que el factor de correlación se establece de acuerdo, bien con un componente de luma o bien un componente de color.
  3. 3.
    Método de acuerdo con la reivindicación 1, que incluye adicionalmente la etapa de añadir ruido a un componente de color de la imagen de acuerdo con un componente de luma.
  4. 4.
    Método de acuerdo con la reivindicación 1, en el que el factor de correlación se establece por primera vez sobre un bloque de imagen de N x N píxeles, donde N es un numero entero, con anterioridad a la interpolación del ruido aditivo.
  5. 5.
    Método de acuerdo con la reivindicación 1, que comprende adicionalmente la etapa de ajuste del ruido en función de la intensidad de un bloque de N x N, donde N es un número entero de píxeles adyacentes.
  6. 6.
    Método de acuerdo con la reivindicación 1, en el que la cantidad de ruido está correlacionada utilizando una aproximación de un filtro de respuesta finita a impulsos (FIR).
  7. 7.
    Disposición de decodificador para decodificar un tren de vídeo codificado para conseguir una reducción de artefactos, que comprende: un decodificador de vídeo (12) para decodificar un tren de vídeo codificado entrante, para obtener imágenes decodificadas; un dispositivo de almacenamiento de imágenes de referencia (14) para almacenar, al menos, una imagen previamente decodificada para su utilización por parte del decodificador a fin de decodificar imágenes futuras, un generador de ruido (16) para generar ruido aleatorio para añadirlo, al menos, a un píxel de una imagen codificada, en una cantidad correlacionada con información de luminancia de, al menos, una parte de la imagen actual, caracterizado por la puesta en correlación del ruido utilizando un factor dependiente de la correlación temporal de la imagen actual con la de una imagen previamente visualizada o decodificada; un dispositivo de almacenamiento de imágenes de ruido (17) para almacenar la información de ruido para su posterior utilización por parte del generador de ruido; un bloque sumador para sumar el ruido generado por el generador de ruido a una imagen decodificada procedente del decodificador; y un recortador (20) para recortar el ruido sumado y la imagen decodificada.
  8. 8.
    Disposición de decodificador de acuerdo con la reivindicación 7, en la que el generador de ruido implementa una ejemplificación de un filtro de respuesta finita a impulsos.
  9. 9.
    Disposición de decodificador de acuerdo con la reivindicación 7, en la que el generador de ruido implementa una aproximación de un filtro de respuesta infinita a impulsos.
  10. 10.
    Disposición de decodificador de acuerdo con la reivindicación 7, en la que el generador de ruido genera ruido de acuerdo con imágenes decodificadas y con información de tren binario proporcionada por el decodificador.
  11. 11.
    Disposición de decodificador de acuerdo con la reivindicación 7, en la que la información de tren binario comprende un parámetro de cuantificación.
  12. 12.
    Disposición de decodificador de acuerdo con la reivindicación 7, que incluye adicionalmente un segundo dispositivo de almacenamiento de imágenes para almacenar imágenes de bloque de N x N píxeles promediadas, donde N es un número entero, para ser utilizado por el generador de ruido.
  13. 13.
    Disposición de decodificador para decodificar un tren de vídeo codificado para conseguir una reducción de artefactos, que comprende: un decodificador de vídeo (12) para decodificar un tren de vídeo codificado entrante para obtener imágenes decodificadas; un dispositivo de almacenamiento de imágenes de referencia (14) para almacenar, al menos, una imagen previamente decodificada para su utilización por parte del decodificador para decodificar imágenes futuras; un generador de ruido (16) para generar ruido de acuerdo con imágenes codificadas e información de tren binario procedente del decodificador para añadirlo, al menos, a un píxel de la imagen decodificada en una cantidad correlacionada con el ruido aditivo de, al menos, un píxel de una imagen anterior, caracterizado por la puesta en
    correlación del ruido utilizando un factor dependiente de la correlación temporal de la imagen actual con una imagen previamente visualizada o una imagen previamente decodificada; un dispositivo de almacenamiento de imágenes (22) para almacenar una imagen consistente en un bloque de N x N píxeles promediados, donde N es un número entero, para su utilización por parte del generador de ruido, y un bloque sumador (18) para sumar el ruido generado por el generador de ruido a una imagen decodificada procedente del decodificador.
  14. 14.
    Disposición de decodificador de acuerdo con la reivindicación 13, en la que el generador de ruido implementa una ejemplificación de un filtro de respuesta finita a impulsos.
ES04784572T 2003-09-23 2004-09-21 Técnica de adición de ruido de confort video. Expired - Lifetime ES2363772T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US50525403P 2003-09-23 2003-09-23
US505254P 2003-09-23

Publications (1)

Publication Number Publication Date
ES2363772T3 true ES2363772T3 (es) 2011-08-16

Family

ID=34392998

Family Applications (1)

Application Number Title Priority Date Filing Date
ES04784572T Expired - Lifetime ES2363772T3 (es) 2003-09-23 2004-09-21 Técnica de adición de ruido de confort video.

Country Status (8)

Country Link
US (1) US20070047658A1 (es)
EP (1) EP1676446B1 (es)
JP (1) JP2007507169A (es)
KR (1) KR20060090979A (es)
CN (1) CN100574433C (es)
DE (1) DE602004032367D1 (es)
ES (1) ES2363772T3 (es)
WO (1) WO2005032142A1 (es)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2538785C (en) * 2003-09-23 2013-10-29 Thomson Licensing S.A. Method for simulating film grain by mosaicing pre-computed samples
EP1673944B1 (en) * 2003-10-14 2019-09-04 InterDigital VC Holdings, Inc. Technique for bit-accurate film grain simulation
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
CN101044510B (zh) * 2004-10-18 2012-01-04 汤姆森特许公司 胶片颗粒模拟方法
CA2803789C (en) 2004-11-12 2014-04-15 Thomson Licensing Film grain simulation for normal play and trick mode play for video playback systems
RU2371769C2 (ru) 2004-11-16 2009-10-27 Томсон Лайсенсинг Способ имитации зернистости фотопленки на основе предварительно вычисленных коэффициентов преобразования
MX2007005651A (es) * 2004-11-17 2007-06-05 Thomson Licensing Metodo de simulacion de grano de pelicula exacto de bits con base en coeficientes transformados pre-computados.
KR101208158B1 (ko) * 2004-11-22 2012-12-05 톰슨 라이센싱 필름 그레인 시뮬레이션을 위한 필름 그레인 캐시 분할방법, 장치 및 시스템
ZA200704141B (en) 2004-11-23 2008-08-27 Thomson Licensing Low-complexity film grain simulation technique
US8023567B2 (en) * 2004-11-24 2011-09-20 Thomson Licensing Film grain simulation technique for use in media playback devices
US7432986B2 (en) * 2005-02-16 2008-10-07 Lsi Corporation Method and apparatus for masking of video artifacts and/or insertion of film grain in a video decoder
GB2432069A (en) * 2005-11-03 2007-05-09 Tandberg Television Asa Reducing block noise by applying a dither signal in areas of low spatial detail
US7697074B2 (en) * 2006-02-08 2010-04-13 Broadcom Corporation System and method for video processing demonstration
JP2008219163A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報符号化方法、情報再生方法、及び情報記憶媒体
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
WO2009109936A1 (en) * 2008-03-05 2009-09-11 Nxp B.V. Arrangement and approach for video data up-conversion
US8345775B2 (en) 2008-04-14 2013-01-01 Apple Inc. System and method for masking visual compression artifacts in decoded video streams
US20110091130A1 (en) * 2008-06-09 2011-04-21 Universite De Montreal Method and module for improving image fidelity
KR101631270B1 (ko) 2009-06-19 2016-06-16 삼성전자주식회사 의사 난수 필터를 이용한 영상 필터링 방법 및 장치
EP2509317A4 (en) * 2009-11-30 2016-03-09 Nec Corp VIDEO ENCODING DEVICE AND VIDEO DECODING DEVICE
US20120307898A1 (en) 2009-11-30 2012-12-06 Nec Corporation Video encoding device and video decoding device
JP5751679B2 (ja) * 2010-01-15 2015-07-22 マーベル ワールド トレード リミテッド 圧縮アーチファクトをマスクするためのフィルムグレインの利用
BR112012027770A2 (pt) * 2010-05-11 2017-08-08 Thomson Licensing processamento de granulação de filme e ruído de conforto para vídeo 3 dimensional
CN105376548B (zh) * 2010-05-11 2017-07-07 汤姆森许可贸易公司 用于3维视频的舒适噪声和胶片颗粒处理
JP4799674B1 (ja) * 2010-05-25 2011-10-26 株式会社東芝 画像処理装置、画像表示装置及び画像処理方法
WO2014091984A1 (ja) * 2012-12-13 2014-06-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JPWO2014091943A1 (ja) * 2012-12-14 2017-01-05 ソニー株式会社 画像処理装置および方法
TWI546798B (zh) 2013-04-29 2016-08-21 杜比實驗室特許公司 使用處理器來遞色影像的方法及其電腦可讀取儲存媒體
US9749686B2 (en) 2015-09-21 2017-08-29 Sling Media Pvt Ltd. Video analyzer
US9693063B2 (en) * 2015-09-21 2017-06-27 Sling Media Pvt Ltd. Video analyzer
WO2021061748A1 (en) * 2019-09-23 2021-04-01 Apple Inc. Video compression with in-loop sub-image level controllable noise generation
EP3945721B1 (en) * 2020-07-30 2024-08-07 Ateme Method for image processing and apparatus for implementing the same
KR20230141829A (ko) 2021-02-12 2023-10-10 구글 엘엘씨 그래픽 아티팩트 제거를 위한 파라미터화된 노이즈 합성
US20240406416A1 (en) * 2023-06-05 2024-12-05 Advanced Micro Devices, Inc. Video decoding using a noise-based effect reference value reconstruction

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1218015A (en) * 1967-03-13 1971-01-06 Nat Res Dev Improvements in or relating to systems for transmitting television signals
US5210836A (en) * 1989-10-13 1993-05-11 Texas Instruments Incorporated Instruction generator architecture for a video signal processor controller
US5450098A (en) * 1992-09-19 1995-09-12 Optibase Advanced Systems (1990) Ltd. Tri-dimensional visual model
ES2180934T3 (es) * 1996-03-28 2003-02-16 Koninkl Philips Electronics Nv Metodo y disposicion para codificar y decodificar imagenes.
US6295089B1 (en) * 1999-03-30 2001-09-25 Sony Corporation Unsampled hd MPEG video and half-pel motion compensation
US7423983B1 (en) * 1999-09-20 2008-09-09 Broadcom Corporation Voice and data exchange over a packet based network
US6708024B1 (en) * 1999-09-22 2004-03-16 Legerity, Inc. Method and apparatus for generating comfort noise
AU2001273326A1 (en) * 2000-07-11 2002-01-21 Mediaflow, Llc System and method for calculating an optimum display size for a visual object
US6944226B1 (en) * 2000-10-03 2005-09-13 Matsushita Electric Corporation Of America System and associated method for transcoding discrete cosine transform coded signals
US20020061062A1 (en) * 2000-11-22 2002-05-23 O'brien Royal Filtering system and method for digital interactive streams
US7020207B1 (en) * 2002-12-02 2006-03-28 Hitachi, Ltd. Video error concealment mechanism for block based video decompression
US7243065B2 (en) * 2003-04-08 2007-07-10 Freescale Semiconductor, Inc Low-complexity comfort noise generator
CN100591102C (zh) * 2003-04-10 2010-02-17 汤姆森许可贸易公司 用于在编码视频上仿真胶片颗粒的技术
EP1665803A1 (en) * 2003-08-20 2006-06-07 THOMSON Licensing Video comfort noise addition technique
CA2537000C (en) * 2003-08-29 2011-11-15 Thomson Licensing Method and apparatus for modeling film grain patterns in the frequency domain

Also Published As

Publication number Publication date
EP1676446B1 (en) 2011-04-20
US20070047658A1 (en) 2007-03-01
CN1857004A (zh) 2006-11-01
DE602004032367D1 (de) 2011-06-01
CN100574433C (zh) 2009-12-23
WO2005032142A1 (en) 2005-04-07
EP1676446A1 (en) 2006-07-05
JP2007507169A (ja) 2007-03-22
KR20060090979A (ko) 2006-08-17

Similar Documents

Publication Publication Date Title
ES2363772T3 (es) Técnica de adición de ruido de confort video.
US12452441B2 (en) Metadata signaling and conversion for film grain encoding
KR100977244B1 (ko) 비트-정확한 편안한 잡음 추가를 위한 방법 및 장치
ES2277472B2 (es) Procedimiento y dispositivo de filtrado adaptativo de datos de imagen.
TWI387348B (zh) 解區塊濾波處理裝置及解區塊濾波處理方法
CN108055542B (zh) 高位深度视频的可扩展编码中的高精度上采样
EP2249572A1 (en) Dynamic image encoding/decoding method and device
CN1836448B (zh) 视频舒适噪声添加技术
KR20110056388A (ko) 적응적 세그먼트화를 사용하는 비디오 인코딩 시스템 및 방법
GB2364459B (en) Video error resilience
CA2227495C (en) Video coder employing pixel transposition
KR20110059766A (ko) 비디오 영상 프루닝 방법 및 장치
TWI737364B (zh) 圖片及視頻處理中的基於矩陣的幀內預測的方法與裝置
JPH10117355A (ja) 動画像符号化装置および動画像復号装置
CN100534196C (zh) 用于编码数字视频数据的方法和设备
CA2311770C (en) Video image coding device and video image decoding device
US20060072660A1 (en) Method for video coding artifacts concealment
CN117121491A (zh) 用于胶片颗粒编码的元数据信令和转换
WO2007035476A2 (en) Methods and systems for mixed spatial resolution video compression
ES2672109T3 (es) Codificación de vídeo
US20120051426A1 (en) Code amount reducing apparatus, encoder and decoder
EP1294191A2 (en) Image processing method and apparatus
MXPA06001982A (es) Tecnica de adicion de ruido de confort para video
Nicolas et al. Delicate visual artifacts of advanced digital video processing algorithms
MXPA06003284A (es) Tecnica de adicion de ruido de confort de video