ES2297531T3 - Metodo y aparato para moldear modelos de grano de pelicula en el dominio de la frecuencia. - Google Patents

Abstract

Un método para modelar grano de película en una imagen digital, que comprende las operaciones de: transformar un conjunto de muestras de grano de película, cuyas muestras de grano de película comprenden, al menos, un grupo de píxeles vecinos que retiene información sobre la forma y el tamaño del grano de película, al dominio de la frecuencia (101); almacenar cada conjunto de coeficientes que resultan de tal transformada (102); analizar los coeficientes transformados (104, 105, 106); y estimar las frecuencias de corte de un filtro que puede simular una distribución de los coeficientes transformados (107, 108).

Description

Método y aparato para modelar modelos de grano de película en el dominio de la frecuencia.

Campo técnico

La invención se refiere a una técnica para modelar modelos de grano de película en el dominio de la frecuencia.

Antecedentes de la técnica

Una película de fotografía cinematográfica contiene, típicamente, ruido dependiente de la señal, a menudo denominado grano de película, que resulta del proceso de exposición y desarrollo de la película fotográfica. Tal ruido produce un modelo o textura, casi aleatorio, característico, causado por la granularidad física de la emulsión fotográfica. De manera alternativa, el ruido dependiente de la señal puede producirse como resultado de la edición subsiguiente de las imágenes. El modelo de grano puede ser simulado con la finalidad de compresión de vídeo.

El documento US-A-5.641.596 describe un método para actuar sobre una imagen digital almacenada para suavizar el ruido de grano de la película. Inicialmente, las estadísticas de los modelos de grano en una imagen son extraídas de un fichero de imagen digital obtenido mediante la exploración de una longitud de película. Las estadísticas extraídas son almacenadas y, después de esto, usadas para actuar sobre la imagen digital para suavizar el ruido de grano de película. De manera alternativa, los modelos de grano de película son generados mediante el análisis adimensional de números aleatorios filtrados espacialmente.

El estándar de compresión de vídeo ITU-T H.264 I MPEG-4 AVC ha aceptado en su Enmienda de Extensiones de Margen de Fidelidad la inclusión de un mensaje de SEI (Información Suplementaria de Mejora) de grano de película. El mensaje de SEI de grano de película lleva una serie de parámetros que permiten la simulación del grano de película en el receptor. Para el estándar de compresión ITU-T H.264 I MPEG-4 AVC, los parámetros del mensaje de SEI pueden ser especificados según dos modelos distintos: el modelo auto-regresivo y el modelo de filtrado de frecuencias. Ambos modelos permiten caracterizar el modelo de grano de película (tamaño y forma), la correlación de intensidad y color mediante diversos conjuntos de parámetros para diversos niveles de intensidad. En particular, el modelo de filtrado de frecuencias caracteriza el modelo de grano de película mediante la especificación de un conjunto de frecuencias de corte que definen un filtro de paso de banda de 2D en el dominio de la frecuencia. Hay que advertir que ITU-T H.264 I MPEG-4 AVC estandariza, solamente, la sintaxis necesaria para transmitir las frecuencias de corte, pero no proporciona un método para calcularlas durante una secuencia de vídeo con grano de película.

De esta manera, existe la necesidad de una técnica que permita el modelado automático del modelo de grano de película en el dominio de la frecuencia, como está especificado en el modelo de filtrado de frecuencia en el estándar de compresión ITU-T H.264 I MPEG-4 AVC. Los resultados para esta técnica podrían ser usados para aplicaciones automáticas de modelado de grano de película o como operación de inicialización para un procedimiento de modelado facilitado de grano de película.

Breve compendio de la invención

Brevemente, de acuerdo con una realización preferida, se proporciona un método para modelar (es decir, caracterizar) modelos de grano de película en el dominio de la frecuencia. El método comprende las operaciones de (1) transformar un conjunto de muestras homogéneas de grano de película recibidas como entrada al procedimiento en el dominio de la frecuencia, produciendo, de ese modo, un conjunto de coeficientes de transformada que tienen un modelo particular; (2) analizar el modelo creado por los coeficientes transformados; y (3) estimar las frecuencias de corte de un filtro de frecuencias de 2D que puede simular, de manera efectiva, el modelo de coeficientes de transformada mediante el filtrado de ruido aleatorio. Las frecuencias de corte establecidas mediante este método pueden ser enviadas en un mensaje de SEI de acuerdo con el estándar ITU-T H.264 I MPEG-4 AVC que permite la simulación y la reinserción del grano de película en un descodificador.

Breve descripción de los dibujos

La figura 1 describe, en forma de organigrama, las operaciones de un método para caracterizar modelos de grano de película de acuerdo con los presentes principios; y

La figura 2 describe, en forma de organigrama, una variación del método de caracterización del grano de película de la figura 1.

Descripción detallada

La figura 1 describe en forma de organigrama las operaciones de un método de acuerdo con los principios presentes de modelar un modelo de grano de película en el dominio de la frecuencia al recibir una serie de muestras de grano de película que representan un modelo de grano de película homogéneo. Según se analiza con mayor detalle en lo que sigue, el método de los principios presentes asigna parámetros al modelo de las muestras de entrada mediante el análisis del tamaño y la forma de las estructuras que forman el grano. Debido a que el grano se puede formar de manera diferente dependiendo de la exposición de la película, las muestras de grano de película homogéneas son, típicamente, aquéllas asociadas con valores similares de luminancia medidos en la imagen de la película. Las muestras de grano de la película en el inicio del procedimiento podrían ser cualquier grupo (o grupos) de píxeles vecinos que retiene información acerca del tamaño y la forma del grano de película. En la realización ilustrada, supondremos, por simplicidad, que las muestras de grano de película están dispuestas en bloques cuadrados de NxN píxeles, con una ejecución práctica de transformada particular basada en un DCT de bloques cuadrados de NxN píxeles, aunque otras transformadas, como la Transformada Rápida de Fourier, funcionarán igualmente, también.

El método de los presentes principios supone que el modelado del grano de película presente en I_{grano}[x,y,c] se produce de acuerdo con la relación:

(1)I_{grano}[x,y,c] = I_{sin \ grano}[x,y,c] + G[x,y,c]

donde G[x,y,c] representa el grano simulado en las coordenadas del píxel (x, y) para el componente de color c. G[x,y,c] se calcula como:

(2)G[x,y,c] = p*Q[x,y,c] + u*G[x,y,c-1]

donde el parámetro p es la desviación típica del ruido aleatorio y el parámetro u modela la correlación de diacromía entre los diversos componentes del color. Más particularmente, el término Q[c] comprende un campo aleatorio de dos dimensiones generado mediante filtrado de bloques b de NxM valores aleatorios, que han sido generados con una distribución gaussiana normal N(0,1). En una realización particular, el filtrado de pasa banda de bloques b puede ser realizado en el dominio de la frecuencia mediante las siguientes tres operaciones:

Operación 1

Transformada

B = DCT_N x M(b)

Operación 2

Filtrado de frecuencia

1

\hskip7cm

2

donde LOW_HF y LOW_VF son las frecuencias de corte inferiores Horizontal y Vertical, respectivamente, y
HIGH_HF y HIGH_VF son las frecuencias de corte superiores Horizontal y Vertical, respectivamente. Las frecuencias de corte definen los límites entre los coeficientes preservados y filtrados cuando se traza una imagen de grano de película en el dominio de la frecuencia y sirve para caracterizar el tamaño del grano.

Operación 3

Transformada Inversa

b' = IDCT_N x M(B)

Finalmente, Q[c] se forma mediante la combinación de los bloques filtrados b' en una imagen compuesta. El filtrado de pasa bajos de las transmisiones del bloque disminuirá el posible "bloqueo". Aunque M y N pudieran tomar cualquier valor, en la práctica, los bloques cuadrados de 16x16, 8x8 o 4x4 funcionan mejor. Hay que advertir, también, que otras transformadas, tales como la Transformada Rápida de Fourier (FFT), podría reemplazar el procedimiento de DCT en las Operaciones 1 y 3.

Mediante estos principios, modelar los modelos de grano de película es equivalente a extraer las frecuencias de corte LOW_HF, LOW_VF, HIGH_HF y HIGH_VF que caracterizan el filtro de paso banda en el dominio de la frecuencia.

El método de los presentes principios comienza sobre la ejecución de la operación 101, en la que cada bloque de NxN píxeles es sometido a una Transformada Discreta de Coseno, con subsiguiente almacenamiento de las agrupaciones resultantes de NxN coeficientes durante la operación 102. Durante la operación 103, se produce una comprobación para decidir si hay necesidad de más bloques con muestras de grano de película para obtener más coeficientes para almacenamiento. Habitualmente, todos los bloques de muestras de grano de película disponibles en la entrada son sometidos a una transformada. Sin embargo, para reducir los requerimientos de memoria o carga computacional, el tratamiento podría parar después de que un cierto número de bloques haya sido sometido a una transformada. A continuación del almacenamiento de un número suficiente de bloques transformados, se produce la operación 104, en la que un bloque medio (B_{medio}) es calculado mediante el promediado de los coeficientes de todos los bloques almacenados. Suponiendo que K es el número de bloques almacenados, el procedimiento de promediado del coeficiente en la posición [x, y] puede formularse como sigue:

7

A continuación, las operaciones 105 y 106 se producen, típicamente, en paralelo. Durante la operación 105, se calcula un vector medio horizontal B_{H} mediante promediado de los N coeficientes de frecuencias de cada fila de B_{medio} de acuerdo con la relación:

8

En una realización particular, es posible evitar la influencia del coeficiente de CC en la media de la primera fila con la relación:

9

Durante la operación 106, el vector medio vertical es calculado mediante el promediado de los N coeficientes de frecuencia de cada columna de B_{medio} de acuerdo con la relación:

10

En una realización particular, es posible evitar la influencia del coeficiente de CC en la media de la primera columna con la relación:

\vskip1.000000\baselineskip

11

A partir de los vectores de frecuencia, la selección de las frecuencias de corte horizontales y verticales se realiza durante las operaciones 107 y 108, respectivamente, para estimar el tamaño de grano de película. Como se ve en la figura 1, las operaciones 107 y 108 se producen, típicamente, en paralelo. La selección de la frecuencia de corte horizontal durante la operación 107 se produce de la siguiente manera. Primero, los componentes del vector medio horizontal son sometidos a filtrado de paso bajo para evitar picos espurios. En la realización ilustrada, tal filtrado de paso bajo del vector medio horizontal se produce mediante la convolución del vector medio con un filtro de respuesta al impulso h[n] de acuerdo con la relación:

\vskip1.000000\baselineskip

12

Por ejemplo, un filtro lineal de 3 tomas con coeficientes w_{0}, w_{1} y w_{2} podría ser aplicado a cada coeficiente de acuerdo con la relación:

13

Hay que observar que, a fin de aplicar el filtrado en los bordes del vector medio B, es necesario rellenar el vector medio original de manera que estén definidas las muestras para n<0 y n>N-1.

A continuación, el valor medio de B'_{H} es calculado mediante el promedio de sus componentes de acuerdo con la relación:

14

Después de esto, el vector B'_{H} es representado como una curva, y se calculan sus puntos de intersección con el valor medio \overline{B}'_{H}. Si se encuentra un único punto de intersección, se elige el índice n del componente más próximo en B'_{H} como el valor de la frecuencia de corte superior horizontal; se supone que la frecuencia de corte horizontal inferior es 0. Si se encuentran dos puntos de intersección, se encuentran, para cada uno, los índices de los componentes más próximos. El valor más bajo corresponderá a la frecuencia de corte horizontal inferior, mientras el valor más alto corresponderá a la frecuencia de corte horizontal superior. Si se encuentran más de dos puntos de intersección, no se detecta ninguna correlación espacial. Se supone que la frecuencia de corte horizontal inferior es 0, y se supone que la frecuencia de corte horizontal superior es N-1, lo que indica a la función de simulación del grano de película que no se necesita ningún filtrado de frecuencia para imitar el grano original.

El mismo procedimiento descrito para seleccionar la frecuencia de corte horizontal se realiza durante la operación 108 para seleccionar la frecuencia de corte vertical usando el vector de frecuencia vertical B_{v}. Al completar las operaciones 107 y 108, el método de la figura 1 produce cuatro frecuencias de corte (LOW_HF, HIGH_HF, LOW_VF, HIGH_VF) que caracterizan tanto el tamaño como la elongación del grano. El grano alargado se produce cuando LOW_HF \neq LOW_VF y/o HIGH_HF \neq HIGH_VF.

La figura 2 ilustra un método alternativo de modelado de grano, en el que es posible forzar que el grano adopte formas circulares. Esto implica que se mantienen las mismas frecuencias de corte horizontales y verticales. El método de la figura 2 tiene muchas operaciones en común con el método de la figura 1. Por lo tanto, se han usado las mismas referencias numéricas en la figura 2 que en la figura 1, para describir las mismas operaciones. El método de la figura 2 difiere del de la figura 1 en que los vectores de frecuencia vertical y horizontal (B_{H} y B_{V}) son promediados durante la operación 109 de la figura 2 para crear el vector (B) de frecuencia única. Luego, se realiza el mismo procedimiento durante la operación 110 de la figura 2 para estimar las frecuencias de corte inferior y superior, como se realiza durante las operaciones 107 y 108 de la figura 1.

Lo anterior describe una técnica para el modelado de un modelo de grano de película en el dominio de la frecuencia.

Claims (11)

1. Un método para modelar grano de película en una imagen digital, que comprende las operaciones de:

transformar un conjunto de muestras de grano de película, cuyas muestras de grano de película comprenden, al menos, un grupo de píxeles vecinos que retiene información sobre la forma y el tamaño del grano de película, al dominio de la frecuencia (101);

almacenar cada conjunto de coeficientes que resultan de tal transformada (102);

analizar los coeficientes transformados (104, 105, 106); y

estimar las frecuencias de corte de un filtro que puede simular una distribución de los coeficientes transformados (107, 108).

2. El método según la reivindicación 1, que comprende, además, la operación de transmitir al menos una frecuencia de corte como información suplementaria.

3. El método según cualquiera de las reivindicaciones 1 a 2, en el que las frecuencias de corte son estimadas para simular una distribución de los coeficientes transformados mediante filtrado de ruido aleatorio.

4. El método según cualquiera de las reivindicaciones 1 a 3, en el que las muestras de grano de película son tratadas en bloques de N x N píxeles.

5. El método según la reivindicación 4, en el que la operación de analizar los coeficientes transformados comprende, además, las operaciones de:

calcular un bloque medio de N x N coeficientes de transformada mediante el promediado de los coeficientes de transformada de todos los bloques almacenados, siguiendo una transformación de cada bloque de N x N pí-
xeles;

definir vectores medios horizontal y vertical de N componentes cada uno, mediante promediado del bloque medio de N x N coeficientes a lo largo de filas y columnas, respectivamente;

representar los vectores medios horizontal y vertical como curvas independientes; y

establecer frecuencias de corte horizontales y verticales a partir de las curvas representadas por los vectores medios horizontal y vertical, respectivamente.

6. El método según la reivindicación 5, que comprende, además, la operación de filtrar, con un filtro de paso bajos, al menos un vector medio.

7. El método según la reivindicación 4, en el que la operación de analizar los coeficientes transformados comprende, además, las operaciones de:

calcular un bloque medio de N x N coeficientes de transformada mediante el promediado de los coeficientes de transformada de todos los bloques almacenados siguiendo una transformación de cada bloque de píxeles;

definir vectores medios horizontal y vertical de N componentes cada uno mediante el promediado del bloque medio de N x N coeficientes de transformada a lo largo de filas y columnas, respectivamente;

promediar los vectores medios horizontal y vertical en un único vector medio;

representar el vector medio único como una curva; y

establecer frecuencias de corte horizontales y verticales a partir de la curva representada por el vector medio ú-
nico.

8. El método según la reivindicación 7, que comprende, además, la operación de filtrar, con un filtro de paso bajos, el vector medio.

9. El método según cualquiera de las reivindicaciones 5 a 8, en el que una de las frecuencias de corte, una horizontal y una vertical, está establecida a partir de un punto de intersección en la curva representada por los vectores medios horizontal y vertical con valores medios calculados para los vectores medios horizontal y vertical, respectiva-
mente.

\newpage

10. El método según cualquiera de las reivindicaciones 5 a 8, en el que cada una de las frecuencias de corte horizontales y verticales, una superior y otra inferior, es establecida a partir de unos puntos de intersección primero y segundo en la curva representada por los vectores medios horizontal y vertical, con valores medios calculados para los vectores medios horizontal y vertical, respectivamente.

11. El método según cualquiera de las reivindicaciones precedentes, en el que los coeficientes de transformada forman un modelo, y el filtro que puede simular el modelo es un filtro de paso de banda de 2D.