ES2401707T3

ES2401707T3 - Interpolación compensada por movimiento

Info

Publication number: ES2401707T3
Application number: ES10189554T
Authority: ES
Inventors: Burak Ozkalayci
Original assignee: Vestel Elektronik Sanayi ve Ticaret AS
Current assignee: Vestel Elektronik Sanayi ve Ticaret AS
Priority date: 2009-11-03
Filing date: 2010-11-01
Publication date: 2013-04-23
Anticipated expiration: 2030-11-01
Also published as: EP2360637B1; TR200908303A2; EP2360637A1

Abstract

Procedimiento para interpolación de imagen con compensación por movimiento que comprende etapas de: obtención de un campo de vector de movimiento aplicando un algoritmo de estimación de movimiento porbloques; comprobación de la fiabilidad de vector de movimiento; selección de un procedimiento deinterpolación entre procedimientos de interpolación de vector nulo, unidireccional y bidireccional para cadaposición espacial en la imagen a interpolar, en función de la comprobación de fiabilidad de vector y haciendouna interpolación compensada por ponderación sobre bloques vecinos para hallar valores de intensidad debloque en la imagen a interpolar de acuerdo con los valores de intensidad y ponderación de los bloquesvecinos mediante aplicación del procedimiento de interpolación seleccionado, caracterizado porque lacomprobación de fiabilidad de vector se ejecuta calculando y comparando vectores de movimiento de losbloques en la dirección de movimiento.

Description

Interpolación compensada por movimiento

Campo técnico

[0001] La presente invención se refiere a una técnica de interpolación compensada por movimiento para aplicaciones de conversión ascendente de frecuencia de imagen.

Técnica anterior

[0002] La interpolación compensada por movimiento es ampliamente utilizada en aplicaciones de procesamiento de vídeo, tales como codificación de vídeo y conversión ascendente de frecuencia de imagen. Mediante el campo de vector de movimiento adquirido a través de un algoritmo de estimación de movimiento, una imagen de “streaming" se reconstruye en aplicaciones de codificación de vídeo o una imagen intermedia se predice en aplicaciones de conversión ascendente de frecuencia de imagen. En aplicaciones de codificación el residual entre el original y la imagen compensada por movimiento es también codificado con el fin de alcanzar un nivel deseado de calidad y reducir los artefactos. Sin embargo, en los algoritmos de conversión ascendente de frecuencia de imagen, siguientes a la etapa de compensación de movimiento, se utilizan algunos procedimientos de post-procesamiento espaciotemporales, para suprimir los artefactos, puesto que no se conoce la base verdadera.

[0003] Dado que la mayoría de los algoritmos de estimación de movimiento en la práctica son aproximaciones basadas en bloques, las aproximaciones de interpolación compensadas por movimiento sufrem de transiciones de nítidez tosca. Con el fin de suavizar las transiciones, en la bibliografía se proponen algoritmos de compensación de movimiento de por solapado de bloques (OBMC), (An overlapped block motion compensation for high quality motion picture coding -Circuits and Systems, 1992. ISCAS ’92. Proceedings -Nogaki, S. Ohta, M.) and Weighted Averaging Motion Compensated Interpolation (WAMCI) (Weighted-adaptive motion-compensated frame rate up-conversion -Consumer Electronics, IEEE Transactions, volumen 49, entrega 3, agosto 2003 páginas: 485 -492 -Sung-Hee Lee; Ohjae Kwon; Rae-Hong Park). [0004] El documento de patente n º EP1855474A1 da a conocer un método para generar una imagen interpolada entre dos imágenes de una secuencia de imágenes de entrada. Dicho método comprende las etapas de determinar información de fidelidad para al menos un vector de movimiento que es representativo del movimiento entre dichas imágenes anterior y posterior, en el que dicha información de fidelidad es representativa del nivel y de la precisión de dicho movimiento; determinando información de clasificación de dicho al menos un vector de movimiento, en el que dicha información de clasificación depende de dicha información de fidelidad, siendo dicha información de clasificación representativa del tipo de movimiento de dicho movimiento; y la selección de un método de interpolación en dependencia de la información de clasificación determinada.

[0005] Aun cuando en la literatura existen muchos y sofisticados procedimientos para estimación de movimiento diferentes, todos ellos son propensos a calcular vectores de movimiento erróneos debido a ambigüedades de intensidad y al fenómeno de ocultación.

Objetivo de la invención

[0006] El propósito de la presente invención es proporcionar una forma simple, eficiente de un procedimiento de interpolación compensada por movimiento e implícitamente de reducción de halo, tal como se define en las reivindicaciones adjuntas. [0007] Otro propósito de la invención es proporcionar una interpolación compensada por movimiento natural exenta de artefactos, para aplicaciones de conversión ascendente de frecuencia de imagen. Breve descripción de los dibujos

[0008]

La figura 1 muestra el esquema de la interpolación compensada por movimiento propuesta para conversión ascendente de frecuencia de imagen. La figura 2 muestra un ejemplo de un núcleo de ponderación para valores fijos de elección. La figura 3 muestra una opción ejemplar de núcleo de ponderación, dado para interpolación de retroceso. La figura 4 muestra las ubicaciones de los vectores de comparación.

Descripción detallada de la invención

[0009] El procedimiento de interpolación de imágenes compensada por movimiento se utiliza en aplicaciones de conversión de frecuencia de imagen. Para las aplicaciones de conversión de frecuencia de imagen la precisión de la estimación del vector de movimiento juega un papel importante para la síntesis de imágenes interpoladas naturales, exentas de artefactos. El rendimiento de la interpolación compensada por movimiento se degrada debido a aproximaciones de compensación/estimación de movimiento tipo bloque y a errores de estimación de vector de movimiento especialmente alrededor de los bordes de los objetos en movimiento (límites de movimiento) de acuerdo con los fenómenos de oclusión.

[0010] El procedimiento de interpolación compensada por movimiento integra realiza una interpolación tal como

[0011] En el que I es la intensidad del bloque, x es la ubicación del bloque y t es tiempo (a saber t indica

la primera imagen, t+1 indica la trama siguiente y t+0,5 indica la imagen interpolada. [0012] Sin la comprobación de la fiabilidad y la orientación del vector de movimiento, d, la interpolación resultante puede sufrir por las transiciones nítidas en los límites de bloque debido a las diferencias de vector de movimiento y / o pueden sufrir por el artefacto de halo debido a un promediado de primer plano y de intensidades de objeto de fondo en la bordes de objetos (límites de movimiento) por la interpolación bi-direccional. [0013] El procedimiento propuesto tiene dos características principales. La primera es hacer una compensación ponderada de los bloques vecinos, lo que disminuye las transiciones toscas y pixeladas. Y la segunda de ellas segundo es comprobar la fiabilidad vector de movimiento y de acuerdo a su dirección de soporte, seleccionar un procedimiento de compensación entre procedimientos de compensación de bi-direccional, unidireccional y de vector nulo, lo cual disminuye los artefactos de oclusión. [0014] La figura 1 muestra el esquema de la interpolación compensada por movimiento propuesta para conversión ascendente de frecuencia de imagen. El campo de vector de movimiento (MVF) se supone que se obtiene mediante algunos algoritmos de estimación de movimiento anticipadamente. Cualquier algoritmo de "estimación de movimiento exacta" adecuado para aplicaciones de conversión ascendente de frecuencia de imagen, proporcionará un MVF espacio-temporalmente uniforme. La comprobación de fiabilidad de vector de movimiento y las etapas de interpolación compensada por movimiento se realizan bloque por bloque en orden de exploración de trama o en cualquier otro orden de exploración. [0015] La comprobación de fiabilidad de vector de movimiento, se realiza comparando el vector de movimiento actual (MV) con los otros MVs en la orientación del MV actual. Puesto que se espera que los vectores de movimiento exactos tengan una correlación espacial alta, se espera encontrar MVs similares a lo largo de la dirección del movimiento. Por lo tanto, excepto los bordes de objeto / movimiento, los MVs hacia adelante y hacia atrás en la dirección del MV actual debería ser similar al vector actual. Para los límites de los objetos (límites de movimiento), debe existir un MV similar en sólo una de las direcciones, es decir, en dirección hacia delante o hacia atrás. Si tanto los MV en dirección hacia adelante como en dirección hacia atrás del MV actual difieren considerablemente del MV actual entonces el MV actual podría no ser una estimación de MV fiable. De acuerdo con estos hechos, la comprobación de vector de movimiento se realiza mediante dos mediciones:

donde d(x) representa el vector de movimiento en la posición x. [0016] Las posiciones de los vectores de comparación se muestran en la figura 4. Las métricas rf y rb se comparan con un umbral, Tr, y de acuerdo con el resultado de esta comparación, un procedimiento

de interpolación adecuado es suministrado a la unidad de interpolación compensada por movimiento. La variable A puede tomar valores entre 0,5 y 1,0. El procedimiento de interpolación adecuado se selecciona a partir de la tabla 1.

Tabla1

rf<Tr: rf >= Tr

rb < Tr: Bidireccional Unidireccional hacia atrás

rb >= Tr: Unidireccional hacia delante Interpolación de retroceso

[0017] La interpolación bidireccional está dada por la ecuación 1. La interpolación unidireccional de retroceso

se realiza según

y la interpolación unidireccional hacia adelante se realiza según

[0018] El procedimiento de interpolación de retroceso resulta ser el procedimiento de interpolación cuando el MV estimado no es fiable. La mayoría de las estrategias de retroceso de la bibliografía, es uso de vector nulo en la interpolación. Por lo tanto la interpolación de retroceso se realiza por el vector nulo que es

[0019] La unidad de interpolación compensada por movimiento de interpolación utiliza cada vector para compensar el bloque actual y sus 8 bloques vecinos con diferentes pesos. Las contribuciones de la intensidad y el peso para cada píxel se acumulan en memorias intermedias. La imagen interpolada resultante se obtiene mediante normalización de la memoria intermedia de intensidad acumulada con la memoria intermedia de ponderación acumulada después de procesar cada bloque. [0020] Cada valor de píxel de un bloque a sintetizar se determina por los vectores vecinos 3x3 en torno a dicho bloque. Suponiendo que cada vector lleva un valor de intensidad en secuencia I1, I2, ..., I9 para cada píxel, y los coeficientes de ponderación calculados de estos vectores para ese píxel es la secuencia w1, w2, ... w9. Así, la memoria intermedia interpolada resultante será la acumulación de estos valores tales que:

[0021] Mientras que el rango de intensidad es 0-255 y el valor acumulado esté dentro de un rango mucho mayor, el valor acumulado debe ser normalizado. Esta normalización se lleva a cabo como sigue:

[0022] El denominador de esta ecuación se acumula en una memoria intermedia de ponderación; el numerador se acumula en una memoria intermedia de intensidad. El resultado de la síntesis última se obtiene mediante la normalización anteriormente indicada. [0023] Los pesos de contribución de la secuencia actual y 8 vecinos se pueden ajustar a valores fijos o pueden ser función de la métrica de correspondencia y/o la métrica de fiabilidad del vector actual para el bloque en consideración. Un ejemplo de un núcleo de ponderación se da en la figura 2 para valores fijos de elección. En este ejemplo, a los bloques se les dan valores fijados de función de su ubicación, dentro de una vecindad de 3x3, de manera que los bordes diagonales se les da un valor de 2; dándose a vecinos derecho, izquierdo, superior e inferior un valor de 4, y dándose al centro un valor de 6. Sin embargo, estos coeficientes de ponderación pueden ser una función de cualquier otra variable, tal como una función de la métrica de correspondencia del vector utilizado, como en el procedimiento WAMCI. Este núcleo de ponderación podría ser utilizado cuando el MV a utilizar en la interpolación es fiable, lo cual significa que se va a utilizar interpolación bidireccional o interpolación unidireccional hacia adelante/atrás. Cuando se va a utilizar interpolación de MV nulo en el caso de interpolación de retroceso, los coeficientes del núcleo de ponderación deberían ser mayores de cero y debiendo ser tan pequeños como sea posible. En la figura 3 se ofrece una opción ejemplar de núcleo de ponderación para la interpolación de retroceso, en cuyo ejemplo todos estos pesos se ajuntan a 1. [0024] Mediante esta estrategia mecanismo de interpolación de retroceso se limita tanto como resulta posible, al tiempo que proporciona una transición suave entre las interpolaciones de compensación de movimiento y de retroceso. Y también para estimaciones de MV no fiables distribuidas aquí y allá, las contribuciones de vectores de vecinos fiables dominarán la interpolación del bloque en consideración. [0025] Puesto que los núcleos de ponderación son todos mayores de cero para todos los casos posibles, los tampones de acumulación de intensidad y de ponderación serán siempre mayores de cero, lo que significa que se interpolan todos los píxeles de la imagen intermedia. Al normalizar la memoria intermedia de acumulación de intensidad con la memoria intermedia de acumulación de ponderación se obtiene la imagen interpolada compensada por movimiento. [0026] El esquema de interpolación compensada por movimiento explicado también se puede utilizar para encontrar regiones cubiertas y sin cubrir alrededor de los bordes de objetos (límites de movimiento). Se mantiene otra memoria intermedia de acumulación para oclusión y se aporta un coeficiente de ponderación inverso para cada interpolación unidireccional hacia delante, mientras que para cada interpolación unidireccional hacia atrás se aporta un coeficiente de ponderación. Para otros tipos de interpolación no se añade contribución alguna a la memoria intermedia de oclusión. En la etapa de normalización la memoria intermedia de oclusión también se normaliza con la memoria intermedia de ponderación. El mapa resultante uniforme entre -1 y 1 será un mapa de cobertura/ sin cobertura. El lado negativo significa, regiones de cobertura mientras que el positivo significa regiones sin cobertura. Este tipo de detección de oclusión es más robusto frente a errores de estimación de MVF ya que bloques con vecindad 3x3 contribuyen a la detección cobertura / sin cobertura.

[0027] El algoritmo de interpolación compensada por movimiento explicado se detalla para una imagen basada en 2 y MVF bidireccional basada en esquemas de estimación / compensación de movimiento. Las variantes de los algoritmos para imagen base 3 y / o MVF hacia adelante y / o hacia atrás MVF basado en esquemas de estimación / compensación de movimiento pueden derivarse de manera similar.

[0028] Una realización de la invención propuesta se describe paso a paso a continuación: Etapa 1: Poner a cero las memorias intermedias de intensidad, ponderación y ocultación para todos los píxeles. Ibuf = 0, Wbuf = 0, y Obuf = 0. Inspeccionar cada bloque en un determinado orden de exploración (exploración de trama) y realizar las etapas 2 a 5. Etapa 2: Calcular las métricas rb y rf para la comprobación la fiabilidad del MV

y

donde d(x) es el MV del bloque en x

Etapa 3: Determinar el tipo de interpolación y su núcleo de ponderación para los 3x3 bloques vecinos de acuerdo con la tabla 1.

Etapa 4: Para cada bloque en la vecindad 3x3, calcular la interpolación I(x, t+0,5) de cada pixel de acuerdo con el tipo de interpolación determinado (entre ecuaciones 1, 2, 3 y 4).

Etapa 5: Acumulación en las memorias intermedias de la intensidad de interpolación ponderada y el correspondiente coeficiente de núcleo de ponderación

para el caso de interpolación unidireccional Donde w es el coeficiente de ponderación del bloque respectivo en la vecindad de 3x3.

Etapa 6: Después de inspeccionar todos los bloques de la imagen, normalizar las memorias intermedias de intensidad y ocultación con la memoria intermedia de ponderación para cada píxel.

Ifinal(x,t+0.5)=Ibuf(x)/Wbuf(x) proporciona el valor de intensidad de la imagen interpolada. Ofinal(x,t +0.5) = Obuf(x)/Wbuf(x) proporciona la correspondencia de ocultación.

Claims

REIVINDICACIONES

1.

Procedimiento para interpolación de imagen con compensación por movimiento que comprende etapas de: obtención de un campo de vector de movimiento aplicando un algoritmo de estimación de movimiento por bloques; comprobación de la fiabilidad de vector de movimiento; selección de un procedimiento de interpolación entre procedimientos de interpolación de vector nulo, unidireccional y bidireccional para cada posición espacial en la imagen a interpolar, en función de la comprobación de fiabilidad de vector y haciendo una interpolación compensada por ponderación sobre bloques vecinos para hallar valores de intensidad de bloque en la imagen a interpolar de acuerdo con los valores de intensidad y ponderación de los bloques vecinos mediante aplicación del procedimiento de interpolación seleccionado, caracterizado porque la comprobación de fiabilidad de vector se ejecuta calculando y comparando vectores de movimiento de los bloques en la dirección de movimiento.
2.

Procedimiento según la reivindicación 1, caracterizado porque las etapas de comprobación de fiabilidad de vector de movimiento y de interpolación compensada por movimiento se ejecutan bloque por bloque en un determinado orden de exploración.
3.

Procedimiento de acuerdo con la reivindicación 1, caracterizado porque las etapas de comprobación de fiabilidad de vector de movimiento y de interpolación compensada por movimiento se ejecutan bloque por bloque en un determinado orden de exploración de trama.
4.

Procedimiento según la reivindicación 1, caracterizado porque la comprobación de fiabilidad de vector se efectúa calculando las dos siguientes métricas

y

donde d(x) representa el vector de movimiento para la posición x, y A representa una variable.
5.

Procedimiento según la reivindicación 4, en el que la variable A puede tomar valores entre 0,5 y 1,0.
6.

Procedimiento según la reivindicación 4, caracterizado porque las métricas rf y rb se comparan con un valor umbral Tr, y en función de este resultado de comparación, se selecciona un procedimiento de interpolación apropiado, suministrándose dicha selección a la unidad de interpolación compensada por movimiento.
7.

Procedimiento según la reivindicación 6, caracterizado porque el procedimiento de interpolación apropiado se selecciona de manera que:

-

Si rb < Tr y rf < Tr bidireccional

-

Si rb < Tr y rf >= Tr unidireccional hacia atrás

-

Si rb >= Tr y rf < Tr unidireccional hacia delante

-

Si rb >= Tr y rf >= Tr interpolación de vector nulo
8. Procedimiento según la reivindicación 1, caracterizado porque, después de la selección de un procedimiento de interpolación, la etapa de interpolación compensada ponderada aplica las siguientes etapas:

-

determinación de un núcleo de ponderación para cada bloque de una proximidad de 3x3 bloques, en función del procedimiento de interpolación seleccionado,

-

para cada bloque, cálculo de interpolación para cada pixel l(x, t + 0,5) en función del tipo de interpolación determinado,

-

acumulación de intensidad de interpolación ponderada en una memoria intermedia de intensidad, de manera que

-

acumulación del correspondiente coeficiente de núcleo de ponderación en una memoria intermedia de ponderación, de manera que: Wbuf = Wbuf + w,

-

después de reconocer todos los bloques de la imagen, normalización de la memoria intermedia de intensidad con la memoria intermedia de ponderación para cada pixel, para así obtener la imagen interpolada compensada por movimiento.
9. Procedimiento según las reivindicaciones 7 y 8, caracterizado porque dicho procedimiento incluye adicionalmente etapas de:

-

acumulación de coeficientes de ponderación en una memoria intermedia de ocultación, de manera que:

-

un coeficiente de ponderación inverso se añade para cada interpolación unidireccional hacia delante;

-

un coeficiente de ponderación se añade para cada interpolación unidireccional hacia atrás;

-

no se añade coeficiente alguno para otros tipos de interpolación;

-

normalización de la memoria intermedia de ocultación con la memoria intermedia de ponderación, de manera que el mapa (correspondencia) filtrada (ajustada) resultante tiene valores comprendidos entre -1 y 1, será un mapa (correspondencia) de cobertura/sin cobertura: designando el lado negativo regiones de cobertura, mientras que el lado negativo designa zonas sin cobertura.
10.

Procedimiento según la reivindicación 1, caracterizado porque los pesos de contribución del bloque actual y de sus 8 adyacentes son un valor fijo y/o una función de la métrica de correspondencia y/o de la métrica de fiabilidad del vector actual para el bloque considerado.
11.

Procedimiento según la reivindicación 1, caracterizado porque adicionalmente comprende las etapas siguientes:

-

puesta a cero de una memoria intermedia de intensidad, de una memoria intermedia de ponderación pesos y de una memoria intermedia de ocultación para todos los píxeles Ibuf = 0, Wbuf = 0 et Obuf = 0;

-

reconocimiento de cada bloque sin importar el orden de exploración y cálculo de métricas rb y rf para comprobación de fiabilidad del vector de movimiento, de manera que

y

donde d(x) es el vector de movimiento del bloque en x;

-

determinación del tipo de interpolación y de su núcleo de ponderación para una proximidad de 3x3 bloques;

-

para cada bloque de la proximidad de 3x3 bloques, cálculo de interpolación para cada pixel I(x,t+0,5) en función del tipo de interpolación determinad ; -acumulación de la intensidad de interpolación ponderada y del correspondiente coeficiente de núcleo de ponderación en las memoria intermedias:

para casos de interpolación unidireccional donde w es el coeficiente de ponderación del bloque correspondiente en la proximidad de 3x3 bloques;

-

después del reconocimiento de todos los bloques de la imagen, la normalización de memorias intermedias de intensidad y de ocultación con la memoria intermedia de ponderación para cada pixel:

Ifinal(x,t+0,5) = Ibuf(x)/Wbuf(x), da el valor de intensidad de la imagen interpolada. Ofinal(x,t+0,5) = Obuf(x)/Wbuf(x) da el mapa de ocultación

Figura 1

2

4

2

4

6

4

2

4

2

Figura 2

1

1

1

1

1

1

1

1

1

Figura 3

Figura 4

REFERENCIAS CITADAS EN LA DESCRIPCIÓN

La lista de referencias citada por el solicitante lo es solamente para utilidad del lector, no formando parte de los documentos de patente europeos. Aún cuando las referencias han sido cuidadosamente recopiladas, no pueden excluirse errores u omisiones y la OEP rechaza toda responsabilidad a este respecto.

Documentos de patente citado en la descripción

• EP 1855474 A1 [0004]

Bibliografía de patentes citada en la descripción

• NOGAKI, S. ; OHTA, M. Circuits and Systems, • SUNG-HEE LEE ; OHJAE KWON ; RAE
1992. ISCAS ’92. Proceedings, 1992 [0003] HONG PARK. Weighted-adaptive motioncompensated frame rate up-conversion - Consumer Electronics. IEEE Transactions, August 2003, vol. 49 (3), 485-492 [0003]