ES2218986T3 - Sistema de procesamiento de video que tambien comprime datos de decision de codificacion. - Google Patents

Abstract

Un sistema de compresión de vídeo en el que un codificador actúa sobre una señal de vídeo y toma decisiones de codificación en un procedimiento de codificación por compresión para generar una señal codificada, y en el que un descodificador actúa sobre una señal codificada en un procedimiento de descodificación por compresión para generar una señal descodificada, en el que una representación de las decisiones de codificación acompaña a la señal de vídeo descodificada para uso en un procedimiento de codificación por compresión posterior, caracterizado porque la representación de las decisiones de codificación y la señal de vídeo descodificada pasa a través de canales separados y porque la información sobre la señal de vídeo descodificada es portada en dicha representación para permitir que se haga una verificación, antes del uso de las decisiones de codificación, acerca de si se ha cambiado la señal de vídeo en dicho canal separado, usándose las decisiones de codificación sólo en el caso de que no se detecte ningún cambio en la señal de vídeo.

Description

Sistema de procesamiento de vídeo que también comprime datos de decisión de codificación.

Esta invención se refiere a la manipulación de señales comprimidas o reducidas en la velocidad de transmisión de bitios.

En el ejemplo más importante, esta invención se refiere al sistema de compresión de vídeo MPEG2, y la descripción siguiente tomará MPEG2 como un sistema de compresión (o de reducción de la velocidad de transmisión de bitios) ilustrativo.

Como el vídeo comprimido encuentra crecientemente su camino al interior de la cadena de programa, es más probable que las corrientes de bitios sean descodificadas y recodificadas. Ejemplos en los que esto sucede incluyen la conmutación entre corrientes de bitios diferentes y el cambio entre formatos de velocidad de transmisión de bitios y de compresión. Es importante que se evite la pérdida innecesaria de calidad en estos casos.

Se ha propuesto en el documento EP-A-0 765 576 (equivalente al documento WO-A-95/35628), una solución en la que un bus de información acompaña a una señal descodificada y está disponible en un procedimiento de codificación posterior. En aparatos y canales diseñados para este fin, es posible para la señal de imagen descodificada ser acompañada por un bus de información que contiene toda la información lateral que está contenida en la señal MPEG, al lado de los coeficientes DCT. El bus de información puede contener, también, información adicional que está relacionada con el control del procedimiento de codificación o descodificación, pero que no forma parte de la corriente de bitios codificada. Puede incluir, por ejemplo, información estadística, información que se refiere a errores junto con instrucciones para su uso en ocultación de errores, vectores de movimiento de candidatos o tamaños recomendados de operación del cuantizador.

Se han descrito en el documento WO-A-98/03017, publicado el 22 de enero 1998, y, así, relevantes sólo para la novedad, técnicas por las que un bus de información puede pasar a lo largo de una trayectoria de vídeo. Un método usa un bus de información embebido en los bitios más bajos de la señal de vídeo descodificada (en el formato ITU-R Rec. 656), de manera que la calidad de imagen no resulte visiblemente afectada. En una versión de esto, los bitios de vídeo usados para transportar una decisión particular de codificación están espacial y temporalmente bloqueados al área de la imagen a la que corresponde. Alternativamente, la información puede tener una forma diferente, por ejemplo, usando partes no activas de la imagen, tales como el intervalo de supresión vertical (VBI). La descripción del documento WO-A-98/03017 está dirigida a acomodar equipo no diseñado para usar un canal separado.

Surge un problema en el caso de que no sea posible incrustar el bus de información en la señal de vídeo sin sufrir pérdida de datos excesiva y en el caso de que el equipo referido no se haya diseñado con un canal apropiado para portar separadamente el bus de información. Un ejemplo de esto se tiene cuando la señal de vídeo es grabada por un VTR digital que emplea compresión basada en los DCT, que tiende a cambiar los bitios mínimos de la señal.

En consecuencia, la presente solicitud describe un sistema de compresión de vídeo en el que un codificador actúa sobre una señal de vídeo y toma decisiones de codificación en un procedimiento de codificación por compresión para generar una señal codificada y en el que un descodificador actúa sobre la señal codificada en un procedimiento de descodificación por compresión para generar una señal descodificada, en el que una representación de las decisiones de codificación, o de algunas de ellas, se prevé en forma reducida de velocidad de transmisión de bitios y acompaña a la señal descodificada a través de un canal reducido en velocidad de transmisión de bitios.

El canal reducido en velocidad de transmisión de bitios puede tener una variedad de formas, incluyendo uno o más canales de audio (tales como pistas de audio VT o un grabador de audio separado); líneas VBI no usadas, un canal de vídeo con corrección significativa de errores y canales apropiados de datos (incluyendo canales de datos DVCpro).

Para el caso de una corriente de bitios MPEG-2, las decisiones de codificación incluyen típicamente:

\text{*} las dimensiones de imagen

\text{*} la velocidad de transmisión de cuadros

\text{*} la estructura de imagen (codificada en cuadro o codificada en campo)

\text{*} el tipo de imagen (I, P o B)

\text{*} si se usa predicción intracodificada de macrobloques

\text{*} si se usa predicción hacia delante, hacia atrás o bidireccional

\text{*} si se usa predicción basada en cuadro o en campo

\text{*} los vectores de movimiento

\text{*} las matrices de ponderación de la visibilidad del cuantizador

\text{*} la operación del cuantizador

\text{*} el estado de memoria intermedia de un descodificador que está descodificando la corriente de bitios

\text{*} la información sobre el uso de la velocidad de transmisión de bitios dentro de la corriente de bitios.

Cuando es posible mantener todas (o un subconjunto suficiente de) las misma decisiones al recodificar, se puede mostrar que el conmutador es transparente. En otros casos, tales como cuando se usa una nueva velocidad de transmisión de bitios al recodificar, es ventajoso todavía reutilizar muchas decisiones (por ejemplo, los vectores de tipo imagen y de movimiento), y tener en cuenta otras (por ejemplo, la escala del cuantizador).

Según la invención, las decisiones de codificación reducidas en velocidad de transmisión de bitios pasan a través de un canal separado conveniente, tal como uno o más canales de audio. Se describe, también, el uso de reducción de la velocidad de transmisión de bitios de las decisiones de codificación para permitirles que sean incrustados en la señal de vídeo de manera más robusta, de modo que se puedan recuperar sin errores.

En el caso de que el canal elegido no tenga capacidad suficiente para soportar el envío de las decisiones de codificación con palabras de código de longitud fija, se puede usar codificación de longitud variable. Sin embargo, el uso de codificación de longitud variable significa que la velocidad de transmisión de bitios a corto plazo puede exceder la que proporcionaría la codificación de longitud fija, y se requiere algún método para reducir esto.

Esta invención permite que se modifiquen decisiones al tiempo que se señala al recodificador que se han cambiado las decisiones y ya no se corresponden, así, con la corriente de bitios original.

Se describe, también, la conversión entre un bus de información embebido en la señal de vídeo y un bus de información basado en un canal lateral. Esto se usaría típicamente para integrar un VTR basado en los DCT en una infrastructura ITU-R Rec. 656.

Se describe, también, un sistema para producir una representación reducida de la velocidad de transmisión de bitios de las decisiones de codificación adecuada para pasar a través de un canal (constituido, por ejemplo, por uno o más canales de audio) en el que la velocidad de transmisión de bitios disponible puede ser insuficiente para portar las propias decisiones de codificación. Preferiblemente, se emplea codificación de longitud variable de la información.

Los siguientes son ejemplos de esto:

A. Una corriente de bitios de vídeo adaptable a MPEG, con coeficientes "simulados" y patrones de bloque codificados insertados para mantener legal la corriente de bitios. Estos no representan los coeficientes y los patrones de bloque codificados usados para la corriente de bitios original, pero proporcionarían las palabras de código legales más cortas.

B. Una corriente de bitios que usa una versión modificada del formato MPEG en la que se altera el elemento sintáctico de macrobloque, de manera que ya no incluye coeficientes o un patrón de bloque codificado. Esto significaría un pequeño cambio en el modo en el que se descodifica la corriente de bitios.

C. Como en la forma B. pero, además, algunas de las decisiones de codificación, en particular los vectores de movimiento, están codificadas de modo no adaptable a fin de reducir su velocidad de transmisión de bitios. Dependiendo de cómo se haga esto (para lo que se describen métodos en lo que sigue), puede existir un cambio pequeño o grande al modo en el que se descodifica la corriente de bitios.

La invención se describirá ahora a modo de ejemplo con referencia a los dibujos que se acompañan, en los que:

la figura 1 muestra un sistema según esta invención en el que se descodifica una corriente de bitios MPEG para su paso a través de un canal de vídeo hasta un codificador, sacándose las decisiones de codificación del descodificador y reduciéndose la velocidad de transmisión de bitios para su paso a través de un canal de corriente de información que acompaña el canal de vídeo hasta el codificador;

la figura 2 ilustra una modificación en la que se extraen las decisiones de codificación de la corriente de bitios MPEG, por delante del descodificador; y

la figura 3 muestra un sistema en el que las decisiones de codificación embebidas en una señal de vídeo (de acuerdo con el documento WO-A-98/03017) se extraen antes de que la señal de vídeo pase a través de -por ejemplo- un VTR digital.

Haciendo referencia inicialmente a la figura 1, ésta muestra un sistema en el que se descodifica una corriente de bitios MPEG en un descodificador MPEG-2 (10) para producir una señal de vídeo Rec. 656 y una salida separada de las decisiones de codificación, que se extraen de la corriente de bitios. Esta última tendría típicamente la forma de un "Bus de Información", como se describe en el documento EP-A-0 765 576. Las decisiones de codificación, en particular los vectores de movimiento, si es necesario, se modifican entonces (como se describe en lo que sigue) en el bloque (12) para modificar decisiones a fin de reducir el número de bitios requerido para codificarlas. Se codifican entonces con longitud variable en el VLC (14) usando una de las formas anteriores. Se puede añadir información adicional a la señal si se realizó modificación. La corriente de bitios resultante se almacena entonces en la memoria intermedia (18) para formar una Corriente de Información. Ésta se adapta entonces al canal particular (por ejemplo, se puede multiplexar entre varias corrientes de bitios de audio que se envían a un grabador de audio). El nivel de la memoria intermedia (18) se vuelve a enviar al bloque (12) para controlar el procedimiento de modificación y, por consiguiente, la velocidad de transmisión de bitios a corto plazo con la que entran en la memoria intermedia.

Después de pasar a través del canal (20) de la Corriente de Información y almacenarse posteriormente en la memoria intermedia (24), la Corriente de Información pasa a un VLD (26). El canal (20) de la Corriente de Información acompaña al canal de vídeo (22) que incluye típicamente equipo tal como un VTR. La Corriente de Información descodificada puede ser usada entonces por un codificador MPEG (28) cuya entrada es la salida del canal de vídeo. En el caso de que la Corriente de Información contenga información que señale que se han modificado las decisiones de codificación, el codificador puede rehacer entonces algunas o todas las decisiones.

Hay varias opciones posibles para modificar las decisiones de codificación a fin de reducir el número de bitios requerido para codificarlas:

1. Los macrobloques pueden tener hasta cuatro vectores de movimiento, dependiendo del tipo de predicción y compensación de movimiento empleado. Se pueden enviar menos, o ningún, vectores de movimiento (esto requiere cambios a otros elementos sintácticos MPEG: de tipo macrobloque y de tipo movimiento). Los vectores de movimiento se pueden remplazar con vectores de movimiento simulados que codifican más eficientemente y con un conjunto de indicadores para marcar los vectores de movimiento como no válidos.

2. Los vectores de movimiento están codificados de modo diferencial en MPEG, usando un conjunto de predictores que se puede actualizar en una velocidad de transmisión de macrobloques. El número de bitios requerido para codificar un vector de movimiento dado aumenta con el tamaño del diferencial correspondiente. Por lo tanto, se pueden modificar los vectores de movimiento con diferenciales grandes para que tengan un diferencial menor, incluyendo el caso de diferencial cero.

3. La sintaxis MPEG contiene elementos de velocidad de transmisión de imágenes que especifican los intervalos horizontal y vertical de los vectores de movimiento que aparecerán en la próxima imagen (los valores de código f). El valor de éstos afecta en cuántos bitios se usan para codificar los vectores de movimiento (diferencial). Empleando las opciones 1 y/o 2, puede ser posible modificar los valores de código f y codificar los vectores de movimiento restantes en menos bitios.

4. Hay una información suplementaria (6 bitios) en el caso de que el parámetro de la operación de cuantización cambie entre macrobloques adyacentes. Cambiando los parámetros de la operación de cuantización para que sean los mismos, se elimina esta información suplementaria.

Además, existen mejorías que se refieren a cuándo emplear las técnicas anteriores, a fin de minimizar el número de macrobloques que se deben modificar para guardar un número dado de bitios en la Corriente de Información. El fin de hacer esto es maximizar la cantidad de señal de vídeo que se puede grabar transparentemente:

1. Las imágenes B pueden usar predicción bidireccional y, así, tienden a requerir más bitios para sus decisiones de codificación, especialmente bitios de vectores de movimiento. Debido a esto y, también, puesto que cualquier pérdida en transparencia al recodificar no se propaga a otras imágenes, los macrobloques en imágenes B se deberían modificar típicamente con prioridad superior a los de otros tipos de imagen.

2. Los macrobloques alrededor de los bordes de la imagen deberían tener prioridad superior a los más cercanos al centro, puesto que la pérdida de transparencia es menos probable que sea perceptible alrededor de los bordes.

3. "Mirando hacia delante" a varios macrobloques, puede ser posible "descubrir" secuencias de macrobloques que proporcionarían un buen ahorro de velocidad de transmisión de bitios.

Cuando se realiza la modificación, se pueden usar uno o más de los siguientes métodos para transportar esta información:

1. Se añaden uno o más elementos sintácticos nuevos a la corriente de bitios. Este método no es posible para la forma A de la Corriente de Información (la forma adaptable a MPEG).

2. Se pueden usar valores no utilizados de ciertos elementos sintácticos. En particular, al eliminar los coeficientes de la sintaxis se elimina la necesidad de los valores "no codificados" de tipo macrobloque. Estos se pueden reutilizar para indicar que se han modificado las decisiones. Este método no es posible para la forma A de la Corriente de Información.

3. Sólo para la forma A, la información se puede transportar en la elección de los valores simulados de los coeficientes y/o los patrones de bloque codificados insertados para mantener la Corriente de Información como una corriente de bitios MPEG legal.

4. Se usan datos de usuario.

Para la forma C de la Corriente de Información, se usa codificación no adaptable para proporcionar mayor reducción en la velocidad de transmisión de bitios. Ejemplos de métodos para hacer esto incluyen:

1. Se usa un predictor de vectores de movimiento más complejo, por ejemplo, un predictor bidimensional que tiene en cuenta los vectores usados en los macrobloques por encima del actual así como el macrobloque a la izquierda del mismo.

2. Se calcula un modelo para la imagen, o para una porción de ella, que proporciona una descripción simplificada de una decisión de codificación. Típicamente, se usarían datos de usuario para enviar el modelo al comienzo de la imagen. La información de la velocidad de transmisión de macrobloques se usa para describir desviaciones de este modelo. Para los vectores de movimiento, el modelo se puede considerar como un predictor avanzado.

3. Son adecuadas técnicas, tales como codificación en árbol de cuadretes, para decisiones que sólo tienen un número relativamente pequeño de valores posibles, tales como de tipo macrobloque, de tipo movimiento y de tipo DCT. Se puede usar, también, codificación en árbol de cuadretes para codificar vectores que aparecen en un "menú" (a este respecto, se puede hacer referencia al documento GB 2 240 005).

Todos los métodos anteriores se pueden ampliar para permitir la modificación de las decisiones de codificación cuando sea necesario y, de nuevo, se podría señalar cualquier modificación en la Corriente de Información.

Según la invención, el sistema descrito anteriormente está mejorado, como se muestra por las líneas de puntos en la figura 1. Se añade información a la Corriente de Información, lo que proporciona información sobre la señal de vídeo descodificada. Cuando la Corriente de Información está descodificada, se puede verificar la información respecto al vídeo a recodificar. Esto permite al recodificador tomar nuevas decisiones de codificación en el caso de que se haya cambiado sustancialmente la señal de vídeo, por ejemplo, cuando se han añadido leyendas. Típicamente, la información sería una suma de verificación de la velocidad de transmisión de macrobloques (calculada en el bloque (16) y comparada en el bloque (30)) si el canal de vídeo es transparente, o una medida de la velocidad de transmisión de macrobloques de la media y la varianza, si el canal de vídeo no es transparente (por ejemplo, cuando pasa a través de un VTR).Se pueden emplear medidas estadísticas distintas de la media y la varianza, y se pueden calcular en regiones de imagen distintas de los macrobloques.

Un enfoque alternativo que no requiere información estadística o de suma de verificación es incluir elementos adicionales en la Corriente de Información que permitan que una unidad de procesamiento en el Canal de la Corriente de Información señale explícitamente que se ha cambiado la señal de vídeo descodificada. La naturaleza y el grado del cambio se pueden incluir opcionalmente en la señal. Típicamente, se habría requerido un bit adicional añadido por macrobloque a la Corriente de Información. Tal disposición sería útil en el caso de que se realice procesamiento, tal como inserción de logotipos, limpieza o manipulación en un sistema de edición basada en JPEG o DV.

Una variante de la invención se muestra en la figura 2, en la que a los bloques que sirven para la misma función que los bloques en la figura 1 se les ha dado el mismo número de referencia y no se describen más. En la figura 2, en lugar de codificar la Corriente de Información a partir de las decisiones extraídas de la corriente de bitios, las palabras de código MPEG que representan las decisiones se separan y pasan al bloque (50) con los cambios hechos, según se requiera donde haya una necesidad de modificar decisiones o añadir información adicional. El bloque (50) "para modificar corrientes de bitios" sirve, así, como una función análoga al bloque (12) "para modificar decisiones", aunque actuando sobre representaciones codificadas de longitud variable de las decisiones de codificación, en lugar de sobre las propias decisiones de codificación.

Otra variante se muestra en la figura 3. Aquí, una Corriente de Información que está embebida en una señal de vídeo (como se ha mencionado anteriormente y como se ha descrito en el documento WO-A-98/03017) se convierte en uno de los formatos descritos, y vuelta a empezar. Esto es adecuado para adaptar un VTR, etc. en una infrastructura que, de otro modo, emplearía una Corriente de Información embebida. Más específicamente, la figura 3 muestra un bloque (60) que sirve para extraer un bus de información embebido de una señal de vídeo entrante. El bus de información extraído se modifica y codifica con longitud variable de la misma manera que se muestra en la figura 1, para pasar a través de un canal (20) de la Corriente de Información. Aguas abajo del canal de vídeo (22) restringido, la Corriente de Información se codifica en longitud variable para volverse a incrustar en la señal de vídeo en el bloque (62).

Claims (10)

1. Un sistema de compresión de vídeo en el que un codificador actúa sobre una señal de vídeo y toma decisiones de codificación en un procedimiento de codificación por compresión para generar una señal codificada, y en el que un descodificador actúa sobre una señal codificada en un procedimiento de descodificación por compresión para generar una señal descodificada, en el que una representación de las decisiones de codificación acompaña a la señal de vídeo descodificada para uso en un procedimiento de codificación por compresión posterior, caracterizado porque la representación de las decisiones de codificación y la señal de vídeo descodificada pasa a través de canales separados y porque la información sobre la señal de vídeo descodificada es portada en dicha representación para permitir que se haga una verificación, antes del uso de las decisiones de codificación, acerca de si se ha cambiado la señal de vídeo en dicho canal separado, usándose las decisiones de codificación sólo en el caso de que no se detecte ningún cambio en la señal de vídeo.

2. Un sistema de compresión de vídeo según la reivindicación 1, en el que dicha información sobre la señal de vídeo descodificada comprende una suma de verificación de un macrobloque o de otra región de imagen.

3. Un sistema de compresión de vídeo según la reivindicación 1, en el que dicha información sobre la señal de vídeo descodificada comprende información estadística.

4. Un sistema de compresión de vídeo según la reivindicación 3, en el que dicha información comprende la media y la varianza de un macrobloque o de otra región de imagen.

5. Aparato de descodificación por compresión de vídeo, que comprende un descodificador adaptado para actuar sobre una señal codificada en un procedimiento de descodificación por compresión para generar una señal descodificada, sirviendo el descodificador, también, para generar una representación de las decisiones de codificación a fin de acompañar a la señal de vídeo descodificada para uso en un procedimiento de codificación por compresión posterior, dando el descodificador salida en canales separados a la representación de las decisiones de codificación y a la señal de vídeo descodificada, caracterizado porque están previstos medios para insertar información sobre la señal de vídeo descodificada en dicha representación para permitir que se haga una verificación, antes del uso de las decisiones de codificación, se haya cambiado o no la señal de vídeo en dicho canal separado.

6. Un sistema de compresión de vídeo según la reivindicación 5, en el que dicha información sobre la señal de vídeo descodificada comprende una suma de verificación de un macrobloque o de otra región de imagen.

7. Un sistema de compresión de vídeo según la reivindicación 5, en el que dicha información sobre la señal de vídeo descodificada comprende información estadística.

8. Aparato de codificación por compresión de vídeo, que comprende un codificador adaptado para recibir en canales separados una señal de vídeo y una representación de las decisiones de codificación y adaptado para usar las decisiones de codificación en un procedimiento de codificación por compresión para generar una señal codificada, caracterizado porque se han previsto medios para usar información sobre la señal de vídeo portada en dicha representación, a fin de hacer una verificación, antes del uso de las decisiones de codificación, acerca de si se ha cambiado la señal de vídeo en dicho canal separado desde la formación de dicha representación, usándose las decisiones de codificación sólo en el caso de que no se detecte ningún cambio en la señal de vídeo.

9. Un sistema de compresión de vídeo según la reivindicación 8, en el que dicha información sobre la señal de vídeo comprende una suma de verificación de un macrobloque o de otra región de imagen.

10. Un sistema de compresión de vídeo según la reivindicación 8, en el que dicha información sobre la señal de vídeo comprende información estadística.