ES2299685T3 - Codificacion de secuencias de imagenes con multiples bloques de imagenes e imagenes de referencia. - Google Patents
Codificacion de secuencias de imagenes con multiples bloques de imagenes e imagenes de referencia. Download PDFInfo
- Publication number
- ES2299685T3 ES2299685T3 ES03704244T ES03704244T ES2299685T3 ES 2299685 T3 ES2299685 T3 ES 2299685T3 ES 03704244 T ES03704244 T ES 03704244T ES 03704244 T ES03704244 T ES 03704244T ES 2299685 T3 ES2299685 T3 ES 2299685T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- images
- macroblock
- coding
- intracoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000033001 locomotion Effects 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Procedimiento para la restricción de una imagen de referencia al codificar un macrobloque de una imagen para utilizar en redes sensibles al error utilizando varias imágenes de referencia y utilizando al menos un modo de intercodificación teniendo en cuenta un primer conjunto ({Mp, R}) de posibles combinaciones ((m, r)) de en cada caso uno de los modos de intercodificación (Mp) y una de las imágenes de referencia (R) accesibles, determinándose vectores de movimiento optimizados (v(m, r)) para las combinaciones de este primer conjunto ({M p, R}) y refiriéndose cada vector de movimiento (v (m, r)) a una zona de la imagen en la imagen de referencia asociada al mismo, caracterizado porque a partir del primer conjunto ({M p, R}) se calcula una cantidad restringida (Op), mediante eliminación de aquellas combinaciones del primer conjunto ({Mp, R}) en las que el correspondiente vector de movimiento se refiere a una zona de imagen que al menos en una imagen de referencia posterior en el tiempo a la imagen de referencia asociada se ha codificado para evitar la propagación de errores con un modo de intracodificación.
Description
Codificación de secuencias de imágenes con
múltiples bloques de imágenes e imágenes de referencia.
La invención se refiere a un procedimiento para
codificar una secuencia de imágenes digitalizadas con múltiples
bloques de imágenes, así como a un procedimiento de decodificación
correspondiente. Además, se refiere la invención a los
correspondientes dispositivos de codificación y decodificación.
Los estándares actuales de videocodificación
(ver por ejemplo el documento [1]) posibilitan la codificación de
secuencias de imágenes, actualizándose los bloques de macroimágenes
utilizados para una estimación del movimiento mediante
intracodificaciones. De esta manera se evitan propagaciones de
errores cuando hay errores de transmisión en la secuencia de
imágenes. Las actualizaciones mediante intracodificaciones pueden
realizarse a intervalos regulares o basándose en criterios
predeterminados. Además, pueden utilizarse en procedimientos de
videocodificación actuales intercodificaciones que recurren a varias
imágenes de referencia previamente codificadas. No obstante, no hay
ningún mecanismo que posibilite una videocodificación eficiente con
intercodificaciones e intraactualizaciones sobre redes susceptibles
de errores.
El folleto "Proc. Intl. Conf. On Image
Processing ICIP" (Actas de la conferencia internacional sobre
procesamiento de la imagen ICIP), Lausana, vol. 1, 16.09.1996,
págs. 763-766 (Lio y colaboradores) describe un
procedimiento de intraactualización para la videocodificación a
través de canales afectados por errores. Este procedimiento analiza
la correspondiente sensibilidad de macrobloques frente a errores de
canal y obtiene a partir de ello una prescripción para
intraactualizaciones.
El folleto "Actas IEEE ICASSP", San
Francisco. Vol. 5, 23.3.1992, págs. 545-548 (Haskell
y colab.) describe varios procedimientos posibles para la
resincronización de un video compensado en movimiento, que se ha
visto afectado por la pérdida de células ATM.
Por lo tanto es tarea de la invención poner a
disposición un procedimiento para codificar una secuencia de
imágenes digitalizadas que utilice múltiples modos de
intracodificación e intercodificación, así como varias imágenes de
referencia y que asegure una reconstrucción fiable de las imágenes
digitalizadas en redes susceptibles de errores.
Esta tarea se resuelve según las características
de las reivindicaciones independientes. De las reivindicaciones
subordinadas resultan perfeccionamientos de la invención.
En el procedimiento de codificación
correspondiente a la invención se codifica una secuencia de imágenes
digitalizadas con múltiples bloques de imágenes en redes
susceptibles de error, codificándose una parte de los macrobloques
de las imágenes en función de criterios predeterminados en un primer
modo de intracodificación. Además, se codifica otra parte de los
macrobloques de las imágenes en un segundo modo de intracodificación
o en un modo de intercodificación, eligiéndose en el modo de
intercodificación para los macrobloques vectores de movimiento a
partir del conjunto de las imágenes de referencia accesibles.
Además, se restringe la elección a partir del conjunto de imágenes
de referencia accesibles tal que se refiere a zonas de imágenes que
posteriormente no se someten al primer modo de intracodificación.
De esta manera se evita que en la intercodificación se haga
referencia a zonas de imágenes de referencia que a continuación se
someten al menos parcialmente a una intracodificación. En
particular cuando se realiza la codificación en el primer modo de
intracodificación por razones de resistencia a los errores, para
evitar propagaciones de errores en transmisiones afectadas por
errores, queda asegurado de esta manera que no se hace referencia a
zonas de imágenes que se han transmitido con errores. Se asegura
así una codificación eficiente y a la vez resistente a errores en
redes susceptibles de errores.
En una forma constructiva de la invención, se
realiza la codificación en el primer modo de intracodificación a
intervalos de tiempo regulares. Alternativamente puede repetirse la
codificación en el primer modo de intracodificación a intervalos de
tiempo aleatorios.
En otro perfeccionamiento se realiza la
codificación en el segundo modo de intracodificación o en el modo
de intercodificación por razones de eficiencia en la codificación.
Una intracodificación debida a razones de eficiencia en la
codificación procede en particular cuando surge un objeto en la
secuencia de imágenes sólo temporalmente en algunas imágenes.
En una forma constructiva preferente de la
invención se realizan los siguientes pasos para restringir las
imágenes de referencia para la codificación de un macrobloque. Para
cada modo de intercodificación se eligen a partir del conjunto de
modos posibles de intercodificación y para cada imagen de referencia
a partir del conjunto de imágenes de referencia accesibles,
mediante la compensación de movimiento optimizada en
distorsión/número de bits, vectores de movimiento optimizados a
partir del conjunto de vectores de movimiento posibles. A partir de
un conjunto completo que está compuesto por la combinación posible
de modos de intercodificación e imágenes de referencia, se
confecciona un conjunto restringido, eliminándose las combinaciones
que han sido codificadas en una imagen posterior en un primer modo
de intracodificación. Basándose en el conjunto restringido y en un
conjunto de modos de intracodificación, se forma la mejor
combinación basada en criterios de distorsión/número de bits. Para
el caso de que el bloque de imágenes haya sido codificado en la
etapa precedente con un modo de intracodificación, se investiga en
otra etapa más si el bloque de imágenes ha sido intracodificado por
razones de criterios de resistencia a errores (primer modo de
intracodificación) o debido a la optimización de la
distorsión/número de bits (segundo modo de intracodificación). Puede
determinarse así un modo óptimo de codificación para los
macrobloques a codificar. La utilización de criterios de
distorsión/número de bits ya se conoce desde hace mucho tiempo por
el estado de la técnica y se describe por ejemplo en los documentos
[3] y [4].
En un perfeccionamiento ventajoso de la
invención se determinan los criterios de distorsión/número de bits
para determinar la mejor combinación en función de la tasa de
errores que es de esperar en la transmisión de las imágenes
codificadas. Ventajosamente incluye, para la determinación de los
criterios de distorsión/número de bits, la distorsión de los
valores de píxeles la suma de los cuadrados de las diferencias entre
los valores de píxeles antes de la codificación y los
correspondientes valores de píxeles decodificados. Puesto que la
distorsión en la codificación usualmente no se conoce, existe en una
forma constructiva especialmente preferente la posibilidad de
realizar una estimación de la distorsión para determinar los
criterios de distorsión/número de bits.
Además del procedimiento de codificación antes
descrito, se refiere la invención al correspondiente procedimiento
para decodificar una secuencia de imágenes digitalizadas en redes
susceptibles de error, estando configurado el procedimiento tal que
se decodifica una secuencia codificada de imágenes digitalizadas con
el procedimiento de codificación correspondiente a la invención. En
una forma constructiva preferente del procedimiento de codificación
se utiliza en la decodificación un encubrimiento del error.
La invención se refiere también a un dispositivo
para codificar una secuencia de imágenes digitalizadas en redes
susceptibles de error, estando configurado el dispositivo tal que
puede realizarse el procedimiento de codificación correspondiente a
la invención antes descrito. Además incluye la invención el
correspondiente dispositivo para decodificar imágenes digitalizadas
en redes susceptibles de error, estando configurado el dispositivo
tal que puede realizarse el procedimiento de decodificación antes
descrito.
Ejemplos de ejecución de la invención se
describen a continuación en base a los dibujos adjuntos.
Se muestra en
figura 1 el detalle de una secuencia de imágenes
decodificadas, habiendo sido codificadas previamente las imágenes
con un procedimiento según el estado de la técnica; y
figura 2 un detalle correspondiente a la figura
1 de una secuencia de imágenes decodificadas, habiéndose
decodificado previamente las imágenes con el procedimiento
correspondiente a la invención.
La secuencia de imágenes representada en la
figura 1 se codificó con el codificador descrito en el documento
[1], realizando este codificador intraactualizaciones en un modo de
intracodificación a intervalos regulares, para evitar una
propagación del error en el caso de una transmisión afectada por
error de la secuencia de imágenes en el decodificador. Las
intraactualizaciones corresponden a las codificaciones en un primer
modo de intracodificación según la terminología de las
reivindicaciones.
La transmisión de la secuencia de imágenes se
realiza mediante las muestras de prueba de Internet que se describen
en el documento [2]. La secuencia de imágenes se transmite aquí en
paquetes de datos, estando compuesto un paquete de datos por dos
filas de bloques de imágenes. Los bloques de imágenes son a
continuación los llamados bloques de macroimágenes, cuyo
desplazamiento se determina en la intercodificación mediante
vectores de movimiento. El procedimiento de codificación con el que
se codificó la secuencia de imágenes representada en la figura 1,
incluye además un segundo modo de intracodificación y un modo de
intercodificación en el sentido de la terminología de las
reivindicaciones. En el modo de intercodificación se realiza una
estimación de movimiento con referencia a como máximo cinco bloques
de imágenes de referencia.
El detalle de la secuencia de imágenes muestra
las imágenes número 9 a número 12 de esta secuencia. Para una mejor
representación de la secuencia de imágenes, se utilizó además un
encubrimiento del error sencillo mediante valores acromáticos. En
la transmisión de la secuencia de imágenes se perdió en la primera
imagen de la secuencia un paquete. Este error de transmisión puede
verse aún en la imagen número 9 de la secuencia, tal como puede
observarse mediante las bandas horizontales en la imagen número 9 de
la figura 1. En la imagen número 10 se realiza una
intraactualización de una parte de los bloques de imágenes, con lo
que una parte de la zona de imagen afectada por el error en la
imagen número 10 ha desaparecido. En la imagen número 11 se ha
realizado una intercodificación con ayuda de imágenes de
referencia, encontrándose las imágenes de referencia en el tiempo
antes de la imagen número 10 y con ello no contienen la
intraactualización. Por ello aparece una gran parte de la zona
afectada por el error de nuevo en la imagen número 11. El mismo
fenómeno se presenta en la imagen número 12. Mediante este fenómeno
no sólo aumenta objetivamente la distorsión en la imagen, sino que
el efecto en la imagen se percibe subjetivamente como muy
perturbador.
Las perturbaciones de la imagen antes descritas
han de atribuirse a que en la codificación utilizada para la
secuencia de la figura 1 se combina una primera intracodificación
con una intercodificación que utiliza imágenes de referencia
múltiples. Se podría evitar que se presentasen estas perturbaciones
no recurriendo a imágenes de referencia múltiples en transmisiones
afectadas por error, pero ello reduciría considerablemente la
potencia de la compresión.
Para evitar en gran medida las perturbaciones
antes descritas, se realiza con el procedimiento de codificación
correspondiente a la invención una restricción de las imágenes de
referencia en el sentido de que en la intercodificación sólo se
utilizan aquellos bloques de imágenes de referencia que tras la
codificación de la imagen de referencia no han sido sometidos a
ninguna intraactualización. Los resultados del procedimiento
correspondiente a la invención se representan la figura 2. La
figura 2 muestra la misma secuencia de imágenes que la figura 1,
con la diferencia de que se ha utilizado el procedimiento de
codificación correspondiente a la invención. Se observa que las
perturbaciones de la imagen han desaparecido en las imágenes número
11 y número 12. Esto es debido a que en la intercodificación no se
ha incluido ninguna imagen de referencia que se transmita con
errores al decodificador. El aumento de la velocidad de bits que
resulta debido al procedimiento correspondiente a la invención es
relativamente moderado y se encuentra en solamente un 5%.
A continuación se describirán en detalle formas
constructivas del procedimiento correspondiente a la invención a
modo de ejemplo. En una forma constructiva del procedimiento se
eligen para cada modo de codificación de macrobloques m a partir
del conjunto de modos posibles de intercodificación M_{p} y para
cada imagen de referencia r a partir del conjunto de imágenes de
referencia accesibles R vectores de movimiento óptimos v(m,
r) del conjunto de vectores de movimiento V(m) para la
compensación del movimiento. La selección se realiza según
criterios de distorsión/número de bits. Matemáticamente pueden
representarse los criterios de distorsión/número de bits como
sigue:
incluyendo D_{DFD}(m, r,
v) la distorsión tras la compensación de movimiento y R_{motion}
(m, r, v) el conjunto de bits que son necesarios para la
codificación del correspondiente vector de movimiento. La función
(D_{DFD}(m, r, v) +
\lambda_{motion}R_{motion}(m, r, v)) es una llamada
función de costes de Lagrange, que incluye un multiplicador de
Lagrange \lambda_{motion}. Esta función se minimiza, con lo que
se averiguan vectores de movimiento óptimos en cuanto a la
distorsión y a la necesidad de espacio de memoria para el factor de
movimiento. Como primer resultado se obtiene así para cada imagen de
referencia r y cada modo de codificación del macrobloques m
vectores de movimiento optimizados v(m,
r).
En una siguiente etapa se restringe la cantidad
de vectores de movimiento, eliminándose combinaciones a partir del
conjunto compuesto por modos de intercodificación M_{p} e imágenes
de referencia R en los que se hace referencia a zonas de imagen que
posteriormente se someterán a una intraactualización, por ejemplo
por razones de resistencia a errores. Así se obtiene una cantidad
O_{P} de valores posibles m y r para los vectores de movimiento,
que es como sigue:
Siendo
k = 1, ..., K el número de un bloque de
imágenes;
f el vector (f_{1},..., f_{K}), siendo la
variable f_{i} el número que indica para el bloque de imágenes
número i el número de la imagen de referencia para el que se ha
realizado la última intraactualización;
S_{minfi}(v(m, r),f, k) es una
operación que para el bloque de imágenes k averigua en función de
v(m, r) y f el número de la imagen de referencia que debido
a la restricción de imágenes de referencia es la última imagen de
referencia permitida.
Si resulta que el número de la última imagen de
referencia permitida es mayor que el número de la imagen de
referencia r, se trata de una combinación (m, r) cuya imagen de
referencia se encuentra dentro de la cantidad de imágenes de
referencia restringida por el procedimiento correspondiente a la
invención. Si la última imagen de referencia permitida es inferior
a la imagen de referencia r, se desecha la correspondiente
combinación (m, r).
La cantidad O_{P} restringida que resulta de
la etapa precedente de imágenes de referencia y modos de
intercodificación m se combina con un conjunto de modos de
intracodificación M_{I} utilizable en el procedimiento
correspondiente a la invención y a partir de la cantidad resultante
de la combinación O = (M_{I}, O_{P}) se averigua de nuevo
mediante los criterios de distorsión/número de bits el modo de
codificación optimizado O(k) para cada macrobloque. En el
caso de que este macrobloque se intracodifique forzosamente, por
ejemplo debido a intraactualizaciones regulares o aleatorias,
entonces se restringe la cantidad de O a exclusivamente intramodos,
es decir O = M_{I}. Naturalmente también se podría eliminar en
este caso la determinación de O_{P}. Matemáticamente pueden
formularse los criterios de distorsión/número de bits a su vez como
problema de minimización de una función de costes de Lagrange:
describiendo R(o) el
conjunto de bits para codificar el bloque de imágenes en el modo de
codificación o y representando D(o) la distorsión para este
modo de
codificación.
En el caso de que en el procedimiento
correspondiente a la invención tenga lugar una intraactualización
regular o aleatoria, resulta la distorsión como la suma de las
diferencias al cuadrado entre el bloque de imágenes inicial y el
bloque de imágenes obtenido tras la decodificación. Si la
intraactualización debe realizarse sobre la base de una
codificación adaptiva de canal optimizada en cuanto a errores que se
describe más abajo, resulta la distorsión como el valor esperable
de la distorsión en el decodificador.
En una etapa siguiente debe detectarse además si
se ha intracodificado un bloque de imágenes intracodificado por
razones de resistencia al error para evitar propagaciones de errores
o por razones de eficiencia de codificación. Una intracodificación
por razones de eficiencia en la codificación existe en particular
cuando un objeto aparece sólo temporalmente en la secuencia de
imágenes. En una intracodificación debida a razones de eficiencia en
la codificación, no se desea una restricción de las imágenes de
referencia. Para averiguar las razones para la intracodificación,
se realiza de nuevo una optimización distorsión/número de bits según
la ecuación (3), utilizándose no obstante ahora siempre el conjunto
total O = (M_{I}, O_{P}) y como medida de la distorsión la suma
de los cuadrados de las diferencias entre el bloque de imágenes
inicial y el bloque de imágenes obtenido tras la decodificación. El
resultado de la optimización se denomina \delta(k). Se
activa a continuación un indicador de resistencia al error e_{k},
siendo e_{k} = \delta_{o(k)\neq \delta(k)} y
\delta_{Bedingung} (condición) el símbolo de Kronecker, que es
1 si la condición se cumple y que caso contrario tiene el valor
cero. Así se ha realizado la intracodificación por razones de
resistencia al error cuando el indicador está colocado en 1.
Cuando todos los bloques de imagen de una imagen
han sido procesados, se actualiza el vector f para todas las
inscripciones f_{k} para las que el indicador de resistencia a
errores e_{k} está colocado en 1. De esta manera se evita una
restricción de la imagen de referencia para tales
intracodificaciones que se realizaron por razones de eficiencia de
codificación y con ello puede realizarse de manera eficiente la
aparición y desaparición de objetos mediante la codificación con
ayuda de varias imágenes de referencia.
A continuación se describirá una forma
constructiva del procedimiento correspondiente a la invención, en el
que se realiza una elección de imágenes de referencia adaptiva de
canal sobre la base de criterios de distorsión/número de bits. Para
ello es necesario estimar la distorsión D(o) en el
decodificador. Las posibilidades para estimar esta distorsión se
conocen por ejemplo por los documentos [5], [6] y [7]. Una
posibilidad de calcular la distorsión es la inclusión del
comportamiento de canal aleatorio C en la estimación de la
distorsión. El comportamiento de canal C tras la transmisión de una
imagen n viene así dado por la secuencia binaria (0,
1)^{p(n)}, siendo p(n) la cantidad de
paquetes transmitidos que son necesarios para transmitir las
imágenes 1 a n. Un 0 en la secuencia designa entonces un paquete
correctamente recibido y por el contrario un 1 señala un paquete
perdido. La variable aleatoria que describe la secuencia binaria
hasta la imagen n se denomina C_{p(n)}. La distorsión de
píxeles en el decodificador depende del valor de píxeles
reconstruido en el decodificador, que se denomina \hat{s}_{i} y
que le es desconocido al codificador que realiza la codificación. La
distorsión de píxeles depende del comportamiento de canal C y del
modo de codificación o elegido, es decir, \hat{s}_{i} =
\hat{s}_{i}(C_{p(n)},o). La distorsión se
estima como la suma de los valores esperados de las distorsiones de
píxeles al cuadrado d_{i}(o) de todos los macrobloques i,
suponiéndose que el codificador conoce el comportamiento de canal
C_{p(n)}. Para la distorsión de píxeles d_{i}(o)
para el macrobloque i resulta:
siendo
Ec_{p(n-1)} el valor esperado de la
diferencia de cuadrados del valor original del píxeles y del valor
de píxeles reconstruido promediado a través del canal
C_{p(n-1)}.
Para el cálculo del valor esperado puede
utilizarse el siguiente método sencillo. Se supone que se dispone
de T copias de la variable aleatoria "comportamiento de canal"
en el codificador. Estas copias se denominan
C_{p(n)}(t), con
t = 1,..., T. Además se supone que todas las variables aleatorias C_{p(n)}(t) son idénticas y están distribuidas estadísticamente de forma independiente. Según la ley de los grandes números resulta con ello para T \rightarrow \infty:
t = 1,..., T. Además se supone que todas las variables aleatorias C_{p(n)}(t) son idénticas y están distribuidas estadísticamente de forma independiente. Según la ley de los grandes números resulta con ello para T \rightarrow \infty:
Con la expresión del lado izquierdo puede
estimarse así el valor esperado d_{i}(o) y en una siguiente
etapa calcularse la distorsión esperada D_{i}(o). La
reconstrucción de los valores de píxeles depende del comportamiento
de canal
C_{p(n-1)}(t) así como del encubrimiento en el decodificador. Mediante la última fórmula indicada puede estimarse en el codificador cómo será de intensa la distorsión en el decodificador.
C_{p(n-1)}(t) así como del encubrimiento en el decodificador. Mediante la última fórmula indicada puede estimarse en el codificador cómo será de intensa la distorsión en el decodificador.
[1] G. Bjontegaard, T. Wiegand,
"Modelo de prueba a largo plazo H.26L número 8
(TML-8) versión 0.", ITU-T VCEG,
doc. VCEG-N10, septiembre 2001
[2] S. Wenger, "Condiciones comunes
para el caso Internet/H.323",ITU-T VCEG
(SG16/Q15), doc. Q15-I-61, Noveno
encuentro, Red Bank, NJ, Octubre 1999
[3] T. Stockhammer, T. Oelbaum, D.
Marpe, y T. Wiegand, "Resultados de simulación H.26L
para condiciones comunes para H.323/caso de Internet",
ITU-T VCEG (SG16/Q6), doc. VCEG-N50,
Encuentro nº 14, Santa Barbara, CA, septiembre 2001.
[4] G.J. Sullivan y T. Wiegand,
"Optimización de la distorsión/número de bits para la compresión
de video" IEEE Revista de Procesamiento de Señales, vol.
15, núm. 6, págs. 74-90, nov. 1998.
[5] R. Zhang, S. L. Regunathan y
K. Rose "Codificación de video con conmutación
inter/intramodo óptima para la resistencia a pérdida de paquetes"
IEEE JSAC, vol. 18, núm. 6, págs. 966-976
[6] G. Cote, S. Shirani, F.
Kossentini, "Selección del modo óptimo y sincronización
para comunicaciones de video resistentes sobre redes propensas a
error", IEEE JSAC, vol. 18, núm. 6, págs
952-965.
[7] T. Wiegand, N. Färber, K.
Stuhlmüller y B. Girod, "Transmisión de video
resistente al error utilizando predicción compensada en movimiento
con memoria a largo plazo", en IEEE JSAC, vol. 18, núm. 6,
págs. 1050-1062.
Claims (8)
1. Procedimiento para la restricción de una
imagen de referencia al codificar un macrobloque de una imagen para
utilizar en redes sensibles al error utilizando varias imágenes de
referencia y utilizando al menos un modo de intercodificación
teniendo en cuenta un primer conjunto ({M_{p}, R}) de posibles
combinaciones ((m, r)) de en cada caso uno de los modos de
intercodificación (M_{p}) y una de las imágenes de referencia (R)
accesibles, determinándose vectores de movimiento optimizados
(v(m, r)) para las combinaciones de este primer conjunto
({M_{p}, R}) y refiriéndose cada vector de movimiento (v (m, r)) a
una zona de la imagen en la imagen de referencia asociada al
mismo,
caracterizado porque
a partir del primer conjunto ({M_{p}, R}) se
calcula una cantidad restringida (Op), mediante eliminación de
aquellas combinaciones del primer conjunto ({M_{p}, R}) en las que
el correspondiente vector de movimiento se refiere a una zona de
imagen que al menos en una imagen de referencia posterior en el
tiempo a la imagen de referencia asociada se ha codificado para
evitar la propagación de errores con un modo de
intracodificación.
2. Procedimiento según la reivindicación 1,
caracterizado porque
el correspondiente vector de movimiento está
determinado tal que se minimiza una función de costes para una
distorsión de un macrobloque tras una compensación de movimiento y
para una necesidad de espacio de memoria del vector de movimiento
en la codificación.
3. Procedimiento según una de la
reivindicaciones 1 ó 2,
caracterizado porque
- (a)
- reuniendo la cantidad restringida (Op) y una cantidad de modos de intracodificación (M_{I}) se forma un conjunto reunido (O), limitándose el conjunto reunido (O) a la cantidad de modos de intracodificación (M_{I}) en el caso de que un macrobloque se haya intracodificado forzosamente para evitar la propagación de errores;
- (b)
- a partir del conjunto reunido (O) se elige aquella combinación en la que se minimiza una función de costes para una distorsión de un macrobloque mediante la codificación y un conjunto de bits para la codificación del macrobloque.
4. Procedimiento según una de las
reivindicaciones precedentes,
caracterizado porque
la codificación de un macrobloque se realiza
mediante un modo de intracodificación a intervalos de tiempo
regulares para evitar la propagación de errores.
5. Procedimiento según una de la
reivindicaciones 1 a 3,
caracterizado porque
la codificación de un macrobloque se realiza
mediante un modo de intracodificación a intervalos de tiempo
aleatorios para evitar la propagación de errores.
6. Procedimiento según una de la
reivindicaciones 1 a 3,
caracterizado porque
la codificación de un macrobloque debido a una
transmisión afectada por errores se realiza forzadamente mediante
un código de intracodificación.
7. Procedimiento según una de las
reivindicaciones precedentes,
caracterizado porque se actualiza un
vector (F) tras la codificación del macrobloque, indicando este
vector (F) si este macrobloque se ha codificado utilizando un modo
de intracodificación para evitar una propagación del error.
8. Dispositivo para codificar una secuencia de
imágenes digitalizada en redes sensibles al error, estando
configurado el dispositivo para realizar un procedimiento según una
de las reivindicaciones 1 a 7.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10202500 | 2002-01-23 | ||
| DE10202500 | 2002-01-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2299685T3 true ES2299685T3 (es) | 2008-06-01 |
Family
ID=27588013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES03704244T Expired - Lifetime ES2299685T3 (es) | 2002-01-23 | 2003-01-23 | Codificacion de secuencias de imagenes con multiples bloques de imagenes e imagenes de referencia. |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7660474B2 (es) |
| EP (1) | EP1468569B1 (es) |
| JP (1) | JP4996040B2 (es) |
| CN (1) | CN100588258C (es) |
| DE (1) | DE50309409D1 (es) |
| ES (1) | ES2299685T3 (es) |
| WO (1) | WO2003063504A1 (es) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2915342A1 (fr) * | 2007-04-20 | 2008-10-24 | Canon Kk | Procede et dispositif de codage video |
| GB2505912B (en) * | 2012-09-14 | 2015-10-07 | Canon Kk | Method and device for generating a description file, and corresponding streaming method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69618759T2 (de) * | 1995-09-06 | 2002-09-12 | Koninklijke Philips Electronics N.V., Eindhoven | Verfahren und system zur kodierung einer sequenz von segmentierten bildern , kodiertes signal und speichermedium, verfahren und system zur dekodierung des kodierten signals |
| JP3226020B2 (ja) * | 1997-05-28 | 2001-11-05 | 日本電気株式会社 | 動きベクトル検出装置 |
| FR2782437B1 (fr) * | 1998-08-14 | 2000-10-13 | Thomson Multimedia Sa | Procede de commutation de flux mpeg |
| KR100377190B1 (ko) * | 1999-12-24 | 2003-03-26 | 한국전자통신연구원 | 블록별 생성 비트스트림 크기에 따른 채널 오류 발생가능성 예측에 의한 인트라 갱신 블록 결정 기법을 이용한 영상 부호화 방법 |
| EP1374430A4 (en) * | 2001-03-05 | 2005-08-17 | Intervideo Inc | SYSTEMS AND METHODS FOR ROBUST ERROR CODING |
-
2003
- 2003-01-23 ES ES03704244T patent/ES2299685T3/es not_active Expired - Lifetime
- 2003-01-23 US US10/502,423 patent/US7660474B2/en not_active Expired - Fee Related
- 2003-01-23 DE DE50309409T patent/DE50309409D1/de not_active Expired - Lifetime
- 2003-01-23 WO PCT/DE2003/000176 patent/WO2003063504A1/de not_active Ceased
- 2003-01-23 CN CN03802678.3A patent/CN100588258C/zh not_active Expired - Fee Related
- 2003-01-23 JP JP2003563228A patent/JP4996040B2/ja not_active Expired - Fee Related
- 2003-01-23 EP EP03704244A patent/EP1468569B1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1468569A1 (de) | 2004-10-20 |
| JP2005525724A (ja) | 2005-08-25 |
| WO2003063504A1 (de) | 2003-07-31 |
| US7660474B2 (en) | 2010-02-09 |
| DE50309409D1 (de) | 2008-04-30 |
| US20050175246A1 (en) | 2005-08-11 |
| JP4996040B2 (ja) | 2012-08-08 |
| CN1656819A (zh) | 2005-08-17 |
| EP1468569B1 (de) | 2008-03-19 |
| CN100588258C (zh) | 2010-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Puri et al. | PRISM: a" reversed" multimedia coding paradigm | |
| KR100359093B1 (ko) | 오류허용모드비디오코덱방법및그장치 | |
| US20060182274A1 (en) | Method for ciphering a compressed audio or video stream with error tolerance | |
| MX2013014929A (es) | Seleccion de candidatos unificados de modo de fusion y modo de prediccion de vector de movimiento adaptable. | |
| BRPI0011748B1 (pt) | método e aparelho de codificação e decodificação, aparelho de comunicação sem fio com codificador incorporado, e, codec de vídeo | |
| WO2003092296A1 (fr) | Procede de conversion/transmission de codes de donnees d'images animees procede de conversion/reception de codes et dispositif associe | |
| KR102848783B1 (ko) | 인트라 프레임 스킵 모드 정보의 부호화 방법 및 장치, 복호화 방법 및 장치 | |
| MY138332A (en) | Spatial error concealment based on the intra-prediction modes transmitted in a coded stream | |
| CN110809192B (zh) | 一种可搭载隐秘信息的视频加密方法 | |
| SE0104059L (sv) | Lågbittaktskodek | |
| US20100008497A1 (en) | Stream encryption method and encryption system | |
| Tang et al. | A format compliant framework for HEVC selective encryption after encoding | |
| JP4133346B2 (ja) | 予測タイプの選択によるビデオデータブロックのイントラ符号化 | |
| FI115946B (fi) | Menetelmä virheiden havaitsemiseksi videoinformaatiosta | |
| ES2291445T3 (es) | Codificacion por longitud de serie de macrobloques no codificados. | |
| Talluri et al. | Error concealment by data partitioning | |
| TWI689198B (zh) | 利用略過機制對一連串視訊圖框中之一圖框的處理區塊編碼的方法及裝置 | |
| Huang et al. | Unequal error protection for MPEG-2 video transmission over wireless channels | |
| ES2299685T3 (es) | Codificacion de secuencias de imagenes con multiples bloques de imagenes e imagenes de referencia. | |
| US7603610B2 (en) | Coding a video data stream with unequal error protection based activity | |
| JP4907039B2 (ja) | 信号符号化方法 | |
| KR101757559B1 (ko) | 압축 영상의 고속 처리 및 암호화 방법 및 시스템 | |
| ES2806049T3 (es) | Procedimiento de descodificación predictiva de vídeo en movimiento, dispositivo de descodificación predictiva de vídeo en movimiento | |
| JP2025162987A (ja) | ビデオ・データ・ストリームの信頼性チェックの概念 | |
| CN120091089A (zh) | 加密视频方法、装置、计算机设备、可读存储介质和程序产品 |