ES2596268T3

ES2596268T3 - Decodificación y codificación de imágenes de una secuencia de video

Info

Publication number: ES2596268T3
Application number: ES13770472.2T
Authority: ES
Inventors: Jonatan Samuelsson; Rickard Sjöberg
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2012-09-28
Filing date: 2013-09-26
Publication date: 2017-01-05
Anticipated expiration: 2033-09-26
Also published as: US9706225B2; DK3076673T3; EP2901680B1; BR112015006535B1; MY155923A; PL2901680T3; JP2015216638A; CL2015000952A1; MX2015003724A; JP6058736B2; RU2016140556A; CN104685889A; JP5820551B1; US20150319457A1; CN105025303A; EP2901680A1; BR112015006535A2; AP3943A; SG11201501396RA; CA2886688C

Abstract

Un método ejecutado por medio de un decodificador (100, 200, 400), dicho método comprende: determinar (S1), después de que una imagen actual se haya decodificado y almacenado en una memoria intermedia de imágenes decodificadas (125, 225), un número de imágenes de dicha memoria intermedia de imágenes decodificadas (125, 225) que están marcadas como necesarias para la salida, perteneciendo dicha imagen actual a una capa distinta de la capa más alta que se decodifica por medio de dicho decodificador (100, 200, 400) de una secuencia de video multi-capa que comprende múltiples capas de imágenes; seleccionar (S50) un valor sps_max_num_reorder_pics[HighestTid], en el que HighestTid especifica dicha capa más alta, y dicho valor sps_max_num_reorder_pics[HighestTid] se obtiene de un elemento de sintaxis asociado con dicha capa más alta, cada capa i de dichas múltiples capas tiene un elemento de sintaxis asociado que define un respectivo valor sps_max_num_reorder_pics[i], y dicho valor sps_max_num_reorder_pics[i] indica un máximo número de imágenes permitido que pueden preceder a cualquier imagen en dicha secuencia de video multi-capa en el orden de decodificación y que van detrás de esa imagen en el orden de salida cuando HighestTid es igual a i; comparar (S2) dicho número de imágenes de dicha memoria intermedia de imágenes decodificadas (125, 225) que están marcadas como necesarias para la salida con dicho valor sps_max_num_reorder_pics[HighestTid]; generar como salida (S3) una imagen, que es una primera imagen en el orden de salida de entre dichas imágenes de dicha memoria intermedia de imágenes decodificadas (125, 225) que están marcadas como necesarias para la salida, si dicho número de imágenes de dicha memoria intermedia de imágenes decodificadas (125, 225) que están marcadas como necesarias para la salida es mayor que dicho valor sps_max_num_reorder_pics[HighestTid]; y marcar (S4) dicha imagen como no necesaria para la salida, si dicho número de imágenes de dicha memoria intermedia de imágenes decodificadas (125, 225) que están marcadas como necesarias para la salida es mayor que dicho valor sps_max_num_reorder_pics[HighestTid].

Description

imagen1

imagen2

imagen3

imagen4

imagen5

imagen6

imagen7

imagen8

imagen9

5

15

25

35

45

55

La figura 9 es un diagrama de flujo de etapas adicionales opcionales del método de la figura 8. El método comienza en la etapa S10, la cual comprende el análisis de una cabecera de segmento de la imagen actual de la secuencia de video que se ha de decodificar. Una etapa S11 siguiente determina un conjunto de imágenes de referencia (RPS) para la imagen actual a partir del análisis de la cabecera de segmento. Todas las imágenes de la DPB que no están presentes en el RPS se marcan como no utilizadas como referencia en la etapa S12. Una etapa S13 siguiente comprende la generación como salida de cero, una o muchas, es decir, más de una, imágenes, las cuales están marcadas como necesarias para la salida, de entre las imágenes de la DPB. Esta etapa S13 comprende también el marcado de las cero, una o muchas imágenes generadas como salida como no necesarias para la salida. La etapa S14 comprende el vaciado o eliminación, de la DPB, de toda imagen marcada como no utilizada como referencia y como no necesaria para la salida de entre las imágenes de la DPB. La imagen actual se decodifica a continuación en la etapa S15. El método avanza a continuación a la etapa S1 de la figura 8. Por lo tanto, en esta realización, la determinación del número de imágenes en la etapa S1, la comparación del número en la etapa S2, la generación como salida de la imagen en la etapa S3 y el marcado de la imagen en la etapa S4 se llevan a cabo después de la decodificación de la imagen actual en la etapa S15.

Además de la decodificación de la imagen actual en la etapa S15, esta etapa comprende preferiblemente además el marcado de la imagen actual como utilizada como referencia, o en una realización opcional, el marcado de la imagen actual como utilizada como referencia a corto plazo. La imagen actual se marca preferiblemente además como necesaria para la salida o no necesaria para la salida, de acuerdo al valor de la variable PicOutputFlag, obtenido preferiblemente en la etapa S10.

Por lo general, una secuencia de video codificada, es decir, una secuencia de bits, comprende unidades de capa de abstracción de red (NAL, network abstraction layer, por sus siglas en inglés). Básicamente, una unidad NAL comprende un segmento con una correspondiente cabecera de segmento que incluye información de control para ese segmento y la carga útil de datos de video, o bien la unidad NAL comprende un conjunto de parámetros, tales como un VPS, un SPS y un conjunto de parámetros de imagen (PPS, picture parameter set, por sus siglas en inglés). El conjunto de parámetros comprende información de control. Una imagen de la secuencia de video puede constar de un único segmento o de múltiples segmentos. La etapa S10 de la figura 9 comprende de esta forma el análisis de la parte de cabecera de segmento de la unidad NAL que comprende un segmento de la imagen. Si la imagen comprende múltiples segmentos y está por lo tanto distribuida entre múltiples unidades NAL que comprenden una respectiva cabecera de segmento, entonces la etapa S10 se ejecuta preferiblemente para cada segmento de la imagen. Sin embargo, las etapas S11 a S14 se ejecutan preferiblemente sólo para uno de los segmentos de la imagen, normalmente para el primer segmento de la imagen.

La cabecera de segmento analizada en la etapa S10 comprende información que hace posible que el decodificador genere un RPS. El RPS es un conjunto de imágenes de referencia asociado con la imagen actual, y consta de todas las imágenes de referencia que son anteriores a la imagen actual en el orden de decodificación y que se pueden utilizar como referencia, es decir, para una predicción intermedia, de la imagen actual o de cualquier imagen de la secuencia de video que va detrás de la imagen actual en el orden de decodificación.

La información obtenida en la etapa S10 y utilizada para determinar el RPS en la etapa S11 puede comprender, por ejemplo, un identificador de una estructura de sintaxis de RPS incluida en un conjunto de parámetros, tal como un SPS, aplicable al segmento actual. Un ejemplo de tal identificador aplicable a la norma HEVC es short_term_ref_pic_set_idx. El conjunto de parámetros comprende por tanto elementos de sintaxis que definen uno

o más RPS, tales como num_short_term_ref_pic_sets, que definen el número de elementos de sintaxis short_term_ref_pic_set( ) incluidos en el SPS, en donde el elemento de sintaxis short_term_ref_pic_set( ) define un RPS candidato para la imagen actual.

Alternativamente, la información obtenida en la etapa S10 se podría utilizar directamente para determinar el RPS en la etapa S11. Esta información puede comprender, por ejemplo, un elemento de sintaxis short_term_ref_pic_set( ), en donde el elemento de sintaxis short_term_ref_pic_set( ) define el RPS de la imagen actual.

Se puede encontrar más información sobre la determinación del RPS en la solicitud internacional de patente WO2013/002700 y en las secciones 7.3.2.2, 7.3.5.1, 7.3.5.2, 7.4.2.2, 7.4.5.1, 7.4.5.2 y 8.3.2 del documento JCTVCJ1003_d7, “High efficiency video coding (HEVC) text specification draft 8”, de B. Bross et al., 10ª conferencia de JCT-VC de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, Estocolmo, 11-20 de julio de 2012.

El RPS especifica, como se ha mencionado con anterioridad, las imágenes de la secuencia de video que se han de mantener en la DPB, es decir, que han de estar disponibles para su utilización como imágenes de referencia cuando se decodifica la imagen actual y/o cuando se decodifican las imágenes que van detrás de la imagen actual en el orden de decodificación. Esto significa que toda imagen de referencia almacenada en la DPB pero que no figure en el RPS no se utilizará como imagen de referencia ninguna vez más. Por lo tanto, la etapa S12 comprende de esta forma el marcado de tales imágenes presentes en la DPB pero que no están identificadas en el RPS como no utilizadas como referencia.

La salida de imágenes en la etapa S13 puede comprender la generación como salida de una imagen marcada como necesaria para la salida, la generación como salida de más de una imagen marcada como necesaria para la salida

11

imagen10

5

10

15

20

25

30

35

40

45

50

Por lo tanto, si el valor de no_output_of_prior_pics_flag es cero (0), el método termina y no se ejecuta el proceso de salida modificado.

Cuando esta realización se aplica a la norma HEVC, el método comprende preferiblemente las etapas adicionales de determinación de un RPS para la imagen de acceso aleatorio a partir de la cabecera de segmento analizada en la etapa S20 (compárese con la etapa S11 de la figura 9). El método comprende además el marcado de todas las imágenes de la DPB que no figuran en el RPS como no utilizadas como referencia (compárese con la etapa S12 de la figura 9). Se decodifica la imagen de acceso aleatorio (compárese con la etapa S15 de la figura 9). En esta realización, la determinación del número en la etapa S1, la comparación del número en la etapa S2, la generación como salida de la imagen en la etapa S3 y el marcado de la imagen en la etapa S4 se llevan a cabo después del marcado de las imágenes que no figuran en el RPS, pero antes de la decodificación de la imagen de acceso aleatorio.

La figura 15 es un diagrama de flujo de decodificación simplificado de esta realización. Un método de decodificador puede comprender y/o un decodificador puede estar configurado para la ejecución de las siguientes etapas en orden, según la realización:

1.: Se analiza la cabecera de segmento de la primera cabecera de segmento de una imagen P.

2.: Se lleva a cabo un proceso de marcado de imagen.

3.: Se lleva a cabo un proceso de salida de imagen en el que se pueden generar como salida las imágenes. El proceso de salida de imagen se modifica de manera que si no_output_of_prior_pics_flag es igual a 1, se aplica lo siguiente:

a.: El decodificador determina el número de imágenes de la DPB que están marcadas como necesarias para la salida y compara ese número con un valor que se obtiene de los elementos de sintaxis de la secuencia de bits.

b.: Si el número de imágenes de la DPB que están marcadas como necesarias para la salida es mayor que el valor que se obtiene de los elementos de sintaxis de la secuencia de bits, se genera como salida la imagen de entre las imágenes de la DPB marcadas como necesarias para la salida que es la primera imagen en el orden de salida, y se marca como no necesaria para la salida.

c.: Todas las imágenes restantes de la DPB que están marcadas como necesarias para la salida se marcan como no necesarias para la salida. No se generan como salida.

4.: Se decodifica la imagen P.

La figura 11 es un diagrama de flujo de un método ejecutado por medio de un decodificador según otra realización. El método comprende el análisis de una cabecera de segmento de una imagen actual que se ha de decodificar de una secuencia de video en la etapa S30. Se determina un RPS para la imagen actual a partir de la cabecera de segmento analizada en la etapa S31. La siguiente etapa S32 comprende el marcado de todas las imágenes de la DPB que no están presentes en el RPS como no utilizadas como referencia. En la etapa S33, se generan como salida cero, una o muchas imágenes marcadas como necesarias para la salida de entre las imágenes de la DPB, y se marcan como no necesarias para la salida. La etapa S34 siguiente comprende el vaciado o eliminación, de la DPB, de toda imagen que esté marcada como no utilizada como referencia y como no necesaria para la salida de entre las imágenes de la DPB. La imagen actual se decodifica a continuación en la etapa S35.

Estas etapas S30–S35 se corresponden básicamente con las etapas S10–S15 analizadas con anterioridad e ilustradas en la figura 9.

El método avanza a continuación a la etapa S36, la cual comprende la determinación de un número de imágenes de la DPB que se marcan como necesarias para la salida. Este número se compara en la etapa S37 con un valor que se obtiene de al menos un elemento de sintaxis presente en una secuencia de bits que representa las imágenes de la secuencia de video. Si el número es mayor que el valor, el método avanza a las etapas S38 y S39. La etapa S38 comprende la generación como salida de una imagen, que es la primera imagen en el orden de salida, de entre las imágenes de la DPB que están marcadas como necesarias para la salida. La etapa S39 comprende el marcado de la imagen, generada como salida en la etapa S38, como no necesaria para la salida.

En esta realización, la determinación del número de imágenes en la etapa S37, la comparación del número en la etapa S38, la generación como salida de la imagen en la etapa S38 y el marcado de la imagen en la etapa S39 se llevan a cabo después de la decodificación de la imagen actual en la etapa S35.

Estas etapas S36 a S39 se corresponden con las etapas S1 a S4 analizadas con anterioridad y mostradas en la figura 8. Pero con la diferencia de que el valor con el que se compara en la etapa S37 el número determinado no tiene que ser necesariamente sps_max_num_reorder_pics[HighestTid], sino que, en su lugar, podría ser un valor que se obtuviera de otro(s) elemento(s) de sintaxis presente(s) en la secuencia bits, lo cual se analiza en mayor detalle más adelante.

13 5

10

15

20

25

30

35

40

45

50

55

En una realización, si el número no es mayor que el valor, tal y como se determine en la comparación de la etapa S37, el método preferiblemente termina y no se genera como salida ni se marca ninguna imagen. Por tanto, en tal caso, las etapas S38 y S39 se omiten y no se ejecutan, véase la línea de puntos a la derecha.

En una realización, las etapas S37–S39 sólo se pueden ejecutar después de que se haya decodificado y preferiblemente almacenado en la DPB una imagen actual. De forma alternativa, el bucle formado por las etapas S37–S39, véase la línea de puntos a la izquierda, se puede ejecutar hasta que el número de imágenes de la DPB que se marcan como necesarias para la salida deje de ser mayor que el valor. Cada vez que se ejecuta el bucle de las etapas S37–S39, el número de imágenes de la DPB que están marcadas como necesarias para la salida se reduce en una unidad por medio del marcado como no necesaria para la salida, en la etapa S39, de la imagen generada como salida en la etapa S38.

La figura 12 es un diagrama de flujo de etapas adicionales opcionales del método de la figura 11, pero que también es aplicable a las realizaciones mostradas en las figuras 8 y 9. El método continúa desde la etapa S35 de la figura 11 o desde la etapa S15 de la figura 9, en las que se decodifica la imagen actual. Una etapa S40 siguiente comprende el almacenamiento de la imagen actual decodificada en la DPB en una memoria intermedia de almacenamiento de imágenes vacía, es decir, en un espacio de memoria de imagen. La imagen actual decodificada se marca en la etapa S41 como necesaria para la salida o como no necesaria para la salida. La imagen se marca también, opcionalmente, como utilizada como referencia a corto plazo, es decir, como utilizada como imagen de referencia. Esta etapa S41 se ejecuta preferiblemente en función de un PicOutputFlag que se asigna a la imagen actual. Por lo tanto, si el indicador tiene un valor de 1, entonces la imagen actual decodificada se marca como necesaria para la salida y, en caso contrario, es decir, si el indicador tiene un valor de 0, la imagen actual decodificada se marca como no necesaria para la salida. El PicOutputFlag se puede obtener a partir de un elemento de sintaxis de la secuencia de bits aplicable a la imagen actual presente, tal como a partir del elemento de sintaxis pic_output_flag, que puede estar presente en la cabecera de segmento de la imagen actual.

El método avanza a continuación a la etapa S36 de la figura 11 o a la etapa S1 de la figura 8, en donde se determina el número de imágenes de la DPB marcadas como necesarias para la salida.

En la presente memoria, se describirán diferentes realizaciones de la selección del valor utilizado en la comparación de la etapa S37 de la figura 11 y en la de la etapa S2 de la figura 8.

En una realización, la secuencia de video es una secuencia de video multi-capa que comprende múltiples capas de imágenes. Cada capa de las múltiples capas tiene entonces un elemento de sintaxis asociado que define un respectivo valor utilizado en el proceso de salida. El método comprende además una etapa adicional opcional, tal y como se muestra en el diagrama de flujo de la figura 13. El método continúa desde la etapa S35 de la figura 11 o desde la etapa S1 de la figura 8. Una etapa S50 siguiente comprende la selección de un valor que se obtiene de un elemento de sintaxis asociado con la capa más alta que se decodifica por medio del decodificador de entre las múltiples capas. El método avanza a continuación a la etapa S37 de la figura 11 o a la etapa S2 de la figura 8, en donde se utiliza este valor seleccionado.

La etapa S37 y la etapa S2 comprenden preferiblemente, en esta realización, la comparación del número determinado en la etapa S36 o S1 con un valor de sps_max_num_reorder_pics[HighestTid]. Si el número es mayor que el valor sps_max_num_reorder_pics[HighestTid], el método avanza a la etapa S38 o S3, las cuales comprenden, en esta realización, la generación como salida de una imagen de la DPB que tiene el menor valor de PicOrderCntVal de entre todas las imágenes de la DPB que están marcadas como necesarias para la salida. PicOrderCntVal representa un valor del número de orden de imagen de la imagen, el cual, a su vez, define el orden de salida de las imágenes almacenadas en la DPB.

En un aspecto particular de la implementación de esta realización, la secuencia de video es una secuencia de video multi-capa que comprende múltiples capas de imágenes. En este caso, cada capa tiene un valor respectivo, es decir, sps_max_num_reorder_pics[i] para la capa número i. El valor que se ha de utilizar es, por lo tanto, el valor asociado a la capa decodificada más alta, es decir, la capa más alta que se decodifica por medio del decodificador, como por ejemplo la sub-capa más alta si las capas son capas temporales diferentes.

En otra realización, la secuencia de video es una secuencia de video multi-capa que comprende múltiples capas de imágenes. Cada capa de las múltiples capas tiene entonces un elemento de sintaxis asociado que define un respectivo valor. El método comprende además una etapa adicional opcional, tal y como se muestra en el diagrama de flujo de la figura 13. El método continúa desde la etapa S36 de la figura 11. Una etapa S50 siguiente comprende la selección de un valor que se obtiene de un elemento de sintaxis asociado con la capa más alta de las múltiples capas. El método avanza a continuación a la etapa S37, en donde se utiliza este valor seleccionado.

La etapa S37 comprende preferiblemente, en esta realización, la comparación del número determinado en la etapa S36 con un valor de sps_max_num_reorder_pics[sps_max_sub_layers_minus1]. Si el número es mayor que el valor sps_max_num_reorder_pics[sps_max_sub_layers_minus1], el método avanza a la etapa S38, la cual comprende, en esta realización, la generación como salida de una imagen de la DPB que tiene el menor valor de PicOrderCntVal de

14

imagen11

5

10

15

20

25

30

35

40

En una realización, se añade una etapa adicional al proceso de salida de imagen, después de la decodificación de la imagen, al objeto de hacer posible que la generación como salida de imágenes sea más rápida, véase la figura 14.

Un método de decodificador puede comprender y/o un decodificador puede estar configurado para la ejecución de las siguientes etapas en orden, según la realización:

1.: Se analiza la cabecera de segmento de la primera cabecera de segmento de la imagen P.

2.: Se lleva a cabo un proceso de marcado de imagen.

3.: Se lleva a cabo un proceso de salida de imagen en el que se pueden generar como salida las imágenes.

4.: Se decodifica la imagen P.

5.: Después de decodificar la imagen P, el decodificador determina el número de imágenes de la DPB que están marcadas como “necesarias para la salida” y compara ese número con un valor que se obtiene de los elementos de sintaxis (que se muestran a modo de ejemplo en la realización 9) de la secuencia de bits.

6.: Si el número de imágenes de la DPB que están marcadas como “necesarias para la salida” es mayor que el valor que se obtiene de los elementos de sintaxis de la secuencia de bits, se genera como salida la imagen de las imágenes de la DPB marcadas como “necesarias para la salida” que es la primera imagen en el orden de salida, y se marca como “no necesaria para la salida”. Por tanto, según la realización, se introduce el proceso de salida de imágenes #2.

7.: Se decodifica una imagen Q siguiente. Realización a modo de ejemplo 2 La misma que la realización a modo de ejemplo 1, en la que el valor se representa por medio de una única clave del

elemento de sintaxis de la secuencia de bits. Realización a modo de ejemplo 3 La misma que la realización a modo de ejemplo 2, en la que el valor se representa por medio de una clave en un

conjunto de parámetros de secuencia, por ejemplo, un conjunto de parámetros de imagen (PPS), un conjunto de parámetros de secuencia (SPS) o un conjunto de parámetros de video (VPS).

Realización a modo de ejemplo 4 La misma que la realización 1–3, en la que hay un valor dependiente de capa que se obtiene para cada capa en la secuencia de bits, y el valor que se ha de utilizar en la comparación es el valor que se obtiene para la misma capa que la imagen P.

Realización a modo de ejemplo 5 La misma que la realización 1–3, en la que hay un valor que se obtiene para cada capa en la secuencia de bits, y el

valor que se ha de utilizar en la comparación es el valor que se obtiene para la capa más alta de la secuencia de bits. Realización a modo de ejemplo 6 La misma que la realización 1–3, en la que hay un valor que se obtiene para cada capa en la secuencia de bits, y el

valor que se ha de utilizar en la comparación es el valor máximo de todas las capas. Realización a modo de ejemplo 7 La misma que la realización 5, en la que la capa más alta se define como la sub-capa más alta. Realización a modo de ejemplo 8 La misma que la realización 1–7, en la que la primera imagen en el orden de salida se define como la imagen de la

DPB que tiene el menor valor de PicOrderCntVal. PicOrderCntVal define el POC y se ha descrito con anterioridad. Realización a modo de ejemplo 9 La misma que la realización 4–8, en la que las capas son capas temporales.

16

imagen12

5

10

15

20

25

30

35

40

45

2.: Se lleva a cabo un proceso de marcado de imagen.

a.: El decodificador determina el número de imágenes de la DPB que están marcadas como “necesarias para la salida” y compara ese número con un valor que se obtiene de los elementos de sintaxis de la secuencia de bits.

b.: Si el número de imágenes de la DPB que están marcadas como “necesarias para la salida” es mayor que el valor que se obtiene de los elementos de sintaxis de la secuencia de bits, se genera como salida la imagen de las imágenes de la DPB marcadas como “necesarias para la salida” que es la primera imagen en el orden de salida, y se marca como “no necesaria para la salida”.

c.: Todas las imágenes restantes de la DPB que están marcadas como “necesarias para la salida” se marcan como “no necesarias para la salida”. No se generan como salida.

4.: Se decodifica la imagen P.

Las realizaciones a modo de ejemplo 2–12 se aplican también a esta realización a modo de ejemplo 12.

Realización a modo de ejemplo 13

La combinación de la realización a modo de ejemplo 12 y de las realizaciones a modo de ejemplo 2, 3, 7, 8 y 9 es una realización preferida. La expresión de esta realización en la especificación actual de la norma HEVC (JCTVCK0030_v3) podría dar lugar a los siguientes cambios en la especificación de la norma HEVC en la sección C.3.1, en donde el texto en negrita significa texto añadido:

C.3.1 Eliminación de imágenes de la DPB

La eliminación de imágenes de la DPB antes de la decodificación de la imagen actual (pero después del análisis de la cabecera de segmento del primer segmento de la imagen actual) ocurre de forma instantánea en el instante de eliminación de la CPB de la primera unidad de decodificación de la unidad de acceso n (que contiene la imagen actual), y se desarrolla como sigue.

Se invoca el proceso de decodificación para el conjunto de imágenes de referencia, tal y como se especifica en el punto 8.3.2.

Si la imagen actual es una imagen IDR o una imagen BLA, se aplica lo siguiente:

1.: Cuando la imagen IDR o BLA no es la primera imagen decodificada y el valor de pic_width_in_luma_samples o pic_height_in_luma_samples o sps_max_dec_pic_buffering[i] para cualquier posible valor de i que se obtiene del conjunto de parámetros de secuencia activo es diferente del valor de pic_width_in_luma_samples o pic_height_in_luma_samples o sps_max_dec_pic_buffering[i] que se obtiene del conjunto de parámetros de secuencia que estaba activo para la imagen precedente, respectivamente, se infiere que no_output_of_prior_pics_flag es igual a 1 por parte del HRD, con independencia del valor real de no_output_of_prior_pics_flag.

Nota – Las implementaciones del decodificador deben intentar gestionar la imagen o los cambios de tamaño de la DPB de forma más adecuada que lo que hace el HRD con respecto a los cambios en pic_width_in_luma_samples o pic_height_in_luma_samples o sps_max_dec_pic_buffering[i].

2.: Cuando no_output_of_prior_pics_flag es igual a 1, o se infiere que es igual a 1, se aplican las siguientes etapasen orden:

1.: Cuando el número de imágenes de la DPB que están marcadas como “necesaria para la salida” es mayor que sps_max_num_reorder_pics[HighestTid], la imagen de la DPB que tiene el menor valor de PicOrderCntVal de entre todas las imágenes de la DPB se recorta, se genera como salida y se marca como “no necesaria para la salida”.

2.: Todas las memorias intermedias de almacenamiento de imágenes de la DPB se vacían, sin generar como salida las imágenes que contienen, y la completitud de la DPB se fija a cero.

18

imagen13

imagen14

5

15

25

35

45

55

La figura 16 es un diagrama de bloques esquemático de un decodificador 100 según una realización. El decodificador 100 está configurado para recibir una secuencia de bits 10 que representa las imágenes de una secuencia de video y decodificar la secuencia de bits 10. El decodificador 100 comprende un procesador 110 y una memoria 120 que comprende una DPB 125. El procesador 110 está configurado para la determinación, después de que se haya decodificado y almacenado en la DPB 125 la imagen actual, del número de imágenes de la DPB 125 que están marcadas como necesarias para la salida. El procesador 110 está configurado además para la comparación del número con el valor sps_max_num_reorder_pics[HighestTid] 14. El procesador 110 está configurado también para la generación como salida de la imagen, que es una primera imagen en el orden de salida, de entre las imágenes de la DPB 125 que están marcadas como necesarias para la salida, si el número es mayor que el valor. El procesador 110 está configurado adicionalmente para marcar la imagen como no necesaria para la salida si el número es mayor que el valor.

En la figura 16, se ha ilustrado que el decodificador 100 comprende un procesador 110. Este procesador 110 se podría implementar como un único procesador o como múltiples procesadores, por ejemplo, como un circuito de procesamiento.

La figura 16 ilustra de esta forma una implementación en ordenador del decodificador 100. En este ejemplo particular, al menos algunas de las etapas, funciones, procedimientos, módulos y/o bloques descritos con anterioridad se implementan en un programa de ordenador, el cual se carga en la memoria 120 para su ejecución por parte del procesador 110. El procesador 110 y la memoria 120 están interconectados entre sí al objeto de hacer posible la ejecución normal del software. También se puede interconectar un dispositivo de entrada/salida opcional (no mostrado) al procesador 110 y/o a la memoria 120 para hacer posible la entrada de una secuencia de bits 10 de imágenes codificadas y la salida de las imágenes decodificadas.

El término “ordenador” se debe interpretar en sentido general, como cualquier sistema, dispositivo o aparato capaz de ejecutar código de programa o instrucciones de programa de ordenador para llevar a cabo una tarea concreta de procesamiento, determinación o cálculo.

En una realización, el procesador 110 está configurado preferiblemente para el análisis de una cabecera de segmento 12 de la imagen actual que se ha de decodificar de la secuencia de video. El procesador 110 está configurado también para determinar un RPS para la imagen actual a partir de la cabecera de segmento 12 analizada. El procesador 110 está configurado además para el marcado de todas las imágenes de la DPB 125 que no están presentes en el RPS como no utilizadas como referencia. El procesador 110 está configurado adicionalmente para generar como salida cero, una o muchas imágenes marcadas como necesarias para la salida de entre las imágenes de la DPB 125, y para marcar las cero, una o muchas imágenes como no necesarias para la salida. El procesador 110 está configurado preferiblemente además para el vaciado o eliminación, de la DPB 125, de toda imagen que esté marcada como no utilizada como referencia y como no necesaria para la salida de entre las imágenes de la DPB 125. El procesador 110 está configurado además para decodificar la imagen actual, por medio de la utilización preferiblemente de la carga útil de datos de video 16 proporcionados en forma codificada. En esta realización, el procesador 110 está configurado para determinar el número de imágenes, comparar el número, generar como salida la imagen y marcar la imagen después de decodificar la imagen actual.

En una realización, el procesador 110 está configurado opcionalmente para el análisis de una cabecera de segmento 12 de una imagen de acceso aleatorio de la secuencia de video, al objeto de obtener un valor del indicador no_output_prior_pics_flag. En tal caso, el procesador 110 está configurado opcionalmente para determinar el número, comparar el número, generar como salida la imagen y marcar la imagen si (y sólo si) el valor del indicador no_output_prior_pics_flag es uno.

Otro aspecto de las realizaciones se refiere a un decodificador configurado para analizar una cabecera de segmento de una imagen actual de una secuencia de video que se ha de decodificar. El decodificador está configurado también para determinar un RPS para la imagen actual a partir del análisis de la cabecera de segmento. El decodificador está configurado además para marcar todas las imágenes de la DPB que no están presentes en el RPS como no utilizadas como referencia. El decodificador está configurado adicionalmente para generar como salida cero, una o muchas imágenes, marcadas como necesarias para la salida, de entre las imágenes de la DPB, y para marcar las cero, una o muchas imágenes como no necesarias para la salida. El decodificador está configurado preferiblemente además para vaciar o eliminar, de la DPB, toda imagen marcada como no utilizada como referencia y como no necesaria para la salida de entre las imágenes de la DPB. El decodificador está configurado además para decodificar la imagen actual. En esta realización, el decodificador está configurado para determinar un número de imágenes de la DPB que están marcadas como necesarias para la salida. El decodificador está configurado también para comparar el número con un valor que se obtiene de al menos un elemento de sintaxis presente en la secuencia de bits. El decodificador está configurado además para generar como salida una imagen, que es una primera imagen en el orden de salida, de entre las imágenes de la DPB que están marcadas como necesarias para la salida, si el número es mayor que el valor. El decodificador está configurado adicionalmente para marcar la imagen como no necesaria para la salida si el número es mayor que el valor. Esto significa que en esta realización, el decodificador está configurado para determinar el número de imágenes, comparar el número, generar como salida la imagen y marcar la imagen después de decodificar la imagen actual.

21 5

10

15

20

25

30

35

40

45

50

55

El codificador 100 comprende, en una realización, un procesador 110 configurado para ejecutar las etapas del método descrito previamente en la presente memoria, véase la figura 11 y opcionalmente las figuras 12, 13 y 15. El codificador 100 puede comprender además una memoria 120 conectada al procesador 110, véase la figura 16.

En esta realización, el decodificador 100 comprende, por tanto, un procesador 110 y una memoria 120 que comprende una DPB 125. El procesador 110 está configurado para analizar la cabecera de segmento 12 de la imagen actual de la secuencia de video que se ha de decodificar. El procesador 110 está configurado también para determinar el RPS para la imagen actual a partir del análisis de la cabecera de segmento 12. El procesador 110 está configurado además para marcar todas las imágenes de la DPB 125 que no están presentes en el RPS como no utilizadas como referencia. El procesador 110 está configurado adicionalmente para generar como salida cero, una o muchas imágenes, marcadas como necesarias para la salida, de entre las imágenes de la DPB 125, y para marcar las cero, una o muchas imágenes como no necesarias para la salida. El procesador 110 está configurado preferiblemente además para vaciar o eliminar, de la DPB 125, toda imagen marcada como no utilizada como referencia y como no necesaria para la salida de entre las imágenes de la DPB 125. El procesador 110 está configurado además para decodificar la imagen actual. En esta realización, el procesador 110 está configurado para determinar el número de imágenes de la DPB 125 que están marcadas como necesarias para la salida. El procesador 110 está configurado también para comparar el número con un valor que se obtiene de al menos un elemento de sintaxis 14 presente en la secuencia de bits 10. El procesador 110 está configurado además para generar como salida la imagen, que es una primera imagen en el orden de salida, de entre las imágenes de la DPB 125 que están marcadas como necesarias para la salida, si el número es mayor que el valor. El procesador 110 está configurado adicionalmente para marcar la imagen como no necesaria para la salida si el número es mayor que el valor. Esto significa que en esta realización, el procesador 110 está configurado para determinar el número de imágenes, comparar el número, generar como salida la imagen y marcar la imagen después de decodificar la imagen actual.

En una realización, el procesador 110 está configurado preferiblemente para almacenar la imagen actual decodificada en la DPB 125 y para marcar la imagen actual decodificada como necesaria para la salida o como no necesaria para la salida, tal y como se ha descrito con anterioridad en la presente memoria.

En una realización de implementación, el procesador 110 está configurado preferiblemente para comparar el número con el valor sps_max_num_reorder_pics[HighestTid]. En esta realización de implementación, el procesador 110 está configurado para generar como salida una imagen de la DPB 125 que tiene un menor valor de PicOrderCntVal de entre todas las imágenes de la DPB 125 que están marcadas como necesarias para la salida, si el número es mayor que el valor sps_max_num_reorder_pics[HighestTid].

En otra realización de implementación, la imagen actual es una imagen de acceso aleatorio de la secuencia de video. En este caso, el procesador 110 está configurado opcionalmente para analizar la cabecera de segmento 12 de la imagen de acceso aleatorio al objeto de obtener un valor de un indicador no_output_prior_pics_flag. El procesador 110 está configurado en ese caso de forma opcional para determinar el número, comparar el número, generar como salida la imagen y marcar la imagen si el valor del indicador no_output_prior_pics_flag es uno.

Si la secuencia de video es una secuencia de video multi-capa que comprende múltiples capas de imágenes, en donde cada capa de las múltiples capas tiene un elemento de sintaxis asociado que define un valor respectivo, entonces el procesador 110 está configurado preferiblemente para seleccionar un valor que se obtiene de un elemento de sintaxis, preferiblemente sps_max_num_reorder_pics, asociado con la capa más alta que se decodifica por medio del decodificador 100 de entre las múltiples capas.

En una realización, el procesador 110 está configurado preferiblemente para generar como salida una imagen que tiene el menor valor del número de orden de imagen de entre las imágenes de la DPB 125 que están marcadas como necesarias para la salida, si el número es mayor que el valor.

En una realización, el procesador 110 está configurado preferiblemente para generar como salida la imagen antes de analizar una cabecera de segmento de una imagen siguiente que se ha de decodificar de la secuencia de video.

La figura 17 es un diagrama de bloques esquemático de otro ejemplo de implementación del decodificador 200. Este ejemplo es especialmente apropiado para una implementación hardware del decodificador 200. El decodificador 200 comprende una unidad de entrada 210 configurada para recibir la secuencia de bits que representa las imágenes de la secuencia de video y para almacenar la secuencia de bits en una memoria 220 conectada que comprende la DPB

225. El decodificador comprende también una unidad de determinación de número 230 conectada a la memoria 220. Esta unidad de determinación de número 230 está configurada para determinar, después de que la imagen actual se haya decodificado y almacenado en la DPB 225, el número de imágenes de la DPB 225 que están marcadas como necesarias para la salida. Un comparador 240 está conectado a la unidad de determinación de número 230 y está configurado para comparar el número con el valor sps_max_num_reorder_pics[HighestTid]. El decodificador 200 comprende además una unidad de salida 250 conectada al comparador 240 y preferiblemente a la memoria 220. La unidad de salida 250 está configurada para generar como salida la imagen, que es una primera imagen en el orden de salida, de entre las imágenes de la DPB 225 que están marcadas como necesarias para la salida, si el número es

22

imagen15

imagen16

imagen17

imagen18

imagen19

imagen20

imagen21

imagen22

Claims

imagen1

imagen2

imagen3

imagen4