ES2685431T3

ES2685431T3 - Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes

Info

Publication number: ES2685431T3
Application number: ES16176917.9T
Authority: ES
Inventors: Viktor Wahadaniah; Chong Soon Lim; Sue Mon Thet Naing; Hai Wei Sun; Takahiro Nishi; Hisao Sasai; Youji Shibahara; Toshiyasu Sugio; Kyoko Tanikawa; Toru Matsunobu; Kengo Terada
Original assignee: Sun Patent Trust Inc
Current assignee: Sun Patent Trust Inc
Priority date: 2011-09-07
Filing date: 2012-09-05
Publication date: 2018-10-09
Anticipated expiration: 2032-09-05
Also published as: US9681148B2; BR112013020486A8; CN107257492A; MX2013008692A; US10003816B2; US20210006814A1; US12108070B2; CN107257492B; JPWO2013035313A1; EP2755387B1; MY165661A; US20150139316A1; US20230370630A1; US20240406432A1; CA2826418A1; BR112013020486A2; US8971406B2; US20200128268A1; KR20140062421A; US10554993B2

Abstract

Un procedimiento de decodificación de imágenes para decodificar una corriente de bits codificada utilizando una descripción de memoria intermedia para especificar que una imagen se mantiene en una memoria intermedia, estando el procedimiento de decodificación de imágenes caracterizado porque comprende: obtener, desde un conjunto de parámetros de secuencia que corresponde a la corriente de bits codificada, información de definición de descripciones de memoria intermedia para definir una pluralidad de descripciones de memoria intermedia; obtener, desde un encabezado de un corte, información de selección de descripciones de memoria intermedia para especificar una de las descripciones de memoria intermedia, estando incluido el encabezado en la corriente de bits codificada; y decodificar el corte utilizando la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia, en el que la información de definición de descripciones de memoria intermedia incluye información a largo plazo para identificar, entre una pluralidad de imágenes de referencia cubiertas por las descripciones de memoria intermedia, una imagen de referencia que es asignada como una imagen de referencia a largo plazo.

Description

DESCRIPCIÓN

Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes TCampo técnico]

La presente invención se refiere a métodos de codificación de imágenes, métodos de decodificación de imágenes, 5 aparatos de codificación de imágenes, aparatos de decodificación de imágenes y aparatos de codificación y decodificación de imágenes, y particularmente a un método de codificación de imágenes y un método de decodificación de imágenes cada uno de los cuales utiliza una descripción de memoria intermedia para especificar que una imagen se mantiene en una memoria intermedia.

Antecedentes de la técnica]

10 Los esquemas de codificación de vídeo del estado de la técnica, tales como MPEG-4 AVC/H.264 (véase la Bibliografía No de Patente 1) y la próxima HEVC (Codificación de Vídeo de Alta Eficiencia), realizan la codificación de contenido de imagen o vídeo utilizando la predicción entre imágenes a partir de imágenes de referencia codificadas o decodificadas previamente. En otras palabras, los esquemas de codificación de vídeo aprovechan la redundancia de información a través de imágenes consecutivas con el tiempo. En el esquema de codificación de 15 vídeo MPEG-4 AVC, las imágenes de referencia en la memoria intermedia de imágenes decodificadas (DPB) se gestionan ya sea utilizando un esquema predefinido de ventanas desplazables para retirar imágenes iniciales en orden de codificación de la DPB, o explícitamente utilizando una variedad de señales de gestión de memoria intermedia en la corriente de bits codificada para gestionar y retirar imágenes de referencia no utilizadas.

El documento de la técnica anterior SJOBERG R ET AL, “Absolute signaling of reference pictures”, (6. JCT-VC 20 MEETING; 97. MPEG MEETING; 14-7-2011 - 22-7-2011; TORINO, “JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-TSG.16”; URL:
HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/, n.° JCTVC-F493, 1 de julio de 2011, XP030009516) es una propuesta HEVC para la señalización absoluta de imágenes de referencia para gestión de memoria intermedia más robusta, en la que se escribe información de definición de descripción de memoria intermedia en un conjunto de parámetros de imágenes (PPS) y se escribe 25 información a largo plazo en un encabezado de corte.

ILista de citas]

[Bibliografía no de patente]

[Bibliografía no de patente 1] ISO/IEC 14496-10 "MPEG-4 Part10 Advanced Video Coding" rSumario de la invención]

30 IProblema técnico]

En el método de codificación de imágenes y en el método de decodificación de imágenes que adoptan estos esquemas de codificación de vídeo, hay demandas para una mejora adicional en la eficiencia de codificación.

Por lo tanto, la presente invención proporciona un método de codificación de imágenes o un método de decodificación de imágenes en el que puede mejorarse la eficacia de codificación.

35 rSolución al problema]

La invención se expone en el conjunto de reivindicaciones adjuntas; los ejemplos adicionales denominados realizaciones en la descripción son ejemplos ilustrativos.

Estos aspectos generales y específicos se pueden implementar usando un sistema, un método, un circuito integrado, un programa de ordenador, o un medio de grabación legible por ordenador, tal como un CD-ROM, o 40 cualquier combinación de sistemas, métodos, circuitos integrados, programas de ordenador, o medios de grabación legibles por ordenador.

TEfectos Ventajosos de la Invención]

La presente invención proporciona un método de codificación de imágenes o un método de decodificación de imágenes en el cual se puede mejorar la eficiencia de codificación.

45 rBreve descripción de las figuras]

[FIG. 1] La figura 1 muestra un ejemplo de una estructura de referencia de imagen.

[FIG. 2] La figura 2 muestra una estructura de una corriente de bits codificada.

[FIG. 3] La figura 3 es un diagrama de bloques de un aparato de codificación de imágenes de acuerdo con la Realización 1 de la presente invención.

50 [FIG. 4] La figura 4 es un diagrama de flujo de un método de codificación de imágenes de acuerdo con la

5

10

15

20

25

30

35

40

45

50

55

60

65

Realización 1 de la presente invención.

[FIG. 5] La figura 5 muestra una estructura de una corriente de bits codificada de acuerdo con la Realización 1 de la presente invención.

[FIG. 6] La figura 6 muestra una estructura de una corriente de bits codificada de acuerdo con una variación de la Realización 1 de la presente invención.

[FIG. 7] La figura 7 es un diagrama de bloques de un aparato de decodificación de imágenes de acuerdo con la Realización 1 de la presente invención.

[FIG. 8] La figura 8 es un diagrama de flujo de un método de decodificación de imágenes de acuerdo con la Realización 1 de la presente invención.

[FIG. 9] La figura 9 es un diagrama de flujo de un método de codificación de imágenes de acuerdo con la Realización 2 de la presente invención.

[FIG. 10] La figura 10 muestra una estructura de una corriente de bits codificada de acuerdo con la Realización 2 de la presente invención.

[FIG. 11] La figura 11 muestra una estructura de una corriente de bits codificada de acuerdo con una variación de la Realización 2 de la presente invención.

[FIG. 12] La figura 12 es un diagrama de flujo de un método de decodificación de imágenes de acuerdo con la Realización 2 de la presente invención.

[FIG. 13] La figura 13 es un diagrama de flujo de un método de codificación de imágenes de acuerdo con la Realización 3 de la presente invención.

[FIG. 14] La figura 14 muestra una estructura de una corriente de bits codificada de acuerdo con la Realización 3 de la presente invención.

[FIG. 15] La figura 15 muestra una estructura de una corriente de bits codificada de acuerdo con una variación de la Realización 3 de la presente invención.

[FIG. 16] La figura 16 es un diagrama de flujo de un método de decodificación de imágenes de acuerdo con la Realización 3 de la presente invención.

[FIG. 17] La figura 17 es un diagrama de flujo de un método de codificación de imágenes de acuerdo con la Realización 4 de la presente invención.

[FIG. 18] La figura 18 muestra una estructura de una corriente de bits codificada de acuerdo con la Realización 4 de la presente invención.

[FIG. 19] La figura 19 muestra una estructura sintáctica de un conjunto de parámetros de secuencia de acuerdo con la Realización 4 de la presente invención.

[FIG. 20] La figura 20 muestra una estructura sintáctica de un encabezado de corte de acuerdo con la Realización 4 de la presente invención.

[FIG. 21] La figura 21 es un diagrama de flujo de un método de decodificación de imágenes de acuerdo con la Realización 4 de la presente invención.

[FIG. 22] La figura 22 muestra una configuración completa de un sistema de provisión de contenido para implementar servicios de distribución de contenido.

[FIG. 23] La figura 23 muestra una configuración completa de un sistema de difusión digital.

[FIG. 24] La figura 24 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una televisión.

[FIG. 25] La figura 25 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información de y en un medio de grabación que es un disco óptico.

[FIG. 26] La figura 26 muestra un ejemplo de una configuración de un medio de grabación que es un disco óptico.

[FIG. 27A] La figura 27A muestra un ejemplo de un teléfono celular.

[FIG. 27B] La figura 27B es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono celular.

[FIG. 28] La figura 28 ilustra una estructura de datos multiplexados.

[FIG. 29] La figura 29 muestra esquemáticamente como cada corriente es multiplexada en datos multiplexados. [FIG. 30] La figura 30 muestra con mayor detalle como una corriente de vídeo se almacena en una corriente de paquetes PES.

[fiG. 31] La figura 31 muestra una estructura de paquetes TS y paquetes fuente en los datos multiplexados.

[FIG. 32] La figura 32 muestra una estructura de datos de un PMT.

[FIG. 33] La figura 33 muestra una estructura interna de información de datos multiplexados.

[FIG. 34] La figura 34 muestra una estructura interna de información de atributos de corriente.

[FIG. 35] La figura 35 muestra etapas para identificar datos de vídeo.

[FIG. 36] La figura 36 es un diagrama de bloques que muestra un ejemplo de una configuración de un circuito integrado para implementar el método de codificación de imágenes en movimiento y el método' de decodificación de imágenes en movimiento de acuerdo con cada realización.

[FIG. 37] La figura 37 muestra una configuración para la alternación entre frecuencias impulsoras.

[FIG. 38] La figura 38 muestra etapas para identificar datos de vídeo y para alternar entre frecuencias impulsoras. [FIG. 39] La figura 39 muestra un ejemplo de una tabla de consulta en la cual los estándares de datos de vídeo se asocian con frecuencias impulsoras.

[FIG. 40A] La figura 40A es un diagrama que muestra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señal.

5

10

15

20

25

30

35

40

45

50

55

[FIG. 40B] La figura 40B es un diagrama que muestra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señal.

rDescripción de realizaciones!

(Conocimiento subyacente que forma la base de la presente invención)

Los desarrollos recientes en el esquema de codificación de vídeo HEVC incluyen la introducción de la gestión de DPB utilizando descripciones de memoria intermedia. Las descripciones de memoria intermedia también se llaman conjunto de imágenes de referencia. La descripción de memoria intermedia define las imágenes que son retenidas en la DPB, en lugar de definir las imágenes que deben ser retiradas de la DPB. En otras palabras, la descripción de memoria intermedia es una lista de identificadores de imágenes que indican todas las imágenes de referencia almacenadas en la DPB. Adicionalmente, la descripción de memoria intermedia es una descripción absoluta de una pluralidad de imágenes de referencia almacenadas en una memoria intermedia las cuales deben ser utilizadas en un proceso para decodificar las imágenes codificadas que son procesadas actualmente o en el futuro. Cada artículo en esta lista es referido como un elemento de memoria intermedia. Un elemento de memoria intermedia contiene un identificador de imagen único para cada imagen, tal como un número de recuento de orden de imagen (POC) e información adicional de la imagen tal como un valor temporaljd.

Esta descripción de memoria intermedia se activa al principio de la codificación o decodificación de una imagen. Las imágenes que no son incluidas en la descripción de memoria intermedia activa son retiradas de la DPB. Los beneficios de esta descripción de memoria intermedia incluyen una robustez mejorada contra pérdidas de transmisión/suministro y manejo simplificado de imágenes no existentes.

En algunos casos, múltiples imágenes en una secuencia de vídeo comparten la misma estructura de referencia de imagen. Por ejemplo, una estructura de codificación de bajo retraso utiliza una estructura de agrupamiento periódico en la cual la misma estructura de capa se repite periódicamente en una unidad de cuatro imágenes, como se muestra en la figura 1. Esta unidad de repetición (que es de cuatro imágenes en este documento) es llamada una agrupación.

En el ejemplo mostrado en la figura 1, los números de imágenes (P0 a P12) indican tanto el orden de codificación único como el orden de exhibición o salida único de las imágenes. Las imágenes P0, P4, P8 y P12 constituyen la primera capa de imágenes. Estas imágenes son codificadas con la calidad más alta, por ejemplo, al aplicar la cuantificación menos enérgicamente. Las imágenes P2, P6 y P10 constituyen la segunda capa. Estas imágenes se codifican con una calidad más baja que la primera capa. Las imágenes P1, P3, P5, P7, P9 y P11 constituyen la tercera capa. Estas imágenes se codifican con la calidad más baja. En esta estructura de referencia periódica, las imágenes localizadas en la misma posición relativa dentro de sus agrupaciones (por ejemplo, P1, P5 y P9) utilizan usualmente la misma estructura de referencia de imágenes relativa. Por ejemplo, la imagen P5 utiliza las imágenes P4 y P2 como imágenes de referencia, mientras que la imagen P9 utiliza las imágenes P8 y P6 como imágenes de referencia.

Para incorporar estructuras de agrupamiento periódico tal como la estructura anterior, un planteamiento concebible es la señalización periódica de descripciones de memoria intermedia. Esta descripción de memoria intermedia especifica las distancias o posiciones temporales de las imágenes de referencia en relación con una imagen objetivo que se codifica o decodifica. Al efectuarlo de esta manera, las imágenes de referencia almacenadas en la dPb se pueden especificar. Por ejemplo, esta descripción de memoria intermedia se señala una vez en el conjunto de parámetros de imagen (PPS). Esta descripción de memoria intermedia luego es referida repetidamente en los encabezados de corte de, las imágenes que tienen la misma posición relativa dentro de una agrupación. Por ejemplo, una descripción de memoria intermedia que especifica posiciones relativas de {-1, -3} se puede utilizar en tanto P5 para especificar {P4, P2} como imágenes de referencia como en P9 para especificar {P8, P6} como imágenes de referencia.

La figura 2 muestra un ejemplo de la estructura de señalización de una descripción de memoria intermedia en este caso. Una corriente de bits codificada 500 mostrada en la figura 2 incluye un conjunto de parámetros de secuencia (SPS) 501 (SPS0), una pluralidad de conjuntos de parámetros de imágenes (PPSs) 502 (PPS0 y PPS1) y una pluralidad de datos de imagen 503. Cada uno de los datos de imagen 503 incluye una pluralidad de datos de corte 535. Cada uno de los datos de corte 535 incluye un encabezado de corte 541 y una parte de datos de corte 542. La parte de datos de corte 542 incluye una pluralidad de datos de unidad de codificación (CU) 543.

Cada uno de los PPSs 502 incluye un identificador de PPS 522 (pps_id) e información de definición de descripciones de memoria intermedia 512 (BD define). La información de definición de descripciones de memoria intermedia 512 indica una pluralidad de descripciones de memoria intermedia 515 (de BD0 a BDn). Cada una de las descripciones de memoria intermedia 515 incluye una pluralidad de elementos de memoria intermedia 515A (de BE0 a BE2).

De esta manera, la pluralidad de descripciones de memoria intermedia 515 se definen utilizando la información de definición de descripciones de memoria intermedia 512 en los conjuntos de parámetros de imagen 502. Cada uno de los PPSs 502 es identificado por un identificador de PPS 522 único para el PPS.

5

10

15

20

25

30

35

40

45

50

55

El encabezado de corte 541 incluye información de selección de PPS 533 (pps_select) e información de actualización de descripciones de memoria intermedia 523 (actualización BD).

La información de selección de PPS 533 indica el PPS 502 referido durante la codificación o decodificación del corte. En el ejemplo de la figura 2, pps_select = 0 se satisface y el PPS0 que tiene la pps_id = 0 se selecciona.

La información de actualización de descripciones de memoria intermedia 523 incluye información la cual especifica la descripción de memoria intermedia seleccionada de las descripciones de memoria intermedia 515. En el ejemplo de la figura 2, la descripción de memoria intermedia BD1 se selecciona. Adicionalmente, la información de actualización de descripciones de memoria intermedia 523 incluye información de modificación de descripciones de memoria intermedia. La información de modificación de descripciones de memoria intermedia asigna un identificador de imagen a un elemento de memoria intermedia seleccionado 515A dentro de la descripción de memoria intermedia seleccionada 515. Aquí, el identificador de imagen se especifica ya sea utilizando su posición relativa o utilizando un identificador único para la imagen. El identificador único para la imagen incluye, por ejemplo, el número de recuento de orden de imagen (POC). En el ejemplo en la figura 2, la imagen P214 identificada por su número de POC = 214 se asigna al elemento de memoria intermedia BE0 dentro de la descripción de memoria intermedia BD1. Esta modificación tiene aplicación solo para el corte objetivo actual y no tiene aplicación para los cortes subsecuentes. Cuando la modificación del mismo contenido (por ejemplo, la asignación de la imagen P214 al elemento de memoria intermedia BE0) se requiere en cortes o imágenes subsecuentes que utilizan la descripción de memoria intermedia BD1, los encabezados de corte de aquellos cortes o imágenes subsecuentes deberán incluir la información de actualización de descripciones de memoria intermedia 523 del mismo contenido.

Los esquemas de codificación de vídeo recientes soportan el uso de imágenes de referencia a largo plazo, las cuales son imágenes de referencia que permanecen en la DPB durante un periodo de tiempo relativamente largo y se utilizan como imágenes de referencia inter-predicción para codificar una pluralidad de imágenes durante este periodo. En el esquema de codificación de vídeo AVC, las imágenes de referencia a largo plazo en la DPB se gestionan utilizando el proceso de operación de control de gestión de memoria (MMCO).

En la descripción de memoria intermedia anterior, las imágenes de referencia a largo plazo se definen y se gestionan de la siguiente manera. Una imagen de referencia se considera como una imagen de referencia a largo plazo cuando la imagen se asigna a un elemento de memoria intermedia al especificar su número de POC. Por otra parte, una imagen se considera como una imagen de referencia que no es a largo plazo (a corto plazo) cuando la imagen se asigna a un elemento de memoria intermedia al especificar la distancia relativa (distancia de POC) a una imagen objetivo. La imagen de referencia a largo plazo permanece en la DPB siempre y cuando cada descripción de memoria intermedia consecutiva la incluya.

Los parámetros para especificar la imagen de referencia a largo plazo están disponibles únicamente en el encabezado de corte. Por lo tanto, para mantener una imagen de referencia a largo plazo en la DPB durante un intervalo de imágenes consecutivas, cada encabezado de corte dentro del intervalo de imágenes consecutivas deberá contener la información de actualización de descripciones de memoria intermedia 523 la cual identifica la imagen de referencia a largo plazo.

De esta manera, en la técnica anterior, la información para asignar una imagen de referencia a largo plazo tiene aplicación únicamente para el corte que es codificado o decodificado. Además, para utilizar la imagen de referencia a largo plazo durante un periodo de tiempo prolongado, la corriente de bits codificada deberá incluir piezas plurales de información la cual indica la misma asignación.

De esta manera, los inventores descubrieron el primer problema de una disminución en la eficiencia de codificación el cual es debido a la información repetida que está incluida en la corriente de bits codificada.

Adicionalmente, en la técnica anterior, un número de imagen único (número de POC) se utiliza como información que identifica la imagen de referencia a largo plazo. Este número de POC puede tener un valor grande y, por lo tanto, requiere muchos bits. En la práctica, algunas imágenes de referencia a largo plazo se utilizan en un tiempo. Por lo tanto, no es necesario utilizar un valor grande para identificar cada imagen de referencia a largo plazo.

De esta manera, los inventores descubrieron el segundo problema de una disminución en la eficiencia de codificación la cual es debido a que son necesarios muchos bits para especificar una imagen de referencia a largo plazo.

Para resolver los problemas mencionados anteriormente, un método de codificación de imágenes de acuerdo con un aspecto de la presente invención es un método de codificación de imágenes para generar una corriente de bits codificada al codificar una imagen utilizando una descripción de memoria intermedia para especificar una imagen que es mantenida en una memoria intermedia, el método de codificación de imágenes comprende: escribir, en un conjunto de parámetros de secuencia, información de definición de descripciones de memoria intermedia para definir una pluralidad de descripciones de memoria intermedia; seleccionar una de las descripciones de memoria intermedia para cada unidad de procesamiento que es una imagen o un corte y escribir, en un primer encabezado de la unidad de procesamiento, información de selección de descripciones de memoria intermedia para especificar la descripción de memoria intermedia seleccionada, el primer encabezado se incluye en la corriente de bits codificada;

5

10

15

20

25

30

35

40

45

50

55

y codificar la unidad de procesamiento utilizando la descripción de memoria intermedia seleccionada, en el que la información de definición de descripciones de memoria intermedia incluye información a largo plazo para identificar, entre una pluralidad de imágenes de referencia cubiertas por las descripciones de memoria intermedia, una imagen de referencia que se asigna como una imagen de referencia a largo plazo.

Al efectuarlo de esta manera, en el método de codificación de imágenes de acuerdo con un aspecto de la presente invención, la información de definición de descripciones de memoria intermedia que incluye la información a largo plazo para asignar una imagen de referencia como una imagen de referencia a largo plazo se escribe en el conjunto de parámetros de secuencia compartido por una pluralidad de imágenes y el identificador de descripción de memoria intermedia que indica una descripción de memoria intermedia que se selecciona se escribe en un encabezado de cada imagen o corte. Esto permite una reducción en la información redundante y permite de ese modo una mejora en la eficiencia de codificación en el método de codificación de imágenes en comparación con el caso donde la información para asignar una imagen de referencia como una imagen de referencia a largo plazo se escribe en un encabezado de corte.

Por ejemplo, la información a largo plazo puede incluir un primer índice a largo plazo para identificar la imagen de referencia que se asigna como la imagen de referencia a largo plazo.

Por ejemplo, la información a largo plazo puede incluir además un número único de recuento de orden de imagen (POC) para especificar una imagen de referencia asociada con el primer índice a largo plazo.

Por ejemplo, el primer encabezado puede incluir además un segundo índice a largo plazo para identificar la imagen de referencia que se asigna como la imagen de referencia a largo plazo.

Adicionalmente, un método de decodificación de imágenes de acuerdo con un aspecto de la presente invención es un método de decodificación de imágenes para decodificar una corriente de bits codificada utilizando una descripción de memoria intermedia para especificar una imagen que se mantiene en una memoria intermedia, el método de decodificación de imágenes comprende: obtener, de un conjunto de parámetros de secuencia que corresponde a la corriente de bits codificada, información de definición de descripciones de memoria intermedia para definir una pluralidad de descripciones de memoria intermedia; obtener, de un primer encabezado de una unidad de procesamiento que es una imagen o un corte, información de selección de descripciones de memoria intermedia para especificar una de las descripciones de memoria intermedia, el primer encabezado se incluye en la corriente de bits codificada; y decodificar la unidad de procesamiento utilizando la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia, en donde la información de definición de descripciones de memoria intermedia incluye información a largo plazo para identificar, entre una pluralidad de imágenes de referencia cubiertas por las descripciones de memoria intermedia, una imagen de referencia que es asignada como una imagen de referencia a largo plazo.

Al efectuarlo de esta manera, una corriente de bits codificada con eficiencia de codificación mejorada se puede decodificar en el método de decodificación de imágenes de acuerdo con un aspecto de la presente invención.

Por ejemplo, la información a largo plazo puede incluir un primer índice a largo plazo para identificar la imagen de referencia que es asignada como la imagen de referencia a largo plazo.

Por ejemplo, el primer encabezado puede incluir, además un segundo índice a largo plazo para identificar la imagen de referencia que es asignada como la imagen de referencia a largo plazo.

Adicionalmente, un aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención es un aparato de codificación de imágenes para generar una corriente de bits codificada al codificar una imagen utilizando una descripción de memoria intermedia para especificar una imagen que es mantenida en una memoria intermedia, el aparato de codificación de imágenes comprende escribir, en un conjunto de parámetros de secuencia, información de definición de descripciones de memoria intermedia para definir una pluralidad de descripciones de memoria intermedia; y seleccionar una de las descripciones de memoria intermedia para cada unidad de procesamiento que es una imagen o un corte, y escribir, en un primer encabezado de la unidad de procesamiento, información de selección de descripciones de memoria intermedia para especificar la descripción de memoria intermedia seleccionada, el primer encabezado se incluye en la corriente de bits codificada, en el que la información de definición de descripciones de memoria intermedia incluye información a largo plazo para identificar, entre una pluralidad de imágenes de referencia cubiertas por las descripciones de memoria intermedia; una imagen de referencia que es asignada como una imagen de referencia a largo plazo, y el aparato de codificación de imágenes codifica la unidad de procesamiento utilizando la descripción de memoria intermedia seleccionada.

El efectuarlo de esta manera, en el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención, la información de definición de descripciones de memoria intermedia que incluye la información a largo plazo para asignar una imagen de referencia como una imagen de referencia a largo plazo se escribe en el conjunto de parámetros de secuencia compartido por una pluralidad de imágenes y el identificador de descripción de memoria

5

10

15

20

25

30

35

40

45

50

55

intermedia que indica una descripción de memoria intermedia que se selecciona se escribe en un encabezado de cada imagen o corte. Esto permite una reducción en la información redundante y, de ese modo, permite una mejora en la eficiencia de codificación en el aparato de codificación de imágenes en comparación con el caso donde la información para asignar una imagen de referencia como una imagen de referencia a largo plazo se escribe en un encabezado de corte.

Adicionalmente, un aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención es un aparato de decodificación de imágenes para decodificar una corriente de bits codificada utilizando una descripción de memoria intermedia para especificar una imagen que se mantiene en una memoria intermedia, el aparato de decodificación de imágenes comprende una unidad de control de memoria de tramas configurada para realizar lo siguiente: obtener, de un conjunto de parámetros de secuencia correspondiente a la corriente de bits codificada, información de definición de descripciones de memoria intermedia para definir una pluralidad de descripciones de memoria intermedia; y obtener, de un primer encabezado de una unidad de procesamiento que es una imagen o un corte, información de selección de descripciones de memoria intermedia para especificar una de las descripciones de memoria intermedia, el primer encabezado se incluye en la corriente de bits codificada, en donde la información de definición de descripciones de memoria intermedia incluye información a largo plazo para identificar, entre una pluralidad de imágenes de referencia cubiertas por las descripciones de memoria intermedia, una imagen de referencia que es asignada como una imagen de referencia a largo plazo y el aparato de decodificación de imágenes decodifica la unidad de codificación utilizando la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia.

Al efectuarlo de esta manera, una corriente de bits codificada con eficiencia de codificación mejorada se puede decodificar en el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención.

Adicionalmente, un aparato de codificación y decodificación de imágenes de acuerdo con un aspecto de la presente invención comprende el aparato de codificación de imágenes y el aparato de decodificación de imágenes.

Estos aspectos generales y específicos se pueden implementar utilizando un sistema, un método, un circuito integrado, un programa de ordenador o un medio de grabación legible por ordenador, tal como un CD-ROM, o cualquier combinación de sistemas, métodos, circuitos integrados, programas de ordenador o medios de grabación legibles por ordenador.

En lo sucesivo, las realizaciones se describen con mayor detalle con referencia a los dibujos.

Cada una de las realizaciones descritas a continuación muestra un ejemplo general o especifico. Los valores numéricos, formas, materiales, elementos estructurales, la ordenación y conexión de los elementos estructurales, etapas, el orden de procesamiento de las etapas, etc. que se muestran en las siguientes realizaciones son solamente ejemplos y, por lo tanto, no limitan la presente invención. Por lo tanto, entre los elementos estructurales en las siguientes realizaciones, los elementos estructurales no referidos en ninguna de las reivindicaciones independientes que definen la parte más genérica del concepto inventivo se describen como elementos estructurales arbitrarios.

A continuación, se describen cuatro realizaciones. Será evidente para aquellas personas expertas en la técnica que se pueden llevar a cabo combinaciones de esas realizaciones para incrementar adicionalmente la funcionalidad y la adaptabilidad de definiciones de descripciones de memoria intermedia periódicas.

(Realización 1)

En esta realización, la información de definición de descripciones de memoria intermedia que incluye información a largo plazo se escribe en el SPS. Esto permite una reducción en la información redundante y de ese modo permite una mejora en la eficiencia de codificación en comparación con el caso donde la información a largo plazo se escribe en un encabezado de corte.

[Aparato de codificación]

La figura 3 es un diagrama de bloques que muestra una estructura de un aparato de codificación de imágenes 100 de acuerdo con esta realización.

El aparato de codificación de imágenes 100 codifica una señal de imagen de entrada 120 en una base de bloque por bloque con el fin de generar una corriente de bits codificada 132. Como se muestra en la figura 3, el aparato de codificación de imágenes 100 incluye un sustractor 101, una unidad de transformación ortogonal 102, una unidad de cuantificación 103, una unidad de cuantificación inversa 104, una unidad de transformación ortogonal inversa 105, un sumador 106, una memoria de bloques 107, una memoria de tramas 108, una unidad de intra-predicción 109, una unidad de inter-predicción 110, una unidad de determinación de tipo de imagen 111, una unidad de codificación de longitud variable 112 y una unidad de control de memoria de tramas 113.

La señal de imagen de entrada 120 es una corriente de bits de vídeo o imagen. El sustractor 101 calcula una diferencia entre los datos de imagen de predicción 131 y la señal de imagen de entrada 120, generando de ese

5

10

15

20

25

30

35

40

45

50

55

modo los datos de error de predicción 121. La unidad de transformación ortogonal 102 realiza la transformación ortogonal sobre los datos de error de predicción 121 para generar coeficientes de frecuencia 122. La unidad de cuantificación 103 cuantifica los coeficientes de frecuencia 122, generando de ese modo valores cuantificados 123. La unidad de codificación de longitud variable 112 realiza una codificación entrópica (codificación de longitud variable) sobre los valores cuantificados 123, generando de ese modo la corriente de bits codificada 132.

La unidad de cuantificación inversa 104 cuantifica de manera inversa los valores cuantificados 123, generando de ese modo coeficientes de frecuencia .124. La unidad de transformación ortogonal inversa 105 realiza una transformación ortogonal inversa sobre los coeficientes de frecuencia 122, generando de ese modo los datos de error de predicción 125. El sumador 106 agrega los datos de error de predicción 125 y los datos de imagen de predicción 131, generando de ese modo los datos de imagen decodificada 126. La memoria de bloques 107 mantiene los datos de imagen decodificada 126 como datos de imagen decodificada 127 en una base de bloque por bloque. La memoria de tramas 108 mantiene los datos de imagen decodificada 126 como datos de imagen decodificada 128 en una base de trama por trama.

La unidad de intra-predicción 109 realiza la intra-predicción para generar los datos de imagen de predicción 129 de un bloque actual que es codificado. Específicamente, la unidad de intra-predicción 109 busca dentro de los datos de imagen decodificada 127 almacenados en la memoria de bloques 107 y calcula un área de imagen la cual es más similar a la señal de imagen de entrada 120.

La unidad de inter-predicción 110 realiza la inter-predicción utilizando los datos de imagen decodificada por tramas 128 almacenados en la memoria de tramas 108, para generar los datos de imagen de predicción 130 del bloque actual.

La unidad de determinación de tipo de imagen 111 selecciona uno de los datos de imagen de predicción 129 y los datos de imagen de predicción 130 y produce los datos seleccionados como los datos de imagen de predicción 131.

La unidad de control de memoria de tramas 113 gestiona los datos de imagen decodificada 128 que están almacenados en la memoria de tramas 108. Específicamente, la unidad de control de memoria de tramas 113 determina si los datos de imagen decodificada 128 se mantienen en la memoria de tramas 208 o son retirados de la memoria de tramas 208. Adicionalmente, la unidad de control de memoria de tramas 113 construye listas de referencia que son utilizadas por la unidad de inter-predicción 110. Adicionalmente, la unidad de control de memoria de tramas 113 genera información de control de memoria de tramas 133 la cual incluye información de definición de descripciones de memoria intermedia. La unidad de codificación de longitud variable 112 genera la corriente de bits codificada 132 la cual incluye esta información de control de memoria de tramas 133.

[Proceso de codificación]

Después, una descripción se proporciona a un método de codificación de imágenes el cual es realizado por el aparato de codificación de imágenes 100 como se mencionó anteriormente.

La figura 4 es un diagrama de flujo de un método de codificación de imágenes de acuerdo con esta realización. Adicionalmente, la figura 4 muestra un proceso de codificación el cual se realiza en una secuencia de vídeo individual que incluye una pluralidad de imágenes.

En primer lugar, el aparato de codificación de imágenes 100 determina una pluralidad de descripciones de memoria intermedia las cuales se deben utilizar sobre una pluralidad de imágenes en una secuencia de vídeo (S101). Las descripciones de memoria intermedia se utilizan para especificar imágenes que son mantenidas en la memoria intermedia (memoria de tramas). Específicamente, cada una de las descripciones de memoria intermedia incluye una pluralidad de elementos de memoria intermedia. Cada elemento de memoria intermedia contiene un identificador de imagen único que corresponde a una imagen de referencia almacenada en la memoria de tramas. Esto significa que cada una de las descripciones de memoria intermedia indica una pluralidad de imágenes de referencia almacenadas en la memoria de tramas. Las descripciones de memoria intermedia también son llamadas un conjunto de imágenes de referencia.

Adicionalmente, el aparato de codificación de imágenes 100 determina, entre las imágenes de referencia cubiertas por las descripciones de memoria intermedia, una imagen de referencia que es asignada como una imagen de referencia a largo plazo.

Aquí, la imagen de referencia a largo plazo indica una imagen de referencia que permanece en la memoria de tramas durante un periodo de tiempo relativamente prolongado. A diferencia de la imagen de referencia a largo plazo, una imagen de referencia normal que permanece en la memoria de tramas solo por un periodo de tiempo corto es llamada una imagen de referencia a corto plazo. Esto significa que la imagen de referencia a largo plazo se mantiene en la memoria de tramas durante un periodo de tiempo más prolongado que la imagen de referencia a corto plazo. En otras palabras, la distancia temporal de la imagen de referencia a largo plazo de una imagen actual es más grande que aquella de la imagen de referencia a corto plazo (por ejemplo, el valor absoluto de una diferencia en el número de POC es grande).

5

10

15

20

25

30

35

40

45

50

55

Además, parte de los detalles de los procesos de codificación y decodificación es diferente dependiendo si la imagen de referencia que es referida es la imagen de referencia a largo plazo o la imagen de referencia a corto plazo. Por ejemplo, el uso de un vector de movimiento en la inter-predicción es diferente dependiendo si la imagen de referencia que es referida es la imagen de referencia a largo plazo o la imagen de referencia a corto plazo.

Después, el aparato de codificación de imágenes 100 escribe, en un conjunto de parámetros de secuencia (SPS) en la corriente de bits codificada 132, la información de definición de descripciones de memoria intermedia la cual define las descripciones de memoria intermedia determinadas (S102). Aquí, el SPS es un conjunto de parámetros (información de encabezado) en cada secuencia de vídeo. Adicionalmente, esta información de definición de descripciones de memoria intermedia incluye información a largo plazo la cual identifica, entre las imágenes de referencia cubiertas por las descripciones de memoria intermedia, una imagen de referencia que es asignada como la imagen de referencia a largo plazo.

Después, el aparato de codificación de imágenes 100 selecciona, para cada imagen, una de las descripciones de memoria intermedia la cual se debe utilizar para codificar la imagen (S103). Se debe observar que el aparato de codificación de imágenes 100 puede seleccionar una descripción de memoria intermedia para cada corte.

Después, el aparato de codificación de imágenes 100 escribe información de selección de descripciones de memoria intermedia la cual especifica la descripción de memoria intermedia seleccionada en un encabezado de imagen que corresponde a la imagen actual (o un encabezado de corte que corresponde al corte actual) e incluido en la corriente de bits codificada 132 (S104).

Finalmente, el aparato de codificación de imágenes 100 codifica la imagen o corte actual utilizando la descripción de memoria intermedia seleccionada para la imagen o corte actual y la información a largo plazo (S105). Adicionalmente, el aparato de codificación de imágenes 100 genera la corriente de bits codificada 132 la cual incluye los datos codificados resultantes. Se debe observar que la codificación utilizando la información a largo plazo significa específicamente la ejecución del proceso de codificación (tal como un proceso de inter-predicción) y la gestión de la memoria intermedia de tramas, asumiendo la imagen de referencia indicada en la información a largo plazo como la imagen de referencia a largo plazo.

[Diagrama sintáctico]

Cada una de las figuras 5 y 6 es un diagrama sintáctico que muestra la ubicación de la información de definición de descripciones de memoria intermedia en una corriente de bits codificada en esta realización. Dos ubicaciones sintácticas ejemplares se describen a continuación.

Una corriente de bits codificada 132 mostrada en la figura 5 incluye el SPS 301 (SPS0), una pluralidad de PPSs 302 (PPS0 y PPS1) y una pluralidad de datos de imagen 303. Cada uno de los datos de imagen 303 incluye un encabezado de imagen 331 y una parte de datos de imagen 332. La parte de datos de imagen 332 incluye una pluralidad de datos de corte 335.

El SPS 301 incluye información de definición de descripciones de memoria intermedia 312 (BD define) y un identificador de SPS 311 (sps_id).

La información de definición de descripciones de memoria intermedia 312 define una pluralidad de descripciones de memoria intermedia. Por ejemplo, como las descripciones de memoria intermedia 515 mencionadas anteriormente, cada una de las descripciones se memoria intermedia incluye una pluralidad de elementos de memoria intermedia.

Aquí, la información de definición de descripciones de memoria intermedia anterior 312 incluye la siguiente información:

(1) Un parámetro (NumOfBD o num_short_term_ref_pic_sets) que indica el número de descripciones de memoria intermedia definidas en el SPS;

(2) Parámetros (Num0fBE[i], num_negative_pics[i] o num_negative_pics[i]) que indican el número de elementos de memoria intermedia en cada descripción de memoria intermedia donde cada índice [i] es un índice que identifica una descripción de memoria intermedia; y

(3) Parámetros (BE[i][j]) que identifican una pluralidad de imágenes de referencia asignadas a elementos de memoria intermedia en cada descripción de memoria intermedia donde cada índice [j] es un índice que identifica un elemento de memoria intermedia, es decir, BE[i][j] corresponde a un elemento de memoria intermedia identificado por el índice "j" en la descripción de memoria intermedia identificada por el índice "i".

Aquí, las descripciones de memoria intermedia periódicas se definen y se crean de la siguiente manera. En primer lugar, todos los elementos de memoria intermedia en todas las descripciones de memoria intermedia se seleccionan secuencialmente de acuerdo con una recursión predeterminada. Posteriormente, los parámetros BE[i][j] para asignar una imagen de referencia a cada elemento de memoria intermedia seleccionado se crean repetidamente.

Cada uno de los PPSs 302 incluye información de selección de SPS 321 (sps_select) y un identificador de PPS 322 (pps_id). La información de selección de SPS 321 (por ejemplo, sps_select = 0) indica el SPS301 al cual se refiere.

5

10

15

20

25

30

35

40

45

50

55

Adicionalmente, cada uno de los PPSs 302 es identificado por el identificador único de PPS 322 (por ejemplo, pps_id = 0).

El encabezado de imagen 331 incluye información de selección de PPS (pps_select) 333 e información de selección de descripciones de memoria intermedia 334 (bd_select).

La información de selección de PPS 333 (por ejemplo, pps_select = 0) indica el PPS 302 al cual se refiere. Utilizando esta información de selección de PPS 333, uno de los PPSs 302 es referido a partir del encabezado de imagen 331. Adicionalmente, utilizando la información de selección de SPS 321 incluida en el PPS 302, el SPS 301 es referido a partir del PPS 302 al cual se refiere. Esto vincula la imagen actual con la pluralidad disponible de descripciones de memoria intermedia definidas en el SPS 301.

Con la información de selección de descripciones de memoria intermedia 334 (por ejemplo, bd_select = 2), se especifica una de las descripciones de memoria intermedia. De esta manera, una descripción de memoria intermedia se selecciona de la pluralidad de descripciones de memoria intermedia.

Los datos de corte 335 incluidos en los datos de imagen 303 se codifican y se decodifican utilizando imágenes de referencia ordenadas de acuerdo con la descripción de memoria intermedia seleccionada.

Adicionalmente, como se muestra en la figura 6, cada uno de los datos de corte 335 incluye un encabezado de corte 341 y una parte de datos de corte 342. La parte de datos de corte 342 incluye una pluralidad de datos de unidad de codificación (CU) 343.

En una corriente de bits codificada 132A, la información de selección de PPS 333 y la información de selección de descripciones de memoria intermedia 334 no se incluyen en un encabezado de imagen 331A, sino que se incluyen en el encabezado de corte 341. También en este caso, se pueden obtener los efectos iguales que aquellos del caso mostrado en la figura 5.

Se debe observar que "corte" en la explicación anterior puede reemplazarse por "unidad de sub-imagen". La unidad de sub-imagen incluye, por ejemplo, un mosaico, un corte entrópico y un grupo de bloques que constituyen una partición de sub-imagen de procesamiento de frente de onda (unidad de Procesamiento Paralelo de Frente de Onda (WPP)).

En esta realización, por ejemplo, para asignar la imagen de referencia a largo plazo al elemento de memoria intermedia, se utiliza el identificador de imagen que es un número de imagen absoluto (tal como un número de POC). En este caso, una imagen de referencia se considera como una imagen de referencia a largo plazo cuando la imagen de referencia es identificada por un identificador de imagen en el elemento de memoria intermedia. Esto significa que la información a largo plazo incluida en la información de definición de descripciones de memoria intermedia 312 puede incluir un identificador de imagen el cual identifica una imagen de referencia que es asignada como la imagen de referencia a largo plazo.

Se debe observar que un índice a largo plazo se puede utilizar para asignar la imagen de referencia a largo plazo al elemento de memoria intermedia. En otras palabras, la información a largo plazo anterior puede incluir un índice a largo plazo que identifica la imagen de referencia que es asignada como la imagen de referencia a largo plazo. Específicamente, un índice a largo plazo único se asigna en primer lugar a una imagen de referencia en la memoria intermedia de tramas. Después, la imagen de referencia se selecciona utilizando el índice a largo plazo asignado al elemento de memoria intermedia en la descripción de memoria intermedia. Esto significa que los índices a largo plazo son índices los cuales identifican una pluralidad de imágenes de referencia incluidas en la memoria intermedia de tramas. Se debe observar que el índice a largo plazo puede ser un índice diferente de los anteriores. Por ejemplo, los índices a largo plazo pueden ser índices los cuales identifican una pluralidad de imágenes de referencia a largo plazo.

Una imagen de referencia se considera como una imagen de referencia a largo plazo cuando la imagen de referencia está identificada por un índice a largo plazo en la descripción de memoria intermedia activa. Se debe observar que la información a largo plazo puede incluir además información para asociar el índice a largo plazo con la imagen de referencia que es identificada por el identificador de imagen (número de POC). Esto significa que la información a largo plazo puede incluir además un identificador de imagen único (número de POC) para especificar una imagen de referencia asociada con el índice a largo plazo. En otras palabras, la información a largo plazo puede incluir información la cual indica una relación de correspondencia entre el índice a largo plazo y el identificador de imagen (número de POC).

Cuando el índice a largo plazo que tiene los mismos valores que el valor del índice a largo plazo asignado a la primera imagen de referencia se asigna a la segunda imagen de referencia que sigue después de la primera imagen de referencia, el índice a largo plazo especifica la segunda imagen de referencia y ya no especifica la primera imagen de referencia. Por ejemplo, el valor del índice a largo plazo asignado a la primera imagen de referencia incluida en el primer SPS se puede asignar directamente a la segunda imagen de referencia incluida en el segundo SPS. Cuando el segundo SPS se activa, el valor del índice a largo plazo no especifica la primera imagen de referencia, sino la segunda imagen de referencia.

5

10

15

20

25

30

35

40

45

50

Se debe observar que tanto el identificador de imagen anterior como el índice a largo plazo se pueden utilizar para asignar una imagen de referencia a largo plazo a un elemento de memoria intermedia. En este caso, una imagen de referencia se considera una imagen de referencia a largo plazo cuando la imagen de referencia es identificada por un identificador de imagen o por un índice a largo plazo.

Se debe observar que la información a largo plazo puede ser información diferente de la anterior siempre y cuando asigne una imagen de referencia como una imagen de referencia a largo plazo. Por ejemplo, la información a largo plazo puede ser un indicador que señala si la imagen de referencia indicada por el elemento de memoria intermedia debe ser asignada o no como la imagen de referencia a largo plazo. Alternativamente, la información a largo plazo puede ser información que especifica una o más imágenes de referencia que son asignadas como imágenes de referencia a largo plazo. Para esta especificación, se puede utilizar, por ejemplo, por lo menos uno del índice a largo plazo y el identificador de imagen (número de POC) descritos anteriormente. Adicionalmente, la información a largo plazo puede ser una lista para especificar una pluralidad de imágenes de referencia a largo plazo.

[Efecto del método de codificación]

Con lo anteriormente citado, el aparato de codificación de imágenes 100 de acuerdo con esta realización es capaz de impedir la repetición redundante de los mismos parámetros para construir las listas de referencia en la corriente de bits codificada. Esto permite que el aparato de codificación de imágenes 100 mejore la eficiencia de codificación de los parámetros que describen la construcción de listas de referencia. Adicionalmente, el aparato de codificación de imágenes 100 es capaz de lograr una armonización de diseño de las unidades de señalización estructuradas jerárquicamente de una corriente de bits codificada.

[Aparato de decodificación]

La figura 7 es un diagrama de bloques que muestra una estructura de un aparato de decodificación de imágenes 200 de acuerdo con esta realización.

El aparato de decodificación de imágenes 200 mostrado en la figura 7 decodifica una corriente de bits codificada 232 en una base de bloque por bloque, generando de esa manera datos de imagen decodificada 226. Este aparato de decodificación de imágenes 200 incluye una unidad de decodificación de longitud variable 212, una unidad de cuantificación inversa 204, una unidad de transformación ortogonal inversa 205, un sumador 206, una memoria de bloques 207, una memoria de tramas 208, una unidad de intra-predicción 209, una unidad de inter-predicción 210, una unidad de determinación de tipo de imagen 211 y una unidad de control de memoria de tramas 213.

La corriente de bits codificada 232 es, por ejemplo, la corriente de bits codificada 132 que se genera por el aparato de codificación de imágenes anterior 100.

La unida de decodificación de longitud variable 212 realiza la decodificación de longitud variable (decodificación entrópica) sobre la corriente de bits codificada 232 para generar los valores cuantificados 223 y la información de control de memoria de tramas 233. Aquí, la información de control de memoria de tramas 233 corresponde a la información de control de memoria de tramas anterior 133.

La unidad de cuantificación inversa 204 cuantifica de manera inversa los valores cuantificados 223, generando de ese modo los coeficientes de frecuencia 224. La unidad de transformación ortogonal inversa 205 realiza la transformación de frecuencia inversa sobre los coeficientes de frecuencia 224, generando de ese modo los datos de error de predicción 225. El sumador 206 agrega los datos de error de predicción 225 y los datos de imagen de predicción 231, generando de ese modo los datos de imagen decodificada 226. Los datos de imagen decodificada

226 se producen a partir del aparato de decodificación de imágenes 200 y, por ejemplo, se exhiben.

La memoria de bloques 207 mantiene los datos de imagen decodificada 226 como los datos de imagen decodificada

227 en una base de bloque por bloque. La memoria de tramas 208 mantiene los datos de imagen decodificada 226 como los datos de imagen decodificada 228 en una base de trama por trama.

La unidad de intra-predicción 209 realiza la intra-predicción para generar los datos de imagen de predicción 229 de un bloque actual que es decodificado. Específicamente, la unidad de intra-predicción 209 busca dentro de los datos de imagen decodificada 227 almacenados en la memoria de bloques 207 y calcula un área de imagen la cual es la más similar a los datos de imagen decodificada 226.

La unidad de inter-predicción 210 realiza la inter-predicción utilizando los datos de imagen decodificada por trama

228 almacenados en la memoria de tramas 208, para generar los datos de imagen de predicción 230 del bloque actual.

La unidad de determinación de tipo de imagen 211 selecciona uno de los datos de imagen de predicción 229 y los datos de imagen de predicción 230 y produce los datos seleccionados como los datos de imagen de predicción 231.

La unidad de control de memoria de tramas 213 gestiona los datos de imagen decodificada 228 almacenados en la memoria de tramas 208. Específicamente, la unidad de control de memoria de tramas 213 realiza los procesos de

5

10

15

20

25

30

35

40

45

50

gestión de memoria de acuerdo con la información de control de memoria de tramas 223. La unidad de control de memoria de tramas 213 determina si los datos de imagen decodificada 128 se mantienen en la memoria de tramas 208 o si son retirados de la memoria de tramas 208. Adicionalmente, la unidad de control de memoria de tramas 213 construye listas de referencia que son utilizadas por la unidad de inter-predicción 210.

[Proceso de decodificación]

Después, una descripción se proporciona a un método de decodificación de imágenes el cual es realizado por el aparato de decodificación de imágenes 200 como se mencionó anteriormente.

La figura 8 es un diagrama de flujo del método de decodificación de imágenes de acuerdo con esta realización. Adicionalmente, la figura 8 muestra un proceso de decodificación que se realiza en una secuencia de vídeo individual que incluye una pluralidad de imágenes.

En primer lugar, el aparato de decodificación de imágenes 200 obtiene, del SPS en la corriente de bits codificada 232, información de, definición de descripciones de memoria intermedia que incluye información a largo plazo y define una pluralidad de descripciones de memoria intermedia (S201).

Después, el aparato de decodificación de imágenes 200 obtiene información de selección de descripciones de memoria intermedia de un encabezado de imagen (o un encabezado de corte) en la corriente de bits codificada 232 (S202). Para la imagen actual (o corte), el aparato de decodificación de imágenes 200 entonces selecciona, de las descripciones de memoria intermedia, una descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia (S203).

Finalmente, el aparato de decodificación de imágenes 200 decodifica la imagen actual (o corte) utilizando la descripción de memoria intermedia seleccionada y la información a largo plazo (S204). Se debe observar que la decodificación utilizando la información a largo plazo significa específicamente la ejecución del proceso de decodificación (tal como un proceso de inter-predicción) y la gestión de la memoria intermedia de tramas, asumiendo la imagen de referencia indicada en la información a largo plazo como la imagen de referencia a largo plazo.

[Efecto del método de decodificación]

Con lo anteriormente citado, el aparato de decodificación de imágenes 200 de acuerdo con esta realización es capaz de decodificar una corriente de bits codificada que se codifica en la forma de un diseño armonizado y de eficiencia de codificación mejorada de los datos de descripción de memoria intermedia.

(Realización 2)

Esta realización describe una variación de la Realización 1 anterior. El aparato de codificación de imágenes de acuerdo con esta realización escribe, además, en el PPS, información de actualización de descripciones de memoria intermedia para modificar las descripciones de memoria intermedia las cuales incluyen la información a largo plazo.

Lo siguiente describe principalmente las diferencias de la Realización 1 y, de esta manera, omite las explicaciones solapadas.

[Aparato de codificación]

El diagrama de bloques del aparato de codificación de imágenes 100 de acuerdo con esta realización es el mismo o semejante al mostrado en la figura 3 y, por lo tanto, no se explica.

[Proceso de codificación]

Lo siguiente describe un método de codificación de imágenes que se realiza mediante el aparato de codificación de imágenes 100 de acuerdo con esta realización.

La figura 9 es un diagrama de flujo de un método de codificación de imágenes de acuerdo con esta realización. El procesamiento mostrado en la figura 9 incluye adicionalmente las Etapas S301 y S302 en comparación con las mostradas en la figura 4 en el método de codificación de imágenes de acuerdo con la Realización 1.

Después de la Etapa S102, el aparato de codificación de imágenes 100 modifica una pluralidad de descripciones de memoria intermedia (S301). Específicamente, el aparato de codificación de imágenes 100 modifica una o más descripciones de memoria intermedia de la pluralidad de descripciones de memoria intermedia. Se debe observar que el aparato de codificación de imágenes 100 puede agregar nuevas descripciones de memoria intermedia en lugar de modificar las descripciones de memoria intermedia originales. El aparato de codificación de imágenes 100 puede modificar algunas o la totalidad de las descripciones de memoria intermedia. Por ejemplo, el aparato de codificación de imágenes 100 puede modificar algunos o la totalidad de los elementos de memoria intermedia incluidos en las descripciones de memoria intermedia. Adicionalmente, el aparato de codificación de imágenes 100 determina si las imágenes de referencia incluidas en las descripciones de memoria intermedia modificada deben ser asignadas o no como imágenes de referencia a largo plazo.

5

10

15

20

25

30

35

40

45

50

55

Después, para modificar algunas descripciones de memoria intermedia de la pluralidad de descripciones de memoria intermedia, el aparato de codificación de imágenes 100 escribe, en el PPS en la corriente de bits codificada 132, información de actualización de descripciones de memoria intermedia que indica los detalles de la modificación (S302). Aquí, la información de actualización de descripciones de memoria intermedia incluye información a largo plazo para asignar una imagen de referencia como una imagen de referencia a largo plazo.

Se debe observar que, cuando se determina que nuevas descripciones de memoria intermedia son creadas en la Etapa S301, la información de actualización de descripciones de memoria intermedia comprende información para definir nuevas descripciones de memoria intermedia adicionales.

Después, el aparato de codificación de imágenes 100 selecciona una descripción de memoria intermedia de la pluralidad modificada de descripciones de memoria intermedia (S103) y escribe, en el encabezado de imagen de la imagen actual en la corriente de bits codificada 132, información de selección de descripciones de memoria intermedia que especifica la descripción de memoria intermedia seleccionada (S104). Finalmente, el aparato de codificación de imágenes 100 codifica la imagen o corte actual utilizando la descripción de memoria intermedia seleccionada y la información a largo plazo (S105).

[Diagrama sintáctico]

Cada una de las figuras 10 y 11 es un diagrama sintáctico que muestra la ubicación de la información de actualización de descripciones de memoria intermedia en una corriente de bits codificada en esta realización. Dos ubicaciones sintácticas ejemplares se describen a continuación.

Una corriente de bits codificada 132B mostrada en la figura 10 es diferente de la corriente de bits codificada 132 mostrada en la figura 5 debido a que el PPS 302B reemplaza el PPS 302. Específicamente, el PPS 302B incluye además información de actualización de descripciones de memoria intermedia 323 (actualización BD).

Esta información de actualización de descripciones de memoria intermedia 323 incluye: información de selección de descripciones de memoria intermedia que especifica una descripción de memoria intermedia; información de selección de elementos de memoria intermedia que especifica un elemento de memoria intermedia; y un identificador de imagen. El identificador de imagen se incluye en la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia y especifica una imagen asignada al elemento de memoria intermedia especificado en la información de selección de elementos de memoria intermedia. Se debe observar que un elemento de memoria intermedia corresponde a una imagen de referencia almacenada en la memoria intermedia de tramas. Se debe observar que la información de actualización de descripciones de memoria intermedia 323 puede incluir una pluralidad de conjuntos de la información de selección de descripciones de memoria intermedia, la información de selección de elementos de memoria intermedia y el identificador de imagen. En otras palabras, la información de actualización de descripciones de memoria intermedia 323 puede incluir información para actualizar una pluralidad de elementos de memoria intermedia.

Adicionalmente, cuando la corriente de bits codificada 132B incluye una pluralidad de PPSs 302, la información de actualización de descripciones de memoria intermedia 323 en uno de los PPSs 302 es independiente de la en otro de los PPSs 302. Es decir, diferentes PPSs 302 se pueden asociar con diferentes descripciones de memoria intermedia. Por ejemplo, cuando el segundo PPS está activo, la información de actualización de descripciones de memoria intermedia 323 incluida en el primer PPS no se utiliza. En este caso, la información de actualización de descripciones de memoria intermedia 323 incluida en el segundo PPS activo se aplica a la información de definición de descripciones de memoria intermedia 312 incluida en el SPS 301.

Se debe observar que lo mismo tiene aplicación al caso donde se utiliza el índice a largo plazo. Específicamente, cuando el segundo PPS está activo, el índice a largo plazo incluido en el primer PPS activo no se utiliza.

Adicionalmente, en la información de actualización de descripciones de memoria intermedia 323, el método para asignar una imagen de referencia a largo plazo a un elemento de memoria intermedia puede ser el mismo o similar a aquel en el caso descrito anteriormente de la información de definición de descripciones de memoria intermedia 312. En la información de actualización de descripciones de memoria intermedia 323, cuando una imagen de referencia se indica por el identificador de imagen o el índice a largo plazo, la imagen de referencia se considera como una imagen de referencia a largo plazo.

Esto significa que la información a largo plazo incluida en la información de actualización de descripciones de memoria intermedia 323 puede incluir un identificador de imagen que identifica una imagen de referencia que es asignada como la imagen de referencia a largo plazo. Adicionalmente, la información a largo plazo anterior puede incluir un índice a largo plazo que identifica la imagen de referencia que es asignada como la imagen de referencia a largo plazo. Por otra parte, la información a largo plazo puede incluir además un identificador de imagen único (número de POC) para especificar una imagen de referencia asociada con el índice a largo plazo.

Con lo anteriormente citado, para la imagen actual, se refiere al PPS 302B indicado en la información de selección de PPS 333 incluida en el encabezado de imagen 331 de la imagen actual, y luego se refiere a la información de actualización de descripciones de memoria intermedia 323 incluida en el pPs 302B referido. Adicionalmente, se

5

10

15

20

25

30

35

40

45

50

refiere al SPS301 indicado en la información de selección de SPS 321 incluida en el PPS 302B y luego se refiere a la información de definición de descripciones de memoria intermedia 312 incluida en el SPS301 referido. Cuando la información de actualización de descripciones de memoria intermedia 323 referida incluye información para actualizar la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia 334 incluida en el encabezado de imagen anterior 331, la descripción de memoria intermedia actualizada con base en esta información se utiliza en el proceso para codificar o decodificar la imagen actual. En contraste, cuando la información de actualización de descripciones de memoria intermedia 323 referida no incluye la información para actualizar la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia 334 incluida en el encabezado de imagen anterior 331, la descripción de memoria intermedia que se incluye en la información de definición de descripciones de memoria intermedia 312 en el SPS 301 y se especifica en la información de selección de descripciones de memoria intermedia 334 se utiliza en el proceso de codificación o decodificación de la imagen actual.

En una corriente de bits codificada 132C mostrada en la figura 11, la información de selección de PPS 333 y la información de selección de descripciones de memoria intermedia 334 no se incluyen en el encabezado de imagen 331A, sino que se incluyen en el encabezado de corte 341. También en este caso, se pueden obtener efectos iguales a aquellos del caso mostrado en la figura 10.

La información de actualización de descripciones de memoria intermedia 323 se puede localizar en unidades de señalización diferentes del PPS en una corriente de bits codificada. Estas otras unidades de señalización poseen las mismas características que el PPS debido a que contienen los parámetros utilizados en común por una pluralidad de cortes en una o más imágenes. La extensión y adaptación del PPS a estas otras unidades de señalización serán evidentes para aquellas personas expertas en el campo.

Aunque lo anterior describe un ejemplo en el cual tanto la información de definición de descripciones de memoria intermedia 312 como la información de actualización de descripciones de memoria intermedia 323 incluyen la información a largo plazo, también puede ser posible que solo una de la información de definición de descripciones de memoria intermedia 312 y la información de actualización de descripciones de memoria intermedia 323 incluya la información a largo plazo.

[Efecto del método de codificación]

Con lo anteriormente citado, el aparato de codificación de imágenes 100 de acuerdo con esta realización es capaz de impedir la repetición redundante de los mismos parámetros para construir las listas de referencia en la corriente de bits codificada. Esto permite que el aparato de codificación de imágenes 100 mejore la eficiencia de codificación de los parámetros que describen la construcción de listas de referencia. Adicionalmente, el aparato de codificación de imágenes 100 es capaz de lograr la armonización de diseño de las unidades de señalización estructuradas jerárquicamente de una corriente de bits codificada.

[Aparato de decodificación]

El diagrama de bloques del aparato de decodificación de imágenes 200 de acuerdo con esta realización es el mismo o similar a aquel mostrado en la figura 7 y, por lo tanto, no se explica.

[Proceso de decodificación]

A continuación, se describe un método de decodificación de imágenes que se realiza mediante el aparato de decodificación de imágenes 200 de acuerdo con esta realización.

La figura 12 es un diagrama de flujo del método de decodificación de imágenes de acuerdo con esta realización. El procesamiento mostrado en la figura 12 incluye adicionalmente la Etapa S401 en comparación con las etapas mostradas en la figura 8 en el método de decodificación de imágenes de acuerdo con la Realización 1.

Después de la Etapa S201, el aparato de decodificación de imágenes 200 obtiene información de actualización de descripciones de memoria intermedia del PPS en la corriente de bits codificada 232 para modificar una pluralidad de descripciones de memoria intermedia (S401). Aquí, la información de actualización de descripciones de memoria intermedia incluye información a largo plazo.

Después, el aparato de decodificación de imágenes 200 obtiene información de selección de descripciones de memoria intermedia del encabezado de imagen de la imagen actual en la corriente de bits codificada 232 para seleccionar una descripción de memoria intermedia de la pluralidad modificada de descripciones de memoria intermedia (S202). Después, el aparato de decodificación de imágenes 200 selecciona, para la imagen (o corte) actual, una descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia (S203). Finalmente, el aparato de decodificación de imágenes 200 decodifica la imagen o corte actual utilizando la descripción de memoria intermedia seleccionada y la información a largo plazo (S204).

5

10

15

20

25

30

35

40

45

50

[Efecto del método de decodificación]

(Realización 3)

Esta realización describe una variación de la Realización 2 anterior. Una corriente de bits codificada en esta realización es diferente de aquella de la Realización 2 en la estructura de la información de actualización de descripciones de memoria intermedia. A continuación, se describen principalmente las diferencias de la Realización 1 o 2 y, de esta manera, se omite explicaciones solapadas.

[Aparato de codificación]

El diagrama de bloques del aparato de codificación de imágenes 100 de acuerdo con esta realización es el mismo o similar al mostrado en la figura 3 y, por lo tanto, no se explica.

[Proceso de codificación]

A continuación, se describe un método de codificación de imágenes el cual es realizado por el aparato de codificación de imágenes 100 de acuerdo con esta realización.

La figura 13 es un diagrama de flujo de un método de codificación de imágenes de acuerdo con esta realización. El procesamiento mostrado en la figura 13 incluye adicionalmente las Etapas S301A y S302A en comparación con las mostradas en la figura 4 en el método de codificación de imágenes de acuerdo con la Realización 1. Adicionalmente, el procesamiento en la Etapa S104A es diferente de aquel de la Etapa S104.

Después de la Etapa S103, el aparato de codificación de imágenes 100 determina modificaciones para la descripción de memoria intermedia seleccionada (S301A). Adicionalmente, el aparato de codificación de imágenes 100 determina si una imagen de referencia incluida en la descripción de memoria intermedia modificada debe ser asignada o no como una imagen de referencia a largo plazo.

Después, para seleccionar y modificar la descripción de memoria intermedia seleccionada, el aparato de codificación de imágenes 100 escribe, en el PPS en la corriente de bits codificada 132, información de actualización de descripciones de memoria intermedia que indica los detalles de la modificación (S302A). Aquí, la información de actualización de descripciones de memoria intermedia incluye información a largo plazo para asignar una imagen de referencia como una imagen de referencia a largo plazo.

Se debe observar que la estructura de la información de actualización de descripciones de memoria intermedia es casi la misma que aquella de la Realización 2 anterior, por ejemplo, pero, en esta realización, la información de actualización de descripciones de memoria intermedia incluye únicamente un conjunto de la información de selección de descripciones de memoria intermedia, la información de selección de elementos de memoria intermedia y el identificador de imagen.

Después, el aparato de codificación de imágenes 100 escribe información de selección de PPS en un encabezado de imagen de una imagen actual (o un encabezado de corte de un corte actual) en la corriente de bits codificada 132 para indicar que el PPS anterior es referido por la imagen (S104A). Una descripción de memoria intermedia correspondiente es referida de ese modo. Finalmente, el aparato de codificación de imágenes 100 codifica la imagen o corte actual utilizando la descripción de memoria intermedia seleccionada y la información a largo plazo (S105).

[Diagrama sintáctico]

Cada una de las figuras 14 y 15 es un diagrama sintáctico que muestra la ubicación de la información de actualización de descripciones de memoria intermedia en una corriente de bits codificada en esta realización. Dos ubicaciones sintácticas ejemplares se describen a continuación.

Una corriente de bits codificada 132D mostrada en la figura 14 es diferente de la corriente de bits codificada 132B mostrada en la figura 10 debido a que la información de actualización de descripciones de memoria intermedia 323D en el PPS 302D reemplaza la información de actualización de descripciones de memoria intermedia 323 en el PPS 302B. Adicionalmente, un encabezado de imagen 331D es diferente del encabezado de imagen 331.

Aunque la estructura de la información de actualización de descripciones de memoria intermedia 323D es casi la misma que aquella de la información de actualización de descripciones de memoria intermedia 323, por ejemplo, la información de actualización de descripciones de memoria intermedia 323D incluye únicamente un conjunto de la información de selección de descripciones de memoria intermedia, la información de selección de elementos de memoria intermedia y el identificador de imagen.

5

10

15

20

25

30

35

40

45

50

Se debe observar que el encabezado de imagen 331D no incluye la información de selección de descripciones de memoria intermedia 334.

Con lo anteriormente citado, para la imagen actual, se refiere al PPS 302D indicado en la información de selección de PPS 333 incluida en el encabezado de imagen 331D de la imagen actual y se refiere a la información de actualización de descripciones de memoria intermedia 323D incluida en el PPS 302D referido entonces. Posteriormente, la información de actualización de descripciones de memoria intermedia 323D referida se utiliza en el proceso de codificación o decodificación de la imagen actual. Esto significa que las imágenes o cortes los cuales se refieren al mismo PPS 302D son codificados y decodificados utilizando una descripción de memoria intermedia actualizada que se indica en la misma información de actualización de descripciones de memoria intermedia 323D.

En una corriente de bits codificada 132E mostrada en la figura 15, la información de selección de PPS 333 no está incluida en el encabezado de imagen 331A, sino que está incluida en un encabezado de corte 341E. También en este caso, se pueden obtener los efectos iguales a aquellos del caso mostrado en la figura 14.

Se debe observar que la información de actualización de descripciones de memoria intermedia 323D se puede localizar en unidades de señalización diferentes del PPS en una corriente de bits codificada.

[Efecto del método de codificación]

Con lo anteriormente citado, el aparato de codificación de imágenes 100 de acuerdo con esta realización es capaz de impedir la repetición redundante de los mismos parámetros para construir las listas de referencia en la corriente de bits codificada. Esto permite que el aparato de codificación de imágenes 100 mejore la eficacia de codificación de los parámetros que describen la construcción de listas de referencia. Adicionalmente, el aparato de codificación de imágenes 100 es capaz de lograr la armonización del diseño de unidades de señalización estructuradas jerárquicamente de una corriente de bits codificada.

[Aparato de decodificación]

[Proceso de decodificación]

La figura 16 es un diagrama de flujo del método de decodificación de imágenes de acuerdo con esta realización. El procesamiento mostrado en la figura 16 incluye adicionalmente la Etapa S401A en comparación con las etapas mostradas en la figura 8 en el método de decodificación de imágenes de acuerdo con la Realización 1. Adicionalmente, el procesamiento en las Etapas S202A y S203A es diferente de aquel de las Etapas S202 y S203.

Después de la Etapa S201, el aparato de decodificación de imágenes 200 obtiene, del PPS en la corriente de bits codificada, información de actualización de descripciones de memoria intermedia que incluye información a largo plazo e información de selección de descripciones de memoria intermedia, para seleccionar y modificar una descripción de memoria intermedia de la pluralidad de descripciones de memoria intermedia (S401A).

Después, el aparato de decodificación de imágenes 200 obtiene, del encabezado de imagen de la imagen actual en la corriente de bits codificada, un identificador de PPS, para indicar que el PPS anterior es referido por la imagen actual (S202A). Después, el aparato de decodificación de imágenes 200 selecciona, para la imagen (o corte) actual, una descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia en el PPS especificado por el identificador de PPS (S203A). Finalmente, el aparato de decodificación de imágenes 200 decodifica la imagen o corte actual utilizando la descripción de memoria intermedia seleccionada y la información a largo plazo (S204).

[Efecto del método de decodificación]

Con lo anteriormente citado, el aparato de decodificación de imágenes 200 de acuerdo con esta realización es capaz de decodificar una corriente de bits codificada que se codifica en la forma de un diseño armonizado y de eficacia de codificación mejorada de los datos de descripción de memoria intermedia.

(Realización 4)

Esta realización describe una variación de la Realización 3 anterior. En esta realización, la información de actualización de descripciones de memoria intermedia se incluye en el encabezamiento de corte. A continuación, se describen principalmente diferencias de la Realización 1,2 o 3 y, de esta manera, se omite explicaciones solapadas.

5

10

15

20

25

30

35

40

45

50

[Aparato de codificación]

El diagrama de bloques del aparato de decodificación de imágenes 100 de acuerdo con esta realización es el mismo o similar al mostrado en la figura 3 y, por lo tanto, no se explica.

[Proceso de codificación]

A continuación, se describe un método de codificación de imágenes que se realiza mediante el aparato de codificación de imágenes 100 de acuerdo con esta realización.

La figura 17 es un diagrama de flujo del método de decodificación de imágenes de acuerdo con esta realización. El procesamiento mostrado en la figura 17 incluye la Etapa S302B en lugar de las Etapas S302A y S104A mostradas en la figura 13 en el método de codificación de imágenes de acuerdo con la Realización 3.

Después de la Etapa S301A, para modificar la descripción de memoria intermedia seleccionada, el aparato de codificación de imágenes 100 escribe, en el encabezado de corte del corte actual en la corriente de bits codificada, información de actualización de descripciones de memoria intermedia que incluye información de selección de descripciones de memoria intermedia que especifica la descripción de memoria intermedia seleccionada (S302B). Aquí, la información de actualización de descripciones de memoria intermedia incluye información a largo plazo.

Se debe observar que la estructura de la información de actualización de descripciones de memoria intermedia es la misma o similar a la de la Realización 3 anterior, por ejemplo.

Finalmente, el aparato de codificación de imágenes 100 codifica el corte actual utilizando la descripción de memoria intermedia seleccionada y la información a largo plazo (S105).

[Diagrama sintáctico]

La figura 18 es un diagrama sintáctico que muestra la ubicación de la información de actualización de descripciones de memoria intermedia en una corriente de bits codificada en esta realización.

Una corriente de bits codificada 132F mostrada en la figura 18 es diferente de la corriente de bits codificada 132E mostrada en la figura 15 debido a que la información de actualización de descripciones de memoria intermedia 323D no se incluye en el PPS 302D, sino en el encabezado de corte 341E.

Con lo anteriormente citado, para el corte actual, se hace referencia a la información de actualización de descripciones de memoria intermedia 323D incluida en el encabezado de corte 341F del corte actual. Posteriormente, la información de actualización de descripciones de memoria intermedia 323D referida se utiliza en el proceso de codificación o decodificación de la imagen actual.

Aquí, la información de actualización de descripciones de memoria intermedia 323D en un encabezado de corte 341F es independiente de aquella en otro encabezado de corte 341F. En otras palabras, el proceso de actualización indicado en la información de actualización de descripciones de memoria intermedia 323D incluida en un encabezado de corte 341F se aplica únicamente a ese corte y no se aplica a otro corte. Además, la información de actualización de descripciones de memoria intermedia 323D incluida en el encabezado de corte activo 341F se aplica a la información de definición de descripciones de memoria intermedia 312 incluida en el SPS 301.

Lo siguiente describe la estructura sintáctica del SPS 301 y el encabezado de corte 341F de acuerdo con esta realización. La figura 19 muestra la estructura sintáctica del SPS 301 de acuerdo con esta realización. La figura 20 muestra la estructura sintáctica del encabezado de corte de acuerdo con esta realización.

Como se muestra en la figura 19, el SPS 301 incluye la información de definición de descripciones de memoria intermedia 312. La información de definición de descripciones de memoria intermedia 312 incluye información a largo plazo 402 para asignar, como una imagen de referencia a largo plazo, una imagen de referencia indicada por uno o más elementos de memoria intermedia incluidos en una o más descripciones de memoria intermedia. Esta información a largo plazo 402 incluye un identificador de imagen 403 (tal como un número de POC) y un índice a largo plazo 404.

Como se muestra en la figura 20, el encabezado de corte 341F (o unidad de sub-imagen) incluye la información de actualización de descripciones de memoria intermedia 323D. La información de actualización de descripciones de memoria intermedia 323D es información para seleccionar una de las descripciones de memoria intermedia y actualizar la descripción de memoria intermedia seleccionada. Esta información de actualización de descripciones de memoria intermedia 323D incluye la información de selección de descripciones de memoria intermedia 334 e información a largo plazo 405 para asignar, como una imagen de referencia a largo plazo, una imagen de referencia indicada por uno o más elementos de memoria intermedia incluidos en una o más descripciones de memoria intermedia. Esta información a largo plazo 405 incluye un índice a largo plazo 406 y un identificador de imagen 407 (número de POC).

5

10

15

20

25

30

35

40

45

50

Se debe observar que ya sea solo uno o ambos del identificador de imagen 407 y el índice a largo plazo 406, los cuales se incluyen en el encabezado de corte 341F se pueden utilizar para asignar una imagen de referencia a largo plazo a un elemento de memoria intermedia. Del mismo modo, ya sea solo uno o ambos del identificador de imagen 403 y el índice a largo plazo 404 los cuales se incluyen en el SPS 301 se pueden utilizar para asignar una imagen de referencia a largo plazo a un elemento de memoria intermedia.

Se debe observar que la estructura sintáctica igual o similar también se puede utilizar en las otras realizaciones descritas anteriormente. Por ejemplo, también en la Realización 1 anterior, se puede utilizar la estructura sintáctica de SPS mostrada en la figura 19. Adicionalmente, en la Realización 1, el encabezado de corte 341 incluye la información de selección de descripciones de memoria intermedia 334 (short_term_ref_pic_set_idx).

[Efecto del método de codificación]

[Aparato de decodificación]

[Proceso de decodificación]

A continuación, se describe un método de decodificación de imágenes el cual es realizado por el aparato de decodificación de imágenes 200 de acuerdo con esta realización.

La figura 21 es un diagrama de flujo del método de decodificación de imágenes de acuerdo con esta realización. El procesamiento mostrado en la figura 21 incluye la Etapa S401B en lugar de la Etapa S202 mostrada en la figura 8 en el método de decodificación de imágenes de acuerdo con la Realización 1.

Después de la Etapa S201, el aparato de decodificación de imágenes 200 obtiene, del encabezado de corte del corte actual en la corriente de bits codificada, información de actualización de descripciones de memoria intermedia que incluye información de selección de descripciones de memoria intermedia, para seleccionar y modificar una descripción de memoria intermedia de la pluralidad de descripciones de memoria intermedia (S401B). Aquí, la información de actualización de descripciones de memoria intermedia incluye información a largo plazo.

Después, el aparato de decodificación de imágenes 200 selecciona la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia (S203). Finalmente, el aparato de decodificación de imágenes 200 decodifica el corte actual utilizando la descripción de memoria intermedia seleccionada y la información a largo plazo (S204).

[Efecto del método de decodificación]

Con lo anteriormente citado, el aparato de decodificación de imágenes 200 de acuerdo con esta realización es capaz de decodificar una corriente de bits codificada, la cual se codifica en la forma de un diseño armonizado y de eficiencia de codificación mejorada de los datos de descripción de memoria intermedia.

Como antes, en el método de codificación de imágenes de acuerdo con esta realización, la información de definición de descripciones de memoria intermedia que define una pluralidad de descripciones de memoria intermedia se escribe en el SPS correspondiente a la corriente de bits codificada.

Adicionalmente, en el método de codificación de imágenes, para cada unidad de procesamiento que es una imagen o un corte, una de las descripciones de memoria intermedia se selecciona y la información de selección de descripciones de memoria intermedia que especifica la descripción de memoria intermedia seleccionada se escribe en un primer encabezado de la unidad de procesamiento que se incluye en la corriente de bits codificada. Aquí, el primer encabezado es un encabezado de una imagen o un corte y es específicamente PPS, un encabezado de imagen o un encabezado de corte.

En el método de codificación de imágenes, la unidad de procesamiento se codifica utilizando la descripción de memoria intermedia seleccionada.

Adicionalmente, la información de definición de descripciones de memoria intermedia anterior incluye información a largo plazo para asignar una imagen de referencia como una imagen de referencia a largo plazo.

5

10

15

20

25

30

35

40

45

50

55

Como antes, en el método de codificación de imágenes, la información de definición de descripciones de memoria intermedia que incluye la información a largo plazo se escribe en el conjunto de parámetros de secuencia compartido por una pluralidad de imágenes y un identificador de descripción de memoria intermedia que indica una descripción de memoria intermedia que se selecciona se escribe en un encabezado de cada imagen o corte. Esto permite una reducción en la información redundante y permite de ese modo una mejora en la eficiencia de codificación en el método de codificación de imágenes en comparación con el caso donde la información de definición de descripciones de memoria intermedia se escribe en un conjunto de parámetros de imagen. Adicionalmente, en el método de codificación de imágenes, es posible reducir la información redundante y, por lo tanto, es posible mejorar la eficiencia de codificación en comparación con el caso donde la información a largo plazo se escribe en un encabezado de corte.

Aunque el aparato de codificación de imágenes y el aparato de decodificación de imágenes de acuerdo con las realizaciones de la presente invención se han descrito anteriormente, la presente invención no está limitada a estas realizaciones.

Por ejemplo, aunque lo anterior describe un ejemplo en el cual el SPS se incluye en la corriente de bits codificada la cual incluye datos de corte y similares, el SPS se puede transmitir del aparato de codificación de imágenes al aparato de decodificación de imágenes por separado de la corriente de bits codificada la cual incluye los datos de corte y similares.

Las unidades de procesamiento respectivas incluidas en el aparato de codificación de imágenes y el aparato de decodificación de imágenes de acuerdo con cada una de las realizaciones anteriores se implementan típicamente como una integración a gran escala (LSI) es decir un circuito integrado. Estas unidades de procesamiento se pueden proporcionar cada una en un chip individual y una parte o la totalidad de las mismas se pueden formar en un chip individual.

Por otra parte, las maneras para lograr la integración no están limitadas al LSI y un circuito especial o un procesador de uso general también puede lograr la integración. La Matriz de Puerta Programable de Campo (FPGA) que se puede programar después de la fabricación de LSIs, o un procesador reconfigurable que permite la reconfiguración de la conexión o la configuración de un LSI se puede utilizar para el mismo propósito.

Cada uno de los elementos estructurales en cada una de las realizaciones descritas anteriormente se puede configurar en la forma de un producto de hardware exclusivo, o se puede producir al ejecutar un programa de software que es adecuado para el elemento estructural. Cada uno de los elementos estructurales se puede producir por medio de una unidad de ejecución de programa, tal como una CPU y un procesador, que lee y ejecuta el programa de software grabado en un medio de grabación, tal como un disco duro o una memoria semiconductora.

Adicionalmente, la presente invención se puede implementar como el programa de software anterior y también se puede implementar como un medio de grabación legible por ordenador no transitorio en el cual se graba este programa. Además, no hace falta decir que este programa se puede distribuir por vía de una red de comunicación tal como Internet.

Todos los números en este documento se proporcionan para ilustrar específicamente la presente invención y, por lo tanto, no la limitan.

La segmentación de los bloques funcionales en cada diagrama de bloques es un ejemplo y algunos de los bloques funcionales se pueden implementar como un bloque funcional mientras que un bloque funcional se puede dividir en partes plurales o parte de la función de un bloque funcional se puede cambiar a otro bloque funcional. Adicionalmente, las funciones de una pluralidad de bloques funcionales que tienen funciones similares se pueden procesar en paralelo o en forma dividida en segmentos de tiempo por un hardware o software individual.

El orden de procesamiento de las etapas incluidas en el método de codificación o decodificación de imágenes anterior se proporciona para ilustrar específicamente la presente invención y, por lo tanto, puede ser cualquier otro orden. Parte de las etapas anteriores se pueden realizar al mismo tiempo que (en paralelo con) otra etapa.

(Realización 5)

El procesamiento descrito en cada una de las realizaciones se puede implementar simplemente en un sistema de ordenador independiente, al grabar, en un medio de grabación, un programa para implementar las configuraciones del método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en cada una de las realizaciones. Los medios de grabación pueden ser cualquier medio de grabación siempre y cuando el programa pueda ser grabado, tal como un disco magnético, un disco óptico, un disco óptico magnético, una tarjeta IC y una memoria semiconductora.

En lo sucesivo, se describirán las aplicaciones para el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en cada una de las realizaciones y sistemas utilizando los mismos. El sistema tiene la característica de tener un aparato de codificación y decodificación de imágenes que incluye un aparato de codificación de imágenes que utiliza el método de codificación de imágenes y

5

10

15

20

25

30

35

40

45

50

55

un aparato de decodificación de imágenes que utiliza el método de decodificación de imágenes. Otras configuraciones en el sistema se pueden cambiar como sea apropiado dependiendo de los casos.

La figura 22 ilustra una configuración completa de un sistema de provisión de contenido ex100 para implementar los servicios de distribución de contenido. El área para proporcionar servicios de comunicación se divide en celdas del tamaño deseado y las estaciones base ex106, ex107, ex108, ex109 y ex110, las cuales son estaciones inalámbricas fijas se colocan en cada una de las celdas.

El sistema de provisión de contenido ex100 se conecta a dispositivos, tal como un ordenador ex111, un asistente digital personal (PDA) ex112, una cámara ex113, un teléfono celular ex114, una consola de videojuegos ex115, a través de Internet ex101, un proveedor de servicios de Internet ex102, una red telefónica ex104, así como también las estaciones base ex106 a ex110, respectivamente.

Sin embargo, la configuración del sistema de provisión de contenido ex100 no está limitada a la configuración mostrada en la figura 22 y es aceptable una combinación en la cual se conecta cualquiera de los elementos. Además, cada dispositivo se puede conectar directamente a la red telefónica ex104, preferiblemente que por vía de las estaciones base ex106 a ex110, las cuales son las estaciones inalámbricas fijas. Adicionalmente, los dispositivos se pueden interconectar entre sí por vía de una comunicación inalámbrica a corta distancia y otras.

La cámara ex113, tal como una cámara de vídeo digital, es capaz de capturar vídeo. Una cámara ex116, tal como una cámara digital, es capaz de capturar tanto imágenes fijas como vídeo. Adicionalmente, el teléfono celular ex114 puede ser aquel que cumpla con cualquiera de los estándares tales como el Sistema Global para Comunicaciones Móviles (GSM) (marca registrada), Acceso Múltiple por División de Código (CDMA), Acceso Múltiple por División de Código de Banda Ancha (W-CDMA), Evolución a Largo Plazo (LTE) y Acceso de Paquetes a Alta velocidad (HSPA). Alternativamente, el teléfono celular ex114 puede ser un Sistema de Teléfonos Personales (PHS).

En el sistema de provisión de contenido ex100, un servidor de transmisión ininterrumpida ex103 se conecta a la cámara ex113 y otros por vía de la red telefónica ex104 y la estación base ex109, lo cual hace posible la distribución de imágenes de un espectáculo en vivo y otros. En esta distribución, el contenido (por ejemplo, vídeo de un espectáculo musical en vivo) capturado por el usuario utilizando la cámara ex113 se codifica como se describe anteriormente en cada una de las realizaciones (es decir, la cámara funciona como el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención) y el contenido codificado se transmite al servidor de transmisión ininterrumpida ex103. Por otra parte, el servidor de transmisión ininterrumpida ex103 lleva a cabo la distribución ininterrumpida de los datos de contenido transmitidos a los clientes cuando lo soliciten. Los clientes incluyen el ordenador ex111, el PDA ex112, la cámara ex113, el teléfono celular ex114 y la consola de videojuegos ex115 que son capaces de decodificar los datos codificados que se mencionaron anteriormente. Cada uno de los dispositivos que han recibido los datos distribuidos decodifica y reproduce los datos codificados (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención).

Los datos capturados pueden ser codificados por la cámara ex113 o el servidor de transmisión ininterrumpida ex103 que transmite los datos, o los procesos de codificación pueden ser compartidos entre la cámara ex113 y el servidor de transmisión ininterrumpida ex103. Similarmente, los datos distribuidos pueden ser decodificados por los clientes o el servidor de transmisión ininterrumpida ex103, o los procesos de decodificación pueden ser compartidos entre los clientes y el servidor de transmisión ininterrumpida ex103. Adicionalmente, los datos de las imágenes fijas y vídeo capturados no solo por la cámara ex113, sino también la cámara ex116 pueden ser transmitidos al servidor de transmisión ininterrumpida ex103 a través del ordenador ex111. Los procesos de codificación pueden ser realizados por la cámara ex116, la computadora ex111 o el servidor de transmisión ininterrumpida ex103, o pueden ser compartidos entre los mismos.

Adicionalmente, los procesos de codificación y decodificación pueden ser realizados por un LSI ex500 incluido generalmente en cada uno del ordenador ex111 y los dispositivos. El LSI ex500 se puede configurar de un chip individual o una pluralidad de chips. El software para codificar y decodificar vídeo puede estar integrado en algún tipo de medio de grabación (tal como un CD-ROM, disco flexible y disco duro) que es legible por el ordenador ex111 y otros, y los procesos de codificación y decodificación se pueden realizar utilizando el software. Adicionalmente, cuando el teléfono celular ex114 está equipado con una cámara, los datos de vídeo obtenidos por la cámara se pueden transmitir. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono celular ex114.

Adicionalmente, el servidor de transmisión ininterrumpida ex103 puede estar compuesto de servidores y ordenadores y puede descentralizar datos y procesar los datos descentralizados, grabar o distribuir datos.

Como se ha descrito anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema de provisión de contenido ex100. En otras palabras, los clientes pueden recibir y decodificar información transmitida por el usuario y pueden reproducir los datos decodificados en tiempo real en el sistema de provisión de contenido ex100, de modo que el usuario que no tiene ningún derecho y equipo particular puede implementar una difusión personal.

Además del ejemplo del sistema de provisión de contenido ex100, por lo menos uno de los aparatos de codificación de imágenes en movimiento (aparato de codificación de imágenes) y el aparato de decodificación de imágenes, en movimiento (aparato de decodificación de imágenes) descritos en cada una de las realizaciones se pueden

5

10

15

20

25

30

35

40

45

50

55

60

implementar en un sistema de difusión digital ex200 ilustrado en la figura 23. Más específicamente, una estación de difusión ex201 comunica o transmite, por vía de ondas de radio a un satélite de difusión ex202, datos multiplexados que se obtienen al multiplexar datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados por medio del método de codificación de imágenes en movimiento descrito en cada una de las realizaciones (es decir, datos codificados por el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención). Con la recepción de los datos multiplexados, el satélite de difusión ex202 transmite ondas de radio para la difusión. Luego, una antena de uso casero ex204 con una función de recepción de difusión satelital recibe las ondas de radio. Después, un dispositivo tal como una televisión (receptor) ex300 y un sintonizador externo (STB) ex217 decodifica los datos multiplexados recibidos y reproduce los datos decodificados (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención).

Adicionalmente, un lector/grabador ex218 (i) lee y decodifica los datos multiplexados que están grabados en un medio de grabación ex215, tal como un DVD y un BD o (ii) codifica señales de vídeo en el medio de grabación ex215, y en algunos casos, escribe datos obtenidos al multiplexar una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de decodificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento como se muestra en cada una de las realizaciones. En este caso, las señales de vídeo reproducidas son exhibidas en el monitor ex219 y pueden ser reproducidas por otro dispositivo o sistema utilizando el medio de grabación ex215 en el cual se graban los datos multiplexados. También es posible implementar el aparato de decodificación de imágenes en movimiento en el sintonizador externo ex217 conectado al cable ex203 para una televisión de cable o a la antena ex204 para la difusión satelital y/o terrestre, con el fin de exhibir las señales de vídeo en el monitor ex219 de la televisión ex300. El aparato de decodificación de imágenes en movimiento puede no implementarse en el sintonizador externo, sino en la televisión ex300.

La figura 24 ilustra la televisión (receptor) ex300 que utiliza el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones. La televisión ex300 incluye: un dispositivo de sintonización ex301 que obtiene o proporciona datos multiplexados obtenidos al multiplexar datos de audio en datos de vídeo, a través de la antena ex204 o el cable ex203, etc. que recibe una difusión; una unidad de modulación/demodulación ex302 que desmodula los datos multiplexados recibidos o modula datos en datos multiplexados para ser suministrados al exterior; y una unidad de multiplexión/desmultiplexión ex303 que desmultiplexa los datos multiplexados modulados en datos de vídeo y datos de audio o multiplexa datos de vídeo y datos de audio codificados por una unidad de procesamiento de señales ex306 en datos.

La televisión ex300 incluye, además: una unidad de procesamiento de señales ex306 que incluye una unidad de procesamiento de señales de audio ex304 y una unidad de procesamiento de señales de vídeo ex305 que decodifican datos de audio y datos de vídeo y codifican datos de audio y datos de vídeo, respectivamente (los cuales funcionan como el aparato de codificación de imágenes y el aparato de decodificación de imágenes de acuerdo con los aspectos de la presente invención); y una unidad de salida ex309 que incluye un altavoz ex307 que proporciona la señal de audio decodificada y una unidad de exhibición ex308 que exhibe la señal de vídeo decodificada, tal como una pantalla. Adicionalmente, la televisión ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada de operación ex312 que recibe una entrada de una operación del usuario. Adicionalmente, la televisión ex300 incluye una unidad de control ex310 que controla en conjunto cada elemento constituyente de la televisión ex300 y una unidad de circuitos de suministro de energía ex311 que suministran energía a cada uno de los elementos. A diferencia de la unidad de entrada de operación ex312, la unidad de interfaz ex317 puede incluir: un puente ex313 que se conecta a un dispositivo externo, tal como el lector/grabador ex218; una unidad de ranura ex314 para hacer posible la unión del medio de grabación ex216, tal como una tarjeta SD; un controlador ex315 que es conectado a un medio de grabación externo, tal como un disco duro; y un módem ex316 que está conectado a una red telefónica. Aquí, el medio de grabación ex216 puede grabar eléctricamente información utilizando un elemento de memoria semiconductora no volátil/volátil para el almacenamiento. Los elementos constituyentes de la televisión ex300 se conectan entre sí a través de un bus sincrónico.

En primer lugar, se describirá la configuración en la cual la televisión ex300 decodifica los datos multiplexados obtenidos del exterior a través de la antena ex204 y otros y reproduce los datos decodificados. En la televisión ex300, con la operación de un usuario a través de un controlador remoto ex220 y otros, la unidad de multiplexión/desmultiplexión ex303 desmultiplexa los datos multiplexados que son desmodulados por la unidad de modulación/demodulación ex302, bajo control de la unidad de control ex310 que incluye una CPU. Adicionalmente, la unidad de procesamiento de señales de audio ex304 decodifica los datos de audio desmultiplexados y la unidad de procesamiento de señales de vídeo ex305 decodifica los datos de vídeo desmultiplexados, utilizando el método de decodificación descrito en cada una de las realizaciones, en la televisión ex300. La unidad de salida ex309 proporciona la señal de vídeo y la señal de audio decodificadas al exterior, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de vídeo y la señal de audio, las señales pueden ser almacenadas temporalmente en las memorias intermedias ex318 y ex319 y otras, de modo que las señales sean reproducidas en sincronización entre sí. Adicionalmente, la televisión ex300 puede leer datos multiplexados no a través de una difusión y otros, sino desde los medios de grabación ex215 y ex216, tal como un disco magnético, un disco óptico y una tarjeta SD. Después, se describirá una configuración en la cual la televisión ex300 codifica una señal de audio y una señal de vídeo y transmite los datos al exterior o escribe los datos en un medio de grabación. En la televisión ex300, con la operación de un usuario a través del controlador remoto ex220 y otros, la unidad de procesamiento de señales de audio ex304 codifica una señal de audio y la unidad de procesamiento de señales de vídeo ex305 codifica una señal

5

10

15

20

25

30

35

40

45

50

55

60

de vídeo, bajo control de la unidad de control ex310 utilizando el método de codificación descrito en cada una de las realizaciones. La unidad de multiplexión/desmultiplexión ex303 multiplexa la señal de vídeo y la señal de audio codificadas y proporciona la señal resultante al exterior. Cuando la unidad de multiplexión/desmultiplexión ex303 multiplexa la señal de vídeo y la señal de audio, las señales pueden ser almacenadas temporalmente en las memorias intermedias ex320 y ex321 y otras, de modo que las señales son reproducidas en sincronización entre sí. Aquí, las memorias intermedias ex318, ex319, ex320 y ex321 pueden ser plurales, como se ilustra, o por lo menos una memoria intermedia puede ser compartida en la televisión ex300. Adicionalmente, se pueden almacenar datos en una memoria intermedia, de modo que se puede evitar el desbordamiento o subdesbordamiento del sistema entre la unidad de modulación/demodulación ex302 y la unidad de multiplexión/desmultiplexión ex303, por ejemplo.

Adicionalmente, la televisión ex300 puede incluir una configuración para recibir una entrada de AV de un micrófono o una cámara diferente de la configuración para obtener datos de audio y vídeo de una difusión o un medio de grabación y puede codificar los datos obtenidos. Aunque la televisión ex300 puede codificar, multiplexar y proporcionar datos al exterior en la descripción, puede ser capaz de únicamente recibir, decodificar y proporcionar datos al exterior, pero no de codificar, multiplexar y proporcionar datos al exterior.

Adicionalmente, cuando el lector/grabador ex218 lee o escribe datos multiplexados de o en un medio de grabación, uno de la televisión ex300 y el lector/grabador ex218 puede decodificar o codificar los datos multiplexados y la televisión ex300 y el lector/grabador ex218 pueden compartir la decodificación o codificación.

Como un ejemplo, la figura 25 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando los datos son leídos o escritos de o en un disco óptico. La unidad de reproducción/grabación de información ex400 incluye los elementos constituyentes ex401, ex402, ex403, ex404, ex405, ex406 y ex407 que se describen posteriormente en este documento. La cabeza óptica ex401 irradia un foco de láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información y detecta la luz reflejada de la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación de modulación ex402 impulsa eléctricamente un láser semiconductor incluido en la cabeza óptica ex401 y modula la luz láser de acuerdo con datos grabados. La unidad de demodulación de reproducción ex403 amplifica una señal de reproducción obtenida al detectar eléctricamente la luz reflejada de la superficie de grabación utilizando un fotodetector incluido en la cabeza óptica ex401 y desmodula la señal de reproducción al separar un componente de señal grabado en el medio de grabación ex215 para reproducir la información necesaria. La memoria intermedia ex404 mantiene temporalmente la información a ser grabada en el medio de grabación ex215 y la información reproducida del medio de grabación ex215. El motor del disco ex405 hace girar el medio de grabación ex215. La unidad de servocontrol ex406 mueve la cabeza óptica ex401 a una pista de información predeterminada mientras que controla el impulso de rotación del motor del disco ex405 con el fin de seguir el foco de láser. La unidad de control del sistema ex407 controla en conjunto la unidad de reproducción/grabación de información ex400. Los procesos de lectura y escritura pueden ser implementados por la unidad de control del sistema ex407 utilizando diversa información, almacenada en la memoria intermedia ex404 y generando y agregando nueva información como sea necesario y por medio de la unidad de grabación de modulación ex402, la unidad de demodulación de reproducción ex403 y la unidad de servocontrol ex406 que graban y reproducen información a través de la cabeza óptica ex401, mientras que son operados de manera coordinada. La unidad de control del sistema ex407 incluye, por ejemplo, un microprocesador y ejecuta el procesamiento al causar que un ordenador ejecute un programa para leer y escribir.

Aunque la cabeza óptica ex401 irradia un foco de láser en la descripción, puede realizar la grabación de alta densidad utilizando luz de campo próximo.

La figura 26 ilustra el medio de grabación ex215 que es el disco óptico. En la superficie de grabación del medio de grabación ex215, unas ranuras de guía están formadas helicoidalmente y una pista de información ex230 graba, anticipadamente, información de dirección que indica una posición absoluta en el disco de acuerdo con un cambio en una forma de las ranuras de guía. La información de dirección incluye información para determinar posiciones de bloques de grabación ex231 que son una unidad para grabar datos. La reproducción de la pista de información ex230 y la lectura de la información de grabación en un aparato que graba y reproduce datos puede conducir a la determinación de las posiciones de los bloques de grabación. Adicionalmente, el medio de grabación ex215 incluye un área de grabación de datos ex233, un área de circunferencia interior ex232 y un área de circunferencia exterior ex234. El área de grabación de datos ex233 es un área para el uso en la grabación de los datos del usuario. El área de circunferencia interior ex232 y el área de circunferencia exterior ex234 que son el interior y el exterior del área de grabación de datos ex233, respectivamente, son para uso específico excepto para la grabación de los datos del usuario. La unidad de reproducción/grabación de información 400 lee y escribe datos de audio codificados, datos de vídeo codificados o datos multiplexados obtenidos al multiplexar los datos de audio y vídeo codificados, de y sobre el área de grabación de datos ex233 del medio de grabación ex215.

Aunque un disco óptico que tiene una capa, tal como un DVD y un BD se proporciona como un ejemplo en la descripción, el disco óptico no está limitado a ese tipo y puede ser un disco óptico que tenga una estructura de múltiples capas y que pueda ser grabado en una parte diferente de la superficie. Adicionalmente, el disco óptico puede tener una estructura para la grabación/reproducción multidimensional, tal como la grabación de información utilizando luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabar

5

10

15

20

25

30

35

40

45

50

55

información que tiene diferentes capas desde varios ángulos.

Adicionalmente, un coche ex210 que tiene una antena ex205 puede recibir datos del satélite ex202 y otros, y puede reproducir vídeo en un dispositivo de exhibición, tal como un sistema de navegación de coche ex211 establecido en el coche ex210, en el sistema de difusión digital ex200. Aquí, una configuración del sistema de navegación del coche ex211 será una configuración, por ejemplo, que incluye una unidad de recepción de GPS de la configuración ilustrada en la figura 24. Lo mismo será cierto para la configuración del ordenador ex111, el teléfono celular ex114 y otros.

La figura 27A ilustra el teléfono celular ex114 que utiliza el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en las realizaciones. El teléfono celular ex1l4 incluye: una antena ex350 para transmitir y recibir ondas de radio a través de la estación base ex110; una unidad de cámara ex365 capaz de capturar imágenes en movimiento y fijas; y una unidad de exhibición ex358 tal como una pantalla de cristal líquido para exhibir los datos tales como vídeo decodificado que es capturado por la unidad de cámara ex365 o es recibido por la antena ex350. El teléfono celular ex114 incluye, además: una unidad de cuerpo principal que incluye una unidad clave de operación ex366; una unidad de salida de audio ex357, tal como un altavoz para la salida de audio; una unidad de entrada de audio ex356, tal como un micrófono para la entrada de audio; una unidad de memoria ex367 para almacenar vídeo o imágenes fijas capturadas, audio grabado, datos codificados o decodificados del vídeo recibido, imágenes fijas, correos electrónicos u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma manera que la unidad de memoria ex367.

Después, un ejemplo de una configuración del teléfono celular ex114 se describirá con referencia a la figura 27B. En el teléfono celular ex114, una unidad de control principal ex360 diseñada para controlar en conjunto cada unidad del cuerpo principal que incluye la unidad de exhibición ex358, así como también la unidad clave de operación ex366 se conecta mutuamente, por vía de un bus sincrónico ex370, a una unidad de circuitos de suministro de energía ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señales de vídeo ex355, una unidad de interfaz de cámara ex363, una unidad de control de la pantalla de cristal líquido (LCD) ex359, una unidad de modulación/demodulación ex352, una unidad de multiplexión/desmultiplexión ex353, una unidad de procesamiento de señales de audio ex354, la unidad de ranura ex364 y la unidad de memoria ex367.

Cuando una tecla de final de llamada o una tecla de energía es encendida por la operación de un usuario, la unidad de circuitos de suministro de energía ex361 suministra a las unidades respectivas energía de un paquete de baterías para activar el teléfono celular ex114.

En el teléfono celular ex114, la unidad de procesamiento de señales de audio ex354 convierte las señales de audio recogidas por la unidad de entrada de audio ex356 en modo de conversación de voz en señales de audio digitales bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. Luego, la unidad de modulación/demodulación ex352 realiza un procesamiento de espectro expandido sobre las señales de audio digital y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia sobre los datos, para transmitir los datos resultantes por vía de la antena ex350. También, en el teléfono celular ex114, la unidad de transmisión y recepción ex351 amplifica los datos recibidos por la antena ex350 en modo de conversación de voz y realiza la conversión de frecuencia y la conversión de analógico a digital sobre los datos. Luego, la unidad de modulación/demodulación ex352 realiza el procesamiento de espectro expandido inverso sobre los datos y la unidad de procesamiento de señales de audio ex354 los convierte en señales de audio analógico, con el fin de enviarlos por vía de la unidad de salida de audio ex357.

Adicionalmente, cuando un correo electrónico en modo de comunicación de datos se transmite, los datos de texto del correo electrónico introducidos por medio de la operación de la unidad clave de operación ex366 y otros del cuerpo principal se envía a la unidad de control principal ex360 por vía de la unidad de control de entrada de operación ex362. La unidad de control principal ex360 causa que la unidad de modulación/demodulación ex352 realice un procesamiento de espectro expandido sobre los datos de texto y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia sobre los datos resultantes para transmitir los datos a la estación base ex110 por vía de la antena ex350. Cuando se recibe un correo electrónico, el procesamiento que es aproximadamente inverso al procesamiento para transmitir un correo electrónico se realiza sobre los datos recibidos y los datos resultantes se proporcionan a la unidad de exhibición ex358.

Cuando se transmite vídeo, imágenes fijas o vídeo y audio en el modo de comunicación de datos, la unidad de procesamiento de señales de vídeo ex355 comprime y codifica señales de vídeo suministradas de la unidad de cámara ex365 utilizando el método de codificación de imágenes en movimiento mostrado en cada una de las realizaciones y transmite los datos de vídeo codificados a la unidad de multiplexión/desmultiplexión ex353. En contraste, cuando la unidad de cámara ex365 captura vídeo, imágenes fijas y otros, la unidad de procesamiento de señales de audio ex354 codifica señales de audio recogidas por la unidad de entrada de audio ex356 y transmite los datos de audio codificados a la unidad de multiplexión/desmultiplexión ex353.

La unidad de multiplexión/desmultiplexión ex353 multiplexa los datos de vídeo codificados que son suministrados de la unidad de procesamiento de señales de vídeo ex355 y los datos de audio codificados que son suministrados de la

5

10

15

20

25

30

35

40

45

50

55

unidad de procesamiento de señales de audio ex354, utilizando un método predeterminado. Luego, la unidad de modulación/desmodulación (unidad de circuitos de modulación/desmodulación) ex352 realiza el procesamiento de espectro expandido sobre los datos multiplexados y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia sobre los datos con el fin de transmitir los datos resultantes por vía de la antena ex350.

Cuando se reciben datos de un archivo de vídeo el cual está vinculado con una página web y otros en el modo de comunicación de datos o cuando se recibe un correo electrónico con vídeo y/o audio adjunto, para decodificar los datos multiplexados que son recibidos por vía de la antena ex350, la unidad de multiplexión/desmultiplexión ex353 desmultiplexa los datos multiplexados en una corriente de bits de datos de vídeo y una corriente de bits de datos de audio y proporciona a la unidad de procesamiento señales de vídeo ex355 con los datos de vídeo codificados y la unidad de procesamiento de señales de audio ex354 con los datos de audio codificados, a través de la bus sincrónica ex370. La unidad de procesamiento de señales de vídeo ex355 decodifica la señal de vídeo utilizando un método de decodificación de imágenes en movimiento que corresponde al método de codificación de imágenes en movimiento mostrado en cada una de las realizaciones (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con el aspecto de la presente invención) y luego la unidad de exhibición ex358 exhibe, por ejemplo, las imágenes de vídeo y fijas que están incluidas en el archivo de vídeo vinculado con la página web por vía de la unidad de control de lCd ex359. Adicionalmente, la unidad de procesamiento de señales de audio ex354 decodifica la señal de audio y la unidad de salida de audio ex357 proporciona el audio.

Adicionalmente, de manera similar a la televisión ex300, un terminal tal como el teléfono celular ex114 tiene probablemente 3 tipos de configuraciones de implementación que incluyen no únicamente (i) una terminal de transmisión y recepción que incluye tanto un aparato de codificación como un aparato de decodificación, pero también (ii) un terminal de transmisión que incluye únicamente un aparato de codificación y (iii) un terminal de recepción que incluye únicamente un aparato de decodificación. Aunque el sistema de difusión digital ex200 recibe y transmite los datos multiplexados que se obtienen al multiplexar datos de audio en datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos al multiplexar no datos de audio, sino datos de carácter relacionados con vídeo en datos de vídeo y pueden no ser datos multiplexados, sino los propios datos de vídeo.

Como tal, el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento en cada una de las realizaciones se puede utilizar en cualquiera de los dispositivos y sistemas descritos. De esta manera, se pueden obtener las ventajas descritas en cada una de las realizaciones.

Adicionalmente, la presente invención no está limitada a cada una de las realizaciones, y se pueden hacer varias modificaciones y revisiones en cualquiera de las realizaciones de la presente invención.

(Realización 6)

Los datos de vídeo se pueden generar al alternar, como sea necesario, entre (i) el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento mostrado en cada de las realizaciones y (ii) un método de codificación de imágenes en movimiento o un aparato de codificación de imágenes en movimiento de conformidad con un estándar diferente, tal como MPEG-2, MPEG-4 AVC y VC-1.

Aquí, cuando una pluralidad de datos de vídeo que cumplen con los diferentes estándares se generan y luego se decodifican, es necesario que los métodos de decodificación se seleccionen para cumplir con los diferentes estándares. Sin embargo, puesto que no se puede detectar qué estándar cumple cada uno de la pluralidad de datos de vídeo a decodificar, existe el problema de que no se puede seleccionar un método de decodificación apropiado.

Para resolver el problema, los datos multiplexados que se obtienen al multiplexar datos de audio y otros en datos de vídeo tienen una estructura que incluye información de identificación que indica qué estándar cumplen los datos de vídeo. La estructura específica de los datos multiplexados que incluyen los datos de vídeo generados en el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones se describirá a continuación. Los datos multiplexados son una corriente digital en el formato de Corriente de Transporte MPEG-2.

La figura 28 ilustra una estructura de los datos multiplexados. Como se ilustra en la figura 28, los datos multiplexados se pueden obtener al multiplexar por lo menos una de una corriente de vídeo, una corriente de audio, una corriente de gráficos de presentación (PG) y una corriente de gráficos interactivos. La corriente de vídeo representa vídeo primario y vídeo secundario de una película, la corriente de audio (IG) representa una parte de audio primario y una parte de audio secundario que se mezcla con la parte de audio primario y la corriente de gráficos de presentación representa subtítulos de la película. Aquí, el vídeo primario es vídeo normal que se exhibe en una pantalla y el vídeo secundario es vídeo que se exhibe en una ventana más pequeña en el vídeo primario. Adicionalmente, la corriente de gráficos interactivos representa una pantalla interactiva que se genera al ordenar los componentes de GUI en una pantalla. La corriente de vídeo se codifica en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones, o en un método de codificación de imágenes en movimiento o por un aparato de codificación de imágenes en movimiento conformidad con un estándar convencional, tal como MPEG-2, MPEG-4 AVC y VC-1. La

5

10

15

20

25

30

35

40

45

50

55

corriente de audio se codifica de acuerdo con un estándar, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.

Cada corriente incluida en los datos multiplexados es identificada por un PID. Por ejemplo, 0x1011 se asigna a la corriente de vídeo que se utiliza para el vídeo de una película, de 0x1100 a 0x111F se asignan a las corrientes de audio, de 0x1200 a ,0x121F se asignan a las corrientes de gráficos de presentación, de 0x1400 a 0x141F se asignan a las corrientes de gráficos interactivos, de 0x1B00 a 0x1B1F se asignan a las corrientes de vídeo que se utilizan para el vídeo secundario de la película y de 0x1A00 a 0x1A1F se asignan a las corrientes de audio que se utilizan para el audio secundario que se mezcla con el audio primario.

La figura 29 ilustra esquemáticamente cómo se multiplexan los datos. En primer lugar, una corriente de vídeo ex235 compuesta de tramas de vídeo y una corriente de audio ex238 compuesta de tramas de audio se transforman en una corriente de paquetes PES ex236 y una corriente de paquetes PES ex239 y además en paquetes TS ex237 y paquetes TS ex240, respectivamente. Similarmente, los datos de una corriente de gráficos de presentación ex241 y datos de una corriente de gráficos interactivos ex244 se transforman en una corriente de paquetes PES ex242 y una corriente de paquetes PES ex245 y, además, en paquetes TS ex243 y paquetes TS ex246, respectivamente. Estos paquetes TS son multiplexados en una corriente para obtener datos multiplexados ex247.

La figura 30 ilustra con mayor detalle cómo se almacena una corriente de vídeo en una corriente de paquetes PES. La primera barra en la figura 30 muestra una corriente de tramas de vídeo en una corriente de vídeo. La segunda barra muestra la corriente de paquetes PES. Como se indica mediante las flechas designadas como yy1, yy2, yy3 e yy4 en la figura 30, la corriente de vídeo se divide en imágenes como imágenes-I, imágenes-B e imágenes-P, cada una de las cuales es una unidad de presentación de vídeo y las imágenes se almacenan en una carga útil de cada uno de los paquetes PES. Cada uno de los paquetes PES tiene un encabezado de PES y el encabezado de PES almacena un Registro de Tiempos de Presentación (PTS) que indica un tiempo de exhibición de la imagen y un Registro de Tiempos de Decodificación (DTS) que indica un tiempo de decodificación de la imagen.

La figura 31 ilustra un formato de paquetes TS que se escriben finalmente en los datos multiplexados. Cada uno de los paquetes TS es un paquete de longitud fija de 188 bytes, que incluye un encabezado de Ts de 4 bytes que tiene información, tal como un PID para identificar una corriente y una carga útil de TS de 184 bytes para almacenar datos. Los paquetes PES se dividen y se almacenan en las cargas útiles TS, respectivamente. Cuando se utiliza un BD ROM, a cada uno de los paquetes TS se proporciona un TP_Extra_Header (Encabezado Adicional TP) de 4 bytes, dando por resultado de esta manera paquetes fuente de 192 bytes. Los paquetes fuente se escriben en los datos multiplexados. El TP_Extra_Header almacena información tal como un Arrival_Time_Stamp (Registro de Tiempos de Llegada) (ATS). El ATS muestra un tiempo de inicio de transferencia en cada uno de los paquetes TS que deben ser transferidos a un filtro de PID. Los paquetes fuente se ordenan en los datos multiplexados como se muestra en el fondo de la figura 31. Los números que incrementan desde la cabeza de los datos multiplexados son llamados números de paquete fuente (SPNs).

Cada uno de los paquetes TS incluidos en los datos multiplexados incluye no únicamente corrientes de audio, vídeo, subtítulos y otros, sino también una Tabla de Asociación de Programas (PAT), una Tabla de Mapa de Programas (PMT) y una Referencia de Reloj de Programa (PCR). La PAT muestra lo que indica un PID en una PMT utilizada en los datos multiplexados y un PID de la PAT misma se registrada como cero. La PMT almacena PIDs de las corrientes de vídeo, audio, subtítulos y otros incluidas en los datos multiplexados y la información de atributos de las corrientes correspondientes a los PIDs. La PMT también tiene varios descriptores que se refieren a los datos multiplexados. Los descriptores tienen información tal' como información de control de copias que muestra si se permite o no el copiado de los datos multiplexados. La PCR almacena la información de tiempo de STC que corresponde a un ATS que muestra cuándo el paquete de PCR se transfiere a un decodificador, para lograr una sincronización entre un Reloj de Tiempo de Llegada (ATC) que es un eje de tiempo de ATSs y un Reloj de Tiempo de Sistema (STC) que es un eje de tiempo de PTSs y DTSs.

La figura 32 ilustra detalladamente la estructura de datos de la PMT. Un encabezado de PMT se coloca en la parte superior de la PMT. El encabezado de PMT describe la longitud de datos incluidos en la PMT y otros. Una pluralidad de descriptores que se refieren a los datos multiplexados se coloca después del encabezado de PMT. Información tal como información de control de copias se describe en los descriptores. Después de los descriptores, se coloca una pluralidad de piezas de información de corriente que se refiere a las corrientes incluidas en los datos multiplexados. Cada pieza de información de corriente incluye descriptores de corriente cada uno que describe información, tal como un tipo de corriente para identificar un códec de compresión de una corriente, un PID de corriente e información de atributos de corriente (tal como una velocidad de tramas o una relación dimensional). Los descriptores de corriente son iguales en número al número de corrientes en los datos multiplexados.

Cuando los datos multiplexados se graban en un medio de grabación y otros, se graban junto con archivos de información de datos multiplexados.

Cada uno de los archivos de información de datos multiplexados es información de gestión de los datos multiplexados como se muestra en la figura 33. Los archivos de información de datos multiplexados están en correspondencia de uno a uno con los datos multiplexados y cada uno de los archivos incluye información de datos

5

10

15

20

25

30

35

40

45

50

55

60

multiplexados, información de atributos de corriente y un mapa de entrada.

Como se ilustra en la figura 33, la información de datos multiplexados incluye una velocidad de sistema, un tiempo de inicio de reproducción y un tiempo de final de reproducción. La velocidad de sistema indica la velocidad de transferencia máxima a la cual un decodificador objetivo del sistema que se describe posteriormente transfiere los datos multiplexados a un filtro de PID. Los intervalos de los ATSs incluidos en los datos multiplexados se establecen a un nivel no más alto que una velocidad de sistema. El tiempo de inicio de reproducción indica un PTS en una trama de vídeo en la cabeza de los datos multiplexados. Un intervalo de una trama se agrega a un PTS en una trama de vídeo al final de los datos multiplexados y el PTS se ajusta al tiempo de final de reproducción.

Como se muestra en la figura 34, una pieza de información de atributos se registra en la información de atributos de corriente, para cada PID de cada corriente incluida en los datos multiplexados. Cada pieza de información de atributos tiene diferente información dependiendo si la corriente correspondiente es una corriente de vídeo, una corriente de audio, una corriente de gráficos de presentación o una corriente de gráficos interactivos. Cada pieza de información de atributos de corriente de vídeo lleva información que incluye qué clase de códec de compresión se utiliza para la compresión de la corriente de vídeo y la resolución, relación dimensional y velocidad de trama de las piezas de datos de imagen que se incluyen en la corriente de vídeo. Cada pieza de información de atributos de corriente de audio lleva información que incluye qué clase de códec de compresión se utiliza para comprimir la corriente de audio, cuantos canales se incluyen en la corriente de audio, qué lenguaje soporta la corriente de audio y que tan alta es la frecuencia de muestreo. La información de atributos de corriente de vídeo y la información de atributos de corriente de audio se utilizan para la inicialización de un decodificador antes de que el reproductor repita la información.

En la presente realización, los datos multiplexados a utilizar son un tipo de corriente incluida en la PMT. Adicionalmente, cuando los datos multiplexados se graban en un medio de grabación, la información de atributos de corriente de vídeo incluida en la información de datos multiplexados se utiliza. Más específicamente, el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones incluye una etapa o una unidad para asignar información única que indica los datos de vídeo generado por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, al tipo de corriente incluido en la PMT o la información de atributos de corriente de vídeo. Con la configuración, los datos de vídeo generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones se pueden distinguir de los datos de vídeo que cumplen con otro estándar.

Adicionalmente, la figura 35 ilustra etapas del método de decodificación de imágenes en movimiento de acuerdo con la presente realización. En la Etapa exS100, el tipo de corriente incluido en la PMT o la información de atributos de corriente de vídeo incluida en la información de datos multiplexados se obtiene de los datos multiplexados. Después, en la Etapa exS101, se determina si el tipo de corriente o la información de atributos de corriente de vídeo indica o no que los datos multiplexados son generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones. Cuando se determina que el tipo de corriente o la información de atributos de corriente de vídeo indica que los datos multiplexados son generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, en la Etapa exS102, la decodificación se realiza por el método de decodificación de imágenes en movimiento en cada una de las realizaciones. Adicionalmente, cuando el tipo de corriente o la información de atributos de corriente de vídeo indica el cumplimiento de los estándares convencionales, tales como MPEG-2, MPEG-4 AVC y VC-1, en la Etapa exS103, la decodificación se realiza mediante un método de decodificación de imágenes en movimiento de conformidad con los estándares convencionales.

Como tal, la asignación de un nuevo valor único al tipo de corriente o a la información de atributos de corriente de vídeo hace posible la determinación si el método de decodificación de imágenes en movimiento o el aparato de decodificación de imágenes en movimiento que se describe en cada una de las realizaciones puede realizar o no la decodificación. Incluso cuando se introducen datos multiplexados que cumplen con un estándar diferente, se puede seleccionar un método o aparato de decodificación apropiado. De esta manera, se hace posible decodificar información sin ningún error. Adicionalmente, el método o aparato de codificación de imágenes en movimiento, o el método o aparato de decodificación de imágenes en movimiento en la presente realización se puede utilizar en los dispositivos y sistemas descritos anteriormente.

(Realización 7)

Cada uno del método de codificación de imágenes en movimiento, el aparato de codificación de imágenes en movimiento, el método de decodificación de imágenes en movimiento y el aparato de decodificación de imágenes en movimiento en cada una de las realizaciones se logra típicamente en la forma de un circuito integrado o un circuito Integrado a Gran Escala (LSI). Como un ejemplo del LSI, la figura 36 ilustra una configuración del LSI ex500 que se hace en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 y ex509 que se describen posteriormente, y los elementos se conectan entre sí a través de un bus ex510. La unidad de circuitos de suministro de energía ex505 es activada al proveer a cada uno de los elementos con energía cuando

5

10

15

20

25

30

35

40

45

50

55

la unidad de circuitos de suministro de energía ex505 se enciende.

Por ejemplo, cuando se realiza la codificación, el LSI ex500 recibe una señal de AV de un micrófono ex117, una cámara ex113 y otros a través de una IO de AV ex509 bajo control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de corriente ex504 y una unidad de control de frecuencia impulsora ex512. La señal de AV recibida se almacena temporalmente en la memoria externa ex511, tal como una sDrAM. Bajo control de la unidad de control ex501, los datos almacenados son segmentados en porciones de datos de acuerdo con la cantidad y velocidad de procesamiento que se transmite a una unidad de procesamiento de señales ex507. Luego, la unidad de procesamiento de señales ex507 codifica una señal de audio y/o una señal de vídeo. Aquí, la codificación de la señal de vídeo es la codificación descrita en cada una de las realizaciones. Adicionalmente, la unidad de procesamiento de señales ex507 multiplexa algunas veces los datos de audio codificados y los datos de vídeo codificados, y una IO de corriente ex506 proporciona los datos multiplexados al exterior. Los datos multiplexados proporcionados son transmitidos a la estación base ex107, o se escriben en el medio de grabación ex215. Cuando se multiplexan los conjuntos de datos, los datos se deben almacenar temporalmente en la memoria intermedia ex508, de modo que los conjuntos de datos se sincronizan entre sí.

Aunque la memoria ex511 es un elemento fuera del LSI ex500, se puede incluir en el LSI ex500. La memoria intermedia ex508 no está limitada a una memoria intermedia, sino que puede estar compuesta de memorias intermedias. Adicionalmente, el LSI ex500 se puede hacer en un chip o una pluralidad de chips.

Adicionalmente, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de corriente ex504, la unidad de control de frecuencia impulsora ex512, la configuración de la unidad de control ex501 no está limitada a éstos. Por ejemplo, la unidad de procesamiento de señales ex507 puede incluir además una CPU. La inclusión de otra CPU en la unidad de procesamiento de señales ex507 puede mejorar la velocidad de procesamiento. Adicionalmente, como otro ejemplo, la CPU ex502 puede servir como o puede ser una parte de la unidad de procesamiento de señales ex507 y, por ejemplo, puede incluir una unidad de procesamiento de señales de audio. En este caso, la unidad de control ex501 incluye la unidad de procesamiento de señales ex507 o la CPU ex502 que incluye una parte de la unidad de procesamiento de señales ex507.

El nombre utilizado en este documento es LSI, pero también se puede llamar IC, sistema LSI, súper LSI o ultra-LSI dependiendo del grado de integración.

Por otra parte, las maneras para lograr la integración no están limitadas al LSI y un circuito especial o un procesador de uso general y así por el estilo también puede lograr la integración. La Matriz de Puerta Programable de Campo (FPGA) que se puede programar después de la fabricación de LSIs o un procesador reconfigurable que permite la reconfiguración de la conexión o la configuración de un LSI se puede utilizar para el mismo propósito.

En el futuro, con el avance en la tecnología de los semiconductores, una nueva tecnología puede reemplazar el LSI. Los bloques funcionales se pueden integrar utilizando esta tecnología. La posibilidad es que la presente invención se aplique a la biotecnología.

(Realización 8)

Cuando los datos de vídeo generados en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones se decodifican, en comparación a cuando los datos de vídeo que cumplen con un estándar convencional, tal como MPEG-2, MPEG-4 AVC y VC-1 se decodifican, la cantidad de procesamiento incrementa probablemente. De esta manera, el LSI ex500 necesita ser ajustado a una frecuencia impulsora más alta que aquella de la CPU ex502 que se utiliza cuando se decodifican datos de vídeo de conformidad con el estándar convencional. Sin embargo, cuando la frecuencia impulsora se ajusta más alto, existe el problema de que se incrementa el consumo de energía.

Para resolver el problema, el aparato de decodificación de imágenes en movimiento, tal como la televisión ex300 y el LSI ex500 se configuran para determinar que estándar cumplen los datos de vídeo y alternar entre las frecuencias impulsoras de acuerdo con el estándar determinado. La figura 37 ilustra una configuración ex800 en la presente realización. Una unidad de alternación de frecuencias impulsoras ex803 ajusta una frecuencia impulsora a una frecuencia impulsora más alta cuando los datos de vídeo son generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones. Luego, la unidad de alternación de frecuencias impulsoras ex803 da instrucciones a una unidad de procesamiento de decodificación ex801 que ejecuta el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones para decodificar los datos de vídeo. Cuando los datos de vídeo cumplen con el estándar convencional, la unidad de alternación de frecuencias impulsoras ex803 ajusta una frecuencia impulsora a una frecuencia impulsora más baja que aquella de los datos de vídeo generados por el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones. Luego, la unidad de alternación de frecuencias impulsoras ex803 da instrucciones a la unidad de procesamiento de decodificación ex802 que cumple con el estándar convencional para decodificar los datos de vídeo.

5

10

15

20

25

30

35

40

45

50

55

60

Más específicamente, la unidad de alternación de frecuencias impulsoras ex803 incluye la CPU ex502 y la unidad de control de frecuencias impulsoras ex512 en la figura 36. Aquí, cada unidad de procesamiento de decodificación ex801 que ejecuta el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación ex802 que cumple con el estándar convencional corresponde a la unidad de procesamiento de señales ex507 de la figura 36. La CPU ex502 determina que estándar cumplen los datos de vídeo. Luego, la unidad de control de frecuencias impulsoras ex512 determina una frecuencia impulsora con base en una señal de la CPU ex502. Adicionalmente, la unidad de procesamiento de señales ex507 decodifica los datos de vídeo con base en la señal de la CPU ex502. Por ejemplo, la información de identificación descrita en la Realización 8 se utiliza probablemente para identificar los datos de vídeo. La información de identificación no está limitada a aquella descrita en la Realización 8 pero puede ser cualquier información siempre y cuando la información indique que estándar cumplen los datos de vídeo. Por ejemplo, cuando se puede determinar que estándar cumplen los datos de vídeo con base en una señal externa para determinar que los datos de vídeo se utilizan para una televisión o un disco, etcétera, la determinación se puede hacer con base en esta señal externa. Adicionalmente, la CPU ex502 selecciona una frecuencia impulsora con base en, por ejemplo, una tabla de consulta en la cual los estándares de los datos de vídeo se asocian con las frecuencias impulsoras como se muestra en la figura 39. La frecuencia impulsora se puede seleccionar al almacenar la tabla de consulta en la memoria intermedia ex508 y en una memoria interna de un LSI y con referencia a la tabla de consulta por la CPU ex502.

La figura 38 ilustra etapas para ejecutar un método en la presente realización. En primer lugar, en la Etapa exS200, la unidad de procesamiento de señales ex507 obtiene información de identificación de los datos multiplexados. Después, en la Etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no por medio del método de codificación y el aparato de codificación descritos en cada una de las realizaciones con base en la información de identificación. Cuando los datos de vídeo son generados por medio del método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en la Etapa exS202, la CPU ex502 transmite una señal para ajustar la frecuencia impulsora a una frecuencia impulsora más alta para la unidad de control de frecuencias impulsoras ex512. Luego, la unidad de control de frecuencias impulsoras ex512 ajusta la frecuencia impulsora a la frecuencia impulsora más alta. Por otra parte, cuando la información de identificación indica que los datos de vídeo cumplen con el estándar convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, en la Etapa exS203, la CPU ex502 transmite una señal para ajustar la frecuencia impulsora a una frecuencia impulsora más baja para la unidad de control de frecuencias impulsoras ex512. Luego, la unidad de control de frecuencias impulsoras ex512 ajusta la frecuencia impulsora a la frecuencia impulsora más baja que aquella en el caso donde los datos de vídeo son generados por medio del método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones.

Adicionalmente, junto con la alternación de las frecuencias impulsoras, el efecto de conservación de energía se puede mejorar al cambiar la tensión que se aplica al LSI ex500 o un aparato que incluye el LSI ex500. Por ejemplo, Cuando la frecuencia impulsora se ajusta más baja, la tensión que se aplica al LSI ex500 o el aparato que incluye el LSI ex500 se ajusta probablemente a un voltaje más bajo que aquel en el caso donde la frecuencia impulsora se ajusta más alta.

Adicionalmente, cuando la cantidad de procesamiento para la decodificación es más grande, la frecuencia impulsora se puede ajustar más alta, y cuando la cantidad de procesamiento para la decodificación es más pequeña, la frecuencia impulsora se puede ajustar más baja como el método para ajustar la frecuencia impulsora. De esta manera, el método de ajuste no está limitado a aquellos descritos anteriormente. Por ejemplo, cuando la cantidad de procesamiento para decodificar datos de vídeo de conformidad con MPEG-4 AVC es más grande que la cantidad de procesamiento para la decodificación de datos de vídeo generados por medio del método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, la frecuencia impulsora se ajusta probablemente en orden inverso al ajuste descrito anteriormente.

Adicionalmente, el método para ajustar la frecuencia impulsora no está limitado al método para ajustar la frecuencia impulsora más baja. Por ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por medio del método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descrito en cada una de las realizaciones, la tensión que se aplica al LSI ex500 o el aparato que incluye el LSI ex500 se ajusta probablemente más alto. Cuando la información de identificación indica que los datos de vídeo cumplen con el estándar convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la tensión que se aplica al LSI ex500 o el aparato que incluye el LSI ex500 se ajusta probablemente más bajo. Como otro ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por medio del método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, la impulsión de la CPU ex502 no tiene que suspenderse probablemente. Cuando la información de identificación indica que los datos de vídeo cumplen con el estándar convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la impulsión de la CPU ex502 se suspende probablemente en un tiempo determinado debido a que la CPU ex502 tiene capacidad de procesamiento adicional. Incluso cuando la información de identificación indica que los datos de vídeo se generan por medio del método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en el caso donde la CPU ex502 tiene capacidad de procesamiento adicional, la impulsión de la CPU ex502 se suspende probablemente en un tiempo determinado. En este caso, el tiempo de suspensión se ajusta probablemente más corto que aquel en el caso cuando la información de identificación indica que los datos de vídeo cumplen con el estándar convencional, tal

5

10

15

20

25

30

35

40

45

50

55

como MPEG-2, MPEG-4 AVC y VC-1.

Por consiguiente, el efecto de conservación de energía se puede mejorar al alternar entre las frecuencias impulsoras de acuerdo con el estándar que cumplen los datos de vídeo. Adicionalmente, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se impulsa utilizando una batería, la vida útil de la batería se puede extender con el efecto de conservación de energía.

(Realización 9)

Existen varios casos donde una pluralidad de datos de vídeo que cumplen con diferentes estándares, se proporcionan a los dispositivos y sistemas, tal como un televisor y un teléfono celular. Para hacer posible la decodificación de la pluralidad de datos de vídeo que cumplen con los diferentes estándares, la unidad de procesamiento de señales ex507 del LSI ex500 necesita cumplir con los diferentes estándares. Sin embargo, los problemas del incremento en la escala del circuito del LSI ex500 y el incremento en el coste se elevan con el uso individual de las unidades de procesamiento de señales ex507 que cumplen con los estándares respectivos.

Para resolver el problema, lo que se idea es una configuración en la cual la unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación que cumple con el estándar convencional, tal como MPEG-2, MPEG-4 AVC y VC-1 se comparten parcialmente. Ex900 en la figura 40A muestra un ejemplo de la configuración. Por ejemplo, el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y el método de decodificación de imágenes en movimiento que cumple con MPEG-4 AVC tienen, parcialmente en común, los detalles del procesamiento, tal como la codificación entrópica, cuantificación inversa, filtrado de desbloqueo y predicción con compensación de movimiento. Los detalles del procesamiento que son compartidos incluyen probablemente el uso de una unidad de procesamiento de decodificación ex902 que cumple con MPEG-4 AVC. En contraste, una unidad de procesamiento de decodificación especializada ex901 se utiliza probablemente para otro procesamiento único para un aspecto de la presente invención. Puesto que el aspecto de la presente invención se caracteriza por el control de memoria de tramas en particular, por ejemplo, la unidad de procesamiento de decodificación especializada ex901 se utiliza para el control de memoria de tramas. De otra manera, la unidad de procesamiento de decodificación es compartida probablemente por uno de la decodificación entrópica, filtrado de desbloqueo y compensación de movimiento, o la totalidad del procesamiento. La unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones puede ser compartida para que el procesamiento sea compartido y una unidad de procesamiento de decodificación especializada se puede utilizar para el procesamiento único para aquel de MPEG-4 AVC.

Adicionalmente, ex1000 en la figura 40B muestra otro ejemplo en que se comparte parcialmente el procesamiento. Este ejemplo utiliza una configuración que incluye una unidad de procesamiento de decodificación especializada ex1001 que soporta el procesamiento único. Para un aspecto de la presente invención, una unidad de procesamiento de decodificación especializada ex1002 que soporta el procesamiento único para otro estándar convencional y una unidad de procesamiento de decodificación ex1003 que soporta el procesamiento que es compartido entre el método de decodificación de imágenes en movimiento de acuerdo con el aspecto de la presente invención y el método de decodificación de imágenes en movimiento convencional. En este punto, las unidades de procesamiento de decodificación especializadas ex1001 y ex1002 no están especializadas necesariamente para el procesamiento de acuerdo con el aspecto de la presente invención y el procesamiento del estándar convencional, respectivamente, y pueden ser aquellas capaces de implementar el procesamiento general. Adicionalmente, la configuración de la presente realización puede ser implementada por el LSI ex500.

Como tal, la reducción de la escala del circuito de un LSI y la reducción del costo son posibles al compartir la unidad de procesamiento de decodificación para que el procesamiento sea compartido entre el método de decodificación de imágenes en movimiento de acuerdo con el aspecto de la presente invención y el método de decodificación de imágenes en movimiento de conformidad con el estándar convencional.

rAplicabilidad Industrial!

La presente invención es aplicable a métodos de codificación de imágenes, métodos de decodificación de imágenes, aparatos de codificación de imágenes y aparatos de decodificación de imágenes. La presente invención se puede utilizar para dispositivos de exhibición de información y dispositivos de formación de imágenes con alta resolución los cuales incluyen televisiones, grabadoras de vídeo digitales, sistemas de navegación de autos, teléfonos celulares, cámaras digitales y cámaras de vídeo digitales.

[Lista de Signos de Referencia!

100 Aparato de codificación de imágenes

101 Sustractor

102 Unidad de transformación ortogonal

103 Unidad de cuantificación

104, 204 Unidad de cuantificación inversa

5

10

15

20

25

30

35

40

105, 205 Unidad de transformación ortogonal inversa

106, 206 Sumador

107, 207 Memoria de bloques

108, 208 Memoria de tramas

109, 209 Unidad de intra-predicción

110, 210 Unidad de inter-predicción

111,211 Unidad de determinación de tipo de imagen 112 Unidad de codificación de longitud variable 113, 213 Unidad de control de memoria de tramas 120 Señal de imagen de entrada

121, 125, 225 Datos de error de predicción

122, 124, 224 Coeficiente de frecuencia

123, 223 Valor cuantificado

126, 127, 128, 226, 227, 228 Datos de imagen decodificada 129, 130, 131,229, 230, 231 Datos de imagen de predicción

132, 132A, 132B, 132C, 132D, 132E, 132F, 232, 500 Corriente de bits codificada

133, 233 Información de control de memoria de tramas 200 Aparato de decodificación de imágenes

212 Unidad de decodificación de longitud variable

301, 501 Conjunto de parámetros de secuencia (SPS)

302, 302B, 302D, 502 Conjunto de parámetros de imagen (PPS)

303, 503 Datos de imagen 311 Identificador de SPS

312, 512 Información de definición de descripciones de memoria intermedia 321 Información de selección de SPS

322, 522 Identificador de PPS

323, 323D, 523 Información de actualización de descripciones de memoria intermedia 331, 331A, 331D Encabezado de imagen

332 Parte de datos de imagen

333, 533 Información de selección de PPS

334 Información de selección de descripciones de memoria intermedia 335, 535 Datos de corte

341, 341E, 341F, 541 Encabezado de corte

342, 542 Parte de datos de corte

343, 543 Datos de CU

402, 405 Información a largo plazo

403, 407 Identificador de imagen

404, 406 Índice a largo plazo

515 Descripción de memoria intermedia 515A Elemento de memoria intermedia

Claims

5

10

15

20

25

30

35

40

REIVINDICACIONES

1. Un procedimiento de decodificación de imágenes para decodificar una corriente de bits codificada utilizando una descripción de memoria intermedia para especificar que una imagen se mantiene en una memoria intermedia, estando el procedimiento de decodificación de imágenes caracterizado porque comprende:

obtener, desde un conjunto de parámetros de secuencia que corresponde a la corriente de bits codificada, información de definición de descripciones de memoria intermedia para definir una pluralidad de descripciones de memoria intermedia;

obtener, desde un encabezado de un corte, información de selección de descripciones de memoria intermedia para especificar una de las descripciones de memoria intermedia, estando incluido el encabezado en la corriente de bits codificada; y

decodificar el corte utilizando la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia,

en el que la información de definición de descripciones de memoria intermedia incluye información a largo plazo para identificar, entre una pluralidad de imágenes de referencia cubiertas por las descripciones de memoria intermedia, una imagen de referencia que es asignada como una imagen de referencia a largo plazo.
2. El procedimiento de decodificación de imágenes de acuerdo con la reivindicación 1, en el que la información a largo plazo incluye un primer índice a largo plazo para identificar la imagen de referencia que se asigna como la imagen de referencia a largo plazo.
3. El procedimiento de decodificación de imágenes de acuerdo con la reivindicación 2, en el que la información a largo plazo incluye además un número de recuento de orden de imagen único (POC) para especificar una imagen de referencia asociada con el primer índice a largo plazo.
4. El procedimiento de decodificación de imágenes de acuerdo con una cualquiera de las reivindicaciones 1 a 3, en el que el encabezado incluye además un segundo índice a largo plazo para identificar la imagen de referencia que se asigna como la imagen de referencia a largo plazo.
5. Un aparato de decodificación de imágenes para decodificar una corriente de bits codificada utilizando una descripción de memoria intermedia para especificar una imagen que se mantiene en una memoria intermedia, comprendiendo el aparato de decodificación de imágenes una unidad de control de memoria de tramas configurada para realizar lo siguiente:

obtener, desde un conjunto de parámetros de secuencia que corresponde a la corriente de bits codificada, información de definición de descripciones de memoria intermedia para definir una pluralidad de descripciones de memoria intermedia; y

obtener, desde un encabezado de un corte, información de selección de descripciones de memoria intermedia para especificar una de las descripciones de memoria intermedia, estando incluido el encabezado en la corriente de bits codificada,

en el que la información de definición de descripciones de memoria intermedia incluye información a largo plazo para identificar, entre una pluralidad de imágenes de referencia cubiertas por las descripciones de memoria intermedia, una imagen de referencia que se asigna como una imagen de referencia a largo plazo, y el aparato de decodificación de imágenes decodifica el corte utilizando la descripción de memoria intermedia especificada en la información de selección de descripciones de memoria intermedia.