ES2330864T3

ES2330864T3 - Aparato de generacion de flujo de imagenes en movimiento, aparado de codificacion de imagenes en movimiento, aparato de multiplexado de imagenes en movimiento y aparato de descodificacion de imagenes en movimiento.

Info

Publication number: ES2330864T3
Application number: ES05736693T
Authority: ES
Inventors: Tadamasa Toma; Shinya Kadono; Tomoyuki Okada; Hiroshi Yahata
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2004-04-28
Filing date: 2005-04-25
Publication date: 2009-12-16
Anticipated expiration: 2025-04-25
Also published as: ATE555477T1; EP2207183A1; US20080117988A1; CN1950907A; US8254447B2; PL2207183T3; ATE555474T1; ATE555476T1; PL2182520T3; EP2182520B1; DE602005016663D1; EP1743338A1; US7809060B2; DE602005021926D1; CN101697575B; KR20070007028A; US20080219393A1; TW200601281A; EP2182519B1; JP4185567B1

Abstract

Un aparato de generación de flujo de imágenes en movimiento para generar un flujo que incluye imágenes que tienen al menos una unidad de almacenamiento de información suplementaria y una unidad de almacenamiento de información de píxeles, comprendiendo dicho aparato: una unidad de información suplementaria utilizable para generar información suplementaria en cuanto a todas las imágenes incluidas en cada una de las unidades de acceso aleatorio en la cual se coloca una imagen intracodificada descodificable sin depender de otra imagen en una parte superior en el orden de descodificación, incluyendo la información suplementaria diversos fragmentos de información de tipo de imagen que indica tipos de todas las imágenes incluidas en la unidad de acceso aleatorio, estando colocados los diversos fragmentos de información de tipo de imagen en el orden de descodificación de las imágenes como información de identificación para identificar las imágenes a descodificar cuando las imágenes se reproducen trucadas, y una unidad de generación de flujo utilizable para generar el flujo almacenando la información suplementaria en la unidad de almacenamiento de información suplementaria de la imagen colocada en la parte superior de una unidad de acceso aleatorio correspondiente.

Description

Aparato de generación de flujo de imágenes en movimiento, aparato de codificación de imágenes en movimiento, aparato de multiplexado de imágenes en movimiento y aparato de descodificación de imágenes en movimiento.

Campo técnico

La presente invención se refiere a un aparato y similar que genera un flujo de imágenes en movimiento codificadas, especialmente a un aparato y similar que genera un flujo sobre el cual se puede llevar a cabo una reproducción trucada tal como reproducción a saltos, reproducción a velocidad variable, reproducción inversa y similar.

\vskip1.000000\baselineskip

Técnica anterior

Recientemente, ha llegado la era multimedia en la cual el sonido, las imágenes y otros valores de píxeles se integran en un medio, los medios de información convencional como herramientas de la comunicación como periódicos, revistas, Televisión, radio y teléfono se consideran como objetivos multimedia. Generalmente, la multimedia es una forma de representación simultánea no solamente de caracteres sino también de gráficos, sonido y especialmente imágenes. Con el fin de manejar los medios de información convencionales anteriormente descritos como la multimedia, es un requisito para representar la información digitalmente.

Sin embargo, no es realista procesar directamente una gran cantidad de información de manera digital usando los medios de información convencionales anteriormente descritos porque, cuando se calcula la cantidad de datos de cada medio de información descrito anteriormente como cantidad de datos digitales, la cantidad de datos por carácter es de 1 a 2 bytes mientras que la de sonido por segundo no es inferior a 65 kbits (calidad vocal telefónica) y la de las imágenes en movimiento por segundo no es inferior a 100 Mbits (actual calidad de recepción de televisión). Por ejemplo, ya es prácticamente disponible un teléfono con televisión gracias a la Red Digital de Servicios Integrados (ISDN) con una velocidad de transmisión de 64 kbps a 1,5 Mbps, pero es imposible transmitir imágenes de cámara de televisión cuando se usa ISDN.

Por este motivo es necesaria la técnica de compresión de la información. Por ejemplo, una norma de técnica de compresión de imágenes en movimiento de H. 261 o H. 263 recomendadas por la Unión Internacional de las Telecomunicaciones-Sector de Normalización de las Telecomunicaciones (ITU-T) se usa para los teléfonos con televisión. Igualmente, con la técnica de compresión de la información de la norma MPEG-1, es posible almacenar información de imágenes, junto con información de sonido, en un CD (disco compacto) normal para música.

Aquí, el Grupo de Expertos en Imágenes en Movimiento (MPEG) es una norma internacional para comprimir digitalmente señales de imágenes en movimiento, y ha sido normalizado por la ISO/IEC. MPEG-1 es la norma para comprimir señales de imágenes en movimiento a 1,5 MBPs, es decir, para comprimir información de señal de televisión a aproximadamente una centésima. Igualmente, la calidad que satisface la norma MPEG-1 es el nivel medio que se puede realizar a una velocidad de transmisión de aproximadamente 1,5 Mbps. De este modo MPEG-2 se normaliza para satisfacer la necesidad de una mayor calidad de imagen, y comprime las señales de imágenes en movimiento de 2 a 15 Mbps. Actualmente, el grupo de trabajo (ISO/IEC JTC1/SC29/WG11), que normaliza MPEG-1 y MPEG-2, ha normalizado MPEG-4 con una mayor velocidad de compresión. La norma MPEG-4 (i) consigue una velocidad de compresión superior a la norma MPEG-1 y la norma MPEG-2, (ii) permite codificar, descodificar y realizar operaciones sobre una base de objeto-por-objeto, y (iii) realiza nuevas funciones necesarias en esta era multimedia. El objeto inicial de la norma MPEG-4 es normalizar un procedimiento de codificación de imágenes con bajas velocidades binarias, pero el objeto se extiende a un procedimiento de codificación de propósito general de imágenes entrelazadas con velocidades binarias elevadas. Después de esto, ISO/IEC y ITU/T, en combinación, han normalizado las AVC MPEG-4 (codificación de vídeo avanzada) como un procedimiento de codificación de imágenes de siguiente generación de imágenes con una velocidad de compresión elevada. Se espera que se use para los aparatos relacionados con los discos ópticos de siguiente generación o en la radiodifusión para terminales móviles.

Generalmente, en la codificación de las imágenes móviles, la cantidad de información se comprime reduciendo las redundancias temporales y espaciales. En la codificación de predicción interimágenes dirigida a reducir las redundancias temporales, la generación de imágenes de predicción y estimación de movimiento se lleva a cabo sobre una base de bloque por bloque con referencia a una imagen anterior o una imagen posterior, y la codificación se lleva a cabo sobre el valor diferencial entre la imagen de predicción obtenida y la imagen a codificar. En esta memoria, el término "Imagen" usado es un término que representa una imagen. En una imagen progresiva, una imagen significa una trama, pero en una imagen entrelazada, significa una trama o un campo. Aquí el término "imagen entrelazada" describe una trama compuesta por dos campos con un ligero tiempo diferido.

En los procedimientos de codificación y descodificación de imágenes entrelazadas, en realidad es posible procesar una trama, como dos campos, o sobre una trama por trama o sobre un campo por campo de cada bloque en una trama.

La imagen para llevar a cabo la codificación intrapredicción sin hacer referencia a ninguna imagen de referencia se denomina Imagen Intracodificada (imagen I). Igualmente, la imagen para llevar a cabo la codificación interpredicción que se refiere a solamente una imagen se denomina Imagen predictiva codificada (imagen P). Igualmente, la imagen para llevar a cabo la codificación interpredicción que se refiere a dos imágenes de referencia simultáneamente se denomina Imagen codificada Bipredictiva (imagen B). Una imagen B se puede refiere a dos imágenes seleccionadas como una combinación arbitraria de una imagen anterior y una imagen posterior en la indicación. Tales dos imágenes de referencia se pueden especificar sobre una base de bloque por bloque, siendo el bloque una unidad básica de codificación y descodificación. Estas imágenes de referencia se distinguen las unas de las otras como sigue: la imagen de referencia descrita anteriormente en el flujo binario codificado se denomina primera imagen de referencia, y la otra imagen de referencia se denomina más tarde segunda imagen de referencia. Obsérvese que tales imágenes de referencia se deben haber sido codificadas o descodificadas anteriormente para codificar o descodificar imágenes P e imágenes B.

La codificación interpredicción de compensación de movimiento se usa para codificar imágenes P e imágenes B. La codificación intrapredicción de compensación de movimiento es un procedimiento de codificación intrapredicción en el cual se aplica la compensación de movimiento. La compensación de movimiento es un procedimiento para mejorar una precisión de predicción y reducir la cantidad de datos evaluando la cantidad de movimiento (en lo sucesivo denominada vector de movimiento) de cada bloque de una imagen y llevando a cabo la codificación de predicción que considera el vector de movimiento. Por ejemplo, la cantidad de datos se reduce evaluando los vectores de movimiento de las imágenes a codificar y codificando cada resto de predicción entre cada valor de predicción que se desplaza mediante la cantidad de cada vector de movimiento y cada imagen actual a codificar. En el caso de este procedimiento, puesto que la información de vector de movimiento es necesaria en la descodificación, los vectores de movimiento también se codifican y graban o se transmiten.

Los vectores de movimiento se evalúan sobre una base de bloque de macros por bloque de macros. Más específicamente, se evalúan los vectores de movimiento fijando el bloque de macros de una imagen a codificar, moviendo el bloque de macros de una imagen de referencia dentro del intervalo de búsqueda, y encontrando la situación del bloque de referencia que es más cercano al bloque estándar.

Las figuras 1A y 1B son diagramas estructurales de flujos MPEG-2 convencionales respectivamente. Como se muestra en la figura 1B, un flujo MPEG-2 tiene una estructura jerárquica como se describirá en lo sucesivo. Un flujo se compone de un Grupo de Imágenes (denominado GOP en lo sucesivo). El uso de un GOP como unidad básica en el procesamiento de codificación permite editar una imagen en movimiento o llevar a cabo un acceso aleatorio. Un GOP se constituye de imágenes I, imágenes P e imágenes B. Un flujo, un GOP y una imagen incluyen además, una señal síncrona (sync) que indica un borde de unidades y un encabezamiento que indica los datos comunes en las unidades, las unidades son aquí un flujo, un GOP y una imagen respectivamente.

Las figuras 2A y 2B muestran respectivamente ejemplos que indican la manera de llevar a cabo la codificación de predicción interimagen que se usa en MPEG-2. Las imágenes diagonalmente sombradas en la figura son las imágenes a las que han de referirse otras imágenes. Como se muestra en la figura 2A, en la codificación de predicción en MPEG-2, las imágenes P (P0, P6, P9, P12 y P15) se pueden referir a solamente una única imagen seleccionada como una imagen I inmediatamente posterior o imagen P en el tiempo de visualización. Igualmente, la imágenes B (B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19 y B20) se pueden referir a dos imágenes seleccionadas como una combinación de una imagen I o imagen P inmediatamente anterior y una imagen I o imagen P inmediatamente anterior. Además, el orden de las imágenes a colocar en un flujo es determinado. Las imágenes I y una imagen P se colocan en el orden de del tiempo de visualización, y cada imagen B se coloca inmediatamente después de una imagen I a visualizar inmediatamente después de la imagen B o inmediatamente después de una imagen P. Como ejemplo estructural de un GOP, como se muestra en la figura 2B, las imágenes de I3 a B14 se agrupan en un solo GOP.

La figura 3A es un diagrama estructural de un flujo MPEG-4 AVC. No hay ningún concepto equivalente a un GOP en el MPEG-4 AVC. Sin embargo, ya que es posible construir una unidad accesible aleatoriamente equivalente a un GOP segmentando los datos sobre la base de una imagen especial que se puede descodificar sin depender de otras imágenes, la unidad se denominará en lo sucesivo RAU (Unidad de Acceso Aleatorio). Dicho de otro modo, una unidad de acceso aleatorio RAU es un grupo de imágenes codificadas que empieza con una imagen intracodificada que se puede descodificar sin depender de ninguna imagen.

A continuación, se describirá la unidad de acceso que es una unidad básica en el manejo de un flujo (denominado simplemente en lo sucesivo AU). Una AU es la unidad para almacenar datos codificados equivalentes a una imagen, e incluye un conjunto de parámetros PS, datos de segmentos y similares. Hay dos tipos de conjuntos de parámetros PSs. Uno de ellos es un conjunto de parámetros de imágenes PPs (denominados en lo sucesivo simplemente PPS) que son datos equivalente al encabezamiento de cada imagen. El otro es un conjunto de parámetros de secuencias SPS (denominado en lo sucesivo simplemente SPS) que es equivalente al encabezamiento incluido en una unidad de un GOP o más en MPEG-2. Un SPS incluye el número máximo de imágenes de referencia, una dimensión de imagen y similar. Por otra parte, un PPS incluye un tipo de codificación de longitud variable, un valor inicial de la etapa de cuantificación, el número de imágenes de referencia y similar. A cada imagen se le asigna un identificador al cual se refiere el PPS y SPS anteriormente descrito. Igualmente, un número de trama FN que es el número de identificación para identificar una imagen incluida en datos de segmentos. Obsérvese que una secuencia empieza con una imagen especial en la cual todos los estados necesarios para descodificar se reajustan como se describirá más adelante, y se constituye de un grupo de imágenes que empiezan con una imagen especial y termina con una imagen que se coloca inmediatamente antes de la siguiente imagen especial.

Hay dos tipos de imágenes I en MPEG-4 AVC. Hay un Refresco de Descodificador Instantáneo (IDR) y el resto. Una imagen de IDR es la imagen I que puede descodificar todas las imágenes colocadas después de la imagen IDR en un orden de descodificación, sin referirse a las imágenes colocadas antes de la imagen IDR en el orden de descodificación, dicho de otro modo, es la imagen I en la cual se reajustan los estados necesarios para la descodificación. Una imagen IDR corresponde a la imagen I superior de un GOP cerrado MPEG-2 Una secuencia en MPEG-4 AVC empieza con una imagen IDR. En el caso de una imagen I que no es una imagen IDR, una imagen colocada después de la imagen I en el orden de descodificación se puede referir a una imagen colocada antes de la imagen I en el orden de descodificación. Los tipos de imágenes respectivos se definirán en lo sucesivo. Una imagen IDR y una imagen I son las imágenes que se componen de solamente segmentos I. Una imagen P es la imagen que se puede componer de segmentos P y segmentos I. Una imagen B es la imagen que se puede componer de segmentos B, segmentos P y segmentos I. Obsérvese que los segmentos de una imagen IDR se almacenan en una unidad NAL cuyo tipo es diferente del de la unidad NAL donde se almacenan los segmentos de una imagen no-IDR. Aquí, la unidad NAL es una unidad de subimagen.

En una AU en MPEG-4 AVC, no solamente se incluyen los datos necesarios para descodificar sino también la información suplementaria y la información límite. Tal información suplementaria se denomina Información Potenciadora Suplementaria (SEI) y es innecesaria para descodificar datos de segmentos. Todos los datos tales como un conjunto de parámetros PS, datos de segmentos, un SEI se almacenan en una unidad Capa de Abstracción de Red (NAL), que es la NALU. Una unidad NAL se compone de un encabezamiento y una carga útil. Un encabezamiento incluye un capo que indica el tipo de datos a almacenar (en lo sucesivo denominado tipo de unidad NAL). Los valores de los tipos de unidad NAL se definen respectivamente para los tipos de datos tales como un segmento o un SEI. En referencia a tal valor de un tipo de unidad NAL se permite identificar el tipo de datos a almacenar en la unidad NAL. El encabezamiento de una unidad NAL incluye un campo denominado nal-ref-idc. Se define que un campo nal-ref-idc es un campo de 2 bits y adopta un valor de 0, 1 ó más dependiendo de los tipos de unidades NAL. Por ejemplo, la unidad NAL de un SPS o un PPS adopta 1 o más. En el caso de la unidad NAL de un segmento, una unidad a la que se refiere por otros segmentos adopta 1 o más, mientras que el segmento al que no se refiere adopta 0. Igualmente, la unidad Nal de un SEI siempre toma 0.

Uno o más mensajes SEI se pueden almacenar en la unidad Nal de un SEI. Un mensaje SEI se compone de un encabezamiento y una carga útil, y el tipo de información a almacenar en la carga útil se identifica mediante el tipo de un mensaje SEI indicado en el encabezamiento. La descodificación de una AU significa la descodificación de los datos de segmentos en una AU, y la visualización de una AU significa la visualización del resultado de descodificación de los datos de segmentos en la AU en lo que sigue.

Aquí, puesto que una unidad NAL no incluye información para identificar un límite de unidad NAL, es posible añadir información límite a la parte superior de cada unidad NAL en el momento de almacenar una unidad NAL como una AU. En el manejo de un flujo MPEG-4- AVC en un Flujo de Transporte MPEG-2 (TS) o un Flujo de Programa MPEG-2 (PS), un prefijo de código de inicio mostrado como 3 bytes de 0x000001 se añade a la parte superior de una unidad NAL. Igualmente se define que una unidad NAL que indica un límite AU se debe insertar en la parte superior de una AU en un TS o PS MPEG-2, tal como una AT denominada Delimitador de unidad de Acceso.

Convencionalmente, diversos tipos de técnicas relacionados con la codificación de imágenes en movimiento con las propuestas (por ejemplo, en referencia al documento de patente 1).

El documento de patente 1: Publicación japonesa de Patente abierta a inspección pública nº 2003-18549.

La figura 4 es un diagrama de bloques de un aparato convencional de codificación de imágenes en movimiento.

El aparato 1 de codificación de imágenes en movimiento es un aparato que produce un flujo codificado Str obtenido convirtiendo, a través de la codificación por compresión, una señal de vídeo de entrada Vin a introducir en un flujo binario de un flujo codificado de longitud variable o similar. El aparato de codificación de imágenes en movimiento incluye una unidad de determinación de estructura de predicción PTYPe, una unidad de estimación de vector de movimiento ME, una unidad de compensación de movimiento MC, una unidad de sustracción Sub, una unidad de transformada ortogonal T, una unidad de cuantificación Q, una unidad de cuantificación inversa IQ, una unidad de transformada ortogonal inversa IT, una unidad de adición Add, una memoria de imagen PicMem, un conmutador y una unidad de codificación de longitud variable VLC.

La señal de vídeo de entrada Vin se introduce en la unidad de sustracción Sub y la unidad de estimación de vector de movimiento ME. La unidad de sustracción Sub calcula el valor diferencial entre la señal de vídeo de entrada introducida Vin y la imagen de predicción, y la envía a la unidad de transformada ortogonal. La unidad de transformada ortogonal T convierte el valor diferencial en un coeficiente de frecuencias, y lo envía a la unidad de cuantificación Q. La unidad de cuantificación Q lleva a cabo la cuantificación sobre el coeficiente de frecuencia introducido, y envía un valor de cuantificación Qcoef a la unidad de codificación de longitud variable.

La unidad de cuantificación inversa IQ realiza la cuantificación inversa sobre el valor de cuantificación Qcoef para reconstruir el coeficiente de frecuencia, y lo envía a la unidad de transformada ortogonal inversa IT. La unidad de transformada ortogonal inversa IT lleva a cabo la transformada de frecuencia inversa para transformar el coeficiente de frecuencia en un valor diferencia de píxeles, y lo envía a la unidad de adición Add. La unidad de adición Add añade el valor diferencia de píxeles a la imagen de predicción a enviar desde la unidad de compensación de movimiento MC para realizar una imagen descodificada. El conmutador SW se enciende ON cuando se instruye el almacenamiento de la imagen descodificada, y la imagen descodificada se almacena en la memoria de imagen PicMem.

Por otra parte, la unidad de estimación de vector de movimiento Me, en la cual se introduce una señal de vídeo de entrada Vin sobre una base de bloque de macros por bloque de macros, busca la imagen descodificada almacenada en la memoria de imagen PicMem, y estima el área de imagen que es más cercano a la señal de imagen de entrada, y en consecuencia determina el vector de movimiento MV que indica la posición. La estimación de vector de movimiento se lleva a cabo sobre una base de bloque por bloque, siendo el bloque una parte segmentada de un bloque de macros. Puesto que se pueden usar diversas imágenes como imágenes de referencia en este omento, los números de identificación para especificar imágenes a los cuales referirse (índices relativos) son necesarios sobre una base de bloque por bloque. Es posible especificar imágenes de referencia calculando los números de imagen indicados por los índices relativos, siendo tales números de imagen asignados a las imágenes respectivas en una memoria de imagen PicMem.

La unidad de compensación de movimiento MC selecciona el área de imagen que es óptima como imagen de predicción a partir de las imágenes descodificadas almacenadas en la memoria de imagen PicMem.

La unidad de determinación de estructura de predicción PTYPe instruye la unidad de estimación de vector de movimiento ME y la unidad de compensación de movimiento MC para llevar a cabo la codificación intraimagen sobre la imagen objetivo como imagen especial accesible aleatoriamente usando su tipo de imagen Ptype, en el caso en que una imagen de inicio de unidad de acceso aleatorio RAU indica que la unidad de acceso aleatorio RAU empieza con la imagen actual, e instruye a la unidad de codificación de longitud variable VLC para codificar el tipo de imagen Ptype.

La unidad de codificación de longitud variable VLC lleva a cabo la codificación de longitud variable sobre el valor de cuantificación Qcoef, el índice relativo Index, el tipo de imagen Ptype y el vector de movimiento MV para realizar el flujo codificado Str.

La figura 5 es un diagrama de bloques de un aparato 2 convencional de descodificación de imágenes en movimiento. Este aparato 2 de descodificación de imágenes en movimiento incluye una unidad de descodificación de longitud variable VLD, una memoria de imagen PicMem, una unidad de compensación de movimiento MC, una unidad de adición Add, una unidad de transformada ortogonal inversa IT y una unidad de cuantificación inversa IQ. Obsérvese que, en la figura, estas unidades de procesamiento que realizan las mismas operaciones que las unidades de procesamiento en un aparato convencional de codificación de imágenes en movimiento mostradas en el diagrama de bloques de la figura 4 se les asigna los mismos números de referencia, y se omiten las descripciones acerca de las mismas.

La unidad de descodificación de longitud variable VLD descodifica un flujo codificado Str, y envía el valor de cuantificación Qcoef, el índice relativo Index, el tipo de imagen Ptype y el vector de movimiento MV. El valor de cuantificación Qcoef, el índice relativo Index y el vector de movimiento MV se introducen en la memoria de imagen PicMem, la unidad de compensación de movimiento MC y la unidad de cuantificación inversa IQ respectivamente, y a continuación se lleva a cabo el procesamiento de descodificación sobre los mismos. Tales operaciones de un aparato convencional de codificación de imágenes en movimiento ya se han descrito usando el diagrama de bloques de la figura 4.

Una unidad de acceso aleatorio RAU muestra que la descodificación se puede llevar a cabo empezando con la AU superior en la unidad de acceso aleatorio. Sin embargo, puesto que un flujo convencional MPEG-4 AVC permite estructuras de predicción muy flexibles, un aparato de almacenamiento con un disco óptico o un disco duro no puede obtener información para determinar las Aus a descodificar o visualizar en el momento de la reproducción a velocidad variable o reproducción inversa.

La figura 6A y 6B son ejemplos de las estructuras de predicción de Aus. Aquí, se almacena una imagen en cada AU. La figura 6A es la estructura de predicción de AUs usada en un flujo MPEG-2. Las figuras sombreadas diagonalmente en la figura son imágenes a referir por otras Aus. En el MPEG-2 las Aus de las imágenes P (P4 y P7) pueden llevar a cabo la codificación de predicción refiriéndose solamente a una única AU seleccionada como la AU de una imagen I o imagen P inmediatamente posterior en el tiempo de visualización. Igualmente, las Aus de las imágenes B (B1, B2, B3, B5 y B6) pueden llevar a cabo la codificación de predicción refiriéndose a dos Aus seleccionadas como una combinación de Aus de una imagen I o imagen P inmediatamente posterior y una imagen I o imagen P inmediatamente anterior en el tiempo de visualización. Además, el orden de las imágenes a colocar en un flujo se predetermina como sigue: las Aus de una imagen I o imágenes P se colocan en el orden del tiempo de visualización; y cada una de las Aus de imágenes B se coloca inmediatamente después de las Aus de la imagen i o una de las imágenes P que se coloca inmediatamente después del AU de cada imagen B. En consecuencia, la descodificación se puede llevar a cabo de las tres siguientes maneras: (1) todas las imágenes se descodifican; (2) solamente las Aus de una imagen I e imágenes P se descodifican y visualizan; y (3) solamente la AU de una imagen I se descodifica y visualiza. Por lo tanto, los tres siguientes tipos de reproducción se pueden llevar a cabo fácilmente usando: (1) reproducción normal, (2) reproducción de velocidad media, y (3) reproducción a alta velocidad.

En el MPEG-4 AVC, se puede llevar a cabo la predicción donde la AU de una imagen B se refiere a la AU de una imagen B. La figura 6B es un ejemplo de estructura de predicción en un flujo MPEG-4 AVC, y las AUs de imágenes B (B1 y B3) se refieren a la AU (B2) de la imagen B. En este ejemplo, se pueden llevar a cabo los cuatro siguientes tipos de descodificación o visualización: (1) todas las imágenes se descodifican; (2) solamente las Aus, de una imagen I, imágenes P e imágenes B, a las que se refieren se descodifican y visualizan; (3) solamente las Aus de una imagen I, y las imágenes P son descodificadas y visualizadas; (4) solamente la AU de una imagen I se descodifica y visualiza.

Además, en el MPEG-4 AVC, la AU de una imagen P se puede referir a la AU de una imagen B. Como se muestra en la figura 7, la AU de una imagen P (P7) se puede referir a la AU de una imagen B (B2). En este caso, la AU de una imagen P (P7) se puede descodificar solamente después de que se haya descodificado la AU de una imagen B (B2). Por lo tanto, los tres siguientes tipos de descodificación visualización se pueden llevar a cabo: (1) todas las imágenes se descodifican; (2) solamente las Aus, de una imagen I, imágenes P e imágenes B, a las que se refiere se descodifican y visualizan; (3) solamente la AU de una imagen I se codifica y visualiza.

De esta manera, puesto que se permiten diversas estructuras de predicción en el MPEG-4 AVC, se debe realizar el análisis de los datos de segmentos y la evaluación de la estructura de la predicción para conocer la relación de referencia entre la Aus. Esto conlleva un problema, el hecho de que las Aus a descodificar o visualizar no se pueden determinar basándose en una regla que se predetermina dependiendo de una velocidad de reproducción en el momento de llevar a cabo la reproducción a saltos, reproducción a velocidad variable y reproducción inversa, a diferencia del caso del MPEG-2. D1 revela un aparato de generación de flujo de imágenes en movimiento en el cual en la formación de tramas I y P, requeridas para modos de reproducciones trucada, se graba en un sector de entrada formado en la parte superior de cada Gop.

\vskip1.000000\baselineskip

Divulgación de la invención

Un objeto de la presente invención es proporcionar (i) un aparato y un procedimiento de generación de flujo de imágenes en movimiento que generan un flujo de imagen en movimiento que pueden llevar a cabo una reproducción trucada tal como reproducción a saltos, reproducción a velocidad variable y reproducción inversa incluso en el caso de un procedimiento de codificación como el MPEG-4 AVC que permite estructuras de predicción flexibles, y (ii) un aparato de descodificación de imágenes en movimiento y similar que descodifica tal flujo de imagen en movimiento.

La invención es un aparato de generación de flujo en movimiento según la reivindicación 1, un procedimiento de generación de flujo en movimiento según la reivindicación 2, un aparto de descodificación de imágenes en movimiento según la reivindicación 3, un procedimiento de descodificación de imágenes en movimiento según la reivindicación 4, un soporte de grabación legible por ordenador según la reivindicación 5, un procedimiento de grabación según la reivindicación 6 y un sistema de descodificación de imágenes en movimiento según la reivindicación 7.

Como se describe en este punto, con la presente invención, se pueden determinar las Aus a descodificar en el tiempo de la reproducción trucada tal como reproducción a velocidad variable y reproducción inversa refiriéndose a una unidad específica NAL en la AU superior de una unidad de acceso aleatorio RAU. Por lo tanto, se puede realizar fácilmente un aparato de descodificación de imágenes en movimiento con una función excelente de reproducción trucada, y de este modo la presente invención es altamente práctica.

\vskip1.000000\baselineskip

Breve descripción de los dibujos

Estos y otros objetos, ventajas y características de la invención irán apareciendo a partir de su descripción conjuntamente con los dibujos anexos que ilustran una realización específica de la invención en los dibujos:

Las figuras 1A y 1B son diagramas que muestran estructuras de flujo MPEG-2 respectivamente de una técnica anterior;

Las figuras 2A y 2B son diagramas que muestran estructuras de flujo GOP MPEG-2 respectivamente de una técnica anterior;

Las figuras 3A y 3B son diagramas que muestran estructuras de flujo MPEG-4 respectivamente de una técnica anterior;

La figura 4 es un diagrama de bloques que muestran la estructura de un aparato de codificación convencional;

La figura 5 es un diagrama de bloques que muestran la estructura de un aparato de descodificación convencional;

Las figuras 6A y 6B son diagramas que muestran respectivamente ejemplos de la estructura de predicción en un flujo convencional MPEG-4 AVC;

La figuras 7 es un diagrama que muestran otro ejemplo de la estructura de predicción en un flujo convencional MPEG-4 AVC;

Las figuras 8A y 8B son diagramas que muestran estructuras de flujos MPEG-4 AVC respectivamente de la presente invención;

Las figuras 9A a 9D son diagramas de un primer ejemplo que muestran AUs a descodificar en una unidad de acceso aleatorio RAU;

Las figuras 10A a 10D son diagramas de un segundo ejemplo que muestra AUs a descodificar en una unidad de acceso aleatorio RAU;

Las figuras 11A a 11C son diagramas de un tercer ejemplo que muestra AUs a descodificar en una unidad de acceso aleatorio RAU;

Las figuras 12A a 12F son diagramas de un ejemplo que muestra el procedimiento para especificar las AUs a descodificar en una unidad de acceso aleatorio RAU;

La figura 13A es un diagrama que muestra un ejemplo de sintaxis de una tabla que muestra información de reproducción a velocidad variable, y la figura 13B es un diagrama que muestra una unidad de almacenamiento de datos;

La figura 14 es un diagrama de un ejemplo de extensión de una tabla que indica información de reproducción a velocidad variable;

Las figuras 15A a 15C son diagramas de un ejemplo que muestra las AUs de la imagen I y la imagen P en una unidad de acceso aleatorio RAU en forma de información de reproducción a velocidad variable;

Las figuras 16A a 16C son diagramas de un ejemplo donde el tiempo de detención de memoria intermedia se usa como indicadores de propiedades en el momento de la utilización de las propiedades de AUs en forma de información de reproducción a velocidad variable.

Las figuras 17A y 17B son diagramas que muestran respectivamente ejemplos en los cuales las AUs de estructura de trama y las AUs de estructura de campo coexisten en las RAUs respectivas; La figura 17C es un diagrama que muestra el ejemplo de sintaxis del primer mapa (RAU_map1) que muestra la estructura de cada AU en el RAU; La figura 17D es un diagrama que muestra RAU_map1 de la RAU de la figura 17B; la figura 17E es un diagrama que muestra RAU_map en cuanto a la unidad de acceso aleatoria RAU de la figura 17B; la figura 17B es un diagrama que muestra el ejemplo de sintaxis del segundo mapa (RAU_map2) que muestra el tipo de codificación de cada trama o cada imagen de un par de campos;

Las figuras 18A a 18C son diagramas que muestran otro mapa ejemplar en forma de información de reproducción;

La figura 19 es un diagrama del procedimiento para indicar la información límite en una unidad de acceso aleatorio RAU;

Las figuras 20A y 20B son diagramas que muestran ejemplos de estructuras de predicción de imágenes en una unidad de acceso aleatorio RAU;

La figura 21 es un diagrama de bloques que muestra la estructura de un aparato de codificación de imágenes en movimiento de la presente invención;

La figura 22 es un diagrama de flujo de un procedimiento de codificación de imágenes en movimiento;

La figura 23 es un diagrama de bloques que muestra la estructura de un aparato de multiplexado de imágenes en movimiento de la presente invención;

La figura 24A y 24B son diagramas que muestran contenidos ejemplares de información de soporte HLP;

La figura 25 es un diagrama que muestra un ejemplo de una unidad Nal en la cual la información de reproducción trucada se almacena en la información de soporte HLP;

La figura 26 es un diagrama de flujo que muestra la operación de un aparato de multiplexado de imágenes en movimiento;

La figura 27 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes en movimiento de la presente invención;

La figura 28 es un diagrama de flujo de un procedimiento de descodificación de imágenes convencional;

La figura 29 es un diagrama de flujo de determinación de las AUs a descodificar en el procedimiento de imágenes en movimiento de la presente invención;

La figura 30 es un diagrama de flujo que muestra el procesamiento realizado en el caso en el cual las AUs a descodificar no coinciden con las AUs a visualizar en el procedimiento de descodificación de imágenes en movimiento de la presente invención;

La figura 31 es un diagrama que muestra una jerarquía de datos de un HD-DVD;

La figura 32 es un diagrama estructural del espacio lógico sobre un HD-DVD;

La figura 33 es un diagrama estructural de un archivo de información VOB;

La figura 34 es un diagrama de un mapa de tiempo;

La figura 35 es un diagrama estructural de un archivo de lista de reproducción;

La figura 36 es un diagrama estructural de un archivo de programa que corresponde a la lista de reproducción;

La figura 37 es un diagrama estructural que muestra un archivo de información de gestión de todo el disco BD;

La figura 38 es un diagrama estructural de un archivo para grabar un gestor global de eventos;

La figura 39 es un diagrama de bloques que muestra el contorno de un reproductor de HD-DVD;

Las figuras 40A a 40C son diagramas que muestran un soporte de grabación para almacenar el programa para realizar el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento de la presente invención.

\vskip1.000000\baselineskip

Mejor modo de realizar la invención

Se describirá una realización de la presente invención en lo sucesivo con referencia a las figuras.

Estructura de un flujo AVC

En primer lugar, la estructura de un flujo AVC a generar por un aparato de generación de flujo de imágenes en movimiento, un aparato de codificación de imágenes en movimiento y un aparato de multiplexado de imágenes en movimiento de la presente invención, dicho de otro modo, se describirá un flujo AVC a introducir en un aparato de descodificación de imágenes en movimiento de la presente invención.

La figura 8A y la figura 8B muestran respectivamente las estructuras de flujos AVC de la presente invención. Obsérvese que la información límite a añadir a la parte superior de una unidad NAL no se muestra en la figura. El flujo AVC difiere de un flujo AVC convencional porque se añade información de reproducción trucada, la información de reproducción trucada que indica las AUS a descodificar en el momento de la reproducción trucada tal como la reproducción a saltos la reproducción de velocidad variable y la reproducción inversa. La información de reproducción trucada se almacena en una unidad NAL para almacenar la información de reproducción (figura 8A). En las MPEG-4 VAC, la relación entre la información a almacenar y el tipo de unidad NAL de una unidad NAL convencional se puede establecer por aplicación. Más específicamente, los valores de 0 y 24 a 31 se pueden usar, y estos tipos de unidad NAL se denominan tipos de unidad NAL ajustables de usuario. En consecuencia, la información de reproducción trucada se almacena en la unidad NAL que tiene tales tipos de unidad NAL ajustables de usuario. Aquí, en el caso en el cual los tipos de Unidad Nal específicos se reservan para almacenar la información distinta de la información de reproducción trucada, los tipos de unidad NAL que es diferentes de los tipos de unidad NAL se asignan a la información de reproducción trucada. Las unidades NAL de la información de reproducción trucada se almacenan en la AU superior de una unidad de acceso aleatorio RAU. Tal unidad NAL se coloca inmediatamente después de una unidad PPS NAL, si está presente, en una AU, pero se puede colocar en otra posición mientras el orden satisfaga el requisito de la AVC MPEG-4 u otra norma. Igualmente, en e caso en el cual es imposible interpretar la unidad NAL de información de reproducción trucada, los datos de la unidad NAL se pueden saltar y reiniciar la descodificación desde la parte superior de la siguiente unidad NAL. Por lo tanto, incluso un terminal que no puede interpretar la unidad NAL de información de reproducción trucada puede llevar a cabo el procesamiento de descodificación sin fallos.

Obsérvese que tal unidad NAL de información de reproducción trucada se puede incluir no en la AU superior de una unidad de acceso aleatorio RAU sino en otra AU tal como la última AU. Igualmente, tal unidad NAL de información de reproducción trucada se puede incluir en cada AU que constituye una unidad de acceso aleatoria RAU.

La figura 9 a la figura 11 muestran ejemplos de AUs a descodificar en el momento de la reproducción a velocidad variable. La figura 9A muestra el orden de visualización de AUs. Aquí, las AUs sombreadas diagonalmente son las AUs a las que se refieren por otras AUs, y las flechas muestran imágenes a las que se refieren. Se asignan menos números de referencia a las AUs a visualizar antes de I0, y se asignan más números de referencia a AUs a visualizar después de B15. La figura 9B muestra el orden de descodificación de AUs mostradas en la figura 9A, y I0 a B11 constituyen una unidad de acceso aleatorio RAU. En este momento, I0, -B14, P4, B2, P8, P6, P12 y B10 se descodifican para llevar a cabo una reproducción a doble velocidad (figura 9C), mientras I0, P4, P8 y P12 se descodifican para llevar a cabo una reproducción de cuádruplo velocidad (Figura 9D). Las figuras 9c y 9D muestran que las AUs con un signo * se han de descodificar en el momento de una reproducción a doble velocidad y reproducción de cuádruplo velocidad, y estos fragmentos de información se almacenan en la unidad NAL de la información de reproducción trucada. En el ejemplo de la figura 10A a la figura 10D, las imágenes de I0 a B11 en el orden de descodificación constituyen una unidad de acceso aleatorio RAU. Aquí, I0, -B13, P3, B1, P6, B4, P9, B7, P12 y B10 se descodifican para llevar a cabo una reproducción a una velocidad multiplicada por 1,5 mientras I0, P3, P6, P9 y P12 se descodifican para llevar a cabo una reproducción a triple velocidad. Igualmente, en el ejemplo de la figuras 11A a 11C, I0, P3, P6, P9 y P12 se descodifican para llevar a cabo una reproducción a triple velocidad.

Aquí las velocidad de reproducción no necesitan ser exactas porque se describen como directrices de las velocidades de reproducción. Por ejemplo, en el ejemplo de la figura 11C, en el caso en el cual todas las AUs mostradas como AUs a descodificar en el momento de la reproducción a triple velocidad se descodifican, la velocidad es 3,2 veces superior a la obtenida a partir de la expresión : 16 : 5, dicho de otro modo, no es exactamente una triple velocidad. Igualmente, en el momento de la reproducción multiplicada por M, en el caso en el cual el menor valor sobre M es N sobre las velocidades de reproducción mostradas como información de reproducción trucada, es posible descodificar las AUs necesarias para ser codificadas en el momento de reproducción multiplicada por N y para determinar el modo en que el resto de las AUs se deberían codificar dependiendo de la implementación del aparato de descodificación. Igualmente, es posible colocar prioridades elevadas sobre las AUs necesarias a descodificar en el caso en el cual la velocidad de reproducción es rápida, y para determinar las AUs a descodificar basadas en las prioridades.

Obsérvese que algunas AUs, entre las AUs a descodificar en el momento de la reproducción de velocidad variable, no se puede visualizar. Por ejemplo, se visualiza la eNésima AU en el momento de la reproducción de doble velocidad, pero no se visualiza la eMésima AU. En este momento, en el caso en el cual existe una necesidad de descodificar la eMésima AU para descodificar la eNésima AU, la Emésima AU se descodifica pero no se visualiza en el momento de la reproducción a doble velocidad.

A continuación, el procedimiento para especificar las AUs a descodificar en el momento de reproducción a velocidad variable se describirá con referencia a las figuras 12A a 12F. Las figuras 12A a 12F muestran los ejemplos de especificación de AUs a descodificar e la misma unidad de acceso aleatorio RAU que la de la figura 9. Como se muestra en la figura 12D, I0, -B14, P4, B2, P8, P6, P12, B10 se descodifican en el momento de la reproducción a doble velocidad. Estas AUs son la primera, segunda, quinta, sexta, novena, décima, treceava y catorceava AUs cuando se cuentan las Aus que empiezan con la AU superior de la unidad de acceso aleatorio RAU. De esta manera, es posible especificar únicamente AUs a descodificar en el momento de reproducción a velocidad variable mostrando los números ordinales de AUs en una unidad de acceso aleatorio RAU. Un delimitador de unidades de acceso se coloca seguramente en la parte superior de una AU en el momento de multiplexar un flujo AVC por un flujo de transporte MPEG-2 (TS). Cuando se obtienen datos AU a descodificar en el momento de reproducción a velocidad variable, los delimitadores de unidades de acceso se buscan en secuencia para conocer los límites AU. Esta manera de procedimiento de búsqueda elimina la necesidad de analizar la carga útil de unidades NAL tales como datos de segmentos, y de este modo es más fácil.

Obsérvese que es posible especificar AUs a descodificar determinando que las AUs referidas por otras AUs tales como AUs de una imagen I e imágenes P (tales AUs a referir se denominan AUs de referencia) se descodifican en el momento de la reproducción a velocidad variable y especificando los número ordinales de las AUs de referencia en una unidad de acceso aleatorio RAU. En la unidad de acceso aleatorio RAU de la figura 12B, como se muestra en las figuras 12C, I0, - B14, P4, B2, P8, P6, P12, B10 son AUs de referencia. Igualmente, en el momento de la reproducción a doble velocidad, I0., -B14, P4, B2, P8, P6, P12, B10 se descodifican, pero cuando se indican estas AUs en el orden de AUs de referencia, corresponden a la primera, segunda, tercera, cuarta, quinta, sexta, séptima y octava Aus de referencia como se muestra en la figura 12F. Si una AU es una AU de referencia o no se puede evaluar refiriéndose a un campo específico en el encabezamiento de la unidad NAL en un segmento. Más específicamente, en el caso en el que el valor de un campo nal_ref_idc_ no es 0, la AU es una AU de referencia. Obsérvese que una AU de referencia a descodificar se puede especificar basado en un número de trama porque es posible identificar una AU de referencia basada en un número de trama.

Además, es posible especificar las AUs a descodificar especificando el valor desfasado equivalente a la longitud de byte a partir de la posición de inicio de la AU superior de una unidad de acceso aleatorio RAU a la posición de inicio de la AU a descodificar. Por ejemplo, en las figuras 12A a 12F, en el caso en que I0 se inicie con la posición alejada de la parte superior de un flujo por 10.000 bytes y P4 se inicia con la posición alejada de P4 por 20.000 bytes; el valor desfasado en P4 es 10.000 bytes obtenido a partir de la expresión: 20.000 - 10.000. En el caso en el cual se usa en MPEG-2 TS, es posible especificar un valor desfasado que incluye la parte superior del encabezamiento de un paquete TS o un paquete PES (Flujo elemental de paquetes), o es posible especificar un valor desfasado que la incluye en el momento de llevar a cabo el relleno de datos por aplicación. Igualmente, es posible especificar una AU por un número de trama FN.

Obsérvese que, en el caso de usar un flujo multiplexado en MPEG-2 TS, es posible especificar AUs basándose en el número de paquetes TS a partir de (i) el paquete TS para almacenar el número de índice y la información de dirección para identificar un paquete TS que incluye los datos superiores de las AUs a descodificar, o los datos superiores de la unidad de acceso aleatorio RAU a (ii) el paquete TS actual. Aquí, es posible utilizar la información sobre el Paquete fuente a utilizar para un formato de grabación de un disco Blu-rayl (BD) en lugar de un paquete TS. El paquete fuente se obtiene añadiendo, a un paquete TS, un encabezamiento de 4 bytes que incluye información de tiempo del paquete TS, información de control de copia y similar.

La figura 13A es un ejemplo de sintaxis de una tabla que indica la información para reproducción a velocidad variable. En la sintaxis, nuj_pic_in_RAU muestra el número de AUs que constituyen una unidad de acceso aleatorio RAU, num_speed muestra el número de velocidades de reproducción a las cuales AUS ha de descodificarse, play_spedd muestra una velocidad de reproducción, num_dec_pic muestra el número de AUs a descodificar en el momento de la reproducción a una velocidad de reproducción mostrada en el play_speed, dec_pic muestra los números ordinales de AUs a descodificar en el caso de contar las AUs que empiezan con la AU superior en una unidad de acceso aleatorio RAU. La figura 13B es un ejemplo en el caso de almacenar información sobre AUs a descodificar en una unidad de acceso aleatorio RAU mostrada en las figuras 9A a 9D en el momento de una reproducción a doble velocidad y una reproducción a cuádruplo velocidad. Obsérvese que num_pic_in_RAU se usa en el momento de calcular una velocidad de reproducción exacta basada en el número de AUs a descodificar y el número total de AUs en una unidad de acceso aleatorio RAU o saltar sobre una base de unidad de acceso aleatorio RAUs en secuencia. Sin embargo, num_pic_in_RAU se puede omitir porque la misma información se puede obtener buscando las AUs superiores de unidad de acceso aleatorio RAUs. Igualmente, se puede añadir un campo que indica la dimensión de una tabla a la tabla. Obsérvese que, en el ejemplo de sintaxis de la figura 13ª, el número ordinal de una AU a descodificar contando desde la parte superior de una unidad de acceso aleatorio RAU, se muestra directamente, pero si se necesita descodificar cada AU o no se puede mostrar encendiendo o apagando los bits correspondientes a cada AU. Por ejemplo, una unidad de acceso aleatorio RAU se compone de 16 AUs en el ejemplo de las figuras 9A a 9D, se necesitan 16 bits cuando se asigna 1 bit a una AU. En el momento de la reproducción a cuádruplo velocidad, se muestra que la primera, quinta, novena y treceava AUs se descodifican asignando información de 16 bits que se representa como 0b1000100010001000 (0b muestra un número binario). Aquí, el bit superior y el último bit corresponden a la AU superior y la última AU de una unidad de acceso aleatorio RAU respectivamente.

Obsérvese que la dimensión de una tabla es variable en el ejemplo de sintaxis de la figura 13A. El valor máximo de la dimensión de tabla se determina en el caso donde se prescribe el valor máximo del número de AUs que constituyen una unidad de acceso aleatorio RAU y el valor máximo de num_speed. En consecuencia, es posible fijar la dimensión de tabla en el valor máximo determinado, y en el caso donde la dimensión de la información para reproducción a velocidad variable no alcanza el valor máximo, es posible llevar a cabo el relleno. La fijación de la dimensión de tabla de esta manera hace posible obtener siempre los datos de una dimensión fija cuando se obtiene la información de reproducción a velocidad variable, que permite acelerar el procedimiento de obtención de información. Obsérvese que la dimensión de tabla o la dimensión de una unidad NAL para almacenar la tabla se muestra como información de gestión. Igualmente, es posible predeterminar la dimensión de una unidad NAL para almacenar información de reproducción trucada, y, en el caso donde la información no se puede almacenar en una única unidad NAL, es posible almacenar la información para reproducción a velocidad variable en diversas unidades NAL por separado. En este momento el relleno se lleva a cabo sobre la carga útil de la última unidad NAL de manera que la dimensión de la unidad NAL sea la dimensión predeterminada. Igualmente, algunos valores prescritos se determinan como los valores de la dimensión de tabla, y el número de índice que indica un valor prescrito de la dimensión de tabla se puede mostrar en la tablar o usar la información de gestión de la aplicación.

Igualmente, es posible mostrar información diferencial en lugar de listar todas las AUs a descodificar a cada velocidad de reproducción. Como la información en el momento de la reproducción a una velocidad multiplicada por M (<N), solamente las AUs necesarias a descodificar se muestran además de las AUs a descodificar en el momento de la reproducción a una velocidad multiplicada por N en el ejemplo de la figura 13B, como la segunda, sexta, décima y catorceava AUs, además, de las AUs a descodificar en el momento de la reproducción a velocidad cuádruple, se descodifican en el momento de la reproducción a doble velocidad, es posible mostrar solamente la segunda, sexta, décima y catorceava AUs como la información para reproducción a doble velocidad.

Obsérvese que, las AUs necesarias a descodificar en el momento de reproducción a velocidad variable se muestran en la descripción anterior, pero además, es posible mostrar la información que indica el orden de visualización de las AUs necesarias a descodificar. Por ejemplo, la información en el momento de la reproducción a doble velocidad y la reproducción a velocidad cuádruplo se muestra en el ejemplo de las figuras 9A a 9D, pero hay un ejemplo de reproducción de esta unidad de acceso aleatorio RAU a triple velocidad. La visualización de una parte de AUs a visualizar en el momento de reproducción a doble velocidad, además de las AUs a visualizar en el momento la reproducción a velocidad cuádruplo, permite realizar una reproducción a triple velocidad. Aquí, cuando se considera el caso donde se visualizan una o más AU entre I0 y P4 que se han de visualizar en el momento de la reproducción a cuádruplo velocidad, la información para la reproducción a doble velocidad muestra que los candidatos son -B14, B2, B6 y B10. Sin embargo, el orden de visualización de las cuatro AUs se puede obtener solamente en el caso donde se analiza la información de encabezamiento de un segmento. Aquí, puesto que la información en el orden de visualización muestra que solamente -B14 se visualiza entre I0 y P4, es posible determinar que -B14 se descodifica. La figura 14 es un ejemplo de sintaxis que indica la información sobre el orden de visualización, y se obtiene añadiendo la información sobre el orden de visualización a la sintaxis de la figura 13A. Aquí, pts_dts_flag muestra si o no el orden de descodificación de AUs a descodificar a la velocidad de reproducción coincide con el orden de visualización de las AUs, y solamente en el caso donde el orden de descodificación no coincide con el orden de visualización, la información del orden de visualización se muestra en un campos display_order.

Obsérvese que, en el caso de reproducción a una velocidad de reproducción que no se muestra por la información de reproducción a velocidad variable, es posible determinar las AUs a descodificar y las AUs a visualizar basándose en la regla que se predetermina en el terminal. Por ejemplo, en el caso de reproducción a triple velocidad en el ejemplo de la figura 9, es posible visualizar I0, B3, B9 y P12 además de las AUs a visualizar en el momento de la reproducción a cuádruplo velocidad, en lugar de visualizar una parte de las AUs a visualizar en el momento de reproducción a doble velocidad. Aquí, como en las imágenes B, las imágenes B en las AUs de referencia se pueden preferiblemente descodificar o visualizar.

Igualmente, hay un caso donde la reproducción trucada tal como la reproducción a velocidad variable se realiza reproduciendo solamente la AU de una imagen I o solamente las AUs de una imagen I e imágenes P. Por lo tanto, se puede almacenar una lista de una imagen I e imágenes P como información de reproducción trucada. Las figuras 15A a 15C muestran otro ejemplo. Aquí, las imágenes a partir de I0 a B14 se incluyen en una unidad de acceso aleatorio RAU como se muestra en la figura 15B, y entre estas, las AUs de una imagen I e imágenes P son I0, P3, P6, P9, P12 y P15 como se muestra en la figura 15C. Por lo tanto, se almacena la información para identificar I0, P3, P6, P9, P12 y P15. En este momento, es posible añadir la información para distinguir la AU de una imagen I a partir de la AU de una imagen P. Igualmente, es posible mostrar la información para distinguir las siguientes imágenes las unas a partir de las otras, incluyendo las imágenes: una imagen I, imágenes P, imágenes B referidas (denominadas en lo sucesivo imágenes B de referencia), e imágenes b no referidas (denominadas en lo sucesivo imágenes B de no-referencia).

Además, es posible almacenar la información prioritaria de las AUS respectivas como información de reproducción trucada, y descodificar o visualizar las AUs según las prioridades en el momento de reproducción a velocidad variable. Es posible utilizar tipos de imágenes como información prioritaria como información de prioridad. Por ejemplo, las prioridades de AUs se pueden asignar en el siguiente orden de listado: (I) una imagen I; (ii) imágenes P; (iii) imágenes B de referencia; y (iv) imágenes B de no-referencia. Igualmente, es posible establecer información de prioridad de la siguiente manera: cuando mayor es el tiempo entre el tiempo después de la descodificación de una AU y el tiempo de visualización de la AU, mayor es la prioridad. Las figuras 16A a 16C muestran un ejemplo de ajuste de las prioridades dependiendo del tiempo de detención de memoria intermedia. La figura 16A muestra la estructura de AUs y se refiere a P3 también por B7 y P9. En este momento, en el caso donde la unidad de acceso aleatorio RAU se compone de AUs a partir de I0 a B11 (figura 16B), el tiempo de detención de memoria intermedia de cada AUs es como se muestra en la figura 16C aquí, el tiempo de detección de memoria intermedia se muestra basado en el número de tramas. Por ejemplo, P3 es necesario hasta que se descodifica P9, y el tiempo de detención de memoria intermedia debe ser equivalente a seis imágenes. Por lo tanto, la descodificación de las AUs cuyo tiempo de detención de memoria intermedia es 3 o más significa la descodificación todo la imagen I y todas las imágenes P, y se realiza la reproducción a triple velocidad. Aquí, el tiempo de detención de memoria intermedia de P3 es superior al de I0, pero es posible añadir un valor desfasado a la AU de la imagen I para colocar la mayor prioridad sobre la AU de la imagen I. Igualmente, es posible colocar prioridades elevadas en las AUs necesarias a descodificar en el momento de reproducción a alta velocidad y usar, como información de prioridad, N en las AUs necesarias a descodificar en el momento de la reproducción a velocidad multiplicada por N. Obsérvese que, en el caso donde una AU es referida por otras Aus después ser descodificada o visualizada, es posible mostrar el periodo de tiempo durante el cual la AU es
referida.

Obsérvese que la información de reproducción trucada se puede almacenar en un mensaje SEI (figura 8B) en este caso, el tipo de mensaje SEI se define para la información de reproducción trucada, y la información de reproducción trucada se almacena en el mensaje SEI del tipo definido. El mensaje SEI para la información de reproducción trucada se almacena en la unidad NAL SEI solo o junto con otros mensajes. Obsérvese que es posible almacenar información de reproducción trucada en el mensaje SEI user_data_registered_itu_t_t35 o el mensaje SEI user_data_unregistered que son mensajes SEI para almacenar la información definida por un usuario. En el momento de usar estos SEIs, es posible mostrar que la información de reproducción trucada se almacene o que el tipo de información de reproducción trucada en la parte de carga útil de un SEI añadiendo información de identificación de la información a almacenar.

Obsérvese que es posible almacenar información de reproducción trucada en AUs distintas de la AU superior en una unidad de acceso aleatorio RAU. Igualmente, es posible predeterminar los valores para identificar AUs necesarias a descodificar en el momento de reproducción a una velocidad de reproducción específica y añadir los valores determinados para cada AU. Por ejemplo, en lo relativo a AUs a descodificar a una velocidad de reproducción que es una velocidad multiplicada por N o inferior, N es dada como información de velocidad de reproducción. Igualmente, es posible mostrar lo siguiente en nal_ref_idc y similar de la unidad NAL de un segmento: la estructura de la imagen en una AU, siendo la estructura una estructura de trama o una estructura de campo, y además, en el caso donde la imagen tiene una estructura de campo, es posible mostrar el tipo de campo, que es un campo superior o un campo inferior. Por ejemplo, como existe una necesidad de visualización entrelazada, es deseable que si el campo a descodificar a continuación es un campo superior o un campo inferior se puede evaluar fácilmente en el momento de descodificar campos saltando algunos campos en el momento de reproducción a alta velocidad. En el caso donde el tipo de campo se puede evaluar a partir del encabezamiento de una unidad NAL, no hay necesidad de analizar el encabezamiento de segmentos y la cantidad de procesamiento necesaria para tal evaluación se puede reducir.

Obsérvese que la información que indica si la AU que constituye una unidad de acceso aleatorio RAU es un campo o una trama que se puede almacenar en la AU superior de una unidad de acceso aleatorio RAU. Igualmente, es posible determinar fácilmente las AUs a descodificar en el momento de la reproducción trucada incluso en el caso donde una estructura de campo y una estructura de trama coexisten almacenando tal información en la AU superior de la unidad de acceso aleatorio. Las figuras 17A y 17B son ejemplos donde las AUs que tienen una estructura de trama y las AUs que tienen una estructura de campo coexisten en la unidad de acceso aleatorio RAU, y muestran el orden de visualización de las AUs y el orden de descodificación de las AUs respectivamente. Las siguientes imágenes se codifican como pares de campos respectivamente: B2 y B3; I4 y P5; B9 y B10; B11 y B12; P13 y P14; B15 y B16; B17 y B18; y P19 y P20. Igualmente, las otras Aus se codifican como las AUs que tienen una estructura de trama en este momento, en el caso de reproducción solamente las AUs de una imagen I e imágenes P, se puede descodificar y reproducir lo siguiente en el siguiente orden listado: el par de campos de I4 y P5; la trama de P8; el par de campos de P13 y P14; y el par de campos de P19 y P20. Sin embargo, la adición de tal información es efectiva porque hay una necesidad de evaluación si cada AU es uno de los campos que constituyen un par de campos o cada AU es una trama en el momento de determinar las AUS a descodificar.

La figura 17C es un ejemplo de sintaxis del primer mapa (RAU_map1) que indica si una AU en una unidad de acceso aleatorio RAU es una trama o un campo. El número de AUs que constituye una unidad de acceso aleatorio se muestra en num_AU_in_RAU, y la información sobre cada AU se muestra en el siguiente bucle en un orden de descodificación. Aquí, frame_field_flag muestra si la imagen a almacenar en un AU es una trama o un campo. Igualmente, pic_type muestra la información sobre el tipo de codificación de una imagen. Los tipos de codificación que se pueden mostrar incluyen: una imagen I; una imagen IDR; y similar. Por lo tanto, es posible determinar las imágenes a descodificar en el momento de la reproducción trucada refiriéndose a este mapa. Obsérvese que es posible indicar si cada imagen I y cada imagen P son referidas o no. Además, es posible indicar la información para evaluar si se aplica un requisito predeterminado en cuanto a las estructuras de predicción.

Las figuras 17D RAU_map1_ que se refiere a la unidad de acceso aleatorio RAU de la figura 17B. Aquí, pic_type de una imagen I, imágenes P, imágenes B de referencia, e imágenes B de no-referencia son 0, 1, 2 y 3 respectivamente. Aquí, es posible almacenar la información que indica los tipos de codificación de imágenes sobre las bases anteriormente listadas porque las imágenes se reproducen sobre una base de trama a trama, o sobre una base de par de campos por par de campos en el momento de reproducción trucada.

La figura 17F es un ejemplo de sintaxis del segundo mapa (RAU-map2) que indica tipos de codificación de imágenes sobre la base trama a trama o sobre la base de par de campo por par de campo. Aquí, num_frame_in_RAU muestra el número de tramas que constituyen una unidad de acceso aleatorio RAU y el número de pares de campos. Igualmente, frame_flag muestra si una imagen es una trama o no, y en el caso donde es una trama, se establece 1 en el caso donde se establece 1 en frame_flag, la información sobre el tipo de codificación de una trama se muestra en frame_type. En el caso donde se establece 0 en frame_flag, dicho de otro modo, la imagen es uno de un par de campos, el tipo de codificación de cada campo que constituye el par de campo se muestra en field_pair_type.

La figura 17E muestra RAU_map2 en cuanto a la unidad de acceso aleatorio RAU de la figura 17B. En la figura 17E, los valores que indican frame_type de una imagen I, imágenes P, imágenes B de referencia, imágenes B de no-referencia son 0, 1, 2 y 3 respectivamente. Igualmente, field_pair_type muestra el tipo de cada campo en un orden de descodificación; Br para imágenes B de referencia; y Bn para imágenes de no-referencia. Por ejemplo, se muestra como IP en el caso donde el primer campo es una imagen I y el segundo campo es una imagen P, y se muestra como BnBn en el caso donde el primer campo y el segundo campo son imágenes B de no-referencia. Aquí, los valores para indicar combinaciones de IP, PP, PI BrBr, BnBn y similar se establecen previamente. Obsérvese que la siguiente información se puede usar como la información que indica el tipo de codificación de un par de campos: información en cuanto a si el par de campos incluye una imagen I o una o más imágenes P; información en cuanto a si el par de campos incluye una o más imágenes B de referencia; e información en cuanto a si el par de campos incluye una o más imágenes B de no-referencia.

Por ejemplo, la información de reproducción trucada puede ser el mapa de una unidad de acceso aleatorio RAU como una sintaxis mostrada en la figura 18A. Este mapa incluye picture_structure que indica la estructura de cada una de las imágenes incluidas en la unidad de acceso aleatorio RAU y picture_type que indica el tipo de imagen. Como se muestra en la figura 18B, picture_structure muestra la estructura de cada imagen, es decir una estructura de campo o una estructura de trama y similar. Igualmente, como se muestra en la figura 18C, picture_type muestra el tipo de imagen de cada imagen, es decir, una imagen I, una imagen B de referencia, una imagen B de no-referencia; y una imagen P. De este modo, el aparato de descodificación de imágenes en movimiento que recibió este mapa puede identificar fácilmente AUs sobre las cuales se realiza la reproducción trucada refiriéndose a este mapa. Como ejemplo, es posible descodificar y reproducir, en reproducción a velocidad elevada, solamente una imagen I e imágenes P o imágenes B de referencia además de una imagen I e imágenes P.

Obsérvese que en el caso donde la información que indica la estructura de imagen tal como un avance 3-2 se incluye en una AU que constituye una unidad de acceso aleatorio RAU, es posible incluir la información que indica la estructura de imagen en el primer o segundo mapa anteriormente descrito. Por ejemplo, es posible mostrar si cada imagen tiene campos de visualización equivalente a tres imágenes o cada imagen tiene campos de visualización equivalente a dos imágenes, Además, en el caso donde tiene campos de visualización equivalente a tres imágenes, es posible mostrar la información que indica si el primer campo se visualiza repetidamente o la información que indica si el primer campo es un campo superior. Igualmente, en el caso donde tiene campos de visualización equivalente a dos imágenes, es posible mostrar la información si el primer campo es un campo superior. Aquí, en AVC MPEG-4 si una imagen tiene una estructura de imagen de manera que el avance 3-2 se puede mostrar usando (i) pic_struct_-present_flag de un conjunto de parámetros de secuencia (SPS) o (ii) pictureto_display_conversion_flag y similar en la temporización AVC y el descriptor HRD que se define en la norma del sistema MPEG-2. Además, la estructura de cada imagen se muestra por un campo pic_struct de una Temporización de Imagen SEI. Por lo tanto, es posible mostrar la estructura de imagen estableciendo un indicador solamente en el caso donde un campo pic_struct tiene un valor específico, por ejemplo, una imagen tiene campos de visualización equivalente a tres imágenes. Dicho de otro modo, indicar los tres siguientes tipos de información en cuanto a cada imagen es efectivo (i) en el caso donde la reproducción a saltos se realiza en medio de una unidad de acceso aleatorio RAU e (ii) en el momento de determinar el campo a visualizar en un momento específico o la trama en la cual se almacena un campo. Lo mismo se puede decir en el caso de determinar imágenes a visualizar durante la reproducción a velocidad variable. Los tres tipos de información son:

(i): campo

(ii): trama (que se usa en el momento de no usar un avance de 3-2, o que se usa también en el momento de usar un avance de 3-2. En el último caso, la trama tiene campos de visualización equivalente a dos imágenes).

(iii): trama que tiene un campo de visualización equivalente a tres imágenes en el momento de usar un avance de 3-2.

Obsérvese que estos tipos de información se pueden indicar en picture_structure de un mapa de RAU mostrado en la figura 18A.

\quad: Indicar información de lista de tipos de imágenes de las imágenes respectivas que constituyen una RAU de esta manera hace que sea posible determinar fácilmente imágenes a descodificar o visualizar en el momento de realizar una reproducción trucada tal como reproducción a velocidad variable, reproducción a saltos y reproducción inversa. Esto es especialmente efectivo en los siguientes casos:

(i): donde solamente una imagen I e imágenes P se reproducen;

(ii): donde la reproducción a alta velocidad en la cual se realiza una imagen I, imágenes P e imágenes B de referencia; y

(iii): donde imágenes sobre las cuales se colocan requisitos en cuanto a las estructuras de predicción se identifican basadas en los tipos de imagen, las imágenes necesarias a descodificar en el momento de la reproducción trucada se seleccionan, y las imágenes seleccionadas se reproducen en reproducción trucada.

\vskip1.000000\baselineskip

Además, es posible almacenar un valor por defecto de información de reproducción trucada en una región, que es diferente del flujo AVC, tal como información de gestión a nivel de aplicación, e incluir información de reproducción trucada en una unidad de acceso aleatorio RAU solamente en el caso donde la información de reproducción trucada es diferente de la información de reproducción trucada mostrada por el valor por defecto.

La información de reproducción trucada en cuanto a reproducción a velocidad variable se ha descrito anteriormente, pero es posible utilizar información similar como información suplementaria en el omento de reproducción inversa. Es posible completar la descodificación en un momento en el momento de la reproducción inversa en el caso donde todas las imágenes a visualizar se pueden almacenar en una memoria, la carga de procesamiento necesaria para la descodificación se puede reducir. Considerar un caso realización de reproducción inversa en el orden listado de P12, P8, P4 e I0 en el ejemplo de las figuras 9A a 9D, a condición de que todos los resultados de descodificación de las cuatro AUs se almacenen, es posible descodificar I0, P4, P8 y P12 en este orden en un momento y realizar reproducción inversa. Por lo tanto, es posible evaluar si o no todos los datos descodificados de las AUs se pueden almacenar basándose en el número de AUs a descodificar o visualizar en el momento de reproducción a una velocidad multiplicada por N, y determinar las AUs a visualizar en el momento de la realización de la reproducción inversa basándose en el resultado de la evaluación.

Igualmente, se puede usar información de reproducción trucada como información suplementaria en el momento de la reproducción a saltos. Aquí, la reproducción a saltos significa avance rápido de una imagen en movimiento y realizar una reproducción normal del inicio de las imágenes en movimiento con la posición determinada al azar. Determinar imágenes de avance rápido que usan tal información suplementaria incluso en el momento de la reproducción a saltos hace que sea posible determinar la imagen en la cual se inicia la reproducción a saltos.

Obsérvese que la AU a referir a cada AU que constituye una unidad de acceso aleatorio se puede mostrar directamente en la información trucada. En el caso donde hay diversas AUs de referencia, se muestran todas ellas. Aquí, en el caso donde una AU de referencia pertenece a una unidad de acceso aleatorio diferente de la unidad de acceso aleatorio que incluye una AU que se refiere a la AU de referencia, la AU se puede indicar de la siguiente manera específica: la eMésima AU de la unidad de acceso aleatorio que se coloca antes o después de n números de unidades de acceso aleatorio, o la AU se puede indicar da la siguiente sencilla manera: la AU que pertenece a la unidad de acceso aleatorio que se coloca antes o después de N números de unidades de acceso aleatorio. Obsérvese que es posible mostrar el número ordinal, en el orden de descodificación, de la AU de referencia en el caso de contar a partir de la AU que se refiere a la AU de referencia. En ese momento, las AUs se cuentan sobre la base de una de los siguiente: todas las AUs; AUs de referencia; AUs de un tipo de imagen específico tal como I, P y B. Igualmente, es posible mostrar que cada AU se puede referir a solamente AU de hasta N números de AUs antes y después en un orden de descodificación. Obsérvese que, en el caso de referirse a una AU que no se incluye en las AUs de hasta N número de AUs antes y después en el orden de descodificación, es posible añadir la información que indica el hecho.

Obsérvese que es posible usar la información de reproducción trucada anteriormente descrita de una manera similar también en un formato de multiplexado tal como MP4 donde la dimensión de una unidad NAL se usa en lugar de usar un prefijo de código de inicio como la información límite de una unidad NAL.

Obsérvese que, en el momento de recibir y grabar un flujo codificado que se paquetiza usando un paquete MPEG-2 TS (Flujo de transporte) o un RTP (Protocolo de transmisión en tiempo real), se produce una pérdida de paquetes. De esta manera, en el caso de la grabación de los datos recibidos en un entorno en el que se produce una pérdida de paquete, es posible almacenar, en un flujo codificado como información suplementaria, o una información de gestión, la información que indica que los datos en un flujo se han perdido a causa de una pérdida de paquete. Es posible mostrar una pérdida de datos debida a la pérdida de paquete insertando la información de indicador que indica si los datos del flujo se pierde o no o un código de notificación de error especial para notificar la parte perdida. Obsérvese que, en el caso de la realización del procedimiento de ocultación de error cuando se pierden los datos, es posible almacenar información de identificación que indica la presencia/ausencia o el procedimiento de procedimiento de ocultación de error.

La información de reproducción trucada para determinar las AUs a descodificar o visualizar en el momento de la reproducción trucada se ha descrito hasta ahora. Aquí, la estructura de datos para permitir la detección del borde de la unidad de acceso aleatorio RAUs se describirá con referencia a la figura 19.

En la AU superior de una unidad de acceso aleatorio RAU, la unidad NAL de un SPS referido por una AU que constituye una unidad de acceso aleatorio RAU se almacena siempre. Por otra parte, en la norma AVC MPEG-4, es posible almacenar la unidad NAL del SPS referido por la eNésima AU en un orden de descodificación en una AU que se selecciona arbitrariamente a partir de entre la eNésima AU o las AUs colocadas antes de la eNésima AU en un orden de descodificación. Tal unidad NAL se almacena de manera que la unidad NAL de un SPS se puede transmitir repetidamente, en preparación para el caso donde la unidad NAL de un SPS se pierde a causa de una pérdida de paquete en el momento de transmitir un flujo en comunicación o radiodifusión. Sin embargo, la siguiente regla es efectiva para el uso de las aplicaciones de almacenamiento. Solamente una única unidad NAL del SPS referido por todas las AUs de la unidad de acceso aleatorio RAU en la AU superior de una unidad de acceso aleatorio RAU, y la unidad NAL del SPs no se almacena en las siguientes AUs en la unidad de acceso aleatorio. Haciéndolo así es posible garantizar que la AU es la AU superior de la unidad de acceso aleatorio RAU si incluye la unidad NAL de un SPs. El inicio de la unidad de acceso aleatorio RAU se puede encontrar buscando la unidad NAL del SPS. La información de gestión de un flujo tal como un mapa de tiempo no garantiza la provisión de información de acceso en cuanto a las unidades de acceso aleatorio RAUs. Por lo tanto, es especialmente efectivo que la posición de inicio de cada unidad de acceso aleatorio RAU se pueda obtener buscando la unidad NAL de un SPS en un flujo en el caso de, por ejemplo, realizar reproducción a saltos sobre la imagen colocada en medio de la unidad de acceso aleatorio RAU cuya información de acceso no se proporciona.

Aquí, en el caso donde la AU superior de la unidad de acceso aleatorio RAU es la AU de una imagen IDR, la AU de la unidad de acceso aleatorio RAU no se refiere a la AU en la unidad de acceso aleatorio RAU que se coloca previamente en un orden de descodificación. Este tipo de unidad de acceso aleatorio RAU se denomina unidad de acceso aleatorio RAU de tipo cerrado. Por otra parte, en el caso donde la AU superior de una unidad de acceso aleatorio RAU es la AU de una imagen I que no es una imagen IDR, la AU de la unidad de acceso aleatorio RAU puede referirse a la AU en la unidad de acceso aleatorio RAU que se coloca previamente en un orden de descodificación. Este tipo de unidad de acceso aleatorio RAU se denomina unidad de acceso aleatorio RAU de tipo abierto. En el momento que los ángulos se conmutan durante la reproducción en un disco óptico o similar, la conmutación se realiza a partir de una unidad de acceso aleatorio RAU de tipo cerrado. Por lo tanto, es efectivo que la evaluación en cuanto a si una unidad de acceso aleatorio RAU es una unidad de acceso aleatorio RAU de tipo abierto se pueda hacer en la parte superior de la unidad de acceso aleatorio RAU. Por ejemplo, es posible mostrar la información de indicador para evaluar el tipo, es decir, un tipo abierto o un tipo cerrado m en un campo nal_ref_idc de la unidad NAL de un SPS. Como se define que el valor de nal_ref_idc es 1 o más en la unidad NAL de un SPS, el bit de orden elevado se establece siempre en 1 y la información de indicador se muestra mediante el bit de orden bajo. Obsérvese que, una AU en una unidad de acceso aleatorio RAU puede no referirse a una AU en una unidad de acceso aleatorio RAU que se coloca previamente en un orden de descodificación incluso en el caso donde la AU superior es la AU de una imagen I que no es una IDR. Este tipo de unidad de acceso aleatorio RAU se puede considerar como una unidad de acceso aleatorio RAU de tipo cerrado. Obsérvese que la información de indicador se puede mostrar usando un campo distinto de nal_ref_idc.

Obsérvese que es posible especificar la posición de inicio de una unidad de acceso aleatorio RAU basada en la unidad NAL distinta de un SPs a almacenar solamente en la AU superior de una unidad de acceso aleatorio RAU. Igualmente, es posible mostrar el tipo, es decir, el tipo abierto o el tipo cerrado, de cada una de las unidades de acceso aleatorio RAUs usando el campo nal_ref_idc de cada unidad de acceso aleatorio RAU.

Finalmente, las figuras 20A y 20B muestran ejemplos de estructuras de predicción de AUs que constituyen una unidad de acceso aleatorio RAU. La figura 20A muestra las posiciones de AUs en un orden de visualización, y la figura 20B muestra las posiciones de las AUs en el orden de descodificación. Como se muestra en las figuras, B1 y B2 que se muestran antes de I3 que es la AU superior de una unidad de acceso aleatorio RAU se puede referir a AUs a visualizar después de I3. En la figura, B1 se refiere a P6, Aquí, con el fin de garantizar que las AUs de I3 y las siguientes imágenes en el orden de visualización se puede descodificar correctamente, se prohíbe que las AUs de I3 y las siguientes imágenes en el orden de visualización se refieran a las AUs antes de I3 en el orden de visualización

Aparato de codificación de imágenes en movimiento

La figura 21 es un diagrama de bloques del aparato 100 de codificación de imágenes en movimiento que realiza el procedimiento de codificación de imágenes en movimiento de la presente invención. Este aparato 100 de codificación de imágenes en movimiento genera un flujo codificado, mostrado en las figura 8 a figuras 20, de una imagen en movimiento que se puede reproducir usando una reproducción trucada tal como reproducción a saltos, reproducción a velocidad variable y reproducción inversa. El aparato 100 de codificación de imágenes en movimiento incluye una unidad de generación de información de reproducción trucada TrickPlay, además de las unidades de un aparato 1 codificación de imágenes en movimiento mostrado en la figura 4. Obsérvese que las unidades de procesamiento que realizan las mismas operaciones que las unidades de procesamiento de un aparato codificación de imágenes en movimiento mostrado en el diagrama de bloques de la figura 6 se asignan a los mismos números de referencia en la figura, y sus descripciones se omitirán.

La unidad de generación de información de reproducción trucada TrickPlay es un ejemplo de una unidad que genera, sobre la base de una unidad de acceso aleatorio una o más imágenes, información suplementaria a referir a l tiempo de reproducción de las unidades de acceso aleatorio. La unidad de generación de información de reproducción trucada TrickPlay genera información de reproducción trucada basada en tipos de imágenes Ptype, y notifica la información de reproducción trucada a la unidad de codificación de longitud variable VLC.

La unidad de codificación de longitud variable VLC es un ejemplo de una unidad de generación de flujo que genera un flujo que incluye información suplementaria e imágenes añadiendo la información suplementaria generada a cada unidad de acceso aleatorio correspondiente. La unidad de codificación de longitud variable VLC codifica y coloca la unidad NAL para almacenar información de reproducción trucada en la AU superior de una unidad de acceso aleatorio RAU.

La figura 22 es un diagrama de flujo de cómo el aparato 100 de codificación de imágenes en movimiento(principalmente la unidad de generación de información de reproducción trucada TrickPlay) mostrado en la figura 21 realiza el procedimiento de generación de un flujo codificado que incluye información de reproducción trucada.

En primer lugar, en la etapa 10, el aparato 100 de codificación de imágenes en movimiento evalúa si o no la AU a codificar es la AU superior de una unidad de acceso aleatorio RAU. En el caso donde es la AU superior, se pasa a la Etapa 11, mientras que en el caso donde no es la AU superior, se pasa a la etapa 12 en la etapa 11, el aparato 100 de codificación de imágenes en movimiento realiza el procedimiento inicial para generar información de reproducción trucada de la unidad de acceso aleatorio RAU, e igualmente, si asegura el área para almacenar la información de reproducción trucada en la AU superior de la unidad de acceso aleatorio RAU. En la etapa 12, el aparato 100 de codificación de imágenes en movimiento codifica los datos AU, y se pasa entonces a la etapa 13. En la etapa 13, el aparato 100 de codificación de imágenes en movimiento obtiene la información necesaria en el momento de generar información de reproducción trucada. Tal información es: los tipos de imágenes de la AU, es decir, una imagen I, una imagen P, una imagen B de referencia, o una imagen B de no-referencia, o si hay necesidad de descodificar la AU en el momento de realizar la reproducción a una velocidad multiplicada por N. Después de esto, el aparato 100 de codificación de imágenes en movimiento pasa a la etapa 14. En la etapa 14, el aparato 100 de codificación de imágenes en movimiento evalúa si la AU es la última AU de la unidad de acceso aleatorio RAU. En el caso donde es la última AU, el aparato 100 de codificación de imágenes en movimiento pasa a la etapa 15, mientras que en el caso donde no es la última AU, pasa a la etapa 16. En la etapa 15, el aparato 100 de codificación de imágenes en movimiento determina información de reproducción trucada, genera la unidad NAL para almacenar la información de reproducción trucada, y almacena la unidad NAL generada en el área asegurada en la etapa 11. Después completar el procedimiento de la etapa 15, el aparato 100 de codificación de imágenes en movimiento pasa a la etapa 16. En la etapa 16, el aparato 100 de codificación de imágenes en movimiento evalúa si o no hay una AU a codificar a continuación. En el caso donde hay una AU a codificar, se repite la etapa 10 y las siguientes etapas, mientras que en el caso donde no hay AU a codificar, se completa el procesamiento. Aquí, en el caso donde el aparato 100 de codificación de imágenes en movimiento evalúa que no hay AUs a codificar en la etapa 16, almacena información de reproducción trucada de la última unidad de acceso aleatorio RAU, y a continuación completa el
procesamiento.

Por ejemplo, cuando el aparato 100 de codificación de imágenes en movimiento genera información de reproducción trucada mostrada en la figura 18A, obtiene lo siguiente en la etapa 13: el tipo de imagen; si la imagen tiene una estructura de campo o la imagen tiene una estructura de trama; o/y la información que indica si el campo de visualización de la imagen es equivalente a dos imágenes o equivalente a tres imágenes en el caso donde la información en cuanto a un avance 3-2 se incluye en el flujo codificado. En la etapa 15, el aparato 100 de codificación de imágenes en movimiento establece picture_structure y picture_type de todas las imágenes en la unidad de acceso aleatorio RAU en un orden de descodificación.

Obsérvese que, en el caso donde la dimensión de la unidad NAL para almacenar información de reproducción trucada no se conoce en el momento de iniciar la codificación de la AU superior de una unidad de acceso aleatorio RAU, el procesamiento para asegurar el área para almacenar la información de reproducción trucada se omitirá en la etapa 11. En este caso, la unidad NAL generada para almacenar información de reproducción trucada se inserta en la AU superior en la etapa 15.

Igualmente, almacenar o no almacenar la información de reproducción trucada se puede conmutar sobre una base de flujo codificado. Especialmente en el caso donde la estructura de predicción entre AUs que constituyen una unidad de acceso aleatorio se prescribe por aplicación, es posible determinar que la información de reproducción trucada no se almacena. Por ejemplo, en el caso donde un flujo codificado tiene la misma estructura de predicción como en el caso de un flujo de MPEG-2, no hay necesidad de almacenar información de reproducción trucada. Esto es debido al hecho de que es posible determinar las AUs necesarias a descodificar en el momento de la reproducción trucada sin información de reproducción trucada. Obsérvese que tal conmutación se puede llevar a cabo sobre la base de una unidad de acceso aleatorio RAU.

Aparato de multiplexado de imágenes en movimiento

La figura 23 es un diagrama de bloques que muestra la estructura del aparato 108 de multiplexado de imágenes en movimiento de la presente invención. Este aparato 108 de multiplexado de imágenes en movimiento introduce datos de imágenes en movimiento, codifica los datos de imágenes en movimiento para realizar un flujo AVC MPEG-4, multiplexa el flujo con la información de acceso a las AUs que constituyen el flujo y la información de gestión que incluye la información suplementaria para determinar operaciones realizadas en el momento de la reproducción trucada, y graba el flujo multiplexado. El aparato 108 de multiplexado de imágenes en movimiento incluye una unidad 101 de determinación de atributos de flujo, una unidad de codificación 102, una unidad 103 de generación de información de gestión, una unidad de multiplexado 106 y una unidad de almacenamiento 107. Aquí, la unidad de codificación 102 tiene una función para añadir información de reproducción trucada en el aparato 100 de codificación de imágenes en movimiento mostrado en la figura 21.

La unidad 101 de determinación de atributos de flujo determina los requisitos concernientes a la reproducción trucada realizada en el momento de la codificación de un flujo MPEG-4 AVC, y los envía a la unidad de codificación 102 y la unidad 105 de generación de información de soporte de reproducción como información de atributo TYPE. Aquí, los requisitos concernientes a la reproducción trucada incluyen información que indica: si o no el requisito para constituir una unidad de acceso aleatorio se aplica a un flujo MPEG-4 AVC; si la información que indica las AUs a descodificar o visualizar en el momento de reproducción a velocidad variable o reproducción inversa se incluye en el flujo; o si o no se establece un requisito sobre la estructura de predicción entre AUs. La unidad 101 de determinación de atributos de flujo envía, a la unidad de generación de información de gestión general 104, la información de gestión general que es la información necesaria para generar información de gestión tal como un formato de compresión una resolución. La unidad de codificación 102 codifica los datos de vídeo introducidos en el flujo MPEG-4 AVC basándose en la información de atributo TYPE, envía los datos codificados a la unidad de multiplexado 106, y envía la información de acceso en el flujo a la unidad 104 de generación de información de gestión general. Aquí, en el caso donde la información de atributo TYPE muestra que la información que indica las AUs a descodificar o visualizar en el momento de reproducción a velocidad variable o reproducción inversa no se incluye en el flujo, la información de reproducción trucada no se incluye en el flujo codificado. Obsérvese que la información de acceso indica la información de una de acceso que es la unidad básica accediendo al flujo, e incluye la dirección de inicio, el tiempo de visualización y similar de la AU superior en una unidad de acceso. La unidad 104 de generación de información de gestión general genera los datos de tabla a referir al tiempo de acceso a un flujo y los datos de tabla que almacenan información de atributos tal como un formato de compresión basado en la información de acceso y la información de gestión general, y envía los datos de tabla a la unidad de multiplexado 106 como la información de gestión INFO. La unidad 105 de generación de información de soporte de reproducción genera información de soporte HLP que indica si el flujo tiene una estructura de acceso aleatorio basada en la información de atributo introducida TYPE, y envía la información de soporte HLP a la unidad de multiplexado 106. La unidad de multiplexado 106 genera datos codificados introducidos a través de la unidad de codificación 102, la información de gestión INFO, y los datos de multiplexado multiplexando la información de soporte HLP, y los envía a la unidad de almacenamiento 107. La unidad de almacenamiento 107 graba los datos de multiplexado introducidos a través de la unidad de multiplexado 106 en un soporte de grabación tal como un disco óptico, un disco duro y una memoria. Obsérvese que la unidad de codificación 102 puede paquetizar el flujo MPEG-4 AVC en, por ejemplo, un TSs MPEG-2 (flujos de transporte) o un PSs MPEG-2 (flujos de programa) y a continuación envía los TSs o PSs MPEG-2 paquetizados. Igualmente, la unidad de codificación 102 puede paquetizar el flujo que usa un formato prescrito por la aplicación tal como un BD.

Obsérvese que los contenidos de la información de gestión no necesitan depender de si la información de reproducción trucada se almacena en el flujo codificado o no. En ese momento, la información de soporte HLP se puede omitir. Igualmente, el aparato 108 de multiplexado de imágenes en movimiento puede tener la estructura sin una unidad 105 de generación de información de soporte de reproducción.

Las figuras 24A y 24B muestran ejemplos de la información mostrada por la información de soporte HLP. La información de soporte HLP incluye el procedimiento que indica directamente la información de un flujo como se muestra en la figura 24A, y el procedimiento que indica si el flujo satisface el requisito prescrito por una norma de aplicación específica, como se muestra en la figura 24B.

La figura 24A muestra lo siguiente como información concerniente a un flujo: información en cuanto a si el flujo tiene una estructura de acceso aleatorio; información en cuanto a si hay un requisito sobre la estructura de predicción entre imágenes almacenadas en una AU; e información en cuanto a si hay información que indica las AUs a descodificar o visualizar en el momento de reproducción trucada,

Aquí la información relativa a las AUs a descodificar o visualizar en el momento de reproducción trucada puede indicar directamente AUs a descodificar o visualizar o indican las prioridades en el momento de descodificar o visualizar. Por ejemplo, se puede indicar que la información que indica que las AUs a descodificar o visualizar sobre una base de unidad de acceso aleatorio se almacena en una unidad NAL que tiene un tipo de unidad NAL especial prescrito por aplicación. Un mensaje SEI o similar. Obsérvese que es posible indicar si hay información que indica la estructura de predicción entre las AUs que constituyen una unidad de acceso aleatorio. Igualmente, la información relativa a las AUs a descodificar o visualizar en el momento de reproducción trucada se puede añadir sobre la base de una o más unidades de acceso aleatorio o a cada una de las AUs que constituye la unidad de acceso aleatorio.

Además, en el caso donde la información que indica las AUs a descodificar o visualizar se almacena en la unidad NAL que tiene un tipo especial, es posible mostrar el tipo de unidad NAL. En el ejemplo de la figura 25, en la información de soporte HLP, la información relativa a las AUs a descodificar o visualizar en el momento de reproducción trucada se incluye en la unidad NAL cuyo tipo de unidad NAL es 0. En ese momento, es posible obtener la información relativa a la reproducción trucada desmultiplexando la unidad Nal cuyo tipo de unidad NAL es 0 a partir de los datos AU del flujo. En el caso donde la información relativa a la reproducción trucada se almacena usando un mensaje SEI, es posible indicar la información para identificar el mensaje SEI.

Igualmente, en cuanto a los requisitos sobre las estructuras de predicción, es posible indicar si uno o más requisitos predeterminados se satisfacen, o es posible indicar que los siguientes requisitos respectivos se satisfacen independientemente:

(i): en cuanto a las AUs de una imagen I e imágenes P, el orden de descodificación deberían coincidir con el orden de visualización;

(ii): la AU de una imagen P no se puede referir a la AU de una imagen B;

(iii): las AUs después de la AU superior en un orden de visualización en una unidad de acceso aleatorio se puede referir solamente a las AUs incluidas en la unidad de acceso aleatorio; y

(iv): cada AU se puede referir a solamente las AUs colocadas hasta Números antes y después en el orden de descodificación. En este caso, todas las AUs se cuentan juntas o las AUs se cuentan sobre una base de AU de referencia, y el valor de N se puede mostrar en la información de soporte HLP.

\vskip1.000000\baselineskip

Obsérvese que, en MPEG-4 AVC, es posible utilizar, como imágenes de referencia, imágenes sobre las cuales se realiza el procedimiento de filtrado (desbloqueo) para eliminar la distorsión de bloque después de l descodificación para mejorar la calidad de imagen, y es posible utilizar como imágenes para visualización, imágenes antes del desbloqueo. En este caso, el aparato de descodificación de imágenes en movimiento necesita mantener los datos de imagen antes y después del desbloqueo. Por lo tanto, es posible almacenar, en la información de soporte HLP, la información que indica si hay una necesidad de mantener las imágenes antes del desbloqueo para el uso de la visualización. La norma MPEG-4 AVC define la dimensión máxima de una memoria intermedia (DPB : Memoria intermedia de imágenes descodificadas) necesaria para almacenar las imágenes de referencia o las imágenes a visualizar como los resultados de descodificación. Por lo tanto, con una memoria intermedia DPB que tiene la dimensión máxima o una memoria intermedia que tiene la dimensión máxima prescrita por aplicación, es posible indicar si el procedimiento de descodificación se puede realizar sin fallo incluso en el caso de almacenar las imágenes para visualización de las imágenes de referencia. Obsérvese que, con el fin de almacenar las imágenes antes del desbloqueo de las imágenes de referencia, es posible indicar la dimensión de memoria intermedia a asegurar, además de la dimensión necesaria como DPB, usando el número de bytes o el número de tramas. Aquí, si se realiza el desbloqueo sobre cada imagen o no se puede obtener a partir de la información en el flujo, o la información exterior al flujo tal como información de gestión. En el caso de obtener la información en el flujo, por ejemplo, se puede obtener a partir de un SEI. Además, en el caso de la descodificación de un flujo MPEG-4 AVC, es posible evaluar si las imágenes antes del desbloqueo de las imágenes de referencia se pueden usar para visualizar o no se pueden evaluar basándose en la dimensión de la memoria intermedia que se puede usar en la unidad de descodificación y la información anteriormente descrita, y entonces es posible determinar como se visualizan las imágenes.

Obsérvese que toda la información o una parte de la información se puede incluir como información de soporte HLP. Igualmente, es posible incluir información necesaria basada en una condición predeterminada, por ejemplo, para incluir información en cuanto a la presencia o ausencia de información de reproducción trucada solamente en el caso donde no hay requisito relativo a la estructura de predicción. Igualmente, la información distinta de la información anteriormente descrita se puede incluir en la información de soporte HLP.

La figura 24B no indica directamente la información relativa a la estructura de un flujo, pero indican si un flujo satisface los requisitos sobre las estructuras de flujo prescritas por la norma de disco Blu-ray (BD-ROM) o la norma de DVD de Alta definición (HD) que es la norma para almacenar imágenes de alta definición en un DVD. Igualmente, en el caso donde se definen diversos modos como los requisitos de un flujo en una norma de aplicación tal como la norma BD-ROM o similar, la información que indica el modo aplicado se puede almacenar. Por ejemplo, se usan los siguientes modos: el modo 1 que indica que no hay ningún requisito; el modo 2 que indica que el flujo tiene una estructura de acceso aleatorio e incluye la información para especificar AUs a descodificar en el momento de reproducción trucada; y similar. Obsérvese que es posible indicar si el flujo satisface los requisitos prescritos en el servicio de comunicación tal como descarga o emisión, o una norma de radiodifusión.

Obsérvese que es posible indicar tanto la información mostrada en la figura 24A y la información mostrada en la figura 24B. Igualmente, en el caso donde se conoce que el flujo satisface los requisitos en una norma de aplicación específica, es posible almacenar los requisitos en la norma de aplicación convirtiendo la estructura de flujo en el formato para la descripción directa como se muestra en la figura 24A, en lugar de indicar si el flujo satisface la norma de aplicación

Obsérvese que es posible almacenar la información que indica las AUs a descodificar o visualizar en el momento de la reproducción trucada como información de gestión. Igualmente, en el caso donde el contenido de la información de soporte HLP se conmuta en un flujo, se puede indicar la información de soporte HLP sobre una base de sección a sección.

La figura 26 es un diagrama de flujo que muestra las operaciones del aparato 108 de multiplexado de imágenes en movimiento. En la etapa 51, la unidad 101 de determinación de atributo de flujo determina la información de atributo TYPE basada en los ajustes de usuario las condiciones predeterminadas. En la etapa 52, la unidad de codificación 102 codifica un flujo basado en la información de atributo TYPE. En la etapa 53, la unidad 105 de generación de información de soporte de reproducción genera la información de soporte HLP basada en la información de atributo TYPE. En consecuencia, en la etapa 54, la unidad de codificación 102 genera la información de acceso sobre la base de una unidad de acceso del flujo codificado, y la unidad 104 de generación de información de gestión general genera la información de gestión INFO añadiendo información de acceso a la otra información necesaria (información de gestión general). En la etapa 55, la unidad de multiplexado 106 multiplexa un flujo, la información de soporte HLP y la información de gestión INFO. En la etapa 56, la unidad de almacenamiento 107 graba los datos multiplexados. Obsérvese que la etapa 53 se puede realizar antes de la etapa 52, o después de la etapa 54.

Obsérvese que la unidad de codificación 102 puede almacenar la información mostrada en la información de soporte HLP en un flujo. En este caso, la información mostrada en la información de soporte HLP se almacena en la unidad NAL para almacenar reproducción trucada. Por ejemplo, en el caso donde las imágenes P no se refiere a las imágenes B, es posible descodificar solamente una imagen I ye imágenes P en el momento de la reproducción a velocidad variable. Por lo tanto, se almacena la indicación de indicador que indica si solamente una imagen I e imágenes P se puede descodificar y visualizar. Igualmente, hay un caso donde algunas AUs a descodificar en el momento de la reproducción a velocidad variable no pueden obtener un SPs o un PPS a partir de las AUs a las que se debería referir mediante las AUs respectivas. En el caso donde el PPs referido por una imagen P se almacena solamente en la AU de una imagen B en el caso de descodificar solamente una imagen I e imágenes P. En este caso, hay una necesidad de obtener el PPs necesario para descodificar la imagen P a partir de la AU de una imagen B. Por lo tanto, es posible incluir información de indicador que indica si el SPS o el PPs referidos por cada AU a descodificar en el momento de reproducción a velocidad variable se puede obtener seguramente a partir de una de las otras AUs a descodificar en el momento de reproducción a velocidad variable. Al hacerlo de este modo es posible realizar la operación para de este modo detectar un SPs o un PPS también a partir de la AU de una imagen no destinada a ser descodificada en el momento de reproducción a velocidad variable solamente en el caso donde no se establece un indicador. Igualmente, en el momento cuando se muestra que solamente una imagen I e imágenes P se puede descodificar y visualizar, es posible ajustar la velocidad de reproducción descodificando también imágenes B, especialmente imágenes B de referencia referidas por otras imágenes.

Igualmente, es posible almacenar la información de indicador en el encabezamiento de otra unida NAL tal como SPS, PPS o un segmento, en lugar de usar cualquier unidad NAL para almacenar reproducción trucada. Por ejemplo, en el caso donde un SPs referido por una AU que constituye una unidad de acceso aleatorio RAU se almacena en la AU superior en la unidad de acceso aleatorio RAU, el campo nal_ref_idc de la unidad NAL de un SPS puede indicar la información de indicador. Como se define que el valor de nal_ref_idc es 1 o más en la unidad NAL de un SPS, es posible establecer siempre el bit de orden elevada en 1 e indicar la información de indicador mediante el bit de orden baja.

Obsérvese que, el contenido de la información de soporte HLP se puede almacenar en un flujo o una información de gestión, o ambas. Por ejemplo, el contenido se puede mostrar en información de gestión en el caso donde el contenido de la información de soporte HLP se fija en un flujo, mientras que el contenido se puede mostrar en un flujo en el caso donde el contenido es variable. Igualmente es posible almacenar la información de indicador que indica si la información de soporte HLP se fija o no en la información de gestión. Igualmente, en el caso donde la información de soporte HLP se predetermina en una norma de aplicación tal como un BD:ROM o una RAM, o en el caso donde la información de soporte HLP es proporcionada por separado por comunicación o radiodifusión, la información de soporte HLP no se almacena.

Aparato de descodificación de imágenes en movimiento

La figura 27 es un diagrama de bloques del aparato 200 de descodificación de imágenes en movimiento que realiza el procedimiento de descodificación de imágenes en movimiento de la presente invención. Este aparato 200 de descodificación de imágenes en movimiento reproduce un flujo codificado mostrado en las figuras 8A y 8B a 20. Se puede realizar no solamente la reproducción sino también la reproducción trucada tal como reproducción a saltos, reproducción a velocidad variable y reproducción inversa. El aparato 200 de descodificación de imágenes en movimiento incluye, además, una unidad de extracción de flujo EXT y una unidad de selección de AUs a descodificar descodificada Ausel, además de las unidades de un aparato 2 de descodificación convencional mostrado en la figura 5. Obsérvese que las unidades de procesamiento que realizan las mismas operaciones que las unidades de procesamiento respectivas del aparato 2 de descodificación convencional mostrado en el diagrama de bloques de la figura 5 se les asignan los mismos números de referencia y se omiten sus descripciones.

La unidad de selección de AUs a descodificar Ausel determina las AUs necesarias a descodificar basadas en la información de reproducción trucada Grpinf descodificada en la unidad de descodificación de longitud variable VLD, según una instrucción de reproducción trucada introducida desde el exterior. Aquí, la instrucción que indica reproducción trucada se introduce desde la unidad de selección de AUs a descodificar Ausel. Además, la unidad de selección de AUs a descodificar Ausel notifica a la unidad de extracción de flujo EXT de DecAU que es la información que indica las AUs determinadas como AUS necesarias a descodificar. La unidad de extracción de flujo EXT extrae solamente el flujo correspondiente a las AUS que se evalúan como las AUs necesarias a descodificar por la unidad de selección de AUS a descodificar Ausel, y a continuación transmite el flujo a la unidad de descodificación de longitud variable VLD.

La figura 28 es un diagrama de flujo de la manera en que el aparato 200 de descodificación de imágenes en movimiento (principalmente la unidad de selección de AUs a descodificar Ausel) mostrado en la figura 27 realiza el procedimiento de descodificación de un flujo que incluye información de reproducción trucada en el momento de realizar la reproducción trucada.

En primer lugar, en la etapa 20, la unidad de selección de AUs a descodificar Ausel evalúa si la AU es la AU superior de una unidad de acceso aleatorio RAU detectando un SPs o similar en el flujo. En el caso donde la AU es la AU superior, pasa a la etapa 21, mientras que en le caso donde la AU no es la AU superior, pasa a la etapa 22. Aquí, la posición de inicio de la unidad de acceso aleatorio RAU se puede obtener a partir de información de gestión tal como mapa de tiempo. Especialmente en el caso donde se determina, la posición de inicio de reproducción en el momento de la reproducción por saltos o solamente se selecciona la imagen superior de la unidad de acceso aleatorio RAU y se realiza la reproducción a alta velocidad sobre la imagen superior seleccionada, es posible determinar la posición de inicio de la unidad de acceso aleatorio RAU referida al mapa de tiempo. En la etapa 21, la unidad de selección de AUs a descodificar Ausel obtiene la información de reproducción trucada a partir de los datos AU, analiza los datos AU y determina los AUs a descodificar antes de pasar a la etapa 22. En la etapa 22, la unidad de selección de AUs a descodificar Ausel evalúa si la AU es la AU que se determina en la etapa 21 como la AU a descodificar. En el caso donde es la AU determinada, el aparato 200 de descodificación de imágenes en movimiento descodifica la AU en la etapa 23, mientras que en el caso donde no es la AU determinada, pasa a la etapa 24. En la etapa 24, el aparato 200 de descodificación de imágenes en movimiento evalúa queda alguna AU a descodificar. En el caso donde hay una AU el aparato 200 de descodificación de imágenes en movimiento repite el proceso de la etapa 20, y las siguientes etapas, mientras que en el caso donde no hay AU, se completa el proceso. Obsérvese que es posible omitir el proceso de la etapa 21 y la etapa 22, u omitir el proceso de determinación en la etapa 21, y enviar la información que indica que todas las AUs se descodifican en el momento de la reproducción normal donde todas las AUs se descodifican y visualizan en orden.

La figura 29 es un diagrama de flujo que indica el proceso (el proceso por la unidad de selección de AUs a descodificar Ausel) en la etapa 21. En primer lugar, la unidad de selección de AUs a descodificar Ausel detecta la posición de inicio de una unidad NAL que constituye una AU buscando los datos AU para un prefijo de código de inicio, empezando con el byte superior en la etapa 30, y pasa a la etapa 31. Obsérvese que se puede buscar un prefijo de código de inicio que empieza con no el byte superior de los datos AU sino otra posición tal como la posición de extremo de un Delimitador de Unidad de Acceso. En la etapa 31, la unidad de selección de AUs a descodificar Ausel obtiene el tipo de unidad Nal de una unidad NAL, y pasa a la etapa 32. En la etapa 32, la unidad de selección de AUs a descodificar Ausel evalúa si el tipo de unidad NAL obtenido en la etapa 31 es el tipo de unidad NAL para almacenar información de reproducción trucada. En el caso donde la información de reproducción trucada se almacena, se pasa a la etapa 33, mientras que en el caso donde la información de reproducción trucada no se almacena, se repite el procedimiento de la etapa 30 y las siguientes etapas. Aquí, en el caso donde la información de reproducción trucada se almacena en un mensaje SEI, la unidad de selección de AUs a descodificar Ausel obtiene la unidad NAL de una SEI en primer lugar, y evalúa, además, si el mensaje SEI para almacenar la información de reproducción trucada se incluye en la unidad Nal o no. En la etapa 33, la unidad de selección de AUs a descodificar Ausel obtiene información de reproducción trucada, y se pasa a la etapa 34. En la etapa 34, la unidad de selección de AUs a descodificar Ausel determina las imágenes necesarias a descodificar en el momento de realizar una operación de reproducción trucada especificada. Por ejemplo siempre que se especifique la reproducción a doble velocidad. En el caso donde la información de reproducción trucada indica que es posible realizar la reproducción a doble velocidad descodificando y reproduciendo solamente una imagen I, imágenes P e imágenes B de referencia, se determina que estos tres tipos de imágenes se descodifican y reproducen. Obsérvese que, en el caso donde la información de reproducción trucada no se detecta en la imagen superior de la unidad de acceso aleatorio RAU en el proceso desde la etapa 30 a la etapa 32, las imágenes necesarias a descodificar en orden para realizar la operación de reproducción trucada se determinan según un procedimiento predeterminado. Como ejemplo, es posible evaluar si la imagen es una imagen de referencia o no por referencia al campo que indica el tipo de imagen de una imagen en un Delimitador de Unidad de Acceso, o comprobando nal_ref_idc del encabezamiento de la unidad NAL. Por ejemplo, es posible distinguir imágenes B de referencia de imágenes B de no-referencia por referencia a ambas del campo que indica los tipos de imágenes y nal_ref_idc.

La figura 30 es un diagrama de flujo que indica el proceso (el procedimiento por la unidad de selección de AUs a descodificar Ausel) en el caso donde todas las AUs a descodificar no se visualizan siempre. Las etapas para realizar el mismo proceso que las etapas en el diagrama de flujo de la figura 28 se les asignan los mismos números de referencia, y se omite su descripción. En la etapa 41, la unidad de selección de AUs a descodificar Ausel obtiene y analiza información de reproducción trucada, determina las AUs a descodificar y las AUs a visualizar en una operación de reproducción trucada especificada, y se pasa a la etapa 42. En la etapa 42, la unidad de selección de AUs a descodificar Ausel evalúa si las AUs a descodificar coinciden completamente con las AUs a visualizar. En el caso donde hay una coincidencia completa, se pasa a la etapa 22, mientras que en caso donde no hay coincidencia completa, se pasa a la etapa 43. En la etapa 43, la unidad de selección de AUs a descodificar Ausel envía información de lista de AUs a visualizar, y se pasa a la etapa 22. La información de lista de las AUs enviadas se usa en una etapa (no mostrada en una figura) para determinar AUs a visualizar de entre las AUs descodificadas.

Obsérvese que, en AVCMPEG-4, es posible usar, como imágenes de referencia, imágenes sobre las cuales se realiza el procedimiento de filtrado (desbloqueo) para eliminar la distorsión de bloque después de la descodificación para mejorar la calidad de imagen, y es posible utilizar como imágenes como imágenes de visualización, imágenes antes del desbloqueo. En este caso, el aparato de descodificación de imágenes en movimiento 200 necesita mantener los datos de imagen antes y después del desbloqueo. Aquí, a condición de que el aparato 200 de descodificación de imágenes en movimiento tenga una memoria que puede almacenar datos postdescodificación equivalentes a cuatro imágenes, en el caso donde almacena los datos de imagen antes y después del desbloqueo en la memoria. La memoria necesita almacenar datos equivalente a dos imágenes para mantener imágenes antes del desbloqueo de las imágenes de referencia. Sin embargo, como se ha descrito anteriormente, es deseable que se puedan contener en la memoria tantas imágenes como sea posible en el momento de la reproducción inversa. A condición de que el aparato 200 de descodificación de imágenes en movimiento utilice las imágenes después del desbloqueo también para el uso de visualización, se pueden contener datos de cuatro imágenes en una memoria porque no se necesita almacenar imágenes antes del desbloqueo. Por lo tanto, visualizar imágenes antes del desbloqueo para mejorar la calidad de imagen en el momento de la reproducción en una dirección normal y visualizar imágenes después del desbloqueo en el momento de la reproducción inversa hace que sea posible contener más imágenes en una memoria, y reducir la cantidad de procesamiento en el momento de la reproducción inversa. Por ejemplo, en el ejemplo de las figuras 15A a 15C que muestran una lista de AUS de una imagen I e imágenes P como información de reproducción trucada, todos los datos de cuatro imágenes se pueden contener en una memoria en el momento de la reproducción inversa, mientras que los siguientes conjuntos de dos imágenes, que se seleccionan arbitrariamente de entre I0, P3, P6 y P9, se pueden contener en la memoria al mismo tiempo en el momento de la reproducción en una dirección normal: I0 y P3; P3 y P6; y P6 y P9.

\vskip1.000000\baselineskip

Ejemplo de un formato de grabación de reproducción trucada en un disco óptico

Una función de reproducción trucada es especialmente importante en un aparato de disco óptico que reproduce soportes de paquetes. Aquí, se describirá un ejemplo de grabación de información de reproducción trucada descrita anteriormente en un disco Blu-ray (BD) que es un disco óptico de siguiente generación.

En primer lugar, se describirá un formato de grabación de un BD-ROM.

La figura 31 es un diagrama que indica la estructura del BD-ROM especialmente las estructuras de un disco BD 114 que es un soporte en disco, y los datos 111, 112 y 113 almacenados en el disco. Los datos almacenados en el disco BD 114 incluye datos VA 113, información de gestión BD 112 tal como información de gestión relativa a los datos VA y una secuencia de reproducción VA, y un programa de reproducción BD 111 que realiza interactividad. Aquí, por motivos de conveniencia, la descripción del disco BD se hará enfocada sobre la aplicación VA para reproducir contenidos de audio y visuales de películas pero se puede hacer una descripción similar enfocada en otro uso.

La figura 32 es un diagrama que muestra la estructura de un fichero directorio de datos lógicos almacenados en el disco BD anteriormente descrito. Un disco BD tiene un área de grabación desde su radio más interior a su radio más exterior como, por ejemplo un DVD, un DC y similar, y tiene espacio de dirección lógica para almacenar datos lógicos entre la entrada por lectura en el radio más interno y la salida por lectura en el radio exterior. Igualmente, en el interior de la entrada por lectura, hay un área especial que se puede leer solamente mediante una unidad denominada Area de corte de ráfaga (BCA). Como este área no se puede leer a partir de la aplicación, se puede usar para, por ejemplo, una técnica de protección de propiedad intelectual.

La información de sistema de fichero (volumen se almacena en la parte superior del espacio de dirección lógica, y datos de aplicación tales como datos de vídeo se almacenan también ahí. Como se ha descrito en la técnica anterior, un sistema de archivos es, por ejemplo, el UDF o la ISO9660, y permite la lectura de los datos lógicos almacenados usando una estructura de directorio o una estructura de ficheros como en el caso de un ordenador personal normal.

En esta realización, como la estructura de directorio y la estructura de ficheros sobre el disco BD, se coloca el directorio BDVIDEO inmediatamente por debajo de un directorio raíz (ROOT). Este directorio es un directorio que almacena datos tales como contenido VA o información de gestión (101, 102 y 103 que se describen en la figura 32) que se maneja en el BD.

Por debajo del directorio BDVIDEO, se graban los siguientes siete archivos.

(i): BD. INFO (el nombre de archivo es fijo) que es un fragmento de "información de gestión de BD" y es un archivo que almacena la información relativa a todo el disco BD. El reproductor de BD lee en primer lugar este archivo.

(ii): BD. PROG (el nombre de archivo es fijo) que es uno de los "programas de reproducción de BD" y es un archivo que almacena la información de control de reproducción relativa a todo el disco BD.

(iii): XXX. PL /"XXX" es variable, y la extensión "PL" es fija'') que es una pieza de "información de gestión de BD" y es un archivo que almacena la información de lista de reproducción que es un guión (secuencioa de reproducción). Cada lista de reproducción tiene un archivo.

(iv): XXX. PROG ("XXX" es variable, y la extensión "PROGR" es fija) que es uno de los "programas de reproducción BD" y es un archivo que almacena la información de control de reproducción preparada sobre la base de listas de reproducción. La lista de reproducción correspondiente se identifica basada en un nombre de cuerpo de archivo (basado en la coincidencia de "XXX").

(v): YYY. VOB ("YYY" es variable, y la extensión "VOB" es fija) que es uno de los "datos VA" y es un archivo que almacena el VOB (Lo mismo que el VOB descrito en la técnica anterior). Cada VOB tiene un archivo.

(vi): YYY. VOBI("YYY" es variable, y la extensión "VOBI" es fija) que es un fragmento de la "información de gestión de BD" y es archivo que almacena la información de gestión de flujo relativo al VOB que es el dato Va. La lista de reproducción correspondiente se identifica basada en un nombre de cuerpo de archivo (basado en una coincidencia de "YYY").

(vii): ZZZ. PNG ("ZZZ" es variable, y la extensión "PNG" es fija) que es uno de los "datos VA" y es un archivo que almacena datos de imagen PNG (que es un formato de imagen normalizado por W3C y denominado "ping" para constituir subtítulos y menús. Cada imagen PNG tiene un archivo.

La estructura de datos de navegación BD (información de gestión BD) se describirá con referencia a las figuras 33 a 38.

La figura 33 es un diagrama que muestra la estructura interna de un archivo de información de gestión VOB ("YYY. VOBI". La información de gestión VOB tiene la información de atributo de flujo (Attribute) de VOB y un mapa de tiempo (TMAP). El atributo de flujo tiene atributo de vídeo (Video) y atributo de audio (Audio#0 a Audio#m) por separado. Especialmente en el caso de flujo de audio, como un VOB tiene diversos flujos de audio al miso tiempo, la presencia o ausencia de un campo de datos se indica por el número (Number) de flujos de audio.

Lo siguiente son atributos de vídeo (Video) almacenados en campos respectivamente y los valores que los campos respectivos pueden tener:

(i): fomato de compresión (Coding): MPEG-1; MPEG-2; MPEG-4; y MPEG-4AVC (Codificación de vídeo avanzada)-

(ii): Resolucion (Resolution): 1920 x 1080; 1440x1080; 1280x720; 720x480, y 720x565

(iii): relación de aspecto (Aspect): 4 a 3; y 16 a 9.

(iv): frecuencia de trama (Framerate): 60; 59,94 (60/1,.001), 50; 30; 29,97 (30/1,001), 25; 24; y 23,976 (24/1,001).

Lo siguiente son atributos de audio (Audio) almacenados en campos respectivamente y los valores que los respectivos campos pueden tener.

(i): formato de compresión (Coding): AC3; MPEG-1; MPEG-2; y LPCM.

(ii): el número de canales (Ch): 1 a 8

(iii): atributo de idioma (Language):

El mapa de tiempo (TMAP) es una tabla para almacenar la información sobre una base VOBU, y tiene el número de VOBUs que el VOB tiene y los fragmentos respectivos de información VOBU (VOBU#1 a VOBU#n). Los fragmentos respectivos de información VOBU incluyen I_start que es la dirección (la dirección de inicio de una imagen I) del paquete TS superior de un VOBU y una dirección desfasada (I_end) hasta la dirección de extremo de la imagen I, y el tiempo de inicio de reproducción (PTS) de la imagen I.

La figura 34 es un diagrama que ilustra los detalles de la información VOBU. Como es ampliamente conocido, como se puede realizar la compresión de velocidad binaria variable en el flujo de vídeo MPEG para grabar el flujo de vídeo en alta calidad, no hay proporcionalidad entre el tiempo de reproducción y la dimensión de datos. Por otra parte, como se realiza una compresión de velocidad binaria fija en AC3 que es una norma de compresión de audio, la relación entre el tiempo y la dirección se puede obtener a partir de una expresión primaria. Sin embargo, en el caso de datos de vídeo MPEG, cada trama tiene un tiempo de visualización fijo, por ejemplo, una trama tiene un tiempo de visualización de 1/29,97 segundos en el caso de NTSC, pero la dimensión de datos después de comprimir cada cambio de trama depende en gran medida de la característica de imagen, o del tipo de imagen usado en la compresión, tal como una imagen I, una imagen P o una imagen B. Por lo tanto, en el caso de un flujo de vídeo MPEG, es imposible representar la relación entre el tiempo y la dirección usando una expresión primaria.

Como se puede esperar, es imposible representar la relación entre el tiempo y la dimensión de datos usando una expresión primaria en un flujo de sistema MPEG donde los datos de vídeo MPEG se multiplexan, es decir un VOB. Por lo tanto, un mapa de tiempo (TMAP) asocia el tiempo a la dirección en un VOB.

De esta manera, en el caso donde se da información de tiempo, el VOBU al cual pertenece el tiempo se busca en primer lugar (siguiendo PTSs de VOBU en orden), el PTs inmediatamente antes de que se salte el tiempo en el VOBU que un TMPa tiene (la dirección especificada por I_start), la decodificación se inicia con la imagen I superior del VOBU, y la visualización se inicia con la imagen correspondiente al tiempo.

A continuación, la estructura interna de una información de lista de reproducción ("XXX. PL") se describirá con referencia a la figura 35. La información de lista de reproducción incluye una lista de celdas (CellList) y una lista de eventos (EventList).

La lista de celdas (CellList) es una secuencia de celdas de reproducción en la lista de reproducción; y las celdas se reproducen en el orden de descripción indicado en esta lista: el contenido de la lista de celdas (CellList) es el número de celdas (Number) y la información de cada celda (Cell#1 a Cell#n).

La información de celda (Cell#) tiene un número de archivo VOB (VOBName), tiempo de inicio (In= y tiempo final (Out) en el VOB, y subtítulos (SutitleTable), el tiempo de inicio (In) y el tiempo final (Out) se representan como un número de trama en cada VOB. Es posible obtener la dirección de los datos VOB necesarios para reproducir usando el mapa de tiempo (TMAP) anteriormente descrito.

La tabla de subtítulo (SubtitleTable) es una tabla que almacena información de subtítulo que se reproduce sincronizadamente con el VOB. Como en el caso del audio, se incluyen diversos idiomas en los subtítulos. La primera información de la tabla de subtítulo (SubtitleTable) incluye el número de idiomas (Number) y las siguientes tablas (Language#1 to Language#k) preparadas sobre una base de un idioma

Cada tabla de idioma (Language#) incluye información de idioma (Lang), el número (Number) de fragmentos de información de subtítulo de los subtítulos a visualizar por separado, e información de subtítulo (Speech#1 to Speech3j) de subtítulos a visualizar por separado. La información de subtítulo (Speech#) incluye un nombre de archivo de datos de imagen (Name), tiempo de inicio de visualización de subtítulo (In), tiempo de final de visualización de subtítulo (Out) y una posición de visualización de subtítulo (Position).

La lista de eventos (EventList) es una tabla que define cada evento que se produce en la lista de reproducción. La lista de eventos incluye el número de eventos (Number) y los eventos respectivos (Event#1 to Event#m). Cada evento (Event#) incluye un tipo de evento (Type), un evento ID (ID), un tiempo de ocurrencia de evento (Time) y una duración de evento (Duration).

La figura 36 es una tabla de gestión de eventos ("XXX. PROG") que tiene un gestor de eventos (que es un evento temporal y un evento para la selección de mus) preparado sobre una base de lista de reproducción. La tabla de gestión de eventos incluye el número de gestores/programas de eventos definidos (Number) y los gestores/programas de eventos respectivos (Program#1 to Program#n). El contenido de cada gestor/programa de eventos (Program#) es la definición del inicio de un gestor de evento (<event_handler>tag) y el gestor de eventos ID (ID) que se empareja con el evento previamente descrito ID y a continuación del mismo, el programa descrito en "{}" que sigue Funcion. El evento (Event#1 to Event#m) almacenado en la lista de eventos (EventList) del ``XXX. PL previamente descrito se especifica usando un ID (ID) del gestor de eventos de "XXX. PROG".

A continuación, la estructura interna de la información relativa a todo el disco BD ("BD. INFO") se describirá con referencia a la figura 37. La información relativa a todo el disco BD incluye una lista de títulos (TitleList) y una tabla de eventos para el evento global (EventList).

La lista de títulos (TitleList) incluye el número de títulos de un disco (Number) y fragmentos de información de título (Title#1 to Title#3) que sigue el número de títulos. Los fragmentos respectivos de información de título (Title#) incluyen una tabla de lista de reproducción en el título (PLTable) y una lista de capítulos en el título (ChapterList). La tabla de lista de reproducción (PLTable) incluye el número de listas de reproducción en el título (Number) y nombres de listas de reproducción (Name) que son los nombres de archivos de listas de reproducción.

La lista de capítulos (ChapterList) incluye el número de capítulos incluidos en el título (Number) y fragmentos de información de capítulo (Chapter#1 to Chapter#n). Cada fragmento de información de capítulo (Chapter#) incluye una tabla de celdas (CellTAble) incluida en el capítulo, y la tabla de celdas (CellTable) incluye el números de celdas (Number) y fragmentos de información de entrada de celdas (CellEntry#1 to CellEntry#k). La información de entrada de celda (CellEntry#) incluye el nombre de lista de reproducción que incluye la celda y un número de celdas en la lista de reproducción.

La lista de eventos (EventList) incluye el número de eventos globales (Number) y fragmentos de información de evento global. Se ha de entender que el evento global a definir en primer lugar se denomina primer evento (FistEvent), y es el evento denominado en primer lugar después de la inserción del disco BD en el reproductor. La información de evento para el evento global tiene solamente un tipo de evento (Type) y un ID de evento (ID).

La figura 38 es una tabla ("BD. PROG") de un programa de un gestor de evento global. El contenido de esta tabla es el mismo que el contenido de la tabla de gestión de eventos descrita en la figura 36.

En el caso de almacenar la información de reproducción trucada anteriormente descrita en el formato BD-ROM descrito hasta ahora, se considera que un VOBU incluye una o más unidades de acceso aleatorio RAU, y la información de reproducción trucada se incluye en la AU superior de VOBU. Obsérvese que, en MPEG-4 AVC, se incluye una unidad NAL donde se almacena información de reproducción trucada.

Obsérvese que la información de reproducción trucada se puede almacenar en la información de gestión de BD. Por ejemplo, es posible almacenar información de reproducción trucada preparada en una base de VOBU extendiendo el mapa de tiempo de la información de gestión de VOB. Igualmente, es posible definir un nuevo mapa para almacenar la información de reproducción trucada.

Igualmente, es posible almacenar la información de reproducción trucada bien en VOBU o la información de gestión de BD.

Igualmente es posible almacenar solamente el valor por defecto de la información de reproducción trucada en la información de gestión de BD, y solamente en el caso donde la información de reproducción trucada en cuanto a VOBU es diferente del valor por defecto, es posible almacenar la información de reproducción trucada en VOBU.

Igualmente, es posible almacenar un conjunto de uno o más fragmentos de información de reproducción trucada en la información de gestión de BD como la información que es común entre los flujos. VOBU se puede referir a un fragmento de información de reproducción trucada entre los fragmentos de información de reproducción trucada almacenada en la información de gestión de BD. En este caso, la información de índice de la información de reproducción trucada referida por VOBU se almacena en la información de gestión de una unidad VOBU o el VOBU.

\vskip1.000000\baselineskip

Reproductor para reproducir discos ópticos

La figura 39 es un diagrama de bloques que muestra en líneas generales la estructura funcional de un reproductor que reproduce un disco BD mostrado en la figura 31 y similar. Los datos sobre el disco BD 201 le lee mediante un reproductor óptico 202. Los datos de lectura se transmiten a una memoria exclusiva que depende de los tipos de los datos respectivos. El programa de reproducción BD (el contenido de "BD. PROG" o "XXX. PROG") se transmite a una memoria de programa 203. Igualmente, la información de gestión de BD ("BD: INFO", "XXX. PL" o "YYY. VOBI") se transmite a una memoria de información de gestión 204. Igualmente los datos AV ("YYY. VOB" o "ZZZ. PNG") se transmiten a una memoria AV 205.

El programa de reproducción de BD grabado en la memoria de programa 203 se procesa mediante una unidad de procesamiento de programa 206. Igualmente la información de gestión de BD grabada en la memoria de información de gestión 204 se procesa mediante la unidad de procesamiento 207 de información de gestión. Igualmente, los datos AV grabados en la memoria AV 205 se procesan mediante una unidad de procesamiento de presentación 208.

La unidad de procesamiento de programa 206 recibe la información de listas de reproducción a reproducir por la unidad 207 de procesamiento de información de gestión y la información de eventos tal como el tiempo de ejecución del programa y realiza el procesamiento del programa. Igualmente, es posible cambiar dinámicamente las listas de reproducción a reproducir por el programa. Esto se puede lleva a cabo enviando una instrucción de reproducción de las listas de reproducción a la unidad 207 de procesamiento de información de gestión. La unidad 206 de procesamiento de programa recibe un evento de un usuario, dicho de otro modo, recibe una petición a través de un controlador remoto, y en el caso donde hay un programa que corresponde al evento de usuario, ejecuta el programa.

La unidad 207 de procesamiento de información de gestión recibe una instrucción de la unidad de procesamiento de programa 206, analiza las listas de reproducción y la información de gestión de VOBs que corresponden a las listas de reproducción, e instruye la unidad 208 de procesamiento de presentación para reproducir los datos AV objetivo. Igualmente, la unidad 207 de procesamiento de información de gestión recibe la información de tiempo estándar a partir de la unidad de procesamiento de presentación 208, instruye la unidad 208 de procesamiento de presentación para detener la reproducción de los datos AV basándose en la información de tiempo. Igualmente, la unidad 207 de procesamiento de información de gestión genera un evento para notificar la unidad de procesamiento de programa 206 del tiempo de ejecución de programa.

La unidad de procesamiento de presentación 208 tiene un descodificador que puede procesar vídeo, audio, subtítulos/imágenes (imágenes fijas) respectivamente. Descodifica y produce los datos AV según una instrucción de la unidad de procesamiento de información de gestión 207. En el caso de datos de vídeo, y subtítulo/imágenes, se descodifican y a continuación se dejan en los planos exclusivos respectivos, es decir, el plano de vídeo 210 y el plano de imagen 209. Después esto, la unidad de procesamiento de síntesis 211 lleva a cabo el procesamiento de síntesis sobre el vídeo, y envía el vídeo a un dispositivo de visualización tal como un televisor.

En el momento de la reproducción trucada tal como reproducción a saltos, reproducción a velocidad variable y reproducción inversa, la unidad 208 de procesamiento de presentación interpreta la operación de reproducción trucada solicitada por el usuario, y notifica la unidad de procesamiento de información de gestión 207 de la información tal como la velocidad de reproducción. La unidad 207 de procesamiento de información de gestión analiza la información de reproducción trucada almacenada en la AU superior de VOBU y determina las AUs a descodificar y visualizar de manera que la operación de reproducción trucada especificada por el usuario se puede realizar de manera segura. Obsérvese que la unidad 207 de procesamiento de información de gestión puede obtener la información de reproducción trucada, enviarla a la unidad 208 de procesamiento de presentación y determinar las AUs a descodificar y las AUs a visualizar en la unidad 208 de procesamiento de presentación.

Obsérvese que un sistema informático autónomo puede ejecutar fácilmente el procesamiento mostrado en esta realización grabando el programa para realizar el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento mostrado en esta realización en un soporte de grabación tal como un disco flexible.

Las figuras 40A a 40C son ilustraciones del modo en que el sistema informático ejecuta el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento de esta realización usando un programa grabado en un soporte de grabación tal como un disco flexible.

La figura 40A muestra un ejemplo de un formato físico de un disco flexible como un soporte de grabación. La figura 40B muestra un disco flexible y la vista frontal y la vista en sección transversal del aspecto del disco flexible. Un disco flexible (FD) va contenido en una carcasa F, una pluralidad de pistas (Tr) se forman concéntricamente sobre la superficie del disco desde el radio exterior en el radio interior del disco, y cada pista se divide en 16 sectores (Se) en la dirección angular. Por lo tanto, en el caso del disco flexible que almacena el programa anteriormente descrito, el programa se graba en un área asignada al mismo sobre el disco flexible (FD).

Igualmente, la figura 40C muestra la estructura para grabar y reproducir el programa sobre el disco flexible. En el caso de grabar el programa anterior para realizar el programa de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento sobre el disco flexible FD, un sistema informático Cs escribe el programa sobre el disco flexible a través de una unidad de disco flexible. Igualmente, en el caso de construir el anterior aparato de codificación de imágenes en movimiento y el anterior aparato de descodificación de imágenes en movimiento para realizar el procedimiento de codificación de imágenes en movimiento y el procedimiento de descodificación de imágenes en movimiento usando el programa en el disco flexible, el programa se lee a partir del disco flexible a través de la unidad de disco flexible, y se transmite al sistema informático.

Obsérvese que la anterior descripción se ha realizado usando un disco flexible como soporte de grabación, pero el programa se puede grabar sobre un disco óptico. Igualmente, un soporte de grabación no se limita a este, se puede usar otro soporte de grabación tal como una tarjeta IC, una cassette ROM siempre que grabe el programa.

En este punto, el aparato de generación de flujo de imágenes en movimiento, el aparato de codificación de imágenes en movimiento, el aparato de multiplexado de imágenes en movimiento y el aparato de descodificación de imágenes en movimiento de la presente invención se han descrito basándose en la realización, pero la presente invención no se limita a esta realización. La presente invención incluye las variaciones que un experto en la técnica pudiese concebir basándose en esta realización, y tales variaciones se encuentra dentro del alcance del objeto de la presente invención.

Por ejemplo, la presente invención incluye lo siguiente en esta realización: (i) un aparato de generación de flujo de imágenes en movimiento; un aparato de grabación de disco óptico que tiene uno de un aparato de codificación de imágenes en movimiento y un aparato de descodificación de imágenes en movimiento; un aparato de envió de imágenes en movimiento; un a aparato de transmisión de difusión de televisión digital; un servidor Web; un aparato de comunicación; un terminal de información móvil; y similar; y (ii) un aparato de recepción de imágenes en movimiento que tiene un aparato de descodificación de imágenes en movimiento; un aparato de recepción de difusión de televisión digital; un aparato de comunicación; un terminal de información móvil; y similar.

Obsérvese que los bloques funcionales respectivos mostrados en las figuras 21, 23, 27 y 39 se realizan típicamente como un LSI que es un circuito de integración a gran escala. Cada uno de los bloques funcionales se puede fabricar en un único chip (por ejemplo, los bloques funcionales salvo una memoria se pueden fabricar en un solo chip). El circuito integrado se denomina LSI aquí, pero se puede denominar IC, sistema LSI, super LSI o ultra LSI dependiendo de l nivel de integración. Igualmente, el procedimiento de fabricación de los mismos en un circuito integrado no se limita al procedimiento de su fabricación en un LSI, se puede realizar mediante un circuito exclusivo o un procesador genérico. Igualmente, es posible usar (i) un procesador reconfigurable donde la conexión o el ajuste de células de circuito se puede reconfoigurar o (ii) un FPGA programable (Sistema de compuerta programable de campo), después de fabricarlo en un LSI. Además, en el caso donde la técnica de su fabricación en un circuito integrado en lugar de su fabricación en un LSI aparece cuando se desarrolla, además, la técnica de semiconductores o aparece cualquier técnica derivada, a su debido tiempo se pueden fabricar bloques funcionales en un circuito integrado que usa tal nueva técnica. La aplicación de biotécnica es probable. Igualmente, entre los bloques funcionales respectivos, una unidad de almacenamiento (una memoria de imagen) en la cual se almacenan los datos de imagen a codificar o descodificar se pueden configurar por separado en lugar de incluirse en un único chip.

Aunque solamente se ha descrito una realización ejemplar de esta invención en detalle anteriormente, los expertos en la técnica apreciarán fácilmente que son posibles muchas modificaciones en la realización ejemplar sin salirse materialmente de las nuevas enseñanzas y nuevas ventajas de la invención. En consecuencia, todas tales modificaciones están destinadas a ser incluidas dentro del alcance de la presente invención.

Aplicabilidad industrial

La presente invención se puede aplicar como: un aparato de generación de flujo de imágenes en movimiento que genera una imagen en movimiento a reproducir en reproducción trucada; un aparato de codificación de imágenes en movimiento que genera, por codificación, una imagen en movimiento a reproducir en reproducción trucada; un aparato de multiplexado de imágenes en movimiento que genera, por multiplexado de paquetes, una imagen en movimiento a reproducir en reproducción trucada; y un aparato de descodificación de imágenes en movimiento que reproduce la imagen en movimiento en reproducción trucada; y especialmente, como un aparato para construir el sistema para reproducir un flujo MPEG-4 AVC que usa un modo de reproducción trucada tal como reproducción a velocidad variable y reproducción inversa, siendo tal aparato, por ejemplo, un aparato relacionado de disco óptico sobre el cual se enfoca generalmente su función de reproducción trucada m.

Claims

1. Un aparato de generación de flujo de imágenes en movimiento para generar un flujo que incluye imágenes que tienen al menos una unidad de almacenamiento de información suplementaria y una unidad de almacenamiento de información de píxeles, comprendiendo dicho aparato:

una unidad de información suplementaria utilizable para generar información suplementaria en cuanto a todas las imágenes incluidas en cada una de las unidades de acceso aleatorio en la cual se coloca una imagen intracodificada descodificable sin depender de otra imagen en una parte superior en el orden de descodificación, incluyendo la información suplementaria diversos fragmentos de información de tipo de imagen que indica tipos de todas las imágenes incluidas en la unidad de acceso aleatorio, estando colocados los diversos fragmentos de información de tipo de imagen en el orden de descodificación de las imágenes como información de identificación para identificar las imágenes a descodificar cuando las imágenes se reproducen trucadas, y

una unidad de generación de flujo utilizable para generar el flujo almacenando la información suplementaria en la unidad de almacenamiento de información suplementaria de la imagen colocada en la parte superior de una unidad de acceso aleatorio correspondiente.

2. Un procedimiento de generación de flujo de imágenes en movimiento para generar un flujo que incluye imágenes que tienen al menos una unidad de almacenamiento de información suplementaria y una unidad de almacenamiento de información de píxeles, comprendiendo dicho procedimiento:

una etapa de generación de información suplementaria para generar información suplementaria en cuanto a todas las imágenes incluidas en cada una de las unidades de acceso aleatorio en la cual se coloca una imagen intracodificada descodificable sin depender de otras imágenes en una parte superior en el orden de descodificación, incluyendo la información suplementaria diversos fragmentos de información de tipo de imagen que indica tipos de todas las imágenes incluidas en la unidad de acceso aleatorio, estando colocados los diversos fragmentos de información de tipo de imagen en el orden de descodificación de las imágenes como información de identificación para identificar las imágenes a descodificar cuando las imágenes se reproducen trucadas, y

una etapa de generación de flujo para generar el flujo almacenando la información suplementaria en la unidad de almacenamiento de información suplementaria de la imagen colocada en la parte superior de una unidad de acceso aleatorio correspondiente.

3. Un aparato de descodificación de imágenes en movimiento que descodifica un flujo que incluye imágenes codificadas que constituyen una imagen en movimiento y reproduce el flujo descodificado, comprendiendo dicho aparato de descodificación de imágenes en movimiento:

una unidad de obtención de instrucciones utilizable para obtener una instrucción que indica que se debería llevar a cabo la reproducción trucada;

una unidad de análisis utilizable para extraer y analizar información suplementaria sobre una base de unidad de acceso aleatorio, constituyendo la unidad de acceso aleatorio el flujo;

una unidad de especificación de imágenes de reproducción utilizable para especificar imágenes, entre las imágenes incluidas en la unidad de acceso aleatorio, que son necesarias para la reproducción trucada indicada por la instrucción obtenida por dicha unidad de obtención de instrucciones basada en un resultado del análisis realizado por dicha unidad de análisis; y

una unidad de descodificación utilizable para descodificar las imágenes especificadas por dicha unidad de especificación de imágenes de reproducción y reproducir las imágenes descodificadas,

en el cual, en la unidad de acceso aleatorio, la imagen intracodificada descodificable sin depender de otras imágenes está colocada en una parte superior, y

la información suplementaria incluye diversos fragmentos de información de tipo de imagen que indica tipos de todas las imágenes incluidas en la unidad de acceso aleatorio, estando colocados los diversos fragmentos de información de tipo de imagen en el orden de descodificación de las imágenes como información de identificación para identificar las imágenes a descodificar cuando las imágenes se reproducen trucadas.

4. Un procedimiento de descodificación de imágenes en movimiento para descodificar un flujo que incluye imágenes codificadas que constituyen una imagen en movimiento y reproducir el flujo descodificado, comprendiendo dicho procedimiento de descodificación de imágenes en movimiento:

una etapa de obtención de instrucciones para obtener una instrucción que indica que se debería llevar a cabo la reproducción trucada;

una etapa de análisis para extraer y analizar información suplementaria sobre una base de unidad de acceso aleatorio, constituyendo la unidad de acceso aleatorio el flujo;

una etapa de especificación de imágenes de reproducción para especificar imágenes, entre las imágenes incluidas en la unidad de acceso aleatorio, que son necesarias para la reproducción trucada indicada por la instrucción obtenida por dicha unidad de obtención de instrucciones basada en un resultado del análisis realizado por dicha unidad de análisis; y

una etapa de descodificación para descodificar las imágenes especificadas por dicha unidad de especificación de imágenes de reproducción y reproducir las imágenes descodificadas,

5. Un soporte de grabación legible por ordenador sobre el cual se graba un flujo, incluyendo el flujo imágenes que constituyen una imagen en movimiento,

en el cual el flujo está estructurado de manera que la información suplementaria se añade a una imagen colocada en la parte superior de una unidad de acceso aleatorio,

incluyendo la información suplementaria diversos fragmentos de información de tipo de imagen que indica tipos de todas las imágenes incluidas en la unidad de acceso aleatorio, estando colocados los diversos fragmentos de información de tipo de imagen en el orden de descodificación de las imágenes como información de identificación para identificar las imágenes a descodificar cuando las imágenes se reproducen trucadas.

6. Un procedimiento de grabación para grabar un flujo que incluye imágenes que constituyen una imagen en movimiento sobre un soporte de grabación, comprendiendo dicho procedimiento de grabación

una etapa de grabación para grabar el flujo generado usando el procedimiento de generación de flujo de imágenes según la reivindicación 2.

7. Un sistema de descodificación de imágenes en movimiento que comprende el soporte de grabación según la reivindicación 5, y el aparato de descodificación de imágenes en movimiento según la reivindicación 3, que lee un flujo que incluye imágenes que constituyen una imagen en movimiento del soporte de grabación, descodifica y reproduce el flujo.